Obliczenia równoległe są często modelowane przy użyciu deterministycznej lokalnej szybkości obliczeń, obciążenia związanego z opóźnieniami i przepustowości sieci. W rzeczywistości są one zmienne przestrzennie i niedeterministyczne. Badania takie jak Skinner i Kramer (2005) obserwują rozkłady multimodalne, ale analiza wydajności wydaje się zawsze wykorzystywać albo rozkłady deterministyczne, albo gaussowskie (nie tylko niedokładne, ale niespójne z powodu dodatniego prawdopodobieństwa ujemnego opóźnienia).
Czy opracowano modele statystyczne o wyższej wierności? Czy bierze się pod uwagę korelację krzyżową w lokalnych obliczeniach / pamięci, opóźnieniu i zmienności przepustowości?
performance
hpc
statistics
Jed Brown
źródło
źródło
Odpowiedzi:
Z punktu widzenia informatyki nie wydaje mi się sensowne tworzenie ogólnego modelu statystycznego czasu dostępu do pamięci (opóźnienia) i przepustowości pamięci.
Sensowne jest stworzenie modelu statystycznego dla algorytmu . Jest tak, ponieważ każdy algorytm ma określony wzorzec dostępu do pamięci, wzorce dostępu do pamięci są odpowiednie dla hierarchii pamięci podręcznej, np. Algorytm z wysoką lokalizacją danych skorzysta z niskopoziomowych pamięci podręcznych korzystających z naprawdę krótkich czasów dostępu do pamięci, podczas gdy inne algorytmy będą musiały przejść do pamięci RAM (lub nawet najgorszej pamięci wymiany) i mieć wyjątkowo wolny czas dostępu.
Wartości ogólnego przeznaczenia są podane z punktu widzenia architektury, możesz sprawdzić swoją architekturę i przeszukać czas dostępu z danego rdzenia do danej lokalizacji pamięci (powiedzmy L3 cache). Należy pamiętać, że najnowsze architektury mają nierównomierny dostęp do pamięci NUMA, co znacznie utrudni pracę.
źródło