Jaka jest maksymalna teoretyczna przepustowość transferu danych NTFS?

28

Ostatnio byłem na spotkaniu lokalnej grupy użytkowników, gdzie prezenter zauważył, że maksymalna przepustowość stosu IO NTFS wynosiła 1 GBps. Uzasadnił to twierdzeniem, jednocześnie kopiując dwa duże pliki z tego samego woluminu logicznego do różnych woluminów logicznych (tj. [A] jest źródłem, [b] jest miejscem docelowym 1, a [c] jest miejscem docelowym 2) i odnotowując prędkości transferu wynoszące około 500 MBps. Powtórzył ten test kilka razy i zauważył, że podsystemem pamięci masowej jest flash (aby upewnić się, że nie podejrzewamy wolnego przechowywania).

Próbowałem zweryfikować to twierdzenie, ale nie znalazłem niczego udokumentowanego. Podejrzewam, że szukam niewłaściwych wyszukiwanych haseł („Przepustowość NTFS 1GBps”, „Przepustowość NTFS maksymalna”). Interesuje mnie, czy stos IO jest faktycznie ograniczony do przepustowości 1 GB / s.

EDYTOWAĆ

Wyjaśnienie: Nie sądzę, że prezenter zamierzał sugerować, że NTFS był celowo ograniczony (i przepraszam, jeśli to sugerowałem). Myślę, że to było do zrozumienia, że to była funkcja projektowania systemu plików.

swasheck
źródło
1 GB / s jest dość szybki, nawet jak na dyski flash
TheFiddlerWins
2
@TheFiddlerWins 1 GB / s! = 1 Gbps
Kermit
1
Zgadzam się, ale jego pytanie brzmi: „maksymalna przepustowość stosu IO NTFS wynosiła 1 GBps”, o ile wiem B = bajty i b = bity
TheFiddlerWins
1
Prosty eksperyment - skopiuj plik na dyski RAM? W dzisiejszych czasach nietrudno jest zdobyć 16 * 2 = 32 GB pamięci RAM.
kizzx2,
1
JamesRyan - użycie FTP jako mechanizmu przesyłania nie zmienia nagle systemu plików. Nie myl SMB z NTFS.
mfinni,

Odpowiedzi:

36

Nawet zakładając, że miałeś na myśli, GBpsa nie Gbps...

Nie znam żadnego systemu plików, który ma rzeczywisty throughput limit. Systemy plików to po prostu struktury dotyczące przechowywania i pobierania plików. Używają metadanych, struktury, konwencji nazewnictwa, konwencji bezpieczeństwa itp., Ale rzeczywiste ograniczenia przepustowości są definiowane przez sam sprzęt (zwykle kombinację wielu zaangażowanych urządzeń).

Można dokonać porównania różnych systemów plików i ich wpływu na wydajność bazowego sprzętu, ale znowu nie jest to ograniczenie narzucone bezpośrednio przez system plików, ale raczej „zmienna” w ogólnej wydajności systemu.

Wybór wdrożenia jednego systemu plików na innym jest zwykle związany z tym, jaki jest podstawowy system operacyjny, czym będzie serwer / aplikacja, jaki jest podstawowy sprzęt oraz czynniki miękkie , takie jak obszary specjalizacji i znajomości administratora.

================================================== ================================

ZASOBY TECHNICZNE I PODMIOTY


Optymalizacja NTFS

Czynniki wydajności NTFS

Wiele czynników wpływa na wydajność woluminów NTFS. Wybierasz ważne elementy, takie jak typ woluminu NTFS (np. SCSI lub IDE), szybkość (np. Prędkość rpm dysków) i liczbę dysków, które zawiera wolumin. Oprócz tych ważnych składników na wydajność woluminu NTFS znacząco wpływają następujące czynniki:

  • Rozmiar klastra i jednostki alokacji
  • Lokalizacja i poziom fragmentacji często używanych plików, takich jak główna tabela plików (MFT), katalogi, pliki specjalne zawierające metadane NTFS, plik stronicowania i często używane pliki danych użytkownika
  • Niezależnie od tego, czy utworzysz wolumin NTFS od podstaw, czy przekształcisz go z istniejącego wolumenu FAT
  • Określa, czy wolumin używa kompresji NTFS
  • Czy wyłączasz niepotrzebne zachowania NTFS

Korzystanie z szybszych dysków i większej liczby dysków w woluminach wielodyskowych jest oczywistym sposobem na zwiększenie wydajności. Inne metody poprawy wydajności są bardziej niejasne i odnoszą się do szczegółów konfiguracji woluminu NTFS.


Skalowalność i wydajność w nowoczesnych systemach plików

Niestety niemożliwe jest bezpośrednie porównanie wydajności omawianych systemów plików, ponieważ nie wszystkie są dostępne na tej samej platformie. Ponadto, ponieważ dostępne dane pochodzą z różnych platform sprzętowych, trudno jest odróżnić charakterystykę wydajności systemu plików od platformy sprzętowej, na której on działa.


Optymalizacja NTFS

Nowa biała księga zawierająca wskazówki dotyczące określania wielkości woluminów NTFS

Co nowego w NTFS

Konfigurowanie systemu plików NTFS pod kątem wydajności

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Najlepsze praktyki dotyczące kompresji NTFS w systemie Windows

TheCleaner
źródło
9
Nawet mimo to mógłbym zorganizować sympozjum z podłączonymi tylko wszystkimi urządzeniami 802.11g i przysięgać, że limit przepustowości NTFS wynosił <54 Mb / s, demonstrując w kółko kopie między urządzeniami.
TheCleaner,
1
Być może, ale duża różnica polega na tym , że powiedzenie „NTFS ma twardy limit” vs. „NTFS jest wolniejszy niż ext4 na sprzęcie <x>”. Mógł źle pomylić, mógłbyś źle zinterpretować, bez względu na ... proszę bardzo.
TheCleaner,
7
Ponownie, system plików NTFS nie będzie miał takich ograniczeń, ale dany sterownik NTFS może.
mfinni
1
Nie traktuj tego jako ograniczenia, ale jako logicznego narzutu. Obejmuje to również sterownik, ponieważ „ustawiony” limit musiałby być wartością definicji zdefiniowaną w kodzie sterownika. Rozumiem jednak, że myślałeś, że proces <- (@mfinni) ... twarde limity są określone w przepustowości zdolności dysku do przetwarzania operacji odczytu / zapisu we / wy, a także ograniczeń technicznych medium transportowego.
AngryWombat,
1
Nice dodaje, @TheCleaner
mfinni,
10

Bardzo wątpię, czy istnieje wąskie gardło związane z przesyłaniem danych związane z systemem plików , ponieważ systemy plików nie dyktują szczegółów implementacji , które mocno ograniczałyby wydajność . Dany sterownik systemu plików na konkretnej konfiguracji sprzętowej będzie oczywiście miał wąskie gardła.

mfinni
źródło
Nie sądziłem, że był celowo ograniczony, ale pomyślałem, że być może jest to ograniczenie projektu
swasheck
Dzięki za skupienie się z „systemu plików” na „sterowniku”.
swasheck
5
Nie możesz zwiększyć szybkości książki - możesz zwiększyć szybkość czytnika i rzeczy, od których czytelnik zależy.
mfinni
Limity i szyjki butelek to dwie różne rzeczy ... ponieważ system plików może powodować narzut, teoretycznie możliwe jest utworzenie szyjki butelki, ale nie określi sztywnego limitu, który, jak sądzę, miał na myśli w tym poście.
AngryWombat,
7

Byłbym bardzo zaskoczony, gdyby to była prawda. Spójrzmy na wszystko, co może spowolnić system plików:

  • Nośnik fizyczny (dysk, ssd)
  • Połączenie z tymi mediami (sas, sata, fcal)
  • Podział
  • Złe algorytmy blokujące lub inne problemy z kodem
  • Szybkość procesora i pamięci

Najczęstszym czynnikiem ograniczającym są twoje fizyczne media. Wirująca rdza jest WOLNA . Weźmy na przykład ten naprawdę nowy dysk, który ma maksymalną prędkość 6 Gb / s (to Gbps, a nie GBps!). Oczywiście użycie konfiguracji RAID 1 przyspieszy to. Oczywiście nigdy tego nie osiągniesz, ponieważ stara się zabić swój występ. Więc użyjmy dysku SSD ? Och, spójrz na to, ponownie 6 Gb.

Potem jest połączenie: sas (najszybsza lokalna pamięć masowa) idzie w górę do 6 Gb / s, FC idzie w górę do 16 Gb / s.

Czy na pewno Twoje demo używało tak wysokiej klasy sprzętu, najnowocześniejszego sprzętu?

Jeśli jesteś: interesujący! Być może trafiłeś w przypadek 3 i twój system plików wymaga optymalizacji. Lub bardziej prawdopodobne, że sterowniki i aplikacja pochłaniają procesor (5). Jeśli żaden z nich nie występuje, być może wystąpił faktyczny problem z wydajnością w systemie plików NTFS, zgłoś to do Microsoft.

I nawet wtedy: nie jest to sztuczny limit, wprowadzony, aby uczynić twoje życie bardziej nieszczęśliwym. Systemy plików nie celowo ograniczają prędkości przesyłania, ale są ograniczone przez wszystko, co może ci dać sprzęt.

Dennis Kaarsemaker
źródło
7

Nie sądzę, że jest maksimum. Ale wiem, że jest to więcej niż 1 GB / s, ponieważ ludzie w Samsungu odczytali 211,29 MB / s, a 2000.195 MB / s zapisali na swoim urządzeniu 2009 z 24 dyskami SSD http://www.youtube.com/watch?v=96dWOEa4Djs

Uważają, że osiągnęli ten limit, ponieważ była to łączna całkowita przepustowość sprzętowa kart kontrolerów, do których podłączono dyski SSD.

Również ta strona http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk pokazuje dysk RAM sformatowany przy użyciu NTFS o pojemności od 5 do 7 GB / s. Wypróbuj sam z jednym z tytułów RAMdisk wymienionych na http://en.wikipedia.org/wiki/List_of_RAM_drive_software

BeowulfNode42
źródło
3

Jedynym logicznym sposobem porównania limitów systemu plików byłoby dokonanie tego w systemach, w których stałą był system plików, a zmiennymi były inne czynniki, takie jak urządzenia, połączenia itp. Używanie jednego systemu do porównywania prędkości transferu w kilku iteracjach dowodzi tylko, że konkretny system był ograniczony, nie że system plików był ograniczony.

Richard_G
źródło
1

W systemie plików NTFS nie ma wbudowanego limitu przepustowości. Jedynym ograniczeniem prędkości jest charakterystyka wydajności sprzętu bazowego.

długa szyja
źródło
Nie sądziłem, że było to celowo ograniczone, ale pomyślałem, że być może było to ograniczenie projektu.
swasheck,
6
@swasheck Nie sądzę, że jest możliwe zaprojektowanie systemu plików, który nie przesyła danych dwa razy szybciej, jeśli masz procesor dwa razy szybciej i może odczytać dysk dwa razy szybciej i może szukać dwa razy szybciej. Nawet najbardziej nieefektywna konstrukcja może być przyspieszona poprzez przyspieszenie wszystkiego, czego używa.
Random832,