Jak mierzy się prędkość dysku i co jest szybkie? Jak długo powinna zająć kopia 1500 GB?

Jak mierzy się prędkość dysku? Czy jest to odczyt w Mbit lub Mb na sekundę? Co dzisiaj jest średnie, a co szybkie, a co bardzo szybkie w branży?

Powiedzmy, że ktoś mówi, że wykonanie kopii pliku o pojemności 1500 GB zajmuje dużo czasu (powiedzmy plik bazy danych), jak długo potrwa to w profesjonalnym systemie i jak można to obliczyć biorąc pod uwagę szybkość dysku twardego ?

Prędkości dysków są zwykle mierzone w;

• Prędkość obrotowa w obrotach na minutę (najniższa przy 4200 obr./min, następnie 5400, 7200, 10k i 15k - nie dotyczy to dysków SSD ani pamięci flash).
• Szybkość interfejsu jest najszybsza, jaką elektronika dysków może próbować przesłać dane do kontrolera dysku (zakres ten wynosi od 100 MB / s ATA przez 150/300/600 Mb / s SATA, 2/4/8/16 Gb / s Fibre Channel, a nawet do prędkości PCIe dla pamięć flash, taka jak FusionIO).
• Czas wyszukiwania to po prostu czas potrzebny do rozpoczęcia odczytu lub zapisu określonego sektora dysku - mogą one wynosić od 3-15 ms dla dysków do niewielkiej części tego dla dysków SSD / flash.
• Następnie dochodzimy do rzeczywistej prędkości, której możesz się spodziewać, są cztery prędkości, o które powinieneś się martwić; odczyt sekwencyjny (odczyt bardzo dużego bloku danych), zapis sekwencyjny (taki sam, ale zapis), odczyt losowy (pobieranie danych z całego dysku) i zapis losowy. Różnią się one ogromnie, ale w przypadku wirujących dysków można oczekiwać od 25 MB / s do 150 MB / s dla sekwencyjnego odczytu i zapisu oraz od 3 MB / s do 50 Mb / s dla losowego odczytu i zapisu. Dyski SSD są zwykle w zakresie 200 MB / s dla operacji sekwencyjnych i zwykle nieco mniej dla operacji losowych. FusionIO może łatwo osiągnąć 1 GBps dla wszystkich, ale zazwyczaj są małe i drogie.

Jak widać, nie ma prawdziwej średniej. Jeśli chcesz uzyskać rekomendacje na temat zakupu, możesz do nas wrócić z jak największą ilością informacji - powinno to obejmować budżet, typ aplikacji, rozmiar zestawu danych, bazę użytkowników , sprzęt / system operacyjny oraz wszystko, co uważasz za przydatne.

Jeśli chodzi o kopię 1,5 TB, dobrze, jeśli robisz to na podłączonym do portu USB dysku SATA 7200 obr./min, powinieneś uzyskać co najmniej 30 MB / s-40 MB / s, więc pełne 1,5 TB może zająć około 10 godzin. Gdyby to był typowy profesjonalny system DAS / SAN, spodziewałbym się w okolicach 100 MB / s, co oznacza, że ​​zajęłoby to około 3 godzin.

Mam nadzieję, że to pomaga, och i tylko wyjaśnić, MB = megabajty, Mb to megabity.

W tego rodzaju obliczeniach jest wiele, wiele zmiennych. Rzeczywiste systemy dyskowe mają wiele wzajemnych zależności. Tylko w jednym komputerze:

• Rzeczywista prędkość znamionowa samego napędu (ogólnie RPM, 5200, 7200, 10K, 15K)
• Używany system plików
• Określa, czy używany jest system RAID
  • Jeśli tak, wydajność karty RAID
  • Rodzaj RAID
• Używany system operacyjny
• Operacje odczytu i zapisu mają zupełnie inną charakterystykę wydajności
• Współczynnik odczytu / zapisu dla operacji
• W przypadku operacji sekwencyjnych współczynnik fragmentacji pamięci

Jak widać, szybkość samego dysku jest tylko jednym z wielu czynników. Jest to duży czynnik, ale wciąż jeden z wielu. Jeśli ta kopia o pojemności 1,5 TB znajduje się na tym samym dysku, dysk (najprawdopodobniej w 95%) będzie wykonywał 100% losową wydajność odczytu / zapisu, co generalnie powoduje pogorszenie wskaźników wydajności. Jeśli kopia jest przenoszona z jednego dysku na drugi, a dane są w 100% sekwencyjne, a dysk docelowy jest całkowicie pusty, powinno to zapewnić najszybszą możliwą wydajność z tym podsystemem dyskowym. Rzeczywiste wyniki będą gdzieś pomiędzy tymi dwoma skrajnościami.

Jeśli kopiujesz między dwoma oddzielnymi serwerami, wiąże się to z jeszcze większą liczbą czynników.

Mam działającą macierz pamięci, która może nasycać kanały SAS 3Gb (gigaBIT) podczas wykonywania operacji w dużej mierze sekwencyjnych. Gdybym miał SAS 6 Gb, prawdopodobnie mogłoby to być bardzo bliskie nasycenia również tych. W przypadku losowych I / O ten konkretny system działa bardzo różnie w zależności od systemu operacyjnego (na przykład OpenSolaris miał najgorsze losowe I / O, a Linux XFS najlepszy 3 razy).

Jest po prostu zbyt wiele zmiennych, aby definitywnie odpowiedzieć na te pytania.

To, jak długo trwa kopiowanie 1,5 TB danych, zależy w dużej mierze od rodzaju danych. Jeśli masz kilka 1500 plików 1 GB, prawdopodobnie zajmie to tylko kilka godzin, ale jeśli masz półtora miliarda plików 1KB, prawdopodobnie zajmie to kilka dni.

Wynika to z dwóch sprzecznych specyfikacji na dyskach: przepustowości i średniego czasu dostępu. Tradycyjny dysk o przepustowości 100 MB / s i czasie dostępu 10 ms jest dość powszechny. Jeśli możesz przesyłać dane sekwencyjnie, możesz uzyskać 100 MB / s. Jeśli jednak musisz przeskoczyć w inne miejsce, zajmie to 10ms. Gdybyś przesyłał strumieniowo, mógłbyś zapisać 1 MB danych w czasie, który zajmuje przejście do innej lokalizacji.

Utworzenie pliku może zająć kilka prób, dlatego utworzenie pliku o wielkości 1 KB może kosztować tyle samo, co przesłanie strumieniowe kilku MB danych.

Tak więc w niektórych przypadkach lepiej jest wykonać kopię surowego dysku urządzenia blokowego niż kopiowanie w systemie plików za pomocą czegoś takiego jak rsync. Jeśli masz dużo plików, w systemie plików, który jest, powiedzmy, wypełniony w 50% lub więcej, często lepiej jest po prostu skopiować całe urządzenie blokowe za pomocą „dd”, o ile zajmie to czas. Oczywiście nie można tego zrobić, gdy system plików jest zamontowany, więc ma to również wady.

Dyski SSD mogą pomóc złagodzić ten problem, ponieważ ich czasy dostępu są około 100 razy szybsze, ale dyski SSD MLC mają skomplikowane problemy z dostępem w zależności od dostępności puli wstępnie usuniętych bloków. Dyski SSD SLC mogą w tym pomóc.

Kontrolery RAID z wbudowaną pamięcią podręczną mogą pomóc w wyszukiwaniu, podobnie jak moduł jądra flashcache, który pozwala buforować urządzenie blokowe za pośrednictwem dysku SSD.

Systemy RAID mogą umożliwiać wiele równoległych prób, skutecznie zmniejszając średni czas dostępu, a także równoległość w celu zwiększenia przepustowości. Ale ogólna wydajność często zależy od liczby zaangażowanych plików.