Jakie są „dobre” prędkości dla iSCSI i NFS w sieci Ethernet 1GB?

9

Mam skrzynkę OpenSolaris udostępniającą dwa systemy plików ZFS. Jednym z nich jest połączenie NFS z urządzeniem CentOS, na którym działa serwer VMware (obrazy dysków są przechowywane w ZFS). Drugim jest połączenie iSCSI z serwerem Windows 2008 z formatowaniem NTFS na ZFS. Oba połączenia są bezpośrednie przez gig-E (bez przełączników).

Używam munina, aby monitorować skrzynki, ale nie jestem pewien, jakich liczb powinienem się spodziewać. Czy ktoś może mi podać podstawowe liczby do porównania lub podać sugestie, od czego zacząć strojenie?

Oto statystyki NFS, które widzę, opublikuję iSCSI, gdy naprawię Munina na polu solaris: P

berło

klient nfs

Sysadminicus
źródło
Jakich jednostek szukasz? KBPS? IO / s?
WerkkreW
Nie wiem nawet, od czego zacząć. Zaktualizowałem post za pomocą statystyk, które mam od Munina. Daj mi znać, czy są lepsze miejsca do wyszukiwania.
Sysadminicus

Odpowiedzi:

12

Przekazaliśmy zapis Sun X4100 na połączonych GigE i iSCSI do Sun X4500 do 280 MB / s.

Jest wiele rzeczy, które można zrobić, aby dostroić stos TCP w Solarisie, aby pomóc, to moja konfiguracja strojenia. (pobierz z pewnej kolekcji oficjalnych dokumentów firmy Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Warto również zajrzeć na maszynę OpenSolaris, zmieniając interwał fsflush, regulację przerwań „magię” i wyłączając miękkie pierścienie. Dołącz następujące elementy do / etc / system (wymagane ponowne uruchomienie):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Warto wspomnieć, że robię to na Solarisie 10 - nie na OpenSolarisie - ale myślę, że tunery powinny działać dla ciebie tak samo.

Jestem wielkim fanem Filebench do zabawy z opcjami strojenia i wykonywania testów przepustowości.

Wydanie (ostatnio przemianowane) OpenSolaris 2009.06 wydaje się być bardzo ekscytujące w świecie iSCSI i ZFS.

Mam nadzieję, że to pomoże niektórym!

Jharley
źródło
3

Dostaję około 90 MB / s do moich tablic EMC AX150i przez iSCSI na 1GB Ethernetu.

Brent Ozar
źródło
1

W przypadku pojedynczego dd lub bonnie ++ (szybkość surowa, zapis liniowy) powinieneś zbliżyć się do prędkości drutu.

Ale twoim wąskim gardłem będzie macierz dyskowa, gdy zaczniesz otrzymywać losowe obciążenie IO wielu maszyn wirtualnych, znacznie więcej niż transport.

Ponadto, jeśli nie masz pamięci podręcznej zapisu zasilanej bateryjnie ze znaczną ilością pamięci RAM, wydajność spadnie, gdy zaczniesz uzyskiwać dużo zapisów przy każdym innym IO.

jwiz
źródło
0

Udało mi się przesłać dane przez iSCSI do około 200 Mbit / s przez łącza 1 GB. Ale miałem 14-dyskową macierz RAID 6 obsługiwaną przez EMC CX4-240, przy czym niewiele wtedy używało pamięci podręcznej.

Największym wąskim gardłem będzie prawdopodobnie ilość pamięci podręcznej kontrolera i szybkość dysków (gdy pamięć podręczna się zapełni).

mrdenny
źródło
1
Nie udało się na etapie planowania, umieszczając wszystkie 12 dysków na tym samym kontrolerze. Wyobrażam sobie, że rozdzielenie ich pomiędzy inne kontrolery byłoby dla nas łatwym zwycięstwem.
Sysadminicus
Może wszystko zależy od tego, gdzie jest wąskie gardło. Nasz RAID 6 jest pojedynczym kontrolerem, ponieważ wszystko znajduje się na jednej półce. Ale jest w dość wysokiej klasy sprzęcie. Gdzie jest wąskie gardło? Może być konieczne włożenie większej ilości pamięci podręcznej do kontrolera i / lub przypisanie wyższego procentu pamięci podręcznej jako pamięci podręcznej zapisu.
mrdenny
Mam podobną konfigurację (choć z AX4-5). Nie używam iSCSI, ale mam bardzo szybkie transfery przy użyciu niezaszyfrowanych protokołów między dwoma komputerami w sieci SAN. Chciałbym wiedzieć o dobrych dokumentach optymalizacyjnych SAN.
Matt Simmons,
0

Dostaję około 80 MB / S na mój serwer Windows przez ISCSI w sieci Ethernet 1G. Cel: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Inicjator: Microsoft Initiator www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang= en

Hardisk: ATA 7200


źródło
0

Dla tych z nas, którzy są bliżej półprofesjonalnego końca rzeczy (zamiast pro), otrzymuję stały i konsekwentny odczyt 150 MB 120 MB zapisu z serwera W2012 podwójny 1 gb nic połączony poprzez zarządzany przełącznik draytek do blackarmorsnas przez miedź RJ45, pojedynczy transfer pliku 20 GB. Brak innych jednoczesnych operacji podczas testu. Aby to osiągnąć, używam jumbo frame 9k, rx i tx flow, tj. Wszystkie normalne optymalizacje sterowników, ale żadnych poprawek poza włączaniem i zwiększaniem jumbo frame do max.

użytkownik174818
źródło