Dyski SATA, które poprawnie obsługują buforowanie zapisu?

Dość często spotykane są porady dotyczące wyłączania pamięci podręcznej zapisu na poszczególnych dyskach używanych do baz danych, ponieważ w przeciwnym razie niektóre dyski uznają zapisy, które jeszcze nie dotarły na powierzchnię dysku.

Oznacza to, że niektóre dyski nie potwierdzają zapisów, dopóki nie dotrą na powierzchnię dysku (aktualizacja: lub że dokładnie zgłaszają się po poproszeniu o opróżnienie pamięci podręcznej. Gdzie mogę znaleźć takie dyski lub gdzie mogę szukać wiarygodnych informacji gdzie znaleźć takie dyski?

Konfiguruję niektóre serwery DB, które naprawdę skorzystałyby na buforowaniu zapisu, ale aplikacja jest wrażliwa na cenę i wolałbym nie podwoić kosztów mojego podsystemu dyskowego w przypadku buforowania kontrolera RAID, ponieważ nie mam wystarczającej ilości informacji, aby wiem, czy mogę ufać pamięci podręcznej na każdym dysku.

Ogólnie rzecz biorąc, w bezpośredniej odpowiedzi na twoje pytanie, nie znam żadnych głównych marek napędów SATA, że sam napęd miał błędy związane z poprawnym działaniem z włączonym buforowaniem zapisu. To znaczy, tylko z perspektywy dysku, dysk robi to, co powinien zrobić z perspektywy buforowania. Chciałbym również zauważyć, że nawet gdy buforowanie zapisu jest włączone, opóźnienie od zapisu dysku kablem SATA do fizycznie aktualizowanego obracającego się nośnika jest nadal bardzo krótkie (zwykle około 50 do 100 ms). To nie jest tak, że brudne dane z pamięci podręcznej będą po prostu tam siedzieć przez kilka sekund ..... dysk nieustannie próbuje uzyskać brudne dane z pamięci podręcznejna fizyczny nośnik tak szybko, jak to możliwe. Nie jest to tylko kwestia bezpieczeństwa danych, ale gotowość do przyjęcia zapisów w przyszłości bez żadnych opóźnień (np. Napisanie postu).

Problem, który pojawia się, gdy buforowanie jest włączone, polega na tym, że kolejność zapisu do napędu za pomocą kabla SATA i kolejność zapisu na obracającym się nośniku nie są takie same. Nie może to nigdy powodować problemu, chyba że nastąpi utrata zasilania lub awaria systemu, zanim cała zawartość pamięci podręcznej nie znajdzie się na dysku. Dlaczego? ->

Problem, który może się tutaj pojawić, dotyczy odporności transakcji systemu plików i / lub zawartości plików bazy danych na nieuporządkowane zapisy utracone. W efekcie te potencjalnie utracone zapisy w kolejności mogą teoretycznie uszkodzić integralność logiki transakcji, która w innym przypadku byłaby zagwarantowana przez zapisy dysku w bardzo określonej kolejności dla mediów.

Teraz, oczywiście, projektanci systemu plików, baz danych, kontrolerów RAID itp. Są świadomi (a na pewno powinni być świadomi) tego zjawiska w odniesieniu do buforowania zapisu. Buforowanie zapisu jest niezwykle pożądane z punktu widzenia wydajności w większości scenariuszy we / wy typu dostępu swobodnego. W rzeczywistości dostępność buforowania zapisu jest kluczowym elementem umożliwiającym czerpanie rzeczywistych korzyści z bardziej zaawansowanego Native Command Queuing ( NCQ)), który jest obsługiwany w nowszych wersjach SATA i ostatnich generacjach implementacji PATA. Tak więc, aby zagwarantować porządek na fizycznym nośniku w takich krytycznych momentach, system plików i / lub aplikacja itp. Mogą w szczególności zażądać opróżnienia pamięci podręcznej zapisu na nośniku. Po zakończeniu tego żądania synchronizacji - wszystko oczekujące od (potencjalnie) buforów plików, buforowania dysku systemu operacyjnego, buforowania dysku fizycznego itp. Jest faktycznie dostępne na nośniku zgodnie z projektem systemu transakcyjnego przy właściwych operacjach krytycznych. Oznacza to, że dzieje się to poprawnie, jeśli programiści wykonują odpowiednie wywołania u góry ORAZ każdy element tego łańcucha warstw oprogramowania i sprzętu wykonał swoją pracę poprawnie. tj .: nie ma żadnych błędów w tym zakresie w napędzie, kontrolerach RAID, sterownikach dysków, pamięciach podręcznych systemu operacyjnego, systemie plików, silniku bazy danych itp. To dużo oprogramowania, które wszystko musi działać dokładnie tak, jak trzeba. Ponadto weryfikacja poprawności pod tym względem jest bardzo trudna, ponieważ w prawie każdej sytuacji zwykle kolejność zapisu nie ma żadnego znaczenia ... a scenariusze awarii zasilania i awarii są trudnymi do skonstruowania testami. Tak więc w końcu „wyłączenie buforowania zapisu” na jednej lub kilku różnych warstwach i / lub znaczeniach tego terminu… ma reputację „naprawiania” niektórych rodzajów problemów. W efekcie wyłączenie zachowań buforowania zapisu kontrolera RAID, pamięci podręcznej dysku systemu operacyjnego lub napędu itp. Pozwala uniknąć jednego lub więcej błędów w systemie ..... i źródła takiej wiedzy. a scenariusze awarii zasilania i awarii są trudnymi do zbudowania testami. Tak więc w końcu „wyłączenie buforowania zapisu” na jednej lub kilku różnych warstwach i / lub znaczeniach tego terminu… ma reputację „naprawiania” niektórych rodzajów problemów. W efekcie wyłączenie zachowań buforowania zapisu kontrolera RAID, pamięci podręcznej dysku systemu operacyjnego lub napędu itp. Pozwala uniknąć jednego lub więcej błędów w systemie ..... i źródła takiej wiedzy. a scenariusze awarii zasilania i awarii są trudnymi do zbudowania testami. Tak więc w końcu „wyłączenie buforowania zapisu” na jednej lub kilku różnych warstwach i / lub znaczeniach tego terminu… ma reputację „naprawiania” niektórych rodzajów problemów. W efekcie wyłączenie zachowań buforowania zapisu kontrolera RAID, pamięci podręcznej dysku systemu operacyjnego lub napędu itp. Pozwala uniknąć jednego lub więcej błędów w systemie ..... i źródła takiej wiedzy.

W każdym razie wracając do sedna pytania: w SATA specyficzna obsługa wszystkich poleceń odczytu / zapisu na dysku i poleceń opróżniania pamięci podręcznej jest dobrze zdefiniowana w specyfikacjach SATA . Ponadto producenci napędów powinni mieć szczegółową dokumentację dla każdego modelu lub rodziny napędów opisującą ich implementację i zgodność z tymi regułami, takimi jak ten przykład dla dysków Seagate Barracuda . W szczególności zobacz szczegóły FUNKCJI SATA SETpolecenie sterujące trybem pracy dysku, a konkretnie opcja 82h może być użyta do wyłączenia buforowania dysku na poziomie napędu, ponieważ domyślnie jest to buforowanie zapisu włączone na wszystkich dyskach, o których wiem. Jeśli naprawdę chcesz wyłączyć pamięć podręczną, to polecenie należy wykonać na początku każdego resetu lub włączenia napędu i zwykle jest ono kontrolowane przez sterowniki dysku dla twojego systemu operacyjnego. Możesz być w stanie zachęcić sterownik systemu operacyjnego do ustawienia tego trybu za pomocą IOCTL i / lub ustawienia rejestru, ale jest to bardzo zróżnicowane.

Z mojego doświadczenia wynika, że ​​zasilany bateryjnie kontroler dysku buforującego wyłącza pamięć podręczną na dysku. Nie znam sposobu, aby w inny sposób wyłączyć pamięć podręczną na dysku. Nawet jeśli można wyłączyć pamięć podręczną na dysku, wydajność znacznie spadnie.

W celu uzyskania taniego optoinu można użyć niedrogiego zasilacza UPS, który może zasygnalizować systemowi jego uporządkowane zamknięcie.

Używam systemu RAID z superkondensatorem zamiast baterii, aby utrzymać pamięć podręczną. Baterie zużywają się, muszą być monitorowane, muszą być wymieniane i stanowią potencjalny punkt awarii pod tym względem. Kondensator ładuje się przy starcie, opróżnia pamięć podręczną, gdy zanika zasilanie z UPS, trwa praktycznie wiecznie, nie wymaga monitorowania itp. Jednakże, chyba że prowadzisz firmę na granicy ubóstwa (obecnie nierzadko) powinieneś mieć UPS oraz oprogramowanie, które wyłącza system w razie awarii - zwykle daję mu 5-15 minut (w zależności od obciążenia zasilacza UPS, a zatem dostępnej baterii) przed wyłączeniem w przypadku powrotu zasilania.

Podczas burzy z piorunami możesz (lub możesz mieć - systemy zasilania stają się coraz lepsze) migać światła, czasami tuż przed ich zgaśnięciem. To urządzenie nazywa się recloser. Jest to wyłącznik, który po zadziałaniu próbuje zamknąć otwarty przełącznik na wypadek, gdyby przeciążenie było przejściowe, a większość z nich jest. Jeśli nie zostanie zamknięty po, powiedzmy trzy próby, pozostanie otwarty. Jakiś biedak musi wyjść na deszcz i sobie z tym poradzić. Nie żal mu go, robiąc tylko dwa razy to, co ty i ja, i dwa razy, że jeśli jest nadgodziny, to niebezpieczna praca.

Jednym z nieporozumień, jeśli dyski zapisują dyski w pamięci podręcznej, jest to, że tracą dane tylko w przypadku utraty zasilania. Nie zawsze tak jest, szczególnie w przypadku urządzeń SATA. Jeśli na urządzeniu SATA wystąpił błąd (na przykład błąd FW w obudowie narożnej lub błąd kontrolera) i resetuje się lub jest resetowany zewnętrznie, nie ma gwarancji, że dane w pamięci podręcznej zapisu będą nadal dostępne po zawieszeniu.

Może to prowadzić do scenariuszy, w których urządzenie ma przejściowy błąd, resetuje się, utrata danych występuje w przypadku utraty brudnej pamięci podręcznej, a to milczy powyżej poziomu blokowania sterowników.

Co gorsza, wyłączenie pamięci podręcznej dysku za pomocą narzędzi systemu operacyjnego zostanie również utracone podczas resetowania urządzenia, więc nawet jeśli urządzenie ma wyłączoną pamięć podręczną na początku dnia, jeśli urządzenie zostanie zresetowane, ponownie włączy buforowanie z zapisem. Przy kolejnym resecie urządzenie utraci dane.

Dyski SCSI / SAS i niektóre dyski SATA mają możliwość zapisania stanu profilu zapisu zwrotnego, aby zapewnić, że właściwość nie zostanie utracona podczas resetowania - ale w praktyce jest to rzadko używane.

Kontrolery RAID, które integrują warstwę blokową z górnymi warstwami, mogą zauważyć resety dysków i ponownie wyłączyć pamięć podręczną zapisu - ale standardowe kontrolery SATA i SAS tego nie zrobią.

To ograniczenie dotyczy także innych USTAWIEŃ FUNKCJI i podobnych parametrów skonfigurowanych pod kątem wydajności i niezawodności.

Jak mówisz, odpowiedni kontroler RAID z podtrzymaniem bateryjnym będzie drogi, ale na eBayu możesz znaleźć kontrolery Dell Perc5 / i za 100 GBP (150 USD), a zwłaszcza w przypadku RAID5 szybkość kontrolera takiego jak Perc5 / i zadziwi cię. Mam kilka serwerów z Perc5 / is i sześć dyskowych macierzy RAID5 i należą one do najszybszych dysków, jakie kiedykolwiek widziałem. Szczególnie w przypadku aplikacji bazodanowych szybkie dyski naprawdę poprawią wydajność.

Ugryzłem kulę i kupiłem kontroler RAID.

JR

O ile rozumiem, fałszowanie fsync () jest właściwością kontrolerów RAID zasilanych bateryjnie, a nie napędów. Kontroler RAID zawiera baterię, która może zasilać pamięć podręczną zapisu, dopóki zasilanie nie zostanie przywrócone na dysku i zapis może zostać bezpiecznie przypisany do dysku. Umożliwia to kontrolerowi natychmiastowy powrót do systemu operacyjnego, ponieważ daje pewien poziom gwarancji, że zapis zostanie zapisany na dysku.

Należy zauważyć, że jeśli pamięć podręczna zapisu dysków zapełni się, zapisy będą blokowane, dopóki pamięć podręczna nie zostanie zapisana z powrotem na dysku. Oznacza to, że pamięć podręczna zasadniczo nie jest tak skuteczna w przypadku trwałego zapisu.

Ile IOPS wymaga Twoja aplikacja? Czy jesteś pewien, że ogranicza Cię pamięć podręczna zapisu, lub że mała (w porównaniu z pamięcią serwera) pamięć na dysku przyniesie korzyści?