Czy lepiej jest kupować dyski RAID pojedynczo niż luzem?

Może to zabrzmieć jak dziwne pytanie, ale wywołało ożywioną dyskusję z niektórymi z moich kolegów. Rozważmy macierz RAID umiarkowanej wielkości składającą się z ośmiu lub dwunastu dysków. Kupując początkową partię dysków lub kupując części zamienne w celu powiększenia macierzy lub odświeżenia sprzętu, można zastosować dwa szerokie podejścia:

1. Kup wszystkie dyski w jednym zamówieniu od jednego dostawcy i otrzymaj jedno duże pudełko zawierające wszystkie dyski.
2. Zamów jedno urządzenie dyskowe od różnych dostawców i / lub rozłóż (w ciągu dni lub tygodni) kilka zamówień na jedno urządzenie dyskowe.

Oczywiście istnieje pewien środek, ale są to główne przeciwstawne nastawienia. Byłem naprawdę ciekawy, które podejście jest bardziej sensowne, jeśli chodzi o zmniejszenie ryzyka katastrofalnej awarii macierzy. (Zdefiniujmy, że jako „25% dysków ulegnie awarii w oknie czasowym równym czasowi, jaki zajmuje ponowne uruchomienie tablicy raz”. Logika jest taka, że ​​jeśli wszystkie dyski pochodzą z tego samego miejsca, wszystkie mogą mieć takie same ukryte wady czekające na uderzenie. Ten sam szkielet czasowy z tym samym początkowym odliczaniem zegara, jeśli wolisz.

Zebrałem kilka najczęstszych zalet i wad każdego podejścia, ale niektóre z nich wydają się przypuszczeniem i instynktem zamiast twardych danych opartych na dowodach.

Kupuj naraz, profesjonaliści

• Mniej czasu spędzonego w fazie badań / zamawiania.
• Minimalizuje koszty wysyłki, jeśli sprzedawca za to pobiera.
• Dyski mają prawie taką samą wersję oprogramowania wewnętrznego i te same „dziwactwa” w zakresie ich właściwości operacyjnych (temperatura, wibracje itp.)
• Podwyżki cen / niedobory akcji prawdopodobnie nie opóźnią projektu.
• Każdy następny dysk jest pod ręką w momencie, gdy trzeba go zainstalować.
• Wszystkie numery seryjne są znane z góry, dyski można instalować w obudowie w kolejności rosnącej liczby seryjnej. Wydaje się to zbyt wybredne, ale niektórzy ludzie to cenią. (Myślę, że ich interfejs zarządzania sortuje dyski według numeru seryjnego zamiast kolejności portów sprzętowych ...?)

Kup wszystkie naraz

• Wszystkie dyski (prawdopodobnie) pochodziły z tej samej fabryki, wykonane w tym samym czasie z tych samych materiałów. Były one przechowywane w tym samym środowisku i podlegały tym samym potencjalnym nadużyciom podczas transportu. Każda wada lub uszkodzenie występujące w jednym z nich prawdopodobnie występuje we wszystkich.
• Jeśli dyski są wymieniane pojedynczo na istniejącą macierz i każdy nowy dysk wymaga indywidualnej resililacji, może upłynąć kilka tygodni, zanim ostatni dysk z zamówienia zostanie zainstalowany i okaże się uszkodzony. Okno zwrotu / wymiany ze sprzedawcą może wygasnąć w tym czasie.
• Nie można skorzystać z obniżek cen w najbliższej przyszłości, które mogą wystąpić podczas projektu.

Kupuj indywidualnie, profesjonaliści

• Jeśli jeden dysk ulegnie awarii, współdzieli bardzo mało historii produkcji / transportu z innymi dyskami. Jeśli awaria została spowodowana przez coś podczas produkcji lub transportu, pierwotna przyczyna prawdopodobnie nie wystąpiła na żadnym innym dysku.
• Jeśli dysk jest martwy w momencie przybycia lub ulegnie awarii w ciągu pierwszych godzin użytkowania, zostanie wykryty wkrótce po nadejściu przesyłki, a proces zwrotu może przebiegać sprawniej.

Kupuj indywidualnie, wady

• Znalezienie wystarczającej liczby dostawców w przystępnych cenach zajmuje dużo czasu. Śledzenie zamówień, niepowodzenie dostawy, zwroty uszkodzonych produktów i inne problemy mogą być czasochłonne.
• Potencjalnie wyższe koszty wysyłki.
• Istnieje bardzo realna możliwość, że wymagany będzie nowy dysk, ale żaden z nich nie będzie dostępny, co opóźni projekt.
• Wymyślona korzyść. Bez względu na sprzedawcę lub datę zakupu wszystkie dyski pochodzą z tego samego miejsca i są naprawdę takie same. Wady produkcyjne zostałyby wykryte przez kontrolę jakości, a dyski niespełniające norm nie zostałyby sprzedane. Uszkodzenia podczas transportu musiałyby być tak poważne (i widoczne gołym okiem), aby uszkodzone dyski były widoczne po rozpakowaniu.

Jeśli używamy po prostu liczby pocisków, „kupuj luzem” wygrywa dość wyraźnie. Ale niektóre zalety są słabe, a niektóre wady są silne. Wiele z punktorów wskazuje po prostu logiczną odwrotność niektórych innych. Niektóre z tych rzeczy mogą być absurdalnym przesądem. Ale jeśli przesądy lepiej sprawdzą się w utrzymaniu integralności macierzy, myślę, że byłbym skłonny się z tym pogodzić.

Która grupa jest tutaj najbardziej rozsądna?

AKTUALIZACJA: Mam dane dotyczące tej dyskusji. Ostatni zestaw, który osobiście zbudowałem (około cztery lata temu) miał osiem dysków. Zamówiłem od jednego dostawcy, ale podzieliłem zakup na dwa zamówienia po cztery dyski każdy, w odstępie około jednego miesiąca. Jeden dysk tablicy uległ awarii w ciągu pierwszych godzin działania. Pochodził z pierwszej partii, a okno zwrotu dla tego zamówienia zamknęło się w czasie, gdy wszystko zostało zakodowane.

Cztery lata później siedem oryginalnych dysków plus jeden zamienny nadal działają bezbłędnie. (odpukać.)

W praktyce ludzie, którzy kupują od dostawców korporacyjnych (HPE, Dell itp.) , Nie martwią się tym .

Dyski pochodzące od tych dostawców są już rozłożone na wielu producentów pod tym samym numerem części.

Dyskiem HP w ramach określonej jednostki SKU może być HGST, Seagate lub Western Digital.

Ten sam numer części HP, odmiana producenta, numer partii i oprogramowanie układowe

Nie powinieneś jednak próbować przechytrzyć / przechytrzyć prawdopodobieństwa niepowodzenia partii. Możesz spróbować, jeśli daje to spokój ducha, ale może nie być warte wysiłku.

Dobre praktyki, takie jak klastrowanie, replikacja i pełne kopie zapasowe, stanowią prawdziwą ochronę przed awariami wsadowymi. Dodaj gorące i zimne części zamienne. Uważnie monitoruj swoje systemy. Skorzystaj z inteligentnych systemów plików, takich jak ZFS :)

I pamiętaj, że awarie dysków twardych nie zawsze są mechaniczne ...

W odpowiedzi na odpowiedź ewwhite niektórzy sysadmini porządkują partie. Nigdy osobiście nie zamawiałem dysków, ale standardowymi operacjami w ostatnim miejscu, w którym pracowałem z taką wydajnością, było zamawianie dysków w partiach. W przypadku maszyny dwunastu napędów SOP nakazał podział napędów na trzy partie, co daje maszynie trzypoziomowy profil redundancji.

Jednak inne małe stroje, z którymi się konsultowałem, były zgodne z różnymi protokołami, niektóre nie dotyczyły partii, a inne dzielą partie na dwie lub cztery tablice. Krótka odpowiedź brzmi: rób to, co wydaje się odpowiednie dla poziomu usług, jaki musisz osiągnąć.

Uwaga dodatkowa: Ostatnim miejscem, w którym pracowałem, było z pewnością właściwe postępowanie. Maszyna do przechowywania aplikacji zdecydowała się zawieść na całej partii dysków i odkryliśmy, że ta konkretna partia ma tę samą wadę. Gdybyśmy nie przestrzegali protokołu wsadowego, ponieślibyśmy katastrofalną utratę danych.

Uczciwa odpowiedź od kogoś, kto spędził dużo czasu na radzeniu sobie z umierającymi tablicami rajdowymi i trudnymi dyskami: jeśli nie możesz uniknąć wszystkich dysków z tej samej partii.

Moje doświadczenie dotyczy tylko wirujących dysków, dyski SSD mają swoje własne problemy i zalety, które należy wziąć pod uwagę przy składaniu zamówień masowych.

Dokładnie najlepszy sposób radzenia sobie z problemami zależy głównie od tego, jak duża jest macierz, z którą pracujesz, jeśli pracujesz z czymś takim jak 6 macierzy dysków z 2 nadmiarowością dysków, prawdopodobnie możesz bezpiecznie kupić podobne dyski od 3 producentów i podzielić macierz tak.

Jeśli używasz nieparzystego dysku lub pracujesz z macierzami, których nie można tak łatwo podzielić na partycje, możesz wypróbować inne metody, takie jak kupowanie tego samego dysku od różnych dostawców lub jeśli kupujesz hurtowo, możesz przejrzeć i spróbuj oddzielić dyski na podstawie prawdopodobieństwa, że ​​zostaną wyprodukowane razem.

Jeśli używasz wystarczająco małej macierzy z odpowiednią technologią, może warto poświęcić czas na jej stopniowe tworzenie z heterogenicznych zasobów dyskowych. Zacznij od minimalnej liczby dysków, z których można uciec i kup następną dostawę miesiąc lub dwa później lub po napełnieniu systemu. Dzięki temu możesz poczuć wszelkie problemy związane z wybranymi modelami.

Powodem tej porady jest połączenie dwóch dziwactw dysków.

1. MTBF jest znacznie zepsuty, gdy masz wiele dysków o podobnym pochodzeniu. W statystykach nazwalibyśmy to odchyleniem próbkowania, ponieważ ze względu na podobieństwo w twoich próbkach efekty uśredniania będą mniej użyteczne. Jeśli wystąpi usterka partii lub nawet samego projektu, i zdarza się to częściej, niż mogłoby się wydawać, dyski z tej partii przestaną działać szybciej, niż sugerowałoby to MTBF.

   Jeśli dyski są rozproszone, możesz dostać [50%, 90%, 120%, 200%] MTBF, ale jeśli wszystkie dyski pochodzą z tej partii 50%, masz bałagan na rękach.

2. Ponowne złożenie tablicy RAID zabija dyski. Nie naprawdę. Jeśli wystąpi awaria dysku, a tablica zostanie odbudowana, spowoduje to dodatkowe obciążenie innych dysków podczas skanowania danych. Jeśli masz dysk zbliżony do awarii, przebudowa może go usunąć, lub może już mieć lokalizację awarii, o której nie wiedziałeś, ponieważ ta sekcja nie była ostatnio czytana.

   Jeśli masz wiele napędów z tej samej partii, szanse na wystąpienie tego rodzaju awarii kaskady są znacznie większe niż szanse, jeśli są różne. Możesz to złagodzić, przeprowadzając regularne skany patrolowe, szorowanie, resilverowanie, niezależnie od zalecanej praktyki dla używanego typu macierzy, ale wadą jest to, że wpłynie to na wydajność i może potrwać wiele godzin.

W pewnym kontekście, jak bardzo różnorodna jest długość życia dysków, Backblaze regularnie raportuje statystyki awarii dysków ... Nie jestem w żaden sposób związany z firmą, ale powinni wiedzieć, o czym mówią na temat niezawodności dysków . Przykładem jest https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/ ... Twój zestaw próbek będzie prawdopodobnie mniejszy, więc dane odległe mogą zepsuć twoje wrażenia, wciąż jest dobre referencje.

Kilka lat temu musiałem rozważyć ten problem dla klienta. Mam połączenie praktycznego doświadczenia i badań, aby poprzeć zalecenie dotyczące wielu źródeł.

Odkładając na chwilę swoje zalety i wady, a także doskonałą odpowiedź ewwhite , ostrożność sugeruje, że jeśli kupujesz dyski samodzielnie, korzystasz z wielu źródeł. Szybkie spojrzenie na omówione w Wikipedii słabości macierzy RAID wskazuje na dwa interesujące odniesienia.

Pierwszym odniesieniem jest papierowy RAID ACM : Wysokowydajny, niezawodny dodatkowy magazyn (Chen, Lee, Gibson, Katz i Patterson. ACM Computing Surveys. 26: 145-185). W sekcji 3.4.4 autorzy zwracają uwagę, że awarie sprzętu nie zawsze są statystycznie niezależnymi zdarzeniami i podają przyczyny. Kiedy piszę tę odpowiedź, artykuł jest dostępny online; na stronach 19–22 omówiono wiarygodność ( http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.41.3889 ).

Drugim odniesieniem są awarie dysków w prawdziwym świecie: co oznacza dla ciebie MTTF wynoszący 1 000 000 godzin? (Schroeder, Gibson. Piąta konferencja USENIX na temat technologii plików i pamięci). Autorzy przedstawiają dane statystyczne na poparcie twierdzenia, że ​​awarie dysków mogą być grupowane w czasie z częstotliwością wyższą niż przewidywana dla niezależnych zdarzeń. Kiedy piszę tę odpowiedź, ten artykuł jest również dostępny online ( https://www.usenix.org/legacy/events/fast07/tech/schroeder/schroeder_html/index.html ).

Dell wyraźnie zalecił RAID 5 w 2012 r. Ze względu na skorelowane awarie dysków w dużych środowiskach dyskowych; Oczekuje się, że RAID 6 stanie się zawodny z podobnych powodów około 2019 roku (artykuł ZDNet zatytułowany „dlaczego-raid-6-przestaje działać-w-2019”: http://www.zdnet.com/article/why-raid-6 -stops-working-in-2019 / ). Podczas gdy kluczowym elementem obu tych elementów jest rozmiar dysku i czas odbudowy, zalecane były mniejsze rozmiary dysków i multisourcing jako środek łagodzący problem z RAID 5.

Tak więc, jeśli możesz, użyj wielu źródeł; jeśli kupujesz od dostawcy korporacyjnego zgodnie z opisem w odpowiedzi ewwhite, może się to zdarzyć w sposób przejrzysty. Jednak ... mój klient kupił 16 dysków 2 TB od dostawcy korporacyjnego. Tak się złożyło, że pochodziły od tego samego producenta i wydawały się być produkowane w tym samym czasie. Dwa dyski uległy awarii w ciągu dwóch tygodni od skonfigurowania macierzy RAID01. Więc sprawdź dyski, kiedy je dostaniesz. (Już i tak je sprawdzasz, prawda?)

Kolejną potencjalną wadą indywidualnego zamawiania napędów jest pakowanie i obsługa.

Dyski twarde prawie nigdy nie są dostarczane w opakowaniach detalicznych. Jeśli kupisz je pojedynczo, prawie na pewno zostaną przepakowane przez sprzedawcę. Przekonałem się, że to przepakowanie jest bardzo zmienne. Czasami dostajesz ładne pudełko z dużą ilością wyściółki, ale innym razem prawie wcale nie masz.

Mniejsze pudełko jest również bardziej narażone na rzucanie przez przewoźników bez widocznych uszkodzeń zewnętrznych.

Jeśli próbujesz złagodzić scenariusz „zła partia”, co oznacza, że ​​każdy dysk w określonej partii zakupu może / nie powiedzie się w tym samym czasie, ważne jest również, aby wziąć pod uwagę rozmiar macierzy i używany poziom RAID.

Jeśli zastanawiasz się nad zrobieniem wielu zamówień, nie ma ustalonego standardu na całym forum. Osoby polecające 2–4 poziomy zakupów powinny zadać sobie pytanie, jeśli awaria jednego poziomu dysków będzie nadal dostępna online? Dlatego w przypadku nadmiarowych poziomów RAID, takich jak 1/5/10/50, należy kupować dyski 1 na raz. W przypadku RAID6 można zakupić 2 na raz.

Poleciłbym bez względu na to, jak kupujesz dyski, których regularnie tworzysz kopie zapasowe, i kupujesz odpowiednie części zamienne typu hot / cold na rozmiar macierzy i typ RAID.

Zawsze kupuję używane / luzem. Zlecenia, które śledzę, są prawie zawsze tym samym modelem urządzenia, a ich użycie przynajmniej łagodzi obawy dotyczące „złej partii”. W sieci unosi się tak dużo sprzętu do sprzedaży ogniowej, że trudno mi uzasadnić zakup nowych dysków (lub cokolwiek innego w tym zakresie), chyba że jest to sprzęt o znaczeniu krytycznym (a cały nasz sprzęt do tworzenia kopii zapasowych jest nadal odnawiany!)

+ PRO: konkurencyjne ceny online i ciągłe zalewanie sprzętu ze zmieniających się środowisk biznesowych oznacza, że ​​prawie nie trzeba się starać, aby uzyskać 50-80% rabatu na sprzedaż detaliczną za zmiany środowiska pracy.

+ PRO: Niska cena uwalnia budżet na nadmierne zakupy i utrzymanie solidnego zaplecza zapasowego sprzętu.

+ PRO: Relacje ze sprzedającymi Mam garstkę sprzedawców internetowych, którzy otrzymują niewielkie upusty od i tak już znacznej zniżki na remont / używany sprzęt. Zwykle nie dostaniesz tego w Monoprice, chyba że kupujesz w dużych ilościach lub masz z nimi SLA. Ponadto, szczególnie w przypadku dysków twardych, po prostu przetestuj je od razu po wyjęciu z pudełka. Nigdy nie miałem problemu ze zwrotem lub wymianą sprzętu DOA przez sprzedawcę (chyba że to oszustwo, którego nie złapałem).

-CON: Gwarancja, problemy z legalnością Gwarancja jest oparta na dacie produkcji urządzenia, będziesz też musiał uważać na internetowych huksterów próbujących sprzedać ci re-brandy, klony itp.

-CON: Testowanie Konieczne jest uwzględnienie ogólnych kosztów testowania. Niezależnie od tego powinieneś również testować nowy sprzęt, więc nie jestem pewien, czy to dotyczy.

-CON: trudność w ocenie życia; nieco bardziej podatny na awarie dysków.

Uwaga: jeśli jest to wersja kliencka i nie jawnie żądają odnowienia / użycia, zawsze przez błyszczący / nowy!

Można uzyskać większą niezawodność, używając dysków twardych pochodzących z różnych partii i idealnie od producentów. W przeciwnym razie mogą zawieść zbyt blisko czasu. Doskonała odpowiedź @Eliodorus wyjaśnia to wystarczająco.

Oczywiście nie ma znaczenia, kto przetasuje dyski. Jeśli Twój dostawca to potwierdzi, robi to już za Ciebie, nie musisz się tym przejmować. Wydaje się jednak, że nie ma sensu przeprowadzać badań kryminalistycznych na być może nawet u innego dostawcy i wyciągnąć wniosek, że ktoś dla ciebie zrobi, jeśli nie zostaniesz poinformowany bezpośrednio. Dostawcy zwykle nie są leniwi w reklamowaniu różnych środków, które podejmują w celu zwiększenia niezawodności swoich napędów.

W rzeczywistości zależy to od Redundantnej tablicy niedrogich dysków (RAID). W rajdzie drugim, trzecim, czwartym, piątym i szóstym pomaga mieć dyski z kilku różnych partii, ale nie jest to decydujące: jeden już z natury traci niezawodność i wydajność przy użyciu tych poziomów.

Teraz, w przypadku zwykle rozsądnego wyboru, polegającego na użyciu Raid 1 (mirroring) lub 1 + 0 (striping over mirrors), naprawdę warto mieć różne dyski po różnych stronach każdego lustra (każdej tablicy Raid 1), aby nie ma awarii lustra podczas odzyskiwania. Ponadto powinny istnieć gorące części zapasowe, aby zminimalizować okno odzyskiwania.

Aby uzyskać więcej informacji, zajrzyj do apodyktycznej, ale pouczającej witryny Battle Against Any Raid 'F'2 (Baarf), prowadzonej przez prestiżową sieć stołów dębowych dla starszych DBA. Wikipedia ładnie podsumowuje ten problem.

O ile wiem kontrola jakości pamięci dyskowej w fabryce jest dość wysoka i osobiście nie bałbym się masowej awarii sprzętu z powodów produkcyjnych.

A gdybym był nieco paranoikiem, kupiłbym pamięć od dwóch różnych producentów, o których wiem, że nie współużytkuje fabryk za pośrednictwem tego samego dostawcy.

Magazynowanie jest tak tanie, że jako firma NIE ma sensu kupować luzem, a firma wewnątrz firmy również odpisuje magazyn po kilku latach, więc inwestycja nie jest tak wielka. Czas potrzebny na zakup od poszczególnych dostawców prawdopodobnie kosztuje więcej ze względu na spędzony czas.

Jeśli nadal boisz się masowej awarii dysku, kup więcej niż potrzebujesz. jeśli wiesz, że potrzebujesz 12 dysków, to kup od 5 do 7 zapasowo. To by było tylko 48 $ 5 do 7, za terabajt, i nadal możemy iść taniej bez powodowania, że ​​nasz system będzie niestabilny lub niebezpieczny, ponieważ w przypadku dyskontowania luzem lub dysków używanych (dlaczego jest bezpieczny). Niż mówimy o resilver / ponownej inicjalizacji macierzy, teraz oczywiście nie mam możliwości dowiedzieć się, jak duże jest teraz twoje rozwiązanie pamięci masowej, ale jeśli spędzisz tygodnie na tym zadaniu, prawdopodobnie rozważę zmianę konfiguracji pamięci masowej organizacji, ponieważ to brzmi (dla mnie) bardziej jako pomyłkę w konfiguracji niż cokolwiek innego w ten czy inny sposób.

Jeśli staniemy się NAPRAWDĘ paranoikiem, uzyskaj 2x tego, co kiedykolwiek korzystasz z rozwiązania pamięci masowej, w zależności od tego, jak wrażliwa jest Twoja organizacja na awarię pamięci, może to być tańsze, nie jest to opcja tylko dla fortuny 500 firm.

Możemy też mówić o odciążaniu danych, których nie potrzebujemy tu i teraz, takich jak (przypadkowy przykład) lata historycznych danych finansowych do dostawców „w chmurze”, które najpierw szyfrujemy. Spowoduje to usunięcie zapotrzebowania na miejsce z naszego własnego miejsca, które uwolni nas zarówno pod względem finansowym, jak i funkcjonalnym.

W zależności od tego, kim jesteś, gdzie jesteś i co robisz, byłyby różne rozwiązania dla najlepszej pracy dla Ciebie.