Dlaczego chłodzenie wodne w centrum danych nie jest powszechne?

Z tego, co czytam i słyszę o centrach danych, nie ma zbyt wielu serwerowni, które korzystają z chłodzenia wodnego, i żadne z większych centrów danych nie korzysta z chłodzenia wodnego (popraw mnie, jeśli się mylę). Ponadto stosunkowo proste jest kupowanie zwykłych komponentów komputerowych z chłodzeniem wodnym, podczas gdy serwery szafowe chłodzone wodą prawie nie istnieją.

Z drugiej strony użycie wody może (IMO):

1. Zmniejsz zużycie energii w dużych centrach danych, szczególnie jeśli możliwe jest utworzenie obiektów bezpośrednio chłodzonych (tj. Obiekt znajduje się w pobliżu rzeki lub morza).

2. Zmniejsz hałas, dzięki czemu praca ludzi w centrach danych będzie mniej bolesna.

3. Zmniejsz przestrzeń potrzebną dla serwerów:

   • Na poziomie serwera wyobrażam sobie, że zarówno na serwerach typu rack, jak i serwerach typu blade łatwiej jest przepuszczać rurki chłodzące niż marnować miejsce, aby powietrze mogło dostać się do środka,
   • Na poziomie centrum danych, jeśli nadal konieczne jest utrzymanie zaułków między serwerami w celu utrzymania dostępu do serwerów, można usunąć pustą przestrzeń pod podłogą i na poziomie sufitu używaną do powietrza.

Dlaczego więc systemy chłodzenia wodą nie są szeroko rozpowszechnione, ani na poziomie centrum danych, ani na poziomie serwerów / serwerów typu blade?

Czy to dlatego, że:

• Chłodzenie wodne nie jest zbyteczne na poziomie serwera?

• Bezpośredni koszt instalacji chłodzonej wodą jest zbyt wysoki w porównaniu ze zwykłym centrum danych?

• Trudno jest utrzymać taki system (regularne czyszczenie układu chłodzenia wodą, który wykorzystuje wodę z rzeki, jest oczywiście znacznie bardziej skomplikowane i kosztowne niż zwykłe odkurzanie wentylatorów)?

Woda + prąd = katastrofa

Chłodzenie wodne pozwala na większą gęstość mocy niż chłodzenie powietrzem; więc obliczyć oszczędności kosztów związane z dodatkową gęstością (prawdopodobnie żadna, chyba że jesteś bardzo ograniczony przestrzenią). Następnie obliczyć koszt ryzyka katastrofy wodnej (powiedzmy 1% * koszt Twojego obiektu). Następnie wykonaj proste porównanie ryzyka i nagrody i sprawdź, czy ma to sens dla twojego środowiska.

Więc podzielę moją odpowiedź na części serwerowe:

• Właściwości fizyczne wody a powietrze i olej mineralny
• Ryzyko zużycia wody i historyczne złe doświadczenia
• Całkowity koszt chłodzenia centrum danych
• Słabości klasycznych układów chłodzenia cieczą

Właściwości fizyczne wody w porównaniu do innych

Najpierw kilka prostych zasad:

• Ciecz może przenosić więcej ciepła niż gazy
• Odparowanie płynnego ekstraktu więcej ciepła (stosowane w lodówce)
• Woda ma najlepsze właściwości chłodzące ze wszystkich płynów.
• Ruchomy płyn ekstrahuje ciepło znacznie lepiej niż nieruchliwy płyn
• Przepływ turbulentny wymaga więcej energii do przemieszczenia, ale odprowadza ciepło znacznie lepiej niż przepływ laminarny.

Jeśli porównasz wodę i olej mineralny z powietrzem (dla tej samej objętości)

• olej mineralny jest około 1500 razy lepszy niż powietrze

• woda jest około 3500 razy lepsza niż powietrze

• olej jest złym przewodnikiem elektrycznym we wszystkich warunkach i służy do chłodzenia transformatorów dużej mocy.

• olej w zależności od jego dokładnego typu jest rozpuszczalnikiem i jest zdolny do rozpuszczania plastiku
• woda jest dobrym przewodnikiem elektryczności, jeśli nie jest czysta (zawiera minerały ...) w przeciwnym razie nie
• woda jest dobrym elektrolitem. Tak więc metale mające kontakt z wodą mogą się rozpuścić w określonych warunkach.

Teraz kilka komentarzy na temat tego, co powiedziałem powyżej: Porównania dokonywane są pod ciśnieniem atmosferycznym. W tym stanie woda wrze w temperaturze 100 ° C, czyli powyżej maksymalnej temperatury procesorów. Tak więc podczas chłodzenia wodą woda pozostaje płynna. Chłodzenie związkami organicznymi, takimi jak olej mineralny lub freon (stosowany w lodówce), to klasyczna metoda chłodzenia do niektórych zastosowań (elektrownie, pojazdy wojskowe ...), ale nigdy nie przeprowadzono długotrwałego stosowania oleju w bezpośrednim kontakcie z tworzywem sztucznym w sektorze IT. Tak więc jego wpływ na niezawodność części serwerowych jest nieznany (Green Evolution nie mówi ani słowa, że ​​jest). Ważny jest płynny ruch. Poleganie na naturalnym ruchu wewnątrz nieporuszającego się płynu w celu usunięcia ciepła jest nieefektywne, a prawidłowe kierowanie płynu bez rury jest trudne. Z tych powodów,

Problemy techniczne

Wykonanie ruchu powietrza jest łatwe, a wycieki nie stanowią zagrożenia dla bezpieczeństwa (i wydajności). Wymaga dużo miejsca i zużywa energię (15% konsumpcji pulpitu trafia do fanów)

Wykonanie płynnego ruchu jest kłopotliwe. Potrzebujesz rur, bloków chłodzących (zimnych płyt) przymocowanych do każdego elementu, który chcesz schłodzić, zbiornika, pompy i może filtra. Ponadto obsługa takiego systemu jest trudna, ponieważ trzeba usunąć płyn. Ale wymaga mniej miejsca i energii.

Inną ważną kwestią jest to, że wiele badań i standaryzacji zostało poświęconych temu, jak projektować płyty główne, komputery stacjonarne i serwery w oparciu o system powietrzny z wentylatorami chłodzącymi. Powstałe projekty nie są odpowiednie dla systemów opartych na cieczach. Więcej informacji na formfactors.org

Ryzyko

• Systemy chłodzenia wodnego mogą przeciekać, jeśli twój projekt jest źle wykonany. Rury cieplne są dobrym przykładem systemu na bazie cieczy, który nie ma wycieków ( spójrz tutaj, aby uzyskać więcej informacji )
• Wspólne systemy chłodzenia wodą chłodzą tylko gorący element, a zatem nadal wymagają przepływu powietrza dla innego elementu. Masz więc 2 systemy chłodzenia zamiast jednego i obniżasz wydajność swojego systemu chłodzenia powietrzem.
• W przypadku standardowych konstrukcji wyciek wody ma ogromne ryzyko spowodowania dużej szkody, jeśli wejdzie w kontakt z częściami metalowymi.

Uwagi

• Czysta woda jest złym przewodnikiem elektryczności
• Niemal każda część elementów elektronicznych jest pokryta nieprzewodzącą powłoką. Tylko pady lutownicze nie są. Kilka kropli wody może być nieszkodliwych
• Zagrożenia dla wody można ograniczyć dzięki istniejącym rozwiązaniom technicznym

Chłodzące powietrze zmniejsza jego zdolność do zatrzymywania wody (wilgoci), a zatem istnieje ryzyko kondensacji (niekorzystne dla elektroniki). Więc kiedy schładzasz powietrze, musisz usunąć wodę. To wymaga energii. Normalny poziom wilgotności dla człowieka wynosi około 70% wilgotności, więc możliwe jest, że po schłodzeniu będziesz mógł oddać wodę ludziom.

Całkowity koszt centrum danych

Rozważając chłodzenie w centrum danych, należy wziąć pod uwagę każdą jego część:

• Kondycjonowanie powietrza (filtrowanie, usuwanie nadmiaru wilgoci, przenoszenie go ...)
• Chłodne i gorące powietrze nigdy nie powinno się mieszać, inaczej obniżysz wydajność i istnieje ryzyko wystąpienia gorącego punktu (punkty, które nie są wystarczająco schłodzone)
• Potrzebujesz systemu do odprowadzania ciepła w nadmiarze lub musisz ograniczyć gęstość produkcji ciepła (mniej serwerów na szafę)
• Być może masz już rury do usuwania ciepła z pomieszczenia (do transportu na dach)

Koszt centrum danych zależy od jego gęstości (liczba serwerów na metr kwadratowy) i zużycia energii. (uwzględniono także inne czynniki, ale nie w tej dyskusji) Całkowita powierzchnia centrum danych jest podzielona na powierzchnię używaną przez sam serwer, przez system chłodzenia, przez media (elektryczność ...) i przez pomieszczenia serwisowe. Jeśli masz więcej serwerów na szafę, potrzebujesz więcej chłodzenia, a więc więcej miejsca na chłodzenie. Ogranicza to faktyczną gęstość centrum danych.

Zwyczaje

Centrum danych jest czymś bardzo złożonym, wymagającym dużej niezawodności. Statystyki przyczyn przestojów w centrum danych mówią, że 80% przestojów wynika z błędów ludzkich.

Aby osiągnąć najlepszy poziom niezawodności, potrzebujesz wielu procedur i środków bezpieczeństwa. Tak więc historycznie w centrach danych wszystkie procedury są wykonywane dla systemów chłodzenia powietrzem, a woda jest ograniczona do jej najbezpieczniejszego użycia, jeśli nie zostanie zakazana w centrach danych. Zasadniczo woda nigdy nie ma kontaktu z serwerami.

Do tej pory żadna firma nie była w stanie zapewnić wystarczająco dobrego rozwiązania do chłodzenia wodą, aby zmienić tę kwestię.

streszczenie

• Technicznie woda jest lepsza
• Projektowanie serwerów i projekty centrów danych nie są przystosowane do chłodzenia wodą
• Obecne procedury konserwacji i bezpieczeństwa zabraniają stosowania chłodzenia wodnego wewnątrz serwerów
• Żaden produkt komercyjny nie jest wystarczająco dobry, aby można go było używać w centrach danych

Chociaż mamy kilka stojaków chłodzonych wodą (w rzeczywistości HP, nie wiem, czy nadal je produkują), bezpośrednie chłodzenie wodą jest obecnie trochę oldschoolowe. Większość nowych dużych centrów danych jest budowanych z tunelami ssącymi, do których wpychasz stelaż, a następnie przeciąga powietrze z otoczenia i wydala lub przechwytuje do ponownego wykorzystania zgromadzone ciepło podczas przemieszczania się przez sprzęt. Oznacza to, że w ogóle nie ma potrzeby chłodzenia i pozwala zaoszczędzić ogromne ilości energii, złożoność i konserwację, choć ogranicza systemy do korzystania z bardzo specyficznych regałów / rozmiarów i wymaga „pustego” miejsca na regale z przodu.

Woda jest uniwersalnym rozpuszczalnikiem. Mając wystarczająco dużo czasu, będzie jeść WSZYSTKO.

Chłodzenie wodą spowodowałoby również znaczny (i kosztowny) poziom złożoności centrum danych, o którym wspominasz w swoim poście.

Systemy tłumienia ognia w większości centrów danych nie zawierają wody z kilku bardzo specyficznych powodów, w wielu przypadkach uszkodzenie spowodowane przez wodę może być większe niż uszkodzenie przez pożar, a centra danych mają czas pracy bez przestojów (z generatorami zapasowymi do zasilania itp.) , oznacza to, że dość ciężko jest odciąć zasilanie od czegoś (w przypadku pożaru), aby wylać na niego wodę.

Czy możesz sobie wyobrazić, że w centrum danych znajduje się jakiś złożony system chłodzenia wodą, który oddaje ducha w przypadku pożaru? Yikes.

Myślę, że krótka odpowiedź jest taka, że ​​dodaje znaczną złożoność. To nie tyle kwestia miejsca.

Jeśli masz do czynienia z dużymi ilościami wody (rurociągi, spływy itp.), Wiążesz się z dużym ryzykiem ... woda i elektryczność nie mieszają się dobrze (lub mieszają się zbyt dobrze, w zależności od tego, jak na to patrzysz to).

Innym problemem związanym z wodą jest wilgotność. Na dużą skalę, wszystkie systemy klimatyzacyjne zostaną wyrzucone w pętlę. Potem pojawia się osad mineralny z parowania i bez wątpienia mnóstwo innych rzeczy, o których tutaj nie myślałem.

woda NIE powinna być używana do chłodzenia centrum danych, ale olej mineralny, który bardzo dobrze miesza się z elektrycznością. patrz http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

mimo że rozwiązanie jest nowe, technologia jest dość stara, jednak wprowadzenie tego typu zmian w istniejących centrach danych staje się bardzo trudne, ponieważ trzeba wymienić istniejące szafy na nowe szafy ...

Dużym czynnikiem zniechęcającym do nieużywania wody w centrach danych jest fakt, że większość systemów chłodzenia wodą jest prymitywna. Wszystkie potrzebują szybkich połączeń, aby podłączyć serwer do źródła wody w szafie, a te są źródłem awarii, zwłaszcza, że ​​możesz mieć ich tysiące w DC. Utrudniają także obsługę serwerów, aw większości przypadków nadal potrzebujesz fanów. Więc dodajesz do złożoności.

Z ludzkiej strony większość kierowników obiektów opiera się zmianom. Są bardzo biegli w chłodzeniu powietrzem, a przejście do cieczy sprawiłoby, że te umiejętności byłyby przestarzałe. Ponadto wszystkie urządzenia OEM będą odporne na zmiany, ponieważ oznaczałoby to ponowne wykonanie pełnej linii produktów.

Zmiana nadejdzie tylko dzięki: a) lepszym projektom chłodzenia cieczą oraz b) przepisom prawa wymuszającym zmianę

Tak, ale potrzebujesz specjalnie zaprojektowanych komponentów, OVH (jedna z największych firm centrów danych na świecie) stosuje chłodzenie wodne od ponad 10 lat.

Sprawdź ten link, w którym można zobaczyć ich stojaki: http://www.youtube.com/watch?v=wrrZxmfevoE

Główny problem dla klasycznych firm polega na tym, że konieczne jest przeprowadzenie badań i rozwoju, aby zastosować taką technologię.

Chłodzone wodą centra datowania są bardzo wydajne i zapewniają oszczędność energii pod warunkiem, że masz oczyszczoną wodę. jednak niebezpieczeństwa są większe, jeśli są w bliskim kontakcie. 1) poziomy wilgotności / wilgotności
2) woda aginst Energia elektryczna.

Woda może nie być najlepszym płynem do użycia. Jak wskazano, z czasem rozwiąże wszystko / wszystko. Z pewnością woda ma dobre zastosowanie w aplikacjach chłodzących, ale wszystko to nie jest najlepsze. Chociaż olej mineralny może być również stosowany, nie jest to również najlepsza opcja do wyboru.

Dostępne są specjalne oleje przenoszące ciepło, które nie powodują korozji - w przeciwieństwie do wody - i zostały specjalnie zaprojektowane do stosowania jako płyny przenoszące ciepło. Paratherm już teraz produkuje wiele takich produktów.

Problemem byłoby podłączenie rzeczy do zamkniętego obiegu wymiennika ciepła, a mówimy o dużych liczbach.

Rozwiązanie jest już wykonane, ale nie jest używane w środowiskach elektronicznych i pochodzi z maszyn rolniczych. Aby to nazwać, hydraulika. Końcówki węża z zatrzaskiem są szczelne, jeśli z jakiegokolwiek powodu zostaną rozłączone, zamkną je również od strony męskiej i żeńskiej. w najgorszym przypadku po odłączeniu miałoby nie więcej niż 1-2 małe kropelki.

Możemy więc wyeliminować tę część. Zaprojektowanie odpowiednich części miedzianych pasujących do każdego układu / obwodu, który wymaga chłodzenia, jest jednak wymagającym zadaniem. Podobnie jak w przypadku chłodzenia cieczą, należy pokryć każdą część, która musi pozbyć się nadmiaru ciepła. Wymagałoby to zastosowania pompy o stosunkowo wysokim ciśnieniu, czujników ciśnienia i reduktorów, aby upewnić się, że w każdej szafie krąży odpowiednia ilość płynu i aby zapobiec awarii. Potrzebne będą również elektroniczne zawory odcinające. Nie jest to niczym nowym, ponieważ te części są już wykonane, nawet jeśli w innym celu. Zaletą wielu małych wentylatorów jest redundancja, dlatego pożądane byłoby zastosowanie wielu zespołów pomp, aby zapobiec ryzyku awarii pojedynczego punktu.

Poza tym, jeśli jest to prawdziwy cykl zamkniętej pętli, wówczas przeniesienie płynu o niskiej lepkości do wymiany ciepła zamiast ogromnej ilości powietrza w naturalny sposób się zwróci.

W rzeczywistości miałoby to wiele sposobów. Przede wszystkim koszty klimatyzacji i eksploatacji wentylatora zostałyby zmniejszone. Nigdy nie lekceważ tych kosztów. Nawet mały wentylator może zużywać kilka watów mocy, a po pewnym czasie wentylatory ulegają awarii. Pompa hydrauliczna może pracować - biorąc pod uwagę niskie ciśnienie związane z tym zastosowaniem - dosłownie przez lata 24/7, zastępując ogromną liczbę wentylatorów. Następnie chipy klasy serwerowej są w stanie wytrzymać nadużycia i mogą działać w bardzo wysokich temperaturach w porównaniu do komputerów stacjonarnych. Mimo to utrzymuj je w niższej temperaturze, a oczekiwana żywotność będzie dłuższa, czego nigdy nie należy lekceważyć, biorąc pod uwagę cenę tych rzeczy. Filtr powietrza, aby zapobiec kurzu i wilgoci, nie byłby już potrzebny.

Czynniki te zdecydowanie przewyższają wady tego rodzaju technologii chłodzenia. Jednak początkowa inwestycja jest wyższa. Z pewnością rozwiązanie może zapewnić konfiguracje serwerów o większej gęstości, ale w tej chwili centra danych nie uwzględniają tej inwestycji. Przebudowa istniejącego rozwiązania chłodzenia zajmie trochę czasu, a czas to pieniądz. Serwisowanie byłoby również bardzo łatwe, ponieważ nieporęczne radiatory po prostu nie byłyby wymagane, podobnie jak fani. Należy pamiętać o zmniejszonej liczbie potencjalnych punktów awarii (każdy wentylator jest jednym z nich), również nadmiarowe pompy mogą włączyć się bez interakcji ze strony operatorów. Również fani sami wytwarzają ciepło. Zastanów się nad jednostką z 20 wentylatorami, z których każdy ma tylko nie więcej niż 5 watów. Efektem końcowym byłoby kolejne 100 watów ciepła, których można by się jakoś pozbyć. Pompy i silniki napędowe również wytwarzałyby ciepło, ale nie w szafie. Raczej oddzielone i odizolowane od systemu docelowego. W przypadku zwarcia, powiedzmy, że zwarcie elementu aktywnego zasilającego, ten rodzaj chłodzenia cieczą może faktycznie przenieść wystarczającą ilość ciepła, a tym samym zmniejszyć prawdopodobieństwo rozprzestrzeniania się ognia. Przenoszenie świeżego powietrza w pobliżu ognia nie jest najlepszym pomysłem. Również części plastikowe topią się, a części plastikowe są łatwopalne. Płyn do wymiany ciepła z radością będzie działał w temperaturach, w których wentylatory stopiłyby się potencjalnie, stwarzając możliwość powstania innego źródła zwarcia. Również części plastikowe topią się, a części plastikowe są łatwopalne. Płyn do wymiany ciepła z radością będzie działał w temperaturach, w których wentylatory stopiłyby się potencjalnie, stwarzając możliwość powstania innego źródła zwarcia. Również części plastikowe topią się, a części plastikowe są łatwopalne. Płyn do wymiany ciepła z radością będzie działał w temperaturach, w których wentylatory stopiłyby się potencjalnie, stwarzając możliwość powstania innego źródła zwarcia.

Czy chłodzenie cieczą byłoby niebezpieczne? Myślę, że z punktu widzenia bezpieczeństwa sterty małych fanów są znacznie bardziej niebezpieczne. Z punktu widzenia długości życia chłodzenie cieczą jest moim zdaniem zdecydowanie bardziej preferowane. Jedyne wady to szkolenie personelu i początkowe inwestycje. Poza tym jest to znacznie bardziej opłacalne rozwiązanie, które dobrze się wypłaca nawet w połowie okresu.

Działa po prostu świetnie, ale jest drogi i czasochłonny w konfiguracji dla tysięcy maszyn i zajmuje dużo miejsca. Plus to nie jest konieczne. Urządzenia do gier mają sposób na spakowanie się blisko siebie. Wszystko przy przyzwoitej wentylacji da sobie radę z ładnym przepływem powietrza 70f, nawet przy 100%, co prawie nigdy nie robi.