Jak zbudować szybką sieć lokalną

Pracuję w produkcji filmowej i potrzebuję BARDZO szybkiego dostępu do bardzo dużych plików surowych nagrań. Obecnie używam stacji dokujących eSATA 6 Gb / s dla wewnętrznych dysków twardych, które działają tak szybko, jak dysk.

Gdybym miał użyć serwera i połączyć się ze swoimi stacjami roboczymi przez sieć, jaka (stosunkowo niedroga) technologia pozwoliłaby mi zbliżyć się do prędkości dysku lub ją przekroczyć?

Tutaj na początku 2017 r., Sądząc z informacji łatwo dostępnych online, wygląda na to, że najszybsze dyski twarde SATA osiągają prędkość około 220 MegaBajtów / s, czyli 1,760 Gigabitów / s.

Jeśli więc próbujesz pobić prędkość pojedynczego napędu i ograniczasz się do dysków twardych ze względu na koszt za terabajt w przypadku dużych plików wideo, wtedy 10 Gigabit Ethernet jest wystarczający.

Nawiasem mówiąc, należy zauważyć, że Thunderbolt Networking ma również szybkość 10 Gigabit / s, więc jeśli masz już porty Thunderbolt, możesz z tym eksperymentować. Możliwe, że pobije twoje 6 gigabitowych portów eSATA 3, chociaż nie jestem tego pewien, ponieważ eSATA jest bardzo specyficzna dla pamięci, podczas gdy robienie pamięci przez Ethernet ma większy narzut. Zauważ też, że Thunderbolt jest magistralą stacjonarną; osiąga zaledwie kilka metrów, a nie 100 m, które może obsłużyć 10 Gigabit Ethernet. Podczas gdy Thunderbolt może być interesujący do eksperymentowania i tworzenia prototypów podczas ważenia opcji, prawdopodobnie nie jest to odpowiednie długoterminowe rozwiązanie, chyba że chcesz zachować wszystkie stacje robocze i dyski połączone ze sobą przy dużym stole.

Tak było w przypadku pojedynczych dysków twardych. Ale jeśli RAIDujesz te dyski razem, aby każdy odczyt lub zapis był rozłożony na wiele dysków, możesz uzyskać znacznie lepszą wydajność niż wydajność pojedynczego dysku. Ponadto, w zależności od budżetu, możesz umieścić dyski SSD PCIe / M.2 NVME w komputerze PC, aby działały jak serwer / NAS, i możesz uzyskać niesamowitą wydajność szybkiej pamięci masowej (około 3,4 GigaByte / s == 27 gigabit / s) na napęd.

W takim przypadku możesz spojrzeć na coś szybszego niż 10 Gigabit Ethernet, ale rozglądając się po Internecie, wygląda na to, że ceny znacznie przekraczają 10 Gigabit Ethernet. Warto więc przyjrzeć się agregacji linków w wielu łączach 10Gigabit. Widziałem także pewne anegdoty online, w których używany sprzęt sieciowy, taki jak zużyty sprzęt InfiniBand 40 Gb / s, można kupić na eBayu za tanie pieniądze, jeśli nie masz nic przeciwko kłopotom związanym z kupowaniem używanego sprzętu w serwisie eBay.

Jeśli pozostaniesz przy dyskach SATA, wdrożenie sieci Ethernet 10 Gb i zbudowanie rozsądnej wielkości macierzy RAID10 na serwerze da ci zauważalny wzrost wydajności w porównaniu do pojedynczego dysku SATA. Będzie to godna inwestycja, ponieważ możesz dzielić serwer z tyloma stacjami roboczymi, ile potrzebujesz, i dodać w przyszłości, dodając przełączniki. Musisz uruchomić kabel Ethernet Cat-6, ponieważ Cat-5E go nie przecina - nie zapomnij dodać tego kosztu do swoich obliczeń. Możesz także dodać dyski SSD jako pamięć podręczną, aby jeszcze bardziej przyspieszyć system; ponieważ pracujesz z materiałami wideo, zakładam, że potrzebujesz ogromnej ilości miejsca do przechowywania, którego zbudowanie przy użyciu samych dysków SSD byłoby bardzo drogie.

Możesz kupić wcześniej przygotowany serwer do montażu w szafie serwerowej od Dell lub HP i użyć sprzętowej karty RAID, a jeśli jesteś bardziej specjalistą od sprzętu, możesz kupić tańszą obudowę od Supermicro i samodzielnie zbudować urządzenie pamięci masowej, korzystając z oprogramowania RAID w Windows lub Linux. Sprzętowa macierz RAID jest często szybsza, gdy zaangażowana jest macierz RAID1, ponieważ oprogramowanie musi kolejno zapisywać na każdym dysku i czekać na zakończenie zapisu przed przejściem do następnej operacji; karta RAID może ogólnie zapisywać na obu dyskach równolegle i buforować operację zapisu, natychmiast przywracając kontrolę nad systemem operacyjnym. Należy jednak pamiętać, że chociaż RAID0 byłby jeszcze szybszy, nie ma nadmiarowości, a awaria jednego dysku spowoduje całkowitą utratę danych; nigdy nie używaj RAID0, gdy masz dane, które chcesz zachować.

Na najwyższym poziomie skali masz sieci pamięci masowej (SAN), ale są one zaprojektowane tak, aby umożliwić wiele operacji z ogromnej liczby oddzielnych klientów równolegle; Zaletą tego jest to, że przepustowość jest bardzo wysoka dla niewielkiej liczby podłączonych maszyn, ale prawdopodobnie jest nadmierna w stosunku do twoich potrzeb i bardzo droga. Na najniższym poziomie masz urządzenia Network Attached Storage (NAS), o których wspominali inni, ale chociaż znacznie prostsze niż pełny serwer, nie polecam ich, ponieważ NAS jest często czarną skrzynką; Zaprojektowano je tak, aby działały w trybie Plug & Play dla większości użytkowników, w wyniku czego masz niewielką kontrolę nad systemem operacyjnym - po prostu musiałem odesłać mały serwer NAS, który kupiłem do biura klienta, ponieważ stał się niestabilny po całym dniu użytkowania.

Kolejną zaletą budowania serwera jest to, że koncentrujesz cały materiał w jednym miejscu, co sprawia, że ​​praktyczne i względnie łatwe jest regularne tworzenie kopii zapasowych. Nigdy nie zaniedbuj strategii tworzenia kopii zapasowych; pewnego dnia będziesz musiał na tym polegać!

Nic nie przebije elastyczności i łatwości konfiguracji 10 gbe, ale SAS sam w sobie jest zaskakująco łatwy w sieci:

W przypadku małej liczby stacji roboczych (n <8), w których woluminy nie muszą być zapisywane z wielu komputerów jednocześnie, SAS działa doskonale. Dzięki Tyan JBOD (1500 USD) i LSI HBA (400 USD) otrzymujemy 3400 MB / s (27 Gb / s) trwałych transferów na dysk SSD. JBOD ma wewnętrzny przełącznik z 3 łączami wstępującymi do kart HBA, ale przełączniki SAS są dostępne dla większej liczby portów.

Oto test prędkości jednego z naszych tomów:

Wewnętrznie korzystamy z tego rozwiązania w klastrowanym systemie Windows Server z uruchomionymi miejscami do magazynowania, które są dystrybuowane do klientów z 10 gbe.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -product

Po pierwsze, dysk SSD M.2, który przy prawidłowej płycie głównej może osiągnąć 2 gb-4 gb / s, a być może nawet wyższy. Zrzuć kilka z nich razem, a twoje prędkości są jeszcze wyższe.

Połączenie wielu kart sieciowych 10 Gb może zbliżyć się do prędkości natywnych.

Coś więcej niż 10 g to znacznie więcej pieniędzy.

40 Gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZrJKf0kXFy96roOllcRkp7j-VoubG_n7xb0_pgaAnaT8P8HAQ

Użyj karty ethernetowej z przełącznikiem światłowodowym, najlepiej w trybie wielomodowym lub w trybie pojedynczym z padem. Jeśli masz budżet, możesz uzyskać całość 10 Gb / s, jeśli używasz agregacji łączy z kartą światłowodową z dwoma portami, możesz uzyskać 20 Gb / s. Ponieważ termin „stosunkowo niedrogi” zmienia się w zależności od Twojego budżetu, pomocne byłyby rzeczywiste liczby, które chcesz wydać.

Najtańszym sposobem byłoby użycie agregacji łączy (kable IE z obsługą N, zwykle 2) zamiast jednego.

W ten sposób tanie łącze 1 Gb stanie się łączem 2 Gb.

Oczywiście oznacza to, że potrzebujesz co najmniej 4 portów dla jednego serwera klienta.