Czy sprzęt sieciowy powinien być ustawiony na „autonegocjację” prędkości czy stałe prędkości?

Mamy niedawno miał mały problem z sieci, gdzie będzie wiele serwerów przerwami stracić łączność z siecią w dość bolesny do zdecydowania sposób (wymagany twardy restart). Trwało to około dwóch tygodni, na pozór losowych, na różnych serwerach. Żaden szczególny wzorzec, który moglibyśmy rozpoznać.

Po kilku zagłębieniach w nim zauważyliśmy, że przełącznik zgłasza 100 Mb / s dla problematycznego portu:

Brzmi to niezwykle podobnie do tego, co wydarzyło się w artykule Joela Spolsky'ego Five Whys

Michael poświęcił trochę czasu na sekcję zwłok i odkrył, że problemem był prosty problem z konfiguracją przełącznika. Istnieje kilka możliwych prędkości, za pomocą których przełącznik może się komunikować (10, 100 lub 1000 megabitów na sekundę). Możesz ustawić prędkość ręcznie lub pozwolić przełącznikowi automatycznie wynegocjować najwyższą prędkość, z którą mogą współpracować obie strony. Przełącznik, który zawiódł, został ustawiony na automatyczną negocjację. To zwykle działa, ale nie zawsze, a rano 10 stycznia tak się nie stało.

Wyłączyliśmy teraz automatyczne negocjacje na naszym sprzęcie sieciowym i ustawiliśmy stałą prędkość 1000 Mb / s (gigabit).

Moje pytania do osób posiadających większą wiedzę na temat sprzętu sieciowego do serwerów:

1. Jak często występują problemy z automatycznymi negocjacjami z nowoczesnym sprzętem sieciowym?
2. Czy uważa się za dobrą, standardową praktykę sieciową, aby wyłączyć automatyczne negocjowanie i ustawić stałe prędkości podczas konfigurowania sieci?

1. Nie widziałem jeszcze problemu z autonegocjacją prędkości sieci, który nie jest spowodowany ani (a) niedopasowaniem instrukcji na jednym końcu łącza i auto na drugim końcu, ani (b) wadliwym komponentem łącza ( kabel, port itp.).

2. Zależy to od administratora, ale moje doświadczenie pokazało mi, że jeśli ręcznie określisz prędkości łącza i ustawienia dupleksu, z pewnością spotkasz się z niedopasowaniem prędkości. Dlaczego? Ponieważ prawie niemożliwe jest udokumentowanie różnych połączeń między przełącznikami a serwerami, a następnie przestrzeganie tej dokumentacji podczas wprowadzania zmian. Większość niepowodzeń, które widziałem, są spowodowane przez 1 (a), a do tej sytuacji dochodzi tylko wtedy, gdy zaczniesz ręcznie ustawiać ustawienia prędkości / dupleksu.

Jak wspomniano w dokumentacji Cisco :

Jeśli wyłączysz autonegocjację, ukryje to spadki linków i inne problemy z warstwą fizyczną. Wyłącz automatyczną negocjację tylko dla urządzeń końcowych, takich jak starsze karty sieciowe Gigabit, które nie obsługują automatycznej negocjacji Gigabit. Nie wyłączaj autonegocjacji między przełącznikami, chyba że jest to absolutnie wymagane, ponieważ problemy z warstwą fizyczną mogą pozostać niewykryte i spowodować rozpinanie się pętli drzewa.

O ile nie jesteś przygotowany do skonfigurowania systemu zarządzania zmianami dla zmian w sieci, który wymaga weryfikacji prędkości / dupleksu (i nie zapomnij o kontroli przepływu) lub nie jesteś w stanie poradzić sobie z okazjonalnymi niezgodnościami wynikającymi z ręcznego określania tych ustawień na wszystkich urządzeniach sieciowych, następnie trzymaj się domyślnej konfiguracji auto / auto.

W przyszłości rozważ monitorowanie błędów portów przełączników za pomocą MRTG, aby móc wykryć te problemy, zanim wystąpią problemy.

Edycja: Widzę wiele osób odnoszących się do niepowodzenia negocjacji na starym sprzęcie. Tak, to był problem dawno temu, kiedy powstawały standardy i nie wszystkie urządzenia je przestrzegały. Czy twoje karty sieciowe i przełączniki mają mniej niż 10 lat? Jeśli tak, to nie będzie problem.

1. Bardzo często, przez lata miałem wiele problemów z różnego rodzaju sprzętem.

2. Moim zdaniem, jeśli konfiguracja jest statyczna (tj. Szafa na serwery) i nie sądzisz, że nastąpią zmiany, dobrym pomysłem jest ręczne ustawienie prędkości i dupleksów. Tak długo, jak jest dobrze udokumentowany, aby można było uniknąć problemów w przyszłości.

EDYTOWAĆ:

Dla wyjaśnienia, nie zalecam używania ręcznych prędkości w całej sieci, powiedziałbym, że 95% czasu to auto / auto. Mówię tylko, że miałem problemy z dupleksem / szybkością i że w mojej sieci jest niewielka część (tj. Jeden z naszych szaf serwerowych), które mają w większości ustawienia ręczne. Obsługujemy bardzo ściśle kontrolowaną sieć LAN z wyłączonymi nieużywanymi portami i filtrami MAC na większości portów, więc śledzenie prędkości nie jest bardzo trudne.

Uważam, że jeśli autonegocjacja działała przez godzinę dziennie lub miesiąc, a następnie z jakiegoś powodu „coś się dzieje”, że ustawienie linku na stałą prędkość „naprawia”, istnieje problem, który nie został rozwiązany, ale został obchodzony. Wydaje mi się, że widzę ustawienie linku na naprawione jako rozwiązanie tymczasowe, dopóki prawdziwy problem nie zostanie naprawiony.

Więc kroki rozwiązywania problemów (zakładamy, że zatrzymujesz się po każdym z nich i czekasz na ponowne pojawienie się problemu):

1. Sprawdź dzienniki na przełączniku, aby zobaczyć, czy mówi ci, dlaczego używa 100M.
2. Jeśli nadal go uruchamiasz, wyłącz to badziewne bzdury „równoważenia obciążenia systemu Windows”, które Joel cały czas naciska - działa tak, jakby łamał pamięć podręczną przełącznika, zmuszając go do przetworzenia oprogramowania każdego pakietu. Twój przełącznik jest zaprojektowany do przekazywania pakietów sprzętowo i ma tylko procesor wymagany do ustalenia ścieżki fizycznej nieznanego przepływu ruchu (in -> asic -> out) i zaprogramowania sprzętu, aby to zrobił (czytaj: a kalkulator ma lepszy procesor niż twój przełącznik, nie rób głupich rzeczy, które sprawiają, że procesor twojego przełącznika działa ciężej). Równoważenie obciążenia systemu Windows polega na podjęciu decyzji przez przełącznik i ponownym zainstalowaniu pamięci podręcznej sprzętu dla każdego pakietu. To może nie rozwiązać tego konkretnego problemu, ale wkurza mnie podcasty ... przepraszam.
3. Upewnij się, że config pasuje po obu stronach - brzmi, jakbyś to zrobił
4. Google dla błędów autoneg na twoim przełączniku - chyba że sam go zbudowałeś, nie jesteś jedynym, który próbuje uruchomić autoneg na tym, czego używasz
5. Wymień kabel na Cat5e lub lepszy - najlepiej kabel, który znasz, taki jak ten, do którego podłączona jest stacja robocza. Nie próbuj używać Cat5, lub jakiegoś badziewia zrobionego przez kogoś, użyj takiego, który ma faktycznie uformowane końce z opakowania.
6. Przenieś port - Ustaw serwer na innym porcie na tym samym przełączniku
7. Wymień kartę sieciową - użyj innej partii zamówionej w innym czasie

W tym momencie wyeliminowałeś konfigurację, fizyczne porty, do których jesteś podłączony, okablowanie między nimi. Jeśli nadal tak się dzieje, mogą być inne przyczyny:

1. Prowadzenie kabli - uważaj na zakłócenia elektromagnetyczne ze strony kabli prądu przemiennego, poprowadź je po różnych stronach szafy.
2. Chłodzenie - upewnij się, że temperatura otoczenia nie jest równa 90 stopni, a twoje karty sieciowe nie wpadają w tryb „drogi Boże, pozwól mi tylko przekazać ten jeden pakiet, proszę”. Słyszałem, ale nie widziałem, że routery Cisco przestają na przykład szybko przełączać i przesyłać dalej pakiety przez procesor, gdy się przegrzewają.
3. Zamień przełącznik na coś, co nie jest do kitu - sprawdź, ile przepustowości mówią twoi gospodarze na sekundę łącznie, a następnie spójrz na znamionową pojemność płyty montażowej twojego przełącznika. 7 hostów z potencjalnego 48 wszystkie transmitujące 1,0G wystarczą na przykład do zatrzymania Cisco 3750. Bądź też bardzo ostrożny w stosunku do tanich sprzedawanych również dostawców sieci: D-Link, Linksys, Dell, Intel i HP. Nikt, kto poważnie traktuje sieci, nie używa tych facetów, i to nie dlatego, że „nikt nigdy nie został zwolniony za korzystanie z Cisco”, ale dlatego, że „ludzie pamiętają, że przełącznik Intela, który miał porty 20/48 zawodzi przez 2 lata” lub „Kiedyś korzystałem wyłącznie z ProCurve i opowiadać o tym, jak złe było Cisco, dopóki faktycznie nie użyłem Cisco, w którym to momencie przestałem kupować cokolwiek mniej ”. Cisco jest uważane za średniej klasysprzedawca sieci, więc co to mówi o chłopakach poniżej Cisco ...? :-)

Tło / dlaczego moja odpowiedź jest najbardziej niesamowita: pracuję jako inżynier sieci / systemów w branży finansowej, a oto moje doświadczenie z naszą małą globalną siecią (15 oddziałów, 8 centrów danych):

Wszystkie nasze porty LAN są autonegowane, ponieważ kontrolujemy sprzęt na obu końcach i mamy pewien dostęp do obu stron --- co może być tak proste, jak skontaktowanie się z kimś przez telefon i sprawdzenie ustawień. Przez trzy lata tylko jeden z naszych wewnętrznych portów uległ awarii z powodu awarii autoneg, a to z powodu złego kabla --- zniknął po wymianie kabla.

Mieliśmy o wiele więcej problemów, gdy poprzednicy zakodowali na stałe 100 / full na swoich kartach sieciowych i nie udokumentowali tego. Zresetuj wszystko do auto / auto w następnym oknie konserwacji i od tego czasu nie miałem z nimi żadnych problemów.

W kilku miejscach, w których mamy przekazanie miedzi od operatora dla naszej sieci WAN? Powinieneś raczej oczekiwać, że połączenie miedziane WAN / Internet będzie zassane przez cały czas --- częściowo, ponieważ nie masz pojęcia, co jest po drugiej stronie. Jakiś starożytny przełącznik Extreme, który akurat ma wadliwe oprogramowanie do autonegowania, ale czy tagowanie MPLS? Jakiś konwerter mediów za 5 USD, ponieważ urządzenie brzegowe Ciena twojego dostawcy usług internetowych o wartości 200 000 USD jest po prostu zbyt niesamowite, aby zapewnić Ethernet za pomocą skrętki? Zdecyduj z wyprzedzeniem, jak to będzie obsługiwane i trzymaj się tego, a następnie spodziewaj się, że jakiś twit wewnątrz przewoźnika zmieni go o 22:00 w sobotę, ponieważ uzgodniona konfiguracja nigdy nie została udokumentowana i mają pewne zasady, których należy przestrzegać.

Poważnie jednak uzyskaj przekazanie światłowodu od swojego usługodawcy internetowego.

Sieć, za którą jestem odpowiedzialny (wraz z kilkoma innymi facetami) składa się z ~ 40 serwerów, ponad 1000 stacji roboczych (rozproszonych na dość dużym kampusie) i ~ 1000 WAP również na dużym obszarze o różnym typie i wieku sprzętu sieciowego.

Jak powiedział dimitri.p, gdy coś nagle nie przestaje się negocjować automatycznie, zwykle wskazuje to na inny problem. Ręczne ustawienie portu jest podobne do nakładania bandaidy na kogoś, kto został dźgnięty w jelito - może zatrzymać krwawienie, ale na pewno są szkody pod spodem.

Moja zwykła lista kontrolna:

• czy coś zmieniło się na maszynie? Kierowcy? Ustawienia na poziomie systemu operacyjnego lub BIOS? Być może autoneg został wyłączony w systemie operacyjnym?
• czy wymieniłeś kable krosowe i sprawdziłeś przebieg kabli (jeśli jest to program rejestrujący niż jeden stojak?)
• testowałeś, czy port przełącznika jest zły czy nie działa?
• czy karta sieciowa może pójść źle?

Z reguły nigdy nie wyłączamy autonegowania na serwerach (lub cokolwiek innego w centrum danych), chyba że jest to sytuacja, w której wszystkie inne możliwe przyczyny zostały wyeliminowane, przenieśliśmy porty przełączników, zmieniliśmy kable, przetestowaliśmy kartę sieciową itp. I nie ma inny wybór. W takim przypadku zostaje udokumentowane na śmierć. Zdarza się to bardzo rzadko i zwykle w przypadku urządzeń, do których nie możemy uzyskać dostępu, aby sprawdzić ustawienia BIOS i systemu operacyjnego.

Z drugiej strony stacje robocze i punkty dostępowe to inna historia. Nieudana autoneg jest klasyczną oznaką złego przebiegu kabla i wiele razy musimy ręcznie ustawić prędkość i dupleks, aż nadejdzie letni sezon z nowymi kablami w ścianach.

To mit sieci. Nasi koledzy z sieci przysięgają na ten nonsens, ponieważ w 1998 r. Przełączniki Bay nie negocjowały z Cisco ani nic takiego. Zamiast więc używać domyślnej wartości 99,999% sprzętu na ziemi, mamy to śmieszne ćwiczenie zarządzania konfiguracją i świetny kozioł ofiarny w czasach, gdy aktualizacja sterownika karty sieciowej resetuje ustawienia do auto-negocjacji i wszystko się dzieje.

Stało się to bardziej zabawne, ponieważ wiele naszych serwerów korzysta z podejrzanych funkcji, takich jak łączenie NIC, które zapobiegają utracie dostępu do sieci w mało prawdopodobnym przypadku awarii przełącznika, jednocześnie narażając Cię na znacznie bardziej prawdopodobne awarie oprogramowania. (Kierowcy zawsze są do dupy)

W obronie facetów z sieci wiele serwerów działa z domyślnymi sterownikami NIC systemu Windows, które zwykle są do bani. Jeśli masz problemy z automatyczną negocjacją, a Twój sprzęt nie pochodzi z administracji Clintona, zaktualizuj sterowniki NIC.

Powinieneś automatycznie negocjować. Jeśli masz przełącznik, który nie będzie automatycznie negocjował niezawodnie, kup lepszy przełącznik.

Gigabit ma się automatycznie negocjować, co obejmuje wykrywanie automatycznego krzyżowania (MDI-X).

100baseT jest gwarantowana na niepowodzenie, jeśli jeden koniec jest ustawiony na auto, a drugi do zestawu instrukcji, a to za specyfikacjach. Jeśli jeden koniec zmusić do 100 / full następnie drugi koniec będzie auto-negocjacji 100 / połowę, co daje niedopasowania dupleksu.

Zazwyczaj ustawiam serwery na naprawę, ponieważ widziałem, jak sprzęt sieciowy negocjuje 10 / pół zamiast 1000 / pełny.

Również niektórzy CoLos ustawiają swoje przełączniki nie na negocjacje, ale na utworzenie linku tylko na 1000 / pełny.

Wyłączenie autonegocjacji w niesprawdzonej konfiguracji początkowej jest podobne do programowania voodoo - zmieniasz coś bez uzasadnionego powodu. Jeśli po przetestowaniu zauważysz niedopasowanie dupleksu lub prędkości lub nadmierne błędy w porcie, włącz inne rozwiązywanie problemów i na końcu napraw konfigurację, jeśli to konieczne.

Po uaktualnieniu sterownika lub wymianie sprzętu nie ma gwarancji, że ustawienia zostaną zachowane po stronie serwera.

Ustaw obie strony linku do negocjacji lub napraw obie strony. Po naprawieniu ustawień prędkości i dupleksu na niektórych urządzeniach nie ogłaszają już swoich możliwości swoim rówieśnikom. Nie wiem, co mówi standard Ethernet o tym, co robić, gdy jedna strona ogłasza możliwości, a druga nie, a to prawdopodobnie oznacza, że ​​wielu implementatorów też nie wie. Niektórzy wybiorą najniższy wspólny mianownik, który wynosi 10, a inni założą, że wszystko jest w porządku i wybiorą najszybszą możliwą prędkość.

Istnieje kilka współczesnych urządzeń, które nie obsługują automatycznych negocjacji gigabitowej miedzi Ethernet, jak (przynajmniej niektóre) przełączniki Cisco z miedzianymi SFP.

Wiele lat temu spędziłem trochę czasu pracując dla 3com, zapewniając wsparcie techniczne dla prawie całego sprzętu sieciowego. To niesamowite, jak często pojawiał się ten problem i ustawianie wszystkiego ręcznie było prawie standardową procedurą.

Miałem wiele problemów z automatycznymi negocjacjami. Wiele oczywiście oznacza jeden raz na kilka miesięcy, ale w mojej książce jest to o jeden problem za dużo.

Trudno znaleźć problemy z automatycznymi negocjacjami, szczególnie gdy osoby obsługujące sieć, serwery, aplikacje i bazy danych to cztery różne zespoły. Zazwyczaj dwa ostatnie spędzają dużo czasu w kółko, oskarżając się nawzajem o złej wydajności i kłamając na temat pomiarów, a czasem kopiąc to serwerom, którzy należycie przyjrzą się wynikowi „góry” i powiedzą, że wszystko jest dobrze z serwerem.

Dzieje się tak, dopóki sprawa nie wzrośnie do tego stopnia, że ​​„ekspert” (właściwie ktoś, kto jest generalistą, a zatem rozumie sieci, sprzęt, systemy operacyjne, bazy danych, frameworki i aplikacje), zostaje przydzielony do problemu i znajduje problem w ciągu pięciu lub dziesięciu minut.

Tak więc moją własną zasadą jest, że gdy tylko mogę coś z tym zrobić, ZAWSZE ustawiam stałe prędkości na serwerach produkcyjnych, przełącznikach i routerach. Serwery nieprodukcyjne również, jeśli są wystarczająco segregowane, aby ludzie, którzy go używają, nie mieli w nim dostępu do roota.

Przełączniki obsługujące dostęp do komputera stacjonarnego / notebooka można pozostawić do automatycznej negocjacji, a są wyjątki od reguły. Wystarczy wspomnieć o jednym, jeśli w sieci dzieje się wiele zmian, lepiej pozostawić je w trybie automatycznym i mieć wszystko na oku.

Kolejną kwestią, która może się przydać, niezależnie od tego, jaki wybierzesz wybór w zakresie auto-negocjacji , jest monitorowanie tego. Wystarczy skonfigurować Nagios lub what-have-you, aby mieć oko na stan każdego ważnego portu. W każdym razie już monitorujesz ten sprzęt sieciowy, prawda?

Szorstki. Widziałem karty sieciowe 3com 100Mb, które nie łączyłyby się z niczym powyżej 10 Mb, gdybyś narzucił prędkość lub dupleks. Możesz uzyskać pełną prędkość, pozwalając im na automatyczną negocjację, mimo że kierowca miał ustawienia 100 Mb pełne i Połowa 100 Mb.

Wiele sterowników karty sieciowej nie pozwala określić 1000 Mb. Jedyne opcje to 10, 100, Auto. Ponownie zmuszając cię do zrobienia Auto, jeśli chcesz pełnej prędkości. na przykład tak zachowuje się sterownik Broadcom netXtreme 57xx Gigabit.

Możesz łatwo zmusić Gigabit do przełączenia, ale myślę, że będziesz zmuszony pozwolić większości NIC na automatyczne negocjowanie.

1. Z mojego doświadczenia (głównie sprzęt 3Com i HP, niewiele Cisco), automatyczne negocjowanie nie powoduje wielu problemów.

2. Podobnie jak mrdenny, zwykle ustawiam serwery na ich najwyższą prędkość (wciąż mamy ich na 100), pełny dupleks, a potem zostawiam przełącznik na auto. Ponieważ mamy mieszankę prędkości zarówno na serwerach, jak i stacjach roboczych, zdecydowanie wolę pozostawić przełączniki w pozycji auto i pozwolić im dostosować się do punktu końcowego.

Miałem pewne problemy z autonegocjacją w konfiguracji domowej i problemem było okablowanie, w szczególności kable sieciowe zwinięte w pętlę o zbyt małej średnicy lub zbyt blisko kabli zasilających.

Ale uważam, że te sugestie są zbyt trywialne dla twojej konfiguracji. ;)

Ostatnio czytałem o tym w Network Warrior Gary'ego Donahue. W oparciu o tę książkę, aby automatyczne negocjowanie działało poprawnie ZARÓWNO przełącznik i karta sieciowa muszą być ustawione na automatyczne negocjowanie. Ustawienie karty sieciowej na określoną prędkość i tryb dupleks i pozostawienie serwera na automatycznej negocjacji nie będzie działać poprawnie - automatyczna negocjacja jest protokołem i obie strony muszą mówić, aby ustawienia działały poprawnie.

Jeśli chcesz jawnie ustawić tryb prędkości i dupleks, musisz to zrobić na obu końcach połączenia.

Podczas korzystania z urządzeń zabezpieczających PIX / ASA Cisco omawia niektóre przypadki, w których możesz chcieć ręcznie skonfigurować szybkość portu i dupleks zamiast używać automatycznej negocjacji: http://www.cisco.com/en/US/products/hw/vpndevc/ps2030/ products_tech_note09186a008009491c.shtml # Rozwiązywanie problemów

Moją ogólną zasadą jest używanie automatycznej negocjacji do wszystkiego oprócz łączy routera, chyba że masz konkretny problem (jak ostatnie karty Broadcom ... BAH!)

Jeśli masz na przykład dwa routery połączone przez Ethernet, ręcznie ustaw prędkość na obu końcach.