Zarządzam wieloma serwerami SuperMicro za pomocą wbudowanego IPMI. Mam związek miłości / nienawiści ze wspólnym (aka sideband) ethernetem. Ogólnie rzecz biorąc, te rzeczy działają w ten sposób, że LAN1 wydaje się mieć 2 (różne) adresy MAC - jeden dla interfejsu IPMI, drugi dla standardowej karty sieciowej Broadcom. Ruch do interfejsu IPMI (warstwa 2, oparta na adresie MAC) jest magicznie przechwytywany poniżej poziomu systemu operacyjnego i nigdy nie widzi go żaden działający system operacyjny.
Już osiągnąłeś dla nich jedną zaletę: mniej okablowania. Teraz omówię niektóre wady:
- Szczególnie trudno jest bezpiecznie podzielić interfejs IPMI na osobną podsieć. Ponieważ cały ruch odbywa się przez ten sam kabel, zawsze musisz (prawie) mieć interfejs IPMI i interfejs LAN1 w tej samej podsieci IP. Na najnowszych płytach głównych karty IPMI obsługują teraz przypisywanie sieci VLAN do karty sieciowej IPMI, dzięki czemu można uzyskać pozory separacji - ale podstawowy system operacyjny zawsze może wąchać ruch dla tej sieci VLAN. Starsze kontrolery BMC w ogóle nie pozwalają na zmianę sieci VLAN, chociaż narzędzia takie jak ipmitool lub ipmicfg pozornie pozwalają ci to zmienić, to po prostu nie działa.
- Centralizujesz punkty awarii w systemie. Robisz konfigurację na przełączniku i jakoś się odciąć? Gratulacje, odciąłeś podstawowe połączenie sieciowe z serwerem ORAZ tworzenie kopii zapasowych przez IPMI. Awaria sprzętu karty sieciowej? Gratulacje, ten sam problem.
- Wczesne BMC SuperMicro IPMI były znane z robienia dziwnych rzeczy z interfejsem sieciowym. To, czy użyć wbudowanego, czy dedykowanego portu IPMI, było często określane przy włączaniu (nie restartowaniu) i nie przełączało się stamtąd. Jeśli wystąpiła przerwa w dostawie prądu, a przełącznik nie zapewniał wystarczającego zasilania wystarczająco szybko, może dojść do awarii IPMI, ponieważ automatycznie wykrył nieprawidłowe ustawienie.
- Osobiście miałem wiele dziwnych, niewytłumaczalnych problemów z łącznością, dzięki którym IPMI zespołu bocznego działało niezawodnie. Czasami po prostu nie mogłem pingować adresu IP interfejsu przez kilka minut. Czasami dostaję burzę pakietów na przypisanej sieci VLAN, ale ruch wydaje się być zmniejszony.
Chociaż nie ma to nic wspólnego z dedykowanym pasmem bocznym, zauważę również, że narzędzia dostępu do systemów hosta są bardzo słabo napisane. Starsze karty IPMI nie obsługują niczego poza uwierzytelnianiem lokalnym, co sprawia, że rotacja haseł jest uciążliwa. Jeśli korzystasz z funkcji KVM-over-IP, utkniesz przy użyciu niepoprawnie podpisanego, wygasłego apletu Java lub dziwnej aplikacji komputerowej Java, która działa tylko w systemie Windows i wymaga podniesienia poziomu kontroli konta użytkownika. Zauważyłem, że wpis na klawiaturze jest co najwyżej wypryskany, czasami dostaję „zablokowane klawisze”, tak że nie można wpisać hasła, aby się zalogować bez próby 10 razy.
W końcu udało mi się uzyskać ponad 40 systemów pracujących z tym układem. Mam głównie nowsze systemy. Mogę VLAN interfejsy IPMI w osobnej podsieci i używam głównie konsoli szeregowej za pośrednictwem ipmitool, który działa bardzo dobrze. W przypadku serwerów nowej generacji patrzę na technologię Intel AMT z obsługą KVM ; ponieważ powoduje to przejście do przestrzeni serwera, widzę zastąpienie tego IPMI.
Nie korzystałem wcześniej z tych konkretnych kart, te, których użyłem, albo mają inny MAC dla ruchu IPMI, albo port jest przeznaczony tylko dla ruchu IPMI. Możliwe jednak, że IPMI współdzieli NIC, w tym MAC.
IPMI będzie miał inny adres IP niż system operacyjny, więc pakiety będą na nim poprawnie kierowane. Ruch IPMI nigdy nie uderza w procesor, wszystko jest obsługiwane w układach zarządzania pasmem bocznym.
źródło
Chciałem dodać do ogólnej porady, że korzystanie z pasma bocznego oznacza, że nie możesz rozmawiać z serwera na BMC. Ruch wydaje się być odfiltrowany. Próbowałem tego na zestawie IBM / Dell / HP.
źródło
Zrobię kopię zapasową ostatniego punktu natacados w jego początkowej odpowiedzi, twoje sesje IPMI będą losowo przekraczać limit czasu (używam IPMIView z supermicro, aby spojrzeć na konsolę na moich urządzeniach). Rzeczy takie jak aktualizacje oprogramowania i motocykle wydają się niewytłumaczalnie i losowo zawieść.
Świetna odpowiedź natacado, niezwykle dokładna.
źródło