Wypadek najlepszego administratora systemu [zamknięty]

Szukam zabawnych historii o wypadkach administratora systemu, które miałeś. Usuwanie wiadomości e-mail prezesa, formatowanie niewłaściwego dysku twardego itp.

Dodam własną historię jako odpowiedź.

Dobrze się bawiłem, odkrywając różnicę między poleceniem „killall” systemu Linux (zabija wszystkie procesy o podanej nazwie, przydatne do zatrzymywania zombie) a poleceniem „killall” systemu solaris (zabija wszystkie procesy i zatrzymuje system, przydatne do zatrzymywania serwera produkcyjnego w środek godzin szczytu i zachęcanie wszystkich współpracowników do śmiechu przez tydzień).

Byłem odpowiedzialny za nasz korporacyjny serwer proxy sieci Web, który w tym czasie był produktem Netscape. Podczas zabawy w formularzach administratora (był to interfejs internetowy) był duży (i przysięgam, że był czerwony) przycisk z napisem Usuń bazę danych użytkowników . Nie ma problemu, pomyślałem. Zobaczmy, jakie opcje daje mi to, kiedy w to uderzę. Na pewno pojawi się monit o potwierdzenie, jeśli nie będzie żadnych opcji.

Tak, bez potwierdzenia. Brak opcji Nigdy więcej użytkowników.

Więc podszedł do pana Solarisa Sysadmina i powiedział, że desperacko potrzebuję przywrócenia z taśmy, na co odpowiedział: „Nie cofam tego pudełka”.

„Uh, chodź ponownie” - odparłem.

„Nie cofam tego pola. Jest na mojej liście rzeczy, które mogę dodać do rotacji kopii zapasowej, ale jeszcze się z tym nie obejrzałem”.

„Ten serwer jest produkowany od prawie 8 miesięcy!” Krzyczałem.

wzruszając ramionami , odpowiedział. "Przepraszam."

Wiele lat temu firma, w której pracowałem, miała klienta, który przeprowadzał nocne tworzenie kopii zapasowych ich serwera NT 4.0 na dysku Jaz (jak dysk zip o dużej pojemności).

Utworzyliśmy plik wsadowy, który działał jako zaplanowane zadanie na noc. Każdego ranka zbierali dysk z ostatniej nocy i zanim wyszli wieczorem, wkładali następny dysk do sekwencji.

W każdym razie plik wsadowy wyglądał mniej więcej tak (napędem Jaz był dysk F:) ...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

W każdym razie pewnej nocy zapomnieli włożyć dysk. Zmiana na dysk F: nie powiodła się (brak dysku na dysku), a plik wsadowy nadal działał. Domyślny katalog roboczy dla pliku wsadowego? DO:. Po raz pierwszy widziałem, jak procedura tworzenia kopii zapasowych niszczy serwer, którego kopię zapasową utworzono.

Tego dnia nauczyłem się trochę o administrowaniu systemem (i obsłudze wyjątków).

Jim.

PS: Poprawka? „deltree / y F: \ *. *”.

root @ dbhost # find / -name core -exec rm -f {} \;

Ja: „Nie możesz wejść? OK. Jak nazywa się DB?”

Cu: „Rdzeń”.

Ja: „Och”

Uwielbiam sposób, w jaki wszyscy określają swoją historię słowem „kiedy byłem młody / zielony”, jakby nigdy więcej tego nie zrobili. Wypadki mogą przytrafić się nawet najbardziej doświadczonym profesjonalistom.

Mój najgorszy moment jest tak zły, że wciąż kołatają mi się myśli o tym ...

Mieliśmy SAN z danymi produkcyjnymi. Krytyczny dla firmy. Mój „mentor” postanowił rozszerzyć partycję, aby zwolnić miejsce na dysku. Czy widzisz, dokąd to zmierza? Powiedział, że oprogramowanie SAN może to zrobić na żywo, w godzinach produkcji i nikt tego nie zauważy. Dzwonki alarmowe powinny zacząć dzwonić, ale wyraźnie milczały. Powiedział, że robił to „wiele razy wcześniej” bez żadnych problemów. Ale o to chodzi - zmusił MNIE do kliknięcia przycisku „Jesteś pewien?”! Ponieważ byłem nowy w firmie, założyłem, że ten facet wiedział o czym mówi. Wielki błąd. Dobrą wiadomością było to, że jednostka LUN została przedłużona. Złą wiadomością było ... cóż, wiedziałem, że były złe wiadomości, kiedy zacząłem widzieć błędy zapisu dysku w oknie Windows.

Cieszę się, że miałam brązowe spodnie.

Musieliśmy wyjaśnić, dlaczego 1 TB danych zniknęło w porze lunchu. To był naprawdę zły dzień.

To właściwie dobra zasada - zanim zrobisz coś, co do czego masz wątpliwości, wyobraź sobie, że musisz wyjaśnić kierownictwu, jeśli coś pójdzie nie tak. Jeśli nie możesz wymyślić dobrej odpowiedzi na wyjaśnienie swoich działań, nie rób tego.

Nagios pingował nas pewnego ranka, kiedy godziny pracy zaczęły mówić, że nie można połączyć się z niekrytycznym serwerem. Ok, idź do serwerowni. To stary serwer, Dell 1650 zakupiony w '02, i wiedzieliśmy, że 1650 mają problemy ze sprzętem. PFY wbija przycisk zasilania. Nic. Uderz go jeszcze raz i przytrzymaj przez pięć sekund, aby „wymusić włączenie zasilania” ... co unieważnia ochronę przed błędami BMC, ponieważ bez DRAC nie ma możliwości sprawdzenia dzienników BMC bez włączania zasilania w podwoziu.

Maszyna rozpoczyna test POST, a następnie ponownie umiera. Stoję nad nim i mówię: „Czuję dym”. Wyciągamy serwer na szyny, a jeden z zasilaczy jest ciepły, więc PFY wyciąga go i ma zamiar zamknąć pudełko z powrotem. Mówię: „Nie, to nie dym zasilający, to dym z płyty głównej”.

Ponownie otwieramy skrzynkę i szukamy źródła płonącego zapachu. Okazuje się, że cewka indukcyjna i kondensator coś wysadziły regulator napięcia na płycie głównej, i spryskały wszystko stopioną miedzią i kondensatorem, zwierając kilka rzeczy i robiąc wielki bałagan.

Najgorsze było dla mnie stwierdzenie, że wypaliłem wystarczająco dużo sprzętu, aby rozpoznać różnicę między zapachem spalonej płyty głównej a spalonym zasilaczem.

Trzy dni temu (poważnie) byłem zdalnie zalogowany na szkolnym serwerze, instalując Service Pack 2 na serwerze plików Windows Server 2008.

Postanowiłem zaplanować konieczny restart komputera późno w nocy, kiedy nauczyciele nie byliby zalogowani po skończeniu kart raportu na koniec roku. Wpisałem coś takiego:

 o 23:59 "zamknięcie systemu -r -t 0" 

... co mogło działać dobrze.

Ale potem się domyśliłem. Czy moja składnia „zamykania” była poprawna? Próbowałem wyświetlić pomoc dotyczącą użytkowania, pisząc

 zamknięcie / godz 

... i natychmiast straciłem połączenie RDP. Panikując, wybrałem Google, by uzyskać składnię. Szybkie wyszukiwanie ujawniło, że zamknięcie wersji Server 2008 zawiera przełącznik / h, który (jak można się domyślać) hibernuje maszynę.

Nauczyciele zaczęli do mnie dzwonić w ciągu kilku minut, aby zgłosić, że nie mogą już otwierać ani zapisywać kart raportów, nad którymi pracowali. Ponieważ byłem poza siedzibą, a serwerownia była zamknięta, musiałem zadzwonić bezpośrednio do dyrektora szkoły i przeprowadzić ją przez proces ponownego włączania maszyny.

Dzisiaj przyniosłem wszystkim domowe ciasteczka jako formę przeprosin.

W poprzednim zadaniu mieliśmy świetny system domowy, który rejestrował i archiwizował każdą pocztę, która wchodziła, pozostawiała lub pozostawała w firmie.

Zniszczyłeś całą skrzynkę pocztową? Nie ma problemu! Szukasz wiadomości, którą ktoś wysłał Ci tydzień / miesiąc / rok temu, ale nie pamiętasz, kto ją wysłał lub jaki był temat? Nie ma problemu! Ponownie dostarczymy wszystko od lutego do specjalnego folderu.

W pewnym momencie pojawiła się potrzeba, aby dyrektor generalny firmy monitorował podejrzaną pocztę między konkurentem a wewnętrznym sprzedawcą. Więc skonfigurowaliśmy skrypt niż uruchamiany co noc i dostarczyliśmy odpowiednią wiadomość z poprzedniego dnia do CEO. Nie ma problemu!

Około miesiąca później z góry wyszło słowo o podwójnym plusie. Wydaje się, że gdy CEO czytał listę maili wysłanych do $ OTHERCOMPANY, natknął się na tę:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Oczywiście, ponieważ CEO był ważną osobą, był zbyt zajęty, aby klikać wszystkie okna dialogowe „Wyślij potwierdzenie odbioru” w Outlooku i skonfigurował swojego klienta, aby po prostu wysyłał je wszystkie. Jeden z komunikatów wychwyconych przez filtr monitorowania ma ustawiony wniosek o potwierdzenie odbioru. Zgadnij, co zrobił Outlook? Z pewnością uruchomił się „tajny” monitoring.

Nasze następne zadanie: dodanie reguł do filtra poczty w celu zablokowania wychodzących potwierdzeń odczytu od CEO do tej firmy. Tak, to był najłatwiejszy sposób. :)

Ahhh, moje było około 10 lat temu, kiedy wciąż miałem mokre stopy. Miałem przyjemność instalować kopie zapasowe baterii na wszystkich komputerach programistów. Chcieli także, aby oprogramowanie zostało załadowane w celu ostrzeżenia o zaniku zasilania i prawidłowego zamknięcia.

Ustawiłem go więc na komputerze, aby najpierw wszystko przetestować i upewnić się, że wszystko działa. Odłączam więc przewód zasilający i na ekranie pojawia się komunikat. „utrata zewnętrznego zasilania, rozpoczęcie zamykania systemu”.

Więc pomyślałem: Hej, fajnie, zadziałało. Ale z jakiegoś dziwnego powodu, nawet nie pamiętam, wysłał tę wiadomość jako wiadomość sieciową, więc wszystkie ponad 200 komputerów w firmie otrzymało tę wiadomość, gdzie ponad 100 użytkowników było programistami.

Tak, rozmawiaj o masakrze!

Przez jakiś czas trzymałem głowę nisko w tym miejscu!

Często używałem polecenia „sys-unconfig” na komputerach Solaris, aby zresetować nazwę usługi, adres IP i hasło roota. Byłem w systemie użytkowników i zalogowałem się do serwera instalacji budynku i szukałem czegoś (jako root), a potem zapominając, że zalogowałem się na innej maszynie (nieopisowy monit „#”), uruchomiłem polecenie „sys-unconfig”.

# sys-unconfig     
        WARNING

This program will unconfigure your system.  It will cause it
to revert to a "blank" system - it will not have a name or know
about other systems or networks.

This program will also halt the system.

Do you want to continue (y/n) ? y

Connection closed

#

Ta wiadomość „połączenie zamknięte” powoli zmieniła się w panikę ... na jakiej maszynie byłem zalogowany, kiedy uruchomiłem to polecenie.

Najgorsze, że nie był to trudny okres, który mi dali współpracownicy, ale to, że zrobiłem to samo miesiąc później.

Mam całkiem niezły. Trzeba przyznać, że to był mój czas sysadminowy, ale wciąż związany z technologią, więc pomyślałem, że go dodam.

Wcześniej pracowałem jako technologia satcom / wideband dla USAF. Po ukończeniu szkoły technicznej znalazłem się w Korei Południowej. Niedługo po przybyciu na stację pojawiła się okazja, aby udać się na południe z „dużymi facetami”, którzy byli tam od dłuższego czasu i faktycznie pracowali nad jakimś sprzętem w świecie rzeczywistym (tj. Produkcyjnym).

Poszedłem z załogą i jako chętny, młody technik, gryzłem trochę, bardzo podekscytowany perspektywą zdobycia rzeczywistego sprzętu, który przekazywał wojskowy głos i ruch danych LIVE.

Aby zacząć powoli, wręczyli mi instrukcję, zwrócili się do działu konserwacji zapobiegawczej i wskazali mi cztery stojaki wypełnione kilkoma dużymi multiplekserami cyfrowymi. Sprzęt był dość łatwy, mieliśmy taki sam sprzęt w szkole technicznej.

Pierwsza strona podręcznika przeczytana; „Podłącz zasilanie do multipleksera ditigal. Ustaw oba tylne przełączniki w pozycji ON i poczekaj, aż urządzenie włączy się, a następnie rozpocznij testy”. Spojrzałam w górę, a już zastosowano moc!

Na pewno byłem w rozterce. Nie wiedząc, jak postępować, postarałem się jak najlepiej: „Ummmm .. Trochę tu zgubiłem”, spojrzał na seniora.

Spojrzał na mnie i zaśmiał się: „Nie, nie, jest ok. Możesz zignorować tę część listy kontrolnej”. Potem, gdy zauważył wyraz mojej twarzy (ponieważ w szkole NIGDY nas nie nauczono, NIGDY nie ignoruje żadnej części listy kontrolnej, a jeśli tak, to pewna śmierć i zniszczenie), poważnie spojrzał na swoją twarz i powiedział: „Zignoruj ​​TYLKO tę część! Podążaj za resztą, do litery!”

Sumiennie przejrzałem instrukcje wielostopniowego PM, szczęśliwy jak małż i dumny, że pozwolili tak niskiej (choć inteligentnej) technologii wykonać tę ważną pracę.

Gdzieś pomiędzy piątą a szóstą listą kontrolną konserwacji zapobiegawczej na tych ogromnych multiplekserach zacząłem zauważać zwiększony poziom aktywności wokół mnie. Dzwoniły telefony, ludzie poruszali się szybko. Wymieniono dziwne spojrzenia.

W końcu podbiegła do mnie grupa ludzi, kierowana przez jednego ze starszych techników, który mnie powalił.

„Hej! Widzimy OGROMNE awarie w ruchu danych, i wyizolowaliśmy / prześledziliśmy ścieżkę z powrotem do szaf, nad którymi pracujesz! Czy widzisz jakieś dziwne ...”

(W tym momencie został odcięty przez jednego z rozwiązywaczy problemów, który dotarł do pierwszej grupy multiplekserów, na których wykonywałem PM).

„ŚWIĘTE ORZECHY! ZOSTAŁY WYŁĄCZONE! ODŁĄCZYŁO SIĘ !!!!”

W krótkiej kolejności patrzyłem, jak pospiesznie przebiegają pierwszy krok w instrukcji: „Obróć oba tylne przełączniki do pozycji ON ...” Kiedy starszy technik skończył, podszedł do mnie i z niedowierzaniem zapytał, co myślę poprzez wyłączenie krytycznych elementów sprzętu.

Przestraszony, wręczyłem mu listę kontrolną, którą śledziłem, przysięgając, że wcale nie odstępowałem. Że poszedłem za tym, „do listu”, tak jak pouczył.

Po chwili zaśmiał się i wskazał, na czym polega problem.

W instrukcji KOŃCOWY krok na liście kontrolnej konserwacji zapobiegawczej to:

„Zapisz końcowy odczyt sondy, wytrzyj przedni panel, usuwając cały kurz i cząsteczki, a następnie ustaw oba tylne przełączniki zasilania w pozycji OFF”.

:)

To rodzaj wypadku sysadminowego, ponieważ administratorzy czasami muszą fizycznie ciągnąć dużą liczbę maszyn z punktu A do punktu B (gdzie A i B najwyraźniej zawsze są oddzielone kilkoma biegami schodów w budynku bez windy). Podczas dziewiątej podróży dnia zatrzymałem się na chwilę, aby odpocząć trzy piętra wyżej od poziomu załadunkowego piwnicy, aby pogadać z kimś, kto zszedł na dół, podpierając pełnowymiarową wieżę ze stacją, na której schlepping, na wewnętrznej poręczy otwartych schodów i ... cóż, zgadłeś ... nieznacznie straciłem kontrolę nad tym. Bezbłędnie pogrążyła się w studni, a kiedy osiągnęła dno, eee ... nie tyle z funkcjonalnością tego! Łącznie części do odzyskania: dwa drążki pamięci RAM, jeden napęd dyskietek i jedna karta ISDN (Niech Bóg błogosławi inżynierom Hermstedta!). Wszystko inne albo pękło,

Z łaski Bożej nikt nie szedł pod nią, co, na szczęście dla mnie, było pierwszym moim szefem, więc musiałem zachować swoją pracę. Czułem się bardzo chory przez około godzinę.

Morał: grawitacja zawsze wygrywa!

Przeładowywałem system dla kogoś i podczas ręcznego tworzenia kopii zapasowej zadałem mu pytanie „Czy masz jakieś inne programy, których używasz?” i „Czy jest coś jeszcze ważnego do zrobienia na komputerze?”

Powiedział „nie” KILKA razy.

Byłem przekonany i sformatowałem dysk.

Około 30 minut później powiedział „o mój boże” i położył obie ręce na głowie.

Okazuje się, że pracował nad skryptem książkowym od ponad 10 lat w specjalnym programie. To było w przeszłości, gdy programy zapisywały dane użytkownika w katalogu plików programów, a ja tęskniłem.

Whhhhooooops.

Nie był na mnie zły, ale było to otrzeźwiające uczucie.

Mój osobisty faworyt nie jest właściwie mój i bardzo się cieszę. Spójrz tutaj.

Nie przydarzyło mi się to, ale…

Pracowałem w firmie, która produkowała oprogramowanie działające na maszynach Linux dostarczonych przez klienta. Zasadniczo „przejmowalibyśmy” maszyny, całkowicie konfigurowaliśmy je zgodnie z naszymi specyfikacjami oraz zajmowaliśmy się zarządzaniem i monitorowaniem. Zasadniczo byliśmy zespołem 10-15 sysadminów, zarządzających tysiącami serwerów dla setek klientów. Błędy musiały się zdarzyć.

Jeden z naszych zespołów znalazł pewne problemy na serwerze (myślę, że jest to kopia zapasowa) i zdecydował, że powinien uruchomić na nim fsck. Zatrzymał wszystkie odpowiednie usługi, upewnił się, że system wykonał ostatnio kopie zapasowe, a następnie uruchomił fsck, ale narzekał, że system plików został zamontowany. Ponieważ byliśmy zdalni i nie mieliśmy dostępu zdalnego (DRAC, ILO itp.), Nie mógł wykonać fsck, ale był całkiem pewien, że można to bezpiecznie zrobić z zamontowanym systemem plików, jeśli będziesz ostrożny.

Postanowił spróbować sam, uruchamiając fsck na swojej partycji root, z przewidywalnymi rezultatami - zepsuł partycję root i nie mógł już się uruchomić.

Zdezorientowany podszedł i rozmawiał z szefem naszego zespołu. Dowódca powiedział, że był prawie pewien, że nie możesz tego zrobić, a członek zespołu powiedział „Pewnie, że możesz!”, Wziął klawiaturę ołówka i pokazał mu, że możesz - uruchamiając fsck na partycji głównej leadu. Który całkowicie uszkodził partycję główną HIS.

Wynik końcowy? Brak danych klienta dzięki testom członka zespołu. Utracono dwa dni wydajności pracowników, ale było to warte znacznie, dużo mniej niż dane na komputerze klienta. A dla przypomnienia? Możesz uruchomić fsck na zamontowanym dysku, ale tylko w celu weryfikacji danych. Nie naprawiać tego. To był błąd członka zespołu.

-

Aby dodać własną historię, pracowałem w tej samej firmie i próbowałem zresetować hasło użytkownika. Nasz system nie pozwolił mi ustawić go na hasło, którego potrzebował, ponieważ śledził skróty starych haseł i nie pozwolił ci powielić hasła. Mechanizm był prosty: sprawdził poprawność hasła względem najnowszego skrótu w bazie danych.

(A dla przypomnienia, musiało to być stare hasło, ponieważ było to wspólne konto i upewnienie się, że wszyscy wiedzieli, że nowe hasło jest niepraktyczne)

Postanowiłem po prostu wejść do bazy danych użytkowników i usunąć nowe rekordy, aby użyć starszej. Wszystko to jest po prostu SQL (uruchamianie starożytnej wersji Sybase), więc jest to łatwe. Najpierw musiałem znaleźć rekordy:

SELECT * FROM users_passwords WHERE username='someuser';

Znalazłem stary zapis, który chciał zachować; przed nim były jeszcze dwa. Postanowiłem być sprytny i po prostu usunąć coś nowszego niż stary rekord. Patrząc na zestaw wyników, zobaczyłem, że stare hasło to ID nr 28 w bazie danych, a nowe to ID # kilka tysięcy (bardzo zajęty system). To proste, wszystkie stare wiersze miały> 28, więc:

DELETE FROM users_passwords WHERE id > 28;

Nie ma nic gorszego niż proste przycinanie rzędów i zobaczenie „dotkniętych nim 212,500 wierszy”. Na szczęście mieliśmy dwa główne serwery bazy danych (z identyfikatorem użytkownika), ale Sybase (przynajmniej nasza wersja) nie obsługiwał automatycznej replikacji, więc nie usunął automatycznie starych rekordów. To było trywialne zadanie, aby uzyskać zrzut tabeli users_passwords i ponownie ją zaimportować. Mimo to całkiem spore „o kurwa!” za chwilę.

Kolejny z moich ulubionych:

Podczas konfigurowania komputera i lokalnej drukarki laserowej w systemie wpadłem na pomysł, aby podłączyć oba urządzenia do zasilacza UPS. Czy kiedykolwiek próbowałeś drukować na lokalnej drukarce laserowej, gdy jest podłączony do stacjonarnego zasilacza UPS? Cóż, jeśli nie wiesz, to zwykle ciągnie wszystkie wzmacniacze ... Co powoduje ponowne uruchomienie komputera ... I zadanie drukowania nigdy się nie kończy ...!

Kiedykolwiek dostaję telefon: „ Ilekroć drukuję, restartuje komputer i nie drukuje !!! „?

Ups!

JFV

Instrukcja DELETE bez klauzuli WHERE w bazie danych klientów na żywo.

Wpisany kill 1jako root. initi wszystkie jej dzieci zmarły. I wszystkie ich dzieci. itp. itp. Ups.

Chciałem napisać kill %1

Po uświadomieniu sobie, co zrobiłem Pobiegłem do centrali z BIG maszynie wełna bela sortowania i naciśnij przycisk awaryjnego zatrzymania. To powstrzymało maszynę przed rozerwaniem się na kawałki, ponieważ właśnie zabiłem oprogramowanie, które ją kontrolowało.

Byliśmy w trakcie przerwy w dostawie prądu i zobaczyliśmy, że UPS pracował przy 112% skonfigurowanego obciążenia. Nie było to wielkim problemem, ponieważ wtedy pracowaliśmy na generatorze.

Zaczęliśmy więc ciągnąć za zapasowe kable zasilające, aby zmniejszyć zużycie energii przez ten UPS (mieliśmy dwa, jeden znacznie większy od drugiego). Dotarliśmy do przełącznika sieciowego, który prowadził serwerownię (była to serwerownia ze wszystkimi wewnętrznymi serwerami firmy, z klientami skierowanymi do serwerów w innej serwerowni). Przełącznik był dużym przełącznikiem klasy korporacyjnej z trzema zasilaczami. Dostawami były N + 1, więc potrzebowaliśmy tylko dwóch, aby uruchomić przełącznik.

Wybraliśmy kabel i wyciągnęliśmy go. Niestety dla nas dwóch pozostałych podłączono do jednej listwy zasilającej, która natychmiast wybuchła, gdy obciążenie wzrosło na dwóch zasilaczach, które zostały do ​​niej podłączone. Następnie sysadmin spanikował i podłączył trzeci kabel. Przełącznik próbował odpalić, przenosząc całe obciążenie przełącznika na pojedyncze źródło zasilania. Zamiast wyłączającego się zasilacza eksplodował pod strumieniem iskier niecałe 12 cali od mojej twarzy, co spowodowało, że wskoczyłem z powrotem na szafę serwerów.

Z instynktu próbowałem zeskoczyć na bok, ale niestety po mojej lewej stronie była ściana, a dwie po mojej prawej były bardzo dużym facetem z zaplecza 6'4 ". Jakoś udało mi się przeskoczyć nad nim, a może przez niego odbijając się stojaków Compaq (tych z cienkimi frontami z siatki) bez wkładania całości do stojaka i bez dotykania faceta od wyposażenia.

W pewnym momencie mojej kariery dochodzenie prawne w firmie, dla której pracowałem, nakładało na nas wymóg, aby wszystkie wiadomości e-mail były przechowywane od „tego dnia” do przodu, dopóki nie zostanie podane inaczej. Po około roku przechowywania codziennych pełnych kopii zapasowych naszego środowiska wymiany (1 TB dziennie) zaczęło nam brakować miejsca.

Administratorzy wymiany sugerowali, że przechowujemy tylko co 8 kopię e-maila. Aby to zrobić, kazaliśmy im przywrócić bazy danych wymiany na kilka dni, wyodrębnić potrzebny e-mail (określone osoby oznaczone do zbadania) i ponownie go zarchiwizować. Robili to dla każdego 8-tego dnia e-maila dla wszystkich naszych kopii zapasowych. Wybrano 8 dzień, ponieważ wymiana miała zestaw parametrów, w których „usunięte elementy” są przechowywane w bazie danych przez 8 dni.

Po zakończeniu każdego archiwum wróciłem i usunąłem kopie zapasowe, które były starsze niż te, które zarchiwizowały.

TSM nie ma łatwego sposobu, aby to zrobić, więc musisz ręcznie usunąć obiekty z zapasowej bazy danych.

Napisałem skrypt, który usunie wszystkie kopie zapasowe starsze niż pewna data, poprzez obliczenie daty z wykorzystaniem różnicy między dniem dzisiejszym a datą. Pewnego dnia musiałem usunąć kopie zapasowe o wartości około miesiąca, z wyjątkiem przypadków, gdy wykonałem obliczenie daty, zrobiłem literówkę i wprowadziłem datę jako 7/10/2007 zamiast 6/10/2007 i uruchomiłem skrypt. Usunąłem dane z całego dodatkowego miesiąca, przypadkowo, co było częścią bardzo ważnego procesu.

Następnie dodałem kilka kroków do skryptu, aby potwierdzić, że chcesz usunąć dane, i pokazać, co zamierza usunąć ...

Na szczęście nigdy nie wykorzystali danych, które tak ciężko pracowaliśmy, aby je zachować, a ja nadal mam swoją pracę.

Po długim dniu lub śledzeniu wydajności i dostrajaniu ogromnej komputera mainframe (znasz bestie, które potrzebują kilku godzin, zanim wszystkie rezerwowe witryny kopii zapasowych zgodzą się, że rzeczywiście zostało uruchomione ponownie i jest w pełni zsynchronizowane) Naciągnąłem palce, wpisałem zadowolony system zamykania -p teraz w monitie mojego laptopa, zamknąłem wieko, wyszarpnąłem kabel szeregowy z komputera mainframe, w oczekiwaniu na fajną szklankę piwa.

Nagle słyszę ogłuszający dźwięk obracania się w dół komputera mainframe, gdy mój laptop wciąż wyświetla X.

Czekając, aż maszyna ponownie przejdzie w tryb online, zdecydowałem, że mam czas, aby mój ACPI działał na moim laptopie, więc nigdy nie mam ochoty zamknąć mojego laptopa.

Ten wypadek się nie zdarzył ... ale warto wspomnieć:

Wysłano mnie do często używanego centrum danych, aby przeprowadzić testy przepustowości nowego obwodu. Dotarłem do pokoju demark / IDF, znalazłem miejsce na jednym ze stojaków dla routera testowego, nawiązałem połączenia i rozpocząłem testy. Niestety zupełnie nie zauważyłem, że router graniczny w produkcji nie tylko znajduje się dokładnie na następnym stojaku (prawie na tym samym poziomie), ale że jest to również ta sama marka i model, co mój router testowy.

Po zakończeniu testu zacząłem naciskać wyłącznik zasilania do pozycji wyłączonej (... wyobraź sobie, że w zwolnionym tempie ...) i, przysięgam, kiedy naciskałem, uświadomiłem sobie, że router jest w pobliżu wyłączyć w produkcji. Moje serce zatrzymało się i prawie ... cóż, użyj twojej wyobraźni.

Opuściłem MDF centrum danych, wyglądając na wystraszonego i bladego, ale jednocześnie cieszę się, że wciąż mam pracę!

Przez pomyłkę usunąłem czyjeś konto, pomieszałem nazwy z tymi, które miałem usunąć. Opps

Fajne jest to, że nigdy nie wiedzieli, co się stało. Dostałem telefon, którego nie mogli się zalogować, grosz spadł o konto, które usunąłem.

Podczas rozmowy z nimi szybko ponownie utworzyłem ich konto, ponownie dołączyłem do nich starą skrzynkę pocztową (na szczęście Exchange nie usuwa od razu skrzynek pocztowych) i skierowałem ją z powrotem do starych plików użytkownika.

Potem obwiniłem ich za zapomnienie hasła, które właśnie dla nich zresetowałem :)

Przypadkowo zainstalowałem plik tar.gz na moim pudełku Gentoo Linux w niewłaściwym miejscu i pozostawiłem pliki w dowolnym miejscu. Musiał to być w tym czasie około 1999, 19 lat (dzięki za komentarze poniżej)

Będąc maniakiem, którym jestem, postanowiłem spróbować napisać skrypt bez konieczności ręcznego przeglądania każdego pliku.

Więc próbowałem:

tar --list evilevilpackage.tar.gz | xargs rm -rf

Nie zajęło mi długo zauważenie, że tar wymieniał również wszystkie katalogi, których używa program, w tym zawarte były „/ usr, / var, / etc” i kilka innych, których tak naprawdę nie chciałem odejść.

CTRL-C! CTRL-C! CTRL-C! Za późno! Wszystko minęło, czas na ponowną instalację. Na szczęście pudełko nie zawierało niczego ważnego.

Jako niewielka część mojego poprzedniego życia administrowałem serwerem plików firmy, pudełkiem netware 4:11. Prawie NIGDY nie potrzebował żadnego wkładu, ale jeśli tak, otworzyłeś okno konsoli zdalnej.

Przyzwyczajony do korzystania z DOS przez cały czas, kiedy skończyłem, naturalnie pisałem „Exit”. W przypadku Netware „exit” to polecenie zamknięcia systemu operacyjnego. Na szczęście nie pozwoli ci się zamknąć, chyba że najpierw „wyłączysz” serwer. (Uczyń go niedostępnym dla sieci / klientów) Więc kiedy wpiszesz „Wyjdź” w konsoli, pomocne jest powiedzenie „Musisz najpierw wpisać” W dół „zanim będziesz mógł wyjść”

Zapytaj mnie, ile razy 1: wpisałem „exit” w sesji konsoli i 2: posłusznie wpisałem „Down”, a następnie „Exit”, abym mógł „dokończyć to, co próbowałem”

A potem telefon zaczyna dzwonić .....

lol

Inna historia, która się nie wydarzyła (uff):

Codziennie religijnie wykonywaliśmy przyrostowe kopie zapasowe na napęd taśmowy.

Zdarzyło nam się napisać taśmę zawierającą dane, aby wysłać ją do kogoś innego. Powiedzieli „nie możemy odczytać twojej taśmy”. W rzeczywistości nie mogliśmy. Albo jakakolwiek taśma.

Kupiliśmy inny napęd taśmowy i wstrzymaliśmy oddech, dopóki go nie zainstalowaliśmy.

Morał historii. Zawsze upewnij się, że testujesz swoje kopie zapasowe.

W ostatnim miejscu, w którym pracowałem, mój współpracownik miał ze sobą swoje dzieci w serwerowni (dlaczego? Nie mam POMYSŁU!).

Upewnił się, że są daleko od serwerów, i wyjaśnił swojemu 5-latkowi, że nie powinien dotykać ŻADNEGO z serwerów, a zwłaszcza żadnego z przełączników zasilania.

W rzeczywistości miał je tuż przy drzwiach ... (widzisz, dokąd to zmierza ...?)

Chłopiec nie dotknął żadnego przycisku zasilania serwera ... Nie, to byłoby zbyt łatwe do wyjaśnienia. Zamiast tego nacisnął WIELKI CZERWONY PRZYCISK, który był blisko drzwi ... Przycisk, który wyłącza moc CAŁEGO SERWERA !!!

Linie telefoniczne natychmiast zaczęły się świecić, zastanawiając się, dlaczego Exchange, serwery plików itp. Nie były dostępne ... Wyobraź sobie, że próbujesz wyjaśnić to CEO!

-JFV

Kiedyś miałem kłótnię z oprogramowaniem monitorującym APC UPS. Jako mała firma mieliśmy kilka małych UPS-ów i skonfigurowano różne serwery do ich monitorowania. Większość serwerów była Linuksem, ale na kilku działał system Windows, więc były one używane, ponieważ oprogramowanie APC jest tylko dla systemu Windows.

Jednak oprogramowanie APC w tym czasie było mocno zakodowane, aby założyć, że zasilacz UPS, z którym rozmawia, zasila również komputer, na którym działa! Nie było tak w przypadku tego serwera, ale odkryłem, że jest za późno, aby kazać mu się zatrzymać. Niestety, główny programista demonstrował produkt firmy partnerowi - była to aplikacja internetowa działająca na tym samym serwerze, na której nie chciałem, aby oprogramowanie APC zostało zamknięte ...

Opowiadałem nowemu administratorowi systemu aplikację Service Manager. Powiedziałem „jeśli kiedykolwiek będziesz musiał zatrzymać tę usługę, kliknij ten przycisk, ale nigdy nie powinieneś tego robić w ciągu dnia”. Nigdy byś nie uwierzył, jak wrażliwy był jej przycisk myszy!

Dwie minuty później usługa zaczęła się od nowa i nikt nie zauważył.

Potknięcie się o serwer wieży, który był wciśnięty za szafę i uderzanie głową w tył głównego routera Cisco po drodze. W ten sposób ujawnia się, jak luźno przewody zasilające zostały rzeczywiście umieszczone w zasilaczach z przodu Catalyst 6500 .

Tak. Mamy teraz kask na haku w serwerowni. Z moim imieniem.