Informatyka i programowanieBłędy programistyczne, awarie i zaskakujące konsekwencje kodu

Jedna źle wpisana wartość w poleceniu usunęła zbyt wiele serwerów S3 i uruchomiła dużą awarię AWS

28 lutego 2017 r. inżynier Amazon S3 wykonywał standardową procedurę diagnostyczną. Polecenie miało tymczasowo usunąć niewielką liczbę serwerów jednego podsystemu, ale jeden parametr został wpisany niepoprawnie i narzędzie usunęło znacznie większą grupę niż zamierzano. Wśród wyłączonych maszyn znalazły się systemy indeksu i placement S3 w regionie US-EAST-1. Ich restart był wolniejszy niż podczas zwykłych operacji, bo przez lata infrastruktura urosła, a pełnego restartu nie wykonywano od dawna. Problemem nie był więc pojedynczy operator, lecz brak ograniczeń w narzędziu.

Operator wykonał autoryzowaną procedurę

To nie był intruz ani niekompetentny użytkownik wpisujący przypadkowe komendy. Uprawniony członek zespołu korzystał z istniejącego playbooka, próbując rozwiązać problem systemu billingowego. Incydent jest więc szczególnie wartościowy: pokazuje, że bezpieczeństwo nie może zależeć od założenia, iż operator nigdy się nie pomyli.

Narzędzie miało zbyt duży blast radius

Polecenie przyjmowało liczbę serwerów do usunięcia z określonego zbioru. Niepoprawna wartość nie została zatrzymana przez bezpieczny limit. Narzędzie wykonało dokładnie to, co mu kazano, mimo że rezultat był operacyjnie absurdalny. To przykład unsafe interface.

S3 jest złożone z wielu podsystemów

Wyłączone serwery wspierały m.in. indeks metadanych lokalizacji obiektów. Bez tego system nie mógł poprawnie obsługiwać wielu operacji GET, LIST, PUT i DELETE. Awaria jednego komponentu zależności rozlała się więc na szereg funkcji widocznych dla klientów.

Restart był trudniejszy niż zakładano

Podsystemy były projektowane z myślą o częstych małych awariach, ale ich pełny restart zdarzał się niezwykle rzadko. Skala S3 znacznie wzrosła od ostatniego takiego zdarzenia. Odtwarzanie danych i cache’ów trwało więc dłużej niż historyczne doświadczenie sugerowało.

AWS zmienił narzędzie po incydencie

Amazon dodał zabezpieczenia ograniczające tempo i skalę usuwania pojemności oraz blokujące zejście poniżej minimalnej wartości potrzebnej do działania podsystemu. To dobry wzorzec blameless engineering: zamiast jedynie przypominać operatorom, żeby uważali, zmienia się system tak, by pojedyncza literówka nie mogła wyłączyć za dużej części infrastruktury.

Interfejs administratora jest częścią architektury bezpieczeństwa

CLI i narzędzia maintenance są często traktowane jak wewnętrzne dodatki. W praktyce mają nieraz większe uprawnienia niż aplikacje użytkowników. Powinny stosować limity, potwierdzenia, dry-run, gradual rollout i mechanizmy sanity check dokładnie tak, jak publiczne API. W praktyce dobry interfejs może wyświetlać spodziewaną zmianę pojemności, porównanie z typowym zakresem i wymagać jawnego wpisania identyfikatora zasobu przy operacji destrukcyjnej. Każda dodatkowa bariera kupuje kilka sekund refleksji przed nieodwracalnym ruchem.

Bezpieczne narzędzie administracyjne powinno kwestionować absurdalne polecenia

System może znać kontekst, którego człowiek w stresie nie zauważa. Jeśli zwykła operacja usuwa dziesięć serwerów, a nowa komenda żąda usunięcia kilku tysięcy, narzędzie może wymagać dodatkowego potwierdzenia, approvalu drugiej osoby albo rozłożyć zmianę na partie. Jeszcze lepiej, jeśli utrzymuje minimalną bezpieczną pojemność i po prostu odmawia zejścia poniżej niej. Takie guardrails przenoszą wiedzę operacyjną z dokumentacji do kodu. Playbook mówiący „uważaj, żeby nie wpisać zbyt dużej liczby” jest słabszy niż narzędzie, które nie pozwala przekroczyć granicy. Po awarii S3 AWS właśnie w tym kierunku zmieniło narzędzia: operacje zaczęły usuwać pojemność wolniej i z kontrolą minimalnego poziomu. To przykład pokaźnej klasy błędów, w której lepszy UX administratora ma znaczenie dla niezawodności całej chmury. Istotne jest też to, że operacja destrukcyjna nie musi być natychmiastowa. Narzędzie może najpierw oznaczyć zasoby jako przeznaczone do wyłączenia, odczekać kilka minut i dopiero potem wykonać zmianę. Taki „bezpieczny bezwład” często pozwala wykryć pomyłkę zanim stanie się awarią.

#Amazon S3#AWS#blast radius#human error#operacje#safeguards
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki