Informatyka i programowanieBłędy programistyczne, awarie i zaskakujące konsekwencje kodu

Fastly działało poprawnie tygodniami, aż zwykła konfiguracja klienta obudziła ukryty bug i wyłączyła 85% sieci

8 czerwca 2021 r. Fastly doświadczyło dużej globalnej awarii CDN. Bug został wprowadzony do produkcji 12 maja, lecz przez kilka tygodni pozostawał niewidoczny. Dopiero poprawna, dozwolona zmiana konfiguracji jednego klienta spełniła specyficzne warunki i aktywowała defekt, powodując zwracanie błędów przez około 85% sieci. Fastly wykryło problem w minutę, a większość usług odzyskała sprawność w niecałą godzinę. To modelowy przykład latent bug: wadliwy kod może przejść testy i długo działać, dopóki nie pojawi się rzadki stan wejściowy.

Brak awarii przez trzy tygodnie nie był dowodem poprawności

Po wdrożeniu 12 maja sieć funkcjonowała normalnie. To łatwo buduje fałszywą pewność, że release jest bezpieczny. W rzeczywistości bug wymagał szczególnej konfiguracji i dopóki nikt jej nie użył, nie miał widocznego efektu.

Trigger był legalny

Fastly podkreśliło, że klient wykonał valid configuration change. Nie było ataku ani błędnej konfiguracji użytkownika. System przyjął dane należące do oficjalnej przestrzeni wejść i sam nieprawidłowo zareagował. To ważne rozróżnienie przy root cause analysis: nie należy obwiniać klienta za korzystanie z obsługiwanej funkcji.

Globalna infrastruktura zwiększa efekt jednego defektu

CDN działa w wielu punktach obecności i obsługuje ogromną liczbę stron. Błąd w warstwie wspólnej może więc ujawnić się jednocześnie w dużej części świata. Ten sam mechanizm, który pozwala szybko dystrybuować nowe funkcje, zwiększa blast radius błędu.

Monitoring zadziałał szybko

Fastly zidentyfikowało globalną anomalię po około minucie. Sam monitoring nie zapobiegł incydentowi, ale skrócił czas do rozpoczęcia reakcji. Firma mogła powiązać awarię z określoną konfiguracją i wyłączyć problematyczny stan.

Permanentna poprawka przyszła po stabilizacji

Najpierw odizolowano konfigurację i przywrócono ruch, a dopiero później rozpoczęto rollout trwałego fixu. To prawidłowa kolejność w incident response: najpierw ogranicz wpływ, potem napraw kod. Próba pełnego debugowania podczas globalnej awarii może wydłużyć czas niedostępności.

Latent bugs wymagają testowania kombinacji stanów

Zwykłe testy happy path mogą nie wystarczyć. Jeśli system ma wiele ustawień konfiguracyjnych, liczba kombinacji szybko rośnie. Property-based testing, fuzzing konfiguracji i testy generatywne pomagają znaleźć warunki, których człowiek nie wymyślił ręcznie. Postmortem jest dobrym przykładem podejścia, w którym trigger klienta nie jest traktowany jako „winny”. Jeśli dozwolona konfiguracja potrafi przewrócić platformę, obowiązek ochrony leży po stronie platformy. To ważna kultura odpowiedzialności w usługach wielodostępnych.

Canary release ogranicza blast radius, ale tylko jeśli istnieje prawdziwa segmentacja

Stopniowe wdrożenie polega na skierowaniu nowej wersji najpierw do małego procentu ruchu lub niewielkiej części serwerów. Jeżeli pojawiają się anomalie, rollout zatrzymuje się zanim cała flota zostanie dotknięta. W przypadku konfiguracji globalnej Fastly właśnie taki mechanizm był szczególnie ważny, bo jeden latent bug miał potencjał wystąpić w wielu punktach sieci jednocześnie. Canary nie jest jednak magicznym rozwiązaniem. Jeżeli trigger zależy od bardzo specyficznego klienta, mała próbka może go nie zawierać. Dlatego łączy się go z syntetycznymi testami konfiguracji, shadow traffic, fuzzingiem i szybkim automatycznym rollbackiem. Najważniejszym celem jest zmniejszenie powierzchni pierwszego kontaktu nowego stanu z produkcją. Gdy system ma globalną skalę, nawet kilka minut pełnego rollout-u może być zbyt dużym ryzykiem. Dodatkową ochroną może być automatyczna detekcja korelacji: jeśli zaraz po zmianie konfiguracji na wielu węzłach jednocześnie rośnie odsetek błędów, platforma może sama zatrzymać propagację lub cofnąć zmianę. Wtedy czas reakcji nie zależy wyłącznie od człowieka obserwującego dashboard. Najważniejsze jest więc nie pytanie „czy bug został wykryty przed produkcją?”, lecz „jak mały będzie pierwszy obszar skutków, jeśli mimo testów coś przejdzie”. Dojrzały rollout zakłada, że nie wszystkie defekty da się znaleźć wcześniej.

#CDN#Fastly#global outage#konfiguracja#latent bug#testowanie
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki