Informatyka i programowanieBłędy programistyczne, awarie i zaskakujące konsekwencje kodu

Podczas blackoutu 2003 operatorzy stracili alarmy właśnie wtedy, gdy sieć energetyczna zaczęła wpadać w kryzys

Wielki blackout w Ameryce Północnej 14 sierpnia 2003 r. nie został spowodowany jednym bugiem. Jednym z ważnych czynników była jednak awaria procesora alarmów w systemie EMS firmy FirstEnergy. Około 14:14 procesor „utknął” podczas obsługi zdarzenia, jego bufor zaczął się zapełniać, a operatorzy przestali dostawać nowe alarmy wizualne i dźwiękowe. W tym samym czasie w fizycznej sieci narastały problemy z liniami przesyłowymi. Software nie stworzył całego kryzysu, ale odebrał ludziom kluczową świadomość sytuacyjną.

System alarmowy był oczami operatorów

Dyspozytorzy dużej sieci elektroenergetycznej nie widzą fizycznie setek linii i stacji. Polegają na systemie EMS, który zbiera telemetrię i generuje alarmy przy zmianie stanu urządzeń. Jeśli alarmy znikają, operator nadal siedzi przed ekranem, ale jego obraz świata staje się niepełny.

Procesor alarmów zablokował się na jednym zdarzeniu

NERC opisał, że około 14:14 alarm processor stalled podczas przetwarzania zdarzenia. Nie przechodził do kolejnych wpisów. Bufor zaczął się zapełniać, a po jego przepełnieniu kolejne alarmy nie trafiały do wyświetlaczy, logów ani drukarek. To klasyczny problem kolejki: jedna zablokowana ścieżka może zatrzymać strumień informacji.

Fizyczna sieć w tym samym czasie nadal się zmieniała

Linie energetyczne przeciążały się, nagrzewały i wyłączały po kontakcie z roślinnością. Operatorzy nie otrzymywali jednak normalnych wskazówek o części tych zdarzeń. W rezultacie trudniej było zrozumieć, że sytuacja lokalna zmienia się w problem systemowy.

Bug nie był jedyną przyczyną blackoutu

Raport NERC opisuje szerszy zestaw przyczyn: niewłaściwe zarządzanie roślinnością, niedostateczną ocenę stanu systemu, problemy komunikacyjne i brak odpowiednich narzędzi analitycznych. Sprowadzenie awarii do „program się zawiesił i wyłączył pół kontynentu” byłoby fałszywe. Software był jednym z elementów utraty situational awareness.

Monitoring monitoringu też jest potrzebny

Jeżeli system alarmowy może przestać alarmować, operator potrzebuje sposobu rozpoznania, że sam kanał alarmów jest martwy. To tzw. meta-monitoring: system powinien generować heartbeat, mierzyć długość kolejki i ostrzegać inną niezależną ścieżką, gdy sam nie działa prawidłowo.

Cisza na ekranie nie musi oznaczać spokoju

To najbardziej uniwersalna lekcja incydentu. W systemach operacyjnych brak alarmów może oznaczać „wszystko działa” albo „mechanizm alarmowy przestał działać”. Projektanci muszą rozróżniać te dwa stany. Inaczej awaria obserwowalności może być równie groźna jak awaria sterowania. To samo dotyczy alertów w nowoczesnym SRE. Jeśli Prometheus, system pagingu i aplikacja znajdują się w jednym failure domain, duża awaria może uciszyć wszystkie trzy. Niezależny zewnętrzny test dostępności pełni rolę obserwatora spoza systemu, który potrafi zauważyć także awarię samego monitoringu.

Obserwowalność powinna mieć niezależny kanał prawdy

Jeśli operator polega na jednym systemie alarmowym, awaria tego systemu jest szczególnie zdradliwa, bo usuwa informację o własnej awarii. Dlatego infrastruktura krytyczna korzysta z warstw: alarmów procesowych, surowej telemetrii, statusów komunikacji, heartbeatów, narzędzi analizy przepływów i procedur kontaktu między centrami sterowania. W świecie software’u analogiczny problem występuje, gdy aplikacja, monitoring i system powiadomień zależą od tej samej bazy albo tej samej sieci. Awaria wspólnej warstwy może sprawić, że dashboard wygląda spokojnie właśnie wtedy, gdy wszystko inne się rozpada. Dobrą praktyką jest syntetyczny monitoring z zewnątrz, dead-man switch i alarm o braku danych. „Nie dostałem alarmu” nie może być interpretowane automatycznie jako „nie wydarzyło się nic niebezpiecznego”; potrzebny jest mechanizm pozwalający odróżnić ciszę operacyjną od utraty obserwowalności. W praktyce operator powinien mieć także widok surowych zmian stanu niezależny od warstwy alarmowej. Jeśli reguły alarmowe przestaną działać, nadal można wtedy zauważyć, że liczba niezgodności, odłączeń lub przeciążeń gwałtownie rośnie.

#alarmy#blackout 2003#bufor#infrastruktura krytyczna#SCADA#situational awareness
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki