Knight Capital stracił ponad 460 mln dolarów w 45 minut, bo jeden z ośmiu serwerów dostał inną wersję kodu
1 sierpnia 2012 r. Knight Capital uruchomił zmianę w systemie routingu zleceń. Nowy kod trafił tylko na siedem z ośmiu serwerów. Ósmy zachował stary moduł Power Peg, który od lat nie był używany, ale nadal można go było wywołać. Nowa funkcja wykorzystała flagę, która kiedyś aktywowała właśnie Power Peg. Gdy zlecenia trafiły na nieaktualny serwer, stary kod zaczął generować ogromną liczbę zleceń rynkowych. W 45 minut firma uzyskała ponad 4 mln wykonań i poniosła stratę przekraczającą 460 mln dolarów.
Deployment był niespójny, a system tego nie wykrył
Technik ręcznie wdrażał nowe oprogramowanie na serwerach. Jeden z ośmiu został pominięty. Knight nie miał procedury wymagającej drugiej osoby do przeglądu wdrożenia i nie posiadał automatycznej kontroli, która potwierdzałaby identyczną wersję na wszystkich maszynach. To błąd operacyjny, który nowoczesny deployment pipeline powinien wykryć przed ruchem produkcyjnym.
Martwy kod nadal był żywy
Power Peg przestał być używany wiele lat wcześniej, ale nie został usunięty. Co gorsza, jego wewnętrzna logika została wcześniej zmodyfikowana i nie była później ponownie testowana jako kompletna funkcja. Kod, który wydaje się „nigdy nie wykonywać”, nadal może stać się powierzchnią awarii, jeśli istnieje ścieżka jego uruchomienia.
Ponownie użyto tej samej flagi
Nowa funkcja RLP wykorzystała znacznik używany wcześniej do aktywowania Power Peg. Na siedmiu nowych serwerach znacznik uruchamiał poprawną funkcję. Na ósmym oznaczał coś zupełnie innego. Identyczne dane wejściowe miały więc inne znaczenie zależnie od wersji binarnej na serwerze.
System produkował zlecenia szybciej niż ludzie mogli zareagować
SMARS otrzymał 212 zleceń klientów, ale wadliwy serwer wygenerował miliony zleceń potomnych. Automatyczny system handlowy działa z szybkością, przy której każda sekunda awarii może kosztować ogromne kwoty. To zmienia wymagania wobec safety controls: ręczna reakcja administratora nie wystarcza.
Alarmy istniały, lecz nie były traktowane jak alarmy
SEC odnotowała, że przed otwarciem rynku wewnętrzny system wysłał 97 wiadomości z tekstem odnoszącym się do „Power Peg disabled”. Nie były one jednak zaprojektowane jako krytyczne alerty i personel zwykle ich nie przeglądał. Informacja była dostępna, ale system organizacyjny nie nadawał jej właściwej wagi.
Najważniejsza lekcja dotyczy kontroli zmian
Po wypadku SEC skupiła się nie tylko na błędzie kodu, lecz na wymaganych kontrolach ryzyka. Automatyczne wdrożenia, wersjonowanie, canary rollout, kill switch, limity wolumenu i reconciliation mogą zatrzymać podobny łańcuch znacznie wcześniej. Katastrofa Knighta pokazuje, że software failure często jest jednocześnie failure of process. Szczególnie ważne jest też rozdzielenie uprawnień deploymentu i weryfikacji. Jeżeli ta sama osoba może wdrożyć zmianę na część floty bez automatycznego porównania wersji, ludzki błąd staje się pojedynczym punktem awarii. Immutable deployments i deklaratywne konfiguracje powstały m.in. po to, by ograniczyć tę klasę rozbieżności.
Finansowe systemy automatyczne potrzebują ograniczeń niezależnych od strategii handlowej
Jeżeli algorytm potrafi wysłać tysiące zleceń na sekundę, jego własna logika nie powinna być jedyną barierą bezpieczeństwa. Niezależna warstwa risk controls może ograniczać liczbę zleceń, pozycję netto, wolumen na instrument, stratę w określonym czasie albo nietypową relację pomiędzy zleceniami klienta i własnymi. Taki limit powinien działać nawet wtedy, gdy aplikacja handlowa jest całkowicie przekonana, że robi coś poprawnego. Knight Capital jest pod tym względem analogiczny do Therac-25: katastrofalny skutek powstał, bo system wykonawczy miał możliwość realizowania błędnej logiki bez wystarczająco twardego niezależnego interlocku. W nowoczesnej infrastrukturze giełdowej pre-trade risk controls i kill switches są dlatego traktowane nie jako opcjonalny monitoring, lecz jako osobna linia obrony przed wadliwym software’em, konfiguracją i deploymentem.