Informatyka i programowanieBłędy programistyczne, awarie i zaskakujące konsekwencje kodu

System Horizon pokazał, że błąd księgowy w software może zostać potraktowany jak dowód winy człowieka

Brytyjski system Horizon używany przez Post Office rejestrował transakcje i salda w tysiącach placówek. W 2019 r. High Court w sprawie Bates v Post Office ustalił istnienie wielu bugs, errors and defects i analizował ich potencjał do powodowania pozornych niedoborów w kontach subpostmasterów. Rozbieżności systemowe były przez lata wiązane z odpowiedzialnością operatorów; część ludzi została zawieszona, obciążona finansowo lub skazana. Horizon jest dramatycznym przykładem, że dane z komputera nie są automatycznie neutralnym faktem, a domniemanie nieomylności systemu może zamienić bug w problem prawny i społeczny.

Księgowość komputerowa wygląda bardziej obiektywnie niż jest

Gdy system mówi, że w kasie brakuje kilku tysięcy funtów, naturalnie traktujemy liczbę jako wynik matematyczny. Tymczasem jest ona produktem kodu, danych wejściowych, komunikacji, procedur korekcyjnych i baz. Każda z tych warstw może zawierać błąd.

Sąd nie uznał Horizona za pozbawionego bugów

W Horizon Issues Judgment sędzia analizował dziesiątki zgłoszonych problemów, a późniejszy raport Fujitsu odnosił się do 29 bugs, errors and defects wyróżnionych w wyroku. Kluczowe było ustalenie, że określone defekty mogły wpływać na salda branch accounts.

Operator miał ograniczony wgląd w przyczynę rozbieżności

Subpostmaster widział shortfall, ale nie dysponował pełnym obrazem infrastruktury centralnej ani narzędziami inżyniera systemowego. Jeśli system centralny był traktowany jako autorytet, lokalny użytkownik miał bardzo trudną pozycję dowodową.

Błąd techniczny wszedł do procesu prawnego

Rozbieżności prowadziły do żądań pokrywania niedoborów, działań dyscyplinarnych i w części przypadków postępowań karnych. Późniejsze wyroki uchylały liczne skazania, a publiczne inquiry badało zarówno technologię, jak i wiedzę organizacji o jej defektach.

Logi i możliwość audytu mają znaczenie społeczne

W systemie, którego wynik może stanowić dowód przeciwko człowiekowi, potrzebna jest pełna traceability: kto zmienił rekord, kiedy, przez jaki proces i czy możliwa była zdalna korekta. Obserwowalność nie jest tylko narzędziem dla SRE; może być warunkiem proceduralnej sprawiedliwości.

Komputer nie jest świadkiem nieomylnym

Horizon zmienił sposób, w jaki prawnicy i opinię publiczną uczula się na computer evidence. Jeżeli dane są dowodem, trzeba znać niezawodność systemu i możliwość błędu. „Tak pokazuje system” powinno rozpoczynać analizę, a nie ją kończyć. Wysokostawkowy software powinien również umożliwiać niezależną rekalkulację przez drugą stronę. Jeśli tylko właściciel systemu ma pełne dane i narzędzia diagnostyczne, asymetria informacyjna staje się problemem proceduralnym niezależnie od jakości samego kodu.

System księgowy powinien umieć wyjaśnić, skąd wzięła się każda różnica

W zastosowaniach o wysokiej odpowiedzialności sam końcowy bilans to za mało. Potrzebny jest audit trail pozwalający odtworzyć każdą transakcję, korektę, komunikat sieciowy i interwencję administratora. W idealnym modelu saldo jest wynikiem zdarzeń, których historię można niezależnie przeliczyć. Event sourcing, append-only logs i kryptograficzne mechanizmy integralności są jednymi z technik wspierających taki cel, choć same nie gwarantują braku błędów. Kluczowa jest możliwość odpowiedzenia: które konkretne zdarzenie spowodowało zmianę o 500 funtów i kto mógł je wprowadzić? Horizon pokazuje, że explainability systemu transakcyjnego jest częścią odpowiedzialności prawnej. Jeśli komputer może generować podstawę do oskarżenia człowieka, jego wynik musi być nie tylko dostępny, ale możliwy do audytowania i zakwestionowania. Z technicznego punktu widzenia równie ważne są procedury reklamacji i zachowanie niezmiennych logów. System może mieć niski poziom błędów, ale jeśli organizacja nie potrafi szybko zbadać wyjątku zgłoszonego przez użytkownika, pojedynczy defekt może mieć nieproporcjonalnie duże skutki. Wysokostawkowy system powinien mieć również procedurę zawieszania automatycznych konsekwencji, gdy pojawia się spór o poprawność danych. Nierozpoznana anomalia techniczna nie powinna natychmiast zamieniać się w przypisanie winy użytkownikowi.

#błędy księgowe#Fujitsu#Horizon#Post Office#software evidence#systemy społeczne
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki