Dane o ocalałych mogą wskazywać dokładnie niewłaściwe miejsce
Survivorship bias pojawia się, gdy analizujemy tylko jednostki, które przeszły jakiś proces selekcji, a pomijamy te, które odpadły. Słynny wojenny przykład dotyczy prac Abrahama Walda nad podatnością samolotów: dane pochodziły z maszyn, które wróciły z misji, więc uszkodzenia na nich mówiły przede wszystkim, gdzie samolot mógł zostać trafiony i nadal wrócić. Formalny problem był bardziej złożony niż internetowa anegdota o „kulach na skrzydłach”, ale sedno pozostaje ważne: brakujące obserwacje mogą zawierać najważniejszą informację.
Próba z definicji nie zawiera porażek
Jeżeli badamy wyłącznie firmy, które przetrwały dekadę, sportowców, którzy zostali zawodowcami, albo fundusze istniejące do dziś, nasza próba została już przefiltrowana przez sukces. Cechy obserwowane wśród zwycięzców mogą być zarówno przyczynami sukcesu, jak i cechami nieszkodliwymi, które po prostu występowały u tych, którzy przetrwali. Bez informacji o nieobecnych przypadkach trudno to rozdzielić.
Co naprawdę robił Wald
W czasie II wojny światowej Abraham Wald pracował w Statistical Research Group nad problemem szacowania podatności części samolotu na uszkodzenie na podstawie danych z maszyn, które powróciły. Oryginalne memoranda i późniejsze omówienie Mangel–Samaniego pokazują, że było to zadanie estymacyjne dotyczące brakujących danych, prawdopodobieństw trafień i przeżycia, a nie jedynie pojedyncza intuicyjna uwaga o rozmieszczeniu dziur.
Dlaczego popularna opowieść jest uproszczeniem
Internetowa wersja często mówi, że wojskowi chcieli opancerzyć miejsca z największą liczbą przestrzelin, a Wald „odwrócił mapę”. Historyczne omówienia są ostrożniejsze: sam problem tego, że obserwowane są tylko maszyny, które wróciły, był częścią zadania badawczego, a praca Walda polegała na stworzeniu metody ilościowego wnioskowania o podatności. To dobry przykład, dlaczego warto oddzielić trafną lekcję statystyczną od późniejszej legendy.
Matematyka brakujących przypadków
Obserwowane uszkodzenia są warunkowe na przeżyciu. Jeśli trafienie w silnik dramatycznie zmniejsza szansę powrotu, w danych z bazy będzie mało takich trafień nie dlatego, że silnik rzadko bywa ostrzeliwany, lecz dlatego, że wiele trafionych tam maszyn nie trafia do próby. Warunek „wrócił” zmienia rozkład obserwowanych trafień. To bliski krewny biasu selekcyjnego i problemów z danymi brakującymi nieprzypadkowo.
Gdzie ten mechanizm wraca
Rankingi inwestycji mogą pomijać zamknięte fundusze. Historie przedsiębiorców koncentrują się na firmach, które odniosły sukces. Badania trwałości produktów oglądają obiekty, które dotrwały do współczesności. W każdej sytuacji trzeba pytać, jakie przypadki miały szansę zostać zaobserwowane. Im silniej szansa obserwacji zależy od badanego wyniku, tym większe ryzyko błędu.
Lekcja nie brzmi „zawsze patrz na przegranych”
Czasem danych o nieocalałych po prostu nie ma. Wtedy potrzebny jest model procesu selekcji i jawne założenia. Najważniejsze jest rozpoznanie, że próba nie jest neutralnym oknem na populację. To, czego nie widzimy, nie jest automatycznie losowym ubytkiem. Właśnie dlatego bias przeżywalności jest tak zdradliwy: dane dostępne analitykowi mogą być kompletne i poprawne, a mimo to reprezentować tylko najbardziej selektywną część historii.
Dlaczego brakujące przypadki mogą być najważniejsze
Survivorship bias staje się groźny wtedy, gdy prawdopodobieństwo pojawienia się w próbie zależy od wyniku procesu, który próbujemy zrozumieć. Samoloty, które wróciły, dostarczają danych o uszkodzeniach zgodnych z przeżyciem; nie pokazują bezpośrednio kombinacji trafień, po których maszyna nie wracała. Współczesnym odpowiednikiem może być analiza wyłącznie firm, które nadal istnieją, funduszy obecnych w aktualnej bazie czy osób, które ukończyły długi program. W każdym z tych przypadków dane widoczne mogą być prawdziwe i dokładne, a mimo to próba systematycznie pomijać najważniejszą część historii. Statystyczne pytanie brzmi więc nie tylko „co widzimy u ocalałych?”, ale również „jaki mechanizm decydował o tym, kto mógł zostać przez nas zaobserwowany?”.