MatematykaPrawdopodobieństwo i przypadek — intuicja często przegrywa z rachunkiem

Bardzo dokładny test może dać zaskakująco dużo fałszywych alarmów, gdy badane zjawisko jest rzadkie

W prawdopodobieństwie warunkowym P(wynik dodatni | zjawisko) nie jest tym samym co P(zjawisko | wynik dodatni). Gdy zjawisko występuje rzadko, nawet test o wysokiej czułości i swoistości może dawać dużą część fałszywie dodatnich wyników wśród wszystkich wyników dodatnich. Przykładowo w dydaktycznym modelu Stanforda z częstością zjawiska 1%, czułością 99% i 1% odsetkiem fałszywych alarmów dodatni wynik odpowiada prawdopodobieństwu zjawiska około 50%, a nie 99%. To nie wada twierdzenia Bayesa — to skutek uwzględnienia ogromnej liczby osób bez badanego zjawiska.

Dwa warunki, które brzmią podobnie

Czułość 99% oznacza, że spośród osób faktycznie należących do danej kategorii około 99% uzyska wynik dodatni. Pytanie użytkownika po dodatnim teście jest odwrotne: jaki odsetek dodatnich wyników pochodzi od osób rzeczywiście należących do kategorii? To inne prawdopodobieństwo warunkowe. Zamiana P(B|A) na P(A|B) jest jednym z najczęstszych błędów intuicyjnych w analizie dowodów.

Naturalne częstości pokazują mechanizm

Wyobraźmy sobie 10 000 osób. Przy częstości 1% mamy 100 rzeczywistych przypadków. Test o czułości 99% wykryje około 99 z nich. Pozostałych 9900 osób nie ma zjawiska; jeśli odsetek fałszywie dodatni wynosi 1%, także około 99 z nich uzyska wynik dodatni. Wśród około 198 dodatnich wyników tylko około połowa pochodzi z prawdziwych przypadków. Proste liczenie osób często jest bardziej intuicyjne niż sam wzór Bayesa.

Częstość bazowa potrafi zdominować dobry test

Jeżeli badane zjawisko jest bardzo rzadkie, populacja przypadków negatywnych jest ogromna. Nawet niewielki procent błędów w tej grupie może wygenerować więcej fałszywych alarmów niż liczba prawdziwych trafień. Gdy częstość bazowa rośnie, ta sama charakterystyka testu prowadzi do innej wartości P(zjawisko|wynik dodatni). Nie istnieje więc jedna „wiarygodność dodatniego wyniku” niezależna od populacji.

To przykład, nie diagnoza

Liczby 1%, 99% i 1% tworzą model dydaktyczny, a nie uniwersalną charakterystykę badań medycznych czy innych testów. W realnym zastosowaniu trzeba znać konkretną czułość, swoistość, warunki użycia oraz właściwą częstość bazową w badanej populacji. Prawdopodobieństwo warunkowe jest wyjątkowo wrażliwe na te założenia, dlatego nie wolno przenosić wartości z jednego testu i populacji na inne.

Ten sam mechanizm działa poza medycyną

Problem pojawia się w systemach alarmowych, filtrowaniu spamu, kontroli jakości, wykrywaniu oszustw i bezpieczeństwie. Jeśli prawdziwe incydenty są bardzo rzadkie, system o pozornie świetnych parametrach może wytwarzać znaczną liczbę fałszywych alertów. Projektant musi więc analizować nie tylko trafność na przypadkach pozytywnych i negatywnych, ale także rzeczywiste proporcje tych przypadków.

Bayes porządkuje informację

Twierdzenie Bayesa nie „obniża” wiarygodności testu. Łączy dwa źródła informacji: wcześniejsze prawdopodobieństwo zjawiska i siłę nowej obserwacji. Dodatni wynik może wielokrotnie zwiększyć prawdopodobieństwo rzadkiego zdarzenia, a mimo to pozostawić je poniżej 50%. To precyzyjny sposób odróżniania pytania „jak mocnym dowodem jest wynik?” od pytania „jak prawdopodobna jest hipoteza po uwzględnieniu całego kontekstu?”.

Dodatni wynik może być mocnym dowodem i nadal nie przesądzać sprawy

W przykładzie z częstością 1% dodatni test podnosi prawdopodobieństwo z 1% do około 50%. To olbrzymia zmiana: dowód jest bardzo informacyjny, choć posterior nie wynosi 99%. Właśnie dlatego warto odróżniać siłę dowodu od końcowego prawdopodobieństwa hipotezy. Rzadkie zdarzenie zaczyna z bardzo niskiego poziomu, więc nawet wielokrotne zwiększenie szans może nie doprowadzić do niemal pewnego wniosku. Tę samą logikę stosuje się przy alertach bezpieczeństwa i wykrywaniu anomalii: system może znacząco wzbogacać strumień w prawdziwe przypadki, a mimo to większość alarmów nadal może wymagać dodatkowej weryfikacji.

#Bayes#częstość bazowa#fałszywie dodatnie#prawdopodobieństwo warunkowe
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki