Trend może odwrócić się po połączeniu danych
Paradoks Simpsona pokazuje, że relacja widoczna osobno w kilku grupach może osłabnąć, zniknąć, a nawet odwrócić kierunek po połączeniu wszystkich obserwacji. Nie jest to błąd rachunkowy: procenty w każdej tabeli mogą być policzone poprawnie. Problem pojawia się wtedy, gdy grupy różnią się ważną zmienną trzecią i mają różne liczebności. Agregacja miesza dwa efekty naraz: zależność wewnątrz grup oraz różnice między samymi grupami. Dlatego jedno zbiorcze porównanie może prowadzić do zupełnie innego wniosku niż analiza warstwowa.
Dwa poprawne wyniki, przeciwne wnioski
Wyobraź sobie dwa szpitale albo dwie grupy pacjentów: w każdej z nich terapia A ma wyższy odsetek powodzenia niż terapia B. Intuicja podpowiada, że po zsumowaniu danych A nadal powinna wyglądać lepiej. Tymczasem może zdarzyć się coś odwrotnego. Jeśli terapia A była częściej stosowana u przypadków trudnych, a B u łatwych, zbiorczy odsetek sukcesu A może spaść poniżej B. Każda cząstkowa proporcja jest prawdziwa, podobnie jak proporcja łączna. Różnią się pytaniem, na które odpowiadają.
Skąd bierze się odwrócenie
Mechanizm jest związany z ważeniem. Wynik zagregowany nie jest prostą średnią procentów z podgrup; jest średnią ważoną ich liczebnościami. Jeżeli dwie metody trafiają do grup o bardzo różnym poziomie trudności, zmiana wag może zdominować różnicę obserwowaną wewnątrz każdej grupy. Zmienna grupująca działa wtedy jak czynnik zakłócający: jest związana zarówno z wyborem metody, jak i z wynikiem. Sama operacja sumowania nie jest więc neutralna informacyjnie.
Nie ma reguły „zawsze rozbijaj dane”
Paradoks Simpsona nie oznacza, że wynik z podgrup jest zawsze prawdziwszy od wyniku łącznego. To zależy od pytania i struktury przyczynowej. Czasem zmienna grupująca jest zakłócaczem, który trzeba kontrolować; czasem jest pośrednikiem, którego kontrolowanie usuwa część rzeczywistego efektu; czasem podział tworzy dodatkowy problem. Statystyka nie może sama zdecydować, którą tabelę interpretować przyczynowo — potrzebna jest wiedza o tym, jak dane powstały.
Dlaczego agregaty są zdradliwe
W codziennych raportach często widzimy tylko jedną liczbę: średnią ocenę, skuteczność, sprzedaż, odsetek sukcesów. Taki agregat może mieszać regiony, poziomy trudności, grupy wiekowe albo kanały sprzedaży w różnych proporcjach. Jeśli te proporcje zmieniają się w czasie, wskaźnik całości może wzrosnąć lub spaść nawet wtedy, gdy w każdej podgrupie dzieje się coś przeciwnego. To jeden z powodów, dla których porównywanie „średniej firmy” rok do roku bywa mylące.
Historia i znaczenie
E. H. Simpson opisał w 1951 roku problemy interpretacji interakcji w tabelach kontyngencji, a zjawisko zyskało później jego nazwisko. Sam efekt był znany wcześniej w innych postaciach. Dziś paradoks Simpsona jest klasycznym ostrzeżeniem przed mechaniczną interpretacją tabel i wykresów: poprawność arytmetyki nie gwarantuje poprawności wniosku.
Jak się bronić
Najlepszą ochroną nie jest zapamiętanie jednego paradoksu, lecz pytanie o strukturę danych. Czy grupy mają różne liczebności? Czy zmienna trzecia wpływa na wynik? Czy jest związana z ekspozycją lub wyborem metody? Czy porównujemy te same populacje? Pomagają tabele warstwowe, wykresy, modele uwzględniające istotne zmienne i — przede wszystkim — jasno sformułowane pytanie. W statystyce często najważniejsze jest nie to, czy liczby są prawdziwe, lecz co dokładnie zostało policzone.
Co naprawdę odwraca znak wyniku
Paradoks Simpsona można zrozumieć bez żadnej magii: wynik zagregowany jest średnią ważoną wyników z podgrup, a wagi zależą od tego, ilu obserwacji z każdej grupy trafia do każdej porównywanej kategorii. Jeżeli te proporcje są bardzo różne, zbiorcze porównanie może zostać zdominowane przez grupy o zupełnie innym poziomie bazowym. Właśnie dlatego odwrócenie nie jest błędem arytmetycznym. Liczby w każdej tabeli mogą być policzone poprawnie, a mimo to agregacja odpowiada na inne pytanie niż analiza warstwowa. Najważniejszym krokiem nie jest więc automatyczne wybieranie wyniku „po podziale” albo „po złączeniu”, lecz ustalenie, która zmienna tworząca grupy ma znaczenie dla badanego mechanizmu i jaki związek chcemy oszacować.