Podglądanie wyników aż „wyjdzie” może samo stworzyć istotność
Jeżeli badacz co jakiś czas sprawdza zwykły test p<0,05 i zatrzymuje zbieranie danych dokładnie wtedy, gdy próg zostanie przekroczony, rzeczywisty odsetek fałszywie dodatnich wyników może przekroczyć nominalne 5%. Problemem nie jest samo analizowanie danych w trakcie badania — istnieją poprawne metody sekwencyjne — lecz używanie procedury zaprojektowanej dla ustalonego planu tak, jakby liczba kolejnych okazji do zatrzymania nie miała znaczenia. Optional stopping jest szczególnym przypadkiem szerszej zasady: reguła, według której dane trafiają do finalnego raportu, jest częścią modelu statystycznego.
Jedna analiza i wiele analiz to inne eksperymenty
Jeżeli plan zakłada n=200 i wykonujemy jeden test, jego własności są obliczane dla takiej procedury. Jeśli natomiast testujemy po 50, 60, 70… obserwacjach i zatrzymujemy się przy pierwszym p<0,05, stworzyliśmy serię okazji do trafienia. Nawet przy braku efektu losowe fluktuacje mogą w pewnym momencie przekroczyć próg.
Dlaczego końcowe p nie pamięta całej historii
Standardowy raport może pokazać tylko finalne n i p=0,043. Bez informacji o tym, że wcześniej wykonywano wiele testów, czytelnik interpretuje wynik jak pojedynczą zaplanowaną analizę. Tymczasem proces selekcji końcowej próbki zależał od samych danych. To zmienia rozkład statystyki pod hipotezą zerową.
Simmons, Nelson i Simonsohn
W pracy „False-Positive Psychology” z 2011 roku autorzy pokazali symulacyjnie i eksperymentalnie, że elastyczność w zbieraniu danych, wyborze zmiennych, warunków i sposobie raportowania może dramatycznie podnosić odsetek fałszywie dodatnich wyników. Optional stopping był jednym z przykładów tego szerszego problemu researcher degrees of freedom.
Sekwencyjna analiza jest legalna — jeśli jest zaplanowana
Statystyka ma rozbudowane metody do badań z analizami pośrednimi: granice sekwencyjne, alpha spending, testy zawsze ważne i inne procedury. Umożliwiają podejmowanie decyzji w trakcie badania przy kontrolowanym błędzie. Kłopot pojawia się, gdy po prostu powtarzamy zwykły test 0,05 po każdej nowej partii i traktujemy pierwsze przekroczenie progu jak planowany wynik.
Ten sam mechanizm poza laboratorium
W A/B testach można codziennie patrzeć na dashboard i zatrzymać eksperyment w momencie przewagi wariantu. W kontroli jakości można przeglądać wiele okien czasu. W inwestowaniu można wybierać okres kończący się korzystnym wynikiem. W każdym przypadku reguła zatrzymania może działać jak dodatkowy filtr wybierający korzystne fluktuacje.
Co pomaga
Najprostsza ochrona to plan analizy przed zebraniem wyników: liczebność, momenty analiz pośrednich, główny outcome i reguła zatrzymania. Jeśli potrzebujemy adaptacji, należy użyć procedury, która ją uwzględnia. Transparentne raportowanie jest równie ważne: czytelnik powinien wiedzieć, ile okazji do podjęcia decyzji miały dane. W statystyce sposób dojścia do liczby jest częścią znaczenia tej liczby.
Każde spojrzenie zmienia procedurę decyzyjną
Jeżeli plan zakłada jeden test po zebraniu pełnej próby, próg 0,05 jest kalibrowany dla tej pojedynczej okazji do popełnienia błędu I rodzaju. Gdy badacz zagląda do wyników po kolejnych porcjach danych i zatrzymuje eksperyment przy pierwszym p < 0,05, tworzy wiele szans na przypadkowe przekroczenie progu. Końcowa wartość p obliczona tak, jakby istniał tylko jeden zaplanowany moment analizy, nie uwzględnia tej dodatkowej możliwości selekcji. Nie oznacza to, że danych nie wolno analizować sekwencyjnie. Istnieją formalne procedury sekwencyjne, granice zatrzymania i metody „wydawania” poziomu alfa, które uwzględniają wielokrotne spojrzenia. Problemem jest nie samo patrzenie, lecz użycie reguł testu przeznaczonych dla innego planu eksperymentu.