Brak odpowiedzi może wypaczyć sondaż — ale niski response rate sam w sobie nie przesądza o błędzie
Nonresponse bias pojawia się wtedy, gdy osoby, które odpowiadają na badanie, różnią się w istotny sposób od osób, których nie udało się skontaktować lub które odmówiły. Sam niski odsetek odpowiedzi nie mówi jednak, jak duży jest bias. Pew Research Center pokazał na badaniach telefonicznych, że przy response rate około 9% wiele estymacji nadal było bliskich benchmarkom, podczas gdy niektóre — np. dotyczące aktywności obywatelskiej — były wyraźnie zawyżone. Liczy się więc nie tylko ilu ludzi odpowiedziało, lecz czy prawdopodobieństwo odpowiedzi jest związane z badaną cechą.
Nieobecni nie są po prostu „mniejszym n”
Jeżeli z 10 000 wylosowanych osób odpowie 1000, najprostsza obawa brzmi: mamy mniej danych i większy błąd losowy. To tylko część problemu. Jeżeli 1000 respondentów to losowy podzbiór, nadal można dobrze wnioskować, tylko mniej precyzyjnie. Bias pojawia się wtedy, gdy odpowiedź zależy od cech związanych z wynikiem — na przykład bardziej zaangażowane społecznie osoby częściej zgadzają się na sondaże i jednocześnie częściej deklarują wolontariat.
Definicja jest systematyczna, nie moralna
W statystyce „bias” nie oznacza stronniczości intencjonalnej. Pew definiuje nonresponse bias jako systematyczną różnicę między respondentami a osobami, których nie udało się uzyskać do badania. Badacz może działać całkowicie uczciwie, a wynik nadal może być obciążony przez proces kontaktu, odmowy i rezygnacji.
Niski response rate nie jest automatycznym wyrokiem
W raporcie Pew z 2017 roku badania telefoniczne miały bardzo niski response rate, około 9%, ale wiele wskaźników politycznych, społecznych i demograficznych po ważeniu nadal zgadzało się z zewnętrznymi benchmarkami. Jednocześnie aktywność obywatelska była zawyżana. To ważna korekta intuicji: liczba „9%” sama nie określa biasu. Liczy się korelacja między skłonnością do odpowiedzi a zmienną, którą chcemy mierzyć.
Wagi pomagają, ale mają ograniczenia
Badacze mogą korygować strukturę respondentów tak, aby pod względem wieku, wykształcenia, płci, regionu czy innych znanych cech przypominała populację. Jeśli jednak respondenci i nierepondenci różnią się na wymiarze nieobserwowanym lub nieuwzględnionym w wagach, korekta może nie wystarczyć. Statystyka może naprawiać znane nierównowagi, lecz nie tworzy informacji o cechach, których w ogóle nie zmierzono.
Dlaczego temat zmienia ocenę sondażu
Ten sam projekt może działać dobrze dla jednej zmiennej i źle dla innej. Jeśli chęć udziału w ankiecie jest prawie niezależna od poglądów na pytanie A, bias będzie mały. Jeśli jest silnie związana z zachowaniem B, wynik B może być znacznie przesunięty. Dlatego nie istnieje jedna globalna „jakość próby” niezależna od pytania.
Co sprawdzać w praktyce
Warto szukać opisu ramy próby, sposobu kontaktu, response rate, ważenia i porównań z benchmarkami. Najlepsze organizacje nie traktują niskiej odpowiedzi jako dowodu katastrofy ani jej nie ignorują — testują, gdzie pojawiają się różnice. To bardziej dojrzałe podejście niż prosta zasada „wysoki response rate = dobrze, niski = źle”.
Kiedy nieodpowiedź naprawdę szkodzi
Kluczowe nie jest samo to, ilu zaproszonych milczy, lecz czy skłonność do odpowiedzi jest związana z cechą, którą chcemy oszacować, także po uwzględnieniu dostępnych informacji pomocniczych. Jeśli respondenci i nierepondenci różnią się głównie pod względem cech, które można dobrze skorygować wagami, niski response rate nie musi powodować dużego błędu. Jeżeli jednak brak odpowiedzi wiąże się z samym badanym zachowaniem lub opinią w sposób niewidoczny w danych pomocniczych, korekta może być znacznie trudniejsza. To wyjaśnia pozorny paradoks: dwa sondaże z identycznym odsetkiem odpowiedzi mogą mieć zupełnie różny poziom biasu. Response rate jest więc informacją o procesie zbierania danych, ale nie jest sam w sobie bezpośrednią miarą jakości wszystkich estymat.