To, co widzimy na ustach rozmówcy, może zmienić to, co słyszymy
W efekcie McGurka obraz ruchu ust wpływa na percepcję słyszanej sylaby. W klasycznym eksperymencie dźwięk odpowiadający „ba” połączono z obrazem artykulacji „ga”; część dorosłych zgłaszała percepcję pośrednią, np. „da”. Sam dźwięk bez obrazu był rozpoznawany poprawnie. Efekt pokazuje, że percepcja mowy nie jest procesem wyłącznie słuchowym: mózg integruje informacje akustyczne i wzrokowe, ponieważ ruch warg zwykle pochodzi z tego samego zdarzenia co głos. Siła efektu zależy od bodźców, języka i obserwatora, więc „każdy zawsze słyszy da” byłoby zbyt mocnym uogólnieniem.
Film, który zmienia sylabę
Harry McGurk i John MacDonald opisali w 1976 roku nieoczekiwany wynik pracy nad percepcją mowy. Do nagrania twarzy artykułującej jedną sylabę podłożono dźwięk innej. Dorosłym prezentującym kombinację dźwięku /ba/ z ruchem ust /ga/ zdarzało się słyszeć trzecią sylabę, klasycznie opisywaną jako /da/. Gdy słuchali ścieżki bez obrazu, prawidłowo rozpoznawali /ba/. Świadome słyszenie zmieniła więc informacja wizualna.
Dlaczego wzrok ma prawo ingerować w słuch
W naturalnej rozmowie głos i ruch ust są silnie skorelowane czasowo. Obraz pomaga zwłaszcza wtedy, gdy dźwięk jest zaszumiony. Z perspektywy układu nerwowego sensowne jest więc traktowanie obu sygnałów jako informacji o jednym zdarzeniu i integrowanie ich. Efekt McGurka pokazuje ekstremalny przypadek, w którym eksperymentator celowo łamie tę naturalną zgodność, a system integracyjny tworzy percept, którego nie ma w żadnym kanale osobno.
Nie jest to identyczny efekt u wszystkich
Wielkość McGurk effect silnie różni się między ludźmi i kombinacjami fonemów. Znaczenie mogą mieć doświadczenie językowe, jakość nagrania, precyzja synchronizacji, uwaga i to, jak wiarygodny wydaje się obraz mówiącej twarzy. Dlatego demonstracja internetowa, która 'nie działa' na konkretną osobę, nie obala zjawiska, ale też pojedyncza udana demonstracja nie mówi, jak silna integracja jest u całej populacji.
Integracja może być percepcyjna, nie tylko decyzją
Najciekawsze jest to, że uczestnicy niekoniecznie mają poczucie konfliktu i świadomie wybierają kompromis. Zgłaszają po prostu, że słyszą określoną sylabę. Efekt stał się jednym z głównych argumentów, że informacje wzrokowe mogą wpływać na samą reprezentację słyszanej mowy, a nie wyłącznie na późniejszą decyzję o odpowiedzi.
Codzienny sens: patrzenie na rozmówcę naprawdę pomaga słuchać
W hałasie obserwacja ust i twarzy poprawia rozumienie mowy. To ta sama ogólna zasada integracji wielozmysłowej, której sztucznym przypadkiem jest efekt McGurka. Układ nerwowy nie ma powodu trzymać zmysłów w szczelnych silosach, jeśli ich informacje zwykle opisują wspólne zdarzenie w świecie.
Dlaczego efekt McGurka nie jest testem „łatwowierności”
Siła efektu zależy od użytych sylab, jakości synchronizacji obrazu i dźwięku, języka, doświadczenia obserwatora oraz warunków prezentacji. Nie każdy widz zawsze raportuje tę samą „trzecią” sylabę. To ważne, ponieważ internetowe demonstracje często przedstawiają McGurka jak uniwersalny przełącznik: zobaczysz usta i na pewno usłyszysz coś innego. W badaniach jest to efekt probabilistyczny i podatny na różnice indywidualne. Jego wartość naukowa nie wymaga stuprocentowej skuteczności. Wystarczy systematyczna zmiana tego, co ludzie słyszą, wywołana przez informację wzrokową przy tym samym sygnale akustycznym. Takie wyniki pokazują, że mózg nie czeka z połączeniem zmysłów do końca, po niezależnym „rozpoznaniu” mowy przez uszy. Informacje o ruchu ust uczestniczą w budowaniu perceptu mowy i mogą zmienić kategorię fonetyczną, którą uczestnik świadomie raportuje.
Wzrok pomaga szczególnie wtedy, gdy dźwięk jest niepewny
W naturalnej rozmowie ruchy ust mogą dostarczać wskazówek o miejscu artykulacji, które stają się szczególnie użyteczne w hałasie. Dlatego integracja audiowizualna nie jest egzotyczną sztuczką stworzoną przez efekt McGurka. Eksperyment wyolbrzymia normalną funkcję systemu: łączenie częściowo niezależnych danych o tym samym zdarzeniu mowy.