Dźwięk może wydawać się dochodzić z miejsca, które wskazują oczy
Brzuchomówstwo wykorzystuje tzw. ventriloquism effect: jeśli dźwięk i widoczny ruch wyglądają jak części tego samego zdarzenia, postrzegana lokalizacja dźwięku przesuwa się w stronę obrazu. Dlatego głos płynący z głośników przy ekranie łatwo przypisujemy ustom aktora, a nie fizycznemu przetwornikowi. Laboratoryjnie efekt można wywołać nawet prostym błyskiem i sygnałem dźwiękowym pojawiającymi się synchronicznie w różnych miejscach. Wzrok zwykle dostarcza precyzyjniejszej informacji przestrzennej niż słuch, więc przy konflikcie położenia jego wskazówka może otrzymać większą wagę.
Głos lalki nie musi pochodzić z lalki
Brzuchomówca ogranicza widoczne ruchy własnych ust i synchronizuje wypowiedź z ruchem pyska lub ust lalki. Słuchacz wie, że lalka nie ma aparatu mowy, ale mimo to lokalizacja głosu może perceptualnie przesunąć się w jej stronę. Podobny efekt występuje w kinie i telewizji: głośnik nie znajduje się w ustach aktora, lecz obraz jest na tyle wiarygodnym źródłem lokalizacji, że głos wydaje się do niego przyklejony.
Laboratorium usuwa cały teatr
Do wywołania efektu nie jest potrzebna realistyczna lalka. W eksperymentach pokazuje się krótki bodziec wzrokowy w jednym miejscu i dźwięk w innym. Jeśli są wystarczająco zbieżne czasowo i wydają się pochodzić ze wspólnego zdarzenia, zgłaszana lokalizacja dźwięku przesuwa się w kierunku bodźca wzrokowego. Dzięki temu można ilościowo badać, jak duże rozbieżności przestrzenne i czasowe system jest gotów 'połączyć'.
Wiarygodniejszy zmysł dostaje większą wagę
Wzrok ma bardzo wysoką rozdzielczość przestrzenną, zwłaszcza w centrum pola widzenia. Słuch jest świetny w wykrywaniu czasu i kierunku ogólnego, ale jego precyzja lokalizacji bywa mniejsza. Modele integracji multisensorycznej opisują wynik jako ważenie wskazówek według ich niepewności. Gdy informacja wzrokowa zostanie zdegradowana, jej wpływ może osłabnąć; nie istnieje absolutna zasada 'wzrok zawsze wygrywa'.
Mózg uczy się także po konflikcie
Po wielokrotnej ekspozycji na systematycznie przesunięte bodźce audiowizualne może pojawić się ventriloquism aftereffect: późniejsze lokalizowanie samego dźwięku przesuwa się w stronę wcześniej narzuconej relacji. To sugeruje, że integracja zmysłów nie tylko rozwiązuje pojedynczy konflikt, ale może kalibrować mapy sensoryczne na podstawie świeżego doświadczenia.
Wspólna przyczyna jest kluczowa
Jeżeli błysk i dźwięk pojawiają się w zupełnie innych momentach albo znaczeniowo do siebie nie pasują, układ ma mniejszy powód łączyć je w jedno zdarzenie. Współczesne badania opisują więc ventriloquism w kategoriach causal inference: mózg ocenia nie tylko gdzie są bodźce, lecz także czy prawdopodobnie mają to samo źródło. Iluzja powstaje wtedy, gdy ta zwykle użyteczna zasada zostaje wykorzystana przez sztuczny konflikt.
Po konflikcie lokalizacja dźwięku może pozostać przesunięta
Eksperymenty nad ventriloquism aftereffect pokazują, że wpływ wzroku nie musi kończyć się w chwili prezentacji konfliktu. Po serii prób, w których obraz i dźwięk są stale rozdzielone w przestrzeni, późniejsza ocena lokalizacji samego dźwięku może przesunąć się w stronę wcześniej widzianej rozbieżności. Układ sensoryczny traktuje powtarzalny błąd jak sygnał, że trzeba ponownie skalibrować mapowanie między zmysłami. To ma sens funkcjonalny: oczy, uszy i ciało zmieniają geometrię wraz z ruchem głowy i rozwojem, a system musi stale utrzymywać ich zgodność. Ventriloquism effect pokazuje chwilową integrację, zaś aftereffect — uczenie i kalibrację. Dzięki temu ta pozornie sceniczna sztuczka prowadzi do szerszej zasady: percepcja wielozmysłowa nie tylko łączy bieżące dane, lecz również aktualizuje własne założenia na podstawie historii rozbieżności.
Dlaczego kino i telewizja korzystają z tej samej zasady
Głośniki w sali kinowej nie muszą znajdować się dokładnie w ustach aktora na ekranie, aby głos wydawał się pochodzić od postaci. Spójność czasowa oraz wiarygodna lokalizacja wzrokowa sprzyjają związaniu obu sygnałów w jedno zdarzenie. Technologia wykorzystuje więc normalną skłonność percepcji do szukania wspólnej przyczyny dla zgodnych bodźców.