Brak oczekiwanej nagrody jest sygnałem uczenia, a nie „brakiem danych”
Jeżeli organizm nauczył się dokładnie, kiedy ma nadejść nagroda, jej pominięcie tworzy konkretną informację: rzeczywistość jest gorsza od przewidywania. W klasycznych zapisach aktywności neuronów dopaminowych widoczna jest wtedy pauza lub spadek w momencie, w którym nagroda powinna się pojawić. To ujemny reward prediction error. System uczy się więc także z nieobecności oczekiwanego zdarzenia — ale tylko wtedy, gdy istniało wystarczająco precyzyjne oczekiwanie, które mogło zostać naruszone. Najważniejsze jest to, że kiedy nagroda jest precyzyjnie oczekiwana, jej brak tworzy ujemny błąd przewidywania, który pomaga aktualizować przyszłe oczekiwania.
Najpierw trzeba wiedzieć, kiedy czekać
Brak nagrody nie jest informacyjny w każdej chwili. Jeśli nie wiadomo, czy i kiedy wynik miał wystąpić, trudno zdefiniować moment pomyłki przewidywania. Po treningu bodziec może jednak zapowiadać nie tylko samą nagrodę, ale również jej przybliżony czas. Dzięki temu system może zarejestrować pominięcie dokładnie wtedy, gdy oczekiwany wynik nie nadchodzi.
Ujemny błąd przewidywania
W formalnym ujęciu wynik jest mniejszy niż wartość oczekiwana. Dla części neuronów dopaminowych oznacza to obniżenie aktywności poniżej poziomu bazowego. W kolejnych próbach taka informacja może zmniejszać oczekiwaną wartość sygnału i modyfikować zachowanie.
To przeciwieństwo niespodziewanej premii
Nagroda większa od oczekiwania daje dodatni błąd, zgodna z oczekiwaniem — mały lub zerowy, a gorszy wynik — błąd ujemny. Jeden mechanizm może więc kodować znak rozbieżności. Dzięki temu uczenie nie wymaga osobnej reguły dla sukcesów i rozczarowań.
Pominięcie napędza wygaszanie, ale nie wyjaśnia go całkowicie
Powtarzające się niewystąpienie oczekiwanego wyniku jest ważnym sygnałem zmiany środowiska i prowadzi do osłabienia reakcji. Jednak wygaszanie nie jest po prostu mechanicznym odejmowaniem wartości do zera; tworzy również nowe, zależne od kontekstu uczenie. RPE jest częścią obrazu, nie całą teorią wygaszania.
Czas jako składnik przewidywania
Badania dopaminy pokazały, że system jest wrażliwy na moment wystąpienia wyniku. Jeśli nagroda zostanie opóźniona, może pojawić się negatywny komponent w oczekiwanym czasie, a później dodatni, gdy wynik faktycznie nadejdzie. Uczenie dotyczy więc czasowej struktury zdarzeń.
Dlaczego to ciekawsze niż „dopamina spada”
Najważniejsza nie jest sama zmiana neuroprzekaźnika, lecz obliczenie, które reprezentuje: różnicę między modelem świata a doświadczeniem. Dzięki temu brak zdarzenia staje się pełnoprawnym komunikatem dla systemu uczenia, jeśli wcześniej istniało przewidywanie jego obecności.
Pominięcie jest widoczne tylko wobec modelu świata
Jeżeli niczego nie oczekujemy, „nic się nie stało” nie stanowi błędu. Ta sama fizyczna pustka staje się informacyjna dopiero po wyuczeniu konkretnej prognozy. To znakomity przykład tego, że sygnały uczenia nie są własnościami samych bodźców, lecz relacji między doświadczeniem a wewnętrznym oczekiwaniem.
Ujemny RPE zmienia przyszłe decyzje
Powtarzające się pominięcia obniżają przewidywaną wartość sygnału i mogą zmniejszać wybór działań, które do niego prowadzą. W algorytmach reinforcement learning negatywny błąd działa jak korekta w dół. Biologiczny system nie musi jednak implementować jednego równania literalnie; ważna jest funkcjonalna zgodność: gorszy niż oczekiwany wynik napędza aktualizację w przeciwną stronę niż niespodziewana nagroda.
Ujemny błąd może mieć różną wielkość
Pominięcie dużej, pewnej nagrody jest innym zaskoczeniem niż brak mało prawdopodobnego drobnego wyniku. RPE skaluje się z tym, czego oczekiwano. To kolejny powód, dla którego samo słowo „rozczarowanie” jest za mało precyzyjne. System porównuje konkretną przewidywaną wartość z rzeczywistością, a nie reaguje identycznie na każdy brak nagrody.
Negatywny błąd nie jest karą
Brak oczekiwanej nagrody może obniżać wartość przewidywania, ale nie jest tym samym co otrzymanie bodźca awersyjnego. W modelach reinforcement learning oba zdarzenia mogą prowadzić do ujemnej aktualizacji, lecz mają inną treść biologiczną i mogą angażować częściowo inne systemy. To ważne rozróżnienie: „gorzej niż oczekiwano” obejmuje wiele rodzajów doświadczeń, nie tylko karę.