Mars Pathfinder resetował się przez priority inversion — mało ważne zadanie mogło pośrednio zablokować najważniejsze
Po lądowaniu Mars Pathfinder doświadczał sporadycznych resetów komputera. Przyczyną okazała się priority inversion w systemie czasu rzeczywistego VxWorks. Zadanie o wysokim priorytecie potrzebowało mutexa zajętego przez zadanie niskiego priorytetu. Tymczasem zadanie o średnim priorytecie mogło wykonywać się długo i uniemożliwiać temu niskiemu zwolnienie blokady. W efekcie najważniejsze zadanie czekało, watchdog uznawał system za niesprawny i wykonywał reset. Problem naprawiono przez włączenie priority inheritance.
Priorytet nie gwarantuje pierwszeństwa, gdy istnieją blokady
W prostym modelu scheduler zawsze uruchamia zadanie o najwyższym priorytecie. Mutex zmienia sytuację: jeśli ważny task potrzebuje zasobu trzymanego przez mniej ważny, musi poczekać. Samo to nie jest jeszcze błędem. Problem powstaje, gdy zadanie trzymające zasób nie dostaje CPU, bo wypiera je proces o pośrednim priorytecie.
Trzy zadania tworzą paradoks
Wyobraźmy sobie zadanie H o wysokim priorytecie, L o niskim i M pośrodku. L bierze mutex. H próbuje go przejąć i blokuje się. Scheduler może teraz uruchamiać M, bo H czeka, a M ma wyższy priorytet niż L. Paradoksalnie zadanie średnie opóźnia więc zadanie najwyższe, mimo że nigdy nie korzysta ze spornego mutexa.
Watchdog robił dokładnie to, do czego był zaprojektowany
System Pathfindera miał mechanizm wykrywający, że krytyczne zadanie nie kończy pracy na czas. Zamiast pozwolić komputerowi pozostać w nieznanym stanie, watchdog wykonywał reset. Same resety były więc ochroną, nie pierwotnym problemem. To ciekawa różnica: widoczny symptom awarii może być działaniem systemu bezpieczeństwa.
Problem odtworzono na ziemskim bliźniaku sondy
Zespół użył egzemplarza systemu na Ziemi i włączył szczegółowe śledzenie zdarzeń VxWorks. Race conditions i problemy harmonogramowania są trudne do powtórzenia, ponieważ zależą od dokładnego timingu. Po wielu próbach udało się odtworzyć reset i zobaczyć sekwencję przejęć mutexa oraz przełączeń kontekstu.
Priority inheritance rozwiązuje dokładnie ten scenariusz
VxWorks pozwala mutexowi tymczasowo podnieść priorytet zadania L do poziomu H, gdy H czeka na zasób trzymany przez L. Dzięki temu zadanie średnie M nie może go wypierać. L szybko kończy sekcję krytyczną, zwalnia mutex i H kontynuuje pracę. To przykład mechanizmu systemowego stworzonego specjalnie do neutralizowania konkretnej klasy bugów.
Kod można naprawić miliony kilometrów od programisty
Pathfinder posiadał możliwość zmiany parametrów i software’u podczas misji. Zespół mógł więc włączyć odpowiednie zachowanie mutexa bez fizycznego dostępu do sondy. To przypomina, dlaczego systemy kosmiczne projektuje się z możliwościami diagnostycznymi i aktualizacyjnymi: nie da się wysłać serwisanta na Marsa. Warto też zauważyć, że dodatkowe logowanie potrafi zmienić timing i tymczasowo ukryć problem współbieżności. Dlatego diagnostyka real-time musi być projektowana tak, by minimalnie ingerować w scheduler. To jedna z przyczyn, dla których reprodukcja takich bugów bywa znacznie trudniejsza niż znalezienie zwykłego błędu arytmetycznego.
Priority inversion występuje także poza sondami kosmicznymi
Ten sam mechanizm może pojawić się w systemie operacyjnym telefonu, sterowniku samochodu albo serwerze. Wyobraźmy sobie wątek odpowiedzialny za hamowanie, który potrzebuje blokady chroniącej wspólną strukturę. Blokadę posiada mało ważny logger. Jeśli w tym momencie CPU zajmuje grupa średnio ważnych zadań, logger nie dostaje czasu procesora, więc nie zwalnia blokady, a krytyczny wątek czeka. Sam priorytet przestaje odzwierciedlać realną ważność. Priority inheritance jest jednym rozwiązaniem, ale nie jedynym: można skracać sekcje krytyczne, unikać współdzielonego stanu, używać lock-free structures albo projektować statyczny protokół ceiling priority. Pathfinder jest szczególnie pedagogiczny, bo pokazuje mechanizm w czystej formie: żadna część sprzętu nie była uszkodzona, scheduler działał zgodnie z regułami, a mimo to interakcja kilku poprawnych elementów tworzyła nieakceptowalne opóźnienie.