Informatyka i programowanieBłędy programistyczne, awarie i zaskakujące konsekwencje kodu

Dodanie jednej sekundy do zegara w 2012 r. potrafiło wysłać procesy Linuksa na niemal 100% CPU

30 czerwca 2012 r. do UTC dodano leap second. W części systemów z jądrami Linux ujawniły się błędy obsługi czasu. Red Hat opisał m.in. problem, w którym po wstawieniu dodatkowej sekundy wywołania używające futexów mogły natychmiast wygasać i ponownie się uzbrajać, powodując niemal 100% użycia CPU przez aplikacje. Inny scenariusz dotyczył livelocku w kernelu. Z punktu widzenia człowieka doba wydłużyła się tylko o sekundę; z punktu widzenia kodu naruszono założenia, że zegar systemowy zmienia się zawsze w zwykły sposób.

Czas UTC nie jest idealnie równym licznikiem

Obrót Ziemi nie jest perfekcyjnie zgodny z zegarami atomowymi. Aby utrzymywać UTC blisko czasu astronomicznego, przez dekady wstawiano leap seconds. Dla aplikacji oznacza to rzadki przypadek, w którym minuta może mieć 61 sekund albo zegar zachowuje się niestandardowo w zależności od implementacji.

Kernel musi zaktualizować wiele struktur czasu naraz

System operacyjny utrzymuje zegary, timery, timeouty, kolejki i mechanizmy synchronizacji. Leap second nie jest więc zmianą jednej zmiennej. Jeśli aktualizacja jednej struktury nie zostanie spójnie odzwierciedlona w innych, timery mogą nagle wyglądać jak przeterminowane.

Futex mógł wpadać w kosztowną pętlę

Red Hat opisał bug, w którym po leap second timeouty futexów były źle aktualizowane. Futex wygasał, aplikacja ponownie go ustawiała, a kernel niemal natychmiast uznawał go za wygasły. Tysiące takich cykli na sekundę tłumaczą nagły skok CPU.

Aplikacja mogła wyglądać na winną, choć błąd był niżej

Administrator widział proces Java lub inną aplikację pochłaniającą CPU. Naturalną reakcją byłoby szukanie pętli w jej kodzie. Tymczasem przyczyna znajdowała się w zachowaniu jądra i timerów. To pokazuje, jak myląca może być lokalizacja symptomu w warstwowym systemie.

Leap smearing jest jednym ze sposobów unikania skoku

Niektóre duże systemy rozpraszają dodatkową sekundę na dłuższy okres, minimalnie zmieniając tempo zegara zamiast wykonywać nagły skok. To trade-off: upraszcza zachowanie aplikacji, ale oznacza chwilową różnicę względem czystego UTC.

Rzadkie zdarzenia czasowe wymagają symulacji

Leap seconds, zmiany DST, koniec miesiąca czy cofnięcie zegara można testować w środowisku kontrolowanym. Jeśli produkt zależy od czasu, testowanie tylko „normalnego wtorku o 14:00” pozostawia ogromną przestrzeń nieprzetestowanych stanów. W systemach rozproszonych dochodzi jeszcze synchronizacja pomiędzy maszynami. Dwa serwery mogą mieć chwilowo różne czasy i oba działać poprawnie lokalnie, dlatego kolejności zdarzeń nie należy opierać wyłącznie na wall clocku. Używa się numerów sekwencyjnych, zegarów logicznych lub jawnej tolerancji błędu.

Zegar ścienny i zegar monotoniczny służą do innych zadań

Wiele błędów czasu wynika z używania jednego zegara do wszystkiego. Wall clock ma odpowiadać rzeczywistej dacie i może zostać skorygowany przez NTP, zmianę strefy lub leap second. Monotonic clock powinien natomiast tylko rosnąć i służy do mierzenia timeoutów oraz czasu trwania. Jeśli aplikacja mierzy „minęło 30 sekund” przez odejmowanie dwóch odczytów zegara ściennego, korekta czasu może dać ujemny albo niespodziewanie duży wynik. Systemy operacyjne oferują oddzielne API właśnie po to, by rozdzielić te semantyki. Incydenty leap-second są przypomnieniem, że czas kalendarzowy jest polityczno-astronomicznym standardem, a nie idealnym fizycznym licznikiem. Programy infrastrukturalne powinny używać zegara monotonicznego wszędzie tam, gdzie interesuje je upływ czasu, a UTC tylko do znaczników zdarzeń i komunikacji z zewnętrznym światem. Dobrym testem jest też wymuszanie skoków czasu w obu kierunkach. Jeśli timer zależy od wall clock, cofnięcie zegara o minutę może być równie groźne jak leap second. Testy powinny sprawdzać, czy timeouty i locki nadal mają sens przy takich korektach. Dla systemów finansowych i rozproszonych ważne jest też zapisanie, czy timestamp oznacza czas zdarzenia, czas otrzymania czy czas przetworzenia. Leap second uwidacznia, że te pojęcia nie zawsze są wymienne i mogą prowadzić do innej kolejności rekordów.

#CPU#czas#futex#leap second#Linux#Red Hat
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki