Informatyka i programowanieSystemy rozproszone, chmura i komputery działające jak jeden system

Cache może wywołać największy skok ruchu dokładnie w chwili, gdy miał go zmniejszać

Cache odciąża bazę, dopóki popularne dane znajdują się w pamięci podręcznej. Jeśli jednak bardzo gorący wpis wygaśnie, wiele równoczesnych żądań może zobaczyć cache miss i niemal jednocześnie zapytać źródłową bazę. Powstaje cache stampede: warstwa mająca chronić backend nagle otwiera na niego lawinę ruchu. AWS opisuje podobne problemy przy cold startach i opróżnieniu cache całej floty, a praktyczne systemy rozpraszają czasy TTL przez jitter albo grupują równoczesne odświeżenia w jedno żądanie. To jeden z klasycznych przykładów, w których mechanizm optymalizacyjny tworzy własny tryb przeciążenia.

Cache działa jak tama

Przy milionie zapytań o ten sam popularny obiekt cache może wysłać do bazy tylko sporadyczne odświeżenie. Większość klientów obsłuży z pamięci szybki, tani wynik. Backend jest chroniony przed popularnością.

Wygaśnięcie otwiera tamę

Gdy wpis znika, pierwszy klient musi pobrać dane z bazy. Jeśli jednak w tej samej milisekundzie przyjdzie tysiąc klientów i każdy niezależnie zobaczy brak wpisu, tysiąc zapytań ruszy do backendu zanim pierwszy zdąży odbudować cache.

Szczególnie groźne są wspólne czasy TTL

Jeżeli duża grupa wpisów została utworzona razem i ma identyczny TTL, może też razem wygasnąć. AWS Architecture Blog opisuje użycie jittera w TTL, aby rozłożyć momenty usuwania wpisów i zmniejszyć cache stampede.

Request coalescing pozwala jednemu żądaniu wykonać pracę za wiele

Zamiast pozwalać wszystkim missom odpytywać bazę, system może oznaczyć, że odświeżenie już trwa. Jeden worker pobiera dane, a pozostali czekają na jego rezultat albo korzystają jeszcze przez chwilę ze starej wartości. Amazon Builders’ Library wskazuje request coalescing jako sposób radzenia sobie z cold startami i masowym opróżnieniem cache.

Optymalizacja tworzy nowy tryb awarii

Bez cache backend może mieć stały, duży ruch. Z cache średni ruch jest znacznie mniejszy, ale pojawia się możliwość gwałtownego impulsu. To częsty wzorzec w systemach: warstwa optymalizacyjna zmniejsza koszt zwykłego przypadku, lecz dodaje nowy scenariusz brzegowy, który trzeba osobno zaprojektować.

Stale-while-revalidate zamienia ostrość granicy w łagodniejsze przejście

Jednym ze sposobów ochrony jest pozwolenie, by użytkownik przez krótki czas dostał nieco starszą wartość, podczas gdy tylko jeden worker odświeża wpis w tle. Zamiast przejścia „wszyscy trafiają w cache” → „wszyscy trafiają do bazy”, system zachowuje poprzednią kopię jako bufor. To kolejny przykład świadomej wymiany świeżości na stabilność i niższą latencję.

Popularność jednego klucza może być ważniejsza niż średni hit rate

Cache może raportować świetny ogólny współczynnik trafień, a mimo to jeden wyjątkowo popularny wpis powoduje krytyczny stampede przy każdym wygaśnięciu. Metryki agregowane ukrywają takie rozkłady. Projektowanie cache wymaga więc patrzenia na najgorętsze klucze, miss rate podczas odświeżeń i obciążenie downstreamu, nie tylko na średni procent hitów.

Stampede jest szczególnie niebezpieczny po restarcie lub wdrożeniu całej floty. Jeśli setki nowych instancji startują z pustymi lokalnymi cache'ami, każda może zacząć odpytywać te same zależności. Amazon Builders’ Library opisuje cold-starty cache jako realny problem przy deploymentach i masowym flushu. Oznacza to, że plan wdrożenia powinien uwzględniać nie tylko poprawność nowego kodu, ale również sposób rozgrzewania cache i tempo dołączania nowych serwerów.

W niektórych systemach stosuje się probabilistic early refresh: popularny wpis może zostać odświeżony jeszcze przed dokładnym TTL z prawdopodobieństwem rosnącym wraz ze zbliżaniem się wygaśnięcia. Dzięki temu prawdopodobieństwo, że wszyscy odkryją brak jednocześnie, maleje. To pokazuje, że zarządzanie cache jest problemem rozproszonym samo w sobie — trzeba sterować nie tylko tym, co przechowujemy, ale również kiedy wiele maszyn podejmuje decyzję o odświeżeniu. Szczególnie ważne jest to dla najpopularniejszych wpisów, bo pojedynczy gorący klucz może wygenerować większy impuls niż tysiące zwykłych obiektów razem.

#cache#cache stampede#cold start#jitter#request coalescing#TTL
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki