Chmura nie może pokonać prędkości światła: silna spójność między kontynentami kosztuje fizyczną latencję
Centra danych mogą być połączone światłowodem i bardzo szybkimi routerami, ale informacja nadal potrzebuje czasu na pokonanie tysięcy kilometrów. Jeśli globalna baza wymaga potwierdzeń z odległych regionów przed zakończeniem zapisu, do czasu operacji wchodzi round-trip time sieci. Dokumentacja Azure Cosmos DB mówi wprost, że dla kont z wieloma regionami i strong consistency latencja zapisu zależy od dwukrotności RTT między najdalszymi regionami, powiększonej o narzut usługi. Azure domyślnie blokuje nawet konfiguracje strong consistency dla regionów oddalonych o ponad 5000 mil ze względu na wysoką latencję zapisu. Chmura skaluje geografię, ale nie usuwa fizyki.
Odległość staje się częścią czasu odpowiedzi
Pakiet z Warszawy do odległego centrum danych nie pojawia się tam natychmiast. Sygnał w światłowodzie porusza się z dużą, ale skończoną prędkością, a realna trasa jest dłuższa niż linia prosta i przechodzi przez urządzenia sieciowe. Każde wymagane potwierdzenie z drugiego regionu dodaje minimalny koszt.
Silna spójność potrzebuje koordynacji
Jeżeli klient ma po zapisie zawsze odczytać najnowszą globalną wartość, system musi wiedzieć, że odpowiednie repliki uzgodniły stan. Przy rozproszeniu geograficznym oznacza to komunikację na duże odległości. Słabsze modele mogą pozwolić, aby część replik dogoniła później i dzięki temu szybciej odpowiedzieć lokalnie.
Cosmos DB pokazuje koszt w dokumentacji
Microsoft podaje, że w wieloregionowych kontach ze strong consistency latencja zapisu jest związana z dwukrotnością RTT pomiędzy najdalszymi regionami plus dodatkowym narzutem. Dokumentacja zaznacza też, że duży RTT zwiększa latencję, bo zapis kończy się dopiero po odpowiednim globalnym commit.
Istnieje nawet geograficzne ograniczenie domyślnej konfiguracji
Azure informuje, że strong consistency dla kont z regionami rozciągniętymi na ponad 5000 mil jest domyślnie blokowana z powodu wysokiej latencji zapisu. To bardzo obrazowy dowód, że topologia danych jest jednocześnie topologią czasu.
Nie ma darmowego globalnego „jednego komputera”
Chmura może ukryć tysiące maszyn za jednym API, ale jeśli aplikacja wymaga, aby odległe kopie uzgodniły każdą operację przed odpowiedzią, użytkownik płaci opóźnieniem za fizyczną odległość. Dlatego architekci wybierają, które dane muszą być globalnie silnie spójne, które mogą być lokalne, a które mogą propagować się asynchronicznie.
Round-trip jest ważniejszy niż sama prędkość jednego pakietu
Wiele protokołów potrzebuje odpowiedzi zwrotnej: wyślij propozycję, poczekaj na potwierdzenie. Minimalny koszt zależy więc od drogi tam i z powrotem, a czasem od kilku rund. Nawet gdy każda pojedyncza wiadomość jest szybka, koordynacja wielofazowa mnoży wpływ odległości. Dlatego liczba rund sieciowych jest jednym z kluczowych parametrów projektowania protokołów globalnych.
Geografia danych jest decyzją produktową
Umieszczenie wszystkich replik blisko siebie zmniejsza latency consensusu, ale gorzej chroni przed awarią całego regionu i zwiększa opóźnienie użytkowników z innych kontynentów. Rozrzucenie danych globalnie poprawia odporność i lokalność odczytów, ale utrudnia silnie spójne zapisy. Nie istnieje topologia najlepsza dla każdego produktu; architektura musi odzwierciedlać, czy ważniejsze są lokalne odczyty, globalny RPO, czy jedna natychmiastowa prawda wszędzie.
Fizyka wyznacza dolną granicę, ale prawdziwa sieć dodaje jeszcze kolejkowanie, nieidealne trasy, przetwarzanie przez routery i warstwy protokołów. Dlatego realny RTT jest większy od samego czasu propagacji światła. Nie oznacza to, że globalne transakcje są niepraktyczne — Spanner i Cosmos DB pokazują, że można je budować — lecz ich latency budget musi uwzględniać geografię. Optymalizacja kodu o mikrosekundy nie zniweluje dziesiątek milisekund potrzebnych na międzykontynentalną rundę komunikacji.
Z tego powodu wiele globalnych usług rozdziela ścieżki: odczyt można obsłużyć lokalnie z repliki, podczas gdy zapis wymagający silnej spójności przechodzi przez bardziej kosztowną koordynację. Inne dane są dzielone geograficznie tak, by większość operacji użytkownika pozostawała blisko jego regionu. Najlepszą optymalizacją prędkości światła jest często taka zmiana architektury, aby krytyczna operacja nie musiała przebywać całej odległości.