„Exactly once” zwykle nie oznacza, że sieć magicznie dostarczyła wiadomość dokładnie jeden raz
Hasło exactly-once brzmi jak prosta gwarancja transportowa: wiadomość leci raz i nigdy się nie powtarza. W praktyce niezawodne systemy często osiągają efekt „przetwórz raz” inaczej. Jeśli odbiorca wykona pracę, ale potwierdzenie zaginie, nadawca może wysłać wiadomość ponownie. Dlatego potrzebne są stabilne identyfikatory, trwała informacja o postępie i deduplikacja. Google Dataflow opisuje właśnie taki mechanizm: wiadomości mogą być ponawiane przez RPC, ale każdy rekord ma unikalny identyfikator, a odbiorca sprawdza, czy został już zatwierdzony. Google Pub/Sub również ogranicza dokładne gwarancje do konkretnych warunków i wymaga prawidłowego potwierdzania.
Sieć nie wie, czy skutek uboczny już się wydarzył
Nadawca wysyła zadanie, odbiorca zapisuje rezultat, po czym połączenie zrywa się przed potwierdzeniem. Nadawca nie ma podstaw, by wiedzieć, czy należy ponowić operację. Jeśli nie ponowi, praca mogła zostać zgubiona. Jeśli ponowi, może uruchomić ją po raz drugi.
At-least-once i at-most-once rozwiązują inne połowy problemu
Przy at-least-once system ponawia tak długo, by nie stracić zadania, ale dopuszcza duplikaty. Przy at-most-once unika ponownego wykonania, ale może utracić pracę przy awarii. Exactly-once próbuje połączyć brak utraty z brakiem podwójnego skutku, co wymaga dodatkowego stanu.
Dataflow deduplikuje po stabilnym identyfikatorze
Dokumentacja Google Dataflow opisuje sytuację, w której worker ponawia RPC, a ta sama wiadomość może zostać przesłana wielokrotnie. Każdy rekord jest oznaczony unikalnym ID, a odbiorca prowadzi katalog wcześniej przetworzonych identyfikatorów. Jeśli ID już istnieje, powtórzenie jest odrzucane. To nie brak retry tworzy exactly-once processing, lecz umiejętność rozpoznania, że retry reprezentuje tę samą pracę.
Gwarancja ma granice
Google Pub/Sub zaznacza, że jego exactly-once delivery obowiązuje w określonym modelu i w obrębie regionu. Klient musi prawidłowo zarządzać acknowledgmentami i stanem przetwarzania. To ważna lekcja: słowo „exactly once” zawsze trzeba czytać wraz z zakresem, w którym gwarancja jest definiowana.
Najlepiej pytać o efekt, a nie o liczbę pakietów
Dla biznesu zwykle nie ma znaczenia, czy komunikat fizycznie przejechał przez sieć jeden czy dwa razy. Ważne jest, czy zamówienie, naliczenie punktów albo zapis w bazie został logicznie zastosowany raz. Dlatego solidne projekty koncentrują się na identyfikacji operacji i atomowym zapisie rezultatu, a nie na nierealistycznym założeniu idealnego transportu.
Exactly-once na jednym etapie nie gwarantuje exactly-once całego świata
Nawet jeśli kolejka zapobiegnie podwójnemu dostarczeniu wiadomości, handler może wykonać zewnętrzny efekt — np. wysłać e-mail albo wywołać inną usługę — a potem zawieść przed zapisaniem lokalnego statusu. Gwarancja musi więc obejmować granicę pomiędzy odbiorem a skutkiem. Dokumentacje usług bardzo precyzyjnie określają zakres exactly-once właśnie dlatego, że nie rozciąga się on automatycznie na dowolne zewnętrzne systemy.
Inbox i outbox przenoszą problem do trwałego stanu
Popularne wzorce budują tabelę przetworzonych identyfikatorów albo transactional outbox, aby atomowo zapisać decyzję biznesową i fakt, że komunikat ma zostać wysłany dalej. Transport może potem ponawiać dostarczenie, a odbiorca rozpoznaje duplikat. To kolejny przykład, że niezawodność komunikacji powstaje często przez odpowiednie modelowanie stanu, nie przez zakaz powtórzeń w sieci.
Termin exactly-once bywa też używany inaczej przez różne produkty: może oznaczać brak ponownej dostawy po skutecznym ack, jednokrotne zatwierdzenie wyniku w ramach silnika stream processing albo atomową transakcję pomiędzy wejściem i wyjściem określonego systemu. Dlatego architekt powinien zawsze pytać: dokładnie co jest liczone jako „once”, w jakim zakresie geograficznym i gdzie kończy się gwarancja? Bez tej definicji dwa systemy reklamujące exactly-once mogą zapewniać bardzo różne własności.
Deduplikacja ma też własny problem retencji. System musi pamiętać identyfikatory wystarczająco długo, aby późny duplikat nadal został rozpoznany, ale przechowywanie ich bez końca byłoby kosztowne. W stream processing często wykorzystuje się watermarki, checkpointy albo ograniczenia okna czasowego. Gwarancja exactly-once jest więc zawsze połączona z modelem postępu, trwałości i tego, jak długo wiadomość może pojawiać się ponownie.