Informatyka i programowanieSystemy rozproszone, chmura i komputery działające jak jeden system

Split brain może stworzyć dwa działające systemy, z których każdy uważa się za prawdziwy

Najgorsza partycja sieciowa nie musi wyłączyć serwerów. Może zostawić dwie grupy maszyn działające normalnie, ale bez kontaktu ze sobą. Jeśli architektura pozwoli obu stronom przyjmować sprzeczne zapisy, każda tworzy własną historię. To nazywa się split brain. Po odzyskaniu łączności problem nie polega na prostym „zsynchronizuj nowszą kopię”, bo obie strony mogły wykonać poprawne, niezależne operacje. Systemy consensusowe używają quorum właśnie po to, by zapobiegać dwóm aktywnym mózgom: strona mniejszościowa rezygnuje z prawa do decyzji nawet wtedy, gdy jej maszyny są zdrowe.

Partycja sieci nie musi zniszczyć żadnej maszyny

Wyobraźmy sobie dwa pomieszczenia centrum danych połączone uszkodzonym przełącznikiem. Serwery w każdym pomieszczeniu nadal rozmawiają między sobą i obsługują lokalne dyski. Z punktu widzenia każdego fragmentu to druga strona „zniknęła”. Jeżeli architektura opiera się tylko na braku heartbeatów, obie grupy mogą uznać, że muszą przejąć odpowiedzialność.

Dwie strony mogą przyjąć dwa różne zapisy

Po jednej stronie klient zmienia wartość X na A, po drugiej inny klient zmienia X na B. Obie operacje mogły lokalnie zakończyć się sukcesem. Po naprawie łącza nie ma jednej wersji zawierającej wszystkie zmiany w oczywistej kolejności. Trzeba odrzucić, scalić lub ręcznie rozwiązać konflikt.

Quorum blokuje drugi mózg

System taki jak etcd wymaga większości do zatwierdzania zmian. Przy podziale tylko jedna strona może posiadać większość. Dokumentacja etcd podkreśla, że dzięki temu nie dochodzi do split-brain inconsistency: mniejszość staje się niedostępna, a większość kontynuuje pracę.

Wysoka dostępność nie znaczy „każda część zawsze działa”

Może się wydawać, że blokowanie mniejszości obniża odporność systemu. W pewnym sensie tak — część klientów może chwilowo nie wykonać zapisu. Ale alternatywą jest większy problem: utrata jednej historii. Projekt niezawodny często poświęca lokalną dostępność po to, by ochronić globalną jednoznaczność.

Split brain pokazuje różnicę między działaniem a poprawnością

Maszyna może być włączona, proces może przyjmować połączenia, a dysk działać bez błędów, lecz system jako całość nadal może być w stanie niebezpiecznym. W systemach rozproszonych poprawność nie jest sumą poprawności pojedynczych komputerów. Zależy także od relacji i wiedzy między nimi.

Split brain bywa skutkiem błędnej automatyzacji, nie tylko fizycznej sieci

Można stworzyć dwa aktywne centra także przez niepoprawne reguły failoveru, błędy DNS, źle skonfigurowane fencing albo ręczne działania operatora. Dlatego do bezpiecznego przełączenia nie wystarcza obserwacja „stary primary nie odpowiada”. Trzeba jeszcze mieć mechanizm uniemożliwiający mu dalsze wykonywanie zapisów lub potwierdzić quorum nowej strony.

Fencing jest odpowiednikiem odebrania staremu liderowi kluczy

W wielu systemach stosuje się tokeny epok, leases lub mechanizmy fencing, dzięki którym zasób może odrzucić operacje pochodzące od dawnego lidera. Nawet jeśli stara maszyna po chwili odzyska sieć i „myśli”, że nadal rządzi, niższa warstwa nie zaakceptuje jej przestarzałych uprawnień. To praktyczne zabezpieczenie przed tym, że wiedza lokalna o roli lidera jest już nieaktualna.

W systemach przechowujących dane użytkowników konflikt po split-brain może być znacznie trudniejszy niż zwykły wybór „nowszego timestampu”. Jedna strona mogła zaakceptować sprzedaż ostatniej sztuki produktu, druga też; jedna mogła przypisać użytkownikowi nazwę, druga tę samą nazwę komuś innemu. Połączenie historii wymaga wtedy zasad biznesowych i może być niemożliwe bez naruszenia obietnic złożonych wcześniej klientom. Zapobieganie split-brain bywa tańsze niż późniejsza rekonstrukcja świata po dwóch niezależnych seriach sukcesów.

Podobny problem występuje w magazynach blokowych, systemach plików i bazach, gdzie dwie strony mogą jednocześnie uważać się za właściciela zasobu. Dlatego rozwiązania HA używają mechanizmów STONITH, fencing tokens albo zewnętrznego quorum. Nazwy brzmią technicznie, lecz cel jest prosty: przed uruchomieniem nowego primary trzeba mieć pewność, że stary nie może dalej bezpiecznie pisać do tego samego świata.

#etcd#partycja sieci#quorum#replikacja#split brain#spójność
Źródła i weryfikacja
Otrzymuj codzienne losowe ciekawostki