Transakcje między mikrousługami REST?

Załóżmy, że mamy użytkownika, mikrousługi REST portfela i bramę API, która skleja rzeczy. Kiedy Bob rejestruje się w naszej witrynie, nasza brama API musi utworzyć użytkownika za pośrednictwem mikrousługi użytkownika i portfela za pośrednictwem mikrousługi portfela.

Oto kilka scenariuszy, w których może się nie udać:

• Tworzenie Boba użytkownika kończy się niepowodzeniem: to jest OK, po prostu zwracamy komunikat o błędzie do Boba. Używamy transakcji SQL, więc nikt nigdy nie widział Boba w systemie. Wszystko w porządku :)

• Użytkownik Bob został utworzony, ale zanim można utworzyć nasz Portfel, nasza brama API ulega awarii. Mamy teraz użytkownika bez portfela (niespójne dane).

• Użytkownik Bob został utworzony, a gdy tworzymy Portfel, połączenie HTTP zostaje zerwane. Utworzenie portfela mogło się powieść lub nie.

Jakie rozwiązania są dostępne, aby zapobiec występowaniu tego rodzaju niespójności danych? Czy istnieją wzorce, które pozwalają transakcjom obejmować wiele żądań REST? Przeczytałem stronę Wikipedii dotyczącą zatwierdzania dwufazowego, która wydaje się dotyczyć tego problemu, ale nie jestem pewien, jak zastosować go w praktyce. Te rozproszone transakcje atomowe: projekt RESTful również wydaje się interesujący, chociaż go jeszcze nie przeczytałem.

Alternatywnie wiem, że REST może po prostu nie pasować do tego przypadku użycia. Czy byłby to właściwy sposób na rozwiązanie tej sytuacji, aby całkowicie zrezygnować z usługi REST i użyć innego protokołu komunikacyjnego, takiego jak system kolejki komunikatów? A może powinienem egzekwować spójność w kodzie aplikacji (na przykład poprzez zadanie w tle, które wykrywa niespójności i je naprawia, czy też posiadając atrybut „stan” w moim modelu użytkownika z wartościami „tworzenia”, „utworzonych” itp.)?

Co nie ma sensu:

• rozproszone transakcje z usługami REST . Usługi REST z definicji są bezstanowe, więc nie powinny być uczestnikami granicy transakcyjnej obejmującej więcej niż jedną usługę. Scenariusz przypadku użycia rejestracji użytkownika ma sens, ale projekt z mikrousługami REST do tworzenia danych użytkownika i portfela nie jest dobry.

Co spowoduje bóle głowy:

• EJB z transakcjami rozproszonymi . Jest to jedna z tych rzeczy, które działają w teorii, ale nie w praktyce. W tej chwili staram się, aby transakcja rozproszona działała dla zdalnych komponentów EJB w instancjach JBoss EAP 6.3. Rozmawiamy ze wsparciem RedHata od tygodni, ale to jeszcze nie działało.
• Rozwiązania do zatwierdzania dwufazowego ogólnie . Myślę, że protokół 2PC jest świetnym algorytmem (wiele lat temu zaimplementowałem go w C z RPC). Wymaga kompleksowych mechanizmów odzyskiwania po awarii, z ponownymi próbami, repozytorium stanów itp. Cała złożoność jest ukryta w ramach transakcji (np .: JBoss Arjuna). Jednak 2PC nie jest odporne na błędy. Są sytuacje, których transakcja po prostu nie może zostać ukończona. Następnie musisz ręcznie zidentyfikować i naprawić niespójności bazy danych. Może się zdarzyć raz na milion transakcji, jeśli masz szczęście, ale może się zdarzyć raz na 100 transakcji, w zależności od platformy i scenariusza.
• Sagas (transakcje kompensacyjne) . Narzut związany z tworzeniem operacji kompensacyjnych oraz mechanizm koordynacji aktywujący kompensację na końcu. Ale odszkodowanie również nie jest odporne na błędy. Nadal możesz mieć niespójności (= jakiś ból głowy).

Jaka jest prawdopodobnie najlepsza alternatywa:

• Ostateczna spójność . Ani transakcje rozproszone podobne do ACID, ani transakcje kompensujące nie są odporne na awarie i oba mogą prowadzić do niespójności. Ostateczna spójność jest często lepsza niż „okazjonalna niekonsekwencja”. Istnieją różne rozwiązania projektowe, takie jak:
  • Możesz stworzyć bardziej niezawodne rozwiązanie za pomocą komunikacji asynchronicznej. W twoim scenariuszu, gdy Bob się zarejestruje, brama API może wysłać wiadomość do kolejki NewUser i od razu odpowiedzieć użytkownikowi, mówiąc: „Otrzymasz wiadomość e-mail z potwierdzeniem utworzenia konta”. Obsługa klienta w kolejce może przetworzyć wiadomość, wykonać zmiany bazy danych w jednej transakcji i wysłać wiadomość e-mail do Boba, aby powiadomić o utworzeniu konta.
  • Mikrousługa użytkownika tworzy rekord użytkownika i rekord portfela w tej samej bazie danych . W takim przypadku sklep portfela w mikrousługi użytkownika jest repliką głównego sklepu portfela widoczną tylko dla mikrousługi portfela. Istnieje mechanizm synchronizacji danych oparty na wyzwalaczu lub okresowo uruchamiany w celu wysyłania zmian danych (np. Nowych portfeli) z repliki do wzorca i odwrotnie.

Ale co jeśli potrzebujesz synchronicznych odpowiedzi?

• Zmodeluj mikrousługi . Jeśli rozwiązanie z kolejką nie działa, ponieważ odbiorca usługi potrzebuje natychmiastowej odpowiedzi, wolałbym przebudować funkcje użytkownika i portfela, aby były one kolokowane w tej samej usłudze (lub przynajmniej w tej samej maszynie wirtualnej, aby uniknąć transakcji rozproszonych) ). Tak, jest to krok dalej od mikrousług i bliżej monolitu, ale uratuje cię od bólu głowy.

To klasyczne pytanie, które zadano mi niedawno podczas wywiadu. Jak zadzwonić do wielu serwisów internetowych i jednocześnie zachować pewną obsługę błędów w środku zadania. Dzisiaj w obliczeniach o wysokiej wydajności unikamy zatwierdzeń dwufazowych. Wiele lat temu czytałem artykuł o tak zwanym „modelu Starbuck” dla transakcji: Pomyśl o procesie zamawiania, płacenia, przygotowywania i odbierania kawy, którą zamawiasz w Starbuck ... Upraszczam rzeczy, ale model zatwierdzania dwufazowego sugerują, że cały proces byłby pojedynczą transakcją owijania wszystkich etapów do momentu otrzymania kawy. Jednak w tym modelu wszyscy pracownicy będą czekać i przestać pracować, aż dostaniesz kawę. Widzisz zdjęcie?

Zamiast tego „model Starbuck” jest bardziej produktywny dzięki przestrzeganiu modelu „najlepszego wysiłku” i kompensacji błędów w procesie. Po pierwsze, upewniają się, że zapłacisz! Następnie są kolejki wiadomości z zamówieniem dołączonym do kubka. Jeśli coś pójdzie nie tak, jak na przykład, że nie dostałeś kawy, to nie jest to, co zamówiłeś itp., Przystępujemy do procesu kompensacji i upewniamy się, że dostaniesz to, czego chcesz lub zwrócimy ci pieniądze. dla zwiększenia wydajności.

Czasami Starbuck marnuje kawę, ale cały proces jest wydajny. Istnieją inne sztuczki do przemyślenia podczas tworzenia usług internetowych, takie jak projektowanie ich w taki sposób, aby można je było wywołać dowolną liczbę razy i nadal zapewniać ten sam efekt końcowy. Więc moje zalecenie to:

• Nie bądź zbyt precyzyjny w definiowaniu swoich usług internetowych (nie jestem przekonany o szumie w mikrosługach, który ma miejsce w dzisiejszych czasach: zbyt duże ryzyko posunięcia się za daleko);

• Asynchronizacja zwiększa wydajność, więc wolisz być asynchronicznym, w miarę możliwości wysyłaj powiadomienia pocztą elektroniczną.

• Zbuduj bardziej inteligentne usługi, aby umożliwić ich „wielokrotne” odwoływanie dowolną liczbę razy, przetwarzając za pomocą UID lub Taskid, które będą postępować zgodnie z zamówieniem od dołu do końca, sprawdzając reguły biznesowe na każdym etapie;

• Używaj kolejek komunikatów (JMS lub innych) i przekierowuj do procesorów obsługi błędów, które zastosują operacje do „wycofania” poprzez zastosowanie przeciwnych operacji, nawiasem mówiąc, praca z kolejnością asynchroniczną będzie wymagała jakiejś kolejki do sprawdzenia aktualnego stanu procesu, więc zastanów się nad tym;

• W ostateczności (ponieważ może się to nie zdarzać często) umieść go w kolejce do ręcznego przetwarzania błędów.

Wróćmy do pierwotnego problemu, który został opublikowany. Utwórz konto, utwórz portfel i upewnij się, że wszystko zostało zrobione.

Załóżmy, że usługa internetowa jest wywoływana w celu koordynowania całej operacji.

Pseudo-kod usługi internetowej wyglądałby następująco:

1. Zadzwoń do mikroserwisu tworzenia konta, przekaż mu trochę informacji i wyjątkowy identyfikator zadania 1.1 Mikrousługa tworzenia konta najpierw sprawdzi, czy to konto zostało już utworzone. Identyfikator zadania jest powiązany z rekordem konta. Mikrousługa wykrywa, że ​​konto nie istnieje, więc tworzy je i przechowuje identyfikator zadania. UWAGA: tę usługę można wywołać 2000 razy, zawsze będzie ona działać tak samo. Usługa odpowiada „paragonem zawierającym minimalne informacje do wykonania operacji cofania, jeśli jest to wymagane”.

2. Zadzwoń do tworzenia portfela, podając identyfikator konta i identyfikator zadania. Załóżmy, że warunek jest nieprawidłowy i nie można wykonać tworzenia portfela. Wywołanie zwraca błąd, ale nic nie zostało utworzone.

3. Orkiestrator jest informowany o błędzie. Wie, że musi przerwać tworzenie konta, ale nie zrobi tego sam. Poprosi o to usługę portfela, przekazując „minimalne potwierdzenie cofnięcia” otrzymane na końcu kroku 1.

4. Usługa Konto odczytuje potwierdzenie cofnięcia i wie, jak cofnąć operację; potwierdzenie cofnięcia może nawet zawierać informacje o innej mikrousługie, którą mógłby nazwać wykonaniem części zadania. W tej sytuacji potwierdzenie cofnięcia może zawierać identyfikator konta i ewentualnie dodatkowe informacje wymagane do wykonania odwrotnej operacji. W naszym przypadku, dla uproszczenia, powiedzmy, że wystarczy usunąć konto, używając jego identyfikatora.

5. Załóżmy teraz, że usługa internetowa nigdy nie otrzymała sukcesu ani niepowodzenia (w tym przypadku), że cofnięcie utworzenia konta zostało wykonane. Po prostu ponownie wywoła usługę cofania konta. I ta usługa zwykle nie powinna nigdy zawieść, ponieważ jej celem jest, aby konto już nie istniało. Sprawdza więc, czy istnieje i widzi, że nic nie można zrobić, aby go cofnąć. Zwraca więc, że operacja się powiodła.

6. Usługa internetowa zwraca użytkownikowi, że nie można utworzyć konta.

To jest przykład synchroniczny. Moglibyśmy to zrobić w inny sposób i umieścić skrzynkę w kolejce wiadomości skierowanej do działu pomocy technicznej, jeśli nie chcemy, aby system całkowicie odzyskał błąd ". Widziałem, jak dzieje się to w firmie, w której jest za mało do systemu zaplecza można było podłączyć haki, aby poprawić sytuację. Dział pomocy technicznej otrzymał wiadomości zawierające informacje o tym, co zostało wykonane pomyślnie i miał wystarczającą ilość informacji, aby naprawić rzeczy, podobnie jak nasze potwierdzenie cofnięcia może być wykorzystane w pełni zautomatyzowany sposób.

Przeprowadziłem wyszukiwanie, a strona internetowa Microsoft zawiera opis wzorca dla tego podejścia. Nazywa się to wzorcem transakcji kompensacyjnej:

Kompensacyjny wzorzec transakcji

Wszystkie systemy rozproszone mają problemy ze spójnością transakcyjną. Najlepszym sposobem na to jest, jak powiedziałeś, zatwierdzenie dwufazowe. Niech portfel i użytkownik zostaną utworzone w stanie oczekiwania. Po utworzeniu wykonaj osobne połączenie, aby aktywować użytkownika.

To ostatnie połączenie powinno być bezpiecznie powtarzalne (na wypadek utraty połączenia).

Będzie to wymagało, aby ostatnie wywołanie znało obie tabele (aby można było to zrobić w pojedynczej transakcji JDBC).

Możesz też zastanowić się, dlaczego tak bardzo martwisz się o użytkownika bez portfela. Czy uważasz, że spowoduje to problem? Jeśli tak, być może złym rozwiązaniem są osobne wezwania do odpoczynku. Jeśli użytkownik nie powinien istnieć bez portfela, prawdopodobnie należy go dodać do użytkownika (w pierwotnym wywołaniu POST, aby go utworzyć).

IMHO jednym z kluczowych aspektów architektury mikrousług jest to, że transakcja ogranicza się do pojedynczej mikrousługi (zasada pojedynczej odpowiedzialności).

W obecnym przykładzie tworzenie użytkownika byłoby własną transakcją. Utworzenie użytkownika wypchnęłoby zdarzenie USER_CREATED do kolejki zdarzeń. Usługa Portfela zasubskrybuje wydarzenie USER_CREATED i wykona tworzenie Portfela.

Gdyby mój portfel był kolejną wiązką rekordów w tej samej bazie danych SQL, co użytkownik, prawdopodobnie umieściłbym kod użytkownika i portfel w tej samej usłudze i obsłużyłbym to przy użyciu zwykłych funkcji transakcyjnych bazy danych.

Wydaje mi się, że pytasz o to, co się stanie, gdy kod tworzenia portfela wymaga dotknięcia innego systemu lub systemów? Twierdzę, że wszystko zależy od tego, jak skomplikowany lub ryzykowny jest proces tworzenia.

Jeśli chodzi tylko o dotknięcie innego wiarygodnego magazynu danych (powiedzmy, który nie może uczestniczyć w twoich transakcjach SQL), to w zależności od ogólnych parametrów systemu, zaryzykuję znikomą szansę, że drugi zapis nie nastąpi. Mogę nic nie zrobić, ale zgłosić wyjątek i poradzić sobie z niespójnymi danymi za pomocą transakcji kompensacyjnej lub nawet jakiejś metody ad hoc. Jak zawsze mówię moim programistom: „jeśli coś takiego dzieje się w aplikacji, nie pozostanie niezauważone”.

W miarę wzrostu złożoności i ryzyka tworzenia portfela należy podjąć kroki w celu zmniejszenia związanego z tym ryzyka. Powiedzmy, że niektóre kroki wymagają połączenia z wieloma partnerami API.

W tym momencie możesz wprowadzić kolejkę wiadomości wraz z pojęciem częściowo zbudowanych użytkowników i / lub portfeli.

Prostą i skuteczną strategią upewnienia się, że twoje jednostki w końcu prawidłowo się zbudują, jest ponawianie zadań, dopóki się nie powiedzie, ale wiele zależy od przypadków użycia aplikacji.

Zastanawiałbym się też długo i zastanawiałem się, dlaczego miałem krok podatny na awarię w procesie udostępniania.

Jednym prostym rozwiązaniem jest utworzenie użytkownika za pomocą usługi użytkownika i użycie magistrali wiadomości, w której usługa użytkownika emituje swoje zdarzenia, a usługa portfela rejestruje się w magistrali wiadomości, nasłuchuje zdarzenia utworzonego przez użytkownika i tworzy portfel dla użytkownika. W międzyczasie, jeśli użytkownik przejdzie do interfejsu Portfela, aby zobaczyć swój Portfel, sprawdź, czy użytkownik został właśnie utworzony i pokaż, że tworzenie portfela jest w toku, sprawdź za jakiś czas

Jakie rozwiązania są dostępne, aby zapobiec występowaniu tego rodzaju niespójności danych?

Tradycyjnie używa się rozproszonych menedżerów transakcji. Kilka lat temu w świecie Java EE mogłeś stworzyć te usługi jako EJB, które zostały wdrożone w różnych węzłach, a twoja brama API wykonywałaby zdalne połączenia z tymi EJB. Serwer aplikacji (jeśli jest poprawnie skonfigurowany) automatycznie zapewnia, przy użyciu zatwierdzania dwufazowego, że transakcja jest zatwierdzona lub wycofana w każdym węźle, aby zagwarantować spójność. Wymaga to jednak, aby wszystkie usługi były wdrażane na tym samym typie serwera aplikacji (tak, aby były kompatybilne), aw rzeczywistości działały tylko z usługami wdrożonymi przez jedną firmę.

Czy istnieją wzorce, które pozwalają transakcjom obejmować wiele żądań REST?

W przypadku SOAP (ok, nie REST) ​​istnieje specyfikacja WS-AT, ale żadna usługa, którą kiedykolwiek musiałem zintegrować, nie obsługuje tego. W przypadku REST JBoss ma coś w przygotowaniu . W przeciwnym razie „wzorzec” oznacza albo znalezienie produktu, który można podłączyć do swojej architektury, albo zbudować własne rozwiązanie (niezalecane).

Opublikowałem taki produkt dla Java EE: https://github.com/maxant/genericconnector

Zgodnie z dokumentem, do którego się odwołujesz, istnieje również wzór Try-Cancel / Confirm i powiązany Produkt Atomikos.

Silniki BPEL obsługują spójność między zdalnie wdrażanymi usługami za pomocą kompensacji.

Alternatywnie wiem, że REST może po prostu nie pasować do tego przypadku użycia. Czy byłby to właściwy sposób na rozwiązanie tej sytuacji, aby całkowicie zrezygnować z usługi REST i użyć innego protokołu komunikacyjnego, takiego jak system kolejki komunikatów?

Istnieje wiele sposobów „wiązania” zasobów nietransakcyjnych do transakcji:

• Jak sugerujesz, możesz użyć transakcyjnej kolejki komunikatów, ale będzie ona asynchroniczna, więc jeśli zależysz od odpowiedzi, staje się bałagan.
• Możesz zapisać fakt, że musisz wywołać usługi zaplecza do swojej bazy danych, a następnie wywołać usługi zaplecza za pomocą partii. Znowu asynchronizacja, więc może się popsuć.
• Można użyć silnika procesów biznesowych jako bramy interfejsu API do koordynowania mikrousług zaplecza.
• Można użyć zdalnego komponentu EJB, jak wspomniano na początku, ponieważ obsługuje on rozproszone transakcje od razu po wyjęciu z pudełka.

A może powinienem egzekwować spójność w kodzie aplikacji (na przykład poprzez zadanie w tle, które wykrywa niespójności i je naprawia, czy też posiadając atrybut „stan” w moim modelu użytkownika z wartościami „tworzenia”, „utworzonych” itp.)?

Grając w adwokaty diabłów: po co budować coś takiego, skoro istnieją produkty, które robią to za Ciebie (patrz wyżej) i prawdopodobnie robią to lepiej niż możesz, ponieważ są wypróbowane i przetestowane?

Osobiście podoba mi się pomysł Micro Services, modułów zdefiniowanych przez przypadki użycia, ale jak wspomina twoje pytanie, mają problemy z adaptacją dla klasycznych firm, takich jak banki, ubezpieczenia, telekomunikacja itp.

Transakcje rozproszone, jak już wspomniano, nie są dobrym wyborem, ludzie wybierają teraz bardziej spójne systemy, ale nie jestem pewien, czy to zadziała w przypadku banków, ubezpieczeń itp.

Napisałem blog o moim proponowanym rozwiązaniu, może to ci pomóc ...

https://mehmetsalgar.wordpress.com/2016/11/05/micro-services-fan-out-transaction-problems-and-solutions-with-spring-bootjboss-and-netflix-eureka/

Ostateczna spójność jest tutaj kluczem.

• Jedna z usług została wybrana, aby stać się głównym operatorem wydarzenia.
• Ta usługa obsłuży pierwotne zdarzenie za pomocą pojedynczego zatwierdzenia.
• Główny program obsługi bierze odpowiedzialność za asynchroniczne komunikowanie efektów wtórnych innym usługom.
• Główny moduł obsługi wykona połączenia innych usług.

Dowódca odpowiada za rozproszoną transakcję i przejmuje kontrolę. Zna instrukcje do wykonania i będzie koordynował ich wykonywanie. W większości scenariuszy będą tylko dwie instrukcje, ale może obsłużyć wiele instrukcji.

Dowódca bierze odpowiedzialność za zagwarantowanie wykonania wszystkich instrukcji, a to oznacza wycofanie się. Gdy dowódca próbuje przeprowadzić zdalną aktualizację i nie otrzymuje odpowiedzi, nie podejmuje ponownej próby. W ten sposób system można skonfigurować tak, aby był mniej podatny na awarie i sam się leczy.

Ponieważ mamy próby, mamy idempotencję. Idempotencja to właściwość bycia w stanie zrobić coś dwa razy w taki sposób, aby wyniki końcowe były takie same, jak gdyby zrobiono to tylko raz. Potrzebujemy idempotencji w zdalnej usłudze lub źródle danych, aby w przypadku, gdy otrzyma instrukcję więcej niż raz, przetwarza ją tylko raz.

Ostateczna spójność To rozwiązuje większość rozproszonych wyzwań transakcyjnych, jednak musimy wziąć pod uwagę kilka punktów tutaj. Po każdej nieudanej transakcji nastąpi ponowienie, liczba prób ponownych prób zależy od kontekstu.

Spójność jest ostateczna, tzn. Gdy system jest niespójny podczas ponownej próby, na przykład jeśli klient zamówił książkę, dokonał płatności, a następnie zaktualizował ilość zapasów. Jeśli operacje aktualizacji zapasów zakończą się niepowodzeniem i przy założeniu, że był to ostatni dostępny zapas, książka będzie nadal dostępna, dopóki operacja ponownej próby aktualizacji zapasów nie powiedzie się. Po ponownej próbie system będzie spójny.

Dlaczego nie skorzystać z platformy API Management (APIM) obsługującej skrypty / programowanie? Będziesz mógł budować usługę złożoną w APIM bez zakłócania mikrousług. W tym celu zaprojektowałem przy użyciu APIGEE.