Od czego zależy offset konsumencki Kafki?

Jestem stosunkowo nowy w Kafce. Trochę z tym eksperymentowałem, ale kilka rzeczy jest dla mnie niejasnych, jeśli chodzi o offset konsumencki. Z tego, co do tej pory zrozumiałem, kiedy konsument zaczyna, przesunięcie, od którego zacznie czytać, jest określone przez ustawienie konfiguracji auto.offset.reset(popraw mnie, jeśli się mylę).

Teraz powiedzmy na przykład, że w temacie jest 10 wiadomości (przesunięcia od 0 do 9), a konsument zdarzyło się skonsumować 5 z nich, zanim zniknął (lub zanim go zabiłem). Następnie powiedz, że wznawiam ten proces konsumencki. Moje pytania to:

1. Jeśli auto.offset.resetjest ustawiona na smallest, czy zawsze będzie zużywać od offsetu 0?

2. Jeśli auto.offset.resetjest ustawiona na largest, czy zacznie zużywać od przesunięcia 5?

3. Czy zachowanie w tego rodzaju scenariuszach jest zawsze deterministyczne?

Nie wahaj się komentować, jeśli cokolwiek w moim pytaniu jest niejasne. Z góry dziękuję.

Jest to trochę bardziej złożone niż opisałeś.
Te auto.offset.resetrzuty config jedynie wtedy, gdy grupa konsumentów nie posiada ważnego przesunięcia popełnił gdzieś (2 Obsługiwane offsetowe magazyny są teraz Kafka i Zookeeper), a także zależy od rodzaju konsumenta użyć.

Jeśli używasz wysokiego poziomu konsumenta Java, wyobraź sobie następujące scenariusze:

1. Masz konsumenta w grupie konsumentów group1, która zużyła 5 wiadomości i umarła. Następnym razem, gdy uruchomisz tego konsumenta, nawet nie użyje tej auto.offset.resetkonfiguracji i będzie kontynuował od miejsca, w którym umarł, ponieważ po prostu pobierze przechowywane przesunięcie z pamięci offsetowej (Kafka lub ZK, jak wspomniałem).

2. Masz wiadomości w temacie (tak jak opisałeś) i rozpoczynasz konsumenta w nowej grupie konsumentów group2. Nigdzie nie ma zapisanego przesunięcia i tym razem auto.offset.resetconfig zdecyduje, czy zacząć od początku tematu ( earliest) czy od końca tematu ( latest)

Jeszcze jedna rzecz, która wpływa na to, jakiej wartości przesunięcia będzie odpowiadać earliesti latestkonfiguracji, to polityka przechowywania dziennika. Wyobraź sobie, że masz temat z okresem przechowywania skonfigurowanym na 1 godzinę. Tworzysz 5 wiadomości, a godzinę później publikujesz 5 kolejnych. latestPrzesunięcie będzie nadal pozostają takie same jak w poprzednim przykładzie, ale earliestnie będzie mógł być 0bo Kafka będzie już usunąć te wiadomości i dlatego najwcześniej dostępne będą offsetowych 5.

Wszystko, o czym wspomniano powyżej, nie jest związane z SimpleConsumeri za każdym razem, gdy go uruchomisz, zdecyduje, od czego zacząć korzystać z auto.offset.resetconfig.

Jeśli używasz wersji Kafka starsze niż 0.9, trzeba wymienić earliest, latestz smallest, largest.

Tylko aktualizacja: od wersji 0.9 Kafki i następnych, Kafka używa nowej wersji Java konsumenta, a nazwy parametrów auto.offset.reset uległy zmianie; Z instrukcji:

Co zrobić, gdy nie ma początkowego przesunięcia w Kafce lub jeśli bieżące przesunięcie nie istnieje już na serwerze (np. Ponieważ te dane zostały usunięte):

najwcześniej : automatycznie resetuje przesunięcie do najwcześniejszego przesunięcia

najnowszy : automatycznie resetuje przesunięcie do ostatniego przesunięcia

none : zgłoś wyjątek do konsumenta, jeśli nie zostanie znalezione poprzednie przesunięcie dla grupy konsumentów

cokolwiek innego: zgłoś wyjątek do konsumenta.

Po sprawdzeniu zaakceptowanej odpowiedzi poświęciłem trochę czasu na znalezienie tego, więc pomyślałem, że opublikowanie tego może być przydatne dla społeczności.

Dalej jest przesunięcie. Retencja. Minuty. Jeśli czas od ostatniego zatwierdzenia wynosi> offsets.retention.minutes, to auto.offset.resetrównież zaczyna działać