Pytania oznaczone «apache-kafka»

Poproszono mnie o ocenę RabbitMQ zamiast Kafki, ale trudno mi było znaleźć powód, dla którego robi coś lepszego niż Kafka. Czy ktoś wie, czy naprawdę jest lepszy pod względem przepustowości, trwałości, opóźnień lub łatwości

Chociaż Natknąłem Kafki przed, ja właśnie niedawno zrealizowane Kafka może być stosowany jako (być może w oparciu o) A CQRS , eventstore . Jeden z głównych punktów obsługiwanych przez Kafkę: Przechwytywanie / przechowywanie zdarzeń, oczywiście wszystkie HA. Architektura pubu /...

Zaczynam uczyć się języka Kafka dla potrzeb rozwiązań dla przedsiębiorstw. Podczas moich lektur przyszło mi do głowy kilka pytań: Kiedy producent tworzy wiadomość - określa temat, do którego chce wysłać wiadomość, czy to prawda? Czy dba o partycje? Kiedy abonent działa - czy określa swój...

Czy istnieje sposób na oczyszczenie tematu w kafce? Przesunąłem wiadomość, która była zbyt duża, do tematu wiadomości Kafka na mojej lokalnej maszynie, teraz pojawia się błąd: kafka.common.InvalidMessageSizeException: invalid message size Zwiększanie liczby fetch.sizenie jest tutaj idealne,...

Próbuję użyć Kafki. Wszystkie konfiguracje są wykonane poprawnie, ale kiedy próbuję wygenerować komunikat z konsoli, pojawia się następujący błąd WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Wersja...

Jestem stosunkowo nowy w Kafce. Trochę z tym eksperymentowałem, ale kilka rzeczy jest dla mnie niejasnych, jeśli chodzi o offset konsumencki. Z tego, co do tej pory zrozumiałem, kiedy konsument zaczyna, przesunięcie, od którego zacznie czytać, jest określone przez ustawienie konfiguracji...

Jedną z pierwszych rzeczy, o których myślę podczas korzystania z nowej usługi (takiej jak magazyn danych inny niż RDBMS lub kolejka komunikatów), jest: „Jak powinienem uporządkować dane?”. Przeczytałem i obejrzałem kilka materiałów wprowadzających. W szczególności weźmy na przykład Kafka:...

Bounty upływa w ciągu 3 dni . Odpowiedzi na to pytanie kwalifikują się do nagrody +250 reputacji. Naman chce nagrodzić istniejącą odpowiedź : Dodanie ważnej aktualizacji autorstwa Kai do istniejących odpowiedzi. W Kafce chciałbym używać tylko jednego brokera,...

Wysyłam wiadomości tekstowe do Kafki V. 0.8 za pomocą Java Producer API. Jeśli rozmiar wiadomości to około 15 MB, otrzymam plik MessageSizeTooLargeException. Próbowałem ustawić message.max.bytesna 40 MB, ale nadal otrzymuję wyjątek. Małe wiadomości działały bez problemów. (Wyjątek występuje u...

Jak znaleźć wersję kafka w systemie Linux? czy istnieje sposób na znalezienie zainstalowanej wersji kafka inny niż wskazanie wersji podczas jej

Niedawno zacząłem uczyć się języka Kafka i otrzymałem te pytania. Jaka jest różnica między Consumer i Stream? Dla mnie, jeśli jakiekolwiek narzędzie / aplikacja konsumuje wiadomości od Kafki, jest konsumentem w świecie Kafki. Czym różni się usługa Stream, skoro również pobiera wiadomości z...

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Obecnie wysyłam wiadomości bez klucza jako część wiadomości z kluczem, czy nadal będzie to działać...

Apache Kafka: rozproszony system przesyłania wiadomości Apache Storm: przetwarzanie wiadomości w czasie rzeczywistym Jak możemy wykorzystać obie technologie w potoku danych czasu rzeczywistego do przetwarzania danych o zdarzeniach? Jeśli chodzi o przepływ danych w czasie rzeczywistym, wydaje...

Muszę usunąć temat testw Apache Kafka 0.8.1.1. Jak wynika z niniejszej dokumentacji , wykonałem: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Jednak powoduje to następujący komunikat: Command must include exactly one action: --list, --describe, --create or...

Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 12 miesięcy temu . Popraw to...

Używam apache kafka do przesyłania wiadomości. Wdrożyłem producenta i konsumenta w Javie. Jak możemy uzyskać liczbę wiadomości w temacie?

Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 2 miesiące temu . Popraw to...

Czy istnieje sposób na usunięcie wszystkich danych z tematu lub usunięcie tematu przed każdym uruchomieniem? Czy mogę zmodyfikować plik KafkaConfig.scala, aby zmienić logRetentionHourswłaściwość? Czy istnieje sposób, w jaki wiadomości są usuwane, gdy tylko konsument je przeczyta? Używam...

Zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby skupiało się tylko na jednym problemie, edytując ten post . Zamknięte 3 dni temu . Poszedłem na rozmowę o...

Używam klienta Confluent.Kafka .NET w wersji 1.3.0. Postępuję zgodnie z dokumentami : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId,...