Próbuję zrozumieć ZooKeeper, jak to działa i co robi. Czy jest jakaś aplikacja, która jest porównywalna z ZooKeeper? Jeśli wiesz, to jak opisałbyś ZooKeeper laikowi? Próbowałem wiki apache, zookeeper sourceforge ... ale nadal nie mogę się z tym powiązać. Właśnie przeczytałem...
Według Learning Spark Pamiętaj, że podział danych na partycje jest dość kosztowną operacją. Spark ma również zoptymalizowaną wersję repartition()wywołania, coalesce()która pozwala uniknąć przenoszenia danych, ale tylko wtedy, gdy zmniejsza się liczbę partycji RDD. Jedną różnicą, którą dostaję,...
Przeczytałem Omówienie trybu klastrowego i nadal nie rozumiem różnych procesów w klastrze autonomicznym Spark i równoległości. Czy pracownik jest procesem JVM, czy nie? Uruchomiłem bin\start-slave.shi okazało się, że spawnował on robot, którym w rzeczywistości jest JVM. Zgodnie z powyższym...
Pod względem RDDtrwałości, jakie są różnice pomiędzy cache()i persist()w
Jestem stosunkowo nowy w Kafce. Trochę z tym eksperymentowałem, ale kilka rzeczy jest dla mnie niejasnych, jeśli chodzi o offset konsumencki. Z tego, co do tej pory zrozumiałem, kiedy konsument zaczyna, przesunięcie, od którego zacznie czytać, jest określone przez ustawienie konfiguracji...
Jeśli masz miliard liczb i sto komputerów, jaki jest najlepszy sposób na zlokalizowanie mediany tych liczb? Jedno rozwiązanie, które mam, to: Podziel zestaw równo między komputery. Sortuj je. Znajdź mediany dla każdego zestawu. Sortuj zestawy według środkowych. Połącz dwa zestawy naraz, od...