MapReduce to algorytm do przetwarzania ogromnych zbiorów danych dotyczących pewnych rodzajów problemów dystrybuowalnych przy użyciu dużej liczby węzłów
Wiem, jak „przekształcić” prostą Javę Listz Y-> Z, tj .: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Teraz chciałbym zrobić w zasadzie to samo z Mapą, tj .: INPUT: { "key1" -> "41", // "41" and "42" "key2"...
W obecnej formie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi poparte będą faktami, referencjami lub wiedzą specjalistyczną, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz,...
Powiązane z moim pytaniem na CouchDB . Czy ktoś może wyjaśnić MapReduce w terminach, które mogą zrozumieć
Jakie scenariusze uzasadniałyby użycie algorytmu „ Mapuj i zmniejszaj ”? Czy istnieje implementacja tego algorytmu .NET?
W wielu rzeczywistych sytuacjach, w których stosujesz MapReduce, ostateczne algorytmy kończą się na kilku krokach MapReduce. tj. Map1, Reduce1, Map2, Reduce2 i tak dalej. Mamy więc dane wyjściowe z ostatniej redukcji, które są potrzebne jako dane wejściowe dla następnej mapy. Dane pośrednie to...
Według Hadoop - The Definitive Guide Rekordy logiczne zdefiniowane przez FileInputFormats zwykle nie pasują dokładnie do bloków HDFS. Na przykład rekordy logiczne TextInputFormat to linie, które częściej przekraczają granice HDFS. Nie ma to wpływu na funkcjonowanie twojego programu - na przykład...
W programowaniu Map Reduce faza redukcji obejmuje tasowanie, sortowanie i redukcję jako części składowe. Sortowanie to kosztowna sprawa. Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce
Jednym z głównych przykładów wykorzystywanych do zademonstrowania możliwości MapReduce jest test porównawczy Terasort . Mam problem ze zrozumieniem podstaw algorytmu sortowania używanego w środowisku MapReduce. Dla mnie sortowanie polega po prostu na określeniu względnego położenia elementu w...
Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 4 lata temu . Popraw to pytanie...
Czy są jakieś zależności między platformą Spark i Hadoop ? Jeśli nie, czy są jakieś funkcje, za którymi będę tęsknić, uruchamiając Spark bez Hadoop ?
Czy w przypadku korzystania z $inklauzuli MongoDB kolejność zwracanych dokumentów zawsze odpowiada kolejności argumentów tablicy?
W Hadoop v1 przypisałem każde 7 gniazd mapowania i reduktora o rozmiarze 1 GB, moje mapery i reduktory działają dobrze. Moja maszyna ma pamięć 8G, procesor 8. Teraz z YARN, po uruchomieniu tej samej aplikacji na tym samym komputerze, otrzymałem błąd kontenera. Domyślnie mam takie ustawienia:...
Dużo słyszę o mapowaniu / zmniejszaniu, szczególnie w kontekście masowo równoległego systemu obliczeniowego Google. Co to właściwie jest?
Kiedy w Hadoop zaczynają się zadania redukcji? Czy zaczynają się po osiągnięciu określonego odsetka (progu) twórców map? Jeśli tak, czy ten próg jest ustalony? Jaki rodzaj progu jest zwykle używany?
Na razie mam zadanie Hadoop, które tworzy liczniki o dość dużej nazwie. Na przykład, na następujący: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Ten licznik jest obcinany w interfejsie WWW i...