Próbuję uruchomić prosty NaiveBayesClassiferprzy użyciu hadoop, otrzymując ten błąd Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at
Planuję użyć jednego z formatów pliku hadoop dla mojego projektu związanego z hadoopem. Rozumiem, że parkiet jest skuteczny w przypadku zapytań opartych na kolumnach i avro dla pełnego skanowania lub gdy potrzebujemy wszystkich danych z kolumn! Zanim przejdę dalej i wybiorę jeden z formatów...
Czy są jakieś zależności między platformą Spark i Hadoop ? Jeśli nie, czy są jakieś funkcje, za którymi będę tęsknić, uruchamiając Spark bez Hadoop ?
Jak mogę znaleźć używaną wersję programu Hive w wierszu polecenia. Poniżej znajdują się szczegóły- Używam Putty do łączenia się z tabelą ula i uzyskiwania dostępu do rekordów w tabelach. Więc co zrobiłem - otworzyłem Putty i wpisałem nazwę hosta - leo-ingesting.vip.name.coma potem kliknąłem...
Przeprowadzam kilka testów na formatach przechowywania dostępnych w Hive i używam Parquet i ORC jako głównych opcji. Raz włączyłem ORC z domyślną kompresją, a raz ze Snappy. Przeczytałem wiele dokumentów, w których stwierdzono, że Parquet jest lepszy pod względem złożoności...
Podczas instalowania Hadoopa na moim komputerze lokalnym otrzymałem następujący błąd ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to...
W Hadoop v1 przypisałem każde 7 gniazd mapowania i reduktora o rozmiarze 1 GB, moje mapery i reduktory działają dobrze. Moja maszyna ma pamięć 8G, procesor 8. Teraz z YARN, po uruchomieniu tej samej aplikacji na tym samym komputerze, otrzymałem błąd kontenera. Domyślnie mam takie ustawienia:...
W obecnym stanie to pytanie nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi będą poparte faktami, referencjami lub ekspertyzą, ale to pytanie prawdopodobnie będzie wymagało debaty, argumentów, ankiet lub rozszerzonej dyskusji. Jeśli uważasz, że to...
Kiedy w Hadoop zaczynają się zadania redukcji? Czy zaczynają się po osiągnięciu określonego odsetka (progu) twórców map? Jeśli tak, czy ten próg jest ustalony? Jaki rodzaj progu jest zwykle używany?
chcielibyśmy umieścić wyniki zapytania Hive w pliku CSV. Pomyślałem, że polecenie powinno wyglądać tak: insert overwrite directory '/home/output.csv' select books from table; Kiedy go uruchamiam, mówi, że zakończyło się pomyślnie, ale nigdy nie mogę znaleźć pliku. Jak znaleźć ten plik, czy...
Na razie mam zadanie Hadoop, które tworzy liczniki o dość dużej nazwie. Na przykład, na następujący: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Ten licznik jest obcinany w interfejsie WWW i...