Hadoop to projekt open source Apache, który zapewnia oprogramowanie do niezawodnego i skalowalnego przetwarzania rozproszonego. Rdzeń składa się z rozproszonego systemu plików (HDFS) i menedżera zasobów (YARN). Różne inne projekty open source, takie jak Apache Hive, używają Apache Hadoop jako warstwy trwałości.
Obecnie konfiguruję hadoop na serwerze z uruchomionymi CentO . Po uruchomieniu start-dfs.shlub stop-dfs.shpojawia się następujący błąd: OSTRZEŻENIE util.NativeCodeLoader: Nie można załadować natywnej biblioteki hadoop dla Twojej platformy ... używając wbudowanych klas Java w stosownych...
Zamknięte . To pytanie jest oparte na opiniach . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby można było na nie odpowiedzieć faktami i cytatami, edytując ten post . Zamknięte 4 lata temu . Popraw to pytanie...
Próbuję zrozumieć związek między liczbą rdzeni i liczbą wykonawców podczas uruchamiania zadania Spark w YARN. Środowisko testowe wygląda następująco: Liczba węzłów danych: 3 Specyfikacja maszyny węzła danych: Procesor: Core i7-4790 (liczba rdzeni: 4, liczba wątków: 8) RAM: 32 GB (8 GB x...
Jakie są korzyści z przy użyciu Hadoop lub HBase lub gałąź ? Z mojego zrozumienia, HBase unika korzystania z mapowania i ma pamięć zorientowaną na kolumny na HDFS. Hive to podobny do sql interfejs dla Hadoop i HBase . Chciałbym również wiedzieć, jak Hive wypada w porównaniu ze Pig...
Zainstalowałem Sparka za pomocą przewodnika AWS EC2 i mogę poprawnie uruchomić program za pomocą bin/pysparkskryptu, aby dostać się do podpowiedzi iskry, a także mogę pomyślnie wykonać przewodnik Szybki start. Jednak do końca życia nie mogę wymyślić, jak zatrzymać wszystkie szczegółowe...
Chciałbym przeczytać plik CSV w Spark i przekonwertować go na DataFrame i zapisać w HDFS z df.registerTempTable("table_name") Próbowałem: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Błąd, który otrzymałem: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not...
Charakterystyka parkietu Apache to: Samoopisujące Format kolumnowy Niezależne od języka W porównaniu do Avro, Sequence Files, RC File itp. Chcę mieć przegląd formatów. Przeczytałem już: Jak Impala współpracuje z formatami plików Hadoop , daje wgląd w formaty, ale chciałbym wiedzieć, w jaki...
Jak skopiować plik z HDFS do lokalnego systemu plików. W pliku nie ma fizycznej lokalizacji pliku, nawet katalogu. jak mogę przenieść je do mojego lokalnego w celu dalszych walidacji. jestem wypróbowany przez
To trochę naiwne pytanie, ale jestem nowy w paradygmacie NoSQL i niewiele o nim wiem. Więc jeśli ktoś może mi pomóc jasno zrozumieć różnicę między HBase i Hadoop lub jeśli podasz kilka wskazówek, które mogą pomóc mi zrozumieć różnicę. Do tej pory zrobiłem kilka badań i zgodnie z. według mojego...
Wiem, że obie są wykonywane na kolumnie w tabeli, ale jak każda operacja jest inna.
W wielu rzeczywistych sytuacjach, w których stosujesz MapReduce, ostateczne algorytmy kończą się na kilku krokach MapReduce. tj. Map1, Reduce1, Map2, Reduce2 i tak dalej. Mamy więc dane wyjściowe z ostatniej redukcji, które są potrzebne jako dane wejściowe dla następnej mapy. Dane pośrednie to...
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. nie jest w stanie nic stworzyć w hdfs Zrobiłem root# bin/hadoop fs -safemode leave Ale pokazuję safemode: Unknown command Jaki...
Według Hadoop - The Definitive Guide Rekordy logiczne zdefiniowane przez FileInputFormats zwykle nie pasują dokładnie do bloków HDFS. Na przykład rekordy logiczne TextInputFormat to linie, które częściej przekraczają granice HDFS. Nie ma to wpływu na funkcjonowanie twojego programu - na przykład...
W programowaniu Map Reduce faza redukcji obejmuje tasowanie, sortowanie i redukcję jako części składowe. Sortowanie to kosztowna sprawa. Jaki jest cel tasowania i sortowania fazy w reduktorze w Map Reduce
Czy ktoś może mi powiedzieć, jaka jest różnica między tabelą zewnętrzną Hive a tabelami wewnętrznymi. Wiem, że różnica pojawia się, gdy upuszczasz stół. Nie rozumiem, co masz na myśli, mówiąc, że dane i metadane są usuwane w wewnętrznych, a tylko metadane są usuwane z tabel zewnętrznych. Czy ktoś...
Jednym z głównych przykładów wykorzystywanych do zademonstrowania możliwości MapReduce jest test porównawczy Terasort . Mam problem ze zrozumieniem podstaw algorytmu sortowania używanego w środowisku MapReduce. Dla mnie sortowanie polega po prostu na określeniu względnego położenia elementu w...
Czy mają być równi? ale dlaczego polecenia „ hadoop fs” pokazują, hdfs filespodczas gdy polecenia „ hdfs dfs” pokazują pliki lokalne? tutaj jest informacja o wersji hadoopa: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git:
Otrzymuję następujący błąd podczas uruchamiania namenode dla najnowszej wersji Hadoop-2.2. Nie znalazłem pliku winutils exe w folderze bin Hadoop. Wypróbowałem poniższe polecenia $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell...
Wiem du -shw popularnych systemach plików Linuksa. Ale jak to zrobić z HDFS?
Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 4 lata temu . Popraw to pytanie...