Pytania oznaczone «apache-spark»

Zastanawiam się tylko, jaka jest różnica między RDDi DataFrame (Spark 2.0.0 DataFrame to zwykły alias typu Dataset[Row]) w Apache Spark? Czy potrafisz konwertować jeden na

Według Learning Spark Pamiętaj, że podział danych na partycje jest dość kosztowną operacją. Spark ma również zoptymalizowaną wersję repartition()wywołania, coalesce()która pozwala uniknąć przenoszenia danych, ale tylko wtedy, gdy zmniejsza się liczbę partycji RDD. Jedną różnicą, którą dostaję,...

Czy ktoś może mi wyjaśnić różnicę między mapą a płaską mapą i jaki jest dobry przypadek użycia dla każdego z nich? Co oznacza „spłaszczanie wyników”? Do czego to jest

Mój klaster: 1 master, 11 slave, każdy węzeł ma 6 GB pamięci. Moje ustawienia: spark.executor.memory=4g, Dspark.akka.frameSize=512 Oto problem: Najpierw odczytałem niektóre dane (2,19 GB) z HDFS na RDD: val imageBundleRDD = sc.newAPIHadoopFile(...) Po drugie , zrób coś na tym RDD: val res =...

Dziwne zachowanie podczas wywoływania funkcji poza zamknięciem: kiedy funkcja jest w obiekcie, wszystko działa gdy funkcja jest w klasie, uzyskaj: Nie można serializować zadania: java.io.NotSerializableException: testowanie Problem polega na tym, że potrzebuję mojego kodu w klasie, a nie w...

Przeczytałem Omówienie trybu klastrowego i nadal nie rozumiem różnych procesów w klastrze autonomicznym Spark i równoległości. Czy pracownik jest procesem JVM, czy nie? Uruchomiłem bin\start-slave.shi okazało się, że spawnował on robot, którym w rzeczywistości jest JVM. Zgodnie z powyższym...

Pod względem RDDtrwałości, jakie są różnice pomiędzy cache()i persist()w

Pochodzę z tła pand i jestem przyzwyczajony do czytania danych z plików CSV do ramki danych, a następnie po prostu zmieniając nazwy kolumn na coś użytecznego za pomocą prostego polecenia: df.columns = new_column_name_list Jednak to samo nie działa w ramkach danych pyspark utworzonych za pomocą...

Korzystam z Spark-CSV do ładowania danych do DataFrame. Chcę zrobić proste zapytanie i wyświetlić zawartość: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from...

Próbuję zrozumieć związek między liczbą rdzeni i liczbą wykonawców podczas uruchamiania zadania Spark w YARN. Środowisko testowe wygląda następująco: Liczba węzłów danych: 3 Specyfikacja maszyny węzła danych: Procesor: Core i7-4790 (liczba rdzeni: 4, liczba wątków: 8) RAM: 32 GB (8 GB x...

Chciałbym zatrzymać różne komunikaty, które pojawiają się w powłoce iskry. Próbowałem edytować log4j.propertiesplik, aby zatrzymać te komunikaty. Oto zawartość log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN,

Chcę odczytać kilka plików tekstowych z lokalizacji hdfs i wykonać mapowanie w iteracji za pomocą Spark. JavaRDD<String> records = ctx.textFile(args[1], 1); jest w stanie odczytać tylko jeden plik na raz. Chcę odczytać więcej niż jeden plik i przetworzyć je jako pojedynczy RDD. W jaki...

Wolę Pythona od Scali. Ale ponieważ Spark jest natywnie napisany w Scali, spodziewałem się, że mój kod będzie działał szybciej w Scali niż wersja Python z oczywistych powodów. Mając to założenie, pomyślałem, że powinienem nauczyć się i napisać wersję Scala jakiegoś bardzo powszechnego kodu do...

Kiedy elastyczny rozproszony zestaw danych (RDD) jest tworzony z pliku tekstowego lub kolekcji (lub z innego RDD), czy musimy jawnie wywoływać „pamięć podręczną” lub „utrwalanie”, aby przechowywać dane RDD w pamięci? A może dane RDD są domyślnie przechowywane w pamięci w sposób rozproszony? val...

To prawda ... dużo o tym dyskutowano. Istnieje jednak wiele niejasności, a niektóre z udzielonych odpowiedzi ... w tym powielanie odniesień do jar w konfiguracji lub opcjach jars / executor / sterownik. Niejednoznaczne i / lub pominięte szczegóły W związku z niejednoznacznością, niejasnymi i /...

Załóżmy, że robię coś takiego: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string...

Zgodnie z wprowadzeniem zestawów danych Spark : Z niecierpliwością czekamy na Spark 2.0, planujemy kilka ekscytujących ulepszeń zestawów danych, w szczególności: ... Niestandardowe kodery - podczas gdy obecnie automatycznie generujemy kodery dla wielu różnych typów, chcielibyśmy otworzyć...

Próbowałem, df.orderBy("col1").show(10)ale posortowano w kolejności rosnącej. df.sort("col1").show(10)sortuje również w porządku malejącym. Spojrzałem na stackoverflow i wszystkie odpowiedzi, które znalazłem, były nieaktualne lub odnosiły się do RDD . Chciałbym użyć natywnej ramki danych w...

Zainstalowałem Sparka za pomocą przewodnika AWS EC2 i mogę poprawnie uruchomić program za pomocą bin/pysparkskryptu, aby dostać się do podpowiedzi iskry, a także mogę pomyślnie wykonać przewodnik Szybki start. Jednak do końca życia nie mogę wymyślić, jak zatrzymać wszystkie szczegółowe...

Mam DataFrame wygenerowaną w następujący sposób: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Wyniki wyglądają następująco: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0|...