Pytania oznaczone «spark-submit»

Jak zatrzymać wyświetlanie komunikatów INFO na konsoli Spark?

Chciałbym zatrzymać różne komunikaty, które pojawiają się w powłoce iskry. Próbowałem edytować log4j.propertiesplik, aby zatrzymać te komunikaty. Oto zawartość log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN,

Dodaj słoiki do pracy Spark - przesyłanie iskier

To prawda ... dużo o tym dyskutowano. Istnieje jednak wiele niejasności, a niektóre z udzielonych odpowiedzi ... w tym powielanie odniesień do jar w konfiguracji lub opcjach jars / executor / sterownik. Niejednoznaczne i / lub pominięte szczegóły W związku z niejednoznacznością, niejasnymi i /...