Jak usunąć kolumny w ramce danych pyspark

>>> a
DataFrame[id: bigint, julian_date: string, user_id: bigint]
>>> b
DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]
>>> a.join(b, a.id==b.id, 'outer')
DataFrame[id: bigint, julian_date: string, user_id: bigint, id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint]

Są dwa id: biginti chcę usunąć jeden. Jak mam to zrobić?

Czytając dokumentację Sparka znalazłem łatwiejsze rozwiązanie.

Od wersji 1.4 Spark istnieje funkcja, drop(col)której można użyć w pysparku na ramce danych.

Możesz go używać na dwa sposoby

1. df.drop('age').collect()
2. df.drop(df.age).collect()

Dokumentacja Pyspark - Drop

Dodając do odpowiedzi @ Patricka, możesz użyć poniższego, aby upuścić wiele kolumn

columns_to_drop = ['id', 'id_copy']
df = df.drop(*columns_to_drop)

Łatwym sposobem, aby to zrobić, to użytkownik „ select” i uświadomić sobie, można uzyskać listę wszystkich columnsdla dataframe, dfzdf.columns

drop_list = ['a column', 'another column', ...]

df.select([column for column in df.columns if column not in drop_list])

Możesz jawnie nazwać kolumny, które chcesz zachować, na przykład:

keep = [a.id, a.julian_date, a.user_id, b.quan_created_money, b.quan_created_cnt]

Lub w bardziej ogólnym podejściu uwzględnisz wszystkie kolumny z wyjątkiem konkretnej za pomocą rozumienia listy. Na przykład w ten sposób (z wyłączeniem idkolumny z b):

keep = [a[c] for c in a.columns] + [b[c] for c in b.columns if c != 'id']

Na koniec dokonujesz wyboru wyniku dołączenia:

d = a.join(b, a.id==b.id, 'outer').select(*keep)

Możesz użyć dwóch sposobów:

1: Po prostu zachowaj niezbędne kolumny:

drop_column_list = ["drop_column"]
df = df.select([column for column in df.columns if column not in drop_column_list])  

2: To jest bardziej elegancki sposób.

df = df.drop("col_name")

Powinieneś unikać wersji collect (), ponieważ wyśle ​​ona do mastera kompletny zestaw danych, będzie to wymagało dużego wysiłku obliczeniowego!

Może trochę poza tematem, ale oto rozwiązanie wykorzystujące Scala. Utwórz Arrayz nazw kolumn ze swojego oldDataFramei usuń kolumny, które chcesz usunąć ("colExclude"). Następnie przekaż Array[Column]go selecti rozpakuj.

val columnsToKeep: Array[Column] = oldDataFrame.columns.diff(Array("colExclude"))
                                               .map(x => oldDataFrame.col(x))
val newDataFrame: DataFrame = oldDataFrame.select(columnsToKeep: _*)

Rozważ 2 ramki dataFrames:

>>> aDF.show()
+---+----+
| id|datA|
+---+----+
|  1|  a1|
|  2|  a2|
|  3|  a3|
+---+----+

i

>>> bDF.show()
+---+----+
| id|datB|
+---+----+
|  2|  b2|
|  3|  b3|
|  4|  b4|
+---+----+

Aby osiągnąć to, czego szukasz, istnieją 2 sposoby:

1. Różne warunki łączenia. Zamiast mówić aDF.id == bDF.id

aDF.join(bDF, aDF.id == bDF.id, "outer")

Napisz to:

aDF.join(bDF, "id", "outer").show()
+---+----+----+
| id|datA|datB|
+---+----+----+
|  1|  a1|null|
|  3|  a3|  b3|
|  2|  a2|  b2|
|  4|null|  b4|
+---+----+----+

To automatycznie pozbędzie się dodatkowego procesu upuszczania.

2. Użyj aliasingu: w tym przypadku utracisz dane związane z określonymi identyfikatorami B.

>>> from pyspark.sql.functions import col
>>> aDF.alias("a").join(bDF.alias("b"), aDF.id == bDF.id, "outer").drop(col("b.id")).show()

+----+----+----+
|  id|datA|datB|
+----+----+----+
|   1|  a1|null|
|   3|  a3|  b3|
|   2|  a2|  b2|
|null|null|  b4|
+----+----+----+

Możesz usunąć kolumnę w ten sposób:

df.drop("column Name).columns

W Twoim przypadku :

df.drop("id").columns

Jeśli chcesz upuścić więcej niż jedną kolumnę, możesz zrobić:

dfWithLongColName.drop("ORIGIN_COUNTRY_NAME", "DEST_COUNTRY_NAME")