Zmień jedną wartość na podstawie innej wartości w pandach

Próbuję przeprogramować mój kod Stata na Python w celu zwiększenia szybkości i zostałem wskazany w kierunku PANDAS. Trudno mi jednak zrozumieć, jak przetwarzać dane.

Powiedzmy, że chcę iterować po wszystkich wartościach w nagłówku kolumny „ID”. Jeśli ten identyfikator pasuje do określonej liczby, chcę zmienić dwie odpowiadające mu wartości FirstName i LastName.

W Stata wygląda to tak:

replace FirstName = "Matt" if ID==103
replace LastName =  "Jones" if ID==103

Więc to zastępuje wszystkie wartości w FirstName, które odpowiadają wartościom ID == 103 Matt.

W PANDAS próbuję czegoś takiego

df = read_csv("test.csv")
for i in df['ID']:
    if i ==103:
          ...

Nie wiem, dokąd się stąd udać. Jakieś pomysły?

Jedną z opcji jest użycie funkcji krojenia i indeksowania Pythona do logicznej oceny miejsc, w których zachowuje się twój warunek, i nadpisania tam danych.

Zakładając, że można załadować swoje dane bezpośrednio pandasz pandas.read_csvczym następujący kod może być pomocne dla Ciebie.

import pandas
df = pandas.read_csv("test.csv")
df.loc[df.ID == 103, 'FirstName'] = "Matt"
df.loc[df.ID == 103, 'LastName'] = "Jones"

Jak wspomniano w komentarzach, możesz również przypisać obie kolumny za jednym razem:

df.loc[df.ID == 103, ['FirstName', 'LastName']] = 'Matt', 'Jones'

Zauważ, że będziesz potrzebować pandaswersji 0.11 lub nowszej, aby używać jej locdo operacji nadpisywania.

Innym sposobem jest użycie tak zwanego przypisania łańcuchowego. Zachowanie tego jest mniej stabilne i dlatego nie jest uważane za najlepsze rozwiązanie (jest to wyraźnie odradzane w dokumentacji), ale warto wiedzieć o:

import pandas
df = pandas.read_csv("test.csv")
df['FirstName'][df.ID == 103] = "Matt"
df['LastName'][df.ID == 103] = "Jones"

Możesz użyć map, może mapować wartości z dyktatury, a nawet funkcję niestandardową.

Załóżmy, że to jest twój plik df:

    ID First_Name Last_Name
0  103          a         b
1  104          c         d

Utwórz dykty:

fnames = {103: "Matt", 104: "Mr"}
lnames = {103: "Jones", 104: "X"}

I mapa:

df['First_Name'] = df['ID'].map(fnames)
df['Last_Name'] = df['ID'].map(lnames)

Rezultatem będzie:

    ID First_Name Last_Name
0  103       Matt     Jones
1  104         Mr         X

Lub użyj funkcji niestandardowej:

names = {103: ("Matt", "Jones"), 104: ("Mr", "X")}
df['First_Name'] = df['ID'].map(lambda x: names[x][0])

Oryginalne pytanie dotyczy konkretnego wąskiego przypadku użycia. Dla tych, którzy potrzebują bardziej ogólnych odpowiedzi, oto kilka przykładów:

Tworzenie nowej kolumny na podstawie danych z innych kolumn

Biorąc pod uwagę ramkę danych poniżej:

import pandas as pd
import numpy as np

df = pd.DataFrame([['dog', 'hound', 5],
                   ['cat', 'ragdoll', 1]],
                  columns=['animal', 'type', 'age'])

In[1]:
Out[1]:
  animal     type  age
----------------------
0    dog    hound    5
1    cat  ragdoll    1

Poniżej dodajemy nową descriptionkolumnę jako konkatenację innych kolumn za pomocą +operacji, która jest nadpisywana dla serii. Fantazyjne formatowanie ciągów, f-stringi itp. Nie będą tutaj działać, ponieważ mają +zastosowanie do skalarów, a nie wartości „pierwotnych”:

df['description'] = 'A ' + df.age.astype(str) + ' years old ' \
                    + df.type + ' ' + df.animal

In [2]: df
Out[2]:
  animal     type  age                description
-------------------------------------------------
0    dog    hound    5    A 5 years old hound dog
1    cat  ragdoll    1  A 1 years old ragdoll cat

Dostajemy 1 yearsza kota (zamiast 1 year), który będziemy naprawiać poniżej za pomocą warunków.

Modyfikowanie istniejącej kolumny za pomocą warunków

Tutaj zastępujemy oryginalną animalkolumnę wartościami z innych kolumn i używamy np.wheredo ustawienia podciągu warunkowego na podstawie wartości age:

# append 's' to 'age' if it's greater than 1
df.animal = df.animal + ", " + df.type + ", " + \
    df.age.astype(str) + " year" + np.where(df.age > 1, 's', '')

In [3]: df
Out[3]:
                 animal     type  age
-------------------------------------
0   dog, hound, 5 years    hound    5
1  cat, ragdoll, 1 year  ragdoll    1

Modyfikowanie wielu kolumn za pomocą warunków

Bardziej elastycznym podejściem jest wywołanie .apply()całej ramki danych zamiast pojedynczej kolumny:

def transform_row(r):
    r.animal = 'wild ' + r.type
    r.type = r.animal + ' creature'
    r.age = "{} year{}".format(r.age, r.age > 1 and 's' or '')
    return r

df.apply(transform_row, axis=1)

In[4]:
Out[4]:
         animal            type      age
----------------------------------------
0    wild hound    dog creature  5 years
1  wild ragdoll    cat creature   1 year

W powyższym kodzie transform_row(r)funkcja przyjmuje Seriesobiekt reprezentujący dany wiersz (oznaczony axis=1jako domyślna wartość axis=0zapewni Seriesobiekt dla każdej kolumny). Upraszcza to przetwarzanie, ponieważ możemy uzyskać dostęp do rzeczywistych wartości „pierwotnych” w wierszu za pomocą nazw kolumn i mieć widoczność innych komórek w danym wierszu / kolumnie.

To pytanie może być wciąż odwiedzane na tyle często, że warto zaproponować uzupełnienie odpowiedzi pana Kassiesa. dictWbudowany w klasie może być sub-klasyfikowane tak, że domyślnie jest zwracana na klucze „brakujących”. Ten mechanizm działa dobrze w przypadku pand. Ale patrz poniżej.

W ten sposób można uniknąć kluczowych błędów.

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> class SurnameMap(dict):
...     def __missing__(self, key):
...         return ''
...     
>>> surnamemap = SurnameMap()
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap[x])
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401         

To samo można zrobić prościej w następujący sposób. Użycie argumentu „default” w getmetodzie obiektu dict sprawia, że ​​nie jest konieczne tworzenie podklasy dict.

>>> import pandas as pd
>>> data = { 'ID': [ 101, 201, 301, 401 ] }
>>> df = pd.DataFrame(data)
>>> surnamemap = {}
>>> surnamemap[101] = 'Mohanty'
>>> surnamemap[301] = 'Drake'
>>> df['Surname'] = df['ID'].apply(lambda x: surnamemap.get(x, ''))
>>> df
    ID  Surname
0  101  Mohanty
1  201         
2  301    Drake
3  401