Jaki jest najskuteczniejszy sposób zorganizowania następujących pand Dataframe:
data =
Position Letter
1 a
2 b
3 c
4 d
5 e
do słownika takiego jak alphabet[1 : 'a', 2 : 'b', 3 : 'c', 4 : 'd', 5 : 'e']
?
python
dictionary
pandas
dataframe
user1083734
źródło
źródło
izip
, a niezip
; generator robi różnicę, jak sądzęZnalazłem szybszy sposób rozwiązania problemu, przynajmniej w przypadku realistycznie dużych zbiorów danych przy użyciu:
df.set_index(KEY).to_dict()[VALUE]
Dowód na 50000 rzędach:
df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB')) df['A'] = df['A'].apply(chr) %timeit dict(zip(df.A,df.B)) %timeit pd.Series(df.A.values,index=df.B).to_dict() %timeit df.set_index('A').to_dict()['B']
Wynik:
100 loops, best of 3: 7.04 ms per loop # WouterOvermeire 100 loops, best of 3: 9.83 ms per loop # Jeff 100 loops, best of 3: 4.28 ms per loop # Kikohs (me)
źródło
W Pythonie 3.6 najszybszym sposobem jest nadal WouterOvermeire. Propozycja Kikohsa jest wolniejsza niż pozostałe dwie opcje.
import timeit setup = ''' import pandas as pd import numpy as np df = pd.DataFrame(np.random.randint(32, 120, 100000).reshape(50000,2),columns=list('AB')) df['A'] = df['A'].apply(chr) ''' timeit.Timer('dict(zip(df.A,df.B))', setup=setup).repeat(7,500) timeit.Timer('pd.Series(df.A.values,index=df.B).to_dict()', setup=setup).repeat(7,500) timeit.Timer('df.set_index("A").to_dict()["B"]', setup=setup).repeat(7,500)
Wyniki:
1.1214002349999777 s # WouterOvermeire 1.1922008498571748 s # Jeff 1.7034366211428602 s # Kikohs
źródło
TL; DR
>>> import pandas as pd >>> df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']}) >>> dict(sorted(df.values.tolist())) # Sort of sorted... {'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5} >>> from collections import OrderedDict >>> OrderedDict(df.values.tolist()) OrderedDict([('a', 1), ('b', 2), ('c', 3), ('d', 4), ('e', 5)])
Za długo
Wyjaśnienie rozwiązania:
dict(sorted(df.values.tolist()))
Dany:
df = pd.DataFrame({'Position':[1,2,3,4,5], 'Letter':['a', 'b', 'c', 'd', 'e']})
[na zewnątrz]:
Letter Position 0 a 1 1 b 2 2 c 3 3 d 4 4 e 5
Próbować:
# Get the values out to a 2-D numpy array, df.values
[na zewnątrz]:
array([['a', 1], ['b', 2], ['c', 3], ['d', 4], ['e', 5]], dtype=object)
Następnie opcjonalnie:
# Dump it into a list so that you can sort it using `sorted()` sorted(df.values.tolist()) # Sort by key
Lub:
# Sort by value: from operator import itemgetter sorted(df.values.tolist(), key=itemgetter(1))
[na zewnątrz]:
[['a', 1], ['b', 2], ['c', 3], ['d', 4], ['e', 5]]
Na koniec wrzuć listę z listą 2 elementów do dyktu.
[na zewnątrz]:
{'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5}
Związane z
Odpowiadanie na komentarz @sbradbio:
Jeśli istnieje wiele wartości dla określonego klucza i chciałbyś zachować je wszystkie, nie jest to najbardziej efektywny, ale najbardziej intuicyjny sposób:
from collections import defaultdict import pandas as pd multivalue_dict = defaultdict(list) df = pd.DataFrame({'Position':[1,2,4,4,4], 'Letter':['a', 'b', 'd', 'e', 'f']}) for idx,row in df.iterrows(): multivalue_dict[row['Position']].append(row['Letter'])
[na zewnątrz]:
>>> print(multivalue_dict) defaultdict(list, {1: ['a'], 2: ['b'], 4: ['d', 'e', 'f']})
źródło
{'key': [value1, value2]}