Możesz użyć pandas.cut
:
bins = [0, 1, 5, 10, 25, 50, 100]
df['binned'] = pd.cut(df['percentage'], bins)
print (df)
percentage binned
0 46.50 (25, 50]
1 44.20 (25, 50]
2 100.00 (50, 100]
3 42.12 (25, 50]
bins = [0, 1, 5, 10, 25, 50, 100]
labels = [1,2,3,4,5,6]
df['binned'] = pd.cut(df['percentage'], bins=bins, labels=labels)
print (df)
percentage binned
0 46.50 5
1 44.20 5
2 100.00 6
3 42.12 5
Lub numpy.searchsorted
:
bins = [0, 1, 5, 10, 25, 50, 100]
df['binned'] = np.searchsorted(bins, df['percentage'].values)
print (df)
percentage binned
0 46.50 5
1 44.20 5
2 100.00 6
3 42.12 5
... a następnie value_counts
or groupby
i agreguj size
:
s = pd.cut(df['percentage'], bins=bins).value_counts()
print (s)
(25, 50] 3
(50, 100] 1
(10, 25] 0
(5, 10] 0
(1, 5] 0
(0, 1] 0
Name: percentage, dtype: int64
s = df.groupby(pd.cut(df['percentage'], bins=bins)).size()
print (s)
percentage
(0, 1] 0
(1, 5] 0
(5, 10] 0
(10, 25] 0
(25, 50] 3
(50, 100] 1
dtype: int64
Domyślnie cut
zwrot categorical
.
Series
metody takie jak Series.value_counts()
wykorzystają wszystkie kategorie, nawet jeśli niektóre kategorie nie są obecne w danych, operacje w kategoriach .
bins = [0, 1, 5, 10, 25, 50, 100]
, czy mogę po prostu powiedzieć, że utwórz 5 pojemników i będzie to przecinać przeciętnie? na przykład mam 110 rekordów, chcę je podzielić na 5 pojemników po 22 rekordy w każdym.qcut
? linkdf.groupby(pd.cut(df['percentage'], bins=bins)).mean()
?Korzystanie z
numba
modułu do przyspieszenia.W przypadku dużych zbiorów danych (
500k >
)pd.cut
może być dość powolne w przypadku binowania danych.Napisałem własną funkcję
numba
z kompilacją just in time, która jest z grubsza16x
szybsza:from numba import njit @njit def cut(arr): bins = np.empty(arr.shape[0]) for idx, x in enumerate(arr): if (x >= 0) & (x < 1): bins[idx] = 1 elif (x >= 1) & (x < 5): bins[idx] = 2 elif (x >= 5) & (x < 10): bins[idx] = 3 elif (x >= 10) & (x < 25): bins[idx] = 4 elif (x >= 25) & (x < 50): bins[idx] = 5 elif (x >= 50) & (x < 100): bins[idx] = 6 else: bins[idx] = 7 return bins
cut(df['percentage'].to_numpy()) # array([5., 5., 7., 5.])
Opcjonalnie: możesz również zamapować go na kosze jako ciągi:
a = cut(df['percentage'].to_numpy()) conversion_dict = {1: 'bin1', 2: 'bin2', 3: 'bin3', 4: 'bin4', 5: 'bin5', 6: 'bin6', 7: 'bin7'} bins = list(map(conversion_dict.get, a)) # ['bin5', 'bin5', 'bin7', 'bin5']
Porównanie prędkości :
# create dataframe of 8 million rows for testing dfbig = pd.concat([df]*2000000, ignore_index=True) dfbig.shape # (8000000, 1)
%%timeit cut(dfbig['percentage'].to_numpy()) # 38 ms ± 616 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
%%timeit bins = [0, 1, 5, 10, 25, 50, 100] labels = [1,2,3,4,5,6] pd.cut(dfbig['percentage'], bins=bins, labels=labels) # 215 ms ± 9.76 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
źródło