Jak pogrupować wpisy DataFrame pandy według daty w nieunikalnej kolumnie

Pandy DataFramezawiera kolumnę o nazwie, "date"która zawiera nieunikalne datetimewartości. Mogę pogrupować linie w tej ramce za pomocą:

data.groupby(data['date'])

Jednak powoduje to podział danych według datetimewartości. Chciałbym pogrupować te dane według roku zapisanego w kolumnie „data”. Ta strona pokazuje, jak grupować według roku w przypadkach, gdy znacznik czasu jest używany jako indeks, co nie jest prawdą w moim przypadku.

Jak osiągnąć to grupowanie?

Używam pand 0.16.2. Ma to lepszą wydajność w moim dużym zestawie danych:

data.groupby(data.date.dt.year)

Korzystanie z dtopcji i zabawy z weekofyear, dayofweekitd. Staje się o wiele łatwiejsze.

rozwiązanie ecatmur będzie działać dobrze. Będzie to jednak lepsza wydajność w przypadku dużych zbiorów danych:

data.groupby(data['date'].map(lambda x: x.year))

Może to być łatwiejsze do wyjaśnienia za pomocą przykładowego zbioru danych.

Utwórz przykładowe dane

Załóżmy, że mamy jedną kolumnę znaczniki czasu, datea inną kolumnę chcielibyśmy przeprowadzić na agregację, a.

df = pd.DataFrame({'date':pd.DatetimeIndex(['2012-1-1', '2012-6-1', '2015-1-1', '2015-2-1', '2015-3-1']),
                   'a':[9,5,1,2,3]}, columns=['date', 'a'])

df

        date  a
0 2012-01-01  9
1 2012-06-01  5
2 2015-01-01  1
3 2015-02-01  2
4 2015-03-01  3

Istnieje kilka sposobów grupowania według roku

• Użyj akcesorium dt z yearwłaściwością
• Wprowadź dateindeks i użyj funkcji anonimowej, aby uzyskać dostęp do roku
• Użyj resamplemetody
• Konwertuj na okres pandy

.dtakcesor z yearwłasnością

Gdy masz kolumnę (a nie indeks) sygnatur czasowych pand, możesz uzyskać dostęp do wielu dodatkowych właściwości i metod za pomocą dtakcesorium. Na przykład:

df['date'].dt.year

0    2012
1    2012
2    2015
3    2015
4    2015
Name: date, dtype: int64

Możemy użyć tego do utworzenia naszych grup i obliczenia niektórych agregacji w określonej kolumnie:

df.groupby(df['date'].dt.year)['a'].agg(['sum', 'mean', 'max'])

      sum  mean  max
date                
2012   14     7    9
2015    6     2    3

wstaw datę do indeksu i użyj funkcji anonimowej, aby uzyskać dostęp do roku

Jeśli ustawisz kolumnę daty jako indeks, stanie się ona DateTimeIndex z tymi samymi właściwościami i metodami, jak metoda dtakcesora, która daje normalne kolumny

df1 = df.set_index('date')
df1.index.year

Int64Index([2012, 2012, 2015, 2015, 2015], dtype='int64', name='date')

Co ciekawe, korzystając z metody groupby, możesz przekazać jej funkcję. Ta funkcja zostanie niejawnie przekazana do indeksu DataFrame. Tak więc możemy uzyskać ten sam wynik z góry, wykonując następujące czynności:

df1.groupby(lambda x: x.year)['a'].agg(['sum', 'mean', 'max'])

      sum  mean  max
2012   14     7    9
2015    6     2    3

Użyj resamplemetody

Jeśli Twoja kolumna daty nie znajduje się w indeksie, musisz określić kolumnę za pomocą onparametru. Musisz również określić alias przesunięcia jako ciąg.

df.resample('AS', on='date')['a'].agg(['sum', 'mean', 'max'])

             sum  mean  max
date                       
2012-01-01  14.0   7.0  9.0
2013-01-01   NaN   NaN  NaN
2014-01-01   NaN   NaN  NaN
2015-01-01   6.0   2.0  3.0

Konwertuj na okres pandy

Możesz także przekonwertować kolumnę daty na obiekt Pandy Period. Musimy przekazać alias przesunięcia jako ciąg znaków, aby określić długość okresu.

df['date'].dt.to_period('A')

0   2012
1   2012
2   2015
3   2015
4   2015
Name: date, dtype: object

Następnie możemy użyć tego jako grupy

df.groupby(df['date'].dt.to_period('Y'))['a'].agg(['sum', 'mean', 'max'])


      sum  mean  max
2012   14     7    9
2015    6     2    3

To powinno działać:

data.groupby(lambda x: data['date'][x].year)

to też zadziała

data.groupby(data['date'].dt.year)