Użyj .corr, aby uzyskać korelację między dwiema kolumnami

Mam następującą ramkę danych pandy Top15:

Tworzę kolumnę, która szacuje liczbę cytowanych dokumentów na osobę:

Top15['PopEst'] = Top15['Energy Supply'] / Top15['Energy Supply per Capita']
Top15['Citable docs per Capita'] = Top15['Citable documents'] / Top15['PopEst']

Chcę poznać korelację między liczbą cytowanych dokumentów na mieszkańca a podażą energii na mieszkańca. Więc używam .corr()metody (korelacja Pearsona):

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

Chcę zwrócić jedną liczbę, ale wynik jest taki:

Bez faktycznych danych trudno odpowiedzieć na pytanie, ale myślę, że szukasz czegoś takiego:

Top15['Citable docs per Capita'].corr(Top15['Energy Supply per Capita'])

To oblicza korelację między twoimi dwiema kolumnami 'Citable docs per Capita' i 'Energy Supply per Capita'.

Dać przykład:

import pandas as pd

df = pd.DataFrame({'A': range(4), 'B': [2*i for i in range(4)]})

   A  B
0  0  0
1  1  2
2  2  4
3  3  6

Następnie

df['A'].corr(df['B'])

daje 1zgodnie z oczekiwaniami.

Teraz, jeśli zmienisz wartość, np

df.loc[2, 'B'] = 4.5

   A    B
0  0  0.0
1  1  2.0
2  2  4.5
3  3  6.0

Komenda

df['A'].corr(df['B'])

zwroty

0.99586

która nadal jest bliska 1, zgodnie z oczekiwaniami.

Jeśli zastosujesz się .corrbezpośrednio do swojej ramki danych, zwróci ona wszystkie korelacje parami między kolumnami ; dlatego obserwujesz następnie 1sprzekątną swojej macierzy (każda kolumna jest ze sobą doskonale skorelowana).

df.corr()

dlatego powróci

          A         B
A  1.000000  0.995862
B  0.995862  1.000000

Na przedstawionej grafice przedstawiony jest tylko lewy górny róg macierzy korelacji (zakładam).

Mogą wystąpić przypadki, w których otrzymasz NaNs w swoim rozwiązaniu - sprawdź przykład w tym poście .

Jeśli chcesz filtrować wpisy powyżej / poniżej określonego progu, możesz sprawdzić to pytanie . Jeśli chcesz wykreślić mapę cieplną współczynników korelacji, możesz sprawdzić tę odpowiedź, a jeśli następnie napotkasz problem z nakładającymi się etykietami osi, sprawdź następujący post .

Napotkałem ten sam problem. Wyglądało na Citable Documents per Personto, że jest to float, a Python jakoś domyślnie go pomija. Wszystkie inne kolumny mojej ramki danych były w formacie numpy, więc rozwiązałem to, konwertując kolumnę nanp.float64

Top15['Citable Documents per Person']=np.float64(Top15['Citable Documents per Person'])

Pamiętaj, że to dokładnie ta kolumna, którą sam obliczyłeś

Moje rozwiązanie byłoby po konwersji danych na typ liczbowy:

Top15[['Citable docs per Capita','Energy Supply per Capita']].corr()

Jeśli chcesz uzyskać korelacje między wszystkimi parami kolumn, możesz zrobić coś takiego:

import pandas as pd
import numpy as np

def get_corrs(df):
    col_correlations = df.corr()
    col_correlations.loc[:, :] = np.tril(col_correlations, k=-1)
    cor_pairs = col_correlations.stack()
    return cor_pairs.to_dict()

my_corrs = get_corrs(df)
# and the following line to retrieve the single correlation
print(my_corrs[('Citable docs per Capita','Energy Supply per Capita')])

Kiedy nazywasz to:

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

Ponieważ funkcja DataFrame.corr () wykonuje korelacje parami, masz cztery pary z dwóch zmiennych. Tak więc, zasadniczo otrzymujesz wartości przekątne jako autokorelację (korelacja ze sobą, dwie wartości, ponieważ masz dwie zmienne), a pozostałe dwie wartości jako korelacje krzyżowe między sobą i odwrotnie.

Aby uzyskać jedną wartość, wykonaj korelację między dwiema seriami:

from scipy.stats.stats import pearsonr
docs_col = Top15['Citable docs per Capita'].values
energy_col = Top15['Energy Supply per Capita'].values
corr , _ = pearsonr(docs_col, energy_col)

lub, jeśli chcesz pojedynczą wartość z tej samej funkcji (Corr DataFrame):

single_value = correlation[0][1] 

Mam nadzieję że to pomoże.

Działa to tak:

Top15['Citable docs per Capita']=np.float64(Top15['Citable docs per Capita'])

Top15['Energy Supply per Capita']=np.float64(Top15['Energy Supply per Capita'])

Top15['Energy Supply per Capita'].corr(Top15['Citable docs per Capita'])

Rozwiązałem ten problem, zmieniając typ danych. Jeśli zobaczysz, że „Dostarczanie energii na mieszkańca” jest typem liczbowym, a „Dokumenty do cytowania na mieszkańca” to typ obiektu. Przekonwertowałem kolumnę na zmiennoprzecinkową przy użyciu astype. Miałem ten sam problem z niektórymi funkcjami np: count_nonzeroi sumpracowałem podczas, meana stdnie.

zmiana „Citable docs per capita” na numeryczne, zanim korelacja rozwiąże problem.

    Top15['Citable docs per Capita'] = pd.to_numeric(Top15['Citable docs per Capita'])
    data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
    correlation = data.corr(method='pearson')