Mam listę ramek danych Pandas, które chciałbym połączyć w jedną ramkę danych Pandas. Używam Pythona 2.7.10 i Pandas 0.16.2 Utworzyłem listę ramek danych z: import pandas as pd dfs = [] sqlall = "select * from mytable" for chunk in pd.read_sql_query(sqlall , cnxn, chunksize=10000):...
Moje dane mogą mieć wiele wydarzeń w określonym dniu lub ŻADNYCH wydarzeń w danym dniu. Biorę te wydarzenia, liczę według daty i wykreślam je. Jednak kiedy je wykreślam, moje dwie serie nie zawsze pasują. idx = pd.date_range(df['simpleDate'].min(), df['simpleDate'].max()) s =...
W R, jak dodać nowy wiersz do ramki danych, gdy ramka danych została już zainicjowana? Jak dotąd mam to: df <- data.frame("hi", "bye") names(df) <- c("hello", "goodbye") #I am trying to add "hola" and "ciao" as a new row de <- data.frame("hola", "ciao") merge(df, de) # Adds to the same...
Mam ramkę danych, która składa się z setek kolumn i muszę zobaczyć wszystkie nazwy kolumn. Co ja zrobiłem: In[37]: data_all2.columns Wynik to: Out[37]: Index(['customer_id', 'incoming', 'outgoing', 'awan', 'bank', 'family', 'food', 'government', 'internet', 'isipulsa', ......
Zacząłem używać Spark SQL i DataFrames w Spark 1.4.0. Chcę zdefiniować niestandardowy partycjoner w DataFrames w Scali, ale nie widzę, jak to zrobić. Jedna z tabel danych, z którymi pracuję, zawiera listę transakcji według konta, jak w poniższym przykładzie. Account Date Type Amount 1001...
Załóżmy, że mam zmienną odpowiedzi i dane zawierające trzy zmienne towarzyszące (jako przykład zabawki): y = c(1,4,6) d = data.frame(x1 = c(4,-1,3), x2 = c(3,9,8), x3 = c(4,-4,-2)) Chcę dopasować regresję liniową do danych: fit = lm(y ~ d$x1 + d$x2 + d$y2) Czy istnieje sposób na zapisanie...
Czytam w pliku csv z wieloma kolumnami z datą i godziną. Musiałbym ustawić typy danych po wczytaniu pliku, ale czasy dat wydają się być problemem. Na przykład: headers = ['col1', 'col2', 'col3', 'col4'] dtypes = ['datetime', 'datetime', 'str', 'float'] pd.read_csv(file, sep='\t', header=None,...
Mam Pandas DataFrame i chcę połączyć kolumny „szerokie” i „długie”, aby utworzyć krotkę. <class 'pandas.core.frame.DataFrame'> Int64Index: 205482 entries, 0 to 209018 Data columns: Month 205482 non-null values Reported by 205482 non-null values Falls within 205482 non-null values Easting...
Mam pandy DataFrame, które chcę przesłać do nowego pliku CSV. Problem w tym, że nie chcę zapisywać pliku lokalnie przed przesłaniem go do s3. Czy istnieje metoda, taka jak to_csv, do bezpośredniego zapisu ramki danych do s3? Używam boto3. Oto, co mam do tej pory: import boto3 s3 =...
Wiem, że jeśli używam randn, import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(100, 4), columns=list('ABCD')) daje mi to, czego szukam, ale z elementami z normalnej dystrybucji. Ale co, jeśli chcę tylko losowych liczb całkowitych? randintdziała poprzez podanie zakresu, ale...
Mam plik data.frame, który chciałbym przekonwertować na listę według wierszy, co oznacza, że każdy wiersz odpowiadałby własnym elementom listy. Innymi słowy, chciałbym otrzymać listę tak długą, jak data.frame zawiera wiersze. Do tej pory rozwiązywałem ten problem w następujący sposób, ale...
Mam DataFrame taką jak ta: In [7]: frame.head() Out[7]: Communications and Search Business General Lifestyle 0 0.745763 0.050847 0.118644 0.084746 0 0.333333 0.000000 0.583333 0.083333 0 0.617021 0.042553 0.297872 0.042553 0 0.435897 0.000000 0.410256 0.153846 0 0.358974 0.076923 0.410256...
Jestem nowy w pandach i próbuję wymyślić, jak jednocześnie dodać wiele kolumn do pand. Każda pomoc jest mile widziana. Idealnie chciałbym to zrobić w jednym kroku, a nie w wielu powtarzanych krokach ... import pandas as pd df = {'col_1': [0, 1, 2, 3], 'col_2': [4, 5, 6, 7]} df =...
Mam wektor z różnymi nazwami kolumn i chcę mieć możliwość zapętlenia każdej z nich, aby wyodrębnić tę kolumnę z data.frame. Na przykład, rozważ zestaw danych mtcarsi niektóre nazwy zmiennych przechowywane w wektorze znakowym cols. Kiedy próbuję wybrać zmienną mtcarsprzy użyciu dynamicznego...
Mam ramkę danych i chciałbym policzyć wiersze w każdej grupie. Regularnie używam aggregatefunkcji do sumowania danych w następujący sposób: df2 <- aggregate(x ~ Year + Month, data = df1, sum) Chciałbym teraz policzyć obserwacje, ale nie mogę znaleźć odpowiedniego argumentu za FUN. Intuicyjnie...
Próbuję uzyskać dostęp do indeksu wiersza w funkcji stosowanej w całej DataFramePandas. Mam coś takiego: df = pandas.DataFrame([[1,2,3],[4,5,6]], columns=['a','b','c']) >>> df a b c 0 1 2 3 1 4 5 6 i zdefiniuję funkcję, która ma dostęp do elementów z podanym wierszem def...
Używając Python Pandas próbuję znaleźć Country& Placeo maksymalnej wartości. Zwraca maksymalną wartość: data.groupby(['Country','Place'])['Value'].max() Ale jak mogę uzyskać odpowiedni Countryi
Mam następujący DataFrame, w którym jedna z kolumn jest obiektem (komórka typu listy): df=pd.DataFrame({'A':[1,2],'B':[[1,2],[1,2]]}) df Out[458]: A B 0 1 [1, 2] 1 2 [1, 2] Oczekiwany wynik to: A B 0 1 1 1 1 2 3 2 1 4 2 2 Co mam zrobić, żeby to osiągnąć? Powiązane pytanie pandy: gdy...
Rozejrzałem się po StackOverflow, ale nie mogę znaleźć rozwiązania specyficznego dla mojego problemu, który obejmuje dołączanie wierszy do ramki danych R. Inicjalizuję pustą 2-kolumnową ramkę danych w następujący sposób. df = data.frame(x = numeric(), y = character()) Następnie moim celem jest...
Próbuję napisać funkcję akceptującą data.frame ( x) iz columnniej. Funkcja wykonuje pewne obliczenia na x, a później zwraca kolejną ramkę data.frame. Utknąłem na najlepszej metodzie przekazywania nazwy kolumny do funkcji. Dwa minimalne przykłady fun1ifun2 poniżej uzyskania pożądanego rezultatu,...