Odczytaj spakowany plik jako pandas DataFrame

Próbuję rozpakować plik csv i przekazać go do pand, aby móc pracować nad plikiem.
Kod, który do tej pory wypróbowałem, to:

import requests, zipfile, StringIO
r = requests.get('http://data.octo.dc.gov/feeds/crime_incidents/archive/crime_incidents_2013_CSV.zip')
z = zipfile.ZipFile(StringIO.StringIO(r.content))
crime2013 = pandas.read_csv(z.read('crime_incidents_2013_CSV.csv'))

Po ostatnim wierszu, mimo że Python jest w stanie pobrać plik, na końcu błędu pojawia się komunikat „nie istnieje”.

Czy ktoś może mi powiedzieć, co robię nieprawidłowo?

Jeśli chcesz wczytać spakowany plik lub plik tar.gz do pandy dataframe, read_csvmetody obejmują tę konkretną implementację.

df = pd.read_csv('filename.zip')

Lub długa forma:

df = pd.read_csv('filename.zip', compression='zip', header=0, sep=',', quotechar='"')

Opis argumentu kompresji z dokumentacji :

kompresja : {'infer', 'gzip', 'bz2', 'zip', 'xz', None}, default 'infer' Do dekompresji w locie danych na dysku. Jeśli „infer” i ścieżka_pliku_lub_buffer są podobne do ścieżki, wykryj kompresję z następujących rozszerzeń: „.gz”, „.bz2”, „.zip” lub „.xz” (w przeciwnym razie bez dekompresji). Jeśli używasz „zip”, plik ZIP musi zawierać tylko jeden plik danych do wczytania. Ustaw na Brak, aby nie było dekompresji.

Nowość w wersji 0.18.1: obsługa kompresji „zip” i „xz”.

Myślę, że chcesz openZipFile, który zwraca obiekt podobny do pliku, a nie read:

In [11]: crime2013 = pd.read_csv(z.open('crime_incidents_2013_CSV.csv'))

In [12]: crime2013
Out[12]:
<class 'pandas.core.frame.DataFrame'>
Int64Index: 24567 entries, 0 to 24566
Data columns (total 15 columns):
CCN                            24567  non-null values
REPORTDATETIME                 24567  non-null values
SHIFT                          24567  non-null values
OFFENSE                        24567  non-null values
METHOD                         24567  non-null values
LASTMODIFIEDDATE               24567  non-null values
BLOCKSITEADDRESS               24567  non-null values
BLOCKXCOORD                    24567  non-null values
BLOCKYCOORD                    24567  non-null values
WARD                           24563  non-null values
ANC                            24567  non-null values
DISTRICT                       24567  non-null values
PSA                            24567  non-null values
NEIGHBORHOODCLUSTER            24263  non-null values
BUSINESSIMPROVEMENTDISTRICT    3613  non-null values
dtypes: float64(4), int64(1), object(10)

Wygląda na to, że nie musisz już nawet określać kompresji. Poniższy fragment kodu ładuje dane z filename.zip do df.

import pandas as pd
df = pd.read_csv('filename.zip')

(Oczywiście będziesz musiał określić separator, nagłówek itp., Jeśli różnią się one od wartości domyślnych).

W przypadku plików „ zip ” możesz użyć, import zipfilea Twój kod będzie działał po prostu z następującymi wierszami:

import zipfile
import pandas as pd
with zipfile.ZipFile("Crime_Incidents_in_2013.zip") as z:
   with z.open("Crime_Incidents_in_2013.csv") as f:
      train = pd.read_csv(f, header=0, delimiter="\t")
      print(train.head())    # print the first 5 rows

Rezultatem będzie:

X,Y,CCN,REPORT_DAT,SHIFT,METHOD,OFFENSE,BLOCK,XBLOCK,YBLOCK,WARD,ANC,DISTRICT,PSA,NEIGHBORHOOD_CLUSTER,BLOCK_GROUP,CENSUS_TRACT,VOTING_PRECINCT,XCOORD,YCOORD,LATITUDE,LONGITUDE,BID,START_DATE,END_DATE,OBJECTID
0  -77.054968548763071,38.899775938598317,0925135...                                                                                                                                                               
1  -76.967309569035052,38.872119553647011,1003352...                                                                                                                                                               
2  -76.996184958456539,38.927921847721443,1101010...                                                                                                                                                               
3  -76.943077541353617,38.883686046653935,1104551...                                                                                                                                                               
4  -76.939209158039446,38.892278093281632,1125028...

https://www.kaggle.com/jboysen/quick-gz-pandas-tutorial

Proszę skorzystać z tego linku.

import pandas as pd
traffic_station_df = pd.read_csv('C:\\Folders\\Jupiter_Feed.txt.gz', compression='gzip',
                                 header=1, sep='\t', quotechar='"')

#traffic_station_df['Address'] = 'address'

#traffic_station_df.append(traffic_station_df)
print(traffic_station_df)