Dzwoniąc

df = pd.read_csv('somefile.csv')

Dostaję:

/Users/josh/anaconda/envs/py27/lib/python2.7/site-packages/pandas/io/parsers.py:1130: DtypeWarning: Kolumny (4,5,7,16) mają różne typy. Podaj opcję dtype podczas importu lub ustaw low_memory = False.

Dlaczego dtypeopcja jest powiązana low_memoryi dlaczego miałaby Falsepomóc w rozwiązaniu tego problemu?

Przestarzała opcja low_memory

low_memoryOpcja nie jest prawidłowo przestarzałe, ale powinno być, ponieważ w rzeczywistości nie robić nic inaczej [ źródło ]

Powodem, dla którego low_memorypojawia się to ostrzeżenie, jest to, że zgadywanie typów dla każdej kolumny jest bardzo wymagające pod względem pamięci. Pandas próbuje ustalić, który typ należy ustawić, analizując dane w każdej kolumnie.

Dtype Guessing (bardzo źle)

Pandy mogą określić, jaki typ powinien mieć kolumna po odczytaniu całego pliku. Oznacza to, że tak naprawdę nic nie można przeanalizować przed odczytaniem całego pliku, chyba że ryzykujesz koniecznością zmiany typu tej kolumny podczas czytania ostatniej wartości.

Rozważ przykład jednego pliku, który ma kolumnę o nazwie user_id. Zawiera 10 milionów wierszy, w których identyfikator_użytkownika to zawsze liczby. Ponieważ pandy nie mogą wiedzieć, że to tylko liczby, prawdopodobnie zachowa je jako oryginalne ciągi znaków, dopóki nie przeczyta całego pliku.

Określanie typów (zawsze należy to zrobić)

dodawanie

dtype={'user_id': int}

do pd.read_csv()połączenia uczyni pandy wiedzieć kiedy zaczyna odczytu pliku, że jest to tylko liczby całkowite.

Warto również zauważyć, że jeśli ostatni wiersz w pliku zostałby "foobar"zapisany w user_idkolumnie, ładowanie zawiesiłoby się, gdyby podano powyższy typ kodu.

Przykład uszkodzonych danych, które psują się, gdy zdefiniowane są dtypy

import pandas as pd
try:
    from StringIO import StringIO
except ImportError:
    from io import StringIO


csvdata = """user_id,username
1,Alice
3,Bob
foobar,Caesar"""
sio = StringIO(csvdata)
pd.read_csv(sio, dtype={"user_id": int, "username": "string"})

ValueError: invalid literal for long() with base 10: 'foobar'

dtypy są zwykle dziwaczne, przeczytaj o nich więcej tutaj: http://docs.scipy.org/doc/numpy/reference/generated/numpy.dtype.html

Jakie istnieją typy?

Mamy dostęp do typów numpy: float, int, bool, timedelta64 [ns] i datetime64 [ns]. Zauważ, że typy liczbowe data / czas nie są zależne od strefy czasowej.

Pandy rozszerzają ten zestaw typów o własne:

„datetime64 [ns,]” Który jest znacznikiem czasu uwzględniającym strefę czasową.

„kategoria”, która jest zasadniczo wyliczeniem (ciągi znaków reprezentowane przez klucze całkowite do zapisania

„okres []” Nie należy mylić ich z timedelta, obiekty te są faktycznie zakotwiczone w określonych przedziałach czasowych

„Sparse”, „Sparse [int]”, „Sparse [float]” jest przeznaczony do rzadkich danych lub „danych z dużą ilością dziur” Zamiast zapisywać NaN lub None w ramce danych pomija obiekty, oszczędzając miejsce .

„Interwał” jest odrębnym tematem, ale jego głównym zastosowaniem jest indeksowanie. Zobacz więcej tutaj

„Int8”, „Int16”, „Int32”, „Int64”, „UInt8”, „UInt16”, „UInt32”, „UInt64” to liczby całkowite specyficzne dla pand, które można zerować, w przeciwieństwie do wariantu numpy.

„ciąg” jest specyficznym typem do pracy z danymi ciąg i zapewnia dostęp do .stratrybutu w serii.

„boolean” jest jak numpy „bool”, ale obsługuje także brakujące dane.

Przeczytaj pełne odniesienie tutaj:

Odwołanie do typu pandy

Gotchas, zastrzeżenia, notatki

Ustawienie dtype=objectwyciszy powyższe ostrzeżenie, ale nie sprawi, że będzie bardziej wydajna pamięć, tylko wydajne przetwarzanie.

Ustawienie dtype=unicodenic nie zrobi, ponieważ dla numpy, a unicodejest reprezentowane jako object.

Wykorzystanie konwerterów

@sparrow poprawnie wskazuje użycie konwerterów, aby uniknąć wysadzenia pand podczas spotkania 'foobar'w kolumnie określonej jako int. Chciałbym dodać, że konwertery są naprawdę ciężkie i nieefektywne w użyciu w pandach i powinny być używane w ostateczności. Wynika to z faktu, że proces read_csv jest procesem pojedynczym.

Pliki CSV mogą być przetwarzane wiersz po wierszu, a tym samym mogą być przetwarzane przez wiele konwerterów równolegle bardziej wydajnie, po prostu dzieląc plik na segmenty i uruchamiając wiele procesów, czego nie obsługuje panda. Ale to inna historia.

Próbować:

dashboard_df = pd.read_csv(p_file, sep=',', error_bad_lines=False, index_col=False, dtype='unicode')

Zgodnie z dokumentacją pand:

dtype: wpisz nazwę lub dyktowanie kolumny -> wpisz

Jeśli chodzi o low_memory, jest to domyślnie Prawda i nie jest jeszcze udokumentowane. Nie sądzę jednak, żeby było to istotne. Komunikat o błędzie jest ogólny, więc i tak nie powinieneś zadzierać z low_memory. Mam nadzieję, że to pomoże i daj mi znać, jeśli masz dalsze problemy

df = pd.read_csv('somefile.csv', low_memory=False)

To powinno rozwiązać problem. Otrzymałem dokładnie ten sam błąd, gdy czytam 1,8 mln wierszy z pliku CSV.

Jak wspomniano wcześniej przez firelynx, jeśli wyraźnie określono typ dtype i istnieją mieszane dane, które nie są zgodne z tym typem, ładowanie się zawiesi. Użyłem takiego konwertera jako obejścia, aby zmienić wartości z niezgodnym typem danych, aby dane mogły być nadal ładowane.

def conv(val):
    if not val:
        return 0    
    try:
        return np.float64(val)
    except:        
        return np.float64(0)

df = pd.read_csv(csv_file,converters={'COL_A':conv,'COL_B':conv})

Miałem podobny problem z plikiem ~ 400 MB. Ustawienie low_memory=Falsezałatwiło sprawę dla mnie. Najpierw wykonaj proste czynności: sprawdzę, czy twoja ramka danych nie jest większa niż pamięć systemowa, uruchom ponownie, wyczyść pamięć RAM przed kontynuowaniem. Jeśli nadal występują błędy, warto upewnić się, że .csvplik jest w porządku, rzuć okiem na program Excel i upewnij się, że nie ma widocznego uszkodzenia. Zepsute oryginalne dane mogą siać spustoszenie ...

Miałem podobny problem podczas przetwarzania ogromnego pliku csv (6 milionów wierszy). Miałem trzy problemy: 1. plik zawierał dziwne znaki (naprawione za pomocą kodowania) 2. typ danych nie został określony (naprawiony za pomocą właściwości dtype) 3. Korzystając z powyższego nadal napotykałem problem związany z formatem pliku, który nie mógł być zdefiniowane na podstawie nazwy pliku (naprawione przy pomocy try .. oprócz ...)

df = pd.read_csv(csv_file,sep=';', encoding = 'ISO-8859-1',
                 names=['permission','owner_name','group_name','size','ctime','mtime','atime','filename','full_filename'],
                 dtype={'permission':str,'owner_name':str,'group_name':str,'size':str,'ctime':object,'mtime':object,'atime':object,'filename':str,'full_filename':str,'first_date':object,'last_date':object})

try:
    df['file_format'] = [Path(f).suffix[1:] for f in df.filename.tolist()]
except:
    df['file_format'] = ''

To działało dla mnie low_memory = Falsepodczas importowania DataFrame. To wszystko, co działało dla mnie:

df = pd.read_csv('export4_16.csv',low_memory=False)