Utwórz Pandas DataFrame z ciągu

276

Aby przetestować niektóre funkcje, chciałbym utworzyć DataFrameciąg znaków. Powiedzmy, że moje dane testowe wyglądają następująco:

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

Jaki jest najprostszy sposób wczytania tych danych do Pand DataFrame?

Emil H.
źródło

Odpowiedzi:

497

Prostym sposobem na to jest użycie StringIO.StringIO(python2) lub io.StringIO(python3) i przekazanie tego do pandas.read_csvfunkcji. Na przykład:

import sys
if sys.version_info[0] < 3: 
    from StringIO import StringIO
else:
    from io import StringIO

import pandas as pd

TESTDATA = StringIO("""col1;col2;col3
    1;4.4;99
    2;4.5;200
    3;4.7;65
    4;3.2;140
    """)

df = pd.read_csv(TESTDATA, sep=";")
Emil H.
źródło
7
Jeśli potrzebujesz kodu kompatybilnego zarówno z Pythonem 2, jak i 3, możesz opcjonalnie również użyć from pandas.compat import StringIO, zauważając, że jest to ta sama klasa, co ta, która jest dostarczana z Pythonem.
Acumenus
3
FYI - pd.read_table()jest odpowiednikiem funkcji, tylko nieznacznie lepiej nomenklatura: df = pd.read_table(TESTDATA, sep=";").
wkzhu,
5
@AntonvBR Zauważyłem, że można użyć pandas.compat.StringIO. W ten sposób nie musimy importować StringIOosobno. Jednak pandas.compatpakiet jest uważany za prywatny zgodnie z pandas.pydata.org/pandas-docs/stable/api.html?highlight=compat, więc pozostawia odpowiedź na razie.
Emil H,
Jeśli tworzysz TESTDATA za pomocą df.to_csv(TESTDATA), użyjTESTDATA.seek(0)
user3226167
18

Metoda podziału

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)
shaurya uppal
źródło
2
Jeśli chcesz używać pierwszego wiersza dla nazw kolumn, zmień drugi wiersz na:df = pd.DataFrame([x.split(';') for x in data.split('\n')[1:]], columns=[x for x in data.split('\n')[0].split(';')])
Mabyn,
1
To źle, ponieważ w plikach CSV znak nowej linii (\ n) może być częścią pola.
Antonio Ercole De Luca
To nie jest zbyt solidne i większość ludzi byłaby lepsza z przyjętą odpowiedzią. Istnieje bardzo częściowa lista rzeczy, które mogą pójść nie tak z tym na thomasburette.com/blog/2014/05/25/…
DanB
10

Szybkim i łatwym rozwiązaniem do interaktywnej pracy jest kopiowanie i wklejanie tekstu poprzez ładowanie danych ze schowka.

Wybierz zawartość ciągu za pomocą myszy:

Skopiuj dane do wklejenia w ramce danych Pandas

W użyciu powłoki Pythona read_clipboard()

>>> pd.read_clipboard()
  col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

Użyj odpowiedniego separatora:

>>> pd.read_clipboard(sep=';')
   col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140

>>> df = pd.read_clipboard(sep=';') # save to dataframe
użytkownik2314737
źródło
2
Nie sprzyja to odtwarzalności, ale poza tym całkiem fajne rozwiązanie!
Mabyn
5

Tradycyjny plik CSV o zmiennej szerokości jest nieczytelny do przechowywania danych jako zmiennej łańcuchowej. Zwłaszcza w przypadku użycia wewnątrz .pypliku, zamiast tego rozważ dane o stałej szerokości oddzielone rurami. Różne środowiska IDE i edytory mogą mieć wtyczkę do formatowania tekstu rozdzielanego potokami w uporządkowanej tabeli.

Za pomocą read_csv

Przechowuj następujące elementy w module narzędziowym, np util/pandas.py. Przykład jest zawarty w dokumencie docstring.

import io
import re

import pandas as pd


def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
    """Read a Pandas object from a pipe-separated table contained within a string.

    Input example:
        | int_score | ext_score | eligible |
        |           | 701       | True     |
        | 221.3     | 0         | False    |
        |           | 576       | True     |
        | 300       | 600       | True     |

    The leading and trailing pipes are optional, but if one is present,
    so must be the other.

    `kwargs` are passed to `read_csv`. They must not include `sep`.

    In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can 
    be used to neatly format a table.

    Ref: https://stackoverflow.com/a/46471952/
    """

    substitutions = [
        ('^ *', ''),  # Remove leading spaces
        (' *$', ''),  # Remove trailing spaces
        (r' *\| *', '|'),  # Remove spaces between columns
    ]
    if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
        substitutions.extend([
            (r'^\|', ''),  # Remove redundant leading delimiter
            (r'\|$', ''),  # Remove redundant trailing delimiter
        ])
    for pattern, replacement in substitutions:
        str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
    return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

Niedziałające alternatywy

Poniższy kod nie działa poprawnie, ponieważ dodaje pustą kolumnę po lewej i prawej stronie.

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

Jeśli chodzi o read_fwfto , nie używa tak wielu opcjonalnych kwargów, które read_csvakceptują i używają. W związku z tym nie należy go w ogóle używać w przypadku danych rozdzielanych potokami.

Acumenus
źródło
1
Znalazłem (metodą prób i błędów), że read_fwfwymaga więcej read_csvargumentów niż jest to udokumentowane, ale prawdą jest, że niektóre nie mają żadnego efektu .
gerrit
-4

Najprostszym sposobem jest zapisanie go do pliku tymczasowego, a następnie odczytanie go:

import pandas as pd

CSV_FILE_NAME = 'temp_file.csv'  # Consider creating temp file, look URL below
with open(CSV_FILE_NAME, 'w') as outfile:
    outfile.write(TESTDATA)
df = pd.read_csv(CSV_FILE_NAME, sep=';')

Właściwy sposób tworzenia pliku tymczasowego: Jak mogę utworzyć plik tmp w Pythonie?

QtRoS
źródło
co jeśli nie ma uprawnień do utworzenia pliku?
BingLi224
Moim zdaniem nie jest to już najprostszy przypadek. Zauważ, że „najprostszy” jest wyraźnie określony w pytaniu.
QtRoS