Chcę odczytać plik .xlsx przy użyciu biblioteki Pandas w Pythonie i przenieść dane do tabeli postgreSQL.
Do tej pory mogłem tylko:
import pandas as pd
data = pd.ExcelFile("*File Name*")
Teraz wiem, że krok został wykonany pomyślnie, ale chcę wiedzieć, w jaki sposób mogę przeanalizować plik programu Excel, który został odczytany, aby zrozumieć, w jaki sposób dane w programie Excel są mapowane na dane w danych zmiennych.
Dowiedziałem się, że dane są obiektem Dataframe, jeśli się nie mylę. Jak więc przeanalizować ten obiekt dataframe, aby wyodrębnić każdy wiersz wiersz po wierszu.
Odpowiedzi:
Zwykle tworzę słownik zawierający a
DataFrame
dla każdego arkusza:xl_file = pd.ExcelFile(file_name) dfs = {sheet_name: xl_file.parse(sheet_name) for sheet_name in xl_file.sheet_names}
Aktualizacja: W pandach w wersji 0.21.0+ można uzyskać to zachowanie wyraźniej, przechodząc
sheet_name=None
doread_excel
:dfs = pd.read_excel(file_name, sheet_name=None)
W wersji 0.20 i wcześniejszych było to
sheetname
raczej niżsheet_name
(obecnie jest to przestarzałe na rzecz powyższego):dfs = pd.read_excel(file_name, sheetname=None)
źródło
pandas.DataFrame.to_sql
może być pomocna. Do czytania możesz następnie użyćdp.py
które zwracają obiekty Pandas DataFrame.from pandas import read_excel # find your sheet name at the bottom left of your excel file and assign # it to my_sheet my_sheet = 'Sheet1' # change it to your sheet name file_name = 'products_and_categories.xlsx' # change it to the name of your excel file df = read_excel(file_name, sheet_name = my_sheet) print(df.head()) # shows headers with top 5 rows
źródło
read_excel
Metoda DataFrame jest podobna doread_csv
metody:dfs = pd.read_excel(xlsx_file, sheetname="sheet1") Help on function read_excel in module pandas.io.excel: read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None, names=None, parse_cols=None, parse_dates=False, date_parser=None, na_values=None, thousands=None, convert_float=True, has_index_names=None, converters=None, true_values=None, false_values=None, engine=None, squeeze=False, **kwds) Read an Excel table into a pandas DataFrame Parameters ---------- io : string, path object (pathlib.Path or py._path.local.LocalPath), file-like object, pandas ExcelFile, or xlrd workbook. The string could be a URL. Valid URL schemes include http, ftp, s3, and file. For file URLs, a host is expected. For instance, a local file could be file://localhost/path/to/workbook.xlsx sheetname : string, int, mixed list of strings/ints, or None, default 0 Strings are used for sheet names, Integers are used in zero-indexed sheet positions. Lists of strings/integers are used to request multiple sheets. Specify None to get all sheets. str|int -> DataFrame is returned. list|None -> Dict of DataFrames is returned, with keys representing sheets. Available Cases * Defaults to 0 -> 1st sheet as a DataFrame * 1 -> 2nd sheet as a DataFrame * "Sheet1" -> 1st sheet as a DataFrame * [0,1,"Sheet5"] -> 1st, 2nd & 5th sheet as a dictionary of DataFrames * None -> All sheets as a dictionary of DataFrames header : int, list of ints, default 0 Row (0-indexed) to use for the column labels of the parsed DataFrame. If a list of integers is passed those row positions will be combined into a ``MultiIndex`` skiprows : list-like Rows to skip at the beginning (0-indexed) skip_footer : int, default 0 Rows at the end to skip (0-indexed) index_col : int, list of ints, default None Column (0-indexed) to use as the row labels of the DataFrame. Pass None if there is no such column. If a list is passed, those columns will be combined into a ``MultiIndex`` names : array-like, default None List of column names to use. If file contains no header row, then you should explicitly pass header=None converters : dict, default None Dict of functions for converting values in certain columns. Keys can either be integers or column labels, values are functions that take one input argument, the Excel cell content, and return the transformed content. true_values : list, default None Values to consider as True .. versionadded:: 0.19.0 false_values : list, default None Values to consider as False .. versionadded:: 0.19.0 parse_cols : int or list, default None * If None then parse all columns, * If int then indicates last column to be parsed * If list of ints then indicates list of column numbers to be parsed * If string then indicates comma separated list of column names and column ranges (e.g. "A:E" or "A,C,E:F") squeeze : boolean, default False If the parsed data only contains one column then return a Series na_values : scalar, str, list-like, or dict, default None Additional strings to recognize as NA/NaN. If dict passed, specific per-column NA values. By default the following values are interpreted as NaN: '', '#N/A', '#N/A N/A', '#NA', '-1.#IND', '-1.#QNAN', '-NaN', '-nan', '1.#IND', '1.#QNAN', 'N/A', 'NA', 'NULL', 'NaN', 'nan'. thousands : str, default None Thousands separator for parsing string columns to numeric. Note that this parameter is only necessary for columns stored as TEXT in Excel, any numeric columns will automatically be parsed, regardless of display format. keep_default_na : bool, default True If na_values are specified and keep_default_na is False the default NaN values are overridden, otherwise they're appended to. verbose : boolean, default False Indicate number of NA values placed in non-numeric columns engine: string, default None If io is not a buffer or path, this must be set to identify io. Acceptable values are None or xlrd convert_float : boolean, default True convert integral floats to int (i.e., 1.0 --> 1). If False, all numeric data will be read in as floats: Excel stores all numbers as floats internally has_index_names : boolean, default None DEPRECATED: for version 0.17+ index names will be automatically inferred based on index_col. To read Excel output from 0.16.2 and prior that had saved index names, use True. Returns ------- parsed : DataFrame or Dict of DataFrames DataFrame from the passed in Excel file. See notes in sheetname argument for more information on when a Dict of Dataframes is returned.
źródło
Zamiast używać nazwy arkusza, w przypadku, gdy nie znasz lub nie możesz otworzyć pliku Excela, aby sprawdzić ubuntu (w moim przypadku Python 3.6.7, ubuntu 18.04), używam parametru index_col (index_col = 0 dla pierwszy arkusz)
import pandas as pd file_name = 'some_data_file.xlsx' df = pd.read_excel(file_name, index_col=0) print(df.head()) # print the first 5 rows
źródło
sheet_name=0
lub nazwać arkusz zamiast 0.Przypisz nazwę pliku arkusza kalkulacyjnego do
file
Załaduj arkusz kalkulacyjny
Wydrukuj nazwy arkuszy
Załaduj arkusz do ramki DataFrame według nazwy: df1
file = 'example.xlsx' xl = pd.ExcelFile(file) print(xl.sheet_names) df1 = xl.parse('Sheet1')
źródło
Jeśli używasz
read_excel()
na pliku otwartym za pomocą funkcjiopen()
, pamiętaj o dodaniurb
do funkcji open, aby uniknąć błędów w kodowaniuźródło