Jakie są typowe sposoby importowania prywatnych danych do notatników Google Colaboratory? Czy można zaimportować niepubliczny arkusz Google? Nie możesz czytać z plików systemowych. Wstępne dokumenty prowadzą do przewodnika po korzystaniu z BigQuery , ale to wydaje się trochę ... dużo.

Oficjalny przykładowy notatnik demonstrujący lokalne przesyłanie / pobieranie plików oraz integrację z Dyskiem i arkuszami jest dostępny tutaj: https://colab.research.google.com/notebooks/io.ipynb

Najprostszym sposobem udostępniania plików jest zamontowanie Dysku Google.

Aby to zrobić, uruchom w komórce kodu następujące polecenie:

from google.colab import drive
drive.mount('/content/drive')

Poprosi Cię o otwarcie linku ZEZWÓL „Google Files Stream” na dostęp do dysku. Następnie pojawi się długi alfanumeryczny kod autoryzacji, który należy wprowadzić w notatniku Colaba.

Następnie pliki na Dysku zostaną zamontowane i będzie można je przeglądać za pomocą przeglądarki plików w panelu bocznym.

Oto pełny przykładowy notatnik

Przekazać plik

from google.colab import files
files.upload()

Pobieranie

files.download('filename')

Katalog listy

files.os.listdir()

Prosty sposób na importowanie danych z googledrive - dzięki temu oszczędzasz czas (nie wiem, dlaczego Google po prostu nie podaje tego krok po kroku).

ZAINSTALUJ I Uwierzytelnij PYDRIVE

     !pip install -U -q PyDrive ## you will have install for every colab session

     from pydrive.auth import GoogleAuth
     from pydrive.drive import GoogleDrive
     from google.colab import auth
     from oauth2client.client import GoogleCredentials

     # 1. Authenticate and create the PyDrive client.
     auth.authenticate_user()
     gauth = GoogleAuth()
     gauth.credentials = GoogleCredentials.get_application_default()
     drive = GoogleDrive(gauth)

PRZESYŁANIE

jeśli chcesz przesłać dane z dysku lokalnego:

    from google.colab import files

    uploaded = files.upload()

    for fn in uploaded.keys():
       print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn])))

wykonaj, co spowoduje wyświetlenie przycisku wyboru pliku - znajdź plik do przesłania - kliknij otwórz

Po przesłaniu wyświetli się:

    sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done
    User uploaded file "sample_file.json" with length 11733 bytes

UTWÓRZ PLIK DLA NOTEBOOKA

Jeśli plik danych znajduje się już na dysku gdrive, możesz przejść do tego kroku.

Teraz jest na Twoim dysku Google. Znajdź plik na dysku Google i kliknij prawym przyciskiem myszy. Kliknij „Uzyskaj link do udostępniania”. Otrzymasz okno z:

    https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn

Kopiuj - „29PGh8XCts3mlMP6zRphvnIcbv27boawn” - to jest identyfikator pliku.

W swoim zeszycie:

    json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'})

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook.

IMPORT DANYCH DO NOTEBOOKA

Aby zaimportować dane przesłane do notatnika (w tym przykładzie plik json - sposób wczytywania zależy od typu pliku / danych - .txt, .csv itp.):

    sample_uploaded_data = json.load(open('sample.json'))

Teraz możesz wydrukować, aby zobaczyć, czy dane tam są:

    print(sample_uploaded_data)

krok 1- Zamontuj swój Dysk Google do współpracy

from google.colab import drive
drive.mount('/content/gdrive')

krok 2 - Teraz zobaczysz swoje pliki z Dysku Google w lewym okienku (eksplorator plików). Kliknij prawym przyciskiem myszy plik, który chcesz zaimportować i wybierz ścieżkę kopiowania. Następnie importuj jak zwykle w pandach, używając tej skopiowanej ścieżki.

import pandas as pd
df=pd.read_csv('gdrive/My Drive/data.csv')

Gotowe!

Najprostszy sposób, jaki zrobiłem, to:

1. Utwórz repozytorium na githubie ze swoim zestawem danych
2. Sklonuj swoje repozytorium za pomocą! git clone --recursive [GITHUB LINK REPO]
3. Znajdź, gdzie są twoje dane (! Ls polecenie)
4. Otwórz plik z pandami tak, jak robisz to w normalnym notatniku jupyter.

Umożliwia to przesyłanie plików za pośrednictwem Dysku Google.

Uruchom poniższy kod (znalazłem go gdzieś wcześniej, ale nie mogę ponownie znaleźć źródła - kredyty dla tego, kto go napisał!):

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

Kliknij pierwszy link, który się pojawi, który poprosi Cię o zalogowanie się do Google; potem pojawi się kolejna, która poprosi o pozwolenie na dostęp do Twojego Dysku Google.

Następnie uruchom to, co tworzy katalog o nazwie „dysk” i łączy z nim Twój Dysk Google:

!mkdir -p drive
!google-drive-ocamlfuse drive

Jeśli zrobisz !lsteraz, pojawi się dysk katalogowy, a jeśli zrobisz !ls drive, możesz zobaczyć całą zawartość Dysku Google.

Na przykład, jeśli zapiszę plik o nazwie abc.txtw folderze o nazwie ColabNotebooksna moim Dysku Google, mogę teraz uzyskać do niego dostęp za pośrednictwem ścieżkidrive/ColabNotebooks/abc.txt

Na lewym pasku dowolnego współpracownika znajduje się sekcja „Pliki”. Prześlij tam swoje pliki i użyj tej ścieżki

"/content/YourFileName.extension"

dawny: pd.read_csv('/content/Forbes2015.csv');

Najprostszym rozwiązaniem, które do tej pory znalazłem, które działa idealnie w przypadku małych i średnich plików CSV, jest:

1. Utwórz tajną treść na gist.github.com i prześlij (lub skopiuj i wklej zawartość) swojego pliku.
2. Kliknij widok Raw i skopiuj adres URL surowego pliku.
3. Podczas rozmowy użyj skopiowanego adresu URL jako adresu pliku pandas.read_csv(URL)

Może to działać, ale nie musi, w przypadku odczytywania pliku tekstowego wiersz po wierszu lub plików binarnych.

Szybki i łatwy import z Dropbox:

!pip install dropbox
import dropbox
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps
dbx = dropbox.Dropbox(access_token)

# response = dbx.files_list_folder("")

metadata, res = dbx.files_download('/dataframe.pickle2')

with open('dataframe.pickle2', "wb") as f:
  f.write(res.content)

Dla tych, którzy, tak jak ja, wyszli z Google w związku ze słowem kluczowym „prześlij plik colab”:

from google.colab import files
uploaded = files.upload()

Możesz również użyć moich implementacji na google.colab i PyDrive na https://github.com/ruelj2/Google_drive, co znacznie ułatwia.

!pip install - U - q PyDrive  
import os  
os.chdir('/content/')  
!git clone https://github.com/ruelj2/Google_drive.git  

from Google_drive.handle import Google_drive  
Gd = Google_drive()  

Następnie, jeśli chcesz załadować wszystkie pliki z katalogu Dysku Google, po prostu

Gd.load_all(local_dir, drive_dir_ID, force=False)  

Lub po prostu konkretny plik z rozszerzeniem

Gd.load_file(local_dir, file_ID)

Jak wspomniał @Vivek Solanki, wrzuciłem również swój plik na pulpit współpracy w sekcji "Plik". Po prostu zanotuj, gdzie plik został przesłany. U mnie train_data = pd.read_csv('/fileName.csv')zadziałało.

w Google Colabs, jeśli to Twój pierwszy raz,

from google.colab import drive
drive.mount('/content/drive')

uruchom te kody i przejdź przez łącze wyjściowe, a następnie przejdź przez pass-prase do pudełka

kiedy kopiujesz, możesz skopiować w następujący sposób, przejdź do pliku kliknij prawym przyciskiem myszy i skopiuj ścieżkę *** nie zapomnij usunąć "/ content"

f = open("drive/My Drive/RES/dimeric_force_field/Test/python_read/cropped.pdb", "r")

Zostało rozwiązane, znajdź szczegóły tutaj i skorzystaj z poniższej funkcji: /programming/47212852/how-to-import-and-read-a-shelve-or-numpy-file-in-google -colaboratory / 49467113 # 49467113

from google.colab import files
import zipfile, io, os

    def read_dir_file(case_f):
        # author: yasser mustafa, 21 March 2018  
        # case_f = 0 for uploading one File and case_f = 1 for uploading one Zipped Directory
        uploaded = files.upload()    # to upload a Full Directory, please Zip it first (use WinZip)
        for fn in uploaded.keys():
            name = fn  #.encode('utf-8')
            #print('\nfile after encode', name)
            #name = io.BytesIO(uploaded[name])
        if case_f == 0:    # case of uploading 'One File only'
            print('\n file name: ', name)
            return name
        else:   # case of uploading a directory and its subdirectories and files
            zfile = zipfile.ZipFile(name, 'r')   # unzip the directory 
            zfile.extractall()
            for d in zfile.namelist():   # d = directory
                print('\n main directory name: ', d)
                return d
    print('Done!')

Oto jeden ze sposobów importowania plików z dysku Google do notatników.

otwórz notatnik jupyter i uruchom poniższy kod i zakończ proces uwierzytelniania

!apt-get install -y -qq software-properties-common python-software-properties   module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret=  {creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

gdy skończysz z powyższym kodem, uruchom poniższy kod, aby zamontować dysk Google

!mkdir -p drive
!google-drive-ocamlfuse drive

Importowanie plików z dysku Google do notebooków (np .: Colab_Notebooks / db.csv)

powiedzmy, że plik zestawu danych znajduje się w folderze Colab_Notebooks i jego nazwa to db.csv

import pandas as pd
dataset=pd.read_csv("drive/Colab_Notebooks/db.csv")

Mam nadzieję, że to pomoże

jeśli chcesz to zrobić bez kodu, jest to całkiem proste. W moim przypadku spakuj swój folder

dataset.zip

następnie w Colab kliknij prawym przyciskiem myszy folder, w którym chcesz umieścić ten plik i naciśnij Prześlij i prześlij ten plik zip. Następnie napisz to polecenie Linuksa.

!unzip <your_zip_file_name>

możesz zobaczyć, że Twoje dane zostały pomyślnie przesłane.

Jeśli rozmiar zestawu danych jest mniejszy niż 25 MB, najłatwiejszym sposobem przesłania pliku CSV jest repozytorium GitHub.

1. Kliknij zestaw danych w repozytorium
2. Kliknij przycisk View Raw
3. Skopiuj link i zapisz go w zmiennej
4. załaduj zmienną do Pandas read_csv, aby uzyskać ramkę danych

Przykład:

import pandas as pd
url = 'copied_raw_data_link'
df1 = pd.read_csv(url)
df1.head()

1. Możesz zamontować na dysku Google, uruchamiając następujące

   from google.colab import drive drive.mount('/content/drive')

2. Następnie w celu szkolenia skopiuj dane z gdrive do folderu głównego colab.

!cp -r '/content/drive/My Drive/Project_data' '/content'

gdzie pierwsza ścieżka to ścieżka gdrive, a druga to folder główny colab.

W ten sposób szkolenie jest szybsze w przypadku dużych danych.