Jak odnosić się do względnych ścieżek zasobów podczas pracy z repozytorium kodu

Pracujemy z repozytorium kodów, które jest wdrażane zarówno w systemie Windows, jak i Linux - czasami w różnych katalogach. W jaki sposób jeden z modułów w projekcie powinien odnosić się do jednego z zasobów innych niż Python w projekcie (pliki CSV itp.)?

Jeśli zrobimy coś takiego:

thefile=open('test.csv')

lub:

thefile=open('../somedirectory/test.csv')

Działa tylko wtedy, gdy skrypt jest uruchamiany z jednego określonego katalogu lub podzbioru katalogów.

Chciałbym zrobić coś takiego:

path=getBasePathOfProject()+'/somedirectory/test.csv'
thefile=open(path)

Czy to możliwe?

Spróbuj użyć nazwy pliku względem bieżącej ścieżki plików. Przykład dla „./my_file”:

fn = os.path.join(os.path.dirname(__file__), 'my_file')

W Pythonie 3.4+ możesz także użyć pathlib :

fn = pathlib.Path(__file__).parent / 'my_file'

Jeśli korzystasz z narzędzi instalacyjnych lub rozpowszechniasz (instalacja setup.py), wtedy „właściwym” sposobem dostępu do tych spakowanych zasobów wydaje się być użycie zasobów_pakietu.

W twoim przypadku byłby to przykład

import pkg_resources
my_data = pkg_resources.resource_string(__name__, "foo.dat")

Który oczywiście czyta zasób, a odczytane dane binarne byłyby wartością my_data

Jeśli potrzebujesz tylko nazwy pliku, której możesz użyć

resource_filename(package_or_requirement, resource_name)

Przykład:

resource_filename("MyPackage","foo.dat")

Zaletą jest to, że gwarantuje działanie, nawet jeśli jest to dystrybucja archiwum jak jajko.

Zobacz http://packages.python.org/distribute/pkg_resources.html#resourcemanager-api

W Pythonie ścieżki są względne do bieżącego katalogu roboczego , którym w większości przypadków jest katalog, z którego uruchamiany jest program. Bieżący katalog roboczy jest bardzo prawdopodobne, nie tak samo jak w katalogu pliku modułu, więc przy użyciu ścieżki względnej do bieżącego pliku modułu zawsze jest to zły wybór.

Najlepszym rozwiązaniem powinno być użycie ścieżki bezwzględnej:

import os
package_dir = os.path.dirname(os.path.abspath(__file__))
thefile = os.path.join(package_dir,'test.cvs')

Często używam czegoś podobnego do tego:

import os
DATA_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), 'datadir'))

# if you have more paths to set, you might want to shorten this as
here = lambda x: os.path.abspath(os.path.join(os.path.dirname(__file__), x))
DATA_DIR = here('datadir') 

pathjoin = os.path.join
# ...
# later in script
for fn in os.listdir(DATA_DIR):
    f = open(pathjoin(DATA_DIR, fn))
    # ...

Zmienna

__file__

przechowuje nazwę pliku skryptu, w którym piszesz ten kod, dzięki czemu możesz tworzyć ścieżki w stosunku do skryptu, ale nadal zapisane ścieżkami bezwzględnymi. Działa całkiem dobrze z kilku powodów:

• ścieżka jest absolutna, ale wciąż względna
• projekt można nadal wdrożyć we względnym kontenerze

Ale musisz uważać na kompatybilność platformy - os.pathsep systemu Windows różni się od UNIX.

import os
cwd = os.getcwd()
path = os.path.join(cwd, "my_file")
f = open(path)

Próbujesz również znormalizować swoje cwdużycie os.path.abspath(os.getcwd()). Więcej informacji tutaj .

Możesz użyć __file__zmiennej wbudowanej. Zawiera ścieżkę bieżącego pliku. Zaimplementowałbym getBaseOfProject w module w katalogu głównym twojego projektu. Tam dostanę część ścieżki __file__i ją zwrócę. Tę metodę można następnie zastosować wszędzie w projekcie.

Trochę mnie tu utknęło. Chciał spakować niektóre pliki zasobów do pliku koła i uzyskać do nich dostęp. Czy pakiet używał pliku manifestu, ale instalacja przez pip nie instalowała go, chyba że był to podkatalog. Mam nadzieję, że te sceenowe strzały pomogą

├── cnn_client
│   ├── image_preprocessor.py
│   ├── __init__.py
│   ├── resources
│   │   ├── mscoco_complete_label_map.pbtxt
│   │   ├── retinanet_complete_label_map.pbtxt
│   │   └── retinanet_label_map.py
│   ├── tf_client.py

MANIFEST.in

recursive-include cnn_client/resources *

Utworzono weel przy użyciu standardowego setup.py. pip zainstalował plik koła. Po instalacji sprawdzane są zasoby. Oni są

ls /usr/local/lib/python2.7/dist-packages/cnn_client/resources

mscoco_complete_label_map.pbtxt
retinanet_complete_label_map.pbtxt 
 retinanet_label_map.py  

W tfclient.py, aby uzyskać dostęp do tych plików. z

templates_dir = os.path.join(os.path.dirname(__file__), 'resources')
 file_path = os.path.join(templates_dir, \
            'mscoco_complete_label_map.pbtxt')
        s = open(file_path, 'r').read()

I to działa.

Długo zastanawiałem się nad odpowiedzią na to pytanie, ale w końcu zrozumiałem (i to naprawdę bardzo proste):

import sys
import os
sys.path.append(os.getcwd() + '/your/subfolder/of/choice')

# now import whatever other modules you want, both the standard ones,
# as the ones supplied in your subfolders

Spowoduje to dołączenie względnej ścieżki twojego podfolderu do katalogów, w których Python może zajrzeć. Jest dość szybki i brudny, ale działa jak urok :)