Jak zbudować i używać API Google TensorFlow C ++

Naprawdę nie mogę się doczekać rozpoczęcia korzystania z nowej biblioteki Google Tensorflow w C ++. Witryna i dokumentacja są po prostu naprawdę niejasne, jeśli chodzi o tworzenie interfejsu API C ++ projektu i nie wiem, od czego zacząć.

Czy ktoś z większym doświadczeniem może pomóc, odkrywając i udostępniając przewodnik po korzystaniu z interfejsu API C ++ tensorflow?

Jedną z alternatyw dla korzystania z Tensorflow C ++ API, które znalazłem, jest użycie cppflow .

Jest to lekkie opakowanie C ++ wokół interfejsu API języka C Tensorflow . Otrzymujesz bardzo małe pliki wykonywalne i łączy się z libtensorflow.sojuż skompilowanym plikiem. Istnieją również przykłady użycia i używasz CMAKE zamiast Bazela.

Aby rozpocząć, należy pobrać kod źródłowy z Github, postępując zgodnie z instrukcjami tutaj (będziesz potrzebować Bazela i najnowszej wersji GCC).

C ++ API (i zaplecze systemu) jest w tensorflow/core. Obecnie obsługiwane są tylko C ++ Session i C API . Możesz użyć dowolnego z nich do wykonywania wykresów TensorFlow, które zostały zbudowane przy użyciu interfejsu API języka Python i serializowane do GraphDefbuforu protokołu. Dostępna jest również funkcja eksperymentalna do tworzenia wykresów w C ++, ale obecnie nie jest ona w pełni funkcjonalna jak API Pythona (np. Obecnie nie obsługuje automatycznego różnicowania). Możesz zobaczyć przykładowy program, który tworzy mały wykres w C ++ tutaj .

Druga część C ++ API to API do dodawania nowego OpKernel, czyli klasy zawierającej implementacje numerycznych jąder dla CPU i GPU. Istnieje wiele przykładów, jak je wbudować tensorflow/core/kernels, a także samouczek dotyczący dodawania nowej operacji w C ++ .

Aby dodać do posta @ mrry, przygotowałem samouczek, który wyjaśnia, jak załadować wykres TensorFlow za pomocą interfejsu API C ++. Jest to bardzo minimalne i powinno pomóc ci zrozumieć, jak wszystkie elementy pasują do siebie. Oto jego mięso:

Wymagania:

• Zainstalowano Bazel
• Klonuj repozytorium TensorFlow

Struktura folderów:

• tensorflow/tensorflow/|project name|/
• tensorflow/tensorflow/|project name|/|project name|.cc (e.g. https://gist.github.com/jimfleming/4202e529042c401b17b7)
• tensorflow/tensorflow/|project name|/BUILD

BUDOWAĆ:

cc_binary(
    name = "<project name>",
    srcs = ["<project name>.cc"],
    deps = [
        "//tensorflow/core:tensorflow",
    ]
)

Dwa zastrzeżenia, dla których prawdopodobnie istnieją obejścia:

• W tej chwili tworzenie elementów musi odbywać się w repozytorium TensorFlow.
• Skompilowany plik binarny jest ogromny (103 MB).

https://medium.com/@jimfleming/loading-a-tensorflow-graph-with-the-c-api-4caaff88463f

Jeśli chcesz uniknąć zarówno budowania swoich projektów w Bazelu, jak i generowania dużego pliku binarnego, przygotowałem repozytorium instruujące użycie biblioteki TensorFlow C ++ z CMake. Znajdziesz go tutaj . Ogólne pomysły są następujące:

• Sklonuj repozytorium TensorFlow.
• Dodaj regułę kompilacji do tensorflow/BUILD(dostarczone nie obejmują wszystkich funkcji C ++).
• Zbuduj współdzieloną bibliotekę TensorFlow.
• Zainstaluj określone wersje Eigen i Protobuf lub dodaj je jako zależności zewnętrzne.
• Skonfiguruj projekt CMake do korzystania z biblioteki TensorFlow.

Po pierwsze, po zainstalowaniu protobufi eigenchcesz zbudować Tensorflow:

./configure
bazel build //tensorflow:libtensorflow_cc.so

Następnie skopiuj poniższe nagłówki i dynamiczną bibliotekę współdzieloną do /usr/local/libi /usr/local/include:

mkdir /usr/local/include/tf
cp -r bazel-genfiles/ /usr/local/include/tf/
cp -r tensorflow /usr/local/include/tf/
cp -r third_party /usr/local/include/tf/
cp -r bazel-bin/libtensorflow_cc.so /usr/local/lib/

Na koniec skompiluj na przykładzie:

g++ -std=c++11 -o tf_example \
-I/usr/local/include/tf \
-I/usr/local/include/eigen3 \
-g -Wall -D_DEBUG -Wshadow -Wno-sign-compare -w  \
-L/usr/local/lib/libtensorflow_cc \
`pkg-config --cflags --libs protobuf` -ltensorflow_cc tf_example.cpp

Jeśli myślisz o użyciu interfejsu API Tensorflow c ++ na samodzielnym pakiecie, prawdopodobnie będziesz potrzebować tensorflow_cc.so (istnieje również wersja tensorflow.so ac api), aby zbudować wersję c ++, której możesz użyć:

bazel build -c opt //tensorflow:libtensorflow_cc.so

Uwaga 1: Jeśli chcesz dodać obsługę funkcji wewnętrznych, możesz dodać te flagi jako: --copt=-msse4.2 --copt=-mavx

Uwaga 2: Jeśli myślisz o wykorzystaniu OpenCV również w swoim projekcie, występuje problem podczas używania obu bibliotek razem ( problem z tensorflow ) i powinieneś użyć --config=monolithic.

Po zbudowaniu biblioteki musisz dodać ją do swojego projektu. Aby to zrobić, możesz uwzględnić te ścieżki:

tensorflow
tensorflow/bazel-tensorflow/external/eigen_archive
tensorflow/bazel-tensorflow/external/protobuf_archive/src
tensorflow/bazel-genfiles

I połącz bibliotekę ze swoim projektem:

tensorflow/bazel-bin/tensorflow/libtensorflow_framework.so (unused if you build with --config=monolithic)
tensorflow/bazel-bin/tensorflow/libtensorflow_cc.so

A kiedy budujesz swój projekt, powinieneś również wskazać swojemu kompilatorowi, że zamierzasz używać standardów C ++ 11.

Uwaga boczna: ścieżki względem tensorflow w wersji 1.5 (może być konieczne sprawdzenie, czy w Twojej wersji coś się zmieniło).

Również ten link bardzo mi pomógł w znalezieniu tych wszystkich informacji: link

Możesz użyć tego ShellScript do zainstalowania (większości) jego zależności, klonowania, budowania, kompilowania i pobierania wszystkich niezbędnych plików do ../src/includesfolderu:

https://github.com/node-tensorflow/node-tensorflow/blob/master/tools/install.sh

Jeśli nie masz nic przeciwko używaniu CMake, istnieje również projekt tensorflow_cc , który buduje i instaluje API TF C ++, wraz z wygodnymi celami CMake, z którymi możesz się połączyć. Projekt README zawiera przykład i pliki Dockerfiles, które możesz łatwo śledzić.

Jeśli nie chcesz samodzielnie budować Tensorflow, a Twój system operacyjny to Debian lub Ubuntu, możesz pobrać gotowe pakiety z bibliotekami Tensorflow C / C ++. Ta dystrybucja może być używana do wnioskowania C / C ++ z procesorem, obsługa GPU nie jest uwzględniona:

https://github.com/kecsap/tensorflow_cpp_packaging/releases

Istnieją instrukcje, jak zamrozić punkt kontrolny w Tensorflow (TFLearn) i załadować ten model do wnioskowania za pomocą interfejsu API C / C ++:

https://github.com/kecsap/tensorflow_cpp_packaging/blob/master/README.md

Uwaga: jestem twórcą tego projektu na Githubie.

Używam hacka / obejścia, aby uniknąć konieczności samodzielnego budowania całej biblioteki TF (co oszczędza zarówno czas (jest konfigurowany w 3 minuty), miejsce na dysku, instalowanie zależności dev i rozmiar wynikowego pliku binarnego). Oficjalnie nie jest obsługiwany, ale działa dobrze, jeśli chcesz po prostu szybko wskoczyć.

Zainstaluj TF przez pip ( pip install tensorflowlub pip install tensorflow-gpu). Następnie znajdź jego bibliotekę _pywrap_tensorflow.so(TF 0. * - 1.0) lub _pywrap_tensorflow_internal.so(TF 1.1+). W moim przypadku (Ubuntu) znajduje się pod adresem /usr/local/lib/python2.7/dist-packages/tensorflow/python/_pywrap_tensorflow.so. Następnie utwórz dowiązanie symboliczne do tej biblioteki o nazwie lib_pywrap_tensorflow.sogdzieś, gdzie znajduje ją twój system budowania (np /usr/lib/local.). Prefiks libjest ważny! Możesz również nadać mu inną lib*.sonazwę - jeśli ją nazwiesz libtensorflow.so, możesz uzyskać lepszą kompatybilność z innymi programami napisanymi do pracy z TF.

Następnie stwórz projekt w C ++ taki, do jakiego jesteś przyzwyczajony (CMake, Make, Bazel, cokolwiek lubisz).

A potem jesteś gotowy, aby po prostu połączyć się z tą biblioteką, aby mieć TF dostępne dla twoich projektów (i musisz również połączyć się z python2.7bibliotekami)! W CMake np. Po prostu dodajesz target_link_libraries(target _pywrap_tensorflow python2.7).

Pliki nagłówkowe C ++ znajdują się wokół tej biblioteki, np /usr/local/lib/python2.7/dist-packages/tensorflow/include/. W.

Jeszcze raz: ten sposób jest oficjalnie nieobsługiwany i możesz biegać w różnych sprawach. Biblioteka wydaje się być statycznie połączona z np. Protobuf, więc możesz działać z dziwnymi problemami w czasie łączenia lub wykonywania. Ale jestem w stanie załadować zapisany wykres, przywrócić wagi i uruchomić wnioskowanie, co jest najbardziej pożądaną funkcją IMO w C ++.

Sam Tensorflow zawiera tylko bardzo podstawowe przykłady dotyczące interfejsów API C ++.
Oto dobry zasób, który zawiera przykłady zestawów danych, rnn, lstm, cnn i więcej
przykładów tensorflow c ++

powyższe odpowiedzi są wystarczająco dobre, aby pokazać, jak zbudować bibliotekę, ale sposób zbierania nagłówków jest nadal trudny. tutaj udostępniam mały skrypt, którego używam do kopiowania niezbędnych nagłówków.

SOURCEjest pierwszym parametrem, który jest direcoty źródła (kompilacji) tensorflow;
DSTjest drugim parametrem, czyli include directoryprzechowuje zebrane nagłówki. (np. w cmake, include_directories(./collected_headers_here)).

#!/bin/bash

SOURCE=$1
DST=$2
echo "-- target dir is $DST"
echo "-- source dir is $SOURCE"

if [[ -e $DST ]];then
    echo "clean $DST"
    rm -rf $DST
    mkdir $DST
fi


# 1. copy the source code c++ api needs
mkdir -p $DST/tensorflow
cp -r $SOURCE/tensorflow/core $DST/tensorflow
cp -r $SOURCE/tensorflow/cc $DST/tensorflow
cp -r $SOURCE/tensorflow/c $DST/tensorflow

# 2. copy the generated code, put them back to
# the right directories along side the source code
if [[ -e $SOURCE/bazel-genfiles/tensorflow ]];then
    prefix="$SOURCE/bazel-genfiles/tensorflow"
    from=$(expr $(echo -n $prefix | wc -m) + 1)

    # eg. compiled protobuf files
    find $SOURCE/bazel-genfiles/tensorflow -type f | while read line;do
        #echo "procese file --> $line"
        line_len=$(echo -n $line | wc -m)
        filename=$(echo $line | rev | cut -d'/' -f1 | rev )
        filename_len=$(echo -n $filename | wc -m)
        to=$(expr $line_len - $filename_len)

        target_dir=$(echo $line | cut -c$from-$to)
        #echo "[$filename] copy $line $DST/tensorflow/$target_dir"
        cp $line $DST/tensorflow/$target_dir
    done
fi


# 3. copy third party files. Why?
# In the tf source code, you can see #include "third_party/...", so you need it
cp -r $SOURCE/third_party $DST

# 4. these headers are enough for me now.
# if your compiler complains missing headers, maybe you can find it in bazel-tensorflow/external
cp -RLf $SOURCE/bazel-tensorflow/external/eigen_archive/Eigen $DST
cp -RLf $SOURCE/bazel-tensorflow/external/eigen_archive/unsupported $DST
cp -RLf $SOURCE/bazel-tensorflow/external/protobuf_archive/src/google $DST
cp -RLf $SOURCE/bazel-tensorflow/external/com_google_absl/absl $DST