Jak skompilować TensorFlow i nie zwariować
10.02.2020 | Robert Obłój
Wstęp
AI jest obecnie jednym z najbardziej obiecujących kierunków rozwoju w świecie IT. Rozwój AI jest na tyle dynamiczny, że praktycznie co chwilę możemy usłyszeć o nowym frameworku, który jest „nowszy”, „lepszy”, „fajniejszy”. Oczywiście nie ma jednoznacznej odpowiedzi na pytanie, który framework wybrać, ponieważ wiele zależy od problemu, który chcemy za pomocą AI rozwiązać.
Jakiś czas temu postanowiliśmy się zmierzyć z tematem wykrywania anomalii za pomocą AI. Przy okazji zdecydowaliśmy się na zastosowanie TensorFlow, udostępnionego przez Google. TensorFlow to framework, który umożliwia zbudowanie dowolnego modelu AI za pomocą niskopoziomowego API. Takie podejście ma pewną wadę, ponieważ framework nie jest łatwy do użycia dla początkujących. Z drugiej strony bogate API umożliwia zbudowanie praktycznie dowolnego modelu, dzięki czemu (mając odpowiednio dużą wiedzę) możemy stworzyć „coś”, co będzie unikalne i innowacyjne.
W naszym przypadku zdecydowaliśmy się na zbudowanie modelu autoencodera, co samo w sobie nie jest może unikalne i specjalnie innowacyjne ;-), ale dzięki temu mogliśmy się skupić na poznaniu możliwości TensorFlow. Po kilku miesiącach pracy udało nam się zbudować model, który miał dobrą skuteczność. Postanowiliśmy model zainstalować na produkcji… i tutaj zaczęły się nasze problemy…
Problem
W trakcie instalacji na środowisku private cloud okazało się, że nasz model nie tyle nie działa, co po prostu nie potrafił się uruchomić. Lokalnie na stacjach developerskich wszystko było OK, a na serwerze mieliśmy niewiele wyjaśniający błąd:
Illegal instruction
W logach mieliśmy dokładnie dwa słowa, nic więcej. Googlowanie niewiele wniosło (dziś już drugi link daje wskazówkę, co jest przyczyną), ale po małym śledztwie okazało się, że TensorFlow w wersji 1.6 włączył domyślnie instrukcję AVX dla CPU.
Czyli mamy pewną wskazówkę, trzeba to tylko potwierdzić:
cat /proc/cpuinfo | grep flags
flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx lm constant_tsc rep_good nopl eagerfpu pni cx16 hypervisor lahf_lm
Faktycznie, procesor na docelowym serwerze nie wspiera instrukcji AVX.
Rozwiązanie
Aby nasz model działał w środowisku private cloud, musimy zbudować „własną” wersję TensorFlow ze źródeł (z wyłączoną instrukcją AVX). Będziemy do tego potrzebować:
| Binaria |
Wersja |
| 0.24.1 |
|
| 4.8.5 |
|
| 3.7 |
|
| r.1.14 |
Słowem wyjaśnienia:
- Bazel to narzędzie Google’a umożliwiające budowanie i testowanie oprogramowania. Jest to narzędzie podobne do Gradle, Maven, itp.
- Gcc czyli GNU Compiler Collection, czyli zestaw kompilatorów o otwartym kodzie źródłowym rozwijany w ramach projektu GNU.
- Python, czyli język programowania oraz TensorFlow, czyli framework, który chcemy skompilować ze żródeł.
UWAGA: W naszym rozwiązaniu skompilujemy Tensorflow dla CPU. Pomijamy w tym artykule wszystkie kwestie związane z wykorzystaniem GPU.
Dockerfile dla narzędzi bazel, gcc i python
W pierwszym pliku Dockerfile skonfigurujemy wszystkie narzędzia niezbędne do skompilowania tensorflow. W tym celu instalujemy:
- Kompilator GCC w wersji 4.8.5
- Framework Bazel w wersji 0.24.1
- Interpreter Python w wersji 3.7
Dockerfile dla źródeł TensorFlow
W przypadku źródeł TensorFlow wystarczy je pobrać za pomocą komendy wget oraz wypakować do katalogu tymczasowego:
Dockerfile dla procesu kompilacji
Aby skompilować TensorFlow ze źródeł, musimy wiedzieć jakie instrukcje chcemy włączyć, a jakie wyłączyć. Przypomnijmy, że w naszym przypadku mamy dostępne następujące instrukcje:
cat /proc/cpuinfo | grep flags
flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss syscall nx lm constant_tsc rep_good nopl eagerfpu pni cx16 hypervisor lahf_lm
Wszystko OK, ale jak zmapować instrukcje CPU na nasz proces kompilacji TensorFlow? Najprościej możemy to zrobić za pomocą dokumentacji gcc (przełącznik –march=cpu-type).
Kompilacja
Rozpatrzymy następujące scenariusze:
- kompilacja na docelowym środowisku,
- kompilacja z predefiniowaną architekturą CPU,
- kompilacja custom.
Kompilacja na docelowym środowisku
Kompilacja na docelowym środowisku jest najbezpieczniejszą opcją. W tym celu wybieramy opcję:
-march=cpu-native
Zauważmy, że dla TensorFlow powyższą opcję musimy przemapować na:
ENV CC_OPT_FLAGS "-mtune=native"
Dzięki czemu kompilacja TensorFlow wygląda następująco:
Kompilacja z predefiniowaną architekturą CPU
W przypadku, gdy nie możemy przeprowadzić kompilacji na docelowym serwerze, ale lista wspieranych instrukcji CPU mapuje się dokładnie na parametr –march, proces kompilacji wygląda bardzo podobnie. Załóżmy na chwilę, że nasz procesor wspiera jedynie instrukcje MMX, SSE, SSE2, SSE3 oraz SSSE3. Na postawie dokumentacji wybieramy opcję:
-march=cpu-core2
Przemapowaną na:
ENV CC_OPT_FLAGS "-mtune=core2"
Dockerfile wygląda bardzo podobnie:
Kompilacja custom
W przypadku, gdy chcemy sami zdefiniować, które instrukcje mamy włączyć, a które wyłączyć, możemy to zrobić poprzez wybranie opcji generic oraz poprzez specjalne przełączniki w kompilacji TensorFlow, które pewne instrukcje włączą lub wyłączą:
Jak to działa?
Uruchamiamy proces kompilacji, np.:
docker run --name tf-native -it robloj/tensorflow-native
UWAGA: Proces kompilacji tensorflow jest bardzo skomplikowany i może zająć nawet kilka godzin!
Czekamy, aż proces kompilacji się zakończy, w logach powinniśmy mieć wpisy podobne do:
bazel-out/k8-opt/genfiles/external/protobuf_archive/src: warning: directory does not exist. Target //tensorflow/tools/pip_package:build_pip_package up-to-date: bazel-bin/tensorflow/tools/pip_package/build_pip_package INFO: Elapsed time: 9026.270s, Critical Path: 95.38s INFO: 6801 processes: 6801 local. INFO: Build completed successfully, 7502 total actions Sun Aug 19 09:23:50 UTC 2018 : === Preparing sources in dir: /tmp/tmp.jbIBSPuSwb /tensorflow-r1.14 /tensorflow-r1.14 /tensorflow-r1.14 Sun Aug 19 09:24:02 UTC 2018 : === Building wheel warning: no files found matching '*.dll' under directory '*' warning: no files found matching '*.lib' under directory '*' warning: no files found matching '*.h' under directory 'tensorflow/include/tensorflow' warning: no files found matching '*' under directory 'tensorflow/include/Eigen' warning: no files found matching '*.h' under directory 'tensorflow/include/google' warning: no files found matching '*' under directory 'tensorflow/include/third_party' warning: no files found matching '*' under directory 'tensorflow/include/unsupported' Sun Aug 19 09:24:21 UTC 2018 : === Output wheel file is in: /tmp/tensorflow_pkg
Dockerfile dla kompilacji został przygotowany tak, aby po zakończonym procesie kompilacji uruchomił komendę:
sleep infinity
Dzięki temu możemy pobrać skompilowane binaria TensorFlow. W tym celu sprawdzamy ID kontenera:
docker ps
Przykładowo, nasz kontener ma następujący identyfikator:
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES b4fef7c3adfd tf-native "/bin/sh..." 5 seconds ago Up 4 seconds tf-native
Mając ID kontenera, możemy skopiować binaria TensorFlow do lokalnego filesystemu:
CONTAINER_ID=b4fef7c3adfd DEST_DIR=/tmp/output docker cp $CONTAINER_ID:/tmp/tensorflow_pkg $DEST_DIR
Sprawdźmy dla pewności, co się skopiowało do katalogu DEST_DIR:
ls $DEST_DIR tensorflow-1.14.1-cp37-cp37m-linux_x86_64.whl
Udało nam się skompilować TensorFlow ze źrodeł. Pozostaje jedynie tą binarkę zainstalować:
cd $DEST_DIR python -m pip install tensorflow-1.14.1-cp37-cp37m-linux_x86_64.whl
Podsumowanie
Projekty związane z rozwojem AI to nie tylko analiza danych, big data czy sieci neuronowe. Czasem przychodzi nam się zmierzyć z problemami, które są niskopoziomowe. Zmierzenie się z nimi (zwłaszcza, że dokumentacja TensorFlow była wówczas bardzo uboga na temat kompilacji ze źródeł) pokazuje, że zespół data science oprócz ról takich jak data engineer, czy data scientist, powinien mieć również kompetencje, które pozwolą rozwiązywać różne, często niskopoziomowe, problemy.
© 2022 ING Bank Śląski S.A. Wszelkie prawa zastrzeżone.