Introduction

This is a repo showing various ways of using tensorflow and its variants.

Python prebuilt

pip install --upgrade --pre tensorflow-gpu

각 release에 맞는 cuda와 cudnn을 설치해야한다
현재 latest release는 tensorflow 1.13.1 , 이에 맞는 건 cuda 10.0, cudnn 7.x

C prebuilt

https://www.tensorflow.org/install/lang_c 에서 Windows GPU only 다운로드, 압축 해제

https://storage.googleapis.com/tensorflow 여기서 신버전들의 prebuilt를 발견할 수 있다

prebuilt를 사용하려면 빌드된 대상 CUDA 버전을 알아야한다!!!

https://www.tensorflow.org/install/source_windows 여기서 확인 (1.12.0은 CUDA 9.0을 깔아야함, 9.2는 안 되니 주의)

C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio 2017\Visual Studio Tools에 있는 개발자 명령 프롬프트를 사용

dumpbin /exports tensorflow.dll > dumpbin.txt

dumpbin.txt 에서 name부분만 따로 빼고, 맨 위에 EXPORTS를 넣어서 tensorflow.def로 저장하자 (나의 경우는 vs code의 Shift+Alt+Click 기능을 사용했음 )

dumpbin.txt 예시

    ordinal hint RVA      name

          1    0 02D78C80 ??0?$MaybeStackArray@D$0CI@@icu_62@@AEAA@AEBV01@@Z
          2    1 035F9D10 ??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@$$QEAV01@@Z
          3    2 035F9D70 ??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@H@Z
          4    3 035F9DF0 ??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@XZ
          5    4 03603B80 ??0Appendable@icu_62@@QEAA@AEBV01@@Z
          6    5 03603B80 ??0Appendable@icu_62@@QEAA@XZ

tensorflow.def 예시

EXPORTS
??0?$MaybeStackArray@D$0CI@@icu_62@@AEAA@AEBV01@@Z
??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@$$QEAV01@@Z
??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@H@Z
??0?$MaybeStackArray@D$0CI@@icu_62@@QEAA@XZ
??0Appendable@icu_62@@QEAA@AEBV01@@Z

lib /def:tensorflow.def /OUT:tensorflow.lib /MACHINE:X64 로 tensorflow.lib 생성

그렇다면 3 파일이 준비가 되었을 것이다

tensorflow.lib - lib
tensorflow.dll - dll
c_api.h - header

C build from source

tensorflow/tensorflow#24963

tensorflow/tensorflow#24885

아직 windows지원이 많이 미흡한 상태라서 오류가 많으니 유의

https://www.tensorflow.org/install/source_windows에서 Build the pip package 전까지의 과정을 해주자

bazel 0.21.0 installation

bazel 0.21.0 (너무 높은 버전을 받으면 텐서플로우가 호환이 안 된다) 을 받자

https://docs.bazel.build/versions/master/install-windows.html
https://docs.bazel.build/versions/master/windows.html#build-c
여기에 나와있는 과정을 그대로 하면 된다

bazel, msys2, Visual C++ Build Tools 2015(내 경우는 VS2017에서 추가 옵션을 체크해서 설치했음) 설치

tensoflow 1.13.1 : https://github.com/tensorflow/tensorflow/releases

python configure.py

windows에선 XLA JIT support 끄기 (아직 지원이 안 되는듯) : tensorflow/tensorflow#24218
ROCm은 AMD gpu용이라고 하니 끄기
좋은 cpu (일단은 6세대 이상?)에선 optimization flag에 /arch:AVX2를 써주자 (어차피 중요한건 gpu이기 때문에 그닥 차이는 없을듯)
컴파일 타임 줄이는 eigen strong inline은 켜도 되는데, 만약 빌드가 실패하면 꺼보자
CUDA는 원하는 버전을 적자 (1.13.1은 10.0이 default다), 여기서 정확하게 소수 한자리까지 적어야 나중에 dll을 찾을 수 있다
cudnn은 7.4.2라고 해줘도 되는데 7이라고만 해도 되는듯(default)
RTX 2080의 CUDA compute capability는 7.5이니 7.5까지 포함해주자 3.5,7.5

bazel build --config opt //tensorflow/tools/lib_package:libtensorflow 하면 gpu support 됨 이미 python configure.py에서 CUDA옵션을 줬기 때문에 --config=cuda를 따로 안 해도 되는듯하다. 홈페이지에 나와있는 커맨드는 예전 버전인듯.

그렇다면 3 파일이 준비가 되었을 것이다

liblibtensorflow.so.ifso - lib - bazel-bin/tensorflow/liblibtensorflow.so.ifso
libtensorflow.so - dll - bazel-bin/tensorflow/libtensorflow.so
c_api.h - header - bazel-bin/tensorflow/tools/lib_package/libtensorflow.tar.gz 압축 해제 후 include/tensorflow/c/c_api.h

Using C Api

앞서 말한 lib, dll, header를 추가해서 써주면 된다.

C Api를 이용하기 위해서는 graph definition을 protobuf(.pb) 형식으로 빼내야 한다. 또 필요한 operation이 있으면 operation의 이름, operation에 필요한 input 또는 output tensor의 shape과 type을 알고 있어야 한다.

이런 식의 예시로 말이다.

import tensorflow as tf

# Batch of input and target output (1x1 matrices)
x = tf.placeholder(tf.float32, shape=[None, 1, 1], name='input')
y = tf.placeholder(tf.float32, shape=[None, 1, 1], name='target')

# Trivial linear model
y_ = tf.identity(tf.layers.dense(x, 1), name='output')

# Optimize loss
loss = tf.reduce_mean(tf.square(y_ - y), name='loss')
optimizer = tf.train.AdamOptimizer()
train_op = optimizer.minimize(loss, name='train')

init = tf.global_variables_initializer()

# tf.train.Saver.__init__ adds operations to the graph to save
# and restore variables.
saver_def = tf.train.Saver().as_saver_def()

print('Run this operation to initialize variables     : ', init.name)
print('Run this operation for a train step            : ', train_op.name)
print('Feed this tensor to set the checkpoint filename: ', saver_def.filename_tensor_name)
print('Run this operation to save a checkpoint        : ', saver_def.save_tensor_name)
print('Run this operation to restore a checkpoint     : ', saver_def.restore_op_name)

# Write the graph out to a file.
with open('graph.pb', 'wb') as f:
  f.write(tf.get_default_graph().as_graph_def().SerializeToString())

또 checkpoint 파일로 weight를 복구해주고 싶다면, checkpoint 파일도 필요하다. (.index, .data~)

필요한 operation의 이름들은 보통 input, output, train, initializer, checkpoint save, checkpoint restore, checkpoint filename set 하는 operation이다.

그래서 결국 알아낸 operation의 이름들로 C api에서 operation들을 찾고, TF_SessionRun으로 실행하면 된다.

Tensor는 연속된 메모리와 dimension을 명시해주면 만들어낼 수 있다.

다음은 제가 구현해낸 예시입니다. 그대로 쓰시면 됩니다.

fcn_model()은

logs라는 디렉토리가 있으면 거기에서 restore를 한 후, prediction을 보여준 후 training을 일정량 한 후 다시 개선된 prediction을 보여줍니다.
logs라는 디렉토리가 없으면 weight initialization을 한 후, prediction을 보여준 후 training을 일정량 한 후 다시 개선된 prediction을 보여줍니다.

C api Tip

Tensor의 shape과 type을 tensorboard나 python에서 print(t.shape, t.dtype) 등으로 확인하자. 가끔씩 t.dtype이 그래프에 있는 것과 다르게 출력되는것 같긴 하니(float32 -> float64같이 사소하게) 그래프를 보는게 제일 확실한 듯
Graph op 이름도 tensorboard나 python에서 확인해서 적용
DT_BOOL은 int 배열로 먹여줘도 잘 인식된다. 되도록 int로 주자 (vector 관련한 이슈 때문에)
DT_FLOAT : float
DT_INT32 : int
DT_INT64 : int64_t

C++ build from source

tensorflow가 windows에서 c++ api 지원을 아직 잘 안 해서 어느 정도의 hack이 필요하다.

아직 시작 단계 : tensorflow/tensorflow#26152

cuda 7.0~8.0을 쓰던 과거 버전에서는 Cmake를 지원했지만, 현재 버전에서는 Cmake 지원이 끊겨 안 되고, bazel을 이용한 컴파일을 지원한다.

심지어 tensorflow가 공식으로 지원하는 C++ api는 tensorflow project를 전부 compile하면서 tensorflow 내부에 내 프로젝트를 넣어 tensorflow의 방대한 코드를 전부 컴파일해야하는 단점이 있어 배포용으로는 부적합하다.

다행히 어느 정도의 hack을 통해 shared library를 만드는 방법을 알아냈으니 그것을 쓰면 될 것 같다.

이 repo를 따른다 : https://github.com/guikarist/tensorflow-windows-build-script

이 repo에서는 tensorflow에서 지원하는 bazel build에다 추가로 윈도우에서 shared library의 형태로 쓰기 위한 패치 작업을 모아놓은 repo이다.

이 repo의 내용대로 컴파일을 했으면 해야 할 일은 bazel build의 결과에서 적절한 파일들을 include해주는 것인데, 아직까지 충분히 symbol을 다 모아놓은 static lib가 없는 상태라서 내가 필요한 symbol을 파악하고 다시 라이브러리를 빌드해야한다. (이게 무슨 소리인지는 추후에 설명)

빌드가 끝나면 c api처럼

bazel-bin/tensorflow/libtensorflow_cc.so -> tensorflow_cc.dll

bazel-bin/tensorflow/liblibtensorflow_cc.so.ifso -> tensorflow_cc.lib

로 추가해준다.

include

따로 include해야할 라이브러리들을 추출해주는 스크립트를 만들어보았다.

Set-StrictMode -Version latest
$ErrorActionPreference = "Stop"

$tfLibDir = "$pwd\tensorflow-1.13.1_cc"
Remove-Item $tfLibDir -ErrorAction SilentlyContinue -Force -Recurse
mkdir $tfLibDir | Out-Null

$tfSourceDir = "D:\tf-win\source"

# Tensorflow lib and dll
Copy-Item  $tfSourceDir\bazel-bin\tensorflow\libtensorflow_cc.so $tfLibDir\tensorflow_cc.dll
Copy-Item  $tfSourceDir\bazel-bin\tensorflow\liblibtensorflow_cc.so.ifso $tfLibDir\tensorflow_cc.lib

# Tensorflow includes
Copy-Item $tfSourceDir\tensorflow\core $tfLibDir\include\tensorflow\core -Recurse -Filter "*.h"
Copy-Item $tfSourceDir\tensorflow\cc $tfLibDir\include\tensorflow\cc -Recurse -Filter "*.h"

Copy-Item $tfSourceDir\bazel-genfiles\tensorflow\core $tfLibDir\include_pb\tensorflow\core -Recurse -Filter "*.h"
Copy-Item $tfSourceDir\bazel-genfiles\tensorflow\cc $tfLibDir\include_pb\tensorflow\cc -Recurse -Filter "*.h"

# Protobuf includes.
Copy-Item $tfSourceDir\bazel-source\external\protobuf_archive\src\google $tfLibDir\include_proto\google -Recurse -Filter "*.h" 

# Absl includes.
Copy-Item $tfSourceDir\bazel-source\external\com_google_absl\absl $tfLibDir\include_absl\absl -Recurse -Filter "*.h" 

# Eigen includes
Copy-Item $tfSourceDir\bazel-source\external\eigen_archive\ $tfLibDir\include_eigen_archive -Recurse
Copy-Item $tfSourceDir\third_party\eigen3 $tfLibDir\include_eigen\third_party\eigen3\ -Recurse

preprocessor definition

COMPILER_MSVC
NOMINMAX

실행해보고 external symbol이 없다고 뜨면 그 심볼들을 가지고 tf_exported_symbols_msvc.lds에 넣고 다시 빌드하면 된다.

TF Lite

https://www.tensorflow.org/lite/guide/get_started

TF Lite model로 바꾸기 위해서는 몇몇 operation, type등의 제약 조건이 있다.

fcn 모델의 경우에는 shape이 scalar인게 제약 조건에 걸려서, (1) shape으로 바꿔서 해결했다.

TF_BOOL 지원 안 함 : tensorflow/tensorflow#20741

TF Lite는 android java api를 써서 application(apk)를 만들 수 있다.

이론 상으로는 .tflite 파일로 바꾸기만 하면 다 실행할 수 있지만, 모델 크기가 너무 크면 interpreter가 뻗어버려서 현실적으로는 불가능하다. (8 bit quantization 최적화를 적용해도 100MB 이상임)

구글에서 추천하는 모델인 모바일용으로 최적화된 deeplab으로 하면 잘 된다.

https://www.tensorflow.org/lite/models/segmentation/overview

실시간 segmentation apk 예시 : https://github.com/tantara/JejuNet

TF Js

tensorflow js는 브라우저로 가동되므로 매우 접근성이 편리하다.

이것 역시 tfjs가 요구하는 형식으로 model을 변환해야 하며, operation이나 type등의 제약은 있지만, 이번 fcn model의 경우에는 걸리는 제약이 없어서 잘 됐다.

다만 이 경우 문제점은 역시 너무나도 큰 fcn model이다. 이론 상으로는 아무 모델이나 변환 가능하지만, 현실적으로 웹 환경에서 쓰기에 불편할 정도로 model이 커서 다운로드 받는 시간이 너무 느리다.

또 opencv같은 라이브러리의 도움이 없으므로 tensor끼리의 연산이 구현되어 있는 방식이 까다로워, image Overlay를 비교적 허접하게 할 수밖에 없었다. (현재 제가 예시로 해놓은 visualization이 부정확함) 이것은 나중에 진짜로 사용할 일이 있을때는 제대로 만들어야 할 것이다.

http://imnotkind.tk/~imnotkind/tfjs/

Conversion

Python TF graph -> pb file

this is NOT freezing, so we can use this pb for training!

init = tf.global_variables_initializer()
saver_def = tf.train.Saver().as_saver_def()
    
print('Run this operation to initialize variables     : ', init.name)
print('Run this operation for a train step            : ', train_op.name)
print('Feed this tensor to set the checkpoint filename: ', saver_def.filename_tensor_name)
print('Run this operation to save a checkpoint        : ', saver_def.save_tensor_name)
print('Run this operation to restore a checkpoint     : ', saver_def.restore_op_name)
    
with open('fcn.pb', 'wb') as f:
    f.write(tf.get_default_graph().as_graph_def().SerializeToString())

pb file + checkpoint -> frozen pb file

freeze_graph --input_graph=/tmp/mobilenet_v1_224.pb \
  --input_checkpoint=/tmp/checkpoints/mobilenet-10202.ckpt \
  --input_binary=true \
  --output_graph=/tmp/frozen_mobilenet_v1_224.pb \
  --output_node_names=MobileNetV1/Predictions/Reshape_1

import sys
import tensorflow as tf
from tensorflow.python.tools import freeze_graph
from tensorflow.python.tools import optimize_for_inference_lib


# Freeze the graph

input_graph_path = 'model/fcn.pb'
checkpoint_path = 'model/fcn-ckpt/model.ckpt-haebin' #prefix of checkpoint, only need .index and .data-???, not .meta
input_saver_def_path = ""
input_binary = True
output_node_names = "Pred"
restore_op_name = "save/restore_all"
filename_tensor_name = "save/Const:0"
output_frozen_graph_name = 'model/frozen_fcn.pb'
#output_optimized_graph_name = 'optimized_'+MODEL_NAME+'.pb'
clear_devices = True


freeze_graph.freeze_graph(input_graph_path, input_saver_def_path,
                          input_binary, checkpoint_path, output_node_names,
                          restore_op_name, filename_tensor_name,
                          output_frozen_graph_name, clear_devices, "")

frozen pb file -> tflite file

tflite_convert `
  --output_file=model/frozen_fcn.tflite `
  --graph_def_file=model/frozen_fcn.pb `
  --input_arrays=input_image,keep_probability `
  --output_arrays=Pred `
  --input_shapes=1,256,256,3:1 `
  --output_format=TFLITE `
  --inference_type=QUANTIZED_UINT8 `
  --std_dev_values=128,0 --mean_values=128,1 `
  --default_ranges_min=-6 --default_ranges_max=6

import tensorflow as tf

graph_def_file = "model/mymodel.pb"
input_arrays = ["input/Placeholder", "input/Placeholder_2"]
output_arrays = ["output/ArgMax"]

converter = tf.lite.TFLiteConverter.from_frozen_graph(
  graph_def_file, input_arrays, output_arrays)
tflite_model = converter.convert()

open("model/mymodel.tflite", "wb").write(tflite_model)

tflite_convert `
  --output_file=model/frozen_fcn.tflite `
  --graph_def_file=model/frozen_fcn.pb `
  --input_arrays=input_image `
  --output_arrays=Pred `
  --input_shapes=1,256,256,3 `
  --output_format=TFLITE `
  --inference_type=QUANTIZED_UINT8 `
  --std_dev_values=128 --mean_values=128 `
  --default_ranges_min=-6 --default_ranges_max=6

import/와 :0는 빼도 된다

tensorflow/tensorflow#23932 : scalar value는 [1]로 대체

frozen pb -> tf js

tensorflowjs_converter `
    --input_format=tf_frozen_model `
    --output_node_names='Pred' `
    --saved_model_tags=serve `
    --output_json=true `
    frozen_fcn.pb `
    frozen_fcn.js

pip install tensorflowjs==0.8.5 tensorflow/tfjs#1541

pb에서 변환할 수 있는 건 구버전 뿐이다. 구버전을 받아야 한다.

오류 뜨는 경우 : pip install numpy --upgrade : https://stackoverflow.com/questions/54665842/when-importing-tensorflow-i-get-the-following-error-no-module-named-numpy-cor

https://www.tensorflow.org/js/tutorials/conversion/import_saved_model

keras h5 -> pb

from keras import backend as K
from keras.models import load_model
import tensorflow as tf

model = load_model('model/my_model.h5')

#print(model.summary())  (None,300,300,3) -> (None, 5)
print(model.input)
print(model.output)
print(model.targets)
#print(dir(model))
#print(K.learning_phase())
K.set_learning_phase(0) #0 : test, 1 : train
#print(K.learning_phase())

sess = K.get_session()

saver = tf.train.Saver()
saver.save(sess, 'keras/keras.ckpt')

sess.graph.as_default()
graph = sess.graph


saver_def = saver.as_saver_def()
print('Feed this tensor to set the checkpoint filename: ', saver_def.filename_tensor_name)
print('Run this operation to save a checkpoint        : ', saver_def.save_tensor_name)
print('Run this operation to restore a checkpoint     : ', saver_def.restore_op_name)

with open('keras/keras.pb', 'wb') as f:
    f.write(graph.as_graph_def().SerializeToString())

이렇게 하면 inference는 완벽한데, 문제는 training이다. 일반적으로 tensorflow model에서는 training operation을 가동하면 training이 되지만, keras의 경우 그렇지 않고 일일히 keras가 model의 곳곳을 변환하는 방식으로 set_learning_phase()함수가 이루어져 있는 것 같다. 그래서 만약 keras가 내부적으로 모델을 변환하는 방법을 안다 하더라도, 그래프 변환은 c api에서는 할 수 없는 일이라서 불가능인 것 같다. 만약 keras가 내부적으로 쓰는 train op가 있어서 그것만 실행하면 된다면, 가능할 것이다.

이슈로 올려놓은 상태 : tensorflow/tensorflow#28681

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

README.md

README.md

Introduction

Python prebuilt

C prebuilt

C build from source

bazel 0.21.0 installation

Using C Api

C api Tip

C++ build from source

include

preprocessor definition

TF Lite

TF Js

Conversion

Python TF graph -> pb file

pb file + checkpoint -> frozen pb file

frozen pb file -> tflite file

frozen pb -> tf js

keras h5 -> pb

Files

README.md

Latest commit

History

README.md

File metadata and controls

Introduction

Python prebuilt

C prebuilt

C build from source

bazel 0.21.0 installation

Using C Api

C api Tip

C++ build from source

include

preprocessor definition

TF Lite

TF Js

Conversion

Python TF graph -> pb file

pb file + checkpoint -> frozen pb file

frozen pb file -> tflite file

frozen pb -> tf js

keras h5 -> pb