tf serving을 통한 CNN 추론을 tx2 장비에서 가능하도록 이미지 빌드하기

[kh3654po]

현재 helmuthva/jetson-xavier-tensorflow-serving-base 이미지를 이용해 xavier2 장비에서 CNN(mobilenet, mobilenet v2, inception v3) 모델이 추론을 하는것을 확인했지만 다른 장비에서는 gpu를 사용하지 않는 이슈가 있음. 모든 장비에서 사용가능한 이미지가 필요함.
먼저 tx2 장비에서 사용가능한 이미지를 빌드해보기
참고: https://github.com/tensorflow/serving/blob/master/.bazelrc

[kmu-leeky]

석현아. 이미지 빌드 전에 확인을 조금 했으면 하는게.
tfserving 을 사용하지 않고 그냥 tx2 에서 추론시 gpu 를 잘 사용했었지? 그렇다면 TX2+ tfserving 상에서 설정의 문제로 gpu 를 사용하지못하는건 아닐까? 이미지 설치하고 환경을 새롭게 설정하는걸 빠르게 진행할수 있다면 좋을텐데, 시간이 많이 걸릴것 같아서 염려가 많이 되는게 사실이야.

[kh3654po]

지금까지 새로운 이미지 빌드를 위한 코드 분석 및 자료조사를 했는데 교수님 말씀처럼 새롭게 설정하려면 시간이 많이 걸릴것으로 생각됩니다. 현재 xavier에서 사용한 이미지를 테스트해본결과 tx2에서도 작동되는 것을 확인했습니다. 따라서 이 작업은 꼭 해야하는 상황이 오기전까진 스탑하는것이 좋을거같습니다.

[kmu-leeky]

tx2+tfserving 에서도 gpu 를 잘 사용한다는 거지? 어떤 부분의 이슈였는지 간단히 공유를 해줄래?