tf server의 쓰레드 설정 확인

[kh3654po]

tf server의 설정중 쓰레드의 개수를 조절하여 측정해보았습니다.

• 쓰레드 개수를 1로 설정하면 tf server의 응답이 정지됩니다.

• --rest_api_num_threads=1 freezes REST API tensorflow/serving#1576 에서도 같은 의문이 제기되었습니다.

• 1개가 안돼서 서버의 쓰레드 설정이 2개일 때와 기존의 1000개일 때를 비교했습니다.

• 총 inference 시간이 2개일때 19초 1000개일 때 13초인 것으로 보아 쓰레드 설정이 잘되고 있음을 알 수 있었습니다.

• xavier 장비의 서버가 쓰레드를 두개만 사용하도록 설정
  total inference time 19.354896068572998

• xavier 장비의 서버가 쓰레드를 1000개 사용하도록 설정
  total inference time 13.607482671737671

[kmu-leeky]

석현아 그러면 지금까지는 쓰레드 개수가 1000개로 설정하고 실험을 했던거지? 각기 다른 스레드 개수 상에서 요청을 처리할때 cpu, gpu 활용율은 어떻게 변하는지도 함께 분석해볼래?