Phase2

Phase 2

• Git Action과 Kubernetes를 이용하여 CD/CT를 도입하였습니다.
• hyperparameter tuning process를 NNI에서 ray를 이용해 관리하는 것으로 변경하였습니다. 이로인하여 필요하지 않게된 코드들이 생겨났고 모두 deprecated로 이동하였습니다.
• Workflow관리도구로 prefect를 도입하였습니다.
• predict API를 처음 호출하였을 때 모델을 로딩하는 시간이 길어져 한번 호출된 모델은 일정시간 캐싱해두도록 변경하였습니다.
• 클러스터 모니터링을 위해 prometheus와 grafana를 도입하였습니다.
• 실험을 수동으로 시작시키는 train api를 삭제하였습니다.

Phase1

Phase1

Train

• model 을 DB에 직렬화 시켜 저장
• NNi 를 활용한 하이퍼파라미터 서칭 (subprocess 활용)
• 성능 개선시에만 db 모델 업데이트

Predict

• Parameter값을 받아 예측 수행
• run_in_threadpool로 수행