LiBai infenrence计划

[CPFLAME]

推理分为在本地跑或者线上跑两个选择.
其中本地跑适合开发者自己调参, 做任意的改动,
线上跑则适合开通server的服务, 用户调用这个接口,得到返回, 适合广大人群任意的尝试不同的输入, 快速得到输出, 也更适合吸引用户的眼球.
目前libai需要先在本地跑通, 然后才可以布置去线上, 目前我想的是在libai下面有两条选择:

1. 直接用libai的inference, 然后用flow.no_grad()下用oneflow跑, 这个优势是可以进行分布式inference, 可以跑超大的模型, 但是速度和性能应该都比较慢
2. 在libai下做一个 to_onnx的功能, 把本地的model用单机graph或者eager的local模式转码成onnx, 然后用市场上成熟的工具把onnx转换成tensorRT, 其中也可以转换成fp16或者int8, 这个优势是可以直接上Triton的推理框架, 速度和性能都比较有保证, 适合跑单卡就能容纳的模型. 但是一旦单卡放不下, 跑分布式推理会特别麻烦