1.1
·
191 commits
to main
since this release
更新了支持批量运算的t5-cache推理版本,详细使用参考t5-cache的使用example 。里面较为详细地列出了cache模型要如何使用。
除了T5,还增加了bert和
roformer/roformer-v2的cache支持,用法和t5一样,example里只是测试一下与greedy是否一致