1.4
新版本可以在build_transformer_model时添加penalty,penalty_window ,max_penalty_range,temperature四个参数。
详情可以参考文档。
增加了RWKV6的层及其模型的支持,关于层的详细介绍可以查看文档RWKV_layer.
对于RWKV6更详细的介绍,我们单独创建了一个RWKV6仓库,在这里你可以看到关于本库对RWKV6的详细介绍
新版本可以在build_transformer_model时添加penalty,penalty_window ,max_penalty_range,temperature四个参数。
详情可以参考文档。
增加了RWKV6的层及其模型的支持,关于层的详细介绍可以查看文档RWKV_layer.
对于RWKV6更详细的介绍,我们单独创建了一个RWKV6仓库,在这里你可以看到关于本库对RWKV6的详细介绍