Skip to content

Files

Latest commit

author
dujw
Jul 24, 2022
443c840 · Jul 24, 2022

History

History
This branch is up to date with jinmin527/learning-cuda-trt:main.

tensorrt-integrate-1.7-huggingface-ner

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
Jul 24, 2022
Jul 24, 2022
Jul 24, 2022
Jul 24, 2022
Jul 24, 2022
Jul 24, 2022
Jul 24, 2022

知识点

  1. Hugging Face提供了数以千计的Transformers预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。

运行步骤

  1. 导出onnx模型
    • python export-ner.py
    • 导出onnx模型ner.onnx到workspace下
      • 此时他会自动下载模型文件到model下
  2. 运行编译和推理
    • make run -j64
    • 由于模型比较大,编译时间会比较长(大约3-5分钟)

Reference