-
Notifications
You must be signed in to change notification settings - Fork 16
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
8.6——使用m2scorer进行测试模型 #19
Comments
博主,请问如何使用m2scorer获得gold标准? |
我也是在这看到的 |
我现在也有他这份gold.01, 但是我想生成一份新的文本的gold标准,有点不太理解如何生成 |
生成我也不会 |
好滴,感谢楼主!我再研究一下 |
博主 请问纠正后的test_system.txt需要是分好词的吗,分词的标准是不是确定的,还有就是infer.py是不是已经自带分词后在生成txt文件 |
好多我忘了,但是test_system.txt应该不是分好词的,是一个完整的句子,分词标准好像也不确定 |
使用seq2seq_attion模型在1347639个平行句子对上进行了训练,得到7.7MB大小的模型
带有金标准的测试集有2000条,使用该测试集进行模型性能测试
金标准数据集的格式为:
每个源句应出现在以“S”开头的单行上
每个源句子后跟零个或多个注释
每个注释都在以“A”开头的单独行上
句子由一个或多个空行分隔
源语句需要以与系统输出相同的方式进行标记化
m2scorer
该程序可以评估语法错误纠正系统的性能,评价指标有三个:精度,召回率和F0.5值
首先使用
infer.py
文件对测试集原始文件test.txt
进行纠正,得到系统纠正后文件test_system.txt
然后使用
m2scorer.py
文件,利用金标准进行计算:python m2scorer.py test_system.txt test_gold.txt
得到的结果为:
业界CGED纠错比赛结果如下:
The text was updated successfully, but these errors were encountered: