fix-vietnamese-tokens

koaning · koaning · commit dd287209b8c6 · 2021-07-12T09:39:32.000+02:00
diff --git a/tests/test_tokenizers/test_spacy_blank.py b/tests/test_tokenizers/test_spacy_blank.py
@@ -20,7 +20,7 @@
     {
         "text": "Trường đại học bách khoa hà nội",
         "lang": "vi",
-        "result": ["Trường", "đại_học", "bách_khoa", "hà_nội"],
+        "result": ["Trường", "đại học", "bách khoa", "hà nội"],
     },
 ]
 

Original file line number	Diff line number	Diff line change
`@@ -20,7 +20,7 @@`
`20`	`20`	`{`
`21`	`21`	`"text": "Trường đại học bách khoa hà nội",`
`22`	`22`	`"lang": "vi",`
`23`		`- "result": ["Trường", "đại_học", "bách_khoa", "hà_nội"],`
	`23`	`+ "result": ["Trường", "đại học", "bách khoa", "hà nội"],`
`24`	`24`	`},`
`25`	`25`	`]`
`26`	`26`