add test case for doublequote string tokenizing

u8621011 · Jan 16, 2019 · da55e0c · da55e0c
1 parent f4206ec
commit da55e0c
Showing 1 changed file with 3 additions and 1 deletion.
diff --git a/pyVitk/test/TokenizerTest.py b/pyVitk/test/TokenizerTest.py
@@ -98,6 +98,7 @@ def test_tokenize_line(self):
             '[Chân em đi]',
             '{Chân em đi}',
             'ABC(Chân em đi)',
+            'có một cái chén ăn và một "người hầu".'
         ]
         expected = [
             ['là',  'ngôn ngữ',  'có',  'nguồn gốc', 'bản địa'],
@@ -115,6 +116,7 @@ def test_tokenize_line(self):
             ['[', 'Chân',  'em',  'đi', ']'],
             ['{', 'Chân', 'em', 'đi', '}'],
             ['ABC', '(', 'Chân', 'em', 'đi', ')'],
+            ['có', 'một', 'cái', 'chén', 'ăn', 'và', 'một', '"', 'người', 'hầu', '".']
         ]
 
         for s, e in zip(lines, expected):
@@ -152,7 +154,7 @@ def test_tokenize_line_concat(self):
             ['BÍCH', 'PHƯƠNG', '-', 'Bao', 'Giờ', 'Lấy', 'Chồng', '?', '[', 'OFFICIAL', 'M/V', ']', ],
             ['Kem', 'Xôi', 'TV', ':', 'Tập', '74', '-', 'Dài', 'bao_nhiêu', 'là', 'đủ', ','],
             ['km²', 'và', 'Öland', 'khoảng'],
-            ['KM²', 'và', 'Öland', 'khoảng']
+            ['KM²', 'và', 'Öland', 'khoảng'],
         ]
 
         for s, e in zip(lines, expected):