Vietnamese language: text and meta/warc-target-uri mismatched

[Luvata]

According to OSCAR document:

meta.headers.warc-target-uri: string URI from where the content has been fetched

When checking some records on Vietnamese subset, I found that text fields doesn't come from meta.headers.warc-target-uri

Reproduce

import datasets
dataset = datasets.load_dataset('oscar-corpus/OSCAR-2109', "deduplicated_vi", use_auth_token=HF_TOKEN)

Downloading and preparing dataset oscar2109/deduplicated_vi to /root/.cache/huggingface/datasets/oscar-corpus___oscar2109/deduplicated_vi/2021.9.0/f99db7058ca20335499dad39cda92ee05d57d8aa943fe651fdc5676101ee1e8f...
Downloading: 100%
7.42k/7.42k [00:00<00:00, 161kB/s]
13628679/0 [49:47<00:00, 5363.82 examples/s]
Dataset oscar2109 downloaded and prepared to /root/.cache/huggingface/datasets/oscar-corpus___oscar2109/deduplicated_vi/2021.9.0/f99db7058ca20335499dad39cda92ee05d57d8aa943fe651fdc5676101ee1e8f. Subsequent calls will reuse this data.
100%
1/1 [01:50<00:00, 110.41s/it]
# wait ~ 50 mins on colab
!rm -rf ~/.cache/huggingface/datasets/downloads/*

> dataset['train'][10000000] # Wrong
{'id': 10000000,
 'meta': {'headers': {'content-length': 43729,
   'content-type': 'text/plain',
   'warc-block-digest': 'sha1:UPBAHYJIQJ4L7PGUTQ4P2HMK362EJI3C',
   'warc-date': '2021-03-03T11:48:41Z',
   'warc-identified-content-language': 'eng,vie',
   'warc-record-id': '<urn:uuid:ff775a03-e278-4bb0-b66f-4ff5ddd108df>',
   'warc-refers-to': '<urn:uuid:02979651-d9ca-4830-a483-6e24b4e02238>',
   'warc-target-uri': 'https://chipi.vn/blogs/tin-thoi-trang/ao-tam-ho-phan-chan-nguc-lua-chon-cua-nhung-co-nang-ua-ho-bao',
   'warc-type': 'conversion'},
  'nb_sentences': 14,
  'offset': 2523135},
 'text': 'Combo Sách Quản Trị : Kế Toán Quản Trị (Managerial Accounting) + Quản Trị Trong Thời Khủng Hoảng - Chiến Lược Biến Đổi Những Mối Đe Dọa Thành Cơ Hội Phát Triển | Tiki\nTrang chủNhà Sách TikiSách tiếng ViệtSách kinh tếSách quản trị, lãnh đạoCombo Sách Quản Trị : Kế Toán Quản Trị (Managerial Accounting) + Quản Trị Trong Thời Khủng Hoảng - Chiến Lược Biến Đổi Những Mối Đe Dọa Thành Cơ Hội Phát Triển\nGiống như ngọn hải đăng cần mẫn dẫn đường cho người thủy thủ, Kế toán quản trị đã dẫn dắt hàng triệu người đọc dấn thân khám phá “vùng biển” kế toán quản trị. Tổng hợp 12 chủ điểm quan trọng cùng cách truyền đạt súc tích, dễ hiểu, cuốn sách sẽ đem đến cho người đọc một góc nhìn vừa bao quát, vừa chi tiết nhưng cũng rất thực tế về kế toán quản trị. Các chương trong sách bao gồm:\nRay H. Garrison là Giáo sư Kế toán của Đại học Brigham. Ông cũng là cố vấn quản trị của nhiều công ty kế toán trong khu vực và toàn liên bang Hoa Kỳ.\nEric W. Noreen hiện đang giảng dạy tại khoa Kế toán, Trường Kinh doanh Fox thuộc Đại học Temple. Ông là tác giả của nhiều bài báo về kế toán quản trị được đăng trên các tạp chí quốc tế có uy tín.\nPeter C. Brewer hiện là giảng viên khoa Kế toán, Trường Đại học Wake Forest. Ông đã có 19 năm là Giáo sư Kế toán của Trường Đại học Miami và có hơn 40 bài báo trong lĩnh vực kế toán quản trị trên\nQuản trị trong thời khủng hoảng là một trong những cuốn sách kinh điển về quản trị. Cuốn sách tập trung hoàn toàn vào các hành động, chiến lược và cơ hội, những điều các nhà quản trị có thể làm, nên làm và phải làm trong những thời kỳ biến động, khủng hoảng. Trong cuốn sách này, Peter F. Drucker trả lời một cách chính xác và rõ ràng 3 câu hỏi:\n\nĐinh TịFirst News - Trí ViệtĐại Mai Books-Công Ty Cổ Phần Văn Hóa Đông ANhà Sách Đại MaiNhã Nam Kim ĐồngCrabit KidbooksCty TNHH Sách WABOOKSCông Ty CP Văn Hóa Nhân VănNXB Chính Trị Quốc Gia Sự ThậtNXB Kim ĐồngNXB TrẻNXB Âm NhạcNhiều công ty phát hànhNhà Sách Hồng ÂnNhà Xuất Bản Kim ĐồngThái HàTân Việt\nCombo 4 cuốn truyện tranh song ngữ - Truyện tranh ngụ ngôn dành cho thiếu nhi song ngữ Anh - Việt ( Kiến và chim + sư tử và chuột nhắt+ sói và sóc + chuột , gà trống và mèo )\nCánh Én Tuổi Thơ - 90 Bài Hát Thiếu Nhi Về Thế Giới Loài Vật- Có Phần Hòa Âm Dành Cho Người Chơi Đàn (Kèm Cd)\nCombo sách khoa học điển hình dành cho trẻ: 100 bí ẩn đáng kinh ngạc về lịch sử - 100 things to know about history +100 bí ẩn đáng kinh ngạc về số, máy tính và mã hóa - 100 things to know about numbers, computers & coding\n\nVé máy bay đi Đức giá rẻ. Nằm ở vị trí trung tâm Châu Âu, và được bao bọc bởi 9 quốc gia, Đức đã trở thành một trong những điểm du lịch hấp dẫn cho mọi du khách khi đến thăm Châu Âu. Hôm nay Tìm chuyến bay sẽ đưa bạn đến Đức, quốc gia có lịch sử phát triển lâu đời, nền văn hóa phong phú, nơi có nhiều bảo tàng lịch sử, nghệ thuật, những công trình kiến trúc nổi tiếng đặc biệt là các lâu đài. Ngoài ra Đức còn có cảnh sắc thiên nhiên tươi đẹp, và nhiều lễ hội sôi động. Hi vọng bạn sẽ có nhiều trải nghiệm khó quên khi đến nước Đức.'}

> dataset['train'][2000] # Wrong
{'id': 2000,
 'meta': {'headers': {'content-length': 2519,
   'content-type': 'text/plain',
   'warc-block-digest': 'sha1:XWZHMUSNYWHL7VEOM4BHSUCHY3N52523',
   'warc-date': '2021-02-25T14:14:34Z',
   'warc-identified-content-language': 'vie,eng',
   'warc-record-id': '<urn:uuid:eca6a11d-d7e2-440c-af2b-2286e6c3a096>',
   'warc-refers-to': '<urn:uuid:4e96c6d3-80db-41c0-a07d-ada90a97080e>',
   'warc-target-uri': 'https://u-os.org/banh-ngon-mien-tay-banh-cu-cai',
   'warc-type': 'conversion'},
  'nb_sentences': 1,
  'offset': 18147},
 'text': 'Trong các hạng mục thi công xây dựng chắc chắn không thể thiếu được chống thấm. Một công trình nhà ở có nhiều vị trí cần chống thấm nhưng đáng quan tâm nhất là chống thấm sàn mái. Đây là khu vực phải tiếp xúc với nước, chịu ảnh hưởng trực tiếp của khí hậu tác động đến kết cấu, thẩm mỹ và tuổi thọ công trình. Hiểu rõ tầm quan trọng ấy, hôm nay chongthamvietthai sẽ mang đến bạn 5 loại vật liệu chống thấm sàn mái tốt nhất, với tuổi thọ trên 25 năm.'}

You can find my code here colab

[Uinelj]

Hello, thank you for reporting the issue. Are all the records affected?

[Luvata]

I'm not sure, I try loading a subset by using _generate_examples with only part 43 Vietnamese and the uri + text are correctly matched.