Sparse Indexing of my Arabic Collection results in (Latin_1) encoding instead of (utf_8).

[MedSao]

Hi,
I am indexing my own Arabic collection using Lucene Sparse Indexing following this link. But after indexing is done, a figured out that the raw documents inside the index are encoded in (latin_1) encoding instead of (utf_8) which is most suitable for Arabic Language.
Please any help to setCodec() in the (org.apache.lucene.index.IndexWriterConfig) class into (utf_8).
Thanks in advance.

[lintool]

What's your indexing command? Did you set --language ar?

We have had any issues indexing Arabic text either in Mr.TyDi or MIRACL:
https://github.com/castorini/pyserini/#two-click-reproductions

What issue are you seeing?

[MedSao]

Thank you for your quick response.
Yes, I had set --language ar. But after indexing finished, when I fetched a document by its id I got its raw content something like "contents" : "طبقا لأØ\xadكام الÙ�صل 71 instead of the original document in the collection which corresponds to "طبقا لأحكام الفصل 71"

My Indexing command is : !python -m pyserini.index.lucene --collection JsonCollection --input ./collection_jsonl --index Pyserini_indexes/sample_collection_jsonl --generator DefaultLuceneDocumentGenerator --language ar --threads 12 --storePositions --storeDocvectors --storeRaw

[lintool]

What OS are you on?

I'm not finding any issues with Arabic. Try the following:

% python
Python 3.8.12 (default, Oct 12 2021, 06:23:56) 
[Clang 10.0.0 ] :: Anaconda, Inc. on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from pyserini.search.lucene import LuceneSearcher
>>> searcher = LuceneSearcher.from_prebuilt_index('mrtydi-v1.1-arabic')
Attempting to initialize pre-built index mrtydi-v1.1-arabic.
/Users/jimmylin/.cache/pyserini/indexes/lucene-index.mrtydi-v1.1-arabic.20220928.b5ecc5.efff40a2548f759eb8b0e47e0622685b already exists, skipping download.
Initializing mrtydi-v1.1-arabic...
>>> doc = searcher.doc('7#0')
>>> doc
<pyserini.index.lucene._base.Document object at 0x7fc710198790>
>>> doc.raw()
'{\n  "docid" : "7#0",\n  "title" : "ماء",\n  "text" : "الماء مادةٌ شفافةٌ عديمة اللون والرائحة، وهو المكوّن الأساسي للجداول والبحيرات والبحار والمحيطات وكذلك للسوائل في جميع الكائنات الحيّة، وهو أكثر المركّبات الكيميائيّة انتشاراً على سطح الأرض. يتألّف جزيء الماء من ذرّة أكسجين مركزية ترتبط بها ذرّتي هيدروجين برابطة تساهميّة لتكون صيغته H2O. عند الظروف القياسية من الضغط ودرجة الحرارة يكون الماء سائلاً، ولكنّ حالاته الأخرى شائعة الوجود أيضاً؛ وهي حالة الجليد الصلبة والبخار الغازيّة."\n}'

This is on mac OS (Intel).

[MedSao]

I am using Windows 11 Pro , with java 11.0.17 2022-10-18 LTS

>python
Python 3.8.13 | packaged by conda-forge | (default, Mar 25 2022, 05:59:00) [MSC v.1929 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

You're totally right. When I use a pre-build index (e.g., 'mrtydi-v1.1-arabic'), in this case I'm not finding any issue when executing the below lines of code:

from pyserini.search.lucene import LuceneSearcher
searcher = LuceneSearcher.from_prebuilt_index('mrtydi-v1.1-arabic')
doc = searcher.doc('7#0')
doc
doc.raw()

Attempting to initialize pre-built index mrtydi-v1.1-arabic.
C:\Users\moham\.cache\pyserini\indexes\lucene-index.mrtydi-v1.1-arabic.20220108.6fcb89.0129b01cc88524e13a9ff3e398e988a5 already exists, skipping download.
Initializing mrtydi-v1.1-arabic...
'{\n  "docid" : "7#0",\n  "title" : "ماء",\n  "text" : "الماء مادةٌ شفافةٌ عديمة اللون والرائحة، وهو المكوّن الأساسي للجداول والبحيرات والبحار والمحيطات وكذلك للسوائل في جميع الكائنات الحيّة، وهو أكثر المركّبات الكيميائيّة انتشاراً على سطح الأرض. يتألّف جزيء الماء من ذرّة أكسجين مركزية ترتبط بها ذرّتي هيدروجين برابطة تساهميّة لتكون صيغته H2O. عند الظروف القياسية من الضغط ودرجة الحرارة يكون الماء سائلاً، ولكنّ حالاته الأخرى شائعة الوجود أيضاً؛ وهي حالة الجليد الصلبة والبخار الغازيّة."\n}'

But, the problem occurs when i downloaded the same Arabic collection from this link and try to index it in my windows machine with the below Indexing Command:

!python -m pyserini.index.lucene --collection JsonCollection --input ./collection_jsonl --index Pyserini_indexes/sample_collection_jsonl --generator DefaultLuceneDocumentGenerator --language ar --threads 12 --storePositions --storeDocvectors --storeRaw

Then i encountered the aforementioned problem when trying to fetch a document, as shown below:

searcher = LuceneSearcher('Pyserini_indexes/sample_collection_jsonl')
doc = searcher.doc('7#0')
doc
doc.raw()

'{\r\n  "id" : "7#0",\r\n  "contents" : "ماء\\n\\nالماء مادةٌ Ø´Ù�اÙ�Ø©ÙŒ عديمة اللون والرائØ\xadØ©ØŒ وهو المكوّن الأساسي للجداول والبØ\xadيرات والبØ\xadار والمØ\xadيطات وكذلك للسوائل Ù�ÙŠ جميع الكائنات الØ\xadيّة، وهو أكثر المركّبات الكيميائيّة انتشاراً على سطØ\xad الأرض. يتألّÙ� جزيء الماء من ذرّة أكسجين مركزية ترتبط بها ذرّتي هيدروجين برابطة تساهميّة لتكون صيغته H2O. عند الظروÙ� القياسية من الضغط ودرجة الØ\xadرارة يكون الماء سائلاً، ولكنّ Ø\xadالاته الأخرى شائعة الوجود أيضاً؛ وهي Ø\xadالة الجليد الصلبة والبخار الغازيّة."\r\n}'

Any help please.

[lintool]

I suspect this is a Windows character encoding issue... Try some tips here: https://github.com/castorini/pyserini/blob/master/docs/installation.md#troubleshooting-tips

We don't normally work with Windows, so there's not much help I can provide...

Do you have access to a Linux machine or a Mac you can try?

[MedSao]

Thank You very much @lintool for your helpful responses.
As you said, I figured out that my error is related to Windows character encoding.
I tried indexing my collection on Google Colab VM. And it works.
Thank you again.