Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

fix a bug for prompt version 0.6 in jaqket_v2 #105

Merged
merged 2 commits into from
Oct 24, 2023

Conversation

mkshing
Copy link

@mkshing mkshing commented Oct 13, 2023

jaqket_v2-0.2-0.6 with 1-shot gets the following value error. This PR solves this error.

>>> python main.py --model hf-causal --model_args "pretrained=rinna/japanese-gpt2-xsmall,use_fast=False" --tasks "jaqket_v2-0.2-0.6" --num_fewshot "1" --device "cpu"
...
raise ValueError(
ValueError: description + QA prompt with no example (0-shot) doesn't fit in max_length. ctx: <s>[INST] <<SYS>>
あなたは役立つアシスタントです。
<</SYS>>

与えられた文脈から、質問に対する答えを抜き出してください。

文脈:ファーティマ朝(ファーティマちょう、アラビア語: الخلافة الفاطمية 、Al-Khilafah al-Fāṭimīyah)は、シーア派の一派、イスマーイール派が建国したイスラム王朝である(909年 - 1171年)。その君主は、イスマーイール派が他のシーア派からの分裂時に奉じたイマーム、イスマーイールの子孫を称し、イスラム世界の多数派であるスンナ派の指導者であるアッバース朝のカリフに対抗してカリフを称した。王朝名のファーティマは、イスマーイールの先祖である初代イマーム、アリーの妻で預言者ムハンマドの娘であるファーティマに由来している。
質問:元来はアラビア語で「後継者」を指す、マホメットの死後にイスラム教徒を統率した最高権威者を何というでしょう? [/INST] カリフ </s><s>[INST] 与えられた文脈から、質問に対する答えを抜き出してください。

文脈:バガン(ビルマ文字: ပုဂံ、ラテン文字表記: Bagan)は、ミャンマー・マンダレー地方域にある地名で、以前の表記はパガン。カンボジアのアンコール・ワット、インドネシアのボロブドゥールとともに、世界三大仏教遺跡のひとつと称され、イラワジ川中流域の東岸の平野部一帯に、大小さまざまな仏教遺跡が林立している。バガンとは、広くこの遺跡群の存在する地域を指し、ミャンマー屈指の仏教聖地である。その一部の城壁に囲まれたオールドバガンは、考古学保護区に指定されている。点在するパゴダや寺院のほとんどは11世紀から13世紀に建てられたもので、大きいものや小さいものがある。本来は漆喰により仕上げられた鮮やかな白色をしているが、管理者のない仏塔は漆喰が剥がれレンガの赤茶色の外観となる。仏塔の数は、3000を超えるといわれている。
2001年3月、紛争の続くアフガニスタンにて、崩壊しつつあったバーミヤーン石窟寺院の仏陀の像は、ターリバーンによって、最終的な崩壊を見た。それを受けて父モフセン・マフマルバフは、アフガニスタンに対する国際社会の無関心を بودا در افغانستان تخریب نشد، از شرم فرو ریخت (意味: アフガニスタンの仏像は破壊されたのではない恥辱のあまり崩れ落ちたのだ)にてレポートし、仏像は誰かが破壊したのではなく、アフガニスタンで虐げられた人々に対して、自らの至らなさを恥じて崩れたのだ、と指摘した。ハナは、父のその言葉から本作のイメージを作った。
2010年8月、カンボジアとの国境にあるプレアヴィヒア寺院(タイ語:プラヴィハーン)遺跡付近の領有をめぐって対立が再び激しくなる。その発端となったのは、反タクシン派団体である民主主義市民連合(PAD)がバンコクで2010年8月7日に開いた集会で、政治混乱による国民の不満を外にそらすため、強烈な国粋主義・民族主義に基づく、露骨な強硬外交を掲げたアピシット首相が「外交と軍事両方の手段を使う」と発言したことによると同国メディアは報じている。アピシット首相は世界遺産条約からの脱退を発表していた。
トマノン(Thommanon、クメール語: ប្រាសាទធម្មនន្ទ)は、カンボジアのアンコール遺跡において、チャウ・サイ・テヴォーダと1対となるスーリヤヴァルマン2世(在位1113-1150年)の統治中に建てられたヒンドゥー教寺院のうちの1つである。この小さいが洗練された寺院は、アンコール・トムの勝利の門からおよそ500メートル東、チャウ・サイ・テヴォーダのすぐ北に位置する。この寺院は、国際連合教育科学文化機関(ユネスコ、UNESCO)により、アンコール遺跡 (Angkor) の名で1992年に登録されたユネスコ世界遺産の一部である。寺院はシヴァおよびヴィシュヌに捧げられている。
シェムリアップ最古の寺院の一つは Wat Bo であるが、その壁にはブッダの生涯を表現する壁画が描かれている。 Wat Thmei にはクメール・ルージュの犠牲者の遺骨を納め、記憶にとどめるために建てられたストゥーパがある。首都プノンペンのものよりは敷地面積、規模共に小さいがこちらもキリングフィールドとして、ポルポト政権下でのジェノサイドを学ぶため多くの外国人観光客が訪れる。
質問:江戸時代前期の武士・森本一房が残した落書きが現在も残っている、カンボジアにある同国を代表する遺跡と言えば何でしょう? [/INST] 

Please note that I just used the very small model pretrained=rinna/japanese-gpt2-xsmall for quick debug.

@mkshing mkshing added the bug Something isn't working label Oct 13, 2023
@mkshing mkshing requested a review from jon-tow as a code owner October 13, 2023 07:37
@mkshing mkshing self-assigned this Oct 13, 2023
@mkshing mkshing removed the request for review from jon-tow October 13, 2023 07:37
Copy link

@mrorii mrorii left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

LGTM 👍
(I guess many implementations of preprocess_ctx are a bit repetitive so hopefully we can make it a bit more DRY in the future, but that's definitely out-of-scope for this PR)

@mkshing
Copy link
Author

mkshing commented Oct 13, 2023

I guess many implementations of preprocess_ctx are a bit repetitive so hopefully we can make it a bit more DRY in the future, but that's definitely out-of-scope for this PR

@mrorii yeah, I agree...

@polm-stability
Copy link
Collaborator

This looks like the same issue as #80, but with a different task/prompt. The code here should work and looks similar to existing code in other prompts, but honestly I find the use of recursion really confusing and hard to follow, so I would recommend a solution like in #80. It's also fine as-is though.

@mkshing
Copy link
Author

mkshing commented Oct 13, 2023

@polm-stability thank you for your review! I fixed it based on your comment. Could you review this again? Thanks!

Copy link
Collaborator

@polm-stability polm-stability left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Looks good, thanks for cleaning it up!

@mkshing mkshing merged commit 9999d17 into jp-stable Oct 24, 2023
1 check passed
@mkshing mkshing deleted the mkshing/fix-jaqketv2-0.6 branch October 24, 2023 05:11
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants