[2022]Automatic Chain of Thought Prompting in Large Language Models

[takumi7110]

【背景】
• LLMは複雑な推論が可能だが、手動でデモンストレーションを設計する必要がある。
• 手動でデモンストレーションを設計するのは労力がかかるため、自動的にデモンストレーションを生成する方法が必要。
【目的】
• 自動的なデモンストレーション生成手法「Auto-CoT」を提案する。
• Auto-CoTはLLMによる「Let's think step by step」のプロンプトを使用してデモンストレーションの推論チェーンを生成する。
• Auto-CoTの性能を評価し、手動設計のデモンストレーションと比較する。
【手法】
• Auto-CoTは与えられたデータセットの質問をクラスタに分割し、各クラスタから代表的な質問を選択する。
• 選択された質問に対して「Let's think step by step」のプロンプトを使用して推論チェーンを生成する。
【実験方法】
• Auto-CoTを10のベンチマーク推論タスクで評価する。
• GPT-3を使用して手動設計のデモンストレーションとの性能比較を行う。
【実験結果】
• Auto-CoTは手動設計のデモンストレーションと同等またはそれ以上の性能を示す。
• GPT-3を使用したAuto-CoTはCoTパラダイムの性能を実現することができる。
【考察】
• Auto-CoTは手動設計のデモンストレーションを自動的に生成することで効果的な推論チェーンを構築することができる。
• 推論チェーンの多様性は自動的なデモンストレーション構築において重要であることが示されている。

[takumi7110]

https://arxiv.org/abs/2210.03493

https://arxiv.org/pdf/2210.03493.pdf