Skip to content

Latest commit

 

History

History
68 lines (42 loc) · 7.14 KB

File metadata and controls

68 lines (42 loc) · 7.14 KB

本番環境でのAIエージェント

はじめに

このレッスンでは以下を学びます:

  • AIエージェントを本番環境に効果的にデプロイするための計画方法。
  • AIエージェントを本番環境にデプロイする際に直面する可能性のある一般的なミスや問題。
  • パフォーマンスを維持しつつ、コストを管理する方法。

学習目標

このレッスンを終えた後には、以下のことを理解し、実行できるようになります:

  • 本番環境でのAIエージェントシステムのパフォーマンス、コスト、効果を向上させるための手法。
  • AIエージェントの評価内容と評価方法。
  • AIエージェントを本番環境にデプロイする際のコスト管理方法。

信頼できるAIエージェントをデプロイすることは非常に重要です。「Building Trustworthy AI Agents(信頼できるAIエージェントを構築する)」のレッスンもぜひ確認してください。

AIエージェントの評価

AIエージェントをデプロイする前、デプロイ中、そしてデプロイ後には、適切な評価システムを持つことが重要です。これにより、システムが自分自身やユーザーの目標に沿っていることを確認できます。

AIエージェントを評価する際には、エージェントの出力だけでなく、エージェントが動作するシステム全体を評価できる能力が必要です。これには以下が含まれますが、これらに限定されません:

  • 初期のモデルリクエスト。
  • ユーザーの意図を正確に把握するエージェントの能力。
  • タスクを実行するための適切なツールを特定するエージェントの能力。
  • エージェントのリクエストに対するツールの応答。
  • ツールの応答を解釈するエージェントの能力。
  • エージェントの応答に対するユーザーからのフィードバック。

これにより、改善が必要な領域をよりモジュール的に特定することができます。その後、モデル、プロンプト、ツール、その他のコンポーネントの変更による影響を効率よくモニタリングすることが可能になります。

AIエージェントにおける一般的な問題とその解決策

問題 解決策
タスクを一貫して実行しないAIエージェント - AIエージェントに与えるプロンプトを改善し、目的を明確にする。
- タスクをサブタスクに分割し、複数のエージェントで処理することで効果的になる場合を検討する。
AIエージェントが無限ループに陥る - プロセスを終了する条件を明確に設定し、エージェントが停止タイミングを認識できるようにする。
- 推論や計画を必要とする複雑なタスクの場合、推論に特化した大規模モデルを使用する。
ツール呼び出しがうまく機能しない - エージェントシステムの外でツールの出力をテスト・検証する。
- 定義されたパラメータ、プロンプト、ツールの名前付けを改善する。
マルチエージェントシステムが一貫して動作しない - 各エージェントに与えるプロンプトを精査し、それぞれが具体的かつ明確に異なるようにする。
- "ルーティング" またはコントローラーエージェントを使用して、どのエージェントが適切かを判断する階層型システムを構築する。

コスト管理

AIエージェントを本番環境にデプロイする際のコストを管理するための戦略は以下の通りです:

  • レスポンスのキャッシュ - 一般的なリクエストやタスクを特定し、それらのレスポンスをエージェントシステムを通さずに提供することで、類似したリクエストの量を減らすことができます。さらに、基本的なAIモデルを使用してリクエストがキャッシュされたリクエストにどれだけ類似しているかを識別するフローを実装することも可能です。

  • 小規模モデルの使用 - 小規模言語モデル(SLM)は、特定のエージェントユースケースで良好なパフォーマンスを発揮し、コストを大幅に削減することができます。前述の通り、評価システムを構築して、大規模モデルとのパフォーマンス比較を行い、自分のユースケースでSLMがどの程度うまく機能するかを理解するのが最善です。

  • ルーターモデルの使用 - 類似した戦略として、さまざまなモデルやサイズを使用する方法があります。LLM/SLMやサーバーレス関数を使用してリクエストを複雑さに基づいて最適なモデルにルーティングすることで、コストを削減しつつ、適切なタスクでのパフォーマンスを確保できます。

おめでとうございます

これで「AI Agents for Beginners」の最後のレッスンが終了しました。

私たちは、この急速に成長する業界の変化やフィードバックに基づいて、今後もレッスンを追加していく予定ですので、ぜひまたお越しください。

AIエージェントについてさらに学び、構築を続けたい場合は、Azure AI Community Discord に参加してください。

ここでは、ワークショップ、コミュニティラウンドテーブル、"何でも質問" セッションを開催しています。

また、AIエージェントを本番環境で構築するための追加資料が含まれたLearnコレクションもご用意しています。

免責事項:
本書類は、機械翻訳AIサービスを使用して翻訳されています。正確性を期しておりますが、自動翻訳にはエラーや不正確な部分が含まれる可能性があることをご承知おきください。原文(原言語の文書)が公式で信頼できる情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の使用に起因する誤解や解釈の相違について、当方は一切の責任を負いかねます。