Feature/cosmosdb crud

[haruki26]

概要

CosmosDBManagerにCRUDを実装する

変更点

このセクションでは、具体的な変更点や修正箇所を箇条書きでリストアップしてください。

• ドキュメントをフォーマットする関数を作成
• similarity_search_with_scoreで返却値のmetadataにidを付与する処理を追加
• get_source_by_idでクエリを使用する形に変更
• ベクターストアにドキュメントを追加するメソッドを作成
• ベクターストアのドキュメントを更新するメソッドを作成

ドキュメントの削除は継承元のdelete_document_by_idで行えることを確認しました。

関連Issue

このセクションでは、このPRが関連するIssueをリンクしてください。以下のように記述します。

• 関連Issue: [✨Enhancement] AzureCosmosDBにデータを保存する #109

[haruki26]

とりあえずですが作成しました。イメージと違うとこあったら教えてください。

[snow7y]

以前の自分のコードの部分かもですが、気になった部分をレビューしました
あとazure.coreのloggerがうるさかったのでワーニング以上のlogしか出力されないように変更するコードを別途プッシュするのでプルお願いします

[snow7y]

ここでf-stringで埋め込んでいるが、_similarity_search_with_scoreメソッドのようにparametersを使用して埋め込んであげたほうがよさそう

query = "SELECT c.metadata FROM c WHERE c.id = @id"
parameters = [{"name": "@id", "value": id}]
item = self._container.query_items(
query=query, parameters=parameters, enable_cross_partition_query=True
).next()

[haruki26]

query_itemメソッドがparametersにlist[dict[str, object]]をふっているせいかmypyエラー出ます。
cast関数でlist[dict[str, Any]]にするとエラー吐かないのでキャストしてます。

[snow7y]

query_itemメソッドがparametersにlist[dict[str, object]]をふっているせいかmypyエラー出ます。 cast関数でlist[dict[str, Any]]にするとエラー吐かないのでキャストしてます。

良いと思います

[snow7y]

re module使ったらもう少し簡単に書ける

headers = re.findall(r"^#+", text, re.MULTILINE)
return max([len(h) for h in headers]) if headers else 0

[haruki26]

ツールの動作確認しました。現在、ベクターサーチの結果からidを取得してidでもう一度クエリした結果を返すようになっているのですが、ベクターサーチの結果をそのまま返すようにしても問題無いでしょうか？

[haruki26]

langchain側でデフォルトでidを取得するようになっていたのでオーバーライドを削除しました。