生成AIの壁(RAGと抽象的質問)

以前の記事でRAGの有無を比較し、その効果についてご紹介しました。RAGの仕組みは、過去の時点で止まっている学習モデルの欠点を補うことはできますが、その一方で、「抽象的な質問」に対する対応力はまだまだ課題として残っています。

例えば、「人間とは何か?」「正義とは何なのか?」といった問いに対して、現行のRAGモデルは真に適切な回答を提供できていると言えるのでしょうか? 言葉の意味や文脈を捉え、多面的・複雑な概念を理解する能力は、まだAIにとって大きな壁となっています。

そこで今回は、RAGが持つ可能性と限界について掘り下げ、抽象的な質問への対応について探っていきたいと思います。

抽象的な質問に弱い理由

基本的にRAGは、検索システムだからです。当サイトではRAGのことを便宜上追加学習と呼んでいますが、正確ではありません。RAGは直訳すると検索拡張生成と呼ばられるように、実態は検索なのです。

実際にDifyへ登録したナレッジ(ある化学メーカーのニュース記事)へ質問を投げてみましょう。Difyでナレッジを登録すると、検索テストという機能が使えます。ここで抽象的な質問をしてみます。
「〜の動向を教えて下さい。」一応ヒットはしていますが、期待したものではありません。

もう少し具体的な質問を投げてみましょう。「農業分野に関する動向を・・」

より具体的な検索ワードが含まれていないと機能しない、ということがお分かりいただけたでしょうか。
検索システムである以上、質問(プロンプト)に検索ワードを含めないと、期待する回答は得られないということになります。ただし、知りたいのが「動向」だとすると、そもそも検索ワードを持ち合わせていないのではないでしょうか。つまり、視界に入ってないものを知りたいのです。

当面の解決策

ナレッジ全体を俯瞰する手段が必要です。ナレッジ内にどのような情報が含まれているかを一旦視界に入れてしまうのです。例えば、ナレッジを登録する前に、タグクラウドのようなツールで視覚化します。以下は、同化学メーカー記事のタグクラウドです。農業が目立っていたり、細胞・医薬などの情報もありそうです。ここでは、視界に入ってなかった情報を押さえておきます。

以下は、同化学メーカーの技術開発動向について考察させたものです。俯瞰した情報の一部が抜け落ちています。gemma2:9b使用。

俯瞰した情報をもとに、農業や医療などの観点で、さらに動向分析を深めていきましょう。

このように、タグクラウドだけでは情報として不十分、生成AI(RAG)だけでも視界の外がわからない。しかしながら、これらを組み合わせることで、両者の弱点を補うことができ、抽象的な質問への当面の解決策にはならないでしょうか。

将来展望

抽象的な質問に対応できるよう、生成AI・RAG技術も進化し続けています。具体的な研究例として、以下の点が挙げられます。
深層学習: より高度な自然言語処理モデルを用いることで、文脈理解能力や論理的思考力を向上させる研究が活発に行われています。
知識グラフ: 概念の関連性を表現する知識グラフを導入することで、抽象的な概念の理解を深めることが期待されています。
人間の介入: 人間とAIの協調によって、抽象的な質問に対する回答精度を高めるアプローチも研究されています。
将来的には、抽象的な質問にも的確に答えることができ、私たちの思考を拡張してくれるような高度なAIが、気軽に利用できるようになるといいですね。