近年、生成AIは急速に普及し、多くの企業がその可能性を模索しています。特に、長文脈処理能力を持つ大規模言語モデル（LLM）は、自然言語処理の分野で革命的な進化をもたらしました。しかし、長文脈処理には依然として課題が残されており、新たなアプローチが求められています。そこで注目されているのが「SELF-ROUTE」という手法です。
ビジネス分野における生成AI
生成AIはすでに多くの業界で活用され始めています。例えば、顧客サポートやチャットボットでは、自然言語処理を応用した会話型のシステムが導入されています。また、文章作成や翻訳などでも生成AIはその能力を発揮しています。
RAGの背景と課題
長文脈処理には計算負荷とコストの問題があります。LLMは長文脈を直接処理する能力が向上していますが、多段階の推論や一般的・暗黙的なクエリ、長く複雑なクエリなどでは課題が残されています。そこで、検索拡張生成（RAG）という手法が提案されました。
RAGは、クエリに関連する情報を取得し、その文脈内で回答を生成します。しかし、多段階の推論や一般的・暗黙的なクエリなどでは失敗パターンもあります。研究チームは、RAGの失敗パターンを分析し、思考の連鎖プロセスの組み込みやクエリ理解技術の向上などの改善点を明らかにしました。
SELF-ROUTEとは何か
SELF-ROUTEは、Google DeepMindとミシガン大学の研究者たちが提案した新手法です。RAGと長文脈LLM（LC）の長所を組み合わせたこの手法は、計算コストを大幅に削減しつつ、高い性能を維持できます。
SELF-ROUTEの仕組みは次の通りです。クエリと取得した情報チャンクをLLMに提供し、回答可能かどうかを判断します。回答可能と判断された場合はRAGの回答を使用し、そうでない場合はLCに全文脈を与えて詳細な回答を得ます。
SELF-ROUTEは、RAGとLCの長所を組み合わせた手法です。計算コストを大幅に削減しつつ、高い性能を維持できます。例えば、Gemini-1.5-Proでは65%、GPT-4では39%のコスト削減を達成しています。
まとめ
SELF-ROUTEは、生成AIの新たな一手法です。RAGとLCの長所を組み合わせたこの手法は、計算コストを大幅に削減しつつ、高い性能を維持できます。ビジネス分野では、生成AIが急速に普及していますが、SELF-ROUTEのような新しいアプローチが求められています。
Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
https://www.arxiv.org/abs/2407.16833
Self Route（セルフルート）RAGを効果的に使い分ける新手法
https://techinnovateit.com/self-route/