前回はRAGを使ってモデルを追加学習する方法についてご紹介しました。そこで今回は、追加学習によってどのような効果があるか、実際に試していきましょう。化学メーカーM社について、予め収集しておいたWeb情報をナレッジとして登録し、その企業動向を分析していきます。今回のモデルは、gemma2 9Bを使っています。埋め込みモデル、リランクモデルを含め、ローカル環境で行っています。
RAG無しの場合
まずは比較のため、RAGを使わずにM社に関する質問をします。質問文はいろいろと考えられますが、技術的な観点を入れつつある程度抽象化して、以下のようにしました。
M社の直近の技術開発動向を踏まえ、同社の今後の戦略を考察して下さい。
結果は以下のとおりです。環境負荷低減、先端材料開発の２つの切り口から、いくつかの事例とともに回答しています。カーボンニュートラル、プラスチック廃棄物、次世代バッテリー素材とありますが、やや具体性に欠けている点と、情報が2023年と古い点が気になります。
RAG有りの場合
次にRAGを使った場合の回答を見てみましょう。質問文は同じです。
いくつかの具体的な取り組みをもとに、回答しています。情報も2024年の直近のものが引用されています。これらの情報を踏まえ、同社の戦略として「持続可能な社会の実現に向けた環境負荷低減と資源循環型社会の構築」と考察しています。さらに、再生可能エネルギーへの転換、サプライチェーンにおける環境負荷低減、循環型ビジネスモデルの構築等の切り口で、施策を示しています。
企業動向を考察する
さて、追加学習の効果としては以上のとおりなのですが、ここで終わりでは、単に動作確認にしかなっていません。実際の業務で活用するには、これらの結果をどう解釈するか、つまり本来の目的である企業動向分析へ目を向ける必要があります。そこでもう少し深堀りしてみます。
生成AIの回答をどう解釈するかは、最終的には人が判断すべきですが、ここでは、RAG無しの回答を2024年以前の状況、RAG有りの回答を2024年以降の状況とし、2024年前後でどう変化したかをさらに質問し考察させました。その回答が以下です。
主な変化点として３つ挙げられています。このうち、とくにDX推進（次世代ラボの実現）と、ポートフォリオの見直しは注目に値し、同社の動向として押さえておく必要があるかもしれません。
まとめ
今回は、RAGの有無で回答がどう変化するかについて、実際の例を挙げてご紹介しました。RAG有りの方が、より具体的で最新の情報から回答を得られることがわかりました。しかしながら、RAG無しの回答も、網羅的で一定の説得力があります。そこで両者を活用し、一歩踏み込んだ分析を行ってみました。何が正解かはまだ分かりませんが、ご参考になれば幸いです。