DeepRAGとは？不要な検索を抑える仕組みとメリットを解説

従来のRAGは、外部情報を検索して回答に反映することで、LLMのハルシネーションを抑える手法です。一方で、回答に必要のない検索が行われたり、検索結果にノイズが含まれたりする課題もありました。

こうした課題に対応する手法として、中国科学院ソフトウェア研究所とWeChat AIの研究者らが提案したのがDeepRAGです。DeepRAGは、外部検索が必要か、LLMの内部知識だけで回答できるかを各段階で判断します。論文の実験では、複数の比較手法に対して回答精度の向上が報告されました。

本記事では、DeepRAGの仕組みや従来のRAGとの違い、導入するメリット、想定される利用場面についてわかりやすく解説します。

DeepRAGとは

DeepRAGは、従来のRAGを発展させた新たな手法です。

従来手法のRAGでは、非効率なタスクの分解や無駄なテキスト検索が起こり、ノイズや冗長性が生じる、検索と推論の適切なバランスを取ることが難しいなどの課題がありました。

また、LLMは推論能力に長けており、日進月歩で新たなモデルがリリースされますが、ハルシネーションの問題は依然として解決されていません。

従来手法のRAGとLLM、2つの問題を解決するためにDeepRAGは開発されました。DeepRAGでは、RAGをマルコフ決定過程としてモデル化し、各ステップで外部検索を行うのかLLMのパラメータ知識のみに頼るのかを動的に決定します。

論文の実験では、DeepRAGが複数の比較手法を上回る回答精度を記録しています。

そもそもRAGとは何か？

そもそもRAGというのは、Retrieval-Augmented Generation(検索拡張生成)の略であり、LLMによるテキスト生成に外部からの情報(PDFなどのテキスト情報)の検索を組み合わせることで回答出力の精度を高め、ハルシネーションを減少させるものです。

わかりやすいサービスとして、Googleが提供しているGemini Notebook（旧NotebookLM）があります。NotebookLMはテキスト情報を読み込ませることで、その情報を元にユーザーの質問に回答をしてくれます。このときに回答を生成するのがLLMです。

LLM単体（検索機能などを持たない場合）が回答できる内容は、基本的に事前学習で得た知識の範囲に限られ、最新情報への対応が難しい傾向があります。また、専門領域に関する知識も乏しくなりがちで、ハルシネーションが起こりやすいとされています。近年は検索機能を統合したAIサービスも増えていますが、RAGはこうした制約を補う代表的な手法の一つです。

一方で、テキスト情報を読み込ませることで、最新情報や専門領域の知識を踏まえた上で回答ができるようになるため、ハルシネーションの抑制が期待できます。

LLMとRAGの違いについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

DeepRAGとRAGの違い

LLMのみの回答に比べてRAGはハルシネーションが生じにくいものの、RAGのデメリットもあります。

従来のRAG手法にはいくつかの課題があります。例えば、検索が不要な場合にも実行されるため、計算にかかるコストが増加します。また、サブクエリが適切に生成されないと、検索結果が不正確になることもあります。さらに、モデル内の知識と検索結果を効果的に使い分けることが難しい点も問題です。

そこで、DeepRAGでは検索過程をマルコフ決定過程としてモデル化し、検索が必要な場合のみ検索を行う適応的なアプローチを導入しました。

マルコフ決定過程を取り入れたDeepRAGは、計算コストを抑えながらも高い精度を実現しています。また、この手法は、モデルの知識と検索結果をうまく使い分けることができ、質問を効率的に分解しながら不要な検索を最小限に抑える点でも優れています。

マルコフ決定過程

マルコフ決定過程とは、意思決定が順番に行われる状況を数学的にモデル化したもので、次の状態は今現時点での状態と行動によってのみ決まり、過去の状態には依存しない、というものです。

初めて意中の人とデートに行くときを例にしてみましょう。初めてのデートでは、1.カフェにいく、2.ランチを食べる、3.映画を観るなどいくつもの選択肢があります。このときの選択によって2回目のデートに繋がるか否かが決まります。

カフェに行った場合、次のデートにつながる確率は50％、ランチに行った場合は80％、映画を観る場合は40％の確率で次のデートに繋がるとします。このときに選んだ選択肢によって「報酬(ここでは満足感)」が変化し、満足感が高ければ高いほど次のデートに繋がります。

これがマルコフ決定過程であり、現時点での状態と行動(デートでどこに行くか)によって、次の状態(2回目のデートにいけるかどうか)が決まるというものです。

洗練されたUIのオープンRAGシステムについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

DeepRAGとAdvanced RAGの関係

DeepRAGは、基本的なRAGが抱える不要な検索や検索精度の低下といった課題に対応する手法です。RAGを高度化する考え方と深く関係していますが、Advanced RAGとDeepRAGは同じ技術名ではありません。

Advanced RAGは、基本的なRAGの検索処理や回答生成を改善する幅広い構成を指します。一方のDeepRAGは、検索が本当に必要かを推論の途中で判断することに重点を置いた個別の研究手法です。

Advanced RAGとは

Advanced RAGとは、質問に関連する文書を一度検索して回答を生成する基本的なRAGを発展させ、回答の精度や信頼性を高める構成の総称です。RAGに関する調査論文では、RAGの発展段階をNaive RAG、Advanced RAG、Modular RAGの3つに分類しています。

Advanced RAGでは、検索前に質問文を書き換える処理や、取得した情報を関連性の高い順に並べ直す再ランキングが取り入れられます。キーワード検索とベクトル検索を組み合わせるハイブリッド検索や、必要に応じて検索を繰り返す方法も、RAGの性能を高める取り組みの一つです。

このようにAdvanced RAGは、特定の一つのアルゴリズムを示す名前ではありません。検索前から回答生成までの処理を改善し、基本的なRAGが抱える課題を補う幅広い考え方として使われます。

DeepRAGは検索判断を高度化する手法

DeepRAGは、複雑な質問を複数のサブクエリに分け、推論の各段階で外部検索を行うか、LLMが持つ内部知識だけで回答するかを判断する手法です。従来のRAGでは、質問を受け取ると外部情報を検索する流れが一般的でした。

しかし、LLMの内部知識だけで回答できる質問まで検索すると、不要な情報が混ざり、回答品質の低下や処理時間の増加につながる場合があります。DeepRAGでは、検索を伴う推論過程をマルコフ決定過程として扱い、各サブクエリに対して検索の必要性を動的に判断します。

Advanced RAGに関連するさまざまな改善方法のなかでも、検索するタイミングと必要性の判断に重点を置いている点が特徴です。

DeepRAGとAdvanced RAGは同義ではない

DeepRAGとAdvanced RAGを同じ意味として扱うのは適切ではありません。Advanced RAGは、クエリの書き換えや再ランキング、ハイブリッド検索といった複数の改善方法を含む広い概念です。DeepRAGは、中国科学院ソフトウェア研究所とWeChat AIの研究者らが提案した、検索判断に焦点を当てた特定の研究手法を指します。

そのため、両者の関係は、Advanced RAGがRAGを高度化する考え方の総称であり、DeepRAGはそれに関連する個別アプローチの一つと捉えるとわかりやすいでしょう。ただし、DeepRAGの論文内でAdvanced RAGの一種と明記されているわけではないため、「DeepRAGはAdvanced RAGそのもの」と断定せず、関連する手法として説明するのが正確です。

DeepRAGの仕組み

DeepRAGは、複雑な質問を小さく分けながら、外部検索を使うかLLMの内部知識で答えるかを段階ごとに判断します。学習時には、二分木探索で複数の答え方を試し、その結果をもとに検索のタイミングや質問の分け方を身につける流れです。

ここでは、質問を受け取ってから最終回答を作るまで、DeepRAGがどのように判断を重ねるのかを順番に見ていきましょう。

複雑な質問を段階的に分解する

DeepRAGは、複雑な質問をそのまま検索するのではなく、答えやすい小さな質問に分けて考えます。この考え方がRetrieval Narrativeです。

例えば、複数の論点が含まれる質問なら、必要な情報を一つずつ確認していきます。途中で得られた回答も次の質問に反映されるため、一度の検索では拾いきれない内容にも対応しやすくなるでしょう。

マルコフ決定過程として検索行動をモデル化する

DeepRAGでは、検索を含む一連の流れをマルコフ決定過程として扱います。今の時点で分かっている内容をもとに、外部検索をするのか、LLMの内部知識だけで答えるのかを選ぶというものです。

この判断はサブクエリごとに行われ、Atomic Decisionと呼ばれます。毎回検索するわけではないので、必要のない情報を集めたり、処理コストが増えたりするのを抑えられます。

二分木探索で推論経路を探索する

DeepRAGの学習では、外部検索をする場合と、LLMの内部知識だけで答える場合の両方を試す方法が使われています。2つの結果を比べ、より正確な回答につながった方を選ぶ流れです。

この方法が二分木探索であり、どの場面で検索した方がよいのかを見極めるために行われます。ここで得られた結果は、次の模倣学習で手本にするデータとなります。

模倣学習で検索方針を学習する

模倣学習では、二分木探索で選ばれた適切な答え方を手本にします。DeepRAGが学ぶのは、外部検索を行うタイミングと、LLMの内部知識だけで答えられる場面です。

検索するかどうかだけでなく、質問の分け方や途中の回答の作り方も学習の対象となります。どの時点で推論を終えるかも身につけるため、質問に合った検索方針を選びやすくなるでしょう。

連鎖的校正で推論と検索を調整する

模倣学習を終えた後は、連鎖的校正によって検索の判断を見直します。外部情報が本当に必要かを改めて確かめ、検索するか内部知識だけで答えるかを選び直すイメージです。

模倣学習だけでは、覚えた答え方に偏ってしまう可能性も否定できません。そこで回答の正確さを確認しながら判断を修正し、不要な検索や情報不足を抑えやすくなるでしょう。

検索結果をもとに最終回答を生成する

DeepRAGは、それぞれのサブクエリに対して、外部検索かLLMの内部知識を使って回答を作ります。検索した場合は、そこで見つけた情報を次の質問や回答にも反映します。

必要な情報がそろったら、それぞれの回答をまとめて、元の質問に対する最終回答を生成します。関係のない情報が混ざりにくいため、複雑な質問にも答えやすくなるのが特徴です。

DeepRAGができること

DeepRAGの活用として、論文の読解が挙げられます。医師をはじめとした医療従事者や研究者の方々は、日々論文を読むかと思います。そういった時にDeepRAGを使えば、エビデンスに基づく治療選択の一助になるでしょう。また、特定の疾患に関する論文をたくさん読み込ませておけば、ニッチな質問もDeepRAGで対応することが可能。

その他にも企業などではオリジナルのChatbotの運用もできるようになるでしょう。自社のサービス内容やよくある質問などを読み込ませ、カスタマーサポートとして活用することで、これまで人力で行っていた対応を自動でできるようになる可能性があります。

また、DeepRAGは従来のRAGに比べて、モデル内部の知識に頼るのか外部知識に頼るのかの判断によって、サブクエリに分解することにより高精度な回答を出力できます。

例えば、「AIとブロックチェーンの融合は今後どうなるのか？」というユーザーからの質問に対して、従来のRAGでは「AIとブロックチェーンの融合」というキーワードのみで検索し、見つかった内容を出力していました。

しかし、それだと最新事例や技術的課題などの回答が漏れてしまいます。サブクエリに分解することで、ユーザーからの質問を複数のクエリに分解・回答を生成し、最終的な回答を出力することになるため、より複雑な回答も適切に回答ができるようになるのです。なお、論文の実験では、多くの質問が3〜5個程度のサブクエリに分解される傾向が報告されています。

リアルな統計データ×RAGを使ったハルシネーション対策極みLLMについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

DeepRAGを活用するメリット

DeepRAGを使うメリットは、必要なときだけ外部検索を行い、複雑な質問にも対応しやすくなることです。従来のRAGでは、質問の内容にかかわらず検索を行うため、関係のない情報が混ざったり、処理にかかる負担が増えたりする場合がありました。DeepRAGなら、LLMの内部知識と外部情報のどちらを使うべきかを判断しながら回答できます。

ここからは、DeepRAGを使うことで期待できる4つのメリットを見ていきましょう。

複雑な質問への回答精度を高めやすい

DeepRAGは、複雑な質問を複数のサブクエリに分け、一つずつ回答を出していきます。質問に含まれる論点を分けて考えるため、必要な情報の抜けを抑えやすいのが特徴です。

例えば、複数の技術や事例を比較する質問では、一度の検索だけで十分な情報を集められない場合があります。DeepRAGなら、確認すべき内容を段階的に分けて調べられるので、複雑な質問でも詳しい回答につながるでしょう。

不要な検索を減らしやすい

従来のRAGでは、LLMの内部知識だけで答えられる質問でも外部検索を行う場合があります。検索回数が増えるほど、処理にかかる時間や計算コストも大きくなりがちです。

DeepRAGは、サブクエリごとに外部検索が必要かを判断します。今ある知識だけで答えられる場合は検索を行わないため、無駄な情報取得を減らせます。

検索結果によるノイズを抑えやすい

外部検索で取得した情報が、全て回答に役立つとは限りません。質問と関係の薄い情報が混ざると、回答が長くなったり、内容がずれたりする原因になります。

DeepRAGでは、必要な場面に絞って検索を行うため、不要な検索結果を取り込む可能性を抑えられます。回答に使う情報を絞りやすくなり、冗長ではない回答も期待できるでしょう。

LLMの内部知識と外部知識を使い分けられる

DeepRAGは、LLMがもともと持っている内部知識と、検索によって取得する外部知識を使い分けます。どちらか一方に頼るのではなく、質問の内容に応じて選べる点が大きなメリットです。

一般的な知識で答えられる質問には内部知識を使い、最新情報や専門的な内容が必要な場合は外部検索を行います。必要な情報を必要なタイミングで補えるため、回答の精度と検索効率を両立しやすくなります。

DeepRAGのデメリット・課題

DeepRAGは、不要な検索を減らしながら回答精度を高められる手法ですが、どのような場面にも向いているわけではありません。一般的なRAGより処理が複雑で、モデルに検索方針を学ばせる準備も必要です。

導入を検討する際は、得られる効果だけでなく、開発や運用にかかる負担も確認しておきましょう。

一般的なRAGより構成が複雑になる

一般的なRAGは、ユーザーの質問に関連する情報を検索し、その結果をLLMへ渡して回答を作る流れが基本です。一方のDeepRAGでは、質問の分解や検索の必要性の判断、途中の回答生成を繰り返します。マルコフ決定過程によるモデル化や連鎖的校正も必要になるため、一般的なRAGより構成は複雑です。

そのぶん、開発時に確認する項目も多くなります。まずは一般的なRAGで目的を達成できないかを検討し、本当に高度な検索判断が必要な場合にDeepRAGを選ぶのがよいでしょう。

推論や検索方針の学習が必要になる

DeepRAGの検索判断は、単純なルールだけで行われるものではありません。二分木探索で作ったデータを使って模倣学習を行い、その後に連鎖的校正で検索方針を調整します。

論文と同じ方法を再現する場合は、学習用データの準備やファインチューニングが必要です。回答が正しいかどうかだけでなく、どの段階で検索させるかも確認しなければなりません。

データや計算環境を用意できない場合は、導入のハードルが高く感じられる可能性もあります。

回答までの処理時間が長くなる可能性がある

DeepRAGは質問をサブクエリに分け、推論の各段階で検索するかどうかを判断します。質問が複雑になるほど、途中の回答生成や検索が複数回行われる可能性もあるでしょう。

一般的なRAGのように一度だけ検索する場合と比べると、判断や推論に時間がかかるケースも考えられます。ただし、DeepRAGは不要な検索を抑えることも目的としているため、必ず処理時間が長くなるわけではありません。論文の実験でも、検索回数と回答時間は手法やデータセットによって異なっています。

実際に導入する際は、回答精度だけでなく、利用する環境での応答速度も測っておきたいところです。

あらゆる質問で検索回数が減るとは限らない

DeepRAGは検索回数を一律に減らすのではなく、回答に外部情報が必要かどうかを判断する手法です。LLMの内部知識だけで答えられる質問なら、検索を省ける可能性があります。一方、複数の情報を確認しなければならない質問では、サブクエリごとに検索が必要になるかもしれません。

論文の評価でも、DeepRAGは回答の正確さを優先しながら検索コストを抑える方針を採っています。どの質問でも検索回数が減ると考えるのではなく、必要のない検索を避けやすい手法として捉えるのが自然です。

実環境での導入事例がまだ限られている

DeepRAGの論文では、複数の質問応答データセットを使って性能が検証されています。対象となったのは、複数段階の推論が必要な質問や時間によって答えが変わる質問、異なる知識ベースを使う質問です。

一方で、企業の問い合わせ対応や社内検索といった実環境での長期的な運用結果は、同論文では示されていません。実際のサービスへ取り入れる場合は、限られた範囲で試しながら、回答精度や処理時間、運用負担を確認する必要があるでしょう。

LLMのハルシネーションを防ぐRAG Fusionについて詳しく知りたい方は、下記の記事を合わせてご確認ください。

DeepRAGに関連するRAGの高度化手法

手法	主な目的	判断方法	DeepRAGとの違い
DeepRAG	複雑な質問への回答精度と検索効率を高める	分解した質問ごとに検索の必要性を判断	推論の各段階で検索するかを決める
Divide-Then-Align	根拠のない回答を控えやすくする	回答できる根拠がなければ回答を控える	検索判断より回答を控える能力を重視
Active RAG	回答中の情報不足を補う	回答の途中で必要に応じて追加検索	回答生成中の再検索を重視
Adaptive RAG	質問に合った検索方法を選ぶ	質問全体に応じて検索方法を切り替える	分解した質問ではなく質問全体を見て判断

RAGの精度や信頼性を高める方法は、DeepRAGだけではありません。根拠が足りない場合に回答を控える手法や、回答の途中で情報を探し直す手法もあります。

それぞれ重視するポイントが異なるため、4つの手法について解説していきます。

Divide-Then-Align

Divide-Then-Alignは、十分な根拠がないときに無理に回答せず、「わからない」と判断しやすくする学習手法です。検索で得た情報とLLMの内部知識を確認し、どちらにも回答の根拠がない場合は答えを控えます。もっともらしい誤情報を作ってしまうのを防ぎ、回答の信頼性を高めることが主な目的です。

DeepRAGが外部検索の必要性を判断するのに対し、Divide-Then-Alignが重視するのは回答するかどうかの判断となります。検索方法を変えるというより、根拠がないときに答えない能力を学ばせる手法といえるでしょう。

Active RAG

Active RAGは、回答を作っている途中で情報不足を検知し、必要に応じて追加検索する手法です。一般的なRAGでは、回答を作る前に一度だけ検索するケースが多くあります。一方のActive RAGは、次に生成する内容への確信が低い場合に検索を行い、取得した情報を回答へ反映します。

DeepRAGとの違いは、検索を判断するタイミングです。Active RAGは回答生成中の再検索を重視しますが、DeepRAGは質問を小さく分け、それぞれの段階で検索の必要性を判断します。

Adaptive RAG

Adaptive RAGは、質問の難しさや複雑さに合わせて検索方法を切り替える手法です。簡単な質問には検索を使わず、ある程度の情報が必要なら一度だけ検索し、複雑な質問には繰り返し検索を行います。

質問に合った方法を選べるため、簡単な質問に時間をかけすぎず、難しい質問には必要な情報を補いやすい点が特徴です。

Adaptive RAGは、質問全体を見て検索なし、単発検索、反復検索を切り替えます。これに対してDeepRAGは、質問を分解したうえで、それぞれの小さな質問ごとに外部検索を行うか、LLMの内部知識を使うかを判断します。

DeepRAGに関するよくある質問

DeepRAGの特徴を理解して導入を検討しよう

DeepRAGは、複雑な質問を小さく分け、推論の各段階で外部検索が必要かを判断するRAG手法です。不要な検索やノイズを抑えながら、LLMの内部知識と外部情報を使い分けられる点に強みがあります。

一方で、一般的なRAGより構成や学習が複雑になりやすく、全てのケースに向いているわけではありません。導入を考える際は、求める回答精度や開発環境を確認し、従来のRAGで十分かどうかも併せて検討してみてください。

最後に

社内ナレッジの属人化や問い合わせ対応の煩雑さに課題を感じていませんか？
RAG（検索拡張生成）を活用すれば、既存ドキュメントから即座に回答を生成し、社内ヘルプデスクや情報共有を大幅に効率化できます。