RAG構築とは？仕組み・作り方・社内導入の注意点を実演付きで解説

RAG構築は、社内文書やFAQなどを検索し、その内容をもとに生成AIが回答する仕組みを作る取り組みです。一般的なLLMだけでは、社内規程や最新情報に答えにくい場面があります。

「何から作ればよいのか」「情報漏えいは防げるのか」と不安な方も多いでしょう。本記事では、RAGの仕組み、構築手順、導入時の注意点、簡単な実演まで整理します。自社導入の判断材料としてご活用ください。

【監修者】田村 洋樹

株式会社WEEL代表取締役 / 累計25社以上のAIアドバイザリーを担当 / 企業向けセミナー・大学講義でのべ10,000人超に登壇 / 日本HP・インテルなど、大手企業主催カンファレンスへの登壇実績多数。AI導入支援・生成AIを活用した業務改革のプロとして、アドバイザリー・PM・講演者など多面的な立場から企業を支援中。

RAGとは

RAGとは、Retrieval-Augmented Generationの略で、外部データを検索し、その情報を生成AIの回答に組み込む仕組みです。AWSは、LLMが回答を作る前に信頼できる外部知識ベースを参照する方法としてRAGを説明しています。※1

通常の生成AIは、学習済みデータや入力されたプロンプトをもとに回答します。一方でRAGでは、社内マニュアル・FAQ・議事録・仕様書などを検索対象にできるため、自社固有の情報を反映した回答を作りやすくなります。

RAGとLLMの違いを先に整理したい方は、以下の記事も参考になります。

WEEL

LLMとRAGの違いとは？仕組みや導入のやり方・活用シーンを徹底解説 | WEEL LLMとRAGの違いは、AI自身の学習データで回答するか、外部情報を検索して回答に反映するかにあります。この記事では、LLMとRAGの基本的な仕組み、情報源や得意な業務の違い…

RAG構築の仕組み

RAG構築の基本は、検索してから生成するという流れです。ユーザーが質問すると、システムはまず関連する文書を検索し、その文書を生成AIのプロンプトに追加します。Google CloudのRAG Engineでも、データ取り込み・変換・Embedding・索引化・検索・生成という順序でRAG処理が説明されています。※2

この流れを社内向けに分解すると、以下のようになります。

RAGはハルシネーションを完全に消す仕組みではありません。ただし、回答の根拠になる文書を指定できるため、確認可能な回答フローを作りやすくなります。導入時は、検索結果・引用元・回答内容を人が確認できる設計にしておくことが重要です。

RAGの構築方法

RAG構築は、最初から大規模に作るよりも、小さな業務範囲で検証する方が失敗しにくいです。まずは問い合わせが多い部署や、回答根拠が文書化されている業務を選びましょう。

ここでは、社内データを使ったRAGを作る基本手順を5つに分けて解説します。

ナレッジ（社内データ）を準備する

最初に行うのは、RAGに検索させる社内データの整理です。対象は、社内規程、業務マニュアル、FAQ、製品仕様書、問い合わせ履歴などが候補になります。

この段階で重要なのは、使ってよいデータと使ってはいけないデータを分けることです。古い資料や重複した資料が混ざると、検索結果がぶれやすくなります。部署ごとに最新版の管理者を決め、RAGへ投入する前に文書名・更新日・機密区分をそろえておきましょう。

文書を分割する（チャンク化）

次に、長い文書を検索しやすい単位に分けます。これをチャンク化と呼びます。LangChainのText splitterは、大きな文書をモデルのコンテキストに収まる小さなまとまりへ分割する部品として説明されています。※3

チャンクが大きすぎると、不要な情報まで生成AIへ渡されます。小さすぎると、文脈が欠けて回答が不自然になります。社内規程なら章や見出し単位、FAQなら質問と回答のペア単位など、意味が崩れない粒度で分割するのが現実的です。

ベクトル化してデータベースに格納する

チャンク化した文書は、Embeddingモデルでベクトル化し、ベクトルデータベースに保存します。Embeddingは、テキストの意味を数値表現に変換し、意味が近い文章を検索しやすくする仕組みです。Google CloudのRAG Engineでも、Embeddingと索引化はRAG処理の主要ステップとして説明されています。※2

企業利用では、どのベクトルデータベースを使うかも重要です。クラウド型は管理しやすい一方、社内データの保管場所や契約条件を確認する必要があります。既存のクラウド基盤やセキュリティ要件に合わせて選定しましょう。

検索の仕組みをつくる（Retriever）

Retrieverは、ユーザーの質問に近い文書を取り出す部分です。LangChainでは、Retrieverを「非構造化クエリを受け取り、関連文書を返すインターフェース」と説明しています。※4

検索精度は、RAG全体の品質を左右します。上位何件を返すか、キーワード検索とベクトル検索を併用するか、部署や権限で検索結果を絞るかを決める必要があります。業務利用では、正しい文書を探せることと同じくらい、見せてはいけない文書を返さないことが大切です。

生成AIと連携して回答を作る

最後に、検索で取り出した文書を生成AIへ渡し、回答を作らせます。このとき、単に文書を渡すだけでなく、「参照した文書にない内容は推測しない」「根拠を明記する」などのルールをプロンプトに入れます。

OpenAIのFile Searchでは、ファイル検索を使ってモデルに外部知識を参照させる仕組みが提供されています。※5 ただし、実務では利用料金、データ保持、接続先サービスの規約を確認してから使う必要があります。回答生成よりも、運用ルールを先に固めることが安全です。

RAG構築のポイント

RAGは作って終わりではなく、データ更新、検索精度、権限管理、社内教育を継続して見直す必要があります。特に、データ更新・検索精度・権限管理はPoC（小規模な検証）段階から確認方法を決めておくと、本番化後の手戻りを抑えやすくなります。ここでは、企業がRAGを導入する前に確認したいポイントを整理します。

データの質と量が重要

RAGの回答品質は、投入するデータに大きく左右されます。資料が古い、重複している、部署ごとに表現が違うと、検索結果が安定しません。

まずは、問い合わせ件数が多く、回答根拠が明確な文書から始めるのが現実的です。社内規程やFAQのように、正解が文書として残っている領域はRAGと相性がよいです。古い資料を混ぜないよう、更新日や管理部署も確認しておく必要があります。

量よりも、更新済みで信頼できるデータを優先しましょう。

検索エンジンの性能も意識する

RAGでは、生成AIの性能だけを見ても十分ではありません。検索部分が弱いと、生成AIに渡す文脈がずれ、もっともらしい誤回答につながります。

検索エンジンを選ぶときは、日本語検索、類義語、表記ゆれ、部署名や製品名の扱いを確認しましょう。キーワード検索だけで足りない場合は、ベクトル検索やハイブリッド検索も候補になります。検索結果の上位に正しい文書が出るかを、実際の社内質問でテストすることが大切です。

アクセス権限は厳密に規定する

RAG構築で特に注意したいのが、アクセス権限です。RAGは社内文書を検索して回答に使うため、検索結果に機密情報が混ざると、生成AIの回答にも含まれる可能性があります。

Microsoft Azure AI Searchでは、文書レベルの認可にACL（アクセス制御リスト）を使えない場合、ユーザーやグループIDをもとに検索結果を絞るセキュリティフィルターの考え方が紹介されています。※6 企業でRAGを使う場合も、検索前の権限制御と回答後のログ確認をセットで設計しましょう。

RAG構築に対応できる人材を確保する

RAG構築には、生成AIだけでなく、データ整理、検索、セキュリティ、運用設計の知識が必要です。PoC（小規模な検証）なら少人数でも進められますが、全社利用では情報システム部門、業務部門、法務・セキュリティ担当の連携が欠かせません。

社内だけで判断が難しい場合は、外部の専門家に相談する方が早い場面もあります。特に、社内データの棚卸しや権限設計で迷う場合は、最初の設計段階で相談すると手戻りを減らせます。

従業員のAIリテラシー向上を常に図る

RAGを導入しても、利用者が回答をそのまま信じてしまうとリスクが残ります。RAGは回答の根拠を示しやすい仕組みですが、検索漏れや古い文書の参照は起こり得ます。

社内展開では、回答の確認方法、機密情報の扱い、禁止プロンプト、誤回答を見つけたときの報告先を教育しましょう。研修やセミナーを通じて、生成AIを安全に使う判断力を高めておくことが、運用定着につながります。

従業員のAIリテラシーを高めるセミナーについては下記で詳しく解説

WEEL

【生成AIの定着を促進！】WEELの研修・講演・セミナー詳細を解説！過去の実績や料金も公開 | WEEL WEELの研修・講演・セミナーは、生成AIの効果的な使い方から社内定着までを実践的に学べる企業向けプログラムです。本記事では、WEEL 研修 講演 セミナーの内容や過去の講…

【実演】RAG構築で会社専用ChatGPTを作ってみた

ここでは、OpenAI APIとLangChain、ChromaDBを使い、社内FAQを検索してChatGPTのように回答する最小構成を想定します。

検証では、社内規程やFAQを最初から大量投入するのではなく、以下のような小さな構成から始めます。

実装の流れは、(1) FAQやマニュアルを読み込む、(2) 文書をチャンク化する、(3) Embeddingでベクトル化してChromaDBに保存する、(4) 質問に近い文書を検索する、(5) 検索結果をChatGPTに渡して回答させる、という順番です。LangChainではOpenAI連携用のパッケージを使い、ChatOpenAIなどからOpenAI APIを呼び出せます。※8

たとえば、検証用のFAQを使う場合は、以下のようなコードで検索結果を回答に渡す形を作れます。モデル名や料金は変更されるため、実行前にOpenAI公式情報も確認してください。※7

pip install langchain langchain-openai langchain-chroma chromadb streamlit python-dotenv

from langchain_openai import ChatOpenAI, OpenAIEmbeddings

from langchain_chroma import Chroma

from langchain_core.documents import Document

docs = [

    Document(page_content="経費精算: 交通費は月末締め、翌月10日までに申請します。"),

    Document(page_content="勤怠: リモート勤務は前営業日までに申請します。"),

    Document(page_content="情報管理: 顧客情報や未公開資料を外部AIサービスに入力してはいけません。"),

]

db = Chroma.from_documents(

    docs,

    OpenAIEmbeddings(model="text-embedding-3-small")

)

query = "交通費はいつ申請しますか？"

context = "\n".join([d.page_content for d in db.similarity_search(query, k=2)])

llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)

answer = llm.invoke(

この例では、質問に近いFAQを検索し、その結果だけを根拠に回答するよう指示しています。ただし、実務ではAPIキーを.envで管理し、顧客情報や機密情報をそのまま送らない設計が必要です。コードをそのまま本番化せず、ログ保存、アクセス権限、回答確認ルールを加えてから社内展開しましょう。

今回の質問「交通費はいつ申請しますか？」に対しては、経費精算のFAQが検索結果として返り、その内容だけを根拠に回答が生成されています。

実際に検証したところ、社内FAQをEmbeddingでベクトル化し、ChromaDBに登録したうえで、質問に近いFAQを検索できました。なお、今回の検証では、上記の処理にステップ表示を加え、データ読み込み・ベクトル化・検索・回答生成の流れが分かるようにしています。

この検証から、RAGでは「検索で正しい社内文書を取り出すこと」と「取り出した文書だけを根拠に回答させること」の両方を確認する必要があると分かります。本番利用では、APIキー管理、アクセス権限、ログ確認、回答チェックの運用ルールを加えてから社内展開しましょう。

よくある質問

RAG構築は小さく試して安全に社内展開しよう

RAG構築は、社内データを生成AIの回答に活用するための現実的な導入方法です。自社固有の規程やFAQを扱える一方で、データ整備、検索精度、権限管理を軽く見ると業務リスクにつながります。

まずは対象業務を絞り、FAQやマニュアルを使った小さな検証から始めましょう。検索結果と回答内容を確認しながら、運用ルールを固めることが重要です。

自社データを使ったRAG構築の範囲や進め方に迷う場合は、WEELの無料相談で要件を整理してみてください。

最後に

いかがだったでしょうか？

RAG構築では、データ整備・検索精度・権限管理を含めた初期設計が成果を左右します。自社業務に適した検証範囲の整理から、本格導入を見据えた安全な運用体制の構築まで支援します。

生成AIを社内で活用していきたい方へ

「生成AIを社内で活用したい」「生成AIの事業をやっていきたい」という方に向けて、生成AI社内セミナー・勉強会をさせていただいております。

セミナー内容や料金については、ご相談ください。

また、サービス紹介資料もご用意しておりますので、併せてご確認ください。

無料で相談する

資料をダウンロードする