技術開発ニュース No.169
- ページ： 33
-
研 究 成 果
Results of Research Activities
RAG を用いたヒューマンエラー事象の対策立案
Estimating Preventive Measures for Human Error Events using RAG
ヒヤリハットの集合知を活用
我々は電力会社のヒューマンエラー事象を記録した「ヒヤリハット」の事例を知識源と
して、ヒューマンエラーに関する対策を立案する手法の検討を行っている。本稿では、大
規模言語モデル（LLM）と RAG の枠組みを用い、不完全な「外部知識」を LLM の「内
部知識」により補完する拡張方式を提案する。ヒヤリハットの数十万件の大規模事例を用
いた対策立案（マルチドキュメント要約）の評価実験では、提案する知識補完の有効性が
示唆される結果が得られた。
執筆者
先端技術応用研究所
情報技術グループ
瀬川 修
1
背景と目的
Database 外部知識
クエリ
検索結果
LLM による知識処理においては、学習に用いていない「外
部知識」をプロンプトに加えることにより、ドメイン依存の
知識補完
プロンプト
マルチドキュメント
要約
回答
第 1 図 RAG の拡張方式の概要
Language Model）をはじめとする生成モデルの適用が考
知」として活用できれば、災害防止に大変有用性が高い。
内部知識
（パッセージ）
ヒューマンエラーに関する対策立案において、LLM
（Large
えられる。蓄積された大規模事例から対策を集約し「集合
プロンプト
策生成）を行い、検索結果のコンテキストに加え生成され
た情報を用いて、マルチドキュメント要約を行う。
（1）知識検索
従来の RAG と同様に、クエリに適合する検索結果を外
知識拡張を行うRAG
（Retrieval Augmented Generation）
部知識のデータベースから得る。文書検索は様々な手法が
と呼ばれる方式が提案され、様々な情報検索や情報推薦に
提案されているが、本稿では潜在意味空間におけるベクト
関するタスクに活用されている。RAG の枠組みにおいては、
ル表現の類似度検索を用いた。
あらかじめ用意した外部知識のデータベースから質問（クエ
リ）に適合する検索結果（パッセージ）を抽出し、当該パッ
（2）知識補完
ここで述べる「知識補完」とは、外部知識として不完全
セージと拡張したクエリでプロンプトを構成し、LLM によって
な事例（対策が記述されていない場合）に対し情報補完を
適切な回答を生成する方策が一般的である。しかしながら、
行うことである。上記で検索された外部知識の個々のパッ
外部知識が十分な情報量を有していない場合は、クエリに適
セージを入力として、LLM
（指示チューニングモデル）によ
合する回答の生成が困難になることが予想される。
る対策文の生成を行う。ここでは、外部知識の個々の事例
これまで外部知識の拡張方式として、クエリの回答に関
（「発生概要」+
「 発生状況」）に基づき、プロンプトの指示に
連する「仮想的な文書」を LLM によって生成し、当該文
よって適切な「対策」を推定するものとする。LLM の内部
書に類似した文書群を何らかの知識源のデータベースから
知識を用いることによって、事例のコンテキストから、ある
検索して「補完知識」として用いる HyDE（Hypothetical
Document Embeddings）と呼ばれる手法が提案されて
いる。HyDE では LLM の「内部知識」に基づき外部知識の
程度のレベルの対策が生成されることが期待される。
（3）マルチドキュメント要約
上記知識補完により得られたパッセージを入力として、
拡張を行っているが、そもそも外部の知識源に回答に関連
LLM（指示チューニングモデル）によるマルチドキュメン
する情報が無い場合は、検索タスクを完遂できない。
ト要約を行う。対策立案のタスクにおいては、複数事例か
これに対し、本稿ではヒューマンエラー事象の外部知識に
ら対策を要約としてまとめる指示をプロンプトで与えるこ
対策が含まれない場合において、LLM の内部知識によって知
とによって、クエリに応じた対策の「集合知」が生成され
識補完を行う方策を検討し、拡張された知識を用いて適切な
ることが期待できる。
対策をマルチドキュメント要約としてまとめる手法を提案する。
2
提案手法の概要
本稿で提案する RAG の拡張方式の概要を第 1 図に示す。
33
3
評価実験
（1）評価データ
電 力会 社の各部門で蓄 積されたヒューマンエラー事 象
検索タスクによっては外部知識に必要な情報が含まれてい
（現場作業、オフィス業務、通勤途上など）を自由記述した
ないケースがあり、このような場合、何らかの手段で「知
「ヒヤリハット」と呼ばれる大規模コーパス（「発生概要」、
識補完」を行う必要がある。提案手法では検索された複数
「発生状況」、
「対策」の各レコードが含まれる約 35 万件の
パッセージに対し、LLM の内部知識によって知識補完（対
事例、収集期間 2019 年 4 月～ 2024 年 4 月）を用いた。
技術開発ニュース 2025.03／No.169
- ▲TOP
