特許 7603573 文書レビュー支援システム、及び文書レビュー支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】文書レビュー支援システム、及び文書レビュー支援方法

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20241213BHJP

【ＦＩ】

G06Q10/06

【請求項の数】 15

(21)【出願番号】P 2021196026

(22)【出願日】2021-12-02

(65)【公開番号】P2023082330

(43)【公開日】2023-06-14

【審査請求日】2024-02-20

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000176

【氏名又は名称】弁理士法人一色国際特許事務所

(72)【発明者】

【氏名】大林 浩気

(72)【発明者】

【氏名】前岡 淳

(72)【発明者】

【氏名】河合 克己

(72)【発明者】

【氏名】緒方 孝一郎

(72)【発明者】

【氏名】沢田 正樹

(72)【発明者】

【氏名】大倉 大央

【審査官】大野 朋也

(56)【参考文献】

【文献】特開２０２０－１９７８３４（ＪＰ，Ａ）

【文献】特開２００９－０８７２８９（ＪＰ，Ａ）

【文献】特開２０１９－１５３１１９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１４９７１１（ＷＯ，Ａ１）

【文献】特開２０１７－０９１２０８（ＪＰ，Ａ）

【文献】特開２０１１－２３８１５９（ＪＰ，Ａ）

【文献】特開２０１２－１７８０７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

一つ以上のチェック項目が記載されたチェックリストを用いて行われる文書のレビューを支援するシステムであって、
情報処理装置を用いて構成され、
階層構造を有する文書と、
前記チェック項目の確認に際して参照される前記文書の該当箇所が階層で示された既存のチェックリストと、
を記憶し、
前記既存のチェックリストの前記チェック項目について示されている前記階層に基づき、前記チェック項目について信頼性の高い前記該当箇所の階層を特定し、
前記チェック項目と特定した前記階層との対応を示す情報を生成する、
文書レビュー支援システム。

【請求項2】

請求項１に記載の文書レビュー支援システムであって、
前記チェック項目の夫々について、複数の前記文書の夫々について作成された前記既存のチェックリストに該当箇所として示されている階層のうち最下位のものを前記信頼性の高い該当箇所として特定する、
文書レビュー支援システム。

【請求項3】

請求項１に記載の文書レビュー支援システムであって、
前記チェック項目の夫々について、複数の前記文書の夫々について作成された前記既存のチェックリストに該当箇所として示されている階層のうち出現回数が最頻値又は最頻値よりも下位のものを前記信頼性の高い該当箇所として特定する、
文書レビュー支援システム。

【請求項4】

請求項１に記載の文書レビュー支援システムであって、
前記チェック項目について、前記既存のチェックリストに前記該当箇所として示されている階層のうち、下位の階層を持たないものを前記信頼性の高い該当箇所として特定する、
文書レビュー支援システム。

【請求項5】

請求項１に記載の文書レビュー支援システムであって、
前記既存のチェックリストの前記チェック項目について示されている該当箇所のうち、前記信頼性の高い該当箇所として特定された該当箇所の階層の記載内容と、前記信頼性の高い該当箇所として特定されなかった該当箇所の記載内容との間の類似度である第１類似度、及び、前記信頼性の高い該当箇所として特定された該当箇所の階層の記載内容と、前記信頼性の高い該当箇所として特定されなかった前記該当箇所の階層の下位の階層の記載内容との間の類似度である第２類似度を求め、
前記第２類似度が前記第１類似度よりも高い場合に、前記下位の階層についても前記信頼性の高い該当箇所として特定する、
文書レビュー支援システム。

【請求項6】

請求項５に記載の文書レビュー支援システムであって、
前記第１類似度が前記第２類似度よりも高い場合に、前記信頼性の高い該当箇所として特定されなかった該当箇所についても前記信頼性の高い該当箇所として特定する、
文書レビュー支援システム。

【請求項7】

請求項１に記載の文書レビュー支援システムであって、
前記チェックリストには複数のチェック項目が記載され、
複数の前記文書の夫々について、前記信頼性の高い該当箇所の特定に際し、前記既存のチェックリストに記載されている前記チェック項目の夫々の前記階層として、前記複数の前記文書の間で正規化した階層を用いる、
文書レビュー支援システム。

【請求項8】

請求項７に記載の文書レビュー支援システムであって、
前記複数の文書の夫々について、前記既存のチェックリストに記載されている前記チェック項目の夫々の前記階層を成分とするベクトルを求め、前記複数の文書の夫々の前記ベクトルの重心ベクトルを求め、前記複数の文書の夫々の前記ベクトルと前記重心ベクトルとの類似度が最も高い前記文書を基準として選出し、
前記複数の文書の夫々について、前記既存のチェックリストに記載されている前記チェック項目の夫々の前記階層の平均値を求め、前記複数の文書の夫々の前記平均値と前記基準として選出した前記文書の前記平均値との差に基づく値を、前記複数の文書の夫々の前記階層を正規化した階層として用いる、
文書レビュー支援システム。

【請求項9】

請求項７に記載の文書レビュー支援システムであって、
前記複数の文書の夫々について、前記既存のチェックリストに記載されている前記チェック項目の夫々の前記階層を要素とした場合における、前記チェック項目の間の相関を求め、
前記チェック項目の夫々について、他の前記チェック項目との間の相関が予め設定された閾値を超える数を求め、
前記数の割合が予め設定された閾値より小さい前記チェック項目については除外して前記正規化を行う、
文書レビュー支援システム。

【請求項10】

請求項１に記載の文書レビュー支援システムであって、
前記チェック項目と前記文書の階層との対応を示す情報を教師データとして学習した機械学習モデルである特徴語抽出モデルを生成する、
文書レビュー支援システム。

【請求項11】

請求項１０に記載の文書レビュー支援システムであって、
前記チェック項目の夫々に対応する前記文書の前記該当箇所の特定に際して用いる、前記チェック項目と当該チェック項目に対応する特徴語との対応を示す情報である特徴語定義を前記特徴語抽出モデルを用いて生成する、
文書レビュー支援システム。

【請求項12】

請求項１に記載の文書レビュー支援システムであって、
前記階層構造は、章節項構造である、
文書レビュー支援システム。

【請求項13】

一つ以上のチェック項目が記載されたチェックリストを用いて行われる文書のレビューを支援する方法であって、
情報処理装置が、
階層構造を有する文書と、
前記チェック項目の確認に際して参照される前記文書の該当箇所が階層で示された既存のチェックリストと、
を記憶するステップと、
前記既存のチェックリストの前記チェック項目について示されている前記階層に基づき、前記チェック項目について信頼性の高い前記該当箇所の階層を特定するステップと、
前記チェック項目と特定した前記階層との対応を示す情報を生成するステップと、
を実行する、文書レビュー支援方法。

【請求項14】

請求項１３に記載の文書レビュー支援方法であって、
前記情報処理装置が、
前記チェック項目の夫々について、複数の前記文書の夫々について作成された前記既存のチェックリストに該当箇所として示されている階層のうち最下位のものを前記信頼性の高い該当箇所として特定するステップ、
を更に実行する、文書レビュー支援方法。

【請求項15】

請求項１３に記載の文書レビュー支援方法であって、
前記情報処理装置が、
前記チェック項目の夫々について、複数の前記文書の夫々について作成された前記既存のチェックリストに該当箇所として示されている階層のうち出現回数が最頻値又は最頻値よりも下位のものを前記信頼性の高い該当箇所として特定するステップ、
を更に実行する、文書レビュー支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書レビュー支援システム、及び文書レビュー支援方法に関する。

【背景技術】

【0002】

特許文献１には、文書中から重要と判断される箇所を抽出する際に用いる判定ルールを効率的に生成することを目的として構成された計算機システムについて記載されている。計算機システムは、複数の第１の文書を、重要箇所として指定された単語を含む参照情報と比較し、第１の文書を、指定された単語を含む第１の要素と、指定された単語を含まない第２の要素とに分割し、第１の要素及び第２の要素に含まれる単語に基づき各文書の第１の特徴量を取得し、第１の特徴量に基づき重要箇所を含むか否かを判定するための判定ルールを生成し、第２の文書に含まれる単語に基づき第２の特徴量を取得し、生成した判定ルールと第２の特徴量とを比較することにより、第２の文書に含まれる重要箇所を抽出するための情報を生成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－２３８１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

各種システムの開発に際して作成される設計書は、品質担保のためにチェック項目が記載されたチェックリストを用いたレビューが行われる。こうした文書のレビューは通常、多様な観点に基づき設定された多数のチェック項目について、文書が各チェック項目の要件を満たしているか否かの判定に用いるエビデンスの文書中の記載箇所（所在）を特定し、当該箇所に記載されているエビデンスに基づき人が内容を確認することにより実施される。そのため、とくに文書が膨大な頁数に及ぶ場合やチェック項目が多数に上る場合は人の作業負荷が大きいという課題がある。

【0005】

ここでレビューにかかる人の作業負荷を軽減する方法として、例えば、特許文献１における参照情報として過去のレビュー結果において人がチェックリストに記入したエビデンスの記載箇所を用いることにより文書から各チェック項目に対応する記載箇所を重要箇所として特定し、特定した情報を用いてレビューを行うことが考えられる。しかし、チェックリストに記入されている情報の精度は必ずしも保証されておらず、当該情報に基づき文書中の記載箇所を特定した場合、必ずしも十分な信頼性を確保することができない。

【0006】

本発明はこのような背景に鑑みてなされたものであり、チェック項目に対応する文書の記載箇所を精度よく特定して文書のレビューに係る作業を支援することが可能な、文書レビュー支援システム、及び文書レビュー支援方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するための本発明の１つは、一つ以上のチェック項目が記載されたチェックリストを用いて行われる文書のレビューを支援するシステムであって、情報処理装置を用いて構成され、階層構造を有する文書と、前記チェック項目の確認に際して参照される前記文書の該当箇所が階層で示された既存のチェックリストと、を記憶し、前記既存のチェックリストの前記チェック項目について示されている前記階層に基づき、前記チェック項目について信頼性の高い前記該当箇所の階層を特定し、前記チェック項目と特定した前記階層との対応を示す情報を生成する。

【0008】

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

【発明の効果】

【0009】

本発明によれば、チェック項目に対応する文書の記載箇所を精度よく特定して計書のレビューに係る作業を支援することができる。

【図面の簡単な説明】

【0010】

【図1】チェックリストを用いた設計書のレビューの流れを説明する図である。

【図2】チェックリストの一例である。

【図3】記載箇所対応表の一例である。

【図4】特徴語抽出手順の一例を説明する図である。

【図5】チェックリストの該当箇所の精度が必ずしも保証されないこと説明する図である。

【図6】支援システムが備える主な機能を説明するブロック図である。

【図7】支援システムの実現に用いる情報処理装置の一例である。

【図8】教師データ生成処理の一例を説明するフローチャートである。

【図9】設計書の章節項の構造の解析の一例を示す図である。

【図10】章節項レベルの算出処理の一例を説明する図である。

【図11】信頼性の高い該当箇所と信頼性の低い該当箇所の特定方法の一例である。

【図12】信頼性の高い該当箇所と信頼性の低い該当箇所の特定方法の一例である。

【図13】真の該当箇所の特定方法の一例である。

【図14A】該当箇所推定処理の一例を説明するフローチャートである。

【図14B】該当箇所特定処理の一例を説明するフローチャートである。

【図15】信頼性の高い該当箇所と信頼性が低い該当箇所との類似度の算出方法の一例を説明する図である。

【図16】教師データを生成する方法の一例を示す図である。

【図17】同じ章節項レベルに対する記載の抽象度が設計書毎（案件毎）に異なる場合を説明する図である。

【図18】章節項レベル補正処理の一例を説明するフローチャートである。

【図19】章節項レベル補正処理の各処理を説明する図である。

【図20】チェック項目除外処理の一例を説明するフローチャートである。

【図21】チェック項目除外処理の各処理を説明する図である。

【発明を実施するための形態】

【0011】

以下、実施形態について図面を参照しつつ説明する。尚、以下、図面を参照して本発明の実施形態を説明する。以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。

【0012】

以下の説明において、同一又は類似の構成について同一の符号を付して重複した説明を省略することがある。また、以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップを意味する。また、以下の説明では、「テーブル」、「情報」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。

【0013】

図１は、各種システムの開発に際して作成される設計書１１１のレビューに係る作業について、現状と本実施形態の仕組みを適用した後の状態とを対比して示した図である。尚
、本実施形態では、設計書１１１が、例えば、情報処理システムの開発に際して作成される設計書（基本設計書、詳細設計書等）である場合を例として説明するが、レビュー対象の文書の種類は必ずしも設計書に限定されず、本実施形態の仕組みは文書一般に広く適用することができる。

【0014】

同図上段に示すように、現状において、設計書１１１のレビュー（セルフレビュー、デザインレビュー等）は、例えば、ＳＥ（システムエンジニア（System Engineer）やＱＡ
Ｅ（Quality Assurance Engineer）等の人（以下、「判定者」と呼ぶ。）が、主に手作業により行っている。具体的には、まず、判定者が、チェックリスト１１２の各チェック項目が要件を満たしているか否かを判定するために用いる情報（以下、「エビデンス」と称する。）の設計書１１１における記載箇所（所在）を特定する。続いて、判定者は、特定した記載箇所に記載されているエビデンスを確認し、設計書が各チェック項目の要件を満たしているか否かを判定し、判定結果をチェックリスト１１２に記入する。

【0015】

図２に、上記判定において用いられるチェックリスト１１２の一例を示す。例示するチェックリスト１１２は、項目ＩＤ１１２１、チェック項目１１２２、判定結果１１２３、及び該当箇所１１２４の各項目を有する所定行数のシート（紙媒体もしくは電子媒体）である。

【0016】

上記項目のうち、項目ＩＤ１１２１には、各チェック項目に付与される識別子（以下、「チェック項目ＩＤ」と称する。）が記載される。チェック項目１１２２には、チェック項目の内容（設計書が満たすべき要件等）を表す文書が記載される。判定結果１１２３には、当該チェック項目についての判定結果が判定者により記入され、例えば、設計書が当該チェック項目の要件を満たしている場合には「ＯＫ」が、満たしていない場合には「ＮＧ」が判定結果１１２３に記入される。該当箇所１１２４には、当該チェック項目についてのレビュー対象の設計書１１１におけるエビデンスの記載箇所を示す情報が判定者によって記入される。

【0017】

図１に戻り、同図下段に示すように、本実施形態では、情報処理装置を用いて構成される設計書レビュー支援システム（以下、「支援システム１００」と称する。）により、設計書１１１のレビューにかかる人の作業を支援する。具体的には、支援システム１００は、チェックリスト１１２の各項目が要件を満たしているか否かの判定に用いるエビデンスの設計書１１１における記載箇所を自動的に特定し、特定した結果を設計書１１１の章節項の番号とチェック項目との対応関係を示す情報として示した情報である記載箇所対応表１２０を提供することにより判定者の作業を支援する。

【0018】

図３に、記載箇所対応表１２０の一例を示す。例示する記載箇所対応表１２０は、行方向にチェック項目の一覧１２０１が、列方向に設計書の章節項の一覧１２０２が記載されている。チェック項目に対応するエビデンスが記載されている設計書１１１の章節項（該当箇所）の欄には「○」の記号が設定されている。判定者は、設計書１１１のレビューに際し、記載箇所対応表１２０を参照することによりチェック項目に対応するエビデンスの設計書１１１における記載箇所を容易に参照することができ、判定者は設計書１１１のレビュー作業を効率よく進めることができる。

【0019】

図１に戻り、支援システム１００は、設計書１１１を章節項の単位に分割し、チェックリスト１１２の各チェック項目が、分割したいずれの章節項に該当するかを特定することにより教師データ１１４を生成する。支援システム１００は、既存の情報（過去に作成された設計書１１１とそのレビューに用いたチェックリスト１１２）に基づき生成される教師データ１１４を用いて学習した機械学習モデル（以下、「特徴語抽出モデル１１５」を用いて特徴語定義１１９を生成する。特徴語定義１１９は、チェック項目毎に一つ以上の
特徴語（設計書１１１からチェック項目に対応する該当箇所の特定する際に用いる語）を定義した情報である。

【0020】

図４は、支援システム１００が、特徴語抽出モデル１１５を用いてチェック項目毎の特徴語を生成する手順（以下、「特徴語抽出手順Ｓ４００」と称する。）の一例を示す図である。尚、以下の説明において、設計書１１１は階層構造を有し、章節項により構造化されて内容が記載されているものとする。

【0021】

同図に示すように、まず、支援システム１００は、既存の情報（過去に行われた設計書１１１のレビューにおける、設計書１１１及びチェックリスト１１２）に基づき教師データ１１４を生成する（Ｓ４１１）。

【0022】

続いて、支援システム１００は、教師データ１１４と既存の情報（既存の設計書１１１、既存のチェックリスト１１２）を用いて学習した特徴語抽出モデル１１５を生成し、生成した特徴語抽出モデル１１５に基づき、チェック項目毎の特徴語の候補を示す情報である特徴語候補１１６を生成する（Ｓ４１２）。

【0023】

続いて、支援システム１００は、生成した特徴語候補１１６を、例えば、ユーザインタフェースを介したユーザとの対話処理等を通じてブラッシュアップすることにより標準特徴語定義１１７を生成する（Ｓ４１３）。上記のブラッシュアップは、例えば、正解データに基づき精度を測定し、当該精度が向上するように特徴語を取捨選択することにより行われる。

【0024】

続いて、支援システム１００は、標準特徴語定義１１７を、別途既存の設計書１１１に基づき生成（Ｓ４１４）した同義語辞書１１８と対照することにより、用語の差異（例えば、プロジェクトが異なる設計書１１１間の用語の差異（表記揺れ））を調整し、特徴語定義１１９を生成する（Ｓ４１５）。

【0025】

尚、支援システム１００が、例えば、以上に説明した各種情報（設計書１１１、チェックリスト１１２、教師データ１１４、特徴語候補１１６、標準特徴語定義１１７、同義語辞書１１８、特徴語定義１１９）を編集（登録、更新、削除、検索）するためのユーザインタフェースを提供（編集可能な画面を提供する等）し、ユーザがこれらの情報を手動で編集できるようにしてもよい。

【0026】

ところで、同図に示すように、支援システム１００は、教師データ１１４の生成に際し、既存のチェックリスト１１２を用いている。しかし、設計書１１１のレビューを行っている際の判定者の関心の対象は主に「レビュー対象の設計書１１１がチェック項目の要件を満たしているか」にあり、チェックリスト１１２の該当箇所１１２４に判定者が記入した内容の精度は必ずしも保証されていない。

【0027】

図５は、チェックリスト１１２の該当箇所１１２４に判定者が記入した内容の精度が必ずしも保証されないことを説明する図である。同図に示すように、例えば、対象となるエビデンスの真の記載箇所が章節項番号「２．２．３」である場合でも、判定者が、例えば、チェックリスト１１２の該当箇所２１４に章節番号として「２．２」を記入していることがある。このように、チェックリスト１１２の該当箇所１１２４に判定者が記入した内容の精度は必ずしも保証されていないため、既存のチェックリスト１１２をそのまま用いて生成した教師データ１１４により特徴語抽出モデル１１５を学習しても、特徴語の抽出精度を必ずしも十分に確保することができない。

【0028】

そこで、本実施形態では、支援システム１００が、以下に示す観点（１）～（３）に基
づき教師データ１１４を生成することにより特徴語定義１１９の信頼性を向上させている。

【0029】

（１）設計書１１１は、章節項のレベルが下位になる程、記載内容が具体的になり、トピックが絞られる。
（２）設計書１１１は、章節項レベルが上位になる程、様々なトピックが混在している可能性が高くなる傾向がある。
（３）チェックリスト１１２に記載された該当箇所のうち、章節項レベルが下位のもの程、チェック項目に関連の高いトピックの割合が多くなり、信頼性が高くなる。

【0030】

具体的には、例えば、支援システム１００に以下の機能を設けている。

【0031】

（ａ）信頼性の高い該当箇所を絞り込む際、チェックリスト１１２に示された該当箇所のうち章節項レベルが最下位のものを信頼性の高い該当箇所とする。
（ｂ）信頼性の高い該当箇所を絞り込む際に、チェックリストに示された該当箇所のうち章節項レベルが最頻値又は最頻値より下位のものを信頼性の高い該当箇所とする。
（ｃ）信頼性の高い該当箇所を絞り込む際、チェックリスト１１２に示された該当箇所のうち下位の章節項を持たないものを信頼性の高い該当箇所とする。
（ｄ）信頼性の高い該当箇所に基づき、信頼性の低い該当箇所に含まれる真の該当箇所を特定する。

【0032】

図６は、支援システム１００が備える主な機能を説明するブロック図である。同図に示すように、支援システム１００は、記憶部１１０、データ取得管理部１２５、教師データ生成部１３０、特徴語抽出モデル生成部１４０、特徴語候補生成部１４５、標準特徴語定義生成部１５０、同義語辞書生成部１５５、特徴語定義生成部１６０、及び記載箇所対応表生成部１６５の各機能を備える。

【0033】

上記機能のうち、記憶部１１０は、設計書１１１、チェックリスト１１２、構造解析結果１１３、教師データ１１４、特徴語抽出モデル１１５、特徴語候補１１６、標準特徴語定義１１７、同義語辞書１１８、特徴語定義１１９、教師データ１１４、及び各種中間データ１２１を記憶する。

【0034】

データ取得管理部１２５は、ユーザインタフェースや通信により設計書１１１及びチェックリスト１１２を取得し、取得した設計書１１１及びチェックリスト１１２を記憶部１１０に管理する。

【0035】

教師データ生成部１３０は、過去に行われたレビューにおける既存の設計書１１１とそのチェックリスト１１２に基づき教師データ１１４を生成する。同図に示すように、教師データ生成部１３０は、設計書構造解析部１３１、章節項レベル補正部１３３、該当箇所特定部１３４、及び教師データ出力部１３５の各機能を含む。

【0036】

特徴語抽出モデル生成部１４０は、教師データ１１４により学習した機械学習モデルである特徴語抽出モデル１１５を生成する。

【0037】

特徴語候補生成部１４５は、特徴語抽出モデル１１５に基づき特徴語候補１１６を生成する。特徴語抽出モデル１１５は、例えば、チェック項目に対応する章節項に記載されている文書に含まれている語を統計処理（出現頻度が所定の基準値を超える語を特徴語とする等）することによりチェック項目毎の特徴語を抽出する。

【0038】

標準特徴語定義生成部１５０は、特徴語候補１１６を、例えば、前述したブラッシュア
ップを行うことにより標準特徴語定義１１７を生成する。

【0039】

同義語辞書生成部１５５は、既存の複数の設計書１１１（プロジェクト（案件）が異なる複数の設計書１１１等）に基づき同義語辞書１１８を生成する。

【0040】

特徴語定義生成部１６０は、標準特徴語定義１１７を同義語辞書１１８と対照することにより、用語の差異（例えば、ソフトウェア開発プロジェクト毎の用語の差異（表記揺れ）を調整して特徴語定義１１９を生成する。

【0041】

記載箇所対応表生成部１６５は、特徴語定義１１９を設計書１１１に適用することにより記載箇所対応表１２０を生成する。記載箇所対応表生成部１６５は、例えば、各チェック項目について、夫々の特徴語の出現頻度が多い用い章節項を記載箇所として特定する。

【0042】

図７は、支援システム１００の実現に用いる情報処理装置の一例である。例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２（メモリ）、補助記憶装置１３、入力装置１４、出力装置１５、及び通信装置１６を備える。情報処理装置１０の例として、パーソナルコンピュータ、オフィスコンピュータ、各種サーバ装置、スマートフォン、タブレット、汎用機（メインフレーム）等がある。

【0043】

情報処理装置１０は、その全部又は一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置１０によって提供される機能の全部又は一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。また
、情報処理装置１０によって提供される機能の全部又は一部は、例えば、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、ＩａａＳ（Infrastructure
as a Service）等を利用して実現されるものであってもよい。

【0044】

プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable
Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。

【0045】

主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read
Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。支援システム１００の各構成要素において実現される機能は、プロセッサ１１が、主記憶装置１２に格納（記憶）されているプログラムを読み出して実行することにより実現される。

【0046】

補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライ
ブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の非一時的な記録媒体の読取／書込装置、クラウドサーバの非一時的な記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介して、非一時的な記録媒体や非一時的な記憶装置を備えた他の情報処理装置からプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。

【0047】

入力装置１４は、外部からの情報の入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入
力装置等である。

【0048】

出力装置１５は、処理経過や処理結果等の各種情報を外部に出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。

【0049】

入力装置１４と出力装置１５は、ユーザとの間での対話処理（情報の受け付け、情報の提供等）を実現するユーザインタフェースを構成する。

【0050】

通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、通信ネットワーク５を介して、所定の通信プロトコルに準拠した他の装置との間の通信を実現する、有線方式又は無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。

【0051】

情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。

【0052】

図８は、支援システム１００の教師データ生成部１３０が行う処理（以下、「教師データ生成処理Ｓ８００」と称する。）を説明するフローチャートである。以下、同図とともに教師データ生成処理Ｓ８００について説明する。

【0053】

まず、教師データ生成部１３０は、既存の設計書１１１及び既存のチェックリスト１１２を読み込む（Ｓ８１１）。尚、本例では、教師データ生成部１３０は、既存の複数の設計書１１１及び既存の複数のチェックリスト１１２を読み込むものとする（Ｓ８１１）。

【0054】

続いて、教師データ生成部１３０の設計書構造解析部１３１が、設計書１１１の章節項構造を解析し、解析した結果を構造解析結果１１３として出力する（Ｓ８１２）。尚、設計書構造解析部１３１は、例えば、公知の文書構造解析技術（例えば、特許文献１（特開２０１１－２３８１５９号公報）に記載の技術）を用いて設計書１１１の章節項の構造を解析する。

【0055】

続いて、教師データ生成部１３０の章節項レベル算出部１３２が、チェックリスト１１２の各チェック項目に対応する設計書１１１の該当箇所の章節項のレベル（以下、「章節項レベル」と称する。）を算出し、算出した結果を構造解析結果１１３に反映する（Ｓ８１３）。

【0056】

続いて、教師データ生成部１３０の章節項レベル補正部１３３が、読み込んだ複数の設計書１１１の夫々の章節項レベルを補正する （Ｓ８１４）。尚、この補正処理は必要に
応じて適宜行われる。

【0057】

続いて、教師データ生成部１３０の該当箇所特定部１３４が、チェックリスト１１２の各チェック項目について、設計書１１１のうち信頼性の高い該当箇所を、設計書１１１の章節項の単位で特定する（Ｓ８１５）。

【0058】

続いて、該当箇所特定部１３４は、設計書１１１のうち信頼性の低い該当箇所に含まれる真の該当箇所を推定する（Ｓ８１６）。

【0059】

続いて、教師データ生成部１３０の教師データ出力部１３５が、以上の処理の結果に基づき教師データ１１４を生成して出力する（Ｓ８１７）。

【0060】

次に、図８に示した教師データ生成処理Ｓ８００における各処理について具体例とともに詳細に説明する。尚、教師データ生成処理Ｓ８００のうちＳ８１４の処理（章節項レベルの補正）については後段にて別途説明する。

【0061】

図９は、図８のＳ８１２における設計書１１１の章節項の構造の解析の一例を説明する図である。この例では、複数の設計書１１１（「案件Ａ」の設計書１１１、「案件Ｂ」の設計書１１１、「案件Ｃ」の設計書１１１等）について解析を行うことにより構造解析結果１１３を生成している。

【0062】

同図最下段に例示する構造解析結果１１３は、案件名１３１１、章節項番号１３１２、章節項タイトル１３１３、及び本文１３１４の各項目を有する複数のレコードで構成されるテーブルである。上記項目のうち案件名１３１１には、案件の名称（案件の識別子（案件ＩＤ））が格納される。章節項番号１３１２には、章節項番号が格納される。章節項タイトル１３１３には、設計書１１１の章節項に付されているタイトルが格納される。本文１３１４には、当該章節項番号の本文の内容が格納される。

【0063】

図１０は、図８のＳ８１３の章節項レベルを算出する処理を説明する図である。同図に示すように、この例では、教師データ生成部１３０の章節項レベル算出部１３２が、各案件についてチェック項目毎に対応する章節項を特定し、特定した章節項について章節項レベルを求めている。尚、この例では、章節項の深さに応じて章節項レベルを決定している。章節項レベル算出部１３２は、以上により決定した章節項レベルを、各種中間データ１２１の一つである章節項レベルデータ１２１１に管理する。

【0064】

図１１は、図８のＳ８１５において、教師データ生成部１３０の該当箇所特定部１３４が、信頼性の高い該当箇所と信頼性の低い該当箇所を特定する方法の一例を説明する図である。この例では、該当箇所特定部１３４は、各チェック項目に対して、チェックリスト１１２の該当箇所１１２４のうち章節項レベルが最下位のものを信頼性の高い該当箇所とし、それ以外を信頼性の低い該当箇所としている（前述の機能（ａ））。この例では、章節項レベルが下位である程、精度が高くなるという観点に基づき、信頼性の高い該当箇所と信頼性の低い該当箇所を特定している。教師データ生成部１３０は、以上により特定した結果を各種中間データ１２１の一つである該当箇所リスト１２１２に管理する。

【0065】

図１２は、図８のＳ８１５において、該当箇所特定部１３４が、設計書１１１のうち信頼性の高い該当箇所と信頼性の低い該当箇所を章節項単位で特定する方法の他の一例を説明する図である。この例では、該当箇所特定部１３４は、各チェック項目に対して章節項レベルの最頻値（出現度の高いレベル）を求め、チェックリスト１１２の該当箇所１１２４のうち章節項レベルが最頻値又は最頻値より下位のものを信頼性の高い該当箇所とし、それ以外を信頼性の低い該当箇所としている（前述の機能（ｂ））。この例では、多くの案件で選ばれている程、信頼性が高いという観点に基づき、信頼性の高い該当箇所と信頼性の低い該当箇所を特定している。教師データ生成部１３０は、以上により特定した結果を各種中間データ１２１である該当箇所リスト１２１２に管理する。

【0066】

尚、図１１や図１２に示した方法以外に、例えば、該当箇所特定部１３４が、チェックリスト１１２に示された該当箇所のうち、それ以上、下位の章節項を持たないものを信頼性の高い該当箇所とし、それ以外を信頼性の低い該当箇所とするようにしてもよい（前述の機能（ｃ））。

【0067】

図１３～図１５は、図８のＳ８１６において、該当箇所特定部１３４が真の該当箇所を特定する機能（前述の機能（ｄ））を説明する図である。同図に示すように、該当箇所特定部１３４は、信頼性の低い該当箇所に含まれる真の該当箇所を推定する。具体的には、該当箇所特定部１３４は、信頼性の低い該当箇所に下位の章節項が存在する場合、信頼性の高い該当箇所との類似度を上位章節項と下位章節項とで比較し、上位章節項よりも類似度が高い下位章節項を真の該当箇所として推定する。尚、この場合において、全ての下位章節項より上位章節項の方が類似度が高い場合、該当箇所特定部１３４が、上位章節項レベルを真の該当箇所として推定するようにしてもよい。

【0068】

図１４Ａは、図１３に示した方法で該当箇所特定部１３４が行う処理（以下、「該当箇所推定処理Ｓ１４００」と称する。）を説明するフローチャートである。以下、同図とともに該当箇所推定処理Ｓ１４００について説明する。

【0069】

同図に示すＳ１４１０Ｓ～Ｓ１４１０Ｅの処理は、チェックシートのチェック項目を一つずつ順次選択して繰り返し行われるループ処理（以下、「第１ループ処理」と称する。）である。

【0070】

また、第１ループ処理の内側のＳ１４２０Ｓ～Ｓ１４２０Ｅのループ処理は、前述した該当箇所リスト１２１２における信頼性の低い該当箇所を一つずつ順次選択して繰り返し行われるループ処理（以下、「第２ループ処理」と称する。）である。

【0071】

第２ループ処理のＳ１４３０では、該当箇所特定部１３４は、選択中のチェック項目と、選択中の信頼性の低い該当箇所Ｘとに基づき真の該当箇所として推定する箇所を特定する。

【0072】

図１４Ｂは、図１４ＡのＳ１４３０の処理（以下、「該当箇所特定処理（Ｘ）Ｓ１４３０」と称する。）の詳細を説明するフローチャートである。以下、同図とともに該当箇所特定処理（Ｘ）Ｓ１４３０について説明する。

【0073】

まず、該当箇所特定部１３４は、該当箇所Ｘが下位の章節項を持つか否かを判定する（Ｓ１４３１）。該当箇所Ｘが下位の章節項を持つ場合（Ｓ１４３１：ＹＥＳ）、処理はＳ１４３２に進む。一方、該当箇所Ｘが下位の章節項を持たない場合（Ｓ１４３１：ＮＯ）、処理はＳ１４３４に進む。

【0074】

Ｓ１４３２では、該当箇所特定部１３４は、前述した該当箇所リスト１２１２における信頼性の高い該当箇所との類似度を、該当箇所Ｘと当該該当箇所の全ての下位の章節項について算出する。

【0075】

Ｓ１４３３では、該当箇所特定部１３４は、類似度が該当箇所Ｘよりも高い下位の章節項があるか否かを判定する。類似度が該当箇所Ｘよりも高い下位の章節項がある場合（Ｓ１４４３：ＹＥＳ）、処理はＳ１４４０Ｓに進む。一方、類似度が該当箇所Ｘよりも高い下位の章節項がない場合（Ｓ１４４３：ＮＯ）、処理はＳ１４３４に進む。

【0076】

Ｓ１４３４では、該当箇所特定部１３４は、該当箇所Ｘを、選択中のチェック項目の該当箇所リスト１２１２の信頼性の高い該当箇所に追加する。その後、現在選択中の選択中のチェック項目と現在選択中の信頼性の低い該当箇所についての処理を終了し、処理は図１４ＡのＳ１４１０Ｅに進む。

【0077】

Ｓ１４４０Ｓ～Ｓ１４４０Ｅのループ処理（以下、「第３ループ処理」と称する。）は
、該当箇所Ｘよりも信頼性の高い該当箇所との類似度が高い下位の章節項Ｙについて、章節項Ｙを一つずつ順次選択して行われるループ処理である。

【0078】

第３ループ処理におけるＳ１４３０の処理（以下、「該当箇所特定処理（Ｙ）Ｓ１４３０」と称する。）は、選択中の章節項Ｙを該当箇所Ｘとして行われる、該当箇所特定処理（Ｘ）Ｓ１４０３の再帰処理である。Ｓ１４４０Ｓ～Ｓ１４４０Ｅのループ処理が終了すると、処理は図１４ＡのＳ１４１０Ｅに進む。

【0079】

図１５は、前述した類似度（信頼性の高い該当箇所と、信頼性の低い該当箇所の上位章節項又は信頼性の低い該当箇所の下位章節項との間の類似度）の算出方法の一例を説明する図である。該当箇所特定部１３４は、例えば、「ＴＦ－ＩＤＦ」や「ｗｏｒｄ２ｖｅｃ」等の単語分散表現、ＬＤＡ（Latent Dirichlet Allocation）等のトピックモデル等の
既存の技術を用いて、設計書１１１の章節項の本文をベクトルに変換する。そして、該当箇所特定部１３４は、上記の類似度を、例えば、コサイン類似度として算出する。尚、信頼性の高い該当箇所が複数存在する場合は、例えば、各該当箇所のベクトルの平均ベクトル（重心ベクトル）を信頼性の高い該当箇所のベクトルとしてコサイン類似度を求める。

【0080】

図１６は、図８のＳ８１７において、教師データ出力部１３５が教師データ１１４を生成する様子を示す図である。同図に示すように、教師データ出力部１３５は、図８のＳ８１５で特定された信頼性の高い該当箇所１６１１と、Ｓ８１６で特定された信頼性の高い該当箇所１６１２とを結合（マージ）することにより教師データ１１４を生成する。

【0081】

＜章節項レベルの補正＞
図８のＳ８１１において複数の設計書１１１が読み込まれた場合、Ｓ８１３の章節項レベルの算出では、教師データ生成部１３０は、設計書１１１毎に章節項レベルを算出する。しかし、図１７に例示するように、同じ章節項レベルに対する記載の抽象度が設計書１１１毎（案件毎）に異なる場合があり、その場合は章節項レベルの基準がずれてしまうため、異なる設計書１１１（案件）の間の章節項レベルを単純に比較することができない。

【0082】

そこで、異なる設計書１１１の間で章節項レベルの基準がずれている場合、教師データ生成部１３０の章節項レベル補正部１３３が、章節項レベルを補正（正規化）する処理（図８のＳ８１４の処理。以下、「章節項レベル補正処理Ｓ８１４」と称する。）を行う。本実施形態では、一例として、章節項レベル補正部１３３が、各設計書１１１（各案件）の章節項レベルの統計量に基づき、章節項レベルを案件間で比較できるように補正（正規化）する場合を説明する。

【0083】

図１８は、章節項レベル補正処理Ｓ８１４の一例を説明するフローチャートである。また、図１９は、図１８に示した各処理を説明する図である。以下、これらの図とともに章節項レベル補正処理Ｓ８１４について説明する。

【0084】

同図に示すように、まず、章節項レベル補正部１３３は、設計書１１１毎（案件毎）にチェックリスト１１２に示された該当箇所の章節項レベルの平均値を算出する（図１８のＳ１８１１、図１９のＳ１９１１～Ｓ１９１２）。

【0085】

続いて、章節項レベル補正部１３３は、基準とする案件を選出する（図１８のＳ１８１２、図１９のＳ１９１３）。例えば、章節項レベル補正部１３３は、まず、各案件について章節項レベルを並べた（成分とする）ベクトルを作成し、全ての案件のベクトルの重心を求める。続いて、章節項レベル補正部１３３は、各案件のベクトルについて、重心ベクトルとのコサイン類似度を算出し、コサイン類似度が最も高い案件を基準案件とする。図１９の例では、章節項レベル補正部１３３は、「案件Ａ」を基準案件として選出している
。

【0086】

続いて、章節項レベル補正部１３３は、基準案件との章節項レベル平均値の差に基づき、各案件について基準案件からの相対レベルを算出する（図１８のＳ１８１３、図１９のＳ１９１３）。例えば、章節項レベル補正部１３３は、各案件の章節項レベルの平均値に基づき基準案件からの相対レベルを算出し、以下を満たす整数ｍを基準案件からの相対レベルとする。
[数１]
ｍ－０．５≦（基準案件との平均値の差）＜ｍ＋０．５ （式１）

【0087】

続いて、章節項レベル補正部１３３は、相対レベルを用いて、各案件の章節項レベルを補正する（図１８のＳ１８１４、図１９のＳ１９１４）。例えば、章節項レベル補正部１３３は、次式から補正後の章節項レベルを求める。
[数２]
補正後の章節項レベル＝補正前の章節項レベル－基準案件からの相対レベル （式２）

【0088】

ところで、チェック項目によっては、記載の抽象度が一定ではない等、章節項レベルが必ずしも定まらない場合もある。そこで、章節項レベルが必ずしも定まらない場合には、章節項レベルが定まらないチェック項目を章節項レベル補正処理Ｓ８１４の実行前に除外する処理（以下、「チェック項目除外処理Ｓ２０００」と称する。）を、例えば、図１８のＳ１８１１の処理の実行前に行うようにしてもよい。

【0089】

図２０は、チェック項目除外処理Ｓ２０００を説明するフローチャートである。また、図２１は、図２０に示した各処理を説明する図である。以下、これらの図とともにチェック項目除外処理Ｓ２０００について説明する。

【0090】

まず、章節項レベル補正部１３３は、チェック項目間の章節項レベルの相関行列を生成する（図２０のＳ２０１１、図２１のＳ２１１１～Ｓ２１１２）。

【0091】

続いて、章節項レベル補正部１３３は、各チェック項目について、他チェック項目との相関が閾値ａを超える個数ｋをカウント（計数）する（図２０のＳ２０１２、図２１のＳ２１１３）。

【0092】

続いて、章節項レベル補正部１３３は、全チェック項目数に対するｋの割合がｂ％より小さいチェック項目を除外する（図２０のＳ２０１３、図２１のＳ２１１３）。尚、図２１の例では、チェック項目「項目３」は、他チェック項目との相関が０．７を超える個数が７％しかないので、章節項レベル補正部１３３は、チェック項目「項目３」を、章節項レベルが定まらないとして除外する。

【0093】

このように章節項レベルが必ずしも定まらない場合には、章節項レベルが定まらないチェック項目を章節項レベル補正処理Ｓ８１４の実行前に除外することで、異なる設計書１１１の間の章節項レベルを適切に補正（正規化）することができる。

【0094】

以上詳細に説明したように、本実施形態の支援システム１００によれば、特徴語抽出モデル１１５により特徴語の抽出精度を向上することができる。このため、例えば、チェックリスト１１２の該当箇所１１２４に判定者が記入した内容の精度が必ずしも保証されていなくても、既存のチェックリスト１１２をそのまま用いて生成した教師データ１１４により特徴語抽出モデル１１５を精度よく学習することができ、特徴語の抽出精度を向上させることができる。そしてこれによりチェック項目に対応する設計書１１１の記載箇所を精度よく特定することができ、計書のレビューに係る作業を支援することができる。

【0095】

以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。

【0096】

また、上記の各構成、機能部、処理部、処理手段等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、Ｉ
Ｃカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0097】

また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。

【0098】

また、前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。

【符号の説明】

【0099】

１００ 支援システム、１１０ 記憶部、１１２ チェックリスト、１１３ 構造解析結果、１１４ 教師データ、１１５ 特徴語抽出モデル、１１６ 特徴語候補、１１７ 標準特徴語定義、１１８ 同義語辞書、１１９ 特徴語定義、１２０ 記載箇所対応表、１２１ 各種中間データ、１２５ データ取得管理部、１３０ 教師データ生成部、１３１
設計書構造解析部、１３２ 章節項レベル算出部、１３３ 章節項レベル補正部、１３４ 該当箇所特定部、１３５ 教師データ出力部、１４０ 特徴語抽出モデル生成部、１４５ 特徴語候補生成部、１５０ 標準特徴語定義生成部、１５５ 同義語辞書生成部、１６０ 特徴語定義生成部、１６５ 記載箇所対応表生成部、Ｓ８００ 教師データ生成処理、Ｓ８１４ 章節項レベル補正処理、Ｓ１４００ 該当箇所推定処理、Ｓ１４３０ 該当箇所特定処理、Ｓ２０００ チェック項目除外処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】