特開 2024-145700 情報処理装置、データ生成装置、情報処理システム、プログラム、及び、推論モデルを生産するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024145700

(43)【公開日】2024-10-15

(54)【発明の名称】情報処理装置、データ生成装置、情報処理システム、プログラム、及び、推論モデルを生産するための方法

(51)【国際特許分類】

   G06Q 10/0635 20230101AFI20241004BHJP

   G06F 40/279 20200101ALI20241004BHJP

   G06F 40/216 20200101ALI20241004BHJP

【ＦＩ】

G06Q10/0635

G06F40/279

G06F40/216

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023058165

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】302064762

【氏名又は名称】株式会社日本総合研究所

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】工藤 剛

(72)【発明者】

【氏名】門脇 一真

【テーマコード（参考）】

5L010

5L049

【Ｆターム（参考）】

5L010AA20

5L049AA20

(57)【要約】      （修正有）

【課題】評価支援のための情報処理装置、情報処理システム、プログラム及び推論モデルを生産するための方法を提供する。
【解決手段】評価支援システム１００において、ユーザ端末１２０の制御部１３０は、１以上の条件を取得する条件取得部と、複数の文を含む文書を取得する文書取得部と、を備える。解析サーバの解析部１４４は、文書に含まれる複数の文の中から、１以上の条件のそれぞれに関連する１以上の文又は文字列を抽出する抽出部であって、１以上の条件と、複数の文の少なくとも一部を構成する複数の文字列、複数の文又は文書を構成する１以上の構成単位とを、学習済みの機械学習モデルに入力し、機械学習モデルから、複数の文字列のそれぞれ、複数の文のそれぞれ又は１以上の構成単位のそれぞれと、１以上の条件のそれぞれとが関連する度合いに関する推論結果に対応する出力を導出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

１以上の条件を取得する条件取得部と、
複数の文を含む文書を取得する文書取得部と、
前記文書に含まれる前記複数の文の中から、前記１以上の条件のそれぞれに関連する１以上の文又は文字列を抽出する抽出部と、
を備え、
前記抽出部は、
（ａ）（ｉ）前記１以上の条件と、（ｉｉ）前記複数の文の少なくとも一部を構成する複数の文字列、前記複数の文、又は、前記文書を構成する１以上の構成単位とを、学習済みの機械学習モデルに入力し、
（ｂ）前記機械学習モデルから、前記複数の文字列のそれぞれ、前記複数の文のそれぞれ又は前記１以上の構成単位のそれぞれと、前記１以上の条件のそれぞれとが関連する度合いに関する推論結果に対応する出力を導出し、
（ｃ）前記１以上の条件のそれぞれと、各条件に対応する前記出力により示される文又は文字列とを対応付けて出力し、
前記機械学習モデルは、複数の項目のそれぞれに対する評価者の評価結果を示す情報であって、前記複数の項目のそれぞれの内容と、前記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である評価結果情報を含む学習データを用いて機械学習された機械学習モデルであり、
前記複数の項目は、
第１項目と、
前記第１項目とは異なる第２項目と、
を含み、
前記学習データは、
前記第１項目に関する正例であることを示すラベルと、前記第１項目の内容と、前記第１項目に対する評価の根拠とが対応付けられた正例データと、
前記第１項目に関する負例であることを示すラベルと、前記第１項目の内容と、前記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含む、
情報処理装置。

【請求項2】

前記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
前記画面は、
前記１以上の条件のそれぞれの内容と、前記抽出部が抽出した前記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
前記ユーザから、前記１以上の条件のそれぞれの成否に関する入力を受け付けるための第２オブジェクトと、
を含む、
請求項１に記載の情報処理装置。

【請求項3】

前記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
前記画面は、
前記１以上の条件のそれぞれの内容と、前記抽出部が抽出した前記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
前記ユーザから、前記１以上の条件のそれぞれに関連する文又は文字列の次の候補の提示を要求する次候補要求を受け付けるための第３オブジェクトと、
を含む、
請求項１に記載の情報処理装置。

【請求項4】

前記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
前記画面は、
前記１以上の条件のそれぞれの内容と、前記抽出部が抽出した前記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
前記ユーザから、前記文書における前記１以上の文又は文字列の記載箇所、及び／又は、当該記載箇所の近傍の提示を要求する文書提示要求を受け付けるための第４オブジェクトと、
を含む、
請求項１に記載の情報処理装置。

【請求項5】

複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得部と、
前記評価結果情報に基づいてデータセットを生成するデータセット生成部と、
を備え、
前記評価結果情報は、前記複数の項目のそれぞれの内容と、前記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報であり、
前記複数の項目は、
第１項目と、
前記第１項目とは異なる第２項目と、
を含み、
前記データセットは、
前記第１項目に関する正例であることを示すラベルと、前記第１項目の内容と、前記第１項目に対する評価の根拠とが対応付けられた正例データと、
前記第１項目に関する負例であることを示すラベルと、前記第１項目の内容と、前記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含む、
データ生成装置。

【請求項6】

請求項５に記載のデータ生成装置と、
前記データ生成装置が生成した１以上の前記正例データ及び１以上の前記第１負例データを教師データとして用いて、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する推論モデルを生成するモデル生成装置と、
を備える、
情報処理システム。

【請求項7】

コンピュータを、請求項１から請求項４までの何れか一項に記載の情報処理装置として機能させるためのプログラム。

【請求項8】

複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得段階と、
前記評価結果情報に基づいてデータセットを生成するデータセット生成段階と、
前記データセット生成段階において生成された１以上のデータセットを教師データとして用いて推論モデルを生成するモデル生成段階と、
を有し、
前記評価結果情報は、前記複数の項目のそれぞれの内容と、前記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報であり、
前記複数の項目は、
第１項目と、
前記第１項目とは異なる第２項目と、
を含み、
前記データセットは、
前記第１項目に関する正例であることを示すラベルと、前記第１項目の内容と、前記第１項目に対する評価の根拠とが対応付けられた正例データと、
前記第１項目に関する負例であることを示すラベルと、前記第１項目の内容と、前記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含み、
前記モデル生成段階は、１以上の前記正例データ及び１以上の前記第１負例データを教師データとして用いて、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する前記推論モデルを生成する段階を有する、
推論モデルを生産する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情情報処理装置、データ生成装置、情報処理システム、プログラム、及び、推論モデルを生産するための方法に関する。

【背景技術】

【0002】

特許文献１には、環境事故、法令違反などに係わる環境リスクを評価し、環境リスク低減と設備経済性とのトレードオフを最適化することのできる環境リスク評価システムが開示されている。
（先行技術文献）
（特許文献）
（特許文献１） 特許第６４０７５４６号公報

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の第１の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、１以上の条件を取得する条件取得部を備える。上記の情報処理装置は、例えば、複数の文を含む文書を取得する文書取得部を備える。上記の情報処理装置は、例えば、文書に含まれる複数の文の中から、１以上の条件のそれぞれに関連する１以上の文又は文字列を抽出する抽出部を備える。

【0004】

上記の情報処理装置において、抽出部は、例えば、（ａ）（ｉ）１以上の条件と、（ｉｉ）複数の文の少なくとも一部を構成する複数の文字列、複数の文、又は、文書を構成する１以上の構成単位とを、学習済みの機械学習モデルに入力する。上記の情報処理装置において、抽出部は、例えば、（ｂ）機械学習モデルから、複数の文字列のそれぞれ、複数の文のそれぞれ又は１以上の構成単位のそれぞれと、１以上の条件のそれぞれとが関連する度合いに関する推論結果に対応する出力を導出する。上記の情報処理装置において、抽出部は、例えば、（ｃ）１以上の条件のそれぞれと、各条件に対応する出力により示される文又は文字列とを対応付けて出力する。

【0005】

上記の何れかの情報処理装置において、機械学習モデルは、複数の項目のそれぞれに対する評価者の評価結果を示す情報であって、複数の項目のそれぞれの内容と、複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である評価結果情報を含む学習データを用いて機械学習された機械学習モデルであってよい。上記の何れかの情報処理装置において、複数の項目は、第１項目と、第１項目とは異なる第２項目とを含んでよい。上記の情報処理装置において、学習データは、正例データを含んでよい。正例データは、第１項目に関する正例であることを示すラベルと、第１項目の内容と、第１項目に対する評価の根拠とが対応付けられたデータであってよい。上記の何れかの情報処理装置において、学習データは、第１負例データを含んでよい。第１負例データは、第１項目に関する負例であることを示すラベルと、第１項目の内容と、第２項目に対する評価の根拠とが対応付けられたデータであってよい。

【0006】

上記の何れかの情報処理装置は、抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部を備えてよい。上記の何れかの情報処理装置において、画面は、第１オブジェクトを含んでよい。第１オブジェクトは、１以上の条件のそれぞれの内容と、抽出部が抽出した１以上の文又は文字列とを対応付けて提示するためのオブジェクトであってよい。上記の何れかの情報処理装置において、画面は、第２オブジェクトを含んでよい。第２オブジェクトは、ユーザから、１以上の条件のそれぞれの成否に関する入力を受け付けるためのオブジェクトであってよい。

【0007】

上記の何れかの情報処理装置は、抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部を備えてよい。上記の何れかの情報処理装置において、画面は、第１オブジェクトを含んでよい。第１オブジェクトは、１以上の条件のそれぞれの内容と、抽出部が抽出した１以上の文又は文字列とを対応付けて提示するためのオブジェクトであってよい。上記の何れかの情報処理装置において、画面は、第３オブジェクトを含んでよい。第３オブジェクトは、ユーザから、１以上の条件のそれぞれに関連する文又は文字列の次の候補の提示を要求する次候補要求を受け付けるためのオブジェクトであってよい。

【0008】

上記の何れかの情報処理装置は、抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部を備えてよい。上記の何れかの情報処理装置において、画面は、第１オブジェクトを含んでよい。第１オブジェクトは、１以上の条件のそれぞれの内容と、抽出部が抽出した１以上の文又は文字列とを対応付けて提示するためのオブジェクトであってよい。上記の何れかの情報処理装置において、画面は、第４オブジェクトを含んでよい。第４オブジェクトは、ユーザから、文書における１以上の文又は文字列の記載箇所、及び／又は、当該記載箇所の近傍の提示を要求する文書提示要求を受け付けるための第４オブジェクトであってよい。

【0009】

本発明の第２の態様においては、データ生成装置が提供される。上記のデータ生成装置は、例えば、複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得部を備える。上記のデータ生成装置は、例えば、評価結果情報に基づいてデータセットを生成するデータセット生成部を備える。上記のデータ生成装置において、評価結果情報は、例えば、複数の項目のそれぞれの内容と、複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である。上記のデータ生成装置において、複数の項目は、例えば、第１項目と、第１項目とは異なる第２項目とを含む。上記のデータ生成装置において、データセットは、例えば、正例データを含む。正例データは、例えば、第１項目に関する正例であることを示すラベルと、第１項目の内容と、第１項目に対する評価の根拠とが対応付けられたデータである。上記のデータ生成装置において、データセットは、例えば、第１負例データを含む。第１負例データは、例えば、第１項目に関する負例であることを示すラベルと、第１項目の内容と、第２項目に対する評価の根拠とが対応付けられたデータである。

【0010】

本発明の第３の態様においては、情報処理システムが提供される。上記の情報処理システムは、例えば、上記の第２の態様に係る何れかのデータ生成装置を備える。上記の情報処理システムは、例えば、データ生成装置が生成した１以上の正例データ及び１以上の第１負例データを教師データとして用いて、推論モデルを生成するモデル生成装置を備える。上記の情報処理システムにおいて、推論モデルは、例えば、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力するモデルである。

【0011】

本発明の第４の態様においては、推論モデルを生産する方法が提供される。上記の方法の各段階は、例えば、コンピュータにより実行される。上記の方法は、例えば、複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得段階を有する。上記の方法は、例えば、評価結果情報に基づいてデータセットを生成するデータセット生成段階を有する。上記の方法は、例えば、データセット生成段階において生成された１以上のデータセットを教師データとして用いて推論モデルを生成するモデル生成段階を有する。

【0012】

上記の方法において、評価結果情報は、例えば、複数の項目のそれぞれの内容と、複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である。上記の方法において、複数の項目は、例えば、第１項目と、第１項目とは異なる第２項目とを含む。上記の方法において、データセットは、例えば、正例データを含む。正例データは、例えば、第１項目に関する正例であることを示すラベルと、第１項目の内容と、第１項目に対する評価の根拠とが対応付けられたデータである。上記の方法において、データセットは、例えば、第１負例データを含む。第１負例データは、例えば、第１項目に関する負例であることを示すラベルと、第１項目の内容と、第２項目に対する評価の根拠とが対応付けられたデータである。

【0013】

上記の方法において、モデル生成段階は、例えば、１以上の正例データ及び１以上の第１負例データを教師データとして用いて、推論モデルを生成する段階を有する。上記の推論モデルは、例えば、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力するモデルである。

【0014】

本発明の第５の態様においては、プログラムが提供される。上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的コンピュータ可読媒体であってもよく、コンピュータ可読記録媒体であってもよい。上記のプログラムは、コンピュータを、上記の第１の態様に係る情報処理装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータを、上記の第２の態様に係るデータ生成装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータを、上記の第３の態様に係る情報処理システムとして機能させるためのプログラムであってよい。上記のプログラムは、コンピュータに、上記の第４の態様に係る推論モデルを生産する方法を実行させるためのプログラムであってもよい。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】評価支援システム１００のシステム構成の一例を概略的に示す

【図2】プロジェクト資料３２の一例を概略的に示す。

【図3】評価項目リスト３４のデータ構造の一例を概略的に示す。

【図4】支援画面３６の一例を概略的に示す。

【図5】文書表示画面５００の一例を概略的に示す。

【図6】評価結果資料３８の一例を概略的に示す。

【図7】制御部１３０の内部構成の一例を概略的に示す。

【図8】解析部１４４の内部構成の一例を概略的に示す。

【図9】入力データ生成部８４２の内部構成の一例を概略的に示す。

【図10】モデル管理部１４６の内部構成の一例を概略的に示す。

【図11】学習用データセット１１００の生成処理の一例を概略的に示す。

【図12】コンピュータ３０００のシステム構成の一例を概略的に示す。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

【0018】

（評価支援システム１００の概要）
図１は、評価支援システム１００のシステム構成の一例を概略的に示す。本実施形態において、評価支援システム１００は、例えば、ユーザ端末１２０と、解析サーバ１４０とを備える。本実施形態において、ユーザ端末１２０と、解析サーバ１４０とは、通信ネットワーク１０を介して互いに情報を送受することができる。

【0019】

本実施形態において、ユーザ端末１２０は、例えば、通信部１２２と、入力部１２４と、出力部１２６と、格納部１２８と、制御部１３０とを有する。本実施形態において、解析サーバ１４０は、例えば、モデル格納部１４２と、解析部１４４と、モデル管理部１４６と、学習用データ収集部１４８とを有する。

【0020】

本実施形態においては、１以上のユーザ２０のそれぞれが、ユーザ端末１２０を介して評価支援システム１００にアクセスし、プロジェクト資料３２及び評価項目リスト３４に基づいて、評価結果資料３８を作成する場合を例として、評価支援システム１００の詳細の一例が説明される。より具体的には、ユーザ２０が、特定の企画又は事業（プロジェクトと称される場合がある。）の詳細が記載されたプロジェクト資料３２に基づいて、当該プロジェクトが環境及び／又は社会に与える影響を評価する場合を例として、評価支援システム１００の詳細の一例が説明される。

【0021】

本実施形態によれば、まず、評価支援システム１００が、プロジェクト資料３２及び評価項目リスト３４のデータの入力を受け付ける。プロジェクト資料３２は、複数の文を含む。プロジェクト資料３２の詳細は後述される。評価項目リスト３４は、１以上の評価項目を含む。１以上の評価項目のそれぞれは、例えば、プロジェクトが環境及び／又は社会に与える影響を評価するために確認されるべき事項である。評価項目リスト３４の詳細は後述される。

【0022】

一実施形態において、ユーザ２０は、ユーザ端末１２０を操作して、プロジェクト資料３２及び評価項目リスト３４の少なくとも一方のデータをユーザ端末１２０に入力する。これにより、評価支援システム１００は、プロジェクト資料３２及び評価項目リスト３４の少なくとも一方のデータを取得することができる。

【0023】

他の実施形態において、ユーザ２０は、ユーザ端末１２０を操作して、プロジェクト資料３２及び評価項目リスト３４の少なくとも一方を特定するための情報をユーザ端末１２０に入力する。評価支援システム１００は、ユーザ２０がユーザ端末１２０に入力した情報に基づいて、評価支援システム１００の記憶装置又は通信ネットワーク１０に接続された他のコンピュータの記憶装置にアクセスし、プロジェクト資料３２及び評価項目リスト３４の少なくとも一方のデータを取得する。

【0024】

次に、評価支援システム１００が、プロジェクト資料３２の内容を解析する。例えば、まず、ユーザ端末１２０が、ユーザ２０からの指示に従って、解析サーバ１４０にプロジェクト資料３２の内容を解析させるための指示を、解析サーバ１４０に送信する。解析サーバ１４０は、機械学習によって学習済みのデータ（例えば、学習済みの推論モデルである。）を用いて、プロジェクト資料３２の内容を解析する。

【0025】

より具体的には、解析サーバ１４０は、プロジェクト資料３２に含まれる複数の文の中から、評価項目リスト３４により示される１以上の評価項目のそれぞれに関連する１以上の文又は文字列を抽出する。解析サーバ１４０は、抽出結果をユーザ端末１２０に送信する。

【0026】

次に、ユーザ端末１２０は、解析サーバ１４０の抽出結果に基づいて支援画面３６を生成する。支援画面３６は、例えば、解析サーバ１４０の抽出結果をユーザ２０に提示するために用いられる。ユーザ端末１２０は、生成された支援画面３６をユーザ２０に提示する。ユーザ２０は、支援画面３６を参照しながらユーザ端末１２０を操作して、評価結果資料３８を完成させる。支援画面３６及び評価結果資料３８の詳細は後述される。

【0027】

一般的に、プロジェクト資料３２はボリュームが大きく、また、評価者が確認すべき事項も多岐にわたる。そのため、評価者の評価業務を支援するためのシステムの構築が望まれている。しかしながら、プロジェクト資料３２の体裁又はフォーマットは統一されておらず、プロジェクトごとに資料の体裁又はフォーマットが異なることも多い。そのため、ルールベースの仕組みを構築し、当該仕組みにより評価者を支援することも難しい。

【0028】

これに対して、本実施形態によれば、解析サーバ１４０が、機械学習によって学習済みのデータを用いてプロジェクト資料３２の内容を解析する。これにより、例えば、プロジェクトごとにプロジェクト資料３２の体裁又はフォーマットが異なる場合であっても、評価支援システム１００は、ユーザ２０の評価業務を支援することができる。また、例えば、プロジェクトごとに評価項目の内容が異なる場合であっても、評価支援システム１００は、ユーザ２０の評価業務を支援することができる。

【0029】

（評価支援システム１００に関連する各部の概要）
本実施形態において、通信ネットワーク１０は、複数の装置の間で情報を伝送する。通信ネットワーク１０は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、それらの組み合わせであってもよい。通信ネットワーク１０は、インターネット、専用回線、無線通信網又はそれらの組み合わせであってもよい。通信ネットワーク１０は、アドホックネットワークなどのＰ２Ｐネットワークを含んでもよい。

【0030】

無線通信網における通信方式は、移動体通信方式であってもよく、無線データ通信方式であってもよい。移動体通信方式としては、３Ｇ方式、ＬＴＥ方式、４Ｇ方式、５Ｇ方式、などが例示される。無線データ通信方式としては、無線ＰＡＮ方式、無線ＬＡＮ方式、無線ＭＡＮ方式、無線ＷＡＮ方式などが例示される。無線通信網における通信方式は、各種の近距離無線通信方式であってもよい。

【0031】

本実施形態において、ユーザ端末１２０は、他の情報処理装置との間で情報を送受することのできる機器であればよく、その詳細は特に限定されない。ユーザ端末１２０は、複数の通信方式に対応してもよい。例えば、通信端末は、３Ｇ方式、ＬＴＥ方式、４Ｇ方式、５Ｇ方式などの移動体通信方式と、無線ＬＡＮ方式、無線ＭＡＮ方式などの無線通信方式との両方の通信方式に対応する。ユーザ端末１２０は、携帯端末であってよい。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。

【0032】

本実施形態において、通信部１２２は、通信ネットワーク１０を介して、解析サーバ１４０との間で情報を送受する。本実施形態において、入力部１２４は、ユーザ２０からの入力を受け付ける。入力部１２４としては、キーボード、ポインティングデバイス、タッチパネル、マイク、音声入力装置、ジェスチャ入力装置などが例示される。本実施形態において、出力部１２６は、ユーザ２０に情報を出力する。出力部１２６としては、ディスプレイ、プロジェクタ、スピーカなどが例示される。本実施形態において、制御部１３０は、ユーザ端末１２０の各部の動作を制御する。

【0033】

本実施形態において、解析サーバ１４０は、プロジェクト資料３２の内容を解析する。上述されたとおり、解析サーバ１４０は、機械学習によって学習済みのデータを用いて、プロジェクト資料３２の内容を解析する。

【0034】

本実施形態において、モデル格納部１４２は、機械学習によって生成された学習済みのデータを格納する。学習済みのデータは、モデル管理部１４６によって生成された機械学習モデルであってよい。学習済みのデータは、解析部１４４において用いられる機械学習モデルであってよい。上記の機械学習モデルは、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合い（関連度と称される場合がある。）に関する推論結果を出力する推論モデルであってよい。

【0035】

本実施形態において、解析部１４４は、機械学習によって学習済みのデータを用いて、プロジェクト資料３２の内容を解析する。解析部１４４は、モデル格納部１４２に格納された学習済みの推論モデルを用いて、プロジェクト資料３２の内容を解析してよい。

【0036】

より具体的には、解析部１４４は、プロジェクト資料３２のデータを取得する。解析部１４４は、プロジェクト資料３２の内容を示すテキストデータを取得してよい。また、解析部１４４は、評価項目リスト３４のデータを取得する。解析部１４４は、プロジェクト資料３２に含まれる複数の文の中から、１以上の評価項目のそれぞれに関連する１以上の文又は文字列を抽出する。解析部１４４の詳細は後述される。

【0037】

本実施形態において、モデル管理部１４６は、解析部１４４において用いられる機械学習モデルを管理する。一実施形態において、モデル管理部１４６は、機械学習により各種の推論モデルを生成する。他の実施形態において、モデル管理部１４６は、追加学習により、学習済みの推論モデルのパラメータを調整する。モデル管理部１４６の詳細は後述される。

【0038】

本実施形態において、学習用データ収集部１４８は、モデル管理部１４６における機械学習に用いられる各種のデータを収集する。一実施形態において、学習用データ収集部１４８は、ユーザ２０が作成した評価結果資料３８のデータを収集する。他の実施形態において、学習用データ収集部１４８は、評価結果資料３８の作成過程において、ユーザ２０がユーザ端末１２０に入力した指示の内容を示すデータ、及び／又は、当該指示に応じて評価支援システム１００がユーザ２０に提示したデータを収集する。

【0039】

（評価支援システム１００の各部の具体的な構成）
評価支援システム１００の各部は、ハードウェアにより実現されてもよく、ソフトウェアにより実現されてもよく、ハードウェア及びソフトウェアにより実現されてもよい。評価支援システム１００の各部は、その少なくとも一部が、パーソナルコンピュータ又は携帯端末によって実現されてもよい。例えば、パーソナルコンピュータ又は携帯端末が、評価支援システム１００のユーザインターフェースとして利用され得る。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウェアラブル・コンピュータなどが例示される。

【0040】

評価支援システム１００を構成する構成要素の少なくとも一部がソフトウェアにより実現される場合、当該ソフトウェアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。上記の情報処理装置は、例えば、（ｉ）各種プロセッサ（プロセッサとしては、ＣＰＵ、ＧＰＵなどが例示される）、ＲＯＭ、ＲＡＭ、通信インターフェースなどを有するデータ処理装置と、（ｉｉ）メモリ、ＨＤＤなどの記憶装置（外部記憶装置を含む。）とを備える。上記の情報処理装置は、（ｉｉｉ）キーボード、タッチパネル、カメラ、マイク、各種センサ、ＧＰＳ受信機などの入力装置を備えてもよく、（ｉｖ）表示装置、スピーカ、振動装置などの出力装置を備えてもよい。

【0041】

上記の情報処理装置において、上記のデータ処理装置又は記憶装置は、プログラムを格納してよい。上記のプログラムに記述された情報処理は、例えば、当該プログラムがコンピュータに読込まれることにより、当該プログラムに関連するソフトウェアと、評価支援システム１００の少なくとも一部を構成する各種のハードウェア資源とが協働した具体的手段として機能する。そして、上記の具体的手段が、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、当該使用目的に応じた評価支援システム１００又はその一部が構築される。

【0042】

上記のプログラムは、コンピュータ可読媒体に格納されていてもよい。上記のプログラムは、非一時的なコンピュータ可読記録媒体に格納されていてもよい。上記のプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。上記のプログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、評価支援システム１００の少なくとも一部を構成するコンピュータにインストールされてよい。

【0043】

上記のプログラムが実行されることにより、コンピュータが、評価支援システム１００の各部の少なくとも一部として機能してもよい。上記のプログラムが実行されることにより、コンピュータが、評価支援システム１００の少なくとも一部における情報処理方法を実行してもよい。上記のコンピュータは、機械学習によって学習済みのデータを記憶するための記憶部と、上記のプログラムを実行するための実行部とを備えてよい。

【0044】

コンピュータを評価支援システム１００の少なくとも一部として機能させるためのプログラムは、例えば、評価支援システム１００の少なくとも一部の動作を規定したモジュールを備える。上記のプログラム又はモジュールが実行されると、上記のプログラム又はモジュールは、データ処理装置、入力装置、出力装置、記憶装置等に働きかけて、コンピュータを評価支援システム１００の少なくとも一部として機能させたり、コンピュータに評価支援システム１００の少なくとも一部における情報処理方法を実行させたりする。

【0045】

プロジェクト資料３２は、特定の企画又は事業が環境及び／又は社会に与える影響を評価するための文書の一例であってよい。評価項目リスト３４に含まれる１以上の評価項目は、１以上の条件の一例であってよい。支援画面３６は、画面の一例であってよい。

【0046】

プロジェクト資料３２のデータは、文書の内容を示す文書データの一例であってよい。プロジェクト資料３２の内容を示すテキストデータは、文書の内容を示す文書データの一例であってよい。評価項目リスト３４のデータは、１以上の条件の内容を示す条件データの一例であってよい。

【0047】

評価支援システム１００は、情報処理システム、情報処理装置、データ生成装置、又は、モデル生成装置の一例であってよい。ユーザ端末１２０は、情報処理装置の一例であってよい。制御部１３０は、情報処理装置の一例であってよい。解析サーバ１４０は、情報処理システム、情報処理装置、データ生成装置、又は、モデル生成装置の一例であってよい。解析部１４４は、情報処理装置又は抽出部の一例であってよい。モデル管理部１４６は、情報処理システム、データ生成装置又はモデル生成装置の一例であってよい。

【0048】

（別実施形態の一例）
本実施形態においては、ユーザ端末１２０が支援画面３６を出力する場合を例として、ユーザ端末１２０の詳細が説明された。しかしながら、ユーザ端末１２０による支援の態様は、本実施形態に限定されない。他の実施形態において、ユーザ端末１２０は、支援画面３６と同様の構成を有する書類のデータを作成し、当該データを出力してもよい。

【0049】

図２は、プロジェクト資料３２の一例を概略的に示す。本実施形態において、プロジェクト資料３２は、例えば、１以上の章２２０により構成される。本実施形態において、１以上の章２２０の少なくとも一部は、例えば、１以上の節２３０を含む。

【0050】

１以上の節２３０のそれぞれは、例えば、１以上の段落２４０を含む。１以上の節２３０の少なくとも一部は、１以上の段落２４０と、１以上の表２５２及び／又は１以上の図面２５４とを含んでもよい。１以上の段落２４０のそれぞれは、例えば、１以上の文２４２を含む。１以上の文２４２のそれぞれは、文字列２４４を含む。

【0051】

１以上の節２３０の少なくとも一部は、１以上の項２６０を含んでもよい。１以上の項２６０のそれぞれは、例えば、１以上の段落２４０を含む。１以上の項２６０の少なくとも一部は、１以上の段落２４０と、１以上の表２５２及び／又は１以上の図面２５４とを含んでもよい。

【0052】

上述されたとおり、本実施形態において、プロジェクト資料３２は、複数の文２４２を含む。プロジェクト資料３２は、複数の区画（ブロックと称される場合がある。）に分割されてもよい。プロジェクト資料３２は、単一のブロックにより構成されてもよい。各ブロックの構成は特に限定されるものではないが、プロジェクト資料３２は、複数の文２４２のそれぞれが１以上のブロックの何れか１つに属するように、１以上のブロックに区分けされる。

【0053】

章２２０は、文書を構成する構成単位の一例であってよい。節２３０は、文書を構成する構成単位の一例であってよい。段落２４０は、文書を構成する構成単位の一例であってよい。文２４２は、文書を構成する構成単位の一例であってよい。文字列２４４は、文書を構成する構成単位の一例であってよい。表２５２は、文書を構成する構成単位の一例であってよい。図面２５４は、文書を構成する構成単位の一例であってよい。項２６０は、文書を構成する構成単位の一例であってよい。ブロックは、文書を構成する構成単位の一例であってよい。

【0054】

図３は、評価項目リスト３４のデータ構造の一例を概略的に示す。本実施形態において、評価項目リスト３４は、１以上のレコードを有する。１以上のレコードのそれぞれは、評価項目３２６を格納する。

【0055】

評価項目３２６は、特定の事項を示す情報と、当該特定の事項が満たすべき要件を示す情報とを含む。評価項目３２６は、例えば、評価されるべき事項と、当該事項に関する評価の基準とを含む。例えば、「二酸化炭素の排出量は１ｋｇ／年以下である」という評価項目において、評価されるべき事項は「二酸化炭素の排出量」であり、当該事項に関する評価の基準は、「１ｋｇ／年以下」である。

【0056】

より具体的には、本実施形態において、複数のレコードのそれぞれは、評価項目ＩＤ３２２と、評価区分３２４と、評価項目３２６とを対応付けて格納する。評価項目ＩＤ３２２は、１以上の評価項目３２６のそれぞれを識別するための識別情報である。評価区分３２４は、複数の評価項目３２６を１以上に分類するための区分である。プロジェクトが環境及び／又は社会に与える影響の評価における評価区分３２４としては、環境リスク、社会リスクなどが例示される。

【0057】

評価項目３２６は、条件の一例であってよい。

【0058】

図４は、支援画面３６の一例を概略的に示す。支援画面３６は、ユーザ２０と、評価支援システム１００とのユーザインターフェースとして用いられる。支援画面３６は、例えば、ユーザ端末１２０の出力部１２６から出力される。上述されたとおり、出力部１２６の動作は、制御部１３０により制御される。

【0059】

本実施形態において、支援画面３６は、例えば、ユーザ２０に対して情報を提示するための領域である提示領域４２０と、ユーザ２０からの入力を受け付けるための領域である入力領域４４０とを含む。本実施形態においては、支援画面３６が、提示領域４２０及び入力領域４４０が一体となったテーブルを含む場合を例として、支援画面３６の詳細が説明される。図４に示されるとおり、上記のテーブルは、１以上の評価項目４２４のそれぞれ又は１以上の証跡４２６ののそれぞれに対応する複数のレコードを含む。

【0060】

本実施形態において、提示領域４２０は、例えば、１以上の評価項目４２４のそれぞれの内容と、１以上の証跡４２６のそれぞれとを対応付けて提示する。１以上の評価項目４２４のそれぞれは、評価支援システム１００が取得した評価項目リスト３４に含まれる１以上の評価項目３２６のそれぞれに対応する。１以上の証跡４２６のそれぞれは、プロジェクト資料３２に含まれる複数の文２４２のうち、１以上の評価項目４２４のそれぞれに対する評価の根拠となる１以上の文又は文字列（証跡と称される場合がある。）を示す。

【0061】

一実施形態において、証跡４２６として表示される１以上の文又は文字列は、解析部１４４の解析結果により決定される。証跡４２６は、解析部１４４が抽出した１以上の文又は文字列であってもよく、解析部１４４の出力値に基づいて決定された１以上の文又は文字列であってもよい。他の実施形態において、証跡４２６として表示される１以上の文又は文字列は、ユーザ２０の指示により決定される。

【0062】

これらの実施形態により、証跡４２６として、（ｉ）プロジェクト資料３２に含まれる複数の文２４２のうち、１以上の評価項目４２４のそれぞれに関連する１以上の文又は文字列、又は、（ｉｉ）プロジェクト資料３２に含まれる複数の文２４２のうち、１以上の評価項目４２４のそれぞれとの関連度の大きな１以上の文又は文字列が提示される。支援画面３６においては、証跡４２６として、関連度の最も大きな単一の文又は文字列が提示されてもよく、関連度が予め定められた程度よりも大きな複数の文又は文字列が提示されてもよい。

【0063】

より具体的には、本実施形態において、提示領域４２０には、評価区分４２２と、評価項目４２４と、証跡４２６と、証跡の所在４２８とが対応付けて表示される。評価区分４２２としては、１以上の評価項目４２４のそれぞれに対応する評価区分が例示される。上記の評価区分は、評価支援システム１００が取得した評価項目リスト３４に含まれる１以上の評価項目３２６のそれぞれに対応する評価区分３２４であってよい。証跡の所在４２８としては、プロジェクト資料３２において、１以上の証跡４２６のそれぞれが記載されている位置（記載位置と称される場合がある。）が例示される。記載位置としては、ページ番号、行番号などが例示される。

【0064】

本実施形態において、入力領域４４０は、例えば、１以上の評価項目４２４のそれぞれと、１以上の評価項目４２４のそれぞれに対するユーザ２０の評価結果４４２とを対応付けて提示する。入力領域４４０は、１以上の証跡４２６のそれぞれに関連してユーザ２０が実行可能な操作４４４の種類を提示してよい。

【0065】

入力領域４４０には、ユーザ２０からの入力を受け付けるためのオブジェクトが配される。入力領域４４０には、各種の入力を受け付けるための複数の種類のオブジェクトが配されてよい。

【0066】

一実施形態によれば、入力領域４４０には、ユーザ２０からの入力を受け付けるための１以上のオブジェクト４５２が配される。１以上のオブジェクト４５２のそれぞれは、例えば、１以上の評価項目４２４のそれぞれに対応する位置に配される。１以上のオブジェクト４５２のそれぞれは、例えば、ユーザ２０から、１以上の評価項目４２４のそれぞれに対するユーザ２０の評価結果４４２に関する入力を受け付けるために用いられる。

【0067】

特定の評価結果４４２に関する入力は、プロジェクトが当該特定の評価項目４２４に示される条件を満たしているか否かを示す情報であれば特に限定されない。特定の評価結果４４２の入力態様は特に限定されるものではないが、特定の評価結果４４２は、テキストにより入力されてもよく、評価の度合いを示す段階的な区分に関する複数の選択肢の中から選択されてもよい。オブジェクト４５２としては、テキストボックス、プルダウンリスト、ラジオボタン、チェックボックス、コンボボックスなどが例示される。

【0068】

他の実施形態によれば、入力領域４４０には、ユーザ２０からの指示を受け付けるための１以上のオブジェクト４５４が配される。１以上のオブジェクト４５４のそれぞれは、例えば、１以上の証跡４２６のそれぞれに対応する位置に配される。１以上のオブジェクト４５４のそれぞれは、例えば、ユーザ２０から、１以上の証跡４２６のそれぞれの次の候補の提示を要求するための指示（次候補要求と称される場合がある。）に関する入力を受け付けるために用いられる。

【0069】

例えば、ユーザ２０がユーザ端末１２０を操作して支援画面３６の上で特定のオブジェクト４５４をクリックすると、ユーザ２０からの次候補要求が受け付けられ、オブジェクト４５４に埋め込まれたコマンドが実行される。上記のコマンドは、例えば、ユーザ端末１２０の制御部１３０に、支援画面３６に表示されている証跡４２６を更新するための処理を実行させるための命令を含む。

【0070】

例えば、制御部１３０が、特定の評価項目４２４に対応する複数の文又は文字列のそれぞれの関連度に関する情報を取得している場合、上記のコマンドが実行されると、制御部１３０は、上記の関連度に関する情報を参照して、現在の証跡４２６として表示されている文又は文字列よりも関連度の小さな文又は文字列を、新たな証跡４２６として決定する。また、制御部１３０は、上記の決定結果に基づいて支援画面３６の内容を更新する。これにより、支援画面３６に表示されている証跡４２６が更新される。

【0071】

例えば、解析部１４４が、特定の評価項目４２４に対応する複数の文又は文字列のそれぞれの関連度に関する情報を記憶している場合、上記のコマンドが実行されると、制御部１３０は、解析部１４４に対して、特定の評価項目４２４に対応する証跡４２６の次の候補を出力するように要求する。解析部１４４は、特定の評価項目４２４に対応する複数の文又は文字列のそれぞれの関連度に関する情報に基づいて、現在の証跡４２６として表示されている文又は文字列よりも関連度の小さな文又は文字列を、新たな証跡４２６として決定する。解析部１４４は、新たな証跡４２６に関する情報を制御部１３０に送信する。制御部１３０が新たな証跡４２６に関する情報を受信すると、制御部１３０は、上記の情報に基づいて支援画面３６の内容を更新する。これにより、支援画面３６に表示されている証跡４２６が更新される。

【0072】

さらに他の実施形態によれば、入力領域４４０には、ユーザ２０からの指示を受け付けるための１以上のオブジェクト４５６が配される。１以上のオブジェクト４５６のそれぞれは、例えば、１以上の証跡４２６のそれぞれに対応する位置に配される。１以上のオブジェクト４５６のそれぞれは、例えば、ユーザ２０から、プロジェクト資料３２の一部の領域の提示を要求するための指示（文書提示要求と称される場合がある。）に関する入力を受け付けるために用いられる。１以上のオブジェクト４５６のそれぞれにより提示が要求される上記の領域としては、１以上のオブジェクト４５６のそれぞれに対応する１以上の証跡４２６のそれぞれが記載されている箇所（記載箇所と称される場合がある）、及び／又は、当該記載箇所の近傍が例示される。

【0073】

例えば、ユーザ２０がユーザ端末１２０を操作して支援画面３６の上で特定のオブジェクト４５６をクリックすると、ユーザ２０からの文書提示要求が受け付けられ、オブジェクト４５６に埋め込まれたコマンドが実行される。上記のコマンドは、例えば、ユーザ端末１２０の制御部１３０に、プロジェクト資料３２の特定の箇所をユーザ２０に提示するための処理を実行させるための命令を含む。例えば、上記のコマンドが実行されると、制御部１３０は、出力部１２６を制御して、特定のオブジェクト４５６に対応する証跡４２６の記載箇所及び／又は当該記載箇所の近傍をユーザ２０に提示するための画面（文書表示画面と称される場合がある。）を出力させる。文書表示画面の詳細は後述される。

【0074】

支援画面３６に含まれるテーブルは、第１オブジェクトの一例であってよい。提示領域４２０は、第１オブジェクトの一例であってよい。入力領域４４０は、第２オブジェクト、第３オブジェクト又は第４オブジェクトの一例であってよい。オブジェクト４５２は、第２オブジェクトの一例であってよい。オブジェクト４５４は、第３オブジェクトの一例であってよい。オブジェクト４５６は、第４オブジェクトの一例であってよい。１以上の証跡４２６のそれぞれは、抽出部が抽出した１以上の文又は文字列の一例であってよい。１以上の証跡４２６のそれぞれは、１以上の条件のそれぞれに関連する文又は文字列の一例であってよい。

【0075】

（別実施形態の一例）
本実施形態においては、支援画面３６が、提示領域４２０及び入力領域４４０が一体となったテーブルを含む場合を例として、支援画面３６の詳細が説明された。しかしながら、支援画面３６は本実施形態に限定されない。支援画面３６において、評価項目４２４と、解析部１４４により抽出された証跡４２６とは、任意の手法により対応付けられ得る。

【0076】

他の実施形態において、支援画面３６は、解析部１４４により抽出された証跡４２６の記載箇所が強調表示されたプロジェクト資料３２を提示するための領域を含む。支援画面３６において、強調表示された証跡４２６の近傍に、証跡４２６に対応する評価項目４２４の内容が提示されてもよい。

【0077】

強調表示の態様は特に限定されるものではないが証跡４２６の記載箇所にマーカ又は下線が付される態様、証跡４２６の文字の書体、色及び／又は大きさが変更される態様などが例示される。マーカは、証跡４２６の記載箇所の全体を覆うように配されてもよく、証跡４２６の記載箇所の外側を囲むように配されてもよい。文字の書体としては、フォント、太字、斜体などが例示される。

【0078】

図５は、文書表示画面５００の一例を概略的に示す。文書表示画面５００は、例えば、図４に関連して説明されたオブジェクト４５６に埋め込まれたコマンドが実行された場合に、出力部１２６のディスプレイ上に表示される。

【0079】

本実施形態において、文書表示画面５００は、例えば、文書表示領域５２０と、評価項目表示領域５４０と、スクロールバー５６０とを含む。文書表示領域５２０には、プロジェクト資料３２の内容が表示される。評価項目表示領域５４０には、評価項目の内容が表示される。本実施形態に係る文書表示画面５００においては、評価項目表示領域５４０に表示される評価項目と、当該評価項目に対応する証跡の記載箇所とが関連付けて配置される。

【0080】

例えば、本実施形態によれば、評価項目５４２の横に、評価項目５４２に対応する証跡を含むブロック５２２が配置される。また、ブロック５２２の内部には、評価項目５４２に対応する証跡の位置を示すためのマーカ５３０が配置される。さらに、ブロック５２２の下には、ブロック５２２の次のブロックであるブロック５２４が配置される。これにより、ユーザ２０は、文書表示画面５００を参照することで、評価項目５４２の内容と、評価項目５４２に対応する証跡と、当該証跡の前後の文とを閲覧することができる。

【0081】

図６は、評価結果資料３８の一例を概略的に示す。評価結果資料３８は、例えば、ユーザ２０が、図４に関連して説明された支援画面３６を参照して、１以上の評価項目４２４のそれぞれに対する評価を支援画面３６の評価結果４４２の欄に入力することで作成される。

【0082】

本実施形態によれば、評価結果資料３８が複数のレコードを含むテーブルとして提供される場合を例として、評価結果資料３８の詳細が説明される。本実施形態において、上記の複数のレコードのそれぞれは、評価項目６２４と、評価結果６３２と、証跡６３４とを対応付けて格納する。より具体的には、複数のレコードのそれぞれは、評価区分６２２と、評価項目６２４と、評価結果６３２と、証跡６３４と、証跡の所在６３６を対応付けて格納する。

【0083】

本実施形態において、評価区分６２２は、対応する評価項目６２４の評価区分を示す。本実施形態において、評価項目６２４は、支援画面３６の評価項目４２４に対応する。本実施形態において、評価結果６３２は、支援画面３６の評価結果４４２に入力された評価結果を示す。本実施形態において、証跡６３４は、支援画面３６においてユーザ２０により評価項目４２４に対応する証跡として認められた文又は文字列を示す。本実施形態において、証跡の所在６３６は、対応する証跡６３４のプロジェクト資料３２における記載位置を示す。

【0084】

本実施形態において、評価結果資料３８の少なくとも一部は、解析サーバ１４０において用いられる機械学習モデルの学習用データとして用いられる。評価結果資料３８の少なくとも一部は、上記の学習用データの生成に用いられてもよい。上記の学習用データの詳細は後述される。

【0085】

図７は、制御部１３０の内部構成の一例を概略的に示す。本実施形態において、制御部１３０は、例えば、解析対象特定部７２２と、評価項目特定部７２４と、解析要求出力部７２６と、解析結果取得部７２８と、評価結果生成部７４０とを備える。本実施形態において、評価結果生成部７４０は、例えば、支援画面生成部７４２と、ユーザ指示取得部７４４と、ユーザ指示応答部７４６と、学習用データ取得部７４８とを有する。

【0086】

本実施形態において、解析対象特定部７２２は、例えば、解析対象となるプロジェクト資料３２を特定する。解析対象特定部７２２は、特定されたプロジェクト資料３２を示す情報を、例えば、解析要求出力部７２６に出力する。上述されたとおり、プロジェクト資料３２には、評価対象となるプロジェクトの内容が記載されている。プロジェクト資料３２は、例えば、評価対象となるプロジェクトの内容を示す複数の文を含む。

【0087】

一実施形態において、ユーザ２０は、入力部１２４にプロジェクト資料３２のデータを入力する。プロジェクト資料３２のデータのデータ形式は特に限定されない。解析対象特定部７２２は、入力部１２４からプロジェクト資料３２のデータを取得する。これにより、解析対象となるプロジェクト資料３２が特定される。

【0088】

他の実施形態において、ユーザ２０は、入力部１２４にプロジェクト資料３２の識別情報を入力する。プロジェクト資料３２の識別情報は特に限定されるものではないが、プロジェクト資料３２の識別情報としては、プロジェクト資料３２の名称、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）などが例示される。これにより、解析対象となるプロジェクト資料３２が特定される。解析対象特定部７２２は、上記の識別情報に基づいて任意の記憶装置又はコンピュータにアクセスすることで、上記のプロジェクト資料３２のデータを取得することができる。

【0089】

本実施形態において、評価項目特定部７２４は、例えば、プロジェクトを評価するための１以上の評価項目を特定する。評価項目特定部７２４は、１以上の評価項目のそれぞれの内容を示す評価項目リスト３４を特定してもよい。解析対象特定部７２２は、特定された１以上の評価項目又は評価項目リスト３４を示す情報を、例えば、解析要求出力部７２６に出力する。

【0090】

一実施形態において、ユーザ２０は、入力部１２４に評価項目リスト３４のデータを入力する。評価項目リスト３４のデータのデータ形式は特に限定されない。評価項目特定部７２４は、入力部１２４から評価項目リスト３４のデータを取得する。１以上の評価項目が特定される。

【0091】

他の実施形態において、ユーザ２０は、入力部１２４に評価項目リスト３４の識別情報を入力する。評価項目リスト３４の識別情報は特に限定されるものではないが、評価項目リスト３４の識別情報としては、評価項目リスト３４の名称、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）などが例示される。これにより、評価項目リスト３４が特定される。評価項目特定部７２４は、上記の識別情報に基づいて任意の記憶装置又はコンピュータにアクセスすることで、上記の評価項目リスト３４のデータを取得することができる。

【0092】

本実施形態において、解析要求出力部７２６は、プロジェクト資料３２の解析を要求することを示す信号（解析要求と称される場合がある。）を、解析部１４４に送信する。解析要求出力部７２６は、解析部１４４に解析要求を送信することで、解析部１４４にプロジェクト資料３２の解析処理を実行させることができる。

【0093】

解析要求は、解析対象特定部７２２により特定されたプロジェクト資料３２を示す情報を含んでよい。解析要求は、プロジェクト資料３２のデータを含んでもよい。解析要求は、評価項目特定部７２４により特定された１以上の評価項目又は評価項目リスト３４を示す情報を含んでよい。解析要求は、評価項目リスト３４のデータを含んでもよい。

【0094】

解析要求は、（ａ）（ｉ）評価項目リスト３４に含まれる１以上の評価項目と、（ｉｉ）プロジェクト資料３２に含まれる複数の文の少なくとも一部を構成する複数の文字列、複数の文、又は、プロジェクト資料３２を構成する１以上のブロックとを関連付けて、学習済みの機械学習モデルに入力するための処理を、解析部１４４を実現するコンピュータに実行させるための命令を含んでよい。解析要求は、（ｂ）機械学習モデルから、複数の文字列のそれぞれ、複数の文のそれぞれ又は１以上のブロックのそれぞれと、１以上の評価項目のそれぞれとが関連する度合い（上述されたとおり、関連度と称される場合がある。）に関する推論結果に対応する出力を導出するための処理を、解析部１４４を実現するコンピュータに実行させるための命令を含んでよい。解析要求は、（ｃ）１以上の評価項目のそれぞれと、各評価項目に対応する機械学習モデルからの出力により示される文又は文字列とを対応付けて出力するための処理を、解析部１４４を実現するコンピュータに実行させるための命令を含んでよい。

【0095】

本実施形態において、解析結果取得部７２８は、解析部１４４から、プロジェクト資料３２に関する解析結果を示す情報を取得する。解析結果としては、解析サーバ１４０に格納された機械学習モデルの推論結果を示す情報、上記の推論結果に対応する情報などが例示される。推論結果に対応する情報は、推論結果に予め定められた情報処理を施すことで得られる情報であってよい。

【0096】

解析結果としては、（ｉ）評価項目リスト３４に含まれる１以上の評価項目と、プロジェクト資料３２に含まれる複数の文字列、文又はブロックのそれぞれとの全ての組み合わせに関する関連度の推測値（スコアと称される場合がある）を示す情報、（ｉｉ）評価項目リスト３４に含まれる１以上の評価項目に対する関連度が最も大きな文字列、文又はブロックを示す情報、（ｉｉｉ）評価項目リスト３４に含まれる１以上の評価項目に対する関連度が予め定められた程度よりも大きな文字列、文又はブロックを示す情報などが例示される。上記の関連度の推測値は、推論結果の一例であってよい。上記の文字列、文又はブロックを示す情報は、推論結果に対応する情報の一例であってよい。

【0097】

本実施形態において、評価結果生成部７４０は、例えば、評価結果資料３８を生成するための処理を実行する。評価結果生成部７４０は、ユーザ２０とのインタラクションを通して、評価結果資料３８を生成してよい。

【0098】

後述されるとおり、本実施形態において、評価結果資料３８の生成過程におけるユーザ２０及びユーザ端末１２０のインタラクションは、解析サーバ１４０における機械学習の学習データの生成に用いられる。そこで、評価結果生成部７４０は、上記のインタラクションに関する情報を収集し、収集された情報を解析サーバ１４０に送信してよい。

【0099】

本実施形態において、支援画面生成部７４２は、ユーザ２０に提示される各種の画面を生成する。支援画面生成部７４２は、例えば、支援画面３６を生成する。支援画面生成部７４２は、解析結果取得部７２８が取得した解析部１４４の解析結果を用いて、支援画面３６を生成してよい。例えば、支援画面生成部７４２は、解析部１４４の解析結果を示すテーブルを作成する。支援画面生成部７４２は、ユーザからの入力を受け付けるための各種のオブジェクトを生成し、適切な位置に配置する。これにより、支援画面３６が生成される。

【0100】

支援画面生成部７４２は、出力部１２６を制御して、ユーザ２０に支援画面３６を提示するための処理を出力部１２６に実行させてよい。これにより、例えば、出力部１２６のディスプレイに支援画面３６が表示される。

【0101】

本実施形態において、ユーザ指示取得部７４４は、ユーザ２０からの各種の指示に関する入力を取得する。上述されたとおり、ユーザ２０は、支援画面３６に配置された各種のオブジェクトを操作することで、各種の指示を入力する。ユーザ指示取得部７４４は、ユーザ２０からの指示に関連する各種のイベントを検出するイベント検出部として機能する。具体的には、入力部１２４がユーザ２０からの指示の入力を受け付けると、ユーザ指示取得部７４４は、当該指示の内容を示す情報を取得する。これにより、ユーザ指示取得部７４４は、ユーザ２０からの指示に関連するイベントの発生を検出することができる。

【0102】

本実施形態において、ユーザ指示応答部７４６は、ユーザ指示取得部７４４が取得した各種の指示に対して応答する。これにより、ユーザ２０に提示される画面の内容が更新され得る。

【0103】

一実施形態において、ユーザ指示応答部７４６は、支援画面３６に提示される証跡の内容を更新する証跡更新部として機能し得る。例えば、ユーザ指示取得部７４４が特定の証跡４２６に対応するオブジェクト４５４がクリックされたことを検出した場合、ユーザ指示応答部７４６は、当該特定の証跡４２６として提示されるべき文又は文字列の次の候補を決定するための処理を実行する。これにより、支援画面３６に表示される証跡の内容が更新される。上述されたとおり、上記の文又は文字列が提示された結果、特定のブロックが提示され得る。

【0104】

他の実施形態において、ユーザ指示応答部７４６は、例えば、プロジェクト資料３２の特定の箇所をユーザ２０に提示する文書提示部として機能し得る。例えば、ユーザ指示取得部７４４が特定の証跡４２６に対応するオブジェクト４５６がクリックされたことを検出した場合、ユーザ指示応答部７４６は、プロジェクト資料３２における当該特定の証跡４２６の記載箇所及び／又は当該記載箇所の近傍をユーザ２０に提示するための処理を実行する。

【0105】

本実施形態において、ユーザ指示応答部７４６は、ユーザ２０とのインタラクションを通して、評価結果資料３８を生成する。ユーザ指示応答部７４６は、生成された評価結果資料３８を出力してよい。例えば、ユーザ指示応答部７４６は、出力部１２６を制御して、評価結果資料３８を出力するための処理を出力部１２６に実行させてよい。例えば、出力部１２６は、評価結果資料３８のデータを出力する。例えば、出力部１２６は、評価結果資料３８の内容を示す画面を表示する。

【0106】

本実施形態において、学習用データ取得部７４８は、解析サーバ１４０における機械学習に用いられる各種のデータを収集する。一実施形態において、学習用データ取得部７４８は、完成した評価結果資料３８のデータを取得し、解析サーバ１４０に送信する。学習用データ取得部７４８は、評価結果資料３８と、評価結果資料３８の作成に用いられたプロジェクト資料３２及び／又は評価項目リスト３４とを対応付けて、解析サーバ１４０に送信してよい。

【0107】

他の実施形態において、学習用データ取得部７４８は、評価結果資料３８の生成過程におけるユーザ２０及びユーザ端末１２０のインタラクションに関する情報を取得し、当該情報を解析サーバ１４０に送信する。上記のインタラクションに関する情報としては、支援画面３６に配された各種のオブジェクトの操作の内容を示す情報、ユーザ２０が文書表示画面５００を閲覧している期間におけるユーザ２０によるユーザ端末１２０の操作の内容を示す情報などが例示される。ユーザ２０によるユーザ端末１２０の操作としては、クリック、ドラッグ、選択、選択解除などが例示される。

【0108】

解析対象特定部７２２は、文書取得部の一例であってよい。評価項目特定部７２４は、条件取得部の一例であってよい。解析要求出力部７２６は、文書取得部又は条件取得部の一例であってよい。支援画面生成部７４２は、画面生成部の一例であってよい。
（別実施形態の一例）
本実施形態においては、制御部１３０が支援画面生成部７４２を備える場合を例として、制御部１３０の詳細が説明された。しかしながら、制御部１３０は本実施形態に限定されない。他の実施形態において、支援画面生成部７４２は、解析サーバ１４０に配されてよい。この場合、解析結果取得部７２８は、解析サーバ１４０の解析結果として、支援画面生成部７４２が生成した画面のデータを取得してよい。

【0109】

図８は、解析部１４４の内部構成の一例を概略的に示す。本実施形態において、解析部１４４は、例えば、入力データ生成部８４２と、出力データ取得部８４４と、解析結果出力部８４６とを備える。

【0110】

本実施形態においては、解析部１４４が、モデル格納部１４２に格納されている関連度推論モデル８２０を用いて、プロジェクト資料３２の内容を解析する場合を例として、解析部１４４の詳細が説明される。しかしながら、解析部１４４は、本実施形態に限定されない。

【0111】

本実施形態において、モデル格納部１４２は、関連度推論モデル８２０を格納する。関連度推論モデル８２０は、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力されると、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する。例えば、関連度推論モデル８２０に、評価項目リスト３４に含まれる特定の評価項目と、プロジェクト資料３２に含まれる特定の文字列、文又はブロックとの組み合わせが入力されると、関連度推論モデル８２０は、両者の関連度の推論結果を示すスコアを出力する。

【0112】

関連度推論モデル８２０は、複数の項目のそれぞれに対する評価者の評価結果を示す情報であって、複数の項目のそれぞれの内容と、複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である評価結果情報を含む学習データを用いて機械学習された機械学習モデルであってよい。上記の機械学習モデルにおいて、複数の項目は、第１項目と、第１項目とは異なる第２項目とを含んでよい。

【0113】

上記の機械学習モデルにおいて、学習データは、第１項目に関する正例であることを示すラベルと、第１項目の内容と、第１項目に対する評価の根拠とが対応付けられた正例データと、第１項目に関する負例であることを示すラベルと、第１項目の内容と、第２項目に対する評価の根拠とが対応付けられた第１負例データとを含んでよい。上記の機械学習モデルにおいて、学習データは、第１項目に関する負例であることを示すラベルと、第１項目の内容と、第１項目に対する評価の根拠が記載された文書に含まれる１以上の他の文又は文字列とが対応付けられた第２負例データをさらに含んでもよい。関連度推論モデル８２０に関する機械学習の詳細は後述される。

【0114】

本実施形態において、入力データ生成部８４２は、関連度推論モデル８２０に入力される入力データを生成する。入力データ生成部８４２は、例えば、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数の文字列、文又はブロックのそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成する。

【0115】

より具体的には、入力データ生成部８４２は、まず、プロジェクト資料３２及び評価項目リスト３４を取得する。上述されたとおり、解析要求出力部７２６からの解析要求には、プロジェクト資料３２及び評価項目リスト３４のデータ又は識別情報が含まれる。これにより、入力データ生成部８４２は、プロジェクト資料３２及び評価項目リスト３４を取得することができる。

【0116】

次に、入力データ生成部８４２は、例えば、プロジェクト資料３２を複数のブロックに分割する。上述されたとおり、プロジェクト資料３２に含まれる複数の文のそれぞれは、上記の複数のブロックの何れか１つに属する。次に、入力データ生成部８４２は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数のブロックのそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成する。

【0117】

なお、上記の実施形態においては、入力データ生成部８４２が、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数のブロックのそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成する場合を例として、入力データ生成部８４２の詳細が説明された。しかしながら、入力データ生成部８４２は本実施形態に限定されない。

【0118】

他の実施形態において、入力データ生成部８４２は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数の文のそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成してよい。さらに他の実施形態において、入力データ生成部８４２は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数の文字列のそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成してよい。

【0119】

本実施形態において、入力データ生成部８４２は、生成された複数の入力データを、関連度推論モデル８２０に入力する。これにより、入力データ生成部８４２は、評価項目及びブロックとを関連付けて、関連度推論モデル８２０に入力することができる。

【0120】

本実施形態において、出力データ取得部８４４は、関連度推論モデル８２０から、上記の入力データに対応する出力を導出する。例えば、出力データ取得部８４４は、関連度推論モデル８２０から、入力データにより示される評価項目及びブロックに関する複数の組み合わせに関する推論結果に対応する出力を導出する。

【0121】

例えば、関連度推論モデル８２０は、複数の入力データにより示される評価項目及びブロックに関する複数の組み合わせのそれぞれについて、評価項目及びブロックの関連度の推測値を、上記の推論結果として出力する。一実施形態において、関連度推論モデル８２０は、上記の複数の組み合わせのそれぞれに関する関連度の推測値を、上記の推論結果に対応する出力として出力する。他の実施形態において、関連度推論モデル８２０は、１以上の評価項目のそれぞれを示す情報と、当該評価項目に対する関連度が最も大きなブロックを示す情報とを対応付けて、上記の推論結果に対応する出力として出力する。さらに他の実施形態において、関連度推論モデル８２０は、１以上の評価項目のそれぞれを示す情報と、当該評価項目に対する関連度が予め定められた程度よりも大きなブロックを示す情報とを対応付けて、上記の推論結果に対応する出力として出力する。

【0122】

なお、上記の実施形態においては、出力データ取得部８４４が、関連度推論モデル８２０から、入力データにより示される評価項目及びブロックに関する複数の組み合わせに関する推論結果に対応する出力を導出する場合を例として、出力データ取得部８４４の詳細が説明された。しかしながら、出力データ取得部８４４は本実施形態に限定されない。

【0123】

他の実施形態において、出力データ取得部８４４は、関連度推論モデル８２０から、入力データにより示される評価項目及び文に関する複数の組み合わせに関する推論結果に対応する出力を導出してよい。さらに他の実施形態において、出力データ取得部８４４は、関連度推論モデル８２０から、入力データにより示される評価項目及び文字列に関する複数の組み合わせに関する推論結果に対応する出力を導出してよい。

【0124】

解析結果出力部８４６は、出力データ取得部８４４が取得した関連度推論モデル８２０からの出力に基づいて、プロジェクト資料３２の解析結果を示す情報を生成する。例えば、解析結果出力部８４６は、関連度推論モデル８２０からの出力に基づいて、評価項目リスト３４に含まれる１以上の評価項目のそれぞれに関する証跡の候補を決定する。各評価項目に関する証跡の候補としては、（ｉ）各評価項目に対する関連度が最も大きな文字列、文若しくはブロック、（ｉｉ）各評価項目に対する関連度が大きな順に予め定められた個数の文字列、文若しくはブロック、（ｉｉｉ）各評価項目に対する関連度が予め定められた程度よりも大きな文字列、文若しくはブロックなどが例示される。

【0125】

解析結果出力部８４６は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、各評価項目の証跡の候補となる文字列、文又はブロックとが対応付けて解析結果を生成する。例えば、解析結果出力部８４６は、テーブルを含む解析結果を生成する。上記のテーブルは、１以上のレコードを含む。１以上のレコードのそれぞれは、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、各評価項目の証跡の候補となる文字列、文又はブロックとを対応付けて格納する。

【0126】

なお、解析結果出力部８４６は本実施形態に限定されない。他の実施形態において、解析結果出力部８４６は、上述された支援画面生成部７４２の機能の少なくとも一部を有してもよい。

【0127】

関連度推論モデル８２０は、機械学習モデル又は推論モデルの一例であってよい。入力データ生成部８４２は、条件取得部又は文書取得部の一例であってよい。入力データ生成部８４２は、抽出部の一部の一例であってよい。出力データ取得部８４４は、抽出部の一部の一例であってよい。解析結果出力部８４６は、抽出部の一部の一例であってよい。

【0128】

図９は、入力データ生成部８４２の内部構成の一例を概略的に示す。本実施形態において、入力データ生成部８４２は、例えば、解析対象取得部９２２と、テキストデータ生成部９２４と、テキストデータ分割部９２６と、評価項目取得部９３２と、入力用データセット生成部９４０とを備える。

【0129】

本実施形態において、解析対象取得部９２２は、解析対象となるプロジェクト資料３２のデータを取得する。解析対象取得部９２２は、例えば、図８に関連して説明された手順に従って、プロジェクト資料３２のデータを取得する。

【0130】

本実施形態において、テキストデータ生成部９２４は、プロジェクト資料３２の内容を示すテキストデータを生成する。例えば、テキストデータ生成部９２４は、公知のＯＣＲ技術を利用して、プロジェクト資料３２の内容を示すテキストデータを生成する。

【0131】

プロジェクト資料３２に表が含まれている場合、テキストデータ生成部９２４は、表の内容をテキストに変換してよい。例えば、テキストデータ生成部９２４は、まず、表の構成を解析する。次に、テキストデータ生成部９２４は、表のタイトルと、各セルの値とに基づいて、表を構成する各レコードの内容をテキストに変換する。例えば、表の各行が単一のレコードを構成している場合、テキストデータ生成部９２４は、表の各列のタイトルと、各セルの値とに基づいて、各行のデータの内容をテキストに変換する。

【0132】

本実施形態において、テキストデータ分割部９２６は、プロジェクト資料３２のテキストデータを複数のブロックに分割する。上述されたとおり、プロジェクト資料３２は、複数の文を含む。また、複数の文のそれぞれは、複数のブロックの何れか１つに属する。

【0133】

本実施形態において、評価項目取得部９３２は、評価項目リスト３４のデータを取得する。評価項目取得部９３２は、例えば、図８に関連して説明された手順に従って、評価項目リスト３４のデータを取得する。

【0134】

本実施形態において、入力用データセット生成部９４０は、関連度推論モデル８２０に入力される複数のデータにより構成される入力用データセットを生成する。入力用データセット生成部９４０は、例えば、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数のブロックのそれぞれとの全ての組み合わせを生成することで、複数の入力データを生成する。これにより、入力用データセットが生成される。入力用データセット生成部９４０は、生成された入力用データセットを関連度推論モデル８２０に入力してよい。

【0135】

上述されたとおり、入力用データセットは、本実施形態に限定されない。他の実施形態において、入力用データセット生成部９４０は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数の文字列のそれぞれとの全ての組み合わせを生成することで、入力用データセットを生成する。さらに他の実施形態において、入力用データセット生成部９４０は、評価項目リスト３４に含まれる１以上の評価項目のそれぞれと、プロジェクト資料３２に含まれる複数の文のそれぞれとの全ての組み合わせを生成することで、入力用データセットを生成する。

【0136】

図１０は、モデル管理部１４６の内部構成の一例を概略的に示す。本実施形態において、モデル管理部１４６は、データ格納部１０２０と、学習用データセット生成部１０４０と、学習部１０６０とを備える。本実施形態において、データ格納部１０２０は、評価結果格納部１０２２と、ユーザ指示格納部１０２４と、文書データ格納部１０２６と、学習用データセット格納部１０２８とを有する。

【0137】

本実施形態において、データ格納部１０２０は、各種のデータを格納する。一実施形態において、データ格納部１０２０は、解析サーバ１４０における各種の情報処理に用いられる各種のデータを格納する。他の実施形態において、データ格納部１０２０は、解析サーバ１４０における各種の情報処理において生成される各種のデータを格納する。

【0138】

本実施形態において、評価結果格納部１０２２は、過去に作成された評価結果資料３８のデータを格納する。本実施形態において、ユーザ指示格納部１０２４は、評価結果格納部１０２２に格納されている評価結果資料３８の作成過程において、ユーザ２０がユーザ端末１２０に入力した指示の内容を示すデータ、及び／又は、当該指示に応じて評価支援システム１００がユーザ２０に提示したデータを格納する。本実施形態において、文書データ格納部１０２６は、評価結果格納部１０２２に格納されている評価結果資料３８の作成に用いられたプロジェクト資料３２のデータを格納する。

【0139】

本実施形態において、学習用データセット格納部１０２８は、機械学習に用いられるデータセット（学習用データセットと称される場合がある。）を格納する。学習用データセット格納部１０２８は、学習用データセット生成部１０４０が生成した学習用データセットを格納してよい。

【0140】

本実施形態において、学習用データセット生成部１０４０は、関連度推論モデル８２０の機械学習に用いられる学習用データセットを生成する。学習用データセット生成部１０４０は、例えば、評価結果資料３８に基づいて、上記の学習用データセットを生成する。

【0141】

上述されたとおり、評価結果資料３８は、１以上の評価項目のそれぞれについて、各評価項目の内容と、各評価項目に関連する度合いの大きな文字列、文又は文章とが対応付けられている。そのため、例えば、図６に関連して説明されたテーブルの各レコードは、関連度推論モデル８２０の機械学習における正例となり得る。

【0142】

一方、図６に関連して説明されたテーブルの第１レコードに含まれる証跡６３４は、上記のテーブルの第２レコードに含まれる評価項目６２４の負例となり得る。第２レコードは、第１レコードとは異なるレコードである。

【0143】

特に、第１レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置と、第２レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置とが比較的近い場合、第１レコードに含まれる証跡６３４と、第２レコードに含まれる証跡６３４とが、意味的に類似又は関連している可能性が高い。つまり、評価結果資料３８を作成したユーザ２０は、意味的に類似又は関連している文字列又は文が、一方の評価項目の証跡としてはふさわしいものの、他方の評価項目の証跡としてはふさわしくないと判断したことになる。このような情報を負例として用いることで、学習済みの学習モデルの推測精度が向上する。

【0144】

そこで、本実施形態によれば、学習用データセット生成部１０４０は、評価結果資料３８において対応付けられている評価項目及び証跡の組み合わせに基づいて正例データを生成する。学習用データセット生成部１０４０は、例えば、図６に関連して説明されたテーブルの第１レコードに含まれる評価項目６２４に関する正例であることを示すラベルと、第１レコードに含まれる評価項目６２４の内容と、第１レコードに含まれる証跡６３４の内容とが対応付けられた正例データを生成する。

【0145】

また、学習用データセット生成部１０４０は、評価結果資料３８において対応付けられていない評価項目及び証跡の組み合わせに基づいて負例データ（第１負例データと称される場合がある。）を生成する。学習用データセット生成部１０４０は、例えば、図６に関連して説明されたテーブルの第１レコードに含まれる評価項目６２４に関する負例であることを示すラベルと、第１レコードに含まれる評価項目６２４の内容と、第２レコードに含まれる証跡６３４の内容とが対応付けられた負例データを生成する。

【0146】

一実施形態において、学習用データセット生成部１０４０は、図６に関連して説明されたテーブルに含まれる複数のレコードのうち、第１レコードとは異なる１以上のレコードの全てを第２レコードとして、上記の負例データを生成する。他の実施形態において、学習用データセット生成部１０４０は、図６に関連して説明されたテーブルに含まれる複数のレコードのうち、第１レコードとは異なる１以上のレコードの一部を第２レコードとして、上記の負例データを生成する。

【0147】

この場合において、学習用データセット生成部１０４０は、第２レコードに含まれる評価項目の評価区分と、第１レコードに含まれる評価項目の評価区分とに基づいて、負例データの生成に用いられる第２レコードを決定してよい。例えば、学習用データセット生成部１０４０は、第１レコードに含まれる評価項目の評価区分と、第２レコードに含まれる評価項目の評価区分とが同一又は類似するように、上記の第２レコードを決定する。

【0148】

学習用データセット生成部１０４０は、第２レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置と、第１レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置とに基づいて、負例データの生成に用いられる第２レコードを決定してもよい。上記の記載位置としては、ページ番号、行番号、章番号、節番号、項番号などが例示される。

【0149】

例えば、学習用データセット生成部１０４０は、第２レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置と、第１レコードに含まれる証跡６３４のプロジェクト資料３２における記載位置とが予め定められた条件を満足するように、負例データの生成に用いられる第２レコードを決定する。上記の予め定められた条件としては、（ｉ）第２レコードに含まれる証跡６３４が記載されているページ番号と、第１レコードに含まれる証跡６３４が記載されているページ番号との差の絶対値が予め定められた値以下であるという条件、（ｉｉ）第２レコードに含まれる証跡６３４の記載位置と、第１レコードに含まれる証跡６３４の記載位置との間の行数が予め定められた値以下であるという条件、（ｉｉｉ）第２レコードに含まれる証跡６３４が記載されている章番号と、第１レコードに含まれる証跡６３４が記載されている章番号との差の絶対値が予め定められた値以下であるという条件、（ｉｖ）第２レコードに含まれる証跡６３４が記載されている節番号と、第１レコードに含まれる証跡６３４が記載されている節番号との差の絶対値が予め定められた値以下であるという条件、（ｖ）第２レコードに含まれる証跡６３４が記載されている項番号と、第１レコードに含まれる証跡６３４が記載されている項番号との差の絶対値が予め定められた値以下であるという条件などが例示される。

【0150】

学習用データセット生成部１０４０は、評価結果資料３８に含まれる文又は文字列のうち、特定の評価項目の証跡として対応付けれていない１以上の文又は文字列（他の文又は文字列と称される場合がある。）に基づいて、当該特定の評価項目に関する負例データ（第２負例データと称される場合がある。）を生成してもよい。学習用データセット生成部１０４０は、特定の評価項目の証跡の記載位置と、他の文又は文字列の記載位置とが、上述された予め定められた条件を満足するように、負例データの生成に用いられる他の文又は文字列を決定してよい。

【0151】

本実施形態において、学習部１０６０は、機械学習モデルを生成する。学習部１０６０は、例えば、機械学習により、関連度推論モデル８２０を生成する。学習部１０６０は、学習用データセット生成部１０４０が生成した学習用データセットを教師データとして、関連度推論モデル８２０を生成する。学習用データセットは、例えば、上述された１以上の正例データと、上述された１以上の負例データとを含む。これにより、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する関連度推論モデル８２０が生成される。

【0152】

評価結果格納部１０２２は、評価結果取得部の一例であってよい。学習用データセット生成部１０４０は、データ生成装置、評価結果取得部又はデータセット生成部の一例であってよい。学習部１０６０は、モデル生成装置の一例であってよい。テーブルに含まれる複数のレコードは、複数の項目の一例であってよい。第１レコードは、第１項目の一例であってよい。第２レコードは、第２項目の一例であってよい。

【0153】

図１１は、学習用データセット１１００の生成処理の一例を概略的に示す。本実施形態においては、学習用データセット生成部１０４０が、評価結果資料３８を用いて学習用データセット１１００を生成する処理の一例が説明される。

【0154】

本実施形態において、評価結果資料３８は、複数のレコードを含む。複数のレコードのそれぞれは、評価区分６２２と、評価項目６２４と、証跡６３４とを対応付けて格納する。本実施形態において、学習用データセット１１００は、複数のレコードを含む。複数のレコードのそれぞれは、評価項目１１２２と、証跡１１２４と、ラベル１１２６とを対応付けて格納する。

【0155】

本実施形態によれば、学習用データセット生成部１０４０は、例えば、まず、評価結果資料３８に含まれる評価項目Ｘと、当該評価項目Ｘに対応付けられた証跡ｘｘｘと、評価項目Ｘに対する正例であることを示すラベルとを対応付けて、評価項目Ｘに対する正例データを作成する。学習用データセット生成部１０４０は、生成された正例データを学習用データセット１１００に追加する。次に、学習用データセット生成部１０４０は、例えば、評価結果資料３８に含まれる評価項目Ｘと、評価結果資料３８において当該評価項目Ｙに対応付けられた証跡ｙｙｙと、評価項目Ｘに対する負例であることを示すラベルとを対応付けて、評価項目Ｘに対する負例データを作成する。学習用データセット生成部１０４０は、生成された負例データを学習用データセット１１００に追加する。学習用データセット生成部１０４０は、同様の処理を繰り返すことで、評価結果資料３８を用いて学習用データセット１１００を生成することができる。

【0156】

図１２は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ３０００の一例を示す。評価支援システム１００の少なくとも一部は、コンピュータ３０００により実現されてよい。例えば、ユーザ端末１２０の少なくとも一部が、コンピュータ３０００により実現される。制御部１３０の少なくとも一部が、コンピュータ３０００により実現されてよい。例えば、解析サーバ１４０の少なくとも一部が、コンピュータ３０００により実現される。解析部１４４の少なくとも一部が、コンピュータ３０００により実現されてよい。モデル管理部１４６の少なくとも一部が、コンピュータ３０００により実現されてよい。

【0157】

コンピュータ３０００にインストールされたプログラムは、コンピュータ３０００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ３０００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ３０００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ３０１２によって実行されてよい。

【0158】

本実施形態によるコンピュータ３０００は、ＣＰＵ３０１２、ＲＡＭ３０１４、グラフィックコントローラ３０１６、及びディスプレイデバイス３０１８を含み、それらはホストコントローラ３０１０によって相互に接続されている。コンピュータ３０００はまた、通信インターフェース３０２２、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ３０２０を介してホストコントローラ３０１０に接続されている。コンピュータはまた、ＲＯＭ３０３０及びキーボード３０４２のようなレガシの入出力ユニットを含み、それらは入出力チップ３０４０を介して入出力コントローラ３０２０に接続されている。

【0159】

ＣＰＵ３０１２は、ＲＯＭ３０３０及びＲＡＭ３０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ３０１６は、ＲＡＭ３０１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ３０１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス３０１８上に表示されるようにする。

【0160】

通信インターフェース３０２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ３０２４は、コンピュータ３０００内のＣＰＵ３０１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ３０２６は、プログラム又はデータをＤＶＤ－ＲＯＭ３００１から読み取り、ハードディスクドライブ３０２４にＲＡＭ３０１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0161】

ＲＯＭ３０３０はその中に、アクティブ化時にコンピュータ３０００によって実行されるブートプログラム等、及び／又はコンピュータ３０００のハードウェアに依存するプログラムを格納する。入出力チップ３０４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ３０２０に接続してよい。

【0162】

プログラムが、ＤＶＤ－ＲＯＭ３００１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ３０２４、ＲＡＭ３０１４、又はＲＯＭ３０３０にインストールされ、ＣＰＵ３０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ３０００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ３０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0163】

例えば、通信がコンピュータ３０００及び外部デバイス間で実行される場合、ＣＰＵ３０１２は、ＲＡＭ３０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース３０２２に対し、通信処理を命令してよい。通信インターフェース３０２２は、ＣＰＵ３０１２の制御の下、ＲＡＭ３０１４、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭ３００１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0164】

また、ＣＰＵ３０１２は、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６（ＤＶＤ－ＲＯＭ３００１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ３０１４に読み取られるようにし、ＲＡＭ３０１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ３０１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0165】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ３０１２は、ＲＡＭ３０１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ３０１４に対しライトバックする。また、ＣＰＵ３０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ３０１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0166】

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ３０００上又はコンピュータ３０００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ３０００に提供する。

【0167】

上記実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0168】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0169】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0170】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0171】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。また、各構成要素は、名称が同一で、参照符号が異なる他の構成要素と同様の特徴を有してもよい。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0172】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0173】

本明細書には、例えば、下記の事項が開示されている。
（項目１）
１以上の条件を取得する条件取得部と、
複数の文を含む文書を取得する文書取得部と、
上記文書に含まれる上記複数の文の中から、上記１以上の条件のそれぞれに関連する１以上の文又は文字列を抽出する抽出部と、
を備え、
上記抽出部は、
（ａ）（ｉ）上記１以上の条件と、（ｉｉ）上記複数の文の少なくとも一部を構成する複数の文字列、上記複数の文、又は、上記文書を構成する１以上の構成単位とを、学習済みの機械学習モデルに入力し、
（ｂ）上記機械学習モデルから、上記複数の文字列のそれぞれ、上記複数の文のそれぞれ又は上記１以上の構成単位のそれぞれと、上記１以上の条件のそれぞれとが関連する度合いに関する推論結果に対応する出力を導出する、
情報処理装置。
（項目２）
上記抽出部は、さらに、
（ｃ）上記１以上の条件のそれぞれと、各条件に対応する上記出力により示される文又は文字列とを対応付けて出力する、
項目１に記載の情報処理装置。
（項目３）
上記機械学習モデルは、複数の項目のそれぞれに対する評価者の評価結果を示す情報であって、上記複数の項目のそれぞれの内容と、上記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報である評価結果情報を含む学習データを用いて機械学習された機械学習モデルであり、
上記複数の項目は、
第１項目と、
上記第１項目とは異なる第２項目と、
を含み、
上記学習データは、
上記第１項目に関する正例であることを示すラベルと、上記第１項目の内容と、上記第１項目に対する評価の根拠とが対応付けられた正例データと、
上記第１項目に関する負例であることを示すラベルと、上記第１項目の内容と、上記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含む、
項目１又は項目２に記載の情報処理装置。
（項目４）
上記学習データは、
上記第１項目に関する負例であることを示すラベルと、上記第１項目の内容と、上記第１項目に対する評価の根拠が記載された文書に含まれる１以上の他の文又は文字列とが対応付けられた第２負例データ、
をさらに含む、
項目３に記載の情報処理装置。
（項目５）
上記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
上記画面は、
上記１以上の条件のそれぞれの内容と、上記抽出部が抽出した上記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
上記ユーザから、上記１以上の条件のそれぞれの成否に関する入力を受け付けるための第２オブジェクトと、
を含む、
項目１から項目４までの何れか一項に記載の情報処理装置。
（項目６）
上記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
上記画面は、
上記１以上の条件のそれぞれの内容と、上記抽出部が抽出した上記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
上記ユーザから、上記１以上の条件のそれぞれに関連する文又は文字列の次の候補の提示を要求する次候補要求を受け付けるための第３オブジェクトと、
を含む、
項目１から項目５までの何れか一項に記載の情報処理装置。
（項目７）
上記抽出部の抽出結果をユーザに提示するための画面を生成する画面生成部をさらに備え、
上記画面は、
上記１以上の条件のそれぞれの内容と、上記抽出部が抽出した上記１以上の文又は文字列とを対応付けて提示するための第１オブジェクトと、
上記ユーザから、上記文書における上記１以上の文又は文字列の記載箇所、及び／又は、当該記載箇所の近傍の提示を要求する文書提示要求を受け付けるための第４オブジェクトと、
を含む、
項目１から項目６までの何れか一項に記載の情報処理装置。
（項目８）
上記文書は、特定の企画又は事業が環境及び／又は社会に与える影響を評価するための文書である、
項目１から項目７までの何れか一項に記載の情報処理装置。
（項目９）
複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得部と、
上記評価結果情報に基づいてデータセットを生成するデータセット生成部と、
を備え、
上記評価結果情報は、上記複数の項目のそれぞれの内容と、上記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報であり、
上記複数の項目は、
第１項目と、
上記第１項目とは異なる第２項目と、
を含み、
上記データセットは、
上記第１項目に関する正例であることを示すラベルと、上記第１項目の内容と、上記第１項目に対する評価の根拠とが対応付けられた正例データと、
上記第１項目に関する負例であることを示すラベルと、上記第１項目の内容と、上記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含む、
データ生成装置。
（項目１０）
項目９に記載のデータ生成装置と、
上記データ生成装置が生成した１以上の上記正例データ及び１以上の上記第１負例データを教師データとして用いて、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する推論モデルを生成するモデル生成装置と、
を備える、
情報処理システム。
（項目１１）
項目１から項目８までの何れか一項に記載の情報処理装置と、
項目９に記載のデータ生成装置と、
上記データ生成装置が生成した１以上の上記正例データ及び１以上の上記第１負例データを教師データとして用いて、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する推論モデルを生成するモデル生成装置と、
を備える、
情報処理システム。
（項目１２）
コンピュータを、項目１から項目８までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
（項目１３）
複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得段階と、
上記評価結果情報に基づいてデータセットを生成するデータセット生成段階と、
を有し、
上記評価結果情報は、上記複数の項目のそれぞれの内容と、上記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報であり、
上記複数の項目は、
第１項目と、
上記第１項目とは異なる第２項目と、
を含み、
上記データセットは、
上記第１項目に関する正例であることを示すラベルと、上記第１項目の内容と、上記第１項目に対する評価の根拠とが対応付けられた正例データと、
上記第１項目に関する負例であることを示すラベルと、上記第１項目の内容と、上記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含む、
データセットを生産する方法。
（項目１４）
複数の項目のそれぞれに対する評価者の評価結果を示す評価結果情報を取得する評価結果取得段階と、
上記評価結果情報に基づいてデータセットを生成するデータセット生成段階と、
上記データセット生成段階において生成された１以上のデータセットを教師データとして用いて推論モデルを生成するモデル生成段階と、
を有し、
上記評価結果情報は、上記複数の項目のそれぞれの内容と、上記複数の項目のそれぞれに対する評価の根拠とが対応付けられた情報であり、
上記複数の項目は、
第１項目と、
上記第１項目とは異なる第２項目と、
を含み、
上記データセットは、
上記第１項目に関する正例であることを示すラベルと、上記第１項目の内容と、上記第１項目に対する評価の根拠とが対応付けられた正例データと、
上記第１項目に関する負例であることを示すラベルと、上記第１項目の内容と、上記第２項目に対する評価の根拠とが対応付けられた第１負例データと、
を含み、
上記モデル生成段階は、１以上の上記正例データ及び１以上の上記第１負例データを教師データとして用いて、（ｉ）特定の条件と、特定の文字列、文又は文章とが関連付けて入力され、（ｉｉ）当該特定の条件と、当該特定の文字列、文又は文章とが関連する度合いに関する推論結果を出力する上記推論モデルを生成する、
推論モデルを生産する方法。

【符号の説明】

【0174】

１０ 通信ネットワーク
２０ ユーザ
３２ プロジェクト資料
３４ 評価項目リスト
３６ 支援画面
３８ 評価結果資料
１００ 評価支援システム
１２０ ユーザ端末
１２２ 通信部
１２４ 入力部
１２６ 出力部
１２８ 格納部
１３０ 制御部
１４０ 解析サーバ
１４２ モデル格納部
１４４ 解析部
１４６ モデル管理部
１４８ 学習用データ収集部
２２０ 章
２３０ 節
２４２ 文
２４４ 文字列
２５２ 表
２５４ 図面
２６０ 項
３２２ 評価項目ＩＤ
３２４ 評価区分
３２６ 評価項目
４２０ 提示領域
４２２ 評価区分
４２４ 評価項目
４２６ 証跡
４２８ 所在
４４０ 入力領域
４４２ 評価結果
４４４ 操作
４５２ オブジェクト
４５４ オブジェクト
４５６ オブジェクト
５００ 文書表示画面
５２０ 文書表示領域
５２２ ブロック
５２４ ブロック
５３０ マーカ
５４０ 評価項目表示領域
５４２ 評価項目
５６０ スクロールバー
６２２ 評価区分
６２４ 評価項目
６３２ 評価結果
６３４ 証跡
６３６ 所在
７２２ 解析対象特定部
７２４ 評価項目特定部
７２６ 解析要求出力部
７２８ 解析結果取得部
７４０ 評価結果生成部
７４２ 支援画面生成部
７４４ ユーザ指示取得部
７４６ ユーザ指示応答部
７４８ 学習用データ取得部
８２０ 関連度推論モデル
８４２ 入力データ生成部
８４４ 出力データ取得部
８４６ 解析結果出力部
９２２ 解析対象取得部
９２４ テキストデータ生成部
９２６ テキストデータ分割部
９３２ 評価項目取得部
９４０ 入力用データセット生成部
１０２０ データ格納部
１０２２ 評価結果格納部
１０２４ ユーザ指示格納部
１０２６ 文書データ格納部
１０２８ 学習用データセット格納部
１０４０ 学習用データセット生成部
１０６０ 学習部
１１００ 学習用データセット
１１２２ 評価項目
１１２４ 証跡
１１２６ ラベル
３０００ コンピュータ
３００１ ＤＶＤ－ＲＯＭ
３０１０ ホストコントローラ
３０１２ ＣＰＵ
３０１４ ＲＡＭ
３０１６ グラフィックコントローラ
３０１８ ディスプレイデバイス
３０２０ 入出力コントローラ
３０２２ 通信インターフェース
３０２４ ハードディスクドライブ
３０２６ ＤＶＤ－ＲＯＭドライブ
３０３０ ＲＯＭ
３０４０ 入出力チップ
３０４２ キーボード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】