(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-15
(45)【発行日】2024-04-23
(54)【発明の名称】判定方法
(51)【国際特許分類】
G06F 40/166 20200101AFI20240416BHJP
G06Q 10/10 20230101ALI20240416BHJP
G06F 40/253 20200101ALN20240416BHJP
【ＦＩ】
G06F40/166
G06Q10/10
G06F40/253
【請求項の数】
4
(21)【出願番号】P 2022532411
(86)(22)【出願日】2021-05-20
(86)【国際出願番号】 JP2021019258
(87)【国際公開番号】W WO2021261132
(87)【国際公開日】2021-12-30
【審査請求日】2022-12-14
(31)【優先権主張番号】P 2020109091
(32)【優先日】2020-06-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】佐々木 康輔
【審査官】長 由紀子
(56)【参考文献】
【文献】特開２０１６－２１２５３３（ＪＰ，Ａ）
【文献】特開平０８－１８００３７（ＪＰ，Ａ）
【文献】特開平０１－１７３１５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－５８
Ｇ０６Ｑ １０／１０
(57)【特許請求の範囲】
【請求項1】
判定装置が、確認用資料を取得し、
取得した前記確認用資料について、事前に学習されたパラメータと取得した前記確認用資料中の文字記載量と図表数とを予め定められた式に代入することで文字記載量と図表数のバランスを示す値である資料完成度を算出するとともに、算出した資料完成度を数１で示す式に代入して資料完成度の関係性に応じた値である構成評価値を算出することにより、資料の構成に応じた暗黙的な観点からのデータ化を行い、かつ、予め定められた判定ワードが前記確認用資料中に存在しているか否か確認して予め定められた各チェック事項を達成しているか否か判断することにより、形式的な観点からのデータ化を行い、
暗黙的な観点からのデータ化の結果と、事前に確認者が確認した結果に応じて予め算出された資料完成度及び構成評価値と、を比較することで、資料の構成に応じた暗黙的な観点からの不足事項を推定するとともに、形式的な観点からのデータ化の結果と、予め記憶する、前記チェック事項が必要であるか否か示す情報と、を比較することで、所定の情報が前記確認用資料に記載されているか否かに応じた形式的な観点からの不足事項を推定する
判定方法。
【数1】
【請求項2】
請求項１に記載の判定方法であって、資料の構成に応じた暗黙的な観点からの不足事項を推定する際、暗黙的な観点からのデータ化の結果と、事前に確認者が確認した結果に応じて予め算出された資料完成度及び構成評価値を納期までの期限が所定の条件を満たすか否かに応じて調整した結果と、を比較することで、資料の構成に応じた暗黙的な観点からの不足事項を推定する
判定方法。
【請求項3】
取得した確認用資料について、事前に学習されたパラメータと取得した前記確認用資料中の文字記載量と図表数とを予め定められた式に代入することで文字記載量と図表数のバランスを示す値である資料完成度を算出するとともに、算出した資料完成度を数２で示す式に代入して資料完成度の関係性に応じた値である構成評価値を算出することにより、資料の構成に応じた暗黙的な観点からのデータ化を行い、かつ、予め定められた判定ワードが前記確認用資料中に存在しているか否か確認して予め定められた各チェック事項を達成しているか否か判断することにより、形式的な観点からのデータ化を行うデータ化部と、
前記データ化部による暗黙的な観点からのデータ化の結果と、事前に確認者が確認した結果に応じて予め算出された資料完成度及び構成評価値と、を比較することで、資料の構成に応じた暗黙的な観点からの不足事項を推定するとともに、前記データ化部による形式的な観点からのデータ化の結果と、予め記憶する、前記チェック事項が必要であるか否か示す情報と、を比較することで、所定の情報が前記確認用資料に記載されているか否かに応じた形式的な観点からの不足事項を推定する推定部と、
を有する
判定装置。
【数2】
【請求項4】
判定装置に、確認用資料を取得し、
取得した前記確認用資料について、事前に学習されたパラメータと取得した前記確認用資料中の文字記載量と図表数とを予め定められた式に代入することで文字記載量と図表数のバランスを示す値である資料完成度を算出するとともに、算出した資料完成度を数３で示す式に代入して資料完成度の関係性に応じた値である構成評価値を算出することにより、資料の構成に応じた暗黙的な観点からのデータ化を行い、かつ、予め定められた判定ワードが前記確認用資料中に存在しているか否か確認して予め定められた各チェック事項を達成しているか否か判断することにより、形式的な観点からのデータ化を行い、
暗黙的な観点からのデータ化の結果と、事前に確認者が確認した結果に応じて予め算出された資料完成度及び構成評価値と、を比較することで、資料の構成に応じた暗黙的な観点からの不足事項を推定するとともに、形式的な観点からのデータ化の結果と、予め記憶する、前記チェック事項が必要であるか否か示す情報と、を比較することで、所定の情報が前記確認用資料に記載されているか否かに応じた形式的な観点からの不足事項を推定する
処理を実現するためのプログラム。
【数3】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定方法、判定装置、記録媒体、学習装置に関する。
【背景技術】
【0002】
客先や上司に対して、資料を作成して提出することがある。このような資料などを作成する際には、客先や上司による確認の後、修正指示などに応じた修正を行う、手戻りと呼ばれるような処理が発生することがあった。
【0003】
上記のような手戻りを抑制するために活用可能な技術の一例としては、例えば、特許文献１がある。特許文献１には、クライアントから投稿されたメッセージを分類、蓄積することによって知識の蓄積を支援する知識蓄積支援システムが記載されている。特許文献１に記載されている知識蓄積支援システムの場合、メッセージを話題ごとに分類、蓄積する。また、メッセージ群を話題毎に統括したまとめ情報の類似度に基づいて、まとめ情報の提供が行われる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００２－３４２３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
手戻りのような処理は、必要な情報が記載されていないなどの形式的な観点からだけではなく、図が少ない、流れが悪い、見た目が好みでないなど、空間的な配置や資料の構成に応じた客先や上司による暗黙的な観点からの評価の結果に応じても生じることがある。しかしながら、特許文献１に記載のような技術の場合、文言的な観点に応じた処理のみを行っており、上記のような暗黙的な観点を考慮していない。そのため、手戻りの発生を抑制するための判定を適切に行うことは出来なかった。
【0006】
そこで、本発明の目的は、手戻りの発生を抑制するための判定を適切に行うことが難しい、という課題を解決する判定方法、判定装置、プログラムを提供することにある。
【課題を解決するための手段】
【0007】
かかる目的を達成するため本発明の一形態である判定方法は、
判定装置が、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成に応じた暗黙的な観点から不足事項を推定する
という構成をとる。
判定装置が、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成に応じた暗黙的な観点から不足事項を推定する
という構成をとる。
【0008】
また、本発明の他の形態である判定装置は、
取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する推定部を有する
という構成をとる。
取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する推定部を有する
という構成をとる。
【0009】
また、本発明の他の形態である記録媒体は、
判定装置に、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
判定装置に、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
処理を実現するためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
【0010】
また、本発明の他の形態である学習装置は、
予め用意された事前確認用資料に対して確認者が確認した結果に基づいて、所定の情報が確認用資料に記載されているか否かに応じた形式的な観点から当該確認用資料に不足している不足事項を推定するための形式的観点データを学習するとともに、資料の構成に応じた暗黙的な観点から当該確認用資料に不足している不足事項を推定するための暗黙的観点データを学習する学習部を有する
という構成をとる。
予め用意された事前確認用資料に対して確認者が確認した結果に基づいて、所定の情報が確認用資料に記載されているか否かに応じた形式的な観点から当該確認用資料に不足している不足事項を推定するための形式的観点データを学習するとともに、資料の構成に応じた暗黙的な観点から当該確認用資料に不足している不足事項を推定するための暗黙的観点データを学習する学習部を有する
という構成をとる。
【発明の効果】
【0011】
本発明は、以上のように構成されることにより、手戻りの発生を抑制するための判定を適切に行うことが難しい、という課題を解決する判定方法、判定装置、記録媒体、学習装置を提供することが可能となる。
【図面の簡単な説明】
【0012】
【図1】判定装置の概要について説明するための図である。
【図2】判定装置の構成例を示すブロック図である。
【図3】チェック事項データの一例を示す図である。
【図4】事前確認用資料・チェック結果データの一例を説明するための図である。
【図5】資料クラスタデータの一例を示す図である。
【図6】暗黙的観点の一例を説明するための図である。
【図7】暗黙的観点データの一例を示す図である。
【図8】推定パラメータの一例を示す図である。
【図9】形式的観点の一例を説明するための図である。
【図10】形式的観点データの一例を示す図である。
【図11】判定ワードデータの一例を示す図である。
【図12】判定装置の動作例を示すフローチャートである。
【図13】判定装置の動作例を示すフローチャートである。
【図14】判定装置の動作例を示すフローチャートである。
【図15】本開示の第２の実施形態における判定装置のハードウェア構成図である。
【図16】判定装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0013】
［第１の実施形態］
本発明の第１の実施形態を図１から図１４までを参照して説明する。図１は、判定装置１００の概要について説明するための図である。図２は、判定装置１００の構成例を示すブロック図である。図３は、チェック事項データ１４１の一例を示す図である。図４は、事前確認用資料・チェック結果データ１４２の一例を説明するための図である。図５は、資料クラスタデータ１４３の一例を示す図である。図６は、暗黙的観点の一例を説明するための図である。図７は、暗黙的観点データ１４４の一例を示す図である。図８は、推定パラメータ１４５の一例を示す図である。図９は、形式的観点の一例を説明するための図である。図１０は、形式的観点データ１４６の一例を示す図である。図１１は、判定ワードデータの一例を示す図である。図１２から図１３は、判定装置１００の動作例を示すフローチャートである。
本発明の第１の実施形態を図１から図１４までを参照して説明する。図１は、判定装置１００の概要について説明するための図である。図２は、判定装置１００の構成例を示すブロック図である。図３は、チェック事項データ１４１の一例を示す図である。図４は、事前確認用資料・チェック結果データ１４２の一例を説明するための図である。図５は、資料クラスタデータ１４３の一例を示す図である。図６は、暗黙的観点の一例を説明するための図である。図７は、暗黙的観点データ１４４の一例を示す図である。図８は、推定パラメータ１４５の一例を示す図である。図９は、形式的観点の一例を説明するための図である。図１０は、形式的観点データ１４６の一例を示す図である。図１１は、判定ワードデータの一例を示す図である。図１２から図１３は、判定装置１００の動作例を示すフローチャートである。
【0014】
本発明の第１の実施形態では、確認用資料に不足している観点（不足事項）を判定して、判定結果を出力する判定装置１００について説明する。図１で示すように、判定装置１００には、判定装置１００を利用する利用者により確認用資料が入力される。すると、判定装置１００は、入力された確認用資料に不足している観点があるか否か判定する。例えば、判定装置１００は、必要な文章、トピックなど、必要な情報が確認用資料に記載されているか否かに応じた、形式的な観点からの判定を行う。また、後述するように、判定装置１００は、形式的な観点からの判定に加えて、文章量と図表のバランスや資料の流れなどの空間的な配置や資料の構成に応じた暗黙的な観点からの判定を行う。そして、判定装置１００は、判定の結果を出力する。例えば、判定装置１００は、判定の結果として、不足している観点を示す情報を出力する。
【0015】
また、本実施形態において説明する判定装置１００は、上述した判定を行う際に必要になるパラメータの学習などを行うことが出来る。例えば、判定装置１００は、客先や上司などの確認者から事前確認用資料に対する確認の結果を受け付ける。そして、判定装置１００は、受け付けた確認の結果に基づいて、上述した判定処理を行う際に必要となるパラメータなどの学習、生成を行う。
【0016】
図２は、判定装置１００の構成例を示している。図２を参照すると、判定装置１００は、主な構成要素として、例えば、操作入力部１１０と、画面表示部１２０と、通信Ｉ／Ｆ部１３０と、記憶部１４０と、演算処理部１６０と、を有している。
【0017】
操作入力部１１０は、キーボードやマウスなどの操作入力装置からなる。操作入力部１１０は、判定装置１００を利用する利用者や確認者などの操作を検出して、演算処理部１６０に出力する。
【0018】
画面表示部１２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部１２０は、演算処理部１６０からの指示に応じて、記憶部１４０に格納された各種情報などを画面表示することが出来る。
【0019】
通信Ｉ／Ｆ部１３０は、データ通信回路からなる。通信Ｉ／Ｆ部１３０は、無線通信などにより接続された外部装置との間でデータ通信を行う。
【0020】
記憶部１４０は、ハードディスクやメモリなどの記憶装置である。記憶部１４０は、演算処理部１６０における各種処理に必要な処理情報やプログラム１５０を記憶する。プログラム１５０は、演算処理部１６０に読み込まれて実行されることにより各種処理部を実現する。プログラム１５０は、通信Ｉ／Ｆ部１３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部１４０に保存されている。記憶部１４０で記憶される主な情報としては、例えば、チェック事項データ１４１、事前確認用資料・チェック結果データ１４２、資料クラスタデータ１４３、暗黙的観点データ１４４、推定パラメータ１４５、形式的観点データ１４６、判定ワードデータ１４７、確認用資料１４８、資料データ１４９などがある。
【0021】
チェック事項データ１４１は、客先や上司などの確認者が予め用意された事前確認用資料を確認する際にチェックする事項であるチェック事項を示している。図３は、チェック事項１４１データの一例を示している。図３を参照すると、チェック事項データ１４１には、Ｑ１、Ｑ２、Ｑ３、……、などのように、複数のチェック事項が含まれている。例えば、チェック事項は、ある、または、ない、などの二択で回答可能な事項である。チェック事項データ１４１は、予め作成され、記憶部１４０に格納されている。チェック事項データ１４１は、確認者が事前確認用資料の確認を行う際などに作成、追加、編集などされても構わない。
【0022】
なお、チェック事項データ１４１は、上述した事前確認用資料や確認用資料１４８などの各資料を複数の集団に分けることで生成するクラスタごとに、チェック事項を有することが出来る。チェック事項データ１４１は、各クラスタに共通のチェック事項を有していても構わない。また、チェック事項データ１４１は、１つの資料全体で共通のチェック事項を有していても構わないし、資料を各ページに分けた際のページごと、資料を見出しや内容ごとにひとまとまりにした際のまとまりごと、などでチェック事項を有していても構わない。
【0023】
事前確認用資料・チェック結果データ１４２は、事前に作成された事前確認用資料と、事前確認用資料に対して、客先や上司などの確認者がチェック事項データ１４１に基づく確認を行った結果と、を示している。事前確認用資料・チェック結果データ１４２に含まれる事前確認用資料は、例えば、予め作成され記憶部１４０に格納されていたり、確認者が操作する外部装置から取得され記憶部１４０に格納されていたりする。また、事前確認用資料・チェック結果データ１４２に含まれるチェック結果は、確認者が操作する外部装置から受信したり、確認者による操作入力部１１０などの操作が行われたりすることで取得され、記憶部１４０に格納される。
【0024】
図４は、事前確認用資料・チェック結果データ１４２に含まれるチェック結果の一例を説明するための図である。図４を参照すると、事前確認用資料・チェック結果データ１４２に含まれるチェック結果は、チェック事項データ１４１に含まれる各チェック事項に対して確認者が確認した結果を示している。換言すると、例えば、事前確認用資料・チェック結果データ１４２に含まれるチェック結果は、チェック事項データ１４１が示す二択のアンケートに対する確認者による確認の結果を示している。
【0025】
また、事前確認用資料・チェック結果データ１４２には、チェック結果を示す情報とともに、資料完成度を示す情報が含まれている。ここで、資料完成度とは、空間的な配置などに応じた資料の構成的な完成度を示す値である。資料完成度は、一例として、０～１までの間のいずれかの数値をとることが出来る。例えば、資料完成度は、０に近いほど完成度が低いことを示しており、１に近いほど完成度が高いことを示している。なお、資料完成度は、チェック事項はすべてあるけど読みにくいなど、確認者の好みなどを反映した値であることが出来る。換言すると、資料完成度は、資料の構成を評価するための指標、確認者の着眼点や嗜好を評価するための指標である、ということが出来る。
【0026】
なお、事前確認用資料・チェック結果データ１４２に含まれる事前確認用資料は、上述したように、例えば予め作成されて記憶部１４０に格納されている。例えば、事前確認用資料は、実際に過去に作成された資料である。事前確認用資料は、例えば、わざと資料完成度が低くなるように作成された資料など、様々なものを含んでいることが望ましい。
【0027】
また、確認者による事前確認用資料の確認は、例えば、事前確認用資料を各ページに分けた際の各ページに対して行われる。そのため、事前確認用資料・チェック結果データ１４２には、ページごとの、各チェック事項に対する確認の結果と資料完成度とが含まれる。なお、確認者による事前確認用資料の確認は、事前確認用資料全体に対して行われても構わないし、事前確認用資料を見出しや内容ごとにひとまとまりにした際のまとまりごとに行われても構わない。その場合、事前確認用資料・チェック結果データ１４２には、確認の対象に応じた、確認の結果と資料完成度とが含まれることになる。
【0028】
資料クラスタデータ１４３は、事前確認用資料を複数のクラスタに分類した際の分類結果を示している。例えば、事前確認用資料は、後述するクラスタ分類部１６２が階層型クラスタリングの群平均法などの文書クラスタリング手法を用いることで、複数のクラスタに分類される。資料クラスタデータ１４３では、クラスタ分類部１６２による分類の結果を示す情報が含まれる。
【0029】
図５は、資料クラスタデータ１４３の一例を示している。図５を参照すると、資料クラスタデータ１４３では、例えば、資料識別情報と、クラスタと、分類度と、が対応付けられている。ここで、資料識別情報は、事前確認用資料を識別するための識別コードなどの情報である。資料識別情報は、事前確認用資料ごとに予め付与されている。また、クラスタは、事前確認用資料が属するクラスタを示している。また、分類度は、属するクラスタの確からしさなどを評価するための指標である。例えば、分類度は、クラスタの中心点などに対する距離的な近さなどに応じた値であり、クラスタ分類部１６２などにより算出される。
【0030】
暗黙的観点データ１４４は、文章量と図表のバランスや資料の流れなどの暗黙的観点に応じた値を示している。暗黙的観点データ１４４が示す値は、後述する判断推定部１６７が不足している観点の推定を行う際などに用いることが出来る。暗黙的観点データ１４４は、暗黙的観点学習部１６３などにより生成され、記憶部１４０に格納される。
【0031】
ここで、暗黙的観点の一例について、図６を参照して説明する。図６は、暗黙的観点の一例を説明するための図である。図６で示すように、暗黙的観点には、空間的要素elsと構成的要素elcのうちの少なくとも１つが含まれる。
【0032】
空間的要素elsは、例えば、文書量と図表のバランスを示す値である。空間的要素elsは、例えば、資料完成度persなどである。一例として、空間的要素elsである資料完成度persは、下記のような式で表すことが出来る。
pers = am + bn + c
ここで、上記数式中の「pers」は資料完成度を示している。資料完成度persは、事前確認用資料・チェック結果データ１４２に含まれる資料完成度と同じものである。また、上記数式中の「m」は、資料１枚中の文字記載量である。「m」は、資料全体中の文字記載量などであっても構わない。また、上記数式中の「n」は、資料１枚中の図表数である。「n」は、資料全体中の図表数などであっても構わない。また、「a」、「b」、「c」は、後述する暗黙的観点学習部１６３による学習の結果によって定まる重みパラメータである。暗黙的観点学習部１６３による学習の詳細については後述する。
pers = am + bn + c
ここで、上記数式中の「pers」は資料完成度を示している。資料完成度persは、事前確認用資料・チェック結果データ１４２に含まれる資料完成度と同じものである。また、上記数式中の「m」は、資料１枚中の文字記載量である。「m」は、資料全体中の文字記載量などであっても構わない。また、上記数式中の「n」は、資料１枚中の図表数である。「n」は、資料全体中の図表数などであっても構わない。また、「a」、「b」、「c」は、後述する暗黙的観点学習部１６３による学習の結果によって定まる重みパラメータである。暗黙的観点学習部１６３による学習の詳細については後述する。
【0033】
構成的要素elcは、例えば、資料の目次構成の評価値（例えば、資料の流れに応じた値）を示している。構成的要素elcは、例えば、構成評価値evaなどである。一例として、構成的要素elcである構成評価値evaは、下記の数１で示すような式で表すことが出来る。
なお、iは資料中のページを指している。また、ｎは、例えば、クラスタ内に含まれる事前確認用資料の数などに応じた値である。数１で示すように、構成評価値evaは、ある事前確認用資料における資料完成度の流れを示す値と、完成度の流れを示す値が平均より高いか否かを示す値と、から求めることが出来る。つまり、構成評価値evaは、事前確認用資料などの資料における各ページ間の資料完成度persの関係性に応じた値である、ということが出来る。例えば、構成評価値evaは、資料完成度persが一定であるほど値がよくなる。
【数1】
【0034】
例えば、暗黙的観点データ１４４は、上述したような空間的要素elsを示す値と、構成的要素elcを示す値と、を有している。図７は、暗黙的観点データ１４４の一例である。図７を参照すると、暗黙的観点データ１４４では、例えば、空間的要素elsを示す値と、構成的要素elcを示す値とを行列形式で表現している。例えば、図７で示す場合、行列の各行はクラスタに対応している。また、図７で示す場合、行列の各列は、空間的要素elsと構成的要素elcとを示している。例えば、図７の２行目は、クラスタ２における空間的要素elsと構成的要素elcとを示している。例えば、図７の２行目は、クラスタ２に属する各事前確認用資料の空間的要素elsを示す値の平均値と、構成的要素elcを示す値の平均値等であっても構わない。
【0035】
なお、暗黙的観点データ１４４は、例えば、ページごとの行列を有している。暗黙的観点データ１４４は、事前確認用資料を見出しや内容ごとにひとまとまりにした際のまとまりごとや事前確認用資料全体についての行列を有していても構わない。
【0036】
また、暗黙的観点データ１４４は、図７で示すように資料完成度persと構成評価値evaとを含んでも構わないし、資料完成度persと構成評価値evaとのうちのいずれか一方のみを含んでも構わない。
【0037】
推定パラメータ１４５は、後述する暗黙的観点学習部１６３による学習の結果によって定まる重みパラメータである、上述した「a」、「b」、「c」の値などを示している。推定パラメータ１４５は、暗黙的観点学習部１６３などにより生成され、記憶部１４０に格納される。
【0038】
図８は、推定パラメータ１４５の一例を示している。図８を参照すると、推定パラメータ１４５は、各クラスタで学習された重みパラメータ「a」、「b」、「c」の値などを示している。例えば、図８の２行目は、クラスタ２の「a」の値が「０．１」、「b」の値が「２」、……、であることを示している。
【0039】
形式的観点データ１４６は、予め定められた情報などが事前確認用資料に記載されているか否かを示すなど形式的観点に応じた値を示している。形式的観点データ１４６が示す値は、後述する判断推定部１６７が不足している観点の推定を行う際などに用いることが出来る。形式的観点データ１４６は、形式的観点学習部１６４などにより生成され、記憶部１４０に格納される。
【0040】
図９は、形式的観点データ１４６の一例である。図９を参照すると、形式的観点データ１４６では、チェック事項１４１が示す各チェック事項があることが必要か否かについて、行列形式で表現している。例えば、図９で示す場合、行列の各行はクラスタに対応している。また、図９で示す場合、行列の各列は、チェック事項１４１が示す各チェック事項に対応している。例えば、図９の２行目は、クラスタ２において各チェック事項（Ｑ１、Ｑ２、……）が必要であるか否かを示している。例えば、図９の場合、行列の要素が「１」である場合、対応するチェック事項が必要であることを示している。また、図９の場合、行列の要素が「０」である場合、対応するチェック事項が不要であることを示している。
【0041】
ここで、行列中の各要素については、例えば、図１０、下記数２で示すような式を用いることで算出することが出来る。
なお、ｘQ1は、チェック事項１４１が示す各チェック事項に対応している。また、slctは、事前確認用資料・チェック結果データ１４２において対応するチェック事項が「ある」ことを示す場合「１」、「ない」ことを示す場合「０」となる。また、clfは、事前確認用資料の分類度の値である。また、perは資料完成度の値である。また、ｎは、例えば、クラスタ内に含まれる事前確認用資料の数などに応じた値である。
【数2】
【0042】
なお、形式的観点データ１４６は、暗黙的観点データ１４４と同様に、ページごとの行列を有することが出来る。形式的観点データ１４６は、事前確認用資料を見出しや内容ごとにひとまとまりにした際のまとまりごとや全体についての行列であっても構わない。
【0043】
判定ワードデータ１４７は、チェック事項１４１が示す各チェック事項において「ある」と判定するための必要となる単語や文章などを示している。判定ワードデータ１４７は、例えば、予め定められている。判定ワードデータ１４７は、事前確認用資料中に存在する単語の頻度などに基づいて、適宜抽出、修正されるよう構成しても構わない。また、判定ワードデータ１４７は、例えば、確認者が事前確認用資料の確認を行う際などに、追加、修正されても構わない。
【0044】
図１１は、判定ワードデータ１４７の一例を示している。図１１を参照すると、判定ワードデータ１４７には、各クラスタ、各チェック事項において「ある」と判定するための単語などを示している。例えば、図１１の２行目では、クラスタ２、チェック事項「Ｑ１」において「ある」と判定するための単語などが「予測、売上、……」、チェック事項「Ｑ２」において「ある」と判定するための単語などが「予算、投資、……」、……、であることを示している。
【0045】
確認用資料１４８は、利用者が入力する確認用資料を示している。確認用資料は、判定装置１００における判定の対象となることになる。
【0046】
資料データ１４９は、確認用資料１４８が示す確認用資料に基づいて、後述する資料データ化部１６６がデータ化した結果を示している。後述するように、資料データ化部１６６は、形式的な観点からのデータ化と暗黙的な観点からのデータ化を行う。そのため、資料データ１４９には、確認用資料を形式的な観点からデータ化した結果と、確認用資料を暗黙的な観点からデータ化した結果と、が含まれる。資料データ化部１６６による処理の詳細は、後述する。
【0047】
演算処理部１６０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有する。演算処理部１６０は、記憶部１４０からプログラム１５０を読み込んで実行することにより、上記ハードウェアとプログラム１５０とを協働させて各種処理部を実現する。演算処理部１６０で実現される主な処理部としては、例えば、データ取得部１６１、クラスタ分類部１６２、暗黙的観点学習部１６３、形式的観点学習部１６４、クラスタ分類部１６５、資料データ化部１６６、判断推定部１６７、出力部１６８などがある。
【0048】
なお、上述した各処理部のうち、クラスタ分類部１６２、暗黙的観点学習部１６３、形式的観点学習部１６４は、事前確認用資料に応じた学習を行う際に用いられる学習部として機能する。また、クラスタ分類部１６５、資料データ化部１６６、判断推定部１６７は、確認用資料に応じた判定を行う際に用いられる判定部として機能する。
【0049】
データ取得部１６１は、外部装置などからデータを取得する。例えば、データ取得部１６１は、確認者が操作する外部装置などから、事前確認用資料に対する確認の結果を示すチェック結果を取得する。すると、データ取得部１６１は、取得したチェック結果を対応する事前確認用資料（または、識別情報など）と対応づけて、事前確認用資料・チェック結果データ１４２として記憶部１４０に格納する。また、データ取得部１６１は、利用者が操作する外部装置などから確認用資料を取得する。すると、データ取得部１６１は、取得したデータを確認用資料１４８として記憶部１４０に格納する。
【0050】
クラスタ分類部１６２は、事前確認用資料のクラスタ分類を行う。例えば、クラスタ分類部１６２は、階層型クラスタリングの群平均法などの文書クラスタリング手法を用いて、事前確認用資料のクラスタ分類を行う。また、クラスタ分類部１６２は、上記のような各文書間の距離に基づくクラスタ分類を行うとともに、クラスタの中心点と文書との間の距離などに基づいて分類度を算出する。そして、クラスタ分類部１６２は、分類した結果と算出した分類度とを、資料クラスタデータ１４３として記憶部１４０に格納する。
【0051】
なお、クラスタ分類部１６２によるクラスタ分類は、例えば、事前確認用資料を記憶部１４０に格納した際などに行うことが出来る。クラスタ分類部１６２によるクラスタ分類は、上記例示した以外の場面で行われても構わない。また、クラスタ分類部１６２は、上述した以外の既知の方法を用いて、クラスタ分類や分類度の算出を行うよう構成して構わない。
【0052】
暗黙的観点学習部１６３は、上述した暗黙的観点からの学習を行う。例えば、暗黙的観点学習部１６３は、事前確認用資料・チェック結果データ１４２に含まれる資料完成度persの平均値をページごとに算出する。また、暗黙的観点学習部１６３は、事前確認用資料・チェック結果データ１４２に含まれる資料完成度persに基づいて、構成評価値evaを算出するとともに、算出した構成評価値evaの平均値を算出する。そして、暗黙的観点学習部１６３は、算出した結果に基づいて、暗黙的観点データ１４４の各要素を生成する。なお、暗黙的観点学習部１６３は、平均値以外の統計処理により暗黙的観点データ１４４の各要素を生成しても構わない。
【0053】
暗黙的観点学習部１６３は、上述した暗黙的観点データ１４４の生成処理をクラスタごとに行う。暗黙的観点学習部１６３が各クラスタに対応する暗黙的観点データ１４４の各要素の生成処理を行うことで、図７で示すような行列が生成される。
【0054】
また、暗黙的観点学習部１６３は、クラスタごと、ページごとに、重みパラメータである、上述した「a」、「b」、「c」の値を学習する。例えば、暗黙的観点学習部１６３は、事前確認用資料に含まれる文字記載量や図表数と、事前確認用資料・チェック結果データ１４２に含まれる資料完成度persとに基づいて、各クラスタのページごとに重回帰分析を行うことで、重みパラメータである、「a」、「b」、「c」の値をそれぞれ算出、学習する。そして、暗黙的観点学習部１６３は、学習した結果を、推定パラメータ１４５として記憶部１４０に格納する。
【0055】
形式的観点学習部１６４は、上述した形式的観点からの学習を行う。例えば、形式的観点学習部１６４は、事前確認用資料・チェック結果データ１４２に含まれるチェック結果（確認者によりチェック事項があると判断されているか否か）などと、上述した数２で示す式とに基づいて、ページごとに、各チェック事項が必要であるか否か算出する。換言すると、形式的観点学習部１６４は、上述した数２で示す式に、チェック結果が示す二択の回答結果、資料完成度、資料クラスタデータ１４３が示す分類度、などを代入することで、各チェック事項が必要であるか否か算出する。そして、形式的観点学習部１６４は、算出した結果に基づいて、形式的観点データ１４６の各要素を生成する。
【0056】
形式的観点学習部１６４は、上述した形式的観点データ１４６の生成処理をクラスタごとに行う。形式的観点学習部１６４が各クラスタに対応する形式的観点データ１４６の各要素の生成処理を行うことで、図９で示すような行列が生成される。
【0057】
また、形式的観点学習部１６４は、事前確認用資料・チェック結果データ１４２が示すチェック結果と、事前確認用資料と、などに基づいて、判定ワードデータ１４７の追加・修正などを行うことが出来る。例えば、形式的観点学習部１６４は、事前確認用資料中の単語の頻度などに基づいて、判定ワードデータ１４７の追加・修正などを行うことが出来る。形式的観点学習部１６４による判定ワードデータ１４７の追加・修正は、既知の技術を用いて実現して構わない。
【0058】
クラスタ分類部１６５は、利用者により入力された確認用資料（確認用資料１４８として記憶部１４０に格納された確認用資料）のクラスタ分類を行う。例えば、クラスタ分類部１６５は、クラスタ分類部１６２と同様に、階層型クラスタリングの群平均法などの文書クラスタリング手法を用いることで、確認用資料が資料クラスタデータ１４３に含まれる各クラスタのうちのいずれに属するか判断する。
【0059】
資料データ化部１６６は、クラスタ分類部１６５による分類の結果を用いて、確認用資料のデータ化を行う。本実施形態の場合、資料データ化部１６６は、形式的な観点からのデータ化と暗黙的な観点からのデータ化とを行う。
【0060】
例えば、資料データ化部１６６は、暗黙的な観点からのデータ化として、資料完成度persと構成評価値evaとの算出を行う。例えば、資料データ化部１６６は、推定パラメータ１４５を参照して、クラスタ分類部１６５による分類の結果に対応するクラスタの重みパラメータ（つまり、「a」、「b」、「c」）を確認用資料の各ページ（または、各まとまりなど）について取得する。そして、資料データ化部１６６は、取得した重みパラメータと、確認用資料中の文字記載量や図表数と、を資料完成度pers = am + bn + cに代入することで、資料完成度persを算出する。また、資料データ化部１６６は、算出した資料完成度persを上述した数１に代入することで、各ページについて、構成評価値evaを算出する。
【0061】
また、資料データ化部１６６は、確認用資料の各ページについて、判定ワードデータ１４７が示す単語などが確認用資料中に存在するか否か確認することで、形式的な観点からのデータ化を行う。例えば、資料データ化部１６６は、判定ワードデータ１４７を参照して、クラスタ分類部１６５による分類の結果に対応する、各チェック事項において「ある」と判定するための単語などを取得する。そして、チェック事項において「ある」と判定するための単語などが確認用資料中に存在する場合、資料データ化部１６６は、当該チェック事項を達成しているとして「１」と判断する。一方、チェック事項において「ある」と判定するための単語などが確認用資料中に存在しない場合、資料データ化部１６６は、当該チェック事項を達成していないとして「０」と判断する。例えば、資料データ化部１６６は、上記のような処理を各ページ、各チェック事項に対して行うことで、形式的な観点からのデータ化を行う。
【0062】
判断推定部１６７は、資料データ化部１６６がデータ化した結果と、暗黙的観点データ１４４や形式的観点データ１４６などとを比較することで、確認用資料に不足している観点を推定する。
【0063】
例えば、判断推定部１６７は、暗黙的観点データ１４４や形式的観点データ１４６を参照して、クラスタ分類部１６５による分類の結果に対応する、行列中の各要素を特定する。そして、判断推定部１６７は、特定した結果と、資料データ化部１６６がデータ化した結果と、の比較を行うことで、確認用資料に不足している観点を推定する。例えば、形式的観点データ１４６中において「１」となっているチェック事項について、資料データ化部１６６が形式的な観点からデータ化した結果では「０」となっている場合、判断推定部１６７は、当該チェック事項が不足していると判断する。また、例えば、暗黙的観点データ１４４中の資料完成度persや構成評価値evaを、資料データ化部１６６が暗黙的な観点からデータ化した結果が下回る場合、判断推定部１６７は、下回る資料完成度persや構成評価値evaが不足していると判断する。例えば、以上のように、判断推定部１６７は、資料データ化部１６６がデータ化した結果と、暗黙的観点データ１４４や形式的観点データ１４６などとを比較することで、確認用資料に不足している形式的な観点や暗黙的な観点を推定する。
【0064】
なお、判断推定部１６７は、暗黙的観点データ１４４中の資料完成度persや構成評価値evaを所定の基準に従って調整したうえで、上述した比較を行うよう構成しても構わない。例えば、納期に比較的余裕がある場面と短納期の場面とでは、暗黙的な観点からの基準が異なることがある。そこで、判断推定部１６７は、例えば、納期までの期限が所定値を下回るなど所定の条件を満たす場合、資料完成度persや構成評価値evaに対して０．８をかけるなど資料完成度persや構成評価値evaを下げたうえで、上述した比較を行うことが出来る。また、判断推定部１６７は、例えば、納期までの期限が所定値を上回るなど所定の条件を満たす場合、資料完成度persや構成評価値evaに対して１．２をかけるなど資料完成度persや構成評価値evaを上げたうえで、上述した比較を行っても構わない。判断推定部１６７は、上記例示した以外の調整を行っても構わない。
【0065】
出力部１６８は、判断推定部１６７による推定の結果に応じた出力を行う。例えば、出力部１６８は、推定の結果として特定した、確認用資料に不足している形式的な観点や暗黙的な観点を出力する。例えば、出力部１６８は、確認用資料に不足している形式的な観点や暗黙的な観点を、画面表示部１２０に画面表示したり、利用者が有する外部装置に対して送信したりする。出力部１６８は、不足していない観点など、上記例示したもの以外も出力しても構わない。
【0066】
以上が、判定装置１００の構成例である。続いて、図１２から図１４までを参照して、判定装置１００の動作例について説明する。まず、図１２を参照して、判定装置１００が事前確認用資料を受信した際の動作例について説明する。
【0067】
図１２を参照すると、判定装置１００は、通信Ｉ／Ｆ部１３０などを介して、外部装置などから事前確認用資料を受信する（ステップＳ１０１）。すると、判定装置１００は、受信した事前確認用資料を、事前確認用資料・チェック結果データ１４２として記憶部１４０に格納する。
【0068】
クラスタ分類部１６２は、事前確認用資料のクラスタ分類を行う（ステップＳ１０２）。例えば、クラスタ分類部１６２は、階層型クラスタリングの群平均法などの文書クラスタリング手法を用いて、事前確認用資料のクラスタ分類を行う。また、クラスタ分類部１６２は、上記のような各文書間の距離に基づくクラスタ分類を行うとともに、クラスタの中心点と文書との間の距離などに基づいて分類度を算出する。そして、クラスタ分類部１６２は、分類した結果と算出した分類度とを、資料クラスタデータ１４３として記憶部１４０に格納する。
【0069】
以上が、事前確認用資料を受信した際の動作例である。なお、クラスタ分類部１６２によるクラスタ分類は、上記例示した以外のタイミングで行われても構わない。続いて、図１３を参照して、確認者による確認の結果に応じた学習を行う際の動作例について説明する。
【0070】
図１３を参照すると、暗黙的観点学習部１６３は、暗黙的観点からの学習を行う（ステップＳ２０１）。例えば、暗黙的観点学習部１６３は、クラスタ内の各事前確認用資料に対するチェック結果に含まれる資料完成度persに対して統計処理を行ったり、資料完成度persに基づいて算出する構成評価値evaに対して統計処理を行ったりすることにより、暗黙的観点データ１４４の各要素を生成する。また、暗黙的観点学習部１６３は、上記暗黙的観点データ１４４の各要素の生成処理をクラスタごとに行う。これにより、暗黙的観点学習部１６３は、行列で表される暗黙的観点データ１４４を生成する。また、暗黙的観点学習部１６３は、クラスタごと、ページごとに、重みパラメータである、「a」、「b」、「c」の値を学習する。例えば、暗黙的観点学習部１６３は、事前確認用資料に含まれる文字記載量や図表数と、事前確認用資料・チェック結果データ１４２に含まれる資料完成度persとに基づいて、各クラスタのページごとに重回帰分析を行うことで、重みパラメータである、「a」、「b」、「c」の値をそれぞれ算出、学習する。
【0071】
また、形式的観点学習部１６４は、形式的観点からの学習を行う（ステップＳ２０２）。例えば、形式的観点学習部１６４は、上述した数２で示す式に、チェック結果が示す二択の回答結果、資料完成度、資料クラスタデータ１４３が示す分類度、などを代入することで、各チェック事項が必要であるか否か算出する。そして、形式的観点学習部１６４は、算出した結果に基づいて、形式的観点データ１４６の各要素を生成する。また、形式的観点学習部１６４は、上記形式的観点データ１４６の各要素の生成処理をクラスタごとに行う。これにより、形式的観点学習部１６４は、行列で表される形式的観点データ１４６を生成する。
【0072】
なお、形式的観点学習部１６４は、事前確認用資料・チェック結果データ１４２が示すチェック結果と、事前確認用資料と、などに基づいて、判定ワードデータ１４７の追加・修正などを行っても構わない。
【0073】
以上が、確認者による確認の結果に応じた学習を行う際の動作例である。続いて、図１４を参照して、利用者が入力した確認用資料に対する判定を判定装置１００が行う際の動作例について説明する。
【0074】
図１５を参照すると、利用者は、通信Ｉ／Ｆ部１３０などを介して、判定装置１００に対して確認用資料を入力する（ステップＳ３０１）。
【0075】
クラスタ分類部１６５は、利用者により入力された確認用資料のクラスタ分類を行う（ステップＳ３０２）。例えば、クラスタ分類部１６５は、事前確認用資料のクラスタ分類を行う場合と同様に、階層型クラスタリングの群平均法などの文書クラスタリング手法を用いることで、確認用資料が資料クラスタデータ１４３に含まれる各クラスタのうちのいずれに属するか判断する。
【0076】
資料データ化部１６６は、クラスタ分類部１６５による分類の結果を用いて、確認用資料のデータ化を行う（ステップＳ３０３）。本実施形態の場合、資料データ化部１６６は、形式的な観点からのデータ化と暗黙的な観点からのデータ化とを行う。例えば、資料データ化部１６６は、推定パラメータ１４５を用いて、暗黙的な観点からのデータ化を行う。また、資料データ化部１６６は、判定ワードデータ１４７を用いて、形式的な観点からのデータ化を行う。
【0077】
判断推定部１６７は、資料データ化部１６６がデータ化した結果と、暗黙的観点データ１４４や形式的観点データ１４６などの行列中の各要素とを比較することで、確認用資料に不足している観点を推定する（ステップＳ３０４）。
【0078】
出力部１６８は、判断推定部１６７による推定の結果に応じた出力を行う（ステップＳ３０５）。例えば、出力部１６８は、推定の結果として特定した、確認用資料に不足している形式的な観点や暗黙的な観点を出力する。
【0079】
以上が、確認用資料に対する判定を判定装置１００が行う際の動作例である。
【0080】
このように、判定装置１００は、クラスタ分類部１６５と資料データ化部１６６と判断推定部１６７とを有している。このような構成によると、資料データ化部１６６は、クラスタ分類部１６５による分類の結果を用いて、暗黙的な観点からのデータ化を行うとともに、形式的な観点からのデータ化を行うことが出来る。その結果、判断推定部１６７は、形式的な観点から確認用資料に不足している観点を推定するとともに、暗黙的な観点から確認用資料に不足している観点を推定することが出来る。このように、形式的な観点のみならず暗黙的な観点も考慮することにより、手戻りの発生を抑制するための判定をより適切に行うことが可能となる。
【0081】
また、判定装置１００は、暗黙的観点学習部１６３と形式的観点学習部１６４とを有している。このように、暗黙的観点学習部１６３と形式的観点学習部１６４とを有することで、資料データ化部１６６と判断推定部１６７となどを用いた暗黙的な観点から不足している観点を推定する際に必要なパラメータなどを事前に学習することが可能となる。その結果、上述したような処理を行うことが可能となり、手戻りの発生を抑制するための判定をより適切に行うことが可能となる。
【0082】
なお、本実施形態では、暗黙的観点データ１４４や形式的観点データ１４６を行列形式で表現する場合について説明した。しかしながら、暗黙的観点データ１４４や形式的観点データ１４６は、表形式など行列以外の形式で表現されても構わない。
【0083】
また、本実施形態においては、１台の情報処理装置により判定装置１００としての機能を実現する場合について例示した。しかしながら、判定装置１００としての機能は、例えば、ネットワークを介して接続された複数台の情報処理装置により実現されても構わない。
【0084】
【0085】
図１５は、判定装置２００のハードウェア構成例を示している。図１５を参照すると、判定装置２００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３（記憶装置）
・ＲＡＭ２０３にロードされるプログラム群２０４
・プログラム群２０４を格納する記憶装置２０５
・情報処理装置外部の記録媒体２１０の読み書きを行うドライブ装置２０６
・情報処理装置外部の通信ネットワーク２１１と接続する通信インタフェース２０７
・データの入出力を行う入出力インタフェース２０８
・各構成要素を接続するバス２０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３（記憶装置）
・ＲＡＭ２０３にロードされるプログラム群２０４
・プログラム群２０４を格納する記憶装置２０５
・情報処理装置外部の記録媒体２１０の読み書きを行うドライブ装置２０６
・情報処理装置外部の通信ネットワーク２１１と接続する通信インタフェース２０７
・データの入出力を行う入出力インタフェース２０８
・各構成要素を接続するバス２０９
【0086】
また、判定装置２００は、プログラム群２０４をＣＰＵ２０１が取得して当該ＣＰＵ２０１が実行することで、図１６に示す推定部２２１としての機能を実現することが出来る。なお、プログラム群２０４は、例えば、予め記憶装置２０５やＲＯＭ２０２に格納されており、必要に応じてＣＰＵ２０１がＲＡＭ２０３などにロードして実行する。また、プログラム群２０４は、通信ネットワーク２１１を介してＣＰＵ２０１に供給されてもよいし、予め記録媒体２１０に格納されており、ドライブ装置２０６が該プログラムを読み出してＣＰＵ２０１に供給してもよい。
【0087】
なお、図１５は、判定装置２００のハードウェア構成例を示している。判定装置２００のハードウェア構成は上述した場合に限定されない。例えば、判定装置２００は、ドライブ装置２０６を有さないなど、上述した構成の一部から構成されてもよい。
【0088】
推定部２２１は、外部装置などから取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定する。また、推定部２２１は、確認用資料について、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する。
【0089】
このように、判定装置２００は、推定部２２１を有している。このような構成によると、推定部２２１は、形式的な観点から不足事項を推定するとともに、暗黙的な観点から不足事項を推定することが出来る。その結果、手戻りの発生を抑制するための判定をより適切に行うことが可能となる。
【0090】
なお、上述した判定装置２００は、当該判定装置２００に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、判定装置１００に、確認用資料を取得し、取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する、処理を実現するためのプログラムである。
【0091】
また、上述した判定装置２００による実現される判定方法は、判定装置１００が、確認用資料を取得し、取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成に応じた暗黙的な観点から不足事項を推定する、という方法である。
【0092】
上述した構成を有する、プログラム（または記録媒体）、または、判定方法、の発明であっても、上述した判定装置２００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。
【0093】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定方法などの概略を説明する。但し、本発明は、以下の構成に限定されない
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における判定方法などの概略を説明する。但し、本発明は、以下の構成に限定されない
【0094】
（付記１）
判定装置が、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成に応じた暗黙的な観点から不足事項を推定する
判定方法。
（付記２）
付記１に記載の判定装置であって、
事前に学習されたパラメータを用いて、前記確認用資料から、文字記載量と図表数のバランスを示す値である資料完成度を算出し、算出した結果に基づいて、暗黙的な観点から不足事項を推定する
判定方法。
（付記３）
付記２に記載の判定装置であって、
前記資料完成度は、前記パラメータと、前記確認用資料中の文字記載量と図表数と、を用いて算出する
判定方法。
（付記４）
付記２または付記３に記載の判定装置であって、
算出した前記資料完成度と、事前に確認者が確認した結果に応じた値と、を比較することで、暗黙的な観点から不足事項を推定する
判定方法。
（付記５）
付記２から付記４までのいずれか１項に記載の判定装置であって、
算出した前記資料完成度に基づいて、資料の流れに応じた値である構成評価値を算出し、算出した結果に基づいて、暗黙的な観点から不足事項を推定する
判定方法。
（付記６）
付記５に記載の判定装置であって、
算出した前記構成評価値と、事前に確認者が確認した結果に応じた値と、を比較することで、暗黙的な観点から不足事項を推定する
判定方法。
（付記７）
付記１から付記６までのいずれか１項に記載の判定方法であって、
予め定められた判定ワードが前記確認用資料中に存在しているか否か確認することにより、形式的な観点から不足事項を推定する
判定方法。
（付記８）
付記１から付記７までのいずれか１項に記載の判定方法であって、
前記確認用資料が属するクラスタを判断し、判断した結果を用いて、形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
判定方法。
（付記９）
取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する推定部を有する
判定装置。
（付記１０）
判定装置に、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
処理を実現するためのプログラム。
（付記１１）
予め用意された事前確認用資料に対して確認者が確認した結果に基づいて、所定の情報が確認用資料に記載されているか否かに応じた形式的な観点から当該確認用資料に不足している不足事項を推定するための形式的観点データを学習するとともに、資料の構成に応じた暗黙的な観点から当該確認用資料に不足している不足事項を推定するための暗黙的観点データを学習する学習部を有する
学習装置。
判定装置が、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成に応じた暗黙的な観点から不足事項を推定する
判定方法。
（付記２）
付記１に記載の判定装置であって、
事前に学習されたパラメータを用いて、前記確認用資料から、文字記載量と図表数のバランスを示す値である資料完成度を算出し、算出した結果に基づいて、暗黙的な観点から不足事項を推定する
判定方法。
（付記３）
付記２に記載の判定装置であって、
前記資料完成度は、前記パラメータと、前記確認用資料中の文字記載量と図表数と、を用いて算出する
判定方法。
（付記４）
付記２または付記３に記載の判定装置であって、
算出した前記資料完成度と、事前に確認者が確認した結果に応じた値と、を比較することで、暗黙的な観点から不足事項を推定する
判定方法。
（付記５）
付記２から付記４までのいずれか１項に記載の判定装置であって、
算出した前記資料完成度に基づいて、資料の流れに応じた値である構成評価値を算出し、算出した結果に基づいて、暗黙的な観点から不足事項を推定する
判定方法。
（付記６）
付記５に記載の判定装置であって、
算出した前記構成評価値と、事前に確認者が確認した結果に応じた値と、を比較することで、暗黙的な観点から不足事項を推定する
判定方法。
（付記７）
付記１から付記６までのいずれか１項に記載の判定方法であって、
予め定められた判定ワードが前記確認用資料中に存在しているか否か確認することにより、形式的な観点から不足事項を推定する
判定方法。
（付記８）
付記１から付記７までのいずれか１項に記載の判定方法であって、
前記確認用資料が属するクラスタを判断し、判断した結果を用いて、形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
判定方法。
（付記９）
取得した確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する推定部を有する
判定装置。
（付記１０）
判定装置に、
確認用資料を取得し、
取得した前記確認用資料について、所定の情報が当該確認用資料に記載されているか否かに応じた形式的な観点から不足事項を推定するとともに、資料の構成を評価するための指標である暗黙的な観点から不足事項を推定する
処理を実現するためのプログラム。
（付記１１）
予め用意された事前確認用資料に対して確認者が確認した結果に基づいて、所定の情報が確認用資料に記載されているか否かに応じた形式的な観点から当該確認用資料に不足している不足事項を推定するための形式的観点データを学習するとともに、資料の構成に応じた暗黙的な観点から当該確認用資料に不足している不足事項を推定するための暗黙的観点データを学習する学習部を有する
学習装置。
【0095】
なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
【0096】
以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。
【0097】
なお、本発明は、日本国にて２０２０年６月２４日に特許出願された特願２０２０－１０９０９１の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【0098】
１００ 判定装置
１１０ 操作入力部
１２０ 画面表示部
１３０ 通信Ｉ／Ｆ部
１４０ 記憶部
１４１ チェック事項データ
１４２ 事前確認用資料・チェック結果データ
１４３ 資料クラスタデータ
１４４ 暗黙的観点データ
１４５ 推定パラメータ
１４６ 形式的観点データ
１４７ 判定ワードデータ
１４８ 確認用資料
１４９ 資料データ
１５０ プログラム
１６０ 演算処理部
１６１ データ取得部
１６２ クラスタ分類部
１６３ 暗黙的観点学習部
１６４ 形式的観点学習部
１６５ クラスタ分類部
１６６ 資料データ化部
１６７ 判断推定部
１６８ 出力部
２００ 判定装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ プログラム群
２０５ 記憶装置
２０６ ドライブ装置
２０７ 通信インタフェース
２０８ 入出力インタフェース
２０９ バス
２１０ 記録媒体
２１１ 通信ネットワーク
２２１ 推定部
１１０ 操作入力部
１２０ 画面表示部
１３０ 通信Ｉ／Ｆ部
１４０ 記憶部
１４１ チェック事項データ
１４２ 事前確認用資料・チェック結果データ
１４３ 資料クラスタデータ
１４４ 暗黙的観点データ
１４５ 推定パラメータ
１４６ 形式的観点データ
１４７ 判定ワードデータ
１４８ 確認用資料
１４９ 資料データ
１５０ プログラム
１６０ 演算処理部
１６１ データ取得部
１６２ クラスタ分類部
１６３ 暗黙的観点学習部
１６４ 形式的観点学習部
１６５ クラスタ分類部
１６６ 資料データ化部
１６７ 判断推定部
１６８ 出力部
２００ 判定装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ プログラム群
２０５ 記憶装置
２０６ ドライブ装置
２０７ 通信インタフェース
２０８ 入出力インタフェース
２０９ バス
２１０ 記録媒体
２１１ 通信ネットワーク
２２１ 推定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】