特許 7404679 判定処理プログラム、判定処理方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】判定処理プログラム、判定処理方法および情報処理装置

(51)【国際特許分類】

   G06F 16/907 20190101AFI20231219BHJP

【ＦＩ】

G06F16/907

【請求項の数】 5

(21)【出願番号】P 2019129181

(22)【出願日】2019-07-11

(65)【公開番号】P2021015402

(43)【公開日】2021-02-12

【審査請求日】2022-04-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】阿部 修也

【審査官】酒井 恭信

(56)【参考文献】

【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）

【文献】特開２００６－１８９９１５（ＪＰ，Ａ）

【文献】特開２０１５－１４８９８１（ＪＰ，Ａ）

【文献】小山 聡，馬場 雪乃，櫻井 祐子，鹿島 久嗣，クラウドソーシングにおけるワーカーの確信度を用いた高精度なラベル統合，2013年度人工知能学会全国大会（第27回）論文集，一般社団法人 人工知能学会，2013年06月07日，pp. 1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

(57)【特許請求の範囲】

【請求項1】

所定の事象について判定した複数人の、判定値と当該判定値に対する自己評価の確信度とを含む回答結果を入力し、前記所定の事象について、前記回答結果の前記複数人の各々の前記判定値と当該判定値に対する自己評価の確信度とに基づいて、第１の判定値である確率および第２の判定値である確率を計算して、前記第１の判定値である確率および前記第２の判定値である確率を含む判定結果である第１の判定結果を取得し、
前記所定の事象について、前記回答結果に基づいて、前記複数人のうちの、前記回答結果に含まれる自己評価の確信度が所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出し、
前記所定の事象について、前記第１の判定結果および前記第２の判定結果のうち、前記第１の判定値である確率および前記第２の判定値である確率の間の差が大きい方の判定結果を出力する、
処理をコンピュータに実行させることを特徴とする判定処理プログラム。

【請求項2】

前記所定の事象と類似する事象について、前記第１の判定結果を取得し、前記所定の事象において回答を除外した人と同じ人の回答を除外した場合の前記第２の判定結果を算出する処理を更にコンピュータに実行させ、
前記出力する処理は、前記類似する事象について、取得した前記第１の判定結果と、算出した前記第２の判定結果のうち、前記第１の判定値である確率および前記第２の判定値である確率の間の差が大きい方の判定結果を出力する、
ことを特徴とする請求項１に記載の判定処理プログラム。

【請求項3】

前記回答結果は、所定の物質または態様と、当該物質または態様との関連についての、複数人の判定値と当該判定値に対する各人の自己評価の確信度である、
ことを特徴とする請求項１または２に記載の判定処理プログラム。

【請求項4】

所定の事象について判定した複数人の、判定値と当該判定値に対する自己評価の確信度とを含む回答結果を入力し、前記所定の事象について、前記回答結果の前記複数人の各々の前記判定値と当該判定値に対する自己評価の確信度とに基づいて、第１の判定値である確率および第２の判定値である確率を計算して、前記第１の判定値である確率および前記第２の判定値である確率を含む判定結果である第１の判定結果を取得し、
前記所定の事象について、前記回答結果に基づいて、前記複数人のうちの、前記回答結果に含まれる自己評価の確信度が所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出し、
前記所定の事象について、前記第１の判定結果および前記第２の判定結果のうち、前記第１の判定値である確率および前記第２の判定値である確率の間の差が大きい方の判定結果を出力する、
処理をコンピュータが実行することを特徴とする判定処理方法。

【請求項5】

所定の事象について判定した複数人の、判定値と当該判定値に対する自己評価の確信度とを含む回答結果を入力し、前記所定の事象について、前記回答結果の前記複数人の各々の前記判定値と当該判定値に対する自己評価の確信度とに基づいて、第１の判定値である確率および第２の判定値である確率を計算して、前記第１の判定値である確率および前記第２の判定値である確率を含む判定結果である第１の判定結果を取得する取得部と、
前記所定の事象について、前記回答結果に基づいて、前記複数人のうちの、前記回答結果に含まれる自己評価の確信度が所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出する算出部と、
前記所定の事象について、前記第１の判定結果および前記第２の判定結果のうち、前記第１の判定値である確率および前記第２の判定値である確率の間の差が大きい方の判定結果を出力する出力部と、
を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、判定処理プログラム、判定処理方法および情報処理装置に関する。

【背景技術】

【0002】

従来、例えばヘルスケアの分野などは、キュレーターが論文を読み、論文に記述されている事象（以下、知識）をデータベースに登録する作業、キュレーションが行われている。このキュレーションでは、キュレーターの誤りに対処するため、複数のキュレーターが同じ知識について判断した結果から真と判定した知識をデータベースに登録している。

【0003】

このような複数のキュレーターの判断結果から真とする知識を判定する従来技術としては、複数のワーカーが同一データに付与したラベルから真のラベルを推定する際に、ワーカーが自己申告した確信度（confidence）を利用する方法が知られている。

【先行技術文献】

【非特許文献】

【0004】

【文献】小山 聡, 馬場 雪乃, 櫻井 祐子, 鹿島 久嗣，クラウドソーシングにおけるワーカーの確信度を用いた高精度なラベル統合，The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

【発明の概要】

【発明が解決しようとする課題】

【0005】

ある知識に対するキュレーターの判断や、確信度の正しさは、判断対象の知識についてキュレーターが詳しいか否かに影響される。このため、上記の従来技術では、例えばキュレーションの対象となる知識について、キュレーターが詳しいものと、詳しくないものとが混在していると、真の知識として適正に判定することが困難な場合があるという問題がある。

【0006】

１つの側面では、キュレーションにおける適正な知識の登録を支援することができる判定処理プログラム、判定処理方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

第１の案では、判定処理プログラムは、取得する処理と、算出する処理と、出力する処理とをコンピュータに実行させる。取得する処理は、所定の事象について判定した複数人の回答結果に基づき、事象に関する判定が複数の判定値のいずれに対応するかを、複数の判定値それぞれに対する確度と対応付けて示す判定結果である第１の判定結果を取得する。算出する処理は、複数人のうちの所定の条件を満たす人の回答を除外した場合の判定結果である第２の判定結果を算出する。出力する処理は、第１の判定結果と、第２の判定結果のうち、複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する。

【発明の効果】

【0008】

本発明の１実施態様によれば、キュレーションにおける適正な知識の登録を支援することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。

【図2】図２は、キュレーションする知識の一例を示す説明図である。

【図3】図３は、実施形態にかかる情報処理装置の動作例を示すフローチャートである。

【図4】図４は、判定推定の処理例を示すフローチャートである。

【図5】図５は、判断の削除の処理例を示すフローチャートである。

【図6】図６は、所定の知識における判断削除の処理例を示すフローチャートである。

【図7】図７は、類似知識における判断削除の処理例を示すフローチャートである。

【図8】図８は、類似知識における判断削除の処理例を示すフローチャートである。

【図9】図９は、判定処理プログラムを実行するコンピュータの一例を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、実施形態にかかる判定処理プログラム、判定処理方法および情報処理装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する判定処理プログラム、判定処理方法および情報処理装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。

【0011】

［実施形態について］
図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図１に示すように、情報処理装置１は、通信部１０、記憶部２０および制御部３０を有する、例えばＰＣ（パーソナルコンピュータ）などである。

【0012】

通信部１０は、有線又は無線を問わず接続する外部機器との通信を制御する。通信部１０は、例えばＮＩＣ（Network Interface Card）等の通信インタフェース等である。

【0013】

記憶部２０は、例えば制御部３０が実行するプログラム、判断結果情報２１、設定情報２２および推定結果情報２３などの各種データを記憶する。記憶部２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0014】

判断結果情報２１は、論文を読んだ複数のキュレーターそれぞれがデータベース（ＤＢ）に登録する事象（知識）について判定した回答結果である。すなわち、判断結果情報２１は、所定の事象について判定した複数人の回答結果の一例である。

【0015】

具体的には、判断結果情報２１は、論文に記述された各知識について、キュレーターそれぞれがＤＢに登録する知識であるか、または、登録しない知識であるかを判断したものである。この判断には、キューレーターが自己申告した判断に対する確信度が含まれる。一例として、確信度は、判断に対する確信が最も高い場合に１とし、最も低い場合に０とする０～１までの数値であってもよい。

【0016】

なお、本実施形態において判断結果情報２１に示された回答結果は、ＤＢへ登録する知識であるか（○）、ＤＢへ登録しない知識であるか（×）の二択となっているが、二択に限定するものではない。例えば、論文に記述された各知識について、重要度のランク付け（例えば５段階）を判断したものであってもよい。

【0017】

図２は、キュレーションする知識の一例を示す説明図である。具体的には、図２は、自然言語処理（ＮＬＰ）で遺伝子変異と病気に関する知識（事象）２を論文から抽出した結果を例示している。図２に示すように、論文には、所定の物質（例えば、遺伝子名、遺伝子変異）または態様（例えば疾患、病気）と、その物質または態様との関連を示す知識（事象）２が含まれる。図示例では、遺伝子名、遺伝子変異、薬、疾患といった固有表現の間の関係について、固有表現をハイライト表示し、固有表現の間の関係を矢印で示している。

【0018】

論文を読んだキュレーターは、ＮＬＰなどで抽出した知識（事象）２について、ＤＢへの登録の有無を判断して回答する。例えば、キュレーターは、「ある遺伝子変異Ａがある病気Ｂの原因になる」などの知識（事象）２について、ＤＢへ登録する知識であるか（○）、ＤＢへ登録しない知識であるか（×）の判断と、判断に対する確信度を回答する。

【0019】

図１に戻り、設定情報２２は、制御部３０の処理（詳細は後述する）に関連する各種の設定値（例えばパラメータ、閾値など）などである。

【0020】

推定結果情報２３は、判断結果情報２１に基づき、判断結果情報２１に含まれる各知識（事象）２について制御部３０の処理により推定した結果である。具体的には、推定結果情報２３は、判断結果情報２１に含まれる各知識（事象）２に関する判断が、複数の判定値（例えばＤＢへ登録する知識（○）、ＤＢへ登録しない知識（×））のいずれに対応するかの確度を推定したものである。

【0021】

制御部３０は、情報処理装置１の全体的な処理を司る処理部である。制御部３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

【0022】

制御部３０は、入力部３１、取得部３２、算出部３３および出力部３４を有する。なお、入力部３１、取得部３２、算出部３３および出力部３４は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0023】

入力部３１は、通信部１０などを介して入力される各種データの入力処理を行う処理部である。例えば、入力部３１は、各知識（事象）２におけるキュレーターそれぞれの判断と、判断に対する確信度の入力を受け付けて、判断結果情報２１として記憶部２０に格納する。また、入力部３１は、制御部３０の処理における各種の設定値（例えばパラメータ、閾値など）の入力を受け付けて、設定情報２２として記憶部２０に格納する。

【0024】

取得部３２は、判断結果情報２１に基づき、判断結果情報２１の知識（事象）２に関する判定が複数の判定値のいずれに対応するかを、複数の判定値それぞれに対する確度と対応付けて示す判定結果を取得する処理部である。

【0025】

具体的には、取得部３２は、自己評価による確信度をもとに、複数のキュレーターそれぞれが判断した知識を統合する非特許文献１に記載された手法を用いて、判断結果情報２１の各知識（事象）２に関する判定が複数の判定値のいずれに対応するかを確度と対応付けて推定する。次いで、取得部３２は、判断結果情報２１の各知識（事象）２における判定結果（推定結果）を推定結果情報２３として記憶部２０に格納する。

【0026】

例えば、非特許文献１に記載された手法では、キュレーターの自己評価にはばらつきがあり、自信過剰なキュレーターや自信過小なキュレーターが存在している点に注目している。具体的には、キュレーターの自信の度合いを考慮した確信度のモデルを作成する。次いで、作成したモデルを用いて、ＥＭアルゴリズム（expectation-maximization algorithm）で、複数のキュレーターによる知識の正誤の判断結果から真の正誤を確度とともに推定する。

【0027】

算出部３３は、判断結果情報２１の知識（事象）２について、複数人のうちの所定の条件を満たす人（キュレーター）の回答を除外した場合の判定結果を算出する処理部である。

【0028】

具体的には、算出部３３は、判断結果情報２１の知識（事象）２における複数のキュレーターの回答の中で、所定の条件（例えば確信度が所定値より低い人の回答）を満たす回答を除外する。次いで、算出部３３は、取得部３２と同様に、非特許文献１に記載された手法を用いて、判断結果情報２１の各知識（事象）２に関する判定が複数の判定値のいずれに対応するかを確度と対応付けて推定する。次いで、算出部３３は、回答を除外して推定した判断結果情報２１の各知識（事象）２における判定結果（推定結果）を推定結果情報２３として記憶部２０に格納する。

【0029】

なお、推定結果情報２３について、取得部３２の判定結果（推定結果）と、算出部３３の判定結果（推定結果）とをそれぞれ区別する場合、取得部３２の推定結果は推定結果情報２３ａ、算出部３３の推定結果は推定結果情報２３ｂと区別して表記する。

【0030】

出力部３４は、推定結果情報２３をもとに、取得部３２の判定結果と、算出部３３の判定結果のうち、複数の判定値それぞれに対する確度の間の差が大きい方の判定結果を出力する処理部である。具体的には、出力部３４は、知識（事象）２について、取得部３２の推定結果情報２３ａと、算出部３３の推定結果情報２３ｂとを比較し、確度の差が大きい方の判定結果をＤＢへの登録のための判定結果としてディプレイやファイルなどに出力する。

【0031】

図３は、実施形態にかかる情報処理装置１の動作例を示すフローチャートである。図３に示すように、まず、ＮＬＰなどにより論文から抽出した各知識（事象）２について、複数のキュレーターが正誤（ＤＢへ登録する（○）またはＤＢへ登録しない（×））を判断する。次いで、キュレーターは、各知識（事象）２における判断結果を、判断に対する確信度とともに情報処理装置１に入力する。情報処理装置１の入力部３１は、キュレーターからの入力を受け付け、各知識（事象）２における判断結果を判断結果情報２１として記憶部２０に格納する（Ｓ１）。

【0032】

具体的には、図３に示すように、判断結果情報２１は、知識ＩＤで識別される各知識（事象）２について、複数のキュレーターの回答（判断および確信度）を含む。

【0033】

次いで、取得部３２は、判断結果情報２１に基づき、判断結果情報２１の各知識（事象）２に関する判定が複数の判定値のいずれに対応するかを確度と対応付けて推定する判定推定を行う（Ｓ２）。

【0034】

図４は、判定推定の処理例を示すフローチャートである。図４に示すように、取得部３２は、判断結果情報２１の全ての知識（事象）２について、複数のキュレーターの判断結果と自己評価による確信度から、非特許文献１に記載された手法を用いて、各知識（事象）２が正解（○）である確率と不正解（×）である確率を計算する（Ｓ１０）。

【0035】

具体的には、図４の右側に示す推定結果情報２３ａのとおり、取得部３２は、各知識ＩＤが示す知識（事象）２について、正解（○）である確率と不正解（×）である確率を計算する。

【0036】

次いで、取得部３２は、正解または不正解のうち、確率が高い方を各知識（事象）２の正誤の推定結果（判断結果）として計算する（Ｓ１１）。例えば、知識ＩＤが「１」の知識（事象）２については、正解（○）の確率が「０．９」であり、不正解（×）の確率が「０．１」であることから、判断結果は「○」となる。

【0037】

次いで、取得部３２は、正解（○）の確率と、不正解（×）の確率の差を計算する（Ｓ１２）。例えば、知識ＩＤが「１」の知識（事象）２については、正解（○）の確率が「０．９」であり、不正解（×）の確率が「０．１」であることから、確率の差は「０．８」となる。

【0038】

図３に戻り、Ｓ２に次いで、算出部３３は、判断結果情報２１の知識（事象）２における複数のキュレーターの回答（判断）の中で、所定の条件を満たす判断の削除をして判定結果（推定結果）を算出する処理を行う（Ｓ３）。

【0039】

図５は、判断の削除の処理例を示すフローチャートである。図５に示すように、まず、ユーザは、確率差の閾値とするＮなどの設定値の入力を行う。入力部３１は、ユーザからの入力を受け付け、Ｎなどの設定値を設定情報２２として記憶部２０に格納する（Ｓ２０）。

【0040】

次いで、算出部３３は、取得部３２による推定結果情報２３ａについて、正解／不正解の確率差の昇順に知識（事象）２を並び替える（Ｓ２１）。例えば、図示例では、確率差が「０．２」と最も小さい知識ＩＤ「４」の知識（事象）２が先頭となる。

【0041】

次いで、算出部３３は、並び替え後の推定結果情報２３ａより先頭の知識（事象）２を選択する（Ｓ２２）。次いで、算出部３３は、選択した知識における判断の削除を行い、判定結果（推定結果）を算出する処理を行う（Ｓ２３）。

【0042】

図６は、所定の知識における判断削除の処理例を示すフローチャートである。図６に示すように、Ｓ２３の処理が開始されると、算出部３３は、Ｓ２２で選択した知識（事象）２についてキュレーター判断を並べ替える（Ｓ３０）。具体的には、算出部３３は、自己評価の確信度が低いキュレーターの判断を優先して順位が高くなるように並べ替える。

【0043】

次いで、算出部３３は、先頭から順にキュレーターの判断を選択し（Ｓ３１）、選択したキュレーターの判断を除外する（Ｓ３２）。具体的には、図６の右側に示すように、Ｓ２２において選択した知識ＩＤ「４」の知識（事象）２について、確信度が「０．２」と最も低い「キュレーター１」が先頭となることから、算出部３３は、「キュレーター１」の判断「○」を選択する。次いで、算出部３３は、選択した「キュレーター１」の判断「○」を除外する。

【0044】

次いで、算出部３３は、Ｓ２と同様に、非特許文献１に記載された手法を用いて判定推定を行う（Ｓ３３）。図６の右側に示すように、Ｓ３３の判定推定により得られた推定結果情報２３ｂは、知識ＩＤ「４」の知識（事象）２について「キュレーター１」の判断「○」を除外したことから、推定結果が推定結果情報２３ａと異なるものとなる。

【0045】

具体的には、推定結果情報２３ｂでは、知識ＩＤ「４」の知識（事象）２について、正解（○）の確率が「０．３」であり、不正解（×）の確率が「０．７」であることから、判断結果は「×」となる。

【0046】

次いで、出力部３４は、推定結果情報２３ａ、２３ｂを比較し、確率差がキュレーターを除く前よりも大きくなっているか否かを判定する（Ｓ３４）。正解（○）の確率と、不正解（×）の確率との差が大きくなるということは、判定の精度が高まっていることを意味する。よって、キュレーターを除く前よりも大きく（推定結果情報２３ｂの方が大きく）なっている場合（Ｓ３４：Ｙｅｓ）、出力部３４は、推定結果情報２３ｂを出力対象とし、Ｓ３６へ処理を進める。

【0047】

キュレーターを除く前よりも大きくなっていない（推定結果情報２３ａの方が大きい）場合（Ｓ３４：Ｎｏ）、出力部３４は、除いたキュレーターの判断をもとに戻し（Ｓ３５）、Ｓ３１へ処理を戻す。

【0048】

Ｓ３６において、算出部３３は、選択した知識（事象）２と類似する第１の類似知識について、Ｓ２３と同様に知識における判断の削除を行い、判定結果（推定結果）を算出する処理を行う。次いで、算出部３３は、選択した知識（事象）２と類似する第２の類似知識についても、Ｓ２３と同様に知識における判断の削除を行い、判定結果（推定結果）を算出する処理を行う（Ｓ３７）。

【0049】

なお、類似知識とは、選択した知識（事象）２との間で、物質または態様に共通点を有するものである。例えば、物質または態様を示す固有表現（固有名詞）に共通するものを有するものが類似知識となる。本実施形態では、２つの固有表現とその関係を記述している知識（事象）２同士で、１つ目の固有表現が共通するものを第１の類似知識とする。また、２つ目の固有表現が共通するものを第２の類似知識とする。

【0050】

図７、図８は、類似知識における判断削除の処理例を示すフローチャートである。具体的には、図７は、第１の類似知識における判断削除の処理例を示す。また、図８は、第２の類似知識における判断削除の処理例を示す。

【0051】

図７に示すように、第１の類似知識における処理が開始されると、算出部３３は、Ｓ３１で削除した知識（事象）２の１つ目の固有表現と同じ固有表現を持つ知識から、先ほど削除したキュレーターの判断と同じキュレーターの判断を除く（Ｓ４０）。

【0052】

図７の右側の例では、Ｓ３１で削除した知識ＩＤ「４」の知識（事象）２と「固有名詞１」が同じ「ｃ．１２６Ｃ＞Ａ」である、知識ＩＤ「２」について、同じ「キュレーター１」の判断を除く。

【0053】

次いで、算出部３３は、Ｓ２と同様に、非特許文献１に記載された手法を用いて判定推定を行う（Ｓ４１）。図７の右側に示すように、Ｓ４１の判定推定により得られた推定結果情報２３ｃは、知識ＩＤ「２」の知識（事象）２について「キュレーター１」の判断「×」を除外したことから、推定結果が推定結果情報２３ｂと異なるものとなる。

【0054】

具体的には、推定結果情報２３ｃでは、知識ＩＤ「２」の知識（事象）２について、正解（○）の確率が「０．３」であり、不正解（×）の確率が「０．７」であることから、判断結果は「×」となる。

【0055】

次いで、出力部３４は、推定結果情報２３ｂ、２３ｃを比較し、確率差がキュレーターを除く前よりも大きくなっているか否かを判定する（Ｓ４２）。正解（○）の確率と、不正解（×）の確率との差が大きくなるということは、判定の精度が高まっていることを意味する。よって、キュレーターを除く前よりも大きく（推定結果情報２３ｃの方が大きく）なっている場合（Ｓ４２：Ｙｅｓ）、出力部３４は、推定結果情報２３ｃを出力対象とし、第１の類似知識に関する処理を終了する。

【0056】

キュレーターを除く前よりも大きくなっていない（推定結果情報２３ｂの方が大きい）場合（Ｓ４２：Ｎｏ）、出力部３４は、除いたキュレーターの判断をもとに戻し（Ｓ４３）、第１の類似知識に関する処理を終了する。

【0057】

図８に示すように、第２の類似知識における処理が開始されると、算出部３３は、Ｓ３１で削除した知識（事象）２の２つ目の固有表現と同じ固有表現を持つ知識から、先ほど削除したキュレーターの判断と同じキュレーターの判断を除く（Ｓ５０）。

【0058】

図８の右側の例では、Ｓ３１で削除した知識ＩＤ「４」の知識（事象）２と「固有名詞２」が同じ「ａｕｔｉｓｍ」である、知識ＩＤ「３」について、同じ「キュレーター１」の判断を除く。

【0059】

次いで、算出部３３は、Ｓ２と同様に、非特許文献１に記載された手法を用いて判定推定を行う（Ｓ５１）。図８の右側に示すように、Ｓ５１の判定推定により得られた推定結果情報２３ｄは、知識ＩＤ「３」の知識（事象）２について「キュレーター１」の判断「×」を除外したことから、推定結果が推定結果情報２３ｂと異なるものとなる。

【0060】

具体的には、推定結果情報２３ｄでは、知識ＩＤ「３」の知識（事象）２について、正解（○）の確率が「０．９」であり、不正解（×）の確率が「０．１」であることから、判断結果は「○」となる。

【0061】

次いで、出力部３４は、推定結果情報２３ｂ、２３ｄを比較し、確率差がキュレーターを除く前よりも大きくなっているか否かを判定する（Ｓ５２）。正解（○）の確率と、不正解（×）の確率との差が大きくなるということは、判定の精度が高まっていることを意味する。よって、キュレーターを除く前よりも大きく（推定結果情報２３ｄの方が大きく）なっている場合（Ｓ５２：Ｙｅｓ）、出力部３４は、推定結果情報２３ｄを出力対象とし、第２の類似知識に関する処理を終了する。

【0062】

キュレーターを除く前よりも大きくなっていない（推定結果情報２３ｂの方が大きい）場合（Ｓ５２：Ｎｏ）、出力部３４は、除いたキュレーターの判断をもとに戻し（Ｓ５３）、第２の類似知識に関する処理を終了する。

【0063】

図５に戻り、Ｓ２３に次いで、算出部３３は、出力対象の推定結果情報２３において、最も小さな確率差が閾値として設定されたＮ未満であるか否かを判定する（Ｓ２４）。Ｎ未満でない場合（Ｓ２４：Ｎｏ）、算出部３３は、Ｓ２１へ処理を戻し、判断の削除の処理を継続する。Ｎ未満である場合（Ｓ２４：Ｙｅｓ）、算出部３３は、判断の削除の処理を終了する。

【0064】

図３に戻り、Ｓ３に次いで、出力部３４は、出力対象の推定結果情報２３を読み出し、推定結果の出力を行う（Ｓ４）。すなわち、出力部３４は、取得部３２の判定結果と、算出部３３の判定結果のうち、複数の判定値それぞれに対する確率差が大きく、判定の精度が高まっている方の判定結果を出力する。

【0065】

［効果について］
以上のように、情報処理装置１は、取得部３２と、算出部３３と、出力部３４とを有する。取得部３２は、所定の事象について判定した複数人の回答結果に基づき、事象に関する判定が複数の判定値のいずれに対応するかを、複数の判定値それぞれに対する確度と対応付けて示す判定結果である第１の判定結果（推定結果情報２３ａ）を取得する（Ｓ２）。算出部３３は、複数人のうちの所定の条件を満たす人の回答を除外した場合の判定結果である第２の判定結果（推定結果情報２３ｂ）を算出する（Ｓ３）。出力部３４は、第１の判定結果と、第２の判定結果のうち、複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する（Ｓ４）。

【0066】

例えばキュレーションにおいて、所定の事象について判定した複数のキュレーターの回答結果の中から所定のキュレーターの回答を除外した場合と、除外しない場合との、複数の判定値それぞれに対する確度の差が大きくなるということは、除外した方が精度が高まるということを意味する。一例として、回答を除外したキュレーターは、その回答した事象において慣れておらず（習熟度が高くない）、知識不足であるものと推測できる。したがって、情報処理装置１は、知識不足と推定されるキュレーターを除外した場合の判定結果を出力することで、キュレーションにおける適正な知識の登録を支援することができる。

【0067】

また、算出部３３は、複数人の回答結果に含まれる、複数人それぞれの回答への確信度をもとに、確信度が所定の条件を満たす人の回答を除外する。これにより、情報処理装置１は、例えば確信度が低い人（キュレーター）の回答から除外して知識不足のキュレーターであるか否かを検証していくことができる。

【0068】

また、算出部３３は、所定の事象と類似する事象について、第１の判定結果を取得し、所定の事象において回答を除外した人と同じ人の回答を除外した場合の第２の判定結果を算出する。また、出力部３４は類似する事象について取得した、第１の判定結果と、第２の判定結果のうち、複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する。

【0069】

このように、情報処理装置１は、所定の事象と類似する事象について、所定の事象で知識不足のキュレーターである可能性が高いことが明らかになったキュレーターの回答を優先的に除外する。これにより、情報処理装置１は、知識の有無について不明なキュレーターが知識不足であることを確認するための計算時間を費やすことなく、キュレーションにおける適正な知識の登録を支援することができる。

【0070】

また、回答結果は、所定の物質または態様と、物質または態様との関連について、複数人の回答および回答に対する各人の確信度である。これにより、情報処理装置１は、例えば、キュレーターの回答結果である、所定の物質または態様と、物質または態様との関連についての知識を、データベースなどに登録するキュレーションに適用できる。

【0071】

［その他］
図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0072】

例えば、入力部３１と取得部３２、算出部３３と出力部３４を統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

【0073】

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。

【0074】

［ハードウエア構成例について］
ところで、上記の各実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施形態と同様の機能を有する学習プログラムを実行するコンピュータの一例を説明する。図９は、判定処理プログラムを実行するコンピュータの一例を示すブロック図である。

【0075】

図９に示すように、コンピュータ１００は、各種演算処理を実行するＣＰＵ１０１と、データ入力を受け付ける入力装置１０２と、モニタ１０３とを有する。また、コンピュータ１００は、記憶媒体からプログラム等を読み取る媒体読取装置１０４と、各種装置と接続するためのインタフェース装置１０５と、他の情報処理装置等と有線または無線により接続するための通信装置１０６とを有する。また、コンピュータ１００は、各種情報を一時記憶するＲＡＭ１０７と、ハードディスク装置１０８とを有する。また、各装置１０１～１０８は、バス１０９に接続される。

【0076】

ハードディスク装置１０８には、図１に示した入力部３１、取得部３２、算出部３３および出力部３４の各処理部と同様の機能を有する判定処理プログラム１０８Ａが記憶される。また、ハードディスク装置１０８には、判断結果情報２１、設定情報２２および推定結果情報２３に関する各種データが記憶される。入力装置１０２は、例えば、コンピュータ１００の利用者から操作情報等の各種情報の入力を受け付ける。モニタ１０３は、例えば、コンピュータ１００の利用者に対して表示画面等の各種画面を表示する。インタフェース装置１０５は、例えば印刷装置等が接続される。通信装置１０６は、図示しないネットワークと接続され、他の情報処理装置と各種情報をやりとりする。

【0077】

ＣＰＵ１０１は、ハードディスク装置１０８に記憶された判定処理プログラム１０８Ａを読み出して、ＲＡＭ１０７に展開して実行することで、各種の処理を行う。また、この判定処理プログラム１０８Ａは、コンピュータ１００を入力部３１、取得部３２、算出部３３および出力部３４として機能させることができる。

【0078】

なお、上記の判定処理プログラム１０８Ａは、ハードディスク装置１０８に記憶されていなくてもよい。例えば、コンピュータ１００が読み取り可能な記憶媒体に記憶された判定処理プログラム１０８Ａを、コンピュータ１００が読み出して実行するようにしてもよい。コンピュータ１００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置に判定処理プログラム１０８Ａを記憶させておき、コンピュータ１００がこれらから判定処理プログラム１０８Ａを読み出して実行するようにしてもよい。

【0079】

以上の実施形態に関し、さらに以下の付記を開示する。

【0080】

（付記１）所定の事象について判定した複数人の回答結果に基づき、前記事象に関する判定が複数の判定値のいずれに対応するかを、前記複数の判定値それぞれに対する確度と対応付けて示す判定結果である第１の判定結果を取得し、
前記複数人のうちの所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出し、
前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する、
処理をコンピュータに実行させることを特徴とする判定処理プログラム。

【0081】

（付記２）前記算出する処理は、前記複数人の回答結果に含まれる当該複数人それぞれの回答への確信度をもとに、前記確信度が所定の条件を満たす人の回答を除外する、
ことを特徴とする付記１に記載の判定処理プログラム。

【0082】

（付記３）前記所定の事象と類似する事象について、前記第１の判定結果を取得し、前記所定の事象において回答を除外した人と同じ人の回答を除外した場合の前記第２の判定結果を算出する処理を更にコンピュータに実行させ、
前記出力する処理は、前記類似する事象について取得した、前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する、
ことを特徴とする付記１または２に記載の判定処理プログラム。

【0083】

（付記４）前記回答結果は、所定の物質または態様と、当該物質または態様との関連について、複数人の回答および当該回答に対する各人の確信度である、
ことを特徴とする付記１乃至３のいずれか一に記載の判定処理プログラム。

【0084】

（付記５）所定の事象について判定した複数人の回答結果に基づき、前記事象に関する判定が複数の判定値のいずれに対応するかを、前記複数の判定値それぞれに対する確度と対応付けて示す判定結果である第１の判定結果を取得し、
前記複数人のうちの所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出し、
前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する、
処理をコンピュータが実行することを特徴とする判定処理方法。

【0085】

（付記６）前記算出する処理は、前記複数人の回答結果に含まれる当該複数人それぞれの回答への確信度をもとに、前記確信度が所定の条件を満たす人の回答を除外する、
ことを特徴とする付記５に記載の判定処理方法。

【0086】

（付記７）前記所定の事象と類似する事象について、前記第１の判定結果を取得し、前記所定の事象において回答を除外した人と同じ人の回答を除外した場合の前記第２の判定結果を算出する処理を更にコンピュータが実行し、
前記出力する処理は、前記類似する事象について取得した、前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する、
ことを特徴とする付記５または６に記載の判定処理方法。

【0087】

（付記８）前記回答結果は、所定の物質または態様と、当該物質または態様との関連について、複数人の回答および当該回答に対する各人の確信度である、
ことを特徴とする付記５乃至７のいずれか一に記載の判定処理方法。

【0088】

（付記９）所定の事象について判定した複数人の回答結果に基づき、前記事象に関する判定が複数の判定値のいずれに対応するかを、前記複数の判定値それぞれに対する確度と対応付けて示す判定結果である第１の判定結果を取得する取得部と、
前記複数人のうちの所定の条件を満たす人の回答を除外した場合の前記判定結果である第２の判定結果を算出する算出部と、
前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する出力部と、
を有することを特徴とする情報処理装置。

【0089】

（付記１０）前記算出部は、前記複数人の回答結果に含まれる当該複数人それぞれの回答への確信度をもとに、前記確信度が所定の条件を満たす人の回答を除外する、
ことを特徴とする付記９に記載の情報処理装置。

【0090】

（付記１１）前記算出部は、前記所定の事象と類似する事象について、前記第１の判定結果を取得し、前記所定の事象において回答を除外した人と同じ人の回答を除外した場合の前記第２の判定結果を算出し、
前記出力部は、前記類似する事象について取得した、前記第１の判定結果と、前記第２の判定結果のうち、前記複数の判定値それぞれに対する確度の間の差が大きい判定結果を出力する、
ことを特徴とする付記９または１０に記載の情報処理装置。

【0091】

（付記１２）前記回答結果は、所定の物質または態様と、当該物質または態様との関連について、複数人の回答および当該回答に対する各人の確信度である、
ことを特徴とする付記９乃至１１のいずれか一に記載の情報処理装置。

【符号の説明】

【0092】

１…情報処理装置
２…知識（事象）
１０…通信部
２０…記憶部
２１…判断結果情報
２２…設定情報
２３、２３ａ～２３ｄ…推定結果情報
３０…制御部
３１…入力部
３２…取得部
３３…算出部
３４…出力部
１００…コンピュータ
１０１…ＣＰＵ
１０２…入力装置
１０３…モニタ
１０４…媒体読取装置
１０５…インタフェース装置
１０６…通信装置
１０７…ＲＡＭ
１０８…ハードディスク装置
１０８Ａ…判定処理プログラム
１０９…バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】