特開 2024-64338 正解の無い多岐選択肢問題に対する回答者の評価装置と評価プログラムと評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024064338

(43)【公開日】2024-05-14

(54)【発明の名称】正解の無い多岐選択肢問題に対する回答者の評価装置と評価プログラムと評価方法

(51)【国際特許分類】

   G16H 10/00 20180101AFI20240507BHJP

   G06Q 50/10 20120101ALI20240507BHJP

【ＦＩ】

G16H10/00

G06Q50/10

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022172848

(22)【出願日】2022-10-28

(71)【出願人】

【識別番号】304020177

【氏名又は名称】国立大学法人山口大学

(74)【代理人】

【識別番号】100141173

【弁理士】

【氏名又は名称】西村 啓一

(72)【発明者】

【氏名】浜本 義彦

(72)【発明者】

【氏名】荻原 宏是

(72)【発明者】

【氏名】飯塚 徳男

【テーマコード（参考）】

5L049

5L050

5L099

【Ｆターム（参考）】

5L049CC11

5L050CC11

5L099AA15

(57)【要約】

【課題】正解の無い多岐選択肢問題に対する回答者の回答に基づいて回答者を評価する評価装置と評価プログラムと評価方法とを提供する。
【解決手段】本発明に係る評価装置（１）は、正解の無い多岐選択肢問題の設問への回答者の回答を、多岐選択肢問題の設問への複数の基準者それぞれの回答との比較により回答者の回答を採点して回答者を評価する。評価装置は、多岐選択肢問題の設問に含まれる複数の選択肢のうち、回答者の回答として選択された回答者選択肢と、複数の選択肢ごとの基準者選択肢として選択した基準者の総数である選択総数と、に基づいて、回答者の評価の指標である回答者評価値を算出する回答者評価値算出部（８）、を有してなる。回答者評価値算出部は、回答者選択肢に対応する選択総数と、複数の選択肢ごとの選択総数のうち最大となる選択総数と、に基づいて、回答者評価値を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

正解の無い多岐選択肢問題の設問への回答者の回答として選択された回答者選択肢と、前記多岐選択肢問題の設問への複数の基準者それぞれの回答として選択された基準者選択肢と、の比較により前記回答者の回答を採点して前記回答者を評価する評価装置であって、
前記多岐選択肢問題の設問に含まれる複数の選択肢のうち、前記回答者の回答として選択された前記回答者選択肢を特定する回答者選択肢情報と、
複数の前記選択肢ごとの前記基準者選択肢として選択した前記基準者の総数である選択総数と、
を記憶する記憶部と、
前記回答者選択肢情報と、複数の前記選択肢ごとの前記選択総数と、に基づいて、前記回答者の評価の指標である回答者評価値を算出する回答者評価値算出部と、
を有してなり、
前記回答者評価値算出部は、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、前記回答者評価値を算出する、
ことを特徴とする評価装置。

【請求項2】

前記回答者評価値算出部は、
複数の前記選択肢ごとの前記選択総数の分布を、前記選択肢を区間として、前記選択肢ごとの前記選択総数から算出される前記基準者確率を前記区間ごとの値とするヒストグラムとして表し、
前記ヒストグラムを用いて前記回答者評価値を算出する、
請求項１記載の評価装置。

【請求項3】

前記回答者評価値算出部は、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数に対する前記回答者選択肢に対応する前記選択総数の比を、前記回答者評価値として算出する、
請求項１記載の評価装置。

【請求項4】

複数の端末と通信ネットワークを介して接続し、
複数の前記端末は、
複数の前記基準者それぞれに操作される基準者端末と、
前記回答者に操作される回答者端末と、
を含み、
複数の前記選択肢のうち、複数の前記基準者それぞれの前記基準者選択肢を特定する基準者選択肢情報を、複数の前記基準者それぞれに操作される前記基準者端末から受信して前記記憶部に記憶する基準者回答受信部と、
前記基準者選択肢情報に基づいて、複数の前記選択肢ごとの前記選択総数を算出する選択総数算出部と、
複数の前記選択肢を、前記回答者端末に表示する選択肢表示部と、
前記回答者選択肢情報を、前記回答者端末から受信して前記記憶部に記憶する回答者回答受信部と、
を有してなり、
前記選択肢表示部は、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数が所定数以上のときにのみ、複数の前記選択肢を、前記回答者端末に表示する、
請求項１記載の評価装置。

【請求項5】

前記記憶部は、
前記多岐選択肢問題の複数の設問それぞれの前記回答者選択肢を特定する回答者選択肢情報と、
前記多岐選択肢問題の各設問それぞれに含まれる複数の前記選択肢ごとの前記選択総数と、
を記憶し、
前記回答者評価値算出部は、
前記多岐選択肢問題の各設問それぞれについて、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、前記回答者評価値を算出し、
算出された前記多岐選択肢問題の各設問それぞれの前記回答者評価値に基づいて、前記多岐選択肢問題に対する前記回答者の平均回答者評価値を算出する、
請求項１記載の評価装置。

【請求項6】

前記多岐選択肢問題の複数の設問それぞれに回答した複数の基準者候補の中から前記基準者を選択する基準者選択部、
を有してなり、
前記基準者選択部は、
前記多岐選択肢問題の各設問それぞれに対する前記基準者候補の回答として選択された基準者候補選択肢を特定する基準者候補選択肢情報、
に基づいて、前記基準者候補を前記基準者として選択するか否かを決定する、
請求項１記載の評価装置。

【請求項7】

前記基準者選択部は、
複数の前記基準者候補ごとの前記多岐選択肢問題の各設問それぞれに対する前記基準者候補選択肢情報に基づいて、複数の前記基準者候補を、複数の集合に分割し、
複数の前記集合のうち、特定の前記集合に属する前記基準者候補を、前記基準者として決定する、
請求項６記載の評価装置。

【請求項8】

コンピュータを、請求項１記載の評価装置として機能させる、
ことを特徴とする評価プログラム。

【請求項9】

正解の無い多岐選択肢問題の設問への回答者の回答である回答者選択肢と、前記多岐選択肢問題の設問への複数の基準者それぞれの回答として選択された基準者選択肢と、の比較により前記回答者の回答を採点して前記回答者を評価する評価装置により実行される方法であって、
前記評価装置は、
前記回答者に操作される回答者端末と通信ネットワークを介して接続し、
前記多岐選択肢問題の設問に含まれる複数の選択肢のうち、前記回答者の回答として選択された前記回答者選択肢を特定する回答者選択肢情報と、
複数の前記選択肢ごとの前記基準者選択肢として選択した前記基準者の総数である選択総数と、
を記憶する記憶部、
を備え、
前記評価装置が、
前記回答者選択肢情報を前記回答者端末から受信して前記記憶部に記憶するステップと、
前記回答者選択肢情報と、複数の前記選択肢ごとの前記選択総数と、に基づいて、前記回答者の評価の指標である回答者評価値を算出するステップ、
を有してなり、
前記回答者評価値は、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、算出される、
ことを特徴とする評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、正解の無い多岐選択肢問題に対する回答者の評価装置と、評価プログラムと、評価方法と、に関する。

【背景技術】

【0002】

多岐選択肢問題は、回答者に、各設問に含まれている複数の選択肢の中から１または複数の選択肢を回答として選択させ、この回答を採点（点数化）して回答者を評価する問題である。つまり、多岐選択肢問題の回答者が被評価者である。多岐選択肢問題は、例えば、試験問題などのように正解（答え）のある問題とアンケートや問診などのように正解（答え）のない問題に大別される。

【0003】

多岐選択肢問題が試験問題の場合、複数の選択肢は、正解として与えられた１または複数の選択肢を含む。すなわち、正解のある試験問題に対する回答者は、選択した回答である選択肢が正解の選択肢か否かで採点されて評価される。これは、統計的推測の分野では外的基準がありの問題、あるいは、機械学習の分野では教師ありの問題と分類される。

【0004】

一方、多岐選択肢問題がアンケートや問診の場合、正解が無い。つまり、多岐選択肢問題の各設問を構成する複数の選択肢は、正解として与えられた選択肢を含まない。そのため、アンケートや問診に対する回答者の評価は、前述の試験問題に対する回答者の評価に比べて、困難である。これについては、統計的推測の分野では外的基準がない問題、あるいは、機械学習の分野では教師なしの問題と分類される。

【0005】

ここで、例えば、漢方医学を学ぶ医学生が、患者の舌の診断（舌診）を学ぶ場合を考える。医学生は、教材となる症例の患者の舌の画像（舌画像）を読影して舌の大きさや色などから、その患者の疾患の有無を診断する。教材となる症例の患者は、疾患の有無などが確定した患者である。舌診の多岐選択肢問題は、例えば、与えられた舌画像に対し、舌の大きさや色などの８つの設問があり、各設問は複数の選択肢で構成される。しかし、舌の大きさや色などの読影は、読影者の知識や経験などに基づく、いわば読影者の主観に左右されやすい。そのため、例えば、複数の漢方の専門医が同じ舌画像を読影したとき、各専門医の舌の大きさや色などの読影結果が一致する、つまり、各専門医に選択される選択肢が一致するとは限らない。すなわち、専門医の読影結果が異なる、換言すれば、専門医でさえ意見が分かれる、ことがあり得る。これは舌診に限ったことではなく、病理画像の読影も同様で、医師の主観が入る診断では避けられない。専門医の読影結果が異なる場合、専門医に読影された舌画像と同じ舌画像を読影した医学生の読影結果の評価は、専門医の読影結果と一致するか否かという単純な方法では困難である。このように、いわば正解の無い多岐選択肢問題に対する回答者の評価は、正解のある多岐選択肢問題に対する回答者の評価と比べて、困難である。

【0006】

なお、正解の無い多岐選択肢問題に対する回答者の評価方法として、いわゆる多数決が考えられる。多数決とは、仮の正解を設けて正解の無い問題を正解のある問題に置き換えて回答者を評価する方法である。しかし、多数決による評価は、評価結果の正当性という問題を抱える。

【0007】

また、多数決による評価は、多数の意見のみが評価に反映されて、少数の意見が評価に反映されない、つまり、少数の意見が評価において無視されるという問題を抱える。

【0008】

さらに、発明者らは、５人の漢方の専門医に１２５例の舌画像を読影し、８設問からなる多岐選択肢問題に対する回答を得て分析をした。舌画像を読影した専門医は、各設問（大きさ、色、など）それぞれの選択肢の中から、読影結果として１の選択肢を選択する。分析の結果、８設問すべてにおいて５名の専門医による多数決が成立して仮の正解が得られるのは、４４例のみであった。すなわち、１２５例のうち約６５％に相当する８１例は、多数決による評価に用いられない。つまり、多数決による評価は、いかなる多岐選択肢問題においても有効とは限らない。

【0009】

これまでにも、多岐選択肢問題に対する回答者の評価に関連する発明が、提案されている（例えば、特許文献１参照）。

【0010】

同文献は、健康診断の検査を受けた第１受診者と、同じ検査を受けた別の１または複数の第２受診者（集団）との間の類似度の算出方法を開示する。健康診断の検査の結果に基づいて算出される類似度は、第１受診者の健康状態など（特定の疾病への罹患の有無や将来の罹患の可能性の有無など）の診断に利用される。すなわち、類似度は、第１受診者との間の類似度の大きい第２受診者（特定の疾病への罹患の有無などが既知の者）の健康状態などをもとに、第１受診者への医学的に根拠のある適切な診療を可能とする。

【0011】

ここで、同文献における検査は、多岐選択肢問題とも捉えられる。すなわち、検査項目は設問であり、検査結果は、定性的データ（記号データ）であれば、それがそのまま選択肢となり、あるいは、それが定量的データ（数値データ）であれば検査結果が属し得る複数の区分それぞれが選択肢として定義される。その上で、第２受診者の検査結果に基づいて、区分（選択肢）ごとに第２受診者が存在する確率が求められて類似度が算出される。すなわち、例えば、検査結果として３つの区分「ｘ」「ｙ」「ｚ」が定義された検査項目に対する１０人の第２受診者の検査結果が、５人が「ｘ」、４人が「ｙ」、１人が「ｚ」とする。このとき、第２受診者が各区分に存在する確率は、「ｘ」が「０．５０」、「ｙ」が「０．４０」、「ｚ」が「０．１０」である。ここで、第１受診者の検査結果が「ｙ」のとき、第１受診者と１０人の第２受診者との間の類似度は、「０．４０」と算出される。

【0012】

また、多岐選択肢問題に対する回答者（解答者）の分類に関する発明が、提案されている（例えば、特許文献２参照）。

【0013】

同文献は、多岐選択肢問題の各設問に含まれる選択肢（正答選択肢と、複数の誤答選択肢と、を含む）のうち、複数の回答者が選択した複数の特定選択肢（誤答選択肢）の一致性を示す指標である距離の算出方法を開示する。すなわち、正解のある多岐選択肢問題に対する複数の回答者の誤答選択肢の一致性を示す距離は、多岐選択肢問題を回答した複数の回答者を分類する。つまり、同じ集団に分類された回答者は、共通する誤り方の傾向を有する者として分類される。その結果、例えば、回答者を指導する指導者は、共通する誤り方の傾向を有する回答者の集団を把握して、誤らないための共通の指導をすることができる。

【0014】

なお、同文献は、正解のある多岐選択肢問題への適用に限らず、正解の無い多岐選択肢問題への適用も開示する。同文献は、正解の無い多岐選択肢問題においても特定選択肢の一致性が当該分野において意味のある場合がある。例えば、与えられた集団において同じ選択肢を回答する回答者の集団に当該分野の専門家からある解釈が与えられる場合がある。つまり、同文献において、正解の無い多岐選択肢問題の各設問を回答した回答者の評価は、クラスタ分析による。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】特開２０２１－２６１９０号公報

【特許文献2】特開２０２２－７０４１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0016】

本発明は、正解の無い多岐選択肢問題の設問への回答の採点結果から回答者を評価できる評価装置と評価プログラムと評価方法とを提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明に係る評価装置は、正解の無い多岐選択肢問題の設問への回答者の回答である回答者選択肢と、多岐選択肢問題の設問への複数の基準者それぞれの回答である基準者選択肢と、の比較により回答者の回答を採点して回答者を評価する評価装置であって、多岐選択肢問題の設問に含まれる複数の選択肢のうち、回答者の回答として選択された回答者選択肢を特定する回答者選択肢情報と、複数の選択肢ごとの基準者選択肢として選択した基準者の総数である選択総数と、を記憶する記憶部と、回答者選択肢情報と、複数の選択肢ごとの選択総数と、に基づいて、回答者の評価の指標である回答者評価値を算出する回答者評価値算出部と、を有してなり、回答者評価値算出部は、回答者選択肢に対応する選択総数と、複数の選択肢ごとの選択総数のうち最大となる選択総数と、に基づいて、回答者評価値を算出する、ことを特徴とする。

【発明の効果】

【0018】

本発明は、正解の無い多岐選択肢問題の設問への回答の採点結果から回答者を評価できる。

【図面の簡単な説明】

【0019】

【図1】本発明に係る評価装置の実施の形態を示すブロック図である。

【図2】上記評価装置の実施の形態を示すネットワーク構成図である。

【図3】上記評価装置に算出される回答者評価値の例を示す模式図である。

【図4】上記評価装置の記憶部に記憶される多岐選択肢問題の各設問の例を示す模式図である。

【図5】上記記憶部に記憶される基準者ごとの多岐選択肢問題の各設問への回答の例を示す模式図である。

【図6】上記記憶部に記憶される多岐選択肢問題の各設問を構成する複数の選択肢ごとの選択総数と基準者確率との例を示す模式図である。

【図7】上記記憶部に記憶される回答者ごとの多岐選択肢問題の各設問への回答の例を示す模式図である。

【図8】上記複数の選択肢ごとの選択総数に基づいて算出される基準者確率の例を示すヒストグラムである。

【図9】上記複数の選択肢ごとの選択総数に基づいて算出される基準者確率の別の例を示すヒストグラムである。

【図10】多岐選択肢問題の各設問への回答者の入力例を示す回答入力画面の模式図である。

【図11】多岐選択肢問題に対する回答者の評価結果の出力例を示す評価結果出力画面の模式図である。

【図12】多岐選択肢問題の各設問への別の回答者の入力例を示す回答入力画面の模式図である。

【図13】多岐選択肢問題に対する別の回答者の評価結果の出力例を示す評価結果出力画面の模式図である。

【図14】上記記憶部に記憶される多岐選択肢問題の各設問を構成する複数の選択肢ごとの基準者確率の例を示す模式図である。

【図15】上記記憶部に記憶される多岐選択肢問題の各設問に対する基準者ごとの基準者確率の例を示す模式図である。

【発明を実施するための形態】

【0020】

本発明に係る評価装置と評価プログラムと評価方法との実施の形態は、以下に図面と共に説明される。

【0021】

本実施の形態は、医学生が回答である舌画像の読影結果を用いて評価される場合を例に説明される。舌画像は、５人の漢方の専門医が読影済である。医学生の読影結果は、５人の専門医の読影結果との関係で評価される。舌画像の読影結果は、舌の大きさに関する設問１に含まれる５つの選択肢の中から回答として選択された１の選択肢と、舌の色に関する設問２に含まれる６つの選択肢の中から回答として選択された１の選択肢と、で示される。すなわち、舌画像とその舌の大きさに関する設問の選択肢や、舌画像とその舌の色に関する設問２の選択肢は、本発明における正解の無い多岐選択肢問題の各設問における選択肢の例である。５人の漢方の専門医は、本発明における基準者の例である。基準者のその他の例として、（１）確定診断の付いた患者集団、（２）健常者集団、（３）過去の回答者自身などが考えられる。医学生は、本発明における回答者の例である。
過去の回答者自身において、メンタルヘルスケアでは特にランダム化された多岐選択肢問題（問診）が有効となる。ここでランダム化された多岐選択肢問題とは設問の出現順並びに各設問で選択肢の並び順の両方をランダムに変えた問題であり、本質的に同一でありながら見かけ上の表現が異なる問題が複数得られる。このランダム化された問題を用いて、回答者の過去の回答間の一致性から回答者の無意識な心の変化を予兆として検知できる。

【0022】

●評価装置の構成●
図１は、本発明に係る評価装置（以下「本装置」という。）の実施の形態を示す機能ブロック図である。

【0023】

本装置は、パーソナルコンピュータなどの情報処理装置により実現される。本装置は、本発明に係る評価プログラム（以下「本プログラム」という。）を実行する。本装置で動作する本プログラムは、本装置のハードウェア資源と協働して、本発明に係る評価方法（以下「本方法」という。）を実現する。

【0024】

本装置のハードウェア資源は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。プロセッサは、本プログラムに記述された命令を実行することで、本装置が備える後述の各手段を実現する。

【0025】

なお、本装置とは異なる図示しない情報処理装置が、本プログラムを実行することで、同情報処理装置は本装置と同様に機能して、本方法を実現する。

【0026】

本装置１は、記憶部２と、選択肢表示部３と、基準者回答受信部４と、選択総数算出部５と、基準者確率算出部６と、回答者回答受信部７と、回答者評価値算出部８と、を有してなる。

【0027】

記憶部２は、本プログラムと、本装置１が本方法を実現するために用いる情報などを記憶する。本装置１が本方法を実現するために用いる情報の詳細は、後述される。

【0028】

本発明における記憶部の種類は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬記憶媒体その他の非一時的な記録媒体や、ＲＡＭ（Random Access Memory）その他の一時的な記録媒体、などである。

【0029】

選択肢表示部３は、基準者に操作される基準者端末や、回答者に操作される回答者端末に、多岐選択肢問題の各設問を構成する複数の選択肢を表示する。

【0030】

図２は、本装置１の実施の形態を示すネットワーク構成図である。
本装置１は、通信ネットワークＮを介して、基準者端末Ｄ１１－Ｄ１５と、回答者端末Ｄ２１，Ｄ２２と、通信可能に接続する。本装置１と各端末との通信は、例えば、本装置１がいわゆるｗｅｂサーバとして動作して、各端末がいわゆるｗｅｂクライアントして動作することで、実現される。

【0031】

通信ネットワークＮは、インターネットやＬＡＮ（Local Area Network）などのコンピュータ通信網である。

【0032】

各端末Ｄ１１－Ｄ１５，Ｄ２１，Ｄ２２は、パーソナルコンピュータやスマートフォンで実現される。

【0033】

ここで、基準者端末Ｄ１１－Ｄ１５それぞれは、５人の基準者それぞれに操作される。回答者端末Ｄ２１，Ｄ２２それぞれは、２人の回答者それぞれに操作される。ここで、５人の基準者それぞれの基準者ＩＤは、Ａ１－Ａ５であり、２人の回答者それぞれの回答者ＩＤは、Ｂ１，Ｂ２である。基準者ＩＤと回答者ＩＤとは、本装置１が基準者や回答者の特定に用いる情報であり、例えば、あらかじめ本装置１に採番される（後述の他のＩＤも同様）。

【0034】

基準者回答受信部４は、基準者に操作される基準者端末Ｄ１１－Ｄ１５それぞれから、基準者選択肢情報を受信する。基準者選択肢情報は、基準者選択肢を特定する情報である。基準者選択肢は、多岐選択肢問題の各設問において基準者の回答として選択された選択肢である。基準者選択肢の内容やその選択方法の詳細は、後述される。

【0035】

選択総数算出部５は、多岐選択肢問題の各設問に含まれる複数の選択肢ごとの基準者によって選択された総数を選択総数として算出する。選択総数の内容やその算出方法の詳細は、後述される。

【0036】

基準者確率算出部６は、多岐選択肢問題の各設問に含まれる複数の選択肢ごとの基準者確率を算出する。基準者確率の内容やその算出方法の詳細は、後述される。

【0037】

回答者回答受信部７は、回答者端末Ｄ２１，Ｄ２２それぞれから、回答者選択肢情報を受信する。回答者選択肢情報は、回答者選択肢を特定する情報である。回答者選択肢は、多岐選択肢問題の各設問において回答者の回答として選択された選択肢である。回答者選択肢の内容やその選択方法の詳細は、後述される。

【0038】

回答者評価値算出部８は、多岐選択肢問題の各設問を構成する複数の選択肢ごとの選択総数と、回答者選択肢情報と、に基づいて、回答者評価値を算出する。回答者評価値は、多岐選択肢問題の各設問における回答者の回答の採点結果であり、回答者の評価の指標である。回答者評価値の内容やその算出方法の詳細は、後述される。

【0039】

●回答者評価値
図３は、本装置１に算出される回答者評価値の例を示す模式図である。
同図は、４つの選択肢「Ｘ１」「Ｘ２」Ｘ３」「Ｘ４」で構成される設問を、１０人の基準者が回答した場合の回答の分布の３つの例を示す。

【0040】

同図（ａ）は、１０人の基準者のうち、６人の基準者が選択肢「Ｘ１」を基準者選択肢として選択して、４人の基準者が選択肢「Ｘ２」を基準者選択肢として選択した場合の基準者の回答の分布を、選択肢を区間とし、その高さを基準者確率とするヒストグラムで推定する。すなわち、ヒストグラムは分布の確率密度関数であり、選択肢「Ｘ１」の選択総数は「６」、選択肢「Ｘ２」の選択総数は「４」、選択肢「Ｘ３」「Ｘ４」それぞれの選択総数は「０」である。複数の選択肢ごとの選択総数は、その選択肢を選択した基準者の総数であり、選択総数がゼロの場合もある。また、複数の選択肢ごとの基準者確率は、その選択肢を選択した基準者数の全基準者数に対する比として定義される確率である。選択肢「Ｘ１」の基準者確率は「０．６０」（＝６/１０）、選択肢「Ｘ２」の基準者確率は「０．４０」（＝４/１０）、選択肢「Ｘ３」「Ｘ４」それぞれの基準者確率は「０．００」（＝０/１０）である。

【0041】

ここで、基準者の回答のヒストグラムが同図（ａ）で、回答者が選択肢「Ｘ２」を選択したとき、回答者の回答（選択肢「Ｘ２」の選択）の採点結果である回答者評価値は、４つの選択肢のうち選択総数が最大となる、すなわち、基準者確率が最大の「０．６０」に対する、回答者に選択された選択肢「Ｘ２」の基準者確率「０．４０」の比である、０．４０／０．６０である。

【0042】

同図（ｂ）は、１０人の基準者のうち、５人の基準者が選択肢「Ｘ１」を基準者選択肢として選択して、４人の基準者が選択肢「Ｘ２」を基準者選択肢として選択して、１人の基準者が選択肢「Ｘ３」を基準者選択肢として選択した場合の基準者の回答の分布を示す。すなわち、選択肢「Ｘ１」の選択総数は「５」、選択肢「Ｘ２」の選択総数は「４」、選択肢「Ｘ３」の選択総数は「１」、選択肢「Ｘ４」の選択総数は「０」である。つまり、選択肢「Ｘ１」の基準者確率は「０．５０」、選択肢「Ｘ２」の基準者確率は「０．４０」、選択肢「Ｘ３」の基準者確率は「０．１０」、選択肢「Ｘ４」の基準者確率は「０．００」である。

【0043】

ここで、基準者の回答のヒストグラムが同図（ｂ）で、回答者が選択肢「Ｘ２」を選択したとき、回答者の回答（選択肢「Ｘ２」の選択）の採点結果である回答者評価値は、４つの選択肢のうちの最大の基準者確率「０．５０」に対する、回答者に選択された選択肢「Ｘ２」の基準者確率「０．４０」の比である、０．４０／０．５０である。

【0044】

同図（ｃ）は、１０人の基準者のうち、４人の基準者が選択肢「Ｘ２」を基準者選択肢として選択して、３人の基準者が選択肢「Ｘ３」を基準者選択肢として選択して、３人の基準者が選択肢「Ｘ４」を基準者選択肢として選択した場合の基準者の回答の分布を示す。すなわち、選択肢「Ｘ１」の選択総数は「０」、選択肢「Ｘ２」の選択総数は「４」、選択肢「Ｘ３」の選択総数は「３」、選択肢「Ｘ４」の選択総数は「３」である。つまり、選択肢「Ｘ１」の基準者確率は「０．００」、選択肢「Ｘ２」の基準者確率は「０．４０」、選択肢「Ｘ３」の基準者確率は「０．３０」、選択肢「Ｘ４」の基準者確率は「０．３０」である。

【0045】

ここで、基準者の回答のヒストグラムが同図（ｃ）で、回答者が選択肢「Ｘ２」を選択したとき、回答者の回答（選択肢「Ｘ２」の選択）の採点結果である回答者評価値は、４つの選択肢のうちの最大の基準者確率「０．４０」に対する、回答者に選択された選択肢「Ｘ２」の基準者確率「０．４０」の比である、０．４０／０．４０である。

【0046】

このように、本発明における回答の採点の方法、その採点結果である回答者評価値は、以下のとおり、定義される。
・Ｌ： 多岐選択肢問題の設問の数（１つでもよい）
Ｌ≧１
・Ｋ_ｊ： 設問ｊにおける選択肢の数
（設問ごとに選択肢の数は異なってもよい）
・Ｒ_ｊ（ｋ）：設問ｊにおけるｋ番目の選択肢
ｊ＝１～Ｌ，ｋ＝１～Ｋ_ｊ
・ｎ： 基準者の総数
・ｎ_ｊ（ｋ）：設問ｊにおける選択肢Ｒ_ｊ（ｋ）を選択した基準者の総数（選択総数）
ｎ＝ｎ_ｊ（１）＋・・・＋ｎ_ｊ（Ｋ_ｊ）
・ｐ_ｊ（ｋ）：設問ｊにおける選択肢Ｒ_ｊ（ｋ）の基準者確率
ｐ_ｊ（ｋ）＝ｎ_ｊ（ｋ）／ｎ
ｐ_ｊ（１）＋・・・＋ｐ_ｊ（Ｋ_ｊ）＝１
・ｓ_ｉ，ｊ： 設問ｊにおいて回答者ｉが選択肢Ｒ_ｊ（ｋ）を選択したときの
設問ｊに対する回答者ｉの回答者評価値
ｓ_ｉ，ｊ＝ｐ_ｊ（ｋ）／ｍａｘ［ｐ_ｊ（１），・・・，ｐ_ｊ（Ｋ_ｊ）］
０≦ｓ_ｉ，ｊ≦１
・Ｓ_ｉ ： 多岐選択肢問題に対する回答者ｉの平均回答者評価値
Ｓ_ｉ＝（ｓ_ｉ，１＋・・・＋ｓ_ｉ，Ｌ）／Ｌ
０≦Ｓ_ｉ≦１

【0047】

以上のとおり定義された、多岐選択肢問題の各設問における回答を用いて採点された結果である回答者の回答者評価値は、回答者の回答として選択された選択肢が、最大数の基準者に選択された選択肢と一致するとき、「１」となる。一方、回答者の回答として選択された選択肢が、最大数の基準者に選択された選択肢と異なるとき、回答者の回答として選択された選択肢を選択した基準者が１人もいなければ回答者評価値は「０」であり、１人でもいれば図３に示されたように回答者評価値は「０」とはならない。多岐選択肢問題（全設問）に対する回答の採点による回答者の評価値は、平均回答者評価値である。

【0048】

このように、本発明における回答者評価値は、いわば、基準者の回答の分布に対する回答者の回答の一致性を示す。すなわち、回答者の回答と、基準者の回答の分布と、の一致の度合いが高いほど、回答者の回答者評価値は、高くなる。

【0049】

本発明における回答者評価値は、基準者の回答の分布に基づいて算出される点において、前述の特許文献１における「類似度」や、特許文献２における「距離」、あるいは、多数決による評価とはまったく異なる。本発明では、選択肢を区間とし、その高さを基準者確率とするヒストグラムにより基準者回答の分布を表して、回答者の回答と基準者回答の分布との一致性に着目して回答者を評価する点に特徴がある。

【0050】

●多岐選択肢問題に対する回答者の各設問への回答の入力と回答を用いた回答者の評価結果の出力
図４は、本装置１の記憶部２に記憶される多岐選択肢問題の各設問の例を示す模式図である。
同図は、設問ＩＤと、設問と、選択肢ＩＤと、選択肢と、が関連付けて記憶部２に記憶されていることを示す。

【0051】

設問ＩＤは、本装置１が多岐選択肢問題の各設問を特定するために用いる情報である。

【0052】

設問は、多岐選択肢問題の設問内容を示す情報である。

【0053】

選択肢ＩＤは、本装置１が多岐選択肢問題の各設問を構成する各選択肢を特定するために用いる情報である。

【0054】

同図は、例えば、設問ＩＤ「Ｑ１」と、設問１「大きさ」と、選択肢ＩＤ「Ｃ１１」と選択肢「正常」や、選択肢ＩＤ「Ｃ１２」と選択肢「胖大」や、選択肢ＩＤ「Ｃ１３」と選択肢「るいそう」や、選択肢ＩＤ「Ｃ１４」と選択肢「該当なし」や、選択肢ＩＤ「Ｃ１５」と選択肢「評価不能」、が関連付けて記憶部２に記憶されていることを示す。

【0055】

ここで、複数の情報が記憶部２に関連付けて記憶されているとは、本装置１が、複数の情報のうちの１の情報を用いて記憶部２を検索することで、複数の情報のうちの他の情報を記憶部２から読み出すことができることをいう（以下、同じ）。すなわち、例えば、本装置１は、設問ＩＤ「Ｑ１」を用いて記憶部２を検索することで、設問ＩＤ「Ｑ１」と関連付けて記憶されている、設問１「大きさ」や、選択肢ＩＤ「Ｃ１１」や、選択肢「正常」など、を記憶部２から読み出すことができる。

【0056】

図５は、５人の基準者を想定した、記憶部２に記憶される基準者ごとの多岐選択肢問題の舌画像に対する各設問への回答の例を示す模式図である。
同図は、基準者ＩＤと、舌ＩＤと、設問ＩＤと、基準者選択肢の選択肢ＩＤと、が関連付けて記憶部２に記憶されていることを示す。

【0057】

基準者ＩＤは、本装置１が基準者を特定するために用いる情報である。

【0058】

舌ＩＤは、本装置１が記憶部２に記憶されている舌画像を特定するために用いる情報である。

【0059】

同図は、例えば、基準者ＩＤ「Ａ１」の基準者が、舌ＩＤ「Ｔ１」の舌画像に対する設問ＩＤ「Ｑ１」の回答として、選択肢ＩＤ「Ｃ１１」の選択肢を選択したことを示す。

【0060】

図６は、記憶部２に記憶される多岐選択肢問題の各設問を構成する複数の選択肢ごとの、選択総数と、基準者確率と、の例を示す模式図である。

【0061】

選択総数は、前述のとおり、基準者が回答済の多岐選択肢問題の各設問に含まれる複数の選択肢ごとの情報であって、多岐選択肢問題の各設問に回答した基準者のうち、その選択肢を選択した基準者の総数である。

【0062】

複数の選択肢ごとの基準者確率は、前述の定義のとおり、基準者の総数に対する、その選択肢を選択した基準者の総数（選択総数）の比として算出される。

【0063】

同図は、舌ＩＤと、設問ＩＤと、選択肢ＩＤと、選択総数と、基準者確率と、が関連付けて記憶されていることを示す。すなわち、例えば、同図は、舌ＩＤ「Ｔ１」の舌画像に対する５人の基準者それぞれの設問ＩＤ「Ｑ１」への回答として５つの選択肢のうち、選択肢ＩＤ「Ｃ１１」を選択した基準者の総数が「２」で同選択肢の基準者確率が「０．４０」、選択肢ＩＤ「Ｃ１２」を選択した基準者の総数が「０」で同選択肢の基準者確率が「０．００」、選択肢ＩＤ「Ｃ１３」を選択した基準者の総数が「３」で同選択肢の基準者確率が「０．６０」、選択肢ＩＤ「Ｃ１４」を選択した基準者の総数が「０」で同選択肢の基準者確率が「０．００」、選択肢ＩＤ「Ｃ１５」を選択した基準者の総数が「０」で同選択肢の基準者確率が「０．００」、であることを示す。

【0064】

図７は、記憶部２に記憶される回答者ごとの多岐選択肢問題の各設問への回答の例を示す模式図である。

【0065】

同図は、回答者ＩＤと、舌ＩＤと、設問ＩＤと、回答者選択肢の選択肢ＩＤと、が関連付けて記憶部２に記憶されていることを示す。すなわち、例えば、同図は、回答者ＩＤ「Ｂ１」の回答者が、舌ＩＤ「Ｔ１」の舌画像に対する回答者の設問ＩＤ「Ｑ１」の回答として、選択肢ＩＤ「Ｃ１３」の選択肢を選択したことを示す。

【0066】

図８は、複数の選択肢ごとの選択総数に基づいて算出される基準者確率の例を示すヒストグラムである。

【0067】

同図は、設問１「大きさ」の５つの選択肢「正常」「胖大」「るいそう」「該当なし」「評価不能」それぞれの選択総数が「２」「０」「３」「０」「０」であることを示す。同図は、選択肢「正常」の基準者確率が「０．４０」（＝２／５）であること、選択肢「るいそう」の基準者確率が「０．６０」（＝３／５）であること、を示す。

【0068】

図９は、複数の選択肢ごとの選択総数に基づいて算出される基準者確率の別の例を示すヒストグラムである。

【0069】

同図は、設問２「色」の６つの選択肢「淡白」「淡紅」「深紅」「紫」「他」「該当なし」それぞれの選択総数が「０」「３」「０」「２」「０」「０」であることを示す。同図は、選択肢「淡紅」の基準者確率が「０．６０」（＝３／５）であること、選択肢「紫」の基準者確率が「０．４０」（＝２／５）であること、を示す。

【0070】

図１０は、舌ＩＤ「Ｔ１」の舌画像に対する回答者ＩＤ「Ｂ１」の回答者による回答の入力例を示す回答入力画面の模式図である。

【0071】

同図は、回答入力画面Ｒ１１が回答者ＩＤ「Ｂ１」の回答者が操作する回答者端末Ｄ２１の表示装置に表示されていることを示す。回答入力画面Ｒ１１に含まれる情報は、回答者ＩＤと、舌ＩＤ「Ｔ１」の舌画像と、２つの設問それぞれの選択肢と、入力ボタン画像Ｉ１と、を含む。

【0072】

本装置１は、選択肢表示部３を用いて、記憶部２に記憶されている２つの多岐選択肢問題の各設問を読み出して、回答入力画面Ｒ１１を生成する。本装置１は、選択肢表示部３を用いて、生成された回答入力画面Ｒ１１を、回答者端末Ｄ２１に送信する。その結果、回答入力画面Ｒ１１は、回答者端末Ｄ２１に表示される。

【0073】

ここで、舌ＩＤ「Ｔ１」の舌画像は、記憶部２に記憶されている画像である。回答入力画面Ｒ１１に表示される舌画像は、あらかじめ基準者に読影されている画像である。すなわち、回答入力画面Ｒ１１に表示されている舌ＩＤ「Ｔ１」の舌画像を読影した基準者は、回答入力画面Ｒ１１に表示されている２つの多岐選択肢問題の各設問に回答済である。

【0074】

つまり、本装置１は、選択肢表示部３を用いて、基準者端末Ｄ１１－Ｄ１５それぞれに、回答入力画面Ｒ１１を表示する。回答入力画面Ｒ１１に入力された基準者の回答は、基準者選択肢情報として、基準者端末Ｄ１１－Ｄ１５それぞれから本装置１に送信される。本装置１は、基準者回答受信部４を用いて、基準者端末Ｄ１１－Ｄ１５それぞれから受信した基準者選択肢情報を、基準者ＩＤと関連付けて記憶部２に記憶する（図５）。本装置１は、選択総数算出部５を用いて、記憶部２に基準者ＩＤと関連付けて記憶されている基準者選択肢情報に基づいて、多岐選択肢問題の各設問の選択肢それぞれの選択総数を算出する。本装置１は、基準者確率算出部６を用いて、多肢選択肢問題の各設問の選択肢それぞれの選択総数に基づいて、複数の選択肢ごとの基準者確率を算出する。

【0075】

このように、回答入力画面Ｒ１１が回答者端末Ｄ２１に表示される前に、多岐選択肢問題の各設問それぞれの複数の選択肢ごとの選択総数（図６）や基準者確率（図８，９）は、本装置１の選択総数算出部５や基準者確率算出部６により算出されて記憶部２に記憶されている。

【0076】

回答者は、回答入力画面Ｒ１１を閲覧しながら、同画面に表示されている多岐選択肢問題の各設問の回答を、同画面に入力する。図１０は、設問１「大きさ」の回答として、選択肢「るいそう」が選択されて入力されていることを示す。同図は、設問２「色」の回答として、選択肢「淡紅」が選択されて入力されていることを示す。

【0077】

回答者が入力ボタン画像Ｉ１を選択すると、回答入力画面Ｒ１１に入力された回答者の回答が、回答者選択肢情報として、回答者端末Ｄ２１から本装置１に送信される。本装置１は、回答者回答受信部７を用いて、回答者端末Ｄ２１から受信した回答者選択肢情報を、回答入力画面Ｒ１１に表示されていた回答者ＩＤ「Ｂ１」の回答者の回答として、回答者ＩＤと関連付けて記憶部２に記憶する（図７）。

【0078】

回答者端末Ｄ２１の表示装置は、例えば、タッチパネル式のディスプレイ装置である。つまり、回答者による選択肢の選択（回答の入力）や、入力ボタン画像Ｉ１の選択は、回答者がタッチパネル式のディスプレイ装置をタッチ操作することで、実現される。

【0079】

図１１は、舌ＩＤ「Ｔ１」の舌画像に対する回答者ＩＤ「Ｂ１」の回答者の評価結果の出力例を示す評価結果出力画面の模式図である。

【0080】

同図は、評価結果出力画面Ｒ１２が回答者ＩＤ「Ｂ１」の回答者が操作する回答者端末Ｄ２１の表示装置に表示されていることを示す。評価結果出力画面Ｒ１２に含まれる情報は、回答者ＩＤと、回答者の評価結果（１００点）と、を含む。

【0081】

回答者の評価結果は、本装置１が回答者選択肢情報を受信すると、本装置１により算出される。本装置１は、回答者選択肢情報を受信すると、回答者評価値算出部８を用いて、回答者選択肢情報と、選択総数と、に基づいて、回答者評価値を算出する。本装置１は、算出された回答者評価値を含む評価結果出力画面Ｒ１２を、回答者端末Ｄ２１に送信する。回答者は、回答者端末Ｄ２１の表示装置に表示された評価結果出力画面Ｒ１２を閲覧することで、自身の回答に対する評価結果を把握する。

【0082】

ここで、評価結果出力画面Ｒ１２に表示されている評価結果は、前述の平均回答者評価値である。平均回答者評価値は、前述の定義に基づいて、以下のとおり算出される。

【0083】

回答者ＩＤ「Ｂ１」の回答者が回答として選択した選択肢は、設問１「大きさ」において選択肢「るいそう」、設問２「色」において「淡紅」であった（図１０）。

【0084】

一方、５人の基準者の回答において、設問１「大きさ」の選択肢「るいそう」の選択総数は「３」であり、基準者確率は「０．６０」である。設問１「大きさ」の選択肢のうち、基準者確率が最大の選択肢は、選択肢「るいそう」である（図８）。よって、設問１「大きさ」の回答として選択肢「るいそう」を選択した回答者の回答者評価値（ｓ_Ｂ１，１）は、「１．００」（＝０．６０／０．６０）である。

【0085】

また、５人の基準者の回答において、設問２「色」の選択肢「淡紅」の選択総数は「３」であり、基準者確率は「０．６０」である。設問２「色」の選択肢のうち、基準者確率が最大の選択肢は、選択肢「淡紅」である（図９）。よって、設問２「色」の回答として選択肢「淡紅」を選択した回答者の回答者評価値（ｓ_Ｂ１，２）は、「１．００」（＝０．６０／０．６０）である。

【0086】

以上より、多岐選択肢問題を構成する、設問１「大きさ」に対する回答として選択肢「るいそう」を選択して、かつ、設問２「色」に対する回答として選択肢「淡紅」を選択した回答者の平均回答者評価値（Ｓ_Ｂ１）は、「１．００」（＝（１．００＋１．００）／２）である。

【0087】

評価結果出力画面Ｒ１２に含まれる評価結果は、平均回答者評価値（Ｓ_Ｂ１）を１００点換算して算出された「１００点」が表示されている。

【0088】

図１２は、舌ＩＤ「Ｔ１」の舌画像に対する回答者ＩＤ「Ｂ２」の回答者による回答の入力例を示す回答入力画面の模式図である。

【0089】

同図は、回答者ＩＤ「Ｂ２」の回答者に操作される回答者端末Ｄ２２に表示された回答入力画面Ｒ２１を示す。同図は、回答者ＩＤ「Ｂ２」の回答者が回答として選択した選択肢が、設問１「大きさ」において選択肢「正常」、設問２「色」において「深紅」であることを示す。

【0090】

一方、５人の基準者の回答において、設問１「大きさ」の選択肢「正常」の選択総数は「２」であり、基準者確率は「０．４０」である。設問１「大きさ」の選択肢のうち、基準者確率が最大の選択肢は選択肢「るいそう」であり、選択肢「るいそう」の基準者確率は「０．６０」である（図８）。よって、設問１「大きさ」の回答として選択肢「正常」を選択した回答者の回答者評価値（ｓ_Ｂ２，１）は、「０．６７」（＝０．４０／０．６０）である。

【0091】

また、５人の基準者の回答において、設問２「色」の選択肢「深紅」の選択総数は「０」であり、基準者確率は「０．００」である。設問２「色」の選択肢のうち、基準者確率が最大の選択肢は、選択肢「淡紅」であり、選択肢「淡紅」の基準者確率は「０．６０」である（図９）。よって、設問２「色」の回答として選択肢「深紅」を選択した回答者の回答者評価値（ｓ_Ｂ２，２）は、「０．００」（＝０．００／０．６０）である。

【0092】

以上より、設問１「大きさ」に対する回答として選択肢「正常」を選択して、かつ、設問２「色」に対する回答として選択肢「深紅」を選択した回答者の平均回答者評価値（Ｓ_Ｂ２）は、「０．３４」（＝（０．６７＋０．００）／２）である。

【0093】

図１３は、舌ＩＤ「Ｔ１」の舌画像に対する回答者ＩＤ「Ｂ２」の回答者の評価結果の出力例を示す評価結果出力画面の模式図である。

【0094】

同図は、回答者端末Ｄ２２に表示された評価結果出力画面Ｒ２２を示す。同図は、平均回答者評価値（Ｓ_Ｂ２）を１００点換算して算出された「３４点」が表示されていることを示す。

【0095】

●まとめ●
以上説明された実施の形態によれば、正解の無い多岐選択肢問題の各設問への回答者の回答は、多岐選択肢問題の各設問への回答者の回答と、基準者の回答の分布と、の一致性を示す回答者評価値を用いて評価される。すなわち、回答者の回答と、基準者の回答の分布と、の一致性が高いほど、回答者の評価は、高い。

【0096】

このような基準者の回答の分布を用いて算出される本発明における回答者評価値は、前述の特許文献１における「類似度」や、特許文献２における「距離」、とはまったく異なる指標である。また、本発明における回答者評価値による評価は、多数決による評価とは異なり、少数派の意見も評価に反映される。

【0097】

●多岐選択肢問題を構成する設問の評価●
本装置１は、基準者が回答済の多岐選択肢問題の各設問を、多岐選択肢問題に対する基準者の回答に基づいて、評価してもよい。

【0098】

図１４は、記憶部２に記憶された多岐選択肢問題の各設問を構成する複数の選択肢ごとの基準者確率の例を示す模式図である。
同図は、設問ｊを構成する選択肢Ｒ_ｊ（ｋ）と、基準者確率ｐ_ｊ（ｋ）と、が関連付けて記憶されていることを示す。すなわち、例えば、設問１の選択肢Ｒ_１（１）と、基準者確率ｐ_１（１）と、が関連付けて記憶部２に記憶されている。

【0099】

ここで、複数の選択肢ごとの基準者確率ｐ_ｊ（ｋ）は、前述の定義のとおり、基準者の総数に対する、その選択肢を選択した基準者の総数、の比で算出される。すなわち、例えば、多岐選択肢問題の各設問を構成する複数の選択肢ごとの基準者確率が、いずれの選択肢においても同程度の値の場合は、基準者の意見が分かれていることを意味する。よって、例えば、基準者の意見が分かれるような設問（例えば、先に説明された実施の形態における、舌画像、あるいは、設問やその選択肢）は、回答者を評価する設問として用いることが適切ではない、こともあり得る。

【0100】

そこで、本装置１は、設問評価部（不図示）を用いて、基準者が回答済の設問を構成する複数の選択肢ごとの基準者確率に基づいて、設問を評価する、つまり、回答者に回答させる設問として採用するか否かを決定してもよい。設問評価部は、例えば、設問ごとに、所定の値（例えば、０．６０）以上の基準者確率の選択肢を含むか否かを判定し、所定の値以上の基準者確率（つまり、選択総数の最大が所定の数以上）の選択肢を含む設問のみを、基準者の意見が一定程度まとまっていることから良問として回答者に回答させる設問として決定する。すなわち、本装置１の選択肢表示部３は、設問評価部により回答者に回答させる設問として決定された設問のみを、回答者端末に表示させる。

【0101】

このように、基準者確率に基づいて多岐選択肢問題の各設問を評価することで、基準者の意見が分かれる設問は、回答者に回答させる設問から除外される。

【0102】

●基準者の評価●
本装置１は、各基準者を、多岐選択肢問題の各設問への基準者自身の回答に基づいて、評価してもよい。

【0103】

図１５は、記憶部２に記憶された多岐選択肢問題の各設問に対する基準者ごとの基準者確率の例を示す模式図である。
同図は、基準者の基準者ＩＤと、設問ｊに対する回答として基準者に選択された基準者確率ｐ_ｊ（ｋ）と、が関連付けて記憶部２に記憶されていることを示す。すなわち、例えば、基準者ＩＤ「Ａ１」と、基準者ＩＤ「Ａ１」の基準者が設問１の回答として選択した選択肢の基準者確率ｐ_１（ｋ_Ａ１）と、が関連付けて記憶部２に記憶されている。

【0104】

ここで、複数の選択肢ごとの基準者確率ｐ_ｊ（ｋ）は、前述の定義のとおり、基準者の総数に対する、その選択肢を選択した基準者の総数、の比で算出される。すなわち、例えば、基準者確率が極めて低い値の選択肢を選択した基準者は、他の多くの基準者と意見が異なることを意味する。特に、複数の設問のうち、多くの設問において基準者確率が極めて低い値の選択肢を選択した基準者の回答は、回答者の評価に用いられる基準者回答として適切ではない、こともあり得る。

【0105】

そこで、本装置１は、基準者評価部（不図示）を用いて、基準者が回答済の多岐選択肢問題の各設問を構成する複数の選択肢ごとの基準者確率に基づいて、基準者を評価する。基準者の評価は、例えば、基準者確率の大小に基づく、基準者の順位付けである。

【0106】

また、本装置１は、基準者選択部（不図示）を用いて、複数の基準者候補の中から基準者を選択してもよい。すなわち、基準者選択部は、基準者候補が回答済の設問を構成する複数の選択肢ごとの基準者候補確率に基づいて、基準者候補を評価して、特定の基準者候補を基準者として選択する。ここで、複数の選択肢ごとの基準者候補確率は、前述の基準者確率の定義と同様、その選択肢を選択した基準者候補数の全基準者候補数に対する比として定義される確率である。

【0107】

本装置１は、基準者候補に操作される基準者候補端末に、多岐選択肢問題の各設問を表示する。本装置１は、各設問に対する基準者候補の回答として選択された基準者候補選択肢を特定する基準者候補選択肢情報を、基準者候補端末から受信する。本装置１は、複数の基準者候補それぞれの基準者候補選択肢情報に基づいて、設問を構成する複数の選択肢ごとの基準者候補確率を算出する。

【0108】

基準者選択部は、設問に回答済の基準者候補ごとに、その基準者候補に選択された設問ごとの選択肢の基準者候補確率に基づいて、その基準者候補を基準者とするか否か、を決定する。換言すれば、基準者選択部は、複数の基準者候補を要素とする集合（基準者候補の集合）を、複数の集合に分割して、特定の集合に属する基準者候補のみを、基準者として決定する。

【0109】

基準者選択部は、例えば、各設問に対して基準者候補の集合の中で、基準者候補の基準者確率が所定の値（例えば、０．１０）以下でなければ、その基準者候補を基準者として選択する。つまり、基準者選択部は、全ての設問を通して基準者候補の集合を、一つの設問でも基準者候補確率が所定の値以下の基準者候補の部分集合と、全てにおいて基準者候補確率が所定の値以下でない基準者候補の部分集合と、に分割する。その上で、基準者選択部は、全ての設問において基準者候補確率が所定の値以下でない基準者候補の部分集合に属する基準者候補のみを、基準者として決定する。

【0110】

あるいは、基準者選択部は、例えば、基準者候補の全設問における基準者候補確率の平均値が所定の値以下でなければ、その基準者候補を基準者として選択する。つまり、基準者選択部は、基準者候補の集合を、基準者候補確率の平均値が所定の値以下でない基準者候補の部分集合と、基準者候補確率の平均値が所定の値以下である基準者候補の部分集合と、に分割する。その上で、基準者選択部は、基準者候補確率の平均値が所定の値以下でない基準者候補の部分集合に属する基準者候補のみを、基準者として決定する。

【0111】

このように、基準者確率に基づいて基準者を評価することで、他の多くの基準者との意見が異なる基準者が特定される。また、基準者候補確率に基づいて基準者候補を評価することで、他の多くの基準者候補と意見が異なる基準者候補の回答は、回答者の評価から除外される。

【0112】

●本装置と本プログラムと本方法との特徴●
これまでに説明された本装置と本プログラムと本方法との特徴は、以下にまとめて記載される。

【0113】

●本装置の特徴
本装置は、
正解の無い多岐選択肢問題の設問への回答者の回答として選択された回答者選択肢と、前記多岐選択肢問題の設問への複数の基準者それぞれの回答として選択された基準者選択肢と、の比較により前記回答者の回答を採点して前記回答者を評価する評価装置（例えば、評価装置１）であって、
前記多岐選択肢問題の設問に含まれる複数の選択肢のうち、前記回答者の回答として選択された前記回答者選択肢を特定する回答者選択肢情報と、
複数の前記選択肢ごとの前記基準者選択肢として選択した前記基準者の総数である選択総数（例えば、ｎ_ｊ（ｋ））と、
を記憶する記憶部（例えば、記憶部２）と、
前記回答者選択肢情報と、複数の前記選択肢ごとの前記選択総数と、に基づいて、前記回答者の評価の指標である回答者評価値（例えば、ｓ_ｉ，ｊ）を算出する回答者評価値算出部（例えば、回答者評価値算出部８）と、
を有してなり、
前記回答者評価値算出部は、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、前記回答者評価値を算出する、
ことを特徴とする。

【0114】

本装置において、
前記回答者評価値算出部は、
前記選択肢ごとの前記選択総数の分布を、前記選択肢を区間として、前記選択肢ごとの前記選択総数から算出される前記基準者確率を前記区間ごとの値とするヒストグラムとして表し、
前記ヒストグラムを用いて前記回答者評価値を算出する、
ものでもよい。

【0115】

本装置において、
前記回答者評価値算出部は、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数に対する前記回答者選択肢に対応する前記選択総数の比を、前記回答者評価値として算出する、
ものでもよい。

【0116】

本装置は、
複数の端末と通信ネットワークを介して接続し、
複数の前記端末は、
複数の前記基準者それぞれに操作される基準者端末（例えば、基準者端末Ｄ１１－Ｄ１５）と、
前記回答者に操作される回答者端末（例えば、回答者端末Ｄ２１，Ｄ２２）と、
を含み、
複数の前記選択肢のうち、複数の前記基準者それぞれの前記基準者選択肢を特定する基準者選択肢情報を、複数の前記基準者それぞれに操作される前記基準者端末から受信して前記記憶部に記憶する基準者回答受信部（例えば、基準者回答受信部４）と、
前記基準者選択肢情報に基づいて、複数の前記選択肢ごとの前記選択総数を算出する選択総数算出部（例えば、選択総数算出部５）と、
複数の前記選択肢を、前記回答者端末に表示する選択肢表示部（例えば、選択肢表示部３）と、
前記回答者選択肢情報を、前記回答者端末から受信して前記記憶部に記憶する回答者回答受信部（例えば、回答者回答受信部７）と、
を有してなり、
前記選択肢表示部は、複数の選択肢ごとの前記選択総数のうち最大となる前記選択総数が所定数以上のときにのみ、複数の前記選択肢を、前記回答者端末に表示する、
ものでもよい。

【0117】

本装置において、
前記記憶部は、
前記多岐選択肢問題の複数の設問それぞれの前記回答者選択肢を特定する回答者選択肢情報と、
前記多岐選択肢問題の各設問それぞれに含まれる複数の前記選択肢ごとの前記選択総数と、
を記憶し、
前記回答者評価値算出部は、
前記多岐選択肢問題の各設問それぞれについて、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、前記回答者評価値を算出し、
算出された前記多岐選択肢問題の各設問それぞれの前記回答者評価値に基づいて、前記多岐選択肢問題に対する前記回答者の平均回答者評価値（例えば、Ｓ_ｉ）を算出する、
ものでもよい。

【0118】

本装置は、
前記多岐選択肢問題の複数の設問それぞれに回答した複数の基準者候補の中から前記基準者を選択する基準者選択部、
を有してなり、
前記基準者選択部は、
前記多岐選択肢問題の各設問それぞれに対する前記基準者候補の回答として選択された基準者候補選択肢を特定する基準者候補選択肢情報、
に基づいて、前記基準者候補を前記基準者として選択するか否かを決定する、
ものでもよい。

【0119】

本装置において、
前記基準者選択部は、
複数の前記基準者候補ごとの前記多岐選択肢問題の各設問それぞれに対する前記基準者候補選択肢情報に基づいて、複数の前記基準者候補を、複数の集合に分割し、
複数の前記集合のうち、特定の前記集合に属する前記基準者候補を、前記基準者として決定する、
ものでもよい。

【0120】

●本プログラムの特徴
本プログラムは、
情報処理装置を本装置として機能させる、
ことを特徴とする。

【0121】

●本方法の特徴
本方法は、
正解の無い多岐選択肢問題の設問への回答者の回答である回答者選択肢と、前記多岐選択肢問題の設問への複数の基準者それぞれの回答として選択された基準者選択肢と、の比較により前記回答者の回答を採点して前記回答者を評価する評価装置により実行される方法であって、
前記評価装置は、
前記回答者に操作される回答者端末と通信ネットワークを介して接続し、
前記多岐選択肢問題の設問に含まれる複数の選択肢のうち、前記回答者の回答として選択された前記回答者選択肢を特定する回答者選択肢情報と、
複数の前記選択肢ごとの前記基準者選択肢として選択した前記基準者の総数である選択総数と、
を記憶する記憶部、
を備え、
前記評価装置が、
前記回答者選択肢情報を前記回答者端末から受信して前記記憶部に記憶するステップと、
前記回答者選択肢情報と、複数の前記選択肢ごとの前記選択総数と、に基づいて、前記回答者の評価の指標である回答者評価値を算出するステップ、
を有してなり、
前記回答者評価値は、前記回答者選択肢に対応する前記選択総数と、複数の前記選択肢ごとの前記選択総数のうち最大となる前記選択総数と、に基づいて、算出される、
ことを特徴とする。

【符号の説明】

【0122】

１ 評価装置
２ 記憶部
３ 選択肢表示部
４ 基準者回答受信部
５ 選択総数算出部
６ 基準者確率算出部
７ 回答者回答受信部
８ 回答者評価値算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】