ホーム > 特許ランキング > 株式会社ＳＩＧＮＡＴＥ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023087536
(43)【公開日】2023-06-23
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230616BHJP
【ＦＩ】
G06Q50/10
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021201985
(22)【出願日】2021-12-13
(11)【特許番号】
(45)【特許公報発行日】2022-03-29
(71)【出願人】
【識別番号】517193523
【氏名又は名称】株式会社ＳＩＧＮＡＴＥ
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】齊藤 秀
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC11
(57)【要約】
【課題】より多くの成果物に対して順位付けを行いつつ、評価者の負荷を低減すること。
【解決手段】コンペティションに応募された複数の成果物に含まれる２つの成果物の組を、評価者が操作する評価者端末に提示し、評価者による勝敗の評価結果を評価者端末から取得する処理を繰り返す評価取得部と、評価取得部が取得した勝敗の評価結果を累積した累積結果に基づいて順序付けされた応募された複数の成果物の評価順位を、応募者が操作する応募者端末に通知する評価結果通知部と、を備える。
【選択図】 図１
【解決手段】コンペティションに応募された複数の成果物に含まれる２つの成果物の組を、評価者が操作する評価者端末に提示し、評価者による勝敗の評価結果を評価者端末から取得する処理を繰り返す評価取得部と、評価取得部が取得した勝敗の評価結果を累積した累積結果に基づいて順序付けされた応募された複数の成果物の評価順位を、応募者が操作する応募者端末に通知する評価結果通知部と、を備える。
【選択図】 図１
【特許請求の範囲】
【請求項1】
複数の成果物に含まれる２つの前記成果物の組を、評価者が操作する評価者端末に提示し、前記評価者による勝敗を示す評価結果を前記評価者端末から取得する処理を繰り返す評価取得部と、
前記評価取得部が取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の評価順位を、各成果物に対応する対応端末に通知する評価結果通知部と、
を備える情報処理装置。
前記評価取得部が取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の評価順位を、各成果物に対応する対応端末に通知する評価結果通知部と、
を備える情報処理装置。
【請求項2】
前記評価取得部における所定の繰返し回数によって、前記複数の成果物の下位に至るまで評価順位が決定されるように、対戦方式と、前記勝敗の累積結果からの順位付けのルールであるランキングルールとの組み合わせを選定する選定部をさらに備える請求項１に記載の情報処理装置。
【請求項3】
前記評価取得部は、組み合わせの異なる２つの前記成果物の組による所定段数の前記処理を繰り返し、各段の前記処理は、前段の前記処理の結果により同じ勝率となった前記成果物のグループに対して行われる請求項１または２に記載の情報処理装置。
【請求項4】
前記評価取得部は、スイスドロー方式に従って、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す請求項３に記載の情報処理装置。
【請求項5】
前記評価結果通知部は、前記成果物ごとに前記勝敗の評価結果に重み付けをして加算し、加算結果の順序に従って前記複数の成果物の評価順位を付して通知する請求項１から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記勝敗の評価結果は、引き分けを含み、
前記引き分けには、前記勝敗の評価結果に対する重み付けにおいて前記勝敗の間の重み付けを行う請求項５に記載の情報処理装置。
前記引き分けには、前記勝敗の評価結果に対する重み付けにおいて前記勝敗の間の重み付けを行う請求項５に記載の情報処理装置。
【請求項7】
前記複数の成果物は奇数個であって、
前記２つの前記成果物の組を順に取り出した後の残りの前記成果物を不戦勝とし、前記勝敗の評価結果に対する重み付けにおいて前記勝敗の間の重み付けを行う請求項５または６に記載の情報処理装置。
前記２つの前記成果物の組を順に取り出した後の残りの前記成果物を不戦勝とし、前記勝敗の評価結果に対する重み付けにおいて前記勝敗の間の重み付けを行う請求項５または６に記載の情報処理装置。
【請求項8】
前記評価者は複数人であって、
前記勝敗の評価結果は、各評価者の評価点を前記複数人について加点した点数である請求項１から７のいずれか１項に記載の情報処理装置。
前記勝敗の評価結果は、各評価者の評価点を前記複数人について加点した点数である請求項１から７のいずれか１項に記載の情報処理装置。
【請求項9】
前記評価者の少なくとも一部は前記成果物の生成者を含む請求項１から８のいずれか１項に記載の情報処理装置。
【請求項10】
前記評価結果通知部は、前記評価取得部が取得した繰り返しごとの前記勝敗の評価結果を前記対応端末に通知し、
前記評価結果通知部が通知した繰り返しごとの前記勝敗の評価結果に基づいて、前記成果物に対する修正を前記対応端末から取得する修正取得部をさらに備え、
前記評価結果通知部は、前記修正取得部が取得した修正後の前記成果物に対する前記勝敗の評価結果をさらに累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を前記対応端末に通知する請求項１から８のいずれか１項に記載の情報処理装置。
前記評価結果通知部が通知した繰り返しごとの前記勝敗の評価結果に基づいて、前記成果物に対する修正を前記対応端末から取得する修正取得部をさらに備え、
前記評価結果通知部は、前記修正取得部が取得した修正後の前記成果物に対する前記勝敗の評価結果をさらに累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を前記対応端末に通知する請求項１から８のいずれか１項に記載の情報処理装置。
【請求項11】
前記複数の成果物は、コンペティションに対する成果物であり、
前記コンペティションは、データ分析学習における問題に対する解答を評価して、順位を提示する請求項１から１０のいずれか１項に記載の情報処理装置。
前記コンペティションは、データ分析学習における問題に対する解答を評価して、順位を提示する請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項12】
評価取得部が、複数の成果物に含まれる２つの前記成果物の組を、評価者が操作する評価者端末に提示し、前記評価者による勝敗を示す評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
評価結果通知部が、前記評価取得ステップが取得した前記勝敗を示す評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を、各成果物に対応する対応端末に通知する通知ステップと、
を含む情報処理方法。
評価結果通知部が、前記評価取得ステップが取得した前記勝敗を示す評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を、各成果物に対応する対応端末に通知する通知ステップと、
を含む情報処理方法。
【請求項13】
複数の成果物に含まれる２つの前記成果物の組を、評価者が操作する評価者端末に提示し、前記評価者による勝敗を示す評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
前記評価取得ステップが取得した前記勝敗を示す評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を、各成果物に対応する対応端末に通知する通知ステップと、
をコンピュータに実行させる情報処理プログラム。
前記評価取得ステップが取得した前記勝敗を示す評価結果を累積した累積結果に基づいて順序付けされた、前記複数の成果物の順位を、各成果物に対応する対応端末に通知する通知ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献１には、高い費用をかけることなく、短期間で多数の人からの評価情報を得ることを目的として、投票に基づいてデザインを順位付けする技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００３－０４４６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献１に記載の技術では、各投票者が全てのデザインを評価しなければならず、負荷が大きかった。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る情報処理装置は、
コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を、評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得部と、
前記評価取得部が取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記応募された複数の成果物の評価順位を応募者が操作する応募者端末に通知する評価結果通知部と、
を備える。
コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を、評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得部と、
前記評価取得部が取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記応募された複数の成果物の評価順位を応募者が操作する応募者端末に通知する評価結果通知部と、
を備える。
【0007】
上記目的を達成するため、本発明に係る情報処理方法は、
評価取得部が、コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
評価結果通知部が、前記評価取得ステップにおいて取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記応募された複数の成果物の評価順位を応募者が操作する応募者端末に通知する評価結果通知ステップと、
を含む。
評価取得部が、コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
評価結果通知部が、前記評価取得ステップにおいて取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた、前記応募された複数の成果物の評価順位を応募者が操作する応募者端末に通知する評価結果通知ステップと、
を含む。
【0008】
上記目的を達成するため、本発明に係る情報処理プログラムは、
コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
前記評価取得ステップにおいて取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた前記応募された複数の成果物の評価順位を、応募者が操作する応募者端末に通知する評価結果通知ステップと、
をコンピュータに実行させる。
コンペティションに応募された複数の成果物に含まれる２つの前記成果物の組を評価者が操作する評価者端末に提示し、前記評価者による勝敗の評価結果を前記評価者端末から取得する処理を繰り返す評価取得ステップと、
前記評価取得ステップにおいて取得した前記勝敗の評価結果を累積した累積結果に基づいて順序付けされた前記応募された複数の成果物の評価順位を、応募者が操作する応募者端末に通知する評価結果通知ステップと、
をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、より多くの成果物に対して順位付けを行いつつ、評価者の負荷を低減することができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図2A】第２実施形態に係る情報処理装置を含むコンペティションシステムの動作概要を示す図である。
【図2B】第２実施形態に係る情報処理装置を含むコンペティションシステムにおける応募者端末および評価者端末の表示を示す図である。
【図3】第２実施形態に係る情報処理装置を含むコンペティションシステムの構成を示す図である。
【図4】第２実施形態に係る情報処理装置を含むコンペティションシステムの動作手順を示すシーケンス図である。
【図5】第２実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図6A】第２実施形態に係る公募データの構成を示す図である。
【図6B】第２実施形態に係る応募データの構成を示す図である。
【図6C】第２実施形態に係る評価結果の構成を示す図である。
【図6D】第２実施形態に係る重み付けテーブルの構成を示す図である。
【図6E】第２実施形態に係るランキングデータの構成を示す図である。
【図6F】第２実施形態に係る対戦方式のテーブル構成を示す図である。
【図6G】第２実施形態に係るランキングルールのテーブル構成を示す図である。
【図7】第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図8】第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図9】第２実施形態に係る対戦評価処理の手順を示すフローチャートである。
【図10A】第３実施形態に係るコンペティションシステムにおける解答の順位付け手順を示す図である。
【図11A】第３実施形態に係るコンペティションシステムをデータ分析学習に応用した場合の課題設定を示す図である。
【図12A】第３実施形態に係る情報処理装置による、第１コンペティションに対する応募者からの解答評価の第１ラウンドの結果表示を示す図である。
【図12B】第３実施形態に係る情報処理装置による、第１コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示を示す図である。
【図12C】第３実施形態に係る情報処理装置による、第１コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示を示す図である。
【図12D】第３実施形態に係る情報処理装置による、第１コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示を示す図である。
【図13A】第３実施形態に係る情報処理装置による、第２コンペティションに対する応募者からの解答評価の第１ラウンドの結果表示を示す図である。
【図13B】第３実施形態に係る情報処理装置による、第２コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示を示す図である。
【図13C】第３実施形態に係る情報処理装置による、第２コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示を示す図である。
【図13D】第３実施形態に係る情報処理装置による、第２コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示を示す図である。
【図13E】第３実施形態に係る情報処理装置による、第１または第２コンペティションに対する評価者の評価結果を示す図である。
【図14A】第４実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第１ラウンドの結果表示を示す図である。
【図14B】第４実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示を示す図である。
【図14C】第４実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示を示す図である。
【図14D】第４実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示を示す図である。
【図15A】第５実施形態に係る情報処理装置を含むコンペティションシステムの一例における応募者端末および評価者端末の表示を示す図である。
【図15B】第５実施形態に係る情報処理装置を含むコンペティションシステムの他例における応募者端末および評価者端末の表示を示す図である。
【図16】第６実施形態に係る情報処理装置を含むコンペティションシステムにおける応募者端末および評価者端末の表示を示す図である。
【図17】第７実施形態に係る情報処理装置を含むコンペティションシステムにおける応募者端末および評価者端末の表示を示す図である。
【図18】第８実施形態に係る応募データの構成を示す図である。
【発明を実施するための形態】
【0011】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0012】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、コンペティションに応募された複数の成果物を評価して順位付けする装置である。
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、コンペティションに応募された複数の成果物を評価して順位付けする装置である。
【0013】
図１に示すように、情報処理装置１００は、評価取得部１０１と、評価結果通知部１０２と、を含む。評価取得部１０１は、コンペティションに応募された複数の成果物に含まれる２つの成果物の組を評価者１３４１が操作する評価者端末１４０に提示し、評価者１４１による勝敗の評価結果１１１を評価者端末１４０から取得する処理を繰り返す。評価結果通知部１０２は、評価取得部１０１が取得した勝敗の評価結果１１１を累積した累積結果１２１に基づいて順序付けされた、応募された複数の成果物の評価順位を応募者１３１が操作する応募者端末１３０に通知する。
【0014】
本実施形態によれば、２つの成果物の組の対戦を繰り返した結果を累積して順位を付けるので、応募されてきた成果物に対して、評価者への負荷を低減し、下位までの客観的な順位付けを効率的に行うことができる。
【0015】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、対戦型順位決定方式を用いて、成果物ごとに勝敗の評価結果に重み付けをして加算し、加算結果の順序に従って前記応募された複数の成果物の評価順位を付して提示する。また、勝敗の評価結果は、引き分けあるいは不戦勝を含み、引き分けや不戦勝には、勝敗の間の重み付けを行う。また、評価者を複数人とし、各評価者の評価点を前記複数人について加点した点数とする。また、勝敗の評価結果を応募者に提示して、応募者が修正を加えた成果物を取得することで、修正後の成果物に対する勝敗の評価結果をさらに累積した累積結果に基づいて順序付けを行う。なお、評価者の少なくとも一部が応募者から選定されてもよい。
次に、本発明の第２実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、対戦型順位決定方式を用いて、成果物ごとに勝敗の評価結果に重み付けをして加算し、加算結果の順序に従って前記応募された複数の成果物の評価順位を付して提示する。また、勝敗の評価結果は、引き分けあるいは不戦勝を含み、引き分けや不戦勝には、勝敗の間の重み付けを行う。また、評価者を複数人とし、各評価者の評価点を前記複数人について加点した点数とする。また、勝敗の評価結果を応募者に提示して、応募者が修正を加えた成果物を取得することで、修正後の成果物に対する勝敗の評価結果をさらに累積した累積結果に基づいて順序付けを行う。なお、評価者の少なくとも一部が応募者から選定されてもよい。
【0016】
なお、本実施形態においては、成果物を応募者端末２３０から通信でデータとして送信できる対象として説明するが、成果物はデータで扱える物に限定されない。例えば、物理的な物や人の五感で感じるデータで扱えない物も含まれる。
【0017】
【0018】
（動作概要）
図２Ａは、本実施形態に係る情報処理装置を含むコンペティションシステム２００の順位付けの動作概要を示す図である。コンペティションシステム２００は、対戦型順位決定方式を使用して順位付けを行う。
図２Ａは、本実施形態に係る情報処理装置を含むコンペティションシステム２００の順位付けの動作概要を示す図である。コンペティションシステム２００は、対戦型順位決定方式を使用して順位付けを行う。
【0019】
本実施形態のコンペティションシステム２００では、ステップＳ２１０において、公募に応じて応募者による成果物が登録される。ステップＳ２２０においては、同じ実力者同士となるように複数の対戦組を自動的に選定する。ステップＳ２３０においては、自動選定された複数の対戦組について評価者を自動的にアサインして、匿名化された成果物組に対する評価者からの勝敗や引き分けの判定を取得する。そして、ステップＳ２３０においては、ステップＳ２２０とＳ２３０とを必要な回数（ラウンド）だけ繰り返して得た、勝敗の累積スコアに基づき順位表を生成する。なお、評価者の少なくとも一部が応募者から選定されてもよい。
【0020】
（応募者端末および評価者端末の表示）
図２Ｂは、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００における応募者端末２３０および評価者端末２４０の表示を示す図である。
図２Ｂは、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００における応募者端末２３０および評価者端末２４０の表示を示す図である。
【0021】
応募者２３１が操作する応募者端末２３０ではログオンして、コンペティションアプリケーション（以下、コンペティションアプリ）を起動する。応募者端末２３０の表示画面２３２には、情報処理装置２１０からのコンペティションの公募情報２３３が表示される。応募者２３１は、応募者端末２３０の表示画面２３４に応募する成果物２３５を入力して、情報処理装置２１０に登録する。
【0022】
情報処理装置２１０は、登録した複数の成果物から２つの成果物の組を対戦組として選定する。そして、情報処理装置２１０は、ログオンしてコンペティションアプリが起動している、評価者２４１が操作する評価者端末２４０の表示画面２４２に、評価対象２４３として成果物Ａと成果物Ｂとを表示する。評価者２４１は、評価対象２４３を比較して、評価者端末２４０の表示画面２４５に、評価ラベル表２４６に従って評価結果２４７を入力し、評価結果２４７は情報処理装置２１０に収集される。
【0023】
情報処理装置２１０は、収集した評価結果に重み付けをして累積し、累積結果に基づいて成果物の順序付け（ランキング）を行う。情報処理装置２１０は、応募者端末２３０の表示画面２３６に、評価結果２３７および順位表２３８を表示させる。なお、応募者２３１による成果物の修正がある場合は、表示画面２３４に戻って、成果物の修正あるいは修正された成果物を入力して、情報処理装置２１０の登録を更新する。
【0024】
（システム構成）
図３、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００の構成を示す図である。
図３、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００の構成を示す図である。
【0025】
コンペティションシステム２００は、ネットワーク３２０を介して接続された情報処理装置２１０と、応募者端末２３０と、評価者端末２４０と、を備える。応募者端末２３０は、コンペティションの対象となる成果物を応募する応募者２３１が操作する端末である。評価者端末２４０は、応募された成果物のうちの２つの成果物の組の勝敗を評価する評価者２４１が操作する端末である。
【0026】
情報処理装置２１０は、応募された成果物の順序付けに使用されるデータを格納するデータベース３１１を有する。情報処理装置２１０はデータベース３１１を利用して、複数の応募者端末２３０からそれぞれの応募者２３１による成果物を収集し、２つの成果物の組を評価者端末２４０に提示する。そして、情報処理装置２１０は、評価者２４１による評価結果である勝敗を評価者端末２４０から収集する。この過程を繰り返して評価結果を累積し、累積結果に基づいて成果物の順位付けを行い、複数の応募者端末２３０に通知する。なお、情報処理装置２１０には、その動作をオペレータ３５１操作するオペレータ端末３５０が、直接あるいはネットワークを介して接続されている。
【0027】
（動作シーケンス）
図４は、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００の動作手順を示すシーケンス図である。なお、図４においては、オペレータ端末３５０からのオペレータ３５１による指示に基づいて、データベース３１１に格納された対戦方式４０１のテーブルやランキングルール４０２のテーブルから対戦方式やランキングルールが既に選定されているとして、その以降の動作手順を説明する。
図４は、本実施形態に係る情報処理装置２１０を含むコンペティションシステム２００の動作手順を示すシーケンス図である。なお、図４においては、オペレータ端末３５０からのオペレータ３５１による指示に基づいて、データベース３１１に格納された対戦方式４０１のテーブルやランキングルール４０２のテーブルから対戦方式やランキングルールが既に選定されているとして、その以降の動作手順を説明する。
【0028】
まず、ステップＳ４００において、オペレータ３５１がオペレータ端末３５０により、累積された対戦結果から全成果物の評価ランキングを決定できるように、本コンペティションにおいて使用する対戦方式と、評価方法を定めたランキングルールとを選定する。成果物を公募して応募された成果物を収集する場合、ステップＳ４０１において、応募者端末２３０はログオンを行い、情報処理装置２１０と接続する。応募者端末２３０のログオンを受けて、情報処理装置２１０は、ステップＳ４０３において、データベース３１１から公募のための公募データ４１１を読み出して、公募期間などを含む応募内容をログオンした応募者端末２３０に送信する。ログオンした応募者端末２３０は、ステップＳ４０５において、受信した応募内容を応募者２３１に通知する。応募者２３１は応募内容に対応する成果物を応募者端末２３０に入力し、応募者端末２３０は、ステップＳ４０７において、応募のため成果物を情報処理装置２１０に送信する。情報処理装置２１０は、公募期間が終了するまで、ステップＳ４０９において、応募者端末２３０からの成果物を収集して、データベース３１１に応募データ４１２として格納する。
【0029】
応募された成果物を評価する場合、ステップＳ４１１において、評価者端末２４０はログオンを行い、情報処理装置２１０と接続する。
【0030】
成果物の評価処理の第１段階（第１ラウンド）では、評価者端末２４０のログオンを受けて、情報処理装置２１０は、ステップＳ４１３において、データベース３１１の公募データ４１１から対戦させる２つの成果物の組を読み出して、それぞれの組をログオンした評価者端末２４０に送信する。評価者端末２４０は、ステップＳ４１５において、受信した２つの成果物の組を評価者２４１に提示し、評価者２４１による勝敗判定である評価結果を情報処理装置２１０に送信する。なお、各対戦組の評価は、１人の評価者２４１によって行われても、複数の評価者２４１によって独立して行われその評価を統合してもよい。また、１人の評価者２４１が複数の対戦組の評価を行ってもよい。評価者の数や組み合わせは、評価の公正さや正確さによって設定可能である。
【0031】
情報処理装置２１０は、受信した評価結果をデータベース３１１の評価結果４１３に応募者２３１に対応付けて格納する。また、情報処理装置２１０は、ステップＳ４１７において、収集した評価結果を比較して成果物のランキングを付してデータベース３１１のランキングデータ４１４に保持すると共に、評価結果およびランキングを応募者端末２３０に送信する。応募者端末２３０は、ステップＳ４１９において、受信した評価結果およびランキングを応募者２３１に通知する。評価結果およびランキングを見た応募者２３１が成果物の修正を望む場合、応募者端末２３０は、ステップＳ４２１において、応募者２３１による成果物の修正を情報処理装置２１０に送信して、応募データ４１２を更新する。
【0032】
成果物の評価処理の第２段階（第２ラウンド）では、情報処理装置２１０は、ステップＳ４２３において、データベース３１１の公募データ４１１から対戦させる異なる２つの成果物の組を読み出して、それぞれの組をログオンした評価者端末２４０に送信する。評価者端末２４０は、ステップＳ４２５において、受信した２つの成果物の組を評価者２４１に提示し、評価者２４１による勝敗判定である評価結果を情報処理装置２１０に送信する。情報処理装置２１０は、受信した評価結果をデータベース３１１の評価結果４１３に応募者２３１に対応付けて累積する。また、情報処理装置２１０は、ステップＳ４２７において、累積した評価結果を比較して成果物の累積ランキングを付してデータベース３１１のランキングデータ４１４に保持すると共に、評価結果および累積ランキングを応募者端末２３０に送信する。応募者端末２３０は、ステップＳ４２９において、受信した評価結果および累積ランキングを応募者２３１に通知する。評価結果および累積ランキングを見た応募者２３１が成果物の修正を望む場合、応募者端末２３０は、ステップＳ４３１において、応募者２３１による成果物の修正を情報処理装置２１０に送信して、応募データ４１２を更新する。
【0033】
以下、各成果物の累積評価に有意な差異が見られて最終的な累積ランキングが決定されるまで、成果物の評価処理の複数段階（複数ラウンド）を繰り返す。ここで、各ラウンドにおける評価者は、同じでもよいし異なっていてもよい。例えば、リーグ戦方式であれば、同じ評価者グループであるのが望ましいが、トーナメント戦方式（シングルエリミネーション方式）やスイスドロー方式などでは、ラウンドを重ねるごとに接近して勝敗判断が難しくなるので、後のラウンドはより専門知識のある評価者とするのが望ましい。
【0034】
情報処理装置２１０は、ステップＳ４４１において、最終ランキングの決定を確認してランキングデータ４１４に保持すると共に、最終段階（最終ラウンド）の評価結果および最終ランキングとを応募者端末２３０に送信する。応募者端末２３０は、ステップＳ４４３において、応募者２３１に最終評価結果および最終ランキングを通知する。
【0035】
なお、最終ランキングの決定までの段階数（ラウンド数）は、対戦型順位付け方法によってそれぞれ異なる。例えば、組合わせ固定のトーナメント戦方式では（対戦者数Ｐ＝２n：段階数ｎ）であり、リーグ戦方式では（対戦者数Ｐ＝ｎ＋１：段階数ｎ）である。また、スイスドロー方式では、トーナメント戦方式と同様に（対戦者数Ｐ＝２n：段階数ｎ）となるが、勝率の近い組み合わせの対戦を行って順位付けの公正さを図るので試合数が若干増える。なお、本実施形態で使用される対戦型順位決定方式は上記方式に限定されず、コンペティションで応募した成果物の順位付けに上記方式以外の対戦型順位決定方式を使用して評価結果を累積しても、客観的な順位付けを効率的に行うことができる。
【0036】
【0037】
情報処理装置２１０は、データベース３１１と、対戦方式／ランクングルール選定部５１１と、通信制御部５０１と、公募通知部５０２と、応募取得部５０３と、対戦組選択部５０４と、対戦組評価依頼部５０５と、を備える。また、情報処理装置２１０は、対戦組評価取得部５０６と、評価結果累積部５０７と、ランキング生成部５０８と、評価結果／ランキング通知部５０９と、成果物修正取得部５１０と、を備える。
【0038】
データベース３１１は、情報処理装置２１０で実行されるコンペティションのための複数の対戦方式４０１の格納領域と、複数のランキングルール４０２の格納領域と、を有する。また、データベース３１１は、応募者端末２３０に公募を通知するための公募データ４１１の格納領域と、応募者端末２３０から取得された成果物を格納する応募データ４１２の格納領域と、を有する。また、データベース３１１は、評価者端末２４０から取得された対戦組の評価結果を応募者に対応付けて累積する評価結果４１３の格納領域と、応募者に対応付けて累積された評価結果４１３から生成されたランキングを保持するランキングデータ４１４の格納領域と、を有する。
【0039】
対戦方式／ランクングルール選定部５１１は、オペレータ端末３５０からのオペレータ３５１による対戦方式およびランクングルールの指定に従って、データベース３１１に格納された対戦方式およびランクングルールを選定する。なお、対戦方式およびランクングルールの組み合わせは、低負荷で下位までの客観的な順位付けを効率的に行うことができるような組み合わせが選定される。
【0040】
通信制御部５０１は、応募者端末２３０や評価者端末２４０との通信を制御する。公募通知部５０２は、公募データ４１１を読み出して応募者端末２３０に成果物の公募を通知する。応募取得部５０３は、応募者端末２３０から応募された成果物を取得して応募データ４１２として登録する。対戦組選択部５０４は、公募期間の終了後に、応募され登録された成果物から２つの成果物の組である対戦組を選定する。対戦組の選定方法は、上述のように、対戦型順位決定方式のいずれかを使用する。対戦組評価依頼部５０５は、対戦組選択部５０４が選定した対戦組の勝敗評価を評価者端末２４０に送信して、評価者２４１の評価を依頼する。
【0041】
対戦組評価取得部５０６は、評価者２４１が入力した対戦組の評価結果を評価者端末２４０から取得する。評価結果累積部５０７は、対戦組評価取得部５０６が取得した対戦組の評価結果を応募者（あるいは成果物）に対応付けて累積し、評価結果４１３として格納する。ランキング生成部５０８は、重み付けテーブル５８１を有し、重み付けされた評価結果の現ラウンドまでの累積結果に基づいて応募者（あるいは成果物）のランキングを行い、ランキングデータ４１４として保持する。評価結果／ランキング通知部５０９は、現ラウンドの評価結果および現ラウンドまでの累積結果に基づくランキングを、応募者端末２３０に送信して応募者２３１に通知する。成果物修正取得部５１０は、評価結果およびランキングの通知を見た応募者２３１が成果物の修正を応募者端末２３０に指示した場合に、応募者端末２３０からの成果物の修正（あるいは修正された成果物）を取得し、応募データ４１２を修正する。修正後の評価およびランキングは、修正された成果物に基づいて行われる。なお、修正前の成果物の評価結果と修正後の成果物の評価結果とのランキングへの寄与率は、対象となる成果物によって設定することができる。
【0042】
（公募データ）
図６Ａは、本実施形態に係る公募データ４１１の構成を示す図である。公募データ４１１は、公募通知部５０２が応募者端末２３０にコンペティションの公募を通知するためのデータとして使用される。
図６Ａは、本実施形態に係る公募データ４１１の構成を示す図である。公募データ４１１は、公募通知部５０２が応募者端末２３０にコンペティションの公募を通知するためのデータとして使用される。
【0043】
公募データ４１１は、コンペティションを識別するコンペＩＤ６１１に対応付けて、コンペティションの名前であるコンペ名称６１２と、公募期間６１３と、公募内容６１４と、を記憶する。
【0044】
（応募データ）
図６Ｂは、本実施形態に係る応募データ４１２の構成を示す図である。応募データ４１２は、応募取得部５０３が応募者端末２３０から取得した応募成果物を応募者（または成果物）に対応付けて登録するために使用される。
図６Ｂは、本実施形態に係る応募データ４１２の構成を示す図である。応募データ４１２は、応募取得部５０３が応募者端末２３０から取得した応募成果物を応募者（または成果物）に対応付けて登録するために使用される。
【0045】
応募データ４１２は、コンペＩＤ６２１に対応付けて、複数の応募を識別する応募ＩＤ６２２を記憶する。そして、各応募ＩＤ６２２に対応付けて、応募者属性６２３と、応募日時６２４と、応募された成果物６２５と、を記憶する。各応募ＩＤ６２２は、成果物を識別する成果物ＩＤと応募者を識別する応募者ＩＤとを含む。
【0046】
（評価結果）
図６Ｃは、本実施形態に係る評価結果４１３の構成を示す図である。評価結果４１３は、評価者端末２４０から取得した対戦組の勝敗である評価結果を評価結果累積部５０７が応募者（あるいは成果物）ごとに累積した累積結果を格納する。
図６Ｃは、本実施形態に係る評価結果４１３の構成を示す図である。評価結果４１３は、評価者端末２４０から取得した対戦組の勝敗である評価結果を評価結果累積部５０７が応募者（あるいは成果物）ごとに累積した累積結果を格納する。
【0047】
評価結果４１３は、各コンペＩＤ６３１に対応付けて、複数の応募ＩＤ６３２を記憶する。そして、各応募ＩＤ６３２に対応付けて、複数ラウンドの勝負結果６３３を累積する。勝負結果６３３には、ラウンド１(round 1)の対戦相手と勝敗結果、ラウンド２(round 2)の対戦相手と勝敗結果、…、ラウンドｎ(round n)の対戦相手と勝敗結果が対戦終了すると記録される。
【0048】
（重み付けテーブル）
図６Ｄは、本実施形態に係る重み付けテーブル５８１の構成を示す図である。重み付けテーブル５８１は、ランキング生成部５０８が、各ラウンドが終了すると、今までのラウンドの対戦結果に重み付けをするために使用される。重み付けテーブル５８１は、対戦結果への重み付けを記憶するスコア記憶部６４０と、各応募ＩＤの対戦結果に重み付けして加算した累積スコアを算出する対戦評価リスト６５０と、を有する。
図６Ｄは、本実施形態に係る重み付けテーブル５８１の構成を示す図である。重み付けテーブル５８１は、ランキング生成部５０８が、各ラウンドが終了すると、今までのラウンドの対戦結果に重み付けをするために使用される。重み付けテーブル５８１は、対戦結果への重み付けを記憶するスコア記憶部６４０と、各応募ＩＤの対戦結果に重み付けして加算した累積スコアを算出する対戦評価リスト６５０と、を有する。
【0049】
スコア記憶部６４０は、評価者端末２４０から取得した対戦結果６４１に対応して、重み付けのスコア６４２を記憶する。例えば、対戦結果６４１が“勝ち”であれは“３”、引き分け”であれば“１”、“負け”であれば“０”、などを記憶する。あるいは、“引き分けだが優勢”であれば“１．５”としてもよい。なお、対戦結果６４１の分け方、あるいは、スコア６４２の点数については、上記例に限定されず、用いる対戦型順位決定方式や評価者の人数なども考慮して適切に決定されればよい。例えば、勝敗のみで引分なしでもよいし、また、勝敗における大差か僅差かで異なるスコアとすることもできる。あるいは、スコアを加点方式にせずに、敗者には大差か僅差かで異なるマイナス・スコアを付すこともできる。
【0050】
対戦評価リスト６５０は、各コンペＩＤ６５１に対応付けて、複数の応募ＩＤ６５２を記憶する。そして、各応募ＩＤ６５２に対応付けて、複数ラウンドの勝負結果６５３を記憶する。勝負結果６５３は、ラウンド１の結果および重み付けスコア、ラウンド２の結果および重み付けスコア、…、ラウンドｎの結果および重み付けスコア、現在までのラウンドの累積スコア、を含む。
【0051】
なお、本実施形態では、ランキング生成部５０８で重み付けテーブル５８１を用いて重み付け、あるいは、ランキングを行ったが、評価結果累積部５０７で重み付けを行って評価結果４１３に格納し、ランキング生成部５０８は既に重み付けをした累積結果を用いてランキングを行ってもよい。
【0052】
（ランキングデータ）
図６Ｅは、本実施形態に係るランキングデータ４１４の構成を示す図である。ランキングデータ４１４は、ランキング生成部５０８が生成したランキングを保持するために使用される。
図６Ｅは、本実施形態に係るランキングデータ４１４の構成を示す図である。ランキングデータ４１４は、ランキング生成部５０８が生成したランキングを保持するために使用される。
【0053】
ランキングデータ４１４は、各コンペＩＤ６６１に対応付けて、ランキング６６２と、そのランクとなった成果物ＩＤ６６３と、応募者ＩＤ６６４と、累積スコア６６５と、を記憶する。
【0054】
（対戦方式）
図６Ｆは、本実施形態に係る対戦方式４０１のテーブル構成を示す図である。対戦方式４０１のテーブルは、情報処理装置２１０が、オペレータ端末３５０からオペレータ３５１により指示された対戦方式を複数の対戦方式から選定するために使用するテーブルである。
図６Ｆは、本実施形態に係る対戦方式４０１のテーブル構成を示す図である。対戦方式４０１のテーブルは、情報処理装置２１０が、オペレータ端末３５０からオペレータ３５１により指示された対戦方式を複数の対戦方式から選定するために使用するテーブルである。
【0055】
対戦方式４０１のテーブルは、対戦方式６７１のそれぞれに対応付けて、複数の対戦結果６７２を記憶する。対戦方式６７１には、本実施形態で使用するスイスドローや、トーナメント、リーグ戦などが記憶されるが、対戦を基礎とする他の様々な対戦方式も記憶される。また、対戦結果６７２としては、不戦勝の有り無し、引分優勢の有り無し、トーナメントの敗者復活などがあるが、図６Ｆに限定されない。各対戦結果６７２に対しては、それぞれのスコア方法６７３と、詳細ルール６７４と、実行プログラム６７５と、ランキングルールとの組み合わせ６７６と、を記憶する。スコア方法６７３には、選択可能あるいは設定可能な複数のスコア方法が記憶されてよい。また、実行プログラム６７５は、情報処理装置２１０によって読み出されて実行されることにより、選定された対戦方式を実現するモジュールを記憶する。また、ランキングルールとの組み合わせ６７６は、組み合わせる複数のランキングルールとそのランキング結果が記憶されるが、特に、低負荷で下位までの客観的な順位付けを効率的に行うことができるような組み合わせが記憶されるのが望ましい。具体的には、スイスドロー方式やトーナメト方式（シングルエリミネーション）に敗者復活戦を導入する組み合わせや、優勢判定を加えるなどがある。すなわち、なにかしらポイントの偏りを付加する仕組みを導入することで、あるいは、ランキングルールにおいて、対戦相手の強弱や対戦結果が大差か僅差かなどを組み込むことで、あらゆる対戦方式の使用ができる。
【0056】
（ランキングルール）
図６Ｇは、本実施形態に係るランキングルール４０２のテーブル構成を示す図である。ランキングルール４０２のテーブルは、情報処理装置２１０が、オペレータ端末３５０からオペレータ３５１により指示されたランキングルールを複数のランキングルールから選定して、選定されたランキングルールが複数の場合の適用順序を決定するために使用するテーブルである。
図６Ｇは、本実施形態に係るランキングルール４０２のテーブル構成を示す図である。ランキングルール４０２のテーブルは、情報処理装置２１０が、オペレータ端末３５０からオペレータ３５１により指示されたランキングルールを複数のランキングルールから選定して、選定されたランキングルールが複数の場合の適用順序を決定するために使用するテーブルである。
【0057】
ランキングルール４０２のテーブルは、ランキングルール６８１に対応付けて、ルール内容６８２と、実行プログラム６８３と、使用するかしないかのフラグ６８４と、使用順序６８５と、を記憶する。ランキングルール６８１としては、例えば、オポネント・マッチ・ウィン・パーセンテージ（ＯＭＷＰ）、ゲーム・ウィン・パーセンテージ（ＧＷＰ）、オポネント・ゲーム・ウィン・パーセンテージ（ＯＧＷＰ）、などがあるが、これに限定されない。また、実行プログラム６８３は、情報処理装置２１０によって読み出されて実行されることにより、選定されたランキングルールを実現するモジュールを記憶する。
【0058】
ＯＭＷＰは「同じ勝ち点なら、より強い人と戦ってきた方が上と判定する」、ＧＷＰは「同じレベルの対戦相手と戦ってきているなら、より圧勝している方が強いと判断する」、ＯＧＷＰは「全ての対戦相手のゲーム勝率(ＧＷＰ)の平均が高い方を上位とする」、との順位決定のアルゴリズムである。通常は、ＯＭＷＰ→ＧＷＰ→ＯＧＷＰの順で利用される。なお、順位決定の上記アルゴリズムの詳細については、
“https://dic.nicovideo.jp/a/%E3%82%B9%E3%82%A4%E3%82%B9%E3%83%89%E3%83%AD%E3%83%BC”に記載がある。
“https://dic.nicovideo.jp/a/%E3%82%B9%E3%82%A4%E3%82%B9%E3%83%89%E3%83%AD%E3%83%BC”に記載がある。
【0059】
【0060】
図７で、ＣＰＵ(Central Processing Unit)７１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成部を実現する。ＲＯＭ(Read Only Memory)７２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース７３０は、応募者端末２３０や評価者端末２４０との、ネットワーク３２０を介する通信を制御する。
【0061】
ＲＡＭ(Random Access Memory)７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ７４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。公募データ７４１は、応募者端末２３０に送信する公募用のデータである。応募データ（成果物）／応募ＩＤ７４２は、応募ＩＤにより識別される応募者端末２３０から取得された応募データ（成果物）である。評価結果／応募ＩＤ組７４３は、評価者端末２４０から取得した、対戦組の２つの応募ＩＤ組の成果物の対戦結果のデータである。スコア／応募ＩＤ７４４は、各応募ＩＤに対応する対戦結果および累積結果のスコアである。重み付けテーブル５８１は、図６Ｄで説明した対戦結果および累積結果に重み付けするためのテーブルである。なお、重み付けテーブル５８１は、ストレージ７５０に格納されてもよい。ランキング／応募ＩＤ７４５は、応募ＩＤをランキング順に並べたデータである。
【0062】
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。データベース３１１に格納される対戦方式４０１とランクングルールとは、図６Ｆおよび図６Ｇで説明したテーブルである。また、データベース３１１に格納される公募データ４１１と、応募データ４１２と、評価結果４１３と、ランキングデータ４１４は、図６Ａ～図６Ｃおよび図６Ｅで説明したデータである。ストレージ７５０には、以下のプログラムが格納される。情報処理プログラム７５１は、情報処理装置２１０の全体を制御するプログラムである。公募通知モジュール７５２は、公募データ４１１を用いて応募者端末２３０に対して公募をするためのモジュールである。応募収集モジュール７５３は、応募者端末２３０から応募された成果物を収集して応募データに登録するモジュールである。評価収取モジュール７５４は、評価者端末２４０からの対戦組の評価結果を収集して応募ＩＤに対応付けて評価結果４１３に累積するモジュールである。ランキング生成モジュール７５５は、評価結果４１３に基づいて重み付けされた累積スコアに従って応募ＩＤに対してランキング付けを行うモジュールである。
【0063】
なお、図７のＲＡＭ７４０やストレージ７５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【0064】
＜情報処理装置の処理手順＞
図８は、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行し、図５の構成要素を実現する。
図８は、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行し、図５の構成要素を実現する。
【0065】
情報処理装置２１０は、ステップＳ８０１において、オペレータ端末３５０からのオペレータ３５１の指示に従って、データベース３１１からコンペティションに使用する対戦方式およびランキングルールを選定する。次に、情報処理装置２１０は、ステップＳ８１１において、応募者端末２３０に対する公募処理であるか否かを判定する。公募処理であれば、情報処理装置２１０は、ステップＳ８１３において、データベース３１１から公募データ４１１を取得する。そして、情報処理装置２１０は、ステップＳ８１５において、公募データ４１１あるいは公募データ４１１から生成された公募画面をログインされた応募者端末２３０に通知する。
【0066】
公募処理でなければ、情報処理装置２１０は、ステップＳ８２１において、応募者端末２３０からの応募を受け付ける応募処理であるか否かを判定する。応募処理であれば、情報処理装置２１０は、ステップＳ８２３において、応募者端末２３０から応募データとして成果物を取得する。そして、情報処理装置２１０は、ステップＳ８２５において、応募ＩＤに対応付けて成果物を応募データ４１２としてデータベース３１１に登録する。
【0067】
公募処理でなく応募処理でもなければ、情報処理装置２１０は、ステップＳ８３１において、評価者端末２４０に対する対戦評価処理であるか否かを判定する。対戦評価処理であれば、情報処理装置２１０は、ステップＳ８３３において、対戦評価処理を実行する。
【0068】
公募処理でなく応募処理でもなく対戦評価処理でもなければ、情報処理装置２１０は、ステップＳ８４１において、成果物の評価結果に基づくランキング処理であるか否かを判定する。評価ランキング処理であれば、情報処理装置２１０は、ステップＳ８４３において、今までのラウンドの対戦の累積結果に基づいて対戦評価リストを生成する。情報処理装置２１０は、ステップＳ８４５において、対戦評価リストに基づいてスコア順のランキングデータを生成する。そして、情報処理装置２１０は、ステップＳ８４７において、ランキングデータを応募者端末２３０に通知する。
【0069】
（対戦評価処理）
図９は、本実施形態に係る対戦評価処理Ｓ８３３の手順を示すフローチャートである。
図９は、本実施形態に係る対戦評価処理Ｓ８３３の手順を示すフローチャートである。
【0070】
情報処理装置２１０は、ステップＳ９０１において、対戦グループの応募成果物から２つの成果物の複数の対戦組を生成する。最初の対戦ラウンドでは、あらかじめ成果物に評価値が付加されてない場合、ランダムに２つの成果物を対戦相手として選定する。２回目以降の対戦ラウンドでは、新たに生成された対戦グループから対戦組を生成する。次の対戦グループは、使用される対戦型順位決定方式に対応して生成される。例えば、トーナメント戦方式では、直近の対戦ラウンドの勝者が新たな対戦グループとなる。リーグ戦方式では、対戦グループは変わらず今まで対戦していない対戦組が選定される。スイスドロー方式では、今までの対戦結果の勝率が同じ、あるいは、勝率が近接しているグループが対戦グループとなる。
【0071】
情報処理装置２１０は、ステップＳ９０３において、ステップＳ９０１で生成された各対戦組の成果物を評価者端末２４０に通知する。情報処理装置２１０は、ステップＳ９０５において、評価者端末２４０からの評価結果の受信を待つ。評価結果の受信があれば、情報処理装置２１０は、ステップＳ９０７において、評価結果（勝負）および重み付けをしたスコアを、応募ＩＤ（応募者ＩＤまたは成果物ＩＤ）に対応付けて累積する。なお、図９では複数の対戦組の評価結果や複数の評価者からの評価結果についての受信および累積処理については、煩雑となるため省略しているが全ての評価結果の受信と累積とが繰り返される。
【0072】
情報処理装置２１０は、ステップＳ９０９において、最新の対戦ラウンドの評価結果および現在のランキングを応募者端末２３０に通知する。そして、情報処理装置２１０は、ステップＳ９１１において、対戦結果も考慮して対戦型順位決定方式に対応した次の対戦グループを生成する。情報処理装置２１０は、ステップＳ９１３において、評価結果および現在のランキングを見た応募者２３１による成果物の修正があるか否かを判定する。成果物の修正が応募者端末２３０から受信されれば、情報処理装置２１０は、ステップＳ９１５において、修正した応募成果物を取得して格納、あるいは、格納している成果物を修正する。
【0073】
情報処理装置２１０は、ステップＳ９１７において、全ての応募成果物の公正な順位付けが可能となるだけのラウンドが終了したか否かを判定する。全ての応募成果物の順位付けが可能でなければ、ステップＳ９０１に戻って、次の対戦グループによる次の対戦ラウンドを全ての応募成果物の順位付けが可能になるまで繰り返す。
【0074】
本実施形態によれば、応募されてきた成果物に対して、評価者への負荷を低減し、下位までの客観的な順位付けを効率的に行うことができる。また、評価の重み付けにより、より正確で客観的な順位付けを効率的に行うことができる。さらに、各評価後の応募者による成果物の修正をも可能とし、より優れた成果物を得ることができる。
【0075】
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、一般的な対戦型方式でなく対戦型の１つとしてスイスドロー方式を採用した具体的な処理を説明する点で異なる。なお、スイスドロー方式は、組み合わせの異なる２つの成果物の組による所定段数の処理を繰り返し、各段の処理が、前段の処理の結果により同じ勝率となった成果物のグループに対して行われる方式である。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第３実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、一般的な対戦型方式でなく対戦型の１つとしてスイスドロー方式を採用した具体的な処理を説明する点で異なる。なお、スイスドロー方式は、組み合わせの異なる２つの成果物の組による所定段数の処理を繰り返し、各段の処理が、前段の処理の結果により同じ勝率となった成果物のグループに対して行われる方式である。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0076】
＜コンペティションの順位付け手順＞
図１０Ａは、本実施形態に係るコンペティションシステムにおける解答の順位付け手順１０１０を示す図である。図１０Ａには、煩雑さを避けるために登録された成果物（応募者）の数が８人の場合の、スイスドロー方式の順位付け手順を示すが、成果物（応募者）の数が異なる場合も同様の手順である。なお、図１０Ａにおいては、スイスドロー方式の考え方を示すため、引き分けや不戦勝などを省略して説明する。
図１０Ａは、本実施形態に係るコンペティションシステムにおける解答の順位付け手順１０１０を示す図である。図１０Ａには、煩雑さを避けるために登録された成果物（応募者）の数が８人の場合の、スイスドロー方式の順位付け手順を示すが、成果物（応募者）の数が異なる場合も同様の手順である。なお、図１０Ａにおいては、スイスドロー方式の考え方を示すため、引き分けや不戦勝などを省略して説明する。
【0077】
８人でスタートする１回戦１０１１においては、（８人＝２人×４組）により、ランダムに選定された４組の対戦組が生成される。なお、８人についてレベルが既知の場合には、レベルの近い組が選定される。
【0078】
１回戦１０１１の終了時には、勝者組４人（１勝）と敗者組４人（１敗）との同勝率の２つの対戦グループが生成される。２回戦１０１２では、勝者組４人は同勝率なのでランダムに２組の対戦組が選定される。敗者組４人においてもランダムに２組の対戦組が選定される。
【0079】
２回戦１０１２の終了時には、勝者組４人の対戦結果から勝者組２人（２勝）と敗者組２人（１勝１敗）とが生成され、敗者組４人の対戦結果から勝者組２人（１勝１敗）と敗者組２人（２敗）とが生成される。ここで、勝者組４人の敗者と敗者組４人の勝者とは共に１勝１敗で勝率が同じであるので、１つの１勝１敗組４人の対戦グループを生成する。したがって、２回戦１０１２の終了時には、２勝組２人と、１勝１敗組４人と、２敗組２人との３つの対戦グループが生成される。そして、３回戦１０１３では、２勝組２人および２敗組２人では１組の対戦組である。１勝１敗組４人においては２組の対戦組が選定される。なお、１勝１敗組４人においては、既に対戦した組は対戦組に選定されない。また、対戦結果に勝敗のレベル（例えば、複数評価者による勝敗結果の加算、あるいは、点数による勝敗）が含まれていれば、勝率に加えてよりレベルの近い組が選定される。
【0080】
３回戦１０１３の終了時には、２勝組２人の対戦結果から勝者１人（３勝）と敗者１人（２勝１敗）とが生成される。１勝１敗組４人の対戦結果から勝者組２人（２勝１敗）と敗者組２人（１勝２敗）とが生成される。２敗組２人の対戦結果から勝者１人（１勝２敗）と敗者１人（３敗）とが生成される。ここで、２勝組２人の敗者と１勝１敗組４人の勝者組２人とは、共に２勝１敗で勝率が同じであるので、１つの２勝１敗組３人のグループを生成する。また、２敗組２人の勝者と１勝１敗組４人の敗者組２人とは、共に１勝２敗で勝率が同じであるので、１つの１勝２敗組３人のグループを生成する。
【0081】
３回戦１０１３の終了時の状態１０１４においては、最上位と最下位とは決定している。また、２勝１敗組３人のグループおよび１勝２敗組３人のグループにおいても、今までの３回の対戦において、勝率は同じでも勝ち方や対戦相手の違いなどから順位付けが可能となる場合が多い。この時点で、同条件で順位付けできない場合は、同条件の成果物で対戦することも有り得る。
【0082】
なお、本実施形態においては、１つの対戦組を複数評価者で評価して、勝敗、引き分け、優勢に対してスコアで重み付けをするため、勝率が同じであっても順位付けが可能となっている。
【0083】
（対戦評価方法）
図１０Ｂは、図１０Ａの各対戦における評価者の評価方法１０２０を示す図である。図１０Ｂは、本実施形態の成果物であるデータ分析（例えば、ＡＩ処理のためのデータ分析）の課題に対する解答Ａと解答Ｂとを、評価者２４１が評価する評価内容１０２１と、評価結果に対する第１例のスコア表１０２２と、第２例のスコア表１０２３を示している。
図１０Ｂは、図１０Ａの各対戦における評価者の評価方法１０２０を示す図である。図１０Ｂは、本実施形態の成果物であるデータ分析（例えば、ＡＩ処理のためのデータ分析）の課題に対する解答Ａと解答Ｂとを、評価者２４１が評価する評価内容１０２１と、評価結果に対する第１例のスコア表１０２２と、第２例のスコア表１０２３を示している。
【0084】
評価内容１０２１には、評価判定として、評価対象が「２つの解答レポート（成果物）の優劣をジャッジ」であることと、評価結果が「勝ち負け／引き分け（優勢）／論外」であることと、が規定されている。また、評価者の評価基準として、「評価は総合的に判断」すること、「規程を満たす提出物か？」、「データ分析が適正か？」、「分析結果と根拠が整合しているか？」、「結論、主張は支持されるものか？」、「記述のわかりやすさ、工夫がされているか？」、「観点やアイデアに優れているか？」などが規定されている。
【0085】
第１例のスコア表１０２２には、評価結果が勝ちの場合にスコア“３”、 不戦勝の場合にスコア“２”、引き分けの場合にスコア“１”、負けの場合にスコア“０”、の設定が示されている。
【0086】
第２例のスコア表１０２３には、評価結果が不戦勝を含む勝ちの場合にスコア“３”、引き分けで優勢の場合にスコア“１．５”、引き分けの場合にスコア“１”、負けの場合にスコア“０”、の設定が示されている。
【0087】
なお、スコアの配分は、これらに限定されず、評価対象の成果物や評価者のレベルなどに対応してより適切な配分に変更してもよい。また、上位をより厳密に順位付け可能なようなスコア配分も考えられる。しかしながら、本願発明は、順位付けを効率的に行うことも目指しているため、各対戦組の評価は高い専門的知識を有さずとも簡単にでき、その評価結果の累積を対戦型順位決定方式に適用して客観的な順位付けを行うことが望ましい。
【0088】
＜コンペティションの課題および解答＞
（課題設定）
図１１Ａは、本実施形態に係るコンペティションシステムをデータ分析学習に応用した場合の課題設定１１１０を示す図である。本実施形態では、データ分析学習の簡単な例として、ある目的のために収集したデータを統計的に処理して、課題に解答する例を示す。
（課題設定）
図１１Ａは、本実施形態に係るコンペティションシステムをデータ分析学習に応用した場合の課題設定１１１０を示す図である。本実施形態では、データ分析学習の簡単な例として、ある目的のために収集したデータを統計的に処理して、課題に解答する例を示す。
【0089】
本コンペティションへの成果物である課題への解答の提出期間（公募期間）は、８月１２日～８月２０日である。
【0090】
本コンペティションの課題は、以下の通りである。
『ある疾患の治療効果を検証するため200人の患者に対して臨床試験を実施した。
・介入（Intervention）群は100人で新規治療を行った。
・標準治療（Control）群も100人で該当疾患の標準治療を行った。
・症状改善をスコアリング（Score）し評価した。ここで、得られたデータで以下をあきらかにしたい。
・課題（Ｑ)：標準治療にくらべ、新規治療の介入による症状の改善が期待できるか？ データ分析により結論を導く。』
『ある疾患の治療効果を検証するため200人の患者に対して臨床試験を実施した。
・介入（Intervention）群は100人で新規治療を行った。
・標準治療（Control）群も100人で該当疾患の標準治療を行った。
・症状改善をスコアリング（Score）し評価した。ここで、得られたデータで以下をあきらかにしたい。
・課題（Ｑ)：標準治療にくらべ、新規治療の介入による症状の改善が期待できるか？ データ分析により結論を導く。』
【0091】
以下のデータを提供する。
『・ＩＤ：患者ＩＤ
・Group：「新規介入群（Intervention）」or「標準治療群（Control）」
・Score：症状改善スコア。0-25までの値をとり、数値が大きいほど症状改善が認められた。
・Age：年齢
・Sex：性別
・Seriousness：重症度（Low or High）。医師が総合的に判断した対象患者の症状の重さ。』
『・ＩＤ：患者ＩＤ
・Group：「新規介入群（Intervention）」or「標準治療群（Control）」
・Score：症状改善スコア。0-25までの値をとり、数値が大きいほど症状改善が認められた。
・Age：年齢
・Sex：性別
・Seriousness：重症度（Low or High）。医師が総合的に判断した対象患者の症状の重さ。』
【0092】
以下のルールに従う。
『・提出物は提供フォーマットに従い作成する。
・提出物に名前等、個人を識別できるもの、あるいはその掛かりになるものは記述しない。
・参加者間の情報交換は禁止する。』
『・提出物は提供フォーマットに従い作成する。
・提出物に名前等、個人を識別できるもの、あるいはその掛かりになるものは記述しない。
・参加者間の情報交換は禁止する。』
【0093】
（解答）
図１１Ｂは、図１１Ａの課題設定１１１０におけるテーマ１１２０、問題点１１３０および正解例１１４０を示す図である。なお、図１１Ｂでは、煩雑さを避けるため、実際の詳細なデータ、数値は示さない。詳細なデータ、数値を示さなくとも、本実施形態で扱ったデータ分析学習の内容と、それに対する解答の順位付け方式については明瞭である。
図１１Ｂは、図１１Ａの課題設定１１１０におけるテーマ１１２０、問題点１１３０および正解例１１４０を示す図である。なお、図１１Ｂでは、煩雑さを避けるため、実際の詳細なデータ、数値は示さない。詳細なデータ、数値を示さなくとも、本実施形態で扱ったデータ分析学習の内容と、それに対する解答の順位付け方式については明瞭である。
【0094】
図１１Ｂにおいて、応募者に対して課題用データとして、「新規介入群（Intervention）」の症状改善結果１１２１と、「標準治療群（Control）」の症状改善結果１１２２と、が提供された。各症状改善結果１１２１および１１２２には、患者ＩＤに対応付けて、患者が重症か軽症かのフラグと、0-25までの値をとる症状改善スコアと、が記憶されている。
【0095】
この課題用データに基づいて設定された課題は、『標準治療にくらべ、新規治療の介入による症状の改善が期待できるか？ データ分析により結論を導く。』である。本課題は、間違った統計処理を行うと介入による改善なしとの結論に達するが、正しい統計処理を行うと介入による改善ありとの結論に達するように、あらかじめ設計されている。以下、本課題についてその内容を説明する。
【0096】
この課題の解答を得るために間違った統計処理を行うと、介入による改善なしとの結論に達する（シンプソンのパラドックス）。「新規介入群（Intervention）」の間違った統計処理１１３１においては、患者が重症か軽症かを考慮せずに、患者数分の症状改善スコアを加算してトータル治療効果とし、患者数で割ることで平均治療効果を算出している。また、同様に、「標準治療群（Control）」の間違った統計処理１１３２においても、患者が重症か軽症かを考慮せずに、患者数分の症状改善スコアを加算してトータル治療効果とし、患者数で割ることで平均治療効果を算出している。このように、患者が重症か軽症かを考慮せずに統計処理を行うと、例えば、「新規介入群（Intervention）」では１００人中、重症が６８人／軽症が３２であり、重症は症状改善スコアが小さく／軽症は症状改善スコアが大きい。そのため、全患者数の平均を取ると平均治療効果は小さくなる。一方、「標準治療群（Control）」では１００人中、重症が３２人／軽症が６８であり、重症は症状改善スコアが小さく／軽症は症状改善スコアが大きい。そのため、全患者数の平均を取ると平均治療効果は大きくなる。このように、「標準治療群（Control）」の平均治療効果が「新規介入群（Intervention）」の平均治療効果を上回って、介入による改善なしとの結論に達してしまう。
【0097】
この課題の解答を得るための正しい統計処理を行うと、介入による改善ありとの結論に達する。「新規介入群（Intervention）」の正しい統計処理においては、患者が重症の場合の統計処理１１４１として、重症患者数分の症状改善スコアを加算して重症者の治療効果とし、重症患者数で割ることで重症者の平均治療効果を算出している。そして、患者が軽症の場合の統計処理１１４２として、軽症患者数分の症状改善スコアを加算して軽症者の治療効果とし、軽症患者数で割ることで軽症者の平均治療効果を算出している。一方、「標準治療群（Control）」の正しい統計処理においても、患者が重症の場合の統計処理１１４３として、重症患者数分の症状改善スコアを加算して重症者の治療効果とし、重症患者数で割ることで重症者の平均治療効果を算出している。そして、患者が軽症の場合の統計処理１１４４として、軽症患者数分の症状改善スコアを加算して軽症者の治療効果とし、軽症患者数で割ることで軽症者の平均治療効果を算出している。
【0098】
このように、患者が重症か軽症かを分けて統計処理を行うと、例えば、「新規介入群（Intervention）」では１００人中、重症が６８人であり、重症患者数の平均治療効果を算出する。一方、「標準治療群（Control）」では１００人中、重症が３２人であり、重症患者数の平均治療効果を算出する。このため、重症者における「標準治療群（Control）」の平均治療効果と「新規介入群（Intervention）」の平均治療効果とを比較することで、正しい結論に達することができる。また、「新規介入群（Intervention）」では１００人中、軽症が３２人であり、軽症患者数の平均治療効果を算出する。一方、「標準治療群（Control）」では１００人中、軽症が６８人であり、軽症患者数の平均治療効果を算出する。このため、軽症者における「標準治療群（Control）」の平均治療効果と「新規介入群（Intervention）」の平均治療効果とを比較することで、正しい結論に達することができる。
【0099】
具体的な数値としては、患者が重症か軽症かを分けて統計処理を行った場合に、重症の場合も軽症の場合も「新規介入群（Intervention）」の平均治療効果が「標準治療群（Control）」の平均治療効果を上回り、介入による改善ありとの結論に達することができる。
【0100】
本コンペティションでは、『標準治療にくらべ、新規治療の介入による症状の改善が期待できるか？ データ分析により結論を導く。』との課題に対して、提供されたデータを正しく統計処理することで正しい結論に達することの説明を応募し、その説明を図１０Ｂに示した評価基準に照らして評価して勝敗を付けた。
【0101】
（応募データ）
図１１Ｃは、図１１Ａのコンペティションへの応募データ１１５０を示す図である。本コンペティションに対して、１３人の応募者から応募があった。なお、本コンペティションは、一般公募でなく、テストケースとして組織内（社内）での応募で行った。
図１１Ｃは、図１１Ａのコンペティションへの応募データ１１５０を示す図である。本コンペティションに対して、１３人の応募者から応募があった。なお、本コンペティションは、一般公募でなく、テストケースとして組織内（社内）での応募で行った。
【0102】
応募データ１１５０は、応募者ＩＤ１１５１に対応付けて、応募者名１１５２と、応募日時１１５３と、所属部署１１５４と、成果物としての解答１１５５と、を記憶する。
【0103】
＜解答評価のラウンドの第１例＞
以下、図１２Ａ～図１２Ｄを参照して、図１０Ｂの第１例のスコア表１０２２に従った、コンペティションに対する応募者からの解答評価の経過について説明する。なお、本コンペティションの解答評価においては、応募者が組織内に限られているので、対戦組の評価は応募者から３人を選別して行ったため、対戦ラウンド間での解答（成果物）の修正は行わないように構成した。なお、評価者（レビュア）にも課題に潜むシンプソンのパラドックスを事前に伝えていなので、知識の有無に関わらず、複数の評価者により対戦を繰り返すことで評価が統計的に安定することも検証している。
以下、図１２Ａ～図１２Ｄを参照して、図１０Ｂの第１例のスコア表１０２２に従った、コンペティションに対する応募者からの解答評価の経過について説明する。なお、本コンペティションの解答評価においては、応募者が組織内に限られているので、対戦組の評価は応募者から３人を選別して行ったため、対戦ラウンド間での解答（成果物）の修正は行わないように構成した。なお、評価者（レビュア）にも課題に潜むシンプソンのパラドックスを事前に伝えていなので、知識の有無に関わらず、複数の評価者により対戦を繰り返すことで評価が統計的に安定することも検証している。
【0104】
（第１ラウンド：round 1）
図１２Ａは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者(player)からの解答評価の第１ラウンドの結果表示１２１０を示す図である。第１ラウンドでは、ランダムに対戦カードを生成した。人数が奇数（１３人：Ａ～Ｍ）なので、ランダムで不戦勝の応募者を決定した。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カードを生成してよい。評価者（レビュア：reviewer）もランダムで３人選出した。
図１２Ａは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者(player)からの解答評価の第１ラウンドの結果表示１２１０を示す図である。第１ラウンドでは、ランダムに対戦カードを生成した。人数が奇数（１３人：Ａ～Ｍ）なので、ランダムで不戦勝の応募者を決定した。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カードを生成してよい。評価者（レビュア：reviewer）もランダムで３人選出した。
【0105】
結果表示１２１０の上段の表は、第１ラウンドによる各対戦組の評価結果である。対戦ＩＤ(match ID)に対応付けて、対戦するplayer1およびplayer2と、勝者(winner)と、player1に与えられるスコア(score1)と、player2に与えられるスコア(score2)と、が記憶され表示される。また、３人の評価者(reviewer1, reviewer2, reviewer3)と、３人の評価者の評価結果(judge1, judge2, judge3)と、が記憶され表示される。なお、不戦勝の対戦組には“bot”が、評価結果の引き分けには“draw”が記憶され表示される。不戦勝には1673(Ｍ)が選出された。
【0106】
結果表示１２１０の下段の表は、第１ラウンド終了時のランキング(ranking)に対応付けて、応募者(player)と、勝数(win)と、負数(lose)と、現在までの獲得スコア(total score)と、不戦勝(bot)と、が記憶され表示される。また、３人の評価者による勝敗表(reviewer/win, draw, lose)が記憶され表示される。
【0107】
例えば、第１ラウンドの第１対戦(match ID=1_0)は、3982(Ａ)と5318(Ｂ)との対戦であり、5318(Ｂ)がスコア９：０で勝者となった。その評価は、4739(Ｃ)と9187(Ｄ)と9859(Ｅ)との３人で行われ、それぞれの評価の勝者は共に5318(Ｂ)である。したがって、スコアは９（＝３勝×スコア３）となる。また、第１ラウンドの第２対戦(match ID=1_1)は、4739(Ｃ)と9187(Ｄ)との対戦であり、9187(Ｄ)がスコア１：７で勝者となった。その評価は、9859(Ｅ)と8432(Ｆ)と2313(Ｇ)との３人で行われ、それぞれの評価は4739(Ｃ)が引き分けで、他の２人は共に9187(Ｄ)が勝者である。したがって、スコアは、4739(Ｃ)が１（＝引き分けスコア１）、9187(Ｄ)が７（＝引き分けスコア１＋２勝×スコア３）となる。以下、同様である。結果表示１２１０の下段の表では、そのスコアの大小に従ってランキングがされている。なお、同じtotal scoreのplayerには同じランクが付けられ、次のscoreのplayerには同じscoreのplayer数を飛ばしたランクが付けられる。このランク付けにより、同じランクがなくなったことで全体の順序付けが可能となったことを判定できる。
【0108】
なお、本例におけるスコア(score)は、各評価者の評価結果に図１０Ｂの第１例のスコア表１０２２に基づき設定したスコアを加算した結果である。しかし、本実施形態の順序付けをラフな選別として使用する場合には、応募者(player)の勝敗にスコアを設定する方式であってもよい。
【0109】
（第２ラウンド：round 2）
図１２Ｂは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１２２０を示す図である。第２ラウンドでは、勝者および敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、勝者群または敗者群で奇数の方からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１２Ｂは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１２２０を示す図である。第２ラウンドでは、勝者および敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、勝者群または敗者群で奇数の方からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0110】
第２ラウンドの対戦組は、第１ラウンドの勝者の７人の中でランダムに選定される。また、第１ラウンドの敗者の６人の中でランダムに選定される。なお、図１２Ｂにおいては、勝者の７人中の2312(Ｇ)が不戦勝になっている。
【0111】
図１２Ｂにおいて、図１２Ａと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第１ラウンドのスコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、結果表示１２２０の下段の表を記憶して表示する。
【0112】
なお、３人の評価者に選定については、既に第１ラウンドでの勝敗や獲得スコアでランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。図１２Ｂにおいて、第１対戦(match ID=2_0)～第３対戦(match ID=2_2)は第１ラウンドの勝者同士の対戦なので、３人の評価者は第１ラウンドの勝者グループから選定されている。以下、評価の質を高めるため、できるだけランキング上位の応募者を３人の評価者として選定する。また、評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0113】
（第３ラウンド：round 3）
図１２Ｃは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１２３０を示す図である。第３ラウンドでは、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１２Ｃは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１２３０を示す図である。第３ラウンドでは、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0114】
第３ラウンドの対戦組は、第２ラウンド終了後の２勝の４人の中でランダムに選定される。また、第２ラウンド終了後の１勝１敗の７人の中でランダムに選定される。また、第２ラウンド終了後の２敗の２人に選定される。なお、図１２Ｃにおいては、１勝１敗の７人中の1429(Ｋ)が不戦勝になっている。
【0115】
図１２Ｃにおいて、図１２Ａおよび図１２Ｂと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第２ラウンドまで累積のスコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、結果表示１２３０の下段の表を記憶して表示する。
【0116】
なお、３人の評価者に選定については、既に第１ラウンドおよび第２ラウンドでの勝敗や獲得スコアでより確かなランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。図１２Ｂにおいて、第１対戦(match ID=3_0)および第２対戦(match ID=3_1)は２勝の者同士の対戦なので、３人の評価者は第２ラウンド後の上位ランクから選定されている。以下、評価の質を高めるため、できるだけランキング上位の応募者を３人の評価者として選定する。また、評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0117】
（第４ラウンド：round 4）
図１２Ｄは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１２４０を示す図である。第４ラウンドでは、同じ勝率群それぞれのスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群から不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１２Ｄは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１２４０を示す図である。第４ラウンドでは、同じ勝率群それぞれのスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群から不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0118】
第４ラウンドの対戦組は、第３ラウンド終了後の３勝の２人が選定される。また、第３ラウンド終了後の２勝１敗の６人の中で上位から順にペアが選定される。また、第２ラウンド終了後の１勝２敗の４人の中で順にペアが選定される。なお、図１２Ｄにおいては、１人の３敗である8432(Ｆ)が不戦勝になっている。
【0119】
図１２Ｄにおいて、図１２Ａから図１２Ｃと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第３ラウンドまでの累積スコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、最終結果表示１２４０の下段の表を記憶して表示する。なお、また、最終結果表示１２４０の下段の表には、敗戦した相手が表示されている。
【0120】
なお、３人の評価者に選定については、既に第１ラウンドから第３ラウンドでの勝敗や獲得スコアでより確かなランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0121】
【0122】
例えば、一般に公募した課題の解答は、データの統計処理などに精通した応募者から正解が得られ、データの統計処理に疎い応募者は、図１１Ｂに示した「シンプソンのパラドックス」に引っ掛かることが多い。図１２Ｄの下段の表に示された最終ランキングによれば、図１１Ｃに示した応募者の内、所属部署が"data science"関連の応募者は上位に集まっている。一方、所属部署が"data engineer"関連の応募者が下位に位置し、所属部署が"business"関連の応募者は最下位になっている。また、図１２Ｄの下段の表にランク１～９とランク１０～１３とを太線で分けたように、解答内容のレベル差がトータルスコアに明らかに現れている。この結果から、本実施形態の対戦型順位決定方式が１３人の応募者から４ラウンドの対戦により、有意なランキングが達成できることを示している。
【0123】
また、図１２Ａ～図１２Ｄの各ラウンドの結果の表示において、同じ勝率のグループを色分けしたり、勝数、引き分け数および負数のそれぞれの違いを色分けしたりして表示することにより、現状の勝ち負けの分布を把握することもできる。
【0124】
また、得意でないと思われる所属部署であるにも関わらず成績が上位である応募者（例えば、“６位の5318(Ｂ)”）や、専門部署であるにも関わらず成績が下位である応募者（例えば、“１０位の6998(Ｌ)”）を識別表示することで、有用な情報を得ることができる。
【0125】
また、図１２Ａ～図１２Ｄの上段の表において太枠で示した対戦は、勝敗が一方的でなく接戦の場合を示している。例えば、３人の評価者で勝敗の評価結果が異なった場合や、引き分けの評価が２つ以上ある場合などである。第１ラウンドでは、全くなかった接戦が、第２ラウンドでは６対戦（不戦勝は除く）の内１つ、第３ラウンドでは６対戦の内２つ、第４ラウンドでは６対戦の内４つ、とラウンドごとに増加している。ことのとは、本実施形態の対戦型順位決定方式がラウンドを重ねるたびに、よりレベル差の少ない均衡した対戦に進むことによりランキングの確定に近付いていることを示している。勝敗が一方的であった結果と、接戦であった結果とを識別可能な色などで表示することにより、現状を容易に把握することができる。
【0126】
【0127】
解答評価のラウンドの第１例によれば、対戦方式の１つであるスイスドロー方式が、ランキングルールと相まって正しく結論が評価できることが検証された。また、評価が統計的に安定することも明らかとなった。
【0128】
＜解答評価のラウンドの第２例＞
以下、図１３Ａ～図１３Ｄを参照して、図１０Ｂの第２例のスコア表１０２３に従った、コンペティションに対する応募者からの解答評価の経過について説明する。なお、本コンペティションの解答評価においては、応募者が組織内に限られているので、第１例と同様に対戦組の評価は応募者から３人を選別して行ったため、対戦ラウンド間での解答（成果物）の修正は行わないように構成した。
以下、図１３Ａ～図１３Ｄを参照して、図１０Ｂの第２例のスコア表１０２３に従った、コンペティションに対する応募者からの解答評価の経過について説明する。なお、本コンペティションの解答評価においては、応募者が組織内に限られているので、第１例と同様に対戦組の評価は応募者から３人を選別して行ったため、対戦ラウンド間での解答（成果物）の修正は行わないように構成した。
【0129】
（第１ラウンド：round 1）
図１３Ａは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者(player)からの解答評価の第１ラウンドの結果表示１３１０を示す図である。第１ラウンドでは、ランダムに対戦カードを生成した。人数が奇数（１３人：Ａ～Ｍ）なので、ランダムで不戦勝の応募者を決定した。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カードを生成してよい。評価者（レビュア：reviewer）もランダムで３人選出した。
図１３Ａは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者(player)からの解答評価の第１ラウンドの結果表示１３１０を示す図である。第１ラウンドでは、ランダムに対戦カードを生成した。人数が奇数（１３人：Ａ～Ｍ）なので、ランダムで不戦勝の応募者を決定した。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カードを生成してよい。評価者（レビュア：reviewer）もランダムで３人選出した。
【0130】
結果表示１３１０の上段の表は、第１ラウンドによる各対戦組の評価結果である。対戦ＩＤ(match ID)に対応付けて、対戦するplayer1およびplayer2と、勝者(winner)と、player1に与えられるスコア(score1)と、player2に与えられるスコア(score2)と、が記憶され表示される。また、３人の評価者(reviewer1, reviewer2, reviewer3)と、３人の評価者の評価結果(judge1, judge2, judge3)と、が記憶され表示される。なお、不戦勝の対戦組には“bot”が、評価結果の引き分けには“draw(X)”（Ｘが優勢である）が記憶され表示される。不戦勝には2313(Ｇ)が選出された。
【0131】
結果表示１３１０の下段の表は、第１ラウンド終了時のランキング(ranking)に対応付けて、応募者(player)と、勝数(win)と、負数(lose)と、現在までの獲得スコア(total score)と、不戦勝(bot)と、が記憶され表示される。また、３人の評価者による勝敗表(reviewer/win, draw, lose)が記憶され表示される。
【0132】
例えば、第１ラウンドの第１対戦(match ID=1_0)は、3982(Ａ)と5318(Ｂ)との対戦であり、5318(Ｂ)がスコア９：０で勝者となった。その評価は、4739(Ｃ)と9187(Ｄ)と9859(Ｅ)との３人で行われ、それぞれの評価の勝者は共に5318(Ｂ)である。したがって、スコアは９（＝３勝×スコア３）となる。また、第１ラウンドの第２対戦(match ID=1_1)は、4739(Ｃ)と9187(Ｄ)との対戦であり、9187(Ｄ)がスコア１．５：７で勝者となった。その評価は、9859(Ｅ)と8432(Ｆ)と2313(Ｇ)との３人で行われ、それぞれの評価は4739(Ｃ)が引き分けで4739(Ｃ)の優勢(draw(Ｃ))、他の２人は共に9187(Ｄ)が勝者である。したがって、スコアは、4739(Ｃ)が１．５（＝引き分け優勢スコア１．５）、9187(Ｄ)が７（＝引き分けスコア１＋２勝×スコア３）となる。以下、同様である。結果表示１３１０の下段の表では、そのスコアの大小に従ってランキングがされている。なお、同じtotal scoreのplayerには同じランクが付けられ、次のscoreのplayerには同じscoreのplayer数を飛ばしたランクが付けられる。このランク付けにより、同じランクがなくなったことで全体の順序付けが可能となったことを判定できる。
【0133】
なお、本例におけるスコア(score)は、各評価者の評価結果に図１０Ｂの第２例のスコア表１０２３に基づき設定したスコアを加算した結果である。しかし、本実施形態の順序付けをラフな選別として使用する場合には、応募者(player)の勝敗にスコアを設定する方式であってもよい。
【0134】
（第２ラウンド：round 2）
図１３Ｂは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１３２０を示す図である。第２ラウンドでは、勝者および敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、勝者群または敗者群で奇数の方からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１３Ｂは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１３２０を示す図である。第２ラウンドでは、勝者および敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、勝者群または敗者群で奇数の方からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0135】
第２ラウンドの対戦組は、第１ラウンドの勝者の７人の中でランダムに選定される。また、第１ラウンドの敗者の６人の中でランダムに選定される。なお、図１３Ｂにおいては、勝者の７人中の2312(Ｇ)が不戦勝になっている。
【0136】
図１３Ｂにおいて、図１３Ａと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第１ラウンドのスコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、結果表示１３２０の下段の表を記憶して表示する。
【0137】
なお、３人の評価者に選定については、既に第１ラウンドでの勝敗や獲得スコアでランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。図１３Ｂにおいて、第１対戦(match ID=2_0)～第３対戦(match ID=2_2)は第１ラウンドの勝者同士の対戦なので、３人の評価者は第１ラウンドの勝者グループから選定されている。以下、評価の質を高めるため、できるだけランキング上位の応募者を３人の評価者として選定する。また、評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0138】
（第３ラウンド：round 3）
図１３Ｃは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１３３０を示す図である。第３ラウンドでは、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１３Ｃは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１３３０を示す図である。第３ラウンドでは、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0139】
第３ラウンドの対戦組は、第２ラウンド終了後の２勝の４人の中でランダムに選定される。また、第２ラウンド終了後の１勝１敗の７人の中でランダムに選定される。また、第２ラウンド終了後の２敗の２人に選定される。なお、図１３Ｃにおいては、１勝１敗の７人中の1429(Ｋ)が不戦勝になっている。
【0140】
図１３Ｃにおいて、図１３Ａおよび図１３Ｂと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第２ラウンドまで累積のスコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、結果表示１３３０の下段の表を記憶して表示する。
【0141】
なお、３人の評価者に選定については、既に第１ラウンドおよび第２ラウンドでの勝敗や獲得スコアでより確かなランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。図１３Ｂにおいて、第１対戦(match ID=3_0)および第２対戦(match ID=3_1)は２勝の者同士の対戦なので、３人の評価者は第２ラウンド後の上位ランクから選定されている。以下、評価の質を高めるため、できるだけランキング上位の応募者を３人の評価者として選定する。また、評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0142】
（第４ラウンド：round 4）
図１３Ｄは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１３４０を示す図である。第４ラウンドでは、同じ勝率群それぞれのスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群から不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
図１３Ｄは、本実施形態に係る情報処理装置２１０による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１３４０を示す図である。第４ラウンドでは、同じ勝率群それぞれのスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに対戦カードを生成する。そして、同じ勝率群で奇数個の群から不戦勝が選ばれる。また、レビュアはランキングの高い対戦カードに対して高いランクのレビュアが割り当てられる。
【0143】
第４ラウンドの対戦組は、第３ラウンド終了後の３勝の２人が選定される。また、第３ラウンド終了後の２勝１敗の６人の中で上位から順にペアが選定される。また、第２ラウンド終了後の１勝２敗の４人の中で順にペアが選定される。なお、図１３Ｄにおいては、１人の３敗である8432(Ｆ)が不戦勝になっている。
【0144】
図１３Ｄにおいて、図１３Ａから図１３Ｃと同様に、各対戦組に対して３人の評価者による引き分けを含む勝敗が決定されて、スコアが割り当てられてその合計スコアで勝敗を決定する。そして、獲得スコアを第３ラウンドまでの累積スコアに加算した合計スコア(total score)の大小に従って再度ランキングを行って、最終結果表示１３４０の下段の表を記憶して表示する。なお、また、最終結果表示１３４０の下段の表には、敗戦した相手が表示されている。
【0145】
なお、３人の評価者に選定については、既に第１ラウンドから第３ラウンドでの勝敗や獲得スコアでより確かなランキングができているので、ランクの高い同士の対戦にはランクの高い評価者を選定するように調整する。評価者の重複は多くても１ラウンドに３回、できるだけ２回以下としている。
【0146】
【0147】
例えば、一般に公募した課題の解答は、データの統計処理などに精通した応募者から正解が得られ、データの統計処理に疎い応募者は、図１１Ｂに示した「シンプソンのパラドックス」に引っ掛かることが多い。図１３Ｄの下段の表に示された最終ランキングによれば、図１１Ｃに示した応募者の内、所属部署が"data science"関連の応募者は上位に集まっている。一方、所属部署が"data engineer"関連の応募者が下位に位置し、所属部署が"business"関連の応募者は最下位になっている。また、図１３Ｄの下段の表にランク１～９とランク１０～１３とを太線で分けたように、解答内容のレベル差がトータルスコアに明らかに現れている。この結果から、本実施形態の対戦型順位決定方式が１３人の応募者から４ラウンドの対戦により、有意なランキングが達成できることを示している。
【0148】
また、図１３Ａ～図１３Ｄの各ラウンドの結果の表示において、同じ勝率のグループを色分けしたり、勝数、引き分け数および負数のそれぞれの違いを色分けしたりして表示することにより、現状の勝ち負けの分布を把握することもできる。
【0149】
また、得意でないと思われる所属部署であるにも関わらず成績が上位である応募者（例えば、“７位の5318(Ｂ)”）や、専門部署であるにも関わらず成績が下位である応募者（例えば、“１０位の6998(Ｌ)”）を識別表示することで、有用な情報を得ることができる。
【0150】
また、図１３Ａ～図１３Ｄの上段の表において太枠で示した対戦は、勝敗が一方的でなく接戦の場合を示している。例えば、３人の評価者で勝敗の評価結果が異なった場合や、引き分けの評価が２つ以上ある場合などである。第１ラウンドでは、全くなかった接戦が、第２ラウンドでは６対戦（不戦勝は除く）の内１つ、第３ラウンドでは６対戦の内２つ、第４ラウンドでは６対戦の内４つ、とラウンドごとに増加している。このことは、本実施形態の対戦型順位決定方式がラウンドを重ねるたびに、よりレベル差の少ない均衡した対戦に進むことによりランキングの確定に近付いていることを示している。勝敗が一方的であった結果と、接戦であった結果とを識別可能な色などで表示することにより、現状を容易に把握することができる。
【0151】
【0152】
解答評価のラウンドの第２例によれば、対戦方式の１つであるスイスドロー方式が、ランキングルールと相まって正しく結論が評価できることが検証された。また、評価が統計的に安定することも明らかとなった。
【0153】
上記第１例（図１２Ａ～図１２Ｄ）および第２例（図１３Ａ～図１３Ｄ）によれば、いずれの対戦方式やランクングルールにおいても、ランキング結果では熟練者が上位に初心者が下位に集まっており、十分にコンペティションにおける順位付けに使用可能であることが分かる。また、多数の応募者が予想されるコンペティションにおいて、第一次審査として本対戦方式で上位グループを選別して、当該上位グループでのトーナメントやリーグ戦などを組み合わせることもできる。
【0154】
（評価者の評価結果）
図１３Ｅは、本実施形態に係る情報処理装置２１０による、コンペティションに対する評価者の評価結果１３５０を示す図である。
図１３Ｅは、本実施形態に係る情報処理装置２１０による、コンペティションに対する評価者の評価結果１３５０を示す図である。
【0155】
図１３Ｅには、各応募者がどのラウンドで何回評価者として評価処理を行ったかが集計されている。図１３Ｅによって、レビュアの負荷をモニタリングするために、各レビュアが何回レビューしているか、重複した成果物を判定するケースがあり得るので、ユニークな成果物を何個観たことになるのかを確認できる。上記第１例と第２例のように、レビュアが応募者から選択される場合には、レビューに教育効果を期待できる。図１３Ｅを参照することによって、教育効果の状況を把握することも可能である。
【0156】
本実施形態によれば、スイスドロー方式を採用することにより、応募されてきた成果物に対して、評価者への負荷を低減し、下位までの客観的な順位付けをより効率的に行うことができる。そして、対戦方式の１つであるスイスドロー方式が、ランキングルールと相まって正しく結論が評価できることが検証された。また、評価が統計的に安定することも明らかとなった。また、応募者が評価者としても参加することで、評価の経験によってより大きな学習効果を達成することができる。
【0157】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第３実施形態と比べると、各対戦ラウンドの間に応募者が自身の成果物（解答）を改善可能である点で異なる。その他の構成および動作は、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第４実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第３実施形態と比べると、各対戦ラウンドの間に応募者が自身の成果物（解答）を改善可能である点で異なる。その他の構成および動作は、第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0158】
なお、本実施形態においては、評価者は応募者以外の者から選定される。そのため応募者は正解あるいは他人の解答を知り得ないため、各ラウンド間で応募した成果物の修正をすることができる。ただし、ランキングに大きな影響を与えるので最終の第４ラウンドの前には修正はできないようにした。
【0159】
＜解答評価のラウンド＞
以下、図１４Ａ～図１４Ｄを参照して、コンペティションに対する応募者からの解答評価の経過について説明する。以下の例では、３人の評価者応募者以外の固定されたＱ～Ｓとしたが、ラウンドの進行に従ってより緻密な評価を必要とする場合は変更してもよい。なお、基本的には、図１３Ａ～図１３Ｄと同様の結果については、重複する説明を省略する。
以下、図１４Ａ～図１４Ｄを参照して、コンペティションに対する応募者からの解答評価の経過について説明する。以下の例では、３人の評価者応募者以外の固定されたＱ～Ｓとしたが、ラウンドの進行に従ってより緻密な評価を必要とする場合は変更してもよい。なお、基本的には、図１３Ａ～図１３Ｄと同様の結果については、重複する説明を省略する。
【0160】
（第１ラウンド：round 1）
図１４Ａは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第１ラウンドの結果表示１４１０を示す図である。図１４Ａにおいては、応募者からランダムに対戦カードを生成する。人数が奇数の場合はランダムで不戦勝とする。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カード生成する。レビュアは応募者を除く３人（Ｑ，Ｒ，Ｓ）が選出された。そして、スコアは勝ち“３、引き分けの優勢“１．５”、引き分け“１”、負け“０”である。
図１４Ａは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第１ラウンドの結果表示１４１０を示す図である。図１４Ａにおいては、応募者からランダムに対戦カードを生成する。人数が奇数の場合はランダムで不戦勝とする。なお、事前にプレーヤのランクがあれば、ランクに基づき対戦カード生成する。レビュアは応募者を除く３人（Ｑ，Ｒ，Ｓ）が選出された。そして、スコアは勝ち“３、引き分けの優勢“１．５”、引き分け“１”、負け“０”である。
【0161】
【0162】
（第２ラウンド：round 2）
図１４Ｂは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１４２０を示す図である。第２ラウンドに入る前に、round1の評価結果を応募者に通知後、応募者の修正を受け入れた。図１４Ｂにおいては、6005(Ｉ)が修正を行った。第１ラウンドの勝者と敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに選定する。勝者群と敗者群で奇数の方からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第１ラウンドと同じ（Ｑ，Ｒ，Ｓ）とした。
図１４Ｂは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第２ラウンドの結果表示１４２０を示す図である。第２ラウンドに入る前に、round1の評価結果を応募者に通知後、応募者の修正を受け入れた。図１４Ｂにおいては、6005(Ｉ)が修正を行った。第１ラウンドの勝者と敗者それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに選定する。勝者群と敗者群で奇数の方からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第１ラウンドと同じ（Ｑ，Ｒ，Ｓ）とした。
【0163】
図１４Ｂの下段の表において、6005(Ｉ)の行に、解答にver1とver2とがあることが示されている。そして、ver1に対応付けて第１ラウンドの結果が記憶されて表示され、ver2に対応付けて第２ラウンドの結果が記憶されて表示される。図１４Ｂの下段の表では、ランキングのため“total score”はver1とver2に分けていないが、修正した場合の表示の仕方は本例に限定されない。
【0164】
（第３ラウンド：round 3）
図１４Ｃは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１４３０を示す図である。第３ラウンドに入る前に、round2の評価結果を応募者に通知後、応募者の修正を受け入れた。図１４Ｃにおいては、9859(Ｅ)が修正を行った。なお、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。スコアに差がない場合はランダムに選定する。同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第２ラウンドと同じ（Ｑ，Ｒ，Ｓ）とした。
図１４Ｃは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第３ラウンドの結果表示１４３０を示す図である。第３ラウンドに入る前に、round2の評価結果を応募者に通知後、応募者の修正を受け入れた。図１４Ｃにおいては、9859(Ｅ)が修正を行った。なお、同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。スコアに差がない場合はランダムに選定する。同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第２ラウンドと同じ（Ｑ，Ｒ，Ｓ）とした。
【0165】
図１４Ｃの下段の表において、9859(Ｅ)の行に、解答にver1とver2とがあることが示されている。そして、ver1に対応付けて第１ラウンドおよび第２ラウンドの結果が記憶されて表示され、ver2に対応付けて第３ラウンドの結果が記憶されて表示される。なお、9859(Ｅ)の順位は、同率８位から単独５位に上昇した。
【0166】
（第４ラウンド：round 4）
図１４Ｄは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１４４０による最終結果を示す図である。図１４Ｄにおいては、5318(Ｂ)が修正を行った。同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに選定する。同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第１から第３ラウンドとは異なり、より専門知識のある（Ｘ，Ｙ，Ｚ）とした。
図１４Ｄは、本実施形態に係る情報処理装置による、コンペティションに対する応募者からの解答評価の第４ラウンドの最終結果表示１４４０による最終結果を示す図である。図１４Ｄにおいては、5318(Ｂ)が修正を行った。同じ勝率群それぞれの中でスコアが近いペアで対戦カードを生成する。なお、スコアに差がない場合はランダムに選定する。同じ勝率群で奇数個の群からランダムに不戦勝が選ばれる。レビュアは応募者を除く３人を選出するが、本例では第１から第３ラウンドとは異なり、より専門知識のある（Ｘ，Ｙ，Ｚ）とした。
【0167】
図１４Ｄの下段の表において、6005(Ｉ)の行には、ver1に対応付けて第１ラウンドの結果が記憶されて表示され、ver2に対応付けて第２ラウンド、第３ラウンドおよび第４ラウンドの結果が記憶されて表示される。
【0168】
また、9859(Ｅ)の行には、ver1に対応付けて第１ラウンドおよび第２ラウンドの結果が記憶されて表示され、ver2に対応付けて第３ラウンドおよび第４ラウンドの結果が記憶されて表示される。また、5318(Ｂ)の行には、ver1に対応付けて第１ラウンド、第２ラウンドおよび第３ラウンドの結果が記憶されて表示され、ver2に対応付けて第４ラウンドの結果が記憶されて表示される。なお、5318(Ｂ)の順位は、単独９位から単独６位に上昇した。
【0169】
本実施形態によれば、上記実施形態の効果に加えて、前のラウンドの結果の表示後に、次のラウンド間で応募者による解答（成果物）を修正することができる。そのため、応募者による成果物の改善意欲を高めることが出来、コンペティションの終了時により有用な成果物が提供されることにつながる。
【0170】
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態から第４実施形態と比べると、コンペディションを行う対象となる成果物が創作物である点で異なる。本実施形態においては、創作物を評価者が視覚的に評価をする対象物である。例えば、各種デザインや設計物、あるいは、絵画や彫刻や写真なども含む。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態から第４実施形態と比べると、コンペディションを行う対象となる成果物が創作物である点で異なる。本実施形態においては、創作物を評価者が視覚的に評価をする対象物である。例えば、各種デザインや設計物、あるいは、絵画や彫刻や写真なども含む。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0171】
（応募者端末および評価者端末の表示）
図１５Ａは、本実施形態に係る情報処理装置を含むコンペティションシステムの一例１５０１における応募者端末２３０および評価者端末２４０の表示を示す図である。図１５Ａは、応募する成果物として、評価者が視覚的に評価をする創作物であるデザインの応募を示している。なお、図１５Ａにおいて、図２Ｂと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
図１５Ａは、本実施形態に係る情報処理装置を含むコンペティションシステムの一例１５０１における応募者端末２３０および評価者端末２４０の表示を示す図である。図１５Ａは、応募する成果物として、評価者が視覚的に評価をする創作物であるデザインの応募を示している。なお、図１５Ａにおいて、図２Ｂと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【0172】
コンペティションアプリが起動した応募者端末２３０表示画面１５３２には、情報処理装置２１０からのコンペティションの公募要綱１５３３が表示される。応募者２３１は、応募者端末２３０の表示画面１５３４に応募するデザイン１５３５を入力して、情報処理装置２１０に登録する。
【0173】
情報処理装置２１０は、登録した複数のデザインから２つのデザインの組を対戦組として選定する。そして、情報処理装置２１０は、コンペティションアプリが起動している評価者端末２４０の表示画面１５４２に、評価対象１５４３としてデザインＡとデザインＢとを表示する。評価者２４１は、評価対象１５４３を比較して、評価者端末２４０の表示画面１５４６に、評価ラベル表１５４７に従って評価結果１５４８を入力し、評価結果１５４８は情報処理装置２１０に収集される。
【0174】
情報処理装置２１０は、収集した評価結果に重み付けをして累積し、累積結果に基づいてデザインの順序付け（ランキング）を行う。情報処理装置２１０は、応募者端末２３０の表示画面１５３６に、評価結果１５３７および順位表１５３８を表示させる。
【0175】
なお、デザインを公募する場合には、一般に応募期間を過ぎると修正はできないが、応募者２３１によるデザインの修正を認める場合は、表示画面１５３４に戻って、デザインの修正あるいは修正されたデザインを入力して、情報処理装置２１０の登録を更新する。
【0176】
図１５Ｂは、本実施形態に係る情報処理装置を含むコンペティションシステムの他例１５０２における応募者端末２３０および評価者端末２４０の表示を示す図である。図１５Ｂは、応募する成果物として、評価者が視覚的に評価をする創作物である彫刻の応募を示している。なお、図１５Ｂにおいて、図２Ｂおよび図１５Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【0177】
コンペティションに応募する彫刻１４１１～１５１３が、野外１５１０に置かれている。彫刻１４１１～１５１３の識別情報および配置位置が、情報処理装置２１０に登録されている。情報処理装置２１０は、登録された複数の彫刻から２つの彫刻の組を対戦組として選定する。そして、情報処理装置２１０は、野外１５１０の彫刻展示場に居る評価者２４１が携帯している、コンペティションアプリが起動している評価者端末２４０の表示画面１５４４に、評価対象１５４５として彫刻Ａの位置および作品名（識別情報）と彫刻Ｂの位置および作品名（識別情報）とを表示する。評価者２４１は、評価対象１５４５で示された彫刻Ａと彫刻Ｂとを比較して、評価者端末２４０の表示画面１５４６に、評価ラベル表１５４７に従って評価結果１５４８を入力し、評価結果１５４８は情報処理装置２１０に収集される。
【0178】
情報処理装置２１０は、収集した評価結果に重み付けをして累積し、累積結果に基づいて彫刻の順序付け（ランキング）を行う。情報処理装置２１０は、応募者端末２３０の表示画面１５３６に、評価結果１５３７および順位表１５３８を表示させる。
【0179】
本実施形態によれば、創作物を評価者が視覚的に評価をする成果物に対しても、評価者への負荷を低減し、下位までの客観的な順位付けを効率的に行うことができる。さらに、成果物はデータによる成果物に限定されることなく、評価者が現場に出向いて評価結果を入力するようなコンペティションにも適用可能であり、応募されてきた成果物に対して客観的な順位付けを効率的に行うことができる。
【0180】
［第６実施形態］
次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第５実施形態と比べると、コンペディションの対象となる創作物が、評価者が聴覚的に評価をする対象物である点で異なる。例えば、音楽や話術芸、あるいは、弁論なども含む。その他の構成および動作は、第２実施形態から第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第６実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第５実施形態と比べると、コンペディションの対象となる創作物が、評価者が聴覚的に評価をする対象物である点で異なる。例えば、音楽や話術芸、あるいは、弁論なども含む。その他の構成および動作は、第２実施形態から第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0181】
（応募者端末および評価者端末の表示）
図１６は、本実施形態に係る情報処理装置を含むコンペティションシステム１６００における応募者端末２３０および評価者端末２４０の表示を示す図である。図１６は、応募する成果物として、評価者が聴覚的に評価をする創作物である音楽の応募を示している。なお、図１６において、図２Ｂ、図１５Ａおよび図１５Ｂと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１６は、本実施形態に係る情報処理装置を含むコンペティションシステム１６００における応募者端末２３０および評価者端末２４０の表示を示す図である。図１６は、応募する成果物として、評価者が聴覚的に評価をする創作物である音楽の応募を示している。なお、図１６において、図２Ｂ、図１５Ａおよび図１５Ｂと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0182】
コンペティションアプリが起動した応募者端末２３０表示画面１６３２には、情報処理装置２１０からのコンペティションの公募要綱１６３３が表示される。公募要綱１６３３には、公募内容と応募する時の応募仕様（例えば、音声チューニグの調整パラメータなど）が含まれる。応募者２３１は、応募者端末２３０の表示画面１６３４に応募する音楽の調整パラメータ１６３５を入力して、音楽を情報処理装置２１０に登録する。
【0183】
情報処理装置２１０は、登録された複数の音楽から２つの音楽の組を対戦組として選定する。そして、情報処理装置２１０は、コンペティションアプリが起動している評価者端末２４０の表示画面１５４２に、評価対象の調整パラメータ１６４３として調整パラメータＡと調整パラメータＢとを表示する。評価者２４１は、指定された調整パラメータを用いて再生された音楽を比較して、評価者端末２４０の表示画面１６４６に、評価ラベル表１６４７に従って評価結果１６４８を入力し、評価結果１６４８は情報処理装置２１０に収集される。
【0184】
情報処理装置２１０は、収集した評価結果に重み付けをして累積し、累積結果に基づいて音楽の順序付け（ランキング）を行う。情報処理装置２１０は、応募者端末２３０の表示画面１６３６に、評価結果１６３７および順位表１６３８を表示させる。
【0185】
本実施形態によれば、創作物を評価者が聴覚的に評価をする成果物に対しても、評価者への負荷を低減し、下位までの客観的な順位付けを効率的に行うことができる。
【0186】
［第７実施形態］
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第５実施形態および第６実施形態と比べると、コンペディションを行う対象となる創作物が文学作品である点で異なる。例えば、小説、エッセイ、詩歌、俳句などを含む。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第５実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第５実施形態および第６実施形態と比べると、コンペディションを行う対象となる創作物が文学作品である点で異なる。例えば、小説、エッセイ、詩歌、俳句などを含む。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0187】
（応募者端末および評価者端末の表示）
図１７は、本実施形態に係る情報処理装置を含むコンペティションシステム１７００における応募者端末２３０および評価者端末２４０の表示を示す図である。図１７は、応募する成果物として、創作物である文学作品の俳句の応募を示している。なお、図１７において、図２Ｂ、図１５Ａ、図１５Ｂおよび図１６と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１７は、本実施形態に係る情報処理装置を含むコンペティションシステム１７００における応募者端末２３０および評価者端末２４０の表示を示す図である。図１７は、応募する成果物として、創作物である文学作品の俳句の応募を示している。なお、図１７において、図２Ｂ、図１５Ａ、図１５Ｂおよび図１６と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0188】
コンペティションアプリが起動した応募者端末２３０表示画面１７３２には、情報処理装置２１０からのコンペティションの公募要綱１７３３が表示される。公募要綱１７３３には、俳句のテーマと季節と締切日などが含まれる。応募者２３１は、応募者端末２３０の表示画面１７３４に応募する俳句１７３５を入力して、俳句を情報処理装置２１０に登録する。なお、音声による登録であってもよい。
【0189】
情報処理装置２１０は、登録された複数の俳句から２つの俳句の組を対戦組として選定する。そして、情報処理装置２１０は、コンペティションアプリが起動している評価者端末２４０の表示画面１７４２に、評価対象１７４３として俳句Ａと俳句Ｂとを表示する。評価者２４１は、表示された２つの俳句を比較して、評価者端末２４０の表示画面１７４６に、評価ラベル表１７４７に従って評価結果１７４８を入力し、評価結果１７４８は情報処理装置２１０に収集される。なお、俳句の比較は、評価者２４１が声を出して読んで比較してもよい。
【0190】
情報処理装置２１０は、収集した評価結果に重み付けをして累積し、累積結果に基づいて俳句の順序付け（ランキング）を行う。情報処理装置２１０は、応募者端末２３０の表示画面１７３６に、評価結果１７３７および順位表１７３８を表示させる。
【0191】
本実施形態によれば、創作物である文学作品の成果物に対しても、評価者への負荷を低減し、下位までの客観的な順位付けを効率的に行うことができる。
【0192】
［第８実施形態］
次に、本発明の第８実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態から第７実施形態と比べると、コンペディションの対象となる成果物が、評価者が経済的な観点も含む評価をする対象物である点で異なる。例えば、製品や部品の採用、あるいは、入札制度なども含む。その他の構成および動作は、第２実施形態から第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第８実施形態に係る情報処理装置について説明する。本実施形態に係る情報処理装置は、上記第２実施形態から第７実施形態と比べると、コンペディションの対象となる成果物が、評価者が経済的な観点も含む評価をする対象物である点で異なる。例えば、製品や部品の採用、あるいは、入札制度なども含む。その他の構成および動作は、第２実施形態から第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0193】
（応募データ）
図１８は、本実施形態に係る応募データ１８１２の構成を示す図である。応募データ１８１２は、応募者が入札した内容を応募者に対応付けて登録されたデータであり、本実施携帯に従って、個々の入札対象に応募された複数の入札から２つの入札の組を選定して対戦を繰り返し、ランキングの最上位の応募入札を落札する。
図１８は、本実施形態に係る応募データ１８１２の構成を示す図である。応募データ１８１２は、応募者が入札した内容を応募者に対応付けて登録されたデータであり、本実施携帯に従って、個々の入札対象に応募された複数の入札から２つの入札の組を選定して対戦を繰り返し、ランキングの最上位の応募入札を落札する。
【0194】
応募データ１８１２は、各入札の入札番号１８２１に対応付けて、複数の入札ＩＤ１８２２を記憶する。入札ＩＤ１８２２は、入札内容ＩＤと入札者ＩＤとを含む。そして、各入札ＩＤ１８２２に対応付けて、入札者属性１８２３と、入札日時１８２４、入札内容１８２５と、を記憶する。
【0195】
入札内容１８２５としては、費用と品質レベルと納期などが含まれる。評価者は、２つの入札の組の費用と品質レベルと納期などを比較して、勝敗結果を評価者端末から情報処理装置に送信する。情報処理装置は、収集した勝敗結果に基づいて順位付けを行い、落札を行う。
【0196】
本実施形態によれば、評価者が経済的な観点も含む評価をする対象物である場合も、評価者への負荷を低減し、下位までの客観的な順位付けをより効率的に行うことができる。
【0197】
［他の実施形態］
なお、上記実施形態においては、本願発明の対戦型評価の繰り返しで最終的な順位を決定した。しかしながら、本願発明の対戦型評価で多数の応募成果物を絞った後に他のより高度な評価を行う構成にしても、他の評価方法で絞った後に本願発明の対戦型評価を行う構成にしても、他の評価と本願発明の評価とを並行に行って評価結果を組み合わせて最終順位を決定してもよい。
なお、上記実施形態においては、本願発明の対戦型評価の繰り返しで最終的な順位を決定した。しかしながら、本願発明の対戦型評価で多数の応募成果物を絞った後に他のより高度な評価を行う構成にしても、他の評価方法で絞った後に本願発明の対戦型評価を行う構成にしても、他の評価と本願発明の評価とを並行に行って評価結果を組み合わせて最終順位を決定してもよい。
【0198】
以上、実施形態を参照して本願発明を説明したが、本願発明の適用は上記実施形態の分野に限定されるものではなく、他の様々な分野のコンペディションに対して適用することにより、複数の成果物に対する客観的で公正な順位付けを効率的に行うができる。例えば、評価者の味覚や嗅覚による対戦型評価の累積に基づいて順位付けをする分野にも適用できて、客観的で公正な順位付けを効率的に行うができる。さらに、評価者による外部からの評価でなく、装飾品の装着感覚などの良否を評価するコンペディションに対する適用であってもよい。
【0199】
また、本願発明は上記実施形態に限定されるものではなく、本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0200】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図12D】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】
【図16】
【図17】
【図18】