特許 6681485 課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6681485

(24)【登録日】2020年3月25日

(45)【発行日】2020年4月15日

(54)【発明の名称】課題収集評価方法、解決案収集評価方法、課題収集評価のためのサーバ、解決案収集評価のためのサーバ、並びに、課題及びその解決案の収集評価のためのサーバ

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20200406BHJP

【ＦＩ】

   G06Q50/20

【請求項の数】44

【全頁数】65

(21)【出願番号】特願2019-8088(P2019-8088)

(22)【出願日】2019年1月21日

【審査請求日】2019年8月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516054070

【氏名又は名称】ＶＩＳＩＴＳ Ｔｅｃｈｎｏｌｏｇｉｅｓ株式会社

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際特許業務法人

(72)【発明者】

【氏名】松本 勝

【審査官】 渡邉 加寿磨

(56)【参考文献】

【文献】 特表２００９−５０９２００（ＪＰ，Ａ）

【文献】 国際公開第２０１７／１４５７６５（ＷＯ，Ａ１）

【文献】 特開２０００−１２２９９５（ＪＰ，Ａ）

【文献】 特開２０１５−１８４９７０（ＪＰ，Ａ）

【文献】 特開２００４−３３４７６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ１６Ｈ １０／００ − ８０／００

Ｇ０９Ｂ ７／０７３

(57)【特許請求の範囲】

【請求項1】

サーバが、ネットワークを介して試験管理者端末から第一テスト開始の指示を受信するステップと、
サーバが、第一テスト開始の指示に応じて、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データをネットワークを介して第一テストの複数の受験者端末のそれぞれに送信するステップと、
サーバが、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、第一テストの各受験者端末から受信するステップと、
サーバが、受信した課題を含む課題データにそれぞれ識別子を付与し、前記課題データを送信した第一テストの各受験者の識別子と関連付けて前記課題データを課題データ記憶部に格納するステップと、
サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を第一テストの受験者の中から決定するステップと、
サーバが、課題を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データをネットワークを介して対応する第一テストの受験者端末に送信するステップと、
サーバが、課題データ中の課題に対する第一テストの受験者による評価を含む課題評価データを、第一テストの各受験者端末から受信するステップと、
サーバが、受信した課題評価データにそれぞれ識別子を付与し、前記課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて前記課題評価データを課題評価データ記憶部に格納するステップと、
サーバが、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、各課題を含む課題データを送信した第一テストの受験者の識別子と関連付けて前記スコアを課題データ記憶部に格納するステップと、
サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む課題収集評価方法。

【請求項2】

課題入力のための第一書式データは、第一テスト情報記憶部に格納されている課題の入力条件と共に送信される請求項１に記載の課題収集評価方法。

【請求項3】

前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性の少なくとも一つを含む請求項１又は２に記載の課題収集評価方法。

【請求項4】

前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項１〜３の何れか一項に記載の課題収集評価方法。

【請求項5】

前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性よりなる群から選択される二つ以上の評価軸を含む請求項４に記載の課題収集評価方法。

【請求項6】

サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む請求項１〜５の何れか一項に記載の課題収集評価方法。

【請求項7】

サーバが、課題データ記憶部に格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、ネットワークを介して試験管理者端末から受信するステップと、
サーバが、ネットワークを介して試験管理者端末から第二テスト開始の指示を受信するステップと、
サーバが、第二テスト開始の指示に応じて、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの記述式解決案入力部を含む、前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データをネットワークを介して第二テストの複数の受験者端末のそれぞれに送信するステップと、
サーバが、前記少なくとも一つの解決すべき課題に対する第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末から受信するステップと、
サーバが、受信した解決案を含む解決案データにそれぞれ識別子を付与し、前記解決案データを送信した第二テストの受験者の識別子と関連付けて前記解決案データを解決案データ記憶部に格納するステップと、
サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を第二テストの受験者の中から決定するステップと、
サーバが、解決案を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解決案を含む解決案データを解決案データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データをネットワークを介して対応する第二テストの受験者端末に送信するステップと、
サーバが、解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末から受信するステップと、
サーバが、受信した解決案評価データにそれぞれ識別子を付与し、前記解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて前記解決案評価データを解決案評価データ記憶部に格納するステップと、
サーバが、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、各解決案を含む解決案データを送信した第二テストの受験者の識別子と関連付けて前記スコアを解決案データ記憶部に格納するステップと、
サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む解決案収集評価方法。

【請求項8】

解決案入力のための第二書式データは、第二テスト情報記憶部に格納されている解決案の入力条件と共に送信される請求項７に記載の解決案収集評価方法。

【請求項9】

前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性の少なくとも一つを含む請求項７又は８に記載の解決案収集評価方法。

【請求項10】

前記少なくとも一つの評価軸が、二つ以上の評価軸を含む請求項７〜９の何れか一項に記載の解決案収集評価方法。

【請求項11】

前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性よりなる群から選択される二つ以上の評価軸を含む請求項１０に記載の解決案収集評価方法。

【請求項12】

サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む請求項７〜１１の何れか一項に記載の解決案収集評価方法。

【請求項13】

課題データ記憶部には、請求項１〜６の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データが格納されている請求項７〜１２の何れか一項に記載の解決案収集評価方法。

【請求項14】

サーバが、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を更に含む請求項１〜６の何れか一項に記載の課題収集評価方法。

【請求項15】

サーバが、課題データ記憶部に格納されている各課題に付与された補正後の評価軸毎のスコア及び第一テストの受験者の識別子に基づき、第一テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第一テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む請求項１４に記載の課題収集評価方法。

【請求項16】

第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである請求項１４又は１５に記載の課題収集評価方法。

【請求項17】

第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである請求項１４又は１５に記載の課題収集評価方法。

【請求項18】

サーバが、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を更に含む請求項７〜１３の何れか一項に記載の解決案収集評価方法。

【請求項19】

サーバが、解決案データ記憶部に格納されている各解決案に付与された補正後の評価軸毎のスコア及び第二テストの受験者の識別子に基づき、第二テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第二テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む請求項１８に記載の解決案収集評価方法。

【請求項20】

第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである請求項１８又は１９に記載の解決案収集評価方法。

【請求項21】

第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである請求項１８又は１９に記載の解決案収集評価方法。

【請求項22】

課題データ記憶部に、請求項１〜６、１４〜１７の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データを格納しており、且つ、課題評価データ記憶部に、請求項１〜６、１４〜１７の何れか一項に記載の課題収集評価方法を実施することによって収集された課題評価データを格納しているサーバが、利用権限のある端末からネットワークを介して、課題及びその解決案についての検索要求を受信するステップと、
サーバが、課題データ記憶部、課題評価データ記憶部、解決案データ記憶部及び解決案評価データ記憶部の少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果をネットワークを介して前記利用権限のある端末に送信するステップと、
を更に含む請求項７〜１３、１８〜２１の何れか一項に記載の解決案収集評価方法。

【請求項23】

検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む請求項２２に記載の解決案収集評価方法。

【請求項24】

送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部とを有し、
前記制御部はデータ登録部、課題入力用書式抽出部、評価者決定部、課題抽出部、課題評価部、及び、課題評価抽出部を有し、
データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題収集評価のためのサーバ。

【請求項25】

送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
複数の課題を含む課題データを記憶するための課題データ記憶部と、
送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
前記制御部はデータ登録部、解決案入力用書式抽出部、評価者決定部、解決案抽出部、解決案評価部、及び解決案評価抽出部を有し、
データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
解決案収集評価のためのサーバ。

【請求項26】

送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部と、
送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
前記制御部はデータ登録部、課題入力用書式抽出部、解決案入力用書式抽出部、評価者決定部、課題抽出部、解決案抽出部、課題評価部、解決案評価部、課題評価抽出部及び解決案評価抽出部を有し、
データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
また、データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
また、解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データを送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
また、評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができ、
解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題及びその解決案の収集評価のためのサーバ。

【請求項27】

前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
請求項２４に記載の課題収集評価のためのサーバ。

【請求項28】

課題評価抽出部は、課題データ記憶部に格納されている各課題に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項29】

課題評価抽出部は、キーワードマップ上のキーワードを選択すると、課題データ記憶部に格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項30】

解決案評価抽出部は、解決案データ記憶部に格納されている各解決案に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項31】

解決案評価抽出部は、キーワードマップ上のキーワードを選択すると、解決案データ記憶部に格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項32】

前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項33】

第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項34】

第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである請求項２４に記載の課題収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項35】

前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
請求項２５に記載の解決案収集評価のためのサーバ。

【請求項36】

前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項37】

第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項38】

第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである請求項２５に記載の解決案収集評価のためのサーバ、又は請求項２６に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項39】

前記制御部は、利用権限のある端末からネットワークを介して課題及びその解決案についての検索要求を送受信部が受信すると、前記記憶部を検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末に送信することができる検索部を更に有する請求項２６、２８〜３４、３６〜３８の何れか一項に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項40】

検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む請求項３９に記載の課題及びその解決案の収集評価のためのサーバ。

【請求項41】

請求項１〜６、１４〜１７の何れか一項に記載の課題収集評価方法をコンピュータに実行させるためのプログラム。

【請求項42】

請求項４１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【請求項43】

請求項７〜１３、１８〜２３の何れか一項に記載の解決案収集評価方法をコンピュータに実行させるためのプログラム。

【請求項44】

請求項４３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はオンラインで行う課題収集評価方法及び解決案収集評価方法に関する。また、本発明は、課題収集評価をオンラインで行うためのサーバ、解決案収集評価をオンラインで行うためのサーバ、並びに、課題及びその解決案の収集評価をオンラインで行うためのサーバに関する。

【背景技術】

【0002】

近年、インターネットの普及により検定試験や就職試験などの各種試験がオンライン上でも行われるようになってきている。オンライン試験においては、受験者が自己の端末にて問題をサーバから受信し、受験者は自ら作成した答案をサーバへ送信することにより行う方法が一般的に採用されている。

【0003】

例えば、特開２００２−６２７９５号公報では、設問形式の問題を受験者に対して提供し、前記問題に対する回答を収集して採点又は解析の結果情報を提供する検定試験システムであって、前記問題を含んだ出題用プログラム及び前記問題に対する回答を返送する転送用ファイルを前記受験者に対して提供するステップと、前記受験者から返送される前記転送用ファイルを受信するステップと、前記転送用ファイルに含まれる回答を採点又は解析するステップと、前記回答を採点又は解析した結果情報を前記受験者に対して配信するステップとを備えたことを特徴とする検定試験システムが開示されている。

【0004】

しかしながら、オンライン試験に限らず、人の知識や能力を測定するための試験においては選択式であろうと記述式であろうと模範回答が用意されており、受験者による解答を当該模範解答と比較することで、受験者に対する評価を決定するという手順が伝統的に採用されてきた。しかしながら、このような伝統的な採点方法では、模範解答のない問題に対して受験者を評価することは困難である。

【0005】

そこで、模範解答のない問題に対して、受験者間で相互に評価させるという方法が特表２０１４−５００５３２号公報にて提案されている。当該公報においては、コンピュータ内に存在するメモリデバイスと；前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは：候補者がテーマに基づいた問題を作成することを要求し；前記候補者から前記問題を受信し；少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；各評価者に対する格付けを受信し；そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成されるシステムが開示されている。

【0006】

また、国際公開第２０１７／１４５７６５号においては、各受験者における目利き力を判定し、その結果を各受験者の評価に反映させることで、各受験者のアイデア創造力を簡易的且つ客観的に測定することを可能としたオンラインテスト方法が開示されている。具体的には、多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデアを記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの回答に対して所定の基準に従って重み付けを付与して合計スコアを算出することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、又は、希少で評価の高いアイデアを創出する能力といったイノベーション能力を評価するオンラインテスト方法が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００２−６２７９５号公報

【特許文献2】特表２０１４−５００５３２号公報

【特許文献3】国際公開第２０１７／１４５７６５号

【発明の概要】

【発明が解決しようとする課題】

【0008】

世の中には政治、経済、社会、産業、科学、環境等の種々の分野において様々な課題が存在する。また、企業内においても、人事、労務、教育、経理、法務、経営企画、技術開発、保安、情報管理、マーケティング及び営業といった種々の部門で様々な課題が存在する。このような課題は既に知られているもの、潜在的にその存在が予測されているもの、未だ認識されていないものを含めて多数存在する。現代社会においては、既存の課題に対して過去から現在まで多様な解決手段が提案されており、インターネットの普及も相まって課題及び解決手段に関する多種多様な情報が手に入るものの、入手可能な情報量は日々膨れ上がって複雑化及び高度化しており、しかもそのような情報には不正確な情報、誤った情報、更には詐欺的な情報も含まれるため、かえって社会を混乱に陥れる危険性を孕んでいる。

【0009】

つまり、現代の情報社会においては、膨大な情報量の中から、信頼性の高い正確な情報を選別して得ることは容易ではない。そのため、ある課題に対して最適解が既に世の中に存在しているにも拘わらずそのような最適解に容易に辿り着くことができないという事態が生じ得る。また、世の中の誰かが既に認識又は潜在的に認識している課題であるにも拘わらず、社会全体としてその課題の存在を共有できていないという事態も生じ得る。そのような課題に対しては解決策が存在しないか、存在していたとしても少ないため、最適な解決策を探すことはいっそう困難である。

【0010】

同様の事態は企業内という小さな組織においても存在し得る。すなわち、企業内での情報共有が十分になされていないと、過去に解決したはずの課題に対して最初から取り組まなければならないという非効率な事態が生じ得る。また、従業員の誰かが既に認識又は潜在的に認識している課題であるにも拘わらず、企業としてその課題の存在を共有できていないという事態も生じ得る。企業内における課題の共有が十分にできていればその課題に対する解決策を検討する機会自体が得られない。課題によっては顕在化してからでは手遅れのものも存在するところ、課題とその解決策の迅速な把握が企業活動において極めて重要である。

【0011】

上述したオンラインテスト方法、特に特許文献３に記載されているオンラインテスト方法は、個人のアイデア創造力を評価する手法としては優れているものの、多種多様な課題を収集評価及び多種多様な解決案収集をオンラインで効率的に行ない、収集評価した課題及び解決案を価値評価と共にストックし、情報の可用性を高めるという観点での検討が不足している。情報が価値評価と共にストックされれば、信頼性の高い情報へのアクセスが容易になるであろう。

【0012】

従って、本発明はオンラインで効率的に行うことのできる課題収集評価方法を提供することを課題とする。また、本発明はオンラインで効率的に行うことのできる解決案収集評価方法を提供することを別の課題とする。また、本発明は、課題収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。また、本発明は、解決案収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。また、本発明は、課題及びその解決案の収集評価をオンラインで効率的に行うためのサーバを提供することを更に別の課題とする。

【課題を解決するための手段】

【0013】

本発明者は上記課題を解決するために鋭意検討を行ったところ、課題を認識していたり潜在的な課題を提案可能な者と、与えられた課題に対する解決案を認識していたり解決案を提案可能な者は必ずしも同一ではないことに着目した。例えば、ある従業員は職場の問題を発見しているがそれに対する有効な解決案を発見できない場合がある。また、ある従業員はそのような職場の問題に気づいていないが、問題提起を受ければ有効な解決案を提案できる場合がある。つまり、課題の収集評価と、解決案の収集評価は個別に実施する方が、多種多様な課題及びそれに対する多種多様な解決案を収集しやすいのである。

【0014】

本発明は当該知見を基礎として完成したものであり、以下に例示される。
［１］
サーバが、ネットワークを介して試験管理者端末から第一テスト開始の指示を受信するステップと、
サーバが、第一テスト開始の指示に応じて、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データをネットワークを介して第一テストの複数の受験者端末のそれぞれに送信するステップと、
サーバが、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、第一テストの各受験者端末から受信するステップと、
サーバが、受信した課題を含む課題データにそれぞれ識別子を付与し、前記課題データを送信した第一テストの各受験者の識別子と関連付けて前記課題データを課題データ記憶部に格納するステップと、
サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を第一テストの受験者の中から決定するステップと、
サーバが、課題を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データをネットワークを介して対応する第一テストの受験者端末に送信するステップと、
サーバが、課題データ中の課題に対する第一テストの受験者による評価を含む課題評価データを、第一テストの各受験者端末から受信するステップと、
サーバが、受信した課題評価データにそれぞれ識別子を付与し、前記課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて前記課題評価データを課題評価データ記憶部に格納するステップと、
サーバが、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、各課題を含む課題データを送信した第一テストの受験者の識別子と関連付けて前記スコアを課題データ記憶部に格納するステップと、
サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む課題収集評価方法。
［２］
課題入力のための第一書式データは、第一テスト情報記憶部に格納されている課題の入力条件と共に送信される［１］に記載の課題収集評価方法。
［３］
前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性の少なくとも一つを含む［１］又は［２］に記載の課題収集評価方法。
［４］
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［１］〜［３］の何れか一項に記載の課題収集評価方法。
［５］
前記少なくとも一つの評価軸が、発生頻度、潜在度、重要度及び緊急性よりなる群から選択される二つ以上の評価軸を含む［４］に記載の課題収集評価方法。
［６］
サーバが、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む［１］〜［５］の何れか一項に記載の課題収集評価方法。
［７］
サーバが、課題データ記憶部に格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、ネットワークを介して試験管理者端末から受信するステップと、
サーバが、ネットワークを介して試験管理者端末から第二テスト開始の指示を受信するステップと、
サーバが、第二テスト開始の指示に応じて、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、少なくとも一つの記述式解決案入力部を含む、前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データをネットワークを介して第二テストの複数の受験者端末のそれぞれに送信するステップと、
サーバが、前記少なくとも一つの解決すべき課題に対する第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末から受信するステップと、
サーバが、受信した解決案を含む解決案データにそれぞれ識別子を付与し、前記解決案データを送信した第二テストの受験者の識別子と関連付けて前記解決案データを解決案データ記憶部に格納するステップと、
サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を第二テストの受験者の中から決定するステップと、
サーバが、解決案を評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解決案を含む解決案データを解決案データ記憶部から抽出すると共に、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データをネットワークを介して対応する第二テストの受験者端末に送信するステップと、
サーバが、解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末から受信するステップと、
サーバが、受信した解決案評価データにそれぞれ識別子を付与し、前記解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて前記解決案評価データを解決案評価データ記憶部に格納するステップと、
サーバが、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、各解決案を含む解決案データを送信した第二テストの受験者の識別子と関連付けて前記スコアを解決案データ記憶部に格納するステップと、
サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信するステップと、
を含む解決案収集評価方法。
［８］
解決案入力のための第二書式データは、第二テスト情報記憶部に格納されている解決案の入力条件と共に送信される［７］に記載の解決案収集評価方法。
［９］
前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性の少なくとも一つを含む［７］又は［８］に記載の解決案収集評価方法。
［１０］
前記少なくとも一つの評価軸が、二つ以上の評価軸を含む［７］〜［９］の何れか一項に記載の解決案収集評価方法。
［１１］
前記少なくとも一つの評価軸が、効果、実現可能性、及び新規性よりなる群から選択される二つ以上の評価軸を含む［１０］に記載の解決案収集評価方法。
［１２］
サーバが、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをネットワークを介して試験管理者端末に送信するステップを含む［７］〜［１１］の何れか一項に記載の解決案収集評価方法。
［１３］
課題データ記憶部には、［１］〜［６］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データが格納されている［７］〜［１２］の何れか一項に記載の解決案収集評価方法。
［１４］
サーバが、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を更に含む［１］〜［６］の何れか一項に記載の課題収集評価方法。
［１５］
サーバが、課題データ記憶部に格納されている各課題に付与された補正後の評価軸毎のスコア及び第一テストの受験者の識別子に基づき、第一テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納するステップと、
サーバが、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第一テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む［１４］に記載の課題収集評価方法。
［１６］
第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである［１４］又は［１５］に記載の課題収集評価方法。
［１７］
第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである［１４］又は［１５］に記載の課題収集評価方法。
［１８］
サーバが、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎の獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を更に含む［７］〜［１３］の何れか一項に記載の解決案収集評価方法。
［１９］
サーバが、解決案データ記憶部に格納されている各解決案に付与された補正後の評価軸毎のスコア及び第二テストの受験者の識別子に基づき、第二テストの各受験者に対する補正後の獲得スコアを評価軸毎に算出し、第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納するステップと、
サーバが、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている補正後の獲得スコアに基づいて第二テストの受験者に対して再び順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納するステップと、
を少なくとも一回繰り返すことを含む［１８］に記載の解決案収集評価方法。
［２０］
第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである［１８］又は［１９］に記載の解決案収集評価方法。
［２１］
第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである［１８］又は［１９］に記載の解決案収集評価方法。
［２２］
課題データ記憶部に、［１］〜［６］、［１４］〜［１７］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題データを格納しており、且つ、課題評価データ記憶部に、［１］〜［６］、［１４］〜［１７］の何れか一項に記載の課題収集評価方法を実施することによって収集された課題評価データを格納しているサーバが、利用権限のある端末からネットワークを介して、課題及びその解決案についての検索要求を受信するステップと、
サーバが、課題データ記憶部、課題評価データ記憶部、解決案データ記憶部及び解決案評価データ記憶部の少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果をネットワークを介して前記利用権限のある端末に送信するステップと、
を更に含む［７］〜［１３］、［１８］〜［２１］の何れか一項に記載の解決案収集評価方法。
［２３］
検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む［２２］に記載の解決案収集評価方法。
［２４］
送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部とを有し、
前記制御部はデータ登録部、課題入力用書式抽出部、評価者決定部、課題抽出部、課題評価部、及び、課題評価抽出部を有し、
データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題収集評価のためのサーバ。
［２５］
送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
複数の課題を含む課題データを記憶するための課題データ記憶部と、
送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
前記制御部はデータ登録部、解決案入力用書式抽出部、評価者決定部、解決案抽出部、解決案評価部、及び解決案評価抽出部を有し、
データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
解決案収集評価のためのサーバ。
［２６］
送受信部、制御部、記憶部、及び乱数発生装置を備え、
前記記憶部は、
第一テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第一テストの受験者アカウントデータ記憶部と、
第二テストの各受験者のアカウント情報を受験者の識別子と関連付けて格納するための第二テストの受験者アカウントデータ記憶部と、
少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データを記憶するための第一書式データ記憶部と、
少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データを記憶するための第二書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データを記憶するための第三書式データ記憶部と、
少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データを記憶するための第四書式データ記憶部と、
送受信部で受信した、記述式課題入力部に第一テストの各受験者によって入力された課題を含む課題データを、当該課題データの識別子と共に当該課題データを送信した第一テストの受験者の識別子と関連付けて格納するための課題データ記憶部と、
送受信部で受信した、記述式解決案入力部に第二テストの各受験者によって入力された解決案を含む解決案データを、当該解決案データの識別子と共に当該解決案データを送信した第二テストの受験者の識別子と関連付けて格納するための解決案データ記憶部と、
送受信部で受信した、各課題に対する受験者による評価を含む課題評価データを、当該課題評価データの識別子と共に当該課題評価データを送信した評価者としての第一テストの受験者の識別子、及び評価された課題データの識別子と関連付けて格納するための課題評価データ記憶部と、
送受信部で受信した、各解決案に対する受験者による評価を含む解決案評価データを、当該解決案評価データの識別子と共に当該解決案評価データを送信した評価者としての第二テストの受験者の識別子、及び評価された解決案データの識別子と関連付けて格納するための解決案評価データ記憶部とを有し、
前記制御部はデータ登録部、課題入力用書式抽出部、解決案入力用書式抽出部、評価者決定部、課題抽出部、解決案抽出部、課題評価部、解決案評価部、課題評価抽出部及び解決案評価抽出部を有し、
データ登録部は、送受信部で受信した課題データにそれぞれ識別子を付与し、当該課題データを送信した第一テストの受験者の識別子と関連付けて当該課題データを課題データ記憶部に格納することと、送受信部で受信した課題評価データにそれぞれ識別子を付与し、当該課題評価データを送信した評価者としての第一テストの受験者の識別子及び評価された課題データの識別子と関連付けて当該課題評価データを課題評価データ記憶部に格納することができ、
また、データ登録部は、送受信部で受信した解決案データにそれぞれ識別子を付与し、当該解決案データを送信した第二テストの受験者の識別子と関連付けて当該解決案データを解決案データ記憶部に格納することと、送受信部で受信した解決案評価データにそれぞれ識別子を付与し、当該解決案評価データを送信した評価者としての第二テストの受験者の識別子及び評価された解決案データの識別子と関連付けて当該解決案評価データを解決案評価データ記憶部に格納することができ、
課題入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、課題入力のための第一書式データを第一書式データ記憶部から抽出し、当該第一書式データを送受信部からネットワークを介して第一テストの複数の受験者端末のそれぞれに送信することができ、
また、解決案入力用書式抽出部は、試験管理者端末からの指示を送受信部が受信すると、前記少なくとも一つの解決すべき課題を含む課題データを課題データ記憶部から抽出すると共に、解決案を入力するための第二書式データを第二書式データ記憶部から抽出し、当該課題データ及び当該第二書式データを送受信部からネットワークを介して第二テストの複数の受験者端末のそれぞれに送信することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて課題データ記憶部に格納されている各課題データ中の課題を評価すべき受験者を課題データの識別子毎に第一テストの受験者の識別子を評価者として関連付けることにより決定することができ、
また、評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解決案データ記憶部に格納されている各解決案データ中の解決案を評価すべき受験者を解決案データの識別子毎に第二テストの受験者の識別子を評価者として関連付けることにより決定することができ、
課題抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を含む課題データを課題データの識別子と当該課題データの識別子に評価者として関連付けられた第一のテストの受験者の識別子とに基づいて抽出すると共に、課題評価入力のための第三書式データを第三書式データ記憶部から抽出し、当該課題データ及び当該第三書式データを送受信部からネットワークを介して対応する第一テストの受験者端末に送信することができ、
解決案抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を含む解決案データを解決案データの識別子と当該解決案データの識別子に評価者として関連付けられた第二テストの受験者の識別子とに基づいて抽出すると共に、解決案評価入力のための第四書式データを第四書式データ記憶部から抽出し、当該解決案データ及び当該第四書式データを送受信部からネットワークを介して対応する第二テストの受験者端末に送信することができ、
課題評価部は、課題評価データ記憶部に格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより各課題に対する評価軸毎のスコアを算出し、得られたスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができ、
解決案評価部は、解決案評価データ記憶部に格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより各解決案に対する評価軸毎のスコアを算出し、得られたスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができ、
課題評価抽出部は、課題データ記憶部に格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができ、
解決案評価抽出部は、解決案データ記憶部に格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる、
課題及びその解決案の収集評価のためのサーバ。
［２７］
前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
［２４］に記載の課題収集評価のためのサーバ。
［２８］
課題評価抽出部は、課題データ記憶部に格納されている各課題に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［２９］
課題評価抽出部は、キーワードマップ上のキーワードを選択すると、課題データ記憶部に格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３０］
解決案評価抽出部は、解決案データ記憶部に格納されている各解決案に含まれるキーワードの出現回数に少なくとも基づいて、当該キーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、ネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３１］
解決案評価抽出部は、キーワードマップ上のキーワードを選択すると、解決案データ記憶部に格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して表示可能な形態で試験管理者端末に送信することができる［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３２］
前記記憶部は、第一テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第一の受験者評価データ記憶部を更に有し、
前記制御部は、課題データの識別子及び課題データを送信した第一テストの受験者の識別子と関連付けられて課題データ記憶部に格納されている課題に対する評価軸毎のスコアに少なくとも部分的に基づいて、課題データを送信した第一テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを課題データを送信した第一テストの受験者の識別子と関連付けて第一テストの受験者評価データ記憶部に格納することができる第一の受験者評価部を更に有し、
課題評価部は更に、第一テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第一テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、課題データの識別子毎に課題に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後の評価軸毎のスコアを課題データの識別子と関連付けて課題データ記憶部に格納することができる、
［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３３］
第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の最大スコアである［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３４］
第一テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題に対する評価の合計スコアである［２４］に記載の課題収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３５］
前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
［２５］に記載の解決案収集評価のためのサーバ。
［３６］
前記記憶部は、第二テストの受験者に対する獲得スコアを、受験者の識別子と関連付けて格納するための第二の受験者評価データ記憶部を更に有し、
前記制御部は、解決案データの識別子及び解決案データを送信した第二テストの受験者の識別子と関連付けられて解決案データ記憶部に格納されている解決案に対する評価軸毎のスコアに少なくとも部分的に基づいて、解決案データを送信した第二テストの受験者の識別子毎に獲得スコアを評価軸毎に算出し、当該獲得スコアを解決案データを送信した第二テストの受験者の識別子と関連付けて第二テストの受験者評価データ記憶部に格納することができる第二の受験者評価部を更に有し、
解決案評価部は更に、第二テストの受験者の識別子及び当該受験者の識別子と関連付けられている獲得スコアに基づいて第二テストの受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解決案データの識別子毎に解決案に対する評価を評価軸毎に改めて集計してスコア化し、得られた補正後のスコアを解決案データの識別子と関連付けて解決案データ記憶部に格納することができる、
［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３７］
第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の最大スコアである［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３８］
第二テストの受験者の識別子毎の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各解決案に対する評価の合計スコアである［２５］に記載の解決案収集評価のためのサーバ、又は［２６］に記載の課題及びその解決案の収集評価のためのサーバ。
［３９］
前記制御部は、利用権限のある端末からネットワークを介して課題及びその解決案についての検索要求を送受信部が受信すると、前記記憶部を検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末に送信することができる検索部を更に有する［２６］、［２８］〜［３４］、［３６］〜［３８］の何れか一項に記載の課題及びその解決案の収集評価のためのサーバ。
［４０］
検索結果が、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含む［３９］に記載の課題及びその解決案の収集評価のためのサーバ。
［４１］
［１］〜［６］、［１４］〜［１７］の何れか一項に記載の課題収集評価方法をコンピュータに実行させるためのプログラム。
［４２］
［４１］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
［４３］
［７］〜［１３］、［１８］〜［２３］の何れか一項に記載の解決案収集評価方法をコンピュータに実行させるためのプログラム。
［４４］
［４３］に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の効果】

【0015】

本発明の一実施態様によれば、課題収集評価をオンラインで効率的に行うことができる。また、本発明の別の一実施態様によれば、解決案収集評価をオンラインで効率的に行うことができる。このように、課題の収集評価と、解決案の収集評価を、複数の受験者を対象としてオンラインで別々に実施することで、多種多様な課題データ及び多種多様な解決案データを含むデータベースを容易に構築することが可能となる。

【0016】

また、課題及び解決案は受験者間で相互評価させることで、収集した課題、解決案又はこれら両者のデータを、客観的な評価が付与された状態で、サーバ内に格納することができる。つまり価値評価が付随した課題、解決案又はこれら両者のデータを含むデータベースが構築可能である。そして、これらのデータを識別子を用いて検索可能にサーバ内に格納することで、データの可用性を顕著に高めることが可能となる。

【0017】

従って、本発明の一実施態様によれば、サーバ内に格納されたデータを利用して課題や課題に対する解決策を容易に検索することができ、また、その検索結果には価値評価が付随しているため、課題や課題に対する解決策に関する情報を得てその適用を検討する場合に有益な情報として役立つ。この際、価値評価が複数の評価軸に基づいてなされていると、課題や課題に対する解決策の特徴を利点及び欠点を含めて多面的に認識することが可能となる。

【0018】

例えば、本発明によって得られた種々の課題及び解決案並びにそれらに対する価値評価を含むデータベースは、例えば企業内で共有のライブラリとして利用することができ、また、経営コンサルティングや技術コンサルティング用のデータベースとして利用することも可能である。

【図面の簡単な説明】

【0019】

【図1】本発明に係るオンライン試験システムの全体構成の例を示す。

【図2】サーバ、受験者端末、試験管理者端末、サーバ管理者端末及び利用者端末の基本的なハードウェア構成例を示す。

【図3】本発明に係るオンライン試験の一実施形態において行われる課題（解決案）の順位付け及び相互評価の繰り返しを表す概念図を示す。

【図4】サーバの機能ブロック図の一例を示す。

【図5】受験者端末に表示されるトップページの画面の一例である。

【図6】受験者端末に表示される受験者用ページのメニュー画面の一例である。

【図7】受験者端末に表示される受験者用ページの課題収集セッションの画面の一例である。

【図8】受験者端末に表示される受験者用ページの解決案収集セッションの画面の一例である。

【図9】受験者端末に表示される受験者用ページの課題評価セッションの画面の一例である。

【図10】受験者端末に表示される受験者用ページの解決案評価セッションの画面の一例である。

【図11】試験管理者端末に表示される試験管理者用ページの第一テスト用管理画面の一例である。

【図12】試験管理者端末に表示される試験管理者用ページの課題収集セッションの試験条件設定画面の一例である。

【図13】試験管理者端末に表示される試験管理者用ページの課題評価セッションの試験条件設定画面の一例である。

【図14】試験管理者端末に表示される試験管理者用ページの第二テスト用管理画面の一例である。

【図15】試験管理者端末に表示される試験管理者用ページの解決案収集セッションの試験条件設定画面の一例である。

【図16】試験管理者端末に表示される試験管理者用ページの解決案評価セッションの試験条件設定画面の一例である。

【図17】サーバ管理者端末に表示されるサーバ管理者用ページの試験管理者のアカウント情報入力画面の一例である。

【図18】試験管理者端末で表示される課題評価集計データの一例を示す。

【図19】試験管理者端末で表示される課題評価集計データの別の一例を示す。

【図20a】試験管理者端末で表示されるキーワードマップの一例を示す。

【図20b】試験管理者端末で表示されるキーワードマップの別の一例を示す。

【図20c】キーワードマップを利用して試験管理者端末で表示される課題評価集計データの一例を示す。

【図21】試験管理者端末で表示される解決案評価集計データの一例を示す。

【図22】試験管理者端末で表示される解決案評価集計データの別の一例を示す。

【図23a】試験管理者端末で表示されるキーワードマップの一例を示す。

【図23b】試験管理者端末で表示されるキーワードマップの別の一例を示す。

【図23c】キーワードマップを利用して試験管理者端末で表示される解決案評価集計データの一例を示す。

【図24】利用者端末で表示される検索条件を入力するための画面の一例を示す（左側）。利用者端末で表示される検索結果の画面の一例を示す（右側）。

【図25】試験管理者端末で表示される課題リストの一例を示す。

【図26】利用者端末で表示される、特定の解決案を利用した時の結果を入力するための少なくとも一つの記述式解決案利用結果入力部を含む画面の一例を示す。

【図27】試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、課題収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れを示すフローチャートである。

【図28】課題収集セッションの開始から終了までの処理の流れを示すフローチャートである。

【図29】課題評価セッションの開始から終了するまでの処理の流れを示すフローチャートである。

【図30】課題評価セッションの終了後、サーバによって課題及び受験者のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れを示すフローチャートである。

【図31】試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、解決案収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れを示すフローチャートである。

【図32】解決案収集セッションの開始から終了までの処理の流れを示すフローチャートである。

【図33】解決案評価セッションの開始から終了するまでの処理の流れを示すフローチャートである。

【図34】解決案評価セッションの終了後、サーバによって解決案及び受験者のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れを示すフローチャートである。

【図35】権限のある利用者端末がサーバへアクセスして検索要求を行い、所望の検索結果を得るまでの処理の流れを示すフローチャートである。

【図36】受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を示す。

【図37】第一テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を示す。

【図38】第一テスト課題データファイルに含まれる一つのテーブルの例を示す。

【図39】第一テスト課題評価データファイルに含まれる一つのテーブルの例を示す。

【図40】第一テスト受験者評価データファイルに含まれる一つのテーブルの例を示す。

【図41】第一テスト課題評価進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例を示す。

【図42】第二テスト受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を示す。

【図43】第二テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を示す。

【図44】第二テスト解決案データファイルに含まれる一つのテーブルの例を示す。

【図45】第二テスト解決案評価データファイルに含まれる一つのテーブルの例を示す。

【図46】第二テスト受験者評価データファイルに含まれる一つのテーブルの例を示す。

【図47】第二テスト解決案評価進捗管理ファイルに含まれる進捗状況が記憶されたテーブルの例を示す。

【図48】試験管理者アカウントファイル中の試験管理者アカウント情報が記憶されたテーブルの例を示す。

【図49】サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を示す。

【図50】ライブラリ利用者アカウントファイル中の利用者アカウント情報が記憶されたテーブルの例を示す。

【発明を実施するための形態】

【0020】

以下、本発明に係る課題収集評価方法及び解決案収集評価方法の実施形態について図面を参照しながら詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。

【0021】

＜１．システム構成＞
図１に本実施形態に係る課題収集評価方法を行うためのオンライン試験システムの全体構成を示す。本システムは、サーバ１１と、1番目からｎ番目までの複数の受験者端末１２と、試験管理者端末１３と、サーバ管理者端末１５とを備え、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５は、インターネット、専用回線又は公衆網といったコンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている。サーバ管理者端末１５は必ずしもサーバ１１と独立した端末として必要ではなく、サーバ管理者端末１５の機能はサーバ１１が担うこともできる。本システムは、コンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている利用者端末１６を備えることもできる。

【0022】

［ネットワーク］
コンピュータネットワーク１４は限定的ではないが、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）など有線ネットワークとすることができ、ＭＩＭＯ（Multiple-Input Multiple-Output）を用いたＷＬＡＮ（Wireless Local Area Network）などの無線ネットワークとすることができる。又は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネット（Internet）、又は、いわゆる無線ＬＡＮアクセスポイント（Wireless LAN Access Point）としての役割を果たす基地局（図示せず）などを介すものであってもよい。

【0023】

サーバとはサーバ・コンピュータを意味し、１台又は複数台のコンピュータの協働により構成することができる。受験者端末１２及び試験管理者端末１３はブラウザを搭載したパーソナルコンピュータにより実現できるが、それに限られるものではなく、スマートフォン、タブレット、携帯電話、モバイル及びＰＤＡといった携帯型の端末、更にはデジタルテレビなどのコンピュータネットワークによる通信が可能な機器や装置類で構成することができる。

【0024】

サーバ１１、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５の基本的なハードウェア構成は共通しており、図２に示すように、演算装置２０１、記憶装置２０２、出力装置２０３、入力装置２０４及び通信装置２０５を有するコンピュータ２００により実現可能である。また、必要に応じて乱数発生装置２０６及びタイマー２０７を備えてもよい。

【0025】

演算装置２０１はコンピュータの全体を制御し、入力装置２０４で入力された命令、指示及びデータや、記憶装置２０２に格納されたデータ等を基にプログラムに従って演算処理を実行する装置及び回路等のことを指す。演算装置２０１としては例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を採用することができる。
記憶装置２０２は各種データ、オペレーティングシステム（ＯＳ）、ネットワークアプリケーション（例：サーバ１１側のウェブサーバソフトウェア、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５のブラウザ）及び各種の演算処理を実行するためのプログラム等を記憶する装置、回路等のことを指し、例えば、主に半導体メモリが用いられる一次記憶装置、主にハードディスクドライブや半導体ディスクが用いられる二次記憶装置（補助記憶装置）、主にＣＤ−ＲＯＭドライブ等のリムーバブルメディアドライブが用いられるオフラインストレージ、テープライブラリ等、公知の記憶装置等を用いることができる。より具体的には、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＺＩＰドライブ、テープストレージ等の磁気記録媒体を用いる磁気記憶装置の他に、レジスタ、キャッシュメモリ、ＲＯＭ、ＲＡＭ、フラッシュメモリ（例えばＵＳＢメモリやソリッドステートドライブ）、半導体ディスク（例えばＲＡＭディスク、仮想ディスク）などの半導体メモリを利用する記憶回路又は記憶装置や、ＣＤ、ＤＶＤ等の光学記録媒体、ＭＯ等の光磁気ディスクを利用する光学記憶装置、その他紙テープやパンチカード等を利用する記憶装置、ＰＲＡＭ（ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ、相変化メモリ）と呼ばれる相変化記録技術を用いた記憶装置、ホログラフィックメモリ、３次元光メモリを用いた記憶装置、電荷の蓄積を分子レベルで行い情報を記憶する分子メモリを用いた記憶装置等を採用することができる。
出力装置２０３はデータ又は命令の出力を実現する装置、回路等のインターフェースであり、ＬＣＤや有機ＥＬ等のディスプレイの他、プリンター、スピーカ等を採用可能である。
入力装置２０４はデータ又は命令を演算装置２０１に与えるためのインターフェースであり、キーボード、テンキー、マウス等のポインティングデバイス、タッチパネル、リーダー（ＯＣＲ）、入力画面、マイク等の音声入力インターフェース等を採用可能である。
通信装置２０５は装置外部とのデータの送受信を実現する装置、回路であり、例えばＬＡＮポート、モデム、無線ＬＡＮ、ルーター等のネットワークに接続するためのインターフェースである。演算装置２０１の処理結果や記憶装置２０２に記憶する情報をコンピュータネットワーク１４を介して送受信することが可能である。
乱数発生装置２０６は乱数を提供することができる装置である。
タイマー２０７は時間を計測及び通知することができる装置である。

【0026】

［サーバ］
サーバ１１の機能ブロック図の一例を図４に示す。サーバ１１は送受信部３１０と、制御部３２０と、記憶部３４０とを備える。

【0027】

＜記憶部＞
サーバ１１の記憶部３４０には、第一テスト受験者アカウントファイル３４１ａ、第二テスト受験者アカウントファイル３４１ｂ、第一テスト情報ファイル３４２ａ、第一テスト課題データファイル３４３ａ、第一テスト課題評価データファイル３４４ａ、第一テスト受験者評価データファイル３４５ａ、第二テスト情報ファイル３４２ｂ、第二テスト解決案データファイル３４３ｂ、第二テスト解決案評価データファイル３４４ｂ、第二テスト受験者評価データファイル３４５ｂ、第一テスト課題評価進捗管理ファイル３４７ａ、第二テスト解決案評価進捗管理ファイル３４７ｂ、試験管理者アカウントファイル３４８、サーバ管理者アカウントファイル３４９、ライブラリ利用者アカウントファイル３５０、及びテスト管理ファイル３５１を格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のファイルをまとめて一つのファイルに格納してもよい。

【0028】

また、サーバ１１の記憶部３４０には、少なくとも一つの記述式課題入力部を含む課題入力のための第一書式データファイル３４６ａと、少なくとも一つの記述式解決案入力部を含む解決案入力のための第二書式データファイル３４６ｂと、少なくとも一つの評価軸に基づく選択式課題評価入力部を含む課題評価入力のための第三書式データファイル３４６ｃと、少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む解決案評価入力のための第四書式データファイル３４６ｄとを格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。

【0029】

（第一テスト受験者アカウントファイル）
第一テスト受験者アカウントファイル３４１ａには第一テストを受験する各受験者のアカウント情報を検索可能な状態で保存することができる。受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を図３６に示す。当該テーブルには受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未受験、第一テスト受験中、第一テスト受験終了などの試験の進捗状況に関する情報が挙げられる。

【0030】

（第一テスト情報ファイル）
第一テスト情報ファイル３４２ａには、第一テストの試験条件に関する情報を検索可能な状態で保存することができる。第一テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を図３７に示す。第一テストＩＤ、第一テストの収集開始日時、第一テストの収集終了日時、第一テストの課題入力条件、第一テスト課題回答制限時間、第一テストの評価開始日時、第一テストの評価終了日時、第一テストの課題評価入力条件、第一テスト評価回答制限時間、第一テスト課題評価軸１〜ｎ（ｎは１以上の整数）等の試験条件を記憶させることができる。この他、１つの課題当たりの評価人数を記憶させてもよい。当該人数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や受験者数を考慮して現実的な人数（例えば５〜２０人の範囲）を設定すればよい。

【0031】

課題入力条件としては、限定的ではないが、例えば、文字制限、課題の提案可能数、言語、文字コード、ファイル添付の可否の等が挙げられる。

【0032】

（第一テスト課題データファイル）
第一テスト課題データファイル３４３ａには第一テスト受験者が送信した課題データを検索可能な状態で保存することができる。第一テスト課題データファイルに含まれる一つのテーブルの例を図３８に示す。当該テーブルには、課題データの識別子である課題ＩＤ、当該課題データを送信した受験者の識別子である受験者ＩＤ（受験番号）、第一テストの固有の識別子である第一テストＩＤ、課題の内容、当該課題に対する評価であるスコア等を記憶させることができる。

【0033】

課題の内容としては、特に制限はない。例えば、ある企業の社員である受験者が自身の担当業務で認識している課題、ある企業の社員である受験者が、当該企業が将来直面すると予想する課題、一般市民が、生活の中で不便や不快を感じる課題などが挙げられる。受験者は記述式で自由に課題を記入可能である。これによって、実際に業務上や生活上で認識している課題を、選択肢等に制限されずに、受験者が認識しているままに自由な語彙を用いて記述することができるという利点が得られる。また、課題入力条件が指定されている場合には、受験者はその条件に従って課題を回答することになる。

【0034】

スコアは点数表示でもよいが、Ａランク、Ｂランク・・・などのカテゴリー表示でもよい。スコアは第一テスト課題評価データファイル３４４ａに格納されている各課題評価データ及び課題データの識別子に基づいて各課題データ中の課題に対する評価を集計することにより評価軸毎に算出可能である。例えば、スコアは、評価の平均点、評価の合計点、高評価の獲得割合等で表示することができる。

【0035】

評価軸は少なくとも一つ必要である。課題を多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。評価軸としては、例えば、課題が生じる頻度（発生頻度）、課題の存在が既に認知されている度合（潜在度）、課題が生じた際の影響の大きさ（重要度）及び課題が生じたときの緊急対応必要性（緊急性）よりなる群から選択される一つ又は二つ以上を含むことが、後に当該課題に対する解決案を検討すべきか否かを判断する上で好ましい。

【0036】

後述するように、スコアは１回以上補正可能であることから、第一テスト課題データファイル３４３ａには補正を行う毎に得られたスコアを「第一補正スコア」、「第二補正スコア」などとして保存することもできる。

【0037】

後述するスコアの標準化のために、第一テスト課題データファイル中に予め二人以上のサンプル受験者が回答した課題を含む課題データをサンプル用の課題ＩＤと関連づけて格納することもできる。標準化の効果を高めるという観点から、サンプル受験者による課題データは５人以上が好ましく、８人以上がより好ましいが、過度に人数が多いとサンプル受験者が回答した課題を評価する受験者の負担が重くなるため、１５人以下とするのが一般的であり、１２人以下とするのが好ましい。

【0038】

（第一テスト課題評価データファイル）
第一テスト課題評価データファイル３４４ａには、第一テストの受験者が回答した各課題に対する評価者（例えば受験者）の評価を含む課題評価データを検索可能な状態で保存することができる。第一テスト課題評価データファイルに含まれる一つのテーブルの例を図３９に示す。当該テーブルには、当該課題評価データの識別子である課題評価ＩＤ、評価対象となる課題データの識別子である課題ＩＤ、評価者の受験者ＩＤ、第一テストの固有の識別子である第一テストＩＤ、及び課題に対する評価者による評価値を記憶させることができる。評価値は○×形式や、ｇｏｏｄ又はｂａｄのような二択式でもよいし、所定の範囲内の点数で表現してもよい。評価値は先述した評価軸毎に保存することができる。

【0039】

（第一テスト受験者評価データファイル）
第一テスト受験者評価データファイル３４５ａには第一テストの各受験者に対する評価の結果を検索可能な状態で保存することができる。第一テスト受験者評価データファイルに含まれる一つのテーブルの例を図４０に示す。当該テーブルには、評価対象となる受験者の識別子である受験者ＩＤ、第一テストの固有の識別子である第一テストＩＤ、及び受験者に対する評価軸毎の評価を示すスコアを格納することができる。評価軸としては先述した課題の評価軸を少なくとも一つ採用することができる。

【0040】

後述するように、スコアは１回以上補正可能であることから、第一テスト受験者評価データファイル３４５ａには補正を行う毎に得られたスコア計算結果を「第一補正スコア」、「第二補正スコア」などとして保存することもできる。受験者ＩＤに加えて、受験者の識別子である個人ＩＤを更に記憶させることもできる。受験者ＩＤ及び個人ＩＤは何れも受験者の識別子の一種であるが、受験番号となる受験者ＩＤに加えて個人を特定する個人ＩＤを別に記憶させておくことで、例えば同一人物が複数回受験する場合に、受験結果の推移を容易に分析することが可能となる。

【0041】

（第二テスト受験者アカウントファイル）
第二テスト受験者アカウントファイル３４１ｂには第二テストを受験する各受験者のアカウント情報を検索可能な状態で保存することができる。第二テストを受験する受験者は、第一テスト受験者と同一でもよいし、異なっていてもよい。第二テスト受験者アカウントファイルに含まれる一人の受験者のアカウント情報が記憶されたテーブルの例を図４２に示す。当該テーブルには受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未受験、第二テスト受験中、第二テスト受験終了などの試験の進捗状況に関する情報が挙げられる。第一テスト受験者の母集団と第二テスト受験者の母集団が重複する場合には、第一テスト受験者アカウントファイルと第一テスト受験者アカウントファイルは統合して一つの受験者アカウントファイルを用意してもよい。

【0042】

（第二テスト情報ファイル）
第二テスト情報ファイル３４２ｂには、第二テストの試験条件に関する情報を検索可能な状態で保存することができる。第二テスト情報ファイル中の試験条件に関する情報が記憶されたテーブルの例を図４３に示す。第二テストＩＤ、第二テストの収集開始日時、第二テストの収集終了日時、第二テストにおいて受験者が解決案を検討すべき課題、第二テスト解決案回答制限時間、第二テストの評価開始日時、第二テストの評価終了日時、第二テスト評価回答制限時間、第二テスト課題評価軸１〜ｎ（ｎは１以上の整数）等の試験条件を記憶させることができる。第二テストにおいて受験者が解決案を検討すべき課題は、第一テストとは完全には連結せずに実施する場合（例えば、第一テストでの上位課題を参考に、第二テスト受験者が理解しやすいよう文言を整えるなど）、具体的な課題の文字列データとして保存しておくことができ、又は、別テーブルに課題ＩＤと具体的な課題の文字列のセットとして保存しておいてもよい。第二テストを第一テストと連結して実施する場合（例えば、第一テストでの上位課題１０個などを自動的に採用する場合や、試験管理者が選定したものを編集せずそのまま使う場合）は、第二テストにおいて受験者が解決案を検討すべき課題の欄には、第一テストの課題ＩＤを記憶させることができる。

【0043】

この他、１つの解決案当たりの評価人数を記憶させてもよい。当該人数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や受験者数を考慮して現実的な人数（例えば５〜２０人の範囲）を設定すればよい。

【0044】

解決案入力条件としては、限定的ではないが、例えば、提示された課題に対してどのような観点で解決案を書くかの方針、文字制限、課題の提案可能数、言語、文字コード、ファイル添付の可否の等が挙げられる。

【0045】

（第二テスト解決案データファイル）
第二テスト解決案データファイル３４３ｂには第二テスト受験者が送信した解決案データを検索可能な状態で保存することができる。第二テスト解決案データファイルに含まれる一つのテーブルの例を図４４に示す。当該テーブルには、解決案データの識別子である解決案ＩＤ、当該解決案データを送信した受験者の識別子である受験者ＩＤ（受験番号）、第二テストの固有の識別子である第二テストＩＤ、解決案の内容、当該解決案に対する評価であるスコア、実際に解決案を試した時の結果等を記憶させることができる。

【0046】

受験者は記述式で自由に解決案を記入可能である。これによって、選択肢等に制限されずに、受験者が思いついたままに自由な語彙を用いて解決案を記述することができるという利点が得られる。また、解決案入力条件が指定されている場合には、受験者はその条件に従って解決案を回答することになる。

【0047】

スコアは点数表示でもよいが、Ａランク、Ｂランク・・・などのカテゴリー表示でもよい。スコアは第二テスト解決案評価データファイル３４４ｂに格納されている各解決案評価データ及び解決案データの識別子に基づいて各解決案データ中の解決案に対する評価を集計することにより評価軸毎に算出可能である。例えば、スコアは、評価の平均点、評価の合計点、高評価の獲得割合、・・・等で表示することができる。

【0048】

評価軸は少なくとも一つ必要である。解決案を多方面から評価するため、評価軸は二つ以上とすることが好ましく、三つ以上とすることがより好ましい。評価軸としては、例えば、効果、実現可能性、及び新規性よりなる群から選択される一つ又は二つ以上を含むことが、後に当該解決案を採用すべきか否かを判断する上で好ましい。

【0049】

後述するように、スコアは１回以上補正可能であることから、第二テスト解決案データファイル３４３ｂには補正を行う毎に得られたスコアを「第一補正スコア」、「第二補正スコア」などとして保存することもできる。

【0050】

後述するスコアの標準化のために、第二テスト解決案データファイル中に予め二人以上のサンプル受験者が回答した解決案を含む解決案データをサンプル用の解決案ＩＤと関連づけて格納することもできる。標準化の効果を高めるという観点から、サンプル受験者による解決案データは５人以上が好ましく、８人以上がより好ましいが、過度に人数が多いとサンプル受験者が回答した解決案を評価する受験者の負担が重くなるため、１５人以下とするのが一般的であり、１２人以下とするのが好ましい。

【0051】

（第二テスト解決案評価データファイル）
第二テスト解決案評価データファイル３４４ｂには、第二テストの受験者が回答した各解決案に対する評価者（例えば受験者）の評価を含む解決案評価データを検索可能な状態で保存することができる。第二テスト解決案評価データファイルに含まれる一つのテーブルの例を図４５に示す。当該テーブルには、当該解決案評価データの識別子である解決案評価ＩＤ、評価対象となる解決案データの識別子である解決案ＩＤ、評価者の受験者ＩＤ、第二テストの固有の識別子である第二テストＩＤ、及び解決案に対する評価者による評価値等を記憶させることができる。評価値は○×形式やｇｏｏｄ又はｂａｄのような択一式でもよいし、所定の範囲内の点数で表現してもよい。評価値は先述した評価軸毎に保存することができる。

【0052】

（第二テスト受験者評価データファイル）
第二テスト受験者評価データファイル３４５ｂには第二テストの各受験者に対する評価の結果を検索可能な状態で保存することができる。第二テスト受験者評価データファイルに含まれる一つのテーブルの例を図４６に示す。当該テーブルには、解決案評価対象となる受験者の識別子である受験者ＩＤ、第二テストの固有の識別子である第二テストＩＤ、及び受験者に対する評価軸毎の評価を示すスコアを格納することができる。評価軸としては先述した解決案の評価軸を少なくとも一つ採用することができる。

【0053】

後述するように、スコアは１回以上補正可能であることから、第二テスト受験者評価データファイル３４５ｂには補正を行う毎に得られたスコア計算結果を「第一補正スコア」、「第二補正スコア」などとして保存することもできる。受験者ＩＤに加えて、受験者の識別子である個人ＩＤを更に記憶させることもできる。受験者ＩＤ及び個人ＩＤは何れも受験者の識別子の一種であるが、受験番号となる受験者ＩＤに加えて個人を特定する個人ＩＤを別に記憶させておくことで、例えば同一人物が複数回受験する場合に、受験結果の推移を容易に分析することが可能となる。

【0054】

（第一テスト課題評価進捗管理ファイル）
第一テスト課題評価進捗管理ファイル３４７ａには、受験者による相互評価を実施する課題評価セッションの進捗に関する情報を保存することができる。第一テスト課題評価進捗管理ファイル３４７ａに含まれる進捗状況が記憶されたテーブルの例を図４１に示す。評価者の受験者ＩＤ、当該受験者ＩＤの受験者が評価すべき課題ＩＤ、必要評価数、評価済み数等を記憶させることができる。

【0055】

（第二テスト解決案評価進捗管理ファイル）
第二テスト解決案評価進捗管理ファイル３４７ｂには、受験者による相互評価を実施する解決案評価セッションの進捗に関する情報を保存することができる。第二テスト解決案評価進捗管理ファイル３４７ｂに含まれる進捗状況が記憶されたテーブルの例を図４７に示す。評価者の受験者ＩＤ、当該受験者ＩＤの受験者が評価すべき解決案ＩＤ、必要評価数、評価済み数等を記憶させることができる。

【0056】

（試験管理者アカウントファイル）
試験管理者アカウントファイル３４８には試験管理者、例えば受験者が所属する企業等の団体のアカウント情報を検索可能な状態で保存することができる。試験管理者アカウントファイル中の試験管理者アカウント情報が記憶されたテーブルの例を図４８に示す。試験管理者が企業等の団体の場合、当該テーブルには団体ＩＤ、団体名、団体名の送り仮名、団体の郵便番号及び住所、担当部署名、担当者の送り仮名、電話番号及びメールアドレス、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては「閉鎖済みアカウント」などの試験管理者アカウントの存続に関する情報が挙げられる。

【0057】

（サーバ管理者アカウントファイル）
サーバ管理者アカウントファイル３４９にはサーバ管理者のアカウント情報を検索可能な状態で保存することができる。サーバ管理者アカウントファイル中の管理者アカウント情報が記憶されたテーブルの例を図４９に示す。当該テーブルにはサーバ管理者ＩＤ、パスワード、アカウント作成日時、権限レベルなどを記憶させることができる。

【0058】

（ライブラリ利用者アカウントファイル）
ライブラリ利用者アカウントファイル３５０にはライブラリ利用者のアカウント情報を検索可能な状態で保存することができる。ライブラリ利用者アカウントファイル中の利用者アカウント情報が記憶されたテーブルの例を図５０に示す。当該テーブルには利用者ＩＤ、利用者氏名、ログインＩＤ、パスワード、利用権限などを記憶させることができる。

【0059】

上記データファイルのテーブルにおいて、各フィールドに対してｉｎｔ（整数型）、ｔｅｘｔ（文字列型）、ｆｌｏａｔ（浮動小数点型）、ｃｒｙｐｔ（暗号化文字列型）及びｄａｔｅ（日付け時刻型）等のデータ型を採用しているが、データ型は図示の態様に限定されるものではなく、必要に応じて適宜変更することができる。

【0060】

（第一書式データファイル）
第一書式データファイル３４６ａには、課題入力のための少なくとも一つの記述式課題入力部を含む第一書式データを保存することができる。先述したように記述式課題入力部があることで、記述の自由度が高まるので、実際に業務上や生活上で認識している課題を、選択肢等に制限されずに、受験者が認識しているままに自由な語彙を用いて記述することができるという利点が得られる。第一書式データは、少なくとも一つの記述式課題入力部に加えて、少なくとも一つの選択式課題入力部を含んでもよい。選択式課題入力部を設けることで、統計データを作成しやすくなるという利点が得られる。図７に、課題入力のための第一書式データに基づいて表示される画面の例を示す。

【0061】

（第二書式データファイル）
第二書式データファイル３４６ｂには、解決案入力のための少なくとも一つの記述式解決案入力部を含む第二書式データを保存することができる。先述したように記述式解決案入力部があることで、記述の自由度が高まるので、選択肢等に制限されずに、受験者が思いついたままに自由な語彙を用いて解決案を記述することができるという利点が得られる。第二書式データは、少なくとも一つの記述式解決案入力部に加えて、少なくとも一つの選択式解決案入力部を含んでもよい。選択式解決案入力部を設けることで、統計データを作成しやすくなるという利点が得られる。図８に、解決案入力のための第二書式データに基づいて表示される画面の例を示す。

【0062】

（第三書式データファイル）
第三書式データファイル３４６ｃには、課題評価入力のための少なくとも一つの評価軸に基づく選択式課題評価入力部を含む第三書式データを保存することができる。評価の入力を選択式で行うことで、課題に対する評価軸毎のスコアを統計学的手法に基づき作成しやすくなるという利点が得られる。ｇｏｏｄ又はｂａｄの二択式、“全く賛同できない”、“賛同できない”、“どちらでもない”、“賛同する”及び“強く賛同する”から選択する五択式といったカテゴリー選択式でもよいし、０点〜１０点といった所定の範囲内の点数を選択させる方式でもよい。図９に、課題評価入力のための第三書式データに基づいて表示される画面の例を示す。

【0063】

（第四書式データファイル）
第四書式データファイル３４６ｄには、解決案評価入力のための少なくとも一つの評価軸に基づく選択式解決案評価入力部を含む第四書式データを保存することができる。評価の入力を選択式で行うことで、解決案に対する評価軸毎のスコアを統計学的手法に基づき作成しやすくなるという利点が得られる。ｇｏｏｄ又はｂａｄの二択式、“全く賛同できない”、“賛同できない”、“どちらでもない”、“賛同する”及び“強く賛同する”から選択する五択式といったカテゴリー選択式でもよいし、０点〜１０点といった所定の範囲内の点数を選択させる方式でもよい。図１０に、解決案評価入力のための第四書式データに基づいての画面の例を示す。

【0064】

＜送受信部＞
サーバ１１は送受信部３１０を通じて、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５とコンピュータネットワーク１４を介して種々のデータのやり取りを行うことができる。
例えば、送受信部３１０は、
試験管理者端末１３から第一テスト開始の指示を受信することができ、
第一書式データファイル３４６ａに記憶されている課題入力のための第一の書式データを表示可能な形態で第一テストの複数の受験者端末１２のそれぞれに送信することができ、
第一テストの受験者が入力した課題を含む課題データを各受験者端末１２から受信することができ、
第一テストの各受験者が評価すべき課題を含む課題データ及び課題評価入力のための第三の書式データを表示可能な形態で対応する第一テストの受験者端末１２に送信することができ、
課題に対する第一テストの受験者による評価を含む課題評価データを各受験者端末１２から受信することができ、
課題評価集計データを表示可能な形態で試験管理者端末１３に送信することができる。

【0065】

また、送受信部３１０は、
第一テスト課題データファイル３４３ａに格納されている課題データ中の複数の課題から選択される少なくとも一つの解決すべき課題を、試験管理者端末１３から受信することができ、
試験管理者端末１３から第二テスト開始の指示を受信することができ、
少なくとも一つの解決すべき課題を含む課題データ及び前記少なくとも一つの解決すべき課題に対する解決案を入力するための第二の書式データを表示可能な形態で第二テストの複数の受験者端末１２のそれぞれに送信することができ、
第二テストの受験者による解決案を含む解決案データを、第二テストの各受験者端末１２から受信することができ、
第二テストの各受験者が評価すべき解決案を含む解決案データ及び解決案評価入力のための第四の書式データを表示可能な形態で対応する第二テストの受験者端末１２に送信することができ、
解決案データ中の解決案に対する第二テストの受験者による評価を含む解決案評価データを、第二テストの各受験者端末１２から受信することができ、
解決案評価集計データを表示可能な形態で試験管理者端末１３に送信することができる。

【0066】

＜制御部＞
サーバ１１の制御部３２０は、認証処理部３２１、データ登録部３２２、課題入力用書式抽出部３２３ａ、解決案入力用書式抽出部３２３ｂ、制限時間判断部３２４、評価者決定部３２５、課題抽出部３２６、解決案抽出部３２７、課題評価部３２８、解決案評価部３２９、課題評価抽出部３３０、解決案評価抽出部３３１、受験者評価部３３２、受験者評価抽出部３３３、評価数判断部３３４及び検索部３３５を有しており、各部はそれぞれプログラムに基づいて所期の演算を行うことができる。

【0067】

（認証処理部）
認証処理部３２１は、受験者端末１２からのアクセス要求に基づいて、受験者ＩＤ及びパスワードを認証することができる。例えば、受験者端末１２からのアクセス要求は、図５に示すような受験者端末１２のトップページの画面上に表示されている受験者ＩＤ及びパスワードを入力し、画面上のログインボタンをクリックすることで実行することができる。受験者の受験者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が、受験者アカウントファイル３４１ａ（又は３４１ｂ）を参照して、入力された受験者ＩＤ及びパスワードが、受験者アカウントファイル３４１ａ（又は３４１ｂ）内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された受験者ＩＤ及びパスワードが記憶されているデータと一致する場合には、受験者用ページの画面データ（例えば図６に示すメニュー画面）を送受信部３１０から当該受験者端末１２に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

【0068】

また、認証処理部３２１は試験管理者端末１３からのアクセス要求に基づいて、団体ＩＤ及びパスワードを認証することができる。試験管理者の管理者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が試験管理者アカウントファイル３４８を参照して、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、試験管理者用ページの画面データ（例えば図１１〜図１３の第一テストの条件設定画面、図１４〜図１６に記載の第二テストの条件設定画面）を、送受信部３１０から当該試験管理者端末１３に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

【0069】

また、認証処理部３２１はサーバ管理者端末１５からのアクセス要求に基づいて、サーバ管理者ＩＤ及びパスワードを認証することができる。サーバ管理者の管理者ＩＤ及びパスワードは自身で予め設定したものを使用することができる。認証処理は、認証処理部３２１がサーバ管理者アカウントファイル３４９を参照して、入力された管理者ＩＤ及びパスワードが、サーバ管理者アカウントファイル３４９内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、サーバ管理者用ページの画面データ（例えば図１７に記載の管理画面）を送受信部３１０から当該サーバ管理者端末１５に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

【0070】

（データ登録部）
データ登録部３２２は、受験者の登録を行うことができる。例えば、前記手順によって受験者が所属する企業等の試験管理者が試験管理者端末１３を利用してログインすると、試験管理者端末１３には図１１に示すような試験管理者画面が表示される。試験管理者が、「受験者一括追加」又は「受験者個別追加」のボタンをクリックすると、図示しないが、試験管理者端末１３には受験者のアカウント情報を入力する画面が表示され、当該画面上で、受験者の個人ＩＤ、受験者ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の受験者アカウントファイル３４１ａ（又は３４１ｂ）に保存すべき所定の受験者アカウント情報を入力することができる。入力終了後、当該画面上で「保存」又は「確定」等の所定のボタンをクリックすることで、受験者アカウント情報をサーバ１１に送信することができる。別法として、試験管理者が、「ＣＳＶ ｕｐｌｏａｄ一括」又は「ＣＳＶ ｕｐｌｏａｄ個別」のボタンをクリックすると、試験管理者端末１３等に保存されているファイルを選択する画面が表示されるので、受験者アカウント情報が記憶されている所望のファイルを選択して「送信」等の所定のボタンをクリックすることで、受験者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた受験者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を受験者アカウントファイル３４１ａ（又は３４１ｂ）に保存することができる。第一テスト受験者及び第二テスト受験者の登録は別々に実施できるようにしてもよいし、一括して実施できるようにしてもよい。

【0071】

また、データ登録部３２２は、第一テストの試験条件の登録を行うことができる。例えば、試験管理者が図１１に示すような試験管理者画面上で、「第一テスト設定」のボタンをクリックすると、図１２に示すような第一テストの課題収集セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第一テストの課題入力条件（インストラクション）、課題収集セッションの日時、回答時間の制限、回答文字数の制限、回答可能数、ファイル添付可否等の第一テスト情報ファイル３４２ａに保存すべき情報を入力することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。試験管理者が、当該試験管理者画面上で「次へ」のボタンをクリックすると、図１３に示すような第一テストの課題評価セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第一テストの課題評価入力条件（インストラクション）、回答時間の制限、評価軸の選定、受験者への結果開示要否、一つの課題に対する評価人数、課題評価セッションの日時等の第一テスト情報ファイル３４２ａに保存すべき情報を入力することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。入力終了後、「試験条件送信」のボタンをクリックすることで、試験条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた第一テストの試験条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を第一テストＩＤと共に第一テスト情報ファイル３４２ａに保存することができる。第一テストの試験条件情報の一部は、第一書式データファイル３４６ａ又は第二書式データファイル３４６ｂ内に保存してもよい。例えば、第一テストの課題入力条件（インストラクション）、回答文字数の制限、及び回答可能数を第一書式データファイル３４６ａに保存してもよい。また、第一テストの課題評価入力条件（インストラクション）及び評価軸の選定を第二書式データファイル３４６ｂに保存してもよい。第一テストＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が第一テストの試験条件情報をデータ登録部３２２に保存するときに予め定めた規則に従って自動的に割り振ってもよい。

【0072】

また、データ登録部３２２は、第二テストの試験条件の登録を行うことができる。例えば、試験管理者が図１４に示すような試験管理者画面上で、「第二テスト設定」のボタンをクリックすると、図１５に示すような第二テストの解決案収集セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第二テストの解決案入力条件（インストラクション）、解決案を案出すべき課題、解決案収集セッションの日時、回答時間の制限、回答文字数の制限、回答可能数、ファイル添付可否等の第二テスト情報ファイル３４２ｂに保存すべき情報を入力することができる。解決案を案出すべき課題は、課題データファイルにアクセスすることによって、選択的に入力できるようにしてもよい。例えば、試験管理者が当該画面上で「課題ＤＢを参照する」のボタンをクリックすると、別ウィンドウが開いて、課題データファイル中の課題リストを参照することができる図２５に示すような画面が表示されるようにしてもよい。試験管理者は、画面上の課題リストの中から解決案を案出すべき課題を選択することができる。試験条件はあらかじめ用意されたテンプレートから選択できるようにしてもよい。試験管理者が、当該試験管理者画面上で「次へ」のボタンをクリックすると、図１６に示すような第二テストの解決案評価セッションの条件設定画面に切り替わる。試験管理者は、当該画面上で、第二テストの解決案評価入力条件（インストラクション）、回答時間の制限、評価軸の選定、受験者への結果開示要否、一つの課題に対する評価人数、課題評価セッションの日時等の第二テスト情報ファイル３４２ｂに保存すべき情報を入力することができる。評価軸の入力はデフォルトで用意されたものから選択するという方式でもよいし、試験管理者が自由に記述式の入力欄にテキスト入力する方式してもよい。入力終了後、「試験条件送信」のボタンをクリックすることで、試験条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた第二テストの試験条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を第二テストＩＤと共に第二テスト情報ファイル３４２ｂに保存することができる。第二テストの試験条件情報の一部は、第三書式データファイル３４６ｃ又は第四書式データファイル３４６ｄ内に保存してもよい。例えば、第二テストの解決案評価入力条件（インストラクション）、回答文字数の制限、及び回答可能数を第三書式データファイル３４６ｃに保存してもよい。また、第二テストの解決案評価入力条件（インストラクション）及び評価軸の選定を第四書式データファイル３４６ｄに保存してもよい。第二テストＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が第二テストの試験条件情報をデータ登録部３２２に保存するときに予め定めた規則に従って自動的に割り振ってもよい。

【0073】

また、データ登録部３２２は、試験管理者の登録を行うことができる。サーバ管理者（換言すれば、オンライン試験システム提供者）が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図１７の左側に示すようなサーバ理者画面が表示される。サーバ管理者が設定したい項目に応じた「詳細」のボタンをクリックすると、サーバ管理者端末１５には図１７の右側に示すような試験管理者のアカウント情報を入力する画面が表示され、当該画面上で、試験管理者の団体ＩＤ、担当者、連絡先等の試験管理者アカウントファイル３４８に保存すべき所定の試験管理者アカウント情報を入力することができる。入力終了後、「保存」のボタンをクリックすることで、試験管理者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた試験管理者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を試験管理者アカウントファイル３４８に保存することができる。

【0074】

また、データ登録部３２２は、受験者が回答した課題の登録を行うことができる。例えば、受験者端末１２に、図７に示すような第一テストの課題収集セッションの受験者用画面が表示されているときに、受験者が課題を入力し、「次へ」のボタンをクリックすると、当該受験者からの課題データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した課題を含む課題データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該課題データに課題ＩＤを付与し、当該課題データを送信した受験者の受験者ＩＤ等と関連付けて当該課題データを第一テスト課題データファイル３４３ａに格納することができる。

【0075】

また、データ登録部３２２は、課題評価の登録を行うことができる。例えば、受験者端末１２に、図９に示すような他の受験者が提案した課題を評価する課題評価セッションの受験者用画面が表示されているときに、受験者が課題に対する評価を評価軸毎に選択的に入力（ここでは共感度を示す「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」の何れかのボタンをクリック）し、「次へ」のボタンをクリックすると、当該受験者からの課題評価データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、課題評価データを送受信部３１０が受信すると、当該課題評価データに課題評価ＩＤを付与し、当該課題評価データを送信した受験者の受験者ＩＤ及び課題ＩＤ等と関連付けて当該課題評価データを第一テスト課題評価データファイル３４４ａに格納することができる。課題評価セッションにおいても、課題収集セッションと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、課題評価データを第一テスト課題評価データファイル３４４ａに格納するようにしてもよい。

【0076】

また、データ登録部３２２は、受験者が回答した解決案の登録を行うことができる。例えば、受験者端末１２に、図８に示すような第二テストの解決案収集セッションの受験者用画面が表示されているときに、受験者が解決案を入力し、「次へ」のボタンをクリックすると、当該受験者からの解決案データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した解決案を含む解決案データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該解決案データに解決案ＩＤを付与し、当該解決案データを送信した受験者の受験者ＩＤ等と関連付けて当該解決案データを第二テスト解決案データファイル３４３ｂに格納することができる。

【0077】

また、データ登録部３２２は、解決案評価の登録を行うことができる。例えば、受験者端末１２に、図１０に示すような他の受験者が提案した解決案を評価する解決案評価セッションの受験者用画面が表示されているときに、受験者が解決案に対する評価を評価軸毎に選択的に入力（ここでは共感度を示す「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」の何れかのボタンをクリック）し、「次へ」のボタンをクリックすると、当該受験者からの解決案評価データがコンピュータネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、解決案評価データを送受信部３１０が受信すると、当該解決案評価データに解決案評価ＩＤを付与し、当該解決案評価データを送信した受験者の受験者ＩＤ及び解決案ＩＤ等と関連付けて当該解決案評価データを第二テスト解決案評価データファイル３４４ｂに格納することができる。解決案評価セッションにおいても、解決案収集セッションと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、解決案評価データを第二テスト解決案評価データファイル３４４ｂに格納するようにしてもよい。

【0078】

また、データ登録部３２２は、第二テスト解決案データファイル３４３ｂに格納されている解決案を実際に利用した結果の登録を行うことができる。例えば、利用者端末１６に、図２６に示すような特定の解決案を利用した時の結果を入力するための少なくとも一つの記述式解決案利用結果入力部を含む画面が表示されているときに、利用者が結果を入力し、「送信」のボタンをクリックすると、当該利用者からの解決案を利用した時の結果に関するデータ（解決案結果データ）がコンピュータネットワーク１４を介してサーバ１１に送信される。入力画面には解決案の実際の結果を入力するための少なくとも一つの選択式入力部が含まれていてもよい。データ登録部３２２は、解決案結果データを送受信部３１０が受信すると、当該解決案結果データを送信した利用者の利用者ＩＤ及び解決案ＩＤ等と関連付けて当該解決案結果データを第二テスト解決案データファイル３４３ｂに格納することができる。

【0079】

（課題入力用書式抽出部）
課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される第一テストの課題収集セッション開始の指示を送受信部３１０が受信すると、第一書式データファイル３４６ａに格納されている第一書式データを、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で各受験者端末１２に一斉に送信することができる。この際、課題入力用書式抽出部３２３ａは、第一テスト情報ファイル３４２ａ内の第一テストの課題入力条件等の所定のテスト情報を第一書式データと共に表示可能な形態で送信することができる。また、課題入力用書式抽出部３２３ａは、制限時間判断部３２４の指示に従って対応する受験者端末１２に第一書式データを表示可能な形態で個別に送信することができる。この際、同様に、課題入力用書式抽出部３２３ａは、第一テスト情報ファイル３４２ａ内の第一テストの課題入力条件等の所定のテスト情報も併せて送信することができる。更に、課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される課題収集セッション開始の指示を受信すると、第一テスト受験者アカウントファイル３４１ａ等においてステータスを課題収集セッションが開始したことを示すステータスに変更して保存することができる。

【0080】

（解決案入力用書式抽出部）
解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される第二テストの解決案収集セッション開始の指示を送受信部３１０が受信すると、第二テスト情報ファイル３４２ｂに格納されている第二テストの解決案入力条件及び解決案を検討すべき課題等の所定のテスト情報を、第二書式データファイル３４６ｂに格納されている第二書式データと共に、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で各受験者端末１２に一斉に送信することができる。また、解決案入力用書式抽出部３２３ｂは、制限時間判断部３２４の指示に従って対応する受験者端末１２に、第二テスト情報ファイル３４２ｂ内の第二テストの解決案入力条件及び解決案を検討すべき課題等の所定のテスト情報を第二書式データと共に表示可能な形態で個別に送信することができる。更に、解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される解決案収集セッション開始の指示を受信すると、第二テスト受験者アカウントファイル３４１ｂ等においてステータスを解決案収集セッションが開始したことを示すステータスに変更して保存することができる。

【0081】

（制限時間判断部）
制限時間判断部３２４は、例えば第一テストの課題収集（第二テストの解決案収集）において、受験者端末１２から送信された課題データ（解決案データ）を送受信部３１０で受信した時点が、サーバ１１に内蔵されたタイマー２０７を利用し、第一テスト情報ファイル３４２ａ（第二テスト情報ファイル３４２ｂ）に記憶されている第一テストＩＤ（第二テストＩＤ）、第一テストの収集開始日時（第二テストの収集開始日時）、第一テストの収集終了日時（第二テストの収集終了日時）、及び第一テスト課題回答制限時間（第二テスト解決案回答制限時間）などの時間情報に基づいて、制限時間内にあるか否かを判断することができる。

【0082】

判断の結果、制限時間内と判断した場合は、当該課題データ（解決案データ）に課題ＩＤ（解決案ＩＤ）を付与し、当該課題データ（解決案データ）を送信した受験者の受験者ＩＤ等と関連付けて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納するように、データ登録部３２２に指示することができる。また、課題入力用書式抽出部３２３ａ（解決案入力用書式抽出部３２３ｂ）に対して、当該課題データ（解決案データ）を送信した受験者の受験者端末１２に前記第一書式データ（第二書式データ）を第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）内の所定の情報と共に表示可能な形態で送受信部３１０から再度送信するように指示することができる。

【0083】

一方、判断の結果、制限時間を過ぎたと判断した場合は課題データ（解決案データ）の受験者端末１２からの送信又はサーバ１１での受信を拒否することができる。また、制限時間判断部３２４は受験者端末１２からの課題データ（解決案データ）の受信の有無にかかわらず、所定の制限時間を過ぎたと判断したときには、課題収集セッション（解決案収集セッション）終了の旨を表示可能な形態で送受信部３１０から受験者端末１２及び試験管理者端末１３に送信することができ、制限時間を超えて課題データ（解決案データ）を受信することを拒否することができる。また、課題収集セッション（解決案収集セッション）が終了した旨を記録するために、サーバ１１の制限時間判断部３２４は第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスを「課題収集セッション（解決案収集セッション）終了」に変更することができる。また、制限時間判断部３２４は評価者決定部３２５に対して課題収集セッション（解決案収集セッション）が終了した旨を送信してもよい。

【0084】

第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスが受験者全員で「課題収集セッション（解決案収集セッション）終了」になる、又は、制限時間判断部３２４から課題収集セッション（解決案収集セッション）が終了した旨を受信するなどによって、課題収集セッション（解決案収集セッション）が終了したことが確認された後、評価者決定部３２５は、試験管理者端末１３から送信される課題評価セッション（解決案評価セッション）開始の指示を送受信部３１０が受信すると、サーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題データ（解決案データ）中の課題（解決案）を評価すべき受験者を決定することができる。別法として、第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスが受験者全員で「課題収集セッション（解決案収集セッション）終了」になる、又は、制限時間判断部３２４から課題収集セッション（解決案収集セッション）が終了した旨を受信するなどによって、課題収集セッション（解決案収集セッション）が終了したことが確認されると、評価者決定部３２５は試験管理者端末１３から送信される課題評価セッション（解決案収集セッション）開始の指示を待つことなく、自動的にサーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題データ（解決案データ）中の課題（解決案）を評価すべき受験者を決定することができる。これにより、試験時間を節約することが可能となる。

【0085】

（評価者決定部）
どの受験者がどのアイデアを評価するかの決定は、評価者決定部３２５が各課題ＩＤ（解決案ＩＤ）に対して、受験者全員分の受験者ＩＤの中から乱数を利用して受験者ＩＤを評価に必要な人数分だけ割り当てることで行うことができる。各課題（解決案）を評価すべき受験者が決定されると、評価者決定部３２５は、課題ＩＤ（解決案ＩＤ）と評価者たる受験者の受験者ＩＤとを関連付けて記憶部３４０における第一テスト課題評価データファイル３４４ａ（第二テスト解決案評価データファイル３４４ｂ）等に保存することができる。また、評価者決定部３２５は、評価者たる受験者による各課題（解決案）に対する評価の進捗状況を管理するための第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に、評価者たる受験者毎に、受験者ＩＤ、評価すべき課題ＩＤ（解決案ＩＤ）、必要評価数、及び評価済み数などを関連付けて保存することができる。

【0086】

評価者決定部３２５による評価者決定の手順の一例を説明する。評価者決定部３２５は、受験者全員分の課題データ（解決案データ）の総数をカウントし、以下の式によって評価者である受験者一人当たりに配分される課題データ（解決案データ）の最大配分数を求めることができる。算出結果は繰り上げて整数にすることができる。
最大配分数＝（課題（解決案）の総数）×（一つの課題（解決案）に対する評価人数）／（全受験者数）
一つの課題（解決案）に対して評価すべき受験者の人数は、第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に記憶されている「一つの課題に対する評価人数（一つの解決案に対する評価人数）」に従うことができる。

【0087】

評価者決定部３２５は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）を参照し、ある課題（解決案）を送信した受験者ＩＤと、乱数によって選定された当該課題（解決案）を評価すべき受験者の受験者ＩＤが一致した場合は、選定を取り消して乱数による選定を再度実施することが好ましい。また、評価者決定部３２５は、特定の受験者ＩＤを有する受験者が上記で求めた最大配分数を超えた回数選定された場合も、当該選定を取り消して乱数による選定を再度実施することが好ましい。評価者数が十分にいる場合、このようにして評価者を選定することにより、配分を一回又は複数回繰り返すことによって、全ての評価者が（最大配分数）個又は（最大配分数−１）個だけ評価すべき課題（解決案）を配分されることが可能となる。

【0088】

（課題抽出部）
課題抽出部３２６は、評価者決定部３２５による前記評価すべき受験者の決定に従い、各受験者が評価すべき課題を、第一テスト課題データファイル３４３ａに記憶されている課題ＩＤと評価者たる受験者の受験者ＩＤに応じて抽出し、送受信部３１０からコンピュータネットワーク１４を介して第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信することができる。課題を含む課題データの送信は各受験者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。

【0089】

（解決案抽出部）
解決案抽出部３２７は、評価者決定部３２５による前記評価すべき受験者の決定に従い、各受験者が評価すべき解決案を、第二テスト解決案データファイル３４３ｂに記憶されている解決案ＩＤと評価者たる受験者の受験者ＩＤに応じて抽出し、送受信部３１０からコンピュータネットワーク１４を介して第四書式データファイル３４６ｄに格納されている第四書式データと共に表示可能な形態で対応する各受験者端末１２に送信することができる。解決案を含む解決案データの送信は各受験者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。

【0090】

（評価数判断部）
サーバ１１の評価数判断部３３４は、評価者たる受験者から一つの課題（解決案）に対する評価をサーバ１１が受信すると、第一テスト課題評価進捗管理ファイル３４７ａ（第二テスト解決案評価進捗管理ファイル３４７ｂ）に、当該評価を送信した受験者の受験者ＩＤと関連付けて評価済み数を一つ増やす。評価数判断部３３４は評価済み数と必要評価数を比較することで、当該受験者の課題評価セッション（解決案評価セッション）の進捗状況を把握可能である。課題データ（解決案データ）を分割して各受験者に送信する場合、評価数判断部３３４は、当該受験者が前記決定に従った必要評価数に達したか否かを判断し、必要評価数に達していないと判断した場合には、評価数判断部３３４は課題抽出部３２６（解決案抽出部３２７）に対して、未評価分の課題（解決案）データを、送受信部３１０からコンピュータネットワーク１４を介して第三書式データ（第四書式データ）と共に表示可能な形態で対応する各受験者端末１２に送信するよう指示することができる。評価数判断部３３４は、ある受験者の評価済み数が必要評価数に達したと判断した場合、課題評価セッション（解決案評価セッション）終了画面及び／又は課題評価セッション（解決案評価セッション）が終了したとの進捗情報を送受信部３１０から当該受験者の受験者端末１２及び試験管理者端末１３に送信することができる。この際、課題評価セッション（解決案評価セッション）が終了した旨を記録するために、評価数判断部３３４は第一テスト受験者アカウントファイル３４１ａ（第二テスト受験者アカウントファイル３４１ｂ）等におけるステータスを「課題評価セッション（解決案評価セッション）終了」に変更することができる。

【0091】

（課題評価部）
課題評価部３２８は、第一テスト課題評価データファイル３４４ａに格納されている各課題評価及び課題ＩＤに基づいて課題データ中の課題ＩＤ毎に課題に対する評価を集計することができる。例えば、各課題に対する評価を「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」の五択として評価させた場合、Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ＝４のように評価に応じて予め定めた点数を与え、単純な算術平均値を当該課題に対するスコアとすることができる。他の計算方法を採用することもできる。当該スコア計算は評価軸毎に行うことができる。課題評価部３２８は、集計した点数を第一テスト課題データファイル３４３ａの「評価軸１に対する初期スコア」、「評価軸２に対する初期スコア」、・・・、「評価軸ｎに対する初期スコア」に課題ＩＤ毎に格納することができる。

【0092】

（課題評価抽出部）
課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。図１８に、試験管理者端末１３で表示される課題評価集計データの一例を示す。ここでは、課題評価集計データは、課題毎に当該課題を提案した受験者の氏名、評価軸毎のスコア、総合スコア、及び課題の内容を表示可能な一覧表として提供されている。この他にも、課題評価集計データは種々の統計学的手法で出力することが可能である。例えば、課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題及び各課題に対する評価軸毎のスコアに基づいて、各課題に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。第一テストで収集した各課題を二つの評価軸に対するスコアに基づき二次元座標系にプロットした散布図の例を図１９に示す。

【0093】

また、一実施形態において、課題評価抽出部３３０は、図２０ａに示すように、第一テスト課題データファイル３４３ａに格納されている各課題に含まれるキーワード（文字列データ）の出現回数、及び／又は、当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアに少なくとも基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。別の一実施形態において、課題評価抽出部３３０は、第一テスト課題データファイル３４３ａに格納されている各課題に含まれるキーワード（文字列データ）の出現回数と当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアに基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。

【0094】

キーワードマップの作成手順の具体例について説明する。各課題に含まれる文字列データを、別に用意する当該言語の辞書データファイル３６０中の辞書データに基づいて単語に分解する。さらに、助詞・前置詞等で紐づけられる係り受けの関係から、文脈をなす単語同士の組み合わせを特定する。次いで、単語単位のキーワード、又は文脈をなす単語同士の組み合わせ単位のキーワードで、全ての課題に含まれる文字列の中で該当する箇所を探索し、出現した回数をカウントする。そして、出現回数が多いキーワードほど大きく表示されるようにすることができる。また、当該キーワードを含む課題に対して算出された一つ又は複数の評価軸についてのスコアで重み付けして、よりスコアが高い課題の文字列中に登場したキーワードほど大きく扱って「出現回数×重み付け」の合計を計算しても良い。この合計値に基づいて、値が大きいものほど目立つように大きな文字で表示させてキーワードマップを作ることができる。また、出現回数が多いキーワードほど当該キーワードが大きく表示されるようにし、且つ、当該合計値によって当該キーワードの色に変化を与える（例：合計値が大きいほど暖色系の色にし、合計値が小さいほど寒色系の色にする。）ようにすることができる。

【0095】

更に、あるキーワード（単語又は文脈をなす単語同士の組み合わせ）と別のキーワードとが同じ課題の文字列中に出現する場合は、その２つのキーワードは同時に出現するので親和性が高いと考えることもできる。全てのキーワードの間で、同時出現の頻度を集計することで、より「近い」キーワード同士、「遠い」キーワード同士を定義し、キーワードマップ上で近い場所・遠い場所に配置することもできる。

【0096】

課題評価抽出部３３０は、キーワードマップ上のキーワードを選択すると、第一テスト課題データファイル３４３ａに格納されている各課題から当該キーワードを含む課題についての課題評価集計データを抽出し、当該課題評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。キーワードマップ上のキーワードを選択すると、直ちに当該キーワードを含む課題についての課題評価集計データが表示されるようにしてもよいが、例えば当該キーワードが短すぎて文脈が分かりにくい場合などには、キーワードマップ上のキーワード（単語又は文脈をなす単語同士の組み合わせ）を選択すると、図２０ｂに示すように、より具体的な文脈を表すキーワード（例：より多くの単語同士の組み合わせ）のキーワードマップが表示されるようにして、当該キーワードマップ上のキーワードを選択することで、図２０ｃに示すような課題評価集計データが表示されるようにしてもよい。

【0097】

（解決案評価部）
解決案評価部３２９は、第二テスト解決案評価データファイル３４４ｂに格納されている各解決案評価及び解決案ＩＤに基づいて解決案データ中の解決案ＩＤ毎に解決案に対する評価を集計することができる。例えば、各解決案に対する評価を「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」の五択として評価させた場合、Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ＝４のように評価に応じて予め定めた点数を与え、単純な算術平均値を当該解決案に対するスコアとすることができる。他の計算方法を採用することもできる。当該スコア計算は評価軸毎に行うことができる。解決案評価部３２９は、集計した点数を第二テスト解決案データファイル３４３ｂの「評価軸１に対する初期スコア」、「評価軸２に対する初期スコア」、・・・、「評価軸ｎに対する初期スコア」に解決案ＩＤ毎に格納することができる。

【0098】

（解決案評価抽出部）
解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。図２１に、試験管理者端末１３で表示される解決案評価集計データの一例を示す。この他にも、解決案評価集計データは種々の統計学的手法で出力することが可能である。例えば、解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案及び各解決案に対する評価軸毎のスコアに基づいて、各解決案に付与された二つ以上の評価軸に基づくスコアの組み合わせを、二次元以上の座標系にプロットして統計グラフを作成し、当該統計グラフのデータをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。第二テストで収集した各解決案を二つの評価軸に対するスコアに基づき二次元座標系にプロットした散布図の例を図２２に示す。

【0099】

また、一実施形態において、解決案評価抽出部３３１は、図２３ａに示すように、第二テスト解決案データファイル３４３ｂに格納されている各解決案に含まれるキーワード（文字列データ）の出現回数、及び／又は、当該キーワードを含む解決案に対して算出された一つ又は複数の評価軸についてのスコアに少なくとも基づいてキーワードの大きさ及び色の少なくとも一方を変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。別の一実施形態において、解決案評価抽出部３３１は、第二テスト解決案データファイル３４３ｂに格納されている各解決案に含まれるキーワード（文字列データ）の出現回数と当該キーワードを含む解決案に対して算出された一つ又は複数の評価軸についてのスコアに基づいて文字の大きさを変化させた、キーワードマップを作成し、コンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。

【0100】

キーワードマップの作成手順の具体例について説明する。各解決案に含まれる文字列データを、別に用意する当該言語の辞書データファイル３６０中の辞書データに基づいて単語に分解する。さらに、助詞・前置詞等で紐づけられる係り受けの関係から、文脈をなす単語同士の組み合わせを特定する。次いで、単語単位のキーワード、又は文脈をなす単語同士の組み合わせ単位のキーワードで、全ての解決案に含まれる文字列の中で該当する箇所を探索し、出現した回数をカウントする。そして、出現回数が多いキーワードほど大きく表示されるようにすることができる。また、当該キーワードを含む解決案の評価値で重み付けして、より評価値が高い解決案の文字列中に登場したキーワードほど大きく扱って「出現回数×重み付け」の合計を計算しても良い。この合計値に基づいて、値が大きいものほど目立つように大きな文字で表示させてキーワードマップを作ることができる。また、出現回数が多いキーワードほど当該キーワードが大きく表示されるようにし、且つ、当該合計値によって当該キーワードの色に変化を与える（例：合計値が大きいほど暖色系の色にし、合計値が小さいほど寒色系の色にする。）ようにすることができる。

【0101】

更に、あるキーワード（単語又は文脈をなす単語同士の組み合わせ）と別のキーワードとが同じ解決案の文字列中に出現する場合は、その２つのキーワードは同時に出現するので親和性が高いと考えることもできる。全てのキーワードの間で、同時出現の頻度を集計することで、より「近い」キーワード同士、「遠い」キーワード同士を定義し、キーワードマップ上で近い場所・遠い場所に配置することもできる。

【0102】

解決案評価抽出部３３１は、キーワードマップ上のキーワードを選択すると、第二テスト解決案データファイル３４３ｂに格納されている各解決案から当該キーワードを含む解決案についての解決案評価集計データを抽出し、当該解決案評価集計データをコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。キーワードマップ上のキーワードを選択すると、直ちに当該キーワードを含む解決案についての解決案評価集計データが表示されるようにしてもよいが、例えば当該キーワードが短すぎて文脈が分かりにくい場合などには、キーワードマップ上のキーワード（単語又は文脈をなす単語同士の組み合わせ）を選択すると、図２３ｂに示すように、より具体的な文脈を表すキーワード（例：より多くの単語同士の組み合わせ）のキーワードマップが表示されるようにして、当該キーワードマップ上のキーワードを選択することで、図２３ｃに示すような解決案評価集計データが表示されるようにしてもよい。

【0103】

（受験者評価部）
受験者評価部３３２は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題ＩＤ（解決案ＩＤ）毎に課題（解決案）に付与された初期スコア及びその課題（解決案）に対応する受験者ＩＤに基づき、受験者ＩＤ毎の初期の獲得スコア（例：合計スコア又は最大スコア）を算出し、当該スコアを受験者ＩＤと関連付けて第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に、例えば「評価軸１に対する初期スコア」等として、格納することができる。

【0104】

課題及び解決案に対する初期スコアは各受験者の目利き力が分からない中で算出される。そのため、良い課題（解決案）であったとしても、目利き力のある受験者と目利き力のない受験者によって評価が分かれる可能性がある。このため、すべての受験者からの評価を平等に扱うのではなく、評価に重み付けを与えることが好ましい。評価に重み付けを与える方法としては、受験者評価部３３２が、課題（解決案）の初期スコア計算結果に基づき各受験者の初期の獲得スコアをいったん算出した後、受験者ＩＤ及び当該受験者ＩＤと関連付けられている初期の獲得スコアに基づいて受験者に対して順位付けを行い、順位の高い受験者の受験者ＩＤと関連付けられている評価ほど課題（解決案）に対する評価に重み付けを付与する方法が挙げられる。これは、課題創出（解決案創出）に関して評価の高い受験者は、目利き力も高いとの仮定に基づく方法である。このようにして評価に重み付けを与えて各課題（解決案）に対する評価を課題評価部３２８（解決案評価部３２９）にて再度行い、得られた補正後の点数に基づいて再び受験者の順位付けと受験者の獲得スコアの補正を行うことを１回以上、好ましくは５回以上、より好ましくは１０回以上繰り返すことで、目利き力が高いと思われる受験者による評価を課題（解決案）のスコアに大きく反映させることができる。図３に、課題（解決案）の順位付け及び相互評価の繰り返しを表す概念図を示す。

【0105】

受験者の目利き力は評価軸毎に評価することが好ましい。例えば、各受験者の獲得スコアは、評価軸毎に、当該受験者の識別子に関連付けられた各課題（解決案）に対する評価の最大スコアとすることができ、又は、当該受験者の識別子に関連付けられた各課題（解決案）に対する評価の合計スコアとすることができる。より具体的には、ある受験者が四つの課題（解決案）を提案したときを仮定すると、四つの課題（解決案）のうち最も評価の高い課題（解決案）が獲得したスコアが最大スコアであり、四つの課題（解決案）に対する各スコアの合計値が合計スコアである。最大スコアによる評価は制限時間がない（例えば１週間の期間中いつでも回答可能）場合に好ましい評価手法である。制限時間がない場合、本課題に費やすことができた時間が長ければ長いほど、合計値での評価は高くなる傾向が考えられ、それは当該受験者の課題（解決案）の提案力とは必ずしも関係ないと考えられるためである。一方、合計スコアによる評価は制限時間（例えば１時間）を設けた場合に好ましい評価手法である。有効な制限時間を設けて課題（解決案）収集セッションを実施する場合、時間内に多くの課題（解決案）を提案できた受験者のほうが課題（解決案）の提案力が高い、と評価することには一定の合理性があるからである。

【0106】

重み付けの具体的な方法の例を課題（解決案）の評価軸１に関して説明する。まず、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題（解決案）毎の「評価軸１に対する初期スコア」を集計して各受験者の評価軸１に対する獲得スコア（例：合計スコア又は最大スコア）を受験者評価部３３２により算出する。算出された獲得スコアは、第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）の「評価軸１に対する初期スコア」として格納することができる。次に、全受験者を、受験者評価部３３２において算出された獲得スコアの順にソートする。受験者全体をＮ人とすると、ｋ位（ｋ＝１〜Ｎ）の受験者による評価を以下の式で重み付ける。
ｗｅｉｇｈｔ＝１＋ｓｉｎ{（１−２×（ｋ−１）／（Ｎ−１））×ｐｉ／２}
このように重み付けることで、受験者ＩＤ毎に重み付け係数を付与することができる。この場合、最上位の受験者による評価は２倍、最下位の受験者による評価は０倍となる。

【0107】

上記重み付け後、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている各課題（解決案）に対するスコアである「評価軸１に対する初期スコア」を重み付けの算出結果に従って修正する。例えば、各課題（解決案）に対する評価を五択で評価させた場合、当初はＳｔｒｏｎｇｌｙ Ａｇｒｅｅ＝４の点数であったのが、当該点数に重み付け係数（例えば上記のｗｅｉｇｈｔ）を掛け算することで、重み付け後は評価者としての受験者の受験者ＩＤによっては、Ｓｔｒｏｎｇｌｙ Ａｇｒｅｅ＝３．５になり得る。

【0108】

この場合の重み付け後の当該課題（解決案）に対するスコアは、Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ＝０、Ｄｉｓａｇｒｅｅ＝１、Ｎｅｕｔｒａｌ＝２、Ａｇｒｅｅ＝３、Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ＝４に基づく単純な算術平均値から、重み付けを考慮した次式により算出される値に補正することができる。
（重み付け平均値）＝（重み付け合計）÷（重み合計）
重み合計＝Σ（ｗｅｉｇｈｔ）
重み付け合計＝Σ（ｗｅｉｇｈｔ×０〜４の整数）
ここで、重み合計というのは、課題（解決案）毎に、当該課題（解決案）を評価した受験者に付与された重み付け係数の合計である。重み付け合計というのは、当該課題（解決案）を評価した受験者に付与された重み付け係数に当該受験者による評価値を掛け算した値の合計である。

【0109】

課題評価部３２８（解決案評価部３２９）は、修正後の点数を「評価軸１の第一補正スコア」として第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に保存することができる。

【0110】

受験者評価部３３２は、第一テスト課題データファイル３４３ａ（第二テスト解決案データファイル３４３ｂ）に格納されている課題ＩＤ（解決案ＩＤ）毎に課題（解決案）に付与された補正後のスコア及びその課題（解決案）に対応する受験者ＩＤに基づき、受験者ＩＤ毎の補正後の獲得スコア（例：合計スコア又は最大スコア）を算出し、当該スコアを受験者ＩＤと関連付けて第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に、例えば「評価軸１に対する第一補正スコア」等として、格納することができる。

【0111】

（受験者評価抽出物）
受験者評価抽出部３３３は、第一テスト受験者評価データファイル３４５ａ（第二テスト受験者評価データファイル３４５ｂ）に格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、送受信部３１０からコンピュータネットワーク１４を介して表示可能な形態で試験管理者端末１３に送信することができる。

【0112】

（検索部）
検索部３３５は、利用権限のある端末（利用者端末１６）からネットワークを介して課題及びその解決案についての検索要求を送受信部３１０が受信すると、第一テスト課題データファイル３４３ａ、第一テスト課題評価データファイル３４４ａ、第二テスト解決案データファイル３４３ｂ及び第二テスト解決案評価データファイル３４４ｂの少なくとも一つを検索し、検索要求に合致する課題及びその解決案を含む検索結果を送受信部からネットワークを介して利用権限のある端末（利用者端末１６）に送信することができる。検索結果は更に、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含むことができる。検索要求は、例えば、キーワード、検索式、及び予め用意されたプルダウンメニューからのカテゴリー選択等の検索条件の一つを用いて行うことができ、又はこれらの二つ以上を組み合わせて行うことができる。検索結果の並び替え条件（特定の評価軸のスコアの高い順、提案日時の近い順など）を、プルダウンメニュー等により選択できるようにしてもよい。利用権限のある端末（利用者端末１６）としては、サーバ管理者端末１５及び／又は試験管理者端末１３が挙げられるが、利用権限が与えられればそれ以外の利用者端末１６であってもよい。図２４の左側に、利用者端末１６で表示される検索条件を入力するための画面の一例を示す。また、図２４の右側に、利用者端末１６で表示される検索結果の画面の一例を示す。

【0113】

［受験者端末］
受験者端末１２も先述したコンピュータ２００のハードウェア構成を有することができる。受験者端末１２の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば書式データ、課題データ、課題評価データ、解決案データ及び解決案評価データ等のデータを一時的に又は非一時的に保存することができる。受験者端末１２は入力装置２０４により、ログイン情報の入力、課題の入力、解決案の入力、他の受験者の課題（解決案）に対する評価の入力等を行うことができる。受験者端末１２は出力装置２０３により、ログイン画面、テスト画面（試験条件、自分が入力した課題（解決案）及び他人が提示した課題（解決案）を含む）及び評価結果等を表示させることができる。受験者端末１２は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、テスト画面、課題データ、解決案データ、課題評価データ、解決案評価データ、及び受験者評価データを受信することが可能であり、サーバ１１にログイン情報、課題データ、解決案データ、課題評価データ及び解決案評価データを送信することが可能である。

【0114】

［試験管理者端末］
試験管理者端末１３も先述したコンピュータ２００のハードウェア構成を有することができる。試験管理者端末１３の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば受験者アカウントデータ、試験のステータス（進捗）に関するデータ、試験条件データ、課題データ、解決案データ、課題評価データ、解決案評価データ及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。試験管理者端末１３は入力装置２０４により、受験者アカウントデータの入力、ログインデータの入力、試験開始の指示等を行うことができる。試験管理者端末１３は出力装置２０３により、受験者アカウントデータ、ログイン画面、試験条件、受験者が提示した課題、受験者が提示した解決案、及び評価結果等を表示させることができる。試験管理者端末１３は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、受験者アカウントデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、受験者評価データ、試験の進捗データを受信することが可能であり、サーバ１１に試験条件データ（試験開始指示を含む）、受験者アカウントデータ及びログインデータを送信することが可能である。

【0115】

［サーバ管理者端末］
サーバ管理者端末１５も先述したコンピュータ２００のハードウェア構成を有することができる。サーバ管理者端末１５の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば、サーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ、試験のステータス（進捗）に関するデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。サーバ管理者端末１５は入力装置２０４により、サーバ管理者アカウントデータの入力、試験管理者アカウントデータの入力、ログインデータの入力、試験条件の入力等を行うことができる。サーバ管理者端末１５は出力装置２０３により、サーバ管理者アカウントデータ、試験管理者アカウントデータ、ログイン画面、受験者が提示した課題、受験者が提示した解決案、及び評価結果等を表示させることができる。サーバ管理者端末１５は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、サーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ、課題データ、解決案データ、課題評価データ、解決案評価データ、受験者評価データ、試験の進捗データを受信することが可能であり、サーバ１１にサーバ管理者アカウントデータ、試験管理者アカウントデータ、受験者アカウントデータ及びログインデータを送信することが可能である。

【0116】

［利用者端末］
利用者端末１６も先述したコンピュータ２００のハードウェア構成を有することができる。利用者端末１６の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば検索式やキーワード等の検索条件のデータ、課題データ、課題評価データ、解決案データ及び解決案評価データ等のデータを一時的に又は非一時的に保存することができる。利用者端末１６は入力装置２０４により、ログイン情報の入力、課題及びその解決案を検索するための検索条件の入力等を行うことができる。利用者端末１６は出力装置２０３により、ログイン画面、検索条件の入力画面、課題及びその解決案等を表示させることができる。利用者端末１６は通信装置２０５により、コンピュータネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、検索条件の入力画面、検索結果のデータ（例：課題データ、解決案データ、課題評価データ、及び解決案評価データ）を受信することが可能であり、サーバ１１にログイン情報、課題及びその解決案を検索するための検索条件のデータを送信することが可能である。

【0117】

＜２．オンライン試験のフロー＞
次に、上述のシステムによるオンライン試験方法の手順についてフローチャートを参照しながら例示的に説明する。

【0118】

（２−１ 課題収集評価のための第一テスト）
２−１−１ 試験条件の設定から課題収集セッション開始まで
図２７には試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、課題収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れがフローチャートで記載されている。試験管理者が試験管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を試験管理者端末１３に送信する（Ｓ１０１Ａ）。次いで、試験管理者が試験管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２Ａ）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別し（Ｓ１０３Ａ）、一致する場合には、試験管理者用の管理画面を試験管理者端末１３に送信し（Ｓ１０４Ａ）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５Ａ）。

【0119】

ログインが成功すると、試験管理者端末１３には管理画面（例：図１１〜図１３）が表示される。試験管理者は管理画面上で、受験者情報及び試験条件を入力し、サーバ１１に送信する（Ｓ１０６Ａ）。サーバ１１は受験者情報及び試験条件に関するデータを受信すると、データ登録部３２２によって、当該データが第一テスト受験者アカウントファイル３４１ａ及び第一テスト情報ファイル３４２ａにそれぞれ保存される（Ｓ１０７Ａ）。

【0120】

次いで、サーバ１１は登録された受験者情報及び試験条件を伝える管理画面を試験管理者端末１３に送信する（Ｓ１０８Ａ）。試験管理者は当該登録された情報を管理画面上で確認した上で、図１１に示すような管理画面上で「課題収集セッション開始」のボタンをクリックすると、課題収集セッションの開始指示がサーバ１１に送信される（Ｓ１０９Ａ）。サーバ１１の課題入力用書式抽出部３２３ａは、試験管理者端末１３から送信される課題収集セッション開始の指示を受信すると、第一テスト受験者アカウントファイル３４１ａ等においてステータスを課題収集セッションが開始したことを示すステータスに変更して保存する（Ｓ１１０Ａ）。その他、第一テスト受験者アカウントファイル３４１ａ等に課題収集セッションの開始時刻を保存してもよい。第一テスト受験者アカウントファイル３４１ａ及び第一テスト情報ファイル３４２ａなど他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。

【0121】

なお、試験管理者からの課題収集セッション開始の指示は「課題収集セッション開始」のボタンをクリックするだけではなく、予め課題収集セッション開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０Ａを実行する。

【0122】

次いで、サーバ１１の課題入力用書式抽出部３２３ａは、課題入力のための第一書式データを第一書式データファイル３４６ａから抽出し、更に、第一テストの課題入力条件（インストラクション）等の所定のテスト情報を第一テスト情報ファイル３４２ａから抽出し、少なくとも一つの記述式課題入力部及び当該テスト情報を含むテスト画面を各受験者端末１２に送信する（Ｓ１１１Ａ）。これにより、受験者端末１２には図７に示すような課題入力のためのテスト画面が表示される（Ｓ１１２Ａ）。なお、フローチャートによる説明を省くが、受験者端末１２においてテスト画面が表示されるためには、受験者端末１２も試験管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。

【0123】

２−１−２ 課題収集セッションの開始から終了まで
図２８には課題収集セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって課題入力のためのテスト画面が受験者端末１２で表示された後、受験者が当該画面上でインストラクションに従って課題を入力し、「次へ」のボタンをクリックする。すると、当該受験者端末１２から課題データがサーバ１１に送信される（Ｓ１１３Ａ）。サーバ１１が課題データを受信すると、課題データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４Ａ）。

【0124】

制限時間内であると判断された場合、サーバ１１のデータ登録部３２２は、当該課題データに課題ＩＤを付与し、当該課題データを送信した受験者の受験者ＩＤ等と関連付けて第一テスト課題データファイル３４３ａに格納する（Ｓ１１５Ａ）。また、制限時間内であると判断された場合、制限時間判断部３２４は当該課題データを送信した受験者の受験者端末１２にて課題入力のためのテスト画面を再度送信するように指示する。課題入力用書式抽出部３２３ａは制限時間判断部３２４の指示に従って対応する受験者端末１２に課題入力のためのテスト画面を送信する（Ｓ１１１Ａ）。このようにして、制限時間内にある限り課題入力のためのテスト画面は繰り返し受験者端末１２に送信される。

【0125】

一方、サーバ１１の制限時間判断部３２４は、受験者端末１２からの課題データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、課題収集セッションが終了した旨を記録するために、第一テスト受験者アカウントファイル３４１ａ等におけるステータスを「課題収集セッション終了」に変更する（Ｓ１１６Ａ）。また、課題収集セッション終了画面又は課題収集セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ１１７Ａ）。これにより、受験者端末１２には課題収集セッションが終了した旨の画面が表示され（Ｓ１１８Ａ）、試験管理者端末１３には、例えば図１１に示すような課題収集セッションが終了した旨の進捗情報が表示される（Ｓ１１９Ａ）。

【0126】

別法として、サーバ１１はＳ１１１Ａにおいて複数の課題を一度に記入できる課題入力のためのテスト画面を送信してもよい。また、受験者端末１２はＳ１１３Ａにおいて複数の課題をまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての課題データを一度に受信することができ、Ｓ１１１Ａを繰り返し行う必要はない。

【0127】

２−１−３ 課題評価セッションの開始から終了まで
図２９には課題評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって課題収集セッションが終了した後、試験管理者は図１１に示すような管理画面上で「課題評価セッション開始」のボタンをクリックすると、課題評価セッションの開始指示がサーバ１１に送信される（Ｓ２０１Ａ）。サーバ１１の評価者決定部３２５は、課題評価セッション開始の指示を受信すると、サーバ１１に内蔵された乱数発生装置２０６により発生した乱数を取得し、当該乱数を用いて第一テスト課題データファイル３４３ａに格納されている各課題データ中の課題を評価すべき受験者を決定する（Ｓ２０２Ａ）。

【0128】

この際、サーバ１１の評価者決定部３２５は、評価者たる受験者による各課題に対する評価の進捗状況を管理するための第一テスト課題評価進捗管理ファイル３４７ａに、評価者たる受験者毎に、受験者ＩＤ、評価すべき課題ＩＤ、及び必要評価数などを関連付けて保存することができる。なお、評価者決定部３２５による当該決定プロセスは、試験管理者端末１３からの課題評価セッション開始の指示に限られるものではなく、評価者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは評価者を決定するためだけの指示を試験管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが課題収集セッション終了へと変更されることがトリガーとなって実行されてもよい。

【0129】

サーバ１１の課題抽出部３２６は、評価者決定部３２５による各課題を評価すべき受験者の決定に従い、各受験者が評価すべき課題のデータを第一テスト課題データファイル３４３ａに格納されている課題ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ａ）。これにより、受験者端末１２では図９に記載されるような、受験者毎に評価すべき課題が画面上に表示される（Ｓ２０４Ａ）。受験者は当該画面上で課題に対する評価（例：「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、又は「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」）のボタンをクリックし、「次へ」のボタンをクリックする。すると、当該受験者端末１２から課題評価データがサーバ１１に送信される（Ｓ２０５Ａ）。サーバ１１が課題評価データを受信すると、データ登録部３２２が当該課題評価データに課題評価ＩＤを付与し、当該課題評価データを送信した受験者の受験者ＩＤ及び課題ＩＤ等と関連付けて第一テスト課題評価データファイル３４４ａに格納する（Ｓ２０６Ａ）。

【0130】

次いで、サーバ１１の評価数判断部３３４は受験者端末１２から一つの課題に対する評価を受信する度に、当該受験者の受験者ＩＤに対応した第一テスト課題評価進捗管理ファイル３４７ａにおける評価済み数を一つ増やすとともに、当該受験者が前記決定に従った必要評価数に達したか否かを判断する（Ｓ２０７Ａ）。その結果、必要評価数に達していないと判断した場合には、課題抽出部３２６は、未評価分の課題データを、当該受験者が次に評価すべき課題を第一テスト課題データファイル３４３ａに格納されている課題ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ａ）。このようにして、必要評価数に達するまで評価すべき課題のデータは繰り返し受験者端末１２に送信される。

【0131】

別法として、サーバ１１はＳ２０３Ａにおいて評価すべき課題のデータをまとめて各受験者端末１２に送信してもよい。また、受験者端末１２はＳ２０５Ａにおいて課題評価データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての課題評価データを一度に受信することができ、Ｓ２０３Ａを繰り返し行う必要はない。

【0132】

一方、サーバ１１の評価数判断部３３４は、必要評価数に達したと判断した場合、当該受験者の課題評価セッションが終了した旨を記録するために、第一テスト受験者アカウントファイル３４１ａ等におけるステータスを「課題評価セッション終了」に変更する（Ｓ２０８Ａ）。また、評価数判断部３３４は課題評価セッション終了画面又は課題評価セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ２０９Ａ）。受験者端末１２及び試験管理者端末１３において、当該画面又は進捗情報を受信すると、受験者端末１２には課題評価セッションが終了した旨の画面が表示され（Ｓ２１０Ａ）、試験管理者端末１３には、例えば図１１に示すような課題評価セッションが終了した旨の進捗情報が表示される（Ｓ２１１Ａ）。

【0133】

２−１−４ スコア計算
図３０には課題評価セッションの終了後、サーバ１１によって各課題のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって課題評価セッションが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図１１に示すような管理画面上で「スコア計算開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１Ａ）。なお、「スコア計算開始」のボタンは課題評価セッション終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の課題評価部３２８は、第一テスト課題評価データファイル３４４ａに格納されている各課題の評価軸毎の評価値及び課題ＩＤに基づいて各課題データ中の課題ＩＤ毎に課題のスコアを評価軸毎に算出する（Ｓ３０２Ａ）。当該スコアは、第一テスト課題データファイル３４３ａに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。次いで、受験者評価部３３２は、課題ＩＤ毎に付与されたスコアに基づいて、受験者ＩＤ毎の課題提案力に関するスコアを評価軸毎に算出する（Ｓ３０３Ａ）。当該スコアは、第一テスト受験者評価データファイル３４５ａに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。

【0134】

このようにして、各受験者の課題提案力に関するスコアをいったん算出した後、スコアの高い受験者からの評価に対して重み付けを与えるようにして課題ＩＤ毎に課題に対する評価軸毎のスコアを再度算出（補正）し（Ｓ３０４Ａ）、さらに補正後のスコアに基づいて受験者ＩＤ毎のスコアを評価軸毎に再度算出（補正）する（Ｓ３０５Ａ）。更に、ステップＳ３０４Ａ及びＳ３０５Ａは予め設定した回数繰り返される。ステップＳ３０４Ａにより補正されたスコアは、第一テスト課題データファイル３４３ａに第一補正スコア、第二補正スコア・・・等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。同様に、ステップＳ３０５Ａにより補正されたスコアは、第一テスト受験者評価データファイル３４５ａに第一補正スコア、第二補正スコア等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。

【0135】

ステップＳ３０４Ａ及びＳ３０５Ａが所定回数繰り返されることで、各課題に対する最終的なスコアが算出される。各受験者に対する最終的なスコアも算出される。

【0136】

このようにして、各課題に対する評価軸毎の最終的なスコア及び各受験者に対する評価軸毎のスコアが算出されると、サーバ１１の課題評価抽出部３３０は各課題及び各課題に対する評価軸毎のスコアを含む課題評価集計データを抽出し、当該課題評価集計データを試験管理者端末１３に表示可能な形態で送信する（Ｓ３０６Ａ）。合わせて、サーバ１１の受験者評価抽出部３３３は、第一テスト受験者評価データファイル３４５ａに格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、表示可能な形態で試験管理者端末１３に送信することもできる。課題評価集計データ（及び受験者評価データ）を受信すると、試験管理者端末１３の画面上には、課題評価集計データ（及び受験者評価データ）が表示される（Ｓ３０７Ａ）。

【0137】

（２−２ 解決案収集評価のための第二テスト）
２−２−１ 試験条件の設定から解決案収集セッション開始まで
図３１には試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、解決案収集セッションのテスト画面が受験者端末に表示されるまでの処理の流れがフローチャートで記載されている。試験管理者が試験管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を試験管理者端末１３に送信する（Ｓ１０１Ｂ）。次いで、試験管理者が試験管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２Ｂ）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントファイル３４８内に記憶されているデータと一致するか否かを判別し（Ｓ１０３Ｂ）、一致する場合には、試験管理者用の管理画面を試験管理者端末１３に送信し（Ｓ１０４Ｂ）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５Ｂ）。

【0138】

ログインが成功すると、試験管理者端末１３には管理画面（例：図１４〜図１６）が表示される。試験管理者は管理画面上で、受験者情報及び試験条件を入力し、サーバ１１に送信する（Ｓ１０６Ｂ）。サーバ１１は受験者情報及び試験条件に関するデータを受信すると、データ登録部３２２によって、当該データが第二テスト受験者アカウントファイル３４１ｂ及び第二テスト情報ファイル３４２ｂにそれぞれ保存される（Ｓ１０７Ｂ）。

【0139】

次いで、サーバ１１は登録された受験者情報及び試験条件を伝える管理画面を試験管理者端末１３に送信する（Ｓ１０８Ｂ）。試験管理者は当該登録された情報を管理画面上で確認した上で、図１４に示すような管理画面上で「解決案収集セッション開始」のボタンをクリックすると、解決案収集セッションの開始指示がサーバ１１に送信される（Ｓ１０９Ｂ）。サーバ１１の解決案入力用書式抽出部３２３ｂは、試験管理者端末１３から送信される解決案収集セッション開始の指示を受信すると、第二テスト受験者アカウントファイル３４１ｂ等においてステータスを解決案収集セッションが開始したことを示すステータスに変更して保存する（Ｓ１１０Ｂ）。その他、第二テスト受験者アカウントファイル３４１ｂ等に解決案収集セッションの開始時刻を保存してもよい。第二テスト受験者アカウントファイル３４１ｂ及び第二テスト情報ファイル３４２ｂなど他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。

【0140】

なお、試験管理者からの解決案収集セッション開始の指示は「解決案収集セッション開始」のボタンをクリックするだけではなく、予め解決案収集セッション開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０Ｂを実行する。

【0141】

次いで、サーバ１１の解決案入力用書式抽出部３２３ｂは、解決案入力のための第二書式データを第二書式データファイル３４６ｂから抽出し、更に、第二テストの解決案入力条件（インストラクション）及び解決案を検討すべき課題等の所定のテスト情報を第二テスト情報ファイル３４２ｂから抽出し、少なくとも一つの記述式解決案入力部及び当該テスト情報を含むテスト画面を各受験者端末１２に送信する（Ｓ１１１Ｂ）。これにより、受験者端末１２には図８に示すような解決案入力のためのテスト画面が表示される（Ｓ１１２Ｂ）。なお、フローチャートによる説明を省くが、受験者端末１２においてテスト画面が表示されるためには、受験者端末１２も試験管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。

【0142】

２−２−２ 解決案収集セッションの開始から終了まで
図３２には解決案収集セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって解決案入力のためのテスト画面が受験者端末１２で表示された後、受験者が当該画面上でインストラクションに従って解決案を入力し、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解決案データがサーバ１１に送信される（Ｓ１１３Ｂ）。サーバ１１が解決案データを受信すると、解決案データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４Ｂ）。

【0143】

制限時間内であると判断された場合、サーバ１１のデータ登録部３２２は、当該解決案データに解決案ＩＤを付与し、当該解決案データを送信した受験者の受験者ＩＤ等と関連付けて第二テスト解決案データファイル３４３ｂに格納する（Ｓ１１５Ｂ）。また、制限時間内であると判断された場合、制限時間判断部３２４は当該解決案データを送信した受験者の受験者端末１２にて解決案入力のためのテスト画面を再度送信するように指示する。解決案入力用書式抽出部３２３ｂは制限時間判断部３２４の指示に従って対応する受験者端末１２に解決案入力のためのテスト画面を送信する（Ｓ１１１Ｂ）。このようにして、制限時間内にある限り解決案入力のためのテスト画面は繰り返し受験者端末１２に送信される。

【0144】

一方、サーバ１１の制限時間判断部３２４は、受験者端末１２からの解決案データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、解決案収集セッションが終了した旨を記録するために、第二テスト受験者アカウントファイル３４１ｂ等におけるステータスを「解決案収集セッション終了」に変更する（Ｓ１１６Ｂ）。また、解決案収集セッション終了画面又は解決案収集セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ１１７Ｂ）。これにより、受験者端末１２には解決案収集セッションが終了した旨の画面が表示され（Ｓ１１８Ｂ）、試験管理者端末１３には、例えば図１４に示すような解決案収集セッションが終了した旨の進捗情報が表示される（Ｓ１１９Ｂ）。

【0145】

別法として、サーバ１１はＳ１１１Ｂにおいて複数の解決案を一度に記入できる解決案入力のためのテスト画面を送信してもよい。また、受験者端末１２はＳ１１３Ｂにおいて複数の解決案をまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての解決案データを一度に受信することができ、Ｓ１１１Ｂを繰り返し行う必要はない。

【0146】

２−２−３ 解決案評価セッションの開始から終了まで
図３３には解決案評価セッションの開始から終了までの処理の流れがフローチャートで記載されている。先述した手順によって解決案収集セッションが終了した後、試験管理者は図１４に示すような管理画面上で「解決案評価セッション開始」のボタンをクリックすると、解決案評価セッションの開始指示がサーバ１１に送信される（Ｓ２０１Ｂ）。サーバ１１の評価者決定部３２５は、解決案評価セッション開始の指示を受信すると、サーバ１１に内蔵された乱数発生装置２０６により発生した乱数を取得し、当該乱数を用いて第二テスト解決案データファイル３４３ｂに格納されている各解決案データ中の解決案を評価すべき受験者を決定する（Ｓ２０２Ｂ）。

【0147】

この際、サーバ１１の評価者決定部３２５は、評価者たる受験者による各解決案に対する評価の進捗状況を管理するための第二テスト解決案評価進捗管理ファイル３４７ｂに、評価者たる受験者毎に、受験者ＩＤ、評価すべき解決案ＩＤ、及び必要評価数などを関連付けて保存することができる。なお、評価者決定部３２５による当該決定プロセスは、試験管理者端末１３からの解決案評価セッション開始の指示に限られるものではなく、評価者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは評価者を決定するためだけの指示を試験管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが解決案収集セッション終了へと変更されることがトリガーとなって実行されてもよい。

【0148】

サーバ１１の解決案抽出部３２７は、評価者決定部３２５による各解決案を評価すべき受験者の決定に従い、各受験者が評価すべき解決案のデータを第二テスト解決案データファイル３４３ｂに格納されている解決案ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第四書式データファイル３４６ｄに格納されている第四書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ｂ）。これにより、受験者端末１２では図１０に記載されるような、受験者毎に評価すべき解決案が画面上に表示される（Ｓ２０４Ｂ）。受験者は当該画面上で解決案に対する評価（例：「Ｓｔｒｏｎｇｌｙ ｄｉｓａｇｒｅｅ」、「Ｄｉｓａｇｒｅｅ」、「Ｎｅｕｔｒａｌ」、「Ａｇｒｅｅ」、又は「Ｓｔｒｏｎｇｌｙ ａｇｒｅｅ」）のボタンをクリックし、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解決案評価データがサーバ１１に送信される（Ｓ２０５Ｂ）。サーバ１１が解決案評価データを受信すると、データ登録部３２２が当該解決案評価データに解決案評価ＩＤを付与し、当該解決案評価データを送信した受験者の受験者ＩＤ及び解決案ＩＤ等と関連付けて第二テスト解決案評価データファイル３４４ｂに格納する（Ｓ２０６Ｂ）。

【0149】

次いで、サーバ１１の評価数判断部３３４は受験者端末１２から一つの解決案に対する評価を受信する度に、当該受験者の受験者ＩＤに対応した第二テスト解決案評価進捗管理ファイル３４７ｂにおける評価済み数を一つ増やすとともに、当該受験者が前記決定に従った必要評価数に達したか否かを判断する（Ｓ２０７Ｂ）。その結果、必要評価数に達していないと判断した場合には、解決案抽出部３２７は、未評価分の解決案データを、当該受験者が次に評価すべき解決案を第二テスト解決案データファイル３４３ｂに格納されている解決案ＩＤと評価者たる受験者の受験者ＩＤとに基づいて抽出し、第三書式データファイル３４６ｃに格納されている第三書式データと共に表示可能な形態で対応する各受験者端末１２に送信する（Ｓ２０３Ｂ）。このようにして、必要評価数に達するまで評価すべき解決案のデータは繰り返し受験者端末１２に送信される。

【0150】

別法として、サーバ１１はＳ２０３Ｂにおいて評価すべき解決案のデータをまとめて各受験者端末１２に送信してもよい。また、受験者端末１２はＳ２０５Ｂにおいて解決案評価データをまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は当該受験者からのすべての解決案評価データを一度に受信することができ、Ｓ２０３Ｂを繰り返し行う必要はない。

【0151】

一方、サーバ１１の評価数判断部３３４は、必要評価数に達したと判断した場合、当該受験者の解決案評価セッションが終了した旨を記録するために、第二テスト受験者アカウントファイル３４１ｂ等におけるステータスを「解決案評価セッション終了」に変更する（Ｓ２０８Ｂ）。また、評価数判断部３３４は解決案評価セッション終了画面又は解決案評価セッションが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ２０９Ｂ）。受験者端末１２及び試験管理者端末１３において、当該画面又は進捗情報を受信すると、受験者端末１２には解決案評価セッションが終了した旨の画面が表示され（Ｓ２１０Ｂ）、試験管理者端末１３には、例えば図１４に示すような解決案評価セッションが終了した旨の進捗情報が表示される（Ｓ２１１Ｂ）。

【0152】

２−２−４ スコア計算
図３４には解決案評価セッションの終了後、サーバ１１によって各解決案のスコアリングを行い、その結果を試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって解決案評価セッションが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図１４に示すような管理画面上で「スコア計算開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１Ｂ）。なお、「スコア計算開始」のボタンは解決案評価セッション終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の解決案評価部３２９は、第二テスト解決案評価データファイル３４４ｂに格納されている各解決案の評価軸毎の評価値及び解決案ＩＤに基づいて各解決案データ中の解決案ＩＤ毎に解決案のスコアを評価軸毎に算出する（Ｓ３０２Ｂ）。当該スコアは、第二テスト解決案データファイル３４３ｂに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してもよい。次いで、受験者評価部３３２は、解決案ＩＤ毎に付与されたスコアに基づいて、受験者ＩＤ毎の解決力に関するスコアを評価軸毎に算出する（Ｓ３０３Ｂ）。当該スコアは、第二テスト受験者評価データファイル３４５ｂに初期スコアとして書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。

【0153】

このようにして、各受験者の解決力に関するスコアをいったん算出した後、スコアの高い受験者からの評価に対して重み付けを与えるようにして解決案ＩＤ毎に解決案に対する評価軸毎のスコアを再度算出（補正）し（Ｓ３０４Ｂ）、さらに補正後のスコアに基づいて受験者ＩＤ毎のスコアを評価軸毎に再度算出（補正）する（Ｓ３０５Ｂ）。更に、ステップＳ３０４Ｂ及びＳ３０５Ｂは予め設定した回数繰り返される。ステップＳ３０４Ｂにより補正されたスコアは、第二テスト解決案データファイル３４３ｂに第一補正スコア、第二補正スコア・・・等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。同様に、ステップＳ３０５Ｂにより補正されたスコアは、第二テスト受験者評価データファイル３４５ｂに第一補正スコア、第二補正スコア等として書き込んでもよいし、いちいち書き込まずにメモリ上で処理してしもよい。

【0154】

ステップＳ３０４Ｂ及びＳ３０５Ｂが所定回数繰り返されることで、各解決案に対する最終的なスコアが算出される。各受験者に対する最終的なスコアも算出される。

【0155】

このようにして、各解決案に対する評価軸毎の最終的なスコア及び各受験者に対する評価軸毎のスコアが算出されると、サーバ１１の解決案評価抽出部３３１は各解決案及び各解決案に対する評価軸毎のスコアを含む解決案評価集計データを抽出し、当該解決案評価集計データを試験管理者端末１３に表示可能な形態で送信する（Ｓ３０６Ｂ）。合わせて、サーバ１１の受験者評価抽出部３３３は、第二テスト受験者評価データファイル３４５ｂに格納された各受験者に対する評価軸毎のスコアを含む受験者評価データを受験者ＩＤに基づいて抽出し、表示可能な形態で試験管理者端末１３に送信することもできる。解決案評価集計データ（及び受験者評価データ）を受信すると、試験管理者端末１３の画面上には、解決案評価集計データ（及び受験者評価データ）が表示される（Ｓ３０７Ｂ）。

【0156】

＜３．課題及びその解決手段検索のフロー＞
次に、上述のシステムによる課題及びその解決手段のオンラインでの検索手順についてフローチャートを参照しながら例示的に説明する。

【0157】

図３５には権限のある利用者端末がサーバへアクセスして検索要求を行い、所望の検索結果を得るまでの処理の流れがフローチャートで記載されている。利用者が利用者端末１６から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を利用者端末１６に送信する（Ｓ４０１）。次いで、利用者が利用者端末１６にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ４０２）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、ライブラリ利用者アカウントファイル３５０内に記憶されているデータと一致するか否かを判別し（Ｓ４０３）、一致する場合には、利用者用の管理画面を利用者端末１６に送信し（Ｓ４０４）、一致しない場合には、エラーメッセージを送信する（Ｓ４０５）。

【0158】

ログインが成功すると、利用者端末１６には検索条件を入力するための画面（例：図２４）が表示される。利用者は画面上で、キーワード及び検索式などを用いて課題及びその解決案についての検索条件を入力し、サーバ１１に送信する（Ｓ４０６）。サーバ１１が検索条件のデータを受信すると、検索部３３５は、サーバ１１の記憶部３４０内のデータ、例えば、第一テスト課題データファイル３４３ａ、第二テスト解決案データファイル３４３ｂ、第一テスト受験者アカウントファイル３４１ａ、第二テスト受験者アカウントファイル３４１ｂ、第一テスト情報ファイル３４２ａ、第二テスト情報ファイル３４２ｂ、第一テスト課題評価データファイル３４４ａ、第二テスト解決案評価データファイル３４４ｂ、第一テスト受験者評価データファイル３４５ａ、及び、第二テスト受験者評価データファイル３４５ｂの少なくとも一つを検索する（Ｓ４０７）。その後、サーバ１１は、検索要求に合致する課題及びその解決案を含む検索結果を利用者端末に送信する（Ｓ４０８）。検索結果は更に、課題に対する評価軸毎のスコア及び解決案に対する評価軸毎のスコアの一方又は両方を含んでもよい。検索結果のデータを受信すると、利用者端末１６の画面上には、図２４左側下部及び図２４右側下部に示すような当該検索結果が表示される（Ｓ４０９）。

【符号の説明】

【0159】

１１ サーバ
１２ 受験者端末
１３ 試験管理者端末
１４ コンピュータネットワーク
１５ サーバ管理者端末
１６ 利用者端末
２０５ 通信装置
２００ コンピュータ
２０１ 演算装置
２０２ 記憶装置
２０３ 出力装置
２０４ 入力装置
２０５ 通信装置
２０６ 乱数発生装置
２０７ タイマー
３１０ 送受信部
３２０ 制御部
３２１ 認証処理部
３２２ データ登録部
３２３ａ 課題入力用書式抽出部
３２３ｂ 解決案入力用書式抽出部
３２４ 制限時間判断部
３２５ 評価者決定部
３２６ 課題抽出部
３２７ 解決案抽出部
３２８ 課題評価部
３２９ 解決案評価部
３３０ 課題評価抽出部
３３１ 解決案評価抽出部
３３２ 受験者評価部
３３３ 受験者評価抽出部
３３４ 評価数判断部
３３５ 検索部
３４０ 記憶部
３４１ａ 第一テスト受験者アカウントファイル
３４１ｂ 第二テスト受験者アカウントファイル
３４２ａ 第一テスト情報ファイル
３４２ｂ 第二テスト情報ファイル
３４３ａ 第一テスト課題データファイル
３４３ｂ 第二テスト解決案データファイル
３４４ａ 第一テスト課題評価データファイル
３４４ｂ 第二テスト解決案評価データファイル
３４５ａ 第一テスト受験者評価データファイル
３４５ｂ 第二テスト受験者評価データファイル
３４６ａ 第一書式データファイル
３４６ｂ 第二書式データファイル
３４６ｃ 第三書式データファイル
３４６ｄ 第四書式データファイル
３４７ａ 第一テスト課題評価進捗管理ファイル
３４７ｂ 第二テスト解決案評価進捗管理ファイル
３４８ 試験管理者アカウントファイル
３４９ サーバ管理者アカウントファイル
３５０ ライブラリ利用者アカウントファイル
３５１ テスト管理ファイル
３６０ 辞書データファイル

【要約】

【課題】オンラインで効率的に行うことのできる課題収集評価方法及び解決案収集評価方法を提供する。
【解決手段】第一テストでは複数の受験者から様々な課題をネットワークを介して収集すると共に受験者間で相互評価させ、これによって得られた課題データ及び課題評価データを、識別子を用いてサーバ内に格納する。サーバは、課題評価集計データを抽出し、当該課題評価集計データをネットワークを介して試験管理者端末に送信することができる。第二テストでは複数の受験者から与えられた課題に対する様々な解決案をネットワークを介して収集すると共に受験者間で相互評価させ、これによって得られた解決案データ及び解決案評価データを、識別子を用いてサーバ内に格納する。サーバは、解決案評価集計データを抽出し、当該解決案評価集計データをネットワークを介して試験管理者端末に送信することができる。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20a】

【図20b】

【図20c】

【図21】

【図22】

【図23a】

【図23b】

【図23c】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】