特開 2023-17187 情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023017187

(43)【公開日】2023-02-07

(54)【発明の名称】情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラム

(51)【国際特許分類】

   G06F 8/77 20180101AFI20230131BHJP

【ＦＩ】

G06F8/77

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021121259

(22)【出願日】2021-07-26

(71)【出願人】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】渡部 有隆

【テーマコード（参考）】

5B376

【Ｆターム（参考）】

5B376BA01

5B376BA11

5B376BC69

(57)【要約】      （修正有）

【課題】プログラムコードについての評価結果のフィードバックに要する時間を短縮する情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラムを提供する。
【解決手段】方法は、新たなプログラムコードを受け付けた場合、プログラムコードの評価を行う複数の評価装置のそれぞれに対応する複数のキューのいずれかに格納されているプログラムコード毎に、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての第２の評価結果とを算出し、第１の評価結果と第２の評価結果とに基づいて、新たなプログラムコードを格納する第１のキューを複数のキューから特定し、格納する。
【選択図】図８

【特許請求の範囲】

【請求項1】

ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置と、
前記複数の評価装置のそれぞれに対応する複数のキューと、
前記プログラムコードを前記複数のキューのうちのいずれかに振り分ける振分装置と、
前記複数のキューのいずれかに格納されている前記プログラムコードに関する情報を前記プログラムコードの送信元に通知する通知装置と、を有する情報処理システムであって、
前記振分装置は、
新たなプログラムコードを受け付けた場合、前記複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出し、
前記複数のキューのいずれかに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードを格納する第１のキューを前記複数のキューから特定し、
特定した前記第１のキューに対して前記新たなプログラムコードを格納し、
前記通知装置は、特定した前記第１のキューに格納された前記新たなプログラムコードに関する情報を、前記新たなプログラムコードを生成したユーザに対応する通知先に通知する、
ことを特徴とする情報処理システム。

【請求項2】

請求項１において、
前記振分装置は、
前記第１のキューに格納されているプログラムコードごとに、各プログラムコードに対応する前記第１の評価結果と、各プログラムコードに対応する前記第２の評価結果とを算出し、
前記第１のキューに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードに関する情報を生成する、
ことを特徴とする情報処理システム。

【請求項3】

請求項２において、
前記第１の評価結果は、前記第１のプログラムコードの評価に要した第１の時間であり、
前記第２の評価結果は、前記第２のプログラムコードの評価に要した第２の時間である、
ことを特徴とする情報処理システム。

【請求項4】

請求項３において、
前記第１の時間は、前記第１のプログラムコードの実行に要した時間の最大値または平均値であり、
前記第２の時間は、前記第２のプログラムコードの実行に要した時間の最大値または平均値である、
ことを特徴とする情報処理システム。

【請求項5】

請求項３において、
前記振分装置は、
前記複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する前記第１の時間と前記第２の時間とに基づいて、各プログラムコードの実行に要する時間の予測時間を算出し、
前記複数のキューごとに、各キューに格納されているプログラムコードに対応する前記予測時間の合計時間を算出し、
前記複数のキューのうち、前記合計時間が最も短いキューを前記第１のキューとして特定する、
ことを特徴とする情報処理システム。

【請求項6】

請求項５において、
前記振分装置は、前記複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する前記第１の時間と前記第２の時間とのうちの長い方の時間を、各プログラムコードに対応する前記予測時間として算出する、
ことを特徴とする情報処理システム。

【請求項7】

請求項３において、
前記振分装置は、
前記第１のキューに格納されているプログラムコードごとに、各プログラムコードに対応する前記第１の時間と前記第２の時間とに基づいて、各プログラムコードの実行に要する時間の予測時間を算出し、
前記新たなプログラムコードに対応する前記予測時間と前記新たなプログラムコードの前に格納されている１以上のプログラムコードのそれぞれに対応する前記予測時間との合計時間を算出し、
算出した前記合計時間を含む情報を、前記新たなプログラムコードに関する情報として通知する、
ことを特徴とする情報処理システム。

【請求項8】

請求項１において、
前記通知装置は、前記第１のキューにおいて前記新たなプログラムコードの前に格納されているプログラムコードの数を、前記新たなプログラムコードに関する情報として通知する、
ことを特徴とする情報処理システム。

【請求項9】

請求項１において、
前記通知装置は、複数のテストデータを用いることによる前記新たなプログラムコードの評価が前記複数の評価装置のうちの前記第１のキューに対応する第１の評価装置において行われる場合において、前記複数のテストデータに含まれる特定のテストデータを用いることによる前記新たなプログラムコードの評価が前記第１の評価装置において終了した場合、前記特定のテストデータを用いることによる前記新たなプログラムコードの評価が前記第１の評価装置において終了したことを示す情報を、前記新たなプログラムコードに関する情報として通知する、
ことを特徴とする情報処理システム。

【請求項10】

請求項１において、
前記通知装置は、前記第１のキューにおける各プログラムコードの格納状況を示す情報を前記通知先に通知する、
ことを特徴とする情報処理システム。

【請求項11】

ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置と、前記複数の評価装置のそれぞれに対応する複数のキューと、前記プログラムコードを前記複数のキューのうちのいずれかに振り分ける振分装置と、前記複数のキューのいずれかに格納されている前記プログラムコードに関する情報を前記プログラムコードの送信元に通知する通知装置と、を有する情報処理システムにおける情報処理方法であって、
前記振分装置が、
新たなプログラムコードを受け付けた場合、前記複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出し、
前記複数のキューのいずれかに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードを格納する第１のキューを前記複数のキューから特定し、
特定した前記第１のキューに対して前記新たなプログラムコードを格納し、
前記通知装置が、特定した前記第１のキューに格納された前記新たなプログラムコードに関する情報を、前記新たなプログラムコードを生成したユーザに対応する通知先に通知する、
ことを特徴とする情報処理方法。

【請求項12】

新たなプログラムコードを受け付けた場合、ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置のそれぞれに対応する複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出する結果算出部と、
前記複数のキューのいずれかに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードを格納する第１のキューを前記複数のキューから特定するキュー特定部と、
特定した前記第１のキューに対して前記新たなプログラムコードを格納するコード格納部と、を有する、
ことを特徴とする振分装置。

【請求項13】

ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置のそれぞれに対応する複数のキューに含まれる第１のキューに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出する結果算出部と、
前記第１のキューに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記第１のキューに格納されているプログラムコードのうちの特定のプログラムコードに関する情報を生成する情報生成部と、
生成した前記特定のプログラムコードに関する情報を、前記特定のプログラムコードを生成したユーザに対応する通知先に通知する情報通知部と、を有する、
ことを特徴とする通知装置。

【請求項14】

新たなプログラムコードを受け付けた場合、ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置のそれぞれに対応する複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出し、
前記複数のキューのいずれかに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードを格納する第１のキューを前記複数のキューから特定し、
特定した前記第１のキューに対して前記新たなプログラムコードを格納する、
処理をコンピュータに実行させることを特徴とする振分プログラム。

【請求項15】

ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置のそれぞれに対応する複数のキューに含まれる第１のキューに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出し、
前記第１のキューに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記第１のキューに格納されているプログラムコードのうちの特定のプログラムコードに関する情報を生成し、
生成した前記特定のプログラムコードに関する情報を、前記特定のプログラムコードを生成したユーザに対応する通知先に通知する、
処理をコンピュータに実行させることを特徴とする通知プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラムに関する。

【背景技術】

【0002】

近年、ユーザに対するプログラミング教育を支援するツールとして、プログラムコードの評価を自動的に行うことが可能な評価装置が広く利用されている。

【0003】

このような評価装置は、例えば、評価対象のプログラムコードの提出を受け付けると、受け付けたプログラムコードのコンパイル及び実行を行うことによって、そのプログラムコードについての評価を行う。そして、評価装置は、例えば、受け付けたプログラムコードについての評価結果をユーザ（例えば、受け付けたプログラムコードの作成者）に対してフィードバックする。

【0004】

これにより、ユーザは、例えば、評価装置からのフィードバックを参照することで、プログラミング能力の向上を図ることが可能になる（特許文献１乃至２及び非特許文献１乃至２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第１０３０３５１７号明細書

【特許文献2】中国特許出願公開第１０９５０８２９３号明細書

【非特許文献】

【0006】

【非特許文献1】オンラインジャッジの開発と運用， ＩＰＳＪ Ｍａｇａｚｉｎｅ, Ｖｏｌ.５６, Ｎｏ.１０, Ｐ９９８－１００５，２０１５．

【非特許文献2】Ｏｎｌｉｎｅ Ａｕｔｏｍａｔｉｃ Ａｓｓｅｓｓｍｅｎｔ Ｓｙｓｔｅｍ ｆｏｒ Ｐｒｏｇｒａｍ Ｃｏｄe：Ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄ Ｅｘｐｅｒｉｅｎｃｅｓ，ＩＥＡ/ＡＩＥ ２０２１

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、上記のような評価装置は、評価対象のプログラムコードの提出を受け付けた場合、受け付けたプログラムコードについての評価結果のフィードバックを迅速に行うことが好ましい。そのため、評価装置の管理者は、例えば、複数の評価装置を並行に動作させるとともに、評価対象のプログラムコードを複数の評価装置に振り分ける振分装置を動作させる。これにより、例えば、多くのプログラムコードが提出された場合であっても、プログラムコードについての評価結果のフィードバックを迅速に行うことが可能になる。

【0008】

しかしながら、上記のように、プログラムコードの評価を複数の評価装置が分担して行う場合であっても、複数の評価装置に対するプログラムコードの振分方法が適切でない場合、他の評価装置よりも多くのプログラムコードが振り分けられる評価装置が発生し、ユーザに対する評価結果のフィードバックに長い時間を要するケースが発生する。

【0009】

そこで、本発明の目的は、プログラムコードについての評価結果のフィードバックに要する時間を短縮することを可能とする情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するための本発明における情報処理システムは、ユーザが作成したプログラムコードの評価をそれぞれ行う複数の評価装置と、前記複数の評価装置のそれぞれに対応する複数のキューと、前記プログラムコードを前記複数のキューのうちのいずれかに振り分ける振分装置と、前記複数のキューのいずれかに格納されている前記プログラムコードに関する情報を前記プログラムコードの送信元に通知する通知装置と、を有する情報処理システムであって、前記振分装置は、新たなプログラムコードを受け付けた場合、前記複数のキューのいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての前記複数の評価装置による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての前記複数の評価装置による第２の評価結果とを算出し、前記複数のキューのいずれかに格納されているプログラムコードごとの前記第１の評価結果と前記第２の評価結果とに基づいて、前記新たなプログラムコードを格納する第１のキューを前記複数のキューから特定し、特定した前記第１のキューに対して前記新たなプログラムコードを格納し、前記通知装置は、特定した前記第１のキューに格納された前記新たなプログラムコードに関する情報を、前記新たなプログラムコードを生成したユーザに対応する通知先に通知する。

【発明の効果】

【0011】

本発明における情報処理システム、情報処理方法、振分装置、通知装置、振分プログラム及び通知プログラムによれば、プログラムコードについての評価結果のフィードバックに要する時間を短縮することが可能になる。

【図面の簡単な説明】

【0012】

【図1】図１は、第１の実施の形態における情報処理システム１０の構成例を示す図である。

【図2】図２は、第１の実施の形態における振分装置１の構成例を示す図である。

【図3】図３は、第１の実施の形態における振分装置１のハードウエア構成例を示す図である。

【図4】図４は、第１の実施の形態における通知装置２のハードウエア構成例を示す図である。

【図5】図５は、第１の実施の形態における評価装置３のハードウエア構成例を示す図である。

【図6】図６は、第１の実施の形態におけるコード振分処理の概略を説明する図である。

【図7】図７は、第１の実施の形態における情報通知処理の概略を説明する図である。

【図8】図８は、第１の実施の形態におけるコード振分処理の詳細を説明するフローチャート図である。

【図9】図９は、第１の実施の形態における情報通知処理の詳細を説明するフローチャート図である。

【図10】図１０は、第１の実施の形態における情報通知処理の詳細を説明するフローチャート図である。

【図11】図１１は、第１の実施の形態における情報通知処理の詳細を説明するフローチャート図である。

【図12】図１２は、第１の実施の形態における情報通知処理の詳細を説明する図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0014】

［情報処理システム１０の構成］
初めに、第１の実施の形態における情報処理システム１０の構成例について説明を行う。図１は、第１の実施の形態における情報処理システム１０の構成例を示す図である。また、図２は、第１の実施の形態における振分装置１の構成例を示す図である。

【0015】

情報処理システム１０は、図１に示すように、例えば、振分装置１と、通知装置２と、評価装置３ａ、３ｂ及び３ｃと、ユーザ端末５ａ、５ｂ及び５ｃとを有する。また、振分装置１は、図２に示すように、各処理を行う処理部１ａと、評価装置３ａ、３ｂ及び３ｃのそれぞれに対応するキュー４ａ、４ｂ及び４ｃとを有する。以下、評価装置３ａ、３ｂ及び３ｃを総称して評価装置３とも呼び、キュー４ａ、４ｂ及び４ｃを総称してキュー４とも呼び、ユーザ端末５ａ、５ｂ及び５ｃを総称してユーザ端末５とも呼ぶ。また、以下、情報処理システム１０が３台の評価装置３と３台のユーザ端末５とを有する場合について説明を行うが、情報処理システム１０は、これ以外の台数の評価装置３及びユーザ端末５を有するものであってもよい。

【0016】

ユーザ端末５は、例えば、各ユーザが有するＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォン等のモバイル端末である。そして、ユーザは、例えば、ユーザ端末５を介して、予め指定された問題（以下、単に問題とも呼ぶ）について作成したプログラムコードを振分装置１に対して送信する。

【0017】

振分装置１は、例えば、ユーザ端末５から送信されたプログラムコードを振り分ける評価装置３を決定する。そして、振分装置１は、例えば、決定した評価装置３に対応するキュー４に対して、ユーザ端末５から送信されたプログラムコードを格納する。

【0018】

評価装置３は、例えば、自装置に対応するキュー４に格納されたプログラムコードを格納順に振分装置１から受信する。そして、評価装置３は、例えば、受信したプログラムコードについての評価を行う。具体的に、評価装置３は、例えば、受信したプログラムコードのコンパイル及び実行を行うことによって、受信したプログラムコードについての評価を行う。その後、評価装置３は、例えば、受信したプログラムコードについての評価結果を、受信したプログラムコードを送信したユーザ端末５に対して送信する。プログラムコードについての評価結果は、例えば、プログラムコードの正誤情報やプログラムコードの実行に伴うリソースの使用量（例えば、ＣＰＵ使用量やメモリ使用量等）についての情報である。

【0019】

通知装置２は、例えば、キュー４に格納された各プログラムコードについての評価が完了するまでに要する残り時間（以下、待ち時間とも呼ぶ）を含む情報を、各プログラムコードを作成したユーザに通知する。具体的に、通知装置２は、例えば、キュー４に格納された各プログラムコードについての評価の待ち時間を含む情報を振分装置１からそれぞれ取得する。そして、通知装置２は、例えば、振分装置１から取得した情報のそれぞれを、各プログラムコードを送信したユーザ端末５に対してそれぞれ送信する。また、通知装置２は、例えば、評価装置３によって評価が行われた各プログラムコードについての評価結果を、各プログラムコードを送信したユーザ端末５に対して送信する。

【0020】

［振分装置１のハードウエア構成］
次に、第１の実施の形態における振分装置１のハードウエア構成例について説明を行う。図３は、第１の実施の形態における振分装置１のハードウエア構成例を示す図である。

【0021】

振分装置１は、コンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバ装置である。そして、振分装置１は、例えば、ユーザ端末５から送信されたプログラムコードを評価装置３に振り分ける処理（以下、コード振分処理とも呼ぶ）を含む各種の処理を行う。

【0022】

振分装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図３に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信インタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0023】

記憶媒体１０４は、例えば、コード振分処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0024】

また、記憶媒体１０４は、例えば、コード振分処理を行う際に用いられる情報を記憶する記憶部１１０（以下、記憶領域１１０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0025】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラムを実行してコード振分処理を行う。

【0026】

通信インタフェース１０３は、例えば、評価装置３と通信を行う。また、通信インタフェース１０３は、例えば、インターネット網等のネットワークＮＷを介してユーザ端末５と通信を行う。

【0027】

［通知装置２のハードウエア構成］
次に、第１の実施の形態における通知装置２のハードウエア構成例について説明を行う。図４は、第１の実施の形態における通知装置２のハードウエア構成例を示す図である。

【0028】

通知装置２は、コンピュータ装置であって、例えば、汎用的なＰＣやサーバ装置である。そして、通知装置２は、例えば、キュー４に格納された各プログラムコードについての評価の進捗状況を示す情報を通知する処理（以下、情報通知処理とも呼ぶ）を含む各種の処理を行う。

【0029】

通知装置２は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図４に示すように、プロセッサであるＣＰＵ２０１と、メモリ２０２と、通信インタフェース２０３と、記憶媒体２０４とを有する。各部は、バス２０５を介して互いに接続される。

【0030】

記憶媒体２０４は、例えば、情報通知処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0031】

また、記憶媒体２０４は、例えば、情報通知処理を行う際に用いられる情報を記憶する記憶部２１０（以下、記憶領域２１０とも呼ぶ）を有する。なお、記憶媒体２０４は、例えば、ＨＤＤやＳＳＤであってよい。

【0032】

ＣＰＵ２０１は、記憶媒体２０４からメモリ２０２にロードされたプログラムを実行して情報通知処理を行う。

【0033】

通信インタフェース２０３は、例えば、評価装置３と通信を行う。また、通信インタフェース２０３は、例えば、インターネット網等のネットワークＮＷを介してユーザ端末５と通信を行う。

【0034】

［評価装置３のハードウエア構成］
次に、第１の実施の形態における評価装置３のハードウエア構成例について説明を行う。図５は、第１の実施の形態における評価装置３のハードウエア構成例を示す図である。

【0035】

評価装置３は、コンピュータ装置であって、例えば、汎用的なＰＣやサーバ装置である。そして、評価装置３は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図５に示すように、プロセッサであるＣＰＵ３０１と、メモリ３０２と、通信インタフェース３０３と、記憶媒体３０４とを有する。各部は、バス３０５を介して互いに接続される。

【0036】

記憶媒体３０４は、例えば、各種の処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0037】

また、記憶媒体３０４は、例えば、各種の処理を行う際に用いられる情報を記憶する記憶部３１０（以下、記憶領域３１０とも呼ぶ）を有する。なお、記憶媒体３０４は、例えば、ＨＤＤやＳＳＤであってよい。

【0038】

ＣＰＵ３０１は、記憶媒体３０４からメモリ３０２にロードされたプログラムを実行して各種の処理を行う。

【0039】

通信インタフェース３０３は、例えば、振分装置１及び通知装置２と通信を行う。

【0040】

［第１の実施の形態の概略］
図６は、第１の実施の形態におけるコード振分処理の概略を説明する図である。また、図７は、第１の実施の形態における情報通知処理の概略を説明する図である。

【0041】

初めに、第１の実施の形態におけるコード振分処理の概略について説明を行う。

【0042】

振分装置１のコード受付部１１１は、図６に示すように、例えば、ユーザ端末５から送信されたプログラムコードを受け付ける。

【0043】

振分装置１の時間算出部１１２（以下、結果算出部１１２とも呼ぶ）は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成したプログラムコード（以下、第１のプログラムコードとも呼ぶ）についての評価装置３による評価結果（以下、第１の評価結果とも呼ぶ）を算出する。

【0044】

具体的に、時間算出部１１２は、例えば、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する第１のプログラムコードの評価（実行）に要した時間（以下、第１の時間とも呼ぶ）を第１の評価結果として算出する。

【0045】

また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成されたプログラムコード（以下、第２のプログラムコードとも呼ぶ）についての評価装置３による評価結果（以下、第２の評価結果とも呼ぶ）を算出する。

【0046】

具体的に、時間算出部１１２は、例えば、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する第２のプログラムコードの評価（実行）に要した時間（以下、第２の時間とも呼ぶ）を第２の評価結果として算出する。

【0047】

そして、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する第１の時間と第２の時間とのうちの長い方を各プログラムコードの評価（実行）に要する予測時間（以下、単に予測時間とも呼ぶ）として算出する。

【0048】

さらに、時間算出部１１２は、例えば、キュー４ごとに、各キュー４に格納されているプログラムコードに対応する予測時間の合計時間（以下、第１予測待ち時間とも呼ぶ）を算出する。すなわち、時間算出部１１２は、例えば、コード受付部１１１が受け付けたプログラムコードを各キュー４に格納した場合における待ち時間の予測時間を第１予測待ち時間として算出する。

【0049】

また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する予測時間と各コードの前に格納されている１以上のプログラムコードのそれぞれに対応する予測時間との合計時間（以下、第２予測待ち時間とも呼ぶ）を算出する。すなわち、時間算出部１１２は、各キュー４に現在格納されている各プログラムコードについての待ち時間の予測時間を第２予測待ち時間として算出する。

【0050】

また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードが格納されているキュー４における格納順（到着順）を特定する。

【0051】

振分装置１のキュー特定部１１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとの第１の評価結果と第２の評価結果とに基づいて、コード受付部１１１が受信した新たなプログラムコードを格納するキュー４（以下、第１のキュー４とも呼ぶ）を特定する。

【0052】

具体的に、キュー特定部１１３は、例えば、時間算出部１１２が算出した第１予測待ち時間が最も短いキュー４を、コード受付部１１１が受信したプログラムコードを格納するキュー４（第１のキュー４）として特定する。

【0053】

振分装置１のコード格納部１１４は、例えば、キュー特定部１１３が特定したキュー４に対して、コード受付部１１１が受信した新たなプログラムコード（以下、特定のプログラムコードとも呼ぶ）を格納する。

【0054】

次に、第１の実施の形態における情報通知処理の概略について説明を行う。

【0055】

通知装置２の情報取得部２１１は、図７に示すように、例えば、評価中のプログラムコードについての評価の進捗状況を含む情報（以下、評価進捗情報とも呼ぶ）を評価装置３のそれぞれから取得する。評価進捗情報は、例えば、各プログラムコードについての評価が複数のテストデータを用いて行われる場合において、各テストデータを用いた評価が完了するごとに評価装置３から送信される情報である。

【0056】

また、情報取得部２１１は、例えば、振分装置１（時間算出部１１２）において算出された第２予測待ち時間を取得する。具体的に、情報取得部２１１は、例えば、振分装置１から通知された第２予測待ち時間を受信する。

【0057】

通知装置２の情報生成部２１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、情報取得部２１１が取得した第２予測待ち時間を含む情報（以下、予測待ち時間情報とも呼ぶ）を生成する。

【0058】

通知装置２の情報通知部２１３は、例えば、評価装置３のそれぞれにおいて評価中のプログラムコードごとに、各プログラムコードについて情報取得部２１１が取得した評価進捗情報を、各プログラムコードを生成したユーザに対応する通知先に通知する。

【0059】

また、情報通知部２１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードについて情報生成部２１２が生成した予測待ち時間情報を、各プログラムコードを生成したユーザに対応する通知先に通知する。

【0060】

すなわち、本実施の形態における振分装置１は、各問題について作成されたプログラムコードのユーザごとの評価結果と、各問題について作成されたプログラムコードのプログラミング言語ごとの評価結果とを用いることによって、キュー４に格納されている各プログラムコードの評価についての待ち時間を予測する。

【0061】

これにより、本実施の形態における振分装置１は、キュー４に格納されている各プログラムコードについての評価の待ち時間を精度良く予測することが可能になる。そのため、振分装置１は、例えば、新たなプログラムコードを受け付けた場合、受け付けた新たなプログラムコードを、予測された待ち時間が最も短いキュー４に対して格納することが可能になる。したがって、振分装置１は、キュー４に格納されている各プログラムコードについての評価の待ち時間を短縮することが可能になる。

【0062】

特に、本実施の形態における情報処理システム１０では、評価装置３ごとにキュー４が設けられているため、キュー４のそれぞれには、各キュー４に対応する評価装置３が評価を行うプログラムコードのみが格納される。したがって、本実施の形態における情報処理システム１０において、各プログラムコードについての評価を行う評価装置３は、各プログラムコードをキュー４に格納した時点で決定されるものと考えることが可能である。また、各プログラムコードについての評価の待ち時間に影響を与えるプログラムコードは、各プログラムコードと同一のキュー４に格納された他のプログラムコードのみであると判断することが可能である。

【0063】

そのため、本実施の形態における振分装置１は、例えば、キュー４のうちの特定のキュー４に格納されている特定のプログラムコードに対応する待ち時間を予測する場合、特定のキュー４に格納されている各プログラムコードの評価に要する予測時間のみを用いることによって、特定のプログラムコードに対応する待ち時間を精度良く予測することが可能になる。したがって、本実施の形態における振分装置１は、例えば、各プログラムコードが１つのキューに格納されている場合と比較して、各プログラムコードに対応する待ち時間を予測するための処理負荷や、待ち時間の予測結果の変化を通知装置２に通知するための処理負荷を抑制することが可能になる。

【0064】

また、本実施の形態における通知装置２は、例えば、各キュー４に現在格納されている各プログラムコードに対応する評価進捗情報や予測待ち時間情報を、各プログラムコードを作成したユーザに対して随時送信する。

【0065】

これにより、本実施の形態における通知装置２は、例えば、各プログラムコードについての評価が終了したか否かを確認するための問合せ等の発生頻度を抑制することが可能になる。そのため、本実施の形態における通知装置２は、各ユーザによる利便性を高めるとともに、各ユーザからの問合せに伴う振分装置１の処理負荷を軽減させることが可能になる。

【0066】

［第１の実施の形態の詳細］
次に、第１の実施の形態におけるコード振分処理の詳細について説明を行う。図８は、第１の実施の形態におけるコード振分処理の詳細を説明するフローチャート図である。また、図９から図１１は、第１の実施の形態における情報通知処理の詳細を説明するフローチャート図である。さらに、図１２は、第１の実施の形態における情報通知処理の詳細を説明する図である。

【0067】

［コード振分処理］
初めに、第１の実施の形態におけるコード振分処理について説明を行う。

【0068】

コード受付部１１１は、図８に示すように、例えば、ユーザ端末５から送信された新たなプログラムコードを受け付けるまで待機する（Ｓ１１のＮＯ）。

【0069】

そして、新たなプログラムコードを受け付けた場合（Ｓ１１のＹＥＳ）、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成したプログラムコード（第１のプログラムコード）の評価に要した時間（第１の時間）を算出する（Ｓ１２）。また、時間算出部１１２は、この場合、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成されたプログラムコード（第２のプログラムコード）の評価に要した時間（第２の時間）を算出する（Ｓ１２）。

【0070】

具体的に、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、第１のプログラムコードの実行に要した時間の最大値または平均値を第１の時間として算出するものであってよい。また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、第２のプログラムコードの実行に要した時間の最大値または平均値を第２の時間として算出するものであってもよい。

【0071】

また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、ユーザによって直前に作成された第１のプログラムコードの実行に要した時間を第１の時間として算出するものであってよい。また、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、ユーザによって直前に作成された第２のプログラムコードの実行に要した時間を第２の時間として算出するものであってもよい。

【0072】

さらに具体的に、時間算出部１１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、第１のプログラムコードの実行に要した時間の最大値を第１の時間として算出し、第２のプログラムコードの実行に要した時間の平均値を第２の時間として算出するものであってもよい。

【0073】

続いて、時間算出部１１２は、例えば、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する第１の時間と第２の時間とのうちの長い方を各プログラムコードの評価に要する予測時間として算出する（Ｓ１３）。

【0074】

これにより、振分装置１は、キュー４に格納されている各プログラムコードに対応する予測時間が過少評価されることの防止が可能になる。そのため、振分装置１は、後述するように、キュー４に格納されている各プログラムコードに対応する待ち時間が過少評価されることの防止が可能になる。

【0075】

さらに、時間算出部１１２は、例えば、キュー４ごとに、各キュー４に格納されているプログラムコードに対応する予測時間の合計時間（第１予測待ち時間）を算出する（Ｓ１４）。

【0076】

すなわち、時間算出部１１２は、例えば、Ｓ１１の処理で受け付けた新たなプログラムコードを各キュー４に格納した場合における第１予測待ち時間をそれぞれ算出する。

【0077】

なお、時間算出部１１２は、Ｓ１４の処理において、例えば、キュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する予測時間と各コードの前に格納されている１以上のプログラムコードのそれぞれに対応する予測時間との合計時間（第２予測待ち時間）を併せて算出する。

【0078】

その後、キュー特定部１１３は、キュー４のうち、Ｓ１４の処理で算出した第１予測待ち時間が最も短いキュー４を、コード受付部１１１が受信したプログラムコードを格納するキュー４（第１のキュー４）として特定する（Ｓ１５）。

【0079】

そして、コード格納部１１４は、例えば、Ｓ１５の処理で特定したキュー４に対して、コード受付部１１１が受信したプログラムコードを格納する（Ｓ１６）。

【0080】

これにより、振分装置１は、Ｓ１１の処理で受け付けた新たなプログラムコードを、第１予測待ち時間が最も短いキュー４に格納することが可能になる。

【0081】

なお、時間算出部１１２は、例えば、キュー４に格納されているプログラムコードが取り出されるごとに（キュー４に格納されているプログラムコードの評価が評価装置３において終了するごとに）、Ｓ１４の処理を行うものであってもよい。

【0082】

具体的に、時間算出部１１２は、この場合、例えば、前回のＳ１４の処理において算出された第１予測待ち時間のうち、プログラムコードが取出されたキュー４に対応する第１予測待ち時間を特定する。そして、時間算出部１１２は、例えば、特定した第１予測待ち時間から、キュー４から取り出されたプログラムコードに対応する予測時間を減算することによって、プログラムコードが取出されたキュー４に対応する第１予測待ち時間を再算出（更新）する。同様に、時間算出部１１２は、この場合、前回のＳ１４の処理において算出された第２予測待ち時間のうち、プログラムコードが取出されたキュー４に格納されている各プログラムコードに対応する第２予測待ち時間のそれぞれを特定する。そして、時間算出部１１２は、例えば、特定した第２予測待ち時間のそれぞれから、キュー４から取り出されたプログラムコードに対応する予測時間をそれぞれ減算することによって、プログラムコードが取出されたキュー４に格納されている各プログラムコードに対応する第２予測待ち時間を再算出（更新）する。

【0083】

また、時間算出部１１２は、例えば、Ｓ１６の処理が行われた後、新たなプログラムコードについてのＳ１２からＳ１４の処理を行うものであってもよい。

【0084】

具体的に、時間算出部１１２は、この場合、例えば、Ｓ１６の処理が行われた後、新たなプログラムコードについてのＳ１２及びＳ１３の処理を行うことによって、新たなプログラムコードに対応する予測時間を算出する。そして、時間算出部１１２は、例えば、前回のＳ１４の処理において算出された第１予測待ち時間のうち、新たなプログラムコードの格納が行われたキュー４に対応する第１予測待ち時間を特定する。その後、時間算出部１１２は、例えば、特定した第１予測待ち時間に対して、新たなプログラムコードについて算出した予測時間を加算することによって、新たなプログラムコードの格納が行われたキュー４に対応する第１予測待ち時間を算出する。

【0085】

さらに、時間算出部１１２は、例えば、コード受付部１１１が新たなプログラムコードを受け付けた場合、Ｓ１２からＳ１４の処理を行わずに、前回のＳ１４の処理において算出された第１予測待ち時間を用いてＳ１５以降の処理を行うものであってもよい。

【0086】

これにより、振分装置１は、例えば、コード振分処理の実行に要する時間を短縮させることが可能になる。

【0087】

［情報通知処理］
次に、第１の実施の形態における情報通知処理について説明を行う。

【0088】

情報生成部２１２は、図９に示すように、例えば、第１通知タイミングになるまで待機する（Ｓ２１のＮＯ）。第１通知タイミングは、例えば、振分装置１のコード受付部１１１が新たなプログラムを受け付けたタイミングであってよい。また、第１通知タイミングは、例えば、振分装置１のコード受付部１１１が新たなプログラムを受け付けたタイミングから所定時間が経過するごとのタイミングであってよい。また、第１通知タイミングは、例えば、キュー４からプログラムコードが取出されたタイミング（すなわち、プログラムコードの評価が評価装置３において終了したタイミング）であってよい。さらに、第１通知タイミングは、例えば、振分装置１のコード受付部１１１が受け付けた新たなプログラムコードがキュー４に格納されたタイミングであってよい。

【0089】

そして、第１通知タイミングになった場合（Ｓ２１のＹＥＳ）、情報生成部２１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、振分装置１において特定された格納順を含む情報（以下、格納順情報とも呼ぶ）を生成する（Ｓ２２）。

【0090】

具体的に、情報取得部２１１は、例えば、キュー４のいずれかに格納されている各プログラムコードについての格納順を振分装置１からそれぞれ受信する。そして、情報生成部２１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、振分装置１から受信した格納順を含む格納順情報を生成する。

【0091】

その後、情報通知部２１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、Ｓ２２の処理で生成した格納順情報を通知先に通知する（Ｓ２３）。

【0092】

具体的に、情報通知部２１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、Ｓ２２の処理で生成した格納順情報を、各プログラムコードを作成したユーザに対応する通知先（例えば、ユーザ端末５）に送信する。

【0093】

また、情報生成部２１２は、図１０に示すように、例えば、第２通知タイミングになるまで待機する（Ｓ３１のＮＯ）。第２通知タイミングは、例えば、第１通知タイミングと同様に、振分装置１のコード受付部１１１が新たなプログラムを受け付けたタイミングであってよい。また、第２通知タイミングは、例えば、第１通知タイミングと同様に、振分装置１のコード受付部１１１が新たなプログラムを受け付けたタイミングから所定時間が経過するごとのタイミングであってよい。また、第２通知タイミングは、例えば、第１通知タイミングと同様に、キュー４からプログラムコードが取出されたタイミング（すなわち、プログラムコードの評価が評価装置３において終了したタイミング）であってよい。さらに、第２通知タイミングは、例えば、第１通知タイミングと同様に、振分装置１のコード受付部１１１が受け付けた新たなプログラムコードがキュー４に格納されたタイミングであってよい。

【0094】

そして、第２通知タイミングになった場合（Ｓ３１のＹＥＳ）、情報生成部２１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、振分装置１において算出された第２予測待ち時間を含む待ち時間情報を生成する（Ｓ３２）。

【0095】

具体的に、情報取得部２１１は、例えば、キュー４のいずれかに格納されている各プログラムコードについての第２予測待ち時間を振分装置１からそれぞれ受信する。そして、情報生成部２１２は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、振分装置１から受信した第２予測待ち時間を含む予測待ち時間情報を生成する。

【0096】

そして、情報通知部２１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、Ｓ３２の処理で生成した予測待ち時間情報を通知先に通知する（Ｓ３３）。

【0097】

具体的に、情報通知部２１３は、例えば、キュー４のいずれかに格納されているプログラムコードごとに、Ｓ３２の処理で生成した予測待ち時間情報を、各プログラムコードを作成したユーザに対応する通知先（例えば、ユーザ端末５）に送信する。

【0098】

また、情報生成部２１２は、例えば、評価中のプログラムコードについての評価進捗情報を評価装置３から受信するまで待機する（Ｓ４１のＮＯ）。

【0099】

そして、評価進捗情報を評価装置３から受信した場合（Ｓ４１のＹＥＳ）、情報生成部２１２は、例えば、受信した評価進捗情報を含む情報を生成する（Ｓ４２）。

【0100】

その後、情報通知部２１３は、例えば、Ｓ４２の処理で生成した情報を通知先に通知する（Ｓ４３）。

【0101】

具体的に、情報通知部２１３は、例えば、Ｓ４２の処理で生成した情報を、受信した評価進捗情報に対応するプログラムコードを作成したユーザに対応する通知先（例えば、ユーザ端末５）に送信する。

【0102】

なお、例えば、評価装置３のいずれかがキュー４に格納されているプログラムコードを取得した場合、または、キュー４に格納されているプログラムコードの評価を開始したことを示す情報が評価装置３のいずれかから送信された場合、情報生成部２１２は、そのプログラムコードの評価が開始したことを示す情報（以下、評価開始情報とも呼ぶ）を生成するものであってもよい。そして、情報通知部２１３は、例えば、生成した評価開始情報を通知先に送信するものであってもよい。

【0103】

また、例えば、プログラムコードの評価結果を評価装置３のいずれかから受信した場合、情報生成部２１２は、そのプログラムコードの評価結果を含む情報（以下、評価終了情報とも呼ぶ）を生成するものであってもよい。そして、情報通知部２１３は、例えば、生成した評価終了情報を通知先に送信するものであってもよい。

【0104】

また、通知装置２は、例えば、キュー４のいずれかに格納されているプログラムコードのうちの一部のプログラムコードについてのみを対象として情報通知処理を行うものであってもよい。

【0105】

さらに、通知装置２（情報通知部２１３）は、Ｓ２２の処理で生成した格納順情報と、Ｓ３２の処理で生成した待ち時間情報とを、ユーザが視覚的に可能な状態の情報に加工してから送信するものであってもよい。すなわち、通知装置２は、キュー４における各プログラムコードの格納状況を示す情報を送信するものであってもよい。以下、加工後の格納順情報及び待ち時間情報の具体例について説明を行う。

【0106】

［加工後の格納順情報及び待ち時間情報］
図１２は、加工後の格納順情報及び待ち時間情報をユーザ端末５等の画面ＳＣに表示した場合の具体例を説明する図である。

【0107】

図１２に示す画面ＳＣには、プログラムコードを到着順に格納するキュー４ａが模式的に表示されている。具体的に、図１２に示す例は、ユーザによって送信された８つのプログラムコードがキュー４ａに格納されている状態を示している。すなわち、図１２に示す例では、８つのプログラムコードのそれぞれがキュー４ａにおける格納領域４ａ１、４ａ２、４ａ３、４ａ４、４ａ５、４ａ６、４ａ７及び４ａ８のそれぞれに格納されている。

【0108】

そして、図１２に示す例では、キュー４ａに格納されている８つのプログラムコードのうちの網掛けの格納領域４ａ４に格納されているプログラムコードが、情報の通知先のユーザに対応するプログラムコードであることを示している。さらに、図１２に示す例では、網掛けの格納領域４ａ４に格納されているプログラムコードのキュー４ａにおける格納順が「４番目」であり、評価結果のフィードバックがあるまでに要する時間（第２予測待ち時間）が「１５秒」であることを示す付加情報ＩＦ４が表示されている。

【0109】

また、図１２に示す例では、格納領域４ａ１、４ａ２、４ａ３、４ａ５、４ａ６、４ａ７及び４ａ８のそれぞれに対応する情報として、付加情報ＩＦ１、ＩＦ２、ＩＦ３、ＩＦ５、ＩＦ６、ＩＦ７及びＩＦ８が表示されている。すなわち、図１２に示す画面ＳＣには、情報の通知先のユーザ以外のユーザに対応するプログラムコードについての情報についても併せて表示されている。

【0110】

なお、図１２に示す例では、１つのキュー４であるキュー４ａに格納されているプログラムコードの待ち時間情報等を表示する場合について説明を行ったが、複数のキュー４のそれぞれ（例えば、キュー４ａ、４ｂ及び４ｃのそれぞれ）に格納されているプログラムコードの待ち時間情報等をキュー４ごとに並べて表示するものであってもよいし、複数のキュー４のそれぞれに格納されているプログラムコードの待ち時間情報等を１つのキュー４（例えば、キュー４ａ）にマージさせた状態で表示するものであってもよい。

【0111】

このように、本実施の形態における振分装置１は、新たなプログラムコードを受け付けた場合、複数のキュー４のいずれかに格納されているプログラムコードごとに、各プログラムコードに対応する問題について各プログラムコードを作成したユーザが過去に作成した第１のプログラムコードについての複数の評価装置３による第１の評価結果と、各プログラムコードに対応する問題について各プログラムコードに対応するプログラミング言語を用いて過去に作成された第２のプログラムコードについての複数の評価装置３による第２の評価結果とを算出する。そして、振分装置１は、複数のキュー４のいずれかに格納されているプログラムコードごとの第１の評価結果と第２評価とに基づいて、新たなプログラムコードを格納する第１のキュー４を複数のキュー４から特定する。その後、振分装置１は、特定した第１のキュー４に対して新たなプログラムコードを格納する。

【0112】

また、本実施の形態における通知装置２は、特定した第１のキュー４に格納された新たなプログラムコードに関する情報を、新たなプログラムコードを生成したユーザに対応する通知先に通知する。

【0113】

これにより、本実施の形態における振分装置１は、キュー４に格納されている各プログラムコードについての評価の予測時間を精度良く予測することが可能になる。そのため、振分装置１は、新たなプログラムコードを受け付けた場合、受け付けたプログラムコードを待ち時間が最も短いキュー４に対して格納することが可能になり、各プログラムコードについての評価に要する時間（待ち時間）を短縮することが可能になる。

【0114】

また、本実施の形態における通知装置２は、例えば、各プログラムコードについての評価が終了したか否かを確認するための問合せ等の発生頻度を抑制することが可能になる。そのため、本実施の形態における通知装置２は、各ユーザによる利便性を高めるとともに、各ユーザからの問合せに伴う振分装置１の処理負荷を軽減させることが可能になる。

【符号の説明】

【0115】

１：振分装置
２：通知装置
３：評価装置
４：キュー
５：ユーザ端末
１０：情報処理システム
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス
１１１：コード受付部
１１２：時間算出部
１１３：キュー特定部
１１４：コード格納部
２０１：ＣＰＵ
２０２：メモリ
２０３：通信インタフェース
２０４：記憶媒体
２０５：バス
２１１：情報取得部
２１２：時間算出部
２１３：情報生成部
２１４：情報通知部
３０１：ＣＰＵ
３０２：メモリ
３０３：通信インタフェース
３０４：記憶媒体
３０５：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】