ホーム > 特許ランキング > 株式会社アナリティックウェア
特開2023-169844モデル評価装置、ユーザ端末、モデル評価方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023169844
(43)【公開日】2023-11-30
(54)【発明の名称】モデル評価装置、ユーザ端末、モデル評価方法、およびプログラム
(51)【国際特許分類】
G06F 9/44 20180101AFI20231122BHJP
G06N 20/00 20190101ALI20231122BHJP
【ＦＩ】
G06F9/44
G06N20/00 130
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022111223
(22)【出願日】2022-07-11
(31)【優先権主張番号】P 2022080608
(32)【優先日】2022-05-17
(33)【優先権主張国・地域又は機関】JP
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＥＮＳＯＲＦＬＯＷ
(71)【出願人】
【識別番号】516166052
【氏名又は名称】株式会社アナリティックウェア
(74)【代理人】
【識別番号】100115749
【弁理士】
【氏名又は名称】谷川 英和
(72)【発明者】
【氏名】百瀬 公朗
【テーマコード（参考）】
5B376
【Ｆターム（参考）】
5B376BC61
(57)【要約】 （修正有）
【課題】２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームを提供する。
【解決手段】複数のユーザ端末とモデル評価装置とを有するモデル評価システムにおいて、モデル評価装置５は、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部５１と、学習モデルと評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部５２１と、２以上の各ユーザ端末において、評価プログラムが学習モデルを使用した結果に関する結果情報を、２以上の各ユーザ端末から受信する結果受信部５３１と、結果受信部５３１が受信した２以上の結果情報を蓄積する蓄積部５４１と、を具備する。
【選択図】図１９
【解決手段】複数のユーザ端末とモデル評価装置とを有するモデル評価システムにおいて、モデル評価装置５は、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部５１と、学習モデルと評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部５２１と、２以上の各ユーザ端末において、評価プログラムが学習モデルを使用した結果に関する結果情報を、２以上の各ユーザ端末から受信する結果受信部５３１と、結果受信部５３１が受信した２以上の結果情報を蓄積する蓄積部５４１と、を具備する。
【選択図】図１９
【特許請求の範囲】
【請求項1】
学習モデルと当該学習モデルの評価のためのプログラムであり、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部と、
前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、
前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信部と、
前記結果受信部が受信した２以上の結果情報を蓄積する蓄積部とを具備するモデル評価装置。
前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、
前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信部と、
前記結果受信部が受信した２以上の結果情報を蓄積する蓄積部とを具備するモデル評価装置。
【請求項2】
前記結果受信部は、
前記結果情報に加えて、前記予測処理の対象である対象データを受信し、
前記蓄積部は、
前記結果情報と前記対象データとを対応付けて蓄積する請求項１記載のモデル評価装置。
前記結果情報に加えて、前記予測処理の対象である対象データを受信し、
前記蓄積部は、
前記結果情報と前記対象データとを対応付けて蓄積する請求項１記載のモデル評価装置。
【請求項3】
前記結果受信部は、
前記結果情報に加えて、前記対象データと正しいデータである正解データとを受信し、
前記蓄積部は、
前記結果情報と前記対象データと前記正解データとを対応付けて蓄積する請求項２記載のモデル評価装置。
前記結果情報に加えて、前記対象データと正しいデータである正解データとを受信し、
前記蓄積部は、
前記結果情報と前記対象データと前記正解データとを対応付けて蓄積する請求項２記載のモデル評価装置。
【請求項4】
前記蓄積部が蓄積した２以上の結果情報に応じて、前記学習モデルに関して、異なる処理を行うモデル処理部をさらに具備する請求項１から請求項３いずれか一項に記載のモデル評価装置。
【請求項5】
前記モデル処理部は、
前記２以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、前記評価停止条件に合致する場合は、前記学習モデルと前記評価プログラムの送信を停止するための送信停止処理を行う請求項４記載のモデル評価装置。
前記２以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、前記評価停止条件に合致する場合は、前記学習モデルと前記評価プログラムの送信を停止するための送信停止処理を行う請求項４記載のモデル評価装置。
【請求項6】
前記モデル処理部は、
前記１以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、前記評価停止条件に合致しない場合は、前記モデル送信部に、前記モデル送信処理をさらに行うように指示する請求項４記載のモデル評価装置。
前記１以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、前記評価停止条件に合致しない場合は、前記モデル送信部に、前記モデル送信処理をさらに行うように指示する請求項４記載のモデル評価装置。
【請求項7】
前記結果受信部は、
ユーザ識別子に対応付けて、前記結果情報を受信し、
前記結果情報の受信に対して、前記ユーザ識別子で識別されるユーザに対する報償処理を行う報償部をさらに具備する請求項１から請求項６いずれか一項に記載のモデル評価装置。
ユーザ識別子に対応付けて、前記結果情報を受信し、
前記結果情報の受信に対して、前記ユーザ識別子で識別されるユーザに対する報償処理を行う報償部をさらに具備する請求項１から請求項６いずれか一項に記載のモデル評価装置。
【請求項8】
前記結果受信部は、
前記結果情報に加えて、前記予測処理の対象である対象データをも受信し得、
前記報償部は、
前記対象データの受信に対しても、前記ユーザ識別子で識別されるユーザに対する報償処理を行う請求項７記載のモデル評価装置。
前記結果情報に加えて、前記予測処理の対象である対象データをも受信し得、
前記報償部は、
前記対象データの受信に対しても、前記ユーザ識別子で識別されるユーザに対する報償処理を行う請求項７記載のモデル評価装置。
【請求項9】
前記２以上の各ユーザ端末から受信した前記対象データと前記正解データとを有する教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する学習部をさらに具備する請求項３記載のモデル評価装置。
【請求項10】
請求項１から請求項９いずれか一項に記載のモデル評価装置から前記学習モデルと前記評価プログラムとを受信する端末受信部と、
前記学習モデルを使用する前記評価プログラムを実行し、予測結果を取得する端末実行部と、
前記端末実行部が取得した前記予測結果に対する評価である結果情報を受け付ける端末受付部と、
前記結果情報を前記モデル評価装置に送信する端末送信部とを具備するユーザ端末。
前記学習モデルを使用する前記評価プログラムを実行し、予測結果を取得する端末実行部と、
前記端末実行部が取得した前記予測結果に対する評価である結果情報を受け付ける端末受付部と、
前記結果情報を前記モデル評価装置に送信する端末送信部とを具備するユーザ端末。
【請求項11】
前記評価プログラムに与える対象データを取得する端末取得部をさらに具備し、
前記端末実行部は、
前記評価プログラムが有する情報取得プログラムを実行し、対象データを取得するデータ取得手段と、
前記学習モデルと前記対象データとを使用して、前記評価プログラムが有する予測プログラムを実行し、前記予測結果を取得し、出力する予測手段とを具備し、
前記端末送信部は、
前記対象データと前記結果情報とを前記モデル評価装置に送信する請求項１０記載のユーザ端末。
前記端末実行部は、
前記評価プログラムが有する情報取得プログラムを実行し、対象データを取得するデータ取得手段と、
前記学習モデルと前記対象データとを使用して、前記評価プログラムが有する予測プログラムを実行し、前記予測結果を取得し、出力する予測手段とを具備し、
前記端末送信部は、
前記対象データと前記結果情報とを前記モデル評価装置に送信する請求項１０記載のユーザ端末。
【請求項12】
前記端末受付部は、
正解データをも受け付け、
前記端末送信部は、
前記対象データと前記結果情報と前記正解データとを前記モデル評価装置に送信する請求項１１記載のユーザ端末。
正解データをも受け付け、
前記端末送信部は、
前記対象データと前記結果情報と前記正解データとを前記モデル評価装置に送信する請求項１１記載のユーザ端末。
【請求項13】
学習モデルと当該学習モデルの評価のためのプログラムであり、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部と、モデル送信部と、結果受信部と、蓄積部とにより実現されるモデル評価方法であって、
前記モデル送信部が、前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信ステップと、
前記結果受信部が、前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信ステップと、
前記蓄積部が、前記結果受信部が受信した２以上の結果情報を蓄積する蓄積ステップとを具備するモデル評価方法。
前記モデル送信部が、前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信ステップと、
前記結果受信部が、前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信ステップと、
前記蓄積部が、前記結果受信部が受信した２以上の結果情報を蓄積する蓄積ステップとを具備するモデル評価方法。
【請求項14】
学習モデルと当該学習モデルの評価のためのプログラムであり、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部にアクセス可能なコンピュータを、
前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、
前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信部と、
前記結果受信部が受信した２以上の結果情報を蓄積する蓄積部として機能させるためのプログラム。
前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、
前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信部と、
前記結果受信部が受信した２以上の結果情報を蓄積する蓄積部として機能させるためのプログラム。
【請求項15】
コンピュータを、
請求項１から請求項９いずれか一項に記載のモデル評価装置から前記学習モデルと前記評価プログラムとを受信する端末受信部と、
前記学習モデルを使用する前記評価プログラムを実行し、予測結果を取得する端末実行部と、
前記端末実行部が取得した前記予測結果に対する評価である結果情報を受け付ける端末受付部と、
前記結果情報を前記モデル評価装置に送信する端末送信部として機能させるためのプログラム。
請求項１から請求項９いずれか一項に記載のモデル評価装置から前記学習モデルと前記評価プログラムとを受信する端末受信部と、
前記学習モデルを使用する前記評価プログラムを実行し、予測結果を取得する端末実行部と、
前記端末実行部が取得した前記予測結果に対する評価である結果情報を受け付ける端末受付部と、
前記結果情報を前記モデル評価装置に送信する端末送信部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、２以上のユーザに学習モデルを評価してもらうことを支援するモデル評価装置等に関するものである。
【背景技術】
【0002】
従来、画像に含まれるオブジェクトを予測したり、情報を分類したりする機械学習の技術があった（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】“TensorFlow”、［online］、［令和４年４月３０日検索］、インターネット［URL：https://www.tensorflow.org/?hl=ja］
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来、２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームが存在しなかった。
【0005】
また、従来技術においては、機械学習の学習モデルを構築するための教師データは、通常、大量に必要であり、その大量の教師データを作成したり、収集したりすることが容易ではなかった。
【課題を解決するための手段】
【0006】
本第一の発明のモデル評価装置は、学習モデルと学習モデルの評価のためのプログラムであり、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部と、学習モデルと評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、２以上の各ユーザ端末において、評価プログラムが学習モデルを使用した結果に関する結果情報を、２以上の各ユーザ端末から受信する結果受信部と、結果受信部が受信した２以上の結果情報を蓄積する蓄積部とを具備するモデル評価装置である。
【0007】
かかる構成により、２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームを提供できる。
【0008】
また、本第二の発明のモデル評価装置は、第一の発明に対して、結果受信部は、結果情報に加えて、予測処理の対象である対象データを受信し、蓄積部は、結果情報と対象データとを対応付けて蓄積するモデル評価装置である。
【0009】
かかる構成により、２以上の各ユーザが学習モデルの評価のために用いた対象データも収集できる。
【0010】
また、本第三の発明のモデル評価装置は、第二の発明に対して、結果受信部は、結果情報に加えて、対象データと正しいデータである正解データとを受信し、蓄積部は、結果情報と対象データと正解データとを対応付けて蓄積するモデル評価装置である。
【0011】
かかる構成により、精度の高い学習モデルを構築するための正解データも収集できる。
【0012】
また、本第四の発明のモデル評価装置は、第一から第三いずれか１つの発明に対して、蓄積部が蓄積した２以上の結果情報に応じて、学習モデルに関して、異なる処理を行うモデル処理部をさらに具備するモデル評価装置である。
【0013】
かかる構成により、２以上の評価結果に応じた異なる処理を行える。
【0014】
また、本第五の発明のモデル評価装置は、第四の発明に対して、モデル処理部は、２以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、評価停止条件に合致する場合は、学習モデルと評価プログラムの送信を停止するための送信停止処理を行うモデル評価装置である。
【0015】
かかる構成により、２以上の評価結果が良好である場合に、当該学習モデルの評価を停止できる。
【0016】
また、本第六の発明のモデル評価装置は、第四の発明に対して、モデル処理部は、１以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、評価停止条件に合致しない場合は、モデル送信部に、モデル送信処理をさらに行うように指示するモデル評価装置である。
【0017】
かかる構成により、２以上の評価結果が不良である場合に、当該学習モデルの評価をさらに行える。
【0018】
また、本第七の発明のモデル評価装置は、第一から第六いずれか１つの発明に対して、結果受信部は、ユーザ識別子に対応付けて、結果情報を受信し、結果情報の受信に対して、ユーザ識別子で識別されるユーザに対する報償処理を行う報償部をさらに具備するモデル評価装置である。
【0019】
かかる構成により、学習モデルを評価したユーザに対して、報償を与えることができる。
【0020】
また、本第八の発明のモデル評価装置は、第七の発明に対して、結果受信部は、結果情報に加えて、予測処理の対象である対象データをも受信し得、報償部は、対象データの受信に対しても、ユーザ識別子で識別されるユーザに対する報償処理を行うモデル評価装置である。
【0021】
かかる構成により、学習モデルを評価したユーザに対して、適切な報償を与えることができる。
【0022】
また、本第九の発明のモデル評価装置は、第三の発明に対して、２以上の各ユーザ端末から受信した対象データと正解データとを有する教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する学習部をさらに具備するモデル評価装置である。
【0023】
かかる構成により、受信された対象データと正解データとを有する教師データを用いて精度の高い学習モデルを取得できる。
【0024】
また、本第十の発明のユーザ端末は、モデル評価装置から学習モデルと評価プログラムとを受信する端末受信部と、学習モデルを使用する評価プログラムを実行し、予測結果を取得する端末実行部と、端末実行部が取得した予測結果に対する評価である結果情報を受け付ける端末受付部と、結果情報をモデル評価装置に送信する端末送信部とを具備するユーザ端末である。
【0025】
かかる構成により、機械学習の学習モデルの評価を行える端末を提供できる。
【0026】
また、本第十一の発明のユーザ端末は、第十の発明に対して、評価プログラムに与える対象データを取得する端末取得部をさらに具備し、端末実行部は、評価プログラムが有する情報取得プログラムを実行し、対象データを取得するデータ取得手段と、学習モデルと対象データとを使用して、評価プログラムが有する予測プログラムを実行し、予測結果を取得し、出力する予測手段とを具備し、端末送信部は、対象データと結果情報とをモデル評価装置に送信するユーザ端末である。
【0027】
かかる構成により、学習モデルの評価のために用いた対象データを収集するための端末を提供できる。
【0028】
また、本第十二の発明のユーザ端末は、第十一の発明に対して、端末受付部は、正解データをも受け付け、端末送信部は、対象データと結果情報と正解データとをモデル評価装置に送信するユーザ端末である。
【0029】
かかる構成により、学習モデルの評価のために用いた対象データと正解データとを収集するための端末を提供できる。
【0030】
本発明のデータ収集装置は、機械学習の学習処理により学習モデルを構築するための教師データを構成する元になる第一教師データ元情報が格納される元情報格納部と、第一教師データ元情報を２以上の各ユーザ端末に送信する元情報送信部と、元情報送信部が送信し、ユーザ端末で処理された第一教師データ元情報に対してユーザが入力した入力情報を含む第二教師データ元情報を、第一教師データ元情報に対応付く態様でユーザ端末から受信する元情報受信部と、第一教師データ元情報と元情報受信部が受信した第二教師データ元情報とを用いて、機械学習の学習処理のために使用する教師データを構成する教師データ構成部と、教師データ構成部が構成した教師データを蓄積する蓄積部とを具備するデータ収集装置である。
【0031】
かかる構成により、機械学習の学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0032】
また、本発明のデータ収集装置は、上記の発明に対して、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報を識別するラベルであり、ユーザが要素情報に対して入力したラベルであり、教師データは、要素情報とラベルとを含む、データ収集装置である。
【0033】
かかる構成により、要素情報から当該要素情報のラベルを予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0034】
また、本発明のデータ収集装置は、上記の発明に対して、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報を変換した情報である変換情報であり、ユーザが要素情報に対して入力した変換情報であり、教師データは、要素情報と変換情報とを含む、データ収集装置である。
【0035】
かかる構成により、要素情報から当該要素情報を変換した変換情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0036】
また、本発明のデータ収集装置は、上記の発明に対して、要素情報は、第一言語の用語または文であり、変換情報は、第二言語の用語または文である、データ収集装置である。
【0037】
かかる構成により、第一言語の要素情報から当該第二言語に翻訳した変換情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0038】
また、本発明のデータ収集装置は、上記の発明に対して、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報を説明する情報である説明情報であり、ユーザが要素情報に対して入力した説明情報であり、教師データは、要素情報と説明情報とを含む、データ収集装置である。
【0039】
かかる構成により、要素情報から当該要素情報を説明する説明情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0040】
また、本の発明のデータ収集装置は、上記の発明に対して、第一教師データ元情報は、ユーザが入力情報を入力することを支援するプログラムを含み、元情報受信部は、ユーザ端末でプログラムが実行された後に、ユーザが入力した入力情報を含む第二教師データ元情報を受信する、データ収集装置である。
【0041】
かかる構成により、入力情報を入力することを支援するプログラムもユーザに提供できる。
【0042】
また、本発明のデータ収集装置は、上記の発明に対して、プログラムは、要素情報のラベルを予測する機械学習の予測プログラムであり、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報に対して予測プログラムが実行され得られたラベルをユーザが修正したラベルを含み、教師データは、要素情報とラベルとを含む、データ収集装置である。
【0043】
かかる構成により、要素情報から当該要素情報のラベルを予測するための学習モデルを構築するための教師データを容易に収集するためのプラットフォームを提供できる。
【0044】
また、本発明のデータ収集装置は、上記の発明に対して、プログラムは、要素情報を変換する変換プログラムであり、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報に対して予測プログラムが実行され得られた変換情報をユーザが修正した変換情報を含み、教師データは、要素情報と変換情報とを含む、データ収集装置である。
【0045】
かかる構成により、要素情報から当該要素情報を変換した変換情報を予測するための学習モデルを構築するための教師データを容易に収集するためのプラットフォームを提供できる。
【0046】
また、本発明のデータ収集装置は、上記の発明に対して、変換プログラムは、機械翻訳プログラムであり、要素情報は、第一言語の用語または文であり、変換情報は、第二言語の用語または文である、データ収集装置である。
【0047】
かかる構成により、第一言語の要素情報から当該第二言語に翻訳した変換情報を予測するための学習モデルを構築するための教師データを容易に収集するためのプラットフォームを提供できる。
【0048】
また、本発明のデータ収集装置は、上記の発明に対して、プログラムは、要素情報の説明情報を予測する機械学習の予測プログラムであり、第一教師データ元情報は、教師データを構成する要素情報を含み、第二教師データ元情報は、要素情報に対して予測プログラムが実行され得られた説明情報をユーザが修正した説明情報を含み、教師データは、要素情報と説明情報とを含む、データ収集装置である。
【0049】
かかる構成により、要素情報から当該要素情報を説明する説明情報を予測するための学習モデルを構築するための教師データを容易に収集するためのプラットフォームを提供できる。
【0050】
また、本発明のデータ収集装置は、上記の発明に対して、プログラムは、教師データを構成する正例と負例とを取得することを支援するプログラムであり、第二教師データ元情報は、プログラムを用いて、ユーザ端末で取得された正例と負例である、データ収集装置である。
【0051】
かかる構成により、正例か負例かを判断するための機械学習の学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0052】
また、本発明のデータ収集装置は、上記の発明に対して、元情報送信部は、２以上の各ユーザ端末に、同一の第一教師データ元情報を送信し、元情報受信部は、２以上の各ユーザ端末から、同一の第一教師データ元情報に対応する第二教師データ元情報を受信し、教師データ構成部は、元情報受信部が受信した２以上の各第二教師データ元情報に含まれる入力情報を用いて、予め決められたアルゴリズムにより、蓄積する教師データを構成する、データ収集装置である。
【0053】
かかる構成により、精度の高い学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0054】
また、本発明のデータ収集装置は、上記の発明に対して、教師データ構成部は、元情報受信部が受信した２以上の第二教師データ元情報に含まれる入力情報を合成し、合成入力情報を取得する合成手段と、第一教師データ元情報が有する要素情報と合成入力情報とを有する教師データ構成する教師データ構成手段とを具備するデータ収集装置である。
【0055】
かかる構成により、精度の高い学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0056】
また、本発明のデータ収集装置は、上記の発明に対して、第一教師データ元情報は、データ属性値に対応付いており、ユーザごとに、１以上のユーザ属性値を含む１以上のユーザ情報が格納されるユーザ情報格納部と、データ属性値に対応するユーザ属性値を有する１以上のユーザ情報を決定するユーザ決定部とをさらに具備し、元情報送信部は、ユーザ決定部が決定した１以上の各ユーザ情報に対応するユーザ端末に第一教師データ元情報を送信する、データ収集装置である。
【0057】
かかる構成により、適切なユーザが入力した第二教師データ元情報を取得できる。
【0058】
また、本発明のデータ収集装置は、上記の発明に対して、元情報受信部が受信した第二教師データ元情報を、第二教師データ元情報を送信したユーザ端末とは異なるユーザ端末である他端末に送信する他端末送信部と、他端末から第二教師データ元情報に対する評価結果を受信する評価結果受信部と、評価結果が採用条件を満たすか否かを判断する判断部とをさらに具備し、教師データ構成部は、判断部が採用条件を満たすと判断した場合のみ、評価結果に対応する第二教師データ元情報を用いて、教師データを構成する、データ収集装置である。
【0059】
かかる構成により、精度の高い学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0060】
また、本発明のデータ収集装置は、上記の発明に対して、評価結果を用いて、評価結果に対応する第二教師データ元情報に対応するユーザに対する評価であるユーザ評価を取得するユーザ評価部と、ユーザ評価を出力するユーザ評価出力部とをさらに具備するデータ収集装置である。
【0061】
かかる構成により、第二教師データ元情報を提供するユーザを評価できる。
【0062】
また、本発明のデータ収集装置は、上記の発明に対して、ユーザ端末からの第二教師データ元情報の送信に応じた報酬を特定する報酬情報を取得する報酬取得部と、報酬情報をユーザ端末を使用するユーザに対応付けて蓄積する報酬蓄積部とをさらに具備するデータ収集装置である。
【0063】
かかる構成により、第二教師データ元情報を提供するユーザに報酬を与えられる。
【0064】
また、本発明のデータ収集装置は、上記の発明に対して、前記元情報受信部が前記ユーザ端末から第二教師データ元情報を受信した場合に、他のユーザ端末から受信されていた入力情報を前記ユーザ端末に送信する他端末送信部をさらに具備する、データ収集装置である。
【0065】
かかる構成により、入力情報を送信したユーザに、他の入力情報の正しさの確認のために他の入力情報を送信できる結果、他の入力情報に対するユーザの正当な評価が得られやすくなる。
【0066】
また、本発明のデータ収集装置は、上記の発明に対して、前記他端末送信部が送信した入力情報に対する評価結果を前記ユーザ端末から受信する評価結果受信部と、前記入力情報に対応付けて、前記評価結果を蓄積し、当該評価結果に応じて、前記入力情報に対して異なる処理を行う処理部とをさらに具備する、データ収集装置である。
【0067】
かかる構成により、入力情報を送信したユーザに、他の入力情報の正しさの確認のために他の入力情報を送信できる結果、他の入力情報に対するユーザの正当な評価が得られやすくなる。
【0068】
また、本発明の学習装置は、上記の発明に対して、データ収集装置と、データ収集装置が蓄積した２以上の教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、学習モデルを蓄積する学習部を具備する学習装置である。
【0069】
かかる構成により、機械学習の学習モデルを容易に構築できる。
【0070】
また、本発明の予測装置は、要素情報を受け付ける受付部と、学習装置と、要素情報を受け付ける受付部と、学習装置が取得した学習モデルと受付部が受け付けた要素情報とを用いて、機械学習の予測処理を行い、入力情報を取得する予測部と、入力情報を出力する予測結果出力部とを具備する予測装置である。
【0071】
かかる構成により、容易に構築した学習モデルを用いて、機械学習の予測処理ができる。
【発明の効果】
【0072】
本発明によるモデル評価装置によれば、２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームを提供できる。
【図面の簡単な説明】
【0073】
【図1】実施の形態１におけるデータ収集装置システムＡの概念図
【図2】同データ収集装置システムＡのブロック図
【図3】同データ収集装置１のブロック図
【図4】同データ収集装置１の動作例について説明するフローチャート
【図5】同ユーザ決定処理の例について説明するフローチャート
【図6】同教師データ構成処理の例について説明するフローチャート
【図7】同複数入力情報処理の例について説明するフローチャート
【図8】同ユーザ端末２の動作例について説明するフローチャート
【図9】同ユーザ情報管理表を示す図
【図10】同出力例を示す図
【図11】同出力例を示す図
【図12】同出力例を示す図
【図13】同出力例を示す図
【図14】同出力例を示す図
【図15】実施の形態２における情報システムＢの概念図
【図16】同情報システムＢのブロック図
【図17】実施の形態３におけるモデル評価システムＣの概念図
【図18】同モデル評価システムＣのブロック図
【図19】同モデル評価装置５のブロック図
【図20】同データ収集装置１の動作例について説明するフローチャート
【図21】同報償処理の例について説明するフローチャート
【図22】同モデル評価処理の例について説明するフローチャート
【図23】同学習処理の例について説明するフローチャート
【図24】同ユーザ端末６の動作例について説明するフローチャート
【図25】同評価結果管理表を示す図
【図26】同画面例を示す図
【図27】同画面例を示す図
【図28】同画面例を示す図
【図29】同画面例を示す図
【図30】同画面例を示す図
【図31】同画面例を示す図
【図32】同画面例を示す図
【図33】同画面例を示す図
【図34】同画面例を示す図
【図35】同画面例を示す図
【図36】同画面例を示す図
【図37】同画面例を示す図
【図38】上記実施の形態におけるコンピュータシステムの概観図
【図39】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0074】
以下、データ収集装置、モデル評価装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0075】
（実施の形態１）
本実施の形態において、２以上のユーザ端末に、教師データを構成するための第一教師データ元情報を送信し、当該２以上の各ユーザ端末から入力情報を含む第二教師データ元情報を受信し、当該第一教師データ元情報と第二教師データ元情報とを用いて、教師データを構成し、蓄積するデータ収集装置について説明する。
本実施の形態において、２以上のユーザ端末に、教師データを構成するための第一教師データ元情報を送信し、当該２以上の各ユーザ端末から入力情報を含む第二教師データ元情報を受信し、当該第一教師データ元情報と第二教師データ元情報とを用いて、教師データを構成し、蓄積するデータ収集装置について説明する。
【0076】
また、本実施の形態において、２以上のユーザ端末２に同一の第一教師データ元情報を送信し、当該同一の第一教師データ元情報に対する第二教師データ元情報を２以上の各ユーザ端末から受信し、当該第一教師データ元情報と２以上の第二教師データ元情報とを用いて、教師データを構成し、蓄積するデータ収集装置について説明する。
【0077】
また、本実施の形態において、２以上のユーザ端末２から受信した第二教師データ元情報が有する入力情報を合成した合成入力情報を取得し、当該合成入力情報を有する教師データを構成し、蓄積するデータ収集装置について説明する。
【0078】
また、本実施の形態において、ユーザ端末ごとにユーザ属性値（例えば、英語が専門であること）を管理しており、当該ユーザ属性値を用いて、第一教師データ元情報を送信するユーザ端末を決定するデータ収集装置について説明する。
【0079】
また、本実施の形態において、ユーザ端末から受信された第二教師データ元情報を、他のユーザ端末に送信し、当該他のユーザ端末からの評価結果を受信し、当該評価結果が採用条件を満たす場合のみ、当該第二教師データ元情報を採用して、教師データを構成するデータ収集装置について説明する。
【0080】
また、本実施の形態において、上記の評価結果を用いて、第二教師データ元情報を送信したユーザを評価できるデータ収集装置について説明する。
【0081】
さらに、本実施の形態において、第二教師データ元情報の送信に対する報酬を、ユーザに与えることができるデータ収集装置について説明する。
【0082】
なお、本明細書において、情報Ｘが情報Ｙに対応付いていることは、情報Ｘから情報Ｙを取得できること、または情報Ｙから情報Ｘを取得できることであり、その対応付けの方法は問わない。情報Ｘと情報Ｙとがリンク付いていても良いし、同じバッファに存在していても良いし、情報Ｘが情報Ｙに含まれていても良いし、情報Ｙが情報Ｘに含まれている等でも良い。
【0083】
図１は、本実施の形態におけるデータ収集装置システムＡの概念図である。データ収集装置システムＡは、データ収集装置１、および１または２以上のユーザ端末２を備える。
【0084】
データ収集装置１は、教師データを収集するためのサーバである。データ収集装置１は、例えば、いわゆるサーバであり、例えば、クラウドサーバ、ＡＳＰサーバ等である。
【0085】
ユーザ端末２は、ユーザが使用する端末である。ユーザは、ここでは、教師データを作成するための作業を行う者である。ユーザは、後述する入力情報を提供する者である。ユーザ端末２は、第一教師データ元情報を受信し、第二教師データ元情報を送信する端末である。ユーザ端末２は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。
【0086】
データ収集装置１と１または２以上の各ユーザ端末２とは、インターネットやＬＡＮ等のネットワークにより通信可能である。
【0087】
【0088】
データ収集装置１は、格納部１１、受信部１２、処理部１３、および送信部１４を備える。格納部１１は、ユーザ情報格納部１１１、元情報格納部１１２、および教師データ格納部１１３を備える。受信部１２は、元情報受信部１２１、および評価結果受信部１２２を備える。処理部１３は、ユーザ決定部１３１、判断部１３２、教師データ構成部１３３、蓄積部１３４、報酬取得部１３５、報酬蓄積部１３６、ユーザ評価部１３７、およびユーザ評価出力部１３８を備える。教師データ構成部１３３は、合成手段１３３１、および教師データ構成手段１３３２を備える。送信部１４は、元情報送信部１４１、および他端末送信部１４２を備える。
【0089】
ユーザ端末２は、端末格納部２１、端末受付部２２、端末処理部２３、端末送信部２４、端末受信部２５、および端末出力部２６を備える。
【0090】
データ収集装置１を構成する格納部１１には、各種の情報が格納される。各種の情報とは、例えば、後述するユーザ情報、後述する第一教師データ元情報、後述する教師データ、各種のプログラムである。
【0091】
各種のプログラムは、ユーザ端末２で実行されるプログラムである。各種のプログラムは、例えば、要素情報を用いるプログラムである。各種のプログラムは、例えば、要素情報に対して、予め決められた処理を行うプログラムである。各種のプログラムは、例えば、機械学習の予測プログラム、機械翻訳プログラム、音声合成プログラム、音声認識プログラムである。
【0092】
ユーザ情報格納部１１１には、１または２以上のユーザ情報が格納される。ユーザ情報は、ユーザに関する情報である。ユーザ情報は、例えば、ユーザ識別子、１または２以上のユーザ属性値を有する。ユーザ識別子とは、ユーザを識別する情報である。ユーザ識別子は、例えば、ユーザＩＤ、電話番号、メールアドレス、ユーザ端末識別子である。ユーザ端末識別子とは、ユーザ端末２を識別する情報である。ユーザ端末識別子は、例えば、ユーザ端末２と通信するための情報である送信先情報である。ユーザ端末識別子は、例えば、ユーザ端末２のＩＰアドレス、ＭＡＣアドレス、電話番号である。ユーザ属性値は、ユーザの特性と言っても良い。ユーザ属性値は、例えば、専門識別子、使用言語である。専門識別子とは、ユーザの専門を特定する情報である。専門識別子は、例えば、日英翻訳（例えば、「１」）、日中翻訳（例えば、「２」）、英日翻訳（例えば、「３」）である。使用言語とは、ユーザが使用している言語である。使用言語は、例えば、日本語、英語、中国語である。ユーザ属性値は、例えば、後述する報酬情報、後述するユーザ評価である。
【0093】
元情報格納部１１２には、１または２以上の第一教師データ元情報が格納される。第一教師データ元情報とは、教師データを構成する元になる情報である。教師データとは、機械学習の学習処理により学習モデルを構築するための情報である。
【0094】
第一教師データ元情報には、例えば、検査フラグ、複数人フラグ、合成フラグが対応づいていても良い。検査フラグとは、受信された第二教師データ元情報を他のユーザにより検査することを示す情報である。複数人フラグとは、複数人に第一教師データ元情報を送信することを示す情報である。合成フラグとは、複数のユーザ端末２から受信された第二教師データ元情報に含まれる入力情報を合成して、合成入力情報を構成することを示す情報である。
【0095】
なお、学習モデルとは、機械学習の学習処理により構成された情報であり、機械学習の予測処理に使用される情報である。学習モデルは、学習器、分類器、分類モデル等と言っても良い。学習モデルを構築したり、学習モデルを用いて予測処理したりする機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、ＳＶＭ、ＳＶＲ等、問わない。また、機械学習には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール、ｆａｓｔＴｅｘｔ、ＴｉｎｙＳＶＭ等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
【0096】
第一教師データ元情報は、通常、要素情報を含む。要素情報は、教師データを構成する情報である。要素情報は、通常、教師データを構成する説明変数となる情報であるが、教師データを構成する目的変数となる情報でも良い。要素情報は、例えば、画像、映像（動画）、音情報、文字列である。要素情報は、例えば、分類を示すラベルが付されるべき情報（例えば、画像、映像）である。なお、ラベルは、要素情報を識別する情報である。ラベルは、通常、１または２以上の用語である。要素情報は、例えば、翻訳対象の用語、翻訳対象の１または２以上の文である。用語は、１または２以上の単語の集合である。要素情報は、例えば、説明される対象の情報（例えば、画像、映像）である。要素情報は、例えば、音声認識される対象の音情報（音声データ）である。要素情報は、例えば、音声合成される対象の文字列である。
【0097】
第一教師データ元情報は、ユーザが入力情報を入力することを支援するプログラムを含むことは好適である。入力情報を入力することを支援するプログラムは、例えば、要素情報を用いて、入力情報を予測する機械学習の予測プログラム、第一言語の要素情報を機械翻訳し、第二言語の入力情報の案を出力する機械翻訳プログラム、文字列である要素情報を音声合成し、音声データの案を出力する音声合成プログラム、音声データである要素情報に対して、音声認識処理を行い、文字列の案を出力する音声認識プログラムである。
【0098】
第一教師データ元情報は、データ属性値に対応付いていることは好適である。データ属性値とは、第一教師データ元情報の属性値、または第一教師データ元情報が含む要素情報の属性値である。データ属性値は、例えば、翻訳対象の要素情報の第一言語を示す情報（例えば、「英語」「日本語」）、第一言語と第二言語とを示す情報（例えば、「日→英」、「中→日」）である。
【0099】
第一教師データ元情報には、第二教師データ元情報を送信したユーザに与える報酬を算出する元になる報酬元情報が対応付いていることは好適である。報酬元情報とは、報酬情報を取得する元になる情報である。報酬元情報は、例えば、入力情報を送信する場合の単価、１つの第二教師データ元情報に対する報酬金額、１つの第二教師データ元情報に対して与えるポイント数である。
【0100】
教師データ格納部１１３には、１または２以上の教師データが格納される。ここでの教師データは、教師データ構成部１３３が構成したデータである。ここでの教師データは、そのまま学習モジュールに与えられるデータ構造であることは好適であるが、そのまま学習モジュールに与えられるデータ構造でなくても良い。ここでの教師データは、そのまま学習モジュールに与えられるデータ構造の教師データに含まれるすべての情報を有することは好適である。
【0101】
教師データは、例えば、要素情報と入力情報とを含む。教師データは、例えば、要素情報と入力情報であるラベルとを含む。ラベルとは、要素情報（例えば、動物を撮影した画像）を識別する情報（例えば、「犬」「猫」「秋田犬」）である。教師データは、例えば、要素情報（例えば、第一言語の文）と変換情報（例えば、第一言語の文を第二言語に翻訳した文）とを含む。教師データは、例えば、要素情報（例えば、画像、映像）と説明情報（例えば、画像について説明する文、映像について説明する文）とを含む。
【0102】
受信部１２は、各種の情報を受信する。各種の情報とは、例えば、後述する第二教師データ元情報、後述する評価結果である。
【0103】
元情報受信部１２１は、１または２以上の各ユーザ端末２から第二教師データ元情報を受信する。かかるユーザ端末２は、後述する元情報送信部１４１が第一教師データ元情報を送信した端末である。
【0104】
第二教師データ元情報とは、教師データを構成する元になる情報である。第二教師データ元情報は入力情報を含む。第二教師データ元情報は入力情報でも良い。入力情報とは、ユーザ端末２で処理された第一教師データ元情報に対してユーザが入力した情報である。入力情報は、要素情報に対して、第一教師データ元情報が有するプログラムが処理し、出力された情報そのもの（例えば、機械翻訳結果）でも良いし、当該プログラムが処理し、出力された情報に対して、ユーザが修正した情報でも良い。ユーザが入力した情報とは、ユーザのユーザ端末２に対する操作により取得されて情報である。ユーザが入力した情報は、ユーザが手入力した情報でも良いし、ユーザが撮影した画像や映像であり、ユーザ端末２に取り込まれた画像や映像でも良いし、ユーザが発声した音声データであり、ユーザ端末２に取り込まれた音声データでも良い。ユーザが入力した情報は、ユーザの何らかの操作により、ユーザ端末２に存在するに至った情報であれば良い。
【0105】
第一教師データ元情報に対する処理とは、例えば、第一教師データ元情報の全部または一部（例えば、入力情報）を表示すること、第一教師データ元情報の全部または一部に対して変換処理を行うこと、第一教師データ元情報と図示しない学習モデルを用いて機械学習の予測処理を行い、予測結果を取得することである。なお、変換処理を行うプログラム、機械学習の予測処理を行うプログラムは、ユーザ端末２に送信される第一教師データ元情報に含まれていることは好適である。
【0106】
元情報受信部１２１は、通常、第二教師データ元情報を、第一教師データ元情報に対応付く態様でユーザ端末２から受信する。第一教師データ元情報に対応付く態様とは、例えば、第二教師データ元情報が第一教師データ元情報識別子を有することである。第一教師データ元情報に対応付く態様とは、例えば、第二教師データ元情報が要素情報を含むことである。なお、第一教師データ元情報識別子とは、第一教師データ元情報を識別する情報である。第一教師データ元情報を識別する情報は、第一教師データ元情報に含まれる要素情報を識別する情報でも良い。
【0107】
元情報受信部１２１は、例えば、ユーザ端末２でプログラムが実行された後に、ユーザが入力した入力情報を含む第二教師データ元情報を受信する。なお、ここでのプログラムは、例えば、要素情報を分類する機械学習の予測プログラムである。ここでのプログラムは、例えば、要素情報を分類する機械学習の予測プログラムと予測処理に用いる学習モデルである。ここでのプログラムは、例えば、要素情報を機械翻訳する機械翻訳のプログラムである。ここでのプログラムは、例えば、要素情報の説明情報を生成する機械学習の予測プログラムである。ここでのプログラムは、例えば、要素情報の説明情報を生成する機械学習の予測プログラムと予測処理に用いる学習モデルである。ここでのプログラムは、例えば、文字列である要素情報に対して音声合成処理を行うプログラムである。ここでのプログラムは、例えば、音声データである要素情報に対して音声認識処理を行うプログラムである。なお、プログラムの種類は問わない。
【0108】
元情報受信部１２１は、２以上の各ユーザ端末から、同一の第一教師データ元情報に対応する第二教師データ元情報を受信することは好適である。
【0109】
第二教師データ元情報は、例えば、要素情報を識別するラベルであり、ユーザが要素情報に対して入力したラベルを含む。第二教師データ元情報は、例えば、要素情報を変換した情報である変換情報であり、ユーザが要素情報に対して入力した変換情報を含む。第二教師データ元情報は、例えば、要素情報を説明する情報である説明情報であり、ユーザが要素情報に対して入力した説明情報を含む。
【0110】
第二教師データ元情報とは、例えば、要素情報に対して予測プログラムが実行され得られたラベルをユーザが修正したラベルを含む。第二教師データ元情報とは、例えば、要素情報に対して予測プログラムが実行され得られた変換情報をユーザが修正した変換情報を含む。第二教師データ元情報とは、例えば、要素情報に対して予測プログラムが実行され得られた説明情報をユーザが修正した説明情報を含む。
【0111】
第二教師データ元情報とは、例えば、プログラムを用いて、ユーザ端末２で取得された正例と負例である。なお、かかるプログラムは、正例と負例とを入力できるプログラムである。かかるプログラムは、正例と負例とを入力し、当該正例と負例とを含む第二教師データ元情報をデータ収集装置１に送信するプログラムである。なお、正例と負例との入力は、画像または映像の撮影でも良いし、文字列の入力でも良いし、音声データの取り込みでも良い。
【0112】
上述のプログラムは、例えば、要素情報のラベルを予測する機械学習の予測プログラム、要素情報を変換する変換プログラム、要素情報の説明情報を予測する機械学習の予測プログラム、教師データを構成する正例と負例とを取得することを支援するプログラムである。
【0113】
なお、正例は、識別したい対象の情報であり、例えば、ひび割れた壁の写真、クラックがある建造物の写真である。また、負例は、正例ではない情報であり、例えば、ひび割れていない壁の写真、クラックがない建造物の写真である。ただし、正例、負例のデータタイプ、内容等は問わない。なお、正例と負例とは逆でも良い。
【0114】
評価結果受信部１２２は、他端末から第二教師データ元情報に対する評価結果を受信する。なお、他端末とは、第二教師データ元情報を送信したユーザ端末２ではないユーザ端末２である。他端末とは、第二教師データ元情報を評価するユーザが使用するユーザ端末２である。
【0115】
評価結果受信部１２２は、他端末送信部１４２がユーザ端末２に送信した入力情報に対する評価結果を当該ユーザ端末２から受信しても良い。なお、かかるユーザ端末２は、当該入力情報を送信したユーザ端末２ではない。
【0116】
評価結果とは、第二教師データ元情報または第二教師データ元情報が有する入力情報に対する評価の結果を示す情報である。評価結果は、例えば、第二教師データ元情報または第二教師データ元情報が有する入力情報が正しいことを示す情報（例えば、真「１」）、第二教師データ元情報または第二教師データ元情報が有する入力情報が間違っていることを示す情報（例えば、偽「０」）、ユーザが入力した正しい入力情報である。
【0117】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、ユーザ決定部１３１、判断部１３２、教師データ構成部１３３、蓄積部１３４、報酬取得部１３５、報酬蓄積部１３６、ユーザ評価部１３７、ユーザ評価出力部１３８が行う処理である。
【0118】
処理部１３は、送信部１４が送信した入力情報に対応付けて、受信部１２が受信した評価結果を蓄積する。そして、処理部１３は、蓄積した１または２以上の評価結果に応じて、当該評価結果に対応する入力情報に対して異なる処理を行う。
【0119】
なお、異なる処理の内容は問わない。例えば、「正しい」との評価結果であれば、教師データとして採用し、「正しくない」との評価結果であれば、教師データとして採用しない。また、一の入力情報に対して、２以上の評価結果が存在する場合、当該２以上の評価結果の統計処理の結果が条件を満たす場合（例えば、「正しい」との評価結果の数または割合が閾値以上または閾値より多い場合）は教師データとして採用し、条件を満たさない場合（例えば、「正しくない」との評価結果の数または割合が閾値以上または閾値より多い場合）は教師データとして採用しない。
【0120】
また、教師データとして採用することは、例えば、教師データ格納部１１３に蓄積すること、学習モデルを構成する際に使用することである。教師データとして採用しないことは、例えば、教師データ格納部１１３に蓄積しないこと、学習モデルを構成する際に使用しないことである。
【0121】
また、例えば、「正しい」との評価結果であれば、他のユーザ端末２に入力情報を送信せず、「正しくない」との評価結果であれば、さらに別のユーザ端末２に入力情報を送信する。また、一の入力情報に対して、２以上の評価結果が存在する場合、当該２以上の評価結果の統計処理の結果が条件を満たす場合（例えば、「正しい」との評価結果の数または割合が閾値以上または閾値より多い場合）は、他のユーザ端末２に入力情報を送信せず、条件を満たさない場合（例えば、「正しくない」との評価結果の数または割合が閾値以上または閾値より多い場合）はさらに別のユーザ端末２に入力情報を送信する。
【0122】
ユーザ決定部１３１は、第一教師データ元情報を送信するユーザ端末２を決定する。ユーザ端末２を決定することは、例えば、ユーザ識別子を取得すること、送信先情報を取得することである。ユーザ端末２を決定することは、第一教師データ元情報を送信するユーザ端末２が決定できる処理であれば良い。
【0123】
ユーザ決定部１３１は、例えば、作業条件に合致する１以上のユーザ情報を決定する。なお、作業条件とは、第一教師データ元情報に対する入力情報を送信する作業を行えるための条件である。作業条件は、１以上のデータ属性値が、第一教師データ元情報と対になる１または２以上の各データ属性値を満足することである。ユーザ決定部１３１は、例えば、第一教師データ元情報と対になる１または２以上の各データ属性値を元情報格納部１１２から取得し、当該１以上のデータ属性値に対応するユーザ属性値を有する１以上のユーザ情報を決定する。例えば、データ属性値が「英語」である場合（例えば、翻訳する対象の第一言語が「英語」である場合）、ユーザ決定部１３１は、ユーザ属性値のうちの「専門」が「英日翻訳」であるユーザ属性値に対応するユーザ識別子をユーザ情報格納部１１１から取得する。
【0124】
ユーザ決定部１３１は、例えば、第一教師データ元情報を送信する候補のユーザ端末２から、ランダムに１または２以上のユーザ端末２を決定する。
【0125】
判断部１３２は、評価結果受信部１２２が受信した評価結果が採用条件を満たすか否かを判断する。採用条件とは、元情報受信部１２１が受信した第二教師データ元情報を採用して教師データを構成するための条件である。採用条件は、第二教師データ元情報が有する入力情報が正しいことを示す条件である。採用条件は、例えば、評価結果が「正しいことを示す情報」であること、評価結果に含まれる修正された入力情報が「ＮＵＬＬ」であることである。
【0126】
教師データ構成部１３３は、元情報送信部１４１が送信した第一教師データ元情報と元情報受信部１２１が受信した第二教師データ元情報とを用いて、機械学習の学習処理のために使用する教師データを構成する。第一教師データ元情報と第二教師データ元情報とを用いて教師データを構成することは、第一教師データ元情報の一部と第二教師データ元情報の一部とを用いて教師データを構成することも含むと考えても良い。
【0127】
教師データ構成部１３３は、例えば、第一教師データ元情報に含まれる要素情報と第二教師データ元情報に含まれる入力情報とを用いて、教師データを構成する。教師データ構成部１３３は、例えば、第一教師データ元情報に含まれる要素情報を説明変数とし、教師データ元情報に含まれる入力情報を目的変数とする教師データを構成する。教師データ構成部１３３は、例えば、第一教師データ元情報に含まれる要素情報を目的変数とし、教師データ元情報に含まれる入力情報を説明変数とする教師データを構成する。なお、教師データのデータ構造は問わない。教師データは、例えば、要素情報と入力情報とを要素とするベクトルである。
【0128】
教師データ構成部１３３は、元情報受信部１２１が受信した２以上の各第二教師データ元情報に含まれる入力情報を用いて、予め決められたアルゴリズムにより、蓄積する教師データを構成する。なお、ここで、教師データは、通常、一つである。
【0129】
予め決められたアルゴリズムとは、例えば、多数決である。つまり、元情報受信部１２１が受信した２以上の各第二教師データ元情報に含まれる入力情報が全て同じ情報でない場合、教師データ構成部１３３は、最も頻度が高い入力情報を、教師データを構成する際に使用する入力情報として決定する。また、予め決められたアルゴリズムとは、例えば、後述する合成である。
【0130】
教師データ構成部１３３は、判断部１３２が採用条件を満たすと判断した場合のみ、評価結果に対応する第二教師データ元情報を用いて、教師データを構成することは好適である。
【0131】
教師データ構成部１３３を構成する合成手段１３３１は、元情報受信部１２１が受信した２以上の第二教師データ元情報に含まれる入力情報を合成し、合成入力情報を取得する。なお、合成とは、元情報受信部１２１が受信した２以上の第二教師データ元情報のうちの２以上の各第二教師データ元情報の全部または一部を有する合成入力情報を取得することである。
【0132】
合成手段１３３１は、例えば、元情報受信部１２１が受信した２以上の各第二教師データ元情報に含まれる入力情報（例えば、画像を識別するラベル）をすべて含む情報を、教師データを構成する際に使用する入力情報として決定する。なお、かかるすべて含む情報は、合成入力情報である。
【0133】
合成手段１３３１は、例えば、元情報受信部１２１が受信した２以上の各第二教師データ元情報に含まれる入力情報（例えば、画像を識別するラベル）に対して、ユニーク処理した結果の情報をすべて含む情報を、合成入力情報として取得する。かかる場合、合成入力情報から重複する情報（例えば、重複するラベル）は除かれる。
【0134】
教師データ構成手段１３３２は、例えば、第一教師データ元情報が有する要素情報と合成手段１３３１が取得した合成入力情報とを有する教師データ構成する。
【0135】
蓄積部１３４は、教師データ構成部１３３が構成した教師データを蓄積する。蓄積部１３４は、例えば、教師データを教師データ格納部１１３に蓄積する。
【0136】
蓄積部１３４は、入力情報に対応付けて、評価結果受信部１２２が受信した評価結果を蓄積しても良い。かかる評価結果は、対応付く入力情報に対する評価結果である。
【0137】
報酬取得部１３５は、ユーザ端末２からの第二教師データ元情報の送信に応じた報酬を特定する報酬情報を取得する。報酬取得部１３５は、通常、ユーザ端末２に対応するユーザに対応付けて、報酬情報を取得する。報酬取得部１３５は、例えば、第二教師データ元情報が受信された場合に、当該第二教師データ元情報に対応する第一教師データ元情報と対になる報酬元情報を元情報格納部１１２から取得し、当該報酬元情報を用いて、報酬情報（例えば、報酬金額、報酬のポイント数）を取得する。
【0138】
第一教師データ元情報に応じて、報酬が異なることは好適である。例えば、要素情報である画像に対して、ラベルである入力情報を送信した場合より、要素情報である画像に対して、説明情報である入力情報を送信した場合の方が高額の報酬となる。報酬取得部１３５は、第二教師データ元情報の数が多いほど、大きな報酬となる報酬情報を取得することは好適である。報酬取得部１３５は、第二教師データ元情報に対する評価結果が高い（良好である）ほど、大きな報酬となる報酬情報を取得することは好適である。
【0139】
報酬蓄積部１３６は、報酬取得部１３５が取得した報酬情報を、第二教師データ元情報を送信したユーザ端末２を使用するユーザに対応付けて蓄積する。報酬蓄積部１３６は、例えば、報酬取得部１３５が取得した報酬情報を、第二教師データ元情報を送信したユーザ端末２に対応するユーザ識別子と対にして、ユーザ情報格納部１１１に蓄積する。なお、報酬情報の蓄積は、例えば、当該ユーザ識別子と対にして格納されている報酬情報に、報酬取得部１３５が取得した報酬情報を加算した新たな報酬情報を蓄積することである。
【0140】
ユーザ評価部１３７は、評価結果受信部１２２が受信した１または２以上の評価結果を用いて、当該評価結果に対応する第二教師データ元情報に対応するユーザ（入力情報を作成したユーザ）に対する評価であるユーザ評価を取得する。
【0141】
ユーザ評価部１３７は、例えば、「入力情報が間違っていることを示す情報」である評価結果の数が多いほど、当該入力情報に対応するユーザの評価が低くなるユーザ評価を取得する。
【0142】
ユーザ評価出力部１３８は、ユーザ評価部１３７が取得したユーザ評価を出力する。ここで、出力とは、記録媒体への蓄積、外部の装置への送信、他の処理装置や他のプログラムなどへの処理結果の引渡しであるが、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力などを含む概念であっても良い。
【0143】
ユーザ評価出力部１３８は、例えば、ユーザ評価部１３７が取得したユーザ評価を、当該ユーザ評価に対応する入力情報に対応するユーザ識別子と対にして、ユーザ情報格納部１１１に蓄積する。ユーザ評価出力部１３８は、例えば、ユーザ評価部１３７が取得したユーザ評価を当該ユーザのユーザ端末２に送信する。
【0144】
送信部１４は、各種の情報を送信する。各種の情報は、例えば、第一教師データ元情報、第二教師データ元情報である。
【0145】
元情報送信部１４１は、教師データの元になる第一教師データ元情報をユーザ端末２に送信する。元情報送信部１４１は、通常、教師データの元になる第一教師データ元情報を２以上の各ユーザ端末に送信する。元情報送信部１４１は、２以上の各ユーザ端末に、同一の第一教師データ元情報を送信することは好適である。元情報送信部１４１は、ユーザ決定部１３１が決定した１以上の各ユーザ情報に対応するユーザ端末２に第一教師データ元情報を送信することは好適である。
【0146】
他端末送信部１４２は、元情報受信部１２１が受信した第二教師データ元情報を、当該第二教師データ元情報を送信したユーザ端末２とは異なるユーザ端末２である他端末に送信する。
【0147】
他端末送信部１４２は、元情報受信部１２１が第二教師データ元情報をユーザ端末２から受信したことに応じて、当該第二教師データ元情報に含まれる入力情報とは異なる入力情報であり、当該ユーザ端末２とは異なる他のユーザ端末２から受信された入力情報を、当該第二教師データ元情報を送信してきたユーザ端末２に送信することは好適である。かかることにより、第二教師データ元情報を送信したユーザに、すぐに他の入力情報を評価してもらえる。つまり、当該ユーザの判断の感覚が鈍らないタイミングで、他の入力情報を評価してもらえ、入力情報の精度の向上、入力情報（ラベリング）の揺らぎを少なくする等の効果がある。
【0148】
他端末送信部１４２は、検査条件に合致する第二教師データ元情報のみを、他端末に送信しても良い。
【0149】
なお、検査条件とは、第二教師データ元情報を検査する条件である。検査条件は、例えば、元情報送信部１４１が送信した第一教師データ元情報に、第二教師データ元情報を検査することを示す検査フラグが対応付いていることである。検査条件は、例えば、ユーザ評価が閾値以下または閾値より小さい（低い評価の）ユーザのユーザ端末２から受信された第二教師データ元情報であることである。ただし、検査条件は問わない。
【0150】
ユーザ端末２を構成する端末格納部２１には、各種の情報が格納される。各種の情報とは、例えば、ユーザ識別子、第一教師データ元情報、第二教師データ元情報、各種のプログラムである。
【0151】
端末受付部２２は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、入力情報、ユーザの操作、出力された入力情報（第二教師データ元情報）に対する評価結果、出力された入力情報に対する修正、第二送信指示である。なお、出力された入力情報は、プログラムが自動取得した入力情報の候補の情報であり、ユーザにより修正される可能性のある情報である。また、出力された入力情報に対する修正は、入力情報である。
【0152】
第二送信指示とは、入力情報を有する第二教師データ元情報を、データ収集装置１に送信する指示である。
【0153】
なお、各種の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0154】
端末処理部２３は、各種の処理を行う。各種の処理は、例えば、受け付けられた情報や指示等を、送信する構造の情報や指示等にする処理である。各種の処理は、例えば、受信された情報を出力する構造の情報にする処理である。
【0155】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報を出力する。
【0156】
端末処理部２３は、例えば、受信された第一教師データ元情報が有するプログラムを実行する。なお、プログラムを実行することは、プログラムをインストールした後に実行することも含む、とする。
【0157】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報に対して、機械学習の予測プログラムを実行し、予測されたラベルを取得する。
【0158】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報に対して、変換プログラムを実行し、予測された変換情報を取得する。
【0159】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報に対して、機械翻訳プログラムを実行し、予測された翻訳結果を取得する。
【0160】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報（音声データ）に対して、音声認識プログラムを実行し、予測された音声認識結果の文字列を取得する。
【0161】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報（文字列）に対して、音声合成プログラムを実行し、予測された音声データを取得する。
【0162】
端末処理部２３は、例えば、受信された第一教師データ元情報が有する要素情報に対して、機械学習の予測プログラムを実行し、予測された説明情報を取得する。
【0163】
端末処理部２３は、例えば、受信された第一教師データ元情報が有するプログラムを実行し、正例と負例とを入力するための入力画面を出力する。
【0164】
端末処理部２３は、例えば、端末受付部２２が受け付けたユーザの操作に応じて、写真を撮影し、画像を取得する。なお、かかる画像は、正例または負例である。
【0165】
端末送信部２４は、各種の情報や指示等をデータ収集装置１に送信する。各種の情報や指示等は、例えば、第二教師データ元情報である。
【0166】
端末受信部２５は、各種の情報をデータ収集装置１から受信する。各種の情報は、例えば、第一教師データ元情報、第二教師データ元情報、検査情報である。
【0167】
端末出力部２６は、各種の情報を出力する。各種の情報は、例えば、第一教師データ元情報、第二教師データ元情報である。
【0168】
格納部１１、ユーザ情報格納部１１１、元情報格納部１１２、教師データ格納部１１３、学習モデル格納部３１、および端末格納部２１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0169】
格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【0170】
受信部１２、元情報受信部１２１、評価結果受信部１２２、および端末受信部２５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【0171】
処理部１３、ユーザ決定部１３１、判断部１３２、教師データ構成部１３３、蓄積部１３４、報酬取得部１３５、報酬蓄積部１３６、ユーザ評価部１３７、ユーザ評価出力部１３８、合成手段１３３１、教師データ構成手段１３３２、および端末処理部２３は、通常、プロセッサやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
【0172】
送信部１４、元情報送信部１４１、他端末送信部１４２、および端末送信部２４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【0173】
端末受付部２２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0174】
端末出力部２６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部２６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0175】
次に、データ収集装置システムＡの動作例について説明する。まず、データ収集装置１の動作例について、図４のフローチャートを用いて説明する。
【0176】
（ステップＳ４０１）データ収集装置１は、第一教師データ元情報を送信する指示である第一送信指示を受け付けたか否かを判断する。第一送信指示を受け付けた場合はステップＳ４０２に行き、第一送信指示を受け付けなかった場合はステップＳ４０８に行く。なお、第一送信指示の受け付けは、例えば、図示しない管理者の端末からの第一送信指示の受信、予め決まられた時刻になってことである。ただし、第一教師データ元情報を送信するためのトリガーは問わない。
【0177】
（ステップＳ４０２）処理部１３は、教師データを作成する対象の第一教師データ元情報であり、第一送信指示に対応する第一教師データ元情報を、元情報格納部１１２から取得する。
【0178】
（ステップＳ４０３）ユーザ決定部１３１は、ユーザ決定処理を行う。ユーザ決定処理の例について、図５のフローチャートを用いて説明する。なお、ユーザ決定処理とは、第一教師データ元情報を送信する１または２以上のユーザ端末２を決定する処理である。
【0179】
（ステップＳ４０４）元情報送信部１４１は、カウンタｉに１を代入する。
【0180】
（ステップＳ４０５）元情報送信部１４１は、ステップＳ４０３で決定されたユーザ端末２のうちで、ｉ番目のユーザ端末２が存在するか否かを判断する。ｉ番目のユーザ端末２が存在する場合はステップＳ４０６に行き、存在しない場合はステップＳ４０１に戻る。
【0181】
（ステップＳ４０６）元情報送信部１４１は、ｉ番目のユーザ端末２に対応する送信先情報（例えば、ＩＰアドレス、ＭＡＣアドレス、メールアドレス、電話番号）をユーザ情報格納部１１１から取得する。次に、元情報送信部１４１は、当該送信先情報が示す送信先に、ステップＳ４０２で取得された第一教師データ元情報を送信する。なお、送信される第一教師データ元情報は、第一教師データ元情報識別子を有することは好適である。
【0182】
（ステップＳ４０７）元情報送信部１４１は、カウンタｉを１、インクリメントする。ステップＳ４０５に戻る。
【0183】
（ステップＳ４０８）元情報受信部１２１は、ユーザ端末２から第二教師データ元情報を受信したか否かを判断する。第二教師データ元情報を受信した場合はステップＳ４０９に行き、受信しなかった場合はステップＳ４１８に行く。
【0184】
（ステップＳ４０９）判断部１３２は、ステップＳ４０８で受信された第二教師データ元情報が検査条件に合致するか否かを判断する。検査条件に合致する場合はステップＳ４１６に行き、検査条件に合致しない場合はステップＳ４１０に行く。
【0185】
（ステップＳ４１０）教師データ構成部１３３は、ステップＳ４０８で受信された第二教師データ元情報を用いて、教師データ構成処理を行う。教師データ構成処理の例について、図６のフローチャートを用いて説明する。
【0186】
（ステップＳ４１１）蓄積部１３４は、ステップＳ４１０で教師データが構成されたか否かを判断する。教師データが構成された場合はステップＳ４１２に行き、教師データが構成されなかった場合はステップＳ４１３に行く。
【0187】
（ステップＳ４１２）蓄積部１３４は、ステップＳ４１０で構成された教師データを教師データ格納部１１３に蓄積する。ステップＳ４１４に行く。ここで、蓄積部１３４は、教師データの元になった第一教師データ元情報に対応付けて、教師データを蓄積することは好適である。
【0188】
（ステップＳ４１３）蓄積部１３４は、ステップＳ４０８で受信された第二教師データ元情報が有する入力情報を、受信されたステップＳ４０８で受信された第二教師データ元情報に対応する第一教師データ元情報に対応付けて、図示しないバッファに蓄積する。
【0189】
（ステップＳ４１４）報酬取得部１３５は、ステップＳ４０８における第二教師データ元情報の受信に応じて、当該第二教師データ元情報を送信したユーザ端末２のユーザに対する報酬情報を取得する。
【0190】
（ステップＳ４１５）報酬蓄積部１３６は、ステップＳ４１４で取得された報酬情報を、当該第二教師データ元情報を送信したユーザ端末２のユーザのユーザ識別子に対応付けて、ユーザ情報格納部１１１に蓄積する。ステップＳ４０１に戻る。
【0191】
（ステップＳ４１６）処理部１３は、ステップＳ４０８で受信された第二教師データ元情報を用いて、他端末に送信する検査情報を構成する。なお、検査情報は、例えば、第二教師データ元情報を有する。検査情報は、例えば、第一教師データ元情報が有する要素情報を有する。検査情報は、例えば、要素情報と入力情報とを有する。
【0192】
（ステップＳ４１７）他端末送信部１４２は、検査情報を送信する他端末の送信先情報をユーザ情報格納部１１１から取得する。次に、他端末送信部１４２は、検査情報を、当該送信先情報が示す送信先に送信する。ステップＳ４０１に戻る。
【0193】
なお、取得される送信先情報は、検査者として予め決まっているユーザ（例えば、管理者、評価が高い一部のユーザ）の送信先情報でも良いし、ランダムに決定したユーザの送信先情報等でも良い。
【0194】
（ステップＳ４１８）評価結果受信部１２２は、ユーザ端末２から評価結果を受信したか否かを判断する。評価結果を受信した場合はステップＳ４１９に行き、評価結果を受信しなかった場合はステップＳ４０１に戻る。なお、受信される評価結果は、第二教師データ元情報に対応付いている。
【0195】
（ステップＳ４１９）判断部１３２は、ステップＳ４１８で受信された評価結果が採用条件を満たすか否かを判断する。採用条件を満たす場合はステップＳ４１０に行き、採用条件を満たさない場合はステップＳ４２０に行く。
【0196】
（ステップＳ４２０）教師データ構成部１３３は、ステップＳ４１８で受信された評価結果が修正された入力情報を含むか否かを判断する。入力情報を含む場合はステップＳ４２１に行き、入力情報を含まない場合はステップＳ４０１に戻る。
【0197】
（ステップＳ４２１）教師データ構成部１３３は、ステップＳ４１８で受信された評価結果が有する入力情報を取得する。また、教師データ構成部１３３は、ステップＳ４１８で受信された評価結果に対応する第一教師データ元情報が有する要素情報を取得する。次に、教師データ構成部１３３は、要素情報と入力情報とを有する教師データを構成する。ステップＳ４１２に行く。
【0198】
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0199】
次に、ステップＳ４０３のユーザ決定処理の例について、図５のフローチャートを用いて説明する。
【0200】
（ステップＳ５０１）ユーザ決定部１３１は、第一教師データ元情報と対になる１以上のデータ識別子を元情報格納部１１２から取得する。
【0201】
（ステップＳ５０２）ユーザ決定部１３１は、カウンタｉに１を代入する。
【0202】
（ステップＳ５０３）ユーザ決定部１３１は、ユーザ情報格納部１１１にｉ番目のユーザ情報が存在するか否かを判断する。ｉ番目のユーザ情報が存在する場合はステップＳ５０４に行き、存在しない場合は上位処理にリターンする。
【0203】
（ステップＳ５０４）ユーザ決定部１３１は、ｉ番目のユーザ情報に含まれる１以上のユーザ属性値をユーザ情報格納部１１１から取得する。
【0204】
（ステップＳ５０５）ユーザ決定部１３１は、ステップＳ５０１で取得した１以上のデータ識別子とステップＳ５０４で取得した１以上のユーザ属性値とが、作業条件に合致するか否かを判断する。作業条件に合致する場合はステップＳ５０６に行き、合致しない場合はステップＳ５０８に行く。
【0205】
（ステップＳ５０６）ユーザ決定部１３１は、ステップＳ５０４で取得した１以上のユーザ属性値と対になるユーザ識別子をユーザ情報格納部１１１から取得し、図示しないバッファに一時蓄積する。
【0206】
（ステップＳ５０７）ユーザ決定部１３１は、取得したユーザ識別子の数が上限に達したか否かを判断する。上限に達した場合は上位処理にリターンし、上限に達していない場合はステップＳ５０８に行く。
【0207】
（ステップＳ５０８）ユーザ決定部１３１は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
【0208】
次に、ステップＳ４１０の教師データ構成処理の例について、図６のフローチャートを用いて説明する。
【0209】
（ステップＳ６０１）教師データ構成部１３３は、第一教師データ元情報識別子を取得する。
【0210】
（ステップＳ６０２）教師データ構成部１３３は、元情報格納部１１２に、第一教師データ元情報識別子と対に、複数人フラグが格納されているか否かを判断する。複数人フラグが格納されている場合はステップＳ６０３に行き、格納されていない場合はステップＳ６１０に行く。
【0211】
（ステップＳ６０３）教師データ構成部１３３は、すべてのユーザ端末２から、入力情報を有する第二教師データ元情報を受信しているか否かを判断する。すべての入力情報が揃っている場合はステップＳ６０４に行き、揃っていない場合はステップＳ６０７に行く。
【0212】
（ステップＳ６０４）教師データ構成部１３３は、複数入力情報処理を行う。複数入力情報処理の例について、図７のフローチャートを用いて説明する。なお、複数入力情報処理とは、一の第一教師データ元情報に対する複数の入力情報を処理し、使用する入力情報を取得する処理である。
【0213】
（ステップＳ６０５）教師データ構成部１３３は、第一教師データ元情報が有する要素情報を取得する。
【0214】
（ステップＳ６０６）教師データ構成部１３３は、ステップＳ６０４で取得した入力情報とステップＳ６０５で取得したる要素情報とを有する教師データを構成する。上位処理にリターンする。
【0215】
（ステップＳ６０７）教師データ構成部１３３は、第一教師データ元情報識別子を取得する。
【0216】
（ステップＳ６０８）教師データ構成部１３３は、ステップＳ６０７で取得した第一教師データ元情報識別子に対応付けて、ステップＳ４０８で受信された第二教師データ元情報を一時蓄積する。
【0217】
（ステップＳ６０９）教師データ構成部１３３は、教師データフラグに「未完成」を代入する。上位処理にリターンする。
【0218】
（ステップＳ６１０）教師データ構成部１３３は、ステップＳ４０８で受信された第二教師データ元情報に対応する第一教師データ元情報の中に要素情報が存在するか否かを判断する。要素情報が存在する場合はステップＳ６１１に行き、要素情報が存在しない場合はステップＳ６１４に行く。
【0219】
（ステップＳ６１１）教師データ構成部１３３は、ステップＳ４０８で受信された第二教師データ元情報に対応する第一教師データ元情報の中から要素情報を取得する。
【0220】
（ステップＳ６１２）教師データ構成部１３３は、ステップＳ４０８で受信された第二教師データ元情報の中から入力情報を取得する。
【0221】
（ステップＳ６１３）教師データ構成部１３３は、ステップＳ６１１で取得した要素情報とステップＳ６１２で取得した入力情報とを有する教師データを構成する。上位処理にリターンする。
【0222】
（ステップＳ６１４）教師データ構成部１３３は、ステップＳ４０８で受信された第二教師データ元情報から正例と負例とを取得する。
【0223】
（ステップＳ６１５）教師データ構成部１３３は、ステップＳ６１４で取得した正例と負例とを教師データを構成する。上位処理にリターンする。
【0224】
次に、ステップＳ６０４の複数入力情報処理の例について、図７のフローチャートを用いて説明する。
【0225】
（ステップＳ７０１）教師データ構成部１３３は、すべての入力情報を取得する。
【0226】
（ステップＳ７０２）教師データ構成部１３３は、元情報格納部１１２に、第一教師データ元情報に対応付いて、合成フラグが格納されているか否かを判断する。合成フラグが格納されている場合はステップＳ７０３に行き、合成フラグが格納されていない場合はステップＳ７０５に行く。
【0227】
（ステップＳ７０３）教師データ構成部１３３は、ステップＳ７０１で取得したすべての入力情報に対して、ユニーク処理を行う。
【0228】
（ステップＳ７０４）教師データ構成部１３３は、ステップＳ７０３におけるユニーク処理の結果である１以上の入力情報を取得する。上位処理にリターンする。
【0229】
（ステップＳ７０５）教師データ構成部１３３は、ステップＳ７０１で取得したすべての入力情報の中で、最も出現頻度の高い一の入力情報を取得する。上位処理にリターンする。
【0230】
なお、図７のフローチャートのステップＳ７０３において、すべての入力情報に対してユニーク処理を行ったが、要約処理を行う等しても良い。なお、すべての入力情報である複数の文を要約する処理は、公知の自然言語処理により可能である。
【0231】
次に、ユーザ端末２の動作例について、図８のフローチャートを用いて説明する。
【0232】
（ステップＳ８０１）端末受信部２５は、データ収集装置１から第二教師データ元情報を受信したか否かを判断する。第二教師データ元情報を受信した場合はステップＳ８０２に行き、受信しなかった場合はステップＳ８０６に行く。なお、ここでの第二教師データ元情報の受信は、ユーザの操作による受信（プル型の通信）でも良い、プッシュ送信された第二教師データ元情報の受信でも良い。
【0233】
（ステップＳ８０２）端末処理部２３は、ステップＳ８０１において受信された第二教師データ元情報がプログラムを含むか否かを判断する。プログラムを含む場合はステップＳ８０３に行き、プログラムを含まない場合はステップＳ８０４に行く。
【0234】
（ステップＳ８０３）端末処理部２３は、ステップＳ８０１において受信された第二教師データ元情報が要素情報を含むか否かを判断する。要素情報を含む場合はステップＳ８０４に行き、要素情報を含まない場合はステップＳ８０５に行く。
【0235】
（ステップＳ８０４）端末処理部２３は、ステップＳ８０１において受信された第二教師データ元情報に含まれる要素情報を取得する。
【0236】
（ステップＳ８０５）端末処理部２３は、ステップＳ８０１において受信された第二教師データ元情報に含まれるプログラム、または端末格納部２１に格納されているプログラムを実行する。なお、ここで、端末処理部２３は、要素情報を取得している場合には、当該要素情報をプログラムに渡して、当該プログラムを実行する。ステップＳ８０１に戻る。
【0237】
（ステップＳ８０６）端末受付部２２は、入力情報を受け付けたか否かを判断する。入力情報を受け付けた場合はステップＳ８０７に行き、受け付けなかった場合はステップＳ８１１に行く。
【0238】
（ステップＳ８０７）端末処理部２３は、ステップＳ８０６で受け付けた入力情報を一時蓄積する。
【0239】
（ステップＳ８０８）端末受付部２２は、第二送信指示を受け付けたか否かを判断する。第二送信指示を受け付けた場合はステップＳ８０９に行き、受け付けなかった場合はステップＳ８０８に戻る。
【0240】
（ステップＳ８０９）端末処理部２３は、ステップＳ８０６で受け付けた入力情報を有する第二教師データ元情報を構成する。なお、第二教師データ元情報は、入力情報と第一教師データ元情報識別子とを有し、要素情報を有さないことは好適である。
【0241】
（ステップＳ８１０）端末送信部２４は、ステップＳ８０９で構成された第二教師データ元情報をデータ収集装置１に送信する。ステップＳ８０１に戻る。
【0242】
（ステップＳ８１１）端末受信部２５は、データ収集装置１から検査情報を受信したか否かを判断する。検査情報を受信した場合はステップＳ８１２に行き、検査情報を受信しなかった場合はステップＳ８０１に戻る。
【0243】
（ステップＳ８１２）端末処理部２３は、ステップＳ８１１で受信された検査情報を用いて、出力する検査情報を構成する。端末出力部２６は、当該検査情報を出力する。なお、検査情報は、通常、要素情報と入力情報とを有する。
【0244】
（ステップＳ８１３）端末受付部２２は、出力された検査情報に対する入力を受け付けたか否かを判断する。入力を受け付けた場合はステップＳ８１４に行き、入力を受け付けなかった場合はステップＳ８１３に戻る。なお、ここでの入力は、評価結果を構成するための情報である。
【0245】
（ステップＳ８１４）端末処理部２３は、ステップＳ８１３で受け付けられた入力を用いて、評価結果を構成する。なお、評価結果は、例えば、「正しい」「間違っている」「修正された入力情報」である。
【0246】
（ステップＳ８１５）端末送信部２４は、ステップＳ８１４で構成された評価結果をデータ収集装置１に送信する。ステップＳ８０１に戻る。
【0247】
なお、図８のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0248】
以下、本実施の形態におけるデータ収集装置システムＡの具体的な動作例について説明する。
【0249】
データ収集装置１のユーザ情報格納部１１１には、図９に示すユーザ情報管理表が格納されている、とする。ユーザ情報管理表は、「ＩＤ」「ユーザ識別子」「氏名」「送信先情報」「ユーザ属性値」を有する２以上のレコードを管理する。「ユーザ属性値」は、ここでは「専門識別子」「使用言語」「ユーザ評価」「報酬情報」を有する。「専門識別子」は、ユーザの専門を特定する情報であり、例えば、「日→英」は、日本語から英語への日英翻訳が専門であることを示す。「ユーザ評価」は、ここでは記号であるが、通常、数値である、とする。「報酬情報」は、ここでは記号であるが、通常、金額やポイントを示す数値である、とする。
【0250】
かかる場合、以下の４つの具体例について説明する。具体例１は、日本語の難解用語の英語訳をユーザに依頼し、ユーザ端末２から日本語の難解用語と英語訳とを有する第二教師データ元情報を受信する場合である。具体例２は、画像に対して、当該画像のラベルを付す作業を複数のユーザに依頼し、複数のユーザ端末２からラベルと第一教師データ元情報識別子（画像の識別子）とを有する第二教師データ元情報を受信し、複数のラベルを合成する場合である。具体例３は、ユーザ端末２に、クラックが入った外壁（正例）とクラックが入っていない外壁（負例）とのセットの画像の撮影および送信の作業をユーザに依頼する場合である。具体例４において、ユーザ端末２から目的とする情報（例えば、クラックが入った外壁の画像）を受信した後に、直ちに、他のユーザ端末２から受信した１以上の他の目的とする情報（例えば、クラックが入った外壁の画像）を送信し、目的とする情報であるか否か（クラックが入っているか否か）の評価結果を当該ユーザに入力してもらい、当該ユーザ端末２から評価結果を受信し、当該評価結果を送信した情報に対応付けて蓄積する。また、蓄積された１以上の評価結果のうち、「目的とする情報である」との評価結果が採用条件を満たす場合に、当該情報を採用する。なお、採用条件は、例えば、「目的とする情報である」との評価結果の数が閾値以上または閾値より多いこと、「目的とする情報である」との評価結果の割合が閾値以上または閾値より多いことである。
【0251】
（具体例１）
ここでは、データ収集装置１の格納部１１には、機械翻訳を行い、入力情報を入力し、第二教師データ元情報を送信するためのプログラムＡ（アプリＡ）が格納されている、とする。
ここでは、データ収集装置１の格納部１１には、機械翻訳を行い、入力情報を入力し、第二教師データ元情報を送信するためのプログラムＡ（アプリＡ）が格納されている、とする。
【0252】
データ収集装置１は、第一送信指示「＜難解用語＞一蓮托生 ＜データ属性値＞日→英」を受け付けたとする。
【0253】
次に、ユーザ決定部１３１は、当該第一送信指示が有するデータ属性値「日→英」に合致する専門識別子「日→英」と対になる送信先情報「送信先１」を、ユーザ情報管理表（図９）から取得する。
【0254】
次に、処理部１３は、格納部１１からプログラムＡを取得する。また、処理部１３は、本作業を識別する仕事ＩＤ「Ｗ１２５８」を生成する。また、処理部１３は、プログラムＡと要素情報である難解用語「一蓮托生」と仕事ＩＤ「Ｗ１２５８」とを有する第一教師データ元情報を構成する。
【0255】
次に、元情報送信部１４１は、当該第一教師データ元情報を送信先情報「送信先１」に対応する田中Ａ夫のユーザ端末２に送信する。
【0256】
次に、田中Ａ夫のユーザ端末２の端末受信部２５は、データ収集装置１から当該第一教師データ元情報を受信する。次に、端末処理部２３は、受信された第一教師データ元情報から要素情報「一蓮托生」を取得する。また、端末処理部２３は、受信された第一教師データ元情報からプログラムＡを取得する。そして、端末処理部２３は、プログラムＡに要素情報「一蓮托生」を渡し、プログラムＡを実行する。その結果、図１０に示す画面が田中Ａ夫のユーザ端末２に出力された、とする。つまり、プログラムＡに含まれる機械翻訳モジュールでは、日本語「一蓮托生」を「Ichirentakushou」と訳した、とする。
【0257】
次に、田中Ａ夫は、機械翻訳モジュールの自動翻訳結果は間違っているので、１００１のフィールドに、「Ichirentakushou」に代えて、正しい英語翻訳「To be in the same boat.」を入力し、送信ボタン１００２を指示した、とする。
【0258】
次に、端末処理部２３は、第二教師データ元情報「＜仕事ＩＤ＞Ｗ１２５８ ＜ユーザ識別子＞Ｕ００１ ＜要素情報＞一蓮托生 ＜入力情報＞To be in the same boat.」を構成する。次に、端末送信部２４は、当該第二教師データ元情報をデータ収集装置１に送信する。
【0259】
次に、データ収集装置１の元情報受信部１２１は、田中Ａ夫のユーザ端末２から第二教師データ元情報「＜仕事ＩＤ＞Ｗ１２５８ ＜ユーザ識別子＞Ｕ００１ ＜要素情報＞一蓮托生 ＜入力情報＞To be in the same boat.」を受信する。
【0260】
次に、処理部１３は、仕事ＩＤ「Ｗ１２５８」に対応付けて、第二教師データ元情報「＜ユーザ識別子＞Ｕ００１ ＜要素情報＞一蓮托生 ＜入力情報＞To be in the same boat.」を、図示しないバッファに一時蓄積する。
【0261】
次に、判断部１３２は、受信された第二教師データ元情報が検査条件に合致する、と判断した、とする。ここで、検査条件は、ユーザ識別子に対応するユーザ評価が閾値以上であること、であったとする。そして、判断部１３２は、ユーザ識別子「Ｕ００１」と対になるユーザ評価「Ｅ１」をユーザ情報管理表（図９）から取得する。また、判断部１３２は、「Ｅ１＜閾値」であると判断した、とする。
【0262】
次に、処理部１３は、受信された第二教師データ元情報を用いて、他端末に送信する検査情報「＜仕事ＩＤ＞Ｗ１２５８ ＜要素情報＞一蓮托生 ＜入力情報＞To be in the same boat.」を構成する。ここで、他端末送信部１４２は、データ属性値「日→英」に合致する専門識別子「日→英」と対になる送信先情報であり、「送信先１」ではない送信先情報「送信先２」を、ユーザ情報管理表（図９）から取得する。つまり、他端末送信部１４２は、他端末として、山田Ｂ子のユーザ端末２を決定する。次に、他端末送信部１４２は、送信先２が示す送信先に、当該検査情報を送信する。
【0263】
次に、山田Ｂ子のユーザ端末２は、当該検査情報を受信し、出力する。かかる出力例は、図１１である。
【0264】
そして、山田Ｂ子は、翻訳結果を確認し、「正しい」のチェックボックス１１０１にチェックを入力し、送信ボタン１１０２を指示した、とする。
【0265】
次に、ユーザ端末２の端末受付部２２は、山田Ｂ子のかかる入力を受け付ける。次に、端末処理部２３は、評価結果「＜仕事ＩＤ＞Ｗ１２５８ ＜評価結果＞正しい」を構成する。次に、端末送信部２４は、当該評価結果をデータ収集装置１に送信する。
【0266】
次に、データ収集装置１の評価結果受信部１２２は、山田Ｂ子のユーザ端末２から評価結果「＜仕事ＩＤ＞Ｗ１２５８ ＜評価結果＞正しい」を受信する。
【0267】
次に、判断部１３２は、受信された評価結果「正しい」が採用条件を満たす、と判断する。なお、ここでは、採用条件は「評価結果＝正しい」である、とする。
【0268】
次に、教師データ構成部１３３は、第二教師データ元情報「＜仕事ＩＤ＞Ｗ１２５８ ＜ユーザ識別子＞Ｕ００１ ＜要素情報＞一蓮托生 ＜入力情報＞To be in the same boat.」から教師データ（一蓮托生，To be in the same boat.）を構成する。次に、蓄積部１３４は、当該教師データを教師データ格納部１１３に蓄積する。
【0269】
以上の処理を繰り返し、教師データ格納部１１３には、大量の教師データ（難解な日本語用語，難解な日本語用語の英語翻訳用語）が蓄積された、とする。
【0270】
以上、本具体例によれば、難解な日本語の用語を英語の用語に変換するための学習モデルを構築するための多数の教師データを収集できる。
【0271】
（具体例２）
ここでは、データ収集装置１の格納部１１には、要素情報である画像と入力情報を入力するフィールドとを有する画面を出力し、第二教師データ元情報を送信するためのプログラムＢ（アプリＢ）が格納されている、とする。
ここでは、データ収集装置１の格納部１１には、要素情報である画像と入力情報を入力するフィールドとを有する画面を出力し、第二教師データ元情報を送信するためのプログラムＢ（アプリＢ）が格納されている、とする。
【0272】
データ収集装置１は、第一送信指示「＜画像＞ｆｉｌｅ１ ＜送信人数＞３ ＜合成フラグ＞ＯＮ」を受け付けたとする。ｆｉｌｅ１は、犬が撮影された画像ファイルである、とする。
【0273】
次に、ユーザ決定部１３１は、第一送信指示が有する送信人数「３」に従って、例えば、送信先情報「送信先１」「送信先２」「送信先３」を、ユーザ情報管理表（図９）から取得する。
【0274】
次に、処理部１３は、格納部１１からプログラムＢを取得する。また、処理部１３は、第一教師データ元情報識別子（仕事ＩＤ）「Ｗ１２６０」を生成した、とする。また、処理部１３は、仕事ＩＤ「Ｗ１２６０」とプログラムＢと要素情報である画像ファイル「ｆｉｌｅ１」とを有する第一教師データ元情報を構成する。また、処理部１３は、仕事ＩＤ「Ｗ１２６０」と対に、複数人フラグと合成フラグとを蓄積する。
【0275】
次に、元情報送信部１４１は、当該第一教師データ元情報を送信先情報「送信先１」に対応する田中Ａ夫、山田Ｂ子、および陳ＸＹの各ユーザ端末２に送信する。
【0276】
次に、３人の各ユーザのユーザ端末２の端末受信部２５は、データ収集装置１から当該第一教師データ元情報を受信する。次に、端末処理部２３は、受信された第一教師データ元情報から要素情報である画像ファイル「ｆｉｌｅ１」を取得する。また、各ユーザ端末２の端末処理部２３は、受信された第一教師データ元情報からプログラムＢを取得する。そして、端末処理部２３は、プログラムＢに要素情報「ｆｉｌｅ１」を渡し、プログラムＢを実行する。その結果、図１２に示す画面が各ユーザのユーザ端末２に出力された、とする。
【0277】
ここで、田中Ａ夫と山田Ｂ子とは入力情報を入力するフィールド１２に「秋田犬」を入力し、陳ＸＹはフィールド１２に「犬」を入力し、送信ボタン１２０２を指示した、とする。そして、３人の各ユーザのユーザ端末２は、フィールド１２に入力された要素情報と第一教師データ元情報識別子「Ｗ１２６０」とを有する第二教師データ元情報を構成し、データ収集装置１に送信する。
【0278】
次に、データ収集装置１の元情報受信部１２１は、３人の各ユーザのユーザ端末２から第二教師データ元情報を受信する。
【0279】
次に、教師データ構成部１３３は、元情報格納部１１２に、第一教師データ元情報識別子「Ｗ１２６０」と対に、複数人フラグが格納されている、と判断する。そして、教師データ構成部１３３は、すべての入力情報「秋田犬，秋田犬，犬」を取得する。また、教師データ構成部１３３は、元情報格納部１１２に、第一教師データ元情報「Ｗ１２６０」に対応付いて、合成フラグが格納されている、と判断する。次に、教師データ構成部１３３は、取得したすべての入力情報に対して、ユニーク処理を行い、入力情報「秋田犬，犬」を取得する。次に、教師データ構成部１３３は、第一教師データ元情報が有する要素情報（画像ファイル「ｆｉｌｅ１」）を取得する。次に、教師データ構成部１３３は、入力情報「秋田犬，犬」と要素情報（画像ファイル「ｆｉｌｅ１」）とを有する教師データを構成する。次に、蓄積部１３４は、当該教師データを教師データ格納部１１３に蓄積する。
【0280】
なお、ここで、入力情報は、目的変数でも良いし、説明変数でも良い。また、入力情報が目的変数である場合、要素情報は説明変数であり、入力情報が説明変数である場合、要素情報は目的変数である。
【0281】
以上の処理を繰り返し、教師データ格納部１１３には、大量の教師データ（画像，１または２以上のラベル）が蓄積された、とする。
【0282】
なお、具体例２において、入力情報を一つのラベルとする場合、教師データ構成部１３３は、すべての入力情報「秋田犬，秋田犬，犬」に対して、多数決のアルゴリズムを採用し、入力情報「秋田犬」と決定し、当該入力情報「秋田犬」と画像ファイル「ｆｉｌｅ１」からなる教師データを構成しても良い。
【0283】
また、具体例２において、プログラムＢは、画像を識別する機械学習の予測モジュールを含んでも良い。かかる場合、各ユーザのユーザ端末２で、画像ファイル「ｆｉｌｅ１」に対して、当該予測モジュールが実行され、当該画像の予測結果（例えば、「オオカミ」）がユーザ端末２のフィールド１２０１に表示される。そして、ユーザは、フィールド１２０１に表示された入力情報の候補を確認し、修正することとなる。
【0284】
以上、本具体例によれば、画像ファイルをラベリングするための学習モデルを構築するための多数の教師データを収集できる。
【0285】
また、本具体例によれば、ラベリから画像を生成するための学習モデルを構築するための多数の教師データを収集できる。
【0286】
（具体例３）
ここでは、データ収集装置１の格納部１１には、クラックの入った外壁の箇所とクラックが入っていない外壁の箇所との撮影を促し、撮影して、２つの画像を送信するプログラムＣ（アプリＣ）が格納されている、とする。
ここでは、データ収集装置１の格納部１１には、クラックの入った外壁の箇所とクラックが入っていない外壁の箇所との撮影を促し、撮影して、２つの画像を送信するプログラムＣ（アプリＣ）が格納されている、とする。
【0287】
データ収集装置１は、第一送信指示「＜プログラム＞プログラムＣ」を受け付けたとする。
【0288】
次に、ユーザ決定部１３１は、ユーザ情報管理表（図９）から、すべてのユーザの送信先情報を取得した、とする。つまり、ここでは、大量のユーザに以下の作業を依頼するものとする、
【0289】
次に、処理部１３は、格納部１１からプログラムＣを取得する。また、処理部１３は、送信する第一教師データ元情報を識別するユニークな第一教師データ元情報識別子(仕事ＩＤ)「Ｗ２５２２」を生成し、第一教師データ元情報に対応付けて蓄積した、とする。また、処理部１３は、第一教師データ元情報識別子「Ｗ２５２２」とプログラムＣを有する第一教師データ元情報を構成する。
【0290】
次に、元情報送信部１４１は、当該第一教師データ元情報をユーザ決定部１３１が取得した多数の送信先情報に対応する多数のユーザ端末２に送信する。
【0291】
次に、例えば、田中Ａ夫のユーザ端末２の端末受信部２５は、データ収集装置１から当該第一教師データ元情報を受信する。次に、端末処理部２３は、受信された第一教師データ元情報からプログラムＣを取得する。そして、端末処理部２３は、プログラムＣを実行する。その結果、図１３に示す画面が田中Ａ夫のユーザ端末２に出力された、とする。
【0292】
次に、田中Ａ夫は、図１３の画面に従って、図１３の領域１３０１に入るべき、クラックの入った外壁の箇所の画像を撮影するために、当該ユーザ端末２の画面をクラックの入った外壁の箇所に向け、撮影ボタン１３０２を指示した、とする。すると、端末受付部２２は、かかる指示を受け付け、端末処理部２３は、プログラムＣの撮影機能を実行し、クラックの入った外壁の箇所の画像を取得した、とする。
【0293】
また、田中Ａ夫は、図１３の画面に従って、図１３の領域１３０３に入るべき、クラックが入っていない外壁の箇所の画像を撮影するために、当該ユーザ端末２の画面をクラックの入っていない外壁の箇所に向け、撮影ボタン１３０４を指示した、とする。すると、端末受付部２２は、かかる指示を受け付け、端末処理部２３は、プログラムＣの撮影機能を実行し、クラックが入っていない外壁の箇所の画像を取得した、とする。
【0294】
以上により、田中Ａ夫のユーザ端末２は、クラックが入っていない外壁の箇所の画像（正例）と、クラックが入っていない外壁の箇所の画像（負例）とを取得できた。かかる出力例は、図１４である。
【0295】
次に、田中Ａ夫は、ユーザ端末２の画面の送信ボタン１４０１を指示した、とする。次に、端末受付部２２は、第二送信指示を受け付ける。次に、端末処理部２３は、撮影された正例の画像１４０２と負例の画像１４０３と第一教師データ元情報識別子「Ｗ２５２２」とを有する第二教師データ元情報を構成する。次に、端末送信部２４は、当該第二教師データ元情報をデータ収集装置１に送信する。
【0296】
また、他のユーザも、田中Ａ夫と同様に、クラックが入っていない外壁の箇所の画像（正例）と、クラックが入っていない外壁の箇所の画像（負例）とを撮影し、第二教師データ元情報をデータ収集装置１に送信した、とする。
【0297】
次に、データ収集装置１は、元情報受信部１２１は、多数の各ユーザ端末２から第二教師データ元情報を受信する。
【0298】
次に、教師データ構成部１３３は、各ユーザ端末２から送信された第二教師データ元情報から正例の画像と負例の画像とを取得する。次に、教師データ構成部１３３は、取得した正例の画像と負例の画像との組である教師データを、多数、構成する。
【0299】
次に、蓄積部１３４は、構成された多数の教師データを教師データ格納部１１３に蓄積する。
【0300】
なお、ここで、蓄積部１３４は、各ユーザ端末２から送信された正例の画像と負例の画像とを対応付けて、教師データ格納部１１３に蓄積することは好適であるが、正例の画像と負例の画像とを対応付けず、各画像が正例の画像か負例の画像かを区別できるように、教師データ格納部１１３に蓄積するだけでも良い。なお、正例の画像と負例の画像とを対応付けて蓄積する場合でも、蓄積部１３４は、どちらが正例の画像で、どうちらが負例の画像であるかは、区別できるように、蓄積する。
【0301】
以上、本具体例によれば、外壁におけるクラックの有無を識別するための学習モデルを構築するための多数の教師データを収集できた。
【0302】
（具体例４）
具体例３で述べたクラックの外壁の画像（例えば、図１４の１４０２）を多数のユーザ端末２から受信し、蓄積する、とする。
具体例３で述べたクラックの外壁の画像（例えば、図１４の１４０２）を多数のユーザ端末２から受信し、蓄積する、とする。
【0303】
そして、今、データ収集装置１の元情報受信部１２１が入力情報Ａ（例えば、クラックの入った壁の画像）を含む第二教師データ元情報を、ユーザＵのユーザ端末２から受信した、とする。そして、データ収集装置１の蓄積部１３４は、当該第二教師データ元情報を蓄積する。次に、他端末送信部１４２は、ユーザＵのユーザ端末２に、他のユーザ端末２から受信された入力情報Ｘを送信する。
【0304】
そして、ユーザＵのユーザ端末２は、第二教師データ元情報の送信後、すぐにデータ収集装置１から入力情報Ｘを受信し、出力する。
【0305】
次に、ユーザＵは、ユーザ端末２に出力された入力情報Ｘを見て、クラックが入っているように見えないと判断し、評価結果「正しくない」を入力した、とする。次に、ユーザ端末２は、評価結果「正しくない」を受け付け、当該評価結果「正しくない」を、入力情報Ｘの識別子（例えば、「Ｘ」）と対にして、データ収集装置１に送信する。
【0306】
次に、データ収集装置１の評価結果受信部１２２は、入力情報Ｘに対する評価結果「正しくない」をユーザ端末２から受信する。そして、蓄積部１３４は、評価結果受信部１２２が受信した評価結果を、入力情報Ｘに対応付けて蓄積する。
【0307】
このような処理を、ユーザＵだけではなく、他の多数のユーザにより行われた、とする。その結果、入力情報Ｘに対して、多数の評価結果が入力情報Ｘに対応付けて蓄積された、とする。
【0308】
次に、処理部１３は、評価結果「正しい」の割合が閾値以上である場合、入力情報Ｘを教師データとして採用するために、教師データ格納部１１３に蓄積する、とする。なお、かかる蓄積は、蓄積部１３４が行っても良い。
【0309】
以上、本具体例によれば、ユーザが入力情報を送信した後、すぐに、他の入力情報を評価する環境を提供できる結果、入力情報を評価しやくなる。その結果、適正な教師データを収集できることとなる。
【0310】
以上、本実施の形態によれば、機械学習の学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0311】
また、本実施の形態によれば、要素情報から当該要素情報のラベルを予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0312】
また、本実施の形態によれば、要素情報から当該要素情報を変換した変換情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0313】
また、本実施の形態によれば、第一言語の要素情報から当該第二言語に翻訳した変換情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0314】
また、本実施の形態によれば、要素情報から当該要素情報を説明する説明情報を予測するための学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0315】
また、本実施の形態によれば、入力情報を入力することを支援するプログラムもユーザに提供できる。
【0316】
また、本実施の形態によれば、精度の高い学習モデルを構築するための教師データを収集するためのプラットフォームを提供できる。
【0317】
また、本実施の形態によれば、適切なユーザが入力した第二教師データ元情報を取得できる。
【0318】
また、本実施の形態によれば、第二教師データ元情報を提供するユーザを評価できる。
【0319】
また、本実施の形態によれば、入力情報を評価しやくする環境を提供できる。
【0320】
さらに、本実施の形態によれば、第二教師データ元情報を提供するユーザに報酬を与えられる。
【0321】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるデータ収集装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、機械学習の学習処理により学習モデルを構築するための教師データを構成する元になる第一教師データ元情報が格納される元情報格納部にアクセス可能なコンピュータを、前記第一教師データ元情報を２以上の各ユーザ端末に送信する元情報送信部と、前記元情報送信部が送信し、前記ユーザ端末で処理された前記第一教師データ元情報に対してユーザが入力した入力情報を含む第二教師データ元情報を、前記第一教師データ元情報に対応付く態様で前記ユーザ端末から受信する元情報受信部と、前記第一教師データ元情報と前記元情報受信部が受信した前記第二教師データ元情報とを用いて、機械学習の学習処理のために使用する教師データを構成する教師データ構成部と、前記教師データ構成部が構成した前記教師データを蓄積する蓄積部として機能させるためのプログラムである。
【0322】
（実施の形態２）
本実施の形態において、データ収集装置１により収集した複数の教師データを用いて、学習モデルを構築する学習装置について説明する。
本実施の形態において、データ収集装置１により収集した複数の教師データを用いて、学習モデルを構築する学習装置について説明する。
【0323】
また、本実施の形態において、学習装置が構築した学習モデルを用いて、予測処理を行う予測装置について説明する。
【0324】
図１５は、本実施の形態における情報システムＢの概念図である。情報システムＢは、データ収集装置１、学習装置３、および予測装置４を備える。
【0325】
学習装置３、予測装置４は、例えば、いわゆるサーバであり、例えば、クラウドサーバ、ＡＳＰサーバ等である。ただし、学習装置３、予測装置４は、スタンドアロンの装置でも良い。
【0326】
ここでは、例えば、データ収集装置１と学習装置３と予測装置４とは、インターネットやＬＡＮ等のネットワークにより通信可能である。
【0327】
図１６は、本実施の形態における情報システムＢのブロック図である。学習装置３は、教師データ格納部１１３、学習モデル格納部３１、および学習部３２を備える。予測装置４は、学習モデル格納部３１、受付部４１、予測部４２、および予測結果出力部４３を備える。
【0328】
学習装置３を構成する学習部３２は、データ収集装置１が蓄積した２以上の教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、学習モデルを蓄積する。学習部３２は、学習モデル格納部３１に学習モデルを蓄積することは好適である。
【0329】
ここで、学習モデルを構築する機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、ＳＶＭ、ＳＶＲ等、問わない。また、機械学習には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール、ｆａｓｔＴｅｘｔ、ＴｉｎｙＳＶＭ等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
【0330】
予測装置４を構成する受付部４１は、要素情報を受け付ける。要素情報は、例えば、ラベリングの対象の画像、翻訳対象の第一言語の用語または文、説明対象の画像、クラックが入っているか否かを判断する対象の外壁の撮影画像である。
【0331】
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付け、撮影による画像の取得などを含む概念である。
【0332】
要素情報の入力手段は、タッチパネルやキーボードやマウスやカメラやメニュー画面によるもの等、何でも良い。
【0333】
予測部４２は、学習モデル格納部３１の学習モデルと受付部４１が受け付けた要素情報とを用いて、機械学習の予測処理を行い、入力情報を取得する。
【0334】
ここで、予測処理を行う機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、ＳＶＭ、ＳＶＲ等、問わない。また、機械学習には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール、ｆａｓｔＴｅｘｔ、ＴｉｎｙＳＶＭ等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
【0335】
予測結果出力部４３は、予測部４２が取得した入力情報を出力する。ここで、出力とは、記録媒体への蓄積、外部の装置への送信、他の処理装置や他のプログラムなどへの処理結果の引渡し、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力などを含む概念である。
【0336】
学習モデル格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0337】
学習モデル格納部３１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が学習モデル格納部３１で記憶されるようになってもよく、通信回線等を介して送信された情報が学習モデル格納部３１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【0338】
学習部３２、および予測部４２は、通常、プロセッサやメモリ等から実現され得る。学習部３２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
受付部４１は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
受付部４１は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0339】
受付部４１は、無線または有線の通信手段で実現されることが好適であるが、放送を受信する手段、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現されても良い。
【0340】
予測結果出力部４３は、無線または有線の通信手段で実現されても良いし、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現されても良い。かかる場合、予測結果出力部４３は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。
【0341】
なお、データ収集装置１は、学習装置３の学習モデル格納部３１と学習部３２とを具備しても良い。また、データ収集装置１は、予測装置４の受付部４１と予測部４２と予測結果出力部４３とを具備しても良い。
【0342】
以上、本実施の形態によれば、収集した教師データを用いて、学習モデルを構築できる。
【0343】
また、本実施の形態によれば、学習モデルを用いて、予測される入力情報を出力できる。
【0344】
なお、本実施の形態における学習装置３を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、データ収集装置が蓄積した２以上の教師データにアクセス可能なプログラムを、当該２以上の教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、当該学習モデルを蓄積する学習部として機能させるためのプログラムである。
【0345】
また、本実施の形態における予測装置４を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、学習装置３が取得した学習モデルにアクセス可能なコンピュータを、要素情報を受け付ける受付部と、前記受付部が受け付けた前記要素情報とを用いて、機械学習の予測処理を行い、入力情報を取得する予測部と、前記入力情報出力する予測結果出力部として機能させるためのプログラムである。
【0346】
（実施の形態３）
本実施の形態において、学習モデルとモデル評価用プログラムとを２以上のユーザ端末に送信し、ユーザ端末で学習モデルを用いた予測処理を行ってもらい、その評価結果である結果情報を受信し、蓄積するモデル評価装置を含むモデル評価システムについて説明する。なお、モデル評価装置は、ユーザ端末から対象データや正解データを受信しても良い。また、学習モデルを評価するためのデータである対象データは、ユーザにより取得してもらうことは好適であるが、モデル評価装置がユーザ端末に送信しても良い。
本実施の形態において、学習モデルとモデル評価用プログラムとを２以上のユーザ端末に送信し、ユーザ端末で学習モデルを用いた予測処理を行ってもらい、その評価結果である結果情報を受信し、蓄積するモデル評価装置を含むモデル評価システムについて説明する。なお、モデル評価装置は、ユーザ端末から対象データや正解データを受信しても良い。また、学習モデルを評価するためのデータである対象データは、ユーザにより取得してもらうことは好適であるが、モデル評価装置がユーザ端末に送信しても良い。
【0347】
本実施の形態において、２以上の結果情報に応じて、学習モデルに関する異なる処理を行うモデル評価装置を含むモデル評価システムについて説明する。モデル評価装置は、例えば、評価結果が良好な場合はデータ収集処理を終了し、評価結果が不良である場合はデータ収集処理を継続して行う。
【0348】
本実施の形態において、学習モデルの評価に対する報酬をユーザに与えるモデル評価装置を含むモデル評価システムについて説明する。なお、モデル評価装置は、対象データや正解データに対しても報償することは好適である。
【0349】
本実施の形態において、受信された対象データと正解データとを有する教師データを用いて精度の高い学習モデルを取得する機能を有するモデル評価装置を含むモデル評価システムについて説明する。
【0350】
本実施の形態において、学習モデルとモデル評価用プログラムとを受信し、当該学習モデルを用いた予測処理を行い、当該学習モデルの評価を示す結果情報の入力を受け付け、当該結果情報をモデル評価装置に送信するユーザ端末について説明する。なお、ユーザ端末は、対象データ、正解データをも送信することは好適である。
【0351】
図１７は、本実施の形態におけるモデル評価システムＣの概念図である。モデル評価システムＣは、モデル評価装置５、および１または２以上のユーザ端末６を備える。
【0352】
モデル評価装置５は、機械学習の学習モデルの評価のために、学習モデル等をユーザ端末６に送信し、ユーザ端末６からその評価の結果を受信し、蓄積等するサーバである。モデル評価装置５は、例えば、いわゆるサーバであり、例えば、クラウドサーバ、ＡＳＰサーバ等である。
【0353】
ユーザ端末６は、ユーザが使用する結果情報を送信する者である。ユーザ端末６は、学習モデルと評価プログラムとを受信し、結果情報を送信する端末である。ユーザ端末６は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。
【0354】
【0355】
モデル評価装置５は、格納部５１、送信部５２、受信部５３、および処理部５４を備える。送信部５２は、モデル送信部５２１を備える。受信部５３は、結果受信部５３１を備える。処理部５４は、蓄積部５４１、モデル処理部５４２、報償部５４３、および学習部５４４を備える。
【0356】
ユーザ端末６は、端末格納部６１、端末受付部６２、端末処理部６３、端末送信部６４、端末受信部６５、および端末出力部６６を備える。端末処理部６３は、端末実行部６３１を備える。端末実行部６３１は、データ取得手段６３１１、および予測手段６３１２を備える。
【0357】
モデル評価装置５を構成する格納部５１には、各種の情報が格納される。また、各種の情報は、例えば、エラー情報、各種の条件、報償単価情報、停止フラグである。エラー情報は、エラーであることを伝えるための情報である。各種の条件は、例えば、学習条件、評価停止条件である。
【0358】
学習条件とは、ユーザ端末６から受信された対象データを用いた学習処理を行うための条件である。学習条件は、例えば、受信された対象データ、受信された結果情報、受信された正解データのうちの１以上の情報に基づく条件である。学習条件は、例えば、「受信された対象データの数が閾値以上または閾値より多いこと」、「受信された正解データの数が閾値以上または閾値より多いこと」、「受信された対象データの数が第一閾値以上または第一閾値より多いこと、および受信された２以上の結果情報における正解率が第二閾値以下または第二閾値未満であること」、または「受信された正解データの数が第一閾値以上または第一閾値より多いこと、および受信された２以上の結果情報における正解率が第二閾値以下または第二閾値未満であること」である。
【0359】
評価停止条件とは、学習モデルに対するさらなる評価を停止するための条件である。評価停止条件は、受信された結果情報に基づく条件である。受信された結果情報に基づく条件は、受信された結果情報の数、または内容に基づく条件である。評価停止条件は、例えば、「結果情報の数が閾値以上または閾値より多いこと」、または「結果情報の数が第一閾値以上または第一閾値より多いこと、および正解率が第二閾値以下または第二閾値未満であること」である。評価停止条件は、学習条件と同じでも良い。
【0360】
報償単価情報とは、１件の学習モデルの評価に対して、ユーザに与える報償を決定するための情報である。報償単価情報は、学習モデルごとに異なっていることは好適であるが、すべての学習モデルに対して同じでも良い。１または２以上の各報償単価情報は、モデル識別子に対応付いていることは好適である。ユーザ端末６から受信された情報が結果情報だけの場合と、結果情報と対象データを含む場合と、結果情報と対象データと正解データとを含む場合とで、報償単価情報が異なることは好適である。ユーザ端末６から受信された情報が結果情報だけの場合は最低の報償単価情報（第一報償単価情報）であり、結果情報と対象データを含む場合は中位の報償単価情報（第二報償単価情報）であり、結果情報と対象データと正解データとを含む場合は最高の報償単価情報（第三報償単価情報）であることは好適である。
【0361】
停止フラグとは、学習モデルの評価を停止するか、続けるかを識別する情報である。停止フラグは、例えば、「ＯＮ」または「ＯＦＦ」である。「ＯＮ」は、学習モデルの評価を停止することを示す。「ＯＦＦ」は、学習モデルの評価を続けることを示す。
【0362】
格納部５１には、１または２以上の学習モデルと評価プログラムとが格納される。格納部５１に格納されている評価プログラムは一つでも良いし、２以上でも良い。２以上の各評価プログラムは、１または２以上の学習モデルに対応する。
【0363】
格納部５１の各学習モデルには、当該学習モデルを構築する際に使用した２以上の教師データが格納されていることは好適である。
【0364】
学習モデルとは、機械学習の学習処理により構成された情報であり、機械学習の予測処理に使用される情報である。学習モデルは、学習器、分類器、分類モデル等と言っても良い。機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、ＳＶＭ等、問わない。また、機械学習には、例えば、ＴｅｎｓｏｒＦｌｏｗのライブラリ、Ｒ言語のｒａｎｄｏｍ ｆｏｒｅｓｔのモジュール、ｆａｓｔＴｅｘｔ、ＴｉｎｙＳＶＭ等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
【0365】
評価プログラムとは、ユーザが学習モデルを評価することを支援するプログラムである。プログラムは、通常、実行形式のプログラムであるが、インタープリットが可能なプログラム、関数、モジュール、メソッド、実行モジュールへのリンク情報等でも良い。評価プログラムは、ユーザがユーザ端末６で学習モデルを評価するための環境を与えるものであれば良い。
【0366】
評価プログラムは、機械学習の予測処理を行う予測プログラムを含む。予測プログラムは、機械学習の予測処理を行うプログラムである。評価プログラムは、予測プログラムのみでも良い。
【0367】
評価プログラムは、例えば、予測プログラムと、１または２以上の他のプログラムとを含む。他のプログラムは、例えば、対象データ取得プログラム、結果情報受付プログラム、結果情報送信プログラムである。評価プログラムは、例えば、対象データ取得プログラム、予測プログラム、結果情報受付プログラム、正解データ受付プログラム、結果情報送信プログラムを含む。
【0368】
対象データ取得プログラムとは、対象データを取得するためのプログラムである。対象データが画像である場合、対象データ取得プログラムは、例えば、画像を撮影し、撮影した画像を出力するプログラムである。対象データが音声である場合、対象データ取得プログラムは、例えば、音声を受け付け、蓄積するプログラムである。対象データが文や文章等の文字列である場合、対象データ取得プログラムは、例えば、ユーザからの文や文章の入力を受け付け、蓄積するプログラムである。
【0369】
対象データとは、機械学習の予測処理の対象となるデータである。対象データは、学習モデルと共に、機械学習の予測処理を行うプログラムに与えられる。
【0370】
結果情報受付プログラムとは、結果情報の入力を受け付けるプログラムである。結果情報とは、評価プログラムが学習モデルを使用した結果に関する情報である。結果情報は、例えば、「正解（例えば、「１」）」、「不正解（例えば、「０」）」である。
【0371】
正解データ受付プログラムとは、正解データを受け付けるプログラムである。正解データとは、正しいデータである。正解データは、通常、ユーザがユーザ端末６に入力したデータである。
【0372】
結果情報送信プログラムとは、結果情報をモデル評価装置５に送信するプログラムである。結果情報送信プログラムは、対象データ、正解データのうちの１以上のデータをモデル評価装置５に送信するプログラムであっても良い。なお、データは、情報と言っても良い。
【0373】
格納部５１には、例えば、１または２以上のユーザ情報が格納される。つまり、格納部５１は、ユーザ情報格納部１１１を具備しても良い。ここでのユーザ情報は、例えば、氏名、送信先情報、報償情報を有する。
【0374】
ユーザ識別子とは、ユーザを識別する情報である。ユーザ識別子は、ユーザ端末６を識別する情報でも良い。ユーザ識別子は、例えば、ユーザのＩＤ、ユーザの氏名、ユーザのメールアドレス、ユーザの電話番号、ユーザ端末６のＩＰアドレス、ユーザ端末６のＭＡＣアドレスである。
【0375】
送信先情報とは、ユーザへの送信先を特定する情報である。送信先情報は、例えば、メールアドレス、電話番号、ユーザのＩＤである。
【0376】
報償情報とは、ユーザが受け取った報償を特定する情報である。報償情報は、例えば、ポイント、金額である。
【0377】
送信部５２は、各種の情報を、１または２以上の各ユーザ端末６に送信する。各種の情報は、例えば、学習モデル、評価プログラムである。
【0378】
モデル送信部５２１は、モデル送信処理を行う。モデル送信処理とは、格納部５１に格納されている学習モデルと評価プログラムとを１または２以上の各ユーザ端末６に送信する処理である。なお、モデル送信部５２１は、通常、学習モデル等を２以上のユーザ端末６に送信する。つまり、通常、一の学習モデルの評価は、２以上のユーザにより行われる。
【0379】
モデル送信部５２１は、学習モデルと評価プログラムとを一緒に送信することは好適であるが、別々に送信しても良い。学習モデルと前記評価プログラムの送信タイミングは問わない。学習モデルと前記評価プログラムの送信のトリガーも問わない。
【0380】
モデル送信部５２１は、例えば、モデル識別子と対にして、学習モデルをユーザ端末６に送信する。
モデル識別子とは、学習モデルを識別する情報である。モデル識別子は、例えば、学習モデルのＩＤである。
モデル識別子とは、学習モデルを識別する情報である。モデル識別子は、例えば、学習モデルのＩＤである。
【0381】
受信部５３は、各種の情報や指示をユーザ端末６から受信する。各種の情報や指示は、例えば、モデル送信指示、結果情報、対象データ、正解データである。
【0382】
モデル送信指示とは、学習モデル等の送信の指示である。学習モデル等とは、通常、学習モデルと評価プログラムであるが、学習モデルだけでも良い。モデル送信指示は、１または２以上の特定の学習モデルを識別するモデル識別子に対応付いていることは好適である。
【0383】
結果受信部５３１は、結果情報を２以上の各ユーザ端末６から受信する。結果情報は、２以上の各ユーザ端末６において、評価プログラムが学習モデルを使用した結果に関する情報である。結果情報は、対象データと正解データのうちの１以上の情報を含むと考えても良い。
【0384】
結果受信部５３１は、例えば、結果情報に加えて、予測処理の対象である対象データを受信する。対象データは、ユーザ端末６で取得されたデータであることは好適であるが、モデル評価装置５がユーザ端末６に送信したデータでも良い。
【0385】
結果受信部５３１は、例えば、結果情報に加えて、対象データと正解データとを受信する。なお、結果受信部５３１が正解データを受信した場合は、学習モデルを用いて取得された予測結果が不正解であると言えるので、正解データの受信を、「不正解」を示す結果情報の受信と同一視しても良い。つまり、結果受信部５３１が正解データの受信した場合に、「不正解」を示す結果情報の受信したものと判断しても良い。また、結果受信部５３１が正解データを受信しない場合を学習モデルを用いて取得された予測結果が正解であるとして、正解データを受信せずに対象データを受信したことを、「正解」を示す結果情報の受信と同一視しても良い。つまり、結果受信部５３１が対象データを受信し、正解データを受信しない場合に、「正解」を示す結果情報の受信したものと判断しても良い。
【0386】
結果受信部５３１は、例えば、結果情報のみを受信したり、結果情報と対象データとを受信したり、結果情報と対象データと正解データとを受信したりしても良い。つまり、結果受信部５３１は、例えば、ユーザによって、またはその時によって、異なる種類の情報を受信しても良い。
【0387】
結果受信部５３１は、例えば、ユーザ識別子に対応付けて、結果情報等を受信する。結果受信部５３１は、例えば、モデル識別子に対応付けて、結果情報等を受信する。
【0388】
処理部５４は、各種の処理を行う。各種の処理は、例えば、蓄積部５４１、モデル処理部５４２、報償部５４３、学習部５４４が行う処理である。
【0389】
蓄積部５４１は、２以上の結果情報を蓄積する。蓄積部５４１は、例えば、結果情報と対象データとを対応付けて蓄積する。蓄積部５４１は、例えば、結果情報と対象データと正解データとを対応付けて蓄積する。蓄積部５４１は、例えば、結果受信部５３１が受信した対象データ、正解データのうちの１以上の情報を蓄積する。
【0390】
蓄積部５４１は、学習モデルに対応付けて結果情報等を蓄積することは好適である。蓄積部５４１は、結果情報等をモデル識別子と対にして蓄積することは好適である。蓄積部５４１は、結果情報等を、例えば、格納部５１に蓄積するが、他の装置に蓄積しても良い。なお、結果情報等は、例えば、結果情報、対象データ、正解データのうちの１または２以上の情報である。
【0391】
モデル処理部５４２は、蓄積部５４１が蓄積した２以上の結果情報に応じて、学習モデルに関して、異なる処理を行う。
【0392】
モデル処理部５４２は、２以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、評価停止条件に合致する場合は、学習モデルと評価プログラムの送信を停止するための送信停止処理を行う。
【0393】
送信停止処理とは、評価のために、学習モデルがユーザ端末２に送信されないようにするための処理である。送信停止処理は、例えば、学習モデルのモデル識別子に対応付けて、停止フラグ「ＯＮ」を蓄積する処理である。停止フラグとは、学習モデルの評価を停止することを示すフラグである。送信停止処理は、例えば、当該学習モデルを格納部５１から削除する処理である。学習モデルの削除により、当該学習モデルはユーザ端末６に送信できなくなる。
【0394】
モデル処理部５４２は、１以上の結果情報が評価停止条件に合致するほど良好であるか否かを判断し、評価停止条件に合致しない場合は、モデル送信部５２１に、モデル送信処理をさらに行うように指示する。モデル送信処理は、学習モデルをユーザ端末６に送信する処理である。
【0395】
報償部５４３は、結果情報の受信に対して、当該結果情報に対応するユーザ識別子で識別されるユーザに対する報償処理を行う。報償処理は、例えば、当該ユーザ識別子と対になる報償情報を増加させる処理である。
【0396】
報償部５４３は、対象データの受信に対しても、ユーザ識別子で識別されるユーザに対する報償処理を行うことは好適である。
【0397】
報償部５４３は、正解データの受信に対しても、ユーザ識別子で識別されるユーザに対する報償処理を行うことは好適である。
【0398】
報償部５４３は、結果情報、対象データ、正解データのうち、結果情報のみを受信した場合は、結果情報と対象データとを受信した場合と比較して、低い報償を与える報償処理を行うことは好適である。報償部５４３は、結果情報、対象データ、正解データのうち、結果情報と対象データのみを受信した場合は、結果情報と対象データと正解データとを受信した場合と比較して、低い報償を与える報償処理を行うことは好適である。
【0399】
学習部５４４は、ユーザ端末６から受信した２以上の各対象データを含む２以上の教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する。学習モデルの蓄積先は、例えば、格納部１１であるが、他の装置でも良く、問わない。
【0400】
学習部５４４は、例えば、２以上の各ユーザ端末６から受信した対象データと正解データとを有する教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する。
【0401】
学習部５４４は、例えば、２以上の各ユーザ端末６から受信した結果情報と対象データとを有する教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する。
【0402】
学習部５４４は、例えば、格納部５１に格納されている学習モデルと対になる２以上の教師データと、ユーザ端末６から受信した対象データを含む１以上の教師データとを含む３以上の教師データを用いて、機械学習の学習処理を行い、学習モデルを取得し、蓄積する。
【0403】
ユーザ端末６を構成する端末格納部６１には、各種の情報が格納される。各種の情報とは、例えば、ユーザ識別子、モデル識別子、学習モデル、対象データ、正解データ、各種のプログラムである。各種のプログラムは、例えば、評価プログラムである。
【0404】
端末受付部６２は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、結果情報、正解データである。
【0405】
端末受付部６２は、端末実行部６３１が取得した予測結果に対する評価である結果情報を受け付ける。端末受付部６２は、正解データを受け付けても良い。端末受付部６２は、対象データを受け付けても良い。
【0406】
ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【0407】
各種の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0408】
端末処理部６３は、各種の処理を行う。各種の処理は、例えば、端末実行部６３１が行う処理である。各種の処理は、例えば、受け付けられた情報や指示等を、送信する構造の情報や指示等にする処理である。各種の処理は、例えば、受信された情報を出力する構造の情報にする処理である。
【0409】
端末実行部６３１は、学習モデルを使用する評価プログラムを実行し、予測結果を取得する。端末実行部６３１は、評価プログラムが有する予測プログラムを用いて、予測結果を取得する。
【0410】
データ取得手段６３１１は、評価プログラムが有する情報取得プログラムを実行し、対象データを取得する。情報取得プログラムとは、対象データを取得するためのプログラムである。データ取得手段６３１１は、例えば、カメラを動作させ、画像を撮影する。なお、画像は、通常、静止画であるが、動画でも良い。かかる場合、情報取得プログラムは、画像を撮影するプログラムである。データ取得手段６３１１は、例えば、ユーザが発生した音声を取得する。かかる場合、情報取得プログラムは、音声のデータを取得するプログラムである。データ取得手段６３１１は、例えば、ユーザが入力した文または文章等の文字列を取得する。かかる場合、情報取得プログラムは、ユーザからの文字列の入力を受け付けるプログラムである。
【0411】
予測手段６３１２は、学習モデルと対象データとを使用して、評価プログラムが有する予測プログラムを実行し、予測結果を取得し、出力する。予測手段６３１２は、学習モデルと対象データとを予測プログラムに与え、当該予測プログラムを実行する。なお、予測プログラムは、機械学習の予測処理を行うプログラムである。
【0412】
端末送信部６４は、端末受付部６２が受け付けた結果情報をモデル評価装置５に送信する。端末送信部６４は、例えば、対象データと結果情報とをモデル評価装置５に送信する。
【0413】
端末送信部６４は、例えば、対象データと結果情報と正解データとをモデル評価装置５に送信する。
【0414】
端末受信部６５は、モデル評価装置５から学習モデルと評価プログラムとを受信する。端末受信部６５は、学習モデルと評価プログラムとを、一緒に受信しても良いし、別々に受信しても良い。
【0415】
端末出力部６６は、各種の情報を出力する。各種の情報は、例えば、対象データ、予測結果、正解データである。
【0416】
ここで、出力とは、通常、ディスプレイへの表示であるが、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念であっても良い。
【0417】
格納部５１、および端末格納部６１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0418】
格納部５１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部５１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部５１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部５１等で記憶されるようになってもよい。
【0419】
送信部５２、モデル送信部５２１、および端末送信部６４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【0420】
受信部５３、結果受信部５３１、および端末受信部６５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【0421】
処理部５４、蓄積部５４１、モデル処理部５４２、報償部５４３、学習部５４４、端末処理部６３、端末実行部６３１、データ取得手段６３１１、および予測手段６３１２は、通常、プロセッサやメモリ等から実現され得る。処理部５４等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。なお、プロセッサは、ＣＰＵ、ＭＰＵ、ＧＰＵ等であり、その種類は問わない。
【0422】
端末受付部６２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0423】
端末出力部６６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。端末出力部６６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0424】
次に、モデル評価システムＣの動作例について説明する。まず、データ収集装置１の動作例について、図２０のフローチャートを用いて説明する。
【0425】
（ステップＳ２００１）受信部５３は、モデル送信指示を受信したか否かを判断する。モデル送信指示を受信した場合はステップＳ２００２に行き、受信しなかった場合はステップＳ２００８に行く。なお、モデル送信指示は、例えば、モデル識別子、ユーザ識別子に対応付いている。
【0426】
（ステップＳ２００２）モデル処理部５４２は、ステップＳ２００１で受信されたモデル送信指示に対応するモデル識別子を取得する。
【0427】
（ステップＳ２００３）モデル処理部５４２は、モデル識別子で識別される学習モデルが評価停止条件に合致するか否かを判断する。評価停止条件に合致する場合はステップＳ２００６に行き、合致しない場合はステップＳ２００４に行く。
【0428】
なお、モデル処理部５４２は、モデル識別子と対になる停止フラグに基づいて学習モデルが評価停止条件に合致するか否かを判断しても良いし、ステップＳ２０１５のモデル評価処理を行って、学習モデルが評価停止条件に合致するか否かを判断しても良い。
【0429】
（ステップＳ２００４）モデル処理部５４２は、ステップＳ２００１で受信されたモデル送信指示に対応するモデル識別子で識別される学習モデル等を取得する。なお、ここでの学習モデル等は、学習モデルと評価プログラム、または学習モデルである。
【0430】
（ステップＳ２００５）モデル送信部５２１は、ステップＳ２００４で取得された学習モデル等を、モデル送信指示を送信してきたユーザ端末６に送信する。ステップＳ２００１に戻る。
【0431】
（ステップＳ２００６）モデル処理部５４２は、モデル送信指示に対応する学習モデル
は、評価する必要が無いために、送信しない旨のエラー情報を取得する。なお、エラー情報は、例えば、格納部５１に格納されている。
は、評価する必要が無いために、送信しない旨のエラー情報を取得する。なお、エラー情報は、例えば、格納部５１に格納されている。
【0432】
（ステップＳ２００７）送信部５２は、ステップＳ２００６で取得されたエラー情報を、モデル送信指示を送信してきたユーザ端末６に送信する。ステップＳ２００１に戻る。
【0433】
（ステップＳ２００８）結果受信部５３１は、結果情報等を受信したか否かを判断する。果情報等を受信した場合はステップＳ２００９に行き、受信しなかった場合はステップＳ２０１２に行く。なお、受信された結果情報等には、通常、モデル識別子、およびユーザ識別子が対応付いている。また、結果情報等とは、例えば、結果情報と対象データ、結果情報と対象データと正解データ、結果情報のみである。
【0434】
（ステップＳ２００９）蓄積部５４１は、ステップＳ２００８で受信された結果情報等に対応するモデル識別子を取得する。
【0435】
（ステップＳ２０１０）蓄積部５４１は、ステップＳ２００８で受信された結果情報等を、ステップＳ２００９で取得したモデル識別子に対応付けて、格納部５１に蓄積する。
【0436】
（ステップＳ２０１１）報償部５４３は、結果情報等を送信したユーザに対する報償処理を行う。ステップＳ２００１に戻る。報償処理の例について、図２１のフローチャートを用いて説明する。
【0437】
（ステップＳ２０１２）処理部５４は、学習モデルの評価のタイミングであるか否かを判断する。学習モデルの評価のタイミングでステップＳ２０１３に行き、学習モデルの評価のタイミングでなければステップＳ２０１７に行く。
【0438】
（ステップＳ２０１３）モデル処理部５４２は、カウンタｉに１を代入する。
【0439】
（ステップＳ２０１４）モデル処理部５４２は、格納部５１に、評価対象のｉ番目の学習モデルが存在するか否かを判断する。ｉ番目の学習モデルが存在する場合はステップＳ２０１５に行き、存在しない場合はステップＳ２００１に戻る。
【0440】
（ステップＳ２０１５）モデル処理部５４２は、ｉ番目の学習モデルに対する評価処理を行う。かかるモデル評価処理の例について、図２２のフローチャートを用いて説明する。
【0441】
（ステップＳ２０１６）モデル処理部５４２は、カウンタｉを１、インクリメントする。ステップＳ２０１４に戻る。
【0442】
（ステップＳ２０１７）学習部５４４は、ユーザ端末６から受信された対象データ等を用いた学習のタイミングであるか否かを判断する。学習のタイミングでステップＳ２０１８に行き、学習のタイミングでなければステップＳ２００１に戻る。なお、学習のタイミングは、定期的でも良いし、管理者の指示が受信された時等でも良く、問わない。
【0443】
（ステップＳ２０１８）学習部５４４は、カウンタｉに１を代入する。
【0444】
（ステップＳ２０１９）学習部５４４は、格納部５１にｉ番目の学習モデルが存在するか否かを判断する。ｉ番目の学習モデルが存在する場合はステップＳ２０２０に行き、存在しない場合はステップＳ２００１に戻る。
【0445】
（ステップＳ２０２０）学習部５４４は、ｉ番目の学習モデルが学習条件に合致するか否かを判断する。学習条件に合致する場合はステップＳ２０２１に行き、合致しない場合はステップＳ２０２２に行く。
【0446】
（ステップＳ２０２１）学習部５４４は、ｉ番目の学習モデルを更新するための学習処理を行う。学習処理の例について、図２３のフローチャートを用いて説明する。
【0447】
（ステップＳ２０２２）学習部５４４は、カウンタｉを１、インクリメントする。ステップＳ２０１９に戻る。
【0448】
なお、図２０のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0449】
次に、モステップＳ２０１１の報償処理の例について、図２１のフローチャートを用いて説明する。
【0450】
（ステップＳ２１０１）報償部５４３は、ステップＳ２００８で受信された結果情報等に、対象データが含まれるか否かを判断する。対象データが含まれる場合はステップＳ２１０２に行き、対象データが含まれない場合はステップＳ２１０５に行く。
【0451】
（ステップＳ２１０２）報償部５４３は、ステップＳ２００８で受信された結果情報等に、正解データが含まれるか否かを判断する。正解データが含まれる場合はステップＳ２１０３に行き、正解データが含まれない場合はステップＳ２１０４に行く。
【0452】
（ステップＳ２１０３）報償部５４３は、ステップＳ２００８で受信された結果情報等に対応するモデル識別子に対応する最高の報償単価情報を格納部５１から取得する。
【0453】
（ステップＳ２１０４）報償部５４３は、ステップＳ２００８で受信された結果情報等に対応するモデル識別子に対応する中位の報償単価情報を格納部５１から取得する。
【0454】
（ステップＳ２１０５）報償部５４３は、ステップＳ２００８で受信された結果情報等に対応するモデル識別子に対応する最低の報償単価情報を格納部５１から取得する。
【0455】
（ステップＳ２１０６）報償部５４３は、ステップＳ２００８で受信された結果情報等と対になるユーザ識別子を取得する。
【0456】
（ステップＳ２１０７）報償部５４３は、ステップＳ２１０６で取得したユーザ識別子と対になる報償情報に、取得した報償単価情報を加算する。上位処理にリターンする。
【0457】
次に、ステップＳ２０１５のモデル評価処理の例について、図２２のフローチャートを用いて説明する。
【0458】
（ステップＳ２２０１）モデル処理部５４２は、対象となる学習モデルのモデル識別子と対になる停止フラグを格納部５１から取得する。モデル処理部５４２は、当該停止フラグがＯＦＦであるか否かを判断する。ＯＦＦであればステップＳ２２０２に行き、ＯＮであれば上位処理にリターンする。
【0459】
なお、停止フラグがＯＮであれば、当該学習モデルは、さらに評価する必要がない場合である。停止フラグがＯＦＦであれば、当該学習モデルは、さらに評価する必要がある場合である。
【0460】
（ステップＳ２２０２）モデル処理部５４２は、対象となる学習モデルのモデル識別子を取得する。
【0461】
（ステップＳ２２０３）モデル処理部５４２は、ステップＳ２２０２で取得したモデル識別子と対になるすべての結果情報等を格納部５１から取得する。なお、結果情報等とは、結果情報だけでも良いし、結果情報と対象データでも良いし、結果情報と対象データと正解データでも良い。
【0462】
（ステップＳ２２０４）モデル処理部５４２は、ステップＳ２２０３で取得した１以上の結果情報等が、評価停止条件を満たすか否かを判断する。評価停止条件を満たす場合はステップＳ２２０５に行き、評価停止条件を満たさない場合は上位処理にリターンする。
【0463】
（ステップＳ２２０５）モデル処理部５４２は、ステップＳ２２０２で取得したモデル識別子と対の停止フラグを「ＯＮ」にする。上位処理にリターンする。なお、停止フラグの初期値は「ＯＦＦ」である。
【0464】
次に、ステップＳ２０２１の学習処理の例について、図２３のフローチャートを用いて説明する。
【0465】
（ステップＳ２３０１）学習部５４４は、更新の対象となる学習モデルのモデル識別子を取得する。
【0466】
（ステップＳ２３０２）学習部５４４は、カウンタｉに１を代入する。
【0467】
（ステップＳ２３０３）学習部５４４は、モデル識別子と対になる対象データであり、新たに蓄積されたｉ番目の対象データが格納部５１に存在するか否かを判断する。ｉ番目の対象データが存在する場合はステップＳ２３０４に行き、存在しない場合はステップＳ２３０７に行く。
【0468】
（ステップＳ２３０４）学習部５４４は、モデル識別子と対になるｉ番目の対象データ等を取得する。ｉ番目の対象データ等とは、例えば、ｉ番目の対象データと、当該対象データと対になる正解データである。
【0469】
（ステップＳ２３０５）学習部５４４は、ｉ番目の対象データ等を含む教師データを構成し、図示しないバッファに一時蓄積する。
【0470】
（ステップＳ２３０６）学習部５４４は、カウンタｉを１、インクリメントする。ステップＳ２３０３に戻る。
【0471】
（ステップＳ２３０７）学習部５４４は、モデル識別子で識別される学習モデルの作成に使用した２以上の教師データを格納部５１から取得する。
【0472】
（ステップＳ２３０８）学習部５４４は、ステップＳ２３０５で図示しないバッファに一時蓄積した１以上の教師データ、およびステップＳ２３０７で取得した２以上の教師データを、学習処理を行うモジュールである学習モジュールに与える。
【0473】
（ステップＳ２３０９）学習部５４４は、３以上の教師データを与えた学習モジュールを実行し、新しい学習モデルを取得する。
【0474】
（ステップＳ２３１０）学習部５４４は、ステップＳ２３０９で取得した新しい学習モデルを、モデル識別子と対にして、格納部５１に蓄積する。上位処理にリターンする。なお、ここで、学習部５４４は、当該モデル識別子と対になる学習モデルに、ステップＳ２３０９で取得した新しい学習モデルを上書きしても良いし、追記しても良い。
【0475】
次に、ユーザ端末６の動作例について、図２４のフローチャートを用いて説明する。
【0476】
（ステップＳ２４０１）端末受付部６２は、モデル送信指示を受け付けたか否かを判断する。モデル送信指示を受け付けた場合はステップＳ２４０２に行き、受け付けなかった場合はステップＳ２４０７に行く。なお、受け付けられたモデル送信指示は、例えば、モデル識別子を有する。
【0477】
（ステップＳ２４０２）端末処理部６３は、端末格納部６１のユーザ識別子を取得し、当該ユーザ識別子を含むモデル送信指示を構成する。端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
【0478】
（ステップＳ２４０３）モデル送信指示の送信に応じて、端末受信部６５は、モデル評価装置５から学習モデル等を受信したか否かを判断する。学習モデル等を受信した場合はステップＳ２４０４に行き、受信しなかった場合はステップＳ２４０５に行く。なお、学習モデル等は、通常、学習モデル、または学習モデルと評価プログラムである。
【0479】
（ステップＳ２４０４）端末実行部６３１は、受信された評価プログラム、または端末格納部６１に格納している評価プログラムを実行し、対象データを取得するための画面を出力する。ステップＳ２４０１に戻る。
【0480】
（ステップＳ２４０５）モデル送信指示の送信に応じて、端末受信部６５は、モデル評価装置５からエラー情報を受信したか否かを判断する。エラー情報を受信した場合はステップＳ２４０６に行き、受信しなかった場合はステップＳ２４０３に戻る。
【0481】
（ステップＳ２４０６）端末処理部６３は、受信されたエラー情報を用いて、出力するエラー情報を構成する。端末出力部６６は、当該エラー情報を出力する。ステップＳ２４０１に戻る。
【0482】
（ステップＳ２４０７）端末受付部６２は、対象データ取得指示を受け付けたか否かを判断する。対象データ取得指示を受け付けた場合はステップＳ２４０８に行き、受け付けなかった場合はステップＳ２４０１に戻る。
【0483】
（ステップＳ２４０８）データ取得手段６３１１は、対象データを取得する。なお、データ取得手段６３１１は、例えば、撮影指示である対象データ取得指示の受け付けに応じて、撮影し、画像である対象データを取得する。データ取得手段６３１１は、例えば、文または文章の入力である対象データ取得指示の受け付けに応じて、当該文または文章の文字列を取得する。データ取得手段６３１１は、例えば、音声の受け付けである対象データ取得指示の受け付けに応じて、当該音声を取得する。なお、取得する音声は、音声データ、音声情報と言っても良い。
【0484】
（ステップＳ２４０９）データ取得手段６３１１は、ステップＳ２４０８で取得された対象データを出力する。
【0485】
（ステップＳ２４１０）予測手段６３１２は、ステップＳ２４０８で取得された対象データと、受信された学習モデルとを用いて、機械学習の予測処理を行い、予測結果を取得する。
【0486】
（ステップＳ２４１１）予測手段６３１２は、ステップＳ２４１０で取得した予測結果を出力する。
【0487】
（ステップＳ２４１２）端末受付部６２は、出力された対象データと出力された予測結果とを見たユーザから、結果情報を受け付けたか否かを判断する。結果情報を受け付けた場合はステップＳ２４１３に行き、受け付けなかった場合はステップＳ２４１２に戻る。
【0488】
（ステップＳ２４１３）端末実行部６３１は、ステップＳ２４１２で受け付けられた結果情報が「正解」を示す情報であるか、「不正解」を示す情報であるかを判断する。「正解」を示す情報である場合はステップＳ２４１５に行き、「不正解」を示す情報である場合はステップＳ２４１４に行く。
【0489】
（ステップＳ２４１４）端末実行部６３１は、正解データを受け付けるための画面を出力する。そして、端末受付部６２は、正解データを受け付けたか否かを判断する。正解データを受け付けた場合はステップＳ２４１５に行き、受け付けなかった場合は正解データの受け付けを待つ。
【0490】
（ステップＳ２４１５）端末実行部６３１は、送信する情報を構成する。送信する情報は、例えば、結果情報と対象データとを有する。送信する情報は、例えば、結果情報と対象データと正解データとを有する。なお、送信する情報が対象データのみを有する場合、デフォルトの結果情報（例えば、「正解」）を有するものとする。また、送信する情報が対象データと正解データとを有する場合、結果情報は「不正解」であり、当該結果情報を有さない場合でも、当該「不正解」の結果情報を有するものと考えても良い。「ＮＵＬＬ」ではない正解データが存在することが、結果情報「不正解」を示すからである。
【0491】
（ステップＳ２４１６）端末送信部６４は、ステップＳ２４１５で構成された情報をモデル評価装置５に送信する。ステップＳ２４０１に戻る。なお、端末送信部６４は、通常、ユーザ識別子とモデル識別子とを対にして、ステップＳ２４１５で構成された情報をモデル評価装置５に送信する。
【0492】
なお、図２４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0493】
以下、本実施の形態におけるモデル評価システムＣの具体的な動作例について説明する。モデル評価システムＣの概念図は、図１７である。
【0494】
今、モデル評価装置５の格納部５１には、図９に示すユーザ情報管理表が格納されている、とする。ここでのユーザ情報管理表は、学習モデルを評価するユーザの情報を管理する表である。ユーザ情報管理表は、「ＩＤ」「ユーザ識別子」「氏名」「送信先情報」「ユーザ属性値」を有する２以上のレコードを管理する。
【0495】
また、格納部５１には、図２５に示す構造を有する評価結果管理表が格納されている、とする。ユーザ情報管理表は、「ＩＤ」「モデル識別子」「評価プログラム」「教師データ」「評価情報」「停止フラグ」を有する１以上のレコードを管理する。
【0496】
「教師データ」には、モデル識別子で識別される学習モデルを構成する際に使用した教師データの集合が格納される。「教師データ」は、「説明変数」「目的変数」を有する。
【0497】
「評価情報」は、ユーザが学習モデルを評価した結果等の情報である。「評価情報」は、ユーザ端末６から送信された結果情報等を含む。「評価情報」は、「ユーザ識別子」「結果情報」「対象データ」「正解データ」を含む。「ユーザ識別子」は、結果情報等を送信したユーザの識別子である。「結果情報」は、ここでは、学習モデルを用いた予測処理の結果が「正解」であったことを示す「１」、または学習モデルを用いた予測処理の結果が「不正解」であったことを示す「０」のうちのいずれかである。予測処理の結果が「不正解」であった場合に、「正解データ」が蓄積される、とする。正解データ「－」は、正解データが「ＮＵＬＬ」であることを示す。
【0498】
モデル識別子「モデルＡ」で識別される学習モデルは、学習部５４４が、日本語の難解な用語または文（例えば、ことわざ）とその英訳とを有する２以上の教師データを用いて、機械学習の学習処理を行い、取得したモデルである。
【0499】
モデル識別子「モデルＢ」で識別される学習モデルは、学習部５４４が、動物の画像と動物名とを有する２以上の教師データを用いて、機械学習の学習処理を行い、取得したモデルである。
【0500】
モデル識別子「モデルＣ」で識別される学習モデルは、学習部５４４が、クラックがある外壁またはクラックがない外壁の画像と、クラックの有無、およびクラックがある場合のその領域を示す情報とを有する２以上の教師データを用いて、機械学習の学習処理を行い、取得したモデルである。
【0501】
かかる状況において、以下の３つの具体例について説明する。具体例１は、ユーザに対象データ「日本語の難解用語」を入力してもらい、機械翻訳を行う学習モデルを評価する場合である。具体例２は、ユーザに動物の写真を撮影してもらい、動物名を識別する学習モデルを評価する場合である。具体例３は、クラックが入った外壁またはクラックが入っていない外壁の写真を撮影してもらい、クラックの有無を識別する学習モデルを評価する場合である。
【0502】
（具体例１）
ユーザ「田中Ａ男」は、モデル識別子「モデルＡ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、当該モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００１」を取得し、当該ユーザ識別子「Ｕ００１」とモデル識別子「モデルＡ」とを含むモデル送信指示を構成する。端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
ユーザ「田中Ａ男」は、モデル識別子「モデルＡ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、当該モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００１」を取得し、当該ユーザ識別子「Ｕ００１」とモデル識別子「モデルＡ」とを含むモデル送信指示を構成する。端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
【0503】
次に、モデル評価装置５の受信部５３は、ユーザ識別子「Ｕ００１」とモデル識別子「モデルＡ」とを含むモデル送信指示を受信する。
【0504】
次に、モデル処理部５４２は、モデル識別子「モデルＡ」と対になる停止フラグ「０」を評価結果管理表（図２５）から取得し、評価停止条件に合致しない、と判断する。なお、評価停止条件は、ここでは「停止フラグ＝１」である。また、「停止フラグ＝１」となるための評価停止条件は、「対象データ数＞＝第一閾値（例えば、１０００） ＆ 正解率＞＝第二閾値（例えば、「９５％」）」である、とする。
【0505】
次に、モデル処理部５４２は、モデル識別子「モデルＡ」と対になる評価プログラムの名称「プログラムα」を、評価結果管理表（図２５）から取得する。次に、モデル処理部５４２は、モデル識別子「モデルＡ」で識別される学習モデルを格納部５１から取得する。また、モデル処理部５４２は、「プログラムα」で識別される評価プログラムを格納部５１から取得する。
【0506】
次に、モデル送信部５２１は、「田中Ａ男」のユーザ端末６に、学習モデル「モデルＡ」および評価プログラム「プログラムα」を送信する。
【0507】
次に、「田中Ａ男」のユーザ端末６の端末受信部６５は、モデル評価装置５から学習モデル「モデルＡ」および評価プログラム「プログラムα」を受信する。
【0508】
次に、端末実行部６３１は、受信された評価プログラム「プログラムα」を実行し、対象データを入力するための画面を出力する。かかる画面例は、図２６である。図２６において、２６０１は、日英の機械翻訳を行う学習モデルの評価のための対象データを入力するフィールドである。２６０２は、学習モデル「モデルＡ」の評価のための、当該学習モデルを用いた対象データの機械翻訳結果が出力されるフィ－ルドである。２６０３は、学習モデルを用いた対象データの機械翻訳を実行するためのボタンである。
【0509】
図２６において、「田中Ａ男」は、フィ－ルド２６０１に「一蓮托生」を入力し、予測ボタン２６０３を指示した、とする。
【0510】
すると、データ取得手段６３１１は、学習モデル「モデルＡ」を取得する。次に、予測手段６３１２は、学習モデル「モデルＡ」と対象データ「一蓮托生」とを取得し、学習モデル「モデルＡ」と対象データ「一蓮托生」とを、評価プログラムが有する予測プログラムに渡し、当該予測プログラムを実行する。次に、予測手段６３１２は、予測プログラムを用いた予測処理を行い、予測結果「Ichirentakushou」を取得する。そして、予測手段６３１２は、２６０２のフィールドに予測結果を出力する。かかる画面例は、図２７である。図２７において、ユーザは、機械翻訳の翻訳結果を見て、学習モデルを用いた予測処理の予測結果が正しいか否かを判断する。ここで、「田中Ａ男」は、図２７の「正しくない」ボタン２７０１を指示した、とする。
【0511】
次に、端末受付部６２は、「正しくない」ボタン２７０１の指示を受け付ける。つまり、端末受付部６２は、出力された対象データと出力された予測結果とを見たユーザから、結果情報「不正解（０）」を受け付ける。次に、端末実行部６３１は、正解データの入力画面（図２８）を出力する。
【0512】
そして、「田中Ａ男」は、「一蓮托生」の正しい英訳である「To be in the same boat.」をフィールド２８０１に入力し、送信ボタン２８０２を指示した、とする。
【0513】
すると、端末受付部６２は、正解データ「To be in the same boat.」を受け付ける。次に、端末実行部６３１は、送信する情報を構成する。送信する情報は、結果情報「不正解（０）」、対象データ「一蓮托生」、および正解データ「To be in the same boat.」を含む。また、送信する情報は、モデル識別子「モデルＡ」、ユーザ識別子「Ｕ００１」を含む、とする。次に、端末送信部６４は、構成された情報をモデル評価装置５に送信する。
【0514】
次に、モデル評価装置５の結果受信部５３１は、結果情報「不正解（０）」、対象データ「一蓮托生」、正解データ「To be in the same boat.」、モデル識別子「モデルＡ」、およびユーザ識別子「Ｕ００１」を含む情報を受信する。
【0515】
蓄積部５４１は、受信された結果情報等に対応するモデル識別子「モデルＡ」を取得する。次に、蓄積部５４１は、受信された結果情報等をモデル識別子「モデルＡ」に対応付けて、評価結果管理表（図２５）に蓄積する。なお、かかる情報は、図２５の「ＩＤ＝１」のレコードの最初の評価情報である。
【0516】
次に、報償部５４３は、以下のように「田中Ａ男」に報償を与える。つまり、報償部５４３は、受信された情報に、対象データも正解データも含まれる、と判断する。次に、報償部５４３は、受信された結果情報等に対応するモデル識別子「モデルＢ」に対応する最高の報償単価情報（例えば、３０円）を取得する。次に、報償部５４３は、受信された結果情報等と対になるユーザ識別子「Ｕ００１」を取得する。次に、報償部５４３は、ユーザ識別子「Ｕ００１」と対になる報償情報「Ｒ１」（図９参照）に、取得した報償単価情報（例えば、３０円）を加算し、加算した報償情報をユーザ識別子「Ｕ００１」と対にして蓄積する。かかる処理により、「田中Ａ男」に与える報償情報が増加した。
【0517】
また、「山田Ｂ子」も、同様に、対象データ「口は災いの元」を入力し、当該対象データ「口は災いの元」と学習モデル「モデルＡ」とを予測プログラムに与え、当該予測プログラムを実行させ、予測結果「Out of the mouth comes evil.」が取得され、出力された、とする。そして、「山田Ｂ子」は、結果情報「正解」を入力し、当該結果情報「正解」と対象データ「口は災いの元」とを有する評価情報がモデル評価装置５に送信され、モデル評価装置５に蓄積された、とする（図２５の「ＩＤ＝１」のレコードの２つ目の評価情報を参照）。なお、「山田Ｂ子」は、「正解データ」を送信していないので、「山田Ｂ子」に与えられる報償は、「田中Ａ男」より低額（例えば、「２０円」）である。
【0518】
以上、本具体例において、学習モデル「モデルＡ」の評価を１または２以上のユーザに行ってもらい、その情報を収集できる。また、結果情報等の送信により、ユーザに報償を与えることができる。
【0519】
【0520】
（具体例２）
ユーザ「陳ＸＹ」は、モデル識別子「モデルＢ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００３」を取得し、当該ユーザ識別子「Ｕ００３」とモデル識別子「モデルＢ」とを含むモデル送信指示を構成する。次に、端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
ユーザ「陳ＸＹ」は、モデル識別子「モデルＢ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００３」を取得し、当該ユーザ識別子「Ｕ００３」とモデル識別子「モデルＢ」とを含むモデル送信指示を構成する。次に、端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
【0521】
次に、モデル評価装置５の受信部５３は、ユーザ識別子「Ｕ００３」とモデル識別子「モデルＢ」とを含むモデル送信指示を受信する。
【0522】
次に、モデル処理部５４２は、モデル識別子「モデルＢ」と対になる停止フラグ「０」を評価結果管理表（図２５）から取得し、評価停止条件に合致しない、と判断する。
【0523】
次に、モデル処理部５４２は、モデル識別子「モデルＢ」と対になるモデル識別子「モデルＢ」、評価プログラムの名称「プログラムβ」を、評価結果管理表（図２５）から取得する。次に、モデル処理部５４２は、モデル識別子「モデルＢ」で識別される学習モデルを格納部５１から取得する。また、モデル処理部５４２は、「プログラムβ」で識別される評価プログラムを格納部５１から取得する。
【0524】
次に、モデル送信部５２１は、「陳ＸＹ」のユーザ端末６に、学習モデル「モデルＢ」および評価プログラム「プログラムβ」を送信する。
【0525】
次に、「陳ＸＹ」のユーザ端末６の端末受信部６５は、モデル評価装置５から学習モデル「モデルＢ」および評価プログラム「プログラムβ」を受信する。
【0526】
次に、端末実行部６３１は、受信された評価プログラム「プログラムβ」を実行し、対象データを入力するための画面を出力する。かかる画面例は、図２９である。なお、ここでの対象データを入力するための画面は、画像を撮影するための画面である。また、撮影する画像は、動物の画像である。
【0527】
次に、「陳ＸＹ」は、ユーザ端末６が有するカメラをペットの犬に向け、図２９の撮影ボタン２９０１を指示し、犬を撮影した、とする。すると、端末受付部６２は、かかる指示を受け付ける。次に、データ取得手段６３１１は、撮影された犬の画像を取得し、出力する。その結果、図３０の画面が出力された、とする。
【0528】
次に、「陳ＸＹ」は、図３０の予測ボタン３００１を指示した、とする。すると、端末受付部６２は、かかる指示を受け付ける。次に、予測手段６３１２は、受信された学習モデルと、撮影された画像（３００２）を取得する。次に、予測手段６３１２は、学習モデルと画像（３００２）とを、機械学習の予測処理を行う予測プログラムに与え、当該プログラムを実行する。その結果、予測手段６３１２は、予測結果「オオカミ」を取得した、とする。そして、予測手段６３１２は、当該予測結果「オオカミ」を含む画面を出力する。かかる画面例は、図３１である。図３１において、予測対象の対象データの画像（３１０１）、予測結果３１０２、予測結果が「正解」である場合に指示される「正しい」ボタン３１０３、および予測結果が「不正解」である場合に指示される「正しくない」ボタン３１０４を有する。
【0529】
次に、「陳ＸＹ」は、予測結果「オオカミ」を見て、「正しくない」ボタン３１０４を指示した、とする。すると、端末受付部６２は、当該「正しくない」ボタン３１０４の指示を受け付ける。次に、端末実行部６３１は、正解データを入力するための画面（図３２）を出力する。図３２において、３２０１は、正解データを入力するためのフィールドである。３２０２は、対象データ、正解データ等を送信するためのボタンである。
【0530】
次に、「陳ＸＹ」は、フィールド３２０１に「犬」を入力し、「送信」ボタン３２０２を指示した、とする。
【0531】
すると、端末受付部６２は、正解データ「犬」を受け付ける。次に、端末実行部６３１は、ユーザ識別子「Ｕ００３」、モデル識別子「モデルＢ」、結果情報「不正解（０）」、撮影された画像（３１０１）、および正解データ「犬」を含む情報であり、送信される情報を構成する。次に、端末送信部６４は、構成された情報をモデル評価装置５に送信する。
【0532】
次に、モデル評価装置５の結果受信部５３１は、結果情報等を受信する。結果情報等は、ここでは、ユーザ識別子「Ｕ００３」、モデル識別子「モデルＢ」、結果情報「不正解（０）」、撮影された画像（３１０１）、および正解データ「犬」を含む。なお、画像（３１０１）は、ファイル「動物画像Ｘ．ｊｐｅｇ」である、とする。
【0533】
次に、蓄積部５４１は、受信された結果情報等に対応するモデル識別子「モデルＢ」を取得する。次に、蓄積部５４１は、受信された結果情報等をモデル識別子「モデルＢ」に対応付けて、評価結果管理表（図２５）に蓄積する。かかる蓄積された評価情報は、図２５の「ＩＤ＝２」のレコードに含まれる最初の評価情報である。また、蓄積部５４１は、ファイル「動物画像Ｘ．ｊｐｅｇ」を格納部５１に蓄積する。
【0534】
次に、報償部５４３は、以下のように「陳ＸＹ」に報償を与える。つまり、報償部５４３は、受信された情報に、対象データも正解データも含まれる、と判断する。次に、報償部５４３は、受信された結果情報等に対応するモデル識別子「モデルＢ」に対応する最高の報償単価情報（例えば、１００円）を格納部５１から取得する。次に、報償部５４３は、受信された結果情報等と対になるユーザ識別子「Ｕ００３」を取得する。次に、報償部５４３は、ユーザ識別子「Ｕ００３」と対になる報償情報「Ｒ３」（図９参照）に、取得した報償単価情報（例えば、１００円）を加算し、加算した報償情報をユーザ識別子「Ｕ００３」と対にして蓄積する。かかる処理により、「陳ＸＹ」に与える報償情報が増加した。
【0535】
また、他の１以上の各ユーザも、同様に、対象データを撮影し、学習モデル「モデルＢ」の評価を行い、評価情報をモデル評価装置５に送信した、とする。そして、モデル評価装置５は、受信した各評価情報に対して、上記と同様の処理を行う。
【0536】
以上、本具体例において、学習モデル「モデルＢ」の評価を１または２以上のユーザに行ってもらい、その情報を収集できる。また、結果情報等の送信により、ユーザに報償を与えることができる。
【0537】
【0538】
（具体例３）
ユーザ「田中Ａ男」は、モデル識別子「モデルＣ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００１」を取得し、当該ユーザ識別子「Ｕ００１」とモデル識別子「モデルＣ」とを含むモデル送信指示を構成する。端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
ユーザ「田中Ａ男」は、モデル識別子「モデルＣ」を含むモデル送信指示を、ユーザ端末６に入力した、とする。次に、ユーザ端末６の端末受付部６２は、モデル送信指示を受け付ける。次に、端末処理部６３は、端末格納部６１のユーザ識別子「Ｕ００１」を取得し、当該ユーザ識別子「Ｕ００１」とモデル識別子「モデルＣ」とを含むモデル送信指示を構成する。端末送信部６４は、当該モデル送信指示をモデル評価装置５に送信する。
【0539】
次に、モデル評価装置５の受信部５３は、ユーザ識別子「Ｕ００１」とモデル識別子「モデルＣ」とを含むモデル送信指示を受信する。
【0540】
次に、モデル処理部５４２は、モデル識別子「モデルＣ」と対になる停止フラグ「０」を取得し、評価停止条件に合致しない、と判断する。
【0541】
次に、モデル処理部５４２は、モデル識別子「モデルＣ」と対になる評価プログラムの名称「プログラムγ」を、評価結果管理表（図２５）から取得する。次に、モデル処理部５４２は、モデル識別子「モデルＣ」で識別される学習モデルを格納部５１から取得する。また、モデル処理部５４２は、「プログラムγ」で識別される評価プログラムを格納部５１から取得する。
【0542】
次に、モデル送信部５２１は、「田中Ａ男」のユーザ端末６に、学習モデル「モデルＣ」および評価プログラム「プログラムγ」を送信する。
【0543】
次に、「田中Ａ男」のユーザ端末６の端末受信部６５は、モデル評価装置５から学習モデル「モデルＣ」および評価プログラム「プログラムγ」を受信する。
【0544】
次に、端末実行部６３１は、受信された評価プログラム「プログラムγ」を実行し、対象データを入力するための画面を出力する。かかる画面例は、図３３である。なお、ここでの対象データを入力するための画面は、画像を撮影するための画面である。また、撮影する画像は、外壁の画像である。
【0545】
次に、「田中Ａ男」は、クラックのある外壁にユーザ端末６のカメラを向けて、図３３の撮影ボタン３３０１を指示し、当該外壁を撮影した、とする。すると、端末受付部６２は、かかる指示を受け付ける。次に、データ取得手段６３１１は、当該外壁を撮影し、当該外壁の画像を取得し、出力する。その結果、図３４の画面が出力された、とする。
【0546】
次に、「田中Ａ男」は、図３４の予測ボタン３４０１を指示した、とする。すると、端末受付部６２は、かかる指示を受け付ける。次に、予測手段６３１２は、受信された学習モデル「モデルＣ」と、撮影された外壁の画像（３４０２）を取得する。次に、予測手段６３１２は、学習モデル「モデルＣ」と画像（３４０２）とを、機械学習の予測処理を行う予測プログラムに与え、当該プログラムを実行する。その結果、予測手段６３１２は、予測結果「クラックなし「０」」を取得した、とする。そして、予測手段６３１２は、当該予測結果を含む画面を出力する。かかる画面例は、図３５である。図３５において、予測対象の対象データの画像（３５０１）、「クラックなし」の予測結果３５０２、予測結果が「正解」である場合に指示される「正しい」ボタン３５０３、および予測結果が「不正解」である場合に指示される「正しくない」ボタン３５０４を有する。
【0547】
次に、「田中Ａ男」は、予測結果「クラックなし」を見て、「正しくない」ボタン３５０４を指示した、とする。すると、端末受付部６２は、当該「正しくない」ボタン３５０４の指示を受け付ける。次に、端末実行部６３１は、正解データを入力するための画面（図３６）を出力する。図３６において、３６０１は、「クラックあり」または「クラックなし」の正解データを入力するためのチェックボックスである。正解データが、「クラックあり」の場合、ユーザは、３６０２の画像の中にクラックの領域を矩形で示すこととなる。また、３６０３は、対象データ、正解データ等を送信するためのボタンである。
【0548】
次に、「田中Ａ男」は、図３６のチェックボックス３６０１のうちの「クラックあり」にチェックを入力し、かつ撮影画像３６０２の中のクラックの領域に、矩形を配置した、とする。かかる図は、図３７である。図３７において、破線の矩形３７０１が、「田中Ａ男」が入力したクラックの領域を示す。次に、「田中Ａ男」は、図３７の送信ボタン３７０２を指示した、とする。
【0549】
すると、端末受付部６２は、正解データ「クラックあり「１」」、および矩形３７０１の領域を示す位置情報「（Ｘ１１，Ｙ１１）（Ｘ１２，Ｙ１２）」を受け付ける。次に、端末実行部６３１は、ユーザ識別子「Ｕ００１」、モデル識別子「モデルＣ」、結果情報「不正解（０）」、撮影された画像（３７０３）、および正解データ「クラックあり「１」」と位置情報「（Ｘ１１，Ｙ１１）（Ｘ１２，Ｙ１２）」を含む情報であり、送信される情報を構成する。次に、端末送信部６４は、構成された情報をモデル評価装置５に送信する。
【0550】
次に、モデル評価装置５の結果受信部５３１は、結果情報等を受信する。結果情報等は、ユーザ識別子「Ｕ００１」、モデル識別子「モデルＣ」、結果情報「不正解（０）」、撮影された画像（３７０３）、および正解データ「クラックあり「１」」と位置情報「（Ｘ１１，Ｙ１１）（Ｘ１２，Ｙ１２）」を含む。なお、画像（３７０１）は、ファイル「壁画像Ａ．ｊｐｅｇ」である、とする。
【0551】
次に、蓄積部５４１は、受信された結果情報等に対応するモデル識別子「モデルＣ」を取得する。次に、蓄積部５４１は、受信された結果情報等をモデル識別子「モデルＣ」に対応付けて、評価結果管理表（図２５）に蓄積する。かかる蓄積された評価情報は、図２５の「ＩＤ＝３」のレコードに含まれる最初の評価情報である。また、蓄積部５４１は、ファイル「壁画像Ａ．ｊｐｅｇ」を格納部５１に蓄積する。
【0552】
次に、報償部５４３は、以下のように「田中Ａ男」に報償を与える。つまり、報償部５４３は、受信された情報に、対象データも正解データも含まれる、と判断する。次に、報償部５４３は、受信された結果情報等に対応するモデル識別子「モデルＣ」に対応する最高の報償単価情報（例えば、２００円）を格納部５１から取得する。次に、報償部５４３は、受信された結果情報等と対になるユーザ識別子「Ｕ００１」を取得する。次に、報償部５４３は、ユーザ識別子「Ｕ００１」と対になる報償情報「Ｒ１」（図９参照）に、取得した報償単価情報（例えば、２００円）を加算し、加算した報償情報をユーザ識別子「Ｕ００１」と対にして蓄積する。かかる処理により、「田中Ａ男」に与える報償情報が増加した。
【0553】
また、他の１以上の各ユーザも、同様に、対象データを撮影し、学習モデル「モデルＣ」の評価を行い、評価情報をモデル評価装置５に送信した、とする。そして、モデル評価装置５は、受信した各評価情報に対して、上記と同様の処理を行う。
【0554】
以上、本具体例において、学習モデル「モデルＣ」の評価を１または２以上のユーザに行ってもらい、その情報を収集できる。また、結果情報等の送信により、ユーザに報償を与えることができる。
【0555】
【0556】
以上、本実施の形態によれば、２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームを提供できる。
【0557】
また、本実施の形態によれば、２以上の各ユーザが学習モデルの評価のために用いた対象データも収集できる。
【0558】
また、本実施の形態によれば、精度の高い学習モデルを構築するための正解データも収集できる。
【0559】
また、本実施の形態によれば、２以上の評価結果に応じた異なる処理を行える。例えば、２以上の評価結果が良好である場合に、当該学習モデルの評価を停止できる。また、例えば、２以上の評価結果が不良である場合に、当該学習モデルの評価をさらに行える。
【0560】
また、本実施の形態によれば、学習モデルを評価したユーザに対して、適切な報償を与えることができる。
【0561】
また、本実施の形態によれば、機械学習の学習モデルの評価を行える端末を提供できる。
【0562】
また、本実施の形態によれば、学習モデルの評価のために用いた対象データを収集するための端末を提供できる。
【0563】
さらに、本実施の形態によれば、学習モデルの評価のために用いた対象データと正解データとを収集するための端末を提供できる。
【0564】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるモデル評価装置５を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、学習モデルと当該学習モデルの評価のためのプログラムであり、機械学習の予測処理を行う予測プログラムを含む評価プログラムとが格納される格納部にアクセス可能なコンピュータを、前記学習モデルと前記評価プログラムとを２以上の各ユーザ端末に送信するモデル送信処理を行うモデル送信部と、前記２以上の各ユーザ端末において、前記評価プログラムが前記学習モデルを使用した結果に関する結果情報を、前記２以上の各ユーザ端末から受信する結果受信部と、前記結果受信部が受信した２以上の結果情報を蓄積する蓄積部として機能させるためのプログラムである。
【0565】
また、本実施の形態におけるユーザ端末６を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、モデル評価装置５から前記学習モデルと前記評価プログラムとを受信する端末受信部と、前記学習モデルを使用する前記評価プログラムを実行し、予測結果を取得する端末実行部と、前記端末実行部が取得した前記予測結果に対する評価である結果情報を受け付ける端末受付部と、前記結果情報を前記モデル評価装置に送信する端末送信部として機能させるためのプログラムである。
【0566】
また、図３８は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のデータ収集装置１、ユーザ端末２、学習装置３、予測装置４、モデル評価装置５、ユーザ端末２を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図３８は、このコンピュータシステム３００の概観図であり、図３９は、システム３００のブロック図である。
【0567】
図３８において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。
【0568】
図３９において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【0569】
コンピュータシステム３００に、上述した実施の形態のデータ収集装置１等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【0570】
プログラムは、コンピュータ３０１に、上述した実施の形態のデータ収集装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【0571】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【0572】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0573】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【0574】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0575】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0576】
以上のように、本発明にかかるデータ収集装置１は、機械学習の学習モデルを構築するための教師データを収集するためのプラットフォームを提供することにより、大量の教師データが収集可能となるという効果を有し、当該プラットフォームを実現するサーバ等として有用である。
【0577】
また、以上のように、本発明にかかるモデル評価装置５は、２以上のユーザにより、機械学習の学習モデルの評価を行えるプラットフォームを提供できるという効果を有し、モデル評価装置等として有用である。
【符号の説明】
【0578】
１ データ収集装置
２ ユーザ端末
３ 学習装置
４ 予測装置
１１ 格納部
１２ 受信部
１３ 処理部
１４ 送信部
２１ 端末格納部
２２ 端末受付部
２３ 端末処理部
２４ 端末送信部
２５ 端末受信部
２６ 端末出力部
３１ 学習モデル格納部
３２ 学習部
４１ 受付部
４２ 予測部
４３ 予測結果出力部
１１１ ユーザ情報格納部
１１２ 元情報格納部
１１３ 教師データ格納部
１２１ 元情報受信部
１２２ 評価結果受信部
１３１ ユーザ決定部
１３２ 判断部
１３３ 教師データ構成部
１３４ 蓄積部
１３５ 報酬取得部
１３６ 報酬蓄積部
１３７ ユーザ評価部
１３８ ユーザ評価出力部
１４１ 元情報送信部
１４２ 他端末送信部
１３３１ 合成手段
１３３２ 教師データ構成手段
５ モデル評価装置
６ ユーザ端末
５１ 格納部
５２ 送信部
５３ 受信部
５４ 処理部
６１ 端末格納部
６２ 端末受付部
６３ 端末処理部
６４ 端末送信部
６５ 端末受信部
６６ 端末出力部
５２１ モデル送信部
５３２ 結果受信部
５４１ 蓄積部
５４２ モデル処理部
５４３ 報償部
５４５ 学習部
６３１ 端末実行部
６３１１ データ取得手段
６３１２ 予測手段
２ ユーザ端末
３ 学習装置
４ 予測装置
１１ 格納部
１２ 受信部
１３ 処理部
１４ 送信部
２１ 端末格納部
２２ 端末受付部
２３ 端末処理部
２４ 端末送信部
２５ 端末受信部
２６ 端末出力部
３１ 学習モデル格納部
３２ 学習部
４１ 受付部
４２ 予測部
４３ 予測結果出力部
１１１ ユーザ情報格納部
１１２ 元情報格納部
１１３ 教師データ格納部
１２１ 元情報受信部
１２２ 評価結果受信部
１３１ ユーザ決定部
１３２ 判断部
１３３ 教師データ構成部
１３４ 蓄積部
１３５ 報酬取得部
１３６ 報酬蓄積部
１３７ ユーザ評価部
１３８ ユーザ評価出力部
１４１ 元情報送信部
１４２ 他端末送信部
１３３１ 合成手段
１３３２ 教師データ構成手段
５ モデル評価装置
６ ユーザ端末
５１ 格納部
５２ 送信部
５３ 受信部
５４ 処理部
６１ 端末格納部
６２ 端末受付部
６３ 端末処理部
６４ 端末送信部
６５ 端末受信部
６６ 端末出力部
５２１ モデル送信部
５３２ 結果受信部
５４１ 蓄積部
５４２ モデル処理部
５４３ 報償部
５４５ 学習部
６３１ 端末実行部
６３１１ データ取得手段
６３１２ 予測手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】