知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-21
(45)【発行日】2023-01-04
(54)【発明の名称】生成装置、生成方法、及び生成プログラム
(51)【国際特許分類】
G06F 16/906 20190101AFI20221222BHJP
【ＦＩ】
G06F16/906
【請求項の数】
12
(21)【出願番号】P 2021191427
(22)【出願日】2021-11-25
(62)【分割の表示】P 2017156462の分割
【原出願日】2017-08-14
(65)【公開番号】P2022016628
(43)【公開日】2022-01-21
【審査請求日】2021-12-16
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山下 直晃
(72)【発明者】
【氏名】西村 修平
(72)【発明者】
【氏名】田中 智大
【審査官】齊藤 貴孝
(56)【参考文献】
【文献】特開２０１７－０３３３０７（ＪＰ，Ａ）
【文献】特開２０１３－２３８９９０（ＪＰ，Ａ）
【文献】特開２０１６－０３３８０６（ＪＰ，Ａ）
【文献】特開２０１３－０２５７４５（ＪＰ，Ａ）
【文献】特開２０１４－１２３２８６（ＪＰ，Ａ）
【文献】特開２０１５－１２１８４６（ＪＰ，Ａ）
【文献】特開２００２－２２２０８３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
分類対象となる対象情報と、複数のユーザの各々により前記対象情報の各クラスに分類された割合を示す割合情報とを取得する取得部と、前記取得部により取得された前記対象情報と前記割合情報とに基づいて、一の対象情報が入力された場合に、前記一の対象情報が前記各クラスに分類される割合を推定するモデルを生成する生成部と、
を備えることを特徴とする生成装置。
【請求項2】
前記取得部は、タスクを行う複数のワーカである前記複数のユーザの各々により前記対象情報の各クラスに分類された割合を示す割合情報を取得する、
ことを特徴とする請求項１に記載の生成装置。
【請求項3】
前記取得部は、前記複数のユーザの数と、前記対象情報の各クラスを選択したユーザの数とに基づく前記割合情報を取得する、
ことを特徴とする請求項１または請求項２に記載の生成装置。
【請求項4】
前記取得部は、画像情報を含む前記対象情報を取得する
ことを特徴とする請求項１～３のいずれか１項に記載の生成装置。
【請求項5】
前記取得部は、文字情報を含む前記対象情報を取得する
ことを特徴とする請求項１～４のいずれか１項に記載の生成装置。
【請求項6】
前記生成部は、前記一の対象情報が入力された場合に、前記一の対象情報が前記各クラスに分類される割合を推定するニューラルネットワークである前記モデルを生成する
ことを特徴とする請求項１～５のいずれか１項に記載の生成装置。
【請求項7】
前記生成部は、畳み込み処理及びプーリング処理を行う前記ニューラルネットワークである前記モデルを生成する
ことを特徴とする請求項６に記載の生成装置。
【請求項8】
前記モデルを用いて、対象情報に対する前記各クラスに分類される割合を推定する推定部、をさらに備えることを特徴とする請求項１～７のいずれか１項に記載の生成装置。
【請求項9】
前記取得部は、新たな対象情報を取得し、
前記推定部は、
前記新たな対象情報を前記モデルに入力することにより、前記新たな対象情報に対する前記各クラスに分類される割合を推定する
ことを特徴とする請求項８に記載の生成装置。
【請求項10】
前記生成部は、前記割合情報における各クラスに対応する割合間の差が所定の範囲内となる前記対象情報に基づいて、前記モデルを生成する
ことを特徴とする請求項１～９のいずれか１項に記載の生成装置。
【請求項11】
コンピュータが実行する生成方法であって、分類対象となる対象情報と、複数のユーザの各々により前記対象情報の各クラスに分類された割合を示す割合情報とを取得する取得工程と、
前記取得工程により取得された前記対象情報と前記割合情報とに基づいて、一の対象情報が入力された場合に、前記一の対象情報が前記各クラスに分類される割合を推定するモデルを生成する生成工程と、
を含むことを特徴とする生成方法。
【請求項12】
分類対象となる対象情報と、複数のユーザの各々により前記対象情報の各クラスに分類された割合を示す割合情報とを取得する取得手順と、前記取得手順により取得された前記対象情報と前記割合情報とに基づいて、一の対象情報が入力された場合に、前記一の対象情報が前記各クラスに分類される割合を推定するモデルを生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成装置、生成方法、及び生成プログラムに関する。
【背景技術】
【0002】
近年、インターネットを用いて不特定多数の人（ユーザ）に仕事（タスク）を依頼するクラウドソーシングが知られている。例えば、このようなクラウドソーシングにおいて、受注者の人的資源を効率的に活用する技術が提供されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－１５３７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、対象情報の各クラスに分類される割合を適切に推定可能にすることが難しい場合がある。例えば、クラウドソーシングにおいて、単純に画像等の対象情報を所望のクラスに分類するタスクをユーザに依頼するだけでは、新たに分類を必要とする対象情報が生じた場合等に、その対象情報の各クラスに分類される割合を適切に推定可能にすることが難しい。例えば、タスクを依頼したユーザから得られた回答結果のコンセンサス（合意）を推定することとすると、コンセンサスが得られない場合は、データとして使用することもできない。また、例えば、コンセンサスが得られない場合のみの情報を用いる場合、対象情報から回答の傾向のような有用な量を推定することが難しい。
【0005】
本願は、上記に鑑みてなされたものであって、対象情報の各クラスに分類される割合を適切に推定可能にする生成装置、生成方法、及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る生成装置は、分類対象となる対象情報と、複数のユーザの各々により前記対象情報の各クラスに分類された割合を示す割合情報とを取得する取得部と、前記取得部により取得された前記対象情報と前記割合情報とに基づいて、一の対象情報が入力された場合に、前記一の対象情報が前記各クラスに分類される割合を推定するモデルを生成する生成部と、を備えたことを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、対象情報の各クラスに分類される割合を適切に推定可能にすることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、本願に係る生成装置、生成方法、生成プログラム、学習データ、及びモデルを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、生成プログラム、学習データ、及びモデルが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１では、生成装置１００が分類対象となる対象情報と、対象情報が各クラスに分類される割合を示す正解情報とに基づいてモデルの生成を行う場合を示す。以下では、正解情報が対応付けられた対象情報を「学習データ」ともいう。図１及び図２の例では、対象情報が画像情報（以下、単に「画像」ともいう）である場合を一例に説明するについては後述する。なお、対象情報は画像に限らず、文字情報や、画像と文字情報を組み合わせた記事コンテンツ等の種々の情報であってもよい。
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１では、生成装置１００が分類対象となる対象情報と、対象情報が各クラスに分類される割合を示す正解情報とに基づいてモデルの生成を行う場合を示す。以下では、正解情報が対応付けられた対象情報を「学習データ」ともいう。図１及び図２の例では、対象情報が画像情報（以下、単に「画像」ともいう）である場合を一例に説明するについては後述する。なお、対象情報は画像に限らず、文字情報や、画像と文字情報を組み合わせた記事コンテンツ等の種々の情報であってもよい。
【0011】
ここで、図１において、生成装置１００が生成するモデル（学習器）について簡単に説明する。生成装置１００が生成するモデルは、例えば、入力されたデータに対する演算結果を出力する複数のノードを多層に接続したモデルであって、教師あり学習により抽象化された画像の特徴を学習されたモデルである。例えば、モデルは、複数のノードを有する層を多段に接続したニューラルネットワークであり、いわゆるディープラーニングの技術により実現されるＤＮＮ（Deep Neural Network）であってもよい。また、画像の特徴とは、画像に含まれる文字の有無、色、構成等、画像内に現れる具体的な特徴のみならず、撮像されている物体が何であるか、画像がどのような利用者に好かれるか、画像の雰囲気等、抽象化（メタ化）された画像の特徴をも含む概念である。
【0012】
例えば、モデルは、ディープラーニングの技術により、以下のような学習手法により生成される。例えば、モデルは、各ノードの間の接続係数が初期化され、様々な特徴を有する画像が入力される。そして、モデルは、モデルにおける出力と、入力した画像との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション（誤差逆伝播法）等の処理により生成される。例えば、モデルは、誤差関数等、所定の損失（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことにより生成される。上述のような処理を繰り返すことで、モデルは、入力された画像をより良く再現できる出力、すなわち入力された画像の特徴を出力することができる。
【0013】
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。また、モデルに対する画像の入力方法、モデルが出力するデータの形式、モデルに対して明示的に学習させる特徴の内容等は、任意の手法が適用できる。すなわち、生成装置１００は、画像から抽象化された特徴を示す特徴量を算出できるのであれば、任意のモデルを用いることができる。
【0014】
図１では、生成装置１００は、入力画像の局所領域の畳み込みとプーリングとを繰り返す、いわゆる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）によるモデルＭ１～Ｍ３等を生成するものとする。以下では、畳み込みニューラルネットワークをＣＮＮと記載する場合がある。例えば、ＣＮＮによるモデルＭ１～Ｍ３等は、画像から特徴を抽出して出力する機能に加え、画像内に含まれる文字や撮像対象等の位置的変異に対し、出力の不変性を有する。このため、モデルＭ１～Ｍ３等は、画像の抽象化された特徴を精度良く算出することができる。なお、上記のように、「モデルＭ＊（＊は任意の数値）」と記載した場合、そのモデルはモデルＩＤ「Ｍ＊」により識別されるモデルであることを示す。例えば、「モデルＭ１」と記載した場合、そのモデルはモデルＩＤ「Ｍ１」により識別されるモデルである。
【0015】
〔生成システムの構成〕
まず、図１の説明に先立って、図３に示す生成システム１について説明する。図３に示すように、生成システム１は、端末装置１０と、生成装置１００とが含まれる。端末装置１０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図３は、実施形態に係る生成システムの構成例を示す図である。なお、図３に示した生成システム１には、複数台の端末装置１０や、複数台の生成装置１００が含まれてもよい。
まず、図１の説明に先立って、図３に示す生成システム１について説明する。図３に示すように、生成システム１は、端末装置１０と、生成装置１００とが含まれる。端末装置１０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図３は、実施形態に係る生成システムの構成例を示す図である。なお、図３に示した生成システム１には、複数台の端末装置１０や、複数台の生成装置１００が含まれてもよい。
【0016】
端末装置１０は、ユーザによって利用される情報処理装置である。例えば、ユーザは、クラウドソーシングなどによるタスクを行う複数のワーカである。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。図１に示す例においては、端末装置１０がユーザが利用するスマートフォンである場合を示す。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。具体的には、図１では、端末装置１０がユーザＩＤ「Ｕ１」により識別されるユーザ（以下、「ユーザＵ１」とする場合がある）が利用するスマートフォンである場合を示す。
【0017】
また、図１に示す例においては、端末装置１０を利用するユーザに応じて、端末装置１０を端末装置１０－１～１０－５として説明する。例えば、端末装置１０－１は、ユーザＵ１により使用される端末装置１０である。また、例えば、端末装置１０－２は、ユーザＵ２により使用される端末装置１０である。また、以下では、端末装置１０－１～１０－５について、特に区別なく説明する場合には、端末装置１０と記載する。なお、上記のように、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ１」と記載した場合、そのユーザはユーザＩＤ「Ｕ１」により識別されるユーザである。
【0018】
生成装置１００は、分類対象となる対象情報と、複数のユーザの各々により象情報の各クラスに分類された割合を示す割合情報に基づいて、モデルを生成する情報処理装置である。例えば、生成装置１００は、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するモデルを生成する。また、生成装置１００は、対象情報をモデルに入力することにより、新たな対象情報に対する各クラスに分類される割合を推定する。
【0019】
まず、図１の示す例において、生成装置１００は、正解情報を生成するための情報を収集する。具体的には、生成装置１００は、画像ＩＭ１０１～ＩＭ１０３等の画像群ＩＭＬ１をクラウドソーシングによりユーザ（ワーカ）に分類させ、その回答を取得する。なお、図１の例では、生成装置１００は、画像を犬または猫のいずれかに分類するタスクをユーザに行わせるものとする。
【0020】
例えば、生成装置１００は、ワーカであるユーザＵ１が利用する端末装置１０－１に対象情報を提供する（ステップＳ１１－１）。図１の例では、生成装置１００は、端末装置１０－１に対象情報である画像ＩＭ１０１を提供する。そして、生成装置１００は、ユーザＵ１から画像ＩＭ１０１に対する回答を取得する（ステップＳ１２－１）。図１の例では、生成装置１００は、ユーザＵ１から画像ＩＭ１０１が「猫」であるとの回答を取得する。
【0021】
また、例えば、生成装置１００は、ワーカであるユーザＵ２が利用する端末装置１０－２に対象情報を提供する（ステップＳ１１－２）。図１の例では、生成装置１００は、端末装置１０－２に対象情報である画像ＩＭ１０１を提供する。そして、生成装置１００は、ユーザＵ２から画像ＩＭ１０１に対する回答を取得する（ステップＳ１２－２）。図１の例では、生成装置１００は、ユーザＵ２から画像ＩＭ１０１が「猫」であるとの回答を取得する。
【0022】
また、例えば、生成装置１００は、ワーカであるユーザＵ３が利用する端末装置１０－３に対象情報を提供する（ステップＳ１１－３）。図１の例では、生成装置１００は、端末装置１０－３に対象情報である画像ＩＭ１０１を提供する。そして、生成装置１００は、ユーザＵ３から画像ＩＭ１０１に対する回答を取得する（ステップＳ１２－３）。図１の例では、生成装置１００は、ユーザＵ３から画像ＩＭ１０１が「犬」であるとの回答を取得する。
【0023】
また、例えば、生成装置１００は、ワーカであるユーザＵ４が利用する端末装置１０－４に対象情報を提供する（ステップＳ１１－４）。図１の例では、生成装置１００は、端末装置１０－４に対象情報である画像ＩＭ１０１を提供する。そして、生成装置１００は、ユーザＵ４から画像ＩＭ１０１に対する回答を取得する（ステップＳ１２－４）。図１の例では、生成装置１００は、ユーザＵ４から画像ＩＭ１０１が「犬」であるとの回答を取得する。
【0024】
また、例えば、生成装置１００は、ワーカであるユーザＵ５が利用する端末装置１０－５に対象情報を提供する（ステップＳ１１－５）。図１の例では、生成装置１００は、端末装置１０－５に対象情報である画像ＩＭ１０１を提供する。そして、生成装置１００は、ユーザＵ５から画像ＩＭ１０１に対する回答を取得する（ステップＳ１２－５）。図１の例では、生成装置１００は、ユーザＵ５から画像ＩＭ１０１が「猫」であるとの回答を取得する。
【0025】
以下、ステップＳ１１－１～Ｓ１１－５を区別せずに説明する場合、ステップＳ１１と総称する。また、ステップＳ１１－１～Ｓ１１－５に限らず、各ユーザへの対象情報の提供は、画像群ＩＭＦ１の各画像ＩＭ１０２、１０３等について複数回行われてもよい。また、以下、ステップＳ１２－１～Ｓ１２－５を区別せずに説明する場合、ステップＳ１２と総称する。なお、図１では、５人のユーザＵ１～Ｕ５を図示するが、生成装置１００は、ユーザＵ１～Ｕ５に限らず、多数のユーザ（例えば、１００万ユーザや１０００万ユーザ等）による対象情報に対する回答を取得する。例えば、生成装置１００は、ステップＳ１１において画像群ＩＭＦ１を端末装置１０に提供し、ステップＳ１２において画像群ＩＭＦ１に含まれる各画像ＩＭ１０１～ＩＭ１０３等に対するユーザの回答を取得してもよい。
【0026】
そして、生成装置１００は、ステップＳ１２で取得した情報に基づいて、対象情報の各クラスに分類された割合を示す割合情報を生成する。また、生成装置１００は、対象情報と、割合情報を正解情報として含む集計情報との組み合わせを学習データとして追加する（ステップＳ１３）。具体的には、生成装置１００は、対象情報である画像ＩＭ１０１～ＩＭ１０３等の各々に対応するデータＤＴ１０１～ＤＴ１０３等を学習データ記憶部１２１に追加する。
【0027】
なお、上記のように、「データＤＴ＊（＊は任意の数値）」と記載した場合、そのデータはデータＩＤ「ＤＴ＊」により識別されるデータであることを示す。例えば、「データＤＴ１」と記載した場合、そのデータはデータＩＤ「ＤＴ１」により識別されるデータである。
【0028】
図１中の学習データ記憶部１２１に示す「データＩＤ」は、データを識別するための識別情報を示す。図１中の学習データ記憶部１２１に示す「対象情報」は、データＩＤにより識別されるデータに含まれる対象情報を示す。図１中の学習データ記憶部１２１に示す「集計情報」は、クラウドソーシングによってワーカにより行われたタスクの回答を集計した情報（集計情報）を示す。
【0029】
図１中の学習データ記憶部１２１に示す「集計情報」中の「正解情報（割合情報）」は、データＩＤにより識別されるデータに対応する正解情報（割合情報）を示す。例えば、「正解情報（割合情報）」は、ワーカの全回答における各クラスの回答の割合を示す。
【0030】
「集計情報」中の「ユーザ数」は、対応する対象情報について回答を行ったユーザ数を示す。「集計情報」中の「猫（ＣＬ１）」は、対応する対象情報について猫と回答を行ったユーザ数を示す。また、図１の例では、「集計情報」中の「猫（ＣＬ１）」は、対応する対象情報について猫と回答を行ったユーザを識別する情報も含まれる。また、「集計情報」中の「犬（ＣＬ２）」は、対応する対象情報について犬と回答を行ったユーザ数を示す。また、図１の例では、「集計情報」中の「犬（ＣＬ２）」は、対応する対象情報について犬と回答を行ったユーザを識別する情報も含まれる。
【0031】
例えば、図１に示す例において、データＩＤ「ＤＴ１０１」により識別されるデータ（データＤＴ１０１）は、分類対象となる対象情報が画像ＩＭ１０１であることを示す。また、データＤＴ１０１は、正解情報が「猫」と分類された割合が「０．５８（５８％）」であり、「犬」と分類された割合が「０．４２（４２％）」であることを示す。また、データＤＴ１０１は、ユーザ数が１０００人であることを示す。また、データＤＴ１０１は、猫と回答したユーザ数が５８０人であり、そのユーザにはユーザＵ１やユーザＵ２等が含まれることを示す。また、データＤＴ１０１は、犬と回答したユーザ数が４２０人であり、そのユーザにはユーザＵ３やユーザＵ４等が含まれることを示す。すなわち、データＤＴ１０１は、画像ＩＭ１０１について、１０００人のユーザ（ワーカ）のうち、５８０人が猫と回答し、４２０人が犬と回答したことを示す。そのため、データＤＴ１０１は、正解情報における猫の割合が「５８０／１０００＝０．５８」となり、正解情報における犬の割合が「４２０／１０００＝０．４２」となる。
【0032】
また、データＩＤ「ＤＴ１０２」により識別されるデータ（データＤＴ１０２）は、画像ＩＭ１０２について、２０００人のユーザ（ワーカ）のうち、１７００人が猫と回答し、３００人が犬と回答したことを示す。そのため、データＤＴ１０２は、正解情報における猫の割合が「１７００／２０００＝０．８５」となり、正解情報における犬の割合が「３００／２０００＝０．１５」となる。
【0033】
また、データＩＤ「ＤＴ１０３」により識別されるデータ（データＤＴ１０３）は、画像ＩＭ１０３について、１００００人のユーザ（ワーカ）のうち、５５００人が猫と回答し、４５００人が犬と回答したことを示す。そのため、データＤＴ１０３は、正解情報における猫の割合が「５５００／１００００＝０．５５」となり、正解情報における犬の割合が「４５００／１００００＝０．４５」となる。
【0034】
上記のように、学習データとして用いられる画像群ＩＭＦ１には、ワーカの分類結果がクラス間で差が小さい画像ＩＭ１０１、ＩＭ１０３等やワーカの分類結果がクラス間で差が大きい画像ＩＭ１０２等が含まれる。例えば、図１中の画像群ＩＭＦ１には、画像ＩＭ１０１や画像ＩＭ１０３のような各クラスの割合の差が所定の閾値（例えば０．１や０．２等）未満の画像が含まれる。また、例えば、図１中の画像群ＩＭＦ１には、画像ＩＭ１０２のような、各クラスの割合の差が所定の閾値（例えば０．１や０．２等）以上である画像も含まれる。そこで、生成装置１００は、割合情報を正解情報として、モデルを学習（生成）する。この点について、以下詳述する。
【0035】
生成装置１００は、上記のような画像ＩＭ１０１～ＩＭ１０３等を含む学習データに基づいてモデルを生成する（ステップＳ１４）。例えば、生成装置１００は、学習データ記憶部１２１中のデータＤＴ１０１～ＤＴ１０３等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。
【0036】
図１に示す例は、生成装置１００は、画像ＩＭ１０１～ＩＭ１０３等と画像ＩＭ１０１～ＩＭ１０３等の各クラスに分類された割合を示す割合情報を用いてモデルの生成を行う。ここでは、生成装置１００が画像ＩＭ１０１と画像ＩＭ１０１の各クラスに分類された割合を示す割合情報（以下、「正解情報ＲＤＴ１０１」とする）を一例として説明する。
【0037】
まず、モデルＭ１には、画像ＩＭ１０１が入力される。これにより、モデルＭ１は、各クラスに対応するスコアを出力する。図１の例では、モデルＭ１は、猫（クラスＣＬ１）に対応するスコアと犬（クラスＣＬ２）に対応するスコアとを出力する。
【0038】
上述したように、例えば、生成装置１００は、ディープラーニングの技術により、モデルＭ１を学習し、生成する。例えば、生成装置１００は、画像ＩＭ１０１と、猫（クラスＣＬ１）の割合「０．５８」及び犬（クラスＣＬ２）の割合「０．４２」とを含む正解情報との組み合わせを学習データとして用いる。例えば、正解情報ＲＤＴ１０１には、猫（クラスＣＬ１）の割合「０．５８」を示す情報や犬（クラスＣＬ２）の割合「０．４２」を示す情報が含まれる。例えば、生成装置１００は、モデルＭ１における出力（各クラスのスコア）と、学習データに含まれる各クラスの割合（値）との誤差が少なくなるようにパラメータ（接続係数）を補正するバックプロパゲーション（誤差逆伝播法）等の処理を行うことにより、モデルＭ１を学習する。例えば、生成装置１００は、所定の誤差（ロス）関数を最小化するようにバックプロパゲーション等の処理を行うことによりモデルＭ１を生成する。
【0039】
例えば、生成装置１００は、下記の式（１）に示すような、誤差関数Ｌを用いる。下記の式（１）に示すように、生成装置１００は、例えば、Ｎ－クラス分類問題の場合、交差エントロピーを誤差関数として用いる。なお、誤差関数Ｌは、識別結果の確信度を表すものであれば、どのような関数であっても良い。例えば、誤差関数Ｌは、識別確率から求められるエントロピーであってもよい。また、例えば、誤差関数Ｌは、モデルＭ１の認識の精度を示すものであれば、どのような関数であってもよい。
【0040】
【数1】
【0041】
ここで、上記式（１）や下記の式（３）～（６）中の「ｘ」は画像を示す。例えば、図１に示す例において、上記式（１）や下記の式（３）～（６）中の「ｘ」は、画像ＩＭに対応する。また、変数「ｎ」に代入される１～Ｎは、モデルＭ１が識別（分類）する各クラスに対応する。例えば、上記式（１）に対応するモデルＭ１は、Ｎ個のクラスを識別することを示す。例えば、各クラスには、「猫（クラスＣＬ１）」や「犬（クラスＣＬ２）」等が各々対応する。
【0042】
また、上記式（１）や下記の式（４）、（５）中の「ｔｎ（ｘ）」は、画像ＩＭ１０１が分類されるクラスｎ（１～Ｎのいずれか）の割合を示す。例えば、上記式（１）中の「ｔｎ（ｘ）」は、正解情報ＲＤＴ１０１中のクラスｎに対応する割合を示す。この場合、例えば、クラス１に対応する対象を「猫」とした場合、「ｔ１（ｘ）」は、「０．５８（５８％）」となる。例えば、クラスｎ（１～Ｎのいずれか）の割合を示す「ｔｎ（ｘ）」は、下記の式（２）のような関係である。
【0043】
【数2】
【0044】
ここで、上記式（２）に示すように、画像が分類されるクラスｎ（１～Ｎのいずれか）の割合を示す「ｔｎ（ｘ）」の合計値は「１」となる。例えば、画像ＩＭ１０１が分類される２つクラスの割合を示す「ｔ１（ｘ）」、「ｔ２（ｘ）」の合計値は「１」となる。例えば、画像ＩＭ１０１において、クラス１に対応する対象を「猫」とした場合の「ｔ１（ｘ）」は、「０．５８（５８％）」となり、クラス２に対応する対象を「犬」とした場合の「ｔ２（ｘ）」は、「０．４２（４２％）」となる。この場合、「ｔ１（ｘ）＋ｔ２（ｘ）」は、「０．５８＋０．４２」、すなわち「１」となる。このように、クラスｎ（１～Ｎのいずれか）の割合を示す「ｔｎ（ｘ）」の各々は、クラス１～Ｎ全体の合計が「１」となるような値となる。例えば、各クラスｎ（１～Ｎのいずれか）の割合を示す「ｔｎ（ｘ）」は、合計が「１」となるような値となる。
【0045】
また、上記式（１）や下記の式（３）、（４）中の「ｐｎ（ｘ）」は、画像ＩＭ１０１におけるクラスｎ（１～Ｎのいずれか）について、モデルＭ１の出力に基づく割合を示す。例えば、上記式（１）中の「ｐｎ（ｘ）」は、モデルＭ１が出力するクラスｎに対応する割合を示す。例えば、クラス１に対応する対象を「猫」とした場合、「ｐ１（ｘ）」は、モデルＭ１の学習に応じて「０．５５（５５％）」や「０．５７（５７％）」等の種々の値に変動する。
【0046】
また、上記式（１）中の「ｐｎ（ｘ）」は、ｘに対するクラスｎの確率で以下の式（３）に示すようなＳｏｆｔｍａｘ関数で定義される。
【0047】
【数3】
【0048】
上記式（３）の関数「ｆｎ」は、ＣＮＮ（モデルＭ１）が出力するクラスｎのスコアである。「θ」は、ＣＮＮ（モデルＭ１）のパラメータである。また、関数「ｅｘｐ」は、指数関数（exponential function）である。この場合、上記式（１）に示す誤差関数Ｌ（１）の勾配は、下記の式（４）により算出される。
【0049】
【数4】
【0050】
上記式（４）に示すように、１～Ｎまでの全クラスにおいて、ｐｎ（ｘ）＝ｔｎ（ｘ）である場合、誤差関数Ｌ（ｘ）の勾配は０になり極値になる。例えば、生成装置１００は、誤差関数Ｌ（ｘ）の勾配が０になるように、フィードバック処理を行う。例えば、生成装置１００が上述のような処理を繰り返すことにより、モデルＭ１は、入力された画像が各クラスに分類される割合を示すスコアを適切に出力することができる。
【0051】
なお、上記の例においては、画像ＩＭ１０１を一例として、上記式（１）を用いて対象情報ごとに処理する場合を示したが、生成装置１００は、下記の式（５）に示すような、全画像に対応する誤差関数Ｌを用いてもよい。
【0052】
【数5】
【0053】
例えば、上記式（５）中の変数「ｘ」に代入される１～Ｍは、画像群ＩＭＦ１に含まれる画像ＩＭ１０１～ＩＭ１０３等の複数の画像の各々に対応する。例えば、生成装置１００は、上記式（５）の誤差関数Ｌの勾配が０になるように、フィードバック処理を行うことにより、モデルＭ１は、入力された画像が各クラスに分類される割合を示すスコアを適切に出力することができる。
【0054】
また、対処情報を２つのクラスに分類する場合、上記式（５）に代えて下記の式（６）を用いてもよい。
【0055】
【数6】
【0056】
例えば、図１の例では、上記式（６）中の「ｔＡ（ｘ）」は、画像ＩＭ１０１が猫（クラスＣＬ１）に分類される割合を示す。この場合、例えば、正解情報ＲＤＴ１０１における猫（クラスＣＬ１）に分類される割合に対応する「ｔＡ（ｘ）」は、「０．５８（５８％）」となる。また、例えば、「（１－ｔＡ（ｘ））」は、「０．４２（＝１－０．５８）（４２％）」となり、正解情報ＲＤＴ１０１における犬（クラスＣＬ２）に分類される割合に対応する。
【0057】
また、上記式（６）中の「ｐＡ（ｘ）」は、画像ＩＭ１０１における猫（クラスＣＬ１）について、モデルＭ１の出力に基づく割合を示す。
【0058】
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。なお、各モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、ＳＶＭ（Support Vector Machine）等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習（ディープラーニング）の技術を用いて行われてもよい。例えば、モデルの生成は、ＲＮＮ（Recurrent Neural Network）やＣＮＮ等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、生成装置１００は、学習データに含まれる対象情報が入力された場合に、正解情報に対応するスコアを出力するようにモデルＭ１を学習可能であれば、どのような手法によりモデルＭ１の生成を行ってもよい。
【0059】
上記のような処理により、図１の例では、生成装置１００は、モデル情報記憶部１２２に示すように、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）を生成する。また、図１中のモデル情報記憶部１２２に示すように、モデルＭ１は用途「画像（犬猫分類）」、すなわち画像が犬猫の２つのクラスのいずれかに分類されるかの推定のために用いられるモデルであり、その具体的なモデルデータが「モデルデータＭＤＴ１」であることを示す。例えば、生成装置１００は、モデルＭ１に画像情報を入力することにより、入力した画像情報が各クラスに分類される割合を示すスコアを、モデルＭ１に出力させ、モデルＭ１が出力するスコアに基づいて画像が各クラスに分類される割合を推定する。
【0060】
上述したように、生成装置１００は、画像情報と正解情報とが対応付けられた学習データを用いて学習することにより、対象情報の各クラスに分類される割合を適切に推定可能にするモデルを生成することができる。したがって、生成装置１００は、上述のように生成したモデルを用いることにより、例えば、画像（犬猫分類）の各クラスに分類される割合を精度よく推定することを可能にすることができる。
【0061】
例えば、クラウドソーシングにおいて、単純に画像等の対象情報を所望のクラスに分類するタスクをユーザに依頼し、得られた回答結果のコンセンサスを推定することとすると、コンセンサスが得られない場合は、データとして使用することもできない。ここでいうコンセンサスとは、例えば、回答に偏りがあることによる、ユーザの回答の一致（合意）であってもよい。例えば、コンセンサスとは、ある回答を所定の割合以上のユーザが行ったことであってもよい。例えば、コンセンサスとは、ある回答（例えば「猫」）を所定の割合（７０％）以上のユーザが行ったことであってもよい。また、例えば、コンセンサスが得られない場合のみの情報を用いる場合、対象情報から回答の傾向のような有用な量を推定することが難しい。
【0062】
例えば、従来の学習においては、図１の例の画像ＩＭ１０１や画像ＩＭ１０３等のようにワーカの分類による各クラスの割合に差がつかなかった画像は、モデルの生成に用いられなかった。例えば、従来の学習においては、画像ＩＭ１０２のような各クラスの割合の差が顕著な画像のみを用いて学習していた。例えば、従来の学習においては、画像ＩＭ１０２について、猫（クラスＣＬ１）のラベルを「１」とし、犬（クラスＣＬ２）のラベルを「０」として学習に用い、画像ＩＭ１０１やＩＭ１０３が学習に用いられなかった。しかしながら、各クラスの割合に差がつかなかった場合も学習データとしても重要であるが、クラス数が大きくなると、使われないデータも多くなるという問題があった。
【0063】
そこで、生成装置１００は、各クラスを選択したワーカの数の割合を学習するターゲット（正解情報）とすることで、従来では用いられていなかったデータを利用可能にし、画像自体が分類することが難しい画像である場合も適切に推定することが可能になる。また、例えば、閾値を使用して通常分類器として使用しても、学習データ数の増加により、学習器の汎化性能を向上させることができる。
【0064】
〔２．推定処理〕
図２を用いて、実施形態に係る推定処理の一例について説明する。図２は、実施形態に係る推定処理の一例を示す図である。図２では、生成装置１００は、新たな対象情報を取得した場合に、その対象情報に対する各クラスに分類される割合を推定し、推定に基づく情報を提供する場合を示す。
図２を用いて、実施形態に係る推定処理の一例について説明する。図２は、実施形態に係る推定処理の一例を示す図である。図２では、生成装置１００は、新たな対象情報を取得した場合に、その対象情報に対する各クラスに分類される割合を推定し、推定に基づく情報を提供する場合を示す。
【0065】
まず、生成装置１００は、対象情報となる画像ＩＭ１０を取得する（ステップＳ２１）。図２の例では、生成装置１００は、ユーザＵ１０１が利用する端末装置１０から分類対象となる画像ＩＭ１０を取得する。
【0066】
画像ＩＭ１０を取得した生成装置１００は、画像ＩＭ１０をモデルに入力する。例えば、生成装置１００は、画像ＩＭ１０のデータ（以下、「データＩＭ１０」とする）を、モデルＭ１に入力する。
【0067】
図２の例では、生成装置１００は、処理群ＰＳ２１に示すような処理により、画像ＩＭ１０が各クラスに分類される割合を示すスコアを算出する。生成装置１００は、データＩＭ１０をモデルＭ１に入力する（ステップＳ２２）。データＩＭ１０が入力されたモデルＭ１は、スコアを出力する（ステップＳ２３）。モデルＭ１は、各クラスに対応するスコアを出力する。図２の例では、データＩＭ１０が入力されたモデルＭ１は、スコアＳＣ１１に示すように、猫（クラスＣＬ１）のスコア「０．５５」を出力し、犬（クラスＣＬ２）のスコア「０．４５」を出力する。これにより、生成装置１００は、モデルＭ１を用いて、画像ＩＭ１０が猫（クラスＣＬ１）に分類される割合（確率）が５５％であり、犬（クラスＣＬ２）に分類される割合（確率）が４５％であると推定する。
【0068】
そして、生成装置１００は、推定結果を生成する（ステップＳ２４）。図２の例では、生成装置１００は、推定対象である画像ＩＭ１０が猫に分類される割合が５５％であり、犬に分類される割合が４５％であるとの推定結果情報ＥＲ２１を生成する。
【0069】
その後、生成装置１００は、推定結果に基づいて情報提供を行う（ステップＳ２５）。図２の例では、生成装置１００は、生成した推定結果情報ＥＲ２１を端末装置１０へ提供する。
【0070】
上述したように、生成装置１００は、モデルを用いることにより対象情報に対する各クラスに分類される割合を推定する。図２の例では、生成装置１００は、画像ＩＭ１０をモデルＭ１に入力することにより、モデルＭ１に画像ＩＭ１０が各クラスに分類される割合を示すスコアを出力させる。そして、生成装置１００は、モデルＭ１が出力するスコアが高いクラス程、その対象情報がそのクラスに分類される可能性が高いと推定する。図２の例では、生成装置１００は、モデルＭ１が出力する猫（クラスＣＬ１）のスコアが高いエリア程、その画像が猫に分類される可能性が高いと推定する。そして、生成装置１００は、推定した結果を端末装置１０へ提供する。これにより、生成装置１００から情報提供を受けたユーザは、その対象情報がどのクラスに分類されるかを把握することができる。また、生成装置１００から割合情報の情報提供を受けたユーザは、その対象情報がどの程度分類が難しい対象情報であるかを把握することができる。
【0071】
〔２－１．推定の対象〕
図１及び図２の例では、画像が猫（クラスＣＬ１）と犬（クラスＣＬ２）のいずれに分類されるかを推定するモデルを生成したり、モデルを用いて推定を行う場合を示したが、生成装置１００は、どのような分類を行うモデルを生成したりしてもよい。例えば、生成装置１００は、各対象情報に種々の正解情報を対応付けることにより、複数のモデルを生成してもよい。例えば、生成装置１００は、各対象情報に、種々の正解情報を対応付けることにより、複数のモデルを生成してもよい。
図１及び図２の例では、画像が猫（クラスＣＬ１）と犬（クラスＣＬ２）のいずれに分類されるかを推定するモデルを生成したり、モデルを用いて推定を行う場合を示したが、生成装置１００は、どのような分類を行うモデルを生成したりしてもよい。例えば、生成装置１００は、各対象情報に種々の正解情報を対応付けることにより、複数のモデルを生成してもよい。例えば、生成装置１００は、各対象情報に、種々の正解情報を対応付けることにより、複数のモデルを生成してもよい。
【0072】
また、生成装置１００は、画像に限らず、文字情報や、画像と文字情報を組み合わせた記事コンテンツ等の種々の対象情報を対象とするモデルを生成してもよい。
【0073】
〔２－２．回答について〕
図１の例では、説明を簡単にするために、各ユーザ（ワーカ）が犬か猫かのいずれかを選択し、いずれか一方を回答する場合を示したが、生成装置１００は、各ユーザから各クラスの割合による回答を取得してもよい。例えば、生成装置１００は、ユーザＵ１から、画像ＩＭ１０１が猫（クラスＣＬ１）であると考える割合「０．６（６０％）」と犬（クラスＣＬ２）であると考える割合「０．４（４０％）」等の各クラスの割合による回答を取得してもよい。例えば、生成装置１００は、ユーザＵ２から、画像ＩＭ１０１が猫（クラスＣＬ１）であると考える割合「０．７（７０％）」と犬（クラスＣＬ２）であると考える割合「０．３（３０％）」等の各クラスの割合による回答を取得してもよい。
図１の例では、説明を簡単にするために、各ユーザ（ワーカ）が犬か猫かのいずれかを選択し、いずれか一方を回答する場合を示したが、生成装置１００は、各ユーザから各クラスの割合による回答を取得してもよい。例えば、生成装置１００は、ユーザＵ１から、画像ＩＭ１０１が猫（クラスＣＬ１）であると考える割合「０．６（６０％）」と犬（クラスＣＬ２）であると考える割合「０．４（４０％）」等の各クラスの割合による回答を取得してもよい。例えば、生成装置１００は、ユーザＵ２から、画像ＩＭ１０１が猫（クラスＣＬ１）であると考える割合「０．７（７０％）」と犬（クラスＣＬ２）であると考える割合「０．３（３０％）」等の各クラスの割合による回答を取得してもよい。
【0074】
また、生成装置１００は、各ユーザから各クラスの割合による回答に基づいて、正解情報を生成してもよい。例えば、生成装置１００は、上記ユーザＵ１とユーザＵ２の回答に基づいて、正解情報を生成する場合、画像ＩＭ１０１の猫（クラスＣＬ１）の割合を「０．６５（＝（０．６＋０．７）／２）（６５％）」してもよい。例えば、生成装置１００は、上記ユーザＵ１とユーザＵ２の回答に基づいて、正解情報を生成する場合、画像ＩＭ１０１の犬（クラスＣＬ２）の割合を「０．３５（＝（０．４＋０．３）／２）（３５％）」してもよい。なお、上記は一例であり、生成装置１００は、各ユーザから種々の回答を取得して、正解情報を生成してもよい。
【0075】
〔２－３．回答するユーザ（ワーカ）に応じた重み付け〕
また、生成装置１００は、回答したユーザに応じて回答に重み付けを行ってもよい。例えば、生成装置１００は、各ユーザのワーカとしての経歴やスキルレベル等のクラウドソーシングにおける各ユーザの評価や信頼性を示す情報に基づいて、各ユーザの回答に重み付けを行ってもよい。
また、生成装置１００は、回答したユーザに応じて回答に重み付けを行ってもよい。例えば、生成装置１００は、各ユーザのワーカとしての経歴やスキルレベル等のクラウドソーシングにおける各ユーザの評価や信頼性を示す情報に基づいて、各ユーザの回答に重み付けを行ってもよい。
【0076】
例えば、生成装置１００は、ワーカとしての経歴が所定の年数以上のユーザの回答については、重みを「１」より大きくしてもよい。例えば、生成装置１００は、ワーカとしての経歴が所定の年数以上のユーザの回答については、重みを「２」とすることにより、２人分の回答の価値があるとしてもよい。また、例えば、生成装置１００は、ワーカとしてのスキルレベルが所定の閾値以上のユーザの回答については、重みを「１」より大きくしてもよい。例えば、生成装置１００は、ワーカとしての経歴が所定の年数以上のユーザの回答については、重みを「１．５」とすることにより、１．５人分の回答の価値があるとしてもよい。なお、上記は一例であり、生成装置１００は、種々の情報を用いて各ユーザの回答の重み付けを行ってもよい。
【0077】
〔３．生成装置の構成〕
次に、図４を用いて、実施形態に係る生成装置１００の構成について説明する。図４は、実施形態に係る生成装置の構成例を示す図である。図４に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図４を用いて、実施形態に係る生成装置１００の構成について説明する。図４は、実施形態に係る生成装置の構成例を示す図である。図４に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0078】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。
【0079】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図４に示すように、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４とを有する。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図４に示すように、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４とを有する。
【0080】
（学習データ記憶部１２１）
実施形態に係る学習データ記憶部１２１は、学習データに関する各種情報を記憶する。図５は、実施形態に係る学習データ記憶部の一例を示す図である。例えば、学習データ記憶部１２１は、モデルの生成に用いる教師データを記憶する。図５に示す学習データ記憶部１２１には、「データＩＤ」、「対象情報」、「集計情報」といった項目が含まれる。「集計情報」には、「正解情報（割合情報）」、「ユーザ数」、「猫（ＣＬ１）」、「犬（ＣＬ２）」といった項目が含まれる。
実施形態に係る学習データ記憶部１２１は、学習データに関する各種情報を記憶する。図５は、実施形態に係る学習データ記憶部の一例を示す図である。例えば、学習データ記憶部１２１は、モデルの生成に用いる教師データを記憶する。図５に示す学習データ記憶部１２１には、「データＩＤ」、「対象情報」、「集計情報」といった項目が含まれる。「集計情報」には、「正解情報（割合情報）」、「ユーザ数」、「猫（ＣＬ１）」、「犬（ＣＬ２）」といった項目が含まれる。
【0081】
「データＩＤ」は、データを識別するための識別情報を示す。例えば、データＩＤ「ＤＴ１０１」により識別されるデータは、図１の例に示した、データＤＴ１０１に対応する。「対象情報」は、データＩＤにより識別されるデータに含まれる対象情報を示す。例えば、「対象情報」は、分類対象となる対象情報を示す。「集計情報」は、クラウドソーシングによってワーカにより行われたタスクの回答を集計した情報を示す。
【0082】
「集計情報」中の「正解情報（割合情報）」は、データＩＤにより識別されるデータに対応する正解情報（割合情報）を示す。例えば、「正解情報（割合情報）」は、ワーカの全回答における各クラスの回答の割合を示す。
【0083】
「集計情報」中の「ユーザ数」は、対応する対象情報について回答を行ったユーザ数を示す。「集計情報」中の「猫（ＣＬ１）」は、対応する対象情報について猫と回答を行ったユーザ数を示す。また、図５の例では、「集計情報」中の「猫（ＣＬ１）」は、対応する対象情報について猫と回答を行ったユーザを識別する情報も含まれる。また、「集計情報」中の「犬（ＣＬ２）」は、対応する対象情報について犬と回答を行ったユーザ数を示す。また、図５の例では、「集計情報」中の「犬（ＣＬ２）」は、対応する対象情報について犬と回答を行ったユーザを識別する情報も含まれる。
【0084】
例えば、図５に示す例において、データＩＤ「ＤＴ１０１」により識別されるデータ（データＤＴ１０１）は、分類対象となる対象情報が画像ＩＭ１０１であることを示す。また、データＤＴ１０１は、正解情報が「猫」と分類された割合が「０．５８（５８％）」であり、「犬」と分類された割合が「０．４２（４２％）」であることを示す。また、データＤＴ１０１は、ユーザ数が１０００人であることを示す。また、データＤＴ１０１は、猫と回答したユーザ数が５８０人であり、そのユーザにはユーザＵ１やユーザＵ２等が含まれることを示す。また、データＤＴ１０１は、犬と回答したユーザ数が４２０人であり、そのユーザにはユーザＵ３やユーザＵ４等が含まれることを示す。すなわち、データＤＴ１０１は、画像ＩＭ１０１について、１０００人のユーザ（ワーカ）のうち、５８０人が猫と回答し、４２０人が犬と回答したことを示す。そのため、データＤＴ１０１は、正解情報における猫の割合が「５８０／１０００＝０．５８」となり、正解情報における犬の割合が「４２０／１０００＝０．４２」となる。
【0085】
なお、学習データ記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、学習データ記憶部１２１は、学習データが追加された日時に関する情報を記憶してもよい。また、例えば、学習データ記憶部１２１は、各学習データがどのような判定処理により追加されたかを示す情報を記憶してもよい。例えば、学習データ記憶部１２１は、各学習データが管理者の選択により判定されたか等を示す情報を記憶してもよい。
【0086】
（モデル情報記憶部１２２）
実施形態に係るモデル情報記憶部１２２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、生成処理により生成されたモデル情報（モデルデータ）を記憶する。図６は、実施形態に係るモデル情報記憶部の一例を示す図である。図６に示すモデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。なお、図６では、モデルＭ１～Ｍ３のみを図示するが、Ｍ４、Ｍ５等、各用途（推定の対象）に応じて多数のモデル情報が記憶されてもよい。
実施形態に係るモデル情報記憶部１２２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、生成処理により生成されたモデル情報（モデルデータ）を記憶する。図６は、実施形態に係るモデル情報記憶部の一例を示す図である。図６に示すモデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。なお、図６では、モデルＭ１～Ｍ３のみを図示するが、Ｍ４、Ｍ５等、各用途（推定の対象）に応じて多数のモデル情報が記憶されてもよい。
【0087】
「モデルＩＤ」は、モデルを識別するための識別情報を示す。例えば、モデルＩＤ「Ｍ１」により識別されるモデルは、図１の例に示したモデルＭ１に対応する。「用途」は、対応するモデルの用途を示す。また、「モデルデータ」は、対応付けられた対応するモデルのデータを示す。例えば、「モデルデータ」には、各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
【0088】
例えば、図６に示す例において、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「画像（犬猫分類）」であり、入力された画像が犬猫の２つのクラスのいずれかに分類されるかの推定に用いられることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
【0089】
例えば、図６に示す例において、モデルＩＤ「Ｍ３」により識別されるモデル（モデルＭ３）は、用途が「文字情報（カテゴリ分類）」であり、入力された文字情報が複数のカテゴリ（クラス）のうち、どのクラスに分類されるかの推定に用いられることを示す。例えば、分類するカテゴリ（クラス）は、政治、スポーツ、芸能等の３つ以上のカテゴリが含まれてもよい。また、モデルＭ３のモデルデータは、モデルデータＭＤＴ３であることを示す。
【0090】
例えば、モデルＭ１（モデルデータＭＤＴ１）は、分類対象となる対象情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された対象情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、対象情報の各クラスに分類される割合の推定に用いられるスコアの値を出力層から出力するよう、コンピュータを機能させるためのモデルである。
【0091】
ここで、モデルＭ１～Ｍ３等が「ｙ＝ａ１＊ｘ１＋ａ２＊ｘ２＋・・・＋ａｉ＊ｘｉ」で示す回帰モデルで実現されるとする。この場合、例えば、モデルＭ１が含む第１要素は、ｘ１やｘ２等といった入力データ（ｘｉ）に対応する。また、第１要素の重みは、ｘｉに対応する係数ａｉに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。
【0092】
また、モデルＭ１～Ｍ３等がＤＮＮ等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、例えば、モデルＭ１が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
【0093】
なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。例えば、モデル情報記憶部１２２は、画像と文字情報とを組み合わせた記事コンテンツが各クラスに分類される割合の推定に用いられるモデルを記憶してもよい。
【0094】
（ユーザ情報記憶部１２３）
実施形態に係るユーザ情報記憶部１２３は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部１２３は、クラウドソーシングなどによるタスクを行う複数のワーカ（ユーザ）に関する情報を記憶する。図７は、実施形態に係るユーザ情報記憶部の一例を示す図である。図７に示すユーザ情報記憶部１２３は、「ユーザＩＤ」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目が含まれる。
実施形態に係るユーザ情報記憶部１２３は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部１２３は、クラウドソーシングなどによるタスクを行う複数のワーカ（ユーザ）に関する情報を記憶する。図７は、実施形態に係るユーザ情報記憶部の一例を示す図である。図７に示すユーザ情報記憶部１２３は、「ユーザＩＤ」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目が含まれる。
【0095】
「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「年齢」は、ユーザＩＤにより識別されるユーザの年齢を示す。なお、「年齢」は、例えば３５歳など、ユーザＩＤにより識別されるユーザの具体的な年齢であってもよい。また、「性別」は、ユーザＩＤにより識別されるユーザの性別を示す。
【0096】
また、「自宅」は、ユーザＩＤにより識別されるユーザの自宅の位置情報を示す。なお、図７に示す例では、「自宅」は、「ＬＣ１１」といった抽象的な符号を図示するが、緯度や経度を示す情報であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。
【0097】
また、「勤務地」は、ユーザＩＤにより識別されるユーザの勤務地の位置情報を示す。なお、図７に示す例では、「勤務地」は、「ＬＣ１２」といった抽象的な符号を図示するが、緯度や経度を示す情報であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。
【0098】
また、「興味」は、ユーザＩＤにより識別されるユーザの興味を示す。すなわち、「興味」は、ユーザＩＤにより識別されるユーザが関心の高い対象を示す。なお、図７に示す例では、「興味」は、各ユーザに１つずつ図示するが、複数であってもよい。
【0099】
例えば、図７に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザの年齢は、「２０代」であり、性別は、「男性」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、自宅が「ＬＣ１１」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、勤務地が「ＬＣ１２」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、「スポーツ」に興味があることを示す。
【0100】
なお、ユーザ情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部１２３は、ユーザのデモグラフィック属性に関する情報やサイコグラフィック属性に関する情報を記憶してもよい。例えば、ユーザ情報記憶部１２３は、氏名、家族構成、収入、興味、ライフスタイル等の情報を記憶してもよい。また、例えば、ユーザ情報記憶部１２３は、各ユーザのワーカとしての経歴やスキルレベル等のクラウドソーシングにおける各ユーザの評価や信頼性を示す情報を記憶してもよい。
【0101】
（推定情報記憶部１２４）
実施形態に係る推定情報記憶部１２４は、推定対象や推定結果等の推定に関する各種情報を記憶する。図８に、実施形態に係る推定情報記憶部１２４の一例を示す。図８に示す推定情報記憶部１２４は、「推定対象」、「クラス」、「スコア」といった項目を有する。図８に示す推定情報記憶部１２４は、図２において推定した画像ＩＭ１０のクラス分類（犬猫分類）に関する情報を示す。
実施形態に係る推定情報記憶部１２４は、推定対象や推定結果等の推定に関する各種情報を記憶する。図８に、実施形態に係る推定情報記憶部１２４の一例を示す。図８に示す推定情報記憶部１２４は、「推定対象」、「クラス」、「スコア」といった項目を有する。図８に示す推定情報記憶部１２４は、図２において推定した画像ＩＭ１０のクラス分類（犬猫分類）に関する情報を示す。
【0102】
「推定対象」は、推定する分類対象（対象）を示す。「クラス」は、推定対象を分類するクラスを示す。「スコア」は、対応するクラスの評価値となるスコアを示す。例えば、「スコア」は、対応するクラスに分類されると推定される割合を示す。
【0103】
例えば、図８に示す例において、推定する対象は、画像ＩＭ１０であることを示す。また、画像ＩＭ１０が猫（クラスＣＬ１）のスコアが「０．５５」であることを示す。例えば、画像ＩＭ１０が猫（クラスＣＬ１）と分類される割合が５５％であることを示す。また、画像ＩＭ１０が犬（クラスＣＬ２）のスコアが「０．４５」であることを示す。例えば、画像ＩＭ１０が犬（クラスＣＬ２）と分類される割合が４５％であることを示す。
【0104】
なお、推定情報記憶部１２４は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【0105】
（制御部１３０）
図４の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。制御部１３０は、モデル情報記憶部１２２に記憶されているモデルＭ１等に従った情報処理により、分類対象となる対象情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された対象情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、対象情報の各クラスに分類される割合の推定に用いられるスコアの値を出力層から出力する。
図４の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。制御部１３０は、モデル情報記憶部１２２に記憶されているモデルＭ１等に従った情報処理により、分類対象となる対象情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された対象情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、対象情報の各クラスに分類される割合の推定に用いられるスコアの値を出力層から出力する。
【0106】
図４に示すように、制御部１３０は、取得部１３１と、生成部１３２と、推定部１３３と、提供部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。制御部１３０は、記憶部１２０に記憶されているモデルＭ１（モデルデータＭＤＴ１）に従った情報処理により、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された対象情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、対象情報の各クラスに分類される割合の推定に用いられるスコアの値を出力層から出力する。
【0107】
（取得部１３１）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得してもよい。また、取得部１３１は、各種情報を端末装置１０等から取得してもよい。例えば、取得部１３１は、ワーカから対象情報に対する回答を取得する。
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得してもよい。また、取得部１３１は、各種情報を端末装置１０等から取得してもよい。例えば、取得部１３１は、ワーカから対象情報に対する回答を取得する。
【0108】
例えば、取得部１３１は、分類対象となる対象情報と、複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報とを取得する。例えば、取得部１３１は、分類対象となる対象情報と、複数のユーザの各々により選択された対象情報の各クラスに分類された割合を示す割合情報とを取得する。例えば、取得部１３１は、クラウドソーシングにおいて複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報を取得する。例えば、取得部１３１は、複数のユーザの数と、対象情報の各クラスを選択したユーザの数とに基づく割合情報を取得する。例えば、取得部１３１は、画像情報を含む対象情報を取得する。例えば、取得部１３１は、文字情報を含む対象情報を取得する。
【0109】
図１の例では、取得部１３１は、正解情報を生成するための情報を収集する。例えば、取得部１３１は、画像ＩＭ１０１～ＩＭ１０３等の画像群ＩＭＬ１をクラウドソーシングによりユーザ（ワーカ）に分類させ、その回答を取得する。
【0110】
図１の例では、取得部１３１は、ユーザＵ１から画像ＩＭ１０１に対する回答を取得する。例えば、取得部１３１は、ユーザＵ１から画像ＩＭ１０１が「猫」であるとの回答を取得する。例えば、取得部１３１は、ユーザＵ２から画像ＩＭ１０１が「猫」であるとの回答を取得する。例えば、取得部１３１は、ユーザＵ３から画像ＩＭ１０１が「犬」であるとの回答を取得する。例えば、取得部１３１は、ユーザＵ４から画像ＩＭ１０１が「犬」であるとの回答を取得する。例えば、取得部１３１は、ユーザＵ５から画像ＩＭ１０１が「猫」であるとの回答を取得する。
【0111】
例えば、取得部１３１は、新たな対象情報を取得する。図２の例では、取得部１３１は、ユーザＵ１０１が利用する端末装置１０から分類対象となる画像ＩＭ１０を取得する。
【0112】
（生成部１３２）
生成部１３２は、各種情報を生成する。例えば、生成部１３２は、学習データ記憶部１２１に記憶された学習データを用いて、モデル情報記憶部１２２に示すようなモデルを生成する。例えば、生成部１３２は、取得部１３１により取得された学習データに基づいて、対象情報の各クラスに分類される割合の推定に用いられるモデルを生成する。例えば、生成部１３２は、対象情報と、対象情報が各クラスに分類される割合を示す正解情報とを含む学習データに基づいて、対象情報の各クラスに分類される割合の推定に用いられるモデルを生成する。
生成部１３２は、各種情報を生成する。例えば、生成部１３２は、学習データ記憶部１２１に記憶された学習データを用いて、モデル情報記憶部１２２に示すようなモデルを生成する。例えば、生成部１３２は、取得部１３１により取得された学習データに基づいて、対象情報の各クラスに分類される割合の推定に用いられるモデルを生成する。例えば、生成部１３２は、対象情報と、対象情報が各クラスに分類される割合を示す正解情報とを含む学習データに基づいて、対象情報の各クラスに分類される割合の推定に用いられるモデルを生成する。
【0113】
例えば、生成部１３２は、取得部１３１により取得された対象情報と割合情報とに基づいて、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するモデルを生成する。例えば、生成部１３２は、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するニューラルネットワーク（neural network）であるモデルを生成する。例えば、生成部１３２は、畳み込み処理及びプーリング処理を行うニューラルネットワークであるモデルを生成する。例えば、生成部１３２は、割合情報における各クラスに対応する割合間の差が所定の範囲内となる対象情報に基づいて、モデルを生成する。
【0114】
例えば、生成部１３２は、モデルＭ１～Ｍ３等を生成し、生成したモデルＭ１～Ｍ３等をモデル情報記憶部１２２に格納する。なお、生成部１３２は、いかなる学習アルゴリズムを用いてモデルＭ１～Ｍ３等を生成してもよい。例えば、生成部１３２は、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、クラスタリング、強化学習等の学習アルゴリズムを用いてモデルＭ１～Ｍ３等を生成する。一例として、生成部１３２がニューラルネットワークを用いてモデルＭ１～Ｍ３等を生成する場合、モデルＭ１～Ｍ３等は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
【0115】
生成部１３２は、モデルを生成し、生成したモデルをモデル情報記憶部１２２に格納する。具体的には、生成部１３２は、分類対象となる対象情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された対象情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、対象情報の各クラスに分類される割合の推定に用いられるスコアの値を出力層から出力するモデルを生成する。
【0116】
図１の例では、生成部１３２は、対象情報の各クラスに分類される割合を示す割合情報を生成する。例えば、生成部１３２は、対象情報と、割合情報を正解情報として含む集計情報との組み合わせを学習データとして追加する。例えば、生成部１３２は、対象情報である画像ＩＭ１０１～ＩＭ１０３等の各々に対応するデータＤＴ１０１～ＤＴ１０３等を学習データ記憶部１２１に追加する。
【0117】
図１の例では、生成部１３２は、上記のような画像ＩＭ１０１～ＩＭ１０３等を含む学習データに基づいてモデルを生成する。例えば、生成部１３２は、学習データ記憶部１２１中のデータＤＴ１０１～ＤＴ１０３等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。図１に示すような処理により生成部１３２は、モデル情報記憶部１２２に示すように、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）を生成する。
【0118】
例えば、生成部１３２は、推定部１３３により推定された情報に基づいてユーザに提供する推定結果を生成する。図２の例では、生成部１３２は、推定対象である画像ＩＭ１０が猫に分類される割合が５５％であり、犬に分類される割合が４５％であるとの推定結果情報ＥＲ２１を生成する。
【0119】
（推定部１３３）
推定部１３３は、各種情報を推定する。推定部１３３は、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４等に記憶された情報を用いて種々の情報を推定する。例えば、推定部１３３は、取得部１３１により取得された各種情報に基づいて、種々の情報を推定する。
推定部１３３は、各種情報を推定する。推定部１３３は、学習データ記憶部１２１と、モデル情報記憶部１２２と、ユーザ情報記憶部１２３と、推定情報記憶部１２４等に記憶された情報を用いて種々の情報を推定する。例えば、推定部１３３は、取得部１３１により取得された各種情報に基づいて、種々の情報を推定する。
【0120】
例えば、推定部１３３は、モデルを用いて、対象情報に対する各クラスに分類される割合を推定する。推定部１３３は、新たな対象情報をモデルに入力することにより、新たな対象情報に対する各クラスに分類される割合を推定する。
【0121】
図２の例では、推定部１３３は、処理群ＰＳ２１に示すような処理により、画像ＩＭ１０が各クラスに分類される割合を示すスコアを算出する。推定部１３３は、データＩＭ１０をモデルＭ１に入力する。推定部１３３によりデータＩＭ１０が入力されたモデルＭ１は、スコアを出力する。モデルＭ１は、各クラスに対応するスコアを出力する。図２の例では、データＩＭ１０が入力されたモデルＭ１は、スコアＳＣ１１に示すように、猫（クラスＣＬ１）のスコア「０．５５」を出力し、犬（クラスＣＬ２）のスコア「０．４５」を出力する。これにより、推定部１３３は、モデルＭ１を用いて、画像ＩＭ１０が猫（クラスＣＬ１）に分類される割合（確率）が５５％であり、犬（クラスＣＬ２）に分類される割合（確率）が４５％であると推定する。
【0122】
例えば、推定部１３３は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、スコアの算出を行う。具体的には、モデルＭ１は、分類対象となる対象情報（すなわち、上述したスコアの算出に用いられる各要素）が入力された場合に、所定の対象の推定を定量化した値（すなわち、一の対象情報が各クラスに分類される割合が発生する可能性が高いかを示唆するスコア）を出力するように係数が設定される。推定部１３３は、このようなモデルＭ１を用いて、各出品の対象に関するスコアを算出する。
【0123】
なお、上記例では、モデルＭ１が、分類対象となる対象情報が入力された場合に、対象情報の各クラスに分類される割合の推定を定量化した値を出力するモデルである例を示した。しかし、実施形態に係るモデル（モデルＸ）は、モデルＭ１にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルＸは、分類対象となる対象情報を入力とし、モデルＭ１が出力するスコアを出力とするよう学習されたモデル（モデルＹ)であってもよい。または、モデルＭ１は、分類対象となる対象情報を入力とし、モデルＹの出力値を出力とするよう学習されたモデルであってもよい。また、推定部１３３がＧＡＮ（Generative Adversarial Networks）を用いた推定処理を行う場合、モデルＭ１は、ＧＡＮの一部を構成するモデルであってもよい。
【0124】
（提供部１３４）
提供部１３４は、各種情報を提供する。例えば、提供部１３４は、端末装置１０に各種情報を提供する。提供部１３４は、推定部１３３により推定された一の対象情報が各クラスに分類される割合に基づくサービスを提供する。例えば、提供部１３４は、推定部１３３により推定された一の対象情報が各クラスに分類される割合に基づいて、一の対象情報がいずれのクラスであるかを示す情報を提供する。また、例えば、提供部１３４は、生成部１３２により生成されたモデルに関する情報を外部の情報処理装置へ提供してもよい。また、例えば、提供部１３４は、モデルが出力する情報を外部の情報処理装置へ提供してもよい。
提供部１３４は、各種情報を提供する。例えば、提供部１３４は、端末装置１０に各種情報を提供する。提供部１３４は、推定部１３３により推定された一の対象情報が各クラスに分類される割合に基づくサービスを提供する。例えば、提供部１３４は、推定部１３３により推定された一の対象情報が各クラスに分類される割合に基づいて、一の対象情報がいずれのクラスであるかを示す情報を提供する。また、例えば、提供部１３４は、生成部１３２により生成されたモデルに関する情報を外部の情報処理装置へ提供してもよい。また、例えば、提供部１３４は、モデルが出力する情報を外部の情報処理装置へ提供してもよい。
【0125】
図１の例では、提供部１３４は、ワーカであるユーザＵ１が利用する端末装置１０－１に対象情報を提供する。例えば、提供部１３４は、端末装置１０－１～１０－５に対象情報である画像ＩＭ１０１等を提供する。例えば、提供部１３４は、端末装置１０－１～１０－５に対象情報である画像群ＩＭＬ１等を提供する。
【0126】
例えば、提供部１３４は、推定結果に基づいて情報提供を行う。図２の例では、提供部１３４は、生成部１３２により生成された推定結果情報ＥＲ２１を端末装置１０へ提供する。
【0127】
【0128】
図９に示すように、生成装置１００は、学習データを取得する（ステップＳ１０１）。例えば、生成装置１００は、学習データ記憶部１２１から学習データを取得する。
【0129】
その後、生成装置１００は、学習データに基づきモデルを生成する（ステップＳ１０２）。図１の例では、生成装置１００は、学習データ記憶部１２１から学習データを用いてモデルＭ１を生成する。
【0130】
【0131】
【0132】
また、生成装置１００は、対象情報とモデルを用いて対象情報に対する各クラスに分類される割合を推定する（ステップＳ２０２）。図２の例では、生成装置１００は、モデルＭ１を用いて、画像ＩＭ１０が猫（クラスＣＬ１）に分類される割合（確率）が５５％であり、犬（クラスＣＬ２）に分類される割合（確率）が４５％であると推定する。
【0133】
また、生成装置１００は、推定した対象情報に対する各クラスに分類される割合に関する情報を提供する（ステップＳ２０３）。図２の例では、生成装置１００は、推定対象である画像ＩＭ１０が猫に分類される割合が５５％であり、犬に分類される割合が４５％であるとの推定結果情報ＥＲ２１をユーザＵ１０１が利用する端末装置１０へ提供する。
【0134】
〔６．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３２とを有する。取得部１３１は、分類対象となる対象情報と、複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報とを取得する。また、生成部１３２は、取得部１３１により取得された対象情報と割合情報とに基づいて、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するモデルを生成する。
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３２とを有する。取得部１３１は、分類対象となる対象情報と、複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報とを取得する。また、生成部１３２は、取得部１３１により取得された対象情報と割合情報とに基づいて、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するモデルを生成する。
【0135】
このように、実施形態に係る生成装置１００は、対象情報と、複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報とに基づいて、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するモデルを生成することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0136】
また、実施形態に係る生成装置１００において、取得部１３１は、クラウドソーシングにおいて複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報を取得する。
【0137】
このように、実施形態に係る生成装置１００は、クラウドソーシングにおいて複数のユーザの各々により対象情報の各クラスに分類された割合を示す割合情報を取得することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0138】
また、実施形態に係る生成装置１００において、取得部１３１は、複数のユーザの数と、対象情報の各クラスを選択したユーザの数とに基づく割合情報を取得する。
【0139】
このように、実施形態に係る生成装置１００は、複数のユーザの数と、対象情報の各クラスを選択したユーザの数とに基づく割合情報を取得することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0140】
また、実施形態に係る生成装置１００において、取得部１３１は、画像情報を含む対象情報を取得する。
【0141】
このように、実施形態に係る生成装置１００は、画像情報を含む対象情報を取得することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0142】
また、実施形態に係る生成装置１００において、取得部１３１は、文字情報を含む対象情報を取得する。
【0143】
このように、実施形態に係る生成装置１００は、文字情報を含む対象情報を取得することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0144】
また、実施形態に係る生成装置１００において、生成部１３２は、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するニューラルネットワークであるモデルを生成する。
【0145】
このように、実施形態に係る生成装置１００は、一の対象情報が入力された場合に、一の対象情報が各クラスに分類される割合を推定するニューラルネットワークであるモデルを生成することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0146】
また、実施形態に係る生成装置１００において、生成部１３２は、畳み込み処理及びプーリング処理を行うニューラルネットワークであるモデルを生成する。
【0147】
このように、実施形態に係る生成装置１００は、畳み込み処理及びプーリング処理を行うニューラルネットワークであるモデルを生成することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0148】
また、実施形態に係る生成装置１００において、推定部１３３を有する。推定部１３３は、モデルを用いて、対象情報に対する各クラスに分類される割合を推定する。
【0149】
このように、実施形態に係る生成装置１００は、モデルを用いて、対象情報に対する各クラスに分類される割合を推定することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0150】
また、実施形態に係る生成装置１００において、取得部１３１は、新たな対象情報を取得する。推定部１３３は、新たな対象情報をモデルに入力することにより、新たな対象情報に対する各クラスに分類される割合を推定する。
【0151】
このように、実施形態に係る生成装置１００は、新たな対象情報をモデルに入力することにより、新たな対象情報に対する各クラスに分類される割合を推定することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0152】
また、実施形態に係る生成装置１００において、生成部１３２は、割合情報における各クラスに対応する割合間の差が所定の範囲内となる対象情報に基づいて、モデルを生成する。
【0153】
このように、実施形態に係る生成装置１００は、割合情報における各クラスに対応する割合間の差が所定の範囲内となる対象情報に基づいて、モデルを生成することにより、対象情報の各クラスに分類される割合を適切に推定可能にすることができる。
【0154】
〔７．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
上述してきた実施形態に係る生成装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【0155】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0156】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。
【0157】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0158】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0159】
例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、モデルＭ１（モデルデータＭＤＴ１））を実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、モデルＭ１（モデルデータＭＤＴ１））を記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。
【0160】
以上、本願の実施形態及び変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0161】
〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0162】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0163】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0164】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0165】
１ 生成システム
１００ 生成装置
１２１ 学習データ記憶部
１２２ モデル情報記憶部
１２３ ユーザ情報記憶部
１２４ 推定情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 提供部
１０ 端末装置
Ｎ ネットワーク
１００ 生成装置
１２１ 学習データ記憶部
１２２ モデル情報記憶部
１２３ ユーザ情報記憶部
１２４ 推定情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 提供部
１０ 端末装置
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】