ホーム > 特許ランキング > 楽天グループ株式会社
▶ 楽天株式会社の特許一覧 ▶ 国立大学法人名古屋大学の特許一覧
特開2024-134226印象推定システム、印象推定モデルの学習方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134226
(43)【公開日】2024-10-03
(54)【発明の名称】印象推定システム、印象推定モデルの学習方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240926BHJP
【ＦＩ】
G06T7/00 660Z
G06T7/00 350B
G06T7/00 130
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023044425
(22)【出願日】2023-03-20
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年４月８日、国立大学法人東海国立大学機構（愛知県名古屋市千種区不老町１番）の修士論文中間発表会 令和４年９月２９日、ｈｔｔｐｓ：／／ｋｅｎ．ｉｅｉｃｅ．ｏｒｇ／ｋｅｎ／ｐａｐｅｒ／２０２２１００７ＬＣｍＰ／ 令和４年１０月７日、電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会（ＭＶＥ２０２２）、阿寒湖まりむ館（北海道釧路市阿寒町阿寒湖温泉２丁目６番２０号） 令和５年２月１０日、国立大学法人東海国立大学機構（愛知県名古屋市千種区不老町１番）の修士論文審査会
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(71)【出願人】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】中澤 満
(72)【発明者】
【氏名】蔡 永男
(72)【発明者】
【氏名】シュテンガー ビヨン
(72)【発明者】
【氏名】井手 一郎
(72)【発明者】
【氏名】川西 康友
(72)【発明者】
【氏名】駒水 孝裕
(72)【発明者】
【氏名】道満 恵介
(72)【発明者】
【氏名】小嶋 万理
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096CA21
5L096EA11
5L096EA43
5L096FA32
5L096FA34
5L096GA30
5L096GA34
5L096GA51
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】訓練データを用意する手間を軽減しつつ、印象推定モデルの精度を高める。
【解決手段】印象推定システム（１）は、訓練画像取得部（３０１）は、人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する。アノテーション情報取得部（３０３）は、アノテータが訓練画像から受けた印象に関するアノテーション情報を取得する。アノテータ人物属性取得部（３０４）は、アノテータの人物属性を取得する。人物属性クラスタリング実行部（３０６）は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。訓練データ生成部（３０７）は、訓練画像、アノテータの人物属性が属する人物集合、及びアノテーション情報に基づいて、印象推定モデルの訓練データを生成する。学習実行部（３０８）は、訓練データに基づいて、印象推定モデルの学習を実行する。
【選択図】図７
【解決手段】印象推定システム（１）は、訓練画像取得部（３０１）は、人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する。アノテーション情報取得部（３０３）は、アノテータが訓練画像から受けた印象に関するアノテーション情報を取得する。アノテータ人物属性取得部（３０４）は、アノテータの人物属性を取得する。人物属性クラスタリング実行部（３０６）は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。訓練データ生成部（３０７）は、訓練画像、アノテータの人物属性が属する人物集合、及びアノテーション情報に基づいて、印象推定モデルの訓練データを生成する。学習実行部（３０８）は、訓練データに基づいて、印象推定モデルの学習を実行する。
【選択図】図７
【特許請求の範囲】
【請求項1】
人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得部と、
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部と、
前記アノテータの人物属性を取得するアノテータ人物属性取得部と、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部と、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部と、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部と、
を含む印象推定システム。
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部と、
前記アノテータの人物属性を取得するアノテータ人物属性取得部と、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部と、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部と、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部と、
を含む印象推定システム。
【請求項2】
前記アノテータ人物属性取得部は、複数の前記人物属性の組合せを取得し、
前記人物属性クラスタリング実行部は、互いに似た感性の前記組合せが同じ前記集合に属するように、前記人物属性クラスタリングを実行する、
請求項１に記載の印象推定システム。
前記人物属性クラスタリング実行部は、互いに似た感性の前記組合せが同じ前記集合に属するように、前記人物属性クラスタリングを実行する、
請求項１に記載の印象推定システム。
【請求項3】
前記印象推定システムは、互いに似た前記訓練画像が同じ画像集合に属するように、前記訓練画像に関する画像クラスタリングを実行する画像クラスタリング実行部を更に含み、
前記人物属性クラスタリング実行部は、同じ前記画像集合に属する前記訓練画像から互いに似た印象を受けた前記アノテータの前記人物属性が同じ前記人物集合に属するように、前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
前記人物属性クラスタリング実行部は、同じ前記画像集合に属する前記訓練画像から互いに似た印象を受けた前記アノテータの前記人物属性が同じ前記人物集合に属するように、前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
【請求項4】
前記人物属性クラスタリング実行部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化及び正規化の少なくとも一方を実行し、当該平均化及び当該正規化の少なくとも一方の実行結果に基づいて、前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
請求項１又は２に記載の印象推定システム。
【請求項5】
前記人物属性クラスタリング実行部は、前記アノテーション情報及び前記人物属性の少なくとも一方に関する次元削除を実行し、当該次元削除の実行結果に基づいて、前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
請求項１又は２に記載の印象推定システム。
【請求項6】
前記訓練データ生成部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化を実行し、当該実行された平均化に基づいて、前記訓練データを生成する、
請求項１又は２に記載の印象推定システム。
請求項１又は２に記載の印象推定システム。
【請求項7】
前記訓練データ生成部は、前記アノテータごとに、前記訓練画像、当該アノテータの前記人物集合、及び当該アノテータの前記アノテーション情報に基づいて、前記訓練データを生成する、
請求項１又は２に記載の印象推定システム。
請求項１又は２に記載の印象推定システム。
【請求項8】
前記印象推定システムは、複数の前記人物属性の中から、相対的に重要度が高い少なくとも１つの前記人物属性を特定する重要人物属性特定部を更に含み、
前記人物属性クラスタリング実行部は、前記少なくとも１つの人物属性に関する前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
前記人物属性クラスタリング実行部は、前記少なくとも１つの人物属性に関する前記人物属性クラスタリングを実行する、
請求項１又は２に記載の印象推定システム。
【請求項9】
前記アノテータは、クラウドソーシングサービスに登録されたクラウドワーカーであり、
前記アノテータ人物属性取得部は、前記クラウドソーシングサービスに登録された前記クラウドワーカーの前記人物属性を取得する、
請求項１又は２に記載の印象推定システム。
前記アノテータ人物属性取得部は、前記クラウドソーシングサービスに登録された前記クラウドワーカーの前記人物属性を取得する、
請求項１又は２に記載の印象推定システム。
【請求項10】
前記印象推定システムは、
学習済みの前記印象推定モデルの推定対象となる推定画像を取得する推定画像取得部と、
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む請求項１又は２に記載の印象推定システム。
学習済みの前記印象推定モデルの推定対象となる推定画像を取得する推定画像取得部と、
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む請求項１又は２に記載の印象推定システム。
【請求項11】
訓練画像、アノテータの人物属性が属する人物集合、及び前記アノテータが前記訓練画像から受けた印象に関するアノテーション情報に基づいて生成された訓練データが学習済みの印象推定モデルの推定対象となる推定画像を取得する推定画像取得部と、
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む印象推定システム。
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む印象推定システム。
【請求項12】
人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得ステップと、
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得ステップと、
前記アノテータの人物属性を取得するアノテータ人物属性取得ステップと、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行ステップと、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成ステップと、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行ステップと、
を含む印象推定モデルの学習方法。
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得ステップと、
前記アノテータの人物属性を取得するアノテータ人物属性取得ステップと、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行ステップと、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成ステップと、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行ステップと、
を含む印象推定モデルの学習方法。
【請求項13】
人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得部、
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部、
前記アノテータの人物属性を取得するアノテータ人物属性取得部、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部、
としてコンピュータを機能させるためのプログラム。
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部、
前記アノテータの人物属性を取得するアノテータ人物属性取得部、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、印象推定システム、印象推定モデルの学習方法、及びプログラムに関する。
【背景技術】
【0002】
従来、人が画像から受ける印象を推定する手法が検討されている。例えば、非特許文献１，２には、畳み込みニューラルネットワークを利用した手法が記載されている。非特許文献３には、訓練画像と、アノテータの性別及び年代といった人物属性の組合せである人物属性組合せと、を入力とし、アノテーション情報を出力とする訓練データを印象推定モデルに学習させる手法が記載されている。非特許文献３には、６つの人物属性組合せが記載されている。非特許文献３の手法は、印象推定モデルが人物属性組合せに応じた印象推定を行うことによって、非特許文献１，２の手法よりも推定精度が高まる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Hidemichi Suzuki, Atsuhiro Yamada, Kensuke Tobitani, Sho Hashimoto, and Noriko Nagata, “An automatic modeling method of kansei evaluation from product data using a CNN model expressing the relationship between impressions and physical features,” in Proceedings of the 21st International Conference on Human-Computer Interaction, pp. 86-94, July 2019.
【非特許文献2】Natsuki Sunda, Kensuke Tobitani, Iori Tani, Yusuke Tani, Noriko Nagata, and Nobufumi Morita, “Impression estimation model for clothing patterns using neural style features,” in Proceedings of the 22nd International Conference on Human-Computer Interaction, pp. 689-697, July 2020.
【非特許文献3】中本麻友, 川西康友, 出口大輔, 井手一郎, 村瀬洋, 中澤満, Chae Yeongnam, Stenger Bjorn, “顧客の属性を考慮した商品画像の印象推定法の検討,” 2021 年電子情報通信学会総合大会, D-12-5, March 2021.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、非特許文献３に記載された６つよりも多い人物属性組合せを印象推定モデルに学習させようとすると、多数の訓練データを用意する必要があるので、非常に手間がかかる。一方で、個々の人物属性組合せの訓練データが少ないと、印象推定モデルの精度を十分に高めることができない。このため、訓練データを用意する手間を軽減しつつ、印象推定モデルの精度を高めることが求められている。
【0005】
本開示の目的の１つは、訓練データを用意する手間を軽減しつつ、印象推定モデルの精度を高めることである。
【課題を解決するための手段】
【0006】
本開示に係る印象推定システムは、人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得部と、アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部と、前記アノテータの人物属性を取得するアノテータ人物属性取得部と、前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部と、前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部と、前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部と、を含む。
【発明の効果】
【0007】
本開示によれば、訓練データを用意する手間を軽減しつつ、印象推定モデルの精度が高まる。
【図面の簡単な説明】
【0008】
【図1】印象推定システムの全体構成の一例を示す図である。
【図2】互いに似た感性の人物属性組合せを人物集合にまとめる処理の概要例を示す図である。
【図3】アノテーション画面の一例を示す図である。
【図4】人物属性の詳細例を示す図である。
【図5】印象推定モデルの概要例を示す図である。
【図6】検索画面の一例を示す図である。
【図7】印象推定システムで実現される機能の一例を示す図である。
【図8】訓練画像データベースの一例を示す図である。
【図9】アノテーションデータベースの一例を示す図である。
【図10】人物属性データベースの一例を示す図である。
【図11】人物集合データベースの一例を示す図である。
【図12】訓練データベースの一例を示す図である。
【図13】推定画像データベースの一例を示す図である。
【図14】印象推定システムで実行される処理の一例を示す図である。
【図15】印象推定システムで実行される処理の一例を示す図である。
【発明を実施するための形態】
【0009】
［１．印象推定システムの全体構成］
本開示に係る印象推定システムの実施形態の一例を説明する。図１は、印象推定システムの全体構成の一例を示す図である。例えば、印象推定システム１は、クラウドソーシングサーバ１０、アノテータ端末２０、学習端末３０、検索サーバ４０、及び検索者端末５０を含む。クラウドソーシングサーバ１０、アノテータ端末２０、学習端末３０、検索サーバ４０、及び検索者端末５０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続される。
本開示に係る印象推定システムの実施形態の一例を説明する。図１は、印象推定システムの全体構成の一例を示す図である。例えば、印象推定システム１は、クラウドソーシングサーバ１０、アノテータ端末２０、学習端末３０、検索サーバ４０、及び検索者端末５０を含む。クラウドソーシングサーバ１０、アノテータ端末２０、学習端末３０、検索サーバ４０、及び検索者端末５０の各々は、インターネット又はＬＡＮ等のネットワークＮに接続される。
【0010】
クラウドソーシングサーバ１０は、クラウドソーシングサービスのサーバコンピュータである。例えば、クラウドソーシングサーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。
【0011】
アノテータ端末２０は、クラウドソーシングサービスに登録されたクラウドワーカーであるアノテータのコンピュータである。クラウドソーシングサービスは、ネットワークＮを介して不特定多数のクラウドワーカーに業務を委託するサービスである。例えば、クラウドソーシングサービスは、電子商取引サービス、旅行予約サービス、通信サービス、金融サービス、又は決済サービス等の他のサービスと同じ提供者によって提供されるようにしてもよい。この場合、他のサービスのユーザは、クラウドソーシングサービスの登録手続きを完了すると、クラウドワーカーとして業務を遂行できるようになる。クラウドワーカーは、クラウドソーシングサービスのユーザである。
【0012】
例えば、アノテータ端末２０は、パーソナルコンピュータ、タブレット、又はスマートフォンである。アノテータ端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。操作部２４は、キーボード、マウス、又はタッチパネル等の入力デバイスである。表示部２５は、液晶又は有機ＥＬ等のディスプレイである。
【0013】
学習端末３０は、後述の印象推定モデルの学習を実行するコンピュータである。例えば、学習端末３０は、パーソナルコンピュータ、タブレット、又はスマートフォンである。学習端末３０は、制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５を含む。制御部３１、記憶部３２、通信部３３、操作部３４、及び表示部３５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様であってよい。
【0014】
検索サーバ４０は、検索サービスのサーバコンピュータである。検索サービスは、ウェブページ又は画像等のコンテンツを検索するサービスである。例えば、検索サービスは、電子商取引サービス又は旅行予約サービスにおけるサービスの１つであってもよい。この場合、検索サービスでは、電子商取引サービスにおける商品のページ、又は、旅行予約サービスにおける施設のページが検索される。例えば、検索サーバ４０は、制御部４１、記憶部４２、及び通信部４３を含む。制御部４１、記憶部４２、及び通信部４３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。
【0015】
検索者端末５０は、検索サービスを利用する検索者のコンピュータである。例えば、検索者端末５０は、パーソナルコンピュータ、タブレット、又はスマートフォンである。検索者端末５０は、制御部５１、記憶部５２、通信部５３、操作部５４、及び表示部５５を含む。制御部５１、記憶部５２、通信部５３、操作部５４、及び表示部５５の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部２４、及び表示部２５と同様であってよい。
【0016】
なお、記憶部１２，２２，３２，４２，５２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、コンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムが、情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）、又は、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）を介して供給されてもよい。
【0017】
また、印象推定システム１は、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。例えば、印象推定システム１は、クラウドソーシングサーバ１０、アノテータ端末２０、検索サーバ４０、及び検索者端末５０を含まずに、学習端末３０だけを含んでもよい。この場合、クラウドソーシングサーバ１０、アノテータ端末２０、検索サーバ４０、及び検索者端末５０は、印象推定システム１の外部に存在する。例えば、印象推定システム１は、学習端末３０と、図１には示さないコンピュータと、を含んでもよいし、図１には示さないコンピュータだけを含んでもよい。
【0018】
［２．印象推定システムの概要］
本実施形態では、印象推定モデルの学習が学習端末３０により実行される場合を例に挙げる。印象推定モデルは、人が画像から受ける印象を推定するモデルである。画像は、写真に限られず、コンピュータグラフィックであってもよい。画像には、印象の推定対象となる物体が示される。本実施形態では、印象の推定対象となる物体がカーペットである場合を例に挙げるが、印象の推定対象となる物体は、他の物体であってもよい。例えば、印象の推定対象となる物体は、商品、動物、植物、建物、内装、食事、風景、又はその他の物体であってもよい。
本実施形態では、印象推定モデルの学習が学習端末３０により実行される場合を例に挙げる。印象推定モデルは、人が画像から受ける印象を推定するモデルである。画像は、写真に限られず、コンピュータグラフィックであってもよい。画像には、印象の推定対象となる物体が示される。本実施形態では、印象の推定対象となる物体がカーペットである場合を例に挙げるが、印象の推定対象となる物体は、他の物体であってもよい。例えば、印象の推定対象となる物体は、商品、動物、植物、建物、内装、食事、風景、又はその他の物体であってもよい。
【0019】
例えば、学習端末３０は、機械学習の手法に基づいて、印象推定モデルの学習を実行する。本実施形態では、印象推定モデルが、ニューラルネットワーク又はＬｉｇｈｔＧＢＭといった教師有り学習のモデルである場合を例に挙げるが、機械学習の手法は、他の任意の手法であってよい。例えば、印象推定モデルは、半教師有り学習又は教師無し学習のモデルであってもよい。
【0020】
本実施形態では、非特許文献３の印象推定モデルをベースとした印象推定モデルを例に挙げる。例えば、印象推定モデルは、画像と、当該画像を見る人物の人物属性組合せと、が入力されると、当該人物が当該画像から受ける印象を推定する。人物属性組合せは、複数の人物属性のまとまりである。人物属性は、人物を分類するための情報である。人物属性は、分類又はカテゴリといった他の名前で呼ばれてもよい。人物属性は、何らかの観点で人物を分類可能な情報であればよく、例えば、性別、年代、電子商取引サービス等のサービスにおける会員ランク、居住地、年収、婚姻状況、子どもの有無、車の保有状況、又は職業である。
【0021】
先述したように、多数の人物属性組合せを印象推定モデルに学習させようとすると、訓練データを用意するのに非常に手間がかかる。更に、個々の人物属性組合せの訓練データが少ないと、印象推定モデルの精度を十分に高めることができない。この点、画像から受ける印象の傾向には、ステレオタイプが存在すると考えられる。例えば、若い女性が「かわいい」と感じる画像と、年配の男性が「かわいい」と感じる画像と、は異なると考えられる。逆に、年代が多少異なっていたとしても、性別が同じであり、かつ、年代が近い者同士は、互いに感性が似ており「かわいい」と感じる画像が似ている可能性がある。
【0022】
そこで、本実施形態では、互いに似た感性の人物属性組合せを１つの集合にまとめることによって、訓練データを用意する手間を軽減しつつ、印象推定モデルの精度を高めるようにしている。以降、人物属性組合せの集合を、人物集合という。人物集合には、少なくとも１つの人物属性組合せが属する。人物集合は、人物属性のクラスタ又はグループということもできる。
【0023】
図２は、互いに似た感性の人物属性組合せを人物集合にまとめる処理の概要例を示す図である。例えば、学習端末３０の記憶部３２は、訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３を記憶する。訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３の少なくとも１つは、学習端末３０以外の他のコンピュータ又は外部記憶媒体に記憶されていてもよい。
【0024】
訓練画像データベースＤＢ１は、印象推定モデルＭに学習させる訓練画像が格納されたデータベースである。本実施形態では、印象の推定対象となる物体がカーペットなので、種々のカーペットが示された訓練画像が訓練画像データベースＤＢ１に格納される。例えば、学習端末３０は、電子商取引サービスで商品として販売されるカーペットが示された商品画像の全部又は一部を取得する。学習端末３０は、当該取得された全部又は一部の商品画像を、訓練画像として訓練画像データベースＤＢ１に格納する。訓練画像データベースＤＢ１に格納されるデータの詳細は、後述する。
【0025】
アノテーションデータベースＤＢ２は、アノテータが訓練画像から受けた印象に関するアノテーション情報が格納されたデータベースである。アノテータは、訓練画像を見て印象を回答することによって、訓練画像に対するアノテーションを行う。本実施形態では、アノテータが複数の訓練画像の各々に対するアノテーションを行う場合を例に挙げるが、アノテータは、１枚の訓練画像だけに対するアノテーションを行ってもよい。アノテーションデータベースＤＢ２に格納されるデータの詳細は、後述する。例えば、アノテータがクラウドソーシングサービスにログインすると、アノテーション画面が表示部２５に表示される。
【0026】
図３は、アノテーション画面の一例を示す図である。例えば、アノテーション画面ＳＣ１には、印象語及び訓練画像が表示される。印象語は、印象を示す語である。例えば、印象語は、「おしゃれな」、「かわいい」、「高級な」、又は「モダンな」といった語である。アノテータは、アノテーション画面ＳＣ１に表示された印象語及び訓練画像を確認する。アノテータは、アノテーション画面ＳＣ１に表示された印象語が示す印象を当該訓練画像から受けたか否かを回答する。
【0027】
例えば、アノテータは、印象語が示す印象を訓練画像から受けた場合には、ボタンＢ１０を選択する。アノテータは、印象語が示す印象を訓練画像から受けなかった場合には、ボタンＢ１１を選択する。アノテータがボタンＢ１２を選択すると、他の印象語がアノテーション画面ＳＣ１に表示される。アノテータがボタンＢ１２を選択すると、アノテーション画面ＳＣ１に他の訓練画像が表示されてもよい。アノテータは、アノテーション画面ＳＣ１から次々とアノテーションを行う。
【0028】
図２に戻り、人物属性データベースＤＢ３には、アノテータの人物属性が格納されたデータベースである。例えば、アノテータは、クラウドソーシングサービスに登録する場合に、自身の人物属性を入力する。本実施形態では、アノテータは、１つの人物属性だけではなく、人物属性組合せを入力する。人物属性データベースＤＢ３には、アノテータによって入力された人物属性組合せが格納される。クラウドソーシングサービス以外の他のサービスに登録された人物属性組合せが利用されてもよい。人物属性データベースＤＢ３に格納されるデータの詳細は、後述する。
【0029】
図４は、人物属性の詳細例を示す図である。例えば、人物属性「性別」は、「男性」及び「女性」といった２つの詳細が存在する。詳細は、人物属性の属性値ということもできる。他の人物属性も同様に、１つの人物属性に対し、少なくとも１つの詳細が存在する。個々の人物属性の詳細の数は、互いに同じであってもよいし、互いに異なってもよい。人物属性データベースＤＢ３には、アノテータがクラウドソーシングサービスに登録した人物属性が格納される。アノテータがクラウドソーシングサービスに登録していない人物属性は、欠損値として扱われてもよい。
【0030】
図２に戻り、学習端末３０は、訓練画像データベースＤＢ１に格納された複数の訓練画像の各々の特徴に基づいて、互いに似た訓練画像が同じ画像集合Ｉｉに属するように、訓練画像のクラスタリングである画像クラスタリングを実行する。図２の例では、ｉは、０～ｋiの整数である。ｋiは、任意の自然数である。画像クラスタリング自体は、ｋ－ｍｅａｎｓ法等のように画像処理分野で利用されている種々の手法を利用可能である。例えば、学習端末３０は、教師有り機械学習、半教師有り機械学習、又は教師無し機械学習の手法に基づいて、画像クラスタリングを実行する。学習端末３０は、機械学習以外の他の手法に基づいて、画像クラスタリングを実行してもよい。
【0031】
例えば、学習端末３０は、アノテーションデータベースＤＢ２から、画像集合Ｉｉに属する複数の訓練画像の各々のアノテーション情報を取得する。本実施形態では、アノテーション情報が、複数の印象語の各々が示す印象をアノテータが受けたか否かを示すベクトルである場合を例に挙げる。例えば、印象語がｎ（ｎは自然数）個だったとすると、アノテーション情報は、ｎ次元のベクトルになる。ベクトルの要素は、印象語が示す印象をアノテータが受けたことを示す第１の値（例えば、１）、又は、印象語が示す印象をアノテータが受けなかったことを示す第２の値（例えば、０）の何れかになる。
【0032】
例えば、学習端末３０は、下記数式１に基づいて、画像集合Ｉｉにおいて、同じ人物属性組合せａを持つ複数のアノテータｓの各々が受ける印象の平均化及び正規化を実行し、印象語スコアベクトルＶ（Ｉｉ，ａ）を計算する。
【0033】
【数1】
【0034】
数式１のｖ（ｓ）は、アノテータｓのアノテーション情報である。Ｓ（Ｉｉ，ａ）は、画像集合Ｉｉの中で人物属性組合せａを持つアノテータｓの集合である。Ｖ（Ｉｉ，ａ）の要素が１に近いほど、人物属性組合せａを持つアノテータｓが、画像集合Ｉｉに属する訓練画像から、該当する印象を受ける確率が高いことを示す。学習端末３０は、全ての画像集合Ｉｉに対し、印象語スコアベクトルＶ（Ｉｉ，ａ）を計算する。学習端末３０は、下記数式２に基づいて、印象語スコアベクトルＶ（Ｉｉ，ａ）を順に連結することによって、人物属性組合せａに対応する特徴ベクトルＶ（ａ）とする。
【0035】
【数2】
【0036】
例えば、学習端末３０は、特徴ベクトルＶ（ａ）に基づいて、互いに似た感性の人物属性組合せａが同じ人物集合に属するように、人物属性組合せａのクラスタリングである人物属性クラスタリングを実行する。人物属性クラスタリング自体は、種々のクラスタリング手法を利用可能である。例えば、学習端末３０は、ｋ－ｍｅａｎｓ法に基づいて、人物属性クラスタリングを実行する。図２の例では、行方向に人物属性組合せａが画像集合Ｉｉ分並べられている。列方向に画像集合Ｉｉに対する印象語スコアベクトルＶ（Ｉｉ，ａ）が画像集合Ｉｉ分並べられている。
【0037】
なお、学習端末３０は、人物属性クラスタリングを実行する場合、次元の呪いを避けるために、主成分分析により、累積寄与率が所定パーセント（例えば、９０パーセント）になるまで、特徴ベクトルＶ（ａ）を次元削除してもよい。次元削除は、主成分分析以外の他の手法に基づいて実行されてもよい。学習端末３０は、人物属性クラスタリングの実行結果に基づいて、人物集合を取得する。学習端末３０は、人物集合に基づいて、印象推定モデルＭの訓練データを生成する。
【0038】
図５は、印象推定モデルＭの概要例を示す図である。本実施形態では、先述した非特許文献３と同様の印象推定モデルＭを例に挙げる。ここでは、訓練画像と、推定時に印象推定モデルＭに入力される推定画像と、を区別せずに、単に画像Ｉと記載する。例えば、印象推定モデルＭに画像Ｉが入力されると、印象推定モデルＭは、画像Ｉの特徴を計算する。図５の例では、印象推定モデルＭは、ＩｍａｇｅＮｅｔにより事前に学習されたＲｅｓＮｅｔ５０が利用されるものとする。
【0039】
例えば、人物属性組合せａは、当該人物属性組合せａが含まれる全ての人物集合を、１つの要素が１で残りの要素が全て０になるｏｎｅ－ｈｏｔベクトルα（ａ）として表現される。図５の例では、２０４８次元の画像特徴と、人物集合数ｋＡ次元のベクトルと、が取得される。学習端末３０は、下記数式３及び数式４に基づいて、α（ａ）に対する画像Ｉの印象語スコアベクトルｐ（Ｉ，α（ａ））を計算する。
【0040】
【数3】
【0041】
【数4】
【0042】
数式３のθは、印象推定モデルＭのパラメータセットである。Ｖ（ａ）は、人物集合の特徴ベクトルである。σは、活性化関数である。ｅは、特徴抽出器を示す関数である。ｇは、回帰器を示す関数である。ｈは、融合層を示す関数である。融合層では、人物集合を示すベクトルα（ａ）を、画像Ｉの特徴を示すベクトルと同じ次元のベクトルに埋め込む。融合層に続いて、２つの全結合層によって印象語スコアが推定される。
【0043】
例えば、印象推定モデルＭの学習には、画像特徴と、人物集合の特徴ベクトルＶ（ａ）と、に加えて、アノテータｓの人物属性組合せａが属する人物集合のアノテータｓが受けた印象の平均値ｙ（Ｉ，α（ａ））の３つが与えられる。ｙ（Ｉ，α（ａ））の各要素は、各印象語スコアを表す。ｙ（Ｉ，α（ａ））と、損失関数Ｌと、は下記の数式５及び数式６に基づいて計算される。
【0044】
【数5】
【0045】
【数6】
【0046】
数式５のｖ（ｓ）は、アノテータｓの印象ベクトルである。Ｓ（Ｉ，Ａｊ）は、画像Ｉのアノテータｓの中で人物集合Ａｊに含まれる人物属性組合せａを持つアノテータｓの集合である。学習端末３０は、事前学習されたＲｅｓＮｅｔ５０のパラメータを固定したまま、パラメータθと特徴ベクトルＶ（ａ）を最適化する。印象推定モデルＭの出力は、２４の印象語に対する印象語スコアである。例えば、学習端末３０は、数式６の損失関数Ｌが十分に小さくなるように、印象推定モデルＭの学習を実行する。
【0047】
本実施形態では、学習端末３０は、印象推定モデルＭの学習が完了すると、検索サービスで検索対象となる画像のラベリングを実行する。以降、この画像を推定画像という。例えば、学習端末３０は、推定画像と、任意の人物集合のベクトルと、を学習済みの印象推定モデルＭに入力し、学習済みの印象推定モデルＭから出力された推定結果を取得する。検索サーバ４０は、学習済みの印象推定モデルＭから出力された推定結果を、検索者が検索サービスを利用する場合のインデックスとして利用される。例えば、検索者が検索サーバ４０にアクセスすると、検索画面が表示部５５に表示される。
【0048】
図６は、検索画面の一例を示す図である。例えば、検索者は、入力フォームＦ２０に検索クエリを入力する。検索サーバ４０は、検索者の人物属性が属する人物集合を取得する。検索サーバ４０は、当該取得された人物集合に関連付けられた印象語をインデックスにして、検索を実行する。検索サーバ４０は、検索結果を検索者端末５０に表示させる。例えば、年齢が２０台の女性が属する人物集合が「かわいい」と感じる画像と、年齢が６０台の男性が属する人物集合が「かわいい」と感じる画像と、が異なる可能性があるので、検索サーバ４０は、検索者の人物属性組合せが属する人物集合に応じた検索を実行する。図６のように、同じ検索クエリでも、検索者の人物属性組合せが属する人物集合によって、検索結果が異なることがある。
【0049】
以上のように、印象推定システム１は、互いに似た感性の人物属性が同じ人物集合に属するように人物属性クラスタリングを実行する。印象推定システム１は、訓練データに基づいて、印象推定モデルＭの学習を実行する。これにより、訓練データを用意する手間を軽減しつつ、印象推定モデルＭの精度が高まるようになっている。以降、印象推定システム１の詳細を説明する。なお、以降では、数式１～６で説明したアノテータａ等の符号を省略する。
【0050】
［３．印象推定システムで実現される機能］
図７は、印象推定システム１で実現される機能の一例を示す図である。
図７は、印象推定システム１で実現される機能の一例を示す図である。
【0051】
［３－１．クラウドソーシングサーバで実現される機能］
例えば、クラウドソーシングサーバ１０は、データ記憶部１００、表示制御部１０１、及び収集部１０２を含む。データ記憶部１００は、記憶部１２により実現される。表示制御部１０１及び収集部１０２は、制御部１１により実現される。
例えば、クラウドソーシングサーバ１０は、データ記憶部１００、表示制御部１０１、及び収集部１０２を含む。データ記憶部１００は、記憶部１２により実現される。表示制御部１０１及び収集部１０２は、制御部１１により実現される。
【0052】
［データ記憶部］
データ記憶部１００は、クラウドソーシングサービスを提供するために必要なデータを記憶する。例えば、データ記憶部１００は、訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３を記憶する。なお、データ記憶部１００は、本実施形態で説明する処理に必要な他のデータを記憶してもよい。例えば、データ記憶部１００は、アノテーション画面のＨＴＭＬデータ等を記憶してもよい。
データ記憶部１００は、クラウドソーシングサービスを提供するために必要なデータを記憶する。例えば、データ記憶部１００は、訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３を記憶する。なお、データ記憶部１００は、本実施形態で説明する処理に必要な他のデータを記憶してもよい。例えば、データ記憶部１００は、アノテーション画面のＨＴＭＬデータ等を記憶してもよい。
【0053】
図８は、訓練画像データベースＤＢ１の一例を示す図である。例えば、訓練画像データベースＤＢ１には、複数の画像集合の各々の画像集合ＩＤと、当該画像集合に属する複数の訓練画像の各々のファイル名と、が格納される。訓練画像データベースＤＢ１には、訓練画像に関する他の情報が格納されてもよい。例えば、複数の訓練画像の各々の実データと、複数の訓練画像の各々にアノテーションを行ったアノテータの数と、が訓練画像データベースＤＢ１に格納されてもよい。
【0054】
画像集合ＩＤは、画像集合を識別可能な画像集合識別情報の一例である。このため、画像集合ＩＤについて説明している箇所は、画像集合識別情報と読み替えることができる。図２の例であれば、０～ｋｉの数値は、画像集合ＩＤに相当する。画像集合識別情報は、画像集合を何らかの形で識別可能な情報であればよく、画像集合ＩＤに限られない。例えば、画像集合識別情報は、画像集合の名前又は番号であってもよい。画像集合識別情報は、訓練画像データベースＤＢ１とは異なる他のデータベースに格納されてもよい。
【0055】
訓練画像のファイル名は、訓練画像を識別可能な訓練画像識別情報の一例である。このため、訓練画像のファイル名について説明している箇所は、訓練画像識別情報と読み替えることができる。訓練画像識別情報は、何らかの形で訓練画像を識別可能な情報であればよく、訓練画像のファイル名に限られない。例えば、訓練画像識別情報は、訓練画像が格納された場所を示すパス名、又は、訓練画像に割り当てられたＩＤであってもよい。
【0056】
なお、本実施形態では、画像クラスタリングが実行された後にアノテーションが行われる場合を説明するが、画像クラスタリングが実行される前にアノテーションが行われてもよい。この場合、データ記憶部１００に記憶される訓練画像データベースＤＢ１には、画像集合ＩＤが格納されない。アノテータ画面ＳＣ１には、画像集合に関係なく、訓練画像が表示される。
【0057】
図９は、アノテーションデータベースＤＢ２の一例を示す図である。例えば、アノテーションデータベースＤＢ２には、複数のアノテータの各々のアノテータＩＤ、当該アノテータがアノテーションを行った訓練画像のファイル名、及び当該アノテータが訓練画像から受けた印象に関するアノテーション情報が格納される。アノテーションデータベースＤＢ２には、アノテーションに関する他の情報が格納されてもよい。例えば、アノテータＩＤではなく、アノテータの人物属性組合せがアノテーションデータベースＤＢ２に格納されてもよい。
【0058】
訓練画像のファイル名及びアノテーション情報の詳細は、先述した通りである。アノテータＩＤは、アノテータを識別可能なアノテータ識別情報の一例である。このため、アノテータＩＤについて説明している箇所は、アノテータ識別情報と読み替えることができる。アノテータ識別情報は、何らかの形でアノテータを識別可能な情報であればよく、アノテータＩＤに限られない。例えば、アノテータ識別情報は、アノテータのメールアドレス又は電話番号であってもよい。クラウドソーシングサービスの提供者と、他のサービスの提供者と、が同じ場合には、アノテータ識別情報は、これらのサービスで共通であってもよい。
【0059】
図１０は、人物属性データベースＤＢ３の一例を示す図である。例えば、人物属性データベースＤＢ３には、複数のアノテータの各々のアノテータＩＤと、当該アノテータの人物属性組合せと、が格納される。人物属性データベースＤＢ３には、アノテータの人物属性に関する他の情報が格納されてもよい。例えば、複数のアノテータの各々の人物属性組合せが属する人物属性の人物集合ＩＤが人物属性データベースＤＢ３に格納されてもよい。
【0060】
例えば、人物属性として、性別、年代、会員ランク、居住地、年収、婚姻状況、子どもの有無、車の保有状況、及び職業といった９つがある場合、これら９つの人物属性の詳細が、人物属性組合せとして、人物属性データベースＤＢ３に格納される。人物属性組合せは、９次元のベクトルで表現されてもよいし、ベクトル以外の他の形式（例えば、配列形式）で表現されてもよい。あるアノテータがクラウドソーシングサービスに登録された人物属性を変更すると、クラウドソーシングサーバ１０は、このアノテータのアノテータＩＤに関連付けられた人物属性組合せを変更する。
【0061】
［表示制御部］
表示制御部１０１は、複数のアノテータの各々のアノテータ端末２０に、アノテーション画面ＳＣ１を表示させる。例えば、表示制御部１０１は、アノテーション画面ＳＣ１の表示データをアノテータ端末２０に送信することによって、アノテーション画面ＳＣ１をアノテータ端末２０に表示させる。表示データは、アノテータ端末２０に何らかの画面を表示させるためのデータであればよく、任意のデータ形式であってよい。例えば、ブラウザ上でアノテーション画面ＳＣ１が表示される場合、表示データは、ＨＴＭＬデータである。クラウドソーシングサービス専用のアプリケーション上でアノテーション画面ＳＣ１が表示される場合には、表示データは、ＪＰＥＧ等の画像データ形式であってよい。
表示制御部１０１は、複数のアノテータの各々のアノテータ端末２０に、アノテーション画面ＳＣ１を表示させる。例えば、表示制御部１０１は、アノテーション画面ＳＣ１の表示データをアノテータ端末２０に送信することによって、アノテーション画面ＳＣ１をアノテータ端末２０に表示させる。表示データは、アノテータ端末２０に何らかの画面を表示させるためのデータであればよく、任意のデータ形式であってよい。例えば、ブラウザ上でアノテーション画面ＳＣ１が表示される場合、表示データは、ＨＴＭＬデータである。クラウドソーシングサービス専用のアプリケーション上でアノテーション画面ＳＣ１が表示される場合には、表示データは、ＪＰＥＧ等の画像データ形式であってよい。
【0062】
例えば、表示制御部１０１は、複数のアノテータの各々のアノテータ端末２０から、アノテーション画面ＳＣ１を表示させるための表示要求を受信した場合に、訓練画像データベースＤＢ１に基づいて、少なくとも１つの訓練画像を取得する。表示制御部１０１は、少なくとも１つの訓練画像をランダムに選択してもよいし、アノテーション情報が収集された数が相対的に少ない少なくとも１つの訓練画像を選択してもよい。表示制御部１０１は、当該取得された少なくとも１つの訓練画像に基づいて、アノテーション画面ＳＣ１の表示データを生成する。表示制御部１０１は、表示要求を送信したアノテータ端末２０に対し、当該生成された表示データを送信することによって、アノテーション画面ＳＣ１を当該アノテータ端末２０に表示させる。
【0063】
［収集部］
収集部１０２は、複数のアノテータの各々のアノテータ端末２０から、アノテーション情報を収集する。収集部１０２は、当該アノテータのアノテータＩＤ、当該アノテータがアノテーションを行った訓練画像のファイル名、及び当該収集されたアノテーション情報をアノテーションデータベースＤＢ２に格納する。収集部１０２は、アノテータ端末２０からアノテーション情報を収集するのではなく、アノテーション情報の生成に必要な情報（例えば、ボタンＢ１０，Ｂ１１の選択結果を示す情報）を取得してもよい。この場合、収集部１０２は、当該情報に基づいて、アノテーション情報を生成してアノテーションデータベースＤＢ２に格納する。
収集部１０２は、複数のアノテータの各々のアノテータ端末２０から、アノテーション情報を収集する。収集部１０２は、当該アノテータのアノテータＩＤ、当該アノテータがアノテーションを行った訓練画像のファイル名、及び当該収集されたアノテーション情報をアノテーションデータベースＤＢ２に格納する。収集部１０２は、アノテータ端末２０からアノテーション情報を収集するのではなく、アノテーション情報の生成に必要な情報（例えば、ボタンＢ１０，Ｂ１１の選択結果を示す情報）を取得してもよい。この場合、収集部１０２は、当該情報に基づいて、アノテーション情報を生成してアノテーションデータベースＤＢ２に格納する。
【0064】
［３－２．アノテータ端末で実現される機能］
例えば、アノテータ端末２０は、データ記憶部２００、表示制御部２０１、及び操作受付部２０２を含む。データ記憶部２００は、記憶部２２により実現される。表示制御部２０１及び操作受付部２０２は、制御部２１により実現される。
例えば、アノテータ端末２０は、データ記憶部２００、表示制御部２０１、及び操作受付部２０２を含む。データ記憶部２００は、記憶部２２により実現される。表示制御部２０１及び操作受付部２０２は、制御部２１により実現される。
【0065】
[データ記憶部]
データ記憶部２００は、アノテーションに必要なデータを記憶する。例えば、データ記憶部２００は、ブラウザ又はクラウドソーシングサービス専用のアプリケーションを記憶する。なお、アノテータは、クラウドソーシングサービスのクラウドワーカーではなくてもよい。例えば、アノテータは、無償でアノテーションを行ってもよいし、クラウドソーシングサービスとは関係なく、特定の場所に集められてアノテーションを行ってもよい。
データ記憶部２００は、アノテーションに必要なデータを記憶する。例えば、データ記憶部２００は、ブラウザ又はクラウドソーシングサービス専用のアプリケーションを記憶する。なお、アノテータは、クラウドソーシングサービスのクラウドワーカーではなくてもよい。例えば、アノテータは、無償でアノテーションを行ってもよいし、クラウドソーシングサービスとは関係なく、特定の場所に集められてアノテーションを行ってもよい。
【0066】
［表示制御部］
表示制御部２０１は、アノテーション画面ＳＣ１の表示データに基づいて、アノテーション画面ＳＣ１を表示部２５に表示させる。
表示制御部２０１は、アノテーション画面ＳＣ１の表示データに基づいて、アノテーション画面ＳＣ１を表示部２５に表示させる。
【0067】
［操作受付部］
操作受付部２０２は、アノテーション画面ＳＣ１に対する操作を受け付ける。アノテータ端末２０は、アノテーション画面ＳＣ１に対するアノテータの操作に基づいて、アノテーション情報を生成する。アノテータ端末２０は、クラウドソーシングサーバ１０に対し、当該生成されたアノテーション情報を送信する。アノテータ端末２０ではなく、クラウドソーシングサーバ１０がアノテーション情報を生成する場合、アノテータ端末２０は、クラウドソーシングサーバ１０に対し、アノテーション情報の生成に必要な情報を送信すればよい。この情報は、先述した通りである。
操作受付部２０２は、アノテーション画面ＳＣ１に対する操作を受け付ける。アノテータ端末２０は、アノテーション画面ＳＣ１に対するアノテータの操作に基づいて、アノテーション情報を生成する。アノテータ端末２０は、クラウドソーシングサーバ１０に対し、当該生成されたアノテーション情報を送信する。アノテータ端末２０ではなく、クラウドソーシングサーバ１０がアノテーション情報を生成する場合、アノテータ端末２０は、クラウドソーシングサーバ１０に対し、アノテーション情報の生成に必要な情報を送信すればよい。この情報は、先述した通りである。
【0068】
［３－３．学習端末で実現される機能］
例えば、学習端末３０は、データ記憶部３００、訓練画像取得部３０１、画像クラスタリング実行部３０２、アノテーション情報取得部３０３、アノテータ人物属性取得部３０４、重要人物属性特定部３０５、人物属性クラスタリング実行部３０６、訓練データ生成部３０７、学習実行部３０８、推定画像取得部３０９、推定人物属性取得部３１０、及び推定実行部３１１を含む。データ記憶部３００は、記憶部３２により実現される。訓練画像取得部３０１、画像クラスタリング実行部３０２、アノテーション情報取得部３０３、アノテータ人物属性取得部３０４、重要人物属性特定部３０５、人物属性クラスタリング実行部３０６、訓練データ生成部３０７、学習実行部３０８、推定画像取得部３０９、推定人物属性取得部３１０、及び推定実行部３１１の各々制御部３１により実現される。
例えば、学習端末３０は、データ記憶部３００、訓練画像取得部３０１、画像クラスタリング実行部３０２、アノテーション情報取得部３０３、アノテータ人物属性取得部３０４、重要人物属性特定部３０５、人物属性クラスタリング実行部３０６、訓練データ生成部３０７、学習実行部３０８、推定画像取得部３０９、推定人物属性取得部３１０、及び推定実行部３１１を含む。データ記憶部３００は、記憶部３２により実現される。訓練画像取得部３０１、画像クラスタリング実行部３０２、アノテーション情報取得部３０３、アノテータ人物属性取得部３０４、重要人物属性特定部３０５、人物属性クラスタリング実行部３０６、訓練データ生成部３０７、学習実行部３０８、推定画像取得部３０９、推定人物属性取得部３１０、及び推定実行部３１１の各々制御部３１により実現される。
【0069】
[データ記憶部]
データ記憶部３００は、印象推定モデルＭの学習に必要なデータを記憶する。例えば、データ記憶部３００は、訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、人物属性データベースＤＢ３、人物集合データベースＤＢ４、訓練データベースＤＢ５、及び推定画像データベースＤＢ６を記憶する。訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３は、クラウドソーシングサーバ１０のデータ記憶部１００に記憶されるものと同様である。
データ記憶部３００は、印象推定モデルＭの学習に必要なデータを記憶する。例えば、データ記憶部３００は、訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、人物属性データベースＤＢ３、人物集合データベースＤＢ４、訓練データベースＤＢ５、及び推定画像データベースＤＢ６を記憶する。訓練画像データベースＤＢ１、アノテーションデータベースＤＢ２、及び人物属性データベースＤＢ３は、クラウドソーシングサーバ１０のデータ記憶部１００に記憶されるものと同様である。
【0070】
図１１は、人物集合データベースＤＢ４の一例を示す図である。人物集合データベースＤＢ４は、人物集合に関する情報が格納されたデータベースである。例えば、人物集合データベースＤＢ４には、複数の人物集合の各々の人物集合ベクトルと、当該人物集合に属する少なくとも１つの人物属性組合せと、が格納される。人物集合データベースＤＢ４には、人物集合に関する他の情報が格納されてもよい。例えば、人物集合に属する人物属性組合せの数が人物集合データベースＤＢ４に格納されてもよい。
【0071】
人物集合ベクトルは、人物集合を識別可能な人物集合識別情報の一例である。このため、人物集合ベクトルについて説明している箇所は、人物集合識別情報と読み替えることができる。人物集合識別情報は、人物集合を何らかの形で識別可能な情報であればよく、人物集合ベクトルに限られない。例えば、人物集合識別情報は、人物集合を示すＩＤ、名前、番号、又は配列であってもよい。後述の人物属性クラスタリング実行部３０６により人物属性クラスタリングが実行されると、人物集合データベースＤＢ４が生成される。
【0072】
図１２は、訓練データベースＤＢ５の一例を示す図である。訓練データベースＤＢ５は、印象推定モデルＭに学習させる複数の訓練データの各々が格納されたデータベースである。訓練データは、印象推定モデルＭに入力される入力部分と、当該入力部分に対応する出力部分と、を含む。入力部分は、訓練データのうち、学習時に印象推定モデルＭに入力される部分である。出力部分は、訓練データのうち、入力部分が印象推定モデルＭに入力された場合に、印象推定モデルＭから出力されるべき部分である。出力部分は、学習時の正解に相当する。
【0073】
例えば、訓練データの入力部分及び出力部分は、推定時における印象推定モデルＭの入力部分及び出力部分と同じ形式である。本実施形態では、訓練画像及び人物集合ベクトルのペアが訓練データの入力部分に相当する。数式５により計算される印象語スコアが訓練データの出力部分に相当する。後述の訓練データ生成部３０７により訓練データが生成されると、当該生成された訓練データが訓練データベースＤＢ５に格納される。
【0074】
なお、訓練データの入力部分及び出力部分は、印象推定モデルＭに対して入力されるデータと、印象推定モデルＭから出力されるデータと、の各々の形式に応じたデータであればよく、本実施形態の例に限られない。例えば、何らかの画像処理が施されたうえで画像が印象推定モデルＭに入力される場合には、画像処理後の画像が訓練データの入力部分に含まれてもよい。人物集合識別情報がベクトル形式以外の他の形式であれば、当該他の形式のデータが訓練データの入力部分に含まれてもよい。印象語スコアが閾値で２値化されたデータが訓練データの出力部分に相当してもよい。
【0075】
図１３は、推定画像データベースＤＢ６の一例を示す図である。推定画像データベースＤＢ６は、推定画像に関する情報が格納されたデータベースである。例えば、推定画像データベースＤＢ６には、複数の推定画像の各々のファイル名、人物集合ベクトル、及び推定結果情報が格納される。推定画像データベースＤＢ６には、推定画像に関する他の情報が格納されてもよい。例えば、人物集合ベクトルではなく、人物属性組合せが格納されてもよい。
【0076】
推定結果情報は、印象推定モデルＭによる推定結果に関する情報である。推定画像及び人物集合ベクトルのペアごとに、推定結果情報が格納される。本実施形態では、印象推定モデルＭが出力した印象語スコアが閾値で２値化された値が「ＹＥＳ」を示す印象語が推定結果情報として格納される。例えば、ある推定画像に対し、ある人物集合ベクトルが示す人物集合に属する人物が「おしゃれな」及び「かわいい」といった印象を受けることが推定された場合には、推定結果情報には、「おしゃれな」及び「かわいい」の２つの印象語が示される。これら２つの印象語は、当該印象語が関連付けられた人物属性ベクトルが示す人物集合に属する検索者による検索時のインデックスとして利用される。
【0077】
なお、推定結果情報は、印象推定モデルＭによる推定結果を何らかの形で示す情報であればよく、本実施形態の例に限られない。例えば、推定結果情報は、印象推定モデルＭが出力した印象語スコア、又は、印象語が閾値で２値化された情報であってもよい。この場合、印象語スコアが閾値以上の印象語、又は、印象語が閾値で２値化された情報が「ＹＥＳ」を示す印象語が検索時のインデックスとして利用される。
【0078】
本実施形態では、データ記憶部３００は、以上説明した各データベース以外にも、印象推定モデルＭを記憶する。印象推定モデルＭは、印象推定を実行するためのプログラムと、学習によって調整されるパラメータと、を含む。データ記憶部３００は、印象推定モデルＭのプログラム及びパラメータを記憶する。例えば、データ記憶部３００は、パラメータが初期値の印象推定モデルＭを記憶する。後述の学習実行部３０８により学習が実行されると、パラメータが初期値の印象推定モデルＭは、学習済みの印象推定モデルＭに置き換わる。学習済みの印象推定モデルＭは、パラメータの調整が完了した印象推定モデルＭである。
【0079】
［訓練画像取得部］
訓練画像取得部３０１は、印象推定モデルＭに学習させる訓練画像を取得する。例えば、訓練画像取得部３０１は、訓練画像データベースＤＢ１にファイル名が格納された複数の訓練画像の各々を取得する。訓練画像の画像データは、データ記憶部３００又は外部記憶媒体に記憶されているものとする。訓練画像取得部３０１は、訓練画像データベースＤＢ１にファイル名が格納された全ての訓練画像を取得してもよいし、一部の訓練画像を取得してもよい。
訓練画像取得部３０１は、印象推定モデルＭに学習させる訓練画像を取得する。例えば、訓練画像取得部３０１は、訓練画像データベースＤＢ１にファイル名が格納された複数の訓練画像の各々を取得する。訓練画像の画像データは、データ記憶部３００又は外部記憶媒体に記憶されているものとする。訓練画像取得部３０１は、訓練画像データベースＤＢ１にファイル名が格納された全ての訓練画像を取得してもよいし、一部の訓練画像を取得してもよい。
【0080】
［画像クラスタリング実行部］
画像クラスタリング実行部３０２は、互いに似た訓練画像が同じ画像集合に属するように、訓練画像に関する画像クラスタリングを実行する。例えば、画像クラスタリング実行部３０２は、複数の訓練画像の各々に基づいて、画像クラスタリングを実行し、複数の訓練画像の各々が、複数の画像集合のうちの何れの画像集合に属するかを特定する。同じ画像集合に属する複数の訓練画像は、互いに似ている。
画像クラスタリング実行部３０２は、互いに似た訓練画像が同じ画像集合に属するように、訓練画像に関する画像クラスタリングを実行する。例えば、画像クラスタリング実行部３０２は、複数の訓練画像の各々に基づいて、画像クラスタリングを実行し、複数の訓練画像の各々が、複数の画像集合のうちの何れの画像集合に属するかを特定する。同じ画像集合に属する複数の訓練画像は、互いに似ている。
【0081】
先述したように、画像クラスタリングの手法は、公知の手法であってよい。画像クラスタリング実行部３０２は、公知の手法に基づいて、複数の訓練画像の各々の特徴量を計算し、特徴量が互いに似た訓練画像が同じ画像集合に属するように、画像クラスタリングを実行する。画像集合の数は、事前に指定されてもよいし、特に指定されなくてもよい。画像クラスタリング実行部３０２は、画像クラスタリングの実行結果に基づいて、訓練画像データベースＤＢ１を更新する。画像クラスタリング実行部３０２は、複数の訓練画像の各々のファイル名に、当該訓練画像が属する画像集合ＩＤを関連付ける。
【0082】
［アノテーション情報取得部］
アノテーション情報取得部３０３は、アノテータが訓練画像から受けた印象に関するアノテーション情報を取得する。即ち、アノテーション情報取得部３０３は、複数のアノテータの各々が少なくとも１つの訓練画像から受けた印象に関するアノテーション情報を取得する。本実施形態では、アノテーション情報がアノテーションデータベースＤＢ２に格納されているので、アノテーション情報取得部３０３は、アノテーションデータベースＤＢ２に格納された複数のアノテーション情報の各々を取得する。
アノテーション情報取得部３０３は、アノテータが訓練画像から受けた印象に関するアノテーション情報を取得する。即ち、アノテーション情報取得部３０３は、複数のアノテータの各々が少なくとも１つの訓練画像から受けた印象に関するアノテーション情報を取得する。本実施形態では、アノテーション情報がアノテーションデータベースＤＢ２に格納されているので、アノテーション情報取得部３０３は、アノテーションデータベースＤＢ２に格納された複数のアノテーション情報の各々を取得する。
【0083】
なお、アノテーション情報取得部３０３は、アノテーションデータベースＤＢ２に格納された全てのアノテーション情報を取得してもよいし、一部のアノテーション情報を取得してもよい。学習端末３０以外の他のコンピュータ又は外部記憶媒体にアノテーション情報が記録されている場合には、アノテーション情報取得部３０３は、他のコンピュータ又は外部記憶媒体からアノテーション情報を取得すればよい。例えば、アノテーション情報取得部３０３は、クラウドソーシングサーバ１０からアノテーション情報を取得してもよい。
【0084】
［アノテータ人物属性取得部］
アノテータ人物属性取得部３０４は、アノテータの人物属性を取得する。本実施形態では、アノテータは、クラウドソーシングサービスに登録されたクラウドワーカーなので、アノテータ人物属性取得部３０４は、サービスに登録されたクラウドワーカーの人物属性を取得する。例えば、アノテータ人物属性取得部３０４は、人物属性データベースＤＢ３に格納された複数の人物属性の各々を取得する。
アノテータ人物属性取得部３０４は、アノテータの人物属性を取得する。本実施形態では、アノテータは、クラウドソーシングサービスに登録されたクラウドワーカーなので、アノテータ人物属性取得部３０４は、サービスに登録されたクラウドワーカーの人物属性を取得する。例えば、アノテータ人物属性取得部３０４は、人物属性データベースＤＢ３に格納された複数の人物属性の各々を取得する。
【0085】
本実施形態では、人物属性が１つだけではなく、複数の人物属性の組合せである人物属性組合せが利用されるので、アノテータ人物属性取得部３０４は、人物属性組合せを取得する。アノテータ人物属性取得部３０４は、人物属性データベースＤＢ３に格納された複数の人物属性組合せの各々を取得する。即ち、アノテータ人物属性取得部３０４は、複数のアノテータの各々の人物属性組合せを取得する。
【0086】
なお、アノテータ人物属性取得部３０４は、人物属性データベースＤＢ３に格納された全ての人物属性組合せを取得してもよいし、一部の人物属性組合せを取得してもよい。学習端末３０以外の他のコンピュータ又は外部記憶媒体に人物属性組合せが記録されている場合には、アノテーション情報取得部３０３は、他のコンピュータ又は外部記憶媒体から人物属性組合せを取得すればよい。例えば、アノテーション情報取得部３０３は、クラウドソーシングサーバ１０から人物属性組合せを取得してもよい。
【0087】
［重要人物属性特定部］
重要人物属性特定部３０５は、複数の人物属性の中から、相対的に重要度が高い少なくとも１つの人物属性を特定する。重要度は、特徴量として重要な度合いである。別の言い方をすれば、重要度は、印象に関連する度合いである。重要度が高いほど、印象に強く影響する。例えば、性別、年代、会員ランク、居住地、年収、婚姻状況、子どもの有無、車の保有状況、及び職業といった９つの人物属性のうち、性別、年代、居住地、職業、及び年収といった５つが印象に強く影響する場合には、これら５つの重要度は、残りの４つよりも高くなる。
重要人物属性特定部３０５は、複数の人物属性の中から、相対的に重要度が高い少なくとも１つの人物属性を特定する。重要度は、特徴量として重要な度合いである。別の言い方をすれば、重要度は、印象に関連する度合いである。重要度が高いほど、印象に強く影響する。例えば、性別、年代、会員ランク、居住地、年収、婚姻状況、子どもの有無、車の保有状況、及び職業といった９つの人物属性のうち、性別、年代、居住地、職業、及び年収といった５つが印象に強く影響する場合には、これら５つの重要度は、残りの４つよりも高くなる。
【0088】
例えば、重要人物属性特定部３０５は、ＬｉｇｈｔＧＢＭ等の機械学習の手法を利用した印象推定に基づいて、人物属性ごとに、重要度を計算する。重要度を計算するためのモデルは、仮で作成した印象推定モデルＭであってもよいし、印象推定モデルＭとは異なる他のモデルであってもよい。他のモデルは、一般的な印象推定で利用される公知のモデルであってもよい。重要度の計算自体は、公知の手法を利用可能である。例えば、重要人物属性特定部３０５は、相関係数、ＳＨＡＰ（SHapley Additive exPlanations）、又はCohort Shapleyと呼ばれる手法に基づいて、複数の人物属性の各々の重要度を計算してもよい。
【0089】
例えば、重要人物属性特定部３０５は、印象語に対する各人物属性の平均重要度（平均特徴量重要度と呼ばれることもある）と、印象語に対する各人物属性の累積重要度（累積特徴量重要度と呼ばれることもある）と、の少なくとも一方を計算する。本実施形態では、重要人物属性特定部３０５は、これらの両方を計算する場合を説明するが、これらのうちの何れか一方だけを計算してもよい。例えば、重要人物属性特定部３０５は、平均重要度及び累積重要度が閾値以上の人物属性を特定してもよいし、重要人物属性特定部３０５は、平均重要度及び累積重要度が上位の人物属性を特定してもよい。
【0090】
［人物属性クラスタリング実行部］
人物属性クラスタリング実行部３０６は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。本実施形態では、１つの人物属性だけではなく、複数の人物属性からなる人物属性組合せが利用されるので、人物属性クラスタリング実行部３０６は、互いに似た感性の人物属性組合せが同じ集合に属するように、人物属性クラスタリングを実行する。
人物属性クラスタリング実行部３０６は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。本実施形態では、１つの人物属性だけではなく、複数の人物属性からなる人物属性組合せが利用されるので、人物属性クラスタリング実行部３０６は、互いに似た感性の人物属性組合せが同じ集合に属するように、人物属性クラスタリングを実行する。
【0091】
本実施形態では、人物属性クラスタリング実行部３０６は、数式１及び数式２に基づいて、人物属性クラスタリングを実行する。人物属性クラスタリング実行部３０６は、人物属性クラスタリングの実行結果に基づいて、人物集合データベースＤＢ４を更新する。人物属性クラスタリング実行部３０６は、複数の人物属性組合せの各々に、当該人物属性組合せが属する人物集合ベクトルを関連付ける。
【0092】
例えば、人物属性クラスタリング実行部３０６は、人物属性組合せごとに、当該人物属性組合せを持つ少なくとも１人のアノテータのアノテーション情報に基づいて、当該人物属性組合せの感性に関する評価値を取得する。本実施形態では、数式１の印象語スコアベクトルが評価値に相当する場合を説明するが、評価値は、数式１の印象語スコアベクトルに限られない。例えば、人物属性クラスタリング実行部３０６は、数式１の正規化をせずに平均化だけを実行してもよいし、数式１の平均化をせずに正規化だけを実行してもよい。
【0093】
他にも例えば、人物属性クラスタリング実行部３０６は、平均化及び正規化を実行せずに、人物属性組合せごとに、ランダムに選択したアノテータのアノテーション情報を、評価値として取得してもよい。評価値は、人物属性組合せの感性を何らかの形で示す情報であればよい。評価値は、任意の形式であってよく、本実施形態のようなベクトル形式に限られない。例えば、評価値は、単一の数値、ベクトル形式ではない複数の数値からなる情報、配列、行列、又はその他の形式であってもよい。
【0094】
例えば、人物属性クラスタリング実行部３０６は、互いに似た評価値の複数の人物属性組合せが同じ人物属性に属するように、人物属性クラスタリングを実行する。評価値が似ることは、感性が似ることに相当する。評価値が似るとは、評価値の違い（差）が小さいことである。評価値の違いが小さいほど、感性が似ることに相当する。例えば、人物属性クラスタリング実行部３０６は、評価値の違いが閾値未満の人物属性組合せ同士が同じ人物属性に属するように、人物属性クラスタリングを実行する。
【0095】
本実施形態では、人物属性クラスタリング実行部３０６は、同じ画像集合に属する訓練画像から互いに似た印象を受けたアノテータの人物属性が同じ人物集合に属するように、人物属性クラスタリングを実行する。例えば、数式１の印象語スコアベクトルは、画像集合ごとに計算されるので、人物属性クラスタリング実行部３０６は、画像集合ごとに計算された印象語スコアベクトルに基づいて、人物属性クラスタリングを実行する。人物属性クラスタリング実行部３０６は、ある画像集合に属する複数の訓練画像の各々を見たアノテータのアノテーション情報に基づいて計算した評価値が互いに似ている場合に、人物属性組合せを同じ人物属性に属するように、人物属性クラスタリングを実行する。
【0096】
本実施形態では、人物属性クラスタリング実行部３０６は、互いに同じ人物属性の複数のアノテータの各々のアノテーション情報の平均化及び正規化の少なくとも一方を実行し、当該平均化及び当該正規化の少なくとも一方の実行結果に基づいて、人物属性クラスタリングを実行する。先述したように、人物属性クラスタリング実行部３０６は、数式１に基づいて、平均化及び正規化の両方を実行する場合を説明するが、平均化又は正規化の何れか一方のみを実行してもよい。
【0097】
本実施形態では、人物属性クラスタリング実行部３０６は、アノテーション情報及び人物属性の少なくとも一方に関する次元削除を実行し、当該次元削除の実行結果に基づいて、人物属性クラスタリングを実行する。例えば、人物属性クラスタリング実行部３０６は、主成分分析に基づいて、アノテーション情報及び人物属性の少なくとも一方に関する次元削除を実行する。人物属性クラスタリング実行部３０６は、次元削除によってアノテーション情報及び人物属性の少なくとも一方の次元を減らした後に、人物属性クラスタリングを実行する。削除された次元は、人物属性クラスタリングで利用されない。
【0098】
本実施形態では、人物属性クラスタリング実行部３０６が人物属性に関する次元削除を実行する場合を説明するが、人物属性クラスタリング実行部３０６は、アノテーション情報に関する次元削除を実行してもよいし、人物属性クラスタリング実行部３０６は、アノテーション情報及び人物属性の両方の次元削除を実行してもよい。
【0099】
本実施形態では、人物属性クラスタリング実行部３０６は、重要人物属性特定部３０５により特定された少なくとも１つの人物属性に関する人物属性クラスタリングを実行する。人物属性クラスタリング実行部３０６は、複数の人物属性のうち、重要人物属性特定部３０５により特定された少なくとも１つの人物属性だけを、人物属性クラスタリングの対象とする。人物属性クラスタリング実行部３０６は、複数の人物属性のうち、他の人物属性については、人物属性クラスタリングの対象としない。
【0100】
なお、先述したように、次元の呪いを避ける方法は、主成分分析に限られない。人物属性クラスタリング実行部３０６は、アノテーション情報及び人物属性の少なくとも一方の中から、人物属性クラスタリングに相対的に寄与しない次元を削除すればよい。例えば、人物属性クラスタリング実行部３０６は、ｔ－ＳＮＥ、ＵＭＡＰ（Uniform Manifold Approximation and Projection）、ＬＬＥ（Locally Linear Embedding）、ランダムプロジェクション、又はカーネル法に基づいて、アノテーション情報及び人物属性の少なくとも一方の次元削除を実行してもよい。
【0101】
［訓練データ生成部］
訓練データ生成部３０７は、訓練画像、アノテータの人物属性が属する人物集合、及びアノテーション情報に基づいて、印象推定モデルＭの訓練データを生成する。訓練データ生成部３０７は、複数の訓練画像の各々に対し、以下の処理を実行する。例えば、訓練データ生成部３０７は、訓練画像及び人物集合組合せを入力部分として含み、かつ、アノテーション情報を出力部分として含む訓練データを生成する。本実施形態では、訓練データ生成部３０７は、互いに同じ人物属性の複数のアノテータの各々のアノテーション情報の平均化を実行し、当該実行された平均化に基づいて、訓練データを生成する。
訓練データ生成部３０７は、訓練画像、アノテータの人物属性が属する人物集合、及びアノテーション情報に基づいて、印象推定モデルＭの訓練データを生成する。訓練データ生成部３０７は、複数の訓練画像の各々に対し、以下の処理を実行する。例えば、訓練データ生成部３０７は、訓練画像及び人物集合組合せを入力部分として含み、かつ、アノテーション情報を出力部分として含む訓練データを生成する。本実施形態では、訓練データ生成部３０７は、互いに同じ人物属性の複数のアノテータの各々のアノテーション情報の平均化を実行し、当該実行された平均化に基づいて、訓練データを生成する。
【0102】
例えば、訓練データ生成部３０７は、複数の訓練画像の何れかと、当該訓練画像にアノテーションしたアノテータの人物属性組合せが属する人物集合と、を訓練データの入力部分として取得する。訓練データ生成部３０７は、当該人物集合に属する複数の人物属性組合せの各々のアノテータのアノテーション情報の平均化を実行した印象語スコアベクトルを、訓練データの出力部分として取得する。訓練データ生成部３０７は、複数の訓練画像の各々に基づいて、同様の処理によって、次々と訓練データを生成する。訓練データ生成部３０７は、生成した訓練データを、訓練データベースＤＢ５に格納する。
【0103】
［学習実行部］
学習実行部３０８は、訓練データに基づいて、印象推定モデルＭの学習を実行する。学習自体は、機械学習の手法で利用されている種々の手法を利用可能である。学習により、印象推定モデルＭのパラメータが調整される。例えば、勾配降下法又は誤差逆伝播法が利用されてもよい。学習実行部３０８は、訓練データベースＤＢ５に格納された複数の訓練データの各々に基づいて、当該訓練データの入力部分が印象推定モデルＭに入力された場合に、当該訓練データの出力部分が印象推定モデルＭから出力されるように、印象推定モデルＭの学習を実行する。
学習実行部３０８は、訓練データに基づいて、印象推定モデルＭの学習を実行する。学習自体は、機械学習の手法で利用されている種々の手法を利用可能である。学習により、印象推定モデルＭのパラメータが調整される。例えば、勾配降下法又は誤差逆伝播法が利用されてもよい。学習実行部３０８は、訓練データベースＤＢ５に格納された複数の訓練データの各々に基づいて、当該訓練データの入力部分が印象推定モデルＭに入力された場合に、当該訓練データの出力部分が印象推定モデルＭから出力されるように、印象推定モデルＭの学習を実行する。
【0104】
［推定画像取得部］
推定画像取得部３０９は、学習済みの印象推定モデルＭの推定対象となる推定画像を取得する。例えば、推定画像取得部３０９は、推定画像データベースＤＢ６にファイル名が格納された複数の推定画像の各々を取得する。推定画像の画像データは、データ記憶部３００に記憶されているものとする。推定画像取得部３０９は、推定画像データベースＤＢ６にファイル名が格納された全ての推定画像を取得してもよいし、一部の推定画像を取得してもよい。
推定画像取得部３０９は、学習済みの印象推定モデルＭの推定対象となる推定画像を取得する。例えば、推定画像取得部３０９は、推定画像データベースＤＢ６にファイル名が格納された複数の推定画像の各々を取得する。推定画像の画像データは、データ記憶部３００に記憶されているものとする。推定画像取得部３０９は、推定画像データベースＤＢ６にファイル名が格納された全ての推定画像を取得してもよいし、一部の推定画像を取得してもよい。
【0105】
［推定人物属性取得部］
推定人物属性取得部３１０は、学習済みの印象推定モデルＭの推定対象となる人物属性を取得する。例えば、推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された複数の人物属性の各々を取得する。推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された全ての人物属性を取得してもよいし、一部の人物属性を取得してもよい。
推定人物属性取得部３１０は、学習済みの印象推定モデルＭの推定対象となる人物属性を取得する。例えば、推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された複数の人物属性の各々を取得する。推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された全ての人物属性を取得してもよいし、一部の人物属性を取得してもよい。
【0106】
本実施形態では、人物属性が１つだけではなく、複数の人物属性の組合せである人物属性組合せが利用されるので、推定人物属性取得部３１０は、人物属性組合せを取得する。推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された複数の人物属性組合せの各々を取得する。推定人物属性取得部３１０は、人物属性データベースＤＢ３に格納された全ての人物属性組合せを取得してもよいし、一部の人物属性組合せを取得してもよい。
【0107】
［推定実行部］
推定実行部３１１は、推定画像、推定対象となる人物属性が属する人物集合、及び学習済みの印象推定モデルＭに基づいて、推定対象となる人物属性の人物が推定画像から受ける印象を推定する。例えば、推定実行部３１１は、学習済みの印象推定モデルＭに対し、推定画像取得部３０９により取得された推定画像と、推定人物属性取得部３１０により取得された人物属性組合せが属する人物集合と、を入力する。
推定実行部３１１は、推定画像、推定対象となる人物属性が属する人物集合、及び学習済みの印象推定モデルＭに基づいて、推定対象となる人物属性の人物が推定画像から受ける印象を推定する。例えば、推定実行部３１１は、学習済みの印象推定モデルＭに対し、推定画像取得部３０９により取得された推定画像と、推定人物属性取得部３１０により取得された人物属性組合せが属する人物集合と、を入力する。
【0108】
例えば、印象推定モデルＭは、自身に推定画像及び人物集合が入力されると、これらの特徴量を計算する。特徴量を計算する処理の流れは、図５を参照して説明した通りである。印象推定モデルＭは、当該計算された特徴量に基づいて、印象語スコアを出力する。推定実行部３１１は、印象推定モデルＭに入力した推定画像及び人物集合と、印象推定モデルＭから出力された印象語スコアを閾値で２値化した推定結果情報と、が関連付けられるように、推定画像データベースＤＢ６を更新する。
【0109】
［３－４．検索サーバで実現される機能］
例えば、検索サーバ４０は、データ記憶部４００及び検索部４０１を含む。データ記憶部４００は、記憶部４２により実現される。検索部４０１は、制御部４１により実現される。
例えば、検索サーバ４０は、データ記憶部４００及び検索部４０１を含む。データ記憶部４００は、記憶部４２により実現される。検索部４０１は、制御部４１により実現される。
【0110】
[データ記憶部]
データ記憶部４００は、人物集合データベースＤＢ４及び推定画像データベースＤＢ６を記憶する。人物集合データベースＤＢ４及び推定画像データベースＤＢ６は、学習端末３０のデータ記憶部３００に記憶されるものと同様であってよい。データ記憶部４００は、検索者の人物属性組合せを記憶してもよいし、検索者が属する人物集合を記憶してもよい。
データ記憶部４００は、人物集合データベースＤＢ４及び推定画像データベースＤＢ６を記憶する。人物集合データベースＤＢ４及び推定画像データベースＤＢ６は、学習端末３０のデータ記憶部３００に記憶されるものと同様であってよい。データ記憶部４００は、検索者の人物属性組合せを記憶してもよいし、検索者が属する人物集合を記憶してもよい。
【0111】
［検索部］
検索部４０１は、検索者により入力された検索クエリに基づいて、推定画像を検索する。例えば、検索部４０１は、検索者により入力された検索クエリと、検索者の人物属性組合せが属する人物集合に関連付けられた印象語と、に基づいて、推定画像を検索する。
検索部４０１は、検索者により入力された検索クエリに基づいて、推定画像を検索する。例えば、検索部４０１は、検索者により入力された検索クエリと、検索者の人物属性組合せが属する人物集合に関連付けられた印象語と、に基づいて、推定画像を検索する。
【0112】
［３－５．検索者端末で実現される機能］
例えば、検索者端末５０は、データ記憶部５００、表示制御部５０１、及び操作受付部５０２を含む。データ記憶部５００は、記憶部５２により実現される。表示制御部５０１及び操作受付部５０２は、制御部５１により実現される。
例えば、検索者端末５０は、データ記憶部５００、表示制御部５０１、及び操作受付部５０２を含む。データ記憶部５００は、記憶部５２により実現される。表示制御部５０１及び操作受付部５０２は、制御部５１により実現される。
【0113】
[データ記憶部]
データ記憶部５００は、検索サービスの利用に必要なデータを記憶する。例えば、データ記憶部５００は、ブラウザ又は検索サービス専用のアプリケーションを記憶する。
データ記憶部５００は、検索サービスの利用に必要なデータを記憶する。例えば、データ記憶部５００は、ブラウザ又は検索サービス専用のアプリケーションを記憶する。
【0114】
［表示制御部］
表示制御部５０１は、検索画面ＳＣ２を表示部５５に表示させる。
表示制御部５０１は、検索画面ＳＣ２を表示部５５に表示させる。
【0115】
［操作受付部］
操作受付部５０２は、検索者の操作を受け付ける。例えば、操作受付部５０２は、検索者による検索クエリの入力を受け付ける。
操作受付部５０２は、検索者の操作を受け付ける。例えば、操作受付部５０２は、検索者による検索クエリの入力を受け付ける。
【0116】
［４．印象推定システム１で実行される処理］
図１４及び図１５は、印象推定システム１で実行される処理の一例を示す図である。図１４及び図１５の処理は、制御部１１，２１，３１，４１，５１がそれぞれ記憶部１２，２２，３２，４２，５２に記憶されたプログラムに従って動作することによって実行される。
図１４及び図１５は、印象推定システム１で実行される処理の一例を示す図である。図１４及び図１５の処理は、制御部１１，２１，３１，４１，５１がそれぞれ記憶部１２，２２，３２，４２，５２に記憶されたプログラムに従って動作することによって実行される。
【0117】
図１４のように、学習端末３０は、記憶部３２に記憶された訓練画像データベースＤＢ１に格納された複数の訓練画像の各々を取得する（Ｓ１）。学習端末３０は、Ｓ１で取得した複数の訓練画像の各々に基づいて、画像クラスタリングを実行する（Ｓ２）。Ｓ２では、学習端末３０は、互いに似た訓練画像が同じ画像集合に属するように、画像クラスタリングを実行する。学習端末３０は、画像クラスタリングの対象となった複数の訓練画像の各々に、当該訓練画像が属する画像集合の画像集合ＩＤを関連付ける。学習端末３０は、クラウドソーシングサーバ１０に対し、訓練画像データベースＤＢ１をアップロードする（Ｓ３）。
【0118】
クラウドソーシングサーバ１０及びアノテータ端末２０の間で、アノテーション情報を収集するための処理が実行される（Ｓ４）。Ｓ４では、アノテータ端末２０は、クラウドソーシングサーバ１０にアクセスし、アノテーション画面ＳＣ１を表示部２５に表示させる。アノテータ端末２０は、アノテーション画面ＳＣ１に対するアノテータの操作に基づいて、クラウドソーシングサーバ１０に対し、アノテーション情報を送信する。クラウドソーシングサーバ１０は、アノテータ端末２０から受信したアノテーション情報を、アノテーションデータベースＤＢ２に格納する。
【0119】
クラウドソーシングサーバ１０及び学習端末３０の間で、アノテーション情報を共有するための処理が実行される（Ｓ５）。Ｓ５では、クラウドソーシングサーバ１０は、学習端末３０に対し、記憶部３２に記憶されたアノテーションデータベースＤＢ２を送信する。学習端末３０は、クラウドソーシングサーバ１０から受信したアノテーションデータベースＤＢ２を、記憶部３２に記録する。学習端末３０は、アノテーションデータベースＤＢ２に格納された複数のアノテータの各々のアノテーション情報を取得する（Ｓ６）。学習端末３０は、人物属性データベースＤＢ３に格納された複数のアノテータの各々の人物属性組合せを取得する（Ｓ７）。
【0120】
学習端末３０は、Ｓ６で取得した複数のアノテータの各々のアノテーション情報と、Ｓ７で取得した複数のアノテータの各々の人物属性組合せと、に基づいて、人物属性クラスタリングを実行する（Ｓ８）。Ｓ８では、学習端末３０は、同じ画像属性に属する訓練画像から互いに似た印象を受けたアノテータの人物属性組合せが同じ人物集合に属するように、人物属性クラスタリングを実行する。学習端末３０は、人物属性クラスタリングの対象となった複数の人物属性組合せの各々に、当該人物属性が属する人物集合の人物集合ＩＤを関連付ける。
【0121】
学習端末３０は、Ｓ８における人物属性クラスタリングの実行結果に基づいて、複数の訓練データの各々を生成する（Ｓ９）。Ｓ９では、学習端末３０は、訓練画像及び人物属性のペアごとに、当該訓練画像及び当該人物属性に基づいて、訓練データの入力部分を生成する。学習端末３０は、当該訓練画像から当該人物属性に属するアノテータが受ける印象に基づいて、訓練データの出力部分を生成する。学習端末３０は、複数の訓練データの各々を訓練データベースＤＢ５に格納する。
【0122】
学習端末３０は、Ｓ９で生成した複数の訓練データの各々に基づいて、印象推定モデルＭの学習を実行する（Ｓ１０）。Ｓ１０では、学習端末３０は、複数の訓練データの各々の入力部分が印象推定モデルＭに入力された場合に、当該訓練の出力部分が印象推定モデルＭから出力されるように、印象推定モデルＭのパラメータを調整する。学習端末３０は、推定画像データベースＤＢ６に格納された複数の推定画像の各々を取得する（Ｓ１１）。
【0123】
図１５に移り、学習端末３０は、人物属性データベースＤＢ３に格納された複数の人物属性組合せの各々を取得する（Ｓ１２）。学習端末３０は、Ｓ１１で取得した複数の推定画像の各々と、Ｓ１２で取得した複数の人物属性組合せの各々と、学習済みの印象推定モデルＭと、に基づいて、当該推定画像から当該人物属性組合せの人物が受ける印象を推定する（Ｓ１３）。Ｓ１３では、学習端末３０は、推定画像と、人物属性組合せが属する人物集合と、を印象推定モデルＭに入力し、印象推定モデルＭから出力された推定結果を取得する。学習端末３０は、推定画像データベースＤＢ６を更新する。
【0124】
学習端末３０及び検索サーバ４０の間で、推定画像データベースＤＢ６に格納された推定結果を共有するための処理が実行される（Ｓ１４）。Ｓ１４では、学習端末３０は、検索サーバ４０に対し、推定画像データベースＤＢ６を送信する。検索サーバ４０は、学習端末３０から受信した推定画像データベースＤＢ６を記憶部４２に記録する。検索サーバ４０及び検索者端末５０の間で、検索が実行される（Ｓ１５）。
【0125】
［５．実施形態のまとめ］
本実施形態の印象推定システム１は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。印象推定システム１は、訓練画像、人物集合、及びアノテーション情報に基づいて、印象推定モデルＭの訓練データを生成する。印象推定システム１は、訓練データに基づいて、印象推定モデルＭの学習を実行する。これにより、互いに似た感性の人物属性を１つの人物集合にまとめることによって、人物集合単位でアノテーション情報を収集すれば済むので、訓練データを用意する手間を軽減できる。例えば、年齢が３０台の男性と、年齢が４０台の男性と、の感性が互いに似ている場合に、年齢が３０台の男性のアノテーション情報と、年齢が４０台の男性のアノテーション情報と、を別々に取集するのではなく、これらを１つの人物集合にまとめて人物集合単位でアノテーション情報を収集することによって、訓練データを用意する手間を軽減できる。更に、年齢が３０台の男性のアノテーション情報と、年齢が４０台の男性のアノテーション情報と、の各々が少なかったとしても、これらを１つの人物集合にまとめて人物集合単位でアノテーション情報を収集することによって、人物集合単位としてはアノテーション情報を増やすことができるので、印象推定モデルＭの精度が高まる。
本実施形態の印象推定システム１は、アノテーション情報に基づいて、互いに似た感性の人物属性が同じ人物集合に属するように、人物属性に関する人物属性クラスタリングを実行する。印象推定システム１は、訓練画像、人物集合、及びアノテーション情報に基づいて、印象推定モデルＭの訓練データを生成する。印象推定システム１は、訓練データに基づいて、印象推定モデルＭの学習を実行する。これにより、互いに似た感性の人物属性を１つの人物集合にまとめることによって、人物集合単位でアノテーション情報を収集すれば済むので、訓練データを用意する手間を軽減できる。例えば、年齢が３０台の男性と、年齢が４０台の男性と、の感性が互いに似ている場合に、年齢が３０台の男性のアノテーション情報と、年齢が４０台の男性のアノテーション情報と、を別々に取集するのではなく、これらを１つの人物集合にまとめて人物集合単位でアノテーション情報を収集することによって、訓練データを用意する手間を軽減できる。更に、年齢が３０台の男性のアノテーション情報と、年齢が４０台の男性のアノテーション情報と、の各々が少なかったとしても、これらを１つの人物集合にまとめて人物集合単位でアノテーション情報を収集することによって、人物集合単位としてはアノテーション情報を増やすことができるので、印象推定モデルＭの精度が高まる。
【0126】
また、印象推定システム１は、アノテータ人物属性取得部３０４は、互いに似た感性の人物属性組合せが同じ集合に属するように、人物属性クラスタリングを実行する。１つの人物属性ではなく、複数の人物属性からなる人物属性組合せを考慮した印象推定を実行しようとすると、人物属性組合せの数が膨大になりがちであるが、人物属性クラスタリングによって人物集合を取得することによって、訓練データを用意する手間を軽減しつつ、印象推定モデルＭの精度が高まる。
【0127】
また、印象推定システム１は、互いに似た訓練画像が同じ画像集合に属するように、画像クラスタリングを実行する。印象推定システム１は、同じ画像集合に属する訓練画像から互いに似た印象を受けたアノテータの人物属性が同じ人物集合に属するように、人物属性クラスタリングを実行する。これにより、印象推定システム１は、互いに似た訓練画像から似た印象を受けるか否かを考慮して人物属性クラスタリングを実行できるので、人物属性クラスタリングの精度が高まる。
【0128】
また、印象推定システム１は、互いに同じ人物属性の複数のアノテータの各々のアノテーション情報の平均化及び正規化の少なくとも一方を実行し、当該平均化及び当該正規化の少なくとも一方の実行結果に基づいて、人物属性クラスタリングを実行する。これにより、人物属性クラスタリングの精度が高まる。
【0129】
また、印象推定システム１は、アノテーション情報及び人物属性の少なくとも一方に関する次元削除を実行し、当該次元削除の実行結果に基づいて、人物属性クラスタリングを実行する。これにより、次元の呪いを避けたうえで人物属性クラスタリングを実行できる。
【0130】
また、印象推定システム１は、互いに同じ人物属性の複数のアノテータの各々のアノテーション情報の平均化を実行し、当該実行された平均化に基づいて、訓練データを生成する。これにより、互いに似た感性の複数のアノテータの各々が訓練画像から受けた印象を平均化した訓練データを生成できるので、印象推定モデルＭの精度が高まる。
【0131】
また、印象推定システム１は、相対的に重要度が高い少なくとも１つの人物属性に関する人物属性クラスタリングを実行する。これにより、印象推定のためにより重要な人物属性に基づく人物属性クラスタリングを実行できる。
【0132】
また、印象推定システム１は、クラウドソーシングサービスに登録されたクラウドワーカーの人物属性を取得する。これにより、アノテーション情報を効率的に収集できる。
【0133】
また、印象推定システム１は、推定画像、推定対象となる人物属性が属する人物集合、及び学習済みの印象推定モデルＭに基づいて、推定対象となる人物属性の人物が推定画像から受ける印象を推定する。これにより、印象推定の精度が高まる。
【0134】
［６．変形例］
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
なお、本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
【0135】
例えば、実施形態では、同じ人物属性に属する複数のアノテータの各々のアノテーション情報の平均化が実行されて１つにまとめられる場合を説明したが、訓練データ生成部３０７は、アノテータごとに、訓練画像、当該アノテータの人物集合、及び当該アノテータのアノテーション情報に基づいて、訓練データを生成してもよい。即ち、個々のアノテータによるアノテーション情報を１つにまとめなくてもよい。アノテータごとに訓練データが生成される点で実施形態とは異なるが、訓練データに基づく学習自体は、実施形態と同様である。
【0136】
変形例の印象推定システム１は、アノテータごとに、訓練画像、当該アノテータの人物集合、及び当該アノテータのアノテーション情報に基づいて、訓練データを生成する。これにより、訓練データを用意する手間を軽減しつつ、印象推定モデルＭの精度が高まる。
【0137】
例えば、学習端末３０で実現されるものとして説明した機能は、印象推定システム１における少なくとも１つのコンピュータにより実現されるようにすればよく、複数のコンピュータで機能が分担されてもよい。この場合、複数のコンピュータの各々が、他のコンピュータに対し、自身の処理結果を送信することによって、機能の分担が実現されるようにすればよい。例えば、学習端末３０で実現されるものとして説明した機能は、クラウドソーシングサーバ１０又は検索サーバ４０により実現されてもよい。
【0138】
［７．付記］
例えば、本開示に係る印象推定システムは、下記のような構成も可能である。
（１）
人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得部と、
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部と、
前記アノテータの人物属性を取得するアノテータ人物属性取得部と、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部と、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部と、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部と、
を含む印象推定システム。
（２）
前記アノテータ人物属性取得部は、複数の前記人物属性の組合せを取得し、
前記人物属性クラスタリング実行部は、互いに似た感性の前記組合せが同じ前記集合に属するように、前記人物属性クラスタリングを実行する、
（１）に記載の印象推定システム。
（３）
前記印象推定システムは、互いに似た前記訓練画像が同じ画像集合に属するように、前記訓練画像に関する画像クラスタリングを実行する画像クラスタリング実行部を更に含み、
前記人物属性クラスタリング実行部は、同じ前記画像集合に属する前記訓練画像から互いに似た印象を受けた前記アノテータの前記人物属性が同じ前記人物集合に属するように、前記人物属性クラスタリングを実行する、
（１）又は（２）に記載の印象推定システム。
（４）
前記人物属性クラスタリング実行部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化及び正規化の少なくとも一方を実行し、当該平均化及び当該正規化の少なくとも一方の実行結果に基づいて、前記人物属性クラスタリングを実行する、
（１）～（３）の何れかに記載の印象推定システム。
（５）
前記人物属性クラスタリング実行部は、前記アノテーション情報及び前記人物属性の少なくとも一方に関する次元削除を実行し、当該次元削除の実行結果に基づいて、前記人物属性クラスタリングを実行する、
（１）～（４）の何れかに記載の印象推定システム。
（６）
前記訓練データ生成部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化を実行し、当該実行された平均化に基づいて、前記訓練データを生成する、
（１）～（５）の何れかに記載の印象推定システム。
（７）
前記訓練データ生成部は、前記アノテータごとに、前記訓練画像、当該アノテータの前記人物集合、及び当該アノテータの前記アノテーション情報に基づいて、前記訓練データを生成する、
（１）～（６）の何れかに記載の印象推定システム。
（８）
前記印象推定システムは、複数の前記人物属性の中から、相対的に重要度が高い少なくとも１つの前記人物属性を特定する重要人物属性特定部を更に含み、
前記人物属性クラスタリング実行部は、前記少なくとも１つの人物属性に関する前記人物属性クラスタリングを実行する、
（１）～（７）の何れかに記載の印象推定システム。
（９）
前記アノテータは、クラウドソーシングサービスに登録されたクラウドワーカーであり、
前記アノテータ人物属性取得部は、前記クラウドソーシングサービスに登録された前記クラウドワーカーの前記人物属性を取得する、
（１）～（８）の何れかに記載の印象推定システム。
（１０）
前記印象推定システムは、
学習済みの前記印象推定モデルの推定対象となる推定画像を取得する推定画像取得部と、
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む（１）～（９）の何れかに記載の印象推定システム。
例えば、本開示に係る印象推定システムは、下記のような構成も可能である。
（１）
人が画像から受ける印象を推定する印象推定モデルに学習させる訓練画像を取得する訓練画像取得部と、
アノテータが前記訓練画像から受けた印象に関するアノテーション情報を取得するアノテーション情報取得部と、
前記アノテータの人物属性を取得するアノテータ人物属性取得部と、
前記アノテーション情報に基づいて、互いに似た感性の前記人物属性が同じ人物集合に属するように、前記人物属性に関する人物属性クラスタリングを実行する人物属性クラスタリング実行部と、
前記訓練画像、前記アノテータの前記人物属性が属する前記人物集合、及び前記アノテーション情報に基づいて、前記印象推定モデルの訓練データを生成する訓練データ生成部と、
前記訓練データに基づいて、前記印象推定モデルの学習を実行する学習実行部と、
を含む印象推定システム。
（２）
前記アノテータ人物属性取得部は、複数の前記人物属性の組合せを取得し、
前記人物属性クラスタリング実行部は、互いに似た感性の前記組合せが同じ前記集合に属するように、前記人物属性クラスタリングを実行する、
（１）に記載の印象推定システム。
（３）
前記印象推定システムは、互いに似た前記訓練画像が同じ画像集合に属するように、前記訓練画像に関する画像クラスタリングを実行する画像クラスタリング実行部を更に含み、
前記人物属性クラスタリング実行部は、同じ前記画像集合に属する前記訓練画像から互いに似た印象を受けた前記アノテータの前記人物属性が同じ前記人物集合に属するように、前記人物属性クラスタリングを実行する、
（１）又は（２）に記載の印象推定システム。
（４）
前記人物属性クラスタリング実行部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化及び正規化の少なくとも一方を実行し、当該平均化及び当該正規化の少なくとも一方の実行結果に基づいて、前記人物属性クラスタリングを実行する、
（１）～（３）の何れかに記載の印象推定システム。
（５）
前記人物属性クラスタリング実行部は、前記アノテーション情報及び前記人物属性の少なくとも一方に関する次元削除を実行し、当該次元削除の実行結果に基づいて、前記人物属性クラスタリングを実行する、
（１）～（４）の何れかに記載の印象推定システム。
（６）
前記訓練データ生成部は、互いに同じ前記人物属性の複数の前記アノテータの各々の前記アノテーション情報の平均化を実行し、当該実行された平均化に基づいて、前記訓練データを生成する、
（１）～（５）の何れかに記載の印象推定システム。
（７）
前記訓練データ生成部は、前記アノテータごとに、前記訓練画像、当該アノテータの前記人物集合、及び当該アノテータの前記アノテーション情報に基づいて、前記訓練データを生成する、
（１）～（６）の何れかに記載の印象推定システム。
（８）
前記印象推定システムは、複数の前記人物属性の中から、相対的に重要度が高い少なくとも１つの前記人物属性を特定する重要人物属性特定部を更に含み、
前記人物属性クラスタリング実行部は、前記少なくとも１つの人物属性に関する前記人物属性クラスタリングを実行する、
（１）～（７）の何れかに記載の印象推定システム。
（９）
前記アノテータは、クラウドソーシングサービスに登録されたクラウドワーカーであり、
前記アノテータ人物属性取得部は、前記クラウドソーシングサービスに登録された前記クラウドワーカーの前記人物属性を取得する、
（１）～（８）の何れかに記載の印象推定システム。
（１０）
前記印象推定システムは、
学習済みの前記印象推定モデルの推定対象となる推定画像を取得する推定画像取得部と、
前記学習済みの印象推定モデルの推定対象となる前記人物属性を取得する推定人物属性取得部と、
前記推定画像、前記推定対象となる前記人物属性が属する前記人物集合、及び前記学習済みの印象推定モデルに基づいて、前記推定対象となる前記人物属性の人物が前記推定画像から受ける印象を推定する推定実行部と、
を含む（１）～（９）の何れかに記載の印象推定システム。
【符号の説明】
【0139】
１ 印象推定システム、Ｎ ネットワーク、１０ クラウドソーシングサーバ、１１，２１，３１，４１，５１ 制御部、１２，２２，３２，４２，５２ 記憶部、１３，２３，３３，４３，５３ 通信部、２０ アノテータ端末、２４，３４，５４ 操作部、２５，３５，５５ 表示部、３０ 学習端末、４０ 検索サーバ、５０ 検索者端末、１００ データ記憶部、１０１ 表示制御部、１０２ 収集部、２００ データ記憶部、２０１ 表示制御部、２０２ 操作受付部、３００ データ記憶部、３０１ 訓練画像取得部、３０２ 画像クラスタリング実行部、３０３ アノテーション情報取得部、３０４ アノテータ人物属性取得部、３０５ 重要人物属性特定部、３０６ 人物属性クラスタリング実行部、３０７ 訓練データ生成部、３０８ 学習実行部、３０９ 推定画像取得部、３１０ 推定人物属性取得部、３１１ 推定実行部、４００ データ記憶部、４０１ 検索部、５００ データ記憶部、５０１ 表示制御部、５０２ 操作受付部、ＤＢ１ 訓練画像データベース、ＤＢ２ アノテーションデータベース、ＤＢ３ 人物属性データベース、ＤＢ４ 人物集合データベース、ＤＢ５ 訓練データベース、ＤＢ６ 推定画像データベース、ＳＣ１ アノテーション画面、ＳＣ２ 検索画面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】