特許 7322965 学習方法、学習プログラム、および学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-31

(45)【発行日】2023-08-08

(54)【発明の名称】学習方法、学習プログラム、および学習装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230801BHJP

   G06V 10/82 20220101ALI20230801BHJP

   G06N 20/00 20190101ALI20230801BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06N20/00 130

【請求項の数】 10

(21)【出願番号】P 2021553907

(86)(22)【出願日】2019-10-28

(86)【国際出願番号】 JP2019042225

(87)【国際公開番号】W WO2021084590

(87)【国際公開日】2021-05-06

【審査請求日】2022-04-19

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】山本 卓永

【審査官】松元 伸次

(56)【参考文献】

【文献】国際公開第２０１５／００８５６７（ＷＯ，Ａ１）

【文献】特開２０１７－２０１４５４（ＪＰ，Ａ）

【文献】国際公開第２０１６／００９５６９（ＷＯ，Ａ１）

【文献】YANG, Jufeng, et al.，Weakly Supervised Coupled Networks for Visual Sentiment Analysis，IEEE Xplore Digital Library，IEEE，2018年12月17日，pp.7584-7592，https://ieeexplore.ieee.org/stamp.jsp?tp=&arnumber=8578889&tag=1

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ３／００－３／１２

７／０８－９９／００

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

(57)【特許請求の範囲】

【請求項1】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っている確率を算出し、算出した前記確率に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする学習方法。

【請求項2】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の名称に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする学習方法。

【請求項3】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の前記画像上の大きさを特定し、特定した前記大きさに基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする学習方法。

【請求項4】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っている確率を算出し、算出した前記確率に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項5】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の名称に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項6】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の前記画像上の大きさを特定し、特定した前記大きさに基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項7】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の前記画像上の大きさを特定し、特定した前記大きさに基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項8】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の前記画像上の色特徴を特定し、特定した前記色特徴に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項9】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の前記画像上の色特徴を特定し、特定した前記色特徴に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項10】

画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っている確率を算出し、算出した前記確率に基づいて、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
制御部を有することを特徴とする学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習方法、学習プログラム、および学習装置に関する。

【背景技術】

【0002】

従来、画像を解析し、人が画像を見た際にどのような印象を受けるのかを推定する技術がある。この技術は、例えば、人が、広告として作成した画像を見た際にどのような印象を受けるのかを推定し、訴求効果の向上を図るために用いられることがある。

【0003】

先行技術としては、例えば、画像全体に対しフィルタ処理を行い、特徴ベクトルとアテンションマップとを作成し、作成した特徴ベクトルとアテンションマップとを用いて、画像の印象を推定するものがある。フィルタ処理は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により行われる。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｙａｎｇ， Ｊｕｆｅｎｇ， ｅｔ ａｌ． “Ｗｅａｋｌｙ ｓｕｐｅｒｖｉｓｅｄ ｃｏｕｐｌｅｄ ｎｅｔｗｏｒｋｓ ｆｏｒ ｖｉｓｕａｌ ｓｅｎｔｉｍｅｎｔ ａｎａｌｙｓｉｓ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ． ２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、画像の印象を精度よく推定することは難しい。例えば、人が画像を見た際、画像の全体から受ける印象の他に、画像の一部分から受ける印象もあり、画像の全体に関する特徴ベクトルを参照するだけでは、人が画像を見た際にどのような印象を受けるのかを精度よく推定することは難しい。

【0006】

１つの側面では、本発明は、画像の印象を精度よく推定可能であるモデルを学習することを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、画像を取得し、取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、取得した前記画像から、物体に関する第二の特徴ベクトルを抽出し、抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する学習方法、学習プログラム、および学習装置が提案される。

【発明の効果】

【0008】

一態様によれば、画像の印象を精度よく推定可能であるモデルを学習することが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。

【図2】図２は、印象推定システム２００の一例を示す説明図である。

【図3】図３は、学習装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、学習装置１００の機能的構成例を示すブロック図である。

【図5】図５は、印象を示すラベルａｎｇｅｒと対応付けられた学習用画像の一例を示す説明図である。

【図6】図６は、印象を示すラベルｄｉｓｇｕｓｔと対応付けられた学習用画像の一例を示す説明図である。

【図7】図７は、印象を示すラベルｆｅａｒと対応付けられた学習用画像の一例を示す説明図である。

【図8】図８は、印象を示すラベルｊｏｙと対応付けられた学習用画像の一例を示す説明図である。

【図9】図９は、印象を示すラベルｓａｄｎｅｓｓと対応付けられた学習用画像の一例を示す説明図である。

【図10】図１０は、印象を示すラベルｓｕｒｐｒｉｓｅと対応付けられた学習用画像の一例を示す説明図である。

【図11】図１１は、モデルを学習する一例を示す説明図（その１）である。

【図12】図１２は、モデルを学習する一例を示す説明図（その２）である。

【図13】図１３は、モデルを学習する一例を示す説明図（その３）である。

【図14】図１４は、モデルを学習する一例を示す説明図（その４）である。

【図15】図１５は、モデルを学習する一例を示す説明図（その５）である。

【図16】図１６は、モデルを学習する一例を示す説明図（その６）である。

【図17】図１７は、モデルを学習する一例を示す説明図（その７）である。

【図18】図１８は、モデルを学習する一例を示す説明図（その８）である。

【図19】図１９は、対象画像の印象を推定する一例を示す説明図である。

【図20】図２０は、対象画像の印象を示すラベルの表示例を示す説明図である。

【図21】図２１は、学習処理手順の一例を示すフローチャートである。

【図22】図２２は、推定処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる学習方法、学習プログラム、および学習装置の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる学習方法の一実施例）
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。学習装置１００は、画像の印象を推定するためのモデルを学習する際に用いられる学習データを生成し、学習データに基づいて、画像の印象を推定するためのモデルを学習することができるコンピュータである。

【0012】

ここで、画像の印象を推定する手法として、例えば、下記の各種手法などが考えられるが、下記の各種手法では、画像の印象を精度よく推定することが難しい場合がある。

【0013】

例えば、ＡＵ（Ａｃｔｉｏｎ Ｕｎｉｔ）を用いて、人が、人の顔が写った画像を見た際に受ける印象を推定する第一の手法が考えられる。第一の手法では、人が、自然画や風景画などの人の顔が写らない画像を見た際に受ける印象を推定することができない。このため、第一の手法は、人の顔が写らない、広告として作成した画像の印象を推定することができず、広告の分野に適用することができないことがある。また、第一の手法は、画像上の人の顔の写り方に関するロバスト性が低く、例えば、画像上の人の顔が横向きである場合、正面向きである場合に比べて、画像の印象を精度よく推定することが難しくなる。

【0014】

また、例えば、上記非特許文献１を参考に、画像全体に対しフィルタ処理を行い、特徴ベクトルとアテンションマップとを作成し、作成した特徴ベクトルとアテンションマップとを用いて、画像の印象を推定する第二の手法が考えられる。フィルタ処理は、例えば、ＣＮＮにより行われる。また、第二の手法では、ＩｍａｇｅＮｅｔのデータセットを用いて、ＣＮＮの係数を学習した上で、印象の推定に関するデータセットを用いて、学習したＣＮＮの係数を補正することが考えられる。第二の手法でも、印象の推定に関するデータセットの数が少ないほど、ＣＮＮの係数を適切に設定することが難しくなり、画像の印象を精度よく推定することが難しくなる。また、人が画像を見た際、画像の全体から受ける印象の他に、画像の一部分から受ける印象もあるため、第二の手法では、画像の一部分から受ける印象を考慮しておらず、人が画像を見た際にどのような印象を受けるのかを精度よく推定することは難しい。

【0015】

また、例えば、画像の他に、様々なセンサーデータを用いて、画像の印象を推定するマルチモーダルな第三の手法が考えられる。第三の手法は、例えば、画像の他に、画像の撮影時の音声、または、画像に付与されたキャプションなどの文章を用いて、画像の印象を推定することが考えられる。第三の手法は、画像の他に、様々なセンサーデータを取得可能な状況でなければ、実現することができない。

【0016】

また、例えば、画像に関する時系列データを用いて、画像の印象を推定する第四の手法が考えられる。第四の手法は、第三の手法と同様に、時系列データを取得可能な状況でなければ、実現することができない。

【0017】

以上から、様々な分野や状況に適用可能であり、かつ、画像の印象を精度よく推定可能である手法が望まれる。そこで、本実施の形態では、画像に関する特徴ベクトルと、物体に関する特徴ベクトルとを用いることにより、様々な分野や状況に適用可能であり、かつ、画像の印象を精度よく推定可能であるモデルを学習することができる学習方法について説明する。

【0018】

図１において、（１－１）学習装置１００は、画像１０１を取得する。学習装置１００は、例えば、画像１０１の印象を示すラベルと対応付けられた、当該画像１０１を取得する。印象を示すラベルは、例えば、ａｎｇｅｒ、ｄｉｓｇｕｓｔ、ｆｅａｒ、ｊｏｙ、ｓａｄｎｅｓｓ、ｓｕｒｐｒｉｓｅなどである。

【0019】

（１－２）学習装置１００は、取得した画像１０１から、画像１０１全体に関する第一の特徴ベクトル１１１を抽出する。第一の特徴ベクトル１１１は、例えば、ＣＮＮにより抽出される。第一の特徴ベクトル１１１を抽出する具体例については、例えば、図１１～図１８を用いて後述する。

【0020】

（１－３）学習装置１００は、取得した画像１０１から、物体に関する第二の特徴ベクトル１１２を抽出する。学習装置１００は、例えば、取得した画像１０１内の物体が写った部分を検出し、検出した部分から、物体に関する第二の特徴ベクトル１１２を抽出する。第二の特徴ベクトル１１２を抽出する具体例については、例えば、図１１～図１８を用いて後述する。

【0021】

（１－４）学習装置１００は、抽出した第一の特徴ベクトル１１１と、抽出した第二の特徴ベクトル１１２とを組み合わせて、第三の特徴ベクトル１１３を生成する。学習装置１００は、例えば、第一の特徴ベクトル１１１に、第二の特徴ベクトル１１２を結合することにより、第三の特徴ベクトル１１３を生成する。第一の特徴ベクトル１１１と第二の特徴ベクトル１１２とを結合する順序は、第一の特徴ベクトル１１１と第二の特徴ベクトル１１２とのいずれが先であってもよい。第三の特徴ベクトル１１３を生成する具体例については、例えば、図１１～図１８を用いて後述する。

【0022】

（１－５）学習装置１００は、生成した第三の特徴ベクトル１１３に、画像１０１の印象を示すラベルを対応付けた学習データに基づいて、モデルを学習する。モデルは、入力された特徴ベクトルに対応する印象を示すラベルを出力する。学習装置１００は、例えば、生成した第三の特徴ベクトル１１３に、取得した画像１０１に対応付けられた画像１０１の印象を示すラベルを対応付けて、学習データを生成し、生成した学習データに基づいて、モデルを学習する。モデルを学習する具体例については、例えば、図１１～図１８を用いて後述する。

【0023】

これにより、学習装置１００は、画像の印象を精度よく推定可能なモデルを学習することができる。学習装置１００は、例えば、自然画や風景画などの人の顔が写っていない画像に関するロバスト性を確保しやすく、自然画や風景画などの人の顔が写っていない画像に対しても、画像の印象を精度よく推定可能なモデルを学習することができる。また、学習装置１００は、例えば、画像の全体の印象の他に、画像の一部分の印象を考慮可能なように、モデルを学習することができる。また、学習装置１００は、学習したモデルにより、画像の印象を推定する精度の向上を図ることができ、画像の印象を推定する精度を実用的な精度に近付けやすくすることができる。

【0024】

その後、学習装置１００は、印象を推定する対象となる画像を取得してもよい。以下の説明では、印象を推定する対象となる画像を「対象画像」と表記する場合がある。そして、学習装置１００は、学習したモデルを用いて、取得した対象画像の印象を推定してもよい。

【0025】

学習装置１００は、例えば、対象画像から、対象画像全体に関する第四の特徴ベクトルと、物体に関する第五の特徴ベクトルとを抽出し、第四の特徴ベクトルと第五の特徴ベクトルとを組み合わせて、第六の特徴ベクトルを生成する。そして、学習装置１００は、学習したモデルに、生成した第六の特徴ベクトルを入力し、対象画像の印象を示すラベルを取得する。対象画像の印象を示すラベルを取得する具体例については、例えば、図１９を用いて後述する。

【0026】

これにより、学習装置１００は、対象画像の印象を精度よく推定することができる。学習装置１００は、例えば、対象画像の印象を推定する際、対象画像の全体の印象の他に、対象画像の一部分の印象を考慮しやすくなり、対象画像の印象を精度よく推定することができる。また、学習装置１００は、例えば、自然画や風景画などの人の顔が写っていない対象画像の印象を精度よく推定することができる。また、学習装置１００は、対象画像の他に、様々なセンサーデータや時系列データなどを取得可能な状況でなくても、対象画像の印象を精度よく推定することができる。

【0027】

ここでは、説明の便宜上、学習装置１００が、１つの画像１０１を基に、１つの学習データを生成し、生成した１つの学習データに基づいて、モデルを学習する場合について説明したが、これに限らない。例えば、学習装置１００が、複数の画像１０１を基に、複数の学習データを生成し、生成した複数の学習データに基づいて、モデルを学習する場合があってもよい。この際、学習装置１００は、学習データが少なくても、画像１０１の印象を精度よく推定可能なモデルを学習することができる。

【0028】

ここでは、学習装置１００が、学習データに基づいて、モデルを学習する場合について説明したが、これに限らない。例えば、学習装置１００が、学習データを、他のコンピュータに送信する場合があってもよい。この場合、学習データを受信した他のコンピュータが、受信した学習データに基づいて、モデルを学習することになる。

【0029】

（印象推定システム２００の一例）
次に、図２を用いて、図１に示した学習装置１００を適用した、印象推定システム２００の一例について説明する。

【0030】

図２は、印象推定システム２００の一例を示す説明図である。図２において、印象推定システム２００は、学習装置１００と、１以上のクライアント装置２０１とを含む。

【0031】

印象推定システム２００において、学習装置１００とクライアント装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

【0032】

学習装置１００は、モデルの学習用である画像を取得する。以下の説明では、モデルの学習用である画像を「学習用画像」と表記する場合がある。学習装置１００は、例えば、１以上の学習用画像を、着脱可能な記録媒体から読み込むことにより取得する。また、学習装置１００は、例えば、１以上の学習用画像を、ネットワークを介して受信することにより取得してもよい。また、学習装置１００は、例えば、１以上の学習用画像を、クライアント装置２０１から受信することにより取得してもよい。また、学習装置１００は、例えば、１以上の学習用画像を、学習装置１００のユーザの操作入力に基づき取得してもよい。

【0033】

学習装置１００は、取得した学習用画像に基づいて、学習データを生成し、生成した学習データに基づいて、モデルを学習する。その後、学習装置１００は、対象画像を取得する。対象画像は、例えば、動画像に含まれる１枚の画像であってもよい。学習装置１００は、例えば、対象画像を、クライアント装置２０１から受信することにより取得する。また、学習装置１００は、例えば、対象画像を、学習装置１００のユーザの操作入力に基づき取得してもよい。学習装置１００は、学習したモデルを用いて、取得した対象画像の印象を示すラベルを取得して出力する。出力先は、例えば、クライアント装置２０１である。出力先は、例えば、学習装置１００のディスプレイであってもよい。学習装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0034】

クライアント装置２０１は、学習装置１００と通信可能なコンピュータである。クライアント装置２０１は、対象画像を取得する。クライアント装置２０１は、例えば、対象画像を、クライアント装置２０１のユーザの操作入力に基づき取得する。クライアント装置２０１は、取得した対象画像を、学習装置１００に送信する。クライアント装置２０１は、取得した対象画像を、学習装置１００に送信した結果、取得した対象画像の印象を示すラベルを、学習装置１００から受信する。クライアント装置２０１は、受信した対象画像の印象を示すラベルを出力する。出力先は、例えば、クライアント装置２０１のディスプレイなどである。クライアント装置２０１は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0035】

ここでは、学習装置１００が、クライアント装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、学習装置１００が、クライアント装置２０１としても動作可能である場合があってもよい。この場合、印象推定システム２００は、クライアント装置２０１を含まなくてもよい。

【0036】

また、ここでは、学習装置１００が、学習データを生成し、モデルを学習し、対象画像の印象を示すラベルを取得する場合について説明したが、これに限らない。例えば、複数の装置が、協働し、学習データを生成する処理、モデルを学習する処理、対象画像の印象を示すラベルを取得する処理を分担する場合があってもよい。

【0037】

また、例えば、学習装置１００が、学習したモデルを、クライアント装置２０１に送信し、クライアント装置２０１が、対象画像を取得し、受信したモデルを用いて、取得した対象画像の印象を示すラベルを取得して出力する場合があってもよい。出力先は、例えば、クライアント装置２０１のディスプレイなどである。この場合、学習装置１００は、対象画像を取得しなくてもよいし、クライアント装置２０１は、対象画像を、学習装置１００に送信しなくてもよい。

【0038】

・印象推定システム２００の利用例（その１）
例えば、人が、広告として作成された画像を見た際にどのような印象を受けるのかを推定し、画像の作成者が、広告の訴求効果の向上を図りやすくするサービスを実現するために、印象推定システム２００が利用される場合が考えられる。この場合、クライアント装置２０１は、画像の作成者によって利用される。

【0039】

この場合、例えば、クライアント装置２０１は、画像の作成者の操作入力に基づき、広告として作成された画像を取得し、学習装置１００に送信する。学習装置１００は、学習したモデルを用いて、広告として作成された画像の印象を示すラベルを取得し、クライアント装置２０１に送信する。クライアント装置２０１は、受信した広告として作成された画像の印象を示すラベルを、クライアント装置２０１のディスプレイに表示し、画像の作成者が把握可能にする。これにより、画像の作成者は、広告として作成された画像が、広告を見た人に、画像の作成者が想定した印象を与えられるか否かを判断し、広告の訴求効果の向上を図ることができる。

【0040】

・印象推定システム２００の利用例（その２）
例えば、人が、ウェブサイトを見た際にどのような印象を受けるのかを推定し、ウェブサイトの作成者が、ウェブサイトをデザインしやすくするサービスを実現するために、印象推定システム２００が利用される場合が考えられる。この場合、クライアント装置２０１は、ウェブサイトの作成者によって利用される。

【0041】

この場合、例えば、クライアント装置２０１は、ウェブサイトの作成者の操作入力に基づき、ウェブサイトを写した画像を取得し、学習装置１００に送信する。学習装置１００は、学習したモデルを用いて、ウェブサイトを写した画像の印象を示すラベルを取得し、クライアント装置２０１に送信する。クライアント装置２０１は、受信したウェブサイトを写した画像の印象を示すラベルを、クライアント装置２０１のディスプレイに表示し、ウェブサイトの作成者が把握可能にする。これにより、ウェブサイトの作成者は、ウェブサイトが、ウェブサイトを見た人に、ウェブサイトの作成者が想定した印象を与えられるか否かを判断し、どのようにウェブサイトをデザインすることが好ましいかを検討することができる。

【0042】

・印象推定システム２００の利用例（その３）
例えば、人が、オフィス空間を写した画像を見た際にどのような印象を受けるのかを推定し、オフィス空間をデザインする作業者が、オフィス空間をデザインしやすくするサービスを実現するために、印象推定システム２００が利用される場合が考えられる。この場合、クライアント装置２０１は、オフィス空間をデザインする作業者によって利用される。

【0043】

この場合、例えば、クライアント装置２０１は、作業者の操作入力に基づき、デザイン後のオフィス空間を写した画像を取得し、学習装置１００に送信する。学習装置１００は、学習したモデルを用いて、デザイン後のオフィス空間を写した画像の印象を示すラベルを取得し、クライアント装置２０１に送信する。クライアント装置２０１は、受信したデザイン後のオフィス空間を写した画像の印象を示すラベルを、クライアント装置２０１のディスプレイに表示し、作業者が把握可能にする。これにより、作業者は、オフィス空間が、オフィス空間の訪問者に、作業者が想定した印象を与えられるか否かを判断し、どのようにオフィス空間をデザインすることが好ましいかを検討することができる。

【0044】

・印象推定システム２００の利用例（その４）
例えば、画像の販売者によって、データベースに登録された画像に、当該画像の印象を示すラベルを自動で対応付けておき、画像の購入者が、特定の印象を有する画像を検索するサービスを実現するために、印象推定システム２００が利用される場合が考えられる。この場合、一部のクライアント装置２０１は、画像の販売者によって利用される。また、一部のクライアント装置２０１は、画像の購入者によって利用される。

【0045】

この場合、例えば、画像の販売者に利用されるクライアント装置２０１は、画像の販売者の操作入力に基づき、販売する画像を取得し、学習装置１００に送信する。これに対し、学習装置１００は、学習したモデルを用いて、取得した画像の印象を示すラベルを取得する。学習装置１００は、取得した画像と、取得した画像の印象を示すラベルとを対応付けて、学習装置１００が有するデータベースに登録する。

【0046】

画像の購入者に利用されるクライアント装置２０１は、画像の購入者の操作入力に基づき、検索する条件として、画像の印象を示すラベルを取得し、学習装置１００に送信する。学習装置１００は、受信した画像の印象を示すラベルと対応付けられた画像を、データベースから検索し、発見された画像を、画像の購入者に利用されるクライアント装置２０１に送信する。画像の購入者に利用されるクライアント装置２０１は、受信した画像を、画像の購入者に利用されるクライアント装置２０１のディスプレイに表示し、画像の購入者が把握可能にする。これにより、画像の購入者は、所望の印象を与える画像を参照することができ、書籍の表紙、ケースの飾り、または、資料などに利用することができる。

【0047】

ここでは、画像が有料で販売される場合について説明したが、これに限らない。例えば、画像が無料で配布される場合があってもよい。また、画像の販売者が、画像の印象を示すラベルの他に、キーワードを登録可能であってもよく、画像の購入者が、画像の印象を示すラベルの他に、キーワードを用いて、画像を検索可能であってもよい。

【0048】

（学習装置１００のハードウェア構成例）
次に、図３を用いて、学習装置１００のハードウェア構成例について説明する。

【0049】

図３は、学習装置１００のハードウェア構成例を示すブロック図である。図３において、学習装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0050】

ここで、ＣＰＵ３０１は、学習装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

【0051】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0052】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、学習装置１００から着脱可能であってもよい。

【0053】

学習装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0054】

（クライアント装置２０１のハードウェア構成例）
クライアント装置２０１のハードウェア構成例は、図３に示した、学習装置１００のハードウェア構成例と同様であるため、説明を省略する。

【0055】

（学習装置１００の機能的構成例）
次に、図４を用いて、学習装置１００の機能的構成例について説明する。

【0056】

図４は、学習装置１００の機能的構成例を示すブロック図である。学習装置１００は、記憶部４００と、取得部４０１と、第一の抽出部４０２と、第二の抽出部４０３と、生成部４０４と、分類部４０５と、出力部４０６とを含む。第二の抽出部４０３は、例えば、検出部４１１と、変換部４１２とを含む。

【0057】

記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、学習装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、学習装置１００とは異なる装置に含まれ、記憶部４００の記憶内容が学習装置１００から参照可能である場合があってもよい。

【0058】

取得部４０１～出力部４０６は、制御部の一例として機能する。取得部４０１～出力部４０６は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0059】

記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、入力された特徴ベクトルに対応する画像の印象を示すラベルを出力するモデルを記憶する。モデルは、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）である。モデルは、例えば、木構造のネットワークであってもよい。モデルは、例えば、数式であってもよい。モデルは、例えば、ニューラルネットワークであってもよい。モデルは、例えば、分類部４０５によって参照され、または更新される。印象を示すラベルは、例えば、ａｎｇｅｒ、ｄｉｓｇｕｓｔ、ｆｅａｒ、ｊｏｙ、ｓａｄｎｅｓｓ、ｓｕｒｐｒｉｓｅなどである。ベクトルは、例えば、要素の配列に対応する。

【0060】

記憶部４００は、画像を記憶する。画像は、例えば、写真や絵画などである。画像は、動画像に含まれる１枚の画像であってもよい。記憶部４００は、例えば、学習用画像と、当該学習用画像の印象を示すラベルとを対応付けて記憶する。学習用画像は、モデルの学習用である。学習用画像は、例えば、取得部４０１によって取得され、第一の抽出部４０２と、第二の抽出部４０３とによって参照される。学習用画像の印象を示すラベルは、例えば、取得部４０１によって取得され、分類部４０５によって参照される。記憶部４００は、例えば、対象画像を記憶する。対象画像は、印象を推定する対象となる。対象画像は、例えば、取得部４０１によって取得され、第一の抽出部４０２と、第二の抽出部４０３とによって参照される。

【0061】

取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、例えば、学習装置１００のユーザの操作入力に基づき、各種情報を取得する。取得部４０１は、例えば、学習装置１００とは異なる装置から、各種情報を受信してもよい。

【0062】

取得部４０１は、画像を取得する。取得部４０１は、例えば、学習用画像の印象を示すラベルと対応付けられた、当該学習用画像を取得する。取得部４０１は、具体的には、学習装置１００のユーザの操作入力に基づき、学習用画像の印象を示すラベルと対応付けられた、当該学習用画像を取得する。取得部４０１は、具体的には、学習用画像の印象を示すラベルと対応付けられた、当該学習用画像を、着脱可能な記録媒体３０５から読み込むことにより取得してもよい。取得部４０１は、具体的には、学習用画像の印象を示すラベルと対応付けられた、当該学習用画像を、他のコンピュータから受信することにより取得してもよい。他のコンピュータは、例えば、クライアント装置２０１である。

【0063】

取得部４０１は、例えば、対象画像を取得する。取得部４０１は、具体的には、対象画像を、クライアント装置２０１から受信することにより取得する。取得部４０１は、具体的には、学習装置１００のユーザの操作入力に基づき、対象画像を取得してもよい。取得部４０１は、具体的には、対象画像を、着脱可能な記録媒体３０５から読み込むことにより取得してもよい。

【0064】

取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、学習装置１００のユーザによる所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

【0065】

取得部４０１は、例えば、学習用画像を取得したことを、第一の抽出部４０２と、第二の抽出部４０３との処理の開始トリガーとして受け付ける。取得部４０１は、例えば、対象画像を取得したことを、第一の抽出部４０２と、第二の抽出部４０３との処理の開始トリガーとして受け付ける。

【0066】

第一の抽出部４０２は、取得した画像から、画像全体に関する特徴ベクトルを抽出する。第一の抽出部４０２は、例えば、取得した学習用画像から、学習用画像全体に関する第一の特徴ベクトルを抽出する。第一の抽出部４０２は、具体的には、取得した学習用画像に対して、ＣＮＮによるフィルタ処理を行い、第一の特徴ベクトルを抽出する。ＣＮＮによるフィルタ処理の手法は、例えば、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）やＳＥＮｅｔ（Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ）などである。これにより、第一の抽出部４０２は、生成部４０４が、画像全体に関する特徴ベクトルを参照可能にし、画像を分類する基準となる特徴ベクトルを生成可能にすることができる。

【0067】

第二の抽出部４０３は、取得した画像から、物体に関する特徴ベクトルを抽出する。物体は、例えば、予め、画像から検出する候補として設定される。物体は、複数あってもよい。第二の抽出部４０３は、例えば、取得した学習用画像から、物体に関する第二の特徴ベクトルを抽出する。第二の抽出部４０３は、具体的には、検出部４１１と変換部４１２とを用いて、学習用画像から第二の特徴ベクトルを抽出する。これにより、第二の抽出部４０３は、生成部４０４が、物体に関する特徴ベクトルを参照可能にし、画像を分類する基準となる特徴ベクトルを生成可能にすることができる。

【0068】

検出部４１１は、画像を解析し、画像から１以上の物体のそれぞれの物体を検出する。検出部４１１は、例えば、学習用画像を解析し、学習用画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が学習用画像に写っている確率を算出する。確率は、物体検出の信頼度に対応する。これにより、検出部４１１は、第二の特徴ベクトルを生成するための情報を得ることができる。

【0069】

検出部４１１は、例えば、学習用画像を解析し、学習用画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が学習用画像に写っているか否かを判断する。検出部４１１は、具体的には、学習用画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が学習用画像に写っている確率を算出し、確率が閾値以上の物体を、学習用画像に写っていると判断する。これにより、検出部４１１は、第二の特徴ベクトルを生成するための情報を得ることができる。

【0070】

検出部４１１は、例えば、学習用画像を解析し、学習用画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の学習用画像上の大きさを特定する。検出部４１１は、具体的には、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）やＹＯＬＯ（Ｙｏｕ Ｌｏｏｋ Ｏｎｌｙ Ｏｎｓｅ）などの手法により、学習用画像上の大きさとして、１以上の物体のそれぞれの物体のｂｏｕｎｄｉｎｇ ｂｏｘの大きさを特定する。これにより、検出部４１１は、第二の特徴ベクトルを生成するための情報を得ることができる。

【0071】

検出部４１１は、例えば、学習用画像を解析し、学習用画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の学習用画像上の色特徴を特定する。色特徴は、例えば、カラーヒストグラムである。色は、例えば、ＲＧＢ（Ｒｅｄ・Ｇｒｅｅｎ・Ｂｌｕｅ）形式やＨＳＬ（Ｈｕｅ・Ｓａｔｕｒａｔｉｏｎ・Ｌｉｇｈｔｎｅｓｓ）形式、または、ＨＳＢ（Ｈｕｅ・Ｓａｔｕｒａｔｉｏｎ・Ｂｒｉｇｈｔｎｅｓｓ）形式などで表現される。これにより、検出部４１１は、第二の特徴ベクトルを生成するための情報を得ることができる。

【0072】

変換部４１２は、第二の特徴ベクトルを生成する。変換部４１２は、例えば、算出した確率に基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、それぞれの物体について算出した確率を要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0073】

変換部４１２は、例えば、特定した大きさに基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、それぞれの物体について特定した大きさを要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0074】

変換部４１２は、例えば、特定した色特徴に基づいて、第二の特徴ベクトルを生成する。色特徴は、例えば、カラーヒストグラムである。変換部４１２は、具体的には、それぞれの物体について特定した色特徴を要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0075】

変換部４１２は、例えば、算出した確率と、特定した大きさと、特定した色特徴とのいずれか２つ以上の組み合わせに基づいて、第二の特徴ベクトルを生成してもよい。変換部４１２は、具体的には、それぞれの物体について算出した確率を、それぞれの物体について特定した大きさで重み付けして要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0076】

変換部４１２は、例えば、１以上の物体のうち、学習用画像に写っていると判断した物体の名称に基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、ｗｏｒｄ２ｖｅｃやＧｌｏＶｅ（Ｇｌｏｂａｌ Ｖｅｃｔｏｒｓ ｆｏｒ Ｗｏｒｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）などの手法により、学習用画像に写っていると判断した物体の名称をベクトル変換して並べた、第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0077】

変換部４１２は、例えば、１以上の物体のうち、学習用画像に写っていると判断した物体の学習用画像上の大きさに基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、学習用画像に写っていると判断した物体の名称をベクトル変換し、当該物体について特定した大きさで重み付けして要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0078】

変換部４１２は、例えば、学習用画像に写っていると判断した物体であり、学習用画像上の大きさが一定以上である物体の名称に基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、学習用画像に写っていると判断し、かつ、学習用画像上の大きさが一定以上であると特定した物体の名称をベクトル変換して並べた、第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0079】

変換部４１２は、例えば、１以上の物体のうち、学習用画像に写っていると判断した物体の学習用画像上の色特徴に基づいて、第二の特徴ベクトルを生成する。変換部４１２は、具体的には、学習用画像に写っていると判断した物体の名称をベクトル変換し、当該物体について特定した色特徴に基づいて重み付けして要素として並べた第二の特徴ベクトルを生成する。これにより、変換部４１２は、第三の特徴ベクトルを生成可能にすることができる。

【0080】

生成部４０４は、生成した第一の特徴ベクトルと、生成した第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成する。生成部４０４は、例えば、Ｎ次元の第一の特徴ベクトルに、Ｍ次元の第二の特徴ベクトルを結合することにより、Ｎ＋Ｍ次元の第三の特徴ベクトルを生成する。ここで、Ｎ＝Ｍであってもよい。これにより、生成部４０４は、モデルへの入力サンプルを得ることができる。

【0081】

生成部４０４は、例えば、第一の特徴ベクトルと第二の特徴ベクトルとの要素同士の和または要素同士の積を、第三の特徴ベクトルとして生成する。これにより、生成部４０４は、モデルへの入力サンプルを得ることができる。

【0082】

生成部４０４は、例えば、第一の特徴ベクトルと第二の特徴ベクトルとの要素同士の和および要素同士の積を結合することにより、第三の特徴ベクトルを生成する。これにより、生成部４０４は、モデルへの入力サンプルを得ることができる。

【0083】

分類部４０５は、モデルを学習する。分類部４０５は、例えば、生成した第三の特徴ベクトルに、学習用画像の印象を示すラベルを対応付けた学習データを生成し、生成した学習データに基づいて、モデルを学習する。分類部４０５は、具体的には、生成した第三の特徴ベクトルに、学習用画像の印象を示すラベルを対応付けた学習データを生成する。そして、分類部４０５は、学習データに基づいて、マージン最大化の手法により、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なモデルを学習することができる。

【0084】

分類部４０５は、具体的には、生成した第三の特徴ベクトルに、学習用画像の印象を示すラベルを対応付けた学習データを生成する。そして、分類部４０５は、モデルを用いて、学習データに含まれる第三の特徴ベクトルに対応する印象を示すラベルを特定し、特定したラベルと学習データに含まれるラベルとの比較により、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なモデルを学習することができる。

【0085】

ここでは、第一の抽出部４０２と、第二の抽出部４０３と、生成部４０４と、分類部４０５との動作の一例として、取得部４０１が学習用画像を取得した場合における動作の一例について説明した。次に、第一の抽出部４０２と、第二の抽出部４０３と、生成部４０４と、分類部４０５との動作の一例として、取得部４０１が対象画像を取得した場合における動作の一例について説明する。

【0086】

第一の抽出部４０２は、取得した対象画像から、対象画像全体に関する第四の特徴ベクトルを抽出する。第一の抽出部４０２は、第一の特徴ベクトルと同様に、取得した対象画像から第四の特徴ベクトルを抽出する。これにより、第一の抽出部４０２は、生成部４０４が、画像全体に関する特徴ベクトルを参照可能にし、対象画像を分類する基準となる特徴ベクトルを生成可能にすることができる。

【0087】

第二の抽出部４０３は、取得した対象画像から、物体に関する第五の特徴ベクトルを抽出する。第二の抽出部４０３は、第二の特徴ベクトルと同様に、取得した対象画像から第五の特徴ベクトルを抽出する。これにより、第二の抽出部４０３は、生成部４０４が、物体に関する特徴ベクトルを参照可能にし、対象画像を分類する基準となる特徴ベクトルを生成可能にすることができる。

【0088】

生成部４０４は、抽出した第四の特徴ベクトルと、抽出した第五の特徴ベクトルとを組み合わせて、第六の特徴ベクトルを生成する。生成部４０４は、例えば、第三の特徴ベクトルと同様に、第六の特徴ベクトルを生成する。これにより、生成部４０４は、対象画像を分類する基準となる第六の特徴ベクトルを得ることができる。

【0089】

分類部４０５は、モデルを用いて、取得した対象画像を分類する分類先となるラベルを特定する。分類部４０５は、例えば、モデルを用いて、対象画像を分類する分類先となるラベルとして、生成した第六の特徴ベクトルに対応する印象を示すラベルを特定する。これにより、分類部４０５は、対象画像を精度よく分類することができる。

【0090】

出力部４０６は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０６は、いずれかの機能部の処理結果を、学習装置１００のユーザまたはクライアント装置２０１のユーザに通知可能にし、学習装置１００の利便性の向上を図ることができる。

【0091】

出力部４０６は、例えば、学習したモデルを出力する。出力部４０６は、具体的には、学習したモデルを他のコンピュータに送信する。これにより、出力部４０６は、学習したモデルを他のコンピュータで利用可能にすることができる。このため、他のコンピュータは、モデルを用いて、対象画像を精度よく分類することができる。

【0092】

出力部４０６は、例えば、特定した対象画像を分類する分類先となるラベルを出力する。出力部４０６は、具体的には、特定した対象画像を分類する分類先となるラベルを、ディスプレイに表示する。これにより、出力部４０６は、対象画像を分類する分類先となるラベルを利用可能にすることができる。このため、学習装置１００のユーザは、対象画像を分類する分類先となるラベルを参照することができる。

【0093】

ここでは、第一の抽出部４０２と第二の抽出部４０３と生成部４０４と分類部４０５とが、学習用画像と対象画像とについて所定の処理を行う場合について説明したが、これに限らない。例えば、第一の抽出部４０２と第二の抽出部４０３と生成部４０４と分類部４０５とが、対象画像について所定の処理を行わない場合があってもよい。この場合、他のコンピュータが、対象画像について所定の処理を行うようにしてもよい。

【0094】

（学習装置１００の動作例）
次に、図５～図１９を用いて、学習装置１００の動作例について説明する。具体的には、まず、図５～図１０を用いて、学習装置１００がモデルを学習する際に用いられる学習用画像の一例について説明する。

【0095】

図５は、印象を示すラベルａｎｇｅｒと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルａｎｇｅｒは、人が画像を見た際の印象が怒りである傾向があることを示す。以下の説明では、印象を示すラベルａｎｇｅｒと対応付けられた学習用画像を「ａｎｇｅｒ画像」と表記する場合がある。

【0096】

図５において、画像５００は、ａｎｇｅｒ画像の一例であり、具体的には、血の付いた刃物を持った人物を写した画像である。他に、ａｎｇｅｒ画像としては、具体的には、口論や喧嘩、戦争、または、暴動などのシーンを写した画像が考えられる。また、ａｎｇｅｒ画像としては、具体的には、雷、竜巻、洪水などの擬人的な自然の怒りを写した画像が考えられる。次に、図６の説明に移行する。

【0097】

図６は、印象を示すラベルｄｉｓｇｕｓｔと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルｄｉｓｇｕｓｔは、人が画像を見た際の印象が嫌悪である傾向があることを示す。以下の説明では、印象を示すラベルｄｉｓｇｕｓｔと対応付けられた学習用画像を「ｄｉｓｇｕｓｔ画像」と表記する場合がある。

【0098】

図６において、画像６００は、ｄｉｓｇｕｓｔ画像の一例であり、具体的には、虫食いの果物を写した画像である。他に、ｄｉｓｇｕｓｔ画像としては、具体的には、虫や死体などを写した画像が考えられる。また、ｄｉｓｇｕｓｔ画像としては、具体的には、汚い人や物、場所などを写した画像が考えられる。次に、図７の説明に移行する。

【0099】

図７は、印象を示すラベルｆｅａｒと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルｆｅａｒは、人が画像を見た際の印象が恐怖である傾向があることを示す。以下の説明では、印象を示すラベルｆｅａｒと対応付けられた学習用画像を「ｆｅａｒ画像」と表記する場合がある。

【0100】

図７において、画像７００は、ｆｅａｒ画像の一例であり、怪物の手のシルエットを写した画像である。他に、ｆｅａｒ画像としては、具体的には、ビルの屋上などの高所から下方向を写した画像が考えられる。また、ｆｅａｒ画像としては、具体的には、虫、怪物、または、骸骨などを写した画像が考えられる。次に、図８の説明に移行する。

【0101】

図８は、印象を示すラベルｊｏｙと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルｊｏｙは、人が画像を見た際の印象が喜や楽である傾向があることを示す。以下の説明では、印象を示すラベルｊｏｙと対応付けられた学習用画像を「ｊｏｙ画像」と表記する場合がある。

【0102】

図８において、画像８００は、ｊｏｙ画像の一例であり、木に留まった鳥を写した画像である。他に、ｊｏｙ画像としては、具体的には、花や宝石、または、子供などを写した画像が考えられる。また、ｊｏｙ画像としては、具体的には、レジャーシーンを写した画像が考えられる。また、ｊｏｙ画像としては、具体的には、色調がブライトトーンである画像が考えられる。次に、図９の説明に移行する。

【0103】

図９は、印象を示すラベルｓａｄｎｅｓｓと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルｓａｄｎｅｓｓは、人が画像を見た際の印象が悲や哀である傾向があることを示す。以下の説明では、印象を示すラベルｓａｄｎｅｓｓと対応付けられた学習用画像を「ｓａｄｎｅｓｓ画像」と表記する場合がある。

【0104】

図９において、画像９００は、ｓａｄｎｅｓｓ画像の一例であり、色調がダークトーンであり、水滴が付いた葉を写した画像である。他に、ｓａｄｎｅｓｓ画像としては、具体的には、悲しんでいる人を写した画像が考えられる。また、ｓａｄｎｅｓｓ画像としては、具体的には、悲しんでいる人を模した像を写した画像が考えられる。また、ｓａｄｎｅｓｓ画像としては、具体的には、災害の痕跡を写した画像が考えられる。次に、図１０の説明に移行する。

【0105】

図１０は、印象を示すラベルｓｕｒｐｒｉｓｅと対応付けられた学習用画像の一例を示す説明図である。印象を示すラベルｓｕｒｐｒｉｓｅは、人が画像を見た際の印象が驚愕である傾向があることを示す。以下の説明では、印象を示すラベルｓｕｒｐｒｉｓｅと対応付けられた学習用画像を「ｓｕｒｐｒｉｓｅ画像」と表記する場合がある。

【0106】

図１０において、画像１０００は、ｓｕｒｐｒｉｓｅ画像の一例であり、便座の蓋を開けたら蛙が居たシーンを写した画像である。他に、ｓｕｒｐｒｉｓｅ画像としては、具体的には、花畑などの自然を写した画像、または、動物を写した画像などが考えられる。また、ｓｕｒｐｒｉｓｅ画像としては、具体的には、アクシデントのシーンを写した画像が考えられる。また、ｓｕｒｐｒｉｓｅ画像としては、具体的には、プロポーズ用の指輪などのプレゼントを写した画像が考えられる。

【0107】

（モデルを学習する一例）
次に、図１１～図１８を用いて、学習用画像を用いて、学習装置１００がモデルを学習する一例について説明する。

【0108】

図１１～図１８は、モデルを学習する一例を示す説明図である。図１１において、（１１－１）学習装置１００は、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。学習装置１００は、例えば、印象を示すラベルｊｏｙと対応付けられた画像８００を、クライアント装置から受信する。

【0109】

（１１－２）学習装置１００は、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。第一の抽出部４０２は、例えば、ＳＥＮｅｔを組み込んだＲｅｓＮｅｔ５０により、画像８００全体に関する第一の特徴ベクトルを生成する。第一の特徴ベクトルは、例えば、３００次元である。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0110】

（１１－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。検出する候補となる物体は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどである。

【0111】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出する。また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0112】

（１１－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0113】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を要素として並べた１４４６次元の特徴ベクトルを生成する。そして、変換部４１２は、生成した１４４６次元の特徴ベクトルを、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）で３００次元の特徴ベクトルに変換し、正規化し、第二の特徴ベクトルに設定する。

【0114】

ＰＣＡは、分散が比較的大きい３００個の次元が、変換先の次元として設定される。ＰＣＡは、例えば、所定のデータセットに基づき、３００個の次元が設定される。所定のデータセットは、例えば、既存のデータセットである。所定のデータセットは、例えば、複数の学習用画像のそれぞれの学習用画像から得られる１４４６次元の特徴ベクトルであってもよい。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0115】

（１１－５）学習装置１００は、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。生成部４０４は、例えば、３００次元の第一の特徴ベクトルと、３００次元の第二の特徴ベクトルとを結合し、６００次元の第三の特徴ベクトルを生成する。

【0116】

（１１－６）学習装置１００は、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。モデルは、例えば、ＳＶＭである。正解のラベルは、画像８００と対応付けられた印象を示すラベルｊｏｙである。分類部４０５は、例えば、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、マージン最大化の手法により、生成した学習データに基づいて、ＳＶＭを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0117】

次に、図１２の説明に移行し、学習装置１００が、図１１の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0118】

図１２において、（１２－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0119】

（１２－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0120】

（１２－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0121】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている大きさ３５％を特定する。ここでは、大きさは、例えば、画像８００全体のうち物体が写っている部分の占める割合として特定される。また、大きさは、例えば、画像８００上に同じ物体が複数写っている場合、それぞれの物体が写っている大きさの統計値として特定されてもよい。統計値は、例えば、最大値、平均値、合計値などである。

【0122】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている大きさ２５％を特定する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている大きさを、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0123】

（１２－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0124】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている大きさを要素として並べた１４４６次元の特徴ベクトルを生成する。そして、変換部４１２は、生成した１４４６次元の特徴ベクトルを、ＰＣＡで３００次元の特徴ベクトルに変換し、正規化し、第二の特徴ベクトルに設定する。ＰＣＡは、分散が比較的大きい３００個の次元が、変換先の次元として設定される。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0125】

（１２－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0126】

（１２－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0127】

次に、図１３の説明に移行し、学習装置１００が、図１１および図１２の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0128】

図１３において、（１３－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0129】

（１３－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0130】

（１３－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0131】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出し、ｂｉｒｄが画像８００に写っている大きさ３５％を特定する。

【0132】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出し、ｌｅａｆが画像８００に写っている大きさ２５％を特定する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率および大きさを、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0133】

（１３－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0134】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率に、画像８００に写っている大きさで重み付けし、要素として並べた１４４６次元の特徴ベクトルを生成する。変換部４１２は、具体的には、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率に、画像８００に写っている大きさを乗算し、要素として並べた１４４６次元の特徴ベクトルを生成する。

【0135】

そして、変換部４１２は、生成した１４４６次元の特徴ベクトルを、ＰＣＡで３００次元の特徴ベクトルに変換し、第二の特徴ベクトルに設定する。ＰＣＡは、分散が比較的大きい３００個の次元が、変換先の次元として設定される。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0136】

（１３－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0137】

（１３－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0138】

次に、図１４の説明に移行し、学習装置１００が、図１１～図１３の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0139】

図１４において、（１４－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0140】

（１４－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0141】

（１４－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0142】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出し、部分１１０１の色特徴を特定する。色特徴は、例えば、カラーヒストグラムで表現される。カラーヒストグラムは、例えば、色の多さを表す棒グラフである。カラーヒストグラムは、具体的には、グラフ１４０１，１４０２に示すように、それぞれの輝度の色の多さを表す棒グラフである。

【0143】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出し、部分１１０２の色特徴を特定する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0144】

（１４－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0145】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率に、色特徴に基づいて重み付けし、要素として並べた１４４６次元の特徴ベクトルを生成する。変換部４１２は、具体的には、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率に、ピーク値を取る輝度を乗算し、要素として並べた１４４６次元の特徴ベクトルを生成する。

【0146】

そして、変換部４１２は、生成した１４４６次元の特徴ベクトルを、ＰＣＡで３００次元の特徴ベクトルに変換し、第二の特徴ベクトルに設定する。ＰＣＡは、分散が比較的大きい３００個の次元が、変換先の次元として設定される。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0147】

（１４－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0148】

（１４－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0149】

次に、図１５の説明に移行し、学習装置１００が、図１１～図１４の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0150】

図１５において、（１５－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0151】

（１５－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0152】

（１５－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0153】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出する。

【0154】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0155】

（１５－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0156】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、要素として並べた１４４６次元の特徴ベクトルを生成し、第二の特徴ベクトルに設定する。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0157】

（１５－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0158】

（１５－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0159】

次に、図１６の説明に移行し、学習装置１００が、図１１～図１５の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0160】

図１６において、（１６－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0161】

（１６－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0162】

（１６－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0163】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている大きさ３５％を特定する。

【0164】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている大きさ２５％を特定する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている大きさを、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0165】

（１６－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0166】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている大きさを、要素として並べた１４４６次元の特徴ベクトルを生成し、第二の特徴ベクトルに設定する。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0167】

（１６－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0168】

（１６－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0169】

次に、図１７の説明に移行し、学習装置１００が、図１１～図１６の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0170】

図１７において、（１７－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0171】

（１７－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0172】

（１７－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0173】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出する。

【0174】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0175】

（１７－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0176】

変換部４１２は、例えば、画像８００に写っている確率が閾値以上であるｂｉｒｄおよびｌｅａｆを特定する。変換部４１２は、特定したｂｉｒｄおよびｌｅａｆを、ｗｏｒｄ２ｖｅｃにより３００次元の特徴ベクトルに変換する。変換部４１２は、変換した特徴ベクトルの和を、第二の特徴ベクトルに設定する。

【0177】

また、変換部４１２は、例えば、画像８００に写っている確率が最大であるｌｅａｆを、ｗｏｒｄ２ｖｅｃにより３００次元の特徴ベクトルに変換し、第二の特徴ベクトルに設定する場合があってもよい。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0178】

（１７－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0179】

（１７－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0180】

次に、図１８の説明に移行し、学習装置１００が、図１１～図１７の説明とは異なる手法で、第二の特徴ベクトルを生成する場合について説明する。

【0181】

図１８において、（１８－１）学習装置１００は、（１１－１）と同様に、学習用画像として、印象を示すラベルｊｏｙと対応付けられた画像８００を取得する。

【0182】

（１８－２）学習装置１００は、（１１－２）と同様に、第一の抽出部４０２により、画像８００から、画像８００全体に関する第一の特徴ベクトルを生成する。これにより、学習装置１００は、画像８００全体の特徴を表す第一の特徴ベクトルを得ることができる。

【0183】

（１８－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。

【0184】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている大きさ３５％を特定する。

【0185】

また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている大きさ２５％を特定する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている大きさを、０％に設定する。これにより、学習装置１００は、複数の物体の組み合わせの印象も考慮しやすくすることができる。

【0186】

（１８－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第二の特徴ベクトルを生成する。

【0187】

変換部４１２は、例えば、画像８００に写っている大きさが一定以上であるｂｉｒｄおよびｌｅａｆを特定する。変換部４１２は、特定したｂｉｒｄおよびｌｅａｆを、ｗｏｒｄ２ｖｅｃにより３００次元の特徴ベクトルに変換する。変換部４１２は、変換した特徴ベクトルの和を、第二の特徴ベクトルに設定する。

【0188】

また、変換部４１２は、例えば、画像８００に写っている大きさが最大であるｂｉｒｄを、ｗｏｒｄ２ｖｅｃにより３００次元の特徴ベクトルに変換し、第二の特徴ベクトルに設定する場合があってもよい。これにより、学習装置１００は、画像８００の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0189】

（１８－５）学習装置１００は、（１１－５）と同様に、生成部４０４により、第一の特徴ベクトルと第二の特徴ベクトルとを結合する。

【0190】

（１８－６）学習装置１００は、（１１－６）と同様に、分類部４０５により、第三の特徴ベクトルに、正解のラベルを対応付けた学習データを生成し、学習データに基づいて、モデルを更新する。これにより、学習装置１００は、画像の印象を精度よく推定可能なように、モデルを更新することができる。

【0191】

ここでは、図１１～図１８を用いて、変換部４１２が、第二の特徴ベクトルを算出する複数の手法について説明したが、これに限らない。例えば、変換部４１２は、物体ごとの画像に写っている確率と、物体ごとの画像に写っている大きさと、物体ごとの画像に写っている部分の色特徴とのいずれか２つ以上の組み合わせに基づいて、第二の特徴ベクトルを算出する場合があってもよい。

【0192】

また、例えば、変換部４１２が、物体ごとの画像に写っている位置に基づいて、第二の特徴ベクトルを算出する場合があってもよい。この場合、具体的には、変換部４１２は、物体ごとに、画像に写っている位置が中央に近いほど、画像に写っている確率に大きい重みを付けて、要素として並べて、第二の特徴ベクトルを算出することが考えられる。

【0193】

また、例えば、変換部４１２が、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどのピーク値を取る輝度をそのまま、要素として並べた１４４６次元の特徴ベクトルを、第二の特徴ベクトルに設定する場合があってもよい。

【0194】

（対象画像の印象を推定する一例）
次に、図１９を用いて、図１１で学習したモデルを用いて、学習装置１００が対象画像の印象を推定する一例について説明する。

【0195】

図１９は、対象画像の印象を推定する一例を示す説明図である。図１９において、（１９－１）学習装置１００は、対象画像として、画像８００を取得する。学習装置１００は、クライアント装置２０１から、画像８００を受信する。

【0196】

（１９－２）学習装置１００は、第一の抽出部４０２により、画像８００から、画像８００全体に関する第四の特徴ベクトルを生成する。第一の抽出部４０２は、例えば、ＳＥＮｅｔを組み込んだＲｅｓＮｅｔ５０により、画像８００全体に関する第四の特徴ベクトルを生成する。第四の特徴ベクトルは、例えば、３００次元である。これにより、学習装置１００は、画像８００全体の特徴を表す第四の特徴ベクトルを得ることができる。

【0197】

（１９－３）学習装置１００は、第二の抽出部４０３に含まれる検出部４１１により、画像８００から、検出する候補となる１４４６個の物体のそれぞれの物体を検出し、検出した結果を変換部４１２に出力する。検出する候補となる物体は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどである。

【0198】

検出部４１１は、例えば、ＩｍａｇｅＮｅｔで学習済みの物体検出手法を用いて、画像８００の部分１１０１からｂｉｒｄを検出し、ｂｉｒｄが画像８００に写っている確率９０％を算出する。また、検出部４１１は、同様に、画像８００の部分１１０２からｌｅａｆを検出し、ｌｅａｆが画像８００に写っている確率９５％を算出する。この際、検出部４１１は、検出されなかったｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を、０％に設定する。

【0199】

（１９－４）学習装置１００は、第二の抽出部４０３に含まれる変換部４１２により、検出した結果に基づいて、物体に関する第五の特徴ベクトルを生成する。

【0200】

変換部４１２は、例えば、ｂｉｒｄ、ｌｅａｆ、ｈｕｍａｎ、ｃａｒ、ａｎｉｍａｌなどが画像８００に写っている確率を要素として並べた１４４６次元の特徴ベクトルを生成する。そして、変換部４１２は、生成した１４４６次元の特徴ベクトルを、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）で３００次元の特徴ベクトルに変換し、正規化し、第五の特徴ベクトルに設定する。ＰＣＡは、分散が比較的大きい３００個の次元が、変換先の次元として設定される。これにより、学習装置１００は、画像８００の部分的な特徴を表す第五の特徴ベクトルを得ることができる。

【0201】

（１９－５）学習装置１００は、生成部４０４により、第四の特徴ベクトルと第五の特徴ベクトルとを結合する。生成部４０４は、例えば、３００次元の第四の特徴ベクトルと、３００次元の第五の特徴ベクトルとを結合し、６００次元の第六の特徴ベクトルを生成する。

【0202】

（１９－６）学習装置１００は、分類部４０５により、モデルを用いて、第六の特徴ベクトルに対応する、対象画像の印象を示すラベルを特定する。モデルは、例えば、ＳＶＭである。分類部４０５は、例えば、モデルに第六の特徴ベクトルを入力し、モデルが出力する印象を示すラベルｊｏｙを取得し、対象画像の印象を示すラベルとして特定する。これにより、学習装置１００は、画像の印象を精度よく推定することができる。

【0203】

学習装置１００は、特定した対象画像の印象を示すラベルを、クライアント装置２０１のディスプレイに表示させる。次に、図２０を用いて、学習装置１００が、特定した対象画像の印象を示すラベルを、クライアント装置２０１のディスプレイに表示させる一例について説明する。

【0204】

（対象画像の印象を示すラベルの表示例）
図２０は、対象画像の印象を示すラベルの表示例を示す説明図である。図２０において、学習装置１００は、例えば、クライアント装置２０１から対象画像として画像８００を取得した場合、特定した印象を示すラベルｊｏｙをクライアント装置２０１に送信し、画面２００１を表示させる。画面２００１は、対象画像である画像８００と、特定した印象を示すラベルｊｏｙを通知する表示欄２００２とを含む。これにより、学習装置１００は、特定した印象を示すラベルｊｏｙを、クライアント装置２０１のユーザに把握可能にすることができる。

【0205】

また、学習装置１００は、例えば、クライアント装置２０１から対象画像として画像９００を取得した場合、特定した印象を示すラベルｓａｄｎｅｓｓをクライアント装置２０１に送信し、画面２００３を表示させる。画面２００３は、対象画像である画像９００と、特定した印象を示すラベルｓａｄｎｅｓｓを通知する表示欄２００４とを含む。これにより、学習装置１００は、特定した印象を示すラベルｓａｄｎｅｓｓを、クライアント装置２０１のユーザに把握可能にすることができる。

【0206】

ここでは、学習装置１００が、図１１で学習したモデルを用いて、画像の印象を推定する場合について説明したが、これに限らない。例えば、学習装置１００が、図１２～図１８で学習したいずれかのモデルを用いる場合があってもよい。

【0207】

（学習処理手順）
次に、図２１を用いて、学習装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0208】

図２１は、学習処理手順の一例を示すフローチャートである。図２１において、学習装置１００は、印象を示すラベルが対応付けられた学習用画像を取得する（ステップＳ２１０１）。

【0209】

次に、学習装置１００は、取得した学習用画像から、学習用画像全体に関する特徴ベクトルを抽出する（ステップＳ２１０２）。そして、学習装置１００は、学習用画像全体に関する特徴ベクトルの次元数を削減し、第一の特徴ベクトルに設定する（ステップＳ２１０３）。

【0210】

次に、学習装置１００は、検出する候補に設定された複数の物体のうち、取得した学習用画像に写っている物体を検出する（ステップＳ２１０４）。そして、学習装置１００は、検出する候補に設定された複数の物体のうち、学習用画像に写っている確率が閾値以上である物体があるか否かを判定する（ステップＳ２１０５）。

【0211】

ここで、学習用画像に写っている確率が閾値以上である物体がない場合（ステップＳ２１０５：Ｎｏ）、学習装置１００は、所定のベクトルを、第二の特徴ベクトルに設定する（ステップＳ２１０６）。そして、学習装置１００は、ステップＳ２１１１の処理に移行する。一方で、学習用画像に写っている確率が閾値以上である物体がある場合（ステップＳ２１０５：Ｙｅｓ）、学習装置１００は、ステップＳ２１０７の処理に移行する。

【0212】

ステップＳ２１０７では、学習装置１００は、学習用画像に写っている確率が閾値以上であるそれぞれの物体のｗｏｒｄをベクトル変換する（ステップＳ２１０７）。そして、学習装置１００は、複数のｗｏｒｄをベクトル変換したか否かを判定する（ステップＳ２１０８）。

【0213】

ここで、複数のｗｏｒｄをベクトル変換していない場合（ステップＳ２１０８：Ｎｏ）、学習装置１００は、ｗｏｒｄをベクトル変換して得たベクトルを、第二の特徴ベクトルに設定する（ステップＳ２１０９）。そして、学習装置１００は、ステップＳ２１１１の処理に移行する。

【0214】

一方で、複数のｗｏｒｄをベクトル変換している場合（ステップＳ２１０８：Ｙｅｓ）、学習装置１００は、複数のｗｏｒｄをベクトル変換して得たベクトルを加算し、加算後のベクトルを、第二の特徴ベクトルに設定する（ステップＳ２１１０）。そして、学習装置１００は、ステップＳ２１１１の処理に移行する。

【0215】

ステップＳ２１１１では、学習装置１００は、第一の特徴ベクトルと第二の特徴ベクトルとを結合し、第三の特徴ベクトルを生成する（ステップＳ２１１１）。そして、学習装置１００は、第三の特徴ベクトルを、取得した学習用画像に対応付けられた印象を示すラベルと対応付けて、学習データを生成する（ステップＳ２１１２）。

【0216】

次に、学習装置１００は、生成した学習データに基づいて、モデルを学習する（ステップＳ２１１３）。そして、学習装置１００は、学習処理を終了する。これにより、学習装置１００は、画像の印象を精度よく推定可能なモデルを学習することができる。

【0217】

ここでは、学習装置１００が、１つの学習用画像を基に生成した第三のベクトルを用いて、モデルを学習する場合について説明したが、これに限らない。例えば、学習装置１００は、学習用画像が複数ある場合、それぞれの学習用画像を基に学習処理を実行し、モデルを更新することを繰り返してもよい。

【0218】

（推定処理手順）
次に、図２２を用いて、学習装置１００が実行する、推定処理手順の一例について説明する。推定処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0219】

図２２は、推定処理手順の一例を示すフローチャートである。図２２において、学習装置１００は、対象画像を取得する（ステップＳ２２０１）。

【0220】

次に、学習装置１００は、取得した対象画像から、対象画像全体に関する特徴ベクトルを抽出する（ステップＳ２２０２）。そして、学習装置１００は、対象画像全体に関する特徴ベクトルの次元数を削減し、第四の特徴ベクトルに設定する（ステップＳ２２０３）。

【0221】

次に、学習装置１００は、検出する候補に設定された複数の物体のうち、取得した対象画像に写っている物体を検出する（ステップＳ２２０４）。そして、学習装置１００は、検出する候補に設定された複数の物体のうち、学習用画像に写っている確率が閾値以上である物体があるか否かを判定する（ステップＳ２２０５）。

【0222】

ここで、学習用画像に写っている確率が閾値以上である物体がない場合（ステップＳ２２０５：Ｎｏ）学習装置１００は、所定のベクトルを、第五の特徴ベクトルに設定する（ステップＳ２２０６）。そして、学習装置１００は、ステップＳ２２１１の処理に移行する。一方で、学習用画像に写っている確率が閾値以上である物体がある場合（ステップＳ２２０５：Ｙｅｓ）、学習装置１００は、ステップＳ２２０７の処理に移行する。

【0223】

ステップＳ２２０７では、学習装置１００は、学習用画像に写っている確率が閾値以上であるそれぞれの物体のｗｏｒｄをベクトル変換する（ステップＳ２２０７）。そして、学習装置１００は、複数のｗｏｒｄをベクトル変換したか否かを判定する（ステップＳ２２０８）。

【0224】

ここで、複数のｗｏｒｄをベクトル変換していない場合（ステップＳ２２０８：Ｎｏ）、学習装置１００は、ｗｏｒｄをベクトル変換して得たベクトルを、第五の特徴ベクトルに設定する（ステップＳ２２０９）。そして、学習装置１００は、ステップＳ２２１１の処理に移行する。

【0225】

一方で、複数のｗｏｒｄをベクトル変換している場合（ステップＳ２２０８：Ｙｅｓ）、学習装置１００は、複数のｗｏｒｄをベクトル変換して得たベクトルを加算し、加算後のベクトルを、第五の特徴ベクトルに設定する（ステップＳ２２１０）。そして、学習装置１００は、ステップＳ２２１１の処理に移行する。

【0226】

ステップＳ２２１１では、学習装置１００は、第四の特徴ベクトルと第五の特徴ベクトルとを結合し、第六の特徴ベクトルを生成する（ステップＳ２２１１）。そして、学習装置１００は、第六の特徴ベクトルをモデルに入力し、印象を示すラベルを取得する（ステップＳ２２１２）。

【0227】

次に、学習装置１００は、取得した印象を示すラベルを出力する（ステップＳ２２１３）。そして、学習装置１００は、推定処理を終了する。これにより、学習装置１００は、画像の印象を精度よく推定することができ、画像の印象を推定した結果を利用可能にすることができる。

【0228】

ここで、学習装置１００は、図２１および図２２の各フローチャートの一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ２１０２，Ｓ２１０３の処理と、ステップＳ２１０４～Ｓ２１１０の処理との順序は入れ替え可能である。同様に、例えば、ステップＳ２２０２，Ｓ２２０３の処理と、ステップＳ２２０４～Ｓ２２１０の処理との順序は入れ替え可能である。

【0229】

以上説明したように、学習装置１００によれば、画像を取得することができる。学習装置１００によれば、取得した画像から、画像全体に関する第一の特徴ベクトルを抽出することができる。学習装置１００によれば、取得した画像から、物体に関する第二の特徴ベクトルを抽出することができる。学習装置１００によれば、抽出した第一の特徴ベクトルと、抽出した第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成することができる。学習装置１００によれば、生成した第三の特徴ベクトルに、画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習することができる。これにより、学習装置１００は、画像の印象を精度よく推定可能なモデルを学習することができる。

【0230】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が画像に写っている確率を算出することができる。学習装置１００によれば、算出した確率に基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0231】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が画像に写っているか否かを判断することができる。学習装置１００によれば、１以上の物体のうち、画像に写っていると判断した物体の名称に基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0232】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の画像上の大きさを特定することができる。学習装置１００によれば、特定した大きさに基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0233】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が画像に写っているか否かを判断することができる。学習装置１００によれば、１以上の物体のうち、画像に写っていると判断した物体の画像上の大きさを特定することができる。学習装置１００によれば、特定した大きさに基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0234】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の画像上の色特徴を特定することができる。学習装置１００によれば、特定した色特徴に基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0235】

学習装置１００によれば、画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が画像に写っているか否かを判断することができる。学習装置１００によれば、１以上の物体のうち、画像に写っていると判断した物体の画像上の色特徴を特定することができる。学習装置１００によれば、特定した色特徴に基づいて、第二の特徴ベクトルを抽出することができる。これにより、学習装置１００は、画像の部分的な特徴を表す第二の特徴ベクトルを得ることができる。

【0236】

学習装置１００によれば、Ｎ次元の第一の特徴ベクトルに、Ｍ次元の第二の特徴ベクトルを結合し、Ｎ＋Ｍ次元の第三の特徴ベクトルを生成することができる。これにより、学習装置１００は、画像の全体の特徴と、画像の部分的な特徴とを表すように、第三の特徴ベクトルを生成することができる。

【0237】

学習装置１００によれば、対象画像を取得することができる。学習装置１００によれば、取得した対象画像から、対象画像全体に関する第四の特徴ベクトルを抽出することができる。学習装置１００によれば、取得した対象画像から、物体に関する第五の特徴ベクトルを抽出することができる。学習装置１００によれば、抽出した第四の特徴ベクトルと、抽出した第五の特徴ベクトルとを組み合わせて、第六の特徴ベクトルを生成することができる。学習装置１００によれば、学習したモデルを用いて、生成した第六の特徴ベクトルに対応する印象を示すラベルを出力することができる。これにより、学習装置１００は、対象画像の印象を精度よく推定することができる。

【0238】

学習装置１００によれば、モデルとして、サポートベクターマシンを用いることができる。これにより、学習装置１００は、モデルを用いて、画像の印象を精度よく推定可能にすることができる。

【0239】

なお、本実施の形態で説明した学習方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した学習プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した学習プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0240】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0241】

（付記１）画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像から、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする学習方法。

【0242】

（付記２）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っている確率を算出し、算出した前記確率に基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１に記載の学習方法。

【0243】

（付記３）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の名称に基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１または２に記載の学習方法。

【0244】

（付記４）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の前記画像上の大きさを特定し、特定した前記大きさに基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１～３のいずれか一つに記載の学習方法。

【0245】

（付記５）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の前記画像上の大きさを特定し、特定した前記大きさに基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１～４のいずれか一つに記載の学習方法。

【0246】

（付記６）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体の前記画像上の色特徴を特定し、特定した前記色特徴に基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１～５のいずれか一つに記載の学習方法。

【0247】

（付記７）前記第二の特徴ベクトルを抽出する処理は、
前記画像を解析した結果に基づいて、１以上の物体のそれぞれの物体が前記画像に写っているか否かを判断し、前記１以上の物体のうち、前記画像に写っていると判断した物体の前記画像上の色特徴を特定し、特定した前記色特徴に基づいて、前記第二の特徴ベクトルを抽出する、ことを特徴とする付記１～６のいずれか一つに記載の学習方法。

【0248】

（付記８）前記第三の特徴ベクトルを生成する処理は、
Ｎ次元の前記第一の特徴ベクトルに、Ｍ次元の前記第二の特徴ベクトルを結合し、Ｎ＋Ｍ次元の前記第三の特徴ベクトルを生成する、ことを特徴とする付記１～７のいずれか一つに記載の学習方法。

【0249】

（付記９）対象画像を取得し、
取得した前記対象画像から、前記対象画像全体に関する第四の特徴ベクトルを抽出し、
取得した前記対象画像から、物体に関する第五の特徴ベクトルを抽出し、
抽出した前記第四の特徴ベクトルと、抽出した前記第五の特徴ベクトルとを組み合わせて、第六の特徴ベクトルを生成し、
学習した前記モデルを用いて、生成した前記第六の特徴ベクトルに対応する印象を示すラベルを出力する、
処理を前記コンピュータが実行することを特徴とする付記１～８のいずれか一つに記載の学習方法。

【0250】

（付記１０）前記モデルは、サポートベクターマシンである、ことを特徴とする付記１～９のいずれか一つに記載の学習方法。

【0251】

（付記１１）画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像から、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【0252】

（付記１２）画像を取得し、
取得した前記画像から、前記画像全体に関する第一の特徴ベクトルを抽出し、
取得した前記画像から、物体に関する第二の特徴ベクトルを抽出し、
抽出した前記第一の特徴ベクトルと、抽出した前記第二の特徴ベクトルとを組み合わせて、第三の特徴ベクトルを生成し、
生成した前記第三の特徴ベクトルに、前記画像の印象を示すラベルを対応付けた学習データに基づいて、入力された特徴ベクトルに対応する印象を示すラベルを出力するモデルを学習する、
制御部を有することを特徴とする学習装置。

【符号の説明】

【0253】

１００ 学習装置
１０１，５００，６００，７００，８００，９００，１０００ 画像
１１１～１１３ 特徴ベクトル
２００ 印象推定システム
２０１ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 記憶部
４０１ 取得部
４０２ 第一の抽出部
４０３ 第二の抽出部
４０４ 生成部
４０５ 分類部
４０６ 出力部
４１１ 検出部
４１２ 変換部
１１０１，１１０２ 部分
１４０１，１４０２ グラフ
２００１，２００３ 画面
２００２，２００４ 表示欄

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】