特許 6184033 感性評価装置、感性評価方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6184033

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】感性評価装置、感性評価方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170814BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/00 130

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2015-20712(P2015-20712)

(22)【出願日】2015年2月4日

(65)【公開番号】特開2016-143355(P2016-143355A)

(43)【公開日】2016年8月8日

【審査請求日】2015年2月4日

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100108578

【弁理士】

【氏名又は名称】高橋 詔男

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(72)【発明者】

【氏名】長森 藤江

(72)【発明者】

【氏名】中江 俊博

(72)【発明者】

【氏名】長谷川 将平

(72)【発明者】

【氏名】井前 麻理子

(72)【発明者】

【氏名】宮下 直也

(72)【発明者】

【氏名】木全 英明

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 特開平１０−０６３８５９（ＪＰ，Ａ）

【文献】 特開２０１４−１５３９０６（ＪＰ，Ａ）

【文献】 特開２０１５−１４９０３０（ＪＰ，Ａ）

【文献】 特表２００９−５０３６５７（ＪＰ，Ａ）

【文献】 特開２００８−０３３６５４（ＪＰ，Ａ）

【文献】 特開２００９−２５２２４３（ＪＰ，Ａ）

【文献】 特開２０１４−０２３０８６（ＪＰ，Ａ）

【文献】 特開２００２−１７５５２７（ＪＰ，Ａ）

【文献】 特開２００２−１８９９２５（ＪＰ，Ａ）

【文献】 特開２０１１−１９９５９８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成する認識処理部と、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付ける入力部と、
前記認識処理部が前記学習画像に対して認識処理を行った場合に、前記入力部に入力された評価値を前記認識結果として出力するように、前記認識処理部の処理パラメータを学習する学習処理部と、
ユーザに提示する画像を入力し、予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理部により前記画像に認識処理をした結果としての一次元量とを比較し、前記認識処理部により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供し、前記認識処理部により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止する画像提供部と、
を備える、感性評価装置。

【請求項2】

前記評価値には所定ステップ数の離散値が設定され、
前記入力部は、前記評価値として任意の値の入力を受け付け、
前記認識処理部は、前記認識結果としての評価値を生成し、
前記学習処理部は、前記入力部に入力された前記評価値を前記認識結果としての評価値として出力するように学習処理を行い、
前記入力部により受け付ける値は、予め設定された前記認識結果として生成する評価値の範囲に含まれる値、および予め設定された前記認識結果として生成する評価値の範囲を超えた値を含む、
請求項１に記載の感性評価装置。

【請求項3】

前記学習処理部は、前記認識処理部の認識結果としての評価値および認識処理がされた処理済み画像とを表示部を用いて表示した状態で、前記認識処理部により出力された評価値を修正した修正値を受け付け、前記認識結果と修正値とを比較し、双方が一致していない場合、前記処理済み画像を前記修正値に対応した再学習画像として入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように前記認識処理部の処理パラメータを学習する、
請求項１または２に記載の感性評価装置。

【請求項4】

評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成する認識処理部と、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付ける入力部と、
前記認識処理部が前記学習画像に対して認識処理を行った場合に、前記入力部に入力された評価値を前記認識結果として出力するように、前記認識処理部の処理パラメータを学習する学習処理部と、を備え、
前記学習処理部は、前記認識処理部により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように前記認識処理部の処理パラメータを学習し、
前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、前記認識処理部により処理された認識結果から遠ざかる方向にずれた値である、
感性評価装置。

【請求項5】

前記認識処理部の認識結果としての評価値および認識処理がされた処理済み画像とを表示部を用いて表示し、管理者による操作に基づいて、前記認識処理部の認識結果を修正した修正値を受け付けた場合、前記認識結果と修正値とを比較し、双方が一致していない場合、前記修正値および前記処理済み画像を再学習画像として出力する管理端末を有する、
請求項１から４のうち何れか１項に記載の感性評価装置。

【請求項6】

評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成するステップと、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けるステップと、
前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習するステップと、
ユーザに提示する画像を入力するステップと、
予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理により前記画像に認識処理をした結果としての一次元量とを比較するステップと、
前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供させ、前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止するステップと、
を有する感性評価方法。

【請求項7】

評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成するステップと、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けるステップと、
前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習するステップと、を備え、
認識処理の処理パラメータを学習するステップは、認識処理により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように認識処理の処理パラメータを学習し、
前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、認識処理により処理された認識結果から遠ざかる方向にずれた値である、
感性評価方法。

【請求項8】

コンピュータに、
評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成させ、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けさせ、
前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習させ、
ユーザに提示する画像を入力させ、
予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理により前記画像に認識処理をした結果としての一次元量とを比較させ、
前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供させ、前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止させる、
処理を実行させるためのプログラム。

【請求項9】

コンピュータに、
評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成させ、
学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けさせ、
前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習させ、
認識処理の処理パラメータを学習させる際、認識処理により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように認識処理の処理パラメータを学習させる、処理を実行させるためのプログラムであって、
前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、認識処理により処理された認識結果から遠ざかる方向にずれた値である、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感性評価装置、感性評価方法、およびプログラムに関する。

【背景技術】

【0002】

従来、撮像画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この画像認識技術においては、近年、ニューラルネットワークを多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層と出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。このディープラーニング技術において、特に、畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)が、従来の画像特徴量に基づいて対象を認識するよりも高い性能を有することで注目されている。

【0003】

従来の畳み込みニューラルネットワークによれば、ラベルが付与された認識対象画像を学習し、認識対象画像に含まれる対象を認識する。また、従来の畳み込みニューラルネットワークは、複数のカテゴリを予め設定し、何れかのカテゴリを示すラベルが付与された認識対象画像を学習することで、入力画像が複数のカテゴリのうち何れに分類されるかを認識する手法である。この複数のカテゴリは、入力画像から受ける印象として分類される場合がある。この印象は、ミニマル（minimal）調、メランコリー（melancholy）調、ＨＤＲ（High Dynamic Range）調、またはビンテージ（vintage）調といったものである。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】“Recognizing Image Style”, Sergey Karayev, Matthew Trentacoste, Helen Han, Aseem Agarwala, Trevor Darrell, Aaron Hertzmann, Holger Winnemoeller (Submitted on 15 Nov 2013 (v1), last revised 23 Jul 2014 (this version, v3))

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した画像認識技術において、各カテゴリは完全に独立しており、入力画像は何れかのカテゴリに分類にされる。しかしながら、上述の画像認識技術は、入力画像を見た者が直接的に感じる強さの度合いに基づいて分類することができない可能性がある。例えば、従来の畳み込みニューラルネットワークを利用した認識技術は、予め設定した各カテゴリの何れにも分類されないような入力画像であっても何れかのカテゴリに分類してしまい、入力画像を見た者の直感と大きくはずれている場合があった。

【0006】

そこで本発明は、上記の課題に鑑みてなされたものであって、画像を見た者の感性に基づいて画像を評価することができる感性評価装置、感性評価方法、およびプログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

（１）本発明の一態様は、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成する認識処理部と、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付ける入力部と、前記認識処理部が前記学習画像に対して認識処理を行った場合に、前記入力部に入力された評価値を前記認識結果として出力するように、前記認識処理部の処理パラメータを学習する学習処理部と、ユーザに提示する画像を入力し、予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理部により前記画像に認識処理をした結果としての一次元量とを比較し、前記認識処理部により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供し、前記認識処理部により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止する画像提供部と、を備える感性評価装置である。

【0008】

（２）本発明の一態様は、上述の感性評価装置であって、前記評価値には所定ステップ数の離散値が設定され、前記入力部は、前記評価値として任意の値の入力を受け付け、前記認識処理部は、前記認識結果としての評価値を生成し、前記学習処理部は、前記入力部に入力された前記評価値を前記認識結果としての評価値として出力するように学習処理を行い、前記入力部により受け付ける値は、予め設定された前記認識結果として生成する評価値の範囲に含まれる値、および予め設定された前記認識結果として生成する評価値の範囲を超えた値を含む。

【0009】

（３）本発明の一態様は、上述の感性評価装置であって、前記学習処理部は、前記認識処理部の認識結果としての評価値および認識処理がされた処理済み画像とを表示部を用いて表示した状態で、前記認識処理部により出力された評価値を修正した修正値を受け付け、前記認識結果と修正値とを比較し、双方が一致していない場合、前記処理済み画像を前記修正値に対応した再学習画像として入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように前記認識処理部の処理パラメータを学習する。

【0010】

（４）本発明の一態様は、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成する認識処理部と、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付ける入力部と、前記認識処理部が前記学習画像に対して認識処理を行った場合に、前記入力部に入力された評価値を前記認識結果として出力するように、前記認識処理部の処理パラメータを学習する学習処理部と、を備え、前記学習処理部は、前記認識処理部により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように前記認識処理部の処理パラメータを学習し、前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、前記認識処理部により処理された認識結果から遠ざかる方向にずれた値である、感性評価装置である。

【0011】

（５）本発明の一態様は、上述の感性評価装置であって、前記認識処理部の認識結果としての評価値および認識処理がされた処理済み画像とを表示部を用いて表示し、管理者による操作に基づいて、前記認識処理部の認識結果を修正した修正値を受け付けた場合、前記認識結果と修正値とを比較し、双方が一致していない場合、前記修正値および前記処理済み画像を再学習画像として出力する管理端末を有する。

【0012】

（６）本発明の一態様は、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成するステップと、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けるステップと、前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習するステップと、ユーザに提示する画像を入力するステップと、
予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理により前記画像に認識処理をした結果としての一次元量とを比較するステップと、
前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供させ、前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止するステップと、を有する感性評価方法である。
（７）本発明の一態様は、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成するステップと、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けるステップと、前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習するステップと、を備え、認識処理の処理パラメータを学習するステップは、認識処理により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように認識処理の処理パラメータを学習し、前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、認識処理により処理された認識結果から遠ざかる方向にずれた値である、感性評価方法である。

【0013】

（８）本発明の一態様は、コンピュータに、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成させ、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けさせ、前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習させ、ユーザに提示する画像を入力させ、予め設定された一次元量の閾値であってユーザごとに設定された前記閾値と、前記認識処理により前記画像に認識処理をした結果としての一次元量とを比較させ、前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値よりも低い場合には、前記入力した画像をユーザに提供させ、前記認識処理により前記画像に認識処理をした結果としての一次元量が前記閾値以上である場合には、前記入力した画像をユーザに提供することを禁止させる、処理を実行させるためのプログラムである。
（９）本発明の一態様は、コンピュータに、評価対象の画像に対して認識処理を行い、人間の感性で評価可能な一次元量で表現される認識結果を生成させ、学習画像を見た人間の感性で評価される前記学習画像の評価値であって、一次元量で表現される評価値の入力を受け付けさせ、前記学習画像に対して認識処理を行った場合に、入力された評価値を前記認識結果として出力するように、認識処理の処理パラメータを学習させ、認識処理の処理パラメータを学習させる際、認識処理により出力された評価値を修正した修正値、および前記修正値に対応した再学習画像を入力し、前記再学習画像に対して認識処理を行った場合に前記修正値を認識結果として出力するように認識処理の処理パラメータを学習させる、処理を実行させるためのプログラムであって、前記修正値は、前記学習画像を見た人間の感性に基づく正解値に対し、認識処理により処理された認識結果から遠ざかる方向にずれた値である、プログラムである。

【発明の効果】

【0014】

本発明の一態様によれば、画像を見た者の感性に基づいて画像を評価することができる。

【図面の簡単な説明】

【0015】

【図1】本発明を適用した実施形態の感性評価装置１の機能的な構成を示すブロック図である。

【図2】本発明を適用した感性評価装置１の学習処理および認識処理を示す図である。

【図3】本発明を適用した感性評価装置１において記憶される認識結果データを示す図である。

【図4】本発明を適用した感性評価装置１において、画像の危険度と認識結果としての危険度との関係を示す図である。

【図5】本発明を適用した感性評価装置１において、管理端末６０に表示させる表示画面６２ａの一例を示す図である。

【図6】本発明を適用した感性評価装置１における再学習の概要を示すブロック図である。

【図7】本発明を適用した感性評価装置１において再学習データに付加する危険度を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明を適用した感性評価装置１、感性評価方法、およびプログラムを、図面を参照して説明する。
まず、本発明を適用した実施形態の感性評価装置１の機能的な説明を行う。
図１は、本発明を適用した実施形態の感性評価装置１の機能的な構成を示すブロック図である。感性評価装置１は、画像を見た人間の感性に基づいて画像の評価を行うものである。感性評価装置１は、画像の評価を行うことにより、評価結果に基づいて画像を分類させることができる。
感性評価装置１は、学習画像蓄積部１０と、学習処理部２０と、認識処理部３０と、認識結果管理部４０と、インターフェース部５０とを有する。
感性評価装置１は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。感性評価装置１は、ＣＰＵ（Central Processing Unit）などのプロセッサが記憶部（不図示）に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、感性評価装置１は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってよい。
また、感性評価装置１において情報を記憶する記憶部（１４、３２、４２）は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory），ＲＯＭ（Read Only Memory），またはＲＡＭ（Random Access Memory）等により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、インターフェース部２０が外部からから取得した情報などが記憶される。

【0017】

学習画像蓄積部１０は、画像変換部１２と、学習画像データベース１４とを有する。
画像変換部１２は、サンプル画像の入力を受け付ける。このサンプル画像は、任意の画像であればよい。画像変換部１２は、例えば、学習素材としての画像を記憶するサーバ装置等（不図示）から複数のサンプル画像が供給される。なお、感性評価装置１は、随時サンプル画像が供給され、サンプル画像が供給されたことに応じて後述する学習処理を行ってもよい。

【0018】

サンプル画像には、当該サンプル画像の属性情報を示すラベルが付加される。ラベルには、サンプル画像の評価値が含まれる。評価値は、サンプル画像を見た人間の感性を表す。本実施形態において、人間の感性は、画像を見たときに直感的に判断される危険度を表す。危険度は、例えばＰＧ１２、Ｒ−１５、Ｒ−１８のような、情報の閲覧を制限するために指定された値である。
危険度は、本実施形態において、危険度が低い１から２、３、４、５のように段階的に危険度が高くなるよう所定ステップ数の離散値が設定される。なお、危険度は、学習画像に任意の値として付加可能である。さらに、危険度は、認識結果として任意の値が出力されうる。人間の感性は、危険度に限らず、美しさの度合い、重厚さの度合いなど、画像を見たときに直感的に判断される印象であればよい。
サンプル画像に付加される危険度は、例えば感性評価装置１の管理者の感性により予め複数の段階に設定される。なお、サンプル画像に付加される危険度は、離散値の間の値に設定されたものであってもよい。例えば、１〜５の段階的な危険度のうち、「３」に属する画像が他の危険度と比して多数である場合や「３」に属する画像でも危険度に差がある場合には、「３．５」または「２．５」という危険度を設定してもよい。
さらに、サンプル画像に付加される危険度は、均等の間隔ではなく、異なる間隔であってもよい。サンプル画像に付加される危険度は、例えば、４と５との間隔を大きくしてもよい。

【0019】

画像変換部１２は、サンプル画像を学習処理に適した形式に変換する前処理を行う。この前処理は、例えば学習画像の面積変更処理やアスペクト比の調整等である。画像変換部１２は、前処理を施した画像を学習画像として学習画像データベース１４に蓄積する。学習画像データベース１４には、画像変換部１２により変換された画像が学習画像として複数蓄積される。画像変換部１２は、学習画像および評価値を入力する入力部として機能する。

【0020】

学習画像データベース１４は、外部から供給された変換前のサンプル画像、および画像変換部１２により変換された学習画像を蓄積する。学習画像データベース１４は、画像変換部１２により変換された学習画像が学習処理部２０において学習処理が実行可能なファイルとして記憶される。

【0021】

学習処理部２０には、学習画像蓄積部１０から出力された学習画像が供給される。学習処理部２０は、学習画像に付加された評価値が認識結果となるように処理パラメータを学習し、学習結果を生成する。この学習結果は、認識処理部３０における処理パラメータである。この学習結果は、認識処理部３０における学習結果データ記憶部３２に記憶される。学習処理部２０は、学習結果を得ることに応じて学習結果データ記憶部３２における学習結果を更新する。これにより、学習処理部２０は、画像変換部１２に入力された学習画像に付加された評価値を認識結果として出力するように処理を行う。

【0022】

認識処理部３０は、学習結果データ記憶部３２を有する。学習結果データ記憶部３２における学習結果としての認識処理部３０の処理パラメータは、学習処理部２０によって更新される。また、認識処理部３０は、インターフェース部５０から評価対象となる入力画像が供給される。
認識処理部３０は、学習処理部２０により得た処理パラメータに基づいて入力画像の認識処理を行う。認識処理部３０は、認識処理によって入力画像の危険度（評価値）を認識結果として得る。この危険度は、入力画像をユーザが見たときに感じる感性の予測値である。認識処理部３０は、入力画像および当該入力画像の危険度を認識結果として認識結果管理部４０に出力する。

【0023】

認識結果管理部４０は、認識結果データ記憶部４２を有する。認識結果データ記憶部４２には、認識処理部３０により出力された認識結果を蓄積する。認識結果管理部４０は、入力画像の危険度を評価結果としてインターフェース部５０に出力して、インターフェース部５０により評価結果を出力させる。

【0024】

認識結果管理部４０における認識結果データ記憶部４２は、管理端末６０が接続されていてもよい。管理端末６０は、管理者が操作するユーザインターフェース部６２を有するコンピュータにより実現される。ユーザインターフェース部６２は、ユーザによる操作を受け付ける操作部、およびユーザに各種情報を提示する表示部を有する。管理端末６０は、ユーザインターフェース部６２により受け付けられた操作に基づいて危険度を変更する。管理端末６０は、変更された危険度および当該危険度が付加された画像を学習処理部２０に出力する。管理端末６０から学習処理部２０に出力された画像は、再学習画像として学習処理部２０により処理される。
なお、管理端末６０は、学習処理部２０および認識結果管理部４０と一体化されたコンピュータにより実現されていてもよく、学習処理部２０および管理端末６０とインターネット等の通信回線を介して接続されていてもよい。

【0025】

インターフェース部５０は、感性評価装置１の外部の装置と通信を行う通信インターフェースにより実現される。インターフェース部５０は、外部から入力画像を入力して、当該入力画像を認識処理部３０に出力する。また、インターフェース部５０は、入力画像の評価結果を認識結果管理部４０から入力して、当該評価結果を外部に出力する。

【0026】

図２は、本発明を適用した感性評価装置１の学習処理および認識処理を示す図である。学習処理部２０には、評価値として危険度が付加された学習画像が複数供給される。認識処理部３０は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network；CNN)により実現される。畳み込みニューラルネットワークは、中間層としての複数の畳み込み層（フィルタ部）と、出力層とを有する。畳み込み層は、それぞれ、例えば、入力されたデータにフィルタリング（乗算処理）を行い、フィルタリング後の画像（特徴）にバイアス値を加算する。畳み込みニューラルネットワークは、画像データを入力し、中間層によりフィルタ係数に基づくフィルタ処理を行って、出力層により処理済のデータを出力する。フィルタ部は、学習処理部２０により生成された学習結果としてのフィルタ係数が設定される。畳み込みニューラルネットワークは、学習画像に付加された危険度を出力するようにフィルタ係数が設定される。

【0027】

なお、学習処理部２０による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部３２には、学習手法に応じた学習結果が記憶される。認識処理部３０は、学習結果データ記憶部３２に記憶された学習結果に基づいて入力画像の危険度を得ることとなる。

【0028】

危険度の算出に畳み込みニューラルネットワークを用いる場合、畳み込みニューラルネットワークは、入力画像に入力に応じて一次元量である評価値を出力するよう学習される。学習処理部２０は、危険度が「１」のラベルが付加された学習画像が供給されたことに対し、危険度が「１」の認識結果が得られるように畳み込み層における処理パラメータを更新する。このとき、学習処理部２０は、学習画像に付加された危険度と畳み込みニューラルネットワークから出力された危険度との誤差を、ユークリッド誤差等を用いて最小となるように、誤差逆伝搬法を用いて回帰を行う。

【0029】

認識処理部３０には、インターフェース部５０から入力画像が供給される。認識処理部３０は、畳み込みニューラルネットワークに入力画像を入力し、畳み込みニューラルネットワークから出力された値を危険度Ｘとして出力する。認識処理部３０は、入力画像に危険度Ｘを付加し、危険度Ｘを付加した入力画像を認識結果データ記憶部４２に記憶する。

【0030】

図３は、本発明を適用した感性評価装置１において記憶される認識結果データを示す図である。認識結果データ記憶部４２には、危険度Ｘに区分して複数のフォルダが設定される。危険度が「１」のフォルダには危険度Ｘが１．５より小さい入力画像が格納される。危険度が「２」のフォルダには危険度Ｘが１．５以上であり２．５より小さい入力画像が格納される。危険度が「３」のフォルダには危険度Ｘが２．５以上であり３．５より小さい入力画像が格納される。危険度が「４」のフォルダには危険度Ｘが３．５以上であり４．５より小さい入力画像が格納される。危険度が「５」のフォルダには危険度Ｘが４．５より小さい入力画像が格納される。なお、認識結果データは、指定した危険度の範囲ごとにフォルダに区分している例を説明したが、フォルダに区分しなくてもよい。

【0031】

また、認識結果管理部４０は、認識結果の正解率を記憶するグラフデータフォルダを認識結果データ記憶部４２に格納してもよい。認識結果管理部４０は、認識結果データ記憶部４２に格納された危険度と管理端末６０から出力された危険度とを比較する。認識結果管理部４０は、双方の危険度が一致する場合には正解であると判定し、双方の危険度が一致していない場合には誤答であると判定する。認識結果管理部４０は、比較結果を蓄積し、危険度ごとに正解率のグラフを作成する。認識結果管理部４０は、例えば図４に示すようなグラフデータを作成する。図４は、本発明を適用した感性評価装置１において、画像の危険度と認識結果としての危険度との関係を示す図である。
なお、認識結果管理部４０は、指定した危険度の範囲ごとにフォルダに区分して認識結果データを区分しない場合には、双方の危険度の差が所定の範囲内であるか否かを判定する。認識結果管理部４０は、双方の危険度の差が所定の範囲内である場合には正解であると判定し、双方の危険度の差が所定の範囲内ではない場合には誤答であると判定する。

【0032】

図５は、本発明を適用した感性評価装置１において、管理端末６０に表示させる表示画面６２ａの一例を示す図である。管理端末６０は、認識結果データ記憶部４２から認識結果データを読み込み、認識処理がされた処理済み画像１００と認識結果としての危険度１０２とを表示させる。これにより、管理端末６０は、管理者に入力画像に対する認識結果を提示する。さらに、管理端末６０は、管理者により危険度の修正操作を受け付けるための入力ボタン１０４を表示する。管理端末６０は、修正操作を受け付けた場合、認識結果と修正された危険度（修正値）とを比較し、双方の危険度が一致していない場合には認識結果管理部４０に修正された危険度を送信する。図５は、処理済み画像１００の危険度が「３」から「４」に修正された様子を示している。

【0033】

また、管理端末６０は、双方の危険度が一致していない場合には、修正された危険度および処理済み画像１００を学習処理部２０に送信する。処理済み画像１００は、再学習画像として学習処理部２０に受け付けられる。学習処理部２０は、再学習画像を入力した場合には、再学習画像を入力した場合に修正された危険度を出力するように認識処理の処理パラメータを更新する。

【0034】

図６は、本発明を適用した感性評価装置１における再学習の概要を示すブロック図である。管理端末６０には、認識結果データ記憶部４２における認識結果データが読み込まれる。管理端末６０は、例えば図５に示したような表示画面６２ａを表示させ、危険度の正解値を入力する操作を促す。管理端末６０は、危険度の正解値が入力された場合に、認識結果データから修正後の危険度（正解値）が付加された処理済み画像を抽出する。このとき、管理端末６０は、危険度を修正する操作を受け付けたことに応じて、処理済み画像を認識結果データ記憶部４２からダウンロードし、ダウンロードした処理済み画像に修正された危険度を付加する。管理端末６０は、修正された危険度のフォルダごとに、修正された危険度が付加された処理済み画像を、再学習画像として格納する。管理端末６０は、例えば、修正された危険度が「１」が付加された再学習画像を抽出データ（１）のフォルダに格納する。再学習データは、学習処理部２０により取り込まれる。学習処理部２０は、再学習データに基づいて学習処理を行って認識処理部３０の処理パラメータを更新する。
なお、管理端末６０は、再学習画像を生成したことに応じて当該再学習画像を学習処理部２０に出力してもよい。また、管理端末６０は、再学習画像を修正された危険度のフォルダごとに格納してもよい。

【0035】

図７は、本発明を適用した感性評価装置１において再学習データに付加する危険度を示す図である。管理端末６０は、例えば図７に示すように認識処理部３０により処理された危険度（計算値）が正解値よりも大きく乖離していた場合に、危険度の修正値を補正する。管理端末６０は、修正値を、画像を見た人間の感性に基づく正解値に対し、認識処理部３０により処理された認識結果から遠ざかる方向にずれた値に補正する。管理端末６０は、修正値と正解値とを比較して、自動的に修正値を補正してもよい。また、管理端末６０は、ユーザインターフェース部６２の操作に基づいて、正解値から遠ざかる方向に危険度を補正させてもよい。

【0036】

以上説明した本発明を適用した感性評価装置１は、画像を見た人間の感性が一次元量として予め設定された学習画像の危険値（評価値）の入力を受け付け、認識処理部３０により学習画像について認識処理を行った場合に危険値を出力するように認識処理部３０の処理パラメータを学習する。これにより、感性評価装置１によれば、画像を見た者の感性に基づいて画像を評価することができる。
本発明を適用した感性評価装置１は、画像をカテゴリに分類するのではなく、感性を一次元量として表して、一次元量の範囲において区分することができる。すなわち、感性評価装置１は、人間が最も近い感度を認識結果として出力することができる。したがって、既存の画像分類技術のように、予め設定した複数のカテゴリのうち何れのカテゴリにも属さない画像であっても、予め設定した複数のカテゴリのうちの最も確信度が高いカテゴリに属するという低い精度の認識結果を生成することがない。
また、感性評価装置１によれば、既存の画像分類技術のように、分類したいカテゴリをさらに細分化する、または新たな分類カテゴリを設定するなどで新たな認識処理部３０の値を得る場合であっても、再学習をし直すことなく、認識結果データの評価値の範囲を新たに設定すればよい。新たに設定する評価値の範囲は、例えば１と２との間の１．５のような離散値間の値であってもよく、例えば予め設定された１、２、３、４、５という評価値に対して０や６といった設定範囲を超える値であってもよい。

【0037】

感性評価装置１は、インターフェース部５０を介して、例えばユーザに提示する画像を入力し、当該画像の危険度Ｘを出力することができる。これにより、感性評価装置１は、画像を提供する装置によって予め設定した危険度Ｘの閾値と認識処理部３０により出力した危険度Ｘとを比較させ、危険度Ｘが閾値よりも低い場合には画像をユーザに提供させることができる。また、感性評価装置１は、認識処理部３０により出力された危険度Ｘが閾値以上である場合には、ユーザに画像を提供することを禁止させることができる。さらに、感性評価装置１は、例えばユーザごとに閾値を設定させることにより、ユーザに合わせて画像のフィルタリングを行わせることができる。

【0038】

また、感性評価装置１によれば、例えば感性のレベルが区分しにくいグレーゾーンの画像であっても、感性に基づく一次元量を出力するように認識処理部３０の処理パラメータを学習することにより、自動的に画像にラベルを付加することができる。

【0039】

さらに、感性評価装置１によれば、危険度として所定ステップ数の離散値が設定され、学習画像に付加される危険度として任意の値を入力し、入力した危険度を認識結果として出力するように学習処理を行う。この結果、感性評価装置１によれば、認識処理部３０によって複数の離散値のうち何れかに近い危険度を出力させることができる。
なお、危険度は、１〜５のような整数ではなく、ランダムな値や正規分布に沿って変化させた値を設定してもよい。例えば、同じサンプル画像について、危険度が「１．０」のラベルを付加したサンプル画像と、危険度が「１．１」のラベルを付加したサンプル画像とを認識処理部３０の処理パラメータを学習させることにより、少ないサンプル画像数であっても認識処理部３０の処理パラメータを学習できる。

【0040】

さらに、感性評価装置１によれば、認識処理部３０により出力された危険度を修正した修正値、および修正値に対応した再学習画像に対して認識処理を行った場合に修正値を認識結果として出力するように認識処理部３０の処理パラメータを学習する。この結果、感性評価装置１によれば、認識処理部３０により出力する危険度の精度を効果的に高めて、画像を見た者の感性により近い認識結果を得ることができる。

【0041】

さらに、感性評価装置１によれば、画像を見た人間の感性に基づく正解値に対し、認識処理部３０により処理された認識結果から遠ざかる方向にずれた値に修正するので、誤った認識結果を出力した場合に認識処理部３０の処理パラメータを大きく変更するよう学習することができる。この結果、感性評価装置１によれば、認識処理部３０により出力する危険度の精度を効果的に高めて、画像を見た者の感性により近い認識結果を得ることができる。

【0042】

さらに、感性評価装置１によれば、管理者による操作を受け付けて危険度の修正値を受け付け、修正値および再学習画像を認識処理部３０に出力する管理端末（６０）を有するので、管理者の感性によって認識処理部３０の処理パラメータを変更するよう学習することができる。この結果、感性評価装置１によれば、認識処理部３０により出力する危険度の精度を効果的に高めて、画像を見た者の感性により近い認識結果を得ることができる。

【0043】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0044】

上述した実施形態の感性評価装置１は、サンプル画像に付加される評価値を単一ものとして説明したが、複数の異なる感性に基づく一次元量であってもよい。この感性評価装置１は、各感性について一次元量を設定したサンプル画像を用いて学習処理を行って認識処理部３０の処理パラメータを学習する。この結果、感性評価装置１は、単一の画像について各感性の評価値を出力することができる。

【0045】

また、上述した感性評価装置１の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0046】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0047】

１…感性評価装置、１０…学習画像蓄積部、１２…画像変換部、１４…学習画像データベース、２０…学習処理部、３０…認識処理部、３２…学習結果データ記憶部、４０…認識結果管理部、４２…認識結果データ記憶部、５０…インターフェース部、６０…管理端末、６２…ユーザインターフェース部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】