知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-23
(45)【発行日】2022-05-31
(54)【発明の名称】コンテンツ分類装置、コンテンツ分類方法、及びプログラム
(51)【国際特許分類】
G06F 16/55 20190101AFI20220524BHJP
G06T 7/00 20170101ALI20220524BHJP
【ＦＩ】
G06F16/55
G06T7/00 350C
【請求項の数】
13
(21)【出願番号】P 2018004552
(22)【出願日】2018-01-15
(65)【公開番号】P2019125114
(43)【公開日】2019-07-25
【審査請求日】2020-12-21
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】小林 裕一
【審査官】鹿野 博嗣
(56)【参考文献】
【文献】特開２０００－２８５１４１（ＪＰ，Ａ）
【文献】特開２０１１－２２１６０６（ＪＰ，Ａ）
【文献】特開２０１１－２２１６０５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／５５
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
分類対象とする画像である対象コンテンツ群から、分類の基準とする画像である元コンテンツと同様の雰囲気及びテイストを有する対象コンテンツを分類するコンテンツ分類装置であって、画像における特性、スケール、及び当該特性に応じた区分を指定した際に定まる各領域の中でとり得る互いに異なる二つの領域の組合せについて、当該二つの領域の間の関係性を示す関係性量を、画像について人に知覚される雰囲気及びテイストを数値化したコンテンツ雰囲気量とし、前記元コンテンツと、前記対象コンテンツとの各々について前記コンテンツ雰囲気量を算出するコンテンツ雰囲気量算出部と、
前記元コンテンツの前記コンテンツ雰囲気量の座標値と、前記対象コンテンツの前記コンテンツ雰囲気量の座標値との間における距離を算出する距離算出部と、
前記距離に基づいて、前記対象コンテンツを分類するコンテンツ分類部と
を備えることを特徴とするコンテンツ分類装置。
【請求項2】
前記コンテンツ雰囲気量算出部は、互いに異なる複数の特性を前記特性とし、当該特性、スケール、及び互いに異なる複数の特性に応じた区分を指定した際に定まる各領域の中でとり得る互いに異なる二つの領域の組合せについて前記関係性量を算出し、互いに異なる複数の特性のそれぞれの組合せに対応する前記関係性量を前記コンテンツ雰囲気量として算出する、
請求項１に記載のコンテンツ分類装置。
【請求項3】
前記コンテンツ雰囲気量算出部は、前記二つの領域の間の関係性として、単純相関、シフト相関、相互相関のうち少なくともいずれか一つを算出することを特徴とする請求項２に記載のコンテンツ分類装置。
【請求項4】
前記元コンテンツと、前記対象コンテンツとの各々のコンテンツ特徴量に対応する複数の種類の演算式が記憶されたコンテンツ特徴量記憶部と、前記コンテンツ特徴量の統計量であるコンテンツ統計量に対応する複数の種類の演算式が記憶されたコンテンツ統計量記憶部とをさらに備え、
前記コンテンツ雰囲気量算出部が、
前記コンテンツ特徴量を、当該コンテンツ特徴量に対応する演算式により、前記元コンテンツ及び前記対象コンテンツの各々から求めるコンテンツ特徴量算出部と、
前記コンテンツ特徴量算出部により算出された前記コンテンツ特徴量を用い、前記コンテンツ統計量を、当該コンテンツ統計量に対応する演算式により、前記元コンテンツ及び前記対象コンテンツごとに求めるコンテンツ統計量算出部と、
を有し、
前記コンテンツ雰囲気量算出部が、
前記コンテンツ統計量算出部により算出された前記コンテンツ統計量を用いて、前記元コンテンツ及び前記対象コンテンツそれぞれに対する前記コンテンツ雰囲気量を、当該関係性に対応する演算式により算出する
ことを特徴とする請求項２又は請求項３に記載のコンテンツ分類装置。
【請求項5】
前記コンテンツ特徴量が、前記画像の画素情報から求められる画像特徴量で、少なくとも前記画像の濃淡、輝度、色度、コントラスト、勾配、エッジ、オプティカルフローを含む画像特徴量であることを特徴とする請求項４に記載のコンテンツ分類装置。
【請求項6】
前記コンテンツ統計量が、画像における、所定の物理特性の、所定の領域において求めた前記コンテンツ特徴量に対して、ある統計的操作を適用することで得られる統計量であり、前記物理特性は、少なくとも濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性を含み、前記領域は、少なくとも空間周波数区分、方向区分、色彩区分を含み、前記統計的操作は、少なくとも平均、分散、ヒストグラム、パワースペクトルを含むことを特徴とする請求項５に記載のコンテンツ分類装置。
【請求項7】
前記距離が、ユークリッド距離、コサイン距離、ハミング距離、マンハッタン距離、カルバック・ライプラー距離のうちのいずれかであることを特徴とする請求項５又は請求項６に記載のコンテンツ分類装置。
【請求項8】
前記コンテンツ分類部が、前記距離が予め設定された閾値以下となった場合、当該距離に対応する前記対象コンテンツを、前記元コンテンツと同様の雰囲気及びテイストを有する画像であると分類することを特徴とする請求項１から請求項７のいずれか一項に記載のコンテンツ分類装置。
【請求項9】
前記コンテンツ分類部が、前記距離が小さい順に、当該距離に対応する前記対象コンテンツを、前記元コンテンツと同様の雰囲気及びテイストを有する画像であると分類することを特徴とする請求項１から請求項７のいずれか一項に記載のコンテンツ分類装置。
【請求項10】
前記コンテンツ特徴量算出部が、複数の学習用画像を入力及び出力として学習させたオートエンコーダの中間層の出力として前記コンテンツ特徴量を求め、前記コンテンツ統計量算出部が、当該コンテンツ特徴量を入力及び出力として学習させたオートエンコーダの中間層の出力として前記コンテンツ統計量を求める
ことを特徴とする請求項４に記載のコンテンツ分類装置。
【請求項11】
前記コンテンツ雰囲気量算出部が、複数の学習用画像のピクセルの画素値を用い、多段の中間層を有するニューラルネットワークを深層学習させて分類した深層学習画像モデルにより、または他の深層学習画像モデルの中間層を使用した転移学習により分類した深層学習画像モデルにより、前記コンテンツ雰囲気量を求めることを特徴とする請求項１に記載のコンテンツ分類装置。
【請求項12】
分類対象とする画像である対象コンテンツ群から、分類の基準とする画像である元コンテンツと同様の雰囲気及びテイストを有する対象コンテンツを分類するコンテンツ分類方法であって、コンテンツ雰囲気量算出部が、画像における特性、スケール、及び当該特性に応じた区分を指定した際に定まる各領域の中でとり得る互いに異なる二つの領域の組合せについて、当該二つの領域の間の関係性を示す関係性量を、画像について人に知覚される雰囲気及びテイストを数値化したコンテンツ雰囲気量とし、前記元コンテンツと、前記対象コンテンツとの各々について前記コンテンツ雰囲気量を算出するコンテンツ雰囲気量算出工程と、
距離算出部が、前記コンテンツ雰囲気量算出部により算出された元コンテンツの前コンテンツ記雰囲気量の座標値と、前記対象コンテンツの前記コンテンツ雰囲気量の座標値との間における距離を算出する距離算出工程と、
コンテンツ分類部が、前記距離に基づいて、前記対象コンテンツを分類するコンテンツ分類工程と
を有することを特徴とするコンテンツ分類方法。
【請求項13】
コンピュータを、請求項１から請求項１１のいずれか一項に記載のコンテンツ分類装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像や音響等のコンテンツに対して人が認識する雰囲気やテイストを数値化するコンテンツ分類装置、コンテンツ分類方法、及びプログラムに関する。
【背景技術】
【0002】
一般に、人間が鑑賞対象に対して感じる雰囲気や、テイスト（味わい）などの感覚は、鑑賞対象物自体の特性や、人が対象物を視認する状況などと高い相関を示す傾向がある。
例えば、前記感覚と、鑑賞対象物自体の特性としての視覚的特徴量（画像であれば画像特徴量、映像であれば映像特徴量）に対する統計的な関係を示す統計量（平均値や分散値など）とが強い相関関係を有することが知られている（例えば、非特許文献１）。
また、前記感覚と、鑑賞対象物自体の特性としての聴覚的特徴量（音響であれば音響特徴量、音声であれば音声特徴量）に対する統計量とが強い相関関係を有することが知られている（例えば、非特許文献２）。
また、画像特徴量として画像の表現方法の一つであるＧＩＳＴ画像特徴量に対する統計的な関係を示す統計量により画像間の相関関係を取得する方法が知られている（例えば、非特許文献３）。
例えば、前記感覚と、鑑賞対象物自体の特性としての視覚的特徴量（画像であれば画像特徴量、映像であれば映像特徴量）に対する統計的な関係を示す統計量（平均値や分散値など）とが強い相関関係を有することが知られている（例えば、非特許文献１）。
また、前記感覚と、鑑賞対象物自体の特性としての聴覚的特徴量（音響であれば音響特徴量、音声であれば音声特徴量）に対する統計量とが強い相関関係を有することが知られている（例えば、非特許文献２）。
また、画像特徴量として画像の表現方法の一つであるＧＩＳＴ画像特徴量に対する統計的な関係を示す統計量により画像間の相関関係を取得する方法が知られている（例えば、非特許文献３）。
【0003】
また、日常生活において、人は対象に対して感じる雰囲気に基づいて、その雰囲気に合った、或いはその雰囲気と同じような別の対象を探す場合がある。例えば、お気に入りのシャツに合わせるパンツを新たに入手しようとする場合、そのシャツと同じような雰囲気を有するパンツを入手したいと考える場合があり得る。
このような場合に、インターネットにおけるウェブページ（Ｗｅｂ Ｐａｇｅ）等を用いて、様々なシャツとパンツとを組合せた画像を参照し、雰囲気やテイストが同じような画像を自動で抽出させるのは困難である。その理由としては、お気に入りのシャツと似た画像を抽出させるには、ウェブページの画像について、そのシャツの画像特徴と類似した特徴を有するか否かを判断させればよいが、画像特徴が類似することが、同じ雰囲気と人に感じさせる要素を有することになるとは限らないためである。つまり、雰囲気及びテイストが同じであるか否かは、多分に個人の主観、或いは感覚によるものであるため、客観的に定量化することが難しく、具体的な物理量や特徴量に置き換えることが困難である。このため、専門家による知識や経験に基づいて、所望の雰囲気を持つ服の組合せ（コーディネイト）が提案されているのが実情である。
このような場合に、インターネットにおけるウェブページ（Ｗｅｂ Ｐａｇｅ）等を用いて、様々なシャツとパンツとを組合せた画像を参照し、雰囲気やテイストが同じような画像を自動で抽出させるのは困難である。その理由としては、お気に入りのシャツと似た画像を抽出させるには、ウェブページの画像について、そのシャツの画像特徴と類似した特徴を有するか否かを判断させればよいが、画像特徴が類似することが、同じ雰囲気と人に感じさせる要素を有することになるとは限らないためである。つまり、雰囲気及びテイストが同じであるか否かは、多分に個人の主観、或いは感覚によるものであるため、客観的に定量化することが難しく、具体的な物理量や特徴量に置き換えることが困難である。このため、専門家による知識や経験に基づいて、所望の雰囲気を持つ服の組合せ（コーディネイト）が提案されているのが実情である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００５－２５０５６２号公報
【非特許文献】
【0005】
【文献】JAVIER PORTILLA and EERO P. SIMONCELLI,“A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients.” International Journal of Computer Vision, Vol.40, issue-1, pp.49-71, 2000.
【文献】Josh H.McDermott and Eero P.Simoncelli,“Sound Texture perception via statistics of the auditory periphery:Evidence from sound synthesis.” Neuron, Vol.71, issue-5, pp.926-940 2011, September 8.
【文献】AUDE OLIVA, ANTONIO TORRALBA, “Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope,” International Journal of Computer Vision, Vol.42, issue-3, pp.145-175, 2001.
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、このような状況に鑑みてなされたもので、その目的は、鑑賞対象のコンテンツに対して人間が抱く雰囲気やテイストなどの感覚を数値化することにより、分類対象である画像群に含まれる各画像について、この鑑賞対象と同様な雰囲気やテイストなどを有するかを分類することができるコンテンツ分類装置、コンテンツ分類方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述した課題を解決するために、本発明の一態様であるコンテンツ分類装置は、分類対象とする画像である対象コンテンツ群から、分類の基準とする画像である元コンテンツと同様の雰囲気及びテイストを有する対象コンテンツを分類するコンテンツ分類装置であって、画像における特性、スケール、及び当該特性に応じた区分を指定した際に定まる各領域の中でとり得る互いに異なる二つの領域の組合せについて、当該二つの領域の間の関係性を示す関係性量を、画像について人に知覚される雰囲気及びテイストを数値化したコンテンツ雰囲気量とし、前記元コンテンツと、前記対象コンテンツとの各々について前記コンテンツ雰囲気量を算出するコンテンツ雰囲気量算出部と、前記元コンテンツの前記コンテンツ雰囲気量の座標値と、前記対象コンテンツの前記コンテンツ雰囲気量の座標値との間における距離を算出する距離算出部と、前記距離に基づいて、前記対象コンテンツを分類するコンテンツ分類部とを備えることを特徴とする。
【0008】
また、本発明の一態様であるコンテンツ分類方法は、分類対象とする画像である対象コンテンツ群から、分類の基準とする画像である元コンテンツと同様の雰囲気及びテイストを有する対象コンテンツを分類するコンテンツ分類方法であって、コンテンツ雰囲気量算出部が、画像における特性、スケール、及び当該特性に応じた区分を指定した際に定まる各領域の中でとり得る互いに異なる二つの領域の組合せについて、当該二つの領域の間の関係性を示す関係性量を、画像について人に知覚される雰囲気及びテイストを数値化したコンテンツ雰囲気量とし、前記元コンテンツと、前記対象コンテンツとの各々について前記コンテンツ雰囲気量を算出するコンテンツ雰囲気量算出工程と、距離算出部が、前記コンテンツ雰囲気量算出部により算出された元コンテンツの前記コンテンツ雰囲気量の座標値と、前記対象コンテンツの前記コンテンツ雰囲気量の座標値との間における距離を算出する距離算出工程と、コンテンツ分類部が、前記距離に基づいて、前記対象コンテンツを分類するコンテンツ分類工程とを有することを特徴とする。
【0009】
また、本発明の一態様であるプログラムは、コンピュータを、上記コンテンツ分類装置として機能させるためのプログラムである。
【発明の効果】
【0010】
以上説明したように、本発明によれば、コンテンツに対し、人が認識する雰囲気やテイストといった感覚を数値化して示すことにより、分類対象コンテンツを、元コンテンツと同様な雰囲気やテイストを有するかを分類することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１の実施形態のコンテンツ分類装置１の構成例を示すブロック図である。
【図2】コンテンツ特徴量データベース１６におけるコンテンツ特徴量テーブルの構成例を示す図である。
【図3】コンテンツ統計量モデルデータベース１７におけるコンテンツ統計量テーブルの構成例を示す図である。
【図4】本発明の第１の実施形態のコンテンツ分類装置１が行う処理の動作例を示すフローチャートである。
【図5】本発明の第１の実施形態のコンテンツ分類装置１が行う処理の効果を説明する図である。
【図6】本発明の第２の実施形態のコンテンツ分類装置１Ａの構成例を示すブロック図である。
【図7】本発明の第２の実施形態のコンテンツ分類装置１Ａが行う処理の動作例を示すフローチャートである。
【図8】本発明の第２の実施形態によるコンテンツ特徴量生成部１１０Ａが行なう推定コンテンツ特徴量を生成する処理の動作例を示すフローチャートである。
【図9】本発明の第２の実施形態によるコンテンツ統計量生成部１１１Ａが行なう推定コンテンツ統計量を生成する処理の動作例を示すフローチャートである。
【図10】本発明の第３の実施形態によるコンテンツ生成装置１Ｂの構成例を示すブロック図である。
【図11】深層学習画像モデルの生成を行う処理Ａ１の動作例を示すフローチャートである。
【図12】深層学習画像モデルの生成を行う処理Ａ２の動作例を示すフローチャートである。
【図13】本発明の第３の実施形態によるコンテンツ生成装置１Ｂが行なう処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、実施形態のコンテンツ分類装置、コンテンツ分類方法、及びプログラムを、図面を参照して説明する。
【0013】
＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、本発明の第１の実施形態によるコンテンツ分類装置１の構成例を示すブロック図である。図１におけるコンテンツ分類装置１は、コンテンツ選択部１０、コンテンツ雰囲気量算出部１１、座標距離算出部１２、コンテンツ分類部１３、コンテンツ出力部１４、コンテンツデータベース１５、コンテンツ特徴量データベース１６、コンテンツ統計量モデルデータベース１７及び分類コンテンツ記憶部１８の各々を備えている。また、コンテンツ雰囲気量算出部１１は、コンテンツ特徴量算出部１１０、及びコンテンツ統計量算出部１１１を備える。以下、本実施形態においては、コンテンツを静止画像として説明するが、動画像、映像、音響及び音声等の他のコンテンツに対しても適用する構成としても良い。
まず、第１の実施形態について説明する。
図１は、本発明の第１の実施形態によるコンテンツ分類装置１の構成例を示すブロック図である。図１におけるコンテンツ分類装置１は、コンテンツ選択部１０、コンテンツ雰囲気量算出部１１、座標距離算出部１２、コンテンツ分類部１３、コンテンツ出力部１４、コンテンツデータベース１５、コンテンツ特徴量データベース１６、コンテンツ統計量モデルデータベース１７及び分類コンテンツ記憶部１８の各々を備えている。また、コンテンツ雰囲気量算出部１１は、コンテンツ特徴量算出部１１０、及びコンテンツ統計量算出部１１１を備える。以下、本実施形態においては、コンテンツを静止画像として説明するが、動画像、映像、音響及び音声等の他のコンテンツに対しても適用する構成としても良い。
【0014】
コンテンツ選択部１０は、ユーザが気にいった雰囲気及びテイストを有する元画像を、外部装置、コンテンツデータベース１５、あるいは図示しない入力手段（スキャナーなど）から画像データとして入力する。コンテンツ選択部１０は、入力された元画像の画像データを、コンテンツ雰囲気量算出部１１に対して出力する。
また、コンテンツ選択部１０は、例えば、元画像の雰囲気及びテイストを有するかという観点から分類しようとする画像群（分類対象画像群）を選択する。例えば、コンテンツ選択部１０は、コンテンツデータベース１５から分類対象画像群を選択する。または、コンテンツ選択部１０は、外部装置あるいはスキャナーなど（不図示）から入力された画像群を、分類対象画像群として選択してもよい。コンテンツ選択部１０は、選択した分類対象画像群の画像データをコンテンツ雰囲気量算出部１１に対して出力する。
また、コンテンツ選択部１０は、例えば、元画像の雰囲気及びテイストを有するかという観点から分類しようとする画像群（分類対象画像群）を選択する。例えば、コンテンツ選択部１０は、コンテンツデータベース１５から分類対象画像群を選択する。または、コンテンツ選択部１０は、外部装置あるいはスキャナーなど（不図示）から入力された画像群を、分類対象画像群として選択してもよい。コンテンツ選択部１０は、選択した分類対象画像群の画像データをコンテンツ雰囲気量算出部１１に対して出力する。
【0015】
コンテンツ雰囲気量算出部１１は、コンテンツ特徴量算出部１１０と、コンテンツ統計量算出部１１１とを備える。
コンテンツ雰囲気量算出部１１は、元画像および分類対象画像群に含まれる各々の画像（分類対象画像）の物理特性（例えば、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性など）のうち、特に雰囲気及びテイストという概念で人に知覚される傾向にある特徴をどの程度有しているか（特徴量）を統計的に算出し、算出した統計的な特徴量（統計量）について、ある画像と別の画像との間で比較してその関係性を算出することで、雰囲気がどの程度互いに類似しているかを示す指標であるコンテンツ雰囲気量を算出する。
コンテンツ雰囲気量算出部１１は、元画像および分類対象画像群に含まれる各々の画像（分類対象画像）の物理特性（例えば、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性など）のうち、特に雰囲気及びテイストという概念で人に知覚される傾向にある特徴をどの程度有しているか（特徴量）を統計的に算出し、算出した統計的な特徴量（統計量）について、ある画像と別の画像との間で比較してその関係性を算出することで、雰囲気がどの程度互いに類似しているかを示す指標であるコンテンツ雰囲気量を算出する。
【0016】
コンテンツ特徴量算出部１１０は、元画像、及び分類対象画像群に含まれる分類対象画像の物理特性（例えば、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性など）のうち、特に雰囲気及びテイストという概念で人に知覚される傾向にある特徴量（知覚特徴量）に基づいて、元画像、および分類対象画像の各々のコンテンツ特徴量を算出する。
【0017】
コンテンツ統計量算出部１１１は、コンテンツ特徴量算出部１１０により算出されたコンテンツ特徴量から、画像の所定の物理特性の、所定の領域における知覚特徴に対して、統計的操作を適用することで得られる統計量（知覚統計量）に基づいて、元画像、および分類対象画像の各々のコンテンツ統計量を算出する。
【0018】
コンテンツ雰囲気量算出部１１は、コンテンツ統計量から、ある領域のコンテンツ統計量と他の領域のコンテンツ統計量との間の関係性を定量的に示すコンテンツ関係性量を算出する。例えば、ある画像の互いに異なる領域におけるコンテンツ統計量のコンテンツ関係性量と、別の画像の互いに異なる領域におけるコンテンツ統計量のコンテンツ関係性量と、の間の距離が近い場合、ある画像における所定の領域と、別の画像における所定の領域との雰囲気が互いに類似することになる。
【0019】
さらに詳しく説明する。
コンテンツ特徴量算出部１１０は、元画像、及び分類対象画像のコンテンツ特徴量を算出する。ここで、コンテンツ特徴量は、物理特性（例えば、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性など）のうち、特に雰囲気及びテイストという概念で人に知覚される傾向にある特徴量（知覚特徴量）である。コンテンツ特徴量（知覚特徴量）は、例えば、画像の視知覚特徴を示す、輝度、色度、コントラスト、勾配、エッジ、オプティカルフロー等である。
コンテンツ特徴量算出部１１０は、元画像、及び分類対象画像のコンテンツ特徴量を算出する。ここで、コンテンツ特徴量は、物理特性（例えば、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性など）のうち、特に雰囲気及びテイストという概念で人に知覚される傾向にある特徴量（知覚特徴量）である。コンテンツ特徴量（知覚特徴量）は、例えば、画像の視知覚特徴を示す、輝度、色度、コントラスト、勾配、エッジ、オプティカルフロー等である。
【0020】
コンテンツ特徴量算出部１１０は、例えば、画像における物理特性である濃度（画像の濃淡）特性に対して、画像におけるコントラストや勾配を人が雰囲気及びテイストとして知覚する傾向にあることから、その濃淡の強度を、コンテンツ特徴量（知覚特徴量）として算出する。また、コンテンツ特徴量算出部１１０は、例えば、画像における物理特性である色彩特性に対して、人が画像の輝度や色度を知覚しやすい傾向にあることから、画像における画素値の輝度及び色度を、コンテンツ特徴量（知覚特徴量）として算出する。
【0021】
コンテンツ特徴量算出部１１０は、コンテンツ特徴量（知覚特徴量）を、コンテンツ特徴量データベース１６のコンテンツ特徴量テーブルから抽出する。また、コンテンツ特徴量算出部１１０は、選択したコンテンツ特徴量の各々の算出に用いる演算式を、コンテンツ特徴量データベース１６のコンテンツ特徴量テーブルから読み出す。そして、コンテンツ特徴量算出部１１０は、読み出した演算式により、元画像、及び分類対象画像の各々の画像から上記コンテンツ特徴量を算出する。
【0022】
コンテンツ統計量算出部１１１は、コンテンツ特徴量算出部１１０により算出されたコンテンツ特徴量からコンテンツ統計量（知覚統計量）を算出する。コンテンツ統計量は、画像の所定の物理特性の、所定の領域における知覚特徴に対して、統計的操作を適用することで得られる統計量（知覚統計量）であり、画像における所定の領域の、知覚的な特徴の性質を示す指標となる量である。コンテンツ統計量（知覚統計量）は、例えば、方向別および解像度別の各視知覚特徴量の分布、それらの分布のエンベロープ、ヒストグラム形状特性、或は平均、分散、ヒストグラム、パワースペクトル等である。
【0023】
コンテンツ統計量算出部１１１は、例えば、画像を分割した各領域における濃淡の強度から、その各領域の中でとり得る互いに異なる二つの領域の組合せについて、当該二つの領域における濃淡の強度の相関度合を、コンテンツ統計量（知覚統計量）として算出する。コンテンツ統計量算出部１１１は、例えば、画像を分割した各領域における画素値（輝度や、色度）から各領域間における画素値の相関度合を、コンテンツ統計量（知覚統計量）として算出する。
【0024】
コンテンツ統計量算出部１１１は、コンテンツ統計量（知覚統計量）を、コンテンツ統計量モデルデータベース１７のコンテンツ統計量テーブルから抽出する。また、コンテンツ統計量算出部１１１は、抽出されたコンテンツ統計量の各々の算出に用いる演算式を、コンテンツ統計量モデルデータベース１７のコンテンツ統計量モデルテーブルから読み出す。そして、コンテンツ統計量算出部１１１は、読み出した演算式により、コンテンツ特徴量算出部１１０が求めたコンテンツ特徴量から上記コンテンツ統計量を算出する。
【0025】
コンテンツ雰囲気量算出部１１は、画像に対する所定の特性における所定の領域のコンテンツ統計量、および画像に対する所定のスケール（解像度レベル）における所定の領域のコンテンツ統計量の各々がとり得る二つの領域の組合せの、全ての組合せ各々について、当該二つの領域の間の関係性を算出する。ここで、スケールとは画像の解像度である。また、画像に対して、その画像の解像度を増減させることをスケーリングという。例えば、画像の解像度を、現状の解像度の２（＝２１）倍の細かさに増加させる場合には２を基数とするレベル１のスケールアップ、４（＝２２）倍に増加させる場合にはレベル２のスケールアップ、・・・という。逆に、画像の解像度を、現状の解像度の２分の１に減少させる場合は、２を基数とするレベル１のスケールダウン、４分の１に減少させる場合はレベル２のスケールダウンという。このように、画像の画素の細かさの度合いを画像の元々の解像度を基準にして表したものをスケール（解像度レベル）という。
コンテンツ雰囲気量算出部１１は、算出した関係性の各々を要素とするベクトルをコンテンツ雰囲気量として表す。
コンテンツ雰囲気量は、二つの領域の間の関係性を示す指標であり、例えば、単純相関、シフト相関、または相互相関等である。
コンテンツ雰囲気量算出部１１は、算出した関係性の各々を要素とするベクトルをコンテンツ雰囲気量として表す。
コンテンツ雰囲気量は、二つの領域の間の関係性を示す指標であり、例えば、単純相関、シフト相関、または相互相関等である。
【0026】
座標距離算出部１２は、コンテンツ雰囲気量として表されたベクトル空間における、元画像のコンテンツ雰囲気量（元コンテンツ雰囲気量）の座標値（元コンテンツ座標値）と、分類対象画像のコンテンツ雰囲気量（対象コンテンツ雰囲気量）の座標値（対象コンテンツ座標値）との座標距離を算出する。
【0027】
ここで、上記距離は、例えば、単純な距離比較方法（ユークリッド距離、コサイン距離、ハミング距離、マンハッタン距離等）などを用いる。また、距離が近いほど類似度が高いとしているが、画像全体あるいは一部の面積を占める領域内における画素値の相互情報量やエントロピーあるいは相互相関などを、元画像と初期画像及び分類対象画像の各々との間の類似性の尺度として採用する構成としても良い。すなわち、コンテンツ特徴分布の距離を比較する方法（エントロピー、相互情報量、相互相関等）を用いてもよい。
【0028】
ここで、相互情報量は、２つの画像（元画像と分類対象画像の２つ）における相互の依存度合いを示し、例えば、元画像と分類対象画像との各々の画素値分布が全く無関係であり独立である場合に「０」となり、それぞれの画素値分布が等しくなる場合に最大となる。画素値は画像特徴量として用いられ、画素値分布がコンテンツ統計量として用いられる。このとき、画像特徴をＲＧＢ値すなわち色成分Ｒ、Ｇ及びＢの各々の画素値として選択すれば、（ｒ，ｇ，ｂ）の３次元特徴で表される。そして、元画像と分類対象画像との画素値分布は全画素の（ｒ，ｇ，ｂ）の分布を表している。すなわち、画像中において、画素値がどの程度の確率で出現するのかとすれば、画素値が確率変数に相当し、情報の問題に読み替えることができ、確率分布として考えることができる。
【0029】
また、エントロピーは、「画像における画素値が実際にどのような値を取るか」の曖昧さを示す尺度として示す。例えば、エントロピーが大きい画像は、この画像における画素値のバラツキが大きく、一方、エントロピーが小さい画像は、この画像における画素値のバラツキが小さい（単色画像が小さくなる）。エントロピーをＨとすると、相互情報量において、元画像（Ｘ）と分類対象画像（Ｙ）との依存度は、画像ＸのエントロピーＨ（Ｘ）と、画像Ｙの曖昧さを知った上での画像ＸのエントロピーＨ（Ｘ｜Ｙ）との差（Ｈ（Ｘ）－Ｈ（Ｘ｜Ｙ）＝Ｈ（Ｘ；Ｙ））として、エントロピー差Ｈ（Ｘ；Ｙ）である分布距離が表される。
【0030】
また、画像特徴量は、確率分布に読み替えることができ、確率分布としての距離がＫＬ（カルバック・ライプラー距離）ダイバージェンスやより一般化されたＩ（一般化ＫＬ）ダイバージェンス距離に代表される分布距離となる。これらの分布距離を上記距離に置き換えて、類似度の判定を行う構成としても良い。また、一般的な統計的分類方法（K-means法、Ward法等の階層的クラスタリング法等）、乃至機械学習による方法（Support Vector Machine法、Random Forest法、Boosting法、Neural Network法、Deep Neural Network法等）により、元画像と分類対象画像とのコンテンツ統計量の類似度を上記距離に置き換えても良い。
【0031】
コンテンツ分類部１３は、上記座標距離に基づいて、分類対象画像を元画像と同様の雰囲気及びテイストを有するかという観点で分類する。コンテンツ分類部１３は、例えば、座標距離を昇順にソートし、座標距離の最も小さい分類対象画像から順に元画像と同様の雰囲気等を有する画像であると分類する。この場合において、コンテンツ分類部１３は、上記座標距離と予め設定された閾値との比較を行い、座標距離がこの閾値以下である場合、元画像と分類対象画像とがユーザが同様の雰囲気及びテイストを感じる、すなわち分類対象画像が元画像と同様の雰囲気及びテイストを有すると分類するようにしてもよい。一方、コンテンツ分類部１３は、座標距離がこの閾値を超えている場合、元画像と分類対象画像とがユーザに同様の雰囲気及びテイストを感じさせない、すなわち分類対象画像が元画像と同様の雰囲気及びテイストを有していないと分類する。ここで、上記閾値は、例えば複数の人間により、複数の元画像と、この元画像に対する分類対象画像との比較を行うことで、分類対象画像が元画像と同様の雰囲気及びテイストを有していることが判定できる数値に設定されている。
【0032】
コンテンツ出力部１４は、コンテンツ分類部１３により元画像と同様の雰囲気及びテイストを有する画像として分類された画像を出力する（例えば、図示しない表示手段の表示画面に表示する）。また、コンテンツ出力部１４は、コンテンツ分類部１３により元画像と同様の雰囲気及びテイストを有する画像として分類された画像を、分類画像識別情報を付与し、この分類画像識別情報と組として分類コンテンツ記憶部１８に対して書き込んで記憶させる。
【0033】
コンテンツデータベース１５は、画像群識別情報と、画像群名称及び画像データとが示されたコンテンツ群テーブルが書き込まれて記憶されている。
コンテンツ特徴量データベース１６は、特徴量識別情報と、特徴量名称及び特徴量演算式（モデル）の各々とが示されたコンテンツ特徴量テーブルが書き込まれて記憶されている。
コンテンツ統計量モデルデータベース１７は、統計量識別情報と、統計量名称、特徴量識別情報及び統計量演算式（モデル）の各々とが示されたコンテンツ統計量テーブルが書き込まれて記憶されている。
分類コンテンツ記憶部１８は、ハードディスクなどの記憶媒体であり、分類された分類対象画像の分類画像識別情報と、座標距離に対応付けた画像データが書き込まれて記憶される。
コンテンツ特徴量データベース１６は、特徴量識別情報と、特徴量名称及び特徴量演算式（モデル）の各々とが示されたコンテンツ特徴量テーブルが書き込まれて記憶されている。
コンテンツ統計量モデルデータベース１７は、統計量識別情報と、統計量名称、特徴量識別情報及び統計量演算式（モデル）の各々とが示されたコンテンツ統計量テーブルが書き込まれて記憶されている。
分類コンテンツ記憶部１８は、ハードディスクなどの記憶媒体であり、分類された分類対象画像の分類画像識別情報と、座標距離に対応付けた画像データが書き込まれて記憶される。
【0034】
図２は、コンテンツ特徴量データベース１６におけるコンテンツ特徴量テーブルの構成例を示す図である。図２のコンテンツ特徴量テーブルは、レコード毎に、特徴量識別情報に対応して、特徴量名称及び特徴量演算式（モデル）の各々の欄を有している。特徴量識別情報は、コンテンツ特徴量の各々を識別する識別情報である。特徴量名称は、コンテンツ特徴量の各々の名称を示し、例えば、画像の濃淡、輝度及び色度と、それらのコントラスト、勾配、エッジ、オプティカルフローなどである。また、画像特徴量は、上述した種類のみではなく、画像認識分野にて提案された他の特徴を用いても良い。特徴量演算式（モデル）は、画像（の各々のピクセルの画素値）から、上記特徴量を求めるために用いる演算式（あるいはモデル）である。
【0035】
図３は、コンテンツ統計量モデルデータベース１７におけるコンテンツ統計量テーブルの構成例を示す図である。図３のコンテンツ統計量テーブルは、レコード毎に、統計量識別情報に対応して、統計量名称、統計量演算式（モデル）の各々の欄を有している。統計量識別情報は、コンテンツ統計量の各々を識別する識別情報である。統計名称は、コンテンツ統計量の各々の名称を示し、例えば、平均、分散、ヒストグラム、歪度、尖度、最大値、最小値、中央値、最頻値、偏り、密度、スペクトル、エネルギースペクトル、確率分布、回帰分析、主成分分析、独立成分分析、クラスタリング等を含む。上記統計量演算式（モデル）は、同一のレコードに示された特徴量識別情報の各々のコンテンツ特徴量から、上記統計量を求めるために用いる演算式（あるいはモデル）である。
【0036】
ここで、上記コンテンツ特徴量と上記コンテンツ統計量との各々の説明を補足する。コンテンツ特徴量は、画素単位の情報あるいは当該画素の近傍の他の情報から求められる低次の画像特徴量（例えば、輝度、色度、コントラスト、勾配などの）である。
コンテンツ統計量は、所定の画像の物理特性に関して、所定の画像領域（画像の比較的広い領域や画像全体に至る広い領域）において、領域内の多数の画素に統計的操作（例えば、平均、分散、最大値、最小値、中央値、最頻値、ヒストグラム、偏り、密度、スペクトル、エネルギースペクトル、確率分布、回帰分析、主成分分析、独立成分分析、クラスタリング等を適用することで得られる。
コンテンツ統計量は、所定の画像の物理特性に関して、所定の画像領域（画像の比較的広い領域や画像全体に至る広い領域）において、領域内の多数の画素に統計的操作（例えば、平均、分散、最大値、最小値、中央値、最頻値、ヒストグラム、偏り、密度、スペクトル、エネルギースペクトル、確率分布、回帰分析、主成分分析、独立成分分析、クラスタリング等を適用することで得られる。
【0037】
また、上記コンテンツ雰囲気量は、例えば、所定の画像領域に対して、各々異なる物理特性に関して求めた同一の上記コンテンツ統計量の間での相関ベクトル、あるいは所定の物理特性に対して、各々異なる画像領域において求めた同一の上記コンテンツ統計量間での相関ベクトル、または異なる画像領域において異なる物理特性に関して求めた同一の上記コンテンツ統計量間での相関ベクトルを表し、例えば、同一の方向区分で異なる解像度に対して求めた空間周波数の間の相関である解像度別固定方向空間周波数相関ベクトル、あるいは同一の解像度で異なる方向区分に対して求めた空間周波数間の相関である方向別固定解像度空間周波数間の相関ベクトル、などを含む。
【0038】
また、相互相関は画像間の類似性を表すために用いられ、例えば画像におけるＲＧＢ（Red、Green、Blue）値における色成分Ｒの数値と色成分Ｇの数値との相互相関、色成分Ｒの数値と色成分Ｂの数値との相互相関及び色成分Ｇの数値と色成分Ｂの数値との相互相関の各々が、画像における色成分Ｒ及び色成分Ｇ、色成分Ｒ及び色成分Ｂ、色成分Ｇ及び色成分Ｂそれぞれの関係するコンテンツ統計量として用いることができる。ここで、ＲＧＢ値の各々が画像のコンテンツ特徴量である。
【0039】
上記画像の物理特性は、画像の各々をどのような物理特性で見るか（すなわち、物理特性により評価するか）を表しており、濃度特性、階調特性、色彩特性、空間周波数特性、解像度特性などを含んでいる。また、画像の所定領域は、画像の所定の区分領域を示しており、周波数区分（画像をすでに述べた空間周波数毎に分類）、方向区分（すでに述べた方向別における画像の情報の分類）、色彩区分（すでに述べた画素の色成分による分類）等を含んでいる。
ここで、周波数区分について補足する。一般的なフーリエ変換を用いて、画像から空間周波数算出した場合、画像全体における周波数と強度との対応関係を示す空間周波数特性が算出される。このようにして算出された空間周波数特性について周波数区分ごとに分割しても、画像の位置情報と空間周波数特性との関係を得ることができない。このため、本実施形態では、ウェーブレット変換等の位置情報を保持する周波数変換方法を用いて、画像から空間周波数空間を算出する。そして、画像の位置に基づいて分画した各分画画像における空間周波数特性に基づいて、空間周波数成分毎の統計量（例えば、相関などの統計量）を算出する。これにより、分画した画像同士が、空間周波数特性の観点から強い相関を有しているか否か等を認識することが可能となる。
ここで、周波数区分について補足する。一般的なフーリエ変換を用いて、画像から空間周波数算出した場合、画像全体における周波数と強度との対応関係を示す空間周波数特性が算出される。このようにして算出された空間周波数特性について周波数区分ごとに分割しても、画像の位置情報と空間周波数特性との関係を得ることができない。このため、本実施形態では、ウェーブレット変換等の位置情報を保持する周波数変換方法を用いて、画像から空間周波数空間を算出する。そして、画像の位置に基づいて分画した各分画画像における空間周波数特性に基づいて、空間周波数成分毎の統計量（例えば、相関などの統計量）を算出する。これにより、分画した画像同士が、空間周波数特性の観点から強い相関を有しているか否か等を認識することが可能となる。
【0040】
ここで、物理特性α１、スケール（解像度レベル）β１で求められた画像（特性画像）Ｉα１
β１と、物理特性α２、スケールβ２で求められた特性画像Ｉα２
β２との間の相関ベクトルを、コンテンツ統計量として算出する例について説明する。
【0041】
まず、特性画像Ｉα１
β１と特性画像Ｉα２
β２とは、それぞれＮ個に分割される。ただし、Ｎは任意の自然数である。特性画像Ｉα１
β１と特性画像Ｉα２
β２とは、例えば、方向区分として、画像の中心から、角度（３６０°／Ｎ）毎に放射状に伸ばした境界線により分画されることにより、Ｎ個に分割される。ここで、特性画像が画像における濃淡の強度特性を示す強度画像である場合には、その強度画像が分割される。また、特性画像が画像における色度特性を示す色度画像である場合には、画素値（Ｒ、Ｇ、Ｂ）の各成分、（Ｒ－Ｇ、Ｙ－Ｂ）の各成分、或いは（Ｌ＊、ａ＊、ｂ＊）の各成分が示された色度画像が分割される。また、特性画像が空間周波数特性を示す画像である場合には、特性画像の元の画像が分割され、分割された各々の画像に対して、画像横方向の空間周波数、及び画像縦方向の空間周波数が示された空間周波数平面が生成される。或いは、特性画像の各々は、配置区分として、画像平面上を升目状にＮ個に分割されてもよい。この場合、特性画像は、例えば画像横方向にｎ１個、縦方向にｎ２個に等分画される。ただし、ｎ１、ｎ２の各々は、ｎ１×ｎ２＝Ｎの関係をみたす自然数である。
【0042】
次に、特性画像Ｉα１
β１をＮ個に分画した各区分に対して、特性画像Ｉα２
β２をＮ個に分画した各区分との間の相関値が算出される。相関値は、例えば、以下の式（１）で示される。ここで、ＶＰｓｔａｔ１は相関値、α１は特性画像Ｉ１の特性、β１は特性画像Ｉ１のスケール、α２は特性画像Ｉ２の特性、β２は特性画像Ｉ２のスケール、Ｎは特性画像Ｉ１、Ｉ２の区分数、Ｓ１は特性画像Ｉ１の一つの区分、Ｓ２は特性画像Ｉ２の一つの区分、νｋ
１は区分Ｓ１内の各画素値、νｋ
２は区分Ｓ２内の各画素値、ｗは特性画像の幅（横）方向の画素数、ｈは特性画像の高さ（縦）方向の画素数をそれぞれ示す。
【0043】
【数1】
【0044】
式（１）に示される相関値が、特性画像Ｉα１
β１のＮ個の区分それぞれに対する、特性画像Ｉα２
β２のＮ個の区分との組み合わせ全てについて算出される。また相関値は、特性毎、スケール毎に算出される。つまり、特性数をＮα、スケール数をＮβとして、（Ｎα×Ｎβ×Ｎ）２個の相関値が算出され、結局、コンテンツ統計量（知覚統計量）としての相関値は、以下の式（２）に示すような、（Ｎα×Ｎβ×Ｎ）２次元のベクトルとなる。
【0045】
【数2】
【0046】
あるいは、特性画像Ｉα１
β１をＮ個に分画した各区分に対して、特性画像Ｉα２
β２をＮ個に分画した各区分との間の関係について、以下の式（３）に示されるシフト相関値が算出されてもよい。ここで、ＶＰｓｔａｔ３はシフト相関値、α１は特性画像Ｉ１の特性、β１は特性画像Ｉ１のスケール、α２は特性画像Ｉ２の特性、β２は特性画像Ｉ２のスケール、Ｎは特性画像Ｉ１、Ｉ２の区分数、Ｓ１は特性画像Ｉ１の一つの区分、Ｓ２は特性画像Ｉ２の一つの区分、ｍはシフト数、νｋ
１は区分Ｓ１内の各画素値、νｋ
２は区分Ｓ２内の各画素値、ｗは特性画像の幅（横）方向の画素数、ｈは特性画像の高さ（縦）方向の画素数をそれぞれ示す。
【0047】
【数3】
【0048】
式（３）に示すシフト相関に基づくコンテンツ雰囲気量としての相関ベクトルは、シフト数ｍが取り得る値（０からＮ－１まで）に対応する相関値、つまり、Ｎ個の相関値が算出される。結局、コンテンツ統計量（知覚統計量）としてのシフト相関ベクトルは、（Ｎα×Ｎβ×Ｎ）２×Ｎ次元のベクトルとなる。
【0049】
また、特性画像Ｉα１
β１をＮ個に分画した各区分におけるコンテンツ特徴量（知覚特徴量）としての「強度」は、一つの要素が、以下の式（４）で示される（Ｎα×Ｎβ×Ｎ）次元のベクトルとなる。ここで、ＶＰｓｔａｔ４はエネルギー、α１は特性画像Ｉ１の特性、β１は特性画像Ｉ１のスケール、Ｎは特性画像Ｉ１の区分数、Ｓ１は特性画像Ｉ１の一つの区分、νｋ
１は区分Ｓ１内の各画素値、ｗは特性画像の幅（横）方向の画素数、ｈは特性画像の高さ（縦）方向の画素数をそれぞれ示す。
【0050】
【数4】
【0051】
式（４）のエネルギーに対応するコンテンツ統計量（知覚統計量）としての「エネルギー」は、一つの要素が、以下の式（５）に示される（Ｎα×Ｎβ×Ｎ）２次元のベクトルとなる。ここで、ＶＰｓｔａｔ５はエネルギー相関、α１は特性画像Ｉ１の特性、β１は特性画像Ｉ１のスケール、α２は特性画像Ｉ２の特性、β２は特性画像Ｉ２のスケール、Ｎは特性画像Ｉ１、Ｉ２の区分数、Ｓ１は特性画像Ｉ１の一つの区分、Ｓ２は特性画像Ｉ２の一つの区分、νｋ
１は区分Ｓ１内の各画素値、νｋ
２は区分Ｓ２内の各画素値、ｗは特性画像の幅（横）方向の画素数、ｈは特性画像の高さ（縦）方向の画素数をそれぞれ示す。
【0052】
【数5】
【0053】
図４は、本実施形態によるコンテンツ分類装置１が行なう分類対象画像群から元画像と同様の雰囲気及びテイストを有する画像を分類する処理（以下、単に分類処理という）の動作例を示すフローチャートである。以下に示すフローチャートにおいては、すでに、コンテンツ特徴量及びコンテンツ特徴量を求めるための演算式（モデル）がコンテンツ特徴量データベース１６に書き込まれて記憶され、またコンテンツ統計量及びコンテンツ統計量を求めるための演算式（モデル）がコンテンツ統計量モデルデータベース１７に書き込まれて記憶されていることを前提に説明する。
【0054】
ステップＳ１０：
コンテンツ選択部１０は、ユーザの操作により外部装置から入力された、画像を分類する際の基準となる元画像を、コンテンツ特徴量算出部１１０に対して出力する。
コンテンツ選択部１０は、ユーザの操作により外部装置から入力された、画像を分類する際の基準となる元画像を、コンテンツ特徴量算出部１１０に対して出力する。
【0055】
ステップＳ１１：
コンテンツ選択部１０は、コンテンツデータベース１５から、分類対象画像群を抽出する。そして、コンテンツ選択部１０は、抽出した対象選択画像群のうちの一つの画像を分類対象画像としてコンテンツ特徴量算出部１１０に対して出力する。なお、コンテンツ選択部１０は、外部メモリ、または通信ネットワークを介してユーザの操作により入力された画像群を、分類対象画像群として選択してもよい。
コンテンツ選択部１０は、コンテンツデータベース１５から、分類対象画像群を抽出する。そして、コンテンツ選択部１０は、抽出した対象選択画像群のうちの一つの画像を分類対象画像としてコンテンツ特徴量算出部１１０に対して出力する。なお、コンテンツ選択部１０は、外部メモリ、または通信ネットワークを介してユーザの操作により入力された画像群を、分類対象画像群として選択してもよい。
【0056】
ステップＳ１２：
コンテンツ特徴量算出部１１０は、分類処理に用いる画像特徴量の種類を選択する。コンテンツ特徴量算出部１１０は、例えば、ユーザの操作により指定された画像特徴量の種類に対応する特徴量識別情報を、コンテンツ特徴量データベース１６のコンテンツ特徴量テーブルにおいて検索する。そして、コンテンツ特徴量算出部１１０は、特徴量識別情報に対応するコンテンツ特徴量を求めるための特徴量演算式（モデル）をコンテンツ特徴量テーブルから読み出す。
コンテンツ特徴量算出部１１０は、分類処理に用いる画像特徴量の種類を選択する。コンテンツ特徴量算出部１１０は、例えば、ユーザの操作により指定された画像特徴量の種類に対応する特徴量識別情報を、コンテンツ特徴量データベース１６のコンテンツ特徴量テーブルにおいて検索する。そして、コンテンツ特徴量算出部１１０は、特徴量識別情報に対応するコンテンツ特徴量を求めるための特徴量演算式（モデル）をコンテンツ特徴量テーブルから読み出す。
【0057】
ステップＳ１３：
コンテンツ統計量算出部１１１は、分類処理に用いる画像統計量の種類を選択する。コンテンツ統計量算出部１１１は、例えば、ユーザの操作により指定された画像統計量の種類に対応する、コンテンツ統計量モデルデータベース１７のコンテンツ統計量モデルテーブルに記憶された統計量名称を選択する。コンテンツ統計量算出部１１１は、選択した統計量名称に対応する特徴量識別情報を、コンテンツ統計量モデルデータベース１７のコンテンツ統計量モデルテーブルから読み出す。なお、ここでユーザにより指定されるコンテンツ統計量の種類は一つであってもよいし複数であってもよい。
コンテンツ統計量算出部１１１は、分類処理に用いる画像統計量の種類を選択する。コンテンツ統計量算出部１１１は、例えば、ユーザの操作により指定された画像統計量の種類に対応する、コンテンツ統計量モデルデータベース１７のコンテンツ統計量モデルテーブルに記憶された統計量名称を選択する。コンテンツ統計量算出部１１１は、選択した統計量名称に対応する特徴量識別情報を、コンテンツ統計量モデルデータベース１７のコンテンツ統計量モデルテーブルから読み出す。なお、ここでユーザにより指定されるコンテンツ統計量の種類は一つであってもよいし複数であってもよい。
【0058】
ステップＳ１４：
コンテンツ特徴量算出部１１０は、読み出したコンテンツ特徴量を求めるための特徴量演算式（モデル）を用い、元画像の画像データ及び分類対象画像の画像データの各々から、それぞれコンテンツ特徴量を算出する。そして、コンテンツ特徴量算出部１１０は、算出した元画像及び分類対象画像の各々のコンテンツ特徴量をコンテンツ統計量算出部１１１に対して出力する。
コンテンツ特徴量算出部１１０は、読み出したコンテンツ特徴量を求めるための特徴量演算式（モデル）を用い、元画像の画像データ及び分類対象画像の画像データの各々から、それぞれコンテンツ特徴量を算出する。そして、コンテンツ特徴量算出部１１０は、算出した元画像及び分類対象画像の各々のコンテンツ特徴量をコンテンツ統計量算出部１１１に対して出力する。
【0059】
ステップＳ１５：
コンテンツ統計量算出部１１１は、コンテンツ特徴量算出部１１０から供給される元画像及び分類対象画像の各々のコンテンツ特徴量を用い、元画像、分類対象画像それぞれのコンテンツ統計量を算出する。
コンテンツ統計量算出部１１１は、コンテンツ特徴量算出部１１０から供給される元画像及び分類対象画像の各々のコンテンツ特徴量を用い、元画像、分類対象画像それぞれのコンテンツ統計量を算出する。
【0060】
ステップＳ１６：
コンテンツ雰囲気量算出部１１は、元画像および分類対象画像の各々について、領域毎にとり得る二つの領域の組合せの、全ての組合せについて、当該二つの領域におけるコンテンツ統計量の間の関係性（例えば、相関値）を算出し、算出した関係性コンテンツ統計量の各々を要素とするベクトルをコンテンツ雰囲気量として構成する。
コンテンツ雰囲気量算出部１１は、元画像および分類対象画像の各々について、領域毎にとり得る二つの領域の組合せの、全ての組合せについて、当該二つの領域におけるコンテンツ統計量の間の関係性（例えば、相関値）を算出し、算出した関係性コンテンツ統計量の各々を要素とするベクトルをコンテンツ雰囲気量として構成する。
【0061】
ステップＳ１７：
座標距離算出部１２は、ユーザが設定したコンテンツ雰囲気量を軸とする雰囲気量空間において、元画像のコンテンツ雰囲気量の座標値と、分類対象画像のコンテンツ雰囲気量の座標値との間の距離である座標距離を算出する（求める）。例えば、コンテンツ雰囲気量が単数の場合、１次元雰囲気量空間における元画像のコンテンツ統計量の座標値と、分類対象画像のコンテンツ雰囲気量の座標値との間の距離が求められる。一方、コンテンツ統計量が複数（ｎ≧２）次元のベクトルの場合、ｎ次元雰囲気量空間における元画像のコンテンツ雰囲気量のベクトルの示す座標値と、分類対象画像のコンテンツ雰囲気量のベクトルの示す座標値との間の座標距離を求める。そして、座標距離算出部１２は、求めた元画像及び分類対象画像のコンテンツ雰囲気量の座標間の座標距離を、コンテンツ分類部１３に対して出力する。
座標距離算出部１２は、ユーザが設定したコンテンツ雰囲気量を軸とする雰囲気量空間において、元画像のコンテンツ雰囲気量の座標値と、分類対象画像のコンテンツ雰囲気量の座標値との間の距離である座標距離を算出する（求める）。例えば、コンテンツ雰囲気量が単数の場合、１次元雰囲気量空間における元画像のコンテンツ統計量の座標値と、分類対象画像のコンテンツ雰囲気量の座標値との間の距離が求められる。一方、コンテンツ統計量が複数（ｎ≧２）次元のベクトルの場合、ｎ次元雰囲気量空間における元画像のコンテンツ雰囲気量のベクトルの示す座標値と、分類対象画像のコンテンツ雰囲気量のベクトルの示す座標値との間の座標距離を求める。そして、座標距離算出部１２は、求めた元画像及び分類対象画像のコンテンツ雰囲気量の座標間の座標距離を、コンテンツ分類部１３に対して出力する。
【0062】
ステップＳ１８：
コンテンツ分類部１３は、分類対象画像群に含まれる画像全てについて、上記座標距離が算出されたか否かの判定を行う。このとき、座標距離判定部１０６は、分類対象画像群に含まれる画像全てについて上記座標距離が算出されている場合、処理をステップＳ１８へ進める。一方、座標距離判定部１０６は、分類対象画像群に含まれる画像全てについて上記座標距離が算出されていない場合、処理をステップＳ１９へ進める。
コンテンツ分類部１３は、分類対象画像群に含まれる画像全てについて、上記座標距離が算出されたか否かの判定を行う。このとき、座標距離判定部１０６は、分類対象画像群に含まれる画像全てについて上記座標距離が算出されている場合、処理をステップＳ１８へ進める。一方、座標距離判定部１０６は、分類対象画像群に含まれる画像全てについて上記座標距離が算出されていない場合、処理をステップＳ１９へ進める。
【0063】
ステップＳ１９：
コンテンツ分類部１３は、分類対象画像群に含まれる画像を、上記座標距離に基づいて分類する。コンテンツ分類部１３は、分類対象画像群に含まれる画像全てについて、各画像に対応する上記座標距離の小さい順から大きい順に昇順にソートする。コンテンツ分類部１３は、上記座標距離が最も小さい画像が最も元画像と同様の雰囲気及びテイストを有する画像として分類する。コンテンツ分類部１３は、上記座標距離が大きくなるに従い、元画像と同様の雰囲気及びテイストを有しない画像として分類する。
また、コンテンツ出力部１４は、分類コンテンツ記憶部１８に対し、分類対象画像を分類した結果を、所定の画像フォーマットにより書き込んで記憶させる。
コンテンツ分類部１３は、分類対象画像群に含まれる画像を、上記座標距離に基づいて分類する。コンテンツ分類部１３は、分類対象画像群に含まれる画像全てについて、各画像に対応する上記座標距離の小さい順から大きい順に昇順にソートする。コンテンツ分類部１３は、上記座標距離が最も小さい画像が最も元画像と同様の雰囲気及びテイストを有する画像として分類する。コンテンツ分類部１３は、上記座標距離が大きくなるに従い、元画像と同様の雰囲気及びテイストを有しない画像として分類する。
また、コンテンツ出力部１４は、分類コンテンツ記憶部１８に対し、分類対象画像を分類した結果を、所定の画像フォーマットにより書き込んで記憶させる。
【0064】
ステップＳ２０：
コンテンツ選択部１０は、対象選択画像群に含まれる画像のうち、まだ分類していない画像を分類対象画像としてコンテンツ特徴量算出部１１０に対して出力する。そして、コンテンツ選択部１０は、処理をステップＳ１４へ進める。これにより、分類対象画像のコンテンツ特徴量、コンテンツ統計量、およびコンテンツ雰囲気量が求められ、再度、元画像との座標距離の判定が行われる。
コンテンツ選択部１０は、対象選択画像群に含まれる画像のうち、まだ分類していない画像を分類対象画像としてコンテンツ特徴量算出部１１０に対して出力する。そして、コンテンツ選択部１０は、処理をステップＳ１４へ進める。これにより、分類対象画像のコンテンツ特徴量、コンテンツ統計量、およびコンテンツ雰囲気量が求められ、再度、元画像との座標距離の判定が行われる。
【0065】
本実施形態においては、分類対象画像を分類する際、元画像と分類対象画像との各々のコンテンツ統計量それぞれの座標値間の座標距離をソートして分類対象画像を元画像と同様の雰囲気及びテイストを有する度合の高い順（座標距離の小さい順）に分類している。
しかしながら、上記座標距離が所定の閾値以下の分類対象画像を、元画像と同様の雰囲気及びテイストを有する画像として分類する構成としてもよい。また、座標距離の小さい順に、所定の個数（例えば１０個）の画像を元画像と同様の雰囲気及びテイストを有する画像として分類する構成としてもよい。
しかしながら、上記座標距離が所定の閾値以下の分類対象画像を、元画像と同様の雰囲気及びテイストを有する画像として分類する構成としてもよい。また、座標距離の小さい順に、所定の個数（例えば１０個）の画像を元画像と同様の雰囲気及びテイストを有する画像として分類する構成としてもよい。
【0066】
図５は、図４に示すフローチャートにおける分類処理の処理結果を示す図である。図５（ａ）は分類対象画像群（画像Ｇ－１～Ｇ－２３、…）、図５（ｂ）は分類の基準とした元画像Ｇ－３０、図５（ｃ）は図５（ａ）に示す分類対象画像群の中で元画像Ｇ－３０と同様な雰囲気及びテイストを有すると分類された上位１０の画像である画像Ｇ－４０～Ｇ－４９をそれぞれ示す。図５（ｄ）は分類の基準とした元画像Ｇ－５０、図５（ｅ）は図５（ａ）に示す分類対象画像群の中で元画像Ｇ－５０と同様な雰囲気及びテイストを有すると分類された上位１０の画像である画像Ｇ－６０～Ｇ－６９をそれぞれ示す。図５に示すように、実施形態のコンテンツ分類装置１により、分類対象画像群に含まれる画像の中から、元画像Ｇ－３０（又はＧ－５０）と同様な雰囲気及びテイストを有する画像が分類されたことが確認できる。
【0067】
第１の実施形態によれば、鑑賞対象の元画像（元コンテンツ）に対して人間が抱く雰囲気やテイストなどの感覚に対応する画像特徴量（コンテンツ特徴量）、および画像統計量（コンテンツ統計量）を、人間の視覚（知覚）系の神経機構の処理過程モデルを反映した画像統計量（コンテンツ統計量）として数値化し、統計量空間における座標値として示し、元画像と分類対象画像（対象コンテンツ）との座標値間の座標距離を判定することにより、人間が抱く雰囲気やテイストなどの感覚（人間の脳の知覚処理）を、従来に比較してより正確に再現することができ、鑑賞対象の元画像と同様な感覚を有する他のコンテンツ（対象コンテンツ）を、不特定の画像群（分類対象画像群）の中から分類することが可能となる。
【0068】
なお、人の脳機能の解明が進むにしたがって、この他にも多くの視知覚特徴が発見されつつあり、それらを含めてもよい。
【0069】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図６は、本発明の第２の実施形態によるコンテンツ分類装置１Ａの構成例を示すブロック図である。図６におけるコンテンツ分類装置１Ａは、コンテンツ特徴量算出部１１０Ａが機械学習により生成されたコンテンツ特徴量モデルを用いてコンテンツ特徴量を算出する点、及びコンテンツ統計量算出部１１１Ａが機械学習により生成されたコンテンツ統計量モデルを用いてコンテンツ統計量を算出する点において、上記第１の実施形態と相違する。また、本実施形態では、コンテンツ分類装置１Ａが学習済みモデルデータベース１９を備える。なお、本実施形態においては、第１の実施形態による図１の構成と同様の構成については同一の符号を付している。
以下、本実施形態においては、コンテンツを静止画像として説明するが、第１の実施形態と同様に、動画像、映像、音響及び音声等の他のコンテンツに対しても適用する構成としても良い。
以下、本発明の第２の実施形態について、図面を参照して説明する。
図６は、本発明の第２の実施形態によるコンテンツ分類装置１Ａの構成例を示すブロック図である。図６におけるコンテンツ分類装置１Ａは、コンテンツ特徴量算出部１１０Ａが機械学習により生成されたコンテンツ特徴量モデルを用いてコンテンツ特徴量を算出する点、及びコンテンツ統計量算出部１１１Ａが機械学習により生成されたコンテンツ統計量モデルを用いてコンテンツ統計量を算出する点において、上記第１の実施形態と相違する。また、本実施形態では、コンテンツ分類装置１Ａが学習済みモデルデータベース１９を備える。なお、本実施形態においては、第１の実施形態による図１の構成と同様の構成については同一の符号を付している。
以下、本実施形態においては、コンテンツを静止画像として説明するが、第１の実施形態と同様に、動画像、映像、音響及び音声等の他のコンテンツに対しても適用する構成としても良い。
【0070】
以下、第２の実施形態によるコンテンツ分類装置１Ａに対して、第１の実施形態のコンテンツ分類装置１と異なる構成及び動作のみの説明を行う。
コンテンツ特徴量算出部１１０Ａは、コンテンツ特徴量を出力するコンテンツ特徴量モデルを機械学習により生成する。すなわち、ユーザがニューラルネットワークなどの推定モデルに対して、入力層を形成して教師画像の画像データ（全てのピクセルの各々の情報量）を入力する。また、上記推定モデルに対して、ユーザは出力層を形成して教師画像の画像データを出力とする。この推定モデルとしてのニューラルネットは、例えば、入力層、中間層及び出力層の３層から構成されている。ここで、中間層は、入力層への入力数及び出力層から出力数よりも、少ない入力数及び出力数により構成する。
コンテンツ特徴量算出部１１０Ａは、コンテンツ特徴量を出力するコンテンツ特徴量モデルを機械学習により生成する。すなわち、ユーザがニューラルネットワークなどの推定モデルに対して、入力層を形成して教師画像の画像データ（全てのピクセルの各々の情報量）を入力する。また、上記推定モデルに対して、ユーザは出力層を形成して教師画像の画像データを出力とする。この推定モデルとしてのニューラルネットは、例えば、入力層、中間層及び出力層の３層から構成されている。ここで、中間層は、入力層への入力数及び出力層から出力数よりも、少ない入力数及び出力数により構成する。
【0071】
これにより、コンテンツ特徴量算出部１１０Ａは、複数の異なる教師データの各々の画像データを入力とし、それぞれの教師画像の画像データが出力される推定モデル（オートエンコーダ：自己符号化器）の学習を行う。すなわち、コンテンツ特徴量算出部１１０Ａは、教師画像の画像データが入力された場合、入力された教師画像と同様な画像が出力される推定モデルを、機械学習により生成する。そして、コンテンツ特徴量算出部１１０Ａは、推定モデルを構成する入力層及び中間層（出力層の前段の層）の各々を、推定コンテンツ特徴量モデルとして抽出する。コンテンツ特徴量算出部１１０Ａは、推定コンテンツ特徴量モデルの出力を推定コンテンツ特徴量（推定画像特徴量）として用いる。
また、コンテンツ特徴量算出部１１０Ａは、機械学習により生成した上記推定モデルを学習済みモデルデータベース１９に記憶させる。
また、コンテンツ特徴量算出部１１０Ａは、機械学習により生成した上記推定モデルを学習済みモデルデータベース１９に記憶させる。
【0072】
コンテンツ統計量算出部１１１Ａは、コンテンツ統計量を出力するコンテンツ統計量モデルを機械学習により生成する。すなわち、ユーザがニューラルネットワークなどの推定モデルに対して、入力層を形成して教師画像のコンテンツ特徴量を入力する。ここでのコンテンツ特徴量が、例えば、第１の実施形態で示したコンテンツ特徴量、或いは第２の実施形態で示したコンテンツ特徴量算出部１１０Ａが推定コンテンツ特徴量モデルから出力させた推定コンテンツ特徴量である。また、上記推定モデルに対して、ユーザは出力層を形成して教師画像の画像データを出力とする。この推定モデルとしてのニューラルネットは、例えば、入力層、中間層及び出力層の３層から構成されている。ここで、中間層は、入力層への入力数及び出力層から出力数よりも、少ない入力数及び出力数により構成する。
【0073】
これにより、コンテンツ統計量算出部１１１Ａは、複数の異なる教師画像の各々のコンテンツ特徴量のデータを入力とし、それぞれの教師画像のコンテンツ特徴量が出力される推定モデルの学習を行う。すなわち、コンテンツ統計量算出部１１１Ａは、教師画像のコンテンツ特徴量が入力された場合、入力された教師画像のコンテンツ特徴量と同様なコンテンツ特徴量が出力される推定モデル（オートエンコーダ：自己符号化器）を、機械学習により生成する。そして、コンテンツ特徴量算出部１１０Ａは、推定モデルを構成する入力層及び中間層（出力層の前段の層）の各々を、推定コンテンツ統計量モデルとして抽出する。コンテンツ統計量算出部１１１Ａは、推定コンテンツ統計量モデルの出力を推定コンテンツ統計量（推定画像統計量）として用いる。
また、コンテンツ統計量算出部１１１Ａは、機械学習により生成した上記推定モデルを、学習済みモデルデータベース１９に記憶させる。
また、コンテンツ統計量算出部１１１Ａは、機械学習により生成した上記推定モデルを、学習済みモデルデータベース１９に記憶させる。
【0074】
図７は、本実施形態によるコンテンツ分類装置１Ａが行なう分類処理の動作例を示すフローチャートである。以下に示すフローチャートにおいては、すでに、コンテンツ特徴量算出部１１０Ａにより生成され、教師画像の画像データが入力された場合、入力された教師画像と同様な画像が出力される推定モデルが、学習済みモデルデータベース１９に書き込まれて記憶されていること、及びコンテンツ統計量及びコンテンツ統計量を求めるための演算式（モデル）がコンテンツ統計量モデルデータベース１７に書き込まれて記憶されていることを前提に説明する。
なお、図７のステップＳ１０～Ｓ１１、及びＳ１６～Ｓ１９の各々に示す処理については、図４において同じ符号で示す処理と同様であるため、その説明を省略する。
なお、図７のステップＳ１０～Ｓ１１、及びＳ１６～Ｓ１９の各々に示す処理については、図４において同じ符号で示す処理と同様であるため、その説明を省略する。
【0075】
ステップＳ１２Ａ：
コンテンツ特徴量算出部１１０Ａは、画像特徴量モデルを抽出する推定モデルを、学習済みモデルデータベース１９から選択する。コンテンツ特徴量算出部１１０Ａは、例えば、元画像、及び分類対象画像のデータ量等に応じて上記推定モデルを選択するようにしてよい。
コンテンツ特徴量算出部１１０Ａは、画像特徴量モデルを抽出する推定モデルを、学習済みモデルデータベース１９から選択する。コンテンツ特徴量算出部１１０Ａは、例えば、元画像、及び分類対象画像のデータ量等に応じて上記推定モデルを選択するようにしてよい。
【0076】
ステップＳ１３Ａ：
コンテンツ統計量算出部１１１Ａは、画像統計量モデルを抽出する推定モデルを、学習済みモデルデータベース１９から選択する。コンテンツ統計量算出部１１１Ａは、例えば、分類する画像の数やカテゴリに応じて上記推定モデルを選択するようにしてよい。
コンテンツ統計量算出部１１１Ａは、画像統計量モデルを抽出する推定モデルを、学習済みモデルデータベース１９から選択する。コンテンツ統計量算出部１１１Ａは、例えば、分類する画像の数やカテゴリに応じて上記推定モデルを選択するようにしてよい。
【0077】
ステップＳ１４Ａ：
コンテンツ特徴量算出部１１０Ａは、選択した推定モデルに、元画像、又は分類対象画像の画像データを入力することにより、元画像、又は分類対象画像の各々の画像における上記コンテンツ特徴量を算出する。
コンテンツ特徴量算出部１１０Ａは、選択した推定モデルに、元画像、又は分類対象画像の画像データを入力することにより、元画像、又は分類対象画像の各々の画像における上記コンテンツ特徴量を算出する。
【0078】
ステップＳ１５Ａ：
コンテンツ統計量算出部１１１Ａは、選択した推定モデルに、元画像、及び分類対象画像のコンテンツ特徴量を入力することにより、元画像と分類対象画像との間の画像統計量を算出する。
コンテンツ統計量算出部１１１Ａは、選択した推定モデルに、元画像、及び分類対象画像のコンテンツ特徴量を入力することにより、元画像と分類対象画像との間の画像統計量を算出する。
【0079】
図８は、本実施形態によるコンテンツ分類装置１Ａにおけるコンテンツ特徴量算出部１１０Ａが行なう推定コンテンツ特徴量を算出する処理の動作例を示すフローチャートである。
【0080】
ステップＳ２１：
コンテンツ特徴量算出部１１０Ａは、ユーザが入力する複数の教師画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの教師画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
コンテンツ特徴量算出部１１０Ａは、ユーザが入力する複数の教師画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの教師画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
【0081】
ステップＳ２２：
コンテンツ特徴量算出部１１０Ａは、上記教師画像の画像データの各ピクセルの情報を入力する入力層と、推定された推定画像の画像データのピクセルを出力する出力層の構成を設定する。そして、コンテンツ特徴量算出部１１０Ａは、入力層から供給される画像データ及び出力層から出力される画像データに比較し、より少ないデータの入力数及び出力数を有する中間層を設定する。コンテンツ特徴量算出部１１０Ａは、上記入力層、中間層及び出力層から構成されるニューラルネットの推定モデルを構成する。
コンテンツ特徴量算出部１１０Ａは、上記教師画像の画像データの各ピクセルの情報を入力する入力層と、推定された推定画像の画像データのピクセルを出力する出力層の構成を設定する。そして、コンテンツ特徴量算出部１１０Ａは、入力層から供給される画像データ及び出力層から出力される画像データに比較し、より少ないデータの入力数及び出力数を有する中間層を設定する。コンテンツ特徴量算出部１１０Ａは、上記入力層、中間層及び出力層から構成されるニューラルネットの推定モデルを構成する。
【0082】
ステップＳ２３：
コンテンツ特徴量算出部１１０Ａは、上記推定モデルの入力層に対して、教師画像の画像データにおけるピクセルの情報を入力し、出力層から入力した教師画像の画像データと同様のピクセルの情報が出力されるように、中間層の機械学習を行う。コンテンツ特徴量算出部１１０Ａは、上記機械学習の処理を、全ての教師画像の各々の画像データを用いて行い、それぞれの出力される画像データのピクセルの情報が、入力される教師画像の画像データのピクセルの情報と所定の範囲で類似した場合、その時点の推定モデルを元画像推定モデルとする。
コンテンツ特徴量算出部１１０Ａは、上記推定モデルの入力層に対して、教師画像の画像データにおけるピクセルの情報を入力し、出力層から入力した教師画像の画像データと同様のピクセルの情報が出力されるように、中間層の機械学習を行う。コンテンツ特徴量算出部１１０Ａは、上記機械学習の処理を、全ての教師画像の各々の画像データを用いて行い、それぞれの出力される画像データのピクセルの情報が、入力される教師画像の画像データのピクセルの情報と所定の範囲で類似した場合、その時点の推定モデルを元画像推定モデルとする。
【0083】
ステップＳ２４：
コンテンツ特徴量算出部１１０Ａは、学習により求めた元画像推定モデルにおける出力層を取り外し、入力層及び中間層からなる推定コンテンツ特徴量モデル（推定画像特徴量モデル）として抽出する。
コンテンツ特徴量算出部１１０Ａは、学習により求めた元画像推定モデルにおける出力層を取り外し、入力層及び中間層からなる推定コンテンツ特徴量モデル（推定画像特徴量モデル）として抽出する。
【0084】
ステップＳ２５：
コンテンツ特徴量算出部１１０Ａは、中間層の出力である推定コンテンツ特徴量モデルを、コンテンツ特徴量を出力するモデルとして、学習済みモデルデータベース１９に書き込んで記憶させる（登録する）。
コンテンツ特徴量算出部１１０Ａは、中間層の出力である推定コンテンツ特徴量モデルを、コンテンツ特徴量を出力するモデルとして、学習済みモデルデータベース１９に書き込んで記憶させる（登録する）。
【0085】
図９は、本実施形態によるコンテンツ分類装置１Ａにおけるコンテンツ統計量算出部１１１Ａが行なう推定コンテンツ統計量を算出する処理の動作例を示すフローチャートである。
【0086】
ステップＳ３０：
コンテンツ統計量算出部１１１Ａは、ユーザが入力する複数の教師画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの教師画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
コンテンツ統計量算出部１１１Ａは、ユーザが入力する複数の教師画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの教師画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
【0087】
ステップＳ３１：
ユーザは推定コンテンツ統計量モデルを算出する際に用いるコンテンツ特徴量（画像特徴量）の組合せを、コンテンツ分類装置１Ａの入力手段を介して、コンテンツ統計量算出部１１１Ａに対して入力する。
ユーザは推定コンテンツ統計量モデルを算出する際に用いるコンテンツ特徴量（画像特徴量）の組合せを、コンテンツ分類装置１Ａの入力手段を介して、コンテンツ統計量算出部１１１Ａに対して入力する。
【0088】
ステップＳ３２：
コンテンツ統計量算出部１１１Ａは、コンテンツ特徴量算出部１１０Ａに対して、教師画像の各々から、選択した組合せにおけるコンテンツ特徴量の算出を行わせる。
コンテンツ特徴量算出部１１０は、教師画像の各々において、上記組合せにおける種類のコンテンツ特徴量それぞれを求める。
コンテンツ統計量算出部１１１Ａは、コンテンツ特徴量算出部１１０Ａに対して、教師画像の各々から、選択した組合せにおけるコンテンツ特徴量の算出を行わせる。
コンテンツ特徴量算出部１１０は、教師画像の各々において、上記組合せにおける種類のコンテンツ特徴量それぞれを求める。
【0089】
ステップＳ３３：
コンテンツ統計量算出部１１１Ａは、上記教師画像のコンテンツ特徴量のデータを入力する入力層と、推定されたコンテンツ特徴量のデータを出力する出力層の構成を設定する。そして、コンテンツ統計量算出部１１１Ａは、入力層から供給される画像データ及び出力層から出力される画像データに比較し、より少ないデータの入力数及び出力数を有する中間層を設定する。コンテンツ統計量算出部１１１Ａは、上記入力層、中間層及び出力層から構成されるニューラルネットの推定モデルを構成する。
コンテンツ統計量算出部１１１Ａは、上記教師画像のコンテンツ特徴量のデータを入力する入力層と、推定されたコンテンツ特徴量のデータを出力する出力層の構成を設定する。そして、コンテンツ統計量算出部１１１Ａは、入力層から供給される画像データ及び出力層から出力される画像データに比較し、より少ないデータの入力数及び出力数を有する中間層を設定する。コンテンツ統計量算出部１１１Ａは、上記入力層、中間層及び出力層から構成されるニューラルネットの推定モデルを構成する。
【0090】
ステップＳ３４：
コンテンツ統計量算出部１１１Ａは、上記推定モデルの入力層に対して、教師画像の特徴量のデータを入力し、出力層から入力した教師画像の特徴量のデータと同様のデータが出力されるように、中間層の機械学習を行う。コンテンツ統計量算出部１１１Ａは、上記機械学習の処理を、全ての教師画像の各々のコンテンツ特徴量の組合せを用いて行い、それぞれの出力されるコンテンツ特徴量のデータが、入力される教師画像のコンテンツ特徴量のデータと所定の範囲で類似した場合、その時点の推定モデルを元画像推定モデルとする。
コンテンツ統計量算出部１１１Ａは、上記推定モデルの入力層に対して、教師画像の特徴量のデータを入力し、出力層から入力した教師画像の特徴量のデータと同様のデータが出力されるように、中間層の機械学習を行う。コンテンツ統計量算出部１１１Ａは、上記機械学習の処理を、全ての教師画像の各々のコンテンツ特徴量の組合せを用いて行い、それぞれの出力されるコンテンツ特徴量のデータが、入力される教師画像のコンテンツ特徴量のデータと所定の範囲で類似した場合、その時点の推定モデルを元画像推定モデルとする。
【0091】
ステップＳ３５：
コンテンツ統計量算出部１１１Ａは、学習により求めた元画像推定モデルにおける出力層を取り外し、入力層及び中間層からなる推定コンテンツ統計量モデル（推定画像統計量モデル）として抽出する。
コンテンツ統計量算出部１１１Ａは、学習により求めた元画像推定モデルにおける出力層を取り外し、入力層及び中間層からなる推定コンテンツ統計量モデル（推定画像統計量モデル）として抽出する。
【0092】
ステップＳ３６：
コンテンツ統計量算出部１１１Ａは、中間層の出力である推定コンテンツ統計量をコンテンツ統計量とし、推定コンテンツ統計量モデルを、コンテンツ統計量を出力するモデルとして、学習済みモデルデータベース１９に対して書き込んで記憶させる（登録する）。
コンテンツ統計量算出部１１１Ａは、中間層の出力である推定コンテンツ統計量をコンテンツ統計量とし、推定コンテンツ統計量モデルを、コンテンツ統計量を出力するモデルとして、学習済みモデルデータベース１９に対して書き込んで記憶させる（登録する）。
【0093】
第２の実施形態によれば、鑑賞対象の元画像（元コンテンツ）に対して人間が抱く雰囲気やテイストなどの感覚に対応する画像特徴量（コンテンツ特徴量）および画像統計量（コンテンツ統計量）に基づいて、人間の視覚（知覚）系の神経機構の処理過程モデルを反映した画像雰囲気量（コンテンツ雰囲気量）として数値化し、雰囲気量空間における座標値として示し、元画像と分類対象画像（対象コンテンツ）との座標値間の座標距離を判定することにより、人間が抱く雰囲気やテイストなどの感覚（人間の脳の知覚処理）を、従来に比較してより正確に再現することができ、鑑賞対象の元画像と同様な感覚を有する他のコンテンツ（対象コンテンツ）を、不特定の画像群（分類対象画像群）の中から分類することが可能となる。
また、本実施形態においては、教師画像の画像データを入力するオートエンコーダ（３層のニューラルネットワーク）の中間層をコンテンツ特徴量として用いるため、より脳における神経機構の特徴抽出に対応したコンテンツ特徴量を得ることができ、鑑賞対象の元画像に対して、第１の実施形態に比較してより近い感覚を有する他のコンテンツ（対象コンテンツ）を選択して分類することが可能となる。
また、本実施形態においては、教師画像の画像データを入力するオートエンコーダ（３層のニューラルネットワーク）の中間層をコンテンツ特徴量として用いるため、より脳における神経機構の特徴抽出に対応したコンテンツ特徴量を得ることができ、鑑賞対象の元画像に対して、第１の実施形態に比較してより近い感覚を有する他のコンテンツ（対象コンテンツ）を選択して分類することが可能となる。
【0094】
＜第３の実施形態＞
図１０は、本発明の第３の実施形態によるコンテンツ分類装置１Ｂの構成例を示すブロック図である。図１０におけるコンテンツ分類装置１Ｂは、コンテンツ雰囲気量算出部１１Ｂが、コンテンツ特徴量算出部１１０（１１０Ａ）、及びコンテンツ統計量算出部１１１（１１１Ａ）を用いずに、深層学習により生成された深層学習画像モデルを用いて、画像データからコンテンツ統計量を算出する点において、上記実施形態と相違する。また、コンテンツ分類装置１Ｂは、深層学習済みモデルデータベース２０を備えている。第３の実施形態においては、第１の実施形態による図１の構成と同様の構成については同一の符号を付している。
図１０は、本発明の第３の実施形態によるコンテンツ分類装置１Ｂの構成例を示すブロック図である。図１０におけるコンテンツ分類装置１Ｂは、コンテンツ雰囲気量算出部１１Ｂが、コンテンツ特徴量算出部１１０（１１０Ａ）、及びコンテンツ統計量算出部１１１（１１１Ａ）を用いずに、深層学習により生成された深層学習画像モデルを用いて、画像データからコンテンツ統計量を算出する点において、上記実施形態と相違する。また、コンテンツ分類装置１Ｂは、深層学習済みモデルデータベース２０を備えている。第３の実施形態においては、第１の実施形態による図１の構成と同様の構成については同一の符号を付している。
【0095】
以下、本実施形態においては、コンテンツを静止画像として説明するが、第１の実施形態と同様に、動画像、映像、音響及び音声等の他のコンテンツに対しても適用する構成としても良い。
以下、第３の実施形態によるコンテンツ分類装置１Ｂに対して、第１の実施形態のコンテンツ分類装置１と異なる構成及び動作のみの説明を行う。
以下、第３の実施形態によるコンテンツ分類装置１Ｂに対して、第１の実施形態のコンテンツ分類装置１と異なる構成及び動作のみの説明を行う。
【0096】
コンテンツ雰囲気量算出部１１Ｂは、深層学習により深層学習画像モデルを生成し、生成した深層学習画像モデルを深層学習済みモデルデータベース２０に記憶させる。
また、コンテンツ雰囲気量算出部１１Ｂは、深層学習済みモデルデータベース２０に記憶された深層学習画像モデルを用いて、元画像、及び分類対象画像の各々の画像データから、各画像に対する画像統計量を算出する。
深層学習済みモデルデータベース２０は、深層学習により生成された深層学習画像モデルを、コンテンツ統計量を算出するためのコンテンツ統計量モデルとして記憶する。
また、コンテンツ雰囲気量算出部１１Ｂは、深層学習済みモデルデータベース２０に記憶された深層学習画像モデルを用いて、元画像、及び分類対象画像の各々の画像データから、各画像に対する画像統計量を算出する。
深層学習済みモデルデータベース２０は、深層学習により生成された深層学習画像モデルを、コンテンツ統計量を算出するためのコンテンツ統計量モデルとして記憶する。
【0097】
コンテンツ雰囲気量算出部１１Ｂが生成する深層学習画像モデルの生成処理としては、以下の処理Ａ１及び処理Ａ２の２通りがある。
図１１は、深層学習画像モデルの生成を行う処理Ａ１の動作例を示すフローチャートである。この処理Ａ１の場合、気にいった画像に対し、雰囲気が似ていると知覚する画像と似ていないと知覚する画像との各々を学習用画像と複数用意する。
ステップＳ４０：
コンテンツ雰囲気量算出部１１Ｂは、ユーザが入力する複数の学習用画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの学習用画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
図１１は、深層学習画像モデルの生成を行う処理Ａ１の動作例を示すフローチャートである。この処理Ａ１の場合、気にいった画像に対し、雰囲気が似ていると知覚する画像と似ていないと知覚する画像との各々を学習用画像と複数用意する。
ステップＳ４０：
コンテンツ雰囲気量算出部１１Ｂは、ユーザが入力する複数の学習用画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの学習用画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
【0098】
ステップＳ４１：
コンテンツ雰囲気量算出部１１Ｂは、中間層（プーリング層及び畳み込み層）が多層構造の深層ニューラルネットワークモデルに対し、上記学習用画像の画像データの各ピクセルの情報を入力する入力層と、正規化する全結合層である出力層とを設定する。この出力層は、「１」あるいは「０」との間の小数点の数値を出力する構成となっている。
コンテンツ雰囲気量算出部１１Ｂは、中間層（プーリング層及び畳み込み層）が多層構造の深層ニューラルネットワークモデルに対し、上記学習用画像の画像データの各ピクセルの情報を入力する入力層と、正規化する全結合層である出力層とを設定する。この出力層は、「１」あるいは「０」との間の小数点の数値を出力する構成となっている。
【0099】
ステップＳ４２：
コンテンツ雰囲気量算出部１１Ｂは、上記深層ニューラルネットワークモデルの入力層に対し、気にいった画像と雰囲気が似ていると知覚する画像を入力した場合、出力層から似ていることを示す「１」に近い数値が出力されるように、また気にいった画像と雰囲気が似ていないと知覚する画像を入力した場合、出力層から似ていることを示す「０」に近い数値が出力されるように、各ネットワークの層の重みパラメータの最適化処理を行う。すなわち、コンテンツ雰囲気量算出部１１Ｂは、深層ニューラルネットワークモデルに対し、クラス分類の機械学習を行い、学習結果として、深層学習画像モデルを生成する。
コンテンツ雰囲気量算出部１１Ｂは、上記深層ニューラルネットワークモデルの入力層に対し、気にいった画像と雰囲気が似ていると知覚する画像を入力した場合、出力層から似ていることを示す「１」に近い数値が出力されるように、また気にいった画像と雰囲気が似ていないと知覚する画像を入力した場合、出力層から似ていることを示す「０」に近い数値が出力されるように、各ネットワークの層の重みパラメータの最適化処理を行う。すなわち、コンテンツ雰囲気量算出部１１Ｂは、深層ニューラルネットワークモデルに対し、クラス分類の機械学習を行い、学習結果として、深層学習画像モデルを生成する。
【0100】
このとき、コンテンツ雰囲気量算出部１１Ｂは、学習させた深層ニューラルネットワークモデルに対し、学習用画像とは異なる気にいった画像と雰囲気が似ていると知覚する画像と、雰囲気が似ていないと知覚する画像とを入力し、学習させた深層ニューラルネットワークモデルに対する学習テスト（クロス・バリデーション）を行う。
そして、コンテンツ雰囲気量算出部１１Ｂは、雰囲気が似ていると知覚する画像を深層ニューラルネットワークモデルに入力した際、出力層の出力する数値が予め設定した第１閾値以上となり、かつ雰囲気が似ていないと知覚する画像を深層ニューラルネットワークモデルに入力した際、出力層の出力する数値が予め設定した第２閾値以下となった場合、この深層ニューラルネットワークモデルを、気にいった画像に対する深層学習画像モデルとする。一方、コンテンツ雰囲気量算出部１１Ｂは、上記学習テストにおいて、雰囲気が似ていると知覚する画像に対して、深層ニューラルネットワークモデルの出力層の出力する数値が予め設定した第１閾値未満、あるいは雰囲気が似ていないと知覚する画像に対して、深層ニューラルネットワークモデルの出力層の出力する数値が予め設定した第２閾値以上である場合、深層ニューラルネットワークモデルの再学習を行う。
そして、コンテンツ雰囲気量算出部１１Ｂは、雰囲気が似ていると知覚する画像を深層ニューラルネットワークモデルに入力した際、出力層の出力する数値が予め設定した第１閾値以上となり、かつ雰囲気が似ていないと知覚する画像を深層ニューラルネットワークモデルに入力した際、出力層の出力する数値が予め設定した第２閾値以下となった場合、この深層ニューラルネットワークモデルを、気にいった画像に対する深層学習画像モデルとする。一方、コンテンツ雰囲気量算出部１１Ｂは、上記学習テストにおいて、雰囲気が似ていると知覚する画像に対して、深層ニューラルネットワークモデルの出力層の出力する数値が予め設定した第１閾値未満、あるいは雰囲気が似ていないと知覚する画像に対して、深層ニューラルネットワークモデルの出力層の出力する数値が予め設定した第２閾値以上である場合、深層ニューラルネットワークモデルの再学習を行う。
【0101】
ステップＳ４３：
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、深層学習統計量（あるいは深層学習特徴量）それぞれとして抽出する。
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、深層学習統計量（あるいは深層学習特徴量）それぞれとして抽出する。
【0102】
ステップＳ４４：
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルと、抽出した深層学習統計量（深層学習特徴量）とを深層学習済みモデルデータベース２０に対して書き込んで記憶させる（登録処理）。
上記処理Ａ１を気にいった画像毎に行い、それぞれに対応する深層学習画像モデルを生成する。
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルと、抽出した深層学習統計量（深層学習特徴量）とを深層学習済みモデルデータベース２０に対して書き込んで記憶させる（登録処理）。
上記処理Ａ１を気にいった画像毎に行い、それぞれに対応する深層学習画像モデルを生成する。
【0103】
図１２は、深層学習画像モデルの生成を行う処理Ａ２の動作例を示すフローチャートである。この処理Ａ２の場合、処理Ａ１において生成した深層学習画像モデルの転移学習を行い、別の深層学習画像モデル（他の気にいった画像に対応する深層学習画像モデル）を生成する。
ステップＳ５０：
コンテンツ雰囲気量算出部１１Ｂは、ユーザが入力する複数の学習用画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの学習用画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
ステップＳ５０：
コンテンツ雰囲気量算出部１１Ｂは、ユーザが入力する複数の学習用画像の各々を、一旦、図示しない記憶部に書き込んで記憶する。これらの学習用画像の画像データは、縦×横の各々のピクセル数が同一に設定されている。
【0104】
ステップＳ５１：
コンテンツ雰囲気量算出部１１Ｂは、中間層（プーリング層及び畳み込み層）が多層構造の深層ニューラルネットワークモデルに対して接続する、上記学習用画像の画像データの各ピクセルの情報を入力する入力層と、正規化する全結合層である出力層とを設定する。この出力層は、「１」あるいは「０」との間の小数点の数値を出力する構成となっている。
コンテンツ雰囲気量算出部１１Ｂは、中間層（プーリング層及び畳み込み層）が多層構造の深層ニューラルネットワークモデルに対して接続する、上記学習用画像の画像データの各ピクセルの情報を入力する入力層と、正規化する全結合層である出力層とを設定する。この出力層は、「１」あるいは「０」との間の小数点の数値を出力する構成となっている。
【0105】
ステップＳ５２：
ユーザがコンテンツ分類装置１Ｂに対して、所定の入力手段（不図示）により、気にいった画像に対応する深層学習画像モデルを生成する際に、深層ニューラルネットワークモデルを用いて新たな深層学習画像モデルを生成するか、あるいは他の気にいった画像の深層学習画像モデルを用いた転移学習により新たな深層学習画像モデルを生成するかの制御を行う。例えば、ユーザは、学習用画像が多量に用意できる気にいった画像に対する深層学習画像モデルを生成する場合、深層ニューラルネットワークモデルを機械学習により学習させ生成する制御を行う。一方、ユーザは、学習用画像が多量に用意できない気にいった画像に対する深層学習画像モデルを生成する場合、すでに学習により求められた他の気にいった画像に対応する深層学習画像モデルを転移学習させることにより、深層学習画像モデルを生成する制御を行う。
ユーザがコンテンツ分類装置１Ｂに対して、所定の入力手段（不図示）により、気にいった画像に対応する深層学習画像モデルを生成する際に、深層ニューラルネットワークモデルを用いて新たな深層学習画像モデルを生成するか、あるいは他の気にいった画像の深層学習画像モデルを用いた転移学習により新たな深層学習画像モデルを生成するかの制御を行う。例えば、ユーザは、学習用画像が多量に用意できる気にいった画像に対する深層学習画像モデルを生成する場合、深層ニューラルネットワークモデルを機械学習により学習させ生成する制御を行う。一方、ユーザは、学習用画像が多量に用意できない気にいった画像に対する深層学習画像モデルを生成する場合、すでに学習により求められた他の気にいった画像に対応する深層学習画像モデルを転移学習させることにより、深層学習画像モデルを生成する制御を行う。
【0106】
このとき、コンテンツ雰囲気量算出部１１Ｂは、ユーザが深層ニューラルネットワークモデルから、気にいった画像の深層学習画像モデルを新たに生成する処理を選択した場合、処理をステップＳ５５へ進める。一方、コンテンツ雰囲気量算出部１１Ｂは、ユーザが他の気にいった画像の深層学習画像モデルに対して転移学習を行い、気にいった画像の深層学習画像モデルを生成する処理を選択した場合、処理をステップＳ５３へ進める。
【0107】
ステップＳ５３：
コンテンツ雰囲気量算出部１１Ｂは、すでに深層学習済みモデルデータベース２０に記憶されている深層学習画像モデルのなかから、所定の深層学習モデルを生成する。例えば、ユーザが深層学習画像モデルを生成する対象の気にいった画像に対し、似ていないと知覚する他の気にいった画像の深層学習画像モデルを指定し、コンテンツ雰囲気量算出部１１Ｂがこの深層学習画像モデルを転移学習に用いる深層学習画像モデルとして選択する。ここで、コンテンツ雰囲気量算出部１１Ｂは、転移学習に用いる深層学習画像モデルを、深層学習済みモデルデータベース２０から読み出す。
コンテンツ雰囲気量算出部１１Ｂは、すでに深層学習済みモデルデータベース２０に記憶されている深層学習画像モデルのなかから、所定の深層学習モデルを生成する。例えば、ユーザが深層学習画像モデルを生成する対象の気にいった画像に対し、似ていないと知覚する他の気にいった画像の深層学習画像モデルを指定し、コンテンツ雰囲気量算出部１１Ｂがこの深層学習画像モデルを転移学習に用いる深層学習画像モデルとして選択する。ここで、コンテンツ雰囲気量算出部１１Ｂは、転移学習に用いる深層学習画像モデルを、深層学習済みモデルデータベース２０から読み出す。
【0108】
ステップＳ５４：
コンテンツ雰囲気量算出部１１Ｂは、転移学習に用いるため、読み出した深層学習画像モデルから、入力層からユーザが指定あるいは予め指定されている中間層（適合層）までを、転移学習モデルとして抽出する。
そして、コンテンツ雰囲気量算出部１１Ｂは、深層ニューラルネットワークモデルから、上記適合層以降の中間層を抽出し、上記転移学習モデルの適合層に接続し、かつ出力層を接続することにより、転移学習に用いる転移深層学習画像モデルを生成する。
コンテンツ雰囲気量算出部１１Ｂは、転移学習に用いるため、読み出した深層学習画像モデルから、入力層からユーザが指定あるいは予め指定されている中間層（適合層）までを、転移学習モデルとして抽出する。
そして、コンテンツ雰囲気量算出部１１Ｂは、深層ニューラルネットワークモデルから、上記適合層以降の中間層を抽出し、上記転移学習モデルの適合層に接続し、かつ出力層を接続することにより、転移学習に用いる転移深層学習画像モデルを生成する。
【0109】
ステップＳ５５：
コンテンツ雰囲気量算出部１１Ｂは、深層学習済みモデルデータベース２０に記憶されている深層ニューラルネットワークモデルから、所定の深層ニューラルネットワークモデルを選択して読み出す。
コンテンツ雰囲気量算出部１１Ｂは、深層学習済みモデルデータベース２０に記憶されている深層ニューラルネットワークモデルから、所定の深層ニューラルネットワークモデルを選択して読み出す。
【0110】
ステップＳ５６：
コンテンツ雰囲気量算出部１１Ｂは、学習対象モデル（上記転移深層学習画像モデルあるいは上記深層ニューラルネットワークモデル）の入力層に対し、気にいった画像と雰囲気が似ていると知覚する画像を入力した場合、出力層から似ていることを示す「１」に近い数値が出力されるように、また気にいった画像と雰囲気が似ていないと知覚する画像を入力した場合、出力層から似ていないことを示す「０」に近い数値が出力されるように、各ネットワークの層の重みパラメータの最適化処理を行う。すなわち、コンテンツ雰囲気量算出部１１Ｂは、学習対象モデルに対し、クラス分類の機械学習を行い、学習結果として、深層学習画像モデルを生成する。
コンテンツ雰囲気量算出部１１Ｂは、学習対象モデル（上記転移深層学習画像モデルあるいは上記深層ニューラルネットワークモデル）の入力層に対し、気にいった画像と雰囲気が似ていると知覚する画像を入力した場合、出力層から似ていることを示す「１」に近い数値が出力されるように、また気にいった画像と雰囲気が似ていないと知覚する画像を入力した場合、出力層から似ていないことを示す「０」に近い数値が出力されるように、各ネットワークの層の重みパラメータの最適化処理を行う。すなわち、コンテンツ雰囲気量算出部１１Ｂは、学習対象モデルに対し、クラス分類の機械学習を行い、学習結果として、深層学習画像モデルを生成する。
【0111】
このとき、コンテンツ雰囲気量算出部１１Ｂは、作成した学習対象モデルに対し、学習用画像とは異なる気にいった画像と雰囲気が似ていると知覚する画像と、雰囲気が似ていないと知覚する画像とを入力し、学習させた学習対象モデルに対する学習テストを行う。そして、コンテンツ雰囲気量算出部１１Ｂは、雰囲気が似ていると知覚する画像を学習対象モデルに入力した際、出力層の出力する数値が予め設定した第１閾値以上となり、かつ雰囲気が似ていないと知覚する画像を学習対象モデルに入力した際、出力層の出力する数値が予め設定した第２閾値以下となった場合、この学習対象モデルを、気にいった画像に対する深層学習画像モデルとする。一方、コンテンツ雰囲気量算出部１１Ｂは、上記学習テストにおいて、雰囲気が似ていると知覚する画像に対して学習対象モデルの出力層の出力する数値が予め設定した第１閾値未満、あるいは雰囲気が似ていないと知覚する画像に対して、学習対象モデルの出力層の出力する数値が予め設定した第２閾値以上である場合、学習対象モデルの再学習を行う。
【0112】
ステップＳ５７：
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、深層学習統計量（あるいは深層学習特徴量）それぞれとして抽出する。
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、深層学習統計量（あるいは深層学習特徴量）それぞれとして抽出する。
【0113】
ステップＳ５８：
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルと、抽出した深層学習統計量（深層学習特徴量）とを深層学習済みモデルデータベース２０の深層学習統計量モデルテーブルに対して書き込んで記憶させる（登録処理）。
上記処理Ａ２を気にいった画像毎に行い、それぞれに対応する深層学習画像モデルを生成する。
コンテンツ雰囲気量算出部１１Ｂは、生成した深層学習画像モデルと、抽出した深層学習統計量（深層学習特徴量）とを深層学習済みモデルデータベース２０の深層学習統計量モデルテーブルに対して書き込んで記憶させる（登録処理）。
上記処理Ａ２を気にいった画像毎に行い、それぞれに対応する深層学習画像モデルを生成する。
【0114】
図１３は、本実施形態によるコンテンツ分類装置１Ｂが行なう、元画像と同様の雰囲気及びテイストを有する分類対象画像を分類する処理の動作例を示すフローチャートである。以下に示すフローチャートにおいては、すでに、コンテンツ統計量（あるいはコンテンツ特徴量）を求めるための演算式として深層学習画像モデルが深層学習済みモデルデータベース２０に書き込まれて記憶されていることを前提に説明する。
なお、図１３のステップＳ６４～Ｓ６８の各々に示す処理については、図４におけるステップＳ１６～Ｓ２０に示す処理と同様であるため、その説明を省略する。
なお、図１３のステップＳ６４～Ｓ６８の各々に示す処理については、図４におけるステップＳ１６～Ｓ２０に示す処理と同様であるため、その説明を省略する。
【0115】
ステップＳ６０：
コンテンツ選択部１０は、ユーザの操作により、分類の基準となる元画像（気にいった画像）を、外部装置から入力して、コンテンツ雰囲気量算出部１１Ｂに対して出力する。
コンテンツ選択部１０は、ユーザの操作により、分類の基準となる元画像（気にいった画像）を、外部装置から入力して、コンテンツ雰囲気量算出部１１Ｂに対して出力する。
【0116】
ステップＳ６１：
コンテンツ選択部１０は、コンテンツデータベース１５から、分類対象画像群を抽出する。そして、コンテンツ選択部１０は、抽出した対象選択画像群のうちの一つの画像を分類対象画像としてコンテンツ雰囲気量算出部１１Ｂに対して出力する。なお、コンテンツ選択部１０は、外部メモリ、または通信ネットワークを介してユーザの操作により入力された画像群を、分類対象画像群として選択してもよい。
コンテンツ選択部１０は、コンテンツデータベース１５から、分類対象画像群を抽出する。そして、コンテンツ選択部１０は、抽出した対象選択画像群のうちの一つの画像を分類対象画像としてコンテンツ雰囲気量算出部１１Ｂに対して出力する。なお、コンテンツ選択部１０は、外部メモリ、または通信ネットワークを介してユーザの操作により入力された画像群を、分類対象画像群として選択してもよい。
【0117】
ステップＳ６２：
コンテンツ雰囲気量算出部１１Ｂは、元画像である気にいった画像に対応する深層学習画像モデルを、深層学習済みモデルデータベース２０に記憶されている深層学習画像モデルのなかから選択する。
コンテンツ雰囲気量算出部１１Ｂは、元画像である気にいった画像に対応する深層学習画像モデルを、深層学習済みモデルデータベース２０に記憶されている深層学習画像モデルのなかから選択する。
【0118】
ステップＳ６３：
コンテンツ雰囲気量算出部１１Ｂは、選択した深層学習画像モデルにより、元画像及び分類対象画像の各々の深層学習統計量（すなわち、コンテンツ統計量）を算出する。
すなわち、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの入力層に対して、元画像における各ピクセルの画素値を入力する。そして、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、元画像の深層学習統計量として抽出する。
コンテンツ雰囲気量算出部１１Ｂは、選択した深層学習画像モデルにより、元画像及び分類対象画像の各々の深層学習統計量（すなわち、コンテンツ統計量）を算出する。
すなわち、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの入力層に対して、元画像における各ピクセルの画素値を入力する。そして、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、元画像の深層学習統計量として抽出する。
【0119】
また、同様に、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの入力層に対して、分類対象画像における各ピクセルの画素値を入力する。そして、コンテンツ雰囲気量算出部１１Ｂは、深層学習画像モデルの多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメータ、活性化関数の種類と出力されるパラメータなどの各々を、分類対象画像の深層学習統計量として抽出する。
【0120】
第３の実施形態によれば、鑑賞対象の元画像（元コンテンツ）に対して人間が抱く雰囲気やテイストなどの感覚に対応させ、人間の視覚（知覚）系の神経機構の処理過程を、深層ニューラルネットワークモデルを深層学習させて生成した深層学習画像モデルとして近似し、その出力から人間の視覚（知覚）系の神経機構の処理過程モデルを反映したコンテンツ雰囲気量を数値化し、コンテンツ雰囲気量空間における座標値として示し、元画像と分類対象画像（対象コンテンツ）との座標値間の座標距離を判定することにより、人間が抱く雰囲気やテイストなどの感覚（人間の脳の知覚処理）を、従来に比較してより正確に再現することができ、鑑賞対象の元画像と同様な感覚を有する他のコンテンツ（対象コンテンツ）を生成することが可能となる。
また、本実施形態においては、学習用画像の画像データを入力して、クラス分類した結果を得る深層ニューラルネットワークモデルを用いて深層学習画像モデルを生成し、この深層学習モデルの中間層をコンテンツ統計量モデルとしているため、より脳における神経機構の特徴抽出に対応したコンテンツ統計量を得ることができ、鑑賞対象の元画像に対して、第１の実施形態に比較してより近い感覚を有する他のコンテンツ（対象コンテンツ）を分類することが可能となる。
また、本実施形態においては、学習用画像の画像データを入力して、クラス分類した結果を得る深層ニューラルネットワークモデルを用いて深層学習画像モデルを生成し、この深層学習モデルの中間層をコンテンツ統計量モデルとしているため、より脳における神経機構の特徴抽出に対応したコンテンツ統計量を得ることができ、鑑賞対象の元画像に対して、第１の実施形態に比較してより近い感覚を有する他のコンテンツ（対象コンテンツ）を分類することが可能となる。
【0121】
なお、本発明におけるコンテンツ分類装置１（１Ａ、１Ｂ）の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより処理を行なってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0122】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0123】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0124】
１、１Ａ、１Ｂ…コンテンツ分類装置
１０…コンテンツ選択部
１１、１１Ａ、１１Ｂ…コンテンツ雰囲気量算出部
１１０、１１０Ａ…コンテンツ特徴量算出部
１１１、１１１Ａ…コンテンツ統計量算出部
１２…座標距離算出部
１３…コンテンツ分類部
１４…コンテンツ出力部
１５…コンテンツデータベース
１６…コンテンツ特徴量データベース
１７…コンテンツ統計量モデルデータベース
１８…分類コンテンツ記憶部
１９…学習済みモデルデータベース
２０…深層学習済みモデルデータベース
１０…コンテンツ選択部
１１、１１Ａ、１１Ｂ…コンテンツ雰囲気量算出部
１１０、１１０Ａ…コンテンツ特徴量算出部
１１１、１１１Ａ…コンテンツ統計量算出部
１２…座標距離算出部
１３…コンテンツ分類部
１４…コンテンツ出力部
１５…コンテンツデータベース
１６…コンテンツ特徴量データベース
１７…コンテンツ統計量モデルデータベース
１８…分類コンテンツ記憶部
１９…学習済みモデルデータベース
２０…深層学習済みモデルデータベース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】