(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177231
(43)【公開日】2023-12-13
(54)【発明の名称】印象解析システム、印象解析方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231206BHJP
G06V 10/42 20220101ALI20231206BHJP
【FI】
G06T7/00 Q
G06V10/42
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023035184
(22)【出願日】2023-03-08
(31)【優先権主張番号】P 2022088858
(32)【優先日】2022-05-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】井上 暁
(72)【発明者】
【氏名】浦谷 勝一
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096DA05
5L096FA67
5L096FA69
5L096FA81
5L096GA41
5L096JA03
(57)【要約】
【課題】印象について説明精度の高い評価結果を得ることができ、かつ印象評価を求める者に分かりやすい評価結果を提供する。
【解決手段】情報処理装置1等で構成される印象解析システム100が、評価対象画像を入力する入力部15と、評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部、及び印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと特徴量抽出部で抽出した画像特徴量のデータとを比較して、評価対象画像と基準画像との類似度を算出する類似度判定部として機能する制御部11と、を備えている。
【選択図】
図2
【特許請求の範囲】
【請求項1】
評価対象画像を入力する入力部と、
前記評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出部で抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定部と、
を有することを特徴とする印象解析システム。
【請求項2】
前記特徴量抽出部において抽出された前記画像特徴量の値に応じて、前記評価対象画像の印象に関する改善を提案する改善提案部を備えることを特徴とする請求項1に記載の印象解析システム。
【請求項3】
前記高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含むことを特徴とする請求項1又は請求項2に記載の印象解析システム。
【請求項4】
前記処理流暢性の度合いは、複雑度、デザインの密度、空間周波数の少なくともいずれかによって決定されるものを含むことを特徴とする請求項3に記載の印象解析システム。
【請求項5】
前記複雑度は、局所フラクタル次元であることを特徴とする請求項4に記載の印象解析システム。
【請求項6】
前記低次の画像特徴量は、色、輝度分布、方位、コントラスト、顔、フォント、動作の少なくともいずれかを含むことを特徴とする請求項1又は請求項2に記載の印象解析システム。
【請求項7】
前記基準画像は、評価者が任意に選択したものであることを特徴とする請求項1又は請求項2に記載の印象解析システム。
【請求項8】
前記評価対象画像における配色パターンの比率を算出する比率算出部を備え、
前記特徴量抽出部は、前記高次の画像特徴量として顕著性を抽出し、
前記比率算出部は、前記特徴量抽出部により抽出された前記顕著性に基づく重み付けをして前記配色パターンの比率を算出することを特徴とする請求項1に記載の印象解析システム。
【請求項9】
前記比率算出部は、前記評価対象画像内に存在する透過領域を除外して配色パターンの比率を算出することを特徴とする請求項8に記載の印象解析システム。
【請求項10】
前記特徴量抽出部は、前記評価対象画像内に存在する透過領域に所定の階調を設定して、前記顕著性を抽出することを特徴とする請求項8に記載の印象解析システム。
【請求項11】
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出工程と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出工程において抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定工程と、
を含むことを特徴とする印象解析方法。
【請求項12】
コンピューターに、
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出機能と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出機能によって抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印象解析システム、印象解析方法及びプログラムに関する。
【背景技術】
【0002】
従来、評価対象画像と参照される基準画像との間の類似度をスコアリングすることで、画像の類似性評価や印象評価を行う検討がなされている。こうした印象の評価では、色相や色調、フォントサイズ等からなる低次の画像特徴量に基づくbottom up型の評価手法が知られている。また、予め印象スコアがラベル付けされた画像を教師データとし深層学習によって印象評価を行うtop down型のアプローチも知られている。
例えば特許文献1に記載の情報処理装置は、デザインを規定する複数のデザイン要素が対応付けられたデザインアイテムよって構成されたデザインサンプルを作成するものであり、デザイン要素が基調テイストの喚起に寄与する程度を示す基調感性スコアと、デザイン要素がアクセントテイストの喚起に寄与する程度を示すアクセント感性スコアとをデザイン要素毎に決定し、基調感性スコアとアクセント感性スコアとを混合することにより、デザイン要素毎に混合感性スコアを演算し、デザインアイテム毎に、最大の混合感性スコアを有する最大値デザイン要素を決定して、全デザインアイテムの最大値デザイン要素の基調感性スコアの合計値に基づいて基調テイスト喚起度を演算し、基調テイスト喚起度が喚起度閾値以上となる最大値デザイン要素の組み合わせを適合デザイン要素の組み合わせとして決定することが記載されている。
このような手法によれば、評価対象となる画像の印象をスコアとして評価することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された構成では、人がデザイン等の画像を見る場合に、精神的・心理的に視線が誘導され、状況に応じてある領域(例えば全体に対する中心位置や雑誌・ウェブページ等であれば左上)を見る傾向があることや、処理しやすい部分から視線が向くといった高次の画像特徴量(視線誘導等)については盛り込まれていない。このため、印象評価を実際の人の認知に近似させることは困難であった。
また、深層学習を用いて、評価対象画像がどのような印象と評価されるかを導くアプローチの場合には、実際の人の認知を踏まえた印象評価を行うことはできるが、どのような要因(画像特徴量)によってそのような印象評価となったのかについては示すことができない。このため、深層学習を用いて得られた印象評価の結果に基づいて評価者(デザイナー等)がデザインの類似度や印象改善の方向性を知ることが困難であるという課題があった。
【0005】
本発明は、上記の従来技術における問題に鑑みてなされたものであって、印象について説明精度の高い評価結果を得ることができ、かつ人による印象評価に近い評価結果を提供することのできる印象解析システム、印象解析方法及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、請求項1に記載の発明は、印象解析システムであり、
評価対象画像を入力する入力部と、
前記評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出部で抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定部と、
を有することを特徴とする。
【0007】
また、請求項11に記載の発明は、印象解析方法であって
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出工程と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出工程において抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定工程と、
を含むことを特徴とする。
【0008】
また、請求項12に記載の発明は、プログラムであって
コンピューターに、
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出機能と、
印象評価と紐づけられた基準画像に対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと前記特徴量抽出機能によって抽出した画像特徴量のデータとを比較して、前記評価対象画像と前記基準画像との類似度を算出する類似度判定機能と、
を実現させることを特徴とする。
【発明の効果】
【0009】
本発明によれば、印象について説明精度の高い評価結果を得ることができ、かつ印象評価を求める者に分かりやすい評価結果を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態における印象解析システムを構成する情報処理装置の機能的構成を示す要部ブロック図である。
【
図2】本実施形態における評価対象画像についての印象解析処理の流れを模式的に示した説明図である。
【
図3】(a)は、評価対象画像の一例を示す図であり、(b)は、評価対象画像を構成している色成分をクラスター化して示したものであり、(c)は、(b)に示す色成分をヒストグラム化した図である。
【
図4】(a)は、基準画像の一例を示す図であり、(b)は、基準画像を構成している色成分をクラスター化して示したものであり、(c)は、(b)に示す色成分をヒストグラム化した図である。
【
図5】評価対象画像と基準画像とが類似していない場合のヒストグラムの例を示す図である。
【
図6】評価対象画像と基準画像とが類似している場合のヒストグラムの例を示す図である。
【
図7】評価対象画像の配色を変更して印象を変化させる改善提案例を示す図である。
【
図8】従来例における評価対象画像についての印象解析処理の流れを示す説明図である。
【
図9】深層学習において画像の印象解析を行った場合の解析例を示す図である。
【
図10】配色比率算出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0011】
図1から
図10を参照しつつ、本発明に係る印象解析システム、印象解析方法及びプログラムの一実施形態について説明する。
印象解析システム100(
図1参照)は、ある画像(後述の「評価対象画像」)が見る者にどのような印象を与えるか、所望の印象を得るためにはどのようにすればいいのかを評価者(ユーザー等)が知りたい場合に、印象に関する解析結果を示すことができるものである。評価者(ユーザー等)としては、例えばポスターのデザインや本の装丁、各種レイアウトの提案等を行うデザイナー(制作者)等やこうしたデザイナー(制作者)にデザインを発注する依頼者等が想定される。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
以下の実施形態では、印象解析システムが単体の情報処理装置で構成されている場合を例に説明するが、印象解析システムは、複数の情報処理装置等が連携することで構成されるものであってもよい。
【0012】
[全体構成]
図1は、本実施形態における印象解析システム(印象解析システムを構成する情報処理装置)の機能的構成を示す要部ブロック図である。
本実施形態の印象解析システム100を構成する情報処理装置1は、例えば、通常のコンピューター(PC)である。
情報処理装置1は、
図1に示すように、操作受付部14、入力部15、表示部16、通信部17、及び例えばCPU(Central Processing Unit)等で構成される制御部11、記憶部12、RAM(Random Access Memory)13等を備えており、各部はバス18により接続されている。
【0013】
操作受付部14は、外部からの入力操作を受け付けて、当該入力操作に応じた入力信号を生成し、制御部11へ出力する。操作受付部14は、例えば、キーボードやマウス等の各種ポインティングデバイス等を有する。また、操作受付部14には、電力供給スイッチやリセットスイッチなどの各種スイッチング素子が含まれていてもよいし、これらに加えて又はこれらに代えて、表示部16の表示画面と重なって位置するタッチパネル等を有していてもよい。
【0014】
入力部15は、印象の解析対象(評価対象)となる画像データ(以下「評価対象画像」ともいう)を外部の装置等(例えばデザインの作成に用いる専用端末等)から取得(印象解析システム100に入力)する取得部である。
入力部15は、例えばネットワークインターフェース等で構成され、通信ネットワークを介して有線又は無線で接続された外部機器からデータを受信するように構成されている。なお、入力部15はネットワークインターフェース等で構成されるものに限定されず、USBメモリーやSDカード等を差し込むことで画像データの取り込みが可能なポート等で構成されてもよい。
【0015】
表示部16は、例えば、液晶ディスプレイ(LCD;Liquid Crystal Display)等のモニターで構成される表示画面を有している。なお、表示画面上には操作受付部14として機能するタッチパネルが一体に形成されていてもよい。
表示部16は、制御部11による制御に従い当該表示画面への表示動作を行う。具体的には、制御部11から入力される表示信号に基づいて、各種画像等(例えば評価対象画像や基準画像、印象の解析結果等)を表示画面に表示する。
なお、印象解析システム100(印象解析システム100を構成する情報処理装置1)に設けられる表示部16は1つに限定されず、例えば複数のモニターを備えていてもよい。
【0016】
通信部17は、所定の通信規格に従って情報処理装置1と外部との間で行うデータの送受信を制御する。通信規格としては、特には限られないが、例えば、LAN(Local Area Network)に係るTCP/IPなどが含まれる。また、これに加えて又は代えて、通信部17は、WiFiなどの無線通信に係る通信制御を行うことが可能なものであってもよい。その他、通信部17は、USB(Universal Serial Bus)などの一対一での通信を制御するドライバーを有していてもよい。
【0017】
制御部11は、各種の演算処理を行い、情報処理装置1の動作を統括制御するハードウェアプロセッサーである。制御部11は、単一のCPUで構成されるものであってもよいし、複数が並列に演算処理を行うものであってもよい。また、複数のCPUが機能などに応じて各々割り当てられて独立に演算を行うものであってもよい。
【0018】
記憶部12は、不揮発性の記憶媒体であり、例えば、フラッシュメモリーやHDD(Hard Disk Drive)などである。記憶部12は、制御部11により実行されるプログラムを記憶するプログラム記憶領域121、画像データベース(
図1において「画像DB122」と示す。)等を有している。
【0019】
画像DB122には、印象評価と紐づけられた基準画像Imcが格納されている。印象評価は、例えば若々しい感じ、あどけない感じ、風格のある感じといった評価であり、例えば複数人に画像を示して印象評価を聞いた結果を平均して得られたものである。画像DB122は、こうした印象評価と各種の画像(基準画像Imc)とが対応付けられたペアを複数記憶している。
ある画像に対する印象評価は1つでもよいし、例えば1つの画像について複数の印象評価が対応付けられていてもよい。すなわち、基準画像Imcと紐づけられる印象評価は例えば最も多い印象のみ(例えば画像Aの印象評価:モダン等)であってもよいし、得られた複数の評価をそれぞれポイント等で示したものでもよい(例えば画像Aの印象評価:モダン4.8ポイント、ナチュラル1.2ポイント、風格のある3.4ポイント等)。なお、基準画像Imcは、印象評価を聞いた人の年代や性別等に応じて1つの画像について複数種類用意されていてもよい。
【0020】
また印象評価は、画像ではなく、色(単色)や配色(色の組合せ)等について対応付けられていてもよい。この場合、記憶部12には、例えば色(単色)や配色(色の組合せ)とその印象評価とを対応付けた対応表等が記憶されていてもよい。そして、ある画像について色使い(単色)や配色(色の組合せ)の結果、ある印象評価が定まる場合には、当該画像についての色使いや配色の解析結果とその印象評価とが画像に対応付けられ、基準画像Imcとして登録される。
【0021】
また記憶部12は、制御部11が各種処理を行うために必要な各種設定データ等を記憶している。
記憶部12は、情報処理装置1に内蔵されているものに限定されず、外付けの装置であってもよい。また、記憶部12は、クラウドサーバーなどのようにネットワーク上に位置しているものであってもよい。
【0022】
RAM13は、制御部11に作業用のメモリー空間を提供し、一時データを記憶する。RAM13は、例えば、DRAMであり、大容量のデータを高速で読み書きが可能である。記憶される一時データには、入力部15や通信部17等を介して取得される評価対象の画像データ(評価対象画像)が含まれてよい。
【0023】
なお、情報処理装置1は、操作受付部14及び/又は表示部16を有さず、通信部17を介した外部からのアクセスにより入力操作(コマンド)の受付及び表示データの送出を行うものであってもよい。
また、ここでは単一の情報処理装置1が全ての処理を行うものとして説明しているが、制御部11が複数のコンピューターに分散配置されて、適宜データを送受信しながら各処理を実行する印象解析システムであってもよい。
【0024】
ここで制御部11の機能の詳細について説明する。
制御部11は、記憶部12のプログラム記憶領域121に記憶されている各種処理プログラムを読み出してRAM13に展開し、当該プログラムにしたがって各種処理を実行する。本実施形態において制御部11は、プログラムとの協働により、以下のように各種機能を実現する。
すなわち制御部11は、特徴量抽出部、類似度判定部として機能する。また本実施形態では、制御部11はさらに改善提案部としても機能する。
【0025】
特徴量抽出部としての制御部11は、入力部15において印象解析システム100(情報処理装置1)に入力された「評価対象画像」について低次の画像特徴量及び高次の画像特徴量を抽出する。
なお、特徴量抽出部としての制御部11が入力部15から入力された「評価対象画像」について低次の画像特徴量及び高次の画像特徴量を抽出する具体的な手法については後述する。
【0026】
ここで「低次の画像特徴量」とは、例えば色、輝度、方位(エッジの向き、形状)等を含む物理的な画像特徴量であり、外発的・受動的に、注視するよう人の視線を誘導するような成分である。本実施形態において「低次の画像特徴量」は、色や輝度分布、方位、コントラスト等や、顔、フォント、動作の少なくともいずれかを広く含む概念である。
画像を見る者に与える印象は、画像を構成する各部に用いられている色(例えば色相・色彩等)や部分ごとの明るさ(輝度)の分布、方位(向き)、コントラスト等の要素によって異なる。
【0027】
例えば淡い色は見る者に穏やかで優しい印象を与え、濃い色は力強い印象等を与える傾向がある。また例えば全体が一定の方向に配列されている場合には安定した印象を与えやすく、一部だけ異なる向き(エッジ方向)に配置されているものがあると不安定な印象を与えやすい。さらに画像内に顔と認識される部分があるか否かによっても印象が異なり、顔と認識される部分がる場合には、それが子供の顔や大人の男性の顔か等によっても印象が変わる傾向がある。また画像を構成する要素が文字である場合には、フォントの種類やサイズによっても見る者に与える印象が異なる。フォントは特定の書体の文字を内包しており、活字体やブロック体や筆記体など様々な書体のものが存在する。どのようなフォントで表現されているかによって見る者にまじめな硬い印象を与えたりポップで楽しい印象を与える等、画像全体の印象を左右し得る。また同じ書体でも大きな文字か小さな文字かによっても全体の印象が異なる可能性がある。
【0028】
さらに「評価対象画像」は静止画像に限定されず、動画像であってもよい。「評価対象画像」が動画像である場合には、画像内の各種の動作(動き、運動)も見る者の印象に影響を与える。例えばゆっくりと動く動画像ではゆったりした印象を与え、速い速度で動く動画像では忙しない印象や、緊迫感のある印象を与える傾向がある。
【0029】
「高次の画像特徴量」は、人の記憶や経験、知見等を反映する生理的、精神的な画像特徴量であり、内発的・能動的に、注視するよう人の視線を誘導するような成分である。より具体的には、画像を見る者に与える印象に影響を及ぼすとされる人の精神的・心理的な傾向、視線の移動傾向等から導かれる成分である。本実施形態において高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含んでいる。
【0030】
例えば位置バイアスは、視線の動きの傾向として、画像の中心にあるものには視線が集まりやすいという「センターバイアス」や、例えば雑誌・ウェブページ等では視線が画像の左上から右下に向って移動しやすく左上に視線が集まりやすいという傾向、縦書きの文書を見る場合には右上から左下に向って視線が移動し右上に視線が集まりやすいという傾向、さらに例えばスーパーマーケット等の店舗に行った場合を考えると店内のレイアウトのうち目線の高さに近い部分に視線が集まりやすいという傾向等を含む概念であり、同じ組み合わせの色が使われていても、各色が配置される位置等によって画像等を見る者が受ける印象が異なる場合もある。
【0031】
また処理流暢性とは、一般的に人は簡単なもの、認知しやすいものは処理しやすく、複雑なもの、理解しにくいものは処理しにくいことをいい、本実施形態においては、画像中認識しやすく処理流暢性が高い部分には視線が向きやすく、注視されやすい傾向があり、認識しにくく処理流暢性が低い部分はあまり注視されない傾向がある、という意味合いを有し、視線が集まりやすい場所に何色が配置されているか等によって画像を見る者の印象に影響を及ぼす。
【0032】
本実施形態において処理流暢性の度合いは、複雑度、デザインの密度、空間周波数、顕著性の少なくともいずれかによって決定されるものを含んでいる。
すなわち、デザイン等が乱雑に密集している箇所等では、画像中にエッジ等の突然の変化が生じており、このような箇所では空間周波数が高い。複雑度、デザインの密度、空間周波数が高すぎる部分では処理流暢性が低くなる。
一方、顕著性、複雑度、デザインの密度、空間周波数が低すぎる部分、つまり情報が含まれていない領域も情報を読み取ることが難しく、処理がしがたく、注視されない傾向がある。
【0033】
類似度判定部としての制御部11は、印象評価と紐づけられた基準画像Imcに対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと特徴量抽出部として「評価対象画像」(画像Imo)について抽出した画像特徴量のデータとを比較して、「評価対象画像」(画像Imo)と基準画像Imcとの類似度を算出する。類似度の算出は、各画像特徴量についてそれぞれ行う。なお、2つ以上の要素(画像特徴量)について掛け合わせて類似度を判断してもよい(例えば色成分と輝度成分との2つを考慮した場合の類似度を判断)。また、各画像特徴量は印象に影響を与える度合いに応じて重み付けされていてもよい。各画像特徴量についてそれぞれ類似度を判断した後、その判断結果に、印象に影響を与える度合いに応じた重み付けを掛け合わせた上で、「評価対象画像」(画像Imo)全体としての総合的な印象評価を導いてもよい。
類似度判定部としての制御部11による具体的な類似度の算出手法については後述する。
【0034】
改善提案部としての制御部11は、画像特徴量の値に応じて、「評価対象画像」(画像Imo)の印象に関する改善を提案する。
例えば「評価対象画像」(画像Imo)の現状での印象評価が「モダン」である場合に、これを「風格のある」印象のデザインに変更、するには何をどうすればよいか等、「評価対象画像」を所望の印象評価の画像に変えるための改善案を評価者(デザイナー等)に提示する。なお、具体的な提案例等については後述する。
【0035】
[本実施形態における印象解析方法について]
本実施形態において印象解析方法では、入力部15より入力された「評価対象画像」に対して低次の画像特徴量及び高次の画像特徴量を抽出し(特徴量抽出工程)、印象評価と紐づけられた基準画像Imcに対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと「評価対象画像」について抽出した画像特徴量のデータとを比較して、「評価対象画像」と基準画像Imcとの類似度を算出する(類似度判定工程)。
【0036】
図2は、本実施形態における印象解析処理の流れを模式的に示した説明図である。
図2に示すように、本実施形態の印象解析方法では、まず入力部15から印象解析システム100内に「評価対象画像」が入力される。例えばデザイナー(製作者)が自分の制作したポスター等の画像をデザイン専用端末等から印象解析システム100(印象解析システム100を構成する情報処理装置1)に通信ネットワーク等を介して入力する。ここでは、例えば
図3(a)に示す画像Imoが「評価対象画像」として入力された場合を例として説明する。
【0037】
「評価対象画像」が入力されると、制御部11は、特徴量抽出部として当該「評価対象画像」(
図3(a)の画像Imo)から低次及び高次の各画像特徴量を抽出する。
そして制御部11は、低次の画像特徴量の抽出において、「評価対象画像」(
図3(a)の画像Imo)に対してガウシアンフィルターによる暈し処理(画像の解像度を落とす処理)を行う。具体的には、暈し具合を変えた複数のガウシアンフィルターを段階的に変えて「評価対象画像」(画像Imo)に適用させた画像群(画像の多重解像度表現、ガウシアンピラミッド)を、低次の画像特徴量ごとに生成する。
なお
図2では、低次の画像特徴量として、色成分、輝度成分、方位成分を例示しているが、前述のように、低次の画像特徴量の要素はこれに限定されず、例えば「評価対象画像」として入力された画像Imoが動画像である場合には、動作(動き)等の要素も含まれる。
【0038】
画像特徴量の成分ごとの画像群(ガウシアンピラミッド)が生成されると、この多重解像度表現を用いて、画像特徴量の要素ごとにそれぞれスケール(尺度)違いの画像間差分を取得(算出)する。差分画像が取得されると、制御部11は、これを正規化した上で、画像特徴量の成分ごとに、全スケール(尺度)の特徴量マップを結合して、低次の各画像特徴量についての特徴量マップを生成する。
【0039】
また本実施形態では、高次の画像特徴量として処理流暢性(複雑性等)、位置バイアス、顕著性が特徴量抽出部としての制御部11によって抽出される(
図2参照)。
なおここでは、高次の画像特徴量として処理流暢性(複雑性等)、位置バイアス及び顕著性を例示しているが、前述のように、高次の画像特徴量はこれに限定されず、これら以外の各種要素(成分)も含まれ得る。
【0040】
前述のように処理流暢性は、複雑性の程度で測ることができるものであり、例えばフラクタル次元を求める手法を用いて解析し、数値化することができる。すなわち、「評価対象画像」(画像Imo)を複数のメッシュに切り分け、どの部分ではドットで表現されるような構成が密であり、どの部分では疎であるか、といった解析を行う。この結果フラクタル次元が高い(例えば1.8)部分は、複雑、乱雑な部分であると評価され、フラクタル次元が低い(例えば1.2)部分は、簡単な、情報量の少ない部分であると評価される。
例えば
図3(a)で示す画像の場合、何も置かれていない地の部分はフラクタル次元が低く、ノートパソコンの右側の文房具等が乱雑に置かれた辺りはフラクタル次元が高いと評価される。そして、制御部11はこのように数値化された複雑性(処理流暢性)の程度に基づいて、特徴量マップを生成する。
【0041】
なお前述のように、ほとんど情報が存在しない地の部分はフラクタル次元は低いが、あまり注目されない部分であり処理流暢性としては低い。このため、処理流暢性(複雑性)に関する特徴量マップとしては、ほとんど情報のない地の部分や複雑すぎる部分では処理流暢性が低く適度に複雑性のある部分が最も処理流暢性が高い評価とされるマップとなる。
【0042】
また、複雑性の度合いである複雑度は、局所フラクタル次元を求める手法を用いて解析し、数値化されたものであってもよい。具体的には、制御部11は、当該複雑度をリージョングローイング法(S. Novianto, Y. Suzuki, and J. Maeda. "Near optimum estimation of local fractal dimension for image segmentation." Pattern Recognition Letters 24.1-3: 365-374 (2003).)により算出する。
これにより、当該複雑度をより人の感覚に合った値にできる。
【0043】
さらに、制御部11は、「評価対象画像」として入力された画像Imoの特性・種類(例えば、それが書籍やウェブページに掲載することを目的とする画像か、縦書きの文書に挿入される画像か等)に応じて、人の心理的な特性を踏まえたときに視線が誘導されやすい場所や方向に応じた位置バイアスの特徴量マップを生成する。
例えば「評価対象画像」として入力された画像Imoがウェブページに掲載されるものである場合には、画面左上の画像特徴量が高く、右下では画像特徴量が低いマップとなる。
【0044】
また本実施形態では特徴量抽出部としての制御部11により、高次の画像特徴量として顕著性が抽出される(
図2参照)。顕著性は、デザイン(画像等)を見る者に与えるインパクト、注視の度合い(目立ち度)であり、「評価対象画像」として入力された画像Imoについて低次の画像特徴量及び高次の画像特徴量に基づいて画像特徴量についての特徴量マップを生成することにより抽出される。
なお、顕著性については、各種公知の顕著性評価手法により解析を行い、特徴量マップを得る(生成する)ことができる。
【0045】
そして、高次の特徴量マップが生成されると、制御部11は類似度判定部として、高次の特徴量マップの値を画素に対して乗算した各画像特徴量のデータを、基準画像Imcについて抽出された各画像特徴量のデータと比較して、低次の画像特徴量の類似度を算出する。
なお、基準画像Imcについて各画像特徴量を抽出する手法は「評価対象画像」(画像Imo)の場合と同様であるため、ここでは説明を省略する。なお、基準画像Imcについての各画像特徴量の特徴量マップは予め作成されて基準画像Imcに対応付けられた状態で記憶部12等に記憶されていてもよい。
【0046】
「評価対象画像」(画像Imo)と基準画像Imcとの比較の仕方、類似度の判定の仕方は特に限定されず、各種の手法を用いることができる。例えば
図2では両画像のヒストグラムを作成し、類似度を判定する場合を例示している、この場合、例えばEMD(Earth Mover’s Distance)のアルゴリズムを用いて両画像のヒストグラムの類似度を判定することができる。EMDの手法では、「評価対象画像」(画像Imo)の画像特徴量をヒストグラム化したものと、基準画像Imcの画像特徴量をヒストグラム化したものとを比較して、ヒストグラム(ヒストグラムの形状)が近いほどEMDの値が「0」に近くなり、両者は類似していると判定される。
EMDの手法は、具体的には一方の分布を他方の分布に変換するための最小コスト(労力)を考えたときに、コストが小さければEMDの値が小さく、類似度が高いと判断され、コストが大きければEMDの値が大きく、類似度が低いと判断されるものであって、例えば色の分布の場合には、色の分布を近づけるために一方から他方に移動すべき色の距離×移動する量の大小で類似度が判断される。
【0047】
なお、ここでは「評価対象画像」(画像Imo)と基準画像Imcとの、色成分に関する類似度を算出する場合について説明する。
この場合、「評価対象画像」(画像Imo)と基準画像Imcのそれぞれについて、色成分をクラスター化し、色のピクセルのヒストグラムを生成する。例えば、「評価対象画像」では黒のドットが何個、赤のドットが何個、白のドットが何個、青のドットが何個、茶色のドットが何個…というようにしてヒストグラムを作る。また基準画像Imcについても、同様に黒のドットが何個、赤のドットが何個、白のドットが何個、青のドットが何個、茶色のドットが何個…というようにしてヒストグラムを作る。
【0048】
例えば
図3(a)に示す「評価対象画像」(画像Imo)と
図4(a)に示す基準画像Imcとの類似度を見たい場合には、基準画像Imcが画像DB122から選択され、「評価対象画像」と比較する基準画像Imcに設定される。
なお、基準画像Imcの設定の仕方は特に限定されない。例えば、画像DB122に記憶されている全ての画像を基準画像Imcに設定して、「評価対象画像」(画像Imo)がいずれの画像と最も印象が近いか、それぞれの類似度具合を評価してもよい。
また、評価者(デザイナー等)が「評価対象画像」(画像Imo)に求める印象が「ナチュラル」である場合、操作受付部14等から「評価対象画像」(画像Imo)がどの程度「ナチュラル」であるかを判断したい旨入力すると、画像DB122に記憶されている画像のうち、「ナチュラル」との印象評価が紐づけられている画像が基準画像Imcとして設定されてもよい。
【0049】
なお、基準画像Imcの選出・設定は自動的に行われてもよいし、評価者(デザイナー等)が、「評価対象画像」(画像Imo)の印象をこの画像と比較したい、と考える画像を任意に選択・設定してもよい(例えば「ナチュラル」との印象評価と紐づけられている画像を画像DB122から検索して選択する等)。
【0050】
図3(b)は、「評価対象画像」(画像Imo)を構成している色成分をクラスター化して示したものであり、
図3(c)は、
図3(b)に示す色成分をヒストグラム化した例を示す図である。また、
図4(a)は「ナチュラル」との印象評価が紐づけされた基準画像Imcの例であり、
図4(b)は、基準画像Imcを構成している色成分をクラスター化して示したものであり、
図4(c)は、
図4(b)に示す色成分をヒストグラム化した例を示す図である。
【0051】
例えば、「評価対象画像」(画像Imo)についてのヒストグラムが
図5に実線で示すような形状であり、基準画像Imcについてのヒストグラムが
図5に一点鎖線で示すような形状である場合には、実線で示すヒストグラムを一点鎖線で示すヒストグラムの形状に近付けるためには、一旦大きく山を取り崩してその多くを移動させなければならず、コスト(労力)が大きい。このため両者の類似度は低いと判定される。
これに対して、「評価対象画像」(画像Imo)についてのヒストグラムが
図6に実線で示すような形状であり、基準画像Imcについてのヒストグラムが
図6に一点鎖線で示すような形状である場合には、両者の形状に大きな違いがなく、実線で示すヒストグラムを一点鎖線で示すヒストグラムの形状に近付けるために必要なコスト(労力)は小さくて済む。このため両者の類似度は高いと判定される。
【0052】
なお、「評価対象画像」(画像Imo)と基準画像Imcとの類似性判断は、どのような手法を用いて行ってもよい。
類似度の判断が複数の画像特徴量に関わる場合には特徴量毎に類似度を評価してもよいし、総合的に組み合わせて評価してもよい。いずれによるかは類似度を評価する目的等によって適宜選択される。複数の画像特徴量を組み合わせて類似度の評価を行う場合には、例えば主成分分析等の次元縮減方法で複数の特徴量をマッピングし、主成分分析のマップの距離で類似性を判断する等、各種の手法を用いることができる。なおこの場合の類似性の評価は、主成分分析の手法によるものに限定されない。
【0053】
また本実施形態では、処理流暢性、位置バイアス、顕著性といった高次の画像特徴量も、「評価対象画像」(画像Imo)と基準画像Imcとの類似度を算出する際に考慮される。具体的には、例えば色成分について類似度を判断する場合、全ての配色について同じ重さで評価するのではなく、処理流暢性、位置バイアス、顕著性といった高次の画像特徴量による重み付けを行い、画像全体のうち、処理流暢性、位置バイアス、顕著性といった高次の画像特徴量の高い部分については、ヒストグラムによる比較をする際に、それ以外の部分よりも重み付けをして評価を行う。
【0054】
すなわち、
図2に示すように、本実施形態では処理流暢性、位置バイアス、顕著性といった高次の画像特徴量について特徴量マップを生成し、類似度の判断において、低次の画像特徴量の特徴量マップに対して、高次の画像特徴量についての特徴量マップによる重み付けを行う。例えば同じ色が用いられていてもそれが位置バイアスの観点から視線が集まるような部分に用いられているか、注目されない部分に用いられているか等によって、重み付けが異なり、前者で用いられている色であれば類似度の判断に大きく影響し、後者であれば類似度の判断への影響は小さい。
【0055】
例えば「評価対象画像」(画像Imo)において、下側の地の部分はほとんど情報がなく処理流暢性の観点から重視されない。また、乱雑・複雑過ぎて視線が向かいにくい部分(例えば「評価対象画像」(画像Imo)において、ノートパソコンの右横の文房具が複数置かれている部分等)も処理流暢性の観点から画像特徴量が低い。こうした高次の画像特徴量(処理流暢性)が低い部分については、重みが低くなるようにしてヒストグラムの比較を行う。
【0056】
また本実施形態の「評価対象画像」(画像Imo)がウェブページに掲載される画像である場合には、左上に視線が集まる傾向にあるため、画像のうち左上に使われている色等の印象が他の部分の色の印象よりも大きくなる。このため、左上の色(単色及び配色)について他の部分よりも重みが高くなるようにしてヒストグラムの比較を行う。
【0057】
単に色成分や輝度成分の情報等、低次の画像特徴量についてだけでヒストグラムの比較を行うと、例えば画像の多くの部分を占める地の色等をメインとした判断となり、少ない面積範囲で用いられている色についてはほとんど拾われないこととなるおそれがある。また逆に面積としては広い範囲で用いられていても、デザインが乱雑で複雑な部分で用いられているために実際にはあまり人の目に留まらない部分の色等が大きく評価されてしまうことがある。これに対して、本実施形態のように高次の画像特徴量を考慮することにより、たとえ一部分であっても、同じような領域(例えば左上)で同じような色が用いられている場合には「評価対象画像」(画像Imo)と基準画像Imcとの類似度が高く、見る者に似たような印象評価を与えると判断される。このため、実際に人が見た場合の印象評価により近い解析結果を得ることができる。
また同じような複雑さ、乱雑さを有する画像同士は見る人に類似する印象を与えることもあり、高次の画像特徴量を考慮することでこのような印象の類似度(類似性)についても適切に評価結果に反映させることができる。
【0058】
印象評価の提示の仕方は特に限定されず、例えば表示部16等に
図5や
図6に示すようなヒストグラムそのものを表示させてもよいし、画像全体としての爽やかさの印象が3.5というように印象評価を数字等で示してもよい。
また、例えば配色に基づく「かわいらしさ」の印象3.5、方位(エッジの向き等)に基づく「アクティブさ」の印象5.6のように、どのような画像特徴量が印象評価に影響したのか、各画像特徴量の影響度も併せて数値等で表示させてもよい。
さらに印象評価の提示の仕方、出力のさせ方は表示部16等への表示に限定されず、例えば音声出力等を行ってもよいし、印刷等により出力させてもよい。また情報処理装置1から外部装置に対して解析結果を送信してもよい。
【0059】
また、制御部11は改善提案部として、画像特徴量の値に応じて、「評価対象画像」(画像Imo)の印象に関する改善を提案する。
例えば
図3(a)に示す画像が「評価対象画像」(画像Imo)である場合について、印象評価を変えるための配色の変更例を
図7に示す。
図7に示す例では、
図7の左端に示すように現状の配色(配色比率)では、印象評価として「風格のある」印象の基準画像Imcとの類似度が0.008である場合(例えば現状の印象評価としては「モダン」)、これを所望の印象である「風格のある」印象の画像にするにはどのように配色を変更すればよいかを類似度の変動とともに示している。
図7の例では全体に黒っぽい印象の配色に変更するにしたがって「風格のある」印象の基準画像Imcとの類似度が上がっていき、類似度1.000では全体に黒く重厚感のある印象になることが分かる。
【0060】
なお、ここでは配色を変更する場合について例示したが、他の画像特徴量(例えば輝度成分等)に関しても同様に改善を提案することができる。
改善提案は1つの画像特徴量ごとに行ってもよいし、2つ以上の要素(項目)について組み合わせて行ってもよい。どの要素(成分)をどのように変更すると、印象評価がどのように変わるか(改善されるか)をシミュレーションした結果等を、複数パターン出して、表示部16等に並べて配置し、それぞれ何をどの程度変えるとどのような印象になるかを評価者(デザイナー等)に提示してもよい。このとき、元の画像Imoからどの要素をどのように変更したか、所望の印象の画像(基準画像Imc)との類似度等を数値で示すことが好ましい。
【0061】
なお、評価者(デザイナー等)への改善案の提示の仕方は図示例に限定されない。
例えば「評価対象画像」(画像Imo)を「風格のある」印象の基準画像Imcとの類似度10000となる配色に変更した場合の画像イメージも併せて表示させてもよい。「風格のある」印象の画像への変更過程である類似度0.027,類似度0.124等の画像のイメージ等も適宜表示可能としてもよい。
また例えば画面上にスライドバー等を表示させ、評価者(デザイナー等)が変更したい要素をスライドさせると、「評価対象画像」(画像Imo)が変更されていく様子を段階的に見ることができてもよい。この場合、所望の印象の画像となったところで確定させ、保存できるような構成となっていてもよい。
様々な画像特徴量を変更した結果を複数段階で評価者に示したり、それぞれを改善案1,改善案2…というように記憶することができてもよい。各改善案にはどの要素(画像特徴量)をどのように変更したかが分かるように数値を併せて提示することが好ましい。
【0062】
これにより、評価者としては、どの画像特徴量をどのように変更すると、「評価対象画像」の印象評価をどのような印象の画像(基準画像Imc)にどの程度近づけることができるかを具体的に知ることができる。このため、例えば評価者がデザイナーである場合に所望の印象とするためにどうすればよいかが分かりやすく、改善したデザインを制作しやすくなる。
また、デザイン制作を依頼する依頼者が評価者である場合にも、デザイナー等からデザイン案が提示された場合に、所望の印象のデザインとするためには、何をどう変更してもらえばよいか等を具体的に指摘しやすい。
【0063】
例えば
図8に示す従来例のように、低次の画像特徴量だけに基づいて印象を評価した場合には、人の心理的な注目の仕方、視線の動かし方等が印象評価に反映されず、正しく画像Imoの印象を判断することができない。
また、予め各種の画像を複数(n人)の被験者に見せた場合の印象評価を取得・収集し、この印象評価を画像にタグ付けしてデータベースに蓄積し、深層学習によって印象解析を行う場合、新規の画像を入力すると、例えば
図9に示すように、入力された各画像(
図9において画像1~画像3…の「入力画像」)について実際の人の感じ方を反映した形での印象評価を得ることができる。印象評価としては、
図9にタグ付け例1として示すように、例えば最も多かった印象だけを入力画像と対応付けて記憶させてもよいし(すなわち、画像1であれば「クール」とタグ付け)、タグ付け例2として示すように、例えば複数の印象評価をそれぞれポイントとともに入力画像と対応付けて記憶させてもよい(すなわち、画像1であれば「クール:4.8、ナチュラル:1.2,重厚:3.4」とタグ付け)。
しかし深層学習で印象を評価した場合、評価結果を示すことはできても、「評価対象画像」が、なぜそのような印象と評価されたのかを示すことはできず、結果を示された評価者(デザイナー等)としてはどのようにデザインを変更すれば現状よりも所望の印象の画像とすることができるのか、改善の仕方が分からない。
【0064】
これに対して本実施形態では、低次の画像特徴量と高次の画像特徴量とを組み合わせることで、印象解析・印象判断の精度を高めることができるとともに、評価者(デザイナー等)が「評価対象画像」を所望の印象評価の画像とするためにどのように改善すればよいか、改善の方向性を示すことができ、デザイナー等の支援として十分な情報を提供することができる。
【0065】
[ドミナントカラーの配色比率の算出方法について]
次に、ドミナントカラーの配色比率の算出方法について説明する。
デザインの印象を解析する際に、「評価対象画像」の色の分析をする場合がある。
この場合、従来技術では、「評価対象画像」を減色処理して配色パターン(ドミナントカラー)を抽出し、抽出された各色が「評価対象画像」を占める面積率を算出する。そして、当該算出した面積率を、「評価対象画像」に対するドミナントカラーの配色比率としていた。
しかし、上記従来技術により算出されたドミナントカラーの配色比率が、人が実際に「評価対象画像」を見たときに感じる印象と一致しない場合があった。
例えば、ベースカラーが白色であり、アクセントカラーとして有彩色が存在する画像においてこの傾向が顕著に表れる。当該画像とは、例えば、パワーポイント(登録商標:POWERPOINT)のスライド画像である。
スライド画像では、白色の占める面積が他の有彩色に比べて圧倒的に大きい。しかし、人がスライド画像を見たときには、ベースカラーになっている白色の面積率に寄らず、アクセントカラーの有彩色が所定量以上の面積率を占めているように感じられる。
【0066】
これに対し、本実施形態では、制御部11は、
図10に示す配色比率算出処理を実行して、「評価対象画像」におけるドミナントカラーの配色比率を算出する。ここで、制御部11は、比率算出部として機能する。
制御部11は、「評価対象画像」がドミナントカラーを示す画像でない場合に配色比率算出処理を実行する。当該ドミナントカラーを示す画像とは、ドミナントカラーそのものの画像である。
【0067】
(配色比率算出処理)
まず、制御部11は、「評価対象画像」に対して、高次の画像特徴量としての顕著性を抽出する(ステップC1)。
なお、「評価対象画像」内に透過領域が存在する場合、ステップC1において、制御部11は、当該透過領域に所定の階調を設定した上で顕著性を抽出する。
【0068】
次に、制御部11は、「評価対象画像」を減色処理してドミナントカラーを抽出する(ステップC2)。
なお、「評価対象画像」内に透過領域が存在する場合、ステップC2において、制御部11は、当該透過領域を除外して減色処理を実行する。
【0069】
次に、制御部11は、ステップC2において抽出した各色が「評価対象画像」を占める面積率を算出する(ステップC3)。
次に、制御部11は、ステップC3で算出した面積率に対して、ステップC1で抽出した顕著性の程度を表す数値で重み付けして補正する。そして、制御部11は、当該補正した値をドミナントカラーの配色比率とし(ステップC4)、本処理を終了する。これにより、例えば、顕著性が大きい領域に対応するドミナントカラーの面積率が、より大きい値に補正される。
【0070】
なお、配色比率算出処理におけるステップC2~C4の順序は
図10に示す例に限らない。
具体的には、制御部11は、ステップC1後に、「評価対象画像」が有する各色の面積率に対して、ステップC1で抽出した顕著性の程度を表す数値で重み付けして補正する。次に、制御部11は、面積率を補正した「評価対象画像」を減色処理してドミナントカラーを抽出する。次に、制御部11は、抽出した各色が「評価対象画像」を占める面積率を、「評価対象画像」に対するドミナントカラーの配色比率としてもよい。
【0071】
これにより、配色比率算出処理により算出した「評価対象画像」に対するドミナントカラーの配色比率と、人が実際に評価対象画像を見たときに感じる印象とを一致させることができる。
【0072】
[効果]
以上説明したように、本実施形態に係る印象解析システム100(情報処理装置1)は、「評価対象画像」を入力する入力部15と、「評価対象画像」に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部として機能するとともに、印象評価と紐づけられた基準画像Imcに対して低次の画像特徴量及び高次の画像特徴量を抽出したデータと「評価対象画像」の画像特徴量のデータとを比較して、「評価対象画像」と基準画像Imcとの類似度を算出する類似度判定部として機能する制御部11と、を備えている。
これにより、人が見たときに受ける印象を評価したい画像(評価対象画像)について、色、輝度、方位といった低次の画像特徴量だけでなく、処理流暢性や位置バイアスといった高次の画像特徴量も考慮に入れた上での画像の印象を評価・解析することができる。
このため、従来深層学習を用いて行っていた視線予測性(視線誘導)についても解析し、その結果を反映させることで印象評価を高精度に行うことができる。そして、深層学習を用いずに、視線予測性も含めた印象の評価を行うため、印象の評価結果だけでなく、その結果がどのような要素・要因(画像特徴量)の影響で導かれたものかを示すことができ、評価の過程がブラックボックスとならない。
このように評価の過程を示すことのできるシステムとすることで、デザイナー等の評価者にとって理解しやすい評価結果を得ることができる。すなわち、単に画像(評価対象画像)の与える印象だけでなく、どのような要素・成分(画像特徴量)によって当該画像についてそのような印象が導かれたのかを評価者が知ることができる。
【0073】
また本実施形態では、制御部11が画像特徴量の値に応じて「評価対象画像」の印象に関する改善を提案する改善提案部としても機能する。
これにより、「評価対象画像」がデザイナー等の評価者の所望する印象となっているか否か、なっていない場合には、どのような画像特徴量の影響で現状の印象と評価されているのかを示すことが可能である。
そして、画像の印象が所望の印象に近付くように改善するためには、何をどのように変更すればよいかを評価者に提示することができる。このため、評価者(デザイナー等)としては、デザインの改善の方向性を具体的に把握することができ、所望の印象を得られるように適宜デザインを修正することが可能となる。このため、デザイナーのデザイン制作等を支援することができる。
【0074】
また本実施形態において「評価対象画像」との類似度を判断する基準画像Imcを評価者(デザイナー等)が任意に選択してもよい。
このため、「評価対象画像」が評価者の求める所望の印象となっているか否か、所望の印象に近づけるためにはどうすればよいか等について解析結果を求めることができる。
【0075】
また本実施形態において高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含んでいる。
これにより画像を見る者に与える印象に影響を及ぼすとされる人の精神的・心理的な傾向、視線の移動傾向等を印象解析に反映させることができる。このため、従来のような深層学習を用いずに、視線予測性(視線誘導)も含めた印象評価を示すことができる。
【0076】
また本実施形態の処理流暢性の度合いは、複雑度、デザインの密度、空間周波数の少なくともいずれかによって決定されるものを含んでいる。
これにより、「評価対象画像」内における乱雑・複雑な箇所はあまり注視・注目されないという人の精神的な傾向を印象解析に反映させることができる。
【0077】
また本実施形態の複雑度は、局所フラクタル次元である。
これにより、複雑度をより人の感覚に合った値にできる。
【0078】
また本実施形態において低次の画像特徴量は、色、輝度分布、方位、コントラスト、顔、フォント、動作の少なくともいずれかを含んでいる。
これにより、色や輝度分布等、基本的な画像特徴量を印象解析に反映させることができる。
【0079】
また、本実施形態に係る印象解析システム100は、評価対象画像における配色パターンの比率を算出する比率算出部(制御部11)を備え、特徴量抽出部(制御部11)は、高次の画像特徴量として顕著性を抽出し、比率算出部は、特徴量抽出部により抽出された顕著性に基づく重み付けをして配色パターンの比率を算出する。
これにより、本実施形態において算出した「評価対象画像」に対するドミナントカラーの配色比率と、人が実際に「評価対象画像」を見たときに感じる印象とを一致させることができる。
【0080】
また、本実施形態に係る印象解析システム100において、比率算出部(制御部11)は、評価対象画像内に存在する透過領域を除外して配色パターンの比率を算出する。
これにより、「評価対象画像」に透過領域が含まれている場合においても、人が実際に「評価対象画像」を見たときに感じる印象と一致したドミナントカラーの配色比率を算出できる。
【0081】
また、本実施形態に係る印象解析システム100において、特徴量抽出部(制御部11)は、評価対象画像内に存在する透過領域に所定の階調を設定して、顕著性を抽出する。
これにより、「評価対象画像」に透過領域が含まれている場合においても、適切に顕著性を抽出できる。
【0082】
[変形例]
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0083】
例えば、上記実施形態では、1つの情報処理装置1の制御部11が特徴量抽出部、類似度判定部、改善提案部として機能する場合を例示したが、特徴量抽出部、類似度判定部、改善提案部として機能するのは情報処理装置1の制御部11に限定されず、他のコンピューターの制御部が、これらの全部又は一部の機能を担ってもよい。
さらに、上記実施形態では、1つの情報処理装置1の制御部11が比率算出部として機能する場合を例示したが、比率算出部として機能するのは情報処理装置1の制御部11に限定されず、他のコンピューターの制御部が、これらの全部又は一部の機能を担ってもよい。
この場合、これらの機能を担うコンピューターも含めて印象解析システムが構成される。
【0084】
また本実施形態では、処理流暢性(複雑性)をフラクタル次元によって数値化する場合を例示したが、処理流暢性(複雑性)を数値化し評価する手法はこれに限定されず、各種の手法を用いることができる。
【0085】
また本実施形態では、低次の画像特徴量の例として、色、輝度分布、方位(エッジの向き、形状)、コントラスト、顔、フォント、動作を示し、高次の画像特徴量の例として、処理流暢性、位置バイアスを示したが、印象解析システムにおいて解析・判断に影響を与える画像特徴量はこれに限定されず、各種の他の要素を含んでもよい。
視線の集中・移動等に影響を与えるような要素を広く含んで印象を判断することにより、一層精度の高い解析結果を得ることができる。
【0086】
なお、本発明が上記の実施形態や変形例等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
【符号の説明】
【0087】
1 情報処理装置
11 制御部
12 記憶部
13 RAM
15 入力部
16 表示部
100 印象解析システム