【国等の委託研究の成果に係る記載事項】(出願人による申告)平成28年度、国立研究開発法人科学技術振興機構研究成果展開事業 センター・オブ・イノベーションプログラム『精神的価値が成長する感性イノベーション拠点』委託研究開発、産業技術力強化法第19条の適用を受ける特許出願
【文献】
鵜沼 秀行,“人間の視覚における感性について”,日本ロボット学会誌,日本,社団法人日本ロボット学会,1999年10月15日,Vol.17, No.7,pp.23-28
【文献】
Aiwen Jiang et al.,"A New Biologically Inspired Feature for Scene Image Classification",2010 20th International Conference on Pattern Recognition,米国,IEEE,2010年 8月23日,pp.758-761,URL,https://ieeexplore.ieee.org/document/5596039
(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の視覚上の感性の評価は、感性用語を用いたり、画像撮影者の好みを反映したものとされていて、感性そのものを物理的に評価するものではなく、具体性に欠けるものとならざるを得ないものであった。
【0005】
本発明は以上のような事情を勘案してなされたもので、その目的は、人間の視覚上の感性を定量化して評価できるようにした感性評価システムを提供することにある。
【課題を解決するための手段】
【0006】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
所定の感性について評価の対象となる画像を取得する画像取得手段と、
人間脳内の階層的な視覚情報処理を模擬して構成され、前記画像取得手段で取得された画像について該階層毎に特徴データを算出する画像特徴算出手段と、
前記画像特徴算出手段で算出された特徴データについて、自己相関および相互相関を算出する視覚統計量算出手段と、
前記各階層の特徴データの自己相関および相互相関をパラメータとしてあらかじめ設定され、前記所定の感性についての評価モデルを記憶した評価モデル記憶手段と、
前記視覚統計量算出手段で算出された自己相関と相互相関とを前記評価モデルに照合して、前記評価対象となる画像についての感性を評価する感性評価部と、
を備えているようにしてある。上記解決手法によれば、人間の視覚上の感性を定量化して評価することができる。特に、人間の視覚上の情報処理を模擬化したデータを用いた評価手法なので、実際に人間が感じる感性と適切に合致した評価を行うことができる。
【0007】
上記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記画像特徴算出手段は、第1階層での処理となる周波数処理による複数の第1特徴データと、第2階層での処理となる方位選択処理による複数の第2特徴データと、第3階層での処理となる方位信号強度処理による複数の第3特徴データとを算出する、ようにしてある(請求項2対応)。この場合、人間の網膜から外側膝状体を経て大脳皮質で行われる視覚上の情報処理を適切に再現した評価を得ることができる。
【0008】
前記視覚統計量算出手段で算出された自己相関、相互相関とに基づいて、前記評価モデルを学習補正する学習手段をさらに備えている、ようにしてある(請求項3対応)。この場合、評価モデルをより適切に設定する上で好ましいものとなる。
【0009】
評価される感性の種類が複数設定されて、該複数の感性に対応して前記評価モデルが複数設定され、
前記複数の評価モデルの中から、評価される前記所定の感性に応じて1つの評価モデルを選択するモデル選択手段をさらに有し、
前記感性評価手段は、前記視覚統計量算出手段で算出された自己相関と相互相関とを
前記モデル選択手段で選択された評価モデルに対して照合する、
ようにしてある(請求項4対応)。この場合、視覚上の種々の感性に対応した評価を行うことができる。
【0010】
前記評価モデルが、多数の画像について取得された前記自己相関および前記相互相関について主成分分析を行った後、前記所定の感性の評価用のパラメータを選択することにより決定されている、ようにしてある(請求項5対応)。この場合、評価モデルを極力簡単かつ容易に設定する等の上で好ましいものとなる。
【0011】
前記評価モデルが、次式によって設定されている(ただし、Yは感性の主観評価値、a、b、cは係数、Xは前記自己相関または前記相互相関である)、ようにしてある(請求項6対応)。この場合、感性の評価値を数式でもって得ることができる。
【0012】
【数2】
【0013】
前記所定の感性についての評価が、質感の評価とされている、ようにしてある(請求項7対応)。この場合、広く一般に行われることの多い質感についての評価を行うことができる。
【0014】
前記評価モデルが、前記第3特徴データの自己相関と前記第2特徴データの相互相関とをパラメータとして設定されている、ようにしてある(請求項8対応)。この場合、評価モデルが用いるパラメータを極力簡単化しつつ、2次元マップの形式でもって質感を評価することができる。また、2次元マップ上での位置づけを直感的に理解できることから、質感を高めるあるいは低下させるための方向付けを容易に知ることができる。
【発明の効果】
【0015】
本発明によれば、視覚上の感性を定量化して評価することができる。
【発明を実施するための形態】
【0017】
まず、
図2を参照しつつ、人間脳内の視覚情報処理を模擬化した処理に基づく各階層での特徴データの算出と、各特徴データについての自己相関および相互相関について説明する。
【0018】
人間の脳内の視覚情報処理は、網膜から外側膝状体を経て大脳皮質での処理となり、第1階層での処理、第2階層での処理、第3階層での処理というように、3段階で行われる。網膜に入力される視覚情報の入力が図中○1で示される。なお、以下の説明で、
図2中の数字を○印で囲ったものを、○1、○2等でもって表示することとする(例えば○1は、数字の1を○印で囲ったもの)。
【0019】
第1階層での処理は、網膜入力後の外側膝状体の処理を模擬したもので、周波数処理つまり解像度処理とされて、例えば高周波(高解像度)と低周波(低解像度)とに分解される。実施形態では、2段階で周波数が分解される処理を行うものとなっており、この第1階層での処理によって、
図2中○2、○3として示される2種類の特徴データが算出される。なお、第1階層での処理を、外側膝状体(LGN)の表示を取って「LGN」として表示してある。
【0020】
第2階層での処理は、第1次視覚野の単純型細胞の処理を模擬したもので、第1階層で処理された各周波数について、方位と位相との分解処理が行われる。この第2階層の処理によって、○4〜○11の合計8種類の特徴データが算出される。なお、第2階層での処理を、第1次視覚野の単純型細胞の表示を取って「V1 Simple」として表示してある。
【0021】
第3階層での処理は、第1次視覚野の複雑型細胞の処理を模擬したもので、周波数別に位相差を統一させて、方位強度を示す処理となり、○12〜○15の4種類の特徴データが算出される。なお、第3階層での処理を、第1次視覚野の複雑型細胞の表示を取って「V1 Complex」として表示してある。
【0022】
各階層での特徴データについて、自己相関、相互相関が算出される。
図2中、「Auto」として示すのが自己相関を示し、「Within」として示すのが同一周波数間での相互相関を示し、「Across」として示すのが異なる周波数間での相互相関を示す。
【0023】
算出される自己相関の種類は次のようになる。まず、第1階層の特徴データ○2、○3についての自己相関が、「LGN Auto」として算出される。
【0024】
第2階層での8つの特徴データについて、同一周波数内で同一位相内での相互相関が、「Simple Within」として算出される。また、上記8つの特徴データのうち異なる周波数間での相互相関が「Simple Across」として算出される。なお、実施形態では、「Simple Across」は、フーリエ変換によって、実部と虚部との2種類を算出するようにしてある。
【0025】
第3階層での4つの特徴データの自己相関が、「Complex Auto」として算出される。また、この4つの特徴データの同一周波数内での相互相関が「Complex Within」として算出される。さらに、この4つの特徴データの異なる周波数間ので相互相関が、「Complex Across」として算出される。
【0026】
上記のように算出された自己相関および相互相関の算出に加えて、視覚入力についてのモーメント、第1階層での特徴データについてのモーメント(LGNモーメント)、第3階層での特徴データについてのモーメント(V1 Complexモーメント)が算出される(モーメントは、画像の基本的な統計量であって、平均、分散、歪度、尖度のいずれかで定義される)。
【0027】
次に、
図3を参照しつつ、評価モデルを設定する例について説明する。なお、以下の説明では、評価する感性が物体(物品)の「質感」とした場合を例にして行うこととする。まず、
図3中、G1、G2・・・Gnとして示すのは、質感評価の対象となる異なる多数(例えば500〜1000)の画像を示す。この多数の画像についての視覚上の感性評価値(例えば質感の良否について複数段階での評価値)が紐付けられている。なお、質感評価値は、質感評価を行う複数人の専門家による評価値の生データあるいは平均した値としてある。
【0028】
各画像について、
図2について説明したように、自己相関、相互相関が算出される。1つの画像について、自己相関および相互相関について、数多くの相関レベル(数値としての相関係数)を有するものである。各自己相関および各相互相関について、主成分分析(例えば5次元)が行われて、
図3中A列で示すような抽出が行われる。また、
図3中B列で示すように、A列の中から、質感評価に大きな影響を及ぼすパラメータが選択される。
【0029】
主成分分析によって取得された上記A列に示すパラメータに基づいて、評価モデルを示す(1)式が、数1のように決定される。
【0031】
(1)式中、Yは、各画像についての質感評価値であり、a0〜am、b1〜bm、c(cについてのサフィックスはここでは省略)は係数(定数)であり、X1〜Xmは、
図3で示すA列での相関レベルである。当初は、各係数は不知である。(1)式に対して、各画像G1〜Gnについての主観的な質感評価値Yと相関レベルX1〜Xmをあてはめて、回帰手法によって各係数が決定される。回帰モデルとなる(1)式において、個々の係数は、多数の自己相関および多数の相互相関のうち特定の1つが対応づけられている。
【0032】
(1)式は、抽出されたA列で示す自己相関および全ての相互相関を含むように決定されたものとなる。この(1)式から、
図3のB列で示すような質感評価に大きな影響を与えるパラメータのみを残して、質感評価に影響がないパラメータを削除して、質感評価用の評価モデル式が下記の(2)式として決定される。したがって、(2)式でのサフィックスnは、(1)式でのサフィックスmよりも小となる。なお、(2)式は、(1)式から不要なパラメータについての係数分を削除した後に、係数のサフィックスが連続するように書き直したものとなっている((1)式と(2)式とでは、同じサフィックスの係数が同じ内容を示すものとは限らない)。
【0034】
ここで、上記(1)式では、全ての1次項に対して、2次の項および交互作用の項(初期値a0を除く右辺第3項)を含んでいる。実際には、評価モデルを極力シンプルにするという観点から、主観評価に所定以上の影響を有するある特定の1次の項に対してのみ、2次の項および交互作用の項を有するものとするのが好ましく、このような処理が行われた後の状態が、(2)式である。
【0035】
ある物体の質感評価を行う場合、当該ある物体についての画像を取得して、
図2に示すように自己相関、相互相関を算出し、この算出結果を上記(2)式に当てはめる(自己相関、相互相関の各相関レベルをX1〜Xnに当てはめる)ことにより、上記ある物体についての質感の評価値が数値でもって算出されることになる(定量化で可視化ともなる)。なお、(2)式での評価モデルの妥当性を、
図3で示す画像G1〜Gn以外の複数の画像(から算出される自己相関、相互相関)とそれに対する主観的な質感評価値とを利用して、検証することもできる。
【0036】
次に、
図1を参照しつつ、感性評価を行うための全体的な制御系統例について説明する。
図1において、11は、視覚上の感性の評価対象となるカラーの画像であり、この画像11はカメラによって取得される。この画像11について、前述したように、第1階層から第3階層での特徴データが画像特徴算出部12によって算出されて、この特徴データに基づいて、視覚統計量計算部13によって自己相関および相互相関が算出される。
【0037】
一方、視覚上の感性についての評価モデルが、複数設定されている。
図1では、評価モデルAは質感評価用であり、評価モデルBは美観評価用であり、このように、評価する感性の相違に応じて、複数の評価モデルが設定されている。評価モデルとしては、顔表情(が示す感性)等の他の評価対象を適宜設定できる。
【0038】
各評価モデルは、評価パラメータ選択部Pでの選択によって、評価すべき感性の種類に応じたパラメータが設定されている。例えば、質感評価においては、構造・輝度の一様性と輝度のグラデーションとがパラメータとされる(自己相関、相互相関が、構造・輝度の一様性と輝度のグラデーションを検出するように行われる)。また、美観評価においては、例えば輝度分布の対称性がパラメータとして設定される(自己相関、相互相関が、輝度分布の対称性を検出するように行われる)。このように、感性の評価対象に応じてパラメータの選択が行われて、これに応じて自己相関および相互相関が選択されたパラメータに応じて算出される。
【0039】
図1において、個人情報入力部21において個人情報(例えば性別、年齢、職業等)が入力され、入力された個人情報が、個人情報前処理部22で前処理(例えば年齢を複数段階に分類等)された後、個人情報記録部23に記録(記憶)される。
【0040】
生体センサ入力部24で入力された生体情報と主観評価部25で入力された主観的な感性評価値とが、感性実測値推定部26に入力されて感性実測値が推定され、この推定された感性実測値が感性実測値記録部27に記録(記憶)される。
【0041】
シーン情報入力部28で入力されたシーンのうち、評価対象特定部29でもって評価対象が特定される。そして、この評価対象特定部で特定された評価対象(の画像)が、評価対象記録部30に記録(記憶)される。前述した視覚統計量計算部13での計算結果が、視覚統計量記録部31に記録(記憶)される。
【0042】
上述した各記録部23、27、30、31が、データベース部Dを構成する。このデータベース部Dでのデータに基づいて、評価モデルが設定される。具体的には、データベース部でのデータが、評価パラメータ選択部Pに入力されて、評価すべき感性の種類に応じて、適切なパラメータ(評価軸)が選択されて(
図3のB列のパラメータ選択が対応)、選択されたパラメータに応じて評価モデルが設定される((2)式に示す評価モデルが設定される)。
【0043】
前記記録部30での記録内容が、
図3に示す多数の画像G1〜Gnとして利用され、記録部27での記録内容が、各画像G1〜Gnに対する主観的な評価値として利用される。
なお、個人情報入力部21は、個人情報(例えば性別や年齢層)に応じて評価値を補正するためであり、無くてもよいものである。また、記録部31は、新たに感性評価したときにこれを評価モデルを学習補正するためであり、学習補正を行わない場合は無くてもよいものである。
【0044】
評価パラメータ選択部は、評価する感性の内容(種類)に応じて評価パラメータ(評価軸)を選択する。評価パラメータは、前述したように、評価される感性が例えば質感の場合は、特に構造・輝度の一様性と輝度のグラデーション(の一様性)とされる。また、評価される感性が例えば美観の場合は、輝度分布の対称性等とされる。このように、評価される感性の内容に応じた適切なパラメータが選択されて、前述したように評価モデルが設定され、この他人間の顔表情が示す感性等、視覚上の適宜の感性について評価モデルを設定することができる。
【0045】
図1の制御系において、評価モデル設定部41によって、いずれか1つの評価モデルが設定(選択)される。例えば質感評価を行う場合は、評価モデル設定部41によって、質感評価用のとなる評価モデルAが設定される。そして、感性評価部42によって、視覚統計量計算部13で計算された自己相関および相互相関の相関レベル(相関係数)を評価モデルAに当てはめて、質感が算出(評価値として出力)される。
【0046】
評価モデルAをより適切化するため、評価対象画像取得部11で取得された画像について、質感評価の専門家による質感評価値と感性評価部42による質感評価値とが相違する場合は、上記取得された画像を
図3の画像に含めると共に質感評価の専門家による質感評価値を含めるようにして、評価モデルA(これに対応した(2)式)を学習補正することができる。
【0047】
次に、質感評価の場合を例にして、自己相関および相互相関についてさらに詳細に説明する。まず、質感評価の場合に用いる第3階層での自己相関について説明する。この場合、第3階層の特徴データ(例えば
図2の○12)についての自己相関は、第3階層での特徴データとなる元画像とそのコピー画像との相関性が取得される。具体的には、元画像に対してコピー画像を横方向に所定分ずらした状態で両画像同士を比較してその相関性が取得される(相関係の取得)。コピー画像を順次横方向にずらして同様のことが繰り返される。
【0048】
次いで、元画像に対してコピー画像を縦向に所定分ずらした状態で両画像同士を比較してその相関性が取得される(相関係の取得)。コピー画像を順次縦方向にずらして同様のことが繰り返される。
【0049】
以上のようにして得られた相関性を示す相関係数は、例えば
図4に示すような自己相関マップとなる。
図4に示すマップのうち、相関係数が最大となる部分(
図4において○1で示す部分)を含むその周辺領域での相関係数の平均値が、元画像についての相関係数とされる。
【0050】
同様のことが、
図2に示す第3階層での画像○13〜○15について行われて、第3階層での特徴データ全てについて自己相関の相関係数が取得される。各画像○12〜○15について算出された複数の相関係数の平均値を算出して、この平均値が第3階層での特徴データについての自己相関を示す相関係数とされる。
【0051】
次に、第2階層での相互相関を取得する場合の詳細について説明する。なお、以下の説明では、
図2における第2階層での○4の画像と、○4の画像に対して周波数の異なる○8の画像との相互相関を得る場合を例として説明する。この場合、
図5に示すように、周波数の異なる2つの画像同士を重畳して、輝度についてのグラデーションを表現する相関画像が取得される(輝度変化の一様性が高いほど相関性が高いとされる)。90度、45度、0度、−45度という方位の異なる画像同士の間においても同様に輝度についてのグラデーションを表現する相関画像が取得される(
図5では、第2階層での特徴データについての方位が4種類とした場合を示してある)。この後、全ての方位についての相関画像を総和した画像から、輝度変化の一様性についての相相関係数のもっとも大きい部分を含むその周辺部分での相関係数の平均値が算出される。同様のことが、第2階層の他の特徴データ(画像)についても行われて、取得された全ての相互相関の平均値を算出して、この平均値が第2階層での特徴データについての相互相関を示す相関係数とされる。
【0052】
前述のようにして得られた第3階層での特徴データについての自己相関(についての相関係数)と第2階層での特徴データについての相互相関(についての相関係数)とをパラメータとして、質感のレベルを示すマップが例えば
図6のように設定される(可視化された評価形態)。
図6は、マップ式の評価モデルとなるものである。この
図6に示すマップにおいて、領域分けとして例えばα1、α2、α3、α4、α5の5つが設定されているが、領域α1がもっとも上質で、領域α2が2番目に上質で、領域α3が中程度であり、領域α4が上質でなく、領域α5がもっとも上質でないことを示す。
【0053】
図6中、白丸印と黒丸印とは、実際の車両におけるインストルメントパネルについての質感評価の結果を示す。白丸印の車両は、質感レベルが所定レベル以上の合格レベルと評価される。この一方、黒丸印の車両は、質感が低いと評価される。評価された種々の車両におけるインストルメントパネルのオリジナル画像(
図2における画像○1に相当)は、例えば
図7に示すようなものである。なお、
図7では、輝度が高い加飾部分についてハッチングを付してある。種々の車両についての
図7に示すようなオリジナル画像から、第3特徴データの自己相関と第2階層での特徴データの相互相関とを取得して、
図6に照合したものが白丸印と黒丸印である。
【0054】
図6に示すようなマップを用いて質感評価することにより、他車両との関係での質感の相違を一目で知ることができる。また、
図6を利用して、どのようにすれば質感を高める(あるいは低下させる)ことができるかが、一目瞭然となる。すなわち、2つの黒丸印のうち、下方側の丸印で示す車両においては、構造輝度の一様性はほぼそのままで、輝度のグラデーションを高めることにより、質感を高めることができる、ということが理解される。また、上側の黒丸印の車両においては、輝度のグラデーションはほぼそのままで、構造・輝度の一様性を高めることにより、質感を高めることができる、ということが理解される。特に、
図6のマップを利用して質感評価することは、質感を高める(あるいは低下させる)ために、構造・輝度の一様性と輝度のグラデーションとのいずれか一方を変更すればよいのか、あるいは両方を変更する必要があるのかの判断を行うことが可能となる。
【0055】
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。例えば質感を評価する場合に、評価モデルを、評価対象の物体の種類毎に個々に設定することもできる。例えば、車両においては、インストルメントパネル部分の評価用とシートの評価用とドア内装の評価用とを互いに別の評価モデルとして設定することもできる。また、同一種類の物体の例えば質感評価するモデルについて、年齢、性別等で分けた複数の評価モデルを設定することもできる(例えば若年女性層、男性高齢者層等に応じた評価モデルを個々に設定する)車両に限らず、家具類を含むインテリアの評価等、種々の分野における評価を行うことができる。
図2に示した各種モーメント(モーメントの2乗等、モーメントに基づく値を含む)を加味して評価モデルを設定することもできる。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。