特開2018-121752(P2018-121752A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 東京大学の特許一覧
特開2018-121752画像解析装置、画像解析方法、および画像解析プログラム
<>
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000009
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000010
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000011
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000012
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000013
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000014
  • 特開2018121752-画像解析装置、画像解析方法、および画像解析プログラム 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-121752(P2018-121752A)
(43)【公開日】2018年8月9日
(54)【発明の名称】画像解析装置、画像解析方法、および画像解析プログラム
(51)【国際特許分類】
   A61B 5/00 20060101AFI20180713BHJP
   G06T 7/41 20170101ALI20180713BHJP
   G06T 7/90 20170101ALI20180713BHJP
【FI】
   A61B5/00 101A
   A61B5/00 M
   G06T7/41
   G06T7/90 A
【審査請求】未請求
【請求項の数】11
【出願形態】OL
【全頁数】14
(21)【出願番号】特願2017-14650(P2017-14650)
(22)【出願日】2017年1月30日
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
【住所又は居所】東京都文京区本郷七丁目3番1号
(71)【出願人】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
【住所又は居所】東京都中央区銀座7丁目5番5号
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100096943
【弁理士】
【氏名又は名称】臼井 伸一
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100125139
【弁理士】
【氏名又は名称】岡部 洋
(72)【発明者】
【氏名】本吉 勇
【住所又は居所】東京都文京区本郷七丁目3番1号 国立大学法人東京大学内
(72)【発明者】
【氏名】遠藤 瞳
【住所又は居所】神奈川県横浜市都筑区早渕2−2−1 株式会社資生堂 リサーチセンター(新横浜)内
(72)【発明者】
【氏名】島倉 瞳
【住所又は居所】神奈川県横浜市都筑区早渕2−2−1 株式会社資生堂 リサーチセンター(新横浜)内
【テーマコード(参考)】
4C117
5L096
【Fターム(参考)】
4C117XA02
4C117XB13
4C117XD02
4C117XD05
4C117XD08
4C117XD16
4C117XE43
4C117XJ01
4C117XK09
5L096FA26
5L096FA33
5L096FA34
5L096GA38
5L096JA11
5L096MA01
(57)【要約】
【課題】人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現する。
【解決手段】画像解析装置は、人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、サブバンド画像について部位に応じた特徴量を算出する解析部と、特徴量に基づいて部位の外観を評価する評価部とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、
前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出する解析部と、
前記特徴量に基づいて前記部位の外観を評価する評価部とを備える画像解析装置。
【請求項2】
前記解析部は、前記反対色空間における画像に対して多段階のウェーブレット変換を実行することにより、前記サブバンド画像を生成する請求項1に記載の画像解析装置。
【請求項3】
人体表面の各部位を1つまたは複数の特徴量の種別に関連付けたデータベースをさらに備え、前記解析部は、前記部位に応じた特徴量の種別を前記データベースから選択し、選択した種別の前記特徴量を算出する請求項1または2に記載の画像解析装置。
【請求項4】
前記評価部は、心理評価データに基づいて、前記部位の印象を数値化した心理評価値を算出する請求項1ないし3のいずれか1項に記載の画像解析装置。
【請求項5】
前記心理評価データにおいて、前記特徴量は2つの評価軸を用いて前記心理評価値に関連付けられ、前記評価部は、前記2つの評価軸のそれぞれの前記心理評価値を算出する請求項4に記載の画像解析装置。
【請求項6】
前記反対色空間の成分は、輝度成分、赤緑成分および黄青成分である請求項1ないし5のいずれか1項に記載の画像解析装置。
【請求項7】
前記特徴量は、空間周波数、反対色空間の成分、および統計量の組み合わせで定義される請求項1ないし6のいずれか1項に記載の画像解析装置。
【請求項8】
前記統計量は、標準偏差、歪度、尖度および反対色空間の成分間の相関係数のうちの少なくとも1つを含む請求項7に記載の画像解析装置。
【請求項9】
前記部位は、頬、手の甲、唇、爪および頭髪のうちのいずれかである請求項1ないし8のいずれか1項に記載の画像解析装置。
【請求項10】
人体表面の部位の画像を反対色空間における画像に変換するステップと、
前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出するステップと、
前記特徴量に基づいて前記部位の外観を評価するステップとを備える画像解析方法。
【請求項11】
コンピュータを請求項1ないし9のいずれか1項に記載の画像解析装置の各部として機能させる画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像解析装置、画像解析方法、および画像解析プログラムに関し、特に、人体表面の部位の画像を解析するための画像解析装置、画像解析方法、および画像解析プログラムに関する。
【背景技術】
【0002】
画像解析技術を用いて肌画像の特徴量を抽出し、肌の状態、質感などを客観的に評価する方法が知られている。
【0003】
特許文献1では、肌画像から各画素の輝度を算出し、輝度のヒストグラムの形状に基づいて肌の状態を評価する方法が提案されている。特許文献1の方法は、ヒストグラムの分散、歪度を用いて肌の状態を評価している。
【0004】
特許文献2では、肌画像をウェーブレット変換により空間周波数成分に分解し、各空間周波数成分の変化量に基づいて肌の質感を評価する方法が提案されている。特許文献2の方法は、空間周波数成分を複数の帯域に分類し、各帯域における変化量を肌のムラ、キメの強さの指標値としている。
【0005】
特許文献3では、肌画像をウェーブレット変換により空間周波数成分に分解し、特定帯域の周波数成分を再構成した画像に基づいて肌の質感を評価する方法が提案されている。特許文献3の方法は、中周波数成分の再構成画像について各ピクセル成分のデータを2乗し、平均値を求め、この平均値を肌の質感を表す指標値としている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−131336号公報
【特許文献2】特開2014−217456号公報
【特許文献3】特開2004−166801号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1〜3の方法は、デジタルカメラを用いて撮像された画像に対して、画像の輝度、鏡面反射成分などのデータを解析している。しかしながら、特許文献1〜3の方法は、特定の周波数成分についての統計量のみを扱っており、人間の知覚において利用されている多様な統計量を考慮していない。このために、人間の心理評価と解析結果との間にずれが生じてしまう可能性がある。
【0008】
本発明は、このような問題に鑑みてなされたものであって、人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る画像解析装置は、人体表面の部位の画像を反対色空間における画像に変換する色空間変換部と、前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出する解析部と、前記特徴量に基づいて前記部位の外観を評価する評価部とを備える。
【0010】
本発明に係る画像解析方法は、人体表面の部位の画像を反対色空間における画像に変換するステップと、前記反対色空間における画像の反対色空間の成分のそれぞれを異なる空間周波数のサブバンド画像に分解し、前記サブバンド画像について前記部位に応じた特徴量を算出するステップと、前記特徴量に基づいて前記部位の外観を評価するステップとを備える。
【発明の効果】
【0011】
本発明によれば、人間の心理評価により近い解析結果を提供することが可能な画像解析装置、画像解析方法、および画像解析プログラムを実現することができる。
【図面の簡単な説明】
【0012】
図1】第1実施形態に係る画像解析装置のハードウェアブロック図である。
図2】第1実施形態に係る画像解析装置の機能ブロック図である。
図3】第1実施形態に係るウェーブレット部による処理の概念図である。
図4】第1実施形態に係る特徴量と心理スコアの回帰分析の一例である。
図5】第1実施形態に係る因子分析を説明するための図である。
図6】第1実施形態に係る画像解析方法のフローチャートである。
図7】第2実施形態に係る画像解析システムのハードウェアブロック図である。
【発明を実施するための形態】
【0013】
[第1実施形態]
図1は、本実施形態に係る画像解析装置のハードウェアブロック図である。画像解析装置100は、CPU101、RAM102、ROM103、ハードディスク104、記録媒体I/F105、表示コントローラ106、入力I/F107、ネットワークI/F108を備えている。画像解析装置100には、撮像装置111、表示装置112、キーボード113、マウス114が接続されている。画像解析装置100は、ネットワーク115と通信可能に接続されており、また記録媒体116を装着することが可能である。画像解析装置100は、例えば化粧品販売店、美容院などにおいて、顧客の肌、毛髪などの印象を評価するために使用することができる。
【0014】
CPU(Central Processing Unit)101は、CPUコア、キャッシュメモリなどを備え、画像解析装置100の動作を統括的に制御する。CPU101は、ROM103から所定のプログラムを読み出し実行することにより、画像解析装置100の各部の機能を実現することができる。RAM(Random Access Memory)102は、例えばDRAM(Dynamic RAM)であり、CPU101のワーク領域、プログラムのロード領域などとして使用される。RAM102は、プログラムの実行中に必要なデータ、解析対象となる画像のデータなどを一時的に記憶する。ROM(Read Only Memory)103は、例えばEEPROM(Electrically Erasable Programmable ROM)であり、OS(Operating System)などの基本プログラム、画像解析プログラムなどの各種アプリケーションプログラムを格納する。
【0015】
ハードディスク104は、磁気ディスク、磁気ヘッド、アクチュエータなどから構成され、撮像装置111により取得した画像、画像の解析結果、顧客データ、各種設定情報などを格納する。ハードディスク104は、記録媒体I/F105またはネットワークI/F108を介して外部から取得した画像、各種データなどを格納することもできる。さらに、画像解析装置100は、SSD(Solid State Drive)などの記憶装置を備えていてもよい。
【0016】
記録媒体I/F105は、メモリカードスロット、USB(Universal Serial Buss)コネクタなどのインターフェースである。記録媒体I/F105、記録媒体116と接続し、記録媒体116とデータの送受信を行う。記録媒体116は、メモリカード、USBメモリなどの可搬型の情報記録媒体であり、記録媒体I/F105と脱着可能に接続される。
【0017】
表示コントローラ106は、ビデオメモリを含むプロセッサであり、表示装置112の表示を制御する。表示コントローラ106は、CPU101により出力された表示データを一時記憶するとともに、表示信号を生成し、表示装置112に供給する。表示装置112は、液晶ディスプレイ、有機発光ディスプレイなどから構成され、表示コントローラ106からの表示信号に応じた画面表示を行う。表示装置112は、解析対象の画像および解析結果を表示する他、画像の取得、人体表面の部位の指定、解析の開始などを行うためのメニュー画面を表示する。
【0018】
表示装置112のディスプレイは、タッチセンサ112aを備えたタッチパネルを構成している。ユーザは、タッチパネルに表示されたボタン、アイコンなどを指で触れることにより、所望の指示を画像解析装置100に入力することができる。表示コントローラ106は、ユーザの指の接触位置を算出する座標検出回路を備えており、ユーザからの指示を受け付けることができる。さらに、画像解析装置100は、画像の解析結果を紙に出力するプリンタなどの印刷装置を備えていてもよい。
【0019】
入力I/F107は、キーボード113、マウス114などの外部の入力デバイスを接続するためのインターフェースである。キーボード113、マウス114は、ユーザが画像解析装置100に対して各種指示を与えるための入力デバイスであり、入力I/F107に接続されている。入力I/F107は、キーボード113、マウス114の操作に応じた入力信号をCPU101に送信する。
【0020】
ネットワークI/F108は、例えばLAN(Local Area Network)カードなどのインターフェースであり、ネットワーク115と接続し、ネットワーク115を介して外部装置とデータの送受信を行う。ネットワーク115は、LAN、インターネットなどの通信ネットワークであり、例えば、解析に用いる各種データ、解析対象の画像、画像の解析結果、顧客データなどを格納するデータベースが接続される。
【0021】
撮像装置111は、LED(Light Emitting Diode)、対物レンズ、イメージセンサ、信号処理回路などから構成されるハンディタイプのデジタルカメラ、マイクロスコープである。撮像装置111は、人体表面の部位、例えば顔(全体)、頬、手の甲、腕、唇、頭髪などの部位に近接または当接され、これらの部位の画像を撮像する。LEDは光源であり、所定の波長帯域、照度の光を撮像領域に照射する。撮像装置111の光源は、LEDに限定されず、例えばハロゲンランプであってもよい。また、撮像装置111は光源を備えていなくてもよい。対物レンズは、複数のレンズから構成され、所定の倍率で被写体を拡大する。イメージセンサは、CCD(Charge Coupled Device)、CMOS(Complementary MOS)などのセンサであり、被写体(撮像領域)からの光を電気信号に変換する。信号処理回路は、アナログ増幅回路、デジタル変換回路を備え、イメージセンサからの電気信号を増幅するとともにデジタルの画像データに変換する。画像データは画像解析装置100に出力される。
【0022】
図2は、本実施形態に係る画像解析装置の機能ブロック図である。画像解析装置100は、画像取得部201、色空間変換部202、ウェーブレット変換部203、特徴量抽出部204、心理スコア算出部205の機能を有している。ウェーブレット変換部203および特徴量抽出部204は、解析部を構成し、心理スコア算出部205は、評価部を構成する。図2において、矢印はデータの流れを表している。これらの機能は、CPU101がROM103に格納されたプログラムを読み出し、実行することにより実現される。当該プログラムは、ネットワーク115または記録媒体116を介して外部からインストールされ、ROM103に格納されたものであってもよい。
【0023】
画像取得部201は、撮像装置111から解析の対象となる画像データ(以下、解析対象画像)を取得する。解析対象画像は、人体表面の部位、例えば頬、手の甲、腕、唇、頭髪、あるいは顔全体などを撮像した画像である。解析対象画像は、例えば、各画素が8ビットのRGB値(0〜255)で表されたRGB色空間の静止画像である。解析対象画像は、RGB色空間の画像を取得可能なものであれば一般的なデジタルカメラを用いて撮像した画像であってよい。また、画像取得部201は、解析対象画像をネットワーク115、記録媒体116を介して取得してもよい。
【0024】
色空間変換部202は、取得した解析対象画像を反対色空間の画像に変換する。反対色空間は、人間の視覚情報処理メカニズムを模倣したモデルであり、人間の網膜の3種類の錐体(L錐体、M錐体、S錐体)の各応答値(L、M、S)を用いて画像を表現する。反対色空間において、画像の輝度成分、赤緑成分はそれぞれ、L錐体とM錐体の応答値の和(L+M)、L錐体とM錐体の応答値の差(L−M)で表される。また、画像の黄青成分は、S錐体の応答値からL錐体とM錐体の応答値の和を減算(S−(L+M))したものである。
【0025】
RGB色空間の画像から反対色空間の画像への変換は、所定の変換行列を用いて実行することができる。例えば、色空間変換部202は、以下の式を用いてRGB値をLMS値に変換し、LMS値を反対色空間における成分値に変換する。反対色空間における成分は、反対色の成分、反対色信号などとも呼ばれる。
【数1】
【数2】
【0026】
反対色空間への変換方法は上述の例に限定されることなく、IEC(International Electrotechnical Commission)61966−2−1、CIE(Commission Internationale de l'Eclairage)CAM97s、CIECAM02などで規定された変換行列を用いることができる。
【0027】
ウェーブレット変換部203は、解析対象画像に対してウェーブレット変換を実行し、異なる空間周波数のサブバンド画像に分解する。ウェーブレット変換部203は、解析対象画像の輝度成分、赤緑成分、黄青成分のそれぞれに対してウェーブレット変換を実行する。これにより、反対色空間の3種類の成分から空間周波数の異なる複数のサブバンド画像が生成される。ウェーブレット変換部203は、例えば256×256画素の画像に対してウェーブレット変換を実行することにより、画像幅を基準とする1、2、4、・・・、128[cycle/画像幅]の8種類の空間周波数のサブバンド画像を生成することができる。さらに、これらの空間周波数は、帯域ごとに分類することができる。例えば、1〜2[cycle/画像幅]の空間周波数を低空間周波数、4〜16[cycle/画像幅]の空間周波数を中空間周波数、32〜128[cycle/画像幅]の空間周波数を高空間周波数に分類することができる。
【0028】
図3は、本実施形態に係るウェーブレット変換部による処理の概念図である。ウェーブレット変換部203は、解析対象画像に対して多段階の2次元ウェーブレット変換を行う。ウェーブレット変換部203は、まず、画像の水平方向(各行)に対してウェーブレット変換を行う。これにより、元の画像は、水平方向における低周波成分画像(L)と高周波成分画像(H)に分解される(図3(a))。次に、ウェーブレット変換部203は、低周波成分画像(L)と高周波成分画像(H)の垂直方向(各列)に対してウェーブレット変換を行う。これにより、低周波成分画像(L)は、垂直方向における低周波成分画像(LL)と高周波成分画像(LH)に分解され、高周波成分画像(H)は、垂直方向における低周波成分画像(HL)と高周波成分画像(HH)に分解される(図3(b))。これら4つの周波数成分画像(LL、LH、HL、HH)を第1階のサブバンド画像と呼ぶ。
【0029】
さらに、ウェーブレット変換部203は、第1階の低周波成分画像(LL)に対して、上述の水平および垂直方向の2次元のウェーブレット変換を実行する。これにより、第1階の低周波成分画像(LL)は、第2階の4つのサブバンド画像に分解される(図3(c))。すなわち、水平および垂直方向における低周波成分画像(LL2)、垂直方向における高周波成分画像(LH2)、水平方向における高周波成分画像(HL2)、水平および垂直方向における高周波成分画像(HH2)が生成される。
【0030】
ウェーブレット変換部203は、このような2次元ウェーブレット変換を各段階の低周波成分画像(LL、LL2、・・・)に対して繰り返し実行することにより、空間周波数の異なる複数のサブバンド画像を得ることができる。なお、ウェーブレット変換部203は、2次元ウェーブレット変換に限定されず、画像の水平方向、垂直方向、斜め方向などの所定の方向に対して、1次元ウェーブレット変換を実行するように構成されていてもよい。また、2次元フーリエ変換、コサイン変換などの直交関数変換を用いてもよい。
【0031】
特徴量抽出部204は、心理評価データベース206から取得した情報に基づいて人体表面の部位に応じた特徴量の種別を選択する。特徴量は、画像データから算出可能な画像の特徴であり、例えば、空間周波数、反対色空間の成分、および統計量の組み合わせで定義される。統計量は、画像の画素値を標本として統計的に算出される標準偏差、歪度、尖度、相関係数、平均などの値である。本明細書において、特徴量は、例えば「低空間周波数における輝度成分の標準偏差」、「中空間周波数における赤緑成分の歪度」のように表現される。
【0032】
心理評価データベース206には、顔全体、頬、手の甲、腕、唇、頭髪などの人体表面の部位のそれぞれに対して、1つまたは複数の特徴量の種別を関連付けたテーブルが格納されている。例えば、頬、手の甲、腕、唇などの部位に対して、高空間周波数における輝度成分の標準偏差と、中空間周波数における赤緑成分の標準偏差とが関連付けられる。また、頭髪に対して、中空間周波数における輝度成分の歪度が関連付けられる。したがって、特徴量抽出部204は、当該テーブルを参照することにより、特徴量の様々な種別の中から人体表面の部位に応じた1つまたは複数の特徴量の種別を選択することができる。人体表面の部位と特徴量の種別との関連づけは、サンプル画像を用いて心理評価実験を行い、特徴量と心理スコアの関係を回帰分析することにより事前に決定することができる。
【0033】
特徴量抽出部204は、部位に応じて選択した種別の特徴量をサブバンド画像から算出する。特徴量抽出部204は、サブバンド画像のそれぞれに対して、画素値(反対色空間の成分の強度)を横軸、度数(画素数)を縦軸としたヒストグラムを生成し、当該ヒストグラムの統計量の値を算出することができる。ヒストグラムの統計量には、標準偏差sd、歪度skew、尖度kurt、および相関係数corrが含まれる。ここで相関係数corrは、同じ空間周波数における反対色空間の成分間の相関係数である。例えば、高空間周波数におけるサブバンド画像に対して、輝度成分と赤緑成分、赤緑成分と黄青成分、黄青成分と輝度成分の3種類の相関係数を算出することができる。低・中空間周波数におけるサブバンド画像に対しても同様である。
【0034】
標準偏差sd、歪度skew、尖度kurt、相関係数corrは、例えば、以下の式により定義される。式中、Nはサブバンド画像の画素数を表し、Xiは各画素(i=1〜N)が有する反対色空間の成分値を表す。また、mは、反対色空間の成分値の平均を表し、covは、反対色空間の成分間の共分散を表す。
【数3】
【数4】
【数5】
【数6】
【0035】
なお、上式の相関係数corrRGYBは、赤緑成分(RG)と黄青成分(YB)の相関係数である。輝度成分と赤緑成分、輝度成分と黄青成分の相関係数についても同様の式を定義することができる。
【0036】
心理スコア算出部205は、特徴量抽出部204が算出した特徴量に基づいて人体表面の部位の外観を評価する。心理スコア算出部205は、心理評価データベース206に格納された心理評価データを用いて、特徴量を人間の心理評価値(スコア)に変換する。心理評価データは、上述した部位と特徴量の種別との関連づけと同様に、サンプル画像を用いて心理評価実験を行い、特徴量と心理スコアの関係を回帰分析することにより事前に決定することができる。
【0037】
図4は、本実施形態に係る特徴量と心理スコアの回帰分析の一例である。図4は、サンプル画像に関する輝度成分の標準偏差と心理スコアの散布図を示している。心理評価実験は、176個のサンプル画像を用いて7人の被験者により行われた。サンプル画像は、一定の条件の元で撮像された同一部位の画像である。被験者は、「色の均一さ」、「光沢の強さ」、「なめらかさ」などの10種類の評価項目について、サンプル画像の印象を1〜5点の心理スコアで数値化した。
【0038】
散布図において、丸印のそれぞれは1つのサンプル画像に対応している。x軸は「なめらかさ」についての心理スコアを表し、y軸は中空間周波数における輝度成分の標準偏差の対数値を表している。この散布図から、例えば最小2乗法を用いて回帰直線を求めることができる。心理スコア算出部205は、このような回帰直線を用いて各特徴量を心理スコアに変換する。心理スコア算出部205は、10種類の評価項目のすべての項目または一部の項目について心理スコアを算出する。
【0039】
図4に示す回帰分析に基づいて、上述した部位と特徴量の種別との関連づけを行うことができる。心理スコアとの相関係数が特に高い特徴量、例えば絶対値が0.5以上の特徴量の種別を、サンプル画像として用いた人体表面の部位に関連づけることができる。心理スコア算出部205は、種別の異なる複数の特徴量をそれぞれの相関係数に応じて重み付け加算することにより、各特徴量の影響度を反映した心理スコアを算出してもよい。
【0040】
図5は、本実施形態に係る因子分析を説明するための図である。図5において、横軸は第1因子、縦軸は第2因子を表し、上述の心理評価実験で得られた10種類の評価項目のそれぞれについて、各因子との相関の程度(因子得点)がプロットされる。今回実施した10種類の評価項目は、第1因子と第2因子の2つの評価軸に集約され、第1因子および第2因子の累積寄与率は約85%であった。
【0041】
第1因子に関する評価軸は、「ポジティブ」―「ネガティブ」を表す第1の評価軸と呼ぶことができる。一方、第2因子に関する評価軸は、「つや強い」―「つや弱い」を表す第2の評価軸と呼ぶことができる。心理スコア算出部205は、10種類の評価項目について心理スコアを算出する代わりに、これら第1の評価軸と第2の評価軸のそれぞれの心理スコアを算出してもよい。
【0042】
第1の評価軸と第2の評価軸は、画像の様々な特徴量のうちの限られた種別の特徴量と強く相関している。例えば、第1の評価軸は、中・高空間周波数における輝度成分の標準偏差、輝度成分の平均値などとの相関が高い。また、第2の評価軸は、低〜高空間周波数における輝度の標準偏差や歪度などとの相関が高い。
【0043】
上述した評価軸と画像の特徴量の種別との相関は、人間の頬を撮像した画像に基づいて得られたものである。よって、頬に対して上述の特徴量の種別を関連づけることができる。同様に人体表面の他の部位に対しても、第1の評価軸と第2の評価軸は、それぞれ限られた種別の特徴量と強く相関する。人間の部位とそれに応じた特徴量の種別は、互いに関連付けられ、心理評価データベース206に予め格納される。心理評価データベース206は、例えばハードディスク104内に作成される。
【0044】
図6は、本実施形態に係る画像解析方法のフローチャートである。ここでは画像解析装置100が人間の頬の画像を解析する例を説明する。まず、CPU101は、タッチセンサ112a、キーボード113、マウス114からの入力信号に応じて、撮像装置111から解析対象画像を取得する(ステップS601)。解析対象画像は、人間の頬を撮像した256x256画素のRGB色空間の画像である。RGBの各値は8ビットの値で表される。CPU101は、撮像装置111の特性に応じて、RGBの各値が実際の輝度に対して線形に変化するように補正処理を行う。なお、CPU101は、解析対象画像をハードディスク104から取得してもよく、ネットワーク115または記録媒体116を介して外部装置から取得してもよい。さらに、CPU101は、人体表面のどの部位を撮像した画像であるかを入力するための画面を表示装置112に表示する。表示装置112においてユーザが頬を指定することにより、CPU101は、解析対象画像が頬の画像であると判断することができる。なお、画像が表す人体表面の部位の情報を事前に解析対象画像に含めるようにしてもよい。
【0045】
次に、CPU101は、取得したRGB色空間の画像を反対色空間の画像に変換する(ステップS602)。具体的には、CPU101は、上記数式1を用いて各画素のRGB値をXYZ値に変換し、上記数式2を用いて各画素のXYZ値をLMS値に変換する。続いて、CPU101は、反対色空間における輝度成分Lum、赤緑成分RG、黄青成分YBをそれぞれLum=L+M、RG=(L−M)/Lum−0.7、YB=(S−Lum)/Lum−1.0の数式を用いて算出する。ここで、CPU101は、白色についての赤緑成分RGと黄青成分YBの値が0になるように、赤緑成分RGと黄青成分YBの値を補正している。
【0046】
次に、CPU101は、反対色空間における解析対象画像を空間周波数成分に分解する(ステップS603)。まず、CPU101は、反対色空間の成分のそれぞれに対して、正規化を行う。次に、CPU101は、反対色空間の3つの成分のそれぞれに対して、多段階の2次元ウェーブレット変換を実行することにより、1、2、4、・・・、64、128[cycle/画像幅]の空間周波数成分を有する8個のサブバンド画像を生成する。すなわち、ステップS603において、CPU101は、計24(=3×8)個のサブバンド画像を生成する。なおステップS603における周波数分解は、上述のウェーブレット変換による周波数分解と同様の結果を得るものであればよい。例えば、CPU101は、中心周波数fc=1、2、4、・・・、64、128[cycle/画像幅]の8種類の線形フィルタを用いて、解析対象画像を8つの異なる空間周波数帯域に分解してもよい。ここで線形フィルタは、周波数空間において特定の中心周波数fcおよび2オクターブの帯域幅(半値幅)をもつ等方性の線形フィルタである。
【0047】
次に、CPU101は、ハードディスク104に格納された心理評価データベース206にアクセスし、人体表面の部位を特徴量の種別に関連付けたテーブルを検索する。CPU101は、頬に応じた特徴量の種別として、高空間周波数における輝度成分の標準偏差と中空間周波数における赤緑成分の標準偏差を当該テーブルから選択する(ステップS604)。
【0048】
次に、CPU101は、ステップS604において選択した種別の特徴量を算出する(ステップS605)。CPU101は、例えば高空間周波数における輝度成分のサブバンド画像からヒストグラムを生成し、上記数式3を用いて該ヒストグラムの標準偏差sdを算出する。これにより得られる標準偏差、すなわち高空間周波数における輝度成分の標準偏差の値は、例えば−1.49である。同様に、CPU101は、例えば中空間周波数における赤緑成分のサブバンド画像からヒストグラムを生成し、上記数式3を用いて該ヒストグラムの標準偏差sdを算出する。これにより得られる標準偏差、すなわち中空間周波数における赤緑成分の標準偏差の値は、例えば−2.61である。
【0049】
最後に、CPU101は、ハードディスク104に格納された心理評価データベース206にアクセスし、心理評価データに基づいて心理スコアを算出する(ステップS606)。CPU101は、心理評価データに含まれる回帰直線および重み付けを用いて、算出した特徴量を心理スコアに変換する。例えば、CPU101は、図5に示した回帰直線y=−0.119x−1.20に、高空間周波数における輝度成分の標準偏差の値y=−1.49を代入し、心理スコア2.4点を得る。同様に、CPU101は、中空間周波数における赤緑成分の標準偏差についての回帰直線とステップS605において算出した中空間周波数における赤緑成分の標準偏差の値を用いて、別の心理スコア(例えば4.1点)を得る。CPU101は、これら2つの心理スコアを例えば0.7および0.3で重み付け加算し、最終的に心理スコア2.9点を得る。CPU101は、算出した最終的な心理スコアを表示装置112に表示する。
【0050】
さらに、CPU101は、第1の評価軸と第2の評価軸のそれぞれに対して、ステップS605と同様の方法により心理スコアを算出し、表示装置112に表示してもよい。例えば、CPU101は、高空間周波数における輝度成分の標準偏差、輝度成分の平均値などを用いて、「ポジティブ」−「ネガティブ」の印象に対応する第1の心理スコアを算出する。また、CPU101は、低空間周波数における輝度成分の標準偏差、歪度などを用いて、「つや強い」−「つや弱い」の印象に対応する第2の心理スコアを算出する。CPU101は、算出した心理スコアを第1の評価軸および第2の評価軸上で表示する。
【0051】
本実施形態によれば、人体表面の部位を撮像して得られた画像を反対色空間の画像に変換し、反対色空間において画像を解析する。反対色空間は、人間の視覚情報処理メカニズムを模倣したモデルであるため、反対色空間において画像を解析することで、人間が認識する画像により近い画像の特徴量を抽出することができる。
【0052】
従来の画像解析方法では、イメージセンサから得られたRGB色空間における画像を解析することが一般的である。すなわち、解析対象となる画像は、測定された物性データであり、人間が認識する画像とは異なっている。したがって、従来の画像解析方法は、肌表面の粗さ、凹凸などの物体の状態を定量化するにすぎず、人間が感じる印象を評価するために用いることは必ずしも適切ではない。さらに、画像の輝度、鏡面反射成分の強度などの限られたデータのみが解析されており、人間の心理評価に大きな影響を与えると思われる色情報が考慮されていない。
【0053】
本実施形態によれば、心理評価に寄与し得る画像の特徴量として、反対色空間の輝度成分、赤緑成分、黄青成分のそれぞれに対する標準偏差、歪度、尖度、および反対色空間の成分間の相関係数が考慮される。さらに、これらの特徴量は、空間周波数成分による違いが考慮される。人体表面の特定の部位の心理評価に寄与する特徴量をこのような多様な種別の特徴量の中から選定し、心理スコアに結びつけることによって、人間の心理評価により近い解析結果を提供することが可能となる。
【0054】
[第2実施形態]
続いて、本発明の第2実施形態に係る画像解析システムを説明する。本実施形態に係る画像解析システム700は、第1実施形態に係る画像解析装置100がサーバとして機能するネットワークシステムである。
【0055】
図7は、本実施形態に係る画像解析システム700のハードウェアブロック図である。画像解析システム700は、画像解析サーバ701、ユーザ端末702、撮像装置703、表示装置704、キーボード705、マウス706、ネットワーク707を備えている。画像解析サーバ701は、画像解析装置100と同様のハードウェア構成を備えており、ネットワークI/F108を介して、ネットワーク707に接続されている。また、画像解析サーバ701は、画像取得部201、色空間変換部202、ウェーブレット変換部203、特徴量抽出部204、心理スコア算出部205と同様の機能を有している。
【0056】
ユーザ端末702は、CPU、メモリ、記憶装置、ネットワークI/Fなどから構成されたコンピュータである。ユーザ端末702は、ネットワークI/Fを介して、ネットワーク707と接続されている。画像解析サーバ701とユーザ端末702とは、相互に通信可能である。ユーザ端末702には、撮像装置703、表示装置704、キーボード705、マウス706が接続されている。撮像装置703、表示装置704、キーボード705、マウス706は、第1実施形態に係る撮像装置111、表示装置112、キーボード113、マウス114と同様のものであるため、繰り返しの説明は省略する。
【0057】
ユーザ端末702は、例えば化粧品販売店、美容院などに設置され、顧客の肌、毛髪などの印象を評価するために使用される。ユーザは、タッチセンサ704a、キーボード705、マウス706などを操作することにより、撮像装置703が撮像した画像を解析し、解析結果を表示装置704に表示させることができる。
【0058】
ユーザ端末702は、撮像装置703から画像を取得し、ネットワーク707を介して画像解析サーバ701に送信する。画像解析サーバ701は、ユーザ端末702から画像を受信し、画像解析処理を行う。画像解析サーバ701は、図6のフローチャートと同様の処理を行い、ネットワーク707を介して解析結果をユーザ端末702に送信する。ユーザ端末702は、画像解析サーバ701から受信した解析結果を表示装置704に表示する。
【0059】
[変形実施形態]
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。例えば、ウェーブレット変換の代わりにフーリエ変換、コサイン変換などの直交関数変換を用いて解析対象画像を異なる空間周波数成分に分解してもよい。また、心理評価実験の結果を分析する手法は、回帰分析、因子分析に限られない。主成分分析、クラスター分析、判別分析などの任意の統計分析手法、或いは機械学習、ディープラーニングなどの人工知能手法を用いてもよく、これらの手法による分析結果に基づいて特徴量と心理スコアとを関連づけることができる。
【符号の説明】
【0060】
101 CPU
102 RAM
103 ROM
104 ハードディスク
105 記録媒体I/F
106 表示コントローラ
107 入力I/F
108 ネットワークI/F
201 画像取得部
202 色空間変換部
203 ウェーブレット変換部
204 特徴量抽出部
205 心理スコア算出部
206 心理評価データベース
701 画像解析サーバ
図1
図2
図3
図4
図5
図6
図7