特許 7289308 画像解析装置、画像解析方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-01

(45)【発行日】2023-06-09

(54)【発明の名称】画像解析装置、画像解析方法およびプログラム

(51)【国際特許分類】

   H04N 25/10 20230101AFI20230602BHJP

【ＦＩ】

H04N25/10

【請求項の数】 12

(21)【出願番号】P 2020541255

(86)(22)【出願日】2019-09-04

(86)【国際出願番号】 JP2019034706

(87)【国際公開番号】W WO2020050295

(87)【国際公開日】2020-03-12

【審査請求日】2022-07-04

(31)【優先権主張番号】62/727,997

(32)【優先日】2018-09-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(74)【代理人】

【識別番号】100125139

【弁理士】

【氏名又は名称】岡部 洋

(72)【発明者】

【氏名】舛田 勇二

(72)【発明者】

【氏名】関野 めぐみ

(72)【発明者】

【氏名】吉川 拓伸

(72)【発明者】

【氏名】べレンズ デイビッド クリストファー

(72)【発明者】

【氏名】イスナルディ マイケル アンソニー

(72)【発明者】

【氏名】チャン ユーチォン

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２００１－０７８２０２（ＪＰ，Ａ）

【文献】特開２００８－２５９６７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２５／１０

Ｈ０４Ｎ ２３／１２

Ａ６１Ｂ ５／００

Ｇ０１Ｊ ３／５１

Ｈ０４Ｎ １／４６－６２

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する撮像部と、
前記被写体に向けて発光する発光部と、
前記発光部を発光させながら前記撮像部に前記被写体の第１画像を撮像させるとともに、前記発光部を発光させずに前記撮像部に前記被写体の第２画像を撮像させる制御部と、
前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定する推定部と、
前記撮像部と前記発光部の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光部の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定する特定部と、
を備え、
前記推定部は、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、
ことを特徴とする画像解析装置。

【請求項2】

前記被写体に対する前記撮像部の傾きを検出するセンサ部をさらに備え、
前記特定部は、前記撮像部と前記発光部の位置関係および前記傾きの変化量に基づいて、前記反射領域と前記測定領域の位置関係を維持しながら前記測定領域の位置を補正する
ことを特徴とする請求項１に記載の画像解析装置。

【請求項3】

前記センサ部は、ジャイロスコープであって、
前記特定部は、前記被写体が前記ジャイロスコープのヨー軸の軸方向に位置するときに、前記ジャイロスコープのロール軸およびピッチ軸を中心とした回転角度に基づいて前記傾きの前記変化量を算出する
ことを特徴とする請求項２に記載の画像解析装置。

【請求項4】

前記制御部は、前記被写体が前記撮像部の合焦距離に位置するときに、前記発光部の発光を切換制御しながら前記撮像部に前記第１画像および前記第２画像を連続して撮像させる
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像解析装置。

【請求項5】

前記撮像部および前記発光部は、操作画面を表示するディスプレイと反対の面にそれぞれ設けられる
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像解析装置。

【請求項6】

前記撮像部および前記発光部は、操作画面を表示するディスプレイと同一の面にそれぞれ設けられる
ことを特徴とする請求項１乃至４のいずれか一項に記載の画像解析装置。

【請求項7】

前記ディスプレイは、前記発光部を兼ねる
ことを特徴とする請求項６に記載の画像解析装置。

【請求項8】

前記制御部は、ホワイトバランス機能を無効化した状態で前記撮像部に前記第１画像および前記第２画像を撮像させる
ことを特徴とする請求項１乃至７のいずれか一項に記載の画像解析装置。

【請求項9】

前記第１画像および前記第２画像は、ＲＧＢ表色系の前記色情報を含み、
前記推定部は、前記ＲＧＢ表色系から変換したＸＹＺ表色系の前記色情報に基づいて前記色を推定する
ことを特徴とする請求項１乃至８のいずれか一項に記載の画像解析装置。

【請求項10】

前記被写体は、人体表面であることを特徴とする請求項１乃至９のいずれか一項に記載の画像解析装置。

【請求項11】

被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、
前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、
前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、
前記撮像装置と前記発光装置の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光装置の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定するステップと、
を備え、
前記推定するステップでは、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、
ことを特徴とする画像解析方法。

【請求項12】

コンピュータに、
被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、
前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、
前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、
前記撮像装置と前記発光装置の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光装置の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定するステップと、
を実行させ、
前記推定するステップでは、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の画像を解析することで被写体の色を測定する画像解析装置、画像解析方法およびプログラムに関する。

【背景技術】

【0002】

近年、デジタルカメラ等の撮像装置を用いて被写体（例えば人体や物品）を撮像し、撮像画像を解析することで被写体の色を測定する測色装置が知られている。例えば、特許文献１には、色見本（標準色票）および被写体をそれぞれ撮像してＲＧＢデータを取得するとともに、色見本のＲＧＢデータおよび色見本の色彩基準値に基づいて被写体のＲＧＢデータを補正する測色装置が開示されている。

【0003】

また、特許文献２には、複数の照明条件に応じた基準測色値とデジタルカメラで撮影した画像のＲＧＢデータとの関係を表す複数の色プロファイルを予め作成しておき、被写体の撮像により取得されたＲＧＢデータ、撮像時の照明条件、および当該色プロファイルに基づいて被写体の色を測定する色変換装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－３４０６４号公報

【文献】特開２０１５－４６１４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載された測色装置は、被写体の色を測定する際に、色見本だけでなく、光源以外の外部光が被写体に照射することを防止するために遮光部材を用いている。このため、ユーザが当該測色装置を用いて自宅等で色測定を行うことは困難である。

【0006】

また、特許文献２に記載された色変換装置は、被写体の色を測定する際に色見本は不要であるが、複数の照明条件に対応する色プロファイルを予め用意し、最適な色プロファイルを選択する必要がある。しかし、ユーザが測定を行う場所における外部光は様々であるため、最適な色プロファイルを選択することは困難である。すなわち、外部光の影響により測定の精度が低下してしまう場合があった。

【0007】

そこで、本発明は、上記の問題に鑑み、色見本を用いる必要がなく、かつ、外部光の影響を除去して被写体の色を簡単かつ高精度に測定できる画像解析装置、画像解析方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一つの観点によれば、被写体を撮像する撮像部と、前記被写体に向けて発光する発光部と、前記発光部を発光させながら前記撮像部に前記被写体の第１画像を撮像させるとともに、前記発光部を発光させずに前記撮像部に前記被写体の第２画像を撮像させる制御部と、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定する推定部と、前記撮像部と前記発光部の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光部の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定する特定部と、を備え、前記推定部は、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、ことを特徴とする画像解析装置が提供される。

【0009】

本発明の他の観点によれば、被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、前記撮像装置と前記発光装置の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光装置の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定するステップと、を備え、前記推定するステップでは、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、ことを特徴とする画像解析方法が提供される。

【0010】

本発明のさらに他の観点によれば、被写体に向けて発光装置を発光させながら撮像装置に前記被写体の第１画像を撮像させるステップと、前記発光装置を発光させずに前記撮像装置に前記被写体の第２画像を撮像させるステップと、前記第１画像の色情報と前記第２画像の前記色情報との差分値に基づいて前記被写体の色を推定するステップと、前記撮像装置と前記発光装置の位置関係に基づいて、前記第１画像および前記第２画像の中で前記発光装置の光が前記被写体において正反射する位置に対応する反射領域から所定の距離で離間した測定領域を特定するステップと、を実行させ、前記推定するステップでは、前記第１画像および前記第２画像を構成する画素群のうち、前記測定領域に含まれる参照画素の前記色情報について前記差分値を算出する、ことを特徴とするプログラムが提供される。

【発明の効果】

【0011】

本発明によれば、色見本を用いることなく、外部光の影響を除去して被写体の色を簡単かつ高精度に測定できる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る画像解析装置の測定中の状態を示す図である。

【図2】第１実施形態に係る画像解析装置の正面図である。

【図3】第１実施形態に係る画像解析装置の背面図である。

【図4】第１実施形態に係る画像解析装置のハードウェア構成の一例を示すブロック図である。

【図5】第１実施形態に係る画像解析装置の機能ブロック図である。

【図6】第１実施形態に係る被写体における発光部の照明光の反射領域と測定領域の位置関係を説明する図である。

【図7】第１実施形態に係る画像解析装置で行われる処理の一例を示すフローチャートである。

【図8】第１実施形態に係る画像解析装置の測定開始時の状態を示す図である。

【図9】第１実施形態に係る撮像処理の詳細を示すフローチャートである。

【図10】第１実施形態に係る高周波数成分のエネルギーの変化を示すグラフである。

【図11】第２実施形態に係る画像解析装置の機能ブロック図である。

【図12】第２実施形態に係る画像解析装置の姿勢状態に応じた測定領域の補正を説明する図である。

【図13】第２実施形態に係る画像解析装置で行われる処理の一例を示すフローチャートである。

【図14】第２実施形態に係る測定領域の補正処理の一例を示すフローチャートである。

【図15】変形実施形態に係る画像解析装置の測定中の状態を示す図である。

【図16】変形実施形態に係る画像解析装置に表示される操作画面の一例を示す正面図である。

【発明を実施するための形態】

【0013】

［第１実施形態］
図１は、本実施形態に係る画像解析装置１００の測定時の状態を示す図である。図２は、画像解析装置１００の正面図であり、図３は、画像解析装置１００の背面図である。画像解析装置１００は、例えばスマートフォンやタブレットコンピュータなどの携帯情報端末であり得る。以下、画像解析装置１００の一例としてスマートフォンを例に挙げて説明する。

【0014】

画像解析装置１００には、正面側にタッチパネル（ディスプレイ）１０１が設けられている。また、画像解析装置１００には、背面側の上部に撮像部１０２と、発光部であるＬＥＤ１０３とが設けられている。このように、本実施形態では、撮像部１０２およびＬＥＤ１０３は、操作画面を表示するタッチパネル１０１と反対の面にそれぞれ設けられる。撮像部１０２は、画像解析装置１００の中心軸（Ｙ軸）から距離Ｗ１の位置に設けられ、ＬＥＤ１０３は、中心軸から距離Ｗ２（Ｗ２＜Ｗ１）の位置に設けられている（図３参照）。

【0015】

また、画像解析装置１００の内部には、被写体の色を測定するためのアプリケーションプログラム（以下、「測定アプリ」という。）が予めインストールされている。測定アプリは図示されていないネットワークからダウンロードされてもよく、メモリカードなどの記録媒体やパーソナルコンピュータを介して画像解析装置１００に供給されてもよい。なお、本実施形態における被写体はユーザの頬であり、画像解析装置１００は頬の肌色を測定するものとする（図１参照）。

【0016】

タッチパネル１０１には測定アプリのアイコンが表示され（図示省略）、ユーザがアイコンに触れることにより測定アプリが起動するものとする（図２参照）。ユーザは、画像解析装置１００を把持し、撮像部１０２を被写体（頬）に向けながら、被写体に対して近接または離隔させると、画像解析装置１００は合焦した画像を自動的に撮像する。画像解析装置１００は撮像された画像を解析し、その解析結果をタッチパネル１０１に表示することができる。

【0017】

図４は、本実施形態に係る画像解析装置１００のハードウェア構成例を示すブロック図である。画像解析装置１００は、撮像部１０２、ＬＥＤ１０３、信号処理回路２０４、タイミング発生回路２０５、レンズ駆動回路２０６、スピーカ２０８、タッチセンサ２０９、座標検出回路２１０を備えている。さらに、画像解析装置１００は、ディスプレイ２１１、ディスプレイコントローラ２１２、フレームメモリ２１３、ＣＰＵ２１４、ＲＡＭ２１５、ＲＯＭ２１６、ストレージ２１７、ジャイロスコープ２１８、無線通信モジュール２１９を備えている。これらのデバイスは、バスを介して接続されている。

【0018】

撮像部１０２は、光学系２０１、撮像素子２０２、Ａ／Ｄ変換器２０３を備える。光学系２０１は、光学フィルタ、固定レンズ、フォーカスレンズを含み、被写体（撮像部位）からの光を撮像素子２０２の撮像面に結像させ、被写体像を形成する。撮像素子２０２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサであり、２次元配列された複数の画素、色フィルタ、マイクロレンズを備える。複数の画素は、撮像用の画素、焦点検出用の画素を含み得る。また、撮像素子２０２は、電荷蓄積時間を制御する電子シャッタ機能を有している。複数の画素は、光学系２０１からの入射光に基づく画素信号をそれぞれ出力する。

【0019】

Ａ／Ｄ（Analog/Digital）変換器２０３は、比較回路、ラッチ回路などから構成され、撮像素子２０２からのアナログの画素信号をデジタルの画像データに変換する。Ａ／Ｄ変換器２０３は、撮像素子２０２内に設けられてもよい。撮像部１０２は、静止画像の他、所定のフレームレートの動画像を出力することができる。フレームレートは、例えば１／４秒、１／３０秒、１／６０秒などの任意の値であり得る。

【0020】

信号処理回路２０４は、数値演算回路を含み、Ａ／Ｄ変換器２０３からの画像データに対して、ホワイトバランス調整、ガンマ補正、画素補間、輪郭強調、階調変換、ノイズリダクション、圧縮などのデジタル信号処理を行う。レンズ駆動回路２０６は、アクチュエータなどを備え、光学系２０１のフォーカスレンズを駆動し、合焦距離を調節する。タイミング発生回路２０５は、クロック信号、同期信号などのタイミング信号を撮像素子２０２、Ａ／Ｄ変換器２０３に出力する。

【0021】

ＬＥＤ（Light Emitting Diode）１０３は、光学系２０１の近傍に設けられた光源である。ＬＥＤ１０３は、撮像に適した照度を得るために、撮像部位に向けて光を照射する照明部として使用される。ＬＥＤ１０３は、光色の異なる複数のＬＥＤ１０３から構成されてもよく、各ＬＥＤ１０３の発光強度を調整することにより、撮像部位に最適な色温度、彩度の光を発することができる。スピーカ２０８は、圧電式の振動ユニットを備え、電流駆動回路によって駆動される。スピーカ２０８は、音楽、メッセージ、効果音などの音声信号を出力し、撮像が終了したことをユーザに通知するための通知部として使用される。

【0022】

タッチセンサ２０９は、透明なマトリクス状の電極を備えた容量性センサであり、ディスプレイ２１１上に設けられている。ユーザの指がタッチセンサ２０９に触れることにより、電極における静電容量が変化する。座標検出回路２１０は、タッチセンサ２０９における静電容量の変化を検出し、ユーザの指が接触した位置を算出することができる。タッチセンサ２０９は、ユーザからの指示を受け付ける操作部として使用される。

【0023】

ディスプレイ２１１は、例えばＴＦＴ（Thin Film Transistor）液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイであり、ディスプレイコントローラ２１２からの表示信号に応じて、画像、動画、テキスト、アイコンなどの表示を行う。ディスプレイコントローラ２１２は、ビデオメモリを含むプロセッサであり、ディスプレイ２１１の表示を制御する。ディスプレイコントローラ２１２は、ＣＰＵ２１４からの表示データを一時記憶するとともに、表示信号を生成し、ディスプレイ２１１に出力する。タッチセンサ２０、ディスプレイ２１１は一体的に形成され、タッチパネル１０１を構成する。

【0024】

フレームメモリ２１３は、複数フレームの画像データを一時的に保持可能であって、信号処理回路２０４、ＣＰＵ２１４による画像処理において使用され得る。例えば、信号処理回路２０４は、複数フレームの画像データにおいて動きベクトルを検出することにより、手振れ補正、ノイズリダクションを行なってもよい。また、動画撮像において、フレームメモリ２１３は、時間的に連続する複数フレームの画像データを記憶することができる。なお、ＲＡＭ２１５の一部がフレームメモリ２１３として使用されてもよい。ＣＰＵ（Central Processing Unit）２１４は、ＣＰＵコア、キャッシュメモリなどを備え、画像解析装置１００の各デバイスを統括的に制御する。ＣＰＵ２１４は、ＲＯＭ２１６、ストレージ２１７から所定のプログラムを読み出し実行することにより、画像解析装置１００の各部の機能を実現する。

【0025】

ＲＡＭ（Random Access Memory）２１５は、例えばＤＲＡＭ（Dynamic RAM）であり、ＣＰＵ２１４のワーク領域、プログラムのロード領域などに使用される。ＲＯＭ（Read Only Memory）２１６は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）であり、ＢＩＯＳ（Basic Input Output System）、各種設定ファイルなどを格納する。ストレージ２１７は、例えばフラッシュメモリであり、ＯＳ（Operating System）などの基本プログラム、測定アプリなどの各種アプリケーションプログラムを格納する。ストレージ２１７は、測定アプリによる測定結果、撮像部１０２による画像、動画などの様々なデータも格納する。

【0026】

ジャイロスコープ２１８は、圧電振動素子から構成され、画像解析装置１００の向きを検出する。画像解析装置１００は、さらに、ＧＰＳ（Global Positioning System）センサ、照度センサ、近接センサ、加速度センサなどを備えていてもよい。

【0027】

無線通信モジュール２１９は、インターネットなどの通信ネットワークと無線通信を行うためのインタフェースである。無線通信モジュール２１９はアンテナ（図示省略）を含み、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）などの移動体通信方式、または無線ＬＡＮ（Local Area Network）などの無線通信方式を用いて通信ネットワークに接続する。無線通信モジュール２１９は、通信ネットワークを介して外部の機器とデータの送受信を行うことができる。

【0028】

図５は、本実施形態に係る画像解析装置１００の機能ブロック図である。画像解析装置１００は、制御部３０１、画像取得部３０２、測定領域特定部３０３、および肌色推定部３０４を有している。各部の機能は、ＣＰＵ２１４がＲＯＭ２１６あるいはストレージ２１７に格納された測定アプリケーション３００をＲＡＭ２１５に読み出し、実行することにより実現される。

【0029】

制御部３０１は、撮像部１０２、ＬＥＤ１０３、スピーカ２０８の動作を制御する。制御部３０１は、オートフォーカス（ＡＦ）機能を有しており、撮像部１０２の合焦距離を調節できる。ＡＦ処理において、制御部３０１は、撮像した画像のコントラストが最大となるように、レンズ駆動回路２０６を介して光学系２０１のフォーカスレンズの位置を制御する。制御部３０１は、コントラスト方式によるＡＦ処理に限らず、撮像面位相差方式によるＡＦ処理を行ってもよい。ただし、本実施形態の制御部３０１は、測定アプリケーション３００を実行する際、オートフォーカス機能を無効化するものとする。

【0030】

また、制御部３０１は、自動露出（ＡＥ）機能を有しており、撮像素子２０２のＩＳＯ感度、電子シャッタのスピードを制御する。制御部３０１は、ＡＦ機能、ＡＥ機能を有効または無効に設定することができる。さらに、制御部３０１は、ＬＥＤ１０３、スピーカ２０８を制御するとともに、タッチセンサ２０９を介してユーザからの指示を取得する。

【0031】

また、制御部３０１は、ＬＥＤ１０３を発光させながら被写体を撮像した画像データ（以下、「第１画像」という。）と、ＬＥＤ１０３を発光させずに第１画像と同じ被写体を撮像した画像データ（以下、「第２画像」という。）とを、後述する画像取得部３０２を介して取得する。制御部３０１は、被写体が撮像部１０２の合焦距離に位置するときに、ＬＥＤ１０３の発光を切換制御しながら撮像部１０２に第１画像および第２画像を連続して撮像させるものとする。第１画像を撮像する際に撮像素子２０２に入射される光は、外部光およびＬＥＤ１０３による照明光の２つである。これに対し、第２画像を撮像する際に撮像素子２０２に入射される光は、外部光のみである。

【0032】

画像取得部３０２は、ＬＥＤ１０３を発光させながら撮像した複数フレームの画像データ（第１画像）をフレームメモリ２１３から読み出し、複数フレームの画像データの中から最も鮮明な画像データを取得する。画像取得部３０２は、画像データから撮像部位の鮮鋭度に基づく周波数成分を抽出し、周波数成分に基づいて画像データの合焦を判定することができる。そして、画像取得部３０２は、合焦距離において撮像した第１画像に係る画像データをストレージ２１７に格納する。

【0033】

画像取得部３０２は、フーリエ変換などの周波数変換を用いて周波数成分を抽出する。周波数変換の結果として得られた周波数スペクトルなどのデータは、ＲＡＭ２１５において保持される。周波数変換は、フーリエ変換に限らず、ウェーブレット変換、ラプラシアン演算、離散コサイン変換、アダマール変換、ＫＬ（Karhunen-Loeve）変換などであってもよい。

【0034】

また、画像取得部３０２は、ＬＥＤ１０３を発光させずに、合焦距離において撮像した第２画像に係る画像データをフレームメモリ２１３から取得すると、第１画像の場合と同様に、第２画像に係る画像データをストレージ２１７に格納する。

【0035】

測定領域特定部３０３は、図３に示した撮像部１０２とＬＥＤ１０３の位置関係に基づいて、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間した測定領域を特定する。すなわち、測定領域は、ＬＥＤ１０３の照明光の反射領域からオフセットしている。

【0036】

肌色推定部３０４は、第１画像の色情報と第２画像の色情報との差分値に基づいて被写体の色を推定する。具体的には、肌色推定部３０４は、第１画像および第２画像を構成する画素群のうち、所定の測定領域に含まれる参照画素の色情報について差分値を算出する。そして、肌色推定部３０４は、算出された差分値、既知の照明条件、および測定領域の表色系における値を関連付ける所定のアルゴリズムに従って被写体の色を推定するものとする。なお、本実施形態の第１画像および第２画像は、ＲＧＢ表色系の色情報を含み、かつ、肌色推定部３０４は、ＲＧＢ表色系から変換したＸＹＺ表色系の色情報に基づいて色を推定するものとする。

【0037】

図６は、被写体におけるＬＥＤ１０３の照明光の反射領域Ｓと測定領域Ｍの位置関係を説明する図である。ここでは、タッチパネル１０１に被写体の画像が表示されている場合に、反射領域Ｓは画像解析装置１００のＹ軸に対して左方向に距離Ａだけ離間し、Ｘ軸上の位置に設定されている。また、測定領域Ｍは、画像解析装置１００のＹ軸に対して右方向に距離Ｂ、Ｘ軸に対して下方向に距離Ｃにある位置に設定されている。そして、反射領域Ｓと測定領域Ｍの重心間距離は距離Ｄに設定されている。このように、測定領域Ｍは、反射領域Ｓから所定の距離および方向の位置に設定されるため、画像解析装置１００は照明光の影響を過度に受けずに被写体の色を高精度で測定できる。

【0038】

例えば、ＬＥＤ１０３の照明光の被写体に対する反射領域Ｓが、合焦時においてＹ軸に対して３．９°の位置にある場合、測定領域Ｍと反射領域Ｓの角度が７°以下であると、反射光が測定領域Ｍにかぶってしまう。また、測定領域Ｍと反射領域Ｓの角度が１１°以上であると、測定領域Ｍにおける照明が暗くなり過ぎてしまう。このため、測定領域Ｍは、反射領域Ｓの位置からＹ軸で７．５°（図６の画面上では、距離Ａと距離Ｂを合計した距離に相当）、Ｘ軸で３．５°（図６の画面上では、距離Ｃに相当）動かした位置に設定すると好適である。この場合、反射領域Ｓと測定領域Ｍの重心間距離Ｄは、角度情報に換算すると８．３°に設定される。

【0039】

図７は、本実施形態に係る画像解析装置１００によって行われる処理の一例を示すフローチャートである。ここでは、ユーザが測定アプリ３００を用いて被写体（頬）の色（肌色）を測定する例を説明する。

【0040】

画像解析装置１００において、ユーザが測定アプリ３００を起動すると、制御部３０１は、撮像部１０２のＡＦ機能を無効化する（ステップＳ１０１）。すなわち、制御部３０１は、光学系２０１を固定焦点の状態とする。ここで、合焦距離は、撮像された画像のサイズが画像解析において最適となるように定められ得る。例えば、合焦距離は、５０ｍｍ～１００ｍｍの範囲であってもよく、また、撮像部１０２において設定可能な最短距離であってもよい。制御部３０１は、撮像に適した光環境が得られるようにＬＥＤ１０３の光量、色温度、彩度を設定し、ＬＥＤ１０３を点灯する。

【0041】

次に、制御部３０１は、例えば画像解析装置１００がユーザの頬に接触している初期状態において、ＬＥＤ１０３を発光させながら、撮像部１０２による被写体の撮像を開始する（ステップＳ１０２）。なお、制御部３０１は、ホワイトバランス機能も無効化した状態で撮像部１０２に第１画像を撮像させるとよい。

【0042】

図８は、画像解析装置１００の測定開始時の状態を示す図である。ここでは、ユーザが画像解析装置１００を頬に密着させた状態で、画面をタップする場合を示している。このように、ユーザが測定アプリ３００を起動すると、制御部３０１は、例えば「画面をタップすると撮影を開始します。カメラを頬からゆっくり遠ざけてください。」などのメッセージをディスプレイ２１１に表示する（図２参照）。

【0043】

制御部３０１は、メッセージとともにアニメーションを表示してもよく、音声によってメッセージを発してもよい。ユーザがメッセージに従って撮像部１０２を被写体（頬）に近づけ、タッチパネル１０１をタップすると（図１参照）、制御部３０１は、撮像部１０２による撮像を開始する。撮像は、所定のフレームレート（例えば４～５フレーム毎秒）で行われる。撮像開始時における撮像部１０２と撮像部位との間の距離は、合焦距離よりも短いため、最初に撮像される画像の鮮鋭度は低い。

【0044】

次に、制御部３０１は、被写体（頬）から合焦距離に達するまで、撮像部１０２による撮像を継続する（ステップＳ１０３）。ユーザは、タッチパネル１０１をタップした後、撮像部１０２を被写体（頬）に対して垂直な方向に徐々に遠ざけていく。制御部３０１は、画像の鮮鋭度の変化に基づいて、撮像部１０２が被写体（頬）に対して合焦距離まで移動したか否かを判断する。撮像処理（ステップＳ１０３）の詳細については、後述する。

【0045】

次に、画像取得部３０２は、合焦距離における被写体の撮像画像（第１画像）を取得する（ステップＳ１０４）。具体的には、画像取得部３０２は、撮像で得られた複数フレームの画像データの中から、高周波数成分のエネルギーが最大の画像データを第１画像として取得する。画像データの取得処理（ステップＳ１０４）は、上述の撮像処理（ステップＳ１０３）と同時に実行されてもよい。

【0046】

次に、制御部３０１は、ＬＥＤ１０３の発光を停止させた状態で、撮像部１０２による被写体の撮像を行う（ステップＳ１０５）。これに伴い、画像取得部３０２は、発光停止状態、かつ、合焦距離における被写体の撮像画像（第２画像）をフレームメモリ２１３から取得する（ステップＳ１０６）。なお、制御部３０１は、ホワイトバランス機能も無効化した状態で撮像部１０２に第２画像を撮像させるとよい。

【0047】

次に、肌色推定部３０４は、第１画像と第２画像の測定領域における色情報を取得する（ステップＳ１０７）。上述したように、測定領域は、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間している。

【0048】

次に、肌色推定部３０４は、第１画像と第２画像の間で、共通の測定領域における色情報の差分値を算出する（ステップＳ１０８）。
そして、肌色推定部３０４は、算出された差分値に基づいて、被写体の色を推定する（ステップＳ１０９）と、推定値を測定結果としてタッチパネル１０１（ディスプレイ）に表示する。

【0049】

図９は、図６において示した撮像処理（ステップＳ１０３）の詳細を示すフローチャートである。
まず、制御部３０１は、１フレームの画像データの撮像を行い、フレームメモリ２１３から読み出す（ステップＳ２０１）。制御部３０１は、読み出した画像データを所定のサイズ（例えば６４０×４８０画素）にトリミングしてもよい。
次に、制御部３０１は、画像データをフーリエ変換し、高周波数成分のエネルギーを抽出する（ステップＳ２０２）。

【0050】

次に、制御部３０１は、直近に撮像されたフレームとの間で、高周波数成分のエネルギーの変化量を算出する（ステップＳ２０３）。例えば、制御部３０１は、直近のフレーム（ｎ）についてのエネルギーＥ（ｎ）と、１つ前のフレーム（ｎ－１）についてのエネルギーＥ（ｎ－１）との差（Ｅ（ｎ）－Ｅ（ｎ－１））を計算する。高周波数成分のエネルギーは、所定フレーム数の移動平均値を用いてもよい。複数フレーム間における高周波数成分のエネルギーの変化の一例を図１０に示す。

【0051】

図１０において、縦軸は高周波数成分のエネルギーＥを表し、横軸は時系列に番号付けされた複数フレームの画像データを表している。すなわち、フレーム番号“１”は撮像において最初に撮像されたフレームの画像データであり、撮像が継続している間、順次撮像されていく。図１０の例では、エネルギーＥの差（Ｅ（ｎ）－Ｅ（ｎ－１））は、フレーム番号“２”からフレーム番号“２８”までは正の値であり、フレーム番号“２９”で負の値になる。すなわち、高周波数成分のエネルギーのピークがフレーム番号“２８”に位置していることを示している。

【0052】

次に、制御部３０１は、エネルギーの変化量を所定の閾値と比較する（ステップＳ２０４）。制御部３０１は、例えば０を閾値とし、エネルギーの差（Ｅ（ｎ）－Ｅ（ｎ－１））が０以上か否か（正負）を判断する。制御部３０１は、変化量が０以上（正の値）である場合（ステップＳ２０４でＮＯ）、撮像を継続し、次のフレームに対してステップＳ２０１～ステップＳ２０４の処理を実行する。制御部３０１は、変化量が０より小さい（負の値）である場合（ステップＳ２０４でＹＥＳ）、ＬＥＤ１０３が発光した状態での撮像処理を終了し、図７のフローチャートの処理に戻る。

【0053】

本実施形態に係る画像解析装置１００によれば、ＬＥＤ１０３を発光させた状態で撮像した第１画像とＬＥＤ１０３の発光を停止させた状態で撮像した第２画像を取得し、これらの画像における所定の測定領域の色情報の差分値から測定領域の色を推定する。すなわち、差分値を算出することで外部光（環境光）の影響をキャンセルし、既知の照明光の性質（発光強度など）と２種類の撮像画像から算出した色情報の差分値に基づいて測定領域の色を高精度で推定できる。この結果、肌測定専用の機器を持たないユーザであっても、色見本を用いることなく、スマートフォン等のカメラを用いて精度の良い肌測定を行うことができる。

【0054】

［第２実施形態］
以下、第２実施形態に係る画像解析装置４００について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

【0055】

図１１は、画像解析装置４００の機能ブロック図である。画像解析装置４００において、センサ部であるジャイロスコープ２１８は、被写体に対する画像解析装置４００（撮像部１０２）の向き（傾き）を検出すると、その検出信号を制御部３０１に出力する。制御部３０１は、検出信号に対応する角度情報をストレージ２１７に格納する。第１角度情報は、ユーザが撮像の開始を指示した時点での画像解析装置４００の向き（傾き）を示す。これに対し、第２角度情報は、合焦距離に達して第１画像および第２画像を撮像した時点での画像解析装置４００の向き（傾き）を示すものとする。

【0056】

測定領域特定部３０３は、撮像部１０２とＬＥＤ１０３（発光部）の位置関係および傾きの変化量（角度変化量）に基づいて、反射領域と測定領域の位置関係を維持しながら測定領域の設定位置を補正する。測定領域特定部３０３は、測定領域を動かすことにより、ＬＥＤ１０３の照明光の当たり方を一定に保つ。

【0057】

測定領域特定部３０３は、被写体がジャイロスコープ２１８のヨー軸の軸方向に位置するときに、ジャイロスコープ２１８のロール軸およびピッチ軸を中心とした回転角度に基づいて傾きの変化量を算出する。算出した傾きの変化量と測定領域の補正位置との関係については、ストレージ２１７などに予め定義されているとよい。

【0058】

図１２は、画像解析装置４００の姿勢状態に応じた測定領域の補正を説明する図である。図１２（ａ）では、Ｘ軸がピッチ軸であり、Ｙ軸がロール軸であり、Ｚ軸がヨー軸である。Ｘ１、Ｘ２はＸ軸周りの回転方向を示し、Ｙ１、Ｙ２はＹ軸周りでの回転方向を示す。なお、Ｚ軸周りで回転した場合は、測定領域と反射領域との相対的な位置関係は変わらないため、測定領域の補正対象とはしないものとする。図１２（ｂ）は、図１２（ａ）で示したＸ軸およびＹ軸周りでそれぞれ回転した場合に、撮像領域Ｐの中で照明光の反射領域Ｓと測定領域Ｍがそれぞれどの方向に移動されるのかを示している。

【0059】

図１３は、画像解析装置４００で行われる処理の一例を示すフローチャートである。ここでは、ユーザが測定アプリ３００を用いて被写体（頬）の色（肌色）を測定する例を説明する。

【0060】

画像解析装置４００において、ユーザが測定アプリ３００を起動すると、制御部３０１は、撮像部１０２のＡＦ機能を無効化する（ステップＳ３０１）。すなわち、制御部３０１は、光学系２０１を固定焦点の状態とする。ここで、合焦距離は、撮像された画像のサイズが画像解析において最適となるように定められ得る。例えば、合焦距離は、５０ｍｍ～１００ｍｍの範囲であってもよく、また、撮像部１０２において設定可能な最短距離であってもよい。制御部３０１は、撮像に適した光環境が得られるようにＬＥＤ１０３の光量、色温度、彩度を設定し、ＬＥＤ１０３を点灯する。

【0061】

次に、制御部３０１は、例えば画像解析装置４００がユーザの頬（被写体）に接触している初期状態において、ＬＥＤ１０３を発光させながら、撮像部１０２による被写体の撮像を開始する（ステップＳ３０２）。

【0062】

次に、制御部３０１は、撮像開始時点の第１角度情報を記憶する（ステップＳ３０３）。具体的には、ユーザが画像解析装置４００を頬に当てた状態でタッチパネル１０１をタップした際、画像解析装置４００のＸ軸およびＹ軸方向における傾き状態が第１角度情報として記憶される。

【0063】

続いて、制御部３０１は、被写体（頬）から合焦距離に達するまで、撮像部１０２による撮像を継続する（ステップＳ３０４）。ユーザは、タッチパネル１０１をタップした後、撮像部１０２を被写体（頬）に対して垂直な方向に徐々に遠ざけていく。制御部３０１は、画像の鮮鋭度の変化に基づいて、撮像部１０２の位置が被写体（頬）に対して合焦距離まで移動したか否かを判断する。撮像処理（ステップＳ３０４）は、上述した図９と同様である。

【0064】

次に、画像取得部３０２は、合焦距離における被写体の撮像画像（第１画像）を取得する（ステップＳ３０５）。具体的には、画像取得部３０２は、撮像で得られた複数フレームの画像データの中から、高周波数成分のエネルギーが最大の画像データを取得する。画像データの取得処理（ステップＳ３０５）は、上述した撮像処理（ステップＳ３０４）と同時に実行されてもよい。

【0065】

次に、制御部３０１は、ＬＥＤ１０３の発光を停止させた状態で、撮像部１０２による被写体の撮像を行う（ステップＳ３０６）。これに伴い、画像取得部３０２は、発光停止時の合焦距離における撮像画像（第２画像）を取得し、制御部３０１は、合焦距離における第２角度情報を取得する（ステップＳ３０７）。

【0066】

次に、測定領域特定部３０３は、第１角度情報と第２角度情報により測定領域の設定位置を補正する（ステップＳ３０８）。

【0067】

次に、肌色推定部３０４は、第１画像と第２画像の測定領域における色情報を取得する（ステップＳ３０９）。上述したように、測定領域は、第１画像および第２画像の中でＬＥＤ１０３の光が被写体において正反射（鏡面反射）する位置に対応する反射領域から所定の距離で離間している。ステップＳ３０８およびステップＳ３０９の処理は、同時に行われてもよい。

【0068】

次に、肌色推定部３０４は、第１画像と第２画像の間で、共通の測定領域における色情報の差分値を算出する（ステップＳ３１０）。
そして、肌色推定部３０４は、算出された差分値に基づいて、被写体の色を推定する（ステップＳ３１１）と、推定値を測定結果としてタッチパネル１０１（ディスプレイ）に表示する。

【0069】

図１４は、図１３において示した測定領域の補正処理（ステップＳ３０８）の詳細を示すフローチャートである。

【0070】

まず、肌色推定部３０４は、ストレージ２１７に記憶されている第１角度情報および第２角度情報を取得する（ステップＳ４０１）と、Ｘ軸周りでの角度変化量を算出する（ステップＳ４０２）。

【0071】

次に、肌色推定部３０４は、Ｘ軸周りでの角度変化量が閾値以下であるか否かを判定する（ステップＳ４０３）。Ｘ軸周りでの角度変化量の閾値は、例えば６°である。ここで、肌色推定部３０４が、角度変化量は閾値以下であると判定した場合（ステップＳ４０３でＹＥＳ）には、処理はステップＳ４０４へ移行する。これに対し、ここで、肌色推定部３０４が、角度変化量は閾値を超えると判定した場合（ステップＳ４０３でＮＯ）には、処理はステップＳ４０７へ移行する。

【0072】

次に、肌色推定部３０４は、Ｙ軸周りでの角度変化量を算出する（ステップＳ４０４）と、Ｙ軸周りでの角度変化量が閾値以下であるか否かを判定する（ステップＳ４０５）。Ｙ軸周りでの角度変化量の閾値は、例えば６°である。ここで、肌色推定部３０４が、角度変化量は閾値以下であると判定した場合（ステップＳ４０５でＹＥＳ）には、処理はステップＳ４０６へ移行する。これに対し、ここで、肌色推定部３０４が、角度変化量は閾値を超えると判定した場合（ステップＳ４０５でＮＯ）には、処理はステップＳ４０７へ移行する。

【0073】

次に、肌色推定部３０４は、ＬＥＤ１０３の照明光が正反射する領域と測定領域の位置関係を維持するように、測定領域の設定位置を補正し（ステップＳ４０６）、図１３のフローチャート（ステップＳ３０９）へ戻る。

【0074】

そして、肌色推定部３０４は、再測定を促すメッセージをタッチパネル１０１への表示または音声によって出力し（ステップＳ４０７）、図１３のフローチャートには戻らずに処理を終了する。すなわち、測定領域を補正可能な範囲を超えて画像解析装置４００が測定開始時よりも傾けられた場合には、ＬＥＤ１０３の照射条件が大きく変動したことになるため、再測定となる。

【0075】

本実施形態に係る画像解析装置４００によれば、ジャイロスコープ２１８で検出された角度情報に基づいて照明光の反射領域と測定領域との位置関係を維持しつつ、測定領域の位置を補正できる。このため、測定開始時と測定終了時との間で画像解析装置４００の傾き（姿勢状態）が変化した場合でも、測定領域における照明光の当たり方を一定レベルに維持することで、測定領域の色を高精度で測定できる。

【0076】

［変形実施形態］
上述の実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されるものではない。すなわち、本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で変更実施可能である。

【0077】

上述の実施形態では、発光部であるＬＥＤ１０３は、画像解析装置１００の背面側にのみ設けられていたが、正面側にも設けられてもよい。図１５は、画像解析装置５００の撮像処理時の状態を示す図である。また、図１６は、画像解析装置５００に表示される操作画面の一例を示す正面図である。ここでは、背面側の撮像部１０２およびＬＥＤ１０３とは別に、撮像部１０４（インカメラ）およびＬＥＤ１０５が、操作画面を表示するディスプレイ２１１（タッチパネル１０１）と同一の面（画像解析装置５００の正面）にそれぞれ設けられることが示されている。この場合、ユーザは、ディスプレイ２１１に表示された操作画面を参照しながら、肌色測定の開始および終了指示を入力できるため、操作性がさらに向上する利点がある。

【0078】

また、上述の実施形態では、ＬＥＤ１０３が発光部となる場合について説明したが、発光部はＬＥＤ１０３のみに限られない。例えば、タッチパネル１０１のディスプレイ自体が発光部を兼ねるように構成することもできる。この場合、上述した図１５と同様に、インカメラを用いた肌色測定が可能になるとともに、ＬＥＤ１０３に比べて照明光の照射範囲を詳細に設定できる利点もある。

【0079】

上述の実施形態では、画像解析装置１００、４００、５００がユーザの頬の色を測定する場合について説明したが、測定部位はユーザの頬に限られない。画像解析装置１００、４００、５００は、肌、頭皮、爪、毛髪、唇などの人体表面の様々な部位を測定するために適用可能である。同様に、画像解析装置１００、４００、５００による測定部位は人体に限られない。画像解析装置１００は、人体以外の任意の物体の色を測定するために適用可能である。

【0080】

上述の各実施形態では、画像解析装置１００、４００、５００が被写体から合焦距離に達したときに撮像した第１画像および第２画像に基づいて被写体の色を測定（推定）する方法を説明したが、測定方法はこれに限られない。例えば、３Ｄスキャニング機能を持つ携帯電話の場合では、撮影時の距離から双方向反射率分布関数ＢＲＤＦ(Bidirectional Reflectance Distribution Function)に基づいて照明条件に距離の補正を行うことで、合焦距離以外の位置における撮影画像（第１画像および第２画像）を用いて各実施形態の場合と同様に被写体の色の測定が可能となる。

【0081】

１００、４００、５００ 画像解析装置
１０１ タッチパネル（ディスプレイ）
１０２、１０４ 撮像部
１０３、１０５ ＬＥＤ（発光部）
２１３ フレームメモリ
２１４ ＣＰＵ
２１５ ＲＡＭ
２１７ ストレージ
２１８ ジャイロスコープ
３０１ 制御部
３０２ 画像取得部
３０３ 測定領域特定部（特定部）
３０４ 肌色推定部（推定部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】