特許第6051558号(P6051558)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
特許6051558撮像装置と撮像方法、プログラム、撮像システム、および付属装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6051558
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】撮像装置と撮像方法、プログラム、撮像システム、および付属装置
(51)【国際特許分類】
   G02B 7/28 20060101AFI20161219BHJP
   A61B 5/00 20060101ALI20161219BHJP
   A61B 5/107 20060101ALI20161219BHJP
   G03B 15/02 20060101ALI20161219BHJP
【FI】
   G02B7/28 N
   A61B5/00 M
   A61B5/10 300Q
   G03B15/02 G
【請求項の数】9
【全頁数】35
(21)【出願番号】特願2012-73536(P2012-73536)
(22)【出願日】2012年3月28日
(65)【公開番号】特開2013-205571(P2013-205571A)
(43)【公開日】2013年10月7日
【審査請求日】2015年1月27日
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】五味 信一郎
(72)【発明者】
【氏名】鈴木 優
(72)【発明者】
【氏名】中村 雄介
【審査官】 高橋 雅明
(56)【参考文献】
【文献】 特開2007−316409(JP,A)
【文献】 特開2007−163982(JP,A)
【文献】 特開2011−191671(JP,A)
【文献】 特開平10−333057(JP,A)
【文献】 特開2005−070300(JP,A)
【文献】 特開2007−019656(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28
A61B 5/00
A61B 5/107
G03B 15/02
(57)【特許請求の範囲】
【請求項1】
被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部と、
前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う制御部と
を備える撮像装置。
【請求項2】
前記照明部は、複数の照明光照射部を前記周方向に異なる位置として配置して、照明光を照射する前記照明光照射部の切り換えによって前記照明方向の切り替えを行い、
前記制御部は、前記周方向に前記照明光照射部の間引きを行い、間引きしていない前記照明光照射部毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、該算出された評価値から間引きした前記照明光照射部についての評価値を算出する請求項1記載の撮像装置。
【請求項3】
前記照明部は、前記撮像光学系の光軸を基準として周方向に照明光照射部を複数配置して、照明光を照射する照明光照射部の切り換えによって前記照明方向の切り替えを行い、
前記制御部は、前記照明光照射部について周方向にグループ化を行い、1グループ内で前記照明光照射部毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する請求項1記載の撮像装置。
【請求項4】
前記制御部は、前記1グループ内に、前記光軸を基準として直交する方向の位置関係となる照明光照射部を含める請求項3記載の撮像装置。
【請求項5】
前記照明部は、前記被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明を行う請求項1記載の撮像装置。
【請求項6】
前記照明部は、撮像光学系の光軸を基準として周方向に異なる位置に複数配置された光源における照明光を出射する光源の切り替え、または撮像光学系の光軸を基準として周方向に設けられた光源から出射された照明光を通過させるシャッタ開領域の周方向の切り替えを行うことで、前記照明方向の切り替えを行う請求項1記載の撮像装置。
【請求項7】
被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能に照明部で前記被写体の照明を行う工程と、
前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体を撮像する制御を制御部で行う工程とを
含む撮像方法。
【請求項8】
被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部を備えた撮像装置の動作制御をコンピュータで実行させるプログラムであって、
前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う手順
を前記コンピュータで実行させるプログラム。
【請求項9】
被写体の撮像画像を生成する撮像装置と、
前記撮像画像を用いて前記被写体の解析を行う解析装置とを有し、
前記撮像装置は、
被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部と、
前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う制御部と
を備える撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、撮像装置と撮像方法、プログラム、撮像システム、および付属装置に関し、良好な肌画像を容易に得ることができるようにする。
【背景技術】
【0002】
従来、美容業界等では、撮像装置を用いて肌を撮像して、得られた肌画像から肌の状態を解析することが行われている。例えば特許文献1では、複数の方向から順に照明を行って肌の撮像を行い、得られた画像信号から皮膚表面の3次元の形状を復元することで、より正確な皮膚表面形状の特徴を抽出して解析が行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−105826号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、肌の状態の解析等を行う場合、鮮明な肌画像を用いなければ精度よく解析を行うことができない。しかし、店頭等で簡易に肌の状態等を確認するために用いられる撮像装置は、一般に固定焦点であったり、熟練した担当者等がマニュアルで焦点を合わせる必要がある。このため、一般ユーザが解析に適した肌画像を撮影することは難しい。
【0005】
そこで、本技術では、良好な肌画像を容易に得ることができる撮像装置と撮像方法とプログラム、撮像システムおよび付属装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
この技術の第1の側面は、被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部と、前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う制御部とを備える撮像装置にある。
【0007】
この技術において、照明部は被写体の照明方向が切り替え可能とされている。例えば、撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向の切り替えが行われる。また、照明光の照射角度の切り替えが行われる。照明部では、被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明が行われる。また、照明部は、照明光を出射する光源の切り替え、または光源から出射された照明光の通過をシャッタで制御することにより、照明方向の切り替えが行われる。
【0008】
制御部は、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像を行う。また、制御部は、例えば照明方向について周方向で間引きして、間引き後の照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、算出された評価値から前記間引きされた照明方向についての評価値を算出する。または、照明方向について周方向にグループ化を行い、1グループ内で前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。なお、1グループ内には、直交する照明方向を含めるようにする。さらに制御部は、評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させるようにしてもよい。
【0009】
この技術の第2の側面は、被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能に照明部で前記被写体の照明を行う工程と、前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体を撮像する制御を制御部で行う工程とを含む撮像方法にある。
【0010】
この技術の第3の側面は、被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部を備えた撮像装置の動作制御をコンピュータで実行させるプログラムであって、前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う手順を前記コンピュータで実行させるプログラム。
【0011】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【0012】
この技術の第4の側面は、被写体の撮像画像を生成する撮像装置と、前記撮像画像を用いて前記被写体の解析を行う解析装置とを有し、前記撮像装置は、被写体を撮像する撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで前記被写体の照明方向が切り替え可能とされている照明部と、前記照明方向を切り替えて前記照明光を照射して前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を前記照明方向毎に算出して、該評価値が最も良好なフォーカス状態を示す照明方向から前記被写体の照明を行い、前記評価値が良好なフォーカス状態を示す最も近いフォーカス位置から所定距離だけ離れる方向に前記フォーカス位置を移動させて前記被写体の撮像を行う制御部とを備える撮像システムにある。
【発明の効果】
【0016】
この技術によれば、被写体の照明方向が切り替え可能とされており、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、この評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像が行われる。このため、最適な方向で照明が行われてフォーカス調整が行われて、フォーカス状態が良好な肌画像を容易に得ることができるようになる。
【図面の簡単な説明】
【0017】
図1】肌状態解析システムの構成を例示した図である。
図2】撮像装置と解析装置および表示装置の接続状態を例示した図である。
図3】撮像装置の外観を簡略化して示した図である。
図4】付属装置に設けられた光源を例示した図である。
図5】撮像装置の内部構成を簡略化して示した図である。
図6】光源について他の構成を例示した図である。
図7】照明モジュールを複数設けた場合を示す図である。
図8】照明光の通過を制御して、照明方向の変更を行う場合の構成を例示した図である。
図9】肌表面の状態と肌表面に対する照明光の照射角度の関係を例示した図である。
図10】照明光の出力位置と照明方向の変更を行う場合の付属装置の構成を例示した図である。
図11】外部光源から照明光を肌表面に照射する場合を例示した図である。
図12】照明方向を指示する指示表示部を設けた場合を示す図である。
図13】撮像装置20の機能構成を示すブロック図である。
図14】撮像装置の動作を示すフローチャートである。
図15】間引きして光源を発光させる場合の撮像装置の動作を示すフローチャートである。
図16】間引きして光源を発光させる場合の撮像装置の動作を説明するための図である。
図17】照明方向の調整範囲を0〜180度の範囲内とする場合の撮像装置の動作を示すフローチャートである。
図18】照明方向の調整範囲を0〜180度の範囲内とする場合の撮像装置の動作を説明するための図である。
図19】照明方向の調整範囲をさらに狭めた場合の撮像装置の動作を説明するための図である。
図20】20個の光源を連続する10個の2グループにグループ分けを行った場合を示す図である。
図21】20個の光源を連続する5個の4グループにグループ分けを行った場合を示す図である。
図22】照明方向を変化させた場合に撮像された画像を例示した図である。
図23】付属装置に設けられた光源を例示した図である。
図24】撮像装置の内部構成を簡略化して示した図である。
図25】光源と導光路を組み合わせた場合を例示した図である。
図26】光源と導光路を組み合わせた場合を例示した図である。
図27】体毛等がある場合を例示した図である。
図28】肌内部にフォーカスを合わせて情報を取得する場合を示す図である。
図29】解析装置の構成を例示した図である。
図30】表皮画像処理部および表皮パターン検出部の機能構成を例示したブロック図である。
図31】後天的要素解析部の機能構成を例示したブロック図である。
図32】撮像装置の内部構成を簡略化して示した図である。
図33】基準パターンを例示した図である。
図34】基準パターンの変形例を示す図である。
図35】基準パターンの変形例を示す図である。
図36】基準パターンの変形例を示す図である。
図37】基準パターンの変形例を示す図である。
図38】軟性部材に基準パターンを形成した場合を示す図である。
図39】撮像装置の動作を示すフローチャートである。
図40】校正処理動作を示すフローチャートである。
図41】基準パターンに厚みがある場合を示した図である。
図42】被写体内部にフォーカスを合わせて情報を取得する場合を示す図である。
図43】弾性体を介して鏡胴と付属装置を接続する構成を示した図である。
【発明を実施するための形態】
【0018】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.肌解析システムについて
2.第1の実施の形態
2−1.撮像装置について
2−1−1.撮像装置の構成
2−1−2.撮像装置の動作
2−1−3.付属装置の他の構成
2−1−4.撮像装置のフォーカス動作
2−2.解析装置について
2−3.表示装置について
3.第2の実施の形態
3−1.撮像装置の構成
3−2.撮像装置の動作
3−3.付属装置の他の構成
3−4.画像処理装置と表示装置について
【0019】
<1.肌解析システムについて>
図1は、肌状態解析システムの構成を例示している。肌状態解析システム10は、撮像装置20と解析装置40および表示装置60を有する構成とされている。撮像装置20は、照明方向を切り替えて方向毎にフォーカス調整を行い、最適フォーカス位置を決定する。また、撮像装置20は、決定した最適フォーカス位置で撮影を行うことにより得られた肌画像の画像信号を解析装置40に出力する。解析装置40は、撮像装置20から供給された肌画像の画像信号に基づいて肌の状態の解析等を行い、解析結果を示す表示信号を生成して表示装置60に出力する。表示装置60は、解析装置40から供給された表示信号に基づき画像表示を行い、肌の状態の解析結果等を画面上に表示する。
【0020】
図2は、撮像装置20と解析装置40および表示装置60の接続状態を例示している。例えば、図2の(A)に示すように、撮像装置20と解析装置40および解析装置40と表示装置60は、有線伝送路を介して接続される。また、図2の(B)に示すように、撮像装置20と解析装置40、および解析装置40と表示装置60は、それぞれ無線伝送路を介して接続される構成であってもよい。さらに、図2の(C)に示すように、撮像装置20と解析装置40が一体に構成されていてもよい。なお、図示せずも、解析装置40と表示装置60が一体に構成されていてもよく、撮像装置20と解析装置40および表示装置60が一体に構成されていてもよい。
【0021】
<2.第1の実施の形態>
[2−1.撮像装置について]
[2−1−1.撮像装置の構成]
撮像装置20は、照明方向を切り替えて肌の撮像を行うことができるように構成されている。図3は撮像装置20の外観を簡略化して示している。なお、図3の(A)は撮像装置20の正面図、図3の(B)は撮像装置20の側面図である。撮像装置20の鏡胴21の先端には、付属装置71が設けられている。また、付属装置71は、鏡胴21と一体に構成されていてもよく、鏡胴21に対して着脱可能に構成されていてもよい。
【0022】
付属装置71は、被写体の照明方向が切り替え可能とされている照明部を有している。例えば、付属装置71の先端には、図4に示すように、照明部を構成する複数の光源711(例えばLED(Light Emitting Diode)1〜LEDn)がリング状に配されており、発光させる光源を切り替えて、被写体である肌表面の照明方向を変更できるように構成されている。光源の波長帯は、可視域(400〜700nm)でよく、後述する画像センサの分光感度も可視域に感度がある一般的な画像センサ、例えばRGBの三原色のフィルタを用いた画像センサでよい。
【0023】
図5は、撮像装置20の内部構成を簡略化して示している。鏡胴21の内部には撮像光学系22と画像センサ25が設けられている。
【0024】
図4では、複数の光源を鏡胴の先端側に被写体側を向けてリング状に配置して照明部を構成した場合を示したが、照明部は図4に示す構成に限らない。次に、照明部について他の構成を例示する。
【0025】
図6は、照明光出射位置と複数の光源711をそれぞれ光ファイバ712で結び、光源711から出射された光を、光ファイバ712を介して照明光出射位置から肌表面に出射させる場合を示している。なお、図6では、4つの光源を設けた場合を示している。このように、光ファイバ等の導光路を用いて光源からの照明光を導くことで、光源711のサイズ等の制約が少なくなり、付属装置のデザインの自由度を高めることができる。
【0026】
図7は、照明モジュールを複数設けて、照明光を出射するモジュールを切り替えることで、肌表面の照明方向を切り替える場合を例示している。照明モジュール713は、図7の(A)に示すように、筐体内に光源713aと導光板713bが設けられており、光源713aは導光板713bの端部に設けられている。筐体の照明光出射面には拡散板713cが設けられており、他面側には反射板713dが設けられている。
【0027】
光源713aから出射された光は、直接または反射板713dで反射されて導光板713bに入射される。また、導光板713bに入射された光は、反射板713dで反射されて導光板713bに再度入射される。導光板713bの照明光出射面から出射される光は、拡散板713cで拡散されて、照明モジュール713から出射される。
【0028】
図7の(B)は、照明モジュール713を複数設けた付属装置71を例示している。付属装置71に用いられている複数の照明モジュール713は、照明光出射面が肌表面の方向を向いて取り付けられている。なお、図7の(B)では4つの照明モジュールを用いた場合を例示している。
【0029】
このように、複数の照明モジュール713を用いて、照明光を出射する照明モジュール713を切り替えることで肌表面の照明方向を変更できる。
【0030】
上述の構成では、照明光を出射する光源を切り替えることで肌表面の照明方向を変更する場合について例示したが、照明方向の変更は光源に切り替えに限らず他の方法を用いるようにしてもよい。例えば、光源から出射された照明光の通過をシャッタで制御して、照明方向の切り替えを行うようにしてもよい。
【0031】
図8は、照明光の通過を制御して、照明方向の変更を行う場合の構成を例示している。付属装置71は、図8の(A)に示すように、リングライト714とリング状のシャッタ715を有している。リングライト714は、肌表面の方向に照明光を出射する。シャッタ715は、リングライト714の照明光出射側に設けられている。シャッタ715は、例えば液晶素子を用いて構成されており、複数に区分された領域毎に照明光の通過を制御できるように構成されている。このように構成された付属装置71では、図8の(B)に示すように、照明光を通過させる領域(シャッタ開領域)を移動させることで、照明方向の変更が行われる。
【0032】
以上のように、付属装置71は、点灯する光源を切り替えて、またはシャッタ開領域を切り替えることにより、すなわち撮像光学系の光軸を基準として周方向に異なる位置の照明光照射部から照明光を照射することで照明方向の切り替えを行う。
【0033】
ところで、肌表面の段差が小さい場合、照明方向を制御することで肌表面の窪み(しわ部分等)を精度よく検出できる。しかし、肌表面の段差が大きい場合、照明方向を制御しても肌表面の窪みを検出できない部分を生じてしまうおそれがある。
【0034】
図9は、肌表面の状態と肌表面に対する照明光の照射角度の関係を例示している。例えば、図9の(A)は肌表面の段差が小さく照明光の照射角度が大きい場合(照明光の出力位置が高い場合)、図9の(B)は肌表面の段差が小さく照明光の照射角度が小さい場合(照明光の出力位置が低い場合)を示している。また、図9の(C)は肌表面の段差が大きく照明光の照射角度が大きい場合、図9の(D)は肌表面の段差が大きく照明光の照射角度が小さい場合を示している。
【0035】
図9の(A)(B)に示すように、肌表面の段差が小さい場合には照明光の照射角度にかかわらず、肌表面の窪み部分で影(矢印で示す)を生じることから、肌表面の窪みを精度よく検出できる。また、図9の(C)に示すように、肌表面の段差が大きい場合でも照明光の照射角度が大きい場合には、肌表面の窪み部分で影(矢印で示す)を生じることから、肌表面の窪みを精度よく検出できる。しかし、図9の(D)に示すように、肌表面の段差が大きく照明光の照射角度が小さい場合、肌表面の窪み部分が影(矢印で示す)で隠れてしまい、肌表面の窪みを精度よく検出することが出来なくなってしまうおそれがある。そこで、照明光の照射角度を切り替え可能とすることで、照明方向の変更を行うようにしてもよい。
【0036】
図10は、照明光の出力位置と照明方向の変更を行う場合の付属装置71の構成を例示している。なお、図10では、照明光の照射角度を2段階、照明方向を4方向で変更可能とされている構成を示している。
【0037】
付属装置71は、第1の出力位置で照明光を出力する光ファイバ716-1〜716-4と、第1の出力位置よりも肌表面から離れた第2の出力位置で照明光を出力する光ファイバ717-1〜717-4を有している。光ファイバ716-1〜716-4の照明光出射面に対して逆面側にはシャッタ718を介して光源719が設けられている。また、光ファイバ717-1〜717-4の照明光出射面に対して逆面側にはシャッタ720を介して光源721が設けられている。このように構成された付属装置は、例えば光源719から照明光をシャッタ718に向けて出力する。シャッタ718は、光ファイバ716-1〜716-4に対する光源719から出射された照明光の入射を制御することで、照明光の照射角度を小さくして照明方向の切り替えを行う。また、光源721から照明光をシャッタ720に向けて出力する。シャッタ720は、光ファイバ717-1〜717-4に対する光源721から出射された照明光の入射を制御することで、照明光の照射角度を大きくして照明方向の切り替えを行う。このようにすれば、肌表面の段差が大きい場合であっても、肌表面の窪みを精度よく検出できるようになる。また、光源からの照明光を、液晶等を利用したシャッタを介して各光ファイバに入射することで、照明の切り替え部分を一か所に集約することが可能となる。したがって、シャッタを小さくすることができる、また、シャッタ動作制御のための制御線に必要な領域等を小さくできる。なお、図10では、光ファイバを用いた構成を例示しているが、光ファイバの照明光出射面の位置に光源を設けて、照明光を出力する光源を切り替えることにより、照明光の照射角度と照明方向の変更を行うようにしてもよい。
【0038】
さらに、撮像装置20では、鏡胴21の先端に透明の付属部品81を設けて、図11に示すように外部光源91から照明光を肌表面に照射するようにしてもよい。また、図12に示すように、何れの方向から照明光が照射されているか判別可能するため、付属部品81に照明方向を指示する指示表示部82を設けて、指示表示部82で指示された方向から照明光を肌表面に照射するようにしてもよい。
【0039】
図13は、撮像装置20の機能構成を示すブロック図である。撮像装置20は、撮像光学系22、撮像光学系駆動部23、画像センサ25、信号処理部26、制御部31、メモリ部32、付属装置71を有している。
【0040】
撮像光学系22は、フォーカスレンズやズームレンズ等を用いて構成されており、被写体光学像を画像センサ25の撮像面上に所望のサイズとして結像させる。
【0041】
撮像光学系駆動部23は、制御部31からの制御信号に基づき、撮像光学系22のフォーカスレンズやズームレンズを駆動する。
【0042】
画像センサ25は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を用いて構成されている。画像センサ25は、光源変換を行い、被写体光学像に応じた画像信号を生成して信号処理部26に出力する。
【0043】
信号処理部26は、画像センサ25から供給された画像信号に対して、種々のカメラ信号処理、例えば輝度や色等の調整、高画質化のための処理等を行い、処理後の画像信号を解析装置40に出力する。
【0044】
制御部31は、画像センサ25や信号処理部26および付属装置71の動作を制御して、肌画像の画像信号を生成する。また、制御部31は、肌画像の画像信号の生成において、照明方向毎に被写体である肌表面に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。制御部31は、算出した評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像を行う。
【0045】
メモリ部32は、撮像装置20の動作制御を行うために必要な情報等を記憶する。例えば、制御部31で算出された照明方向毎の評価値を記憶して、記憶された評価値に基づき、制御部31で、最適なフォーカス状態での撮像を行うことができるようにする。
【0046】
付属装置71は、最適なフォーカス状態等で撮像を行うことができるように、撮像装置20の制御部31からの指示に応じて照明方向の切り替え等を行う。また、付属装置71は、照明方向を自動的に切り替えて、照明方向を示す情報を撮像装置20の制御部31に出力する構成であってもよい。
【0047】
[2−1−2.撮像装置の動作]
次に、撮像装置の動作について説明する。図14は、撮像装置の動作を示すフローチャートである。ステップST1で撮像装置20は、初期設定を行う。撮像装置20は点灯する光源を示すパラメータ「i」を例えば「i=1」に設定してステップST2に進む。
【0048】
ステップST2で撮像装置20は、付属装置71のi番目の光源を点灯させてステップST3に進む。
【0049】
ステップST3で撮像装置20は、フォーカス調整を行う。撮像装置20は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置20は、フォーカス状態を示す評価値を算出してステップST4に進む。評価値は、フォーカス状態に応じて変化する情報であればよい。撮像装置20は、例えばコントラスト方式を用いてフォーカス調整を行う場合、式(1)に示すように、撮像画像の画素毎に隣接画素との輝度レベル差を算出して、画素毎に算出した輝度レベル差の絶対値の総和を評価値Fvとして用いる。なお、式(1)において、「I(x,y)」は画素位置(x,y)における画素値(輝度レベル)を示している。また、撮像画像内に複数の評価領域を設定して、式(2)に示すように、各評価領域内で隣接画素との輝度レベル差の絶対値の総和を算出して、領域毎に算出した総和を合計して評価値としてもよい。なお、式(2)において、「Bi」はi番目の領域、「I(x,y)」は、i番目の領域Bi内の画素位置(x,y)における画素値(輝度レベル)を示している。また、撮像装置20は、例えば位相差方式を用いてフォーカス調整を行う場合、位相差方式のフォーカスセンサ上に形成される光学像の位相差を評価値として用いればよい。さらに、撮像装置20は、撮像画像から所定帯域の高周波成分を抽出し、抽出した高周波成分の絶対値の総和を評価値として用いるようにしてもよい。
【数1】
【0050】
ステップST4で撮像装置20は、全光源で調整を行ったか判別する。撮像装置20は、例えば照明方向が異なるn個の光源が設けられている場合、i=nである場合には全光源で調整を行ったと判別してステップST6に進む。また、i<nである場合には全光源での調整が完了していない判別してステップST5に進む。
【0051】
ステップST5で撮像装置20は、「i=i+1」の演算を行い、パラメータiを更新してステップST2に戻る。
【0052】
ステップST6で撮像装置20は、最適フォーカスを決定する。撮像装置20は、照明方向毎に算出した評価値に基づき、フォーカス状態が最も良好となる照明方向を決定してステップST7に進む。
【0053】
ステップST7で撮像装置20は、撮影を行う。撮像装置20は、ステップST6で決定した照明方向で照明を行って撮像動作を行い肌画像の画像信号を取得する。
【0054】
このような処理を行うことで、撮像装置20は良好な肌画像を容易に得ることができる。なお、付属装置71で照明方向を自動的に切り替える場合、撮像装置20は照明方向を示す情報と評価値を関連付けることで、フォーカス状態が最も良好となる照明方向を決定できる。
【0055】
ところで、図14の動作では、n個の光源を順次発光させる場合を示しているが、n個の光源を順次発光させると、光源が多い場合に最適フォーカスを決定するまでに要する時間が長くなってしまう。そこで、撮像装置20は、照明方向について周方向で間引きを行い、例えばリング状に配された光源を間引きして点灯されて、間引き後の照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する。また、間引きされた照明方向、すなわち発光が行われていない光源に対する評価値は補間によって算出する。このようにして、照明方向毎に評価値を算出して、算出された評価値からフォーカス状態が最も良好となる照明方向を短時間で決定できるようにする。
【0056】
図15は、間引きして光源を発光させる場合の撮像装置の動作を示すフローチャートである。なお、図15では、例えば光源の数が「24」で間引き間隔が「2」である場合を示している。ステップST11で撮像装置20は、初期設定を行う。撮像装置20は点灯する光源を示すパラメータ「i」を例えば「i=1」に設定してステップST12に進む。
【0057】
ステップST12で撮像装置20は、付属装置71のi番目の光源を点灯させてステップST13に進む。
【0058】
ステップST13で撮像装置20は、フォーカス調整を行う。撮像装置20は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置20は、フォーカス状態を示す評価値を算出してステップST14に進む。
【0059】
ステップST14で撮像装置20は、発光を行う全光源で調整を行ったか判別する。撮像装置20は、発光を行う全光源で調整を行ったと判別した場合にステップST16に進む。また、発光を行う全光源において、調整が完了していない光源が残っている場合にステップST15に進む。
【0060】
ステップST15で撮像装置20は、「i=i+3」の演算を行い、パラメータiを更新してステップST12に戻る。
【0061】
ステップST16で撮像装置20は、発光が行われていない間引き光源の評価値を算出する。撮像装置20は、間引きにより発光が行われていない間引き対象光源に対する評価値を、発光が行われた光源に対する評価値から補間、例えばスプライン補間等によって算出する。
【0062】
ステップST17で撮像装置20は、最適評価値を検出する。撮像装置は、フォーカス状態が最良となる評価値を最適評価値として検出してステップST18に進む。
【0063】
ステップST18で撮像装置20は、最適光源での照明を行う。撮像装置20は、最適評価値に対応した光源で照明を行いステップST19に進む。
【0064】
ステップST19で撮像装置20は、フォーカス調整を行う。撮像装置20は、ステップST18で行われた照明の状態でフォーカス調整を行いステップST20に進む。
【0065】
ステップST20で撮像装置20は、撮影を行う。撮像装置20は、ステップST18で行われた照明の状態およびステップST19で調整されたフォーカス状態で撮像動作を行い肌画像の画像信号を取得する。
【0066】
このような動作を行うと、図16の(A)に示すように、黒丸で示す光源を間引き対象光源として白丸で示す光源を順に用いて照明が行われて、例えば図16の(B)に示すように評価値(白丸)が算出される。また、他の光源について補間等によって評価値(黒丸)が算出される。さらに光源毎の評価値からフォーカス状態が最良となる光源、例えば評価値が最大となる5番目の光源(丸印の数字で示す光源)を、撮像に用いる照明用の光源として撮像が行われる。
【0067】
また、最適フォーカスを決定するまでに要する時間が長くなってしまうことを防止する方法として、照明方向の調整範囲を狭めてもよい。
【0068】
図17は、照明方向の調整範囲を0〜180度の範囲内とする場合の撮像装置の動作を示すフローチャートである。なお、図17では、例えば光源の数が「24」で1番目から12番目までの光源を順に選択して照明に用いる場合を示している。ステップST31で撮像装置20は、初期設定を行う。撮像装置20は点灯する光源を示すパラメータ「i」を例えば「i=1」に設定してステップST32に進む。
【0069】
ステップST32で撮像装置20は、付属装置71のi番目の光源を点灯させてステップST33に進む。
【0070】
ステップST33で撮像装置20は、フォーカス調整を行う。撮像装置20は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置20は、フォーカス状態を示す評価値を算出してステップST34に進む。
【0071】
ステップST34で撮像装置20は、発光を行う全光源で調整を行ったか判別する。撮像装置20は、発光を行う全光源で調整を行ったと判別した場合、すなわちi=12である場合にステップST36に進む。また、発光を行う全光源での調整が完了していない場合にステップST35に進む。
【0072】
ステップST35で撮像装置20は、「i=i+1」の演算を行い、パラメータiを更新してステップST32に戻る。
【0073】
ステップST36で撮像装置20は、最適評価値を検出する。撮像装置は、フォーカス状態が最良となる評価値を最適評価値として検出してステップST37に進む。
【0074】
ステップST37で撮像装置20は、最適光源での照明を行う。撮像装置20は、最適評価値に対応した光源で照明を行いステップST38に進む。
【0075】
ステップST38で撮像装置20は、フォーカス調整を行う。撮像装置20は、ステップST37で行われた照明の状態でフォーカス調整を行いステップST39に進む。
【0076】
ステップST39で撮像装置20は、撮像を行う。撮像装置20は、ステップST37で行われた照明の状態およびステップST38で調整されたフォーカス状態で撮像動作を行い肌画像の画像信号を取得する。
【0077】
このような動作を行うと、図18の(A)に示すように、白丸で示す光源のみを順に用いて照明が行われて、例えば図18の(B)に示すように評価値が算出される。また、光源毎の評価値からフォーカス状態が最良となる光源、例えば評価値が最大となる5番目の光源(丸印の数字で示す光源)を、撮像に用いる照明用の光源として撮像が行われる。
【0078】
さらに、図19に示すように、白丸で示す光源のみを順に用いて照明を行うようにすれば、照明方向の調整範囲をさらに狭めて、撮像を行うことができる。この場合、図17のステップST34では、i=6である場合にステップST36に進むように処理を行えばよい。
【0079】
さらに、n個の光源をグループ化して、発光させる光源をグループ単位で切り替えるようにしても、最適フォーカスを決定するまでに要する時間が長くなってしまうことを防止できる。
【0080】
図20は20個の光源を連続する10個の2グループにグループ分けを行った場合、図21は20個の光源を連続する5個の4グループにグループ分けを行った場合を例示している。
【0081】
さらに、撮像装置20は、n個の光源を順次発光させる場合、n個の光源をグループ単位で順次発光させる場合に限らず、全ての光源を発光させて評価値の算出を行い、算出した評価値も含めて、最適フォーカスを決定するようにしてもよい。
【0082】
図22は、照明方向を変化させた場合に撮像された画像を例示している。図22の(A)は、しわの溝方向に対して直交方向から照明を行った画像、図22の(B)は、しわの溝方向に対して平行方向から照明を行った画像、図22の(C)は、全方向から照明を行った場合を例示している。なお、図22の(D)は、24個の光源を順に切り替えて点灯させた場合の評価値を例示しており、しわが目立つ場合、しわに直交した方向から照射したときに評価値が大きくなるので、照明方向を360度移動差させた場合にはピークが2つ存在する。したがって、例えば図22の(A)に示す画像から算出した評価値が、最もフォーカス状態が良好となる照明方向の評価値と判別された場合、しわの溝方向に対して直交方向から照明を行ってフォーカス調整を行い、撮像が行われることになる。また、図22の(E)〜(G)は、しわが目立たない肌の撮像画像を示しており、図22の(E)は、図22の(A)と等しい照明方向、図22の(F)(G)は、図22の(B)(C)と等しい照明方向である。しわの目立たない部位の皮丘形状が例えば四角形状である場合、照明方向を360度移動差させた場合には、図22の(H)に示すように4つのピークが存在することになる。
【0083】
また、しわの溝方向に対して直交方向から照明を行った場合には例えば評価値か大きくなり、しわの溝方向に対して平行方向から照明を行った場合には評価値が小さくなる。したがって、上述のグループ分けでは、1つのグループ内に、直交する照明方向を含むようにすれば、1つのグループ内で、フォーカス状態が良好となる照明方向を判別できるようになる。
【0084】
[2−1−3.付属装置の他の構成]
次に、付属装置の他の構成について説明する。他の構成では、付属装置71の光源や外部光源として、解析に適した発光波長の光源を用いる。例えば、肌のきめやしわなど、見た目を解析する場合、光源として可視白色LED(Light Emitting Diode)を用いる。また、メラニンの状態を解析する場合、可視赤色LEDと近赤外LEDを用いる。また、毛穴に詰まった皮脂を測定する場合には近紫外光LEDを用いる。さらに、表面の反射光と内部の反射光を分離して撮像できるように、光源に偏光フィルタを設けてもよい。図23図4図24図5と対応しており、複数の光源711として、白色LED711a、可視赤色LED711b、近赤外LED711c、近紫外LED711dを用いた場合を例示している。また、白色LED711aは、所定の偏光面の偏光フィルタが設けられた白色LED711a-1と、所定の偏光面に対して例えば偏光面が直交している偏光フィルタが設けられた白色LED711a-2が設けられている場合を例示している。なお、偏光フィルタが設けられた光源を用いる場合、撮像装置20において画像センサ25までの光路上に偏光フィルタ24が設けられて、所望の偏光状態の被写体光が撮像光学系22を介して画像センサ25に入射される。
【0085】
また、付属装置71は、光源と導光路を組み合わせて構成するようにしてもよい。図25,26は、光源と導光路を組み合わせた場合を例示している。例えば白色LED711a-1から出力された照明光は、導光路751を介して被写体(肌表面)に照射する。また導光路751の照明光出斜面には偏光フィルタ761を設ける。白色LED711a-2から出力された照明光は、導光路752を介して被写体(肌表面)に照射する。また導光路752の照明光出斜面には偏光フィルタ762を設ける。なお、偏光フィルタ761と偏光フィルタ762の偏光面は直交させる。さらに、可視赤色LED711b、近赤外LED711c、近紫外LED711dから出射される照明光は導光路753を介して被写体(肌表面)に照射する。また、図示せずも、偏光フィルタを用いない場合は、白色LED711aから出力された照明光を、導光路753を介して被写体(肌表面)に照射するようにしてもよい。
【0086】
このように、発光波長の異なる光源を用いた場合や偏光フィルタを用いた場合、撮像装置20は、解析に適した光源を選択して、選択した光源を順に点灯させて、フォーカス状態が最適となる照明方向を上述のように決定して、決定した照明状態で撮像を行う。このようにすれば、撮像装置20は、解析内容に応じて最適な撮像画像を生成できる。また、光源の発光波長によってフォーカス状態が異なる場合には、光源の発光波長に応じて予め算出されている調整量を用いてフォーカス調整を行えばよい。また、解析に用いる光源を用いてフォーカス調整を行うようにしてもよい。
【0087】
[2−1−4.撮像装置のフォーカス動作]
撮像装置20は、コントラスト方式や位相差方式などのオートフォーカス機構を有している。このようなオートフォーカス機構を用いる場合、評価値の高くなる距離が複数生じることが想定される。例えば、肌表面を撮像する場合に例えば図27に示すように体毛等があると、肌表面までの距離で評価値が高くなるだけでなく、体毛までの距離で評価値が高くなる。このような場合、体毛にはフォーカスが合っているが、肌表面にはフォーカスが合っていないという状態が生じる場合が想定される。
【0088】
したがって、撮像装置20は、評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させる。例えば評価値の高くなる距離が複数生じた場合、最も近い距離を体毛部分として、この距離から距離da(体毛と肌表面との間隔)だけ離れた位置に合焦するようにフォーカス制御を行い、被写体表面に合焦するようにしてもよい。また、撮像装置20は、体毛と肌表面の双方が合焦範囲に含まれるように、距離daの範囲にフォーカスが合うような被写界深度のレンズを用いるようにしてもよい。さらに、フォーカス位置を距離daだけ移動させることにより、肌表面だけでなく、図28に示すように、肌内部にフォーカスを合わせて情報を取得することも可能である。
【0089】
[2−2.解析装置について]
図29は、解析装置の構成を例示している。解析装置40は、解析対象例えば被評価者の肌を撮像して、その結果得られた画像(以下、表皮画像と称する)に基づいて、肌のきめ状態等を評価する。また、解析装置40は、表皮画像に対してセグメンテーション(領域分割)を行い、その結果をもとに、肌のきめの評価を行う。
【0090】
解析装置40は、表皮画像処理部41、表皮パターン検出部42、後天的要素解析部43、きめ評価部44を含むように構成されている。
【0091】
表皮画像処理部41は、補正やノイズ除去等の所定の画像処理を表皮画像に施して、画像処理後の表皮画像を、表皮パターン検出部42および後天的要素解析部43に供給する。
【0092】
表皮パターン検出部42は、皮丘または皮溝により表皮に形成されている表皮画像内の表皮のパターン(以下、表皮パターンと称する)を検出し、検出結果(以下、表皮パターン検出結果と称する)を後天的要素解析部43に供給する。
【0093】
後天的要素解析部43は、画像処理後の表皮画像、および、表皮パターン検出結果に基づいて、肌のきめの状態を示す要素のうち後天的な要素の解析を行う。後天的要素解析部43は、解析結果をきめ評価部44に供給する。
【0094】
きめ評価部44は、後天的要素解析部43による解析結果に基づいて、肌のきめの状態を評価し、評価結果を表示装置60に出力する。
【0095】
図30、表皮画像処理部41および表皮パターン検出部42の機能構成を例示したブロック図である。
【0096】
表皮画像処理部41は、画像補正部411、単一チャネル抽出部412、および、ノイズ除去部413を含むように構成される。また、表皮パターン検出部42は、2値化部421よびラベリング処理部422を含むように構成される。
【0097】
画像補正部411は、表皮画像に対してシェーディング補正やレンズ歪補正、表皮画像の中央領域の切り出し等を行う。また、画像補正部411は、例えば、処理コストを下げるために、補正後の画像を縮小する。画像補正部411は、補正後の表皮画像を単一チャネル抽出部412に供給する。
【0098】
単一チャネル抽出部412は、補正した表皮画像から所定のチャネル例えばB(Blue)チャネルの信号成分を抽出し、抽出した信号成分からなる表皮画像(以下、単一チャネル表皮画像と称する)をノイズ除去部413に供給する。
【0099】
ノイズ除去部413は、単一チャネル表皮画像のノイズを除去する。ノイズ除去部413は、ランダムノイズや、皮丘、皮溝上のテクスチャ成分を除去するために、単一チャネル表皮画像に対してエッジ保存型平滑化フィルタを適用する。また、ノイズ除去部413は、例えば、汗腺などの影響による高輝度領域や鏡面反射成分を除去するために、単一チャネル表皮画像に対して孤立点除去フィルタを適用する。ノイズ除去部413は、ノイズ除去後の単一チャネル表皮画像(以下、ノイズ除去表皮画像と称する)を、表皮パターン検出部42の2値化部421および後天的要素解析部43に供給する。
【0100】
2値化部421は、ノイズ除去表皮画像に対して2値化処理を行う。2値化部421は、一様な光源下において、表皮画像の明るい領域は手前にある皮丘、暗い領域は奥にある皮溝であるという前提のもと、皮丘、皮溝のセグメンテーションを行うために、ノイズ除去表皮画像を2値化する。2値化部421は、得られた2値化画像(以下、2値化表皮画像と称する)をラベリング処理部422に供給する。
【0101】
ラベリング処理部422は、2値化表皮画像に対してラベリング処理を行う。ラベリング処理部422は、最も外側の白の輪郭で囲まれる領域を1つの領域として検出し、その内側に黒色の領域や、白の輪郭で囲まれる領域が存在しても無視する。このようにして検出した領域にラベルを付与する。これにより、例えば、皮丘の内側の窪み等により暗くなる領域が無視され、皮丘領域を正確に検出することが可能になる。なお、以下、ラベリング処理によりラベルが付与された領域をラベリング領域と称する。
【0102】
一般的な人の肌において、皮溝の間隔は0.25〜0.5mmであり、皮丘の形状が三角形または四角形が多いことを考慮すると、皮丘の面積は0.031〜0.25平方ミリメータ程度になると考えられる。そこで、ラベリング処理部422は、表皮画像における皮丘のサイズの適正範囲を求める。そして、ラベリング処理部422は、検出したラベリング領域の中から、求めた適正範囲内のサイズの領域を皮丘領域として検出する。
【0103】
また、ラベリング処理部422は、検出した皮丘領域の数を皮丘数としてカウントする。ラベリング処理部422は、皮丘領域および皮丘数の検出結果を示す表皮パターン検出結果を、後天的要素解析部43に供給する。
【0104】
図31は、後天的要素解析部43の機能構成を例示したブロック図である。後天的要素解析部43は、表皮サイズ分布解析部431、表皮形状分布解析部432,433、および、表皮方向性解析部434を含むように構成される。
【0105】
表皮サイズ分布解析部431は、表皮パターンのサイズの分布を解析する。表皮サイズ分布解析部431は、皮丘領域のサイズの分布を解析し、皮丘領域のサイズの均一性を表す表皮サイズ分布評価値を算出する。表皮サイズ分布解析部431は、算出した表皮サイズ分布評価値をきめ評価部44に供給する。
【0106】
表皮形状分布解析部432は、表皮パターンの形状の分布を解析する。表皮形状分布解析部432は、皮丘領域の形状の分布を解析し、皮丘領域の形状の均一性を表す表皮形状分布評価値を算出する。表皮形状分布解析部432は、算出した表皮形状分布評価値をきめ評価部44に供給する。
【0107】
表皮形状分布解析部433は、表皮形状分布解析部432とは異なる観点で、表皮パターンの形状の分布を解析する。表皮形状分布解析部433は、各皮丘領域と所定の参照形状とを比較し、各参照形状に近い形状を有する皮丘領域の割合を示す表皮形状分布情報を求める。表皮形状分布解析部433は、求めた表皮形状分布情報をきめ評価部44に供給する。
【0108】
表皮方向性解析部434は、表皮パターンの方向性を解析する。表皮方向性解析部434は、皮丘領域のエッジ方向の分布を解析し、皮丘領域におけるエッジ方向の分布の均一性を表す表皮方向性評価値を算出する。表皮方向性解析部434は、算出した表皮方向性評価値をきめ評価部44に供給する。
【0109】
なお、皮丘のサイズ、形状、エッジ方向は、加齢、健康状態、肌の手入れ等により後天的に変化する。したがって、表皮サイズ分布評価値、表皮形状分布評価値、表皮形状分布情報、および、表皮方向性評価値は、肌のきめの状態の後天的性質を評価するための指標となる。
【0110】
きめ評価部44は、きめ評価値を算出する。きめ評価部44は、表皮サイズ分布評価値と表皮形状分布評価値と表皮方向性評価値から、皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性に応じて値が変化するきめ評価値を算出する。皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性は、加齢、健康状態、手入れの状態等により後天的に変化する。したがって、きめ評価値は、後天的に変化する肌のきめの均一性を評価する指標となる。また、きめの均一性に加えて、理想的な形状の皮丘の割合を示すようにきめ評価値の算出を行うようにしてもよい。きめ評価部44は、肌のきめの状態の評価結果を表示装置60に出力する。
【0111】
[2−3.表示装置について]
表示装置60は、肌のきめ状態の評価結果を画面上に表示する。表示装置では、例えば図2に示すように、きめの細かさ、きめの整い(皮丘のサイズの均一性、皮丘の形状の均一性、皮丘の方向の分布の均一性等)、しみ、しわ等が個々にレーダチャートで示されている。
【0112】
これにより、被評価者は、自分の肌の状態を瞬時に知ることができるようになる。また、きめ状態の評価を行った肌画像や、光源の発光波長を切り替えて撮像を行った肌画像を表示することで、評価結果だけでなく、肌の状態やしみの状態等を画像で確認できるようになる。
【0113】
以上のように、第1の実施の形態によれば、照明方向を切り替えて例えば撮像画像のコントラストが最も高くなる状態を作り出し、その状態でフォーカスを合わせることで、最適なフォーカス状態に調整することができる。すなわち、肌表面のしわ等を基準にフォーカスを合わせることができるようになる。したがって、基準となる特別なパターンなどを用意しなくても、精度よくフォーカス調整を行うことができる。
【0114】
<3.第2の実施の形態>
ところで、肌を接写する場合のようにコントラストの低い画像を撮像する場合、フォーカスを合わせることが難しいことから、特開2005−070300号公報では、支持台にオートフォーカス用のパターンを設けてそれを基準にフォーカス制御を行うことが開示されている。しかし、この技術では、正確な色データの取得、および反射率の計測を行えない。また、特開2002−345760号公報では、分光反射率校正用のキャップをはめた状態で校正を行い、キャップを外して測定を行うことが開示されている。この技術では、キャップの着脱という煩わしい操作が必要となり、校正を容易に行うことができない。
【0115】
そこで、次の第2の実施の形態では、付属装置に基準パターンを設けて、肌の接写画像のように低コントラストの状態であってもフォーカスを合わせられるようにして、良好な肌画像を取得する場合について説明する。また、反射率の基準となる領域を用いて反射率の自動校正を行うことができるようにする。
【0116】
第2の実施の形態において、撮像装置20は、後述するフォーカス調整パターンが視野内に入りフォーカス制御を行うのに十分な領域が写るようにズームレンズを制御した後、フォーカス調整パターンにフォーカスが合うようにフォーカスを制御する。また、撮像装置20は、分光反射率校正パターンが視野内に写っていない場合は、フォーカスはそのままの状態で、ズームレンズを制御して分光反射率校正パターンが視野内に入るようにして、各光源を点灯して校正用パターンを撮影して反射率の校正を行う。さらに撮像装置20は、フォーカスはそのままの状態で、被写体領域が視野内いっぱいに入るようにズームレンズを制御したのち、各発光波長の光源を点灯し、被写体領域を撮影し、各波長での撮像画像の画像信号を取得する。解析装置40は、取得された画像信号を用いて、肌のきめ、色などの解析処理を行う。表示装置60は、解析結果を提示する。
【0117】
[3−1.撮像装置の構成]
第2の実施の形態の撮像装置20において、図32に示すように、付属装置71の先端にはリング状の基準パターン部730が配されている。基準パターン部730は、内面側にフォーカス調整や反射率の校正等を行うための基準パターンが設けられている。
【0118】
図33は、基準パターンを例示している。例えば、基準パターンとして、フォーカス調整用パターン、反射率校正パターンが設けられている。また、被写体のサイズを判別できるように被写体サイズ確認用パターンも設けられている。
【0119】
フォーカス調整パターン731は、コントラストの高いエッジなどで構成されている。フォーカス調整パターン731は、フォーカスがあっていない場合でもパターンを画像内から探せるように、低い空間周波数のパターンを含んでいる。また、フォーカス調整パターン731は、高精度にフォーカスを合わせるために高い空間周波数のパターンも含んでいる。さらに、フォーカス調整パターン731は、用いる光源全ての光源で撮像できるようなインクで描いたパターンを用いてもよいし、光源の波長帯毎に別々のインクで描いたパターンを用いてもよい。
【0120】
反射率校正用パターンは、測定を行う波長帯域で高い反射率を持つ物質で構成されている。測定を行う波長範囲全体で高い反射率を持つ物質で校正してもよいし、波長帯を例えば紫外光域、可視光域、赤外光域などように分けて構成してもよい。例えば、図33では、反射率校正パターン732,733,734が設けられている。反射率校正パターン732は、可視光を用いたときの反射率を校正するための基準パターンである。反射率校正パターン733は、近赤外光を用いたときの反射率を校正するための基準パターンである。反射率校正パターン734は、紫外光を用いたときの反射率を校正するための基準パターンである。
【0121】
被写体サイズ確認用パターン735は、被写体サイズを確認するための目盛パターンとして構成される。目視で被写体サイズを確認したり、画像処理でサイズを計測するための基準として用いる。
【0122】
図34〜37は、基準パターンの変形例を示している。図34は、フォーカス調整および反射率校正の基準パターンだけでなく、色調整パターン736(例えば赤色Rと緑色Gと青色Bのパターン)とを設けた場合を例示している。このように色調整パターン736を設けることで、撮像画像を正しい色に容易に調整することが可能となる。
【0123】
図35は、十字状に設けられたワイヤ状に基準パターンを載置した場合を例示している。このようにすれば、被写体の撮像領域を図33図34に比べて広くできる。すなわち、図33図34に示す場合、基準パターンが設けられているリング状部分によって、被写体が隠れてしまう。しかし、十字状に設けられたワイヤ状に基準パターンを載置すれば、被写体が隠れてしまう部分を少なくできる。
【0124】
図36は、被写体サイズ確認用パターン735を複数色の表示(例えば赤色Rと緑色Gと青色Bのパターン)とする場合を例示している。このように被写体サイズ確認用パターン735を複数色の表示とすることで、被写体サイズ確認用パターン735を利用して撮像画像を正しい色に容易に調整することが可能となる。
【0125】
図37は、被写体領域と基準パターン領域との境界にコントラストの高い線を描くことで、フォーカス調整パターン731を構成する場合を例示している。
【0126】
さらに、基準パターン部730は金属やプラスチック等の硬性部材に基準パターンを形成してもよく、図38に示すように、軟性部材例えばシートやフィルム等に基準パターンを形成してもよい。軟性部材に基準パターンを形成する場合、図38の(B)に示すように、基準パターンを被写体(肌)に密着できるようになる。
【0127】
撮像装置20は、基準パターンと被写体領域を撮像できる画角で測定対象を十分な大きさで撮像できる撮像光学系22および十分な解像度で撮像できる画素数の画像センサ25を有している。例えば、50倍程度の拡大率の撮像光学系22を用いる場合、画像センサ25は130万画素程度の画素数を有しているとよい。また、撮像光学系22でズーム機能を備えている場合は、基準パターンを撮像する時は広角にし、被写体を撮像する時は望遠側にすることによって、より精細な被写体の計測が可能になる。固定焦点の光学系を備えている場合は、予め基準パターン、被写体領域が十分視野内に写っているように撮像光学系の画角等を設計・設定しておけばよい。
【0128】
[3−2.撮像装置の動作]
図39は、撮像装置の動作を示すフローチャートである。ステップST51で撮像装置20は、初期設定を行う。撮像装置20は、最適フォーカスを決定するために点灯する光源を示すパラメータ「i」を例えば「i=1」に設定する。また、反射率の校正を行うために点灯する光源を示すパラメータ「j」を例えば「j=1」に設定してステップST52に進む。
【0129】
ステップST52で撮像装置20は、フォーカス制御用ズーム調整を行う。撮像装置20は、フォーカス調整パターン731が視野内に入りフォーカス制御を行うのに十分な領域が写るように撮像光学系22を制御してステップST53に進む。
【0130】
ステップST53で撮像装置20は、光源iを点灯させてステップST54に進む。
【0131】
ステップST54で撮像装置20は、フォーカス調整を行う。撮像装置20は、画像センサで生成された撮像画像に基づきフォーカス調整を行う。また、撮像装置20は、フォーカス状態を示す評価値を算出してステップST55に進む。
【0132】
ステップST55で撮像装置20は、全光源で調整を行ったか判別する。撮像装置20は、例えば照明方向が異なるn個の光源が設けられている場合、i=nである場合には全光源で調整を行ったと判別してステップST57に進む。また、i<nである場合には全光源での調整が完了していない判別してステップST56に進む。
【0133】
ステップST56で撮像装置20は、「i=i+1」の演算を行い、パラメータiを更新してステップST53に戻る。
【0134】
ステップST57で撮像装置20は、最適フォーカスを決定する。撮像装置20は、照明方向毎に算出した評価値に基づき、フォーカス状態が最も良好となる照明方向を決定してステップST58に進む。
【0135】
ステップST58で撮像装置20は、反射率校正用ズーム調整を行う。撮像装置20は、最適なフォーカス状態として、反射率校正パターン732〜734等が視野内に入るように撮像光学系22を制御してステップST59に進む。
【0136】
ステップST59で撮像装置20は、光源jを点灯させてステップST60に進む。
【0137】
ステップST60で撮像装置20は、反射率校正を行う。撮像装置20は、光源jが可視光反射率校正用の光源である白色LEDの場合、可視光反射率校正用パターンの撮像結果を用いて構成を行う。例えば白領域を撮像したときに撮像画の画素値が所定レベルよりも高い場合、光量を減少させて再度撮像を行う。撮像装置20は、可視光反射率校正用パターンの撮像画の画素値が所定レベル範囲となる場合、この時の画素値と発光制御値を記憶する。また、白領域を撮像したときに、光量を最大としても所望の明るさの撮像画を得ることができない場合、画像センサ25のゲインを高めて所望の明るさの撮像画を得られるようにして、このときのゲインを記憶する。また、撮像装置20は、他の光源および反射率校正用パターンを用いて反射率校正を行う。さらに、撮像装置20は、黒領域を撮像したときの撮像画から黒オフセット値を求めて記憶しておき、撮像画の画素値から黒オフセット値を減算して、その後の処理に用いるようにしてもよい。
【0138】
図40は、白領域と黒領域を用いた校正処理動作を例示している。ステップST71で撮像装置20は、所定の輝度で光源を点灯させる。撮像装置20は、例えば白色LEDを所定の輝度で点灯させてステップST72に進む。
【0139】
ステップST72で撮像装置20は、白色領域の画素値を取得する。撮像装置20は、可視光反射率校正用パターンの白色領域の各画素の画素値を取得してステップST73に進む。
【0140】
ステップST73で撮像装置20は、画素値の総和を算出する。撮像装置20は、ステップST72で取得した画素値の総和(S1)を算出してステップST73に進む。
【0141】
ステップST74で撮像装置20は、画素値の総和(S1)が閾値(Th1)よりも大きいか判別する。撮像装置20は画素値の総和(S1)が閾値(Th1)よりも大きい場合に、ステップST75に進み、閾値(Th1)以下である場合にステップST76に進む。
【0142】
ステップST75で撮像装置20は、光源の輝度を低下させる。撮像装置20は、白色領域の撮像画の明るさが所定レベルよりも明るいことから、白色LEDの輝度を低下させてステップST72に戻る。
【0143】
ステップST76で撮像装置20は、画素値の総和(S1)が閾値(Th2)よりも小さいか判別する。撮像装置20は画素値の総和(S1)が閾値(Th2)よりも小さい場合に、ステップST77に進み、閾値(Th2)以上である場合にステップST78に進む。
【0144】
ステップST77で撮像装置20は、画像センサのゲインアップを行う。撮像装置20は、白色領域の撮像画の明るさが所定レベルよりも暗いことから、白色領域の撮像画の明るさが所定レベルとなるように画像センサ25のゲインを高めてステップST78に進む。
【0145】
ステップST78で撮像装置20は、光源を点灯してステップST79に進む。
【0146】
ステップST79で撮像装置20は、黒色領域の画素値を取得する。撮像装置20は、可視光反射率校正用パターンの黒色領域の各画素の画素値を取得してステップST80に進む。
【0147】
ステップST80で撮像装置20は、黒オフセット値を記憶する。撮像装置20は、ステップST79で取得した黒色領域の各画素の画素値から黒オフセット値を設定して記憶する。例えば、撮像装置20は、黒色領域の各画素の画素値の平均値を黒オフセット値として記憶する。このようにして、撮像装置20は反射率校正を行う。
【0148】
図39のステップST61で撮像装置20は、全光源で調整を行ったか判別する。撮像装置20は、例えば複数種類の校正を行うために波長が異なるq個の光源が設けられている場合、i=qである場合には全光源で調整を行ったと判別してステップST63に進む。また、i<qである場合には全光源での調整が完了していない判別してステップST62に進む。
【0149】
ステップST62で撮像装置20は、「j=j+1」の演算を行い、パラメータjを更新してステップST59に戻る。
【0150】
ステップST63で撮像装置20は、撮像用ズーム調整を行う。撮像装置20は、最適なフォーカス状態として、被写体領域が視野内いっぱいに入るように撮像光学系22を制御してステップST64に進む。
【0151】
ステップST64で撮像装置20は、光源点灯制御を行う。撮像装置20は、撮像に用いる光源を選択して、選択した光源に対する発光制御値に基づき、発行量を制御してステップST65に進む。
【0152】
ステップST65で撮像装置20は、撮影を行う。撮像装置20は、撮像動作を行い肌画像の画像信号を取得してステップST66に進む。
【0153】
ステップST66で撮像装置20は、光源の選択終了であるか判別する。撮像装置20は、所望の波長の光源を用いた撮像が終了していない場合、ステップST67に進み、所望の波長の光源を用いた撮像が完了した場合、すなわち光源の選択終了である場合撮像を終了する。
【0154】
ステップST67で撮像装置20は、光源の切り替えを行う。撮像装置20は、所望の波長の光源のなかで、まだ撮像に用いられていない光源を選択してステップST64に戻る。
【0155】
このような処理を行えば、最適なフォーカス状態で、照明光として白色光を用いた撮像画像だけでなく、照明光として近赤外光や紫外光等を用いた場合の撮像画像を容易に得ることができる。また、反射率校正用のキャップの着脱を行うことなく、反射率の校正を自動的に行うことができる。
【0156】
[3−3.付属装置の他の構成]
ところで、図41に示すように基準パターンに厚みがある場合、パターン表面と被写体表面との間に距離dbが生じ、パターンにフォーカスが合っているが、被写体表面には合っていないということもありうる。パターン表面と被写体表面の双方が合焦範囲に含まれるような被写界深度のレンズを用いるか、あるいは、パターン厚み(既知)の分だけフォーカスを調整して被写体表面に合焦するようにすればよい。また、図42に示すように、同様にレンズの設定、フォーカスの調整を行うことにより、被写体表面だけでなく、被写体内部にフォーカスを合わせて情報を取得することも可能である。また、図43に示すように、弾性体85を介して鏡胴21と付属装置71を接続する構成とすれば、肌画像の撮像時に撮像装置20を肌に押し当てる力が一定範囲になるように調整できる。なお、この場合、撮像光学系22と被写体(例えば肌表面)までの距離が変化する可能性があるが、フォーカス制御用パターンを利用することで被写体にフォーカスを正しく合わせることが可能となる。
【0157】
[3−4.画像処理装置と表示装置について]
上述のように、撮像装置20で波長の異なる光源を用いて撮像画の画像信号が生成される。また、反射率の校正が行われて撮像画の画像信号が生成される。したがって、画像処理装置は、白色光源を用いた撮像画の画像信号に基づいて肌解析を行うだけでなく、波長の異なる光源を用いた撮像画の画像信号に基づいて肌解析を行うようにしてもよい。
【0158】
解析装置40は、例えば第1の実施の形態で説明したように、可視光光源を用いて撮像された撮像画の画像信号を用いて、きめ解析を行う。また、解析装置40は、例えば赤色光源や近赤外光源を用いて撮像された撮像画の画像信号を用いて、メラニンの解析を行う。ここで、赤色光源を用いて撮像された撮像画の画素値を「Ired」、近赤外光源を用いて撮像された撮像画の画素値を「IIR」としたとき、式(3)に基づきメラニン量の指標(メラニンインデックス「MI」)を画素毎に算出する。
【数2】
【0159】
また、各画像の中心領域(例えば64×64画素の領域)の平均値を求めて、それぞれを「IIR」「Ired」として、画像に対するメラニンインデックスを算出するようにしてもよい。
【0160】
さらに、フォーカスを決定するために複数の方向から光を照射して求めた評価値を用いて、肌の状態を解析することも可能である。例えば、図22を用いて説明したように、しわに直交した方向から照射したときに評価値が大きくなるので、照明方向を360度移動差させた場合にはピークが2つ存在する。一方、しわの目立たない部位の皮丘形状が例えば四角形状である場合、照明方向を360度移動差させた場合には、4つのピークが存在することになる。このことを利用し、ピークが2つ存在するときは、しわのある状態と判定し、評価値のレベルに基づきしわの程度を判定してもよい。
【0161】
表示装置60は、解析装置40の解析結果をユーザへ提示する。例えばきめの解析結果やメラニンの解析結果をグラフで表示したり、撮像画像にメラニンインデックスの高い領域をオーバーレイ表示によってユーザへ提示する。
【0162】
以上のように、第2の実施の形態によれば、基準パターンをもとにフォーカスを合わせることができるようになり、肌を接写撮像した場合など低コントラストの状態でも適切に自動でフォーカスを合わせることができるようになる。その結果、肌表面の細かなきめの測定などの精度を向上できる。また、反射率校正用治具などを用いなくても自動的に反射率の校正を行えるようになり、ユーザにとって校正の煩わしさがなくなる。さらに、肌測定のたびに自動的に校正を行うことも可能となり、より精度の高い色測定、分光測定等が可能となる。
【0163】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0164】
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0165】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0166】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0167】
なお、本技術の撮像装置は以下のような構成も取ることができる。
(1) 被写体の照明方向が切り替え可能とされている照明部と、
前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、該評価値に基づき照明方向を最も良好なフォーカス状態となる方向として前記被写体の撮像を行う制御部と
を備える撮像装置。
(2) 前記照明部は、撮像光学系の光軸を基準として周方向に異なる位置から照明光を照射することで照明方向を切り替える(1)に記載の撮像装置。
(3) 前記照明部は、照明光の照射角度を切り替える(2)に記載の撮像装置。
(4) 前記制御部は、前記照明方向について周方向で間引きして、間引き後の照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出し、該算出された評価値から前記間引きされた照明方向についての評価値を算出する(2)または(3)に記載の撮像装置。
(5) 前記制御部は、前記照明方向について周方向にグループ化を行い、1グループ内で前記照明方向毎に前記被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出する(2)乃至(4)の何れかに記載の撮像装置。
(6) 前記制御部は、前記1グループ内に直交する照明方向を含める(5)に記載の撮像装置。
(7) 前記照明部は、前記被写体の撮像画像を用いて行われる解析処理に適した発光波長の光源を用いて照明を行う(1)乃至(6)の何れかに記載の撮像装置。
(8) 前記照明部は、照明光を出射する光源の切り替え、または光源から出射された照明光の通過をシャッタで制御することにより、前記照明方向の切り替えを行う(1)乃至(7)の何れかに記載の撮像装置。
(9) 前記制御部は、前記評価値に基づき最も良好なフォーカス状態となるフォーカス調整位置に対して、所定距離だけフォーカス位置を移動させる(1)乃至(8)の何れかに記載の撮像装置。
【産業上の利用可能性】
【0168】
この技術の撮像装置と撮像方法、プログラム、撮像システム、および付属装置では、被写体の照明方向が切り替え可能とされており、照明方向毎に被写体に対するフォーカス調整を行ってフォーカス状態に応じた評価値を算出して、この評価値に基づき照明方向を最も良好なフォーカス状態となる方向として被写体の撮像が行われる。このため、最適な方向で照明が行われてフォーカス調整が行われて、フォーカス状態が良好な肌画像を容易に得ることができるようになる。したがって、美容業界等で用いられる肌画像の撮像や肌解析を行うシステムに適している。
【符号の説明】
【0169】
10・・・肌状態解析システム、20・・・撮像装置、21・・・鏡胴、22・・・撮像光学系、23・・・撮像光学系駆動部、24・・・偏光フィルタ、25・・・画像センサ、26・・・信号処理部、31・・・制御部、32・・・メモリ部、40・・・解析装置、41・・・表皮画像処理部、42・・・表皮パターン検出部、43・・・後天的要素解析部、44・・・きめ評価部、60・・・表示装置、71・・・付属装置、81・・・付属部品、82・・・指示表示部、85・・・弾性体、91・・・外部光源、411・・・画像補正部、412・・・単一チャネル抽出部、413・・・ノイズ除去部、421・・・2値化部、422・・・ラベリング処理部、431・・・表皮サイズ分布解析部、432,433・・・表皮形状分布解析部、434・・・表皮方向性解析部、711・・・光源、712・・・光ファイバ、713・・・照明モジュール、713a・・・光源、713b・・・導光板、713c・・・拡散板、713d・・・反射板、714・・・リングライト、715、718,720・・・シャッタ、716〜1〜716〜4,717〜1〜717〜4・・・光ファイバ、719、721・・・光源、730・・・基準パターン部、731・・・フォーカス調整パターン、732〜734・・・反射率校正パターン、735・・・被写体サイズ確認用パターン、736・・・色調整パターン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43