特開2024-13339画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013339
(43)【公開日】2024-02-01
(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
(51)【国際特許分類】
A61B 5/00 20060101AFI20240125BHJP
G06T 1/00 20060101ALI20240125BHJP
G06T 5/00 20240101ALI20240125BHJP
【ＦＩ】
A61B5/00 M
G06T1/00 290
G06T5/00
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022115353
(22)【出願日】2022-07-20
(71)【出願人】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】佐藤 いまり
(72)【発明者】
【氏名】浅野 祐太
(72)【発明者】
【氏名】西澤 巧
(72)【発明者】
【氏名】梶田 大樹
【テーマコード（参考）】
4C117
5B057
【Ｆターム（参考）】
4C117XA02
4C117XB13
4C117XD05
4C117XE03
4C117XE43
4C117XK02
4C117XK14
4C117XK18
5B057CE03
5B057CE06
5B057CE11
5B057CE12
5B057CE17
(57)【要約】
【課題】従来技術に比較して高精度で人間の肌表面などの生体表面を可視化できる画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成する画像センサと、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、（３）前記偏光画像データと、（４）前記非偏光画像データと、のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部とを備える。
【選択図】図１
【解決手段】本発明の画像処理装置は、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成する画像センサと、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、（３）前記偏光画像データと、（４）前記非偏光画像データと、のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成する画像センサと、
前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、
前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部と、
を備える画像処理装置。
前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、
前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部と、
を備える画像処理装置。
【請求項2】
前記第１の計算部は、前記偏光画像データ及び非偏光画像データのうち、前記偏光画像データのＢ（青）チャンネル画像データと、前記非偏光画像データのＢ（青）チャンネル画像データとの間の各画素毎の輝度の比又は輝度の差を計算する、請求項１に記載の画像処理装置。
【請求項3】
前記背景抽出処理部は、ガウシアンフィルタを用いて、前記画像データから背景画像に係る背景画像データを抽出する、請求項１に記載の画像処理装置。
【請求項4】
前記第２の計算部からの画像データに対して二値化処理を行って出力する後置処理部をさらに備える、請求項１に記載の画像処理装置。
【請求項5】
前記後置処理部は、前記第２の計算部からの画像データに対して二値化処理及びクロージング処理を行って出力する、請求項４に記載の画像処理装置。
【請求項6】
前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成する特徴量解析部をさらに備える、請求項４又は５に記載の画像処理装置。
【請求項7】
画像センサが、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成するステップと、
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む画像処理方法。
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む画像処理方法。
【請求項8】
前記輝度の比又は輝度の差を計算するステップは、前記偏光画像データ及び非偏光画像データのうち、前記偏光画像データのＢ（青）チャンネル画像データと、前記非偏光画像データのＢ（青）チャンネル画像データとの間の各画素毎の輝度の比又は輝度の差を計算することを含む、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項9】
前記背景画像データを抽出するステップは、ガウシアンフィルタを用いて、前記画像データから背景画像に係る背景画像データを抽出することを含む、
請求項７に記載の画像処理方法。
請求項７に記載の画像処理方法。
【請求項10】
後置処理部が、前記第２の計算部からの画像データに対して二値化処理を行って出力するステップをさらに含む、請求項７に記載の画像処理方法。
【請求項11】
前記二値化処理を行って出力するステップは、前記第２の計算部からの画像データに対して二値化処理及びクロージング処理を行って出力することを含む、
請求項１０に記載の画像処理方法。
請求項１０に記載の画像処理方法。
【請求項12】
特徴量解析部が、前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成するステップをさらに含む、請求項１０又は１１に記載の画像処理方法。
【請求項13】
コンピュータにより実行される画像処理プログラムであって、
画像センサが、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成するステップと、
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む画像処理プログラム。
画像センサが、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成するステップと、
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む画像処理プログラム。
【請求項14】
前記輝度の比又は輝度の差を計算するステップは、前記偏光画像データ及び非偏光画像データのうち、前記偏光画像データのＢ（青）チャンネル画像データと、前記非偏光画像データのＢ（青）チャンネル画像データとの間の各画素毎の輝度の比又は輝度の差を計算することを含む、
請求項１３に記載の画像処理プログラム。
請求項１３に記載の画像処理プログラム。
【請求項15】
前記背景画像データを抽出するステップは、ガウシアンフィルタを用いて、前記画像データから背景画像に係る背景画像データを抽出することを含む、
請求項１３に記載の画像処理プログラム。
請求項１３に記載の画像処理プログラム。
【請求項16】
後置処理部が、前記第２の計算部からの画像データに対して二値化処理を行って出力するステップをさらに含む、請求項１３に記載の画像処理プログラム。
【請求項17】
前記二値化処理を行って出力するステップは、前記第２の計算部からの画像データに対して二値化処理及びクロージング処理を行って出力することを含む、
請求項１６に記載の画像処理プログラム。
請求項１６に記載の画像処理プログラム。
【請求項18】
特徴量解析部が、前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成するステップをさらに含む、請求項１６又は１７に記載の画像処理プログラム。
【請求項19】
コンピュータにより読み出し可能な画像処理プログラムを格納する記録媒体であって、
前記画像処理プログラムは、
画像センサが、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成するステップと、
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む記録媒体。
前記画像処理プログラムは、
画像センサが、処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成するステップと、
第１の計算部が、前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力するステップと、
背景抽出処理部が、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力するステップと、
第２の計算部が、前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成するステップと、
を含む記録媒体。
【請求項20】
前記輝度の比又は輝度の差を計算するステップは、前記偏光画像データ及び非偏光画像データのうち、前記偏光画像データのＢ（青）チャンネル画像データと、前記非偏光画像データのＢ（青）チャンネル画像データとの間の各画素毎の輝度の比又は輝度の差を計算することを含む、
請求項１９に記載の記録媒体。
請求項１９に記載の記録媒体。
【請求項21】
前記背景画像データを抽出するステップは、ガウシアンフィルタを用いて、前記画像データから背景画像に係る背景画像データを抽出することを含む、
請求項１９に記載の記録媒体。
請求項１９に記載の記録媒体。
【請求項22】
前記画像処理プログラムは、
後置処理部が、前記第２の計算部からの画像データに対して二値化処理を行って出力するステップをさらに含む、請求項１９に記載の記録媒体。
後置処理部が、前記第２の計算部からの画像データに対して二値化処理を行って出力するステップをさらに含む、請求項１９に記載の記録媒体。
【請求項23】
前記二値化処理を行って出力するステップは、前記第２の計算部からの画像データに対して二値化処理及びクロージング処理を行って出力することを含む、
請求項２２に記載の記録媒体。
請求項２２に記載の記録媒体。
【請求項24】
前記画像処理プログラムは、
特徴量解析部が、前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成するステップをさらに含む、請求項２２又は２３に記載の記録媒体。
特徴量解析部が、前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成するステップをさらに含む、請求項２２又は２３に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば生体表面の凹凸状態を可視化するための画像処理装置、画像処理方法、画像処理プログラム、並びに、前記画像処理プログラムを格納した記録媒体に関する。
【背景技術】
【0002】
例えば人間（人体）の皮膚は医学的には外的要因から体内を守り、恒常性を保つ役割を担う器官であるが、美容的な観点からもその性状の評価が重要視されている。皮膚の性状は、化粧のり、くすみ、又は透明感など様々な言葉で表現されるが、病的な皮膚所見を診断する一般皮膚科診療と異なり、医学には正常の範疇に含まれるような皮膚の微妙な変化を美容的な観点で定量的に捉えるのは困難であり、未だ実用的な方法が確立されていないのが現状である。
【0003】
人間の皮膚を拡大して観察すると表面には、いわゆる「シワ」又は「キメ」と呼ばれる、細かな紋様の凹凸の形状のパターンが見られる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２０１０－５１５４８９号公報
【非特許文献】
【0005】
【非特許文献1】Feichtinger, Hans, G. et al., "Gabor analysis and algorithms: Theory and applications," Springer Science & Business Media, 2012.
【発明の概要】
【発明が解決しようとする課題】
【0006】
人間の皮膚表面には、格子状の深さ１０～２０μｍ程度の溝であるシワ及びキメが多数存在する。このシワ及びキメの分布を容易に取得するために、従来は目視による確認方法が用いられてきたが、精度やコストの問題から、シワ及びキメの分布情報を高精度で、且つ低コストに自動取得可能な手法が必要である。皮膚情報を容易に取得するには、ＲＧＢカメラで皮膚表面を撮影することが一般的ではあるが、シワ及びキメ箇所は周囲と色が酷似しているため、ＲＧＢ画像（例えば非偏光画像）のみを用いて正確に可視化することは困難である。
【0007】
例えば、肌表面を正確に可視化するために、従来例の撮像装置が開示されている（例えば、特許文献１参照）。この非侵襲性の撮像装置のシステム及び方法には、皮膚上に光を導く入射光源を含む照明源と、当該皮膚から反射された光の偏向の度合いを検出するための検出器とを含む。また、肌状態を判定するためのシステム及び方法は、前記反射された光の前記偏向の一態様に基づくものとする。すなわち、当該従来例の撮像装置では、反射光の偏光の態様に基づいて、肌状態を判定することが開示されている。
【0008】
しかしながら、当該従来例の撮像装置においても、高精度で人間の肌状態などの撮影対象物の表面の凹凸状態を可視化することはできていない、という問題点があった。
【0009】
本発明の第１の目的は以上の問題点を解決し、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を可視化できる画像処理装置、画像処理方法、画像処理プログラム、並びに前記画像処理プログラムを格納した記録媒体を提供することにある。
【0010】
本発明の第２の目的は、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を、所定の特徴量を用いて解析できる画像処理装置、画像処理方法、画像処理プログラム、並びに前記画像処理プログラムを格納した記録媒体を提供することにある。
【課題を解決するための手段】
【0011】
本発明の第１の態様に係る画像処理装置は、
処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成する画像センサと、
前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、
前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部とを備える。
処理対象物の表面を撮像して、偏光画像データ及び非偏光画像データを生成する画像センサと、
前記偏光画像データ及び非偏光画像データの間の各画素毎の輝度の比又は輝度の差を計算して出力する第１の計算部と、
（１）前記第１の計算部からの各画素毎の輝度の比を含む画像データと、
（２）前記第１の計算部からの各画素毎の輝度の差を含む画像データと、
（３）前記偏光画像データと、
（４）前記非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力する背景抽出処理部と、
前記第１の計算部からの各画素毎の輝度の比又は輝度の差を含む画像データから、前記背景抽出処理部からの背景画像データを減算して各画素毎の差を含む画像データを生成する第２の計算部とを備える。
【0012】
本発明の第２の態様に係る画像処理装置は、前記第１の態様に係る画像処理装置において、
前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成する特徴量解析部をさらに備える。
前記後置処理部からの画像データに対して、ガポールフィルタを用いて、角度と周期とのうちの少なくとも１つを変化させてガポール特徴量を計算することにより、輝度値の角度分布と、輝度値の周期分布と、角度及び周期の２次元平面における輝度値分布を生成する特徴量解析部をさらに備える。
【発明の効果】
【0013】
従って、本発明の第１の態様に係る画像処理装置等によれば、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を可視化できる。
【0014】
また、本発明の第２の態様に係る画像処理装置等によれば、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を、所定の特徴量を用いて解析できる。
【図面の簡単な説明】
【0015】
【図1】実施形態１に係る画像処理システムの構成例を示すブロック図である。
【図3A】画像処理対象である人間（人体）の皮膚であって、キメが整った肌表面を示す撮像画像である。
【図3B】画像処理対象である人間（人体）の皮膚であって、キメが乱れた肌表面を示す撮像画像である。
【図4C】別の紫外線（ＵＶ）カメラにより撮像されたＵＶ画像を示す撮像画像である。
【図7A】シワ又はキメの可視化を考察するための撮像画像であって、偏光画像のＢチャンネルの画像を示す撮像画像である。
【図7B】シワ又はキメの可視化を考察するための撮像画像であって、非偏光画像のＢチャンネルの画像を示す撮像画像である。
【図9A】可視化例１に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図9B】可視化例１に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図10A】可視化例２に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図10B】可視化例２に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図11A】可視化例３に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図11B】可視化例３に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図12A】可視化例４に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図12B】可視化例４に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図13A】可視化例５に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図13B】可視化例５に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図14A】可視化例６に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図14B】可視化例６に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図15A】可視化例７に係る画像であって、処理対象の偏光画像を示す撮像画像である。
【図15B】可視化例７に係る画像であって、処理対象の非偏光画像を示す撮像画像である。
【図16】実施形態２に係る画像処理システムの構成例を示すブロック図である。
【図19A】特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ（Dermo Wrinkle Emphasis）画像）である。
【図19B】特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング後の分析処理画像である。
【図20A】特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図20B】特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。
【図20C】特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最小輝度Ｌｍｉｎ時の分析処理画像である。
【図21A】特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ画像）である。
【図21B】特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング後の分析処理画像である。
【図22A】特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図22B】特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。
【図23】特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図24A】特徴量解析部２７の解析例５（方向性及び周期性）を示す画像であって、処理前のＲＧＢ画像（特許図面のために白黒画像で示す）である。
【図24B】特徴量解析部２７の解析例５（方向性及び周期性）を示す画像であって、可視化処理後の可視化処理画像（ＤＷＥ画像）である。
【図24C】特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図24D】特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図24E】特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図25A】特徴量解析部２７の解析例６（方向性及び周期性）を示す画像であって、処理前のＲＧＢ画像である。
【図25B】特徴量解析部２７の解析例６（方向性及び周期性）を示す画像であって、可視化処理後の可視化処理画像（ＤＷＥ画像）である。
【図25C】特徴量解析部２７の解析例６（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図25D】特徴量解析部２７の解析例６（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図25E】特徴量解析部２７の解析例６（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図26A】特徴量解析部２７の解析例７（方向性及び周期性）を示す画像であって、処理前のＲＧＢ画像である。
【図26B】特徴量解析部２７の解析例７（方向性及び周期性）を示す画像であって、可視化処理後の可視化処理画像（ＤＷＥ画像）である。
【図26C】特徴量解析部２７の解析例７（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図26D】特徴量解析部２７の解析例７（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図26E】特徴量解析部２７の解析例７（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図27A】特徴量解析部２７の解析例８（方向性及び周期性）を示す画像であって、処理前のＲＧＢ画像である。
【図27B】特徴量解析部２７の解析例８（方向性及び周期性）を示す画像であって、可視化処理後の可視化処理画像（ＤＷＥ画像）である。
【図27C】特徴量解析部２７の解析例８（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図27D】特徴量解析部２７の解析例８（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図27E】特徴量解析部２７の解析例８（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図28A】特徴量解析部２７の解析例９（方向性及び周期性）を示す画像であって、処理前のＲＧＢ画像である。
【図28B】特徴量解析部２７の解析例９（方向性及び周期性）を示す画像であって、可視化処理後の可視化処理画像（ＤＷＥ画像）である。
【図28C】特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。
【図28D】特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。
【図28E】特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。
【図29】実施形態３に係る画像処理システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、本発明に係る実施形態及び変形例について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。
【0017】
（発明者の知見）
例えば人間の皮膚などの皮膚情報を容易に取得するには、ＲＧＢカメラで皮膚表面を撮影することが一般的ではあるが、シワ及びキメ箇所は周囲と色が酷似しているため、ＲＧＢ画像（例えば非偏光画像）のみを用いて正確に可視化することは困難であった。
例えば人間の皮膚などの皮膚情報を容易に取得するには、ＲＧＢカメラで皮膚表面を撮影することが一般的ではあるが、シワ及びキメ箇所は周囲と色が酷似しているため、ＲＧＢ画像（例えば非偏光画像）のみを用いて正確に可視化することは困難であった。
【0018】
そこで、本発明では、一般的なＲＧＢカメラ画像ではなく、偏光画像及び非偏光画像を同時に取得可能なダーモカメラ（登録商標）を用いて撮影された皮膚の接写画像を処理することで、シワ及びキメの可視化を試みた。非偏光画像は偏光を考慮しない一般的なＲＧＢ画像であり、偏光画像は偏光させた光を対象に当て、偏光板を透過した光を撮影したもので、皮膚表面での直接反射光を抑え、皮膚内面の情報を取得しやすい画像である。
【0019】
格子状の溝であるシワ及びキメでは、複雑に光の反射が起こり、また微妙に肌色が異なるため、非偏光画像にはシワ及びキメとそれ以外の箇所の間に微小な輝度差が存在する。一方、偏光画像は主に表面下散乱した光を撮影するため、シワ及びキメの情報が画像に含まれにくい。そのため、この二枚の画像の差異は主に皮膚表面での直接反射光の有無で、それはシワ及びキメにおける反射光による輝度情報に相当する。また、偏光画像、非偏光画像共にＲＧＢの情報が含まれるが、シワ及びキメの微小な溝の形状に起因する光学特性や皮膚色により、Ｇ、Ｒチャンネルに比べ、Ｂチャンネル画像にシワ及びキメ箇所の輝度差が大きい。そこで、Ｂチャンネル情報のみを可視化処理に活用する。
【0020】
以下、本発明の実施形態では、皮膚の健康状態をより的確に診断することを目指して、所定の画像処理を用いて皮膚のシワ及びキメを正確に可視化した上で、シワ及びキメのパターンについて解析できる画像処理装置を考案した。
【0021】
（実施形態１）
図１は、実施形態１に係る画像処理システムの構成例を示すブロック図である。図１の画像信号処理システムは、カメラ１と、画像処理装置１０と、ディスプレイ２とを備えて構成される。ここで、画像処理装置１０は、画像メモリ１１ｍを有する画像インターフェース１１と、画像処理部１２と、画像メモリ１３ｍを有する画像インターフェース１３とを備えて構成される。画像処理部１２は、輝度比計算部２１と、背景抽出処理部２２と、画像メモリ２３と、輝度差計算部２４と、後置処理部２５と、前記処理部等２１～２５の動作を制御する制御部２０とを備えて構成される。
図１は、実施形態１に係る画像処理システムの構成例を示すブロック図である。図１の画像信号処理システムは、カメラ１と、画像処理装置１０と、ディスプレイ２とを備えて構成される。ここで、画像処理装置１０は、画像メモリ１１ｍを有する画像インターフェース１１と、画像処理部１２と、画像メモリ１３ｍを有する画像インターフェース１３とを備えて構成される。画像処理部１２は、輝度比計算部２１と、背景抽出処理部２２と、画像メモリ２３と、輝度差計算部２４と、後置処理部２５と、前記処理部等２１～２５の動作を制御する制御部２０とを備えて構成される。
【0022】
図１において、カメラ１は例えばカシオ計算機株式会社製のＤＺ－Ｄ１００型皮膚観察及び撮影カメラである「ダーモカメラ」（登録商標）であって、例えば人間の皮膚表面の偏光画像と非偏光画像を撮像してそれらの画像データを、画像インターフェース１１を介して輝度比計算部２１に出力する。ここで、「ダーモカメラ」（登録商標）は、偏光画像及び非偏光画像に加えて、紫外線（ＵＶ）画像を撮像することができるが、本発明の実施形態では、ＵＶ画像を撮像することは必須ではない。すなわち、カメラ１は、撮影対象物の偏光画像及び非偏光画像を撮像出来るものであればよく、偏光画像と非偏光画像とを別体の画像センサ等で撮像してもよい。
【0023】
ここで、偏光画像の撮像は、一般的に、光の反射を抑え、皮膚の薄皮のすぐ下にある皮膚内部の色や構造を撮影できることに特徴があり、非偏光画像の撮像は、一般的に、皮膚の表面の病変部を撮影できることに特徴があり、ＵＶ画像の撮像は、一般的に、偏光画像では浮き出てこない、隠れた「シミ」や、ぼやけた「ほくろ」などの辺縁部を撮影できることに特徴がある。「ダーモカメラ」はこれら３種類の画像を同一画角で撮影可能である。
【0024】
画像インターフェース１１は入力される画像データを内蔵の画像メモリ１１ｍに格納した後、格納した画像データに対して所定の画像形式の変換を行って次段の輝度比計算部２１に出力する。また、画像インターフェース１３は入力される画像データを内蔵の画像メモリ１３ｍに格納した後、格納した画像データに対して所定の画像形式の変換を行って次段のディスプレイ２に出力する。
【0025】
【0026】
図２のステップＳ１において、輝度比計算部２１は、カメラ１により撮像された偏光画像データ及び非偏光画像データを、画像インターフェース１１を介して入力し、偏光画像データ及び非偏光画像データの各対応する画素の輝度比（輝度値の比）の値を計算して、各画素において輝度比の値を有する画像データを生成して出力する。次いで、ステップＳ２において、背景抽出処理部２２は、輝度比計算部２１から出力される画像データに対して、例えばガウシアンフィルタなどの平滑化フィルタを用いて背景抽出処理を実行することにより、背景色を抽出して保持した画像データを生成して出力する。
【0027】
さらに、ステップＳ３において、輝度差計算部２４は、背景抽出処理部２２から出力される画像データと、輝度比計算部２１から画像メモリ２３を介して出力される画像データとの各対応する画素の輝度差（輝度値の差分）を計算することにより、背景色を削除しかつシワ又はキメ情報を強調した、各画素において輝度差を有する画像データを生成して出力する。ステップＳ４において、後置処理部２５は、輝度差計算部２４から出力される画像データに対して、２値化処理及びクロージング処理を含む後置処理を実行することにより、シワ又はキメ情報を可視化した画像データを生成して、画像インターフェース１３を介してディスプレイ２に出力して表示して、当該画像処理を終了する。
【0028】
以上の図１の輝度比計算部２１は、偏光画像データ及び非偏光画像データの各対応する画素の輝度比（輝度値の比）の値を計算しているが、本発明はこれに限らず、偏光画像データ及び非偏光画像データの各対応する画素の輝度差（輝度値の差分）を計算してもよい。このことは、偏光画像データ及び非偏光画像データの各対応する画素の輝度比は、相対的にそれらの差分に対応する場合があるためである。
【0029】
次いで、以上の画像処理について以下に詳細説明する。
【0030】
【0031】
人間の肌のキメが失われる要因としては、紫外線による皮膚の光老化、肌の乾燥、血行の悪化、新陳代謝の鈍化などが考えられる。従って、皮膚のシワ及びキメ情報は、皮膚の健康状態の評価に有用であるといえる。従来技術に係る皮膚のシワ及びキメを測定方法としては、以下があった。
（１）ＲＧＢカメラで撮影された肌画像に基づいて皮膚のシワ及びキメを測定する。この場合において、肌の色ムラがある、もしくはシワ及びキメ部分とそれ以外の部分の色情報が似ているという特徴を有する。
（２）３次元スキャナーで計測された肌の３次元データを用いて皮膚のシワ及びキメを測定する。この場合において、測定器が高価であって、計測時間が長い、膨大なデータ量という特徴を有する。
（１）ＲＧＢカメラで撮影された肌画像に基づいて皮膚のシワ及びキメを測定する。この場合において、肌の色ムラがある、もしくはシワ及びキメ部分とそれ以外の部分の色情報が似ているという特徴を有する。
（２）３次元スキャナーで計測された肌の３次元データを用いて皮膚のシワ及びキメを測定する。この場合において、測定器が高価であって、計測時間が長い、膨大なデータ量という特徴を有する。
【0032】
従って、従来技術に係る測定方法では、安価でかつ容易に肌のシワ及びキメ情報を取得することは難しい、という課題があった。
【0033】
図４Ａは図１のカメラ１により撮像された偏光画像を示す撮像画像である。また、図４Ｂは図１のカメラ１により撮像された非偏光画像を示す撮像画像である。さらに、図４Ｃは別の紫外線（ＵＶ）カメラにより撮像されたＵＶ画像を示す撮像画像である。図４Ａから、皮膚内部の色や構造は見えるが、シワやキメが見えないことがわかる。また、図４Ｂから、皮膚表面の情報は見え、シワやキメが多少見える。図４Ｃから、「シミ」や「ほくろ」などが見え、「シワ」や「キメ」も見える。
【0034】
図５Ａは図４Ａの偏光画像を示す撮像画像であり、図５Ｂは図４Ａの偏光画像のＲチャンネルの画像を示す撮像画像であり、図５Ｃは図４Ａの偏光画像のＧチャンネルの画像を示す撮像画像であり、図５Ｄは図４Ａの偏光画像のＢチャンネルの画像を示す撮像画像である。図４Ａの偏光画像をＲＧＢの各チャンネルの画像に分離して表示した画像が図５Ｂ～図５Ｄである。これにより、皮膚表面の反射光が抑えられている偏光画像にも短波長側のＢチャンネル画像には多少皮膚表面の情報が含まれることがわかった。すなわち、本実施形態では、Ｂチャンネル画像を用いて人体の皮膚表面の凹凸を検出することが好ましいといえ、図１の輝度比計算部２１に入力する画像データもＢチャンネルの偏光画像データと非偏光画像データを用いることが好ましい。
【0035】
図６Ａは図４Ｂの非偏光画像を示す撮像画像であり、図６Ｂは図４Ｂの非偏光画像のＲチャンネルの画像を示す撮像画像であり、図６Ｃは図４Ｂの非偏光画像のＧチャンネルの画像を示す撮像画像であり、図６Ｄは図４Ｂの非偏光画像のＢチャンネルの画像を示す撮像画像である。図４Ｂの非偏光画像をＲＧＢの各チャンネルの画像に分離して表示した画像が図６Ｂ～図６Ｄである。これより、偏光画像に比べて、非偏光画像の方が皮膚表面の情報が多く含まれていることがわかった。すなわち、本実施形態では、非偏光画像を用いて人体の皮膚表面の凹凸を検出することが好ましいといえ、図１の画像処理部１２では、非偏光画像データの情報を抽出するように構成することが好ましい。
【0036】
図７Ａはシワ又はキメの可視化を考察するための撮像画像であって、偏光画像のＢチャンネルの画像を示す撮像画像である。また、図７Ｂはシワ又はキメの可視化を考察するための撮像画像であって、非偏光画像のＢチャンネルの画像を示す撮像画像である。図７Ａの偏光画像のＢチャンネル画像では、シワ及びキメの情報は少ないが、皮膚内部の色情報が十分に含まれているといえる。一方、図７Ｂの非偏光画像のＢチャンネル画像では、シワ及びキメの情報を含み、皮膚内部の色情報も十分に含まれている。従って、本実施形態では、偏光画像と非偏光画像のＢチャンネルの情報から、シワ及びキメの可視化を行う。なお、ＵＶ画像はシワ及びキメ以外のしみ情報によりシワ及びキメ可視化に不向きであるといえる。
【0037】
【0038】
図８において、まず、偏光画像及び非偏光画像のＢチャンネルの各画素の輝度比画像を算出する。シワ及びキメ以外の箇所は、偏光画像と非偏光画像が酷似しているため、輝度比は小さいが、シワ及びキメ箇所は輝度比が大きくなるため、輝度比画像ではシワ及びキメが強調される。次に、輝度比画像に含まれる皮膚の色ムラや入射光の当たり方による陰影を削除するために、輝度比画像に対して、ガウシアンフィルタなどの平滑化フィルタの背景抽出処理を適用した後、適用前後の輝度比画像の差分を取ることで、シワ及びキメ箇所のみが顕著に強調された画像を生成する。最後に、二値化処理及びクロージング処理を含む後置処理を施すことで、シワ及びキメの可視化画像（ＤＷＥ（Dermo Wrinkle Emphasis）画像）を生成することができる。
【0039】
さらに、以上説明した画像処理装置１０において使用した、反射光及び散乱光の画像について以下に補足説明する。
【0040】
非偏光画像は、一般的な光を撮影した画像であって、対象物体表面で反射した反射光及び対象物体の表層で散乱した散乱光をカメラ１の画像センサが受光することで撮像されて画像データを含む画像信号が生成される。また、偏光画像は、主に、対象物体の表層で散乱した光を撮影した画像である。直線偏光された光を対象物体に照射し、同じ方向の偏光状態の光をカットする向きに設置された偏光板を透過した光をカメラ１の画像センサが受光することで撮像されて画像データを含む画像信号が生成される。
【0041】
対象物体表面で反射した反射光は、偏光方向に変化がないため、偏光板を透過しないが、散乱した散乱光は偏光方向が変化するため、偏光板を透過する。これにより、偏光画像は対象物体の表層で散乱した光のみを捉えることが可能である。また、短波長の光（ＲＧＢ画像のＢチャンネル）は、長波長の光（ＲＧＢ画像のＲチャンネル）に比べ、対象物体内部に透過する割合が低く、対象物体表面で反射しやすい傾向があり、Ｂチャンネル画像には対象物体表面の微小な凸凹の情報を多く含む。そのため、本実施形態では、Ｂチャンネル画像を用いて皮膚のシワ及びキメの可視化を行うことが好ましい。また、皮膚以外の対象物体を可視化する場合には、対象物体表層の散乱特性に応じて、活用する波長情報（ＲＧＢ情報）を変更する必要があると考えられる。
【0042】
さらに、実施形態１に係る画像処理装置１０を用いた画像処理の可視化例について以下に説明する。
【0043】
（可視化例１）
図９Ａは可視化例１に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図９Ｂは可視化例１に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図９Ｃは可視化例１に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図９Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図９Ａは可視化例１に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図９Ｂは可視化例１に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図９Ｃは可視化例１に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図９Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0044】
（可視化例２）
図１０Ａは可視化例２に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１０Ｂは可視化例２に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１０Ｃは可視化例２に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１０Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１０Ａは可視化例２に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１０Ｂは可視化例２に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１０Ｃは可視化例２に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１０Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0045】
（可視化例３）
図１１Ａは可視化例３に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１１Ｂは可視化例３に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１１Ｃは可視化例３に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１１Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１１Ａは可視化例３に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１１Ｂは可視化例３に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１１Ｃは可視化例３に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１１Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0046】
（可視化例４）
図１２Ａは可視化例４に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１２Ｂは可視化例４に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１２Ｃは可視化例４に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１２Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１２Ａは可視化例４に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１２Ｂは可視化例４に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１２Ｃは可視化例４に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１２Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0047】
（可視化例５）
図１３Ａは可視化例５に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１３Ｂは可視化例５に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１３Ｃは可視化例５に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１３Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１３Ａは可視化例５に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１３Ｂは可視化例５に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１３Ｃは可視化例５に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１３Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0048】
（可視化例６）
図１４Ａは可視化例６に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１４Ｂは可視化例６に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１４Ｃは可視化例６に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１４Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１４Ａは可視化例６に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１４Ｂは可視化例６に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１４Ｃは可視化例６に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１４Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0049】
（可視化例７）
図１５Ａは可視化例７に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１５Ｂは可視化例７に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１５Ｃは可視化例７に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１５Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
図１５Ａは可視化例７に係る画像であって、処理対象の偏光画像を示す撮像画像であり、図１５Ｂは可視化例７に係る画像であって、処理対象の非偏光画像を示す撮像画像である。また、図１５Ｃは可視化例７に係る画像であって、図２及び図８の画像処理後の可視化処理画像である。図１５Ｃから明らかなように、シワ及びキメが強調されて可視化された画像を得ることができることがわかる。
【0050】
（実施形態１のまとめ）
以上説明したように、本実施形態に係る手法によりシワ及びキメを可視化することができ、特に、偏光画像及び非偏光画像のＢチャンネルの輝度の差異情報に基づく特徴量を活用することで、皮膚のシワ及びキメの可視化できることが分かる。すなわち、実施形態１に係る画像処理装置１０によれば、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を可視化できる。
以上説明したように、本実施形態に係る手法によりシワ及びキメを可視化することができ、特に、偏光画像及び非偏光画像のＢチャンネルの輝度の差異情報に基づく特徴量を活用することで、皮膚のシワ及びキメの可視化できることが分かる。すなわち、実施形態１に係る画像処理装置１０によれば、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を可視化できる。
【0051】
（変形例）
以上の実施形態１では、後置処理部２５において後置処理を行っているが、本発明はこれに限らず、これを省略してもよい。また、後置処理は少なくとも二値化処理のみを行ってもよい。
以上の実施形態１では、後置処理部２５において後置処理を行っているが、本発明はこれに限らず、これを省略してもよい。また、後置処理は少なくとも二値化処理のみを行ってもよい。
【0052】
以上の実施形態１において、画像処理部１２は例えば画像メモリを有するデジタル計算機（コンピュータ）により構成することができる。図２の画像処理については、画像処理プログラムとして構成し、ハードウエアであるＣＰＵにより実行させてもよい。また、前記画像処理プログラムを、光ディスクなどのコンピュータにより読み出し可能な記録媒体（プログラム製品）に記録し、当該記憶媒体を光ディスクドライブ装置に挿入して読み出してコンピュータにより実行させてもよい。
【0053】
以上の実施形態１においては、好ましくは、Ｂチャンネルの偏光画像及び非偏光画像を用いて輝度の差異情報に基づく特徴量を使用することで、皮膚のシワ及びキメの可視化しているが、本発明はこれに限らず、Ｒチャンネル又はＧチャンネルのほか他の波長の各画像を用いて輝度の差異情報に基づく特徴量を使用してもよく、この場合でも、従来技術に比較して高精度で皮膚のシワ及びキメの可視化できる。
【0054】
（実施形態２）
図１６は実施形態２に係る画像処理システムの構成例を示すブロック図である。図１６の画像処理システムは、図１の画像処理システムに比較して以下の点が異なる。
（１）画像処理部１２に代えて、後置処理部２５と画像インターフェース１３との間に、画像メモリ２６及び特徴量解析部２７を備えた画像処理部１２Ａを備えた。
（２）画像処理部１２Ａは、制御部２０に代えて制御部２０Ａを備えた。
（３）画像処理装置１０に代えて、画像処理部１２Ａを備えた画像処理装置１０Ａを備えた。
以下、相違点について説明する。
図１６は実施形態２に係る画像処理システムの構成例を示すブロック図である。図１６の画像処理システムは、図１の画像処理システムに比較して以下の点が異なる。
（１）画像処理部１２に代えて、後置処理部２５と画像インターフェース１３との間に、画像メモリ２６及び特徴量解析部２７を備えた画像処理部１２Ａを備えた。
（２）画像処理部１２Ａは、制御部２０に代えて制御部２０Ａを備えた。
（３）画像処理装置１０に代えて、画像処理部１２Ａを備えた画像処理装置１０Ａを備えた。
以下、相違点について説明する。
【0055】
図１７は図１６の画像処理部１２Ａにより実行される画像処理を示すフローチャートである。図１７の画像処理は、図２の画像処理に比較して以下の点が異なる。
（１）ステップＳ４の処理に代えて、ステップＳ４Ａの処理を実行する。
（２）ステップＳ４Ａの処理の後、ステップＳ５の処理を実行する。
以下、相違点について説明する。
（１）ステップＳ４の処理に代えて、ステップＳ４Ａの処理を実行する。
（２）ステップＳ４Ａの処理の後、ステップＳ５の処理を実行する。
以下、相違点について説明する。
【0056】
図１７のステップＳ４Ａにおいて、後置処理部２５は、輝度差計算部２４から出力される画像データに対して、２値化処理及びクロージング処理を含む後置処理を実行することにより、シワ又はキメ情報を可視化した画像データを生成して、画像メモリ２６を介して特徴量解析部２７に出力するとともに、画像メモリ２６及び画像インターフェース１３を介してディスプレイ２に出力する。次いで、ステップＳ５において、特徴量解析部２７は、後置処理部２５から画像メモリ２６を介して出力される画像データに対して、ガポールフィルタを用いた特徴量解析を実行することにより、（１）平均輝度値の角度分布を示すグラフ画像と、（２）平均輝度値の周期分布を示すグラフ画像と、（３）角度及び周期の２次元平面における平均輝度値（平均輝度値の分布）を示す濃淡（又はカラー）画像（例えば、等高線ヒートマップ図であってもよい）とを生成して、画像インターフェース１３を介してディスプレイ２に出力する。ここで、当該３つの画像のうち、ユーザが指定する少なくとも１つの画像を生成して出力してもよい。
【0057】
図１８Ａは図１６の画像処理部１２Ａの特徴量解析部２７において用いる１次元ガポール関数の概念を説明するための図であり、図１８Ｂは図１６の画像処理部１２Ａの特徴量解析部２７において用いる２次元ガポール関数の概念を説明するための図である。
【0058】
実施形態２では、皮膚のシワ及びキメの空間分布（間隔（周期）及び方向性）を、ガボール特徴量を用いて検出することを特徴としている。具体的には、画像処理のテクスチャー解析等に用いられる線形フィルタである、例えば非特許文献１において開示されたガボールフィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒ）を用いて、画像の各点周りの局所領域において、方向毎に特定の周波数成分を抽出する。当該ガボールフィルタは、図１８Ａに示すように、正規分布のガウス関数と、余弦波の三角関数とを乗算することで生成したガポール関数を用いる。本実施形態では、特に、顔、虹彩、指紋認証など生体認識に利用する。ここで、ガボールフィルタは人間の脳での初期視覚処理のモデルと言われている。
【0059】
次いで、ガボールフィルタの周期と角度を含むパラメータについて以下に説明する。
【0060】
（１）ガボールフィルタのパラメータ
皮膚のシワ及びキメの可視化画像に対して適用するガボールフィルタにおいて、周期と角度のパラメータを設定することができる。本実施形態では、可視化画像に対して、白黒パターン（ｓｉｎ／ｃｏｓ関数をガウス関数で局在化したカーネル）の周期と角度を変更して、ガボールフィルタを適用した際の応答値（平均輝度）の強さから、可視化画像に含まれる白黒パターンの方向と角度を検出する。
皮膚のシワ及びキメの可視化画像に対して適用するガボールフィルタにおいて、周期と角度のパラメータを設定することができる。本実施形態では、可視化画像に対して、白黒パターン（ｓｉｎ／ｃｏｓ関数をガウス関数で局在化したカーネル）の周期と角度を変更して、ガボールフィルタを適用した際の応答値（平均輝度）の強さから、可視化画像に含まれる白黒パターンの方向と角度を検出する。
【0061】
（２）ガボールフィルタの周期
可視化画像上のシワ及びキメの間隔（連続する白線の間隔）とガボールフィルタの白黒パターンの間隔が最も近似した際に、ガボールフィルタを適用した際の応答が強くなる。つまり、シワ及びキメの可視化画像に対して、様々な周期のガボールフィルタを適用した際に、最大の応答を示すガボールフィルタの周期パラメータがシワ及びキメの間隔に相当する。
可視化画像上のシワ及びキメの間隔（連続する白線の間隔）とガボールフィルタの白黒パターンの間隔が最も近似した際に、ガボールフィルタを適用した際の応答が強くなる。つまり、シワ及びキメの可視化画像に対して、様々な周期のガボールフィルタを適用した際に、最大の応答を示すガボールフィルタの周期パラメータがシワ及びキメの間隔に相当する。
【0062】
（３）ガボールフィルタの角度
可視化画像上のシワ及びキメの方向（連続する白線の方向）とガボールフィルタの白黒パターンの方向が最も近似した際に、ガボールフィルタを適用した際の応答が強くなる。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が、シワ及びキメの方向性の強さに相当する。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が少ない場合は、任意の方向に同等のシワ及びキメが入っていることになる。つまり、シワ及びキメが歪んでいない状態である。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が大きい場合は、ある方向にはシワ及びキメが強く入っており、ある方向にはシワ及びキメが弱く入っていることになる。つまり、シワ及びキメが歪んでいる状態となる。
可視化画像上のシワ及びキメの方向（連続する白線の方向）とガボールフィルタの白黒パターンの方向が最も近似した際に、ガボールフィルタを適用した際の応答が強くなる。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が、シワ及びキメの方向性の強さに相当する。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が少ない場合は、任意の方向に同等のシワ及びキメが入っていることになる。つまり、シワ及びキメが歪んでいない状態である。最大の応答値（フィルタ適用後の平均輝度）と最小の応答値（フィルタ適用後の平均輝度）の差が大きい場合は、ある方向にはシワ及びキメが強く入っており、ある方向にはシワ及びキメが弱く入っていることになる。つまり、シワ及びキメが歪んでいる状態となる。
【0063】
（解析例１）
図１９Ａは特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ画像）であり、図１９Ｂは特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング後の分析処理画像である。図１９Ａの可視化処理画像（ＤＷＥ画像）に対して、ガボールフィルタの周期を固定して方向を変化させて様々な方向のガボールフィルタを適用したときのＤＷＥ画像（周期：２０ピクセル／サイクル）を図１９Ｂに示す。これにより、シワ及びキメの方向性の強さを検出できることがわかる。
図１９Ａは特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ画像）であり、図１９Ｂは特徴量解析部２７の解析例１（方向性）を示す画像であって、線形フィルタリング後の分析処理画像である。図１９Ａの可視化処理画像（ＤＷＥ画像）に対して、ガボールフィルタの周期を固定して方向を変化させて様々な方向のガボールフィルタを適用したときのＤＷＥ画像（周期：２０ピクセル／サイクル）を図１９Ｂに示す。これにより、シワ及びキメの方向性の強さを検出できることがわかる。
【0064】
（解析例２）
図２０Ａは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。また、図２０Ｂは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。さらに、図２０Ｃは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最小輝度Ｌｍｉｎ時の分析処理画像である。ここで、輝度差ΔＬ＝Ｌｍａｘ－Ｌｍｉｎである。
図２０Ａは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフである。また、図２０Ｂは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。さらに、図２０Ｃは特徴量解析部２７の解析例２（方向性）を示すグラフであって、線形フィルタリング後の最小輝度Ｌｍｉｎ時の分析処理画像である。ここで、輝度差ΔＬ＝Ｌｍａｘ－Ｌｍｉｎである。
【0065】
図２０Ａ～図２０Ｃから明らかなように、角度が５６度で最大輝度値（最大応答値）Ｌｍａｘを示し、角度が１５７度で最小輝度値（最小応答値）Ｌｍｉｎを示していることがわかる。すなわち、角度５６度のガボールフィルタの適用時に強い応答を検出し、シワ及びキメの方向性の強さを検出できることがわかる。
【0066】
（解析例３）
図２１Ａは特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ画像）である。また、図２１Ｂは特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング後の分析処理画像である。図２１Ａの可視化処理画像（ＤＷＥ画像）に対して、ガボールフィルタの方向（角度）を固定して周期を変化させて様々な周期のガボールフィルタを適用したときのＤＷＥ画像（角度：５５度）を図２１Ｂに示す。これにより、シワ及びキメの出現間隔（出現周期）の強さを検出できることがわかる。
図２１Ａは特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング前の可視化処理画像（ＤＷＥ画像）である。また、図２１Ｂは特徴量解析部２７の解析例３（周期性）を示す画像であって、線形フィルタリング後の分析処理画像である。図２１Ａの可視化処理画像（ＤＷＥ画像）に対して、ガボールフィルタの方向（角度）を固定して周期を変化させて様々な周期のガボールフィルタを適用したときのＤＷＥ画像（角度：５５度）を図２１Ｂに示す。これにより、シワ及びキメの出現間隔（出現周期）の強さを検出できることがわかる。
【0067】
（解析例４）
図２２Ａは特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。また、図２２Ｂは特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。
図２２Ａは特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。また、図２２Ｂは特徴量解析部２７の解析例４（周期性）を示すグラフであって、線形フィルタリング後の最大輝度Ｌｍａｘ時の分析処理画像である。
【0068】
図２２Ａ～図２２Ｂから明らかなように、周期が８６ピクセル／サイクルで、最大輝度が８７．４であり、周期が８６であるガボールフィルタ適用時に強い応答を検出している。これにより、シワ及びキメの出現間隔（＝出現周期）の強さを検出できることがわかる。
【0069】
（解析例５）
図２３は特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。図２３は、ガボールフィルタを適用したＤＷＥ画像の輝度変化を示すものであって、ガボールフィルタの方向と周期をともに変化させた際の応答値をヒートマップ表示（等高線表示）によりＤＷＥ画像の特徴量を可視化したものである。ここで、特許図面を白黒画像で示すために、クロスハッチング又はハッチングの間隔で応答値を変化させているが、当該図２３は、黄色が強く青が弱いヒートマップ表示のグラフ画像を、特許図面用に書き直したものであり、図２４以降も同様である。
図２３は特徴量解析部２７の解析例５（方向性及び周期性）を示すグラフであって、方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。図２３は、ガボールフィルタを適用したＤＷＥ画像の輝度変化を示すものであって、ガボールフィルタの方向と周期をともに変化させた際の応答値をヒートマップ表示（等高線表示）によりＤＷＥ画像の特徴量を可視化したものである。ここで、特許図面を白黒画像で示すために、クロスハッチング又はハッチングの間隔で応答値を変化させているが、当該図２３は、黄色が強く青が弱いヒートマップ表示のグラフ画像を、特許図面用に書き直したものであり、図２４以降も同様である。
【0070】
図２４Ａ～図２４Ｅは特徴量解析部２７の解析例５（方向性及び周期性）を示す画像であって、図２４Ａは処理前のＲＧＢ画像（特許図面のために白黒画像で示す）であり、図２４Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２４Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２４Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２４Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２４Ａ及び図２４Ｂにおいて、画像内の矩形は解析対象領域を示す。
【0071】
図２４Ｃ及び図２４Ｄから明らかなように、角度分布の輝度差が大きい角度を検出することができ、ある方向にだけ強いシワ及びキメを確認できることがわかる。また、図２４Ｃ及び図２４Ｅから明らかなように、強い応答のある周期を検出することができ、図２４Ｃ及び図２４Ｅからは、シワ及びキメの間隔が幅広いことがわかる。
【0072】
（解析例６）
図２５Ａ～図２５Ｅは特徴量解析部２７の解析例６（方向性及び周期性）を示す画像であって、図２５Ａは処理前のＲＧＢ画像であり、図２５Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２５Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２５Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２５Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２５Ａ及び図２５Ｂにおいて、画像内の矩形は解析対象領域を示す。
図２５Ａ～図２５Ｅは特徴量解析部２７の解析例６（方向性及び周期性）を示す画像であって、図２５Ａは処理前のＲＧＢ画像であり、図２５Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２５Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２５Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２５Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２５Ａ及び図２５Ｂにおいて、画像内の矩形は解析対象領域を示す。
【0073】
図２５Ｃ及び図２５Ｄから明らかなように、角度分布の輝度差が小さく、ピーク位置がバラバラであることを検出できる。これにより、シワ及びキメ方向性が弱いことがわかる。また、図２５Ｃ及び図２５Ｅから明らかなように、周期分布のピーク位置が一か所（Ｌｍａｘ）のみであって、シワ及びキメの間隔が揃っていることがわかる。
【0074】
（解析例７）
図２６Ａ～図２６Ｅは特徴量解析部２７の解析例７（方向性及び周期性）を示す画像であって、図２６Ａは処理前のＲＧＢ画像であり、図２６Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２６Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２６Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２６Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２６Ａ及び図２６Ｂにおいて、画像内の矩形は解析対象領域を示す。
図２６Ａ～図２６Ｅは特徴量解析部２７の解析例７（方向性及び周期性）を示す画像であって、図２６Ａは処理前のＲＧＢ画像であり、図２６Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２６Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２６Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２６Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２６Ａ及び図２６Ｂにおいて、画像内の矩形は解析対象領域を示す。
【0075】
図２６Ｃ及び図２６Ｄから明らかなように、角度分布の輝度差が多少あることがわかり、シワ及びキメ方向性が少しあることがわかる。また、図２６Ｃ及び図２６Ｅから明らかなように、周期分布のピーク位置が一か所（Ｌｍａｘ）のみであって、シワ及びキメの間隔が揃っていることがわかる。
【0076】
（解析例８）
図２７Ａ～図２７Ｅは人間の左肩甲部（縫合後の瘢痕）に対する特徴量解析部２７の解析例８（方向性及び周期性）を示す画像であって、図２７Ａは処理前のＲＧＢ画像であり、図２７Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２７Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２７Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２７Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２７Ａ及び図２７Ｂにおいて、画像内の矩形は解析対象領域を示す。
図２７Ａ～図２７Ｅは人間の左肩甲部（縫合後の瘢痕）に対する特徴量解析部２７の解析例８（方向性及び周期性）を示す画像であって、図２７Ａは処理前のＲＧＢ画像であり、図２７Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２７Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２７Ｄは線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２７Ｅは線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２７Ａ及び図２７Ｂにおいて、画像内の矩形は解析対象領域を示す。
【0077】
図２７Ｃ及び図２７Ｄから明らかなように、角度分布の輝度差が小さいことがわかり、これにより、シワ又はキメの方向性（角度変化）が弱い（角度変化が小さい）ことがわかる。また、図２７Ｃ及び図２７Ｅから明らかなように、周期分布のピーク位置が小さいことがわかり、これにより、シワ及びキメの間隔が狭い（周期が小さい）ことがわかる。
【0078】
（解析例９）
図２８Ａ～図２８Ｅは人間の左肩甲部（縫合後の瘢痕）に対する特徴量解析部２７の解析例９（方向性及び周期性）を示す画像であって、図２８Ａは理前のＲＧＢ画像であり、図２８Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２８Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２８Ｄは特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２８Ｅは特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２８Ａ及び図２８Ｂにおいて、画像内の矩形は解析対象領域を示す。
図２８Ａ～図２８Ｅは人間の左肩甲部（縫合後の瘢痕）に対する特徴量解析部２７の解析例９（方向性及び周期性）を示す画像であって、図２８Ａは理前のＲＧＢ画像であり、図２８Ｂは可視化処理後の可視化処理画像（ＤＷＥ画像）であり、図２８Ｃは方向性の角度に対する周期の２次元平面において輝度値を等高線ヒートマップ形式で表したグラフ画像である。また、図２８Ｄは特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の角度分布を示すグラフであり、図２８Ｅは特徴量解析部２７の解析例９（方向性及び周期性）を示すグラフであって、線形フィルタリング後の平均輝度の周期分布を示すグラフである。図２８Ａ及び図２８Ｂにおいて、画像内の矩形は解析対象領域を示す。
【0079】
図２８Ｃ及び図２８Ｄから明らかなように、角度分布の輝度差が小さく、ピークの二か所が存在することがわかる。これにより、シワ及びキメ方向性が弱いが、２つの方向に輝度が強い傾向があることがわかる。また、図２８Ｃ及び図２８Ｅから明らかなように、周囲のピーク位置は少し小さめであることがわかり、これにより、シワ及びキメの間隔が少し狭い（周期が少し小さい）ことがわかる。
【0080】
（実施形態２のまとめ）
以上説明したように、実施形態２によれば、シワ及びキメの間隔及び方向性についてガボールフィルタを用いたガボール特徴量の解析を行った。ここで、ガボールフィルタは、画像処理のテクスチャー解析等に用いられる線形フィルタで、方向毎の特定の周波数成分を抽出する。シワ及びキメの可視化画像に対して、任意の方向及び周期のガボールフィルタを適用した際の応答値（平均輝度値）を算出し、シワ及びキメの格子パターンの歪み方や間隔の定量評価を行った。パターンの歪み方については、任意の方向のガボールフィルタを適用した際の応答の強弱に着目し、最大と最小の応答の差異が、パターンの歪み量に相当する。シワ及びキメの間隔については、任意の周期のガボールフィルタを適用した際の応答の強弱に着目し、最大応答時のガボールフィルタの周期パラメータ（ピクセル／サイクル）を間隔に相当すると考えられる。
以上説明したように、実施形態２によれば、シワ及びキメの間隔及び方向性についてガボールフィルタを用いたガボール特徴量の解析を行った。ここで、ガボールフィルタは、画像処理のテクスチャー解析等に用いられる線形フィルタで、方向毎の特定の周波数成分を抽出する。シワ及びキメの可視化画像に対して、任意の方向及び周期のガボールフィルタを適用した際の応答値（平均輝度値）を算出し、シワ及びキメの格子パターンの歪み方や間隔の定量評価を行った。パターンの歪み方については、任意の方向のガボールフィルタを適用した際の応答の強弱に着目し、最大と最小の応答の差異が、パターンの歪み量に相当する。シワ及びキメの間隔については、任意の周期のガボールフィルタを適用した際の応答の強弱に着目し、最大応答時のガボールフィルタの周期パラメータ（ピクセル／サイクル）を間隔に相当すると考えられる。
【0081】
【0082】
表１に最大応答時の角度、周期、及び応答の差異を示す。だたし、角度は撮影時のカメラの向きに依存する。ここで、解析例８及び９は縫合後瘢痕の例であって、解析例８に係る縫合部の周囲と、解析例９に係る縫合部では、シワ及びキメの間隔や歪み方が異なることが、可視化画像及びガボール特徴量から確認できる。これらの結果から、シワ及びキメの格子パターンの歪み方や間隔に相当するパラメータから定量評価が可能で、ガボールフィルタを用いたシワ及びキメの特徴解析が有用であることが分かる。
【0083】
【表1】
【0084】
実施形態２では、ダーモカメラで撮影された皮膚の偏光画像及び非偏光画像のＢチャンネル情報を用いたシワ及びキメの可視化処理手法を提案した。そして、可視化画像についてのガボール特徴量を用いて、シワ及びキメの間隔や方向性を評価した。また、皮膚の疾患箇所の診断において、本提案手法による評価の有用性が示唆された。
【0085】
以上説明したように、実施形態２に係る画像処理装置１０Ａによれば、従来技術に比較して高精度で、例えば人間の肌表面等の生体表面などの撮影対象物の表面の凹凸状態を、所定の特徴量を用いて解析できる。
【0086】
特に、実施形態１及び２により、医療的にどのような判断又は診断ができるかについて以下に説明する。一般的に皮膚のシワ及びキメの状態を可視化することは困難であるため、可視化されたシワ及びキメ情報は皮膚の健康状態の診断や、美容的な判断に有用である。皮膚の部位によって、シワ及びキメの出現は様々であり、それぞれの部位で健康的なシワ及びキメの出現があるので、異常なシワ及びキメの出現を検証することで疾患箇所を診断することが可能であると思料する。特に、瘢痕箇所の治癒過程の診断にシワ及びキメの可視化情報が有用であり、瘢痕箇所は治癒後に傷跡が目立つ場合と目立たない場合があり、治癒過程でのシワ及びキメの状態（皮膚が引っ張られている、シワ及びキメの凹凸の有無など）についての画像診断や定量評価（ガボールフィルタを用いた特徴量解析）が経過観察に有用であると考えられる。
【0087】
以上の実施形態２において、後置処理部２５は、二値化処理及びクロージング処理を実行しているが、本発明はこれに限らず、少なくとも二値化処理のみを実行することにより、凹凸の状態を高精度で出現させることができる。
【0088】
（実施形態３）
図２９は実施形態３に係る画像処理システムの構成例を示すブロック図である。図２９の画像処理システムは、図１の画像処理システムと比較して以下の点が異なる。
（１）画像処理部１２に代えて、画像処理部１２Ｂを備えた。
（２）画像処理部１２Ｂは、制御部２０に代えて制御部２０Ｂを備えた。
（３）画像処理装置１０に代えて、画像処理部１２Ｂ及び外部インターフェース１４を備えた画像処理装置１０Ｂを備えた。
（４）外部インターフェース１４に接続されて光ディスク３１が挿入される光ディスクドライブ３０をさらに備えた。
以下、相違点について説明する。
図２９は実施形態３に係る画像処理システムの構成例を示すブロック図である。図２９の画像処理システムは、図１の画像処理システムと比較して以下の点が異なる。
（１）画像処理部１２に代えて、画像処理部１２Ｂを備えた。
（２）画像処理部１２Ｂは、制御部２０に代えて制御部２０Ｂを備えた。
（３）画像処理装置１０に代えて、画像処理部１２Ｂ及び外部インターフェース１４を備えた画像処理装置１０Ｂを備えた。
（４）外部インターフェース１４に接続されて光ディスク３１が挿入される光ディスクドライブ３０をさらに備えた。
以下、相違点について説明する。
【0089】
実施形態３では、図２又は図１７の前記画像処理プログラムを、例えばＣＤ、ＤＶＤ等の光ディスク、ＳＳＤ（Solid State Drive）などの、コンピュータにより読み出し可能な記録媒体（プログラム製品）に記録し、当該記憶媒体を例えば光ディスクドライブ３０等のドライブ装置に挿入して読み出して、外部インターフェース１４を介して制御部２０Ｂのメモリにロードして、制御部２０Ｂ（コンピュータ）により実行させてもよい。
【0090】
以上の実施形態２では、実施形態１の画像処理システムに対して外部インターフェース１４及び光ディスクドライブ３０を備えているが、本発明はこれに限らず、実施形態２の画像処理システムに対して外部インターフェース１４及び光ディスクドライブ３０を備えてもよい。
【0091】
（他の変形例）
以上の実施形態では、背景抽出処理部２２は、輝度比計算部２１からの画像データ（もしくは、各画素毎の輝度の差を含む画像データ（変形例））から背景画像データを抽出しているが、本発明はこれに限らず、輝度比計算部２１に入力される偏光画像データ又は非偏光画像データから、背景画像データを抽出してもよい。すなわち、背景抽出処理部２２は、
（１）輝度比計算部２１からの各画素毎の輝度の比を含む画像データと、
（２）当該各画素毎の輝度の差を含む画像データと、
（３）輝度比計算部２１に入力される偏光画像データと、
（４）輝度比計算部２１に入力される非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力してもよい。
以上の実施形態では、背景抽出処理部２２は、輝度比計算部２１からの画像データ（もしくは、各画素毎の輝度の差を含む画像データ（変形例））から背景画像データを抽出しているが、本発明はこれに限らず、輝度比計算部２１に入力される偏光画像データ又は非偏光画像データから、背景画像データを抽出してもよい。すなわち、背景抽出処理部２２は、
（１）輝度比計算部２１からの各画素毎の輝度の比を含む画像データと、
（２）当該各画素毎の輝度の差を含む画像データと、
（３）輝度比計算部２１に入力される偏光画像データと、
（４）輝度比計算部２１に入力される非偏光画像データと、
のうちのいずれかの画像データから背景画像に係る背景画像データを抽出して出力してもよい。
【0092】
以上の実施形態では、後置処理部２５において後置処理を行っているが、本発明はこれに限らず、これを省略してもよい。また、後置処理は少なくとも二値化処理のみを行ってもよい。
【0093】
以上の実施形態において、画像処理部１２，１２Ａ，１２Ｂは例えば画像メモリを有するデジタル計算機（コンピュータ）により構成することができる。図２、図１７の画像処理については、画像処理プログラムとして構成し、ハードウエアであるＣＰＵにより実行させてもよい。
【産業上の利用可能性】
【0094】
以上詳述したように、本発明によれば、従来技術に比較して高精度で、例えば人間の肌表面などの生体表面を可視化できる画像処理装置及び画像処理方法を提供することにある。また、本発明によれば、従来技術に比較して高精度で、例えば人間の肌表面などの生体表面を所定のパラメータを用いて分析できる画像処理装置及び画像処理方法を提供できる。
【0095】
本発明において、画像処理すべき撮影対象として適用可能なものは以下の通りである。基本的には、人体、動物、生物を含む生体の皮膚又は表面のように、表面にある程度の細かい凸凹があり、所定の高い透明度を有するものであれば、撮影対象として適用できる。具体的には、人間の皮膚、動物の皮膚、生物の葉、きのこなどの表面等の凸凹の状態を可視化できる。
【符号の説明】
【0096】
１ カメラ
２ ディスプレイ
１０，１０Ａ，１０Ｂ 画像処理装置
１１画像インターフェース
１１ｍ 画像メモリ
１２，１２Ａ，１２Ｂ 画像処理部
１３ 画像インターフェース
１３ｍ 画像メモリ
１４ 外部インターフェース
２０，２０Ａ 制御部
２１ 輝度比計算部
２２ 背景抽出処理部
２３ 画像メモリ
２４ 輝度差計算部
２５ 後置処理部
２６ 画像メモリ
２７ 特徴量解析部
３０ 光ディスクドライブ
３１ 光ディスク
２ ディスプレイ
１０，１０Ａ，１０Ｂ 画像処理装置
１１画像インターフェース
１１ｍ 画像メモリ
１２，１２Ａ，１２Ｂ 画像処理部
１３ 画像インターフェース
１３ｍ 画像メモリ
１４ 外部インターフェース
２０，２０Ａ 制御部
２１ 輝度比計算部
２２ 背景抽出処理部
２３ 画像メモリ
２４ 輝度差計算部
２５ 後置処理部
２６ 画像メモリ
２７ 特徴量解析部
３０ 光ディスクドライブ
３１ 光ディスク
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図5D】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図15C】
【図16】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
【図20A】
【図20B】
【図20C】
【図21A】
【図21B】
【図22A】
【図22B】
【図23】
【図24A】
【図24B】
【図24C】
【図24D】
【図24E】
【図25A】
【図25B】
【図25C】
【図25D】
【図25E】
【図26A】
【図26B】
【図26C】
【図26D】
【図26E】
【図27A】
【図27B】
【図27C】
【図27D】
【図27E】
【図28A】
【図28B】
【図28C】
【図28D】
【図28E】
【図29】