知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-17
(45)【発行日】2023-03-28
(54)【発明の名称】肌画像処理方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20230320BHJP
A61B 5/1455 20060101ALI20230320BHJP
A61B 5/107 20060101ALI20230320BHJP
【ＦＩ】
A61B5/00 M
A61B5/1455
A61B5/00 101A
A61B5/107 800
【請求項の数】
9
(21)【出願番号】P 2019039939
(22)【出願日】2019-03-05
(65)【公開番号】P2020141811
(43)【公開日】2020-09-10
【審査請求日】2021-12-03
(73)【特許権者】
【識別番号】000000918
【氏名又は名称】花王株式会社
(74)【代理人】
【識別番号】100137589
【弁理士】
【氏名又は名称】右田 俊介
(72)【発明者】
【氏名】小原沢 明彦
(72)【発明者】
【氏名】荻野 真樹
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開２０１５－２０５２２２（ＪＰ，Ａ）
【文献】特開２００７－３２５６５６（ＪＰ，Ａ）
【文献】特開２０１３－１３２４４７（ＪＰ，Ａ）
【文献】特開２０１９－０３０６４６（ＪＰ，Ａ）
【文献】特開２００６－１３３８５６（ＪＰ，Ａ）
【文献】特開２０１５－０４９６６６（ＪＰ，Ａ）
【文献】特開２０１６－１５２８７５（ＪＰ，Ａ）
【文献】米国特許出願公開第２００６／０２６９１１１（ＵＳ，Ａ１）
【文献】国際公開第２０１８／１５３９４１（ＷＯ，Ａ１）
【文献】国際公開第２０１８／００２８６３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００
Ａ６１Ｂ ５／１０
(57)【特許請求の範囲】
【請求項1】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理方法であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出工程と、
前記拡大画像のうち予め設定されている値より黒色に近い画素が連続する範囲を、前記血管パターン抽出工程において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成工程と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去工程と、
を含む肌画像処理方法。
【請求項2】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理方法であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出工程と、
前記第三色成分を含む画素が連続する範囲を、前記血管パターン抽出工程において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成工程と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去工程と、
を含む肌画像処理方法。
【請求項3】
前記ノイズ除去工程は、肌表面の前記拡大画像のうちの前記マスクパターンと重なる範囲をノイズとして除去する、請求項１又は２に記載の肌画像処理方法。
【請求項4】
前記ノイズ除去工程は、前記第一色成分画像のうちの前記マスクパターンと重なる範囲をノイズとして除去する、請求項１又は２に記載の肌画像処理方法。
【請求項5】
前記ノイズ除去工程は、前記マスクパターンから前記第一色成分を除いた後に前記第一色成分画像からノイズを除去する、請求項４に記載の肌画像処理方法。
【請求項6】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理装置であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出部と、
前記拡大画像のうち予め設定されている値より黒色に近い画素が連続する範囲を、前記血管パターン抽出部において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成部と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去部と、
を備える肌画像処理装置。
【請求項7】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理装置であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出部と、
前記第三色成分を含む画素が連続する範囲を、前記血管パターン抽出部において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成部と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去部と、
を備える肌画像処理装置。
【請求項8】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する血管像解析装置であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出部と、
前記拡大画像のうち予め設定されている値より黒色に近い画素が連続する範囲を、前記血管パターン抽出部において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成部と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去部と、
前記血管パターン抽出部により抽出された血管パターンを解析する血管解析部と、
を備える血管像解析装置。
【請求項9】
ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する血管像解析装置であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含む画素が所定の長さ以上連続する血管パターンを抽出する血管パターン抽出部と、
前記第三色成分を含む画素が連続する範囲を、前記血管パターン抽出部において除外すべき画素が連続するマスクパターンとして生成するマスクパターン生成部と、
前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去部と、
前記血管パターン抽出部により抽出された血管パターンを解析する血管解析部と、
を備える血管像解析装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、肌画像処理方法に関する。
【背景技術】
【0002】
血管の形状や数を美容や医療に関する生体の状態の指標の一つとして使用することが行われている。生体の血管を撮像し、血管の異常、正常を判定する画像処理装置は、例えば、特許文献１に記載されている。特許文献１に記載の画像処理装置は、生体の管腔内を内視鏡等で撮像することにより取得された管腔内画像を処理して血管の発赤や出血点等の異常領域を検出するものである。
また、血管のうち、皮下の比較的浅い箇所にある毛細血管の形状や数を観察するには、一般に皮膚の表面からの撮影画像が使用されている。特許文献２に記載の体表評価装置では、液浸方式の拡大鏡により真皮上層から液浸方式で皮膚内部反射光画像を取得している。また、特許文献２には、画像の撮影倍率が１００倍から１０００倍程度であることが記載されている。
また、血管のうち、皮下の比較的浅い箇所にある毛細血管の形状や数を観察するには、一般に皮膚の表面からの撮影画像が使用されている。特許文献２に記載の体表評価装置では、液浸方式の拡大鏡により真皮上層から液浸方式で皮膚内部反射光画像を取得している。また、特許文献２には、画像の撮影倍率が１００倍から１０００倍程度であることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－１６１６７２号公報
【文献】特開２０１５－２０５２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献２に記載の発明のように、皮膚（肌）の表面を拡大して撮影する場合、肌表面の産毛のような微細な毛が画像に写り込むことが考えられる。産毛等の毛は、観測すべき毛細血管よりも太く、画像において占める範囲が大きいことから、毛細血管の観測に支障を及ぼす一因となる。特許文献２に記載の発明は、毛細血管の検出に毛が及ぼす影響について考慮するものではない。
本発明は、上記に鑑みてなされたものであり、肌表面の毛の影響を除いて毛細血管を高精度に観察可能な肌画像処理方法に関する。
本発明は、上記に鑑みてなされたものであり、肌表面の毛の影響を除いて毛細血管を高精度に観察可能な肌画像処理方法に関する。
【課題を解決するための手段】
【0005】
本発明は、ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、前記第一色成分及び前記第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理方法であって、前記第一色成分によって生成される第一色成分画像から、前記第一色成分を所定量以上含み、かつ所定の長さ以上連続する血管パターンを抽出する血管パターン抽出工程と、前記血管パターンの抽出工程において除外すべき範囲が所定の長さ以上連続するマスクパターンを生成するマスクパターン生成工程と、前記マスクパターンをマスクにして前記拡大画像または前記第一色成分によって生成される第一色成分画像からノイズを除くノイズ除去を実行するノイズ除去工程と、を含む肌画像処理方法に関する。
【発明の効果】
【0006】
本発明は、肌表面の毛の影響を除いて毛細血管を高精度に観察可能な肌画像処理方法、肌画像処理装置及び血管像解析装置を提供することができる。
【図面の簡単な説明】
【0007】
【図1】第一実施形態の肌画像処理方法を説明するためのフローチャートである。
【図3】（ａ）は被験者の肌画像を撮影するシステムを示す図である。（ｂ）は（ａ）に示すシステムにより肌画像を撮影する状態を示す模式図である。
【図4】（ａ）はＲＧＢ画像の三成分をヘモグロビン色成分、メラニン色成分、陰影成分に変換する行う行列式を示す図である。（ｂ）は、ｒ，ｇ，ｂの直交座標系をｈ，ｍ，ｌの斜交座標系に変換することを説明するための図である。
【図5】（ａ）はヘモグロビン画像を示し、（ｂ）は（ａ）のヘモグロビン画像から管状構造を抽出した血管強調画像を示している。
【図8】（ａ）は血管抽出画像を示し、（ｂ）はマスク画像を示し、（ｃ）は第一実施形態のマスクパターンを示す図である。
【図9】（ａ）は陰影画像を示し、（ｂ）は第二実施形態のマスクパターンを示す図である。
【発明を実施するための形態】
【0008】
以下、本発明の第一実施形態、第二実施形態（以下、総称して「本実施形態」とも記す）を図面に基づいて説明する。なお、すべての図面において、同様の構成要素には同様の符号を付し、重複する説明は適宜省略する。
【0009】
［概要］
本実施形態の肌画像処理装置は、人の肌（皮膚）の下であって、かつ皮膚表面に比較的近い真皮およびその付近に存在する毛細血管を評価する用途に使用されるものである。人の肌の色は、主にヘモグロビン、メラニン色素及びその他の色成分等の色素で構成される。このため、本実施形態は、肌を撮像した画像（以下、「肌画像」とも記す）をヘモグロビンに関する色成分、メラニン色素に関する色成分及びその他の色成分に分別し、このうちのヘモグロビンに関する色成分により毛細血管を検出する。
本実施形態の肌画像処理装置は、人の肌（皮膚）の下であって、かつ皮膚表面に比較的近い真皮およびその付近に存在する毛細血管を評価する用途に使用されるものである。人の肌の色は、主にヘモグロビン、メラニン色素及びその他の色成分等の色素で構成される。このため、本実施形態は、肌を撮像した画像（以下、「肌画像」とも記す）をヘモグロビンに関する色成分、メラニン色素に関する色成分及びその他の色成分に分別し、このうちのヘモグロビンに関する色成分により毛細血管を検出する。
【0010】
すなわち、本実施形態は、ヘモグロビンに関する色成分を表す第一色成分と、メラニンに関する色成分を表す第二色成分と、第一色成分及び第二色成分を除く色成分に関する第三色成分とを含む肌表面の拡大画像を処理する肌画像処理方法である。以下、本実施形態では、第一色成分をヘモグロビン色成分、第二色成分をメラニン色成分、第三色成分を陰影成分と記す。ここでいう「色成分」とは、拡大画像に含まれる各色そのものであり、このうちのヘモグロビン色成分はヘモグロビンの存在を示し、メラニン色成分はメラニンの存在を示す。陰影成分は、無彩色であって、拡大画像に写り込んだ陰影や本来肌ではない毛等を示している。
【0011】
また、本実施形態は、ヘモグロビン色成分によって生成されるヘモグロビン画像から、ヘモグロビン色成分を所定量以上含み、かつ画素が連続する血管パターンを抽出する血管パターン抽出工程を含んでいる。本実施形態でいう「ヘモグロビン色成分を所定量以上含む」とは、ヘモグロビン色成分を示す画素値が所定の階調値以上の濃度を有することを示す。「ヘモグロビン色成分の長さ」は、ヘモグロビン画像においてヘモグロビン色成分を示す画素が連なる長さをいう。ヘモグロビン色成分を含む画素が所定の長さ以上連続するものを血管パターンとするのは、血管が所定の長さを有するため、血管とヘモグロビン色成分を有する血管以外のものとを識別することに有効であるからである。
【0012】
また、本実施形態の肌画像評価方法は、血管パターンの抽出処理において除外すべき画素が連続するマスクパターンを生成するマスクパターン生成工程を含んでいる。「血管パターンの抽出処理において除外すべき画素」は、血管パターンを抽出する上で誤検出の可能性が生じると判定された画素である。本実施形態では、このような画素として拡大画像に写りこんだ肌表面の毛を示す画素が想定される。
【0013】
さらに、本実施形態の肌画像評価方法は、マスクパターンをマスクにして拡大画像またはヘモグロビン色成分によって生成される血管抽出画像からノイズを除くノイズ除去を実行するノイズ除去工程を含んでいる。「マスクパターンをマスクにする」とは、処理の対象となる拡大画像またはヘモグロビン画像のうち、マスクパターンと重なる範囲を血管パターン抽出の対象から外すことを指す。本実施形態は、このような処理を以降「マスク処理」とも記す。さらに、マスク処理後の画像を「マスク後画像」とも記す。血管抽出画像は、ヘモグロビン画像からノイズを除去して血管パターンを明確にした画像である。
【0014】
マスク処理を拡大画像に対して行うことにより、本実施形態は、ヘモグロビン色成分、メラニン色成分及び陰影成分の分離を行う以前に毛等の顕著なノイズのある個所を特定し、以降の工程において、この範囲に対する処理を省くことができる。
以下、本実施形態についてより詳細に説明する。なお、本実施形態は、黄色人種で黒髪の人間の肌表面を処理対象にする例について説明する。
以下、本実施形態についてより詳細に説明する。なお、本実施形態は、黄色人種で黒髪の人間の肌表面を処理対象にする例について説明する。
【0015】
［第一実施形態］
図１は、第一実施形態の肌画像処理方法を説明するためのフローチャートである。図２は、図１に示すフローチャートの処理を実行する画像処理装置２０を説明するための図である。図１に示す肌画像処理方法は、拡大画像を取得する拡大画像の取得工程（ステップＳ１０１）と、ＲＧＢ画像を成分分離する工程（ステップＳ１０２）と、ヘモグロビン色成分の管状構造を抽出する工程（ステップＳ１０３）と、抽出した管状構造の画素値のヒストグラムを平坦化する工程（ステップＳ１０４）と、ヒストグラムから二値化のための閾値を決定する工程（ステップＳ１０５）と、粒状ノイズを除去する工程（ステップＳ１０６）と、毛領域を検出する工程（ステップＳ１０７）と、毛状ノイズを除去する工程（ステップＳ１０８）と、血管領域（以下、「血管パターン」と記す）を抽出する工程（ステップＳ１０９）と、を含んでいる。
なお、上記画素値は、撮像された画像を構成する画素の値であればよく、階調値や輝度等であってもよい。
図１は、第一実施形態の肌画像処理方法を説明するためのフローチャートである。図２は、図１に示すフローチャートの処理を実行する画像処理装置２０を説明するための図である。図１に示す肌画像処理方法は、拡大画像を取得する拡大画像の取得工程（ステップＳ１０１）と、ＲＧＢ画像を成分分離する工程（ステップＳ１０２）と、ヘモグロビン色成分の管状構造を抽出する工程（ステップＳ１０３）と、抽出した管状構造の画素値のヒストグラムを平坦化する工程（ステップＳ１０４）と、ヒストグラムから二値化のための閾値を決定する工程（ステップＳ１０５）と、粒状ノイズを除去する工程（ステップＳ１０６）と、毛領域を検出する工程（ステップＳ１０７）と、毛状ノイズを除去する工程（ステップＳ１０８）と、血管領域（以下、「血管パターン」と記す）を抽出する工程（ステップＳ１０９）と、を含んでいる。
なお、上記画素値は、撮像された画像を構成する画素の値であればよく、階調値や輝度等であってもよい。
【0016】
また、図２に示すように、画像処理装置２０は、ステップＳ１０１において取得された拡大画像を入力する画像入力部２１、入力された拡大画像を処理して血管パターンを抽出する画像処理部２２を備えている。
また、画像処理装置２０は、ディスプレイ２３に接続されていて、抽出された血管パターンを表す画像、血管パターンの数や密度等がディスプレイ２３に表示される。
また、画像処理装置２０は、ディスプレイ２３に接続されていて、抽出された血管パターンを表す画像、血管パターンの数や密度等がディスプレイ２３に表示される。
【0017】
図１に示すように、第一実施形態は、ノイズの除去において、２つの処理モードを実行することができる。二つの処理モードのうち、モードＡは、ヘモグロビン画像のうちのマスクパターンと重なる範囲をノイズとして除去する処理である。また、モードＢは、肌表面の拡大画像のうちのマスクパターンと重なる範囲をノイズとして除去する処理である。以下、図１に示す処理について順次説明する。
【0018】
（拡大画像の取得）
第一実施形態の肌画像処理方法では、図１に示すように、肌画像をＲＧＢ（Red,Green,Blue)の拡大画像として取得する（ステップＳ１０１）。拡大画像の取得は、肌の表面を撮影することによって行われる。拡大の倍率は、比較的広範囲を観察する場合には等倍から１００倍程度、毛細血管形状を観察する場合には１００倍から１０００倍程度が望ましい。また、第一実施形態では、皮膚の表面に比較的近い毛細血管を観察するため、皮膚表面の内部反射光画像を撮影している。
第一実施形態の肌画像処理方法では、図１に示すように、肌画像をＲＧＢ（Red,Green,Blue)の拡大画像として取得する（ステップＳ１０１）。拡大画像の取得は、肌の表面を撮影することによって行われる。拡大の倍率は、比較的広範囲を観察する場合には等倍から１００倍程度、毛細血管形状を観察する場合には１００倍から１０００倍程度が望ましい。また、第一実施形態では、皮膚の表面に比較的近い毛細血管を観察するため、皮膚表面の内部反射光画像を撮影している。
【0019】
図３（ａ）、図３（ｂ）は、皮膚の内面反射画像の撮影を説明するための図である。図３（ａ）は、被験者の肌画像を撮影するシステムを示す図であって、図３（ｂ）は、図３（ａ）に示すシステムにより肌画像を撮影する状態を示す模式図である。
肌画像の撮影は、図３（ａ）に示すように、被写体配置部１、顕微鏡システム３、画像処理部４及び画像表示部５によって行われる。被写体配置部１は、被写体である身体部位（図３（ｂ）の例では前腕内側）を配置する撮影台の部位である。被写体配置部１は、被写体と反対側に設置される顕微鏡システム３による被写体の観察が可能であれば、特に材質を限定するものではないが、例えばガラス板を用いることが好ましい。撮影台２は、被写体配置部１を備え、被写体配置部１を介して被写体と反対側に顕微鏡システム３を配置することができればその形状や構成は特に限定されない。このようなシステムは、例えば、図３（ｂ）に示すように、顕微鏡システム３の周囲に支柱９を設けて被写体配置部１及び撮影台２を支持し、顕微鏡システム３が身体部位８を下方から撮影するものであってもよい。
肌画像の撮影は、図３（ａ）に示すように、被写体配置部１、顕微鏡システム３、画像処理部４及び画像表示部５によって行われる。被写体配置部１は、被写体である身体部位（図３（ｂ）の例では前腕内側）を配置する撮影台の部位である。被写体配置部１は、被写体と反対側に設置される顕微鏡システム３による被写体の観察が可能であれば、特に材質を限定するものではないが、例えばガラス板を用いることが好ましい。撮影台２は、被写体配置部１を備え、被写体配置部１を介して被写体と反対側に顕微鏡システム３を配置することができればその形状や構成は特に限定されない。このようなシステムは、例えば、図３（ｂ）に示すように、顕微鏡システム３の周囲に支柱９を設けて被写体配置部１及び撮影台２を支持し、顕微鏡システム３が身体部位８を下方から撮影するものであってもよい。
【0020】
顕微鏡システム３は、皮膚表層の毛細血管を所定の空間分解能で観察可能なレンズ３ａと、観察対象に照明光を照射する光源３ｂと、観察像を撮像するためのカメラ３ｃを具備するものであればその種類は限定されず、実体顕微鏡、偏光顕微鏡等を用いることができる。また、顕微鏡システム３は、被写体との距離や観察視野を調整できる可動式のステージやジャッキ等の位置調整機構１１を備えるものであってもよい。レンズ３ａは、毛細血管を判別できる程度の空間分解能を有するものであればよく、レンズの空間分解能は２０μｍ以下、且つ好ましくは１０μｍ以下、より好ましくは５μｍ以下である。光源３ｂとしては、可視光を発生するものであってもよいし、波長８００～１８００ｎｍ程度の近赤外光を発するものであってもよい。可視光としては、３６０ｎｍ以上８００ｎｍ未満の波長の光を含むものであればよく、白色光の他、青色光、赤色光、緑色光などを用いることができる。白色光の光源としては、例えば、白色ＬＥＤ光源、ハロゲンランプ等を使用することができる。
【0021】
カメラ３ｃは、顕微鏡の観察画像から静止画を得るものであればよい。このようなカメラとしては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary MOS）等の撮像素子を採用するデジタルカメラ等がある。
画像処理部４は、カメラ３ｃによって取得された静止画像のデータを入力し、静止画像を画素によって再現するための画像データを生成する。生成された画像データは、画像表示部に出力されて観察画像を拡大して示す拡大画像となる。
画像処理部４は、カメラ３ｃによって取得された静止画像のデータを入力し、静止画像を画素によって再現するための画像データを生成する。生成された画像データは、画像表示部に出力されて観察画像を拡大して示す拡大画像となる。
【0022】
また、図３（ｂ）に示すように、本実施形態では、測定対象となる被験者の身体部位８が、撮影台２の被写体配置部１上に置かれる、または、スペーサー６を介して身体部位８の皮膚表面が被写体配置部１上に接触しないようにして顕微観察が行われる。スペーサー６は、被験者の身体部位８をセットした場合に、皮膚表面が顕微観察されるように図示しない開口部を有し、且つ一定の厚さを有する部材である。開口部の形状は、矩形でも円形でも、その他の形状でもよい。スペーサーの厚さ（被写体配置部からの高さ）は、身体部位８を押し当てた際に、スペーサー６の開口内で皮膚表面が突出して、被写体配置部に接しない厚さであることが好ましい。スペーサー６の素材は、皮膚を傷つけないよう適度な柔らかさと、皮膚・ガラス面に密着するよう形状に追随するような適度な弾力を有する素材であるのが好ましい。このような素材としては、例えば、シリコンゴム、天然ゴム、アクリルゴム、ウレタンゴム等が挙げられるが、耐水性、耐油性、無臭、無毒性の点から、シリコンゴムを用いるのが好ましい。スペーサー６の素材は任意の色であり得るが、スペーサー外からの光の遮断を抑える観点から、無色透明又は白色半透明であるのが好ましい。スペーサー６は、顕微観察の際に、被験者の皮膚表面が被写体配置部１と接触しないようにして測定箇所が圧迫されることによる血流低下を防止し、正確な毛細血管の状態を観察可能にする。
【0023】
第一実施形態では、モードＡ、モードＢの二通りの手順をとり得る。モードＡは、ノイズを除去する処理において、ヘモグロビン色成分からノイズを除く処理を行うモードである。モードＢは、ノイズを除去する処理において、拡大画像からノイズを除く処理を行うモードである。以下、モードＡ、モードＢについてそれぞれ説明する。
【0024】
（モードＡ）
モードＡでノイズ除去を行う場合、画像処理部２２は、ＲＧＢ画像である拡大画像をヘモグロビン色成分、メラニン色成分及び陰影成分の三成分に分離する（ステップＳ１０２）。
図４（ａ）は、ＲＧＢ画像の三成分をヘモグロビン色成分（Ｈ）、メラニン色成分（Ｍ）、陰影成分（Ｌ）に変換する式を示す図である。図４（ｂ）は、ｒ，ｇ，ｂの直交座標系をｈ，ｍ，ｌの斜交座標系に変換することを説明するための図である。図４（ａ）に示すように、ｒ，ｇ，ｂは、ＲＧＢ画像をＲ成分、Ｇ成分、Ｂ成分に分離し、－ｌｏｇＲ，－ｌｏｇＧ，－ｌｏｇＢをとることによって各々生成される。
ｒ＝－ｌｏｇＲ
ｇ＝－ｌｏｇＧ
ｂ＝－ｌｏｇＢ
モードＡでノイズ除去を行う場合、画像処理部２２は、ＲＧＢ画像である拡大画像をヘモグロビン色成分、メラニン色成分及び陰影成分の三成分に分離する（ステップＳ１０２）。
図４（ａ）は、ＲＧＢ画像の三成分をヘモグロビン色成分（Ｈ）、メラニン色成分（Ｍ）、陰影成分（Ｌ）に変換する式を示す図である。図４（ｂ）は、ｒ，ｇ，ｂの直交座標系をｈ，ｍ，ｌの斜交座標系に変換することを説明するための図である。図４（ａ）に示すように、ｒ，ｇ，ｂは、ＲＧＢ画像をＲ成分、Ｇ成分、Ｂ成分に分離し、－ｌｏｇＲ，－ｌｏｇＧ，－ｌｏｇＢをとることによって各々生成される。
ｒ＝－ｌｏｇＲ
ｇ＝－ｌｏｇＧ
ｂ＝－ｌｏｇＢ
【0025】
上記ｒ、ｇ、ｂとヘモグロビン色成分Ｈ、メラニン色成分Ｍ、陰影成分Ｌとの間には、図４（ａ）に示す式（１）の関係が成立する。なお、式（１）中のＡは、式（２）のように表される。式（１）、式（２）中のｍ、ｈ、ｌは、いずれも定数である。式（１）、式（２）より、ヘモグロビン色成分Ｈ、メラニン色成分Ｍ、陰影成分Ｌは、式（３）のように、画素値ｒ、ｇ、ｂの逆行列からなる。
式（３）に示すｒ、ｇ、ｂの座標系をヘモグロビンベクトル、メラニンベクトル、陰影ベクトル座標で表すと、図４（ｂ）に示す互いに直交するｒ軸、ｇ軸、ｂ軸によって形成される直交座標にヘモグロビンベクトル、メラニンベクトル、陰影ベクトルを与えることによって斜交座標が形成される。ヘモグロビンベクトル上のヘモグロビン色成分、メラニンベクトル上のメラニン色成分及び陰影ベクトル上の陰影成分の交点により、画像上の画素ｋが表される。
上記のヘモグロビン色成分とメラニン色成分を分離する処理は、独立成分分析の他、重回帰分析、主成分分析、ルックアップテーブル方式、などを用いることができる。
式（３）に示すｒ、ｇ、ｂの座標系をヘモグロビンベクトル、メラニンベクトル、陰影ベクトル座標で表すと、図４（ｂ）に示す互いに直交するｒ軸、ｇ軸、ｂ軸によって形成される直交座標にヘモグロビンベクトル、メラニンベクトル、陰影ベクトルを与えることによって斜交座標が形成される。ヘモグロビンベクトル上のヘモグロビン色成分、メラニンベクトル上のメラニン色成分及び陰影ベクトル上の陰影成分の交点により、画像上の画素ｋが表される。
上記のヘモグロビン色成分とメラニン色成分を分離する処理は、独立成分分析の他、重回帰分析、主成分分析、ルックアップテーブル方式、などを用いることができる。
【0026】
図５（ａ）、図５（ｂ）は、ヘモグロビン画像のフィルタ処理を説明するための図である。図５（ａ）は、ヘモグロビン色成分Ｈによって生成されるヘモグロビン画像を示している。図５（ｂ）は、図５（ａ）に示すヘモグロビン画像をフィルタ処理して得られる血管強調画像を示している。
第一実施形態は、血管パターンの抽出に先立って、図５（ａ）中の血管パターンを明確化する処理を行う。この処理にあたり、画像処理部２２は、図５（ａ）のヘモグロビン画像をフィルタ処理し、ヘモグロビン画像から管状構造を抽出する（ステップＳ１０３）。フィルタ処理に使用されるフィルタとしては、例えば、Frangiにより提案されたHessian行列をもとに特定の構造の抽出を行うmultiscaleフィルタ（Frangiフィルタ）、あるいはshikataフィルタが好適である。
第一実施形態は、血管パターンの抽出に先立って、図５（ａ）中の血管パターンを明確化する処理を行う。この処理にあたり、画像処理部２２は、図５（ａ）のヘモグロビン画像をフィルタ処理し、ヘモグロビン画像から管状構造を抽出する（ステップＳ１０３）。フィルタ処理に使用されるフィルタとしては、例えば、Frangiにより提案されたHessian行列をもとに特定の構造の抽出を行うmultiscaleフィルタ（Frangiフィルタ）、あるいはshikataフィルタが好適である。
【0027】
管状構造（tube-like）を抽出するFrangiフィルタは、ボリュームデータに三次元ガウシアンカーネル等のフィルタを適用し、取得した二次微分カーネルから算出されたヘッセ行列の固有値を分析することで、画像に含まれる構造を点状、管状および面状に分類することができる。Frangiフィルタを用いることにより管状構造が抽出され、血管パターンのみを抽出することが可能になる。
【0028】
画像処理部２２は、次に、図５（ｂ）のヘモグロビン画像に含まれる各画素値の輝度のヒストグラムを作成し、輝度値を平坦化する処理を実行する（ステップＳ１０４）。そして、平坦化後のヒストグラムからヘモグロビン画像を二値化するのに適正な閾値を決定し（ステップＳ１０５）、決定した閾値を使ってヘモグロビン画像を二値化する。さらに、画像処理部２２は、二値化後のヘモグロビン画像からノイズを除去する。第一実施形態は、このとき、粒状のノイズの除去（ステップＳ１０６）と毛状のノイズの除去（ステップＳ１０７）の両方を実行する。ステップＳ１０７の毛状ノイズの除去は、第一実施形態でいうマスク処理に相当する。
【0029】
図６（ａ）から図６（ｄ）は、図５（ｂ）に示すヘモグロビンの血管強調画像をヒストグラム平坦化、二値化及びノイズ除去処理する工程を説明するための図である。図６（ａ）は、図５（ｂ）と同様のフィルタ処理後のヘモグロビンの血管強調画像である。図６（ｂ）は、図６（ａ）の血管強調画像のヒストグラム平坦化処理画像である。図６（ｃ）は図６（ｂ）の平坦化処理画像の階調値から閾値を決定し、この閾値で二値化したヘモグロビンの二値化画像である。図６（ｄ）は、図６（ｃ）から粒状ノイズを除去した血管抽出画像である。
図６（ａ）から図６（ｄ）によれば、処理の過程で毛細血管を除くパターンがノイズとして消去され、毛細血管が血管パターンとして明確に特定されるようになる。
図６（ａ）から図６（ｄ）によれば、処理の過程で毛細血管を除くパターンがノイズとして消去され、毛細血管が血管パターンとして明確に特定されるようになる。
【0030】
図７（ａ）、図７（ｂ）は、図６（ａ）、図６（ｂ）に示す画像の画素の階調値を横軸に、その出現頻度を縦軸に示すヒストグラムである。図７（ａ）は図６（ａ）の血管強調画像のヒストグラムであって、図７（ｂ）は図７（ａ）のヒストグラムの階調値の分布を拡大する伸張化を行い、さらに出現頻度の累積度数を平坦化したものである。図６（ｂ）の平坦化処理画像は、ヒストグラムの伸張化処理によって濃度の幅が広がって平滑化され、平坦化によってコントラストが高まっている。なお、図６（ｃ）に示す二値化画像は、図６（ｂ）に示すヘモグロビン画像の階調値の８０％より低値をはずれ値として除いて二値化されたものになる。
【0031】
次に、画像処理部２２は、図６（ｃ）に示すヘモグロビン二値化画像を例えばClosing処理及びOpening処理して粒状ノイズを除去する（ステップＳ１０６）。Closing処理は、画素を同じ回数だけ膨張、収縮させる処理を繰り返すことをいい、Opening処理は、同じ回数だけ画素の収縮、膨張を繰り返すことをいう。このような処理によれば、比較的細かいあるいは細い粒状ノイズを図７（ｃ）の二値化画像から除去して図７（ｄ）に示す血管抽出画像を得ることができる。
次に、画像処理部２２は、粒状ノイズよりも大きい毛状ノイズの除去を実行する（ステップＳ１０８）。第一実施形態では、毛状ノイズの除去にあたり、拡大画像から毛が映り込んでいる領域を検出し（ステップＳ１０７）、この領域を処理の対象から外している。
図８（ａ）、図８（ｂ）は、ステップＳ１０８の毛領域の検出を説明するための図である。図８（ａ）は、毛１００が写りこんだ図６（ｄ）に示す血管抽出画像９６を示している。図８（ｂ）は、拡大画像９５における例えば画像全体の割合のうちＲ、Ｇ、Ｂのそれぞれの階調値が低輝度側の０．０１％以下の画素のみを「黒」であるとして抽出したマスクパターン９７を示している。図８（ｃ）は、血管抽出画像９６にマスクパターン９７を重ねた状態を示すマスク後画像９８を示している。
次に、画像処理部２２は、粒状ノイズよりも大きい毛状ノイズの除去を実行する（ステップＳ１０８）。第一実施形態では、毛状ノイズの除去にあたり、拡大画像から毛が映り込んでいる領域を検出し（ステップＳ１０７）、この領域を処理の対象から外している。
図８（ａ）、図８（ｂ）は、ステップＳ１０８の毛領域の検出を説明するための図である。図８（ａ）は、毛１００が写りこんだ図６（ｄ）に示す血管抽出画像９６を示している。図８（ｂ）は、拡大画像９５における例えば画像全体の割合のうちＲ、Ｇ、Ｂのそれぞれの階調値が低輝度側の０．０１％以下の画素のみを「黒」であるとして抽出したマスクパターン９７を示している。図８（ｃ）は、血管抽出画像９６にマスクパターン９７を重ねた状態を示すマスク後画像９８を示している。
【0032】
すなわち、図１に示す第一実施形態の毛状ノイズを除去する工程は、拡大画像のうち、予め設定されている値より黒色に近い画素が連続する範囲をマスクパターンとするマスクパターン生成工程を含んでいる。ここでいう「予め設定されている値より黒色に近い」とは、例えば上記のように、画像全体の画素数のうちＲ、Ｇ、Ｂのそれぞれの階調値のうち低値を示す画素数が所定の割合を有することをいう。
【0033】
図８（ａ）から図８（ｃ）に示すように、第一実施形態によれば、拡大画像９５において毛１００が移りこんだ箇所は黒色に表示されることを前提とし、血管抽出画像９６に拡大画像９５の黒色部分であるマスクパターン９７を重ねている。血管抽出画像９６とマスクパターン９７とを重ねることにより、毛１００の部分が表れない血管抽出画像９６としてマスク後画像９８が形成される。このような処理を、第一実施形態ではマスク処理と記し、マスク処理によって血管抽出画像９６から毛状ノイズが除去される（ステップＳ１０８）。
【0034】
画像処理部２２は、マスク後画像９８から血管パターンを抽出する（ステップＳ１０９）。血管パターンの抽出は、ヘモグロビン色成分を所定量以上含み、かつ予め設定されている連続する画素パターンをマスク後画像９８から抽出することによって行われる。予め設定される画素数は、毛細血管の直径に相当する４μｍ以上に相当するピクセル数が好ましい。ここでいう「幅」とは連続する画像の横縦比の短辺のことを示す。ヘモグロビン色成分の長さは、例えばヘモグロビン成分を示す画素が連続する個数によって決定するものであってもよい。
なお、ここで「画素が連続する」とは、画素が互いに接触していて間に他の画素が存在しないことを指すが、画像上のノイズとみなせる程度の離間は連続するとみなす場合がある。また、第一実施形態でいう「画素が連続する」の意味は、画素が一方向に連続するもののみを指すのではなく、画素が連続する方向を連続的に変えながら環状に連なるものであってもよい。
なお、ここで「画素が連続する」とは、画素が互いに接触していて間に他の画素が存在しないことを指すが、画像上のノイズとみなせる程度の離間は連続するとみなす場合がある。また、第一実施形態でいう「画素が連続する」の意味は、画素が一方向に連続するもののみを指すのではなく、画素が連続する方向を連続的に変えながら環状に連なるものであってもよい。
【0035】
また、血管パターンの抽出は、例えば、血管パターンの数を計数することによって行ってもよい。また、ヘモグロビン画像上で血管を示すと判定されている画素の密度や個数を算出するものであってもよい。
【0036】
このようにすると、第一実施形態は、ヘモグロビン画像から毛１００を示す画素の領域が血管パターンの抽出対象から除かれて、血管パターン抽出時の精度を高めることができる。言い換えると、第一実施形態では、このような処理により、毛１００を写す画素が、Ｒ、Ｇ、Ｂの各成分のいずれをも多く含み、かつ画素が連続するものであることにより、血管パターンとして抽出されることを防いでいる。Ｒ、Ｇ、Ｂの各成分を含む画像は、ヘモグロビン色成分をも含むものと考えられるからである。このように、第一実施形態では、マスクパターン９７によりマスクされる領域は誤検出が生じる可能性があるとして抽出対象から外している。
【0037】
（モードＢ）
モードＢは、図１に示すように、ステップＳ１０７の毛領域の検出処理及びステップＳ１０８の毛状ノイズの除去をヘモグロビン画像の抽出の前に実行する処理モードである。モードＢにより血管パターンを抽出する場合、第一実施形態は、毛状ノイズが除去された拡大画像をヘモグロビン色成分、メラニン色成分及び陰影成分に分離し、このうちのヘモグロビン色成分によって生成されるヘモグロビン画像を使ってステップＳ１０３からステップＳ１０６を実行する。
モードＢは、図１に示すように、ステップＳ１０７の毛領域の検出処理及びステップＳ１０８の毛状ノイズの除去をヘモグロビン画像の抽出の前に実行する処理モードである。モードＢにより血管パターンを抽出する場合、第一実施形態は、毛状ノイズが除去された拡大画像をヘモグロビン色成分、メラニン色成分及び陰影成分に分離し、このうちのヘモグロビン色成分によって生成されるヘモグロビン画像を使ってステップＳ１０３からステップＳ１０６を実行する。
【0038】
次に、第一実施形態において行った血管パターンの抽出結果を、公知の熟練者によって行われる血管パターンの抽出と比較して説明する。公知の抽出は、熟練者が拡大画像を視認して、拡大画像から血管パターンであると判定した箇所をペン等でトレースすることによって行われる。以下、このような抽出方法を、「トレース評価」と記す。
第一実施形態では、トレース評価の結果を正答と仮定し、第一実施形態によって抽出された血管パターンが正答と一致した場合に第一実施形態の肌評価方法が正答したと判定する。また、この際、第一実施形態では、トレース評価において血管パターンであると判定された画素と第一実施形態で血管パターンであると判定された画素とが一致した場合の一致数、トレース評価において血管パターンでないと判定された画素と第一実施形態で血管パターンでないと判定された画素とが一致した場合の一致数の合計を正答数とする。この結果、第一実施形態の肌画像処理方法は、全抽出画素のうちの９６．５５％画素が正答した。
このような結果により、第一実施形態の肌画像評価方法は、公知の評価方法と同程度の正答率を得ることができるものといえる。
第一実施形態では、トレース評価の結果を正答と仮定し、第一実施形態によって抽出された血管パターンが正答と一致した場合に第一実施形態の肌評価方法が正答したと判定する。また、この際、第一実施形態では、トレース評価において血管パターンであると判定された画素と第一実施形態で血管パターンであると判定された画素とが一致した場合の一致数、トレース評価において血管パターンでないと判定された画素と第一実施形態で血管パターンでないと判定された画素とが一致した場合の一致数の合計を正答数とする。この結果、第一実施形態の肌画像処理方法は、全抽出画素のうちの９６．５５％画素が正答した。
このような結果により、第一実施形態の肌画像評価方法は、公知の評価方法と同程度の正答率を得ることができるものといえる。
【0039】
［第二実施形態］
次に、本発明の第二実施形態を説明する。第二実施形態の肌画像処理方法では、図１に示すマスクパターンを生成する工程（ステップＳ１０８）が、陰影成分を含む画素が連続する範囲をマスクパターンとする。
図９（ａ）、図９（ｂ）は、陰影成分からマスクパターンを生成する工程を説明するための図である。なお、このような図９（ａ）、図９（ｂ）は、図８（ａ）から図８（ｃ）の画像とは異なる取得画像について処理を行った例を示している。第二実施形態において、画像処理部２２は、第一実施形態と同様に、陰影成分を抽出する。図９（ａ）は、抽出された陰影成分によって生成される陰影画像からFrangiフィルタにより管形状を抽出し、ヒストグラムを平坦化して閾値を調整し、さらにノイズ除去したマスクパターン９１を示している。図９（ａ）中の線状のノイズ１０２が毛由来のノイズであり、環状のノイズ１１０は、表面反射を除去するために皮膚表面に塗布する液体に混入した泡及び泡の影によるものである。図９（ｂ）は、粒状ノイズの除去後のヘモグロビンの血管抽出画像９６にマスクパターン９１を重ねることによってマスク後画像９８を生成することを説明するための図である。
次に、本発明の第二実施形態を説明する。第二実施形態の肌画像処理方法では、図１に示すマスクパターンを生成する工程（ステップＳ１０８）が、陰影成分を含む画素が連続する範囲をマスクパターンとする。
図９（ａ）、図９（ｂ）は、陰影成分からマスクパターンを生成する工程を説明するための図である。なお、このような図９（ａ）、図９（ｂ）は、図８（ａ）から図８（ｃ）の画像とは異なる取得画像について処理を行った例を示している。第二実施形態において、画像処理部２２は、第一実施形態と同様に、陰影成分を抽出する。図９（ａ）は、抽出された陰影成分によって生成される陰影画像からFrangiフィルタにより管形状を抽出し、ヒストグラムを平坦化して閾値を調整し、さらにノイズ除去したマスクパターン９１を示している。図９（ａ）中の線状のノイズ１０２が毛由来のノイズであり、環状のノイズ１１０は、表面反射を除去するために皮膚表面に塗布する液体に混入した泡及び泡の影によるものである。図９（ｂ）は、粒状ノイズの除去後のヘモグロビンの血管抽出画像９６にマスクパターン９１を重ねることによってマスク後画像９８を生成することを説明するための図である。
【0040】
第二実施形態では、画像処理部２２がマスク後画像９８に対して血管パターンの抽出を行っている。
なお、第二実施形態では、上記処理において、陰影成分とヘモグロビン成分とを重ねることを考慮し、ヘモグロビン画像から毛状のノイズを除去するマスク処理に先立って予め陰影画像からヘモグロビン成分を減じておくことが好ましい。マスクパターン９１を血管抽出画像９６に重ねると、マスクパターン９１に含まれるヘモグロビン成分と血管抽出画像９６に含まれるヘモグロビン成分とが重なってノイズとなることを防ぐためである。
なお、第二実施形態では、上記処理において、陰影成分とヘモグロビン成分とを重ねることを考慮し、ヘモグロビン画像から毛状のノイズを除去するマスク処理に先立って予め陰影画像からヘモグロビン成分を減じておくことが好ましい。マスクパターン９１を血管抽出画像９６に重ねると、マスクパターン９１に含まれるヘモグロビン成分と血管抽出画像９６に含まれるヘモグロビン成分とが重なってノイズとなることを防ぐためである。
【0041】
さらに、第一実施形態、第二実施形態は、画像処理部２２が、抽出された血管パターンを解析する血管解析部としての機能を有するものであってもよい。ここでいう「解析」は、例えば、血管パターンの個数や長さ、さらには太さ等から被験者の健康状態を推定するものであってもよいし、外用薬や温湿布、冷湿布、内服薬、マッサージ、入浴の前後で得られた血管パターンを比較して外用薬等による毛細血管の状態の変化を示すものであってもよい。このようにすると、画像処理装置２０は、毛細血管の評価に特化した血管像解析装置として機能することができる。
【0042】
以上説明した第一実施形態、第二実施形態は、血管の抽出にあたって誤検出の一因となり得る毛が写りこんだ領域を予め処理対象から除くことができる。このような第一実施形態、第二実施形態は、肌表面の毛の影響を除いて毛細血管を高精度に観察することができる。
また、第一実施形態、第二実施形態の画像処理方法は、安静時の肌画像中の血管面積の算出、皮膚への外用剤塗布の前後における血管面積の変化の検出、皮膚への物理刺激による血管面積の変化の観察、細線化処理による血管ネットワークの可視化、血管の分岐数の算出等に適用することが考えられる。
また、第一実施形態、第二実施形態の画像処理方法は、安静時の肌画像中の血管面積の算出、皮膚への外用剤塗布の前後における血管面積の変化の検出、皮膚への物理刺激による血管面積の変化の観察、細線化処理による血管ネットワークの可視化、血管の分岐数の算出等に適用することが考えられる。
【符号の説明】
【0043】
１・・・被写体配置部
２・・・撮影台
３・・・顕微鏡システム
３ａ・・・レンズ
３ｂ・・・光源
３ｃ・・・カメラ
４・・・画像処理部
５・・・画像表示部
６・・・スペーサー
７・・・流体注入部
８・・・身体部位
９・・・支柱
１０・・・シリンジ
１１・・・位置調整機構
２０・・・画像処理装置
２１・・・画像入力部
２２・・・画像処理部
２３・・・ディスプレイ
９１・・・マスクパターン
９５・・・拡大画像
９６・・・血管抽出画像
９７・・・マスクパターン
９８・・・マスク後画像
１００・・・毛
１０２・・・ノイズ
１１０・・・ノイズ
Ｈ・・・ヘモグロビン色成分
Ｌ・・・陰影成分
Ｍ・・・メラニン色成分
２・・・撮影台
３・・・顕微鏡システム
３ａ・・・レンズ
３ｂ・・・光源
３ｃ・・・カメラ
４・・・画像処理部
５・・・画像表示部
６・・・スペーサー
７・・・流体注入部
８・・・身体部位
９・・・支柱
１０・・・シリンジ
１１・・・位置調整機構
２０・・・画像処理装置
２１・・・画像入力部
２２・・・画像処理部
２３・・・ディスプレイ
９１・・・マスクパターン
９５・・・拡大画像
９６・・・血管抽出画像
９７・・・マスクパターン
９８・・・マスク後画像
１００・・・毛
１０２・・・ノイズ
１１０・・・ノイズ
Ｈ・・・ヘモグロビン色成分
Ｌ・・・陰影成分
Ｍ・・・メラニン色成分
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】