特許 6898150 毛穴検出方法及び毛穴検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6898150

(24)【登録日】2021年6月14日

(45)【発行日】2021年7月7日

(54)【発明の名称】毛穴検出方法及び毛穴検出装置

(51)【国際特許分類】

   A61B 5/107 20060101AFI20210628BHJP

【ＦＩ】

   A61B5/107 800

   A61B5/107ZDM

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2017-101322(P2017-101322)

(22)【出願日】2017年5月23日

(65)【公開番号】特開2018-196426(P2018-196426A)

(43)【公開日】2018年12月13日

【審査請求日】2020年3月18日

(73)【特許権者】

【識別番号】000000918

【氏名又は名称】花王株式会社

(74)【代理人】

【識別番号】100137589

【弁理士】

【氏名又は名称】右田 俊介

(72)【発明者】

【氏名】由澤 彰彦

(72)【発明者】

【氏名】尾沢 敏明

【審査官】 清水 裕勝

(56)【参考文献】

【文献】 国際公開第２０１５／１５９７３２（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／０２７５２２（ＷＯ，Ａ１）

【文献】 特開平０７−０５５４４７（ＪＰ，Ａ）

【文献】 特表２００９−５０８６４８（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０７４２４１６７（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／３９８

(57)【特許請求の範囲】

【請求項1】

肌の表面反射光画像に基づいて毛穴位置を特定する位置特定工程と、
紫外線照射下で撮像された紫外線肌画像中の発光位置に対応する明暗肌画像中の位置を候補位置として特定する候補特定工程と、
前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定工程と、
前記判定工程において決定された毛穴位置と前記位置特定工程で特定された毛穴位置との双方を毛穴位置と決定する決定工程と、
を含み、
前記位置特定工程を前記候補特定工程に先んじて行い、
前記候補特定工程では、前記位置特定工程で特定された毛穴位置以外を前記候補位置として特定する、
毛穴検出方法。

【請求項2】

前記判定工程では、前記明暗肌画像における前記候補位置から所定距離離れた位置の画素値と該候補位置の画素値との差分が所定閾値を超えている場合に、該候補位置を毛穴位置と決定する、
請求項１に記載の毛穴検出方法。

【請求項3】

前記判定工程で決定された毛穴位置に基づいて、毛穴の数、面積又は形状に関する毛穴情報を生成する工程、
を更に含み、
複数種の前記毛穴情報は、相互に異なる複数の前記所定距離又は前記所定閾値を用いて生成される、
請求項２に記載の毛穴検出方法。

【請求項4】

前記判定工程では、前記紫外線肌画像中の前記発光位置の発光量、面積及び形状の少なくとも一つに基づいて、前記候補位置を毛穴位置とするか否かを判定する、
請求項１から３のいずれか一項に記載の毛穴検出方法。

【請求項5】

肌の表面反射光画像に基づいて毛穴位置を特定する位置特定手段と、
紫外線照射下で撮像された紫外線肌画像及び該紫外線肌画像とは異なる手法で撮像された明暗肌画像を取得する取得手段と、
前記取得手段により取得された紫外線肌画像中の発光位置に対応する前記明暗肌画像中の位置を候補位置として特定する候補特定手段と、
前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定手段と、
前記判定手段により決定された毛穴位置と前記位置特定手段により特定された毛穴位置との双方を毛穴位置と決定する決定手段と、
を備え、
前記候補特定手段は、前記位置特定手段で特定された毛穴位置以外を前記候補位置として特定する、
毛穴検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、肌画像の分析技術に関し、特に肌画像から毛穴を検出する技術に関する。

【背景技術】

【0002】

特許文献１には、肌の表面を撮影した画像の平滑化画像から平滑化前の画像を減算することで差分画像を取得し、この差分画像を二値化して得られる毛穴画像を用いて毛穴の大きさを測定する肌の表面状態解析システムが開示されている。
特許文献２には、肌状態を解析する目的で表面反射光のみを選択するため、入射光と反射光の偏波面を一致させることが開示されている。
特許文献３には、所定の照明条件により被験者の顔が撮影された画像から肌の毛穴、角栓のポルフィリン、シワ、シミ、肌色のうち、少なくとも一つを解析して、その解析結果と測定日時と被験者情報とを対応付けて蓄積して肌状態の解析を行うことが開示されている。
特許文献４には、肌画像からＲ成分とＢ成分との差分画像を取得し、この差分画像を二値化及び平滑化することで毛穴画像を抽出し、この毛穴画像から毛穴の大きさを求めることが開示されている。
特許文献５には、肌に紫外線を照射して撮影した画像からＲ（赤）成分を抽出した画像を２値化することによりポルフィリンの検出を行い、ポルフィリンが検出された領域、個数、面積を表示することが提案されている。本提案では、このように検出されたポルフィリンの情報をニキビやかくれジミ等の評価に利用している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−５５４４７号公報

【特許文献2】特開２０１５−６２５６９号公報

【特許文献3】特開２００７−１５２０８４号公報

【特許文献4】特開２００６−３０５１８４号公報

【特許文献5】特開２００９−４９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述の手法は、毛穴がその周辺と比較して暗いことを利用して、肌画像からその暗い位置を毛穴として検出している。また、内部散乱光の影響を減らして表面反射光成分を強めた偏光画像を用いることで毛穴の検出精度を向上させることができる。
しかしながら、角栓が生じて詰まった状態の毛穴などのような毛穴の場合、明暗肌画像中のその毛穴の位置は暗くなっていない場合がある。また、鼻周辺などのように起伏の大きい部位では、光がその部位全体に均一に当らないため、肌画像の明暗のみからでは、毛穴の検出精度が低下してしまう。
本発明は、このような事態を改善し、毛穴を高精度に検出し得る技術を提供する。

【課題を解決するための手段】

【0005】

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第一の態様は、毛穴検出方法に関する。第一の態様に係る毛穴検出方法は、紫外線照射下で撮像された紫外線肌画像中の発光位置に対応する明暗肌画像中の位置を候補位置として特定する候補特定工程と、前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定工程と、を含む。

【0006】

第二の態様は、毛穴検出装置に関する。第二の態様に係る毛穴検出装置は、紫外線照射下で撮像された紫外線肌画像及び該紫外線肌画像とは異なる手法で撮像された明暗肌画像を取得する取得手段と、前記取得手段により取得された紫外線肌画像中の発光位置に対応する前記明暗肌画像中の位置を候補位置として特定する候補特定手段と、前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定手段と、を備える。

【0007】

なお、本発明の別態様としては、上記第一態様に係る毛穴検出方法をコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

【発明の効果】

【0008】

上記各態様によれば、毛穴を高精度に検出し得る技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る毛穴検出方法を示すフローチャートである。

【図2】本実施形態に係る毛穴検出装置のハードウェア構成例を概念的に示す図である。

【図3】本実施形態に係る毛穴検出装置の処理構成例を概念的に示す図である。

【図4】本実施形態に係る肌診断システムのハードウェア構成を示す概念図である。

【図5】本実施形態に係る毛穴検出方法を示すフローチャートである。

【図6】毛穴追加ステップの詳細フローチャートである。

【図7】毛穴判定ステップ（Ｓ６２）及び毛穴位置追加ステップ（Ｓ６３）を実現する疑似コードを示す図である。

【図8】本実施形態における毛穴検出の流れを概念的に示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

【0011】

まず、本発明の実施の形態に係る毛穴検出方法の概要について図１を用いて説明する。
図１は、本実施形態に係る毛穴検出方法を示すフローチャートである。
毛穴については次のような知見がある。毛穴は毛包の視認可能な部分であり、毛穴の奥の毛包の上部に存在する脂腺から皮脂が分泌されている。常在菌の一つであるアクネ菌は、皮脂を好み代謝によりポルフィリンを産出するため、毛穴にはポルフィリンが存在する。
また、ポルフィリンは、紫外線により励起されて発光する物質として知られている。もちろん、毛穴に存在し紫外線により発光する物質にはポルフィリン以外もあり得る
本発明者らは、このような毛穴及びポルフィリンに関する知見に基づいて、ポルフィリンのような紫外線により発光する物質の存在を手掛かりにすれば毛穴の検出精度の向上が可能となるとの着想を得、本発明を想到した。
更に、毛穴には、通常の角栓の詰まっていない開いた毛穴に加えて、皮脂や角質により角栓が生じて詰まった状態になり、開いた毛穴も存在する。毛穴が詰まると皮脂が溜まりアクネ菌が増殖してニキビなどの皮膚疾患が生じることが知られている。このような詰まった状態の毛穴の奥にもポルフィリンのような紫外線により発光する物質は存在する。

【0012】

本実施形態に係る毛穴検出方法（以降、本方法と表記される場合もある）は、図１に示されるように、候補特定工程（Ｓ１１）と判定工程（Ｓ１２）とを含む。

【0013】

工程（Ｓ１１）では、紫外線を照射して撮像された紫外線肌画像中の発光位置に対応する明暗肌画像中の位置が候補位置として特定される。
ここで「紫外線肌画像」とは、紫外線が照射されている環境下において人の肌を撮像して得られた画像を意味する。例えば、「紫外線肌画像」は、紫外線照明を人の肌に照射している環境下でその肌をデジタルカメラで撮像することで得られる。このときのデジタルカメラは、可視光を撮像する一般的なデジタルカメラを用いる。
「紫外線肌画像中の発光位置」は、紫外線肌画像中の発光箇所の位置であり、例えば、当該画像中の輝度の高い位置がその発光位置とされる。即ち、ポルフィリンのように紫外線により発光する物質が存在する箇所が当該発光位置とされる。
「明暗肌画像」とは、上記「紫外線肌画像」とは異なる手法で人の肌を撮像して得られる画像であって、可視光領域での明暗情報を少なくとも含む画像を意味する。「明暗肌画像」としては、例えば、一般的なカラー画像、偏光フィルタなどを用いて撮像された偏光画像、グレースケール画像、白黒画像などが挙げられる。
紫外線肌画像と明暗肌画像とには、同一人物の肌の同一領域が少なくとも写っており、画像間で実際の肌の同一位置同士が対応付け可能となっていればよい。例えば、紫外線肌画像と明暗肌画像とは、同一人物の肌の同一領域を同一の画角で時間をずらして撮像された画像であってもよい。また、当該両画像は、同一人物の肌を異なる撮影方向より撮像した画像であってもよく、この場合には、二つの撮影方向に応じて、画像間で実際の肌の同一位置同士の対応付けが行われればよい。

【0014】

工程（Ｓ１２）では、上記明暗肌画像における上記候補位置の画素値に基づいて、その候補位置を毛穴位置とするか否かを判定する。
ここで「画素値」とは、或る画素の明るさを示す指標値を意味し、輝度値、明度値などである。工程（Ｓ１２）での判定の根拠とされる候補位置の画素値は、一画素の画素値であってもよいし、複数画素の中の最も暗い又は最も明るい画素の画素値であってもよいし、複数画素の画素値の平均値であってもよい。
角栓の詰まっていない毛穴であれば、窪みがあるため、明暗肌画像中のその毛穴の位置は暗くなっているはずである。一方、角栓が生じて詰まった状態の毛穴などのような毛穴の場合、明暗肌画像中のその毛穴の位置は暗くなっていない場合があり得る。
そこで、例えば、明暗肌画像における工程（Ｓ１１）で特定された候補位置の画素値が所定の暗さを示す場合、その候補位置は、開いた毛穴位置と判定することができる。
このように、本実施形態では、ポルフィリンのような発光物質が存在する位置であって、かつ、所定の暗さを示す位置が毛穴位置と判定されるため、毛穴を高精度に検出することができる。

【0015】

ところで、明暗肌画像の撮影環境や撮影部位によっては、起伏などにより、毛穴以外の箇所も毛穴と同様に暗く写っている可能性がある。そこで、当該候補位置の画素値のみでなくその周辺の画素値も参照して、当該候補位置がその周辺よりも暗いか否かで当該候補位置が開いた毛穴位置であるか否かを判定する。具体的には、判定工程（Ｓ１２）において、当該明暗肌画像における当該候補位置から所定距離離れた位置の画素値とその候補位置の画素値との差分が所定閾値を超えている場合に、その候補位置を毛穴位置と決定してもよい。このようにすれば、ポルフィリンのような紫外線による発光物質が存在する位置であって、かつ、周囲よりも暗い箇所即ち窪みのある箇所が開いた毛穴位置として判定されるため、高精度に毛穴位置を特定することができる。

【0016】

上述の本実施形態に係る毛穴検出方法は、例えば、図２及び図３に例示される毛穴検出装置により実行可能である。
図２は、本実施形態に係る毛穴検出装置１０のハードウェア構成例を概念的に示す図である。
毛穴検出装置１０は、いわゆるコンピュータであり、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。毛穴検出装置１０を形成する各ハードウェア要素の数はそれぞれ制限されず、これらハードウェア要素は情報処理回路と総称することもできる。また、毛穴検出装置１０は、図２に図示されないハードウェア要素を含んでもよく、そのハードウェア構成は制限されない。

【0017】

ＣＰＵ１１は、一般的なＣＰＵ以外に、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等で構成してもよい。
メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。
入出力Ｉ／Ｆ１３は、出力装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。出力装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置、印刷装置などの少なくとも一つである。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。出力装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。
通信ユニット１４は、他のコンピュータとの通信網を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。また、通信ユニット１４には、紫外線肌画像若しくは明暗肌画像のいずれか一方又はその両方を撮影するカメラ（図示せず）が接続されてもよい。
また、毛穴検出装置１０は、カメラを内蔵する機器であってもよい。

【0018】

図３は、本実施形態に係る毛穴検出装置１０の処理構成例を概念的に示す図である。
毛穴検出装置１０は、取得部２１、候補特定部２２、及び判定部２３を有する。これら処理モジュールは、ソフトウェア要素であり、例えば、メモリ１２に格納されるプログラムがＣＰＵ１１により実行されることにより実現される。このプログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納されてもよい。

【0019】

取得部２１は、紫外線照射下で撮像された紫外線肌画像及びこの紫外線肌画像とは異なる手法で撮像された明暗肌画像を取得する。「紫外線肌画像」及び「明暗肌画像」の意味するところは上述したとおりである。
取得部２１は、紫外線肌画像及び明暗肌画像を外部のコンピュータ、機器、可搬型記録媒体などから入出力Ｉ／Ｆ１３又は通信ユニット１４を介して取得することができる。また、取得部２１がカメラとして実現されている場合、取得部２１が撮像しその両画像を生成してもよい。
候補特定部２２は、取得部２１により取得された紫外線肌画像中の発光位置に対応する明暗肌画像中の位置を候補位置として特定する。候補特定部２２の処理内容は、上述の候補特定工程（Ｓ１１）と同様でよい。
判定部２３は、明暗肌画像における当該候補位置の画素値に基づいて、当該候補位置を毛穴位置とするか否かを判定する。判定部２３の処理内容は、上述の判定工程（Ｓ１２）と同様でよい。

【0020】

以下、本発明の好適な実施形態（以降、本実施形態と表記する）をより詳細に説明する。
本実施形態に係る毛穴検出方法は、ソフトウェアプログラムが図４に示される肌診断システム３０上で実行されることにより、肌を撮影した画像を用いて行う肌診断の一部として実現される。本実施形態に係る毛穴検出方法が実行されるとき、肌診断システム３０の全体又はその一部は毛穴検出装置と呼ぶこともできる。

【0021】

図４は、本実施形態に係る肌診断システム３０のハードウェア構成を示す概念図である。
肌診断システム３０は、撮像装置３１、投光器３２、情報処理装置３３、タッチパネル３４、ポルフィリン画像撮像装置３５等を有する。
撮像装置３１は、被験者Ｓの顔などの肌表面を撮影する。撮像装置３１には撮像する光を偏波面にて選択するための撮像用偏光フィルタ３６が設けられている。
投光器３２は、被験者Ｓの顔などの肌表面に撮影用の光を投光する。投光器３２には、被験者Ｓに投光する光の偏波面を選択するための投光用偏光フィルタ３７が設けられている。
情報処理装置３３は、撮像装置３１にて撮影された肌表面の画像を用いて肌診断のための各種演算などを行う。情報処理装置３３は、パーソナルコンピュータなどの汎用のコンピュータ装置である。情報処理装置３３には、図２に例示されるような、各種プログラムや撮影された肌表面の画像を記憶するための外部記憶装置（メモリ１２）や診断結果を印刷するための図示しないプリンタ（出力装置１５）が設けられている。
タッチパネル３４は、撮影された肌表面の画像や肌診断の結果などを表示する表示手段として機能するとともに肌診断システム３０の利用者が情報処理装置３３に対して各種の命令を入力する入力手段として機能する。
ポルフィリン画像撮像装置３５は、ポルフィリン画像を撮像する。例えば、ポルフィリン画像撮像装置３５は、紫外線を照射して可視光領域を取得するカメラである。
「ポルフィリン画像」とは、上述の紫外線肌画像と同意である。

【0022】

このような肌診断システム３０の情報処理装置３３においてプログラムが起動され実行されることにより各種の公知の肌診断が実行されるとともに、本実施形態に係る毛穴検出方法が実行される。情報処理装置３３は上述の毛穴検出装置１０に相当する。

【0023】

以下、本実施形態に係る毛穴検出方法について図５及び図６を用いて説明する。
図５は、本実施形態に係る毛穴検出方法を示すフローチャートである。
本実施形態では、情報処理装置３３において毛穴表示プログラムＰ０が実行されることで、次のような毛穴検出方法が実行される。

【0024】

本実施形態では、最初に毛穴検出ステップ（Ｓ５１）が実行される。続いて、ポルフィリン位置検出ステップ（Ｓ５２）が実行される。そして、検出されたポルフィリンの位置が毛穴であるか否かが判定され、毛穴であると判定された場合に毛穴検出ステップ（Ｓ５１）にて検出された毛穴位置に当該位置を追加して新たな毛穴位置とする毛穴追加ステップ（Ｓ５３）が実行される。最終的に、決定された毛穴位置を肌の画像上に重なるように表示するための毛穴位置書き込み処理ステップ（Ｓ５４）が実行される。

【0025】

以下、上述の各ステップについてより詳細に説明する。
毛穴検出ステップ（Ｓ５１）では、投光用偏光フィルタ３７による偏波面と撮像用偏光フィルタ３６による偏波面とを一致させて撮像した所謂Ｓ偏光画像（Ｓ−Ｓ偏光画像とも呼ばれる）を元画像（表面反射光画像）とし、ガウシアンフィルタなどの低域濾過を施した画像と元画像の差分を取り二値化することで毛穴画像とする処理が行われる。この処理により、被験者Ｓの肌の毛穴画像の暗部を毛穴として検出することができる。
また、上記元画像としての表面反射光画像は、次のようにして取得されてもよい。上記Ｓ−Ｓ偏光画像とＳ偏光を投射しＰ偏光を撮像して得られる偏光画像（Ｓ−Ｐ偏光画像）との差分を取ることにより、表面反射光成分以外のノイズを更に抑えた表面反射光画像を取得してもよい。また、Ｐ偏光を投射しＳ偏光を撮像して得られるＰ−Ｓ偏光画像と、Ｐ偏光を投射しＰ偏光を撮像して得られるＰ−Ｐ偏光画像とを更に用いて、表面反射光画像を取得するようにしてもよい。もちろん、表面反射光画像の取得手法についても制限されない。
毛穴検出ステップ（Ｓ５１）は、毛穴画像の暗部を毛穴として検出することにより、肌の表面反射光画像中の毛穴位置を特定する。即ち、毛穴検出ステップ（Ｓ５１）は、位置特定工程と呼ぶこともできる。なお、毛穴検出ステップ（Ｓ５１）では、従来の毛穴検出手法を利用することができる。

【0026】

ポルフィリン位置検出ステップ（Ｓ５２）では、ポルフィリン画像撮像装置３５により撮像されたＵＶ（Ultra Violet）画像（ポルフィリン画像）を用い、紫外線照射によりポルフィリンが発光することを利用してポルフィリンの位置検出が行われる。具体的には、ＵＶ画像（ポルフィリン画像）においてポルフィリンを検出し、ポルフィリンのまとまり毎に、中心位置即ち直交する二方向の中点、又は重心位置を求め、ポルフィリンの位置とする。ＵＶ画像中のポルフィリンは、所定閾値以上の輝度を示す画素として検出され、ポルフィリンの位置は、対象画素の位置として特定される。このポルフィリン位置検出ステップ（Ｓ５２）が実行されることで、複数のポルフィリン位置を示すポルフィリン位置テーブルが情報処理装置４の内部に形成される。このポルフィリン位置テーブルに格納されるポルフィリン位置が上述の候補位置に相当する。
ここで、ステップ（Ｓ５２）で用いられるＵＶ画像とステップ（Ｓ５１）で用いられる元画像（表面反射光画像）とが、異なる撮影方向で被験者Ｓの肌を撮像して得られた画像である場合、ＵＶ画像中のポルフィリン位置と元画像中の毛穴位置との間で位置合わせが行われる。この位置合わせでは、実際の肌の同一箇所同士が同一位置とされる。
以降、工程（Ｓ５２）で検出されたポルフィリン位置は、工程（Ｓ５１）で検出された毛穴位置と同一座標系に位置合わせされたものとして説明する。

【0027】

このポルフィリン位置検出ステップ（Ｓ５２）で検出されたポルフィリンの位置を用いて、毛穴追加ステップ（Ｓ５３）が実行される。
図６は、毛穴追加ステップの詳細フローチャートである。ここで毛穴追加ステップ（Ｓ５３）が、毛穴表示プログラムＰ０の一部の定義済み処理、所謂サブルーチンとして実現される例を示すが、図５に示される他のステップと一連のステップとして、図６に示される以下のステップが実現されてもよいことは言うまでもない。

【0028】

毛穴追加ステップ（Ｓ５３）では、最初にポルフィリン位置ポインタ初期化処理ステップ（ポインタ初期化ステップ）（Ｓ６１）が実行される。ポインタ初期化ステップ（Ｓ６１）では、ポルフィリン位置テーブルの先頭を示すアドレスがポインタにセットされる。
続いて、当該ポインタが指し示す対象ポルフィリン位置に関して毛穴判定ステップ（Ｓ６２）が実行される。毛穴判定ステップ（Ｓ６２）では、工程（Ｓ５１）で用いられた元画像（表面反射光画像）における対象ポルフィリン位置とこの対象ポルフィリン位置から所定距離δ離れた位置との輝度を画像の垂直方向及び水平方向において比較する。そして、δ離れた位置の輝度が予め定めた閾値ＴＨ以上の差をもって明るい（大きい）とき、即ち対象ポルフィリン位置の輝度が周辺より当該閾値ＴＨ以上の差をもって暗い（小さい）とき、対象ポルフィリン位置は毛穴であると判定し（Ｓ６２；Ｙ）、そうでない場合には対象ポルフィリン位置は毛穴でないと判定する（Ｓ６２；Ｎ）。ここで輝度の比較に用いられる画像は、上述のとおり元画像（表面反射光画像）であってもよいし、その元画像から得られた毛穴画像（二値化後の画像）であってもよい。
ここで所定距離δは、輝度の違いが明らかになる距離として適宜定めるが、本実施形態では解像度なども考慮して実際の肌における０．０５〜１ｍｍの範囲で設定されることが望ましい。

【0029】

対象ポルフィリン位置が毛穴と判定された場合（Ｓ６２；Ｙ）、毛穴位置追加ステップ（Ｓ６３）が実行され、その後、ポインタ更新ステップ（Ｓ６４）が実行される。一方、対象ポルフィリン位置が毛穴でないと判定された場合（Ｓ６２；Ｎ）、ステップ（Ｓ６３）が実行されることなく、ポインタ更新ステップ（Ｓ６４）が実行される。
図７は、毛穴判定ステップ（Ｓ６２）及び毛穴位置追加ステップ（Ｓ６３）を実現する疑似コードを示す図である。
図７においてＩ（ｘ，ｙ）は、元画像（表面反射光画像）におけるポルフィリン位置（ｘ，ｙ）の画素値を返す関数である。毛穴判定ステップ（Ｓ６２）を実現する判定コード（ＩＦ文）により、ポルフィリン位置（ｘ，ｙ）の画素値Ｉ（ｘ，ｙ）と周囲四方向の画素値Ｉ（ｘ＋δ，ｙ）、Ｉ（ｘ，ｙ＋δ）、Ｉ（ｘ−δ，ｙ）、及びＩ（ｘ，ｙ−δ）とがそれぞれ比較されている。周囲四方の画素値が全てポルフィリン位置の画素値よりも所定閾値ＴＨよりも大きい（明るい）場合に、毛穴位置追加ステップ（Ｓ６３）を実現するコードが実行される。
「ａｄｄ（ｘ，ｙ） ｔｏ Ｋｅａｎａ」は、毛穴位置追加ステップ（Ｓ６３）を実現するコードであり、毛穴位置テーブルに新たな毛穴位置（ｘ，ｙ）を追加する。なお、この毛穴位置の追加コードにおいて、毛穴検出ステップ（Ｓ５１）で既に検出されている毛穴位置と同じ毛穴位置（ｘ，ｙ）が指定された場合には、毛穴位置の追加は行われなくてもよい。
ポインタ更新ステップ（Ｓ６４）では、上記ポインタに、ポルフィリン位置テーブルの次のポルフィリン位置を示すアドレスがセットされる。

【0030】

毛穴判定ステップ（Ｓ６２）、毛穴位置追加ステップ（Ｓ６３）、及びポインタ更新ステップ（Ｓ６４）は、上記ポインタにセットすべきポルフィリン位置を示すアドレスがポルフィリン位置テーブルになくなるまで実行される。
上記ポインタにセットすべきポルフィリン位置を示すアドレスがポルフィリン位置テーブルになくなると（Ｓ６５；Ｙ）、即ち、全ての候補位置について毛穴か否かの判定が行われると、当該サブルーチンから抜け、図５に示される毛穴位置書込ステップ（Ｓ５４）が実行される。

【0031】

ここで、毛穴位置追加ステップ（Ｓ６３）において、毛穴検出ステップ（Ｓ５１）で特定された毛穴位置であっても、ポルフィリン位置と合致しない毛穴位置については、最終的な毛穴位置から除外してもよい。このようにすれば、表面反射光画像に基づく毛穴の誤検出をポルフィリン位置により補うことができる。

【0032】

毛穴位置書込ステップ（Ｓ５４）では、毛穴検出ステップ（Ｓ５１）で特定された毛穴位置及び毛穴追加ステップ（Ｓ５３）で追加された毛穴位置に基づいて、ステップ（Ｓ５１）で用いられた被験者Ｓの肌の元画像（表面反射光画像）上に毛穴が存在することを示す情報を書き込む。具体的には、毛穴位置に相当する位置を中心として囲む赤い円を当該表面反射光画像に書き込む。例えば、当該赤い円は、実際の肌における直径約０．１ｍｍ〜１ｍｍに相当する大きさで描かれる。
以降、毛穴位置書込ステップ（Ｓ５４）で生成された画像を毛穴検出画像と表記する場合もある。

【0033】

図８は、本実施形態における毛穴検出の流れを概念的に示す図である。図８に示されるように、本実施形態では、被験者Ｓの肌の表面反射光画像に基づいて毛穴が検出され、かつ、被験者Ｓの肌のＵＶ画像で表示されるポルフィリン位置に基づいて毛穴が検出され、それらが合わせられることで、トータルの毛穴位置とされる。
これにより、本実施形態によれば、元画像（表面反射光画像）からは検出できない毛穴をポルフィリンの位置により補足することができるため、毛穴の検出をより確実にもれなく行うことができる。

【0034】

上述の毛穴検出方法を実行する情報処理装置３３は、図３に示される取得部２１、候補特定部２２、及び判定部２３に加えて、位置特定部（図示せず）、決定部（図示せず）を更に備えるということもできる。
本実施形態では、取得部２１は、ＵＶ画像（ポルフィリン画像）及び元画像を取得する。
候補特定部２２は、ポルフィリン位置検出ステップ（Ｓ５２）を実行する。
判定部２３は、ステップ（Ｓ６２）を実行する。即ち、判定部２３は、元画像（表面反射光画像）における候補位置から所定距離δ離れた位置の画素値と候補位置の画素値との差分が所定閾値ＴＨを超えている場合に、その候補位置を毛穴位置と決定する。
位置特定部は、毛穴検出ステップ（Ｓ５１）を実行する。
決定部は、毛穴追加ステップ（Ｓ５３）を実行する。即ち、決定部は、判定部２３により決定された毛穴位置と位置特定部により特定された毛穴位置との双方を毛穴位置と決定する。

【0035】

しかしながら、本実施形態は、上述の内容に限定されない。
例えば、重複した判断をさけるため、毛穴追加ステップ（Ｓ５３）の前に、毛穴検出ステップ（Ｓ５１）で検出された毛穴位置をポルフィリン位置テーブルから除くステップを追加してもよい。即ち、毛穴検出ステップ（Ｓ５１）（位置特定工程）で特定された毛穴位置以外を、毛穴追加ステップ（Ｓ５３）で追加対象とするポルフィリン位置（候補位置）として特定してもよい。同様に、情報処理装置３３の候補特定部２２は、位置特定部により特定された毛穴位置以外を候補位置として特定してもよい。

【0036】

また、毛穴検出ステップ（Ｓ５１）を省いてもよい。この場合、ポルフィリン画像（ＵＶ画像）上のポルフィリンの位置から元画像中の対応する位置を求め候補位置とし、かかる候補位置の周辺に対する明度を元画像において判定し、明度が所定量以上低ければ候補位置を毛穴位置としてもよい。
また、いずれのステップにおいても、毛穴位置および候補位置として一つの画素とするのではなく、複数の画素を一まとまりの領域として扱うこともできる。例えば、ポルフィリン位置検出ステップ（Ｓ５２）において、ＵＶ画像（ポルフィリン画像）上のポルフィリンが検出され、ポルフィリンのまとまり毎に一以上の位置が特定される。そして、特定された位置ごとに毛穴判定ステップ（Ｓ６２）が実行され、ポルフィリンの一まとまりに含まれる所定数（例えば、一つ）以上の位置が毛穴と判定された場合には、そのポルフィリンの一まとまりにおけるその位置が毛穴位置として追加されてもよい（毛穴位置追加ステップ（Ｓ６３））。

【0037】

また、毛穴位置が示される画像は、毛穴検出ステップ（Ｓ５１）で用いられる元画像（表面反射光画像）でなくてもよく、被験者Ｓの対象部位の肌が写る他の画像（カラー画像、グレースケール画像、白黒画像）であってもよい。
また、ポルフィリンの位置を検出するポルフィリン画像（ＵＶ画像）の撮像に用いる波長や偏波面についても、その検出のアルゴリズムを含め上記実施形態とは異なる種々の方法に依ることができる。
また、毛穴位置の示し方についても、画像上に重ねて毛穴位置を示す以外に、毛穴位置の情報を直接座標値として示す例えば表形式で示してもよい。そのほか、本実施形態では、発明の本質を損なわない範囲で、新たな処理を付加し、各ステップの順序や具体的処理内容を変更し、得られた結果を表示する方法を変え、あるいは得られた結果の活用方法を変えることもできる。

【0038】

例えば、本実施形態に係る毛穴検出方法は、図５に示される毛穴検出方法のフローに加えて、又は、毛穴位置書込ステップ（Ｓ５４）に替えて、決定された毛穴位置に基づいて、毛穴の数、面積、又は形状に関する毛穴情報を生成する工程を更に含んでもよい。
この場合、毛穴の面積及び形状は、例えば、次のようにして決定され得る。
ポルフィリン位置検出ステップ（Ｓ５２）において、ＵＶ画像（ポルフィリン画像）上のポルフィリンが検出され、ポルフィリンのまとまり毎にその面積（画素数）又は形状情報が求められ、ポルフィリン位置テーブルにポルフィリン位置と共にその面積又は形状情報が格納されればよい。形状情報として円形度などが算出されればよい。ポルフィリンのまとまりは、ポルフィリンを示す画素の連なりを検出する周知の手法で検出可能である。そして、毛穴位置追加ステップ（Ｓ６３）において、毛穴と決定された位置と共にその面積又は形状が保持されればよい。他の手法として、元画像又は毛穴画像におけるポルフィリン位置とその周辺との画素値の比較により、毛穴の面積（画素数）又は形状情報が求められてもよい。
また、判定する方向を４方向としたが、２〜８方向の範囲で行うことが好ましい。
この場合、生成される毛穴情報に応じて、毛穴判定ステップ（Ｓ６２）で用いられる所定距離δ又は輝度の閾値ＴＨ（所定閾値）が定められてもよい。例えば、毛穴の数が毛穴情報として生成される場合には、面積又は形状が毛穴情報として生成される場合と比較して、所定距離δが小さくかつ所定閾値ＴＨが小さく設定されてもよい。即ち、複数種の毛穴情報（例えば、数と面積）は、相互に異なる複数の所定距離δ又は所定閾値ＴＨの各々を用いて生成されてもよい。
この場合、情報処理装置３３は、判定部２３により決定された毛穴位置に基づいて、毛穴の数、面積又は形状に関する毛穴情報を生成する生成部（図示せず）を更に備えればよい。そして、生成部は、例えば、相互に異なる複数の所定距離又は所定閾値の各々について、複数種の毛穴情報を生成することができる。

【0039】

また、毛穴追加ステップ（Ｓ５３）中の毛穴判定ステップ（Ｓ６２）では、次のように毛穴か否かが判定されてもよい。即ち、ポルフィリン位置検出ステップ（Ｓ５２）で検出されたＵＶ画像（ポルフィリン画像）上のポルフィリン（発光位置）の発光量、面積及び形状の中の一つ又は二つ以上に基づいて、工程（Ｓ５１）で用いられた元画像（表面反射光画像）における対象ポルフィリン位置が毛穴であるか否かを判定してもよい。同様に、判定工程（Ｓ１２）では、紫外線肌画像中の発光位置の発光量、面積及び形状の中の一つ又は二つ以上に基づいて、候補特定工程（Ｓ１１）で特定された候補位置を毛穴位置とするか否かを判定してもよい。
この場合、毛穴検出装置１０の判定部２３又は情報処理装置３３の判定部２３は、このような毛穴判定ステップ（Ｓ６２）又は判定工程（Ｓ１２）を実行すればよい。
ここで、ポルフィリン画像上のポルフィリン（発光位置）の発光量は、ポルフィリン画像上の対応位置の画素値により算出可能であり、例えば、輝度とされてもよい。また、当該ポルフィリンの面積及び形状は、ポルフィリン画像上のポルフィリン画素（発光位置）の画素数や並び方により決定可能である。
このようなポルフィリン画像上のポルフィリン（発光位置）の発光量、面積及び形状の少なくとも一つに基づく毛穴判定は、上述の実施形態の判定に加えて実行されてもよいし、上述の実施形態の判定に替えて実行されてもよい。後者の場合、毛穴検出ステップ（Ｓ５１）は実行されなくてもよい。なお、個々の毛穴ごとに発光面積を求めてこれにより各種の評価をすることもできる。

【実施例】

【0040】

或る被験者の鼻部と頬部とに関して、上述の実施形態に係る毛穴検出方法を適用したところ、次のような検出結果が得られた。
鼻部については、Ｓ偏光画像（表面反射光画像）に基づいて８４個の毛穴が検出され、ポルフィリン画像（ＵＶ画像）から検出されたポルフィリン位置を考慮することで、最終的に、５８５個の毛穴が検出された。この結果によれば、５０１個の毛穴がポルフィリン位置により補足されている。鼻部は起伏があるため、表面反射光画像のみでは検出できない毛穴がポルフィリン位置により検出できていることが検証された。
頬部については、Ｓ偏光画像（表面反射光画像）に基づいて１７６個の毛穴が検出され、ポルフィリン画像（ＵＶ画像）から検出されたポルフィリン位置を考慮することで、最終的に、５８５個の毛穴が検出された。この結果によれば、４０９個の毛穴がポルフィリン位置により補足されている。頬部は鼻部よりは起伏が少ないが、そのような起伏が少ない部位であっても、表面反射光画像のみでは検出できない毛穴があり、そのような毛穴がポルフィリン位置により検出できていることが検証された。
なお、本実施例では、毛穴の数に加えて、円形度（０．８８１）及び平均面積（９５．７６）が毛穴情報として生成された。
また、Ｓ偏光画像（表面反射光画像）及びポルフィリン画像（ＵＶ画像）の解像度は、３６４８×５４７２ピクセル（１ピクセル＝３５μｍ）とされた。

【0041】

上記の実施形態及び変形例の一部又は全部は、次のようにも特定され得る。但し、上述の実施形態及び変形例が以下の記載に制限されるものではない。

【0042】

＜１＞紫外線照射下で撮像された紫外線肌画像中の発光位置に対応する明暗肌画像中の位置を候補位置として特定する候補特定工程と、
前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定工程と、
を含む毛穴検出方法。

【0043】

＜２＞前記判定工程では、前記明暗肌画像における前記候補位置から所定距離離れた位置の画素値と該候補位置の画素値との差分が所定閾値を超えている場合に、該候補位置を毛穴位置と決定する、
＜１＞に記載の毛穴検出方法。
＜３＞前記判定工程で決定された毛穴位置に基づいて、毛穴の数、面積又は形状に関する毛穴情報を生成する工程、
を更に含み、
複数種の前記毛穴情報は、相互に異なる複数の前記所定距離又は前記所定閾値を用いて生成される、
＜２＞に記載の毛穴検出方法。
＜４＞肌の表面反射光画像に基づいて毛穴位置を特定する位置特定工程と、
前記判定工程において決定された毛穴位置と前記位置特定工程で特定された毛穴位置との双方を毛穴位置と決定する決定工程と、
を更に含む＜１＞から＜３＞のいずれか一つに記載の毛穴検出方法。
＜５＞前記位置特定工程を前記候補特定工程に先んじて行い、前記候補特定工程では、前記位置特定工程で特定された毛穴位置以外を前記候補位置として特定する、
＜４＞に記載の毛穴検出方法。
＜６＞前記判定工程では、前記紫外線肌画像中の前記発光位置の発光量、面積及び形状の少なくとも一つに基づいて、前記候補位置を毛穴位置とするか否かを判定する、
＜１＞から＜５＞のいずれか一つに記載の毛穴検出方法。
＜７＞紫外線照射下で撮像された紫外線肌画像及び該紫外線肌画像とは異なる手法で撮像された明暗肌画像を取得する取得手段と、
前記取得手段により取得された紫外線肌画像中の発光位置に対応する前記明暗肌画像中の位置を候補位置として特定する候補特定手段と、
前記明暗肌画像における前記候補位置の画素値に基づいて、前記候補位置を毛穴位置とするか否かを判定する判定手段と、
を備える毛穴検出装置。
＜８＞前記判定手段は、前記明暗肌画像における前記候補位置から所定距離離れた位置の画素値と該候補位置の画素値との差分が所定閾値を超えている場合に、該候補位置を毛穴位置と決定する、
＜７＞に記載の毛穴検出装置。
＜９＞前記判定手段により決定された毛穴位置に基づいて、毛穴の数、面積又は形状に関する毛穴情報を生成する生成手段、
を更に備え、
前記生成手段は、相互に異なる複数の前記所定距離又は前記所定閾値の各々を用いて、複数種の前記毛穴情報を生成する、
＜８＞に記載の毛穴検出装置。
＜１０＞肌の表面反射光画像に基づいて毛穴位置を特定する位置特定手段と、
前記判定手段により決定された毛穴位置と前記位置特定手段により特定された毛穴位置との双方を毛穴位置と決定する決定手段と、
を更に備える＜７＞から＜９＞のいずれか一つに記載の毛穴検出装置。
＜１１＞前記候補特定手段は、前記位置特定手段で特定された毛穴位置以外を前記候補位置として特定する、
＜１０＞に記載の毛穴検出装置。
＜１２＞前記判定手段は、前記紫外線肌画像中の前記発光位置の発光量、面積及び形状の少なくとも一つに基づいて、前記候補位置を毛穴位置とするか否かを判定する、
＜７＞から＜９＞のいずれか一つに記載の毛穴検出装置。

【符号の説明】

【0044】

１０ 毛穴検出装置
１１ ＣＰＵ
１２ メモリ
１３ 入出力Ｉ／Ｆ
１４ 通信ユニット
１５ 出力装置
１６ 入力装置
２１ 取得部
２２ 候補特定部
２３ 判定部
３０ 肌診断システム
３１ 撮像装置
３２ 投光器
３３ 情報処理装置
３４ タッチパネル
３５ ポルフィリン撮像装置
３６ 撮像用偏光フィルタ
３７ 投光用偏光フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】