▶ 花王株式会社の特許一覧 ▶ 国立大学法人 千葉大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-24
(45)【発行日】2022-11-01
(54)【発明の名称】皮膚毛細血管の撮影及び解析方法
(51)【国際特許分類】
A61B 5/026 20060101AFI20221025BHJP
A61B 10/00 20060101ALI20221025BHJP
G02B 21/24 20060101ALI20221025BHJP
G02B 21/06 20060101ALI20221025BHJP
【ＦＩ】
A61B5/026 120
A61B5/026 ZDM
A61B10/00 E
G02B21/24
G02B21/06
【請求項の数】
1
(21)【出願番号】P 2018241219
(22)【出願日】2018-12-25
(65)【公開番号】P2020099591
(43)【公開日】2020-07-02
【審査請求日】2021-11-16
【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）平成３０年３月１２日 「信学技報，Ｖｏｌ．１１７，ｎｏ．５１８，ＭＩ２０１７－９５，ｐｐ．１０５－１０８，２０１８年３月」に発表 （２）平成３０年３月２０日 「電子情報通信学会医用画像研究会 メディカルイメージング連合フォーラム」（石垣島ホテルミヤヒラ）にて発表
(73)【特許権者】
【識別番号】000000918
【氏名又は名称】花王株式会社
(73)【特許権者】
【識別番号】304021831
【氏名又は名称】国立大学法人千葉大学
(74)【代理人】
【識別番号】110000084
【氏名又は名称】特許業務法人アルガ特許事務所
(72)【発明者】
【氏名】瀧本 麦
(72)【発明者】
【氏名】羽石 秀昭
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開２０１０－１８７９２５（ＪＰ，Ａ）
【文献】特開２０１６－２１４５６７（ＪＰ，Ａ）
【文献】特開２０１７－２９３２４（ＪＰ，Ａ）
【文献】特開２０１３－３１５０２（ＪＰ，Ａ）
【文献】特開２００３－１６４４３１（ＪＰ，Ａ）
【文献】国際公開第２０１２／０７３８６３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００ － ５／０３
Ａ６１Ｂ ５／０６ － ５／２２
Ａ６１Ｂ １０／００
Ｇ０２Ｂ ２１／００ － ２１／３６
Ｇ０２Ｂ １３／００ － １３／２６
(57)【特許請求の範囲】
【請求項1】
視野長さが５～１２ｍｍであり、水平分解能を視野の長さで割った値が０．８［μｍ／ｍｍ］以下となる広視野且つ高解像度の撮像光学系と、光源からの照射光をレンズの光軸に対して４０～７５°の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ロバスト主成分分析を用いて動画像の血流成分を抽出する処理、抽出した血流成分を用いて血管領域を限定する処理、及び血管領域内にオプティカルフローを用いてフレーム間の血流成分の変位を算出する処理、を行うことにより毛細血管内の血流速度を算出する工程を含む、皮膚毛細血管画像の解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、皮膚毛細血管の動画像を解析する方法に関する。
【背景技術】
【0002】
ヒトの皮膚は、表皮、真皮及びその付属器官（汗腺等）より構成されている。表皮は最表層に位置する厚さ１００～２００μｍ程度の組織であり、体内側より順に、基底層・有棘層・顆粒層・角層の４層より構成されている。最も上層に位置する角層は、外界からの刺激に対する防御の最前線であり、生体の恒常性を維持する上で重要な役割を担っている。また角層は美容的にも重要な部位である。即ち、皮溝、皮丘、キメ又は肌荒れ、毛孔、シワ、シミ、日焼けといった状態や現象は、角層構造の乱れや角層組成の変化等と密接に関連する。従って健康な肌や、美しい肌を実現するには、角層を良い状態に維持する必要がある。
【0003】
基底層で作られたケラチノサイトが角化し、有棘層、顆粒層を経て扁平な角層細胞に分化することによって角層は形成される。表皮（基底層・有棘層・顆粒層・角層）には毛細血管が存在しないため、ケラチノサイトの代謝・分化に必要な酸素や栄養素は、表皮下にある真皮の血管系より供給される。具体的には、表皮・真皮境界にある乳頭構造中の毛細血管や、乳頭外にある表皮近傍の毛細血管が、供給の最終段の役割を担っている。
【0004】
これらの毛細血管には、常に血液が流れているわけではない。皮膚の状況に応じて、毛細血管に流れる血液量は制御されていると考えられている。例えば、表皮代謝が活発な部位では、毛細血管に流れる血液量が大きくなっていると考えられる。
【0005】
このように表皮近傍の毛細血管における血流挙動は、１）表皮におけるケラチノサイトの代謝や分化に直接的な影響を及ぼす因子であり、２）角層の状態に間接的に寄与する因子であり、３）最終的には、健康で美しい肌の実現に寄与する因子であると考えられている。従って、皮膚毛細血管での血流状態を把握することは、皮膚の健康状態の把握、肌荒れ等の皮膚トラブルの原因の究明、皮膚の状態を改善する物質や物理的作用の評価等に有用である。
【0006】
従来、皮膚毛細血管での血流状態を観察する手法として、光学顕微鏡観察が知られている。しかし、毛細血管（直径５～２０μｍ）の血流を観測できる解像度を得るには、観察視野は通常数ｍｍ２しか確保できない。一般に毛細血管の形状や分布は不均一であり、このように狭い領域の一回の観察結果からは、その皮膚の毛細血管の血流状態を的確に把握することができない。そのため有意な結果を得るには多数回の観察が必要となり、測定者や被験者に多大な負担を強いることとなる。
例えば、非特許文献１では、口腔粘膜の毛細血管を顕微鏡で撮影した動画像に対して、画像解析することにより血流速度を算出することが開示されている。しかしながら、顕微鏡撮像画像を対象としていることからその視野は狭く（１ｍｍ×０．７ｍｍ）、少数の毛細血管の解析しかできない。
例えば、非特許文献１では、口腔粘膜の毛細血管を顕微鏡で撮影した動画像に対して、画像解析することにより血流速度を算出することが開示されている。しかしながら、顕微鏡撮像画像を対象としていることからその視野は狭く（１ｍｍ×０．７ｍｍ）、少数の毛細血管の解析しかできない。
【0007】
また、特許文献１では、スキャナを用いた画像取得システムにより、被験者の身体部位の皮膚表面をスキャンしてスキャン画像を取得し、当該スキャン画像中に再現された毛細血管等の画像情報に基づき顕微鏡観察の視野を特定する方法が開示されている。しかしながら、当該技術は毛細血管の動画像を、広視野且つ高解像度で直接撮影するものではなく、毛細血管における血流速度の解析技術を開示するものでもない。
【先行技術文献】
【特許文献】
【0008】
【文献】特開２０１６－２１４５６７公報
【非特許文献】
【0009】
【文献】Dobbe, J.G.G. et al. Medical and Biological Engineering and Computing 2008 46(7), pp. 659-670.
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明は、多数の皮膚毛細血管の動画像から、各毛細血管の血流速度を同時かつ自動的に算出可能な、皮膚毛細血管の解析方法を提供することに関する。
【課題を解決するための手段】
【0011】
すなわち、本発明は、以下に係るものである。
視野長さが５～１２ｍｍであり、水平分解能を視野の長さで割った値が０．８［μｍ／ｍｍ］以下となる広視野且つ高解像度の撮像光学系と、光源からの照射光をレンズの光軸に対して４０～７５°の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ロバスト主成分分析を用いて動画像の血流成分を抽出する処理、抽出した血流成分を用いて血管領域を特定する処理、及び特定した血管領域内にオプティカルフローを用いてフレーム間の血流成分の変位を算出する処理を行うことにより、毛細血管内の血流速度を算出する工程を含む、皮膚毛細血管画像の解析方法。
視野長さが５～１２ｍｍであり、水平分解能を視野の長さで割った値が０．８［μｍ／ｍｍ］以下となる広視野且つ高解像度の撮像光学系と、光源からの照射光をレンズの光軸に対して４０～７５°の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で皮膚毛細血管の動画像を撮影する工程と、該工程で撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いて動画像のフレーム間の位置合わせをする処理、ロバスト主成分分析を用いて動画像の血流成分を抽出する処理、抽出した血流成分を用いて血管領域を特定する処理、及び特定した血管領域内にオプティカルフローを用いてフレーム間の血流成分の変位を算出する処理を行うことにより、毛細血管内の血流速度を算出する工程を含む、皮膚毛細血管画像の解析方法。
【発明の効果】
【0012】
本発明の方法によれば、皮膚毛細血管を広視野・高解像度で動画撮影し、撮影した動画像に対して画像解析を行うことにより、多数の毛細血管の血流速度を同時かつ自動的に算出できる。これにより、少数の撮影回数で、皮膚毛細血管の血流速度を精度良く解析することが可能となる。
【図面の簡単な説明】
【0013】
【図1】皮膚状態の観察装置の全体構成図。
【図2】皮膚状態の観察装置の全体構成図。
【図3】Ａ：斜入射リング照明系の外観図、Ｂ：斜入射照明系の外観図、Ｃ：入射角の定義。
【図4】皮膚接触部の部分拡大図。
【図5】皮膚毛細血管の画像例。視野全体（７．５ｍｍ×５．６ｍｍ）。破線部内の領域（５．６ｍｍ×０．８ｍｍ）に画像処理を適用。
【図6】画像処理手順の概略図。
【発明を実施するための形態】
【0014】
本発明の皮膚毛細血管画像の解析方法は、広視野且つ高解像度で、被験者の身体部位の毛細血管動画像を取得し、当該画像データに基づいて毛細血管の血流状態を解析するものである。
＜毛細血管画像の取得＞
本発明において、皮膚毛細血管の動画像は、視野長さが５～１２ｍｍであり、水平分解能を視野の長さで割った値が０．８［μｍ／ｍｍ］以下となる広視野且つ高解像度の撮像光学系と、光源からの照射光をレンズの光軸に対して４０～７５°の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で撮影することにより行われる。
＜毛細血管画像の取得＞
本発明において、皮膚毛細血管の動画像は、視野長さが５～１２ｍｍであり、水平分解能を視野の長さで割った値が０．８［μｍ／ｍｍ］以下となる広視野且つ高解像度の撮像光学系と、光源からの照射光をレンズの光軸に対して４０～７５°の入射角で観察対象の表面に斜入射させる照明系を具備する顕微鏡システムを用い、顕微鏡システムと被験者身体部位の皮膚の間隙に、屈折率１．３～１．５５、粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓのコンタクト剤を介した状態で撮影することにより行われる。
【0015】
本発明において、身体部位としては、毛細血管の状態を観察する必要のあるヒトの身体外部が挙げられ、具体的には手、足、腕、脚、胴体、顔等が挙げられる。斯かる身体部位は、化粧品や薬剤塗布後の身体部位であってもよい。
【0016】
以下、本発明の方法を実施するための装置の一例（図１及び図２）を示して説明するが、本発明の方法はこれに限定されるものではない。
図１に、開口部を有する被写体配置部１を備えた撮影台２と、前記被写体配置部を介して被写体と反対側に配置された顕微鏡システム３を備えた装置の態様を示す。
被写体配置部１は、被写体である身体部位を配置する撮影台の部位であり、被写体と反対側に設置される顕微鏡システム３により被写体を観察可能であれば、開口部は透明部材で埋められていてもよく、その部材は特に限定されないが、通常ガラス板や透明フィルムを用いるのが好ましい。
図１に、開口部を有する被写体配置部１を備えた撮影台２と、前記被写体配置部を介して被写体と反対側に配置された顕微鏡システム３を備えた装置の態様を示す。
被写体配置部１は、被写体である身体部位を配置する撮影台の部位であり、被写体と反対側に設置される顕微鏡システム３により被写体を観察可能であれば、開口部は透明部材で埋められていてもよく、その部材は特に限定されないが、通常ガラス板や透明フィルムを用いるのが好ましい。
【0017】
撮影台２は、前記被写体配置部１を備え、被写体配置部を介して被写体と反対側に顕微鏡システム３を配置することができればその形状や構成は特に限定されない。例えば、被写体配置部を含む平板を支柱６で支持した構造体であってもよく（図１）、面の１つに被写体配置部が配置され、顕微鏡システムをその内部に配置、或いは顕微鏡システムと連結して配置可能な直方体、立方体、円筒等の形状の筐体（鏡筒２ａ）であってもよい（図２）。
撮影台として被写体配置部を含む平板を支柱で支持した構造体を用いる場合、顕微鏡システム３は位置が固定されていてもよいが、顕微鏡システム３と被写体との距離や観察視野を調整できるような可動式のステージ（ＸＹＺ軸ステージ）やジャッキ等の位置調整機構７と接続され、位置が調整可能とされているのが好ましい。
撮影台として被写体配置部を含む平板を支柱で支持した構造体を用いる場合、顕微鏡システム３は位置が固定されていてもよいが、顕微鏡システム３と被写体との距離や観察視野を調整できるような可動式のステージ（ＸＹＺ軸ステージ）やジャッキ等の位置調整機構７と接続され、位置が調整可能とされているのが好ましい。
【0018】
顕微鏡システム３は、広視野且つ高解像度で観察対象を撮像するための撮像光学系（レンズ３ａとカメラ３ｃ）、観察対象の表面に指向性光源の斜入射光を照射する照明系（光源）３ｂを具備するものであればその種類は限定されず、実体顕微鏡、偏光顕微鏡、マイクロスコープ等を用いることができる。
【0019】
本発明において用いられるレンズとしては、皮膚内部の毛細血管を観察可能な高解像度のものが使用される。斯かる点から、レンズの水平分解能は、２０μｍ以下、且つ好ましくは１０μｍ以下、より好ましくは５μｍ以下である。このレンズの倍率は、装置が大型化し観察が困難になることを避けるため及び十分な観察範囲を確保するためにも、好ましくは０．２５倍以上、より好ましくは０．５倍以上、より好ましくは０．７５倍以上であり、且つ好ましくは１５倍以下である。
【0020】
カメラとしては、顕微鏡の観察画像を広視野且つ高解像度で動画撮影可能なものであれば限定されないが、例えばＣＣＤ、ＣＭＯＳ等の撮像素子を採用するデジタルカメラ等が挙げられる。撮像素子の画素数は、十分な解像度を得るために、４００万画素以上であるのが好ましく、８００万画素以上であるのがより好ましい。
またその撮像素子のサイズは、装置が大型化し観察が困難になることを避けるため及び十分な解像度を得るためにも、好ましくは１／４型(３．６ｘ２．７ｍｍ)以上で、且つ好ましくは４／３型(１７．３ｘ１３ｍｍ)以下、より好ましくは、１型(１３．２ｘ８．８ｍｍ)以下、より好ましくは２／３型(８．８ｘ６．６ｍｍ)以下である。
またその撮像素子のサイズは、装置が大型化し観察が困難になることを避けるため及び十分な解像度を得るためにも、好ましくは１／４型(３．６ｘ２．７ｍｍ)以上で、且つ好ましくは４／３型(１７．３ｘ１３ｍｍ)以下、より好ましくは、１型(１３．２ｘ８．８ｍｍ)以下、より好ましくは２／３型(８．８ｘ６．６ｍｍ)以下である。
【0021】
本発明の撮像光学系において、視野長さは、５ｍｍ以上であり、且つ１２ｍｍ以下、より好ましくは１１ｍｍ以下、さらに好ましくは１０ｍｍ以下である。また、５～１２ｍｍ、より好ましくは５～１１ｍｍ、さらに好ましくは５～１０ｍｍである。
また、水平分解能を視野長さで割った値［μｍ／ｍｍ］が、０．８以下、好ましくは０．６５以下、より好ましくは０．５以下である。
また、水平分解能を視野長さで割った値［μｍ／ｍｍ］が、０．８以下、好ましくは０．６５以下、より好ましくは０．５以下である。
【0022】
ここで、「視野長さ」は、視野を構成する四角形の対角線とする。多角形であれば対角線及び辺の内、最も長い線分の長さとする。円形/楕円であった場合は直径/長径とする。不定形であれば閉曲線内における最長の二点間の距離とする。また、「水平分解能[μm]」は、撮像面内の解像力、２つの点を区別可能な最短の距離を指す。
【0023】
本発明の顕微鏡システムにおいては、光源から出射された光を観察対象の表面に斜入射させて撮影することにより、皮膚内部の毛細血管が撮影可能となる。
用いる光源の種類は、通常可視光が用いられる。可視光としては、４００ｎｍ以上８００ｎｍ未満の波長の光を含むものであればよく、白色光の他、青色光、赤色光、緑色光などを用いることができるが、波長の異なる可視光が混在する白色光を用いるのが好ましい。例えば、白色ＬＥＤ光源、ハロゲンランプ等を使用することができる。
用いる光源の種類は、通常可視光が用いられる。可視光としては、４００ｎｍ以上８００ｎｍ未満の波長の光を含むものであればよく、白色光の他、青色光、赤色光、緑色光などを用いることができるが、波長の異なる可視光が混在する白色光を用いるのが好ましい。例えば、白色ＬＥＤ光源、ハロゲンランプ等を使用することができる。
【0024】
また、観察対象の表面に斜入射させる入射角は、レンズの光軸に対して、４０度以上、好ましくは４２．５度以上、より好ましくは４５度以上であり、且つ７５度以下、好ましくは６５度以下、より好ましくは６０度以下である。また、４０～７５度、好ましくは４２．５～６５度、より好ましくは４５～６０度である。
【0025】
好ましい態様として、光の照射は、光源と観察対象との距離を、１０～６０ｍｍ、好ましくは１０～４０ｍｍ、より好ましくは１０～３０ｍｍに設定した上で、光をレンズの光軸に対して４０～７５度、好ましくは４２．５～６５度、より好ましくは４５～６０度の入射角で、観察対象の表面に斜入射させるのが好ましく、光源と観察対象との距離を１０～３０ｍｍとし、光をレンズの光軸に対して、４５～６０°の入射角で、観察対象の表面に斜入射させるのが更に好ましい。
斯かる光源から出射した光を観察対象の表面に斜入射させるための照射系の一態様（Ａ：斜入斜リング照明系、Ｂ：斜入射照明系）、並びに入射角の定義（Ｃ）を図３に示す。
斯かる光源から出射した光を観察対象の表面に斜入射させるための照射系の一態様（Ａ：斜入斜リング照明系、Ｂ：斜入射照明系）、並びに入射角の定義（Ｃ）を図３に示す。
【0026】
撮影に際しては、測定対象となる被験者の身体部位が、被写体配置部の開口部に配される。図４に、被写体配置部の開口部周辺の断面模式図を示す。被写体配置部に透明部材を用いない構成（図４Ａ）では、後述のコンタクト剤は皮膚表面に塗布され、付着した状態で維持される。コンタクト剤の流動性が高い場合には、図４Ｂ又は図４Ｃの構成を用いることができる。図４Ｂの構成では、コンタクト剤は透明部材、スペーサー及び皮膚に囲まれた空間に保持される。この場合、被験者の身体部位がスペーサーの上部に押し当てられた際、皮膚表面が開口部の透明部材に接することなく保持される。これにより、透明部材による撮影部位の皮膚の圧迫による血流の低下を回避できる。スペーサーは、測定対象となる被験者の身体部位をセットした場合に、撮影対象となる皮膚表面が撮影されるように開口部を有し、且つ一定の厚さを有する部材である。また、図Ｃの構成では、透明部材として柔軟性のあるフィルムを用い、コンタクト剤は透明部材と皮膚の間隙に保持される。フィルムが柔軟であるため、皮膚表面が透明部材に接しないよう保持することなく、皮膚の圧迫により血流の低下を回避できる。フィルムは、柔軟かつ透明であればよく、ポリ塩化ビニル、ポリ塩化ビニリデン、ポリエチレン、ポリプロピレン等からなる食品用ラップフィルムや包装用フィルムを使用することができる。
【0027】
スペーサーの厚さ（透明な部材に設置した場合の透明な部材からの高さ）は、被験者の身体部位を押し当てた際に、スペーサーの開口内で皮膚表面が突出して、透明な部材に接しないことが必要である。この点を考慮すると、スペーサーの厚さは、好ましくは０．１ｍｍ以上、より好ましくは０．５ｍｍ以上であり、且つ好ましくは６ｍｍ以下、より好ましくは１ｍｍ以下である。また、０．１～６ｍｍ、好ましくは０．５～１ｍｍである。
【0028】
スペーサーの素材は、皮膚を傷つけないよう適度な柔らかさと、皮膚・ガラス面に密着するよう形状に追随するような適度な弾力を有する素材であるのが好ましい。斯かる素材としては、例えば、シリコンゴム、天然ゴム、アクリルゴム、ウレタンゴム等が挙げられるが、耐水性、耐油性、無臭、無毒性の点から、シリコンゴムを用いるのが好ましい。
また、当該素材は任意の色であり得るが、赤、青等に着色された素材である場合、その後の画像処理・解析に影響する恐れがあるため、無色、白色又は黒色が好ましい。
また、当該素材は任意の色であり得るが、赤、青等に着色された素材である場合、その後の画像処理・解析に影響する恐れがあるため、無色、白色又は黒色が好ましい。
【0029】
コンタクト剤は、皮膚角層（屈折率約１．５）と空気（屈折率約１．０）の界面における光の反射を低減することが可能な点から、屈折率１．３～１．５５を有する流動性素材が用いられる。
斯かるコンタクト剤としては、無色透明であるものが好ましい。また、皮膚へ追随性の点から、室温及び皮膚表面温度である２５℃～３０℃での粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓであり、更にはスペーサーから流出しない程度以上の粘性の点から３．０×１０－２～１．２×１０２Ｐａ・ｓであるのが好ましく、更には気泡の入りにくさ、除去のしやすさの点から３．０×１０－２～４０Ｐａ・ｓであるのがより好ましい。
斯かるコンタクト剤としては、無色透明であるものが好ましい。また、皮膚へ追随性の点から、室温及び皮膚表面温度である２５℃～３０℃での粘度が５．０×１０－４～１．５×１０２Ｐａ・ｓであり、更にはスペーサーから流出しない程度以上の粘性の点から３．０×１０－２～１．２×１０２Ｐａ・ｓであるのが好ましく、更には気泡の入りにくさ、除去のしやすさの点から３．０×１０－２～４０Ｐａ・ｓであるのがより好ましい。
【0030】
ここで、屈折率はＪＩＳ Ｋ ７１４２に準拠し２３℃においてアッベ屈折計により測定することができ、また文献値（化学便覧（日本化学会編）等）をもとに計算して求めることもできる。また、粘度は、市販のレオメータを用いたフローカーブ測定や、Ｂ型（単一円筒型回転式）粘度計を用いた測定により求めることができる。
【0031】
好適なコンタクト剤としては、例えばグリセリン（屈折率約１．５、粘度８．３×１０－１Ｐａ・ｓ）、イマージョンオイル（屈折率１．５２、粘度１．２×１０２Ｐａ・ｓ）、スクワラン（屈折率約１．４５、粘度３．０×１０－２Ｐａ・ｓ）等の油剤、プロゼリー（ジェクス株式会社）等の市販の超音波ゼリー（屈折率約１．３、粘度約４０Ｐａ・ｓ）、水（屈折率約１．３、粘度８．９×１０－４Ｐａ・ｓ）、菜種油等（屈折率約１．５、粘度４．３×１０－２Ｐａ・ｓ）の食用油等が挙げられ、この内、グリセリン、スクワラン、超音波ゼリー、菜種油がより好ましい。
【0032】
斯くして、上記顕微鏡システムにより、皮膚毛細血管の顕微動画像が撮影される。撮影された画像データはテレビモニター等の画像表示部５により表示され、画像処理部４により、後述の画像解析処理がなされる。
撮影された顕微動画像においては、毛細血管内を赤血球が流動する様子が観察される。以下では、動画像中の毛穴や毛髪、シミ、汗腺等を「背景成分」、動画像から背景成分を除いた、赤血球の流動を示す成分を「血流成分」と記載する。
撮影された顕微動画像においては、毛細血管内を赤血球が流動する様子が観察される。以下では、動画像中の毛穴や毛髪、シミ、汗腺等を「背景成分」、動画像から背景成分を除いた、赤血球の流動を示す成分を「血流成分」と記載する。
【0033】
＜皮膚毛細血管画像の解析＞
撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いた動画像のフレーム間を位置合わせする処理、ロバスト主成分分析を用いた動画像の血流成分を抽出する処理、抽出した血流成分を用いて血管領域を特定する処理、及び血管領域内で、オプティカルフローを用いたフレーム間の血流成分の変位を算出する処理を行うことにより毛細血管内の血流速度が算出される。以下に各処理の詳細を記載する。
撮影された皮膚毛細血管の動画像に対し、少なくともテンプレートマッチングを用いた動画像のフレーム間を位置合わせする処理、ロバスト主成分分析を用いた動画像の血流成分を抽出する処理、抽出した血流成分を用いて血管領域を特定する処理、及び血管領域内で、オプティカルフローを用いたフレーム間の血流成分の変位を算出する処理を行うことにより毛細血管内の血流速度が算出される。以下に各処理の詳細を記載する。
【0034】
ｉ）テンプレートマッチングを用いた動画像のフレーム間の位置合わせ
テンプレートマッチングは、「テンプレート」に設定した画像と類似した領域を、入力画像から探し出す方法である。取得された皮膚毛細血管の動画像には、被験者や測定者の体動に由来する画像のブレが含まれ、動画像中で血管自体が動くことにより、血流速度算出時にブレの速度を算出してしまう恐れがある。テンプレートマッチングによって、画像中の類似した領域を探索・抽出することにより、このブレが補正される。
テンプレートマッチングは、「テンプレート」に設定した画像と類似した領域を、入力画像から探し出す方法である。取得された皮膚毛細血管の動画像には、被験者や測定者の体動に由来する画像のブレが含まれ、動画像中で血管自体が動くことにより、血流速度算出時にブレの速度を算出してしまう恐れがある。テンプレートマッチングによって、画像中の類似した領域を探索・抽出することにより、このブレが補正される。
【0035】
テンプレートマッチングにおいては、取得された毛細血管の動画像の最初のフレームから、一部分を抜粋して「テンプレート」に設定し、そのほかのフレームを入力画像とする。これにより、動画像中の全フレームで類似した領域、すなわち、撮影対象の同じ場所を探索できる。探索した領域を切り出した上で、元の動画像と同じ順番でつなぎ合わせることで、注目する血管が常に動画像中の同じ場所にあるような「ブレ補正画像」が作成される。
「テンプレート」の抜粋に先立って、元の画像の中から、画像処理の対象とする範囲の選定を行う。この画像処理範囲のサイズは、一般的な顕微鏡画像よりも大きい５ｍｍ以上であり、撮影される動画像のサイズよりも小さい１２ｍｍ未満とする。
「テンプレート」の抜粋に先立って、元の画像の中から、画像処理の対象とする範囲の選定を行う。この画像処理範囲のサイズは、一般的な顕微鏡画像よりも大きい５ｍｍ以上であり、撮影される動画像のサイズよりも小さい１２ｍｍ未満とする。
【0036】
類似領域の探索は、「テンプレート」と、入力画像中の同じサイズの領域を比較し、類似度が算出される。この類似度は、二つの画像の同じ位置にある画素の明るさ(「画素値」)を比較することで、計算される。類似度算出のための計算方法は特に限定されないが、例えば、画素値の差の二乗和又は絶対値の和が小さいほど類似度が高いものとして算出する方法、又は正規化相互相関が１に近いほど類似度が高いものとして算出する方法が挙げられる。具体的には、例えば、ＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ ｃｏｒｐｏｒａｔｉｏｎ）のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いることにより算出できる。
【0037】
ｉｉ）ロバスト主成分分析を用いた動画像からの血流成分の抽出
次いで、ロバスト主成分分析法を用いて、ブレ補正を行った毛細血管動画像から、血流成分が抽出される。
ロバスト主成分分析によれば、動画像中の微細で画素値の時間変動が大きい成分を、スケールが大きく画素値の時間変動が小さい成分と分離・抽出することが可能である。ロバスト主成分分析では、対象となる動画像を行列の形式で表現した上で、それを低ランク行列とスパース行列の和の形になるように分解する。分解の方法としては、低ランク行列の低ランク性を評価する項と、スパース行列のスパース性を評価する項を設け、後者に重みλを掛けて２つの項の和をとり評価関数とし、これを最小にするように成分の分離が行われる。その算法としては、例えばZ.Lin et al.,The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrics, UIUC Technical Report UILU-ENG-09-2215,November 2009”に記載の方法が使用できる。
次いで、ロバスト主成分分析法を用いて、ブレ補正を行った毛細血管動画像から、血流成分が抽出される。
ロバスト主成分分析によれば、動画像中の微細で画素値の時間変動が大きい成分を、スケールが大きく画素値の時間変動が小さい成分と分離・抽出することが可能である。ロバスト主成分分析では、対象となる動画像を行列の形式で表現した上で、それを低ランク行列とスパース行列の和の形になるように分解する。分解の方法としては、低ランク行列の低ランク性を評価する項と、スパース行列のスパース性を評価する項を設け、後者に重みλを掛けて２つの項の和をとり評価関数とし、これを最小にするように成分の分離が行われる。その算法としては、例えばZ.Lin et al.,The Augmented Lagrange Multiplier Method for Exact Recovery of Corrupted Low-Rank Matrics, UIUC Technical Report UILU-ENG-09-2215,November 2009”に記載の方法が使用できる。
【0038】
本発明においては、重みλを
とした。毛細血管動画像は、動画像から微細で時間的な変動が大きい毛細血管内の赤血球の動きがスパース成分に分解され、スケールが大きく時間的な変動の小さい毛髪やシミ、皮膚上の凹凸による陰影などの背景成分が低ランク成分に分解される。
【0039】
ｉｉｉ）血流成分を用いた血管領域の特定
ロバスト主成分分析を実行して抽出された動画像の血流成分においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られる。本発明においては、解析対象領域を血管領域内に制限するために、マスク画像を作成することで血管領域の特定を行う。
マスク画像は、以下の処理によって作成される。
１）血流成分の動画像の全フレームの画素値を平均化する。これにより、血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される。
２）二値化処理（例えば大津の二値化）により二値画像（赤血球が通った血管領域内を白、それ以外を黒）を作成する。
３）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する。
ロバスト主成分分析を実行して抽出された動画像の血流成分においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られる。本発明においては、解析対象領域を血管領域内に制限するために、マスク画像を作成することで血管領域の特定を行う。
マスク画像は、以下の処理によって作成される。
１）血流成分の動画像の全フレームの画素値を平均化する。これにより、血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される。
２）二値化処理（例えば大津の二値化）により二値画像（赤血球が通った血管領域内を白、それ以外を黒）を作成する。
３）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する。
【0040】
ｉｖ）オプティカルフローを用いた血流速度算出
血流速度の算出は、動画像中の明るさ(画素値)の勾配が移動する様子を画像中の場所ごとに検出し、ベクトルで表すオプティカルフロー法が採用される。
ロバスト主成分分析を実行して抽出された血流成分の動画像に対し、当該画像を平均化及び二値化処理して得た、血管領域を示すマスク画像における、血管領域内部に限定して、血流成分の変位がオプティカルフローにより検出される。
オプティカルフローには、Ｌｕｃａｓ ｋａｎａｄｅ法、Ｈｏｒｎ Ｓｃｈｕｎｃｋ法等のアルゴリズムが知られており、特に限定されるものではない。例えば、Ｌｕｃａｓ ｋａｎａｄｅ法を用いることができ、その実行には、ＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズを１０画素四方とすることにより行うことができる。
血流速度の算出は、動画像中の明るさ(画素値)の勾配が移動する様子を画像中の場所ごとに検出し、ベクトルで表すオプティカルフロー法が採用される。
ロバスト主成分分析を実行して抽出された血流成分の動画像に対し、当該画像を平均化及び二値化処理して得た、血管領域を示すマスク画像における、血管領域内部に限定して、血流成分の変位がオプティカルフローにより検出される。
オプティカルフローには、Ｌｕｃａｓ ｋａｎａｄｅ法、Ｈｏｒｎ Ｓｃｈｕｎｃｋ法等のアルゴリズムが知られており、特に限定されるものではない。例えば、Ｌｕｃａｓ ｋａｎａｄｅ法を用いることができ、その実行には、ＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズを１０画素四方とすることにより行うことができる。
【実施例】
【0041】
実施例１（図１、図４－Ｂ参照）
（１）皮膚毛細血管の動画像の取得
ＣＭＯＳカメラ（ＢＵ１２０３、１２００万画素、１／１．７型センサ、東芝テリー）に作動距離６８ｍｍ、倍率１倍のレンズ（ＶＳ－ＴＣＴ１－６５／Ｓ、ＶＳオプティクス社製）を上向きに配置して接続した。カメラはＸＹ軸ステージ（ＴＳＤ－６０２Ｃ、シグマ光機株式会社）とＺ軸ステージ（Ｂ３３－６０ＫＧＡ、駿河精機株式会社）を組み合わせたＸＹＺ軸ステージと接続し、皮膚表面との距離や視野を調整可能とした。レンズの光軸（Ｚ軸）上部に、観察対象との距離が４５ｍｍになるように、レンズ光軸に対して入射角６０°で斜入射が可能な光源ユニット（リング状の白色ＬＥＤ光源（ＯＰＤＲ－ＬＡ７４－４８Ｗ－２、オプテックス・エフエー社製））を配置した。レンズの焦点位置に皮膚表面が位置するよう、撮影台の被写体配置部（１５ｍｍ開口を有する板）に被験者の前腕内側部を載せ撮影した。本構成を用いて、皮膚毛細血管の動画像を毎秒３０フレームのフレームレートにて、１０秒間撮影した。開口部には、透明部材としてカバーグラスを配置し、スペーサーとしては厚さ１．５ｍｍで１５ｍｍ×２５ｍｍの矩形の開口を有するシリコンゴム、コンタクト剤としては菜種油（屈折率約１．５、粘度４．３×１０－２Ｐａ・ｓ）を用いた。
図５に、７．５ｍｍ×５．６ｍｍ、４０００画素×３０００画素で撮影した視野全体を示す。
（１）皮膚毛細血管の動画像の取得
ＣＭＯＳカメラ（ＢＵ１２０３、１２００万画素、１／１．７型センサ、東芝テリー）に作動距離６８ｍｍ、倍率１倍のレンズ（ＶＳ－ＴＣＴ１－６５／Ｓ、ＶＳオプティクス社製）を上向きに配置して接続した。カメラはＸＹ軸ステージ（ＴＳＤ－６０２Ｃ、シグマ光機株式会社）とＺ軸ステージ（Ｂ３３－６０ＫＧＡ、駿河精機株式会社）を組み合わせたＸＹＺ軸ステージと接続し、皮膚表面との距離や視野を調整可能とした。レンズの光軸（Ｚ軸）上部に、観察対象との距離が４５ｍｍになるように、レンズ光軸に対して入射角６０°で斜入射が可能な光源ユニット（リング状の白色ＬＥＤ光源（ＯＰＤＲ－ＬＡ７４－４８Ｗ－２、オプテックス・エフエー社製））を配置した。レンズの焦点位置に皮膚表面が位置するよう、撮影台の被写体配置部（１５ｍｍ開口を有する板）に被験者の前腕内側部を載せ撮影した。本構成を用いて、皮膚毛細血管の動画像を毎秒３０フレームのフレームレートにて、１０秒間撮影した。開口部には、透明部材としてカバーグラスを配置し、スペーサーとしては厚さ１．５ｍｍで１５ｍｍ×２５ｍｍの矩形の開口を有するシリコンゴム、コンタクト剤としては菜種油（屈折率約１．５、粘度４．３×１０－２Ｐａ・ｓ）を用いた。
図５に、７．５ｍｍ×５．６ｍｍ、４０００画素×３０００画素で撮影した視野全体を示す。
【0042】
（２）画像解析
１）テンプレートマッチングを用いたブレ補正
動画像の最初のフレームにおいて、全フレームに共通して含まれる、横３０００画素、縦４００画素（横５．６ｍｍ、縦０．８ｍｍ）の領域を抽出し、テンプレート画像とした。動画像中の全フレームを入力画像とし、テンプレート画像と類似した領域を探索・抜粋した。抜粋した画像をＡＶＩ形式の動画像として保存し、ブレ補正画像を取得した。なお、テンプレートマッチングは、ＯｐｅｎＣＶ ２．４．１１のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いた。
１）テンプレートマッチングを用いたブレ補正
動画像の最初のフレームにおいて、全フレームに共通して含まれる、横３０００画素、縦４００画素（横５．６ｍｍ、縦０．８ｍｍ）の領域を抽出し、テンプレート画像とした。動画像中の全フレームを入力画像とし、テンプレート画像と類似した領域を探索・抜粋した。抜粋した画像をＡＶＩ形式の動画像として保存し、ブレ補正画像を取得した。なお、テンプレートマッチングは、ＯｐｅｎＣＶ ２．４．１１のｍａｔｃｈＴｅｍｐｌａｔｅ関数を用い、類似度の評価には正規化相互相関を用いた。
【0043】
２）ロバスト主成分分析及びマスク画像の作成
１）で得られたブレ補正された動画像についてロバスト主成分分析を実行し、血流成分の動画像を取得した。変動の大きな成分と小さな成分の分別の程度を制御する重みλは、
とした。
血流成分の動画像においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られた。この動画像から、以下のｉ）～ｉｉｉ）の処理によってマスク画像を作成した。ｉ）血流成分の動画像の各フレームの画素値を平均化する(血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される)、ｉｉ）大津の二値化により二値画像を作成する、ｉｉｉ）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する。
１）で得られたブレ補正された動画像についてロバスト主成分分析を実行し、血流成分の動画像を取得した。変動の大きな成分と小さな成分の分別の程度を制御する重みλは、
血流成分の動画像においては、血管内での赤血球の流動を示す白色粒子が、暗い背景中を流れる様子が見られた。この動画像から、以下のｉ）～ｉｉｉ）の処理によってマスク画像を作成した。ｉ）血流成分の動画像の各フレームの画素値を平均化する(血液が流れている領域は画素値が大きいため、連続的な白色領域として描画される)、ｉｉ）大津の二値化により二値画像を作成する、ｉｉｉ）膨張処理、収縮処理により、ノイズに由来する離散した白色領域を除去する。
【0044】
３）血流速度の算出
２）で得られたマスク画像について、Ｌｕｃａｓ－Ｋａｎａｄｅによるオプティカルフロー法を実行して算出した。実行にはＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズは１０画素四方とした。
２）で得られたマスク画像について、Ｌｕｃａｓ－Ｋａｎａｄｅによるオプティカルフロー法を実行して算出した。実行にはＯｐｅｎＣＶ ２．４．１１（Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ）のｃａｌｃＯｐｔｉｃａｌＦｌｏｗＰｙｒＬＫ関数を用い、探索窓のサイズは１０画素四方とした。
【0045】
（３）結果
図６に、図５中の破線で囲んだ領域に対して行った前記１）～３）の各処理の流れを示した。
図７に、図５中の四角で囲んだ領域を拡大し、１フレーム間隔で示す。皮膚内部の毛細血管における、赤血球の流動が観察された。図５の破線領域内全体に、前記１）～３）の各処理を行い、図５中の四角で囲んだ領域での結果を、図８に示す。血流成分の抽出、血管領域の抽出を行うことができ、血流速度の２フレーム間の画像中の血球の変位を示す矢印を描画できた。この矢印の長さに対応する変位の大きさをフレーム間の時間差(約３３ミリ秒)で除することにより、血流速度を算出できた。
また、図５中の丸で囲んだ領域での結果を、図９に示す。図７と同様に、血流速度の解析を行えた。図５の破線領域内の、四角と丸で囲んだ領域で、同時に血流速度を解析できたことから、広視野・高解像度の画像における、多数の皮膚毛細血管の血流速度を算出できることが示された。
図６に、図５中の破線で囲んだ領域に対して行った前記１）～３）の各処理の流れを示した。
図７に、図５中の四角で囲んだ領域を拡大し、１フレーム間隔で示す。皮膚内部の毛細血管における、赤血球の流動が観察された。図５の破線領域内全体に、前記１）～３）の各処理を行い、図５中の四角で囲んだ領域での結果を、図８に示す。血流成分の抽出、血管領域の抽出を行うことができ、血流速度の２フレーム間の画像中の血球の変位を示す矢印を描画できた。この矢印の長さに対応する変位の大きさをフレーム間の時間差(約３３ミリ秒)で除することにより、血流速度を算出できた。
また、図５中の丸で囲んだ領域での結果を、図９に示す。図７と同様に、血流速度の解析を行えた。図５の破線領域内の、四角と丸で囲んだ領域で、同時に血流速度を解析できたことから、広視野・高解像度の画像における、多数の皮膚毛細血管の血流速度を算出できることが示された。
【符号の説明】
【0046】
１ 被写体配置部
２ 撮影台
２ａ 鏡筒
３ 顕微鏡システム
３ａ レンズ
３ｂ 光源
３ｃ カメラ
４ 画像処理部
５ 画像表示部
６ 支柱
７ 位置調整機構
２ 撮影台
２ａ 鏡筒
３ 顕微鏡システム
３ａ レンズ
３ｂ 光源
３ｃ カメラ
４ 画像処理部
５ 画像表示部
６ 支柱
７ 位置調整機構
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
