(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6551729
(24)【登録日】2019年7月12日
(45)【発行日】2019年7月31日
(54)【発明の名称】毛細血管の画像処理方法および画像処理プログラム、並びに毛細血管分析診断装置
(51)【国際特許分類】
A61B 5/107 20060101AFI20190722BHJP
【FI】
A61B5/107 800
A61B5/107ZDM
【請求項の数】7
【全頁数】12
(21)【出願番号】特願2015-85879(P2015-85879)
(22)【出願日】2015年4月20日
(65)【公開番号】特開2016-202442(P2016-202442A)
(43)【公開日】2016年12月8日
【審査請求日】2017年3月17日
(73)【特許権者】
【識別番号】515108727
【氏名又は名称】あっと株式会社
(72)【発明者】
【氏名】武野 團
(72)【発明者】
【氏名】中根 和昭
(72)【発明者】
【氏名】真原 仁
(72)【発明者】
【氏名】河口 直正
【審査官】
松本 隆彦
(56)【参考文献】
【文献】
特開2012−245085(JP,A)
【文献】
特開2006−325714(JP,A)
【文献】
特開2008−009549(JP,A)
【文献】
大金 朱音,指先毛細血管状態の非侵襲測定評価システムの信頼性の評価,至誠館大学研究紀要,2015年 3月31日,第2巻,13-27頁
【文献】
NOMURA, A et al.,EDGE DETECTION WITH REACTION-DIFFUSION EQUATIONS HAVING LOCAL AVERAGE THRESHOLD,Pattern Recognition and Image Analysis ,2008年,Vol.18,289-
【文献】
CHUONG Ngoc Duy Hung,Classification of capillary images based on the average curvature estimation,The science reports of the Kanazawa University,2012年,第56巻,35-44頁
【文献】
武野 團,Capillary Analysis System(CAS)開発の背景,第21回日本未病システム学会学術総会抄録集,2014年,52頁
【文献】
海老原 麻由美,反応拡散モデルによるノイズを含む画像・低コントラスト画像からの領域分割とエッジ検出,画像電子学会,2003年 7月,第32巻、第4号,378-385頁
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/107
A61B 5/00
A61B 5/103
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、縦方向および横方向のうち少なくとも横方向の一ライン上の輝度値のデータ列の集合を自動判定すると共に前記集合における閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化し、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出を含むことを特徴とする、毛細血管画像処理方法。
【請求項2】
身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、縦方向および/または横方向の一ライン上の輝度値のデータ列の集合を自動判定すると共に前記集合における閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化
し、
反応拡散方程式が
【数1】
前記ε、b、c、dはいずれも定数パラメータ、Du、Dvは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータとしての閾値パラメータである、毛細血管画像処理方法。
【請求項3】
数値化が、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出を含む、請求項1又は2に記載の毛細血管画像処理方法。
【請求項4】
数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出を含む、請求項1から3のいずれかに記載の毛細血管画像処理方法。
【請求項5】
数値化が、反応拡散による二値化処理後のノイズを含む状態と前記二値化処理後のノイズを除去した状態との差分の算出を含む、請求項1から4のいずれかに記載の毛細血管画像処理方法。
【請求項6】
コンピュータに請求項1〜請求項5のうちのいずれか一項に記載の毛細血管画像処理方法を実行させるプログラム。
【請求項7】
請求項1〜請求項5のうちのいずれか一項記載の毛細血管画像処理に用いる毛細血管分析診断装置であって、少なくとも毛細血管観察装置と、該装置によって取得された毛細血管画像を対象として前記毛細血管画像処理を行う毛細血管画像処理装置と、該装置による処理や算出された数値並びに前記毛細血管観察装置による画像を表示する表示装置を備えており、前記毛細血管観察装置が、少なくとも、身体の部位を位置させる検出対象配置部と、検出対象配置部における身体の部位に焦点を合わせる光学系部と、前記身体の部位に可視光や赤外線等を照射する照明部と、前記身体の部位を撮影する撮影部と、撮影部を制御する撮影制御部を有する、毛細血管分析診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、毛細血管を撮影・画像化する装置を用いて、毛細血管の状態を適切に把握認識するための画像処理方法よび画像処理プログラム並びに毛細血管分析診断装置に関する。
【0002】
なお、本出願において、「毛細血管」という用語には皮下血管や粘膜下血管も含むものとする。
【背景技術】
【0003】
毛細血管は、直径が8〜20μm程度の非常に細かく枝分れした閉鎖血管系における網目状の血管であって、血液中の栄養素や酸素を、毛細管壁を通じて組織内に送り込む一方、組織内から老廃物を受取るという循環器系の最も基本的な働きするものである。
【0004】
そして、医療関係機関や大学等においては、前記毛細血管の状態と心疾患や糖尿病等の生活習慣病その他の疾病との関連性が指摘されている。
【0005】
従来、指先の爪上皮の毛細血管部分を拡大したカラー動画像で血管及び血流を観測するシステムにおいて、得られた動画像での血管の密度、太さ、形状、及び、血流速度を数値化し、その数値と予めシステムに記憶された基準テーブルの数値データとを比較してクラス分けを行い、そのクラス分けされた全データを分析評価手段によって分析評価し、その結果を健康状態の総合評価として表示手段に出力する医療診断支援システムが知られている。
【0006】
また、画像を構成する各画素に対して単安定系及び双安定系になるように設定し得る活性因子濃度及び抑制因子濃度の時間発展を示す反応拡散モデルを用いて、前記単安定系及び双安定系のいずれかになるように設定し、画像を構成する各画素の輝度値を前記反応拡散モデルに入力して非線形反応を行わせ、最終的にエッジ検出および領域分割の適正化を図った画像処理方法および画像処理装置も知られている。
【0007】
またこの他、毛細血管中を流れる血液の診断情報を取得する診断情報取得システムであって、 毛細血管が分布する分布部位を撮像する撮像装置と、撮像装置により撮像された毛細血管の撮像画像を解析する解析装置とを備え、 前記解析装置に、前記撮像画像における1つの毛細血管上の測定部位を少なくとも1つ設定する測定部位設定部と選択された前記測定部位における色調を取得する色調取得部と取得された前記色調の経時変化に基づいて、前記診断情報を取得する診断情報取得部を設けたものも知られている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2006−325714号公報
【特許文献2】特開2008−9549号公報
【特許文献3】特開2008−302136号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
前述した従来例のうち、血流速度の数値と予めシステムに記憶された基準テーブルの数値データとによってクラス分けされた全データを分析評価する第一の従来例の場合、数値化は観察者自らが血流の動画像にマーキングしたり、動画像から血管の本数を数えてシステムに入力するという所謂、手動計測であるため、高い精度が期待できない上、最終的な診断結果を得るのにかなりの手間と時間を要するという問題があった。
【0010】
反応拡散モデルによる非線形反応を利用して画像のエッジ検出および領域分割を行う第二の従来例の場合、時間的に変動する周期信号およびホワイトノイズ信号が反応拡散方程式に付加され、3変数のFHNモデル(Fitzhugh-Nagumo Model)を用いて閾値を同時計算するものであって、毛細血管のような種々の方向に伸びるものの方向性を特異的に捉えられないという欠点があった。
【0011】
毛細血管の動画像で選択された測定部位における色調の経時的変化を取得して診断を行う第三の従来例の場合、血流の流速値だけを求めることを基本とするものであり、血管の長さや太さといった他の特徴まで計測することができなかった。そのため、第三の従来例に係る診断情報取得システムでは、毛細血管を多面的に観察して評価することができないという問題があった。
【0012】
本発明の目的は、前述した従来例における画像処理診断の不都合や問題を一挙に解消して、誰でも簡単且つ正確に客観的な数値データに基づいて毛細血管による診断が多面的に行える画像処理方法および画像処理プログラム等を提供することにある。
【課題を解決するための手段】
【0013】
請求項1記載の本発明は、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化することを特徴とする毛細血管画像処理方法である。
【0014】
本発明において、前記身体の部位には、少なくとも指の爪床部、歯茎、舌下部、口唇粘膜部、頭皮および皮膚表面が含まれる。
【0015】
請求項2記載の本発明は、前記請求項1記載の毛細血管画像処理方法について、その反応拡散方程式が
【数1】
前記ε、b、c、dはいずれも定数パラメータ、D
u、D
vは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータ(閾値パラメータ)であることを特徴とする。
【0016】
請求項3記載の本発明は、前記請求項1または請求項2記載の毛細血管画像処理方法について、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出であることを特徴とする。
【0017】
請求項4記載の本発明は、前記請求項1または請求項2記載の毛細血管画像処理方法について、数値化が、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出であることを特徴とする。
【0018】
請求項5記載の本発明は、前記請求項1または請求項2記載の毛細血管画像処理方法について、数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出であることを特徴とする。
【0019】
請求項6記載の本発明は、前記請求項1または請求項2記載の毛細血管画像処理方法について、数値化が、反応拡散による二値化処理前のノイズを含む状態と前記二値化処理後のノイズを除去した状態との差分の算出であることを特徴とする。
【0020】
請求項7記載の本発明は、請求項1〜請求項6のうちのいずれか一項記載の毛細血管画像処理を実行するためのプログラムである。
【0021】
請求項8記載の本発明は、請求項1〜請求項6のうちのいずれか一項記載の毛細血管画像処理に用いる毛細血管分析診断装置であって、少なくとも毛細血管観察装置と、該装置によって取得された毛細血管画像を対象として前記毛細血管画像処理を行う毛細血管画像処理装置と、該装置による処理や算出された数値並びに前記毛細血管観察装置による画像を表示する表示装置を備えており、前記毛細血管観察装置が、少なくとも、身体の部位を位置させる検出対象配置部と、検出対象配置部における身体の部位に焦点を合わせる光学系部と、前記身体の部位に可視光や赤外線等を照射する照明部と、前記身体の部位を撮影する撮影部と、撮影部を制御する撮影制御部を有するものである。
【発明の効果】
【0022】
本発明に係る毛細血管画像処理方法は、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を自動的に数値化するため、身体における種々の部位の毛細血管における縦方向や横方向並びにそれらの本数、長さ、太さ、曲がり、捩れおよび濁り等の形態的特性を簡単且つ適切に評価することができる。
【0023】
そのため、病院等の医療関係機関や大学等の研究機関において、身体の部位を傷付けることなく、また負荷を全く与えずに毛細血管を総合的に評価することができ、これによって血管年齢を査定することは勿論、糖尿病をはじめとする種々の生活習慣病の可能性を多面的に判断したり、その早期の予防を図ることが可能となる。
【0024】
また、本発明に係る毛細血管分析診断装置によれば、毛細血管の鮮明な画像が容易に見られると共に、この鮮明な画像に基づいて前述した毛細血管の形態的特性に係る数値を自動的且つ即座に得ることができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の実施形態に係る毛細血管分析診断装置の構成を示すブロック図である。
【
図3】輝度変化を示すグラフであって、(a)が本発明による反応拡散処理前を示し、(b)が本発明による反応拡散処理後を示す。
【
図4】本発明における横方向と縦横方向の二値化処理による数値化の手順を示すフローチャートである。
【
図5】本発明における横方向の二値化処理を示し、(a)が拡大撮影画像における横方向の二値化、(b)は二値化後の血管抽出画像である。
【
図6】本発明における縦横方向の二値化処理を示し、(a)が拡大撮影画像における縦横方向の二値化、(b)は二値化後の血管抽出画像である。
【
図7】本発明における血管の捩れ、曲がりの検出手順を示すフローチャートである。
【
図8】
図7の処理における血管の細線化を示し、(a)が細線の全体を示し、(b)が計算除外処理後を示す。
【
図9】本発明における血管の濁り検出の手順を示すフローチャートである。
【
図10】
図9の処理に係る血管画像であって、(a)がノイズ除去前、(b)がノイズ除去後を示す。
【
図11】本発明による最終的な数値化の一例を示すグラフである。
【発明を実施するための形態】
【0026】
次に、本発明を指の爪床部分における毛細血管の画像処理に適用した場合の実施形態について、図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。
【0027】
図1に示すように、本発明に係る毛細血管観察装置の一例について説明すると、毛細血管観察装置1は、指Fを載せる指置き台2と、指置き台2上の指Fにおける爪床部分F1等の観察対象に焦点を合わせるための複数のレンズ等からなる光学系部3と、観察対象に可視光や赤外線等を照射する照明部4と、観察対象を撮影するCCDやCMOS等の撮影素子を具備する撮影部5と、撮影部5における撮影素子を制御するシャッター等の撮影制御部6と、撮影画像のデジタルデータを出力するための画像出力インターフェース7と、前記撮影画像のデジタルデータを伝送するためのUSB、NTSC、無線、或はインターネット等の伝送系部8を備えている。
【0028】
そして、前記毛細血管観察装置1から出力された指Fの爪床部分F1の撮影画像は伝送系部8を介して後述する毛細血管画像処理装置21で処理される。また、前述した毛細血管観察装置1と後述する毛細血管画像処理装置21はそれぞれモニター等の表示装置31に接続されており、前記毛細血管観察装置1によって観察される毛細血管の形態(毛細血管の方向、形状、長さ、太さ、曲がり、捩れ、濁り等)や毛細血管画像処理装置21で算出される毛細血管の形態に関する画像処理データの出力結果が表示装置21に適宜表示される。
【0029】
毛細血管画像処理装置21は、前記毛細血管観察装置1の伝送系部8からの毛細血管画像が入力される画像入力部22と、入力された毛細血管画像を処理する画像処理部23と、画像処理部23で処理され、最終的に毛細血管の形態について数値化された処理データを出力する画像処理データ出力部24等を有する。
【0030】
前記画像処理部23は、前述した通り、毛細血管の形態を後述する反応拡散方程式を用いて最終的に数値化するものである。
【0031】
すなわち、本発明における反応拡散方程式は、
【数1】
なお前記、ε、b、c、dはいずれも定数パラメータ、Du、Dvは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータ(閾値パラメータ)であ
る。
【0032】
前記拡散反応方程式は、時間的に解の状態が変化するものであって、前記毛細血管観察装置1で得られた拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を意図的に鮮明化し、この鮮明化された画像に基いて毛細血管の状態を客観的に数値化するものである。そして、前記方程式における拡散反応は、前述した通り、それ以前の直前の計算処理の結果により変動する変数パラメータaを用いて方向性を持たせた画像処理を行う。
【0033】
次に、
図2および
図3に示すように、前記反応拡散方程式による毛細血管画像処理の基本原理について説明すると、本発明においては、
図2に示す毛細血管Cの画像(対象画像)における縦方向V(垂直方向)や横方向(水平方向)Sにおける輝度の変化を関数化(グラフ化)するにあたり、
図3(a)に示すように、縦軸(Y)を輝度、横軸(X)を画像上の座標として、任意に決められるAおよびB域の値を、例えば8ビット、グレースケールの場合の最大値(B=255)と最小値(A=0)と考えて前記反応拡散方程式を用いて時間的変化を伴う計算を行い、前記A・B域にそれぞれデータを近づける反応関数によって最終的に
図3(b)に示すような判定に適した平準化を行う。そして、前記A・B域が黒と白を示す輝度であれば、前記処理によって二値化が行われることになり、この際、
図3(a)の輝度グラフ
において、前記段落[0031]の[数1]の三段目の閾値パラメータを含む反応拡散方程式を用いて、
図3(b)に示す傾斜Iを有する直線SLに基づく二値化を高精度に実施することができる。
【0034】
図4に示すように、本発明に係る前記反応拡散方程式を用いた毛細血管画像処理方法は、前記毛細血管観察装置1で撮影された毛細血管の撮影画像を取得し(S4001)、取得した撮影画像のサイズ変更やカラー画像のグレースケール化およびノイズ除去といった前処理を行い(S4002)、次に毛細血管画像の処理の選択を受付け(S4003)、その受付け内容に基づいて下記の処理を行う。
【0035】
すなわち、
図5に示すように、例えば縦方向の毛細血管の数値化を行う場合においては、前記反応拡散方程式に基づいて、
図5(a)の通り、横方向(矢印S)の反応拡散による二値化を行い(S4004)、その後、ノイズを除去することで(S4005)、
図5(b)の通り、二値化画像において、縦方向(矢印V)の毛細血管C1を鮮明化させて(S4006)、この縦方向(矢印V)の毛細血管C1が横方向(矢印S)基準に対して直交する本数および最長や平均の長さ、並びに太さの最大値や平均値を数値化する(S4007)。
【0036】
同じく
図6に示すように、例えば毛細血管の縦横方向の数値化を選択した場合においては、前記反応方程式に基づいて
図6(a)の通り、縦横両方向(V、S)の二値化を行い(S4008)、その後、ノイズを除去することで(S4009)、
図6(b)の通り、二値化画像において、縦方向(V)よりも横方向(矢印S)の毛細血管C2を鮮明化させて(S4010)、横方向の毛細血管C2を実際に検出した場合には、その最長や平均の長さ、或は更に太さの最大値や平均値を数値化する(S4011)。
【0037】
また、
図7および
図8に示すように、例えば毛細血管の捩れや曲がり(歪み)の数値化を選択した場合においては、前記毛細血管の撮影画像の取得(S7001)、取得した撮影画像のサイズ変更やカラー画像のグレースケール化およびノイズ除去といった前処理(S7002)および毛細血管画像処理の選択受付け(S7003)の後、前記反応方程式に基づいて縦横両方向(V、S)の二値化を行い(S7004)、その二値化画像において、骨格化(細線化)アルゴリズムに基づいて処理し(S7005)、毛細血管を細線(TL)として検出する(
図8a参照)。この毛細血管の細線(TL)はそれぞれ独立した線分となっているため、各線分ごとの数値化が可能である。
【0038】
そして、その後の具体的処理としては、指Fの爪床部F1等において、一般に前記二値化した画像の下部に横方向や種々の複雑な形状の毛細血管細線(D)が現われ、これが反応拡散方程式による計算の精度を阻害することから、
図8(b)に示すように、まず各細線(TL)の線分座標のピーク座標M1(指の先端側部分の毛細血管位置)を抽出し(S7006)、次にピーク座標M1から指の基端側へ一定距離以上に離れた遠い範囲(OA)については、計算外領域として除外する(S7007)。そして、残りの細線(TL)について、毛細血管の先端細線部分(P)と本体細線部分(B)に分け、それぞれの細線部分における血管輪郭追跡により曲率(ベクトル)を総和することで(S7008)、最終的に前記先端細線部分(P)の捩れ度合いおよび前記本体細線部分(B)の曲がり度合いを数値化する(S7009)。
【0039】
また、
図9および
図10に示すように、毛細血管の濁りを検出する場合、前記縦横方向の反応拡散処理による二値化を行い(S9001)、その際、
図10(a)に示すように、毛細血管画像(C1)の周辺には輝度分布のバラツキにより微少領域がノイズNとして残っており、そのため、該ノイズNを、メディアンフィルターやバイラテラルフィルター、或いは収縮・膨張モルフォロジー法(オープニング法)等によって削除することで(S9002)、
図10(b)に示すように、ノイズNのない整形された毛細血管画像(C1)が得られる。
【0040】
上記一連の操作において、
図10(a)の元画像における毛細血管画像(C1)以外の部分は組織の輝度分布にバラツキがある(微少領域が多い)ということであり、これを組織の濁りと見なす。そして、前記縦横方向の反応拡散処理による二値化(S9001)と前記ノイズ削除(S9002)の減算(
図10a元画像から
図10b)整形画像の差分)を行うことにより(S9003)、その数や面積から最終的に組織の濁りを計測して数値化する。
【0041】
図11に示すように、以上述べてきた毛細血管画像処理による数値化によって、縦横の毛細血管の本数、縦線、横線、濁りおよび太さ等といった観察対象の数値化が行われ、その結果、観察対象の毛細血管について種々の評価が一見して行える。
【産業上の利用可能性】
【0042】
本発明に係る毛細血管の画像処理方法および画像処理装置によれば、簡単且つ確実に毛細血管の形態に関する数値化が自動的に行えるため、医療や研究の分野において幅広い利用が期待できる。
【符号の説明】
【0043】
1 毛細血管観察装置
2 指置き台
3 光学系部
4 照明部
5 撮影部
6 撮影制御部
7 画像出力インターフェース
8 伝送系部
21 毛細血管画像処理装置
22 画像入力部
23 画像処理部
24 画像処理データ出力部+