特許 6041036 網膜血管抽出のための方法、プログラム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6041036

(24)【登録日】2016年11月18日

(45)【発行日】2016年12月7日

(54)【発明の名称】網膜血管抽出のための方法、プログラム及びシステム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20161128BHJP

   A61B 3/14 20060101ALI20161128BHJP

   G06T 1/00 20060101ALN20161128BHJP

【ＦＩ】

   A61B3/10 R

   A61B3/14 M

   !G06T1/00 290Z

【請求項の数】20

【全頁数】22

(21)【出願番号】特願2015-238004(P2015-238004)

(22)【出願日】2015年12月4日

(65)【公開番号】特開2016-107097(P2016-107097A)

(43)【公開日】2016年6月20日

【審査請求日】2015年12月7日

(31)【優先権主張番号】14/562300

(32)【優先日】2014年12月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ポウェル タルワール

(72)【発明者】

【氏名】ミトゥン ダス グプタ

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 特開２０１０−２７９４４０（ＪＰ，Ａ）

【文献】 特開２００８−１７６７９５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２６７５２５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

(57)【特許請求の範囲】

【請求項1】

第１の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを実行するステップと、
網膜血管抽出を実行するステップであって、前記アルファマッティングからの出力を用いて前記第１の画像から前景及び背景画像データを分離することによって前記第１の画像に対してセグメンテーションを実行することを含むステップと
を有する方法。

【請求項2】

前記アルファマッティングは、K最近傍点（KNN）に基づくアルファマッティングを有する、
請求項１に記載の方法。

【請求項3】

前記網膜血管抽出を実行するステップは、前記アルファマッティングの前記出力に対してOtsuセグメンテーションプロセスを実行することを有する、
請求項１に記載の方法。

【請求項4】

フィルタ処理された画像を生成するようガウスフィルタの一次導関数を用いる整合フィルタ（MF-FDOG）を前記第１の画像に適用するステップと、
前記Otsuセグメンテーションプロセスにより得られるリファレンス画像を前記フィルタ処理された画像に加えるステップと
を更に有する請求項３に記載の方法。

【請求項5】

前記第１の画像の前記画像データ又は前記第１の画像の前記画像データから得られるデータに対して動作群の中の１つ以上の動作を適用することによって、前記多次元特徴セットを生成するステップを更に有し、
前記動作群は、
ラプラス−ガウス（LoG）フィルタを前記第１の画像に適用することによって、フィルタ処理された画像を生成する動作と、
正規化された画像を前記第１の画像から生成する動作と、
フランジ画像を前記第１の画像から生成する動作と、
ラインフィルタ処理された画像を生成するようラインフィルタリングを前記フランジ画像に適用する動作と、
前記ラインフィルタ処理された画像に前記フランジ画像を乗じる動作と、
前記ラインフィルタ処理された画像についてHuモーメントを計算する動作と、
前記正規化された画像についてHuモーメントを計算する動作と
を含む、請求項１に記載の方法。

【請求項6】

前記動作群の中の１つ以上の動作を適用することは、前記動作群の中の全ての動作を適用することを有する、
請求項５に記載の方法。

【請求項7】

ガウスフィルタの一次導関数を用いる整合フィルタ（MF-FDOG）を、前記第１の画像の前記画像データから得られる複数の特徴画像に適用するステップを更に有する
請求項１に記載の方法。

【請求項8】

前記多次元特徴セットを生成する前に、前記第１の画像の前記画像データの前処理を行うステップを更に有する
請求項１に記載の方法。

【請求項9】

前記画像データの前処理を行うステップは、前記画像データに対してノイズ除去を行うこと、前記画像データに対してコントラスト強調を行うこと、及び前記画像データに対して中心血管反射の除去を行うことのうちの１つ以上を含む、
請求項８に記載の方法。

【請求項10】

システムによって実行される場合に、該システムに、
第１の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを実行するステップと、
網膜血管抽出を実行するステップであって、前記アルファマッティングからの出力を用いて前記第１の画像から前景及び背景画像データを分離することによって前記第１の画像に対してセグメンテーションを実行することを含むステップと
を有する方法を実行させるプログラム。

【請求項11】

前記アルファマッティングは、K最近傍点（KNN）に基づくアルファマッティングを有する、
請求項１０に記載のプログラム。

【請求項12】

前記網膜血管抽出を実行するステップは、前記アルファマッティングの前記出力に対してOtsuセグメンテーションプロセスを実行することを有する、
請求項１０に記載のプログラム。

【請求項13】

前記方法は、
フィルタ処理された画像を生成するようガウスフィルタの一次導関数を用いる整合フィルタ（MF-FDOG）を前記第１の画像に適用するステップと、
前記Otsuセグメンテーションプロセスにより得られるリファレンス画像を前記フィルタ処理された画像に加えるステップと
を更に有する、請求項１２に記載のプログラム。

【請求項14】

前記方法は、前記第１の画像の前記画像データ又は前記第１の画像の前記画像データから得られるデータに対して動作群の中の１つ以上の動作を適用することによって、前記多次元特徴セットを生成するステップを更に有し、
前記動作群は、
ラプラス−ガウス（LoG）フィルタを前記第１の画像に適用することによって、フィルタ処理された画像を生成する動作と、
正規化された画像を前記第１の画像から生成する動作と、
フランジ画像を前記第１の画像から生成する動作と、
ラインフィルタ処理された画像を生成するようラインフィルタリングを前記フランジ画像に適用する動作と、
前記ラインフィルタ処理された画像に前記フランジ画像を乗じる動作と、
前記ラインフィルタ処理された画像についてHuモーメントを計算する動作と、
前記正規化された画像についてHuモーメントを計算する動作と
を含む、請求項１０に記載のプログラム。

【請求項15】

前記動作群の中の１つ以上の動作を適用することは、前記動作群の中の全ての動作を適用することを有する、
請求項１４に記載のプログラム。

【請求項16】

前記方法は、ガウスフィルタの一次導関数を用いる整合フィルタ（MF-FDOG）を、前記第１の画像の前記画像データから得られる複数の特徴画像に適用するステップを更に有する、
請求項１０に記載のプログラム。

【請求項17】

前記方法は、前記多次元特徴セットを生成する前に、前記第１の画像の前記画像データの前処理を行うステップを更に有する
請求項１０に記載のプログラム。

【請求項18】

前記画像データの前処理を行うステップは、前記画像データに対してノイズ除去を行うこと、前記画像データに対してコントラスト強調を行うこと、及び前記画像データに対して中心血管反射の除去を行うことのうちの１つ以上を含む、
請求項１７に記載のプログラム。

【請求項19】

画像を記憶するメモリと、
前記メモリへ結合される網膜血管抽出部であって、第１の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを実行し、前記アルファマッティングからの出力を用いて前記第１の画像から前景及び背景画像データを分離することによって前記第１の画像に対してセグメンテーションを実行することを含む網膜血管抽出を実行する前記網膜血管抽出部と
を有するシステム。

【請求項20】

前記アルファマッティングは、K最近傍点（KNN）に基づくアルファマッティングを有し、前記網膜血管抽出部は、前記アルファマッティングの前記出力に対してOtsuセグメンテーションプロセスを実行する、
請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、網膜画像からの血管抽出の分野に係る。特に、本発明の実施形態は、アルファマッティングに基づく網膜血管抽出に係る。

【背景技術】

【0002】

眼の脈管構造の特性の研究は、多くの眼の疾患に有用な見識を提供する。例えば、幅、長さ、分岐パターン、及び眼杯のサイズに対する視神経円板のサイズの比などの脈管構造の性質は、網膜症、高眼圧、緑内障、及び静脈又は動脈の閉塞の検出において重要なパラメータである。眼の早期且つ定期的なスクリーニングは、それらの問題のほとんどの適時の検出及び治療に有用であり得る。症状を探すための医師による多数の網膜の手動検査は、大きな労力を要するプロセスである。網膜内の血管の自動描写は、そのような病気の診断、スクリーニング及び治療に非常に有用であり得ることが認知されている。よって、網膜マップの自動抽出は、眼の疾患のための何らかのコンピュータ支援診断システムを確立することにおける重要な第一歩を形成する。

【0003】

網膜カラー画像から血管をセグメント化するために多くの方法が使用されてきた。それらの方法は、教師ありと教師なしとに分類され得る。教師あり方法は、通常は、教師なしの手法よりも高い精度を有するが、高品質のトレーニングデータの生成を必要とする。教師なし方法は、そのような必要がなく、よって、トレーニングデータが生成されるのが困難であるような用途を含め、より広い用途を見出す。トレーニングのために多数の特徴を用いる教師あり学習アルゴリズムが提案されている。この提案されている方法は、血管の位置を見つけるために隆線抽出に基づく。隆線は、ラインセグメントの形でプリミティブを構成するために使用される。次いで、画像は、各ピクセルを最近傍ラインセグメントに割り当てることによって、パッチに区分化される。特徴ベクトルは、ピクセルごとに計算され、KNN分類器を用いて分類される。他の先行技術は、血管セグメンテーションのために、Gabor特徴に基づく教師あり学習を使用する。Morletウェーブレット変換は、種々のスケールで特徴を抽出するために使用されてきた。他の技術は、特徴として画像において計算されるHuモーメント及びグレイ強度値を使用し、それらは、分類のためにニュートラルネットワークへ与えられる。他の技術では、ライン検出器及びサポートベクトルマシンが、ピクセルを血管又は非血管と分類するために使用される。最近では、ベクトル発散場アプローチが、bright lesionsを扱うために提案されており、高い精度を得ている。他の技術は、血管領域と非血管領域とを区別するために、ガウスフィルタの一次導関数及びガウスプロファイルに対する応答を使用する。更に他には、画像を血管と非血管とにセグメント化するためのピクセル分類法が使用されている。

【発明の概要】

【0004】

網膜血管抽出を実行する方法及び装置が開示される。一実施形態において、方法は、該位置の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを実行するステップと、網膜血管抽出を実行するステップであって、前記アルファマッティングからの出力を用いて前記第１の画像から前景及び背景画像データを分離することによって前記第１の画像に対してセグメンテーションを実行することを含むステップとを有する。

【0005】

本発明の実施形態は、他のシステム、方法、製品、及びコンピュータ可読記憶媒体などの他の形をとることができる。

【図面の簡単な説明】

【0006】

本発明は、以下で与えられる詳細な説明から且つ本発明の様々な実施形態にための添付の図面から、更に十分に理解されるであろう。なお、以下の詳細な説明及び添付の図面は、本発明を具体的な実施形態に制限するものと見なされるべきではなく、単に説明及び理解のためのものである。

【図1】多次元特徴空間を生成するプロセスの一実施形態のフロー図である。

【図2A】一実施形態に従って、原の（前処理された）画像を表す。

【図2B】一実施形態に従って、最終のハイパス／正規化された画像を夫々表す。

【図3A】一実施形態に従って、原の（前処理された）画像を表す。

【図3B】一実施形態に従って、図３Ａの画像から正規化された、ラプラス−ガウス（LoG）フィルタをかけられた画像を夫々表す。

【図4A】画像の例を表す。

【図4B】一実施形態に従って図４Ａの画像から生成されるフランジ・ベッセルネス画像を表す。

【図4C】一実施形態に従って図４Ｂのフランジ画像に適用されるラインフィルタリングの出力を表す。

【図5A】一実施形態に従って、ハイパス／正規化された画像におけるHuの第１モーメントを表す。

【図5B】一実施形態に従って、ハイパス／正規化された画像におけるHuの第２モーメントを表す。

【図5C】一実施形態に従って、ラインフィルタをかけられた画像の付加後の、図５Ａに表された同じ画像を表す。

【図5D】一実施形態に従って、ラインフィルタをかけられた画像の付加後の、図５Ｂに表された同じ画像を表す。

【図6】血管抽出プロセスの一実施形態のフロー図である。

【図7A】一実施形態に従って、正規化された画像を表す。

【図7B】一実施形態に従うプロシージャによって生成された前景マップの例を表す。

【図7C】一実施形態に従うプロシージャによって生成された背景マップの例を表す。

【図8A】一実施形態に従って、アルファマットを示す。

【図8B】一実施形態に従って、閾値化された画像を示す。

【図8C】一実施形態に従って、グランドトルースを示す。

【図9】網膜血管抽出のための動作を実行する血管抽出システムの一実施形態のブロック図を表す。

【図10】システムの一実施形態のメモリにおいて記憶されるコード（例えば、プログラム）及びデータの組を表す。

【発明を実施するための形態】

【0007】

アルファマッティング技術による眼底カラー画像における血管抽出のための技術が記載される。一実施形態において、アルファマッティング技術は、K最近傍点（KNN；K-Nearest Neighbors）に基づくアルファマッティングであり、画像において血管領域と非血管領域とを分離するために使用される。一実施形態において、より大きい血管は、マッティングに必要とされるトリマップ（tri-map）を生成するために使用される。そのために、一実施形態において、トリマップを生成するのにユーザから入力は必要とされない。多次元特徴セットは構成され、マッティングフレームワークに供給される。ピクセル間の類似性は、マッティング・ラプラシアン（matting Laplacian）を得るために使用される。マッティング・ラプラシアンの固有分解は、網膜血管を含む画像において血管領域と非血管領域との分離をもたらす。

【0008】

以下の記載で、多数の詳細は、本発明のより完全な理解を提供するために説明される。なお、当業者に明らかなように、本発明は、それらの具体的な詳細によらずとも実施され得る。他の事例では、よく知られている構造及びデバイスは、本発明を不明りょうにしないように、詳細にではなく、ブロック図形式において示される。

【0009】

後続の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び符号表現に関して与えられる。そのようなアルゴリズム的な記載及び表現は、データ処理分野における当業者が他の当業者に自身の研究の大要を最も有効に伝えるための手段である。アルゴリズムは、ここで、且つ、一般的に、所望の結果を生じさせるセルフコンシステントなステップのシーケンスであると考えられる。ステップは、物理量の物理的な操作を必要とするものである。通常は、必ずしもではないが、それらの量は、記憶、伝送、結合、比較、及び別な操作をされ得る電気又は磁気信号の形をとる。時々都合がよいことには、一般的な使用のために、それらの信号はビット、値、要素、シンボル、文字、項目、数、などと呼ばれることがある。

【0010】

なお、留意すべきは、そのような及び同様の用語の全ては、適切な物理量に関連付けられるべきであり、それらの量に適用される便宜上のラベルにすぎない。以下の議論から明らかなように別なように具体的に述べられない限りは、本明細書の全体を通じて、例えば「処理する（processing）」又は「計算する（computing）」又は「演算する（calculating）」又は「決定する（determining）」又は「表示する（displaying）」などのような語を用いる議論は、コンピュータシステムのレジスタ内の物理（電気）量として表されるデータを処理して、コンピュータシステムメモリ若しくはレジスタ又は他のそのような情報記憶、伝送若しくは表示デバイス内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及びプロセスをさす。

【0011】

本発明はまた、ここでの動作を実行するための装置に関する。この装置は、必要とされる目的のために特別に構成されてよく、あるいは、それは、コンピュータに記憶されているコンピュータプログラムによって選択的に作動又は再構成される汎用のコンピュータを有してよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体、例えば、制限なしに、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、及び光学磁気ディスクを含むあらゆるタイプのディスク、読出専用メモリ（ROM；Read-Only Memory）、ランダムアクセスメモリ（RAM；Random Access Memory）、EPROM、EEPROM、磁気若しくは光学式カード、又は電子命令を記憶するのに適しており且つコンピュータシステムバスへ夫々結合されるあらゆるタイプの媒体において記憶されてよい。

【0012】

ここで提示されるアルゴリズム及びディスプレイは、如何なる特定のコンピュータ又は他の装置とも本質的に無関係である。様々な汎用のシステムが、ここでの教示に従うプログラムとともに使用されてよく、あるいは、より特殊化された装置を構成して必要とされる方法ステップを実行することが、都合がよいことがある。様々なそのようなシステムのための必要とされる構造は、以下の記載から現れるであろう。加えて、本発明は、如何なる特定のプログラミング言語も参照して記載されない。明らかなように、様々なプログラミング言語が、ここで記載される発明の教示を実施するために使用されてよい。

【0013】

非一時的な機械可読媒体は、機械（例えば、コンピュータ）によって読むことができる形式において情報を記憶又は伝送するための如何なるメカニズムも含む。例えば、機械可読媒体は、読出専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、などを含む。

【0014】

［概要］
網膜血管抽出のための方法が記載される。一実施形態において、ここで記載される技術は、血管をセグメント化するタスクを効率よく扱い、中心血管反射（Central Vessel Reflex）の影響を大いに弱めることができる。一実施形態において、血管抽出技術は、画像において前景及び背景を分離するために使用されるアルファマッティング技術に基づく。一実施形態において、アルファマッティング技術は、当該技術においてよく知られている。マッティングのためのK最近傍点（KNN；K Nearest Neighbor）技術に関する更なる情報については、Chen & Tang，“KNN matting”，IEEE CVPR，2012，pp.869-876を参照されたい。KNN法は、多次元特徴空間から非局所的な近傍におけるK最近傍点を見つけ、マッティング・ラプラシアンを生成する。マッティング・ラプラシアンから、画像の前景及び背景が分離され得る。アルファマッティングにはユーザ入力が必要とされない。通常の抽出プロセスの部分として、トリマップ生成が実行される。トリマップは、確かな前景又は背景領域及び未知の領域として領域をマークするようユーザによって付されたアノテーション又はスクリブルを伴う画像である。一実施形態において、トリマップ生成は、生成された特徴から自動的に行われる。

【0015】

一実施形態において、プロセッシングは、第１の画像の画像データ又は第１の画像の画像データから得られるデータに対して動作群の中の１つ以上の動作を適用することによって多次元特徴セットを生成することと、第１の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを適用することと、アルファマッティングからの出力を用いて第１の画像から前景及び背景画像データを分離することによって画像に対してセグメンテーションを実行することを含む網膜血管抽出を実行することとを有する。一実施形態において、アルファマッティングは、K最近傍点（KNN）に基づくアルファマッティングを有し、アルファマッティングの出力に対してOtsuセグメンテーションプロセスを実行することを含む。

【0016】

一実施形態において、多次元特徴セットは、次の動作：ラプラス−ガウス（LoG；Laplace of Gaussian）フィルタを第１の画像に適用することによって、フィルタ処理された画像を生成する動作；正規化された画像を第１の画像から生成する動作；フランジ（Frangi）画像を第１の画像から生成する動作；ラインフィルタ処理された画像を生成するようラインフィルタリングをフランジ画像に適用する動作；ラインフィルタ処理された画像にフランジ画像を乗じる動作；ラインフィルタ処理された画像についてHuモーメントを計算する動作；及び正規化された画像についてHuモーメントを計算する動作のうちの１つ以上を適用することによって、生成される。一実施形態において、それらの動作の全ては、特徴セットを生成するよう適用され、次いで、特徴セットは、アルファマッティングプロセスにおいて使用される。

【0017】

［多次元特徴セットの生成］
一実施形態において、網膜血管抽出プロセスは、多次元特徴セットを生成することから始める。特徴セットは、次いで、アルファマッティングプロセスに入力されてよい。

【0018】

図１は、多次元特徴空間を生成するためのプロセスの一実施形態のフロー図である。プロセスは、プロセッシングロジックによって実行される。プロセッシングロジックは、ハードウェア（回路構成、専用のロジック、など）、ソフトウェア（例えば、汎用コンピュータシステム又は専用機械で実行されるもの）、ファームウェア、又はそれら３つの組み合わせを有してよい。

【0019】

図１を参照すると、プロセスは、原画像１００に対して前処理を実行するから始める（処理ブロック１１０）。カラー眼底画像は、重大な強度変化、不十分なコントラスト、及びノイズを常に示す。一実施形態において、前処理は、入力画像に対して実行されるフィルタリング及び他の動作を含む。例えば、一実施形態において、前処理は、粒子状ノイズを取り除くためのノイズフィルタリングを含む。一実施形態において、ノイズフィルタリングは、ウィナー（Wiener）フィルタリングを用いることによって達成される。一実施形態において、ウィナーフィルタは、粒子状及びスペックルノイズを画像から取り除くよう３×３ウィンドウに対して適用される。

【0020】

一実施形態において、前処理は、網膜画像のコントラスト強調を実行することを含む。コントラスト強調は、入力画像又は、ノイズ除去をすでに受けた入力画像に対して実行される。一実施形態において、コントラスト強調は、フィルタを画像に適用することによって達成される。一実施形態において、画像に適用されるフィルタは、ラプラス−ガウス（LoG）フィルタである。血管境界は、LoGフィルタを用いることによって強調される。一実施形態において、LoGフィルタの出力は、血管と背景領域との間でより高いコントラストを得るよう原画像から減じられる。

【0021】

一実施形態において、前処理は、中心血管反射（より大きい血管の中心にあるより明るい領域）の抑制を含む。一実施形態において、中心血管反射の除去は、画像に適用される１ピクセル直径のディスク構造要素によりモルフォロジカルクロージング（morphological closing）演算を実行することによって達成される。

【0022】

一実施形態において、前処理は、ノイズ除去、コントラスト強調、及び中心血管反射の除去を実行することを含む点に留意されたい。なお、代替の実施形態では、それら３つの動作の一部のみが実行される。更なる他の実施形態では、前処理動作は任意である。

【0023】

いずれかの前処理動作を実行した後に、プロセッシングロジックは、前処理された画像に対して幾つかの動作を実行する。そのような動作の結果は、グレースケール画像の組である。

【0024】

再び図１を参照すると、プロセッシングロジックは、正規化された画像を、前処理された画像から生成する（処理ブロック１１３）。画像正規化は、網膜画像において血管を強調するよう実行される。一実施形態において、プロセッシングロジックは、背景画像の大まかな推定を得るために大きいウィンドウを持ったメジアン（ハイパス）フィルタを前処理された画像に適用することによって、正規化された画像を生成する。一実施形態において、ウィンドウは２５×２５ピクセルウィンドウである。基本画像サイズに応じて、他の大きさを持ったウィンドウが使用されてよく、例えば、５×５、５０×５０などがある。例えば、約５００×５００のサイズの画像に関して、２５×２５のウィンドウが使用される。なお、如何なる大きさのブロックサイズを持った画像も使用されてよく、そのような場合に、画像サイズの４〜５％のウィンドウが使用され得る。次いで、プロセッシングロジックは、ハイパスフィルタを適用することで得られた背景画像から、前処理された画像を減じる。血管は、このハイパス画像において、より明るく現れる。このように減じられた画像は、次いで、グレイレベルの下端の方にある血管を強調するよう平均０及び分散１へと正規化される。この正規化プロセスは、ピクセル値の夫々から平均値を減じ、減算動作を受けたピクセル値の間の分散を求め、次いでピクセル値の夫々を分散で割ることを伴う。正規化は、血管の弁別的な強調及び背景の抑制をもたらす。図２Ａ及びＢは、原の（前処理された）画像及び最終のハイパス／正規化された画像を夫々表す。

【0025】

プロセッシングロジックはまた、前処理された画像にLoGフィルタを適用することによって、LoGフィルタ処理された画像を生成する（処理ブロック１１２）。LoGフィルタは、前処理された画像から血管境界を強調する。LoGフィルタ処理された画像は、前処理された画像の背景強度よりも高い強度レベルで血管を有する。このLoGフィルタ処理された画像は、コントラスト増大させ且つグレー値の全範囲を利用するよう平均０及び分散１へと正規化される。図３Ａ及びＢは、原の（前処理された）画像及び、その正規化された、LoGフィルタ処理された画像を夫々表す。

【0026】

プロセッシングロジックはまた、前処理された画像を処理することによってフランジ画像を生成する（処理ブロック１１４）。この処理は、ヘッセ（Hessian）に基づくベッセルネス（vesselness）のために実行される。血管は、より明るい背景において、異なる直径及び位置付けの暗い線形構造として見なされ得る。フランジ等（Frange, et. al，“Multiscale Vessel Enhancement Filtering”，pp.130-137，1998を参照）は、異なる幅の血管についてベッセルネス測度を計算するよう、異なるスケールで評価されるヘッセ行列の固有値に対して関係を与えた。より大きいスケールは大きい血管しか強調せず、一方、より小さいスケールは、小さい血管、大きい血管、及びノイズを強調する。ここで、スケールとは、特定のサイズを下回る血管が全て不鮮明にされるように画像をぼかすのに必要とされるカーネルのサイズをいう。一実施形態において、フランジによって提案されたものと同様のベッセルネス測度は、ピクセルが血管上にある可能性を求めるために使用される。具体的に、フランジ・ベッセルネス画像を生成するよう、２つの測度がピクセルごとに生成される。それらの測度は、血管種類がF₁=L₁及びF₂=L₁²+L₂²であることを示す。ここで、L₁及びL₂は夫々、ピクセルごとに生成され且つ４つの微分係数を含む、ヘッセ行列の、絶対的な意味における大きい方の固有値及び小さい方の固有値である。それら２つの測度は、次いで、次の式に従って、いずれかの点（ピクセル）でのベッセルネス測度を生成するために使用される：

【数1】

ピクセルごとに上記の値を計算した結果は、フランジ・ベッセルネス画像を形成するために使用される。

【0027】

プロセッシングロジックはまた、ラインフィルタ処理された画像を生成する（処理ブロック１１６）。一実施形態において、プロセッシングロジックは、処理ブロック１１４で生成されたフランジ・ベッセルネス画像に対してラインフィルタを適用することによって、ラインフィルタ処理された画像を生成する。網膜画像内の血管は、接続された線形構造によって近似され得る。それらの線形構造は、画像内の明るい斑点様構造とは区別されるべきである。このように、ラインフィルタは、強度が全ての方向において一様に分布している斑点様構造と対照的に血管の強度が特定の方向において直線に沿って集中するという事実を利用することから、使用される。フィルタは、同様の強度プロファイルを有する斑点様構造とのそれらの相違にもっぱら基づきセグメントを取り出す。

【0028】

一実施形態において、ラインセグメント（血管）沿いの強度は、だいたい一定であり、一方、ある幅を超えるライン（血管）の断面沿いには大きな強度変化が存在する。よって、あるピクセルでのライン強さは、どちらも同じ位置付けにより同じピクセルに中心を置かれた、一定の長さのラインに沿った強度の平均と、同じ長さの二乗にわたる強度の平均との間の差として定義され得る。ラインセグメント（血管）は水平方向からあらゆる角度で向けられ得るので、この測度は、一連の角度にわたって計算され、最大応答は、ラインセグメントの強さであるよう選択される。

【0029】

一実施形態において、全角度範囲にわたるライン強さは、一連の角度にわたって、max_x{S_x=L_x-N_x}と表される。ここで、L_x及びN_xは夫々、特定の位置付けに沿ったピクセルｘでのラインカーネルにわたる平均強度及びスクエアカーネルにわたる平均強度である。これは、細い血管が極めて近くで調べられる場合にラインのように見えることから、微細なラインを見つけるための方法である。

【0030】

フランジ画像に対してラインフィルタを適用することで得られる画像は、次いで、小さい血管を強調するよう平均０及び分散１へと正規化される。その後に、一実施形態において、メジアンフィルタリングは、中心血管反射の跡及びノイズを低減するよう、正規化された画像に対して実行される。メジアンフィルタリングは、浮遊スペックルを低減するために、フランジ画像に対するマスクとして使用される。そのような場合に、このマスクは、フランジ画像を乗じられる。結果として得られる画像は、原の（前処理された）画像同様に全部の血管領域を保持するが、ノイズ及び誤検出は大幅に低減される。

【0031】

図４Ａ乃至Ｃは、画像の一例、図４Ａの画像から生成されたフランジ・ベッセルネス画像、及びフランジ画像に対して適用されたラインフィルタリングの出力を夫々表す。

【0032】

再び図１を参照すると、多次元特徴セットを生成するプロセスは、Huモーメントを、処理ブロック１１３で生成されたハイパス／正規化された画像に（処理ブロック１１５）、及び処理ブロック１１６で生成されたラインフィルタ処理された画像に（処理ブロック１１７）適用することを更に投入する。網膜画像内の血管は、区分的に接続された、異なる長さ、幅及び位置付けのラインセグメントとして、モデリングされる。ラインどうしのそのようなばらつきと無関係な特徴記述子は、血管を識別するために使用され得る。Huモーメント不変量は、上記の特徴と無関係な、血管を識別するための優れた測度を提供する。

【0033】

一実施形態において、ハイパス／正規化された画像及びラインフィルタ処理された画像におけるピクセルごとに、プロセッシングロジックは、そのピクセルの周囲に固定サイズの正方形ウィンドウを持ち込むことによって定義されるサブ画像を識別する。一実施形態において、この領域のサイズは１７×１７に固定される。このサブ画像に関して、プロセッシングロジックはHuモーメントを計算する。一実施形態において、画像モーメントは、次のように計算される：

【数2】

このとき、総和はサブ画像I_sumを超える。対応する中心モーメントは、次のように計算される：

【数3】

このとき、バーi=m₁₀/m₀₀、バーj=m₀₁/m₀₀は、サブ画像の重心の座標をさす。次数(p+q)の正規化された中心モーメントは、η_pq=Ω_pq/Ω₀₀^γとして定義され、γ=1+(p+q)/2である。

【0034】

Huモーメント不変量は、正規化された中心モーメントの結合から導出され得る。一実施形態において、最初の２つのHuモーメントのみが血管検出のために使用される：

【数4】

【0035】

一実施形態において、ハイパス／正規化された画像についてHuモーメントを計算することより前に、プロセッシングロジックは、モーメント生成サブルーチンへ画像を供給する前に画像内の散在するノイズの現れを低減するように、画像に対して領域閾値化を実行する。この機能は、血管の構造の非常に素晴らしい推定を提供するが、細い血管の抑制に起因して全体の精度を下げる可能性がある。これを回避するよう、プロセッシングロジックは、ラインフィルタ処理された画像（正規化の前）を、Huモーメントに基づく特徴画像の出力に加え（処理ブロック１１８）、結果として得られる画像を特徴セットに加える。

【0036】

図５Ａ及びＢは、ハイパス／正規化された画像における第１及び第２のHuモーメントを表す。図５Ｃ及びＤは、ラインフィルタ処理された画像の付加後の、図５Ａ及び５Ｂで表された同じ画像を表す。

【0037】

プロセッシングロジックはまた、特徴ベクトルが、生成される画像、すなわち、処理ブロック１１２からのLoGフィルタ処理された画像と、処理ブロック１１３からのハイパス／正規化された画像と、処理ブロック１１４からのフランジ画像と、処理ブロック１１６からのラインフィルタ処理された画像と、処理ブロック１１６からのラインフィルタ処理された画像に処理ブロック１１４からのフランジ画像を乗じたことで得られる画像と、処理ブロック１１３からのハイパス／正規化された画像及び処理ブロック１１６からのラインフィルタ処理された画像から生成される２つの画像であって、それらについてHuモーメントが生成された画像との夫々からピクセル値とともに生成されることを可能にするよう、原の（前処理された）画像から夫々のピクセルについてX及びY座標を識別する（処理ブロック１１１）。一実施形態において、それらの画像は全てグレースケール画像である。これは特徴空間１２０を表す。

【0038】

生成されると、プロセッシングロジックは、多次元特徴セットである特徴空間１２０を、血管抽出プロセスの後の部分に供給する。図６は、血管抽出プロセスの一実施形態のフロー図である。プロセスは、プロセッシングロジックによって実行される。プロセッシングロジックは、ハードウェア（回路構成、専用ロジック、など）、ソフトウェア（例えば、汎用コンピュータシステム又は専用機械において実行されるもの）、ファームウェア、又はそれら３つの組み合わせを有してよい。

【0039】

図６を参照すると、プロセッシングロジックは、特徴空間の特徴画像６０１を受け取り、ガウスの一次導関数を用いる整合フィルタ（MF-FDOG；Matched Filter with First-order Derivative Of the Gaussian）を画像に適用する（処理ブロック６０２）。処理ロジックはまた、MF-FDOGフィルタを原の（前処理された）画像６１０に適用する（処理ブロック６１１）。

【0040】

プロセッシングロジックは、次いで、画像の画像データに対してアルファマッティングを実行する（処理ブロック６０３）。一実施形態において、アルファマッティングはK最近傍点（KNN）に基づくアルファマッティングである。

【0041】

アルファマッティングを実行することで生成されたアルファマット６０４と、処理ブロック６１１からのフィルタ画像とを用いて、プロセッシングロジックは、Otsuセグメンテーションを実行し（処理ブロック６０５）、出力画像６０６を生成する。出力画像は、輪郭を抽出されたブロック血管の画像である。

【0042】

［ＫＮＮマッティング］
アルファマッティングは、画像を前景成分と背景成分とに分けて、対応する不透明マスクを得るプロセスをいう。不透明マスクは、一般的にアルファマットと呼ばれ、その値は、画像内の夫々の個々のピクセルについて得られる。通常は、グレースケール画像について、次のようである：

【数5】

ここで、I(i,j)は、ピクセル(i,j)での画像強度であり、Fは前景画像、Bは背景画像である。夫々のピクセルで、３つの未知の値{α,F,B}が１つの式から計算される。その結果として、アルファマッティング問題は高度に制約される。ユーザは、既知の前景及び背景を識別するために使用され得るトリマップ又はスクリブルを提供してよい。しかし、更なる制約が、問題を解決するために依然として必要とされる。KNNマッティングは、多次元特徴空間を使用し、近傍点を見つけるために非局所的原理において働く。それは、近傍内で同様のピクセルを探すために大きなカーネルを必要とせず、閉形式解を提供するので、有利である。

【0043】

非局所的原理は、あるピクセルでのアルファマットが、非局所的近傍内で同じように現れるピクセルのアルファ値の加重和であるとの考えに基づく。重みは、カーネル関数によって定義され、次の式に従って多次元特徴から計算される距離に基づく：

【数6】

上記の距離は、次のように表され得る：

【数7】

ここで、k(x,y)が位置x及びyでのアルファ値どうしの類似度である。d_xは次のようである：

【数8】

Λは、画像にわたる全てのアルファ値のベクトルである。Nがピクセルの数であるとして、仮に、{A|α(x,y)=k(x,y)}をN×Nの類似行列であるとし、D=diag(d_i)をN×Nの対角行列であるとする。その場合に、式（７）における期待値は、次のように連帯的に記述され得る：

【数9】

ここで、L_c=(D-A)^T(D-A)は、クラスタリングラプラシアン（clustering Laplacian）と呼ばれる。この解は、次の二乗された差を最小限にすることをもたらす：

【数10】

カーネル関数は、このとき、Fが正規化された特徴ベクトルであるとして、k(x,y)=1-||F(x)-F(y)||として定義され得る。この線形カーネル関数は、ソフトセグメンテーションを提供する。L_c=(D-A)^T(D-A)を用いることよりむしろ、一実施形態では、L_c=(D-A)が使用される。これは、より疎であり、高速に実行される。一実施形態において、前処理付き共役勾配（pre-conditioned conjugate gradient）が、αの解を得るために使用される。ユーザにより指定されたトリマップが与えられる場合に、最小化は、次のように記述され得る：

【数11】

ここで、D=diag(m)であり、mは、全てのマークアップされたピクセルのインデックスのバイナリベクトルである。一実施形態において、λは１０００であり、マークアップに対するユーザの信頼を計る。他の値は、用途に基づき使用されてよい。例えば、値は、１と低くてよい。

【0044】

［トリマップ生成］
上述されたように、如何なるマッティング問題も、疎マークアップの形でユーザ入力を必要とする。一実施形態において、網膜画像内の主要な血管は、トリマップを自動的に生成するために使用される。正規化されたハイパス画像は、主要な血管からのみ成り、脈管構造のための骨組みを生成するために使用される。この骨組みは、前景領域（血管）のためのユーザスクリブルとなる。一実施形態において、正規化されたハイパス画像をトリマップとして使用することより前に、眼杯の除去は、正規化されたハイパス画像に適用される。

【0045】

形態的細線化動作及び領域閾値化は、ハイパス画像をトリマップとして使用する前に実行される。既知の背景領域はまた、同じ画像から決定される。正規化された画像は、網膜画像の脈管構造の大部分をカバーする。この画像は膨張（ダイレーション）され、反転された画像が、次いで、背景マスクとして使用され得る。図７Ａ乃至Ｃは、正規化された画像、正規化された画像によって生成される前景マップの例、及び同じ正規化された画像から生成された背景マップを夫々表す。

【0046】

［セグメンテーション］
多次元特徴セットにおける特徴画像は、視神経円板及び眼の境界の跡を、それらの血管様外観に起因して含む。一実施形態において、ガウスフィルタの一次導関数（FDOG）は、それらを抑制するために使用される。血管は、それらの断面にわたってガウス様プロファイルを有し、一方、視神経円板及び他の密な明領域は、ステップ関数と同様の強度プロファイルを有する。FDOG曲線は、その中心値の周りで反対称的である。よって、FDOGフィルタを適用することに対する応答は、明るい視神経円板について対称的であり、血管については反対称的である。応答の局所平均（ローパスフィルタリングと同等）は、通常は、視神経円板の境界では高い値を、血管については最小値を返す。この応答の反転画像は、多次元特徴セットにおける特徴画像に乗じられるマスクとして使用される。

【0047】

閾値を選択するために、Otsuセグメンテーション技術は、FDOGフィルタから出力された局所平均化された応答とともに使用される。アルファマットに対するOtsuセグメンテーションは、閾値を返す。閾値は、FDOGフィルタから出力される局所平均化された応答画像に加えられる。FDOGフィルタから出力される局所平均化された応答画像に閾値を加えることで生成された、結果として得られる画像は、次いで、リファレンス閾画像として使用される。結果として得られるアルファマットにおけるあらゆるピクセルは、リファレンス画像における対応するピクセルと比較され、決定（２値化）は、リファレンス画像における値が現在のピクセルよりも高いか低いかに基づきなされる。これは、誤検出領域について相対的により高い閾値をもたらし、一方、他の領域は、Otsuセグメンテーション技術の正常値と比較される。

【0048】

図８Ａ乃至Ｃは、アルファマット、閾値化された画像、及びグランドトルース（ground truth）を夫々示す。図８Ａ乃至Ｃで示されるように、アルファマットは、FDOGに基づく閾値化技術によって大いに低減され得る顕著な視神経円板境界を含む。

【0049】

このように、血管抽出のために前景を背景から分離するアルファマッティングの新規な手法が開示されてきた。アルファマッティングの部分としてトリマップを生成するトリマップ生成は、生成された特徴から自動化される。これは、確かな血管領域のための骨組みを提供し、一方、背景領域は、それか構成される。これは、網膜カラー画像からの血管の自動抽出における大きな前進であり、よって、人の関与を低減する。

【0050】

［血管抽出システムの例］
図９は、血管抽出システムのブロック図を表す。血管抽出システムは、１つ以上の画像、例えば、網膜血管抽出を受けるべき原画像、及び／又は特徴セット画像、などを記憶するメモリを有する。システムは、第１の画像の画像データから得られる多次元特徴セットに対してアルファマッティングを実行し、且つ、アルファマッティングからの出力を用いて第１の画像から前景画像及び背景画像を分離することによって画像に対してセグメンテーションを実行することを含む網膜血管抽出を実行する網膜血管抽出部として動作するプロセッシングユニットを更に含む。一実施形態において、アルファマッティングは、K最近傍点（KNN）に基づくアルファマッティングを有し、プロセッシングユニットは、アルファマッティングの出力に対してOtsuセグメンテーションプロセスを実行する。

【0051】

図９を参照すると、血管抽出システム９１０は、血管抽出システム９１０のサブシステム、例えば、プロセッサ９１４、システムメモリ９１７（例えば、RAM、ROM、など）、入出力コントローラ９１８、外部デバイス（例えば、表示アダプタ９２６を介する表示スクリーン９２４）シリアルポート９２８及び９３０、キーボード９３２（キーボードコントローラ９３３とインタフェース接続される。）、ストレージインタフェース９３４、フロッピー（登録商標）ディスク９３８を受けるよう動作するフロッピー（登録商標）ディスクドライブ９３７、ファイバチャネルネットワーク９９０と接続するよう動作するホストバスアダプタ（HBA；Host Bus Adapter）インタフェースカード９３５Ａ、SCSIバス９３９と接続するよう動作するホストバスアダプタ（HBA）インタフェースカード９３５Ｂ、並びに光ディスクドライブ９４０、などを相互接続するバス９１２を含む。更には、マウス９４６（又はシリアルポート９２８を介してバス９１２へ結合される他のポイント・アンド・クリックデバイス）、モデム９４７（シリアルポート９３０を介してバス９１２へ結合される。）、及びネットワークインタフェース９４８（バス９１２へ直接結合される。）が含まれる。

【0052】

バス９１２は、セントラルプロセッサ９１４とシステムメモリ９１７との間のデータ通信を可能にする。システムメモリ９１７（例えば、RAM）は、一般に、オペレーティングシステム及びアプリケーションプログラムがロードされるメインメモリであってよい。ROM又はフラッシュメモリは、数あるコードの中でも特に、例えば、周辺コンポーネントとのインタラクションといった基本ハードウェア動作を制御する基本入出力システム（BIOS；Basic Input-Output System）を含むことができる。コンピュータシステム９１０に常駐するアプリケーションは、一般に、コンピュータ可読媒体、例えば、ハードディスクドライブ（固定ディスク９４４）、光ドライブ（例えば、光ドライブ９４０）、フロッピー（登録商標）ディスクユニット９３７、又は他の記憶媒体に記憶され、それ等を介してアクセスされる。

【0053】

ストレージインタフェース９３４は、コンピュータシステム９１０の他のストレージインタフェースと同様に、情報の記憶及び／又は検索のための標準のコンピュータ可読媒体、例えば、固定ディスクドライブ９４４へ接続することができる。固定ディスクドライブ９４４は、コンピュータシステム９１０の一部であってよく、あるいは、別個であって、他のインタフェースシステムを通じてアクセスされてよい。

【0054】

モデム９４７は、電話回線を介した遠隔サーバへの、又はインターネットサービスプロバイダ（ISP；Internet Service Provider）を介したインターネットへの直接接続を提供してよい。ネットワークインタフェース９４８は、ここで記載される動作のうちの１つ以上を実行し得る遠隔サーバへの直接接続を提供してよい。ネットワークインタフェース９４８は、POP（Point Of Presence）を介したインターネットへの直接ネットワークリンクを介した遠隔サーバへの直接接続を提供してよい。ネットワークインタフェース９４８は、デジタルセルラー電話接続、パケット接続、デジタル衛星データ接続、又は同様のものを含む無線技術により、そのような接続を提供してよい。

【0055】

多くの他のデバイス又はサブシステム（図示せず。）は、同様にして接続されてよい（例えば、文書スキャナ、デジタルカメラ、など）。反対に、図９に示されているデバイスの全てが、ここで記載される技術を実施するために存在する必要があるわけではない。デバイス及びサブシステムは、図９に示されるのとは異なる方法で相互接続され得る。例えば図９に示されているもののようなコンピュータシステムの動作は、当業者に容易に知られ、本願では詳細に論じられない。

【0056】

ここで記載される血管抽出動作を実施するためのコードは、例えば、システムメモリ９１７、固定ディスク９４４、光ディスク９４２、又はフロッピー（登録商標）ディスク９３８のうちの１つ以上のような、非一時的なコンピュータ可読記憶媒体において記憶され得る。コンピュータシステム９１０で提供されるオペレーティングシステムは、MS-DOS（登録商標）、MS-WINDOWS（登録商標）、OS/2（登録商標）、UNIX（登録商標）、Linux（登録商標）、又は他の既知のオペレーティングシステムであってよい。

【0057】

図１０は、例えば、図９において説明されているシステムなどの、網膜血管抽出システムの一実施形態のメモリに記憶されるコード（例えば、プログラム）及びデータの組を表す。血管抽出システムは、ここで記載される実施すべき必要な動作（ロジック動作）を実施するために、プロセッサと併せて、コードを使用する。

【0058】

図１０を参照すると、メモリは、血管抽出を受けるべき原画像を受け取る通信を実行するために使用される通信モジュール１００１を記憶する。メモリは、上述されたもののような１つ以上の前処理動作を原画像に対して実行する前処理モジュール１００２を更に含む。メモリは、プロセッサによって実行される場合に、上述された多次元特徴セットのための画像データを生成することに関与する特徴セット生成モジュール１００３を更に含む。メモリは、プロセッサによって実行される場合に、トリマップ生成を含むアルファマッティング（例えば、KNNに基づくアルファマッティング）を実行することに関与するアルファマッティングモジュール１００４を更に記憶する。メモリは、プロセッサによって実行される場合に、セグメンテーション（例えば、Otsuセグメンテーション）を実行することに関与するセグメンテーションモジュール１００５を更に記憶する。

【0059】

コードは、非一時的なコンピュータ可読記憶媒体、例えば、図９におけるシステムのシステムメモリ９１７、固定ディスク９４４、光ディスク９４２、又はフロッピー（登録商標）ディスク９３８において記憶される。

【0060】

本発明の多くの代替及び変更は、確かに、前述の説明を読んだ後に当業者に明らかになるであろうが、一方で、実例として図示及び記載された如何なる特定の実施形態も、制限であるものとして見なされるべきでない点が理解されるべきである。従って、様々な実施形態の詳細への言及は、特許請求の範囲の適用範囲を制限するよう意図されない。特許請求の範囲において、それら自体は、本発明に必須なものと見なされる特徴のみを挙げている。

【符号の説明】

【0061】

１００，６１０ 原画像
１１０ 前処理画像
１２０ 特徴空間
６０１ 特徴画像
６０２，６１１ MF-FDOGフィルタ
６０３ アルファマッティング
６０４ アルファマット
６０５ Otsuセグメンテーション
６０６ 出力画像
９１０ 血管抽出システム
１００２ 前処理モジュール
１００３ 生成モジュール
１００４ アルファマッティングモジュール
１００５ セグメンテーションモジュール

【先行技術文献】

【非特許文献】

【0062】

【非特許文献1】Chen & Tang，“KNN matting”，IEEE CVPR，2012，pp.869-876

【非特許文献2】Frange, et. al，“Multiscale Vessel Enhancement Filtering”，pp.130-137，1998

【図1】

【図6】

【図9】

【図10】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図5D】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】