特許 7436066 眼底画像における動脈及び静脈を識別する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】眼底画像における動脈及び静脈を識別する方法

(51)【国際特許分類】

   A61B 3/14 20060101AFI20240214BHJP

【ＦＩ】

A61B3/14

【請求項の数】 9

(21)【出願番号】P 2022118066

(22)【出願日】2022-07-25

(65)【公開番号】P2023143591

(43)【公開日】2023-10-06

【審査請求日】2022-07-25

(31)【優先権主張番号】111110879

(32)【優先日】2022-03-23

(33)【優先権主張国・地域又は機関】TW

【新規性喪失の例外の表示】特許法第３０条第２項適用 公開日：令和３年７月２６日 試験場所：國立中正大學（台湾嘉義縣民雄郷三興村七鄰大學路一段１６８號）

(73)【特許権者】

【識別番号】503004699

【氏名又は名称】國立中正大學

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】ワン シアン チェン

(72)【発明者】

【氏名】ツャオ ユィ ミン

(72)【発明者】

【氏名】チェン ヨン ソン

(72)【発明者】

【氏名】リウ ユィ シン

(72)【発明者】

【氏名】リァン シー ウェン

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２０１０－２３３９１６（ＪＰ，Ａ）

【文献】特開２００２－２６９５３９（ＪＰ，Ａ）

【文献】国際公開第２０２１／１５１０４６（ＷＯ，Ａ１）

【文献】国際公開第２０２１／０４８９５４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１７９４９５（ＷＯ，Ａ１）

【文献】特表２０２１－５１１１１８（ＪＰ，Ａ）

【文献】特開２０１８－１７１１７７（ＪＰ，Ａ）

【文献】特開２０１７－１５３５１９（ＪＰ，Ａ）

【文献】国際公開第２００５／０９２００８（ＷＯ，Ａ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

眼底画像における動脈及び静脈を識別する方法であって、該方法は、コンピュータ装置が応用プログラムを実行することによって実行され、前記コンピュータ装置は、参照対象の参照カラー画像と、前記参照対象に関連する参照反射スペクトルデータセットと、を記憶し、該方法は、
Ａ－１）前記眼底画像に前処理工程を行って、前処理された眼底画像を得るステップと、
Ａ－２）前記参照カラー画像と前記参照反射スペクトルデータセットとに変換工程を行って、前記参照カラー画像と前記参照反射スペクトルデータセットとをＣＩＥ １９３１ＸＹＺ色空間に変換し、前記参照カラー画像と前記参照反射スペクトルデータセットとにそれぞれ対応する変換された参照画像と変換されたスペクトルデータセットとを得て、
前記変換されたスペクトルデータセットに関連する行列と変数行列とに基づいて、調整行列を得て、
前記変数行列と前記調整行列とに基づいて、校正画像行列を得て、
前記参照反射スペクトルデータセットと前記校正画像行列とに基づいて、スペクトル変換行列を得るステップと、
Ｂ）前記前処理された眼底画像及び前記スペクトル変換行列に基づいて、前記前処理された眼底画像の複数のピクセルに関連する眼底反射スペクトルデータセットを生成するステップと、
Ｃ）前記眼底反射スペクトルデータセットに主成分分析を実行し、前記前処理された眼底画像の複数のピクセルにそれぞれ関連する複数の主成分得点を得るステップと、
Ｄ）前記前処理された眼底画像において血管の一部と判断された前記ピクセルのそれぞれについて、前記ピクセルが動脈の一部または静脈の一部に属するかを判断するステップと、
を含む、方法。

【請求項2】

ステップＡ－１は、
前記眼底画像のチャンネルを抽出するように抽出工程を行って、抽出された画像を得ることと、
前記抽出された画像にフィルタリング工程を行って、前記抽出された画像内の血管に関連する増強画像を得ることと、
前記増強画像に閾値工程を行って、二値画像を得ることと、
前記二値画像に対して、小物除去工程を行うことと、
前記二値画像をマスクとして用いて、前記眼底画像に対して分離工程を行って、前記前処理された眼底画像を得ることと、を含む、請求項１に記載の方法。

【請求項3】

前記調整行列は、以下の式に基づいて多変量回帰分析を実行することによって得られ、

【数1】

は前記調整行列を示し、

はＣＩＥ １９３１ＸＹＺ色空間においての前記変換されたスペクトルデータセットのＸの値、Ｙの値、Ｚの値を含む行列であり、

は前記変数行列の逆行列であり、Ｒ、Ｇ、Ｂはそれぞれ前記参照カラー画像のピクセルの赤の値、緑の値、青の値を示す、請求項１に記載の方法。

【請求項4】

前記校正画像行列

は、以下の式によって得られ、

、

はＣＩＥ １９３１ＸＹＺ色空間においての校正画像のすべてのピクセルのＸの値、Ｙの値、Ｚの値を含む前記校正画像行列である、請求項１に記載の方法。

【請求項5】

ステップＡ－２における前記スペクトル変換行列を得ることは、
前記参照反射スペクトルデータセットに主成分分析を行って、複数の主成分を得て、前記主成分それぞれの複数の主成分固有値を得ることと、
前記複数の主成分固有値と前記校正画像行列に対して多変量回帰分析を実行し、前記スペクトル変換行列を得ることと、を含む、請求項１に記載の方法。

【請求項6】

前記スペクトル変換行列は、以下の式によって得られ、

はスペクトル変換行列を示し、

は前記複数の主成分固有値を含む行列である、請求項５に記載の方法。

【請求項7】

前記眼底反射スペクトルデータセットは、
前記前処理された眼底画像を、ＣＩＥ １９３１ＸＹＺ色空間に変換し、変換された前処理眼底画像を得ることと、
以下の式を用いることと、により得るものであり、

は前記眼底反射スペクトルデータセットを含む行列であり、

は前記スペクトル変換行列であり、

は前記複数の主成分固有値を含む行列を示し、

は前記変換された前処理眼底画像のピクセル値を含む行列である、請求項６に記載の方法。

【請求項8】

眼底画像における動脈及び静脈を識別する方法であって、該方法は、コンピュータ装置が応用プログラムを実行することによって実行され、
Ａ）前記眼底画像に前処理工程を行って、前処理された眼底画像を得るステップと、
Ｂ）前記前処理された眼底画像及びスペクトル変換行列に基づいて、前記前処理された眼底画像の複数のピクセルに関連する眼底反射スペクトルデータセットを生成するステップと、
Ｃ）前記眼底反射スペクトルデータセットに主成分分析を実行し、前記前処理された眼底画像の複数のピクセルにそれぞれ関連する複数の主成分得点を得るステップと、
Ｄ）前記前処理された眼底画像において血管の一部と判断された前記ピクセルのそれぞれについて、前記ピクセルを動脈の一部または静脈の一部であると識別するための閾値主成分得点を判断し、前記主成分得点のそれぞれを前記閾値主成分得点と比較し、前記前処理された眼底画像の前記ピクセルのそれぞれに対して、該ピクセルに関連する前記主成分得点と前記閾値主成分得点との関係に基づいて、該ピクセルを動脈の一部または静脈の一部として識別することによって、前記ピクセルが動脈の一部または静脈の一部に属するかを判断するステップと、
を含む、方法。

【請求項9】

ステップＤにおける閾値主成分得点を判断することは、
ａ）前記主成分得点の平均値を分類閾値として算出するサブステップと、
ｂ）前記分類閾値に基づいて、前記主成分得点を第１のグループと第２のグループとに分類するサブステップと、
ｃ）前記第１のグループにおける前記主成分得点の平均値を第１の平均値として算出し、前記第２のグループにおける前記主成分得点の平均値を第２の平均値として算出するサブステップと、
ｄ）前記第１の平均値と前記第２の平均値との平均値をグループ間平均値として算出するサブステップと、
ｅ）前記分類閾値と前記グループ間平均値との差が所定の値より少ないかどうかを判断するサブステップと、
ｆ）前記差が前記所定の値より少ないと判断された場合、前記グループ間平均値を前記閾値主成分得点として設定するサブステップと、
ｇ）前記差が前記所定の値以上であると判断された場合、前記グループ間平均値を前記分類閾値として設定し、サブステップｂ）からサブステップｇ）を繰り返すサブステップと、を含む、請求項８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ハイパースペクトル画像技術を用いて眼底画像における動脈及び静脈を識別する方法に関する。

【背景技術】

【0002】

最近、糖尿病が最も一般的な公衆衛生問題の１つとなっている。国際糖尿病連合（ＩＤＦ）の記録によると、２０１４年には世界人口の約８．４％が糖尿病に罹患しており（約３億８７００万人）、糖尿病患者の数は、今後２５年間で５億９０００万人超に増加すると予測されている。

【0003】

糖尿病に起因する病状の１つに、網膜の血管に損傷が生じ、眼底出血またはその他の症状を引き起こす糖尿病性網膜症（以下、ＤＲと称する）がある。ＤＲの初期段階では、自覚症状がほとんどなく、患者の視力が低下し始めた時にはすでに後期の段階に進んでいる可能性がある。従って、ＤＲを早期に発見することは重要である。

【0004】

現在、ＤＲの診断は、眼底写真を撮影する眼底検査などで行われる。眼科医は、眼底写真によって、血管、網膜などを観察し、ＤＲの有無やＤＲの進行度を判断する。

【0005】

ＤＲの診断や血管内の酸素飽和度の判断に対して、眼底写真における動脈及び静脈を含む血管を識別することは重要である。従来は、眼底写真の色に基づいて、血管の位置を特定し、血管が動脈又は静脈であるかを判断する。なお、従来の方法は、眼底写真の品質や人為的なミスに影響される可能性がある。

【先行技術文献】

【特許文献】

【0006】

【文献】中国特許第１１１０００５６３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的の１つは、眼底画像における動脈及び静脈を識別するように構成される方法を提供することにある。

【課題を解決するための手段】

【0008】

本発明によれば、該方法は、コンピュータ装置が応用プログラムを実行することによって実行され、眼底画像に前処理工程を行って、前処理された眼底画像を得るステップと、
前処理された眼底画像及びスペクトル変換行列に基づいて、前処理された眼底画像の複数のピクセルに関連する眼底反射スペクトルデータセットを生成するステップと、眼底反射スペクトルデータセットに主成分分析を実行し、前処理された眼底画像の複数のピクセルにそれぞれ関連する複数の主成分得点を得るステップと、前処理された眼底画像において血管の一部と判断されたピクセルのそれぞれについて、ピクセルが動脈の一部または静脈の一部に属するかを判断するステップと、含む。

【発明の効果】

【0009】

眼底画像に前処理工程を行って、前処理された眼底画像を得る。前処理された眼底画像とスペクトル変換行列とに基づいて、眼底反射スペクトルデータセットを生成する。眼底反射スペクトルデータセットに主成分分析を実行し、複数の主成分得点を得る。複数の主成分得点を用いて、前処理された眼底画像のピクセルを動脈の一部または静脈の一部と識別する。これによって、糖尿病性網膜症の診断は容易になる。

【0010】

本発明の他の特徴及び利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になる。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態に係るコンピュータ装置が示されているブロック図である。

【図2】本発明の一実施形態に係る眼底画像における動脈及び静脈を識別する方法における行列計算手順のステップが示されているフローチャートである。

【図3】本発明の一実施形態に係るスペクトル変換行列を得るステップのサブステップが示されているフローチャートである。

【図4】本発明の一実施形態に係る方法の識別手順のステップが示されているフローチャートである。

【図5】本発明の一実施形態に係る前処理された眼底画像を得るステップのサブステップが示されているフローチャートである。

【図6】本発明の一実施形態に係る眼底反射スペクトルデータセットを得るステップのサブステップが示されているフローチャートである。

【図7】本発明の一実施形態に係るピクセルを動脈の一部または静脈の一部と識別するかを判断するステップのサブステップが示されているフローチャートである。

【図8】本発明の一実施形態に係る閾値主成分得点を判断するステップのサブステップが示されているフローチャートである。

【図9】本発明の一実施形態に係る例示的な眼底画像である。

【図10】本発明の一実施形態に係る動脈及び静脈が示されている図９の眼底画像の部分拡大図である。

【図11】本発明の一実施形態に係る例示的な眼底画像の一部と対応の二値画像とが示されている図である。

【発明を実施するための形態】

【0012】

本発明をより詳細に説明する前に、適切と考えられる場合において、参照符号または参照符号の末端部は、同様の特性を有し得る対応のまたは類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。

【0013】

本明細書において、「接続」という用語は、複数の電気機器／装置／設備の間が導電材料（例えば、電線）により直接的に接続すること、或いは、２つの電気機器／装置／設備の間が他の一つ以上の機器／装置／設備又は無線通信により間接的に接続することを意味する。

【0014】

図１は、本発明の一実施形態に係るコンピュータ装置１が示されているブロック図である。本実施形態において、コンピュータ装置１は、サーバ装置、パーソナルコンピューター、ノート型コンピューター、タブレットコンピューター、モバイル機器などであってもよい。コンピュータ装置１は、記憶ユニット１１と、記憶ユニット１１に接続する処理ユニット１２と、通信ユニット１３と、を含む。

【0015】

処理ユニット１２は、シングルコアプロセッサ、マルチコアプロセッサ、デュアルコアモバイルプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）などを含んでもよいが、これらに限られない。

【0016】

通信ユニット１３は、処理ユニット１２に接続し、無線周波数集積回路（ＲＦＩＣ）、ブルートゥース（登録商標）、Ｗｉ－Ｆｉなどの無線技術を利用する短距離無線通信ネットワークに対応する短距離無線通信モジュール、ロングタームエヴォリューション（ＬＴＥ）や第３世代（３Ｇ）や第５世代（５Ｇ）の無線移動通信技術を利用する電気通信に対応する移動通信モジュールなどの少なくとも１つを含んでもよい。

【0017】

記憶ユニット１１は、処理ユニット１２に接続し、ハードディスクドライブ（ＨＤＤ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルＲＯＭ、ファームウェア、フラッシュメモリなどのコンピューター可読の記憶媒体であってもよい。

【0018】

本実施形態において、記憶ユニット１１は、応用プログラムと、参照対象の参照カラー画像と、参照対象に関連する参照反射スペクトルデータセットと、患者の少なくとも１つの眼底画像と、を含む。

【0019】

応用プログラムは、処理ユニット１２により実行されると、後続の段落で説明する各種工程を処理ユニット１２に実行させる命令を含む。

【0020】

眼底画像は、典型的には、専用の眼底カメラを用いて患者の眼球の奥にある眼底を撮影することによって得る。本実施形態において、眼底カメラとして興和（Ｋｏｗａ）社のｎｏｎｍｙｄ７が用いられる。図９は、糖尿病性網膜症（ＤＲ）のない人の目（すなわち、正常な目）の例示的な眼底画像である。いくつかの実施形態において、コンピュータ装置１は、眼底画像を得るように、通信ユニット１３を介して専用の眼底カメラに接続されてもよい。いくつかの実施形態において、コンピュータ装置１は、外部の電子装置から眼底画像を得るように、通信ユニット１３を介して、外部の電子装置（例えば、リモートサーバ、フラッシュドライブなどの外部の記憶装置）に接続してもよい。そして、眼底画像を記憶ユニット１１に記憶する。

【0021】

参照対象は、自然色、原色、グレースケールなど２４色の正方形を含むＸ－ｒｉｔｅ社のカラーチェッカー（登録商標）クラッシックであってもよい。参照カラー画像は、眼底カメラによって撮影されてもよく、色空間はｓＲＧＢ色空間である８ビットカラー画像であってもよい。眼底画像及び参照カラー画像の両方は、ＪＰＥＧ形式のｓＲＧＢ画像であってもよいが、これに限定されない。

【0022】

参照反射スペクトルデータセットは、参照対象により反射され、例えば分光計により測定された光のスペクトルデータを含んでもよい。分光計は、Ｏｃｅａｎ Ｏｐｔｉｃｓ社のＱＥ６５００であってもよい。

【0023】

いくつかの実施形態において、参照反射スペクトルデータセットは、ロチェスター工科大学のマンセル色彩科学研究所（Ｍｕｎｓｅｌｌ Ｃｏｌｏｒ Ｓｃｉｅｎｃｅ Ｌａｂｏｒａｔｏｒｙ）により提供される公的資源から得てもよい。

【0024】

使用上、患者の潜在的なＤＲの診断を迅速に行うために、眼底画像を解析して眼底画像上の多数の特徴を識別することが望まれる。具体的には、眼底画像における動脈及び静脈を含む血管を識別し、ＤＲの診断と後続の血管内の酸素飽和度の判断とを容易にすることが望まれる。

【0025】

本発明の一実施形態によれば、ハイパースペクトル画像技術を用いて眼底画像における動脈及び静脈を識別する方法が提供される。該方法は、行列計算手順と、識別手順と、を含む。

【0026】

図２は、本発明の一実施形態に係る行列計算手順のステップが示されるフローチャートである。行列計算手順は、応用プログラムを実行する処理ユニット１２により実行されてもよい。行列計算手順に含まれる技術は、ハイパースペクトル画像法と呼ばれる。

【0027】

ステップ２１において、処理ユニット１２は、参照カラー画像と参照反射スペクトルデータセットとに変換工程を行って、参照カラー画像と参照反射スペクトルデータセットとを１９３１年に国際照明委員会（ＣＩＥ）により定義されたＣＩＥ １９３１ＸＹＺ色空間に変換し、参照カラー画像と参照反射スペクトルデータセットとにそれぞれ対応する変換された参照画像と変換されたスペクトルデータセットとを得る。

【0028】

具体的には、変換工程は、参照カラー画像に対して、以下の式を用いて変換された参照画像を得ることを含む：

【数1】

【0029】

、

、及び

はそれぞれ、ＣＩＥ １９３１ＸＹＺ色空間における変換された参照画像のピクセルのＸの値、Ｙの値、及びＺの値を示し、

、

、及び

はそれぞれ、ｓＲＧＢ色空間においての参照カラー画像のピクセルの赤の値、緑の値、及び青の値を示し、参照カラー画像の該ピクセルは変換された参照画像の該ピクセルに対応し、

、

、及び

はそれぞれ、ＣＩＥ標準光源Ｄ６５（ＣＩＥ Ｓｔａｎｄａｒｄ Ｉｌｌｕｍｉｎａｎｔ Ｄ６５）で撮影され、ｓＲＧＢ色空間における白色を定義する白色点（Ｗｈｉｔｅ ｐｏｉｎｔ）のＸの値、Ｙの値、及びＺの値を示し、

、

、及び

はそれぞれ、参照カラー画像が撮影された環境光源における白色点のＸの値、Ｙの値、及びＺの値を示し、

は色順応変換行列（Ｃｈｒｏｍａｔｉｃ ａｄａｐｔａｔｉｏｎ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）を示す。

【0030】

なお、参照カラー画像の撮影に使用される環境光源は、ｓＲＧＢ色空間における標準光源とは異なり得るため、色順応変換行列

が標準光源における白色点を参照カラー画像の環境光源における対応する白色点に変換するように用いられる。

【0031】

変換工程はまた、参照反射スペクトルデータセットに対して、以下の式を用いて、変換されたスペクトルデータセットを得ることを含む：

【数2】

【0032】

参照反射スペクトルデータセットのスペクトルの各波長λ（範囲は３８０～７８０ナノメートルである）に対して、

、

、及び

はそれぞれ、参照反射スペクトルデータセットのスペクトルの波長λに対応するスペクトル値についての、ＣＩＥ １９３１ＸＹＺ色空間においての変換されたスペクトルデータセットのＸの値、Ｙの値、及びＺの値を示し、

は参照カラー画像が撮影された環境光源のスペクトルの波長λに対応するスペクトル値を示し、

は参照スペクトルデータセットのスペクトルの波長λに対応するスペクトル値を示し、

、

、及び

はＣＩＥ １９３１ＸＹＺ色空間の等色関数（Ｃｏｌｏｒ ｍａｔｃｈｉｎｇ ｆｕｃｔｉｏｎｓ、ＣＭＦ）を示す。

【0033】

なお、上記の変換工程は、ピクセル単位で行われる。

【0034】

ステップ２２において、処理ユニット１２は、変換されたスペクトルデータセットに関連する行列と、変数行列と、に基づいて、調整行列を得る。具体的には、調整行列

は、以下の式に基づいて多変量回帰分析（Ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）を実行することによって得る：

【数3】

【0035】

は、ＣＩＥ １９３１ＸＹＺ色空間においての変換されたスペクトルデータセットのＸの値、Ｙの値、Ｚの値を含む行列であり、

は、変数行列の逆行列であり、Ｒ、Ｇ、Ｂは参照カラー画像のピクセルの赤の値、緑の値、青の値を示す。

【0036】

具体的には、変数行列

は、参照カラー画像を撮影するように用いられるカメラに関連する多数の要因に起因するエラーを校正するように用いられる。本実施形態において、関連する要因は、カメラの非線形応答、カメラに関連する暗電流、カメラのカラーフィルタの精度、カメラの色ずれ（例えば、ホワイトバランス）を含む。１つ以上の上記の要因を校正する校正変数を表すために、１つ以上の行列が用いられ得る。その後、変数行列は、上記の要因を表す１つ以上の行列に基づいて得ることができる。

【0037】

ステップ２３において、処理ユニット１２は、変数行列と調整行列とに基づいて、校正画像行列を得る。具体的には、処理ユニット１２は、以下の式を用いて、校正画像行列を得る：

【数4】

【0038】

はＣＩＥ １９３１ＸＹＺ色空間においての校正画像のすべてのピクセルのＸの値、Ｙの値、Ｚの値を含む校正画像行列である。上記の操作により、校正画像を構成するピクセルのピクセル値を得ることができ、処理ユニット１２は、これに応じて、校正画像を生成するようにプログラムしてもよい。

【0039】

ステップ２４において、処理ユニット１２は、参照反射スペクトルデータセットと校正画像行列とに基づいて、スペクトル変換行列を得る。具体的には、図３を参照し、図３は本発明の一実施形態に係るステップ２４のサブステップが示されているフローチャートである。

【0040】

サブステップ２４１において、処理ユニット１２は、参照反射スペクトルデータセットに主成分分析を行って、複数の主成分を得て、主成分それぞれの複数の主成分固有値を得る。本実施形態において、１２個の主成分の１２個の主成分固有値を得たが、他の実施形態において、他の数の主成分固有値を採用してもよい。

【0041】

サブステップ２４２において、処理ユニット１２は、主成分固有値と校正画像行列に対して多変量回帰分析を実行し、スペクトル変換行列を得る。

【0042】

具体的には、サブステップ２４２は、以下の式を用いてスペクトル変換行列

を得る：

【数5】

【0043】

は複数の主成分固有値を含む行列である。

【0044】

スペクトル変換行列を用いれば、眼底画像における動脈及び静脈を識別することが可能になる。

【0045】

図４は、本発明の一実施形態に係る方法の識別手順のステップが示されているフローチャートである。本実施形態において、識別手順は、処理ユニット１２が応用プログラムを実行することにより実行される。

【0046】

ステップ３１において、処理ユニット１２は、眼底画像に前処理工程を行って、更なる操作のための前処理された眼底画像を得る。いくつかの実施形態において、前処理工程は、背景除去工程を含む。なお、眼底画像においての血管は、目の損傷した組織と比較してより暗い外観を有し、損傷した組織が血管の識別を妨げる可能性があるため、眼底画像に前処理工程を実行することは必須である。従って、背景を除去することにより、眼底画像の血管は、前処理された眼底画像で識別されることが可能になる。

【0047】

図５は、本発明の一実施形態に係るステップ３１のサブステップが例示的に示されているフローチャートである。

【0048】

サブステップ３１１において、眼底画像のチャンネル（すなわち、特定の成分）を抽出するように抽出工程を行って、抽出された画像を得る。具体的には、本実施形態において、眼底画像は、３つのチャンネル（赤、緑、青）を含むｓＲＧＢ画像であり、サブステップ３１１において、処理ユニット１２は、例えば眼底画像の緑のチャンネルを抽出し、抽出された画像を得る。いくつかの実施形態において、抽出された画像は、その後、グレースケール画像に変換されてもよい。

【0049】

なお、本実施形態において、ｓＲＧＢ画像の緑のチャンネルは通常、他のチャンネルと比較してより高いコントラストを有するため、抽出工程は緑のチャンネルを抽出するが、これに限定されない。

【0050】

サブステップ３１２において、処理ユニット１２は、抽出された画像にフィルタリング工程を行って、抽出された画像内の血管に関連する増強画像を得る。

【0051】

具体的には、サブステップ３１２において、特徴抽出に２次元の線形フィルタを用いてもよい。本実施形態において、二次元のガボールフィルタが用いられ、ステップ３１２において、処理ユニット１２は、入力として抽出された画像をガボールフィルタに適用し、出力としての増強画像を得る。なお、ガボールフィルタについては、公知技術であり、その詳細は本明細書では簡潔性のため省略される。

【0052】

サブステップ３１３において、処理ユニット１２は、増強画像に閾値工程を行って、二値画像を得る。

【0053】

具体的には、本実施形態において、背景及びノイズの影響を低減しながら、血管を背景から効果的に識別するように、閾値工程に使用される閾値（０から２５５の範囲内にあるグレースケール値）を選択する。

【0054】

閾値の選択は、反復選択法（ｉｔｅｒａｔｉｏｎ ｓｅｌｅｃｔｉｏｎ ｍｅｔｈｏｄ）を用いて行ってもよい。例えば、本実施形態ではT.W. Ridler及びS. Calvardによる「Picture Thresholding Using an Iterative Selection Method」と題する文章に開示される方法を実行し、閾値を選択してもよい。選択された閾値を用いて、閾値工程を行って、二値画像を得る。

【0055】

サブステップ３１４において、処理ユニット１２は、二値画像に対して、小物除去工程を行う。

【0056】

具体的には、本実施形態において、処理ユニット１２は、Ｍａｔｌａｂ（登録商標）の「ｂｗａｒｅａｏｐｅｎ」という関数を実行することにより、血管に接続する（すなわち、血管に接触する）と思われ且つ特定のピクセル数より少ないピクセルからなる小物（ｓｍａｌｌ ｏｂｊｅｃｔ）のそれぞれを除去する。このようにして、眼底画像の明るさの不均一など、眼底画像におけるノイズまたは他の欠陥に起因する白い小物を除去することができる。

【0057】

そして、サブステップ３１５において、処理ユニット１２は、二値画像をマスクとして用いて、眼底画像に対して分離工程を行って、前処理された眼底画像を得る。具体的には、図１１を参照し、図１１は、本発明の一実施形態に係る例示的な眼底画像の一部とサブステップ３１４の後で得られた対応する二値画像が示されている図である。なお、本実施形態において、二値画像における白いピクセルは血管の一部を示し、二値画像における黒いピクセルは目の他の部分を示す（背景の一部と見なす）。

【0058】

サブステップ３１５において、処理ユニット１２は、対応する二値画像を眼底画像に重ね合わせ、眼底画像における二値画像の黒いピクセルと重なるピクセルを除去し、眼底画像における二値画像の白いピクセルと重なるピクセルを残すことによって、分離工程を行ってもよい。その結果の画像は、眼底画像の血管の部分のみ含み、前処理された眼底画像とすることができる。

【0059】

サブステップ３１５の後、得られた前処理された眼底画像は、記憶ユニット１１に記憶され、血管の一部と判断された特定のピクセルを動脈の一部または静脈の一部と識別するかどうかの判断に使用される。

【0060】

ステップ３２において、処理ユニット１２は、記憶ユニット１１から前処理された眼底画像を得て、前処理された眼底画像及び行列計算手順で得られたスペクトル変換行列に基づいて、眼底反射スペクトルデータセットを生成する。眼底反射スペクトルデータセットは、前処理された眼底画像の複数のピクセルに関連する。

【0061】

具体的には、図６を参照し、図６は、本発明の一実施形態に係るステップ３２のサブステップが示されているフローチャートである。

【0062】

サブステップ３２１において、処理ユニット１２は、前処理された眼底画像をＣＩＥ １９３１ＸＹＺ色空間に変換し、変換された前処理眼底画像を得る。サブステップ３２１は、ステップ２１と同様な方法で実行してもよく、詳細は本明細書では簡潔性のため省略される。

【0063】

サブステップ３２２において、処理ユニット１２は、以下の式を用いて眼底反射スペクトルデータセットを得る：

【数6】

【0064】

は眼底反射スペクトルデータセットを含む行列であり、

はスペクトル変換行列であり、

はサブステップ２４１で得られた主成分固有値を含む行列を示し、

は変換された前処理眼底画像のピクセル値を含む行列である。なお、眼底反射スペクトルデータセットは、変換された前処理眼底画像のピクセルの反射スペクトルに関連するデータを含む。

【0065】

そして、ステップ３３において、処理ユニット１２は、眼底反射スペクトルデータセットに主成分分析（ＰＣＡ）を行って、前処理された眼底画像のピクセルに関連する複数の主成分得点を得る

【0066】

具体的には、本実施形態において、処理ユニット１２は、眼底反射スペクトルデータセットを予めトレーニングしたＰＣＡニューラルネットワークに入力として適用し、ＰＣＡニューラルネットワークの出力として、前処理された眼底画像のピクセルにそれぞれ関連する複数の主成分得点を得る。なお、ＰＣＡニューラルネットワークは、動脈及び静脈がすでに識別されている多数の眼底画像を用いて、予めトレーニングしてもよい。

【0067】

そして、ステップ３４において、処理ユニット１２は、前処理された眼底画像において血管の一部と判断されたピクセルのそれぞれに対して、該ピクセルが動脈の一部または静脈の一部に属するかを判断する。

【0068】

具体的には、ステップ３４は、前処理された眼底画像のピクセルに関連する複数の主成分得点に基づいて行われる。

【0069】

図７は、本発明の一実施形態に係るステップ３４のサブステップが示されているフローチャートである。

【0070】

サブステップ３４１において、処理ユニット１２は、ピクセルを動脈の一部または静脈の一部であると識別するための閾値主成分得点を判断する。

【0071】

図８は、本発明の一実施形態に係るサブステップ３４１のサブステップが示されているフローチャートである。

【0072】

サブステップ３４１１において、処理ユニット１２は、主成分得点の平均値を分類閾値として算出する。

【0073】

サブステップ３４１２において、処理ユニット１２は、分類閾値に基づいて、主成分得点を第１のグループと第２のグループとに分類する。例えば、分類閾値より高い主成分得点を第１のグループに分類し、分類閾値より低い主成分得点を第２のグループに分類する。なお、分類閾値に等しい主成分得点は、第１のグループ及び第２のグループのいずれかに分類してもよい。

【0074】

サブステップ３４１３において、処理ユニット１２は、第１のグループにおける主成分得点の平均値を第１の平均値として算出し、第２のグループにおける主成分得点の平均値を第２の平均値として算出する。

【0075】

サブステップ３４１４において、処理ユニット１２は、第１の平均値と第２の平均値との平均値をグループ間平均値として算出する。

【0076】

サブステップ３４１５において、処理ユニット１２は、分類閾値とグループ間平均値との差（分類閾値からグループ間平均値を差し引いた値）が所定の値より少ないかどうかを判断する。差が所定の値より少ないと判断された場合、サブステップ３４１６へ進み、サブステップ３４１６において、処理ユニット１２は、グループ間平均値を閾値主成分得点として設定する。差が所定の値以上であると判断された場合、サブステップ３４１７へ進み、サブステップ３４１７において、処理ユニット１２は、グループ間平均値を分類閾値として設定し、そして、サブステップ３４１２へ戻り、差が所定の値より少なくなるまで操作を繰り返す。

【0077】

閾値主成分得点が判断された後、サブステップ３４２において、処理ユニット１２は、主成分得点のそれぞれを閾値主成分得点と比較する。

【0078】

そして、サブステップ３４３において、前処理された眼底画像のピクセルのそれぞれに対して、処理ユニット１２は、該ピクセルに関連する主成分得点と閾値主成分得点との関係に基づいて、該ピクセルを動脈の一部または静脈の一部として識別する。具体的には、本実施形態において、前処理された眼底画像において閾値主成分得点より大きい主成分得点を有するピクセルは動脈の一部と識別され、前処理された眼底画像において閾値主成分得点以下である主成分得点を有するピクセルは静脈と識別される。

【0079】

その後、眼底画像における動脈及び静脈をラベリングするように、ステップ３４の結果を元の眼底画像に適用してもよい。図１０は、図９の眼底画像の部分拡大図である。該部分拡大図において、動脈及び静脈がラベリングされている。

【0080】

要約すると、本発明の実施形態は、眼底画像における動脈及び静脈を識別する方法を提供する。該方法では、ＣＩＥ １９３１ＸＹＺ色空間において、参照対象から正確なスペクトル情報（例えば、主成分得点、主成分固有値など）を抽出するように、行列計算手順が実行される。また、後続の推定でエラーを引き起こす可能性のあるさまざまな変数も、スペクトル変換行列で調整される。

【0081】

その後、眼底画像に前処理工程を行って、前処理された眼底画像を得る。前処理された眼底画像と行列計算手順で得られたスペクトル変換行列とに基づいて、眼底反射スペクトルデータセットを生成する。眼底反射スペクトルデータセットを予めトレーニングしたＰＣＡニューラルネットワークに入力として適用し、ＰＣＡニューラルネットワークの出力の複数の主成分得点を得る。複数の主成分得点を用いて、前処理された眼底画像のピクセルを動脈の一部または静脈の一部と識別する。

【0082】

この方法は、例えば、背景糖尿病性網膜症（ＢＤＲ）、増殖前糖尿病性網膜症（ＰＰＤＲ）、増殖糖尿病網膜症（ＰＤＲ）など進行が異なる糖尿病性網膜症の自動診断を容易にするように用いられる。

【0083】

上記の説明では、説明の目的のために、実施形態の完全な理解を提供するために多数の特定の詳細が述べられた。しかしながら、当業者であれば、一又はそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一実施形態」「一つの実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本明細書において、時には複数の変化例が一つの実施形態、図面、又はこれらの説明に組み込まれているが、これは本明細書を合理化させるためのもので、本発明の多面性が理解されることを目的としたものであり、また、一実施形態における一又はそれ以上の特徴あるいは特定の具体例は、適切な場合には、本発明の実施において、他の実施形態における一またはそれ以上の特徴あるいは特定の具体例と共に実施され得る。

【0084】

以上、本発明の実施形態および変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。
［構成１］
眼底画像における動脈及び静脈を識別する方法であって、該方法は、コンピュータ装置が応用プログラムを実行することによって実行され、
Ａ）前記眼底画像に前処理工程を行って、前処理された眼底画像を得るステップと、
Ｂ）前記前処理された眼底画像及びスペクトル変換行列に基づいて、前記前処理された眼底画像の複数のピクセルに関連する眼底反射スペクトルデータセットを生成するステップと、
Ｃ）前記眼底反射スペクトルデータセットに主成分分析を実行し、前記前処理された眼底画像の複数のピクセルにそれぞれ関連する複数の主成分得点を得るステップと、
Ｄ）前記前処理された眼底画像において血管の一部と判断された前記ピクセルのそれぞれについて、前記ピクセルが動脈の一部または静脈の一部に属するかを判断するステップと、
を含む、方法。
［構成２］
ステップＡは、
前記眼底画像のチャンネルを抽出するように抽出工程を行って、抽出された画像を得ることと、
前記抽出された画像にフィルタリング工程を行って、前記抽出された画像内の血管に関連する増強画像を得ることと、
前記増強画像に閾値工程を行って、二値画像を得ることと、
前記二値画像に対して、小物除去工程を行うことと、
前記二値画像をマスクとして用いて、前記眼底画像に対して分離工程を行って、前記前処理された眼底画像を得ることと、を含む、構成１に記載の方法。
［構成３］
前記コンピュータ装置は、参照対象の参照カラー画像と、前記参照対象に関連する参照反射スペクトルデータセットと、を記憶し、前記方法は、ステップＢの前に、
前記参照カラー画像と前記参照反射スペクトルデータセットとに変換工程を行って、前記参照カラー画像と前記参照反射スペクトルデータセットとをＣＩＥ １９３１ＸＹＺ色空間に変換し、前記参照カラー画像と前記参照反射スペクトルデータセットとにそれぞれ対応する変換された参照画像と変換されたスペクトルデータセットとを得るステップと、
前記変換されたスペクトルデータセットに関連する行列と、変数行列と、に基づいて、調整行列を得るステップと、
前記変数行列と前記調整行列とに基づいて、校正画像行列を得るステップと、
前記参照反射スペクトルデータセットと前記校正画像行列とに基づいて、スペクトル変換行列を得るステップと、をさらに含む、構成１に記載の方法。
［構成４］
前記調整行列は、以下の式に基づいて多変量回帰分析を実行することによって得られ、

【数7】

は前記調整行列を示し、

はＣＩＥ １９３１ＸＹＺ色空間においての前記変換されたスペクトルデータセットのＸの値、Ｙの値、Ｚの値を含む行列であり、

は前記変数行列の逆行列であり、Ｒ、Ｇ、Ｂはそれぞれ前記参照カラー画像のピクセルの赤の値、緑の値、青の値を示す、構成３に記載の方法。
［構成５］
前記校正画像行列

は、以下の式によって得られ、

、

はＣＩＥ １９３１ＸＹＺ色空間においての校正画像のすべてのピクセルのＸの値、Ｙの値、Ｚの値を含む前記校正画像行列である、構成３に記載の方法。
［構成６］
前記スペクトル変換行列を得るステップは、
前記参照反射スペクトルデータセットに主成分分析を行って、複数の主成分を得て、前記主成分それぞれの複数の主成分固有値を得ることと、
前記複数の主成分固有値と前記校正画像に対して多変量回帰分析を実行し、前記スペクトル変換行列を得ることと、を含む、構成３に記載の方法。
［構成７］
前記スペクトル変換行列は、以下の式によって得られ、

はスペクトル変換行列を示し、

は前記複数の主成分固有値を含む行列である、構成６に記載の方法。
［構成８］
前記眼底反射スペクトルデータセットは、
前記前処理された眼底画像を、ＣＩＥ １９３１ＸＹＺ色空間に変換し、変換された前処理眼底画像を得ることと、
以下の式を用いることと、により得るものであり、

は前記眼底反射スペクトルデータセットを含む行列であり、

は前記スペクトル変換行列であり、

は前記複数の主成分固有値を含む行列を示し、

は前記変換された前処理眼底画像のピクセル値を含む行列である、構成７に記載の方法。
［構成９］
ステップＤは、
前記ピクセルを動脈の一部または静脈の一部であると識別するための閾値主成分得点を判断することと、
前記主成分得点のそれぞれを前記閾値主成分得点と比較することと、
前記前処理された眼底画像の前記ピクセルのそれぞれに対して、該ピクセルに関連する前記主成分得点と前記閾値主成分得点との関係に基づいて、該ピクセルを動脈の一部または静脈の一部として識別することと、を含む、構成１に記載の方法。
［構成１０］
閾値主成分得点を判断することは、
ａ）前記主成分得点の平均値を分類閾値として算出するサブステップと、
ｂ）前記分類閾値に基づいて、前記主成分得点を第１のグループと第２のグループとに分類するサブステップと、
ｃ）前記第１のグループにおける前記主成分得点の平均値を第１の平均値として算出し、前記第２のグループにおける前記主成分得点の平均値を第２の平均値として算出するサブステップと、
ｄ）前記第１の平均値と前記第２の平均値との平均値をグループ間平均値として算出するサブステップと、
ｅ）前記分類閾値と前記グループ間平均値との差が所定の値より少ないかどうかを判断するサブステップと、
ｆ）前記差が前記所定の値より少ないと判断された場合、前記グループ間平均値を前記閾値主成分得点として設定するサブステップと、
ｇ）前記差が前記所定の値以上であると判断された場合、前記グループ間平均値を前記分類閾値として設定し、サブステップｂ）からサブステップｇ）を繰り返すサブステップと、を含む、構成９に記載の方法。

【符号の説明】

【0085】

１ コンピュータ装置
１１ 記憶ユニット
１２ 処理ユニット
１３ 通信ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】