特表 2022-550669 網膜血管の動静脈を判別する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-05

(54)【発明の名称】網膜血管の動静脈を判別する方法及び装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20221128BHJP

   G06T 7/00 20170101ALI20221128BHJP

   G06T 7/62 20170101ALI20221128BHJP

【ＦＩ】

A61B3/14

G06T7/00 612

G06T7/62

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022512438

(86)(22)【出願日】2021-08-13

(85)【翻訳文提出日】2022-02-21

(86)【国際出願番号】 CN2021112487

(87)【国際公開番号】W WO2022033580

(87)【国際公開日】2022-02-17

(31)【優先権主張番号】202010815698.8

(32)【優先日】2020-08-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522068832

【氏名又は名称】北京至真互聯網技術有限公司

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】代 黎明

(72)【発明者】

【氏名】姜 泓羊

(72)【発明者】

【氏名】張 冬冬

(72)【発明者】

【氏名】于 雷

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AA10

4C316AA25

4C316AB16

4C316FB05

4C316FB21

4C316FB26

5L096BA06

5L096BA13

5L096EA35

5L096EA43

5L096FA06

5L096FA10

5L096FA32

5L096FA62

5L096FA66

5L096FA67

5L096GA51

(57)【要約】

本出願は網膜血管の動静脈を判別する方法及び装置を開示し、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて、主要血管を切り取って、複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対して、いずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際場における実施を可能にした。
【選択図】図１

【特許請求の範囲】

【請求項1】

網膜血管の動静脈を判別する方法であって、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれることを特徴とする方法。

【請求項2】

前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
前記血管抽出画像での切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管骨格を抽出し；
前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格から小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、前記連結された血管から血管骨格を抽出することを特徴とする請求項１に記載の方法。

【請求項3】

不適合な動静脈血管対を除去することには、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去することが含まれることを特徴とする請求項１に記載の方法。

【請求項4】

前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去することは、
前記血管骨格を二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれることを特徴とする請求項２に記載の方法。

【請求項5】

前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格から小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得することを特徴とする請求項４に記載の方法。

【請求項6】

前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きいな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれることを特徴とする請求項１に記載の方法。

【請求項7】

複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれることを特徴とする請求項１に記載の方法。

【請求項8】

網膜血管の動静脈を判別する装置であって、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成されることが含まれることを特徴とする装置。

【請求項9】

網膜血管の動静脈を判別する装置であって、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記請求項１～７のいずれか一項に記載の方法を実現するように構成されていることが含まれることを特徴とする装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年０８月１４日に中国特許庁に出願された出願番号が２０２０１０８１５６９８．８であり、発明名称が「網膜血管の動静脈を判別する方法及び装置」の中国特許出願の優先権を主張し、その全ての内容が本出願に参照として組み込まれている。

【0002】

本開示は、コンピュータ支援診断の技術分野に関し、特に、網膜血管の動静脈を判別する方法及び装置に関する。

【背景技術】

【0003】

眼底網膜血管の動静脈径比の指数は、医師が動脈硬化性疾患を診断する際に重要な参考となっている。しかし、医師は実際に読影する際には、依然として目視で動静脈管径比を１／２より大きい、１／３より大きい且つ１／２より小さい、１／３より小さいなどと大まかな比率を評価する。しかし、目視検査方法には大きな誤差があり、特に新しい眼科医や一般の眼科医が読影する過程で誤判断は避けられない。したがって、網膜の主要血管の動静脈径比の比率をコンピュータで正確に測定することは、医師が動脈硬化症を臨床的に診断するのに非常に役立ち、医師の読影効率を向上できる。また、動脈硬化症など血管の形態に異常がある疾患のさらなるコンピュータ支援診断にも大きな意義がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習法に基づく網膜血管の動静脈を判別する方法には、アルゴリズムの普遍性とロバスト性が低いという問題がある。

【課題を解決するための手段】

【0005】

これを考慮して、本開示は網膜血管の動静脈を判別する方法を提案し、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0006】

一つの可能な実施方法では、複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0007】

一つの可能な実施方法では、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
前記血管抽出画像の切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管骨格を抽出し；
前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、前記連結された血管から血管骨格を抽出する。

【0008】

一つの可能な実施方法では、不適合な動静脈血管対を除去することには更に、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適合な動静脈血管対を除去することが含まれる。

【0009】

一つの可能な実施方法では、前記血管骨格に基づいて血管の交点を抽出し、前記交点を除去することには、
前記血管骨格を二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。

【0010】

一つの可能な実施方法では、前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得した。

【0011】

一つの可能な実施方法では、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれる。

【0012】

一つの可能な実施方法では、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。

【0013】

本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成され；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適合な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0014】

本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記いずれかに記載の方法を実現するように構成されている。

【発明の効果】

【0015】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0016】

本開示の他の特徴及び態様は、図面を参照した例示的な実施形態の以下の詳細な説明に照らして明らかになる。

【図面の簡単な説明】

【0017】

図面は、本明細書に含まれ、本明細書とともにその一部を構成し、本開示の例示的な実施形態、特徴および態様を示し、本開示の原理を説明するために使用される。

【図1】本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャート；

【図2】本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの眼底画像の概略図；

【図3】本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの血管抽出画像の概略図；

【図4】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト画像の概略図；

【図5】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト結果画像の概略図；

【図6】本開示の一実施形態の網膜血管の動静脈を判別する方法の他のフローチャート；

【図7】本開示の一実施形態の網膜血管の動静脈を判別する方法の眼底画像の概略図；

【図8】本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト画像の概略図；

【図9】本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト結果画像の概略図；

【図10】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管方向の概略図；

【図11】本開示の一実施形態の網膜血管の動静脈を判別する方法の黄斑部の概略図；

【図12】本開示の一実施形態の網膜血管の動静脈を判別する方法のリングテンプレートの概略図；

【図13】本開示の一実施形態の網膜血管の動静脈を判別する方法の小血管セグメントの概略図；

【図14】本開示の一実施形態の網膜血管の動静脈を判別する方法の輪郭直線フィッティングの概略図；

【図15】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管径の概略図；

【図16】本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図；

【図17】本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図。

【発明を実施するための形態】

【0018】

本開示の様々な例示的な実施形態、特徴および態様を、図面を参照して以下に詳細に説明する。図中の同じ記号の表記は、同じまたは類似の機能を持つ要素を示している。実施形態の様々な態様が図面に示されているが、特に明記しない限り、図面は必ずしも一定の縮尺で描かれているわけではない。

【0019】

ここで、「例示的」という言葉は、専ら「例、実施形態または実例として使用される」という意味で使用されている。本明細書で「例示的」として記載される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。

【0020】

さらに、本開示をよりよく説明するために、以下の詳細な説明において多くの特定の詳細が与えられる。本開示は、ある特定の詳細がなくても同様に実施できることは、当業者には理解されるべきである。いくつかの実例では、本開示の主旨を現すために、当業者に知られている方法、手段、構成要素および回路は詳細に説明されていない。

【0021】

図１は本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャートである。図１に示すように、当該網膜血管の動静脈を判別する方法には、

【0022】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップＳ１００と、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得するステップＳ２００と、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られるステップ３００とが含まれる。

【0023】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0024】

まず、本願実施形態の網膜血管動静脈判別方法は、機械学習に基づいて実現されることに留意されたい。ここで、本出願の実施例に対応する網膜血管の動静脈を判別する方法において、血管抽出画像と視神経円板の中心の座標の取得は、対応するネットワークモデルを使用して実現できる。

【0025】

具体的には、血管抽出画像をＵ－ｎｅｔのネットワーク構造を使用して実現でき、視神経円板の中心の座標についても同様にＵ－ｎｅｔのネットワーク構造を使用して実現できる。
Ｕ－ｎｅｔネットワーク構造を使用して血管抽出画像と視神経円板の中心の座標を取得する前に、まず採用したネットワークモデルをトレーニングして最終的な収束ネットワーク構造を取得する必要がある。

【0026】

その中で、採用したネットワークモデルをトレーニングする際には、まず血管抽出と視神経円板検出用のトレーニングデータセットを構築し、血管抽出用のトレーニングデータセットの構築では、ＤＲＩＶＥパブリックデータセットから２０枚のトレーニングセットと１８枚のテストセットを使用し、データ拡張後、合計３００４枚、テストセット２枚、合計２枚、そのうちの写真は全てか５６５×５８４ピクセルであり、視神経円板検出用のトレーニングデータセットの構築では、トレーニングセットはｒｅｆｕｇｅ２０１８トレーニングセットと検証セット８００枚、ｄｒｉｓｈｔｉ－ｇｓｌトレーニングデータセット５０枚、ｒｉｍ－ｏｎｅ－ｒ３トレーニングデータセット１５９枚であり、データ拡張後は合計４０３６枚、テストセットには、ｒｅｆｕｇｅ２０１８テストセット４００枚、ｄｒｉｓｈｔｉ－ｇｓｌテストセット５１枚、合計４５１枚が含まれ、さらに、血管抽出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補強を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを３００４枚に拡張し、その中で、血管抽出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔであり、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは２、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈ、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムが追加され、モデルテスト画像は図６を参照し、モデル結果画像は図７を参照する。同様に、視神経円板検出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にメディアンフィルタリングを行い、画像を５１２×５１２のサイズに拡大し、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補正を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを４０３６枚に拡張し、視神経円板検出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔ、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは４、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈで、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムを追加し、モデルテスト画像は図８を参照し、テスト結果の画像は図９を参照する。

【0027】

ネットワークモデルに対するトレーニングが完了した後、トレーニングされたネットワークモデルを使用して、血管抽出画像と視神経円板の中心の座標を取得できる。即ち、図１を参照すると、ステップＳ１００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得する。

【0028】

一つの可能な実施方法では、まず一枚の眼底網膜のカラー画像を入力し、図３を参照して前処理操作を実行し、次に血管抽出と視神経円板検出を実行して、血管抽出結果と視神経円板検出結果を取得し、上記の操作すべてが完了すると、前処理されたカラー眼底画像、網膜血管抽出画像、視神経円板座標は入力として静脈を判別するために動静脈識別モジュールに送信される。例えば、図２を参照して、ステップＳ１００を実行し、図４および図５を参照して、血管抽出結果と視神経円板検出結果から５１２×５１２サイズであり且つ黒いエッジのクリッピングされた後のカラーの網膜眼底画像、５１２×５１２サイズの血管抽出画像、および５１２×５１２サイズの画像に基づく視神経円板の中心の座標が得られる。

【0029】

更に、図１を参照すると、ステップＳ２００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得する。

【0030】

一つの可能な実施方法では、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づく主要血管の抽出には、図２を参照して、血管抽出画像での切断された血管を除去し、連結された最大の血管を取得するステップＳ２００ａ、連結された血管に基づいて血管骨格を抽出するステップＳ２００ｂ、血管骨格に基づいて血管の交点を抽出し、交点を除去し、視神経円板の中心の座標及び眼底画像に基づいて血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ、その中で、連結された血管に基づいて血管骨格を抽出する場合、Ｏｐｅｎｃｖの骨格抽出関数を使用して、連結された血管から血管骨格を抽出するステップＳ２００ｃ、ステップＳｄ及びステップＳ２００ｅを実行する。

【0031】

具体的には、血管骨格に基づいて血管の交点を抽出し、交点を除去することには、血管骨格を二値化してグレースケール画像を取得し、３×３テンプレートを使用してグレースケール画像をトラバースし、列挙法によってグレースケール画像の交点を抽出し、交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。

【0032】

さらに、視神経円板の中心の座標及び眼底画像に基づいて血管骨格の小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、視神経円板の中心の座標と眼底画像の黄斑部を結ぶ線を正の半軸とし、正の半軸の時計回りに１１０°のエリアと正の半軸の反時計回りに１１０°のエリアを保持し、３×３ＥＬＬＩＰＳＥを使用してグレースケール画像を精細化し、主要血管を取得した。

【0033】

さらに、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得することには、図２を参照して、視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取るステップＳ２００ｆ、微細な除去を確実に行うために、小血管セグメントを上のアーチと下のアーチに分割されるステップＳ２００ｇを実行して、さらに複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し、複数の滑らかな血管セグメントから所定の屈曲度閾値より大きい滑らかな血管セグメントを除去して直線状の血管セグメントを得て、Ｏｐｅｎｃｖの長方形検出ＡＰＩを使用して直線状の血管セグメントを検出して、血管角度を取得し、所定の血管角度の範囲に従って、複数の単一血管セグメントを取得するステップＳ２００ｈを実行する。

【0034】

例えば、主要血管を抽出する場合は、まず、血管抽出画像の最大の連結された血管を保持し、次に小血管の分岐を徐々に除去し、その中で、血管骨格の抽出は、Ｏｐｅｎｃｖの形態学的操作によりｍｏｒｐｈｏｌｏｇｙライブラリの骨格抽出関数ｓｋｅｌｅｔｏｎｉｚｅ（）によって実現され、３×３テンプレートを使用して血管骨格の全体のグレースケール画像をトラバースし、図１０を参照すると、３×３エリアにおける交差点の状態は３種類及び４方向、合計１２種類があるので、血管骨格内のすべての交点は、列挙法によって抽出でき、グレースケール画像（血管２値画像）の３×３ＥＬＬＩＰＳＥ型モルフォロジー演算Ｋｅｒｎｅｌによる微細化との組み合わせで、微細化後の小さな分岐血管の状態は：完全に腐食し、不連続である。このとき、小エリアを除去する操作と組み合わせることで、小血管分岐の初期除去を実現できる。さらに、上記の操作ではすべての小血管分岐を完全に除去できないため、そこで、ここでは主要血管の交点のトラバースを繰り返し、そして、交差点を中心とし、半径の４ピクセルの円形テンプレートを取り、主要血管のバイナリ画像の交差点位置の円形エリアのピクセルを０に設定し、この環状エリアのグレースケール画像（血管バイナリ画像）を維持し、小さなエリアを削除する操作により、残りの小さな血管セグメントの分岐の二次除去が実現され、その後、保存された血管交差点位置の円形エリアの画像を元の位置に敷き詰めて、血管画像交差点位置の画像復元が実現される。次に、図１１を参照して、視神経円板の中心の座標を選択し、視神経円板の中心の座標と黄斑部を結ぶ線を正の半軸とし、上下０～１１０°エリアの血管を切り取り、更に残りの視神経円板側の非主要血管の分岐を除去すると主要血管が得られ、次に、視神経円板の中心の座標を円の中心として、特定のステップサイズで円環エリアを外側へトラバースし、交差点を切り取った後の主要血管から、小血管セグメントを切り取る。

【0035】

円環切り取りの全範囲は、図１２の円環で囲まれたエリアを参照し、ここで、大きな円環は円環の切り取りエリアの下限を表し、小さな円環は円環の切り取りエリアの上限を表し、円環のトラバースする過程で切り取られた小さな血管セグメントは図１３を参照する。さらに、小血管セグメントに対して凸包検出を行う必要があり、即ち、抽出された小血管セグメントの凸包を計算し、凸包輪郭のピクセルと当該血管のピクセル数をカウントし、両者の差を計算し、閾値を設定することにより、不規則な血管セグメントの除去が実現でき、滑らかな血管セグメントを取得する。その中で、不規則な血管セグメントの中には、分岐点の位置、バリの位置、極端に不規則な血管形状などがある。次に、凸包検出に適格な小血管セグメント、即ち滑らかな血管セグメントについて、その中心線を抽出し、直線フィッティング操作を実行し、中心線上のピクセル点とフィットした直線との間の距離の累積和と偏差を計算し、閾値を設定することで、過度に湾曲した小血管セグメントを除去し、直線状の血管セグメントが得られる。次に、血管セグメントの方向の条件制限により、主要血管の血管の全体的な方向とは反対の、主血管上の直線状の血管セグメントを排除し、具体的には、Ｏｐｅｎｃｖの長方形検出ＡＰＩによって血管セグメントの角度測定を実現し、小さな血管セグメントが５～８５度の範囲に保持されるように制限し、単一の血管セグメントが取得される。また、血管セグメントの長さ制限を行い、円環テンプレートから切り取られた交差点操作の拒否により不完全となった小血管セグメントを除去できる。

【0036】

さらに、ステップＳ３００を実行して、複数の単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得する。

【0037】

一つの可能な実施方法では、図２を参照して、複数の前記単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得するステップＳ３００ａを実行して、さらにステップＳ３００ｂを実行して、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各単一血管セグメントの中線を取り、中線の中点を単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得て、中線セグメントの両端の端点の垂直線方程式を計算し、垂直線方程式間の単一血管セグメントの１本の輪郭線に直線をフィッティングして第１直線を得、第１直線傾きに基づいて、最小二乗法で別の輪郭線に直線をフィッティングして第２直線を得、第１直線と第２直線の間の距離を計算して、血管の血管径を得、複数の単一血管セグメントの中で最大の血管径を持つものを静脈として選択し、静脈と他の単一血管セグメントとの間の距離を計算し、静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。例えば、グレースケール画像をテンプレートとして、主要血管から当該単一血管セグメントの正中線を切り取り、それに対して直線フィッティング操作を行い、次に、当該血管セグメントの正中線の中点の位置座標を見つけて、両側に延長し、図１４を参照して、５ピクセルの正中線セグメントを保持し、血管正中線セグメントの２つの端点で、それぞれ血管セグメントの垂直線方程式を計算し、そして、血管セグメントの垂直線線方程式から特定長の垂直線セグメントを切り取り、図面に実際の効果を表示し、さらに、図１５を参照して、２つの垂直線セグメントにより単一の血管セグメントの輪郭ピクセルを切り取り、次に切り取った２つの血管輪郭から一つを選んで直線をフィッティングし、前記単一の輪郭直線をフィッティングしした後の傾きを固定し、最小二乗法を使用して、当該単一血管セグメントの２つの垂直線セグメントの間の一方の輪郭の直線フィッティングを実現し、２本の直線間の距離を計算することで血管径の測定が実現でき、次に、単一の血管セグメントをループし、その血管径の値をそれぞれ計算し、最大直径の値を選択して、それが静脈血管であると想定し、当該静脈血管セグメントの中心点から他の血管セグメントの中心点までの距離を計算し、静脈血管セグメントに最も近い単一の血管セグメントを選択して、それを動脈と想定すると、２つの血管セグメントは一対の動静脈血管対を構成し、関連するデータが保存される。

【0038】

なお、上記の５ピクセル点の中線セグメントを選択する理由は、実際の血管セグメントの切り取り長さに基づいて設置すると、実際の血管セグメントの長さに応じて変更できるからである。

【0039】

さらに、図２を参照し、ステップＳ３００ｃの床復帰メカニズムの実行はまた、複数の動静脈血管対から不適合な動静脈血管対を除去し、適合な動静脈血管対を保持することを含み、その中で、不適合な動静脈血管対の除去には、単一血管セグメントに対する各動静脈血管対の画像輝度の平均を取得し、画像輝度の平均に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。例えば、計算アルゴリズムによって識別された動静脈血管対の単一の血管セグメントの画像輝度の平均は、動脈血管の輝度が静脈血管の輝度よりも高い場合、当該動静脈血管対が保持される。

【0040】

なお、輝度の算出アルゴリズムは、先行技術により算出可能であるため、ここでは説明しない。

【0041】

一つの可能な実施方法では、不適格な動静脈血管対を除去することは、さらに、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、角度に基づいて、複数の動静脈血管対から不適合な動静脈血管対を除去し、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、距離に基づいて、複数の動静脈血管対から不適合な動静脈血管対を除去することが含まれる。

【0042】

たとえば、角度の閾値を３０度に設定して、除去アルゴリズムにより、一つの主要血管とその分枝血管を動静脈血管の対として誤って判断したことを除去して、即ち、動静脈血管対の動脈血管と静脈血管の間の角度が３０度より大きい場合、該一つの動静脈血管の対を除去し、さらに、アルゴリズムによって識別された一つの動静脈血管対の動脈血管セグメントと静脈の血管セグメントの間の距離が大きい場合、当該動静脈血管セグメント対は非動静脈血管の対である確率が高いので、当該動静脈血管対を除去し、ステップＳ３００ｄを実行して、残りの動静脈対を保持する。

【0043】

なお、上記のような網膜血管動静脈を鑑別する方法は、上記の各ステップを例として紹介されているが、本開示がこれに限定されるべきでないことは、当業者には理解されるところである。実際、ユーザは、必要な機能が達成されている限り、個人の好みや実際のアプリケーションシナリオに応じて、網膜血管の動静脈識別方法を柔軟に設定できる。

【0044】

このように、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0045】

さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置１００が提供され、本開示の実施形態における網膜血管の動静脈を判別する装置１００の動作原理は、本開示の実施形態における網膜血管の動静脈を判別するための方法の原理と同じまたは類似しているので、ここでは繰り返しの説明は省略する。図１６を参照すると、本開示の一実施形態による網膜血管の動静脈を判別する装置１００には、データ取得モジュール１１０、血管スクリーニングモジュール１２０、および動静脈血管対選択モジュー１３０ルを含み、
データ取得モジュール１１０は、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され、
血管スクリーニングモジュール１２０は、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され、
動静脈血管対選択モジュール１３０は、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成される。

【0046】

さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置２００が提供される。図１７を参照すると、本開示の一実施形態による網膜血管を動脈から判別するための装置２００は、プロセッサ２１０と、プロセッサ２１０の実行可能な命令を格納するためのメモリ２２０とを含む。ここで、プロセッサ２１０は、実行可能命令を実行する際に、網膜血管動静脈判別方法のいずれかを実施するように構成される。

【0047】

ここで、プロセッサ２１０の数は、１つまたは複数個であり得ることに留意されたい。同時に、本開示の実施形態における網膜血管の動静脈を判別装置２００には、入力装置２３０および出力装置２４０をさらに含むことができる。その中で、プロセッサ２１０、メモリ２２０、入力装置２３０、および出力装置２４０の間はバスを介して接続でき、または他の方法で接続でき、ここでは、特に限定しない。

【0048】

コンピュータ可読記憶媒体として、コンピュータ可読記憶媒体としてのメモリ２２０は、ソフトウェアプログラム、コンピュータ実行可能プログラム及び各種モジュール、例えば：本開示の実施形態の網膜血管動静脈判別法に対応するプログラム又はモジュールを格納するために使用されてもよい。プロセッサ２１０は、メモリ２２０に格納されたソフトウェアプログラムまたはモジュールを実行することによって、網膜血管動静脈判別装置２００の様々な機能のアプリケーションおよびデータ処理を実行する。

【0049】

入力装置２３０は、入力番号または信号を受信するために使用できる。ここで、信号は、デバイス／端末／サーバーのユーザ設定および機能制御に関連し、生成されたキー信号であってもよい。出力装置２４０は、表示画面などの表示装置を含むことができる。

【0050】

本開示の別の態様によれば、さらに不揮発性のコンピュータ可読記憶媒体であって、その上にコンピュータプログラム命令が格納され、コンピュータプログラム命令がプロセッサ２１０によって実行される場合、上記のいずれかを実行する網膜血管の動静脈の判別方法を提供した。

【0051】

本開示の様々な実施形態が上に記載されており、前述の説明は例示的なものであり、網羅的ではなく、開示された実施形態を限定するものではない。多数の修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、様々な実施形態の原理、実用化または市場における技術的改良を最もよく説明するため、または当業者が本明細書に開示された様々な実施形態を理解させるために選択されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2022-04-01

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年０８月１４日に中国特許庁に出願された出願番号が２０２０１０８１５６９８．８であり、発明名称が「網膜血管の動静脈を判別する方法及び装置」の中国特許出願の優先権を主張し、その全ての内容が本出願に参照として組み込まれている。

【0002】

本開示は、コンピュータ支援診断の技術分野に関し、特に、網膜血管の動静脈を判別する方法及び装置に関する。

【背景技術】

【0003】

眼底網膜血管の動静脈径比の指数は、医師が動脈硬化性疾患を診断する際に重要な参考となっている。しかし、医師は実際に読影する際には、依然として目視で動静脈管径比を１／２より大きい、１／３より大きい且つ１／２より小さい、１／３より小さいなどと大まかな比率を評価する。しかし、目視検査方法には大きな誤差があり、特に新しい眼科医や一般の眼科医が読影する過程で誤判断は避けられない。したがって、網膜の主要血管の動静脈径比の比率をコンピュータで正確に測定することは、医師が動脈硬化症を臨床的に診断するのに非常に役立ち、医師の読影効率を向上できる。また、動脈硬化症など血管の形態に異常がある疾患のさらなるコンピュータ支援診断にも大きな意義がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習法に基づく網膜血管の動静脈を判別する方法には、アルゴリズムの普遍性とロバスト性が低いという問題がある。

【課題を解決するための手段】

【0005】

これを考慮して、本開示は網膜血管の動静脈を判別する方法を提案し、
血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0006】

一つの可能な実施方法では、複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0007】

一つの可能な実施方法では、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
前記血管抽出画像の切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管スケルトンを抽出し；
前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管スケルトンを抽出する場合、Ｏｐｅｎｃｖ（登録商標、オープンソースのコンピュータビジョン向けライブラリ）を用いて予め用意されたスケルトン抽出関数を使用して、前記連結された血管から血管スケルトンを抽出する。

【0008】

一つの可能な実施方法では、不適格な動静脈血管対を除去することには更に、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0009】

一つの可能な実施方法では、前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去することには、
前記血管スケルトンを二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。

【0010】

一つの可能な実施方法では、前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得した。

【0011】

一つの可能な実施方法では、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖを用いて予め用意された長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれる。

【0012】

一つの可能な実施方法では、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。

【0013】

本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成され；
複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれる。

【0014】

本開示の別の態様によれば、網膜血管の動静脈を判別する装置が提供され、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記いずれかに記載の方法を実現するように構成されている。

【発明の効果】

【0015】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0016】

本開示の他の特徴及び態様は、図面を参照した例示的な実施形態の以下の詳細な説明に照らして明らかになる。

【図面の簡単な説明】

【0017】

図面は、本明細書に含まれ、本明細書とともにその一部を構成し、本開示の例示的な実施形態、特徴および態様を示し、本開示の原理を説明するために使用される。

【図1】本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャート；

【図2】本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの眼底画像の概略図；

【図3】本開示の一実施形態の網膜血管の動静脈を判別する方法の５１２×５１２サイズの血管抽出画像の概略図；

【図4】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト画像の概略図；

【図5】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管抽出テスト結果画像の概略図；

【図6】本開示の一実施形態の網膜血管の動静脈を判別する方法の他のフローチャート；

【図7】本開示の一実施形態の網膜血管の動静脈を判別する方法の眼底画像の概略図；

【図8】本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト画像の概略図；

【図9】本開示の一実施形態の網膜血管の動静脈を判別する方法の視神経円板検出テスト結果画像の概略図；

【図10】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管方向の概略図；

【図11】本開示の一実施形態の網膜血管の動静脈を判別する方法の黄斑部の概略図；

【図12】本開示の一実施形態の網膜血管の動静脈を判別する方法のリングテンプレートの概略図；

【図13】本開示の一実施形態の網膜血管の動静脈を判別する方法の小血管セグメントの概略図；

【図14】本開示の一実施形態の網膜血管の動静脈を判別する方法の輪郭直線フィッティングの概略図；

【図15】本開示の一実施形態の網膜血管の動静脈を判別する方法の血管径の概略図；

【図16】本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図；

【図17】本開示の一実施形態の網膜血管の動静脈を判別装置のブロック図。

【発明を実施するための形態】

【0018】

本開示の様々な例示的な実施形態、特徴および態様を、図面を参照して以下に詳細に説明する。図中の同じ記号の表記は、同じまたは類似の機能を持つ要素を示している。実施形態の様々な態様が図面に示されているが、特に明記しない限り、図面は必ずしも一定の縮尺で描かれているわけではない。

【0019】

ここで、「例示的」という言葉は、専ら「例、実施形態または実例として使用される」という意味で使用されている。本明細書で「例示的」として記載される任意の実施形態は、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではない。

【0020】

さらに、本開示をよりよく説明するために、以下の詳細な説明において多くの特定の詳細が与えられる。本開示は、ある特定の詳細がなくても同様に実施できることは、当業者には理解されるべきである。いくつかの実例では、本開示の主旨を現すために、当業者に知られている方法、手段、構成要素および回路は詳細に説明されていない。

【0021】

図１は本開示の一実施形態の網膜血管の動静脈を判別する方法のフローチャートである。図１に示すように、当該網膜血管の動静脈を判別する方法には、

【0022】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップＳ１００と、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得するステップＳ２００と、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られるステップ３００とが含まれる。

【0023】

血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の判別と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0024】

まず、本願実施形態の網膜血管動静脈判別方法は、機械学習に基づいて実現されることに留意されたい。ここで、本出願の実施例に対応する網膜血管の動静脈を判別する方法において、血管抽出画像と視神経円板の中心の座標の取得は、対応するネットワークモデルを使用して実現できる。

【0025】

具体的には、血管抽出画像をＵ－ｎｅｔのネットワーク構造を使用して実現でき、視神経円板の中心の座標についても同様にＵ－ｎｅｔのネットワーク構造を使用して実現できる。
Ｕ－ｎｅｔネットワーク構造を使用して血管抽出画像と視神経円板の中心の座標を取得する前に、まず採用したネットワークモデルをトレーニングして最終的な収束ネットワーク構造を取得する必要がある。

【0026】

その中で、採用したネットワークモデルをトレーニングする際には、まず血管抽出と視神経円板検出用のトレーニングデータセットを構築し、血管抽出用のトレーニングデータセットの構築では、ＤＲＩＶＥパブリックデータセットから２０枚のトレーニングセットと１８枚のテストセットを使用し、データ拡張後、合計３００４枚、テストセット２枚、合計２枚、そのうちの写真は全てか５６５×５８４ピクセルであり、視神経円板検出用のトレーニングデータセットの構築では、トレーニングセットはｒｅｆｕｇｅ２０１８トレーニングセットと検証セット８００枚、ｄｒｉｓｈｔｉ－ｇｓｌトレーニングデータセット５０枚、ｒｉｍ－ｏｎｅ－ｒ３トレーニングデータセット１５９枚であり、データ拡張後は合計４０３６枚、テストセットには、ｒｅｆｕｇｅ２０１８テストセット４００枚、ｄｒｉｓｈｔｉ－ｇｓｌテストセット５１枚、合計４５１枚が含まれ、さらに、血管抽出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補強を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを３００４枚に拡張し、その中で、血管抽出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔであり、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは２、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈ、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムが追加され、モデルテスト画像は図６を参照し、モデル結果画像は図７を参照する。同様に、視神経円板検出層では、まず、トレーニングデータセットに対して黒いエッジのクリッピングし、次にメディアンフィルタリングを行い、画像を５１２×５１２のサイズに拡大し、次にＧチャネルを抽出し、次にＣＬＡＨＥを使用して（コントラスト制限適応ヒストグラム等化）画像補正を行い、正規化、画像の水平反転、コントラスト調整、ランダムトリミングを行い、トレーニングデータセットを４０３６枚に拡張し、視神経円板検出層のモデルトレーニングのネットワーク構造はＵ－Ｎｅｔ、入力サイズは５１２×５１２であり、最適化方法はＡｄａｍ、学習率は０．０００１、Ｂａｔｃｈ＿ｓｉｚｅは４、損失関数はｄｉｃｅ＿ｌｏｓｅ、トレーニング回数は１５０ｅｐｏｃｈで、ｅａｒｌｙ＿ｓｔｏｐｐｉｎｇメカニズムを追加し、モデルテスト画像は図８を参照し、テスト結果の画像は図９を参照する。

【0027】

ネットワークモデルに対するトレーニングが完了した後、トレーニングされたネットワークモデルを使用して、血管抽出画像と視神経円板の中心の座標を取得できる。即ち、図１を参照すると、ステップＳ１００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得する。

【0028】

一つの可能な実施方法では、まず一枚の眼底網膜のカラー画像を入力し、図３を参照して前処理操作を実行し、次に血管抽出と視神経円板検出を実行して、血管抽出結果と視神経円板検出結果を取得し、上記の操作すべてが完了すると、前処理されたカラー眼底画像、網膜血管抽出画像、視神経円板座標は入力として静脈を判別するために動静脈識別モジュールに送信される。例えば、図２を参照して、ステップＳ１００を実行し、図４および図５を参照して、血管抽出結果と視神経円板検出結果から５１２×５１２サイズであり且つ黒いエッジのクリッピングされた後のカラーの網膜眼底画像、５１２×５１２サイズの血管抽出画像、および５１２×５１２サイズの画像に基づく視神経円板の中心の座標が得られる。

【0029】

更に、図１を参照すると、ステップＳ２００を実行して、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得する。

【0030】

一つの可能な実施方法では、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づく主要血管の抽出には、図２を参照して、血管抽出画像での切断された血管を除去し、連結された最大の血管を取得するステップＳ２００ａ、連結された血管に基づいて血管スケルトン（図中では「血管骨格」と表示する。以下同じ）を抽出するステップＳ２００ｂ、血管スケルトンに基づいて血管の交点を抽出し、交点を除去し、視神経円板の中心の座標及び眼底画像に基づいて血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ、その中で、連結された血管に基づいて血管スケルトンを抽出する場合、Ｏｐｅｎｃｖを用いて予め用意されたスケルトン抽出関数を使用して、連結された血管から血管スケルトンを抽出するステップＳ２００ｃ、ステップＳｄ及びステップＳ２００ｅを実行する。

【0031】

具体的には、血管スケルトンに基づいて血管の交点を抽出し、交点を除去することには、血管スケルトンを二値化してグレースケール画像を取得し、３×３テンプレートを使用してグレースケール画像をトラバースし、列挙法によってグレースケール画像の交点を抽出し、交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれる。

【0032】

さらに、視神経円板の中心の座標及び眼底画像に基づいて血管スケルトンの小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、視神経円板の中心の座標と眼底画像の黄斑部を結ぶ線を正の半軸とし、正の半軸の時計回りに１１０°のエリアと正の半軸の反時計回りに１１０°のエリアを保持し、３×３ＥＬＬＩＰＳＥを使用してグレースケール画像を精細化し、主要血管を取得した。

【0033】

さらに、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得することには、図２を参照して、視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取るステップＳ２００ｆ、微細な除去を確実に行うために、小血管セグメントを上のアーチと下のアーチに分割されるステップＳ２００ｇを実行して、さらに複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し、複数の滑らかな血管セグメントから所定の屈曲度閾値より大きい滑らかな血管セグメントを除去して直線状の血管セグメントを得て、Ｏｐｅｎｃｖを用いて予め用意された長方形検出ＡＰＩを使用して直線状の血管セグメントを検出して、血管角度を取得し、所定の血管角度の範囲に従って、複数の単一血管セグメントを取得するステップＳ２００ｈを実行する。

【0034】

例えば、主要血管を抽出する場合は、まず、血管抽出画像の最大の連結された血管を保持し、次に小血管の分岐を徐々に除去し、その中で、血管スケルトンの抽出は、ＯｐｅｎｃｖのMorphological operationsにおけるｍｏｒｐｈｏｌｏｇｙライブラリのスケルトン抽出関数ｓｋｅｌｅｔｏｎｉｚｅ（）によって実現され、３×３テンプレートを使用して血管スケルトンの全体のグレースケール画像をトラバースし、図１０を参照すると、３×３エリアにおける交差点の状態は３種類及び４方向、合計１２種類があるので、血管スケルトン内のすべての交点は、列挙法によって抽出でき、グレースケール画像（血管２値画像）の３×３ＥＬＬＩＰＳＥ型モルフォロジー演算Ｋｅｒｎｅｌによる微細化との組み合わせで、微細化後の小さな分岐血管の状態は：完全に腐食し、不連続である。このとき、小エリアを除去する操作と組み合わせることで、小血管分岐の初期除去を実現できる。さらに、上記の操作ではすべての小血管分岐を完全に除去できないため、そこで、ここでは主要血管の交点のトラバースを繰り返し、そして、交差点を中心とし、半径の４ピクセルの円形テンプレートを取り、主要血管のバイナリ画像の交差点位置の円形エリアのピクセルを０に設定し、この環状エリアのグレースケール画像（血管バイナリ画像）を維持し、小さなエリアを削除する操作により、残りの小さな血管セグメントの分岐の二次除去が実現され、その後、保存された血管交差点位置の円形エリアの画像を元の位置に敷き詰めて、血管画像交差点位置の画像復元が実現される。次に、図１１を参照して、視神経円板の中心の座標を選択し、視神経円板の中心の座標と黄斑部を結ぶ線を正の半軸とし、上下０～１１０°エリアの血管を切り取り、更に残りの視神経円板側の非主要血管の分岐を除去すると主要血管が得られ、次に、視神経円板の中心の座標を円の中心として、特定のステップサイズで円環エリアを外側へトラバースし、交差点を切り取った後の主要血管から、小血管セグメントを切り取る。

【0035】

円環切り取りの全範囲は、図１２の円環で囲まれたエリアを参照し、ここで、大きな円環は円環の切り取りエリアの下限を表し、小さな円環は円環の切り取りエリアの上限を表し、円環のトラバースする過程で切り取られた小さな血管セグメントは図１３を参照する。さらに、小血管セグメントに対して凸包検出を行う必要があり、即ち、抽出された小血管セグメントの凸包を計算し、凸包輪郭のピクセルと当該血管のピクセル数をカウントし、両者の差を計算し、閾値を設定することにより、不規則な血管セグメントの除去が実現でき、滑らかな血管セグメントを取得する。その中で、不規則な血管セグメントの中には、分岐点の位置、バリの位置、極端に不規則な血管形状などがある。次に、凸包検出に適格な小血管セグメント、即ち滑らかな血管セグメントについて、その中心線を抽出し、直線フィッティング操作を実行し、中心線上のピクセル点とフィットした直線との間の距離の累積和と偏差を計算し、閾値を設定することで、過度に湾曲した小血管セグメントを除去し、直線状の血管セグメントが得られる。次に、血管セグメントの方向の条件制限により、主要血管の血管の全体的な方向とは反対の、主血管上の直線状の血管セグメントを排除し、具体的には、Ｏｐｅｎｃｖの長方形検出ＡＰＩによって血管セグメントの角度測定を実現し、小さな血管セグメントが５～８５度の範囲に保持されるように制限し、単一の血管セグメントが取得される。また、血管セグメントの長さ制限を行い、円環テンプレートから切り取られた交差点操作の拒否により不完全となった小血管セグメントを除去できる。

【0036】

さらに、ステップＳ３００を実行して、複数の単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得する。

【0037】

一つの可能な実施方法では、図２を参照して、複数の前記単一血管セグメントの血管径を測定して、単一血管セグメントのそれぞれの血管径幅を取得するステップＳ３００ａを実行して、さらにステップＳ３００ｂを実行して、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
各単一血管セグメントの中線を取り、中線の中点を単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得て、中線セグメントの両端の端点の垂直線方程式を計算し、垂直線方程式間の単一血管セグメントの１本の輪郭線に直線をフィッティングして第１直線を得、第１直線傾きに基づいて、最小二乗法で別の輪郭線に直線をフィッティングして第２直線を得、第１直線と第２直線の間の距離を計算して、血管の血管径を得、複数の単一血管セグメントの中で最大の血管径を持つものを静脈として選択し、静脈と他の単一血管セグメントとの間の距離を計算し、静脈に最も近い単一血管セグメントを動脈として選択することが含まれる。例えば、グレースケール画像をテンプレートとして、主要血管から当該単一血管セグメントの正中線を切り取り、それに対して直線フィッティング操作を行い、次に、当該血管セグメントの正中線の中点の位置座標を見つけて、両側に延長し、図１４を参照して、５ピクセルの正中線セグメントを保持し、血管正中線セグメントの２つの端点で、それぞれ血管セグメントの垂直線方程式を計算し、そして、血管セグメントの垂直線線方程式から特定長の垂直線セグメントを切り取り、図面に実際の効果を表示し、さらに、図１５を参照して、２つの垂直線セグメントにより単一の血管セグメントの輪郭ピクセルを切り取り、次に切り取った２つの血管輪郭から一つを選んで直線をフィッティングし、前記単一の輪郭直線をフィッティングしした後の傾きを固定し、最小二乗法を使用して、当該単一血管セグメントの２つの垂直線セグメントの間の一方の輪郭の直線フィッティングを実現し、２本の直線間の距離を計算することで血管径の測定が実現でき、次に、単一の血管セグメントをループし、その血管径の値をそれぞれ計算し、最大直径の値を選択して、それが静脈血管であると想定し、当該静脈血管セグメントの中心点から他の血管セグメントの中心点までの距離を計算し、静脈血管セグメントに最も近い単一の血管セグメントを選択して、それを動脈と想定すると、２つの血管セグメントは一対の動静脈血管対を構成し、関連するデータが保存される。

【0038】

なお、上記の５ピクセル点の中線セグメントを選択する理由は、実際の血管セグメントの切り取り長さに基づいて設置すると、実際の血管セグメントの長さに応じて変更できるからである。

【0039】

さらに、図２を参照し、ステップＳ３００ｃの床復帰メカニズムの実行はまた、複数の動静脈血管対から不適格な動静脈血管対を除去し、適合な動静脈血管対を保持することを含み、その中で、不適格な動静脈血管対の除去には、単一血管セグメントに対する各動静脈血管対の画像輝度の平均を取得し、画像輝度の平均に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。例えば、計算アルゴリズムによって識別された動静脈血管対の単一の血管セグメントの画像輝度の平均は、動脈血管の輝度が静脈血管の輝度よりも高い場合、当該動静脈血管対が保持される。

【0040】

なお、輝度の算出アルゴリズムは、先行技術により算出可能であるため、ここでは説明しない。

【0041】

一つの可能な実施方法では、不適格な動静脈血管対を除去することは、さらに、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、角度に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去し、各動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、距離に基づいて、複数の動静脈血管対から不適格な動静脈血管対を除去することが含まれる。

【0042】

たとえば、角度の閾値を３０度に設定して、除去アルゴリズムにより、一つの主要血管とその分枝血管を動静脈血管の対として誤って判断したことを除去して、即ち、動静脈血管対の動脈血管と静脈血管の間の角度が３０度より大きい場合、該一つの動静脈血管の対を除去し、さらに、アルゴリズムによって識別された一つの動静脈血管対の動脈血管セグメントと静脈の血管セグメントの間の距離が大きい場合、当該動静脈血管セグメント対は非動静脈血管の対である確率が高いので、当該動静脈血管対を除去し、ステップＳ３００ｄを実行して、残りの動静脈対を保持する。

【0043】

なお、上記のような網膜血管動静脈を鑑別する方法は、上記の各ステップを例として紹介されているが、本開示がこれに限定されるべきでないことは、当業者には理解されるところである。実際、ユーザは、必要な機能が達成されている限り、個人の好みや実際のアプリケーションシナリオに応じて、網膜血管の動静脈識別方法を柔軟に設定できる。

【0044】

このように、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得し、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管を抽出し、主要血管画像を取得し、主要血管画像に基づいて主要血管を切り取って複数の単一血管セグメントを取得し、複数の単一血管セグメントの血管径を測定して各単一血管セグメントの血管径幅を取得し、各血管径幅に応じて複数の動静脈血管対を選択して得られる。このようにして、実際の場面の眼底網膜カラー画像でテスト効果が優れていて、異なるタイプ、異なるブランド、異なるレベルの画質の眼底画像に対していずれも良い効果があり、アルゴリズムのロバスト性とユビキタス性は比較的強く、網膜血管の動静脈の区分と血管径測定アルゴリズムの実際の場面における実施を可能にした。

【0045】

さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置１００が提供され、本開示の実施形態における網膜血管の動静脈を判別する装置１００の動作原理は、本開示の実施形態における網膜血管の動静脈を判別するための方法の原理と同じまたは類似しているので、ここでは繰り返しの説明は省略する。図１６を参照すると、本開示の一実施形態による網膜血管の動静脈を判別する装置１００には、データ取得モジュール１１０、血管スクリーニングモジュール１２０、および動静脈血管対選択モジュー１３０ルを含み、
データ取得モジュール１１０は、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され、
血管スクリーニングモジュール１２０は、血管抽出画像、眼底画像及び視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、主要血管画像に基づいて主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され、
動静脈血管対選択モジュール１３０は、複数の単一血管セグメントの血管径を測定して、各単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成される。

【0046】

さらに、本開示の別の態様によれば、網膜血管の動静脈を判別する装置２００が提供される。図１７を参照すると、本開示の一実施形態による網膜血管を動脈から判別するための装置２００は、プロセッサ２１０と、プロセッサ２１０の実行可能な命令を格納するためのメモリ２２０とを含む。ここで、プロセッサ２１０は、実行可能命令を実行する際に、網膜血管動静脈判別方法のいずれかを実施するように構成される。

【0047】

ここで、プロセッサ２１０の数は、１つまたは複数個であり得ることに留意されたい。同時に、本開示の実施形態における網膜血管の動静脈を判別装置２００には、入力装置２３０および出力装置２４０をさらに含むことができる。その中で、プロセッサ２１０、メモリ２２０、入力装置２３０、および出力装置２４０の間はバスを介して接続でき、または他の方法で接続でき、ここでは、特に限定しない。

【0048】

コンピュータ可読記憶媒体として、コンピュータ可読記憶媒体としてのメモリ２２０は、ソフトウェアプログラム、コンピュータ実行可能プログラム及び各種モジュール、例えば：本開示の実施形態の網膜血管動静脈判別法に対応するプログラム又はモジュールを格納するために使用されてもよい。プロセッサ２１０は、メモリ２２０に格納されたソフトウェアプログラムまたはモジュールを実行することによって、網膜血管動静脈判別装置２００の様々な機能のアプリケーションおよびデータ処理を実行する。

【0049】

入力装置２３０は、入力番号または信号を受信するために使用できる。ここで、信号は、デバイス／端末／サーバーのユーザ設定および機能制御に関連し、生成されたキー信号であってもよい。出力装置２４０は、表示画面などの表示装置を含むことができる。

【0050】

本開示の別の態様によれば、さらに不揮発性のコンピュータ可読記憶媒体であって、その上にコンピュータプログラム命令が格納され、コンピュータプログラム命令がプロセッサ２１０によって実行される場合、上記のいずれかを実行する網膜血管の動静脈の判別方法を提供した。

【0051】

本開示の様々な実施形態が上に記載されており、前述の説明は例示的なものであり、網羅的ではなく、開示された実施形態を限定するものではない。多数の修正および変形は、記載された実施形態の範囲および精神から逸脱することなく、当業者には明らかであろう。本明細書で使用される用語は、様々な実施形態の原理、実用化または市場における技術的改良を最もよく説明するため、または当業者が本明細書に開示された様々な実施形態を理解させるために選択されている。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

コンピュータにより網膜血管の動静脈を判別する方法であって、
データ取得モジュールが、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するステップと；
血管スクリーニングモジュールが、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するステップと；
動静脈血管対選択モジュールが、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するステップと；
動静脈血管対選択モジュールが、複数の前記動静脈血管対から不適格な動静脈血管対を除去し、適格な動静脈血管対を保持するステップを含み；
その中で、不適格な動静脈血管対を除去することには、
各前記動静脈血管対の単一血管セグメントの画像輝度の平均を取得し、前記画像輝度の平均に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれることを特徴とする方法。

【請求項2】

前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づく主要血管の抽出には、
血管スクリーニングモジュールが、
前記血管抽出画像での切断された血管を除去して、最大の連結された血管を取得し；
前記連結された血管に基づいて血管スケルトンを抽出し；
前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去し；
前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンから小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することが含まれ；
その中で、前記連結された血管に基づいて血管スケルトンを抽出する場合、Ｏｐｅｎｃｖ（登録商標）を用いて予め用意されたスケルトン抽出関数を使用して、前記連結された血管から血管スケルトンを抽出することを特徴とする請求項１に記載の方法。

【請求項3】

不適格な動静脈血管対を除去することには、
動静脈血管対選択モジュールが、
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の角度を取得し、前記角度に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去し；
各前記動静脈血管対における単一血管対の動脈血管と静脈血管の間の距離を取得し、前記距離に基づいて、複数の前記動静脈血管対から前記不適格な動静脈血管対を除去することが含まれることを特徴とする請求項１に記載の方法。

【請求項4】

前記血管スケルトンに基づいて血管の交点を抽出し、前記交点を除去することは、
前記血管スケルトンを二値化してグレースケール画像を取得し；
３×３テンプレートを使用して前記グレースケール画像をトラバースし、列挙法によって前記グレースケール画像の前記交点を抽出し；
前記交点を中心として、半径の４ピクセル以内のピクセル値を０に設定することが含まれることを特徴とする請求項２に記載の方法。

【請求項5】

前記視神経円板の中心の座標及び前記眼底画像に基づく前記血管スケルトンから小血管セグメント及び非主要血管の分岐を除去して主要血管を取得することには、
血管スクリーニングモジュールが、
前記視神経円板の中心の座標と前記眼底画像の黄斑部を結ぶ線を正の半軸とし；
前記正の半軸の時計回りに１１０°のエリアと前記正の半軸の反時計回りに１１０°のエリアを保持し；
３×３ＥＬＬＩＰＳＥを使用して前記グレースケール画像を精細化し、主要血管を取得することを特徴とする請求項４に記載の方法。

【請求項6】

前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得することには、
血管スクリーニングモジュールが、
視神経円板の中心の座標を円の中心として、複数の小さな血管セグメントを得るために、所定の半径内で所定のステップサイズで外側に向かって主要血管をトラバースして切り取り、複数の小血管セグメントを取得し；
複数の小血管セグメントに対して凸包検出を行い、複数の滑らかな血管セグメントを取得し；
複数の前記滑らかな血管セグメントから所定の屈曲度閾値より大きいな前記滑らかな血管セグメントを除去して直線状の血管セグメントを得；
Ｏｐｅｎｃｖ（登録商標）を用いて予め用意された長方形検出ＡＰＩを使用して前記直線状の血管セグメントを検出して、血管角度を取得し；
所定の角度範囲に従って、複数の前記単一血管セグメントを取得することが含まれることを特徴とする請求項１に記載の方法。

【請求項7】

複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得することには、
動静脈血管対選択モジュールが、
各前記単一血管セグメントの中線を取り、前記中線の中点を前記単一血管セグメントの両端に向かって所定のピクセル数だけ延長し、中線セグメントを得；
前記中線セグメントの両端の端点の垂直線方程式を計算し；
前記垂直線方程式間の前記単一血管セグメントの１本の輪郭線を直線フィッティングして第１直線を得；
前記第１直線傾きに基づいて、最小二乗法で他の１本の前記輪郭線を直線フィッティングして第２直線を得；
第１直線と第２直線の間の距離を計算して、血管の血管径を得；
複数の前記単一血管セグメントの中で最大の血管径を持つものを静脈として選択し；
前記静脈と他の単一血管セグメントとの間の距離を計算し、前記静脈に最も近い単一血管セグメントを動脈として選択することが含まれることを特徴とする請求項１に記載の方法。

【請求項8】

網膜血管の動静脈を判別する装置であって、データ取得モジュール、血管スクリーニングモジュール、および動静脈血管対選択モジュールを含み；
前記データ取得モジュールは、血管抽出画像、眼底画像及び視神経円板の中心の座標を取得するように構成され；
前記血管スクリーニングモジュールは、前記血管抽出画像、前記眼底画像及び前記視神経円板の中心の座標に基づいて、主要血管の抽出を行い、主要血管の画像を取得し、前記主要血管画像に基づいて前記主要血管を切り取り、複数の単一の血管セグメントを取得するように構成され；
前記動静脈血管対選択モジュールは、複数の前記単一血管セグメントの血管径を測定して、各前記単一血管セグメントのそれぞれの血管径幅を取得し、それぞれの血管径幅に基づいて複数の動静脈血管対を選択して取得するように構成されることが含まれることを特徴とする装置。

【請求項9】

網膜血管の動静脈を判別する装置であって、
プロセッサと；
プロセッサの実行可能な命令を格納するためのメモリと；を含み、
ここで、前記プロセッサは、前記実行可能命令を実行する際に、前記請求項１～７のいずれか一項に記載の方法を実現するように構成されていることが含まれることを特徴とする装置。

【国際調査報告】