IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 福州依影健康科技有限公司の特許一覧

特許7197708眼底画像定量分析の前置処理方法および記憶装置
<>
  • 特許-眼底画像定量分析の前置処理方法および記憶装置 図1
  • 特許-眼底画像定量分析の前置処理方法および記憶装置 図2
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】眼底画像定量分析の前置処理方法および記憶装置
(51)【国際特許分類】
   A61B 3/14 20060101AFI20221220BHJP
【FI】
A61B3/14
A61B3/14 ZDM
【請求項の数】 8
(21)【出願番号】P 2021536126
(86)(22)【出願日】2018-11-28
(65)【公表番号】
(43)【公表日】2021-12-16
(86)【国際出願番号】 CN2018117917
(87)【国際公開番号】W WO2020042405
(87)【国際公開日】2020-03-05
【審査請求日】2021-04-20
(31)【優先権主張番号】201811013852.9
(32)【優先日】2018-08-31
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】521085870
【氏名又は名称】福州依影健康科技有限公司
【氏名又は名称原語表記】FUZHOU YIYING HEALTH TECHNOLOGY CO., LTD.
【住所又は居所原語表記】Room 201, 5th Building, Innovation Park I, No.3 Keji East Road, Shangjie, Minhou Fuzhou, Fujian 350100 China
(74)【代理人】
【識別番号】100205936
【弁理士】
【氏名又は名称】崔 海龍
(74)【代理人】
【識別番号】100132805
【弁理士】
【氏名又は名称】河合 貴之
(72)【発明者】
【氏名】余 輪
(72)【発明者】
【氏名】邱 応強
(72)【発明者】
【氏名】林 嘉▲ぶん▼
(72)【発明者】
【氏名】曹 新容
(72)【発明者】
【氏名】王 麗納
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開平09-313447(JP,A)
【文献】米国特許出願公開第2015/0116660(US,A1)
【文献】Marvin Lee, et al.,Relationship between disc margin to fovea distance and central visual field defect in normal tension glaucoma,Graefe's Archive for Clinical and Experimental Ophthalmology,2014年,vol. 252, No. 2,pp. 307-314
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
処理待ちの眼底画像を取得するステップと、
前記処理待ちの眼底画像に対して視神経円板の位置決めを行うステップと、
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行うステップと、
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出するステップと、
を含み、
前記処理待ちの眼底画像に対して視神経円板の位置決めを行うステップは、
前記眼底画像に対して、グリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化の前処理を行うステップと、
前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により前記二値化血管画像に対して浸食することでメイン血管を得るステップと、
メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定めるステップと、
を含む、眼底画像定量分析の前置処理方法。
【請求項2】
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行うステップは、
視神経円板の中心を円心とし、第一のプリセット半径値および第二のプリセット半径値により円を構築して環状領域を形成するステップと、
前記環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行うステップと、
を含むことを特徴とする、請求項に記載の眼底画像定量分析の前置処理方法。
【請求項3】
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出するステップは、
視神経円板中心の座標および黄斑中心窩の座標に基づいて、前記眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断するステップと、
視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求めるステップと、
視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得するステップと、
前記絶対距離および視神経円板直径に基づいて、定量化パラメータを算出するステップと、
を含むことを特徴とする、請求項に記載の眼底画像定量分析の前置処理方法。
【請求項4】
前記第一のプリセット半径値は視神経円板半径の二倍であり、前記第二のプリセット半径値は視神経円板半径の三倍であることを特徴とする、請求項に記載の眼底画像定量分析の前置処理方法。
【請求項5】
処理待ちの眼底画像を取得する工程と、
前記処理待ちの眼底画像に対して視神経円板の位置決めを行う工程と、
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う工程と、
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出する工程と、
を実行するための命令セットが記憶され
前記処理待ちの眼底画像に対して視神経円板の位置決めを行う工程は、
前記眼底画像に対して、グリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化の前処理を行う工程と、
前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により前記二値化血管画像に対して浸食することでメイン血管を得る工程と、
メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定める工程と、
を含む、記憶装置。
【請求項6】
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う工程は、
視神経円板の中心を円心とし、第一のプリセット半径値および第二のプリセット半径値により円を構築して環状領域を形成する工程と、
前記環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行う工程と、
を含むことを特徴とする、請求項に記載の記憶装置。
【請求項7】
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出する工程は、
視神経円板中心の座標および黄斑中心窩の座標に基づいて、前記眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断する工程と、
視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求める工程と、
視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得する工程と、
前記絶対距離および視神経円板直径に基づいて、定量化パラメータを算出する工程と、
を含むことを特徴とする、請求項に記載の記憶装置。
【請求項8】
前記第一のプリセット半径値は視神経円板半径の二倍であり、前記第二のプリセット半径値は視神経円板半径の三倍であることを特徴とする、請求項に記載の記憶装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼底画像処理の技術分野に関し、特に、眼底画像定量分析の前置処理方法および記憶装置に関する。
【背景技術】
【0002】
現在、糖尿病および高血圧などの慢性疾患は、既に人々の健康に危害や生活水準に深刻な影響を与える社会問題になっている。どのようにすれば自己の健康状況に対する管理を実現することにより疾患に対する予防や監視を実現し、病気の予防的治療は現代社会発展における必然的な要求である。眼底は人体の中で唯一の非損傷的に動脈、静脈および毛細血管を直接観察できる部位で、大量な研究および臨床実践によれば、網膜病変、網膜血管の変化、視神経乳頭の状況および変化は、人々の健康および糖尿病網膜症、高血圧起因のアテローム性動脈硬化症疾病の状況をある程度反映できることを表している。
【0003】
しかしながら、様々なモデルの眼底カメラおよびその異なる動作モード、カメラの画角(視野角)および固視点が異なることにより、取得される眼底画像の相対的サイズ、解像度、画角および固視点の構造なども同じではない。同じ受検者の同じ目であっても、異なる装置または異なる時間帯に採集したら、取得される眼底画像も画角、解像度が異なることにより、同一人の複数回の検査画像を比較することや指標性有りの定量分析を実現できず、異なる人あるいは同一人の異なる時間または異なる装置にて採集した眼底画像における網膜病変の特徴、位置、サイズまたは血管の変化状況についても、定量分析、統計または比較を行うことができない。現在、これらの問題を提起したり、これらの問題を如何に解決することを明確に開示したりする先行技術文献は見当たっていない。このため、大規模な受検者による定期検診で採集された眼底画像について、如何に比較可能で有意義な定量化指標を形成するかは極めて重要である。
【発明の概要】
【0004】
本発明は、上記問題点に鑑みてなされたものであり、取得される眼底画像が様々な形式や様態で、同一人の複数回の検査または異なる人の検査で取得された眼底画像の比較や指標性有りの定量分析ができないことを解決できる眼底画像定量分析の前置処理方法および記憶装置を提供することを目的とする。
【0005】
上記目的を達成するための本発明に係る眼底画像定量分析の前置処理方法は、
処理待ちの眼底画像を取得するステップと、
前記処理待ちの眼底画像に対して視神経円板の位置決めを行うステップと、
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行うステップと、
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出するステップと、
を含む。
【0006】
さらに、前記処理待ちの眼底画像に対して視神経円板の位置決めを行うステップは、
前記眼底画像に対して、グリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化の前処理を行うステップと、
前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により前記二値化血管画像に対して浸食することでメイン血管を得るステップと、
メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定めるステップと、
を含む。
【0007】
さらに、前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行うステップは、
視神経円板の中心を円心とし、第一のプリセット半径値および第二のプリセット半径値により円を構築して環状領域を形成するステップと、
前記環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行うステップと、
を含む。
【0008】
さらに、前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出するステップは、
視神経円板中心の座標および黄斑中心窩の座標に基づいて、前記眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断するステップと、
視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求めるステップと、
視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得するステップと、
前記絶対距離および視神経円板直径に基づいて、定量化パラメータを算出するステップと、
を含む。
【0009】
さらに、前記第一のプリセット半径値は視神経円板半径の二倍であり、前記第二のプリセット半径値は視神経円板半径の三倍である。
【0010】
上記目的を達成するための本発明に係る記憶装置には、
処理待ちの眼底画像を取得する工程と、
前記処理待ちの眼底画像に対して視神経円板の位置決めを行う工程と、
前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う工程と、
前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出する工程と、
を実行するための命令セットが記憶されている。
【0011】
さらに、前記処理待ちの眼底画像に対して視神経円板の位置決めを行う工程は、
前記眼底画像に対して、グリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化の前処理を行う工程と、
前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により前記二値化血管画像に対して浸食することでメイン血管を得る工程と、
メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定める工程と、
を含む。
【0012】
さらに、前記処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う工程は、
視神経円板の中心を円心とし、第一のプリセット半径値および第二のプリセット半径値により円を構築して環状領域を形成する工程と、
前記環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行う工程と、
を含む。
【0013】
さらに、前記黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出する工程は、
視神経円板中心の座標および黄斑中心窩の座標に基づいて、前記眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断する工程と、
視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求める工程と、
視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得する工程と、
前記絶対距離および視神経円板直径に基づいて、定量化パラメータを算出する工程と、
を含む。
【0014】
さらに、前記第一のプリセット半径値は視神経円板半径の二倍であり、前記第二のプリセット半径値は視神経円板半径の三倍である。
【発明の効果】
【0015】
本発明の有益な効果は、次のとおりである。本発明によれば、処理待ちの眼底画像を取得することにより処理待ちの眼底画像における視神経円板の位置、エッジおよび黄斑中心窩の中心点の位置を位置決めし、視神経円板および黄斑中心窩の定量化パラメータを算出する。定量化パラメータは、視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離を含む。一般人において該両者の絶対距離値はほぼ同じ距離であるため、mm単位で定量的に表すことができ、さらに、既に得られた視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離および視神経円板直径に基づいて、後続の定量化分析のためのパラメータを取得し、取得したデータを絶対表示の方式から相対表示の方式に変換し、正規化処理を行うことにより有意義で比較可能なデータを形成する。このようにすれば、異なるルートからの眼底画像(異なる人の眼底画像または同じ人の異なる時期の眼底画像)であっても、有意義で比較可能な定量化指標を形成できることを確保し、全ての眼底画像が基本は比較可能で、異なる人の異なる時間ひいては異なるカメラ、あるいは、同じ人の異なる時間ひいては異なるカメラで検出して得られた眼底画像の特徴抽出や比較が有利となり、さらには、該定量化指標を介して眼底健康に対して分析および判定を行うことで定量分析を実現できる。
【図面の簡単な説明】
【0016】
図1】本発明に係る眼底画像定量分析の前処理方法のフロチャートである。
図2】本発明に係る記憶装置のモジュール図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら具体的な実施例により、本発明の課題を解決するための技術的手段の内容、構造特徴、実現される目的および効果について詳細に説明する。
【0018】
図1に示すように、まず、本実施形態における一部用語について解釈する。
<視神経円板>
視神経乳頭とも呼ばれ、網膜の黄斑から鼻側へ約3mmのところに直径が約1.5mmで境界が明確なやや赤っぽい円板状構造になっているものが視神経円板である。
【0019】
<黄斑>
眼底視神経円板の側頭葉側0.35cmところのやや下方で、人間の目の光学中心部位に位置し、視軸の投射点でもある。黄斑部にはキサントフィルが豊富に含まれ、周りの網膜の色に比べて少し暗い。黄斑中央部の陥凹は中心窩といい、視力が最も敏感な場所である。
【0020】
<大津アルゴリズム>
最大クラス間分散法(Maximum Between-Class Variance)やOTSU法とも呼ばれ、日本の学者であるOTSUにより1979年に提出された画像を効率的に二値化処理するアルゴリズムである。主には、閾値により元画像を前景と背景との二つの画像に分け、前景では、n1、csum、m1により現在閾値における前景の画素数、モーメントおよび平均輝度を表し、背景では、n2、sum-csum、m2により現在閾値における背景の画素数、モーメントおよび平均輝度を表す。最適な閾値を選択した場合、背景と前景との差分が最も大きくなるはずで、ポイントはどのように差分を評価する基準の選択することであり、OTSU法においてこの差分を評価する基準は最大クラス間分散であり、プログラム上ではsbによりクラス間分散を表し、fmaxにより最大クラス間分散を表す。
【0021】
<形態学的演算における浸食操作>
浸食は、境界のピクセルを除去して、境界を内側に収縮させる処理であり、小さくて無意義なオブジェクトを除去できる。浸食アルゴリズムでは、3×3の構造化要素を用いて画像における各々の画素を走査し、構造化要素とそれにより覆われた二値画像との間で「AND」(論理積)演算を行い、いずれも1であれば結果画像における該画素は1で、そうでなければ0である。処理の結果、二値画像は一回り小さくなる。
【0022】
本実施形態において、眼底画像定量分析の前処理方法は、記憶装置に応用されうる。本実施形態において、記憶装置は、スマートフォン、ダブレットPC、ディスクトップPC、ノートPC、PDAなどであってよい。
【0023】
本実施形態において、眼底画像定量分析の前処理方法は、以下のステップを含む。
(ステップS101)
処理待ちの眼底画像を取得する。たとえば、ローカルからアップロードされた眼底画像を取得することもでき、遠隔の眼底画像採集端末からアップロードされた眼底画像を取得することもでき、またはサーバーから眼底画像を取得することもできる。具体的には、眼底カメラにより受検者の眼底画像を採集し、続いて、該受検者に対応する眼底画像を記憶装置において処理されるようにアップロードする。また、受検者の眼底画像を直接入力することもでき、クラウドを介して異なる受検者の眼底画像を取得することもでき、眼底画像の取得ルートは様々あり、これについては限定しない。処理待ちの眼底画像が取得されると、ステップS102の処理へ移行する。
【0024】
(ステップS102)
処理待ちの眼底画像に対して視神経円板の位置決めを行う。たとえば、眼底画像に対して、グリーンチャンネルの選択(グリーンチャンネルの画像のみで後続処理)、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化のような前処理を行い。続いて、前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により二値化血管画像に対して浸食することでメイン血管を得て、続いて、メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定める。具体的には、次の通りである。
【0025】
検査待ちの眼底画像に対してグリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化処理を行う。眼底画像に対して前処理することにより、眼底画像における余計な背景やノイズを除去でき、眼底画像に対する後続の分析が有利になる。より具体的には、任意の一枚のカラー眼底画像において、ブルーチャンネルではノイズが比較的に多く、有用な情報がほぼ失っており、レッドチャンネルでは二つの黄斑が顕著の一方で、暗色の血管、微小の血管腫などの情報が多く失っているため、本実施形態では、検査待ちのカラー眼底画像に対してグリーンチャンネルの選択を行い、最大限に眼底血管を残して目立つようにする。
【0026】
また、ノイズを除去し、できるだけエッジ情報を残すために、本実施形態では、グリーンチャンネルの眼底画像に対してメディアンフィルタをかけてノイズ除去する。
【0027】
さらに、もっとよい血管抽出の効果を達成するため、ノイズ除去された画像に対してコントラスト強調処理を行う。なお、画像が強調されて明るすぎになることを避けるため、本実施形態では、制限付きのコントラスト強調方法であるCLAHEを採用する。最後に、正規化処理を行い、一枚の画像におけるすべて画素の画素値が0~1の間の値となるようにする。
【0028】
続いて、前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により二値化血管画像に対して浸食することでメイン血管を得る処理は、たとえば、前処理された眼底画像に対して大津アルゴリズムにより閾値を算出し、また、以下の「数1」に基づいて輝度値が閾値より大きい画素を血管として判断する。
【数1】
【0029】
さらに、視神経円板直径が画像幅の1/8~1/5であり、メイン血管の幅が視神経円板直径の1/4であることに基づいて構造化要素を構築し、該構造化要素を利用することで既に抽出された血管に対して浸食操作を行い、微細血管を除去してメイン血管を得る。
【0030】
続いて、メイン血管が得られた後、メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心を位置決めする処理は、たとえば、眼底画像に左上隅を原点とし、水平方向をX軸、垂直方向をY軸として座標系を定義する。
【0031】
そして、メイン血管における各画素を上記座標系の座標にマッピングする。たとえば、次の「数2」に示すように、最小二乗法に基づいてメイン血管に対してカーブフィッティングを行い、カーブのパラメータを確定してカーブの頂点を演算する。
【数2】
【0032】
カーブの頂点が元の眼底画像内に位置されるか否かを判断し、カーブの頂点が元の眼底画像内に位置される場合、該カーブの頂点を視神経円板の中心と決め、座標は(0DXX,0DYY)であり、さらに視神経円板のエッジを定める。続いて、自動的にまたは半自動的に視神経円板の直径が得られ、画素数により視神経円板の直径0DDを説明する。続いて、視神経円板の位置決めが完了すると、ステップS103の処理へ移行する。
【0033】
(ステップS103)
処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う。たとえば、視神経円板の中心を円心とし、第一のプリセット半径値および第二のプリセット半径値により円を構築して環状領域を形成する。環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行う。具体的には、次のとおりである。
【0034】
黄斑と視神経円板との位置関係に基づいて、黄斑中心窩と視神経円板の中心との間の距離は通常0DDの2~3倍である。このため、本実施形態では、好ましくは、視神経円板の中心を円心とし、0DDの2倍の大きさを半径として第一の円を構築し、また、視神経円板の中心を円心とし、0DDの3倍の大きさを半径として第二の円を構築し、二つの円の間で形成された環状領域をマスク領域と定義する。続いて、マスク領域内において、中心窩の輝度が最も低い特徴に基づいて、中心窩の位置決めを完成し、その座標MX、MYを得る。好ましくは、部分的なローカルコントラスト方法により中心窩の位置を検出する。最後は、輝度情報に基づいて、中心窩を円心として円形により黄斑領域をフィッティングする。
【0035】
プリセットされたサイズのスライディング・ウィンドウにより候補領域内の全ての画素を走査する。黄斑領域が眼底画像において最も暗い領域で、黄斑中心窩には任意の血管も含まれていないことに基づいて、以下の「数3」に示すような評価公式を構築する。
【数3】
ここで、fvesselは任意のウィンドウにおける対応する血管分布図において、0ではない血管画素数の得点であり、fintensityは任意のウィンドウにおける輝度の得点である。本実施形態において、眼底画像の中で最も暗いことは、公式中の輝度の得点に対応しており、血管が含まれていないことは、公式中の血管画素数の得点に対応している。
【0036】
本実施形態では、(視神経円板直径/4)*(視神経円板直径/4)(すなわち、(0DD/4)*(0DD/4))の大きさのスライディング・ウィンドウにより候補領域内の全ての画素を走査する。
【0037】
本実施形態では、全てのウィンドウにおける得点の最大値に対して正規化処理を行うことによりをfvessel求める。
【0038】
また、ウィンドウにおける全ての画素の輝度の平均値を算出し、255で正規化処理を行うことでfintensityを求める。
【0039】
各スライディング・ウィンドウの評価値を算出し、評価値が最も小さいスライディング・ウィンドウに対応する中心画素を選択して黄斑中心窩とし、また、黄斑中心窩を円心とし、視神経円板直径を直径として、円形を定め、円形により囲まれた領域を黄斑領域として定める。視神経円板の中心または重心の位置決め、視神経円板のエッジおよび黄斑中心窩の中心の位置決めが完了すると、ステップS104の処理へ移行する。
【0040】
(ステップS104)
黄斑中心窩の中心と視神経円板側頭葉側エッジとの間の距離の定量化パラメータを算出する。たとえば、視神経円板中心の座標および黄斑中心窩の座標に基づいて、眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断し、続いて、視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求める。続いて、視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得する。続いて、絶対距離および視神経円板直径に基づいて、定量化パラメータを算出する。具体的には、次のとおりである。
【0041】
(a)既に確定された視神経円板中心の座標および黄斑中心窩の座標に基づいて、以下の「数4」により該眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断する。
【数4】
ここで、flagは左右眼を表示し、0であれば右眼、1であれば左眼を表す。
【0042】
(b)視神経円板中心の座標および視神経円板直径に基づいて、視神経円板側頭葉側座標(0DX,0DY)を算出する。視神経円板側頭葉側座標および黄斑中心窩座標に基づいて、視神経円板側頭葉側と黄斑中心窩との絶対距離を算出し、たとえば、以下の「数5」により該眼底画像における両者のユークリッド距離を算出して、該画像における視神経円板側頭葉側から黄斑中心窩までの絶対距離とする。
【数5】
ここで、全ての座標値は眼底画像左上隅の画素を原点としている。
【0043】
(c)黄斑中心窩は通常視神経円板側頭葉側エッジから約3mmの距離に位置するため、既に得られた視神経円板側頭葉側から黄斑中心窩までの絶対距離および視神経円板直径に基づいて、以下の「数6」により後続の定量化分析のための基準dを求める。
【数6】
【0044】
本実施形態では、dを物差しとし、取得したデータを絶対表示の方式から相対表示の方式に変換し、このような正規化処理を行うことにより有意義で比較可能なデータを形成する。
【0045】
本実施形態では、ハード滲出物が検出され、かつ、各ハード滲出物から黄斑中心窩までのユークリッド距離Diが算出されると、以下の「数7」により正規化処理を行うことができ、さらにこの上で、該眼底画像におけるハード滲出物から黄斑中心窩までの基準の最小距離を求める。
【数7】
【0046】
同時に、既に取得した該眼底画像の対応する受検者の個人情報および画像における左右眼の情報に基づいて、元のデータベースから過去の該受検者の同じ眼の眼底画像および対応するハード滲出物から黄斑中心窩までの最小距離を取得でき、前後二回の検査の比較を実現できる。
【0047】
処理待ちの眼底画像を取得することにより処理待ちの眼底画像における視神経円板の位置、エッジおよび黄斑中心窩の中心点の位置を位置決めし、視神経円板および黄斑中心窩の定量化パラメータを算出する。定量化パラメータは、視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離を含む。一般人において該両者の絶対距離値はほぼ同じ距離であるため、mm単位で定量的に表すことができ、さらに、既に得られた視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離および視神経円板直径に基づいて、後続の定量化分析のためのパラメータを取得し、取得したデータを絶対表示の方式から相対表示の方式に変換し、正規化処理を行うことにより有意義で比較可能なデータを形成する。このようにすれば、異なるルートからの眼底画像(異なる人の眼底画像または同じ人の異なる時期の眼底画像)であっても、有意義で比較可能な定量化指標を形成できることを確保し、全ての眼底画像が基本は比較可能で、異なる人の異なる時間ひいては異なるカメラ、あるいは、同じ人の異なる時間ひいては異なるカメラで検出して得られた眼底画像の特徴抽出や比較が有利となり、さらには、該定量化指標を介して眼底健康に対して分析および判定を行うことで定量分析を実現できる。
【0048】
図2に示すように、本実施形態において、記憶装置200の具体的な実施形態は次のとおりである。記憶装置200には命令セットが記憶され、プロセッサにより該命令セットを実行することにより、処理待ちの眼底画像を取得し、処理待ちの眼底画像に対して視神経円板の位置決めを行い、処理待ちの眼底画像に対して黄斑中心窩の位置決めを行い、黄斑中心窩の中心および視神経円板側頭葉側エッジとの距離の定量化パラメータを算出する処理などを行う。たとえば、本実施形態では、眼底カメラにより受検者の眼底画像を採集し、続いて、該受検者に対応する眼底画像を記憶装置200において処理されるようにアップロードする。また、受検者の眼底画像を直接入力することもでき、クラウドを介して異なる受検者の眼底画像を取得することもでき、眼底画像の取得ルートは様々あり、これについては限定しない。
【0049】
さらに、上記命令セットを実行することにより、上述した処理待ちの眼底画像に対して視神経円板の位置決めを行う処理を行い、当該処理は、眼底画像に対して、グリーンチャンネルの選択、メディアンフィルタリング、コントラスト強調や輝度正規化処理のような前処理を行うステップと、前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により二値化血管画像に対して浸食することでメイン血管を得るステップと、メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心の位置決めおよびエッジを定めるステップと、を含む。具体的には、以下のとおりである。
【0050】
検査待ちの眼底画像に対してグリーンチャンネルの選択、メディアンフィルタリング、制限付きのコントラスト強調や輝度正規化処理を行う。眼底画像に対して前処理することにより、眼底画像における余計な背景やノイズを除去でき、眼底画像に対する後続の分析が有利になる。より具体的には、任意の一枚のカラー眼底画像において、ブルーチャンネルではノイズが比較的に多く、有用な情報がほぼ失っており、レッドチャンネルでは二つの黄斑が顕著の一方で、暗色の血管、微小の血管腫などの情報が多く失っているため、本実施形態では、検査待ちのカラー眼底画像に対してグリーンチャンネルの選択を行い、最大限に眼底血管を残して目立つようにする。
【0051】
また、ノイズを除去し、できるだけエッジ情報を残すために、本実施形態では、グリーンチャンネルの眼底画像に対してメディアンフィルタをかけてノイズ除去する。
【0052】
さらに、もっとよい血管抽出の効果を達成するため、ノイズ除去された画像に対してコントラスト強調処理を行う。なお、画像が強調されて明るすぎになることを避けるため、本実施形態では、制限付きのコントラスト強調方法であるCLAHEを採用する。最後に、正規化処理を行い、一枚の画像におけるすべて画素の画素値が0~1の間の値となるようにする。
【0053】
続いて、前処理された眼底画像に対して大津アルゴリズムにより二値化血管画像を抽出し、形態学的方法により二値化血管画像に対して浸食することでメイン血管を得る処理は、たとえば、前処理された眼底画像に対して大津アルゴリズムにより閾値を算出し、また、以下の「数8」に基づいて輝度値が閾値より大きい画素を血管として判断する。
【数8】
【0054】
さらに、視神経円板直径が画像幅の1/8~1/5であり、メイン血管の幅が視神経円板直径の1/4であることに基づいて構造化要素を構築し、該構造化要素を利用することで既に抽出された血管に対して浸食操作を行い、微細血管を除去してメイン血管を得る。
【0055】
続いて、メイン血管が得られた後、メイン血管に対してカーブフィッティング演算を行い、演算結果に基づいて視神経円板中心を位置決めする処理は、たとえば、眼底画像に左上隅を原点とし、水平方向をX軸、垂直方向をY軸として座標系を定義する。
【0056】
そして、メイン血管における各画素を上記座標系の座標にマッピングする。たとえば、次の「数9」に示すように、最小二乗法に基づいてメイン血管に対してカーブフィッティングを行い、カーブのパラメータを確定してカーブの頂点を演算する。
【数9】
【0057】
カーブの頂点が元の眼底画像内に位置されるか否かを判断し、カーブの頂点が元の眼底画像内に位置される場合、該カーブの頂点を視神経円板の中心と決め、座標は(0DXX,0DYY)であり、さらに視神経円板のエッジを定める。続いて、自動的にまたは半自動的に視神経円板の直径が得られ、画素数により視神経円板の直径0DDを説明する。
【0058】
さらに、上記命令セットを実行することにより、上述した処理待ちの眼底画像に対して黄斑中心窩の位置決めを行う処理を行い、当該処理は、視神経円板の中心を円心とし、第一のプリセット半径および第二のプリセット半径により円を構築して環状領域を形成するステップと、環状領域内において、黄斑の輝度特徴に基づいて黄斑中心窩の位置決めを行うステップと、を含む。具体的には、次のとおりである。
【0059】
黄斑と視神経円板との位置関係に基づいて、黄斑中心窩と視神経円板の中心との間の距離は通常0DDの2~3倍である。このため、本実施形態では、好ましくは、視神経円板の中心を円心とし、0DDの2倍の大きさを半径として第一の円を構築し、また、視神経円板の中心を円心とし、0DDの3倍の大きさを半径として第二の円を構築し、二つの円の間で形成された環状領域をマスク領域と定義する。続いて、マスク領域内において、中心窩の輝度が最も低い特徴に基づいて、中心窩の位置決めを完成し、その座標MX、MYを得る。好ましくは、部分的なローカルコントラスト方法により中心窩の位置を検出する。最後は、輝度情報に基づいて、中心窩を円心として円形により黄斑領域をフィッティングする。
【0060】
プリセットされたサイズのスライディング・ウィンドウにより候補領域内の全ての画素を走査する。黄斑領域が眼底画像において最も暗い領域で、黄斑中心窩には任意の血管も含まれていないことに基づいて、以下の「数10」に示すような評価公式を構築する。
【数10】
ここで、fvesselは任意のウィンドウにおける対応する血管分布図において、0ではない血管画素数の得点であり、fintensityは任意のウィンドウにおける輝度の得点である。本実施形態において、眼底画像の中で最も暗いことは、公式中の輝度の得点に対応しており、血管が含まれていないことは、公式中の血管画素数の得点に対応している。
【0061】
本実施形態では、(視神経円板直径/4)*(視神経円板直径/4)(すなわち、(0DD/4)*(0DD/4))の大きさのスライディング・ウィンドウにより候補領域内の全ての画素を走査する。
【0062】
本実施形態では、全てのウィンドウにおける得点の最大値に対して正規化処理を行うことによりをfvessel求める。
【0063】
また、ウィンドウにおける全ての画素の輝度の平均値を算出し、255で正規化処理を行うことでfintensityを求める。
【0064】
各スライディング・ウィンドウの評価値を算出し、評価値が最も小さいスライディング・ウィンドウに対応する中心画素を選択して黄斑中心窩とし、また、黄斑中心窩を円心とし、視神経円板直径を直径として、円形を定め、円形により囲まれた領域を黄斑領域として定める。
【0065】
さらに、上記命令セットを実行することにより、上述した黄斑中心窩の中心および視神経円板側頭葉側エッジとの距離の定量化パラメータを算出する処理を行い、当該処理は、視神経円板中心の座標および黄斑中心窩の座標に基づいて、眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断するステップと、視神経円板中心の座標、視神経円板の半径および定めた視神経円板のエッジに基づいて、視神経円板側頭葉側エッジにおける各画素の座標および視神経円板の面積内における各画素とその重心または中心を求めるステップと、視神経円板の重心または中心および黄斑中心窩の中心の座標を結んだ直線および該直線上における視神経円板側頭葉側エッジの座標に基づいて、視神経円板側頭葉側と黄斑中心窩の中心との絶対距離を算出するか取得するステップと、絶対距離および視神経円板直径に基づいて、定量化パラメータを算出するステップと、を含む。具体的には、以下のとおりである。
【0066】
(a)既に確定された視神経円板中心の座標および黄斑中心窩の座標に基づいて、以下の「数11」により該眼底画像が左眼の眼底画像であるかまたは右眼の眼底画像であるかを判断する。
【数11】
ここで、flagは左右眼を表示し、0であれば右眼、1であれば左眼を表す。
【0067】
(b)視神経円板中心の座標および視神経円板直径に基づいて、視神経円板側頭葉側座標(0DX,0DY)を算出する。視神経円板側頭葉側座標および黄斑中心窩座標に基づいて、視神経円板側頭葉側と黄斑中心窩との絶対距離を算出し、たとえば、以下の「数12」により該眼底画像における両者のユークリッド距離を算出して、該画像における視神経円板側頭葉側から黄斑中心窩までの絶対距離とする。
【数12】
ここで、全ての座標値は眼底画像左上隅の画素を原点としている。
【0068】
(c)黄斑中心窩は通常視神経円板側頭葉側エッジから約3mmの距離に位置するため、既に得られた視神経円板側頭葉側から黄斑中心窩までの絶対距離および視神経円板直径に基づいて、以下の「数13」により後続の定量化分析のための基準dを求める。
【数13】
【0069】
本実施形態では、dを物差しとし、取得したデータを絶対表示の方式から相対表示の方式に変換し、このような正規化処理を行うことにより有意義で比較可能なデータを形成する。
【0070】
本実施形態では、ハード滲出物が検出され、かつ、各ハード滲出物から黄斑中心窩までのユークリッド距離Diが算出されると、以下の「数14」により正規化処理を行うことができ、さらにこの上で、該眼底画像におけるハード滲出物から黄斑中心窩までの基準の最小距離を求める。
【数14】
【0071】
同時に、既に取得した該眼底画像の対応する受検者の個人情報および画像における左右眼の情報に基づいて、元のデータベースから過去の該受検者の同じ眼の眼底画像および対応するハード滲出物から黄斑中心窩までの最小距離を取得でき、前後二回の検査の比較を実現でき、黄斑浮腫のスクリーニング検査判断結果を出すことができる。
【0072】
さらに、上記命令セットを実行することにより、上記第一のプリセット半径を視神経円板半径の二倍にし、上記第二のプリセット半径を視神経円板半径の三倍にすることができる。
【0073】
記憶装置200によって処理待ちの眼底画像を取得することにより処理待ちの眼底画像における視神経円板の位置、エッジおよび黄斑中心窩の中心点の位置を位置決めし、視神経円板および黄斑中心窩の定量化パラメータを算出する。定量化パラメータは、視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離を含む。一般人において該両者の絶対距離値はほぼ同じ距離であるため、mm単位で定量的に表すことができ、さらに、既に得られた視神経円板側頭葉側から黄斑中心窩の中心までの絶対距離および視神経円板直径に基づいて、後続の定量化分析のためのパラメータを取得し、取得したデータを絶対表示の方式から相対表示の方式に変換し、正規化処理を行うことにより有意義で比較可能なデータを形成する。このようにすれば、異なるルートからの眼底画像(異なる人の眼底画像または同じ人の異なる時期の眼底画像)であっても、有意義で比較可能な定量化指標を形成できることを確保し、全ての眼底画像が基本は比較可能で、異なる人の異なる時間ひいては異なるカメラ、あるいは、同じ人の異なる時間ひいては異なるカメラで検出して得られた眼底画像の特徴抽出や比較が有利となり、さらには、該定量化指標を介して眼底健康に対して分析および判定を行うことで定量分析を実現できる。
【0074】
本明細書において既に上述の実施形態について説明したが、本発明は上記実施形態に限定されず、本発明の技術的思想に基づいて行われる上記実施形態に対する変形や改良、または本明細書および図面などの内容に基づいて行われる構造やフロチャートに対する均等範囲内での変換、直接または間接的に本発明に係る課題を解決するための手段をその他の関連技術分野への応用、これらのすべては本発明の保護範囲内に含まれることに注意されたい。
【符号の説明】
【0075】
200 記憶装置。
図1
図2