IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7248142画像処理方法、画像処理装置、プログラム
<>
  • 特許-画像処理方法、画像処理装置、プログラム 図1
  • 特許-画像処理方法、画像処理装置、プログラム 図2
  • 特許-画像処理方法、画像処理装置、プログラム 図3
  • 特許-画像処理方法、画像処理装置、プログラム 図4
  • 特許-画像処理方法、画像処理装置、プログラム 図5
  • 特許-画像処理方法、画像処理装置、プログラム 図6
  • 特許-画像処理方法、画像処理装置、プログラム 図7
  • 特許-画像処理方法、画像処理装置、プログラム 図8
  • 特許-画像処理方法、画像処理装置、プログラム 図9
  • 特許-画像処理方法、画像処理装置、プログラム 図10
  • 特許-画像処理方法、画像処理装置、プログラム 図11
  • 特許-画像処理方法、画像処理装置、プログラム 図12
  • 特許-画像処理方法、画像処理装置、プログラム 図13
  • 特許-画像処理方法、画像処理装置、プログラム 図14
  • 特許-画像処理方法、画像処理装置、プログラム 図15
  • 特許-画像処理方法、画像処理装置、プログラム 図16
  • 特許-画像処理方法、画像処理装置、プログラム 図17
  • 特許-画像処理方法、画像処理装置、プログラム 図18
  • 特許-画像処理方法、画像処理装置、プログラム 図19
  • 特許-画像処理方法、画像処理装置、プログラム 図20
  • 特許-画像処理方法、画像処理装置、プログラム 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-20
(45)【発行日】2023-03-29
(54)【発明の名称】画像処理方法、画像処理装置、プログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20230322BHJP
   A61B 3/12 20060101ALI20230322BHJP
   G06T 7/00 20170101ALI20230322BHJP
   G06V 10/44 20220101ALI20230322BHJP
【FI】
A61B3/10 300
A61B3/12
G06T7/00 612
G06V10/44
【請求項の数】 13
(21)【出願番号】P 2021552012
(86)(22)【出願日】2019-10-15
(86)【国際出願番号】 JP2019040484
(87)【国際公開番号】W WO2021074963
(87)【国際公開日】2021-04-22
【審査請求日】2022-04-15
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
【審査官】小野 健二
(56)【参考文献】
【文献】国際公開第2017/150583(WO,A1)
【文献】国際公開第2019/163911(WO,A1)
【文献】国際公開第2019/130583(WO,A1)
【文献】特開2016-093538(JP,A)
【文献】特開2010-158279(JP,A)
【文献】特開2014-166271(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
プロセッサが、超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
前記プロセッサが、前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
前記プロセッサが、前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を第1態様で表示することを指示する第1態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第2態様で表示することを指示する第2態様指示情報と、を生成する、
ことを含む画像処理方法。
【請求項2】
前記第1態様指示情報は、第1色であり、前記第2態様指示情報は、前記第1色とは異なる第2色である、請求項1に記載の画像処理方法。
【請求項3】
前記第1態様指示情報および前記第2態様指示情報に基づいて、前記複数領域の各々の領域を前記第1態様または前記第2態様で表示する、
請求項1または請求項2に記載の画像処理方法。
【請求項4】
前記プロセッサが、前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第1態様とさらに前記第1態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
請求項1から請求項3の何れか1項に記載の画像処理方法。
【請求項5】
前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することは、前記部分領域を含む領域をぞれぞれの属性に対応させた異なる色で表示することを含む、
請求項4に記載の画像処理方法。
【請求項6】
前記眼底領域を前記複数領域に分割することには、
前記プロセッサが、
前記眼底領域において、前記眼底領域及び前記眼底領域を囲む背景領域の境界を前記領域の、輪郭線に設定する、
ことを含む、請求項1から請求項5の何れか1項に記載の画像処理方法。
【請求項7】
前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記超広角眼底画像において所定の暗さ以下の暗い画素が連続する領域を前記部分領域として検出することを含む、
請求項1から請求項6の何れか1項に記載の画像処理方法。
【請求項8】
前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記部分領域が無灌流領域であるか否かを検出することを含む、
請求項1から請求項7の何れか1項に記載の画像処理方法。
【請求項9】
前記プロセッサが、前記複数領域の各々の領域に対して前記部分領域を含むか否かを示す情報を生成することは、前記部分領域が無血管領域であるか否かを検出することを含む、
請求項1から請求項8の何れか1項に記載の画像処理方法。
【請求項10】
メモリと、前記メモリに接続するプロセッサとを備え、
前記プロセッサは、
超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を、第1態様で表示することを指示する第1態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第2態様で表示することを指示する第2態様指示情報と、を生成する、
画像処理装置。
【請求項11】
前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第1態様とさらに前記第1態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
請求項10に記載の画像処理装置。
【請求項12】
コンピュータに、
超広角眼底画像の眼底領域を眼底の血管を境界として複数領域に分割し、
前記複数領域の各々の領域に対して、血流が流れていないまたはほとんど流れていない部分領域を含むか否かを示す情報を生成し、
前記情報に基づいて、前記複数領域のうち前記部分領域を含む領域を第1態様で表示することを指示する第1態様指示情報と、前記複数領域のうち前記部分領域を含まない領域を第2態様で表示することを指示する第2態様指示情報と、を生成する、
ことを実行させるプログラム。
【請求項13】
前記部分領域の状態に応じて決定される複数の異なる属性に基づいて、前記部分領域を含む領域を、前記第1態様とさらに前記第1態様とは異なる態様に分類し、前記部分領域を含む領域を分類された領域ごとに対応した態様で表示することを含む、
請求項12に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置、プログラムに関する。
【背景技術】
【0002】
米国特許8636364号明細書には、眼底画像から渦静脈の位置を特定することが開示されている。
【0003】
眼底底像において異常領域を検出できることが望まれている。
【発明の概要】
【0004】
本開示の技術の第1の態様の画像処理方法は、プロセッサが、超広角眼底画像の眼底領域を少なくとも第1領域と第2領域と含む複数領域に分割し、前記プロセッサが、前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成し、前記プロセッサが、前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成する、ことを含む
【0005】
本開示の技術の第2の態様の画像処理方法は、プロセッサが、超広角眼底画像の眼底領域を、脈絡膜血管網の分水嶺に応じて複数領域に分割し、前記プロセッサが、前記複数領域の各々を各々の領域に対応する態様で表示することを指示する複数の態様指示情報を生成する、ことを含む画像処理方法。
【0006】
本開示の技術の第3の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、超広角眼底画像の眼底領域を少なくとも第1領域と第2領域と含む複数領域に分割し、前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成し、前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成する。
【0007】
本開示の技術の第4の態様のプログラムは、コンピュータに、超広角眼底画像の眼底領域を少なくとも第1領域と第2領域と含む複数領域に分割し、前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成し、前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成する、ことを実行させる。
【図面の簡単な説明】
【0008】
図1】眼科システム100のブロック図である。
図2】眼科装置110の全体構成を示す概略構成図である。
図3】サーバ140の電気系の構成のブロック図である。
図4】サーバ140のCPU262の機能のブロック図である。
図5】サーバ140による画像処理のフローチャートである。
図6図5のステップ504の領域分割処理のフローチャートである。
図7図6のステップ506の属性情報生成処理のフローチャートである。
図8】網膜血管画像における血管画像部分で閉じられている部分を示す図である。
図9】血管画像部分で閉じられていない部分が、血管画像部分と、網膜血管画像及び背景領域との境界とで閉じられていることを示す図である。
図10】血管画像部分で閉じられていない部分における網膜血管画像及び背景領域との境界に輪郭線が設定された様子を示す図である。
図11】複数領域に識別情報を付与した様子を示す図である。
図12】第1眼底画像表示画面1000Aを示す図である。
図13】第2眼底画像表示画面1000Bを示す図である。
図14図5のステップ504の領域分割処理の他の例のフローチャートである。
図15図6のステップ506の属性情報生成処理の他の例のフローチャートである。
図16】UWF眼底画像G1を示す図である。
図17】脈絡膜血管画像G2を示す図である。
図18】視神経乳頭ONHと黄斑Mとを通る線LHと、線LHに垂直な線LVが設定されたUWF眼底画像G1を示す図である。
図19】4つの渦静脈の位置が検出された様子を示す図である。
図20】脈絡膜血管画像を、分水嶺を基準に複数の領域に分割した様子を示す図である。
図21】第3眼底画像表示画面1000Cを示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して本発明の第1の実施の形態を詳細に説明する。
【0010】
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「サーバ」という)140と、画像表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。サーバ140は、眼科装置110によって患者の眼底が撮影されることにより得られた眼底画像を、患者のIDに対応して記憶する。ビューワ150は、サーバ140から取得した眼底画像などの医療情報を表示する。
【0011】
眼科装置110、眼軸長測定器120、サーバ140、およびビューワ150は、ネットワーク130を介して、相互に接続されている。
【0012】
次に、図2を参照して、眼科装置110の構成を説明する。
【0013】
説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0014】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0015】
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18、OCTユニット20、および撮影光学系19を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0016】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0017】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0018】
また、制御装置16は、I/Oポート16Dに接続された画像処理装置16Gを備えている。画像処理装置16Gは、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。制御装置16はI/Oポート16Dに接続された通信インターフェース(I/F)16Fを備えている。眼科装置110は、通信インターフェース(I/F)16Fおよびネットワーク130を介して眼軸長測定器120、サーバ140、およびビューワ150に接続される。
【0019】
上記のように、図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0020】
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
【0021】
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0022】
広角光学系30は、共通光学系28を有する対物光学系(図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
【0023】
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
【0024】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0025】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
【0026】
内部照射角の200度は、本開示の技術の「所定値」の一例である。
【0027】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。もちろん、内部照射角で160度未満の撮影画角で眼底を撮影することにより、UWFではないSLO画像を取得することができる。
【0028】
SLOシステムは、図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
【0029】
SLOユニット18は、複数の光源、例えば、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射または透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系56、52で反射して、それぞれ1つの光路に導かれる。
【0030】
SLOユニット18は、G光、R光、およびB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0031】
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、被検眼12の後眼部に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
【0032】
SLOユニット18は、被検眼12の後眼部(例えば、眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。
【0033】
SLOユニット18は、複数の光源に対応して複数の光検出素子を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、およびビームスプリッタ58により反射したG光を検出するG光検出素子72を備えている。SLOユニット18は、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0034】
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置16Gは、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
【0035】
UWF-SLO画像(後述するようにUWF眼底画像、オリジナル眼底画像ともいう)には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
【0036】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
【0037】
このようにUWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像がある。UWF-SLO画像の各画像データは、入力/表示装置16Eを介して入力された患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-SLO画像の各画像データと患者の情報とは、記憶装置254に、対応して記憶される。なお、患者の情報には、例えば、患者名ID、氏名、年齢、視力、右眼/左眼の区別等がある。患者の情報はオペレータが入力/表示装置16Eを介して入力する。
【0038】
OCTシステムは、図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
【0039】
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
【0040】
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0041】
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。CPU16Aの制御下で動作する画像処理装置16Gは、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
【0042】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。もちろん、内部照射角で160度未満の撮影画角でOCTデータを取得することができる。
【0043】
UWF-OCT画像の画像データは、患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-OCT画像の画像データと患者の情報とは、記憶装置254に、対応して記憶される。
【0044】
なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0045】
次に、眼軸長測定器120を説明する。眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
【0046】
眼軸長測定器120は、第1のモードまたは第2のモードにより測定された眼軸長をサーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ140に送信する。サーバ140は、患者の眼軸長を患者名IDに対応して記憶する。
【0047】
次に、図3を参照して、サーバ140の電気系の構成を説明する。図3に示すように、サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、バス270により相互に接続されたCPU262、RAM266、ROM264、および入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、サーバ140は、眼科装置110、およびビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。
【0048】
画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置254、ROM264は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。CPU262は、本開示の技術の「プロセッサ」の一例である。
【0049】
サーバ140の後述する処理部208(図5も参照)は、眼科装置110から受信した各データを、記憶装置254に記憶する。具体的には、処理部208は記憶装置254に、UWF-SLO画像の各画像データおよびUWF-OCT画像の画像データと患者の情報(上記のように患者名ID等)とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置110の入力/表示装置16Eを介して病変の情報が入力され、サーバ140に送信される。病変の情報は患者の情報と対応付けられて記憶装置254に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
【0050】
ビューワ150は、CPU、RAM、ROM等を備えたコンピュータとディスプレイとを備え、ROMには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ140から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
【0051】
次に、図4を参照して、サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能(分割機能、生成機能、塗り分け機能)、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、図4に示すように、表示制御部204、画像処理部206(分割部2060、生成部2062、塗り分け部2064)、および処理部208として機能する。
【0052】
次に、図5を用いて、サーバ140による画像処理を詳細に説明する。サーバ140のCPU262が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置110によりUWF眼底画像(UWF-SLO画像)が、取得され、患者名IDと共にサーバ140に送信され、サーバ140が、患者名IDおよびUWF眼底画像を受信した場合に、スタートする。
【0053】
ステップ502で、処理部208は、記憶装置254から、UWF眼底画像(オリジナル眼底画像)を取得する。処理部208は、例えば、R色眼底画像、G色眼底画像、RGBカラー眼底画像を取得する。
【0054】
ステップ504で、画像処理部206は、UWF眼底画像の眼底領域を少なくとも第1領域と第2領域とを含む複数領域に分割し、ステップ506で、画像処理部206は、各領域の属性情報を生成する。
【0055】
本開示の技術では、ステップ504の領域分割処理には、複数の異なる処理が適用可能である。例えば、血管を領域の境界とする第1の処理と、脈絡血管網の分水嶺を領域の境界とする第2の処理等がある。なお、本実施の形態のステップ504の領域分割処理では、第1の処理が採用される。第2の処理は、後述するように、第2の実施の形態のステップ504の領域分割処理で採用される。
【0056】
図6を参照して、血管を領域の境界とする第1の処理を説明する。
【0057】
ステップ602で、分割部2060は、UWF眼底画像のうちG色眼底画像から網膜血管を抽出する。G色眼底画像を用いるのは、G色(緑色に相当する波長)の光は、眼底の網膜が位置する深さに到達するので、網膜の構造物を可視化するのに適しているからである。G色眼底画像では、網膜血管は黒く可視化される。これは網膜血管が光を吸収するためである。
【0058】
具体的には、分割部2060は、G色眼底画像内で、周辺の画素よりも画素値が小さい画素を含む領域を網膜血管領域として抽出することにより、網膜血管画像を生成する。より具体的には、分割部2060は、G色眼底画像に対してブラックハット処理を施す。ブラックハット処理は、クロージングした画像から元画像を差し引く処理であり、元画像においてホコリやノイズの場所を白い点として抽出する処理を意味する。G色眼底画像にブラックハット処理を施すことにより、黒い画素である網膜血管の画素の場所が白い画素として抽出される。つまり、網膜血管の領域が白画素でありそれ以外の領域が黒画素である二値化画像である網膜血管画像が生成される。
【0059】
ステップ604で、分割部2060は、網膜血管画像における網膜血管領域の中心線を求めることにより細線化する。具体的には、分割部2060は、細線化処理(Hildichの方法などによる、二値化された画像において、線の中心1画素だけを残すように線を細くする処理)を網膜血管画像に施すことにより細線化する。図8に示す網膜血管が細線化された画像(スケルトン画像)が得られる。スケルトン画像は細線化処理による中心線が白い画素で示されている。
【0060】
ステップ606で、分割部2060は、スケルトン画像(図8参照)を少なくとも第1領域と第2領域とを含む複数領域に分割(抽出)する。
【0061】
具体的には、分割部2060は、スケルトン画像において、網膜血管の中心線を複数の区間に分割する。図8はスケルトン画像の視神経乳頭(図8のONH)から下のエリアを分割した例を示している。分割は、分岐点や合流点を抽出する(図8における黒丸やONHを示す丸印)。
【0062】
次に、分割部2060は、分岐点と分岐点とで定義される中心線の線分を区間として抽出する。図8には、t1~t5までの5つの区間が抽出された様子が示されている。
そして、分割部2060は、複数の区間に囲まれた領域を抽出する。図9では、区間t1、t2、t3、t4、t5により囲まれた領域Pが抽出される。さらに、分割部2060は、領域Pの輪郭を示す輪郭線1を設定する。分割部2060は、このように、区間の抽出、領域の抽出、輪郭線の設定をスケルトン画像の全体に対して行い、スケルトン画像を複数の領域に分割する処理を完了させる。
【0063】
ところで、スケルトン画像において、眼底の血管に対応する区間で閉じていない領域も存在する。例えば、図9に示すように、輪郭の一部が区間t6、t3、t7、t8であるが、残りの輪郭の部分が、血管に起因しない輪郭、即ち、スケルトン画像の辺縁の区間k(背景領域と眼底領域との境界の区間)に囲まれた領域Qも存在する。
この場合、分割部2060は、区間kを輪郭の一部として強制的に認識する。図9に示す区間t6、t3、t7、t8に相当する輪郭線と区間kによる輪郭線との和が、図10に示すように、領域Qの輪郭線2として抽出される。分割部2060は、輪郭線2が設定された領域Qとして分割する。このようなスケルトン画像の辺縁が輪郭の一部となっている領域は、眼底周辺領域(眼底周辺という属性を有する領域)として認識される。
【0064】
ステップ608で、分割部2060は、上記抽出した各領域に、識別情報を付与する。例えば、図11に示すように、分割部2060は、領域Pに、識別情報(ID)として、n=1、別の領域Qに、識別情報(ID)としてn=2を付与する等である。
【0065】
ステップ608の識別情報付与処理が終了すると、図5のステップ504の領域分割処理が終了し、画像処理は、ステップ506の属性情報生成処理(図7参照)に移行する。
【0066】
図7のステップ702で、生成部2062は、UWF眼底画像(例えば、RGBカラー眼底画像)を読み出し、ステップ704で、生成部2062は、領域の識別情報(ID)を読み出す。
【0067】
ステップ706で、生成部2062は、属性情報として、領域ごとの平均輝度を算出する。具体的には、生成部2062は、領域の識別情報である変数nを0にセットし、変数nを1インクリメントする。生成部2062は、UWF眼底画像において、変数nで識別される領域に対応する部分の複数の画素値を取得し、取得した複数の画素値に基づいて、領域nの平均輝度を算出する。生成部2062は、変数nが、領域の総数Nになるまで、領域nの平均輝度の算出を繰り返す。これにより、全ての領域の各々について属性情報である平均輝度が算出される。
【0068】
全ての領域の各々についての平均輝度は、当該領域に対応する眼底の物理情報、より具体的には、当該領域に対応する眼底の光学的情報(例えば、「光の反射率に関連する情報」)であり、本開示の技術の「第1属性情報」、「第2属性情報」の一例である。具体的には、図9に示す血管画像部分t1からt5で閉じている領域Pの平均輝度は、本開示の技術の「第1属性情報」の一例である。また、図9に示す眼底の血管に対応する血管画像部分と、図10に示す眼底領域と背景画像との境界部分とで閉じている領域Q2の平均輝度は、本開示の技術の「第2属性情報」の一例である。
【0069】
属性情報としては、各領域の平均輝度に代えて、各領域の画素値の最大輝度値、最小輝度値、最大輝度値および最小輝度値の差、商、積の値を用いてもよい。
【0070】
また、属性情報としては、平均輝度の範囲のランクを用いてもよい。具体的には、次の通りである。平均輝度の範囲のランクとして、平均輝度が低い第1の範囲をランク1、平均輝度が第1の範囲より高い第2の範囲をランク2として予め定めておく。生成部2062は、各領域の平均輝度から、ランク1とランク2の何れのランクに属するか判断する。生成部2062は、平均輝度が第1の範囲に属する領域に対しては、ランク1に属することを示す情報を対応付ける。生成部2062は、平均輝度が第2の範囲に属する領域に対しては、ランク2に属することを示す情報を対応付ける。 ランク1に属することを示す情報及びランク2に属することを示す情報は、本開示の技術の「属性情報」の一例である。
【0071】
更に、生成部2062は、各領域の網膜神経線維層(RNFL(Retinal Nerve Fiber Layer))や脈絡膜層の厚さも算出する。なお、これらの層の厚さは、OCTデータに基づいて生成される。断層画像のセグメンテーションを行い、網膜神経線維層や脈絡膜層などの網膜の各層を特定する。各領域の網膜神経線維層および脈絡膜層の厚さの平均値を求める。各領域の網膜神経線維層および脈絡膜層の厚さの平均値は、属性情報の一例であり、本開示の技術の「眼底の層の厚さに関連した情報」の一例である。
【0072】
各層の厚さの平均値に代えて、各領域の層の厚さの最大値、最小値、最大値および最小値の差、商、積の値、あるいはそれらの組み合わせを属性情報としてもよい。
【0073】
ところで、上記複数の領域には、正常な領域の他に、異常な領域があり得る。正常な領域は、例えば、正常という属性を示す第1属性を有する。異常な領域は、例えば、異常という属性を示す第2属性を有する。異常な領域は、例えば、病変あるいは無灌流領域(NPA(Non Perfusion Area)を含む領域である。
【0074】
ここで、無灌流領域(NPA)は、眼底において、網膜毛細血管床の閉塞、網膜血管あるいは脈絡膜血管の疾患による血流障害などにより、血液が流れていないまたはほとんど流れていない眼底領域である。眼底において、無血管もしくは血管が粗な領域である無血管領域(AVA(avascular area))でもある。
【0075】
無灌流領域は、網膜血管画像から第1の暗さよりも暗い複数の画素を抽出し、抽出した複数の画素から、第1の暗さ以下の暗い画素が連続する所定面積以上の面積の領域を検出することにより、検出される無灌流領域を検出する方法としては、国際公開第2019/130583号に記載された方法でもよい。2019年7月4日に国際公開された国際公開第2019/130583号の開示は、その全体が参照により本明細書に取り込まれる。
【0076】
領域が正常な領域である場合の、正常という属性を示す第1属性、及び領域が異常な領域である場合の、異常という属性を示す第2属性を、属性情報として用いることができる。
正常な眼底領域は、本開示の技術の「第1領域」の一例であり、異常な眼底領域は、本開示の技術の「第2領域」の一例である。
【0077】
ステップ708の平均輝度保存処理が終了すると、図5のステップ506の属性情報の生成処理が終了し、画像処理は、ステップ508の属性付与処理に移行する。
【0078】
ステップ508で、処理部208は、変数nで識別される領域ごとに、属性を付与する。具体的には、処理部208は、変数nと対応づけて、属性情報、例えば、平均輝度を、記憶装置254に記憶する。
【0079】
ステップ508の属性付与処理が終了すると、画像処理は、ステップ510に移行する。ステップ510で、塗り分け部2064は、領域を、その領域の属性に従って可視化するための可視化データを作成する。
【0080】
属性情報として平均輝度が算出された場合の可視化データについて説明する。なお、詳細には後述するが、可視化データに基づいて各領域が可視化された様子が、図12の領域重畳UWF眼底画像表示欄1032Bに示されている。
【0081】
まず、平均輝度の取り得る範囲D0からD256を複数の輝度範囲に分割しておく。例えば、輝度D0からD256を、複数、例えば、第1輝度範囲K1から第4の輝度範囲K4に分割する。例えば、第1輝度範囲K1は輝度D256からD192、第2輝度範囲K2は輝度D192からD128、第3輝度範囲K3は輝度D128からD64、第4の輝度範囲K4は輝度D64からD0である。なお、4個の輝度範囲に限定されず、2、3、5、6個などでもよい。
【0082】
各輝度範囲について、互いに異なる色を対応付けておく。例えば、第1輝度範囲K1に黄色、第2輝度範囲K2にオレンジ色、第3輝度範囲K3に緑色、第4の輝度範囲K4に青色を対応付けておく。
【0083】
ステップ510では、塗り分け部2064は、各領域について、記憶装置254から平均輝度を読み出す。塗り分け部2064は、読み出した平均輝度が、第1輝度範囲K1から第4の輝度範囲K4の何れに属するか判断し、属すると判断された輝度範囲に対応付けられている色の情報を特定する。
【0084】
色の情報により後述するように領域の表示態様が当該色の態様で表示されることが指示される。色の情報が、本開示の技術の「第1態様指示情報」および「第2態様指示情報」の一例である。具体的には、図9に示す血管画像部分t1からt5で閉じている領域Pの平均輝度に対応して特定された色の情報は、本開示の技術の「第1態様指示情報」の一例である。また、図10に示す眼底の血管に対応する血管画像部分と、眼底領域と背景画像との境界部分とで閉じている領域Q2の平均輝度に対応して特定された色の情報は、本開示の技術の「第2態様指示情報」の一例である。
【0085】
眼科医は、患者の被検眼を診察する際、患者名IDをビューワ150に入力する。ビューワ150はサーバ140に、患者名IDに対応する被検眼の画像データ等を送信するように指示する。サーバ140は、患者名IDに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および画像データ等を、患者名IDと共に、ビューワ150に送信する。
【0086】
画像データ等には、UWF眼底画像、網膜血管画像、脈絡膜血管画像、各種類の各領域の位置情報、識別情報、平均輝度、および色の情報が含まれる。
【0087】
患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、およびの画像データを受信したビューワ150は、図12に示す第1眼底画像表示画面1000Aをディスプレイに表示する。
【0088】
図12に示すように、第1眼底画像表示画面1000Aは、患者情報表示欄1002と、第1眼底画像情報表示欄1004Aとを備えている。
【0089】
患者情報表示欄1002は、患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長を表示するための、各々の表示欄1012から1022と、画面切替ボタン1024とを有する。表示欄1012から1022に、受信した患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長が表示される。
【0090】
第1眼底画像情報表示欄1004Aは、撮影日表示欄1030、UWF眼底画像表示欄1032A1、領域重畳UWF眼底画像表示欄1032B、輝度範囲色表示欄1032C、情報表示欄1034、および属性切替ボタン1036を備えている。
【0091】
撮影日表示欄1030に撮影日(YYYY/MM/DD)が表示される。情報表示欄1034には、ユーザ(眼科医)の診察時のコメントやメモがテキストとして表示される。
【0092】
UWF眼底画像表示欄1032A1には、オリジナルのUWF眼底画像が表示される。
なお、網膜血管画像でもスケルトン画像が表示されてもよい。
【0093】
領域重畳UWF眼底画像表示欄1032Bには最初は画像が表示されない。
【0094】
属性切替ボタン1036は、領域重畳UWF眼底画像表示欄1032Bに表示する画像を選択するためのボタンである。属性切替ボタン1036が操作されると、プルダウンメニュー1036PDMが表示される。プルダウンメニュー1036PDMには、例えば、「NPA」、「RNFL厚み」、および「脈絡膜厚み」の3つのメニューがある。
【0095】
「NPA」は、領域重畳UWF眼底画像表示欄1032Bに、オリジナルのUWF眼底画像に無潅流領域(NPA)の領域が重畳された画像を表示させることを指示する。
【0096】
「RNFL厚み」は、領域重畳UWF眼底画像表示欄1032Bに、UWF眼底画像に無潅流領域(NPA)の領域が重畳され、RNFL厚みが表示可能な画像を表示することを指示する。
【0097】
「脈絡膜厚み」は、領域重畳UWF眼底画像表示欄1032Bに、UWF眼底画像に無潅流領域(NPA)の領域が重畳され、脈絡膜厚みが表示可能な画像を表示することを指示する。
【0098】
図12には、プルダウンメニュー1036PDMにおいて「NPA」が選択された場合の画面の内容が示されている。領域重畳UWF眼底画像表示欄1032Bに、UWF眼底画像に無潅流領域(NPA)の領域が重畳された画像が表示されている。
【0099】
各領域の識別情報には色の情報が対応付けられているので、領域重畳UWF眼底画像表示欄1032Bでは、重畳された領域が、色の情報により指示された色で表示される。
【0100】
プルダウンメニュー1036PDMにおいて、「RNFL厚み」が選択された場合、ビューワ150は、領域重畳UWF眼底画像表示欄1032Bに、UWF眼底画像に無潅流領域(NPA)の領域が重畳され、RNFL厚みが表示可能な画像を表示する。
【0101】
プルダウンメニュー1036PDMにおいて、「脈絡膜厚み」が選択された場合、ビューワ150は、領域重畳UWF眼底画像表示欄1032Bに、UWF眼底画像に無潅流領域(NPA)の領域が重畳され、脈絡膜厚みが表示可能な画像を表示する。
【0102】
図12の画面切替ボタン1024が操作された場合、ビューワ150は、図13に示す第2眼底画像表示画面1000Bをディスプレイに表示する。
【0103】
第1眼底画像表示画面1000Aと第2眼底画像表示画面1000Bとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
【0104】
第2眼底画像表示画面1000Bは、図12のUWF眼底画像表示欄1032A1に代えて、UWF眼底画像に無潅流領域(NPA)の領域が重畳された画像を表示するUWF眼底画像表示欄1032A2を備えている。
【0105】
UWF眼底画像表示欄1032A2において、UWF眼底画像に重畳された無潅流領域(NPA)の領域が、カーソル(矢印参照)を合わせることにより、選択されると、ビューワ150は、選択された領域の平均輝度(例えば、1.00)をカーソルに対応して表示する。
【0106】
以上説明したように、本実施の形態では、超広角眼底画像の眼底領域を少なくとも第1領域と第2領域とを含む複数領域に分割し、第1領域の属性を示す第1属性情報および第2領域の属性を示す第2属性情報を生成する。第1領域を第1属性情報に対応した第1態様で表示することを指示する第1態様指示情報と、第2領域を第2属性情報に対応した第2態様で表示することを指示する第2態様指示情報とを生成する。第1領域が、第1態様指示情報により指示された第1態様で表示され、第2領域が、第2態様指示情報により指示された第2態様で表示される。よって、眼底内の個々の領域の状態を他の領域の状態と区別して把握することができる。
【0107】
次に、本発明の第2の実施の形態を詳細に説明する。第2の実施の形態の構成は、第1の実施の形態の構成と同様であるので、同一部分には同一の符号を付してその説明を省略する。
【0108】
次に、第2の実施の形態の画像処理を説明する。上記のように、第2の実施の形態では、第1の実施の形態とは、ステップ504の領域分割処理及びステップ506の属性情報生成処理の内容が次のように異なる。
【0109】
図14には、第2の実施の形態におけるステップ504の領域分割処理のフローチャートが示されている。
【0110】
ステップ1202で、分割部2060は、脈絡膜血管網の分水嶺を抽出する。以下、ステップ1202の分水嶺抽出処理を説明する。
【0111】
分割部2060は、記憶装置254から、UWF眼底画像G1(オリジナル眼底画像、具体的には、R色眼底画像とG色眼底画像(図16参照))を取得する。
【0112】
分割部2060は、脈絡膜血管画像を、以下のようにして生成する。
【0113】
まず、R色眼底画像とG色眼底画像とに含まれる情報を説明する。
【0114】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、R色眼底画像には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、G色眼底画像には、網膜に存在する血管(網膜血管)の情報のみが含まれる。
【0115】
分割部2060は、ブラックハットフィルタ処理をG色眼底画像に施すことにより、G色眼底画像から網膜血管を抽出する。次に、処理部208は、R色眼底画像から、G色眼底画像から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、G色眼底画像から抽出された網膜血管の位置情報を用いてR色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、分割部2060は、網膜血管が除去されたR色眼底画像の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、R色眼底画像において、脈絡膜血管を強調する。これにより、図17に示すように、脈絡膜血管画像G2が得られる。生成された脈絡膜血管画像は記憶装置254に記憶される。
【0116】
また、R色眼底画像とG色眼底画像から脈絡膜血管画像を生成しているが、分割部2060は、R色眼底画像R色眼底画像あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。
【0117】
脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
【0118】
分割部2060は、黄斑Mと視神経乳頭ONHとの各々の位置を検出する。まず、分割部2060は、記憶装置254から、脈絡膜血管画像G2とG色眼底画像を読み込む。
【0119】
黄斑はG色眼底画像において暗い領域である。そこで、分割部2060は、上記読み出したG色眼底画像において画素値が最も小さい所定数の画素の領域を黄斑Mの位置として検出する。
【0120】
分割部2060は、G色眼底画像から視神経乳頭ONHの位置を検出する。具体的には、分割部2060は、上記読み出したG色眼底画像に対して、予め定まる視神経乳頭ONHの画像のパターンマッチングをすることにより、G色眼底画像において視神経乳頭ONHを検出する。また、視神経乳頭ONHはG色眼底画像において最も明るい領域であるので、上記読み出したG色眼底画像において画素値が最も大きい所定数の画素の領域を視神経乳頭ONHの位置として検出するようにしてもよい。
【0121】
ところで、R光とG光を同時に眼底に走査して得られたR色眼底画像およびG色眼底画像を処理することにより、脈絡膜血管画像が作成される。従って、G眼底画像の座標系を脈絡膜血管画像の座標系に重ねると、G眼底画像の座標系の各位置は、脈絡膜血管画像の座標系の各位置と同じである。よって、G色眼底画像から検出された黄斑Mおよび視神経乳頭ONHの各々の位置に相当する脈絡膜血管画像上の各位置は、黄斑および視神経乳頭の各々の位置である。
【0122】
よって、G色眼底画像に代えて脈絡膜血管画像から黄斑および視神経乳頭の位置を検出するようにしてもよい。
【0123】
分割部2060は、図18に示すように、UWF眼底画像G1において、黄斑Mの位置と視神経乳頭ONHとの位置を結ぶ線LHを、第1分水嶺LHとして設定し、視神経乳頭ONHの位置を通り、線LHに垂直な線LVを、第2分水嶺LVとして検出する。
【0124】
ところで、分水嶺は、脈絡膜血管の密度が他の領域より低い領域(脈絡膜血管が脈絡膜血管の平均密度より小さい領域)である。一般的に渦静脈が4つの正常眼であれば、黄斑Mの位置と視神経乳頭ONHとの位置を結ぶ線LHの領域、および視神経乳頭ONHの位置を通り、線LHに垂直な線LVの領域は、脈絡膜血管の密度が低い領域である。
そこで、本実施の形態では、線LHを、第1分水嶺として検出、線LVを、第2分水嶺として規定する。なお、本開示の技術では、分割部2060は、脈絡膜血管画像を複数の領域に分割し、各領域について脈絡膜血管の密度を検出し、密度のより小さい領域をたどることにより、分水嶺を抽出してもよい。更に、本開示では、分割部2060は、脈絡膜血管の走行方向を検出し、脈絡膜血管の走行方向が同方向の領域を検出し、検出した領域の境界を分水嶺として抽出してもよい。
【0125】
さらに、分割部2060は、脈絡膜血管画像G2(図17参照)から渦静脈を検出する。
【0126】
渦静脈とは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに4~6個存在する。渦静脈の位置は、脈絡膜血管画像を解析することにより得られる脈絡膜血管の走行方向に基づいて検出される。
【0127】
分割部2060は、脈絡膜血管画像における各脈絡膜血管の移動方向(血管走行方向)を設定する。具体的には、第1に、分割部2060は、脈絡膜血管画像の各画素について、下記の処理を実行する。即ち、分割部2060は、画素に対して、当該画素を中心とした領域(セル)を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、分割部2060は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が設定される。
【0128】
分割部2060は、M(自然数)×N(自然数)(=L)個の仮想粒子の初期位置を設定する。具体的には、分割部2060は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の初期位置を設定する。
【0129】
分割部2060は、渦静脈の位置を推定する。具体的には、分割部2060は、L個の各々の位置について以下の処理を行う。即ち、分割部2060は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、L個の全ての位置において実行する。その時点で仮想粒子が一定個数以上集まっている点を渦静脈の位置とする。図19には、4個の渦静脈VV1からVV4が検出された様子が示されている。図19には渦静脈の膨大部(複数の脈絡膜血管が合流する部分であり、上述の血管走行方向で求められる渦静脈の位置である)と膨大部に接続している脈絡膜血管がデフォルメされて描かれている。
【0130】
渦静脈の位置情報(渦静脈の個数や、脈絡膜血管画像上での座標など)は、記憶装置254に記憶される。渦静脈の検出方法については、日本出願の特願2018-080273及び国際出願のPCT/JP2019/016652に開示の方法が利用できる。2018年04月18日に日本に出願された特願2018-080273、2019年04月18日に国際出願されたPCT/JP2019/016652の開示は、その全体が参照のため、本明細書に取り込まれる。
【0131】
以上の処理が終了すると、ステップ1202の分水嶺抽出処理が終了し、領域分割処理は、ステップ1204に進む。
【0132】
ステップ1204で、分割部2060は、脈絡膜血管画像を、分水嶺を境界として複数の領域に分割する。言葉を変えると、渦静脈を一つ含むように脈絡膜血管画像を分割する。図20に示すように、分水嶺LHと分水嶺LVによって、領域C1(渦静脈VV1を含む左上の領域)、領域C2(渦静脈VV2を含む右上の領域)、領域C3(渦静脈VV3を含む右下の領域)、そして領域C4(渦静脈VV4を含む左下の領域)に分割される。図20は渦静脈が4つの場合の脈絡膜血管画像であるため、脈絡膜血管画像は分水嶺により渦静脈の個数と同じ数である、4つの領域に分割される。
【0133】
ステップ1206で、分割部2060は、領域C1からC4の各々に、種類ごとの識別情報(ID)を付与する。
【0134】
ステップ1206の識別情報付与処理が終了すると、図5のステップ504の領域分割処理が終了し、画像処理は、ステップ506の属性情報生成処理(図15参照)に移行する。
【0135】
ステップ1302で、生成部2062は、複数の領域の各々の識別情報(ID)を読み出す。
【0136】
ステップ1304で、生成部2062は、水嶺(LH、LV)によって分割された領域の属性情報を算出する。脈絡膜血管網の分水嶺により分割された領域の属性情報としては、例えば、次の情報がある。
【0137】
第1に、渦静脈に接続する複数の脈絡膜血管の総面積(脈絡膜血管画像において、渦静脈膨大部に接続する脈絡膜血管の画素が示す面積)がある。
脈絡膜血管の総面積は、同じ渦静脈に接続する複数の脈絡膜血管自体の領域である。図20に示す例では、第1渦静脈VV1に接続する複数の脈絡膜血管の領域A1から第4渦静脈VV4に接続する複数の脈絡膜血管自体の領域A4である。例えば、第1渦静脈VV1においては、脈絡膜血管を示す白い領域A1の画素の面積に相当する。領域ごとの面積には、領域A1からA4の各々の面積SA1からSA4が画素数と画素位置に基づいて算出される。画素位置も考慮されるのは、脈絡膜血管は球面に沿っているので、画像の周辺と画像の中心では一画素あたりの面積が異なる点を考慮したためである。
【0138】
第2に、渦静脈に接続する複数の脈絡膜血管が存在する領域の凸包の領域(脈絡膜血管を河川とした場合、凸包領域は河川の流域面積に相当する)の面積や形状がある。
凸包(または凸包絡)の領域は、同じ渦静脈に接続する複数の脈絡膜血管を含む最小の凸集合である。図20に示す例では、第1渦静脈VV1に接続する複数の脈絡膜血管の凸包の領域B1から第4渦静脈VV4に接続する複数の脈絡膜血管の凸包の領域B4である。例えば、第4渦静脈VV4の例では凸包B4は、第4渦静脈VV4の渦静脈膨大部を要(かなめ)とし脈絡膜血管の先端を扇状に結んだ扇形形状の領域を示す。
そして、領域B1からB4の各々の面積SB1からSB4が算出される。また、領域B1からB4の各々の形状、例えば、どれだけ円に近いかを示す値が算出される。具体的には、真円度が算出される。生成部2062は、領域B1からB4の各々について、仮想円の中心を算出し、領域を区画する領域線の位置と仮想円の中心との距離を所定間隔で計算し、距離の最大値と最小値との差により、真円度を計算する。
【0139】
第3に、脈絡膜血管画像が第1分水嶺LHおよび第2分水嶺LVを境界として分割されて得られた複数(例えば、4個)の領域C1からC4の各々の面積がある。また、面積だけでなく、形態的特徴の情報、例えば、面積比や形状を示す情報(ポリゴン情報など)でもよい。
面積比の場合は、各領域についての、各領域の面積と、当該領域に一部重なる他の領域の面積との比がある。
図20に示す例で、同じ渦静脈に接続する複数の脈絡膜血管自体の領域A1からA4の各面積を、SA1からSA4とする。渦静脈に接続する複数の脈絡膜血管が存在する領域の凸包の領域B1からB4の各面積を、SB1からSB4とする。脈絡膜血管画像が第1分水嶺LHおよび第2分水嶺LVを境界として分割されて得られた複数(例えば、4個)の領域C1からC4の各面積を、SC1からSC4とする。
面積比は、具体的には、領域A1については、領域A1の面積と領域B1の面積との比(例えば、SB1/SA1)、および、領域A1の面積と領域C1の面積との比(例えば、SC1/SA1)がある。同様に、領域A2、A3について、例えば、SB2/SA2、SC3/SA3があり、領域B1からC4について、例えば、SA1/SB1からSB4/SC4がある。なお、分母と分子を変えてもよい。
【0140】
ステップ1304の属性情報算出処理が終了すると、図5のステップ506の属性情報の生成処理が終了し、画像処理は、ステップ508の属性付与処理に移行する。
【0141】
ステップ508で、処理部208は、領域ごとに、属性を付与する。具体的には、処理部208は、各領域の識別情報(ID)に対応して、属性情報、例えば、面積および面積比を、記憶装置254に記憶する。
【0142】
上記のようにステップ508の属性付与処理が終了すると、画像処理は、ステップ510に移行する。ステップ510で、塗り分け部2064は、領域を、その領域の属性に従って可視化するための可視化データを、次のように作成する。
【0143】
分水嶺を基準にした領域C1からC4について、互いに異なる色を対応付けておく。例えば領域C1に黄色、領域C2にオレンジ色、領域C3に緑色、領域C4に青色を対応付けておく。そして、塗り分け部2064は、各領域の識別情報C1からC4のそれぞれに対応して、対応する色の情報を特定する。この場合には、属性情報が算出されない。
【0144】
また、面積および面積比が算出された場合の可視化データの作成方法について説明する。なお、面積比が算出された場合の可視化データの作成方法は、面積が算出された場合の可視化データの作成方法と同様であるので、その説明を省略する。
【0145】
上記のように、領域ごとの面積には、領域A1からA4の各々の面積SA1からSA4、領域B1からB4の各々の面積SB1からSB4、および領域C1からC4での各々の面積SC1からSC4がある。
【0146】
各領域A1からA4、B1からB4、C1からC4について面積の取り得る範囲を複数の面積範囲に分割しておく。例えば、取り得る範囲を、4つの面積範囲に分割する。各面積範囲について、互いに異なる色、例えば、黄色、オレンジ色、緑色、青色を対応付けておく。
【0147】
ステップ510では、塗り分け部2064は、各種類の各領域について、記憶装置254から面積を読み出す。塗り分け部2064は、読み出した面積が、何れの面積範囲に属するか判断し、属すると判断された面積範囲に対応付けられている色を特定する。
【0148】
ステップ510の可視化データ作成処理が終了すると、画像処理は、ステップ512に移行する。ステップ512で、処理部208は、可視化データを、各領域の識別情報に対応して記憶装置254に保存する。
【0149】
次に、図21を参照して、第2の実施の形態のビューワ150によりディスプレイに表示される第3眼底画像表示画面1000Cを説明する。
【0150】
第3眼底画像表示画面1000Cと第2眼底画像表示画面1000Bとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
【0151】
第3眼底画像表示画面1000Cは、UWF眼底画像表示欄1032A2、領域重畳UWF眼底画像表示欄1032B、および輝度範囲色表示欄1032Cに代えて、領域重畳脈絡膜血管画像表示欄1037および色分け領域重畳脈絡膜血管画像表示欄1038を備えている。
【0152】
領域重畳脈絡膜血管画像表示欄1037には、脈絡膜血管画像に、各種類の各領域が重畳された画像が表示される。
【0153】
色分け領域重畳脈絡膜血管画像表示欄1038には、指定された種類の各領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示される。
【0154】
プルダウンメニュー1036PDMには、「分水嶺領域」、「脈絡膜血管領域」、および「脈絡膜血管凸包領域」がある。
【0155】
「分水嶺領域」は、分水嶺領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。
【0156】
「脈絡膜血管領域」は、脈絡膜血管領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。
【0157】
「脈絡膜血管凸包領域」は、脈絡膜血管凸包領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されることを指示する。
【0158】
図21には、「脈絡膜血管凸包領域」が選択され、色分け領域重畳脈絡膜血管画像表示欄1038に、分水嶺領域が色分けされた状態で脈絡膜血管画像に重畳された画像が表示されている。
【0159】
以上説明したように、第2の本実施の形態では、超広角眼底画像の眼底領域を、分水嶺を基準に複数の領域に分割し、各領域の属性情報を生成する。各領域を各属性情報に対応した色で表示することを指示する色の情報を生成する。各領域が、指示された色で表示され。よって、眼底内の個々の領域の状態を他の領域の状態と区別して把握することができる。
【0160】
前述した第1の実施の形態及び第2の実施の形態では、内部照射角で160度以上の撮影画角で撮影されて得られたUWF-SLO眼底画像(UWF眼底画像)を用いているが、本開示の技術はこれに限定されない。本開示の技術は、内部照射角が160度未満で0度より大きい撮影画角で撮影されて得られた眼底画像にも適用可能である。
【0161】
前述した第1の実施の形態及び第2の実施の形態では、各領域を、各領域の属性に対応した色で表示しているが、本開示の技術はこれに限定されない。本開示の技術には、各領域を、各領域の属性に対応した濃度、点滅間隔等で表示することも適用可能である。
【0162】
以上説明した各例では、図5の画像処理は、サーバ140が実行しているが、本開示の技術はこれに限定されない。例えば、眼科装置110またはビューワ150が実行したり、ネットワーク130に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
【0163】
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0164】
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第1技術および第2技術を含む。
【0165】
(第1技術)
超広角眼底画像の眼底領域を少なくとも第1領域と第2領域とを含む複数領域に分割する分割部と、
前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成する第1生成部と、
前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成する第2生成部と、
を含む画像処理装置。
【0166】
なお、上記実施の形態の分割部2060は、上記第1技術の「分割部」、生成部2062は、上記第1技術の「第1生成部」および「第2生成部」の一例である。
【0167】
(第2技術)
分割部が、超広角眼底画像の眼底領域を少なくとも第1領域と第2領域とを含む複数領域に分割することと、
第1生成部と、前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成することと、
第2生成部と、前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成することと、
を含む画像処理方法。
【0168】
以上の開示内容から以下の第3技術が提案される。
【0169】
(第3技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
超広角眼底画像の眼底領域を少なくとも第1領域と第2領域とを含む複数領域に分割し、
前記第1領域の属性を示す第1属性情報と、前記第2領域の属性を示す第2属性情報とを生成し、
前記第1属性情報に対応した第1態様で前記第1領域を表示することを指示する第1態様指示情報と、前記第2属性情報に対応した第2態様で前記第2領域を表示することを指示する第2態様指示情報と、を生成する、
ことを実行させる、
コンピュータープログラム製品。
【0170】
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0171】
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21