(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】画像処理方法、画像処理装置、およびプログラム
(51)【国際特許分類】
A61B 3/12 20060101AFI20240110BHJP
G06T 7/00 20170101ALI20240110BHJP
【FI】
A61B3/12
G06T7/00 612
(21)【出願番号】P 2021552011
(86)(22)【出願日】2019-10-15
(86)【国際出願番号】 JP2019040483
(87)【国際公開番号】W WO2021074962
(87)【国際公開日】2021-04-22
【審査請求日】2022-04-15
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
【審査官】山口 裕之
(56)【参考文献】
【文献】特開2008-029732(JP,A)
【文献】特開2014-083285(JP,A)
【文献】国際公開第2019/181981(WO,A1)
【文献】特開2018-161230(JP,A)
【文献】OHNO-MATSUI Kyoko et al.,"The long-term follow-up of a highly myopic patient with a macular vortex vein",Acta Ophthalmologica Scandinavica,1997年06月30日,Vol.75, No.3,pp.329-332
【文献】MORIYAMA Muka et al.,"Detection of posterior vortex veins in eyes with pathologic myopia by ultra-widefield indocyanine g,British Journal of Ophthalmology,英国,2017年09月18日,Volume 101, Issue 9,pp.1179-1184
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/12
(57)【特許請求の範囲】
【請求項1】
プロセッサが、第1眼底画像から渦静脈の第1位置を特定することと、
前記プロセッサが、第2眼底画像から前記渦静脈の第2位置を特定することと、
前記プロセッサが、前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成することと、
を含む、画像処理方法
であって、
前記第1位置を特定することは、前記第1眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第1位置を特定することであり、
前記第2位置を特定することは、前記第2眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第2位置を特定することである、
画像処理方法。
【請求項2】
前記第1眼底画像および前記第2眼底画像は、眼底を異なるタイミングで撮影した画像である、請求項1に記載の画像処理方法。
【請求項3】
前記渦静脈の前記第1位置および前記第2位置は、
眼底の第1構造物と前記第1構造物と異なる第2構造物とを結ぶ第1の線と前記第1構造物と前記渦静脈とを結ぶ第2の線との第1のなす角度、および、前記渦静脈と前記第1構造物との第1の距離の第1の組と、
前記渦静脈の前記第1位置および前記第2位置は、前記第1の線と前記第2構造物と前記渦静脈とを結ぶ第3の線との第2のなす角度、および、前記渦静脈と前記第2構造物との第2の距離の第2の組と、
の少なくとも一方により、特定される、
請求項1また請求項2に記載の画像処理方法。
【請求項4】
前記渦静脈マップは、前記渦静脈の前記第1位置および前記第2位置を、前記第1の組および前記第2の組の少なくとも一方を用いた極座標系、2次元直交座標系、および3次元直交座標系の少なくとも1つの座標系で表示したマップである、
請求項3に記載の画像処理方法。
【請求項5】
前記極座標系で表示したマップは、レーダチャートであり、
前記2次元直交座標系で表示したマップは、2次元直交軸で規定される散布図であり、
前記3次元直交座標系で表示したマップは、3次元直交軸で規定される散布図である、
請求項4に記載の画像処理方法。
【請求項6】
前記第1眼底画像および前記第2眼底画像の各々には、複数の前記渦静脈が存在し、
前記プロセッサが、複数の前記渦静脈の中心位置を求め、
前記渦静脈マップに前記中心位置が表示される、
請求項1から請求項5の何れか1項に記載の画像処理方法。
【請求項7】
前記第1眼底画像および前記第2眼底画像の各々には、前記渦静脈が複数存在し、
前記渦静脈マップのデータは、前記複数の渦静脈から選択された渦静脈を対象として生成される、
請求項1から請求項6の何れか1項に記載の画像処理方法。
【請求項8】
前記プロセッサが、前記渦静脈マップと、前記第1眼底画像および前記第2眼底画像と、を表示する表示ビューを生成することを更に含む請求項1から請求項7の何れか1項に記載の画像処理方法。
【請求項9】
メモリと、前記メモリに接続されたプロセッサとを備え、
前記プロセッサは、
第1眼底画像から渦静脈の第1位置を特定し、
第2眼底画像から前記渦静脈の第2位置を特定し、
前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成する、
画像処理装置
であって、
前記第1位置を特定することは、前記第1眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第1位置を特定することであり、
前記第2位置を特定することは、前記第2眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第2位置を特定することである、
画像処理装置。
【請求項10】
コンピュータに、
第1眼底画像から渦静脈の第1位置を特定し、
第2眼底画像から前記渦静脈の第2位置を特定し、
前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成する、
ことを実行させるプログラム
であって、
前記第1位置を特定することは、前記第1眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第1位置を特定し、
前記第2位置を特定することは、前記第2眼底画像において脈絡膜血管の走行方向を解析し、前記脈絡膜血管の集中する度合いに基づいて前記第2位置を特定することである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置、およびプログラムに関する。
【背景技術】
【0002】
米国特許8636364号明細書には、眼底画像から渦静脈の位置を特定することが開示されている。
【0003】
渦静脈位置を経過観察することが望まれている。
【発明の概要】
【0004】
本開示の技術の第1の態様の画像処理方法は、プロセッサが、第1眼底画像から渦静脈の第1位置を特定することと、前記プロセッサが、第2眼底画像から前記渦静脈の第2位置を特定することと、前記プロセッサが、前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成することと、を含む。
【0005】
本開示の技術の第2の態様の画像処理装置は、メモリと、前記メモリに接続されたプロセッサとを備え、前記プロセッサは、第1眼底画像から渦静脈の第1位置を特定し、第2眼底画像から前記渦静脈の第2位置を特定し、前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成する。
【0006】
本開示の技術の第3の態様のプログラムは、コンピュータに、第1眼底画像から渦静脈の第1位置を特定し、第2眼底画像から前記渦静脈の第2位置を特定し、前記第1位置および前記第2位置を表示する渦静脈マップのデータを生成する、ことを実行させる。
【図面の簡単な説明】
【0007】
【
図2】眼科装置110の全体構成を示す概略構成図である。
【
図3】サーバ140の電気系の構成のブロック図である。
【
図4】サーバ140のCPU262の機能のブロック図である。
【
図5】サーバ140による画像処理のフローチャートである。
【
図6】
図5のステップ506の渦静脈のフローチャートである。
【
図7A】
図5のステップ506の渦静脈の相対位置算出処理における渦静脈と視神経乳頭ONHとの距離rの計算処理のフローチャートである。
【
図7B】
図5のステップ506の渦静脈の相対位置算出処理における角度θの算出処理のフローチャートである。
【
図10】4個の渦静脈VV1からVV4が検出された様子を示す図である。
【
図11】黄斑Mの位置-視神経乳頭ONHの位置-VVの位置を示す図である。
【
図14A】渦静脈の位置を、視神経乳頭ONHを基準とした角度θ及び距離rにより特定した図である。
【
図14B】渦静脈の位置を、角度θ及び距離rを用いた極座標系で表示したマップ(レーダチャート)を示す図である。
【
図14C】渦静脈の位置を、角度θ及び距離rを用いた2次元直交座標系で表示したマップを示す図である。
【
図14D】渦静脈の位置を、角度θ及び距離rを用いた3次元直交座標系で表示したマップを示す図である。
【
図15A】渦静脈の位置を、黄斑Mを基準とした角度φ及び距離sにより特定した図である。
【
図15B】渦静脈の位置を、角度φ及び距離sを用いた極座標系で表示したマップ(レーダチャート)を示す図である。
【
図15C】渦静脈の位置を、角度φ及び距離sを用いた2次元直交座標系で表示したマップを示す図である。
【
図15D】渦静脈の位置を、角度φ及び距離sを用いた3次元直交座標系で表示したマップを示す図である。
【
図16】第1眼底画像表示画面1000Aを示す図である。
【
図17】第2眼底画像表示画面1000Bを示す図である。
【
図18】第3眼底画像表示画面1000Cを示す図である。
【
図19】各撮影日時の渦静脈の4つの位置の中心C1からC4、中心C1からC4の中心CCを表示した図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0009】
図1を参照して、眼科システム100の構成を説明する。
図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「サーバ」という)140と、画像表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。サーバ140は、眼科装置110によって患者の眼底が撮影されることにより得られた眼底画像を、患者のIDに対応して記憶する。ビューワ150は、サーバ140から取得した眼底画像などの医療情報を表示する。
【0010】
眼科装置110、眼軸長測定器120、サーバ140、およびビューワ150は、ネットワーク130を介して、相互に接続されている。
【0011】
次に、
図2を参照して、眼科装置110の構成を説明する。
【0012】
説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0013】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0014】
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18、OCTユニット20、および撮影光学系19を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0015】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0016】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0017】
また、制御装置16は、I/Oポート16Dに接続された画像処理装置16Gを備えている。画像処理装置16Gは、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。制御装置16はI/Oポート16Dに接続された通信インターフェース(I/F)16Fを備えている。眼科装置110は、通信インターフェース(I/F)16Fおよびネットワーク130を介して眼軸長測定器120、サーバ140、およびビューワ150に接続される。
【0018】
上記のように、
図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0019】
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
【0020】
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0021】
広角光学系30は、共通光学系28を有する対物光学系(
図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
【0022】
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
【0023】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0024】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
【0025】
内部照射角の200度は、本開示の技術の「所定値」の一例である。
【0026】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。もちろん、内部照射角で160度未満の撮影画角で眼底を撮影することにより、UWFではないSLO画像を取得することができる。
【0027】
SLOシステムは、
図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
【0028】
SLOユニット18は、複数の光源、例えば、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射または透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系56、52で反射して、それぞれ1つの光路に導かれる。
【0029】
SLOユニット18は、G光、R光、およびB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。
図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0030】
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、被検眼12の後眼部に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
【0031】
SLOユニット18は、被検眼12の後眼部(例えば、眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。
【0032】
SLOユニット18は、複数の光源に対応して複数の光検出素子を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、およびビームスプリッタ58により反射したG光を検出するG光検出素子72を備えている。SLOユニット18は、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0033】
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置16Gは、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
【0034】
UWF-SLO画像(後述するようにUWF眼底画像、オリジナル眼底画像ともいう)には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
【0035】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
【0036】
このようにUWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像がある。UWF-SLO画像の各画像データは、入力/表示装置16Eを介して入力された患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-SLO画像の各画像データと患者の情報とは、記憶装置254に、対応して記憶される。なお、患者の情報には、例えば、患者名ID、氏名、年齢、視力、右眼/左眼の区別等がある。患者の情報はオペレータが入力/表示装置16Eを介して入力する。
【0037】
OCTシステムは、
図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
【0038】
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
【0039】
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0040】
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。CPU16Aの制御下で動作する画像処理装置16Gは、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
【0041】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。もちろん、内部照射角で160度未満の撮影画角でOCT眼底画像データを取得することができる。
【0042】
UWF-OCT画像の画像データは、患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-OCT画像の画像データと患者の情報とは、記憶装置254に、対応して記憶される。
【0043】
なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0044】
次に、眼軸長測定器120を説明する。眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
【0045】
眼軸長測定器120は、第1のモードまたは第2のモードにより測定された眼軸長をサーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ140に送信する。サーバ140は、患者の眼軸長を患者名IDに対応して記憶する。
【0046】
次に、
図3を参照して、サーバ140の電気系の構成を説明する。
図3に示すように、サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、バス270により相互に接続されたCPU262、RAM266、ROM264、および入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、および通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、サーバ140は、眼科装置110、およびビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。
【0047】
画像処理プログラムは、本開示の技術の「プログラム」の一例である。記憶装置254、ROM264は、本開示の技術の「メモリ」、「コンピュータ可読記憶媒体」の一例である。CPU262は、本開示の技術の「プロセッサ」の一例である。
【0048】
サーバ140の後述する処理部208(
図5も参照)は、眼科装置110から受信した各データを、記憶装置254に記憶する。具体的には、処理部208は記憶装置254に、UWF-SLO画像の各画像データおよびUWF-OCT画像の画像データと患者の情報(上記のように患者名ID等)とを対応して記憶する。また、患者の被検眼に病変がある場合や病変部分に手術がされた場合には、眼科装置110の入力/表示装置16Eを介して病変の情報が入力され、サーバ140に送信される。病変の情報は患者の情報と対応付けられて記憶装置254に記憶される。病変の情報には、病変部分の位置の情報、病変の名称、病変部分に手術がされている場合には手術名や手術日時等がある。
【0049】
ビューワ150は、CPU、RAM、ROM等を備えたコンピュータとディスプレイとを備え、ROMには、画像処理プログラムがインストールされており、ユーザの指示に基づき、コンピュータは、サーバ140から取得した眼底画像などの医療情報が表示されるようにディスプレイを制御する。
【0050】
次に、
図4を参照して、サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理機能(渦静脈解析機能、比較画像生成機能)、および処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、
図4に示すように、表示制御部204、画像処理部206(渦静脈解析部2060、比較画像生成部2062)、および処理部208として機能する。
【0051】
次に、
図5を用いて、サーバ140による画像処理を詳細に説明する。サーバ140のCPU262が画像処理プログラムを実行することで、
図5のフローチャートに示された画像処理が実現される。当該画像処理は、眼科装置110によりUWF眼底画像(UWF-SLO画像)が、取得され、患者名IDと共にサーバ140に送信され、サーバ140が、患者名IDおよびUWF眼底画像を受信した場合に、スタートする。
【0052】
ステップ502で、処理部208は、記憶装置254から、UWF眼底画像G1(なお、
図8には、RGBカラー眼底画像が示されている。)を取得する。
【0053】
ステップ504で、処理部208は、脈絡膜血管画像を、以下のようにして生成する。
【0054】
まず、UWF眼底画像の中のR色眼底画像とG色眼底画像とに含まれる情報を説明する。
【0055】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、R色眼底画像には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、G色眼底画像には、網膜に存在する血管(網膜血管)の情報のみが含まれる。
【0056】
処理部208は、ブラックハットフィルタ処理をG色眼底画像に施すことにより、G色眼底画像から網膜血管を抽出する。次に、処理部208は、R色眼底画像から、G色眼底画像から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、G色眼底画像から抽出された網膜血管の位置情報を用いてR色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、処理部208は、網膜血管が除去されたR色眼底画像の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、R色眼底画像において、脈絡膜血管を強調する。これにより、
図9に示すように、脈絡膜血管画像G2が得られる。生成された脈絡膜血管画像は記憶装置254に記憶される。
【0057】
また、R色眼底画像とG色眼底画像から脈絡膜血管画像を生成しているが、処理部208は、R色眼底画像R色眼底画像あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。
【0058】
脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
【0059】
ステップ506で、渦静脈解析部2060は、脈絡膜血管画像を解析し、渦静脈を位置を検出する。そして、渦静脈位置と黄斑や視神経乳頭などの眼底構造物との位置関係を解析する。
【0060】
ここで、
図6を参照して、ステップ506の渦静脈(Vortex Vein)の検出処理を説明する。
【0061】
ステップ602で、渦静脈解析部2060は、記憶装置254から脈絡膜血管画像を読み込む。
【0062】
ステップ604で、渦静脈解析部2060は、渦静脈の位置を、以下のようにして検出する。
【0063】
渦静脈とは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに4~6個存在する。渦静脈の位置は、脈絡膜血管の走行方向に基づいて算出される。これは、脈絡膜血管をたどると必ず流出路である渦静脈につながることにもとづく算出方法である。脈絡膜血管画像から血管の走行方向をたどり、複数の血管が合流する位置を渦静脈の位置とする。
【0064】
渦静脈解析部2060は、脈絡膜血管画像G2における各脈絡膜血管の移動方向(血管走行方向)を設定する。具体的には、第1に、渦静脈解析部2060は、脈絡膜血管画像の各画素について、下記の処理を実行する。即ち、渦静脈解析部2060は、画素に対して、当該画素を中心とした領域(セル)を設定し、セル内の各画素における輝度の勾配方向のヒストグラムを作成する。次に、渦静脈解析部2060は、各セルにおけるヒストグラムにおいて、最もカウントが少なかった勾配方向を各セルの内の画素における移動方向とする。この勾配方向が、血管走行方向に対応する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するカウントは少なくなる。以上の処理により、脈絡膜血管画像の各画素における血管走行方向が設定される。
【0065】
渦静脈解析部2060は、M(自然数)×N(自然数)(=L)個の仮想粒子の初期位置を脈絡膜血管画像上に設定する。具体的には、渦静脈解析部2060は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の初期位置を設定する。
【0066】
渦静脈解析部2060は、渦静脈の位置を推定する。具体的には、渦静脈解析部2060は、L個の各々の位置について以下の処理を行う。即ち、渦静脈解析部2060は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、L個の全ての位置において実行する。その時点で仮想粒子が一定個数以上集まっている点を渦静脈の位置とする。
図10には、4個の渦静脈VV1からVV4が検出された様子が示されている。
【0067】
渦静脈の位置情報(渦静脈の個数や、脈絡膜血管画像上での座標など)は、記憶装置254に記憶される。
【0068】
ステップ606で、渦静脈解析部2060は、記憶装置254から、脈絡膜血管画像G2とG色眼底画像を読み込む。
【0069】
ステップ608で、渦静脈解析部2060は、黄斑と視神経乳頭との各々の位置(座標)を検出する。
【0070】
黄斑はG色眼底画像において暗い領域である。そこで、渦静脈解析部2060は、上記読み出したG色眼底画像において画素値が最も小さい所定数の画素の領域を黄斑の位置として検出する。
【0071】
渦静脈解析部2060は、G色眼底画像から視神経乳頭の位置を検出する。具体的には、渦静脈解析部2060は、上記読み出したG色眼底画像に対して、予め定まる視神経乳頭の画像のパターンマッチングをすることにより、G色眼底画像において視神経乳頭を検出する。また、視神経乳頭はG色眼底画像において最も明るい領域であるので、上記読み出したG色眼底画像において画素値が最も大きい所定数の画素の領域を視神経乳頭の位置として検出するようにしてもよい。
【0072】
ところで、脈絡膜血管画像は、上記のようにR色眼底画像およびG色眼底画像を処理することにより、作られる。従って、G眼底画像の座標系を脈絡膜血管画像の座標系に重ねると、G眼底画像の座標系の各位置は、脈絡膜血管画像の座標系の各位置と同じである。よって、G色眼底画像から検出された黄斑および視神経乳頭の各々の位置に相当する脈絡膜血管画像上の各位置は、黄斑および視神経乳頭の各々の位置である。
【0073】
よって、ステップ608の処理では、G色眼底画像に代えて脈絡膜血管画像から黄斑の位置を検出するようにしてもよい。同様にステップ608の処理では、G色眼底画像に代えて脈絡膜眼底画像から視神経乳頭の位置を検出するようにしてもよい。
【0074】
ステップ610で、渦静脈解析部2060は、上記検出された各渦静脈の相対位置(渦静脈と黄斑や視神経乳頭などの眼底構造物との位置関係)を算出する。
【0075】
渦静脈VV3は、
図14Aに示すように、視神経乳頭ONHと黄斑Mとを結ぶ第1の線と視神経乳頭ONHと渦静脈(例えば、VV3)とを結ぶ第2の線とのなす角度θ、および、渦静脈VV3と視神経乳頭ONHとの距離rという位置関係になっている。ステップ610で、渦静脈解析部2060は、当該位置関係を算出する。また、渦静脈VV3は、
図15Aに示すように、視神経乳頭ONHと黄斑Mとを結ぶ第1の線と第1の線と黄斑Mと渦静脈VV3とを結ぶ第3の線とのなす角度φ、および、渦静脈と黄斑との距離sという位置関係になっている。このような位置関係の算出を検出され各渦静脈に対して行う。
【0076】
角度θおよび距離rの組、角度φおよび距離sの組は、本開示の技術の「第1の組」および「第2の組」の一例である。
【0077】
渦静脈解析部2060は、各渦静脈について、角度θ、距離r、角度φ、および、距離sを計算する。なお、角度φおよび距離sの計算方法は、角度θおよび距離rの計算方法と、視神経乳頭ONHに代えて黄斑Mを基準にする点が異なり、略同様である。そこで、以下、角度θおよび距離rの計算方法を説明し、角度φおよび距離sの計算方法の説明を省略する。
【0078】
まず、
図7Aを参照して、渦静脈(以下、VVという)と視神経乳頭ONHとの距離(VV距離という)rの計算方法を説明する。
【0079】
ステップ221で、渦静脈解析部2060は、脈絡膜眼底画像において視神経乳頭ONH、黄斑M、VV位置の各座標を取得する。
【0080】
次に、ステップ223で、渦静脈解析部2060は、視神経乳頭ONH、黄斑M、VV位置の各座標を
図13に示す仮想球面に投影する。
図13に示す仮想球面は、眼球の中心をC、半径をL(眼軸長を2Lとする)とした球面である。この球面に、VVの位置をV、視神経乳頭ONHの位置をO、黄斑の位置をMとして投影する。
【0081】
この仮想球面を眼球モデルと考え、ステップ225で、渦静脈解析部2060は、球面上の2点間の大円距離をVV距離rとして計算する。つまり、球の中心Oを通るように球を切ったときの切り口を大円と定義し、大円距離とは、球面上の距離計測対象の2地点(VV位置:Vと、視神経乳頭位置:O)を結ぶ大円の弧の長さと定義する。VV位置:Vの仮想球面上での緯度経度を(緯度θ1,経度φ1),視神経乳頭位置:Oの緯度経度(緯度θ2,経度φ2)とすると、本ステップ223で、渦静脈解析部2060は、VV位置と視神経乳頭位置との間のVV距離r、すなわち大円距離OVを、球面三角法の公式から、計算する。
【0082】
【0083】
ステップ227で、渦静脈解析部2060は、算出されたVV距離r、即ち、VV位置と視神経乳頭位置との間のVV距離r(大円距離OV)を、記憶装置254に記憶する。
【0084】
図7Aに示す処理が終了すると、相対位置算出処理は、
図7Bに示す角度θ(以下、VV角度という)算出処理に進む。
【0085】
VV角度は、
図11および
図14Aに示すように、黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θである。
【0086】
黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θの算出方法には、次の正角図法から算出する方法と、球面三角法から算出する方法とがある。
【0087】
最初に、
図7Bを参照して、角度θを、正角図法から算出する方法を説明する。
【0088】
通常の内積から算出する方法では、算出された角度の正負の区別がつかず、上半球にあるVV(
図11の(x
3、y
3))なのか、下半球にあるVV‘((x
3、-y
3))なのかを区別できない。また逆正接関数を用いる方法では、正負の区別はつくが、θの算出方向を常に一定(例えば反時計回り)にしてしまうので、解剖学的特徴(鼻側・耳側)を基準にした場合、左右眼で上下半球の値が反転してしまう。そこで、本実施の形態では、左右眼調整符号f
signを用いて、算出した角度の正負を調整するようにしている。
【0089】
図7Bのステップ222で、渦静脈解析部2060は、左右眼調整符号f
signを算出する。
図11に示すように、黄斑Mの位置を(x
1、y
1)、視神経乳頭ONHの位置を(x
2、y
2)、VVの位置を(x
3、y
3)とする。
【0090】
左右眼調整符号fsignは、
【0091】
fsign=+1 (x1>x2の場合)
【0092】
fsign=-1 (x1<x2の場合)
【0093】
と設定さる。これは、黄斑と視神経乳頭の位置から解剖学的に、x1>x2となるのは左眼であり、x1<x2となるのは右眼と判断できるからである。また、仮にx1=x2となる場合は、fsign=+1とする。
【0094】
ステップ224で、渦静脈解析部2060は、cosθおよびsinθを、ベクトルの内積と外積の定義に基づいて、数式2と数式3を用いて算出する。ここで、斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θはベクトルOM(視神経乳頭位置Oと黄斑位置Mを結ぶベクトル)とベクトルOV(視神経乳頭位置Oと渦静脈位置Vを結ぶベクトル)とがなす角である。
【0095】
【0096】
【0097】
ステップ226で、渦静脈解析部2060は、4象限逆正接関数によるθを、次のように算出する。
【0098】
【0099】
4象限逆正接関数によって求められたθは、
図12に示すように、y/xの値だけでなく、4象限の各々のxの符号も考慮されている。
【0100】
ステップ228で、渦静脈解析部2060は、算出されたθの符号を、次のようにfsignを用いて左右眼補正をする。ステップ230で、渦静脈解析部2060は、このように求められたθの値をVV角度として記憶装置254に記憶する。
【0101】
【0102】
次に、角度θを球面三角法から算出する方法を説明する。
【0103】
図13に示すように、黄斑の位置M、視神経乳頭ONHの位置O、VVの位置Vは、眼球中心Cを中心とし、眼軸長を2Lとしたときの半径Lの球の表面に位置する。黄斑の位置M、視神経乳頭ONHの位置O、VVの位置Vを頂点とする三角形OMVの頂角Oの角度をαとすると、
【0104】
【0105】
【0106】
となり、α(ただし、αは[0,π]の範囲内)を算出できる。
【0107】
αの値を、θ(開区間[-π,π]の範囲内)に変更するには、gsign(黄斑Mと視神経乳頭ONHの位置関係,VVの位置Vと黄斑Mの位置関係)={1,-1}を考慮し、θ=α・gsignで算出する。このように求められたθの値をVV角度としてメモリ164に記憶する。
【0108】
画像処理プログラムには、
図7Bに示した正角図法からVV角度を算出するプログラムか、上記の球面三角法から算出するプログラムか、の何れか一方を備えている。
【0109】
図7Bに示した算出処理が終了すると、
図6の渦静脈の解析処理(
図5のステップ506)が終了し、画像処理は、ステップ508に進む。
【0110】
ステップ508で、処理部208は、患者名IDに対応する過去画像に関するデータを読み出す。患者名IDに対応する過去画像に関するデータは、患者名IDに対応する過去のUWF眼底画像に基づく渦静脈の相対位置である。
【0111】
過去画像に関するデータは、今回とは異なるタイミングにおいて
図5の画像処理が過去に実行されて記憶されているデータである。
【0112】
図5の画像処理が今回実行されて得られた今回のUWF眼底画像に基づく渦静脈の相対位置と、
図5の画像処理が過去に実行されて得られた過去画像に基づく渦静脈の相対位置とは、本開示の技術の「第1位置」及び「第2位置」の一例である。
なお、本開示の技術の「第1位置」及び「第2位置」は、上記相対位置に限定されず、渦静脈の位置する座標で特定されてもよい。
【0113】
ステップ510で、比較画像生成部2062は、渦静脈マップのデータを生成する。
【0114】
ここで、渦静脈マップは、異なるタイミング(日時)で撮影された複数の眼底画像から抽出した渦静脈の位置をプロットすることにより得られるマップである。このように異なるタイミングで撮影された複数の眼底画像から抽出した渦静脈の位置がマップにプロットされているので、マップを見ることにより、眼科医等は、新たに撮影されたUWF眼底画像に基づく渦静脈の相対位置と過去のUWF眼底画像に基づく渦静脈の相対位置とを比較することができる。
【0115】
今回のUWF眼底画像に基づく渦静脈の相対位置は、画像処理が今回実行され、今回取得されたUWF眼底画像に基づく渦静脈の相対位置である。過去のUWF眼底画像に基づく渦静脈の相対位置は、ステップ508で読み出された、患者名IDに対応する過去のUWF眼底画像に基づく渦静脈の相対位置である。
【0116】
上記のように渦静脈の相対位置は、
図14Aに示すように、視神経乳頭ONHを基準とした角度θおよび距離rと、
図15Aに示すように、黄斑Mを基準とした角度φおよび距離sにより、特定される。
【0117】
角度θおよび距離rを用いた渦静脈マップおよび角度φおよび距離sを用いた渦静脈マップの各々には、複数のマップがある。
【0118】
例えば、角度θおよび距離rを用いた渦静脈マップには、第1に、今回および過去の渦静脈の位置を、
図14Bに示すように、角度θおよび距離rを用いた極座標系で表示したマップ(レーダチャート)がある。渦静脈マップには、第2に、今回および過去の渦静脈の位置を、
図14Cに示すように、角度θおよび距離rを用いた2次元直交座標系で表示したマップがある。渦静脈マップには、第3に、今回および過去の渦静脈の位置を、
図14Dに示すように、角度θおよび距離rを用いた3次元直交座標系で表示したマップがある。
図14Cに示す2次元直交座標系で表示したマップは、本開示の技術の「2次元直交軸で規定される散布図」の一例であり、
図14Dに示す3次元直交座標系で表示したマップは、本開示の技術の「3次元直交軸で規定される散布図」の一例である。
比較画像生成部2062は、
図14Bから
図14Dの各マップのデータを、次のように、生成する。
【0119】
図14Bから
図14Dの各マップは、今回のUWF眼底画像に基づく渦静脈の相対位置が、「・」でプロットして、生成されており、過去3回の眼底撮影で得られたUWF眼底画像に基づく渦静脈の相対位置が、「〇」、「□」、および「◎」でプロットして、作成されている。
【0120】
図14Dに示す3次元直交座標系のマップでは、眼球中心は、3次元(X,Y,Z)の中心(0.0.0)であり、頂点(0.0.1)は視神経乳頭ONHの位置である。3次元直交座標系のマップでは、角度θおよび距離rで特定された渦静脈の位置が、眼球モデルの、角度θおよび距離rに対応する位置にプロットされている。眼球モデルは、眼軸長により、大きさが補正されている。
【0121】
図14Bから
図14Dの各マップに示す例では、患者名IDで識別される患者の渦静脈の位置が変化していることが示されている。
【0122】
【0123】
ステップ512で、処理部208は、UWF眼底画像、脈絡膜眼底画像、各渦静脈の位置(角度θ、距離r、角度φ、および距離s)、および各マップのデータを、患者名IDに対応して記憶装置254に保存する。
【0124】
ところで、
図5の画像処理は、サーバ140が、眼科装置110から、患者名IDおよびUWF眼底画像を受信する毎に実行している。本開示の技術は、これに限定されず、例えば、画像処理は、オペレータが患者名IDを入力し、図示しないスタートボタンが操作された場合に実行するようにしてもよい。サーバ140が、眼科装置110から、UWF眼底画像を受信しても、渦静脈の相対位置が算出されていないUWF眼底画像が存在する態様がある。
【0125】
この場合、第1に、ステップ502では、処理部208は、記憶装置254から、渦静脈の相対位置が算出されていないUWF眼底画像G1を取得する。渦静脈の相対位置が算出されていない複数のUWF眼底画像G1が取得された場合、取得された各UWF眼底画像G1について、ステップ504、506を実行する。
【0126】
第2に、渦静脈の相対位置が算出されているか否かに拘わらず、患者名IDに対応する全てのUWF眼底画像G1について、ステップ504、506を実行する。
【0127】
眼科医は、患者の被検眼を診察する際、患者名IDをビューワ150に入力する。ビューワ150はサーバ140に、患者名IDに対応する各データを送信するように指示する。サーバ140は、患者名IDに対応する、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、および各データを、患者名IDと共に、ビューワ150に送信する。各データは、上記UWF眼底画像、脈絡膜眼底画像、各渦静脈の位置(角度θ、距離r、角度φ、および距離s)、および各マップの画面のデータが含まれる。
【0128】
患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長、撮影日、およびの各データを受信したビューワ150は、
図16に示す第1眼底画像表示画面1000Aをディスプレイに表示する。
【0129】
図16に示すように、第1眼底画像表示画面1000Aは、患者情報表示欄1002と、第1眼底画像情報表示欄1004Aとを備えている。
第1眼底画像情報表示欄1004Aは、本開示の技術の「表示ビュー」の一例である。
【0130】
患者情報表示欄1002は、患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長を表示するための、各々の表示欄1012から1022と、画面切替ボタン1024とを有する。表示欄1012から1022に、受信した患者名ID、患者名、患者の年齢、患者の視力、左眼か右眼かの情報、眼軸長が表示される。
【0131】
第1眼底画像情報表示欄1004Aは、UWF眼底画像表示欄1032A、脈絡膜血管画像表示欄1032B、および現在および過去の脈絡膜血管画像表示欄1035BT4から1035BT1、スライダー1037、およびスライダーバー1035を備えている。第1眼底画像情報表示欄1004Aは、渦静脈マップ表示欄1032C、VVマップ切替ボタン1036、および情報表示欄1034を備えている。
【0132】
脈絡膜血管画像表示欄1035BT4から1035BT1には、眼底が撮影された撮影日時(YYY/MM/DD)のデータが表示される。
【0133】
UWF眼底画像表示欄1032Aおよび脈絡膜血管画像表示欄1032Bには、最初は、現在に一番近い時に眼底が撮影されて得られたUWF眼底画像および脈絡膜血管画像が表示される。UWF眼底画像、即ち、オリジナル眼底画像としては、例えば、RGBカラー眼底画像である。
【0134】
眼科医がスライダー1037を移動させると、UWF眼底画像表示欄1032Aおよび脈絡膜血管画像表示欄1032Bには、スライダー1037が位置する撮影日時に眼底が撮影されて得られたUWF眼底画像および脈絡膜血管画像が表示される。
【0135】
渦静脈マップ表示欄1032Cには、渦静脈マップが表示される。具体的には、VVマップ切替ボタン1036が操作されると、渦静脈マップ(
図14Bから
図14Dおよび
図15Bから
図15D)を選択するためのプルダウンメニュー1036PDMが表示される。
【0136】
プルダウンメニュー1036PDMには、「レーダチャート 視神経乳頭中心」、「レーダチャート 黄斑中心」、「プロット図 視神経乳頭中心」、「プロット図 黄斑中心」、「3D 視神経乳頭中心」、「3D 黄斑中心」の6個の項目が含まれる。
【0137】
「レーダチャート 視神経乳頭中心」が選択されると、
図14Bに示すように、視神経乳頭ONHを基準とした角度θおよび距離rを用いた極座標系で表示したマップ(レーダチャート)が表示されることが選択される。
【0138】
「レーダチャート 黄斑中心」が選択されると、
図15Bに示すように、黄斑Mを基準とした角度θおよび距離rを用いた極座標系で表示したマップ(レーダチャート)が表示されることが選択される。
【0139】
「プロット図 視神経乳頭中心」が選択されると、
図14Cに示すように、角度θおよび距離rを用いた2次元直交座標系で表示したマップが表示されることが選択される。
【0140】
「プロット図 黄斑中心」が選択されると、
図15Cに示すように、角度θおよび距離rを用いた2次元直交座標系で表示したマップが表示されることが選択される。
【0141】
「3D 視神経乳頭中心」が選択されると、
図14Dに示すように、角度θおよび距離rを用いた3次元直交座標系で表示したマップが表示されることが選択される。
【0142】
「3D 黄斑中心」が選択されると、
図15Dに示すように、角度θおよび距離rを用いた3次元直交座標系で表示したマップが表示されることが選択される。
【0143】
例えば、プルダウンメニュー1036PDMの中で、視神経乳頭を中心としたレーダチャート(「レーダチャート 視神経乳頭中心」の項目)が選択された場合、渦静脈マップ表示欄1032Cには、スライダー1037が位置する撮影日時に対応する、視神経乳頭を中心としたレーダチャート(
図14B参照)が表示される。
【0144】
プルダウンメニュー1036PDMの項目が選択されると、対応する渦静脈マップが表示され、表示された渦静脈マップには、複数(上記例では4個)の全ての渦静脈の相対位置が表示される。本開示の技術はこれに限定されない。渦静脈マップに、複数の渦静脈の中から選択された1つの渦静脈の相対位置が表示される。例えば、
図16に示す例では、例えば、UWF眼底画像表示欄1032Aに表示されている4個の渦静脈の中から、眼科医が、1つの渦静脈を選択する。例えば、左上の渦静脈が選択されると、渦静脈マップ表示欄1032Cには、選択された渦静脈のみの相対位置が表示される。なお、本開示の技術は、4個の渦静脈の中から、眼科医が、単一の渦静脈を選択することに限定されない。例えば、ビューワ150が、4個の渦静脈について予め定められた順、例えば、左上、右上、右下、左下の順で、1つずつ渦静脈を選択し、渦静脈マップ表示欄1032Cに、選択された渦静脈のみの相対位置が表示される。あるいは、2つの渦静脈を選択し、選択した2つの渦静脈の相対位置が表示されるようにしてもよい。例えば、左上と左下の2つの渦静脈をユーザが選択することにより、黄斑と視神経乳頭を結ぶ線分に対してと左上の渦静脈の位置と左下の渦静脈の位置が、経過観察期間において対称性を維持しているか、ある時点から対称性が崩れ非対称となったかを簡単に判別できる。
【0145】
情報表示欄1034には、ユーザ(眼科医)の診察時のコメントやメモがテキストとして表示される。
【0146】
現在および過去の脈絡膜血管画像表示欄1035BT4から1035BT1の大きさは、UWF眼底画像表示欄1032Aおよび脈絡膜血管画像表示欄1032Bの大きさより小さい。
【0147】
渦静脈マップ表示欄1032Cの大きさは、UWF眼底画像表示欄1032Aおよび脈絡膜血管画像表示欄1032Bの大きさより小さい。
【0148】
図16の画面切替ボタン1024が操作された場合、ビューワ150は、
図17に示す第2眼底画像表示画面1000Bをディスプレイに表示する。
【0149】
第1眼底画像表示画面1000Aと第2眼底画像表示画面1000Bとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
【0150】
第2眼底画像表示画面1000Bの眼底画像情報表示欄1004Bの渦静脈マップ表示欄1032Cの大きさは、
図16の渦静脈マップ表示欄1032Cの大きさより大きい。第2眼底画像表示画面1000Bの渦静脈マップ表示欄1032Cの位置は、
図16の渦静脈マップ表示欄1032Cの位置と異なる。
【0151】
図17の渦静脈マップ表示欄1032Cにおいて、何れかのプロットがカーソル(黒→)で選択されると、ビューワ150は、当該プロットの色を他の色に変化させ、同じ脈絡膜血管画像から検出された他の渦静脈の位置のプロットの色も当該他の色に変化させる。また、ビューワ150は、当該プロットに対応する撮影日時に対応するように、スライダー1037を移動させる。ビューワ150は、UWF眼底画像表示欄1032Aおよび脈絡膜血管画像表示欄1032Bには、スライダー1037が位置する撮影日時に眼底が撮影されて得られたUWF眼底画像および脈絡膜血管画像を表示する。
【0152】
図17の画面切替ボタン1024が操作された場合、ビューワ150は、
図18に示す第2眼底画像表示画面1000Cをディスプレイに表示する。
【0153】
第2眼底画像表示画面1000Bと第3眼底画像表示画面1000Cとは略同様の内容であるので、同一の部分には同一の符号を付してその説明を省略し、異なる部分のみ説明する。
【0154】
第3眼底画像表示画面1000Cの第3眼底画像情報表示欄1004Cは、渦静脈マップ表示欄1038、カラーバー1035C、および情報表示欄1034のみを備えている。
【0155】
渦静脈マップ表示欄1038には、例えば、今回および過去の渦静脈の位置を、黄斑を中心とした2次元直交座標系で表示したマップ(
図15C)が表示される。何れかのプロット(例えば、「・」)がカーソル(黒→)で選択されると、ビューワ150は、当該プロットの色を他の色に変化させ、同じ脈絡膜血管画像から検出された他の渦静脈の位置のプロットの色も当該他の色に変化させる。ビューワ150は、渦静脈マップ表示欄1038の左上に、選択されたプロット(例えば、「・」)に対応する撮影日時を表示する。ビューワ150は、カラーバー1035Cの、現在(左端)から「・」の撮影日時まで色を変化させる。
【0156】
以上説明したように本実施の形態では、今回から過去の各眼底画像から得られた渦静脈の位置を比較する比較マップを表示するので、渦静脈の位置の変化をわかりやすく表示することができる。よって、渦静脈位置の経過観察を行うことができ、渦静脈位置の変化をユーザにわかりやすく表示できる。
【0157】
ところで、
図16および
図17の渦静脈マップ表示欄1032Cおよび
図18の渦静脈マップ表示欄1038に表示される渦静脈マップには、渦静脈の位置のみがプロットされる。本開示の技術は、これに限定されず、ビューワ150は、更に次の情報も表示するようにしてもよい。例えば、
図19に示すように、ビューワ150は、第1に、各撮影日時の渦静脈の4つの位置の中心C1からC4、第2に、中心C1からC4の中心CCを表示する。
【0158】
更に、本開示の技術ではさらに、各撮影日時の各渦静脈までの距離r、sの時間変化を示すグラフを表示してもよい。
また、上記実施の形態では、渦静脈の位置を、角度θおよび距離rの組、角度φおよび距離sにより特定しているが、本開示の技術は、これに限定されない。例えば、脈絡膜眼底画像の各画素の位置と、3次元空間の位置(X,Y,Z)との対応関係を予め求めておく。脈絡膜血管画像から特定された渦静脈の位置から、当該対応関係から、渦静脈の3次元空間の位置を特定し、特定された渦静脈の3次元空間の位置から、上記角度及び距離を計算する。
【0159】
以上説明した例では、
図5の画像処理は、サーバ140が実行しているが、本開示の技術の技術はこれに限定されない。例えば、眼科装置110またはビューワ150が実行したり、ネットワーク130に更に別の画像処理装置を接続させ、当該画像処理装置が実行したり、してもよい。
【0160】
以上説明した各例では、コンピュータを利用したソフトウェア構成により画像処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0161】
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合と、コンピュータを利用したソフトウェア構成でない構成で画像処理が実現される場合とを含むので、以下の第1技術および第2技術を含む。
【0162】
(第1技術)
第1眼底画像から渦静脈の第1位置を特定し且つ第2眼底画像から前記渦静脈の第2位置を特定する特定部と、
前記第1位置および前記第2位置が表示される画面のデータを生成する生成部と、
を含む画像処理装置。
【0163】
なお、上記実施の形態の渦静脈解析部2060は、上記第1技術の「特定部」の一例であり、上記実施の形態の比較画像生成部2062は、上記第1技術の「生成部」の一例である。
【0164】
上記のように以上の開示内容から以下の第2技術が提案される
【0165】
(第2技術)
特定部が、第1眼底画像から渦静脈の第1位置を特定し且つ第2眼底画像から前記渦静脈の第2位置を特定し、
生成部が、前記第1位置および前記第2位置が表示される画面のデータを生成する、
画像処理方法。
【0166】
以上の開示内容から以下の第3技術が提案される。
【0167】
(第3技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
第1眼底画像から渦静脈の第1位置を特定し、
第2眼底画像から前記渦静脈の第2位置を特定し、
前記第1位置および前記第2位置が表示される画面のデータを生成する、
ことを実行させる、
コンピュータープログラム製品。
【0168】
以上説明した画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0169】
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。