(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023123734
(43)【公開日】2023-09-05
(54)【発明の名称】画像処理方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20230829BHJP
A61B 3/14 20060101ALI20230829BHJP
【FI】
A61B3/10 100
A61B3/10 300
A61B3/14
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2023106323
(22)【出願日】2023-06-28
(62)【分割の表示】P 2021562539の分割
【原出願日】2020-11-12
(31)【優先権主張番号】P 2019220285
(32)【優先日】2019-12-05
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(57)【要約】 (修正有)
【課題】プロセッサが行う画像処理方法であって、被検眼の眼底画像から複数の渦静脈の位置を検出し、前記検出された前記複数の渦静脈の位置の分布中心を算出する。
【解決手段】被検眼の眼底画像から、視神経乳頭、黄斑、複数の渦静脈の位置を検出することと、
前記視神経乳頭、前記黄斑、複数の前記渦静脈を、眼球モデル上へ投影することと、
前記眼球モデルの球面上において、前記眼球モデルの中心点から、前記視神経乳頭、前記黄斑、複数の前記渦静脈のそれぞれの位置を求めることと、
前記球面上において、複数の前記渦静脈の中心位置を求めることと、
前記中心位置までの、前記視神経乳頭または前記黄斑から前記球面上に沿った大円距離を求めることと、
を含む画像処理方法。
【選択図】
図6
【特許請求の範囲】
【請求項1】
被検眼の眼底画像から、視神経乳頭、黄斑、複数の渦静脈の位置を検出することと、
前記視神経乳頭、前記黄斑、複数の前記渦静脈を、眼球モデル上へ投影することと、
前記眼球モデルの球面上において、前記眼球モデルの中心点から、前記視神経乳頭、前記黄斑、複数の前記渦静脈のそれぞれの位置を求めることと、
前記球面上において、複数の前記渦静脈の中心位置を求めることと、
前記中心位置までの、前記視神経乳頭または前記黄斑から前記球面上に沿った大円距離を求めることと、
を含む画像処理方法。
【請求項2】
前記中心位置を求めることでは、前記中心点から複数の前記渦静脈までのベクトルをそれぞれ求め、複数の前記ベクトルを合成し合成ベクトルを求めることを含む、
請求項1に記載の画像処理方法。
【請求項3】
前記球面上において、前記視神経乳頭と前記黄斑とを結ぶ大円上の第1線分と、前記視神経乳頭と前記中心位置とを結ぶ第2線分とのなす角度を求めることを含む、
請求項1または請求項2に記載の画像処理方法。
【請求項4】
前記球面上において、前記視神経乳頭と前記中心位置との位置ずれを求めることを含む、
請求項1~3の何れか1項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法に関する。
【背景技術】
【0002】
眼底画像から渦静脈を解析することが望まれている(米国特許第8636364号明細書)。
【発明の概要】
【0003】
本開示の技術の第1の態様の画像処理方法は、プロセッサが行う画像処理方法であって、被検眼の眼底画像から複数の渦静脈の位置を検出し、前記検出された前記複数の渦静脈の位置の分布中心を算出する。
【0004】
本開示の技術の第2の態様の画像処理装置は、メモリと、前記メモリに接続するプロセッサとを備え、前記プロセッサは、被検眼の眼底画像から複数の渦静脈の位置を検出し、前記検出された前記複数の渦静脈の位置の分布中心を算出する。
【0005】
本開示の技術の第3の態様のプログラムは、コンピュータに、被検眼の眼底画像から複数の渦静脈の位置を検出し、前記検出された前記複数の渦静脈の位置の分布中心を算出する、ことを実行させる。
【図面の簡単な説明】
【0006】
【
図2】眼科装置110の全体構成を示す概略構成図である。
【
図3A】眼科装置110による被検眼12の眼底の撮影範囲を示す第1の図である。
【
図3B】眼科装置110による被検眼12の眼底の撮影範囲を示す第2の図であり、当該撮影により得られた眼底の画像である。
【
図3C】眼科装置110による被検眼12の眼底の撮影範囲を示す第3の図である。
【
図4】サーバ140の構成を示すブロック図である。
【
図5】サーバ140のCPU162の機能ブロック図である。
【
図6】サーバ140が実行する画像処理のフローチャートである。
【
図7】
図7には、
図6のステップ210の投影処理のフローチャートである。
【
図8】
図8には、
図6のステップ212のVV中心算出処理のフローチャートである。
【
図9】
図9には、
図6のステップ214の特徴量算出処理のフローチャーである。
【
図10C】4個の渦静脈VV1からVV4が検出された様子を示す図である。
【
図11】仮想球面(仮想眼球面)に、視神経乳頭ONHが経度0度、視神経乳頭ONH、黄斑M、及び5つVVの位置Pvv1からPvv5が投影された眼球モデルを示す図である。
【
図12A】球体の中心Cから各VVの位置Pvv1からPvv5へのベクトルVC1からVC5を示し、眼球モデルを斜めからみた図である。
【
図12B】球体の中心Cから各VVの位置Pvv1からPvv5へのベクトルVC1からVC5を示し、眼球モデルを横からみた図である。
【
図12C】球体の中心Cから各VVの位置Pvv1からPvv5へのベクトルVC1からVC5を示し、眼球モデルを上からみた図である。
【
図13A】各VVへのベクトルVC1からVC5を合成することにより算出された合成ベクトルVCTを示し、眼球モデルを斜めからみた図である。
【
図13B】各VVへのベクトルVC1からVC5を合成することにより算出された合成ベクトルVCTを示し、眼球モデルを横からみた図である。
【
図13C】各VVへのベクトルVC1からVC5を合成することにより算出された合成ベクトルVCTを示し、眼球モデルを上からみた図である。
【
図14A】合成ベクトルVCTの長さが、ベクトルVC1の長さ(例えば、1)となるように正規化されて得られた正規化合成ベクトルVCTNを示し、眼球モデルを斜めからみた図である。
【
図14B】合成ベクトルVCTの長さが、ベクトルVC1の長さ(例えば、1)となるように正規化されて得られた正規化合成ベクトルVCTNを示し、眼球モデルを横からみた図である。
【
図14C】合成ベクトルVCTの長さが、ベクトルVC1の長さ(例えば、1)となるように正規化されて得られた正規化合成ベクトルVCTNを示し、眼球モデルを上からみた図である。
【
図15】視神経乳頭ONHとVV中心との位置関係を示す特徴量の概念を説明する図である。
【
図16】視神経乳頭ONHとVV中心との位置関係を示す特徴量を記憶する特徴量テーブルを示す図である。
【
図17】対象及び特徴量を表示するための第1表示画面300Aを示す図である。
【
図18】対象及び特徴量を表示するための第2表示画面300Bを示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照して本開示の技術の実施の形態を詳細に説明する。
【0008】
図1を参照して、眼科システム100の構成を説明する。
図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「サーバ」という)140と、画像表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。サーバ140は、眼科装置110によって患者の眼底が撮影されることにより得られた眼底画像を、患者のIDに対応して記憶する。ビューワ150は、サーバ140から取得した眼底画像などの医療情報を表示する。
【0009】
眼科装置110、眼軸長測定器120、サーバ140、およびビューワ150は、ネットワーク130を介して、相互に接続されている。
【0010】
次に、
図2を参照して、眼科装置110の構成を説明する。
【0011】
説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0012】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0013】
眼科装置110は、撮影装置14および制御装置16を含む。撮影装置14は、SLOユニット18、OCTユニット20、および撮影光学系19を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0014】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、および入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0015】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0016】
また、制御装置16は、I/Oポート16Dに接続された画像処理器16Gを備えている。画像処理器16Gは、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、画像処理器16Gを省略し、CPU16Aが、撮影装置14によって得られたデータに基づき被検眼12の画像を生成するようにしてもよい。制御装置16はI/Oポート16Dに接続された通信インターフェース(I/F)16Fを備えている。眼科装置110は、通信インターフェース(I/F)16Fおよびネットワーク130を介して眼軸長測定器120、サーバ140、およびビューワ150に接続される。
【0017】
上記のように、
図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0018】
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、およびOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、および広角光学系30を含む。
【0019】
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、およびY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、およびY方向に2次元走査する。第1光学スキャナ22および第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0020】
広角光学系30は、共通光学系28を有する対物光学系(
図2では不図示)、およびSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
【0021】
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、視神経乳頭や黄斑が存在する眼底中心部だけでなく眼球の赤道部や渦静脈が存在する眼底周辺部の網膜を撮影することが可能となる。
【0022】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示および国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0023】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施の形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底へ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施の形態では、内部照射角は200度としている。
【0024】
内部照射角の200度は、本開示の技術の「所定値」の一例である。
【0025】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。もちろん、内部照射角で160度未満の撮影画角で眼底を撮影することにより、UWFではないSLO画像を取得することができる。
【0026】
SLOシステムは、
図2に示す制御装置16、SLOユニット18、および撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影、具体的には、被検眼12の眼底の後極部から赤道部を超える領域を撮影することができる。
【0027】
図3Aを用いて赤道部174の説明をする。眼球(被検眼12)は、直径約24mm の眼球中心170とした球状の構造物である。その前極175と後極176を連ねる直線を眼球軸172と言い、眼球軸172に直交する平面が眼球表面と交わる線を緯線といい、緯線長が最大のものが赤道174である。赤道174の位置に相当する網膜や脈絡膜の部分を赤道部178とする。赤道部178は眼底周辺部の一部である。
【0028】
眼科装置110は、被検眼12の眼球中心170を基準位置として内部照射角が200°の領域を撮影することができる。なお、200°の内部照射角は、被検眼12の眼球の瞳孔を基準とした外部照射角では167°である。つまり、広角光学系80は外部照射角167°の画角で瞳からレーザ光を照射させ、内部照射角で200°の眼底領域を撮影する。
【0029】
図3Bには、内部照射角が200°で走査できる眼科装置110で撮影されて得られたSLO画像179が示されている。
図3Bに示すように、赤道部174は内部照射角で180°に相当し、SLO画像179においては点線178aで示された個所が赤道部178に相当する。このように、眼科装置110は、後極176を含む後極部から赤道部178を超えた眼底周辺領域を一括で(一回の撮影で、あるいは、一回のスキャンで)撮影することができる。つまり、眼科装置110は、眼底中心部から眼底周辺部までを一括で撮影することができる。
【0030】
図3Cは、詳細には後述するが、眼球における脈絡膜12Mと渦静脈(Vortex Vein)12V1、V2との位置関係を示す図である。
【0031】
図3Cにおいて、網目状の模様は脈絡膜12Mの脈絡膜血管を示している。脈絡膜血管は脈絡膜全体に血液をめぐらせる。そして、被検眼12に複数存在する渦静脈から眼球の外へ血液が流れる。
図3Cでは眼球の片側に存在する上側渦静脈V1と下側渦静脈V2が示されている。渦静脈は、赤道部178の近傍に存在する場合が多い。そのため、被検眼12に存在する渦静脈及び渦静脈周辺の脈絡膜血管を撮影するには、上述した内部照射角が200°で眼底周辺部を広範囲に走査できる眼科装置110を用いて行われる。
【0032】
広角光学系30を備えた眼科装置110の構成としては、国際出願PCT/EP2017/075852に記載された構成を用いてもよい。2017年10月10日に国際出願された国際出願PCT/EP2017/075852(国際公開WO2018/069346)の開示は、その全体が参照により本明細書に取り込まれる。
【0033】
図2に戻り、SLOユニット18は、複数の光源、例えば、B光(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、およびIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射または透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系56、52で反射して、それぞれ1つの光路に導かれる。
【0034】
SLOユニット18は、G光、R光、およびB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。
図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、およびIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、さらに、白色光の光源をさらに備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0035】
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、被検眼12の後眼部に照射される。眼底により反射された反射光は、広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射される。
【0036】
SLOユニット18は、被検眼12の後眼部(例えば、眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。
【0037】
SLOユニット18は、複数の光源に対応して複数の光検出素子を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、およびビームスプリッタ58により反射したG光を検出するG光検出素子72を備えている。SLOユニット18は、ビームスプリッタ60により反射したR光を検出するR光検出素子74、およびビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0038】
広角光学系30および第1光学スキャナ22を経由してSLOユニット18へ入射された光(つまり、眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理器16Gは、B光検出素子70、G光検出素子72、R光検出素子74、およびIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。
【0039】
UWF-SLO画像(後述するようにUWF眼底画像、オリジナル画像ともいう)には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
【0040】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、およびB色眼底画像が得られる。G色眼底画像、R色眼底画像、およびB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光およびR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像およびR色眼底画像が得られる。G色眼底画像およびR色眼底画像からRGカラー眼底画像が得られる。
【0041】
このようにUWF-SLO画像として、具体的には、B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像がある。UWF-SLO画像の各画像データは、入力/表示装置16Eを介して入力された患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-SLO画像の各画像データと患者の情報とは、メモリ164に、対応して記憶される。なお、患者の情報には、例えば、患者名ID、氏名、年齢、視力、右眼/左眼の区別等がある。患者の情報はオペレータが入力/表示装置16Eを介して入力する。
【0042】
OCTシステムは、
図2に示す制御装置16、OCTユニット20、および撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、および第2の光カプラ20Fを含む。
【0043】
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向およびY方向に走査される。走査光は広角光学系30および瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30および第2光学スキャナ24を経由してOCTユニット20へ入射され、コリメートレンズ20Eおよび第1の光カプラ20Cを介して、第2の光カプラ20Fに入射する。
【0044】
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0045】
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。CPU16Aの制御下で動作する画像処理器16Gは、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。なお、画像処理器16Gを省略し、CPU16Aが、センサ20Bで検出されたOCTデータに基づいてOCT画像を生成するようにしてもよい。
【0046】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。もちろん、内部照射角で160度未満の撮影画角でOCT眼底画像データを取得することができる。
【0047】
UWF-OCT画像の画像データは、患者の情報と共に、通信インターフェース(I/F)16Fを介して眼科装置110からサーバ140へ送信される。UWF-OCT画像の画像データと患者の情報とは、メモリ164に、対応して記憶される。
【0048】
なお、本実施の形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0049】
次に、眼軸長測定器120を説明する。眼軸長測定器120は、被検眼12の眼軸方向の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。
【0050】
眼軸長測定器120は、第1のモードまたは第2のモードにより測定された眼軸長をサーバ140に送信する。第1のモードおよび第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長としてサーバ140に送信する。サーバ140は、患者の眼軸長を患者名IDに対応して記憶する。
【0051】
次に、
図4を参照して、サーバ140の構成を説明する。
図4に示すように、サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネルなどの入力/指示デバイス174を備えている。
【0052】
CPU162は、本開示の技術の「プロセッサ」の一例である。メモリ164は、本開示の技術の「コンピュータ可読記憶媒体」の一例である。制御ユニット160は、本開示の技術の「コンピュータープログラム製品」の一例である。サーバ140は、本開示の技術の「画像処理装置」の一例である。
【0053】
ビューワ150の構成は、サーバ140と同様であるので、その説明を省略する。
【0054】
次に、
図5を参照して、サーバ140のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、
図4に示すように、画像処理部182、表示制御部184、及び処理部186として機能する。
【0055】
画像処理部182は、本開示の技術の「検出部」の一例である。
【0056】
画像処理部182は、本開示の技術の「算出部」、「投影部」、及び「生成部」の一例である。
【0057】
次に、
図6を用いて、サーバ140による画像処理を詳細に説明する。サーバ140のCPU162が画像処理プログラムを実行することで、
図6のフローチャートに示された画像処理が実現される。
【0058】
画像処理プログラムは、サーバ140が、眼科装置110で撮影された眼底画像(例えば、UWF眼底画像)の画像データを受信し、受信した眼底画像の内、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)の画像データに基づいて脈絡膜血管画像を生成した時に実行される。
図10Aには、受信した眼底画像の内、RGBカラー眼底画像G1が示されている。なお、眼科装置110は、サーバ140に、画像データと共に、患者の情報(例えば、患者名、患者ID、年齢、及び視力)が送信される。
【0059】
脈絡膜血管画像は以下のようにして生成される。
【0060】
まず、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とに含まれる情報を説明する。
【0061】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、第1眼底画像(R色眼底画像)には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、第2眼底画像(G色眼底画像)には、網膜に存在する血管(網膜血管)の情報が含まれる。よって、第2眼底画像(G色眼底画像)から網膜血管を抽出し、第1眼底画像(R色眼底画像)から網膜血管を除去することにより脈絡膜血管画像を得ることができる。
【0062】
次に、脈絡膜血管画像の生成方法について説明する。サーバ140の画像処理部182は、ブラックハットフィルタ処理を第2眼底画像(G色眼底画像)に施すことにより、第2眼底画像(G色眼底画像)から網膜血管を抽出する。次に、画像処理部182は、第1眼底画像(R色眼底画像)から、第2眼底画像(G色眼底画像)から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第2眼底画像(G色眼底画像)から抽出された網膜血管の位置情報を用いて第1眼底画像(R色眼底画像)の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部182は、網膜血管が除去された第1眼底画像(R色眼底画像)の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、第1眼底画像(R色眼底画像)において、脈絡膜血管を強調する。これにより、
図10Bに示す脈絡膜血管画像G2が得られる。生成された脈絡膜血管画像は、患者の情報に対応して、メモリ164に記憶される。
【0063】
また、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)から脈絡膜血管画像を生成しているが、次に、画像処理部182は、第1眼底画像(R色眼底画像)あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246及び国際公開WO2019/181981A1の開示は、その全体が参照により、本明細書に取り込まれる。
【0064】
画像処理プログラムがスタートすると、
図5のステップ202で、処理部186は、眼底画像として、脈絡膜血管画像G2(
図10B参照)とG色眼底画像をメモリ164から読み出す。
【0065】
ステップ204で、画像処理部182は、G色眼底画像から黄斑の位置を推定する。具体的には、画像処理部182は、黄斑はG色眼底画像において暗い領域であるので、上記読み出したG色眼底画像において画素値が最も小さい所定数の画素の領域を黄斑の位置として検出する。黄斑の位置を示す座標が、患者の情報に対応して、メモリ164に記憶される。
【0066】
ステップ206で、画像処理部182は、G色眼底画像から視神経乳頭ONHの位置を検出する。具体的には、画像処理部182は、上記読み出したG色眼底画像に対して、予め定まる視神経乳頭の画像のパターンマッチングをすることにより、G色眼底画像において視神経乳頭ONHの位置を検出する。視神経乳頭ONHの位置を示す座標が、患者の情報に対応して、メモリ164に記憶される。
【0067】
ところで、視神経乳頭はG色眼底画像において最も明るい領域であるので、上記読み出したG色眼底画像において画素値が最も大きい所定数の画素の領域を視神経乳頭の位置として検出するようにしてもよい。
【0068】
また、脈絡膜血管画像は、上記のようにR色眼底画像及びG色眼底画像を処理することにより、作られる。従って、G眼底画像の座標系を脈絡膜血管画像の座標系に重ねると、G眼底画像の座標系の各位置は、脈絡膜血管画像の座標系の各位置と同じである。よって、G色眼底画像から検出された黄斑及び視神経乳頭の各々の位置に相当する脈絡膜血管画像上の各位置は、黄斑及び視神経乳頭の各々の位置である。
【0069】
よって、ステップ204の処理では、G色眼底画像に代えて脈絡膜血管画像から黄斑の位置を検出するようにしてもよい。同様にステップ206の処理では、G色眼底画像に代えて脈絡膜眼底画像から視神経乳頭の位置を検出するようにしてもよい。
【0070】
ステップ208で、画像処理部182は、脈絡膜血管画像において渦静脈(Vortex Vein(以下、「VV」という))位置を検出する。ここで、渦静脈VVとは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに複数個存在する。
【0071】
画像処理部182は、脈絡膜血管画像における各画素の血管走行方向(blood vessel running direction)を求める。具体的には、画像処理部182は、全ての画素に対して、下記の処理を繰り返す。即ち、画像処理部182は、画素を中心とした周囲の複数の画素で構成される領域(セル)を設定する。そして、セルの各画素における輝度の勾配方向(例えば、0度以上から180度未満の角度で示される。なお、0度は直線(つまり、水平線)の方向と定義する。)を、計算対象画素の周囲の画素の輝度値に基づいて計算する。この勾配方向の計算をセル内のすべての画素に対して行う。
【0072】
次に、勾配方向が0度、20度、40度、60度、80度、100度、120度、140度、160度の9つのビン(例えば、各ビンの幅が20度)があるヒストグラムを作成するため、各ビンに対応する勾配方向のセル内の画素数をカウントする。ヒストグラムの1つのビンの幅は20度に相当し、0度のビンには、0度以上10度未満と170度以上180度未満の勾配方向を持つ、セル内の画素数(つまり、カウント値)が設定される。20度のビンは、10度以上30度未満の勾配方向を持つ、セル内の画素数(つまり、カウント値)が設定される。同様に、40度、60度、80度、100度、120度、140度、160度のビンのカウント値も設定される。ヒストグラムのビンの数が9であるので、画素の血管走行方向は9種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。各ビンにおけるカウント値(つまり、ヒストグラムの縦軸)は規格化がなされ、解析点に対するヒストグラムが作成される。
【0073】
次に、画像処理部182は、ヒストグラムから、解析点の血管走行方向を特定する。具体的には、最もカウント値の小さい角度(例えば、60度であるとする)のビンを特定し、特定されたビンの勾配方向である60度を画素の血管走行方向と特定する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するビンのカウント値が少なくなる。同様にして、脈絡膜血管画像における各画素に対してヒストグラムを作成し、各画素の血管走行方向を算出する。算出された各画素の血管走行方向は、患者の情報に対応して、メモリ164に記憶される。
【0074】
そして、画像処理部182は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の仮想の粒子の初期位置を設定する。例えば、M=10、N=50、であり、合計L=500個の初期位置を設定する。
【0075】
さらに、画像処理部182は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、L個の全ての位置において実行する。L個すべての仮想の粒子に対して設定した移動回数行った時点で、仮想の粒子が一定個数以上集まっている点をVV位置として検出する。
図10Cには、4個の渦静脈VV1からVV4が検出された様子が示されている。
【0076】
そして、検出されたVVの個数、VV位置情報(例えば、脈絡膜血管画像におけるVV位置を示す座標)が、患者の情報に対応して、メモリ164に記憶される。渦静脈VVの検出は、脈絡膜血管画像だけでなく、様々な眼底画像を用いて行ってもよい。様々な可視光の波長で撮影されたR色眼底画像やG色眼底画像などのカラー眼底画像、蛍光撮影による蛍光眼底画像、3次元のOCTボリュームデータから生成された二次元画像(en face OCT画像)、さらにそれらの画像を画像処理して得られた2値化画像、血管を強調処理した血管画像であってもより。さらに血管画像から脈絡膜血管を抽出する処理により生成された脈絡膜血管画像であってもよい。
【0077】
ステップ210で、画像処理部182は、視神経乳頭ONH、黄斑M、各VVを、眼球モデルの球面に投影する。
【0078】
図7には、
図6のステップ210の投影処理のフローチャートが示されている。
図7のステップ221で、処理部186は、患者の情報に対応する脈絡膜眼底画像における視神経乳頭ONH、黄斑M、VV位置の眼底画像(UWF眼底画像)上の各座標(X,Y)を、メモリ164から取得する。
【0079】
ステップ223で、画像処理部182は、視神経乳頭ONH、黄斑M、VVの位置の各座標を、
図11に示す眼球モデルの眼底に対応する仮想球面(眼球面あるいは眼球モデルの表面)に投影する処理を行う。この眼球モデルは、眼球の中心をC、半径をR(眼軸長を2Rとする)とした球体モデルである。この眼球モデルの球面を眼球面と定義する。眼球面上の点は緯度と経度で位置が特定される。
視神経乳頭ONHは、基準点(経度0度、緯度0度)として、黄斑Mは緯度が0度となるように、それぞれ投影される。それぞれのVV位置も視神経乳頭ONHを基準点として眼球面上にPvv1、Pvv2、Pvv3、Pvv4、Pvv5(渦静脈VVが被検眼に5つ検出された場合)として投影される。
よって、視神経乳頭ONHと黄斑Mは0度の緯線にそれぞれ投影されることになり、視神経乳頭ONHと黄斑Mとを球面上で結ぶ線分は0度の緯線上に位置する。
【0080】
ここで、眼球モデルは、3次元空間(X,Y,Z)でも規定されており、画像処理のメモリ空間で定義される。上記のように、X方向は、眼科装置110が水平面に設置された場合の水平方向であり、患者は眼科装置110に向かった位置に位置するので、X方向は、被検眼の左右方向である。Y方向は、水平面に対する垂直方向であり、被検眼の上下方向である。Z方向は、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向である。
【0081】
メモリ164には、2次元の眼底画像(UWF眼底画像)上の位置の各座標(X,Y)を、3次元空間(X,Y,Z)に逆ステレオ投影変換を行うための変換式が記憶されている。本実施の形態では、この変換式では、視神経乳頭ONHの位置が、眼球面上の基準点(経度及び緯度の各々が0度の位置)に、黄斑Mの位置が緯度0度の位置となるように、変換(つまり、投影)される。さらに、
この変換式を用いて、2次元の眼底画像上の各VVの位置(X、Y)が、3次元の眼球面の位置Pvv1からPvv5に変換(つまり、投影)される。
【0082】
眼球面上の渦静脈VV1~5の位置Pvv1からPvv5の座標(X,Y,Z)は、視神経乳頭ONH、黄斑Mの三次元座標とともに、患者の識別情報と関連付けられてメモリ164に記憶される。
【0083】
図7のステップ223の処理が終了すると、画像処理は、
図6のステップ212に進む。
【0084】
ステップ212で、画像処理部182は、複数の渦静脈の分布中心点(以下、VV中心とする)を算出する。VV中心とは、複数のVVの各々の位置の分布中心点である。分布中心点は、まず、眼球モデルの中心点Cから渦静脈位置(Pvv1など)へのベクトルを求め、次に、各VVへの複数のベクトルを合成した合成ベクトルを求めることにより求めることができる。
【0085】
図8には、
図6のステップ212のVV中心の算出処理のフローチャートが示されている。
図8では被検眼に5つの渦静脈VVが検出されたとして説明を行う。
【0086】
図8のステップ232で、処理部186は、患者の情報に対応して、メモリ164から、各VVの位置Pvv1からPvv5の座標(x1,y1,z1)から(x5,y5,z5)を取得する。ここでは、眼球モデルは半径を単位長さである1とした単位球を用いる。
【0087】
ステップ234で、画像処理部182は、
図12Aから
図12Cに示すように、眼球モデルの球体の中心Cから各VVの位置Pvv1からPvv5へのベクトルVC1からVC5を、数1のように、生成する。
【数1】
【0088】
各ベクトルVCの大きさは、単位長さである1である。
図12Aから
図12Cはそれぞれ、単位球を、斜めから、横から、上からみた図である。
【0089】
ステップ236で、画像処理部182は、
図13Aから
図13Cに示すように、各VVへのベクトルVC1からVC5を合成することにより合成ベクトルVCT(数2のVVcomposition参照)を算出する。具体的には、数2のように、各ベクトルVCの座標値の和を取る処理である。
【数2】
【0090】
中心Cから合成ベクトルVCTにより定まる点Pvvcの座標は、位置Pvv1からPvv5の各々のX、Y、及びZの各々の座標の和で定まる。点Pvvcは、VV1からVV5の各々の位置の三次元空間における分布中心である。点Pvvcは、VV1からVV5の各々の位置との間の距離(例えば、ユークリッド距離)の合計が最小となる位置である。点Pvvcは、一般的には、眼球モデルの球体内部に位置する。
図13Aから
図13Cはそれぞれ、単位球である眼球モデルを、斜めから、横から、上からみた図である。
【0091】
ステップ238で、画像処理部182は、
図14Aから
図14Cに示すように、合成ベクトルの大きさが、単位の大きさである1となるように、合成ベクトルVCTを正規化する。これにより正規化された合成ベクトルVCTN(数3のVVcenter参照)が、数3のように得られる。
【数3】
【0092】
そして、ステップ240にて中心Cから正規化合成ベクトルVCTNで定まる点Pvvcnは、単位球である眼球モデルの眼球面上に位置する。点Pvvcnは、正規化合成ベクトルVCTNと単位球の眼球面との交点である。点Pvvcnは、複数のVVの各々の位置の眼球モデルの球面上の分布中心である。
【0093】
また、複数のVVの各々の位置と分布中心との間の距離(例えば、眼球モデルの球面上の大円距離)の合計が最小となる位置とも定義できる。
図14Aから
図14Cはそれぞれ、単位球の眼球モデルを、斜めから、横から、上からみた図である。
【0094】
ステップ240により、複数の渦静脈における、単位球の球面上での分布中心位置が求められる。よって、渦静脈の分布中心の緯度と経度とが判明する。
【0095】
ステップ241にて、画像処理部182は、単位球が眼軸長2Rの眼球モデルとなるように拡大する。つまり、被検眼の眼軸長が24mm(すなわち、2*12mm、R=12)であれば半径12mmの球となるように変換を行う。
【0096】
ステップ241では更に、画像処理部182は、被検眼の眼軸長を反映させた眼球モデルでの視神経乳頭ONH、黄斑M、渦静脈VV1~VV5、および、渦静脈の分布中心Pvvcnの眼球面上のそれぞれの座標、あるいは、視神経乳頭を基準として算出された黄斑M、渦静脈、渦静脈の分布中心それぞれの緯度及び経度を抽出する。抽出された座標あるいは緯度及び経度の情報は、患者の情報に対応して、メモリ164に記憶される。座標と緯度及び経度の双方をメモリ164に保存するようにしてもよい。
【0097】
図8のステップ241の処理が終了すると、画像処理は、
図6のステップ214に進む。
【0098】
ステップ214で、画像処理部182は、眼球モデルの特定部位の位置と、VV中心を含む複数の対象の位置との位置関係を示す少なくとも1つの特徴量を算出する。特定部位としては、例えば、視神経乳頭、黄斑、瞳孔中心(つまり、角膜の頂点)、中心窩等がある。以下、特定部位としては、視神経乳頭として説明する。
【0099】
図9には、
図6のステップ214の特徴量算出処理の詳細フローチャーが示されている。
図9のステップ242で、画像処理部182は、特徴量算出の対象を識別する変数tを0にセットし、ステップ244で、画像処理部182は、変数tを1インクリメントする。例えば、変数t=1、2、3・・・により、VV中心、VV1、VV2・・・が識別される。
【0100】
ステップ246で、画像処理部182は、視神経乳頭ONHを基準点(例えば、経度:0度、緯度:0度)とし、対象tまでの大円距離と角度、対象tが位置する経度と緯度、そして、基準点から対象tまでの経度距離と緯度距離を、対象tの特徴量として、算出する。具体的には、次の通りである。
【0101】
まず、変数t=1の場合、即ち、VV中心を対象として、特徴量を算出する場合を説明する。
【0102】
画像処理部182は、
図15に示すように、視神経乳頭ONHとVV中心(点Pvvcn)との大円距離GCLを、球面三角法の公式から、算出する。眼球モデルの球体の中心Cを通るように球体を切ったときの切り口を大円と定義し、大円距離とは、球面上の距離計測対象の2地点(視神経乳頭ONHとVV中心(点Pvvcn)と)を結ぶ大円の弧の長さである。
【0103】
次に、画像処理部182は、
図15に示すように、黄斑Mの位置と視神経乳頭ONHの位置とを結ぶ大円上の第1線分GCLと、視神経乳頭ONHの位置とVV中心Pvvcnの位置とを結ぶ第2線分GLのなす角度θを、正角図法又は球面三角法から算出する。
【0104】
上記距離及び角度を計算する方法は、2019年04月18日に国際出願された国際出願第PCT/JP2019/016653に記載された方法と同様である。2019年04月18日に国際出願された国際出願第PCT/JP2019/016653(国際公開第WO2019203310号(2019年10月24日に国際公開された))に記載された上記距離及び角度を計算する方法は、その全体が参照により本明細書に取り込まれる。
【0105】
次に、画像処理部182は、
図15に示すように、VV中心Pvvcnの経度(LG=lgn)と緯度(LT=ltn)とを算出する。上記のように、眼球モデルは、3次元空間で規定されているが、緯度及び経度の各々が0度の位置を基準点として視神経乳頭OHNの位置とし、黄斑Mの位置が緯度0度の緯線LLT上に位置するように配置される。
【0106】
画像処理部182は、VV中心Pvvcnの三次元空間における座標(x,y,z)を、視神経乳頭ONHの位置(X,Y,Z)=(1,0,0)として以下のような、所定の変換式から変換することにより、VV中心Pvvcnの緯度(LG=lgn)と経度(LT=ltn)とを算出する。
経度LT=arctan(y/x)
緯度LG=arctan(z/√(x2+y2))
これにより、VV中心Pvvcnの(LG(緯度),経度(LT))が、(lgn,ltn)として算出される。
【0107】
そして、画像処理部182は、
図15に示すように、VV中心Pvvcnの緯度距離TL、経度距離GLを、球面三角法の公式から、算出する。
【0108】
VV中心Pvvcnの緯度距離TLは、VV中心Pvvcnを通る経度線LLGに沿ったVV中心Pvvcnと、当該経度線LLGと緯度0の緯度線LLTとの交点Ptgとの間の大円距離である。
【0109】
VV中心Pvvcnの経度距離GLは、緯度0の緯度線LLTに沿った視神経乳頭OHNの位置と交点Ptgとの間の大円距離である。
【0110】
以上のように変数tで識別される対象について上記各特徴量が算出されると、特徴量算出処理は、ステップ248に進む。
【0111】
ステップ248で、画像処理部182は、変数tが、特徴量を算出する対象の総数Tに等しいか否かを判断する。
【0112】
変数tが総数Tに等しくない場合には、特徴量が算出されていない対象があるので、特徴量算出処理はステップ244に戻って、以上の処理(つまり、ステップ244から248)を実行する。
【0113】
変数t=2以降の場合は、画像処理部182は、対象が、VV中心Pvvcnに代えて、VV1以降の位置を対象として、上記距離、角度、緯度、経度、経度距離、及び緯度距離を算出する。
【0114】
変数tが総数Tに等しい場合には、特徴量が算出されるべき対象の全てについて特徴量が算出されたので、ステップ250で、処理部186は、
図16に示すように、各対象の各特徴量を、患者の情報に対応して、メモリ164の特徴量テーブルに記憶する。
図16に示す例では、特徴量テーブルは、患者ID、左右眼の識別情報及び左右眼に対応する眼軸長の項目が設けられている。そして、被検眼ごと(左眼あるいは右眼)に特徴量記憶領域が設けられている。特徴量記憶領域には、上記対象の種類(視神経乳頭、黄斑、渦静脈VV1~VV5、VV中心など)を示す種別情報と、距離、角度、緯度、経度、経度距離、及び緯度距離の特徴量情報とが記憶され。なお、視神経乳頭ONH、黄斑M、渦静脈VV1~VV5、VV中心の眼球面上の座標も特徴量テーブルに含めてもよい。
また、上述の例では、渦静脈の数を5つとして説明したが、被検眼で検出された渦静脈の個数N(Nは自然数)で適用可能であることは言うまでもない。
さらに、求められた視神経乳頭位置とVV中心位置とのズレ量、具体的には、視神経乳頭位置とVV中心位置との間の距離(大円距離など)と、視神経乳頭からVV中心位置の方向で定まる特徴量(すなわち、視神経乳頭位置とVV中心位置とを結ぶベクトル)を求め、当該特徴量の一部としてもよい。さらに、黄斑位置とVV中心位置とのズレ量、眼底上の病変位置とVV中心位置とのズレ量を、同様にして求めて特徴量としてもよい。このズレ量は、一般的に病態の数値的指標とすることができる。
【0115】
ステップ250の処理が終了すると、
図6のステップ214の処理が終了するので、画像処理は終了する。
【0116】
次に、サーバ140による複数の渦静脈の分布中心の算出処理のあと、ビューワ150にて、分布中心などを表示するプロセスについて説明する。
【0117】
ビューワ150のディスプレイの表示画面には、後述する画像(
図17、
図18)を生成することを指示するためのアイコンやボタンが表示されている。ユーザである眼科医が、患者を診断する際に、VV中心の位置を知りたいと考え、所定のアイコン等をクリックすると、ビューワ150からサーバ140に、クリックされたアイコン等に対応する指示信号が送信される。
【0118】
ビューワ150からの指示信号を受信したサーバ140は、指示信号に対応する画像(
図17、
図18)を生成し、生成した画像の画像データをビューワ150にネットワーク130を介して送信する。サーバ140から画像データを受信したビューワ150は、受信した画像データに基づいて画像をディスプレイに表示する。サーバ140での表示画面の生成処理は、CPU162(表示制御部184)で動作する表示画面生成プログラムによって行われる。
【0119】
図17には、対象及び特徴量を表示するための第1表示画面300Aが示されている。
図17に示すように、第1表示画面300Aは、患者の個人情報を表示する個人情報表示欄302、及び画像表示欄320を有する。
【0120】
個人情報表示欄302は、患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、視力表示欄312、及び患者選択アイコン314を有する。患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、及び視力表示欄312に、各情報を表示する。なお、患者選択アイコン314がクリックされると、患者一覧をビューワ150のディスプレイ172に表示し、解析する患者をユーザ(眼科医など)に選択させる。
【0121】
画像表示欄320は、撮影日付表示欄322N1、右眼情報表示欄324R、左眼情報表示欄324L、眼球モデルを斜めからからみた第1眼球モデル画像表示欄326A、眼球モデルを横からみた第2眼球モデル画像表示欄328、及び情報表示欄342を有する。情報表示欄342には、ユーザ(眼科医など)の診察時のコメントやメモがテキストとして表示される。
【0122】
図17に示す例は、患者ID:123456により識別される患者の右眼の眼底(324Rが点灯)が、撮影日が2018年3月10日、2017年12月10日、2017年9月10に撮影された場合の眼球モデル画像が表示可能である。なお、撮影日付表示欄322N1と右眼情報表示欄324Rとがクリックされて、2018年3月10日に撮影されて得られた右眼の眼球モデル画像が表示されている。
【0123】
図17に示すように、第1眼球モデル画像表示欄326Aには、斜めからからみた眼球モデルが、第2眼球モデル画像表示欄328には、眼球モデルを横からみた眼球モデルが表示される。眼球モデルには、各VV1からVV5のそれぞれの位置Pvv1からPvv5、各VV1からVV5の各々へのベクトルVC1からVC5、中心Cから正規化合成ベクトルVCTNで定まる点Pvvcn、正規化合成ベクトルVCTNが表示される。
【0124】
第1眼球モデル画像表示欄326A及び第2眼球モデル画像表示欄328の何れかで、各VV1からVV5のそれぞれの位置Pvv1からPvv5、点Pvvcnの位置の何れかがクリックされると、クリックされた位置に対応する各特徴量が表示される。例えば、点Pvvcnの位置がクリックされると各特徴量が点Pvvcnの位置近傍に表示される。具体的には、視神経乳頭ONHとVV中心との大円距離GC、黄斑Mの位置-視神経乳頭ONHの位置-VV中心Pvvcnの位置がなす角度θ、VV中心Pvvcnの緯度と経度、及びVV中心Pvvcnの緯度距離TL及び経度距離GLが表示される。
【0125】
図18には、対象及び特徴量を表示するための第2表示画面300Bが示されている。第2表示画面300Bは第1表示画面300Aと略同様であるので、同一の表示部分には同一の符号を付して、その説明を省略し、異なる表示部分を説明する。なお、第1表示画面300Aと第2表示画面300Bとは図示しない切替ボタンによって切り替わる。
【0126】
第2表示画面300Bでは、第1眼球モデル画像表示欄326A及び第2眼球モデル画像表示欄328に代えて、対象位置画像表示欄326B及び対象及び断層画像表示欄328Bが表示される。
【0127】
図18に示す例では、VVが4個検出された例が示されている。
【0128】
上記のように眼球モデルの眼球上の位置は緯度及び経度で規定され、
図6のステップ214の特徴量算出処理では、各VV及びVV中心の各々の緯度及び経度が算出されている。対象位置画像表示欄326Bには、各VV及びVV中心の各々の位置が、緯度及び経度の位置関係に基づいて、表示される。
【0129】
対象及び断層画像表示欄328Bには、オリジナル画像表示領域1032Aと、VVの断層画像表示領域890とを有する。
【0130】
オリジナル画像表示領域1032Aには、オリジナル画像に重ねてOCT画像取得領域872A、872B、872C、872Dが表示される。上記のように
図6のステップ208では、VV位置が検出されており、本実施の形態では、検出されたVV位置を中心としたOCT画像取得領域872A、872B、872C、872DについてOCT画像を取得している。
【0131】
OCT画像表示領域890には、オリジナル画像表示領域1032Aのオリジナル画像に重ねて表示されたOCT画像取得領域872A、872B、872C、872Dの各々に対応するOCT画像892A、892B、892C、892Dが表示される。OCT画像892A、892B、892C、892Dは、例えば、OCT画像取得領域872A、872B、872C、872Dをスキャンすることによって断層画像として可視化された渦静脈の形状が表示される。OCT画像892A、892B、892C、892Dの上部に付されたNo.1、No.2、No.3、No.4の符号は、OCT画像取得領域872A、872B、872C、872Dに付されたNo.1、No.2、No.3、No.4の符号の各々に対応する。従って、対象及び断層画像表示欄328Bは、OCT画像取得領域872A、872B、872C、872Dと可視化した渦静脈(又は渦静脈と渦静脈につながる脈絡膜血管)の形状を示すOCT画像892A、892B、892C、892Dとを対応付けて表示することができる。
【0132】
OCT画像表示領域890には、渦静脈の形状を示す画像が表示されているが、本実施形態はこれに限定されない。黄斑のOCT画像を取得した場合は、黄斑の断面画像が、視神経乳頭のOCT画像を取得した場合は、視神経乳頭の断面画像が、OCT画像表示領域890に各々表示される。
【0133】
OCT画像表示領域890には図示しない表示切替ボタンが設けられており、表示切替ボタンをクリックするとOCT画像892A、892B、892C、892Dの表示を切り替えるためのプルダウンメニューが表示される。表示されたプルダウンメニューから、例えば、3Dポリゴン、en-face画像、OCTピクセル又は血流可視化画像等を選択することにより、OCT画像892A、892B、892C、892Dの表示を切り替えることができる。
【0134】
以上説明したように本実施の形態では、VV中心を得ることができ、眼科医によるVV中心を用いた診断を支援することができる。
【0135】
また、上記時実施の形態では、眼底の特定部位の位置と分布中心の位置との位置関係を示す複数の特徴量を算出し、表示するので、眼科医によるVV中心を用いた診断を更に支援することができる。例えば、特徴量には、視神経乳頭とVV中心との距離が算出され、表示されるので、眼科医は、VV中心の一般的な位置(例えば、視神経乳頭OHNの位置)からのずれ(距離)が理解できる。
【0136】
以上説明した実施の形態では、緯度及び経度の各々が0度の位置が眼底の特定部位の位置とした眼球モデルの球面における渦静脈の位置の緯度及び経度、特定部位の位置と渦静脈の位置との間の緯度距離及び経度距離を得ることができる。眼科医による渦静脈の位置の緯度及び経度、特定部位の位置と渦静脈の位置との間の緯度距離及び経度距離を用いた診断を支援することができる。
【0137】
以上説明した実施の形態では、各距離及び各線分は、大円距離であるが、本開示の技術はこれに限定されない。大円距離に代え又は大円距離と共にユークリッド距離(直線距離)を算出するようにしてもよい。
【0138】
上記実施の形態では、VV中心を、各VVの位置へのベクトルを合成することにより得られた合成ベクトルを正規化し、正規化合成ベクトルにより、求めているが、本開示の技術はこれに限定されない。
【0139】
即ち、例えば、第1に、眼球モデルにおいて各VVの位置を緯度及び経度で特定し、各VVの位置の緯度及び経度の各々の平均値を求め、求めた緯度平均値と経度平均値とから、眼球モデルの表面の位置(緯度、経度)のVV中心を求めるようにしてもよい。
【0140】
第2に、眼球モデルにおいて、VV中心として予想される複数の中心候補位置の各点について、各VVの位置との大円距離の合計を求め、大円距離の合計が最小となる中心候補位置をモンテカルロ法などを用いて特定する。そして、この大円距離の合計が最小となる中心候補位置をVV中心とするようにしてもよい。
【0141】
第3に、VV中心を求めるために、検出された全てのVVの位置を利用せずに、検出されたVVの位置の中で、確からしい位置に位置するVVの位置のみを利用するようにしてもよい。例えば、VVが10個検出された場合、その全てではなく、例えば、9個だけ用いる。9個は、VVとして確からしいものを選択した結果、得られ、確からしいものを選択した結果、8個の場合や7個の場合もある。確からしいものは、例えば、隣のVVとの距離が所定値未満のVVを対象から外すことにより、あるいは、VVにつながる脈絡膜血管の本数が所定値以下のVVを対象から外すことにより、選択することができる。この場合、10個のVVの位置までのベクトルを算出し、ベクトルを合成する際に、確からしい位置に位置する9個のVVの位置までのベクトルを合成したり、確からしい位置に位置する9個のVVの位置までのベクトルのみを算出し、算出したベクトルを合成したり、するようにしてもよい。
【0142】
上記実施の形態では、VV中心を特徴量の算出及び表示の対象としているが、本開示の技術はこれに限定されない。例えば、各VVの眼球モデル(3次元空間)における分布中心を対象としてもよい。
【0143】
第1の実施の形態では、視神経乳頭を基準点(緯度及び経度の各々を0度)とした場合のVV中心の特徴量(距離、角度、緯度、経度、経度距離、緯度距離を)算出しているが、本開示の技術はこれに限定されない。例えば、黄斑Mを基準点(緯度及び経度の各々を0度)としたときのVV中心の特徴量(例えば、距離、角度、緯度、経度、経度距離、及び緯度距離)を算出するようにしてもよい。
上記各点の位置を、緯度及び経度用いて、求めているが、極座標を用いて求めてもよい。
【0144】
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
【0145】
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
【0146】
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110、画像ビューワ150、ネットワーク130に設けた別の画像処理装置が画像処理プログラムを実行するようにしてもよい。眼科装置110が画像処理プログラムを実行する場合には、画像処理プログラムはROM16Cに記憶されている。画像ビューワ150が画像処理プログラムを実行する場合には、画像処理プログラムは、画像ビューワ150のメモリ164に記憶されている。別の画像処理装置が画像処理プログラムを実行する場合には、画像処理プログラムは、別の画像処理装置のメモリに記憶されている。
【0147】
上記実施の形態では、眼科装置110、眼軸長測定装置120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼軸長測定装置120を省略し、眼科装置110が、眼軸長測定装置120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
本開示において、各構成要素(装置等)は、矛盾が生じない限りは、1つのみ存在しても2つ以上存在してもよい 。
【0148】
また、上記実施の形態及び各変形例では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
【0149】
このように本開示の技術は、コンピュータを利用したソフトウェア構成により画像処理が実現される場合とされない場合とを含むので、以下の技術を含む。
【0150】
(第1の技術)
被検眼の眼底画像から複数の渦静脈の位置を検出する検出部と、
前記検出された前記複数の渦静脈の位置の分布中心を算出する算出部と、
を備える画像処理装置。
【0151】
(第2の技術)
検出部が、被検眼の眼底画像から複数の渦静脈の位置を検出し、
算出部が、前記検出された前記複数の渦静脈の位置の分布中心を算出する、
画像処理方法。
【0152】
(第3の技術)
被検眼の眼底画像から複数の渦静脈の位置、および、視神経乳頭の位置を検出する検出部と、
前記複数の渦静脈と前記視神経乳頭とを眼球モデルの眼球面に投影する投影部と、
前記眼球モデルの中心から前記眼球面上の各渦静脈の位置への複数のベクトルを生成する生成部と、
前記複数のベクトルを合成した合成ベクトルを算出する算出部と、
を備える画像処理装置。
【0153】
(第4の技術)
検出部が、被検眼の眼底画像から複数の渦静脈の位置、および、視神経乳頭の位置を検出し、
投影部が、前記複数の渦静脈と前記視神経乳頭とを眼球モデルの眼球面に投影し、
生成部が、前記眼球モデルの中心から前記眼球面上の各渦静脈の位置への複数のベクトルを生成し、
算出部が、前記複数のベクトルを合成した合成ベクトルを算出する、
画像処理方法。
【0154】
以上の開示内容から以下の技術が提案される。
【0155】
(第5の技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
被検眼の眼底画像から複数の渦静脈の位置を検出し、
前記検出された前記複数の渦静脈の位置の分布中心を算出する、
ことを実行させる、コンピュータープログラム製品。
【0156】
(第6の技術)
画像処理するためのコンピュータープログラム製品であって、
前記コンピュータープログラム製品は、それ自体が一時的な信号ではないコンピュータ可読記憶媒体を備え、
前記コンピュータ可読記憶媒体には、プログラムが格納されており、
前記プログラムは、
コンピュータに、
被検眼の眼底画像から複数の渦静脈の位置、および、視神経乳頭の位置を検出し、
前記複数の渦静脈と前記視神経乳頭とを眼球モデルの眼球面に投影し、
前記眼球モデルの中心から前記眼球面上の各渦静脈の位置への複数のベクトルを生成し、
前記複数のベクトルを合成した合成ベクトルを算出する、
ことを実行させる、コンピュータープログラム製品。
【0157】
以上説明した各画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0158】
本明細書に記載された全ての文献、特許出願(日本出願:特願2019-220285を含む)、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。