(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】画像処理方法、プログラム、画像処理装置、及び眼科システム
(51)【国際特許分類】
A61B 3/10 20060101AFI20230912BHJP
【FI】
A61B3/10 300
(21)【出願番号】P 2022212705
(22)【出願日】2022-12-28
(62)【分割の表示】P 2020514435の分割
【原出願日】2019-04-18
【審査請求日】2023-01-27
(31)【優先権主張番号】P 2018080272
(32)【優先日】2018-04-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
【審査官】冨永 昌彦
(56)【参考文献】
【文献】米国特許出願公開第2015/0104087(US,A1)
【文献】米国特許出願公開第2005/0207625(US,A1)
【文献】特開2014-140474(JP,A)
【文献】特開2015-202236(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00 - 3/18
(57)【特許請求の範囲】
【請求項1】
眼底画像において、基準線に線対称となる位置に、第1解析点と第2解析点とを設定する設定ステップと、
前記第1解析点における第1血管の前記基準線に対する傾斜勾配が、第1角度範囲内であることを算出する第1算出ステップと、
前記第2解析点における第2血管の前記基準線に対する傾斜勾配が、第2角度範囲内であることを算出する第2算出ステップと、
前記第1角度範囲と前記第2角度範囲とに基づいて、前記基準線に対する前記第1血管の走行方向と前記基準線に対する前記第2血管の走行方向とを比較し非対称性を解析する解析ステップと、
を含む画像処理方法。
【請求項2】
前記第1算出ステップでは、前記第1解析点の画素と、前記第1解析点の周辺画素との輝度勾配に基づいて、前記第1血管の前記基準線に対する傾斜勾配を求める、請求項1に記載の画像処理方法。
【請求項3】
前記第2算出ステップでは、前記第2解析点の画素と、前記第2解析点の周辺画素との輝度勾配に基づいて、前記第2血管の前記基準線に対する傾斜勾配を求める、請求項1または請求項2に記載の画像処理方法。
【請求項4】
前記解析ステップの解析結果を表示する解析画面を生成するステップをさらに含む、請求項1から請求項3の何れか1項に記載の画像処理方法。
【請求項5】
前記眼底画像より、検出された黄斑の位置と視神経乳頭の位置とに基づいて、前記基準線を設定する設定ステップをさらに含む、請求項1から請求項4の何れか1項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法、プログラム、画像処理装置、及び眼科システムに関する。
【背景技術】
【0002】
特開2015-202236号公報には、血管領域を抽出して血管径を計測する技術が開示されている。従来から、眼底画像を解析し血管径を計測することが求められている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【0004】
本開示の技術の第1の態様の画像処理方法は、眼底画像において、基準線に対称となる第1解析点と第2解析点とを設定するステップと、前記第1解析点における第1血管走行方向と、前記第2解析点における第2血管走行方向とを求めるステップと、前記第1血管走行方向と前記第2血管走行方向の非対称性を解析するステップと、を含む。
【0005】
本開示の技術の第2の態様の画像処理方法は、眼底画像において、第1領域内に複数の第1解析点を設定し、第2領域内に複数の第2解析点を設定するステップと、前記複数の第1解析点の各々について第1血管走行方向と、前記複数の第2解析点の各々について第2血管走行方向とを求めるステップと、前記複数の第1解析点と前記複数の第2解析点との間で、線対称となる第1解析点と第2解析点の複数の組合せを定義し、前記定義された複数の組合せの各々の前記第1血管走行方向と前記第2血管走行方向との対称性を示す対称性指標を求めるステップと、を含む。
【0006】
本開示の技術の第3の態様のプログラムは、コンピュータに第1の態様又は第2の態様の画像処理方法を実行させる。
【0007】
本開示の技術の第4の態様の画像処理装置は、処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、を備える画像処理装置であって、前記画像処理方法は、第1の態様又は第2の態様の画像処理方法である。
【0008】
本開示の技術の第5の態様の眼科システムは、第4の態様の画像処理装置と、前記眼底画像を撮影する眼科装置と、を含む。
【図面の簡単な説明】
【0009】
【
図2】眼科装置110の全体構成を示す概略構成図である。
【
図3】管理サーバ140の電気系の構成のブロック図である。
【
図4】管理サーバ140のCPU162の機能のブロック図である。
【
図5】画像処理プログラムのフローチャートである。
【
図6】
図5のステップ210の血管走行方向の解析処理プログラムのフローチャートである。
【
図7】
図5のステップ212の血管走行方向の対称性の解析処理プログラムのフローチャートである。
【
図8B】脈絡膜血管画像に設定された複数の解析点を示す図である。
【
図9】黄斑Mと視神経乳頭とを結ぶ直線LINが水平になるように回転した脈絡膜血管画像において、直線LINを基準に線対称になるように配置された解析点242、246の勾配方向のヒストグラムを示す図である。
【
図10】直線LIN、各解析点、各ヒストグラムの位置関係を示す図である。
【
図11】脈絡膜血管解析モードの表示画面300を示す図である。
【
図12】
図11の表示画面で、対称性アイコン334をクリックされた場合に表示される表示画面である。
【
図13】
図12の表示画面で、非対称性ヒストグラム表示アイコン346がクリックされた場合に表示される表示画面である。
【
図14】
図12の表示画面で、非対称性カラー表示アイコン348がクリックされた場合に表示される表示画面である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。
【0011】
図1を参照して、眼科システム100の構成を説明する。
図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。
【0012】
眼科装置110、眼軸長測定器120、管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。
【0013】
なお、他の眼科機器(OCT(Optical Coherence Tomography)測定、視野測定、眼圧測定などの検査機器)や人工知能を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150に接続されていてもよい。
【0014】
次に、
図2を参照して、眼科装置110の構成を説明する。
図2に示すように、眼科装置110は、制御ユニット20、表示/操作ユニット30、及びSLOユニット40を備え、被検眼12の後眼部(眼底)を撮影する。さらに、眼底のOCTデータを取得する図示せぬOCTユニットを備えていてもよい。
【0015】
制御ユニット20は、CPU22、メモリ24、及び通信インターフェース(I/F)26等を備えている。表示/操作ユニット30は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ32及びタッチパネルなどの入力/指示デバイス34を備えている。
【0016】
SLOユニット40は、G光(緑色光:波長530nm)の光源42、R光(赤色光:波長650nm)の光源44、IR光(赤外線(近赤外光):波長800nm)の光源46を備えている。光源42、44、46は、制御ユニット20により命令されて、各光を発する。SLOユニット40は、光源42、44、46からの光を、反射又は透過して1つの光路に導く光学系50、52、54、56を備えている。光学系50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0017】
SLOユニット40は、光源42、44、46からの光を、被検眼12の後眼部(眼底)に渡って、2次元状に走査する広角光学系80を備えている。SLOユニット40は、被検眼12の後眼部(眼底)からの光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット40は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット40は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット40は、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0018】
広角光学系80は、光源42、44、46からの光を、X方向に走査するポリゴンミラーで構成されたX方向走査装置82、Y方向に走査するガルバノミラーで構成されたY方向走査装置84、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系86を備えている。光学系86により、眼底の視野角(FOV:Field of View)を眼底周辺部超広角(Ultra Wide Field)とし、広範囲の眼底領域を撮影することができる。具体的には、被検眼12の外部からの外部光照射角で約120度(被検眼12の眼球の中心Oを基準位置として、被検眼12の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、200度程度)の広範囲の眼底領域を撮影することができる。光学系86は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。X方向走査装置82及びY方向走査装置84の各走査装置はMEMSミラーを用いて構成された二次元スキャナを用いてもよい。
【0019】
光学系86としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願PCT/JP2014/084619や国際出願PCT/JP2014/084630に記載された楕円鏡を用いたシステムを用いる構成でもよい。2014年12月26日に国際出願された国際出願PCT/JP2014/084619(国際公開WO2016/103484)の開示及び2014年12月26日に国際出願された国際出願PCT/JP2014/084630(国際公開WO2016/103489)の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0020】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0021】
カラー眼底画像は、G光及びR光で同時に被検眼12の眼底が撮影されることにより、得られる。より詳細には、制御ユニット20が、同時に発光するように光源42、44を制御し、被検眼12の眼底に渡って、広角光学系80によりG光及びR光が走査される。そして、被検眼12の眼底から反射されたG光がG光検出素子72により検出され、第2眼底画像(G色眼底画像)の画像データが眼科装置110のCPU22により生成される。同様に、被検眼12の眼底から反射されたR光がR光検出素子74により検出され、第1眼底画像(R色眼底画像)の画像データが、眼科装置110のCPU22により生成される。また、IR光が照射された場合は、被検眼12の眼底から反射されたIR光がIR光検出素子76により検出され、IR眼底画像の画像データが眼科装置110のCPU22により生成される。
【0022】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、第1眼底画像(R色眼底画像)には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、第2眼底画像(G色眼底画像)には、網膜に存在する血管(網膜血管)の情報が含まれる。
【0023】
眼科装置110のCPU22は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを所定の比率で混合し、カラー眼底画像として、ディスプレイ32に表示する。なお、カラー眼底画像ではなく、第1眼底画像(R色眼底画像)、第2眼底画像(G色眼底画像)、あるいは、IR眼底画像を表示するようにしてもよい。
【0024】
第1眼底画像(R色眼底画像)の画像データ、第2眼底画像(G色眼底画像)の画像データ、IR眼底画像の画像データは、通信IF26を介して眼科装置110から管理サーバ140へ送付され、後述するメモリ164に記憶される。
【0025】
このようにG光及びR光で同時に被検眼12の眼底が撮影されるので、第1眼底画像(R色眼底画像)の各位置と、この位置に対応する第2眼底画像(G色眼底画像)における位置とは、眼底において同じ位置である。
【0026】
図1の眼軸長測定器120は、被検眼12の眼軸方向(Z方向)の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモード及び第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ140に送信する。
【0027】
眼軸長は患者のデータの一つとして管理サーバ140に患者情報としてメモリ164に保存されるとともに、眼底画像解析にも利用される。
【0028】
次に、
図3を参照して、管理サーバ140の構成を説明する。
図3に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネルなどの入力/指示デバイス174を備えている。管理サーバ140は、本開示の技術の「画像処理装置」の一例である。
【0029】
画像ビューワ150の構成は、管理サーバ140と同様であるので、その説明を省略する。
【0030】
次に、
図4を参照して、管理サーバ140のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、
図4に示すように、画像処理部182、表示制御部184、及び処理部186として機能する。
【0031】
次に、
図5を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU162が画像処理プログラムを実行することで、
図5のフローチャートに示された画像処理が実現される。
【0032】
画像処理プログラムは、管理サーバ140が、眼科装置110で撮影された眼底画像の画像データに基づいて脈絡膜血管画像を生成した時に実行される。
【0033】
脈絡膜血管画像は以下のようにして生成される。管理サーバ140の画像処理部182は、ブラックハットフィルタ処理を第2眼底画像(G色眼底画像)に施すことにより、第2眼底画像(G色眼底画像)から網膜血管を抽出する。次に、画像処理部182は、第1眼底画像(R色眼底画像)から、第2眼底画像(G色眼底画像)から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第2眼底画像(G色眼底画像)から抽出された網膜血管の位置情報を用いて第1眼底画像(R色眼底画像)の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部182は、網膜血管が除去された第1眼底画像(R色眼底画像)の画像データに対し、適応ヒストグラム均等化処理(Contrast Limited Adaptive Histogram Equalization)を施すことにより、第1眼底画像(R色眼底画像)において、脈絡膜血管を強調する。これにより、
図8Aに示す脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ164に記憶される。脈絡膜血管画像は、本開示の技術の「眼底画像」の一例である。
また、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)から脈絡膜血管画像を生成しているが、次に、画像処理部182は、第1眼底画像(R色眼底画像)あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
【0034】
画像処理プログラムがスタートすると、
図5のステップ202で、処理部186は、脈絡膜血管画像(
図8A参照)とG色眼底画像をメモリ164から読み出す。G色眼底画像は黄斑と視神経乳頭が鮮明に撮影されており、脈絡膜血管画像に比べて、黄斑と視神経乳頭を画像処理で判別しやすい。よって、以下に説明する黄斑と視神経乳頭の位置検出には、G色眼底画像を用いる。
【0035】
ステップ204で、画像処理部182は、G色眼底画像から視神経乳頭ONH(
図9も参照)を検出する。G色(緑色)レーザ光は網膜層で反射をするので、網膜の構造物を抽出するためにはG色レーザ光で撮影されたG色眼底画像を用いるのがよい。画像処理部182は、視神経乳頭ONHはG色眼底画像においてもっとも明るい領域であるので、上記読み出したG色眼底画像において画素値が最も大きい所定数の画素の領域を、視神経乳頭(ONH)として検出する。最も明るい画素を含む領域の中心位置を視神経乳頭(ONH)が位置する座標として算出し、メモリ164に記憶する。
【0036】
ステップ206で、画像処理部182は、G色眼底画像から黄斑M(
図9も参照)を検出する。具体的には、画像処理部182は、黄斑は脈絡膜血管画像において暗い領域であるので、上記読み出した脈絡膜血管画像において画素値が最も小さい所定数の画素の領域を、黄斑Mとして検出する。最も暗い画素を含む領域の中心位置を黄斑Mが位置する座標として算出し、メモリ164に記憶する。
【0037】
ステップ208で、画像処理部182は、
図8B及び
図9に示すように、G色眼底画像から算出された、黄斑Mの座標と視神経乳頭ONHの座標を読み出す。画像処理部182は、読み出されたぞれぞれの座標を脈絡膜血管画像上に設定し、脈絡膜血管画像上に黄斑Mと視神経乳頭ONHとを結ぶ直線LINを設定する。ここで、脈絡膜血管画像はG色眼底画像とR色眼底画像から生成されるため、G色眼底画像で検出された黄斑Mの座標と視神経乳頭ONHの座標は、脈絡膜血管画像でも黄斑Mの位置と視神経乳頭ONHの位置に一致する。そして、画像処理部182は、この直線LINが水平になるように、脈絡膜血管画像を回転させる。
【0038】
ステップ210で、画像処理部182は、脈絡膜血管の血管走行方向を解析し、ステップ212で、画像処理部182は、脈絡膜血管の血管走行方向の対称性を解析し、ステップ214で、画像処理部182は、解析結果をメモリ164に保存する。
ステップ210と212の処理の詳細は後述する。
【0039】
次に、
図6、
図8B、及び
図9を参照して、ステップ210の血管走行方向の解析処理を説明する。
図6のステップ222で、画像処理部182は、次のように解析点を設定する。
【0040】
図8Bに示すように、脈絡膜血管画像において直線LINにより、第1の領域274と第2の領域272とが設定される。具体的には、第1の領域は直線LINより上側に位置し、第2の領域は直線LINより下側に位置する。
【0041】
画像処理部182は、解析点240KUを、第1の領域274において、上下方向にM(自然数)行、左右(水平)方向にN(自然数)列に、等間隔に格子状のパターンに位置するように、配置する。
図8Bでは、第1の領域264における解析点の個数は、M(3)×N(7)(=L:21)個である。なお、脈絡膜血管画像は正角図法に従って表示されるので、解析点は格子状のパターンに位置するが、脈絡膜血管画像が他の図法で表示されるのであれば、画像処理部182は、解析点を、当該他の図法に合ったパターンに配置する。
画像処理部182は、解析点240KDを、第2の領域272において、第1の領域274において配置した解析点240KUと、直線LINを基準に線対称となる位置に、配置する。
【0042】
なお、解析点240KU、240KDは、第1の領域274と第2の領域272とで、直線LINを基準に線対称となる位置に位置すればよいので、等間隔に格子状のパターンに位置することに限定されず、等間隔でなかったり、格子状のパターンでなかったりしてもよい。
第1の領域274と第2の領域272の大きさは眼軸長に応じて変化させて良い。Lの個数、M、Nも上述の例に限らず様々な値を設定することができる。数を増やせば分解能が上がる。
【0043】
ステップ224で、画像処理部182は、各解析点における脈絡膜血管の血管走行方向を算出する。具体的には、画像処理部182は、全ての解析点の各々に対して、下記の処理を繰り返す。即ち、画像処理部182は、
図9に示すように、解析点242に対応する中心画素に対して、当該中心画素を中心とした周囲の複数の画素で構成される領域(セル)244を設定する。
図8B及び
図9では領域244は上下反転されて示している。これは上側の組となる解析点246を含む領域248との比較を容易にするためである。
【0044】
そして、画像処理部182は、セル244内の各画素における輝度の勾配方向(0度以上から180度未満の角度で示される。なお、0度は直線LIN(水平線)の方向と定義する。)を、計算対象画素の周囲の画素の輝度値に基づいて計算する。この勾配方向の計算をセル244内のすべての画素に対して行う。
【0045】
次に、画像処理部182は、勾配方向が、角度基準線を基準とした0度、20度、40度、60度、80度、100度、120度、140度、160度の9つのビン(各ビンの幅が20度)があるヒストグラム242Hを作成するため、各ビンに対応する勾配方向のセル244内の画素数をカウントする。角度基準線は、直線LINである。ヒストグラムの1つのビンの幅は20度に相当し、0度のビンには、0度以上10度未満と170度以上180度未満の勾配方向を持つ、セル244内の画素数(カウント値)が設定される。20度のビンは、10度以上30度未満の勾配方向を持つ、セル244内の画素数(カウント値)が設定される。同様に、40度、60度、80度、100度、120度、140度、160度のビンのカウント値も設定される。ヒストグラム242のビンの数が9であるので、解析点242の血管走行方向は9種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。
【0046】
各ビンにおけるカウント値(ヒストグラム242Hの縦軸)は規格化がなされ、
図9に示される解析点242に対するヒストグラム242Hが作成される。
【0047】
次に、画像処理部182は、ヒストグラム242Hから、解析点の血管走行方向を特定する。具体的には、最もカウント値の小さい角度、
図9に示す例では60度のビンを特定し、特定されたビンの勾配方向である60度を解析点242の血管走行方向と特定する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するビンのカウント値が少なくなる。
【0048】
同様にして、解析点246についてもセル248が設定されヒストグラム246Hが作成される。ヒストグラム246Hのビンの中で最もカウント値が小さい160度のビンを特定する。よって、解析点246の血管走行方向は160度と特定される。
ヒストグラム242H及びヒストグラム246Hは、本開示の技術の「第1ヒストグラム」、「第2ヒストグラム」の一例である。
【0049】
以上の処理をすべての第1の領域及び第2の領域におけるすべての解析点に対して行うことにより、脈絡膜血管画像で設定した各解析点における血管走行方向が特定される。即ち、
図10に示すように、各解析点のヒストグラムが求められる。
図10では、直線LINより下側の第2領域のヒストグラムの並べ方を変えて表示している。これは、
図10において解析点U1に対応するヒストグラムはヒストグラムU1Hであり、とその対象となる解析点D1に対応するヒストグラムはヒストグラムD1Hである。第1の領域と第2の領域とで、ヒストグラムの並べ方を一致させている(第2の領域のヒストグラムを、第1の領域と同じ順序で並べている)。
【0050】
ステップ226で、画像処理部182は、次の各データを保存する。即ち、画像処理部182は、黄斑Mの位置、視神経乳頭ONHの位置、脈絡膜血管画像を直線LINが水平になるように回転させた回転角度、解析点(L個)の各位置(XY座標)、直線LINを基準に線対称となる解析点の組み合わせ情報(第1及び第2の領域解析点の番号の組合せ)、及び各解析点の血管走行方向、各解析点のヒストグラムを、メモリ164に保存する。
【0051】
次に、
図7を参照して、
図5のステップ212の血管走行方向の対称性の解析処理を説明する。
図7のステップ232で、画像処理部182は、上下(第1及び第2の領域)の各解析点と、その点の血管走行方向を読み出す。具体的には、画像処理部182は、直線LINを基準に線対称となる解析点の各組について、各解析点と、その点の血管走行方向を読み出す。
【0052】
ステップ234で、画像処理部182は、直線LINを基準に線対称となる解析点の各組について、非対称性を示す値を算出する。非対称性を示す値は血管走行方向の差であり、当該差は、各組の各解析点のヒストグラムから求められる。組となるヒストグラムの各ビンにおける度数の差Δhを求め、Δhを二乗する。そして各ビンのΔh2の和であるΣΔh2を計算することにより求める。ΣΔh2が大きければ、ヒストグラムの形状が大きく異なることから、非対称性も大きくなり、小さければヒストグラムの形状が似ていることから非対称性が小さいことになる。
各組の各解析点のヒストグラムは、本開示の技術の「第1血管走行方向」、「第2血管走行方向」の一例である。
なお、非対称性を示す値は、このような各組の各解析点のヒストグラムの二乗誤差の和に限定されない。各組の各解析点のヒストグラムから代表角度を決定し、その絶対値差を算出したりしてもよい。
【0053】
ステップ236で、画像処理部182は、非対称な解析点の組を検出する。具体的には、画像処理部182は、各組の非対称性を示す値が閾値以上の場合に、当該組は非対称な解析点として検出する。閾値は事前に設定された一定値であるが、各組の非対称を示す値の全体平均値でもよい。
図10はステップ236の解析結果を示す図である。第1の領域(上側の領域274)の解析点U1と第2の領域(下側の領域272)の解析点D1とが線対称の関係であり組となっており、同様の解析点U11と解析点D11が線対称の関係であり組となっている。ステップ234での解析の結果、これらの組が、非対称性を示す値が閾値以上と判定され、非対称な解析点をもつ組として特定される。矢印UA1が解析点U1の血管走行方向を示す矢印であり160度の方向を示している。同様に、矢印DA1は解析点D1の血管走行方向を示す矢印であり、60度の方向を示している。矢印UA11が解析点U11の血管走行方向を示す矢印であり160度の方向を示している。同様に、矢印DA11は解析点D11の血管走行方向を示す矢印であり、40度の方向を示している。
【0054】
ステップ238で、画像処理部182は、次のデータをメモリ164に保存する。即ち、画像処理部182は、各組についての、非対称性を示す値、非対称性を示す値が閾値以上であるか否か(非対称であるか否か)のフラグ、各組の解析点の血管走行方向の角度をメモリ164に保存する。
【0055】
次に、脈絡膜血管解析モードの表示画面について説明する。管理サーバ140のメモリ164には、以下の脈絡膜血管解析モードの表示画面を作成するためのデータ、あるいは当該表示画面に表示させるコンテンツデータを有する。
【0056】
具体的には以下のデータである。眼科装置110から管理サーバ140には、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データが送信され、管理サーバ140は、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データを有する。管理サーバ140は、脈絡膜血管画像(
図8A参照)の画像データを有する。管理サーバ140は、黄斑Mの位置、視神経乳頭ONHの位置、脈絡膜血管画像を直線LINが水平になるように回転させた回転角度、解析点(L個)の各位置、直線LINを基準に線対称となる解析点の組、及び各解析点の特徴量であるヒストグラムと走行方向を示す角度を有する。管理サーバ140は、解析点の組についての非対称性を示す値及び非対称性を示す値が閾値以上であるか否か(非対称であるか否か)のフラグを有する。
【0057】
また、患者の眼底が撮影される際には、眼科装置110には、患者の個人情報が入力される。個人情報には、患者のID、氏名、年齢、及び視力等が含まれる。また、患者の眼底が撮影される際には、眼底が撮影される眼は、右眼なのか左眼なのかを示す情報も入力される。更に、患者の眼底が撮影される際には、撮影日時も入力される。眼科装置110から管理サーバ140には、個人情報、右眼・左眼の情報、及び、撮影日時のデータが送信される。管理サーバ140は、個人情報、右眼・左眼の情報、及び、撮影日時のデータを有する。管理サーバ140は、眼軸長のデータを有する。
【0058】
以上のように管理サーバ140は、以上の脈絡膜血管解析モードの表示画面を作成するためのデータを有する。
【0059】
眼科医が、患者を診断する際に、画像ビューワ150に表示された絡膜血管解析モードの表示画面を見ながら診断を行う。その場合、眼科医は画像ビューワ150を介して、脈絡膜血管解析モード画面の表示要求を図示せぬメニュー画面を通じて管理サーバ140に送信する。当該要求を受信した管理サーバ140の表示制御部184は、指定された患者IDのコンテンツデータを用いて、脈絡膜血管解析モードの表示画面を作成し、処理部186は、画像ビューワ150に、表示画面の画像データを送信する。
なお、処理部186は、本開示の技術の「出力部」の一例である。
脈絡膜血管解析モードの表示画面のデータを受信した画像ビューワ150は、脈絡膜血管解析モードの表示画面のデータに基づいて、
図11に示す脈絡膜血管解析モードの表示画面300を、ディスプレイ172に表示する。
【0060】
ここで、
図11に示す脈絡膜血管解析モードの表示画面300を説明する。
図11に示すように、脈絡膜血管解析モードの表示画面300は、患者の個人情報を表示する個人情報表示欄302、画像表示欄320、及び脈絡膜解析ツール表示欄330を有する。
【0061】
個人情報表示欄302は、患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、視力表示欄312、及び患者選択アイコン314を有する。患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、及び視力表示欄312に、各情報を表示する。なお、患者選択アイコン314がクリックされると、患者一覧を画像ビューワ150のディスプレイ172に表示し、解析対象となる患者をユーザ(眼科医など)に選択させる。
【0062】
画像表示欄320は、撮影日付表示欄322N1から322N3、右眼情報表示欄324R、左眼情報表示欄324L、RG画像表示欄326、脈絡膜血管画像表示欄328、及び情報表示欄342を有する。なお、RG画像は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを、各画素値の大きさを所定の割合(例えば、1:1)で合成することにより得られる画像である。
【0063】
脈絡膜解析ツール表示欄330は、複数の脈絡膜解析を選択するアイコン類が評される欄である。渦静脈位置アイコン332、対称性アイコン334、血管径アイコン336、渦静脈・黄斑/乳頭アイコン338、及び脈絡膜解析レポートアイコン340を備える。
渦静脈位置アイコン332は、渦静脈位置を表示させることを指示する。対称性アイコン334は、解析点の対称性を表示することを指示する。血管径アイコン336は、脈絡血管の径に関する解析結果を表示させることを指示する。渦静脈・黄斑/乳頭アイコン338は、渦静脈、黄斑、及び視神経乳頭の間の位置を解析した解析結果を表示させることを指示する。脈絡膜解析レポートアイコン340は、脈絡膜解析レポートを表示することを指示する。
【0064】
画像ビューワ150の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。ビューワ150のユーザ(眼科医など)がアイコン等をクリックすると、画像ビューワ150から管理サーバ140に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ150からの指示信号を受信した管理サーバ140は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ150に送信する。管理サーバ140から画像データを受信した画像ビューワ150は、受信した画像データに基づいて画像をディスプレイ172に表示する。管理サーバ140での表示画面の生成処理は、CPU162で動作する表示画面生成プログラムによって行われる。
【0065】
図11は、撮影日付表示欄322N1がクリックされ、患者ID:123456により識別される患者の右眼の眼底が(324Rのアイコンが点灯)、撮影日が2016年1月1日に撮影された場合のRG画像及び脈絡膜血管画像が表示された画面である。
【0066】
図11の脈絡膜解析ツール表示欄330における対称性アイコン334がクリックされると、
図12に示される解析点を表示する表示画面に変更される。
図12に示すように、画像ビューワ150は、脈絡膜血管画像表示欄328に表示されている脈絡膜血管画像に、上記各組の各解析点を、点で表示する。なお、画像ビューワ150は、上記各組の各解析点を、点で表示することに限定されず、各解析点の特徴を可視化した血管走行方向を示す矢印UA1、UA11、DA1、DA11(
図10を参照)を表示したり、当該矢印に代えて又は当該矢印と共に楕円などのマークを表示したりしてもよい。
図12の表示画面の画像表示欄320には、非対称性ヒストグラム表示アイコン346及び非対称性カラー表示アイコン348が設けられている。
【0067】
図12の表示画面の画像表示欄320の非対称性ヒストグラム表示アイコン346がクリックされると、非対称性を示す画面が表示される。具体的には、
図13に示すように、画像ビューワ150は、脈絡膜血管画像表示欄328において、脈絡膜血管画像に表示されている上記各組の各解析点について、非対称性を示す値(ΣΔh
2)が所定値以上である解析点U1、D1、U11、D11の組を、例えば、枠を付すことにより、強調表示する。なお、枠は、同じ組では同じ色であるが、他の組とは違う色を付す。例えば、解析点U1及び解析点D1を囲む枠はともに第1の色(例:レッド)、解析点U11及び解析点D11を囲む枠はともに第2の色(例:オレンジ)を付す。更に、画像ビューワ150は、脈絡膜血管画像に、上記組の各解析点U1、D1、U11、D11のそれぞれの血管走行方向の角度60度、160度、50度、150度に沿った矢印UA1、DA1、UA11、DA11を表示する。 矢印UA1、UA11及び矢印UDA1、DA11は、本開示の技術の「第1指標」(「第1矢印」)、「第2指標」(第2矢印)の一例である。
【0068】
また、画像ビューワ150は、RG画像表示欄326に代えて、各解析点のヒストグラムをヒストグラム表示欄350に表示し、非対称性を示す値(ΣΔh2)が所定値以上であるヒストグラムの組を強調表示する。情報表示欄342には、非対称の組の解析点番号を表示する。
【0069】
図13では、解析点U1及び解析点D1と、解析点U11及び解析点D11とが非対称の組として定義されている。よって、画像ビューワ150は、脈絡膜血管画像表示欄328において、解析点U1及び解析点D1を囲む枠はともに第1の色(例:レッド)、解析点U11及び解析点D11を囲む枠はともに第2の色(例:オレンジ)のように同じ組については同じ色の枠で他の組とは異なる色の枠を表示する。
【0070】
画像ビューワ150は、ヒストグラム表示欄350において、解析点U1のヒストグラムU1H及び解析点D1のヒストグラムD1Hを囲む枠はともに第1の色(例:レッド)、解析点U11のヒストグラムU11H及び解析点D11のヒストグラムD11Hを囲む枠は第2の色(例:オレンジ)のように同じ組については同じ色の枠で他の組とは異なる色の枠を表示する。脈絡膜血管画像表示欄328の解析点を囲う枠の色と、ヒストグラム表示欄350のヒストグラムを囲う枠の色は、解析点の番号が同じであれば同一色とし、視認性を高めている。
【0071】
画像ビューワ150は、情報表示欄342には、解析点U1及び解析点D1と、解析点U11及び解析点D11が非対称の組であること、具体的には、「U1とD1が非対称である」、「U11とD11が非対称である」というテキストを表示する。
【0072】
図12の表示画面の画像表示欄320の非対称性カラー表示アイコン348がクリックされると、
図13の表示画面に代えて
図14に示す表示画面を表示するようにしてもよい。
図13及び
図14の各々の表示画面は、
図13ではヒストグラム表示欄350が表示され、
図14では、ヒストグラム表示欄350に代えて、非対称性を示す値(ΣΔh
2)に応じて色分けしたカラーマップ表示欄360を表示する点のみが異なる。以下、カラーマップ表示欄360のみを説明する。
【0073】
まず、画像ビューワ150のメモリ164には、非対称性を示す値(ΣΔh2)の大きさに応じて予め色が対応付けられて記憶されている。なお、例えば、非対称性を示す値(ΣΔh2)の大きさが大きいほど濃い色が対応付けられている。また、カラーマップ表示欄360には、各解析点の個数及び位置に応じて矩形の領域が定められている。
【0074】
画像ビューワ150は、各解析点に対応する非対称性を示す値(ΣΔh2)の大きさと、非対称性を示す値(ΣΔh2)の大きさに応じて予め定められた色とに基づいて、各解析点に対応する矩形の領域に、各解析点に対応する非対称性を示す値(ΣΔh2)の大きさに対応する色を表示する。
【0075】
また、画像ビューワ150は、ヒストグラム表示欄360において、非対称な解析点の組に対応する上記矩形の領域には、同じ色の枠で他の組とは異なる色の枠を表示する。例えば、解析点U1、D1に対応する矩形の領域RU1、RD1には、第1の色(例:レッド)の枠、解析点U11、D11に対応する矩形の領域RU11、RD11には、第2の色(例:オレンジ)の枠を表示する。
【0076】
以上説明したように、本実施の形態では、脈絡膜血管画像を解析し、黄斑Mと視神経乳頭とを結ぶ直線LINを基準に線対称となる解析点の組の非対称性を解析し、非対称性の解析点の組を強調表示している。よって、脈絡膜血管の走行方向の非対称性を把握することができる。さらに、脈絡膜血管の走行方向の非対称性を可視化することにより、眼科医による眼底の診断を支援することができる。
また、広角光学系を用いたSLOユニットにより、眼球中心からの角度で200度以上の範囲の超広角のUWF-SLO画像を得ることができる。UWF-SLO画像を用いることにより、眼底の周辺部を含む広範囲の対称性を解析することができる。
【0077】
次に、本開示の技術の種々の変形例を説明する。
<第1の変形例>
上記実施の形態では、脈絡膜血管画像が、黄斑と視神経乳頭とを結ぶ直線LINにより第1の領域と第2の領域とに分割され、解析点が、第1の領域と第2の領域において、直線LINを基準に線対称となる位置に配置されている。本開示の技術は、これに限定されない。例えば、黄斑と視神経乳頭との中心を基準に線LINに直交する線(直交線)により脈絡膜血管画像を耳側領域と鼻側領域とに分割する。そして、直交線を基準に線対称となる位置に解析点を配置してもよい。更に、黄斑と視神経乳頭との中心を基準に直線LINに所定角度、例えば、45度又は135度で交差する線(交差線)により脈絡膜血管画像を分割し、交差線を基準に線対称となる位置に解析点を配置してもよい。
【0078】
<第2の変形例>
上記実施の形態では、各解析点の脈絡膜血管の血管走行方向を作成している。本開示の技術は、これに限定されない。例えば、脈絡膜血管画像の各画素の3次元位置を特定し、脈絡膜血管の血管走行方向を3次元空間における方向で算出してもよい。図示せぬ眼科機器110に備えられたOCT(Optical Coherence Tomography)ユニットを用いて得られたOCTボリューム(体積)データを用いて3次元位置及び3次元空間における方向を算出する。
【0079】
<第3の変形例>
上記実施の形態では、管理サーバ140が、予め
図5に示す画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。
図11に示す対称性アイコン334がクリックされた場合に、画像ビューワ150が管理サーバ140に画像処理命令を送信する。これに応じて管理サーバ140が、
図5の画像処理プログラムを実行するようにしてもよい。
【0080】
<第4の変形例>
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
【0081】
<第5の変形例>
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
【0082】
<第6の変形例>
上記実施の形態では、脈絡膜血管の走行方向から非対称性を解析しているが、網膜血管の走行方向から非対称性を解析するように、本開示の技術を適用してもよい。
【0083】
<第7の変形例>
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110又は画像ビューワ150が画像処理プログラムを実行するようにしてもよい。
【0084】
<第8の変形例>
上記実施の形態では、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼軸長測定器120を省略し、眼科装置110が、眼軸長測定器120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
【0085】
<その他の変形例>
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。