IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7484708画像処理方法、プログラム、及び画像処理装置
<>
  • 特許-画像処理方法、プログラム、及び画像処理装置 図1
  • 特許-画像処理方法、プログラム、及び画像処理装置 図2
  • 特許-画像処理方法、プログラム、及び画像処理装置 図3
  • 特許-画像処理方法、プログラム、及び画像処理装置 図4
  • 特許-画像処理方法、プログラム、及び画像処理装置 図5
  • 特許-画像処理方法、プログラム、及び画像処理装置 図6A
  • 特許-画像処理方法、プログラム、及び画像処理装置 図6B
  • 特許-画像処理方法、プログラム、及び画像処理装置 図7
  • 特許-画像処理方法、プログラム、及び画像処理装置 図8
  • 特許-画像処理方法、プログラム、及び画像処理装置 図9
  • 特許-画像処理方法、プログラム、及び画像処理装置 図10
  • 特許-画像処理方法、プログラム、及び画像処理装置 図11
  • 特許-画像処理方法、プログラム、及び画像処理装置 図12
  • 特許-画像処理方法、プログラム、及び画像処理装置 図13
  • 特許-画像処理方法、プログラム、及び画像処理装置 図14
  • 特許-画像処理方法、プログラム、及び画像処理装置 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】画像処理方法、プログラム、及び画像処理装置
(51)【国際特許分類】
   A61B 3/10 20060101AFI20240509BHJP
   A61B 3/12 20060101ALI20240509BHJP
【FI】
A61B3/10 300
A61B3/12
【請求項の数】 11
(21)【出願番号】P 2020514437
(86)(22)【出願日】2019-04-18
(86)【国際出願番号】 JP2019016653
(87)【国際公開番号】W WO2019203310
(87)【国際公開日】2019-10-24
【審査請求日】2022-03-04
(31)【優先権主張番号】P 2018080274
(32)【優先日】2018-04-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】田邉 泰士
(72)【発明者】
【氏名】廣川 真梨子
【審査官】牧尾 尚能
(56)【参考文献】
【文献】米国特許出願公開第2011/0279776(US,A1)
【文献】特表2001-517521(JP,A)
【文献】国際公開第2014/200093(WO,A1)
【文献】特開2018-057828(JP,A)
【文献】特開平07-136122(JP,A)
【文献】特表2003-511205(JP,A)
【文献】米国特許出願公開第2016/0296112(US,A1)
【文献】SHUICHIRO HIRAKATA, et al.,Densitometry of Choroidal Vessels in Eyes With and Without Central Serous Chorioretinopathy by Wide-,American Journal of ophthalmology,2016年,Vol. 166,pp. 103-111
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00- 3/18
(57)【特許請求の範囲】
【請求項1】
網膜血管と脈絡膜血管とを含む眼底画像から、前記網膜血管が除去された、脈絡膜血管画像上の各画素の輝度勾配の大きさから前記脈絡膜血管の走行方向を算出し、前記脈絡膜血管画像上に複数の仮想の粒子を配置し、前記走行方向に基づいて前記仮想の粒子を所定距離移動させる処理を行い、前記仮想の粒子が所定量以上集まる位置を渦静脈位置として推定するステップと、
前記渦静脈位置と前記脈絡膜血管画像上の眼底の特定部位の位置との位置関係を示す特徴量を算出するステップと、
を含む画像処理方法。
【請求項2】
前記特徴量は、前記渦静脈位置と前記特定部位の位置との距離である、
請求項1記載の画像処理方法。
【請求項3】
前記特定部位は第1特定部位と第2特定部位であり、
前記特徴量は、
前記渦静脈位置と前記第1特定部位の位置とを結ぶ第1線分と、前記第1特定部位の位置と前記第2特定部位の位置とを結ぶ第2線分とで定まる角度である、
請求項1又は請求項に記載の画像処理方法。
【請求項4】
前記特徴量は、前記渦静脈位置と前記第1特定部位の位置との距離を含むことを特徴とする請求項に記載の画像処理方法。
【請求項5】
前記特定部位は、視神経乳頭又は黄斑である、
請求項1から請求項の何れか1項に記載の画像処理方法。
【請求項6】
前記第1特定部位は視神経乳頭であり、前記第2特定部位は黄斑であることを特徴とする請求項に記載の画像処理方法。
【請求項7】
眼底画像上に、前記渦静脈位置と前記特定部位の位置とを結ぶ線分、あるいは前記距離を示す数値を重畳して表示する特徴量重畳眼底画像を生成するステップをさらに備えたことを特徴とする請求項に記載の画像処理方法。
【請求項8】
眼底画像上に、
前記渦静脈位置と前記第1特定部位の位置とを結ぶ第1線分と、
前記第1特定部位の位置と前記第2特定部位の位置とを結ぶ第2線分と、
前記距離を示す数値と、
前記角度を示す数値と、
を重畳して表示する特徴量重畳眼底画像を生成するステップをさらに備えたことを特徴とする請求項に従属する請求項に記載の画像処理方法。
【請求項9】
コンピュータに請求項1から請求項の何れか1項に記載の画像処理方法を実行させるプログラム。
【請求項10】
処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、
前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、
を備える画像処理装置であって、
前記画像処理方法は、請求項1から請求項の何れか1項に記載の画像処理方法である、
画像処理装置。
【請求項11】
画像処理方法を実行する処理装置を備える画像処理装置であって、
前記処理装置は、
網膜血管と脈絡膜血管とを含む眼底画像から、前記網膜血管が除去された、脈絡膜血管画像上の各画素の輝度勾配の大きさから前記脈絡膜血管の走行方向を算出し、前記脈絡膜血管画像上に複数の仮想の粒子を配置し、前記走行方向に基づいて前記仮想の粒子を所定距離移動させる処理を行い、前記仮想の粒子が所定量以上集まる位置を渦静脈位置として推定するステップと、
前記渦静脈位置と前記脈絡膜血管画像上の眼底の特定部位の位置との位置関係を示す特徴量を算出するステップと、
を実行する、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法、プログラム、及び画像処理装置に関する。
【背景技術】
【0002】
特開平7-136122号公報には、眼底画像から視神経乳頭部と黄斑部との位置を検出する技術が開示されている。従来から、眼底画像を用いて眼底疾患の解析を行うことが求められている。
【発明の概要】
【0003】
本開示の技術の第1の態様の画像処理方法は、脈絡膜血管画像を解析し、渦静脈位置を推定するステップと、前記渦静脈位置と眼底の特定部位の位置との位置関係を示す特徴量を算出するステップと、を含む。
【0004】
本開示の技術の第2の態様のプログラムは、コンピュータに第1の態様の画像処理方法を実行させる。
【0005】
本開示の技術の第3の態様の画像処理装置は、処理装置に画像処理方法を実行させるためのプログラムを記憶する記憶装置と、前記記憶装置に記憶されているプログラムを実行することにより前記画像処理方法を実行する処理装置と、を備える眼科装置であって、前記画像処理方法は、第1の態様の画像処理方法である。
【0006】
本開示の技術の第4の態様の画像処理装置は、画像処理方法を実行する処理装置を備える画像処理装置であって、前記処理装置は、脈絡膜血管画像を解析し、渦静脈位置を推定するステップと、前記渦静脈位置と眼底の特定部位の位置との位置の間の位置関係を示す特徴量を算出するステップと、を実行する。
【図面の簡単な説明】
【0007】
図1】眼科システム100のブロック図である。
図2】眼科装置110の全体構成を示す概略構成図である。
図3】管理サーバ140の電気系の構成のブロック図である。
図4】管理サーバ140のCPU162の機能のブロック図である。
図5】画像処理プログラムのフローチャートである。
図6A図5のステップ212のVV特徴量の算出処理におけるVV距離算出処理プログラムのフローチャートである。
図6B図5のステップ212のVV特徴量の算出処理におけるVV角度算出処理プログラムのフローチャートである。
図7】脈絡膜血管画像を示す図である。
図8】黄斑Mの位置、視神経乳頭ONHの位置、及びVVの位置を示した図である。
図9】4象限逆正接関数を示す図である。
図10】黄斑の位置M、視神経乳頭ONHの位置O、VVの位置Vが、眼球中心Cを中心とした球の表面に位置することを示す図である。
図11】脈絡膜血管解析モードの表示画面300を示す図である。
図12】渦静脈・黄斑/乳頭アイコン338がクリックされて、渦静脈、黄斑、及び視神経乳頭の間の位置等が表示される表示画面300を示す図である。
図13】経過観察グラフアイコン346がクリックされて、経過観察グラフ350が表示される表示画面300を示す図である。
図14】散布図表示アイコン348がクリックされて、散布図352Aが表示される表示画面300を示す図である。
図15】散布図表示アイコン348がクリックされて、別の散布図352Bが表示される表示画面300を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。
【0009】
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定装置120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定装置120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。
【0010】
眼科装置110、眼軸長測定装置120、管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。
【0011】
なお、他の眼科機器(OCT(Optical Coherence Tomography)測定、視野測定、眼圧測定などの検査機器)や人工知能を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、眼軸長測定装置120、管理サーバ140、及び画像ビューワ150に接続されていてもよい。
【0012】
次に、図2を参照して、眼科装置110の構成を説明する。図2に示すように、眼科装置110は、制御ユニット20、表示/操作ユニット30、及びSLOユニット40を備え、被検眼12の後眼部(眼底)を撮影する。さらに、眼底のOCTデータを取得する図示せぬOCTユニットを備えていてもよい。
【0013】
制御ユニット20は、CPU22、メモリ24、及び通信インターフェース(I/F)26等を備えている。表示/操作ユニット30は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ32及びタッチパネルなどの入力/指示デバイス34を備えている。
【0014】
SLOユニット40は、G光(緑色光:波長530nm)の光源42、R光(赤色光:波長650nm)の光源44、IR光(赤外線(近赤外光):波長800nm)の光源46を備えている。光源42、44、46は、制御ユニット20により命令されて、各光を発する。
SLOユニット40は、光源42、44、46からの光を、反射又は透過して1つの光路に導く光学系50、52、54、56を備えている。光学系50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0015】
SLOユニット40は、光源42、44、46からの光を、被検眼12の後眼部(眼底)に渡って、2次元状に走査する広角光学系80を備えている。SLOユニット40は、被検眼12の後眼部(眼底)からの光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット40は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット40は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット40は、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0016】
広角光学系80は、光源42、44、46からの光を、X方向に走査するポリゴンミラーで構成されたX方向走査装置82、Y方向に走査するガルバノミラーで構成されたY方向走査装置84、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系86を備えている。光学系86により、眼底の視野角(FOV:Field of View)を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼12の外部からの外部光照射角で約120度(被検眼12の眼球の中心Oを基準位置として、被検眼12の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、200度程度)の広範囲の眼底領域を撮影することができる。光学系86は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。X方向走査装置82及びY方向走査装置84の各走査装置はMEMSミラーを用いて構成された二次元スキャナを用いてもよい。
【0017】
光学系86としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願PCT/JP2014/084619や国際出願PCT/JP2014/084630に記載された楕円鏡を用いたシステムを用いる構成でもよい。2014年12月26日に国際出願された国際出願PCT/JP2014/084619(国際公開WO2016/103484)の開示及び2014年12月26日に国際出願された国際出願PCT/JP2014/084630(国際公開WO2016/103489)の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0018】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0019】
カラー眼底画像は、G光及びR光で同時に被検眼12の眼底が撮影されることにより、得られる。より詳細には、制御ユニット20が、同時に発光するように光源42、44を制御し、被検眼12の眼底に渡って、広角光学系80によりG光及びR光が走査される。そして、被検眼12の眼底から反射されたG光がG光検出素子72により検出され、第2眼底画像(G色眼底画像)の画像データが眼科装置110のCPU22により生成される。同様に、被検眼12の眼底から反射されたR光がR光検出素子74により検出され、第1眼底画像(R色眼底画像)の画像データが、眼科装置110のCPU22により生成される。また、IR光が照射された場合は、被検眼12の眼底から反射されたIR光がIR光検出素子76により検出され、IR眼底画像の画像データが眼科装置110のCPU22により生成される。
【0020】
眼科装置110のCPU22は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを所定の比率で混合し、カラー眼底画像として、ディスプレイ32に表示する。なお、カラー眼底画像ではなく、第1眼底画像(R色眼底画像)、第2眼底画像(G色眼底画像)、あるいは、IR眼底画像を表示するようにしてもよい。
【0021】
第1眼底画像(R色眼底画像)の画像データ、第2眼底画像(G色眼底画像)の画像データ、IR眼底画像の画像データは、通信IF166を介して眼科装置110から管理サーバ140へ送付される。各種眼底画像は脈絡膜血管画像の生成に利用される。
【0022】
図1の眼軸長測定装置120は、被検眼12の眼軸方向(Z方向)の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定装置120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモード及び第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ140に送信する。眼軸長は被検者のデータの一つとして管理サーバ140に患者情報として保存されるとともに、眼底画像解析にも利用される。
【0023】
次に、図3を参照して、管理サーバ140の構成を説明する。図3に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネルなどの入力/指示デバイス174を備えている。
【0024】
画像ビューワ150の構成は、管理サーバ140と同様であるので、その説明を省略する。
【0025】
次に、図4を参照して、管理サーバ140のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、図4に示すように、画像処理部182、表示制御部184、及び処理部186として機能する。
【0026】
次に、図5を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU162が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理が実現される。
【0027】
画像処理プログラムは、管理サーバ140が、眼科装置110で撮影された眼底画像の画像データに基づいて脈絡膜血管画像を生成した時に実行される。
脈絡膜血管画像は以下のようにして生成される。
まず、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とに含まれる情報を説明する。
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、第1眼底画像(R色眼底画像)には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、第2眼底画像(G色眼底画像)には、網膜に存在する血管(網膜血管)の情報が含まれる。よって、第2眼底画像(G色眼底画像)から網膜血管を抽出し、第1眼底画像(R色眼底画像)から網膜血管を除去することにより脈絡膜血管画像を得ることができる。
【0028】
次に、脈絡膜血管画像の生成方法について説明する。管理サーバ140の画像処理部182は、ブラックハットフィルタ処理を第2眼底画像(G色眼底画像)に施すことにより、第2眼底画像(G色眼底画像)から網膜血管を抽出する。次に、画像処理部182は、第1眼底画像(R色眼底画像)から、第2眼底画像(G色眼底画像)から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第2眼底画像(G色眼底画像)から抽出された網膜血管の位置情報を用いて第1眼底画像(R色眼底画像)の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部182は、網膜血管が除去された第1眼底画像(R色眼底画像)の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、第1眼底画像(R色眼底画像)において、脈絡膜血管を強調する。これにより、図7に示す脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ164に記憶される。
また、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)から脈絡膜血管画像を生成しているが、次に、画像処理部182は、第1眼底画像(R色眼底画像)あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
【0029】
画像処理プログラムがスタートすると、図5のステップ202で、処理部186は、眼底画像として、脈絡膜血管画像(図7参照)とG色眼底画像をメモリ164から読み出す。
【0030】
ステップ204で、画像処理部182は、G色眼底画像から黄斑の位置を推定する。具体的には、画像処理部182は、黄斑はG色眼底画像において暗い領域であるので、上記読み出したG色眼底画像において画素値が最も小さい所定数の画素の領域を黄斑の位置として検出する。
【0031】
ステップ206で、画像処理部182は、G色眼底画像から視神経乳頭の位置を検出する。具体的には、画像処理部182は、上記読み出したG色眼底画像に対して、予め定まる視神経乳頭の画像のパターンマッチングをすることにより、G色眼底画像において視神経乳頭を検出する。また、視神経乳頭はG色眼底画像において最も明るい領域であるので、上記読み出したG色眼底画像において画素値が最も大きい所定数の画素の領域を視神経乳頭の位置として検出するようにしてもよい。
ところで、脈絡膜血管画像は、上記のようにR色眼底画像及びG色眼底画像を処理することにより、作られる。従って、G眼底画像の座標系を脈絡膜血管画像の座標系に重ねると、G眼底画像の座標系の各位置は、脈絡膜血管画像の座標系の各位置と同じである。よって、G色眼底画像から検出された黄斑及び視神経乳頭の各々の位置に相当する脈絡膜血管画像上の各位置は、黄斑及び視神経乳頭の各々の位置である。
よって、ステップ204の処理では、G色眼底画像に代えて脈絡膜血管画像から黄斑の位置を検出するようにしてもよい。同様にステップ206の処理では、G色眼底画像に代えて脈絡膜眼底画像から視神経乳頭の位置を検出するようにしてもよい。
【0032】
ステップ208で、画像処理部182は、脈絡膜血管画像において渦静脈(Vortex Vein(以下、「VV」という))位置を検出する。ここで、渦静脈VVとは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに4から6個存在する。
画像処理部182は、脈絡膜血管画像における各画素の血管走行方向を求める。具体的には、画像処理部182は、全ての画素に対して、下記の処理を繰り返す。即ち、画像処理部182は、画素を中心とした周囲の複数の画素で構成される領域(セル)を設定する。そして、セルの各画素における輝度の勾配方向(0度以上から180度未満の角度で示される。なお、0度は直線(水平線)の方向と定義する。)を、計算対象画素の周囲の画素の輝度値に基づいて計算する。この勾配方向の計算をセル内のすべての画素に対して行う。
【0033】
次に、勾配方向が0度、20度、40度、60度、80度、100度、120度、140度、160度の9つのビン(各ビンの幅が20度)があるヒストグラムを作成するため、各ビンに対応する勾配方向のセル内の画素数をカウントする。ヒストグラムの1つのビンの幅は20度に相当し、0度のビンには、0度以上10度未満と170度以上180度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。20度のビンは、10度以上30度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。同様に、40度、60度、80度、100度、120度、140度、160度のビンのカウント値も設定される。ヒストグラムのビンの数が9であるので、画素の血管走行方向は9種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。各ビンにおけるカウント値(ヒストグラムの縦軸)は規格化がなされ、解析点に対するヒストグラムが作成される。
【0034】
次に、画像処理部182は、ヒストグラムから、解析点の血管走行方向を特定する。具体的には、最もカウント値の小さい角度(60度であるとする)のビンを特定し、特定されたビンの勾配方向である60度を画素の血管走行方向と特定する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するビンのカウント値が少なくなる。同様にして、脈絡膜血管画像における各画素に対してヒストグラムを作成し、各画素の血管走行方向を算出する。算出された各画素の血管走行方向はメモリ164に記憶される。
【0035】
そして、画像処理部182は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の仮想の粒子の初期位置を設定する。例えば、M=10、N=50、であり、合計L=500個の初期位置を設定する。
【0036】
さらに、画像処理部182は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。以上の処理を、L個の全ての位置において実行する。L個すべての仮想の粒子に対して設定した移動回数行った時点で、仮想の粒子が一定個数以上集まっている点をVV位置として検出する。
そして、検出されたVVの個数、VV位置情報(脈絡膜血管画像におけるVV位置を示す座標)がメモリ164に記憶される。
【0037】
ステップ210で、画像処理部182は、変数nを1インクリメントして、変数nで識別されるVV(1つ)を選択する。nの初期値はゼロである。
【0038】
ステップ212で、画像処理部182は、それぞれのVVに対して距離に関する第1特徴量(VV距離)と角度に関する第2特徴量(VV角度)を算出する。第1特徴量はVVと眼底の特徴的な構造物との距離であり、黄斑とVVとの距離、あるいは、視神経乳頭とVVとの距離である。第2特徴量はVVと眼底の特徴的な第1構造物と第2構造物との三点で特定される角度であり、VV-黄斑―視神経乳頭がなす角度、あるいは、VV-黄斑―視神経乳頭がなす角度である。
【0039】
ステップ214で、画像処理部182は、変数nが検出されたVVの総数Nに等しいか否かを判断することにより、全てのVVについて処理が終了したか否かを判断する。全てのVVについて処理が終了したと判断されなかった場合、画像処理はステップ210に戻って、変数nを1インクリメントして、上記処理(ステップ210から214)を繰り返す。
【0040】
全てのVVについて処理が終了したと判断された場合には、図5のフローチャートの画像処理は終了する。
【0041】
次に、ステップ212の、2種類のVV特徴量である、第1特徴量(VV距離)と第2特徴量(VV角度)の算出処理を説明する。ステップ212の算出処理は、図6Aに示すVV距離算出処理と、図6Bに示すVV角度算出処理とを含む。
【0042】
まず、図6Aを参照して、VV距離の算出処理を説明する。
ステップ221で、画像処理部182は、脈絡膜眼底画像における視神経乳頭ONH、黄斑M、VV位置の各座標を取得する。
次に、ステップ223で、画像処理部182は、視神経乳頭ONH、黄斑M、VV位置の各座標を図10に示す仮想球面に投影する。図10に示す仮想球面は、眼球の中心をC、半径をR(眼軸長を2Rとする)とした球面である。この球面に、VVの位置をV、視神経乳頭ONHの位置をO、黄斑の位置をMとして投影する。
この仮想球面を眼球モデルと考え、ステップ225で、画像処理部182は、球面上の2点間の大円距離をVV距離として計算する。つまり、球の中心Oを通るように球を切ったときの切り口を大円と定義し、大円距離とは、球面上の距離計測対象の2地点(VV位置:Vと視神経乳頭位置:O、あるいは、VV位置:Vと黄斑:M)を結ぶ大円の弧の長さと定義する。VV位置:Vの仮想球面上での緯度経度を(緯度θ1,経度φ1),視神経乳頭位置:Oの緯度経度(緯度θ2,経度φ2)とすると、本ステップ223で、画像処理部182は、VV位置と視神経乳頭位置との間のVV距離、すなわち大円距離OVを、球面三角法の公式から、計算する。
【0043】
【数1】
本ステップ225で、画像処理部182は、VV距離を黄斑位置MとVV位置Vとした場合も、VV位置と黄斑位置との間の距離、すなわち、大円距離MVを同様に計算してもよい。
ステップ227で、画像処理部182は、算出されたVV距離、即ち、VV位置と視神経乳頭位置との間のVV距離(大円距離OV)及びVV位置と黄斑位置との間の距離(大円距離MV)を、メモリ164に記憶する。
図6Aに示すフローが終了すると、VV特徴量算出処理は、図6BのVV角度算出処理に進む。
【0044】
次に、VV角度の算出処理を説明する。
VV角度には、図8に示すように、黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θと、視神経乳頭ONHの位置-黄斑Mの位置-VVの位置がなす角度とがある。
【0045】
黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θの算出方法には、次の正角図法から算出する方法と、球面三角法から算出する方法とがある。
【0046】
最初に、図6Bを参照して、角度θを、正角図法から算出する方法を説明する。
【0047】
通常の内積から算出する方法では、算出された角度の正負の区別がつかず、上半球にあるVV(図8の(x、y))なのか、下半球にあるVV‘((x、-y))なのかを区別できない。また逆正接関数を用いる方法では、正負の区別はつくが、θの算出方向を常に一定(例えば反時計回り)にしてしまうので、解剖学的特徴(鼻側・耳側)を基準にした場合、左右眼で上下半球の値が反転してしまう。そこで、本実施の形態では、左右眼調整符号fsignを用いて、算出した角度の正負を調整するようにしている。
【0048】
図6Bのステップ222で、画像処理部182は、左右眼調整符号fsignを算出する。図8に示すように、黄斑Mの位置を(x、y)、視神経乳頭ONHの位置を(x、y)、VVの位置を(x、y)とする。
【0049】
左右眼調整符号fsignは、
sign=+1 (x>xの場合)
sign=-1 (x<xの場合)
と設定される。これは、黄斑と視神経乳頭の位置から解剖学的に、x>xとなるのは左眼であり、x<xとなるのは右眼と判断できるからである。また、仮にx=xとなる場合は、fsign=+1とする。
【0050】
ステップ224で、画像処理部182は、cosθ及びsinθを、ベクトルの内積と外積の定義に基づいて、数式2と数式3を用いて算出する。ここで、黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θはベクトルOM(視神経乳頭位置Oと黄斑位置Mを結ぶベクトル)とベクトルOV(視神経乳頭位置Oと渦静脈位置Vを結ぶベクトル)とがなす角である。
【0051】
【数2】
【0052】
【数3】
【0053】
ステップ226で、画像処理部182は、4象限逆正接関数によるθを、次のように算出する。
【0054】
【数4】
【0055】
4象限逆正接関数によって求められたθは、図9に示すように、y/xの値だけでなく、4象限の各々のxの符号も考慮されている。
【0056】
ステップ228で、画像処理部182は、算出されたθの符号を、次のようにfsignを用いて左右眼補正をする。ステップ230で、画像処理部182は、このように求められたθの値をVV角度としてメモリ164に記憶する。同様にして、視神経乳頭ONHの位置-黄斑Mの位置-VVの位置がなす角度も求めることが可能である。
【0057】
【数5】
【0058】
次に、角度θを球面三角法から算出する方法を説明する。
【0059】
図10に示すように、黄斑の位置M、視神経乳頭ONHの位置O、VVの位置Vは、眼球中心Cを中心とし、眼軸長を2Rとしたときの半径Rの球の表面に位置する。黄斑の位置M、視神経乳頭ONHの位置O、VVの位置Vを頂点とする三角形OMVの頂角Oの角度をαとすると、
【0060】
【数6】
【0061】
【数7】
【0062】
となり、α(ただし、αは[0,π]の範囲内)を算出できる。
【0063】
αの値を、θ(開区間[-π,π]の範囲内)に変更するには、gsign(黄斑Mと視神経乳頭ONHの位置関係,VVの位置Vと黄斑Mの位置関係)={1,-1}を考慮し、θ=α・gsignで算出する。このように求められたθの値をVV角度としてメモリ164に記憶する。
画像処理プログラムには、図6Bに示した正角図法からVV角度を算出するプログラムか、上記の球面三角法から算出するプログラムか、の何れか一方を備えている。
【0064】
次に、脈絡膜血管解析モードの表示画面のデータについて説明する。管理サーバ140は、以下の脈絡膜血管解析モードの表示画面のデータを有する。
【0065】
まず、上記のように、眼科装置110から管理サーバ140には、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データが送信され、管理サーバ140は、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データを有する。管理サーバ140は、脈絡膜血管画像(図7参照)の画像データ、VVの位置、視神経乳頭ONHの位置、黄斑Mの位置、及びVVの特徴量を有する。上記のようにVVの特徴量は、視神経乳頭ONHの位置とVVの位置との距離、黄斑の位置とVVの位置との距離、黄斑Mの位置-視神経乳頭ONHの位置-VVの位置がなす角度θ、及び視神経乳頭ONHの位置-黄斑Mの位置-VVの位置がなす角度がある。
【0066】
また、患者の眼底が撮影される際には、眼科装置110には、患者の個人情報が入力される。個人情報には、患者のID、氏名、年齢、及び視力等が含まれる。また、患者の眼底が撮影される際には、眼底が撮影される眼は、右眼なのか左眼を示す情報も入力される。更に、患者の眼底が撮影される際には、撮影日時も入力される。眼科装置110から管理サーバ140には、個人情報、右眼・左眼の情報、及び、撮影日時のデータが送信される。管理サーバ140は、個人情報、右眼・左眼の情報、及び、撮影日時のデータを有する。管理サーバ140は、眼軸長のデータを有する。
【0067】
以上のように管理サーバ140は、以上の脈絡膜血管解析モードの表示画面のデータを有する。
ところで、画像ビューワ150が設けられた部屋にいる医者が、患者を診断する際に、脈絡膜血管の状態を知りたいと考える場合がある。この場合、医者は、画像ビューワ150を介して、管理サーバ140に、脈絡膜血管解析モードの表示画面のデータを送信する指示を送信する。当該指示を受信した管理サーバ140は、画像ビューワ150に、脈絡膜血管解析モードの表示画面のデータを送信する。脈絡膜血管解析モードの表示画面のデータを受信した画像ビューワ150は、脈絡膜血管解析モードの表示画面のデータに基づいて、図11に示す脈絡膜血管解析モードの表示画面300を、ディスプレイに表示する。
【0068】
画像ビューワ150の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。眼科医がアイコン等をクリックすると、画像ビューワ150から画像管理サーバ140に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ150からの指示信号を受信した管理サーバ140は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ150に送信する。画像管理サーバ140から画像データを受信した画像ビューワ150は、受信した画像データに基づいて画像をディスプレイに表示する。管理サーバ140での表示画面の生成処理は、CPU162で動作する表示画面生成プログラムによって行われる。
管理サーバ140は、本開示の技術の「画像処理装置」の一例である。
【0069】
ここで、図11に示す脈絡膜血管解析モードの表示画面300を説明する。図11に示すように、脈絡膜血管解析モードの表示画面300は、患者の個人情報を表示する個人情報表示欄302、画像表示欄320、及び脈絡膜解析ツール表示欄330を有する。
【0070】
個人情報表示欄302は、患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、視力表示欄312、及び患者選択アイコン314を有する。患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、及び視力表示欄312に、各情報を表示する。なお、患者選択アイコン314がクリックされると、患者一覧を画像ビューワ150のディスプレイ172に表示し、解析する患者をユーザ(眼科医など)に選択させる。
【0071】
画像表示欄320は、撮影日付表示欄322N1、右眼情報表示欄324R、左眼情報表示欄324L、RG画像表示欄326、脈絡膜血管画像表示欄328、及び情報表示欄342を有する。なお、RG画像は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを、各画素値の大きさを所定の割合(例えば、1:1)で合成することにより得られる画像である。
【0072】
脈絡膜解析ツール表示欄330は、画像ビューワ150に対して処理を指示する複数の脈絡膜解析ツール、例えば、渦静脈位置解析アイコン332、対称性アイコン334、血管径アイコン336、渦静脈・黄斑/乳頭アイコン338、及び脈絡膜解析レポートアイコン340を備える。渦静脈位置解析アイコン332は、渦静脈位置を特定することを指示する。対称性アイコン334は、渦静脈の対称性を解析することを指示する。血管径アイコン336は、脈絡血管の径を解析するツールを実行することを指示する。渦静脈・黄斑/乳頭アイコン338は、渦静脈、黄斑、及び視神経乳頭の間の位置等を解析することを指示する。脈絡膜解析レポートアイコン340は、脈絡膜解析レポートを表示することを指示する。
【0073】
図11に示す例は、患者ID:123456により識別される患者の右眼の眼底(324Rが点灯)が、撮影日が2018年3月10日、2017年12月10日、2017年9月10に撮影された場合のRG画像及び脈絡膜画像が表示可能である。なお、撮影日付表示欄322N1がクリックされて、2018年3月10日に撮影されて得られたRG画像及び脈絡膜画像が表示されている。更に、画像表示欄320には、経過観察グラフアイコン346、散布図表示アイコン348が表示される。
【0074】
図11に示す表示画面300において、渦静脈・黄斑/乳頭アイコン338がクリックされると、図12に示すように、渦静脈、黄斑、及び視神経乳頭の間の位置等が表示される。図12に示す例では、VVが2か所検出されており、情報表示欄342に、「渦静脈が2か所検出されました」というメッセージが表示される。RG画像表示欄326のRG画像及び脈絡膜血管画像表示欄328の脈絡膜血管画像に、視神経乳頭、黄斑、及びVVの各位置が重畳される。RG画像表示欄326のRG画像及び脈絡膜血管画像表示欄328の脈絡膜血管画像に、視神経乳頭ONHの位置とVV1、VV2の位置との距離(VV1距離=11.1mm、VV2距離=15.4mm)が重畳される。RG画像表示欄326のRG画像及び脈絡膜血管画像表示欄328の脈絡膜血管画像に、黄斑Mの位置-視神経乳頭ONHの位置-VV1、VV2の位置がなす角度(VV1角度=60度、VV2角度=-62度)が重畳される。
【0075】
図12の表示画面300において、経過観察グラフアイコン346がクリックされると、図13に示す経過観察グラフ350が表示される。図13に示す例では、情報表示欄342に、「渦静脈1をグラフ化しました」というメッセージが表示される。経過観察グラフ350には、渦静脈1(VV1)における各撮影日(2018年3月10日、2017年12月10日、2017年9月10)のVV1距離、VV1角度の経過観察グラフが表示される。
【0076】
図12に表示画面300において、散布図表示アイコン348がクリックされると、図14に示す散布図352Aが表示される。散布図352Aには、上下方向の軸、耳側-鼻側の軸を基準にした位置関係に従って、VV位置が表示される。散布図は、図14に示す散布図352Aに限定されず、図15に示す、眼底画像の中心を中心とし、当該中心から眼底の右側に向かった水平方向の線を基準にした角度を基準にした位置関係に従って、VV位置が表示される散布図352Bを表示してもよい。なお、図14及び図15における脈絡膜血管画像表示欄328の表示内容には変更はない。
【0077】
以上説明したように本実施の形態では、渦静脈位置と黄斑及び視神経乳頭との間の位置関係に関する特徴量(VVの定量値)を算出し、VVの特徴量を、眼底画像(RG画像や脈絡膜血管画像)にVV特徴量(VV角度とVV距離)を重畳表示している。
本実施の形態では、VV特徴量(VV角度とVV距離)を表示することができる。眼底の特徴的な構造である黄斑や視神経乳頭の位置とVV位置との関係を距離と角度の数値で表示することにより、眼科医による眼底の診断を支援することができる。
している。
【0078】
次に、本開示の技術の種々の変形例を説明する。
<第1の変形例>
上記実施の形態では、視神経乳頭ONHの位置とVVの位置との距離及び角度を求めて眼底画像に重畳しているが、本開示の技術はこれに限定されず、視神経乳頭ONHの位置とVVの位置との距離あるいは角度のどちらか一方を眼底画像に重畳してもよい。黄斑Mの位置とVVの位置でも同様である。
【0079】
<第2の変形例>
上記実施の形態では、視神経乳頭ONHの位置とVVの位置との距離は、球面上の距離であるが、本開示の技術はこれに限定されず、視神経乳頭ONHの位置とVVの位置との直線距離でもよい。なお、第1の変形例でも、黄斑Mの位置とVVの位置との距離も直線距離でもよい。
【0080】
<第3の変形例>
上記実施の形態では、管理サーバ140が、予め図5に示す画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。例えば、次のようにしてもよい。図11に示す渦静脈・黄斑/乳頭アイコン338がクリックされた場合に、画像ビューワ150が管理サーバ140に命令を送信する。これに応じて管理サーバ140が、図5の画像処理プログラムを実行して、画像ビューワ150が図12の表示画面を表示する。
【0081】
<第4の変形例>
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
<第5の変形例>
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
【0082】
<第6の変形例>
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110又は画像ビューワ150が画像処理プログラムを実行するようにしてもよい。眼科装置110が画像処理プログラムを実行する場合には、画像処理プログラムはメモリ24に記憶されている。また、画像ビューワ150が画像処理プログラムを実行する場合には、画像処理プログラムは、画像ビューワ150のメモリ164に記憶されている。
【0083】
<第7の変形例>
上記実施の形態では、眼科装置110、眼軸長測定装置120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼軸長測定装置120を省略し、眼科装置110が、眼軸長測定装置120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
【0084】
<第8の変形例>
上記実施の形態では、第1眼底画像としてR光で撮影されたR色眼底画像を用いているが、IR光で撮影されたIR眼底画像を用いてもよい。つまり、R光やIR光を用いるので、眼球の硝子体を覆い且つ硝子体側の最も内側から外側に位置する構造が異なる網膜及び脈絡膜を含む複数の層の内の当該脈絡膜まで届く光を用いる。
【0085】
<第9の変形例>
上記実施の形態では、眼底画像を、G光及びR光で同時に被検眼12の眼底を撮影することにより、得ている。本開示の技術はこれに限定されない。例えば、G光とR光とで時間的にずらして被検眼12の眼底を撮影してもよい。この場合、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)との位置合わせを行っておく。
【0086】
<その他の変形例>
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
図1
図2
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11
図12
図13
図14
図15