IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

特許7525004画像処理方法、プログラム、画像処理装置、及び眼科システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】画像処理方法、プログラム、画像処理装置、及び眼科システム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20240723BHJP
   A61B 3/14 20060101ALI20240723BHJP
【FI】
A61B3/10 300
A61B3/10 100
A61B3/14
【請求項の数】 23
(21)【出願番号】P 2023078684
(22)【出願日】2023-05-11
(62)【分割の表示】P 2020514436の分割
【原出願日】2019-04-18
(65)【公開番号】P2023100951
(43)【公開日】2023-07-19
【審査請求日】2023-05-11
(31)【優先権主張番号】P 2018080273
(32)【優先日】2018-04-18
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】田邉 泰士
(72)【発明者】
【氏名】廣川 真梨子
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開2008-284005(JP,A)
【文献】米国特許出願公開第2013/0295014(US,A1)
【文献】SHUICHIRO HIRAKATA, et al.,Densitometry of Choroidal Vessels in Eyes With and Without Central Serous Chorioretinopathy by Wide-,American Journal of ophthalmology,2016年,Vol. 166,pp. 103-111
【文献】野田 徹,眼底観察・撮影法と今後の展望,2017 眼光学チュートリアルセミナー -眼科医・視能訓練士・オプティカルエンジニアのための-,日本眼光学学会,2017年08月19日,第40頁
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
眼底画像から脈絡膜血管構造を解析するステップと、
前記脈絡膜血管構造に基づいて、脈絡膜血管の走行方向を解析するステップと、
前記脈絡膜血管が所定位置を中心として放射状に走行する領域を検出し、前記中心の位置を渦静脈位置として検出するステップと、
を含む画像処理方法。
【請求項2】
前記走行方向を解析するステップは、
前記眼底画像の輝度勾配に基づいて前記走行方向を特定する、
請求項1に記載の画像処理方法。
【請求項3】
前記走行方向を解析するステップは、
前記眼底画像における各画素の輝度の勾配方向を算出することにより前記走行方向を特定する、
請求項2に記載の画像処理方法。
【請求項4】
前記渦静脈位置を検出するステップは、
前記渦静脈位置として検出された点を中心とした所定領域の画像を抽出し、前記所定領域の画像における前記脈絡膜血管の走行方向に基づいて、前記渦静脈位置が渦静脈であるか否かを示す識別確率を算出する、
請求項1から請求項3の何れか1項に記載の画像処理方法。
【請求項5】
前記渦静脈位置を検出するステップは、
前記渦静脈位置として検出された位置を中心とした所定領域の画像を抽出し、前記所定領域の画像における脈絡膜血管が、前記位置を中心として放射状に走行しているか否かを解析することにより、前記識別確率を算出する、
請求項4に記載の画像処理方法。
【請求項6】
眼底画像から複数の脈絡膜血管を検出するステップと、
前記複数の脈絡膜血管が収束する位置を渦静脈位置として検出するステップと、
を含む画像処理方法。
【請求項7】
眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を作成するステップを含む、
請求項1から請求項6のいずれか1項に記載の画像処理方法。
【請求項8】
前記眼底画像は、前記脈絡膜血管が強調された脈絡膜血管画像である、
請求項1から請求項7のいずれか1項に記載の画像処理方法。
【請求項9】
検出された渦静脈の個数を特定する、
請求項1から請求項8のいずれか1項に記載の画像処理方法。
【請求項10】
眼底画像から脈絡膜血管構造を解析し、
前記脈絡膜血管構造に基づいて、脈絡膜血管の走行方向を解析し、前記脈絡膜血管が所定位置を中心として放射状に走行する領域を検出し、前記中心の位置を渦静脈位置として検出する、画像処理部
を有する画像処理装置。
【請求項11】
前記画像処理部は、
前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を作成する、
請求項10に記載の画像処理装置。
【請求項12】
前記渦静脈位置重畳眼底画像に基づく画像信号を出力する出力部をさらに有する、
請求項11に記載の画像処理装置。
【請求項13】
コンピュータに、
請求項1から請求項9の何れか1項に記載の画像処理方法を実行させるためのプログラム。
【請求項14】
眼底画像から脈絡膜血管構造を解析し、前記脈絡膜血管構造に基づいて、脈絡膜血管の走行方向を解析し、前記脈絡膜血管が所定位置を中心として放射状に走行する領域を検出し、前記中心の位置を渦静脈位置として検出する画像処理部を含むサーバと、
前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を表示するビューワと、
を備えた眼科システム。
【請求項15】
さらに被検者の眼底画像を取得する眼科装置と、
を有する請求項14に記載の眼科システム。
【請求項16】
前記サーバと前記ビューワはネットワークで接続されている
ことを特徴とする請求項14または請求項15に記載の眼科システム。
【請求項17】
前記サーバ、前記ビューワ、及び前記眼科装置はネットワークで接続されている
ことを特徴とする請求項15に記載の眼科システム。
【請求項18】
脈絡膜血管画像を生成するステップと、
前記脈絡膜血管画像における脈絡膜血管の走行方向を解析するステップと、
前記脈絡膜血管が所定位置を中心として放射状に走行する領域を検出し、前記中心の位置を渦静脈位置として検出するステップと、
を含む画像処理方法。
【請求項19】
脈絡膜血管画像を生成するステップと、
前記脈絡膜血管画像において複数の脈絡膜血管を検出するステップと、
前記複数の脈絡膜血管が収束する位置を渦静脈位置として検出するステップと、
を含む画像処理方法。
【請求項20】
前記渦静脈位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成するステップをさらに含む
ことを特徴とする請求項18または請求項19に記載の画像処理方法。
【請求項21】
前記脈絡膜血管画像は、超広角の眼底画像を画像処理することにより得られた画像である
ことを特徴とする請求項18から請求項20の何れか1項に記載の画像処理方法。
【請求項22】
前記脈絡膜血管画像は、赤色光で撮影された第1眼底画像と緑色光で撮影された第2眼底画像とに基づいて生成された画像である
ことを特徴とする請求項18から請求項21の何れか1項に記載の画像処理方法。
【請求項23】
脈絡膜血管画像を生成し、前記脈絡膜血管画像における脈絡膜血管の走行方向を解析し、前記脈絡膜血管が所定位置を中心として放射状に走行する領域を検出し、前記中心の位置を渦静脈位置として検出する画像処理部を有する画像処理部と、
前記渦静脈位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成する表示制御部と、
前記渦静脈位置重畳眼底画像を出力する出力部と、
を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理方法、プログラム、画像処理装置、及び眼科システムに関する。
【背景技術】
【0002】
特開平8-71045号公報には、脈絡膜血管の動脈と静脈を異なる色で表示する技術が開示されている。
【発明の概要】
【0003】
本開示の技術の第1の態様の画像処理方法は、眼底画像から脈絡膜血管構造を解析するステップと、前記血管構造に基づいて、渦静脈位置を検出するステップと、を含む。
【0004】
本開示の技術の第2の態様の画像処理装置は、眼底画像から脈絡膜血管構造を解析し、前記血管構造に基づいて、渦静脈位置を検出する画像処理部を有する。
【0005】
本開示の技術の第3の態様のプログラムは、コンピュータに、第1の態様の画像処理方法を実行させる。
【0006】
本開示の技術の第4の態様の眼科システムは、眼底画像から脈絡膜血管構造を解析し、前記血管構造に基づいて、渦静脈位置を検出する画像処理部を含むサーバと、前記眼底画像上に、前記渦静脈位置を示すマークを重畳表示した渦静脈位置重畳眼底画像を表示するビューワと、を備えている。
【0007】
本開示の技術の第5の態様の画像処理方法は、脈絡膜血管画像を生成するステップと、前記脈絡膜血管画像を解析し、渦静脈の位置を検出するステップと、を含む。
【0008】
本開示の技術の第6の態様の画像処理装置は、脈絡膜血管画像を生成し、前記脈絡膜血管画像を解析し渦静脈の位置を検出する画像処理部と、前記渦静脈の位置を示すマークを前記脈絡膜血管画像に重畳した渦静脈位置重畳眼底画像を生成する表示制御部と、渦静脈位置重畳眼底画像を出力する出力部と、を備える。
【図面の簡単な説明】
【0009】
図1】眼科システム100のブロック図である。
図2】眼科装置110の全体構成を示す概略構成図である。
図3】管理サーバ140の電気系の構成のブロック図である。
図4】管理サーバ140のCPU162の機能のブロック図である。
図5】画像処理プログラムのフローチャートである。
図6】第1のVV候補検出処理プログラムのフローチャートである。
図7】第2のVV候補検出処理プログラムのフローチャートである。
図8】脈絡膜血管画像を示す図である。
図9】VVとして検証されたVVの位置を眼底画像に重畳表示した画像を示す図である。
図10】脈絡膜血管画像の2値化画像を示す図である。
図11】2値化画像の線画像を示す図である。
図12】脈絡膜血管の分岐点を示す図である。
図13】VV識別処理プログラムのフローチャートである。
図14A】VVの様子を示す図である。
図14B】VVの場合のLog-Polar処理結果を示す図である。
図15A】VVでない様子を示す図である。
図15B】VVでない場合のLog-Polar処理結果を示す図である。
図16A図14Aあるいは図15Aのθ方向毎にR方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第1のグラフである。
図16B図14Aあるいは図15Aのθ方向毎にR方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第2のグラフである。
図16C図14Aあるいは図15Aのθ方向毎にR方向の画素値を積算する処理を行い、横軸をθ、縦軸を積算画素値として作成した第3のグラフである。
図17】脈絡膜血管解析モードの表示画面300を示す図である。
図18図17の表示画面で、渦静脈位置アイコン332をクリックされた場合に表示される表示画面である。
図19図18の表示画面で、識別確率表示アイコン346がクリックされた場合に表示される表示画面である。
図20図18の表示画面で、拡大アイコン348がクリックされた場合に表示される表示画面である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下では、説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。
【0011】
図1を参照して、眼科システム100の構成を説明する。図1に示すように、眼科システム100は、眼科装置110と、眼軸長測定器120と、管理サーバ装置(以下、「管理サーバ」という)140と、画像表示装置(以下、「画像ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。眼軸長測定器120は、患者の眼軸長を測定する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。画像ビューワ150は、管理サーバ140により取得した眼底画像を表示する。
管理サーバ140は、本開示の技術の「サーバ」の一例である。画像ビューワ150は、本開示の技術の「ビューワ」の一例である。
【0012】
眼科装置110、眼軸長測定器120、管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。
なお、他の眼科機器(OCT(Optical Coherence Tomography)測定、視野測定、眼圧測定などの検査機器)や人工知能を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150に接続されていてもよい。
【0013】
次に、図2を参照して、眼科装置110の構成を説明する。図2に示すように、眼科装置110は、制御ユニット20、表示/操作ユニット30、及びSLOユニット40を備え、被検眼12の後眼部(眼底)を撮影する。さらに、眼底のOCTデータを取得する図示せぬOCTユニットを備えていてもよい。
【0014】
制御ユニット20は、CPU22、メモリ24、及び通信インターフェース(I/F)26等を備えている。表示/操作ユニット30は、撮影されて得られた画像を表示したり、撮影の指示を含む各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ32及びタッチパネルなどの入力/指示デバイス34を備えている。
SLOユニット40は、G光(緑色光:波長530nm)の光源42、R光(赤色光:波長650nm)の光源44、IR光(赤外線(近赤外光):波長800nm)の光源46を備えている。光源42、44、46は、制御ユニット20により命令されて、各光を発する。
【0015】
SLOユニット40は、光源42、44、46からの光を、反射又は透過して1つの光路に導く光学系50、52、54、56を備えている。光学系50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0016】
SLOユニット40は、光源42、44、46からの光を、被検眼12の後眼部(眼底)に渡って、2次元状に走査する広角光学系80を備えている。SLOユニット40は、被検眼12の後眼部(眼底)からの光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット40は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット40は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット40は、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0017】
広角光学系80は、光源42、44、46からの光を、X方向に走査するポリゴンミラーで構成されたX方向走査装置82、Y方向に走査するガルバノミラーで構成されたY方向走査装置84、及び、図示しないスリットミラーおよび楕円鏡を含み、走査された光を、広角にする光学系86を備えている。光学系86により、眼底の視野角(FOV:Field of View)を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を撮影することができる。具体的には、被検眼12の外部からの外部光照射角で約120度(被検眼12の眼球の中心Oを基準位置として、被検眼12の眼底が走査光により照射されることで実質的に撮影可能な内部光照射角で、200度程度)の広範囲の眼底領域を撮影することができる。光学系86は、スリットミラーおよび楕円鏡に代えて、複数のレンズ群を用いた構成でもよい。X方向走査装置82及びY方向走査装置84の各走査装置はMEMSミラーを用いて構成された二次元スキャナを用いてもよい。
【0018】
光学系86としてスリットミラーおよび楕円鏡を含むシステムを用いる場合には、国際出願PCT/JP2014/084619や国際出願PCT/JP2014/084630に記載された楕円鏡を用いたシステムを用いる構成でもよい。2014年12月26日に国際出願された国際出願PCT/JP2014/084619(国際公開WO2016/103484)の開示及び2014年12月26日に国際出願された国際出願PCT/JP2014/084630(国際公開WO2016/103489)の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0019】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、およびZ方向は互いに垂直である。
【0020】
カラー眼底画像は、G光及びR光で同時に被検眼12の眼底が撮影されることにより、得られる。より詳細には、制御ユニット20が、同時に発光するように光源42、44を制御し、被検眼12の眼底に渡って、広角光学系80によりG光及びR光が走査される。そして、被検眼12の眼底から反射されたG光がG光検出素子72により検出され、第2眼底画像(G色眼底画像)の画像データが眼科装置110のCPU22により生成される。同様に、被検眼12の眼底から反射されたR光がR光検出素子74により検出され、第1眼底画像(R色眼底画像)の画像データが、眼科装置110のCPU22により生成される。また、IR光が照射された場合は、被検眼12の眼底から反射されたIR光がIR光検出素子76により検出され、IR眼底画像の画像データが眼科装置110のCPU22により生成される。
【0021】
眼科装置110のCPU22により、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを所定の比率で混合し、カラー眼底画像として、ディスプレイ32に表示する。なお、カラー眼底画像ではなく、第1眼底画像(R色眼底画像)、第2眼底画像(G色眼底画像)、あるいは、IR眼底画像を表示するようにしてもよい。
第1眼底画像(R色眼底画像)の画像データ、第2眼底画像(G色眼底画像)の画像データ、IR眼底画像の画像データは、通信IF166を介して眼科装置110から管理サーバ140へ送付される。各種眼底画像は脈絡膜血管画像の生成に利用される。
【0022】
図1の眼軸長測定器120は、被検眼12の眼軸方向(Z方向)の長さである眼軸長を測定する第1のモードと第2のモードとの2つのモードを有する。第1のモードは、図示しない光源からの光を被検眼12に導光した後、眼底からの反射光と角膜からの反射光との干渉光を受光し、受光した干渉光を示す干渉信号に基づいて眼軸長を測定する。第2のモードは、図示しない超音波を用いて眼軸長を測定するモードである。眼軸長測定器120は、第1のモード又は第2のモードにより測定された眼軸長を管理サーバ140に送信する。第1のモード及び第2のモードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として管理サーバ140に送信する。眼軸長は患者のデータの一つとして管理サーバ140に患者情報として保存されるとともに、眼底画像解析にも利用される。
【0023】
次に、図3を参照して、管理サーバ140の構成を説明する。図3に示すように、管理サーバ140は、制御ユニット160、及び表示/操作ユニット170を備えている。制御ユニット160は、CPU162を含むコンピュータ、記憶装置であるメモリ164、及び通信インターフェース(I/F)166等を備えている。なお、メモリ164には、画像処理プログラムが記憶されている。表示/操作ユニット170は、画像を表示したり、各種指示を受け付けたりするグラフィックユーザインターフェースであり、ディスプレイ172及びタッチパネルなどの入力/指示デバイス174を備えている。
【0024】
画像ビューワ150の構成は、管理サーバ140と同様であるので、その説明を省略する。
【0025】
次に、図4を参照して、管理サーバ140のCPU162が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、画像処理機能、表示制御機能、及び処理機能を備えている。CPU162がこの各機能を有する画像処理プログラムを実行することで、CPU162は、図4に示すように、画像処理部182、表示制御部184、及び処理部186として機能する。
【0026】
次に、図5を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU162が画像処理プログラムを実行することで、図5のフローチャートに示された画像処理方法が実現される。
【0027】
画像処理プログラムは、管理サーバ140が、眼科装置110で撮影された眼底画像の画像データに基づいて脈絡膜血管画像を生成した時に実行される。
脈絡膜血管画像は以下のようにして生成される。
【0028】
まず、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とに含まれる情報を説明する。
【0029】
眼の構造は、硝子体を、構造が異なる複数の層が覆うようになっている。複数の層には、硝子体側の最も内側から外側に、網膜、脈絡膜、強膜が含まれる。R光は、網膜を通過して脈絡膜まで到達する。よって、第1眼底画像(R色眼底画像)には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光は、網膜までしか到達しない。よって、第2眼底画像(G色眼底画像)には、網膜に存在する血管(網膜血管)の情報のみが含まれる。
【0030】
管理サーバ140の画像処理部182は、ブラックハットフィルタ処理を第2眼底画像(G色眼底画像)に施すことにより、第2眼底画像(G色眼底画像)から網膜血管を抽出する。次に、画像処理部182は、第1眼底画像(R色眼底画像)から、第2眼底画像(G色眼底画像)から抽出した網膜血管を用いてインペインティング処理により、網膜血管を除去する。つまり、第2眼底画像(G色眼底画像)から抽出された網膜血管の位置情報を用いて第1眼底画像(R色眼底画像)の網膜血管構造を周囲の画素と同じ値に塗りつぶす処理を行う。そして、画像処理部182は、網膜血管が除去された第1眼底画像(R色眼底画像)の画像データに対し、適応ヒストグラム均等化処理(CLAHE、Contrast Limited Adaptive Histogram Equalization)を施すことにより、第1眼底画像(R色眼底画像)において、脈絡膜血管を強調する。これにより、図8に示す脈絡膜血管画像が得られる。生成された脈絡膜血管画像はメモリ164に記憶される。
また、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)から脈絡膜血管画像を生成しているが、画像処理部182は、第1眼底画像(R色眼底画像)R色眼底画像あるはIR光で撮影されたIR眼底画像を用いて脈絡膜血管画像を生成してもよい。脈絡膜眼底画像を生成する方法について、2018年3月20日に出願された特願2018-052246の開示は、その全体が参照により、本明細書に取り込まれる。
【0031】
画像処理プログラムがスタートすると、図5のステップ202で、画像処理部182は、脈絡膜血管画像(図8参照)をメモリ164から読み出す。
【0032】
ステップ204で、画像処理部182は、脈絡膜血管画像において渦静脈(Vortex Vein(以下、「VV」という))候補を検出する。ステップ204の処理の詳細は後述する。ここで、渦静脈VVとは、脈絡膜に流れ込んだ血流の流出路であり、眼球の赤道部の後極寄りに4から6個存在する。
【0033】
ステップ206で、画像処理部182は、VV候補に対し、VV候補がVVなのかを示す識別確率を算出し識別フラグ(VVフラグ/非VVフラグ)を設定するVV識別処理(詳細は後述)を実行する。ステップ206の処理の詳細は後述する。
【0034】
ステップ208で、画像処理部182は、VVの個数を特定するとともに、VV配置パターン(複数のVVの配置(configuration))を特定する。VV配置パターンとは、複数のVV位置が眼底上にどのような位置に配置しているのかを示す情報である。VVが4つの場合は、脈絡膜血管画像においては図9に示すように四隅にVVが存在する場合が多い。図9において、246N1、246N2、246N3、246N4はVV位置を特定するための枠を示している。
【0035】
ステップ210で、処理部186は、VVの個数、VVの位置情報(脈絡膜血管画像におけるVV位置を示す座標であり、それぞれのVVごとの座標が保存される)、VV配置パターン、識別フラグ(VVフラグ/非VVフラグ)、識別確率を含むデータをメモリ164に保存する。これらのデータは後述する脈絡膜解析モードの表示画面の作成に用いられる。
【0036】
次に、ステップ204の処理の詳細を説明する。ステップ204の処理としては、図6に示す第1のVV候補検出処理で検出されたVVをVV候補とする。図6には、第1のVV候補検出処理プログラムのフローチャートが示されている。
【0037】
ステップ224で、画像処理部182は、脈絡膜血管画像における各画素の血管走行方向を求める。具体的には、画像処理部182は、全ての画素に対して、下記の処理を繰り返す。即ち、画像処理部182は、画素を中心とした周囲の複数の画素で構成される領域(セル)を設定する。そして、セルの各画素における輝度の勾配方向(0度以上から180度未満の角度で示される。なお、0度は直線(水平線)の方向と定義する。)を、計算対象画素の周囲の画素の輝度値に基づいて計算する。この勾配方向の計算をセル内のすべての画素に対して行う。
【0038】
次に、勾配方向が0度、20度、40度、60度、80度、100度、120度、140度、160度の9つのビン(各ビンの幅が20度)があるヒストグラムを作成するため、各ビンに対応する勾配方向のセル内の画素数をカウントする。ヒストグラムの1つのビンの幅は20度に相当し、0度のビンには、0度以上10度未満と170度以上180度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。20度のビンは、10度以上30度未満の勾配方向を持つ、セル内の画素数(カウント値)が設定される。同様に、40度、60度、80度、100度、120度、140度、160度のビンのカウント値も設定される。ヒストグラムのビンの数が9であるので、画素の血管走行方向は9種類の方向の何れかで定義される。なお、ビンの幅を狭くし、ビンの数を多くすることにより、血管走行方向の分解能を上げることができる。各ビンにおけるカウント値(ヒストグラムの縦軸)は規格化がなされ、解析点に対するヒストグラムが作成される。
【0039】
次に、画像処理部182は、ヒストグラムから、解析点の血管走行方向を特定する。具体的には、最もカウント値の小さい角度(60度であるとする)のビンを特定し、特定されたビンの勾配方向である60度を画素の血管走行方向と特定する。なお、最もカウントが少なかった勾配方向が血管走行方向であるとなるのは、次の理由からである。血管走行方向には輝度勾配が小さく、一方、それ以外の方向には輝度勾配が大きい(例えば、血管と血管以外のものでは輝度の差が大きい)。したがって、各画素の輝度勾配のヒストグラムを作成すると、血管走行方向に対するビンのカウント値が少なくなる。同様にして、脈絡膜血管画像における各画素に対してヒストグラムを作成し、各画素の血管走行方向を算出する。算出された各画素の血管走行方向はメモリ164に記憶される。
なお、血管走行方向は、本開示の技術の「脈絡膜血管構造」の一例である。
【0040】
ステップ226で、画像処理部182は、脈絡膜血管画像上に等間隔に、縦方向にM個、横方向にN個、合計L個の仮想の粒子の初期位置を設定する。例えば、M=10、N=50、であり、合計L=500個の初期位置を設定する。
【0041】
ステップ228で、画像処理部182は、最初の位置(L個の何れか)の血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させ、移動した位置において、再度、血管走行方向を取得し、取得した血管走行方向に沿って所定距離だけ、仮想の粒子を移動させる。このように血管走行方向に沿って所定距離移動させることを予め設定した移動回数、繰り返す。
以上の処理を、L個の全ての位置において実行する。L個すべての仮想の粒子に対して設定した移動回数行った時点で、仮想の粒子が一定個数以上集まっている点をVV候補とする。VV候補位置は、第1のVV候補としてメモリ164に記憶される。
【0042】
図6で説明した第1のVV候補検出処理に変えて、図7に示す第2のVV候補検出処理を用いてもよい。図7には、第2のVV候補検出処理プログラムのフローチャートが示されている。
【0043】
ステップ234で、画像処理部182は、脈絡膜血管画像を、所定の閾値で、2値化し、図10に示す2値化画像を作成する。ステップ236で、画像処理部182は、2値化画像に対し細線化処理を施すことにより、図11に示す幅が1ピクセルの線画像に変換して、太さ情報を消去する。
【0044】
ステップ238で、画像処理部182は、線画像において、図12に示すように、線が交差する血管交差点、線が分岐する血管分岐点、特徴的なパターンを有する血管特徴点を特定する。図12は白点分布図であり、血管交差点、血管分岐点、血管特徴点が白点で表示されている。この白点をVV候補位置とする。
なお、血管交差点、血管分岐点、血管特徴点は、本開示の技術の「脈絡膜血管構造」の一例である。
【0045】
次に、図13を参照して、図5のステップ206のVV識別処理を説明する。VV識別処理は、図5のステップ204で検出されたVV候補がVVであるか確かめる処理である。図13のステップ252で、画像処理部182は、複数のVV候補の各々を識別する識別番号nを1にセットし、ステップ254で、画像処理部182は、識別番号nにより識別されるVV候補を選択する。
【0046】
ステップ256で、画像処理部182は、識別番号nにより識別されるVV候補について、Log-Polar変換を用いて、VV候補位置周辺の脈絡膜血管画像の特徴量を算出する。具体的には、まず、VV候補n位置を含む所定領域の画像データを脈絡膜血管画像から抽出する。VV候補位置に相当する画素を中心とした所定領域の画像を抽出し、抽出された画像に対してLog-Polar変換を行う。
【0047】
VV候補nが真のVVであれば、VV候補位置を含む所定領域の画像は、VV候補位置を中心として放射状に脈絡膜血管が走行している。つまり、図14Aに示すように、血管が所定位置(VV候補位置)に収束している。このような放射状に血管が走行している画像をLog-Polar変換すると、図14Bのように縞模様Z1が1つできる(縞模様の領域の画素値は他の領域より明るい値を示す)。縞模様の出現領域の幅(縞模様のθ方向の幅)はL1となり、縞模様の中心のθ軸上の位置はθ1となる。このような縞模様の特徴を、図16Aに示す単峰性であると定義する。
【0048】
これに対し、VV候補が真のVVでなければ、図15Aに示すように、VV候補位置を含む所定領域の画像は、斜めの線が複数ある画像となり、血管は収束しない。このような斜め線からなる画像をLog-Polar変換すると、図15Bのように縞模様Z2と縞模様Z3が2つできる。縞模様Z2の出現領域の幅(θ方向の幅)はL2、同様に縞模様Z3の出現領域の幅はL3(L2<L1、L3<L1)となる。縞模様の中心位置のθ軸上の位置はそれぞれ、θ2とθ3となる。このような縞模様の特徴を、図16Cに示す多峰性であると定義する。なお、図16Bに示す双峰性の場合もある。
【0049】
本ステップ256では、Log-Polar変換された画像を解析し単峰性であるか多峰性であるかを示す特徴量を算出する。図14Aあるいは図15Aのθ方向毎にR方向の画素値を積算する処理を行い、図16Aから図16Cに示すように、横軸をθ、縦軸を積算画素値としたグラフを作成する。このグラフの形状を表す物理量を特徴量とする。図16Aのような山の数が1つである場合を単峰性、図16Bのような山の数が2つである場合を双峰性、図16Cのような山の数が3以上である場合を多峰性という。例えば、山の数、各山のピークに対応するθ軸上の位置、各山の幅などを特徴量とする。
【0050】
ステップ258で、画像処理部182は、この特徴量に基づいて、VV候補の識別確率を算出する。VV候補の識別確率は、上記特徴量により定まる。例えば、山の数をn、各山のピークに対応するθ軸上の位置をθ、各山の幅をWとすると、VV候補の識別確率Pは、n、θ、Wの関数f(n、θ、W)で表される。即ち、
P=f(n、θ、W)
である。
【0051】
上述したように、図14Aのような中心位置から放射状に脈絡膜血管が走行している画像は、Log-Polar変換により単峰性を示すことから、特徴量が単峰性を示す場合は識別確率が高くなる。また、図15Aのような斜め線からなる画像は、Log-Polar変換により多峰性を示すことから、識別確率は低くなる。また、同じ単峰性でも鋭い山の形状(山の幅が狭い)であれば緩やかな山形状(山の幅が広い)より識別確率は高くなる。よって、特徴量である図16Aから図16Cのグラフ形状を解析することにより、識別確率を求めることができる。
【0052】
ステップ260で、画像処理部182は、求められた識別確率が基準確率(閾値を示す確率であり、例えば確率50%)より大きいか否かを判断する。
【0053】
識別確率が基準確率より大きいと判断された場合には、ステップ262で、画像処理部182は、識別番号nにより識別されるVV候補は、VVであると識別して、nに対応してVVであることを示すVVフラグ情報を付与する。識別確率が基準確率より小さいと判断された場合には、ステップ264で、画像処理部182は、識別番号nにより識別されるVV候補は、VVではないと識別して、nに対応してVVでないことを示す非VVフラグ情報を付与する。
【0054】
ステップ266で、画像処理部182は、識別番号nが、VV候補の総数Nか否かを判断することにより、全VV候補について以上の処理(ステップ254から266)が終了したか否かを判断する。全VV候補について以上の処理(ステップ254から266)が終了したと判断されなかった場合、ステップ268で、画像処理部182は、識別番号nを1インクリメントする。その後、VV識別処理はステップ254に戻る。全VV候補について以上の処理(ステップ254から266)が終了したと判断された場合、VV識別処理は終了する。
【0055】
(画像ビューワ150による脈絡膜血管解析モード)
次に、脈絡膜血管解析モードの表示画面のデータについて説明する。管理サーバ140は、以下の脈絡膜血管解析モード画面に表示させるコンテンツデータ(画像データや各種データ)を有する。
【0056】
まず、上記のように、眼科装置110から管理サーバ140には、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データが送信され、管理サーバ140は、眼底画像(第1眼底画像(R色眼底画像)及び第2眼底画像(G色眼底画像))の画像データを有する。管理サーバ140は、脈絡膜血管画像(図8参照)の画像データ、VVとして検証されたVVの位置を眼底画像に重畳表示した画像(図10参照)の画像データ、VVの位置、VVの個数、VV配置パターンのデータを有する。
【0057】
また、患者の眼底が撮影される際には、眼科装置110には、患者の個人情報が入力される。個人情報には、患者のID、氏名、年齢、及び視力等が含まれる。また、患者の眼底が撮影される際には、眼底が撮影される眼は、右眼なのか左眼を示す情報も入力される。更に、患者の眼底が撮影される際には、撮影日時も入力される。眼科装置110から管理サーバ140には、個人情報、右眼・左眼の情報、及び、撮影日時のデータが送信される。管理サーバ140は、個人情報、右眼・左眼の情報、及び、撮影日時のデータを有する。
【0058】
更に、眼軸長測定器120により患者の眼軸長が測定され、管理サーバ140には、眼軸長測定器120から、患者IDに対応して患者の眼軸長のデータも送信され、管理サーバ140は、眼軸長のデータを有する。
【0059】
以上のように管理サーバ140は、以上の脈絡膜血管解析モード画面に表示させるためのコンテンツデータを有する。
【0060】
眼科医が、患者を診断する際に、画像ビューワ150に表示された絡膜血管解析モードの表示画面を見ながら診断を行う。その場合、眼科医は画像ビューワ150を介して、脈絡膜血管解析モード画面の表示要求を図示せぬメニュー画面を通じて管理サーバ140に送信する。当該要求を受信した管理サーバ140の表示制御部184は、画像ビューワ150に、指定された患者IDのコンテンツデータを用いて、脈絡膜血管解析モードの表示画面を作成し、処理部186は、表示画面の画像データを送信する。
なお、処理部186は、本開示の技術の「出力部」の一例である。
脈絡膜血管解析モードの表示画面の画像データを受信した画像ビューワ150は、図17に示す脈絡膜血管解析モードの表示画面300を、画像ビューワ150のディスプレイに表示する。
【0061】
ここで、図17に示す脈絡膜血管解析モードの表示画面300を説明する。図17に示すように、脈絡膜血管解析モードの表示画面300は、患者の個人情報を表示する個人情報表示欄302、画像表示欄320、及び脈絡膜解析ツール表示欄330を有する。
【0062】
個人情報表示欄302は、患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、視力表示欄312、及び患者選択アイコン314を有する。患者ID表示欄304、患者氏名表示欄306、年齢表示欄308、眼軸長表示欄310、及び視力表示欄312に、各情報を表示する。なお、患者選択アイコン314がクリックされると、患者一覧を画像ビューワ150のディスプレイ172に表示し、解析する患者をユーザ(眼科医など)に選択させる。
【0063】
画像表示欄320は、撮影日付表示欄322N1、右眼情報表示欄324R、左眼情報表示欄324L、RG画像表示欄326、脈絡膜血管画像表示欄328、及び情報表示欄342を有する。なお、RG画像は、第1眼底画像(R色眼底画像)と第2眼底画像(G色眼底画像)とを、各画素値の大きさを所定の割合(例えば、1:1)で合成することにより得られる画像である。
【0064】
脈絡膜解析ツール表示欄330は、画像ビューワ150に対して処理を指示する複数の脈絡膜解析ツール、例えば、渦静脈位置アイコン332、対称性アイコン334、血管径アイコン336、渦静脈・黄斑/乳頭アイコン338、及び脈絡膜解析レポートアイコン
340を備える。渦静脈位置アイコン332は、渦静脈位置を特定することを指示する。対称性アイコン334は、渦静脈の対称性を解析することを指示する。血管径アイコン336は、脈絡血管の径を解析するツールを実行することを指示する。渦静脈・黄斑/乳頭
アイコン338は、渦静脈、黄斑、及び視神経乳頭の間の位置を解析することを指示する。脈絡膜解析レポートアイコン340は、脈絡膜解析レポートを表示することを指示する。
【0065】
画像ビューワ150の後述する表示画面には、後述する画像を生成することを指示するためのアイコンやボタンが表示されている。ビューワ150のユーザ(眼科医など)がアイコン等をクリックすると、画像ビューワ150から管理サーバ140に、クリックされたアイコン等に対応する指示信号が送信される。画像ビューワ150からの指示信号を受信した管理サーバ140は、指示信号に対応する画像を生成し、生成した画像の画像データを画像ビューワ150に送信する。管理サーバ140から画像データを受信した画像ビューワ150は、受信した画像データに基づいて画像をディスプレイ172に表示する。管理サーバ140での表示画面の生成処理は、CPU162で動作する表示画面生成プログラムによって行われる。
【0066】
図17に示す例は、患者ID:123456により識別される患者の右眼の眼底が(324Rのアイコンが点灯)、撮影日が2016年1月1日に撮影された場合のRG画像及び脈絡膜血管画像が表示される。
【0067】
図17の脈絡膜解析ツール表示欄330における渦静脈位置アイコン332がクリックされると、図18に示される渦静脈に関する情報を表示する表示画面に変更される。図18に示すように、画像ビューワ150は、VVの位置に基づいて、RG画像表示欄326の中のRG画像と、脈絡膜血管画像表示欄328の中の脈絡膜血管画像とに、VVの位置を中心とした□(矩形)326S、328Sを表示する。なお、図17では、RG画像又は脈絡膜血管画像のみを表示し、VVの位置に基づいて、□(矩形)を、表示された画像に表示してもよい。
脈絡膜血管画像表示欄328における□(矩形)326S、328Sが表示された脈絡膜血管画像は、本開示の技術の「渦静脈位置重畳眼底画像」の一例であり、□(矩形)326S、328Sは、本開示の技術の「マーク」の一例である。
また、画像ビューワ150は、VVの個数、VV位置パターンに基づいて、情報表示欄342に、VVの個数が3、VV配置パターンがタイプAを表示する。画像表示欄320には、識別確率表示アイコン346、及び拡大アイコン348が表示される。VV配置パターンは実際に検出された渦静脈(VV)の個数と位置だけでなく、瞼に隠れて撮影されていない部分も考慮して推測されるようにしてもよい。
【0068】
識別確率表示アイコン346がクリックされると、図19に示すVVごとに識別確率が反映された表示画面に変更される。図19に示すように、画像ビューワ150は、□(矩形)326S、328Sに、VV候補がVVであることの識別確率(例えば、95%、80%、50%)を表示する。画像ビューワ150は、情報表示欄342に、VVの個数が3であると共に、『Log-Polar処理結果に基づいて、識別確率を算出』というテキストを追加表示する。
【0069】
図18の表示画面において、拡大アイコン348がクリックされると、VVを含む領域が拡大された表示画面を表示する。図20に示すように、画像ビューワ150は、□(矩形)328Sがクリックされると、クリックされたVVの部分の拡大画像を、RG画像表示欄326に代えて表示する。
【0070】
以上説明したように本実施の形態では、脈絡膜血管画像から渦静脈(VV)位置を検出し、渦静脈位置を示すマークを脈絡膜血管画像上に重畳表示している。
【0071】
また、広角光学系を用いたSLOユニットにより、眼球中心からの角度で200度以上の範囲の超広角のUWF-SLO画像を得ることができる。UWF-SLO画像を用いることにより、眼球の赤道付近に存在する渦静脈を検出することができる。
【0072】
次に、本開示の技術の種々の変形例を説明する。
<第1の変形例>
上記実施の形態における図6に示す第1のVV候補検出処理、及び図7に示す第2のVV候補検出処理では、計算負荷低減のため、脈絡膜血管画像全体ではなく、統計的に渦静脈(VV)が存在する確率の高い領域を検出対象領域とするようにしてもよい。
【0073】
<第2の変形例>
上記実施の形態における特徴量の算出(図13のステップ256)をAI(Artificial Intelligence)で決定してもよい。深層学習などの方法を用い隠れ層構造などの形で明示的ではない縞模様を特定するようにしてもよい。
【0074】
<第3の変形例>
上記実施の形態では、管理サーバ140が、予め図5に示す画像処理プログラムを実行しているが、本開示の技術はこれに限定されない。例えば、次のようにしてもよい。図17に示す渦静脈位置アイコン332がクリックされた場合に、画像ビューワ150が管理サーバ140に渦静脈位置検出の命令を送信する。これに応じて管理サーバ140が、図5の画像処理プログラムのステップ202、204を実行して、図18の表示画面を表示する。更に、識別確率表示アイコン346がクリックされた場合に、画像ビューワ150が管理サーバ140に識別確率を算出する命令を送信する。これに応じて管理サーバ140が、図5のステップ206、208を実行して、図19の表示画面を表示する。
【0075】
<第4の変形例>
上記実施の形態では、眼科装置110により内部光照射角が200度程度の眼底画像を取得する例を説明した。本開示の技術はこれに限定されず、内部照射角で100度以下の眼科装置で撮影された眼底画像でもよいし、眼底画像を複数合成したモンタージュ画像でも本開示の技術を適用してもよい。
<第5の変形例>
上記実施の形態では、SLO撮影ユニットを備えた眼科装置110により眼底画像を撮影しているが、脈絡膜血管を撮影できる眼底カメラによる眼底画像でもよいし、OCTアンジオグラフィーにより得られた画像でも本開示の技術を適用してもよい。
【0076】
<第6の変形例>
上記実施の形態では、管理サーバ140が画像処理プログラムを実行する。本開示の技術はこれに限定されない。例えば、眼科装置110又は画像ビューワ150が画像処理プログラムを実行するようにしてもよい。
【0077】
<第7の変形例>
上記実施の形態では、眼科装置110、眼軸長測定器120、管理サーバ140、及び画像ビューワ150を備えた眼科システム100を例として説明したが、本開示の技術はこれに限定されない。例えば、第1の例として、眼軸長測定器120を省略し、眼科装置110が、眼軸長測定器120の機能を更に有してもよい。また、第2の例として、眼科装置110が、管理サーバ140及び画像ビューワ150の少なくとも一方の機能を更に有してもよい。例えば、眼科装置110が管理サーバ140の機能を有する場合、管理サーバ140を省略することができる。この場合、画像処理プログラムは、眼科装置110又は画像ビューワ150が実行する。また、眼科装置110が画像ビューワ150の機能を有する場合、画像ビューワ150を省略することができる。第3の例として、管理サーバ140を省略し、画像ビューワ150が管理サーバ140の機能を実行するようにしてもよい。
【0078】
<その他の変形例>
上記実施の形態で説明したデータ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記実施の形態では、コンピュータを利用したソフトウェア構成によりデータ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、データ処理が実行されるようにしてもよい。データ処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図15A
図15B
図16A
図16B
図16C
図17
図18
図19
図20