(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-27
(45)【発行日】2024-06-04
(54)【発明の名称】画像処理方法、画像処理装置、及び画像処理プログラム
(51)【国際特許分類】
A61B 3/12 20060101AFI20240528BHJP
A61B 3/10 20060101ALI20240528BHJP
【FI】
A61B3/12 300
A61B3/10 300
(21)【出願番号】P 2021552060
(86)(22)【出願日】2019-10-17
(86)【国際出願番号】 JP2019040889
(87)【国際公開番号】W WO2021075026
(87)【国際公開日】2021-04-22
【審査請求日】2022-04-15
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】廣川 真梨子
(72)【発明者】
【氏名】田邉 泰士
【審査官】佐藤 秀樹
(56)【参考文献】
【文献】国際公開第2019/181981(WO,A1)
【文献】米国特許出願公開第2010/0104148(US,A1)
【文献】特開2004-265384(JP,A)
【文献】園田祥三,画像解析への時間軸の導入を目指して:画像工学による脈絡膜疾患の数量的解析,日眼会誌,2019年03月10日,Vol.123, No.3,pp.260-283
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/16
G06T 1/00-1/40
3/00-9/40
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
脈絡膜血管画像を取得することと
、前記脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から線状部を抽出することと、
前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から塊状部を抽出することと、
前記第1処理画像から抽出した前記線状部と前記第2処理画像から抽出した塊状部とを合成した合成画像を生成することと、
を備えた画像処理方法。
【請求項2】
前記線強調処理は、前記
脈絡膜血管画像中の局所構造が線であることを判別する、請求項1に記載の画像処理方法。
【請求項3】
前記塊状部を抽出することは、所定輝度値の画素が所定数連結した領域を塊状部として抽出することである、請求項1または請求項2に記載の画像処理方法。
【請求項4】
前記線状部は、
脈絡膜血管の線状部であり、
前記塊状部は、
脈絡膜血管の塊状部である、請求項1から請求項3のいずれか1項に記載の画像処理方法。
【請求項5】
前記合成画像は眼底の脈絡膜の血管構造を示した画像である請求項1から請求項
4のいずれか1項に記載の画像処理方法。
【請求項6】
前記線状部は渦静脈の線状部分であり、前記塊状部は渦静脈膨大部である請求項
5に記載の画像処理方法。
【請求項7】
脈絡膜血管画像を取得することと、
前記
脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から血管の線状部を抽出することと、
前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から、血管の塊状部を抽出することと、
前記第1処理画像から抽出した線状部の画像と前記第2処理画像から抽出された塊状部の画像とを統合し、血管が可視化された血管画像を生成することと、
を備えた画像処理方法。
【請求項8】
前記
脈絡膜血管画像は、グレースケール画像であり、前記血管画像は二値化画像である請求項
7に記載の画像処理方法。
【請求項9】
前記線状部は脈絡膜血管の線状部である請求項
7または請求項8に記載の画像処理方法。
【請求項10】
前記塊状部は脈絡膜血管の膨大部である請求項
7から請求項9の何れか1項に記載の画像処理方法。
【請求項11】
前記脈絡膜血管画像は、複数の異なる波長の光で撮像した複数の眼底画像に基づいて生成される、
請求項1から請求項10の何れか1項に記載の画像処理方法。
【請求項12】
前記脈絡膜血管画像は、赤色光によって撮像された赤色眼底画像と、緑色光によって撮像された緑色眼底画像に基づいて生成される、請求項1から請求項11の何れか1項に記載の画像処理方法。
【請求項13】
前記
脈絡膜血管画像は、レーザ走査検眼鏡で取得した画像である請求項
1から請求項12の何れか1項に記載の画像処理方法。
【請求項14】
前記脈絡膜血管画像から渦静脈の位置を検出することをさらに備える請求項
1から請求項13の何れか1項に記載の画像処理方法。
【請求項15】
脈絡膜血管画像を取得することと、
前記
脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から渦静脈の線状部を抽出することと、
前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から前記渦静脈の膨大部を抽出することと、
前記第1処理画像から抽出した線状部と前記第2処理画像から抽出した前記膨大部とを合成し、渦静脈の血管構造を抽出することと、
を備えた画像処理方法。
【請求項16】
前記渦静脈の血管構造を解析することをさらに備える請求項
15に記載の画像処理方法。
【請求項17】
脈絡膜血管画像を取得する画像取得部と、
前記
脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から血管の線状部を抽出する第1抽出部と、
前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から血管の塊状部を抽出する第2抽出部と、
前記第1処理画像から抽出した線状部の画像と前記第2処理画像から抽出した塊状部の画像とを統合し、血管が可視化された血管画像を生成する血管可視化部と、
を備えた画像処理装置。
【請求項18】
コンピューターを、
脈絡膜血管画
像を取得する画像取得部、前記
脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から血管の線状部を抽出する第1抽出部、前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から血管の塊状部を抽出する第2抽出部、及び前記第1処理画像から抽出した線状部の画像と前記第2処理画像から抽出した塊状部の画像とを統合し、血管が可視化された血管画像を生成する血管可視部、として機能させる画像処理プログラム。
【請求項19】
コンピューターを、
脈絡膜血管画
像を取得する画像取得部、前記
脈絡膜血管画像を線強調処理および前記線強調処理に続く二値化処理をすることにより生成された第1処理画像から血管の線状部を抽出する第1抽出部、前記
脈絡膜血管画像を二値化処理することにより生成された第2処理画像から血管の塊状部を抽出する第2抽出部、及び前記第1処理画像から抽出した線状部の画像と前記第2処理画像から抽出した塊状部の画像とを統合し、前記線状部と前記塊状部とからなる脈絡膜血管画像を生成する脈絡膜血管画像生成部、として機能させる画像処理プログラム。
【請求項20】
前記線強調処理は、前記
脈絡膜血管画像中の局所構造が線であることを判別する、請求項
18又は請求項
19に記載の画像処理プログラム。
【請求項21】
前記第2抽出部は、所定輝度値の画素が所定数連結した領域を塊状部として抽出する、請求項
18から請求項
20のいずれか1項に記載の画像処理プログラム。
【請求項22】
前記線状部は脈絡膜血管の線状部分であり、前記塊状部は脈絡膜血管の塊状部である請求項
18から請求項
21のいずれか1項に記載の画像処理プログラム。
【請求項23】
前記線状部は渦静脈の線状部分であり、前記塊状部は渦静脈膨大部である請求項
22に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。
【背景技術】
【0002】
米国特許第10136812号明細書には、脈絡膜の血管網を選択的に可視化する光干渉断層計装置が開示されている。脈絡膜血管を解析するための画像処理方法が望まれている。
【発明の概要】
【0003】
本開示の技術の第1の態様の画像処理方法は、眼底画像を取得することと、前記眼底画像から第1特徴を有する第1領域を抽出することと、前記眼底画像から前記第1特徴と異なる第2特徴の第2領域を抽出することと、前記抽出した前記第1領域と前記第2領域とを合成した合成画像を生成することと、を備える。
【0004】
本開示の技術の第2の態様の画像処理装置は、眼底画像を取得する画像取得部と、前記眼底画像から血管の線状部を抽出する第1抽出部と、前記眼底画像から血管の塊状部を抽出する第2抽出部と、前記抽出した線状部の画像と塊状部の画像とを統合し、血管が可視化された血管画像を生成する血管可視化部と、を含む。
【0005】
本開示の技術の第3の態様の画像処理プログラムは、コンピュータを、眼底画像を取得する画像取得部、前記眼底画像から血管の線状部を抽出する第1抽出部、前記眼底画像から血管の塊状部を抽出する第2抽出部、及び前記抽出した線状部の画像と塊状部の画像とを統合し、血管が可視化された血管画像を生成する血管可視化部、として機能させる。
【図面の簡単な説明】
【0006】
【
図2】眼科装置110の全体構成を示す概略構成図である。
【
図3】管理サーバ140の電気系の構成のブロック図である。
【
図4】管理サーバ140のCPU262の機能のブロック図である。
【
図5】管理サーバ140のCPU262の画像処理制御部206の機能のブロック図である。
【
図6】画像処理プログラムのフローチャートである。
【
図7】
図6のステップ304の脈絡膜血管解析処理のフローチャートである。
【
図8A】脈絡膜血管の線状部12V1、12V2、12V3、12V4の抽出例を示した概略図である。
【
図8B】脈絡膜血管の膨大部12E1、12E2、12E3、12E4の抽出例を示した概略図である。
【
図8C】脈絡膜血管の線状部12V1、12V2、12V3、12V4と膨大部12E1、12E2、12E3、12E4とを各々結合した場合の概略図である。
【
図10】経過観察領域570に時系列で表示される特定領域12V3AのRGカラー眼底画像の各々に、撮影年月日が同じ特定領域12V3Bの脈絡膜血管抽出画像の各々を合成した場合を示した概略図である。
【
図11】経過観察領域570に時系列で表示される特定領域12V3Bの脈絡膜血管抽出画像の各々に、撮影年月日が同じ特定領域12V3AのRGカラー眼底画像から抽出した輪郭強調画像を合成した場合を示した概略図である。
【発明を実施するための形態】
【0007】
以下、図面を参照して本実施形態を詳細に説明する。
【0008】
図1を参照して、眼科システム100の構成を説明する。
図1に示すように、眼科システム100は、眼科装置110と、管理サーバ装置(以下、「管理サーバ」という)140と、表示装置(以下、「ビューワ」という)150と、を備えている。眼科装置110は、眼底画像を取得する。管理サーバ140は、眼科装置110によって複数の患者の眼底が撮影されることにより得られた複数の眼底画像及び眼軸長を、患者のIDに対応して記憶する。ビューワ150は、管理サーバ140により取得した眼底画像や解析結果を表示する。
【0009】
ビューワ150は、管理サーバ140により取得した眼底画像や解析結果を表示するディスプレイ156、操作に供されるマウス155M及びキーボード155Kを備える。
【0010】
眼科装置110、管理サーバ140、ビューワ150は、ネットワーク130を介して、相互に接続されている。ビューワ150は、クライアントサーバシステムにおけるクライアントであり、ネットワークを介して複数台が接続される。また、管理サーバ140も、システムの冗長性を担保するために、ネットワークを介して複数台が接続されていてもよい。又は、眼科装置110が画像処理機能及びビューワ150の画像閲覧機能を備えるのであれば、眼科装置110がスタンドアロン状態で、眼底画像の取得、画像処理及び画像閲覧が可能となる。また、管理サーバ140がビューワ150の画像閲覧機能を備えるのであれば、眼科装置110と管理サーバ140との構成で、眼底画像の取得、画像処理及び画像閲覧が可能となる。
【0011】
なお、他の眼科機器(視野測定、眼圧測定などの検査機器)やAI(Artificial Intelligence)を用いた画像解析を行う診断支援装置がネットワーク130を介して、眼科装置110、管理サーバ140、及びビューワ150に接続されていてもよい。
【0012】
次に、
図2を参照して、眼科装置110の構成を説明する。 説明の便宜上、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope)を「SLO」と称する。また、光干渉断層計(Optical Coherence Tomography)を「OCT」と称する。
【0013】
なお、眼科装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部の瞳孔の中心と眼球の中心とを結ぶ方向を「Z方向」とする。従って、X方向、Y方向、及びZ方向は互いに垂直である。
【0014】
眼科装置110は、撮影装置14及び制御装置16を含む。撮影装置14は、SLOユニット18及びOCTユニット20を備えており、被検眼12の眼底の眼底画像を取得する。以下、SLOユニット18により取得された二次元眼底画像をSLO画像と称する。また、OCTユニット20により取得されたOCTデータに基づいて作成された網膜の断層画像や正面画像(en-face画像)などをOCT画像と称する。
【0015】
制御装置16は、CPU(Central Processing Unit(中央処理装置))16A、RAM(Random Access Memory)16B、ROM(Read-Only memory)16C、及び入出力(I/O)ポート16Dを有するコンピュータを備えている。
【0016】
制御装置16は、I/Oポート16Dを介してCPU16Aに接続された入力/表示装置16Eを備えている。入力/表示装置16Eは、被検眼12の画像を表示したり、ユーザから各種指示を受け付けたりするグラフィックユーザインターフェースを有する。グラフィックユーザインターフェースとしては、タッチパネル・ディスプレイが挙げられる。
【0017】
また、制御装置16は、I/Oポート16Dに接続された画像処理装置17を備えている。画像処理装置17は、撮影装置14によって得られたデータに基づき被検眼12の画像を生成する。なお、制御装置16は、図示しない通信インターフェースを介してネットワーク130に接続される。
【0018】
上記のように、
図2では、眼科装置110の制御装置16が入力/表示装置16Eを備えているが、本開示の技術はこれに限定されない。例えば、眼科装置110の制御装置16は入力/表示装置16Eを備えず、眼科装置110とは物理的に独立した別個の入力/表示装置を備えるようにしてもよい。この場合、当該表示装置は、制御装置16のCPU16Aの制御下で動作する画像処理プロセッサユニットを備える。画像処理プロセッサユニットが、CPU16Aが出力指示した画像信号に基づいて、SLO画像等を表示するようにしてもよい。
【0019】
撮影装置14は、制御装置16のCPU16Aの制御下で作動する。撮影装置14は、SLOユニット18、撮影光学系19、及びOCTユニット20を含む。撮影光学系19は、第1光学スキャナ22、第2光学スキャナ24、及び広角光学系30を含む。
【0020】
第1光学スキャナ22は、SLOユニット18から射出された光をX方向、及びY方向に2次元走査する。第2光学スキャナ24は、OCTユニット20から射出された光をX方向、及びY方向に2次元走査する。第1光学スキャナ22及び第2光学スキャナ24は、光束を偏向できる光学素子であればよく、例えば、ポリゴンミラーや、ガルバノミラー等を用いることができる。また、それらの組み合わせであってもよい。
【0021】
広角光学系30は、共通光学系28を有する対物光学系(
図2では不図示)、及びSLOユニット18からの光とOCTユニット20からの光を合成する合成部26を含む。
【0022】
なお、共通光学系28の対物光学系は、楕円鏡などの凹面ミラーを用いた反射光学系や、広角レンズなどを用いた屈折光学系、あるいは、凹面ミラーやレンズを組み合わせた反射屈折光学系でもよい。楕円鏡や広角レンズなどを用いた広角光学系を用いることにより、眼底中心部だけでなく眼底周辺部の網膜を撮影することが可能となる。
【0023】
楕円鏡を含むシステムを用いる場合には、国際公開WO2016/103484あるいは国際公開WO2016/103489に記載された楕円鏡を用いたシステムを用いる構成でもよい。国際公開WO2016/103484の開示及び国際公開WO2016/103489の開示の各々は、その全体が参照により本明細書に取り込まれる。
【0024】
広角光学系30によって、眼底において広い視野(FOV:Field of View)12Aでの観察が実現される。FOV12Aは、撮影装置14によって撮影可能な範囲を示している。FOV12Aは、視野角として表現され得る。視野角は、本実施形態において、内部照射角と外部照射角とで規定され得る。外部照射角とは、眼科装置110から被検眼12へ照射される光束の照射角を、瞳孔27を基準として規定した照射角である。また、内部照射角とは、眼底Fへ照射される光束の照射角を、眼球中心Oを基準として規定した照射角である。外部照射角と内部照射角とは、対応関係にある。例えば、外部照射角が120度の場合、内部照射角は約160度に相当する。本実施形態では、内部照射角は200度としている。
【0025】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたSLO眼底画像をUWF-SLO眼底画像と称する。なお、UWFとは、UltraWide Field(超広角)の略称を指す。
【0026】
SLOシステムは、
図2に示す制御装置16、SLOユニット18、及び撮影光学系19によって実現される。SLOシステムは、広角光学系30を備えるため、広いFOV12Aでの眼底撮影を可能とする。
【0027】
SLOユニット18は、B(青色光)の光源40、G光(緑色光)の光源42、R光(赤色光)の光源44、及びIR光(赤外線(例えば、近赤外光))の光源46と、光源40、42、44、46からの光を、反射又は透過して1つの光路に導く光学系48、50、52、54、56とを備えている。光学系48、50、56は、ミラーであり、光学系52、54は、ビームスプリッタ―である。B光は、光学系48で反射し、光学系50を透過し、光学系54で反射し、G光は、光学系50、54で反射し、R光は、光学系52、54を透過し、IR光は、光学系52、56で反射して、それぞれ1つの光路に導かれる。
【0028】
SLOユニット18は、G光、R光、及びB光を発するモードと、赤外線を発するモードなど、波長の異なるレーザ光を発する光源あるいは発光させる光源の組合せを切り替え可能に構成されている。
図2に示す例では、B光(青色光)の光源40、G光の光源42、R光の光源44、及びIR光の光源46の4つの光源を備えるが、本開示の技術は、これに限定されない。例えば、SLOユニット18は、更に、白色光の光源を更に備え、白色光のみを発するモード等の種々のモードで光を発するようにしてもよい。
【0029】
SLOユニット18から撮影光学系19に入射された光は、第1光学スキャナ22によってX方向及びY方向に走査される。走査光は広角光学系30及び瞳孔27を経由して、被検眼12の後眼部(眼底)に照射される。眼底により反射された反射光は、広角光学系30及び第1光学スキャナ22を経由してSLOユニット18へ入射される。
【0030】
SLOユニット18は、被検眼12の後眼部(眼底)からの光の内、B光を反射し且つB光以外を透過するビームスプリッタ64、ビームスプリッタ64を透過した光の内、G光を反射し且つG光以外を透過するビームスプリッタ58を備えている。SLOユニット18は、ビームスプリッタ58を透過した光の内、R光を反射し且つR光以外を透過するビームスプリッタ60を備えている。SLOユニット18は、ビームスプリッタ60を透過した光の内、IR光を反射するビームスプリッタ62を備えている。SLOユニット18は、ビームスプリッタ64により反射したB光を検出するB光検出素子70、ビームスプリッタ58により反射したG光を検出するG光検出素子72、ビームスプリッタ60により反射したR光を検出するR光検出素子74、及びビームスプリッタ62により反射したIR光を検出するIR光検出素子76を備えている。
【0031】
広角光学系30及びスキャナ22を経由してSLOユニット18へ入射された光(眼底により反射された反射光)は、B光の場合、ビームスプリッタ64で反射してB光検出素子70により受光され、G光の場合、ビームスプリッタ64を透過し、ビームスプリッタ58で反射してG光検出素子72により受光される。上記入射された光は、R光の場合、ビームスプリッタ64、58を透過し、ビームスプリッタ60で反射してR光検出素子74により受光される。上記入射された光は、IR光の場合、ビームスプリッタ64、58、60を透過し、ビームスプリッタ62で反射してIR光検出素子76により受光される。CPU16Aの制御下で動作する画像処理装置17は、B光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76で検出された信号を用いてUWF-SLO画像を生成する。B光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76として、例えば、PD(photodiode)及びAPD(avalanche photodiode:アバランシェ・フォトダイオード)が挙げられる。B光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76は、本開示の技術の「画像取得部」に相当する。SLOユニット18では、対象物である眼底で反射(散乱)して戻ってきた光は第1光学スキャナ22を通って光検出素子に届くので、常に同じ位置、すなわちB光検出素子70、G光検出素子72、R光検出素子74、及びIR光検出素子76が存在する位置に戻ってくる。従って、光検出素子をエリアセンサのように平面状(2次元)に構成する必要はなく、PD又はAPD等のような点状(0次元)の検出器が本実施形態では最適である。しかしながら、PD又はAPD等に限らず、ラインセンサ(1次元)又はエリアセンサ(2次元)を用いることも可能である。
【0032】
UWF-SLO画像には、眼底がG色で撮影されて得られたUWF-SLO画像(G色眼底画像)と、眼底がR色で撮影されて得られたUWF-SLO画像(R色眼底画像)とがある。UWF-SLO画像には、眼底がB色で撮影されて得られたUWF-SLO画像(B色眼底画像)と、眼底がIRで撮影されて得られたUWF-SLO画像(IR眼底画像)とがある。
【0033】
また、制御装置16が、同時に発光するように光源40、42、44を制御する。B光、G光及びR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像、R色眼底画像、及びB色眼底画像が得られる。G色眼底画像、R色眼底画像、及びB色眼底画像からRGBカラー眼底画像が得られる。制御装置16が、同時に発光するように光源42、44を制御し、G光及びR光で同時に被検眼12の眼底が撮影されることにより、各位置が互いに対応するG色眼底画像及びR色眼底画像が得られる。G色眼底画像及びR色眼底画像を所定の混合比で混合することにより、RGカラー眼底画像が得られる。
【0034】
UWF-SLO画像には、ICG蛍光撮影されたUWF-SLO画像(動画)もある。インドシアニン・グリーン(ICG)が血管に注入されると、眼底に到達し、最初は網膜に到達し、次に、脈絡膜に到達し、脈絡膜を通過する。UWF-SLO画像(動画)は、インドシアニン・グリーン(ICG)が血管に注入され網膜に到達した時から、脈絡膜を通過した後までの動画像である。
【0035】
B色眼底画像、G色眼底画像、R色眼底画像、IR眼底画像、RGBカラー眼底画像、RGカラー眼底画像、及びUWF-SLO画像の各画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付される。
【0036】
OCTシステムは、
図2に示す制御装置16、OCTユニット20、及び撮影光学系19によって実現される。OCTシステムは、広角光学系30を備えるため、上述したSLO眼底画像の撮影と同様に、広いFOV12Aでの眼底撮影を可能とする。OCTユニット20は、光源20A、センサ(検出素子)20B、第1の光カプラ20C、参照光学系20D、コリメートレンズ20E、及び第2の光カプラ20Fを含む。
【0037】
光源20Aから射出された光は、第1の光カプラ20Cで分岐される。分岐された一方の光は、測定光として、コリメートレンズ20Eで平行光にされた後、撮影光学系19に入射される。測定光は、第2光学スキャナ24によってX方向及びY方向に走査される。走査光は広角光学系30及び瞳孔27を経由して、眼底に照射される。眼底により反射された測定光は、広角光学系30と第2光学スキャナ24とを経由してOCTユニット20へ入射され、コリメートレンズ20Eと第1の光カプラ20Cとを介して、第2の光カプラ20Fに入射する。
【0038】
光源20Aから射出され、第1の光カプラ20Cで分岐された他方の光は、参照光として、参照光学系20Dへ入射され、参照光学系20Dを経由して、第2の光カプラ20Fに入射する。
【0039】
第2の光カプラ20Fに入射されたこれらの光、即ち、眼底で反射された測定光と、参照光とは、第2の光カプラ20Fで干渉されて干渉光を生成する。干渉光はセンサ20Bで受光される。画像処理制御部206の制御下で動作する画像処理装置17は、センサ20Bで検出されたOCTデータに基づいて断層画像やen-face画像などのOCT画像を生成する。
【0040】
ここで、内部照射角で160度以上の撮影画角で撮影されて得られたOCT眼底画像をUWF-OCT画像と称する。
【0041】
UWF-OCT画像の画像データは、図示しない通信IFを介して眼科装置110から管理サーバ140へ送付され、記憶装置254に記憶される。
【0042】
なお、本実施形態では、光源20Aが波長掃引タイプのSS-OCT(Swept-Source OCT)を例示するが、SD-OCT(Spectral-Domain OCT)、TD-OCT(Time-Domain OCT)など、様々な方式のOCTシステムであってもよい。
【0043】
次に、
図3を参照して、管理サーバ140の電気系の構成を説明する。
図3に示すように、管理サーバ140は、コンピュータ本体252を備えている。コンピュータ本体252は、CPU262、RAM266、ROM264、入出力(I/O)ポート268を有する。入出力(I/O)ポート268には、記憶装置254、ディスプレイ256、マウス255M、キーボード255K、及び通信インターフェース(I/F)258が接続されている。記憶装置254は、例えば、不揮発メモリで構成される。入出力(I/O)ポート268は、通信インターフェース(I/F)258を介して、ネットワーク130に接続されている。従って、管理サーバ140は、眼科装置110、眼軸長測定器120、及びビューワ150と通信することができる。記憶装置254には、後述する画像処理プログラムが記憶されている。なお、画像処理プログラムを、ROM264に記憶してもよい。
【0044】
管理サーバ140は、眼科装置110及び眼軸長測定器120から受信した各データを、記憶装置254に記憶する。
【0045】
次に、
図4を参照して、管理サーバ140のCPU262が画像処理プログラムを実行することで実現される各種機能について説明する。画像処理プログラムは、表示制御機能、画像処理制御機能、及び処理機能を備えている。CPU262がこの各機能を有する画像処理プログラムを実行することで、CPU262は、
図4に示すように、表示制御部204、画像処理制御部206、及び処理部208として機能する。
【0046】
画像処理制御部206は、本開示の技術の「第1抽出部」、「第2抽出部」、「血管可視化部」及び「脈絡膜血管画像生成部」に相当する。
【0047】
次に、
図5を参照して、画像処理制御部206の各種機能について説明する。画像処理制御部206は、眼底画像から脈絡膜血管等を鮮明化した画像を生成する等の画像処理を行う眼底画像処理部2060と、脈絡膜の線状部と膨大部(塊状部)との各々を抽出する等の画像処理を行う脈絡膜血管解析部2062として機能する。線状部は本開示の技術の「第1特徴」に、膨大部は本開示の技術の「第2特徴」に各々相当する。
【0048】
次に、
図6を用いて、管理サーバ140による画像処理を詳細に説明する。管理サーバ140のCPU262が画像処理プログラムを実行することで、
図6のフローチャートに示された画像処理(画像処理方法)が実現される。
【0049】
ステップ300で、画像処理制御部206は、UWF-SLO画像を、記憶装置254から取得する。ステップ302で、画像処理制御部206は、取得したUWF-SLO画像(R色眼底画像とG色眼底画像)から、脈絡膜血管が抽出された脈絡膜血管画像を作成する。R光は波長が長いため、網膜を通過して脈絡膜まで到達する。よって、R色眼底画像には、網膜に存在する血管(網膜血管)の情報と脈絡膜に存在する血管(脈絡膜血管)の情報とが含まれる。これに対し、G光はR光より波長が短いため、網膜までしか到達しない。よって、G色眼底画像には、網膜に存在する血管(網膜血管)の情報のみが含まれる。よって、G色眼底画像から網膜血管を抽出し、R色眼底画像から網膜血管を除去することにより脈絡膜血管画像CLAを得ることができる。R色眼底画像は、本開示の技術の「赤色光撮影画像」に相当する。
【0050】
以下、ステップ302で画像処理制御部206により実行される具体的な処理について説明する。
まず、画像処理制御部206は、G色眼底画像及びR色眼底画像の各々からノイズを除去するデノイズ処理を行う。ノイズ除去には、メディアンフィルタ等を適用する。
そして、画像処理制御部206は、ノイズ除去後のG色眼底画像にブラックハットフィルタ処理を施すことにより、G色眼底画像から網膜血管を抽出する。
そして、画像処理制御部206は、G色眼底画像から抽出された網膜血管の位置情報を用いてR色眼底画像の網膜血管構造を周囲の画素と同じ値に塗りつぶすインペインティング処理により、網膜血管を除去する。この処理により、R色眼底画像から網膜血管が除去され脈絡膜血管のみが可視化された画像が生成される。
次に、画像処理制御部206は、インペインティング処理後のR色眼底画像から低周波成分を除去する。低周波成分を除去するには、周波数フィルタリングや空間フィルタリングなどの周知の画像処理を適用する。
【0051】
そして、最後に、画像処理制御部206は、網膜血管が除去され脈絡膜血管が残ったR色眼底画像の画像データに対し、適応ヒストグラム均等化処理(Contrast Limited Adaptive Histograph Equalization)を施すことにより、R色眼底画像において、脈絡膜血管を強調する。一連のステップ302の処理を行うことにより、
図12に示す脈絡膜血管画像CLAが作成される。作成された脈絡膜血管画像CLAは記憶装置254に記憶される。
【0052】
また、上記例では、R色眼底画像とG色眼底画像とから脈絡膜血管画像CLAを生成している。これにかぎらず、画像処理制御部206は、G色眼底画像とIR眼底画像とから脈絡膜血管画像CLAを生成してもよい。また、画像処理制御部206は、B色眼底画像と、R色眼底画像あるいはIR眼底画像とから、脈絡膜血管画像CLAを生成してもよい。
【0053】
更に、UWF-SLO画像(動画)510から、脈絡膜血管画像CLAを生成してもよい。上記のように、UWF-SLO画像(動画)510は、インドシアニン・グリーン(ICG)が血管に注入され網膜に到達した時から、脈絡膜を通過した後までの動画像である。インドシアニン・グリーン(ICG)が網膜を通過した時から脈絡膜を通過している期間の動画像から、脈絡膜血管画像CLAを生成してもよい。
【0054】
ステップ304では、脈絡膜血管解析を脈絡膜血管の線状部の抽出処理と膨大部の抽出処理とを独立で行う脈絡膜血管解析処理を実行する。抽出された線状部と膨大部とから脈絡膜血管の一部である渦静脈の位置を抽出する。解剖学的には、渦静脈は、脈絡膜血管が集中する血管部位であり、眼球に流れ込んだ血液の排出路である。渦静脈は、脈絡膜血管の一部であり、眼球に渦静脈は3~7つ存在し、眼底周辺部(眼球の赤道部付近)に存在している。眼底画像において、渦静脈位置は塊状の中心部と、塊状の中心部へつながる複数の線状部として画像認識される。
ステップ304での脈絡膜血管解析の詳細は後述する。
【0055】
ステップ306では、ステップ304の脈絡膜血管解析処理で得られた解析データを管理サーバ140の記憶装置254に出力する。ステップ308で、表示制御部2044は、脈絡膜血管を抽出した画像とともに、患者IDに対応した患者属性情報(患者名、年齢、各眼底画像が右眼か左眼からの情報、眼軸長、視力及び撮影日時など)を反映させた、後述する表示画面500を生成して、管理サーバ140のディスプレイ256に表示して処理を終了する。
【0056】
表示画面500は、管理サーバ140の記憶装置254に記憶される。管理サーバ140の記憶装置254に記憶された表示画面500は、ビューワ150からの操作に応じてビューワ150に送信され、ビューワ150のディスプレイ156に閲覧可能な状態で出力される。
【0057】
図6に示した処理は、眼科装置110の制御装置16が備えるCPU16Aで実行してもよい。眼科装置110のCPU16Aで当該処理を実行した場合は、眼科装置のディスプレイに表示画像500を表示すると共に、表示画像500を管理サーバ140の記憶装置に記憶する。
【0058】
また、
図6に示した処理は、ビューワ150が備えるCPUで実行してもよい。ビューワ150のCPUで当該処理を実行した場合は、ビューワ150のディスプレイ156に表示画像500を表示すると共に、表示画像500をビューワ150の記憶装置と管理サーバ140の記憶装置とに各々記憶する。
【0059】
図7は、
図6に示した脈絡膜血管解析処理(ステップ304)の詳細を示したフローチャートである。ステップ400では、脈絡膜血管画像CLAから線状部分を抽出する第1血管抽出処理が行われる。ステップ400ではまず、
図12に示した脈絡膜血管画像CLAである解析用画像に対して線強調処理を行う。この線強調処理により線状である脈絡膜血管が強調される。そして、線強調された画像を二値化処理する。次に、線強調された脈絡膜血管画像CLAから線状部分を抽出する画像処理を行う。
【0060】
線強調処理は、例えば、ヘッセ(Hessian)行列を用いたヘッセ解析により、線状構造物として強調してする処理である。ヘッセ解析は、ガウシアンカーネル等の所定のフィルタについての二次微分カーネルを用いることにより算出した、二階の偏微分係数を要素とするヘッセ行列の固有値を解析することにより、画像中の局所構造が点、線および面のいずれであるかを判別するものである。
【0061】
脈絡膜血管の線状部の強調には、上述の線強調処理以外に、画像に含まれる輪郭の向きを抽出するガボールフィルタ、又は線状部分を他の部分から切り分けて抽出するグラフカット等を用いてもよい。また、ラプラシアンフィルタやアンシャープマスクといった、エッジ強調処理を用いてもよい。
【0062】
ステップ400での第1血管抽出処理により、脈絡膜血管の線状部は、
図8Aに示したように抽出される。
図8Aには、線状部12V1、12V2、12V3、12V4が他の眼底の領域から明確に区別されて表示されている。
【0063】
ステップ402では、脈絡膜血管画像CLAから脈絡膜血管の膨大部を抽出する第2血管抽出処理が行われる。第2血管抽出処理は、まず、解析用画像を二値化する。そして、二値化された脈絡膜血管画像CLAから白い色の画素が所定数連結した領域を脈絡膜血管の膨大部として抽出する。当該所定数あるいは領域の大きさは渦静脈の大きさ(脈絡膜の標準データなど)からあらかじめ設定された数である。この抽出処理は、ヘッセ(Hessian)行列を用いたヘッセ解析により、画像の凹凸を検出し、凸部を膨大部として抽出してもよい。ヘッセ解析は、本開示の技術の「塊状部のみを抽出する画像処理フィルタ」に相当する。
当該膨大部に相当する画素とともに脈絡膜血管の線状部が抽出されることもある。しかしながら後述のデータ統合処理により、線状部と膨大部が統合されるので、渦静脈位置の抽出には影響がない。
【0064】
ステップ402での第2血管抽出処理により、脈絡膜血管の膨大部は、
図8Bに示したように抽出される。
図8Bには、眼球に渦静脈が4つ存在する場合の例であり(通常4~6つ存在する)、膨大部12E1、12E2、12E3、12E4が他の眼底の領域から明確に区別されて表示されている。膨大部12E1、12E2、12E3、12E4は、眼底周辺部に存在する渦静脈の強膜側への流入個所(眼球の外へ走行する渦静脈の脈絡膜側の入り口)とも表現できる。ステップ402の脈絡膜血管画像CLA全体への二値化処理により、ステップ400の第1血管抽出処理による線状部分の抽出処理で抽出できなかった脈絡膜膨大部を抽出することが可能となる。
【0065】
なお、
図7のフローチャートと第1血管抽出処理と第2血管抽出処理の順序を入れ替えて、ステップ400で第2血管抽出処理を行い、ステップ402で第1血管抽出処理を行ってもよい。第1血管抽出処理及び第2血管抽出処理の各々は、互いに関与しない独立した処理だからである。
【0066】
ステップ404では、
図8Cに示したように、第1血管抽出処理の結果である線状部と第2血管抽出処理の結果である膨大部とを統合するデータ統合を行う。つまり、ステップ400で得られた線状部を抽出した線状部画像と、ステップ402で得られた膨大部を抽出した膨大部画像とを合成し、一枚の脈絡膜血管画像を生成する。そして、
図7のステップ306に進み、合成画像を解析する処理が開始される。
図8Cに示した脈絡膜血管画像は、本開示の技術の「合成画像」に相当する。
図8Cには、線状部12V1、12V2、12V3、12V4と膨大部12E1、12E2、12E3、12E4とが各々結合された状態で表示されている。なお、
図8A、8B、8Cの各々は、眼底が表示されていない領域である背景画像を白く描画して、二値画像である脈絡膜血管が抽出された画像を明確に表示しているが、二値画像と背景画像との輪郭のみを白く描画して、二値画像を明確に視認できるようにしてもよい。後述する表示画面500では、眼底が表示されていない領域である背景画像を白く描画した場合を示す。
【0067】
図9は、管理サーバ140のディスプレイ256等に表示される表示画面500を示した概略図である。表示画像500は、管理サーバ140のディスプレイ256の他に、ビューワ150のディスプレイ156、又は眼科装置110の入力/表示装置16Eに表示してもよい。
【0068】
表示画面500は、
図9に示すように、情報表示領域502と、画像表示領域504とを有する。情報表示領域502には、患者ID表示領域512、患者名表示領域514、年齢表示領域516、右眼/左眼表示領域518及び眼軸長表示領域522を有する。
【0069】
画像表示領域504は、最新画像(
図9では2019年7月16日に撮影された眼底画像)を表示する最新画像表示領域550と、最新画像より以前に撮影された前画像(
図9では2019年4月16日に撮影された眼底画像)を表示する前画像表示領域560と、眼底の時系列での変化を表示する経過観察領域570と、ユーザによって入力された治療や診断のメモ等を表示する備考欄580とを有する。最新画像表示領域550は、上部に撮影年月日表示領域552を有し、RGカラー眼底画像554、及び脈絡膜血管の線状部12V1、12V2、12V3、12V4と膨大部12E1、12E2、12E3、12E4とが各々結合された二値画像である脈絡膜血管抽出画像556が表示される。
【0070】
前画像表示領域560は、上部に撮影年月日表示領域562を有し、RGカラー眼底画像564、及び脈絡膜血管の線状部12V1、12V2、12V3、12V4と膨大部12E1、12E2、12E3、12E4とが各々結合された二値画像である脈絡膜血管抽出画像566が表示される。
【0071】
最新画像表示領域550と前画像表示領域560の各々は、RGカラー眼底画像554、564と脈絡膜血管抽出画像556、566に代えて、脈絡膜血管造影画像(ICG)や光干渉断層血管画像(OCTA)を表示してもよい。RGカラー眼底画像554、564、ICG及びOCTAの各々は、2D表現のみならず、3D表現で表示してもよい。最新画像表示領域550及び前画像表示領域560に表示される画像は、表示切替アイコン558、568の各々をオンにすることにより表示されるメニューから選択することができる。
【0072】
経過観察領域570は、RGカラー眼底画像554、564の特定領域12V3A及び脈絡膜血管抽出画像556、566の特定領域12V3Bの各々の時系列での変化を表示する。経過観察領域570には、特定領域12V3A、12V3Bの各々の最新画像が表示される最新画像表示領域576と、特定領域12V3A、12V3Bの各々の最新画像以前に撮影された画像である前画像が表示される前画像表示領域574と、特定領域12V3A、12V3Bの各々の前画像より以前に撮影された画像(
図9では2019年1月16日に撮影された眼底画像)である前々画像が表示される前々画像表示領域572とを備え、下部には最新画像、前画像及び前々画像の各々の撮影時における膨大部12E3及び周辺部(線状部12V3)の血管径の時系列での変化を示した時系列血管径表示部578を備える。
図9では、最新、前、前々の3つのタイミングで撮影された3つの画像を経過観察領域570に表示しているが、3つの画像に限らず、4つ以上の異なる日時で撮影された眼底画像を時系列に表示するようにしてもよい。
【0073】
図10は、経過観察領域570に時系列で表示される特定領域12V3AのRGカラー眼底画像の各々に、撮影年月日が同じ特定領域12V3Bの脈絡膜血管抽出画像の各々を合成した場合を示した概略図である。経過観察領域570には、
図10のような合成画像を表示してもよい。
【0074】
図11は、経過観察領域570に時系列で表示される特定領域12V3Bの脈絡膜血管抽出画像の各々に、撮影年月日が同じ特定領域12V3AのRGカラー眼底画像から抽出した輪郭強調画像を合成した場合を示した概略図である。経過観察領域570には、
図11のような合成画像を表示してもよい。経過観察領域570に表示される画像は、表示切替アイコン582をオンにすることにより表示されるメニューから選択することができる。輪郭強調画像は、ソーベルフィルタ等の既知の手法をRGカラー眼底画像又は脈絡膜血管抽出画像に適用することにより生成できる。二値画像である脈絡膜血管抽出画像に輪郭強調画像を合成することにより、脈絡膜血管の線状部12V3と膨大部12E3とを二値画像よりも明瞭に把握することができる。また、輪郭強調画像において、線状部12V3と膨大部12E3とで輪郭部分の色を変えることにより、線状部12V3と膨大部12E3とを明確に識別できる。
【0075】
以上説明したように、本実施形態では、解析用画像から線強調処理により脈絡膜血管の線状部を強調し、画像を二値化することにより、脈絡膜血管の線状部を選択的に抽出することができる。
【0076】
また、本実施形態では、解析用画像を二値化処理する、又はヘッセ行列を用いて解析用画像の凸部を検出することにより、脈絡膜血管の膨大部を選択的に抽出することができる。
【0077】
本実施形態に係る脈絡膜血管の線状部及び膨大部の抽出により、脈絡膜血管と渦静脈を眼底画像から確実に抽出することができる。よって、渦静脈を含む脈絡血管網をデジタル化し各種の解析を行うことが可能となる。例えば、動脈硬化の兆候を逸早く検出することが容易となり、眼科医は、血管の障害に係る疾患の予兆を推定することができる。
【0078】
以上説明した各実施形態における画像処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0079】
以上説明した各実施形態では、コンピュータを利用したソフトウェア構成による画像処理を想定しているが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、画像処理が実行されるようにしてもよい。画像処理のうちの一部の処理がソフトウェア構成により実行され、残りの処理がハードウェア構成によって実行されるようにしてもよい。