IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7195745画像処理装置、画像処理方法及びプログラム
<>
  • 特許-画像処理装置、画像処理方法及びプログラム 図1
  • 特許-画像処理装置、画像処理方法及びプログラム 図2
  • 特許-画像処理装置、画像処理方法及びプログラム 図3
  • 特許-画像処理装置、画像処理方法及びプログラム 図4
  • 特許-画像処理装置、画像処理方法及びプログラム 図5
  • 特許-画像処理装置、画像処理方法及びプログラム 図6
  • 特許-画像処理装置、画像処理方法及びプログラム 図7
  • 特許-画像処理装置、画像処理方法及びプログラム 図8
  • 特許-画像処理装置、画像処理方法及びプログラム 図9
  • 特許-画像処理装置、画像処理方法及びプログラム 図10
  • 特許-画像処理装置、画像処理方法及びプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20221219BHJP
【FI】
A61B3/10 100
A61B3/10 300
A61B3/10 ZDM
【請求項の数】 10
(21)【出願番号】P 2018044563
(22)【出願日】2018-03-12
(65)【公開番号】P2019154718
(43)【公開日】2019-09-19
【審査請求日】2021-03-10
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】今村 裕之
(72)【発明者】
【氏名】内田 弘樹
(72)【発明者】
【氏名】▲高▼橋 理宇眞
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2017-077414(JP,A)
【文献】特開2017-170193(JP,A)
【文献】特開2017-221525(JP,A)
【文献】特開2017-196306(JP,A)
【文献】特開2017-046976(JP,A)
【文献】特開2010-279536(JP,A)
【文献】特開2014-140490(JP,A)
【文献】国際公開第2017/150583(WO,A1)
【文献】国際公開第2015/064545(WO,A1)
【文献】特開2019-154716(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
眼部のモーションコントラスト画像の異なる深度範囲の投影画像であって、複数の投影画像を取得する取得手段と、
前記投影画像の第1の領域と、前記第1の領域の部分領域である第2の領域に対する解析を実行する解析手段と、
前記第1の領域に対する解析結果を示す画像に、前記第2の領域に対する解析結果を示す画像を重ねた合成画像を表示手段に表示させる表示制御手段と、を備え、
前記表示制御手段は、第1の深度範囲に対応する合成画像と、前記第1の深度範囲とは異なる第2の深度範囲に対応する合成画像を並べて表示手段に表示させることを特徴とする画像処理装置。
【請求項2】
前記眼部のモーションコントラスト画像は、前記眼部の同一位置を測定光が走査されるように制御して得た複数の3次元のモーションコントラスト画像を合成した画像であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記表示制御手段は、前記解析手段により解析された結果を示す画像が、前記解析に適した複数の条件のうちの少なくとも2つの条件が満足されない状態で得られた画像である場合には、前記少なくとも2つの条件に関する情報を、前記複数の条件の優先順位に応じて前記表示手段に表示させることを特徴とする請求項に記載の画像処理装置。
【請求項4】
前記表示制御手段は、前記少なくとも2つの条件に関する情報として、前記少なくとも2つの条件のうちの優先度の高い条件に関する警告メッセージを、操作者からの指示に応じて選択された解析の種類を示す情報を用いて解析された結果を示す画像と並べて前記表示手段に表示させることを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記複数の条件には、前記モーションコントラスト画像が前記合成した画像であるという条件が、他の条件よりも優先度の高い条件として含まれることを特徴とする請求項に記載の画像処理装置。
【請求項6】
前記情報は、血管領域、無血管領域および血管中心線の位置のいずれかに基づいて算出された計測値に関する情報と、血管密度の情報とのうち少なくとも1つの情報であることを特徴とする請求項3乃至5のいずれか1項に記載の画像処理装置。
【請求項7】
前記モーションコントラスト画像は、検査日が異なる複数のモーションコントラスト画像を含み、
前記表示制御手段は、前記投影画像それぞれから得られた複数の合成画像を、前記検査日に基づく時系列に並べて表示手段に表示させることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
【請求項8】
操作者からの指示に応じて選択された解析の種類を示す情報を用いて、前記眼部のモーションコントラスト画像における第1の領域に対する解析を実行する解析手段を更に備え、
前記表示制御手段は、操作者からの指示に応じて前記モーションコントラスト画像における前記第1の領域よりも狭い領域を少なくとも含む第2の領域に対して解析された結果を示す画像の表示が選択された場合には、前記選択された解析の種類を示す情報を用いて前記第2の領域に対して解析された結果を示す画像を、前記第1の領域に対して解析された結果を示す画像に重畳された状態で表示手段に表示させることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
【請求項9】
眼部のモーションコントラスト画像の異なる深度範囲の投影画像であって、複数の投影画像を取得する取得工程と、
前記投影画像の第1の領域と、前記第1の領域の部分領域である第2の領域に対する解析を実行する解析工程と、
前記第1の領域に対する解析結果を示す画像に、前記第2の領域に対する解析結果を示す画像を重ねた合成画像を表示手段に表示させる表示制御工程と、を含み、
前記表示制御工程において、第1の深度範囲に対応する合成画像と、前記第1の深度範囲とは異なる第2の深度範囲に対応する合成画像を並べて表示させることを特徴とする画像処理方法。
【請求項10】
請求項9に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
光干渉断層計(OCT;Optical Coherence Tomography)を用いて非侵襲に眼底血管を描出するOCT Angiography(以下、OCTAと表記)が知られている。OCTAでは測定光で同一位置を複数回走査し、複数のOCT断層画像を取得する。この複数のOCT断層画像に基づいて赤血球の変位と測定光との相互作用により得られるモーションコントラストデータがOCTA画像として画像化される。
【0003】
特許文献1は、取得時期(検査日時)が異なる複数のモーションコントラストデータそれぞれに対して算出した血管解析マップを時系列で並べて表示する技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-77414号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
眼部血管を時系列で評価することにより眼底血管の変化を定量的に把握できることが期待される。
【0006】
しかし、検査ごとのOCT断層画像の信号強度または画質のばらつきに応じて、OCTA画像にも検査ごとに変化が生じてしまう。すなわち、例え眼部血管に経時的な変化が起きていない場合でも、OCTA画像における眼底血管には経時的な変化があらわれてしまう場合があった。すなわち、眼底血管の経時変化を適切に評価できない場合があった。
【0007】
本明細書の開示は、眼底血管に関する経時変化の適切な評価を支援することを目的の1つとする。
【0008】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
【課題を解決するための手段】
【0009】
本発明の目的を達成するために、例えば本明細書に開示の画像処理装置は、
眼部のモーションコントラスト画像の異なる深度範囲の投影画像であって、複数の投影画像を取得する取得手段と、
前記投影画像の第1の領域と、前記第1の領域の部分領域である第2の領域に対する解析を実行する解析手段と、
前記第1の領域に対する解析結果を示す画像に、前記第2の領域に対する解析結果を示す画像を重ねた合成画像を表示手段に表示させる表示制御手段と、を備え、
前記表示制御手段は、第1の深度範囲に対応する合成画像と、前記第1の深度範囲とは異なる第2の深度範囲に対応する合成画像とを並べて表示手段に表示させる。
【発明の効果】
【0010】
本明細書の開示によれば、眼底血管に関する経時変化の適切な評価を支援することができる。
【図面の簡単な説明】
【0011】
図1】第1実施形態に係る画像処理装置の構成の一例を示すブロック図である。
図2】実施形態に係る画像処理システムの一例および該画像処理システムを構成する断層画像撮影装置に含まれる測定光学系の一例を説明する図である。
図3】第1実施形態に係る画像処理システムが実行可能な処理の一例を示すフローチャートである。
図4】実施形態におけるOCTA撮影の走査方法の一例を説明する図である。
図5】第1実施形態のS307で実行される処理の一例を説明する図である。
図6】第1実施形態のS308で実行される処理の一例を説明する図である。
図7】第1実施形態において表示手段に表示する基準検査の選択画面の一例及び撮影画面の一例を説明する図である。
図8】第1実施形態のS304における画像処理内容の一例及びS305において表示手段に表示するレポート画面の一例を説明する図である。
図9】第1実施形態において表示手段に表示する計測操作画面の一例とS308において表示する計測レポート画面の一例を説明する図である。
図10】第1実施形態において特定された血管領域をユーザが修正する場合の操作手順の一例と実行される画像処理内容の一例を説明する図である。
図11】第1実施形態のS311において表示手段に表示する経時変化計測レポート画面の一例を説明する図である。
【発明を実施するための形態】
【0012】
[第1の実施形態]
本実施形態に係る画像処理装置は、同一被検眼に対して異なる日時に略同一撮影条件で取得した重ね合わせOCTA画像(複数のOCTA画像の合成画像)から生成した網膜表層及び網膜深層の正面モーションコントラスト画像を用いて血管領域特定及び血管密度計測処理を実施する。該特定処理及び計測処理により得られた合成画像及び計測値を複数の深度範囲で時系列並置表示する場合について説明する。
【0013】
以下、図面を参照しながら、第1実施形態に係る画像処理装置を備える画像処理システムについて説明する。
【0014】
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。なお、入力部103はタッチパネルであってもよく、この場合入力部103は表示部104と一体として構成される。また、画像処理装置101は断層画像撮影装置100の内部に備えれることとしてもよい。
【0015】
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD(Spectral Domain)-OCTを用いるものとする。これに限らず、例えばSS(Swept Source)-OCTを用いて構成しても良い。
【0016】
図2(a)において、測定光学系100-1は前眼部像、被検眼のSLO(Scanning Laser Ophthalmoscophy)眼底像、断層画像を取得するための光学系である。なお、眼底像を取得するための光学系はSLO光学系に限定されるものではなく、眼底カメラであってもよい。ステージ部100-2は、測定光学系100-1を前後左右に移動可能にする。ベース部100-3は、後述の分光器を内蔵している。
【0017】
画像処理装置101は、ステージ部100-2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
【0018】
入力部103はコンピュータへの指示を行い、具体的にはキーボードとマウスから構成される。表示部104は、例えばモニタからなる。
【0019】
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
【0020】
まず、測定光学系100-1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
【0021】
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
【0022】
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
【0023】
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。なお、スキャナの構成は上記の例に限定されるものではなく、例えばXスキャナもガルバノミラーによって構成されることとしてもよい。
【0024】
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は例えば780nm付近の波長の光を発生する。なお、本明細書において波長等の数値は例示であり他の数値に変更してもよい。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
【0025】
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
【0026】
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
【0027】
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100-1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
【0028】
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
【0029】
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
【0030】
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
【0031】
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
【0032】
光カプラー219によって、測定光と参照光は合波され干渉光となる。
【0033】
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
【0034】
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
【0035】
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
【0036】
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
【0037】
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
【0038】
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
【0039】
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
【0040】
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101-01、記憶部101-02、撮影制御部101-03、画像処理部101-04、表示制御部101-05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101-01、撮影制御部101-03、画像処理部101-04および表示制御部101-05を実現するソフトウェアモジュールを実行することで機能を実現する。例えば、画像処理装置101が備えるCPU等のプロセッサがメモリを含む記憶部101-02に記憶されたプログラムを実行することで、画像取得部101-01、撮影制御部101-03、画像処理部101-04および表示制御部101-05として機能する。なお、本発明はこれに限定されず、例えば画像処理部101-04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101-05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
【0041】
画像取得部101-01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101-01は断層画像生成部101-11及びモーションコントラストデータ生成部101-12を有する。断層画像生成部101-11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101-02に格納する。モーションコントラストデータ生成部101-12は、複数の断層画像(断層データ)からモーションコントラストデータを生成する。
【0042】
撮影制御部101-03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
【0043】
画像処理部101-04は、位置合わせ部101-41、合成部101-42、補正部101-43、画像特徴取得部101-44、投影部101-45、解析部101-46を有する。合成部101-42はモーションコントラストデータ生成部101-12により生成された複数のモーションコントラストデータを位置合わせ部101-41により得られた位置合わせパラメータに基づいて合成し、合成モーションコントラスト画像を生成する。また、合成部101-42は、複数の検査日それぞれで合成モーションコントラスト画像を生成する。合成部101-42は、複数の検査日のそれぞれに関して複数のモーションコントラスト画像の合成画像を取得する取得手段の一例に相当する。なお、合成部101-42は、複数の3次元のモーションコントラスト画像を合成(加算平均)することで合成モーションコントラスト画像を生成することとしてもよいし、複数の2次元のモーションコントラスト画像を合成することで合影モーションコントラスト画像を生成することとしてもよい。なお、本実施形態におけるモーションコントラスト画像の元となる複数の断層画像は、例えば同一の主走査方向に光を走査することで撮影された画像である。
【0044】
補正部101-43はモーションコントラスト画像内に生じるプロジェクションアーチファクトを2次元もしくは3次元的に抑制する処理を行う(プロジェクションアーチファクトについてはS304で説明する)。画像特徴取得部101-44は断層画像から網膜や脈絡膜の層境界、中心窩や視神経乳頭中心の位置を取得する。投影部101-45は画像特徴取得部101-44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像(OCTAのEnFace画像)を生成する。解析部101-46は、強調部101-461、抽出部101-462、計測部101-463および比較部101-464を有し、正面モーションコントラスト画像から血管領域の抽出や計測処理を行う。すなわち、解析部101-46は、2次元のモーションコントラスト画像から血管領域の抽出等を行う。強調部101-461は正面モーションコントラスト画像に対して血管強調処理を実行することで、血管強調画像を生成する。また、抽出部101-462は血管強調画像に基づいて血管領域を抽出する。さらに、計測部101-463は抽出された該血管領域や該血管領域を細線化することで取得した血管中心線データを用いて血管密度等の計測値を算出する。比較部101-464は記憶部101-02もしくは外部記憶部102から異なる検査日に取得された同一被検眼の合成モーションコントラスト画像及び付随する計測データを読み込んで経時比較データを生成する。すなわち、比較部101-46は、複数の検査日のそれぞれに関して複数のモーションコントラスト画像の合成画像を取得する取得手段の一例に相当する。
【0045】
外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像・OCTA画像)や合成画像、撮影パラメータ、血管領域や血管中心線の位置データ、計測値、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
【0046】
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
【0047】
<ステップ301>
操作者は過去検査データが保存されている被検眼に関して基準検査を選択する。また、画像処理装置101は選択された基準検査と同一撮影条件になるようにOCTA撮影の撮影条件を設定する。
【0048】
本実施形態においては、図7(a)に示すような患者画面700において、操作者が入力部103を操作することで患者リスト(Patient List)から被検者701を選択する。さらに操作者が該被検者の検査リスト(Examination List)からフォローアップ検査における基準検査(Baseline)を選択することで基準検査を決定する(図7の702)。操作者が基準検査を選択した状態で撮影画面(OCTCapture703)を開くことにより画像処理装置101がフォローアップ検査セットを選択し、スキャンモードを基準検査と同一のスキャンモードに設定する。すなわち、撮影制御部101-03は、基準検査に対応付けられている撮影条件(スキャンモード)を取得する。本実施形態においては、図7(b)の撮影画面710に示すように、検査セットとして「Follow-up」(711)、スキャンモードとして「OCTA」モード712を選択する。ここで、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、OCT画像やOCTA画像の既定の表示法を指す。
【0049】
撮影制御部101-03は、断層画像撮影装置100に対して指示するOCTA画像の撮影条件を設定する。なお、個々のOCTA撮影に関する撮影条件としては以下の(1)~(7)に示すような設定項目があり、これらの設定項目を基準検査と同一の値に設定した上で、S302において基準検査と同一撮像条件のOCTA撮影を所定の回数だけ繰り返し実行する。図4は走査パターンの一例を示す図である。図4では主走査方向が水平(x軸)方向で、副走査(y軸)方向の各位置(yi;1≦i≦n)においてr回連続でBスキャンを行うOCTA撮影の例を示している。
(1)走査パターン(Scan Pattern)
(2)走査領域サイズ(Scan Size)
(3)主走査方向(Scanning Direction)
(4)走査間隔(Distance between B-scans)
(5)固視灯位置(Fixation Position)
(6)コヒーレンスゲート位置(C-Gate Orientation)
(7)1クラスタあたりのBスキャン数(B-scans per Clster)
【0050】
本実施形態では「(7)1クラスタあたりのBスキャン数」が4であるようなOCTA撮影を3回繰り返すものとする。なお、数値は例示であり他の数値であってもよい。ここで、OCTAにおいて同一位置で複数回走査することをクラスタ走査と呼ぶ。なお、異なるクラスタ間の断層画像を用いて脱相関は計算しない。また、瞬き等で再走査を行う単位はクラスタ単位である。モーションコントラストデータ生成部101-12は、クラスタ単位でモーションコントラストデータを生成する。1クラスタあたりの断層画像数(同一位置での走査回数)を増やすと、モーションコントラストデータから得られる画像であるOCTA画像のコントラストが向上する。なお、本明細書における同一位置とは完全に同一な位置となる場合および被検眼の動きおよび追尾機能の不完全さにより完全に同一な眼底の位置とはならず略同一位置となる場合を含むものである。
【0051】
<ステップ302>
操作者は入力部103を操作して図7(b)に示す撮影画面710中の撮影開始(Capture)ボタン713を押下することにより、S301で指定した撮影条件による繰り返しOCTA撮影を開始する。
【0052】
撮影制御部101-03は断層画像撮影装置100に対してS301で操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示する。断層画像撮影装置100は、撮影制御部101-03による指示に対応するOCT断層画像を取得する。
【0053】
なお、本ステップにおいて断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。本実施形態において繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は複数回行われるOCTA撮影のうち1回目のOCTA撮影において設定した基準SLO画像とし、全ての繰り返しOCTA撮影において共通の基準SLO画像を用いる。
【0054】
本実施形ではクラスタ走査として、例えば中心窩を撮像中心とする3x3mmの矩形領域内を、水平方向を主走査方向として垂直方向(副走査方向)の各位置において4回連続でB-scan撮影する。また、隣接するクラスタ走査の副走査方向における間隔は0.01mmであり、硝子体側にコヒーレンスゲートを設定してOCT断層画像を取得している。なお、本実施形態においてはB-scan1枚が300Aスキャンで構成されるものとする。なお、上記の走査に関する数値は例示であり他の数値でもよい。
【0055】
またOCTA繰り返し撮影中は、S301で設定した撮影条件に加えて「左右眼の選択
」および「追尾処理の実行有無」についても基準検査と同じ設定値を用いる(変更しない)ものとする。
【0056】
<ステップ303>
画像取得部101-01及び画像処理部101-04は、S302で取得されたOCT断層画像に基づいてモーションコントラスト画像を生成する。
【0057】
まず断層画像生成部101-11は画像取得部101-01が取得した干渉信号に対して例えば波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで1クラスタ分の断層画像を生成する。
【0058】
次に位置合わせ部101-41は同一クラスタに属する断層画像同士を位置合わせし、重ねあわせ処理(加算平均処理)を行う。画像特徴取得部101-44が該重ね合わせ断層画像から層境界データを取得する。本実施形態では層境界の取得法として可変形状モデルを用いるが、任意の公知の層境界取得手法を用いてよい。なお層境界の取得処理は必須ではなく、例えばモーションコントラスト画像の生成を3次元のみで行い、深度方向に投影した2次元のモーションコントラスト画像を生成しない場合には層境界の取得処理は省略できる。モーションコントラストデータ生成部101-12が同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。
【0059】
【数1】
【0060】
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。モーションコントラストデータ生成部101-12は、式(1)のような脱相関演算処理を(同一クラスタに属する)任意の時間的に隣接する断層画像間で行う。モーションコントラストデータ生成部101-12は、得られた(1クラスタあたりの断層画像数-1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
【0061】
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば、モーションコントラストデータ生成部101-12は、複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
【0062】
また、本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算しても良いし、二つの値の比に基づいてモーションコントラストを計算してもよい。
【0063】
さらに、上記では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成しても良い。
【0064】
<ステップ304>
画像処理部101-04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均する。複数のクラスタから得られた複数のモーションコントラスト画像の加算平均を行うことで図8(b)に示すように高コントラストな合成モーションコントラスト画像を生成する。図8(a)は、図8(b)との対比のため1つのクラスタから得られるモーションコントラスト画像を示している。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよいし、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理をEnFace画像の状態で行う場合、すなわち位置合わせ処理を2次元的に行う場合も本発明に含まれる。
【0065】
なお、合成部101-42が合成処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて合成処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や、fSNR)が所定の範囲外である場合に、合成処理に不適と判定すればよい。
【0066】
本実施形態では合成部101-42がモーションコントラスト画像を3次元的に合成した後、補正部101-43がモーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
【0067】
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側(網膜深層や網膜外層・脈絡膜)に映り込み、実際には血管の存在しない深層側の領域に高い脱相関値が生じる現象を指す。図8(c)に、3次元OCT断層画像上に3次元モーションコントラストデータを重畳表示した例を示す。網膜表層血管領域に対応する高い脱相関値を持つ領域801の深層側(視細胞層)に、高い脱相関値を持つ領域802が生じている。本来視細胞層に血管は存在しないにもかかわらず、網膜表層で生じている血管影の明滅が視細胞層に映り込み、視細胞層の輝度値が変化することでアーチファクト809が生じる。
【0068】
補正部101-43は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクト802を抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態ではStep-down Exponential Filteringを用いる。Step-down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
【0069】
【数2】
【0070】
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、D(x,y,z)は該抑制処理後の脱相関値を表す。
【0071】
図8(d)にプロジェクションアーチファクト抑制処理後の3次元合成モーションコントラストデータ(灰色)を断層画像上に重畳表示した例を示す。プロジェクションアーチファクト抑制処理前(図8(c))に視細胞層上に見られたアーチファクトが、該抑制処理によって除去されたことがわかる。
【0072】
次に、投影部101-45はS303で画像特徴取得部101-44が取得した層境界の位置に基づく深度範囲でモーションコントラスト画像を投影し、正面モーションコントラスト画像を生成する。任意の深度範囲で投影してよいが、本実施形態においては網膜表層及び網膜深層の深度範囲で2種類の2次元合成モーションコントラスト画像を生成する。また、投影部101-45は、投影法としては最大値投影(MIP; Maximum Intensity Projection)・平均値投影(AIP; Average Intensity Projection)のいずれかを選択でき、本実施形態では最大値投影で投影するものとする。
【0073】
最後に、画像処理装置101は取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成したモーションコントラスト画像と付随する生成条件データを検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
【0074】
<ステップ305>
表示制御部101-05は、S303で生成した断層画像や、S304で合成したモーションコントラスト画像、撮影条件や合成条件に関する情報を表示部104に表示させる。
【0075】
図8(e)にレポート画面803の例を示す。本実施形態ではSLO画像及び断層画像、S304で合成及び投影することにより生成した異なる深度範囲の正面モーションコントラスト画像、対応する正面OCT画像を表示する。
【0076】
正面モーションコントラスト画像の投影範囲はリストボックスに表示された既定の深度範囲セット(805及び809)から操作者が選択することで変更できる。図8(e)の例では、リストボックス805では網膜表層が選択され、リストボックス809では網膜深層が選択されている。804は網膜表層のEnFace画像、808は網膜深層のEnFace画像である。また、投影範囲の指定に用いる層境界の種類とオフセット位置を806や810のようなユーザインターフェースから変更したり、断層像上に重畳された層境界データ(807及び811)を入力部103から操作して移動させたりすることで投影範囲を変更できる。
【0077】
さらに、画像投影法やプロジェクションアーチファクト抑制処理の有無を例えばコンテキストメニューのようなユーザインターフェースから選択することにより変更してもよい。
【0078】
<ステップ306>
操作者が入力部103を用いてOCTA計測処理の開始を指示する。
【0079】
本実施形態では図8(e)のレポート画面803のモーションコントラスト画像上をダブルクリックすることで、図9(a)のようなOCTA計測画面に移行する。モーションコントラスト画像が拡大表示され、適宜画像投影法の種類(最大値投影(MIP)もしくは平均値投影(AIP))や投影深度範囲、プロジェクションアーチファクト除去処理の実施の有無を選択する。次に、図9(a)右側のMapボタン群902、Sectorボタン群903、Measurementボタン904経由で表示される選択画面905、の中から操作者が適切な項目を選択することで計測の種類と対象領域を選択し、解析部101-46が計測処理を開始する。なお、OCTA計測画面を表示させた時点では、いずれの計測対象領域も設定されていない(Mapボタン群902、Sectorボタン群ともNoneが選択され、選択画面905が表示されていない状態)。解析部101-46が計測処理を開始する。なお、OCTA計測画面を表示させた時点では、いずれの計測対象領域も設定されていない(Mapボタン群902、Sectorボタン群ともNoneが選択され、選択画面905が表示されていない状態)。
【0080】
計測処理の種類として、本実施形態ではMapボタン群902もしくはSectorボタン群903から以下の(i)~(iii)のいずれかを選択する。
(i) None(計測しない)
(ii) VAD(血管が占める面積に基づいて算出される血管密度)
(iii)VLD(血管の長さの総和に基づいて算出される血管密度)
【0081】
これに限らず、例えば血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを選択可能に構成してもよい。また、Measurementボタン904経由で表示される選択画面905からは以下の(i)~(iv)のいずれかを選択できる。
(i) 任意の2点間の距離計測
(ii)無血管領域の面積計測
(iii)VAD
(iv)VLD
【0082】
計測処理の対象領域として、本実施形態ではMapボタン群902の中からNone以外を選択することにより画像全体を設定でき、Sectorボタン群903の中からNone以外を選択することによりセクタ領域(固視位置を中心とし、半径の異なる複数の同心円と該固視位置を通る角度の異なる複数の直線で規定される最小円領域及び扇形領域)を設定できる。またMeasurementボタン904経由で表示される選択画面905から所望の計測の種類を選択した上で入力部103を用いてモーションコントラスト画像上で任意形状の境界位置(図10(b)の灰色線部1001)を指定してOKボタンを押下することで、任意形状の計測対象領域を設定できる。該領域内に示された数値は該領域内で計測した値(この場合はVAD値)を示している。なお、関心領域の手動設定時には指定された境界位置(灰色線部1001)上に該境界位置が編集可能であることを示す丸い制御点が重畳表示され、OKボタンを押下した時点で該丸い制御点は消えて灰色線部1001のみとなり、該境界位置は編集不可の状態になる。
【0083】
本実施形態ではMapボタン群902、Sectorボタン群903から各々VADを選択することで、VADマップ(計測の種類がVAD、計測対象領域が画像全体)とVADセクタマップ(計測の種類がVAD、計測対象領域がETDRSグリッドに対応するセクタ領域)を選択する場合について説明する。
【0084】
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Density の略であり、単位面積あたりに含まれる血管の長さの総和(単位:mm-1)で定義される血管密度である。
【0085】
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、糖尿病網膜症のように毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。
【0086】
なお、同一のモーションコントラスト画像に対して複数の計測対象領域を設定してもよい。複数の計測対象領域としては、例えば画像全体、セクタ領域、任意形状領域のうちの少なくとも2つや、2以上の深度範囲、あるいはそれらの組み合わせが挙げられる。該複数の計測対象領域に対して異なる種類の計測が選択された場合には、最後に(指定された解析対象領域に対して)選択された解析の種類を他の計測対象領域に対しても連動して適用した上で計測し、該計測結果を表示するように構成してもよい。例えば、VADマップとVADセクタマップが選択された状態でVLDマップに変更する指示を行うと、VLDセクタマップが自動で選択され、画像全体に対するVLD計測とETDRSセクタ領域に対するVLD計測が実行される。このような連動選択操作により、同一画像に対して異なる種類の計測値が重畳されて操作者が表示内容について誤解・混乱することを防止できる。
【0087】
なお、計測の種類のうちNone(計測しない)に関しては、各計測対象領域で独立に選択する(ある計測対象領域に対して「None」が選択された場合に、該「None」の選択は他の計測対象領域に対して連動して適用されない)。また、本発明は最後に選択された解析の種類を全ての解析対象領域に対して連動して適用し、計測・表示することに限定されるものではない。例えば面内方向の複数の計測対象領域に対しては連動させて深度方向の複数の対象領域(網膜表層と網膜深層)に対しては連動させない、あるいはその逆(面内方向の複数の計測対象領域に対しては連動させず、深度方向の複数の対象領域に対しては連動させる)になるように適応的に適用して計測し、対応する計測結果を表示するよう構成してもよい。
【0088】
なお、VADセクタマップおよびVLDセクタマップは入力部103の指示に基づいて移動可能であり、移動に伴い値が計測部101-463により再計算される。
【0089】
次に、解析部101-46は計測処理の前処理として画像拡大及びトップハットフィルタ処理を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。本実施形態では合成モーションコントラスト画像の画素サイズが約3μmになるようにBicubic補間を用いて画像拡大し、円形の構造要素を用いてトップハットフィルタ処理を行うものとする。
【0090】
<ステップ307>
解析部101-46が血管領域の特定処理を行う。本実施形態では、強調部101-461がヘシアンフィルタ及びエッジ選択鮮鋭化に基づく血管強調処理を行う。次に抽出部101-462が2種類の血管強調画像を用いて2値化処理を行い、整形処理を行うことで血管領域を特定する。
【0091】
血管領域特定処理の詳細はS510~S560で説明する。
【0092】
<ステップ308>
計測部101-463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する血管密度の計測を行う。引き続いて表示制御部101-05が、計測結果を表示部104に表示する。
【0093】
血管密度としてはVADとVLDの2種類の指標があり、本実施形態ではVADを計算する場合の手順を例に説明する。なお、VLDを計算する場合の手順についても後述する。
【0094】
操作者が入力部103から血管領域もしくは血管中心線データを修正するよう指示を入力した場合には、解析部101-46が操作者から入力部103を介して指定された位置情報に基づいて血管領域もしくは血管中心線データを修正し、計測値を再計算する。
【0095】
なお、本ステップで所定の条件を満たさずに計測が実施された場合には、表示制御部101-05が所定の計測条件を満たした状態で計測すべき旨のメッセージ(警告表示)を表示部104に出力する。ここで、所定の条件とは、例えばOCTA画像の重ね合わせが行われていることなどである。
【0096】
VAD計測処理の詳細はS810~S830、VLD計測処理の詳細はS840~S870で各々説明する。
【0097】
<ステップ309>
解析部101-46は、S307で特定した血管領域や血管中心線のデータを修正するか否かの指示を外部から取得する。この指示は例えば入力部103を介して操作者により入力される。修正処理が指示された場合はS308へ、修正処理が指示されなかった場合はS310へと処理を進める。
【0098】
<ステップ310>
比較部101-464は経時変化計測(Progression計測)処理を実行する。図11にProgression計測レポートの例を示す。Progressionモードタブ1101を指定することにより、該レポート画面が表示され、S306で選択した計測の種類及び計測対象領域に基づく経時変化計測の処理が開始される。本実施形態ではProgression計測対象画像として、比較部101-464は、検査日が新しいものから順に4検査を自動選択するものとする。これに限らず、例えば最も古い検査日の画像と最新検査の画像、両検査日間に撮影された画像で検査間隔が略等しい画像を選択するよう構成してもよい。なお、最新検査とは例えばS302における撮影に関する検査である。
【0099】
ここで、計測対象画像の選択条件は優先度が高い順に以下の(i)、(ii)がある。なお、選択条件および優先度は下記の例に限定されるものではない。
(i)固視位置が同じ画像であること。
(ii)略同一位置における取得断層像数が大きい(例えば4以上)モーションコントラスト画像か、または、同等のモーションコントラスト画像になるようにOCTA重ね合わせ処理を実施して得られる合成モーションコントラスト画像であること。
【0100】
比較部101-464は、上記選択条件を満たす画像を優先して選択するものとする。例えば、固視位置が同一な最新の5検査のうち2番目に新しい検査の画像は重ね合わせがされていないOCTA画像であり、他の検査の画像は重ね合わせがされたOCTA画像である場合、比較部101-464は最新の検査および3番目~5番目に新しい検査を選択する。そして、表示制御部101-05は、選択された検査のOCTA画像または選択されたOCTA画像から得た情報を表示部104に表示させる。すなわち、表示制御部101-05は、合成されていないモーションコントラスト画像または合成されていないモーションコントラスト画像から得られた情報は時系列で表示させない。
【0101】
なお、表示制御部101-05は、4つの画像を表示すべきところ選択条件を満たす画像が4未満の場合には、不足する分に関しては表示すべき画像がない旨を表示部104に表示させてもよいし、条件を満たしていないことを示す表示を付して画像を表示させることとしてもよい。例えば、2つの画像を表示しなければならないところ1つしか重ね合わせがされたOCTA画像がない場合には、重ね合わせがされていないOCTA画像を表示することとしてもよい。この場合、重ね合わせがされたOCTA画像と重ね合わせがされていないOCTA画像とを識別するための情報が表示されていてもよい。例えば、図11において、OCTA画像が時系列で表示される場合には、重ね合わせOCTA画像であることを示す情報(例えば「AVG.」という表示)を画像毎(例えば画像の上部)に表示することとし、重ね合わせがされていないOCTA画像には「AVG.」を表示しないこととしてもよい。
【0102】
また、比較部101-464は、表示する候補として上記(i)、(ii)を満たす画像が複数ある場合には、最新の画像を時系列で表示すべき画像として選択する。最新の画像にするメリットは最新の画像が医師等が好ましいと考えた画像であると推測されるからである。
【0103】
なお、計測対象画像はこれに限らず、例えば図11の選択ボタン1107を選択して選択画面を表示させ、該選択画面上に表示された画像リストから選択してもよい。
【0104】
次に、比較部101-464はS309で実施した単検査の計測内容に対応する過去検査の画像及び計測値に関するデータを外部記憶部102から取得する。なお、計測値はあらかじめ計算されたものを外部記憶部102から取得することとしてもよいし、画像の取得後に改めて計算されることとしてもよい。さらに位置合わせ部101-41はS308で計測した単検査の画像と過去検査画像間の位置合わせを行い、比較部101-464が共通した領域に関する計測データ(計測値、計測値マップ、差分マップ、トレンドグラフのうち少なくとも一つ)を生成する。なお、位置合わせはOCTA画像を用いることとしてもよいし、SLO画像を用いることとしてもよい。
【0105】
<ステップ311>
表示制御部101-05は、S310で実施したProgression計測に関するレポートを表示部104に表示する。
【0106】
本実施形態では、図11に示すProgression計測レポートの上段に網膜表層において計測したVADマップとVADセクタマップを重畳表示し、下段に網膜深層において計測したVADマップとVADセクタマップを重畳表示する。これにより異なる深度位置の血管病態の時系列変化を一覧して把握でき、図11の時系列並置表示されたVAD計測結果では、網膜深層に初期病変が生じ、時間の経過とともに網膜表層へ、また中心窩から傍中心窩へ血管閉塞が広がっていく様子が一覧して把握できる。なお、表示部104は、VADマップとVADセクタマップに替えてVLDマップとVLDセクタマップとを表示することとしてもよい。また、表示部104はマップとセクタマップの何れか
一方のみを表示することとしてもよい。また、網膜表層と網膜深層との情報を上下に並べて表示するのではなく、網膜表層のVADに関する情報と網膜表層のVLDに関する情報とを上下に並べて表示することとしてもよい。すなわち、 表示制御部101-05は、合成画像から異なる計測手法で得られた複数の検査日に関する複数の情報を並置して表示部104に表示させてもよい。
【0107】
また、図11において、表示制御部101-05は、表示されている数値等がVADであることを示す表示を表示させることとしてもよい。例えば、表示制御部101-05は、表示されている数値等がVADであることを示す表示としてVADの単位を表示部104に表示させることとしてもよいし、「VAD」という文字を表示させることとしてもよい。なお、VLDについても表示されている数値等がVLDであることを示す表示を表示させることとしてもよい。なお、VADセクタマップを重ねる画像はVADマップではなく、重ね合わせされたOCTA画像であってもよい。また、表示制御部101-05は、VADマップおよびVADセクタマップを表示することなく重ね合わせされたOCTA画像のみを時系列に表示部104に表示させることとしてもよい。すなわち、表示制御部101-05は、複数の検査日に関する複数の合成画像または複数の合成画像から得られた複数の検査日に関する複数の情報を時系列で表示手段に表示させる表示制御手段の一例に相当する。
【0108】
図11に示す例では、表示制御部101-05は、表示領域の上段に網膜表層のVADマップおよびVADセクタマップ、表示領域の下段に網膜深層のVADマップおよびVADセクタマップを表示部104に表示させている。網膜表層は第1の深度範囲の一例であり、網膜深層は第2の深度範囲の一例である。すなわち、表示制御部101-05は、第1の深度範囲で投影した前記合成画像から得られた前記複数の検査日に関する複数の情報と、前記第1の深度範囲とは異なる第2の深度範囲で投影した前記合成画像から得られた前記複数の検査日に関する複数の情報とを並置して時系列で表示手段に表示させる。
【0109】
また各計測対象画像に関して、略同一位置における断層画像数やOCTA重ね合わせ処理の実施条件に関する情報、OCT断層画像もしくはモーションコントラスト画像の評価値(画質指標)に関する情報を表示部104に表示させてもよい。図11ではOCTA重ね合わせ処理実施済であることを示す印(左上の「Averaged OCTA」)が表示されている。なお、図11の上部に表示されている矢印1104は現在選択されている検査であることを示す印であり、基準検査(Baseline)はFollow-up撮影の際に選択した検査(図11の一番左画像の画像)である。もちろん、基準検査を示すマークを表示部104に表示させてもよい。またS310で「Show Difference」チェックボックス1108が指定された場合には、基準画像上に基準画像に対する計測値分布(マップもしくはセクタマップ)を表示し、それ以外の検査日に対応する領域に基準画像に対して算出した計測値分布との差分計測値マップを表示する。計測結果としてはレポート画面上にトレンドグラフ(経時変化計測によって得られた各検査日の画像に対する計測値のグラフ)を表示させてもよい。該トレンドグラフの回帰直線(曲線)や対応する数式をレポート画面に表示させてもよい。VAD、VLD、無血管領域の大きさ等をトレンドグラフとして表示することが可能である。無血管領域の大きさとしてFAZ(Foveal Avascular Zone)を表示してもよい。なお、トレンドグラフは、セクタマップの任意の領域の値を示したグラフであってもよく、トレンドグラフとして表示する領域は入力部103により切り替え可能としてもよい。また、トレンドグラフは、セクタマップの各領域のグラフを領域毎に識別可能な状態で同時に表示するものであってもよい。また、トレンドグラフとしてVAD,VLDを別々の座標系または同一の座標系に表示させることとしてもよい。このようにすればVADとVLDとの関係をトレンドグラフから容易に把握可能となる。ここで、トレンドグラフは図11に示したマップまたは重ね合わせされたOCTA画像と同時に表示されることとしてもよいし、トレンドグラフ単独で表示されることとしてもよい。トレンドグラフに含まれる複数の計測値のそれぞれは、比較部101-464により選択された所定の基準を満たしている画像に関する値であるため、経時変化を正確に把握できる。
【0110】
なお、本実施形態では異なる深度範囲として網膜表層及び網膜深層の画像及び計測値を時系列で表示したが、これに限らず例えば網膜表層、網膜深層、網膜外層、脈絡膜の4種類の深度範囲の画像及び計測値を時系列で表示してもよい。また、表示部104は、任意の層の画像および計測値を時系列で表示することとしてもよい。
【0111】
あるいは、異なる指標の計測結果を並置して時系列で表示してもよい。例えば、上段にVADマップの時系列表示、下段にVLDマップ(もしくは無血管領域の形状値)の時系列並置表示を行ってもよい。
【0112】
なお、時系列並置表示する場合の投影深度範囲は、S305で説明した図8(e)のユーザインターフェース(805・806や809・810)の場合と同様に、図11の1102、1103、1105、1106のユーザインターフェースを用いて変更できる。また、同様に投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても例えばコンテキストメニューから選択するなどの方法により変更してもよい。さらに、ショートカットメニューから計測の種類及び計測対象領域に関する項目を異なる値に変更することにより、Progression計測の種類及び計測対象領域を変更して再計測できる。
【0113】
例えば、ショートカットメニュー上に図9(a)のMapボタン群902に相当する項目及びSectorボタン群903に相当する項目を表示しておき、各々1項目ずつ(例えば「VLD Map」と「VLD Sector」を)選択する。なお、S306の場合と同様に、複数の計測対象領域が選択され、かつ一方の領域に対する計測の種類が変更された場合は他方の領域に対しても同じ計測の種類が連動して適用され、計測が実行される。また計測対象領域を設定しない(「None」を選択する)指示に関しては、他方の計測対象領域に対して連動して適用されないものとする。
【0114】
また、表示部104に表示されたモーションコントラスト画像や、抽出部101-462や計測部101-463によって生成された血管領域や血管中心線に関する2値画像、計測値や計測マップを外部記憶部102にファイルとして出力し、保存してもよい。なお、比較観察を容易にするため、ファイル出力するモーションコントラスト画像、血管領域や血管中心線に関する2値画像、計測値マップの画像サイズや画素サイズは同一にすることが望ましい。
【0115】
さらに、単検査に対する計測の場合と同様の方法で(詳細はS830で説明する)、推奨条件を満たさない状態で実施された計測結果を計測レポート画面に表示する際には警告メッセージを表示してよい。例えば、図11における表示にS830で説明する警告メッセージを表示することとしてもよい。なお推奨条件としてはS830で示す条件に限定されるものではなく、例えば「選択した経時変化計測対象画像間で略同一位置における取得断層画像数もしくはモーションコントラスト画像の合成条件もしくは画質指標値の相違が所定値未満であること」を推奨条件として設定し、該条件を満たさない場合に警告表示してもよい。
【0116】
<ステップ312>
画像処理装置101はS301からS312に至る一連の処理を終了するか否かの指示を外部から取得する。この指示は入力部103を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS302に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理)を行う。
【0117】
さらに、図5(a)に示すフローチャートを参照しながら、S307で実行される処理の詳細について説明する。
【0118】
<ステップ510>
強調部101-461は、ステップS306の前処理を実施されたモーションコントラスト画像(OCTA画像)に対してヘッセ行列の固有値に基づく血管強調フィルタ処理を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti-scale line filterが挙げられる。本実施形態ではMulti-scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
【0119】
ヘシアンフィルタは強調したい血管の径に適したサイズで画像を平滑化した上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(3)で与えられるような正方行列であり、該行列の各要素は例えば式(4)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2)の一方が0に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。すなわち、ヘシアンフィルタは線状構造強調フィルタの一例に相当する。
【0120】
またモーションコントラスト画像には毛細血管から細動静脈まで様々な径の血管が含まれることから、複数のスケールでガウスフィルタにより平滑化した画像に対してヘッセ行列を用いて線強調画像を生成する。例えば、毛細血管の血管径に対応するスケールおよび視神経乳頭付近の血管径に対応するスケールを用いることとしてもよい。次に式(5)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。
【0121】
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で実際には事前に画像に含まれる最大血管径が不明の場合が多いため、特に平滑化パラメータが画像中の最大血管径に対して大きすぎる場合に強調された血管領域が太くなりやすいという欠点がある。
【0122】
そこで、本実施形態ではS530で述べる別の血管強調手法で血管領域を強調した画像と演算することにより、血管領域が太くなりすぎることを防止する。
【0123】
【数3】
【0124】
【数4】
【0125】
【数5】
【0126】
<ステップ520>
抽出部101-462は、S510で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。
【0127】
ヘシアン強調画像の輝度統計値(平均値や中央値等)を閾値として2値化する場合、例えば視神経乳頭部では大血管の高輝度領域の影響を受けて閾値が高くなり、乳頭周囲毛細血管(RPC; Radial Peripapillary Capillary)の抽出不足が生じる場合がある。また、網膜深層のような無血管領域の拡大が生じやすい領域においては、閾値が低すぎて無血管領域を血管として誤検出する場合がある。
【0128】
そこで、本実施形態では低スケール(複数のフィルタのスケールのうち閾値以下の一部のスケール)の強調画像のみで合成したヘシアン強調画像の平均値を閾値とすることで視神経乳頭部において閾値が高くなりすぎることを防ぐ。また該閾値の下限値を設定することにより無血管領域における誤検出を抑制する。
【0129】
ここで、視神経乳頭部で閾値が高くなりすぎるのを防止する方法としては、低スケールの強調画像の統計値を閾値として2値化することに限定されない。例えば、ヘシアン強調画像上の輝度値が所定値以上である場合に所定値であるとみなした場合の平均値を閾値として2値化しても同等の効果が期待できる。あるいは、例えばM-estimatorのようなロバスト推定値を閾値として2値化してもよい。
【0130】
また、合成モーションコントラスト画像をヘシアンフィルタで強調しているため、単独のモーションコントラスト画像をヘシアンフィルタで強調する場合に比べて2値化した血管領域の連続性がさらに向上する。
【0131】
<ステップ530>
強調部101-461は、S306で生成したトップハットフィルタ適用後の合成モーションコントラスト画像に対してエッジ選択鮮鋭化処理を行う。
【0132】
ここで、エッジ選択鮮鋭化処理とは画像のエッジ部分(輝度差が大きい部分)に重みを大きく設定した上で重みづけ鮮鋭化処理を行うことを指す。本実施形態では、前記合成モーションコントラスト画像に対してSobelフィルタを適用した画像を重みとしてアンシャープマスク処理を行うことにより、エッジ選択鮮鋭化処理を実施する。
【0133】
小さなフィルタサイズで鮮鋭化処理を実施すると、細い血管のエッジが強調され2値化した際により正確に血管領域を特定できる(血管領域が太くなる現象を防止できる)。一方で特に同一撮影位置での断層像数が少ないモーションコントラスト画像の場合にはノイズが多いため、特に血管内のノイズも一緒に強調してしまう恐れがある。そこで、エッジ選択鮮鋭化を行うことによってノイズの強調を抑制する。
【0134】
<ステップ540>
抽出部101-462は、S530で生成したエッジ選択鮮鋭化処理を適用した鮮鋭化画像を2値化する。任意の公知の2値化法を用いてよいが、本実施形態では該鮮鋭化画像上の各局所領域内で算出した輝度統計値(平均値もしくは中央値)を閾値として2値化する。
【0135】
ただし、視神経乳頭部の大血管領域においては設定される閾値が高すぎて2値画像上の血管領域内に多数の穴が空くため、上記閾値の上限値を設定することにより特に視神経乳頭部において閾値が高くなりすぎるのを防止する。
【0136】
また、S520の場合と同様に画像中に無血管領域が占める割合が大きい場合には閾値が低すぎて無血管領域の一部を血管として誤検出する場合が生じる。そこで、上記閾値の下限値を設定することにより誤検出を抑制する。
【0137】
なお、S520の場合と同様に合成モーションコントラスト画像をエッジ選択鮮鋭化しているため、単独のモーションコントラスト画像をエッジ選択鮮鋭化する場合に比べて2値化した場合のノイズ状の誤検出領域をより減らすことができる。
【0138】
<ステップ550>
抽出部101-462は、S520で生成したヘシアン強調画像の2値画像の輝度値と、S540で生成したエッジ選択鮮鋭化画像の2値画像の輝度値の双方が0より大きい場合に血管候補領域として抽出(セグメンテーション)する。当該演算処理により、ヘシアン強調画像に見られる血管径を過大評価している領域と、エッジ選択鮮鋭化画像上に見られるノイズ領域がともに抑制され、血管の境界位置が正確かつ血管の連続性が良好な2値画像を取得できる。
【0139】
また双方の2値画像とも合成モーションコントラスト画像に基づく2値画像であることから、単独のモーションコントラスト画像に基づく2値画像に比べて2値化した場合のノイズ状の誤検出領域が減少するとともに、特に毛細血管領域の連続性が向上する。また、合成モーションコントラスト画像であることから検査間の画質や輝度レベルも安定し、血管の抽出能が検査間で安定しやすい。
【0140】
<ステップ560>
抽出部101-462は、血管領域の整形処理として2値画像のオープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと)を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。なお、本処理は必須の処理ではない。
【0141】
上記のS510~S560により血管領域の2値画像を得ることができる。2値画像は血管と血管以外の部位に異なるラベルが付けられた画像でありセグメンテーションの結果ということができる。
【0142】
なお、様々な径の血管が含まれるモーションコントラスト画像において血管抽出する方法はS510~S560に述べた方法に限定されない。例えば、図5(b)のS610~S650に示すように、ヘシアン強調画像の輝度値とエッジ選択鮮鋭化による血管強調画像の輝度値を乗じる演算(S630)を適用した画像に対する輝度統計値(例えば平均値)を閾値として2値化(S640)することによって血管領域を特定してもよい。該閾値には下限値や上限値を設定できる。なお、S610,620は、S510,530と同様の処理であり、S650はS560と同様の処理である。
【0143】
あるいは、図5(c)のS710~S740に示すように、画像の固視位置や深度範囲によってヘシアンフィルタ適用時の平滑化パラメータσの範囲を適応的に変えた上で(S710)、ヘシアンフィルタを適用し(S720)、2値化(S730)することによって血管強調してもよい。なお、S740はS560と同様の処理である。例えば、乳頭部網膜表層ではσ=1~10、黄斑部網膜表層ではσ=1~8、黄斑部網膜深層ではσ=1~6のように撮影部位に応じてスケールを設定できる。
【0144】
また、2値化処理は閾値処理に限定されるものではなく任意の公知のセグメンテーション手法を用いてよい。
【0145】
さらに、図6(a)に示すフローチャートを参照しながら、S308で実行される処理の詳細について説明する。
【0146】
<ステップ810>
操作者は、入力部103を介して計測処理における関心領域を設定する。本実施形態ではS306で計測内容(計測の種類と対象領域)としてVADマップ(計測の種類がVADで、計測対象領域が画像全体)とVADセクタマップ(計測の種類がVADで、計測対象領域がETDRSグリッドに対応するセクタ領域)が選択されている。従って、関心領域として(i)画像全体(ii)固視灯位置を中心とするセクタ領域(直径1mmの内円と直径3mmの外円で規定される環状領域内をSuerior・Inferior・Nasal・Temporalの4つの扇形に分割した領域及び該内円領域)を設定する。
【0147】
<ステップ820>
計測部101-463は、S307で得られた血管領域の2値画像に基づいて計測処理を行う。本実施形態では、該2値画像の各画素位置において当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出する。さらに、各画素で算出した血管密度(VAD)の値を持つ画像(VADマップ)を生成する。
【0148】
また、該2値画像上の(S810で設定した)各セクタ領域における非0画素(白画素)の割合を当該セクタにおける血管密度(VAD)として算出する。さらに、各セクタ領域で算出した血管密度(VAD)の値を持つマップ(VADセクタマップ)を生成する。
【0149】
<ステップ830>
表示制御部101-05は、計測結果としてS820で生成したVADマップ及びVADセクタマップを表示部104に表示する。本実施形態では、図9(b)の906に網膜表層のVADマップ、908に網膜深層のVADマップを表示する。さらに907に網膜表層のVADセクタマップ、909に網膜深層のVADセクタマップを重畳表示する。
【0150】
なお、本実施形態では図9(b)において実施する計測の推奨条件として(i)~(iv)を設定するものとする。なお、推奨条件は(i)~(iv)のうち少なくとも1つを用いればよく、下記の条件に限定されるものではない。
(i) 選択した計測対象画像の中に略同一位置における取得断層画像数が所定値以上のモーションコントラスト画像であること。もしくは該所定値以上相当の合成モーションコントラスト画像であること。あるいは画質指標値(Quality Index)が所定値以上のモーションコントラスト画像に対する計測であること。
(ii) 最大値投影で生成されたモーションコントラスト画像に対する計測であること。
(iii) プロジェクションアーチファクト除去処理(PAR)が実施済であること。
(iv) 網膜表層、網膜深層、放射状乳頭周囲毛細血管(RPC)が含まれる投影深度範囲、のいずれか投影深度範囲で生成されたモーションコントラスト画像に対する計測であること。
表示制御部101-05は、上記(i)~(iv)の少なくとも一つを満たさない状態で実施された計測結果を計測レポート画面に表示する際には正確に計測することが期待できないような条件で計測が行われたとみなして警告表示を行う。
【0151】
例えば(i)を満たさない状態で計測された結果を表示する際には、表示制御部101-05は、図9(b)の例えば右下部に「Averaged OCTA is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
【0152】
また(ii)を満たさない状態で計測された結果を表示する際には、表示制御部101-05は、図9(b)の例えば右下部に「MIP is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
【0153】
同様に、(iii)を満たさない状態で計測された結果を表示する際には、表示制御部101-05は、図9(b)の例えば右下部に「PAR is recommended in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させればよい。
【0154】
さらに、(iv)を満たさない状態で計測された結果を表示する際には表示制御部101-05は、「Superficial Capillary, Deep Capillary, RPC can be analyzed in calculating VAD or VLD.」のように警告メッセージを表示部104に表示させる。該警告メッセージを表示することで、推奨する計測条件を満たさない計測により得られた計測結果は信頼性の低い計測結果となるリスクがあることを周知するとともに、推奨する計測条件を示すことで、より信頼性の高い計測を実施しやすくする。
【0155】
なお、レポート画面を多数の警告メッセージが占めるのを避けるために上記推奨条件に優先順位を付け(例えば(i)を最優先、(ii)を2番目、(iii)を3番目、(iv)を4番目に重要な条件とし)満たされていない計測条件のうち最も優先度の高い条件に関する警告表示を行うよう構成してもよい。また図9(b)のように複数の計測結果を表示する場合には、個別の計測に対して各々警告メッセージを表示してもよいし、表示対象の警告メッセージのうち最も優先度の高い警告メッセージのみ表示させるようにしてもよい。あるいは、表示制御部101-05は、計測結果の信頼性に影響が大きい条件を理解しやすくしつつ満たされていない条件に関する警告を漏れなく表示するために、満たされていない計測条件に関する警告を優先順位が識別可能な態様で(色や大きさ等を変えて)表示部104に表示させてもよい。複数の計測結果を表示する場合の例として、レポート画面の上下段に各々計測結果を表示する場合や、同一画像に対し複数の計測対象領域を設定して計測した結果を表示する場合が挙げられる。
【0156】
なお、警告メッセージは同一のレポート画面内に表示してもよいし、別画面として表示してもよい。また警告メッセージは文字列に限定されるものではなく静止画像や動画像を表示部104に表示したり、音声として出力したりしてもよい。該警告メッセージが表示されたレポート画面をファイル出力したり、印刷出力したりする場合も本発明に含まれる。
【0157】
さらに、表示部104に表示された警告メッセージのうち消去する警告メッセージを操作者が入力部103を用いて選択可能にしたり、警告の優先順位の変更や表示対象外とする警告メッセージの指定を行うためのユーザインターフェースを備えたりしてもよい。
【0158】
上記では血管密度としてVADを計測する場合の手順を例に説明したが、計測値としてVLDマップやVLDセクタマップを生成する場合は、上記S810~830の代わりに図6(b)に示すS840~870を実行する。
【0159】
<ステップ840>
計測部101-463は、S307で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
【0160】
<ステップ850>
操作者は、入力部103を介してS810と場合と同様の関心領域を設定する。本実施形態では計測内容(計測の種類と対象領域)としてVLDマップとVLDセクタマップを算出するものとし、S810ではVADが選択されていたのに対し、本ステップではVLDが選択されていることが異なるだけである。なお、VLDマップもしくはVLDセクタマップをモーションコントラスト画像上に重畳表示したくない場合は、図9(a)のMapもしくはSectorの項目を「None」に設定すればよい。
【0161】
<ステップ860>
計測部101-463はS840で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm-1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ)を生成する。
【0162】
また、該スケルトン画像上の(S850で設定した)各セクタ領域における単位面積当たりの非0画素(白画素)の長さの総和[mm-1]を当該セクタにおける血管密度(VLD)として算出する。さらに、各セクタ領域で算出した血管密度(VLD)の値を持つマップ(VLDセクタマップ)を生成する。
【0163】
<ステップ870>
表示制御部101-05は、計測結果としてS860で生成したVLDマップ及びVLDセクタマップを図9(b)の906・907もしくは908・909に表示する。
【0164】
なおS830の場合と同様に、所定の解析に適した条件を満たさない状態で実施された計測結果を計測レポート画面に表示する際には表示部104に警告メッセージを表示するものとする。
【0165】
また本実施形態では単検査での血管領域特定及び計測結果の表示法として正面モーションコントラスト画像上に計測マップを重畳表示する場合について説明したが、これに限定されるものではない。例えば、特定された血管領域の2値画像やスケルトン画像を図9(b)の906や908に表示させてもよい。あるいは、906や908にモーションコントラスト画像を表示しておき、その上に特定された血管領域の2値画像もしくはスケルトン画像を色もしくは透明度を適宜調整した上で重畳表示するよう構成する場合も本発明に含まれる。また2値画像は正面画像として表示することに限定されず、例えばBスキャン断層画像上に特定された血管領域の2値画像もしくはスケルトン画像を色もしくは透明度を適宜調整した上で重畳表示してもよい。
【0166】
なお、S309で操作者が入力部103から血管領域もしくは血管中心線データを修正するよう指示を入力した場合には以下のような手順で修正する。
【0167】
すなわち、図10(a)に示すような合成モーションコントラスト画像に対して同図(c)に示すような過抽出領域を含む2値画像が得られた場合に、操作者が入力部103を経由して指定した位置の白画素を解析部101-46が削除する。追加/削除位置の指定方法の例としては、例えば削除の場合は「d」キーを押しながら、追加の場合は「a」キーを押しながらマウスでクリックする方法が挙げられる。あるいは、同図(d)に示すようにモーションコントラスト画像に基づく画像上に修正対象である2値画像(血管領域もしくは血管中心線)の色や透明度を調整して重畳表示し、過抽出もしくは抽出不足の領域が判別しやすい状態にしておく。同図(d)の矩形領域1002内を拡大した画像を同図(e)に示す。灰色が過抽出した領域で、白色が元のモーションコントラスト画像の脱相関値を示す。該過抽出/抽出不足の領域を操作者が入力部103を用いて指定することにより、正確かつ効率的に2値画像上の血管もしく血管中心線領域を修正するよう構成してもよい。なお、2値画像の修正処理は正面画像に限定されない。例えば図9(a)の910に示すような任意のスライス位置のBスキャン断層像上にモーションコントラストデータや血管領域の2値データもしくは血管中心線領域を色や透明度の調整後に重畳する。このように過抽出もしくは抽出不足の領域が判別しやすい状態にした上で、操作者が修正(追加/削除)する2値データの3次元位置(x,y,z座標)を入力部103により指定して修正してもよい。
【0168】
さらに、2値画像(血管領域の2値画像もしくはスケルトン画像)が修正済であることを示す情報もしくは修正位置に関する情報を該2値画像と関連付けて外部記憶部102に保存しておき、S870もしくはS311で血管特定結果及び計測結果を表示部104に表示する際に該修正済であることを示す情報もしくは修正位置に関する情報を表示部104に表示してもよい。
【0169】
また、本実施形態では合成部101-42が繰り返しOCTA撮影終了時に合成モーションコントラスト画像を生成する場合について説明したが、合成モーションコントラスト画像の生成手順はこれに限定されない。例えば図8(e)のレポート画面803上に合成モーションコントラスト画像生成指示ボタン812を配置しておく。OCTA撮影完了後(撮影日より後の日でもよい)に操作者が明示的に該生成指示ボタン812を押下した場合に合成部101-42が合成モーションコントラスト画像を生成するよう画像処理装置101を構成してもよい。操作者が明示的に合成画像生成指示ボタン812を押下して合成画像を生成する場合、図8(e)に示すようなレポート画面803上に合成モーションコントラスト画像804や合成条件データ、検査画像リスト上に合成画像に関する項目を表示させる。
【0170】
また操作者が明示的に該生成指示ボタン812を押下する場合は、表示制御部101-05が以下の処理を行う。すなわち、合成対象画像選択画面を表示させ、操作者が入力部103を操作して合成対象画像群を指定し、許容ボタンを押下した場合に合成部101-42が合成モーションコントラスト画像を生成し、表示部104に表示させる。なお、生成済の合成モーションコントラスト画像を選択して合成する場合も本発明に含まれる。
【0171】
また操作者が合成画像生成指示ボタン812を押下した場合、3次元モーションコントラスト画像を投影した2次元画像同士を合成することにより2次元合成画像を生成してもよいし、3次元合成画像を生成後に投影することで2次元合成画像を生成してもよい。
【0172】
以上述べた構成によれば、画像処理装置101は同一被検眼に対して異なる日時に略同一撮影条件で取得したOCTA重ね合わせ画像から生成した網膜表層及び網膜深層の正面モーションコントラスト画像を用いて血管領域特定及び血管密度計測処理を実施する。画像処理装置101は、該特定処理及び計測処理により得られた合成画像及び計測値を複数の深度範囲で時系列に並べて表示する。
【0173】
OCTA重ね合わせ画像を用いているため、検査ごとのOCT断層画像の信号強度や画質のばらつきの影響を抑制することが可能となる。この結果、本実施形態によれば、眼底血管に関する経時変化の適切な評価を支援することができる。具体的には、本実施形態によれば、血管病態の変化を正確に特定・計測できる。
【0174】
[第2の実施形態]
本実施形態に係る画像処理装置は、第1実施形態における血管領域特定及び計測処理を3次元で実施し、得られた画像及び計測データ(血管領域や血管中心線・計測データ)を時系列で並置表示するよう構成したものである。
【0175】
具体的には、脈絡膜新生血管(CNV;Choroidal NeoVasucularization)を含む3次元の合成モーションコントラスト画像に対してモーションアーチファクト抑制処理を実施する。次に3次元のモルフォロジーフィルタ及び血管強調フィルタを適用し、2値化することにより3次元でCNVを含む血管領域を特定する。さらに網膜表層及び網膜深層で算出した血管密度と、網膜外層で特定及び計測した脈絡膜新生血管領域の2値画像と体積値を時系列表示する場合について説明する。
【0176】
本実施形態に係る画像処理装置101を備える画像処理システム10の構成及び画像処理フローは第1実施形態の場合と同様であるので省略する。
【0177】
また、本実施形態での画像処理フローのうち図3のS306~S308、S310~S311以外は第1実施形態の場合と同様であるので説明は省略する。
【0178】
<ステップ306>
操作者が入力部103を用いてOCTA計測処理の開始を指示する。
【0179】
本実施形態では図8(e)のレポート画面803のモーションコントラスト画像上をダブルクリックすることで、図9(a)のようなOCTA計測画面に移行する。モーションコントラスト画像が拡大表示され、解析部101-46が計測処理を開始する。
【0180】
計測処理の種類として、本実施形態ではMapボタン群もしくはSectorボタン群から(i)~(iv)のいずれかを選択する。
(i) None(計測しない)
(ii) VAD(血管が占める面積に基づいて算出される血管密度)
(iii) VLD(血管の長さの総和に基づいて算出される血管密度)
(iv) Volume(血管領域の体積)
【0181】
これに限らず任意の種類の計測を実施してよい。
【0182】
例えば(iv)のVolumeの代わりに(2次元モーションコントラスト画像上で特定したり、特定した3次元血管領域を所定の深度範囲(例えば網膜外層)で投影したりして得られる)血管領域(例えば脈絡膜毛細血管)の面積を計測する場合も本発明に含まれる。
【0183】
また、Measurementボタン経由で表示される選択画面からは(i)~(iv)のいずれかを選択する。
(i) 無血管領域の面積計測
(ii) 血管密度(VAD)
(iii) 血管密度(VLD)
(iv) 血管領域の体積(Volume)
【0184】
これに限らず、例えば(2次元モーションコントラスト画像上で特定したり、特定した3次元血管領域を所定の深度範囲(例えば網膜外層)で投影したりして得られる)血管領域(例えば脈絡膜毛細血管)の面積を計測してもよい。
【0185】
なお、3次元画像処理による計測は大きく(1)~(3)に大別できる。
(1)3次元で強調し、2次元投影した該強調画像上で特定した血管領域もしくは血管中心線データに対する2次元計測
(2)3次元で強調及び特定した血管領域もしくは血管中心線データを投影した場合の2次元計測
(3)3次元で強調及び特定された血管領域もしくは血管中心線データに対する3次元計測
【0186】
(1)及び(2)の例として、投影画像上で上記無血管領域の面積や血管密度、血管領域の面積や径、長さ、曲率を計測することが挙げられる。計測内容は正面モーションコントラスト画像に対する計測と同様であるものの、正面モーションコントラスト画像を強調・特定して計測する場合よりも血管抽出能が向上するため計測精度が向上する。
また、(3)の例として以下の例が挙げられる。
(3-1)血管の体積計測
(3-2)任意方向の断面画像もしくは曲断面画像上の計測
(血管の径もしくは断面積計測も含む)
(3-3)血管の長さや曲率計測
【0187】
本実施形態では、3次元で血管強調及び血管領域の特定処理を実行した後、網膜表層及び網膜深層の深度範囲で投影した各2値画像上でVAD、網膜外層の深度範囲で血管領域(脈絡膜新生血管領域)の体積を各々計測する。3次元モーションコントラスト画像に対してヘシアンフィルタを用いて線状構造を強調するため2次元モーションコントラスト画像で線として描出されていた本来的には線ではない構造を不要に強調することを避けることが可能となる。結果として精度の高い血管領域のセグメンテーション(特定)が可能となる。
【0188】
なお、第1実施形態の場合と同様に、Mapボタン群から選択した計測の種類、Sectorボタン群から選択した計測の種類のいずれか一方が変更された場合に、他方も連動して(同じ計測の種類に)変更されるように構成してもよい。
【0189】
次に、解析部101-46は計測処理の前処理として画像拡大及びトップハットフィルタ処理を行う。本実施形態では、いずれも3次元のBicubic補間及びトップハットフィルタ処理を実行する。
【0190】
<ステップ307>
解析部101-46が血管領域の特定処理を行う。本実施形態では、強調部101-461が3次元ヘシアンフィルタ及び3次元エッジ選択鮮鋭化フィルタ処理に基づく血管強調処理を行う。次に抽出部101-462が第1実施形態の場合と同様に2種類の血管強調画像を用いて2値化処理を行い、整形処理を行うことで血管領域を特定する。
【0191】
血管領域特定処理の詳細はS510~S560で説明する。
【0192】
<ステップ308>
計測部101-463が、操作者により指定された計測対象領域に関する情報に基づいて単検査の画像に対する計測を行う。引き続いて表示制御部101-05が、計測結果を表示部104に表示する。
【0193】
なお第1実施形態の場合と同様に、所定の解析に適した条件を満たさない状態で実施された計測結果を計測レポート画面に表示する際には表示部104に警告メッセージを表示するものとする。
【0194】
また、操作者が入力部103から血管領域もしくは血管中心線データを修正するよう指示を入力した場合には、第1実施形態の場合と同様に解析部101-46が操作者から入力部103を介して指定された位置情報に基づいて血管領域もしくは血管中心線データを修正し、計測値を再計算する。
【0195】
網膜表層及び網膜深層におけるVAD計測、網膜外層における脈絡膜新生血管の体積計測についてはS810~S830、網膜表層及び網膜深層におけるVLD計測、網膜外層における脈絡膜新生血管の総血管長計測についてはS840~S870で各々説明する。
【0196】
<ステップ310>
比較部101-464は第1実施形態の場合と同様の操作で、経時変化計測(Progression計測)処理を実行する。
【0197】
<ステップ311>
表示制御部101-05は、S310で実施したProgression計測に関するレポートを表示部104に表示する。
【0198】
本実施形態では、Progression計測レポートの最上段に網膜表層において計測したVADマップを表示し、2段目に網膜深層において計測したVADマップ、3段目に網膜外層において計測した脈絡膜新生血管領域の(i)、(ii)を時系列で並置表示する。
(i)2値画像(もしくは該2値画像の基準画像との差分画像)
(ii)体積値もしくは総血管長(もしくは該2値画像の基準画像との差分値)
【0199】
これに限らず、例えば4段目に脈絡膜における血管密度(VADもしくはVLD)マップを時系列で並置表示してもよい。
【0200】
これにより、眼底血管の3次元的な病態に関する時系列変化を一覧して把握できる。
【0201】
また第1実施形態と同様に、各計測対象画像に関して略同一位置における断層画像数、OCTA重ね合わせ処理実施の有無、OCTA重ね合わせ処理の実施条件、OCT断層画像もしくはモーションコントラスト画像の評価値の情報を表示部104に表示させてもよい。さらに、ショートカットメニューから計測の種類及び計測対象領域に関する項目を異なる値に変更することにより、Progression計測の種類及び計測対象領域を変更して再計測できる。第1実施形態と同様に、複数の計測対象領域が選択され、かつ一方の領域に対する計測の種類が変更された場合は他方の領域に対しても同じ計測の種類が連動して適用され、計測が実行される。さらに、第1実施形態と同様の方法で、所定の条件を満たさない状態で実施された計測結果を計測レポート画面に表示する際には警告メッセージを表示してよい。
【0202】
なお、本発明は異なる深度範囲の正面画像及び該正面画像に対する計測値分布の時系列表示に限られるものではなく、例えば該正面画像に直交する画像及び該正面画像に直交する画像に対する計測値分布、ボリュームレンダリングした3次元画像及び該3次元画像に対する計測値分布を時系列表示してもよい。
【0203】
さらに、図5(a)に示すフローチャートを参照しながら、S307で実行される処理の詳細について説明する。
【0204】
<ステップ510>
強調部101-461は、ステップ306の前処理を実施された3次元モーションコントラスト画像に対してヘッセ行列の固有値に基づく3次元血管強調フィルタ処理を行う。本実施形態では3次元のMulti-scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
【0205】
なお、3次元のヘシアンフィルタでは3次元画像上の各画素において算出したヘッセ行列((6)式)の「固有値(λ1、λ2、λ3)のうち1つが0に近く、残り2つが負かつ絶対値が大きい」場合に線状構造とみなして強調する。
【0206】
【数6】
【0207】
3次元ヘシアンフィルタを用いると、深度方向に屈曲した血管に関しても「血管走行方向の輝度変化が小さく、血管走行方向に直交する2方向の輝度が大きく低下する」という性質が成り立つため、良好に血管強調できるという利点がある。眼底血管の中には、深度方向に屈曲した血管として例えば以下の3点が挙げられる。
・脈絡膜側から網膜内に侵入する脈絡膜新生血管(CNV)
・視神経乳頭部の血管
・網膜表層毛細血管と網膜深層毛細血管との接続部
【0208】
上記血管に対して正面モーションコントラスト画像上で2次元のヘシアンフィルタを適用すると、2次元平面内では「該平面内での血管走行方向の輝度変化が小さく、血管走行方向に直交する方向の輝度が大きく低下する」という性質が成り立たないため十分強調されず、血管領域として特定できないという課題がある。3次元ヘシアンフィルタを用いると上記血管についても良好に強調でき、血管検出能が向上する。
【0209】
<ステップ520>
抽出部101-462は、S510で生成した3次元ヘシアンフィルタによる血管強調画像(以下、3次元ヘシアン強調画像と表記)を2値化する。
【0210】
2値化の手順は第1実施形態の場合と同様であるが、3次元データの2値化であるという点が第1実施形態の場合と異なる。また、合成モーションコントラスト画像をヘシアンフィルタで強調処理した画像であるため、単独のモーションコントラスト画像をヘシアンフィルタで強調した場合に比べて2値化した血管領域の連続性が向上する。
【0211】
<ステップ530>
強調部101-461は、S306で生成したトップハットフィルタ適用後の合成モーションコントラスト画像に対して3次元エッジ選択鮮鋭化処理を行う。本実施形態では、3次元モーションコントラスト画像に対して3次元のSobelフィルタを適用した画像を重みとして3次元のアンシャープマスク処理を行うことにより、エッジ選択鮮鋭化処理を実施する。
【0212】
<ステップ540>
抽出部101-462は、S530で生成したエッジ選択鮮鋭化処理を適用した鮮鋭化画像を2値化する。任意の公知の2値化法を用いてよいが、本実施形態では該3次元鮮鋭化画像上の各3次元局所領域内で算出した輝度統計値(平均値もしくは中央値)を閾値として2値化する。第1実施形態の場合と同様に、該閾値の上限及び下限値を設定することにより、血管領域内における抽出不足や無血管領域における誤抽出を抑制する。
【0213】
またS520の場合と同様、合成モーションコントラスト画像をエッジ選択鮮鋭化した画像であるため、単独のモーションコントラスト画像をエッジ選択鮮鋭化した場合に比べて2値化した場合のノイズ状の誤検出領域が減少する。
【0214】
<ステップ550>
抽出部101-462は、S520で生成した3次元ヘシアン強調画像の2値画像の輝度値と、S540で生成した3次元エッジ選択強調画像の2値画像の輝度値の双方が0より大きい場合に血管候補領域として抽出する。当該演算処理により、ヘシアン強調画像に見られる血管径を過大評価している領域と、エッジ選択強調画像上に見られるノイズ領域がともに抑制され、血管の境界位置が正確かつ血管の連続性が良好な2値画像を取得できる。
【0215】
また双方の2値画像とも合成モーションコントラスト画像に基づく2値画像であることから、単独のモーションコントラスト画像に基づく2値画像に比べて2値化した場合のノイズ状の誤検出領域が減少するとともに、特に毛細血管領域の連続性が向上する。また、合成モーションコントラスト画像であることから検査間の画質や輝度レベルも安定し、血管の抽出能が検査間で安定しやすい。
【0216】
<ステップ560>
抽出部101-462は、血管領域の整形処理として3次元のオープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと)を実施する。なお、整形処理はこれに限らず2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
【0217】
なお第1実施形態の場合と同様に、様々な径の血管が含まれるモーションコントラスト画像において血管強調する際のスケールを適応的に決定する方法はS510~S560に述べた方法に限定されない。例えば図5(b)のS610~S650に示すように、3次元ヘシアン強調画像の輝度値と3次元エッジ選択鮮鋭化による血管強調画像の輝度値を乗じる演算を適用した画像に対する輝度統計値(例えば平均値)を閾値として2値化することによって血管領域を特定してもよい。該閾値には下限値や上限値を設定できる。
【0218】
あるいは、図5(c)のS710~S740に示すように、各画素の3次元位置(固視位置や深度範囲のデータでもよい)に基づいてヘシアンフィルタ適用時の平滑化フィルタのパラメータ(ガウスフィルタの平滑化パラメータσ)を適応的に変えた上でヘシアンフィルタを適用し、2値化することによって血管強調してもよい。
【0219】
また、2値化処理は閾値処理に限定されるものではなく任意の公知のセグメンテーション手法を用いることができる。
【0220】
さらに、図6(a)に示すフローチャートを参照しながら、S308で実行される処理の詳細について説明する。
【0221】
<ステップ810>
操作者は、入力部103を介して計測処理における関心領域を設定する。
【0222】
本実施形態では計測内容として
1)網膜表層及び網膜深層におけるVADマップ及びVADセクタマップ
2)網膜外層における脈絡膜新生血管の体積
を算出する。従って、関心領域として網膜表層及び網膜深層においては画像全体及び固視灯位置を中心とするセクタ領域を選択する。また網膜外層においては網膜外層に相当する層境界(OPL/ONL境界と、ブルッフ膜境界を該境界深層側に20μm移動させた位置で囲まれる範囲)を指定する。
【0223】
<ステップ820>
計測部101-463は、S307で得られた血管領域の2値画像に基づいて計測処理を行う。網膜表層及び網膜深層における計測内容(VADマップ及びVADセクタマップ生成)は基本的に第1実施形態と同様であるが、網膜表層及び網膜深層において特定された3次元血管領域を正面像として投影してから計測する点が異なる。網膜外層では、S810で設定した網膜外層に相当する関心領域内における非0画素(白画素)の体積を算出する。
【0224】
<ステップ830>
表示制御部101-05は、計測結果としてS820で生成した網膜表層及び網膜深層におけるVADマップ及びVADセクタマップ、網膜外層における血管領域の2値画像と該血管領域の体積値を表示部104に表示する。
【0225】
なお、第1実施形態と同様の方法で、推奨する計測条件の少なくとも一つを満たさない状態で実施された計測結果を計測レポート画面に表示する際には(正確に計測することが期待できないような条件で計測が行われたとみなして)警告表示を行ってよい。
【0226】
上記では特定された3次元血管領域に基づいて体積を計測する場合の手順を例に説明したが、3次元の血管中心線に基づいて計測する場合には、上記S810~830の代わりに図6(b)に示すS840~870を実行する。
【0227】
<ステップ840>
計測部101-463は、S820で生成した血管領域の2値画像を3次元細線化処理することにより、血管の中心線に相当する線幅1画素のスケルトン画像を生成する。
【0228】
<ステップ850>
操作者は、入力部103を介してS810と場合と同様の関心領域を設定する。なお、本実施形態では計測内容として(1)、(2)を算出する。
(1)網膜表層及び網膜深層におけるVLDマップ及びVLDセクタマップ
(2)網膜外層における脈絡膜新生血管の総血管長
【0229】
<ステップ860>
計測部101-463はS840で得られたスケルトン画像に基づいて計測処理を行う。網膜表層及び網膜深層における計測内容(VLDマップ及びVLDセクタマップ生成)は基本的に第1実施形態と同様であるが、網膜表層及び網膜深層において特定された3次元スケルトンを正面像として投影してから計測する点が異なる。なお、S307で特定した3次元血管領域を正面像として投影してから2次元細線化処理を実行して計測してもよい。網膜外層では、S810で設定した網膜外層に相当する関心領域内における非0画素(白画素)の長さの総和を算出する。
【0230】
<ステップ870>
表示制御部101-05は、計測結果としてS860で生成した網膜表層及び網膜深層におけるVLDマップ及びVLDセクタマップ、網膜外層におけるスケルトン画像と該スケルトンの長さの総和を表示部104に表示する。
【0231】
またS830の場合と同様に、所定の解析に適した条件を満たさない状態で実施された計測結果を計測レポート画面に表示する際には警告メッセージを表示するものとする。
【0232】
なお、本実施形態では脈絡膜新生血管を3次元抽出して体積や血管長の総和を時系列表示する場合の手順について説明したが、本発明はこれに限定されない。例えば、図11の「Show Difference」チェックボックスを押下して基準画像における該新生血管の体積とその他の画像における該新生血管の体積との差分画像及び差分値を生成して時系列で表示してもよい。
【0233】
あるいは、視神経乳頭部の深度方向に屈曲した動静脈領域を本実施形態で説明した手順と同様にして特定し、血管径や血管断面積、血管中心線の曲率といった血管形状を計測してもよい。あるいは、網膜表層の毛細血管と網膜深層の毛細血管の連結部を3次元的に抽出して強調表示させたり、連結部の本数を計数したりしてもよい。
【0234】
以上述べた構成によれば、画像処理装置101は3次元の合成モーションコントラスト画像に対してモーションアーチファクト抑制処理を実施後、3次元のモルフォロジーフィルタ及び血管強調フィルタを適用し、2値化することにより3次元で血管領域を特定する。さらに特定した血管領域の体積を算出して血管領域の2値画像と体積値を時系列表示する。
【0235】
これにより、検査ごとのOCT断層画像の信号強度や画質のばらつきの影響を抑制しながら、血管病態の変化を正確に特定・計測できる。
【0236】
[第3の実施形態]
上記の実施形態では複数のクラスタそれぞれで得られたOCTA画像を重ね合わせて(加算平均)する場合を主として述べたが、本発明はこれに限定されるものではない。例えば、重ね合わせ後のOCTA画像に替えて1つのクラスタにおける断層画像の枚数を9以上として得られたOCTA画像を用いてもよい。このようにすればクラスタ数を4、各クラスタの断層画像の枚数を3とした場合と同等のOCTA画像を得ることが可能となる。
【0237】
[第4の実施形態]
上記の実施形態では図11の時系列表示において2次元のOCTA画像(モーションコントラスト画像)が表示されていたが、3次元のOCTA画像を時系列に表示することとしてもよい。
【0238】
[その他の実施形態]
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0239】
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【0240】
なお、上述した実施例および変形例は適宜組み合わせて実施してもよい。
【符号の説明】
【0241】
101-12 モーションコントラストデータ生成部
101-42 合成部
101-05 表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11