(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】画像処理装置、画像処理装置の制御方法およびプログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20240325BHJP
A61B 3/12 20060101ALI20240325BHJP
【FI】
A61B3/10 300
A61B3/12 300
(21)【出願番号】P 2022108767
(22)【出願日】2022-07-06
(62)【分割の表示】P 2018084270の分割
【原出願日】2018-04-25
【審査請求日】2022-07-06
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成27年度、国立研究開発法人科学技術振興機構、産学共同実用化開発事業、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】竹野 耕平
【審査官】高松 大
(56)【参考文献】
【文献】特開2013-202298(JP,A)
【文献】特開2016-106652(JP,A)
【文献】特開2017-221525(JP,A)
【文献】特開2016-202900(JP,A)
【文献】特開2018-019771(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/10
A61B 3/12
(57)【特許請求の範囲】
【請求項1】
測定対象に測定光を照射することにより得られる前記測定光の戻り光に基づいて生成される前記測定対象の画像を取得する取得部と、
前記測定対象の画像から同一位置に関して異なる時間に取得した画像の組を選択するための時間間隔を設定する設定手段と、
前記設定手段によって設定された時間間隔に基づいて選択された画像の組を用いてモーションコントラスト画像を生成するモーションコントラスト画像生成手段と、を有し
前記時間間隔の設定に関する操作者からの指示を受け付けるための情報と、前記生成されたモーションコントラスト画像と、を表示手段に表示する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記時間間隔の設定に関する操作者からの指示を受け付けるための情報が、前記時間間隔の候補から設定する時間間隔を選択する指示を受け付けるための情報であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記情報を用いて、前記時間間隔の設定に関する操作者からの指示を受け付けることにより、前記設定手段が前記時間間隔を設定することを特徴とする請求項1または2に記載の画像処理装置。
【請求項4】
前記時間間隔が、前記測定対象の同一位置に前記測定光を繰り返し照射するときの時間間隔に基づいて設定される時間間隔であることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
【請求項5】
前記モーションコントラスト画像生成手段が、前記設定手段によって設定された、第1の時間間隔の画像の組を用いた第1のモーションコントラスト画像と、前記第1の時間間隔とは異なる第2の時間間隔の画像の組を用いた第2のモーションコントラスト画像と、を生成し、
前記表示制御手段が、前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像とを、前記表示手段に表示することを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
【請求項6】
前記表示制御手段が、前記第1のモーションコントラスト画像と、前記第2のモーションコントラスト画像とを前記表示手段に並べて表示することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記表示制御手段が、前記第1のモーションコントラスト画像を生成するための画像の組を選択する第1の時間間隔の設定に関する操作者からの指示を受け付けるための第1の情報と、前記第2のモーションコントラスト画像を生成するための画像の組を選択する第2の時間間隔の設定に関する操作者からの指示を受け付けるための第2の情報と、
を前記表示手段に表示することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記表示制御手段が、前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像とを前記表示手段に切り替えて表示することを特徴とする請求項5に記載の画像処理装置。
【請求項9】
前記表示制御手段が、前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像とを動画として表示することを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記表示制御手段が、前記表示手段に、前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像とを重畳して表示するとともに、前記第1のモーションコントラスト画像もしくは前記第2のモーションコントラスト画像の透明度を調整する操作を受け付けるための情報を前記表示手段に表示することを特徴とする請求項5に記載の画像処理装置。
【請求項11】
前記表示制御手段が、前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像とを、互いに識別可能に合成した合成画像を前記表示手段に表示することを特徴とする請求項5に記載の画像処理装置。
【請求項12】
前記識別が色分けによる識別であることを特徴とする請求項11に記載の画像処理装置。
【請求項13】
前記第1のモーションコントラスト画像と前記第2のモーションコントラスト画像が、前記画像の組から選択された領域のモーションコントラスト画像であることを特徴とする請求項
5乃至12のいずれか一項に記載の画像処理装置。
【請求項14】
測定対象のモーションコントラスト画像を生成する画像処理方法であって、
測定対象に測定光を照射することにより得られる前記測定光の戻り光に基づいて生成される前記測定対象の画像を取得する工程と、
前記測定対象の画像から同一位置に関して異なる時間に取得した画像の組を選択するための時間間隔の設定に関する操作者からの指示を受け付けるための情報を表示手段に表示する工程と、
前記操作者からの指示を受け付けて前記時間間隔を設定する工程と、
設定された前記時間間隔に基づいて選択された画像の組を用いてモーションコントラスト画像を生成する工程と、
生成された前記モーションコントラスト画像を前記表示手段に表示する工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項15】
コンピュータを、請求項1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、画像処理装置、画像処理装置の制御方法およびプログラムに関するものであり、特に、被検眼の眼底画像を処理する画像処理装置、画像処理装置の制御方法およびプログラムに関するものである。
【背景技術】
【0002】
近年、眼科用の撮影装置として、眼底に2次元的にレーザ光を照射してその戻り光を受光して画像化するSLO(Scanning Laser Ophthalmoscope:走査レーザ検眼鏡)や、低コヒーレンス光の干渉を利用したイメージング装置が開発されている。低コヒーレンス光の干渉を利用したイメージング装置は、OCT(Optical Coherence Tomography:光干渉断層装置あるいは光干渉断層法)と呼ばれ、特に、眼底あるいはその近傍の断層像を得る目的で用いられている。OCTの種類としては、TD-OCT(Time Domain OCT:タイムドメイン法)や、SD-OCT(Spectral Domain OCT:スペクトラルドメイン法)等を含め、種々のものが開発されてきている。
【0003】
特に、このような眼科用の撮影装置は、近年において、照射レーザの高NA化等によってさらなる高解像度化が進められている。しかしながら、眼底を撮影する場合には、角膜や水晶体等の眼の光学組織を通して撮影をしなければならない。そのため、高解像度化が進むにつれて、これら角膜や水晶体の収差が撮影画像の画質に大きく影響するようになってきた。そこで、眼の収差を測定し、その収差を補正する補償光学(Adaptive Optics:AO)機能を光学系に組み込んだ、AOSLOやAOOCTの研究が進められている。例えば、非特許文献1に、AOOCTの例が示されている。これらAOSLOやAOOCTは、一般的にはシャックハルトマン波面センサー方式によって眼の波面を測定する。シャックハルトマン波面センサー方式とは、眼に測定光を入射し、その戻り光を、マイクロレンズアレイを通してCCDカメラに受光することによって波面を測定するものである。測定した波面を補正するように可変形状ミラーや、空間位相変調器を駆動し、それらを通して眼底の撮影を行うことにより、AOSLOやAOOCTは高分解能な撮影が可能となる。
【0004】
そして最近、造影剤を用いずに網膜の血管等の構造を撮影する方法として、OCTを用いた血管造影法(OCT Angiography:OCTA)が利用されている。OCTAでは、OCTにより取得した3次元のモーションコントラストデータを2次元平面に投影することで、血管画像(以下、OCTA画像という。)を生成する。ここで、モーションコントラストデータとは、測定対象の同一位置を繰り返し撮影し、その撮影間における測定対象の時間的な変化を検出したデータである。モーションコントラストデータは、例えば、複素OCT信号の位相やベクトル、強度の時間的な変化を差、比率、又は相関等から計算することによって得られる(例えば特許文献1)。
【0005】
同様に、上述のSLOやAOSLOにおいても、その平面像のモーションコントラストデータから血管等の画像(以下、モーションコントラスト画像)を生成する方法も研究されている。SLOのモーションコントラストデータもOCTAのモーションコントラストデータと同じく、測定対象の同一撮影位置における時間的な変化を検出したデータである。しかしながら、SLO画像とは特定平面の連続動画であるため、OCTAのような特定断層の切り出しや、平面への投射といった処理は必要ない。特にAOSLOでは焦点深度が浅いために、撮影される層範囲は数十μmに限定され、網膜の薄いスライスのみを撮影可能である。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2015-131107号公報
【文献】特開2017-143994号公報
【非特許文献】
【0007】
【文献】Y.Zhang et al,Optics Express,Vol.14,No.10,2006,4380
【発明の概要】
【発明が解決しようとする課題】
【0008】
網膜血管の血流に障害が発生する眼疾患の場合、血管の蛇行や血管壁の肥厚がOCTAにおいては、その元データとなるOCT画像を撮影したOCTの性能により、描出できる変化が限定される。例えば、一般的なOCTでは20μm程度の面内方向解像度(横解像度)しかないため、その解像度以下の画像上の構造物や変化をとらえることができない。また、OCTAは網膜の3次元データを取得する必要があるため、OCTの撮影速度の限界から同一位置の撮影繰り返し数に実質的な限界がある。一般的には、数ミリ~数十ミリ秒内に3回程度繰り返し撮影する程度となっている。これでは、それほど頻繁に発生しない事象や、非常に低速な事象を捉えることができないという問題となっていた。この問題に対応するため、OCTにおいて低速な現象を捉える方法として撮影データの組み合わせを変える方法やスキャンパターンを変える方法(特許文献2)が提唱されているが、やはりOCTの撮影速度の限界から効果が限定的であった。
【0009】
一方でAOSLOやSLOは平面画像のみの撮影であり、非常に高速に平面の動画撮影が可能である。そのため、数秒の撮影で数百の平面画像が取得可能であり、AOSLOでモーションコントラスト画像を作成する場合には発生頻度の少ない事象や低速な事象をも捉えることが可能である。例えば、網膜の血管においては白血球が高頻度で通過するLeukocyte Preferred Path(LPP)という血管の存在も知られている。このような血管では相対的に他の血球(赤血球など)の通過が少なく短時間における画像上の変化が少ないため、OCTAでは画像化することが難しかったが、長時間撮影するAOSLOでは撮影できる確率が高い。さらに、AOSLOでは横解像度が非常に高く、細胞レベルの非常に微細な変化も捉えることが可能で、血管であれば内部の血球レベルの変化まで捉えることが可能である。しかし、AOSLOやSLOにおいても、血流は定常的なものと考え一連の画像に単一の処理を施すだけでは流速の異なる血管を描出することはできないという問題があった。
【0010】
本発明は、上記問題を鑑み、種々の血流速度に対応したモーションコントラスト画像を効率よく生成することを目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するための本明細書の一態様による画像処理装置は、
測定対象に測定光を照射することにより得られる前記測定光の戻り光に基づいて生成される前記測定対象の画像を取得する取得部と、
前記測定対象の画像から同一位置に関して異なる時間に取得した画像の組を選択するための時間間隔を設定する設定手段と、
前記設定手段によって設定された時間間隔に基づいて選択された画像の組を用いてモーションコントラスト画像を生成するモーションコントラスト画像生成手段と、を有し
前記時間間隔の設定に関する操作者からの指示を受け付けるための情報と、前記生成されたモーションコントラスト画像と、を表示手段に表示する表示制御手段と、
を有する画像処理装置である。
【0012】
また、本明細書の一態様による画像処理装置の制御方法は、
測定対象に測定光を照射することにより得られる前記測定光の戻り光に基づいて生成される前記測定対象の画像を取得する工程と、
前記測定対象の画像から同一位置に関して異なる時間に取得した画像の組を選択するための時間間隔の設定に関する操作者からの指示を受け付けるための情報を表示手段に表示する工程と、
前記操作者からの指示を受け付けて前記時間間隔を設定する工程と、
設定された前記時間間隔に基づいて選択された画像の組を用いてモーションコントラスト画像を生成する工程と、
生成された前記モーションコントラスト画像を前記表示手段に表示する工程と、
を有する画像処理装置の制御方法である。
【発明の効果】
【0013】
本発明によれば、種々の血流速度に対応したモーションコントラスト画像を生成することができる。
【図面の簡単な説明】
【0014】
【
図1】本発明の一実施形態の眼科撮影装置の機能構成図である。
【
図2】本発明の一実施形態の眼科撮影装置の側面図である。
【
図3】本発明の一実施形態における光学系の構成図である。
【
図4】本発明の一実施形態におけるAOSLOの画像である。
【
図5】本発明の一実施形態におけるAOSLO画像の撮影順を説明するための図である。
【
図6】本発明の一実施形態におけるモーションコントラスト画像を生成するフローチャートである。
【
図7】本発明の一実施形態におけるフレームインターバルを説明するための模式図である。
【
図8】本発明の一実施形態における表示制御部による表示画面を説明するための図である。
【
図9】本発明の一実施形態におけるモーションコントラスト画像を生成するフローチャートである。
【
図10】本発明の一実施形態におけるモーションコントラスト画像を生成するフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明の一実施形態を、図面を用いて詳細に説明する。以下の説明は本質的に、説明的及び例示的なものにすぎず、いかなる形でも、本開示及びその用途又は使用を限定することを意図していない。実施形態において示されるコンポーネントの相対的構成、並びに、ステップ、数値表現及び数値は、別段の具体的な指示がない限り、本開示の範囲を限定しない。当業者によってよく知られている技法、方法及びデバイスは、以下で論考する実施形態を可能にするために当業者がこれらの詳細を知る必要がないので、詳細に論考されていない場合がある。
【0016】
[実施形態1]
[装置の全体構成]
図1は本発明による画像処理装置としての一実施形態である眼科装置の機能ブロック図である。
図1において、制御部300により制御される光学系200は測定対象Tに対して測定光を照射し、測定対象Tからの戻り光を検出する。画像生成部400は光学系200の出力である信号Sを処理して画像IMを生成し、表示制御部500に出力する。表示制御部500は液晶ディスプレイ等の表示デバイスを含み、入力された画像等を表示する。また、生成された画像は記憶部600に測定対象Tを特定する情報と対応付けられて記憶される。
【0017】
図1に示す眼科装置は、特定の機能を持つハードウェアに接続されたPC(パーソナルコンピュータ)によって実現することが出来る。例えば、光学系200をハードウェアで実現し、制御部300、画像生成部400および表示制御部500をハードウェアに接続されたPCに搭載可能なソフトウェアモジュールで実現することが出来る。
【0018】
本実施形態に係る眼科装置の概略構成について、眼科装置の側面図である
図2を用いて説明する。光学ヘッド101は光学系200を含む眼科装置筐体であり、図中XYZ方向にモータ等により移動するステージ部150を用いて、ベース部151に対して移動することができる。また、制御装置125はソフトウェアモジュールを搭載したPCであり、制御部300、画像生成部400、表示制御部500を兼ねる。記憶装置126は被検者情報記憶部を兼ね、断層撮影用のプログラムなどを記憶するハードディスクである。また、制御装置125からの指示により、取得された画像等をモニタ等の表示デバイス128に表示させる。また、入力部129はPC(制御装置125)への指示を行う入力部であり、具体的にはキーボードやマウス等から構成される。また、顔受け105は被検者の顔190を固定する。
【0019】
以下の実施形態においては制御装置125の演算処理装置CPU(不図示)が当該ソフトウェアモジュールを実行することで機能を実現するが、本発明はこのような方法に限定されるものではない。画像生成部400は、例えばASIC等の専用のハードウェアで実現しても良いし、表示制御部はCPUとは異なるGPU等の専用プロセッサによっても良い。また光学系とPCとの接続はネットワークを介した構成によっても本発明の主旨を変更することなく実現が可能である。
【0020】
図3は、
図1における測定対象Tを眼211とした場合の光学構成を示す図である。以下に
図3を参照して光学系200の構成について説明する。
【0021】
なお、
図3には示していないが、眼底の撮影位置を確認するための広画角眼底撮影部、アライメントを容易にするための前眼部観察部、被検眼に固視位置を提示する固視灯光学系を有している。しかしながら、これは公知の構成による事が出来、本発明の中心的部分ではないため説明は省略する。
【0022】
本実施形態のAOSLOは、照射ビームの焦点位置からの反射散乱光のみにほぼ限定される共焦点撮影機能と、それ以外の多重散乱等による反射散乱光も画像化する暗視野撮影機能の両方を有する構成とした。
【0023】
図3において、201は光源であり、波長760nmのSLD光源(Super Luminescent Diode)を用いた。光源201の波長は特に制限されるものではないが、眼底撮影用としては被検者の眩しさの軽減と分解能維持のために、750~1500nm程度が好適に用いられる。本実施形態においてはSLD光源を用いたが、その他にレーザ等も用いられる。本実施形態では眼底撮影と波面測定のための光源を共用しているが、それぞれを別光源とし、光路の途中で合波する構成としても良い。
【0024】
光源201から照射された光は、単一モード光ファイバー202を通って、コリメータ203により、平行光線(測定光205)として照射される。照射される光の偏光は、単一モード光ファイバー202の経路に具備された不図示の偏光調整器により調整される。別の構成としては、コリメータ203から出射された後の光路に偏光を調整する光学部品を配置する構成がある。
【0025】
照射された測定光205はビームスプリッターからなる光分割部204を透過し、補償光学の光学系に導光される。
【0026】
補償光学系は、光分割部206、波面センサー215、波面補正デバイス208および、それらに導光するための反射ミラー207-1~4から構成される。
【0027】
ここで、反射ミラー207-1~4は、少なくとも眼211の瞳と波面センサー215、波面補正デバイス208とが光学的に共役関係になるように設置されている。また、光分割部206として、本実施形態ではビームスプリッターを用いた。
【0028】
光分割部206を透過した測定光205は、反射ミラー207-1と207-2で反射されて波面補正デバイス208に入射する。波面補正デバイス208で反射された測定光205は、さらに反射ミラー207-3と207-4で反射され、走査光学系に導光される。
【0029】
本実施形態では、波面補正デバイス208として可変形状ミラーを用いた。可変形状ミラーは反射面が複数領域に分割されており、各領域の角度を変えることにより、戻り光の波面を変化させることができるミラーである。波面補正デバイスとしては、可変形状ミラーの代わりに液晶素子を用いた空間位相変調器を用いることも可能である。その場合、被検眼からの光の両偏光を補正するために、2つの空間位相変調器を用いる場合もある。
【0030】
図3において、反射ミラー207-3、4で反射された光は、走査光学系209-1によって、1次元もしくは2次元に走査される。本実施形態では走査光学系209-1に主走査用(眼底水平方向)と副走査用(眼底垂直方向)として一つの共振スキャナーと一つのガルバノスキャナーを用いた。別の構成では、走査光学系209-1に二つのガルバノスキャナーを用いることもある。走査光学系209-1内の各スキャナーを光学的な共役状態にするために、各スキャナーの間にミラーやレンズといった光学素子を用いる装置構成の場合もある。本例では、走査光学系にさらにトラッキングミラー209-2を持つ。トラッキングミラー209-2は二つのガルバノスキャナーから構成され、撮影領域をさらに2方向に移動させることが可能である。別の構成では、走査光学系209-1がトラッキングミラー209-2を兼ねる構成、トラッキングミラー209-2が走査光学系209-1の共振スキャナー方向のみの構成、トラッキングミラー209-2が2次元ミラーである構成もある。また、209-1と209-2を光学的に共役関係とするために、不図示のリレー光学系が用いられることが多い。
【0031】
走査光学系209-1および209-2で走査された測定光205は、接眼レンズ210-1および210-2を通して眼211に照射される。眼211に照射された測定光は眼底で反射もしくは散乱される。接眼レンズ210-1および210-2の位置を調整することによって、眼211の視度にあわせて最適な照射を行うことが可能となる。ここでは、接眼部にレンズを用いたが、球面ミラー等で構成しても良い。
【0032】
眼211の網膜から反射もしくは散乱された戻り光は、入射した時の経路を逆向きに進行し、光分割部206によって一部は波面センサー215に反射され、光線の波面を測定するために用いられる。光分割部206で波面センサー215に向けて反射された光線は、リレー光学系219-1、219-2を通り、波面センサー215に入射する。リレー光学系219-1と219-2の間にはアパーチャー220が設置されており、レンズ等からの不要な反射散乱光を波面センサーに入射させないようにする。本実施形態では、波面センサー215としてシャックハルトマンセンサーを用いた。
【0033】
波面センサー215は制御部300に接続され、受光した波面を制御部300に伝える。波面補正デバイス208も制御部300に接続されており、制御部300から指示された変調を行う。制御部300は波面センサー215の測定結果により取得された波面情報を基に、収差のない波面へと補正するような波面補正デバイスの画素ごとの変調量(補正量)を計算し、波面補正デバイス208にそのように変調するように指示する。波面の測定と波面補正デバイスへの指示は繰り返し処理され、常に最適な波面となるようにフィードバック制御が行われる。
【0034】
図3において、光分割部206を透過した戻り光は光分割部204によって一部が反射され、集光レンズ212によって穴あきミラー213の穴付近に集光させる。穴あきミラー213の穴は、共焦点効果を得るために、測定光205の回折限界付近の径に調整されることが多い。径が大きいと感度は向上するが分解能は低下し、径が小さいと分解能は高いが感度は低下する傾向となる。穴あきミラー213の穴を通過した光は光センサー214-1に入射し、光強度に応じた電気信号Sに変換される。
【0035】
光センサー214-1は画像生成部400に接続され、画像生成部400は得られた信号Sと光走査の位置を基に画像IMを構築し、表示制御部500に送信する。表示制御部500は、共焦点画像として表示デバイス128に表示する。
【0036】
穴あきミラー213の穴以外のミラー部分で反射された光はリレー光学系221を通して再度ナイフエッジ216のエッジ付近に集光し、ナイフエッジ216によって略半分に分割される。分割された光は光センサー214-2と214-3に入射する。光センサー214-2と214-3では光強度に応じた電気信号に変換され、画像生成部400に通信されて、暗視野撮影画像として画像化される。ナイフエッジ216は、集光光をどのように分割しても良く、紙面と水平方向や垂直方向の分割方向や、分割する比率に関しても半々ではなく40:60等の非均等分割も可能である。さらに2分割ではなく、より多くの成分に分割させることも可能である。また、このような分割方法を撮影中に動的に変更することも可能である。
【0037】
トラッキングミラー209-2は不図示のトラッキング制御ユニットによる制御される。トラッキング制御ユニットは、制御部300から撮影部分の画像信号を取得し、所望の撮影位置とのズレ量を計算し、トラッキングミラー209-2を動かすことにより、撮影位置を常に所定の位置に保つように制御を行う。
【0038】
AOSLOで撮影された画像例を
図4に示す。
図4(a)が共焦点画像である。血管層にフォーカスしているため、血管内の血球のみ一部高輝度で観察される。
図4(b)、(c)が暗視野撮影画像である。それぞれ、ナイフエッジの右側と左側で検出した信号を基に生成した画像である。これらの暗視野撮影画像は眼底からの戻り光を同時に取得しており、同じ撮影位置の信号から構築した画像となる。AOSLOではこのような画像を連続で取得し、動画が構成される。
【0039】
図5は、AOSLOで撮影された動画像の各フレームの撮影順を示したものである。横軸は撮影順nを表しており、n=1から始まり、n=Nまでの合計N枚の画像であることを表している。本実施形態では、暗視野撮影画像を用いて画像生成部400がモーションコントラスト画像を生成する。血管511、512、513は血流速が異なる血管を表しており、それぞれ血流の速い血管511、血管瘤がある等の理由により血流が遅くなっている血管513、およびまれに血球521が通過する血管512である。AOSLOを用いることにより、毛細血管やLPPといった血流速の比較的遅くなる血管を描出することができる。
【0040】
暗視野撮影画像501-1および501-2は血管512の中を血球521が通過していない間に撮影された画像であり、暗視野撮影画像502-1、502-2および502-3は血管512の中を血球521が通過している間に撮影された画像である。画像502-1、502-2および502-3は、撮影順がそれぞれn=k、k+1、k+2で表される。
【0041】
AOSLOのモーションコントラスト画像を取得する方法を、
図6に示すフローチャートを用いて説明する。
【0042】
ステップS600において、制御部300は、画像生成部400が生成したAOSLO画像を取得する。本実施形態では、連続して撮影されたN枚の暗視野撮影画像を用いる。
【0043】
ステップS601において、制御部300は、N枚の暗視野撮影画像の位置合わせを行う。本実施形態では、画像の平均輝度値が最も高い画像をリファレンス画像とし、リファレンス画像との相関を計算することにより、位置合わせを行った。なお、位置合わせの方法は、本方式に限定されるものではなく、例えば暗視野撮影画像と同時に取得される共焦点画像を用いて位置合わせを実施し、その結果に基づいても良い。また、リファレンス画像の選択基準として、画像の平均輝度値以外に、コントラストやエッジの鮮鋭度に基づいて位置合わせを実施しても良い。さらに、位相限定相関法などを用いることも可能である。
【0044】
ステップS602において、制御部300は、フレームインターバルΔnを設定する。ここで、フレームインターバルΔnとは、モーションコントラストを計算する際の組み合わせ画像の間隔(フレーム数など)を示す値であり、Δnの値が大きくなるほど撮影順や時間の離れた画像の組み合わせを指す。例えば、Δn=1は連続して取得された画像の組み合わせ、Δn=2は1つおきの画像の組み合わせを表している。一例として、
図7(a)にΔn=1の場合を示す。なお、フレームインターバルΔnは予め複数定義されていても、ユーザーの指示に基づいて設定されてもよい。
【0045】
設定されたフレームインターバルΔnに基づき、ステップS603において、制御部300の制御の下に画像生成部400においてモーションコントラスト画像を作成する。モーションコントラスト画像の生成には、組み合わせた画像間で画素ごとの輝度値の差分を二乗し、最大値投影を実施する。なお、モーションコントラストの計算には、組み合わせ画像間で画素ごとの輝度値の比率を計算するなど、輝度値の変化を強調できる様々な計算手法を用いることができる。また、モーションコントラストは相関等からも計算できるのは、背景技術の説明において述べたとおりである。
【0046】
フレームインターバルを変更することで、種々の時間間隔に対応したモーションコントラスト画像を生成することが可能である。
図7(b)に示すのは、フレームインターバルがそれぞれΔn=1、2、3の場合である。本実施形態では64fpsでAOSLO撮影を行っており、それぞれ16ミリ秒、31ミリ秒、47ミリ秒間隔でのモーションコントラスト画像を生成していることになる。これはすなわち、それぞれの時間間隔で輝度値が変化するような血流速に対応した画像が取得できることになる。
【0047】
図8に示すのは、異なるフレームインターバルΔnで取得されたモーションコントラスト画像の画面表示例である。ウインドウ801に画像表示部802-1~802-3を並べて表示し、ユーザーはプルダウンメニュー810-1~810-3でそれぞれの表示部に表示する画像のパラメータを選択できる。本実施形態では、フレームインターバルΔnとそれぞれのフレームインターバルに対応する時間間隔が選択可能に表示される。なお、本実施形態では、時間及びフレーム数を表示しているが、選択可能の時間のみ、或いは、選択可能なフレーム数のみ表示してもよい。ここで、画像表示部802-1~802-3いずれかに表示するのはモーションコントラスト画像を切り替えて表示する動画としても良く、異なるフレームインターバルでの輝度値の違いを分かりやすくユーザーに提示することが可能である。さらには、半透明な画像を重畳表示させ、スライダーバー等(不図示)によりユーザーが透明度を調整することで変化部位を容易に確認できるようにしてもよい。さらに、異なるフレームインターバルのモーションコントラスト画像から、血流速の遅い血管と早い血管を識別可能に色分け(ハッチング等でもよい)した合成画像を生成し、ユーザーに提示しても良い。この方法により、ユーザーが画像を切り替える必要がなく、容易に血流速の分布を確認することが可能となる。
【0048】
このように、AOSLOでフレームインターバルを変更しモーションコントラスト画像を取得することにより、種々の血流速のモーションコントラスト画像を容易に比較することが可能となる。
【0049】
なお、瞬きなどによりAOSLO撮影に失敗している無効フレームが含まれる場合、フレームインターバルが指定の値に保たれるような組み合わせを選択するのが望ましい。このことにより、異なる血流速のモーションコントラストの混在を除外することが可能である。
【0050】
また、本実施形態では暗視野撮影画像501を用いたが、AOSLOの共焦点画像が輝度の高い場合などには共焦点画像を用いることもでき、よりコントラストの高いAOSLOのモーションコントラスト画像が作成可能である。
【0051】
[実施形態2]
図9のフローチャートを用いて、本発明を適用した実施形態1とは異なる形態の眼底撮影装置の制御方法の例について説明する。本実施形態において、基本的な装置構成や撮影の基本的なフローは実施形態1と同様であるが、画像生成部400のモーションコントラスト画像生成の処理が異なり、血流が定常的ではない場合に特に効果を発揮する。
【0052】
ステップS900からS901までは実施形態1と同様である。ステップS902において、制御部300は位置合わせされた一連の画像から公知の画像処理を実施して血管領域を抽出する。血管領域の抽出には、共焦点画像や暗視野撮影画像のエッジ検出等を用いるのが望ましい。ステップS903において、制御部300は抽出された血管領域以外を画像処理の対象外とするマスク処理を行う。
【0053】
ステップS904において、画像処理の対象領域ROIを設定する。本実施形態では、ROIとして血管の分枝1本に沿った領域を選択する。ステップS905以降では、制御部300の制御の下に画像生成部400で、選択されたROIにおいてフレームインターバルを順次変えてモーションコントラスト画像を生成する。まず、ステップS905でフレームインターバルを設定し、次にステップS906においてモーションコントラスト画像を生成し、ステップS907で記憶部にモーションコントラスト画像を記憶する。なお、自動的にROIを設定する場合について記載したが、ユーザーからの指示に基づきROIを設定する構成としてもよい。
【0054】
ステップS908において、制御部300は、すべてのフレームインターバルの条件が完了したかを判断し、まだ完了していない場合にはS921で次のインターバル条件を選択し、ステップS905に戻る。一方、すべてのフレームインターバルの条件が完了した場合には、S909で記憶部に記憶された一連のモーションコントラスト画像の評価を行い、ステップS910において、ステップS909の評価結果に基づき最良のモーションコントラスト画像を記憶する。ここで、最良のモーションコントラスト画像とは、最もコントラストが高くなるモーションコントラスト画像のことである。この時、記憶部に最良のモーションコントラスト画像と、その画像に関連づけられてフレームインターバルが記憶される。
【0055】
ステップS911において、制御部300は、すべてのROIが完了したかを判断し、まだの場合にはステップS922で次のROIを選択し、ステップS904に戻る。一方、すべてのROIを完了した場合には、ステップS912において、制御部300の制御の下に画像生成部400は最良のモーションコントラスト画像の合成を行う。
【0056】
合成された最良のモーションコントラスト画像は、各々に関連づけられたフレームインターバルに基づき識別可能に色分けされたのち表示制御部500に送られ、画面等に提示される。本手法により、血流速の異なる血管が混在するAOSLO画像から効率よくモーションコントラスト画像を生成し、ユーザーに提示することが可能である。
【0057】
なお、血管の分枝に沿って血流速の異なる血管513では、モーションコントラスト画像を生成するROIの選択方法を血管瘤とそれ以外の領域で分割することも可能である。血管流の選択は、入力デバイスを用いてユーザーが選択できるようにしても良く、あるいは異なるフレームインターバルでのモーションコントラスト画像を比較することで自動的に選択できるようにしても良い。
【0058】
[実施形態3]
図10のフローチャートを用いて、本発明を適用した実施形態1、2とは異なる形態の眼底撮影装置の制御方法の例について説明する。本実施形態において、基本的な装置構成や撮影の基本的なフローは実施形態1と同様であるが、画像生成部400のモーションコントラスト画像生成の処理が異なり、血流が定常的ではない場合に特に効果を発揮する。
【0059】
図10において、ステップS900からS903までは実施形態2と同様である。なお、本実施形態においては、ステップS902における血管領域の抽出は、例えばユーザーが入力デバイスを用いて指定する領域に基づいて血管領域を抽出するような方法に変更しても良い。また、以下ではフレームインターバルΔn=1に設定されているものとする。
【0060】
ステップS1004において、制御部300の制御の下に画像生成部400は、n番目とn+1番目の画像を用いたモーションコントラスト画像を生成する。次に、ステップS1005において、制御部300は、モーションコントラスト画像のコントラスト値を計算し、あらかじめ設定され記憶部に記憶されているしきい値と比較を行う。モーションコントラスト画像のコントラスト値がしきい値よりも高く、すなわち良好なモーションコントラスト画像が生成されていると判断される場合、ステップS1006で当該のモーションコントラスト画像と撮影順nを記憶部に記憶する。そののち、ステップS1007において、制御部300は、撮影順nが最大数に達しているかを判断する。一方、ステップS1005においてモーションコントラスト画像のコントラスト値がしきい値よりも低い場合、ステップS1007において、撮影順nが最大数に達しているかを判断する。
【0061】
ステップS1007では、n=1からN-2の値まではステップS1010でnをインクリメントしてS1004に戻り、n=N-1に達した段階でステップS1008に移る。
【0062】
図7(c)に、血管512をROIとした場合に記憶される撮影順nを模式的に示す。AOSLOの画像に血球521が写る撮影順n=k、k+1、k+2およびその前後の撮影順を含む撮影順が記憶される。ステップS1008において、ステップS1006で記憶されたモーションコントラスト画像と撮影順nに基づき、制御部300の制御の下に画像生成部400は、モーションコントラスト画像を合成する。
【0063】
本手法を用いることにより、LPPなどの間欠的に血球が通過する血管における血流速を効率的に可視化することが可能となる。
【0064】
[実施形態4]
図7(d)の模式図を用いて、本発明を適用した実施形態1とは異なる形態の眼底撮影装置の制御方法の例について説明する。本実施形態において、基本的な装置構成や撮影の基本的なフローは実施形態1と同様であるが、AOSLO画像の組み合わせ方法が異なり、血流が定常的な場合には特にモーションコントラスト画像の画質向上に効果を発揮する。
【0065】
フレームインターバルΔnが1より大きい場合、AOSLOで取得された一連の画像のうち、組み合わせから外れる画像が生じることがある。一般には、異なる血流速のモーションコントラスト画像が混入することを防ぐため、フレームインターバルが指定の値に保たれるような組み合わせを選択するのが望ましい。しかし、フレームレートに対して血流速が速く、血流が定常的と判断できる場合、
図7(d)に模式的に示す方法で、モーションコントラスト画像の画質を向上させることが可能である。
【0066】
図7(d)は、AOSLOで取得されたN枚の連続する画像について、n=Nまで撮影順に画像を並べたのち、再度n=1の画像から並べる状況を模式的に示したものである。便宜上、これらの仮想的な画像の撮影順をn=N+1、N+2、・・・と表す。フレームインターバルΔnが1より大きく、かつ血流が定常的と判断できる場合、n>Nとなる画像も含めた組み合わせで、モーションコントラスト画像を生成することで、画質を向上させることが可能である。
【0067】
[その他の実施形態]
上述の実施形態においては、AOSLOによるモーションコントラストを説明したが、本発明の適用はこれだけに限らない。例えば、AOを用いた眼底カメラや、ソフトウェアで収差の影響を除去した血流計測機であれば、同様に本発明が適用可能である。
【0068】
また、上述した実施形態では、測定対象が眼の場合について述べているが、眼以外の皮膚や臓器等の被検査物に本発明を適用することも可能である。この場合、本発明は眼科撮影装置以外の、例えば内視鏡等の医療機器としての態様を有する。従って、本発明は眼科撮影装置に例示される画像処理装置として把握され、被検眼は測定物の一態様として把握されることが好ましい。