特開2017-6424(P2017-6424A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人

▶ キヤノン株式会社の特許一覧
<>
  • 特開2017006424-画像生成装置及び画像生成方法 図000003
  • 特開2017006424-画像生成装置及び画像生成方法 図000004
  • 特開2017006424-画像生成装置及び画像生成方法 図000005
  • 特開2017006424-画像生成装置及び画像生成方法 図000006
  • 特開2017006424-画像生成装置及び画像生成方法 図000007
  • 特開2017006424-画像生成装置及び画像生成方法 図000008
  • 特開2017006424-画像生成装置及び画像生成方法 図000009
  • 特開2017006424-画像生成装置及び画像生成方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2017-6424(P2017-6424A)
(43)【公開日】2017年1月12日
(54)【発明の名称】画像生成装置及び画像生成方法
(51)【国際特許分類】
   A61B 3/10 20060101AFI20161216BHJP
   A61B 3/103 20060101ALI20161216BHJP
【FI】
   A61B3/10 R
   A61B3/10 M
【審査請求】未請求
【請求項の数】21
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2015-125839(P2015-125839)
(22)【出願日】2015年6月23日
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
【住所又は居所】東京都大田区下丸子3丁目30番2号
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】恩田 賢
【住所又は居所】東京都大田区下丸子3丁目30番2号 キヤノン株式会社内
(57)【要約】
【課題】特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することができるようにする。
【解決手段】パラメータ演算処理部141は、補償光学SLO装置200内のスキャナが被検眼の所定領域を1往復走査する間に出力された当該スキャナの基準信号を抽出し、当該基準信号をサンプリング基準位置として、補償光学SLO装置200内の光電変換手段で得られた電気信号に基づき往復走査のサンプリングデータ配列を生成し、当該往復走査のサンプリングデータ配列のうちの往路走査と復路走査とにおけるサンプリングデータ配列を比較してこれらの相関を評価し、当該評価の結果に基づいてサンプリング基準位置を補正する。そして、画像構成部142は、パラメータ演算処理部141で補正されたサンプリング基準位置に基づいて、往復走査のサンプリングデータ配列に基づく画像データを構成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置であって、
前記スキャナが1往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、
前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、
前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価手段と、
前記評価手段による評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、
前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段と
を有することを特徴とする画像生成装置。
【請求項2】
前記眼科装置は、前記被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含むことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
前記被検眼の動きを追尾して撮像位置を補正する制御を行う補正制御手段を更に有することを特徴とする請求項1または2に記載の画像生成装置。
【請求項4】
前記評価手段は、隣接する、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、前記評価を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像生成装置。
【請求項5】
前記空間周波数領域は、離散フーリエ変換を用いて算出されることを特徴とする請求項1乃至4のいずれか1項に記載の画像生成装置。
【請求項6】
前記空間周波数領域は、高速フーリエ変換を用いて算出されることを特徴とする請求項1乃至4のいずれか1項に記載の画像生成装置。
【請求項7】
前記評価手段は、隣接する前記往路走査と前記復路走査に対応する1次元サンプリングデータ配列ごとに、前記評価を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像生成装置。
【請求項8】
前記評価手段は、複数の前記往復走査に対応する2次元サンプリングデータ配列ごとに、前記評価を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像生成装置。
【請求項9】
前記評価手段は、Cross Correlation法を用いて、前記評価を行うことを特徴とする請求項1乃至8のいずれか1項に記載の画像生成装置。
【請求項10】
前記評価手段は、Phase Only Correlation法を用いて、前記評価を行うことを特徴とする請求項1乃至8のいずれか1項に記載の画像生成装置。
【請求項11】
前記評価手段は、パターンマッチングを行って、前記評価を行うことを特徴とする請求項1乃至10のいずれか1項に記載の画像生成装置。
【請求項12】
前記評価手段は、前記Cross Correlation法を用いる際に、Correlationピークの最大値の探索を行うことを特徴とする請求項9に記載の画像生成装置。
【請求項13】
前記評価手段は、前記Phase Only Correlation法を用いる際に、Correlationピークの最大値の探索を行うことを特徴とする請求項10に記載の画像生成装置。
【請求項14】
前記評価手段は、前記Cross Correlation法を用いる際に、Correlationピークの最大値近傍での任意のフィッティングにより、Correlationピークの位置を決定することを特徴とする請求項9に記載の画像生成装置。
【請求項15】
前記評価手段は、前記Phase Only Correlation法を用いる際に、Correlationピークの最大値近傍での任意のフィッティングにより、Correlationピークの位置を決定することを特徴とする請求項10に記載の画像生成装置。
【請求項16】
前記評価手段は、前記スキャナの走査による画像歪みの影響が他の範囲よりも小さい範囲の前記往復走査のサンプリングデータ配列を用いて、前記評価を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像生成装置。
【請求項17】
前記画像構成手段は、前記スキャナの走査軌道をsine波に近似して、前記画像データを構成することを特徴とする請求項1乃至16のいずれか1項に記載の画像生成装置。
【請求項18】
スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置による画像生成方法であって、
前記スキャナが1往復走査する間の前記スキャナの基準信号を抽出する抽出ステップと、
前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成ステップと、
前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価ステップと、
前記評価ステップによる評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正ステップと、
前記基準位置補正ステップにより補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成ステップと
を有することを特徴とする画像生成方法。
【請求項19】
請求項1乃至17のいずれか1項に記載の画像生成装置の各手段としてコンピュータを機能させるためのプログラム。
【請求項20】
請求項1乃至17のいずれか1項に記載の画像生成装置の各手段としてコンピュータを機能させるためのプログラムであって、当該画像生成装置の各手段における処理を、複数の前記往復走査について並列に行うことを特徴とするプログラム。
【請求項21】
請求項19または20に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検眼の所定領域の画像を生成する画像生成装置及び画像生成方法、当該画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【0002】
生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置として、走査型レーザー検眼鏡(SLO:Scanning Laser Ophthalmoscope)がある。このSLO装置は、測定光であるレーザーを被検眼の眼底部に対してラスタースキャンを行い、その戻り光の強度から平面画像である眼底画像を高分解能かつ高速に得る装置である。
【0003】
近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO(AO−SLO:Adaptive Optics SLO)装置が開発されている。この補償光学SLO装置では、高横分解能な平面画像(以下、「AO−SLO画像」という場合がある)の取得を可能にしている。
【0004】
眼底画像を得る装置は、共振スキャナやガルバノスキャナを用いて測定光を2次元走査している。また、例えば、そのスキャナの制御回路は、光検出器による検出信号を画像表示するためにスキャナの走査に同期して画像生成用の同期信号を発生させるようにしている。そして、このスキャナの走査位置を示す同期信号と光検出による電気的サンプリング位置を合わせることで、眼底画像を形成している。
【0005】
しかしながら、スキャナの駆動信号と画像生成用の同期信号を同じタイミングで出力すると、実際には共振スキャナの周波数や電気回路系の時間遅れ等があるので、同期信号から得られる光学的走査位置と電気的サンプリング位置とが必ずしも一致しないことがある。さらに、補償光学SLO装置は高分解能であるため、そのスキャナ位置の誤差の影響を強く受け、同期信号に基づいてサンプリングされた画像間に位置ずれが目立ってしまい、画像の歪み等の画質劣化が発生する可能性がある。
【0006】
このような課題を解決するために、特許文献1では、専用のハードウェア構成を用いてスキャナがスキャンしている正確な位置を取得し、または制御する手法を開示している。また、特許文献2では、スキャナの信号に応じたサンプリングクロックを発信することで画像のピクセルに対応する位置のシグナルのみを取得するように制御する手法を開示するが、この手法でもスキャナ位置を正確に検出するためのハードウェア構成が必要である。その他、特許文献3では、撮影前に画像補正用のチャート画像を撮影し、撮影画像から画像の歪みを予め取得して、画像処理によって歪み補正を行うという手法を開示している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2000−39560号公報
【特許文献2】特開2012−255978号公報
【特許文献3】特開2014−68703号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
AO−SLO画像を、高精細、かつ、広画角、高フレームレートにすればするほど、光学的走査位置と電気的サンプリング位置とのずれが非常に小さくても、画像間の位置ずれが目立ってしまう。このような場合、上述した特許文献1及び特許文献2のように、スキャナ位置を検出するハードウェア構成を用いても、非常に小さい光学的走査位置と電気的サンプリング位置とのずれを正確かつ高い応答性で検出することは非常に困難である。また、上述した特許文献1及び特許文献2のように、特別なハードウェア構成を追加する手法では、装置を作製する際のコストが高くなる可能性がある。さらに、上述した特許文献1及び特許文献2のように、特別なハードウェア構成を追加する手法では、装置の大きさに影響を与えたり、設計に制限を生じたり、部品点数の増加により組み立て時の工数にも影響したりする。
【0009】
また、上述した光学的走査位置と電気的サンプリング位置とのずれは、装置本体内の温度や電源の不安定性等の影響も受けるため、撮影ごとにずれ方が変化する可能性がある。そのため、上述した特許文献3のように、撮影前に画像補正用のチャート画像を撮影することで、画像歪みを予め取得して画像処理によって歪み補正をしたとしても、再度撮影画像内に歪みが生じてしまい、画質劣化が発生してしまう。特に、眼科装置の場合、同一の共振スキャナからの測定光によって画像補正用のチャート画像と眼底画像とを同時に撮影することは装置の構成上難しいため、上述した特許文献3の手法では画像内の歪みをすべて補正することは困難である。
【0010】
即ち、従来の技術では、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが困難であった。
【0011】
本発明は、このような問題点に鑑みてなされたものであり、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【0012】
本発明の画像生成装置は、スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置と通信可能に接続された画像生成装置であって、前記スキャナが1往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、前記基準信号をサンプリング基準位置として、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する評価手段と、前記評価手段による評価の結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段とを有する。
また、本発明は、上述した画像生成装置による画像生成方法、上述した画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を含む。
【発明の効果】
【0013】
本発明によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。
【図面の簡単な説明】
【0014】
図1】本発明の実施形態に係る画像生成装置を含む画像生成システムの概略構成の一例を示すブロック図である。
図2図1に示す補償光学SLO装置の概略構成の一例を示すブロック図である。
図3】本発明の実施形態に係る画像生成装置による画像生成方法における処理手順の一例を示すフローチャートである。
図4図3のステップS330におけるスキャナ位置推定処理の詳細な処理手順の一例を示すフローチャートである。
図5】本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。
図6図4のステップS450における逆FFT処理で得られた逆FFTデータ配列の一例を示すグラフ図である。
図7図3のステップS340における画像構成処理の際に行われるsine補正を説明するための図である。
図8】本発明の実施形態を示し、被検眼の眼底部における視細胞の撮影画像の一例を示す図である。
【発明を実施するための形態】
【0015】
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
【0016】
本発明の実施形態では、補償光学SLO装置により被検眼の所定領域として網膜(眼底部)を撮影した画像を取得する際に、共振スキャナとガルバノスキャナとの組み合わせによって取得したシグナル値に基づき画像を構成する場合について説明する。
【0017】
具体的に、本実施形態に係る画像生成装置では、画像横方向の1枚分に相当するガルバノスキャナのトリガ信号群と、画像縦方向の往復2列分に相当する共振スキャナのトリガ信号群を取得する。そして、本実施形態に係る画像生成装置では、このトリガ信号の発信のタイミングから推定されるスキャナ位置をサンプリング基準位置として用いて、往復走査のサンプリングデータ配列を生成する。そして、本実施形態に係る画像生成装置では、各往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのずれ量が最も小さくなるサンプリング基準位置をそれぞれ算出する。そして、本実施形態に係る画像生成装置では、共振スキャナの周波数のばらつきや電気回路系の時間遅れによるサンプリング基準位置のずれを補正する。そして、本実施形態に係る画像生成装置では、補正したサンプリング基準位置に基づき共振スキャナのトリガ信号における発信時の実際のスキャナ位置を求めて、往復走査のサンプリングデータ配列に基づく画像データを生成する。これにより、本実施形態では、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナ(本例では共振スキャナ)の特性による画像歪みが補正された網膜の画像(眼底画像)を取得することが可能となる。
【0018】
(画像生成装置の概略構成)
図1は、本発明の実施形態に係る画像生成装置100を含む画像生成システム10の概略構成の一例を示すブロック図である。
画像生成システム10は、図1に示すように、画像生成装置100、補償光学SLO装置200、及び、外部装置300を有して構成されている。
【0019】
画像生成装置100は、スキャナにより被検眼の所定領域である網膜(眼底部)を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む補償光学SLO装置200(眼科装置)と通信可能に接続された装置である。この画像生成装置100は、図1に示すように、信号情報取得部110、制御部120、記憶部130、画像生成部140、及び、出力部150を有して構成されている。
【0020】
信号情報取得部110は、補償光学SLO装置200から、共振スキャナ及びガルバノスキャナのそれぞれのトリガ信号と、被検眼の網膜からの反射信号等の信号情報を取得する。ここで、トリガ信号とは、共振スキャナ及びガルバノスキャナが特定の位置(基準位置)にあることを示す基準信号である。信号情報取得部110で取得された信号情報は、制御部120を通じて記憶部130に記憶される。
【0021】
制御部120は、画像生成装置100の動作を統括的に制御する。
【0022】
記憶部130は、信号情報取得部110で取得された信号情報や、画像生成装置100の処理に必要な各種の情報、及び、画像生成装置100の処理で得られた各種の情報(各種の画像データを含む)等を記憶する。
【0023】
画像生成部140は、各種の画像データの生成を行うものであり、図1に示すように、パラメータ演算処理部141、及び、画像構成部142を含み構成されている。
【0024】
パラメータ演算処理部141は、信号情報取得部110で取得した信号情報に基づいてガルバノスキャナ及び共振スキャナのトリガ信号(基準信号)を抽出する。具体的に、本実施形態においては、上述のスキャナが1往復走査する間に出力された当該スキャナの基準信号を抽出する。この基準信号の抽出を行うパラメータ演算処理部141は、抽出手段を構成する。次いで、パラメータ演算処理部141は、抽出したトリガ信号(基準信号)をサンプリング基準位置として、反射信号(補償光学SLO装置200の光電変換手段で得られた電気信号)に基づき往復走査におけるサンプリングデータ配列を生成する。このサンプリングデータ配列を生成するパラメータ演算処理部141は、データ配列生成手段を構成する。次いで、パラメータ演算処理部141は、生成した往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この相関を評価するパラメータ演算処理部141は、評価手段を構成する。次いで、パラメータ演算処理部141は、上述した評価の結果に基づいて、上述したサンプリング基準位置を補正する。このサンプリング基準位置を補正するパラメータ演算処理部141は、基準位置補正手段を構成する。
【0025】
画像構成部142は、パラメータ演算処理部141により補正されたサンプリング基準位置に基づいて、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。
【0026】
出力部150は、画像生成部140で生成された画像データや、記憶部130に記憶されている各種の情報等を、外部装置300に出力する。
【0027】
補償光学SLO装置200は、上述のスキャナにより被検眼の所定領域である網膜(眼底部)を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む眼科装置である。また、補償光学SLO装置200は、被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含み構成されている。
【0028】
外部装置300は、画像生成装置100と通信可能に接続された装置であり、例えば、表示装置等の出力装置である。
【0029】
(補償光学SLO装置の概略構成)
次に、図1に示す補償光学SLO装置200の概略構成について説明する。
図2は、図1に示す補償光学SLO装置200の概略構成の一例を示すブロック図である。なお、この図2には、図1に示す補償光学SLO装置200の概略構成に加えて、図1に示す画像生成装置100及び外部装置300も図示している。
【0030】
補償光学SLO装置200は、図2に示すように、SLD(Super Luminescent Diode)201、ビームスプリッタ202及び203、補償光学系204、X−Y走査ミラー205、シャックハルトマン波面センサ206、フォーカスレンズ209、絞り210、及び、光センサ211を有して構成されている。
【0031】
光源であるSLD201から照射された光は被検眼Eの眼底部Erで反射され、その一部がビームスプリッタ203を経由してシャックハルトマン波面センサ206へ導かれ、それ以外はビームスプリッタ202を経由して光センサ211へ導かれる。
【0032】
シャックハルトマン波面センサ206は、被検眼Eの収差を測定するためのデバイスであり、レンズアレイ207にCCD208が接続されて構成されている。このシャックハルトマン波面センサ206において、入射光がレンズアレイ207を透過すると、CCD208に輝点群が投影され、当該投影された輝点の位置ずれに基づき波面収差が測定される。
【0033】
補償光学系204は、シャックハルトマン波面センサ206で測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。当該収差補正された光は、ビームスプリッタ203及び202、フォーカスレンズ209及び絞り210を経由して、光電変換手段である光センサ211に導かれ、光センサ211において電気信号に変換される。
【0034】
X−Y走査ミラー205を動かすことにより、被検眼Eの眼底部Er上の走査位置を制御することができ、検者が予め指定した撮影対象領域、時間(フレーム数/フレームレート)の情報を取得することができる。このX−Y走査ミラー205は、主走査であるX方向には共振スキャナが設けられ、副走査であるY方向にはガルバノスキャナが設けられている。X−Y走査ミラー205に係る信号情報は、画像生成装置100へ送信され、画像生成装置100において画像データ(動画像データもしくは静止画像データ)を生成する際に用いられる。本実施形態では、フレームレートの高速化のために、主走査である共振スキャナの往路走査及び復路走査の双方で信号情報を取得するものとするが、これに限定されない。
【0035】
被検眼Eの眼底部Er上の特定の深さ位置にフォーカスを合わせるためには、補償光学系204内の収差補正デバイスを用いた調整か、或いは、光学系内に不図示のフォーカス調整用レンズを設置し、当該フォーカス調整用レンズを移動することによる調整か、の少なくともいずれかを用いることができる。
【0036】
また、被検眼Eの固視微動と呼ばれる不随意的な眼球運動や固視不良による眼球運動或いは顔の動きに伴う被検眼Eの動きの影響を軽減するために、被検眼Eの動きを追尾(トラッキング)する場合がある。この際、眼底部Erの動きの計測は、例えば、画像生成装置100において、生成した眼底画像を用いて、特徴を持った小領域の画像であるテンプレート画像を抽出し、テンプレート画像と最も似た部位を探すパターンマッチングによって行う方法等がある。この場合、例えば、画像生成装置100の制御部120は、被検眼Eの動きを追尾して撮像位置を補正する制御を行う。この撮像位置を補正する制御を行う制御部120は、補正制御手段を構成する。そして、補償光学SLO装置200は、画像生成装置100の制御部120による当該補正制御に基づいて、被検眼Eの動きを追尾した撮像位置の補正を行う。具体的に、例えば、補償光学SLO装置200の光学系内に不図示のスキャナを設置して、照射光の位置を当該スキャナによって計測した眼底部Erの動きに追従させる。
【0037】
(画像生成装置の処理手順)
次に、本発明の実施形態に係る画像生成装置100による画像生成方法における処理手順について説明する。
図3は、本発明の実施形態に係る画像生成装置100による画像生成方法における処理手順の一例を示すフローチャートである。
【0038】
<ステップS310>
まず、ステップS310において、信号情報取得部110は、補償光学SLO装置200で取得された少なくとも画像1枚分の信号情報を取得する。ここで取得される信号情報は、被検眼Eの網膜の撮影に用いられるガルバノスキャナのトリガ信号、共振スキャナのトリガ信号、及び、撮影によって取得された被検眼Eの網膜からの反射信号の3種類である。そして、ステップS310で取得された信号情報は、制御部120を通じて記憶部130に記憶されて保存される。また、この際、取得された信号情報に付随するハードウェアの制御情報を取得し、制御部120を通じて記憶部130に記憶する。ここで、制御情報とは、被検眼Eの網膜の反射信号を取得する際にサンプリング周波数やガルバノスキャナの周波数に相当するフレームレート等の情報である。これらの制御情報は、信号情報に付加している撮影情報ファイルに記載されている場合もあれば、信号情報のタグ情報として含まれている場合もある。
【0039】
<ステップS320>
続いて、ステップS320において、パラメータ演算処理部141は、記憶部130に保存されている信号情報から、ガルバノスキャナ及び共振スキャナのトリガ信号(基準信号)を抽出して、トリガ位置を取得する。ここで、トリガ位置とは、反射信号をサンプリングしてピクセル値を得るための基準となる位置(サンプリング基準位置)である。そして、パラメータ演算処理部141は、取得したトリガ位置情報を、制御部120を通じて記憶部130に保存する。
【0040】
図5は、本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。具体的に、図5(a)にガルバノスキャナのトリガ信号のタイムチャートを示し、図5(b)に共振スキャナのトリガ信号のタイムチャートを示し、図5(c)に反射信号のタイムチャートを示す。
【0041】
ガルバノスキャナのトリガ信号及び共振スキャナのトリガ信号は、それぞれ、図5(a)及び図5(b)に示すような信号であるため、パラメータ演算処理部141は、トリガ信号の抽出を閾値処理によって行う。具体的には、パラメータ演算処理部141は、信号強度の変化が或る閾値以上となる場合に、トリガ信号として検出し抽出する。
【0042】
ガルバノスキャナは、画像の水平方向にレーザビームを走査していて、1つのトリガ信号が検出される間に、水平方向の走査が1回行われ、この間に画像1枚が撮影される。共振スキャナは、1つのトリガ信号が検出される間に、画像の垂直方向2ライン分の走査(往路走査と復路走査)が行われ、この間に画像1枚分の中の画像縦方向の往復2列分が撮影される。そこで、パラメータ演算処理部141は、トリガ信号検出開始のタイミングを、トリガ位置、つまりサンプリング基準位置として抽出する。
【0043】
また図5(c)に示す反射信号は、被検眼Eの眼底部Erからの反射光の強度を、図2に示す光センサ211で検出した値である。図5(b)に示すように、共振スキャナのトリガ信号が検出されている間のみサンプリングして、この間の信号情報を画像生成に用いる。
【0044】
本実施形態においては、共振スキャナが走査されているときに連続的にサンプリングされていてもよく、また、これに限定されるものではない。また、トリガ位置の取得方法としては様々な方法が考えられ、ここで用いた方法に限定されるものではない。
【0045】
<ステップS330>
続いて、ステップS330において、パラメータ演算処理部141は、ステップS320で取得されたトリガ位置に基づいて、反射信号に基づき往復走査におけるサンプリングデータ配列を生成する。そして、パラメータ演算処理部141は、生成したサンプリングデータ配列を用いてトリガ信号発信時のスキャナ位置を推定する処理を行う。そして、パラメータ演算処理部141は、こうして得られたスキャナ位置情報を、制御部120を通じて記憶部130に記憶して保存する。以下に、図4を用いて、図3のステップS330におけるスキャナ位置推定処理の詳細な処理手順について説明を行う。
【0046】
図4は、図3のステップS330におけるスキャナ位置推定処理の詳細な処理手順の一例を示すフローチャートである。ここで、以下の説明では、スキャナ位置推定処理は、連続的に撮影された複数枚画像の1枚1枚における共振スキャナの1往復走査ごとに行われ、それを1枚の画像の中の往復走査分を繰り返し、複数枚画像に対しても同様に行う。
【0047】
本実施形態におけるスキャナ位置推定処理では、往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この際、本実施形態では、例えば、Cross Correlation法という画素の空間周波数領域を用いたパターンマッチングにより、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。具体的な評価としては、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列との間の相関が最も高い位置を計算する処理を行う。なお、上述した例では、Cross Correlation法を用いて評価を行う態様を示したが、本実施形態はこの態様に限定されず、例えば、位相空間のみを用いたPhase Only Correlation法を用いて評価を行う態様も適用できる。
【0048】
≪ステップS410≫
まず、ステップS410において、パラメータ演算処理部141は、ステップS310で取得された制御情報に基づいて、トリガ信号の発信時の共振スキャナの位置を、サンプリング基準開始位置の初期位置x0として設定する。ここで、初期位置x0の設定方法にはいくつかの方法があり、例えば、本実施形態においては、トリガ位置よりトリガーディレイ分を考慮した位置といった形で設定される。また、この他にも、連続して数枚の画像を撮影する場合、その撮影画像より前に撮影した画像の各往復走査ごとの平均的なスキャナ推定位置を初期位置として設定することで、推定位置の探索範囲を狭めるといった方法等も用いることができる。
【0049】
≪ステップS420≫
続いて、ステップS420において、パラメータ演算処理部141は、ステップS410で設定したサンプリング基準開始位置の初期位置x0に基づいて、共振スキャナの1往復走査分の1次元サンプリングデータ配列の2ライン分を生成する。
【0050】
≪ステップS430≫
続いて、ステップS430において、パラメータ演算処理部141は、ステップS420で生成した各往復2ラインごとのサンプリングデータ配列に対して、それぞれ、1次元フーリエ変換を行うことで、1次元の空間周波数領域データ配列を算出して生成する。ここで、空間周波数領域データ配列の算出方法としては、例えば、離散フーリエ変換を用いて算出する方法が適用できるが、より好適には、演算の高速化のために高速フーリエ変換(以下、「FFT」と称する)を用いて算出する方法がある。以下の説明においては、空間周波数領域データ配列の算出方法として、FFTを用いて算出する方法を適用し、一般的な窓関数であるハン窓を使用する。
【0051】
また、FFTを行う領域としては、何らかの構造物等の輝度勾配のある領域が含まれていることが好適であるため、できる限り広い領域で、かつ、スキャン中心の共振スキャナの速度が速い領域を含めるものとする。即ち、スキャン中心の共振スキャナの速度が速い領域を含めることは、共振スキャナの走査による画像歪みの影響が他の範囲よりも小さい範囲の往復走査のサンプリングデータ配列を用いて、上述した評価を行うことに相当する。
【0052】
但し、更なる計算の高速化のために、サンプリングデータ配列から輝度勾配の大きな領域を含むより狭い領域のみを用いることや、固定小数点によるFFTやビットシフト等により演算量の削減を行うことも可能である。このように、空間周波数領域の算出に関しては上述した方法に限定されるものではない。また、本実施形態においては、隣接する、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、上述した評価を行う態様も適用可能である。
【0053】
≪ステップS440≫
続いて、ステップS440において、パラメータ演算処理部141は、ステップS430で生成された往路走査によるサンプリングデータ配列の空間周波数領域データ配列Aと復路走査によるサンプリングデータ配列の空間周波数領域データ配列Bとを合成する。ここでの合成方法としては、Cross Correlation法での演算に用いる一般的な方法を用いて、Aに対してBの共役を掛け算することで得られる。
【0054】
≪ステップS450≫
続いて、ステップS450において、パラメータ演算処理部141は、ステップS440で得られた往復走査のサンプリングデータ配列の空間周波数領域データ配列の合成画像に対して逆フーリエ変換を行う。ここでも、逆フーリエ変換は、逆FFTを用いる。
【0055】
≪ステップS460≫
続いて、ステップS460において、パラメータ演算処理部141は、ステップS450で得られた逆FFTデータ配列のうち、最大値を持つデータポイントの位置を探索する。
【0056】
図6は、図4のステップS450における逆FFT処理で得られた逆FFTデータ配列の一例を示すグラフ図である。この図6のグラフにおいて、縦軸はCorrelation Peak(Correlationピーク)の大きさ、横軸は往復走査のサンプリング配列の走査方向のOffset値である。図6のグラフを見ると、Offset値が0の時が最大値を示している。ここで、最大値を持つデータポイントの探索方法としては、共振スキャナの周波数や電気回路の遅れ等の物理的に起こりうるズレの範囲内のみを探索する等してもよく、その方法は限定されない。
【0057】
本実施形態では、上述した評価を行う際に、Cross Correlation法を用いるため、この場合、例えば、Correlationピークの最大値の探索を行う態様を採ることができる。また、上述した評価を行う際に、Phase Only Correlation法を用いる形態の場合も、例えば、Correlationピークの最大値の探索を行う態様を採ることができる。
【0058】
≪ステップS470≫
続いて、ステップS470において、パラメータ演算処理部141は、ステップS460で得られたデータポイントの位置近傍のデータを用いてフィッティングを行い、逆FFTデータにおける最大ピーク値とその時のOffset値を計算する。
【0059】
本実施形態では、上述した評価を行う際に、Cross Correlation法を用いるため、この場合、Correlationピークの最大値近傍での任意のフィッティングにより、Correlationピークの位置を決定する態様を採ることができる。また、上述した評価を行う際に、Phase Only Correlation法を用いる形態の場合も、例えば、Correlationピークの最大値近傍での任意のフィッティングにより、Correlationピークの位置を決定する態様を採ることができる。
【0060】
このようにフィッティングを行うことで、サブサンプリング単位で基準位置を求めることができる。このフィッティングには、任意の最小二乗法等の方法を用いることができるが、本実施形態では計算が容易なパラボラフィッティングを用いる。図6において、例えば、Offset値が−1,0,1の3点のデータを用いてパラボラフィッティングを行うことで、往復走査のサンプリングデータ配列同士の最も相関の高くなる時のOffset値がサブサンプリング単位で算出できる。このように計算したOffset値に対して共振スキャナの軌道を考慮することで、サンプリング基準開始位置からのシフト量Δxを算出し、x0+Δxをトリガ信号の発信時の実際の共振スキャナ位置である補正されたサンプリング基準位置とみなすことができる。この補正されたサンプリング基準位置情報は、パラメータ演算処理部141から、制御部120を通じて記憶部130に保存される。
【0061】
以上の図4のステップS410〜ステップS470の処理を経ることにより、図3のステップS330におけるスキャナ位置推定処理が行われる。ここで、再び、図3の説明に戻る。
【0062】
<ステップS340>
図3のステップS330の処理が終了すると、ステップS340に進む。
ステップS340に進むと、画像構成部142は、ステップS330で取得されたサンプリング基準位置(パラメータ演算処理部141により補正されたサンプリング基準位置)に基づいて、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。具体的に、共振スキャナの1往復走査分の画像2ライン分のsine補正を行って、画像データを構成する。これは、共振スキャナが同一速度で走査していないため、縦軸方向の位置に均一にデータを分割すると、共振スキャナの速度によって画像に歪みが生じてしまうので、共振スキャナの走査軌道をsine波に近似して、各画素に対しサンプリング数に重みづけを行うことで画像歪みを解消することを目的としている。そして、画像構成部142は、構成した画像データを、制御部120を通じて記憶部130に記憶して保存する。
【0063】
図7は、図3のステップS340における画像構成処理の際に行われるsine補正を説明するための図である。図7において、横軸は時間tを示し、また、縦軸は、位置xとし、共振スキャナの走査軌道をステップS310で取得された周波数のsine波であると仮定して示し、振幅を1.0としたものである。この図7に示すsine波の縦軸を仮に10等分して、分割された区間をそれぞれ時間0.0からn=0,1,2,…,9と名付ける。また、縦軸を分割した直線とsine波との交点の時間をそれぞれt(0),t(1),…と名付ける。この縦軸を分割した区間を共振スキャナが走査している間にサンプリングしたデータを、この位置の画素に割り当てる。そうすると、サンプリングは数十MHzで時間的に等間隔に行われるが、対応する共振スキャナの1区間を走査している、つまりサンプリングしている時間は、画素により異なっていることがわかる。よって、取得される反射信号の輝度値を、対応する位置のピクセル値に対応付け、1つの画素に複数の信号が対応する場合には、画素値を複数の信号の平均値として取得する。本実施形態では、共振スキャナの走査軌道をsine波に近似しているが、近似方法はこれに限定されない。
【0064】
ここで、画像構成は、連続的に撮影された複数画像の1枚1枚に対して行う。つまり、ステップS320で取得されたガルバノスキャナのトリガ信号の1つ1つに相当する画像1枚分に対して上述した処理を行い、それを枚数分繰り返す。そうして、すべての画像に対して画像構成を行った後、それらを統合した画像群を構成し、これを記憶部130に記憶して保存する。
【0065】
図8は、本発明の実施形態を示し、被検眼Eの眼底部Erにおける視細胞の撮影画像の一例を示す図である。サンプリング基準位置が実際の共振スキャナの位置とずれが生じている場合には、図8(a)のように、横方向に隣接する画素間のずれ量が大きくなり、画質劣化がみられる。一方、ステップS330でスキャナ位置を推定し、サンプリング基準位置が正しく補正されている場合には、図8(b)に示すように横方向に隣接する画素間のずれ量は非常に少なく、歪みを補正した画像を生成することができる。
【0066】
<ステップS350>
続いて、ステップS350において、出力部150は、ステップS340において得られた網膜の画像データを外部装置300に出力する。これにより、外部装置300において、例えば、出力部150から出力された画像データに基づく画像が表示され、例えば検者等に提示される。さらに、出力部150は、ステップS310〜ステップS330において記憶部130に記憶されたスキャナの往復走査ごとのサンプリング基準位置等の画像構成に係る情報を外部装置300(例えばデータベース)に出力する。
【0067】
ステップS350の処理が終了すると、図3に示すフローチャートの処理が終了する。
【0068】
なお、本実施形態においては、上述した評価を、隣接する往路走査と復路走査に対応する1次元サンプリングデータ配列ごとに行う態様や、複数の往復走査に対応する2次元サンプリングデータ配列ごとに行う態様を適用することが可能である。
【0069】
本実施形態によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。
【0070】
[その他の実施形態]
上述した本発明の実施形態では、共振スキャナの往復走査分の画像2ライン分ごとに、トリガ信号の発信時の共振スキャナ位置を推定している。これは、補償光学SLO装置200は、高横分解能であるため、そのスキャナ周波数や電気回路系の時間遅れがスキャナ位置に及ぼすわずかな誤差が、1往復走査ごとに不均一な画像歪みとして影響を及ぼすためである。これは、共振スキャナの走査に係るばらつきが、補償光学SLO装置200本体内の温度や電源の不安定性等の影響も受けるため、スキャナ位置の誤差自体のばらつきも大きいことが原因である。補償光学SLO装置200のスキャナ設定や取得画像の撮影条件、もしくは、共振スキャナ以外のスキャナの使用(ポリゴンミラー等)によっては、この画像歪みがある一定の周期ごとに現れる場合もある。この場合には、画像歪みの現れる周期に相当する数の往復走査ごとにスキャナ位置の推定を行うことで推定ステップの回数を減らすことも可能である。
【0071】
他には、スキャナ位置の推定を往復走査1ラインで行うのではなく、複数の往復走査ラインで同時に計算することも可能である。具体的には、複数の往路走査ライン及び復路走査ラインを、それぞれ二次元の画像として扱い、2次元FFTによる空間周波数領域の比較により、スキャナ走査方向の位置ずれを計算するという方法である。この方法を採れば、一括で、均一のサンプリング基準位置を計算することができる。
【0072】
さらには、歪みが補正された画像を用いることで、表示する画像の画質向上や画像演算の精度向上が期待されるため、上述した実施形態の画像歪み補正を撮影後すぐに実行するための高速化をハードウェア構成と演算の並列化により実施する方法もある。例えば、任意のFPGAやGPU等のマルチコア演算器等を追加して、画像生成部140で行う演算を複数の往復走査について並列化によるパイプライン処理で行うことも可能である。
【0073】
また、上述の本発明の実施形態では、スキャナで往復走査する被検眼Eの所定領域として、被検眼Eの網膜(眼底部Er)を適用した例について説明を行ったが、本発明においてはこれに限定されるものではなく、被検眼Eの他の部分を適用することも可能である。
【0074】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【0075】
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0076】
10 画像生成システム、100 画像生成装置、110 信号情報取得部、120 制御部、130 記憶部、140 画像生成部、141 パラメータ演算処理部、142 画像構成部、150 出力部、200 補償光学SLO装置、300 外部装置
図1
図2
図3
図4
図5
図6
図7
図8