特許 7339436 立体カラーアイイメージングのための方法と装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-28

(45)【発行日】2023-09-05

(54)【発明の名称】立体カラーアイイメージングのための方法と装置

(51)【国際特許分類】

   A61B 3/10 20060101AFI20230829BHJP

   A61B 3/12 20060101ALI20230829BHJP

【ＦＩ】

A61B3/10 ZDM

A61B3/12

【請求項の数】 37

(21)【出願番号】P 2022515754

(86)(22)【出願日】2020-09-10

(65)【公表番号】

(43)【公表日】2022-11-11

(86)【国際出願番号】 JP2020034225

(87)【国際公開番号】W WO2021049558

(87)【国際公開日】2021-03-18

【審査請求日】2022-04-15

(31)【優先権主張番号】62/898,812

(32)【優先日】2019-09-11

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100124626

【弁理士】

【氏名又は名称】榎並 智和

(72)【発明者】

【氏名】キム・ヨンシク

(72)【発明者】

【氏名】リー・ダウェイ

(72)【発明者】

【氏名】三野 聡大

(72)【発明者】

【氏名】ワング・ゼングォ

(72)【発明者】

【氏名】チャン・キンプイ

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特表平０３－５００１３５（ＪＰ，Ａ）

【文献】特開２００６－１８７３１２（ＪＰ，Ａ）

【文献】欧州特許出願公開第０２８７８２５９（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

照明光を出力するように構成された照明光源を含む照明光学系と、
前記照明光学系からの照明光を受け、前記照明光を画像化の対象物の一部分に向けて偏向するように構成されたスキャナと、
前記対象物により前記照明光から散乱された後方散乱光を受け、前記後方散乱光の第１及び第２の画像をキャプチャするように構成されたカメラを含む光学撮像装置と、
前記スキャナと前記光学撮像装置との間に配置され、開口の形状が変更可能なアパーチャーと、
前記スキャナ及び前記光学撮像装置を制御して、異なる時間に前記カメラによってキャプチャされ前記後方散乱光の異なる部分から抽出された前記対象物の前記第１及び第２の画像を前記光学撮像装置にキャプチャさせるように構成された制御プロセッサと、
前記対象物の前記第１及び第２の画像から立体画像を生成するように構成された画像プロセッサと、
を含み、
前記アパーチャーにより前記開口の形状を変更することにより視野角の差を変更する第１モードと、前記対象物における前記照明光の投影位置と前記カメラの撮像面における前記後方散乱光の投影位置との相対的な距離を変更することにより前記視野角の差を変更する第２モードとを変更可能である、眼科撮影装置。

【請求項2】

前記スキャナは、ガルボスキャナ、デジタルマイクロミラーデバイス（ＤＭＤ）、及びポリゴンスキャナのいずれかを含む
ことを特徴とする請求項１に記載の装置。

【請求項3】

前記スキャナは、ガルボスキャナを含み、
前記制御プロセッサは、更に、行番号キャプチャ信号のタイミング及びガルボスキャナ電圧制御信号を制御して、前記第１及び第２の画像をキャプチャさせるように構成され、
前記行番号キャプチャ信号は、前記カメラ内のセンサアレイの複数の画素行のうち、指定された１つ以上の画素行によるキャプチャのタイミングを示す
ことを特徴とする請求項１に記載の装置。

【請求項4】

前記ガルボスキャナ電圧制御信号は、前記ガルボスキャナのミラーによって偏向された光の偏向角度を制御し、前記ガルボスキャナ電圧制御信号の電圧は、負の電圧から正の電圧へと変化するように制御される
ことを特徴とする請求項３に記載の装置。

【請求項5】

前記制御プロセッサは、前記スキャナ及び前記光学撮像装置を制御して、前記光学撮像装置に、前記後方散乱光の第１の部分を含むように前記第１の画像をキャプチャさせ、かつ、前記後方散乱光の第２の部分を含むように前記第２の画像をキャプチャさせるように構成され、
前記後方散乱光の前記第１の部分は、第１の後方散乱角に沿って前記光学撮像装置によって受光され、前記後方散乱光の前記第２の部分は、前記第１の後方散乱角と視野角の差だけ異なる第２の後方散乱角に沿って前記光学撮像装置によって受光され、
前記光学撮像装置は、更に、キャプチャされた画像の光学倍率を変化させるように制御可能であり、
前記制御プロセッサは、前記光学撮像装置の前記光学倍率と前記行番号キャプチャ信号のタイミングを制御することにより視野角の差を変化させ、前記第１及び第２の画像をキャプチャさせる
ことを特徴とする請求項３に記載の装置。

【請求項6】

前記制御プロセッサは、前記スキャナ及び前記光学撮像装置を制御して、前記光学撮像装置に前記対象物の第３及び第４の画像をキャプチャさせ、
前記制御プロセッサは、前記光学撮像装置の前記光学倍率を制御することにより、前記第３の画像と前記第４の画像との間の視野角を変化させ、
前記制御プロセッサは、前記第１及び２の画像の間の視野角の差を、前記第３及び第４の画像の間の視野角の差と同じにするように制御する
ことを特徴とする請求項５に記載の装置。

【請求項7】

前記光学撮像装置は、光学拡大レンズの位置を制御して前記キャプチャされた画像の前記光学倍率を変化させるアクチュエータを含む
ことを特徴とする請求項６に記載の装置。

【請求項8】

前記対象物が、眼底である
ことを特徴とする請求項１に記載の装置。

【請求項9】

前記制御プロセッサは、前記スキャナ及び前記光学撮像装置を制御して、前記光学撮像装置に第１の視野角を有するように前記第１の画像をキャプチャさせるように構成され、
前記制御プロセッサは、前記光学撮像装置に対する制御信号と前記スキャナに対する制御信号との間の時間遅延に基づいて、前記第１の視野角を制御する
ことを特徴とする請求項１に記載の装置。

【請求項10】

前記後方散乱光の前記第１の部分は、前記対象物からの第１の散乱角で受光され、前記後方散乱光の前記第２の部分は、前記第１の散乱角から１８０度離れた、前記対象物からの第２の散乱角から受光される
ことを特徴とする請求項５に記載の装置。

【請求項11】

前記制御プロセッサは、更に、前記第１及び第２の画像のキャプチャ順序を変更するように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項12】

前記制御プロセッサは、更に、前記スキャナ及び前記光学撮像装置を制御して、前記光学撮像装置に、前記対象物の前記第１の画像を第１の視野角でキャプチャさせ、前記対象物の前記第２の画像を前記第１の視野角とは異なる第２の視野角でキャプチャさせるように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項13】

前記制御プロセッサは、更に、前記照明光学系、前記スキャナ、及び前記光学撮像装置のうちの少なくとも１つを制御して、前記第１の画像における視野角が前記第２の画像における視野角と同じになるように、前記対象物の前記第１及び第２の画像をキャプチャさせるように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項14】

前記制御プロセッサは、更に、前記照明光学系、前記スキャナ、及び前記光学撮像装置の少なくとも１つを制御して、互いに異なる視野角、互いに同じ視野角、又は前記第１及び第２の画像の視野角とは異なる視野角を有する第３及び第４の画像をキャプチャさせるように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項15】

前記画像プロセッサは、更に、３Ｄ可視化、深度プロファイル、ボリューム定量化、疾患の進行、及び診断のためのノーマティブデータベースのための情報を生成するように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項16】

前記制御プロセッサは、前記スキャナ及び前記光学撮像装置を制御して、前記第１及び第２の画像のそれぞれの間で異なるように構成された前記アパーチャーを用いることによって、前記後方散乱光の異なる部分から抽出される前記対象物の前記第１及び第２の画像をキャプチャさせるように構成されている
ことを特徴とする請求項１に記載の装置。

【請求項17】

前記アパーチャーは、前記後方散乱光の光路上に設けられた水平アパーチャーを含み、
前記制御プロセッサは、前記対象物の前記第１及び第２の画像の一方をキャプチャするときに前記対象物の上方の部分を照明することと、前記対象物の前記第１及び第２の画像の他方をキャプチャするときに前記対象物の下方の部分を照明することとの間で前記水平アパーチャーを動的に切り替えるように構成されている
ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記アパーチャーは、前記後方散乱光の光路上に設けられた垂直アパーチャーを含み、
前記制御プロセッサは、前記対象物の前記第１及び第２の画像の一方をキャプチャするときに前記対象物の左方の部分を照明することと、前記対象物の前記第１及び第２の画像の他方をキャプチャするときに前記対象物の右方の部分を照明することとの間で前記垂直アパーチャーを動的に切り替えるよう構成されている
ことを特徴とする請求項１６に記載の装置。

【請求項19】

照明光を出力し、
前記照明光を受け、
画像化の対象物の一部分に向けて前記照明光の光軸を偏向し、
前記対象物によって前記照明光から散乱された後方散乱光を受光し、
同一の撮像装置を用いて、異なる時間に、前記後方散乱光の異なる部分から抽出された第１及び第２の画像をキャプチャし、
前記対象物の前記第１及び第２の画像から立体画像を生成し、
前記光軸が偏向された前記照明光の光路に配置され開口の形状が変更可能なアパーチャーを用いて前記開口の形状を変更することにより視野角の差を変更する第１モードと、前記対象物における前記照明光の投影位置と前記撮像装置の撮像面における前記後方散乱光の投影位置との相対的な距離を変更することにより前記視野角の差を変更する第２モードとを変更可能である
ことを含む眼科撮影装置を動作させる方法。

【請求項20】

更に、ガルボスキャナ、デジタルマイクロミラーデバイス（ＤＭＤ）、及びポリゴンスキャナのいずれかで前記照明光の光軸を偏向する
ことを特徴とする請求項１９に記載の方法。

【請求項21】

更に、ガルボスキャナで前記照明光の光軸を偏向し、行番号キャプチャ信号のタイミング及びガルボスキャナ電圧制御信号を制御して、前記第１及び第２の画像をキャプチャさせ、
前記行番号キャプチャ信号は、前記撮像装置内のセンサアレイの複数の画素行のうち、指定された１つ以上の画素行による取り込みタイミングを示す
ことを特徴とする請求項１９に記載の方法。

【請求項22】

更に、前記ガルボスキャナ電圧制御信号を制御して、前記ガルボスキャナ電圧制御信号の電圧を負の電圧から正の電圧に変化させて前記ガルボスキャナのミラーで偏向された光の偏向角度を変化させる
ことを特徴とする請求項２１に記載の方法。

【請求項23】

更に、前記後方散乱光の第１の部分を含むように前記第１の画像をキャプチャし、
前記後方散乱光の第２の部分を含むように前記第２の画像をキャプチャし、
第１の後方散乱角に沿って、前記撮像装置により前記後方散乱光の前記第１の部分を受光し、
前記第１の後方散乱角と視野角の差だけ異なる第２の後方散乱角に沿って、前記撮像装置により前記後方散乱光の前記第２の部分を受光し、
キャプチャされた画像の光学倍率を制御し、
前記撮像装置の光学倍率と前記行番号キャプチャ信号のタイミングとを制御して前記第１及び第２の画像をキャプチャさせることによって、前記視野角の差を変化させる
ことを特徴とする請求項２１に記載の方法。

【請求項24】

更に、
前記対象物の第３の画像をキャプチャし、
前記対象物の第４の画像をキャプチャし、
前記撮像装置の前記光学倍率を制御することにより前記第３の画像と前記第４の画像との間の視野角を変化させ、
前記第１及び第２の画像の間の視野角の差が、前記第３及び第４の画像の間の視野角の差と同じになるように制御する
ことを特徴とする請求項２３に記載の方法。

【請求項25】

更に、アクチュエータを制御して、前記キャプチャされた画像の光学倍率を変化させるように光学拡大レンズの位置を変更する
ことを特徴とする請求項２４に記載の方法。

【請求項26】

前記対象物が眼底である
ことを特徴とする請求項１９に記載の方法。

【請求項27】

更に、
第１の視野角を持つように前記第１の画像をキャプチャし、
光学撮像装置に対する制御信号とスキャナに対する制御信号との間の時間遅延に基づいて前記第１の視野角を制御する
ことを特徴とする請求項１９に記載の方法。

【請求項28】

前記後方散乱光の前記第１の部分は、前記対象物からの第１の散乱角で受光され、前記後方散乱光の前記第２の部分は、前記第１の散乱角から１８０度離れた、前記対象物からの第２の散乱角から受光される
ことを特徴とする請求項２３に記載の方法。

【請求項29】

更に、前記第１及び第２の画像のキャプチャ順序を変更する
ことを特徴とする請求項１９に記載の方法。

【請求項30】

更に、第１の視野角で前記対象物の前記第１の画像をキャプチャし、前記第１の視野角と異なる第２の視野角で前記対象物の前記第２の画像をキャプチャする
ことを特徴とする請求項１９に記載の方法。

【請求項31】

更に、前記第１の画像の視野角が前記第２の画像の視野角と同じになるように前記第１及び第２の画像をキャプチャする
ことを特徴とする請求項１９に記載の方法。

【請求項32】

更に、互いに異なる視野角、互いに同じ視野角、又は前記第１及び第２の画像の視野角とは異なる視野角を有する第３及び第４の画像キャプチャする
ことを特徴とする請求項１９に記載の方法。

【請求項33】

更に、３Ｄ可視化、深度プロファイル、ボリューム定量化、疾患の進行、及び重要な診断のためのノーマティブデータベースの情報を生成する
ことを特徴とする請求項１９に記載の方法。

【請求項34】

更に、前記第１及び第２の画像のそれぞれの間で異なるように構成された前記アパーチャーを用いることによって、前記後方散乱光の異なる部分から抽出される前記対象物の前記第１及び第２の画像をキャプチャする
ことを特徴とする請求項１９に記載の方法。

【請求項35】

更に、
前記アパーチャーとして前記後方散乱光の光路上に水平アパーチャーを配置し、
前記対象物の前記第１及び第２の画像の一方をキャプチャするときに前記対象物の上方の部分を照明することと、前記対象物の前記第１及び第２の画像の他方をキャプチャするときに前記対象物の下方の部分を照明することとの間で前記水平アパーチャーを動的に切り替える
ことを特徴とする請求項１９に記載の方法。

【請求項36】

更に、
前記アパーチャーとして前記後方散乱光の光路上に垂直アパーチャーを配置し、
前記対象物の前記第１及び第２の画像の一方をキャプチャするときに前記対象物の左方の部分を照明することと、前記対象物の前記第１及び第２の画像の他方をキャプチャするときに前記対象物の右方の部分を照明することとの間で前記垂直アパーチャーを動的に切り替える
ことを特徴とする請求項１９に記載の方法。

【請求項37】

照明光を出力し、
前記照明光を受け、
画像化の対象物の一部分に向けて前記照明光の光軸を偏向し、
前記対象物によって前記照明光から散乱された後方散乱光を受光し、
同一の撮像装置を用いて、異なる時間に、前記後方散乱光の異なる部分から抽出された第１及び第２の画像をキャプチャし、
前記対象物の前記第１及び第２の画像からから立体画像を生成し、
前記光軸が偏向された前記照明光の光路に配置され開口の形状が変更可能なアパーチャーを用いて前記開口の形状を変更することにより視野角の差を変更する第１モードと、前記対象物における前記照明光の投影位置と前記撮像装置の撮像面における前記後方散乱光の投影位置との相対的な距離を変更することにより前記視野角の差を変更する第２モードとを変更可能である眼科撮影装置を動作させるステップをコンピュータに実行させるコンピュータプログラムを格納した非有形のコンピュータ読み取り可能な媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１９年９月１１日に出願された米国仮特許出願第６２／８９８，８１２号の優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。

【技術分野】

【0002】

本開示は、一般的に、眼科イメージング（例えば、立体カラーアイイメージング）のための方法、眼科イメージングのための装置、及び眼科イメージングのためのコンピュータ読み取り可能な媒体に関するものである。

【背景技術】

【0003】

本明細書に記載されている「背景」の説明は、本開示の文脈を一般的に示すことを目的としている。出願時に先行技術として認められない記載の態様と同様に、この背景セクションに記載されている範囲で、現在の発明者らの研究は、本発明に対する先行技術として明示的にも暗黙的にも認められない。

【0004】

ステレオディスク撮影（Ｓｔｅｒｅｏ ｄｉｓｃ ｐｈｏｔｏｇｒａｐｈｙ）は、眼科における構造的な異常や経時的な変化を記録するために用いられてきた。例えば、立体的なカラーの眼の写真は、解析や診断のための視神経乳頭（ＯＮＨ）のイメージングに用いられてきた。立体的なカラーの眼の撮影では、写真のように２つの画像が作成され、それを見たときに、２つの画像が観察者の脳内で奥行き感を感じさせるように融合させる。すなわち、観察者が２つの画像を見るとき、観察者の左眼は左の画像を、観察者の右眼は右の画像を見て、観察者の脳は撮影時の奥行き関係（又は視差）を再現する。

【0005】

網膜のトポロジー情報を提供するイメージング技術には、従来のステレオベースのトポグラフィ、共焦点走査型レーザー検眼鏡（ｃＳＬＯ）、光干渉断層計がある。例えば、ステレオベースのトポグラフィでは、従来の立体撮像装置から取得された一対の画像を用いて、計算で網膜の奥行きを再構成する。この従来の手法によれば、３Ｄの深度プロファイルを、観察者の脳によってのみ再構成することができる。つまり、定性的にしか評価することができない。ｃＳＬＯは、一般的な眼のカメラや眼底カメラで使用される明るい白色フラッシュの代わりに、レーザー光を用いて網膜をラスタースキャンするイメージング技術であり、患者の快適性を向上させる。反射光は、散乱光を遮る小さなアパーチャー（共焦点ピンホール）を介してキャプチャされ、シャープでより高画質、かつより高コントラストな画像が得られる。徐々に深度を上げてキャプチャされた連続的なｃＳＬＯスキャンは、網膜や視神経乳頭（ｏｐｔｉｃ ｄｉｓｃ）の３次元トポグラフィ画像の作成と組み合わせることができる。画像スタックの位置を調整して最終的な合成画像を作成することで、黄斑部の網膜厚測定や視神経乳頭（ｏｐｔｉｃ ｎｅｒｖｅ ｈｅａｄ）のトポグラフィを行うことができる。ただ、撮影時間が比較的長いため、眼球運動によってｃＳＬＯ画像の質が低下する可能性がある。その結果、３Ｄの深度プロファイルの測定誤差が大きくなる。光コヒーレンストモグラフィ（ＯＣＴ）は、低コヒーレンス光を用いて、光散乱媒体（生体組織など）の内部からマイクロメートル分解能の２次元及び３次元の画像をキャプチャするイメージング技術である。ＯＣＴは、典型的には、近赤外光を用いた低コヒーレンス干渉分光法に基づく。ＯＣＴのＡラインプロファイル（各深度での後方散乱光信号）から、各ＯＣＴのＢフレーム（スキャン軸に沿った複数のＡライン）において網膜層をセグメント化することで、深度情報（又はトポロジー解析）を計算的に抽出することができる。この方法は、臨床において広く用いられる。

【0006】

デジタル光検眼鏡（ＤＬＯ）は、米国特許第８，２３７，８３５号（２０１２年）に記載されているような共焦点イメージング技術を用いる。デジタルマイクロミラーデバイス（ＤＭＤ）を用いたデジタル光プロジェクタ（ＤＬＰ）は、視野を横切る一連の隣接する照明ラインを迅速に投影するように構成されている。ターゲットからの後方散乱光は、ＤＬＯコントラストを向上させるためだけにデスキャン（すなわち、多重散乱イメージング）され、ローリングシャッター方式の検出方法でモノクロの相補型金属酸化膜半導体（ＣＭＯＳ）センサ上で直接的に撮像される。この構成では、ローリングシャッターがフレキシブルな電子アパーチャーとして動作し、ソフトウェアによって位置や幅をリアルタイムに微調整することができる。

【0007】

ＤＭＤは、例えば米国特許第５，０６１，０４９号に記載されているように、ＭＯＥＭＳ（ｍｉｃｒｏ－ｏｐｔｏｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）である。ＤＭＤチップは、表示（又は投影）される画像の画素に対応して、数十万個の微小なラーが長方形のアレイ状に配置された表面を有する。ミラーは、個別に±１０－１２°回転させて、オン状態又はオフ状態にすることができる。オン状態では、プロジェクタの電球からの光がレンズに反射し、スクリーン上の画素は明るく見える。オフ状態では、その光は別の場所（通常はヒートシンク又は黒体）に導かれるため、画素は暗く見える。ＤＭＤ上の各マイクロミラーの活性化をリアルタイムに制御することで、光走査ビームを所定の試料に照射し、同じ撮像試料からの後方散乱光を収集することができる。

【先行技術文献】

【特許文献】

【0008】

【文献】米国特許第５，０６１，０４９号

【文献】米国特許第８，２３７，８３５号（２０１２年）

【文献】米国特許第６，７５８，５６４号

【非特許文献】

【0009】

【文献】Marshall E. Tyler, CRA, FOPS. Stereo Fundus Photography: Principles and Technique. Journal of Ophthalmic Photography, 1996;18(2):68-81

【文献】Muller MS, Elsner AE. Confocal Retinal Imaging Using a Digital Light Projector with a Near Infrared VCSEL Source. Proc SPIE Int Soc Opt Eng. 2018;10546:105460G. doi:10.1117/12.2290286

【文献】Elsner, AE., Petrig, BL. Laser Scanning Digital Camera with Simplified Optics and Potential for Multiply Scattered Light Imaging. US Patent No. 7,831,106. 2007.

【文献】Espina MP, Arcinue CA, Ma F, Camacho N, Bartsch DU, Freeman WR. ANALYSIS OF A CONFOCAL SCANNING LASER OPHTHALMOSCOPE NONCONTACT ULTRA-WIDE FIELD LENS SYSTEM IN RETINAL AND CHOROIDAL DISEASE. Retina. 2015;35(12):2664-2668. doi:10.1097/IAE.0000000000000899.

【文献】Huang, D; Swanson, EA; Lin, CP; Schuman, JS; Stinson, WG; Chang, W; Hee, MR; Flotte, T; et al. (1991). "Optical coherence tomography". Science. 254 (5035): 1178-81.

【文献】Hansung Kim, Shinwoo Choi, Kwanghoon Sohn, "Real-time depth reconstruction from stereo sequences," Proc. SPIE 6016, Three-Dimensional TV, Video, and Display IV, 60160E (15 November 2005).

【文献】J. Gu, Y. Hitomi, T. Mitsunaga and S.K. Nayar. Coded Rolling Shutter Photography: Flexible Space-Time Sampling. IEEE International Conference on Computational Photography (ICCP), Mar. 2010.

【文献】Kafieh R, Rabbani H, Kermani S. A review of algorithms for segmentation of optical coherence tomography from retina. J Med Signals Sens. 2013;3(1):45-60.

【文献】Chen TC. Spectral domain optical coherence tomography in glaucoma: qualitative and quantitative analysis of the optic nerve head and retinal nerve fiber layer (an AOS thesis). Trans Am Ophthalmol Soc. 2009;107:254-281.

【発明の概要】

【0010】

この概要は、以下の詳細な説明で更に説明される簡略化された形式で概念の選択を導入するために提供される。この概要は、請求項に記載された主題の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また請求項に記載された主題の範囲を限定することを意図したものではない。更に、請求される主題は、本開示のいずれかの部分で指摘された任意の又はすべての欠点を解決する限定事項に限定されるものではない。

【0011】

本開示の一態様によれば、眼科撮像装置は、照明光を出力するように構成された照明光源を含む照明光学系と、照明光学系から照明光を受け、画像化の対象物の一部分に向けて照明光を偏向するように構成されたスキャナと、対象物によって照明光から散乱される後方散乱光を受光し、後方散乱光の第１及び第２の画像をキャプチャするように構成されたカメラを含む光学撮像装置と、スキャナ及び光学撮像装置を制御して、異なる時間にカメラによってキャプチャされ後方散乱光の異なる部分から抽出された対象物の第１及び第２の画像を光学撮像装置にキャプチャさせるように構成された制御プロセッサと、対象物の第１及び第２の画像から立体画像を生成するように構成された画像プロセッサと、を含む。

【図面の簡単な説明】

【0012】

本発明のより完全な理解とそれに付随する利点の多くは、添付の図面に関連して考慮される場合、以下の詳細な説明を参照することで、同じことがより深く理解することが容易になる。

【0013】

【図1】図１は、本発明の一実施形態に係る立体カラーアイイメージング装置（ｓｔｅｒｅｏｓｃｏｐｉｃ ｃｏｌｏｒ ｅｙｅ ｉｍａｇｉｎｇ ａｐｐａｒａｔｕｓ）のブロック図を模式的に示す図である。

【図2A】図２Ａは、本発明の一実施形態に係る上方及び下方の視野の取得方式による取得角度変化の例を示す図である。

【図2B】図２Ｂは、本発明の一実施形態に係る左方及び右方の視野の取得方式による取得角度変化の例を示す図である。

【図2C】図２Ｃは、本発明の一実施形態に係る照明・検出方式の動作例を表したものである。

【図2D】図２Ｄは、視野角と立体視野角がどのように異なる関係にあるかを更に説明するために、本発明の一実施形態に係る光学トレースの一例を示したものである。

【図2E】図２Ｅは、瞳孔面でダイナミックアパーチャーを用いた本発明の一実施形態の動作の一例を示したものである。

【図2F】図２Ｆは、ダイナミックアパーチャーを変更したときの（分割アパーチャーの場合）本発明の一実施形態の動作例を示したものである。

【図2G】図２Ｇは、ダイナミックアパーチャーを用いた本発明の一実施形態の例を示したものである。

【図2H】図２Ｈは、開口絞り設定を用いた本発明の一実施形態の例を示したものである。

【図2I】図２Ｉは、分割アパーチャーを用いた本発明の一実施形態の例を示したものである。

【図2J】図２Ｊは、本発明の一実施形態に係る分割アパーチャーを設定したときの狭視野角の一例を示したものである。

【図2K】図２Ｋは、本発明の一実施形態に係る分割アパーチャーを設定したときの広視野角の一例を示したものである。

【図3A】図３Ａは、本発明の一実施形態に係る開口絞りを設定したときの狭視野角による視野角変化の一例を示す図である。

【図3B】図３Ｂは、本発明の一実施形態に係る広視野角での視野角変化の一例を示す図である。

【図4A】図４Ａは、本発明の一実施形態に係る開口絞りを設定したときの広視野角（ＦＯＶ）を有する光学ＦＯＶの変化の一例を示す図である。

【図4B】図４Ｂは、本発明の一実施形態に係る開口絞りを設定したときの狭ＦＯＶのＦＯＶ変化の一例を示す図である。

【図4C】図４Ｃは、一連の画像を取得してモザイク処理することによる撮像視野の拡大の一例を示す図である。

【図4D】図４Ｄは、スキャン方向の変化の一例を示す図である。

【図5】図５は、本発明の一実施形態に係るローリングシャッター機構付きの２Ｄカメラとガルボスキャナとを含む立体カラーアイイメージング装置の一例を示す図である。

【図6A】図６Ａは、本発明の一実施形態に係るガルボと検出器の上方視野制御信号の一例を示す図である。

【図6B】図６Ｂは、本発明の一実施形態に係るガルボと検出器の下方視野制御信号の一例を示す図である。

【図6C】図６Ｃは、ガルボスキャナ制御電圧の変化が走査角度（又は照明角度）にどのように影響するかを更に説明するための本発明の一実施形態の動作例を示したものである。

【図7A】図７Ａは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における狭視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。

【図7B】図７Ｂは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における狭視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。

【図7C】図７Ｃは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における広視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。

【図7D】図７Ｄは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における広視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。

【図8】図８は、本発明の一実施形態に係るローリングシャッター機構付き２ＤカメラとＤＭＤとを含む立体カラーアイイメージング装置の一例を示す図である。

【図9A】図９Ａは、ＤＭＤと検出器の上方視野制御信号の一例を示す図である。

【図9B】図９Ｂは、ＤＭＤと検出器の下方視野制御信号の一例を示す図である。

【図10A】図１０Ａは、本発明の一実施形態に係るＤＭＤを用いた撮影において、狭視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。

【図10B】図１０Ｂは、本発明の一実施形態に係るＤＭＤを用いた撮影において、狭視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。

【図10C】図１０Ｃは、本発明の一実施形態に係るＤＭＤを用いた撮影において、広視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。

【図10D】図１０Ｄは、本発明の一実施形態に係るＤＭＤを用いた撮影において、広視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。

【図11A】図１１Ａは、本発明の一実施形態に係るマルチプルスキャンカメラとガルボスキャナとを含む立体カラーアイイメージング装置の一例を示す図である。

【図11B】図１１Ｂは、開口絞り設定時の図１１Ａの実施形態の動作例を示す図である。

【図12A】図１２Ａは、本発明の一実施形態に係る平行ステレオ取得を用いた立体撮像の方法の一例を示す図である。

【図12B】図１２Ｂは、本発明の一実施形態に係る収束ステレオ取得を用いた立体撮像の方法の一例を示す図である。

【図12C】図１２Ｃは、本発明の一実施形態に係る立体撮像の動作例を示す図である。

【図13】図１３は、本発明の一実施形態に係る処理ユニットを用いて実行される３Ｄ可視化と解析処理を伴う立体撮影の方法の一例を示す図である。

【図14A】図１４Ａは、本発明の一実施形態に係る立体的なカラーの眼の画像の一例例を示す図である。

【図14B】図１４Ｂは、本発明の一実施形態に係る図１４Ａの立体的なカラーの眼の画像から抽出された情報の３次元プロットを示す図である。

【図15A】図１５Ａは、本発明の一実施形態に従って実行されたカップの深さの推定を含む情報の３次元プロットを示す図である。

【図15B】図１５Ｂは、本発明の一実施形態に従って実行されたカップ／ディスク比の推定を含む情報の３次元プロットを示す図である。

【図16】図１６は、本発明の一実施形態に係る本発明の一部を実施するために使用することができるコンピュータ構造の一例を示す図である。 本開示の更なる適用分野は、以下に示す詳細な説明から明らかになるだろう。例示的な実施形態の詳細な説明は、説明を目的としたものであり、従って、本開示の範囲を必ずしも限定することを意図したものではないことを理解すべきである。

【発明を実施するための形態】

【0014】

本明細書では、単数形で記載され、「ａ」又は「ａｎ」という単語に続く要素又はステップは、そのような除外が明示的に記載されていない限り、複数の要素又はステップを除外しないと理解すべきである。更に、本発明の「一実施形態」への言及は、記載された特徴を組み込んだ追加の実施形態の存在を排除すると解釈されることを意図したものではない。

【0015】

本明細書に記載の制御方法及びシステムは、コンピュータソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組み合わせ若しくはサブセットを含むコンピュータプログラミング又はエンジニアリング技術を用いて実装されてもよい。

【0016】

加齢黄斑変性症（ＡＭＤ）と緑内障は、眼科における失明の主な原因となっている。このような疾患を評価するために、臨床細隙灯検査や画像診断など多くの眼科検査が開発されている。最近では、ＯＣＴ装置が、これらの眼疾患をほぼリアルタイムで画像化して、可視化するのに用いられている。ただ、ＯＣＴ装置は比較的高価であり、ＯＣＴ装置の操作には訓練を受けたオペレーターや専門家が必要である。このように、ＯＣＴ装置を用いた検査は高価であり、これが後進国や地方でＯＣＴ装置を用いた検査が一般的でない理由の一部である考えられる。

【0017】

本開示は、結果として得られる立体的なカラーの眼の画像から３Ｄの深度プロファイルを再構成することを含み、既存の制限を克服し得る立体カラーアイイメージング装置、方法、及びコンピュータ読み取り可能な媒体に関するものである。眼底を含む、眼の任意の部分を撮影してもよい。本発明は、人体の他の部分のイメージングにも適用可能である。本発明の実施形態を説明するために用いられる「立体カラーアイイメージング装置」及び「立体カラー眼底撮影装置」という用語は、同等のものと考えるべきである。本発明の一実施形態に係る立体カラー眼底像撮影装置は、光源ユニット、検出器／センサユニット、スキャナユニット、撮影光学系、及び制御ユニットを含んでもよく、これらは、立体画像及び情報を提供するように動作し、眼科における眼疾患のスクリーニングに有用であると考えられる。更に、本明細書に記載されている立体カラー眼底撮影装置及び方法は、従来のＤＬＯ、ｃＳＬＯ、又はラインスキャンＳＬＯ（例えば、米国特許第６，７５８，５６４号に記載されているような）によって生成されるものと同等の画像、光学分解能、及び特徴を提供することができる一方で、それらの先行技術のアプローチにおける欠点を回避又は最小化することができる。

【0018】

本発明の一実施形態は、ＯＣＴベースのデバイスと比較して、比較的低コストのシステムをもたらす可能性がある。このような実施形態は、部分的に又は完全に自動化されていてもよく（例えば、自撮りするように簡単に操作できる）、又はイメージングのための最小限のトレーニングしか必要としないかもしれない。遠隔地や後進国に住む人々は、この発明を最大限に活用することができるであろう。

【0019】

本発明に係る立体カラー眼底撮影装置及び方法の実施形態は、網膜を立体的に解析することができ、従来のカラー眼底撮影装置と同等の撮像機能を、より低コストで、より簡単な操作で提供することができる。本発明の一実施形態によれば、多重散乱信号（上方部分と下方部分への後方散乱光）を用いて、第１及び第２画像の間の視差を計算で動的に計算することにより、３Ｄの深度プロファイルを再構築する（すなわち、立体撮像を行う）ことができる。

【0020】

図１は、眼１１６の眼底の立体カラー画像を得ることができる立体カラー眼底撮影装置の模式的な一例を示す図である。本実施形態の装置は、撮影光学系１０２、光スキャナユニット１１０、制御ユニット１０４、検出器／センサユニット１１２、処理ユニット１０６、表示ユニット１０８、及び記憶ユニット１１４を含む。更に、別の実施形態に係る装置は、眼１１６の眼底のカラーの立体画像の代わりに、眼１１６の眼底のグレースケールの立体画像をキャプチャしてもよい。

【0021】

撮影光学系１０２は、光源、光学レンズ、ホルダー及び光学的な位置合わせツール、光学シャッターなどの光学部品を含んでいてもよい。光源として、１つ以上のハロゲンランプ及び／又はＬＥＤ光源を用いてもよい。光スキャナユニット１１０は、撮影光学系からの可視光線の照明光を画像化対象の試料又は対象物（例えば、眼）に向けて偏向し、同時に画像化対象の試料又は対象物から散乱された後方散乱光を受ける。制御ユニット１０４は、後述する機能をプログラムした汎用コンピュータを用いて実装することができ、システム内のすべての電気的・機械的な部品やユニットの動作を制御する。立体視を実現するためには、少なくとも２つ以上の画像が、２つ以上の画像の間で十分な視野角差を持って取得される。本発明の一実施形態によれば、画像取得角度は任意に設定することができるが、そのスキャン方向は、例えば、図２Ａ、図２Ｂ、図２Ｃ、及び図２Ｄについて後述するような一例に係るローリングシャッターカメラ機構を最適に利用するために、有利には検出器のシャッター方向に直交してもよい。更に、制御ユニットからの固視標を、光学的なピント合わせ／アライメントを補助し、眼球運動を抑制するために設けることができる。

【0022】

光走査位置と検出位置の間の相対的な距離は、図３Ａ及び図３Ｂについて後述するように、立体視野角差を導入及び／又は変化させるために動的に変更することができる。立体撮影を完了させるために、少なくとも２つの画像（例えば、図２Ａのスキャン＃１ ２０８ａとスキャン＃２ ２０８ｂ、又は図２Ｂのスキャン＃１ ２０８ｃとスキャン＃２２０８ｄ、又は図３Ａのスキャン＃１ ３０８ａとスキャン＃２ ３０８ｂ、又は図３Ｂのスキャン＃１ ３０８ｃとスキャン＃２ ３０８ｄ）を異なる視野角で取得する必要がある。

【0023】

本発明の一実施形態によれば、１）分割アパーチャー動作、２）開口絞り動作、を用いて立体撮像を行うことができる。本発明の一実施形態によれば、撮影光学系の光学的な開口を、分割アパーチャーモードと開口絞りモードとの間で動的に変更することができる。図２Ｅには、眼２７６の撮影中のこのような分割アパーチャー動作と開口絞り動作との間の動的な変化の例が示されている。図２Ｅの例では、照明は眼の中央部分を通して行われ、検出は環状に行われる。開口絞りモードでは、照明は眼の環状部分で行われ、検出は眼の中央部分を通して行われる。図２Ｅの例では、分割アパーチャーの場合、水平アパーチャーを用いて、照明２７０は、～φ２．０ｍｍであり、ｄ２７２は、～０．５ｍｍであり、検出幅２７４である。垂直アパーチャーを用いた眼２７６の照明は、分割アパーチャーの場合も示されている。図２Ｅは、検出２８０が、～φ２．０ｍｍであり、ｄ２７８が、～０．５ｍｍであり、照明幅２８２が、～０．５ｍｍである開口絞りの場合も示している。眼２７６の照明は、垂直アパーチャー／開口絞りの場合についても示されている。このように、制御ユニット１０４によって動的に制御されるパラメータには、開口（ａｐｅｒｔｕｒｅ）、光学倍率、視野角がある。

【0024】

図２Ｆは、分割アパーチャーモード時の動作を更に詳しく示す。分割アパーチャーの場合において本発明の一実施形態によれば、水平アパーチャー（すなわち、図２Ｆの上方の部分）を使用して、眼２８４の上方視野スキャン（すなわち、図２Ｆの左上で、第１の光学画像２８６を生成する）から眼２８４の下方視野スキャン（すなわち、図２Ｆの右上で、第２の光学画像２８８を生成する）に切り替えることによって、視野角を導入するようにアパーチャーの切り替えを行うことができる。或いは、垂直アパーチャーを使用する場合、第１の光学画像２９０と第２の光学画像２９２との間の視野角差は、左方視野スキャン（すなわち、図２Ｆの左下）と右方視野スキャン（すなわち、図２Ｆの右下）との間を切り替えることによって作成される。分割アパーチャーモードでは、照明と検出位置を同一にすることができる。視野角の差は、瞳孔面における上方のアパーチャーから下方のアパーチャーへの切り替えや、瞳孔面における左方のアパーチャーから右方のアパーチャーへの切り替えによって導入することができる。従って、分割アパーチャーモードの立体撮像では、アパーチャーの形状の切り替え（上方視野アパーチャー←→下方視野アパーチャー）によって視野角差が生じるため、（開口絞りモードと異なり）照明と検出の間に時間遅延が必要ない。アパーチャーの設定が開口絞りのとき、光走査位置（例えば、図２Ａ及び図２Ｂの照明／走査位置２０４ａ及び２０２ｂ、２０４ｃ及び２０２ｄ、図３Ａ及び図３Ｂの３０４ａ及び３０２ｂ、３０４ｃ及び３０２ｄ）と検出位置（例えば、図２Ａ及び図２Ｂの２０２ａ、２０４ｂ、２０２ｃ、及び２０４ｄ、図３Ａ及び図３Ｂの３０２ａ、３０４ｂ、３０２ｃ及び３０４ｄ）との間の相対的な距離を変更することにより、走査画像間の視野角差を拡大または縮小することができる。光走査位置は、光走査ビーム（すなわち、装置によって眼底に投影される照明光のライン）が投影される眼底上の位置であり、検出位置は、光学的な後方散乱光が投影される撮像面（例えば、カメラのセンサ面）上で対応する位置である。光学倍率が１倍に等しい場合、撮像面と眼底面との間の物理的なスケールは同一である必要がある。視野角差の変化は、本発明の一実施形態によれば、画像をキャプチャするために眼底のラインを選択する光学スキャナ制御信号と画像取得制御信号との間の相対的な時間間隔（すなわち、リーディングタイム（ｌｅａｄｉｎｇ ｔｉｍｅ）又は遅れ時間（ｌａｇｇｉｎｇ ｔｉｍｅ））を変化させることによって達成される（ライン・バイ・ライン取得）。

【0025】

ガルボスキャナ（例えば、ガルボスキャナ５１０）によって光走査ビームが眼底に投影されるとき、ガルボ制御信号が制御ユニット１０４から生成され、ガルボスキャナが制御される。ガルボ制御信号は、光学倍率、カメラのフレームレート、必要な深度分解能、ＦＯＶなどのパラメータに基づいて、制御ユニット１０４によって制御される。パラメータは、あらかじめ決められてメモリ（例えば、記憶ユニット１１４）に格納されていてもよいし、制御ユニット１０４又は処理ユニット１０６に搭載されたユーザーインターフェースによって動的に設定されてもよいし、制御ユニット１０４又は処理ユニット１０６に接続された別のコンピュータを用いる遠隔操作者によって制御されてもよい。ガルボ制御信号は、特に、撮像試料に対する光走査ビームの投影角度を制御するように設計されている。一般的に、投影角度の変化量はガルボ制御信号のアナログ電圧（信号のＤＣ電圧オフセットを除く）に直線的に比例する。例えば、広いＦＯＶでの撮像が必要な場合、狭いＦＯＶでの撮影に比べてガルボ制御信号の電圧を比例して大きくする必要がある。これと並行して、撮像試料からの後方散乱光は、ガルボスキャナの鏡面で反射された後、検出器（すなわち、カメラセンサ）によってデジタル化される。デジタル化は、２Ｄカメラ上の検出器アレイの各行（ｒｏｗ）が、制御ユニット１０４によって生成されたカメラトリガー制御信号によって順次にトリガーされ、カメラセンサ上の画素の対応するラインによって受光された入射光信号をデジタル化するように、ローリングシャッター機構を備えた２Ｄカメラを用いて行われる。従来のＳＬＯイメージングでは、信号対雑音比を最適化するために、検出位置を走査ビームの位置と同じにする必要がある。しかしながら、本発明の一実施形態に係る立体撮像では、走査ビーム位置に対する検出位置は、立体視のためにオフセンターにする必要がある。撮像面（又はカメラ）でのオフセンタリング量は、２Ｄカメラのライン・バイ・ライン取得とガルボ制御信号の電圧変化の増分が制御ユニット１０４によって一定のレート（周波数）で制御されるため、時間スケールで表現することができる。従って、処理ユニット１０６によって生成される動的な立体画像における視野角は、２Ｄカメラのトリガー制御信号とガルボ制御信号との間に相対的な位相シフトを導入する制御ユニット１０４によって簡単に制御することができる。その結果、２つの連続する画像（ステレオ画像）の間の立体視野角によって、画像を解析して得られる最小解像可能な深度分解能が決まる。従って、制御ユニット１０４は、理想的な深度分解能を実現するために、光スキャナユニット１１０と検出器／センサユニット１１２の動作を同期させてもよい。ガルボスキャナの代わりにポリゴンスキャナを用いることも可能である。

【0026】

本発明の一実施形態によって生成される立体画像の光学倍率は、光学的視野だけでなく、解像可能な立体的な深度の分解能にも影響を与えることができる。光学倍率が高いほど、解像可能な立体的な深度の分解能が高くなる。

【0027】

検出器／センサユニット１１２は、後方散乱光を電気信号に変換するデジタイザ／センサを含む。デジタイザは、ローリングシャッター付きのＣＣＤカメラ、マルチプルラインスキャンカメラ、又はその他の容易に入手可能な２次元画像検出デバイスを含む。制御ユニット１０４は、光学倍率制御、ユーザー制御コマンドの実行、オートアライメント／フォーカス、ガルボ／ＤＭＤ制御、及び安全機構、リアルタイムの光学パワー／スペクトル監視、リアルタイムのアイトラッキングを含むすべてのシステムコンポーネントを制御する。処理ユニット１０６は、ソフトウェア、ファームウェア、及び／又はハードウェアによって構成された処理回路を含み、キャプチャされた画像から立体情報を計算、処理、及び抽出する。処理ユニット１０６は、画像再構成解析、クラウドベースのサービス、患者情報、臨床記録などのユーザーアプリケーションを処理する。処理ユニット１０６及び制御ユニット１０４の一方又は双方は、更に、ユーザーインターフェースを含み、ユーザーが装置及び／又は方法のパラメータ及び動作を制御することができる。ユーザーインターフェースは、装置及び／又は方法の適切な使用をユーザーに指示する指示及び／又は制御のフィードバック（視覚的、及び／又は聴覚的な指示（ｃｕｅ）を含む）を提供するように構成されている。処理ユニット１０６及び制御ユニット１０４の一方又は双方は、通信インターフェースを含み、画像を他の撮像源から入力することを可能にし、処理結果を電子的に出力することを可能にし（例えば、患者又は医療専門家と共有するために）、本明細書に記載された制御及び処理機能の一部又は全体を、遠隔地、ネットワークに接続された、及び／又はクラウドベースのコンピュータに実行させることが可能である。表示ユニット１０８は、処理ユニット１０６によって生成された情報を視覚化するためにユーザーが使用することができるプロジェクタ、モニタ、ディスプレイ、又はプリンタを含む。記憶ユニット１１４は、キャプチャされた画像、３Ｄ再構成データ、臨床記録、処理ユニット１０６、制御ユニット１０４の動作プログラム、装置又は方法の構成データなどの情報を格納するように構成されたデジタル記憶メモリである。

【0028】

図２Ａは、本発明の一実施形態に係る開口絞りモードにおける上方及び下方の視野の取得方式による取得角度変化の一例を示す図である。この例では、「上方」と「下方」は、視野角が変化する異なる方向を指す。しかしながら、これは単なる例示的な一対の方向であり、第１及び第２の画像が対象物からの異なる散乱角で受光されるように、１０時の位置と４時の位置、又は１１時の位置と５時の位置、７時の位置と１時の位置など・・・、散乱角が互いに１８０度離れているような、他の方向も本発明の範囲内である。センサ（ＣＣＤイメージセンサなど）は、照明ライン２０４ａが眼２０８ａの眼底の別の部分を照明している間に、センサによって焦点が合わせられた眼２０８ａの眼底上の検出ライン２０２ａ（すなわち、センサからのピクセルのライン）をキャプチャし、検出ライン２０２ａ及び照明ライン２０４ａが眼２０８ａの眼底に沿った（後述するスキャナによる）スキャン方向２０６ａに移動して第１の（上方視野の）カラー眼底画像２１０ａをキャプチャするように構成される。照明ライン２０４ａの位置（すなわち、装置によって照明される部分）は、検出ライン２０２ａの位置（すなわち、装置によって画像にキャプチャされた領域の位置）から、以下に詳述する処理に基づいて制御ユニットによってあらかじめ定められた、又は制御可能な距離だけ離れている。眼２０８ｂ（２０８ａと同じ眼）の眼底を横切って移動するように制御された検出ライン２０４ｂと照明ライン２０２ｂによって下方の視野がキャプチャされ、第２の（下方視野の）カラー眼底画像２１０ｂがキャプチャされる。

【0029】

図２Ｂは、本発明の一実施形態に係る開口絞りモードでの左方及び右方の視野の取得方式による取得角度変化の例を示す図である。この例は、図２Ａの例と同様に動作するが、図２Ｂでは、視野角の差が、図２Ａの上方／下方の方向ではなく、左方／右方の方向でキャプチャされる。従って、図２Ｂの例によれば、眼２０８ｃの眼底を横切ってスキャン方向２０６ｃに移動する検出ライン２０２ｃ及び照明ライン２０４ｃによって左方のビューが実行され、第１の（左方視野の）カラー眼底画像２１０ｃが生成される。この例によれば、眼２０８ｄの眼底を横切ってスキャン方向２０６ｄに移動する検出ライン２０４ｄと照明ライン２０２ｄによって右方のビューが実行され、第２の（右方視野の）カラー眼底画像２１０ｄがキャプチャされる。

【0030】

図２Ｃは、本発明の一実施形態に係る照明・検出方式の動作例を表したものである。図２Ｃに示すように、照明光２３６は、瞳孔面の中心通って眼２２０の眼底を照明する。照明された眼２２０からの後方散乱光２３０は、後方散乱角２３８で広がって、合焦レンズ２３２及びビームスプリッタ２３４（撮影光学系１０２に含まれる）によって受光される。ガルボスキャナ２２４は、後方散乱光２３０をローリングシャッターカメラ２２２に向けて偏向する。ダイナミックアパーチャーの構成要素（例えば、異なる固定サイズのアパーチャーを選択するための回転可能なアパーチャーホイール、又は可変のアパーチャー開口サイズを有する制御可能なアパーチャー）は、分割アパーチャーモード、開口絞りモードなどの異なるアパーチャーの間を切り替えるために用いることができる。第１の方向２２６に散乱する後方散乱光２３０の一部は、第１の視野角（例えば、図２Ａのカラー眼底画像２１０ａをキャプチャするための上方の視野角、又は図２Ｂのカラー眼底画像２１０ｃをキャプチャするための左方の視野角）から第１のカラー眼底画像をキャプチャするために用いられる。第２の方向２２８（ここで、第１の方向２２６と第２の方向２２８は１８０度離れている）に散乱する後方散乱光２３０の別の部分は、第２の視野角（例えば、図２Ａのカラー眼底画像２１０ｂをキャプチャするための下方の視野角、又は図２Ｂのカラー眼底画像２１０ｄをキャプチャするための右方の視野角）から第２の画像をキャプチャするために用いられる。従って、この例の後方散乱光２３０は、検出器アレイによってデジタル化され、一対の視野角分離画像（すなわち、上方／下方画像又は左方／右方画像）が生成される。同じセンサが、異なるタイミング（例えば、第１のカラー眼底画像のキャプチャタイミングの前か後か）で第１及び第２の画像をキャプチャしてもよく、例えば、スキャン方向２０６ｂに移動した照明ライン２０２ｂと検出ライン２０４ｂとを用いて、眼２０８ｂの眼底の第２のカラー眼底画像２１０ｂをキャプチャしてもよい。

【0031】

図２Ｄは、ＦＯＶと立体視野角がどのように関係するかを説明するために、本発明の一実施形態に係る光学トレースの一例を示したものである。図２Ｄの例では、照明光２３６が眼２２０を照明する。眼２２０は、第１及び第２（例えば、上方及び下方）のキャプチャ画像間の視野角差に対応する後方散乱角２３８で後方散乱光２３０を散乱させる。後方散乱光２３０は、合焦レンズ２３２、スキャナＤＭＤ２４０、開口絞りモードのダイナミックアパーチャー、及びローリングシャッターカメラ２４４によって受光され、後方散乱部分２２６からの上方の視野と後方散乱部分２２８からの下方の視野が生成される。上方視野部分２２６は、上方視野スキャン（すなわち、第１のキャプチャ画像）を生成するために、眼２４８の眼底を横切ってスキャン方向２６２にスキャンしたときの検出位置２５８及び関連する照明ライン２６０に対応する。下方視野部分２２８は、第２の画像をキャプチャするために眼２５０の眼底を横切ってスキャン方向２６８に移動する際の検出位置２６６及び関連する照明ライン２６４に対応する。検出ライン２５８と検出ライン２６６との間の距離は、基線距離と、時間遅延（例えば、後述する時間遅延６０８ａ）とに対応する。キャプチャされる眼２５０の眼底上の領域は、水平方向のＦＯＶ２５２と垂直方向のＦＯＶ２５６とに対応する。第１（上方）スキャンと第２（下方）スキャンは、経過時間２４６によって示されるように、４０ｍｓ離れて撮影されてよい。後述の例で更に説明する狭視野角／広視野角は、イメージングのＦＯＶ（Field of View）に関連している。ＦＯＶは最大撮像窓サイズであり、視野角は立体視野角を意味する。例えば、図３Ａ及び図３Ｂの例では、視野角を狭角から広角に変化させながら立体撮像対（すなわち、第１及び第２のキャプチャ画像）がキャプチャされる。撮像光学系１０２、光スキャナ１１０、又は検出器／センサユニット１１２に含まれるアクチュエータ／モータを用いて広視野角／狭視野角を変化させながら、制御ユニット１０４の制御の下で、広視野角／狭視野角を変化させる。

【0032】

図２Ｇは、図２Ｃに示す実施形態と共通する多くの要素を含む本発明の一実施形態の例を示すが、ダイナミックアパーチャーの切り替えモードに従って動作するように構成されたダイナミックアパーチャーコンポーネント２９４（例えば、アパーチャーホイール又は制御可能なアパーチャー）が追加されている。

【0033】

図２Ｈ及び図２Ｉは、本発明の一実施形態に係る開口絞りモード（図２Ｈ）と分割アパーチャーモード（図２Ｉ）でのキャプチャ画像間の視野角変化を得る例を示す。これらの例では、眼２１０２が照明光２１１０によって照明され、視野角２１０６で広がった後方散乱光２１０４は、合焦レンズ２１０８、及びガルボ／ＤＭＤ２１１８によって受光される。後方散乱光は、更に、開口絞り２１１２（図２Ｈの例）、又は分割アパーチャー２１１４（図２Ｉの例）、光学拡大レンズ２１１６、及び検出面２１２６を有するローリングシャッターカメラ２１２０によって受光される。図２Ｈの例では、開口絞りモードで開口絞り２１１２を用いて、カメラ２１２０の検出面２１２６における点像分布関数（ＰＳＦ）は、強度プロット２１２８を重ねて示すように、上方の視野２１３２及び下方の視野２１３０を含む。図２Ｉの例では、分割アパーチャーモードで分割アパーチャー２１１４を用いて、カメラ２１２０の検出面２１２６におけるＰＳＦは、強度プロット２１３８を重ねて示すように、上方／下方視野２１３４／２１３６を含む。分割アパーチャーモードでは、照明と検出位置を同一にする必要がある。分割アパーチャーモードでの視野角の差は、図２Ｆに示すように、瞳面で上方のアパーチャーから下方のアパーチャー、或いは瞳面で左方のアパーチャーから右方のアパーチャーへと切り替えることで得られる。

【0034】

図２Ｊは、分割アパーチャー設定における狭視野角キャプチャの例を示す。この例では、水平アパーチャーを用いて、眼２２０４に対する上方視野スキャンが第１の光学画像２２０６をキャプチャするように実行され、アパーチャーの切り替え後に、眼２２０４に対する下方視野スキャンが第２の光学画像２２０８を取得するように実行される。オフセットｄ２２０２は、～０．２ｍｍである。

【0035】

図２Ｋは、分割アパーチャー設定での広視野角キャプチャの例を示す。この例では、水平アパーチャーを用いて、眼２２０４の上方視野スキャンが第１の光学画像２２１０をキャプチャするように実行され、アパーチャーの切り替え後に、眼２２０４に対する下方視野スキャンが第２の光学画像２２１２を取得するように実行される。オフセットｄ２２１４は～０．６ｍｍである。図２Ｊ及び図２Ｋの例において、垂直アパーチャーを使用することも可能である。

【0036】

図３Ａは、本発明の一実施形態に係る開口絞りを設定したときの狭視野角による視野角変化の一例を示す図である。この例では、カメラセンサは、眼３０８ａの眼底に沿ったスキャン方向３０６ａに移動するように制御される検出ライン３０２ａ及び照明ライン３０４ａを用いて、狭視野で上方視野をキャプチャし、第１の（上方視野／狭視野の）カラー眼底画像３１０ａをキャプチャするように構成されている。同じセンサが、上記のキャプチャの前又は後のいずれかの異なる時間に、眼３０８ｂの眼底を横切って移動するように制御される検出ライン３０４ｂ及び照明ライン３０２ｂを用いて、狭いＦＯＶで下方視野をキャプチャし、第２の（下方視野／狭視野の）カラー眼底画像３１０ｂをキャプチャする。立体撮像では、３次元を再構成するために、視野角の異なる少なくとも２つの画像が必要である。これらの画像間では、一般的にユーザーによって決定される撮像視野が同一である必要がある。

【0037】

図３Ｂは、本発明の一実施形態に係る開口絞りを設定したときの広視野角による視野角変化の一例を示す図である。この例では、カメラセンサは、眼３０８ｃの眼底に沿ったスキャン方向３０６ｃに移動するように制御される検出ライン３０２ｃ及び照明ライン３０４ｃを用いて、広視野で上方視野をキャプチャし、第１の（上方視野／広視野の）カラー眼底画像３１０ｃをキャプチャするように構成されている。同じセンサは、眼３０８ｄの眼底に沿ったスキャン方向３０６ｄに移動するように制御される検出ライン３０４ｄ及び照明ライン３０２ｄを用いて、広視野で同じ眼の下方視野をキャプチャし、第２の（下方視野／広視野の）カラー眼底画像３１０ｄをキャプチャするように構成されている。異なる視野角から一定の狭視野又は広視野で第１及び第２の画像をキャプチャすることで、分解能を制御及び／又は関心領域を拡大又は縮小し、及び異なる照明角度で、眼底の様々な領域を３次元的に見ることができるようになる。

【0038】

図４Ａは、本発明の一実施形態に係る開口絞りモードでの広いＦＯＶで光学的なＦＯＶの変化の一例を示す図である。図４Ｂは、本発明の一実施形態に係る狭いＦＯＶでＦＯＶの変化の一例を示す図である。図４Ａ及び図４Ｂの例は、図３Ａ及び図４Ｂが第１のペアのキャプチャ画像から第２のペアのキャプチャ画像への視野角の変化を示す点を除いて、それぞれ図３Ａ及び図３Ｂの例と同様である。アパーチャーの設定が分割アパーチャーモードのとき、図２Ｆで説明したように取得方式の違いを除けば、ＦＯＶの変化は同じである。図４Ａ及び図４Ｂは、第１のペアのキャプチャ画像から第２のペアのキャプチャ画像への視野角の変化とスキャン方向の変化とを示す。このように、図４Ａ及び図４Ｂの例では、広視野と狭視野で立体撮像のペアがキャプチャされる。撮影光学系１０２、光スキャナ１１０、及び検出器／センサユニット１１２のうち１つ以上に含まれるアクチュエータ／モータを用いながら、制御ユニット１０４の制御の下で広角／狭角のＦＯＧを変化させる。従って、図４Ａの例によれば、眼４０８ａの眼底を横切ってスキャン方向４０６ａに移動するように制御される検出ライン４０２ａ及び照明ライン４０４ａを用いて、広いＦＯＶ角を有する上方視野の第１のスキャンがキャプチャされ、第１の（上方視野／広いＦＯＶ角の）カラー眼底画像４１０ａがキャプチャされる。同じセンサが、眼４０８ｂの眼底を横切ってスキャン方向４０６ｂに移動するように制御された検出ライン４０４ｂ及び照明ライン４０２ｂを用いて、広いＦＯＶ角で下方視野のスキャンをキャプチャして、第２の（下方視野角／広いＦＯＶ角の）カラー眼底画像４１０ｂをキャプチャしてもよい。

【0039】

図４Ｂの例によれば、眼４０８ｃの眼底を横切ってスキャン方向４０６ｃに移動するように制御される検出ライン４０２ｃ及び照明ライン４０４ｃを用いて、狭いＦＯＶ角を有する左方視野の第１のスキャンを行い、第１の（左方視野／狭いＦＯＶ角の）カラー眼底画像４１０ｃがキャプチャされる。同じセンサが、眼４０８ｄの眼底を横切ってスキャン方向４０６ｄに移動するように制御された検出ライン４０４ｄ及び照明ライン４０２ｄを用いて、狭いＦＯＶ角を有する右方視野のスキャンをキャプチャして、第２の（右方視野／狭いＦＯＶ角の）カラー眼底画像４１０ｄをキャプチャしてもよい。

【0040】

本発明の一実施形態によれば、第１及び第２の画像の間の時間は、有利には１００ｍｓ以下、好ましくは４０ｍｓであり、それによって第１及び第２の画像の間の眼球運動の可能性を低減し、その結果、第１及び第２の画像に基づいて作成される３次元画像の精度を向上させることができる。第１及び第２の画像の間の時間は、検出器の取得速度が速くなるにつれて短くしてもよい。

【0041】

図４Ｃの例に示すように、撮像視野は、各画像の撮像視野（又は関心領域）の中心位置をシフトすることによって一連の画像４１２、４１４、４１６、４１８を取得してモザイク処理し、個別の画像を組み合わせて、個々の画像のいずれよりも大きな視野を有するモザイク処理された画像を形成することによっても増加させることができる。関心領域の動的な変更は、ユーザーインターフェース又は制御ユニットによって行うことができる。

【0042】

その上、図４Ｄの例に示すように、ユーザーの好みに応じてスキャン方向を変更することができる。図４Ｄの例では、眼底４２８は、図４Ｄの左上に示すように、第１のスキャン（例えば、下方視野カラー眼底画像）をキャプチャするために、照明ライン４２２及び検出ライン４２４を用いてスキャン方向４２６に撮像されてもよい。眼底４２８は、図４Ｄの左下に示すように、第２のスキャン（例えば、上方視野カラー眼底画像）をキャプチャするために、照明ライン４３２及び検出ライン４３０を用いてスキャン方向４３４（スキャン方向４２６と同じ方向である）に撮像されてもよい。或いは、スキャン方向を逆にして、眼底４２８は、図４Ｄの右上に示すように、第１のスキャン（例えば、上方視野カラー眼底画像）をキャプチャするために、照明ライン４３８及び検出ライン４３６を用いてスキャン方向４４０（スキャン方向４２６及び４３６とは逆の方向）に撮像されてもよい。眼底４２８は、図４Ｄの右下に示すように、第２のスキャン（例えば、下方視野カラー眼底画像）をキャプチャするために、照明ライン４４２及び検出ライン４４４を用いてスキャン方向４４６（スキャン方向４４０と同じ方向）に撮像されてもよい。分割アパーチャーモードでは、例えば図２Ｅ、図２Ｆ、図２Ｈ、及び図２Ｉに示すように、開口部（ａｐｅｒｔｕｒｅ）の形状（上方視野アパーチャー←→下方視野アパーチャー）を切り替えることでスキャン方向を変更することができる。

【0043】

図５は、ローリングシャッター機構を備えた２Ｄカメラとして実装された検出器／センサユニットを含む一実施形態に係る立体カラー眼底像撮影装置の模式図の一例を示す。本実施形態は、撮影アセンブリ５０２、検出器／センサユニット５０４、投影光学系５０８、スキャナ５１０、及び照明光学系５１２を含む。撮影光学系１０２の一部である撮影アセンブリ５０２は、レンズ（例えば、リレーレンズ）５０２ａ、ダイナミックアパーチャーミラー５０２ｂ、及び対物レンズ５０２ｃを含む。検出器／センサユニット５０４は、ローリングシャッター機構を備えた２Ｄカメラ５０４ａを含む。撮影光学系１０２の追加部分である投影光学系５０８は、レンズ５０８ｃ、黒点マスク５０８ａ、及びミラー５０８ｂを含む。照明光学系５１２は、レンズ５１２ａ（例えば、リレーレンズ）、スリット５１２ｂ、虹彩絞り５１２ｃ、円柱レンズ５１２ｄ、及び照明光源５１２ｅを含む。また、本実施形態には、制御ユニット１０４、処理ユニット１０６、表示ユニット１０８、及び記憶ユニット１１４が含まれる。照明光源５１２ｅは、ＬＥＤ、ハロゲンランプ、又は公知の光源を含んでいてもよい。

【0044】

本実施形態によれば、照明光学系５１２は、照明光源５１２ｅにより生成された照明光を出力する。スキャナ５１０は、照明光学系５１２からの照明光を受け、照明光の光軸を偏向し、偏向された照明光を出力する。投影光学系５０８は、デジタルライトプロジェクタ（ＤＬＰ）を用いて実装され得るミラー５０８ｂを含み、投影光学系５０８は、スキャナ５１０からの偏向された照明光を受け、投影光を出力するように構成されている。スキャナはガルボメカニカルスキャナを用いて実装されていてもよい。ガルボスキャナは、ミラーで光ビームを偏向させることで電流を感知したことを示す電流計である。一般的に、ガルボスキャナは、走査ビーム（すなわち、照明ライン）を所定の試料／眼の領域に投影するために用いられる。撮影光学系５０２は、対物レンズ５０２ｃを介して投影光を受け、眼５０６に向けて偏向するダイナミックアパーチャーミラー５０２ｂを含む。眼５０６からの後方散乱光及び反射光は、撮影光学系５０２によって受光され、検出器／センサユニット５０４に提供され、ローリングシャッター機構を備えた２Ｄカメラ５０４ａによってキャプチャされる。

【0045】

制御ユニット１０４は、装置内の各要素の開口サイズ／パターン、露光タイミング、センサのゲイン／感度、撮影光学系のフォーカス、照明光学系のフォーカス、投影光学系のフォーカス、スキャナの方向とタイミング、カメラ／センサのキャプチャタイミング、ＤＬＰ／ミラー５０８ｂの向き、照明光の強度とタイミング、及び光学倍率を含む装置内の様々なパラメータのそれぞれの動作及びタイミングを制御する。処理ユニット１０６は、ローリングシャッター機構を備えた２Ｄカメラ５０４ａでキャプチャされた画像を受け取り、更に後述するような処理を行って、立体カラー眼底画像を生成する。

【0046】

立体画像を得るために、本実施形態では機械式ガルボスキャナを用いて、視野角を制御して変化させる光学スキャンが実現される。図５の実施形態は、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図４Ａ、及び図４Ｃに示す各例に従って動作するように構成されている。動作は、記憶ユニット１１４に格納された所定のコマンドに従って、制御ユニット１０４又は処理ユニット１０６に搭載されたユーザーインターフェースによって提供されるコマンドに従って、又は、制御ユニット１０４又は処理ユニット１０６によって遠隔地から受信されるコマンドに従って制御される。

【0047】

図６Ａは、本発明の一実施形態に係るガルボスキャナと検出器の上方視野制御信号の一例を示す図である。この例では、ガルボスキャナミラーに印加される電圧に対応するガルボスキャナ制御信号６０４ａが、ｘ軸の時間６０６ａ（例えば、０～５０ｍｓ）に対して、ｙ軸の印加スキャナ電圧６０２ａ（例えば、０～５ボルト）としてプロットされている。ガルボスキャナ制御信号の電圧は、眼底における走査ビーム（すなわち、照明ライン）の位置を決定する。ダイナミックアパーチャーの設定が分割アパーチャーモードのとき、上方と下方の視野アパーチャーを切り替えることで視野角差が導入及び制御されるため、照明と検出との間の一定の時間遅延（６０８ａ、６０８ｃ、６３８、７０８ａ、７０８ｂ、７０８ｃ、及び７０８ｄ）がゼロである。従って、照明と検出との間の時間遅延がゼロよりも大きい開口絞りモードをベースとする立体撮像モードより、立体画像の取得速度が相対的に速くなる。ダイナミックアパーチャーの設定が開口絞りモードのとき、時間に対して視野角を導入する必要がある。例えば、一定の時間遅延（視野角に対応）を矢印６０８ａで示す。また、センサキャプチャをオン／オフするために使用され対応する検出器／センサ制御信号も、ｘ軸６０６ａ上で同じ時間スケールで、ｙ軸に検出器／センサ制御信号電圧６０２ｂでプロットされる。検出器／センサ制御信号６１０ｂ、６１２ｂ、及び６１４ｂの各「オン」タイミングは、時間遅延６０８ａによって遅延され、連続する検出器の行による一行の画像のキャプチャに対応する（すなわち、検出器／センサ制御信号６１０ｂによってキャプチャされる行（ｒｏｗ）１、検出器／センサ制御信号６１２ｂによってキャプチャされる行２、及び検出器／センサ制御信号６１４ｂによってキャプチャされる行３）。この例によって示されるように、ガルボスキャナの角度の変化に対応して、ガルボスキャナ制御信号の電圧が電圧６０２ａにおいて増加している間に、連続する行（ｒｏｗ）がキャプチャされる。

【0048】

図６Ｂは、本発明の一実施形態に係るガルボと検出器の下方視野制御信号の一例を示す図である。図６Ｂの例は、図６Ａの上方視野制御信号のタイミングとは対照的に、図６Ｂは下方視野制御信号のタイミングを示している点を除いて、図６Ａの例と同様である。図６Ｂでは、ガルボスキャナ制御信号は、上方視野と下方視野との間の所望の視野角差に対応する一定の時間遅延６０８ｃの後に、時間６０６ｃにわたって増加する電圧６０２ｃを有するように制御される。所望の視野角は、あらかじめ設定されて記憶ユニット１１４に記憶されていてもよいし、ユーザーインターフェースの指示に従って設定されてもよいし、リモートから設定されてもよい。画像のキャプチャは、制御ユニット１０４が、時間遅延６０８ｃを待たずに、時間６０６ｃで変化する制御信号電圧６０２ｄを出力して、センサ行番号１～６（すなわち、６１０ｄ、６１２ｄ、６１４ｄ、６１６ｄ、６１８ｄ、及び６１８ｄ）によりキャプチャを制御する。このように、この例では、時間遅延は、図６Ａの上方視野スキャンと図６Ｂの下方視野スキャンとの間の視野角の差に対応する。

【0049】

図６Ｃは、ガルボスキャナ制御電圧の変化が走査角度（又は照明角度）にどのように影響するかをさらに説明するための本発明の一実施形態の動作例を示したものである。この例によれば、ガルボスキャナ制御信号の電圧変化は、照明光の走査角度（すなわち照明角度）に対応し、眼底上の照明ラインの位置に対応する。例えば、ガルボスキャナの電圧が１．０ボルトで、走査角度は２０度であってよい。図６Ｃの例によれば、ガルボスキャナ制御信号６３０は、時間遅延６３８を待つことなく、時間６３６にわたって増加する電圧６３２を有するように、制御ユニット１０４によって制御される。ガルボスキャナ制御信号６３０の変化する電圧は、時間６３６にわたる走査角度６３４（別名、照明角度）の変化に直接的に対応し、これは照明ライン（例えば、照明ライン２０４ａ）の位置を決定する時間遅延６３８の後に開始される検出器／センサ制御信号６４２、６４４、及び６４６は、時間６３６の間に走査角度が変化する間に、カメラセンサの連続する行（例えば、それぞれ行１、２、及び３）をキャプチャするように動作する。ガルボスキャナ制御信号６３０の最大値６４８（例えば、１ボルト）は、走査角度６３４の最大値（例えば、２０度）に対応し、ガルボスキャナ制御信号６３０のゼロ電圧値６５０は、０度の走査角度に対応する。

【0050】

図７Ａは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における狭視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。図７Ｂは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における狭視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。図７Ａ及び図７Ｂの例は、図７Ａ及び図７Ｂにおいて画像が狭視野角でキャプチャされることを除いて、それぞれ図６Ａ及び図６Ｂの例と同様である。従って、図７Ａの例では、ガルボスキャナ制御信号７０４ａは、時間遅延７０８ａを待たずに、時間７０６ａにわたって電圧７０２ａを増加させる。その間に、検出器行（ロウ）番号制御信号７１０ｂ、７１２ｂ、及び７１４ｂは、上方視野／狭視野角の画像をキャプチャするために、一定の時間遅延７０８ａの後、カメラ内の連続する行（例えば、それぞれ行１、２、及び３）をキャプチャするように動作する。図７Ｂの例では、ガルボスキャナ制御信号７０４ｃは、時間遅延７０８ｃの後から、時間７０６ｃにわたって電圧７０２ｃを増加させる。その間に、検出器行番号制御信号７１０ｃ、７１２ｃ、７１４ｃ、７１６ｃ、７１８ｃ、及び７２０ｃは、時間遅延７０８ｃを待たずに、下方視野／狭視野角の画像をキャプチャするように動作する。この例の時間遅延７０８ａ及び７０８ｃの継続時間は同じである。

【0051】

図７Ｃは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における広視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。図７Ｄは、本発明の一実施形態に係るガルボスキャナを用いた撮像装置における広視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。図７Ｃ及び図７Ｄの例は、図７Ａ及び図７Ｂでは狭視野角の画像であることと対照的に、図７Ｃ及び図７Ｄにおいて広視野角の画像がキャプチャされることを除いて、それぞれ図７Ａ及び図７Ｂの例と同様である。図７Ｃの例によれば、ガルボスキャナ制御信号７０４ｄは、時間７０６ｄにわたって電圧７０２ｅを増加させるように、制御ユニット１０４によって制御され、検出器／センサ制御信号７１０ｄ、７１２ｄ、及び７１４ｄは、遅延時間７０８ｂの後、上方視野／広視野角の画像を得るために、画像の連続する行（例えば、それぞれ行１、２、及び３）をキャプチャするように制御される。図７Ｄの例によれば、ガルボスキャナ制御信号７０４ｅは時間遅延７０８ｄの後に電圧７０２が増加し、検出器／センサ制御信号７１０ｅ、７１２ｅ、７１４ｅ、７１６ｅ、７１ｅ、及び７２０ｅが出力されて、連続する画像の行（例えば、それぞれ行１～６）をキャプチャし、下方視野／広視野角の画像を得る。

【0052】

制御ユニット１０４は、図７Ａ及び図７Ｂの狭視野角に応じた画像のキャプチャと、図７Ｃ及び図７Ｄの広視野角に応じた画像のキャプチャとを動的に切り替えるように構成されている。例示的な実施形態によれば、制御ユニット１０４は、各ペアのキャプチャ画像の後に、狭視野角画像と広視野角画像とを交互にキャプチャすることができる。

【0053】

図２Ｃの例に示すように、照明光を瞳孔平面の中心を通して投射し、後方散乱光を中心から外れた検出器アレイ（上方／下方又は左方／右方）でデジタル化しているが、狭い（ｎａｒｒｏｗ）／広い（ｗｉｄｅ）はシステムの視野（ＦＯＶ）に関連しており、撮像領域をどの程度広くするかを決定する。しかしながら、視野角は、立体撮像の深度分解能に関連する立体視野角を決定する。

【0054】

図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図７Ｃ、及び図７Ｄの例は、現在の照明位置からの時間間隔（又は、２Ｄ検出器上の距離）を短くしたり長くしたりすることで、どのように立体撮像の視野角を動的に調整することができるかを示す。動的な視野角の変化は、次の式で表すことができる。

【数1】

ここで、θ_ｖｉｅｗは立体撮像における視野角であり、Ｔは連続する２つの画像（例えば、上方及び下方の視野画像）の間の相対的な時間遅延（図２Ｄでは基線距離）であり、Ｍは光学倍率である。制御ユニット１０４は、時間遅延Ｔと、光学倍率Ｍとを調整する。例えば、ガルボ制御信号と検出器制御信号との間の一定の時間遅延が増加すると、結果として立体撮像における視野角も、所定の光学倍率で増加する。また、視野角の変化も、立体画像の深度分解能を増減する。視野角が狭ければ狭いほど、立体画像の深度分解能は高くなる。或いは、光学倍率を増減させるだけで（例えば、１倍←→１０倍）、結果的に視野角を増減することができる。以下で更に説明するように、視野角値は、本発明の一実施形態に係る処理ユニット１０６によって実行される３Ｄ深度再構成処理に用いられる。Ｍ、Ｔ、θ_ｖｉｅｗを管理することで、動的な立体撮像（すなわち、視野角の変化、立体撮像、３Ｄ再構成／解析／可視化、光学倍率、記録、ノーマティブデータベースとの比較や疾患の進行検知などの臨床的解析／診断をほぼリアルタイムに処理すること）を実現する。ライブの眼の撮像では、眼球の動きが立体画像の質を低下させる。眼球運動によるアーチファクトのない動的な立体撮像と解析は、臨床における疾患評価を向上させる。立体撮像時には、制御ユニットによって眼のトラッキングを実行することが可能である。また、光学倍率だけでなく、ガルボ制御信号と検出制御信号との間のタイミング（又は位相シフト）によっても視野角を変更することができる。

【0055】

図８は、本発明の一実施形態に係るローリングシャッター機構付き２ＤカメラとＤＭＤとを含む立体カラー眼底撮影装置の一例を示す図である。図８の実施形態によれば、照明光学系８１４（撮影光学系１０２の一部であり、光スキャナユニット１１０も実装している）からの照明光は、投影光学系８０８（撮影光学系１０２の別の部分）に出力され、投影光学系８０８から眼８０６に向けて撮影光学系８０２（撮影光学系１０２の一部）に出力される。眼８０６からの後方散乱光は、撮影光学系８０２の対物レンズ８０２ｃ、ダイナミックアパーチャーミラー８０２ｂ、及びリレーレンズ８０２ａによって受光される。眼からの後方散乱光は、撮影光学系８０２によって、カメラ８０４（すなわち、検出器／センサユニット１１２）内のセンサアレイ８０４ａに向けて偏向される。照明光学系８０４は、レンズ８１４ａ、ＤＭＤ８１４ｂ、制御可能な（制御ユニット１０４によって）虹彩絞り８１４ｃ、及び照明光源８１４ｄを含む。また、本実施形態には、制御ユニット１０４、処理ユニット１０６、表示ユニット１０８、及び記憶ユニット１１４が含まれる。上記のように、ＤＭＤ８１４ｂは、制御ユニット１０４からの制御を受け、デジタル的にＯＮ／ＯＦＦ（すなわち、光学的なスイッチング）することができる。本実施形態では、先に説明した実施形態で使用された機械的なガルボスキャナの代わりに、ＤＭＤ８１４ｄは、所定の時間に照明される眼の一部分を制御するのに用いられる。上記のように、ＤＭＤはガルボスキャナと比較して、１）応答が速い、２）ガルボスキャナと比較して機械的に安定している、３）フレキシブルな照明パターン、などの利点がある。図８の実施形態は、図２Ａ、図２Ｂ、図３Ａ、図３Ｂ、図４Ａ、及び図４Ｃに示す各例に従って動作するように構成されている。動作は、記憶ユニット１１４に格納された所定のコマンドに従って、制御ユニット１０４又は処理ユニット１０６に搭載されたユーザーインターフェースによって提供されるコマンドに従って、又は、制御ユニット１０４又は処理ユニット１０６によって遠隔地から受信されるコマンドに従って制御される。

【0056】

図９Ａは、ＤＭＤと検出器の上方視野制御信号一例を示す図であり、図９Ｂは、ＤＭＤと検出器の下方視野制御信号の一例を示す図である。ダイナミックアパーチャー設定が分割アパーチャーモードのとき、上方及び下方の視野アパーチャーを切り替えることで視野角差が導入及び制御されるため、照明と検出の間の一定の時間遅延（例えば、時間遅延９１０ａ、９１０ｂ、１０１０ａ、１０１ｂ、１０１０ｃ、及び１０１ｄ）はゼロである。従って、時間遅延がゼロよりも大きい開口絞りベースの立体撮像モードと比較して、立体画像の取得速度が相対的に速くなる。図９Ａに示すように、時間９０４ａの時間遅延９１０ａを待った後、検出器／センサ制御信号９２４ａ、９２６ａ、９２８ａ、９３０ａ、及び９３２ａが電圧９０６ａを変化させる間に、一定の時間遅延（すなわち、視野角）９１０ａを待たずに、時間９０４ａにわたって電圧９０２ａを変化させるＤＭＤ制御信号９１２ａ、９１４ａ、９１６ａ、９１８ａ、９２０ａ、及び９２２ａを用いて上方視野がキャプチャされる。図９Ｂに示すように、時間９０４ｂにわたって時間遅延９１０ｂを待たずに検出器／センサ制御信号９２２ｂ、９２４ｂ、９２６ｂ、９２８ｂ、９３０ｂ、及び９３２ｂが電圧９０６ｂを変化させる間に、時間９０４ｂにわたって一定の時間遅延９１０ｂを待った後に電圧９０２ｂを変化させるＤＭＤ制御信号９１２ｂ、９１４ｂ、９１６ｂ、９１８ｂ、及び９２０ｂを用いて下方視野がキャプチャされる。

【0057】

図１０Ａ～図１０Ｄは、本発明の一実施形態が、狭視野角のキャプチャ（図１０Ａ及び１０Ｂ）と広視野角のキャプチャ（図１０Ｃ及び図１０Ｄ）とをどのように動的に切り替えるかの一例を表している。図１０Ａは、時間遅延１０１０ａを待たずに時間１００４ａにわたって電圧１００２ａを変化させるＤＭＤ制御信号１０１２ａ、１０１４ａ、１０１６ａ、１０１８ａ、１０２０ａ、及び１０２２ａと、時間遅延（視野角）１０１０ａを待って時間１００４ａにわたって電圧１００６ａを変化させる検出器／センサ制御信号１０２４ａ、１０２６ａ、１０２８ａ、１０３０ａ、及び１０３２ａとを用いて、本発明の一実施形態に係るＤＭＤを用いたイメージングにおける狭視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。図１０Ｂは、時間遅延１０１０ｂを待ってから時間１００４ｂにわたって電圧１００２ｂを変化させるＤＭＤ制御信号１０１２ｂ、１０１４ｂ、１０１６ｂ、１０１８ｂ、及び１０２０ｂを用いて、本発明の一実施形態に係るＤＭＤを用いたイメージングにおける狭視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。検出器／センサ制御信号１０２２ｂ、１０２４ｂ、１０２６ｂ、１０２８ｂ、１０３０ｂ、及び１０３２ｂは、時間遅延１０１０ｂを待たずに時間１００４ｂにわたって電圧１００６ｂを変化させる。

【0058】

図１０Ｃは、時間遅延１０１０ｃを待たずに時間１００４ｃにわたって電圧１００２ｃを変化させるＤＭＤ制御信号１０１２ｃ、１０１４ｃ、１０１６ｃ、１０１８ｃ、１０２０ｃ、及び１０２２ｃを用いて、本発明の一実施形態に係るＤＭＤを用いたイメージングにおける広狭視野角を動的に視野角を変更したときの上方視野制御信号の一例を示す図である。検出器／センサ制御信号１０２４ｃ、１０２６ｃ、及び１０２８ｃは、時間遅延１０１０ｃ（時間遅延１０１０ａ及び１０１０ｂよりも長い。それにより視野角を広くすることができる）を待って時間１００４ｃにわたって電圧１００６ｃを変化させる。図１０Ｄは、時間遅延１０１０ｄを待ってから時間１００４ｄにわたって電圧１００２ｄを変化させるＤＭＤ制御信号１０１２ｄ、１０１４ｄ、及び１０１６ｄを用いて、本発明の一実施形態に係るＤＭＤを用いたイメージングにおける広視野角を動的に視野角を変更したときの下方視野制御信号の一例を示す図である。検出器／センサ制御信号１０１８ｄ、１０２０ｄ、１０２２ｄ、１０２４ｄ、１０２６ｄ、及び１０２８ｄは、時間遅延１０１０ｄを待たずに時間１００４ｄにわたって電圧１００６ｄを変化させる。これらの図は、現在の照明位置からの時間間隔（又は、２Ｄ検出器上の距離）を短くしたり長くしたりすることで、どのように立体撮像の視野角を動的に調整することができるかを示す。図１０Ａ及び図１０Ｂでは、時間遅延１０１０ａと時間遅延１０１０ｂとは互いに同じである。図１０Ｃ及び図１０Ｄでは、時間遅延１０１０ｃと時間遅延１０１０ｄとは互いに同じである。時間遅延１０１０ｃ及び１０１０ｄは、時間遅延１０１０ａ及び１０１０ｂよりも長い。それにより、図１０Ａ及び図１０Ｂのキャプチャ画像よりも、図１０Ｃ及び図１０Ｄのキャプチャ画像の方が視野角が広くなっている。取得と３Ｄ再構成の速度は、リアルタイムに近いものになる。

【0059】

図１１Ａは、本発明の一実施形態に係るマルチプルスキャンカメラとガルボスキャナとを含む立体カラー眼底撮影装置の一例を示す図であり、図１１Ｂは、図１１Ａの実施形態の動作の一例を示す図である。図１１Ａの実施形態によれば、照明光学系１１１２は、ダイナミックアパーチャーミラー１１１６によって更に眼１１０６に向けて偏向される照明光を出力する。眼１１０６からの後方散乱光は、対物レンズ１１１２によって受け取られ、ミラー１１１０によって投影光学系１１０８に向けられ、この投影光学系１１０８は、後方散乱光をスキャナ１１１８（光スキャナユニット１１０の一部）、ミラー１１２０、レンズ１１０４、ダイナミックアパーチャーミラー１１１６、リレーレンズ１１１４に向けて偏向し、最終的には、１つ以上のマルチプルラインセンサアレイ１１０２ａを含むマルチプルラインセンサカメラ１１０２に向けて偏向する。マルチプルラインセンサカメラ１１０２は、検出器／センサユニット１１２の一部である。この例によれば、撮影光学系１０２の一部を構成する投影光学系１１０８は、レンズ１１０８ｃ、ミラー又はＤＬＰ１１０８ｂ、及び黒点マスク１１０８ａを含む。また、本実施形態には、制御ユニット１０４、処理ユニット１０６、表示ユニット１０８、及び記憶ユニット１１４が含まれる。

【0060】

図１１Ｂの例で示されるように、図１１Ａの実施形態は、検出ライン１１２０及び照明ライン１１２２を用いて第１のスキャン（上方視野）を行い、第１の（上方視野角の）カラー眼底画像１１３６をキャプチャしてもよい。上方視野のスキャンと同時に、同じカメラが検出ライン１１３４及び照明ライン１１２２を用いて第２のスキャン（下方視野）を行い、第２の（下方視野角の）カラー眼底画像１１３８をキャプチャしてもよい。

【0061】

マルチプルラインスキャンカメラは、１つのカメラに２以上のラインスキャン検出器アレイを並列に配置したものである。例えば、３行の検出器アレイを含むマルチプルラインスキャンカメラは、各カメラトリガーで（すなわち、図６Ａ－Ｂ、図７Ａ－Ｄ、図９Ａ－Ｂ、及び図１０Ａ－Ｃの各「オン／オフ」で）入射後方散乱光２３０をデジタル化することができる。従って、全体的な取得速度は、図５及び図８の最初の２つの実施形態より、はるかに速くなる可能性がある。しかしながら、本実施形態では、カメラの設計上、視野角が固定されている。マルチプルラインスキャンカメラを用いると、基線距離（又は視野角差）を作成できるため、立体撮像（又は上方及び下方の視野、左方及び右方）が可能になる。このアプローチでは、マルチプルスキャンカメラの少なくとも２つのラインスキャナから取得された画像を２つの画像に分割する必要がある（図１１Ｂ）。本実施形態に係る視野角は、マルチプルスキャンカメラの設計により固定される。全体の取得速度は、前述の２つの実施形態（図５及び図８）よりもはるかに高速である。その制御機構と同期性は、前述の実施形態と同様に重要である。

【0062】

図１２Ａ、図１２Ｂ、及び図１２Ｃは、立体撮像の方法の例を示す。立体画像は、ある異なる視野角で取得された２つ以上の画像を用いて得られる。図１２Ａの平行ステレオ取得と、図１２Ｂの収束ステレオ取得の２つの異なるアプローチを説明する。どちらのアプローチも、人間の奥行き知覚において同等の性能を発揮する。２つのカメラの軸が平行な両眼ステレオのとき、視差（画像間の対応する点の位置のずれ）から深度を算出することができる。両方のカメラの焦点距離をｆと表し、基線をｂと表し、視差をｄと表すと、深度ｚは、ｚ＝（ｆ×ｂ）／ｄで与えられる。マルチ基線ステレオのとき、２つ以上のカメラ又はカメラの位置が用いられる。図１２Ｃは、瞳孔平面１２１６を介して眼１２１４の網膜１２１２の画像から深度方向１２１０の深度情報をキャプチャする収束ステレオ取得アプローチの一例を示す。この例では、角度１２１８は、～＋１．９度であり、角度１２２０は、～－１．９度である。そのため、カメラ１２２２によってキャプチャされた２つの画像の間の視野角の差は、～３．８度になる。ステレオデータ１２２４を生成するために使用される２つの画像間で視差１２２６における１０μｍの差が観察される場合、照明窓１２２８が～１．１５ｍｍ、下方検出幅１２３２が～０．３６ｍｍ、幅１２３０が～０．３１ｍｍ、上方検出幅１２３４が～０．３６ｍｍで、最小３００μｍの深度分解能（光学倍率が１倍と仮定）を解像することができる。最小の深度分解能は、所定の光学倍率に比例する。光学倍率が高いほど、分解可能な深度分解能が高くなる。

【0063】

図１３は、本発明の一実施形態に係る処理ユニットを用いて実行される３Ｄ可視化と解析処理を伴う立体撮像方法の一例を示す図である。この例によれば、この方法はステップＳ１３０２において開始され、ステップＳ１３０４において、検出器／センサユニット１１２によって得られた画像のペア（例えば、上方視野と下方視野、又は左方視野と右方視野）が処理ユニット１０６に提供される。ステップＳ１３０６において、２つの画像の間の視差は、ポイントツーポイントでレジストレーションしてピクセルレベルで差分に注目することによって推定される。ステップＳ１３１０において、画素の視差が、物体距離（例えば、眼底上の実際の距離をｍｍ単位で）に変換される。ステップＳ１３０８では、制御ユニット又はユーザーインターフェース制御によって、所望／現在の視野角が設定される。撮像前又は撮像中の任意の時間に任意の視野角を設定してもよく、制御ユニットは、深度分解能の要件を満たすように視野角を調整することが可能である。そして、ステップＳ１３１２では、平行法を使用する場合は式（１）を用い、収束法を用いる場合は式（２）を用いて、実際の深さ（すなわち、検出器／センサユニット１１２によって直接的にキャプチャされた２次元とは異なる３次元での深さ）が算出される。

【数2】

ここで、ΔＺ_{ｐａｒａｌｌｅｌ}は平行法における深度を表し、ｆは焦点距離を表し、ｂは２つの仮想平行カメラ（すなわち、視野角を変化させる本発明の一実施形態から得られるカメラ）間の基線距離を表し、ｄはポイントツーポイントツのレジストレーションによって測定された視差を表し、平行法による視野距離、ΔＺ_{ｃｏｎｖｅｒｇｉｎｇ}は収束法によって算出された深度を表し、θは２つの別個の画像間の視野角差を表す。ステップＳ１３１４において、臨床的に関連するパラメータ又は特徴が、算出された深度プロファイルから抽出され、その中で強調表示することができる。例えば、緑内障や加齢黄斑変性症は、失明の原因としてよく知られている。視神経乳頭のカップボリュームなどの体積分析は、緑内障の障害に直結する。また、経時的な体積の変化は、臨床治療の有効性と関連付けるために使用することができる。これらのタイプの解析は、処理ユニットに実装されてもよい。次に、ステップＳ１３２２において停止する前に、算出された深度情報を、ステップＳ１３１６で直接視覚化したり、他の場所に送信したり、ステップＳ１３２０によって記憶ユニット１１４によって保存したりすることができる３Ｄマップ、プロット、又は画像に変換することができる。ステップＳ１３１８で終了しない場合は、動作を繰り返すことができる。

【0064】

図１４Ａは、本発明の一実施形態に従ってキャプチャされた立体カラー眼底画像１４０２及び１４０４の一例を示す図である。図１４Ｂは、本発明の一実施形態に従って図１４Ａの立体カラー眼底画像から抽出された、例えば約３ｍｍの視野で３次元１４０６、１４０８、及び１４１０にプロットされた情報の３次元プロットを示す図である。

【0065】

図１５Ａは、本発明の一実施形態に従って実行されたカップ深さ推定から得られるカブ深さ１５１０の推定値を描出する３軸１５０２、１５０４、及び１５０６の情報の３次元プロットを示す図である。図１５Ｂは、本発明の一実施形態に従って実行されたカップ／ディスク比推定から、カップ境界１５１２、及びディスク境界１５１４を描出する３次元１５１８、１５２０、及び１５２２の情報のプロットを示す図である。本発明の一実施形態に係るカップ深さ推定及びカップ／ディスク比推定を行うために、まず、本明細書で述べた方法を用いて一対の立体画像が取得される（例えば、上方視野画像及び下方視野画像）。次に、点から点への画像のレジストレーションが行われ、２点間の視差（又は視野角）が算出される。そして、その視差（又は角度）を使って、各ポイントでの深さ（深度）が推定される。結果として得られた深度プロファイル（Ｚ軸）と２Ｄカラー眼底画像（Ｘ軸、Ｙ軸）をレンダリングすることで、視神経乳頭の深度情報が可視化される。

【0066】

一般的に、立体撮像には、１）画像取得中の眼球運動、２）撮影角度の変化に起因したアーチファクト、３）異なる視野からの２つ以上の画像間の類似性の欠如（例えば、眼球内の浮遊物の移動による）、４）２つ以上の連続した取得の間の長い撮影時間間隔（例えば、撮影の間に光学的な位置合わせと再フォーカスが必要）などのような、いくつかの難点がある。本発明における立体収集は、単一のカメラを用いてほぼリアルタイムで取得されるため、これらの問題は、本明細書で開示する実施形態によって最小限に抑えることができる。それにより、本明細書に記載されている立体カラー眼底画像のモーションアーチファクトを少なくすることができる。更に、本明細書で説明する立体カラー眼底撮像方法は、取得速度がより光束であるため、より信頼性の高い深度情報を提供することができる。

【0067】

以上を考慮すると、本明細書に記載されている方法及びシステムは、既存の立体カラー眼底撮像技術を、少なくとも下記の点で向上させる。１）立体画像の取得速度、２）眼球運動によるアーチファクトが少ないことによる任意のサンプルの深度プロファイルの質の向上、３）カップの深さ、カップとディスクの比率、疑わしい病変の体積など、眼疾患のための予測情報の提供。

【0068】

図１６は、本明細書に記載された実施形態に係る制御ユニット１０４及び／又は処理ユニット１０６を実装することができるコンピュータのブロック図を示す。

【0069】

本開示の制御態様は、システム、方法、及び／又はコンピュータプログラム製品として具現化することができる。コンピュータプログラム製品は、１つ以上のプロセッサに実施形態の態様を実行させることができるコンピュータ読み取り可能なプログラム命令が記録されたコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0070】

コンピュータ読み取り可能な記憶媒体は、命令実行装置（プロセッサ）が使用する命令を格納することができる有形の装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、又はこれらの装置の任意の適切な組み合わせであってもよいが、これに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例を非網羅的に挙げると、フレキシブルディスク、ハードディスク、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、イレーサブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はＦｌａｓｈ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスク（ＣＤ又はＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、メモリカード又はスティックのそれぞれ（及び適切な組み合わせ）が含まれる。本開示で使用されるコンピュータ読み取り可能な記憶媒体は、それ自体が一過性の信号であると解釈されるものではなく、例えば、電波やその他の自由に伝播する電磁波、導波管やその他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は電線を介して伝送される電気信号などが挙げられる。

【0071】

本開示に記載されているコンピュータ読み取り可能なプログラム命令は、グローバルネットワーク（すなわち、インターネット）、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又はワイヤレスネットワークを介して、コンピュータ読み取り可能な記憶媒体から適切な計算装置又は処理装置に、又は外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークには、銅線、光通信ファイバ、無線通信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバなどが含まれる。各計算装置又は処理装置のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受け取り、計算装置又は処理装置内のコンピュータ読み取り可能な記憶媒体に格納するためにコンピュータ読み取り可能なプログラム命令を転送することができる。

【0072】

本開示の動作を実行するためのコンピュータ読み取り可能なプログラム命令は、機械語命令及び／又はマイクロコードを含むことができ、これらは、アセンブリ言語、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｒ、Ｃ、Ｃ＋＋、Ｃ＃又は同様のプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードからコンパイル又は解釈されてもよい。コンピュータ読み取り可能なプログラム命令は、ユーザーのパーソナルコンピュータ、ノートブックコンピュータ、タブレット、又はスマートフォン上で完全に実行されたり、リモートコンピュータ又はコンピュータサーバ上で完全に実行されたり、又はこれらのコンピューティングデバイスの任意の組み合わせで実行されてよい。リモートコンピュータ又はコンピュータサーバは、ローカルエリアネットワーク、ワイドエリアネットワーク、又はグローバルネットワーク（すなわち、インターネット）を含むコンピュータネットワークを介して、ユーザーのデバイス又は複数のデバイスに接続されてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本開示の態様を実行するために、電子回路を構成又はカスタマイズするために、コンピュータ読み取り可能なプログラム命令からの情報を用いて、コンピュータ読み取り可能なプログラム命令を実行することができる。

【0073】

本開示の態様は、本開示の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品のフロー図及びブロック図を参照して本明細書で説明される。フロー図やブロック図の各ブロック、及びフロー図やブロック図のブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実装できることは、当業者であれば理解できるだろう。

【0074】

本開示に記載されたシステム及び方法を実施し得るコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブル装置の１つ以上のプロセッサ（及び／又はプロセッサ内の１つ以上のコア）に提供されて、コンピュータ又は他のプログラマブル装置のプロセッサを介して実行される命令が、本開示のフロー図及びブロック図で指定された機能を実装するためのシステムを作成するようにマシン（ｍａｃｈｉｎｅ）を生成してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ、プログラマブル装置、及び／又は他の装置に特定の方法で機能するように指示することができるコンピュータ読み取り可能な記憶媒体に格納することができ、格納された命令を有するコンピュータ読み取り可能な記憶媒体は、本開示のフロー図及びブロック図で指定された機能の態様を実装する命令を含む製造品であるようになっている。

【0075】

また、コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラム可能な装置、又は他の装置上にロードされ、コンピュータ、他のプログラム可能な装置、又は他の装置上で実行される一連の動作ステップに、コンピュータ、他のプログラム可能な装置、又は他の装置上で実行される命令が本開示のフロー図及びブロック図で指定された機能を実装するようにコンピュータ実装プロセスを生成させることができる。

【0076】

図１６は、更に、１つ以上のネットワーク化されたコンピュータとサーバのネットワーク化されたシステムの図である。一実施形態において、図１６に図示されたハードウェア及びソフトウェア環境は、本開示に係るソフトウェア及び／又は方法を実装するための例示的なプラットフォームを提供することができる。

【0077】

図１６を参照すると、ネットワーク化されたシステムは、コンピュータ１６０５、ネットワーク１６１０、リモートコンピュータ１６１５、ウェブサーバ１６２０、クラウドストレージサーバ１６２５、及びコンピュータサーバ１６３０を含んでもよいが、これらに限定されない。いくつかの実施形態では、図１６に図示された機能ブロックのうち１つ以上の複数のインスタンスが採用されてもよい。

【0078】

コンピュータ１６０５の追加的な詳細は、図１６に示されている。コンピュータ１６０５内に図示されている機能ブロックは、例示的な機能を確立するためにのみ提供されており、包括的であることを意図していない。また、リモートコンピュータ１６１５、ウェブサーバ１６２０、クラウドストレージサーバ１６２５、及びコンピュータサーバ１６３０については詳細が示されていないが、これらの他のコンピュータ及びデバイスは、コンピュータ１６０５について示されたものと同様の機能を含んでいてもよい。

【0079】

コンピュータ１６０５は、パーソナルコンピュータ（ＰＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、スマートフォン、又はネットワーク１６６１０上の他のデバイスと通信可能な他のプログラム可能な電子デバイスであってもよい。

【0080】

コンピュータ１６０５は、プロセッサ１６３５、バス１６３７、メモリ１６４０、不揮発性ストレージ１６４５、ネットワークインターフェース１６５０、周辺機器インターフェース１６５５、及びディスプレイインターフェース１６６５を含んでもよい。これらの機能の各々は、いくつかの実施形態では、個々の電子サブシステム（集積回路チップ、又はチップと関連するデバイスとの組み合わせ）として実装されてもよいし、他の実施形態では、機能のいくつかの組み合わせが単一のチップ（システムオンチップ又はＳｏＣと呼ばれることがある）に実装されてもよい。

【0081】

プロセッサ１６３５は、インテル・コーポレーション、アドバンスト・マイクロ・デバイセズ社（ＡＭＤ）、アーム・ホールディングス（Ａｒｍ）、アップル・コンピュータ社などによって設計及び／又は製造されたものなど、１つ以上のシングルチップ又はマルチチップのマイクロプロセッサであってもよい。マイクロプロセッサの例として、インテル社のＣｅｌｅｒｏｎ、Ｐｅｎｔｉｕｍ、Ｃｏｒｅ ｉ３、Ｃｏｒｅ ｉ５、及びＣｏｒｅ ｉ７、ＡＭＤ社のＯｐｔｅｒｏｎ、Ｐｈｅｎｏｍ、Ａｔｈｌｏｎ、Ｔｕｒｉｏｎ、及びＲｙｚｅｎ、及びＡｒｍ社のＣｏｒｔｅｘ－Ａ、Ｃｏｒｔｅｘ－Ｒ、及びＣｏｒｔｅｘ－Ｍなどがある。

【0082】

バス１６３７は、ＩＳＡ、ＰＣＩ、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩ－ｅ）、ＡＧＰなどの独自又は業界標準の高速パラレル又はシリアル周辺機器相互接続バスであってもよい。

【0083】

メモリ１６４０及び不揮発性ストレージ１６４５は、コンピュータ読み取り可能な記憶媒体であってもよい。メモリ１６４０は、ダイナミック・ランダムアクセス・メモリ（ＤＲＡＭ）、及びスタティック・ランダムアクセス・メモリ（ＳＲＡＭ）などの任意の適切な揮発性ストレージデバイスを含んでもよい。不揮発性ストレージ１６４５は、フレキシブルディスク、ハードディスク、ソリッドステートドライブ（ＳＳＤ）、リードオンリーメモリ（ＲＯＭ）、イレーサブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はＦｌａｓｈ）、コンパクトディスク（ＣＤ又はＣＤ－ＲＯＭ）、デジタルバーサタイルディスク（ＤＶＤ）、及びメモリカード又はスティックのうちの１つ以上を含んでもよい。

【0084】

プログラム１６４８は、不揮発性ストレージ１６４５に格納され、本開示の他に詳細に説明され、図面に示されている特定のソフトウェア機能を作成、管理、及び制御するために使用される、機械読取可能な命令及び／又はデータの集合体であってもよい。いくつかの実施形態では、メモリ１６４０は、不揮発性ストレージ１６４５よりもかなり高速であってもよい。そのような実施形態では、プログラム１６４８は、プロセッサ１６３５による実行の前に、不揮発性ストレージ１６４５からメモリ１６４０に転送されてもよい。

【0085】

コンピュータ１６０５は、ネットワークインターフェース１６５０を介して、ネットワーク１６１０を経由して他のコンピュータと通信し、相互に作用することが可能であってもよい。ネットワーク１６１０は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、又はこれら２つの組み合わせであってもよく、有線、無線、又は光ファイバの接続を含んでいてもよい。一般的に、ネットワーク１６１０は、２つ以上のコンピュータと関連するデバイスとの間の通信をサポートする接続及びプロトコルの任意の組み合わせとすることができる。

【0086】

周辺機器インターフェース１６５５は、コンピュータ１６０５とローカルに接続される可能性のある他のデバイスとのデータの入出力を可能にするものであってもよい。例えば、周辺機器インターフェース１６５５は、外部デバイス１６６０への接続を提供してもよい。外部デバイス１６６０は、キーボード、マウス、キーパッド、タッチスクリーン、及び／又は他の適切な入力デバイスのようなデバイスを含んでもよい。外部デバイス１６６０は、例えば、サムドライブ、ポータブル光ディスク又は磁気ディスク、及びメモリカードなどのポータブルなコンピュータ読み取り可能な記憶媒体も含んでもよい。本開示の実施形態を実践するために使用されるソフトウェア及びデータ、例えば、プログラム１６４８は、このようなポータブルなコンピュータ読み取り可能な記憶媒体に格納されてもよい。このような実施形態では、ソフトウェアは、不揮発性ストレージ１６４５にロードされてもよいし、代わりに、周辺機器インターフェース１６５５介してメモリ１６４０に直接的にロードされてもよい。周辺機器インターフェース１６５５は、外部デバイス１６６０と接続するために、ＲＳ－２３２又はユニバーサル・シリアル・バス（ＵＳＢ）などの業界標準の接続を用いてもよい。

【0087】

ディスプレイインターフェース１６６５は、コンピュータ１６０５をディスプレイ１６７０に接続してもよい。ディスプレイ１６７０は、いくつかの実施形態では、コンピュータ１６０５のユーザーにコマンドライン又はグラフィカルユーザーインターフェースを提示するために用いられてもよい。ディスプレイインターフェース１６６５は、ＶＧＡ、ＤＶＩ、ＤｉｓｐｌａｙＰｏｒｔ、ＨＤＭＩなどの１つ以上の独自又は業界標準の接続を用いて、ディスプレイ１６７０に接続してもよい。

【0088】

上述したように、ネットワークインターフェース１６５０は、コンピュータ１６０５の外部にある他のコンピューティング及びストレージシステム又はデバイスとの通信を提供する。本明細書で説明するソフトウェアプログラム及びデータは、例えば、リモートコンピュータ１６１５、ウェブサーバ１６２０、クラウドストレージサーバ１６２５、及びコンピュータサーバ１６３０から、ネットワークインターフェース１６５０及びネットワーク１６１０を介して不揮発性ストレージ１６４５にダウンロードされてもよい。更に、本開示で説明するシステム及び方法は、ネットワークインターフェース１６５０及びネットワーク１６１０を介してコンピュータ１６０５に接続された１つ以上のコンピュータによって実行されてもよい。例えば、いくつかの実施形態では、本開示に記載されているシステム及び方法は、リモートコンピュータ１６１５、コンピュータサーバ１６３０、又はネットワーク１６１０上の相互接続されたコンピュータの組み合わせによって実行されてもよい。

【0089】

本開示に記載されたシステム及び方法の実施形態で採用されるデータ、データセット及び／又はデータベースは、リモートコンピュータ１６１５、ウェブサーバ１６２０、クラウドストレージサーバ１６２５、及びコンピュータサーバ１６３０に保存され、及び／又は、リモートコンピュータ１６１５、ウェブサーバ１６２０、クラウドストレージサーバ１６２５、及びコンピュータサーバ１６３０からダウンロードされてもよい。

【0090】

明らかに、上記の教示に照らして、本発明の多数の修正及び変形が可能である。従って、添付の請求項の範囲内で、本発明は、本明細書に具体的に記載されている以外の方法で実施することができることを理解されたい。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2I】

【図2J】

【図2K】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図10D】

【図11A】

【図11B】

【図12A】

【図12B】

【図12C】

【図13】

【図14A】

【図14B】

【図15A】

【図15B】

【図16】