知財求人 - 知財ポータルサイト「IP Force」
特許7379704視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-06
(45)【発行日】2023-11-14
(54)【発明の名称】視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法
(51)【国際特許分類】
A61B 3/10 20060101AFI20231107BHJP
A61B 3/13 20060101ALI20231107BHJP
【ＦＩ】
A61B3/10 100
A61B3/13
【請求項の数】
16
(21)【出願番号】P 2022531634
(86)(22)【出願日】2020-12-01
(65)【公表番号】
(43)【公表日】2023-02-02
(86)【国際出願番号】 US2020062687
(87)【国際公開番号】W WO2021113228
(87)【国際公開日】2021-06-10
【審査請求日】2022-05-27
(31)【優先権主張番号】62/943,967
(32)【優先日】2019-12-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】ジョージ チャールズ ポルチン
(72)【発明者】
【氏名】マキシミリアーノ ラミレス ルナ
(72)【発明者】
【氏名】パトリック テリー
(72)【発明者】
【氏名】トーマス ポール リーダーラー
(72)【発明者】
【氏名】アショック バートン トリパティ
【審査官】増渕 俊仁
(56)【参考文献】
【文献】国際公開第２０１８／２０７４４６（ＷＯ，Ａ１）
【文献】国際公開第２０１４／１９２５２０（ＷＯ，Ａ１）
【文献】特開２０１８－０７５２２９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１０６３０４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
標的部位を撮像するシステムであって、前記標的部位に少なくとも部分的に向けられるように構成されたヘッドユニットを有する筐体組立体であって、前記標的部位は眼球である、筐体組立体と、
少なくとも部分的に前記ヘッドユニットに配置され、前記標的部位の第１の組のボリュームデータを取得するように構成された光学コヒーレンストモグラフィ（ＯＣＴ）モジュールと、
少なくとも部分的に前記ヘッドユニットに配置され、前記標的部位の第２の組のボリュームデータを取得するように構成された立体視覚化カメラであって、前記第２の組のボリュームデータは前記標的部位の第１及び第２のビューを含む、立体視覚化カメラと、
前記立体視覚化カメラ及び前記ＯＣＴモジュールと通信するコントローラと、
前記コントローラによって選択的に実行可能なボリュームレンダリングモジュールと、
を備え、
前記コントローラは、プロセッサと、命令が記録された有形非一時的メモリとを有し、前記命令の実行は前記コントローラに、
前記ＯＣＴモジュールからの前記第１の組のボリュームデータを前記立体視覚化カメラからの前記第２の組のボリュームデータと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成することと、
前記ボリュームレンダリングモジュールを介して前記第３の組の見当合わせ済みボリュームデータを第１の領域にレンダリングして、二次元ＯＣＴビューを取得することと、
前記ボリュームレンダリングモジュールを介して前記立体視覚化カメラからの前記第２の組のボリュームデータを第２の領域にレンダリングして、ライブ二次元立体ビューを取得することと、
前記第１の領域及び前記第２の領域を重ねて、前記標的部位の複合共有ビューを取得することと、
を行わせる、システム。
【請求項2】
前記ヘッドユニットに動作可能に接続され、前記ヘッドユニットを選択的に移動させるように構成されたロボットアームを更に備え、前記ロボットアームは、軸方向、第１の横断方向、及び第２の横断方向において前記ＯＣＴモジュールの閲覧範囲を拡張するように選択的に動作可能である、請求項１に記載のシステム。
【請求項3】
前記ＯＣＴモジュールからの前記第１の組のボリュームデータを前記立体視覚化カメラからの前記第２の組のボリュームデータと見当合わせすることは、回転、並進、及びスケーリングで前記立体視覚化カメラの前記第１及び第２のビューを前記ボリュームレンダリングモジュールにそれぞれ位置合わせすることと、
前記立体視覚化カメラの前記第１及び第２のビューの各視点を前記ボリュームレンダリングモジュールに合わせることと、
を含む、請求項１に記載のシステム。
【請求項4】
前記第１の組のボリュームデータを前記第２の組のボリュームデータと見当合わせすることは、前記ＯＣＴモジュールの各データ空間の各場所及び各向きに相対する前記立体視覚化カメラの第１の二次元視覚化モジュール及び第２の二次元視覚化モジュールの投影中心の各場所及び各向きを見つけることを含む、請求項１に記載のシステム。
【請求項5】
前記第１の組のボリュームデータを前記第２の組のボリュームデータと見当合わせすることは、前記第１の組のボリュームデータ内の関心のある局所エリアの、位置、向き、及びサイズを前記第２の組のボリュームデータと合わせることを含み、
前記関心のある局所エリアは、角膜縁及び強膜脈管の少なくとも一方を含む、請求項１に記載のシステム。
【請求項6】
前記第１の組のボリュームデータを前記第２の組のボリュームデータと見当合わせする前、前記コントローラは、較正デバイスを前記標的部位に配置し、３つの直交ビューの各々において前記較正デバイスの各表面への各線をフィッティングすることを含む、前記ＯＣＴモジュールの較正及び前記立体視覚化カメラの較正を行うように構成される、請求項１に記載のシステム。
【請求項7】
前記第１の組のボリュームデータを前記第２の組のボリュームデータと見当合わせする前、前記コントローラは、前記ＯＣＴモジュールの各空間を前記ボリュームレンダリングモジュールの各前記空間に接続する変換行列を取得するように構成されることを更に含む、請求項１に記載のシステム。
【請求項8】
前記コントローラによって選択的に実行可能であり、前記第１の組のボリュームデータ及び前記第２の組のボリュームデータの各表現が予め定義された斜位角で閲覧されるような前記複合共有ビューの軸外ビューを生成する斜位視覚化モジュールを更に備え、前記斜位視覚化モジュールの実行は前記コントローラに、
部分的に前記第１の組のボリュームデータに基づいてワイヤフレーム画像を形成することと、
第１の対の立体画像として前記ワイヤフレーム画像をレンダリングすることと、
第２の対の立体画像として前記第２の組のボリュームデータをレンダリングすることと、
前記第１の対の立体画像及び前記第２の対の立体画像を融合して、前記軸外ビューを形成することと、
を行わせる、請求項１に記載のシステム。
【請求項9】
予め定義された前記斜位角は、ユーザインターフェースを介してユーザによって選択可能である、請求項８に記載のシステム。
【請求項10】
前記第１の組のボリュームデータは、第１の周波数で更新されるように構成され、前記第２の組のボリュームデータは、第２の周波数で更新されるように構成され、前記第１の組のボリュームデータの前記更新及び前記第２の組のボリュームデータの前記更新は同期されない、請求項８に記載のシステム。
【請求項11】
前記コントローラは、複数のトポグラフィレベルを用いて前記複合共有ビューを視覚化するように構成され、前記複数のトポグラフィレベルの各々は各深度によって特徴付けられる、請求項１に記載のシステム。
【請求項12】
前記立体視覚化カメラ及び前記ＯＣＴモジュールは、各待ち時間を定義し、前記コントローラは、前記立体視覚化カメラの各前記待ち時間に合致するように前記二次元ＯＣＴビューの表示を選択的に遅延させるように構成された第１の組の画像バッファを含み、
前記コントローラは、前記ＯＣＴモジュールの各前記待ち時間に合致するように前記ライブ二次元立体ビューの表示を選択的に遅延させるように構成された第２の組の画像バッファを含む、請求項１に記載のシステム。
【請求項13】
前記コントローラは、少なくとも１つの注釈をディスプレイ上の前記複合共有ビューにわたって追加するように構成され、少なくとも１つの前記注釈は前記二次元ＯＣＴビューの境界を示す、請求項１に記載のシステム。
【請求項14】
前記コントローラは、少なくとも１つの注釈をディスプレイ上の前記複合共有ビューにわたって追加するように構成され、少なくとも１つの前記注釈は前記眼球のランドマークを示し、前記コントローラは、前記ライブ二次元立体ビューにおける少なくとも１つの前記注釈の相対位置を維持するように構成される、請求項１に記載のシステム。
【請求項15】
前記コントローラは、基準点に対する前記第２の組のボリュームデータにおける各ボクセルの三次元座標を取得することと、
出力画像における各ピクセルの各場所を前記立体視覚化カメラの各基準系における現実世界位置に変換することと、
を行うように構成される、請求項１に記載のシステム。
【請求項16】
眼科処置をガイドするシステムであって、眼球の標的部位に少なくとも向けられるように構成されたヘッドユニットを有する筐体組立体と、
少なくとも部分的に前記ヘッドユニットに配置され、前記標的部位の第１の組のボリュームデータを取得するように構成された光学コヒーレンストモグラフィ（ＯＣＴ）モジュールと、
少なくとも部分的に前記ヘッドユニットに配置され、前記標的部位の第１及び第２のビューを含む前記標的部位の第２の組の二次元画像データを取得するように構成された視覚化カメラと、
前記視覚化カメラ及び前記ＯＣＴモジュールと通信するコントローラと、
前記コントローラによって選択的に実行可能なボリュームレンダリングモジュールと、
を備え、
前記コントローラは、プロセッサと、命令が記録された有形非一時的メモリとを有し、前記命令の実行は前記コントローラに、
前記ＯＣＴモジュールからの前記第１の組のボリュームデータを前記視覚化カメラからの前記第２の組の二次元画像データと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成させ、
前記ボリュームレンダリングモジュールを介して前記第３の組の見当合わせ済みボリュームデータを第１の領域にレンダリングして、多次元ＯＣＴビューを取得させ、
前記ボリュームレンダリングモジュールを介して前記視覚化カメラからの前記第２の組の二次元画像データを第２の領域にレンダリングして、ライブ多次元ビューを取得させ、
前記第１の領域及び前記第２の領域を重ねて、前記標的部位の複合共有ビューを取得させる、システム。
【発明の詳細な説明】
【技術分野】
【0001】
優先権の主張
本願は、２０１９年１２月５日出願の米国仮特許出願第６２／９４３９６７号明細書に対する優先権及び利益を主張し、その内容の全てを引用し、本明細書中に組み込む。
本願は、２０１９年１２月５日出願の米国仮特許出願第６２／９４３９６７号明細書に対する優先権及び利益を主張し、その内容の全てを引用し、本明細書中に組み込む。
【0002】
本開示は、視覚化カメラ及び光学コヒーレンストモグラフィを統合して標的部位を撮像するシステム及び方法に関する。
【背景技術】
【0003】
人体の種々の部位を撮像するために、世界中で種々の撮像モダリティが一般に採用されている。これらの撮像モダリティの各々は異なる組の情報を提供する。換言すれば、種々の撮像モダリティは撮像される部位の異なる性質又は表現を捕捉する。利用できる情報を最大化するために、種々の撮像モダリティによって提供される各情報の合成又は混合が望ましいであろう。しかしながら、複数の撮像モダリティによって行われた捕捉を、まるで全次元で全く同じ三次元物体を表すかのように、ユーザに対して精密に表現することは簡単ではない。処理速度のばらつき及び眼科の場合、眼球運動を含むがこれらに限定されない課題に起因して、それをリアルタイムで行うことは更に難しい。さらに、そのような画像混合又は画像合成のユーザへの提示は一般に、フラットパネルディスプレイ等のディスプレイデバイスに頼るため、各三次元収集データから二次元表現を作成する各方法では、関連するパラメータが最終表現で合致したように表現されることにならなければならない。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書に開示されるのは、標的部位を撮像するシステム及び方法である。本システムは、標的部位に少なくとも部分的に向けられるように構成されたヘッドユニットを有する筐体組立体を含む。光学コヒーレンストモグラフィ（ＯＣＴ）モジュールが、少なくとも部分的にヘッドユニットに配置され、標的部位の第１の組のボリュームデータを取得するように構成される。立体視覚化カメラが、少なくとも部分的にヘッドユニットに配置され、標的部位の第２の組のボリュームデータを取得するように構成される。第２の組のボリュームデータは、標的部位の第１及び第２の（例えば左及び右の）ビューを含む。
【0005】
本システムは、患者及び術部に関連する種々のデータセットを融合することにより、眼科等の多くの分野で患者結果を改善する。データセットは、限定されないが、術部の立体視覚化、全体又は部分の光学コヒーレンストモグラフィ、超音波及び磁気共鳴撮像等の他のボリュームスキャン技法、並びに当業者が利用可能な眼球特徴付け技法を通して生成される眼球の１つ又は複数の屈折モデルを含み得る。
【0006】
本システムは、立体視覚化カメラ及びＯＣＴモジュールと通信するコントローラを含む。本明細書ではＶＲモジュールと呼ばれる、ボリュームレンダリングモジュールが、コントローラ及び／又は立体視覚化カメラ内に一体化されたカメラプロセッサによって選択的に実行可能である。コントローラは、プロセッサと、命令が記録された有形非一時的メモリとを有する。コントローラは、ＯＣＴモジュールからの第１の組のボリュームデータを立体視覚化カメラからの第２の組のボリュームデータと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成するように構成される。第３の組の見当合わせ済みボリュームデータは、ボリュームレンダリングモジュールを介して第１の領域にレンダリングされて、二次元ＯＣＴビューを取得する。立体視覚化カメラからの第２の組のボリュームデータは、ボリュームレンダリングモジュールを介して第２の領域にレンダリングされて、ライブ二次元立体ビューを取得する。第１の領域及び第２の領域は重ねられて、標的部位の複合共有ビューを取得する。
【0007】
別の実施形態では、本システムは、少なくとも部分的にヘッドユニットに配置され、標的部位の第２の組の二次元画像データを取得するように構成された視覚化カメラを含み、標的部位の第１及び第２のビューを含む。コントローラは、ＯＣＴモジュールからの第１の組のボリュームデータを視覚化カメラからの第２の組の二次元画像データと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成するように構成される。第３の組の見当合わせ済みボリュームデータは、コントローラによって選択的に実行可能なボリュームレンダリングモジュールを介して第１の領域にレンダリングされて、多次元ＯＣＴビューを取得する。視覚化カメラからの第２の組の二次元画像データは、ボリュームレンダリングモジュールを介して第２の領域にレンダリングされて、ライブ多次元ビューを取得する。第１の領域及び第２の領域は重ねられて、標的部位の複合共有ビューを取得する。
【0008】
本システムは、ヘッドユニットに動作可能に接続され、ヘッドユニットを選択的に移動させるように構成されたロボットアームを含み得る。ロボットアームは、軸方向、第１の横断方向、及び第２の横断方向においてＯＣＴモジュールの閲覧範囲を拡張するように選択的に動作可能であり得る。ＯＣＴモジュールからの第１の組のボリュームデータを立体視覚化カメラからの第２の組のボリュームデータと見当合わせすることは、回転、並進、及びスケーリングで立体視覚化カメラの第１及び第２のビューをボリュームレンダリングモジュールにそれぞれ位置合わせすることと、立体視覚化カメラの第１及び第２のビューの各視点をボリュームレンダリングモジュールに合わせることとを含み得る。
【0009】
第１の組のボリュームデータを第２の組のボリュームデータと見当合わせする前、コントローラは、較正デバイスを標的部位に配置し、各三次元直交ビューにおいて較正デバイスの各表面に各線をフィッティングすることを含め、ＯＣＴモジュールを較正し、立体視覚化カメラを較正するように構成し得る。第１の組のボリュームデータを第２の組のボリュームデータと見当合わせすることは、ＯＣＴモジュールの各データ空間の各場所及び各向きに相対する立体視覚化カメラの第１の二次元視覚化モジュール及び第２の二次元視覚化モジュールの投影中心の各場所及び各向きを見つけることを含み得る。
【0010】
第１の組のボリュームデータを第２の組のボリュームデータと見当合わせすることは、第１の組のボリュームデータ内の関心のある局所エリアの、位置、向き、及びサイズを第２の組のボリュームデータと合わせることを含み得る。関心のある局所エリアは、角膜縁及び／又は強膜脈管を含み得る。第１の組のボリュームデータを第２の組のボリュームデータと見当合わせする前、コントローラは、ＯＣＴモジュールの各空間をボリュームレンダリングモジュールの各空間に接続する変換行列を取得するように構成し得る。
【0011】
本システムは、コントローラによって選択的に実行可能であり、第１の組のボリュームデータ及び第２の組のボリュームデータの各表現が予め定義された斜位角で見られるような複合共有ビューの軸外ビューを生成する斜位視覚化モジュールを含み得る。斜位視覚化モジュールの実行は、コントローラに部分的に第１の組のボリュームデータに基づいてワイヤフレーム画像を形成させ得る。ワイヤフレーム画像は、第１の対の立体画像としてレンダリングされる。第２の組のボリュームデータは第２の対の立体画像としてレンダリングされる。第１の対の立体画像及び第２の対の立体画像を融合して、軸外ビューを形成し得る。予め定義される斜位角は、ユーザインターフェースを介してユーザによって選択可能であり得る。
【0012】
第１の組のボリュームデータは、第１の周波数で更新されるように構成し得、第２の組のボリュームデータは、第２の周波数で更新されるように構成し得る。一例では、第１の組のボリュームデータの更新及び第２の組のボリュームデータの更新は同期されない。立体視覚化カメラ及びＯＣＴモジュールは、各待ち時間を定義し得る。コントローラは、立体視覚化カメラの各待ち時間に合致するように二次元ＯＣＴビューの表示を選択的に遅延させるように構成された第１の組の画像バッファを含み得る。コントローラは、ＯＣＴモジュールの各待ち時間に合致するようにライブ二次元立体ビューの表示を選択的に遅延させるように構成された第２の組の画像バッファを含む。
【0013】
コントローラは、複数のトポグラフィレベルを用いて複合共有ビューを視覚化するように構成し得、複数のトポグラフィレベルの各々は各深度によって特徴付けられる。コントローラは、少なくとも１つの注釈をディスプレイ上の複合共有ビューにわたって追加するように構成し得、注釈は二次元ＯＣＴビューの境界を示す。一例では、標的部位は眼球である。コントローラは、少なくとも１つの注釈をディスプレイ上の複合共有ビューにわたって追加するように構成し得、注釈は眼球のランドマークを示す。コントローラは、ライブ二次元立体ビューにおける注釈の相対位置を維持するように構成し得る。コントローラは、基準点に対する第２の組のボリュームデータにおける各ボクセルの三次元座標を取得することと、出力画像における各ピクセルの各場所を立体視覚化カメラの各基準系における現実世界位置に変換することとを行うように構成し得る。
【0014】
本明細書に開示されるのは、眼科処置をガイドするシステムであって、本システムは、少なくとも部分的に眼球の標的部位に向けられるように構成されたヘッドユニットを有する筐体組立体を含む。光学コヒーレンストモグラフィ（ＯＣＴ）モジュールは、少なくとも部分的にヘッドユニットに配置され、標的部位の第１の組のボリュームデータを取得するように構成される。視覚化カメラは、少なくとも部分的にヘッドユニットに配置され、標的部位の第１及び第２のビューを含む標的部位の第２の組の二次元画像データを取得するように構成される。コントローラは、立体視覚化カメラ及びＯＣＴモジュールと通信する。ボリュームレンダリングモジュールは、コントローラによって選択的に実行可能である。
【0015】
コントローラは、プロセッサと、命令が記録された有形非一時的メモリとを有し、命令の実行はコントローラに、ＯＣＴモジュールからの第１の組のボリュームデータを可視カメラからの第２の組の二次元画像データと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成することを行わせる。コントローラは、ボリュームレンダリングモジュールを介して第３の組の見当合わせ済みボリュームデータを第１の領域にレンダリングして、多次元ＯＣＴビューを取得するように構成される。第２の組の二次元画像データは、ボリュームレンダリングモジュールを介して視覚化カメラから第２の領域にレンダリングされて、ライブ多次元ビューを取得する。コントローラは、第１の領域及び第２の領域を重ねて、標的部位の複合共有ビューを取得するように構成される。
【0016】
本開示の上記の特徴及び利点並びに他の特徴及び利点は、本開示を実施するための最良の態様の以下の詳細な説明を添付の図面と併せて読めば容易に明らかとなる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
同様の参照番号が同様の構成要素を指す図面を参照すると、図１及び図２は、立体視覚化カメラ１２であり得る視覚化カメラ１２を有するシステム１０を概略的に示す。視覚化カメラ１２は、他のタイプの多次元撮像デバイスを含んでよい。システム１０は、以下「ＯＣＴモジュール」１４と呼ばれる光学コヒーレンストモグラフィモジュール１４を含む。システム１０は、標的部位１６を撮像するように構成される。図１を参照すると、立体視覚化カメラ１２及びＯＣＴモジュール１４は少なくとも部分的に、筐体組立体２０のヘッドユニット１８に配置され、ヘッドユニット１８は標的部位１６に少なくとも部分的に向けられるように構成される。後述するように、ＯＣＴモジュール１４は標的部位１６の第１の組のボリュームデータを取得するように構成され、一方、立体視覚化カメラ１２は標的部位１６の第２の組のボリュームデータを取得するように構成される。立体視覚化カメラ１２は、第１及び第２の２Ｄ視覚化モジュールＶ１、Ｖ２を介して標的部位１６の第１及び第２の画像を記録して、標的部位１６のライブ二次元立体ビューを生成するように構成される。ボリュームレンダリングされたＯＣＴデータを立体視覚化カメラ１２のライブ二次元立体ビューに重ねることにより、システム１０は組織に存在する種々の異常の検出及び異常への応答を可能にする。
【0019】
Ｉ．システム構成要素
図１を参照すると、少なくとも１つのセレクタ２２をヘッドユニット１８に取り付けて、倍率、フォーカス、及び他の特徴等の特定の特徴を選択し得る。セレクタ２２を利用して、オペレータがヘッドユニット１８を手動で位置決めできるようにし得る。システム１０は、ヘッドユニット１８に動作可能に接続され、ヘッドユニット１８を選択的に移動させるように構成されたロボットアーム２４を含み得る。例えば、図２を参照すると、ロボットアーム２４は、軸方向Ａ、第１の横断方向Ｔ１、及び第２の横断方向Ｔ２においてＯＣＴモジュール１４の閲覧範囲を拡張するように選択的に動作可能であり得る。
図１を参照すると、少なくとも１つのセレクタ２２をヘッドユニット１８に取り付けて、倍率、フォーカス、及び他の特徴等の特定の特徴を選択し得る。セレクタ２２を利用して、オペレータがヘッドユニット１８を手動で位置決めできるようにし得る。システム１０は、ヘッドユニット１８に動作可能に接続され、ヘッドユニット１８を選択的に移動させるように構成されたロボットアーム２４を含み得る。例えば、図２を参照すると、ロボットアーム２４は、軸方向Ａ、第１の横断方向Ｔ１、及び第２の横断方向Ｔ２においてＯＣＴモジュール１４の閲覧範囲を拡張するように選択的に動作可能であり得る。
【0020】
図１を参照すると、ヘッドユニット１８は結合板２６を介してロボットアーム２４に機械的に結合し得る。結合板２６は、ヘッドユニット１８の更なる程度の位置決め及び／又は向き決めを提供するように構成された１つ又は複数のジョイントを含み得る。ヘッドユニット１８は、図１に示される第１及び第２のディスプレイ３２及び３４等の少なくとも１つの表示媒体（モニタ、端末、又は他の形態の二次元視覚化であり得る）を有するカート３０に接続し得る。筐体組立体２０は、自己充足式であり得、種々の場所間で移動可能であり得る。図１を参照すると、第１のディスプレイ３２は、１つ又は複数のジョイントを有する可撓性機械アーム３６を介してカート３０に接続されて、柔軟な位置決めを可能にし得る。可撓性機械アーム３６は、術中、患者にわたって延びて、比較的近い表示を提供するのに十分な長さを有するように構成し得る。第１及び第２のディスプレイ３２及び３４は、高精細テレビジョン、超高精細テレビジョン、スマート眼鏡、プロジェクタ、１つ又は複数のコンピュータ画面、ラップトップコンピュータ、タブレットコンピュータ、及び／又はスマートフォンを含む任意のタイプのディスプレイを含み得、タッチスクリーンを含み得る。
【0021】
図１及び図２を参照すると、システム１０は、少なくとも１つのプロセッサＰと、図３に示され、図３に関して後述される方法１００を実行するための命令が記録された少なくとも１つのメモリＭ（又は有形の非一時的コンピュータ可読記憶媒体）とを有するコントローラＣを含む。メモリＭはコントローラ実行可能命令セットを記憶することができ、プロセッサＰはメモリＭに記憶されたコントローラ実行可能命令セットを実行することができる。図１を参照すると、コントローラＣはカート３０に収容し得、ロボットアーム２４を制御するように構成し得る。コントローラＣは、第１及び第２のディスプレイ３２及び３４にブロードキャストするために信号を処理するように構成し得る。
【0022】
図２をこれより参照して、システム１０の一部分の概略図を示す。ヘッドユニット１８は、ＯＣＴモジュール１４の少なくとも幾つかの部分及び立体視覚化カメラ１２の少なくとも幾つかの部分を収容するように構成される。一例では、ＯＣＴモジュール１４の第１の部分１４Ａは、ヘッドユニット１８に収容されるが、第２の部分１４Ｂはヘッドユニット１８に収容されない。同様に、立体視覚化カメラ１２の第１の部分１２Ａはヘッドユニット１８に収容されるが、第２の部分１２Ｂはヘッドユニット１８に収容されない。図２を参照すると、ＯＣＴモジュール１４は、第１の光源４０、ビームスプリッタ４２、検出器４４、基準アーム４６、及びサンプルアーム４８を含む。一例では、検出器４４は分光計を含む。しかしながら、検出器４４が、当業者が利用可能な他のタイプのレセプタを含んでもよいことが理解される。
【0023】
ＯＣＴモジュール１４及び立体視覚化カメラ１２は、コントローラＣと通信する一体化されたプロセッサを含み得る。例えば、図２を参照すると、ＯＣＴモジュール１４はＯＣＴプロセッサ５０を含み得、立体視覚化カメラ１２はカメラプロセッサ５２を含み得る。ＯＣＴプロセッサ５０及びカメラプロセッサ５２は、コントローラＣと通信する別個のモジュールであり得る。代替的には、ＯＣＴプロセッサ５０及びカメラプロセッサ５２はコントローラＣに組み込まれ得る。カメラプロセッサ５２及び／又はコントローラＣは、以下「ＶＲモジュール」と呼ばれるボリュームレンダリングモジュール５１及び二次元立体視覚化モジュールＶ１、Ｖ２を選択的に実行するように構成される。ＶＲモジュール５１は、立体データ及び非立体データと共に利用し得る。
【0024】
ＯＣＴモジュール１４を立体視覚化カメラ１２と一体化させることにより、システム１０ははるかに没入的な表示及び２つのモダリティからの画像捕捉との相互作用を可能にする。ＶＲモジュール５１は、三次元データを立体ディスプレイに立体的に表示するのに使用される。一例では、ＶＲモジュール５１は、システムの焦点面に同じ境界を有する２つのビュー等の幾つかの追加の制約を有する状態で幾らかの眼内距離だけ水平方向において隔てられ、所望の点で集束する２つの単一視覚ボリュームレンダーとしてモデリングし得る。正確な融合のために、２Ｄ視覚化モジュールＶ１、Ｖ２の眼内距離及び集束距離はＶＲモジュール５１に入力されて、２つのモダリティ間で同一の立体パラメータを達成する。
【0025】
図２を参照すると、コントローラＣ、ＯＣＴプロセッサ５０、及び／又はカメラプロセッサ５２は、短距離ネットワーク５６を介してユーザインターフェース５４並びに第１及びディスプレイ３２、３４と通信し得る。短距離ネットワーク５６は、例えばローカルエリアネットワークの形態のシリアル通信バス等の種々方法で実施されたバスであってもよい。ローカルエリアネットワークは、コントローラエリアネットワーク（ＣＡＮ）、コントローラエリアネットワークウィズフレキシブルデータレート（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｆｌｅｘｉｂｌｅ Ｄａｔａ Ｒａｔｅ、ＣＡＮ－ＦＤ）、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、及び他のデータ接続形態を含み得るが、これらに限定されない。短距離ネットワーク５６は、インターネットデバイス間及びデバイスとインターネットとの間の通信を簡素化することを目的とした短距離無線技術（又は無線技術）であると定義される、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続であってもよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、固定及びモバイル電子デバイスデータを短距離で伝送し、２．４ＧＨｚ帯で動作するパーソナルネットワークを構築するためのオープン無線技術規格である。他のタイプの接続が採用されてもよい。
【0026】
図２を参照すると、ビームスプリッタ４２は、第１の光源４０から来た光Ｌ１を分割し、基準光路Ｌ２に沿って基準アーム４６に及びサンプル光路Ｌ３に沿ってサンプルアーム４８に同時に送るように構成される。サンプルアーム４８は、第１の光源４０から来たビームの少なくとも一部分（ビームスプリッタ４２によって分割される）を標的部位１６に向けるように構成される。図２を参照すると、標的部位１６は第１のビームＢ１によって照明される。光ファイバを利用して、第１のビームＢ１を輸送且つ／又は導波し、スポットスキャン６０の形態で標的部位１６における関心のある適切な領域に向け得る。システム１０の種々の構成要素内でビームを輸送且つ／又は導波するために、当業者が利用可能な他の方法を利用してもよい。
【0027】
図２を参照すると、スポットスキャン６０が落ちるように向けられる標的部位１６は、第１のビームＢ１に沿って到着した入射光を少なくとも部分的に反射して、第１の反射ビームＲ１を生成する構造を含み得る。基準アーム４６は、基準光路Ｌ２に沿って、ビームスプリッタ４２によって分割され、基準光路Ｌ２に沿って送られた第１の光源の少なくとも一部分を反射するように構成される。基準アーム４６は、基準光路Ｌ２に沿って選択された距離に配置され、特定の所望の波長の光を選択的に反射するように構成されたミラー又はコーナキューブ等の基準アーム反射デバイス６２を含み得る。基準アーム反射デバイス６２は、基準光路Ｌ２に沿って来た波長の比較的大きな部分、例えば９５％以上が基準光路Ｌ２に沿ってビームスプリッタ４２に向かって反射するように基準光路Ｌ２に対して向けられ得る。
【0028】
図２を参照すると、ビームスプリッタ４２は、基準アーム４６（基準光路Ｌ２に沿って）及びサンプルアーム４８から反射された光を光学的に結合し、生成された結合ビームＬ４を検出器４４に送るように構成される。基準アーム４６及びサンプルアーム４８における光の各光学的長さ又は移動距離は、基準アーム４６及びサンプルアーム４８から反射された光の干渉が、何らかの既知の参照点に対して又は互いに対して標的部位１６の複数の反射点の場所を符号化するように合致する（基準光路Ｌ２及びサンプルパスＬ３）ように構成される。符号化は、検出器４４におけるラインスキャンカメラによって捕捉し得、ＯＣＴプロセッサ５０及び／又はコントローラＣを介してスペクトル解析及びフーリエ解析を通して処理し得る。
【0029】
図２を参照すると、サンプル光路Ｌ３からの入力光は、操縦ユニット６４を介して下流の光学偏向要素７０、続けて共通対物レンズセット７２を通って標的部位１６に向けられ、標的部位１６において標的部位１６に衝突し、第１の反射ビームＲ１に沿って反射される。操縦ユニット６４は、第１の操縦部材６５、第２の操縦部材６６、及び第３の操縦部材６８等の複数の操縦部材を含み得る。サンプル光路Ｌ３からの入力光は、光学コネクタ７４及びインターフェース７６を介してヘッドユニット１８と光学的に結合し得る。共通対物レンズセット７２は、第１のレンズ７２Ａ及び第２のレンズ７２Ｂ等の複数のレンズ及び当業者が利用可能な他の集束デバイスを含み得る。フォーカスモータ（図示せず）を利用して、立体視覚化カメラ１２によって捕捉されるデータの倍率を制御し得る。
【0030】
図２を参照すると、立体視覚化カメラ１２は、ヘッドユニット１８に配置され、共通対物レンズセット７２を通して第２のビームＢ２に沿って標的部位１６に向けられる第２の光源８０を利用する。ＯＣＴモジュール１４に起端第１のビームＢ１は、第２のビームＢ２が落ちる際に標的部位１６の同じ部分の幾らか又は全てに落ちるようにヘッドユニット１８に組み込まれる。換言すれば、第１のビームＢ１は少なくとも部分的に、標的部位において第２のビームＢ２と重なる。これは幾つかの技術的利点を提供する。ＯＣＴモジュール１４の第２の部分１４Ｂは、サンプル光路Ｌ３を介してヘッドユニット１８に且つヘッドユニット１８から光学的に接続する。第２の部分１４Ｂは、短距離ネットワーク５６を介してカメラプロセッサ５２及びコントローラＣと通信するように構成し得る。
【0031】
図２を参照すると、第２の光源８０から第２のビームＢ２に沿って到着する光は、標的部位１６から第１の反射ビームＲ１に沿って共通対物レンズセット７２、そして光学偏向要素７０に反射され、光学偏向要素７０は関心のある光を第２の反射ビームＲ２に沿ってヘッドユニット１８の光学要素の残りの部分に反射する。示される例では、光学偏向要素７０は光路を９０度曲げるように構成されるが、角度は目下の用途に基づいて変更し得ることが理解される。
【0032】
図２を参照すると、複数の光学要素８４は、立体光路のチャネル（例えば左又は右）の実施に利用し得、生産中にフォーカス及びズーム（倍率）の較正並びに使用中に動的ズームの較正を可能にし得る。複数の光学要素８４は、第２の反射ビームＲ２を標的部位１６の立体画像を構成する光ビュー及び右ビューの各々に１つずつの第１のセンサ８５及び第２のセンサ８６等の１つ又は複数のセンサに集束させるように構成される。第１のセンサ８５及び第２のセンサ８６は、入射した光場をサンプリングするように構成され、ＣＣＤ検出器又は当業者が利用可能な他のタイプの検出器を含み得る。
【0033】
第１のビームＢ１を、第２のビームＢ２が落ちるのと同じ標的部位１６の幾らか又は全てに落とせるようにするために、光学偏向要素７０は、第１のビームＢ１からの光の各入射波長の所与の割合を選択的に透過し、第１の反射ビームＲ１を選択的に反射するように被膜され得、又はそのように構成し得る。例えば、一実施形態では、第１の光源４０の有用スペクトル成分は、概ね８４０ｎｍ波長を中心とした概ね７４０ｎｍ波長～概ね９３０ｎｍ波長までの幅のガウス型分布で存在し得る。第１の反射ビームＲ１の可視光の有用スペクトルは、約３８０ｎｍ又は３９０ｎｍ～約７００ｎｍであり得る。この場合、光学偏向要素７０は、７４０ｎｍ～９３０ｎｍの波長を可能な限り（典型的には９０％以上）透過し、一方、３８０ｎｍ～７００ｎｍの波長を可能な限り（典型的には９０％以上）反射するように被膜し得る。
【0034】
立体視覚化カメラ１２の第２の光源８０は、第１の光源４０に対して非同軸であるものとして図２の例に示されているが、第２の光源８０の場所は変更し得ることが理解される。例えば、第２の光源８０の位置及び向きは、第２の光源８０を光学偏向要素７０の背後の場所８８において配置する等により、同軸照明を可能にするように変更し得る。光学偏向要素７０は、バンドパスフィルタ又は部分透過レジームを含み得、それにより、スペクトルの可視領域の光を部分的に透過し、ひいては部分的に反射し得る。
【0035】
共通対物レンズセット７２は、可変作業距離Ｗを立体視覚化カメラ１２に提供するように構成される。作業距離Ｗは、立体視覚化カメラ１２の理想化されたカメラモデルの「投影中心」から、標的部位１６に合焦される基準面までの距離として参照し得る。共通対物レンズセット７２の調整は、ヘッドユニット１８の作業距離Ｗを変え、ひいてはサンプルアーム４８の有効光学的長さを変える。
【0036】
図２を参照すると、作業距離補償部材９０をサンプルアーム４８に利用して、この変更をオフセットし、基準アーム４６及びサンプルアーム４８がそれぞれ同じ公称光学的長さを有することを補償し得る。作業距離補償部材９０は、共通対物レンズセット７２を補償するように構成された液体レンズ又は他のレンズ等の又は複数のレンズを含み得る。例えば、共通対物レンズセット７２の調節により作業距離が１０ｍｍ増大する場合、サンプルアーム４８の有効光学的長さを同様に短縮するように、サンプルアーム４８に配置された作業距離補償部材９０を制御し得る（例えばセレクタ２２を介して）。
【0037】
別の実施形態では、作業距離補償部材９０は基準アーム４６に配置し得、基準アーム４６の反射面を反射光路Ｌ２の移動方向に沿って移動させることにより、サンプルアーム４８における作業距離変更を合わせるように構成し得る。例えば、作業距離補償部材９０は、基準アーム４６の反射面を移動させる微小位置決めステージを含み得る。
【0038】
ＯＣＴプロセッサ５０及び／又はコントローラＣは、第１の光源４０、操縦ユニット６４、及び作業距離補償部材９０を含め、ＯＣＴモジュール１４の種々の構成要素を制御するように構成し得る。作業距離補償部材９０は、サンプルアーム４８の路長変更に合うように較正し得る。コントローラＣは、ＯＣＴモジュール１４の全体動作を管理する命令を実行するように構成し得る。命令は、メモリＭに永久的に記憶されてもよく、又は動的にアップロードされてもよい。ＯＣＴプロセッサ５０及び／又はコントローラＣは、ＯＣＴモジュール１４の種々の構成要素と通信して種々の構成要素を制御する、当業者が利用可能なサブプロセッサ及び他の回路を含み得る。
【0039】
立体視覚化カメラ１２からの画像ストリームは、閲覧に向けて画像ストリームを準備するように構成し得るカメラプロセッサ５２及び／又はコントローラＣに送信し得る。例えば、コントローラＣは、立体視覚化カメラ１２からの第１及び第２のビデオ信号を結合又はインタリーブして、立体信号を作成し得る。コントローラＣは、ビデオ及び／又は立体ビデオ信号をビデオファイル及びメモリＭに記憶するように構成し得る。第１の及び第２のディスプレイ３２及び３４は立体表示システムを組み込み得、二次元表示は左目及び右目のそれぞれに別個の画像を有する。立体表示を見るために、ユーザは、第１及びディスプレイ３２、３４と併せて機能して、ユーザの左目への左ビュー及びユーザの右目への右ビューを示し得る専用眼鏡を装着し得る。
【0040】
図１のコントローラＣは、方法１００（図３に関して以下に詳細に考察する）のブロックを実行するように特にプログラムされ、リモートソースからダウンロードされた実行可能プログラム又は情報を含み得、又は他の方法でアクセスし得る。図１を参照すると、コントローラＣは、長距離ネットワーク９６を介して、リモートサーバ９２及び／又はクラウドユニット９４と通信するように構成され得る。リモートサーバ９２は、例えば、研究機関、企業、大学、及び／又は病院などの組織によって維持されている私的又は公的な情報源であってもよい。クラウドユニット９４は、データの格納、管理、及び処理を行うためにインターネット上でホストされる１つ又は複数のサーバを備えてもよい。長距離ネットワーク９６は、複数のデバイスを無線分散方式で繋ぐ無線ローカルエリアネットワーク（ＬＡＮ）、いくつかの無線ＬＡＮを接続する無線メトロポリタンエリアネットワーク（ＭＡＮ）、又は近隣の市町村などの広い地域をカバーする無線ワイドエリアネットワーク（ＷＡＮ）であってもよい。他のタイプの接続が採用されてもよい。
【0041】
コントローラＣは、図１に示すモバイルアプリケーション９８を介して、リモートサーバ９２との無線通信を受信及び送信するように構成され得る。モバイルアプリケーション９８は、コントローラＣのデータにアクセスできるように、短距離ネットワーク５６を介してコントローラＣと通信し得る。一例では、モバイルアプリケーション９８は、コントローラＣに物理的に接続（例えば、有線接続）される。別の例では、モバイルアプリケーション９８は、コントローラＣに組み込まれる。当業者が利用できるリモートサーバ９２及びモバイルアプリケーション９８（「アプリ」）の回路及び構成要素が採用されてもよい。
【0042】
ＩＩ．方法例又は実施態様
図３をこれより参照して、システム１０の実施態様例又は方法１００のフローチャートを示す。方法１００は、本明細書に記載された特定の順序で適用される必要はなく、幾つかのブロックが省略されてもよいことが理解される。メモリＭはコントローラ実行可能命令セットを記憶することができ、プロセッサＰはメモリＭに記憶されたコントローラ実行可能命令セットを実行することができる。方法１００は、立体視覚化カメラ１２及び光学コヒーレンストモグラフィ（ＯＣＴ）モジュール１４に基づいて複合共有ビューを特定できるようにする。
図３をこれより参照して、システム１０の実施態様例又は方法１００のフローチャートを示す。方法１００は、本明細書に記載された特定の順序で適用される必要はなく、幾つかのブロックが省略されてもよいことが理解される。メモリＭはコントローラ実行可能命令セットを記憶することができ、プロセッサＰはメモリＭに記憶されたコントローラ実行可能命令セットを実行することができる。方法１００は、立体視覚化カメラ１２及び光学コヒーレンストモグラフィ（ＯＣＴ）モジュール１４に基づいて複合共有ビューを特定できるようにする。
【0043】
図３のブロック１０２及び１０４により、ＯＣＴモジュール１４は較正され、ＯＣＴモジュール１４を介して標的部位１６の第１の組のボリュームデータが取得される。以下詳細に記載するように、ＯＣＴモジュール１４を較正することは、軸方向Ａ、第１の横断方向Ｔ１、及び第２の横断方向Ｔ２（図４Ａ～図４Ｃ参照）に沿った較正を含む。図３のブロック１０６及び１０８により、立体視覚化カメラ１２が較正され、立体視覚化カメラ１２から第２の組のボリュームデータ（即ち三次元のカメラデータ）が取得される。
【0044】
ブロック１１０により、コントローラＣは、ＯＣＴモジュールからの第１の組のボリュームデータを立体視覚化カメラ１２からの第２の組のボリュームデータと見当合わせして、第３の組の見当合わせ済みボリュームデータを作成するように構成される。立体視覚化カメラ１２の各出力画像が、ＯＣＴモジュール１４の各出力画像と同じ空間に位置決めされるように、視差マッピングを利用し得る。視差マップは、一対の立体画像間の推定ピクセル差又は動きを含み得る。較正及び見当合わせについては図６～図１８に関して詳細に後述する。
【0045】
ブロック１１２により、ＶＲモジュール５１（図１参照）を介して第３の組の見当合わせ済みボリュームデータを第１の領域にレンダリングして、二次元ＯＣＴビューを取得する。ブロック１１４により、ＶＲモジュール５１を介して立体視覚化カメラ１２からの第２の組のボリュームデータを第２の領域にレンダリングして、ライブ二次元立体ビューを取得する。ボリュームレンダリングは、ボリュームデータのあらゆるボクセルが再構築画像に寄与できるようにする三次元ボリューム再構築法を指す。別の言い方をすれば、ボリュームレンダリングは、３Ｄ離散サンプリングデータセットの２Ｄ投影を表示するのに使用される１組の技法である。第１及び第２の領域は、データを一時的に記憶するのに使用されるバッファ等の物理的なメモリ記憶ユニットを含み得る。
【0046】
ブロック１１６により、第１の領域及び第２の領域を重ねて、標的部位の複合共有ビューを取得し、これは第１及び第２のディスプレイ３２、３４の少なくとも一方に表示し得る。眼球Ｅの複合共有ビュー３００の一例を図５に示し、以下説明する。ブロック１１８により、コントローラＣは、複合共有ビュー３００から構造的特徴を抽出するように構成し得る。第１の組のボリュームデータは第１の周波数で更新されるように構成し得、第２の組のボリュームデータは第２の周波数で更新されるように構成し得る。一例では、第１の組のボリュームデータ及び第２の組のボリュームデータの更新は同期されない。別の言い方をすれば、立体視覚化カメラ１２及びＯＣＴモジュール１４は各待ち時間を定義し得る。これを軽減するために、コントローラＣは、二次元ＯＣＴビューの表示を選択的に遅延させて、立体視覚化カメラ１２の各待ち時間に合致させるように構成された第１の組の画像バッファを含み得る。コントローラＣは、逆のことを行い、二次元立体ビューの表示を選択的に遅延させて、ＯＣＴモジュール１４の各待ち時間に合致させるように構成された第２の組の画像バッファを含み得る。
【0047】
ＩＩＩ．システム動作
図４Ａ、図４Ｂ、図４Ｃ、及び図４Ｄをこれより参照して、ＯＣＴモジュール１４のスキャン領域例を示す。図４Ａ及び図４Ｂはスキャンパターン例の概略断片斜視図であり、一方、図４Ｃ及び図４Ｄはスキャンパターン例の概略断片上面図である。図４Ａを参照すると、標的部位１６のスポットスキャン６０に向けられた単一スキャンは、第１のビームＢ１が入射方向に沿って向けられる物理的サンプルの構造の深度スキャン２０２を生成する。図４Ａを参照すると、深度スキャン２０２は「Ａスキャン」と呼ぶことができ、軸方向Ａに沿って検出される深度２０４にスキャンするように構成される。図２に示される例では第１の光源４０の移動方向である軸方向Ａ。
図４Ａ、図４Ｂ、図４Ｃ、及び図４Ｄをこれより参照して、ＯＣＴモジュール１４のスキャン領域例を示す。図４Ａ及び図４Ｂはスキャンパターン例の概略断片斜視図であり、一方、図４Ｃ及び図４Ｄはスキャンパターン例の概略断片上面図である。図４Ａを参照すると、標的部位１６のスポットスキャン６０に向けられた単一スキャンは、第１のビームＢ１が入射方向に沿って向けられる物理的サンプルの構造の深度スキャン２０２を生成する。図４Ａを参照すると、深度スキャン２０２は「Ａスキャン」と呼ぶことができ、軸方向Ａに沿って検出される深度２０４にスキャンするように構成される。図２に示される例では第１の光源４０の移動方向である軸方向Ａ。
【0048】
図２の第１のビームＢ１は、操縦ユニット６４を使用して標的部位１６の周囲を連続して移動し得、それにより例えば、第１の横断スキャン範囲２１４に沿った第２の深度スキャン２０６、第３の深度スキャン２０８、第４の深度スキャン２１０、及び第５の深度スキャン２１２を可能にし得る。そのような一連のＡスキャンはＢスキャン又は行スキャン２１６と呼ぶことができる。
【0049】
図４Ｃを参照すると、光路を概ね第１の横断スキャン範囲２１４に沿って操縦し、次いでラスタパターン２１８に沿って「ステップアンドリピート」パス操縦を実行して、開始点２２０及び後続線におけるサイクルを繰り返すことにより、深度スキャンのグリッドを第１の横断スキャン範囲２１４及び第２の横断スキャン範囲２２２に沿い標的部位１６に沿ってトレースし得る。図４Ａ及び図４Ｂを参照すると、これは、立方骨の形状を有し得る、三次元サンプリングボリューム２２４を生成する。操縦ユニット６４は、ラスタパターン２１８に沿って連続移動し得る。サンプリングされたボリューム２２４の境界２２６は、後述のようにＯＣＴ較正中に特定し得る。
【0050】
図４Ａを参照すると、深度スキャン２０２の検出される深度２０４又は侵入深度は、開始点２２０における第１の光源４０のスペクトル、スペクトルにわたる開始点２２０の光学特性、及び検出器４４のスペクトル分解能を含む多くの要因に依存する。同様に、開始点２２０はＯＣＴモジュール１４のデータ空間の近範囲として描かれ得、最初の検出点は標的部位１６の形状及び特性に依存する。反射点は、ラインスキャンカメラデータにおいて「明るい」ピクセルとして出現し得る。例えば、可能なピクセル値が０～２５５の範囲である場合、非反射点は３０以下の値を有し得、一方、明るい反射点は１５０以上の値を有し得る。例えば、第１のビームＢ１に含まれる波長において透明又は半透明である人間の皮膚又は人間の眼球等の材料を用いる場合、深度スキャン２０２は材料中に数ｍｍ侵入し得る。
【0051】
各Ａスキャン（例えば、第２の深度スキャン２０６、第３の深度スキャン２０８、第４の深度スキャン２１０、及び第５の深度スキャン２１２）の処理と一緒の操縦ユニット６４による第１のビームＢ１の移動は、再構築プロセス中、下流のプロセスが同じ順序及び同じ相対場所でスキャンを組み立て直し得るように、コントローラＣ及び／又はＯＣＴプロセッサ５０によってシステム１０の残りの部分と同期し得る。絶対場所は、後述する較正及び見当合わせ方法を介して特定し得る。
【0052】
一実施形態では、操縦ユニット６４は多軸ガルバノメータ又は１組（例えば一対）の単軸ガルバノメータを含む。単軸ガルバノメータは、電気制御下で軸において前後にロックすることができ、それにより、ミラーで反射される光のパスの反射方向を１軸の回りのみで変更できるようにする小型軽量ミラーである。これは、一横断方向でのＢスキャンを可能にする。多軸ガルバノメータは、２つの単軸ガルバノメータが一緒になったものと見なし得る。一横断方向においてＢスキャン方向に沿って光を操縦し、一方、他方の横断方向においてＢスキャン方向に沿って光を操縦する。他の実施形態では、操縦デバイスは、典型的にはガルバノメータをより小型且つ軽量にしたものであるが、シリコンコンピュータチップ精算プロセスを使用して製造されるデジタル微小ミラーとして実施し得る。操縦ユニット６４が連続移動を使用して動作する場合、サンプリング中に生じる操縦ユニット６４の移動に起因して、ＯＣＴモジュール１４によって取得されるデータの幾らかのぶれが生じ得る。これは、操縦ユニット６４にガルバノメータの代わりにステッパモータ駆動式ミラーを含み使用することによって軽減し得る。操縦ユニット６４は、目下の用途並びに所望の速度、重量、分解能、精度、及び再現性に基づいて選択し得る。
【0053】
ＯＣＴモジュールの分解力及び深度
システム１０のサンプリング分解能は、軸方向Ａ（Ａスキャンの方向）での分解能、単一Ａスキャンの直径、及び２つの残りの方向、即ち第１の横断方向Ｔ１及び第２の横断方向Ｔ２の各々での隣接するＡスキャンの隔たりの関数である。一例では、２つの異なる軸方向分解能が可能である：高深度低分解能」モードでの第１の軸方向分解能及び「低深度高分解能」モードでの第２の軸方向分解能。一例では、第１及び第２の軸方向分解能はそれぞれ概ね２０マイクロメートル（２０μｍ）及び２マイクロメートル（２μｍ）である。この実施形態では、２つの異なる光源を使用して異なる軸方向分解能を実施し得る：「低深度高分解能」用の高帯域幅光源及び「高深度低分解能」用の低帯域幅光源。最適な実行のために、各光源はそれ自体の検出器／分光計と組み合わせられて、結果として生じる帯域幅を最良に利用し得る。光源／分光計対間の切り替えは、光学スイッチ（図示せず）を使用して達成し得る。
システム１０のサンプリング分解能は、軸方向Ａ（Ａスキャンの方向）での分解能、単一Ａスキャンの直径、及び２つの残りの方向、即ち第１の横断方向Ｔ１及び第２の横断方向Ｔ２の各々での隣接するＡスキャンの隔たりの関数である。一例では、２つの異なる軸方向分解能が可能である：高深度低分解能」モードでの第１の軸方向分解能及び「低深度高分解能」モードでの第２の軸方向分解能。一例では、第１及び第２の軸方向分解能はそれぞれ概ね２０マイクロメートル（２０μｍ）及び２マイクロメートル（２μｍ）である。この実施形態では、２つの異なる光源を使用して異なる軸方向分解能を実施し得る：「低深度高分解能」用の高帯域幅光源及び「高深度低分解能」用の低帯域幅光源。最適な実行のために、各光源はそれ自体の検出器／分光計と組み合わせられて、結果として生じる帯域幅を最良に利用し得る。光源／分光計対間の切り替えは、光学スイッチ（図示せず）を使用して達成し得る。
【0054】
図４Ｃを参照すると、スポットスキャン６０の直径は第１の組の寸法２４０及び２４２によって表され得、第１の光源４０の構造及び第１のビームＢ１が直面する後続光路等の要因に関連する。一例では、第１の組の寸法２４０及び２４２は等しく、概ね１５μｍ～８０μｍの範囲である。他の例では、第１の組の寸法２４０及び２４２は等しくない。図４Ｃを参照すると、隣接するＡスキャン又は深度スキャン２０２の隔たりは、第２の組の寸法２４４及び２４６によって表し得、これらは等しい値であり得、概ね１５μｍ～８０μｍの範囲であり得る。隔たりは、操縦ユニット６４から標的部位１６への光学距離及び操縦ユニット６４の分解能等の要因に関連する。
【0055】
先に触れたように、操縦ユニット６４は、第１の操縦部材６５、第２の操縦部材６６、及び第３の操縦部材６８等の複数の操縦部材を含み得る。操縦部材の分解能は隔たりに影響する。第１及び第２の横断スキャン範囲２１４、２１６のスパンは、操縦ユニット６４の性質に関連する。軸方向Ａ並びに第１及び第２の横断方向Ｔ１、Ｔ２における分解能の各値、軸方向スパン又は検出された深度２０４、並びに第１及び第２の横断スキャン範囲２１４及び２２２のスパンはそれぞれ、ＯＣＴ較正プロセス中、後述のように決定し得る。
【0056】
他のスキャンパターン
図４Ｄを参照すると、他のスキャンパターンが操縦ユニット６４の相対的タイミングを変えることによって可能である。例えば、径方向スキャンパターン２５０を実施し得、ここで、円形領域２５２が例えばスキャン開始点２５４から開始され、径方向パス２５６に沿って進み、パス２５８に沿って「ステップ」及びサンプルパス２６０の「リピート」（又は他の実施形態ではサンプルパス２６０に沿った連続移動）を実行してサンプリングされる。このスキャンを簡易化したより高速のバージョンは、一対のスキャンが横断方向において互いに垂直に向けられた「２つのＢスキャン」プロセスを含み得、それにより、これらの正弦されたスキャンで移動を検出することができるような速度まで標的部位１６の移動のより高速の決定が可能になる。
図４Ｄを参照すると、他のスキャンパターンが操縦ユニット６４の相対的タイミングを変えることによって可能である。例えば、径方向スキャンパターン２５０を実施し得、ここで、円形領域２５２が例えばスキャン開始点２５４から開始され、径方向パス２５６に沿って進み、パス２５８に沿って「ステップ」及びサンプルパス２６０の「リピート」（又は他の実施形態ではサンプルパス２６０に沿った連続移動）を実行してサンプリングされる。このスキャンを簡易化したより高速のバージョンは、一対のスキャンが横断方向において互いに垂直に向けられた「２つのＢスキャン」プロセスを含み得、それにより、これらの正弦されたスキャンで移動を検出することができるような速度まで標的部位１６の移動のより高速の決定が可能になる。
【0057】
図４Ｄを参照すると、径方向スキャンパターン２５０を利用して、面２６０、２６２、２６４、２６６、及び２６８に沿って複数の径方向Ｂスキャンを取得し得、円柱形ボリュームをサンプリングし得る。そのようなサンプリングパターンは、例えば、種々の二次元曲率を測定することが望ましいことがある人間の眼球の表面を扱って作業する場合、有利である。曲率は、特に、概ねラスタパターン２１８を使用し、サンプルから直接又は数個～多数個のサンプル間で曲線フィッティングを使用して平均最高点を抽出して達成されるようにサンプルボリュームの中心が表面曲率の中心と位置合わせされる場合、サンプルラインに沿って存在するように見える。図４Ｃを参照すると、そのような径方向スキャンパターン２５０の更なる改善は、角度で隔てられた少なくとも２つの接続された線分を含む結ばれた線分２７０に沿ってＡスキャンを追加することによって円柱形サンプル空間を埋めることを含む。
【0058】
図５を参照すると、眼球Ｅの複合共有ビュー３００の一例が第１のディスプレイ３２（又は図１の第２のディスプレイ３４）に示されている。図５には、眼球Ｅの瞳孔３０２及び虹彩３０６も示されている。ＯＣＴモジュール１４によって捕捉された眼球Ｅの前面及び後面は別個に抽出し得、各トポグラフィマップがそのような各表面に生成され得、例えば異なるパターンを使用して相対深度を表す立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２からのビューと重ねられ得る。図５を参照すると、眼球Ｅのライブ立体画像Ｌにトポグラフィ輪郭線３１２が重ねられる。トポグラフィ輪郭線３１２は、第１のトポグラフィレベル３１４及び第２のトポグラフィレベル３１６等の複数のトポグラフィレベルによって表現し得る。可能なトポグラフィレベルの数は、ＯＣＴモジュール１４の軸方向分解能に関連する。コントローラＣは、複合共有ビュー３００上に二次元ＯＣＴビューの境界を示す少なくとも１つの注釈３２０（図５の破線円）を追加するように構成し得る。第２の注釈３３０は眼球Ｅのランドマークを示し得る。コントローラＣは、眼球Ｅの他の特徴に対する第１のディスプレイ３２上の第２の注釈３３０の相対位置を維持するように構成し得る。
【0059】
システム較正
システム１０は、２つの撮像モダリティによって提供された情報を融合するように構成される：立体視覚化カメラ１２及びＯＣＴモジュール１４。立体視覚化カメラ１２は２つの２Ｄ視覚化モジュールＶ１、Ｖ２、例えば立体画像の左ビュー及び右ビューを一般に提供する２台のカメラを含む。立体視覚化カメラ１２及びＯＣＴモジュール１４の画像空間情報を正確且つ臨床的に有用な融合を可能にするために、システム１０は、まるで全次元で同じ三次元物体を表すかのように２つの撮像モダリティの各々によってそれぞれ作られた捕捉をユーザに表現するように構成される。各モダリティからの標的部位１６の特定の部分からのデータは、同じ場所に表示されなければならず、又は同じ場所にあることを他の方法で暗示しなければならない。さらに、システム１０は、全次元にわたり複数の次元を表現する画像について、画像全体を通してサイズ及び向きが合致する（本明細書では視点の合致と呼ばれる）ように構成される。さらに、立体視覚化及び立体ＯＣＴ画像の両方の融合表示を含む実施形態では、各モダリティからの左ビュー及び右ビューが組み合わせられて、画像セットを構成することが求められる。最適な制度及び視覚的快適性のために、各モダリティの第１及び第２のビューは各々、各眼内距離、スケール、視点、及び向き等の同一の立体パラメータを有するように見えなければならない。
システム１０は、２つの撮像モダリティによって提供された情報を融合するように構成される：立体視覚化カメラ１２及びＯＣＴモジュール１４。立体視覚化カメラ１２は２つの２Ｄ視覚化モジュールＶ１、Ｖ２、例えば立体画像の左ビュー及び右ビューを一般に提供する２台のカメラを含む。立体視覚化カメラ１２及びＯＣＴモジュール１４の画像空間情報を正確且つ臨床的に有用な融合を可能にするために、システム１０は、まるで全次元で同じ三次元物体を表すかのように２つの撮像モダリティの各々によってそれぞれ作られた捕捉をユーザに表現するように構成される。各モダリティからの標的部位１６の特定の部分からのデータは、同じ場所に表示されなければならず、又は同じ場所にあることを他の方法で暗示しなければならない。さらに、システム１０は、全次元にわたり複数の次元を表現する画像について、画像全体を通してサイズ及び向きが合致する（本明細書では視点の合致と呼ばれる）ように構成される。さらに、立体視覚化及び立体ＯＣＴ画像の両方の融合表示を含む実施形態では、各モダリティからの左ビュー及び右ビューが組み合わせられて、画像セットを構成することが求められる。最適な制度及び視覚的快適性のために、各モダリティの第１及び第２のビューは各々、各眼内距離、スケール、視点、及び向き等の同一の立体パラメータを有するように見えなければならない。
【0060】
このために、これらの２つの撮像モダリティの各々によってそれぞれ行われた捕捉は、較正プロセスにおいて共通空間に変換され、適切な場合、見当合わせプロセスにおいて位置、向き、及びサイズに位置合わせされる。さらに、そのような画像融合のユーザへの提示は典型的には、フラットパネルディスプレイ等の表示デバイスに依拠するため、例えば二次元表現を作成することによって「ディスプレイ空間に移る」方法は、各撮像モダリティの最終表現において合致するように表現される関連パラメータを生成しなければならない。
【0061】
ここで使用される各モダリティは、標的部位１６の異なる表現又は性質を捕捉する。立体視覚化カメラ１２は可視光に関連するデータを捕捉し、一方、ＯＣＴモジュール１４は、標的部位１６上及び内部の構造の位置に関連する１組の強度を捕捉する。例えば、角膜の略透明な前面及び後面はＯＣＴモジュール１４によって撮像し得るが、多くの場合、立体視覚化カメラ１２を用いては明確に見ることは困難である。入力データは各事例で、シーン物体の位置、向き、及びサイズの物理的パラメータに従って配置され、２つのモダリティはこれらの物理的パラメータを共有する。データセットを共通のベース次元（ミリメートル等）に変換し、互いに且つ／又は既知の基準点に対して位置、向き、スケールを位置合わせすることによって画像を見当合わせすることにより、データセットの同時使用が行われる。換言すれば、所与のシーン又はシーンの一部分の各画像空間表現は、幾らかの許容差内で同じサイズ、同じ向き、同じ位置であるように見えることになる。
【0062】
ＯＣＴモジュールの較正
ＯＣＴモジュール１４の較正は、軸方向較正及び横断較正を含む。さらに、第１のビームＢ１が標的部位１６を透過する材料の屈折率の補償を行わなければならない。種々の環境条件で較正を実行し、現在の条件への結果の補間及び外挿を行うことにより、環境変動を補償し得る。例えば、軸方向較正をヘッドユニット１８の予期される動作範囲にわたって複数の温度で実行し得、温度に応じた結果を種々の複雑性の較正曲線にフィッティングする。次いでヘッドユニット１８の構成要素の動作温度を手術時に測定し得、較正曲線を使用して、現在の手術に正確な軸方向較正を決定し得る。
ＯＣＴモジュール１４の較正は、軸方向較正及び横断較正を含む。さらに、第１のビームＢ１が標的部位１６を透過する材料の屈折率の補償を行わなければならない。種々の環境条件で較正を実行し、現在の条件への結果の補間及び外挿を行うことにより、環境変動を補償し得る。例えば、軸方向較正をヘッドユニット１８の予期される動作範囲にわたって複数の温度で実行し得、温度に応じた結果を種々の複雑性の較正曲線にフィッティングする。次いでヘッドユニット１８の構成要素の動作温度を手術時に測定し得、較正曲線を使用して、現在の手術に正確な軸方向較正を決定し得る。
【0063】
ＯＣＴモジュールの軸方向較正
軸方向較正とは、深度方向又は軸方向Ａに沿ったＯＣＴデータのピクセルが物理的単位、例えばミリメートル（１／１０００メートル）又はマイクロメートル（１／１０００ミリメートル）に変換されるような第１のビームＢ１（図２参照）に沿った距離の較正である。図６Ａは、ＯＣＴモジュール１４の基準アーム４６における軸方向較正セットアップ４００の概略図である。図６Ａは、ビームスプリッタ４２及び基準アーム反射デバイス６２を示す。基準アーム反射デバイス６２は平坦な第１表面ミラーであり得る。他の実施形態では、基準アーム反射デバイス６２は、最小の損失で制御された方向に沿ってビームを反射することが可能なコーナキューブ又は他の光学得構造であり得る。図６Ａを参照すると、軸方向較正セットアップ４００は、方向４０２に移動するように構成され、基準アーム４６の制御及び読み出しモジュール４０６と通信する較正線形運動機構又はリニアアクチュエータ４０４を含む。
軸方向較正とは、深度方向又は軸方向Ａに沿ったＯＣＴデータのピクセルが物理的単位、例えばミリメートル（１／１０００メートル）又はマイクロメートル（１／１０００ミリメートル）に変換されるような第１のビームＢ１（図２参照）に沿った距離の較正である。図６Ａは、ＯＣＴモジュール１４の基準アーム４６における軸方向較正セットアップ４００の概略図である。図６Ａは、ビームスプリッタ４２及び基準アーム反射デバイス６２を示す。基準アーム反射デバイス６２は平坦な第１表面ミラーであり得る。他の実施形態では、基準アーム反射デバイス６２は、最小の損失で制御された方向に沿ってビームを反射することが可能なコーナキューブ又は他の光学得構造であり得る。図６Ａを参照すると、軸方向較正セットアップ４００は、方向４０２に移動するように構成され、基準アーム４６の制御及び読み出しモジュール４０６と通信する較正線形運動機構又はリニアアクチュエータ４０４を含む。
【0064】
図６Ｂ、図６Ｃ、及び図６Ｄはそれぞれ、ＯＣＴモジュール１４の軸方向較正での較正デバイス４５０の上面図、側面図、及び正面図を示す。較正デバイス４５０は、幾らか反射性を有する公称的に平坦な表面を有して作られ得る。較正デバイス４５０は、シーン場所の固定位置、即ち標的部位１６に配置され、これは他の全ての測定の公称場所になり、その平坦な反射面は第１のビームＢ１の幾らかをビームスプリッタ４２に向けて反射する。立体視覚化カメラ１２の焦点面ＦへのＯＣＴモジュール１４の軸方向較正情報の関連付けを促進するために、較正デバイス４５０はまた、立体視覚化カメラ１２の表面への焦点合わせを助けるようにテクスチャ化される。テクスチャは非周期的であり、以下の１つ又は複数であり得る：材料に固有；プリント且つ／又は固定；投影。
【0065】
図６Ｂ～図６Ｄを参照すると、較正デバイス４５０は第１の寸法４５２、第２の寸法４５４、及び第３の寸法４５６を有する。較正デバイス４５０の第１の寸法４５２又は厚さ寸法は、他の２つの寸法（例えば４５４及び４５６）よりもはるかに小さくなるように構成され、それにより、付影等のその寸法への軸方向撮像の悪影響を回避する。立体視覚化カメラ１２は較正デバイス４５０の表面に合焦され、リニアアクチュエータ４０４の位置の値が記録される。
【0066】
図６Ｂ～図６Ｄを参照すると、較正デバイス４５０は、各々異なる構造性質及び異なるサイズを有する第１のセグメント４５８及び第２のセグメント４６０を有する不規則形状に作られ得、それにより向きを特定し得る。当業者が利用可能な自動アルゴリズムを利用して、第１のセグメント４５８及び第２のセグメント４６０からのデータを分離し得る。
【0067】
図６Ａをこれより参照すると、リニアアクチュエータ４０４はまず開始位置４１０に設定され、開始位置４１０は基準アーム反射デバイス６２の公称場所になる。説明したような較正デバイス４５０の表面及び基準アーム反射デバイス６２を有するこのセットアップの第１の測定が行われる。図７Ａを参照すると、表面の出力画像４７０（Ｂスキャン）が作成され、較正デバイス４５０の上面を表す「明ピクセル」の第１の線４７２が観測される。データにおける軸方向Ａに沿った明ピクセルの第１の線４７２の場所が記録される。図７Ｂはピクセル化された出力画像４８０を示す。図７Ｂを参照すると、示す例では、第１の線４７２は画像高さＨ（図７Ａに示される）の約２０％に生じるように見える。
【0068】
図７Ａ及び図７Ｂを参照すると、明るさが劣るピクセルの第２の線４７４も見られ、較正デバイス４５０の後面を表す。そのような線は測定の補助確認として、較正デバイス４５０の材料の屈折率の影響を較正するために使用し得る。代替的には、ＯＣＴモジュール１４の軸方向較正が完了すると、第１の線４７２からの第２の線４７４のピクセル単位での隔たりをカウントすることにより、較正デバイス４５０の厚さが測定される。ＯＣＴデータにおける垂直位置は、基準アーム反射デバイス６２においてリニアアクチュエータ４０４の設定によって表される立体視覚化カメラ１２の焦点距離に対応し、他方の値を使用して対を探すことによって各値を検索し得るように、データ対として焦点設定と共に記録される。データ対セットを利用して、動作中、リニアアクチュエータ４０４の設定をその現在値に保持又は維持することにより、ＯＣＴデータと立体視覚化カメラ１２からの画像データとを合致させ得る。次いで、リニアアクチュエータ４０４は、所与のＡスキャンの予期される範囲（例えば図４Ａに示されるように軸方向Ａに沿った検出深度２０４）よりも小さい量だけ移動する。この量は典型的には、予期される範囲よりも１桁～３桁小さい。立体視覚化カメラ１２のフォーカスは変わらない。データにおける「明ピクセル」位置の対応する変化は、このフォーカス設定の立体視覚化カメラ１２の精密な線形運動機構の位置変化に対応する。サンプルアーム４８の第１のビームＢ１は立体視覚化カメラ１２の共通対物レンズセット７２（図２参照）を透過し、したがって対物レンズセット７２によって影響されるため、フォーカス設定は含まれる。したがって例えば、リニアアクチュエータ４０４が１ｍｍ移動し、「明ピクセル」がデータにおいて１００ピクセル移動する場合、１ｍｍを１００で除した軸方向長さ、即ち１０マイクロメートル（１０μｍ）を表すデータ内の各ピクセルが計算される。この値は、このフォーカス設定のデータ対エントリに追加される。このプロセスを続け、したがってリニアアクチュエータ４０４をその範囲に沿って移動させることにより、このフォーカス設定及びアクチュエータ設定での立体視覚化カメラ１２の焦点面に対するＯＣＴモジュールの軸方向範囲が直接又は外挿によって見つけられる。
【0069】
ＯＣＴ軸方向較正データは、フォーカス設定が画像の一番（０％画像高さ）に見られるように調整し得る。例えば、立体視覚化カメラ１２が合焦された表面の下のみの撮像が望まれる場合、ＯＣＴデータの合焦面の公称位置の場所は、ＯＣＴデータ範囲の一番上に向けて移動し得る。ＯＣＴデータ軸方向範囲の軸方向オフセットの制御は、以下のように実施し得る。立体視覚化カメラ１２は較正デバイス４５０に合焦され、リニアアクチュエータ４０４（図６Ａ参照）は、第１の線４７２がデータにおける所望の第１の垂直場所４７６（図７Ｂ参照）、例えばピクセル行０にシフトするまで調整される。第２の線４７４は所望の第２の垂直場所４７８（図７Ｂ参照）にシフトする。基準アーム４６のこのオフセット位置は任意選択的に、永久的な基準アームミラーマウントが使用される場合、例えば作業距離補償部材９０がサンプルアーム４８において実施される場合、永久的な基準アームミラーマウントの取り付け位置として使用し得る。軸方向較正は１つのＡスキャンだけを使用して実行し得る。しかしながら、Ｂスキャンは、一次元における較正デバイス４５０の位置及びＯＣＴモジュール１４の第１のビームＢ１に対する一次元におけるその傾斜を検出する機会を提供する。完全な三次元ボリュームサンプリングの実行は、他の２次元についての情報を提供する。さらに、そのような傾斜及び位置の検出は、ＯＣＴ空間を立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の各カメラ空間と見当合わせするのに役立つ。
【0070】
ＯＣＴモジュールの横断較正
ＯＣＴスキャン空間の第１及び第２の横断次元Ｔ１、Ｔ２の各々における較正は、ＯＣＴモジュール１４を用いてパターン化された標的を見ることによって達成される。パターン化された標的５００の一例を図８Ａに示す。パターン化された標的５００は、複数の尺度の既知の各幅５０４、高さ５０６、及び各ギャップ５０８を有する複数のバーパターン５０２を有する。パターン化された標的５００は、主に平坦な基板上にプリントされるか、又は他の方法で見えるようにし得る。パターン化された標的５００の厚さは、他の２次元よりもはるかに小さな大きさであるように構成される。これは、付影等の第３の次元を撮像することの横断構成に対する潜在的な悪影響を低減する。例えば、パターン化された標的５００は、例えば、正の最大標的幅５ｍｍ及び厚さ約１μｍ又は１０μｍで、ガラス基板上にクロムを用いてフォトリソグラフィを介してプリントし得る。
ＯＣＴスキャン空間の第１及び第２の横断次元Ｔ１、Ｔ２の各々における較正は、ＯＣＴモジュール１４を用いてパターン化された標的を見ることによって達成される。パターン化された標的５００の一例を図８Ａに示す。パターン化された標的５００は、複数の尺度の既知の各幅５０４、高さ５０６、及び各ギャップ５０８を有する複数のバーパターン５０２を有する。パターン化された標的５００は、主に平坦な基板上にプリントされるか、又は他の方法で見えるようにし得る。パターン化された標的５００の厚さは、他の２次元よりもはるかに小さな大きさであるように構成される。これは、付影等の第３の次元を撮像することの横断構成に対する潜在的な悪影響を低減する。例えば、パターン化された標的５００は、例えば、正の最大標的幅５ｍｍ及び厚さ約１μｍ又は１０μｍで、ガラス基板上にクロムを用いてフォトリソグラフィを介してプリントし得る。
【0071】
図８Ｂを参照して、較正標的５２０の別の例を示す。較正標的５２０は、異なるサイズの幅、高さ、及び隔たりを有する複数の較正サブ標的５２２のそれぞれを含み得る。さらに、較正標的５２０は複数の異なる尺度５２４、５２６、５２８を含み得る。当業者が利用可能な他のパターン及び／又は標的が採用されてもよいことが理解される。較正標的５２０を用いた立体視覚化カメラ１２の一例の較正方法１１００を図１７に関して以下説明する。
【0072】
これより図９Ａを参照して、ＯＣＴモジュール１４の横断較正のために複数の較正デバイス６０２を有する装置６００の概略斜視図を示す。複数の較正デバイス６０２（パターン化された標的５００、較正標的５２０、及び／又は他の標的を含み得る）が視野に配置され、ＯＣＴモジュール１４によって撮像される。図９Ｂ及び図９Ｃは、図９Ａの装置６００から受信したデータ例を示す。図９Ｂ及び図９Ｃはそれぞれ、第１の出力画像６５０及び第２の出力画像６７０を示す。第２の出力画像６７０は、ピクセル分割を有する第１の出力画像６５０を示す。図が一定の縮尺ではないことが理解される。
【0073】
図９Ｃを参照すると、Ａスキャン方向６５２は大地及び入力出力画像６５０、６７０において垂直であり、Ｂスキャン方向６５４は水平である。較正デバイス６０２の主面は、第１のビームＢ１に直交して位置するものと仮定される。上面６３４（図９Ａ参照）は水平線６３６として検出される。更に簡素化するために、後面はこれらのＯＣＴ画像に示されていない。較正デバイス６０２の正（例えばクロムパターン線）の部分６３７と負（例えば空又はブランク）の部分６３８との間の差は、厚さ及び／又は強度の差としてＯＣＴデータにおける水平線６３６において認識できる。
【0074】
第１及び第２の出力画像６５０、６７０から、正の標的線のピクセル単位でのピクセル幅６４０は概ね４ピクセル幅として読み取られ得る。負の標的線のピクセル幅６４２に対しても同様に。較正デバイス６０２の物理的な各幅６４４及び隔たり６４６を知った上で、ＯＣＴデータの横断方向におけるピクセルから現実世界の物理的距離への変換が可能になる。例えば、ＯＣＴモジュール１４が、図８Ａのパターン化された標的５００を撮像する場合、正の領域が１ｍｍ幅であり、負の領域が１ｍｍ幅であり、データにおいて、パターン化された標的５００の正の部分のピクセル単位の幅が１００ピクセルであることが手動で測定されるか、又はアルゴリズムによって検出されるとき、横断分解能は１ｍｍを１００ピクセルで除したもの、即ちピクセル当たり１０μｍと計算される。パターン化された標的５００の負の部分は、幾つかの実施形態では正の部分と共に使用されて、測定バイアスの影響を低減し、測定サンプルの全体数を増大させ得、それにより、測定ノイズを低減することによって精度が上がり得る。
【0075】
上述した横断較正法は、ＯＣＴモジュール１４の操縦ユニット６４（図２参照）の横断分解能を特定できるようにする。ＯＣＴプロセッサ５０及び／又はコントローラＣにおけるサブ構成要素により、隣接するＡスキャン間の操縦ユニット６４の移動制御設定の変更を得ることができる。Ａスキャン間で変更量が一定であり、ＯＣＴビーム角があまり変わらないと仮定すると、変更量から物理的距離への変換は、変更量を関心のある横断方向でのピクセル間の物理的距離で除することによって得ることができる。その他の横断次元における変更量も同様に見つけ得る。代替的には、変更量は多くのピクセル（例えば１０又は１００個）にわたって一度にとられ、それらの多くのピクセルがカバーすることが分かった物理的距離で除してもよい。
【0076】
ファン歪み
図２を参照すると、ＯＣＴモジュール１４の第１のビームＢ１は一般にＡスキャンにわたって非平行である。これは、狭いソース及び狭いビームがソース及びビームよりもはるかに広いボリュームにわたって向けられることが生じ、本明細書ではファン歪み（ｆａｎ ｄｉｓｔｏｒｔｉｏｎ）と呼ばれる。ＯＣＴモジュール１４からの軸方向距離が様々な較正デバイスを用いて行われた複数のスキャン間で較正デバイスのピクセルパターンを比較することにより、ファン歪みを考慮に入れるための改良を行い得る。軸方向距離の変化は、例えば、図８Ａに示す等の較正されたリニアアクチュエータ４０４を使用して行われることにより、軸方向較正ステップから分かる。ＯＣＴ画像データにおける正及び負の標的領域の分離は、当業者が利用可能なエッジ検出のための画像処理アルゴリズムを使用して自動化し得る。
図２を参照すると、ＯＣＴモジュール１４の第１のビームＢ１は一般にＡスキャンにわたって非平行である。これは、狭いソース及び狭いビームがソース及びビームよりもはるかに広いボリュームにわたって向けられることが生じ、本明細書ではファン歪み（ｆａｎ ｄｉｓｔｏｒｔｉｏｎ）と呼ばれる。ＯＣＴモジュール１４からの軸方向距離が様々な較正デバイスを用いて行われた複数のスキャン間で較正デバイスのピクセルパターンを比較することにより、ファン歪みを考慮に入れるための改良を行い得る。軸方向距離の変化は、例えば、図８Ａに示す等の較正されたリニアアクチュエータ４０４を使用して行われることにより、軸方向較正ステップから分かる。ＯＣＴ画像データにおける正及び負の標的領域の分離は、当業者が利用可能なエッジ検出のための画像処理アルゴリズムを使用して自動化し得る。
【0077】
横断オフセット
軸方向オフセットが任意選択的にいかに調整されて、ＯＣＴデータの「開始」が物理的空間において軸方向で生じる場所を制御するかと同様に、横断スキャンエリアも調整されて、物理的空間において両横断次元（例えば図４Ａにおける第１及び第２の横断次元Ｔ１、Ｔ２）でＯＣＴデータの「開始」又は「原点」が生じる場所を制御し得る。このオフセットの制御は、ＯＣＴモジュール１４のスポットスキャン６０が所与のシーンの周囲で移動するこができるように有用であるだけでなく、基準点又はＯＣＴモジュール１４に対して相対的又は絶対的な既知の場所にその原点を設定するのに有用である。例えば、立体視覚化カメラ１２の２つの２Ｄ視覚化モジュールＶ１、Ｖ２のうちの一方の焦点面の左上隅をそのような基準点として使用し得る。横断オフセットの測定は、上記横断較正方法を使用して見出し得、後に使用するために記録し得る。
軸方向オフセットが任意選択的にいかに調整されて、ＯＣＴデータの「開始」が物理的空間において軸方向で生じる場所を制御するかと同様に、横断スキャンエリアも調整されて、物理的空間において両横断次元（例えば図４Ａにおける第１及び第２の横断次元Ｔ１、Ｔ２）でＯＣＴデータの「開始」又は「原点」が生じる場所を制御し得る。このオフセットの制御は、ＯＣＴモジュール１４のスポットスキャン６０が所与のシーンの周囲で移動するこができるように有用であるだけでなく、基準点又はＯＣＴモジュール１４に対して相対的又は絶対的な既知の場所にその原点を設定するのに有用である。例えば、立体視覚化カメラ１２の２つの２Ｄ視覚化モジュールＶ１、Ｖ２のうちの一方の焦点面の左上隅をそのような基準点として使用し得る。横断オフセットの測定は、上記横断較正方法を使用して見出し得、後に使用するために記録し得る。
【0078】
標的空間に対するＯＣＴ空間の配置
図１０Ａは、標的空間を定義する較正デバイスに対するＯＣＴモジュールの各データ空間の場所及び向きを特定するセットアップ７００の概略斜視図である。図１に関して先に触れたように、システム１０は、ヘッドユニット１８に動作可能に接続され、ヘッドユニット１８を選択的に移動させるように構成されたロボットアーム２４を含み得る。標的空間の標的空間原点７０２（及び向き）は、ロボットベース（ロボット基準系としても知られる）に対して既知の場所に標的を置くロボットアーム２４にヘッドユニット１８を取り付けることにより、ヘッドユニット１８（立体視覚化カメラ１２及びＯＣＴモジュール１４の各部分を収容する）に対して取得し得る。ロボットアーム２４のジョイント角及びリンク長は、測定により、例えばロボットセンサを読み取ることにより取得し得、又は知られ得る。別の実施形態では、図１を参照すると、ヘッドユニット１８の各マウント及び較正標的５２０を有する取り付けスタンド２５を利用し得、各マウントは既知の相対位置及び向きを有する。
図１０Ａは、標的空間を定義する較正デバイスに対するＯＣＴモジュールの各データ空間の場所及び向きを特定するセットアップ７００の概略斜視図である。図１に関して先に触れたように、システム１０は、ヘッドユニット１８に動作可能に接続され、ヘッドユニット１８を選択的に移動させるように構成されたロボットアーム２４を含み得る。標的空間の標的空間原点７０２（及び向き）は、ロボットベース（ロボット基準系としても知られる）に対して既知の場所に標的を置くロボットアーム２４にヘッドユニット１８を取り付けることにより、ヘッドユニット１８（立体視覚化カメラ１２及びＯＣＴモジュール１４の各部分を収容する）に対して取得し得る。ロボットアーム２４のジョイント角及びリンク長は、測定により、例えばロボットセンサを読み取ることにより取得し得、又は知られ得る。別の実施形態では、図１を参照すると、ヘッドユニット１８の各マウント及び較正標的５２０を有する取り付けスタンド２５を利用し得、各マウントは既知の相対位置及び向きを有する。
【0079】
図８Ｂを参照すると、較正標的５２０は、異なるサイズの幅、高さ、及び隔たりを有する複数の各較正サブ標的５２２を含む。図１０Ａを参照すると、標的空間に対するＯＣＴ空間原点７０４が、幾つかの次元においてＯＣＴ空間よりも大きな各較正サブ標的５２２かＯＣＴ空間よりも小さな各較正サブ標的５２２を使用することにより、同様にして見つけられ得る。一例では、ＯＣＴ空間の２つの横断次元Ｔ１、Ｔ２を充填又は過剰充填するのに十分に大きな各較正サブ標的５２２が利用される。各較正サブ標的５２２は、既知の寸法であり、ロボット基準フレームに対して既知の場所及び向きの特徴を有し、互いから特徴を区別又は特徴をカウントする手段を提供する。この各較正サブ標的５２２が、それらの２つの横断ＯＣＴ次元Ｔ１、Ｔ２を過剰充填するようにシーンに配置される場合、ＯＣＴ空間原点７０４は、ＯＣＴデータのＸ＝０、Ｙ＝０ピクセルが撮像される各較正サブ標的５２２上の点に配置されるように定義される。Ｚ＝０場所は例えば、上述したように軸方向オフセット較正を使用して較正標的表面に調整される。代替的には、ＯＣＴ空間の２つの横断次元を充填せず、平坦である各較正サブ標的５２２を使用して、複数のＡスキャンの第１のグループ７１６及び複数のＢスキャンの第２のグループ７２０を有する外挿７５６（図１０Ｂ参照）を各較正サブ標的５２２の広がりを超えて使用して、各較正サブ標的５２２に対する２つの横断次元Ｔ１、Ｔ２におけるＯＣＴ空間の広がり又は境界を計算し得る。
【0080】
標的空間に対するＯＣＴ空間の方位付け
図１０Ａを参照すると、各ＯＣＴ境界７１０によって区切られた較正標的５２０を含む現実世界空間が、軸方向Ａに沿った単一Ａスキャン７１２の配置、第１の横断方向Ｔ１におけるＢスキャン７１８を構成する複数のＡスキャンの第１のグループ７１６、及び第２の横断方向Ｔ２における複数のＢスキャンの第２のグループ７２０と共に示されている。標的空間原点７０２に対するＯＣＴ空間原点７０４は、ＯＣＴデータの３つの直交ビューＯ１、Ｏ２、及びＯ３の各々における較正標的５２０の第１の表面に線をフィッティングすることによって特定し得る。
図１０Ａを参照すると、各ＯＣＴ境界７１０によって区切られた較正標的５２０を含む現実世界空間が、軸方向Ａに沿った単一Ａスキャン７１２の配置、第１の横断方向Ｔ１におけるＢスキャン７１８を構成する複数のＡスキャンの第１のグループ７１６、及び第２の横断方向Ｔ２における複数のＢスキャンの第２のグループ７２０と共に示されている。標的空間原点７０２に対するＯＣＴ空間原点７０４は、ＯＣＴデータの３つの直交ビューＯ１、Ｏ２、及びＯ３の各々における較正標的５２０の第１の表面に線をフィッティングすることによって特定し得る。
【0081】
図１０Ｂは、セットアップ７００から受信したデータ例の概略正面横断図である。図１０Ｂは、標的空間の定義されたＸ軸７５４に平行に延びる較正標的５２０の検出された上縁部７５２（及び検出された化縁部７５３）を示す。外挿７５６が、ＯＣＴ空間のＸ軸７５８と交差して示されている。この交差の角度７６０は、較正標的５２０の各Ｘ軸がＯＣＴ空間のＹ軸７６２の回りを回転する角度である。この関係の「逆」は、ＯＣＴ空間のＹ軸７６２が、今見つけた角度を負にした角度だけ較正標的５２０のＸ軸の回りを回転することである。
【0082】
他の次元での相対回転も同様に見つけられ得る。ＯＣＴ空間における較正標的５２０の原点も同様に見つけられ得、Ｘ位置及びＺ位置はそれぞれ、正面横断図（図１０Ｂ参照）を使用してｘ軸オフセット７７０及びｚ軸オフセット７７２として取得される。ｙ軸オフセットは異なるビューから取得し得る。
【0083】
標的空間に対するＯＣＴ空間の場所及び向きは一緒にされて、本明細書では標的空間に対するＯＣＴ空間の第１の変換７７４と呼ばれる。数学的に、この情報は、「ＯＣＴ空間から標的空間への変換」として「逆方向」に読まれる変換行列に符号化し得る。この変換行列の反転は、「標的空間からＯＣＴ空間への変換」が「ＯＣＴ空間から標的空間への変換」の逆であることを見つけるために行われる。コントローラＣ及び／又はカメラプロセッサ５２及び／又はＯＣＴプロセッサ５０は、この反転を計算し、そのような行列を一緒に乗算するために、当業者が利用可能なユーティリティ、数学的プログラム、及び他の設備を含み得る。
【0084】
立体視覚化カメラの２Ｄ視覚化モジュールＶ１、Ｖ２におけるシーン捕捉
図１１Ａ及び図１１Ｂは、立体視覚化カメラ１２の２つの単一視覚ビューのうちの一方に対する較正標的５２０の場所及び向きを示すセットアップ８００の概略斜視図である。所与の撮像モダリティを用いて所与のシーンを見ることは、撮像モダリティの画像空間へのシーンビューの「捕捉」に繋がる。シーン捕捉は、ピンホールカメラモデルの使用を含め、幾つかの方法でモデリングし得る。所与のズーム及び作業距離設定において、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２は、シーン（例えば較正標的５２０等）からの光が投影中心（ＣＯＰ）８０２としても知られている単一の「ピンホール」を通り投影画像８０４等イメージセンサ８０６に投影される単純なピンホールカメラとしてモデリングし得る。これは、各２Ｄ視覚化モジュールＶ１、Ｖ２の較正標的５２０の二次元画像８２０（図１１Ｂ参照）を生成する。モノクロのセンサ及び画像ピクセルでは、画像はピクセルの二次元グリッドであり、ピクセルの値は、センサ内の対応する感光素子に落ちる較正標的５２０の部分から来た光に関連する。カラーピクチャでは、赤、緑、及び青のフィルタをセンサピクセル上で利用し得、再結合アルゴリズムを使用して色を結合し、カラー出力ピクセルにし得る。
図１１Ａ及び図１１Ｂは、立体視覚化カメラ１２の２つの単一視覚ビューのうちの一方に対する較正標的５２０の場所及び向きを示すセットアップ８００の概略斜視図である。所与の撮像モダリティを用いて所与のシーンを見ることは、撮像モダリティの画像空間へのシーンビューの「捕捉」に繋がる。シーン捕捉は、ピンホールカメラモデルの使用を含め、幾つかの方法でモデリングし得る。所与のズーム及び作業距離設定において、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２は、シーン（例えば較正標的５２０等）からの光が投影中心（ＣＯＰ）８０２としても知られている単一の「ピンホール」を通り投影画像８０４等イメージセンサ８０６に投影される単純なピンホールカメラとしてモデリングし得る。これは、各２Ｄ視覚化モジュールＶ１、Ｖ２の較正標的５２０の二次元画像８２０（図１１Ｂ参照）を生成する。モノクロのセンサ及び画像ピクセルでは、画像はピクセルの二次元グリッドであり、ピクセルの値は、センサ内の対応する感光素子に落ちる較正標的５２０の部分から来た光に関連する。カラーピクチャでは、赤、緑、及び青のフィルタをセンサピクセル上で利用し得、再結合アルゴリズムを使用して色を結合し、カラー出力ピクセルにし得る。
【0085】
図１２Ａをこれより参照して、立体視覚化カメラ１２の２つの単一視覚ビューのうちの一方に対するＯＣＴモジュール１４の各データ空間の場所及び向きを示す。図１２Ａのセットアップ８６０では、座標系又は２Ｄ視覚化モジュールの各空間の原点８１２は、投影中心８０２に配置されるようにとられる。物体の座標系は物体の「空間」と呼ばれ得、したがって、２Ｄ視覚化モジュールの座標系は「ＣＯＰ空間」と呼ばれ得る。
【0086】
図１１Ｂを参照すると、画像８２０はＣＯＰ空間に配置されるものとして見なされ得、例えば、投影軸は位置８２２に配置され、軸８２４に示されるように向けられる。向きは、当技術分野での慣習に従うかいずれかのように選ばれ得る（例えば、カメラが負のＺ軸を下向き指し、カメラの「右」軸及び「上」軸がそれぞれＸ軸及びＹ軸に沿って位置合わせされる）。画像は概念的に、幾つかの軸を反転させ且つ／又は無効化することができるＣＯＰ８０２の逆側に配置されると見なされ得る。幾つかの実施形態では、座標系は異なる原点及び／又は向き及び／又は掌性を有し得、掌性とは互いに対するＸ、Ｙ、及びＺ軸の関係である。単一視覚ディスプレイでは、生成された画像は第１及び第２のディスプレイ３２、３４に直接引き込まれ得る。立体ディスプレイは、各２Ｄ視覚化モジュールからの画像データの同時表示（例えばインタリーブ）と、一方の２Ｄ視覚化モジュールからの表示光をユーザの片方の目に操縦し、他方の２Ｄ視覚化モジュールからの表示光をユーザの他方の目に操縦することを伴う。そのような操縦は、ディスプレイ３２及びユーザの眼鏡の両方の性質を変える偏光フィルムを使用することによって行われ得る。
【0087】
ＯＣＴモジュールのシーン捕捉
ＯＣＴモジュールの画像空間へのシーン又は標的部位１６のビューの単一Ａスキャン又は深度スキャン２０２の捕捉は、単一線のデータを生成する。これは概念的に、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２のうちの一方によって捕捉された画像中の単一列のピクセルに幾らか等しいことがある。操縦ユニット６４を使用して、第１のビームＢ１を線で、例えば軸方向Ａに沿って移動させて、複数のＡスキャンを捕捉すると、単一のＢスキャンが生成され、単一のＢスキャンは、図７Ａに示される出力画像４７０等の単一の二次元画像としてＯＣＴ画像データ空間に記憶される。操縦ユニット６４を使用して、第１のビームＢ１をラスタパターン２１８（図４Ｃ参照）等のラスタ型パスで移動させると、複数のＢスキャンが生成され、複数のＢスキャンは、図７Ａの出力画像４７０等の複数の二次元画像としてＯＣＴ画像データ空間に記憶される。それらは、ＯＣＴ空間境界２２６によってカバーされる三次元シーン空間の三次元サンプリングを表す。結果として生成されたデータは、構成に応じて、ＯＣＴデータが、ＡスキャンがＢスキャン画像の垂直列又は水平行のいずれかを構成する一連の二次元Ｂスキャン画像として編成される場合、三次元である。コンピュータグラフィックス技術を三次元テクスチャ等の記憶メカニズム及びデータスパン内の任意の三次元場所からそのようなデータをサンプリングする手段と共に利用し得る。そのようなサンプリングは、サンプル位置が元のデータ位置と一致しない場合、値を補間するアルゴリズムを含む。
ＯＣＴモジュールの画像空間へのシーン又は標的部位１６のビューの単一Ａスキャン又は深度スキャン２０２の捕捉は、単一線のデータを生成する。これは概念的に、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２のうちの一方によって捕捉された画像中の単一列のピクセルに幾らか等しいことがある。操縦ユニット６４を使用して、第１のビームＢ１を線で、例えば軸方向Ａに沿って移動させて、複数のＡスキャンを捕捉すると、単一のＢスキャンが生成され、単一のＢスキャンは、図７Ａに示される出力画像４７０等の単一の二次元画像としてＯＣＴ画像データ空間に記憶される。操縦ユニット６４を使用して、第１のビームＢ１をラスタパターン２１８（図４Ｃ参照）等のラスタ型パスで移動させると、複数のＢスキャンが生成され、複数のＢスキャンは、図７Ａの出力画像４７０等の複数の二次元画像としてＯＣＴ画像データ空間に記憶される。それらは、ＯＣＴ空間境界２２６によってカバーされる三次元シーン空間の三次元サンプリングを表す。結果として生成されたデータは、構成に応じて、ＯＣＴデータが、ＡスキャンがＢスキャン画像の垂直列又は水平行のいずれかを構成する一連の二次元Ｂスキャン画像として編成される場合、三次元である。コンピュータグラフィックス技術を三次元テクスチャ等の記憶メカニズム及びデータスパン内の任意の三次元場所からそのようなデータをサンプリングする手段と共に利用し得る。そのようなサンプリングは、サンプル位置が元のデータ位置と一致しない場合、値を補間するアルゴリズムを含む。
【0088】
図１４Ａは、ＯＣＴモジュール１４からのデータをレンダリングするためのセットアップ９００の概略側面図である。図１４Ａを参照すると、ＯＣＴモジュール１４が仮想多面体９０２（図１３Ａに示される等）を含むシーンをスキャンすると、一連のＢスキャン９０４が軸方向Ａ（Ａスキャン方向）に生成され、一横断方向における追加のスライス９０８が暗示される。仮想多面体９０２は、ワイヤフレーム立方体又はワイヤフレーム矩形柱等のワイヤフレーム多面体であり得る。仮想多面体９０２は、テクスチャマップ、高さマップ、及び／又はボリュームマップ等の任意のタイプのコンピュータレンダリング可能構造であり得る。仮想多面体９０２の隅９１０、９１２、９１４、及び９１６は、データの各点９２０、９２２、９２４、及び９２６における「明るい」ピクセルとして見える。三次元データの表示はＶＲモジュール５１を使用して達成し得、ＶＲモジュール５１は、二次元ディスプレイ上で見るのに適した二次元画像を生成する。図１２Ａを参照すると、ＶＲモジュール５１の投影の仮想中心（仮想ボリュームレンダラーカメラを特徴付ける）は仮想的に、較正及びＯＣＴモジュール１４と立体視覚化カメラ１２との見当合わせ中に特定される、図１２Ａに示される第３の変換８６２（行列として表現される）等のパラメータに基づいてＯＣＴ空間に位置決めし得る。
【0089】
図１４Ｂを参照すると、仮想画面上のピクセルごとに１つずつ、仮想光線９３０が各仮想画像面上の各ピクセルから投影中心９３２を通して三次元ＯＣＴデータに向かってキャストされる。仮想画像面はピクセルの二次元格子上に分割され、わずかに異なる場所にある各ピクセルは、ＯＣＴデータを通して異なる方向に進む各仮想光線を生じさせる。投影中心の片側にあるイメージセンサ８０６は同様の機能：投影された標的又はシーンの統計のサンプリング及び出力としての二次元画像の提供を提供するため、図１４Ｂの仮想画像面９３４は、ＶＲモジュール５１において同様の位置にあると見なされ得る。
【0090】
図２のＶＲモジュール５１は、ＯＣＴデータセットから２つの２Ｄ画像を生成するボリュームレンダラープログラムを含む。ＶＲモジュール５１では、光線が「仮想センサ」上のピクセルからデータに向けてキャストされ、光線は投影画像である。ステップ機能を使用して、光線をＣＯＰからＯＣＴデータに向けて、そしてＯＣＴデータを通してますます長く「成長」させ、ＯＣＴデータが記憶する三次元テクスチャが各ステップでサンプリングされる。光線がＯＣＴデータ外にある場合、又はデータの値が光線サンプリング点でゼロである場合、ゼロの値は、その光線位置に存在すると見なされる。仮想画像におけるピクセルの最終値は、これらのステップで直面された値の関数としてとられる。一実施形態では、そのような関数は単に、光線に沿って直面した最大値をとる。
【0091】
例えば、図１３Ｂを参照すると、所与の光線が仮想多面体９０２の隅９１０、９１２、９１４、９１６に直面すると、値が仮想画像面９４２の各場所９５４、９６４、９６２、及び９５６に書き込まれる。他の関数は値を蓄積し、結果を閾値処理することによってデータをセグメント化し、例えば異なるグループを異なる色として提示して、例えば人間の脳内の異なる組織タイプを区別できるようにする。他の実施形態は、データにおける任意の所与の点における表面の向きを推定し、向きは次いで照明モデルと共に使用されて、照明された表面の効果を作成する。分解能は、仮想画像面におけるピクセル数及び光線ごとのステップ数によって制御し得る。
【0092】
立体視覚化カメラの構成
光学較正は、ピクセル次元等の幾つかの既知のパラメータと、焦点距離及び光学歪み等の他の未知のパラメータとを有する所与の２Ｄ視覚化モジュールの内因性光学パラメータを特徴付ける。これにより、既知の寸法の現実世界構造が２Ｄ視覚化モジュールの画像空間でいかに表現されるかを知ることができ、ひいてはスケーリングパラメータ内への逆作用も可能になる：所与の光学的に較正された２Ｄ視覚化モジュールにおける画像空間表現を使用した現実世界構造（スケーリングパラメータ内への）の寸法の特定。光学較正はまた、カメラに対する既知の寸法の較正物体のシーンにおける位置及び向き関連する外因性光学パラメータを明らかにすることもできる。さらに、立体視覚化カメラ１２の較正は、互いの近くに位置決めされ向けられた同様の光学性質の２つの２Ｄ視覚化モジュールＶ１、Ｖ２間の関係を特定し、絶対サイズ並びに立体視覚化カメラ１２上の何らかの基準点に対するそれらの位置及び向き等のシーン中の任意の構造の測定値（その寸法、位置、及び向きを事前に知る必要はない）の所与の組の単位（例えばミリメートル）での絶対値を特定できるようにする。
光学較正は、ピクセル次元等の幾つかの既知のパラメータと、焦点距離及び光学歪み等の他の未知のパラメータとを有する所与の２Ｄ視覚化モジュールの内因性光学パラメータを特徴付ける。これにより、既知の寸法の現実世界構造が２Ｄ視覚化モジュールの画像空間でいかに表現されるかを知ることができ、ひいてはスケーリングパラメータ内への逆作用も可能になる：所与の光学的に較正された２Ｄ視覚化モジュールにおける画像空間表現を使用した現実世界構造（スケーリングパラメータ内への）の寸法の特定。光学較正はまた、カメラに対する既知の寸法の較正物体のシーンにおける位置及び向き関連する外因性光学パラメータを明らかにすることもできる。さらに、立体視覚化カメラ１２の較正は、互いの近くに位置決めされ向けられた同様の光学性質の２つの２Ｄ視覚化モジュールＶ１、Ｖ２間の関係を特定し、絶対サイズ並びに立体視覚化カメラ１２上の何らかの基準点に対するそれらの位置及び向き等のシーン中の任意の構造の測定値（その寸法、位置、及び向きを事前に知る必要はない）の所与の組の単位（例えばミリメートル）での絶対値を特定できるようにする。
【0093】
ピンホールカメラモデル及び較正
所与のズーム及びフォーカス設定での２Ｄ視覚化モジュールＶ１、Ｖ２はそれぞれ、単純なピンホールカメラとしてモデリングし得る。立体視覚化カメラ１２における２つの２Ｄ視覚化モジュールＶ１、Ｖ２の各々はまずそれ自体で別個にモデリングされる。そのようなピンホールカメラの関連する内因性パラメータは、焦点距離、主点、及び光学歪みパラメータである。焦点距離は、投影中心（別名ピンホール）とセンサ面との間の距離である。主点は、理想化されたピンホールカメラの中心があるデジタルセンサ上の場所である。歪みパラメータは、立体視覚化カメラ１２の非理想的な光学系によって画像に付与される光学歪みをモデリングする。さらに、接線歪みパラメータがモデリングされて、イメージセンサの平面に垂直に出る線とのカメラ光学系パスの位置合わせずれを記述しようとする。較正から取得される外因性パラメータは、捕捉された各較正画像での立体視覚化カメラ１２に対する標的の並進及び回転又は変換を含む。
所与のズーム及びフォーカス設定での２Ｄ視覚化モジュールＶ１、Ｖ２はそれぞれ、単純なピンホールカメラとしてモデリングし得る。立体視覚化カメラ１２における２つの２Ｄ視覚化モジュールＶ１、Ｖ２の各々はまずそれ自体で別個にモデリングされる。そのようなピンホールカメラの関連する内因性パラメータは、焦点距離、主点、及び光学歪みパラメータである。焦点距離は、投影中心（別名ピンホール）とセンサ面との間の距離である。主点は、理想化されたピンホールカメラの中心があるデジタルセンサ上の場所である。歪みパラメータは、立体視覚化カメラ１２の非理想的な光学系によって画像に付与される光学歪みをモデリングする。さらに、接線歪みパラメータがモデリングされて、イメージセンサの平面に垂直に出る線とのカメラ光学系パスの位置合わせずれを記述しようとする。較正から取得される外因性パラメータは、捕捉された各較正画像での立体視覚化カメラ１２に対する標的の並進及び回転又は変換を含む。
【0094】
図２を参照すると、カメラ較正は、コントローラＣ及び／又はカメラプロセッサ５２Ａによって実行可能な較正機能５７を使用して単一ズーム（倍率）、作業距離Ｗ（及び／又は焦点距離）設定の立体視覚化カメラ１２で実行し得る。一例では、較正機能５７は、立体視覚化カメラ１２の各センサ光路のオープンソースコンピュータビジョン（ＯｐｅｎＣＶ）機能を組み込み得る。そのような較正中に使用される標的は、互いに対して位置の関連の認識可能な特徴を有さなければならず、そのような特徴は上記標的の画像においてインデックス可能でなければならない。すなわち、標的の画像で見られる各特徴の場所は、標的の実際の既知の物理的パラメータに関連可能でなければならない。較正標的５２０の一例を図８Ｂに示す。較正標的５２０は碁盤パターンを有して示されているが、他のパターンを採用してもよいことが理解される。
【0095】
較正標的５２０の画像は、２Ｄ視覚化モジュールＶ１、Ｖ２のうちの一方を用いた種々の視点からとられる。幾つかの実施形態では、立体視覚化カメラ１２は図１のロボットアーム２４を使用して三次元で移動し、較正標的５２０に対するその向きは変わる。これは較正タスクの自動化を促進する。他の実施形態では、較正標的５２０は手又は電動アクチュエータを使用することによって三次元で移動し得、立体視覚化カメラ１２に対するその向きは変わる。較正標的５２０の種々の視点からの複数の画像捕捉が、各幅５０４、高さ５０６、及び各ギャップ５０８、例えば暗い正方形と明るい正方形との内部交点の数等の物理的パラメータ並びにピクセル寸法等の２Ｄ視覚化モジュールＶ１、Ｖ２の既知のパラメータの知識と共に較正機能５７に送られる。この較正は、カメラモデルについて説明したようなそのセンサの焦点距離及び主点場所を生み出す。そのようなパラメータは、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２からのデータと正確にブレンド又は「融合」する準備ができたＯＣＴデータの二次元画像を作成するために、ＶＲモジュール５１に入力される。この較正は、光学歪みパラメータの推定も生成する。
【0096】
標的空間に対する２Ｄ視覚化モジュール空間の配置及び方位付け
２Ｄ視覚化モジュールの空間（「カメラ空間」とも呼ばれる）は、「投影中心」空間又はＣＯＰ空間８３０とも呼ばれる。図１１Ａを参照すると、ＣＯＰ空間８３０に対する標的空間８３２の場所（又は「位置」又は「原点」）は一緒にされて、本明細書ではＣＯＰ空間８３０に対する標的空間８３２の第２の変換８３４と呼ばれる。記載される他のパラメータに加えて、較正機能５７は、とられる各画像捕捉でＣＯＰ空間８３０に対する較正標的５２０の第３の変換８６２を得るように構成される。数学的にこの情報は変換行列に符号化し得る。
２Ｄ視覚化モジュールの空間（「カメラ空間」とも呼ばれる）は、「投影中心」空間又はＣＯＰ空間８３０とも呼ばれる。図１１Ａを参照すると、ＣＯＰ空間８３０に対する標的空間８３２の場所（又は「位置」又は「原点」）は一緒にされて、本明細書ではＣＯＰ空間８３０に対する標的空間８３２の第２の変換８３４と呼ばれる。記載される他のパラメータに加えて、較正機能５７は、とられる各画像捕捉でＣＯＰ空間８３０に対する較正標的５２０の第３の変換８６２を得るように構成される。数学的にこの情報は変換行列に符号化し得る。
【0097】
図１１Ａを参照すると、較正標的５２０がＣＯＰ空間８３０のＺ軸に直交して向けられ、立体視覚化カメラ１２が較正標的５２０に合焦される場合、較正標的５２０の平面は、負のＺ方向において投影中心８０２から焦点距離Ｆに等しい距離離れた場所にある。較正標的５２０の原点は、カメラ空間又はＣＯＰ空間８３０に対してそれぞれＸ方向及びＹ方向に第１の距離８４０及び８４２だけ並進して示されている。図１１Ａ及び図１２Ａを参照すると、立体視覚化カメラ１２によって見ることが可能なＣＯＰ空間８３０の部分は、光線８４４、８４６、８４８、及び８５０によって区切られる。各ＯＣＴ空間境界８１０を図１２Ａに示す。較正標的５２０は光線８４４、８４６、８４８、及び８５０内且つ公称的に較正に使用される各スナップショットの焦点距離の前後に配置される。
【0098】
図２の較正機能５７は、立体視覚化カメラ１２の２つの２Ｄ視覚化モジュールＶ１、Ｖ２の各々を別個に較正するために、立体機能を含み得る。これは、眼内距離及び相対ＣＯＰ場所等の２つの２Ｄ視覚化モジュールＶ１、Ｖ２間の物理的関係を特定し、２つのモジュールからの画像対を続けて、２つのモジュールからの画像において特徴を見つけマッチングすることができる捕捉画像における物理的寸法を特定するのが簡単な形態に調整できるようにする。したがって、画像からの直接のそのような寸法の絶対的な測定が可能になる。立体視覚化カメラ１２上の何らかの基準点に対する特徴の絶対位置及び絶対向きの特定も可能になり、所与の物体又は特徴の立体視覚化カメラ１２の第１及び第２のビューにおける場所間の不一致を利用する。不一致は、物体が立体視覚化カメラ１２から離れる距離の関数である。これは、較正された立体視覚化カメラ１２の眼内距離を用いた一形態の三角測量を使用して特定し得る。
【0099】
立体画像において可能な限り多くの点の不一致を計算することにより（単一のみの特徴とは対照的に）、不一致マップが生成され、不一致マップは、そのような全ての画像点での立体視覚化カメラ１２に対する場所を記憶する深度マップに変換される。したがって、ＯＣＴモジュールが較正され、立体視覚化カメラ１２に見当合わせされると、画像データはＯＣＴ空間にマッピングされる。これにより、図１９Ａ、図１９Ｂ、及び図１９Ｃに関して後述する斜位表示等の多様な特徴が可能になる。したがって、そのような較正は、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２及びＯＣＴモジュールを較正し見当合わせする要件の幾つかを提供する。
【0100】
立体視覚化カメラの較正方法例
図１７をこれより参照して、図８Ｂに示される較正標的５２０を用いて立体視覚化カメラ１２を較正する一例の方法１１００のフローチャートを示す。ブロック１１０２により、カメラ光学系は、中間レンジズーム及び作業距離Ｗの予め定義された開始値に設定される。ブロック１１０４により、カメラの内因性パラメータ及び外因性パラメータが単一ズーム及び作業距離で較正され、その結果がカメラ較正ルックアップテーブルに追加される。別の作業距離Ｗでの較正が望まれる場合、ブロック１１０６により、方法１１００はブロック１１０８に進み、その他の場合、方法１１００は終了する。
図１７をこれより参照して、図８Ｂに示される較正標的５２０を用いて立体視覚化カメラ１２を較正する一例の方法１１００のフローチャートを示す。ブロック１１０２により、カメラ光学系は、中間レンジズーム及び作業距離Ｗの予め定義された開始値に設定される。ブロック１１０４により、カメラの内因性パラメータ及び外因性パラメータが単一ズーム及び作業距離で較正され、その結果がカメラ較正ルックアップテーブルに追加される。別の作業距離Ｗでの較正が望まれる場合、ブロック１１０６により、方法１１００はブロック１１０８に進み、その他の場合、方法１１００は終了する。
【0101】
ブロック１１０８により、コントローラＣは、立体視覚化カメラ１２が同中心性及び同焦性について較正されるか否かを判断するように構成される。較正される場合、方法１００はブロック１１１２に直接進み、作業距離Ｗが変更される。較正されない場合、方法１１００はブロック１１１０に進み、立体視覚化カメラ１２が同中心及び同焦について較正され、次いでブロック１１１２に進む。ブロック１１１４により、コントローラＣは、作業距離範囲全体がカバーされたか否かを判断するように構成され、カバーされていない場合、ブロック１１０４に進む。カバーされている場合、ブロック１１１６により、コントローラＣは、２つ以上の較正があるか否かを判断するように構成される。２つ以上の較正がある場合、ブロック１１１８により、各カメラ較正パラメータ結果についてルックアップ関数（例えばデータを曲線にフィッティングすることにより）が作成される。２つ以上の較正がない場合、方法１１００は終了する。
【0102】
ズーム及び作業距離にわたり較正する方法例
図１８をこれより参照して、ズーム（倍率）範囲及び作業距離範囲にわたり立体視覚化カメラ１２を較正する方法１２００のフローチャートを示す。そのような範囲にわたる較正の力任せの方法は、ズーム及び作業距離の値の可能なあらゆる組み合わせで較正を実行することである。しかしながら、これには時間がかかり、非実用的であるため、空間のサブサンプリングを実行し得、較正は各点で実行される。図８Ｂを参照し、先に述べたように、較正標的５２０は、倍率が変わった場合に使用し得る複数の様々なスケール５２４、５２６、５２８を含み得る。任意選択的に、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード等のコードを標的部位１６の近傍に表示して、適切なスケールの画像処理アルゴリズムによる自動位置特定を支援し得る。これにより、画面サイズの何らかのパーセント範囲のサイズの標的を画面上で有することである好ましい構成の近くで較正ルーチンが機能する。
図１８をこれより参照して、ズーム（倍率）範囲及び作業距離範囲にわたり立体視覚化カメラ１２を較正する方法１２００のフローチャートを示す。そのような範囲にわたる較正の力任せの方法は、ズーム及び作業距離の値の可能なあらゆる組み合わせで較正を実行することである。しかしながら、これには時間がかかり、非実用的であるため、空間のサブサンプリングを実行し得、較正は各点で実行される。図８Ｂを参照し、先に述べたように、較正標的５２０は、倍率が変わった場合に使用し得る複数の様々なスケール５２４、５２６、５２８を含み得る。任意選択的に、ＱＲ（Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ）コード等のコードを標的部位１６の近傍に表示して、適切なスケールの画像処理アルゴリズムによる自動位置特定を支援し得る。これにより、画面サイズの何らかのパーセント範囲のサイズの標的を画面上で有することである好ましい構成の近くで較正ルーチンが機能する。
【0103】
図１８を参照すると、ブロック１２０２及び１２０４により、立体視覚化カメラ１２及びＯＣＴモジュール１４がそれぞれ較正される。ブロック１２０６により、較正標的５２０等の較正デバイスが、立体視覚化カメラ１２の視野の中心近くに配置され、テクスチャ化表面が可視であり、向きを一意に特定することができるように較正標的５２０の十分な部分が立体視覚化カメラ１２及びＯＣＴモジュール１４のビュー内にあるよう上面図では概ね下を向く。ブロック１２０８によれば、コントローラＣは、立体視覚化カメラ１２を予め定義された初期値のズーム及び作業距離Ｗ（図１参照）に設定するように構成し得る。
【0104】
ブロック１２１０により、較正された立体視覚化カメラ１２を用いて１つ又は複数の立体スナップショットが撮影される。ブロック１２１２により、当業者が利用可能であり、コントローラ及び／又はカメラプロセッサ５２によって実行可能な立体マッチング及び立体グラメトリを使用して、較正デバイスの表面の点群が立体視覚化カメラ１２（可視カメラ）の空間において抽出される。ブロック１２１４により、ＯＣＴモジュール１４を使用して較正デバイスの可視部分の点群が生成される。点群は、ＯＣＴモジュール１４の座標系で定義される。ブロック１２１６により、当業者が利用可能な点群マッチング技法が利用されて、このズーム及び作業距離での立体視覚化カメラ１２の座標系とＯＣＴモジュール１４の座標系との間の経缶を見つける。この変換はこのズーム及び作業距離について記憶される。ブロック１２１８により、これを他のズーム及び作業距離に対して所望のように繰り返し得る。
【0105】
任意のズーム及び作業距離設定での較正設定を取得するために、そのような較正の結果は補間される。しかしながら、較正ルーチン自体は基本的に、概ね１０個の変数にわたる最適化問題であり、したがって、入力パラメータがわずかにしか変わらない場合であっても各較正は様々な結果を与え得るため、そのような補間は難しい。これは部分的に、センサ電気ノイズ等のシステムに固有のノイズに起因する。幾つかの較正反復の平均を一般に実施することができる。これを緩和したものは、ズーム及び作業距離テーブルにわたる較正パラメータの全セットにわたる最適化を実行して、テーブル中の隣接する点セットへの平滑化要件を指定することである。
【0106】
代替の緩和は、ズームを一定に、例えば中間レンジ設定にしたままで、作業距離範囲にわたる幾つかのサンプルにおいて較正を実行することである。立体視覚化カメラ１２は大方同焦点（倍率が変わっても合焦を維持する）及び同中心（倍率が変わってもシーンの大方同じ場所に焦点面でのビュー中心を維持する）である。さらに、立体視覚化カメラ１２の倍率を変えるフォーカスモータは、変化アルゴリズム又は較正ステップ前に記憶されるルックアップテーブルを介して倍率の相対レベルが取得可能であるように較正し得る。したがって、ズーム（倍率）変更は、相対ズーム変更を見つけ、ＯＣＴのボリュームレンダラーにおいてそれに従って視野を変更することによって較正からシミュレートすることができる。ＯＣＴデータに対する投影中心の場所は変わらない。較正された立体視覚化カメラ１２を用いて行われた測定も同様にスケーリングし得る。
【0107】
別の実施形態では、立体視覚化カメラ１２の各２Ｄ視覚化モジュールＶ１、Ｖ２についてカメラ較正を実行することは以下を含む：視野の較正、何らかの基準系に対する光軸の特定、及び絶対焦点距離較正を含む投影点の何らかの中心から焦点面への光軸に沿った焦点距離の特定。視野は、既知の寸法を有する標的、例えば既知の個々のマスを有するチェス盤を撮像することによってズーム及び作業距離にわたって特定し得る。さらに、マスの隅は画像処理アルゴリズムによって容易に検出される。さらに、これらのパラメータの較正は、立体視覚化カメラ１２と標的との間の距離を制御された量だけ変える手段を使用する。さらに、光軸及び焦点距離を較正するために、これらの量は測定可能である。
【0108】
視野特定の代替方法
現実世界カメラの焦点面における視野は、出力が立体視覚化カメラ１２の出力と視覚的に合致するように立体ボリュームレンダラーのセットアップに必要なパラメータの１つである。立体視覚化カメラ１２の各２Ｄ視覚化モジュールＶ１、Ｖ２の焦点面における視野は、この代替方法では以下のように見つけられ得る。ヘッドユニット１８の立体視覚化カメラ１２は、第１及び第２の光路の各々に合焦され、各ズーム及び作業距離設定で焦点面に垂直及び水平に集束するように位置合わせされるように光学機械的に既に較正済みであると仮定される。先に触れたように、較正標的５２０（図８Ｂ参照）はテーブル７８０（図２参照）に置かれ得、テーブル７８０は公称的に、立体視覚化カメラ１２の光軸に沿って（ここではｚ方向に）移動し得る。テーブル７８０の位置は測定され、そのような各測定で記録される。較正標的５２０は、公称的にカメラ画像軸と位置合わせされるように位置決めし得る。
現実世界カメラの焦点面における視野は、出力が立体視覚化カメラ１２の出力と視覚的に合致するように立体ボリュームレンダラーのセットアップに必要なパラメータの１つである。立体視覚化カメラ１２の各２Ｄ視覚化モジュールＶ１、Ｖ２の焦点面における視野は、この代替方法では以下のように見つけられ得る。ヘッドユニット１８の立体視覚化カメラ１２は、第１及び第２の光路の各々に合焦され、各ズーム及び作業距離設定で焦点面に垂直及び水平に集束するように位置合わせされるように光学機械的に既に較正済みであると仮定される。先に触れたように、較正標的５２０（図８Ｂ参照）はテーブル７８０（図２参照）に置かれ得、テーブル７８０は公称的に、立体視覚化カメラ１２の光軸に沿って（ここではｚ方向に）移動し得る。テーブル７８０の位置は測定され、そのような各測定で記録される。較正標的５２０は、公称的にカメラ画像軸と位置合わせされるように位置決めし得る。
【0109】
立体視覚化カメラ１２はズーム及び作業距離設定に設定し得、設定は記録される。較正標的５２０には、テーブル７８０を動かすことにより又は立体視覚化カメラ１２の作業距離設定を変えることのいずれかによってピントを合わせ得る。較正標的５２０のスナップショットが撮影、分析されて（例えば、水平軸に沿っていくつのマスがあるかを数えることにより）、水平視野を特定し、水平視野は、立体視覚化カメラ１２がこのズーム及び作業距離設定で焦点面において見ることができる「線形寸法（即ち幅）として定義される。推定視野は、現在のズーム及び作業距離と共にテーブルに記憶される。典型的には画像中心から離れると悪化する歪みの影響を回避するために、幾つかの実施形態では、推定を行うのに画像の中央部分のみが使用され、結果が推定されて、全画像の視野寸法を計算する。例えば、画像幅の中心２５％がチェス盤のマス１０個分である場合、全画像幅（１００％）はチェス盤のマス４０個分の幅であると推定することができる。なお、この実施形態での立体視覚化カメラ１２の光学系は緊密な許容差で製造され、その結果、そのような歪みの量は低くなる。これは、歪み補正の省略が、この形態の較正を使用するに当たって得られる全体結果に対して与える悪影響が殆どないことを意味する。幾つかの実施形態では、較正標的５２０の中心は、ズームインした場合（即ち高倍率時）、特徴数が視野の正確な推定を提供するのに十分多いようにサイズの異なる（例えばより小さな）構成要素特徴を有する。プロセスは、種々のズーム及び作業距離設定でそれらの両変数の範囲にわたって繰り返し得る。通常使用中、任意の所与のズーム及び作業距離設定での視野を得るために、ルックアップ機能は、二次元ズーム／作業距離空間において最も近い（例えば最も近い４つの）値間を補間する。
【0110】
光軸及び焦点距離の較正の代替方法
作業距離Ｗは、共通対物レンズセット７２の下面から光軸（ビュー軸とも呼ばれる）に沿ってシーン又は標的部位１６までの距離として定義し得る。例えば、一般に両目で本来の視覚を処理する人間の閲覧者が立体を利用して物体を見る場合、見掛けの立体光軸は、例えば片目の中心からもう片方の目の中心までの線の中間点を起点とした線として見なし得る。多くの場合、鼻の端部は、物体が長距離にあるシーンにおいて光軸の基端部を示すものとして参照される。しかしながら、閲覧者が片目に近い場合、開かれた目の光軸がビューを支配し、立体光軸のものとはわずかに異なる方向にある。２つの人間ビューは一般に物体に合焦し物体に収束する。幾つかの実施形態では、立体視覚化カメラ１２の２つの２Ｄ視覚化モジュールＶ１、Ｖ２は、同じ点上で合焦し収束するように設定し得る。
作業距離Ｗは、共通対物レンズセット７２の下面から光軸（ビュー軸とも呼ばれる）に沿ってシーン又は標的部位１６までの距離として定義し得る。例えば、一般に両目で本来の視覚を処理する人間の閲覧者が立体を利用して物体を見る場合、見掛けの立体光軸は、例えば片目の中心からもう片方の目の中心までの線の中間点を起点とした線として見なし得る。多くの場合、鼻の端部は、物体が長距離にあるシーンにおいて光軸の基端部を示すものとして参照される。しかしながら、閲覧者が片目に近い場合、開かれた目の光軸がビューを支配し、立体光軸のものとはわずかに異なる方向にある。２つの人間ビューは一般に物体に合焦し物体に収束する。幾つかの実施形態では、立体視覚化カメラ１２の２つの２Ｄ視覚化モジュールＶ１、Ｖ２は、同じ点上で合焦し収束するように設定し得る。
【0111】
焦点距離は、立体視覚化カメラ１２の焦点面から立体視覚化カメラ１２の光軸に沿った原点又は投影中心までの距離として定義し得る。光軸の場所及び向きは、立体視覚化カメラ１２の既知の基準系、例えば図１の取り付けスタンド２５の基準系において、較正ステップ中、特定し得る。立体視覚化カメラ１２の各単一視点ビューに別個の原点がある。立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の各々の焦点面から各モジュールのピンホールカメラモデルでの各投影中心までの距離は、出力が現実世界カメラの出力と視覚的に合致するように仮想カメラ（ＶＲモジュール５１内等）をセットアップするのに必要とされるパラメータの１つである。原点は一般に、共通対物レンズのシーン又は標的部位１６とは逆側にあり、したがって、焦点距離は通常、作業距離よりもあるオフすることとだけ大きく、オフセットは作業距離及び／又はズームと共に変わり得る。立体視覚化カメラ１２では、作業距離、ひいては焦点距離の変更は、モータ及び制御を介して光学要素を動かすことによって実施し得る。
【0112】
立体視覚化カメラ１２の何らかの既知の基準系における光軸の場所及び向き並びにその光軸上の投影の立体中心に対する焦点面の位置の特定は、以下のように行われ得る。図１を参照すると、立体視覚化カメラ１２及び較正標的５２０は、取り付けスタンド２５を介してロボットアーム２４の端部に取り付けられる。ロボットアーム２４及び取り付けスタンド２５のリンク寸法及びジョイント構成（例えばサイズ及び角度）は、設計により且つ／又は任意の所与の時点でのメトロロジによって知られる。したがって、立体視覚化カメラ１２に対する較正標的５２０の位置及び向きは、取り付けスタンド２５に対して取得し得る。
【0113】
他の実施形態では、立体視覚化カメラ１２は固定ベース（例えば図１の結合板２６）に取り付けられ得、較正標的５２０は、リニアアクチュエータ７８２に接続されたテーブル（図２に示される７８０）に取り付けられ得る。立体視覚化カメラ１２の固定ベースに対するリニアアクチュエータ７８２の位置及び向き（ひいては移動方向）は、正確に取得し得る。テーブル７８０の移動方向はリニアアクチュエータ７８２の制御を介して、公称的に立体光軸（ここでは軸方向Ａ）に沿い、立体視覚化カメラ１２のビューにおいて、立体視覚化カメラ１２が較正標的５２０を見ながら且つ位置を読み出しながら、較正標的５２０を全作業距離に沿って随意配置することができるように移動するよう設計によって設定し得る。最高精度の場合、立体視覚化カメラ１２は最大倍率に設定し得る。
【0114】
図１を参照すると、最小値の作業距離Ｗ（ひいては最小焦点距離）で開始して、ロボットアーム２４は、較正標的５２０の中心を立体視覚化カメラ１２の第１及び第２の画像（例えば左及び右）の両方の中心と幾らかの許容差内で位置合わせするように立体視覚化カメラ１２を動かすように構成される。これは、較正標的５２０がセンタリングされ、立体視覚化カメラ１２の焦点面にあることを保証する。標的部位１６及び光軸の精密な直交性はこのステップで必要とされない。較正標的５２０の中心点に対する立体視覚化カメラ１２の実際の位置及び向きは、ロボットアーム２４の位置及びプレートの寸法から取得し得、記録される。次いで作業距離Ｗが、ロボットアーム２４と共に立体視覚化カメラ１２を物理的に動かすことによって全作業距離範囲の一部分だけ変更され、次いで画像が、例えばフォーカスモータを動かすことによって再び合焦される。標的センタリング並びに位置及び向きの記録のプロセスが繰り返され、その結果生じたロボットの動きが記録される。サンプル点間の動き変化が計算される。点間のそうして特定された相対焦点距離、任意の点における焦点面から投影中心までの絶対距離は、上述したように「絶対焦点距離較正」に依拠する。この後、全体焦点距離範囲に広がり、それによりこの範囲をサンプリングするまで、作業距離Ｗの別の変更及び続くロボットアーム位置の再センタリング、再合焦、及び読み出しが続く。較正標的５２０上の単一点が使用される（ここでは中心）が使用されるため、較正標的５２０及び立体視覚化カメラ１２の相対向きは必要ない。
【0115】
直交距離回帰をこの一連の３Ｄ点に対して実行して、立体視覚化カメラ１２上の何らかの既知の系、例えば取り付け機構基準系に対する立体光軸を見つけ得る。これらの各点をこの軸に投影すると、焦点距離範囲サンプリングで使用されたフォーカスモータの各位置で作業距離Ｗを計算することができる。これらの組の情報を絶対焦点距離較正と組み合わせ、補間アルゴリズムを生成して、立体視覚化カメラ１２上の既知の系に対する焦点面における画像中心の位置が、作業距離範囲全体にわたって見つけられる。サンプル範囲の終点で、外挿アルゴリズムが生成されて、サンプル点によって達しない範囲の拡張に達する。
【0116】
立体視覚化カメラ１２は、フォーカス及びズームにわたりパーセントラル（ｐａｒ－ｃｅｎｔｒａｌ）であり、ズームにわたりパーフォーカルであると仮定される。これらの仮定が当てはまらない場合、この手順を複数のズームレベルにわたって繰り返し、補間する必要があり得る。立体視覚化カメラ１２がフォーカスにわたりパーセントラルではない場合、線形モデルよりも複雑なモデルが必要となり得る。これらの仮定は、現在生産されている立体視覚化カメラ１２の精度要件で機能する。
【0117】
最終ステップは、ヘッドユニット１８に対する立体視覚化カメラ１２の「上」及び「右」ベクトルを決定する。一実施形態では、十字線を視覚化表示上に重ね得、そのような十字線は、カメラ画像の「上」及び「右」ベクトルを精密に決定するようにデータの行及び列と位置合わせされる。デジタルオーバーレイはこれをピクセル精度で行う。ロボットアーム２４は、較正標的５２０（図８Ｂ）の中心点が垂直十字線に沿い、合焦された状態を保つように立体視覚化カメラ１２を動かす。ロボットアーム２４の動きは、立体視覚化カメラ１２の「上」方向がここで、既知のロボットの動きと相関付けられるように記録される。「右」方向も同様にして決定される。
【0118】
絶対焦点距離較正
焦点面の中心から投影中心までの絶対距離は、較正標的５２０に合焦し、ディスプレイ画面の矩形の四隅の較正標的５２０上の場所に留意することによって推定し得る。次いでテーブル７８０を使用して、較正標的５２０を焦点面から離れた既知の距離に移動させ、カメラ光学系は変更されず（再合焦されず、ズームも全く変更されない）、ディスプレイ画面の矩形の同じ四隅のチェス盤上の新しい場所に留意する。同様の三角形の三角法並びにテーブル７８０及び画像の追加の位置を使用して、較正標的５２０に対する各２Ｄ視覚化モジュールの投影中心が推定される。
焦点面の中心から投影中心までの絶対距離は、較正標的５２０に合焦し、ディスプレイ画面の矩形の四隅の較正標的５２０上の場所に留意することによって推定し得る。次いでテーブル７８０を使用して、較正標的５２０を焦点面から離れた既知の距離に移動させ、カメラ光学系は変更されず（再合焦されず、ズームも全く変更されない）、ディスプレイ画面の矩形の同じ四隅のチェス盤上の新しい場所に留意する。同様の三角形の三角法並びにテーブル７８０及び画像の追加の位置を使用して、較正標的５２０に対する各２Ｄ視覚化モジュールの投影中心が推定される。
【0119】
テーブル７８０に対する較正標的５２０及び立体視覚化カメラ１２のマウントに対するテーブル７８０の場所及び向きは、設計及びメトロロジによって既知である。したがって、立体視覚化カメラ１２の基準系に対する各２Ｄ視覚化モジュールの投影中心（ＣＯＰ）の位置が計算される。各２Ｄ視覚化モジュールの「ＣＯＰ空間」の向き選択は、用途に依存する。一実施形態では、画面上で正のＸ軸が右側に延び、正のＹ軸が上に延び、２Ｄ視覚化モジュールが負のＺ軸を見下ろす（したがって、正のＺ軸は画面から抜け出す）状態で原点が画面の中心にあるように選ばれる。システム全体は、行列乗算を介した単純な数学的調整を用いて調和することができる。別の実施形態では、絶対焦点距離較正は、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２及びＯＣＴモジュールによって仮想多面体９０２（図１３Ａに示す）を撮像し、ブレンドされた各画面上からの出力を立体的にレンダリングし、キューブの視点が２つの撮像モダリティで合致するまでＯＣＴデータのボリュームレンダラーの投影中心の場所を手動で変更することによった達成される。
【0120】
Ｖ．システムの見当合わせ
見当合わせは、立体視覚化カメラ１２の２つのビューの回転、並進、及びスケールの、ＯＣＴデータをレンダリングするＶＲモジュール５１（仮想カメラを実施する）の各ビューへの位置合わせ並びに各視点を合致させることとして理解し得る。少数の見当合わせ技法を後述するが、他の技法及び方法が採用されてもよいことが理解される。第１の組のボリュームデータを第２の組のボリュームデータと見当合わせすることは、第１の組のボリュームデータにおける関心のある局所エリアの位置、向き、及びサイズを第２の組のボリュームデータと位置合わせすることを含み得る。例えば図５を参照すると、関心のある局所エリアは角膜縁３３２及び強膜脈管３３４を含み得る。
見当合わせは、立体視覚化カメラ１２の２つのビューの回転、並進、及びスケールの、ＯＣＴデータをレンダリングするＶＲモジュール５１（仮想カメラを実施する）の各ビューへの位置合わせ並びに各視点を合致させることとして理解し得る。少数の見当合わせ技法を後述するが、他の技法及び方法が採用されてもよいことが理解される。第１の組のボリュームデータを第２の組のボリュームデータと見当合わせすることは、第１の組のボリュームデータにおける関心のある局所エリアの位置、向き、及びサイズを第２の組のボリュームデータと位置合わせすることを含み得る。例えば図５を参照すると、関心のある局所エリアは角膜縁３３２及び強膜脈管３３４を含み得る。
【0121】
見当合わせは、ＯＣＴデータ空間の場所及び向きに対する立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の各投影中心（ＣＯＰ）の場所及び向きを見つけることを含み得る。簡潔にするために、１つのビューのみについて考察する。物体に対する別の物体の場所及び向きを見つけることは、第２の物体に対する第１の物体の座標系の変換を見つけること又はその逆としても知られている。さらに、物体の座標系は物体の「空間」としても知られている。両物体に対する相対場所及び相対向きが固定されたままである第３の物体を使用し、変換の一方の逆変換を使用することによってそのような変換を特定し得る。逆変換の説明は以下である。例えば、図１２Ｂのコンパス８７０を参照すると、点Ｑは点Ｐの４ブロック東にあり、点Ｒは点Ｐの２ブロック南にあり、点Ｒは点Ｑの２ブロック南且つ４ブロック西にある。点Ｐから点Ｒに行くための指示は、「２ブロック南に行け」であり、点Ｑから点Ｒに行くための指示は「２ブロック南に、そして４ブロック西に行け」である。点Ｑから点Ｒに行くための指示の逆は例えば、「４ブロック東に、そして２ブロック北に行け」である（この例では、逆は「２ブロック北に、そして４ブロック東に行け」であることもでき、結果は同じである）。したがって、点Ｑから点Ｒへの逆指示が続く点Ｐから点Ｒへの指示は、「２ブロック南に、次いで４ブロック東に、そして２ブロック北に行け」であり、これは点Ｐから点Ｑに進めさせる。
【0122】
この実施形態では、この操作に使用される第３の物体は、ＯＣＴモジュール１４及び２Ｄ視覚化モジュールＶ１、Ｖ２の較正に他の場所で使用された較正標的５２０（図８Ｂ参照）である。他の物体又は他のタイプのデバイスが使用されてもよいことが理解される。共通物理的空間要件は、出力データを例えばミリメートル単位の現実世界測定値に変換する、２Ｄ仮想化モジュールＶ１、Ｖ２及びＯＣＴモジュール１４の各々の較正ステップによって満たされる。２Ｄ視覚化モジュール空間（原点はＣＯＰに配置される）に対する較正標的５２０の第２の変換８３４（図１１Ａ参照）は「ＣＯＰ＿Ｔ＿ＴＡＲＧＥＴ」と呼ぶことができ、これは「標的空間から投影中心空間への変換」であるため、「逆方向」に読まれる。ＯＣＴ空間に対する較正標的５２０の第１の変換７７４（図１０Ａ参照）は「ＯＣＴ＿Ｔ＿ＴＡＲＧＥＴ」と呼ぶことができ、これも同様に「標的空間からＯＣＴ空間への変換」であるため、逆方向に読まれる。
【0123】
立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の各々へのＯＣＴモジュール１４の見当合わせを可能にするために、２Ｄ視覚化モジュール空間へのＯＣＴ空間の第３の変換８６２（図１２Ａ参照）、即ちＣＯＰ＿Ｔ＿ＯＣＴ（又はその逆：ＯＣＴ＿Ｔ＿ＣＯＰ）が必要とされる。ＣＯＰ＿Ｔ＿ＯＣＴは、第２の変換８３４、第１の変換７７４、及び今述べた逆操作を使用して計算し得る：
ＣＯＰ＿Ｔ＿ＯＣＴ＝ＣＯＰ＿Ｔ＿ＴＡＲＧＥＴ＊（ＯＣＴ＿Ｔ＿ＴＡＲＧＥＴ）．逆
ＣＯＰ＿Ｔ＿ＯＣＴ＝ＣＯＰ＿Ｔ＿ＴＡＲＧＥＴ＊（ＯＣＴ＿Ｔ＿ＴＡＲＧＥＴ）．逆
【0124】
ここで、変換は、例えば行列を使用するコンピュータグラフィックスを用いてコントローラＣ、カメラプロセッサ５２、及び／又はＯＣＴプロセッサ５０において数学的に実施され、複数の変換は、そのような行列及びそれらの逆の連続乗算によって実施される。したがって、ＣＯＰ＿Ｔ＿ＯＣＴ等は、これらの特徴を実装する実際のコンピュータコードにおける行列である。この方程式は、２Ｄ視覚化モジュール及びＯＣＴデータから現実世界測定値への適宜較正と組み合わせられた場合、２つの空間からのデータの正確な融合を可能にする２つのデバイスの見当合わせを実施する。
【0125】
視点較正
立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の較正は、２Ｄ視覚化モジュールＶ１、Ｖ２への物体の距離が変わる場合、物体が画像において相対的にいかにサイジングされるかを記述する視点決定を含む。これは、現実世界の三次元が２Ｄ視覚化モジュールにおける二次元平面に投影されるためである。これは「視点投影」と呼ばれる。同一サイズの物体は、イメージャの有効投影中心からいかに離れるかに基づいて異なるサイズで投影画像に現れる。視点較正は、立体視覚化カメラ１２とＯＣＴモジュール１４との間のこの相対サイズスケールのマッチングであり、異なる視覚化モジュールからの三次元画像の共通撮像空間への正確且つ現実的な「融合」を可能にするに当たり極めて重要な要因の１つである。ＯＣＴモジュール１４はこの「視点投影」挙動を有さず、その理由は、ＯＣＴモジュール１４は三次元を用いて三次元の現実世界を撮像しており、ＯＣＴ撮像プロセスから生成される画像データは三次元であり、二次元に投影されないためである。
立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の較正は、２Ｄ視覚化モジュールＶ１、Ｖ２への物体の距離が変わる場合、物体が画像において相対的にいかにサイジングされるかを記述する視点決定を含む。これは、現実世界の三次元が２Ｄ視覚化モジュールにおける二次元平面に投影されるためである。これは「視点投影」と呼ばれる。同一サイズの物体は、イメージャの有効投影中心からいかに離れるかに基づいて異なるサイズで投影画像に現れる。視点較正は、立体視覚化カメラ１２とＯＣＴモジュール１４との間のこの相対サイズスケールのマッチングであり、異なる視覚化モジュールからの三次元画像の共通撮像空間への正確且つ現実的な「融合」を可能にするに当たり極めて重要な要因の１つである。ＯＣＴモジュール１４はこの「視点投影」挙動を有さず、その理由は、ＯＣＴモジュール１４は三次元を用いて三次元の現実世界を撮像しており、ＯＣＴ撮像プロセスから生成される画像データは三次元であり、二次元に投影されないためである。
【0126】
しかしながら、この三次元データをフラットパネルディスプレイ等の二次元ディスプレイに表現するには、ＶＲモジュール５１を特徴とするボリュームレンダーカメラ等の仮想カメラを使用してレンダリングされる必要がある。ＶＲモジュール５１（仮想カメラ）の視点投影は、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２のうちの各相手方の視点投影と合致するようにセットアップされる必要がある。なお、「３Ｄ」ディスプレイは実際には、異なる２Ｄ画像（「ビュー」）をユーザに提示できるようにする２Ｄディスプレイにすぎず、したがって、三次元データを表現するには、各ビューの視点投影を必要とする。
【0127】
２Ｄ視覚化モジュールＶ１、Ｖ２のカメラ較正中に取得される内因性及び外因性パラメータを使用して、較正された立体視覚化カメラ１２によって視覚化される現実世界での既知の位置及び寸法のアイテムが、カメラプロセッサ５２のコンピュータグラフィックスパイプライン部分において仮想的に引き込まれ、且つ較正された立体視覚化カメラ１２に対して同一の位置及び向きに位置決めされた場合、サイズ、形状、及び視点に関して物理的物体のビューと「合致」するように、コンピュータグラフィックス言語を用いてＶＲモジュール５１において各ボリュームレンダーカメラをセットアップし得る。コンピュータグラフィックスレンダラーでは、これらのパラメータのモデリングは、サイズ、位置、向き、及び視点を含め、所与の構造が画面上でいかにレンダリングされるかを制御するために投影行列及びモデルビュー行列等の数学的性質を設定することによって実施し得る。
【0128】
較正、見当合わせ、及び視点マッチングの例
図１３Ａをこれより参照して、仮想多面体９０２を示し、仮想多面体は、辺として硬い半透明のワイヤを用い、その他の場所は空にして作られ得る。立方体形状が図１３Ａに示されているが、矩形柱、五角形柱、六角形柱等の他の形状が採用されてもよいことが理解される。図１３Ｂ及び図１３Ｃは、第１及び第２の視点のそれぞれにより仮想多面体９０２を撮像する２Ｄ視覚化モジュールＶ１、Ｖ２の一方の各上面図９３６、９３８を示す。仮想多面体９０２の一面が２Ｄ視覚化モジュールの光軸に概ね垂直であり、２Ｄ視覚化モジュールの光学系を含むセットアップにより、仮想多面体９０２の全体が撮像することができる状態で、仮想多面体９０２の第１の画像ＩＩ（図１３Ｂ参照）が撮影される場合、仮想多面体９０２の前面の（上）隅９１０及び９１６は、例えば隅９１０Ａ及び９１６Ａ（ここでは、簡潔にするために、立方体の下の隅は省かれている）としてそれぞれ、画像において特定のサイズで現れる。仮想多面体９０２の残りの部分によって遮られない場合、後面の隅９１２、９１４も同様に、典型的にはそれぞれ９１２Ａ及び９１４Ａ等の前面よりも小さなサイズで画像に部分的に現れる。これらの様々なサイズは、本明細書ではまとめて撮像モジュールの視点と呼ばれる。図１３Ｂを参照すると、シーンに対する投影中心９４０の位置は視点に影響する。投影中心９４０に対するセンサ又は仮想画像面９４２の位置は、画面上の全ての物体の絶対サイズに影響するが、それらの相対サイズひいては視点はあまり影響されない。
図１３Ａをこれより参照して、仮想多面体９０２を示し、仮想多面体は、辺として硬い半透明のワイヤを用い、その他の場所は空にして作られ得る。立方体形状が図１３Ａに示されているが、矩形柱、五角形柱、六角形柱等の他の形状が採用されてもよいことが理解される。図１３Ｂ及び図１３Ｃは、第１及び第２の視点のそれぞれにより仮想多面体９０２を撮像する２Ｄ視覚化モジュールＶ１、Ｖ２の一方の各上面図９３６、９３８を示す。仮想多面体９０２の一面が２Ｄ視覚化モジュールの光軸に概ね垂直であり、２Ｄ視覚化モジュールの光学系を含むセットアップにより、仮想多面体９０２の全体が撮像することができる状態で、仮想多面体９０２の第１の画像ＩＩ（図１３Ｂ参照）が撮影される場合、仮想多面体９０２の前面の（上）隅９１０及び９１６は、例えば隅９１０Ａ及び９１６Ａ（ここでは、簡潔にするために、立方体の下の隅は省かれている）としてそれぞれ、画像において特定のサイズで現れる。仮想多面体９０２の残りの部分によって遮られない場合、後面の隅９１２、９１４も同様に、典型的にはそれぞれ９１２Ａ及び９１４Ａ等の前面よりも小さなサイズで画像に部分的に現れる。これらの様々なサイズは、本明細書ではまとめて撮像モジュールの視点と呼ばれる。図１３Ｂを参照すると、シーンに対する投影中心９４０の位置は視点に影響する。投影中心９４０に対するセンサ又は仮想画像面９４２の位置は、画面上の全ての物体の絶対サイズに影響するが、それらの相対サイズひいては視点はあまり影響されない。
【0129】
図１３Ｃを参照すると、投影中心９４４がシーン（この場合、仮想多面体９０２）に対して移動する場合、第２の画像１２が取得される。各センサ又は仮想画像面９４６の位置は、前面のサイズが図１３Ｂの仮想画像面９４２と同じままであるように移動してもよい。図１３Ｃを参照すると、仮想多面体９０２の前面からの隅９１０及び９１６は、各場所又は点９５４、９５６それぞれ同様に、仮想画像面９４６上のそれぞれ同じ９５０、９５２に投影される。しかしながら、仮想多面体９０２の後面からの隅９１２、９１４はそれぞれ９６２、９６４と比較して異なる点９５８、９６０に投影され、したがって、２つのシステム間で視点は一致しない。これらの点は完全な第２の画像Ｉ２の９６６、９６８、９７０、９７２に示されている。なお、２つのみの次元が図１３Ｂ及び図１３Ｃの各上面図に表されているが、生成された第１及び第２の画像Ｉ１及びＩ２は仮想多面体９０２全体のものである。関心のある点からの光線（破線）のみが示されており、実際のイメージャでは、光線は一般に、イメージャにとって可視のフィールド全体から捕捉され、イメージセンサ場所でのそれらの結合効果が、記録されるものである。
【0130】
図１５Ａを参照すると、第３の画像Ｉ３は、仮想多面体９０２のＯＣＴデータをレンダリングするのに使用された立体ボリュームレンダリングカメラによる１つの単一視覚ビューからのレンダリングを示す。ビューは、レンダリングされた正面点１００２、１００４及びレンダリングされた後面点１００６、１００８によって示されるように特定の視点を有する。仮想多面体９０２の第３の画像Ｉ３の位置は、画像の中心からオフセットされており、向きは視角（ページ内を見る）の回りを幾らか回転している。
【0131】
図１５Ｂを参照して、第４の画像Ｉ４を示す。ビューは、レンダリングされた正面点１０１０、１０１２及びレンダリングされた後面点１０１４、１０１６によって示されるように、第３の画像Ｉ３と異なる特定の視点を有する。この視点は、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の一方からの例としての第１の画像Ｉ１で観測される視点と密に合致する。位置及び向きは、第３の画像Ｉ３と略同じである。
【0132】
図１５Ｃを参照すると、第５の画像Ｉ５は、立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２の一方からの第１の画像Ｉ１と同様である。図１５Ｄを参照すると、第６の画像Ｉ６は、ＯＣＴボリュームレンダーからの第３の画像Ｉ３が重ねられた第５の画像Ｉ５の融合である。見当合わせ及び視点は両方とも、２つの撮像モダリティ間で合致せず、例えば、ＯＣＴデータでＶＲモジュール５１（図２参照）によってレンダリングされる隅１００２、１００４の画像は、２Ｄ視覚化モジュールＶ１、Ｖ２の一方からそれぞれ撮像された隅１０１８、１０２０の近傍のどこにもない。隅１０２２、１０２４及び隅１００２、１００４についてもそれぞれ同様。さらに、後面に対する前面のサイズ関係（即ち視点）も、２つのモダリティ間で一致しない。
【0133】
図１６Ａを参照すると、第７の画像Ｉ７は、第５の画像Ｉ５の視点と合致する第４の画像Ｉ４からの視点を使用する。これは、第５の画像Ｉ５と同じ位置及び向きも有する。サイズは、ＯＣＴ空間における物体表現に対してＶＲモジュール５１によって特徴付けられる仮想カメラを適宜位置決めすることによって合致する。最後に、図１６Ｂを参照すると、第８の画像Ｉ８は、視点及び見当合わせが合致した２つのモダリティの画像融合を示す。各モダリティからの前面特徴１０１８、１０２８は、画面上の同じ場所にある。残りの上部特徴、即ち仮想多面体９０２の隅対１０２２、１０３２、隅対１０２０、２０３０、及び第２の隅対１０２４、１０３４も同様。これらは、較正及び見当合わせステップを使用して達成し得、したがって、２つの撮像モダリティ：立体視覚化カメラ１２の２Ｄ視覚化モジュールＶ１、Ｖ２及びＯＣＴモジュールからのデータの正確で視覚的に満足のいく融合を可能にする。
【0134】
歪み補正
更なる改良として、歪みパラメータを任意選択的に使用して、カメラ光学系のひどさに応じて幾らかのエッジアーチファクト及び恐らくは反りに起因して画像ピクセルが使用されないことを犠牲にして、例えば、直線が画像全体にわたって直線として見えるように、立体視覚化カメラ１２の光学系における樽形又は糸巻き形歪みを補正し得る。そのような補正は立体視覚化カメラ１２から入力される画像に適用されて、ＯＣＴモジュール１４からの画像を重ねる等の更なる処理前に光学歪みを除去し得る。代替的には、逆動作が計算、適用されて、ＯＣＴモジュール１４の画像を歪ませ、立体視覚化カメラ１２からの画像の歪みと合致させる。
更なる改良として、歪みパラメータを任意選択的に使用して、カメラ光学系のひどさに応じて幾らかのエッジアーチファクト及び恐らくは反りに起因して画像ピクセルが使用されないことを犠牲にして、例えば、直線が画像全体にわたって直線として見えるように、立体視覚化カメラ１２の光学系における樽形又は糸巻き形歪みを補正し得る。そのような補正は立体視覚化カメラ１２から入力される画像に適用されて、ＯＣＴモジュール１４からの画像を重ねる等の更なる処理前に光学歪みを除去し得る。代替的には、逆動作が計算、適用されて、ＯＣＴモジュール１４の画像を歪ませ、立体視覚化カメラ１２からの画像の歪みと合致させる。
【0135】
ＶＩ．斜位視覚化
図２を参照すると、システム１０は、コントローラＣによって選択的に実行可能であり、第１の組のボリュームデータ及び第２の組のボリュームデータの各表現が予め定義された斜位角で見られるような複合共有ビューの軸外ビューを生成する斜位視覚化モジュール５５を含み得る。図１９Ａ～図１９Ｃはそれぞれ、ディスプレイ３２上の眼球Ｅの複合共有ビューを示す（ライブ立体画像Ｌに重ねられる）。図１９Ａは、ゼロ度斜位角を有する眼球Ｅの上から下を見た図１３００を示す。図１９Ｂは、第１の斜位角１３３２に従った眼球Ｅの軸外ビュー１３３０を示す。図１９Ｃは、第２の斜位角１３５２に従った眼球Ｅの軸外ビュー１３５０を示す。示される例では、第１の斜位角は約４５度であり、第２の斜位角は約８０度である。
図２を参照すると、システム１０は、コントローラＣによって選択的に実行可能であり、第１の組のボリュームデータ及び第２の組のボリュームデータの各表現が予め定義された斜位角で見られるような複合共有ビューの軸外ビューを生成する斜位視覚化モジュール５５を含み得る。図１９Ａ～図１９Ｃはそれぞれ、ディスプレイ３２上の眼球Ｅの複合共有ビューを示す（ライブ立体画像Ｌに重ねられる）。図１９Ａは、ゼロ度斜位角を有する眼球Ｅの上から下を見た図１３００を示す。図１９Ｂは、第１の斜位角１３３２に従った眼球Ｅの軸外ビュー１３３０を示す。図１９Ｃは、第２の斜位角１３５２に従った眼球Ｅの軸外ビュー１３５０を示す。示される例では、第１の斜位角は約４５度であり、第２の斜位角は約８０度である。
【0136】
上述したように、ＯＣＴモジュール１４は三次元データを標的部位１６におけるボリュームから収集する。図１９Ａ～図１９Ｃを参照すると、ＯＣＴモジュール１４は、角膜１３０２、水晶体１３０４、及び水晶体嚢１３０６等の眼球Ｅの略透明の特徴を撮像する。斜位視覚化モジュール５５の実行は、コントローラＣに、部分的にＯＣＴモジュール１４からの第１の組のボリュームデータに基づいて、図１３Ａの仮想多面体９０２等のワイヤフレーム画像を形成させる。例えば、スキャン位置のサブセットを利用して、ワイヤフレーム画像を構築し得る。ワイヤフレーム画像は、第１の対の立体画像としてＶＲモジュール５１を介してレンダリングし得る。
【0137】
図１９Ａ～図１９Ｃを参照すると、強膜１３０８及び虹彩１３１０等の眼球の可視の一般に不透明な特徴が立体視覚化カメラ１２に捕捉され、不一致を使用して、第２の組のボリュームデータを形成し得る。第２の組のボリュームデータは、ＶＲモジュール５１を介して第２の対の立体画像としてレンダリングされる。第１の対の立体画像及び第２の対の立体画像は重ねられるか、又は融合されて、軸外ビュー１３３０（又は軸外ビュー１３５０）を形成する。立体視覚化カメラ１２のビューは、較正されＯＣＴビューと見当合わせされた立体であるため、立体視覚化カメラ１２は、まるで同じ任意の角度から見られているかのように正確に移動する。予め定義される斜位角は、ユーザインターフェース５４を介してユーザによって選択可能であり得る。
【0138】
システム１０は、眼球Ｅの「深度」寸法の閲覧及びユーザ検知を可能にし、そしてこれにより、深度に沿った機器のよりよい制御を可能にする。例えば図１９Ｃを参照すると、外科器具１３１２の深度は、軸上ビュー又は上から下を見たビュー１３００に対する軸外ビュー１３５０において最も正確に撮像し得る。外科器具１３１２は、切開１３１６を介して眼球Ｅ内に挿入されるように構成された先端部分１３１４を有し得る。選択可能な斜位角を介した深度検知により、外科器具１３１２による前眼房等の組織への接触又は穿刺の回避を容易にする。
【0139】
標的部位１６における略透明な特徴（立体視覚化カメラ１２には不可視）を視覚化するために、ＯＣＴデータの部分は、可視データとして公称的に同一の仮想カメラパラメータを有する立体対としてボリュームレンダリングし得る。ＶＲモジュール５１によるレンダリングは、新たなデータフレームごとに更新し得る。例えば、立体視覚化カメラ１２のビューは、略６０Ｈｚの周波数でデータ更新し得る。ＯＣＴデータは３Ｈｚ～３０Ｈｚで更新し得る。これらの更新は独立しており、同期されてもよく、又は同期されなくてもよい。レンダリングはまた、新たなカメラ位置及び向きがユーザ又は他の入力によって入力される場合、新たな斜位角に更新することもできる。立体視覚化カメラ１２の出力画像は、ＯＣＴデータに対して同じ平面にレンダリングされることに寄与し得る。
【0140】
図１のコントローラＣは、ＯＣＴモジュール１４及び立体視覚化カメラ１２と一体化された他のコントローラの一体部分又は動作可能に接続された別個のモジュールであり得る。コントローラＣは、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られ得るデータ（例えば、命令）の提供に関与する非一時的（例えば、有形）媒体を含む、コンピュータ可読媒体（プロセッサ可読媒体とも呼ばれる）を備える。そのような媒体は、不揮発性媒体及び揮発性媒体を含むが限定されない多くの形態をとり得る。不揮発性媒体としては、例えば、光ディスク又は磁気ディスク及び他の永続的メモリが挙げられる。揮発性媒体としては、例えば、主記憶デバイスを構成し得るダイナミックランダムアクセスメモリ（ＤＲＡＭ）が挙げられる。このような命令は、コンピュータのプロセッサに結合されたシステムバスを備える配線を含む、同軸ケーブル、銅線、及び光ファイバを含む１つ又は複数の伝送媒体によって伝送され得る。コンピュータ可読媒体のいくつかの形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、若しくは他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、若しくは他の光媒体、パンチカード、紙テープ、若しくは他の孔のパターンを有する物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＥＰＲＯＭ、若しくは他のメモリチップ若しくはカートリッジ、又は他のコンピュータが読み取り可能な媒体が挙げられる。
【0141】
本明細書に記載されるルックアップテーブル、データベース、データリポジトリ、又は他のデータストアは、階層型データベース、ファイルシステム内の一式のファイル、独自形式のアプリケーションデータベース、リレーショナルデータベース管理システム（ＲＤＢＭＳ）などを含む、様々な種類のデータを格納、アクセス、及び取得するための様々な種類の機構を含み得る。それぞれのそのようなデータストアは、上述したようなコンピュータオペレーティングシステムを採用するコンピューティングデバイス内に含まれてもよく、様々な仕方のうちの１つ又は複数でネットワークを介してアクセスされてもよい。ファイルシステムは、コンピュータオペレーティングシステムからアクセス可能であり、様々な形式で格納されたファイルを含むことができる。ＲＤＢＭＳは、上述のＰＬ／ＳＱＬ言語などのストアドプロシージャを作成、保存、編集、及び実行するための言語に加えて、構造化照会言語（Ｓｔｒｕｃｔｕｒｅｄ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ、ＳＱＬ）を採用してもよい。
【0142】
詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の範囲は、特許請求の範囲によってのみ定義される。特許請求の範囲に記載された開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。さらに、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例のうちの１つにおいて説明された特性のそれぞれは、他の実施形態からの１つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言葉で説明されていない、又は図面を参照することによって説明されていない、他の実施形態を得ることができる。したがって、このような他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図15A】
【図15B】
【図15C】
【図15D】
【図16A】
【図16B】
【図17】
【図18】
【図19A】
【図19B】
【図19C】