特許 6875550 立体視覚化カメラ及びプラットフォーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6875550

(24)【登録日】2021年4月26日

(45)【発行日】2021年5月26日

(54)【発明の名称】立体視覚化カメラ及びプラットフォーム

(51)【国際特許分類】

   G02B 21/22 20060101AFI20210517BHJP

   G02B 21/36 20060101ALI20210517BHJP

   G02B 21/00 20060101ALI20210517BHJP

   G03B 35/08 20210101ALI20210517BHJP

   G03B 35/18 20210101ALI20210517BHJP

   H04N 13/239 20180101ALI20210517BHJP

   H04N 13/246 20180101ALI20210517BHJP

   H04N 13/139 20180101ALI20210517BHJP

   H04N 13/254 20180101ALI20210517BHJP

   H04N 5/225 20060101ALI20210517BHJP

   H04N 5/232 20060101ALI20210517BHJP

【ＦＩ】

   G02B21/22

   G02B21/36

   G02B21/00

   G03B35/08

   G03B35/18

   H04N13/239

   H04N13/246

   H04N13/139

   H04N13/254

   H04N5/225 800

   H04N5/232 290

   H04N5/225 600

【請求項の数】11

【全頁数】80

(21)【出願番号】特願2019-557603(P2019-557603)

(86)(22)【出願日】2018年4月19日

(65)【公表番号】特表2020-519930(P2020-519930A)

(43)【公表日】2020年7月2日

(86)【国際出願番号】US2018028360

(87)【国際公開番号】WO2018200309

(87)【国際公開日】20181101

【審査請求日】2019年11月27日

(31)【優先権主張番号】62/489,289

(32)【優先日】2017年4月24日

(33)【優先権主張国】US

(31)【優先権主張番号】62/489,876

(32)【優先日】2017年4月25日

(33)【優先権主張国】US

(31)【優先権主張番号】15/814,127

(32)【優先日】2017年11月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】319008904

【氏名又は名称】アルコン インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100160705

【弁理士】

【氏名又は名称】伊藤 健太郎

(74)【代理人】

【識別番号】100211177

【弁理士】

【氏名又は名称】赤木 啓二

(72)【発明者】

【氏名】マクシミリアーノ ラミレス ルナ

(72)【発明者】

【氏名】マイケル ウェイスマン

(72)【発明者】

【氏名】トーマス ポール リーダーラー

(72)【発明者】

【氏名】ジョージ チャールズ ポルチン

(72)【発明者】

【氏名】アショック バートン トリパティ

【審査官】 殿岡 雅仁

(56)【参考文献】

【文献】 特開２００１−０５１２３４（ＪＰ，Ａ）

【文献】 特開２０１５−１２６２８８（ＪＰ，Ａ）

【文献】 特開２０１１−１５４１０４（ＪＰ，Ａ）

【文献】 特開２０１６−０７１１９３（ＪＰ，Ａ）

【文献】 特開２００３−０５２０５８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／１２１８４１（ＷＯ，Ａ１）

【文献】 特開平０８−３１７４２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２１／００ − ２１／３６

Ｈ０４Ｎ １３／００ − １７／０６

Ａ６１Ｂ ３４／００ − ９０／９８

(57)【特許請求の範囲】

【請求項1】

標的部位の同時に記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成された立体撮像装置であって、
第１の光路に沿って位置決めされ、（ｉ）前記第１の光路に沿ってｚ方向に移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズ及び（ｉｉ）前記第１の光路内の光から前記標的部位の前記第１の画像ストリームを記録する第１の画像センサを含む第１の光学要素と、
前記第１の光路に平行する第２の光路に沿って位置決めされ、（ｉ）前記第２の光路に沿ってｚ方向に移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズ及び（ｉｉ）前記第２の光路内の光から前記標的部位の前記第２の画像ストリームを記録する第２の画像センサを含む第２の光学要素と、
プロセッサと、
を備え、
前記プロセッサは、
第１のズーム反復点（「ＺＲＰ」）の位置を特定することであって、
前記第１の画像ストリームの記録中、前記第１のズームレンズを前記ｚ方向に沿って移動させ、
前記第１の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第１の部分を見つけ、
前記第１の画像ストリームの画像のうちの少なくとも１つ内の原点と、前記エリアの前記第１の部分との間の第１の距離を前記第１のＺＲＰの位置として特定する
ことにより、特定することと、
前記第１の距離を使用して、前記第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定することであって、前記第１のＺＲＰは前記第１のピクセルセットの中心に配置される、特定することと、
前記第１の画像センサの前記第１のピクセルセットからの画像と位置合わせされた画像を含む、前記第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定することと、
第２のＺＲＰの位置を特定することであって、
前記第２の画像ストリームの記録中、前記第２のレンズを前記ｚ方向に沿って移動させ、
前記第２の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第２の部分を見つけ、
前記第２のＺＲＰの位置として、前記第２のピクセルセットの中心と前記エリアの前記第２の部分との間の第２の距離を特定する
ことにより、特定することと、
前記特定された第２の距離に基づいて、前記ｘ方向、前記ｙ方向、及びチルト方向の少なくとも１つにおいて前記第２の複数のレンズの１つ又は前記第２の画像センサを調整することであって、それにより、前記第２のＺＲＰを前記第２のピクセルセットの前記中心と位置合わせさせる、調整することと、
を行うように構成される、立体撮像装置。

【請求項2】

前記第２の複数のレンズの前記１つは、前記第２のズームレンズである、請求項１に記載の立体撮像装置。

【請求項3】

前記プロセッサは、較正点としてルックアップテーブルに、前記第１のピクセルグリッドに対する前記第１のピクセルセットの第１の座標、前記第２のピクセルグリッドに対する前記第２のピクセルセットの第２の座標、前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整された前記第２の複数のレンズの前記１つの位置、並びに前記第１のズームレンズ及び前記第２のズームレンズの倍率レベルを記憶するように構成される、請求項１又は２に記載の立体撮像装置。

【請求項4】

前記プロセッサは、前記立体撮像装置の使用中、前記第１のズームレンズ及び前記第２のズームレンズが前記倍率レベルに移動する際、前記ルックアップテーブルを使用して、前記第１の画像センサの前記第１のピクセルセット及び前記第２の画像センサの前記第２のピクセルセットを選択するように構成される、請求項３に記載の立体撮像装置。

【請求項5】

前記プロセッサは、
異なる倍率レベルで前記第１のＺＲＰ及び前記第２のＺＲＰを位置特定することと、
前記異なる倍率レベルでの較正点として前記ルックアップテーブルに、各倍率レベルでの前記第１のピクセルグリッドに対する前記第１のピクセルセットの第１の座標、各倍率レベルでの前記第２のピクセルグリッドに対する前記第２のピクセルセットの第２の座標、各倍率レベルでの前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整された前記第２の複数のレンズの前記１つの位置、並びに前記第１のズームレンズ及び前記第２のズームレンズの倍率レベルを記憶することと、
を行うように構成される、請求項３に記載の立体撮像装置。

【請求項6】

前記プロセッサは、移動量として、前記第２のＺＲＰを前記第２の原点と位置合わせさせるために前記第２の複数のレンズの前記１つが前記ｘ方向、前記ｙ方向、及び前記チルト方向において調整された量及び方向を記録するように構成される、請求項１、２、又は４に記載の立体撮像装置。

【請求項7】

前記プロセッサは、前記第１の画像ストリームの前記記録中、第１の倍率レベルから、前記第１の倍率の２倍である第２の倍率レベルに前記第１のズームレンズを移動させるように構成され、
前記プロセッサは、前記第２の画像ストリームの前記記録中、前記第１の倍率レベルから前記第２の倍率レベルに前記第２のズームレンズを移動させるように構成される、請求項１、２、及び４のいずれか一項に記載の立体撮像装置。

【請求項8】

前記第１の距離は、前記原点に対する前記第１のＺＲＰの座標を含む、請求項１、２、及び４のいずれか一項に記載の立体撮像装置。

【請求項9】

前記標的部位は、図特徴を有するテンプレート、患者の術部、及び視覚的に区別可能な特徴を有するグリッドの少なくとも１つを含む、請求項１、２、及び４のいずれか一項に記載の立体撮像装置。

【請求項10】

前記テンプレートは、ブルズアイ、波動パターン、及び呼吸計パターンの少なくとも１つを含む、請求項９に記載の立体撮像装置。

【請求項11】

前記プロセッサは、
前記ｚ方向に沿った前記第１のレンズの前記移動の量に基づいてスケーリングされた第２の倍率レベルにおいて前記第１のレンズの移動の終わりに記録された画像から、合成標的部位画像を作成することと、
前記ｘ方向及び前記ｙ方向における移動量に基づいて、前記第１のＺＲＰの位置を特定し、前記ｚ方向に沿った前記第１のレンズの前記移動前、第１の倍率レベルで記録された標的部位画像に前記合成標的部位画像を位置合わせすることと、
を行うように構成される、請求項１、２、４、及び９のいずれか一項に記載の立体撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般には外科カメラに関し、より詳細には顕微鏡手術用途での立体カメラ及び立体視覚化プラットフォームに関する。

【背景技術】

【0002】

手術は芸術である。優れた芸術家が、常人の能力をはるかに超えた芸術品を作り上げる。芸術家は筆を使って絵の具の容器を、閲覧者から強く独特な感情を引き起こす鮮明な画像に変える。芸術家は紙に書かれた平凡な言葉をドラマチックで荘厳なパフォーマンスに変える。芸術家は楽器をつかみ、楽器に美しい音楽を放たせる。同様に、外科医は、見たところは平凡な外科用メス、ツイーザ、及びプローブをとり、人生を変える生物学的奇跡を生み出す。

【0003】

芸術家のように、外科医は自身の方法及び好みを有する。向上心がある芸術家は、技能の基礎が教えられる。初心者は多くの場合、規定の方法に従う。経験、自信、及び知識を得るにつれて、自分自身及び個人的環境の独自の芸術性の反映を発展させる。同様に、医学生も外科処置の基礎を教えられる。これらの方法について厳格にテストされる。生徒が研修期間及び実務を通して進むにつれて、手術が最良に完了すべきとどのように信じるかに基づいて、基礎から導き出されるもの（なお医療規格内にある）を発展させる。例えば、異なる有名な外科医によって行われる同じ医療処置を考える。イベントの順序、ペース、スタッフの配置、器具の配置、及び撮像機器の使用は、好みに基づいて各外科医で様々である。切開のサイズ及び形状でさえも外科医に固有であることができる。

【0004】

外科医の芸術家のような独自性及び特技により、外科医の方法を変える又は変更する外科器具に外科医はうんざりする。器具は外科医の延長であり、同時に及び／又は調和のとれた同期で動作すべきである。処置の流れを決める又は外科医のリズムを変える外科器具は多くの場合、破棄されるか、又は順応するように変更される。

【0005】

一例では、特定の外科処置が、人間が裸眼で容易に視覚化するには小さすぎる患者の構造が関わる顕微鏡手術視覚化を考える。これらの顕微鏡手術処置では、微小構造を適宜見るために拡大が求められる。外科医は一般に、自身の目の自然な延長である視覚化器具を欲する。実際に、顕微鏡手術視覚化の初期の尽力は、拡大鏡をヘッドマウント光学接眼レンズ（外科用ルーペと呼ばれる）に取り付けることを含んだ。最初のものは１８７６年に開発された。外科用ルーペの大いに改善されたバージョン（幾つかは光学ズーム及び一体化光源を含む）はなお今日、外科医によって使用されている。図１は、光源１０２と、拡大鏡１０４とを有する１つの外科用ルーペ１００の図を示す。１５０年にわたり外科用ルーペの勢力が維持されていることの一因は、外科用ルーペが文字通り外科医の目の延長であることである。

【0006】

長寿命にも拘わらず、外科用ルーペは完全ではない。図１のルーペ１００等の拡大鏡及び光源を有するルーペは、はるかに大きな重量を有する。外科医の顔の前にわずかな量の重量を配置することであっても、特に長時間の手術中、不快感及び疲労を増大させる可能性がある。外科用ルーペ１００は、遠隔電源に接続されたケーブル１０６も含む。ケーブルは事実上、鎖として機能し、それにより、外科実行中、外科医の可動性を制限する。

【0007】

別の顕微鏡手術視覚化器具は、手術用顕微鏡とも呼ばれる外科医用顕微鏡である。外科用顕微鏡の広範囲の商業的開発は、外科用ルーペに取って代わることを目的として１９５０年代に始まった。外科用顕微鏡は、光路、レンズ、及び外科用ルーペと比較して高い倍率を提供する集束要素を含む。光学要素の大きなアレイ（及びその結果としての重量）は、外科用顕微鏡を外科医から取り外す必要があったことを意味する。この取り外しは、外科医に操作のためのより多くのスペースを与えるが、外科用顕微鏡のかさ高さは、患者の上方で相当な操作空間を消費させ、それにより、外科ステージのサイズを低減させる。

【0008】

図２は、従来技術による外科用顕微鏡２００の図を示す。想像できるように、手術エリアでの外科用顕微鏡のサイズ及び存在により、揺れを受けやすかった。スコープヘッド２０１に安定性及び剛性を提供するために、顕微鏡は、比較的大きなブームアーム２０２及び２０４又は他の同様の支持構造体に接続される。大きなブームアーム２０２及び２０４は、追加の手術スペースを消費し、外科医及びスタッフの機動性を下げる。合計で、図２に示される外科用顕微鏡２００は３５０キログラム（「ｋｇ」）という重さになり得る。

【0009】

外科用顕微鏡２００を使用して標的術部を見るために、外科医は接眼レンズ２０６を直接通して見る。外科医の背中への応力を低減するために、接眼レンズ２０６は一般に、アーム２０２を使用して高さを調整して、外科医の自然な視線に沿って位置決めされる。しかしながら、外科医は、標的術部のみを見ることによって手術を行うのではない。接眼レンズ２０６は、外科医が患者への作業距離のアーム長さ内にいるように位置決めされる必要がある。そのような精密な位置決めは、特に長時間にわたり使用される場合、外科用顕微鏡２００が外科医にとって障害ではなく延長になることを保証するのに極めて重要である。

【発明の概要】

【発明が解決しようとする課題】

【0010】

任意の複雑な機器のように、外科医が外科用顕微鏡を使用して快適さを感じるには、数十から数百の時間がかかる。図２に示されるように、外科用顕微鏡２００の設計は、外科医から標的術部まで略９０°角度の光路を必要とする。例えば、標的術部からスコープヘッド２０１までに完全に垂直な光路が必要とされる。これは、あらゆる顕微鏡手術処置で、スコープヘッド２０１を患者の真上に位置決めする必要があることを意味する。加えて、外科医は、接眼レンズ２０６を略水平に（又は幾らか僅かに下方に傾斜して）見る必要がある。外科医の自然な傾きは、術部における両手に視覚を向けるためである。外科医によってはさらに、手の運動をより精密に制御するために、両手を術部のより近くに移動させたい者もいる。不都合なことに、外科用顕微鏡２００は、外科医にこの柔軟性を与えない。その代わり、外科用顕微鏡２００は容赦なく、全て患者上方の価値ある手術空間を消費しながら、外科医が両目を接眼レンズ２０６に配置し、手術実行中、頭部をアームの長さに保持すべきであると決定付ける。スコープヘッド２０１は外科医の視界を遮るため、外科医は単に患者に視線を落とすことさえもできない。

【0011】

更に悪いことに、外科用顕微鏡２００によっては、共同術者（例えば、アシスタント外科医、看護師、又は他の臨床スタッフ）用の第２の対の接眼レンズ２０８を含むものがある。第２の対の接眼レンズ２０８は通常、第１の接眼レンズ２０６から直角に位置決めされる。接眼レンズ２０６と２０８との近さは、アシスタントが外科医の近くに立たなければ（又は座らなければ）ならないことを決定付け、動きを更に制限する。これは、いくらかのスペースを有しての施術を好む外科医によっては不快であり得る。拡大恩恵にも拘わらず、外科用顕微鏡２００は外科医の自然な延長ではない。代わりに、手術室内の横柄なディレクターである。

【課題を解決するための手段】

【0012】

本開示は、一般に制限なく顕微鏡手術処置を行う自由を外科医に与えながら、外科医の目の延長として効率的に動作するように構成された立体視覚化カメラ及びプラットフォームに関する。本明細書に開示される一例の立体視覚化カメラは、顕微鏡手術用途で全範囲のオペレータから独立した向きを有するデジタル立体視覚化プラットフォームを含む。一例の立体視覚化カメラ及びプラットフォームは、顕微鏡手術視覚化システムを外科医の頭部及び目から切り離して、外科医及び標的術野に対して外科視覚化システムの多種多様な多軸方向付けを提供する。その結果、外科医に、患者の上方且つ外科医の顔の前に位置決めされた嵩張る顕微鏡の周囲で作業する必要なく、術部の改善された拡大ビューが提供される。したがって、一例の立体視覚化カメラは、外科医に合ったどこの位置でも人生を変える顕微鏡手術を外科医が快適に完了できるようにする。さらに、本開示の外科用視覚化カメラは、視覚化装置の物理的及び機械的な制限ではなく、外科医又は患者のニーズに最も合う、術野に対して任意の数の向きに沿って及び向きの周囲に位置決めすることができる。

【0013】

一例の立体視覚化カメラ及び対応するプラットフォームは、既知の平面視カメラ及び立体視カメラと異なる多くの利点を有する。現在の平面視カメラ及び立体視カメラは、外科用顕微鏡の光路に接続される。光路に接続されている間、カメラはフォーカス、ズーム、及び／又は作業距離設定への制御機構を有さない。その代わり、これらの制御は外科用顕微鏡のスコープヘッドに配置される。加えて、外科用顕微鏡における光学要素は、一般に許容可能な画質を接眼レンズに提供する。しかしながら、カメラによって取得され、ビデオモニタに表示される際、画質の欠陥又はわずかに位置合わせがずれた左右のビューがより顕著になる。

【0014】

一例の立体視覚化カメラは、外部顕微鏡光学要素に頼らない自己充足型デバイスとして構成されることにより、既知の平面視カメラ及び立体視カメラの上記問題を解消する。一例の立体視覚化カメラは代わりに、外科用顕微鏡で一般的な光学要素を内在化する。光学要素は、カメラ内のトラック及び／又は屈曲部に提供されて、手動及び／又は自動調整を可能にし得る。したがって、光学要素の調整は、カメラ制御機構及び／又はカメラに接続されたユーザ入力デバイスを通して提供することができ、それにより、調整をカメラに特異的に行えるようにする。加えて、立体視覚化カメラの光学要素は、左右の画像の焦点を位置合わせするように自動的及び／又は手動で調整し得、視覚的欠陥及び／又は疑似視差を低減し得る。最終結果は、外科医が視覚的妨害なしで技術を実施できるようにする略欠陥のない三次元立体視ディスプレイを提供する比較的軽量で操作しやすい立体視覚化カメラである。

【0015】

実施形態例では、立体撮像装置は、標的部位の同時に取得又は記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成される。本装置は、第１の光路に沿って位置決めされた第１の光学要素を含む。第１の光学要素は、ｚ方向に第１の光路に沿って移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズと、第１の光路内の光から標的部位の第１の画像ストリームを取得する第１の画像センサとを含む。本装置は、第１の光路に平行する第２の光路に沿って位置決めされた第２の光学要素も含む。第２の光学要素は、ｚ方向に第２の光路に沿って移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズと、第２の光路内の光から標的部位の第２の画像ストリームを取得する第２の画像センサとを含む。本装置は、第１の画像ストリームの記録中、第１のズームレンズをｚ方向に沿って移動させ、第１の画像ストリームの画像内でｘ方向又はｙ方向に移動しないエリアの第１の部分を見つけ、第１の画像ストリームの画像の少なくとも１つ内の原点とエリアの第１の部分との間の第１の距離を第１のＺＲＰの位置として特定することにより、第１のズーム反復的（「ＺＲＰ」）の位置を特定するように構成されたプロセッサを更に含む。一例のプロセッサは、第１の距離を使用して、第１のＺＲＰが第１のピクセルセットの中心に配置されるような第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定し、第１の画像センサの第１のピクセルセットからの画像と位置合わせされた画像を含む第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定するようにも構成される。一例のプロセッサは、第２の画像ストリームの記録中、ｚ方向に沿って第２のレンズを移動させ、第２の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第２の部分を見つけ、第２のピクセルセットの中心とエリアの第２の部分との間の第２の距離を第２のＺＲＰの位置として特定することにより、第２のＺＲＰの位置を見つけるように更に構成される。さらに、一例のプロセッサは、特定された第２の距離に基づいて、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて第２の複数のレンズの１枚又は第２の画像センサを調整して、第２のＺＲＰを第２のピクセルセットの中心と位置合わせするように構成される。

【0016】

一例のプロセッサは、第１のＺＲＰが第１のピクセルセットの中心に配置されるような第１の距離を使用して、第１の画像の第１のピクセルグリッドの第１のピクセルセットを特定することにより、疑似視差を低減又はなくす。加えて、プロセッサは、第１の画像センサの第１のピクセルセットからの画像と位置合わせされた画像を含む第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定する。さらに、一例のプロセッサは、特定された第２の距離に基づいて、ｘ方向、ｙ方向、及びチルト距離の少なくとも１つにおいて第２の複数のレンズの１枚を調整して、第２のＺＲＰを第２のピクセルセットの中心と位置合わせする。代替の実施形態では、一例のプロセッサは、第２の複数のレンズの１枚を移動させるのと同じ効果を有するように第２の複数のレンズの１枚の光学特性をデジタル的に変更し得る。プロセッサは、較正点として、第１及び第２のズームレンズの倍率レベルに関連して第１及び第２のピクセルセットの位置を記憶する。プロセッサは、立体撮像装置が続けて同じ又は同様の倍率レベルを返す場合、較正点を使用し、ピクセルセットの記憶された位置を選択し得る。

【0017】

別の実施形態では、立体撮像装置は、標的部位の同時に記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成される。一例の装置は、第１の光路に沿って位置決めされ、ｚ方向に第１の光路に沿って移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズを含む第１の光学要素と、第１の光路内の光から標的部位の第１の画像ストリームを記録する第１の画像センサとを含む。一例の装置は、第１の光路に平行する第２の光路に沿って位置決めされる第２の光学要素であって、ｚ方向に第２の光路に沿って移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズを含む、第２の光学要素と、第２の光路内の光から標的部位の第２の画像ストリームを記録する第２の光学センサとも含む。一例の装置は、第１の画像ストリーム内の第１のズーム反復点（「ＺＲＰ」）の位置を特定し、第１のＺＲＰが第１のピクセルセットの中心に配置されるような第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定し、第２のピクセルセットからの画像が第１のピクセルセットからの画像と視覚的に位置合わせされるような第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定するように構成されたプロセッサを更に含む。

【0018】

本明細書で考察された利点は、本明細書に開示される実施形態の１つ又は幾つかで見出し得、恐らく本明細書に開示される実施形態の全てで見出されるわけではない。追加の特徴及び利点が本明細書に記載され、以下の詳細な説明及び図から明らかになろう。

【図面の簡単な説明】

【0019】

【図1】一対の従来技術による外科用ルーペの図を示す。

【図2】従来技術による外科用顕微鏡の図を示す。

【図3】本開示の実施形態例による立体視覚化カメラの斜視図の図を示す。

【図4】本開示の実施形態例による立体視覚化カメラの斜視図の図を示す。

【図5】本開示の実施形態例による、図３及び図４の立体視覚化カメラを含む顕微鏡手術環境の図を示す。

【図6】本開示の実施形態例による、図３及び図４の立体視覚化カメラを含む顕微鏡手術環境の図を示す。

【図7】本開示の実施形態例による、図３〜図６の一例の立体視覚化カメラ内の光学要素を示す図を示す。

【図8】本開示の実施形態例による、図３〜図６の一例の立体視覚化カメラ内の光学要素を示す図を示す。

【図9】本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの偏向要素の図を示す。

【図10】本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの右光学画像センサ及び左光学画像センサの一例の図を示す。

【図11】本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの光学要素の一例のキャリアの図を示す。

【図12】本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの光学要素の一例のキャリアの図を示す。

【図13】本開示の実施形態例による、図７及び図８の一例の立体視覚化カメラの一例の屈曲部の図を示す。

【図14】本開示の実施形態例による、画像データを取得し処理する一例の立体視覚化カメラのモジュールの図を示す。

【図15】本開示の実施形態例による図１４のモジュールの内部構成要素の図を示す。

【図16】本開示の実施形態例による、図１４及び図１５の情報プロセッサモジュールの図を示す。

【図17】本開示の実施形態例によるディスプレイモニタの一例を示す。

【図18】右光路と左光路との間の疑似視差を示す図を示す。

【図19】右光路と左光路との間の疑似視差を示す図を示す。

【図20】右光路と左光路との間の疑似視差を示す図を示す。

【図21】右光路と左光路との間の疑似視差を示す図を示す。

【図22】右光路及び左光路のそれぞれの２枚の平行レンズの位置に関連したピンボケ状況を示す図を示す。

【図23】立体画像に融合される際、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。

【図24】立体画像に融合される際、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。

【図25】本開示の実施形態例による、疑似視差を低減するか、又はなくす一例の手順を示す流れ図を示す。

【図26】本開示の実施形態例による、疑似視差を低減するか、又はなくす一例の手順を示す流れ図を示す。

【図27】本開示の実施形態例による、光学画像センサのピクセルグリッドに対してズーム反復点がいかに調整されるかを示す図を示す。

【図28】本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。

【図29】本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。

【図30】本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。

【図31】本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。

【図32】本開示の実施形態例による、ズーム反復点を見つけるテンプレート照合プログラムを示す図を示す。

【発明を実施するための形態】

【0020】

本開示は、一般には立体視覚化カメラ及びプラットフォームに関する。立体視覚化カメラはデジタル立体顕微鏡（「ＤＳＭ」）と呼ばれることもある。一例のカメラ及びプラットフォームは、従来技術による顕微鏡（図１の外科用ルーペ１００及び図２の外科用顕微鏡２００等）よりもはるかに小型、軽量であり、操作しやすい自己充足型ヘッドユニットに顕微鏡光学要素及びビデオセンサを統合するように構成される。一例のカメラは、立体ビデオ信号を１つ又は複数のテレビジョンモニタ、プロジェクタ、ホログラフィックデバイス、スマートメガネ、仮想現実デバイス、又は外科環境内の他の視覚ディスプレイデバイスに送信するように構成される。

【0021】

モニタ又は他の視覚的ディスプレイデバイスは外科環境内に位置決めされて、患者に手術を行っている間、外科医の視線内に容易にあるようにし得る。この柔軟性により、外科医は、個人の好み又は習慣に基づいてディスプレイモニタを配置することができる。加えて、本明細書に開示される立体視覚化カメラの柔軟性及びスリムな外形は、患者の上方で消費されるエリアを低減する。完全に、立体視覚化カメラ及びモニタ（例えば、立体視覚化プラットフォーム）は、外科医及び外科チームが上述した外科用顕微鏡２００と比較して、移動を決定付けられず又は制限されずに患者に対して複雑な顕微鏡手術処置を行えるようにする。それに従って一例の立体視覚化プラットフォームは、外科医の目の延長として動作して、外科医が、従来既知の視覚化システムによって引き起こされるストレス、制限、及び制約に対応せずに傑作の顕微鏡手術を行えるようにする。

【0022】

本明細書における開示は一般に、顕微鏡手術を参照する。一例の立体視覚化カメラは、例えば、頭蓋手術、脳外科手術、神経外科、脊髄手術、眼科手術、角膜移植、整形外科手術、耳、鼻、及び喉の手術、歯科手術、整形手術及び再建手術、又は一般的な手術を含め、略あらゆる顕微鏡手術処置に使用することができる。

【0023】

本開示は、標的部位、シーン、又は視野も参照する。本明細書で使用される場合、標的部位又は視野は、一例の立体視覚化カメラにより記録又は他の方法で撮像されている物体（又は物体の部分）を含む。一般に、標的部位、シーン、又は視野は、一例の立体視覚化カメラの主対物レンズ組立体から作業距離分、離れており、一例の立体視覚化カメラと位置合わせされる。標的部位は、患者の生体組織、骨、筋肉、皮膚、又はそれらの組合せを含み得る。これらの場合、標的部位は、患者の解剖学的構造の進行に対応する深度成分を有することにより三次元であり得る。標的部位は、一例の立体視覚化カメラの較正又は検証に使用される１つ又は複数のテンプレートを含むこともできる。テンプレートは、紙（又はプラスチックシート）上のグラフィック設計等の二次元又は特定の領域での患者の解剖学的構造の近似等の三次元であり得る。

【0024】

全体を通して、ｘ方向、ｙ方向、ｚ方向、及びチルト方向も参照される。ｚ方向は、一例の立体視覚化カメラから標的部位への軸に沿い、一般に深度と呼ばれる。ｘ方向及びｙ方向は、ｚ方向に入射する平面にあり、標的部位の平面を構成する。ｘ方向は、ｙ方向の軸から９０°の軸に沿う。ｘ方向及び／又はｙ方向に沿った運動は、平面内運動と呼ばれ、一例の立体視覚化カメラの運動、一例の立体視覚化カメラ内の光学要素の運動、及び／又は標的部位の運動を指し得る。

【0025】

チルト方向は、ｘ方向、ｙ方向、及び／又はｚ方向に対してオイラー角（例えば、ヨー軸、ピッチ軸、及びロール軸）に沿った運動に対応する。例えば、完璧に位置合わせされたレンズは、ｘ方向、ｙ方向、及び／又はｚ方向に対して略０°を有する。換言すれば、レンズの面は、ｚ方向に沿った光に対して９０°、すなわち、直交する。加えて、レンズの縁部（レンズが矩形を有する場合）は、ｘ方向及びｙ方向に沿って平行する。レンズ及び／又は光学画像センサは、ヨー運動、ピッチ運動、及び／又はルール運動を通してチルトすることができる。例えば、レンズ及び／又は光学画像センサは、ｚ方向に対して、ピッチ軸に沿ってチルトして、上方又は下方に面し得る。ｚ方向に沿った光は、非直角でレンズの面（上方又は下方にピッチされる）に接触する。ヨー軸、ピッチ軸、又はロール軸に沿ったレンズ及び／又は光学画像センサのチルトにより、例えば、焦点又はＺＲＰを調整することができる。

【0026】

Ｉ．一例の立体視覚化カメラ
図３及び図４は、本開示の実施形態例による立体視覚化カメラ３００の斜視図の図を示す。一例のカメラ３００は、光学要素、レンズモータ（例えば、アクチュエータ）、及び信号処理回路を囲むように構成された筐体３０２を含む。カメラ３００は、幅（ｘ軸に沿う）１５センチメートル（ｃｍ）〜２８ｃｍ、好ましくは約２２ｃｍを有する。加えて、カメラ３００は、長さ（ｙ軸に沿う）１５ｃｍから３２ｃｍ、好ましくは約２５ｃｍを有する。さらに、カメラ３００は、高さ（ｚ軸に沿う）１０ｃｍ〜２０ｃｍ、好ましくは約１５ｃｍを有する。カメラ３００の重さは３ｋｇ〜７ｋｇ、好ましくは約３．５ｋｇである。

【0027】

カメラ３００は制御アーム３０４ａ及び３０４ｂ（例えば、操作ハンドル）も含み、制御アームは、倍率レベル、フォーカス、及び他の顕微鏡特徴を制御するように構成される。制御アーム３０４ａ及び３０４ｂは、特定の特徴をアクティブ化又は選択する各制御機構３０５ａ及び３０５ｂを含み得る。例えば、制御アーム３０４ａ及び３０４ｂは、蛍光モードを選択し、標的部位に投影される光の量／タイプを調整し、ディスプレイ出力信号（例えば、１０８０ｐ又は４Ｋ及び／又は立体視の選択）を制御する制御機構３０５ａ及び３０５ｂを含み得る。加えて、制御機構３０５ａ及び／又は３０５ｂは、較正手順の開始及び／又は実行及び／又は立体視覚化カメラ３００に接続されたロボットアームの移動に使用し得る。幾つかの場合、制御機構３０５ａ及び３０５ｂは同じボタン及び／又は特徴を含み得る。他の場合、制御機構３０５ａ及び３０５ｂは異なる特徴を含み得る。さらに、制御アーム３０４ａ及び３０４ｂは、オペレータが立体視覚化カメラ３００を位置決めできるようにするグリップとして構成することもできる。

【0028】

各制御アーム３０４は、図３に示されるように、回転可能な支柱３０６を介して筐体３０２に接続される。この接続により、制御アーム３０４は筐体３０２に対して回転することができる。この回転は、外科医が制御アーム３０４を所望のように配置する柔軟性を提供し、外科性能と同期する立体視覚化カメラ３００の適応性を更に強化する。

【0029】

図３及び図４に示される一例のカメラ３００は、２つの制御アーム３０４ａ及び３０４ｂを含むが、カメラ３００が１つのみの制御アームを含んでもよく、又は制御アームを含まなくてもよいことを理解されたい。立体視覚化カメラ３００が制御アームを含まない場合、制御機構は筐体３０２に統合し、及び／又は遠隔制御機構を介して提供し得る。

【0030】

図４は、本開示の実施形態例による立体視覚化カメラ３００の後ろ側の下から上への斜視図を示す。立体視覚化カメラ３００は、支持体に接続するように構成された取り付けブラケット４０２を含む。図５及び図６においてより詳細に説明するように、支持体は、大きな可操作性を提供する１つ又は複数のジョイントを有するアームを含み得る。アームは、可動カートに接続してもよく、又は壁若しくは天井に固定してもよい。

【0031】

立体視覚化カメラ３００は、電力アダプタを受けるように構成された電力ポート４０４も含む。電力は、ＡＣコンセント及び／又はカートの電池から受け取り得る。幾つかの場合、立体視覚化カメラ３００は、内部電池を含み、コードなしの動作を促進し得る。これらの場合、電力ポート４０４は、電池の充電に使用し得る。代替の実施形態では、電力ポート４０４は、立体視覚化カメラ３００が支持体内のワイヤ（又は他の導電性配線材料）を介して電力を受け取るように取り付けブラケット４０２に統合し得る。

【0032】

図４は、立体視覚化カメラ３００がデータポート４０６を含み得ることも示す。一例のデータポート４０６は、例えば、Ｅｔｈｅｒｎｅｔインターフェース、高精細マルチメディアインターフェース（「ＨＤＭＩ」）インターフェース、ユニバーサルシリアルバス（「ＵＳＢ」）インターフェース、シリアルデジタルインターフェース（「ＳＤＩ」）、デジタル光学インターフェース、ＲＳ−２３２シリアル通信インターフェース等を含む任意のタイプのポートを含み得る。データポート４０６は、立体視覚化カメラ３００と、１つ又は複数の計算デバイス、サーバ、記録デバイス、及び／又はディスプレイデバイスに配線されたコードとの間に通信接続を提供するように構成される。通信接続は、更なる処理、記憶、及び／又は表示のために、立体ビデオ信号又は二次元ビデオ信号を送信し得る。データポート４０６は、制御信号を立体視覚化カメラ３００に送信できるようにもし得る。例えば、接続されたコンピュータ（例えば、ラップトップコンピュータ、デスクトップコンピュータ、及び／又はタブレットコンピュータ）におけるオペレータは、操作の指示、較正の実行、又は出力ディスプレイ設定の変更を行う制御信号を立体視覚化カメラ３００に送信し得る。

【0033】

幾つかの実施形態では、データポート４０６は、無線インターフェースと置換（及び／又は無線インターフェースで補足）し得る。例えば、立体視覚化カメラ３００は、Ｗｉ−Ｆｉを介して立体ディスプレイ信号を１つ又は複数のディスプレイデバイスに送信し得る。内部電池と組み合わせた無線インターフェースの使用により、立体視覚化カメラ３００をワイヤフリーにすることができ、それにより、外科環境内の可操作性を更に改善する。

【0034】

図４に示される立体視覚化カメラ３００は、主対物レンズ組立体の前部作業距離主対物レンズ４０８も含む。一例のレンズ４０８は、立体視覚化カメラ３００内の光路の開始部にある。立体視覚化カメラ３００内部の光源からの光は、レンズ４０８を通して標的部位に送られる。さらに、標的部位から反射された光は、レンズ４０８で受け取られ、下流の光学要素に渡される。

【0035】

ＩＩ．立体視覚化カメラの例示的な可操作性
図５及び図６は、本開示の実施形態例による、顕微鏡手術環境５００内で使用される立体視覚化カメラ３００の図を示す。示されるように、立体視覚化カメラ３００の小さなフットプリント及び可操作性は（特に多度自由度アームと併せて使用される場合）、患者５０２に対する柔軟な位置決めを可能にする。立体視覚化カメラ３００の図中の患者５０２の一部は、標的部位５０３を含む。外科医５０４は、患者５０２（仰臥位で横たわっている）の上方に十分過ぎるほどの手術空間を残しながら、立体視覚化カメラ３００を略あらゆる向きで位置決めすることができる。それに従って立体視覚化カメラ３００は最小の侵襲性で（又は非侵襲的に）外科医５０４が妨害又は邪魔なしで人生を変える顕微鏡手術処置を行えるようにする。

【0036】

図５では、立体視覚化カメラ３００は、取り付けブラケット４０２を介して機械アーム５０６に接続される。アーム５０６は、電子機械ブレーキを有する１つ又は複数の回転又は延長可能なジョイントを含み、立体視覚化カメラ３００の容易な再位置決めを促進し得る。立体視覚化カメラ３００を動かすために、外科医５０４又はアシスタント５０８は、アーム５０６の１つ又は複数のジョイントのブレーキ解放を作動させる。立体視覚化カメラ３００が所望の位置に動かした後、ブレーキを係合させて、アーム５０６のジョイントを所定位置にロックし得る。

【0037】

立体視覚化カメラ３００の大きな特徴は、接眼レンズを含まないことである。これは、立体視覚化カメラ３００を外科医５０４の目と位置合わせする必要がないことを意味する。この自由により、従来既知の外科用顕微鏡では実際的又は可能ではなかった所望の位置に立体視覚化カメラ３００を位置決め方向付けることができる。換言すれば、外科医５０４は、外科用顕微鏡の接眼レンズにより決められる単に適切なビューに制限されるのではなく、処置を行うのに最適なビューを用いて顕微鏡手術を行うことができる。

【0038】

図５に戻ると、立体視覚化カメラ３００は、機械アーム５０６を介して、ディスプレイモニタ５１２及び５１４を有するカート５１０（集合的に立体視覚化プラットフォーム５１６）に接続される。図示の構成では、立体視覚化プラットフォーム５１６は自己充足型であり、手術室間を含め、顕微鏡手術環境５００内の任意の所望のロケーションに移動し得る。統合プラットフォーム５１６は、ディスプレイモニタ５１２及び５１４を接続することによりシステムを構成する必要な時間なしで、立体視覚化カメラ３００を需要に応じて移動及び使用できるようにする。

【0039】

ディスプレイモニタ５１２及び５１４は、高精細テレビジョン、超高精細テレビジョン、スマートメガネ、プロジェクタ、１つ又は複数のコンピュータ画面、ラップトップコンピュータ、タブレットコンピュータ、及び／又はスマートフォンを含む任意のタイプのディスプレイを含み得る。ディスプレイモニタ５１２及び５１４は、立体視覚化カメラ３００と同様に、機械アームに接続されて、柔軟な位置決めを可能にし得る。幾つかの場合、ディスプレイモニタ５１２及び５１４はタッチスクリーンを含み得、オペレータが立体視覚化カメラ３００にコマンドを送信し、及び／又はディスプレイの設定を調整できるようにする。

【0040】

幾つかの実施形態では、カート５１６はコンピュータ５２０を含み得る。これらの実施形態では、コンピュータ５２０は、立体視覚化カメラ３００に接続されたロボット機械アームを制御し得る。追加又は代替として、コンピュータ５２０は、ディスプレイモニタ５１２及び５１４に表示するために、立体視覚化カメラ３００からのビデオ（又は立体ビデオ）信号（例えば、画像ストリーム又はフレームストリーム）を処理し得る。例えば、コンピュータ５２０は、立体視覚化カメラ３００からの左ビデオ信号及び右ビデオ信号を結合又はインターリーブして、標的部位の立体画像を表示する立体信号を作成し得る。コンピュータ５２０はまた、ビデオ信号及び／又は立体ビデオ信号をビデオファイルに記憶する（メモリに記憶される）のに使用することもでき、それにより、外科医の施術を文書化し、再生することができる。さらに、コンピュータ５２０は、設定を選択及び／又は較正を実行する制御信号を立体視覚化カメラ３００に送信することもできる。

【0041】

幾つかの実施形態では、図５の顕微鏡手術環境５００は眼科手術処置を含む。この実施形態では、機械アーム５０６は患者の目の周回掃引を実行するようにプログラムし得る。そのような掃引により、外科医は、硝子体網膜処置中、周辺部網膜を調べることができる。これとは対照的に、従来の光学顕微鏡を用いる場合、外科医が周辺部網膜を見ることができる唯一の方法は、強膜圧迫法として知られる技法を用いて目の横を視野内に押すことである。

【0042】

図６は、後方到達法頭蓋底神経外科手術のために患者５０２が着座位置にある顕微鏡手術環境５００の図を示す。図示の実施形態では、立体視覚化カメラ３００は、患者５０２の後頭部に面するように水平位置に配置される。機械アーム５０６は、立体視覚化カメラ３００を示されるように位置決めできるようにするジョイントを含む。加えて、カート５１０はモニタ５１２を含み、モニタ５１２は外科医の自然な閲覧方向と位置合わせし得る。

【0043】

接眼レンズがないことにより、立体視覚化カメラ３００を水平に、外科医５０４の目の高さのビューよりも低く位置決めすることができる。さらに、比較的軽量であり、柔軟性があることにより、他の既知の外科用顕微鏡では想像できないように立体視覚化カメラ３００を位置決めすることができる。それにより、立体視覚化カメラ３００は、任意の所望の位置及び／又は向きの患者５０２及び／又は外科医５０４に顕微鏡手術ビューを提供する。

【0044】

図５及び図６は、立体視覚化カメラ３００を位置決めする２つの実施形態例を示すが、立体視覚化カメラ３００が、機械アーム５０６の自由度の数に応じて任意の数の位置に位置決め可能なことを理解されたい。幾つかの実施形態では、上に面する（例えば、逆さまになる）ように立体視覚化カメラ３００を位置決めすることが完全に可能である。

【0045】

ＩＩＩ．既知の外科用顕微鏡との一例の立体視覚化プラットフォームの比較
図３から図６の立体視覚化カメラ３００を図２の外科用顕微鏡２００と比較すると、違いは容易に明らかである。外科用顕微鏡への接眼レンズ２０６の包含により、外科医は常に目を、スコープヘッド２０１及び患者に対して一定位置にある接眼レンズに向ける必要がある。さらに、外科用顕微鏡の嵩張り及び重量により、外科用顕微鏡は患者に対して概して垂直の向きでしか位置決めすることができない。これとは対照的に、一例の立体視覚化カメラ３００は、接眼レンズを含まず、患者に対して任意の向き又は位置に位置決めすることができ、それにより、術中、外科医は自由に移動することができる。

【0046】

他の臨床スタッフが顕微鏡手術標的部位を見られるようにするためには、外科用顕微鏡２００では第２の接眼レンズ２０８を追加する必要がある。一般に、最も既知の外科用顕微鏡２００では、第３の接眼レンズを追加することができない。これとは対照的に、一例の立体視覚化カメラ３００は、無制限数のディスプレイモニタに通信可能に結合することができる。図５及び図６は先に、カート５１０に接続されたディスプレイモニタ５１２及び５１４を示したが、手術室は、立体視覚化カメラ３００によって記録された顕微鏡手術ビューを全て示すディスプレイモニタで囲むことができる。したがって、ビューを１人又は２人に制限する（又は接眼レンズの共有を必要とする）代わりに、外科チーム全体が標的術部の拡大ビューを見ることができる。さらに、訓練室及び観察室等の他の部屋内の人々に、外科医に表示されたものと同じ拡大ビューを提示することができる。

【0047】

立体視覚化カメラ３００と比較して、２接眼レンズ外科用顕微鏡２００は、衝突又は非意図的な移動をより受けやすい。術中、外科医は、接眼レンズを通して見るために、頭を接眼レンズ２０６及び２０８上に配置するため、スコープヘッド２０１は一定の力及び周期的な衝突を受ける。第２の接眼レンズ２０８の追加は、第２の角度からの力を倍にする。一緒に、外科医による一定の力及び定期的な衝突は、スコープヘッド２０１を動かし得、それにより、スコープヘッド２０１の再位置決めが必要になる。この再位置決めは、外科処置を遅延させ、外科医を不快にさせる。

【0048】

一例の立体視覚化カメラ３００は、接眼レンズを含まず、所定位置にロックされると、外科医からの接触を受け取る意図はない。これは、外科医の施術中、立体視覚化カメラ３００が非意図的に動く又は衝突する可能性の大幅な低下に対応する。

【0049】

第２の接眼レンズ２０８を促進するために、外科医用顕微鏡２００は、ビームスプリッタ２１０を装備する必要があり、ビームスプリッタ２１０は、精密金属管内に収容されたガラスレンズ及びミラーを含み得る。ビームスプリッタ２１０の使用は第１の接眼レンズで受け取る光を低減させ、その理由は、光の幾らかが第２の接眼レンズ２０８に反射されるためである。さらに、第２の接眼レンズ２０８及びビームスプリッタ２１０の追加は、スコープヘッド２０１の重量及び嵩張りを増大させる。

【0050】

外科用顕微鏡２００とは対照的に、立体視覚化カメラ３００は、センサの光路のみを含み、それにより、重量及び嵩張りを低減する。加えて、光の一部をリダイレクトするビームスプリッタが必要ないため、光学センサは入射光全てを受け取る。これは、一例の立体視覚化カメラ３００の光学センサによって受信される画像が、可能な限り明るくクリアであることを意味する。

【0051】

外科用顕微鏡の幾つかのモデルは、ビデオカメラを取り付けることができ得る。例えば、図２の外科用顕微鏡２００は、ビームスプリッタ２１４を介して光路に接続された平面視ビデオカメラ２１２を含む。ビデオカメラ２１２は、Ｌｅｉｃａ（登録商標）ＴｒｕｅＶｉｓｉｏｎ（登録商標）３Ｄ視覚化システム眼科カメラ等の平面視又は立体視であり得る。ビデオカメラ２１２は、ディスプレイモニタに表示するためにビームスプリッタ２１４から受信した画像を記録する。ビデオカメラ２１２及びビームスプリッタ２１４の追加は、スコープヘッド２０１の重量を更に追加する。加えて、ビームスプリッタ２１４は、接眼レンズ２０６及び／又は２０８に向かう追加の光を消費する。

【0052】

各ビームスプリッタ２１０及び２１４は、入射光を部分的に３つの経路に分割し、光を外科医のビューから除去する。外科医の目は、外科医に提示された術部からの光が、外科医が処置を行うことができるようにするのに十分でなければならないような、限られた低光感度を有する。しかしながら、外科医は、特に眼科処置では、患者の標的部位に適用される光の強度を上げることが常に可能であるわけではない。患者の目は限られた高光感度を有し、それを超えると光毒性が生じる。したがって、ビームスプリッタの数並びに割合及び補助デバイス２０８及び２１２を使用できるようにするために第１の接眼レンズ２０６から分割することができる光の量には制限がある。

【0053】

図３から図６の一例の立体視覚化カメラ３００はビームスプリッタを含まず、それにより、光学撮像センサは、主対物レンズ組立体からの全量の光を受け取る。これにより、事後処理によりモニタでの表示に十分明るく可視（及び調整可能）にすることができるため、低光感度を有するセンサ、さらには使用する可視光の波長外の感度を有する光学センサの使用が可能になる。

【0054】

さらに、光路を画定する光学要素は、立体視覚化カメラ３００それ自体内に含まれるため、カメラを通して制御することができる。この制御により、光学要素の配置及び調整を顕微鏡接眼レンズではなく三次元立体表示に向けて最適化することができる。カメラのこの構成により、制御をカメラ制御機構から又はリモートコンピュータから電子的に提供することができる。加えて、制御は、ズームしながらフォーカスを維持するように、又は光学欠陥及び／又は疑似視差に関して調整するように、光学要素を調整するように構成された、カメラ３００に搭載される１つ又は複数のプログラムを通して自動的に提供することができる。これとは対照的に、外科用顕微鏡２００の光学要素は、ビデオカメラ２１２の外部にあり、一般に接眼レンズ２０６を通した標的部位の閲覧に向けて最適化されたオペレータ入力を介してのみ制御される。

【0055】

最後の比較では、外科用顕微鏡２００は、視野又は標的部位を動かすＸ−Ｙパンデバイス２２０を含む。Ｘ−Ｙパンデバイス２２０は、外科用スコープヘッド２０１をしっかりと支持し移動させなければならないため、通常、大きく、重く、高価な電子機械モジュールである。加えて、スコープヘッド２０１を移動させると、接眼レンズ２０６の新しい位置に外科医の位置が変わる。

【0056】

これとは対照的に、一例の立体視覚化カメラ３００は、実行されると、プロセッサに、広いピクセルグリッドにわたりＸ−Ｙパンを可能にする光学センサのピクセルデータを選択あっせる命令を含むメモリを含む。加えて、一例の立体視覚化カメラ３００は、主対物レンズ光学要素を制御して、カメラ３００を移動させずに標的部位までの作業距離を偏向する小型のモータ又はアクチュエータを含み得る。

【0057】

ＩＶ．立体視覚化カメラの一例の光学要素
図７及び図８は、本開示の実施形態例による、図３から図６の一例の立体視覚化カメラ３００内の光学要素を示す図を示す。立体画像を構築するために、標的部位の左ビュー及び右ビューを取得することは比較的簡単に見え得る。しかしながら、入念な設計及び補償なしでは、多くの立体画像は左ビューと右ビューとの間の位置合わせ問題を有する。長時間にわたり見られる場合、位置合わせ問題は、左ビューと右ビューとの違いの結果として観察者の脳に混乱を生み出す恐れがある。この混乱は、頭痛、疲労、目眩、更には吐き気を生じさせる恐れがある。

【0058】

一例の立体視覚化カメラ３００は、他の左及び右光学要素が共通キャリアに固定されている間、幾つかの光学要素の独立した制御及び／又は調整を用いる右光路及び左光路を有することにより、位置合わせ問題を低減する（又はなくす）。実施形態例では、幾つかの左及び右ズームレンズは共通キャリアに固定して、左倍率及び右倍率が略同じであることを保証し得る。しかしながら、前部レンズ又は後部レンズは独立して、半径方向、回転、軸方向で調整可能であり、及び／又はチルトして、ズーム反復点の移動等のズーム浴び率の小さな差、視覚的欠陥、及び／又は疑似視差を補償し得る。調整可能なレンズにより提供される補償は、全ズーム倍率範囲を通して略完全に位置合わせされた光路を生じさせる。

【0059】

追加又は代替として、位置合わせ問題は、ピクセル読み出し及び／又はレンダリング技法を用いて低減し得る（又はなくし得る）。例えば、右画像（右光学センサにより記録される）は、左画像（左光学センサにより記録される）に対して上方又は下方に調整されて、画像間の垂直位置合わせずれを補正し得る。同様に、右画像も左画像に対して左又は右に調整されて、画像間の水平位置合わせずれを補正し得る。

【0060】

図７及び図８は、アーチファクト、疑似視差、及び歪みが略ない、位置合わせされた光路を提供する光学要素の一例の構成及び位置を以下に示す。後述するように、特定の光学要素は、較正及び／又は使用中に移動して、光路を更に位置合わせし、いかなる残留ひずみ、疑似視差、及び／又は欠陥も除去し得る。図示の実施形態では、光学要素は２つの並行路に位置決めされて、左ビュー及び右ビューを生成する。代替の実施形態は、折り畳まれ、偏向され、又は他の方法で平行ではない光路を含み得る。

【0061】

図示の経路は、立体視ディスプレイに表示された左ビュー及び右ビューが、約４フィート（約１．２ｍ）先にある物体を見ている成人である人間の目の集束角と同様である概ね６度の集束角を生み出す距離だけ隔てられるように見えるような人間の視覚系に対応し、それにより、立体視を生み出す。幾つかの実施形態では、左ビュー及び右ビューから生成される画像データは、ディスプレイモニタ５１２及び５１４で一緒に結合されて、標的部位又は標的シーンの立体画像を生成する。代替の実施形態は、左ビューが閲覧者の左目のみに提示され、対応する右ビューが右目のみに提示される他の立体ディスプレイを備える。適切な位置合わせ及び較正の調整及び検証に使用される例示的な実施形態では、両ビューとも両目に重ねて表示される。

【0062】

立体ビューは、人間の視覚系をより密に模倣するため、平面ビューよりも優れている。立体ビューは、奥行き知覚、距離知覚、及び相対サイズ知覚を提供して、標的術部のよりリアルなビューを外科医に提供する。網膜手術等の処置では、外科的な運動及び力はあまりに小さく、外科医はそれらを感じることができないため、立体ビューは不可欠である。立体ビューの提供は、脳が奥行きを知覚しながら些少な運動を検知する場合、外科医の脳が触覚を拡大させるのに役立つ。

【0063】

図７は、透明であり、光学要素を露出させる筐体３０２を有する一例の立体視覚化カメラ３００の側面図を示す。図８は、図７に示される光学要素により提供された光路を示す図を示す。図８に示されるように、光路は右光路及び左光路を含む。図８における光路は、前方向に面し、立体視覚化カメラ３００を見下ろす視点から示される。この図から、左光路は図８の右側に見え、一方、右光路は左側に示される。

【0064】

図７に示される光学要素は、左光路の部分である。図７における右光路が一般に、光学要素の関係ロケーション及び構成に関して左光路と同一であることを理解されたい。上述したように、光路の中心間の瞳孔間距離は５８ｍｍから７０ｍｍであり、これは１０ｍｍから２５ｍｍにスケーリングし得る。各光学要素は、特定の直径（例えば、２ｍｍ〜２９ｍｍ）を有するレンズを備える。したがって、光学要素自体間の距離は、１ｍｍ〜２３ｍｍ、好ましくは約１０ｍｍである。

【0065】

一例の立体視覚化カメラ３００は、標的部位７００（シーン又は視野とも呼ばれる）の画像を取得するように構成される。標的部位７００は患者の解剖学的構造の位置を含む。標的部位７００は、研究所生体試料、較正スライド／テンプレート等を含むこともできる。標的部位７００からの画像は、主対物レンズ組立体７０２を介して立体視覚化カメラ３００において受信され、主対物レンズ組立体７０２は、前部作業距離レンズ４０８（図４に示される）及び後部作業距離レンズ７０４を含む。

【0066】

Ｖ．一例の主対物レンズ組立体
一例の主対物レンズ組立体７０２は、任意のタイプの屈折組立体又は反射組立体を含み得る。図７は、前部作業距離レンズ４０８が静止しており、後部作業距離レンズ７０４がｚ軸に沿って移動可能なアクロマート屈折組立体として対物レンズ組立体７０２を示す。前部作業距離レンズ４０８は、平凸（「ＰＣＸ」）レンズ及び／又はメニスカスレンズを含み得る。後部作業距離レンズ７０４はアクロマートレンズを含み得る。主対物レンズ組立体７０２がアクロマート屈折組立体を含む例では、前部作業距離レンズ４０８は、半球レンズ及び／又はメニスカスレンズを含み得る。加えて、後部作業距離レンズ７０４は、アクロマートダブレットレンズ、レンズのアクロマートダブレット群、及び／又はアクロマートトリプレットレンズを含み得る。

【0067】

主対物レンズ組立体７０２の倍率は６ｘから２０ｘである。幾つかの場合、主対物レンズ組立体７０２の倍率は、作業距離に基づいて僅かに変化し得る。例えば、主対物レンズ組立体７０２は、２００ｍｍ作業距離では倍率８．９ｘ及び４５０ｍｍ作業距離では倍率８．７５ｘを有し得る。

【0068】

一例の後部作業距離レンズ７０４は、前部作業距離レンズ４０８に対して移動可能であり、それにより、後部作業距離レンズ７０４と前部作業距離レンズ４０８との間隔を変更するように構成される。レンズ４０８と７０４との間隔は、主対物レンズ組立体７０２の全体前方焦点距離、ひいては焦点面の位置を決める。幾つかの実施形態では、焦点距離は、レンズ４０８と７０４との間の距離に、前部作業距離レンズ４０８の厚さの半分を加えたものである。

【0069】

前部作業距離レンズ４０８及び後部作業距離レンズ７０４は一緒に、下流の光学画像センサに最適なフォーカスを提供するために、無限共役像を提供するように構成される。換言すれば、標的部位７００の厳密に焦点面に配置された物体は、その像を無限の距離に投影し、それにより、提供される作業距離において無限に結合される。一般に、物体は、焦点面から光路に沿って特定の距離にわたりピントが合って見える。しかしながら、特定の閾値距離を超えると、物体はぼやけるか、又はピンボケして見え始める。

【0070】

図７は、前部作業距離レンズ４０８の外面と標的部位７００の焦点面へとの間の距離である作業距離７０６を示す。作業距離７０６は視野角に対応し得、作業距離が長いほど、視野は広くなり、又は表示可能面積は大きくなる。それに従って作業距離７０６は、焦点が合った標的部位又はシーンの平面を設定する。図示の例では、作業距離７０６は、後部作業距離レンズ７０４を動かすことにより２００ｍｍから４５０ｍｍまで調整可能である。一例では、視野は、作業距離が４５０ｍｍである場合、上流のズームレンズを用いて２０ｍｍ×１４ｍｍ〜２００ｍｍ×１４０ｍｍで調整可能である。

【0071】

図７及び図８に示される主対物レンズ組立体７０２は、左光路及び右光路の両方で、標的部位７００の画像を提供する。これは、レンズ４０８及び７０４の幅が左右光路の少なくとも２倍であるべきことを意味する。代替の実施形態では、主対物レンズ組立体７０２は、左右別個の前部作業距離レンズ４０８及び左右別個の後部作業距離レンズ７０４を含み得る。別個の作業距離レンズの各対の幅は、図７及び図８に示されるレンズ４０８及び７０４の幅の１／４〜１／２であり得る。さらに、各後部作業距離レンズ７０４は独立して調整可能であり得る。

【0072】

幾つかの実施形態では、主対物レンズ組立体７０２は置換可能であり得る。例えば、異なる主対物レンズ組立体を追加して、作業距離範囲、倍率、開口数、及び／又は屈折／反射タイプを変更し得る。これらの実施形態では、立体視覚化カメラ３００は、下流の光学要素のポジショニング、光学画像センサの特性、及び／又は主対物レンズ組立体設置の際に基になる画像処理のパラメータを変更し得る。オペレータは、図３の制御機構３０５及び／又はユーザ入力デバイスの一方を用いて立体視覚化カメラ３００にどの主対物レンズ組立体が設置されるかを指定し得る。

【0073】

Ａ．一例の照明源
標的部位７００を照明するために、一例の立体視覚化カメラ３００は１つ又は複数の照明源を含む。図７及び図８は、可視光源７０８ａ、近赤外線（「ＮＩＲ」）光源７０８ｂ、及び近紫外線（「ＮＵＶ」）光源７０８ｃを含む３つの照明源を示す。他の例では、立体視覚化カメラ３００は、追加の光源又はより少数の光源を含み得る（又は光源を含まないことがある）。例えば、ＮＩＲ光源及びＮＵＶ光源は省くことが可能である。一例の光源７０８は、標的シーン７００に投影される光を生成するように構成される。生成された光は標的シーンと相互作用し、標的シーンから反射され、光の幾らかは主対物レンズ組立体７０２に反射される。他の例は、外部光源又は環境からの周囲光を含み得る。

【0074】

一例の可視光源７０８ａは、可視領域外の波長を有する幾らかの光に加えて、光スペクトルの人間可視部分の光を出力するように構成される。ＮＩＲ光源７０８ｂは、「近赤外線」とも呼ばれる、主に、可視スペクトルの赤色部分を僅かに超えた波長にある光を出力するように構成される。ＮＵＶ光源７０８ｃは、「近紫外線」とも呼ばれる、主に、可視スペクトルの青色部分における波長における光を出力するように構成される。光源７０８により出力される光スペクトルは、後述する各コントローラにより制御される。光源７０８により発せられる光の輝度は、切り替え率及び／又は印加電圧波形により制御し得る。

【0075】

図７及び図８は、可視光源７０８ａ及びＮＩＲ光源７０８ｂが主対物レンズ組立体７０２を通して直接、標的部位７００に提供されることを示す。図８に示されるように、可視光源７０８ａからの可視光は、可視経路７１０ａに沿って伝搬する。さらに、ＮＩＲ光源７０８ｂからのＮＩＲ光はＮＩＲ経路７１０ｂに沿って伝搬する。光源７０８ａ及び７０８ｂは主対物レンズ組立体７０２の背後（標的部位７００に関して）にあるものとして示されているが、他の例では、光源７０８ａ及び７０８ｂは、主対物レンズ組立体７０２の前に提供し得る。一実施形態では、光源７０８ａ及び７０８ｂは、筐体３０２の外部に標的部位７００に面して提供し得る。更に他の実施形態では、光源７０８は、例えば、Ｋｏｅｈｅｒ照明セットアップ及び／又は暗視野照明セットアップを用いて立体視覚化カメラ３００とは別個に提供し得る。

【0076】

光源７０８ａ及び７０８ｂとは対照的に、ＮＵＶ光源７０８ｃからのＮＵＶ光は、落射照明セットアップを用いて、偏向要素７１２（例えば、ビームスプリッタ）によって主対物レンズ組立体７０２に反射される。偏向要素７１２は、ＮＵＶ波長範囲を超える光のみを反射するように塗膜又は他の方法で構成し得、それにより、ＮＵＶ光を濾波する。ＮＵＶ光源７０８ｃからのＮＵＶ光は、ＮＵＶ経路７１０ｃに沿って伝搬する。

【0077】

幾つかの実施形態では、ＮＩＲ光源７０８ｂ及びＮＵＶ光源７０８ｃは、フィルタ（例えば、フィルタ７４０）によってブロックされなかった光を更にフィルタリングする励起フィルタと併用し得る。フィルタは、主対物レンズ組立体７０２の前及び／又は主対物レンズ組立体の後で、光源７０８ｂ及び７０８ｃの前に配置し得る。ＮＵＶ光源７０８ｂ及びＮＩＲ光源７０８ｃからの光は、濾波後、解剖学的物体の蛍光部位９１４（図９に示される）における蛍光を励起する波長を含む。さらに、ＮＵＶ光源７０８ｃ及びＮＩＲ光源７０８ｂからの光は、濾波後、蛍光部位９１４によって発せられるものと同じ範囲にはない波長を含み得る。

【0078】

光源７０８から主対物レンズ組立体を通る光の投影は、作業距離７０６及び／又は焦点面に基づいて照明される視野を変更するという利点を提供する。光は主対物レンズ組立体７０２を通るため、光が投影される角度は、作業距離７０６に基づいて変わり、視野角に対応する。それに従ってこの構成は、作業距離又は倍率に関係なく、視野が光源７０８により適宜照明されることを保証する。

【0079】

Ｂ．一例の偏向要素
図７及び図８に示される一例の偏向要素７１２は、主対物レンズ組立体７０２を通してＮＵＶ光源７０８ｃからの特定の波長の光を標的部位７００に透過させるように構成される。偏向要素７１２は、標的部位７００から受け取った光を、ズーム及び記録のために、前部レンズセット７１４を含む下流の光学要素に反射するようにも構成される。幾つかの実施形態では、偏向要素７１２は、特定の波長の光が前部レンズセット７１４に達するように、主対物レンズ組立体７０２を通して、標的部位７００から受け取った光を濾波し得る。

【0080】

偏向要素７１２は、光を指定された方向に反射する任意のタイプのミラー又はレンズを含み得る。一例では、偏向要素７１２はダイクロイックミラー又はフィルタを含み、ダイクロイックミラー又はフィルタは、異なる波長で異なる反射及び透過特性を有する。図７及び図８の立体視覚化カメラ３００は、右光路及び左光路の両方に光を提供する１つの偏向要素７１２を含む。他の例では、カメラ３００は、右光路及び左光路のそれぞれに別個の偏向要素を含み得る。さらに、別個の偏向要素をＮＵＶ光源７０８ｃに提供し得る。

【0081】

図９は、本開示の実施形態例による、図７及び図８の偏向要素７１２の図を示す。簡潔にするために、主対物レンズ組立体７０２は示されていない。この例では、偏向要素７１２は、特定の波長の光を透過及び反射する２つの平行面９０２及び９０４を含む。平行面９０２及び９０４は、左右の光路（経路９０６として表される）に対して４５°の角度に設定される。４５°の角度は、この角度が反射光を透過光から９０°の角度で伝搬させ、それにより、分離された光を下流の前部レンズセット７１４において検出させることなく最適な分離を提供するため、選択される。他の実施形態では、偏向要素７１２の角度は、非意図的に不要な波長の光を伝搬せずに、１０度〜８０度であることができる。

【0082】

一例のＮＵＶ光源７０８ｃは偏向要素７１２の背後（標的部位７００に関して）に配置される。光源７０８ｃからの光は、経路９０８に沿って伝搬し、偏向要素７１２に接触する。ＮＵＶ光源７０８ｃの主な波長範囲前後のＮＵＶ光は、偏向要素７１２を透過し、経路９１０に沿って標的部位７００に達する。ＮＵＶ光源７０８ｃの主な波長範囲を超える（及び下回る）波長を有するＮＵＶ光源７０８ｃからの光は反射され、経路９１２に沿って光シンク又は筐体３０２の非使用領域に達する。

【0083】

ＮＵＶ光は、標的部位７００に達すると、解剖学的物体の１つ又は複数の蛍光部位９１４によって吸収される。幾つかの場合、解剖学的物体には、ＮＵＶ光を吸収し、異なる主波長の光を発するように構成された造影剤が注入されていることがある。他の場合、解剖学的物体は自然にＮＵＶ光を吸収し、異なる主波長の光を発し得る。蛍光部位９１４により反射又は発せられた光の少なくとも幾らかは、偏向要素７１２に接触するまで経路９１６に沿って伝搬する。光の大半は表面９０４から反射され、経路９０６に沿って前部レンズセット７１４に達する。ＮＵＶ光源７０８ｃの主な波長範囲前後のＮＵＶ光を含む光の一部は、偏向要素７１２を透過し、経路９１８に沿って光シンク又は筐体３０２の非使用領域に送られる。それに従って図９に示される偏向要素７１２は、刺激光の大部分を下流の前部レンズセット７１４への伝達をブロックしながら、スペクトルのある領域を有する標的部位７００における蛍光剤の光学刺激を可能にする。

【0084】

偏向要素７１２の反射特性及び透過特性が、他の光スペクトル要件に合うように変更可能なことを理解されたい。幾つかの場合、筐体３０２は、所望の光反射特性及び透過特性に基づいて偏向要素７１２及び／又はＮＵＶ光源７０８ｃを交換できるようにするスロットを含み得る。経路９０８と経路９１０との間の偏向要素７１２内部の第１の経路及び経路９１６と経路９１８との間の偏向要素７１２内部の第２の経路がそれぞれ傾斜して、光が空気と偏向要素７１２の内部との間を移動する際の光の屈折を概略的に表すことも理解されたい。示される角度は、実際の反射角度を表す意図はない。

【0085】

Ｃ．一例のズームレンズ
図７及び図８の一例の立体視覚化カメラ３００は、標的部位７００の焦点距離及び視野角を変更して、ズーム倍率を提供する１枚又は複数枚のズームレンズを含む。図示の例では、ズームレンズは、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を含む。他の実施形態では、前部レンズセット７１４及び／又はレンズバレルセット７１８が省略可能であることを理解されたい。代替的には、ズームレンズは追加のレンズを含み得、更なる倍率及び／又は画像分解能を提供する。

【0086】

前部レンズセット７１４は、右光路用の右前部レンズ７２０及び左光路用の左前部レンズ７２２を含む。レンズ７２０及び７２２はそれぞれ、偏向要素７１２からの光をズームレンズ組立体７１６内の各レンズに向ける正収束レンズを含み得る。それに従ってレンズ７２０及び７２２の側方位置は、ズームレンズ組立体７１６に伝搬する、主対物レンズ組立体７０２及び偏向要素７１２からのビームを定義する。

【0087】

レンズ７２０及び７２２の一方又は両方は、左右の光路の光軸に合うように半径方向において調整可能であり得る。換言すれば、レンズ７２０及び７２２の一方又は両方は、光路に入射する平面において左右及び／又は上下に移動し得る。幾つかの実施形態では、レンズ７２０及び７２２の１枚又は複数枚は回転又はチルトして、画像光学欠陥及び／又は疑似視差を低減するか、又はなくし得る。ズーム中にレンズ７２０及び７２２のいずれか一方又は両方の移動は、各光路のズーム反復点（「ＺＲＰ」）をユーザにとって静止したままであるように見えるようにし得る。半径方向の運動に加えて、前部レンズ７２０及び７２２の一方又は両方は、光路の倍率に合うように軸方向に（各光路に沿って）移動し得る。

【0088】

一例のズームレンズ組立体７１６は、レンズバレルセット７１８に伝搬する光線のサイズを変更することにより、視野（例えば、線形視野）のサイズを変更するアフォーカルズーム系を形成する。ズームレンズ組立体７１６は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を有する前部ズームレンズセット７２４を含む。ズームレンズ組立体７１６は、右後部ズームレンズ７３２及び左後部ズームレンズ７３４を有する後部ズームレンズセット７３０も含む。前部ズームレンズ７２６及び７２８は正収束レンズであり得、一方、後部ズームレンズ７３２及び７３４は負発散レンズを含む。

【0089】

左右光路のそれぞれの画像ビームのサイズは、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、並びにレンズバレルセット７１８間の距離に基づいて決まる。一般に、光路のサイズは、後部ズームレンズ７３２及び７３４がレンズバレルセット７１８に向かって移動する（各光路に沿って）につれて低減し、それにより、倍率が下がる。加えて、前部ズームレンズ７２６及び７２８も、後部ズームレンズ７３２及び７３４がレンズバレルセット７１８に向かって移動するにつれて、レンズバレルセット７１８に向かって（又は離れて）移動して（放物線弧において等）、焦点面の位置を標的部位７００上に維持し得、それにより、フォーカスを維持する。

【0090】

前部ズームレンズ７２６及び７２８は、第１のキャリア内に含まれ得（例えば、前部ズームセット７２４）、一方、後部ズームレンズ７３２及び７２４は第２のキャリア内に含まれる（例えば、後部ズームセット７３０）。各キャリア７２４及び７３０は、左右の倍率が同時に変わるように、トラック（又はレール）上を光路に沿って移動し得る。この実施形態では、左右光路間のいずれの僅かな倍率差も、右前部レンズ７２０及び／又は左前部レンズ７２２を移動させることにより補正し得る。追加又は代替として、レンズバレルセット７１８の右レンズバレル７３６及び／又は左レンズバレル７３８は、軸方向に移動し得る。

【0091】

代替の実施形態では、右前部ズームレンズ７２６は、左前部ズームレンズ７２８とは別個に軸方向に移動し得る。加えて、右後部ズームレンズ７３２は、左後部ズームレンズ７３４とは別個に軸方向に移動し得る。別個の移動により、特に前部レンズセット７１４及びレンズバレルセット７１８が光路に沿って静止しているとき、ズームレンズ組立体７１６により小さな倍率差を補正できるようにする。さらに、幾つかの実施形態では、右前部ズームレンズ７２６及び／又は左前部ズームレンズ７２８は、半径方向及び／又は回転方向に調整可能であり得（及び／又はチルトし得）、それにより、ＺＲＰの見掛けの位置を光路内に維持する。追加又は代替として、右後部ズームレンズ７３２及び／又は左後部ズームレンズ７３４は、波形方向及び／又は回転方向に調整可能であり得（及び／又はチルトし得）、それにより、ＺＲＰの見掛けの位置を光路内に維持する。

【0092】

一例のレンズバレルセット７１８は、右レンズバレル７３６及び左レンズバレル７３８を含み、これらは、ズームレンズ組立体７１６に加えてアフォーカルズーム系の一部である。レンズ７３６及び７３８は、ズームレンズ組立体７１６からの光線を直線化又はフォーカスするように構成された正収束レンズを含み得る。換言すれば、レンズ７３６及び７３８は、ズームレンズ組立体７１６の無限結合出力をフォーカスする。

【0093】

幾つかの例では、レンズバレルセット７１８は、筐体３０２内で半径方向及び軸方向において固定される。他の例では、レンズバレルセット７１８は、光路に沿って軸方向に移動可能であり、それにより、倍率の増大を提供し得る。追加又は代替として、レンズ７３６及び７３８のそれぞれは、半径方向及び／又は回転方向において調整可能であり得（及び／又はチルトし得）、それにより、例えば、前部レンズセット７１４、前部ズームレンズセット７２４、及び／又は後部ズームレンズセット７３０の左右レンズ間の光学特性差（倍率又は天然ガラスのずれ）を補正する。

【0094】

一例の前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８は一緒に、好ましくは回折限界分解能を有するズームレンズにおいて、５Ｘから約２０Ｘの光学ズームを達成するように構成される。幾つかの実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８は、画質を妥協することができる場合、より高いズーム範囲（例えば、２５Ｘから１００Ｘ）を提供し得る。これらの実施形態では、立体視覚化カメラ３００は、選択された光学範囲が光学範囲外であり、画質の低下を受けることを示すメッセージをオペレータに出力し得る。

【0095】

幾つかの実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は主対物レンズ組立体７０２のレンズはそれぞれ、互いの光学歪みパラメータのバランスをとる材料を用いて、複数の光学サブ要素からダブレットとして構築し得る。ダブレット構築は、色収差及び光学収差を低減する。例えば、前部作業距離レンズ４０８及び後部作業距離レンズ７０２はそれぞれ、ダブレットとして構築し得る。別の例では、前部レンズ７２０及び７２２、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、並びにレンズバレル７３６及び７３８はそれぞれ、ダブレットレンズを含み得る。

【0096】

更なる実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は主対物レンズ組立体７０２のレンズは、異なるように調整し得、及び／又は異なる特性を有し得、それにより、異なる機能を有する２つの平行光路を提供する。例えば、ズームレンズ組立体７１６内の右レンズは、右光路に５Ｘから１０Ｘの光学ズームを提供するように選択し得、一方、ズームレンズ組立体７１６内の左レンズは、左光路に１５Ｘから２０Ｘの光学ズームを提供するように選択される。そのような構成は、平面視ビューであるが、２つの異なる倍率を同時に及び／又は同じ画面上に表示できるようにし得る。

【0097】

Ｄ．一例のフィルタ
図７及び図８の一例の立体視覚化カメラ３００は、所望の波長の光を選択的に透過する１つ又は複数の光学フィルタ７４０（又はフィルタ組立体）を含む。図８は、１つのフィルタ７４０を左右光路に適用し得ることを示す。他の例では、各光路は別個のフィルタを有し得る。別個のフィルタの包含により、例えば、左右光路からの異なる波長の光を同時に濾波することができ、それにより、例えば、可視光画像と併せて蛍光画像を表示することができる。

【0098】

図７は、フィルタ７４０が回転軸を中心として回転する車輪を含むことを示す。図示の実施形態では、フィルタ７４０は３つの異なる光学フィルタ対を収容することができる。しかしながら、他の実施形態では、フィルタ７４０は追加又はより少数のフィルタ対を含み得る。一般に、標的部位７００からフィルタ７４０において受け取った光は、広帯域スペクトルの波長を含む。主対物レンズ組立体７０２、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８のレンズは、オペレータにとって関心がある波長及び望ましくない波長を含む比較的広帯域の光を透過するように構成される。加えて、下流の光学画像センサは特定の波長に対して感度を有する。それに従って一例のフィルタ７４０は、光スペクトルの特定の部分を透過及びブロックして、異なる所望の特徴を達成する。

【0099】

車輪として、フィルタ７４０は、毎秒約４回で位置を変更可能な機械デバイスを備える。他の実施形態では、フィルタ７４０はデジタル微小ミラーを含み得、デジタル微小ミラーは、毎秒６０回等のビデオフレームレートで移行路方向を変更することができる。これらの他の実施形態では、左右光路のそれぞれが微小ミラーを含む。左右の微小ミラーは、同期された切り替え又は同時切り替えを有し得る。

【0100】

幾つかの実施形態では、フィルタ７４０は光源７０８と同期して、「時間インターリーブ」マルチスペクトル撮像を実現し得る。例えば、フィルタ７４０は、赤外線遮断フィルタ、近赤外線バンドパスフィルタ、及び近紫外線遮断フィルタを含み得る。異なるフィルタタイプが、光源７０８の異なるスペクトル並びに偏向要素７１２のハンスンは特性及び透過特性と併せて機能して、所定の回数、特定の所望の波長の光を透過するように選択される。

【0101】

一モードでは、フィルタ７４０及び光源７０８は、可視光モードを提供するように構成される。このモードでは、可視光源７０８ａは、可視領域からの光を標的部位７００に押下させ、その幾らかは主対物レンズ組立体７０２に反射される。反射光は、光学画像センサに影響し得る可視スペクトルを超えた幾らかの光を含み得る。可視光は、偏向要素７１２により反射され、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を透過する。この例では、フィルタ７４０は、赤外線遮断フィルタ又は近紫外線遮断フィルタを光路に適用して、可視スペクトル内の光のみが最終光学セット７４２及び光学画像センサ７４４を透過するように、可視スペクトル外の光を除去するように構成される。

【0102】

別のモードでは、フィルタ７４０及び光源７０８は、狭波長の蛍光のみを光学センサ７４４に提供するように構成される。このモードでは、ＮＵＶ光源７０８ｃは、スペクトルの藍色領域からの光を標的部位７００に透過させる。偏向要素７１２は、藍色領域の所望の光を透過させ、その間、望ましくない光を反射する。藍色光は、蛍光が発せられるように標的部位７００と相互作用する。幾つかの例では、δ−アミノレブリン酸（「５ａｌａ」）及び／又はプロトポルフィリンＩＸが標的部位７００に適用されて、藍色光を受け取ったとき、蛍光を発するようにさせる。主対物レンズ組立体７０２は、反射された藍色光及び幾らかの可視光に加えて蛍光を受け取る。藍色光は左右光路から出て偏向要素７１２を透過する。したがって、可視光及び蛍光のみが、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８を透過する。この例では、フィルタ７４０は、近紫外線遮断フィルタを光路に適用して、可視光及び任意の残留ＮＵＶ藍色光を含む所望の蛍光スペクトル外の光を除去するように構成される。したがって、狭波長の蛍光のみが光学画像センサ７４４に達し、相対強度に基づいて蛍光をより容易に検出し、区別できるようにする。

【0103】

更に別のモードでは、フィルタ７４０及び光源７０８は、インドシアニングリーン（「ＩＣＧ」）蛍光を光学センサ７４４に提供するように構成される。このモードでは、ＮＩＶ光源７０８ｂは、可視スペクトルの遠赤領域（近赤外線とも見なされる）の光を標的部位７００に送る。加えて、可視光源７０８ａが、可視光を標的シーン７００に送る。可視光及び遠赤光は、標的部位におけるＩＣＧを有する材料によって吸収され、ＩＣＧは次に、更に遠赤の領域の高刺激蛍光を発する。主対物レンズ組立体７０２は、反射されたＮＩＲ光及び可視光に加えて蛍光を受け取る。光は偏向要素７１２により前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８に反射される。この例では、フィルタ７４０は、近赤外線バンドパスフィルタを光路に適用して、可視光及びＮＩＲ光の少なくとも幾らかを含む所望の蛍光スペクトル外の光を除去するように構成される。したがって、更に遠赤の領域の蛍光のみが光学画像センサ７４４に達し、相対強度に基づいて蛍光をより容易に検出し、区別できるようにする。

【0104】

【表1】

【0105】

上記表１は、特定の所望の波長の光を光学センサ７４４に到達させる光源とフィルタとの可能な異なる組合せをまとめたものを示す。画像センサ７４４において受け取られる異なるタイプの光を更に増大させるために、他のタイプのフィルタ及び／又は光源を使用してもよいことを理解されたい。例えば、標的部位７００に適用される特定の生物学的染料又は造影剤に対応する狭波長の光を透過するように構成されたバンドパスフィルタを使用し得る。幾つかの例では、フィルタ７４０は、連結されたフィルタ又は２つ以上のフィルタを含み得、それにより、２つの異なる範囲からの光を濾波できるようにする。例えば、第１のフィルタ７４０は、所望の波長範囲の可視光のみが光学センサ７４４に透過されるように、赤外線遮断フィルタ及び近紫外線遮断フィルタを適用し得る。

【0106】

他の実施形態では、別個のフィルタ７４０を左右の光路に使用し得る。例えば、右フィルタは赤外線遮断フィルタを含み得、一方、左フィルタは近赤外線透過フィルタを含む。そのような構成では、ＩＧＣ緑色蛍光波長と同時に、可視波長での標的部位７００の表示が可能である。別の例では、右フィルタは赤外線遮断フィルタを含み得、一方、左フィルタは近紫外線遮断フィルタを含む。この構成では、標的部位７００は、５ＡＬＡ蛍光と同時に可視光で表示し得る。これらの他の実施形態では、右及び左画像ストリームはなお、結合して、可視光での標的部位７００のビューと組み合わせた特定の解剖学的構造の蛍光ビューを提供する立体ビューにし得る。

【0107】

Ｅ．一例の最終光学要素セット
図７及び図８の一例の立体視覚化カメラ３００は、フィルタ７４０から受け取った光を光学画像センサ７４４にフォーカスする最終光学要素セット７４２を含む。最終光学要素セット７４２は、右最終光学要素７４５及び左最終光学要素７４７を含み、これらはそれぞれ正収束レンズを含み得る。光の収束に加えて、光学要素７４５及び７４７は、光が光学画像センサ７４４に達する前、左右光路における微小な収差を補正するように構成し得る。幾つかの例では、レンズ７４５及び７４７は、半径方向及び／又は軸方向に移動可能であり得、それにより、前部レンズセット７１４、ズームレンズ組立体７１６、及びレンズバレルセット７１８により生じる倍率及び／又は合焦収差を補正する。一例では、左最終光学要素７４７は半径方向において移動し得、一方、右の最終光学要素７４５は固定されて、倍率変更中、ＺＲＰ移動を除去する。

【0108】

Ｆ．一例の画像センサ
図７及び図８の一例の立体視覚化カメラ３００は、最終光学要素セット７４２から受け取った入射光を取得及び／又は記録する画像センサ７４４を含む。画像センサ７４４は、右光路に沿って伝搬する光を取得及び／又は記録する右光学画像センサ７４６及び左光路に沿って伝搬する光を取得及び／又は記録する左光学画像センサ７４８を含む。左光学画像センサ７４６及び右光学画像センサ７４８のそれぞれは、例えば、相補形金属酸化膜半導体（「ＣＭＯＳ」）検知要素、Ｎ型金属酸化膜半導体（「ＮＭＯＳ」）、及び／又は半導体電荷結合素子（「ＣＣＤ」）検知要素を含む。幾つかの実施形態では、左光学センサ７４６及び右光学センサ７４８は同一であり、及び／又は同じ特性を有する。他の実施形態では、左光学センサ７４６及び右光学センサ７４８は、様々な機能を提供する異なる検知要素及び／又は特性を含む。例えば、右光学画像センサ７４６（第１のカラーフィルタアレイを使用する）は、青色蛍光により高感度であるように構成し得、一方、左光学画像センサ７４８（第２のカラーフィルタアレイを使用する）は、可視光により高感度であるように構成される。

【0109】

図１０は、本開示の実施形態例による、画像センサ７４４の右光学画像センサ７４６及び左光学画像センサ７４８の一例を示す。右光学画像センサ７４６は、感光要素（例えば、ピクセル）の第１の二次元グリッド又はマトリックス１００２を含む。加えて、左光学画像センサ７４８は、感光要素の第２の二次元ピクセルグリッド１００４を含む。各ピクセルは、特定の波長の光のみを透過し、それにより、下の光検出器に接触できるようにするフィルタを含む。異なる色のフィルタがセンサ７４６及び７４８にわたり拡散して、グリッドにわたり全波長の光検出を提供する。光検出器は、可視光並びに可視スペクトルの上及び下の追加の範囲に感度を有し得る。

【0110】

グリッド１００２及び１００４の感光要素は、視野内にある標的部位７００の表現として、様々な波長の光を記録するように構成される。感光要素に入射した光は、電荷を蓄積させる。電荷を読み出して、検知要素において受け取っている光の量を特定する。加えて、検知要素のフィルタ特性は製造許容誤差内であることが分かっているため、受け取った光の波長の範囲は既知である。標的部位７００の表現は、各光学画像センサ７４６及び７４８のグリッド１００２及び１００４が標的部位７００を空間的にサンプリングするように、感光要素に向けられる。空間サンプリングの分解能は、画質及びパリティに影響するパラメータである。

【0111】

図１０においてピクセルグリッド１００２及び１００４に示されるピクセルの数は、光学画像センサ７４６及び７４８における実際のピクセルの数を表さない。代わりに、センサは通常、１２８０×７２０ピクセル及び８５００×４５００ピクセル、好ましくは約２０４８×１５６０ピクセルの分解能を有する。しかしながら、グリッド１００２及び１００４の全てのピクセルが画像伝送に選択されるわけではない。代わりに、グリッド１００２及び１００４のサブセット又はピクセルセットが送信に選択される。例えば、図１０では、ピクセルセット１００６は、右画像としての伝送にピクセルグリッド１００２から選択され、ピクセルセット１００８は、左画像としての伝送にピクセルグリッド１００４から選択される。示されるように、ピクセルセット１００６は、各ピクセルグリッド１００２及び１００４に関連して、ピクセルセット１００８と同じ位置に配置される必要はない。ピクセルセット１００６及び１００８の別個の制御により、左画像及び右画像を位置合わせし、及び／又は移動するＺＲＰ等の画像欠陥及び／又は疑似視差を補正することができる。

【0112】

ピクセルグリッドからのピクセルセットの選択により、画像欠陥／疑似視差を補正し、及び／又は右光学画像及び左光学画像をより正確に位置合わせするピクセルグリッドの一部を選択することができる。換言すれば、ピクセルセットは、ピクセルグリッドに対して移動又は調整されて（リアルタイムで）、疑似視差を低減又はなくすことにより画質を改善し得る。代替的には、立体画像の左ビュー及び右ビューの一方又は両方は、画像処理パイプラインで垂直に動かして（例えば、表示のためのビューのレンダリング中）、同じ効果を達成することができる。センサの回転位置合わせずれも垂直に補正することができる。ピクセルセットは、使用中、ピクセルグリッドにわたっても移動して、視野をパンする外観を提供することもできる。一例では、２０４８×１５６０ピクセルを有するピクセルグリッドから、１９２０×１０８０ピクセルのウィンドウのピクセルセットを選択し得る。ピクセルウィンドウ又はセットの位置は、ソフトウェア／ファームウェアにより制御し得、セットアップ及び／又は使用中、移動し得る。それに従って光学画像センサ７４６及び７４８の分解能は、ピクセルセット又はウィンドウの長さ方向及び幅方向におけるピクセル数に基づいて指定される。

【0113】

１．一例の画像センサを用いての色検知
上述したように、光学検知要素７４６及び７４８は、特定の色の光を検出する異なるフィルタを有するピクセルを含む。例えば、幾つかのピクセルは、主に赤色光を透過するフィルタで覆われ、幾つかは主に緑色光を透過するフィルタで覆われ、幾つかは主に青色光を透過するフィルタで覆われる。幾つかの実施形態では、ベイヤーパターンがピクセルグリッド１００２及び１００４に適用される。しかしながら、他の実施形態では、特定の波長の光に最適化された異なるカラーパターンを使用することもできることを理解されたい。例えば、各検知領域における緑色フィルタを広帯域フィルタ又は近赤外線フィルタで置換し、それにより、検知スペクトルを広げ得る。

【0114】

ベイヤーパターンは、ピクセルの２行×２列をグループ化し、それぞれ碁盤の目パターンで１つを赤色フィルタで覆い、１つを青色フィルタで覆い、２つを緑色フィルタで覆うことにより実施される。したがって、赤及び青の分解能はそれぞれ、対象となる検知領域全体の１／４であり、一方、緑色分解能は、対象となる検知領域全体の半分である。

【0115】

緑色は検知領域の半分に割り当てられて、光学画像センサ７４６及び７４８にルミナンスセンサとして動作させ、人間の視覚系を模倣させ得る。加えて、赤及び青は、人間の視覚系のクロミナンスセンサを模倣するが、緑色検知ほど重要ではない。特定の領域での赤、緑、及び青の量が特定されると、後述する図１６のデベイヤープログラム１５８０ａを併せて考察するように、赤値、緑値、及び青値を平均することにより、可視スペクトル内の他の色が特定される。

【0116】

幾つかの実施形態では、光学画像センサ７４６及び７４８は、フィルタではなく、積層構成要素を使用して、色を検知し得る。例えば、検知要素は、ピクセルエリア内部に垂直に積み重ねられた赤、緑、及び青の検知構成要素を含み得る。幾つかの別の例では、プリズムは、特に塗膜されたビームスプリッタを使用して、検知要素が各分割ビーム経路に配置された状態で、入射光を成分に１回又は複数回（通常、少なくとも２回で、「３チップ」として知られる３成分色が生成される）分割する。他のセンサタイプは、緑色フィルタの１つを広帯域フィルタ又は近赤外線フィルタで置換する等の異なるパターンを使用し、それにより、デジタル外科用顕微鏡の検知可能性を広げる。

【0117】

２．一例の画像センサを用いての可視範囲外の光の検知
光学画像センサ７４６及び７４８の一例の検知要素フィルタは、検知要素が検出することができる範囲内の近紫外線光を透過するようにも構成される。これにより、光学画像センサ７４６及び７４８は可視範囲外の少なくとも幾らかの光を検出することができる。そのような感度は、画像を「ウォッシュアウト」し、多くのタイプの画面でコントラストを下げ、色品質に悪影響を及ぼすため、スペクトルの可視部分における画質を低減させる恐れがある。その結果、フィルタ７４０は、赤外線遮断フィルタを使用して、可視波長を光学画像センサ７４６及び７４８に透過させながら、近赤外線波長をブロックし得る。

【0118】

しかしながら、そのような近赤外線感度が望ましいことがある。例えば、ＩＣＧ等の蛍光剤を標的部位７００に導入することができる。ＩＣＧは、可視又は他の波長又は光で励起又は活性化し、近赤外線範囲の蛍光を発する。上述したように、ＮＩＲ光源７０８ｂはＮＩＲ光を提供し、可視光源７０８ａは可視光を提供して、ＩＣＧを用いる薬剤を励起させる。励起光は更に赤色スペクトルに沿い、これは、近赤外線バンドパス又はハイパスフィルタを使用してフィルタ７４０に透過し得る。次に、赤色スペクトルからの光は、光学画像センサ７４６及び７４８により検出される。フィルタ７４０のスペクトル特性を光源７０８及び蛍光剤の予期される挙動と合わせることにより、標的部位７００における薬剤を含む血液等の薬剤及び生物学的構造を、薬剤を含まない他の構造から区別することができる。

【0119】

なお、この例では、ＮＩＲ光源７０８ｂは、フィルタ７４０内の近赤外線フィルタと異なる主波長を有する。特に、ＮＩＲ光源７０８ｂは、約７８０ナノメートル（「ｎｍ」）（概ねこの前後に光の出力スペクトルの大半が存在する）の主波長を有する。これとは対照的に、フィルタ７４０の近赤外線フィルタは、約８１０ｎｍから９１０ｎｍの範囲の波長の光を透過する。ＮＩＲ光源７０８ｂからの光及びフィルタ７４０を透過した光は両方とも「近赤外線」波長である。しかしながら、光波長は、一例の立体視覚化カメラ３００が光源７０８を用いて刺激し、刺激光を濾波しながら光学画像センサ７４４を用いて検出することができるように分離される。それに従ってこの構成により、蛍光剤の使用が可能になる。

【0120】

別の実施形態では、薬剤は青色、紫色、及び近紫外線領域で励起し、赤色領域の光を蛍光することができる。そのような薬剤の一例には、５ＡＬＡの導入によって生じる悪性神経膠腫内のポルフィリン蓄積がある。この例では、青色光を、残りのスペクトルを透過しながら濾波して除外する必要がある。この状況では近紫外線遮断フィルタが使用される。上述した「近赤外線」の場合と同様に、ＮＵＶ光源７０８ｃは、フィルタ７４０内の近紫外線遮断フィルタとは異なる主波長を有する。

【0121】

Ｇ．一例のレンズキャリア
先のセクションＩＶ（Ｄ）では、前部レンズセット７１４、ズームレンズ組立体７１６、及び／又はレンズバレルセット７１８のレンズの少なくとも幾つかが、レールに沿って１つ又は複数のキャリアで移動し得ることを述べた。例えば、前部ズームレンズセット７２４は、前部ズームレンズ７２６及び７２８を一緒に軸方向に移動させるキャリアを備え得る。

【0122】

図１１及び図１２は、本開示の実施形態例による一例のキャリアの図を示す。図１１では、キャリア７２４は、支持構造体１１０２内に右前部ズームレンズ７２６及び左前部ズームレンズ７２８を含む。キャリア７２４は、レール１１０６に移動可能に接続するように構成されたレールホルダ１１０４を含む。力「Ｆ」が作動セクション１１０８に印加されて、キャリア７２４をレール１１０６に沿って移動させる。力「Ｆ」は、リードねじ又は他の線形作動デバイスにより印加し得る。図１１に示されるように、力「Ｆ」はキャリア７２４のオフセットに印加される。レール１１０６とキャリア７２４との摩擦が、モーメントＭ_ｙを生成し、モーメントＭ_ｙは支持構造体１１０２を図１１に示されるＹ軸の回りを僅かに移動させる。この僅かな移動は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を逆方向に僅かにシフトさせ、立体画像のビュー間の視差誤差である疑似視差を生じさせる恐れがある。

【0123】

図１２は別の例のキャリア７２４を示す。この例では、力「Ｆ」は、レールホルダ１１０４及び支持構造体１１０２に接続された中心構造体１２０２に対称に印加される。力「Ｆ」はモーメントＭ_ｘを生成し、モーメントＭ_ｘはキャリア７２４を図１２に示されるＸ軸の回りを僅かに回転又は移動させる。回転運動は、右前部ズームレンズ７２６及び左前部ズームレンズ７２８を同じ度数の運動だけ同じ方向にシフトさせ、それにより、疑似視差の発生を低減する（又はなくす）。

【0124】

図１１及び図１２は１つのキャリア内のレンズ７２６及び７２８を示すが、他の実施形態では、レンズ７２６及び７２８はそれぞれキャリア内にあり得る。これらの例では、各レンズは別個のトラック又はレール上にある。別個のリードねじを各レンズに提供して、各光路に沿った独立した軸方向運動を提供し得る。

【0125】

Ｈ．一例の屈曲部
先のセクションＩＶ（Ｄ）では、前部レンズセット７１４、ズームレンズ組立体７１６、及び／又はレンズバレルセット７１８のレンズの少なくとも幾つかが、半径方向に移動、回転、及び／又はチルトし得ることを述べた。追加又は代替として、光学画像センサ７４６及び７４８は、軸方向に移動し、及び／又は各入射光路に関してチルトし得る。軸方向運動及び／又はチルト運動は、１つ又は複数の屈曲部により提供し得る。幾つかの例では、屈曲部は、第１の屈曲部が第１の方向での運動を提供し、別個の屈曲部が第２の方向での独立した運動を提供するように連結し得る。別の例では、第１の屈曲部は、ピッチ軸に沿ったチルトを提供し、別個の屈曲部はヨー軸に沿ったチルトを提供する。

【0126】

図１３は、本開示の実施形態例による一例の二重屈曲部１３００の図を示す。図１３に示される屈曲部１３００は、光学画像センサ７４４用のものであり、最終的なフォーカスのために、各光軸に沿って右光学画像センサ７４６及び左光学画像センサ７４８を独立して移動させるように構成される。屈曲部１３００は、一例の立体視覚化カメラ３００の筐体３０２に接続し、作動のための剛性ベースを提供するための支持梁１３０１を含む。屈曲部１３００は、運動方向１３１０を除き全方向で剛性の、各チャネル（例えば、センサ７４６及び７４８）の梁１３０２も含む。梁１３０２は、梁１３０２を運動方向１３１０、この例では平行四辺形並進において移動できるようにする可撓性ヒンジ１３０３に接続される。

【0127】

アクチュエータデバイス１３０４は、所望の方向に所望の距離だけ梁１３０２を屈曲させる。アクチュエータデバイス１３０４は、各チャネルに押しねじ１３０６及び引きねじ１３０８を含み、これらのねじは逆の力を梁１３０２に印加して、可撓性ヒンジ１３０３を移動させる。梁１３０２は、例えば、押しねじ１３０６を回して梁１３０２を押すことにより内側に移動し得る。図１３に示される屈曲部１３００は、右光学画像センサ７４６及び左光学画像センサ７４８を軸方向にそれぞれの光軸に沿って独立して移動させるように構成される。

【0128】

梁１３０２が所望の位置に屈曲した後、ロック機構に係合して、更なる移動を阻止し、それにより、剛性カラムを生み出す。ロック機構は、押しねじ１３０６及びそれぞれの同心引きねじ１３０８を含み、これらのねじは、締められると、梁１３０２の剛性カラムを生じさせる大きな逆の力を生成する。

【0129】

光学画像センサ７４６及び７４８は同じ屈曲部１３００に接続されて示されるが、他の例では、センサは別個の屈曲部に接続し得る。例えば、図８に戻ると、右光学画像センサ７４６は屈曲部７５０に接続され、左光学画像センサ７４８は屈曲部７５２に接続される。別個の屈曲部７５０及び７５２の使用により、光学画像センサ７４６及び７４８は、例えば、左右の光学ビューを位置合わせし、及び／又は疑似視差を低減又はなくすように別個に調整することができる。

【0130】

加えて、図１３は屈曲部１３００に接続された画像センサ７４６及び７４８を示すが、他の例では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、代わりに代替又は追加の屈曲部に接続し得る。幾つかの場合、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２の左右の各レンズは、別個の屈曲部１３００に接続されて、独立した半径方向、回転方向、及び／又はチルトの調整を提供し得る。

【0131】

屈曲部１３００は、１μｍ未満の運動分解能を提供し得る。非常に細かい運動調整の結果として、左右の光路からの画像は、４Ｋディスプレイモニタで数ピクセル、さらには１ピクセルの位置合わせ精度を有し得る。そのような精度は、左右のビューを重ね、立体視ではなく両ビューを両目で観測することにより、各ディスプレイ５１２、５１４で閲覧し得る。

【0132】

幾つかの実施形態では、屈曲部１３００は、「ＳＹＳＴＥＭ ＦＯＲ ＴＨＥ ＳＵＢ−ＭＩＣＲＯＮ ＰＯＳＩＴＩＯＮＩＮＧ ＯＦ Ａ ＲＥＡＤ／ＷＲＩＴＥ ＴＲＡＮＳＤＵＣＥＲ」という名称の米国特許第５，３５９，４７４号明細書に開示される屈曲部に含むことができ、この特許を全体的に参照により本明細書に援用する。更に他の実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、半径方向において静止し得る。代わりに、光路において調整可能な偏向方向を有する偏向要素（例えば、ミラー）を使用して、右光路及び／又は左光路を操縦して、位置合わせ及び／又は疑似視差を調整し得る。追加又は代替として、チルト／シフトレンズを光路に提供し得る。例えば、光軸のチルトは、調整可能なウェッジレンズを用いて制御し得る。更なる実施形態では、前部レンズセット７１４、ズームレンズ組立体７１６、レンズバレルセット７１８、及び／又は最終光学要素セット７４２のレンズは、電子的に変更することができるパラメータを有する動的レンズを含み得る。例えば、レンズは、Ｉｎｖｅｎｉｏｓ Ｆｒａｎｃｅ ＳＡＳ製のＶａｒｉｏｐｔｉｃ液晶レンズを含み得る。

【0133】

ＶＩ．立体視覚化カメラの一例のプロセッサ
一例の立体視覚化カメラ３００は、右光路及び左光路からの画像データを記録し、画像データを立体画像として表示するためにモニタ５１２及び／又は５１４に出力するように構成される。図１４は、本開示の実施形態例による、画像データを取得し処理する一例の立体視覚化カメラ３００のモジュールの図を示す。モジュールが、特定のハードウェア、コントローラ、プロセッサ、ドライバ、及び／又はインターフェースにより実行される動作、メソッド、アルゴリズム、ルーチン、及び／又はステップを示すことを理解されたい。他の実施形態では、モジュールは結合、更に分割、及び／又は削除し得る。さらに、モジュール（又はモジュールの部分）の１つ又は複数は、リモートサーバ、コンピュータ、及び／又は分散計算環境等の立体視覚化カメラ３００の外部に提供し得る。

【0134】

図１４の図示の実施形態では、図７から図１３における構成要素４０８、７０２〜７５０、及び１３００はまとめて光学要素１４０２と呼ばれる。光学要素１４０２（特に光学画像センサ７４６及び７４８）は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６に通信可能に結合される。画像捕捉モジュール１４０４は情報プロセッサモジュール１４０８に通信可能に結合され、情報プロセッサモジュール１４０８は、外部配置のユーザ入力デバイス１４１０及び１つ又は複数のディスプレイモニタ５１２及び／又は５１４に通信可能に結合し得る。

【0135】

一例の画像捕捉モジュール１４０４は、光学画像センサ７４６及び７４８から画像データを受信するように構成される。加えて、画像捕捉モジュール１４０４は、各ピクセルグリッド１００２及び１００４内にピクセルセット１００６及び１００８を定義し得る。画像捕捉モジュール１４０４は、フレームレート及び露出時間等の画像記憶特性を指定することもできる。

【0136】

一例のモータ・照明モジュール１４０６は、１つ又は複数のモータ（又はアクチュエータ）を制御して、光学要素１４０２の１つ又は複数の半径方向位置、軸方向位置、及び／又はチルト位置を変更するように構成される。例えば、モータ又はアクチュエータは、図１１及び図１２に示されるように、駆動ねじを回して、トラック１１０６に沿ってキャリア７２４を移動させ得る。モータ又はアクチュエータはまた、図１３の屈曲部１３００の押しねじ１３０６及び／又は引きねじ１３０８を回して、レンズ及び／又は光学画像センサの半径方向位置、軸方向位置、又はチルト位置を調整することもできる。モータ・照明モジュール１４０６は、光源７０８を制御する駆動装置を含むこともできる。

【0137】

一例の情報プロセッサモジュール１４０８は、表示のために画像データを処理するように構成される。例えば、情報プロセッサモジュール１４０８は、色補正を画像データに提供し、画像データからの欠陥をフィルタリングし、及び／又は立体表示のために画像データをレンダリングし得る。情報プロセッサモジュール１４０８はまた、指定された調整を光学要素に対して実行する命令を画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６に提供することにより、１つ又は複数の較正ルーチンを実行して、立体視覚化カメラ３００を較正することもできる。情報プロセッサモジュール１４０８は更に、画像位置合わせを改善し、及び／又は疑似視差を低減する命令を決定し、リアルタイムで画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６に提供し得る。

【0138】

一例のユーザ入力デバイス１４１０は、立体視覚化カメラ３００の動作を変更する命令を提供するコンピュータを含み得る。ユーザ入力デバイス１４１０は、立体視覚化カメラ３００のパラメータ及び／又は特徴を選択する制御機構を含むこともできる。一実施形態では、ユーザ入力デバイス１４１０は図３の制御アーム３０４を含む。ユーザ入力デバイス１４１０は、情報プロセッサモジュール１４０８にハードワイヤードし得る。追加又は代替として、ユーザ入力デバイス１４１０は、情報プロセッサモジュール１４０８に無線又は光学的に通信可能に結合される。

【0139】

一例のディスプレイモニタ５１２及び５１４は、例えば、三次元閲覧経験を提供するように構成されたテレビジョン及び／又はコンピュータモニタを含む。例えば、ディスプレイモニタはＬＧ（登録商標）５５ＬＷ５６００テレビジョンを含み得る。代替的には、ディスプレイモニタ５１２及び５１４は、ラップトップ画面、タブレット画面、スマートフォン画面、スマートメガネ、プロジェクタ、ホログラフィックディスプレイ等を含み得る。

【0140】

以下のセクションでは、画像捕捉モジュール１４０４、モータ・照明モジュール１４０６、及び情報プロセッサモジュール１４０８についてより詳細に説明する。

【0141】

Ａ．一例の画像捕捉モジュール
図１５は、本開示の実施形態例による画像捕捉モジュール１４０４の図を示す。一例の画像捕捉モジュール１４０４は画像センサコントローラ１５０２を含み、画像センサコントローラ１５０２は、プロセッサ１５０４、メモリ１５０６、及び通信インターフェース１５０８を含む。プロセッサ１５０４、メモリ１５０６、及び通信インターフェース１５０８は一緒に、画像センサコントローラバス１５１２を介して通信可能に結合し得る。

【0142】

プロセッサ１５０４には、メモリ１５０６内に永続的に記憶された１つ又は複数のプログラム１５１０をプログラム可能である。プログラム１５１０は、実行されると、プロセッサ１５０４に、１つ又は複数のステップ、ルーチン、アルゴリズム等を実行させる機械可読命令を含む。幾つかの実施形態では、プログラム１５１０は、情報プロセッサモジュール１４０８から及び／又はユーザ入力デバイス１４１０からメモリ１５０６に送信し得る。他の例では、プログラム１５１０は、情報プロセッサモジュール１４０８から及び／又はユーザ入力デバイス１４１０からプロセッサ１５０４に直接送信し得る。

【0143】

一例の画像センサコントローラ１５０２は、光学要素１４０２の右光学画像センサ７４６及び左光学画像センサ７４８に通信可能に結合される。画像センサコントローラ１５０２は、タイミング制御データ及び／又はプログラミングデータに加えて、電力を光学画像センサ７４６及び７４８に提供するように構成される。加えて、画像センサコントローラ１５０２は、光学画像センサ７４６及び７４８から画像及び／又は診断データを受信するように構成される。

【0144】

各光学画像センサ７４６及び７４８は、特定のパラメータ及び／又は特性を制御するプログラマブルレジスタを含む。レジスタの１つ又は複数は、図１０の各ピクセルグリッド１００２及び１００４内のピクセルセット１００６及び１００８の位置を指定し得る。レジスタは、ピクセルグリッド１００２及び１００４の原点又は縁部点に対する開始位置の値を記憶し得る。レジスタはまた、ピクセルセット１００６及び１００８の幅及び高さを指定して、関心のある矩形領域を画定することもできる。画像センサコントローラ１５０２は、指定されたピクセルセット１００６及び１００８内にあるピクセルのピクセルデータを読み出すように構成される。幾つかの実施形態では、光学画像センサ７４６及び７４８のレジスタは、円、楕円、三角形等の他の形状のピクセルセットの指定を促進し得る。追加又は代替として、光学画像センサ７４６及び７４８のレジスタは、ピクセルグリッド１００２及び１００４のそれぞれに複数のピクセルセットを同時に指定できるようにし得る。

【0145】

ピクセルグリッド１００２及び１００４のピクセルの感光部分は、埋め込み回路により制御され、埋め込み回路は異なる感光モードを指定する。モードはリセットモード、積分モード、及び読み出しモードを含む。リセットモード中、ピクセルの電荷蓄積構成要素は、既知の電圧レベルにリセットされる。積分モード中、ピクセルは「オン」状態に切り替えられる。検知エリア又はピクセルの要素に達した光は、電荷を電荷蓄積構成要素（例えば、キャパシタ）内に蓄積させる。蓄えられた電荷の量は、積分モード中、検知要素に入射した光の量に対応する。読み出しモード中、電荷量はデジタル値に変換され、埋め込み回路を介して光学画像センサ７４６及び７４８から読み出され、画像センサコントローラ１５０２に送信される。あらゆるピクセルを読み出すために、所与の領域内の各ピクセルの電荷蓄積構成要素は、切り替え内部回路により読み出し回路に順次接続され、読み出し回路は、アナログ値からデジタル値への電荷の変換を実行する。幾つかの実施形態では、ピクセルアナログデータは１２ビットデジタルデータに変換される。しかしながら、分解能がノイズ許容度、整定時間、フレームレート、及びデータ送信速度に基づいてより高い又はより低いことがあることを理解されたい。各ピクセルのデジタルピクセルデータはレジスタに記憶し得る。

【0146】

図１５の画像センサコントローラ１５０２の一例のプロセッサ１５０４は、ピクセルセット１００６及び１００８内の各ピクセルからピクセルデータ（例えば、ピクセルの要素への入射光量に対応する、ピクセルに貯蔵された電荷を示すデジタルデータ）を受信するように構成される。プロセッサ１５０４は、右光学画像センサ７４６から受信したピクセルデータから右画像を形成する。加えて、プロセッサ１５０４は、左光学画像センサ７４８から受信したピクセルデータから左画像を形成する。代替的には、プロセッサ１５０４は、左画像及び右画像のそれぞれの一部のみ（例えば、一行又は数行）を形成してから、データを下流に送信する。幾つかの実施形態では、プロセッサ１５０４はレジスタ位置を使用して、画像内の各ピクセルの位置を特定する。

【0147】

右画像及び左画像が作成された後、プロセッサ１５０４は右画像及び左画像を同期する。次に、プロセッサ１５０４は、右画像及び左画像の両方を通信インターフェース１５０８に送信し、通信インターフェース１５０８は画像を処理して、通信チャネル１５１４を介して情報プロセッサモジュール１４０８に送信するためのフォーマットにする。幾つかの実施形態では、通信チャネル１５１４は、ＵＳＢ２．０又は３．０規格に準拠し、銅線又は光ファイバケーブルを含み得る。通信チャネル１５１４は、最高で毎秒左右画像（立体分解能１９２０×１０８０及びデータ変換分解能１２ビットを有する）約６０対以上を１秒当たり送信することが可能であり得る。銅線ＵＳＢの使用により、電力を情報プロセッサモジュール１４０８から画像捕捉モジュール１４０４に提供することができる。

【0148】

以下のセクションでは、特定のプログラム１５１０を実行して、光学画像センサ７４６及び７４８から画像データを取得及び／又は処理する画像センサコントローラ１５０２のプロセッサ１５０４により提供される特徴について更に説明する。

【0149】

１．一例の露出
一例のプロセッサ１５０４は、光学画像センサ７４６及び７４８が上述した積分モードである時間量を制御又はプログラムし得る。積分モードは、露出時間と呼ばれる時間期間にわたり行われる。プロセッサ１５０４は、光学画像センサ７４６及び７４８の露出レジスタに値を書き込むことにより露出時間を設定し得る。追加又は代替として、プロセッサ１５０４は、露出時間の開始及び終了を通知する命令を光学画像センサ７４６及び７４８に送信し得る。露出時間は、数ミリ秒（「ｍｓ」）〜数秒でプログラムし得る。好ましくは、露出時間は概ね、フレームレートの逆数である。

【0150】

幾つかの実施形態では、プロセッサ１５０４は、ローリングシャッタ法を光学画像センサ７４６及び７４８に適用して、ピクセルデータを読み取り得る。この方法下では、ピクセルセット１００６及び１００８のピクセルの所与の行の露出時間は、その行内のピクセルが読み出され、次にリセットされた直後に開始される。短時間後、次の行（通常、設定されたばかりの行に物理的に最も近い）が読み出され、それに従ってリセットされ、その露出時間が再開される。各ピクセル行の順次読み出しは、ピクセルセット１００６及び１００８の最後又は最下行が読み出されリセットされるまで続けられる。次に、プロセッサ１５０４はピクセルセット１００６及び１００８の最上行に戻り、次の画像のピクセルデータを読み出す。

【0151】

別の実施形態では、プロセッサ１５０４はグローバルシャッタ法を適用する。この方法下では、プロセッサ１５０４は、ローリングシャッタ法と同様にして読み出し及びリセットを実施する。しかしながら、この方法では、積分は、ピクセルセット１００６及び１００８内の全てのピクセルで同時に行われる。グローバルシャッタ法は、全てのピクセルが同時に露出されるため、ローリングシャッタ法と比較して、画像内の欠陥が減るという利点を有する。比較として、ローリングシャッタ法では、ピクセルセットのラインの露出間に僅かな時間遅延がある。小さな欠陥は、ライン露出間、特に読み出し間で標的部位７００に小さな変化が生じ得る上のラインと下のラインとの間の時間中に生じる恐れがある。

【0152】

２．一例のダイナミックレンジ
一例のプロセッサ１５０４は、１つ又は複数のプログラム１５１０を実行して、光学画像センサ７４６及び７４８のダイナミックレンジ外の光を検出し得る。一般に、極めて明るい光はピクセルの電荷貯蔵領域を完全に満たし、それにより、厳密な輝度レベルに関する画像情報を失うことになる。同様に、極めて低い光又は光がないことは、ピクセル内の有意味な電荷を影響することができず、これもまた画像情報の損失に繋がる。それに従ってこのピクセルデータからの作成された画像は、標的部位７００における光強度を正確に反映しない。

【0153】

ダイナミックレンジ外の光を検出するために、プロセッサ１５０４は、例えば、マルチ露出プログラム、マルチスロープピクセル積分プログラム、及びマルチセンサ画像融合プログラムを含む幾つかの高ダイナミックレンジ（「ＨＤＲ」）プログラム１５１０の１つを実行し得る。一例では、マルチ露出プログラムは、光学画像センサ７４６及び７４８に統合又は埋め込まれたＨＤＲ特徴を利用し得る。この方法下では、ピクセルセット１００６及び１００８は、通常の露出時間にわたり積分モードになる。ピクセルセット１００６及び１００８のラインは読み出され、光学画像センサ７４６及び７４８のメモリ及び／又は画像センサコントローラ１５０２のメモリ１５０６に記憶される。読み出しがプロセッサ１５０４により実行された後、ピクセルセット１００６及び１００８内の各ラインは、通常の露出時間未満の第２の露出時間にわたり再びオンになる。プロセッサ１５０４は、第２の露出時間後、ピクセルの各ラインを読み出し、このピクセルデータを同じラインの通常露出時間からのピクセルデータと結合する。プロセッサ１５０４は、トーンマッピングを適用して、通常長さの露出時間からのピクセルデータか、及び長さの短い露出時間からのピクセルデータを選び（又は結合し）、生成されたピクセルデータを、下流の処理及び表示と互換性がある範囲にマッピングする。マルチ露出プログラムを使用する場合、プロセッサ１５０４は、光学画像センサ７４６及び７４８のダイナミックレンジを拡大し、表示のためにピクセルデータの結果としての範囲を圧縮することが可能である。

【0154】

プロセッサ１５１０は、比較的暗い光の場合でも同様のプログラムを動作し得る。しかしながら、第２の露出時間が通常時間未満である代わりに、第２の露出時間は通常時間よりも長く、それにより、電荷を蓄積するより多くの時間をピクセルに提供する。プロセッサ１５１０はトーンマッピングを使用して、ピクセルデータ読み出しを調整し、より長い露出時間を補償し得る。

【0155】

３．一例のフレームレート
一例のプロセッサ１５１０は、光学画像センサ７４６及び７４８のフレームレートを制御又は指定し得る。幾つかの実施形態では、光学画像センサ７４６及び７４８は、ピクセルセット１００６及び１００８内の各ピクセルが上述した撮像モードを通して循環する毎秒当たりの回数を指定するオンボードタイミング回路及びプログラマブル制御レジスタを含む。フレーム又は画像は、ピクセルセットが３つのモードを通して進む都度、形成される。フレームレートは、ピクセルセット１００６及び１００８内のピクセルが積分され、読み出され、リセットされる毎秒当たりの回数である。

【0156】

プロセッサ１５１０は、読み出しが適切なときに行われるように、光学画像センサ７４６及び７４８と同期し得る。他の例では、プロセッサ１５１０は光学画像センサ７４６及び７４８と非同期である。これらの他の例では、光学画像センサ７４６及び７４８は、一時的なメモリ又はキューへのローカル読み出し後、ピクセルデータを記憶し得る。次に、ピクセルデータは、右画像及び左画像の同期のために、プロセッサ１５１０により周期的に読み出し得る。

【0157】

時系列でのフレーム又は画像の処理（例えば、画像ストリームの作成）は、ビデオとして伝達される動きの錯覚を提供する。一例のプロセッサ１５１０は、観測者に滑らかなビデオの見た目を提供するフレームレートをプログラムするように構成される。低すぎるフレームレートは、任意の動きを途切れ途切れ又は不均等にする。最大閾値フレームレートを超える動画品質は、観測者にとって識別可能ではない。一例のプロセッサ１５１０は、典型的な外科視覚化で毎秒約２０〜７０フレーム、好ましくは毎秒５０〜６０フレームを生成するように構成される。

【0158】

４．一例のセンサ同期
図１５の一例のプロセッサ１５０４は、光学画像センサ７４６及び７４８の同期を制御するように構成される。プロセッサ１５０４は、例えば、光学画像センサ７４６及び７４８に電力を同時に提供し得る。次に、プロセッサ１５０４は、クロック信号を光学画像センサ７４６及び７４８の両方に提供し得る。クロック信号は、光学画像センサ７４６及び７４８が自由実行モードで独立して、しかし同期され及び／又は同時に動作できるようにする。したがって、光学画像センサ７４６及び７４８は、ピクセルデータを略同時に記録する。一例のプロセッサ１５０４は、ピクセルデータを光学画像センサ７４６及び７４８から受信し、画像及び／又はフレームの少なくとも一部を構築し、任意のわずかなタイミングずれを説明するように画像及び／又はフレーム（又はその一部）を同期させる。通常、光学画像センサ７４６及び７４８間のラグは、２００マイクロ秒未満である。他の実施形態では、プロセッサ１５０４は同期ピンを使用して、例えば、各リセットモード後、光学画像センサ７４６及び７４８を同時にアクティブ化し得る。

【0159】

Ｂ．一例のモータ・照明モジュール
図１５の一例の立体視覚化カメラ３００は、光学要素１４０２のレンズを移動させ、及び／又は光源７０８から出力される照明を制御する１つ又は複数のモータ又はアクチュエータを制御するモータ・照明モジュール１４０６を含む。一例のモータ・照明モジュール１４０６は、プロセッサ１５２２、メモリ１５２４、及び通信バス１５２８を介して通信可能に一緒に結合された通信インターフェース１５２６を含むモータ・照明コントローラ１５２０を含む。メモリ１５２４は、プロセッサ１５２２で実行可能であり、光学要素１４０２のレンズ及び／又は光源７０８の制御、調整、及び／又は較正を実行する１つ又は複数のプログラム１５３０を記憶する。幾つかの実施形態では、プログラム１５３０は、情報プロセッサモジュール１４０８及び／又はユーザ入力デバイス１４１０からメモリ１５２４に送信し得る。

【0160】

通信インターフェース１５２６は、画像捕捉モジュール１４０４の通信インターフェース１５０８及び情報プロセッサモジュール１４０８の通信インターフェース１５３２に通信可能に結合される。通信インターフェース１５２６は、コマンドメッセージ、タイミング信号、ステータスメッセージ等を画像捕捉モジュール１４０４及び情報プロセッサモジュール１４０８から受信するように構成される。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、タイミング信号をプロセッサ１５２２に送信して、照明制御と光学画像センサ７４６及び７４８の露出時間とのタイミングを同期させ得る。別の例では、情報処理モジュール１４０８は、特定の光源７０８にアクティブ化し及び／又は光学要素１４０２の特定のレンズを移動させるように命令するコマンドメッセージを送信し得る。コマンドは、例えば、ユーザ入力デバイス１４１０を介してオペレータから受信した入力に応答し得る。追加又は代替として、コマンドは、較正ルーチン及び／又はリアルタイム調整に応答して、疑似視差等の画像位置合わせずれ及び／又は欠陥を低減又はなくし得る。

【0161】

一例のモータ・照明モジュール１４０６は、光学要素１４０２のレンズの軸方向及び／又は半径方向位置及び／又は光源７０８から出力される光を調整するモータを制御する電力を提供する駆動装置を含む。特に、モータ・照明モジュール１４０６は、ＮＵＶ信号をＮＵＶ光源７０８ｃに送信するＮＵＶ光駆動装置１５３４、ＮＩＲ信号をＮＩＲ光源７０８ｂに送信するＮＩＲ光駆動装置１５３６、及び可視光信号を可視光源７０８ａに送信する可視光駆動装置１５３８を含む。

【0162】

加えて、モータ・照明モジュール１４０６は、図７及び図８のフィルタ７４０を制御するフィルタモータ信号をフィルタモータ１５４２に送信するフィルタモータ駆動装置１５４０を含む。モータ・照明モジュール１４０６は、後部ズームレンズモータ信号を後部ズームレンズモータ１５４６に送信する後部ズームレンズモータ駆動装置１５４４、前部ズームレンズモータ信号を前部ズームレンズモータ１５５０に送信する前部ズームレンズモータ駆動装置１５４８、及び作業距離レンズモータ信号を作業距離レンズモータ１５５４に送信する後部作業距離レンズモータ駆動装置１５５２を含む。モータ・照明モジュール１４０６はまた、偏向要素７１２を移動及び／又はチルトさせるモータ及び／又はアクチュエータを含むこともできる。

【0163】

後部ズームレンズモータ１５４６は、キャリア７３０をトラック又はレールに沿って軸方向に移動させる駆動ねじを回転するように構成される。前部ズームレンズモータ１５５０は、キャリア７２４を図１１及び図１２に示されるトラック１１０６に沿って軸方向に移動させる駆動ねじを回転するように構成される。作業距離レンズモータ１５５４は、後部作業距離レンズ７０２をトラック又はレールに沿って軸方向に移動させる駆動ねじを回転するように構成される。

【0164】

駆動装置１５３６、１５３８、及び１５４０は、任意のタイプの照明駆動装置、変圧器、及び／又はバラストを含み得る。駆動装置１５３６、１５３８、及び１５４０は、光源７０８により出力される光の強度を制御するパルス幅変調（「ＰＷＭ」）信号を出力するように構成される。幾つかの実施形態では、プロセッサ１５２２は、フィルタモータ駆動装置１５４０を使用して特定のフィルタを適用するタイミングに対応するように、駆動装置１５３６、１５３８、及び１５４０のタイミングを制御し得る。

【0165】

一例の駆動装置１５４０、１５４４、１５４８、及び１５５２は、例えば、ステッパモータ駆動装置及び／又はＤＣモータ駆動装置を含み得る。同様に、モータ１５４２、１５４６、１５５０、及び／又は１５５４は、ステッパモータ、ＤＣモータ、又は他の電気、磁気、熱、油圧、若しくは空気圧アクチュエータを含み得る。モータ１５４２、１５４６、１５５０、及び／又は１５５４は、例えば、フィードバック報告及び制御のために、ロータリエンコーダ、スロット型光学スイッチ（例えば、フォトインタラプタ）、及び／又は線形エンコーダを含み、シャフト及び／又は車軸の角度位置を報告し得る。代替の実施形態は、適した駆動装置を有するボイスコイルモータ、圧電モータ、リニアモータ、及びそれらの均等物を含み得る。

【0166】

駆動装置１５３４、１５３６、１５３８、１５４０、１５４４、１５４８、及び１５５２を制御するために、プロセッサ１５２２は、コマンドメッセージをデジタル信号及び／又はアナログ信号に変換するプログラム１５３０を使用するように構成される。プロセッサ１５２２は、デジタル信号及び／又はアナログ信号を適切な駆動装置に送信し、駆動装置は、受信信号に対応するＰＷＭ信号等のアナログ電力信号を出力する。アナログ電力信号は、電力を適切なモータ又はアクチュエータに提供し、所望量だけモータ又はアクチュエータを回転させる（又は他の方法で移動させる）。

【0167】

プロセッサ１５２２は、フィードバックを駆動装置１５３４、１５３６、１５３８、１５４０、１５４４、１５４８、及び１５５２、モータ１５４２、１５４６、１５５０、及び／又は１５５４、及び／又は光源７０８から受信し得る。フィードバックは、例えば、照明レベル又は照明出力に対応する。モータに関しては、フィードバックは、モータ（又は他のアクチュエータ）の位置及び／又は移動量に対応する。プロセッサ１５２２は、プログラム１５３０を使用して、受信信号をデジタルフィードバックに翻訳して、例えば、対応するモータ又はアクチュエータシャフトの角度位置に基づいてレンズの半径方向位置、チルト位置、及び／又は軸方向位置を特定する。次に、プロセッサ１５２２は、ユーザへの表示のために及び／又は較正のために光学要素１４０２のレンズの位置を追跡するために、位置情報と共にメッセージを情報プロセッサモジュール１４０８に送信し得る。

【0168】

幾つかの実施形態では、モータ・照明モジュール１４０６は、光学要素１４０２内の個々のレンズの軸方向位置、チルト位置、及び／又は半径方向位置を変更する追加の駆動装置を含み得る。例えば、モータ・照明モジュール１４０６は、チルト及び／又は半径方向／軸方向調整のための光学画像センサ７４６及び７４８の屈曲部７５０及び７５２を作動させるモータを制御する駆動装置を含み得る。さらに、モータ・照明モジュール１４０６は、前部レンズ７２０及び７２２、前部ズームレンズ７２６及び７２８、後部ズームレンズ７３２及び７３４、レンズバレル７３６及び７３８、及び／又は最終光学要素７４５及び７４７を個々に、軸方向にｘ軸又はｙ軸に沿って及び／又は軸方向にチルト及び／又は調整するモータ（又はアクチュエータ）を制御する駆動装置を含み得る。レンズ及び／又はセンサの独立した調整により、例えば、モータ・照明コントローラ１５２０は画像欠陥を除去し、及び／又は左右画像を位置合わせすることができる。

【0169】

以下のセクションでは、プロセッサ１５５２がいかに、１つ又は複数のプログラム１５３０を実行して、作業距離、ズーム、フィルタ位置、レンズ位置、及び／又は光出力を偏向するかを説明する。

【0170】

１．一例の作業距離
図１５のモータ・照明モジュール１４０６の一例のプロセッサ１５２２は、立体視覚化カメラ３００の作業距離を調整するように構成される。作業距離は、後部作業距離レンズ７０４と前部作業距離レンズ４０８との間の距離を調整することにより設定される。プロセッサ１５２２は、後部作業距離レンズ７０４を前部作業距離レンズ４０８に対して移動させることにより距離を調整する。特に、プロセッサ１５２２は信号を後部作業距離レンズモータ駆動装置１５５２に送信し、この信号は、後部作業距離レンズ７０４を移動させる量に比例する所定の時間にわたり、作業距離レンズモータ１５５４をアクティブ化する。作業距離レンズモータ１５５４は、後部作業距離レンズ７０４を保持する摺動トラックに取り付けられたねじを通してリードねじを駆動する。作業距離レンズモータ１５５４は、レンズ７０４を所望の距離だけ移動させ、それにより、作業距離を調整する。作業距離レンズモータ１５５４は、フィードバック信号をプロセッサ１５２２に提供し得、プロセッサ１５２２は、後部作業距離レンズ７０４が所望量、移動したか否かを判断する。移動が所望未満又は所望を超える場合、プロセッサ１５２２は、後部作業距離レンズ７０４の位置を更に改良する命令を送信し得る。幾つかの実施形態では、情報プロセッサモジュール１４０８は、後部作業距離レンズ７０４のフィードバック制御を決定し得る。

【0171】

後部作業距離レンズ７０４の位置を特定するために、プロセッサ１５２２は１つ又は複数の較正プログラム１５３０を動作し得る。例えば、アクティブ化されると、プロセッサ１５２２は、運動範囲の一端部における限度スイッチをトリガーするまで、作業距離レンズモータ１５５４にリードねじを駆動して、後部作業距離レンズ７０４をトラック又はレールに沿って移動させるように命令し得る。プロセッサ１５２２は、モータ１５５４のエンコーダのゼロ点としてこの停止位置を示し得る。後部作業距離レンズ７０４の現在位置及び対応するエンコーダ値を知ることで、プロセッサ１５２２は、後部作業距離レンズ７０４を所望位置に移動させるためのシャフト回転数を特定することが可能になる。シャフト回転数はアナログ信号で作業距離レンズモータ１５５４に送信され（駆動装置１５５２を介して）、それに従ってレンズ７０４を指定された位置に移動させる。

【0172】

２．一例のズーム
図１５の一例のプロセッサ１５２２は、１つ又は複数のプログラム１５３０を実行して、立体視覚化カメラ３００のズームレベルを変更するように構成される。上述したように、ズーム（例えば、倍率変更）は、互いに対して並びに前部レンズセット７１４及びレンズバレルセット７１８に対して、前部ズームセット７２４及び後部ズームセット７３０の位置を変更することにより達成される。後部作業距離レンズ７０４について上述した較正手順と同様に、プロセッサ１５２２は、トラック又はレールに沿ったセット７２４及び７３０の位置を較正し得る。特に、プロセッサ１５２２は、後部ズームレンズモータ１５４６及び前部ズームレンズモータ１５５０にセット７２４及び７３０（例えば、キャリア）をレール（又は複数のレール）に沿って限度スイッチにおける停止位置まで移動させる命令を送信する。プロセッサ１５２２は、エンコーダフィードバックをモータ１５４６及び１５５０から受信して、セット７２４及び７３０の停止位置に関連するエンコーダ値を特定する。次にプロセッサ１５２２は、エンコーダ値をゼロにし、又は停止位置における既知のエンコーダ値を使用して、レールに沿ったセット７２４及び７３０の所望の位置を達成するために、モータ１５４６及び１５５０をどれくらいアクティブ化させるかを決定し得る。

【0173】

停止位置の較正に加えて、プロセッサ１５２２は、所望のズームレベルを達成するためのセット７２４及び７３０の位置を定義するプログラム１５３０を実行し得る。例えば、較正手順中、距離設定と１組の所望のズーム値との既知のパターンをプログラム１５３０（又はルックアップテーブル）として記憶し得る。較正手順は、テンプレートを標的部位７００に配置し、プロセッサ５２２に、特定の示されたマーカ又は文字が左右の画像又はフレームで特定のサイズになるまでセット７２４及び７３０を移動するように命令することを含み得る。例えば、較正ルーチンは、標的部位７００におけるテンプレート上の文字「Ｅ」が、１０ピクセル分の高さを有するものとして左右の画像に表示されるときに対応するレール上のセット７２４及び７３０の位置を特定し得る。

【0174】

幾つかの実施形態では、情報プロセッサモジュール１４０８は、視覚的分析を実行し、ズームイン又はズームアウトに望ましいセット７２４及び７３０の移動に関する命令をプロセッサ１５２２に送信し得る。加えて、情報プロセッサ１４０８は、所望のズームレベルにある標的部位７００が合焦されるように焦点面を移動させる命令を送信し得る。命令は、例えば、後部作業距離レンズ７０４を移動させる命令及び／又はセット７２４及び７３０を一緒に及び／又は個々に移動させる命令を含み得る。幾つかの代替の実施形態では、プロセッサ１５２２は、ユーザ入力デバイス１４１０又は別のコンピュータから、特定のズームレベルにおける前部ズームセット７２４及び後部ズームセット７３０のレール位置の較正パラメータを受信し得る。

【0175】

一例のプロセッサ１５２２及び／又は情報プロセッサモジュール１４０８は、倍率が変更された場合、画像が合焦したままであるような命令を送信し得る。プロセッサ１５２２は、例えば、プログラム１５３０及び／又はルックアップテーブルを使用して、標的部位７００へのフォーカスを維持するために、特定のレンズがいかに、光軸に沿って移動すべきかを決定し得る。プログラム１５３０及び／又はルックアップテーブルは、倍率レベル及び／又はレール上の設定ポイント及び焦点面を移動しないようにするために必要な対応するレンズ調整を指定し得る。

【0176】

以下の表２は、倍率を変更しながら、プロセッサ１５２２がフォーカスを維持するために使用し得る一例のプログラム１５３０又はルックアップテーブルを示す。前部ズームレンズセット７２４及び後部ズームレンズセット７３０の位置は、各セット７２４及び７３０の停止位置までのレールの長さに基づいて正規化される。倍率を下げるには、後部ズームレンズセットはレンズバレルセット７１８に向かって移動し、それにより、レールに沿った位置を増大させる。前部ズームレンズセット７２４も移動する。しかしながら、その移動は後部ズームレンズセット７３０の移動と必ずしも等しいものである必要はない。代わりに、前部ズームレンズセット７２４の移動は、倍率を変更しながら、フォーカスを維持するよう焦点面の位置を保持するように、セット７２４と７３０との間の距離変更を説明する。例えば、倍率レベルを１０Ｘから９Ｘに下げるには、プロセッサ１５２２は、後部ズームレンズセット７３０に位置１０から位置１１にレールに沿って移動するように命令する。加えて、プロセッサ１５２２は、前部ズームレンズセット７２４に位置５から位置４にレール（又はセット７３０と同じレール）に沿って移動するように命令する。倍率を変更するために、セット７２４及び７３０を移動させるのみならず、フォーカスを維持するために、セット７２４及び７３０は互いに対しても移動した。

【0177】

【表2】

【0178】

セット７２４及び７３０をいかに移動し得るかの一例を表２が提供することを理解されたい。他の例では、表２は、より精密な倍率及び／又はセット７２４及び７３０の位置を説明するための追加の行を含み得る。追加又は代替として、表２は、後部作業距離レンズ７０４の列を含み得る。例えば、後部作業距離レンズ７０４は、フォーカスを維持するために、前部ズームレンズセット７２４への代替又は追加として移動し得る。さらに、表２は、作業距離を変更しながらフォーカスを維持するセット７２４及び７３０並びに後部作業距離レンズ７０４の位置を指定する行を含み得る。

【0179】

表２中の値は、較正を通して決定し得、及び／又はリモートコンピュータ又はユーザ入力デバイス１４１０から受信し得る。較正中、情報プロセッサモジュール１４０８は、異なる倍率及び／又は作業距離を通して進む較正プログラム１５６０を動作し得る。情報プロセッサモジュール１４０８におけるプロセッサ１５６２は、画像自体の画像処理を実行し得、又は、ピクセルデータを受信して、例えば、所定の形状及び／又は文字を有するテンプレートを使用して、所望の倍率が達成されるときを判断し得る。プロセッサ１５６２は、受信した画像のピントが合っているか否かを判断する。画像がピンボケしているとの判断に応答して、プロセッサ１５６２は、前部ズームレンズセット７２４及び／又は後部作業距離レンズセット７０４を調整する命令をプロセッサ１５２２に送信する。調整は、プロセッサ１５６２により画像にピントが合っていると判断されるまでの光路に沿った前方向及び逆方向での反復移動を含み得る。画像にピントが合っていると判断するに、プロセッサ１５６２は、例えば、光の曖昧さが最小である画像を探し、及び／又は隣接するピクセル領域間の光の値の差（差が大きいほど、よりピントが合った画像に対応する）についてピクセルデータを分析する画像分析を実行し得る。所望の作業距離及び倍率で画像にピントが合っていると判断された後、プロセッサ１５６２及び／又はプロセッサ１５２２は次に、セット７２４及び７３０及び／又は後部作業距離レンズ７０４の位置及び対応する倍率レベルを記録し得る。

【0180】

３．一例のフィルタ位置
図１５のモータ・照明モジュール１４０６の一例のプロセッサ１５２２は、受信した命令に基づいてフィルタ７４０を左右の光路に移動させるように構成される。幾つかの例では、フィルタ７４０はミラーアレイを含み得る。これらの例では、プロセッサ１５２２は、１つ又は複数のモータ１５４２を作動させて、ミラーの位置を変更する命令をフィルタモータ駆動装置１５４０に送信する。幾つかの場合、駆動装置１５４０は、１つ又は複数の経路に沿ってフィルタ７４０に電荷を送信し、特定のミラー要素をオン又はオフ位置に切り替えさせ得る。これらの例では、フィルタタイプ選択は一般に、どのミラーを作動するかに二元的に基づく。

【0181】

他の例では、フィルタ７４０は、赤外線遮断フィルタ、近赤外線バンドパスフィルタ、及び近紫外線遮断フィルタ等の異なるタイプのフィルタを有するホィールを含み得る。これらの例では、ホィールはフィルタモータ１５４２により回転される。プロセッサ１５２２は、異なるフィルタのパーテーションに対応するホィールの停止位置を決定する。プロセッサ１５２２はまた、各停止位置に対応するロータリエンコーダ値も決定する。

【0182】

プロセッサ１５２２は較正プログラム１５３０を動作し得、及び／又はプロセッサ１５６２は較正プログラム１５６０を動作して、停止位置を決定し得る。例えば、プロセッサ１５２２は、フィルタホィール７４０をゆっくりと回転し得、プロセッサ１５６２は、ピクセルにおいて受け取られる光が変わるときを判断する（画像分析を使用して又は画像捕捉モジュール１４０４からピクセルデータを読み出して）。ピクセルにおける光値の変化は、光路に適用されているフィルタタイプの変更を示す）。幾つかの場合、プロセッサ１５２２は、どの光源７０８がアクティブ化されているかを変更し得、異なるフィルタタイプが適用される場合、ピクセルにおける更なる区別を生み出す。

【0183】

４．一例の光制御及びフィルタ
先に開示したように、プロセッサ１５２２は、フィルタ７４０と併せて光源７０８を制御して、所望の波長の光を光学画像センサ７４６及び７４８に到達させ得る。幾つかの例では、プロセッサ１５２２は、光源７０８の１つ又は複数のアクティブ化とフィルタ７４０の１つ又は複数のアクティブ化との間のタイミングを制御又は同期し得る。タイミングを同期するために、プログラム１５３０は、特定のフィルタをアクティブ化する遅延時間を指定し得る。プロセッサ１５２２はプログラム１５３０を使用して、例えば、光源７０８をオンにする信号の送信と相対して、フィルタ７４０をアクティブ化する信号をいつ送信するかを決定する。スケジュールされたタイミングは、指定された光源７０８がアクティブ化される場合、適切なフィルタ７４０が適用されることを保証する。そのような構成により、ある光源７０８により強調表示された特徴（蛍光等）を、白色光又は周囲光等の第２の光源７０８下で表示される特徴の上に又は特徴と併せて表示することができる。

【0184】

幾つかの場合、光源７０８は、光フィルタ７４０を変更し得る速度ほど高速に切り替え得、それにより、異なる光で記録された画像を併せて、互いの上に表示できるようにする。例えば、蛍光を発する（染料又は造影剤の投与に起因して）静脈又は他の解剖学的構造は、周囲照明下の画像の上に表示し得る。この例では、静脈は、可視光で示される背景の解剖学的特徴に対して強調表示される。この場合、情報プロセッサモジュール１４０８のプロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４（例えば、ビデオカード又はグラフィックスカード）は、あるフィルタの適用中に記録された１つ又は複数の画像を、後続フィルタの適用中に記録された画像と結合し、又は重ね得る。

【0185】

幾つかの実施形態では、プロセッサ１５２２は、複数の光源７０８を同時にアクティブ化し得る。光源７０８は同時又は順次アクティブ化されて、異なる波長の光を「インターリーブ」し、光学画像センサ７４６及び７４８における適切なピクセルを使用して異なる情報を抽出できるようにする。光源を同時にアクティブ化することは、暗視野の照明に役立ち得る。例えば、幾つかの用途は、ＵＶ光を使用して、標的部位７００における蛍光を刺激する。しかしながら、ＵＶ光はオペレータにより非常に暗く知覚される。したがって、プロセッサ１５２２は、ＵＶ光に感度を有するが、幾らかの可視光を検出することもできるピクセルを圧倒せずに外科医が視野を観測できるように、可視光源１５３８を周期的にアクティブ化して、幾らかの可視光を視野に追加し得る。別の例では、複数の光源７０８を交互にすることにより、幾つかの場合、レンジの縁部で重複する感度を有する光学画像センサ７４６及び７４８のピクセルのウォッシュアウトが回避される。

【0186】

５．光強度制御
図１５の一例のプロセッサ１５２２は、１つ又は複数のプログラム１５３０を実行して、光源７０８により提供される照明レベルの強度を変更するように構成される。被写界深度が標的部位７００における照明レベルに依存することを理解されたい。一般に、高い照明ほど大きな被写界深度を提供する。プロセッサ１５２２は、視野をウォッシュアウト又は過熱せずに、所望の被写界深度に適切な量の照明が提供されることを保証するように構成される。

【0187】

可視光源７０８ａは、可視光駆動装置１５３８により駆動され、スペクトルの人間可視部分の光及びその領域外の幾らかの光を出力する。ＮＩＲ光源７０８ｂはＮＩＲ光駆動装置１５３６により駆動され、主に、近赤外線と呼ばれる波長の光を出力する。ＮＵＶ光源７０８ｃはＮＵＶ光駆動装置１５３４により駆動され、主に、近紫外線と呼ばれる、可視スペクトルの藍色部分の波長の光を出力する。各光駆動装置１５３４、１５３６、及び１５３８は、プロセッサ１５２２により提供されるコマンドにより制御される。光源７０８の各出力スペクトルの制御は、ＰＷＭ信号により達成され、制御電圧又は電流は最小（例えば、オフ）値と最大（例えば、オン）値との間で切り替えられる。光源７０８から出力される光の輝度は、切り替え率及び電圧又は電流がＰＷＭ信号のサイクル毎の最大レベルにある時間の割合を変更することにより制御される。

【0188】

幾つかの例では、プロセッサ１５２２は、視野のサイズ又はズームレベルに基づいて光源７０８の出力を制御する。プロセッサ１５２２は、光強度がズームの関数になる特定の光の感度設定を指定するプログラム１５３０を実行し得る。プログラム１５３０は、例えば、ズームレベルを光強度値に相関付けるルックアップテーブルを含み得る。プロセッサ１５２２は、プログラム１５３０を使用して、選択された倍率レベルに基づいて光源７０８のＰＷＭ信号を選択する。幾つかの例では、プロセッサ１５２２は、倍率が上げられるにつれて光強度を低減して、単位面積当たりで視野に提供される光量を維持し得る。

【0189】

Ｃ．一例の情報プロセッサモジュール
図１５の立体視覚化カメラ３００内の一例の情報プロセッサモジュール１４０８は、表示のために画像捕捉モジュール１４０４から受信した画像／フレームを分析し処理するように構成される。加えて、情報プロセッサモジュール１４０８は、異なるデバイスとインターフェースし、制御命令を画像捕捉モジュール１４０４及び／又はモータ・照明モジュール１４０６へのメッセージに翻訳するように構成される。情報プロセッサモジュール１４０８はまた、手動較正用のインターフェースを提供し、及び／又は光学要素１４０２の自動較正を管理し得る。

【0190】

図１５に示されるように、情報プロセッサモジュール１４０８は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６に通信可能及び／又は電気的に結合される。例えば、通信チャネル１５１４は通信チャネル１５６６及び１５６８に加えて、ＵＳＢ２．０又はＵＳＢ３．０接続を含み得る。したがって、情報プロセッサモジュール１４０８は、モジュール１４０４及び１４０６への電力を調整し提供する。幾つかの実施形態では、情報プロセッサモジュール１４０８は、壁のコンセントからの１１０ボルト交流電流（「ＡＣ」）電力をモジュール１４０４及び１４０６用の５ボルト、１０ボルト、１２ボルト、及び／又は２４ボルト直流電流（「ＤＣ」）供給に変換する。追加又は代替として、情報プロセッサモジュール１４０８は、立体視覚化カメラ３００の筐体３０２内部の電池及び／又はカート５１０における電池から電力を受け取る。

【0191】

一例の情報プロセッサモジュール１４０８は、画像捕捉モジュール１４０４及びモータ・照明モジュール１４０６と双方向通信するための通信インターフェース１５３２を含む。情報プロセッサモジュール１４０８は、１つ又は複数のプログラム１５６０を実行して、画像捕捉モジュール１４０４から受信した画像／フレームを処理するように構成されたプロセッサ１５６２も含む。プログラム１５６０はメモリ１５７０に記憶し得る。加えて、プロセッサ１５６２は、光学要素１４０２の較正を実行し、及び／又は光学要素１４０２を調整して、右画像及び左画像を位置合わせし、及び／又は視覚的結果を除去し得る。

【0192】

画像及び／又はフレームを処理して、レンダリングされる三次元立体表示するために、一例の情報プロセッサモジュール１４０８はグラフィックス処理ユニット１５６４を含む。図１６は、本開示の実施形態例によるグラフィックス処理ユニット１５６４の図を示す。動作中、プロセッサ１５６２は画像及び／又はフレームを画像捕捉モジュール１４０４から受信する。アンパックルーチン１６０２が、画像／フレームを、通信チャネル１５１４にわたる伝送に貢献するフォーマットから画像処理に貢献するフォーマットに変換又は他の方法で変更する。例えば、画像及び／又はフレームは、複数のメッセージにおいて通信チャネル１５１４にわたり伝送し得る。一例のアンパックルーチン１６０２は、複数のメッセージからのデータを結合して、フレーム／画像を再度組み立てる。幾つかの実施形態では、アンパックルーチン１６０２は、グラフィックス処理ユニット１５６４により要求されるまで、フレーム及び／又は画像をキューに配置し得る。他の例では、プロセッサ１５６２は、左右の画像／フレーム対のそれぞれを完全に受信しアンパックした後、送信し得る。

【0193】

一例のグラフィック処理ユニット１５６４は、１つ又は複数のプログラム１５８０（図１５に示される）を使用して、レンダリングに向けて画像を準備する。プログラム１５８０の例を図１５及び図１６に示す。プログラム１５８０は、グラフィックス処理ユニット１５６４のプロセッサにより実行し得る。代替的には、図１６に示される各プログラム１５８０は、別個のグラフィックスプロセッサ、マイクロコントローラ、及び／又は特定用途向け集積回路（「ＡＳＩＣ」）により実行し得る。例えば、デベイヤープログラム１５８０ａは、近傍ピクセルにわたりピクセル値を平滑化又は平均して、図７及び図８の左右の光学画像センサ７４６及び７４８のピクセルグリッド１００２及び１００４に適用されるベイヤーパターンを補償するように構成される。グラフィックス処理ユニット１５６４は、色補正及び／又はホワイトバランス調整のプログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄを含むこともできる。グラフィックス処理ユニット１５６４は、ディスプレイモニタ５１２及び５１４への表示に向けて、色補正された画像／フレームを準備するレンダラープログラム１５８０ｅも含む。グラフィックス処理ユニット１５６４は、周辺入力ユニットインターフェース１５７４と更に対話し、及び／又はそれを含み得、周辺入力ユニットインターフェース１５７４は、標的部位７００の立体表示と共に提示する他の画像及び／又はグラフィックスを結合、融合、又は他の方法で含むように構成される。プログラム１５８０及び情報プロセッサモジュール１４０８の更なる詳細についてより一般に以下で考察する。

【0194】

一例の情報プロセッサモジュール１４０８は、１つ又は複数のプログラム１５６２を実行して、立体視覚化カメラ３００の待ち時間をチェックし改善し得る。待ち時間は、標的部位７００においてイベントが生じ、その同じイベントをディスプレイモニタ５１２及び５１４に表示するのにかかる時間量を指す。低待ち時間は、立体視覚化カメラ３００が外科医の目の延長である感じを提供し、一方、高待ち時間は、顕微鏡外科処置から注意を逸らす傾向がある。一例のプロセッサ１５６２は、読み出された画像に基づいて結合された立体画像が、表示に向けて送信されるまで、光学画像センサ７４６及び７４８から読み出し中の画像間でどれくらいの時間が経過するかを追跡し得る。高待ち時間の検出は、プロセッサ１５６２にキュー時間を低減させ、フレームレートを増大させ、及び／又は幾つかの色補正ステップをスキップさせ得る。

【0195】

１．一例のユーザ入力
図１５の情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、ユーザ入力命令をモータ・照明モジュール１４０６及び／又は画像捕捉モジュール１４０２へのメッセージに変換するように構成される。ユーザ入力命令は、倍率レベル、作業距離、焦点面（例えば、フォーカス）の高さ、光源７０８、及び／又はフィルタ７４０のフィルタタイプを含む立体視覚化カメラ３００の光学態様を変更する要求を含み得る。ユーザ入力命令は、ピントが合っている画像の表示、及び／又は画像位置合わせの表示、及び／又は左画像と右画像との間で位置合わせされたＺＲＰの表示を含め、較正を実行する要求を含むこともできる。ユーザ入力命令は、フレームレート、露出時間、色補正、画像分解能等の立体視覚化カメラ３００のパラメータへの調整を更に含み得る。

【0196】

ユーザ入力命令は、ユーザ入力デバイス１４１０から受信し得、ユーザ入力デバイス１４１０は、図３の制御アーム３０４の制御機構３０５及び／又は遠隔制御機構を含み得る。ユーザ入力デバイス１４１０は、コンピュータ、タブレットコンピュータ等を含むこともできる。幾つかの実施形態では、命令は、ネットワークインターフェース１５７２及び／又は周辺入力ユニットインターフェース１５７４を介して受信される。他の実施形態では、命令は、有線接続及び／又はＲＦインターフェースから受信し得る。

【0197】

一例のプロセッサ１５６２は、命令タイプを決定し、ユーザ入力がいかに処理されるべきかを決定するプログラム１５６０を含む。一例では、ユーザは、制御機構３０５のボタンを押下して、倍率レベルを変更し得る。オペレータが立体視覚化カメラ３００を所望の倍率レベルに到達させるまでボタンを押下し続ける。これらの例では、ユーザ入力命令は、例えば、倍率レベルを増大すべきであることを示す情報を含む。受信される各命令で（又は命令を示す信号が受信された各時間期間で）、プロセッサ１５６２は、倍率の変更を示す制御命令をモータ・照明プロセッサ１４０６に送信する。プロセッサ１５２２は、プログラム１５３０から、例えば、表２を使用して、ズームレンズセット７２４及び７３０を移動させる量を決定する。それに従ってプロセッサ１５２２は、信号又はメッセージを後部ズームレンズモータ駆動装置１５４４及び／又は前部ズームレンズモータ駆動装置１５４８に送信して、後部ズームレンズモータ１５４６及び／又は前部ズームレンズモータ１５５０に、プロセッサ１５６２により指定された量だけ後部ズームレンズセット７３０及び／又は前部ズームレンズセット７２４を移動させて、所望の倍率レベルを達成する。

【0198】

上記例では、立体視覚化カメラ３００が、ユーザ入力に基づいて変更を提供するが、フォーカス及び／又は高画質を維持するように自動調整も行うことを理解されたい。例えば、倍率レベルを単に変更する代わりに、プロセッサ１５２２はまた、フォーカスを維持するために、ズームレンズセット７２４及び７３０をいかに移動させるべきかを決定し、それにより、オペレータがこのタスクを手動で実行する必要があることから救う。加えて、プロセッサ１５６２は、リアルタイムで、倍率レベルが変更される場合、左右画像内のＺＲＰを調整及び／又は位置合わせし得る。これは、例えば、図１０のピクセルグリッド１００２及び１００４に関してピクセルセット１００６及び１００８の位置を選択又は変更することにより行い得る。

【0199】

別の例では、プロセッサ１５６２は、フレームレートを変更する命令をユーザ入力デバイス１４１０から受信し得る。プロセッサ１５６２は、メッセージを画像捕捉モジュール１４０４のプロセッサ１５０４に送信する。そして、プロセッサ１５０４は、新しいフレームレートを示すものを右画像センサ７４６及び左画像センサ７４８のレジスタに書き込む。プロセッサ１５０４はまた、新しいフレームレートで内部レジスタを更新して、ピクセルが読み出されるペースを変更することもできる。

【0200】

更に別の例では、プロセッサ１５６２は、ＺＲＰの較正ルーチンを開始する命令をユーザ入力デバイス１４１０から受信し得る。これに応答して、プロセッサ１５６２は、較正をいかに動作させるべきかを指定するプログラム１５６０を実行し得る。プログラム１５６０は、例えば、画質を検証するルーチンに加えて、倍率レベル及び／又は作業距離の進行又は反復を含み得る。ルーチンは、各倍率レベルで、ＺＲＰに加えてフォーカスを検証すべきであることを指定し得る。ルーチンはまた、ピントの合った画像を達成するように、ズームレンズセット７２４及び７３０及び／又は後部作業距離レンズ７０４をいかに調整すべきかを指定することもできる。ルーチンは、右画像及び左画像のＺＲＰを倍率レベルでいかにセンタリングすべきかを更に指定し得る。プログラム１５６０は、画質が検証されると、ピクセルセット１００６及び１００８の位置及び対応する倍率レベルに加えて、ズームレンズセット７２４及び／又は７３０及び／又は後部作業距離レンズ７０４の位置を記憶し得る（ルックアップテーブルに）。したがって、同じ倍率レベルが後に要求される場合、プロセッサ１５６２はルックアップテーブルを使用して、モータ・照明モジュール１４０６へのズームレンズセット７２４及び／又は７３０及び／又は後部作業距離レンズ７０４の位置及び画像捕捉モジュール１４０４へのピクセルセット１００６及び１００８の位置を指定する。幾つかの較正ルーチンでは、光学要素１４０２のレンズの少なくとも幾つかが、ＺＲＰをセンタリングし、及び／又は左右画像を位置合わせするように半径方向／回転方向において調整し、及び／又はチルトし得ることを理解されたい。

【0201】

２．一例のインターフェース
立体視覚化カメラ３００と外部デバイスとの通信を促進するために、一例の情報プロセッサモジュール１４０８は、ネットワークインターフェース１５７２及び周辺入力ユニットインターフェース１５７４を含む。一例のネットワークインターフェース１５７２は、リモートデバイスを情報プロセッサモジュール１４０８に通信可能に結合して、例えば、記録されたビデオを記憶し、作業距離、ズームレベル、フォーカス、較正、又は立体視覚化カメラ３００の他の特徴を制御できるようにするよう構成される。幾つかの実施形態では、リモートデバイスは、ルックアップテーブルを較正する値若しくはパラメータを提供し得、又はより一般には、較正パラメータを有するプログラム１５３０を提供し得る。ネットワークインターフェース１５７２は、Ｅｔｈｅｒｎｅｔインターフェース、ローカルエリアネットワークインターフェース、及び／又はＷｉ−Ｆｉインターフェースを含み得る。

【0202】

一例の周辺入力ユニットインターフェース１５７４は、１つ又は複数の周辺機器１５７６に通信可能に結合し、患者の生理学的データ等の周辺データを立体画像データと統合するのを促進するように構成される。周辺入力ユニットインターフェース１５７４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）インターフェース、ＵＳＢインターフェース、ＨＤＭＩインターフェース、ＳＤＩ等を含み得る。幾つかの実施形態では、周辺入力ユニットインターフェース１５７４は、ネットワークインターフェース１５７２と結合し得る。

【0203】

周辺機器１５７６は、例えば、データ又はビデオ記憶ユニット、患者生理学的センサ、医療撮像デバイス、輸液ポンプ、透析装置、及び／又はタブレットコンピュータ等を含み得る。周辺データは、専用二次元赤外線専用カメラからの画像データ、ユーザのラップトップコンピュータからの診断画像、及び／又はＡｌｃｏｎ Ｃｏｎｓｔｅｌｌａｔｉｏｎ（登録商標）システム及びＷａｖｅＴｅｃ Ｏｐｔｉｗａｖｅ Ｒｅｆｒａｃｔｉｖｅ Ａｎａｌｙｓｉｓ（ＯＲＡ（商標））システム等の眼科デバイスからの画像又は患者診断テキストを含み得る。

【0204】

一例の周辺入力ユニットインターフェース１５７４は、周辺機器１５７６からのデータを立体画像との併用に適切なデジタル形態に変換及び／又はフォーマットするように構成される。デジタル形態になると、グラフィックス処理ユニット１５６４は、周辺データを他のシステムデータ及び／又は立体画像／フレームと統合する。データは、ディスプレイモニタ５１２及び／又は５１４に表示するように立体画像と共にレンダリングされる。

【0205】

立体画像への周辺データの包含を構成するために、プロセッサ１５６２は統合セットアップを制御し得る。一例では、プロセッサ１５６２は、グラフィックス処理ユニット１５６４に構成パネルをディスプレイモニタ５１２及び／又は５１４に表示させ得る。構成パネルは、オペレータが周辺機器１５７６をインターフェース１５７４及びプロセッサ１５６２に接続して、続けて、機器１５７６との通信を確立できるようにし得る。プロセッサ１５６４は次に、どのデータが利用可能かを読み出し得、又はオペレータが構成パネルを使用して、データディレクトリロケーションを選択できるようにし得る。ディレクトリロケーション内の周辺データは、構成パネルに表示される。構成パネルはまた、オペレータに、周辺データを立体画像データに重ねる又は別個のピクチャとして表示する選択肢を提供することもできる。

【0206】

周辺データ（及びオーバーレイフォーマット）の選択は、プロセッサ１５６２にデータを読み出させ、グラフィックス処理ユニット１５６４に送信させる。グラフィックス処理ユニット１５６４は、オーバーレイグラフィック（リアルタイム立体画像との術前画像又はグラフィックスの融合等）、「ピクチャインピクチャ」、及び／又はメイン立体画像ウィンドウの横又は上のサブウィンドウとして提示するために周辺データを立体画像データに適用する。

【0207】

３．一例のデベイヤープログラム
図１６の一例のデベイヤープログラム１５８０ａは、あらゆるピクセル値の赤色、緑色、及び青色の値を有する画像及び／又はフレームを生成するように構成される。上述したように、右光学画像センサ７４６及び左光学画像センサ７４８のピクセルは、赤色波長範囲、青色波長範囲、又は緑色波長範囲の光を透過するフィルタを有する。したがって、各ピクセルは光データの一部のみを含む。したがって、画像捕捉モジュール１４０４から情報プロセッサモジュール１４０８において受信される各画像及び／又はフレームは、赤色、青色、又は緑色ピクセルデータのいずれかを含むピクセルを有する。

【0208】

一例のデベイヤープログラム１５８０ａは、隣接及び／又は近傍ピクセルの赤色、青色、及び緑色ピクセルデータを平均して、各ピクセルのより完全な色データを特定するように構成される。一例では、赤色データを有するピクセル及び青色データを有するピクセルは、緑色データを有する２つのピクセル間に配置される。２つのピクセルの緑色ピクセルデータは平均され、赤色データを有するピクセル及び青色データを有するピクセルに割り当てられる。幾つかの場合、平均された緑色データは、各緑色ピクセルからの赤色データを有するピクセル及び青色データを有するピクセルの距離に基づいて加重し得る。較正後、元々赤色又は青色データのみを有するピクセルはここで、緑色データを含む。したがって、デベイヤープログラム１５８０ａがグラフィックス処理ユニット１５６４により実行された後、各ピクセルは、赤色光、青色光、及び緑色光の量についてのピクセルデータを含む。異なる色のピクセルデータはブレンドされて、色スペクトルでの結果としての色を決定し、これは表示のためにレンダラープログラム１５８０ｅ及び／又はディスプレイモニタ５１２及び５１４により使用し得る。幾つかの例では、デベイヤープログラム１５８０ａは、結果色を決定し、色を示すデータ又は識別子を記憶し得る。

【0209】

４．一例の色補正
一例の色補正プログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄは、ピクセル色データを調整するように構成される。センサ色補正プログラム１５８０ｂは、光学画像センサ７４６及び７４８の色検知における変動性を説明又は調整するように構成される。ユーザ色補正プログラム１５８０ｃは、オペレータの知覚及びフィードバックに基づいてピクセル色データを調整するように構成される。さらに、ディスプレイ色補正プログラム１５８０ｄは、ディスプレイモニタタイプに基づいてピクセル色データを調整するように構成される。

【0210】

センサ変動性について色を補正するために、一例の色補正プログラム１５８０ｂは、グラフィックス処理ユニット１５６４及び／又はプロセッサ１５６２により実行可能な較正ルーチンを指定する。センサ較正は、Ｘ−Ｒｉｔｅ，Ｉｎｃ．によるＣｏｌｏｒＣｈｅｃｋｅｒ（登録商標）Ｄｉｇｉｔａｌ ＳＧ等の較正されたカラーチャートを標的部位７００に配置することを含む。プロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４はプログラム１５８０ｂを実行し、プログラム１５８０ｂは、カラーチャートの左右画像を記録する命令を画像捕捉モジュール１４０４に送信することを含む。左右画像からのピクセルデータ（デベイヤープログラム１５８０ａによる処理後）は、ネットワークインターフェース１５７２を介して周辺ユニット１５７６及び／又はリモートコンピュータからメモリ１５７０に記憶し得るカラーチャートに関連するピクセルデータと比較し得る。プロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４は、ピクセルデータ間の差を特定する。差は較正データ又はパラメータとしてメモリ１５７０に記憶される。センサ色補正プログラム１５８０ｂは、較正パラメータを続く左右画像に適用する。

【0211】

幾つかの例では、差は、プログラム１５８０ｂが、光学画像センサ７４６及び７４８の全てのピクセルにグローバルに適用されて、可能な限りカラーチャートに近い色を生成することができる色補正データの最良適合を見つけるように、ピクセルの領域にわたり平均し得る。追加又は代替として、プログラム１５８０ｂは、ユーザ入力デバイス１４１０から受信したユーザ入力命令を処理して、色を補正し得る。命令は、オペレータの好みに基づいて、赤色、青色、及び緑色ピクセルデータへの局所的及び／又は大域的変更を含み得る。

【0212】

一例のセンサ色補正プログラム１５８０ｂは、ホワイトバランスを補正するようにも構成される。一般に、白色光は、等しい値を有する赤色、緑色、及び青色ピクセルを生成するはずである。しかしながら、ピクセル間の差が、撮像中に使用される光の色温度、各ピクセルのフィルタ及び検知要素の固有の側面、及び例えば、図７及び図８の偏向要素７１２のスペクトル濾波パラメータから生じ得る。一例のセンサ色補正プログラム１５８０ｂは、光不均衡を補正する較正ルーチンを指定するように構成される。

【0213】

ホワイトバランスを実行するために、プロセッサ１５６２は（プログラム１５８０ｂからの命令に従って）、オペレータがニュートラルカードを標的部位７００に配置する命令をディスプレイモニタ５１２及び／又は５１４に表示し得る。次に、プロセッサ１５６２は、画像捕捉モジュール１４０４にニュートラルカードの１つ又は複数の画像を記録するように命令し得る。アンパックルーチン１６０２及びデベイヤープログラム１５８０ａによる処理後、プログラム１５８０ｂは、各ピクセルが略等しい値の赤色、青色、及び緑色データを有するように、赤色、青色、及び緑色データのそれぞれの局所的及び／又は大域的ホワイトバランス較正重み値を決定する。ホワイトバランス較正重み値はメモリ１５７０に記憶される。動作中、グラフィックス処理ユニット１５６４は、プログラム１５８０ｂを使用して、ホワイトバランス較正パラメータを適用して、ホワイトバランスを提供する。

【0214】

幾つかの例では、プログラム１５８０ｂは、右光学画像センサ７４６及び左光学画像センサ７４８で個々にホワイトバランス較正パラメータを決定する。これらの例では、プログラム１５８０ｂは、左画像及び右画像に別個の較正パラメータを記憶し得る。他の場合、センサ色補正プログラム１５８０ｂは、カラーピクセルデータが右光学画像センサ７４６及び左光学画像センサ７４８で略同一であるように右ビューと左ビューとの間の重みを決定する。決定された重みは、立体視覚化カメラ３００の動作中、続けて使用するために、ホワイトバランス較正パラメータに適用し得る。

【0215】

幾つかの実施形態では、図１６のセンサ色補正プログラム１５８０ｂは、ホワイトバランス較正パラメータをデジタル利得として右光学画像センサ７４６及び左光学画像センサ７４８のピクセルに提供すべきであることを指定する。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、デジタル利得を各ピクセルから読み出されたピクセルデータに適用する。他の実施形態では、ホワイトバランス較正パラメータは、各ピクセルの色検知要素のアナログ利得として適用すべきである。

【0216】

一例のセンサ色補正プログラム１５８０ｂは、異なる光源７０８及び／又はフィルタタイプのフィルタ７４０がアクティブ化される場合、ホワイトバランス及び／又は色補正を実行し得る。その結果、メモリ１５７０は、どの光源７０８が選択されたかに基づいて異なる較正パラメータを記憶し得る。さらに、センサ色補正プログラム１５８０ｂは、ホワイトバランス及び／又は色補正を異なるタイプの外光に関して実行し得る。オペレータは、ユーザ入力デバイス１４１０を使用して、外部光源の特性及び／又はタイプを指定し得る。この較正により、立体視覚化カメラ３００は、異なる照明環境での色補正及び／又はホワイトバランスを提供することができる。

【0217】

一例のプログラム１５８０ｂは、各光学画像センサ７４６及び７４８に対して較正を別個に実行するように構成される。したがって、プログラム１５８０ｂは、動作中、異なる較正パラメータを左右の画像に適用する。しかしながら、幾つかの例では、較正は、一方のセンサ７４６又は７４８のみで実行されてもよく、較正パラメータは他方のセンサに使用される。

【0218】

一例のユーザ色補正プログラム１５８０ｃは、輝度、コントラスト、ガンマ、色合い、及び／又は飽和等の画質パラメータに関するオペレータ提供フィードバックを要求するように構成される。フィードバックは、ユーザ入力デバイス１４１０から命令として受信し得る。ユーザにより行われる調整は、メモリ１５７０にユーザ較正パラメータとして記憶される。これらのパラメータは続けて、光学画像線さ７４６及び７４８の色補正後、ユーザ色補正プログラム１５８０ｃにより左右の光学画像に適用される。

【0219】

図１６の一例のディスプレイ色補正プログラム１５８０ｄは、例えば、Ｄａｔａｃｏｌｏｒ（登録商標）Ｓｐｙｄｅｒカラーチェッカを使用してディスプレイモニタに関して画像の色を補正するように構成される。プログラム１５８０ｄは、プログラム１５８０ｂと同様に、画像捕捉モジュール１４０４に、標的シーン７００における表示色温度の画像を記録するように命令する。ディスプレイ色補正プログラム１５８０ｄは、ルーチンを動作させて、メモリ１５７０内のルックアップテーブルに記憶された予期されるディスプレイ出力に合うようにピクセルデータを調整する。調整されたピクセルデータは、ディスプレイ較正パラメータをメモリ１５７０に記憶し得る。幾つかの例では、カメラ又は他の撮像センサを周辺入力ユニットインターフェース１５７４に接続し得、周辺入力ユニットインターフェース１５７４は、ディスプレイモニタ５１２及び５１４から記録された色に関する画像又は他のフィードバックを提供し、画像又は他のフィードバックは、ピクセルデータの調整に使用される。

【0220】

５．一例の立体画像ディスプレイ
図１６のグラフィックス処理ユニット１５６４の一例のレンダラープログラム１５８０ｅは、三次元立体表示に向けて左右画像及び／又はフレームを準備するように構成される。左右画像のピクセルデータがプログラム１５８０ｂ、１５８０ｃ、及び１５８０ｄにより色補正された後、レンダラープログラム１５８０ｅは、左目及び右目データを立体表示に適したフォーマットにし、ディスプレイモニタ５１２又は５１４の一方に送信するために、最終的にレンダリングされたものを出力バッファに配置するように構成される。

【0221】

一般に、レンダラープログラム１５８０ｅは、右画像及び／又はフレーム及び左画像及び／又はフレームを受信する。レンダラープログラム１５８０ｅは、右及び左の画像及び／又はフレームを結合して、１つのフレームにする。幾つかの実施形態では、プログラム１５８０ｅは、上下モードで動作し、左画像データを半分の高さに凝縮する。次に、プログラム１５８０ｅは、凝縮された左画像データを結合フレームの上半分に配置する。同様に、プログラム１５８０ｅは、右画像データを半分の高さに凝縮し、凝縮された右画像データを結合フレームの下半分に配置する。

【0222】

他の実施形態では、レンダラープログラム１５８０ｅは横並びモードで動作し、左右の各画像は半分の幅に凝縮され、左画像データが画像の左半分に提供され、一方、右画像データが画像の右半分に提供されるように１つの画像に結合される。更に代替の実施形態では、レンダラープログラム１５８０ｅは、行インターリーブモードで動作し、左右フレーム内の１つ置きのラインは破棄される。左右フレームは一緒に結合されて、完全な立体画像を形成する。

【0223】

一例のレンダラープログラム１５８０ｅは、結合された左右画像を接続された各ディスプレイモニタに別個にレンダリングするように構成される。例えば、両ディスプレイモニタ５１２及び５１４が接続される場合、レンダラープログラム１５８０ｅは、第１の結合立体画像をディスプレイモニタ５１２に向けてレンダリングし、第２の結合立体画像をディスプレイモニタ５１４に向けてレンダリングする。レンダラープログラム１５８０ｅは、ディスプレイモニタ及び／又は画面のタイプ及び／又は画面サイズと互換性があるように、第１及び第２の結合立体画像をフォーマットする。

【0224】

幾つかの実施形態では、レンダラープログラム１５８０ｅは、ディスプレイモニタが立体データをいかに表示すべきかに基づいて画像処理モードを選択する。オペレータの脳による立体画像データの適切な解釈には、立体画像の左目データがオペレータの左目に伝達され、立体画像の右目データがオペレータの右目に伝達される必要がある。一般に、ディスプレイモニタは、第１の偏光を左目データに提供し、第２の逆の偏光を右目データに提供する。したがって、結合された立体画像は、ディスプレイモニタの偏光に一致しなければならない。

【0225】

図１７は、本開示の実施形態例によるディスプレイモニタ５１２の一例を示す。ディスプレイモニタ５１２は、例えば、画面１７０２を有するＬＧ（登録商標）５５ＬＷ５６００三次元テレビジョンであり得る。一例のディスプレイモニタ５１２は、全ての奇数行１７０４が第１の偏光を有し、全ての偶数行１７０６が逆の偏光を有するように画面１７０２上に偏光フィルムを使用する。図１７に示されるディスプレイモニタ５１２との互換性のために、レンダラープログラム１５８０ｅは、左右の画像データが交互のラインにあるような行インターリーブモードを選択する必要がある。幾つかの場合、レンダラープログラム１５８０ｅは、立体画像を準備する前、ディスプレイモニタ５１２の表示特性を要求（又は他の方法で受信）し得る。

【0226】

画面１７０２に表示された立体画像を見るために、外科医５０４（図５から外科医を想起する）は、行１７０４の第１の偏光に一致する第１の偏光を含む左レンズ１７１４を含むメガネ１７１２を装着する。加えて、メガネ１７１２は、行１７０６の第２の偏光に一致する第２の偏光を含む右レンズ１７１６を含む。したがって、左レンズ１７１４は、左行１７０４からの左画像データからの光のみの大半を透過させながら、右画像データからの光の大半をブロックする。加えて、右レンズ１７１６は、右行１７０６からの右画像データからの光のみの大半を透過させながら、左画像データからの左の大半をブロックする。各目に到達する「誤った」ビューからの光の量は、「クロストーク」として知られ、一般に、快適な閲覧を可能にするのに十分に低い値に保持される。したがって、外科医５０４は、左目で左光学画像センサ７４８により記録された左画像データを見ながら、右目で右光学画像センサ７４６により記録された右画像データを見る。外科医の脳は２つのビューを一緒に融合して、三次元距離及び／又は奥行きの知覚を作り出す。さらに、そのようなディスプレイモニタの使用は、立体視覚化カメラ３００の精度を観測するのに有利である。外科医又はオペレータがメガネを装着しない場合、左右の両ビューは両目で観測可能である。平らな標的が焦点面に配置される場合、２つの画像は理論上、位置合わせされる。位置合わせずれが検出される場合、プロセッサ１５６２により再較正手順を開始することができる。

【0227】

一例のレンダラープログラム１５８０ｅは、円偏光に関して左右ビューをレンダリングするように構成される。しかしながら、他の実施形態では、レンダラープログラム１５８０ｅは、線形偏光と互換性がある立体画像を提供し得る。どのタイプの偏光が使用されるかに関係なく、一例のプロセッサ１５６２はプログラム１５６０を実行して、レンダラープログラム１５８０ｅにより出力された立体画像の偏光を検証又はチェックし得る。偏光をチェックするために、プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、診断データを左画像及び／又は右画像に挿入する。例えば、プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、「左」テキストを左画像に重ね、「右」テキストを右画像に重ね得る。プロセッサ１５６２及び／又は周辺入力ユニットインターフェース１５７４は、オペレータに、メガネ１７１２を装着しながら一度に片目を閉じて、左ビューが左目で受け取られ、右ビューが右目で受け取られていることを確認するように指示するプロンプトを表示し得る。オペレータは、ユーザ入力デバイス１４１０を介して偏光が正確であるか否かを示す確認を提供し得る。偏光が正確ではない場合、一例のレンダラープログラム１５８０ｅは、左右の画像を結合立体画像に挿入する位置を逆にするように構成される。

【0228】

更に他の実施形態では、一例のレンダラープログラム１５８０ｅは、結合立体画像を作成する代わりに、フレームの順次投影を提供するように構成される。ここで、レンダラープログラム１５８０ｅは、右画像及び／又はフレームで順次インターリーブされた左画像及び又はフレームをレンダリングする。したがって、左右の画像は外科医５０４に交互に提示される。これらの他の実施形態では、画面１７０２は偏光されない。代わりに、メガネ１７１２の左右のレンズは電子的又は光学的にフレームシーケンスの各部分と同期し得、それにより、対応する左右のビューをユーザに提供して、奥行きを識別する。

【0229】

幾つかの例では、レンダラープログラム１５８０ｅは、別個のディスプレイモニタに又は１つのディスプレイモニタ上の別個のウィンドウに表示するように右画像及び左画像の幾らかを提供し得る。そのような構成は、光学要素１４０２の左右の光路のレンズが独立して調整可能な場合、特に有利であり得る。一例では、右光路は第１の倍率レベル設定し得、一方、左光路は第２の倍率レベルに設定される。それに従って一例のレンダラープログラム１５８０ｅは、左ビューからの画像ストリームをディスプレイモニタ５１２に表示し、右ビューからの画像ストリームをディスプレイモニタ５１４に表示し得る。幾つかの場合、左ビューはディスプレイモニタ５１２の第１のウィンドウに表示し得、一方、右ビューは同じディスプレイモニタ５１２の第２のウィンドウに表示される（例えば、ピクチャインピクチャ）。したがって、立体ではないが、左右の画像の同時表示は有用な情報を外科医に提供する。

【0230】

別の例では、光源７０８及びフィルタ７４０を素早く切り替えて、可視光及び蛍光を有する交互の画像を生成し得る。一例のレンダラープログラム１５８０ｅは、異なる光源下で左ビュー及び右ビューを結合して、立体表示を提供して、例えば、背景を可視光で表示しながら、染料剤を有する静脈を強調表示し得る。

【0231】

更に別の例では、デジタルズームを右及び／又は左光学画像センサ７４６又は７４８に適用し得る。デジタルズームは一般に、画像の知覚される分解能に影響し、表示分解能及び閲覧者の好み等の要因に依存する。例えば、画像捕捉モジュール１４０４のプロセッサ１５０４は、デジタルズームピクセル間で同期され散在する補間ピクセルを作成することによりデジタルズームを適用し得る。プロセッサ１５０４は、光学画像センサ７４６及び７４８の選択及び補間ピクセルを調整するプログラム１５１０を動作し得る。プロセッサ１５０４は、続けてレンダリングし表示するために、デジタルズームを情報プロセッサモジュール１４０８に適用した状態の右画像及び左画像を送信する。

【0232】

幾つかの実施形態では、プロセッサ１５０４は、デジタルズーム画像をデジタルズームのない画像間で記録して、標的部位７００の関心領域のデジタルズームのピクチャインピクチャ（又は別個のウィンドウ）表示を提供すべきであるとの命令をプロセッサ１５６２から受信する。それに従ってプロセッサ１５０４は、デジタルズームをピクセルグリッド１００２及び１００４からの１つおきの読み出しに適用する。これにより、レンダラープログラム１５８０ｅは、デジタルズームされた立体画像に加えて、立体最高分解能画像を同時に表示することができる。代替的には、デジタル的にズームすべき画像は、現在の画像からコピーされ、スケーリングされ、レンダリングフェーズ中、現在の画像の上に重ねられた適切な位置に配置される。この代替の構成は、「交互」記録要件を回避する。

【0233】

６．一例の較正
図１４〜図１６の一例の情報プロセッサモジュール１４０８は、１つ又は複数の較正プログラム１５６０を実行して、例えば、作業距離及び／又は倍率を較正するように構成し得る。例えば、プロセッサ１５６２は、較正ステップを実行して、主対物レンズ組立体７０２から標的部位７００までの作業距離（ミリメートル単位で測定される）を作業距離レンズモータ１５５４の既知のモータ位置にマッピングする命令をモータ・照明モジュール１４０６に送信し得る。プロセッサ１５６２は、エンコーダカウント及び作業距離を記録しながら、光軸に沿って離散ステップで物体平面を順次移動させ、左右の画像を再フォーカスすることにより較正を実行する。幾つかの例では、作業距離は外部デバイスにより測定し得、外部デバイスは、周辺入力ユニットインターフェース１５７４及び／又はユーザ入力デバイス１４１０へのインターフェースを介して、測定された作業距離値をプロセッサ１５６２に送信する。プロセッサ１５６２は、後部作業距離レンズ７０４の位置（作業距離レンズモータ１５５４の位置に基づく）及び対応する作業距離を記憶し得る。

【0234】

一例のプロセッサ１５６２はまた、プログラム１５６０を実行して、倍率較正を実行することもできる。プロセッサ１５６２は、モータ・照明モジュール１４０６を使用して倍率レベルを選択して光学要素１４０２を設定し得る。プロセッサ１５６２は、光学要素１４０２の位置又は各倍率レベルに関する対応するモータ位置を記録し得る。倍率レベルは、既知のサイズの物体の画像内で高さを測定することにより特定し得る。例えば、プロセッサ１５６２は、１０ピクセル分の高さを有するものとして物体を測定し、ルックアップテーブルを使用して、１０ピクセル高さが５Ｘ倍率に対応すると判断し得る。

【0235】

２つの異なる撮像モダリティの立体視点を合わせるために、単純なピンホールカメラであるかのようにモデリングすることが望ましいことが多い。ＭＲＩ脳腫瘍等の３Ｄコンピュータモデルの視点は、ユーザ調整可能な方向及び距離（例えば、画像が合成立体カメラにより記録されたかのように）から見ることができる。調整可能性を使用して、ライブ外科画像の視点を合わせることができ、したがって、ライブ外科画像の視点は既知でなければならない。一例のプロセッサ１５６２は、例えば、右光学画像センサ７４６及び左光学画像センサ７４８の投影中心（「ＣＯＰ」）等のこれらのピンホールカメラパラメータの１つ又は複数を較正し得る。投影中心を特定するために、プロセッサ１５６２は、投影中心から物体平面へのフォーカス距離を特定する。まず、プロセッサ１５６２は、倍率レベルに光学要素１４０２を設定する。次にプロセッサ１５６２は、物体平面、物体平面距離未満の距離ｄ、及び物体平面距離よりも大きい距離ｄを含む光軸に沿った３つの異なる距離における画像の高さの測定値を記録する。プロセッサ１５６２は、２つの最も極端な位置における同様の三角に代数数式を使用して、投影中心へのフォーカス距離を特定する。プロセッサ１５６２は、同じ方法を使用して、又は較正に使用される倍率間の比率を特定することにより、他の倍率でのフォーカス距離を特定し得る。プロセッサは投影中心を使用して、ＭＲＩ腫瘍モデル等の所望の融合物体の画像の視点をライブ立体外科画像に合わせ得る。追加又は代替として、ＯｐｅｎＣＶ ｃａｌｉｂｒａｔｅＣａｍｅｒａ等の既存のカメラ較正手順を使用して、上記パラメータ及び光学要素１４０２の歪みモデル等の追加のカメラ情報を見つけ得る。

【0236】

一例のプロセッサ１５６２は、左右の光軸を更に較正し得る。プロセッサ１５６２は、較正のために左光軸と右光軸との瞳孔間距離を特定する。瞳孔間距離を特定するために、一例のプロセッサ１５６２は左右の画像を記録し、ピクセルセット１００６及び１００８はピクセルグリッド１００２及び１００４にセンタリングされる。プロセッサ１５６２は、左右の画像のＺＲＰ（及び／又は変位された物体への距離）の位置を特定し、これは、画像位置合わせずれ及び視差の度数を示す。加えて、プロセッサ１５６２は、倍率レベルに基づいて視差及び／又は距離をスケーリングする。次に、プロセッサ１５６２は、視差の度数及び／又はディスプレイにおける物体へのスケーリングされた距離を考慮に入れて、三角測量計算を使用して瞳孔間距離を特定する。プロセッサ１５６２は次に、較正点として、瞳孔間距離を指定された倍率レベルでの光軸に関連付ける。

【0237】

ＶＩＩ．画像位置合わせ及び疑似視差調整実施形態
人間の視覚と同様に、立体画像は、関心点で収束する右ビュー及び左ビューを含む。右ビュー及び左ビューは、関心点から僅かに異なる角度で記録され、それにより、２つのビュー間に視差が生じる。関心点の前又は後のシーン内のアイテムは、閲覧者からのアイテムの距離又は奥行きを推測することができるような視差を示す。知覚される距離の精度は、例えば、閲覧者の視力の明瞭さに依存する。大半の人間は、視力に何らかのレベルの不完全性を示し、右ビューと左ビューとの間に幾らかの不正確性を生じさせる。しかしながら、それでもなお立体を達成することが可能であり、脳はいくらかのレベルの精度でビューを融合する。

【0238】

左画像及び右画像が、人間により見られるのではなく、カメラにより記録される場合、ディスプレイ画面上の結合画像間の視差は立体視を生み出し、二次元ディスプレイに三次元立体画像の見た目を提供する。視差の誤差は、三次元立体画像の品質に影響する恐れがある。理論上、好ましい視差と比較した観測視差の不正確性は、疑似視差として知られている。人間と異なり、カメラは、不正確性を自動的に補償する脳を持たない。

【0239】

疑似視差が大きくなる場合、三次元立体画像は、目眩、頭痛、及び吐き気を誘導するポイントまで閲覧不可能になり得る。顕微鏡及び／又はカメラにおいて視差に影響し得る多くの要因がある。例えば、左右のビューの光学チャネルは、厳密に等しいわけではないことがある。光学チャネルは、不一致のフォーカス、倍率、及び／又は関心点の位置合わせずれを有し得る。これらの問題は、異なる倍率及び／又は作業距離で様々な深刻度を有し得、それにより、較正を通して補正する取り組みを低減する。

【0240】

図２の外科用顕微鏡２００等の既知の外科用顕微鏡は、接眼レンズ２０６を通して適切なビューを提供するように構成される。多くの場合、既知の外科用顕微鏡の光学要素の画質は、立体視カメラには十分ではない。この理由は、外科用顕微鏡の製造業者が、主な閲覧が接眼レンズを通しての閲覧であると仮定しているためである。任意のカメラ付属品（カメラ２１２等）は、平面視であり、疑似視差を受けないか、又は疑似視差がそれほど明白ではない低画像分解能で立体視である。

【0241】

ＩＳＯ１０９３６−１：２０００，Ｏｐｔｉｃｓ ａｎｄ ｏｐｔｉｃａｌ ｉｎｓｔｒｕｍｅｎｔｓ−Ｏｐｅｒａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｅｓ−Ｐａｒｔ １：Ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄｓ等の国際規格は、外科用顕微鏡の画質に仕様限度を提供するために作成された。仕様限度は一般に、外科用顕微鏡の接眼レンズを通して見ることについて設定され、三次元立体表示を考慮していない。例えば、疑似視差に関して、ＩＳＯ１０９３６−１：２０００は、左右のビュー間の垂直軸の差は１５分未満であるべきであると指定している。軸の小さな角度ずれは多くの場合、１／６０度に対応する分又は１／６０分に対応する秒で定量化される。１５分仕様限度は、作業距離２５０ｍｍ及び視野３５ｍｍ（視野角８°を有する）を有する典型的な外科用顕微鏡では左右のビュー間の３％差に対応する。

【0242】

３％差は、外科医の脳が小さな程度の誤差を解消することが可能な接眼レンズ閲覧の場合、許容可能である。しかしながら、この３％差は、ディスプレイモニタ上で立体的に見られる場合、左右のビュー間に顕著な差を生じさせる。例えば、左右のビューが一緒に見られる場合、３％差は、分断されて見え、長時間にわたり見ることが難しい画像を生成する。

【0243】

別の問題は、既知の外科用顕微鏡が、１つ又は少数の倍率レベルでのみ１５分仕様限度を満たし得、及び／又は個々の光学要素のみが特定の仕様限度を満たし得ることである。例えば、個々のレンズは特定の基準を満たすように製造される。しかしながら、個々の光学要素が光路において組み合わせられると、規格からの小さなずれは、相殺されるのではなく増幅され得る。これは、共通の主対物レンズを含む５つ以上の光学要素が光路に使用される場合、特に顕著であり得る。加えて、平行チャネル上に光学要素を完全に一致させることは非常に難しい。せいぜい、製造中、外科用顕微鏡の光学要素は、１つ又は少数の特定の倍率レベルでのみ、１５分仕様限度を満たすように較正される。したがって、外科用顕微鏡がＩＳＯ１０９３６−１：２０００仕様を満たすということになっているにも拘わらず、較正ポイント間の誤差は大きいことがある。

【0244】

加えて、ＩＳＯ１０９３６−１：２０００仕様では、追加の構成要素が追加される場合、より大きな許容差が許されている。例えば、第２の接眼レンズ（例えば、接眼レンズ２０８）の追加は、疑似視差を２分増大させる。ここでも、誤差は、接眼レンズ２０６及び２０８を通して見るには許容可能であり得るが、画像位置合わせずれは、カメラを通して立体的に見た場合、より顕著になる。

【0245】

既知の外科用顕微鏡と比較して、本明細書に開示される一例の立体視覚化カメラ３００は、光学要素１４０２の少なくとも幾つかを自動的に調整して、疑似視差を低減又はなくすように構成される。光学要素を立体視覚化カメラ３００に組み込むことにより、三次元立体表示に向けて微調整を自動的に（時にはリアルタイムで）行うことが可能になる。幾つかの実施形態では、一例の立体視覚化カメラ３００は２０秒〜４０秒の精度を提供し得、これは、既知の外科用顕微鏡の１５分精度と比較して、光学誤差の９７％低減に近い。

【0246】

精度の改善により、一例の立体視覚化カメラ３００は、既知の立体顕微鏡では実行することが可能ではない特徴を提供することができる。例えば、多くの新しい顕微鏡外科処置は、最適なサイジング、位置決め、マッチング、配向、及び診断に生体の術部での正確な測定に頼っている。これは、血管のサイズ特定、円環眼内レンズ（「ＩＯＬ」）の配置角度、術前画像からライブビューへの血管系の一致、動脈下の腫瘍の深さ等の特定を含む。それに従って一例の立体視覚化カメラ３００は、例えば、グラフィカルオーバーレイ又は画像分析を使用して解剖学的構造のサイズを特定し、精密な測定を行えるようにする。

【0247】

既知の外科用顕微鏡では、外科医が既知のサイズの物体（マイクロ定規等）を視野内に配置する必要がある。外科医は物体のサイズを周囲の解剖学的構造と比較して、おおよそのサイズを特定する。しかしながら、外科医は物体を適切な位置に配置し、次に、測定が行われた後、物体を取り出す必要があるため、この手順は比較的遅い。加えて、サイズは外科医の主観的比較及び測定に基づくため、測定は近似しか提供しない。幾つかの既知の立体視カメラは、サイズを特定するためのグラフィカルオーバーレイを提供する。しかしながら、疑似視差が左右のビュー間に存在する場合、これらのオーバーレイの精度は下がる。

【0248】

Ａ．疑似視差の原因としてのＺＲＰ
ＺＲＰ不正確性は、疑似視差を生じさせる左右の画像間の大きな誤差原因を提供する。ＺＲＰ又はズーム反復点とは、倍率レベルが変わっても同じ位置に留まる視野内の点を指す。図１８及び図１９は、異なる倍率レベルでの左右の視野でのＺＲＰの例を示す。特に、図１８は、低倍率レベルでの左視野１８００及び高倍率レベルでの左視野１８５０を示す。加えて、図１９は、低倍率レベルでの右視野１９００及び高倍率レベルでの右視野１９５０を示す。

【0249】

図１８及び図１９が、本開示での例示的な参照点を提供する十字線１８０２及び１９０２を示すことに留意されたい。十字線１８０２は、ｙ方向又はｙ軸に沿って位置決めされる第１の十字線１８０２ａ及びｘ方向又はｘ軸に沿って位置決めされる第２の十字線１８０２ｂを含む。さらに、十字線１９０２は、ｙ方向又はｙ軸に沿って位置決めされる第１の十字線１９０２ａ及びｘ方向又はｘ軸に沿って位置決めされる第２の十字線１９０２ｂを含む。実際の実施では、一例の立体視覚化カメラ３００はデフォルトにより通常、オペレータにより要求される場合を除き、光路に十字線を含まないか、又は光路に十字線を追加しない。

【0250】

理想的には、ＺＲＰは中央位置又は原点に位置すべきである。例えば、ＺＲＰは十字線１８０２及び１９０２にセンタリングされるべきである。しかしながら、光学要素１４０２の不正確性及び／又は光学要素１４０２間のわずかな位置合わせずれは、ＺＲＰを十字線１８０２及び１９０２の中心から離れて配置させる。疑似視差の程度は、左右のビュー間で位置合わせズレしたＺＲＰに加えて、左右のビューの各ＺＲＰが各中心から離れて配置される程度に対応する。さらに、光学要素１４０２における不正確性は、倍率変更にともなってＺＲＰをわずかに変動させ得、それにより、疑似視差の程度を更に大きくする。

【0251】

図１８は、図７の標的部位７００の視野１８００及び１８５０内の３つの三日月形物体１８０４、１８０６、及び１８０８を示す。視野１８００及び１８５０が光学画像センサ７４６及び７４８に関して線形の視野であることを理解されたい。物体１８０４、１８０６、及び１８０８は視野１８００内に配置されて、疑似視差が左右の画像の位置合わせずれからいかに生じるかを示した。物体１８０４は、十字線１８０２ａに沿って十字形１８０２ｂの上に位置決めされる。物体１８０６は、十字線１８０２ｂに沿って十字線１８０２ａの左側に位置決めされる。物体１８０８は、十字線１８０２ｂの僅かに下に十字線１８０２ａの右側に位置決めされる。左視野１８００のＺＲＰ１８１０は、物体１８０８の切り欠きに位置決めされる。

【0252】

左視野１８００は、一例の立体視覚化カメラ３００のズームレンズ組立体７１６を使用して倍率レベルを上げる（例えば、ズームする）ことにより、左視野１８５０に変更される。倍率を上げると、視野１８５０に示されるように、物体１８０４、１８０６、及び１８０８は拡大又は成長するように見える。図示の例では、視野１８５０は視野１８００の倍率レベルの約３Ｘである。

【0253】

低倍率視野１８００と比較して、高倍率視野１８５０内の物体１８０４、１８０６、及び１８０８は、ＺＲＰ１８１０に関して３Ｘ、互いから離れて移動しながら、約３Ｘ増大したサイズを有する。加えて、物体１８０４、１８０６、及び１８０８の位置は、十字線１８０２に相対して移動している。物体１８０４はここで、十字線１８０２ａの左にシフトされ、十字線１８０２ｂから僅かに離れてシフトされる。加えて、物体１８０６はここで、十字線１８０２ａの左に更にシフトされ、十字線１８０２ｂの僅かに上にシフトされる。一般に、物体１８０８は、十字線１８０２に関して同じ（又は略同じ）位置に配置され、ＺＲＰ１８１０は十字線１８０２及び物体１８０６に関して厳密に同じ（又は略同じ）位置に配置される。換言すれば、倍率が上がるにつれて、物体１８０４、１８０６、及び１８０８（及び視野１８５０内の他の何か）は、ＺＲＰ１８１０から離れて外側に移動するように見える。

【0254】

物体１８０４、１８０６、及び１８０８は、図１９に示される右視野１９００及び１９５０に示される。しかしながら、ＺＲＰの位置は異なる。特に、右視野１９００及び１９５０において、ＺＲＰ１９１０は十字線１９０２ｂの上に、十字線１９０２ａの左に配置される。したがって、ＺＲＰ１９１０は、左視野１８００及び１８５０におけるＺＲＰ１８１０と異なる位置に配置される。図示の例では、左右の光路が好ましくは、第１の倍率レベルにおいて位置合わせされると仮定される。したがって、左視野１８００内の同じ物体１８０４、１８０６、及び１８０８と同じ位置にある右視野１９００に示される物体１８０４、１８０６、及び１８０８。左右のビューは位置合わせされるため、疑似視差は存在しない。

【0255】

しかしながら、高倍率視野１９５０では、物体１８０４、１８０６、及び１８０８は拡大し、ＺＲＰ１９１０から離れて移動する。ＺＲＰ１９１０の位置を所与として、物体１８０４は右側に移動又はシフトし、物体１８０６は下方に移動又はシフトする。加えて、物体１８０８は、視野１９００内の位置と比較して下方及び右に移動する。

【0256】

図２０は、高倍率左視野１８５０を高倍率右視野と比較するピクセル図を示す。グリッド２０００は、左光学画像センサ７４６のピクセルグリッド１００２上の物体１８０４（Ｒ）、１８０６（Ｒ）、及び１８０８（Ｒ）の位置が重ねられた左光学画像センサ７４８のピクセルグリッド１００４上の物体１８０４（Ｌ）、１８０６（Ｌ）、及び１８０８（Ｌ）の位置を表し得る。図２０は、物体１８０４、１８０６、及び１８０８が左視野１８５０及び右視野１９５０で異なる位置にあることを明らかに示す。例えば、物体１８０４（Ｒ）は、十字線１９０２ａの右及び十字線１９０２ｂの上に配置され、一方、同じ物体１８０４（Ｌ）は、十字線１８０２ａの左及び十字線１８０２ｂの更に上に配置される。

【0257】

物体１８０４、１８０６、及び１８０８の位置差は疑似視差に対応し、疑似視差は、異なる位置にＺＲＰ１８１０及び１９１０を生成する光学要素１４０２の光学位置合わせの欠陥によって生じる。歪みがない又は他の撮像誤差がないと仮定すると、図２０に示される疑似視差は一般に、画像内の全ての点で同じである。外科用顕微鏡（図２の顕微鏡２００等）の接眼レンズを通して見る場合、物体１８０４、１８０６、及び１８０８の位置差は目立たないことがある。しかしながら、立体画像でディスプレイモニタ５１２及び５１４において見る場合、差は容易に明らかになり、頭痛、吐き気、及び／又は目眩を生じさせる恐れがある。

【0258】

図２１は、左右ＺＲＰに関する疑似視差を示す図を示す。図は、図１０の左ピクセルグリッド１００２及び左ピクセルグリッド１００４のオーバーレイを含むピクセルグリッド２１００を含む。この図示の例では、左光路の左ＺＲＰ２１０２は、ｘ軸に沿って＋４及びｙ軸に沿って０に配置される。加えて、右光路の右ＺＲＰ２１０４は、ｘ軸に沿って−１及びｙ軸に沿って０に配置される。原点２１０６は、ｘ軸とｙ軸との交点に示される。

【0259】

この例では、物体２１０８は、第１の低倍率で左右の画像に関して位置合わせされる。倍率が３Ｘ上がるにつれて、物体２１０８のサイズは増大し、ＺＲＰ２１０２及び２１０４から離れて移動した。輪郭物体２１１０は、ＺＲＰ２１０２及び２１０４が原点２１０６に位置合わせされることに基づいて、第２のより高い倍率では物体２１０８の理論上の位置を示す。特に、第１の倍率レベルでの物体２１０８の切り欠きは、ｘ軸に沿った＋２位置にある。３Ｘ倍率を用いる場合、切り欠きは、切り欠きがより高い倍率レベルでｘ軸に沿って＋６に配置されるようにｘ軸に沿って３Ｘ移動する。加えて、ＺＲＰ２１０２及び２１０４は理論上、原点２１０６に位置合わせされるため、物体２１１０は、左右のビュー（オーバーレイを所与として１つの物体として図２１に示される）の間に位置合わせされる。

【0260】

しかしながら、この例では、左ＺＲＰ２１０２及び右ＺＲＰ２１０４の位置合わせずれは、物体２１１０をより高倍率で左右のビュー間で位置合わせずれさせる。右光路に関して、右ＺＲＰ２１０４は、低倍率において物体２１０８の切り欠きから３ピクセル分、離れるようにｘ軸に沿って−１に配置される。３Ｘで拡大される場合、この差は９ピクセルになり、これは物体２１１０（Ｒ）として示される。同様に、左ＺＲＰ２１０２はｘ軸に沿って＋４ピクセルに配置される。３Ｘ倍率で、物体２１０８は、２ピクセル分離れることから６ピクセル分離れるように移動し、これはｘ軸に沿って−２における物体２１１０（Ｌ）として示される。

【0261】

物体２１１０（Ｌ）及び物体２１１０（Ｒ）の位置差は、より高倍率での左右のビュー間の疑似視差に対応する。左右のビューが結合されて、表示される立体画像が生成される場合、レンダラープログラム１８５０ｅが行インターリーブモードを使用するとき、物体２１１０の位置は各行で位置合わせずれする。位置合わせずれは立体視の生成にとって有害であり、ぼやけて見え、又はオペレータを混乱させる画像を生成する恐れがある。

【0262】

Ｂ．疑似視差の他の原因
左右の光路間のＺＲＰ位置合わせずれは疑似視差の大きな原因であるが、他の誤差原因も存在する。例えば、疑似視差は、左右の光路間の不等倍率変更から生じることがある。平行光路間の倍率差は、光学要素１４０２のレンズの光学特性又は特性の僅かなばらつきから生じることがある。さらに、僅かな差は、図７及び図８の左右の前部ズームレンズ７２６及び７２８のそれぞれ及び左右の後部ズームレンズ７３６及び７３８のそれぞれが独立して制御される場合、位置決めから生じることがある。

【0263】

再び図１８及び図１９を参照すると、倍率変更差は、左右の光路で異なるサイズの物体及び物体間の異なる間隔を生み出す。例えば、左光路がより高い倍率変更を有する場合、物体１８０４、１８０６、及び１８０８は、図１９の右視野１９５０内の物体１８０４、１８０６、及び１８０８と比較して大きく見え、ＺＲＰ１８１０からより長い距離移動する。ＺＲＰ１８１０及び１９１０が位置合わせられる場合であっても、物体１８０４、１８０６、及び１８０８の位置差は疑似視差を生み出す。

【0264】

疑似視差の別の原因は、左右の光路の不等フォーカスから生じる。一般に、左右のビュー間の任意のフォーカス差は、画質の知覚される低下を生じさせ得、左ビューが優勢であるべきか、それとも右ビューが優勢であるべきかについて潜在的な混乱を生じさせ得る。フォーカス差が顕著である場合、ピントずれ（「ＯＯＦ（Ｏｕｔ−Ｏｆ−Ｆｏｃｕｓ）」）状況を生じさせ得る。ＯＯＦ状況は特に、左右のビューが同じ画像に示される立体画像で顕著である。加えて、ＯＯＦ状況は容易に補正可能ではなく、その理由は、ピントずれ光路の再フォーカスにより通常、他の光路の焦点が合わなくなるためである。一般に、両光路がフォーカスされる点を特定する必要があり、これは、光路に沿って左右のレンズの位置を変更し、及び／又は標的部位７００からの作業距離を調整することを含み得る。

【0265】

図２２は、ＯＯＦ状況がいかに生じるかを示す図を示す。図は、知覚される分解能（例えば、フォーカス）を最適分解能セクション２２０２に対するレンズ位置に関連付ける。この例では、左後部ズームレンズ７３４は位置Ｌ１にあり、一方、右後部ズームレンズ７３２は位置Ｒ１にある。位置Ｌ１及びＲ１において、後部ズームレンズ７３２及び７３４は、左右の光路が一致したフォーカスレベルを有するような最適分解能２２０２の範囲内にある。しかしながら、距離ΔＰに対応する、Ｌ１及びＲ１の位置に差がある。後に、作業距離７０６は、一点がピントずれするように変更される。この例では、両後部ズームレンズ７３２及び７３４は、距離ΔＰが変わらないように位置Ｌ２及びＲ２に対して同じ距離、移動する。しかしながら、位置変化により、左後部ズームレンズ７３４が右後部ズームレンズ７３２よりも高い分解能（例えば、よりよいフォーカス）を有するように分解能は大きく変わる。分解能ΔＲはＯＯＦ状況に対応し、これは、左右の光路間のフォーカス位置合わせずれから疑似視差を生じさせる。

【0266】

疑似視差の更に別の原因は、標的部位７００において移動している撮像物体から生じ得る。疑似視差は、右光学画像センサ７４６及び左光学画像センサ７４８の露出間の小さな同期誤差から生じる。左右のビューが同時に記録されない場合、物体は２つのビュー間で変位又は位置合わせずれして見える。結合された立体画像は、左右のビューで２つの異なる位置に同じ物体を示す。

【0267】

さらに、疑似視差の別の原因は、拡大中に移動するＺＲＰ点が関わる。セクションＩＶ（Ａ）において上述した例では、左右のビューのＺＲＰがｘ方向又はｙ方向で移動しないと仮定する。しかしながら、ＺＲＰは、ズームレンズ７２６、７２８、７３２、及び／又は７３４が光路又は光軸と厳密に平行に（例えば、ｚ方向において）移動しない場合、拡大中、シフトし得る。図１１を参照して上述したように、力が作動セクション１１０８に印加されると、キャリア７２４はわずかにシフト又は回転し得る。この回転は、倍率レベルが変更される場合、左右のＺＲＰを僅かに移動させ得る。

【0268】

一例では、倍率変更中、キャリア７３０は一方向に移動し、一方、キャリア７２４は、倍率変更の一部では同じ方向に、フォーカス調整のための倍率変更の残りの部分では逆方向に移動する。キャリア７２４の移動軸が光軸からわずかにチルト又は回転する場合、左光路及び／又は右光路のＺＲＰは、第１の部分にわたり一方向にシフトし、続けて、倍率変更の第２の部分にわたり逆方向にシフトする。加えて、力は不等に印加されるため、右前部ズームレンズ７２６及び左前部ズームレンズ７２８は、左右の光路間で様々な程度のＺＲＰシフトを受け得る。ＺＲＰの位置変化は一緒に、光路の位置合わせずれを生じさせ、それにより、疑似視差を生じさせる。

【0269】

Ｃ．疑似視差の低減は、立体ビューとのデジタルグラフィックス及び画像の組み込みを促進する
外科用顕微鏡がよりデジタル化されるにつれて、設計者は、グラフィックス、画像、及び／又は他のデジタル効果をライブビュー画像に重ねる特徴を追加している。例えば、ガイダンスオーバーレイ、立体磁気共鳴撮像（「ＭＲＩ」）画像の融合、及び／又は外部データを、カメラにより記録された画像、さらには接眼レンズ自体内に表示される画像と組み合わせ得る。疑似視差は、下の立体画像とのオーバーレイの精度を低減する。外科医は一般に、例えば、ＭＲＩを介して視覚化された腫瘍が、多くは三次元で、融合ライブ外科立体ビュー内に可能な限り正確に配置されることを要求する。そうでなければ、術前腫瘍画像は、外科医に殆ど情報を提供せず、それにより、手術の性能を損なう。

【0270】

例えば、外科ガイドは、左ビューとの位置合わせがずれながら、右ビュー画像と位置合わせし得る。２つのビュー間で位置合わせずれした外科ガイドは、オペレータにとって容易に明らかである。別の例では、外科ガイドは、グラフィックス処理ユニット１５６４が結合立体画像を作成する前、情報プロセッサモジュール１４０８において左右のビューと別個に位置合わせし得る。しかしながら、左右のビュー間の位置合わせずれは、ガイド間に位置合わせずれを生み出し、それにより、ガイドの有効性を下げ、顕微鏡外科処置中、混乱及び遅延を生み出す。

【0271】

「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤＳ ＤＩＳＰＬＡＹＩＮＧ Ａ ＦＵＳＥＤ ＭＵＬＴＩＤＩＭＥＮＳＩＯＮＡＬ ＲＥＣＯＮＳＴＲＵＣＴＥＤ ＩＭＡＧＥ」という名称の米国特許第９，５５２，６６０号明細書（参照により本明細書に援用される）には、術前画像及び／又はグラフィックスがいかに、立体画像と視覚的に融合されるかが開示されている。図２３及び図２４は、履帯画像に融合される場合、疑似視差がデジタルグラフィックス及び／又は画像の精度をいかに失わせるかを示す図を示す。図２４は患者の目２４０２の正面図を示し、図２３は、図２４の平面Ａ−Ａに沿った目の断面図を示す。図２３では、情報プロセッサモジュール１４０８は、焦点面２３０２から、例えば、目２４０２の後嚢上の関心物体２３０４までの尾側距離ｄを特定するように命令される。情報プロセッサモジュール１４０８は、例えば、距離ｄが目２４０２の左右のビューからの画像データの三角測量計算により特定されることを指定するプログラム１５６０を動作させる。ビュー２３０６は、左光学画像センサ７４８の視点から示され、ビュー２３０８は、右光学画像センサ７４６の視点から示される。左ビュー２３０６及び右ビュー２３０８は、目２４０２の前中心２３１０と一致すると仮定される。加えて、左ビュー２３０６及び右ビュー２３０８は、理論上の右投影２３１２及び理論上の左投影２３１４として焦点面２３０２に投影される物体２３０４の二次元ビューである。この例では、プロセッサ１５６２は、三角測量ルーチンを使用して理論上の右投影２３１２の外挿と理論上の左投影２３１４の外挿との交点を計算することにより、関心物体２３０４への距離ｄを特定する。

【0272】

しかしながら、この例では、疑似視差が存在し、疑似視差は、図２３及び図２４に示されるように、実際の左投影２３１６を距離Ｐだけ、理論上の左投影２３１４の左に配置させる。プロセッサ１５６２は、実際の左投影２３１６及び右投影２３１２を使用し、三角測量ルーチンを使用して右投影２３１２の外挿と実際の左投影２３１６の外挿との交点２３２０への距離を特定する。交点２３２０への距離は、距離ｄに誤差距離ｅを加えたものに等しい。それに従って疑似視差は、立体画像からとられたデータを使用して誤った距離計算を生じさせる。図２３及び図２４に示されるように、小さな程度の疑似視差であっても、大きな誤差を生み出し得る。融合画像の状況では、誤った距離は、立体画像と融合する腫瘍三次元視覚化の不正確な配置に繋がる。不正確な配置は、手術を遅延させ、外科医の施術を妨げ、又は視覚化システム全体を無視させ得る。更に悪いことには、外科医は、腫瘍画像の不正確な配置に頼り、顕微鏡外科処置中、ミスを犯し得る。

【0273】

Ｄ．一例の立体視覚化カメラは疑似視差を低減又はなくす
図３〜図１６の一例の立体視覚化カメラ３００は、視覚的欠陥、疑似視差、及び／又は通常、疑似視差を生じさせる位置合わせずれした光路を低減又はなくすように構成される。幾つかの例では、立体視覚化カメラ３００は、左右の光路のＺＲＰを左光学画像センサ７４６及び右光学画像センサ７４８のピクセルセット１００６及び１００８の各中心に位置合わせすることにより、疑似視差を低減又はなくす。追加又は代替として、立体視覚化カメラ３００は、左右の画像の光路を位置合わせし得る。立体視覚化カメラ３００が、較正中、疑似視差を低減する動作を実行し得ることを理解されたい。さらに、立体視覚化カメラ３００は、使用中、検出された疑似視差をリアルタイムで低減し得る。

【0274】

図２５及び図２６は、本開示の実施形態例による、疑似視差を低減又はなくす一例の手順２５００を示す流れ図を示す。手順２５００は図２５及び図２６に示される流れ図を参照して説明されるが、手順２５００に関連するステップを実行する多くの他の方法を使用し得ることを理解されたい。例えば、ブロックの多くの順序は変更し得、特定のブロックは他のブロックと結合し得、記載されるブロックの多くは任意選択的である。さらに、手順２５００に記載される動作は、例えば、一例の立体視覚化カメラ３００の光学要素１４０２、画像捕捉モジュール１４０４、モータ・照明モジュール１４０６、及び／又は情報プロセッサモジュール１４０８を含む複数のデバイスの中で実行し得る。例えば、手順２５００は、情報プロセッサモジュール１４０８のプログラム１５６０の１つにより実行し得る。

【0275】

一例の手順２５００は、立体視覚化カメラ３００が、左右の光路を位置合わせする命令を受信した（ブロック２５０２）とき、開始される。命令は、立体視覚化カメラ３００が較正ルーチンを実行することをオペレータが要求することに応答して、ユーザ入力デバイス１４１０から受信し得る。他の例では、命令は、左右の画像が位置合わせずれしていると判断された後、情報プロセッサモジュール１４０８から受信し得る。情報プロセッサモジュール１４０８は、左右の画像を重ね、ピクセルの大きなエリアにわたる大きな差は位置合わせがずれた画像を示す、ピクセル値の差を特定するプログラム１５６０を実行することにより、画像が位置合わせされていないと判断し得る。幾つかの例では、プログラム１５６０は、オーバーレイ機能を実行せずに左右の画像のピクセルデータを比較し得、例えば、左ピクセルデータが右ピクセルデータから減算されて、位置合わせずれの深刻度を判断する。

【0276】

疑似視差を低減する命令を受信した後、一例の立体視覚化カメラ３００は、左光路又は右光路の一方のＺＲＰを見つける。例示を目的として、手順２５００は、左光路のＺＲＰをまず特定することを含む。しかしながら、他の実施形態では、手順２５００は、右光路のＺＲＰをまず特定し得る。左ＺＲＰを特定するために、立体視覚化カメラ３００は、少なくとも１枚のズームレンズ（例えば、左前部ズームレンズ７２８及び／又は左後部ズームレンズ７３４）を左光路のｚ軸に沿って第１の倍率レベルに移動させる（ブロック２５０４）。前部ズームレンズ７２６及び７２８が同じキャリア７２４に接続され、後部ズームレンズ７３２及び７３４が同じキャリア７３０に接続される場合、左レンズの移動は、右レンズも移動させる。しかしながら、手順２５００のこのセクション中、左レンズのみの移動が考慮される。

【0277】

第１の倍率レベルにおいて、立体視覚化カメラ３００は、左ズームレンズをｚ方向に沿って移動させる（ブロック２５０６）。移動は、例えば、第１の倍率レベル周囲での前後運動を含み得る。例えば、第１の倍率レベルが５Ｘである場合、移動は４Ｘ〜６Ｘであり得る。移動は、５Ｘから４Ｘ等の一方向での移動を含むこともできる。この移動中、立体視覚化カメラ３００は、１枚又は複数枚の他のレンズを調整して、標的部位７００のフォーカスを維持し得る。ブロック２５０８において、左ズームレンズの移動中、立体視覚化カメラ３００は、例えば、左光学画像センサ７４８を使用して、標的部位７００の画像及び／又はフレーム２５０９のストリーム又はシーケンスを記録する。画像２５０９は、ピクセルグリッド１００４の原点及び左ＺＲＰの潜在的な位置を含むように較正されたオーバーサイズピクセルセット１００８を使用して記録される。

【0278】

情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、画像ストリームを分析して、画像間でｘ方向又はｙ方向において移動しないエリアの部分を見つける（ブロック２５１０）。エリアの部分は、１つ又は少数のピクセルを含み得、左ＺＲＰに対応する。上述したように、倍率変更中、物体はＺＲＰから離れて移動し、又はＺＲＰに向かって移動する。ＺＲＰにおける物体のみが、倍率が変更された場合、視野に関して一定位置に留まる。プロセッサ１５６２は、ピクセルデータを使用して各ピクセルについて画像ストリーム間のデルタを計算し得る。画像ストリームにわたり最小のデルタを有するエリアは、左ＺＲＰに対応する。

【0279】

情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は次に、ピクセルグリッド１００４に関して画像ストリーム間で移動しないエリアの部分の座標を特定する（例えば、左ＺＲＰの位置を特定する）（ブロック２５１２）。他の例では、情報プロセッサモジュール１４０８のプロセッサ１５６２は、原点と左ＺＲＰに対応するエリアの部分との間の距離を特定する。距離は、ピクセルグリッド１００４上の左ＺＲＰの位置を特定するのに使用される。左ＺＲＰの位置が特定されると、情報プロセッサモジュール１４０８のプロセッサ１５６２は、左ＺＲＰがピクセルセットの中心（１ピクセル以内）に配置されるような左光学画像センサ７４８のピクセルセット（例えば、ピクセルセット１００８）を特定する（ブロック２５１４）。この時点で、左ＺＲＰは左光路内でセンタリングされる。

【0280】

幾つかの例では、ブロック２５０４〜２５１４は、左ＺＲＰが原点のピクセル内にあり、疑似視差が最小になるまで、ピクセルセットを再選択することにより繰り返し実行し得る。ピクセルグリッドが特定された後、情報プロセッサモジュール１４０８のプロセッサ１５６２は、較正点として、ピクセルセットの座標及び／又は左ＺＲＰの座標の少なくとも一方をメモリ１５７０に記憶する（ブロック２５１６）。情報プロセッサモジュール１４０８のプロセッサ１５６２は、立体視覚化カメラ３００が第１の倍率レベルに戻る場合、同じピクセルセットが選択されるように第１の倍率レベルに較正点を関連付け得る。

【0281】

図２７は、左ＺＲＰが、左光学画像センサ７４８のピクセルグリッドに関していかに調整されるかを示す図を示す。まず、原点２７０４にセンタリングされた初期（例えば、オーバーサイズ）ピクセルセット２７０２が選択される。ピクセルセット２７０２は、潜在的なＺＲＰを画像ストリームに記録するのに十分に大きい。この図示の例では、左ＺＲＰ２７０６は、原点２７０４の右上に配置される。情報プロセッサモジュール１４０８のプロセッサ１５６２は、左ＺＲＰ２７０６の位置に基づいて、左ＺＲＰ２７０６がピクセルセット２７０８の中心に配置又は位置するようなピクセルセット２７０８を特定する。

【0282】

図２５において左ＺＲＰが特定され、ピクセルセットの原点と位置合わせされた後、一例の手順２５００は、図２６において左右の画像を位置合わせする。画像を位置合わせするために、一例のプロセッサ１５６２は、左ＺＲＰが原点と位置合わせされた後に記録された左右の画像からのピクセルデータを比較する。幾つかの実施形態では、プロセッサ１５６２は、左右の画像を重ねて、例えば、減算法及び／又はテンプレート法を使用して差を特定する。プロセッサ１５６２は、結果として生成される右画像が左画像と位置合わせされるか、又は一致するような、右光路のピクセルセットを選択又は特定する（ブロック２５１９）。

【0283】

一例のプロセッサ１５６２は、図示の実施形態では、右ＺＲＰを特定する。ステップは、左ＺＲＰについてブロック２５０４〜２５１２において考察したステップと同様である。例えば、ブロック２５１８において、立体視覚化カメラ３００は、右ズームレンズを第１の倍率レベルに移動させる。幾つかの実施形態では、右レンズの倍率レベルは、左ＺＲＰの特定に使用された倍率レベルと異なる。次に、情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、右ズームレンズを倍率レベル前後に移動させ、移動中、右光学画像センサ７４６から画像２５２１のストリームを受信する（ブロック２５２０及び２５２２）。情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、画像間で移動しないエリアの部分を見つけることにより、画像の右ストリームから右ＺＲＰを特定する（ブロック２５２４）。プロセッサ１５６２は次に、右ＺＲＰの座標及び／又は位置合わせされたピクセルセット１００６の中心と右ＺＲＰとの間の距離を特定する（ブロック２５２６）。

【0284】

次に、プロセッサ１５６２は、例えば、右ＺＲＰの距離又は座標を使用して、ｘ方向、ｙ方向、及び／又はチルト方向の少なくとも１つにおいて右光路内で少なくとも１枚のレンズを移動させて、右ＺＲＰを位置合わせされたピクセルセット１００６の中心と位置合わせするように、モータ・照明モジュール１４０６に命令する（ブロック２５２８）。換言すれば、右ＺＲＰは、位置合わせされたピクセルセット１００６の中心と一致するように移動する。幾つかの例では、右前部レンズ７２０、右レンズバレル７３６、右最終光学要素７４５、及び／又は右画像センサ７４６は、右光路のｚ方向に関してｘ方向、ｙ方向、及び／又はチルト方向に移動する（例えば、屈曲部を使用して）。移動の程度は、ピクセルセット１００６の中心からの右ＺＲＰの距離に比例する。幾つかの実施形態では、プロセッサ１５６２は、レンズ移動と同じ効果を有するように、右前部レンズ７２０、右レンズバレル７３６、及び／又は右最終光学要素７４５の属性をデジタルに変更する。プロセッサ１５６２はステップ２５２０〜２５２８を繰り返し、及び／又は続く右画像を使用して、右ＺＲＰがピクセルセット１００６の中心と位置合わせされることを確認し、及び／又はピクセルセットの中心と右ＺＲＰを位置合わせするのに必要な更なるレンズ移動を繰り返し決定し得る。

【0285】

一例のプロセッサ１５６２は、較正点として、右ピクセルセット及び／又は右ＺＲＰの座標をメモリ１５７０に記憶する（ブロック２５３０）。プロセッサ１５６２は、右ＺＲＰを位置合わせするために移動した右レンズの位置を較正点に記憶することもできる。幾つかの例では、右光路の較正点は、第１の倍率レベルと併せて左光路の較正点と共に記憶される。したがって、立体視覚化カメラ３００が続けて第１の倍率レベルに設定される場合、プロセッサ１５６２は、較正点内のデータを光学画像センサ７４６及び７４８及び／又は１つ又は複数の光学要素１４０２の半径方向位置決めに適用する。

【0286】

幾つかの例では、手順２５００は、異なる倍率レベル及び／又は作業距離で繰り返し得る。したがって、プロセッサ１５６２は、別の倍率レベル又は作業距離でＺＲＰ較正が必要であるか否かを判断する（ブロック２５３２）。別の倍率レベルを選択すべき場合、手順２５００は図２５におけるブロック２５０４に戻る。しかしながら、別の倍率レベルが必要ない場合、一例の手順は終了する。

【0287】

各較正点はルックアップテーブルに記憶し得る。テーブル内の各行は、異なる倍率レベル及び／又は作業距離に対応し得る。ルックアップテーブル内の列は、左ＺＲＰ、右ＺＲＰ、左ピクセルセット、及び／又は右ピクセルセットの座標を提供し得る。加えて、１つ又は複数の列は、位置合わせされた左右の画像に加えて、倍率レベルにおいてフォーカスを達成するための光学要素１４０２のレンズの関連位置（例えば、半径方向位置、回転方向位置、チルト位置、及び／又は軸方向位置）を指定し得る。

【0288】

それに従って手順２５００は、各光学画像センサ７４６及び７４８のピクセルグリッド並びに三次元立体画像において互いに位置合わせすべき標的部位のビューに加えて、右ＺＲＰ及び左ＺＲＰを生成する。幾つかの場合、左右の画像及び対応するＺＲＰは、１ピクセル以内の精度及び位置合わせを有する。そのような精度は、左右のビュー（例えば、左右の光路からの画像）を重ね、立体的にではなく両目で両ビューを観測することによりディスプレイ５１４又は５１４で観測可能であり得る。

【0289】

幾つかの例では、右ＺＲＰがピクセルセットの原点と位置合わせされ、又は一致するような右ピクセルセットがまず選択されることを理解されたい。次に、左右の光学画像は、光学要素１４０２の１枚又は複数枚の右レンズ及び／又は左レンズを移動させることにより位置合わせし得る。代替の手順はなお、互いの間で及び光学画像センサ７４６及び７４８に関してセンタリングされ位置合わせされた右ＺＲＰ及び左ＺＲＰを提供する。

【0290】

手順２５００は最終的に、左右のＺＲＰが位置合わせされたままであり、左右の画像が位置合わせされたままであることを保証することにより、全光学倍率範囲を通して立体視覚化カメラ３００における疑似視差を低減又はなくす。換言すれば、左右の光学画像センサ７４６及び７４８の二重光学系は、左右の光路間の画像の中心における視差が焦点面において概ねゼロであるように位置合わせされる。さらに、各光路のＺＲＰは各ピクセルセットの中心に割り当てられているため、一例の立体視覚化カメラ３００は、倍率範囲にわたり同焦点であり、倍率及び作業距離範囲にわたり同中心である。したがって、倍率のみを変更することで、同じ中心点に合わせながら、両光学画像センサ７４６及び７４８において標的部位７００のフォーカスを維持する。

【0291】

上記手順２５００は、外科処置が実行される前及び／又はオペレータにより要求されると、較正において実行し得る。一例の手順２５００はまた、術前顕微鏡外科画像及び／又は外科ガイダンスグラフィックスとの画像見当合わせ前、実行することもできる。さらに、一例の手順２５００は、立体視覚化カメラ３００の動作中、リアルタイムで自動的に実行し得る。

【0292】

１．一例のテンプレートマッチング
幾つかの実施形態では、情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、１つ又は複数のテンプレートと併せてプログラム１５６０を使用して、右ＺＲＰ及び／又は左ＺＲＰの位置を特定するように構成される。図２８は、プロセッサ１５６２が標的テンプレート２８０２をいかに使用して、左ＺＲＰの位置を特定するかを示す図を示す。この例では、図２８は、原点２８０４又は左画像センサ７４８の左ピクセルグリッド１００４の中心と位置合わせされたテンプレート２８０２を含む第１の左画像を示す。テンプレート２８０２は、立体視覚化カメラ３００を適切な位置に移動させることにより位置合わせし得る。代替的には、テンプレート２８０２は、位置合わせされるまで標的部位７００において移動し得る。他の例では、テンプレート２８０２は、ピクセルグリッド１００４の中心との位置合わせが必要ない別のパターンを含み得る。例えば、テンプレートは、グラフィカル波形パターン、グラフィカル呼吸計パターン、患者の術部のビュー、及び／又はｘ方向及びｙ方向の両方で幾らかの程度の非周期性を有する視覚的に区別可能な特徴を有するグリッドを含み得る。テンプレートは、周期性がある画像のサブセットが、複数の位置においてより大きな画像に完全に位置合わせされないようにするよう構成され、周期性がある画像のサブセットが、複数の位置においてより大きな画像に完全に位置合わせされることは、そのようなテンプレートをマッチングに不適なものにする。テンプレートマッチングに適するテンプレート画像は、「テンプレートマッチング可能」テンプレート画像として知られる。

【0293】

図２８に示されるテンプレート２８０２は、第１の倍率レベルで撮像される。左ＺＲＰ２８０６はテンプレート２８０２に関して示される。ＺＲＰ２８０６は、原点２８０４に関してＬ_ｘ、Ｌ_ｙの座標を有する。しかしながら、この時点で、プロセッサ１５６２はまだ左ＺＲＰ２８０６を識別していない。

【0294】

ＺＲＰ２８０６を見つけるために、プロセッサ１５６２は、左ズームレンズ（例えば、左前部ズームレンズ７２８及び／又は左後部ズームレンズ７３４）に倍率を第１の倍率レベルから第２の倍率レベルに、特にこの例では、１Ｘから２Ｘに変更させる。図２９は、倍率レベルが２倍になったピクセルグリッド１００４上の標的２８０２を含む第２の左画像の図を示す。第１の倍率レベルから第２の倍率レベルに、標的２８０２の部分はサイズを増大させ、左ＺＲＰ２８０６から離れて均一に拡大し、左ＺＲＰ２８０６は第１及び第２の画像に関して静止したままである。加えて、ピクセルグリッド１００４の原点２８０４と左ＺＲＰ２８０６との間の距離は同じままである。

【0295】

一例のプロセッサ１５６２は、図２９に示される第２の画像からデジタルテンプレート画像３０００を同期する。デジタルテンプレート画像を作成するために、プロセッサ１５６２は、図２９に示される第２の画像をコピーし、第１の倍率から第２の倍率への倍率変更の往復により、コピー画像をスケーリングする。例えば、第１の画像から第２の画像への倍率変更が、２倍であった場合、第２の画像は１／２にスケーリングされる。図３０は、テンプレート２８０２を含むデジタルテンプレート画像３０００の図を示す。図３０のデジタルテンプレート画像３０００におけるテンプレート２８０２は、図２８に示される第１の左画像におけるテンプレート２８０２と同じサイズにスケーリングされる。

【0296】

一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を使用して、左ＺＲＰ２８０６を見つける。図３１は、ピクセルグリッド１００４に記録された第１の左画像（又は第１の倍率レベルで記録された続く左画像）の上に重ねられたデジタルテンプレート画像３０００を示す図を示す。第１の左画像とのデジタルテンプレート画像３０００の組み合わせは、図３１に示されるように、結果ビューを生成する。まず、デジタルテンプレート画像３０００はピクセルグリッド１００４の原点２８０４にセンタリングされる。

【0297】

一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を下のテンプレート２８０２と比較して、位置合わせされたか、又は一致したか否かを判断する。次に、一例のプロセッサ１５６２は、デジタルテンプレート画像３０００を１つ又は複数のピクセル分、水平又は垂直に移動させ、別の比較を実行する。プロセッサ１５６２はデジタルテンプレート画像３０００を繰り返し移動させ、デジタルテンプレート画像３０００が下のテンプレート２８０２にいかに密に一致するかに関する各位置でのメトリックのマトリックスを編纂する。プロセッサ１５６２は、最良に一致するメトリックに対応するマトリックス内の位置を選択する。幾つかの例では、プロセッサ１５６２はＯｐｅｎＣＶ（商標）Ｔｅｍｐｌａｔｅ Ｍａｔｃｈ機能を使用する。

【0298】

図３２は、テンプレート２８０２と位置合わせされたデジタルテンプレート画像３０００を有する図を示す。最適なマッチングを達成するためにデジタルテンプレート画像３０００が移動した距離は、Δｘ及びΔｙとして示される。デジタルテンプレート画像３０００がＭ１／Ｍ２（第１の倍率レベルを第２の倍率レベルで除算したもの）のスケールで合成されたことを知り、プロセッサ１５６２は、以下の式（１）及び（２）を使用して左ＺＲＰ２８０６の座標（Ｌ_ｘ，Ｌ_ｙ）を特定する。
Ｌｘ＝Δｘ／（Ｍ１／Ｍ２）−式（１）
Ｌｙ＝Δｙ／（Ｍ１／Ｍ２）−式（２）

【0299】

左ＺＲＰ２８０６の座標（Ｌ_ｘ，Ｌ_ｙ）が特定された後、一例のプロセッサ１５６２は、図２５及び図２６の手順２５００と併せて上述したように、左ＺＲＰ２８０６と位置合わせ又は一致する原点を有するピクセルサブセットを選択又は特定する。幾つかの実施形態では、プロセッサ１５６２は、テンプレートマッチングを繰り返し使用して、より高精度のＺＲＰ位置及び／又はピクセルサブセットに収束し得る。さらに、上記例は左ＺＲＰの発見について考察したが、同じテンプレートマッチング手順を使用して、右ＺＲＰを見つけることができる。

【0300】

幾つかの実施形態では、上記テンプレートマッチングプログラム１５６０は、左右の画像の位置合わせに使用し得る。これらの実施形態では、左右の画像は、倍率レベルで記録される。両画像は、例えば、図２８の標的テンプレート２８０２を含み得る。右画像の一部は選択され、左画像に重ねられる。次に、右画像の部分は、１つ又は複数のピクセル分、水平及び／又は垂直に左画像の前後でシフトされる。一例のプロセッサ１５６２は、右画像の部分の各位置において比較を実行して、左画像とどの程度密な一致があるかを判断する。最適位置が特定されると、右画像が一般に左画像と一致するような、右ピクセルグリッド１００２のピクセルセット１００６が特定される。左画像と一致するように、ピクセルセット１００６の位置は、右画像の部分をどれくらい移動したかに基づいて特定し得る。特に、プロセッサ１５６２は、ｘ方向、ｙ方向、及び／又はチルト方向における移動量を使用して、右ピクセルセット１００６の対応する座標を特定する。

【0301】

２．一例の左右画像の位置合わせ
幾つかの実施形態では、図１４〜図１６の情報プロセッサモジュール１４０８の一例のプロセッサ１５６２は、ディスプレイモニタ５１２及び／又は５１４に左右の画像のオーバーレイを表示する。プロセッサ１５６２は、左右の画像を位置合わせするためにユーザフィードバックを受信するように構成される。この例では、左右の画像の各ピクセルデータは、例えば、グラフィックス処理ユニット１５６４を使用してディスプレイモニタ５１２の各ピクセルに精密にマッピングされる。重ねられた左右の画像の表示により、いかなる疑似視差もオペレータに容易に明らかになる。一般に、疑似視差がない場合、左右の画像は略厳密に位置合わせされるべきである。

【0302】

オペレータは、疑似視差を検出する場合、制御機構３０５又はユーザ入力デバイス１４１０を作動させて、左右の画像のいずれかを移動させ、左右の画像の他方と位置合わせし得る。制御機構３０５からの命令は、後続画像がオペレータ入力を反映してディスプレイモニタ５１２に表示されるように、プロセッサ１５６２に、左右のピクセルセットの位置をリアルタイムでそれに従って調整させ得る。他の例では、命令は、プロセッサ１５６２に、半径方向調整、回転方向調整、軸方向調整、又はチルトを介して光学要素１４０２の１つ又は複数の位置を変更させ得る。オペレータは、左右の画像が位置合わせされるまで、制御機構３０５及び／又はユーザ入力デバイス１４１０を介して入力を提供し続ける。確認命令を受信すると、プロセッサ１５６２は、設定された倍率レベルでの画像位置合わせを反映した較正点をルックアップテーブルに記憶する。

【0303】

追加又は代替として、上述したテンプレートマッチング法を使用して、立体視覚化カメラ３００の立体光軸に概ね直交する平坦標的にフォーカスしながら、画像位置合わせを提供し得る。さらに、テンプレートマッチング法を使用して、「テンプレートマッチング可能」なシーンが左右の光路のビューにある場合は常に、左右のビューをリアルタイムで位置合わせし得る。一例では、テンプレート画像は、例えば、左ビューのサブセットからコピーされ、ビューの中心又はその近傍にセンタリングされる。ピントが合った画像の中心からのサンプリングにより、標的部位７００の同様のビューが他方のビュー（この例では右ビュー）に提示されることが保証される。ピンボケ画像の場合、本実施形態での、オートフォーカス動作の成功後のみ、この位置合わせ方法が実行されるようなことは当てはまらない。次に、選択されたテンプレートは他のビュー（この例では右ビュー）の現在ビュー（又はそのコピー）においてマッチングされ、ｙ軸のみが結果からとられる。ビューが垂直に位置合わせされると、テンプレートマッチのｙ値はゼロピクセル又はその近傍にある。非ゼロｙ値は、２つのビュー間の垂直位置合わせずれを示し、同じ値のｙを使用した補正が適用されて、第１のビューのピクセル読み出しセットを選択するか、又は負の値のｙを使用した補正が他のビューのピクセル読み出しセットに適用される。代替的には、補正は、視覚化パイプラインの他の部分に適用することができ、又はピクセル読み出しセットと上記パイプラインとの間で分割することができる。

【0304】

幾つかの例では、オペレータは、右ＺＲＰをピクセルグリッド１００２の原点と手動で位置合わせすることもできる。例えば、右ＺＲＰの位置を特定した後、プロセッサ１５６２（及び／又は周辺入力ユニットインターフェース１５７４又はグラフィックス処理ユニット１５６４）は、右ＺＲＰをディスプレイモニタ５１２により表示される右画像においてグラフィカルに強調表示させる。プロセッサ１５６２はまた、ピクセルグリッド１００２の原点を示すグラフィックを表示することもできる。オペレータは制御機構３０５及び／又はユーザ入力デバイス１４１０を使用して、右ＺＲＰを原点に進ませる。プロセッサ１５６２は、制御機構３０５及び／又はユーザ入力デバイス１４１０からの命令を使用して、それに従って光学要素１４０２の１つ又は複数を移動させる。プロセッサ１５６２は、右ＺＲＰの現在位置及び原点をグラフィカルに表示して、オペレータに位置決めに関する更新されたフィードバックを提供することに加えて、右画像ストリームをリアルタイムで提供し得る。オペレータは、右ＺＲＰが位置合わせされるまで、制御機構３０５及び／又はユーザ入力デバイス１４１０を介して入力を提供し続ける。確認命令を受信すると、プロセッサ１５６２は、設定された倍率レベルでの光学要素１４０２の位置を反映した較正点をルックアップテーブルに記憶する。

【0305】

３．位置合わせ誤差の比較
一例の立体視覚化カメラ３００は、立体カメラを有する既知のデジタル外科用顕微鏡と比較して、左右の画像間でより少ない位置合わせ誤差を生成する。後述する分析は、カメラを有する既知のデジタル外科用顕微鏡のＺＲＰ位置合わせずれにより生成された疑似視と一例の立体視覚化カメラ３００とを比較する。まず、両カメラは第１の倍率レベルに設定され、焦点面は患者の目の第１の位置に位置決めされる。以下の式（３）を使用して、各カメラから目への作業距離（「ＷＤ」）を特定する。
ＷＤ＝（ＩＰＤ／２）／ｔａｎ（α）−式（３）

【0306】

この式中、ＩＰＤは瞳孔間距離に対応し、約２３ｍｍである。加えて、αは、例えば、右光学画像センサ７４６と左光学画像センサ７４８との間の角度の半分であり、この例では２．５０°である。集束角はこの角度の２倍であり、この例では５°である。その結果としての作業距離は２６３．３９ｍｍである。

【0307】

カメラは第２の倍率レベルにズームインされ、患者の目の第２の位置において三角測量で測定される。この例では、第２の位置は、第１の位置とカメラから同じ物理的距離にあるが、第２の倍率レベルで提示される。倍率変更は、センサピクセルグリッドの中心へのＺＲＰの一方又は両方の位置合わせずれに起因して水平疑似視差を生じさせる。既知のカメラシステムでは、疑似視差は、例えば、３分であると特定され、これは０．０５°に対応する。上記式（３）中、０．０５°値がαに追加され、これは作業距離２５８．２２ｍｍを生成する。作業距離差は５．１７ｍｍ（２６３．３９ｍｍ−２５８．２２ｍｍ）であり、これは、カメラ付属品を有する既知のデジタル外科用顕微鏡の誤差に対応する。

【0308】

これとは対照的に、一例の立体視覚化カメラ３００は、ピクセルセット又はグリッドの中心の１ピクセル以内でＺＲＰを自動的に位置合わせすることが可能である。視野角が５°であり、４Ｋディスプレイモニタと併用される４Ｋ画像センサを用いて記録される場合、１ピクセル精度は０．００１２５°（５°／４０００）又は４．５秒に対応する。上記式（３）を使用して、０．００１２５°をαに追加し、それにより、作業距離は２６３．２５ｍｍになる。立体視覚化カメラ３００の作業距離差は０．１４ｍｍ（２６３．３９ｍｍ−２６３．２５ｍｍ）である。既知のデジタル外科用顕微鏡の５．１７ｍｍ誤差と比較した場合、一例の立体視覚化カメラ３００は位置合わせ誤差を９７．５％低減する。

【0309】

幾つかの実施形態では、立体視覚化カメラ３００は、分解能が高いほど高精度であり得る。上記例では、分解能は５°視野で約４．５秒である。視野２°の８Ｋ超高精細システム（４０００行のそれぞれに８０００個のピクセルを有する）の場合、立体視覚化カメラ３００の分解能は約１秒である。これは、左右のビューのＺＲＰが１ピクセル又は１秒まで位置合わせし得ることを意味する。これは、分オーダの疑似視差を有する既知のデジタル顕微鏡外科システムよりもはるかに精密である。

【0310】

４．疑似視差の他の原因の低減
上記例は、一例の立体視覚化カメラ３００が、ＺＲＰ及び／又は左右の画像自体の位置合わせずれの結果としての疑似視差をいかに低減するかを考察している。立体視覚化カメラ３００は、疑似視差の他の原因を低減するように構成することもできる。例えば、立体視覚化カメラ３００は、略同じ瞬間に画像を記録するように左右の光学画像センサ７４６及び７４８を同時にクロッキングすることによる動きに起因した疑似視差を低減し得る。

【0311】

一例の立体視覚化カメラ３００は、左右の光路間の倍率が異なることに起因した疑似視差を低減することもできる。例えば、立体視覚化カメラ３００は、左光路に基づいて倍率レベルを設定し得る。立体視覚化カメラ３００は次に、右画像の倍率が左に合うように自動調整を行い得る。例えば、プロセッサ１５６２は画像データを使用して、例えば、左右の画像に共通する特定の特徴間のピクセル数を測定することにより制御パラメータを計算し得る。次に、プロセッサ１５６２は、デジタルスケーリング、補間ピクセルの挿入、及び／又は無関係ピクセルの削除により左右の画像の倍率レベルを等化し得る。一例のプロセッサ１５６２及び／又はグラフィックス処理ユニット１５６４は、倍率が左画像に一致するように右画像を再レンダリングし得る。追加又は代替として、立体視覚化カメラ３００は、左右の光学要素１４０２の独立調整を含み得る。プロセッサ１５６２は、左右の光学要素１４０２を別個に制御して、同じ倍率を達成し得る。幾つかの例では、プロセッサ１５６２はまず、例えば、左倍率レベルを設定し、次に、右光学要素１４０２を別個に調整して、同じ倍率レベルを達成し得る。

【0312】

一例の立体視覚化カメラ３００は、フォーカスが異なることに起因する疑似視差を更に低減し得る。一例では、プロセッサ１５６２は、所与の倍率及び／又は作業距離での角光路の最良フォーカスを決定するプログラム１５６０を実行し得る。プロセッサ１５６２はまず、最良分解能ポイントへの光学要素１４０２のフォーカスを実行する。次に、プロセッサ１５６２は、適する非物体平面位置におけるＯＯＦ状況をチェックし、左右の画像のフォーカスを一致させ得る。次に、プロセッサ１５６２は、最良分解能でのフォーカスを再チェックし、左右両方の光学要素１４０２が物体平面上及び物体背面から離れての両方で十分に等しくフォーカスするまで、フォーカスを繰り返し調整する。

【0313】

一例のプロセッサ１５６２は、左右の画像の一方又は両方のフォーカスに関連する信号をモニタすることにより最適なフォーカスを測定し検証し得る。例えば、左右の画像の「鮮鋭度」信号がグラフィックス処理ユニット１５６４により同時に及び／又は同期して生成される。信号は、フォーカス変更につれて変化し、画像分析プログラム、エッジ検出分析プログラム、パターン強度のフーリエ変換の帯域幅プログラム、及び／又は変調伝達関数（「ＭＴＦ」）測定プログラムから特定し得る。プロセッサ１５６２は、鮮鋭画像を示す最大信号をモニタしながら、光学要素１４０２のフォーカスを調整する。

【0314】

ＯＯＦ状況を最適化するために、プロセッサ１５６２は、左右両方画像の鮮鋭信号をモニタし得る。フォーカスが物体平面から動き、例えば、左画像に関連する信号が増大するが、右画像に関連する信号が低減する場合、プロセッサ１５６２は、光学要素１４０２がフォーカスからずれて移動していると判断するように構成される。しかしながら、左右両方の画像に関連する信号が比較的高く、概ね等しい場合、プロセッサ１５６２は、光学要素１４０２がフォーカスのために適宜位置決めされていると判断するように構成される。

【0315】

５．低疑似視差の利点
一例の立体視覚化カメラ３００は、左右の画像間の疑似視差が低い結果として、既知のデジタル外科用顕微鏡よりも優れた幾つかの利点を有する。例えば、略完全に位置合わせされた左右の画像は、外科医に略完全な立体表示を生成し、それにより、目の疲労を低減する。これにより、立体視覚化カメラ３００を面倒な器具ではなく外科医の目の延長として使用することが可能になる。

【0316】

別の例では、精密に位置合わせされた左右の画像により、術部の正確な測定をデジタル撮影することができる。例えば、適切なサイズのＩＯＬを決定し、正確に移植することができるように、患者の目の水晶体包のサイズを測定し得る。別の場合、赤外線蛍光オーバーレイを融合画像に正確に配置することができるように、動いている血管の動きを測定し得る。ここで、実際の移動速度は一般に、外科医の関心ではないが、オーバーレイ画像の配置及びリアルタイム位置合わせにとって重要である。重ねられた画像の適宜一致したスケール、位置合わせ、及び視点は全て、正確に有用された結合ライブ立体画像及び交互モード画像の提供にとって重要である。

【0317】

幾つかの例では、プロセッサ１５６２は、オペレータがディスプレイモニタ５１２上で測定パラメータを描画できるようにし得る。プロセッサ１５６２は画面に描画された座標を受信し、それに従ってその座標を立体画像に変換する。プロセッサ１５６２は、ディスプレイモニタ５１２に描画された定規を立体画像に示される倍率レベルにスケーリングすることにより測定値を特定し得る。プロセッサ１５６２により行われる測定には、立体ディスプレイに表示される２つ又は３つの位置のポイント間測定、ポイントツーサーフェス測定、サーフェス特徴付け測定、ボリューム特定測定、速度検証測定、座標変換、機器及び／又は組織追跡等がある。

【0318】

本開示の追加の態様
本明細書に記載される趣旨の態様は、単独で又は本明細書に記載される１つ若しくは複数の他の態様と組み合わせて有用であり得る。上記説明を限定せずに、本開示の第１の態様では、立体撮像装置は、標的部位の同時に記録される第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成される。一例の装置は、第１の光路に沿って位置決めされ、（ｉ）第１の光路に沿ってｚ方向に移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズ及び（ｉｉ）第１の光路内の光から標的部位の第１の画像ストリームを記録する第１の画像センサを含む第１の光学要素を含む。一例の装置は、第１の光路に平行する第２の光路に沿って位置決めされ、（ｉ）第２の光路に沿ってｚ方向に移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズ及び（ｉｉ）第２の光路内の光から標的部位の第２の画像ストリームを記録する第２の画像センサ及び（ｉｉ）を含む第２の光学要素も含む。一例の装置は、第１のズーム反復点（「ＺＲＰ」）の位置を特定することであって、第１の画像ストリームの記録中、第１のズームレンズをｚ方向に沿って移動させ、第１の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第１の部分を見つけ、第１の画像ストリームの画像のうちの少なくとも１つ内の原点と、エリアの第１の部分との間の第１の距離を第１のＺＲＰの位置として特定することにより、特定するように構成されたプロセッサを更に含む。一例のプロセッサは、第１の距離を使用して、第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定することであって、第１のＺＲＰは第１のピクセルセットの中心に配置される、第１の画像センサの第１のピクセルセットからの画像と位置合わせされた画像を含む、第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定することと、第２のＺＲＰの位置を特定することであって、第２の画像ストリームの記録中、第２のレンズをｚ方向に沿って移動させ、第２の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第２の部分を見つけ、第２のＺＲＰの位置として、第２のピクセルセットの中心とエリアの第２の部分との間の第２の距離を特定することとを行うようにも構成される。一例のプロセッサは、特定された第２の距離に基づいて、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて第２の複数のレンズの１枚又は第２の画像センサを調整することであって、それにより、第２のＺＲＰを第２のピクセルセットの中心と位置合わせさせる、調整することを行うように更に構成される。

【0319】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２の態様によれば、第２の複数のレンズの１つは、第２のズームレンズである。

【0320】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第３の態様によれば、プロセッサは、較正点としてルックアップテーブルに、第１のピクセルグリッドに対する第１のピクセルセットの第１の座標、第２のピクセルグリッドに対する第２のピクセルセットの第２の座標、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて調整された第２の複数のレンズの１つの位置、並びに第１のズームレンズ及び第２のズームレンズの倍率レベルを記憶するように構成される。

【0321】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第４の態様によれば、プロセッサは、立体撮像装置の使用中、第１のズームレンズ及び第２のズームレンズが倍率レベルに移動する際、ルックアップテーブルを使用して、第１の画像センサの第１のピクセルセット及び第２の画像センサの第２のピクセルセットを選択するように構成される。

【0322】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第５の態様によれば、プロセッサは、異なる倍率レベルで第１のＺＲＰ及び第２のＺＲＰを位置特定することと、異なる倍率レベルでの較正点としてルックアップテーブルに、各倍率レベルでの第１のピクセルグリッドに対する第１のピクセルセットの第１の座標、各倍率レベルでの第２のピクセルグリッドに対する第２のピクセルセットの第２の座標、各倍率レベルでのｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて調整された第２の複数のレンズの１つの位置、並びに第１のズームレンズ及び第２のズームレンズの倍率レベルを記憶することとを行うように構成される。

【0323】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第６の態様によれば、プロセッサは、移動量として、第２のＺＲＰを第２の原点と位置合わせさせるために第２の複数のレンズの１つがｘ方向、ｙ方向、及びチルト方向において調整された量及び方向を記録するように構成される。

【0324】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第７の態様によれば、プロセッサは、第１の画像ストリームの記録中、第１の倍率レベルから、第１の倍率の２倍である第２の倍率レベルに第１のズームレンズを移動させるように構成され、プロセッサは、第２の画像ストリームの記録中、第１の倍率レベルから第２の倍率レベルに第２のズームレンズを移動させるように構成される。

【0325】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第８の態様によれば、第１の距離は、原点に対する第１のＺＲＰの座標を含む。

【0326】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第９の態様によれば、標的部位は、図特徴を有するテンプレート、患者の術部、及び視覚的に区別可能な特徴を有するグリッドの少なくとも１つを含む。

【0327】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１０の態様によれば、テンプレートは、ブルズアイ、波動パターン、及び呼吸計パターンの少なくとも１つを含む。

【0328】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１１の態様によれば、プロセッサは、ｚ方向に沿った第１のレンズの移動の量に基づいてスケーリングされた第２の倍率レベルにおいて第１のレンズの移動の終わりに記録された画像から、合成標的部位画像を作成することと、ｘ方向及びｙ方向における移動量に基づいて、第１のＺＲＰの位置を特定し、ｚ方向に沿った第１のレンズの移動前、第１の倍率レベルで記録された標的部位画像に合成標的部位画像を位置合わせすることとを行うように構成される。

【0329】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１２の態様によれば、立体撮像装置は、標的部位の同時に記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成される。一例の装置は、第１の光路に沿って位置決めされ、（ｉ）第１の光路に沿ってｚ方向に移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズ及び（ｉｉ）第１の光路内の光から標的部位の第１の画像ストリームを記録する第１の画像センサを含む第１の光学要素を含む。一例の装置は、第１の光路に平行する第２の光路に沿って位置決めされ、（ｉ）第２の光路に沿ってｚ方向に移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズ及び（ｉｉ）第２の光路内の光から標的部位の第２の画像ストリームを記録する第２の画像センサを含む第２の光学要素も含む。一例の装置は、プロセッサであって、第１の画像ストリーム内の第１のズーム反復点（「ＺＲＰ」）の位置を特定することと、第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定することであって、第１のＺＲＰは第１のピクセルセットの中心に配置される、特定することと、第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定することであって、第２のピクセルセットからの画像は、第１のピクセルセットからの画像と視覚的に位置合わせされる、特定することとを行うように構成されるプロセッサを更に含む。

【0330】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１３の態様によれば、装置は、標的部位上の焦点面に作業距離を設定し、標的部位から光を受け取るように構成された主体物レンズ組立体を更に含み、第１の複数のレンズは、主対物レンズ組立体により受け取られた光から第１の光路を画定するように構成された第１の前部レンズと、第１の画像センサに第１の光路を集束させるように構成された第１の最終光学要素とを含み、第２の複数のレンズは、主対物レンズ組立体により受け取られた光から第２の光路を画定するように構成された第２の前部レンズと、第１の画像センサに第２の光路を集束させるように構成された第２の最終光学要素とを含む。

【0331】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１４の態様によれば、プロセッサは、第２のピクセルセットを特定する前、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて第２の複数のレンズの１つ又は第２の画像センサを調整して、第２のＺＲＰを第２の画像センサ内の原点と位置合わせさせるように更に構成される。

【0332】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１５の態様によれば、第２の前部レンズ及び第２の最終光学要素の少なくとも一方は、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて調整される第２の複数のレンズの１つである。

【0333】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１６の態様によれば、装置は、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて調整される第２の複数のレンズの１つ又は第２の画像センサに接続される屈曲部を更に含み、屈曲部は、第２の複数のレンズの１つ又は第２の画像センサを調整するために屈曲部の梁を移動させるように構成されたアクチュエータに機械的に接続される。

【0334】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１７の態様によれば、装置は、可視光源、近赤外線（ＮＩＲ）光源、及び近紫外線（ＮＵＶ）光源を更に含む。

【0335】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１８の態様によれば、可視光源及びＮＩＲ光源は、主対物レンズ組立体と偏向要素との間に配置され、ＮＵＶ光源は、ＮＵＶ光源から送られたＮＵＶ光が、ＮＵＶ光の一部が主対物レンズ組立体に達して、標的部位に伝搬する前、偏向要素に接触するように、偏向要素の背後に配置される。

【0336】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第１９の態様によれば、装置は、蛍光からの放射波長に干渉するＮＩＲ光源及びＮＵＶ光源からの光波長の一部をそれぞれブロックするように構成された２つのローパス励起フィルタを更に含む。

【0337】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２０の態様によれば、装置は、可視光源と併せて使用されて、可視光が第１の画像センサ及び第２の画像センサを透過できるようにするように構成された赤外線遮断フィルタと、ＮＵＶ光源と併せて使用されて、特定の近紫外線波長の光が第１の画像センサ及び第２の画像センサを透過しないようにブロックするように構成された近紫外線遮断フィルタと、ＮＩＲ光源及び可視光源と併せて使用されて、特定の近赤外線波長の光が第１の画像センサ及び第２の画像センサを透過できるようにするように構成された近赤外線バンドパスフィルタとを更に含む。

【0338】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２１の態様によれば、プロセッサは、第１のピクセルセットから記録された第１の画像及び第２のピクセルセットから記録された第２の画像を合成することと、第１の画像及び第２の画像を立体ディスプレイにレンダリングすることと、レンダリングされた第１の画像及び第２の画像を少なくとも１つのディスプレイモニタに送信することとを行うように構成される。

【0339】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２２の態様によれば、レンダリングされた第１の画像及び第２の画像は、標的部位の三次元立体ビュー及び第１の画像が第２の画像に位置合わせされ重ねられたビューの少なくとも１つを提供する。

【0340】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２３の態様によれば、装置は、第１の光学要素、第２の光学要素、及びプロセッサを囲むように構成された筐体を更に含み、筐体は、幅２０ｃｍ〜２２ｃｍ、長さ２３ｃｍ〜２７ｃｍ、及び高さ１３ｃｍ〜１７ｃｍを有する。

【0341】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２４の態様によれば、第１の光路は、瞳孔間距離だけ第２の光路から隔てられる。

【0342】

別段のことが記載される場合を除き、本明細書に列挙される任意の他の態様と組み合わせて使用し得る本開示の第２５の態様によれば、第１のズームレンズは、ｚ方向に沿った位置に固定されながら、第１の画像ストリームのサイズを変更するように構成され、第２のズームレンズは、ｚ方向に沿った位置に固定されながら、第２の画像ストリームのサイズを変更するように構成される。

【0343】

本開示の２６番目の態様によれば、図３〜図３２と組み合わせて示され説明された任意の構造及び機能は、図３〜図３２のうちの他の任意の図及び先の態様の任意の１つ又は複数と組み合わせて示され説明された任意の構造及び機能と組み合わせて使用し得る。

【0344】

したがって、上記態様及び本明細書における開示に鑑みて、本開示の利点は、自己充足型であり、外部の顕微鏡光学要素に頼らない立体視覚化プラットフォーム及びカメラを提供することである。

【0345】

本開示の別の利点は、標的部位の同時に取得又は記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減することである。

【0346】

結論
本明細書に記載されたシステム、構造、方法、及び手順のそれぞれが、１つ又は複数のコンピュータプログラム又は構成要素を使用して実施し得ることが理解されよう。これらのプログラム及び構成要素は、ランダムアクセスメモリ（「ＲＡＭ」）、読み取り専用メモリ（「ＲＯＭ」）、フラッシュメモリ、磁気又は光学ディスク、光学メモリ、又は他の記憶媒体、並びにそれらの組合わせ及び派生物を含め、任意の従来のコンピュータ可読媒体上の一連のコンピュータ命令として提供し得る。命令は、プロセッサにより実行されるように構成し得、プロセッサは、一連のコンピュータ命令を実行すると、開示された方法及び手順の全て又は一部を実行するか、又は実行を促進する。

【0347】

本明細書に記載された実施形態例への様々な変更及び変形が当業者には明らかになることを理解されたい。そのような変更及び変形は、本趣旨及び範囲から逸脱せずに、意図される利点を低減せずに行うことができる。したがって、そのような変更及び変形が添付の特許請求の範囲によって包含されることが意図される。さらに、現在の米国法と一致して、「手段」又は「ステップ」が請求項において明示的に記載される場合を除き、米国特許法第１１２条（ｆ）又はＡＩＡ改正前米国特許法第１１２条第６段落の発動が意図されないことを理解されたい。したがって、請求項は、本明細書に記載される対応する構造、材料、若しくは動作、又はそれらの均等物への限定を意図されない。
なお、本発明の実施形態には、上述のとおり下記のものが含まれる。
〔実施形態１〕
標的部位の同時に記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成された立体撮像装置であって、
第１の光路に沿って位置決めされ、（ｉ）前記第１の光路に沿ってｚ方向に移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズ及び（ｉｉ）前記第１の光路内の光から前記標的部位の前記第１の画像ストリームを記録する第１の画像センサを含む第１の光学要素と、
前記第１の光路に平行する第２の光路に沿って位置決めされ、（ｉ）前記第２の光路に沿ってｚ方向に移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズ及び（ｉｉ）前記第２の光路内の光から前記標的部位の前記第２の画像ストリームを記録する第２の画像センサを含む第２の光学要素と、
プロセッサと、
を備え、
前記プロセッサは、
第１のズーム反復点（「ＺＲＰ」）の位置を特定することであって、
前記第１の画像ストリームの記録中、前記第１のズームレンズを前記ｚ方向に沿って移動させ、
前記第１の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第１の部分を見つけ、
前記第１の画像ストリームの画像のうちの少なくとも１つ内の原点と、前記エリアの前記第１の部分との間の第１の距離を前記第１のＺＲＰの位置として特定する
ことにより、特定することと、
前記第１の距離を使用して、前記第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定することであって、前記第１のＺＲＰは前記第１のピクセルセットの中心に配置される、特定することと、
前記第１の画像センサの前記第１のピクセルセットからの画像と位置合わせされた画像を含む、前記第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定することと、
第２のＺＲＰの位置を特定することであって、
前記第２の画像ストリームの記録中、前記第２のレンズを前記ｚ方向に沿って移動させ、
前記第２の画像ストリームの画像内のｘ方向又はｙ方向に移動しないエリアの第２の部分を見つけ、
前記第２のＺＲＰの位置として、前記第２のピクセルセットの中心と前記エリアの前記第２の部分との間の第２の距離を特定する
ことにより、特定することと、
前記特定された第２の距離に基づいて、前記ｘ方向、前記ｙ方向、及びチルト方向の少なくとも１つにおいて前記第２の複数のレンズの１つ又は前記第２の画像センサを調整することであって、それにより、前記第２のＺＲＰを前記第２のピクセルセットの前記中心と位置合わせさせる、調整することと、
を行うように構成される、立体撮像装置。
〔実施形態２〕
前記第２の複数のレンズの前記１つは、前記第２のズームレンズである、実施形態１に記載の立体撮像装置。
〔実施形態３〕
前記プロセッサは、較正点としてルックアップテーブルに、前記第１のピクセルグリッドに対する前記第１のピクセルセットの第１の座標、前記第２のピクセルグリッドに対する前記第２のピクセルセットの第２の座標、前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整された前記第２の複数のレンズの前記１つの位置、並びに前記第１のズームレンズ及び前記第２のズームレンズの倍率レベルを記憶するように構成される、実施形態１又は２に記載の立体撮像装置。
〔実施形態４〕
前記プロセッサは、前記立体撮像装置の使用中、前記第１のズームレンズ及び前記第２のズームレンズが前記倍率レベルに移動する際、前記ルックアップテーブルを使用して、前記第１の画像センサの前記第１のピクセルセット及び前記第２の画像センサの前記第２のピクセルセットを選択するように構成される、実施形態３に記載の立体撮像装置。
〔実施形態５〕
前記プロセッサは、
異なる倍率レベルで前記第１のＺＲＰ及び前記第２のＺＲＰを位置特定することと、
前記異なる倍率レベルでの較正点として前記ルックアップテーブルに、各倍率レベルでの前記第１のピクセルグリッドに対する前記第１のピクセルセットの第１の座標、各倍率レベルでの前記第２のピクセルグリッドに対する前記第２のピクセルセットの第２の座標、各倍率レベルでの前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整された前記第２の複数のレンズの前記１つの位置、並びに前記第１のズームレンズ及び前記第２のズームレンズの倍率レベルを記憶することと、
を行うように構成される、実施形態３に記載の立体撮像装置。
〔実施形態６〕
前記プロセッサは、移動量として、前記第２のＺＲＰを前記第２の原点と位置合わせさせるために前記第２の複数のレンズの前記１つが前記ｘ方向、前記ｙ方向、及び前記チルト方向において調整された量及び方向を記録するように構成される、実施形態１、２、又は４に記載の立体撮像装置。
〔実施形態７〕
前記プロセッサは、前記第１の画像ストリームの前記記録中、第１の倍率レベルから、前記第１の倍率の２倍である第２の倍率レベルに前記第１のズームレンズを移動させるように構成され、
前記プロセッサは、前記第２の画像ストリームの前記記録中、前記第１の倍率レベルから前記第２の倍率レベルに前記第２のズームレンズを移動させるように構成される、実施形態１、２、及び４のいずれか一項に記載の立体撮像装置。
〔実施形態８〕
前記第１の距離は、前記原点に対する前記第１のＺＲＰの座標を含む、実施形態１、２、及び４のいずれか一項に記載の立体撮像装置。
〔実施形態９〕
前記標的部位は、図特徴を有するテンプレート、患者の術部、及び視覚的に区別可能な特徴を有するグリッドの少なくとも１つを含む、実施形態１、２、及び４のいずれか一項に記載の立体撮像装置。
〔実施形態１０〕
前記テンプレートは、ブルズアイ、波動パターン、及び呼吸計パターンの少なくとも１つを含む、実施形態９に記載の立体撮像装置。
〔実施形態１１〕
前記プロセッサは、
前記ｚ方向に沿った前記第１のレンズの前記移動の量に基づいてスケーリングされた第２の倍率レベルにおいて前記第１のレンズの移動の終わりに記録された画像から、合成標的部位画像を作成することと、
前記ｘ方向及び前記ｙ方向における移動量に基づいて、前記第１のＺＲＰの位置を特定し、前記ｚ方向に沿った前記第１のレンズの前記移動前、第１の倍率レベルで記録された標的部位画像に前記合成標的部位画像を位置合わせすることと、
を行うように構成される、実施形態１、２、４、及び９のいずれか一項に記載の立体撮像装置。
〔実施形態１２〕
標的部位の同時に記録された第１の画像ストリームと第２の画像ストリームとの間の疑似視差を低減するように構成された立体撮像装置であって、
第１の光路に沿って位置決めされ、（ｉ）前記第１の光路に沿ってｚ方向に移動可能であるように構成された第１のズームレンズを含む第１の複数のレンズ及び（ｉｉ）前記第１の光路内の光から前記標的部位の前記第１の画像ストリームを記録する第１の画像センサを含む第１の光学要素と、
前記第１の光路に平行する第２の光路に沿って位置決めされ、（ｉ）前記第２の光路に沿ってｚ方向に移動可能であるように構成された第２のズームレンズを含む第２の複数のレンズ及び（ｉｉ）前記第２の光路内の光から前記標的部位の前記第２の画像ストリームを記録する第２の画像センサを含む第２の光学要素と、
プロセッサと、
を備え、
前記プロセッサは、
前記第１の画像ストリーム内の第１のズーム反復点（「ＺＲＰ」）の位置を特定することと、
前記第１の画像センサの第１のピクセルグリッドの第１のピクセルセットを特定することであって、前記第１のＺＲＰは前記第１のピクセルセットの中心に配置される、特定することと、
前記第２の画像センサの第２のピクセルグリッドの第２のピクセルセットを特定することであって、前記第２のピクセルセットからの画像は、前記第１のピクセルセットからの画像と視覚的に位置合わせされる、特定することと、
を行うように構成される、立体撮像装置。
〔実施形態１３〕
前記標的部位上の焦点面に作業距離を設定し、前記標的部位から光を受け取るように構成された主体物レンズ組立体
を更に備え、
前記第１の複数のレンズは、前記主対物レンズ組立体により受け取られた前記光から前記第１の光路を画定するように構成された第１の前部レンズと、前記第１の画像センサに前記第１の光路を集束させるように構成された第１の最終光学要素とを含み、
前記第２の複数のレンズは、前記主対物レンズ組立体により受け取られた前記光から前記第２の光路を画定するように構成された第２の前部レンズと、前記第１の画像センサに前記第２の光路を集束させるように構成された第２の最終光学要素とを含む、実施形態１２に記載の立体撮像装置。
〔実施形態１４〕
前記プロセッサは、前記第２のピクセルセットを特定する前、ｘ方向、ｙ方向、及びチルト方向の少なくとも１つにおいて前記第２の複数のレンズの１つ又は前記第２の画像センサを調整して、第２のＺＲＰを前記第２の画像ストリーム内の原点と位置合わせさせるように更に構成される、実施形態１２又は１３に記載の立体撮像装置。
〔実施形態１５〕
前記第２の前部レンズ及び前記第２の最終光学要素の少なくとも一方は、前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整される前記第２の複数のレンズの前記１つである、実施形態１４に記載の立体撮像装置。
〔実施形態１６〕
前記ｘ方向、前記ｙ方向、及び前記チルト方向の少なくとも１つにおいて調整される前記第２の複数のレンズの前記１つ又は前記第２の画像センサに接続される屈曲部を更に備え、前記屈曲部は、前記第２の複数のレンズの前記１つ又は前記第２の画像センサを調整するために前記屈曲部の梁を移動させるように構成されたアクチュエータに機械的に接続される、実施形態１４に記載の立体撮像装置。
〔実施形態１７〕
可視光源、近赤外線（ＮＩＲ）光源、及び近紫外線（ＮＵＶ）光源を更に備える、実施形態１３又は１５に記載の立体撮像装置。
〔実施形態１８〕
前記可視光源及び前記ＮＩＲ光源は、前記主対物レンズ組立体と偏向要素との間に配置され、
前記ＮＵＶ光源は、前記ＮＵＶ光源から送られたＮＵＶ光が、前記ＮＵＶ光の一部が前記主対物レンズ組立体に達して、前記標的部位に伝搬する前、前記偏向要素に接触するように、前記偏向要素の背後に配置される、実施形態１７に記載の立体撮像装置。
〔実施形態１９〕
蛍光からの放射波長に干渉する前記ＮＩＲ光源及び前記ＮＵＶ光源からの光波長の一部をそれぞれブロックするように構成された２つのローパス励起フィルタを更に備える、実施形態１８に記載の立体撮像装置。
〔実施形態２０〕
前記可視光源と併せて使用されて、可視光が前記第１の画像センサ及び前記第２の画像センサを透過できるようにするように構成された赤外線遮断フィルタと、
前記ＮＵＶ光源と併せて使用されて、特定の近紫外線波長の光が前記第１の画像センサ及び前記第２の画像センサを透過しないようにブロックするように構成された近紫外線遮断フィルタと、
前記ＮＩＲ光源及び前記可視光源と併せて使用されて、特定の近赤外線波長の光が前記第１の画像センサ及び前記第２の画像センサを透過できるようにするように構成された近赤外線バンドパスフィルタと、
を更に備える、実施形態１８に記載の立体撮像装置。
〔実施形態２１〕
前記プロセッサは、
前記第１のピクセルセットから記録された第１の画像及び前記第２のピクセルセットから記録された第２の画像を合成することと、
前記第１の画像及び前記第２の画像を立体ディスプレイにレンダリングすることと、
前記レンダリングされた第１の画像及び第２の画像を少なくとも１つのディスプレイモニタに送信することと、
を行うように構成される、実施形態１２又は２０に記載の立体撮像装置。
〔実施形態２２〕
前記レンダリングされた第１の画像及び第２の画像は、
前記標的部位の三次元立体ビュー及び
前記第１の画像が前記第２の画像に位置合わせされ重ねられたビュー
の少なくとも１つを提供する、実施形態１２、２０、又は２１に記載の立体撮像装置。
〔実施形態２３〕
前記第１の光学要素、前記第２の光学要素、及び前記プロセッサを囲むように構成された筐体
を更に備え、
前記筐体は、幅２０ｃｍ〜２２ｃｍ、長さ２３ｃｍ〜２７ｃｍ、及び高さ１３ｃｍ〜１７ｃｍを有する、実施形態１２又は２０に記載の立体撮像装置。
〔実施形態２４〕
前記第１の光路は、瞳孔間距離だけ前記第２の光路から隔てられる、実施形態１２、２０、又は２１に記載の立体撮像装置。
〔実施形態２５〕
前記第１のズームレンズは、前記ｚ方向に沿った位置に固定されながら、前記第１の画像ストリームのサイズを変更するように構成され、前記第２のズームレンズは、前記ｚ方向に沿った位置に固定されながら、前記第２の画像ストリームのサイズを変更するように構成される、実施形態１２、２０、又は２１に記載の立体撮像装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】