特許 6609616 マルチポートの視点からの手術シーンの定量的な３次元イメージング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6609616

(24)【登録日】2019年11月1日

(45)【発行日】2019年11月20日

(54)【発明の名称】マルチポートの視点からの手術シーンの定量的な３次元イメージング

(51)【国際特許分類】

   A61B 1/00 20060101AFI20191111BHJP

   A61B 1/045 20060101ALI20191111BHJP

   A61B 34/35 20160101ALI20191111BHJP

   H04N 13/243 20180101ALI20191111BHJP

【ＦＩ】

   A61B1/00 522

   A61B1/045 610

   A61B1/00 620

   A61B34/35

   H04N13/243

【請求項の数】26

【全頁数】41

(21)【出願番号】特願2017-502953(P2017-502953)

(86)(22)【出願日】2015年3月28日

(65)【公表番号】特表2017-518148(P2017-518148A)

(43)【公表日】2017年7月6日

(86)【国際出願番号】US2015023217

(87)【国際公開番号】WO2015149046

(87)【国際公開日】20151001

【審査請求日】2018年3月20日

(31)【優先権主張番号】61/971,749

(32)【優先日】2014年3月28日

(33)【優先権主張国】US

(31)【優先権主張番号】62/096,525

(32)【優先日】2014年12月23日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】パネスク，ドリン

(72)【発明者】

【氏名】ジョーンズ，ダニエル エイチ

【審査官】 ▲高▼ 芳徳

(56)【参考文献】

【文献】 特開平０９−０９８９８５（ＪＰ，Ａ）

【文献】 特開平０７−２４０９４５（ＪＰ，Ａ）

【文献】 特開２００２−０２７５０２（ＪＰ，Ａ）

【文献】 特表２０１２−５２９９７０（ＪＰ，Ａ）

【文献】 特表２００６−５１５１２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０２５００８１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０２５９１０２（ＵＳ，Ａ１）

【文献】 特開平１０−２３４６６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００１／００３９４２１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ − １／３２

Ａ６１Ｂ ３４／００ − ３４／３７

Ｈ０４Ｎ １３／００ − １３／３９８

(57)【特許請求の範囲】

【請求項1】

手術シーンの３Ｄ撮像システムであって、当該システムは、
体腔内の解剖学的構造を撮像するように動作可能な定量的な３次元（Ｑ３Ｄ）内視鏡であって、該Ｑ３Ｄ内視鏡は、前記Ｑ３Ｄ内視鏡に隣接する視野を撮像するために配置された少なくとも３つの撮像センサを含む画像センサアレイを有しており、前記少なくとも３つの撮像センサは、同一平面上の重なり合う視野を有する、Ｑ３Ｄ内視鏡と、
前記Ｑ３Ｄ内視鏡を第１のポートを介して、及びその後少なくとも第２のポートを介して挿入するように構成された少なくとも１つのマニピュレータであって、前記第１のポート及び前記第２のポートのそれぞれは、前記体腔へのアクセスを提供する、少なくとも１つのマニピュレータと、
少なくとも１つのプロセッサと、有しており、
該少なくとも１つのプロセッサは、
前記第１のポートにおいて前記内視鏡で取り込んだ第１の画像に基づいて、第１のＱ３Ｄモデルを生成し、
前記第２のポートにおいて前記内視鏡で取り込んだ第２の画像に基づいて、第２のＱ３Ｄモデルを生成し、
前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを一緒に組み合わせるように構成され、
前記一緒に組み合わせることは、
前記内視鏡が前記第１のポートにあるときに、第１の座標系に対する前記内視鏡の第１の位置を決定すること、
前記内視鏡が前記第２のポートにあるときに、第２の座標系に対する前記内視鏡の第２の位置を決定すること、
前記内視鏡の前記第１の位置と前記内視鏡の前記第２の位置との間の運動学的関係を用いて、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを整列させることを含む、
システム。

【請求項2】

手術シーンの３Ｄ撮像システムであって、当該システムは、
体腔内の解剖学的構造を撮像するように動作可能な定量的な３次元（Ｑ３Ｄ）内視鏡であって、該Ｑ３Ｄ内視鏡は、前記Ｑ３Ｄ内視鏡に隣接する視野を撮像するために配置された少なくとも３つの撮像センサを含む画像センサアレイを有しており、前記少なくとも３つの撮像センサは、同一平面上の重なり合う視野を有する、Ｑ３Ｄ内視鏡と、
前記Ｑ３Ｄ内視鏡を第１のポートを介して、及びその後少なくとも第２のポートを介して挿入するように構成された少なくとも１つのマニピュレータであって、前記第１のポート及び前記第２のポートのそれぞれは、前記体腔へのアクセスを提供する、少なくとも１つのマニピュレータと、
少なくとも１つのプロセッサと、有しており、
該少なくとも１つのプロセッサは、
前記第１のポートにおいて前記内視鏡で取り込んだ第１の画像に基づいて、第１のＱ３Ｄモデルを生成し、
前記第２のポートにおいて前記内視鏡で取り込んだ第２の画像に基づいて、第２のＱ３Ｄモデルを生成し、
前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを一緒に組み合わせるように構成され、
前記一緒に組み合わせることは、
前記第１及び前記第２のＱ３Ｄモデル内の共通の基準点を特定すること、
該特定された共通の基準点を整列させるように、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルの相対位置を互いに幾何学的に変換することを含む、請求項１に記載のシステム。

【請求項3】

拡張Ｑ３Ｄモデルを表示するように構成される３Ｄディスプレイをさらに含む、請求項１に記載のシステム。

【請求項4】

Ｑ３Ｄモデルを操作する手段をさらに含む、請求項１に記載のシステム。

【請求項5】

前記Ｑ３Ｄモデルを操作する手段は、第１の手術用器具と第２の手術用器具との間の、又は手術用器具と解剖学的構造との間の距離の定量的な測定を実行するように構成される、請求項４に記載のシステム。

【請求項6】

前記少なくとも１つのマニピュレータを制御して、前記内視鏡の位置を連続する位置に微小振動させる手段をさらに含む、請求項１に記載のシステム。

【請求項7】

手術シーンの３次元（３Ｄ）撮像のためのシステムの作動方法であって、当該作動方法は、
前記システムのプロセッサが、光源によってヒトの体腔内の解剖学的構造を照明するステップと、
前記プロセッサが、マニピュレータに結合された定量的な３次元（Ｑ３Ｄ）内視鏡を、体腔へのアクセスを提供する第１のポートを介して挿入し、前記解剖学的構造の第１の部分を撮像するステップであって、前記Ｑ３Ｄ内視鏡は、該Ｑ３Ｄ内視鏡に隣接する視野を撮像するために配置された少なくとも３つの撮像センサを含む画像センサアレイを有しており、前記少なくとも３つの撮像センサは、同一平面上の重なり合う視野を有する、撮像するステップと、
前記プロセッサが、第１の画像を取り込むステップと、
前記プロセッサが、前記第１の画像に基づいて、第１のＱ３Ｄモデルを生成するステップと、
前記プロセッサが、マニピュレータに結合された前記内視鏡を、同一の体腔へのアクセスを提供する第２のポートを介して挿入し、前記解剖学的構造の第２の部分を撮像するステップと、
前記プロセッサが、第２の画像を取り込むステップと、
前記プロセッサが、前記第２の画像に基づいて、第２のＱ３Ｄモデルを生成するステップと、
前記プロセッサが、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを一緒に組み合わせるステップと、を含み、
前記組み合わせるステップは、
前記プロセッサが、前記内視鏡が前記第１のポートに挿入されたときに、第１の座標系に対する前記内視鏡の第１の位置を決定するステップと、
前記プロセッサが、前記内視鏡が前記第２のポートに挿入されたときに、第２の座標系に対する前記内視鏡の第２の位置を決定するステップと、
前記プロセッサが、前記内視鏡の第１の位置と前記内視鏡の第２の位置との間の運動学的関係を使用して、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを整列させるステップと、を含む、
作動方法。

【請求項8】

手術シーンの３次元（３Ｄ）撮像のためのシステムの作動方法であって、当該作動方法は、
前記システムのプロセッサが、光源によってヒトの体腔内の解剖学的構造を照明するステップと、
前記プロセッサが、マニピュレータに結合された定量的な３次元（Ｑ３Ｄ）内視鏡を、体腔へのアクセスを提供する第１のポートを介して挿入し、前記解剖学的構造の第１の部分を撮像するステップであって、前記Ｑ３Ｄ内視鏡は、該Ｑ３Ｄ内視鏡に隣接する視野を撮像するために配置された少なくとも３つの撮像センサを含む画像センサアレイを有しており、前記少なくとも３つの撮像センサは、同一平面上の重なり合う視野を有する、撮像するステップと、
前記プロセッサが、第１の画像を取り込むステップと、
前記プロセッサが、前記第１の画像に基づいて、第１のＱ３Ｄモデルを生成するステップと、
前記プロセッサが、マニピュレータに結合された前記内視鏡を、同一の体腔へのアクセスを提供する第２のポートを介して挿入し、前記解剖学的構造の第２の部分を撮像するステップと、
前記プロセッサが、第２の画像を取り込むステップと、
前記プロセッサが、前記第２の画像に基づいて、第２のＱ３Ｄモデルを生成するステップと、
前記プロセッサが、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルを一緒に組み合わせるステップと、を含み、
前記組み合わせるステップは、
前記プロセッサが、前記第１及び前記第２のＱ３Ｄモデル内の共通の基準点を特定するステップと、
前記プロセッサが、該特定された基準点を整列させるように、前記第１のＱ３Ｄモデル及び前記第２のＱ３Ｄモデルの相対位置を互いに幾何学的に変換するステップと、を含む、
作動方法。

【請求項9】

前記プロセッサが、マニピュレータに結合された前記内視鏡を同一の体腔へのアクセスを提供する第３のポートに挿入して、前記解剖学的構造の第３の部分を撮像するステップと、
前記プロセッサが、第３の画像を取り込むステップと、
前記プロセッサが、前記第３の画像に基づいて、第３の定量的な３次元（Ｑ３Ｄ）モデルを生成するステップと、
前記プロセッサが、前記第３のＱ３Ｄモデルを前記第１及び前記第２のＱ３Ｄモデルと一緒に組み合わせて、拡張Ｑ３Ｄモデルを生成するステップと、をさらに含む、請求項７に記載の作動方法。

【請求項10】

前記第１及び前記第２のＱ３Ｄモデルを組み合わせるステップは、前記プロセッサが、拡張Ｑ３Ｄモデルを生成するために、前記第１及び前記第２のＱ３Ｄモデルをステッチするステップから構成される、請求項７に記載の作動方法。

【請求項11】

前記プロセッサが、前記システム又はユーザによる更なる操作のために拡張Ｑ３Ｄモデルを保存するステップをさらに含む、請求項７に記載の作動方法。

【請求項12】

前記更なる操作のステップには、前記プロセッサによる他の器具同士の間の、又は器具と解剖学的構造との間の距離の定量的な測定が含まれる、請求項１１に記載の作動方法。

【請求項13】

前記プロセッサが、拡張Ｑ３Ｄモデルを３Ｄで表示するステップをさらに含む、請求項７に記載の作動方法。

【請求項14】

前記内視鏡は、前記ヒトの体腔外で、第１及び第２のマニピュレータの一方に最初に結合され、その後で第１及び第２のマニピュレータの他方に結合される、請求項７に記載の作動方法。

【請求項15】

前記プロセッサが、前記内視鏡を、第１及び第２のマニピュレータの一方に結合された第１のポート及び第２のポートの一方を介して最初に挿入し、その後で第１及び第２のマニピュレータの他方に結合された第１のポート及び第２のポートの他方を介して挿入する、請求項７に記載の作動方法。

【請求項16】

拡張Ｑ３Ｄモデルを表示するように構成される３Ｄディスプレイをさらに含む、請求項２に記載のシステム。

【請求項17】

Ｑ３Ｄモデルを操作する手段をさらに含む、請求項２に記載のシステム。

【請求項18】

前記Ｑ３Ｄモデルを操作する手段は、第１の手術用器具と第２の手術用器具との間の、又は手術用器具と解剖学的構造との間の距離の定量的な測定を実行するように構成される、請求項１７に記載のシステム。

【請求項19】

前記少なくとも１つのマニピュレータを制御して、前記内視鏡の位置を連続する位置に微小振動させる手段をさらに含む、請求項２に記載のシステム。

【請求項20】

前記プロセッサが、マニピュレータに結合された前記内視鏡を同一の体腔へのアクセスを提供する第３のポートに挿入して、前記解剖学的構造の第３の部分を撮像するステップと、
前記プロセッサが、第３の画像を取り込むステップと、
前記プロセッサが、前記第３の画像に基づいて、第３の定量的な３次元（Ｑ３Ｄ）モデルを生成するステップと、
前記プロセッサが、前記第３のＱ３Ｄモデルを前記第１及び前記第２のＱ３Ｄモデルと一緒に組み合わせて、拡張Ｑ３Ｄモデルを生成するステップと、をさらに含む、請求項８に記載の作動方法。

【請求項21】

前記第１及び前記第２のＱ３Ｄモデルを組み合わせるステップは、前記プロセッサが、拡張Ｑ３Ｄモデルを生成するために、前記第１及び前記第２のＱ３Ｄモデルをステッチするステップから構成される、請求項８に記載の作動方法。

【請求項22】

前記プロセッサが、前記システム又はユーザによる更なる操作のために拡張Ｑ３Ｄモデルを保存するステップをさらに含む、請求項８に記載の作動方法。

【請求項23】

前記更なる操作のステップには、前記プロセッサによる他の器具同士の間の、又は器具と解剖学的構造との間の距離の定量的な測定が含まれる、請求項２２に記載の作動方法。

【請求項24】

前記プロセッサが、拡張Ｑ３Ｄモデルを３Ｄで表示するステップをさらに含む、請求項８に記載の作動方法。

【請求項25】

前記内視鏡は、前記ヒトの体腔外で、第１及び第２のマニピュレータの一方に最初に結合され、その後で第１及び第２のマニピュレータの他方に結合される、請求項８に記載の作動方法。

【請求項26】

前記プロセッサが、前記内視鏡を、第１及び第２のマニピュレータの一方に結合された第１のポート及び第２のポートの一方を介して最初に挿入し、その後で第１及び第２のマニピュレータの他方に結合された第１のポート及び第２のポートの他方を介して挿入する、請求項８に記載の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本願は、２０１４年３月２８日に出願された、“QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES”という標題の米国仮特許出願６１／９７１，７４９号、及び２０１４年１２月２３日に出願された、“QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES FROM MULTIPORT PERSPECTIVES”という標題の米国仮特許出願６２／０９６，５２５号について優先権の利益を主張するものであり、これら文献は、その全体が参照により本明細書に組み込まれる。

【0002】

本発明は、概して、関連する画像センサを有する手術用内視鏡システムに関し、より具体的には、手術画像に表示される物理的構造の３次元座標を決定することに関する。

【背景技術】

【0003】

定量的な３次元（Q3D; Quantitative three-dimensional）ビジョンは、標的点の実際の物理的な３Ｄ座標（ｘ，ｙ，ｚ）に関する数値情報を実世界のシーンに提供する。定量的な３Ｄビジョンを用いると、使用者は、実世界シーンの３次元知覚を得ることができるだけでなく、そのシーン内の対象物の物理的な寸法及びそのシーン内の対象物同士の間の物理的距離に関する数値情報も取得することができる。過去には、シーンに関する３Ｄ情報を決定するために飛行時間(time-of-flight)に関する情報又は位相情報を使用するいくつかのＱ３Ｄシステムが提案されてきた。他Ｑ３Ｄシステムは、構造化光(structured light)を使用して、シーンに関する３次元情報を決定している。

【0004】

飛行時間情報の使用は、“CMOS-compatible three-dimensional image sensor IC”という標題の特許文献１に開示されており、この文献は、ＣＭＯＳ製造技術を用いて共通のＩＣ上に製作された２次元アレイの画素光感知検出器を含む３次元撮像システムを開示する。各検出器は、システムが放射したパルスが、対象点から反射し、その対象点に焦点が合わされた画素検出器によって検出される、時間飛行（TOF; time-of flight）に直接的に比例する数のクロックパルスを累積する関連する高速カウンタを有する。ＴＯＦデータは、特定の画素から、放射された光パルスを反射する対象物上の点までの距離の直接的なデジタル測定値を提供する。第２の実施形態では、カウンタ及び高速クロック回路が除去され、代わりに、各画素検出器には、電荷蓄積器及び電子シャッタが設けられる。シャッタは、光パルスが放射されたときに開かれ、各画素検出器が、関連する画素検出器に当たる戻り光子エネルギーの関数として電荷を蓄積するよう、然る後に閉じられる。蓄積された電荷量は、往復ＴＯＦの直接的な測定値を与える。

【0005】

時間遅延情報の使用は、“Apparatus and method for endoscopic 3D data collection”という標題の特許文献２に開示されており、この文献は、変調測定ビーム、及びこの測定ビームを観察される領域に導くための光伝達機構を開示し、ここで、光伝達機構は、少なくとも位相感知画像センサ上で観察される領域からの信号ビームを画像化する光画像化機構に加えて、照明レンズも含む。ミリメートル（ｍｍ）の範囲の深さの差に相当し得る時間遅延は、画像の生成を可能にする位相情報をもたらし、その位相情報は、深さ及び距離情報を示す。

【0006】

視覚画像内の対象物の物理的な座標を決定するための構造化光の使用は、“Endoscope”という標題の特許文献３、及び非特許文献１に開示されている。三角測量法が、表面のトポグラフィーを測定するために使用される。異なる範囲の色スペクトルを有し得る投影光線の形態の構造化光が、表面に入射され、その表面から反射される。反射された光線は、カメラによって観察され、このカメラは、反射された色スペクトル情報を使用して、その表面の３Ｄ座標を決定するように較正される。より具体的には、構造化光の使用は、典型的には、光パターンを３Ｄ表面に照射し、物理的な対象物の輪郭による光の変形パターンに基づいて、物理的な距離を決定することを含む。

【0007】

複数の画素アレイを含み、この画素アレイを使用してアレイ内の画素についてシーンの深さ情報を計算することができるイメージャ(imager)アレイカメラが構築される。高解像度（HR）画像が、複数の低解像度（LR）の画像から生成される。基準視点が選択され、その基準視点から見たＨＲ画像が生成される。視差処理技術は、基準画像の画素に対して非基準画像の画素の対応関係を決定するために、エイリアシング(aliasing)の効果を利用する。統合及び超解像が、複数の左右(LR)画像からＨＲ画像を生成するために利用される。例えば、“Capturing and Processing Images using Monolithic Camera Array with Heterogeneous Imager”という標題の特許文献４、“Systems and Methods for Determining Depth from multiple Views of a Scene that Include Aliasing using Hypothesized Fusion”という標題の特許文献５、及び非特許文献２を参照されたい。

【0008】

図１は、いくつかの実施形態による既知のイメージャ・センサ１８０の詳細を示す説明図である。イメージャ・センサ１８０は、センサ１８４の配列を含む。この配列の各センサは、各次元に少なくとも２つの画素を有する２次元配列の画素を含む。各センサは、レンズスタック１８６を含む。各レンズスタック１８６は、対応する焦点面１８８を有する。各レンズスタック１８６は、その対応する焦点面１８８に配置された画素の対応する配列上の画像を解像する個別の光チャネルを形成する。画素は、光センサとして機能し、及びその複数の画素を含む各焦点面１８８は、画像センサとして機能する。その焦点面１８８を含む各センサは、他のセンサ及び焦点面によって占有されるセンサ配列の領域とは異なるセンサ配列の領域を占める。

【0009】

図２は、センサＳ_１１〜Ｓ_３３としてラベル付けされたセンサを含む、図１のセンサ１８４の既知の配列の簡略化された平面図を示す説明図である。イメージャ・センサ配列１８４は、複数のセンサＳ_１１〜Ｓ_３３を含むように半導体チップ上に製作される。センサＳ_１１〜Ｓ_３３のそれぞれは、複数の画素（例えば、０．３２Ｍピクセル）を含み、独立した読出し制御及び画素デジタル化を含む周辺回路（図示せず）に結合される。いくつかの実施形態では、センサＳ_１１〜Ｓ_３３は、図２に示されるように、グリッド形式で配列される。他の実施形態では、センサは、非グリッド形式で配列される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブ画素オフセットを含む不規則パターンで配列してもよい。

【0010】

図１，図２のセンサ１８４の個々の画素は、マイクロレンズ画素スタックを含む。図３は、図１，図２のセンサの既知のマイクロレンズ画素スタックの説明図である。画素スタック８００は、酸化物層８０４上に位置付けされるマイクロレンズ８０２を含む。典型的には、酸化物層８０４の下に、カラーフィルタ８０６が存在し、カラーフィルタ８０６は窒化物層８０８の上方に配置され、窒化物層８０８は第２の酸化物層８１０の上に配置され、第２の酸化物層８１０は、個々の画素の活性領域８１４（典型的にはフォトダイオード）を含むシリコン層８１２の上に着座する。マイクロレンズ８０２の主な役割は、その表面に入射する光を集め、その光を小さな活性領域８１４上に集束させることである。画素開孔８１６は、マイクロレンズの広がりによって決定される。

【0011】

上述した既知のイメージャ・センサ配列アーキテクチャに関する追加情報は、（２０１０年１１月２２日に出願された）特許文献４、及び（２０１２年９月１９日に出願された）特許文献５に提供される。

【先行技術文献】

【特許文献】

【0012】

【特許文献1】米国特許第６，３２３，９４２号

【特許文献2】米国特許第８，２６２，５５９号

【特許文献3】米国特許出願公開第２０１２／０１９０９２３号明細書

【特許文献4】米国特許第８，５１４，４９１号

【特許文献5】米国特許出願公開第２０１３／００７００６０号明細書

【非特許文献】

【0013】

【非特許文献1】C. Schmalzらの“An endoscopic 3D scanner based on structured light”、Medical Image Analysis, 16 (2012) 1063-1072

【非特許文献2】K. Venkataramanらの“PiCam: An-ultra-Thin high Performance Monolithic Camera Array”

【発明の概要】

【課題を解決するための手段】

【0014】

一態様では、システム及び方法は、定量的な３次元（Ｑ３Ｄ）内視鏡を含み、この内視鏡は、体腔へのアクセスを提供する第１のポートを介して、解剖学的構造の第１の部分の第１のＱ３Ｄ画像が内視鏡の視点から取り込まれる第１の位置に挿入される。第１のＱ３Ｄモデルは、取り込んだ第１の画像に基づいて生成される。内視鏡又は第２の内視鏡は、体腔へのアクセスを提供する第２のポートを介して、解剖学的構造の第２の部分の第２の画像が取り込まれる第２の位置に挿入される。第２の定量的なＱ３Ｄモデルは、取り込んだ第２の画像に基づいて生成される。第１のＱ３Ｄモデル及び第２のＱ３Ｄモデルを一緒に組み合わせて、解剖学的構造の拡張Ｑ３Ｄモデルを生成する。拡張Ｑ３Ｄモデルは、更なる操作のために保存することができ、或いは立体視又は３次元的な態様で表示することができる。更なる操作は、他の器具同士の間の、又は器具と解剖学的構造との間の距離の定量的な測定値から構成してもよい。

【図面の簡単な説明】

【0015】

【図1】既知のイメージャ・センサの詳細を示す説明図である。

【図2】図１のイメージャ・センサの既知のセンサアレイの簡略化した平面図を示す説明図である。

【図3】図２のセンサアレイのセンサ内の画素の既知のマイクロレンズ画素スタックの説明図である。

【図4】いくつかの実施形態によるビューア３１２を介した手術シーンの視野ビューを示す説明図である。

【図5】いくつかの実施形態による１つ又は複数の機械式アームを使用して最小侵襲性外科的処置を行う遠隔操作手術システムの例示的なブロック図である。

【図6】いくつかの実施形態による図５のシステムの患者側システムの例示的な斜視図である。

【図7A】いくつかの実施形態による第１の画像取込みシステムを含む第１の内視鏡の説明図である。

【図7B】いくつかの実施形態による第２の画像取込みシステムを含む第２の内視鏡の説明図である。

【図8】いくつかの実施形態による図７Ａの第１の画像取込みシステムを含む第１の内視鏡に関連する制御ブロックを示すとともに、動作中のシステムを示す例示的なブロック図である。

【図9】いくつかの実施形態による物理的な標的の定量的な３次元位置を決定するためのプロセスを表す例示的なフロー図である。

【図10】いくつかの実施形態による標的を体系的に選択するために、図９のモジュールに略対応するプロセスの特定の詳細を示す例示的なフロー図である。

【図11】いくつかの実施形態による、複数のセンサを含み、及び例示的な３つの対象物を含む例示的な３次元の物理的世界のシーンを含む視野を有するように配置された例示的なセンサ・イメージャアレイの説明図である。

【図12】いくつかの実施形態による図１１の複数の物理的な対象物を複数のセンサ上に投影することを表す説明図である。

【図13】いくつかの実施形態による実世界のシーン内からの関心領域の選択を示す説明図である。

【図14】いくつかの実施形態による複数のセンサにおける投影画像の相対的な幾何学的オフセットに関する詳細を示す説明図である。

【図15】いくつかの実施形態による関心領域（ROI）内の指定された基準センサの投影画像と整列させるために、右にシフトされた関心領域（ROI）内のいくつかの例示的なセンサの投影画像を示す説明図である。

【図16】いくつかの実施形態による選択された標的点の複数のセンサ上への投影を示す説明図である。

【図17】いくつかの実施形態による物理的空間内の位置に配置された図１６の複数のセンサ及び選択された標的点Ｔを含むイメージャアレイの一部を示す説明図である。

【図18】いくつかの実施形態による現在選択された標的点Ｔの図１６の複数の画像センサ上への投影を示す例示的な正面図である。

【図19】いくつかの実施形態による、図１７を参照して上述したように複数のセンサに対する現在選択された標的の配置を示すとともに、各センサの候補画素のｙ方向画素オフセットを示す説明図である。

【図20】いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第１のプロセスを表す例示的なフロー図である。

【図21】いくつかの実施形態による図２０のプロセスに従って表示画面上に表示されたメニュー選択を示す説明図である。

【図22A】いくつかの実施形態による図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。

【図22B】いくつかの実施形態による図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。

【図23】いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第２のプロセスを表す例示的なフロー図である。

【図24】いくつかの実施形態による図２３のプロセスに従って表示画面上に表示されたメニュー選択を示す説明図である。

【図25A】いくつかの実施形態による異なる視点からの解剖学的構造のＱ３Ｄモデルを生成する際に使用する画像情報を取り込むために、複数の異なる位置に配置された内視鏡を示す説明図である。

【図25B】いくつかの実施形態による異なる視点からの解剖学的構造のＱ３Ｄモデルを生成する際に使用する画像情報を取り込むために、複数の異なる位置に配置された内視鏡を示す説明図である。

【図25C】いくつかの実施形態による異なる視点からの解剖学的構造のＱ３Ｄモデルを生成する際に使用する画像情報を取り込むために、複数の異なる位置に配置された内視鏡を示す説明図である。

【図26A】いくつかの実施形態による図２５Ａ〜図２５Ｃの第１、第２、及び第３の画像情報を用いて生成された第１、第２、及び第３のＱ３Ｄモデルを表す説明図である。

【図26B】いくつかの実施形態による図２５Ａ〜図２５Ｃの第１、第２、及び第３の画像情報を用いて生成された第１、第２、及び第３のＱ３Ｄモデルを表す説明図である。

【図26C】いくつかの実施形態による図２５Ａ〜図２５Ｃの第１、第２、及び第３の画像情報を用いて生成された第１、第２、及び第３のＱ３Ｄモデルを表す説明図である。

【図27】いくつかの実施形態による図２６Ａ〜図２６ＣのそれぞれのＱ３Ｄモデルの例示的な整列を示す説明図である。

【図28A】いくつかの実施形態による例示的な回転を表す説明図である。

【図28B】いくつかの実施形態による例示的な並進を表す説明図である。

【図28C】いくつかの実施形態による例示的な第２及び第３のＱ３Ｄモデルの得られた整列を表す説明図である。

【図29】いくつかの実施形態による図２５Ａ〜図２５Ｃの複数のＱ３Ｄモデルが一緒にステッチされた例示的な複合Ｑ３Ｄモデルを示す説明図である。

【図30A】いくつかの実施形態による標的領域の３つの異なる画像視点を取り込むための、３つの異なる例示的な「ジッタ」の位置の内視鏡を示す説明図である。

【図30B】いくつかの実施形態による標的領域の３つの異なる画像視点を取り込むための、３つの異なる例示的な「ジッタ」の位置の内視鏡を示す説明図である。

【図30C】いくつかの実施形態による標的領域の３つの異なる画像視点を取り込むための、３つの異なる例示的な「ジッタ」の位置の内視鏡を示す説明図である。

【図31】いくつかの実施形態による多視点Ｑ３Ｄモデルを取り込むプロセスを示すフロー図である。

【図32】いくつかの実施形態によるＱ３Ｄモデルを３Ｄディスプレイに３Ｄ視点で表示するプロセッサの詳細を示す説明図である。

【発明を実施するための形態】

【0016】

本開示の態様は、添付図面と併せて確認するとき、以下の詳細な説明から最も良く理解される。この業界の一般的な慣例に従って、様々な特徴について一定の縮尺で描いていないことを強調しておく。実際には、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小することがある。また、本開示は、様々な実施例において参照符号及び／又は記号を繰り返して使用し得る。この繰返しは、簡略化及び明確化を目的として行われており、議論される様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。

【0017】

当業者が複数の画像センサを有する手術用内視鏡システムを形成及び使用するのを可能にするために、以下の詳細な説明が提示されており、各センサは、物理的構造の３次元座標を画像センサの視野内で決定するように、他のセンサの画素アレイから分離された画素アレイを含む。実施形態に対する様々な修正は、当業者に容易に明らかとなり、及び本明細書に規定された一般的な原理は、本発明の主題の精神及び範囲から逸脱することなく、他の実施形態及び用途に適用することができる。また、以下の詳細な説明では、多くの詳細が、説明目的のために記載されている。しかしながら、当業者は、本発明の主題が、これらの特定の詳細を用いることなく実施し得ることを理解するだろう。他の例では、周知の機械部品、プロセス、及びデータ構造は、不必要な詳細によって本開示を不明瞭にしないためにブロック図の形式で示される。同一の参照符号は、異なる図面における同じアイテムの異なるビューを表すために使用され得る。以下で参照される図面のフロー図は、プロセスを表すために使用される。コンピュータシステムは、これらのプロセスの一部を実行するように設定することができる。コンピュータによって実施されるプロセスを示すフロー図内のモジュールは、これらのモジュールを参照して説明した動作を実行するための、コンピュータ・プログラムコードに従ったコンピュータシステムの構成を表す。こうして、本発明の主題は、示される実施形態に限定されるものではなく、本明細書に開示された原理及び特徴と一致する最も広い範囲が与えられるべきである。

【0018】

概要
いくつかの実施形態によれば、センサアレイを含むイメージャ(imager)は、内視鏡に関連付けられる。画像センサアレイは、複数のセンサを含み、各センサは、画素のアレイを含む。内視鏡の一部は、ヒトの体腔内に挿入され、画像センサアレイの視野内の標的対象物は、光源を用いて照明される。標的対象物の物理的な位置及び／又は寸法は、アレイの個々のセンサ上に投影された標的対象物の画像に基づいて決定される。

【0019】

図４は、いくつかの実施形態によるビューア３１２を介した手術シーンの視点ビューを示す説明図である。２つの表示要素４０１Ｒ，４０１Ｌを有するビューシステムは、良好な３Ｄビュー視点を提供することができる。手術シーン内の物理的構造の物理的寸法及び／又は位置情報を表す数値が、手術シーン画像上にオーバーレイ表示される。例えば、数値距離の値(d_Instr_Trgt)が、器具４００と標的４１０との間のシーン内に表示される。

【0020】

遠隔操作医療システム
遠隔操作は、所定の距離で機械を操作することを指す。最小侵襲性遠隔操作医療システムでは、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。外科的処置中に深さの知覚を可能にする立体視画像が、取り込まれる。いくつかの実施形態によれば、内視鏡に取り付けられ且つイメージャ・センサアレイを含むカメラシステムは、定量的な３次元情報に加えて、３次元画像を生成するために使用される色及び照明データを提供する。

【0021】

図５は、いくつかの実施形態による１つ又は複数の機械式アーム１５８を用いて最小侵襲性外科的処置を行うための遠隔操作手術システム１００の例示的なブロック図である。システム１００の態様は、遠隔操作式ロボット及び自律的に動作する機構を含む。これらの機械式アームは、大抵の場合、器具を支持する。例えば、機械式手術用アーム（例えば、中央の機械式手術用アーム１５８Ｃ）を使用して、Ｑ３Ｄ画像センサアレイに関連する内視鏡等の、立体視又は３次元手術画像取込みシステム１０１Ｃを含む内視鏡を支持することができる。機械式手術用アーム１５８Ｃは、滅菌アダプタ、クランプ、クリップ、ネジ、スロット／溝、又は他の締結機構を含み、画像取込みシステム１０１Ｃを含む内視鏡を機械式アームに機械的に固定することができる。逆に、画像取込み装置を含む内視鏡１０１Ｃは、確実に相互嵌合するように、機械式手術用アーム１５８Ｃの輪郭及び／又は構造に相補的な物理的な輪郭及び／又は構造を含むことができる。

【0022】

ユーザ又はオペレータＯ（一般的に外科医）は、マスター制御コンソール１５０において制御入力装置１６０を操作することによって、最小侵襲性外科的処置を患者Ｐに行う。オペレータは、図４を参照して上述したビューア３１２を含む立体視表示装置１６４を介して患者の体内の手術部位の画像のビデオフレームを視認することができる。コンソール１５０のコンピュータ１５１は、制御線１５９を介して遠隔操作によって制御される内視鏡手術用器具１０１Ａ〜１０１Ｃの動作を指示し、患者側システム１５２（患者側カートとも呼ばれる）を用いて器具の移動を生じさせる。

【0023】

患者側システム１５２は、１つ又は複数の機械式アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置付けセットアップアーム１５６で支持される少なくとも３つの機械式手術用アーム１５８Ａ〜１５８Ｃ（一般に、機械式手術用アーム１５８と呼ばれる）を含む。中央の機械式手術用アーム１５８Ｃは、カメラの視野内の画像のＱ３Ｄ情報の取込みに適した内視鏡カメラ１０１Ｃを支持することができる。中央部の左右側の機械式手術用アーム１５８Ａ及び１５８Ｂは、それぞれ、器具１０１Ａ及び１０１Ｂを支持することができ、これら器具は、組織を操作することができる。

【0024】

図６は、いくつかの実施形態による患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２により支持されるカートカラム１７０を有する。１つ又は複数の機械的な挿入手術用アーム／リンク１５８は、それぞれ、患者側システム１５２の位置付け部分の一部である１つ又は複数のセットアップアーム１５６に取り付けられる。ベース１７２の上の略中央位置に位置されると、カートカラム１７０は、釣合いサブシステム及び制動サブシステムの構成要素を汚染物質から保護する保護カバー１８０を含む。

【0025】

モニタ用アーム１５４を除くと、各機械式手術用アーム１５８は、器具１０１Ａ〜１０１Ｃを制御するために使用される。また、本発明の一実施形態では、各機械式手術用アーム１５８は、セットアップアーム１５６に結合され、次に、キャリッジ・ハウジング１９０に結合される。図６に示されるように、１つ又は複数の機械式手術用アーム１５８は、それぞれのセットアップアーム１５６によって支持される。

【0026】

機械式手術用アーム１５８Ａ〜１５８Ｄは、それぞれ、追跡システム及び器具の追跡により初期取得を支援するために生の未補正の運動情報を生成する１つ又は複数の変位トランスデューサ、向きセンサ、及び／又は位置センサ１８５を含むことができる。本発明のいくつかの実施形態では、器具は、変位トランスデューサ、位置センサ、及び／又は向きセンサ１８６も含むことができる。また、１つ又は複数の器具は、器具の取得及び追跡を支援するためのマーカ１８９を含むことができる。

【0027】

遠隔操作医療システムに関する更なる情報が、（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号明細書に提供される。

【0028】

内視鏡イメージャ・システム
図７Ａは、いくつかの実施形態による第１の画像取込みシステム１０１Ｃを含む第１の内視鏡の説明図である。画像取込みシステム１０１Ｃは、細長い部分２０２を含む内視鏡を含み、この細長い部分２０２は、第１の端部分２０４、第２の端部分２０６、及び第１の端部分２０４のチップ部分２０８を含む。第１の端部分２０４は、ヒトの体腔内に挿入されるように寸法決めされる。複数の画像センサ（図示せず）を含むセンサアレイ２１０が、第１の端部分２０４のチップ部分２０８に結合される。いくつかの実施形態によれば、センサアレイ２１０の各センサは、画素のアレイを含む。細長い部分２０２は、イメージャ・センサアレイ２１０によって対象物を撮像できるように、体腔内の標的対象物の十分近くにチップ部分２０８を位置付けするのに十分な長さを有する。いくつかの実施形態によれば、第２の端部分２０６は、機械式アーム（図示せず）と確実に相互嵌合するように、概ね上述したような物理的な輪郭及び／又は構造（図示せず）を含む。細長い部分２０２は、イメージャ・センサアレイ２１０と情報を電子的に通信するための１つ又は複数の電子信号経路２１２も含む。光源２１４は、撮像される対象物を照明するように配置される。いくつかの実施形態によれば、光源２１４は、非構造化光(unstructured light)、例えば、白色光、色フィルタ処理された光、又はいくつかの選択された波長の光とすることができる。いくつかの実施形態によれば、光源２１４は、チップ２０８に位置され、他の実施形態では、必要に応じて、内視鏡１０１Ｃとは別に位置される。

【0029】

図７Ｂは、いくつかの実施形態による第２の画像取込みシステムの１０１Ｃ２を含む第２の内視鏡の説明図である。第１の画像取込みシステム１０１Ｃを含む第１の内視鏡と本質的に同じである第２の画像取込みシステム１０１Ｃ２の態様は、同一の参照符号により示され、同じ説明をしない。ロッド状レンズ等の光パイプ入力への入力部が、第１の端部分２０４のチップ部分２０８に配置される。光パイプ本体は、光パイプ入力として受け取った画像を、チップ部分２０８から物理的に変位しているイメージャ・センサアレイ２１０に送信するように、その細長い部分２０２内に延びる。いくつかの実施形態では、このイメージャ・センサアレイ２１０は、イメージャ・センサアレイ２１０が、体腔内の対象物の観察中に体腔の外側に位置するように、チップ部分２０８から十分遠くで変位する。

【0030】

図８は、いくつかの実施形態による、図７Ａの第１の画像取込みシステム１０１Ｃを含む第１の内視鏡１０１Ｃに関連する制御ブロックを示すととともに、動作中のシステムを示す例示的なブロック図である。イメージャ・センサアレイ２１０によって取り込まれた画像は、データバス２１２を介してビデオプロセッサ１０４に送られ、このプロセッサ１０４は、バス１０５を介して制御装置１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（CCU）及びビデオ信号検出器（VSD）基板を含むことができる。ＣＣＵは、撮像センサ２１０の明度、色調、ホワイトバランス等の各種設定をプログラム又は制御する。ＶＳＤは、撮像センサから受信したビデオ信号を処理する。あるいはまた、ＣＣＵ及びＶＳＤは、１つの機能ブロックに統合される。

【0031】

いくつかの実施形態によれば、１つ又は複数のプロセッサを含むプロセッサシステムは、プロセッサの機能を実行するように構成される。いくつかの実施形態では、プロセッサシステムは、本明細書に記載のプロセッサ機能を実行するために一緒に動作するように構成された複数のプロセッサを含む。こうして、１つ又は複数の機能を実行するように構成された少なくとも１つのプロセッサへの本明細書中での参照は、単独のプロセッサによって又は一緒に動作する複数のプロセッサによって機能を実行できるプロセッサシステムを含む。

【0032】

一実施態様では、プロセッサ及び記憶装置（図示せず）を含む制御装置１０６は、細長い部分２０２のチップ２０８に隣接するシーン内の点の物理的な、定量的な３次元座標を計算し、並びにビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させ、３Ｄディスプレイ１１０に表示される３Ｄシーンを構成する。いくつかの実施形態によれば、手術シーンに関するＱ３Ｄ情報は、例えば、シーン内の対象物の表面形状（輪郭）の寸法又は手術シーン内の対象物からの距離の数値的な印として生成される。以下でより詳細に説明するように、数値的なＱ３Ｄ深さ情報は、距離情報又は表面輪郭情報を手術シーンの立体画像に注釈付けするために使用することができる。

【0033】

データバス１０７及び１０８は、ビデオプロセッサ１０４、制御装置１０６、及びディスプレイドライバ１０９の間で情報及び制御信号を交換する。いくつかの実施形態では、は、これらの要素は、内視鏡の本体内の画像センサアレイ２１０と一体化することができる。あるいはまた、それら要素は、内視鏡の内部及び／又は外部に分散させることができる。内視鏡は、標的１２０を含む手術シーンへの可視化したアクセスを提供するために、カニューレ１４０を介して位置付けされ、生体組織１３０を貫通することが示されている。あるいはまた、内視鏡及び１つ又は複数の器具は、単一の開口部（単一の切開部又は自然オリフィス）を通過して、手術部位に到達することもできる。標的１２０は、解剖学的標的、別の手術用器具、又は患者の体内の外科的シーンの他の態様であってもよい。

【0034】

入力システム１１２は、３Ｄ視覚表現を受信し、その視覚表現をプロセッサ１０６に提供する。入力システム１１２は、３Ｄモデルを生成するシステム（図示せず）からＣＲＴ又はＭＲＩ等の３Ｄモデルを受信する電子通信バス（図示せず）に結合された記憶装置を含むことができる。例えば、プロセッサ１０６を使用して、Ｑ３Ｄモデルと３Ｄ視覚表現との間の意図した整列を計算することができる。より具体的には、限定するものではないが、入力システム１１２は、システム１５２と、ＭＲＩ、ＣＴ又は超音波撮像システム等の撮像システム（図示せず）との間にイーサネット（登録商標）通信接続を確立するように構成されたプロセッサを含むことができる。他の撮像システムを使用してもよい。ブルートゥース（登録商標）、無線ＬＡＮ、光等の他のタイプの通信接続を使用してもよい。あるいはまた、システム１５２及び撮像システムは、１つのより大きなシステムに統合してもよい。整列プロセスの結果は、プロセッサ１０６に関連付けられた記憶装置に保存することができ、外部装置又はシステムへの更なる操作のために提供される又は図２５に示されるように表示される。

【0035】

シーンの画像に追加されたＱ３Ｄ情報の例
再び図４を参照すると、図４は、いくつかの実施形態による図５のマスター制御コンソール１５０のビューア３１２の視点ビューを示す説明図である。いくつかの実施形態によれば、３次元の視点を提供するために、ビューア３１２は、それぞれ眼についての立体画像を含む。図に示されるように、手術部位の左画像４００Ｌ及び右画像４００Ｒは、左ビューファインダ４０１Ｌ及び右ビューファインダ４０１Ｒにそれぞれ器具４００及び標的４１０を含む。ビューファインダ内の画像４００Ｌ及び４００Ｒは、それぞれ、左側の表示装置４０２Ｌ及び右側の表示装置４０２Ｒによって提供することができる。表示装置４０２Ｌ，４０２Ｒは、必要に応じて、対をなす陰極線管（CRT）モニタ、液晶ディスプレイ（LCD）、又は他のタイプの画像表示装置（例えば、プラズマ、デジタル光投影等）であってもよい。本発明の好ましい実施形態では、画像は、カラーＣＲＴ又はカラーＬＣＤ等の対をなすカラー表示装置４０２Ｌ，４０２Ｒによってカラーで提供される。既存の装置との下位互換性をサポートするために、立体表示装置４０２Ｌ，４０２Ｒは、Ｑ３Ｄシステムと共に使用することができる。あるいはまた、Ｑ３Ｄ撮像システムは、３Ｄモニタ、３Ｄテレビ、又は３Ｄ効果の眼鏡の使用を必要としないディスプレイ等の自動立体視ディスプレイに接続することができる。

【0036】

２つの表示要素４０１Ｒ，４０１Ｌを有するビューシステムは、良好な３Ｄビューの視点を提供することができる。Ｑ３Ｄ撮像システムは、手術シーンの物理的構造の物理的寸法情報を用いてこのビュー視点を補足する。Ｑ３Ｄ内視鏡システムと共に使用される立体視ビューア３１２は、手術シーンの立体画像上にオーバーレイされたＱ３Ｄ情報を表示することができる。例えば、図４に示されるように、器具４００と標的４１０との間の数値的なＱ３Ｄ距離値“d_Instr_Trgt”を、立体視ビューア３１２内に表示することができる。

【0037】

手術シーンの３Ｄ視点上に物理的な位置及び寸法情報をオーバーレイするために使用することができるビデオ立体視ビューシステムの説明が、（２０１１年９月３０日に出願された）米国特許出願公開第２０１２／００２０５４７号明細書の段落[００４３]〜[００５３]及び対応する図面に提供されており、この文献は、参照により本明細書に明示的に組み込まれる。

【0038】

定量的な３次元物理情報の処理
図９は、いくつかの実施形態による物理的な標的の定量的な３次元位置を決定するためのプロセスを表す例示的なフロー図である。プロセスは、図８の実施形態の撮像システム１０１Ｃを含む内視鏡を参照して説明される。モジュール４０１は、撮像センサＳ_ｉｊからビデオデータを取得するように制御装置１０６を設定する。画像センサアレイ２１０が視野全体を「撮像」するが、画像センサアレイ２１０の異なるセンサ及び異なるセンサ内の異なる画素は、視野内の異なる対象物点からの画像投影によって照明されることが理解されるだろう。例えば、ビデオデータは、色及び光強度データを含むことができる。各センサの各画素は、その上に投影された画像の色及び強度を示す１つ又は複数の信号を提供することができる。モジュール４０２は、物理的世界のビューにおいて選択された関心領域から標的を体系的に選択するように制御装置を設定する。モジュール４０３は、初期（ｘ_０，ｙ_０，ｚ_０）設定を用いて標的の３Ｄ座標（ｘ，ｙ，ｚ）の計算を開始するように制御装置を設定する。次に、アルゴリズムは、標的の投影画像を受け取る全てのセンサＳ_ｉｊからの画像ダイバーシチ(diversity)データを用いて、座標の整合性をチェックする。座標計算は、許容可能な精度に達するまで、決定モジュール４０４で精緻化(refine)される。決定モジュール４０４は、現在計算された物理的な位置が十分に正確であるかどうかを決定するように制御装置を設定する。現在計算された位置が十分に正確ではないという決定に応答して、制御がモジュール４０３に戻り、可能な異なる物理的な位置を試行する。現在計算された位置が十分に正確であるという決定に応答して、モジュール４０５は、関心領域の全体がスキャンされたかどうかを決定するように制御装置を設定する。関心領域の全体がスキャンされていないという決定に応答して、制御は、モジュール４０２に戻り、別の標的が選択される。関心領域の全体がスキャンされたという決定に応答して、制御は、関心領域の撮像ボリュームの３次元モデルを組み立てるように制御装置を設定するモジュール４０６に移る。標的構造の物理的な位置を示す３次元情報に基づいた標的の３Ｄ画像の組立て(assemble)は、当業者に公知であり、ここで説明する必要はない。モジュール４０７は、更なる検討及び操作のために複数の標的について決定された物理的な位置情報を使用して開発した３Ｄモデルを保存するように制御装置を設定する。例えば、３Ｄモデルは、患者の臓器の特定の寸法のインプラントのサイズ決め等の、外科用途の後の時点で使用することができる。さらに別の例では、新しい手術用器具１０１がロボットシステム１５２に設置されたときに、以前の手術シーンに対して新たな器具を参照するために、３Ｄモデルを呼び戻し、その呼び戻した３Ｄモデルをディスプレイ１１０に表示する必要があり得る。モジュール４０７は、３Ｄ視覚表現とＱ３Ｄモデルとの間の整列の結果も保存することができる。モジュール４０８は、定量的な３Ｄビューを表示するために、複数の標的について決定された物理的な位置情報を使用するように制御装置を設定する。Ｑ３Ｄビューの一例は、図４に示される距離値“d_Instr_Trgt”である。

【0039】

なお、立体視ディスプレイが、ビューの幻覚(illusion)を３次元で形成することに留意されたい。しかしながら、実際の３Ｄディスプレイは、ホログラフィック画像又は湾曲面に投影された画像等の３Ｄ画像を提示する。典型的に、３Ｄディスプレイは、ビュー視点を変更するようにビューを移動させることができる。

【0040】

図１０は、いくつかの実施形態による図９のモジュール４０２に概ね対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０内の全てのセンサから物理的世界のシーンの画像を取り込むように制御装置を設定する。モジュール４０２．２は、取り込んだシーンの中から関心領域を指定するように制御装置を設定する。モジュール４０２．３は、同じ標的の投影によって照明される異なるセンサの画素位置を特定するために、関心領域内のシーン画像同士の間で最も一致（ベスト・マッチ）するシーン画像を検索するように制御装置を設定する。後述するように、最良のマッチングは、限定することなく、シフトされた画像と基準画像との間の２次元の相互相関関数を最大化するまでセンサＳ_ｉｊから個々の画像をシフトすることによって、達成することができる。基準画像は、例えば、センサＳ_１１から受信したシーン画像であってもよい。モジュール４０２．４は、同一の標的からの投影により照明された候補画素を特定するように制御装置を設定する。モジュール４０２．５は、選択された標的について２つ以上の画素座標（Ｎ_ｘ，Ｎ_ｙ）を計算して、候補画素が同一の標的からの投影により照明されているかどうかを決定するように制御装置を設定する。決定モジュール４０２．６は、計算された２Ｄ画素座標値が、候補画素が同一の標的からの投影によって照明されていることを示すかどうかを決定する。複数のセンサＳ_ｉｊを用いて同じシーンをビューする（眺める）ことによって生じる画像ダイバーシチ(diversity)は、様々な個々の画像Ｓ_ｉｊ中の特定の標的に関連する座標（Ｎ_ｘ，Ｎ_ｙ）を正確に特定する際に役割を果たす。例えば、いくつかの実施形態によれば、３つのみのセンサＳ_１１、Ｓ_１２、及びＳ_１３が使用される簡略化されたシナリオを想定する。２Ｄ画素座標の３重項(triplet)［（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）］が、[Ｓ_１１，Ｓ_１２，Ｓ_１３]上で同じ標的の投影に対応しない場合に、次に、（ｙ方向の投影シフトの推定値である）量

【数1】

及び

【数2】

は、異なる値が得られる。後に提示される方程式によれば、画素座標（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）が同じ標的の投影からもたらされる場合に、

【数3】

及び

【数4】

を等しくしなければならない。

【数5】

【0041】

【数6】

及び

【数7】

が略等しくない場合に、次に制御は、モジュール４０２．４に戻り、センサ面Ｓ_ｉｊの上への標的投影についての最良の候補を絞り込む。前述したように、上記は、アルゴリズムの単に簡略化した実装形態である。一般に、図１０のモジュール４０２．６に示されるように、

【数8】

と

【数9】

との間の差のノルム(norm)は、モジュール４０２がその繰り返しを完了するために、許容範囲ε未満にすべきである。同様の制限は、ｘ軸の

【数10】

及び

【数11】

の対応する推定値について満たす必要がある。候補画素が同一の標的からの投影によって照明されていることを、計算された２Ｄ画素座標値（Ｎ_ｘ，Ｎ_ｙ）が示しているという決定に応答して、次に、制御は、モジュール４０３に移る。

【0042】

各画素が、世界シーン(world scene)からカラー及び強度情報を直接的に取り込むことが理解されるだろう。また、上記のプロセスによれば、各画素は、画素上に投影される、世界ビューの物理的な対象物の座標（ｘ，ｙ，ｚ）と関連する。こうして、色情報、照度情報、及び物理的な位置情報、つまり色及び照明が投影された対象物の位置は、非一時的なコンピュータ可読記憶装置内の画素に関連付けることができる。以下の表１は、この関連付けを示す。

【表1】

【0043】

Ｑ３Ｄ情報の決定の例
投影マッチングの例
図１１は、いくつかの実施形態によるセンサアレイＳ_１１〜Ｓ_３３を含む例示的なセンサアレイ２１０の説明図であり、センサアレイは、３つの例示的な対象物を含む例示的な３次元の物理的世界のシーンを含む視野を有するように配置される。アレイ内の各センサＳ_ｉｊは、各次元に少なくとも２つの画素を有する２次元配列の画素を含む。各センサは、個別の光チャネルを形成するレンズスタックを含み、このレンズスタックは、レンズスタックの焦点面に配置された画素の対応する配列上の画像を解像する。各画素は、光センサとして機能し、その複数の画素を含む各焦点面は、画像センサとして機能する。その焦点面での各センサＳ_１１〜Ｓ_３３は、他のセンサ及び焦点面によって占有されるセンサアレイの領域とは異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、（２０１０年１１月２２日に出願された）特許文献４及び（２０１２年９月１９日に出願された）特許文献５に開示されており、これらの文献は、上述している。

【0044】

いくつかの実施形態によれば、センサは、ｘ及びｙ方向の画素の総数Ｎ_ｘ及びＮ_ｙ、及び視野角θ_ｘ及びθ_ｙによって特徴付けられる。いくつかの実施形態では、ｘ及びｙ軸のセンサ特性が同一であると予想される。しかしながら、代替実施形態では、センサは、ｘ及びｙ軸で非対称の特性を有する。同様に、いくつかの実施形態では、全てのセンサが同じ総画素数及び同じ視野角を有することになる。センサは、よく制御された態様で、センサアレイ２１０全体に分散される。例えば、センサは、示される２次元格子上で距離δ離間してもよい。センサの配置ピッチδは、このような格子全体に対称又は非対称であってもよい。

【0045】

図１１に示される実施形態では、センサは、センサＳ_１１〜Ｓ_１３が一番上の行を占め、センサＳ_２１〜Ｓ_２３が中央の行を占め、及びセンサＳ_３１〜Ｓ_３３が下の行を占める矩形グリッドに配置される。各センサは、Ｎ行の画素及びＮ列の画素を含む。光源によって生成される破線で示される光線は、三角形状の第１の対象物、球形状の第２の対象物、及び矩形状の第３の対象物の各々からイメージャアレイの各センサに反射される。説明目的のために、一番上の行のセンサＳ_１１，Ｓ_１２、Ｓ_１３の光線のみが示される。光源は、例えば、非構造化された白色光又は周辺光であってもよい。あるいはまた、例えば、光源は、可視又は赤外スペクトル等の選択された波長の光を提供してもよく、又は光が選択された波長（色）又は波長の範囲（例えば、色の範囲）を提供するためにフィルタ処理又は分割してもよい。光線が対象物の各々からセンサＳ_２１〜Ｓ_３３に同様に反射されることが理解されるだろう。しかしながら、説明を簡略化するために、他のこれら光線は示していない。

【0046】

モジュール４０１及び４０２．１によれば、センサアレイ２１０のセンサは、世界ビューから画像を別々に取り込む。図１２は、いくつかの実施形態による図１１の３つの対象物のセンサＳ_ｉｊ（Ｓ_１１、Ｓ_１２、及びＳ_１３のみが示されている）上の投影を表す説明図である。当業者は、反射光が視野内にある対象物の投影画像をセンサに入射させることを理解するだろう。より具体的には、イメージャアレイの複数の異なる画像センサに入射する、視野内の物体から反射された光線は、３次元から２次元への対象物の複数の視点の投影を生成する、すなわち、反射された光線を受け取る各センサに異なる投影を生成する。特に、対象物の投影の相対位置は、Ｓ_１１からＳ_１２に、Ｓ_１３に進むときに左から右へシフトされる。入射光線によって照明された画像センサの画素は、入射光に応答して電気信号を生成する。従って、各画像センサについて、電気信号のパターンは、画像センサ内の画像投影の形状及び位置を示す反射光に応答して、その画素によって生成される。

【0047】

モジュール４０２．２によれば、関心領域が、世界シーンから選択される。図１３は、シーン内からの関心領域の選択を示す説明図である。この例では、三角形状の第１の対象物、球形状の第２の対象物、及び矩形状の第３の対象物は全て、選択された関心領域内にある。このステップは、オペレータからの入力を受け付けることによって達成することができ、或いは所定の方法でソフトウェアにより、又はオペレータの入力及び自動ソフトウェア制御の選択の組合せにより構成されたコンピュータを用いて自動的に実行することができる。例えば、いくつかの実施形態では、世界シーンは、ヒトの解剖学的構造の内腔を示すことができ、対象物は、体内器官、又は手術用器具、又はそれらの一部であってもよい。外科医は、内腔内からリアルタイム視覚イメージを受け取ることができ、ヒトの解剖学的構造の組織領域及び体腔内に投影される手術用器具の一部を見ることができる。外科医は、視野内のそれらの対象物を指定することができ、その対象物の位置情報がテレストレーション(telestration)・ビデオマーカー等の周知の技術によって決定される。あるいはまた、又はこのようなオペレータの要求に加えて、エッジ検出アルゴリズム等の自動化されたプロセスを使用して、関心領域（ROI）を指定することができる。

【0048】

モジュール４０２．３によれば、最良の一致（ベスト・マッチ）は、同一の標的の投影によって照明される異なるセンサの画素位置を特定するように、対象領域内のシーン画像同士の間で決定される。図１４は、いくつかの実施形態によるセンサＳ_１１、Ｓ_１２、及びＳ_１３の投影画像の相対的な幾何学的なオフセットに関する追加の詳細を示す説明図である。いくつかの実施形態によれば、センサＳ_１３からの画像が、基準画像とみなされ、そして選択されたＲＯＩ内の対象物の投影は、センサＳ_１３のそれら位置に対してセンサＳ_１２の画素量σ_２３だけ右側にオフセットされる。同様に、選択されたＲＯＩ内の対象物の投影は、センサＳ_１３のそれら位置に対してセンサＳ_１１の画素量σ_１３だけ右側にオフセットされる。これは、各センサＳ_１２、Ｓ_１１のＦＯＶビュー軸線が、センサＳ_１３のＦＯＶビュー軸線の右側にオフセットされるので（このようなビュー軸線はセンサの面に対して垂直である）、ＲＯＩからの投影画像は、センサＳ_１１に対してセンサＳ_１３及びＳ_１１の左側にオフセットされることが理解されるだろう。

【0049】

図１５は、いくつかの実施形態による、ＲＯＩ内のセンサＳ_１３の投影画像と整列させるために、右側にシフトされたＲＯＩ内のセンサＳ_１１及びＳ_１２の投影画像を示す説明図である。現在の例では、センサＳ_１３は、基準センサとして機能するように指定される。他のセンサが整列及び幾何学的寸法を決定する際に使用するために選択できることが理解されるだろう。選択されたＲＯＩ内の対象物の投影は、指定されたセンサ、例えばセンサＳ_１３で識別され、他のセンサ、例えばセンサＳ_１１及びＳ_１２の投影は、それら他のセンサが指定されたセンサの投影と整列されるまで、シフトされる。こうして、選択されたＲＯＩ内の対象物の対応する投影が、指定されたセンサでの投影の位置に対するそれら他のセンサのオフセットと共に、他のセンサ内で識別することができる。

【0050】

特に、例えば、３つの例示的な対象物の投影が、センサＳ_１２の画素量σ_２３だけ右側にシフトされ、３つの例示的な対象物の投影が、センサＳ_１３の画素量σ_１３だけ右側にシフトされる。この例示的な例では、同じ原理がセンサ同士の間でｘ方向の投影オフセットを適用するが、説明を簡略化するために、投影は、ｙ方向にのみオフセットされ、ｘ方向にオフセットされないものと想定する。また、この例では、線形オフセットを示しているが、当業者は、例えば、異なるセンサにおいて相対的なオフセットを有する投影を整列させるために、回転等の他の変換を適用することができる。

【0051】

例えばいくつかの実施形態では、２次元（２Ｄ）相互相関法や主成分分析（PCA）を使用して、Ｓ_１３のＲＯＩ内の投影をＳ_１２のＲＯＩ内の投影と整列させ、Ｓ_１３のＲＯＩ内の投影をＳ_１１のＲＯＩ内の投影と整列させることができる。一般的には、基準として指定されたセンサからの画像に対してセンサＳ_ｉｊからの画像を最も良く一致させる又は整列させることが意図される。より具体的には、Ｓ_１２のＲＯＩ内の投影画像は、最も高い相関係数が得られるまで、Ｓ_１３のＲＯＩ内の投影画像に対してシフトされ、且つこの投影画像と相互相関される。同様に、Ｓ_１１のＲＯＩ内の投影画像は、最も高い相関係数が達成されるまで、Ｓ_１３のＲＯＩ内の投影画像に対してシフトされ、且つこの投影画像と相互相関される。こうして、ＲＯＩの投影の整列は、Ｓ_１３のＲＯＩの投影とＳ_１２のＲＯＩの投影との間のオフセットを決定することにより、及びＳ_１３のＲＯＩの投影とＳ_１１のＲＯＩの投影との間のオフセットを決定することにより、センサＳ_１１及びＳ_１２におけるＲＯＩの投影の位置を特定するために使用される。

【0052】

候補画素の選択及び絞込みの例
モジュール４０２．４によれば、候補画素は、ベストマッチ処理によれば、同じ標的からの投影によって照明される異なるセンサ内で特定される。一旦ＲＯＩ内の対象物の投影がセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれで特定されると、ＲＯＩ内の個々の標的点の物理的な投影（ｘ，ｙ，ｚ）は、イメージャアレイに対して決定することができる。いくつかの実施形態によれば、ＲＯＩ内の標的点の各多重度について、標的点からの投影によって照明される複数のセンサのそれぞれの１つ又は複数の画素が、特定される。このような各標的点について、物理的な標的点の位置（ｘ，ｙ，ｚ）が、標的点からの投影により照明されると判断される、異なるセンサに配置された画素の間の幾何学的関係に少なくとも部分的に基づいて決定される。

【0053】

一連の標的点は、ＲＯＩを体系的に横断する（例えば、特定の刻み幅で右から左に、及び刻み幅で上から下に）ことにより、自動的に選択することができ、物理的な標的点の位置（ｘ，ｙ，ｚ）は、選択された各標的点について決定できることが理解されるだろう。Ｓ_１１及びＳ_１２がＳ_１３に最も良く一致しているので、その横断は、シフトされた関心領域の内部で行われる。標的を選択することは、標的の投影によって照明されるセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれの画素を特定することを含む。こうして、Ｓ_１１、Ｓ_１２、及びＳ_１３のそれぞれの候補画素は、選択された標的点の投影によって照明される画素であると特定される。

【0054】

換言すれば、標的点Ｔを選択するために、画素は、標的点Ｔの投影によって照明されるセンサＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれで選択される。標的Ｔの物理的な位置（ｘ，ｙ，ｚ）は、その選択の時点では未知であることが理解されるだろう。また、上述した整列プロセスの不正確さは、各センサの画素が、選択された標的Ｔの投影によって照明されるという決定に不正確性を生じさせる可能性があることが理解されるだろう。こうして、図１７、図１８、及び図１９を参照して説明されるように、更なる決定が、現在選択された標的Ｔの投影によって照明されるＳ_１１、Ｓ_１２、及びＳ_１３のそれぞれの画素について、精度の決定について行われる。

【0055】

上記の例を続けて、三角形状の第１の標的が、現在選択された標的点であると想定する。図１６は、いくつかの実施形態による選択された三角形状の標的点のセンサＳ_１１、Ｓ_１２、及びＳ_１３上への投影を示す説明図である。これらの投影から、標的Ｔの２Ｄ画素座標［（Ｎｘ_１１，Ｎｙ_１１），（Ｎｘ_１２，Ｎｙ_１２），（Ｎｘ_１３，Ｎｙ_１３）］が、決定される。簡略化のために、図１６は、ｙ軸の画素座標のみを示す。これらの２Ｄ画素座標を用いて、表現（４０２．５−１）及び（４０２．５−２）が適用され、及び

【数12】

及び

【数13】

が、モジュール４０２．５の一部として計算される。モジュール４０２．６の一部として、ノルム

【数14】

が、計算され、許容範囲εと比較される。同様に、ｘ軸の画素座標及び位置推定値が、計算され、許容範囲に対して比較される。モジュール４０２．６の条件が満たされる場合に、次に、プロセスは、モジュール４０３に進み、そうでなければ、モジュール４０２．４に戻り、標的候補をさらに絞り込む。

【0056】

図１７を参照すると、センサＳ_１１、Ｓ_１２、及びＳ_１３と、物理的空間内の位置（ｘ，ｙ，ｚ）に配置され選択された三角形状の第１の対象物の標的点Ｔとを含むイメージャアレイの一部が示される。イメージャアレイ内のセンサは、それらセンサ同士の間に既知の間隔σ_ｉｊを有する。Ｓ_１１とＳ_１２との間の物理的な位置間隔は、δ_１２であり、Ｓ_１２とＳ_１３との間の物理的な位置間隔は、σ_２３である。いくつかの実施形態では、全てのセンサＳ_ｉｊ同士の間の間隔が、同一であり、構造上の仕様δに等しい。センサＳ_ｉｊは、既知の視野角θも有する。

【0057】

いくつかの実施形態では、上述したように、各センサは、行及び列から構成される矩形パターンとして配置された画素を含む２Ｄ撮像素子として構成される。あるいはまた、画素は、例えば、円形パターン、ジグザグパターン、散乱パターン、サブ画素オフセットを含む不規則パターンで配置することができる。これらの素子の角度及び画素特性は、同一であってもよく、あるいはまた、センサ毎に異なっていてもよい。しかしながら、これらの特性は、既知であると想定される。説明を簡略化するために、センサは、同一である想定されるが、異なっていてもよい。

【0058】

簡略化するために、全てのセンサＳ_ｉｊが、Ｎ×Ｎ個の画素を有すると想定する。センサＳ_１１からの距離ｚにおいて、センサのＮ個の画素幅は、ＦＯＶ_１で示されるＳ_１１のｙ次元視野の外に拡張する。同様に、センサＳ_１２からの距離ｚにおいて、センサＳ_１２のｙ次元視野は、ＦＯＶ_２で示される。また、センサＳ_１３からの距離ｚにおいて、センサＳ_１３のｙ次元視野は、長さＦＯＶ_３で示される。長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３は、互いに重なり合っており、センサＳ_１１、Ｓ_１２、及びＳ_１３が、いくつかの（未知の）距離ｚに物理的に位置する標的Ｔの３通りのサンプリング・ダイバーシチを達成することを意味する。当然ながら、センサが同一に形成される場合に、この例で想定しているように、長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３は、同様に同じになる。３つの長さＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３全てが、同じ大きさを有しており、説明の目的のために、それら３つの長さが互いに隣接して積み重ねられるように描かれているが、それら３つの長さは、イメージャアレイから同じ（未知の）距離ｚにあるという点で同一面上にあることが理解されるだろう。

【0059】

図１８を参照すると、現在選択された標的点Ｔの画像センサＳ_１１、Ｓ_１２、及びＳ_１３上への投影の例示的な正面図が示される。簡略化するために、センサは、サイズＮ×Ｎの画素から構成される幾何学的に矩形の画素アレイを含むものと想定する。また、標的Ｔのｘ座標の投影が全て等しいと想定される。換言すれば、標的ＴのＳ_１１、Ｓ_１２、及びＳ_１３上への投影について、ｎ_ｘ１＝ｎ_ｘ２＝ｎ_ｘ３であると想定する。説明を簡略化するために、また、幾何学的な視野角θは、垂直方向にθ_ｘ＝θ_ｙの場合に、水平方向に同じであると想定される。当業者は、上記の想定のいずれかが変化する場合に、標的Ｔのｘ、ｙ、及びｚの物理的座標を計算するために、以下に提示されるプロセスをどの様に変更するかを知っているだろう。

【0060】

標的Ｔの画像は、画像センサＳ_１１の面内の幾何学的な座標（ｎ_ｘ１，ｎ_ｙ１）においてセンサＳ_１１内の物理的な点に投影される。より具体的には、標的点ＴのセンサＳ_１１上への投影が、原点から取られるｙ軸に沿ってｎ_ｙ１画素に位置し、且つｘ軸に沿ってｎ_ｘ１画素に位置される。標的Ｔの画像は、画像センサＳ_１２の面内の幾何学的な座標（ｎ_ｘ２，ｎ_ｙ２）においてセンサＳ_１２内の物理的な点に投影される。標的Ｔの画像は、画像センサＳ_１３の面内の幾何学的な座標（ｎ_ｘ３，ｎ_ｙ３）においてセンサＳ_１３内の物理的な点に投影される。各センサ内の画素位置（ｎ_ｘ１，ｎ_ｙ１）は、センサのために設けられた原点（０，０）の基準座標に対して決定されることが理解されるだろう。図１７又は図１９に示されるように、座標（ｘ，ｙ，ｚ）のグローバルシステム(global system)が、規定され、標的を参照するために使用される。例えば、このような座標系の原点は、センサＳ_１１の幾何学的中心に、制限なしに、配置することができる。

【0061】

図１６及び図１８の両方を参照すると、標的の投影のｙ画素距離は、各センサで異なることが理解される。現在選択された標的Ｔの投影は、Ｓ_１１の原点の左側のｎ_ｙ１画素に配置される。その選択された標的Ｔの投影は、Ｓ_１２の原点の左側のｎ_ｙ２画素に配置される。その選択された標的Ｔの投影は、Ｓ_１３の原点の左側のｎ_ｙ３画素に配置される。説明を簡略化するために、上述したように、標的の投影が、３つの全てのセンサの原点から同じｘ画素間隔に投影されると想定される。

【0062】

図１９を参照すると、図１７を参照して上述したように、センサＳ_１１、Ｓ_１２、及びＳ_１３に対する現在選択された標的Ｔの配置が示され、及び各センサの候補画素についてのｙ方向の画素オフセットも示される。図１９の図面は、選択された標的点Ｔの物理的な座標（ｘ，ｙ，ｚ）を決定するための物理的構造及び解析フレームワークを提示することを理解されるだろう。イメージャアレイ面から（未知の）距離ｚにおいて、各センサのｙ方向視野は、ＦＯＶ_ｉとしてマークされた長さに亘って延びる。この長さ、ＦＯＶ_ｉは、いくつかの実施形態ではＮ個の画素であるセンサの最大画素幅に相当する。センサがｘ方向及びｙ方向で対称な視野を有するという動作想定をすると、長さも、ｘ軸に沿って垂直方向にＦＯＶ_ｉとなるだろう。

【0063】

候補画素選択は、選択した標的の物理的な位置の決定の際に不正確性を生じさせる可能性がある不確実性のレベルを有する相関処理に少なくとも部分的に基づいて、行われることを思い出されたい。こうして、いくつかの実施形態によれば、標的投影の候補選択の精度の更なる確認は、以下のように行われる。

【0064】

標的の物理的な位置（ｘ、ｙ）を決定し、且つ標的投影の候補選択の精度を確認する例
モジュール４０２．５によれば、２つ以上の２次元座標値（Ｎ_ｘ，Ｎ_ｙ）は、選択された標的について、候補画素が同一の標的からの投影によって実際に照明されているかどうかを決定するために計算される。上で議論した想定及び３Ｄ座標系の原点をセンサＳ_１１の中心に配置すること基づいて、図１９の例のイメージャアレイ及び現在選択された標的Ｔは、次の関係を有する。

【数15】

ここで、Ｎは、撮像センサの画素寸法であり、
ｎ_ｘ１は、ｘ方向のＳ_１１面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ１は、ｙ方向のＳ_１１面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向のＳ_１２面の原点からの画素数で表された標的点Ｔの位置であり、
ｎ_ｙ２は、ｙ方向のＳ_１２面の原点からの画素数で表された標的点Ｔの位置であり、
θは、視野角である。

【0065】

また、センサＳ_１１及びＳ_１３を使用して同じ計算を実行する場合に、Ｓ_１１とＳ_１３との間の分離が２δであるとすると、以下の式が得られる。

【数16】

ここで、ｎ_ｘ３は、ｘ方向のＳ_１３面の原点からの画素数で表された標的点の位置であり、
ｎ_ｙ３は、ｙ方向のＳ_１３面の原点からの画素数で表された標的点の位置である。

【0066】

こうして、選択された標的Ｔの物理的なｘ座標を決定することは、式（３）又は（６）に基づいて、決定することができる。選択された標的Ｔの物理的なｙ座標を決定することは、式（２）又は（５）に基づいて、決定することができる。選択された標的Ｔの物理的なｚ座標を決定することは、式（１）又は（４）に基づいて決定することができる。

【0067】

より一般的には、モジュール４０２．６によれば、決定は、候補画素が同一の標的からの投影によって照明されていることを、計算された２Ｄ座標値が示すかどうかについて行われる。標的Ｔの物理的な座標（ｘ，ｙ，ｚ）のより信頼性の高い決定は、各座標について２つの式を使用することによって得ることができることが理解されるだろう。例えば、標的Ｔのｙ座標は、式（２）及び（５）の両方を使用して決定することができる。２つの式を用いて計算され、得られたｙ座標値がいくつかの許容範囲値ε_ｙよりも多い値だけ異なる場合に、次にマッチング処理が異なるセンサの投影同士の間のオフセットを十分な精度で解決出来なかったという決定が行われ、結果として、候補画素が同じ標的Ｔから投影を受けない点で、候補画素は対応していない。ｙ計算を一致させるのに失敗した場合に、各センサが選択された標的Ｔに対応するセンサ内の候補画素の改善された選択を行うための試行に、別の反復のマッチング処理を行ってもよい。異なるセンサ上への異なる視点の投影が、例えば、視差効果によって異なる可能性があるので、計算されたｙ値が等しくならない可能性があることが理解されるだろう。従って、許容範囲値は、意図する用途に応じて規定される。手術用イメージング用途では、０．１〜０．３ｍｍのεは、一般的に許容可能なＱ３Ｄ精度を提供する。当業者は、本発明の精神から逸脱することなく、異なる許容範囲レベルを規定することができる。

【0068】

ｘ軸及びｙ軸の周りの想定されたセンサの対称性を考慮すると、当業者は、（２）及び（５）と同様の式を用いるが、ｎ_ｙｉの代わりにｎ_ｘｉを用いて、標的Ｔのｘ座標に対して同様な決定を行うことができることを理解するだろう。式（３）及び（６）は、それらの式が、ｚ座標の知見を必要とするため、モジュール４０２．５及び４０２．６の一部を使用することはできない。しかしながら、モジュール４０２．５及び４０２．６の本質は、センサＳ_１１、Ｓ_１２、及びＳ_１３の面上の正確な標的投影を決定することである。この目的のために、ｘ及びｙ軸を調整した式（２）及び（５）は、十分である。座標（ｘ，ｙ，ｚ）の完全なセットは、以下に記載されるように、モジュール４０３及び４０４の一部として計算される。

【0069】

標的の物理的なｚ位置を決定する例
図１９に示されるように、モジュール４０３及び４０４によれば、ｚ座標の初期推定値、ｚ_０は、計算処理を開始するために使用される。この初期値は、医療用途に応じて、自動的に規定される。医療用途によって、可視化されることを意図した世界ビューが規定される。初期値ｚ_０は、内視鏡に最も近い視野のエッジ部で開始する。図８を参照すると、手術用内視鏡検査を含むＱ３Ｄ用途について、ｚ_０は、例えば、Ｑ３Ｄ内視鏡２０２の先端部２０８から１〜５ｍｍ外れる可能性がある。このような初期推定値は、一般的に、任意の組織又は手術用器具をＱ３Ｄの内視鏡に近接して置く可能性が低いので、この用途には十分である。次に、値ｚ_０が、式（３）及び（６）に結合される。標的のｘ座標が一意的なものであること考慮すると、ｚ_０が、真値であり且つ標的のｚ座標が正しい場合に、次に、式（３）及び（６）は、許容範囲ε_ｘの許容レベル内で、同じ値、又は略等しいをもたらすであろう。
｜ｘ_（３）−ｘ_（６）｜＜ε_ｘ （７）

【0070】

式（３）及び（６）が許容範囲ε_ｘ外にある場合に、反復が継続し、ｚの新たな推定値ｚ_１が試行される。いくつかの実施形態によれば、新しい推定値は、自動的に規定される。例えば、ｚ_１＝ｚ_０＋Δであり、ここで、Δは、反復ステップのサイズである。一般的には、ｋ^ｔｈにおいて、反復はｚ_ｋ＝ｚ_ｋ−１＋Δである。（７）の条件が満たされた場合に、反復プロセスは停止する。より小さいΔは、正確な標的座標を決定する際の精度を増大させるが、それはまた、このプロセスを完了するために多くの計算時間を必要とし、従って待ち時間が増加する。待ち時間の増加は、手術用器具の動きと操作する外科医によるその器具可視化との間に遅延を生じさせる可能性がある。換言すれば、外科医は、コマンドの後に遅れるようなシステムを知覚し得る。深さ２０〜３０センチメートル（ｃｍ）の手術用ビュー空間について、０．１〜０．３ｍｍのΔは、十分である。当然ながら、当業者は、反復プロセスを完了するために必要な計算に対してΔの大きさのバランスをとることを知っているだろう。

【0071】

上記の説明は、プレゼンテーションの理由のために簡略化されており、従って、３つのみのセンサＳ_１１、Ｓ_１２、及びＳ_１３を含む。一般に、より多くのセンサを使用して、Ｑ３Ｄ座標計算の精度を向上させることだけでなく、反復の全体の数を減らすこともできる。例えば、３つ以上のセンサ、好適には３×３センサのアレイが使用される場合に、次に、最急勾配(steepest gradient)等の方法を使用して、モジュール４０２．５及び４０３によって行われる推定誤差の方向にトレンドを与えることができる。次に、反復ステップのサイズ及び方向は、３Ｄエラー傾斜面の局所的な極値に向かう進行に一致させて調整することができる。

【0072】

Ｑ３Ｄ情報を用いて内視鏡手術の案内
図２０は、いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第１のプロセス２０００を示す例示的なフロー図である。コンピュータ・プログラムコードが、プロセス２０００を実行するようにコンピュータ１５１を設定する。モジュール２００２は、ビューア３１２を見たときに、外科医の視野内の少なくとも２つの対象物を選択するユーザ入力を受信するようにコンピュータを設定する。モジュール２００４は、ユーザ選択の受信に応答して、コンピュータコンソール上にメニューを表示するようにコンピュータを設定する。決定モジュール２００６は、メニューへのユーザ入力が、距離を表示させるために受信されたかどうかを決定するようにコンピュータを設定する。ユーザ入力が距離を表示させるために受信されたという決定に応答して、モジュール２００８は、外科医の視野のビデオ画像内に数値距離を表示するようにコンピュータを設定する。決定モジュール２０１０は、距離表示を選択するユーザ入力を受信するために所定の時間間隔に亘って待機し、及び「タイムアウト」期間内にユーザ入力を受信しなかったことに応答して、決定モジュール２００６の動作を終了するようにコンピュータを設定する。

【0073】

決定モジュール２０１２は、メニューへのユーザ入力が、近接制限警報を入力するために受信されたかどうかを決定するようにコンピュータを設定する。ユーザ入力が近接閾値を入力するために受信されたという決定に応答して、モジュール２０１４は、Ｑ３Ｄ情報を使用して、外科医の視野内の２つ以上の対象物同士の間の近接性を監視するようにコンピュータを設定する。決定モジュール２０１６は、近接閾値を超えたかどうかを判定する。近接閾値を超えたという判定に応答して、モジュール２０１８は、警報を起動させるようにコンピュータを設定する。警報は、音、点滅光のような視覚的キュー、衝突を回避するための器具のロック、又は他の触覚フィードバックを含むことができる。近接閾値を超えていないという判定に応答して、制御は、監視モジュール２０１４に再び移る。決定モジュール２０２０は、近接閾値を入力するユーザ入力を受信するために所定の時間間隔に亘って待機し、「タイムアウト」期間内にユーザ入力を受信しないことに応答して、決定モジュール２０１２の動作を終了するようにコンピュータを設定する。

【0074】

図２１は、いくつかの実施形態による、図２０のプロセスに従って表示画面２１０２に表示されるメニュー選択を示す説明図である。表示画面２１０２は、コンピュータ１５１に関連するビューモニタを含む。あるいはまた、表示画面２１０２は、ビューア３１２の表示要素４０１Ｒ，４０１Ｌの領域を含むことができる。ユーザ入力に応答して、モジュール２００４は、第１のメニュー項目「距離表示」２１０６及びと第２のメニュー項目「近接警報設定」２１０８を含むメニュー２１０４を表示させる。「距離表示」メニュー項目２１０６を選択するユーザ入力に応答して、モジュール２００８は、２つ以上の対象物同士の間のＱ３Ｄ距離を表示させる。図４を再び参照すると、モジュール２００８を使用して表示された器具４００と標的との間のＱ３Ｄ距離“d_Instr_Trgt”の表示が示される。「近接警報設定」メニュー項目２１０８を選択するユーザ入力に応答して、「距離入力」ＵＩ入力２１１０は、ユーザが近接距離閾値、例えば１ｃｍを入力できるフィールドを含んで表示される。代替実施形態（図示せず）では、デフォルトの近接閾値が、全ての器具について予め設定してもよく、ユーザは、例えば、図２１のメニューを使用して、近接閾値を変更することができる。代替実施形態では、ユーザは、閾値を入力するのではなく、デフォルトの閾値を選ぶことを選択することができる。いくつかの実施形態では、ユーザは、距離を表示させ、近接警報を設定することの両方を選択することができる。

【0075】

図２２Ａ，図２２Ｂは、いくつかの実施形態による、図２０のプロセスに従ってユーザ入力を受信する特定の詳細を表す説明図である。図２２Ａは、テレストレーション等のビデオマーカーツールを使用して、又は図４の制御入力装置１６０を操作する外科医コンソールを使用して形成することができる、生体組織等の標的４１０Ｌ，４１０Ｒの第１の強調表示領域２２０２Ｌ，２２０２Ｒの例を示す。図２２Ｂは、ビデオマーカーツールを使用して形成することができる、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域の２２０６Ｌ，２２０６Ｒの例を示す。いくつかの実施形態による動作では、ユーザは、第１の強調表示領域２２０２Ｌ，２２０２Ｒを形成する。次に、ユーザは、ビデオマーカーツールを使用して、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域２２０６Ｌ，２２０６Ｒを形成する。項目が強調表示される順序は、重要でないことが理解されるだろう。次に、ユーザは、選択を入力するためにセレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）。モジュール２００２は、受信したユーザ入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。

【0076】

図２３は、いくつかの実施形態による外科的処置中にＱ３Ｄ情報を使用する第２のプロセス２３００を表す例示的なフロー図である。コンピュータ・プログラムコードは、プロセス２３００を実行するようにコンピュータ１５１を設定する。モジュール２３０２は、ビューア３１２を見たときに、外科医の視野内の対象物を選択するユーザ入力を受信するようにコンピュータを設定する。例えば、図２２Ａを再び参照すると、ユーザ入力は、ビデオマーカーツールを使用して、器具チップ４００Ｌ，４００Ｒの第２の強調表示領域２２０６Ｌ，２２０６Ｒを形成するために受信されるように示される。ユーザ入力（図示せず）は、器具チップ４００Ｌ，４００Ｒの画像選択を入力するために、セレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）ために受信される。

【0077】

図２３に再び戻ると、ユーザ選択の受信に応答して、モジュール２３０４は、メニューをコンピュータコンソール上に表示するようにコンピュータを設定する。決定モジュール２３０６は、メニューへのユーザ入力が、選択された対象物の画像を回転させるために受信されたかどうかを判定するようにコンピュータを設定する。ユーザ入力が画像を回転させるために受信されたという判定に応答して、モジュール２３０８は、対象物の異なる３次元視点を示す画像を回転表示させるようにコンピュータを設定する。決定モジュール２３１０は、画像を回転させるユーザ入力を受信するために所定の時間間隔に亘って待機し、及び「タイムアウト」期間内にユーザ入力を受信しないことに応答して、決定モジュール２３０６の動作を終了するようにコンピュータを設定する。

【0078】

図２４は、いくつかの実施形態による、図２３のプロセスに従って表示画面２４０２に表示されるメニュー選択を示す説明図である。表示画面２４０２は、コンピュータ１５１に関連したビューモニタを含む。あるいはまた、表示画面２４０２は、ビューア３１２の表示要素４０１Ｒ，４０１Ｌの領域を含むことができる。受信したユーザ入力に応答して、モジュール２３０４は、第３のメニュー項目「左回転」２４０６及び第４のメニュー項目「右回転」２４０８を含むメニュー２４０４を表示させる。第３又は第４のメニュー項目２４０６、２４０８どちらか一方を選択するユーザ入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って形成され且つ保存された３Ｄモデルの回転を生じさせる。センサ・イメージャアレイ２１０は、限られた全体視野を有しているので、回転量は、数度、例えば３０度未満に制限され得ることが理解されるだろう。

【0079】

マルチポート
図２５Ａ〜図２５Ｃは、いくつかの実施形態による、解剖学的構造２５０２のＱ３Ｄ画像情報を複数の異なる位置の異なる視点から取り込むために、複数の異なる位置に配置されたＱ３Ｄ画像センサアレイに関連する内視鏡１０１Ｃを示す説明図である。図６を再び参照すると、いくつかの実施形態による患者側システム１５２は、複数の機械式手術用アーム１５８Ａ〜１５８Ｄを含む。図５に示されるように、異なる機械式アームは、異なる器具１０１Ａ〜１０１Ｃと関連付けることができ、これら器具は、最小侵襲性外科的処置に用いるために、異なるポートを介して患者の体腔内に挿入することができる。本明細書で使用される場合に、用語「ポート」は、患者の体腔内の手術部位へのアクセスを提供する自然開口部又は外科的切開部を指すことができる。カニューレ（図示せず）が、ポートの輪郭を区切るために挿入され、体腔への入口点で器具と患者の身体組織との間の保護バリアとして機能するとともに、体腔内に挿入された手術用器具のガイドとして機能することができる。あるいはまた、カニューレを使用しなくてもよい。

【0080】

本発明の更なる態様によれば、図７Ａ−図８を参照して説明した画像センサアレイ２１０に関連する内視鏡イメージャ・システムは、複数の手術用アーム１５８Ａ〜１５８Ｄのそれぞれに交互に結合することができる。各アームは、異なるポートを介して内視鏡を挿入するために使用することができる。異なるポートは、異なる位置で体腔への入口を提供し、手術用アームのうちの異なるアームに結合されたときに、内視鏡は、体腔内のシーンの異なる視点ビューを有することになる。こうして、内視鏡は、その内視鏡を異なるアームに交互に結合し、その内視鏡を異なるポートを介して体腔内に挿入することにより、異なる視点からのＱ３Ｄ情報を取り込むために使用することができる。以下の説明は、単一の内視鏡を使用する文脈で行われ、同様の随意の実装形態が、２つ以上の内視鏡を使用して達成され、各内視鏡は異なるポートを介して入り、又は各内視鏡は同一のポートを介して入り、空間内の異なる位置から撮像することを理解すべきである。

【0081】

図２５Ａを参照すると、（「内視鏡」とも呼ばれる）画像取込みシステム１０１Ｃは、第１のポート２５０４を介して挿入された第１の手術用アーム１５８Ａに結合され、第１のポートは、解剖学的組織壁２５１０を介して撮像される解剖学的構造２５０２を含む体腔２５１２へのアクセスを提供する。画像取込みシステム１０１Ｃは、第１の手術用アーム１５８Ａに結合されたときに、第１のビュー視点から第１の視野（ＦＯＶ_１）内の第１の画像情報２５１４を取り込む。第１の画像情報２５１４は、第１のＱ３Ｄモデル２５１５を生成するために使用され、そのＱ３Ｄモデルは、非一時的な機械可読記憶装置２５１６に保存される。標識矢印２５１７は、図９〜図１９のプロセスから省略して示されており、それによって、いくつかの実施形態によれば、第１の画像情報２５１４が、収集され、第１のＱ３Ｄモデル２５１５を生成するために使用される。

【0082】

図２５Ｂでは、画像取込みシステム１０１Ｃは、第２のポート２５０６を介して挿入された第２の手術用アーム１５８Ｂに結合される。画像取込みシステム１０１Ｃは、第２の手術用アーム１５８Ｂに結合されたときに、第２の視点からの第２の視野（ＦＯＶ_２）内の第２の画像情報２５２４を取り込む。第２の画像情報２５２４は、第２のＱ３Ｄモデル２５２５を生成するために使用され、このＱ３Ｄモデルは、非一時的な機械可読記憶装置２５１６に保存される。標識矢印２５１７が、図９〜図１９のプロセスから省略して示されており、それによって、いくつかの実施形態によれば、第２の画像情報２５２４が、収集され、第２のＱ３Ｄモデル２５２５を生成するために使用される。

【0083】

図２５Ｃでは、画像取込みシステム１０１Ｃは、第３のポート２５０８を介して挿入された第３の手術用アーム１５８Ｃに結合される。画像取込みシステム１０１Ｃは、第３の手術用アーム１５８Ｃに結合されたときに、第３の視点からの第３の視野（ＦＯＶ_３）内の第３の画像情報２５３４を取り込む。第３の画像情報２５３４は、第３のＱ３Ｄモデル２５３５を生成するために使用され、このＱ３Ｄモデルは、非一時的な機械可読記憶装置２５１６に保存される。標識矢印２５１７は、図９〜図１９のプロセスから省略して示されており、それによって、いくつかの実施形態によれば、第３の画像情報２５３４が、収集され、第３のＱ３Ｄモデル２５３５生成するために使用される。

【0084】

図２６Ａ〜図２６Ｃは、いくつかの実施形態による、図２５Ａ〜図２５Ｃの第１、第２、及び第３の画像情報２５１４、２５２４、及び２５３４を使用して生成された第１、第２、及び第３のＱ３Ｄモデル２５１５、２５２５、及び２５３５を表す説明図である。なお、この例では、一意の各Ｑ３Ｄモデルは、他のＱ３Ｄモデルに存在しないＱ３Ｄ構造情報を含み、各Ｑ３Ｄモデルは、少なくとも１つの他のＱ３Ｄモデルと重複する情報を含むことに留意されたい。例えば、示されるように、三角形構造２６０２は、第１のＱ３Ｄモデル２５１５のみに表され、矩形構造２６０４は、第２のＱ３Ｄモデル２５２５のみに表され、円形構造２６０６は、第３のＱ３Ｄモデル２５３５のみに表される。しかしながら、細長い矩形構造２６０８−１，２６０８−２，２６０８−３は、３つのＱ３Ｄモデルと重複する。以下でより詳細に説明するように、Ｑ３Ｄの精度を向上させることについて、図２６Ａ〜図２６Ｃからの複数のＱ３Ｄモデルは、制御された微小振動(ジッタ：jittering)技術を用いて取得することができる。制御された微小振動は、ロボットアーム１５８Ａ〜１５８Ｃを制御すること等により機械的に、又はアレイレンズの光学特性を制御すること等により電子的に、生成することができる。

【0085】

図２７は、図２６Ａ〜図２６ＣのそれぞれのＱ３Ｄモデルの整列の例を示す説明図である。第１、第２、及び第３のＱ３Ｄモデル２５１５、２５２５、及び２５３５が重なり合うことに留意されたい。例えば、細長い矩形構造２８０８の第１の重複部分２８０８−４が、第１及び第２のＱ３Ｄモデル２５１５，２５２５の両方に含まれることが確認される。また、例えば、細長い矩形構造２８０８の第２の重複部分２８０８−５が、第２及び第３のＱ３Ｄモデル２５２５，２５３５の両方に含まれることが確認される。

【0086】

Niemeyerらによって発明された、“Camera Referenced Control in a Minimally Invasive Surgical Apparatus”という標題の（１９９９年８月１３日に出願された）米国特許第６，４２４，８８５号（「’８８５特許」）は、この参照によりその全体が本明細書に明白に組み込まれ、この文献は、この明細書のいくつかの実施形態に従って使用される、相対位置が既知である、異なる手術用アーム１５８Ａ〜１５８Ｃに結合された器具１０１Ａ〜１０１Ｃの相対位置をマッピングするために運動学を用いたシステム及び方法を開示する。例示の図２５Ａ〜図２５Ｃを再び参照すると、例えば、第１の手術用アーム１５８Ａは、第１のデカルト座標系（ｘ１，ｙ１，ｚ１）に関連する。第２の手術用アーム１５８Ｂは、第２のデカルト座標系（ｘ２，ｙ２，ｚ２）に関連する。第３の手術用アーム１５８Ｃは、第３のデカルト座標系（ｘ３、ｙ３、ｚ３）に関連する。’８８５特許に説明されるように、第１、第２、及び第３の手術用アームに結合された器具の相対位置が、各アームに関連付けられた座標系の間の既知の運動学的関係に基づいて、既知である。換言すれば、任意のアーム（アームに結合された器具）の絶対位置の変化によって、アームの位置を互いに対して変更することができる。しかしながら、’８８５特許に説明されるように、アームの互いに対する相対位置は、アーム（アームに結合された器具）の間の既知の運動学的関係によって、既知である。

【0087】

Ｑ３Ｄモデルの整列の例では、画像取込みシステム１０１の視点及び対応するＦＯＶ_２は、第２の手術用アーム１５８Ｂに結合され且つ第２のＱ３Ｄモデル２５２５を生成するために使用される第２の画像情報２５２４を取り込むために位置付けされたときに、基準視点とされる。基準視点の決定は、第２の手術用アーム１５８Ｂに関連する第２のデカルト座標系（ｘ２，ｙ２，ｚ２）に対する画像取込みシステム１０１Ｃの向き（ｕ_ｘ２，ｕ_ｙ２，ｕ_ｚ２）の決定を含む。換言すれば、いくつかの実施形態によれば、第２の手術用アーム１５８Ｂの相対位置は、システム全体の運動学に基づいて既知であるが、第２のアーム１５８Ｂに対する内視鏡１０１Ｃの向きは、内視鏡１０１Ｃが第２のアーム１５８Ｂに結合されたときに、第２の視野、ＦＯＶ_２の向きの決定に寄与する。同様に、画像取込みシステム１０１Ｃの第１の作業スペースの視点は、画像取込みシステム１０１Ｃが、第１の手術用アーム１５８Ａに固定され且つ第１のＱ３Ｄモデル２５１５を生成するために使用される第１の画像情報２５１４を取り込むために位置付けされるときに、第１の手術用アーム１５８Ａに関連する第１のデカルト座標系（ｘ１，ｙ１，ｚ１）に対する画像取り込みシステム１０１Ｃの向き（ｕ_ｘ１，ｕ_ｙ１，ｕ_ｚ１）を含む。同様に、画像取込みシステム１０１Ｃの第３の作業スペースの視点は、画像取込みシステム１０１Ｃが、第３の手術用アーム１５８Ｃに固定され且つ第３のＱ３Ｄモデル２５３５を生成するために使用される第３の画像情報２５３４を取り込むために位置付けされるときに、第３の手術用アーム１５８Ｃに関連する第３のデカルト座標系（ｘ３，ｙ３，ｚ３）に対する画像取込みシステム１０１Ｃの向き（ｕ_ｘ３，ｕ_ｙ３，ｕ_ｚ３）を含む。

【0088】

第１及び第２の手術用アーム１５８Ａ及び１５８Ｂの間の既知の運動学的関係を使用して、ＦＯＶ_１及びＦＯＶ_２の相対位置を決定し、次に、第１及び第２のＱ３Ｄモデル２５１５，２５２５によって表される相対位置を決定する。同様に、第２及び第３の手術用アーム１５８Ｂ及び１５８Ｃの間の既知の運動学的関係を使用して、ＦＯＶ_２及びＦＯＶ_３の相対位置を決定し、次に、第２及び第３のＱ３Ｄモデル２５２５，２５３５によって表される相対位置を決定する。図２７に示されるように、いくつかの実施形態によれば、次に、この相対的な視野位置情報を使用して、第１の視野ＦＯＶ_１内の第１の画像情報２５１４を用いて生成された第１のＱ３Ｄモデルを、第２の視野ＦＯＶ_２内の第２の画像情報２５２４を用いて生成された第２のＱ３Ｄモデルと整列させることができる。同様に、図２７に示されるように、この相対的な視野位置情報を使用して、第３の視野ＦＯＶ_３内の第３の画像情報２５３４を用いて生成された第３のＱ３Ｄモデルを、第２の視野ＦＯＶ_２内の第２の画像情報２５２４を用いて生成された第２のＱ３Ｄモデルと整列させることができる。

【0089】

上記の例を続けると、代わりに、いくつかの実施形態によれば、第１、第２、及び第３のＱ３Ｄモデルの一部に見出される共通の基準点及び幾何学的変換（例えば、回転及び並進）を使用して、ＦＯＶ_１、ＦＯＶ_２、及びＦＯＶ_３の相対位置を決定することができる。図２８Ａ〜図２８Ｃは、いくつかの実施形態による、例示的な回転（図２８Ａ）、並進（図２８Ｂ）、及び例示的な第２及び第３のＱ３Ｄモデルの得られた整列（図２８Ｃ）を表す説明図である。図２８Ａを参照すると、第２及び第３のＱ３Ｄモデル２５２５，２５３５が、若干位置ずれして示される。第１及び第２の基準点２８０２，２８０４は、第２及び第３のＱ３Ｄモデル２５２５，２５３５の両方で生じるものとして特定される。その例を続けると、いくつかの実施形態によれば、第３のＱ３Ｄモデル２５３５の向きの回転及び並進変換によって、第３のＱ３Ｄモデル２５３５での第１及び第２の基準点２８０２，２８０４の発生を、第２のＱ３Ｄモデル２５２５でのそれらの発生に整列させる。

【0090】

図２８Ａの例を依然として参照すると、第３のＱ３Ｄモデル２５３５は、必要に応じて、回転角αによって規定される回転行列Ｍ_ｘを使用することによって、そのｙ軸の周りに回転される。第３のＱ３Ｄモデル２５３５は、必要に応じて、回転角βによって規定される回転行列Ｍ_ｙを使用することによって、そのｙ軸の周りに回転される。最後に、必要に応じて、第３のＱ３Ｄモデル２５３５は、回転角γによって規定される回転行列Ｍ_ｚを使用することによって、そのｚ軸の周りに回転される。回転行列を使用することは、当業者によく知られており、本明細書で詳細に説明する必要はない。図２８Ｂに示されるように、いくつかの実施形態による、対象物及びこれら対象物の仮想の回転の結果は、変換された第３のＱ３Ｄモデル２５３５が、第２のＱ３Ｄモデル２５２５と回転により整列されるようなものである。

【0091】

得られた全体的な回転行列Ｍは、以下に等しい。
Ｍ＝Ｍ_ｘ・Ｍ_ｙ・Ｍ_ｚ （８）
三角関数の形式では、以下となる。

【数17】

【0092】

図２８Ｂの例をここで参照すると、仮想位置変換は、第３のＱ３Ｄモデル２５３５を、第２のＱ３Ｄモデル２５２５と重なる位置関係に移動するように決定され、それによって、第２及び第３のモデル２５２５，２５３５のそれぞれとは別々に生じる基準点２８０２，２８０４は、ここで重ね合わされ、図２８Ｃに示されるように、これらのモデルは、ここで整列していることを示す。幾何学的な位置変換は、図２８Ｂに示されるベクトル

【数18】

によって規定される。幾何学的変換は、当業者に周知であり、本明細書で詳細に説明する必要はない。

【0093】

以上の説明から、同様の回転及び並進が、第１及び第２のＱ３Ｄモデル２５１５，２５２５を整列させるために行うことができると理解されるだろう。

【0094】

図２９は、いくつかの実施形態による、図２５Ａ〜図２５Ｃの複数のＱ３Ｄモデルが一緒にステッチされる例示的な複合Ｑ３Ｄモデル２９０２を示す説明図である。本明細書で使用される場合に、「ステッチング(stiching)」は、継ぎ目のない又は略継ぎ目のない複合Ｑ３Ｄモデルを生成するために整列された重複Ｑ３Ｄモデルの融合(blending)を意味する。重複画像情報を一緒にステッチする技術は、よく知られている。例えば、Richard Szeliskiの“Image Alignment and Stitching: A Tutorial”, Technical Report, MSR-TR-2004-92, Microsoft Research, Microsoft Corporation, last updated December 10, 2006を参照されたい。この文献は、複数のＱ３Ｄモデルを一緒にステッチするために使用することができる画像整列及び画像ステッチングアルゴリズムを開示する。

【0095】

いくつかの実施形態による画像取込み中に、画像を取り込むために使用される内視鏡１０１Ｃのビュー視点は、制御された様式で「微小振動(ジッタ：jittered)」する。この文脈においては、「ジッタ」は、２つ以上の実際の視点、向き、又は結合視点及び向きの間で調整又は移動することを意味する。このような各視点又は向きにおいて、Ｑ３Ｄ内視鏡は、取り込んだ画像情報に基づいて生成されたＱ３Ｄモデルの分解能及び精度を向上させるために、標的領域からの画像情報を取り込む。図３０Ａ〜図３０Ｃは、いくつかの実施形態による標的領域の３つの異なる画像の視点を取り込むための３つの異なる例示的な微小振動（ジッタ）位置の内視鏡１０１Ｃを示す説明図である。異なるジッタ位置を達成するために、内視鏡１０１Ｃは、異なるジッタの位置又は向きが互いに対して既知であるような既知の少量だけ移動する。異なる内視鏡の位置は、例えば５ｍｍ未満の小さな距離だけ異なる。連続する向き同士の間の比較的小さな距離は、対応する３Ｄ画像に十分に冗長な情報を保証する。この冗長性を使用して、Ｑ３Ｄモデルの精度を向上させる。

【0096】

内視鏡１０１Ｃの制御されたジッタは、標的の関心領域に対応する空間ボリューム内の点の座標（ｘ，ｙ，ｚ）の計算精度を向上させる。更に及び僅かに変更された視角からの追加データは、図９〜図１９を参照して上述したプロセスに提供されるので、精度が向上する。具体的には、制御されたジッタは、図９のプロセスで、ステップ４０２〜４０４において標的をより正確に見つけ出すのに役立つ。これは、図１０のステップ４０２．３〜４０２．５で説明したベストマッチを見付ける精度を向上させることによって達成される。内視鏡１０１Ｃのジッタが制御されているという事実は、僅かに異なる角度からの標的の関心対象シーンのビューを提示する。これは、センサＳ_ｉｊ同士の間の距離の仮想増加に相当する。制御されるジッタは、図５を参照した例に示されるように、内視鏡１０１Ｃを支持するロボットアーム１５８Ｃを制御するハードウェアによって実現することができる。あるいはまた、ジッタは、Ｑ３Ｄ内視鏡１０１Ｃが電子的に調整可能な光学的特性のレンズを用いて構築される場合に、電子的に導入することができる。例えば、Hassanfirooziらの“Liquid crystal lens array for a 3D endoscope”, Proceedings SPIE9117, May 9, 2014によれば、液晶レンズアレイを使用することができる。このようなレンズは、内視鏡１０１Ｃと共に使用される場合に、制御電圧信号を変調することによって調整されたそれらの光学的特性を有することができる。こうして、光学的なジッタは、既知のパターンに基づいて制御電圧を変更することによって導入することができる。例えば、このようなレンズの光軸を調整することができる。この動作は、１０１Ｃの向きを機械的に微小振動させることと同等の効果がある。第３の手術用アーム１５８Ｃの動きによる機械的なジッタ（微小振動）、又は液晶レンズの制御電圧の調整による電子的なジッタのいずれかは、標的点の座標（ｘ，ｙ，ｚ）を計算する際の精度の増大と同じ結果を有することができる。

【0097】

図３１は、いくつかの実施形態による多視点のＱ３Ｄモデルを取り込むプロセス３１００の例示的なフロー図である。システム１５２は、プロセス３１００の１つ又は複数のブロック又はステップを実施するように構成され得ることが理解されるだろう。ブロック３１０２において、手術用アームが選択される。この原理がより広く適用されることは理解されるだろうが、説明の便宜性及び明確性のために、以下の図について、上記の例示的なシステム及びＱ３Ｄモデルを参照して説明する。ブロック３１０４において、画像取込みシステム１０１Ｃは、選択された手術用アームに固定される。例えば、第１の手術用アーム１５８Ａが、最初に選択され、画像取込みシステムをその第１の手術用アームに固定させることを想定する。ブロック３１０６において、選択された手術用アーム１５８Ａに固定された画像取込みシステムは、体腔壁内の第１のポートを介して、例えば第１の視野ＦＯＶ_１内の第１の画像情報２５１４に基づいて第１のＱ３Ｄモデル２５１５生成するために内視鏡を使用する視点を有する位置に挿入される。いくつかの実施形態によれば、ブロック３１０６において、画像取込みシステム１０１Ｃの向き（ｕ_ｘ１，ｕ_ｙ１，ｕ_ｚ１）は、第１の手術用アーム１５８Ａに関連する第１のデカルト座標系（ｘ１，ｙ１，ｚ１）に対して決定され、及びその向きは、コンピュータ可読記憶装置（図示せず）に保存される。ブロック３１０８において、図２５Ａに示されるように、第１のＱ３Ｄモデル２５１５を生成するために使用された情報は、第１の視野ＦＯＶ_１からの情報であり、コンピュータ可読記憶装置（図示せず）に保存される。決定モジュール３１１０は、Ｑ３Ｄモデルを取得するために使用する追加の手術用アーム及び対応するポートが存在していることを判断し、従って、制御がステップ３１０２に移り、次の手術用アームが選択される。

【0098】

上記の例を続けると、第２の通過ブロック３１０２において、第２の手術用アーム１５８Ｂが選択されることを想定する。

【0099】

第２の通過ブロック３１０４において、選択された第２の手術用アーム１５８Ｂに固定された画像取込みシステムは、体腔壁の第２のポートを介して、例えば第２の視野ＦＯＶ_２内の第２の画像情報２５２４に基づいて第２のＱ３Ｄモデル２５２５生成するために内視鏡を使用する視点を有する位置に挿入される。

【0100】

いくつかの実施形態によれば、第２の通過ブロック３１０６において、画像取込みシステム１０１Ｃの向き（ｕ_ｘ２，ｕ_ｙ２，ｕ_ｚ２）は、第２の手術用アーム１５８Ｂに関連する第２のデカルト座標系に対して決定され、及びその向きは、コンピュータ可読記憶装置に保存される。

【0101】

第２の通過ブロック３１０８において、第２のＱ３Ｄモデル２５２５を生成するために使用された情報は、図２５Ｂに示されるように、第２の視野ＦＯＶ_２から取り込まれ、コンピュータ可読記憶装置に保存される。

【0102】

依然として上記の例を続けると、決定ステップ３１１０は、Ｑ３Ｄモデルを取得するために使用する別の手術用アーム及び対応するポートが存在していることを判断し、従って、制御がステップ３１０２に再び移り、次の手術用アームを選択する。第３の通過ブロック３１０２において、第３の手術用アーム１５８Ｃが選択されることを想定する。第３の通過ブロック３１０４において、選択された第３の手術用アーム１５８Ｃに固定された画像取込みシステムは、体腔壁の第３のポートを介して、例えば第３の視野ＦＯＶ_３内の第３の画像情報２５３４に基づいて第３のＱ３Ｄモデル２５３５を生成するために内視鏡を使用する視点を有する位置に挿入される。いくつかの実施形態によれば、第３の通過ブロック３１０６において、画像取込みシステム１０１の向き（ｕ_ｘ３，ｕ_ｙ３，ｕ_ｚ３）は、第３の手術用アーム１５８Ｃに関連する第３のデカルト座標系に対して決定され、及びその向きは、コンピュータ可読記憶装置に保存される。ブロック３１０８において、第３のＱ３Ｄモデル２５３５を生成するために使用される情報は、図２７Ｃに示されるように、第３の視野ＦＯＶ_３から取り込まれ、コンピュータ可読記憶装置に保存される。

【0103】

次に、上記の例によれば、決定ステップ３１１０は、Ｑ３Ｄモデルを取得するために使用する追加の手術用アーム及び対応するポートが存在しないことを判断し、従って、制御は、ブロック３０１２に移る。

【0104】

あるいはまた、Ｑ３Ｄ内視鏡は、同じアーム、例えば１５８Ａを使用して操作することができるが、図２５Ａ〜図２５Ｃを参照して、異なるポート２５０４、２５０６、又は２５０８に位置付けしてもよい。いくつかの実施形態によれば、第１のデカルト座標系の内視鏡の向き（ｕ_ｘ１，ｕ_ｙ１，ｕ_ｚ１）と第２のデカルト座標系の内視鏡１０１の向き（ｕ_ｘ２，ｕ_ｙ２，ｕ_ｚ２）との間の既知の運動学関係を使用して、図２７に表されるように、第１及び第２のＱ３Ｄモデルを整列させる。第２のデカルト座標系の内視鏡１０１の向き（ｕ_ｘ２，ｕ_ｙ２，ｕ_ｚ２）と第３のデカルト座標系の内視鏡１０１の向き（ｕ_ｘ３，ｕ_ｙ３，ｕ_ｚ３）との間の既知の運動学関係を使用して、第２及び第３のＱ３Ｄモデルを整列させる。

【0105】

あるいはまた、いくつかの実施形態によれば、図２８Ａ〜図２８Ｃを参照して上で説明したように、第１、第２、及び第３のＱ３Ｄモデルの一部に又はそれぞれの対をなすモデルに見出される共通の基準点を使用して、モデルを整列させることもできる。上述したように、幾何学的変換を使用して、異なるＱ３Ｄモデルに存在する共通の基準点の最も良く一致する整列を達成することができる。

【0106】

一旦Ｑ３Ｄモデルが整列されると、ブロック３１１４は、図２９に示されるように、第１、第２、及び第３のＱ３Ｄモデルを一緒にステッチする。一旦ブロック３１１４において形成されると、複合及び拡張Ｑ３Ｄモデルは、図９を参照してモジュール４０７によって保存されるか、又はモジュール４０８によって３Ｄで表示する、或いは両方を行うことができる。Ｑ３Ｄモデルは、図３２で説明したプロセスに基づいて、３Ｄで表示することができる。多数の３Ｄビデオアルゴリズム及びハードウェア実装を、この目的のために使用することができる。３Ｄの表示は、３次元のビューの幻覚(illusion)を形成する立体表示と、３次元空間を占有する画像を形成する真の３Ｄ画像表示との両方を含むことを理解されたい。この説明は、立体視３Ｄディスプレイの観点で行われ、当業者は、同様に真の３Ｄ画像をどの様に（変更すべきところは変更して）形成するかを理解するだろう。

【0107】

図３２は、いくつかの実施形態による３Ｄディスプレイに３Ｄ視点のＱ３Ｄモデルを表示するプロセッサの詳細を示す説明図である。コンピュータモジュール３２０２は、図８のシステムを設定し、このシステムは、ビデオプロセッサ１０４、制御装置１０６、及び６２〜６５ｍｍの平均的なヒトの瞳孔間距離（IPD）を与える右眼用ビュー３２０４Ｒ及び左眼用ビュー３２０４ＬにＱ３Ｄモデルを分離するディスプレイドライバ１０９を含む。この動作を達成するために、立体視及びヒトＩＰＤの既知の詳細が適用される。いくつかの実施形態によれば、モジュール３２０６は、３Ｄシーンの印象を視認者に与えるために、ビデオフレームを左眼３２０８Ｌに提供することと、既知のフレームレートでフレームを右眼３２０８Ｒに提供することとを交互に切り替えるように、３Ｄディスプレイドライバ１０９の３Ｄビデオ制御装置１０６を設定する。図３２で説明したアプローチは、図４〜図６で説明したような遠隔操作手術システムに存在するような３Ｄビュー・ゴーグルを使用する。しかしながら、他の３Ｄビデオ表示機構を使用することができる。例えば、Liptonに付与された（１９８１年５月１５日に出願された）米国特許第４，５６２，４６３号、及びNagleleらに付与された（１９９５年１１月２７日出願）米国特許第６，００８，８３９号は、追加の実装の詳細を提供し、これらの特許は、この参照によりその全体が本明細書に組み込まれる。表示された後に、ユーザは、図２３及び図２４を参照して提供される説明に従って複合Ｑ３Ｄモデルを操作することができる。更なる操作は、他の器具同士の間、又は器具と解剖学的構造との間の距離の定量的な測定を構成することができる。

【0108】

本発明による実施形態の前述した説明及び図面は、本発明の原理の単なる例示である。例えば、複数の異なる視点を得るために複数のポートを使用するのではなく、単一のポートは、単一の内視鏡を動的に再位置付けして異なる視点からの情報を取り込むために使用することができる。例えば、手術用アームの手首機構に取り付けられ内視鏡の先端部に取り付けられた撮像システムを動的に操縦して、様々な視点から撮像することができる。従って、種々の改変が、添付の特許請求の範囲に規定される本発明の精神及び範囲から逸脱することなく、当業者によって実施形態に対してなされ得ることが理解されるだろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22A】

【図22B】

【図23】

【図24】

【図25A】

【図25B】

【図25C】

【図26A】

【図26B】

【図26C】

【図27】

【図28A】

【図28B】

【図28C】

【図29】

【図30A】

【図30B】

【図30C】

【図31】

【図32】