(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-09
(45)【発行日】2024-02-20
(54)【発明の名称】定量的3次元イメージング及び手術用インプラントのプリント
(51)【国際特許分類】
A61B 34/10 20160101AFI20240213BHJP
A61B 1/00 20060101ALI20240213BHJP
A61B 1/045 20060101ALI20240213BHJP
A61B 34/30 20160101ALI20240213BHJP
【FI】
A61B34/10
A61B1/00 522
A61B1/00 731
A61B1/045 610
A61B34/30
【外国語出願】
(21)【出願番号】P 2020012254
(22)【出願日】2020-01-29
(62)【分割の表示】P 2017502951の分割
【原出願日】2015-03-28
【審査請求日】2020-02-07
【審判番号】
【審判請求日】2022-11-17
(32)【優先日】2014-03-28
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2014-12-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ, インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】パネスク,ドリン
(72)【発明者】
【氏名】ジョーンズ,ダニエル,エイチ
【合議体】
【審判長】佐々木 正章
【審判官】安井 寿儀
【審判官】村上 哲
(56)【参考文献】
【文献】特開2006-305332(JP,A)
【文献】特表2012-518517(JP,A)
【文献】米国特許出願公開第2007/0276501(US,A1)
【文献】特表2011-528252(JP,A)
【文献】国際公開第2013/073061(WO,A1)
【文献】米国特許第5735277(US,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 34/10
A61B 1/00
A61B 1/04
A61F 2/38
(57)【特許請求の範囲】
【請求項1】
置換解剖学的構造を作るためのシステムであって:
3つ以上のイメージングセンサを有するイメージングセンサアレイを含む定量的3次元(Q3D)内視鏡であって、各前記イメージングセンサは、
対応するレンズスタックがピクセルの対応する二次元配置上に画像を解像するように、前記対応するレンズスタックと、前記
対応するレンズスタックの焦平面に
位置する前記ピクセルの対応する二次元配置とを含み
、前記イメージングセンサアレイの前記3つ以上のイメージングセンサは、重なり合う同一平面上の視野を有するように配置され、前記Q3D内視鏡は、
前記対応するレンズスタックが前記3つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に標的組織の画像を解像するよ
う前記イメージングセンサのうちの3つ以上の前記対応するレンズスタックが位置決めされる
ように、前記標的組織の除去前の手術処置中の位置にあり、
前記Q3D内視鏡は、前記対応するレンズスタックが前記3つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に残りの組織の画像を解像するよう前記イメージングセンサのうちの3つ以上の前記対応するレンズスタック
が位置決めされるように、前記標的組織の除去後の前記手術処置中の位置にあ
る、Q3D内視鏡と、
前記標的組織の除去前の前記手術処置中の前記位置と前記標的組織の除去後の前記手術処置中の前記位置との間で前記Q3D内視鏡を動かすマニピュレータと、
少なくとも1つのプロセッサであって、
前記標的組織を含む組織の外部表面を表す解剖学的構造から前記標的組織の除去前の前記手術処置中に前記Q3D内視鏡を使用して取り込まれる画像情報に基づいて第1のQ3Dモデルを作り、
前記標的組織が除去された組織であった前記解剖学的構造の位置における残りの組織構造を表す前記解剖学的構造から前記標的組織の除去後の前記手術処置中に前記Q3D内視鏡を使用して取り込まれる画像情報に基づいて第2のQ3Dモデルを作り、
前記第1のQ3Dモデル及び前記第2のQ3Dモデルに少なくとも部分的に基づいて置換構造の第3のQ3Dモデルを作るように、
構成される、少なくとも1つのプロセッサと、を有する、
システム。
【請求項2】
前記第3のQ3Dモデルを作ることは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の1又は複数の差を決定することを含む、
請求項1に記載のシステム。
【請求項3】
前記第3のQ3Dモデルを作ることは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の3Dデジタルサブトラクションを決定することを含む、
請求項1に記載のシステム。
【請求項4】
前記少なくとも1つのプロセッサは:
前記第3のQ3Dモデルを、3Dプリンタによる使用に適するフォーマットで前記置換構造の3次元(3D)モデルに変換するように、構成される、
請求項1に記載のシステム。
【請求項5】
前記少なくとも1つのプロセッサは、
前記置換構造に必要なサイズを示す出力信号を提供するように、構成される、
請求項1に記載のシステム。
【請求項6】
外科用置換構造を作るためのシステムの作動方法であって、
前記システムは、3つ以上のイメージングセンサを有するイメージングセンサアレイを含む定量的3次元(Q3D)内視鏡であって、各前記イメージングセンサは、
対応するレンズスタックがピクセルの対応する二次元配置上に画像を解像するように、前記対応するレンズスタックと、前記
対応するレンズスタックの焦平面に
位置する前記ピクセルの対応する二次元配置とを含
み、前記イメージングセンサアレイの前記3つ以上のイメージングセンサは、重なり合う同一平面上の視野を有するように配置され、前記Q3D内視鏡は
、前記対応するレンズスタック
が前記3つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に標的骨組織の画像を解像するよう
前記イメージングセンサのうちの3つ以上の前記対応するレンズスタックが位置決めされ
るように、前記標的骨組織の除去前の手術処置中の位置にあ
り、前記Q3D内視鏡は、
前記対応するレンズスタックが前記3つ以上のイメージングセンサの対応する焦平面内の前記ピクセルの対応する二次元配置内に残りの骨組織の画像を解像するよう前記イメージングセンサのうちの3つ以上の前記対応するレンズスタックが
位置決めされるように、前記標的骨組織の除去後の前記手術処置中の位置にあ
る、Q3D内視鏡と、マニピュレータと、少なくとも1つのプロセッサと、を有し、
前記方法は:
前記少なくとも1つのプロセッサが、前記マニピュレータへの、前記標的骨組織の除去前の前記手術処置中の前記位置と前記標的骨組織の除去後の前記手術処置中の前記位置との間で前記Q3D内視鏡を動かす命令を生成するステップ、
前記少なくとも1つのプロセッサが、前記Q3D内視鏡
に、前記標的骨組織の除去前の前記手術処置中の前記標的骨組織の画像を含むとともに前記標的骨組織の除去後の前記手術処置中の前記残りの骨組織の画像を含む視野内の解剖学的構造の画像を取り込
ませる命令を生成するステップ、
前記少なくとも1つのプロセッサが、前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から前記標的骨組織の除去前の前記手術処置中に前記Q3D内視鏡を使用して取り込まれる画像情報に基づいて第1の定量的3次元(Q3D)モデルを作るステップ、
前記少なくとも1つのプロセッサが、前記標的骨組織が除去された組織であった前記解剖学的構造の位置における残りの組織骨構造を表す前記解剖学的構造から前記標的骨組織の除去後の前記手術処置中に前記Q3D内視鏡を使用して取り込まれる画像情報に基づいて第2のQ3Dモデルを作るステップ、及び
前記少なくとも1つのプロセッサが、前記第1のQ3Dモデル及び前記第2のQ3Dモデルに基づいて置換構造の第3のQ3Dモデルを作るステップ、を含む、
方法。
【請求項7】
前記第3のQ3Dモデルを作るステップは、前記少なくとも1つのプロセッサが、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の3Dデジタルサブトラクションを決定するステップを含む、
請求項6に記載の方法。
【請求項8】
前記少なくとも1つのプロセッサが、前記第3のQ3Dモデルを、3Dプリンタによる使用に適するフォーマットで前記置換構造の3次元(3D)モデルに変換するステップ、をさらに含む、
請求項6に記載の方法。
【請求項9】
3Dプリンタが前記置換構造を作るステップをさらに含む、
請求項8に記載の方法。
【請求項10】
前記少なくとも1つのプロセッサが、前記置換構造の前記第3のQ3Dモデルに少なくとも部分的に基づいて前記除去された組織を置換するためのインプラントとして使用する既製の置換構造のサイズを決めるステップをさらに含む、
請求項6に記載の方法。
【請求項11】
前記第3のQ3Dモデルを作るステップは、前記少なくとも1つのプロセッサが、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の1又は複数の差を決定するステップを含む、
請求項6に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本特許出願は、
"QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES"と題する、2014年3月28日に出願された米国仮特許出願第61/971,749号、及び
"QUANTITATIVE THREE-DIMENSIONAL IMAGING AND PRINTING OF SURGICAL IMPLANTS"と題する、2014年12月23日に出願された米国仮特許出願第62/096,518号の優先権の利益を主張し、これらはその全体が参照により本明細書に援用される。
【0002】
本発明は、概して関連付けられる画像センサを有する手術用内視鏡検査システムに関連し、より具体的には、手術用画像に表示された物理的な構造の3次元座標を決定することに関する。
【背景技術】
【0003】
定量的3次元(Quantitative three-dimensional)(Q3D)視覚(vison)は、実世界のシーン(scene)における標的ポイントの実際の物理的な(x、y、z)3D座標に関する数値情報を提供する。定量的3次元視覚により、人は、実世界のシーンの3次元知覚を得ることができるだけでなく、シーンにおける物体の物理的な寸法及びシーンにおける物体間の物理的な距離に関する数値情報を得ることができる。過去には、シーンに関する3D情報を決定するために飛行時間(time-of-flight)情報又は位相情報を使用する幾つかのQ3Dシステムが提案されている。他のQ3Dシステムは、シーンに関する3D情報を決定するために、構造化光(structured light)を使用していた。
【0004】
飛行時間情報の使用は、"CMOS-compatible three-dimensional image sensor IC"と題する特許文献1に開示され、これは、CMOS製造技術を使用して共通IC上に作られたピクセル光検知検出器の2次元アレイを含む3次元イメージングシステムを開示している。各検出器は、物体ポイントから反射するように且つそのポイントに焦点を合わせられたピクセル検出器によって検出されるように、システム放射パルスについての飛行時間(TOF)に正比例するクロックパルスの数を蓄積する、関連付けられる高速カウンタを有する。TOFデータは、特定のピクセルから放射光パルスを反射する物体上のポイントへの距離の直接のデジタル的尺度を提供する。第2の実施形態では、カウンタ及び高速クロック回路は排除され、代わりに、各ピクセル検出器は、電荷蓄積器及び電子シャッタを備える。シャッタは、光パルスが放射されるときに開き、その後、各ピクセル検出器が関連付けられるピクセル検出器の上に当たる戻り光子エネルギに応じて電荷を蓄積するように、閉じる。蓄積される電荷の量は、往復TOFの直接的な尺度を提供する。
【0005】
時間遅延情報を使用は、"Apparatus and method for endoscopic 3D data collection"と題する特許文献2に開示され、これは、変調測定ビーム及び測定ビームを観察されることになる領域へ導くための光伝送機構を開示し、光伝送機構は、観察されることになる領域から少なくとも位相感応性画像センサへの信号ビームをイメージングするための光イメージング機構に加えて、照明レンズを含む。ミリメートル範囲での深さにおける差に対応し得る、時間遅延は、深さ及び距離情報を描く画像の生成を可能にする位相情報をもたらす。
【0006】
視覚画像における物体の物理的な座標を決定するための構造化光の使用が、"Endoscope"と題する、特許文献3、及びC. Schmalz他による非特許文献1に開示されている。三角測量法が、表面の地形を測定するために使用される。異なるカラースペクトルの範囲を有し得る、投影光線の形態の構造化光は、表面に入射し且つ表見から反射される。反射された光線は、表面の3D座標を決定するために反射カラースペクトル情報を使用するように構成されるカメラによって観察される。より具体的には、構造化光の使用は、典型的には、3D表面に光パターンを照らすこと、及び物理的な物体の輪郭に起因する光の変形パターンに基づいて物理的な距離を決定することを伴う。
【0007】
イメージャアレイカメラが作られており、それは、アレイにおけるピクセルに関するシーン深さ情報を計算するために使用さえることができる複数のピクセルアレイを含む。高解像度(HR)画像が、多数の低解像度(LR)画像から生成される。基準視点が選択され、HR画像が、その視点によって見られるように生成される。視差処理技術が、基準画像ピクセルに対する非基準画像に関するピクセル対応を決定するために、エイリアシングの効果を用いる。融合及び超解像が、多数のLR画像からHR画像を作るために用いられる。例えば、"Capturing and Processing Images using Monolithic Camera Array with Heterogeneous Imager"と題する、特許文献4、及びK. Venkataraman他の非特許文献2を参照されたい。
【0008】
図1は、幾つかの実施形態による、既知のイメージャセンサ180の詳細を示す例示的な図面である。画像センサ180は、センサ184の配置を含む。配置内の各センサは、各次元に少なくとも2つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタック186を含む。各レンズスタック186は、対応する焦平面188を有する。各レンズスタック186は、対応する焦平面188に配置されるピクセルの対応する配置の上に画像を解像する別個の光学通路を作る。ピクセルは、光センサとして機能し、多数のピクセルを持つ各焦平面188は、画像センサとして機能する。焦平面188を持つ各センサは、他のセンサ及び焦平面によって占められるセンサ配置の領域と異なるセンサ配置の領域を占める。
【0009】
図2は、センサS
11乃至S
33としてラベルされたセンサを含む
図1のセンサの184の既知の配置の単純化された平面図を示す例示的な図面である。イメージャセンサ配置184は、複数のセンサS
11乃至S
33を含むよう半導体チップ上に製造される。S
11乃至S
33のそれぞれは、複数のピクセル(例えば、0.32メガピクセル)を含み、独立した読出し制御及びピクセルデジタル化を含む周辺回路(図示せず)に結合される。幾つかの実施形態では、S
11乃至S
33は、
図2に示されるようなグリッド形式に配置される。他の実施形態では、センサは、非グリッド形式に配置される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブピクセルオフセットを含む不規則パターンに配置されてよい。
【0010】
図1-2のセンサ184の各個別のピクセルは、マイクロレンズピクセルスタックを含む。
図3は、
図1-2のセンサの既知のマイクロレンズピクセルスタックの例示的な図面である。ピクセルスタック800は、マイクロレンズ802を含み、このマイクロレンズは、酸化物層804の上に位置する。典型的には、酸化物層804の下に、カラーフィルタ806があってよく、このカラーフィルタは、窒化物層808の上に配置され、この窒化物層は、第2の酸化物層810の上に配置され、この第2の酸化物層は、個々のピクセルの活性領域814(典型的にはフォトダイオード)を含むシリコン層812の上に位置する。マイクロレンズ802の主な役割は、その表面に入射する光を集めること及びその光を小さい活性領域814の上に集束させることである。ピクセル口径816は、マイクロレンズの広がりによって決定される。
【0011】
上述の既知のイメージャセンサ配置アーキテクチャに関する追加的な情報は、特許文献4(2010年11月22日出願)及び特許文献5(2012年9月19日出願)に提供されている。
【先行技術文献】
【特許文献】
【0012】
【文献】US6,323,942
【文献】US8,262,559
【文献】US2012/0190923
【文献】US8,514,491
【文献】US2013/0070060
【非特許文献】
【0013】
【文献】"An endoscopic 3D scanner based on structured light", Medical Image Analysis, 16 (2012) 1063-1072.
【文献】"PiCam: An ultra-Thin high Performance Monolithic Camera Array"
【発明の概要】
【0014】
1つの態様では、システム及び方法が、人工的な置換解剖学的構造(artificial replacement anatomical structure)又はプロステーシス(prosthesis)を作るために提供される。システムは、標的組織を含む解剖学的構造の第1の定量的3次元(Q3D)モデルを作る。損傷を受けた又は健康でない組織の除去の後、システムは、標的組織が除去された場所に残りの組織を含む解剖学的構造の第2のQ3Dモデルを作る。置換構造の第3のQ3Dモデルが、第1のQ3Dモデル及び第2のQ3Dモデルに基づいて作られる。例えば、位置合わせの後、システムは、第3のQ3Dモデルを作るために、第1のQ3Dモデルから第2のQ3Dモデルを取り去る(subtract)。さらに、システムは次に、第3のQ3Dモデルを3Dプリンタによる使用に適するフォーマットに置換構造の3次元(3D)モデルに変換する。3Dプリンタは、3Dモデルを受信するように及び置換構造を作るように構成される。
【0015】
他の態様では、システム及び方法が、手術シーンの正確なQ3Dモデルを生成するために提供される。解剖学的構造が、光源で照明される。システムは、解剖学的構造の多数の異なる画像投影(image projections)が連続的に取得されるように、既知の且つ制御された連続で、Q3D内視鏡を体腔の中で位置及び向きの組み合わせで位置決めする、又は「ジッタする(jitter)」。Q3D内視鏡の多数の連続的な位置及び向きは、取得される3D画像において冗長な情報を提供するように選択される。システムは、冗長な情報に少なくとも部分的に基づいて、多数の連続的な3D画像を縫い合わせる(stitch together)ことによって、構造又はシーンの正確なQ3Dモデルを作る。
【0016】
他の態様では、インプラント性能の定量的3D評価のためのシステム及び方法が提供される。システムは、Q3D内視鏡と、手術用インプラントを受けることを目的にされた内部解剖学的構造の第1のQ3Dモデルを作るプロセッサと、を有する。第1のQ3Dモデルに少なくとも部分的に基づいて、システムは、解剖学的構造に差異的に適合するインプラントのサイズを表す出力を作る。定位置に配置されたインプラントにより、システムは、構造及びインプラントの異なるQ3Dモデルを作る。システムは、インプラントの臨床的な性能の特徴(clinical performance feature)を表す出力を作る。例えば、出力は、ステントの効果的な3Dカバレッジ長さ(3D coverage length)、ステントの血管断面カバレッジ(vessel cross-sectional coverage)、人工的な心臓弁の3Dのダイナミックな閉鎖、
部分的な膝置換インプラントの3D運動を定量的に表すように構成されることができる。
【図面の簡単な説明】
【0017】
本開示の態様は、添付の図面と併せて読むとき、以下の詳細な説明から最も良く理解される。この業界での標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことを強調しておく。実際、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小される場合がある。また、本開示は、様々な例において参照数字及び/又は文字を繰り返して使用する場合がある。この繰返しは、簡略化と明瞭化を目的として行われており、論じられる様々な実施形態及び/又は構成の間の関係をそれ自体で規定するものではない。
【
図1】既知のイメージャセンサの詳細を示す例示的な図面である。
【
図2】
図1のイメージャセンサの既知のセンサアレイの簡略化された平面図を示す例示的な図面である。
【
図3】
図2のセンサアレイのセンサ内のピクセルの既知のマイクロレンズピクセルスタックの例示的な図面である。
【
図4】幾つかの実施形態による、ビューアを通じた手術シーンの斜視図を示す、例示的な図面である。
【
図5】幾つかの実施形態による、1又は複数の機械的アームを用いて低侵襲外科処置を行うための遠隔操作手術システムの例示的なブロック図である。
【
図6】幾つかの実施形態による、
図5のシステムのうちの患者側システムの例示的な斜視図である。
【
図7A】幾つかの実施形態による、第1の画像キャプチャシステムを含む第1の内視鏡の例示的な図面である。
【
図7B】幾つかの実施形態による、第2の画像キャプチャシステムを含む第2の内視鏡の例示的な図面である。
【
図8】幾つかの実施形態による、
図7Aの第1の画像キャプチャシステムを含む第1の内視鏡と関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。
【
図9】幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。
【
図10】幾つかの実施形態による、標的を系統的に(systematically)選択するために
図9のモジュールに概して対応するプロセスの特定の詳細を示す例示的なフロー図である。
【
図11】幾つかの実施形態による、多数のセンサを含むとともに、3つの例示的な物体を含む例示的な三次元の物理的なワールドシーンを包含する視野を有するよう配置される、例示的なセンサイメージャアレイの例示的な図面である。
【
図12】幾つかの実施形態による、多数のセンサ上への
図11の多数の物理的物体の投影を表す例示的な図面である。
【
図13】幾つかの実施形態による、リアルワールドシーン内からの関心領域の選択を示す例示的な図面である。
【
図14】幾つかの実施形態による、多数のセンサ内の投影画像の相対的な幾何学的オフセットに関する詳細を示す例示的な図面である。
【
図15】幾つかの実施形態による、関心の領域(ROI)内の割り当てられた基準センサ内の投影画像と位置合わせするよう右にシフトさせられたROI内の特定の例示のセンサ内の投影画像を示す例示的な図面である。
【
図16】幾つかの実施形態による、多数のセンサ上への選択された標的ポイントの投影を示す例示的な図面である。
【
図17】幾つかの実施形態による、
図16の多数のセンサを含むイメージャアレイの一部及び物理的な空間内の位置に配置される選択された標的ポイントTを示す、例示的な図面である。
【
図18】幾つかの実施形態による、
図16の多数の画像センサ上への現在選択されている標的ポイントTの投影の例示的な正面図である。
【
図19】幾つかの実施形態による、
図17を参照して上述したような多数のセンサに対する現在選択されている標的の配置を示すとともに、センサのそれぞれにおける候補ピクセルについてのy方向ピクセルオフセットも示す、例示的な図面である。
【
図20】幾つかの実施形態による、外科処置中にQ3D情報を使用するための第1のプロセスを表す例示的なフロー図である。
【
図21】幾つかの実施形態による、
図20のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。
【
図22A】幾つかの実施形態による、
図20のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。
【
図22B】幾つかの実施形態による、
図20のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。
【
図23】幾つかの実施形態による、外科処置中にQ3D情報を使用するための第2のプロセスを表す例示的なフロー図である。
【
図24】幾つかの実施形態による、
図23のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。
【
図25A】幾つかの実施形態による、外科処置前の解剖学的構造の例示のビューを示す例示的な図面である。
【
図25B】例示の損傷を受けた部分の輪郭をより詳細に示す
図25Aの視点1-1からの破線A-Aに概して沿った側面断面図である。
【
図26A】幾つかの実施形態による、損傷を受けた又は病気の骨組織を除去し且つ残りの健康な組織によって境界された空隙を残す外科処置の後の解剖学的構造の例示のビューを示す例示的な図面である。
【
図26B】病気の又は損傷を受けた骨組織の除去後の例示の健康な又は損傷を受けていない領域の輪郭を示す
図26Aの視点1-1からの破線A-Aに概して沿った側面断面図である。
【
図27A】幾つかの実施形態による、標的領域の3つの異なる画像ビューポイントを取り込むための3つの異なる例示の「ジッタする(jitter)」位置の内視鏡を示す例示的な図面である。
【
図27B】幾つかの実施形態による、標的領域の3つの異なる画像ビューポイントを取り込むための3つの異なる例示の「ジッタする(jitter)」位置の内視鏡を示す例示的な図面である。
【
図27C】幾つかの実施形態による、標的領域の3つの異なる画像ビューポイントを取り込むための3つの異なる例示の「ジッタする(jitter)」位置の内視鏡を示す例示的な図面である。
【
図28A】幾つかの実施形態による、人工(prosthetic)インプラントのQ3Dモデルを作るための、第1の除去前第1Q3Dモデル及び除去後第2Q3Dモデルの使用を表す例示的な図面である。
【
図28B】幾つかの実施形態による、人工インプラントのQ3Dモデルを作るための、第1の除去前第1Q3Dモデル及び除去後第2Q3Dモデルの使用を表す例示的な図面である。
【
図29A】幾つかの実施形態による、人工構造モデルのQ3Dを3次元(3D)プリンタにより使用可能であるファイル構造に変換するためのプロセスを表す例示的な図面である。
【
図29B】健康な又は損傷を受けていない領域と嵌合する(interfit)するように人工インプラントを作るための3Dプリンタを使用するプロセスを表す例示的な図面である。
【
図30A】人工インプラントを残りの領域とぴったりと嵌合するための外科処置後の解剖学的構造の例示のビューを示す例示的な図面である。
【
図30B】例示の残りの領域の輪郭を示す
図30Aの視点1-1からの破線A-Aに概して沿った側面断面図である。
【
図31A】例示の全体の膝の骨置換プロステーシス装置を備える膝の骨の正面図を示す例示的な図面である。
【
図31B】部分的な膝置換プロステーシス装置を備える膝の骨の正面図を示す例示的な図面である。
【
図32A】
図31Aの例示の全体の膝の骨置換プロステーシス装置の人工の脛骨プレート及び大腿骨コンポーネントを示す例示的な図面である。
【
図32B】
図31Bの部分的な膝置換プロステーシス装置を備える膝の骨の背面図を示す例示的な図面である。
【
図33A】シース又はデリバリカテーテルから展開中の従来技術の組織イメージング装置の1つのバリエーションの側面図を示す例示的な図面である。
【
図33B】イメージング及び/又は診断カテーテルに取り付けられたオプションで伸張可能なフード又はシースを有する
図33Aの従来技術の展開された組織イメージング装置を示す例示的な図面である。
【
図33C】従来技術の展開された組織イメージング装置の端面図を示す例示的な図面である。
【
図34A】撮像されることになる組織に接して又は隣接して位置する従来技術の展開された組織イメージャの1つの例及び、伸張可能なフードの中から血液を排除する、食塩水のような、流体の流れを示す例示的な図面である。
【
図34B】撮像されることになる組織に接して又は隣接して位置する従来技術の展開された組織イメージャの1つの例及び、伸張可能なフードの中から血液を排除する、食塩水のような、流体の流れを示す例示的な図面である。
【
図35A】フードの遠位開口の上に透明なエラストマ膜の少なくとも1つの層を有する従来技術のイメージングフードの斜視図及び端面図をそれぞれ示す例示的な図面である。
【
図35B】フードの遠位開口の上に透明なエラストマ膜の少なくとも1つの層を有する従来技術のイメージングフードの斜視図及び端面図をそれぞれ示す例示的な図面である。
【
図36】幾つかの実施形態による、フードの遠位開口の上に透明なエラストマ膜の少なくとも1つの層を有するイメージングフードを持つQ3D内視鏡の斜視図を示す例示的な図面である。
【
図37】幾つかの実施形態による、右冠動脈(RCA)と連通する、小孔(OS)に当接するイメージセンサアレイを含むフードの例示の使用を示す例示的な図面である。
【
図38】幾つかの実施形態による、小孔(OS)に当接するとともにこの小孔にステントが右上行動脈(RSA)に設置されている、イメージセンサアレイを含むフードの例示の使用を示す例示的な図面である。
【
図39】開位置にある、人工の心臓弁インプラントに隣接して配置されるQ3D内視鏡を示す例示的な図面である。
【
図40】閉位置にある、人工の心臓弁インプラントに隣接して配置されるQ3D内視鏡を示す例示的な図面である。
【
図41】ステント留置性能を定量的に評価するために使用されることができる定量的基準の例を示す。
【発明を実施するための形態】
【0018】
以下の記載は、任意の当業者が、画像センサの視野内の物理的構造の三次元座標を決定するために、各画像センサが他の画像センサのピクセルアレイから分離されているピクセルアレイを含む、多数の画像センサを有する手術用内視鏡検査システムを作ること及び使用することを可能にするために、提示される。実施形態に対する様々な修正は当業者にすぐに明らかになるであろうとともに、本明細書で定められる包括的な原理は、発明的な主題の精神及び範囲から逸脱せずに、他の実施形態及び応用に適用され得る。さらに、以下の記載では、様々な詳細が、説明の目的のために述べられる。しかし、当業者は、発明的な主題がこれらの特定の詳細を使用せずに実施され得ることを認識するであろう。他の場合には、不必要な詳細で開示を曖昧にしないために、よく知られた機械構成部品、プロセス及びデータ構造は、ブロック図の形態で示される。同一の参照番号が、異なる図面の同じアイテムの異なる図を表すために、用いられ得る。以下に参照される図面のフロー図は、プロセスを表すために用いられる。コンピュータシステムが、これらのプロセスの幾つかを遂行するよう構成され得る。コンピュータ実装プロセスを表すフロー図の中のモジュールは、これらのモジュールを参照して記載される行為を実行するコンピュータプログラムコードに従ったコンピュータシステムの構成を表す。したがって、発明的な主題は、図示された実施形態に限定されることが意図されるものではなく、本明細書で開示される原理及び構成と一致する最も広い範囲が与えられるべきである。
【0019】
概要
【0020】
幾つかの実施形態によれば、センサアレイを含むイメージャが内視鏡と関連付けられる。この画像センサアレイは多数のセンサを含み、各センサはピクセルのアレイを含む。内視鏡の部分が人間の体腔内に挿入され、画像センサアレイの視野内の標的物体が光源を使用して照明される。標的物体の物理的位置及び/又は寸法が、アレイの個々のセンサ上に投影された標的物体の画像に基づいて決定される。
【0021】
図4は、幾つかの実施形態による、ビューア312を通じた手術シーンの斜視図を示す例示的な図面である。2つのビューイング要素(viewing elements)401R、401Lを有するビューイングシステム(viewing system)が良好な3Dビューイング視点(viewing perspective)を提供することができる。手術シーンにおける物理的構造についての物理的寸法及び/又は位置情報を表す数値が手術シーン画像の上にオーバーレイされて示されている。例えば、数値的距離値“d_Instr_Trgt”が、器具400と標的410との間のシーン内に表示されて示されている。
【0022】
遠隔操作医療システム
【0023】
遠隔操作は、ある距離を置いた機械の操作を指す。低侵襲遠隔操作医療システムでは、外科医は、患者の体の中の手術部位を見るために、カメラを含む内視鏡を用い得る。立体視画像が取り込まれ、これは外科処置中に深さの知覚を可能にする。内視鏡に取り付けられ且つイメージャセンサアレイを含むカメラシステムが、幾つかの実施形態にしたがって、定量的三次元情報に加えて、三次元画像を生成するために使用されることができるカラー及び照明データを提供する。
【0024】
図5は、幾つかの実施形態による、1又は複数の機械的アーム158を使用して低侵襲外科処置を行うための遠隔操作手術システム100の例示的なブロック図である。システム100の態様は、遠隔ロボット式且つ自律的な動作機能を含む。これらの機械的アームは、しばしば、器具を支持する。例えば、機械的手術アーム(例えば、中央の機械的手術アーム158C)が、内視鏡に関連付けられるQ3D画像センサアレイのような、立体又は三次元手術画像キャプチャ装置101Cを備える内視鏡を支持するために使用され得る。機械的手術アーム158Cは、画像キャプチャ装置101Cを含む内視鏡を機械的アームに機械的に固定するために、無菌アダプタ、又は、クランプ、クリップ、ネジ、スロット/溝、又は、他の締結機構を含み得る。逆に、画像キャプチャ装置101Cを備える内視鏡は、機械的手術アーム158Cの物理的輪郭及び/又は構造と確実に相互嵌合(interfit)するよう、機械的手術アーム158Cの物理的輪郭及び/又は構造と相補的な物理的輪郭及び/又は構造を含み得る。
【0025】
ユーザ又はオペレータO(一般的に外科医)が、マスタ制御コンソール150で制御入力装置を操作することによって、患者Pに低侵襲外科処置を行う。オペレータは、立体ディスプレイ装置164を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができ、この立体ディスプレイ装置は、
図4を参照して上述したビューア312を含む。コンソール150のコンピュータ151が、制御線159を介して遠隔操作式に制御される内視鏡手術器具101A-101Cの動きを命令し、(患者側カートとも称される)患者側システム152を用いて器具の動きをもたらす。
【0026】
患者側システム152は、1又は複数の機械的アーム158を含む。典型的には、患者側システム152は、対応する位置決めセットアップアーム156によって支持される(一般的に機械的手術アーム158と称される)少なくとも3つの機械的手術アーム158A-158Cを含む。中央の機械的手術アーム158Cは、カメラの視野内の画像についてのQ3D情報の取り込みに適した内視鏡検査カメラ101Cを支持し得る。中央の左右にある機械的手術アーム158A及び158Bは、組織を操作する器具101A及び101Bをそれぞれ支持し得る。
【0027】
図6は、幾つかの実施形態による、患者側システム152の例示的な斜視図である。患者側システム152は、ベース172によって支持されるカートコラム170を有する。1又は複数の機械的挿入手術アーム/リンク158が、患者側システム152の位置決め部分の一部である1又は複数のセットアップアーム156にそれぞれ取り付けられる。ベース172上のほぼ中央位置に置かれる、カートコラム170は、釣合サブシステム及び制動サブシステムの構成部品を汚染から守る保護カバー180を含む。
【0028】
モニタアーム154を除き、各機械的手術アーム158は、器具101A-101Cを制御するために使用される。さらに、各機械的手術アーム158は、セットアップアーム156に結合され、このセットアップアームは、本発明の1つの実施形態において、キャリッジハウジング190に結合される。1又は複数の機械的手術アーム158は、それぞれ、
図6に示されるように、それらのそれぞれのセットアップアーム156によって支持される。
【0029】
機械的手術アーム158A-158Dは、追跡システムによる初期的取得及び器具の追跡を支援するために、生の(raw)補正されていない運動学的情報を生成するよう、1又は複数の変位トランスデューサ(displacement transducers)、向きセンサ、及び/又は位置センサ185をそれぞれ含み得る。器具も、本発明の幾つかの実施形態では、変位トランスデューサ、位置センサ、及び/又は向きセンサ186を含み得る。さらに、1又は複数の器具は、取得及び器具の追跡を支援するためにマーカ189を含み得る。
【0030】
遠隔操作医療システムに関する追加の情報は、米国特許出願公開第2012/0020547号(2011年9月30日出願)において提供されている。
【0031】
内視鏡イメージャシステム
【0032】
図7Aは、幾つかの実施形態による、第1の画像キャプチャシステム101Cを備える第1の内視鏡の例示的な図面である。画像キャプチャシステム101Cは、細長い部分202を含む内視鏡を含み、この細長い部分は、第1の端部分204と、第2の端部分206と、第1の端部分204の先端部分208とを含む。第1の端部分204は、人間の体腔内に挿入されるように寸法決めされる。多数の画像センサ(図示せず)を含むセンサアレイ210が、第1の端部分204の先端部分208で結合される。幾つかの実施形態によれば、センサアレイ210の各センサは、ピクセルのアレイを含む。細長い部分202は、物体がイメージャセンサアレイ210によって撮像されることができるように、先端部分208を体腔内の標的物体の十分に近くに配置するのに十分な長さを有する。幾つかの実施形態によれば、第2の端部分206は、機械的アーム(図示せず)と確実に相互嵌合するよう、概して上述されたような物理的輪郭及び/又は構造(図示せず)を含み得る。細長い部分202はまた、イメージャセンサアレイ210と情報を電子的に通信するよう、1又は複数の電子信号経路212を含む。光源214が、撮像されるべき物体を照らすために、配置される。幾つかの実施形態によれば、光源214は、例えば、非構造化光(unstructured light)、白色光、カラーフィルタされた光(color filtered light)、又は何らかの選択された波長の光であることができる。幾つかの実施形態によれば、光源214は、先端208に配置され、他の実施形態では、それはオプションで内視鏡101Cと別個に配置される。
【0033】
図7Bは、幾つかの実施形態による、第2の画像キャプチャシステム101C2を備える第2の内視鏡の例示的な図面である。第1の画像キャプチャシステム101Cを備える第1の内視鏡のものと本質的に同じである第2の画像キャプチャシステム101C2の態様は、同一の参照番号によって示され、再び記載されない。ロッドレンズのような、ライトパイプ入力への入力が、第1の端部分204の先端部分208に配置される。ライトパイプボディは、ライトパイプ入力として受け取られる画像を先端部分208から物理的に移動させられたイメージャセンサアレイ210に伝えるように、細長い部分202内に延びる。幾つかの実施形態では、イメージャセンサアレイ210は、体腔内の物体の観察中にイメージャセンサアレイ210が体腔の外側に配置されるよう、先端部分208から十分に遠くに移動させられる。
【0034】
図8は、幾つかの実施形態による、
図7Aの第1の画像キャプチャシステム101Cを備える第1の内視鏡101Cと関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。イメージャセンサアレイ210によって取り込まれる画像は、データバス212を通じてビデオプロセッサ104に送られ、このビデオプロセッサは、バス105を介してコントローラ106と通信する。ビデオプロセッサ104は、カメラ制御ユニット(CCU)及びビデオ信号検出器(VSD)ボードを含み得る。CCUは、明るさ、色スキーム、ホワイトバランス等のような、イメージングセンサ210の様々な設定をプログラムする又は制御する。VSDは、イメージングセンサから受信されるビデオ信号を処理する。代替的には、CCU及びVSDは、1つの機能ブロック内に統合される。
【0035】
幾つかの実施形態によれば、1又は1より多いプロセッサを含むプロセッサシステムが、プロセッサ機能を実行するように構成される。幾つかの実施形態では、プロセッサシステムは、本明細書に記載されるプロセッサ機能を実行するために協働するように構成される多数のプロセッサを含む。したがって、1又は複数の機能を実行するように構成される少なくとも1つのプロセッサへの言及は、機能が1つのプロセッサだけによって或いは協働する多数のプロセッサによって実行され得るプロセッサシステムを含む。
【0036】
1つの実装において、プロセッサ及びストレージデバイス(図示せず)を含むコントローラ106は、細長い部分202の先端208に隣接するシーンにおけるポイントの物理的な定量的3D座標を計算し、3Dシーンを構成するようにビデオプロセッサ104及び3Dディスプレイドライバ109の両方を駆動させ、この3Dシーンはその後3Dディスプレイ110上に表示され得る。幾つかの実施形態によれば、例えば、シーン内の物体の表面輪郭の寸法の数値的な印(numerical indicia)又は手術シーン内の物体からの距離のような、手術シーンに関するQ3D情報が生成される。以下により完全に説明されるように、数値的なQ3D深さ情報は、距離情報又は表面輪郭情報で手術シーンの立体視画像に注釈を付けるために使用されることができる。
【0037】
データバス107及び108は、ビデオプロセッサ104、コントローラ106、及びディスプレイドライバ109の間で、情報及び制御信号を交換する。幾つかの実施形態では、これらの要素は、内視鏡のボディの内側で画像センサアレイ210と統合されることができる。代替的に、それらは、内視鏡の内部に及び/又は外部に分散されることができる。内視鏡は、標的120を含む手術シーンへの視覚化されたアクセスを提供するために、カニューレ140を介して身体組織130を貫通するように配置されて示されている。代替的には、内視鏡及び1又は複数の器具は、手術部位に達するように、単一の開口-単一の切開部又は自然開口部-を通過してもよい。標的120は、解剖学的標的、他の手術器具、又は患者の体の内側の手術シーンの任意の他の特徴であることができる。
【0038】
入力システム112は、3D視覚表現を受信し、それをプロセッサ106に提供する。入力システム112は、3Dモデルを生成するシステム(図示せず)からCRT又はMRIのような3Dモデルを受信する電子通信バス(図示せず)に結合されるストレージデバイスを含み得る。プロセッサ106は、例えば、Q3Dモデルと3D視覚表現との間に意図されるアライメント(alignment)を計算するために使用されることができる。より具体的には、限定ではなく、入力システム112は、システム152と、MRI、CT、又は超音波撮像システムのような、イメージングシステム(図示せず)との間に、イーサネット(登録商標)通信接続を構築するように構成される、プロセッサを含み得る。他のイメージングシステムが用いられてよい。Bluetooth(登録商標)、WiFi、光学等のような、他の種類の通信接続が使用され得る。代替的には、システム152及びイメージングシステムは、1つのより大きいシステムに統合され得る。アライメントプロセスの結果は、外部デバイス又はシステムへの更なる操作のために提供される又は
図25に示されるように表示される、プロセッサ106と関連付けられるストレージデバイスにセーブされ得る。
【0039】
シーンの画像に加えられるQ3D情報の例
【0040】
図4を再び参照すると、
図4は、幾つかの実施形態による、
図5のマスタ制御コンソール150のビューア312の斜視図を示す例示的な図面である。幾つかの実施形態によれば、三次元眺望(three-dimensional perspective)を提供するために、ビューア312は、各目のための立体画像を含む。図示されるように、手術部位の左画像400L及び右画像400Rは、左視認要素401L及び右視認要素401Rそれぞれの中に、任意の器具400及び標的410を含む。ファインダ(viewfinders)の画像400L及び400Rは、左ディスプレイ装置402L及び右ディスプレイ装置402Rそれぞれによって提供され得る。ディスプレイ装置402L,402Rは、オプションで、陰極線管(CRT)モニタ、液晶ディスプレイ(LCDs)、又は他の種類の画像ディスプレイ装置(例えば、プラズマ、デジタル光投影等)のペアであり得る。本発明の好適な実施形態では、画像は、カラーCRTs又はカラーLCDsのような、一対のカラーディスプレイ装置402L、402Rによって、カラーで提供される。既存のデバイスとの後方互換性をサポートするために、立体視ディスプレイ装置402L及び402Rは、Q3Dシステムと共に用いられ得る。代替的に、Q3Dイメージングシステムは、3Dモニタ、3DTV、又は3D効果眼鏡の使用を必要としないディスプレイのような自動立体視ディスプレイに接続されることができる。
【0041】
2つのビューイング要素401R、401Lを有するビューイングシステムが、良好な3Dビューイング視点を提供することができる。Q3Dイメージングシステムは、このビューイング視点に手術シーン中の物理的構造についての物理的寸法情報を補足する。Q3D内視鏡システムと共に用いられる立体ビューア312は、手術シーンの立体画像の上にオーバーレイされるQ3D情報を表示することができる。例えば、
図4に示されるように、器具400と標的410との間の数値的Q3D距離値“d_Instr_Trgt”が、立体ビューア312内に表示されることができる。
【0042】
物理的位置及び寸法情報を手術シーンの3D眺望の上にオーバーレイするために使用されることができるビデオ立体ビューイングシステムの説明は、本明細書に参照によって明示的に援用される、米国特許出願公開第2012/0020547号(2011年9月30日出願)、段落0043-0053及び対応する図面に提供されている。
【0043】
定量的三次元物理的情報を処理すること
【0044】
図9は、幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。プロセスは、
図8の実施形態の画像キャプチャシステム101Cを備える内視鏡を参照して記載される。モジュール401は、イメージングセンサS
ijからビデオデータを取得するようにコントローラ106を設定する。画像センサアレイ210は視野全体を「撮像」するが、画像センサアレイ210内の異なるセンサ及び異なるセンサ内の異なるピクセルが視野内の異なる物体ポイントからの画像投影によって照らされ得ることが理解されるであろう。ビデオデータは、例えば、色及び光強度データを含み得る。各センサの各ピクセルは、その上に投影される画像の色及び強度を示す1又は複数の信号を提供し得る。モジュール402は、物理的ワールドビュー(physical world view)内で選択される関心領域から標的を系統的に選択するようにコントローラを設定する。モジュール403は、初期(x
0,y
0、z
0)セットを用いて標的3D座標(x、y、z)の計算を開始するようコントローラを設定する。次に、アルゴリズムが、標的の投影画像を受信する全てのセンサS
ijからの画像多様性データを用いることによって、整合性(consistency)について座標をチェックする。座標計算は、許容できる精度に達するまで、決定モジュール404で正確化される(refined)。決定モジュール404はまた、現在計算されている物理的位置が十分に正確であるかどうかを決定するようコントローラを設定する。現在計算されている位置が十分に正確でないという決定に応答して、制御は、異なる可能な物理的位置を試すためにモジュール403に戻る。現在計算されている位置が十分に正確であるという決定に応答して、モジュール405は、関心領域全体がスキャンされたかどうかを決定するようにコントローラを設定する。関心領域全体がスキャンされていないという決定に応答して、制御はモジュール402に戻り、異なる標的が選択される。関心領域全体がスキャンされたという決定に応答して、制御はモジュール406に進み、このモジュール406は、関心のあるイメージングボリュームの三次元モデルを組み立てるようコントローラを設定する。標的の構造の物理的位置を示す三次元情報に基づく標的の3D画像の組立ては、当業者に知られており、ここでは記載される必要はない。モジュール407は、更なる検討及び操作のために多数の標的について決定される物理的位置情報を用いて開発される3Dモデルを格納するようにコントローラを設定する。例えば、3Dモデルは、患者の器官の特定の寸法に対してインプラントをある大きさに形成することのような外科用途のために、後に用いられ得る。更に異なる例では、新しい手術器具101がロボットシステム152に装着されるとき、新しい器具を以前の手術シーンと関係付けるために、3Dモデルを呼び戻し、それをディスプレイ110上に表示することが必要になることがある。モジュール407はまた、3D視覚表現とQ3Dモデルとの間のアライメントの結果を格納し得る。モジュール408は、定量的3Dビューを表示するために多数の標的について決定された物理的位置情報を用いるようにコントローラを設定する。Q3Dビューの実施例は、
図4に示す距離値“d_Instr_Trgt”である。
【0045】
立体視ディスプレイは三次元における見ることの錯覚を生むことが留意される。しかし、実際の3Dディスプレイは、ホログラフィック画像又は湾曲面の上に投影される画像のような、3D画像を提示する。典型的には、3Dディスプレイは、ビューイング視点を変えるよう、ビューが動くことを可能にする。
【0046】
図10は、幾つかの実施形態による、
図9のモジュール402に概して対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール402.1は、センサアレイ210の中の全てのセンサから物理的なワールドシーンの画像を取り込むようにコントローラを設定する。モジュール402.2は、取り込まれたシーンの中から関心領域を特定するようにコントローラを設定する。モジュール402.3は、同じ標的の投影によって照らされる異なるセンサのピクセル位置を特定するために、関心領域内のシーン画像の間にあるようなベストマッチ(best match)を探すようにコントローラを設定する。後に説明されるように、最良のマッチング(best matching)は、限定ではなく、シフトされる画像と基準画像との間の二次元相互相関関数を最大化するまでセンサS
ijから個々の画像をシフトさせることによって達成され得る。基準画像は、例えば、センサS
11から受け取られるシーン画像であり得る。モジュール402.4は、同じ標的からの投影によって照らされる候補ピクセルを特定するようにコントローラを設定する。モジュール402.5は、候補ピクセルが同じ標的からの投影によって照らされているかどうかを決定するために、選択される標的についての2以上のピクセル座標(N
x,N
y)を計算するように、コントローラを設定する。決定モジュール402.6は、候補ピクセルが同じ標的からの投影によって照らされていることを計算される2Dピクセル座標値が示しているかどうかを決定する。多数のセンサS
ijで同じシーンを見ることによってもたらされる画像多様性は、様々な個々の画像S
ij内の特定の標的と関連付けられる(N
x,N
y)を正しく特定する役割を果たす。例えば、幾つかの実施形態によれば、3つのセンサ、S
11,S
12,S
13のみが用いられる単純化されたシナリオを仮定すると、2Dピクセル座標の三つ組[(N
x11,N
y11)、(N
x12,N
y12)、(N
x13,N
y13)]が、[S
11,S
12及びS
13]上への同じ標的の投影に対応しない場合、(y方向における投影シフトの推定である)量
【数1】
及び
【数2】
は、異なる値を生む。後に提示される方程式によれば、
【数3】
及び
【数4】
は、ピクセル座標(N
x11,N
y11)、(N
x12,N
y12)、(N
x13,N
y13)が同じ標的の投影から来る場合、同じでなければならない。
【0047】
【0048】
【0049】
【数7】
及び
【数8】
が略等しくない場合、制御はモジュール402.4に戻り、センサ平面S
ij上への標的投影のための最良の候補を正確化する。既述のように、上記はアルゴリズムの簡略化された実装に過ぎない。一般的には、
図10のモジュール402.6に示すように、
【数9】
と
【数10】
との間の差のノルム(norm)は、モジュール402がその反復を完了するために、許容可能な許容差(tolerance)ε未満でなければならない。同様の制約が、x軸、
【数11】
及び
【数12】
についての対応する推定について満たされなければならない。候補ピクセルが同じ標的からの投影によって照らされていることを計算される2Dピクセル座標値(N
x,N
y)が示すという決定に応答して、制御はモジュール403に進む。
【0050】
各ピクセルはワールドシーンから色及び強度情報を直接取り込むことが理解されるであろう。さらに、上記プロセスにしたがって、各ピクセルは、ピクセル上に投影されるワールドビュー内の物理的物体の(x,y,z)座標と関連付けられる。したがって、色情報、照明強度情報、及び物理的位置情報、即ち、色及び照明を投影された物理的物体の位置が、非一時的コンピュータ可読ストレージデバイス内でピクセルと関連付けられることができる。以下の表1は、この関連を例示する。
【0051】
【0052】
Q3D情報を決定することの例
【0053】
投影マッチングの例
【0054】
図11は、幾つかの実施形態による、3つの例示的な物体を含む例示的な三次元物理的ワールドシーンを包含する視野を有するように配置されるセンサS
11-S
33のアレイを含む例示のセンサアレイ210の例示的な図面である。アレイの各センサS
ijは、各次元に少なくとも2つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタックの焦平面に配置されるピクセルの対応する配置上に画像を解像する別個の光学通路を作るレンズスタックを含む。各ピクセルは、光センサとして機能し、その多数のピクセルを備える各焦平面は、画像センサとして機能する。その焦平面を備える各センサS
11-S
33は、他のセンサ及び焦平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、上述の米国特許第8,514,491号(2010年11月22日出願)及び米国特許出願公開第2013/0070060号(2012年9月19日に出願)に開示されている。
【0055】
幾つかの実施形態によれば、センサは、Nx及びNy、x方向及びy方向におけるそれらのピクセル総数によって、並びに視野角度θx及びθyによって特徴付けられる。幾つかの実施形態では、x軸及びy軸についてのセンサ特性は、同じであることが予期される。しかし、代替的な実施形態では、センサは、非対称的なx軸及びy軸特性を有する。同様に、幾つかの実施形態では、全てのセンサは、同じピクセル総数及び同じ視野角度を有する。センサは、良好に制御された方法でアレイ210に亘って分散される。例えば、センサは、図示された二次元格子上でδ距離だけ離れ得る。センサ配置ピッチδは、そのような格子に亘って対称的又は非対称的であり得る。
【0056】
図11に示される実施形態では、センサは、センサS
11-S
13が最上列を占め、センサS
21-S
23が中央列を占め、センサS
31-S
33が底列を占める、長方形格子に配置される。各センサは、N行のピクセル及びN列のピクセルを含む。光源によって生成される、破線によって示される、光線が、三角形の第1の物体、球形の第2の物体、及び長方形の第3の物体から、イメージャアレイの各センサに反射させられる。例示目的で、最上列のセンサS
11,S
12,S
13への光線のみが示されている。光源は、例えば、非構造化白色光又は周囲光であり得る。代替的に、光源は、可視又は赤外スペクトルのような、選択された波長で光を提供し得る、或いは、光は、例えば、選択された波長(例えば、色)又は波長の範囲(例えば、色の範囲)を提供するようフィルタをかけられる或いは分割され得る。光線は物体の各々からセンサS
21-S
33に同様に反射させられることが理解されるであろう。しかし、説明を単純化するために、これらの他の光線は示されていない。
【0057】
モジュール401及び402.1によれば、センサアレイ210のセンサは、ワールドビューから画像を別個に取り込む。
図12は、幾つかの実施形態による、センサS
ij(S
11,S
12,S
13のみが示されている)上への
図11の3つの物体の投影を表す例示的な図面である。当業者は、そのセンサに入射する反射光線が、その視野内にある物体の画像を投影することを理解するであろう。より具体的には、イメージャアレイの多数の異なる画像センサに入射する視野内の物体から反射した光線は、三次元から二次元への物体の多数の透視投影、即ち、反射光線を受ける各センサ内の異なる投影を生成する。特に、物体の投影の相対的な位置は、S
11からS
13に進行するときに、左から右にシフトさせられる。入射光線によって照らされる画像センサピクセルは、入射光に応答して電気信号を生成する。従って、各画像センサに関して、電気信号のパターンが、画像センサ内の画像投影の形状及び場所を示す反射光線に応答して、ピクセルによって生成される。
【0058】
モジュール402.2にしたがって、関心領域がワールドシーンから選択される。
図13は、シーン内からの関心領域(ROI)の選択を示す例示的な図面である。この例において、三角形の第1の物体、球形の第2の物体、及び長方形の第3の物体は、全て、選択される関心領域内にある。このステップは、オペレータからの入力を受け入れることによって達成されることができる、又は、指定の方法でソフトウェアによって、若しくはオペレータ入力及び自動ソフトウェア制御選択の組み合わせによって設定されるコンピュータを用いて自動的に行われることができる。例えば、幾つかの実施形態では、ワールドシーンは、人間の解剖学的構造の内腔を示し得るとともに、物体は内部の身体器官又は手術器具又はそれらの部分であり得る。外科医は、内腔内からリアルタイムの視覚的な映像(imagery)を受け取ることができるとともに、人間の解剖学的構造の組織領域及び体腔内に突出する手術器具の部分を見ることができる。外科医は、それについての位置情報が、例えば、テレストレーション(telestration)ビデオマーカのような、よく知られた技法を通じて決定されることになる、視野内のこれらの物体を特定し得る。そのようなオペレータ要求に替えて或いはそれに加えて、エッジ検出アルゴリズムのような自動化されたプロセスが、関心領域(ROI)を特定するために使用されることができる。
【0059】
モジュール402.3によれば、ベストマッチが、同じ標的物体の投影によって照らされる異なるセンサ内のピクセル位置を特定するために、関心領域内のシーン画像の間で決定される。
図14は、幾つかの実施形態による、センサS
11,S
12,S
13内の投影画像の相対的な幾何学的オフセットに関する追加的な詳細を示す例示的な図面である。幾つかの実施形態によれば、センサS
13からの画像は基準画像であると見なされ、選択されるROI内の物体の投影は、センサS
13内のそれらの位置に対してセンサS
12内の量σ
23ピクセルだけ右にオフセットされている。同様に、選択されるROI内の物体の投影は、センサS
13内のそれらの位置に対してセンサS
11内の量σ
13ピクセルだけ右にオフセットされている。センサS
12,S
11のFOVビューイング軸はそれぞれセンサS
13のFOVビューイング軸の右にオフセットされるので(このようなビューイング軸は、センサの平面に対して垂直である)、ROIからの投影画像は、センサS
11に対してセンサS
13及びS
11内で左にオフセットされることが理解されるであろう。
【0060】
図15は、幾つかの実施形態による、ROI内のセンサS
13内の投影画像と整列するように右にシフトさせられたROI内のセンサS
11及びS
12内の投影画像を示す例示的な図面である。現在の例では、センサS
13は、基準センサとして機能するように設計されている。他のセンサが、アライメント及び幾何学的寸法を決定用に選択され得ることが理解されるであろう。選択されるROI内の物体の投影は、指定されるセンサ、例えば、センサS
13で特定され、他のセンサ内の、例えば、センサS
11及びS
12内の投影は、それらが指定されるセンサ内の投影と整列するまで、シフトさせられる。このように、選択されるROI内の物体の対応する投影は、指定されるセンサ内の投影の位置に対するそれらのオフセットと共に、他のセンサ内で特定されることができる。
【0061】
具体的には、例えば、3つの例示の物体の投影は、センサS12内で量σ23ピクセルだけ右にシフトさせられ、3つの例示の物体の投影は、センサS13内で量σ13ピクセルだけ右にシフトさせられる。この例示的な例では、説明を単純にするために、投影はy方向のみにオフセットされ、x方向にはオフセットされないことが仮定されているが、同じ原理がセンサ間にあるようなx方向投影オフセットに当て嵌まる。さらに、この例はリニアオフセット(linear offsets)を示しているが、当業者は、例えば、異なるセンサにおける相対的なオフセットを有する投影と整列するよう、回転のような他の変換を適用することができる。
【0062】
幾つかの実施形態によれば、例えば、二次元(2D)相互相関技法又は主成分分析(PCA)が、S13内のROI内の投影をS12内のROI内の投影と整列させ且つS13内のROI内の投影をS11内のROI内の投影と整列させることができる。一般的に、意図は、基準として指定されるセンサからの画像に対する、センサSijからの画像を最良に整合させる又は整列させることである。より具体的には、S12内のROI内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにS13内の投影画像と相互相関を取られる(cross-correlated)。同様に、S11内のROI内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにS13内のROI内の投影画像と相互相関を取られる。したがって、ROIの投影のアライメントは、S13内のROIの投影とS12内のROIの投影との間のオフセットを決定することによって並びにS13内のROIの投影とS11内のROIの投影との間のオフセットを決定することによって、センサS11及びS12内のROIの投影の位置を特定するために、用いられる。
【0063】
候補ピクセル選択及び正確化の例
【0064】
モジュール402.4によれば、候補ピクセルが異なるセンサ内で特定され、これらは、ベストマッチプロセスに従って、同じ標的からの投影によって照らされる。いったんROI内の物体の投影がセンサS11,S12,及びS13のそれぞれで特定されると、ROI内の個々の標的ポイントの物理的(x,y,z)投影がイメージャアレイに対して決定されることができる。幾つかの実施形態によれば、ROI内の多数の標的ポイントのそれぞれについて、標的ポイントからの投影によって照らされる多数のセンサのそれぞれの中の1又は複数のピクセルが特定される。それぞれのそのような標的ポイントについて、物理的(x,y,z)標的ポイント位置が、標的ポイントからの投影によって照らされていると決定される異なるセンサ内に配置されるピクセル中の幾何学的関係に少なくとも部分的に基づいて、決定される。
【0065】
一連の標的ポイントが、(例えば、特定のステップサイズで右から左に並びにあるステップサイズで上から下に)ROIを系統的に横断することによって自動的に選択されることができ、物理的(x,y,z)標的ポイント位置が、各選択された標的ポイントについて決定されることができることが理解されるであろう。S11及びS12はS13とベストマッチさせられるので、横断はシフトされる関心領域の内側で行われる。標的を選択することは、標的の投影によって照らされるセンサS11,S12,及びS13のそれぞれのピクセルを特定することを含む。したがって、S11,S12,及びS13のそれぞれの候補ピクセルは、選択される標的ポイントの投影によって照らされるものであるとして特定される。
【0066】
言い換えると、標的ポイントTを選択するために、ピクセルが、標的ポイントTの投影によって照らされるセンサS
11,S
12,及びS13のそれぞれの中で選択される。標的Tの(x,y,z)物理的位置は、その選択の瞬間に未知であることが理解されるであろう。さらに、上述のアライメントプロセスの不正確さは、各センサのどのピクセルが選択される標的Tの投影によって照らされるかの決定における不正確さをもたらし得ることが理解されるであろう。したがって、
図17、18、及び19を参照して説明されるように、更なる決定が、現在選択されている標的Tの投影によって照らされるS
11,S
12,及びS
13のそれぞれのピクセルについての決定の精度について、行われる。
【0067】
上の例とともに続けると、三角形の第1の物体が現在選択されている標的ポイントであると仮定する。
図16は、幾つかの実施形態による、センサS
11,S
12,及びS
13の上への選択される三角形の標的ポイントの投影を示す例示的な図面である。これらの投影から、標的Tについての2Dピクセル座標、[(N
x11,N
y11),(N
x12,N
y12),(N
x13,N
y13)]が決定される。単純化のために、
図16は、y軸ピクセル座標のみを示している。これらの2Dピクセル座標を用いて、式(402.5-1)及び(402.5-2)が適用され、
【数13】
及び
【数14】
がモジュール402.5の一部として計算される。モジュール402.6の一部として、ノルム
【数15】
が計算され、許容可能な許容差εと比較される。同様に、x軸ピクセル座標及び位置推定が計算され、許容可能な許容差に対して比較される。モジュール402.6の条件が満たされる場合、プロセスはモジュール403に進む。さうでなければ、モジュール402.4に戻り、標的候補を更に正確化する。
【0068】
図17を参照すると、センサS
11,S
12,及びS
13を含むイメージャアレイの一部と、物理的空間内の位置(x,y,z)に配置された選択される三角形の第1の物体標的ポイントTとが示されている。イメージャアレイ内のセンサは、それらの間に既知の間隔、δ
ijを有する。S
11とS
12との間の物理的位置間隔はδ
12であり、S
12とS
13との間の物理的位置間隔はδ
23である。幾つかの実施形態では、全てのセンサS
ijの間の間隔は、同一であり、δ、構造的仕様と等しい。センサS
ijはまた、既知の視野角度θを有する。
【0069】
上述のように、幾つかの実施形態では、各センサは、長方形パターンの行列に配置されるピクセルを備える2Dイメージング要素として構成される。代替的には、ピクセルは、例えば、円形パターン、ジグザグパターン、分散パターン、又はサブピクセルオフセットを含む不規則パターンに配置されることができる。これらの要素の角度及びピクセル特性は同一であり得る、又は、代替的に、センサ毎に異なり得る。しかし、これらの特性は、既知であることが仮定される。説明を単純化するために、センサは同一であると仮定されるが、それらは異なっていてもよい。
【0070】
簡単化のために、全てのセンサSijがN×Nピクセルを有すると仮定しよう。センサS11からの距離zにおいて、センサのNピクセル幅は、FOV1によって示されるS11のy次元視野に拡大する。同様に、センサS12から距離zにおいて、センサ12のy次元視野はFOV2によって示される。また、センサS13から距離zにおいて、S13のy次元視野はFOV3によって示される。長さFOV1,FOV2,及びFOV3は、互いに重なり合い、センサS11,S12,及びS13が、ある(未知の)距離zに物理的に位置する標的Tの三つのサンプリング多様性(three-way sampling diversity)を達成することを示す。もちろん、この実施例において仮定されるように、センサが同一に作られる場合、長さFOV1,FOV2,及びFOV3も同一である。3つの長さFOV1,FOV2,及びFOV3は全て、同じ大きさを有し、それらがイメージャアレイから同じ(未知の)z距離にある点において同一平面上にあるが、例示の目的のために、それらは、それらが互いに隣接して重ねられるように描かれていることが理解されるであろう。
【0071】
図18を参照すると、画像センサS
11,S
12,及びS
13上への現在選択されている標的ポイントTの投影の例示的な正面図が示されている。簡単化のために、センサはN×Nピクセルサイズの幾何学的に長方形のピクセルアレイを含むことが仮定される。標的T投影のx座標は全て等しいことも仮定される。言い換えると、S
11,S
12,及びS
13上への標的Tの投影について、n
x1=n
x2=n
x3であることが仮定される。説明を簡単化するために、幾何学的な視野角度θは、垂直的にθ
x=θ
yであるように、水平的に同じである。当業者は、上記仮定のうちの何れかが変わる場合に標的Tのx,y,及びz物理的座標を計算するために、以下に提示されるプロセスをどのように修正するかを知るであろう。
【0072】
標的Tの画像は、画像センサS
11の平面内の幾何学的座標(n
x1,n
y1)でセンサS
11内の物理的ポイントに投影される。より具体的には、センサS
11上への標的ポイントTの投影は、原点から取られる、y軸に沿ったn
y1ピクセルに、及びx軸に沿ったn
x1ピクセルに位置する。標的Tの画像は、画像センサS
12の平面内の幾何学的座標(n
x2,n
y2)でセンサS
12内の物理的ポイントに投影される。標的Tの画像は、画像センサS
13の平面内の幾何学的座標(n
x3,n
y3)でセンサS
13内の物理的ポイントに投影される。各センサ内のピクセル位置(n
xi,n
yi)がセンサのために提供される原点(0,0)基準座標に対して決定されることが理解されるであろう。
図17又は
図19に示されるように、グローバル座標系(global system of coordinates)(x,y,z)が、標的を参照するために定められ且つ用いられる。例えば、そのような座標系の原点は、限定ではなく、センサS
11の幾何学的中心に配置され得る。
【0073】
図16及び
図18の両方を参照すると、標的の投影のyピクセル距離が各センサで異なることを見ることができる。現在選択されている標的Tの投影は、S
11において原点の左へn
y1ピクセルに配置されている。選択される標的Tの投影は、S
12において原点の左へn
y2ピクセルに配置されている。選択される標的Tの投影は、S
13において原点の左へn
y3ピクセルに配置されている。上述のように、説明を単純化するために、標的の投影は全ての3つのセンサにおいて原点から同じxピクセル距離に当たることが仮定される。
【0074】
図19を参照すると、
図17を参照して上述したようなセンサS
11,S
12及びS
13に対する現在選択されている標的Tの配置が示され、センサのそれぞれにおける候補ピクセルについてのy方向オフセットも示している。
図19の図面は、選択される標的ポイントTの(x,y,z)物理的座標を決定するための解析フレームワーク及び物理的構造を表している。イメージャアレイ平面からの(未知の)距離zにおいて、各センサについてのy方向視野は、FOV
iとして記される長さに亘って延びる。この長さ、FOV
iは、幾つかの実施形態では、Nピクセルである、センサの最大ピクセル幅に対応する。センサがx方向及びy方向に対称である視野を有するという作業仮説(working assumption)を考えれば、長さはまたx軸に沿った垂直なFOV
iである。
【0075】
候補ピクセル選択が、選択される標的の物理的位置の決定における不正確をもたらし得る不確実性のレベルを有し得る相関プロセスに少なくとも部分的に基づいて行われることを思い出されたい。この結果として、標的投影候補選択の正確性の更なる確認が、幾つかの実施形態に従って、以下のように行われる。
【0076】
標的の物理的(x,y)位置を決定すること及び標的投影候補選択の正確性をチェックすることの例
【0077】
モジュール402.5にしたがって、2以上の二次元(N
x,N
y)座標値が、候補ピクセルが同じ標的からの投影によって実際に照らされるかどうかを決定するために、選択される標的について計算される。上で論じられた推定及び3D座標系の原点をセンサS
11の中心に配置することに基づいて、イメージャアレイ及び
図19中の例において現在選択されている標的Tは、以下の関係を有する:
【数16】
【数17】
【数18】
ここで、
Nは、イメージングセンサのピクセル寸法であり、
n
x1は、x方向におけるS
11平面の原点からのピクセルの数で表わされる標的ポイントTの位置であり、
n
y1は、y方向におけるS
11平面の原点からのピクセルの数で表わされる標的ポイントTの位置であり、
n
y2は、x方向におけるS
12平面の原点からのピクセルの数で表わされる標的ポイントTの位置であり、
n
x2は、x方向におけるS
12平面の原点からのピクセルの数で表わされる標的ポイントTの位置であり、
n
y2は、y方向におけるS
12平面の原点からのピクセルの数において表現される標的ポイントTの位置であり、
θは、視野の角度である。
【0078】
さらに、センサS
11及びS
13を使用して同じ計算を行い且つS
11とS
13との間の分離が2δであると仮定する場合、以下が得られる:
【数19】
【数20】
【数21】
ここで、
n
x3は、x方向におけるS
13平面の原点からのピクセルの数で表わされる標的ポイントTの位置であり、
n
y3は、y方向におけるS
13平面の原点からのピクセルの数で表わされる標的ポイントTの位置である。
【0079】
したがって、選択される標的Tの物理的x座標の決定は、式(3)又は(6)に基づいて決定されることができる。選択される標的Tの物理的y座標の決定は、式(2)又は(5)に基づいて決定されることができる。選択される標的Tの物理的z座標の決定は、方程式(1)又は(4)に基づいて決定されることができる。
【0080】
より一般的には、モジュール402.6にしたがって、候補ピクセルが同じ標的からの投影によって照らされていることを計算される2D座標値が示すかどうかについての決定が行われる。標的Tの物理的(x,y,z)座標のより確実な決定が、各座標についての2つの式(formulations)の使用を通じて、得られることができる。例えば、標的Tについてのy座標は、両方の式(2)及び(5)を使用して決定されることができる。2つの式を用いて計算される結果として得られるy座標値が、ある許容可能な許容差値(tolerance value)、εyより大きく異なる場合、マッチングプロセスが異なるセンサにおける投影間のオフセットを十分な精度で解明し損ね、結果として、候補ピクセルが同じ標的Tからの投影を受けないという点で候補ピクセルが対応しないという、決定が行なわれ得る。マッチングさせるためのy計算の失敗の場合、マッチングプロセスの他の繰返しが、それぞれが選択される標的Tに対応するセンサ内の候補ピクセルの改良された選択を行うために、実行され得る。異なるセンサ上への異なる透視投影は、例えば、視差効果に起因して異なり得るので、計算されるy値が等しくなる可能性は低いことが理解されるであろう。従って、許容可能な許容差値は、意図される用途に従って定められる。手術用イメージング用途のためには、0.1-0.3mmのεが、典型的には、許容可能なQ3D精度を提供する。当業者は、本発明の精神から逸脱することなしに、異なる許容可能な許容差レベルを定めてよい。
【0081】
x軸及びy軸の周りの仮定されるセンサ対称性を考えれば、当業者は、同種の決定が、(2)及び(5)における式と同様の式を用いるが、nyiの代わりにnxiを用いて、標的Tのx座標について、行われ得ることを理解するであろう。式(3)及び(6)は、それらがz座標の知識を必要とするので、402.5及び402.6の部分で使用されることができない。しかし、モジュール402.5及び402.6の本質は、センサS11,S12,及びS13の平面上の正しい標的投影を決定することである。この目的のために、x軸及びy軸について調節された式(2)及び(5)が十分である。座標(x,y,z)の完全なセットは、以下に記載されるように、モジュール403及び404の計算される部分である。
【0082】
標的の物理的z位置を決定する例
【0083】
図19に示されるように、モジュール403及び404にしたがって、z座標についての初期推定、z
0が、計算プロセスを開始するために使用される。この初期値は、医療用途に従って自動的に定められる。医療用途は、視覚化されることになる意図されるワールドビューを定める。初期値z
0は、内視鏡に最も近い視野の縁(edge)で開始する。
図8を参照すると、手術用内視鏡を伴うQ3D用途のために、z
0は、例えば、Q3D内視鏡202の遠位端208から1-5mm離れ得る。このような初期推定は、組織又は手術器具をQ3D内視鏡に極めて近接して存在させる可能性は低いので、一般的には、この用途のために十分である。次に、値z
0は、式(3)及び(6)に差し込まれる。標的のx座標がユニーク(unique)であることを考えると、z
0が標的の本当の且つ正しいz座標である場合、式(3)及び(6)は、同一の値又は許容可能なレベルの許容差、ε
x内で、略等しい値、をもたらす。
【数22】
【0084】
(3)及び(6)が許容可能な許容差εxの外側にある場合、繰返しが続き、zについての新しい推定、z1が試される。幾つかの実施形態によれば、新しい推定は自動的に定められる。例えば、z1=z0+Δであり、ここでΔは、繰返しステップのサイズである。一般的には、kth繰返しにおいて、zk=zk-1+Δである。繰返しプロセスは、条件(7)が満たされるときに停止する。より小さいΔは、正しい標的座標を決定することにおける精度の増大をもたらすが、それはまた、プロセスを完了するためのより多くの計算時間、故に、増大する待ち時間を必要とする。増大する待ち時間は、手術器具動作と執刀医によるその視覚化との間の遅延をもたらすかもしれない。言い換えると、外科医は、システムを命令より遅れているように知覚する。20-30cmの深さの手術ビューイング空間のためには、0.1-0.3mmのΔが十分であり得る。もちろん、当業者は、繰返しプロセスを完了するのに必要とされる計算に対してΔのサイズをバランスさせることを知っているであろう。
【0085】
上記説明は、提示の理由のために単純化されており、従って、それは3つのセンサS11,S12,及びS13のみを含でいた。一般的には、より多くのセンサが、Q3D座標計算の精度を増大させるために使用されることができるが、繰返しの総数を減少させるためにも使用されることができる。例えば、3つよりも多いセンサ、好ましくは、3×3センサアレイが使用される場合、最急勾配(steepest gradient)のような方法が、モジュール402.5及び403によって作られる推定誤差の方向を示すために用いられ得る。繰返しステップサイズ及び方向は、その後、3D誤差勾配表面の局所的な極限に向かう進行にマッチするように、調節され得る。
【0086】
Q3D情報を用いる内視鏡検査手術の誘導
【0087】
図20は、幾つかの実施形態による、外科処置中にQ3D情報を用いるための第1のプロセス2000を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス2000を実行するようコンピュータ151を設定する。モジュール2002は、ビューア312を覗くときに外科医の視野内の少なくとも2つの物体を選択するためにユーザ入力を受信ようにコンピュータを設定する。モジュール2004は、ユーザ選択の受信に応答してコンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール2006は、メニューへのユーザ入力が距離を表示するために受信されているかどうかを決定するようにコンピュータを設定する。ユーザ入力が距離を表示するために受信されているという決定に応答して、モジュール2008は、外科医の視野内のビデオ画像の中に数値距離を表示するようにコンピュータを設定する。決定モジュール2010は、距離表示を選択するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール2006の動作を終了させるように、コンピュータを設定する。
【0088】
決定モジュール2012は、メニューへのユーザ入力が近接警報限界を入力するために受信されたかどうかを決定するように、コンピュータを設定する。ユーザ入力が近接閾値を入力するために入力されているという決定に応答して、モジュール2014は、外科医の視野内の2以上の物体の間の近接をモニタするようためにQ3D情報を使用するようにコンピュータを設定する。決定モジュール2016は、近接閾値を超えたかどうかを決定する。近接閾値を超えたという決定に応答して、モジュール2018は、警報を作動させるようにコンピュータを設定する。警報は、音、点滅する光のようなビジュアルキュー(visual queue)、衝突を避けるための器具動作のロック、又は他の触覚フィードバックを含み得る。近接閾値を超えていないという決定に応答して、制御はモニタリングモジュール2014に戻る。決定モジュール2020は、近接閾値を入力するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール2012の動作を終了させるように、コンピュータを設定する。
【0089】
図21は、幾つかの実施形態による、
図20のプロセスに従ったディスプレイスクリーン2102上に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン2102は、コンピュータ151と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン2102は、ビューア312のビューイング要素401R,401Lの領域を含み得る。ユーザ入力に応答して、モジュール2004は、第1のメニューアイテム「距離を表示する」2106及び第2のメニューアイテム「近接警報を設定する」2108を含む、メニュー2104の表示をもたらす。「距離を教示する」メニューアイテム2106を選択するユーザ入力に応答して、モジュール2008は、2以上の物体の間のQ3D距離の表示をもたらす。
図4を再び参照すると、モジュール2008を用いて表示された器具400と標的との間にQ3D距離「d_Instr_Trgt」の表示が示されている。「近接警報を設定する」メニューアイテム2108を選択するユーザ入力に応答して、ユーザが近接距離閾値の値、例えば、1センチメートルを入力することができるフィールドを含む「距離を入力する」UI入力2110が表示される。代替実施形態(図示せず)では、デフォルト近接閾値が全ての器具について前もって設定され得るとともに、ユーザは、例えば、
図21のメニューを用いて近接閾値を変更し得る。代替実施形態では、ユーザは、閾値の値を入力するよりもむしろデフォルト設定閾値の値を選ぶことを選択することができる。幾つかの実施形態では、ユーザは、距離を表示すること及び近接警報を設定することの両方を選択することができる。
【0090】
図22A-22Bは、幾つかの実施形態による、
図20のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。
図22Aは、テレストレーションのようなビデオマーカツールを用いて、又は
図4の制御入力デバイス160を操作する外科医コンソールを用いて作られることができる、体組織のような、標的410L,410Rの例示の第1の強調領域2202L,2202Rを示している。
図22Bは、ビデオマーカツールを用いて作られることができる、器具先端400L,400Rの例示の第2の強調領域2206L,2206Rを示している。手術中、幾つかの実施形態によれば、ユーザは、第1の強調領域2202L,2202Rを作る。次に、ユーザは、ビデオマーカツールを用いて、器具先端400L,400Rの第2の強調領域を作る。アイテムが強調される順番は重要でないことが理解されるであろう。ユーザは次に、選択を入力するために、セレクタ(図示せず)を作動させる(例えば、ENTERキーを押す)。モジュール2002は、受信されるユーザ入力を、標的画像410L,410R及び器具画像400L,400Rの選択として解釈する。
【0091】
図23は、幾つかの実施形態による、外科処置中にQ3D情報を用いるための第2のプロセス2300を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス2300を実行するようにコンピュータ151を設定する。モジュール2302は、ビューア312を覗くときに外科医の視野内の物体を選択するためにユーザ入力を受信するようにコンピュータを設定する。例えば、
図22Aを再び参照すると、ユーザ入力は、ビデオマーカツールを用いて器具先端400L,400Rの第2の強調領域2206L,2206Rを作るために受信されるように、示されている。ユーザ入力(図示せず)は、器具先端400L,400Rの画像の選択を入力するためにセレクタ(図示せず)を作動させる(例えば、ENTERキーを押す)ように、受信される。
【0092】
図23にもう一度戻ると、ユーザ選択の受信に応答して、モジュール2304は、コンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール2306は、メニューへのユーザ入力が、選択される物体の画像を回転させるために、受信されたかどうかを決定するように、コンピュータを設定する。画像を回転させるユーザ入力が受信されたという決定に応答して、モジュール2308は、物体の異なる三次元眺望を示すために画像を回転させるように、コンピュータを設定する。決定モジュール2310は、画像を回転させるためにユーザ入力の受信のための指定の時間間隔を待つように、及び「タイムアウト」間隔内にユーザ入力がないことに応答して決定モジュール2306の動作を終了させるように、コンピュータを設定する。
【0093】
図24は、幾つかの実施形態による、
図23のプロセスに従ってディスプレイスクリーン2402に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン2402は、コンピュータ151と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン2402は、ビューア312のビューイング要素401R,401Lの領域を含み得る。受信されるユーザ入力に応答して、モジュール2304は、第3のメニューアイテム「左に回転させる」2406及び第4のメニューアイテム「右に回転させる」2408を含む、メニュー2404の表示をもたらす。第3の又は第4のメニューアイテム2406,2408のうちの一方又は他方を選択するユーザ入力に応答して、モジュール2308は、
図9のモジュール407に従って作られ且つ格納された3Dモデルの回転を引き起こすことを使用する。センサイメージャアレイ210は、制限された全体的な視野を有するので、回転の量は、数度、例えば、30度未満に制限され得ることが理解されるであろう。
【0094】
Q3D置換モデル及びジッタによるモデル最適化
【0095】
外科処置は、損傷を受けた又は病気の骨組織の除去及び人工インプラントとの置換を含み得る。骨の一部が、例えば、病気又は怪我により損傷を受ける。
図25Aは、幾つかの実施形態による、外科処置前の解剖学的構造の例示の上面図を示す例示的な図面である。解剖学的構造は、膝、腰、肘、肩、背骨、頭、足首、手首、足、手のひら等の骨部分のような、骨の一部であり得る。骨の一部が、例えば、病気又は怪我により損傷を受ける。
図25Bは、例示の損傷を受けた部分の輪郭をより詳細に示す
図25Aにおける視点1-1から破線切断面の線A-Aに概して沿った側面断面図である。
【0096】
図26Aは、幾つかの実施形態による、損傷を受けた又は病気の骨組織を除去し且つ残っている健康な組織によって境界される空隙を残す外科処置の後の解剖学的構造の例示の上面図を示す例示的な図面である。例えば、
図5を参照すると、医師は、解剖学的構造から損傷を受けた部分を除去するために手術器具101A又は101Bを使用し、損傷を受けた部分が以前に位置していた空隙、空所又は隙間を定める健康な又は損傷を受けていない部分をそのまま残す、膝、腰、肩、背骨、頭、足首、手首、足又は手のひらの骨の修復、部分的又は全体の置換のような、損傷を受けた骨組織の除去及び人工構造とのその置換を含む外科処置を実行するために、遠隔操作システム100を使用し得る。代替的には、手動器具が使用され得る。
図26Bは、病気の又は損傷を受けた骨組織の除去後の例示の健康な又は損傷を受けていない領域の輪郭を示す
図26Aにおける視点1-1から破線A-Aに概して沿った側面断面図である。
【0097】
幾つかの実施形態によれば、骨組織除去によって残された空隙内にぴったりと合う置換構造の輪郭及びサイズは、損傷した又は傷ついた骨組織の除去後に残っている、本明細書において「残りの」骨組織とも称される、健康な骨組織の輪郭のQ3Dモデルに基づいて決定される。損傷を受けた又は病気の骨組織の除去の前に、Q3Dモデルが、除去前の、損傷した又は病気の骨組織を含む、骨組織の外部表面の輪郭を表す解剖学的構造から取り込まれる画像情報に基づいて作られる。まだ除去されていない損傷を受けた又は病気の骨組織の除去後、他のQ3Dモデルが、除去後の、残りの構造を含む、骨組織の外部表面の輪郭を表す解剖学的構造から取り込まれる画像情報に基づいて作られる。Q3Dセンサと関連付けられる内視鏡101Cは、Q3Dセンサが損傷を受けた又は病気の組織が除去された空隙を囲む残りの骨組織の外部可視輪郭を撮像できる位置に、動かされる。幾つかの実施形態によれば、
図6-19を参照して上述されたように、Q3Dセンサは、空隙領域を囲む残りの骨組織のQ3D画像を取り込むように配置され、残りの骨組織のQ3Dモデルが作られる。人工インプラントが、「残りの」骨組織のQ3Dモデルに基づいて作られる。人工インプラントは、除去された骨組織の代わりのものとして機能するように、残りの骨組織によって定められる空隙の中に置かれる。
【0098】
幾つかの実施形態によるQ3D画像取り込みの間、Q3D画像を取り込むために使用される内視鏡101Cのビューイング視点(viewing perspective)が、「ジッタされる(jittered)」-すなわち、取り込まれたQ3D画像情報に基づいて作られるQ3Dモデルの解像度及び精度を向上させるために、撮像されることになる、組織除去前の損傷を受けた組織又は組織除去後の残りの組織のような、標的領域からQ3D画像情報を取り込むことができる幾つかの(2以上)の実在のビューポイントの間に調整される又は動かされる。
図27A-27Cは、幾つかの実施形態による、標的領域の3つの異なる画像ビューポイントを取るための3つの異なる例示の「ジッタ」位置の内視鏡101Cを示す例示的な図面である。異なるジッタ位置を達成するために、内視鏡101Cは、異なるジッタ位置が互いに対して既知であるように、既知の量だけ動かされる。異なる内視鏡位置は、小さい距離、例えば、5mmより小さい(例えば、わずかなセンサピクセル幅、わずかなセンサ幅)だけ異なる。これらの小さい距離は、異なる位置から内視鏡101Cによって取得される3D画像において十分な冗長性を確保する。超解像画像再構成が次に、取り込まれた画像のそれぞれと比べて高められた解像度を持つ画像を作るために、取り込まれた画像に適用される。
【0099】
Q3D内視鏡101Cの制御されたジッタリング(jittering)は、残りの骨組織のような、標的関心領域に対応する空間容積内のポイントに関する(x,y,z)座標の計算の精度を増加させる。精度は、追加的且つ僅かに変化したビューイング角度からの、十分な冗長性を持つ、追加のデータが、
図9-19を参照して上述されたプロセスに提供されるので、増加する。特に、制御されたジッタリングは、ステップ402-404における標的をより正確に見つけるための
図9のプロセスに役立つ。追加のデータにおける増加した冗長性を考えると、これは、
図10のステップ402.3-402.5に記載された「ベストマッチ」を見つける精度を向上させることによって達成される。Q3D内視鏡101Cのジッタリングが制御されているという事実は、僅かに異なる角度からの関心のある標的シーンのビューを提供する。これは、センサS
ij間の距離の「仮想」の増加に相当する。制御されたジッタリングは、
図5を参照して、Q3D内視鏡101Cを指示するロボットアーム158Cを制御するハードウェアによって達成されることができる。代替的には、ジッタリングは、Q3D内視鏡101Cが、電子的に調整可能な光学特性を持つレンズを使用して組み立てられている場合に電子的に導入され得る。例えば、Hassanfiroozi他、"Liquid crystal lens array for a 3D endoscope", Proceedings SPIE 91 17, May 9, 2014、によれば、液晶レンズアレイが用いられることができる。このようなレンズは、Q3D内視鏡101Cとともに使用される場合、制御電圧信号の変調によって調整されるそれら光学特性を有することができる。光学的なジッタは、したがって、既知のパターンに基づいて制御電圧を変更することによって導入されることができる。例えば、このようなレンズの光軸が調整されることができる。この動作は、101Cの向きの機械的なジッタリングと同様の効果を有する。ロボットアーム158Cの動作を通じた、機械的ジッタリング、或いは、液晶レンズの制御電圧の変調を通じた、電子的ジッタリングは、標的ポイントの(x,y,z)計算において増加した精度の同じ結果を有することができる。
【0100】
図28A-28Bは、幾つかの実施形態による、人工(プロステーシス)インプラントの第3のQ3Dモデルを作るための、除去前の第1のQ3Dモデル及び除去後の第2のQ3Dモデルの使用を表す例示的な図面である。
図28Aは、幾つかの実施形態による、解剖学的構造の除去前の第1のQ3Dモデル及び解剖学的構造の除去後の第2のQ3Dモデル及び人工(プロステーシス)構造の第3のQ3Dモデルを表す例示的な図面である。
図28Bは、幾つかの実施形態による、解剖学的構造の除去前の第1のQ3Dモデル及び解剖学的構造の除去後の第2のQ3Dモデル及び人工構造の第3のQ3Dモデルの上面図を表す例示的な図面である。
図28A-28Bに示されるように、人工構造のQ3Dモデルは、
図28A及び28Bの解剖学的構造に対応する除去後Q3Dモデルの
図28A及び28Bの除去前の第1のQ3Dモデルからの1又は複数の差を決定することによって決定される。より具体的には、除去後の第2のQ3Dモデルは、残りを含み、この残りは、そこから損傷を受けた骨組織が除去された空隙又は空の領域を定める。第3のモデルは、空隙領域を定める残りの構造に対してぴったりと合うように形成され且つ寸法を決められた置換構造を表す。幾つかの実施形態では、差は、第1のQ3Dモデルから第2のQ3Dモデルを引くことによって決定される。3Dデジタルサブトラクションは当業者に知られた技法である。例えば、それは、米国特許第5,647,360号(1995年6月30日出願)に提示されたような、デジタルアンジオグラフィで以前に使われており、本明細書に参照により援用される。
【0101】
Q3Dイメージングが、例えば、組織を除去するために、例えば、骨の表面を削ること(milling)のような外科処置の間に解剖学的構造が変更されているときに解剖学的構造に与えられる変化の周期的又は連続的な更新を提供するために使用され得ることが理解されるであろう。このように、外科医は、手術の進行を示すQ3D情報を提供されることができるとともに、それにしたがって調整を行うことができる。さらに、手術の過程で作られるQ3Dモデルは、例えば、手術の結果として作られた組織空隙又は組織表面構造の中にある置換解剖学的物体を作る又は選択するために使用される補間Q3D又は3Dモデルを作るために使用されることができる。したがって、特注の外科用インプラントが、例えば、手術中に開発又は選択されることができる。
【0102】
図29Aは、幾つかの実施形態による、人工(プロステーシス)構造のQ3Dモデルを3次元(3D)プリンタによって使用可能であるファイル構造に変換するためのプロセスを示す例示的な図面である。付加製造(additive manufacturing)とも称される、3Dプリンティングは、デジタルファイルから3次元固体物体を作るよく知られたプロセスである。3Dプリントされた物体の創造は、付加プロセス(additive processes)を使用して達成される。付加プロセスにおいて、物体が、物体全体が作られるまで材料の連続した層を置くことによって作られる。3Dプリンタは典型的には、ファイルに含まれるコンピュータ支援設計(CAD)モデル及びモデルで表される構造を製造するための3Dモデリングプログラムにより構成される。3Dモデリングプログラムは、印刷のために3Dプリンタを設定するために使用され、CADモデルを数百又は数千の水平層にスライスする。CADモデルファイルから用意された製造ファイルが、3Dプリンタを層毎に物体を作る(例えば、印刷する)ように設定するように3Dプリンタにアップロードされる。3Dプリンタは、全スライス(又は2D画像)を読み、層にすることが見える兆候なしで各層を一体化する(blend)する物体を作るように進み、1つの3次元物体をもたらす。コンピュータシステム(図示せず)が、人工構造のQ3Dモデルを3Dプリンタ互換ファイル構造に変換するためにファイル変換プロセスを実装するように構成される。コンピュータ可読ストレージデバイスに格納された人工構造のQ3Dモデルは、変換プロセスへの入力として機能する。3Dプリンタによって使用可能である3Dプリンタ可読ファイルは、変換プロセスの出力である。ここで論じられる特定の応用、骨の置換又は修復、のために、ファイル変換プロセスは、残りの骨組織にぴったりと合うとともに、損傷を受けた又は傷ついた組織の外科的除去によって作られた
図26の例示の空隙のような空隙を埋める、又は実質的に埋める、構造を作るように3Dプリンタに指示するのに適したファイルを作る。適切な3Dプリンタフォーマットの例は、.stl、.obj、.ztl、.iges、.mb、.max、及び.3dsのような標準的なフォーマットを含む。代替的には、専用の又は非標準的な3Dプリンティングフォーマットが使用され得る。
【0103】
図29Bは、健康な又は無傷の領域と嵌合するように人工インプラントを作るための3Dプリンタを使用するプロセスを表す例示的な図面である。3Dプリンタは、印刷プロセスを進めるために使用される製造入力データとして人工構造のQ3Dモデルから作られた3Dプリンタ可読ファイルを受信する。3Dプリンタ可読ファイルにより設定される3Dプリンタは、製造材料を、残りの健康な又は無傷の領域と嵌合するようにサイズ決めされた人工インプラントに変える。製造材料は、長期間の埋め込みに適する、生体適合性であることができ、臨床処置の特定の目標に必要とされる材料特性を有し得る。例として、限定では無く、次のものはこのような材料のリストである:セラミック、ステンレス鋼、コバルトクロム合金、チタン、ポリエチレン又はジルコニウム。
【0104】
図30Aは、人工インプラントを残りの領域にぴったりと嵌合させるための外科処置の後の解剖学的構造の例示の上面図を示す例示的な図面である。
図5を参照すると、医者は、人工インプラントを残りの領域に固定するために手術器具101A又は101Bを使用し得る。人工インプラントは、例えば、アクリルセメントを使用して残りの健康な又は無傷の領域に固定され得る。代替的には、接合剤で接合されない(uncemented)固定が使用され得る。接合剤で接合されない固定では、インプラントの表面は、3Dプリントされたインプラントを定位置に保持するのを助けるように新しい骨組織の内成長を可能にする、多孔性の、ハニカム様構造から構成される。したがって、イメージングセンサアレイを使用して収集されるQ3D情報は、損傷を受けた部分が除去された残りの領域の輪郭とよく合うインプラントを作るために使用される。
図30Bは、例示の残りの領域の輪郭を示す
図30Aにおける視点1-1からの破線の切断面線A-Aに概して沿った側面断面図である。
【0105】
代替的には、Q3D情報は、事前に作られた人工インプラントの中から選択するために使用されることができる。Q3D情報は、多数の事前に作られたインプラント(図示せず)の寸法と比較されることができる寸法を提供することができ、必要な寸法に最も近いインプラントが選択される。例えば、
図31A及び
図32Aを参照すると、処置が、全膝置換を含む場合、Q3D情報は、例えば、脛骨プレート(tibial plate)3206のための又は大腿骨コンポーネント(femoral component)3208のための適切なサイズを選択するために、使用されることができる。
図31Bのような、より単純な膝置換処置について、Q3D情報は、
図32Bの部分的な大腿骨コンポーネント3210又は部分的な脛骨プレート3212のリストから選択するために使用されることができる。
【0106】
性能評価のためのQ3Dモデル
【0107】
操向可能(steerable)カテーテル可視化及び組織操作システムが、米国特許第8,657,805号(2008年5月8日出願)、米国特許出願公開第2013/0172726号(2010年5月12日出願)、及び米国特許出願公開第2009/0203962号(2009年2月6日出願)(‘962公報)に記載されている。その全体がこの参照により本明細書に明示的に援用される、‘962公報は、イメージングフードを使用する直接可視化の下でのステントデリバリを開示している。
【0108】
‘962公報に記載された組織イメージング及び操作装置は、それを通って動的に流れる血液で満たされている、心腔のような体腔のなかの組織領域の生体内のリアルタイム画像を提供することができる。記載された装置はまた、撮像された組織領域に様々な処置を実行するための血管内ツール及び器具を提供することができる。このような装置は、多くの処置、例えば、特に、左心房への経中隔アクセスを容易にすること、冠状静脈洞にカニューレを挿入すること、弁逆流/狭窄の診断、弁形成、心耳閉鎖、及び不整脈原性フォーカスアブレーション(arrhythmogenic focus ablation)のために用いられ得る。
【0109】
組織アクセス及びイメージング装置の1つの変形は、
図33A乃至33Cの詳細な斜視図で‘962公報に示されている。
図33Aに示されるように、組織イメージング及び操作アセンブリ10は、デリバリカテーテル又はシース14を介してロープロファイル(low-profile)構成で患者の体を通って血管内に配送され得る。組織を治療する場合、患者への外傷を最小にしながら左心房に入る又はアクセスすることが一般的に望ましい。このようなアクセスを非手術的に生じさせるために、1つの従来のアプローチは、一般に経中隔処置又は中隔開口術と呼ばれる処置において心房中隔を右心房から左心房に穿刺することを含む。経皮的弁修復及び置換のような処置のために、心臓の左心房への経中隔アクセスは、一般的に動脈系に経皮的に導入されることができるものより、大きい装置が静脈系に導入されることを可能にし得る。
【0110】
イメージング及び操作アセンブリ10が、組織をイメージングするために用いられる準備ができているとき、イメージングフード12は、カテーテル14に対して進められ得るとともに矢印によって示されるように、カテーテル14の遠位開口から展開され得る。展開に際し、イメージングフード12は、
図33Bに示されるように、展開されたイメージング形態に拡張する又は開くように拘束されなくてよい。イメージングフード12は、限定されるものではないが、例えば、高分子、プラスチック、又は織物材料を含む、様々な柔軟な又は形状適合生体適合材料から製造され得る。織物材料の1つの例は、Kevlar(登録商標)であり、これは、アラミドであるとともに、この説明に記載された用途に関して十分な完全性(integrity)を保持する薄い(例えば、0.001インチ未満)材料に作られることができる。さらに、イメージングフード12は、半透明又は不透明材料から及び、周囲の流体又は構造、すなわち、解剖学的又は機械的構造又は器具から反射される光を最適にする又は減衰させるために、様々な異なる色で製造され得る。いずれにしても、イメージングフード12は、一様構造又は骨格支持構造(scaffold-supported structure)に製造され得るとともに、この骨格支持構造の場合、ニチノールのような形状記憶合金、又はばね鋼、又はプラスチック等で作られる骨格が、製造され得るとともに、高分子、プラスチック、又は織物材料で覆われ得る。したがって、イメージングフード12は、心腔のような、体腔の選択された体積からの血液等の変位量を突き止めるために一般的に使用され得るように、多種多様のバリア又は膜構造のいずれかを含み得る。例示的な実施形態では、イメージングフード12の内側表面13内の容積は、内側表面13と外側表面11との間のフード12の容積より著しく小さい。
【0111】
イメージングフード12は、インタフェース24において、配置カテーテル又はシース14と独立して並進移動され得る配置カテーテル16に取り付けられ得る。インタフェース24の取り付けは、多くの従来の方法を通じて達成され得る。配置カテーテル16は、流体配送管腔18並びにその中に光学イメージングファイバ又はアセンブリが組織をイメージングするために配置され得るイメージング管腔20を規定し得る。展開されるとき、イメージングフード12は、開放領域又はフィールド26がイメージングフード12によって定められるならば、さまざまな形、例えば、円筒形、(図示されるような)円錐形、半球形等に拡張し得る。開放領域26は、その中で組織関心領域が撮像され得る領域である。イメージングフード12はまた、組織関心領域に対する配置又は当接のための非外傷性接触リップ又はエッジ22を定め得る。さらに、その最大の完全に展開された直径における、例えば、接触リップ又はエッジ22における、イメージングフード12の直径は、典型的には、配置カテーテル16に対して大きい(しかし、接触リップ又はエッジ22の直径は、配置カテーテル16の直径より小さく又は等しく作られてもよい)。例えば、接触エッジ直径は、配置カテーテル16の直径の1から5倍(又は、実用向きであるように、一層大きい)のどこにでも及び得る。
図33Cは、その展開された形態におけるイメージングフードの端面図を示す。接触リップ又はエッジ22と流体配送管腔18とイメージング管腔20も示されている。
【0112】
‘962公報の
図34A及び34Bの例に見られるように、配置カテーテル16は、撮像されることになる下にある組織関心領域、この例では、左心房の中の僧帽弁MVの弁輪Aの一部、に接して又は近くに、展開されたイメージングフードを配置するように操作され得る。周囲の血液30が、
図34Aに見られるように、イメージングフード12の周り及びイメージングフード12内に定められる開放領域26の中を流れるので、下にある弁輪Aは、不透明な血液30によって遮られ、イメージング管腔20を通じてみることが難しい。食塩水のような、半透明の流体28がその後、血液30が少なくとも部分的に、好ましくは完全に、
図34Bに示されるように、流体28によって開放領域26内から移動させられるまで、断続的に又は連続的に、流体配送管腔18を通じてポンプ注入され得る。
【0113】
接触エッジ22は、下にある組織と直接接触する必要はないが、開放領域26からの透明な流体28の流れが開放領域26に戻る血液30のかなりの逆流を妨げるように維持され得るように、少なくとも好ましくは、組織に近接される。接触エッジ22はまた、接触エッジ22が平らでない又は粗い下にある解剖学的な組織表面に従うのに役立つために、典型的に知られているような、特定の柔らかいグレードのシリコーン又はポリウレタンのような、柔らかいエラストマ材料で作られ得る。いったん、血液30がイメージングフード12から移動されると、透明流体28を通って下にある組織の画像が次に、見られ得る。この画像はその後、記録され得る又は治療処置を実行するためのリアルタイムビューイングのために利用可能であり得る。流体28の正の流れ(positive flow)は、下にある組織のクリアなビューイングを提供するために連続的に維持され得る。代替的には、流体28は、組織のクリアなビューが撮像又は記録されるために利用可能になるまでだけ、一時的に又は単発的にポンプ注入され、その時点では、流体流28は止まり得るとともに血液30はイメージングフード12の中に広がる又は逆流することを可能にされ得る。このプロセスは、同じ組織領域で又は多数の組織領域で、何回も繰り返され得る。
【0114】
本明細書に記載される処置のいずれか1つにおいてイメージングフードを用いる際、フード12は、上述のように、組織にいくつもの治療をもたらすようにフード内部と下にある組織との間に直接組織接触を提供するために覆われていない且つ透明な開放領域を有し得る。さらに追加の変形では、イメージングフード12は、他の形態を用い得る。イメージングフード12の追加の変形が、‘962公報の
図35A及び35Bの、斜視図及び端面図それぞれに示され、ここではイメージングフード12は、フード12の遠位開口の上の半透明エラストマ部材40の少なくとも1つの層を含む。‘962公報は、1又は複数の光ファイバ束32が、フード12内の開放領域の直接インライン(in-line)イメージングを提供するために、カテーテルの中且つイメージングフード12の中に配置され得ることを開示している。イメージングフード12の外側リップの直径未満である直径を有する開口42が、フードの長手方向軸がフード12の内側が開き且つフード12の外側の環境と流体連通したままであるように、膜と交差する膜40の中心の上に定められ得る。さらに、開口42は、例えば、1から2mmの間又はそれより大きい直径のサイズにされ得るとともに、膜40は、接触される組織も膜40を通じて並びに開口42を通じて可視化され得るように、シリコーン、ポリウレタン、ラテックス等のような多くの半透明エラストマから作られることができる。
【0115】
開口42は、フード12の内側が、それを通じて下にある組織領域が可視化され得る透明流体で満たされ得るとき、フード12からの流体の流出の速度を減少させるための制限通路として概して機能し得る。フード12内からの透明流体の流出を制限することは別として、開口42はまた、外部の周囲の流体がフード12にあまりに速く入ることを制限し得る。フードからの流体流出及びフードへの血液流入の速度の減少は、フード12が可視化器具による直接の可視化を妨害する不透明な血液によって満たされるよりむしろ半透明流体でより容易に満たされ得るので、可視化状態を改善し得る。
【0116】
さらに、開口42は、フード内部に進められる器具(例えば、穿孔器具、ガイドワイヤ、組織係合器(tissue engagers)等)が、開口42を通じた治療のために、下にある組織に妨げられないで又は制限されないで直接アクセスし得るように、カテーテル16と整列され得る。開口42がカテーテル16と整列しない他の変形では、カテーテル16を通過される器具は、膜40を単純に突き通すことによって下にある組織に依然としてアクセスし得る。
【0117】
図36は、フード12内の開放領域の直接インラインQ3Dイメージングを提供するように、器具内且つイメージングフード12内に配置される、
図7A-7Bを参照して上述された、イメージセンサアレイ210を示す例示的な図面である。代替的には、イメージセンサアレイは、フードの外側に配置されることができ、
図35Aに示される束32のような、1又は複数の光ファイバ束は、イメージングフード12の外側に配置された画像センサアレイに画像情報を提供することができる。
【0118】
図37は、いくつかの実施形態による、右冠状動脈(RCA)と連通する、小孔(OS)と接触している画像センサアレイ210を含むフード12の例示の使用を示す例示的な図面である。いったんフード12が、小孔OSと接触すると、クリアにする流体は、そこを通じて画像センサアレイ210がQ3D情報を取り込むことができる透明な領域を提供するように、フード内部から血液を追い出すために、フード12の開放領域の中に導入され得る。小孔OSを囲む組織の輪郭に関して、血管壁の少なくとも一部が管腔72の中に延びる。例えば、治療されることになる入口病変部86が、
図37に示されている。画像センサアレイ210は、放出されるクリアにする流体が、治療されることになる病変部86の画像を提供するためにフード12を出て管腔72を通って出るとき、少なくとも部分的に管腔72内のQ3D情報を直接取り込むために使用され得る。病変部86の寸法に関するQ3D情報は、使用されることが意図される治療装置をサイズ決めするために使用されることができる。代替的には、Q3D情報は、治療がより明確に患者の状態に適合されるように、臨床的問題の範囲を理解するために使用されることができる。
【0119】
図38は、幾つかの実施形態による、小孔(OS)と接触している画像センサアレイ210を含むフードの例示の使用を示す例示的な図面であり、この小孔の中でステント84が右上行動脈(RCA)の中に設置されている。ステント84は、病変部86の上に設置されている。画像センサアレイ210は、管腔72内のステント84の展開及び配置を評価するためにQ3D情報を提供するために使用され得る。例として、限定ではなく、Q3D情報は、患者のRCA OSのサイズにしたがってステント84をサイズ決めするために使用され得る。病変部86に関するQ3D情報はまた、ステント84の長さを適切にサイズ決めするために使用されることができる。さらに他の実施形態では、Q3D情報は、いったん定位置に展開されるとステント84の性能をチェックするために使用されることができる。例えば、Q3D情報は、定量的情報を使用して、RCAの内壁へのステントの適合を精密に示すことができる。病変部の不完全な適用範囲(coverage)がある場合、又はステント径が大きすぎる若しくは小さすぎる場合、これらの状態は全てQ3D情報に基づいて定量化されることができる。
図41は、血管のステント適用範囲の性能を評価するために使用されることができる定量的評価基準の例を示す例示的な図面である。定量的目標の1つは、平均ステント断面積と平均管腔断面積との間の差を最小にすることである。
【0120】
図39は、開位置にある人工の心臓弁インプラントに隣接して配置されたQ3D内視鏡を示す例示的な図面である。
図40は、閉位置にある人工の心臓弁インプラントに隣接して配置されたQ3D内視鏡を示す例示的な図面である。Q3D内視鏡は、画像センサアレイ210を使用してQ3D画像を取り込む。Q3D内視鏡は、イメージングフードの中に配置され得る。しかし、フードは、記載を単純にするために示されていない。
図39を参照すると、第1及び第2の弁フラップは、離間して示され、弁が開いており且つ流体(例えば、血液)が貫流できることを示している。
図40を参照すると、第1及び第2の弁フラップは、互いに近くに位置して示され、弁が閉じられ且つ流体(例えば、血液)が貫流できないことを示している。幾つかの実施形態によれば、Q3D内視鏡は、弁の開閉動作に関連付けられる寸法の情報を集合的に提供する一連のQ3D画像を取り込む。例えば、限定ではなく、
図40に関連付けられるQ3Dモデルによって提供される情報は、人工の弁が完全に接近しているかどうかを示すことができる。バルブの不完全な閉鎖は、かなりの逆流をもたらすかもしれず、これは、患者の心臓の性能を減少させる。同様に、
図39に関連付けられるQ3D情報は、人工弁が患者の心臓の解剖学的構造の詳細に対して正しくサイズ決めされたかどうかを示すことができる。
図39の人工弁が、例えば限定ではなく、大動脈弁である場合、大動脈口及び大動脈壁への適合を定量化するために重要である。同様に、
図39に示されるように、バルブが完全に開くことを確かめることが重要である。バルブが完全に開いていない場合、患者の心拍出量は損なわれるであろう。また、圧力は大動脈弁から上流に増大し始めるので、やがて、患者の血圧は、影響を受ける。同様に、重要な情報は、僧帽弁の、三尖弁の又は肺の弁膜の処置のために提供されることができる。
【0121】
医療用途におけるQ3D情報の使用は、ステント及び血管の用途、又は心臓弁に限定されないことが理解されるべきである。上に説明された基本原理は、装置のサイズ又は形状選択、最適な位置決め等のような、様々な人工の装置での使用を含むように修正されることができる。
【0122】
本発明に従った実施形態の前述の記述及び図面は、本発明の原理の例示であるに過ぎない。従って、当業者は付属の請求項において定められる本発明の精神及び範囲から逸脱せずに実施形態に対する様々な修正を行い得ることが理解されるであろう。
【0123】
次の付記を記す。
(付記1) 置換解剖学的構造を作るためのシステムであって:
標的組織を含む視野内の解剖学的構造を撮像するように配置される定量的3次元(Q3D)内視鏡と、
少なくとも1つのプロセッサであって、
前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から取り込まれる画像情報に基づいて第1のQ3Dモデルを作るように、
前記標的組織が除去された組織であった前記解剖学的構造の位置における残りの組織構造を表す前記解剖学的構造から取り込まれる画像情報に基づいて第2のQ3Dモデルを作るように、及び
前記第1のQ3Dモデル及び前記第2のQ3Dモデルに少なくとも部分的に基づいて置換構造の第3のQ3Dモデルを作るように、
構成される、少なくとも1つのプロセッサと、を有する、
システム。
(付記2) 前記第3のQ3Dモデルを作ることは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の1又は複数の差を決定することを含む、
付記1に記載のシステム。
(付記3) 前記第3のQ3Dモデルを作ることは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の3Dデジタルサブトラクションを決定することを含む、
付記1に記載のシステム。
(付記4) 前記少なくとも1つのプロセッサは:
前記第3のQ3Dモデルを、3Dプリンタによる使用に適するフォーマットで前記置換構造の3次元(3D)モデルに変換するように、構成される、
付記1に記載のシステム。
(付記5) 前記少なくとも1つのプロセッサは、
前記置換構造に必要なサイズを示す出力信号を提供するように、構成される、
付記1に記載のシステム。
(付記6) 外科用置換構造を作るための方法であって、
標的骨組織を含む視野内の解剖学的構造を撮像するように配置されるQ3D内視鏡を使用するステップ、
前記標的骨組織を含む骨組織の外部表面を表す前記解剖学的構造から取り込まれる画像情報に基づいて第1の定量的3次元(Q3D)モデルを作るステップ、
前記標的骨組織が除去された組織であった前記解剖学的構造の位置における残りの組織骨構造を表す前記解剖学的構造から取り込まれる画像情報に基づいて第2のQ3Dモデルを作るステップ、及び
前記第1のQ3Dモデル及び前記第2のQ3Dモデルに基づいて置換構造の第3のQ3Dモデルを作るステップ、を含む、
方法。
(付記7) 前記第3のQ3Dモデルを作るステップは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の3Dデジタルサブトラクションを決定するステップを含む、
付記6に記載の方法。
(付記8) 前記第3のQ3Dモデルを、3Dプリンタによる使用に適するフォーマットで前記置換構造の3次元(3D)モデルに変換するステップ、をさらに含む、
付記6に記載の方法。
(付記9) 前記3Dモデルを使用して前記置換構造を作るように構成される3Dプリンタを使用するステップをさらに含む、
付記8に記載の方法。
(付記10) 前記置換構造の前記第3のQ3Dモデルに少なくとも部分的に基づいて前記除去された組織を置換するためのインプラントとして使用する既製の置換構造のサイズを決めるステップをさらに含む、
付記6に記載の方法。
(付記11) 前記Q3Dモデルを作るステップは、前記第1のQ3Dモデルと前記第2のQ3Dモデルとの間の1又は複数の差を決定するステップを含む、
付記6に記載の方法。
(付記12) 手術シーンの3Dイメージングのためのシステムであって、
Q3D内視鏡、
連続する位置に前記Q3D内視鏡を位置決めするマニピュレータ、
前記連続する位置から冗長な複数の連続する3D画像を取り込む手段、及び
前記冗長な複数の連続する3D画像に基づいて前記手術シーンのQ3Dモデルを作るように構成されるプロセッサ、を有する、
システム。
(付記13) 光源で解剖学的構造を照らすステップ、
体腔内の複数の連続する位置のそれぞれで、Q3D内視鏡を連続的に位置決めするステップ、
冗長な複数の連続する画像投影を取り込むステップ、及び
冗長な複数の連続する取り込まれた前記画像投影に基づいてQ3Dモデルを作るステップ、を含む、
方法。
(付記14) 前記内視鏡を連続的に位置決めするステップは、前記内視鏡の物理的な位置を連続的に変えるステップを含む、
付記13に記載の方法。
(付記15) 前記内視鏡を連続的に位置決めするステップは、画像センサアレイに関連付けられる1又は複数のレンズの光学特性を連続的に調整するステップを含む、
付記13に記載の方法。
(付記16) インプラント可能な装置の定量的な評価のためのシステムであって、
前記インプラント可能な装置を受けることを目標にされる視野内の構造を撮像するように配置される定量的3次元(Q3D)内視鏡と、
少なくとも1つのプロセッサであって、
インプランテーション前の前記解剖学的構造の第1のQ3Dモデルを作るように、及び
インプラントされた装置に必要なサイズを示す出力信号を作るように、
構成される、少なくとも1つのプロセッサと、を有する、
システム。
(付記17) 前記少なくとも1つのプロセッサは、
インプランテーション後の前記解剖学的構造の第2のQ3Dモデルを作るように、及び
少なくとも部分的に、前記第2のQ3Dモデルに基づいて、少なくとも1つの定量的評価出力を作るように、さらに構成される、
付記16に記載のシステム。
(付記18) 前記定量的評価出力は、平均インプラント断面積とインプランテーションのための目標とされる前記解剖学的構造の平均面積との間の尺度、人工弁の開若しくは閉の尺度、又はステントによる血管管腔適用範囲の尺度のうちの1又は複数であり得る、
付記16に記載のシステム。