知財求人 - 知財ポータルサイト「IP Force」
▶ バイオセンス・ウエブスター・（イスラエル）・リミテッドの特許一覧 ▶ アクラレント インコーポレイテッドの特許一覧
特許7443353位置及び方向（Ｐ＆Ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ＣＴ）画像の補正
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-26
(45)【発行日】2024-03-05
(54)【発明の名称】位置及び方向（Ｐ＆Ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ＣＴ）画像の補正
(51)【国際特許分類】
A61B 1/045 20060101AFI20240227BHJP
A61B 1/00 20060101ALI20240227BHJP
【ＦＩ】
A61B1/045 623
A61B1/00 552
A61B1/00 522
A61B1/00 553
【請求項の数】
19
(21)【出願番号】P 2021518429
(86)(22)【出願日】2019-10-01
(65)【公表番号】
(43)【公表日】2022-01-13
(86)【国際出願番号】 IB2019058348
(87)【国際公開番号】W WO2020070647
(87)【国際公開日】2020-04-09
【審査請求日】2022-08-10
(31)【優先権主張番号】62/741,403
(32)【優先日】2018-10-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/588,955
(32)【優先日】2019-09-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド
【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．
(73)【特許権者】
【識別番号】516389190
【氏名又は名称】アクラレント インコーポレイテッド
【氏名又は名称原語表記】Ａｃｃｌａｒｅｎｔ， Ｉｎｃ．
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】エブラヒミ・ババク
(72)【発明者】
【氏名】シャメリ・エーサン
(72)【発明者】
【氏名】アクバリアン・ファテメ
(72)【発明者】
【氏名】パルシ・ジェットミア
(72)【発明者】
【氏名】ゴバリ・アサフ
(72)【発明者】
【氏名】グリナー・バディム
(72)【発明者】
【氏名】アルガウィ・イェフダ
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】独国特許出願公開第１０２０１１０８７３５７（ＤＥ，Ａ１）
【文献】特開２０１４－１８８２２２（ＪＰ，Ａ）
【文献】特開２０１５－１０７２６８（ＪＰ，Ａ）
【文献】特開平０８－２７３００４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
システムであって、患者の器官の腔に挿入されるように構成された医療用プローブと、
センサ座標系で動作する前記医療用プローブの位置及び方向センサと、
センサ座標系で動作する前記医療用プローブの遠位先端部のカメラと、
プロセッサであって、
画像座標系で動作する撮像システムから、開放空間又は器官組織かどうかを示す密度値を含むボクセルを有する前記腔の三次元画像を受信することと、
前記医療用プローブから、前記腔内部の前記医療用プローブの前記遠位先端部の位置及びそれぞれの方向を示す信号を受信することと、
前記カメラから、前記腔内部の解剖学的構造の位置を示す視覚信号を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、前記視覚信号に基づく前記解剖学的構造である開放空間の位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
前記識別されたボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの密度値を、前記開放空間に対応するように更新することと、を行うように構成されたプロセッサと、を備える、システム。
【請求項2】
前記撮像システムは、コンピュータ断層撮影スキャナを備える、請求項１に記載のシステム。
【請求項3】
前記位置及び方向センサは、磁場センサを備える、請求項１に記載のシステム。
【請求項4】
前記プロセッサは、前記密度値と視覚効果の間の対応関係を形成するように構成され、所与の視覚効果は、前記開放空間を示す所与の密度値に対応する、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
前記視覚効果は、色、陰影、及びパターンからなる群から選択される、請求項４に記載のシステム。
【請求項6】
前記プロセッサは、前記視覚効果を使用してディスプレイに前記三次元画像を提示するように構成されている、請求項４に記載のシステム。
【請求項7】
前記所与の視覚効果は、第１の所与の視覚効果を含み、前記密度値を更新する前に、前記プロセッサは、前記第１の所与の視覚効果とは異なる第２の所与の視覚効果を使用して、識別された前記１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、請求項６に記載のシステム。
【請求項8】
前記密度値を更新した時点で、前記プロセッサは、前記第１の所与の視覚効果を使用して、前記識別された１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、請求項７に記載のシステム。
【請求項9】
前記プロセッサは、多視点三角測量モデルを使用して、前記カメラからの位置の距離を前記視覚信号から抽出するように構成されている、請求項４に記載のシステム。
【請求項10】
請求項１に記載のシステムの作動方法であって、前記プロセッサが、
前記撮像システムから、前記三次元画像を受信するステップと、
前記医療用プローブから、
前記腔内部の前記医療用プローブの遠位先端部の位置及びそれぞれの方向を示す信号、並びに
前記視覚信号を、を受信するステップと、
前記画像座標系を前記センサ座標系に位置合わせして、前記視覚信号に基づく前記解剖学的構造である開放空間の位置で前記三次元画像の１つ又は２つ以上のボクセルを識別するステップと、
前記識別されたボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの密度値を、前記開放空間に対応するように更新するステップと、
の各ステップを実行することを含む、作動方法。
【請求項11】
コンピュータソフトウェア製品であって、プローブと連動して動作し、前記プローブは、患者の器官の腔の中へ挿入するように構成され、センサ座標系で動作する位置及び方向センサと、センサ座標系で動作する前記プローブの遠位先端部のカメラと、を含み、前記製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を備え、該命令は、コンピュータによって読み出された場合、前記コンピュータに、画像座標系で動作する撮像システムから、開放空間又は器官組織かどうかを示す密度値を含むボクセルを有する前記腔の三次元画像を受信することと、
前記プローブから、前記腔内部の前記プローブの前記遠位先端部の位置及びそれぞれの方向を示す信号を受信することと、
前記腔の解剖学的構造の位置を示す視覚信号を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、前記視覚信号に基づく前記解剖学的構造である開放空間の位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
前記識別されたボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの密度値を、前記開放空間に対応するように更新することと、を行わせる、
コンピュータソフトウェア製品。
【請求項12】
前記位置及び方向センサが、前記医療用プローブの前記遠位先端に近接し、前記医療用プローブの位置に基づいて、一組の位置信号を生成するように構成されており、
前記カメラが、手術部位の一組の画像データを獲得するように動作可能である撮像モジュールであって、前記一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールに備えられ、 前記視覚信号に基づく前記解剖学的構造である開放空間の位置の取得処理において、
（ｉ）前記医療用プローブから前記一組の画像データ及び前記一組の位置信号を受信することと、
（ｉｉ）前記一組の位置信号に基づいて、一組の視点データを決定することであって、前記一組の視点データは、前記１つ又は２つ以上の２Ｄ画像の各々の獲得中の前記医療用プローブの前記位置を示す、決定することと、
（ｉｉｉ）画像深度分析を行って、前記１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、画素の深度を含む、決定することと、
（ｉｖ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｖ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、
が行われ、
前記画像深度分析は、
（ｉ）前記１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、又は
（ｉｉ）前記１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる、受動ステレオビジョン技術であって、前記一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、の何れかが使用されている、請求項１に記載のシステム。
【請求項13】
前記撮像モジュールは、（ｉ）単一レンズと、
（ｉｉ）前記単一レンズの第１の側と前記手術部位との間に位置決めされた開口プレートであって、前記単一レンズの光軸からオフセットされた１つ又は２つ以上の開口を備える、開口プレートと、
（ｉｉｉ）前記１つ又は２つ以上の開口及び前記単一レンズを介して、前記手術部位から反射光を受信するように前記単一レンズの第２の側に位置決めされた画像ペインであって、前記反射光に基づいて、前記一組の画像データを生成するように構成されている、画像ペインと、を備える、請求項１２に記載のシステム。
【請求項14】
（ｉ）前記１つ又は２つ以上の開口は、前記開口プレートに位置決めされ、前記単一レンズの前記光軸からオフセットされた少なくとも２つの開口を備え、（ｉｉ）前記開口プレートは、前記単一レンズに対して固定された位置及び配向を有する、請求項１３に記載のシステム。
【請求項15】
（ｉ）前記１つ又は２つ以上の開口は、前記単一レンズの前記光軸からオフセットされた前記開口プレートに位置決めされた単一開口を備え、（ｉｉ）前記開口プレートは、画像獲得中に、前記単一レンズに対してその円形軸の周りを回転するように動作可能である、請求項１３に記載のシステム。
【請求項16】
前記プロセッサは、前記画像深度分析を行う場合、（ｉ）前記一組の画像データ内で、前記手術部位の２つ又は３つ以上のボケ画像を識別することと、
（ｉｉ）前記手術部位の前記２つ又は３つ以上のボケ画像の間の空間関係を決定することと、
（ｉｉｉ）前記２つ又は３つ以上のボケ画像の間の前記空間関係に基づいて、前記一組の画像データの前記画素の深度を決定することと、を行うように構成されている、請求項１３に記載のシステム。
【請求項17】
前記撮像モジュールは、２つ又は３つ以上のカメラを備え、前記２つ又は３つ以上のカメラの各々は、（ｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラに対して静的に位置決めされ、
（ｉｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラと平行な光軸を有するように配向されている、請求項１２に記載のシステム。
【請求項18】
前記プロセッサは、前記画像深度分析を行う場合、（ｉ）前記一組の画像データの第１の画像の点を識別することであって、前記点は、前記２つ又は３つ以上のカメラのうちの第１のカメラによって捕獲された前記第１の画像内、及び前記２つ又は３つ以上のカメラのうちの第２のカメラによって捕獲された第２の画像内の両方に存在する、前記手術部位の一部分を含む、識別することと、
（ｉｉ）前記第２の画像の前記点を識別することと、
（ｉｉｉ）前記第１の画像から前記第２の画像までの前記点の変位を決定することと、
（ｉｖ）前記変位に基づいて、前記点の前記画素の深度を決定することと、を行うように更に構成されている、請求項１７に記載のシステム。
【請求項19】
前記プロセッサは、前記第２の画像の前記点を識別する場合、（ｉ）前記第２のカメラに対する前記第１のカメラの静的位置に基づいて、前記第１の画像及び前記第２の画像のエピポーラ線を決定することと、
（ｉｉ）前記エピポーラ線に沿った前記第２の画像の前記点を探し、同時に、前記エピポーラ線に沿っていない前記第２の画像の一部分を除外することと、を行うように更に構成されている、請求項１８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１８年１０月４日に出願された米国仮特許出願第６２／７４１，４０３号の利益を主張するものであり、その開示は、参照により本明細書に組み込まれる。
本出願は、２０１８年１０月４日に出願された米国仮特許出願第６２／７４１，４０３号の利益を主張するものであり、その開示は、参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本発明は、概して、医療用撮像に関し、特に、侵襲的医療処置を行いながら古い医療画像を更新することに関する。
本発明は、概して、医療用撮像に関し、特に、侵襲的医療処置を行いながら古い医療画像を更新することに関する。
【背景技術】
【0003】
医療処置中に、位置追跡システムによって追跡されるプローブなどの医療用装置によって調べられる解剖学的構造のリアルタイム表現は、先に取得された医療画像に重ね合わせて、解剖学的構造の表現を改善することができる。例えば、米国特許出願公開第２０１８／０１４６８８３号には、画像座標系で動作する撮像システムから、開放空間及び体組織を含む体腔の三次元画像を受信することと、位置センサを有する、体腔に挿入された医療用プローブから、センサ座標系での医療用プローブの遠位先端の位置を示す信号を受信することと、を含む、方法、機器、及びコンピュータプログラム製品が記載されている。画像座標系は、センサ座標系に位置合わせされ、示された位置で三次元画像の１つ又は２つ以上のボクセルを識別し、識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値は、開放空間に対応するように更新される。
【0004】
別の例として、米国特許出願公開第２０１４／０１４７０２７号には、異なる位置から関心領域の撮像体積を生成するように構成された被追跡超音波撮像プローブを含む、撮像補正システムが記載されている。画像補償モジュールは、プローブと関連付けられた超音波撮像装置からの画像信号を処理し、１つ又は２つ以上の超音波画像体積とＣＴ画像などの基準とを比較し、画像補償モジュールを使用して超音波撮像における収差を判定し、そして、収差に関する補償に基づいて、表示するための補正した超音波画像を生成するように構成されている。
【0005】
上で説明したような画像誘導手術（image-guided surgery、ＩＧＳ）は、コンピュータを使用して、一組の手術前に得られた画像（例えば、ＣＴ又はＭＲＩスキャン、３Ｄマップなど）に対する、患者の身体内に挿入された器具の位置のリアルタイム相関を得ることによって、コンピュータシステムが、器具の現在位置を手術前に得た画像の上に重ね合わせることができる技術である。ＩＧＳ処置で使用できる電磁ＩＧＳナビゲーションシステムの例は、Ｂｉｏｓｅｎｓｅ－Ｗｅｂｓｔｅｒ，Ｉｎｃ．（Ｉｒｖｉｎｅ，Ｃａｌｉｆｏｒｎｉａ）によるＣＡＲＴＯ（登録商標）３システムである。
【0006】
いくつかのＩＧＳ処置では、手術野のデジタル断層撮影スキャン（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を手術の前に得る。次に、特別にプログラムされたコンピュータを用いて、デジタル断層撮影スキャンデータをデジタルマップに変換する。手術中、位置センサ（例えば、電磁場を放射する及び／又は外部で放射された電磁場に応答する電磁コイル）を有する特別な器具を使用して処置を実行し、同時に、センサがコンピュータに各手術用器具の現在位置を示すデータを送信する。コンピュータは、センサから受信されたデータを、術前断層撮影スキャンから作成されたデジタルマップと相関付ける。断層撮影スキャン画像は、スキャン画像内に示される解剖学的構造に対する各手術用器具のリアルタイム位置を示す指標（例えば、クロスヘア又は照明ドットなど）と共にビデオモニタ上に表示される。したがって、外科医が器具自体を身体内のその現在の位置において直接視覚化することができない場合であっても、ビデオモニタを見ることによって、各センサ搭載器具の正確な位置を知ることができる。
【0007】
ＩＧＳナビゲーションシステムは、外科処置中に有用な視野及び情報を提供するが、外科医はまた、手術している解剖学的構造のリアルタイムの写真及びビデオを所望する場合もある。そのような場合、内視鏡は、解剖学的構造の画像を獲得するために、ＩＧＳナビゲーションを用いて手術部位に展開することができ、また、切断器具、アブレーション器具、拡張カテーテルなどの他の手術用器具と対にすること、又は別様にそれと共に展開することもできる。このようにして獲得された写真画像及びビデオは、一般化されてシミュレーションされた画像だけしか提供し得ないＩＧＳナビゲーション画像よりも有用であり得る。代替的に、このようにして獲得された写真画像及びビデオは、有用な補足をＩＧＳナビゲーション画像に提供することができる。
【0008】
従来の内視鏡によって獲得された画像はまた、従来の内視鏡で獲得された画像が解剖学的構造の二次元（two-dimensional、２Ｄ）表現に制限され得るので、外科医による直視観察と比較していくらか制限され得る。切断、アブレーション、拡張などの手術は、２Ｄ内視鏡検査及びＩＧＳナビゲーションの組み合わせを使用して行われ得るが、これらはどちらも、真の三次元（three-dimensional、３Ｄ）観察で利用可能な深度視点の感覚を提供することができない。３Ｄ観察の利益を伴うことなく手術用具を操作して手術することは、用具の位置決めに費やされる時間を増加させる場合があり、また、間違いの可能性を高める場合がある。いくつかの３Ｄ内視鏡カメラが存在するが、それらは、複雑さ及びコストが高く、また、それらをいくつかの処置に使用することを困難又は不可能にする剛性及び非可撓性部分を有する場合がある。可撓性及び３Ｄ特徴の両方を有する実装形態は、遠位のカメラから近位の視認者に獲得された画像を転送するために、高価で、脆弱な光ファイバ構成要素を必要とする場合がある。その結果、３Ｄ内視鏡検査のための従来のオプションは高価で、利用可能な特徴が制限され、また、高体積での使用及び廃棄性には不適当であり得る。
【0009】
外科処置において、いくつかのシステム及び方法が製造及び使用されてきたが、本発明者ら以前に、添付の特許請求の範囲に記載される発明を製造又は使用した者はいないと考えられる。
【発明の概要】
【課題を解決するための手段】
【0010】
本発明の一実施形態は、医療用プローブと、位置及び方向センサと、カメラと、プロセッサと、を含むシステムを提供する。医療用プローブは、患者の器官の腔に挿入されるように構成されている。位置及び方向センサは、医療用プローブ内にあり、センサ座標系で動作する。カメラは、医療用プローブの遠位縁部内にあり、センサ座標系で動作する。プロセッサは、（ａ）画像座標系で動作する撮像システムから、開放空間及び器官組織を含む腔の三次元画像を受信することと、（ｂ）医療用プローブから、腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、（ｃ）プローブのカメラから、腔内部のそれぞれの視覚化された位置を受信することと、（ｄ）画像座標系をセンサ座標系に位置合わせして、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別することと、（ｅ）識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値を、開放空間に対応するように更新することと、を行うように構成されている。
【0011】
いくつかの実施形態では、撮像システムはコンピュータ断層撮影スキャナを含む。
【0012】
いくつかの実施形態では、位置及び方向センサは、磁場センサを含む。
【0013】
一実施形態では、プロセッサは、密度値の視覚効果の間の対応関係を形成するように構成され、所与の視覚効果は、開放空間を示す所与の密度値に対応する。別の実施形態では、視覚効果は、色、陰影、及びパターンからなる群から選択される。
【0014】
いくつかの実施形態では、プロセッサは、視覚効果を使用してディスプレイに三次元画像を提示するように構成されている。他の実施形態では、所与の視覚効果は、第１の所与の視覚効果を含み、密度値を更新する前に、プロセッサは、第１の所与の視覚効果とは異なる第２の所与の視覚効果を使用して、識別された１つ又は２つ以上のボクセルを提示することによって、三次元画像を提示するように構成されている。
【0015】
一実施形態では、密度値を更新した時点で、プロセッサは、第１の所与の視覚効果を使用して、識別された１つ又は２つ以上のボクセルを提示することによって、三次元画像を提示するように構成されている。別の実施形態では、プロセッサは、多視点三角測量モデルを使用して、カメラからの位置の距離を視覚信号から抽出するように構成されている。
【0016】
追加的に、本発明の一実施形態による、画像座標系で動作する撮像システムから、開放空間及び器官組織を含む患者の器官の腔の三次元画像を受信することを含む、方法を提供する。腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号、並びに腔内部のそれぞれの視覚化された位置を示す信号は、センサ座標系で動作して、腔の中へ挿入される、位置及び方向センサ並びにカメラを有する医療用プローブから受信される。画像座標系は、センサ座標系に位置合わせされて、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別する。識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値が、開放空間に対応するように更新される。
【0017】
本発明の一実施形態による、コンピュータソフトウェア製品を更に提供し、該製品は、プローブと連動して動作し、プローブは、患者の器官の腔の中へ挿入するように構成され、センサ座標系で動作する位置及び方向センサと、センサ座標系で動作する医療用プローブの遠位縁部のカメラと、を含み、該製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を含み、該命令は、コンピュータによって読み出された場合、該コンピュータに、（ａ）画像座標系で動作する撮像システムから、開放空間及び器官組織を含む腔の三次元画像を受信することと、（ｂ）医療用プローブから、腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、（ｃ）腔の壁のそれぞれの視覚化された位置を受信することと、（ｄ）画像座標系をセンサ座標系に位置合わせして、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別することと、（ｅ）識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値を、開放空間に対応するように更新することと、を行わせるように構成されている。
【0018】
更に、本発明の一実施形態による、内視鏡及びプロセッサを含む三次元（３Ｄ）撮像システムを提供する。内視鏡は、（ｉ）遠位先端を有するシャフトであって、患者の中へ挿入され、患者の手術部位に位置決めされるように適合された、シャフトと、（ｉｉ）遠位先端に近接し、使用中の内視鏡の位置に基づいて、一組の位置信号を生成するように構成されている位置センサと、（ｉｉｉ）遠位先端に位置決めされ、手術部位の一組の画像データを獲得するように動作可能である撮像モジュールであって、一組の画像データが、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、を含む。プロセッサは、内視鏡と通信可能に結合され、（ｉ）内視鏡から一組の画像データ及び一組の位置信号を受信することと、（ｉｉ）一組の位置信号に基づいて、一組の視点データを決定することであって、一組の視点データは、１つ又は２つ以上の２Ｄ画像の各々の獲得中の内視鏡の位置を示す、決定することと、（ｉｉｉ）画像深度分析を行って、１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、一組の３Ｄ特性が、画素の深度を含む、決定することと、（ｉｖ）１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、（ｖ）一組の視点データを一組の３Ｄ画像データと関連付けることと、を行うように構成され、画像深度分析は、（ｉ）１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び（ｉｉ）１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われ、一組の２つの画像の各々が、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む。
【0019】
いくつかの実施形態では、撮像モジュールは、（ｉ）単一レンズと、（ｉｉ）単一レンズの第１の側と手術部位との間に位置決めされた開口プレートであって、単一レンズの光軸からオフセットされた１つ又は２つ以上の開口を含む、開口プレートと、（ｉｉｉ）１つ又は２つ以上の開口及び単一レンズを介して、手術部位から反射光を受信するように単一レンズの第２の側に位置決めされた画像ペインであって、反射光に基づいて、一組の画像データを生成するように構成されている、画像ペインと、を含む。
【0020】
いくつかの実施形態では、（ｉ）１つ又は２つ以上の開口が、開口プレートに位置決めされ、単一レンズの光軸からオフセットされた少なくとも２つの開口を含み、（ｉｉ）開口プレートが、レンズに対して固定された位置及び配向を有する。
【0021】
一実施形態では、（ｉ）１つ又は２つ以上の開口が、単一レンズの光軸からオフセットされた開口プレートに位置決めされた単一開口を含み、（ｉｉ）開口プレートが、画像獲得中に、レンズに対してその円形軸の周りを回転するように動作可能である。
【0022】
別の実施形態では、プロセッサが、画像深度分析を行う場合、（ｉ）一組の画像データ内で、手術部位の２つ又は３つ以上のボケ画像を識別することと、（ｉｉ）手術部位の２つ又は３つ以上のボケ画像の間の空間関係を決定することと、（ｉｉｉ）２つ又は３つ以上のボケ画像の間の空間関係に基づいて、一組の画像データの画素の深度を決定することと、を行うように構成されている。
【0023】
いくつかの実施形態では、撮像モジュールは２つ又は３つ以上のカメラを含み、２つ又は３つ以上のカメラの各々は、（ｉ）２つ又は３つ以上のカメラのうちの他のすべてのカメラに対して静的に位置決めされ、（ｉｉ）２つ又は３つ以上のカメラのうちの他のすべてのカメラと平行な光軸を有するように配向されている。
【0024】
いくつかの実施形態では、プロセッサは、画像深度分析を行う場合、（ｉ）一組の画像データの第１の画像の点を識別することであって、点は、２つ又は３つ以上のカメラのうちの第１のカメラによって捕獲された第１の画像内、及び２つ又は３つ以上のカメラのうちの第２のカメラによって捕獲された第２の画像内の両方に存在する、手術部位の一部分を含む、識別することと、（ｉｉ）第２の画像の点を識別することと、（ｉｉｉ）第１の画像から第２の画像までの点の変位を決定することと、（ｉｖ）変位に基づいて、点の画素の深度を決定することと、を行うように更に構成されている。
【0025】
一実施形態では、プロセッサは、第２の画像の点を識別する場合、（ｉ）第２のカメラに対する第１のカメラの静的位置に基づいて、第１の画像及び第２の画像のエピポーラ線を決定することと、（ｉｉ）エピポーラ線に沿った第２の画像の点を探し、同時に、エピポーラ線に沿っていない第２の画像の一部分を除外することと、を行うように更に構成されている。
【0026】
別の実施形態では、プロセッサは、（ｉ）３Ｄ画像データ及び一組の視点データを画像誘導手術システムの座標系と関連付けることと、（ｉｉ）座標系との関連付けに基づいて、画像誘導手術ナビゲーション手順中に一組の３Ｄ画像データを表示することと、を行うように更に構成されている。
【0027】
一実施形態では、（ｉ）位置センサは、使用中の内視鏡の位置及び配向に基づいて、一組の位置信号を生成するように構成され、（ｉｉ）一組の視点データは、一組の画像データの獲得中の、内視鏡の位置及び配向を示し、（ｉｉｉ）プロセッサは、一組の３Ｄ画像データ及び一組の視点データを画像誘導手術ナビゲーションシステムに提供するように更に構成されている。
【0028】
別の実施形態では、プロセッサは、（ｉ）手術部位に対する視点を定義する、ユーザからの入力を受信することと、（ｉｉ）一組の視点データ内の視点を識別することに基づいて、視点から手術部位を示す一組の３Ｄ画像データの第１の部分を決定することと、（ｉｉｉ）一組の３Ｄ画像データの第１の部分をディスプレイに表示することと、を行うように更に構成されている。
【0029】
更に別の実施形態では、プロセッサは、（ｉ）手術部位の間接３Ｄスキャン、及び間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、（ｉｉ）一組のスキャン視点データ内の視点を識別することに基づいて、視点から手術部位を示す間接３Ｄスキャンの第２の部分を決定することと、（ｉｉｉ）一組の３Ｄ画像データの第１の部分及び間接３Ｄスキャンの第２の部分をディスプレイに同時に表示することと、を行うように更に構成されている。
【0030】
更なる一実施形態では、（ｉ）手術部位の間接３Ｄスキャンは、手術前に獲得された画像データを含み、（ｉｉ）一組の３Ｄ画像データは、手術後に獲得された画像データを含む。
【0031】
一実施形態では、（ｉ）手術部位の間接３Ｄスキャンが、手術前に獲得された画像データを含み、（ｉｉ）一組の３Ｄ画像データは、手術前に獲得された画像データを含み、（ｉｉｉ）プロセッサは、（Ａ）ユーザからスキャン調整入力を受信することと、（Ｂ）スキャン調整入力に基づいて、手術部位の間接３Ｄスキャンと一組のスキャン視点データとの関連付けを再構成することと、を行うように更に構成されている。
【0032】
追加的に、本発明の一実施形態による、三次元（３Ｄ）撮像のための方法を提供し、該方法は、内視鏡の遠位先端を患者の手術部位に展開することであって、該遠位先端は、（ｉ）手術部位の画像データを獲得するように動作可能な撮像モジュールであって、獲得された画像データが、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、（ｉｉ）遠位先端に近接し、内視鏡の位置に基づいて位置信号を生成するように構成された位置センサと、を含む。撮像モジュールから一組の画像データを、及び位置センサから一組の位置信号を受信する。一組の位置信号に基づいて、一組の視点データが決定され、一組の視点データは、１つ又は２つ以上の２Ｄ画像の各々の獲得中の内視鏡の位置を示す。１つ又は２つ以上の２Ｄ画像の各々について、画像深度分析を行って、一組の３Ｄ特性を決定し、一組の３Ｄ特性は、画素の深度を含む。１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データが作成され、一組の視点データは、一組の３Ｄ画像データと関連付けられ、画像深度分析は、（ｉ）１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び（ｉｉ）１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われ、一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む。
【0033】
本発明の別の実施形態は、プロセッサ、メモリ、及びディスプレイを含む画像誘導手術（image guided surgery、ＩＧＳ）ナビゲーションシステムを提供し、該プロセッサは、（ａ）被追跡内視鏡によって生成された一組の画像データを受信することであって、一組の画像データが、１つ又は２つ以上の二次元（２Ｄ）画像を含む、受信することと、（ｂ）被追跡内視鏡によって生成された一組の視点データを受信することであって、一組の視点データは、一組の画像データの獲得中の被追跡内視鏡の位置を示す、受信することと、（ｃ）画像深度分析を行って、一組の画像データの一組の３Ｄ特性を決定することであって、一組の３Ｄ特性は、１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、（ｄ）１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、（ｅ）一組の視点データを一組の３Ｄ画像データと関連付けることと、（ｆ）選択された視点を含む一組の視点データに基づいて、選択された視点から一組の３Ｄ画像データをディスプレイに表示させることと、を行うように構成されている。
【0034】
本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解されよう。
【図面の簡単な説明】
【0035】
【図1A】集合的に図１と称される、本発明の一実施形態による、侵襲的医療処置を行いながら、古いコンピュータ断層撮影（computerized tomography、ＣＴ）画像を補正するように構成された医療システムの概略描写図である。
【図2】本発明の一実施形態による、古いＣＴ画像を補正する方法を概略的に例示するフローチャートである。
【図3】本発明の一実施形態による、三次元ＣＴ画像の画像スライスを示す概略描写図である。
【図4】本発明の一実施形態による、副鼻腔の中へ挿入されたプローブの遠位端を示す概略詳細図である。
【図7】本発明の別の実施形態による、例示的な医療処置椅子に着座した患者に使用されている例示的な手術ナビゲーションシステムの概略図を示す。
【図17】ステレオ撮像における視差と深度の関係を例示する線図を示す。
【図18】本発明の一実施形態による、ステレオ撮像のエピポーラ線を例示する線図を示す。
【0036】
図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、その一部をなす添付図面は、本発明のいくつかの態様を図示したものであり、本説明文と共に本発明の原理を説明する役割を果たすものである。しかし、本発明が、示される正確な配置に限定されない点は理解される。
【発明を実施するための形態】
【0037】
概論
本発明の一態様によれば、コンピュータ断層撮影（ＣＴ）撮像システムなどの、手術中の医療撮像システムは、典型的には、耳、鼻、喉（ear,nose and throat、ＥＮＴ）処置を行うクリニックでは利用できないモダリティである。したがって、処置を行うＥＮＴ医師は、通常、以前に取得されたＣＴ画像などの医療画像に依存する。ＣＴ画像を使用して、リアルタイムのガイド（すなわち、「マップ」）を生成することができ、これは、ＥＮＴ医療処置を行っている医師が、患者の頭部の腔内部の関心体積内で医療用プローブをナビゲートすることを可能にする。
本発明の一態様によれば、コンピュータ断層撮影（ＣＴ）撮像システムなどの、手術中の医療撮像システムは、典型的には、耳、鼻、喉（ear,nose and throat、ＥＮＴ）処置を行うクリニックでは利用できないモダリティである。したがって、処置を行うＥＮＴ医師は、通常、以前に取得されたＣＴ画像などの医療画像に依存する。ＣＴ画像を使用して、リアルタイムのガイド（すなわち、「マップ」）を生成することができ、これは、ＥＮＴ医療処置を行っている医師が、患者の頭部の腔内部の関心体積内で医療用プローブをナビゲートすることを可能にする。
【0038】
しかしながら、いくつかの場合では、例えば、閉塞軟骨又は腔の壁の骨を削ることなどの外科ＥＮＴ処置中に、ＣＴ画像は、もはや腔の真の解剖学的構造を反映しない。
【0039】
以下に記載する本発明の実施形態は、患者の器官の腔の古いＣＴ画像などの古い医療画像を更新するためのシステム及び方法を提供し、ＣＴ画像は、本明細書では、三次元画像とも称される。
【0040】
いくつかの実施形態では、更新手順中に、医療用プローブの遠位先端に位置し、プローブ座標系で動作するカメラが、開放空間及び器官組織を含む腔内部の位置を視覚化する。プロセッサは、カメラが提供する異なる位置及び方向からの視覚化を使用して、位置を推定する。異なる位置及び方向は、医療用プローブの遠位先端に取り付けられた位置及び方向（position and direction、Ｐ＆Ｄ）センサから受信された信号から、プロセッサによって導出される。
【0041】
プロセッサは、多視点三角測量モデルを使用して、カメラからの位置の距離を再構築することによって、視覚化された位置を再構築する。そのような多視点三角測量モデルは、例えば、「ｔｒｉａｎｇｕｌａｔｅＭｕｌｔｉｖｉｅｗ」という名前のＭＡＴＬＡＢ（登録商標）機能を使用することができ、これは、Ｐ＆Ｄ較正カメラによって撮影した複数の画像にわたって整合させた点に対応する３Ｄ世界点の位置を返す。
【0042】
ＣＴ画像が、腔の最新の視覚化された（すなわち、真の）解剖学的構造を反映するために、プロセッサは、医療用プローブと関連付けられた座標系を有する（例えば、センサ座標系を有する）ＣＴ撮像システムと関連付けられた座標系に位置合わせする。位置合わせは、プロセッサが、示された位置で三次元画像の１つ又は２つ以上のボクセルを識別することを可能にし、識別されたボクセルが、カメラによって視覚化されたときに、及び多視点三角測量モデルを使用してプロセッサによって推定されたときに、受信された三次元画像に、新しく形成された（例えばＥＮＴ削り処置によって、形成された）開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値が、新しい開放空間に対応するように更新される。
【0043】
医療撮像システムは、通常、開放空間と体組織を提示するために異なる視覚効果を用いる。例えば、ＣＴシステムは、開放空間を黒色で提示し、硬い体組織を白で提示し、軟かい体組織を（様々な陰影の）灰色で提示することができる。医療用プローブの遠位縁部に位置しているカメラは、開放空間を通して壁組織を光学的に撮像することだけしかできないので、本発明の実施形態を実装するシステムは、更新された三次元（３Ｄ）ＣＴ画像に、開放空間として提示されていない腔の任意の光学的に撮像された位置を補正することができる。加えて、カメラが、以前に開放空間でなかった位置に進入した場合、本発明の実施形態はまた、進入した位置を、更新された３Ｄ画像の開放空間として提示することもできる。
【0044】
開示する発明の他の態様は、単一カメラ及びマルチカメラの２Ｄ撮像システムから３Ｄ画像データ及び３Ｄモデルを生成するために使用される、波面サンプリング及び受動ステレオビジョンなどの撮像技術を提供する。そのような技術は、独立した動的に焦点合わせするカメラを有する３Ｄ撮像システムと比較して小さいサイズ及び低い複雑性を有する、３Ｄが可能な撮像システムを生成するように実装される。サイズ及び電力要件を低減させることによって、そのような撮像技術（例えば、システム）は、静的又は可撓性シャフトを有する手術用器具の遠位先端に実装され、人体内の手術部位の３Ｄ撮像を生成するために使用することができる。そのような３Ｄ撮像を使用して、ＩＧＳナビゲーション中に使用可能な合成画像セットを生成し、手術前画像セットの比較を提供し、手術後の画像セットの比較を提供するために使用することができる。
【0045】
いくつかの実施形態では、３Ｄ内視鏡検査撮像システムが提供され、該撮像システムは、（ａ）内視鏡であって、位置センサと、内視鏡の遠位先端に位置決めされ、手術部位の一組の画像データを獲得するように動作可能である撮像モジュールと、を備え、一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、内視鏡と、（ｂ）プロセッサであって、内視鏡と通信可能に結合され、
（ｉ）内視鏡から一組の画像データ及び一組の位置信号を受信することと、
（ｉｉ）一組の位置信号に基づいて、一組の視点データを決定することであって、一組の視点データが、１つ又は２つ以上の２Ｄ画像の各々の獲得中の内視鏡の位置を示す、決定することと、
（ｉｉｉ）画像深度分析を行って、１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、一組の３Ｄ特性が、画素の深度を含む、決定することと、
（ｉｖ）１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｖ）一組の視点データを一組の３Ｄ画像データと関連付けることと、を行うように構成され、
画像深度分析が、
（ｉ）１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる受動ステレオビジョン技術であって、一組の２つの画像の各々が、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、プロセッサと、を備える。
（ｉ）内視鏡から一組の画像データ及び一組の位置信号を受信することと、
（ｉｉ）一組の位置信号に基づいて、一組の視点データを決定することであって、一組の視点データが、１つ又は２つ以上の２Ｄ画像の各々の獲得中の内視鏡の位置を示す、決定することと、
（ｉｉｉ）画像深度分析を行って、１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、一組の３Ｄ特性が、画素の深度を含む、決定することと、
（ｉｖ）１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｖ）一組の視点データを一組の３Ｄ画像データと関連付けることと、を行うように構成され、
画像深度分析が、
（ｉ）１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる受動ステレオビジョン技術であって、一組の２つの画像の各々が、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、プロセッサと、を備える。
【0046】
本発明の実施形態は、腔位置のＰ＆Ｄ追跡支援の視覚化技術を使用する、ＣＴ画像などの医療画像の補正を開示する。実施形態を使用することは、典型的には大型で費用のかかる動作設備を必要とするＣＴ撮像手順などの撮像手順を繰り返すことに対する必要性を排除することができる。
【0047】
Ｐ＆Ｄ追跡支援の光学的視覚化を使用したＣＴ画像の補正
本発明の特定の実施例の以下の説明文は、本発明の範囲を限定する目的で用いられるべきではない。本発明の他の実施例、特徴、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的な性質のものではなく、例示的な性質のものと見なされるべきである。
本発明の特定の実施例の以下の説明文は、本発明の範囲を限定する目的で用いられるべきではない。本発明の他の実施例、特徴、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的な性質のものではなく、例示的な性質のものと見なされるべきである。
【0048】
「近位」及び「遠位」という用語は、本明細書では、ハンドピースアセンブリを把持している臨床医に対して使用されることが理解されるであろう。すなわち、エンドエフェクタは、より近位のハンドピースアセンブリに対して遠位側にある。便宜上及び明確さのために、「上部」及び「下部」などの空間用語もまた、本明細書において、ハンドピースアセンブリを把持している臨床医を基準にして使用されていることが更に理解されよう。しかしながら、外科器具は、多くの向き及び位置で使用されるものであり、これらの用語は、限定的かつ絶対的なものであることを意図するものではない。
【0049】
本明細書に記載の教示、表現、変形、実施例などのうちのいずれか１つ以上を、本明細書に記載の他の教示、表現、変形、実施例などのうちのいずれか１つ以上と組み合わせることができる点も更に理解される。したがって、以下に記載されている教示、表現、変形例、実施例などは、互いに独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。
【0050】
図１Ａ及び図１Ｂは、集合的に図１と称され、本発明の一実施形態による、侵襲性医療処置を行う間に、古いコンピュータ断層撮影（ＣＴ）画像を補正するように構成された医療システム１１の概略描写図である。図１に示す例では、医療システム１１は、モバイルＣＴスキャナ２１と、制御コンソール３４と、医療用プローブ３６と、を備える、医療用撮像システムを備える。本明細書に記載する実施形態では、医療用プローブ３６は、患者２６に対する最小侵襲性カテーテルベースの副鼻腔手術などの、ＥＮＴ診断又は治療処置に使用される。代替的に、医療用プローブ３６は、他の治療及び／又は診断目的のために、必要な変更を加えて使用することができる。
【0051】
図１Ａに示すように、患者２６に対して侵襲的医療処置を行う前に、ＣＴスキャナ２１は、患者の内腔（例えば、鼻腔又は副鼻腔）の画像データを含む電気信号を発生し、生成された画像データを制御コンソール３４に搬送する。コンピュータ断層撮影スキャナ２１は、Ｘ軸３１、Ｙ軸３３、及びＺ軸３５を備える画像座標系２８で画像データを発生する。
【0052】
図１Ｂに示すように、医療用プローブ３６は、操作者４３が把持して、医療用プローブの遠位端４１を、患者２６の鼻腔又は副鼻腔などの内腔の中へ挿入するために操縦することができる、ハンドル３８を備える。
【0053】
遠位端４１は、カメラによって視認された光景に応じて画像データを発生させる、カメラ４５を備える。遠位端４１はまた、磁場センサ６０も備え、これは、下で説明するように、遠位端の位置及び配向を提供する信号を発生する。図１に示す構成では、制御コンソール３４は、カメラ４５から受信された画像データを画像４６に変換し、画像を医療処置に関する情報としてディスプレイ４８に提示する、プロセッサ４４を備える。
【0054】
医療用プローブ３６及び医療システム２０の他の構成要素から受信された信号に基づいて、制御コンソール３４は、患者の頭部の遠位端４１の現在位置、並びに進行中である医療処置に関する状態情報及びガイダンスを提示するために、ディスプレイ４８を駆動して画像４６を更新する。プロセッサ４４は、画像４６を表すデータをメモリ５０内に格納する。いくつかの実施形態では、操作者４０は、１つ又は２つ以上の入力装置５２を使用して、画像４６を操作することができる。
【0055】
プロセッサ４４は、典型的には、医療用プローブ３６から信号を受信し、制御コンソール３４の他の構成要素を制御するための好適なフロントエンド回路及びインターフェース回路を有する、汎用コンピュータを備える。プロセッサ４４は、本明細書に記載する機能を実行するようにソフトウェアにプログラムすることができる。このソフトウェアは、例えば、ネットワークを通じて電子形態で制御コンソール３４にダウンロードすることができ、又は光記憶媒体、磁気記憶媒体、若しくは電子記憶媒体などの非一時的有形媒体で提供することができる。代替的に、プロセッサ４４の機能のいくつか又はすべては、専用の構成要素又はプログラマブルデジタルハードウェア構成要素によって実行することができる。
【0056】
本明細書に記載する実施形態では、医療システム１１は、磁気位置感知を使用して、患者２６内部の医療用プローブ３６の遠位端４１の位置座標及び方向座標を決定する。磁気ベースの位置及び方向感知を実現するために、制御コンソール３４は、患者２６の調べられる器官内で磁場を発生するように磁場発生器５８を駆動する、駆動回路５６を備える。典型的には、磁場発生器５８はコイルを含み、コイルは患者の下方の、患者２６の外部の既知の位置に設置される。これらのコイルは、副鼻腔のような内腔を含む所定の作業体積に磁場を生成する。医療用プローブ３６の遠位端４１内の磁場センサ６０（本明細書では、位置及び方向（Ｐ＆Ｄ）センサ６０とも称される）は、コイルからの磁場に応じて電気信号を発生し、それによって、プロセッサ４４が、作業体積内の遠位端４１の位置及び方向を決定することを可能にする。
【0057】
磁気位置追跡技術は、例えば、米国特許第５，３９１，１９９号、同第６，６９０，９６３号、同第５，４４３，４８９号、同第６，７８８，９６７号、同第５，５５８，０９１号、同第６，１７２，４９９号、及び同第６，１７７，７９２号に記載されており、これらの開示は、参照により本明細書に組み込まれる。磁場センサ６０によって発生した信号は、発生器５８の位置によって定義されたセンサ座標系６２で遠位端４１の現在の位置を示し、システム６２は、Ｘ軸６４、Ｙ軸６６、及びＺ軸６８を含むと見なされる。図１に示す例では、Ｘ軸６４は、Ｘ軸３１に概ね対応し、Ｙ軸６６は、Ｙ軸３３に概ね対応し、Ｚ軸６８は、Ｚ軸３５に概ね対応する。そのようなシステム及び技術は、図７に関連して説明する本発明の他の態様に関連して説明するものと同様又は同じである。
【0058】
本明細書に記載する実施形態では、医療システム１１は、カメラ４５を使用して、腔の一部分を撮像する。上で説明したように、カメラ４５が腔を撮像している位置、並びにカメラが向いているそれぞれの方向は、センサ６０を使用して導出される。Ｐ＆Ｄ追跡に基づいて、及び多視点三角測量モデルを使用して、プロセッサ４４は、（ｉ）遠位端が位置する腔の壁の一部分の位置、及び（ｉｉ）すべてが開放空間内にある、腔壁上の撮像位置と、カメラ４５自体を含むカメラとの間の位置、を決定すること、並びにそれに応じてＣＴ画像を更新することが可能である。
【0059】
図２は、本発明の一実施形態による、古いＣＴ画像を補正する方法を概略的に例示するフローチャートであり、図３、図４、図５、及び図６は、方法を例示する概略図である。取得工程８０では、プロセッサ４４は、ＣＴスキャナ２１から画像データを取得し、画像データをメモリ５０に格納し、取得された画像データに基づいて、三次元画像を発生する。工程８０は、典型的には、患者２６に行われるＣＴ画像手順を更新する前に行われる。
【0060】
図３は、工程８０で取得され得る三次元コンピュータ断層撮影画像の画像スライス１０１を示す概略描写図である。プロセッサ４４は、ＣＴスキャナ２１から画像データを受信することに応じて、画像スライス１０１を発生する。動作中、プロセッサ４４は、典型的には、画像スライス１０１を画像４６に組み込む。
【0061】
図３に示す例では、画像スライス１０１は、患者２６の頭部１０３の二次元「スライス」を含む。凡例１０６によって示すように、画像スライス１０１は、頭部１０３のコンピュータ断層撮影画像の三次元位置に対応する、三次元画像のボクセル１０５を含む。プロセッサ４４は、典型的には、所与のボクセルに対応する三次元位置で検出された密度に対応する異なる視覚効果を使用して、各所与のボクセル１０５を提示する。密度の例としては、限定されないが、開放空間、硬い体組織、及び軟かい体組織が挙げられ、視覚効果の例としては、限定されないが、色、陰影（例えば、異なる灰色の陰影）、及びパターン（例えば、グラデーション、ピクチャ、テクスチャ、線、点、及びボックス）が挙げられる。
【0062】
凡例１０７によって示すように、ボクセル１０５は、識別番号に文字を付加することで区別することができ、ボクセルは、ボクセル１０５Ａ～１０５Ｃを含む。図３に示す例では、ボクセル１０５Ａは、開放空間を示して黒色で提示され、ボクセル１０５Ｂは、硬い器官組織（例えば、骨）を示して白色で提示され、ボクセル１０５Ｃは、軟組織（例えば、脂肪、筋肉軟骨、及び脳組織）を示して灰色で提示される。本明細書の実施形態は、３つの異なる視覚効果でボクセル１０５（すなわち、ボクセル１０５Ａ～１０５Ｃ）を含む画像スライス１０１を説明しているが、任意の数の密度を表す任意の数の視覚効果を有するボクセルを提示することは、本発明趣旨及び範囲の範囲内にあると見なされる。
【0063】
画像スライス１０１はまた、関心領域１０９も含む。以下の図５及び図６を参照する説明に記載するように、関心領域１０９は、プロセッサ４４が本明細書に記載される実施形態を使用して更新することができる、古いＣＴ値（すなわち、密度値）を有する腔壁４７位置を含む。
【0064】
フローチャートに戻ると、更新手順を開始するために、操作者４３は、工程８２で、遠位端４１が患者２６の器官の腔に進入するようにハンドル３８を操作する。典型的には、工程８０と８２との間には、数日間、更には数週間であり得る遅延が存在することが理解されるであろう。
【0065】
次に、位置合わせ工程８４では、プロセッサ４４は、センサ６０座標系６２を画像座標系２８に位置合わせする。位置合わせは、当技術分野において既知の任意の適切な過程によって行うことができる。位置合わせを行った時点で、磁場センサ６０によって発生された信号によって示される各三次元位置は、工程８０で取得されたＣＴ画像の１つ又は２つ以上のボクセルに対応する。
【0066】
視覚信号受信工程８６では、プロセッサ４４は、カメラ４５から腔壁４７の位置を示す視覚信号を受信し、識別工程８８では、プロセッサは、位置合わせ及び多視点三角測量モデルを使用して、示された位置に対応するＣＴ画像の１つ又は２つ以上のボクセルを識別する。
【0067】
図４は、副鼻腔１１１に挿入された遠位端４１を示す概略詳細図である。遠位端４１のカメラ４５は、遠位端が移動するときに、異なる視点から腔壁４７の画像を取得する。カメラ４５が取得する壁４７の視覚信号に基づいて、及び上述のように多視点三角測量モデルを使用して、プロセッサ４４は、腔壁の位置４７Ａを推定する。位置４９などの位置４７Ａに対するカメラ４５のそれぞれの視線上の任意の位置、並びにカメラ４５自体の位置は、腔内部の開放空間でなければならないことが理解されるであろう。
【0068】
フローチャートに戻ると、第１の比較工程９０では、識別された１つ又は２つ以上のボクセルのいずれか、すなわち（ＥＮＴ手順によって新しく形成された）開放空間の代わりに組織のいずれかが古いＣＴ密度値を有する場合、補正工程９２で、プロセッサ４４は、古いボクセル（複数可）値を補正して、ボクセルを（新しく形成された）開口空間として表す。例えば、所与の識別されたボクセルが硬組織又は軟組織に対応するＣＴ密度の古い値を有する場合、プロセッサ４４は、開放空間に対応するように密度値を更新することができる。工程９０で識別された１つ又は２つ以上のボクセルのいずれも古いＣＴ値を有しない場合、方法は、工程９４を続ける。
【0069】
本発明の実施形態では、画像スライスにおける１つ又は２つ以上の更新されたボクセルを更新することで、メモリ５０に格納された三次元コンピュータ断層撮影画像を更新する。
【0070】
工程９２の完了後に、制御は、第２の比較工程９４に進む。
【0071】
第２の比較工程９４では、操作者４０が更新手順を完了した場合、すなわち、操作者が腔４７又は他の腔を十分に検査した場合、方法は、終了する。しかしながら、操作者４０が更新手順を未だ完了していない場合、方法は、工程８６を続ける。
【0072】
図５は、工程８０で取得されるようなコンピュータ断層撮影画像を更新する前の、画像スライス１０１の関心領域１１８を示す概略描写図である。図５に示される例では、閉塞骨１２０は、ボクセル１０５Ａの内部領域（すなわち、骨成長の中空領域）を取り囲むボクセル１０５Ｂ（すなわち、高密度の骨）を含み、ボクセル１０５Ｃは、軟組織を含む。
【0073】
図６は、コンピュータ断層撮影画像を更新した後の、すなわち、図２のフローチャートの工程の完了後の、画像スライス１０１の関心領域１１８を示す概略描写図である。図６に示すように、関心領域１１８は、更新された領域１５０を含む。領域１５０は、プロセッサ４４がカメラ４５からの視覚化に基づいて、及び多視点三角測量モデルを使用して、推定し、新しく形成した開放空間である領域を含む。領域１５０は、例えば、図５の骨の閉塞１２０の一部を除去したＥＮＴ削り処置によって形成された。
【0074】
ディスプレイ４８は、典型的には、プロセッサ４４が、本明細書に記載する実施形態を使用して、更新手順中に更新することができるボクセル１０５のサブセットを提示する。上述のように、画像スライス１０１は、プロセッサ４４がモバイルコンピュータ断層撮影スキャナ２１から画像データを受信することに応じて発生する、三次元画像の二次元「スライス」を含む。操作者は、三次元空間（すなわち、三次元座標系２８及び６２）で遠位端４１を移動させるので、（すなわち、現在ディスプレイ４８に提示されている二次元画像スライスに含まれていない）追加のボクセル１０５が存在する場合があり、それぞれの密度値が、カメラ４５によって検出された腔壁４７の位置に応じて、プロセッサ４４によって更新されることが理解されるであろう。
【0075】
例示的な画像誘導手術ナビゲーションシステム
本発明の別の態様によれば、患者（Ｐ）の頭部（Ｈ）内の医療処置を行うとき、特に、患者（Ｐ）の頭部（Ｈ）内の器具の作業要素の内視鏡視野を得ることが困難又は不可能である位置に器具がある場合に、患者（Ｐ）の頭部（Ｈ）内の器具の位置に関する情報を有することが望ましい場合がある。
本発明の別の態様によれば、患者（Ｐ）の頭部（Ｈ）内の医療処置を行うとき、特に、患者（Ｐ）の頭部（Ｈ）内の器具の作業要素の内視鏡視野を得ることが困難又は不可能である位置に器具がある場合に、患者（Ｐ）の頭部（Ｈ）内の器具の位置に関する情報を有することが望ましい場合がある。
【0076】
図７は、本発明の一実施形態による、画像ガイダンスを使用してＥＮＴ処置を行うことを可能にする例示的なＩＧＳナビゲーションシステム（１０）を示す。本明細書に記載する構成要素及び動作性を有することに加えて、又はその代わりに、ＩＧＳナビゲーションシステム（１０）は、以下の文献の教示の少なくとも一部に従って構築され、動作可能であり得る：米国特許第７，７２０，５２１号、発明の名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｖｉｃｅｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１０年５月１８日発行）（開示内容は参照により本明細書に組み込まれる）、及び米国特許出願公開第２０１４／０３６４７２５号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年１２月１１日公開）（開示内容は参照により本明細書に組み込まれる）。
【0077】
本例のＩＧＳナビゲーションシステム（１０）は、馬蹄形フレーム（２２）に一体化された一組の磁場発生器（２４）を備える磁場発生器アセンブリ（２０）を備える。磁場発生器（２４）は、患者（Ｐ）の頭部（Ｈ）の周りに異なる周波数の交流磁場を発生させるように動作可能である。この実施例では、ナビゲーションガイドワイヤ（４０）が患者（Ｐ）の頭部（Ｈ）に挿入される。ナビゲーションガイドワイヤ（４０）は、独立型装置であってもよく、又は外科用切断器具若しくは拡張器具などの医療器具のエンドエフェクタ又は他の位置に位置決めされてもよい。本例では、フレーム（２２）は、椅子（３０）に装着され、フレーム（２２）が患者（Ｐ）の頭部（Ｈ）に隣接して位置するように、患者（Ｐ）は、椅子（３０）に着座する。単に一例として、椅子（３０）及び／又は磁場発生器アセンブリ（２０）は、米国特許出願公開第２０１８／０３１０８８６号、発明の名称「Ａｐｐａｒａｔｕｓ ｔｏ Ｓｅｃｕｒｅ Ｆｉｅｌｄ Ｇｅｎｅｒａｔｉｎｇ Ｄｅｖｉｃｅ ｔｏ Ｃｈａｉｒ」（２０１８年１１月１日公開）（開示内容は参照により本明細書に組み込まれる）の教示の少なくとも一部に従って構成され、動作可能であり得る。
【0078】
本例のＩＧＳナビゲーションシステム（１０）は、ＩＧＳナビゲーションシステム（１０）の磁場発生器（２４）及び他の要素を制御するプロセッサ（１２）を更に備える。例えば、プロセッサ（１２）は、磁場発生器（２４）を駆動して交流電磁場を生成し、ナビゲーションガイドワイヤ（４０）からの信号を処理して患者（Ｐ）の頭部（Ｈ）内におけるナビゲーションガイドワイヤ（４０）内のセンサの位置を判定するように動作可能である。プロセッサ（１２）は、１つ又は２つ以上のメモリと通信する処理ユニット（例えば、組み合わせ論理回路又は他の類似の回路を使用してソフトウェア命令を評価及び実行するように調整された一組の電子回路）を備える。本例のプロセッサ（１２）は、キーパッド及び／又はマウス若しくはトラックボールなどのポインティング装置を含む動作制御部（１４）を備えるコンソール（１８）内に装着されている。医師は、外科処置を行いながら、動作制御部（１４）を使用して、プロセッサ（１２）と相互作用する。
【0079】
ナビゲーションガイドワイヤ（４０）は、磁場発生器（２４）によって発生された交流磁場内の位置決めに応答するセンサ（図示せず）を含む。連結ユニット（４２）はナビゲーションガイドワイヤ（４０）の近位端に固定され、コンソール（１８）とナビゲーションガイドワイヤ（４０）との間のデータ及び他の信号の通信を提供するように構成されている。連結ユニット（４２）は、データ及び他の信号の有線又は無線通信を提供することができる。
【0080】
本例では、ナビゲーションガイドワイヤ（４０）のセンサは、ナビゲーションガイドワイヤ（４０）の遠位端に少なくとも１つのコイルを含む。かかるコイルが磁場発生器（２４）によって生成された交流電磁場の中に位置決めされると、交流磁場がコイルの中に電流を生成し、この電流は、ナビゲーションガイドワイヤ（４０）内の導電路（複数可）に沿って、連結ユニット（４２）を介してプロセッサ（１２）に更に伝送され得る。この現象により、ＩＧＳナビゲーションシステム（１０）は、三次元空間内（すなわち、患者（Ｐ）の頭部（Ｈ）内）におけるナビゲーションガイドワイヤ（４０）又は他の医療器具（拡張器具、外科用切断器具など）の遠位端の位置を判定することができる。これを達成するため、プロセッサ（１２）は、ナビゲーションガイドワイヤ（４０）の遠位端の位置座標を、ナビゲーションガイドワイヤ（４０）内のコイル（複数可）の位置関連信号から計算するアルゴリズムを実行する。この例では、位置センサが、ガイドワイヤ（４０）内に位置しているが、このような位置センサは、以下により詳細に記載されるものを含む、様々な他の種類の器具に統合されてもよい。
【0081】
プロセッサ（１２）は、プロセッサ（１２）のメモリに格納されたソフトウェアを使用して、ＩＧＳナビゲーションシステム（１０）を較正及び操作する。そのような動作は、磁場発生器（２４）を駆動することと、ナビゲーションガイドワイヤ（４０）からのデータを処理することと、動作制御部（１４）からのデータを処理することと、ディスプレイスクリーン（１６）を駆動することと、を含む。いくつかの実装形態では、動作はまた、ＩＧＳナビゲーションシステム（１０）の１つ若しくは２つ以上の安全機構又は機能の監視及び施行も含み得る。プロセッサ（１２）は、患者の頭部（Ｈ）のビデオカメラ画像、患者の頭部（Ｈ）のスキャン画像（例えば、ＣＴ、ＭＲＩ、又は他のＸ線若しくは間接撮像法）、及び／又は患者の鼻腔内及び患者の鼻腔に隣接する解剖学的構造のコンピュータ生成三次元モデルに関するナビゲーションガイドワイヤ（４０）の遠位端の位置を示すビデオを、ディスプレイスクリーン（１６）を介してリアルタイムで提供するように更に動作可能である。ディスプレイスクリーン（１６）は、外科処置中にそのような画像を同時に及び／又は互いに重ね合わせて表示することができる。そのような表示画像は、ナビゲーションガイドワイヤ（４０）などの患者の頭部（Ｈ）に挿入された器具のグラフィック表現も含むことができ、よって、操作者は、その実際の位置で、リアルタイムで器具の仮想レンダリングを見ることができる。単に一例として、ディスプレイスクリーン（１６）は、米国特許出願公開第２０１６／０００８０８３号、発明の名称「Ｇｕｉｄｅｗｉｒｅ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ Ｓｉｎｕｐｌａｓｔｙ」（２０１６年１月１４日公開）（開示内容は参照により本明細書に組み込まれる）の教示の少なくとも一部に従って画像を提供してもよい。操作者が内視鏡も使用している場合には、内視鏡画像をディスプレイスクリーン（１６）に提供することもできる。
【0082】
ディスプレイスクリーン（１６）を介して提供される画像は、器具がナビゲーションワイヤ（４０）を組み込んでいる場合、患者の頭部（Ｈ）内の器具の操縦、及び操作を行う際に操作者を誘導するのに役立ち得る。また、以下に記載するように、手術用器具の他の構成要素及び他の種類の手術用器具は、ナビゲーションガイドワイヤ（４０）のセンサのようなセンサを組み込んでもよいことを理解されたい。
【0083】
単一カメラ３Ｄ撮像を有する内視鏡
図８は、本発明の一実施形態による、ＩＧＳナビゲーションシステム（１０）などの手術ナビゲーションシステム又は他の外科システムによって使用可能な例示的な内視鏡（１００）を示す。内視鏡（１００）は、使用中に把持することができる本体（１０２）を含む。一組の制御部（１０３）が、本体（１０２）の遠位端に位置決めされる。シャフト（１０４）が、本体（１０２）から遠位に延在する。シャフト（１０４）は、屈曲部分（１０８）と、遠位先端（１０６）と、を含む。下でより詳細に説明するように、遠位先端（１０６）は、カメラ、光源、灌注及び吸引、並びに／又は内部を通して可撓性用具を展開することができるチャネルなどの１つ又は２つ以上の特徴を含むことができる。内視鏡（１００）はまた、屈曲部分（１０８）と遠位先端（１０６）との間に位置付けられた位置センサ（１１０）も含む。位置センサ（１１０）は、磁場発生器（２４）によって発生された交流電磁場に応じて位置表示信号を発生するように構成された１つ又は２つ以上のコイルを備えることができ、よって、ナビゲーションシステム（１０）は、上で説明したナビゲーションガイドワイヤ（４０）の位置追跡と同様に、患者（Ｐ）の頭部（Ｈ）の遠位先端（１０６）の三次元位置をリアルタイムで追跡することができる。
図８は、本発明の一実施形態による、ＩＧＳナビゲーションシステム（１０）などの手術ナビゲーションシステム又は他の外科システムによって使用可能な例示的な内視鏡（１００）を示す。内視鏡（１００）は、使用中に把持することができる本体（１０２）を含む。一組の制御部（１０３）が、本体（１０２）の遠位端に位置決めされる。シャフト（１０４）が、本体（１０２）から遠位に延在する。シャフト（１０４）は、屈曲部分（１０８）と、遠位先端（１０６）と、を含む。下でより詳細に説明するように、遠位先端（１０６）は、カメラ、光源、灌注及び吸引、並びに／又は内部を通して可撓性用具を展開することができるチャネルなどの１つ又は２つ以上の特徴を含むことができる。内視鏡（１００）はまた、屈曲部分（１０８）と遠位先端（１０６）との間に位置付けられた位置センサ（１１０）も含む。位置センサ（１１０）は、磁場発生器（２４）によって発生された交流電磁場に応じて位置表示信号を発生するように構成された１つ又は２つ以上のコイルを備えることができ、よって、ナビゲーションシステム（１０）は、上で説明したナビゲーションガイドワイヤ（４０）の位置追跡と同様に、患者（Ｐ）の頭部（Ｈ）の遠位先端（１０６）の三次元位置をリアルタイムで追跡することができる。
【0084】
制御部（１０３）は、シャフト（１０４）の縦軸を中心にシャフト（１０４）の回転を駆動するように動作可能である。制御部（１０３）はまた、屈曲部分（１０８）においてシャフト（１０４）の縦軸から離れる、遠位先端（１０６）の偏向を駆動するように動作可能である。単に一例として、制御部（１０３）は、米国特許出願公開第２０１９／００１５６４５号、発明の名称「Ａｄｊｕｓｔａｂｌｅ Ｉｎｓｔｒｕｍｅｎｔ ｆｏｒ Ｄｉｌａｔｉｏｎ ｏｆ Ａｎａｔｏｍｉｃａｌ Ｐａｓｓａｇｅｗａｙ」（２０１９年１月１７日公開）（開示内容は参照により本明細書に組み込まれる）の教示の少なくとも一部に従って構成され、動作可能であり得る。単に更なる一例として、内視鏡（１００）はまた、内視鏡（１００）の特徴を作動させるための、又は内視鏡（１００）を介して外科部位に展開された可撓性用具を前進、後退、及び回転させるための、１つ又は２つ以上の制御部、並びに／又は本明細書の教示に鑑みて当業者には明らかであるように、様々な他の種類の制御部も含むことができる。
【0085】
図９Ａ及び図９Ｂは、各々、本発明の実施形態による、内視鏡（１００）の遠位先端（１０６）として利用することができる、例示的な遠位先端（３００）を示す。遠位先端（３００）は、シャフト（１０４）の遠位端部に静的に位置決めすることができ、又はそこから延在する可撓性又は偏向可能なシャフトの遠位端部に位置決めすることができ、又は遠位先端（１０６）のチャネルを通して前進又は後退させることができる。遠位先端（３００）は、器具チャネル（３０２）を含み、遠位先端（３００）が所望の位置に位置決めされたら、器具チャネル（３０２）を通して可撓性器具及び用具を展開することができる。単に一例として、チャネル（３０２）は、拡張カテーテル、削り器具、アブレーション器具、及び／又は本明細書の教示を考慮することで当業者には明らかであるように、様々な他の種類の器具を収容するようにサイズ決定することができる。遠位先端（３００）はまた、波面撮像装置（３０４）、及び一組の照明（３０６）（例えば、ＬＥＤ、光ファイバ、赤外光源など）も含む。遠位先端（３００）はまた、一組の灌注ダイバータ（３０８）も含む。各灌注ダイバータ（３０８）は、対応する灌注チャネル（例えば、一方又は両方の灌注ダイバータ（３０８）を取り外した遠位先端（３００）を各々が示す、図１０Ａ及び図１０Ｂにおいて視認可能な灌注チャネル（３１０））に近接して位置決めされる。灌注ダイバータ（３０８）は、波面撮像装置（３０４）を洗浄するための灌注チャネル（３１０）からの水又は他の液体、照明（３０６）、又は両方を受容し、指向するように適合されている。
【0086】
波面撮像装置（３０４）は、画像データを獲得し、プロセッサ（１２）に送信することが可能なデジタルカメラ（例えば、１つ又は２つ以上の画像センサ）若しくは撮像装置、又は画像データを格納及び処理して、３Ｄ画像データを生成することが可能なＩＧＳナビゲーションシステム（１０）の別の装置を備えることができる。いくつかの従来の３Ｄ画像獲得装置は、能動的に、かつ独立して標的に合焦することが可能な２つ又は３つ以上のオフセットされた撮像装置を必要とする場合があるが、本例の波面撮像装置（３０４）は、波面サンプリング技術を使用して、単一のカメラ又は画像センサから３Ｄ画像データを生成することが可能である。波面サンプリング技術と互換性のある画像データを生成するために、波面撮像装置（３０４）は、標的とカメラレンズとの間に位置決めされ、及びレンズの光軸から軸外にある、又はオフセットされた１つ又は２つ以上の開口を含む。波面撮像装置（３０４）で標的を撮像すると、開口（複数可）の位置に基づいて互いからオフセットされた標的の複数のボケ描写を含む、単一の画像が生成される。各ボケ画像の間の距離を使用して、撮像された標的までの深度又は距離を計算することができる。波面撮像装置（３０４）によって獲得された画像は、Ｆｒｉｇｅｒｉｏのマルチ画像処理などの波面サンプリングアルゴリズムへの入力として提供して、被撮像物体の３Ｄ深度マップ及び３Ｄモデルを生成することができる。
【0087】
図１１は、本発明の一実施形態による、静的光学的システム（３２０）を実装する、波面撮像装置（３０４）の一例を示す。静的光学的システム（３２０）は、レンズ（３２６）と標的（３３０）との間に位置決めされた第１の静的開口（３２８ａ）及び第２の静的開口（３２８ｂ）を有する、レンズ（３２６）を含む。開口（３２８ａ、３２８ｂ）は、直径方向に対向し、レンズの光軸（３２６）からオフセットされている。より多い数の開口は、結果として生じる３Ｄ画像の精度を向上させるので、２つ又は３つ以上の開口を使用することができるが、標的の撮像及び画像データの処理に更なる時間を必要とする。より少ない数の開口は、結果として生じる３Ｄ画像の精度を低下させる代わりに、撮像及び処理に必要とされる時間を短縮することができる。開口サイズは、獲得された画像の被写界深度を制御するために、増加又は減少させることができる。開口とレンズ（３２６）との間の距離を短くすることはまた、波面サンプリングの改善された結果を生成することもできる。
【0088】
撮像中に、レンズ（３２６）は、開口（３２８ａ、３２８ｂ）を通して標的（３３０）の第１のボケ画像（３３２ａ）及び第２のボケ画像（３３２ｂ）を受信し、第１のボケ画像（３３２ａ）及び第２のボケ画像（３３２ｂ）を画像平面（３２２）上へ指向する。画像平面（３２２）は、ＣＣＤ、ＣＭＯＳ、又は他の画像センサによって提供することができる。次いで、結果として生じる画像（３３２ａ、３３２ｂ）の間の画像オフセット（３３６）を、波面サンプリング技術の一部として決定し、使用して、標的（３３０）の画素深度を決定し、３Ｄモデルを生成することができる。
【0089】
図１２は、本発明の一実施形態による、能動光学的システム（３４０）として実装された波面撮像装置（３０４）の別の例を示す。能動光学的システム（３４０）は、レンズ（３２６）と標的（３３０）との間で回転可能な開口プレート（３４２）に位置決めされた単一の開口（３４４ａ）を有するレンズ（３２６）を含む。開口プレート（３４２）は、撮像中に電子的及び自動的に回転させて、単一開口（３４４ａ）をその示す位置から、回転を通して、第２の位置（３４４ｂ）、第３の位置（３４４ｃ）などまで移動させることができる。この例では、開口プレート（３４２）は、レンズの光軸（３２６）と同軸である回転軸を中心に回転する。静的光学的システム（３２０）と同様に、レンズ（３２６）は、開口プレート（３４２）の回転中に、標的（３３０）のボケ画像を受信する。したがって、第１のボケ画像（３４６ａ）、第２のボケ画像（３４６ｂ）、第３のボケ画像（３４６ｃ）などは、回転経路（３４８）に従うオフセット位置において、画像平面（３２２）の上へ投影される。次いで、画像平面（３２２）によって獲得されたこの画像データは、波面サンプリング技術によって使用して、標的（３３０）の３Ｄモデルを生成した画素深度を決定することができる。
【0090】
図１３は、本発明の一実施形態による、撮像装置（３０４）などの撮像装置を使用して三次元画像モデルを生成するために行うことができる一組の例示的な工程（４００）を示す。画像データは、図１１及び図１２の文脈において上で説明したように獲得することができ（ブロック４０２）、波面サンプリングアルゴリズム（例えば、Ｆｒｉｇｅｒｉｏのマルチ画像処理又は別の類似のアルゴリズム）を適用することによって、３Ｄ画像データに処理することができる。一例として、そのような過程は、他の画像のオフセットを決定するための基準として使用するアンカー画像を定義することを含むことができる（ブロック４０４）。アンカー画像は、任意に選択された画像、２つ又は３つ以上の他の画像に対して最も中央に位置付けられた画像とすることができ、又は他の基準に基づいて選択することができる。次いで、光学的フロー手法を使用して、アンカー画像と他の画像との間の画素変位を計算することができる（ブロック４０６）。画像全体にわたって円を点に適合させることができ（ブロック４０８）、回転直径（又は他のオフセット値）を決定することができる（ブロック４１０）。次いで、回転直径を使用して、画像の複数の画素の画素深度を計算することができる（ブロック４１２）。次いで、画素深度を使用して、被撮像物体又は標的の３Ｄモデルを構築することができる（ブロック４１４）。
【0091】
遠位先端（３００）及び波面撮像装置（３０４）は、それらが、（例えば、複数の独立して能動的に配向されたカメラを有する３Ｄカメラと比較して）相対的に低い複雑さを有する、遠位先端（１０６）などの器具の端部に装着することができる、又は可撓性若しくは偏向可能なシャフトに装着することができる、手術部位の３Ｄ撮像の解決策を提供する、という点で有利であり得る。複雑さを低減させる利点は、特に、波面撮像装置（３０４）が静的光学的システム（３２０）と共に実装されるときに実現することができ、これは、低い電力使用及び（例えば、開口プレート（３４２）又は独立して配向可能なカメラなどの）移動構成要素を含まないことによる少ない物理的寸法要件及び最小の支持要件によって実装することができる。
【0092】
上述のように、本例の内視鏡（１００）は、三次元空間の遠位先端（１０６）のリアルタイム位置を示す信号を提供するように動作可能である、位置センサ（１１０）を含む。撮像装置（３０４）が画像を獲得すると、撮像装置（３０４）からの画像データを、位置センサ（１１０）からの位置データと共に格納することができ、よって、ＩＧＳナビゲーションシステム（１０）（及び／又はいくつかの他のコンピュータシステム）は、各獲得された画像を、三次元空間のその対応する位置と相関させることができる。これは、ＩＧＳナビゲーションシステム（１０）が、撮像装置（３０４）によって獲得された画像を、１つ又は２つ以上の手術前に得られた画像（例えば、ＣＴ又はＭＲＩスキャン、３Ｄマップなど）と相関させることを可能にする。本発明のこの態様は、下記のデュアルカメラ３Ｄ撮像と共に、上で説明した本発明の画像補正の態様と共に使用することができる。
【0093】
デュアルカメラ３Ｄ撮像を有する内視鏡
図１４Ａ及び図１４Ｂは、各々、本発明の他の実施形態による、内視鏡（１００）の遠位先端（１０６）として利用することができる、別の例示的な遠位先端（５００）を示す。遠位先端（５００）は、シャフト（１０４）の遠位端に静的に位置決めすることができ、又はそこから延在する可撓性又は偏向可能なシャフトの遠位端部に位置決めすることができ、又は遠位先端（１０６）のチャネルを通して前進又は後退させることができる。遠位先端（５００）は、器具チャネル（３０２）と類似の特徴及び機能を有する器具チャネル（５０２）と、照明（３０６）と類似の特徴及び機能を有する照明（５０６）と、灌注チャネル（３１０）と類似の特徴及び機能を有する一組の灌注チャネル（５１０）と、を含む。遠位先端（５００）はまた、第１の撮像装置（５０４ａ）及び第２の撮像装置（５０４ｂ）も含み、これらは、遠位先端（５００）で画像データを獲得し、それをシャフト又は可撓性シャフトを介してプロセッサ（１２）、結合ユニット（４２）、又は獲得された画像を処理することが可能なＩＧＳナビゲーションシステム（１０）の別の装置に送信することが可能な、デジタルカメラ（例えば、１つ又は２つ以上の画像センサ）又は他のデジタル撮像装置を備えることができる。図８Ｂを参照すると、撮像装置（５０４ａ、５０４ｂ）は、第１の寸法（５１２）に沿って、及び同じ位置で第２の寸法（５１４）に沿って互いからオフセットされることが分かる。
図１４Ａ及び図１４Ｂは、各々、本発明の他の実施形態による、内視鏡（１００）の遠位先端（１０６）として利用することができる、別の例示的な遠位先端（５００）を示す。遠位先端（５００）は、シャフト（１０４）の遠位端に静的に位置決めすることができ、又はそこから延在する可撓性又は偏向可能なシャフトの遠位端部に位置決めすることができ、又は遠位先端（１０６）のチャネルを通して前進又は後退させることができる。遠位先端（５００）は、器具チャネル（３０２）と類似の特徴及び機能を有する器具チャネル（５０２）と、照明（３０６）と類似の特徴及び機能を有する照明（５０６）と、灌注チャネル（３１０）と類似の特徴及び機能を有する一組の灌注チャネル（５１０）と、を含む。遠位先端（５００）はまた、第１の撮像装置（５０４ａ）及び第２の撮像装置（５０４ｂ）も含み、これらは、遠位先端（５００）で画像データを獲得し、それをシャフト又は可撓性シャフトを介してプロセッサ（１２）、結合ユニット（４２）、又は獲得された画像を処理することが可能なＩＧＳナビゲーションシステム（１０）の別の装置に送信することが可能な、デジタルカメラ（例えば、１つ又は２つ以上の画像センサ）又は他のデジタル撮像装置を備えることができる。図８Ｂを参照すると、撮像装置（５０４ａ、５０４ｂ）は、第１の寸法（５１２）に沿って、及び同じ位置で第２の寸法（５１４）に沿って互いからオフセットされることが分かる。
【0094】
図１５Ａ及び図１５Ｂは、本発明の実施形態による、受動ステレオビジョンで、すなわち、２つ又は３つ以上の撮像装置を使用して、２つ又は３つ以上の異なる視点から画像を得る三角法で標的を撮像するために使用されている遠位先端（５００）の線図を示す。受動ステレオビジョンによって生成された画像は、エピポーラ幾何に基づいて画素深度を決定する写真測量アルゴリズムなどの３Ｄ画像データアルゴリズムに変換することができる。図１５Ａでは、第１の撮像装置（５０４ａ）及び第２の撮像装置（５０４ｂ）が、平行な光軸を有するように遠位先端（５００）に配設されていることが分かる。標的（５２０）に指向された場合、第１の撮像装置（５０４ａ）は、標的（５２０）の第１の視野（５２２）を獲得し、一方で、第２の撮像装置（５０４ｂ）は、標的（５２０）の第２の視野（５２６）を獲得する。
【0095】
２つの撮像装置（５０４ａ、５０４ｂ）は、（例えば、収束点に向かって独立して合焦又は配向するのではなく）平行な光軸を有するので、装置によって獲得された画像は、標的（５２０）の重なり部分を含むことができる。例えば、図１５Ａ及び図１５Ｂは、第１の視野（５２２）及び第２の視野（５２６）、並びに標的（５２０）が両方の撮像装置によって獲得される共有視野（５２４）を示す。図１５Ｂを参照すると、標的（５２０）は、共有視野（５２４）の実質的に中央に位置することが分かる。しかしながら、標的（５２０）は、第１の視野（５２２）の右側、及び第２の視野（５２６）の左側に位置決めされている。この視差、すなわち、標的（５２０）が第１の視野（５２２）から第２の視野（５２６）までオフセットされた、又は変位した距離を使用して、撮像装置と標的との間の距離、次いで、獲得された画像の画素又は一部分の深度を決定することができる。
【0096】
深度を決定するために視差を決定し、使用することは、受動三角測量の一例である。図１６は、本発明の一実施形態による、受動三角測量を画像データに適用するために行うことができる、一組の例示的な工程（６００）を示す。画像データは、第１の撮像装置（５０４ａ）及び第２の撮像装置（５０４ｂ）などの２つ又は３つ以上の静的に配設されたカメラによって標的を獲得することができ（ブロック６０２）、２つの異なる位置からの標的の２つの異なる画像をもたらす。１つの画像内の点（例えば、画像の１つ又は２つ以上の画素又は一部分）を選択することができ（ブロック６０４）、第２の画像の整合点（例えば、図９Ｂに例示するように、２つの画像の間で共有された、標的（５２０）などの標的の一部分）を探す。第１の画像内の点の画像分析を行って、第２の画像の全体の中の整合点を見出すことは、非効率的及び不正確の両方である場合があり、高い処理要件及び偽の肯定的整合の可能性の増加をもたらす。
【0097】
整合の速度及び精度を向上させるために、２つの画像と関連付けられたエピポーラ線の特性を決定することができる（ブロック６０６）。エピポーラ幾何は、整合について画像の全体を探すことなく画像の２つの整合画素又は点の間の視差又は距離を決定するために、平行な光軸を有するカメラによって獲得された２つの画像に適用することができる概念である。図１７及び図１９は、本発明の実施形態による、ステレオ撮像におけるエピポーラ幾何の使用を例示する線図を示す。
【0098】
図１７を参照すると、該図は、視差（例えば、画像の２つの整合点の間の距離）と深度（例えば、カメラから標的までの、又は標的の画素若しくは点までの距離）との関係を例示する線図（７００）を示し、第１のカメラ（７０４）及び第２のカメラ（７０６）は、同じレンズ面（７０３）に配設されたそれぞれのレンズを通して、平行な光軸（例えば、線Ｆ－Ｂ及びＧ－Ｄ）を有するように配設されている。この配設では、標的Ａ（７０２）は、各カメラの視野内にある。カメラの光軸間の距離は、ＢＣ＋ＣＤであり、三角形ＡＣＢ及びＢＦＥは、類似の特性を有するが、尺度が異なる。三角形幾何を図１７に適用すると、画像の２つの整合点又は画素間の変位は、カメラ光軸の間の距離に、レンズ面（７０３）から画像センサまでの距離を乗算し、それを標的（７０２）までの深度又は距離によって除算したもの、すなわち、変位＝（ＢＤ×ＢＦ）／ＡＣとして表すことができる。この式を代替的に使用して、変位又は視差を決定した後に、標的（７０２）までの距離、すなわちＡＣを決定又は解くことができる。
【0099】
画像全体を探すことなく画像の点又は画素間の変位を決定するために、図１８に例示するエピポーラ幾何の原理を適用することができる。カメラ（７０４、７０６）は、互いに対する固定された位置及び平行な光軸を有するので、第１の画像（７０８）及び第２の画像（７１０）を横断して走るエピポーラ線（７１２）を決定することができ、それに沿って、整合点又は画素を見出すことができる。その結果、第１の画像（７０８）上の点を第２の画像（７１０）上の点に整合させる場合、第２の画像（７１０）の全体ではなく、エピポーラ線（７１２）に沿っている第２の画像（７１０）の一部分を探すことだけしか必要としない。このように整合させることによって、画像全体にわたって点を整合させることができる速度及び精度を大幅に高めることができる。
【0100】
点を整合させた（ブロック６０８）後に、エピポーラ幾何を適用するか、又は別の整合プロセスを使用することによって、整合させた点の間の変位又は視差を決定することができ（ブロック６１０）、次いで、それを使用して、撮像装置と標的との間の深度又は距離を決定することができる（ブロック６１２）。深度を決定する（ブロック６１２）能力によって、一組の３Ｄ画像データ及び３Ｄモデルを構築することができる（ブロック６１４）。
【0101】
上述のように、本例の内視鏡（１００）は、三次元空間の遠位先端（１０６）のリアルタイム位置を示す信号を提供するように動作可能である、位置センサ（１１０）を含む。撮像装置（５０４ａ、５０４ｂ）が画像を獲得すると、撮像装置（５０４ａ、５０４ｂ）からの画像データを、位置センサ（１１０）からの位置データと共に格納することができ、よって、ＩＧＳナビゲーションシステム（１０）（及び／又はいくつかの他のコンピュータシステム）は、各獲得された画像を、三次元空間のその対応する位置と相関させることができる。これは、ＩＧＳナビゲーションシステム（１０）が、撮像装置（５０４ａ、５０４ｂ）によって獲得された画像を、１つ又は２つ以上の手術前に得られた画像（例えば、ＣＴ又はＭＲＩスキャン、３Ｄマップなど）と相関させることを可能にする。
【0102】
３Ｄ撮像をナビゲーションと一体化する方法
上で説明したように３Ｄ画像データを生成した後に、そのような画像データを使用して、ＩＧＳナビゲーション中に追加的な特徴を提供することができる。一例として、図１９は、本発明の一実施形態による、３Ｄモデル又は３Ｄ画像データをＩＧＳナビゲーションと一体化するために行うことができる、一組の工程（８００）のフローチャートを示す。適切な撮像モジュール（例えば、遠位先端（３００）の波形撮像装置（３０４）、遠位先端（５００）の一組のカメラ（５０４ａ、５０４ｂ））を使用して画像データを獲得し（ブロック８０２）、３Ｄモデル又は他の３Ｄ画像データセットを構築した（ブロック８０４）後に、そのようなデータを様々な方法で使用することができる。例えば、合成画像セットは、３Ｄ画像データを他の画像と組み合わせることによって、並びに位置及び配向などの位置データを使用して画像セットを互いに関連付けているデータ共に、作成すること（ブロック８０６）ができる。これは、例えば、複数の画像セットから手術部位の整合視点を同時に表示することができるように、構築された（ブロック８０４）３Ｄモデルを、一組の手術前に獲得されたＣＴ画像、処置中の位置被追跡２Ｄ内視鏡によって獲得された一組の２Ｄ画像、又は他の類似の情報と関連付けることを含むことができる。
上で説明したように３Ｄ画像データを生成した後に、そのような画像データを使用して、ＩＧＳナビゲーション中に追加的な特徴を提供することができる。一例として、図１９は、本発明の一実施形態による、３Ｄモデル又は３Ｄ画像データをＩＧＳナビゲーションと一体化するために行うことができる、一組の工程（８００）のフローチャートを示す。適切な撮像モジュール（例えば、遠位先端（３００）の波形撮像装置（３０４）、遠位先端（５００）の一組のカメラ（５０４ａ、５０４ｂ））を使用して画像データを獲得し（ブロック８０２）、３Ｄモデル又は他の３Ｄ画像データセットを構築した（ブロック８０４）後に、そのようなデータを様々な方法で使用することができる。例えば、合成画像セットは、３Ｄ画像データを他の画像と組み合わせることによって、並びに位置及び配向などの位置データを使用して画像セットを互いに関連付けているデータ共に、作成すること（ブロック８０６）ができる。これは、例えば、複数の画像セットから手術部位の整合視点を同時に表示することができるように、構築された（ブロック８０４）３Ｄモデルを、一組の手術前に獲得されたＣＴ画像、処置中の位置被追跡２Ｄ内視鏡によって獲得された一組の２Ｄ画像、又は他の類似の情報と関連付けることを含むことができる。
【0103】
別の例として、手術前に獲得されたＣＴスキャン又は他の３Ｄモデルを構築された（ブロック８０４）３Ｄモデルと比較する、手術前の比較を作成する（ブロック８０８）ことができる。これは、外科処置のための計画若しくは準備を支援するのに、又は１つ若しくは２つ以上の３Ｄモデルの精度及び構成を検証するのに有用であり得る。例えば、構築された（ブロック８０４）３Ｄモデルと一組のＣＴ画像との比較は、一方又は両方のモデルにおける失った又は誤った画像又は深度データを識別するのを、一方又は両方のモデルにおける誤って関連付けられた位置データを識別するのを、又は新しい３Ｄ画像データを生成するために再撮像することによって、又は位置データを補正するために再構成若しくは再調整することによって補正されることができる他の誤りを識別するのを補助することができる。
【0104】
別の例として、処置後のＣＴスキャン、３Ｄモデル、又は他の画像データを、構築された（ブロック８０４）３Ｄモデルと比較して、外科処置の成功を評価するのを支援する、手術後の比較を作成する（ブロック８１０）ことができる。手術前に構築された（ブロック８０４）３Ｄモデルは、３Ｄと比較して、手術後に構築された（ブロック８０４）モデルと比較することができ、又は外科部位の手術後のＣＴスキャン又は２Ｄ撮像と比較することができる。そのような比較データは、３Ｄ撮像において利用可能な異なる視点からの解剖学的構造を物理的に比較することによって、臨床医が外科処置の成功又は完全性を評価するのを支援することができる。
【0105】
単に更なる一例として、遠位先端（２００）又は遠位先端（３００）を用いて獲得された、又は生成された３Ｄ画像データは、以下の教示のうちの少なくとも一部に従って利用することができる：米国仮特許出願第６２／７８２，６０８号、発明の名称「３Ｄ Ｓｃａｎｎｉｎｇ ｏｆ Ｎａｓａｌ Ｔｒａｃｔ ｗｉｔｈ Ｄｅｆｌｅｃｔａｂｌｅ Ｅｎｄｏｓｃｏｐｅ」（２０１８年１２月２０日出願）（開示内容は参照により本明細書に組み込まれる）、米国特許第８，１９９，９８８号、発明の名称「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｃｏｍｂｉｎｉｎｇ ３Ｄ Ｄｅｎｔａｌ Ｓｃａｎｓ ｗｉｔｈ Ｏｔｈｅｒ ３Ｄ Ｄａｔａ Ｓｅｔｓ」（２０１２年６月１２日発行）（開示内容は参照により本明細書に組み込まれる）、及び／又は米国特許第８，８２１，１５８号、発明の名称「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍａｔｃｈｉｎｇ Ｄｉｇｉｔａｌ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｄｅｎｔａｌ Ｍｏｄｅｌｓ ｗｉｔｈ Ｄｉｇｉｔａｌ Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎａｌ Ｃｒａｎｉｏ－Ｆａｃｉａｌ ＣＡＴ Ｓｃａｎ Ｒｅｃｏｒｄｓ」（２０１４年９月２日発行）（開示内容は参照により本明細書に組み込まれる）。
【0106】
例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、様々な非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の出願におけるどの時点でも提示され得る、いずれの請求項の適用範囲をも限定することを目的としたものではないと理解されよう。一切の棄権を意図するものではない。以下の実施例は、単なる例示の目的で与えられるものにすぎない。本明細書の様々な教示は、他の多くの方法で構成及び適用が可能であると考えられる。また、いくつかの変形では、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者又は本発明者の利益の継承者により、後日、そうである旨が明示的に示されない限り、以下に言及される態様又は特徴のいずれも重要なものとして見なされるべきではない。以下に言及される特徴以外の更なる特徴を含む請求項が本出願において、又は本出願に関連する後の出願において示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものとして仮定されるべきではない。
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、様々な非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の出願におけるどの時点でも提示され得る、いずれの請求項の適用範囲をも限定することを目的としたものではないと理解されよう。一切の棄権を意図するものではない。以下の実施例は、単なる例示の目的で与えられるものにすぎない。本明細書の様々な教示は、他の多くの方法で構成及び適用が可能であると考えられる。また、いくつかの変形では、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者又は本発明者の利益の継承者により、後日、そうである旨が明示的に示されない限り、以下に言及される態様又は特徴のいずれも重要なものとして見なされるべきではない。以下に言及される特徴以外の更なる特徴を含む請求項が本出願において、又は本出願に関連する後の出願において示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものとして仮定されるべきではない。
【実施例1】
【0107】
三次元（３Ｄ）撮像システムであって、内視鏡であって、該内視鏡は、遠位先端を有するシャフトであって、患者の中へ挿入され、患者の手術部位に位置決めされるように適合された、シャフトと、遠位先端に近接し、使用中の内視鏡の位置に基づいて、一組の位置信号を生成するように構成されている位置センサと、遠位先端に位置決めされ、手術部位の一組の画像データを獲得するように動作可能である撮像モジュールであって、一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、を備える、内視鏡と、プロセッサであって、内視鏡と通信可能に結合され、該プロセッサは、内視鏡から一組の画像データ及び一組の位置信号を受信することと、一組の位置信号に基づいて、一組の視点データを決定することであって、一組の視点データは、一組の画像データの獲得中の内視鏡の位置を示す、決定することと、画像深度分析を行って、一組の画像データの一組の３Ｄ特性を決定することであって、一組の３Ｄ特性は、１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、一組の視点データを一組の３Ｄ画像データと関連付けることと、行うように構成されている、プロセッサと、を備える、三次元（３Ｄ）撮像システム。
【実施例2】
【0108】
撮像モジュールは、単一レンズと、単一レンズの第１の側と手術部位との間に位置決めされた開口プレートであって、単一レンズの光軸からオフセットされた１つ又は２つ以上の開口を備える、開口プレートと、１つ又は２つ以上の開口及び単一レンズを介して、手術部位から反射光を受信するように単一レンズの第２の側に位置決めされた画像ペインであって、反射光に基づいて、一組の画像データを生成するように構成されている、画像ペインと、を備える、実施例１に記載の３Ｄ撮像システム。
【実施例3】
【0109】
１つ又は２つ以上の開口は、開口プレートに位置決めされ、単一レンズの光軸からオフセットされた少なくとも２つの開口を備え、開口プレートは、レンズに対して固定された位置及び配向を有する、実施例２に記載の３Ｄ撮像システム。
【実施例4】
【0110】
１つ又は２つ以上の開口は、単一レンズの光軸からオフセットされた開口プレートに位置決めされた単一開口を備え、開口プレートは、画像獲得中に、レンズに対してその円形軸の周りを回転するように動作可能である、実施例２～３のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例5】
【0111】
プロセッサは、画像深度分析を行う場合、一組の画像データ内で、手術部位の２つ又は３つ以上のボケ画像を識別することと、手術部位の２つ又は３つ以上のボケ画像の間の空間関係を決定することと、２つ又は３つ以上のボケ画像の間の空間関係に基づいて、一組の画像データの画素の深度を決定することと、を行うように構成されている、実施例２～４のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例6】
【0112】
撮像モジュールは、２つ又は３つ以上のカメラを備え、２つ又は３つ以上のカメラの各々は、２つ又は３つ以上のカメラのうちの他のすべてのカメラに対して静的に位置決めされ、２つ又は３つ以上のカメラのうちの他のすべてのカメラと平行な光軸を有するように配向されている、実施例１～５のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例7】
【0113】
プロセッサは、画像深度分析を行う場合、一組の画像データの第１の画像の点を識別することであって、点は、２つ又は３つ以上のカメラのうちの第１のカメラによって捕獲された第１の画像内、及び２つ又は３つ以上のカメラのうちの第２のカメラによって捕獲された第２の画像内の両方に存在する、手術部位の一部分を含む、識別することと、第２の画像の点を識別することと、第１の画像から第２の画像までの点の変位を決定することと、変位に基づいて、点の画素の深度を決定することと、を行うように更に構成されている、実施例６に記載の３Ｄ撮像システム。
【実施例8】
【0114】
プロセッサは、第２の画像の点を識別する場合、第２のカメラに対する第１のカメラの静的位置に基づいて、第１の画像及び第２の画像のエピポーラ線を決定することと、エピポーラ線に沿った第２の画像の点を探し、同時に、エピポーラ線に沿っていない第２の画像の一部分を除外することと、を行うように更に構成されている、実施例７に記載の３Ｄ撮像システム。
【実施例9】
【0115】
プロセッサは、３Ｄ画像データ及び一組の視点データを画像誘導手術システムの座標系と関連付けることと、座標系との関連付けに基づいて、画像誘導手術ナビゲーション手順中に一組の３Ｄ画像データを表示することと、を行うように更に構成されている、実施例１～８のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例10】
【0116】
位置センサは、使用中の内視鏡の位置及び配向に基づいて、一組の位置信号を生成するように構成され、一組の視点データは、一組の画像データの獲得中の、内視鏡の位置及び配向を示し、プロセッサは、一組の３Ｄ画像データ及び一組の視点データを画像誘導手術ナビゲーションシステムに提供するように更に構成されている、実施例１～９のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例11】
【0117】
プロセッサは、手術部位に対する視点を定義する、ユーザからの入力を受信することと、一組の視点データ内の視点を識別することに基づいて、視点から手術部位を示す一組の３Ｄ画像データの第１の部分を決定することと、一組の３Ｄ画像データの第１の部分をディスプレイに表示することと、を行うように更に構成されている、実施例１～１０のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例12】
【0118】
プロセッサは、手術部位の間接３Ｄスキャン、及び間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、一組のスキャン視点データ内の視点を識別することに基づいて、視点から手術部位を示す間接３Ｄスキャンの第２の部分を決定することと、一組の３Ｄ画像データの第１の部分及び間接３Ｄスキャンの第２の部分をディスプレイに同時に表示することと、を行うように更に構成されている、実施例１１に記載の３Ｄ撮像システム。
【実施例13】
【0119】
手術部位の間接３Ｄスキャンは、手術前に獲得された画像データを含み、一組の３Ｄ画像データは、手術後に獲得された画像データを含む、実施例１２に記載の３Ｄ撮像システム。
【実施例14】
【0120】
手術部位の間接３Ｄスキャンは、手術前に獲得された画像データを含み、一組の３Ｄ画像データは、手術前に獲得された画像データを含み、プロセッサは、ユーザからスキャン調整入力を受信することと、スキャン調整入力に基づいて、手術部位の間接３Ｄスキャンと一組のスキャン視点データとの関連付けを再構成することと、を行うように更に構成されている、実施例１２～１３のいずれか一項又は二項以上に記載の３Ｄ撮像システム。
【実施例15】
【0121】
三次元（３Ｄ）撮像のための方法であって、内視鏡の遠位先端を患者の手術部位に展開することであって、遠位先端は、手術部位の画像データを獲得するように動作可能な撮像モジュールであって、獲得された画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、遠位先端に近接し、内視鏡の位置に基づいて位置信号を生成するように構成された位置センサと、を備える、展開することと、撮像モジュールから一組の画像データを、及び位置センサから一組の位置信号を受信することと、一組の位置信号に基づいて、一組の視点データを決定することであって、一組の視点データは、一組の画像データの獲得中の内視鏡の位置を示す、決定することと、画像深度分析を行って、一組の画像データの一組の３Ｄ特性を決定することであって、３Ｄ特性のセットは、一組の画像データの１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、一組の画像データの１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、一組の視点データを一組の３Ｄ画像データと関連付けることと、を含む、方法。
【実施例16】
【0122】
一組の３Ｄ画像データ及び一組の視点データを、画像誘導手術システムの座標系と関連付けることと、座標系との関連付けに基づいて、画像誘導手術ナビゲーション手順中に一組の３Ｄ画像データを表示することと、を更に含む、実施例１５に記載の方法。
【実施例17】
【0123】
手術部位に対する視点を定義する、ユーザからの入力を受信することと、一組の視点データ内の視点を識別することに基づいて、視点から手術部位を示す一組の３Ｄ画像データの第１の部分を決定することと、一組の３Ｄ画像データの第１の部分をディスプレイに表示することと、を更に含む、実施例１５～１６のいずれか一項又は二項以上に記載の方法。
【実施例18】
【0124】
手術部位の間接３Ｄスキャン、及び間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、一組のスキャン視点データ内の視点を識別することに基づいて、視点から手術部位を示す間接３Ｄスキャンの第２の部分を決定することと、一組の３Ｄ画像データの第１の部分及び間接３Ｄスキャンの第２の部分をディスプレイに同時に表示することと、を更に含む、実施例１７に記載の方法。
【実施例19】
【0125】
ユーザからスキャン調整入力を受信することと、スキャン調整入力に基づいて、手術部位の間接３Ｄスキャンと一組のスキャン視点データとの関連付けを再構成することと、を更に含み、手術部位の間接３Ｄスキャンが、手術前に獲得された画像データを含み、一組の３Ｄ画像データは、手術前に獲得された画像データを含む、実施例１８に記載の方法。
【実施例20】
【0126】
プロセッサ、メモリ、及びディスプレイを備える画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、プロセッサは、被追跡内視鏡によって生成された一組の画像データを受信することであって、一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、受信することと、被追跡内視鏡によって生成された一組の視点データを受信することであって、一組の視点データは、一組の画像データの獲得中の被追跡内視鏡の位置を示す、受信することと、画像深度分析を行って、一組の画像データの一組の３Ｄ特性を決定することであって、一組の３Ｄ特性は、１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、１つ又は２つ以上の２Ｄ画像及び一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、一組の視点データを一組の３Ｄ画像データと関連付けることと、選択された視点を含む一組の視点データに基づいて、選択された視点から一組の３Ｄ画像データをディスプレイに表示させることと、行うように構成されている、ＩＧＳナビゲーションシステム。
【実施例21】
【0127】
システムであって、患者の器官の腔に挿入されるように構成された医療用プローブと、センサ座標系で動作する医療用プローブの位置及び方向センサと、センサ座標系で動作する医療用プローブの遠位縁部のカメラと、プロセッサであって、画像座標系で動作する撮像システムから、開放空間及び器官組織を含む腔の三次元画像を受信することと、医療用プローブから、腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、プローブのカメラから、腔内部のそれぞれの視覚化された位置を受信することと、画像座標系をセンサ座標系に位置合わせして、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別することと、識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値を、開放空間に対応するように更新することと、を行うように構成されたプロセッサと、を備える、システム。
【実施例22】
【0128】
撮像システムは、コンピュータ断層撮影スキャナを備える、実施例２１に記載のシステム。
【実施例23】
【0129】
位置及び方向センサは、磁場センサを備える、実施例２１に記載のシステム。
【実施例24】
【0130】
プロセッサは、密度値の視覚効果の間の対応関係を形成するように構成され、所与の視覚効果は、開放空間を示す所与の密度値に対応する、実施例２１～２３のいずれかに記載のシステム。
【実施例25】
【0131】
視覚効果は、色、陰影、及びパターンからなる群から選択される、実施例２４に記載のシステム。
【実施例26】
【0132】
プロセッサは、視覚効果を使用してディスプレイに三次元画像を提示するように構成されている、実施例２４に記載のシステム。
【実施例27】
【0133】
所与の視覚効果は、第１の所与の視覚効果を含み、密度値を更新する前に、プロセッサは、第１の所与の視覚効果とは異なる第２の所与の視覚効果を使用して、識別された１つ又は２つ以上のボクセルを提示することによって、三次元画像を提示するように構成されている、実施例２６に記載のシステム。
【実施例28】
【0134】
密度値を更新した時点で、プロセッサは、第１の所与の視覚効果を使用して、識別された１つ又は２つ以上のボクセルを提示することによって、三次元画像を提示するように構成されている、実施例２７に記載のシステム。
【実施例29】
【0135】
プロセッサは、多視点三角測量モデルを使用して、カメラからの位置の距離を視覚信号から抽出するように構成されている、実施例２８に記載のシステム。
【実施例30】
【0136】
方法であって、画像座標系で動作する撮像システムから、開放空間及び器官組織を含む患者の器官の腔の三次元画像を受信することと、センサ座標系で動作して、腔の中へ挿入される、位置及び方向センサ並びにカメラを有する医療用プローブから、腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号、並びに腔内部のそれぞれの視覚化された位置、を受信することと、画像座標系をセンサ座標系に位置合わせして、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別することと、識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値を、開放空間に対応するように更新することと、を含む、方法。
【実施例31】
【0137】
コンピュータソフトウェア製品であって、プローブと連動して動作し、プローブは、患者の器官の腔の中へ挿入するように構成され、センサ座標系で動作する位置及び方向センサと、センサ座標系で動作する医療用プローブの遠位縁部のカメラと、を含み、製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を備え、該命令は、コンピュータによって読み出された場合、コンピュータに、画像座標系で動作する撮像システムから、開放空間及び器官組織を含む腔の三次元画像を受信することと、医療用プローブから、腔内部の医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、腔の壁のそれぞれの視覚化された位置を受信することと、画像座標系をセンサ座標系に位置合わせして、視覚化された位置で三次元画像の１つ又は２つ以上のボクセルを識別することと、識別されたボクセルが、受信された三次元画像に、開放空間に対応しない密度値を有する場合、識別されたボクセルの密度値を、開放空間に対応するように更新することと、を行わせる、コンピュータソフトウェア製品。
【0138】
その他
本明細書の実施形態は、古いＣＴ画像を補正するために適用された、カメラによる磁気Ｐ＆Ｄ検知及び光学的視覚化を使用するプロセッサを記載しているが、他のタイプの位置感知及び視覚化を使用して、他のタイプの医療画像を補正することは、本発明の趣旨及び範囲内にあると見なされる。例えば、超音波視覚化は、カメラの代わりに超音波トランスデューサと共に使用することができる。加えて、本明細書に記載する実施形態は、主に、ＥＮＴ処置に対処するものであるが、本明細書に記載されている方法及びシステムはまた、身体の他の器官の腔の解剖学的マッピングなどの他の用途にも使用することができる。
本明細書の実施形態は、古いＣＴ画像を補正するために適用された、カメラによる磁気Ｐ＆Ｄ検知及び光学的視覚化を使用するプロセッサを記載しているが、他のタイプの位置感知及び視覚化を使用して、他のタイプの医療画像を補正することは、本発明の趣旨及び範囲内にあると見なされる。例えば、超音波視覚化は、カメラの代わりに超音波トランスデューサと共に使用することができる。加えて、本明細書に記載する実施形態は、主に、ＥＮＴ処置に対処するものであるが、本明細書に記載されている方法及びシステムはまた、身体の他の器官の腔の解剖学的マッピングなどの他の用途にも使用することができる。
【0139】
本明細書に記載の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上を、本明細書に記載の他の教示、表現、実施形態、実施例などのうちのいずれか１つ又は２つ以上と組み合わせることができる点が理解されるべきである。したがって、上記の教示、表現、実施形態、実施例などは、互いに対して独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。
【0140】
本明細書に参照により組み込まれると言及されるいかなる特許、公報、又はその他の開示内容も、全体的に又は部分的に、組み込まれる内容が現行の定義、見解、又は本開示に記載されるその他の開示内容とあくまで矛盾しない範囲でのみ本明細書に組み込まれると理解されるべきである。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
【0141】
本明細書に開示される装置の変形形態は、１回の使用後に処分されるように設計するか又は複数回使用されるように設計することができる。変形形態は、いずれか又は両方の場合においても、少なくとも１回の使用後に再利用のために再調整され得る。再調整は、デバイスの分解工程、それに続く特定の部品の洗浄又は交換工程、及びその後の再組み立て工程の、任意の組み合わせを含み得る。特に、装置の変形形態は、分解することができ、かつ、装置の任意の数の特定の部品若しくは部分を、任意の組み合わせにおいて選択的に交換又は取り外してもよい。特定の部分を洗浄時及び／又は交換時に、装置の変形形態は、再調整用の施設において、又は外科処置の直前に外科チームによってのどちらかで、その後の使用のために再組み立てすることができる。当業者であれば、デバイスの再調整において、分解、洗浄／交換、及び再組み立てのための様々な技術を利用することができることを理解するであろう。かかる技術の使用、及び結果として得られる再調整されたデバイスは、すべて本発明の範囲内にある。
【0142】
単に一例として、本明細書に記載の変形形態は、手術前に処理することができる。まず、新品又は使用済みの器具を入手し、必要に応じて洗浄することができる。次いで器具を滅菌することができる。１つの滅菌技術では、器具は、プラスチックバッグ又はＴＹＶＥＫバッグなど、閉鎖され密封された容器に入れられる。次いで、容器及び器具を、γ線、Ｘ線、又は高エネルギー電子などの容器を透過し得る放射線野に置くことができる。放射線は、器具上及び容器内の細菌を死滅させることができる。この後、滅菌済みの器具を滅菌容器内で保管することができる。密封容器は、手術設備で開封されるまで器具を滅菌状態に保つことができる。β線若しくはγ線、エチレンオキシド、又は水蒸気が挙げられるがこれらに限定されない、当該技術分野で既知のその他の任意の技術を用いて、デバイスを滅菌してもよい。
【0143】
本発明の種々の変形形態について図示し説明したが、本明細書で説明した方法及びシステムの更なる応用が、当業者による適切な改変形態により、本発明の範囲から逸脱することなく実現可能である。そのような可能な改変のうちのいくつかについて述べたが、他の改変も当業者には明らかになるであろう。例えば、上述の実施例、変形形態、幾何形状、材料、寸法、比率、工程などは例示的なものであって、必須ではない。したがって、本発明の範囲は、以下の特許請求の範囲の観点から考慮されるべきものであり、本明細書及び図面に示され記載された構造及び動作の細部に限定されないものとして理解される。
【0144】
〔実施の態様〕
（１） システムであって、
患者の器官の腔に挿入されるように構成された医療用プローブと、
センサ座標系で動作する前記医療用プローブの位置及び方向センサと、
センサ座標系で動作する前記医療用プローブの遠位縁部のカメラと、
プロセッサであって、
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む前記腔の三次元画像を受信することと、
前記医療用プローブから、前記腔内部の前記医療用プローブの前記遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、
前記プローブの前記カメラから、前記腔内部のそれぞれの視覚化された位置を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、視覚化された前記位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、を行うように構成されたプロセッサと、を備える、システム。
（２） 前記撮像システムは、コンピュータ断層撮影スキャナを備える、実施態様１に記載のシステム。
（３） 前記位置及び方向センサは、磁場センサを備える、実施態様１に記載のシステム。
（４） 前記プロセッサは、前記密度値の視覚効果の間の対応関係を形成するように構成され、所与の視覚効果は、前記開放空間を示す所与の密度値に対応する、実施態様１～３のいずれかに記載のシステム。
（５） 前記視覚効果は、色、陰影、及びパターンからなる群から選択される、実施態様４に記載のシステム。
（１） システムであって、
患者の器官の腔に挿入されるように構成された医療用プローブと、
センサ座標系で動作する前記医療用プローブの位置及び方向センサと、
センサ座標系で動作する前記医療用プローブの遠位縁部のカメラと、
プロセッサであって、
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む前記腔の三次元画像を受信することと、
前記医療用プローブから、前記腔内部の前記医療用プローブの前記遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、
前記プローブの前記カメラから、前記腔内部のそれぞれの視覚化された位置を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、視覚化された前記位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、を行うように構成されたプロセッサと、を備える、システム。
（２） 前記撮像システムは、コンピュータ断層撮影スキャナを備える、実施態様１に記載のシステム。
（３） 前記位置及び方向センサは、磁場センサを備える、実施態様１に記載のシステム。
（４） 前記プロセッサは、前記密度値の視覚効果の間の対応関係を形成するように構成され、所与の視覚効果は、前記開放空間を示す所与の密度値に対応する、実施態様１～３のいずれかに記載のシステム。
（５） 前記視覚効果は、色、陰影、及びパターンからなる群から選択される、実施態様４に記載のシステム。
【0145】
（６） 前記プロセッサは、前記視覚効果を使用してディスプレイに前記三次元画像を提示するように構成されている、実施態様４に記載のシステム。
（７） 前記所与の視覚効果は、第１の所与の視覚効果を含み、前記密度値を更新する前に、前記プロセッサは、前記第１の所与の視覚効果とは異なる第２の所与の視覚効果を使用して、識別された前記１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、実施態様６に記載のシステム。
（８） 前記密度値を更新した時点で、前記プロセッサは、前記第１の所与の視覚効果を使用して、前記識別された１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、実施態様７に記載のシステム。
（９） 前記プロセッサは、多視点三角測量モデルを使用して、前記カメラからの位置の距離を前記視覚信号から抽出するように構成されている、実施態様４に記載のシステム。
（１０） 方法であって、
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む患者の器官の腔の三次元画像を受信することと、
センサ座標系で動作して、前記腔の中へ挿入される、位置及び方向センサ並びにカメラを有する医療用プローブから、
前記腔内部の前記医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号、並びに
前記腔内部のそれぞれの視覚化された位置、を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、視覚化された前記位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、
を含む、方法。
（７） 前記所与の視覚効果は、第１の所与の視覚効果を含み、前記密度値を更新する前に、前記プロセッサは、前記第１の所与の視覚効果とは異なる第２の所与の視覚効果を使用して、識別された前記１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、実施態様６に記載のシステム。
（８） 前記密度値を更新した時点で、前記プロセッサは、前記第１の所与の視覚効果を使用して、前記識別された１つ又は２つ以上のボクセルを提示することによって、前記三次元画像を提示するように構成されている、実施態様７に記載のシステム。
（９） 前記プロセッサは、多視点三角測量モデルを使用して、前記カメラからの位置の距離を前記視覚信号から抽出するように構成されている、実施態様４に記載のシステム。
（１０） 方法であって、
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む患者の器官の腔の三次元画像を受信することと、
センサ座標系で動作して、前記腔の中へ挿入される、位置及び方向センサ並びにカメラを有する医療用プローブから、
前記腔内部の前記医療用プローブの遠位縁部の位置及びそれぞれの方向を示す信号、並びに
前記腔内部のそれぞれの視覚化された位置、を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、視覚化された前記位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、
を含む、方法。
【0146】
（１１） コンピュータソフトウェア製品であって、プローブと連動して動作し、前記プローブは、患者の器官の腔の中へ挿入するように構成され、センサ座標系で動作する位置及び方向センサと、センサ座標系で動作する前記医療用プローブの遠位縁部のカメラと、を含み、前記製品は、プログラム命令が格納された非一時的コンピュータ可読媒体を備え、該命令は、コンピュータによって読み出された場合、前記コンピュータに、
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む前記腔の三次元画像を受信することと、
前記医療用プローブから、前記腔内部の前記医療用プローブの前記遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、
前記腔の壁のそれぞれの視覚化された位置を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、前記視覚化された位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、を行わせる、
コンピュータソフトウェア製品。
（１２） 三次元（３Ｄ）撮像システムであって、
（ａ）内視鏡であって、前記内視鏡は、
（ｉ）遠位先端を有するシャフトであって、患者の中へ挿入され、前記患者の手術部位に位置決めされるように適合された、シャフトと、
（ｉｉ）前記遠位先端に近接し、使用中の前記内視鏡の位置に基づいて、一組の位置信号を生成するように構成されている位置センサと、
（ｉｉｉ）前記遠位先端に位置決めされ、前記手術部位の一組の画像データを獲得するように動作可能である撮像モジュールであって、前記一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、を備える、内視鏡と、
（ｂ）プロセッサであって、前記内視鏡と通信可能に結合され、前記プロセッサは、
（ｉ）前記内視鏡から前記一組の画像データ及び前記一組の位置信号を受信することと、
（ｉｉ）前記一組の位置信号に基づいて、一組の視点データを決定することであって、前記一組の視点データは、前記１つ又は２つ以上の２Ｄ画像の各々の獲得中の前記内視鏡の前記位置を示す、決定することと、
（ｉｉｉ）画像深度分析を行って、前記１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、画素の深度を含む、決定することと、
（ｉｖ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｖ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、を行うように構成され、
前記画像深度分析は、
（ｉ）前記１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）前記１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる、受動ステレオビジョン技術であって、前記一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、プロセッサと、を備える、３Ｄ撮像システム。
（１３） 前記撮像モジュールは、
（ｉ）単一レンズと、
（ｉｉ）前記単一レンズの第１の側と前記手術部位との間に位置決めされた開口プレートであって、前記単一レンズの光軸からオフセットされた１つ又は２つ以上の開口を備える、開口プレートと、
（ｉｉｉ）前記１つ又は２つ以上の開口及び前記単一レンズを介して、前記手術部位から反射光を受信するように前記単一レンズの第２の側に位置決めされた画像ペインであって、前記反射光に基づいて、前記一組の画像データを生成するように構成されている、画像ペインと、を備える、実施態様１２に記載の３Ｄ撮像システム。
（１４） （ｉ）前記１つ又は２つ以上の開口は、前記開口プレートに位置決めされ、前記単一レンズの前記光軸からオフセットされた少なくとも２つの開口を備え、
（ｉｉ）前記開口プレートは、前記レンズに対して固定された位置及び配向を有する、実施態様１３に記載の３Ｄ撮像システム。
（１５） （ｉ）前記１つ又は２つ以上の開口は、前記単一レンズの前記光軸からオフセットされた前記開口プレートに位置決めされた単一開口を備え、
（ｉｉ）前記開口プレートは、画像獲得中に、前記レンズに対してその円形軸の周りを回転するように動作可能である、実施態様１３に記載の３Ｄ撮像システム。
画像座標系で動作する撮像システムから、開放空間及び器官組織を含む前記腔の三次元画像を受信することと、
前記医療用プローブから、前記腔内部の前記医療用プローブの前記遠位縁部の位置及びそれぞれの方向を示す信号を受信することと、
前記腔の壁のそれぞれの視覚化された位置を受信することと、
前記画像座標系を前記センサ座標系に位置合わせして、前記視覚化された位置で前記三次元画像の１つ又は２つ以上のボクセルを識別することと、
識別された前記ボクセルが、受信された前記三次元画像に、前記開放空間に対応しない密度値を有する場合、前記識別されたボクセルの前記密度値を、前記開放空間に対応するように更新することと、を行わせる、
コンピュータソフトウェア製品。
（１２） 三次元（３Ｄ）撮像システムであって、
（ａ）内視鏡であって、前記内視鏡は、
（ｉ）遠位先端を有するシャフトであって、患者の中へ挿入され、前記患者の手術部位に位置決めされるように適合された、シャフトと、
（ｉｉ）前記遠位先端に近接し、使用中の前記内視鏡の位置に基づいて、一組の位置信号を生成するように構成されている位置センサと、
（ｉｉｉ）前記遠位先端に位置決めされ、前記手術部位の一組の画像データを獲得するように動作可能である撮像モジュールであって、前記一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、を備える、内視鏡と、
（ｂ）プロセッサであって、前記内視鏡と通信可能に結合され、前記プロセッサは、
（ｉ）前記内視鏡から前記一組の画像データ及び前記一組の位置信号を受信することと、
（ｉｉ）前記一組の位置信号に基づいて、一組の視点データを決定することであって、前記一組の視点データは、前記１つ又は２つ以上の２Ｄ画像の各々の獲得中の前記内視鏡の前記位置を示す、決定することと、
（ｉｉｉ）画像深度分析を行って、前記１つ又は２つ以上の２Ｄ画像の各々の一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、画素の深度を含む、決定することと、
（ｉｖ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｖ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、を行うように構成され、
前記画像深度分析は、
（ｉ）前記１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）前記１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる、受動ステレオビジョン技術であって、前記一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、プロセッサと、を備える、３Ｄ撮像システム。
（１３） 前記撮像モジュールは、
（ｉ）単一レンズと、
（ｉｉ）前記単一レンズの第１の側と前記手術部位との間に位置決めされた開口プレートであって、前記単一レンズの光軸からオフセットされた１つ又は２つ以上の開口を備える、開口プレートと、
（ｉｉｉ）前記１つ又は２つ以上の開口及び前記単一レンズを介して、前記手術部位から反射光を受信するように前記単一レンズの第２の側に位置決めされた画像ペインであって、前記反射光に基づいて、前記一組の画像データを生成するように構成されている、画像ペインと、を備える、実施態様１２に記載の３Ｄ撮像システム。
（１４） （ｉ）前記１つ又は２つ以上の開口は、前記開口プレートに位置決めされ、前記単一レンズの前記光軸からオフセットされた少なくとも２つの開口を備え、
（ｉｉ）前記開口プレートは、前記レンズに対して固定された位置及び配向を有する、実施態様１３に記載の３Ｄ撮像システム。
（１５） （ｉ）前記１つ又は２つ以上の開口は、前記単一レンズの前記光軸からオフセットされた前記開口プレートに位置決めされた単一開口を備え、
（ｉｉ）前記開口プレートは、画像獲得中に、前記レンズに対してその円形軸の周りを回転するように動作可能である、実施態様１３に記載の３Ｄ撮像システム。
【0147】
（１６） 前記プロセッサは、前記画像深度分析を行う場合、
（ｉ）前記一組の画像データ内で、前記手術部位の２つ又は３つ以上のボケ画像を識別することと、
（ｉｉ）前記手術部位の前記２つ又は３つ以上のボケ画像の間の空間関係を決定することと、
（ｉｉｉ）前記２つ又は３つ以上のボケ画像の間の前記空間関係に基づいて、前記一組の画像データの前記画素の深度を決定することと、を行うように構成されている、実施態様１３に記載の３Ｄ撮像システム。
（１７） 前記撮像モジュールは、２つ又は３つ以上のカメラを備え、前記２つ又は３つ以上のカメラの各々は、
（ｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラに対して静的に位置決めされ、
（ｉｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラと平行な光軸を有するように配向されている、実施態様１２に記載の３Ｄ撮像システム。
（１８） 前記プロセッサは、前記画像深度分析を行う場合、
（ｉ）前記一組の画像データの第１の画像の点を識別することであって、前記点は、前記２つ又は３つ以上のカメラのうちの第１のカメラによって捕獲された前記第１の画像内、及び前記２つ又は３つ以上のカメラのうちの第２のカメラによって捕獲された第２の画像内の両方に存在する、前記手術部位の一部分を含む、識別することと、
（ｉｉ）前記第２の画像の前記点を識別することと、
（ｉｉｉ）前記第１の画像から前記第２の画像までの前記点の変位を決定することと、
（ｉｖ）前記変位に基づいて、前記点の前記画素の深度を決定することと、を行うように更に構成されている、実施態様１７に記載の３Ｄ撮像システム。
（１９） 前記プロセッサは、前記第２の画像の前記点を識別する場合、
（ｉ）前記第２のカメラに対する前記第１のカメラの前記静的位置に基づいて、前記第１の画像及び前記第２の画像のエピポーラ線を決定することと、
（ｉｉ）前記エピポーラ線に沿った前記第２の画像の前記点を探し、同時に、前記エピポーラ線に沿っていない前記第２の画像の一部分を除外することと、を行うように更に構成されている、実施態様１８に記載の３Ｄ撮像システム。
（２０） 前記プロセッサは、
（ｉ）前記一組の３Ｄ画像データ及び前記一組の視点データを画像誘導手術システムの座標系と関連付けることと、
（ｉｉ）前記座標系との前記関連付けに基づいて、画像誘導手術ナビゲーション手順中に前記一組の３Ｄ画像データを表示することと、を行うように更に構成されている、実施態様１２～１９のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（ｉ）前記一組の画像データ内で、前記手術部位の２つ又は３つ以上のボケ画像を識別することと、
（ｉｉ）前記手術部位の前記２つ又は３つ以上のボケ画像の間の空間関係を決定することと、
（ｉｉｉ）前記２つ又は３つ以上のボケ画像の間の前記空間関係に基づいて、前記一組の画像データの前記画素の深度を決定することと、を行うように構成されている、実施態様１３に記載の３Ｄ撮像システム。
（１７） 前記撮像モジュールは、２つ又は３つ以上のカメラを備え、前記２つ又は３つ以上のカメラの各々は、
（ｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラに対して静的に位置決めされ、
（ｉｉ）前記２つ又は３つ以上のカメラのうちの他のすべてのカメラと平行な光軸を有するように配向されている、実施態様１２に記載の３Ｄ撮像システム。
（１８） 前記プロセッサは、前記画像深度分析を行う場合、
（ｉ）前記一組の画像データの第１の画像の点を識別することであって、前記点は、前記２つ又は３つ以上のカメラのうちの第１のカメラによって捕獲された前記第１の画像内、及び前記２つ又は３つ以上のカメラのうちの第２のカメラによって捕獲された第２の画像内の両方に存在する、前記手術部位の一部分を含む、識別することと、
（ｉｉ）前記第２の画像の前記点を識別することと、
（ｉｉｉ）前記第１の画像から前記第２の画像までの前記点の変位を決定することと、
（ｉｖ）前記変位に基づいて、前記点の前記画素の深度を決定することと、を行うように更に構成されている、実施態様１７に記載の３Ｄ撮像システム。
（１９） 前記プロセッサは、前記第２の画像の前記点を識別する場合、
（ｉ）前記第２のカメラに対する前記第１のカメラの前記静的位置に基づいて、前記第１の画像及び前記第２の画像のエピポーラ線を決定することと、
（ｉｉ）前記エピポーラ線に沿った前記第２の画像の前記点を探し、同時に、前記エピポーラ線に沿っていない前記第２の画像の一部分を除外することと、を行うように更に構成されている、実施態様１８に記載の３Ｄ撮像システム。
（２０） 前記プロセッサは、
（ｉ）前記一組の３Ｄ画像データ及び前記一組の視点データを画像誘導手術システムの座標系と関連付けることと、
（ｉｉ）前記座標系との前記関連付けに基づいて、画像誘導手術ナビゲーション手順中に前記一組の３Ｄ画像データを表示することと、を行うように更に構成されている、実施態様１２～１９のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
【0148】
（２１） （ｉ）前記位置センサは、使用中の前記内視鏡の前記位置及び配向に基づいて、前記一組の位置信号を生成するように構成され、
（ｉｉ）前記一組の視点データは、前記一組の画像データの獲得中の、前記内視鏡の前記位置及び配向を示し、
（ｉｉｉ）前記プロセッサは、前記一組の３Ｄ画像データ及び前記一組の視点データを画像誘導手術ナビゲーションシステムに提供するように更に構成されている、実施態様１２～２０のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（２２） 前記プロセッサは、
（ｉ）前記手術部位に対する視点を定義する、ユーザからの入力を受信することと、
（ｉｉ）前記一組の視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記一組の３Ｄ画像データの第１の部分を決定することと、
（ｉｉｉ）前記一組の３Ｄ画像データの前記第１の部分をディスプレイに表示することと、を行うように更に構成されている、実施態様１２～２１のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（２３） 前記プロセッサは、
（ｉ）前記手術部位の間接３Ｄスキャン、及び前記間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、
（ｉｉ）前記一組のスキャン視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記間接３Ｄスキャンの第２の部分を決定することと、
（ｉｉｉ）前記一組の３Ｄ画像データの前記第１の部分及び前記間接３Ｄスキャンの前記第２の部分を前記ディスプレイに同時に表示することと、を行うように更に構成されている、実施態様２２に記載の３Ｄ撮像システム。
（２４） （ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術後に獲得された画像データを含む、実施態様２３に記載の３Ｄ撮像システム。
（２５） （ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術前に獲得された画像データを含み、
（ｉｉｉ）前記プロセッサは、
（Ａ）ユーザからスキャン調整入力を受信することと、
（Ｂ）前記スキャン調整入力に基づいて、前記手術部位の前記間接３Ｄスキャンと前記一組のスキャン視点データとの前記関連付けを再構成することと、を行うように更に構成されている、実施態様２３～２４のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（ｉｉ）前記一組の視点データは、前記一組の画像データの獲得中の、前記内視鏡の前記位置及び配向を示し、
（ｉｉｉ）前記プロセッサは、前記一組の３Ｄ画像データ及び前記一組の視点データを画像誘導手術ナビゲーションシステムに提供するように更に構成されている、実施態様１２～２０のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（２２） 前記プロセッサは、
（ｉ）前記手術部位に対する視点を定義する、ユーザからの入力を受信することと、
（ｉｉ）前記一組の視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記一組の３Ｄ画像データの第１の部分を決定することと、
（ｉｉｉ）前記一組の３Ｄ画像データの前記第１の部分をディスプレイに表示することと、を行うように更に構成されている、実施態様１２～２１のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
（２３） 前記プロセッサは、
（ｉ）前記手術部位の間接３Ｄスキャン、及び前記間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、
（ｉｉ）前記一組のスキャン視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記間接３Ｄスキャンの第２の部分を決定することと、
（ｉｉｉ）前記一組の３Ｄ画像データの前記第１の部分及び前記間接３Ｄスキャンの前記第２の部分を前記ディスプレイに同時に表示することと、を行うように更に構成されている、実施態様２２に記載の３Ｄ撮像システム。
（２４） （ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術後に獲得された画像データを含む、実施態様２３に記載の３Ｄ撮像システム。
（２５） （ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術前に獲得された画像データを含み、
（ｉｉｉ）前記プロセッサは、
（Ａ）ユーザからスキャン調整入力を受信することと、
（Ｂ）前記スキャン調整入力に基づいて、前記手術部位の前記間接３Ｄスキャンと前記一組のスキャン視点データとの前記関連付けを再構成することと、を行うように更に構成されている、実施態様２３～２４のいずれか一つ又は二つ以上に記載の３Ｄ撮像システム。
【0149】
（２６） 三次元（３Ｄ）撮像のための方法であって、
（ａ）内視鏡の遠位先端を患者の手術部位に展開することであって、前記遠位先端は、
（ｉ）前記手術部位の画像データを獲得するように動作可能な撮像モジュールであって、獲得された画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、
（ｉｉ）前記遠位先端に近接し、前記内視鏡の前記位置に基づいて位置信号を生成するように構成された位置センサと、を備える、展開することと、
（ｂ）前記撮像モジュールから一組の画像データを、及び前記位置センサから一組の位置信号を受信することと、
（ｃ）前記一組の位置信号に基づいて、一組の視点データを決定することであって、前記一組の視点データは、前記１つ又は２つ以上の２Ｄ画像の各々の獲得中の前記内視鏡の前記位置を示す、決定することと、
（ｄ）前記１つ又は２つ以上の２Ｄ画像の各々について、画像深度分析を行って、一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、画素の深度を含む、決定することと、
（ｅ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｆ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、を含み、
前記画像深度分析は、
（ｉ）前記１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）前記１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる受動ステレオビジョン技術であって、前記一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、方法。
（２７） （ａ）前記一組の３Ｄ画像データ及び前記一組の視点データを、画像誘導手術システムの座標系と関連付けることと、
（ｂ）前記座標系との前記関連付けに基づいて、画像誘導手術ナビゲーション手順中に前記一組の３Ｄ画像データを表示することと、を更に含む、実施態様２６に記載の方法。
（２８） （ａ）前記手術部位に対する視点を定義する、ユーザからの入力を受信することと、
（ｂ）前記一組の視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記一組の３Ｄ画像データの第１の部分を決定することと、
（ｃ）前記一組の３Ｄ画像データの前記第１の部分をディスプレイに表示することと、を更に含む、実施態様２７に記載の方法。
（２９） （ａ）前記手術部位の間接３Ｄスキャン、及び前記間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、
（ｂ）前記一組のスキャン視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記間接３Ｄスキャンの第２の部分を決定することと、
（ｃ）前記一組の３Ｄ画像データの前記第１の部分及び前記間接３Ｄスキャンの前記第２の部分を前記ディスプレイに同時に表示することと、を更に含む、実施態様２８に記載の方法。
（３０） （ａ）ユーザからスキャン調整入力を受信することと、
（ｂ）前記スキャン調整入力に基づいて、前記手術部位の前記間接３Ｄスキャンと前記一組のスキャン視点データとの前記関連付けを再構成することと、を更に含み、
（ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術前に獲得された画像データを含む、実施態様２９に記載の方法。
（ａ）内視鏡の遠位先端を患者の手術部位に展開することであって、前記遠位先端は、
（ｉ）前記手術部位の画像データを獲得するように動作可能な撮像モジュールであって、獲得された画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、撮像モジュールと、
（ｉｉ）前記遠位先端に近接し、前記内視鏡の前記位置に基づいて位置信号を生成するように構成された位置センサと、を備える、展開することと、
（ｂ）前記撮像モジュールから一組の画像データを、及び前記位置センサから一組の位置信号を受信することと、
（ｃ）前記一組の位置信号に基づいて、一組の視点データを決定することであって、前記一組の視点データは、前記１つ又は２つ以上の２Ｄ画像の各々の獲得中の前記内視鏡の前記位置を示す、決定することと、
（ｄ）前記１つ又は２つ以上の２Ｄ画像の各々について、画像深度分析を行って、一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、画素の深度を含む、決定することと、
（ｅ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｆ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、を含み、
前記画像深度分析は、
（ｉ）前記１つ又は２つ以上の２Ｄ画像のうちの単一の画像に行われる波面サンプリング技術、及び
（ｉｉ）前記１つ又は２つ以上の２Ｄ画像のうちの一組の２つの画像に行われる受動ステレオビジョン技術であって、前記一組の２つの画像の各々は、同じ視点データと関連付けられる、受動ステレオビジョン技術、からなる群から選択される技術を含む、方法。
（２７） （ａ）前記一組の３Ｄ画像データ及び前記一組の視点データを、画像誘導手術システムの座標系と関連付けることと、
（ｂ）前記座標系との前記関連付けに基づいて、画像誘導手術ナビゲーション手順中に前記一組の３Ｄ画像データを表示することと、を更に含む、実施態様２６に記載の方法。
（２８） （ａ）前記手術部位に対する視点を定義する、ユーザからの入力を受信することと、
（ｂ）前記一組の視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記一組の３Ｄ画像データの第１の部分を決定することと、
（ｃ）前記一組の３Ｄ画像データの前記第１の部分をディスプレイに表示することと、を更に含む、実施態様２７に記載の方法。
（２９） （ａ）前記手術部位の間接３Ｄスキャン、及び前記間接３Ｄスキャンと関連付けられた一組のスキャン視点データを受信することと、
（ｂ）前記一組のスキャン視点データ内の前記視点を識別することに基づいて、前記視点から前記手術部位を示す前記間接３Ｄスキャンの第２の部分を決定することと、
（ｃ）前記一組の３Ｄ画像データの前記第１の部分及び前記間接３Ｄスキャンの前記第２の部分を前記ディスプレイに同時に表示することと、を更に含む、実施態様２８に記載の方法。
（３０） （ａ）ユーザからスキャン調整入力を受信することと、
（ｂ）前記スキャン調整入力に基づいて、前記手術部位の前記間接３Ｄスキャンと前記一組のスキャン視点データとの前記関連付けを再構成することと、を更に含み、
（ｉ）前記手術部位の前記間接３Ｄスキャンは、手術前に獲得された画像データを含み、
（ｉｉ）前記一組の３Ｄ画像データは、手術前に獲得された画像データを含む、実施態様２９に記載の方法。
【0150】
（３１） プロセッサ、メモリ、及びディスプレイを備える画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、前記プロセッサは、
（ａ）被追跡内視鏡によって生成された一組の画像データを受信することであって、前記一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、受信することと、
（ｂ）前記被追跡内視鏡によって生成された一組の視点データを受信することであって、前記一組の視点データは、前記一組の画像データの獲得中の前記被追跡内視鏡の位置を示す、受信することと、
（ｃ）画像深度分析を行って、前記一組の画像データの一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、前記１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、
（ｄ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｅ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、
（ｆ）選択された視点を含む前記一組の視点データに基づいて、前記選択された視点から前記一組の３Ｄ画像データを前記ディスプレイに表示させることと、行うように構成されている、ＩＧＳナビゲーションシステム。
（ａ）被追跡内視鏡によって生成された一組の画像データを受信することであって、前記一組の画像データは、１つ又は２つ以上の二次元（２Ｄ）画像を含む、受信することと、
（ｂ）前記被追跡内視鏡によって生成された一組の視点データを受信することであって、前記一組の視点データは、前記一組の画像データの獲得中の前記被追跡内視鏡の位置を示す、受信することと、
（ｃ）画像深度分析を行って、前記一組の画像データの一組の３Ｄ特性を決定することであって、前記一組の３Ｄ特性は、前記１つ又は２つ以上の２Ｄ画像の画素の深度を含む、決定することと、
（ｄ）前記１つ又は２つ以上の２Ｄ画像及び前記一組の３Ｄ特性に基づいて、一組の３Ｄ画像データを作成することと、
（ｅ）前記一組の視点データを前記一組の３Ｄ画像データと関連付けることと、
（ｆ）選択された視点を含む前記一組の視点データに基づいて、前記選択された視点から前記一組の３Ｄ画像データを前記ディスプレイに表示させることと、行うように構成されている、ＩＧＳナビゲーションシステム。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【図19】