特開 2024-153833 センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024153833

(43)【公開日】2024-10-29

(54)【発明の名称】センサベースのナビゲーションと内視鏡検査との組み合わせを用いた外科用システム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20241022BHJP

【ＦＩ】

A61B34/20

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024124520

(22)【出願日】2024-07-31

(62)【分割の表示】P 2021533598の分割

【原出願日】2019-12-07

(31)【優先権主張番号】62/779,614

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/665,133

(32)【優先日】2019-10-28

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】516389190

【氏名又は名称】アクラレント インコーポレイテッド

【氏名又は名称原語表記】Ａｃｃｌａｒｅｎｔ， Ｉｎｃ．

(71)【出願人】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】シャメリ・エーサン

(72)【発明者】

【氏名】パルシ・ジェットミア

(72)【発明者】

【氏名】アクバリアン・ファテメ

(72)【発明者】

【氏名】アルガウィ・イェフダ

(72)【発明者】

【氏名】ゴバリ・アサフ

(72)【発明者】

【氏名】エブラヒミ・ババク

(57)【要約】      （修正有）

【課題】画像誘導（ＩＧＳ）ナビゲーションによる手術中に比較インターフェースを提供するための方法を提供する。
【解決手段】解剖学的構造の術前画像のセットが内視鏡カメラを使用して捕捉され得る。各捕捉画像は、画像誘導手術（ＩＧＳ）技術を使用して、捕捉の瞬間におけるカメラの位置及び向きに関連付けられる。この画像データ及び位置データは、捕捉画像のナビゲーションマップを作成するために使用され得る。解剖学的構造の外科手術中に、リアルタイムの内視鏡ビューが捕捉され、外科医に表示され得る。本ＩＧＳナビゲーションシステムは、リアルタイム画像の位置及び向きを決定し、適切な術前画像をナビゲーションマップから選択してリアルタイム画像に加えて外科医に表示することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像誘導（ＩＧＳ）ナビゲーションによる手術中に比較インターフェースを提供するための方法であって、
（ａ）処理装置において、
（ｉ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間に内視鏡のカメラによって捕捉される、ことと、
（ｉｉ）前記内視鏡の追跡センサに基づいて前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
（ｂ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
（ｉ）ある視野から捕捉された前記手術部位の画像と、
（ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
（ｃ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信し、前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
（ｄ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
（ｅ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像をディスプレイを介して表示することと、を含む方法。

【請求項2】

（ａ）前記手術部位の次の手術画像を受信し、前記次の手術画像のライブ画像追跡データの次のセットを決定することと、
（ｂ）前記ライブ画像追跡データの次のセットに基づいて前記一致する視野を再決定することと、
（ｃ）１つ以上の次の手術画像を受信したことに応じて、各次の手術画像及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、リアルタイムで表示することと、を更に含む、請求項１に記載の方法。

【請求項3】

前記一致する視野を決定するとき、
（ｉ）前記ライブ画像追跡データのセットの各位置と向きの座標に基づいて前記画像マップを照会して、最良一致視野を決定することと、
（ｉｉ）前記ライブ画像追跡データのセットに対する前記最良一致視野の各位置と向きの座標のオフセットを決定することと、
（ｉｉｉ）前記オフセットが構成設定された許容可能な一致閾値内にあるとき、前記一致する視野として前記最良一致視野を選択することと、を更に含む、請求項１に記載の方法。

【請求項4】

前記手術画像と、前記一致する視野の前記手術部位の前記画像とを同時に表示することを更に含む、請求項１に記載の方法。

【請求項5】

術前画像のパネル内に前記一致する視野の前記手術部位の前記画像を表示することを更に含み、前記術前画像のパネルは、前記患者の少なくとも３つのデジタルスキャン画像を更に含み、前記少なくとも３つのデジタルスキャン画像のそれぞれがオーバーレイされた器具位置を含む、請求項４に記載の方法。

【請求項6】

前記一致する視野が判定できない場合、前記一致する視野が前記画像マップにおいて利用可能となる結果をもたらすであろう、前記カメラの視野の変更を示すメッセージを前記ディスプレイを介して表示することを更に含む、請求項１に記載の方法。

【請求項7】

処理装置であって、
（ａ）患者の手術部位の過去画像を受信することであって、前記過去画像が、第１の時間にカメラによって捕捉される、ことと、
（ｂ）前記第１の時間における前記カメラの過去画像追跡データのセットを決定することと、
（ｃ）前記過去画像及び前記過去画像追跡データのセットを、過去視野として画像マップに追加することであって、前記画像マップが、前記手術部位の複数の過去視野を含み、前記複数の過去視野のうちの各過去視野が、
（ｉ）ある視野から捕捉された前記手術部位の画像と、
（ｉｉ）前記視野に関連付けられた追跡データのセットと、を含む、ことと、
（ｄ）第２の時間に前記カメラによって捕捉される前記手術部位の手術画像を受信することと、
（ｅ）前記第２の時間における前記カメラのライブ画像追跡データのセットを決定することと、
（ｆ）前記複数の過去視野のうちの一致する視野を、前記ライブ画像追跡データのセット及び前記一致する視野の追跡データのセットに基づいて決定することと、
（ｇ）前記手術画像、及び前記一致する視野の前記手術部位の前記画像を前記ディスプレイを介して、表示することと、を行うように構成されている、処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

（優先権）
本出願は、２０１８年１２月１４日出願の米国仮特許出願第６２／７７９，６１４号、発明の名称「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ ｗｉｔｈ Ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｓｅｎｓｏｒ－Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｅｎｄｏｓｃｏｐｙ」に対する優先権を主張するものであり、その開示の全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

画像誘導手術（ＩＧＳ）は、コンピュータを用いて、患者の身体内に挿入された器具の位置の、術前に得られた画像（例えば、ＣＴスキャン又はＭＲＩスキャン、３Ｄマップなど）のセットに対するリアルタイムの相関を得ることで、コンピュータシステムが器具の現在の位置を術前に得られた画像に重ねる技術である。ＩＧＳ処置で使用できる電磁ＩＧＳナビゲーションシステムの例は、Ｂｉｏｓｅｎｓｅ－Ｗｅｂｓｔｅｒ，Ｉｎｃ．（Ｉｒｖｉｎｅ，Ｃａｌｉｆｏｒｎｉａ）によるＣＡＲＴＯ（登録商標）３ Ｓｙｓｔｅｍである。いくつかのＩＧＳ手術では、術野のデジタルトモグラフィスキャン（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を外科手術の前に得る。次に、特別にプログラムされたコンピュータを用いて、デジタルトモグラフィスキャンデータをデジタルマップに変換する。外科手術中、センサ（例えば、電磁界を発生させる及び／又は外部で生成された電磁界に反応する電磁コイル）を有する特別な器具を用いて手術を実行し、同時に、センサがコンピュータに各手術用器具の現在位置を示すデータを送る。コンピュータは、センサから受信したデータを、術前トモグラフィスキャンから作成されたデジタルマップと相関付ける。トモグラフィスキャン画像は、スキャン画像内に示される解剖学的構造に対する各手術用器具のリアルタイム位置を示す指標（例えば、クロスヘア又は照明ドットなど）と共にビデオモニタ上に表示される。したがって、外科医が器具自体を体内のその現在の位置において直接視覚化することができない場合であっても、ビデオモニタを見ることによって、各センサ搭載器具の正確な位置を知ることができる。

【0003】

ＩＧＳナビゲーションの使用は、外科手術の安全性及び成功を大幅に向上させ得る。一例として、外科医は、器具を解剖学的構造においてより正確に位置付けることが可能となり得る。ＩＧＳナビゲーションシステムによって提供される仮想ビューはまた、内視鏡（例えば、独立型の内視鏡又は手術部位に使用される別の外科用器具と一体化された内視鏡）によって捕捉された実際の動画及び画像と共に表示されてもよい。外科医は、仮想ビュー及び器具位置をシミュレートするために使用される、術前に取得されたトポグラフィー画像と、処置中の手術部位のリアルタイム画像とを有することで、自身の動作を誘導し、処置がいつ完了したかを判定するための、処置中に考慮され得る幅広い入力を有する。それであっても、手術前画像は、通常は間接的な撮像技術を使用して生成されるため、いくつかの点で制限がある。ＩＧＳナビゲーションの手術前画像は、一例として、カメラが行うように対象物から直接的に反射光を捕捉し対象物のフルカラーの写実的な画像を生成するよりもむしろ、磁気、電波、Ｘ線、又は電離放射線などの様々な非視覚的要因を解釈することによって生成される。

【0004】

結果として得られる画像セットは多くの用途において有用であるが、それらは、解剖学的構造（例えば、色、質感、及び他の表面特性）の一部の態様を捕捉しない場合があり、また直接的な画像捕捉と比較して解像度及び透明度が低下し得る。内視鏡の画像はかかる更なる詳細及び明瞭性を提供し得る一方、内視鏡によるビューは、その現在の状態における解剖学的構造のリアルタイム画像に限定される。手術中に外科医が利用可能な情報に関する、かかるいかなる制約も、悪い結果の一因となり得、それにより追跡及び是正処置が必要となる場合がある。

【0005】

外科手術において、いくつかのシステム及び方法が開発され用いられてきたが、本発明者らの以前に、添付の特許請求の範囲に記載される発明を行い又は用いた者はいないと考えられる。

【図面の簡単な説明】

【0006】

本明細書は、本発明を具体的に示し、明確にその権利を請求する特許請求の範囲をもって結論とするものであるが、本発明は以下の特定の実施例の説明を添付図面と併せ読むことでより深い理解が得られるものと考えられる。図中、同様の参照番号は同様の要素を示す。

【図1】例示的な医療処置チェアに着座した患者に使用される例示的な手術ナビゲーションシステムの概略図を示す。

【図2】手術ナビゲーションシステムと共に使用可能な例示的な内視鏡の概略図である。

【図3】例示的な比較インターフェースの模擬スクリーンショットを示す。

【図4】ナビゲーション画像を有する例示的な比較インターフェースの模擬スクリーンショットを示す。

【図5】画像の時系列シーケンスを有する例示的な比較インターフェースの模擬スクリーンショットを示す。

【図6】図３～図５のいずれかの比較インターフェースを提供するために実行され得る、例示的な高レベル工程のセットのフローチャートを示す。

【図7】画像ナビゲーションマップを作成するために実行され得る工程の例示的なセットのフローチャートを示す。

【図8】手術中にライブ画像を捕捉するために実行され得る工程の例示的なセットのフローチャートを示す。

【図9】比較画像を作成するために実行され得る工程の例示的なセットのフローチャートを示す。

【図10】図３～図５のいずれかの比較インターフェースを介して情報を表示するために実行され得る工程の例示的なセットのフローチャートを示す。

【0007】

図面は、いかなる方式でも限定することを意図しておらず、本発明の様々な実施形態は、図面に必ずしも描写されていないものを含め、他の様々な方式で実施し得ることが企図される。本明細書に組み込まれ、その一部をなす添付図面は、本発明のいくつかの態様を図示したものであり、本説明文と共に本発明の原理を説明する役割を果たすものである。しかしながら、本発明が、示される詳細な構成に限定されないことが理解されるべきである。

【発明を実施するための形態】

【0008】

本発明の特定の実施例の以下の説明文は、本発明の範囲を限定する目的で用いられるべきではない。本発明の他の実施例、特徴部／機構、態様、実施形態、及び利点は、本発明を実施するために想到される最良の形態の１つを実例として示す以下の説明文より、当業者には明らかとなろう。理解されるように、本発明は、いずれも本発明から逸脱することなく、他の異なるかつ明白な態様が可能である。したがって、図面及び説明は、限定的な性質のものではなく、例示的な性質のものと見なされるべきである。

【0009】

「近位」及び「遠位」という用語は、本明細書では、ハンドピースアセンブリを把持している臨床医を基準として使用されることが理解されるであろう。すなわち、エンドエフェクタは、より近位のハンドピースアセンブリに対して遠位側にある。便宜上及び明確さのために、「上部」及び「下部」などの空間用語もまた、本明細書において、ハンドピースアセンブリを把持している臨床医を基準にして使用されていることが更に理解されよう。しかしながら、手術用器具は、多くの向き及び位置で使用されるものであり、これらの用語は、限定的かつ絶対的なものであることを意図するものではない。

【0010】

本明細書に記載の教示、表現、変形、実施例などのうちのいずれか１つ以上を、本明細書に記載の他の教示、表現、変形、実施例などのうちのいずれか１つ以上と組み合わせることができる点も更に理解される。したがって、以下に記載されている教示、表現、変形、実施例などは、互いに独立して考慮されるべきではない。本明細書の教示に照らして、本明細書の教示を組み合わせることができる様々な好適な方式が、当業者には容易に明らかとなろう。このような修正及び変形は、「特許請求の範囲」内に含まれるものとする。

【0011】

Ｉ．例示的な画像誘導手術ナビゲーションシステム
患者（Ｐ）の頭部（Ｈ）内で医療処置を実施するとき、特に器具が患者（Ｐ）の頭部（Ｈ）内の器具の作業要素の内視鏡ビューを得ることが困難又は不可能である場所にある場合に、患者（Ｐ）の頭部（Ｈ）内の器具の位置に関する情報を有することが望ましい場合がある。図１は、画像誘導を使用して耳鼻咽喉（ＥＮＴ）手術の実行を可能にする例示的なＩＧＳナビゲーションシステム（１０）を示す。本明細書に記載されている構成要素及び動作性を有することに加えて、又はそれに代わって、ＩＧＳナビゲーションシステム（１０）は、以下の文献の教示の少なくとも一部に従って構成され、動作可能となり得る。すなわち、米国特許第７，７２０，５２１号、発明の名称「Ｍｅｔｈｏｄｓ ａｎｄ Ｄｅｖｉｃｅｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年５月１８日発行）（開示内容は参照により本明細書に組み込まれている）、及び米国特許出願公開第２０１４／０３６４７２５号、発明の名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｐｒｏｃｅｄｕｒｅｓ ｗｉｔｈｉｎ ｔｈｅ Ｅａｒ，Ｎｏｓｅ，Ｔｈｒｏａｔ ａｎｄ Ｐａｒａｎａｓａｌ Ｓｉｎｕｓｅｓ」（２０１４年１２月１１日公開）（開示内容は参照により本明細書に組み込まれている）。

【0012】

本実施例のＩＧＳナビゲーションシステム（１０）は、馬蹄形フレーム（２２）に一体化された一式の磁界発生器（２４）を含む磁界発生器アセンブリ（２０）を含む。磁界発生器（２４）は、患者（Ｐ）の頭部（Ｈ）の周りに異なる周波数の交流磁界を生成するように動作可能である。この実施例では、ナビゲーションガイドワイヤ（４０）が患者（Ｐ）の頭部（Ｈ）に挿入される。ナビゲーションガイドワイヤ（４０）は、独立型装置であってもよく、又は外科用切断器具若しくは拡張器具などの医療器具のエンドエフェクタ又は他の箇所に位置付けられてもよい。本実施例では、フレーム（２２）が椅子（３０）に装着され、フレーム（２２）が患者（Ｐ）の頭部（Ｈ）に隣接して配置されるように患者（Ｐ）は椅子（３０）に着座する。単に一例として、椅子（３０）及び／又は磁界発生器アセンブリ（２０）は、米国特許出願第１５／９３３，７３７号、発明の名称「Ａｐｐａｒａｔｕｓ ｔｏ Ｓｅｃｕｒｅ Ｆｉｅｌｄ Ｇｅｎｅｒａｔｉｎｇ Ｄｅｖｉｃｅ ｔｏ Ｃｈａｉｒ」（２０１８年３月２３日出願）（開示内容は参照により本明細書に組み込まれている）の少なくとも一部の教示に従って構成され、動作可能であり得る。

【0013】

本実施例のＩＧＳナビゲーションシステム（１０）は、ＩＧＳナビゲーションシステム（１０）の磁界発生器（２４）及び他の要素を制御する処理装置（１２）を更に含む。例えば、処理装置（１２）は、磁界発生器（２４）を駆動して交流電磁界を生成し、ナビゲーションガイドワイヤ（４０）からの信号を処理して患者（Ｐ）の頭部（Ｈ）内におけるナビゲーションガイドワイヤ（４０）内のセンサの場所を判定するように動作可能である。処理装置（１２）は、１つ以上のメモリと通信する処理ユニットを含む。本実施例の処理装置（１２）は、キーパッド及び／又はマウス若しくはトラックボールなどのポインティングデバイスを含む動作制御部（１４）を含むコンソール（１８）内に装着されている。医師は、外科手術を行いながら、動作制御部（１４）を使用して処理装置（１２）と相互作用する。いくつかの実装形態では、処理装置（１２）は、１つ以上のメモリ及び処理ユニットを備えてもよく、それらは、ＩＧＳナビゲーションシステム（１０）に近接して置かれた１つ以上の別個のコンピューティングデバイスに分散され（例えば、手術室内の１つ以上のコンピュータ）、又は、ＩＧＳナビゲーションシステム（１０）から離れて設置され（例えば、ネットワークを介してＩＧＳナビゲーションシステム（１０）と通信する１つ以上のリモートサーバ、仮想サーバ、若しくはクラウドサーバ）、又はそれらの組み合わせであってもよい。このような実装形態では、処理装置（１２）のうちの異なるサブコンポーネント又はサブ処理装置によって異なるタスクが処理されてもよく、例えば、手術室内のコンピュータ、処理装置、及びメモリが、器具追跡機能を処理し、かつ提供してもよく、遠隔に配置されたサーバが、内視鏡画像、トポグラフィー画像、及び他の画像を受信し、受信した画像に対して、画像処理、記憶、暗号化、又は他の処理を加えてもよい。

【0014】

ナビゲーションガイドワイヤ（４０）は、磁界発生器（２４）によって生成された交流電磁界内の測位に反応するセンサ（図示せず）を含む。連結ユニット（４２）はナビゲーションガイドワイヤ（４０）の近位端に固定され、コンソール（１８）とナビゲーションガイドワイヤ（４０）との間のデータ及び他の信号の通信を提供するように構成されている。連結ユニット（４２）は、データ及び他の信号の有線又は無線通信を提供することができる。

【0015】

本例では、ナビゲーションガイドワイヤ（４０）のセンサは、ナビゲーションガイドワイヤ（４０）の遠位端に少なくとも１つのコイルを含む。かかるコイルが磁界発生器（２４）によって生成された交流電磁界の中に置かれると、交流磁界がコイルの中に電流を生成し得、この電流は、ナビゲーションガイドワイヤ（４０）内の導電路（単数又は複数）に沿って、連結ユニット（４２）を介して処理装置（１２）に更に伝送され得る。この現象により、ＩＧＳナビゲーションシステム（１０）は、３次元空間内（すなわち、患者（Ｐ）の頭部（Ｈ）内など）におけるナビゲーションガイドワイヤ（４０）又は他の医療器具（拡張器具、外科用切断器具など）の遠位端の場所を判定することができる。これを実現するため、処理装置（１２）は、ナビゲーションガイドワイヤ（４０）の遠位端の位置座標を、ナビゲーションガイドワイヤ（４０）内のコイル（複数可）の位置関連信号から計算するアルゴリズムを実行する。この実施例では、位置センサが、ガイドワイヤ（４０）内に配置されているが、このような位置センサは、以下により詳細に記載されるものを含む、様々な他の種類の器具に統合されてもよい。

【0016】

処理装置（１２）は、処理装置（１２）のメモリに記憶されたソフトウェアを使用して、ＩＧＳナビゲーションシステム（１０）を較正しかつ動作させる。このような動作は、磁界発生器（２４）を駆動することと、ナビゲーションガイドワイヤ（４０）からのデータを処理することと、動作制御部（１４）からのデータを処理することと、ディスプレイスクリーン（１６）を駆動することと、を含む。いくつかの実装形態では、動作はまた、ＩＧＳナビゲーションシステム（１０）の１つ以上の安全機構又は機能の監視及び実行も含み得る。処理装置（１２）は、患者の頭部（Ｈ）のビデオカメラ画像、患者の頭部（Ｈ）のＣＴスキャン画像、及び／又は患者の鼻腔内及び患者の鼻腔に隣接する解剖学的構造のコンピュータ生成３次元モデル、に関してナビゲーションガイドワイヤ（４０）の遠位端の位置を示すディスプレイスクリーン（１６）を介して、リアルタイムで動画を提供するように更に動作可能である。ディスプレイスクリーン（１６）は、外科手術中にこのような画像を同時に及び／又は互いに重ねて表示することができる。このように表示される画像は、ナビゲーションガイドワイヤ（４０）などの患者の頭部（Ｈ）に挿入される器具のグラフィック表示も含んでもよく、それにより、操作者は、その実際の位置で、リアルタイムで器具の仮想レンダリングを見ることができる。単に一例として、ディスプレイスクリーン（１６）は、米国特許出願公開第２０１６／０００８０８３号、発明の名称「Ｇｕｉｄｅｗｉｒｅ Ｎａｖｉｇａｔｉｏｎ ｆｏｒ Ｓｉｎｕｐｌａｓｔｙ」（２０１６年１月１４日公開）（開示内容は参照により本明細書に組み込まれている）の教示の少なくとも一部に従って画像を提供してもよい。

【0017】

操作者が内視鏡も使用している場合には、内視鏡画像もディスプレイスクリーン（１６）に表示することができる。例えば、図２は、ＩＧＳナビゲーションシステム（１０）と共に使用可能な例示的な内視鏡（１００）の概略図である。内視鏡（１００）は、画像及び動画を捕捉するように動作可能なカメラ（１０２）を含み、このカメラは、手術部位において画像を捕捉するために鼻腔の中へナビゲートされ得る、剛体又は（例えば、ナビゲーションワイヤ（４０）と同様の）可撓性本体の遠位端に置かれ得る。内視鏡（１００）は、また、カメラ（１０２）に近接して位置センサ（１０４）又は追跡センサを含み、カメラ（１０２）の位置、向き、又はその両方を判定するために、（例えば、ナビゲーションガイドワイヤ（４０）と同様に）ＩＧＳナビゲーションシステム（１０）によって追跡されるように構成されている。上述の器具追跡技術は、位置追跡を可能にするために、磁界発生器アセンブリ（２０）を使用してナビゲーションガイドワイヤ（４０）内の位置センサと相互作用する磁界を生成することを含むが、他の種類の位置追跡も存在し、本明細書に開示される技術と共に実装され得ることを理解されたい。例えば、場合によっては、代わりに無線ビーコン三角測量を用いて追跡領域（例えば、磁界など）を実装し、内視鏡（１００）の位置センサ（１０４）と通信してその位置を特定してもよく、又は、患者の身体内における検出が可能な他の形態の無線による測位及び追跡を用いてもよい。

【0018】

電力及び情報が、内視鏡（１００）の本体に沿って延びるワイヤを介して伝達され得、それにより、例えば、カメラ（１０２）の動作を可能となり、位置センサ（１０４）との間で情報が送受信され、カメラ（１０２）からの画像がデジタルデータ（例えば、データ接続を介して）又は光学データ（例えば、光ファイバを介して）として受信される。本実施例の内視鏡（１００）はまた、連結ユニット（４２）と同様の連結ユニット（１０６）を含み、これは、内視鏡（１００）をＩＧＳナビゲーションシステム（１０）と共に使用することを可能にするように構成され得る。これには、例えば、位置センサ（１０４）から信号を受信し、それらを位置センサ（１０４）の位置が決定できるように、処理装置（１２）に通信することと、カメラ（１０２）から信号又はデータを受信し、ディスプレイスクリーン（１６）を介して表示できるように、それらを処理装置（１２）に（例えば、受信されたままのＲＡＷ形式で、又は、光ファイバを介して受信された光画像データの通信前のデジタル画像データへの変換などの変換後）通信することと、を含み得る。

【0019】

位置センサ（１０４）は３次元空間内での位置を判定するために使用可能であるとして説明されているが、位置センサ（１０４）のいくつかの実装形態はまた、（例えば、ジャイロスコープ要素、互いに対する関係が固定された直交コイルなどの２つ以上の独立して追跡されるセンサの組み合わせ、又は他の同様の手段を使用することによって）３次元空間内での向きを判定するために使用可能であり得ることを理解されたい。位置センサ（１０４）は、追跡領域内の位置と向きの両方を決定するために使用可能であり得るので、時には、一方又は両方の能力を有する追跡センサとも称され得る。位置センサ（１０４）又は別の接続されたデバイス又は構成要素が内視鏡（１００）の向きを判定することが可能でない実装形態では、ＩＧＳナビゲーションシステム（１０）は、内視鏡（１００）が常に特定の解剖学的標的又は手術部位内の他の点に向きされていると仮定することによって、向きを自動的に決定してもよい。

【0020】

ディスプレイスクリーン（１６）を介して提供される画像は、操作者が患者の頭部（Ｈ）内で、技術を要する操作（maneuvering）及びその他の操作（manipulating）を器具を用いて行う際に、かかる器具に位置センサ（１０４）のような位置センサが組み込まれている場合、操作者が操作を行うのを導く上で役立ち得る。また、以下に記載されるように、手術用器具の他の構成要素及び他の種類の手術用器具に、ナビゲーションガイドワイヤ（４０）のセンサ又は内視鏡（１００）のセンサ（１０４）のようなセンサを組み込んでもよいことを理解されたい。

【0021】

ＩＩ．画像の比較ナビゲーションのための例示的なシステム
説明されてきたように、ディスプレイスクリーン（１６）上に表示される内視鏡画像及び動画を捕捉するために、内視鏡（１００）などの内視鏡がＩＧＳナビゲーションシステム（１０）と共に使用されてよい。このような内視鏡画像は、単独で表示されても、他の画像（例えば、仮想内視鏡ビュー、術前ＣＴ画像ビューなど）との組み合わせで表示されても、所望され得る他の情報及びインターフェースと共に表示されてもよい。ディスプレイスクリーン（１６）を介して有利に表示され得るインターフェースの一例は、手術部位の現在の外観と、手術部位の１つ以上の過去の外観との両方を示すために、手術前の内視鏡画像と、術中又は術後のいずれかの内視鏡画像との組み合わせを示してもよい。このようにして、外科医は、現在実行されている手術工程が成功しているか又は完了したかを判定するのに有用であり得る追加コンテキスト（例えば、手術部位の１つ以上の過去の外観）と共に、手術部位の現在の外観を視認し得る。

【0022】

単に一例として、本明細書の教示を考慮することで当業者には明らかとなるように、内視鏡下機能的副鼻腔手術（ＦＥＳＳ）、鼻甲介切除術（turbinate reduction）、副鼻腔形成術、又は様々な他の医療処置、などの医療処置を実施した後に、鼻腔内の様々な解剖学的構造の術前内視鏡画像を術中又は術後内視鏡画像と比較することが望ましい場合がある。このような視覚的比較は、医療処置によって組織構造の再構築又は他の変更がもたらされた場合において、医療処置の前、その間、及びその後に、操作者が組織構造を比較することを容易に可能にすることができる。術前画像データに直接組み込まれた内視鏡位置データを有することにより、最も適切な術前画像が、医療処置中又は医療処置後の器具使用のリアルタイム位置に基づいて、又は医療処置後に行われるユーザ選択に基づいて選択され得る。

【0023】

例えば、図３～５はそれぞれ、かかる付加的なコンテキストを提供するために、ＩＧＳナビゲーション中にディスプレイスクリーン（１６）などのディスプレイを介して表示され得るインターフェースを示し、図６～１０は、図３～５のインターフェースのうちの１つ以上を構成し提供するために実行され得る工程のセットを示す。具体的に言えば、図３は、例示的な比較インターフェース（２００）の模擬スクリーンショットを示す。比較インターフェース（２００）は、術前内視鏡画像（２０２）及び術前内視鏡画像ステータス（２０４）、並びにライブ内視鏡画像（２０６）及びライブ内視鏡画像ステータス（２０８）を含む。本明細書で使用されるとき、内視鏡画像又は情報が捕捉又はステータスの「術前」のタイミングに関連付けられていると記述することは、その内視鏡画像又はステータスが、手術の数日前又は数週間前の診察又は手術部位の診査用撮像の間など、特定の手術の開始前に捕捉されたものであることを示し得るが、更にまた、その内視鏡画像又はステータスが、手術の第１の段階の間に行われた第１の組織改変の直前か、又は手術の第２の段階の間に行われた第２の組織改変の直前か、又は他の時間など、手術の現在又は直前の段階の前の任意の時間に捕捉されたものであることをも示し得る。図３は、並べて表示されたライブ内視鏡画像（２０６）と術前内視鏡画像（２０２）を示しているが、これらは互いに関して様々な他の方法で表示されてもよく、又は重ね合わされてもよい（例えば、術前内視鏡画像（２０２）が半透明性となるように変更され、ライブ内視鏡画像（２０６）の上にオーバーレイされてもよい）ことを理解されたい。

【0024】

術前内視鏡画像（２０２）は、過去の時点（例えば、現在の処置の開始前、又は現在の処置の前の段階の間）から捕捉された内視鏡画像を示してもよく、術前内視鏡画像ステータス（２０４）は、その術前内視鏡画像（２０２）に関連付けられた１つ以上の情報を示してもよい。例えば、術前内視鏡画像ステータス（２０４）は、術前内視鏡画像（２０２）が捕捉された時点における位置センサ（１０４）の３次元位置を含んでもよく、これは情報（例えば、ｘ、ｙ、及びｚ座標）として表示されてもよく、又は、捕捉時の手術部位に対する模擬的な位置（例えば、手術部位に対する位置センサ（１０４）のレンダリングされた３次元位置）として表示されてもよい。

【0025】

ライブ内視鏡画像（２０６）は、現在の外科手術の間に内視鏡（１００）によって捕捉されたものなど、現時点から捕捉された内視鏡画像を示してもよく、一方で、ライブ内視鏡画像ステータス（２０８）は、ライブ内視鏡画像（２０６）に関連付けられた１つ以上の情報を示してもよい。ライブ内視鏡画像ステータス（２０８）は、術前画像ステータス（２０４）に示されるものと同様の情報を示してもよく、ライブ内視鏡画像（２０６）が捕捉された時の座標（例えば、ｘ、ｙ、及びｚ座標）としての位置センサ（１０４）の３次元位置を含んでもよく、又は手術部位に対する模擬的な位置として表示されてもよい。

【0026】

ライブ内視鏡画像（２０６）は、内視鏡（１００）を介して捕捉された手術部位のリアルタイム画像又は動画を示すものであるが、術前内視鏡画像（２０２）は、図６～１０において以下に更に詳細に説明されるように、各内視鏡画像又は動画に関連付けられた位置センサ（１０４）からの過去及び現在の位置データを比較することによって、ライブ内視鏡画像（２０６）と同じか又は類似の視野から捕捉された手術部位の過去画像又は動画を示すものである。かかるインターフェースを用いて、外科医が内視鏡（１００）を移動させると（例えば、いずれかの方向に前進、後退、回転させ、任意の方向に機械的に関節運動させると）、位置センサ（１０４）によって提供されるリアルタイム位置データが変化するだけでなく、ライブ内視鏡画像（２０６）に示されるリアルタイム画像も変化する。リアルタイム位置データが変化するにつれ、術前内視鏡画像（２０２）もまたリアルタイム位置データに基づいて更新され、リアルタイム位置データによって示される視野と同じ又は同様の視野から以前に捕捉された画像を示してもよい。

【0027】

上記の例として、いくつかの実装形態では、術前内視鏡画像（２０２）は位置データの変化に応じて自動的に更新されてもよく、術前内視鏡画像の動画であるように見える画像のシーケンスとして、又は位置データが変化していないときの静止画像として提示されてもよい。このようにして、術前内視鏡画像（２０２）は、内視鏡（１００）によってリアルタイムで捕捉されたものと同様の、術前に捕捉された視野及びビューを提供することができる。いくつかの実装形態では、術前内視鏡画像（２０２）は、所望に応じてユーザによって（例えば、ボタン入力、音声入力、又は他の入力に基づいて）手動で更新される静止画像として提示されてもよく、これにより、ユーザは内視鏡（１００）の位置を定め、それから、表示される術前内視鏡画像を手動で更新し得る。いくつかの実装形態では、術前内視鏡画像（２０２）は、内視鏡（１００）が実質的に移動され又は位置を定められていないときにのみ、位置データを変更することに基づいて自動的に更新される静止画像として提示されてもよく、これにより、静止画像は、内視鏡（１００）の意図的な移動が生じ、次いで停止した後に自動的に更新される。

【0028】

いくつかの実装形態では、術前内視鏡画像（２０２）は、変化する位置データに基づいて、術前に取得された画像又は動画から選択された画像のループシーケンスとして提示されてもよい。これは、例えば、位置データの変化に応じて、その位置データに関連付けられた術前に取得された内視鏡画像、並びに、近隣の位置データに関連付けられた（例えば、わずかに異なる位置又は向きからの）いくつかの他の術前に取得された内視鏡画像を含む一連の画像を表示することを含んでよく、これにより、術前内視鏡画像によって表示される手術部位を取り巻く、かつ手術部位に対する移動のわずかな感覚が提供され得る。術前内視鏡画像（２０２）を表示するための他の技術も存在し、それらは以下に記載されるか、又は本明細書の教示を考慮することで当業者には明らかとなるであろう。

【0029】

このようなインターフェースのいくつかの実装形態では、術前画像状態（２０４）、ライブ内視鏡画像状態（２０８）、又はその両方は、それらの互いに対する視野（例えば、３次元空間内の位置及び向き）を数値オフセットとして、又は、画像をより正確に位置合わせするために実行され得る方向移動若しくは回転について、説明する情報を提供してもよい。一例として、ライブ内視鏡画像（２０６）が、位置ｘ_１、ｙ_１、及びｚ_１を有する視野、並びに、ヨー_１、ピッチ_１、及びロール_１を有する向きから捕捉される場合、その正確な視野からの以前に捕捉された画像は存在しないことがある。代わりに、ｘ_１、ｙ_２、及びｚ_１の視野、並びにヨー_１、ロール_１、及びピッチ_２の向きを有する最良一致が表示されてもよい。かかる場合、ライブ内視鏡画像ステータス（２０８）は、ｙ_１とｙ_２（例えば、上向きの方向矢印）との間の差、及びピッチ_１とピッチ_２との間の差（例えば、上向きの回転ピッチを示す方向矢印）を低減又は解消するためになされなければならない変更を示す数字、テキスト、又は方向情報を示してもよい。

【0030】

図４は、ＩＧＳナビゲーションシステム（１０）などのシステムのユーザに表示され得る例示的な代替の比較インターフェース（２０１）の模擬スクリーンショットを示す。比較インターフェース（２０１）は、ライブ内視鏡画像（２０６）とライブ内視鏡画像ステータス（２０４）とを含むと共に、術前画像ステータス（２０８）と、術前内視鏡画像（２０２）を含む術前画像（２０５）のパネルとを含む。術前画像（２０５）のパネルはまた、オーバーレイされた器具位置（２１１）をそれぞれが有する、下向き画像（２１０）、前方画像（２１２）、及び側方画像（２１４）を含むデジタルスキャン画像のセット（例えば、ＣＴ又はＭＲＩ、３Ｄマップなど）を含む。オーバーレイされた器具位置（２１１）は、位置センサ（１０４）に基づいて内視鏡（１００）のリアルタイム位置を表現してもよく、デジタルスキャン画像のそれぞれは、従来の手段又は制御部（例えば、キーボード、マウス、タッチスクリーン、又はナビゲーション矢印若しくはコントロール）を用いて共にナビゲートされてもよく、又は、位置センサ（１０４）からのデータに基づいて自動的に選択され、かつ表示されてもよい（例えば、上からの画像（２１０）は、判定されたｘ座標及びｚ座標に基づいて選択されてよく、前方画像（２１２）は、判定されたｙ及びｙ座標に基づいて選択されてよく、側方画像（２１４）は、判定されたｙ座標及びｚ座標に基づいて選択されてよい）。

【0031】

図３の例と同様に、術前内視鏡画像（２０２）は、位置センサ（１０４）からのデータに基づいて選択され、かつ表示されてもよく、これにより、表示される内視鏡画像の視野は、位置センサ（１０４）からのデータに基づいて、内視鏡（１００）によって捕捉されたライブ内視鏡画像（２０６）の現在の視野と一致するか若しくは実質的に一致する。このようにして、外科医が内視鏡（１００）を移動させ、内視鏡画像及び動画をライブ内視鏡画像（２０６）として受け取ると、術前画像（２０５）のパネル内の１つ以上の画像もまた、以下でより詳細に説明されるように、同様の視野を表示するように更新され得る。

【0032】

図５は、ライブ内視鏡画像（２０６）及びライブ内視鏡画像ステータス（２０４）に加えて、時系列内視鏡画像パネル（２１７）を含む例示的な代替の比較インターフェース（２０３）の模擬スクリーンショットを示す。時系列画像パネル（２１７）は、初期の内視鏡画像（例えば、処理の前に、又は第１の組織改変又は処置工程の前に捕捉され得る術前内視鏡画像（２０２））と、より最近の内視鏡画像（例えば、ライブ内視鏡画像（２０６）、又はライブ内視鏡画像（２０６）の前に捕捉又は保存された直近の内視鏡画像であり得る内視鏡画像（２０７））との間に生じる異なる瞬間における手術部位を示す、順序付けられた（例えば、捕捉時間、手術段階によって順序付けられた）内視鏡画像のセットを含み得る。介在内視鏡画像（２１６ａ、２１６ｂ、２１６ｃ、２１６ｄ）のセットは、手術前内視鏡画像（２０２）及びライブ内視鏡画像（２０６）に示されるものと同様の又は同じ視野から、様々な時間における手術部位の１つ以上の内視鏡画像を示してもよく、かつ、図示されるように、第１の内視鏡画像（２１６ａ）と、第２の内視鏡画像（２１６ｂ）と、第３の内視鏡画像（２１６ｃ）と、第４の内視鏡画像（２１６ｄ）とを含んでもよい。前の例と同様に、時系列画像パネル（２１７）内の内視鏡画像の選択及び表示は、位置センサ（１００）からのデータに基づいて決定されてもよく、これにより、それらの内視鏡画像は、内視鏡（１００）によって現在捕捉されているライブ内視鏡画像（２０６）と一致するか又は実質的に一致する視野からの手術部位を示す。

【0033】

例えば、特定の外科手術が５つの主要な工程を有する場合、各介在内視鏡画像は、工程の完了後の手術部位を示し得る。かかる例では、術前内視鏡画像（２０２）は、任意の組織改変前の手術部位を示してもよく、第１の内視鏡画像（２１６ａ）は、処置の第１の段階の間の組織改変の第１のセットの後の手術部位を示してもよく、一方、第４の内視鏡画像（２１６ｄ）は、処置の第４の段階の間の組織改変の次のセットの後の手術部位を示してもよく、内視鏡画像（２０７）は、処置の最終段階における組織改変のセットの後の手術部位を示し得る。

【0034】

別の例として、介在内視鏡画像のうちの１つ以上が、外科医によって手動で決定された様々な時間における手術部位を示してもよい。かかる実施例では、外科医は、ＩＧＳナビゲーションシステム（１０）のボタン又は制御と相互作用することによって、介在内視鏡画像のセットに追加すべき現在のライブ内視鏡画像（２０６）をマーキングすることができ、これにより、外科医は、比較インターフェース（２０３）を介して、後に参照するために保存すべき特定の節目となる内視鏡画像、又は他の参照内視鏡画像を選定することが可能となり得る。更に別の例として、１つ以上の介在内視鏡画像は、ＩＧＳナビゲーションシステム（１０）又は手術中に使用される別のツール若しくはデバイスによって自動的に決定される様々な時間における手術部位を示し得る。かかる例では、内視鏡画像は、手術用器具、手術用器具ジェネレータ、又は別のデバイスからの情報又は活動に基づいて、介在内視鏡画像に自動的に追加されてもよい。これは、切断ツールが起動されるたびに内視鏡画像を捕捉することを含み得、その結果、介在内視鏡画像のセットが自動的に構築されて、各組織改変又は起動前の手術部位が示される。更に別の例として、内視鏡画像は、時間の経過に基づいて捕捉され介在内視鏡画像に追加されてもよい（例えば、内視鏡画像は、構成可能なスケジュールに基づいて、定期的に捕捉され介在内視鏡画像に追加されてもよい）。

【0035】

いずれの場合も、介在内視鏡画像のセットは、以下の実施例のうちの１つ以上によることを含めて、様々な方式でサイズを決めかつ構成されて表示されてもよい。いくつかの実装形態では、内視鏡画像は、それぞれが比較インターフェース（２０３）を介して同時に表示されるようにサイズを決めかつ構成されてもよい。いくつかの実装形態では、内視鏡画像は、ユーザ入力に基づいて水平方向又は横方向にスクロールする又は横断してもよく、これによって介在内視鏡画像の大規模なセットに対応し得る。いくつかの実装形態では、内視鏡画像は、様々なデジタル処理を使用して表示され得る。これには、例えば、ビデオシーケンスとしての表示（例えば、各内視鏡画像が順番に短時間表示され、多数の独立した画像を見るのではなく、動画を見ている視覚を生成し得る）、又は画像モーフィングを用いた表示（例えば、第１の内視鏡画像及び第２の内視鏡画像を用いて多数の介在内視鏡画像を生成及び表示し、術前に取得された内視鏡画像から現在の内視鏡画像又はその他より最近の内視鏡画像へ、徐々にモーフィングされる視覚を生成する場合）を含んでもよい。

【0036】

比較インターフェース（２０３）はまた、時系列ステータス（２１５）を含み、時系列ステータスは、術前内視鏡画像ステータス（２０８）と同様の情報を示してもよく、かつ、介在内視鏡画像のそれぞれが捕捉された時間（例えば、時と分、捕捉からの時間、画像が捕捉された手術の段階）、並びに捕捉の状況（例えば、手動で追加されたのか自動で追加されたのか、及びどのような状況下で又はどのようなできごとに応じてか）などの、時系列関連の情報を追加的に示してもよい。

【0037】

ＩＩＩ．比較ナビゲーションの例示的な方法
図３～図５は、ＩＧＳナビゲーションシステム（１０）などのシステムによって提供され得る比較インターフェースの変形例を示す一方で、図６～図１０は、それらのインターフェースを構成しかつ表示するために、かかるシステムによって実行され得る工程を示す。例えば、図６は、図３～図５のいずれかの比較インターフェースを提供するために実行され得る、高レベル工程（３００）の例示的なセットのフローチャートを示す。これらの工程は、術前内視鏡画像（例えば、過去の内視鏡画像、以前に捕捉された内視鏡画像、又は履歴上の内視鏡画像）の内視鏡画像マップを生成する（ブロック３０２）ことを含み、これは、内視鏡画像のセット及び関連する位置又は視野データを生成する目的で、多数の異なる視野（例えば、手術部位に対する異なる位置及び向き）から手術部位の内視鏡画像を捕捉するために、処置の開始前に内視鏡（１００）を使用することを含み得る。システムはまた、ライブ内視鏡画像を内視鏡（１００）を介して処置中に受信する（ブロック３０４）こともでき、かかるライブ内視鏡画像はまた、位置又は視野データに関連付けられる。システムは次いで、内視鏡画像マップ及びライブ内視鏡画像に基づいて１つ以上の比較内視鏡画像を作成する（ブロック３０６）ことができ、これは、内視鏡画像マップから一致する内視鏡画像を選択し、それを修正なしで使用すること、又は、比較画像として提供するために、内視鏡画像マップからの１つ以上の内視鏡画像を修正又は組み合わせることを含み得る。１つ以上の作成された（ブロック３０６）比較内視鏡画像を用いて、システムは次いで、本明細書に図示及び説明される機能の任意の組み合わせを含むディスプレイスクリーン（１６）などのディスプレイを介して比較インターフェースを提供する（ブロック３０８）ことができる。

【0038】

図７は、内視鏡画像マップを作成する（ブロック３０２）などの工程中に実行され得る工程（４００）の例示的なセットのフローチャートを示す。内視鏡（１００）は手術部位にナビゲートされてもよく、システムは、内視鏡（１００）が標的の解剖学的構造の内視鏡画像のセットを捕捉する（ブロック４０４）際に、手術部位における標的の解剖学的構造を表示する（ブロック４０２）ことができる。各内視鏡画像が内視鏡（１００）によって捕捉されるとき、システムは、位置センサ（１０４）から視野データ（例えば、位置、向き、又はその両方）を受信し（ブロック４０６）、その視野データを対応する内視鏡画像に関連付け得る（ブロック４０８）。結果として、標的の解剖学的構造の内視鏡画像のセットが得られ、各内視鏡画像は、捕捉の瞬間の標的の解剖学的構造に対する視野と関連付けられる。内視鏡画像は、結果として得られる内視鏡画像セットの特定の解像度、鮮明性、又は焦点を達成する所望に応じて、静止内視鏡画像として内視鏡によって捕捉されてもよく、又は、内視鏡画像／フレームのビデオシーケンスとして捕捉されてもよい。

【0039】

いくつかの実装形態では、システムは、内視鏡画像マップの全体的なサイズ及び内容を減らすために、結果として得られる内視鏡画像セットから、重複する内視鏡画像（例えば、全く同じ視野から捕捉された２つの内視鏡画像）又は実質的に重複する内視鏡画像（例えば、視覚的に互いに違いのない２つの異なる視野から捕捉された２つの内視鏡画像）を識別し破棄してもよい。

【0040】

いくつかの実装形態では、システムは、第１の視野からの内視鏡画像が修正されて、実質的に重複する第２の視野からの内視鏡画像を提供し得ることを判定してもよい。例えば、第２の視野が、第１の視野と標的の解剖学的構造との間に直線的に又は実質的に直線的に位置している場合、第２の視野からの内視鏡画像は、第１の視野からの標的の解剖学的構造が、ズームされるか、拡大されるか、又はより接近した内視鏡画像であるように見え得る。換言すれば、最遠位の視野から捕捉された標的の解剖学的構造の内視鏡画像がトリミングされ、かつ拡大されることで（例えば、内視鏡画像マップに追加される前に修正され、又は内視鏡画像マップから選択されるときにリアルタイムで修正されて）、最遠位の視野と標的の解剖学的構造との間の各視野からの内視鏡画像がシミュレートされてもよく、これによって、内視鏡画像マップのサイズ及び内容を更に減らし得ると共に、内視鏡画像マップの作成中、ひとつひとつの別個の視野に内視鏡（１００）をナビゲートする必要性も低減され得る（例えば、複数の遠位の視野から内視鏡画像が捕捉される場合、内視鏡（１００）が標的の解剖学的構造に向かって前進するのを必要とせずに、より近位の視野がシミュレートされ得る）。

【0041】

術前内視鏡画像の捕捉中（ブロック４０４）、システムは、既に捕捉されている視野及びまだ捕捉されていない視野を示す指示を内視鏡（１００）のユーザに提供してもよい。これには、例えば、所望の視野から内視鏡画像を捕捉するために内視鏡（１００）が移動又は回転されるべきであることを示す方向プロンプトを含んでもよい（例えば、システムがユーザによって又は特定の処置に基づき、手術部位を取り囲む１０個の異なる視野から内視鏡画像を捕捉するように構成されている場合）。別の例として、これには、固定点に位置する標的の解剖学的構造の表現を有する３次元球体又は他のオブジェクトを表示することと、視野が捕捉されているオブジェクトの領域を、視野が捕捉されていない領域と視覚的に区別してレンダリングすることと、を含んでもよい。このようなシステムでは、内視鏡（１００）のユーザは、異なる視野からの内視鏡画像を捕捉する目的で、内視鏡（１００）をその視野にナビゲートするのを支援するために、レンダリングされた３次元オブジェクトを参照してもよい。

【0042】

一旦捕捉され、視点データに関連付けられると、内視鏡画像のセットは、照会に使用された視点データの正確な又は部分一致に基づいて内視鏡画像が選択され得るデータベースなどの様々な方法で記憶されてよく、又は、入力として視野データを受信し、それに応じて一致するか又は類似の内視鏡画像を提供し得る、オブジェクト又はソフトウェアモジュールにコンパイルされてもよい。

【0043】

図８は、医療処置の間にライブ内視鏡画像マップを受信する（ブロック３０４）などの工程中に実行され得る工程（４１０）の例示的なセットのフローチャートを示す。内視鏡（１００）が医療処置中に配置されると、手術部位のライブ内視鏡画像をリアルタイムで捕捉し（ブロック４１２）、ディスプレイスクリーン（１６）を介してかかる情報が表示され得る。ＩＧＳナビゲーションシステム（１０）は、器具の正常なＩＧＳナビゲーション追跡を提供するために（例えば、オーバーレイされた器具位置（２１１）などの特徴を提供するために）、処置中に位置センサ（１０４）を介して内視鏡（１００）の位置を追跡するように構成されてもよい。このようなデータは、従来は追跡のためにのみ使用され得るものであったが、視野データとして受信され（ブロック４１４）、比較インターフェースの１つ以上の機能を提供するために保持又は記憶されてもよい。

【0044】

システムはまた、捕捉された（ブロック４１２）内視鏡画像に関連付けられた１つ以上のメタデータを受信（ブロック４１６）してもよく、メタデータは、例えば、捕捉時間、捕捉中の処置の段階、捕捉中の器具ステータス（例えば、捕捉中に切断装置が起動されているか否か）、捕捉された（ブロック４１２）内視鏡画像をタグ付け又は他の方法で特定の特性（例えば、捕捉された内視鏡画像を、時系列画像パネル（２１７）内の介在内視鏡画像として表示されるようマーキングする）に関連付ける外科医からの手動入力を含む。受信された（ブロック４１６）内視鏡画像メタデータが、（例えば、ユーザ入力の結果として、又は機器の起動、処置のある段階の完了、若しくは記載されたような他の状況に基づいて自動的に）特定のライブ内視鏡画像がタグ付け又は保存されていることを示す場合、その内視鏡画像は、将来の一致及び（例えば、比較インターフェース（２０３）を介する）表示のために内視鏡画像マップに追加されてもよい。システムは次いで、捕捉された（ブロック４１２）ライブ内視鏡画像を、視野データ、メタデータ、又はそれらの両方に関連付ける（ブロック４１８）ことができ、これは、その捕捉された（ブロック４１２）ライブ内視鏡画像に一致する又は実質的に一致する、以前の内視鏡画像を識別する目的で、作成された（ブロック３０２）画像マップに対する比較、問い合わせ、又は別様の評価が効率的になされ得る形態で内視鏡画像及びデータを記憶又は変換することを含み得る。

【0045】

図９は、比較内視鏡画像を作成する（ブロック３０６）などの工程中に実行され得る工程（４２０）の例示的なセットのフローチャートを示す。一旦視野データに関連付けられる（ブロック４１８）と、ライブ内視鏡画像は、作成された（ブロック３０２）内視鏡画像マップと比較され得、その視野が目下のライブ内視鏡画像が捕捉された視野と一致する、又は実質的に一致する１つ以上の内視鏡画像を内視鏡画像マップが含んでいるかどうかが判定される。ライブ内視鏡画像の視野と一致するか又は実質的に一致する視野は、構成設定された一致閾値を上回ると判定され得る（ブロック４２２）。一致閾値は、内視鏡画像マップ内のライブ内視鏡画像に対して十分な内視鏡画像の一致が存在するかどうかを判定するときの視野の差異を許容するように手動で設定されてもよい。視野の許容可能な差異は、座標毎に表現されてもよく（例えば、ｘ、ｙ、又はｚ座標における差異は、その差が５ｍｍ以下である場合には許容可能な一致と見なされてよく、若しくはヨー、ピッチ、又はロールにおける差異は、その差が１０度以下である場合に許容可能な一致と見なされてもよい）、又は、全ての座標にわたる差の集合と見なされてもよい（例えば、ｘ座標におけるわずかな差は許容可能であり得る一方、ｘ、ｙ、及びｚ座標におけるわずかな差は不許容とされ得る）。

【0046】

画像マップ内のいずれの内視鏡画像も一致閾値を満たさない場合、システムは、十分な一致がないと判定することができ（ブロック４２２）、良好な内視鏡画像の一致を内視鏡画像マップが含む視野に、内視鏡（１００）を置くためになされ得る視野の調節を決定してもよい（ブロック４２４）。これは、例えば、一致閾値は下回るが（ブロック４２２）、次善の一致である、内視鏡画像マップ内の１つ以上の内視鏡画像を特定し、次いで、これらの視野のうちの１つ以上に内視鏡（１００）をナビゲートするための指示をディスプレイスクリーン（１６）を介して（例えば、位置、向き、又はその両方の変更を示す、数値情報又は方向矢印を提供することによって）提供することを含んでもよい。

【0047】

一致閾値を上回る（ブロック４２２）１つ以上の内視鏡画像が内視鏡画像マップ内にあると判定された場合、システムは、最良の又は最も近い一致（例えば、幾つかの画像が閾値を上回っている場合、その視野が、最小の座標ごとの差、又は最小の全座標にわたる総合的な差を有する画像）を決定することができる（ブロック４２６）。いくつかの場合、システムは、決定された（ブロック４２６）最良一致を表示する準備のために、１つ以上の内視鏡画像処理又は画像補間プロセスを実行してもよい（ブロック４２８）。これは、ライブ内視鏡画像用のより良好な比較画像を提供するために、術前に取得された内視鏡画像を１つ以上の方式で修正することを含んでもよく、また、例えば、術前に取得された内視鏡画像のサイズ又は解像度を調整すること、術前に取得された内視鏡画像を平滑化又はぼかし処理すること、術前に取得された内視鏡画像をトリミングすること、術前に取得された内視鏡画像の色、輝度、又は色調を調整すること、及び、内視鏡（１００）を介して捕捉されたライブ内視鏡画像とより良好に視覚的に一致させるための他の変更を含み得る。これはまた、（例えば、画像モーフィング、ブレンディング、又はわずかに異なる視野からの２つの画像を組み合わせるための他の技法を用いて）最良一致であると判定された（ブロック４２６）、等しい又はほぼ等しい１つ以上の内視鏡画像を組み合わせることを含み得る。任意の必要な調整を実行した後（ブロック４２８）、システムは次いで、比較用インターフェースを介した表示に好適な比較出力内視鏡画像を作成してもよく（ブロック４３０）、これは、例えば、最終調整された内視鏡画像を表示に好適な特定のフォーマットに変換することを含み得る。

【0048】

図１０は、図３～図５に示されるものなどの１つ以上の特徴を有する比較インターフェースを介して情報を表示するために実行され得る工程（４３２）の例示的なセットのフローチャートを示す。比較インターフェースを提供するとき、システムは、内視鏡（１００）を介して捕捉され、ライブ内視鏡画像（２０６）として表示され得るようなライブ内視鏡画像を表示してもよい（ブロック４３４）。術前に取得された比較用の内視鏡画像が利用可能である（ブロック４３６）か、又は図６～図９に記載されているように（例えば、最良一致を特定し（ブロック４２６）、それを表示用に準備することによって）作成され得る場合、システムはまた、術前内視鏡画像（２０２）として表示され得る比較用内視鏡画像も表示してよい（ブロック４４０）。一致する好適な内視鏡画像が利用可能でない場合（ブロック４３６）、システムは、内視鏡画像マップが、表示に好適な視野から術前に取得された内視鏡画像を含まないことを示す警告を表示してもよく（ブロック４３８）、好適な内視鏡画像が利用可能となる視野に内視鏡（１００）をナビゲートする上でユーザを支援するための情報（例えば、方向矢印）を提供してもよく、又はそれらの両方を行ってもよい。

【0049】

ライブ内視鏡画像を表示し（ブロック４３４）、術前に取得された比較内視鏡画像を表示する（ブロック４４０）とき、システムは、図３～図５の比較インターフェースに示されるものなどの追加の特徴及び情報を提供してもよい。かかる特徴は、静的に有効化されても、特定のインターフェースのために構成されてもよく、又は手術の間にユーザによって有効化又は無効化されてもよい。例えば、ステータス情報は、ライブ内視鏡画像、比較内視鏡画像、又はその両方に関するステータス情報を表示するために（ブロック４４４）有効化されてもよく（ブロック４４２）、ステータス情報には、術前内視鏡画像ステータス（２０４）、ライブ内視鏡画像ステータス（２０８）、及び時系列ステータス（２１５）のうちの１つ以上が含まれ得る。別の例として、比較内視鏡画像を表示し（ブロック４４０）、ライブ内視鏡画像を表示し（ブロック４３４）、術前内視鏡画像（２０５）のパネルなどの関連付けられたナビゲーション画像のセットを表示する（ブロック４４８）ために、ナビゲーション画像が有効化されてもよい（ブロック４４６）。

【0050】

別の例として、時系列画像表示が有効化されてもよい（ブロック４５０）。有効化されると、説明されたように、システムは、現在のライブ画像の視野に関連付けられた時系列内視鏡画像のセットを（例えば、異なる時点からの複数の内視鏡画像を一致させて準備するために、図９に示されるような工程を実行することによって）決定し（ブロック４５２）、次いで、これらの内視鏡画像をビデオシーケンス、モーフィング内視鏡画像として、又は時系列画像パネル（２１７）内の介在内視鏡画像として表示してもよい（ブロック４５４）。

【0051】

ＩＶ．例示的な組み合わせ
以下の実施例は、本明細書の教示を組み合わせるか又は適用することができる、様々な非網羅的な方法に関する。以下の実施例は、本出願における又は本出願の後の書類提出におけるどの時点でも提示され得る、いずれの請求項の適用範囲をも限定することを目的としたものではないと理解されよう。一切の放棄を意図するものではない。以下の実施例は、単なる例示の目的で与えられるものに過ぎない。本明細書の様々な教示は、他の多くの方法で構成及び適用が可能であると考えられる。また、いくつかの変形では、以下の実施例において言及される特定の特徴を省略してよいことも考えられる。したがって、本発明者又は本発明者の利益の承継者により、後日、そうである旨が明示的に示されない限り、以下に言及される態様又は特徴部のいずれも決定的と見なされるべきではない。以下に言及される特徴を超える更なる特徴を含む請求項が本出願において、又は本出願に関連する後の書類提出において提示される場合、それらの更なる特徴は、特許性に関連するいかなる理由によっても追加されたものと見なされるべきではない。

【実施例0052】

画像誘導手術（ＩＧＳ）ナビゲーションシステムであって、案内カメラと追跡センサとを備える内視鏡であって、追跡センサは、追跡領域と相互作用するように構成されている、内視鏡と、追跡領域との追跡センサの相互作用に基づいてカメラを追跡するように構成された処理装置と、ディスプレイと、を備え、処理装置は、患者の手術部位の過去画像を受信することであって、過去画像が、第１の時間にカメラによって捕捉される、ことと、第１の時間におけるカメラの過去画像追跡データのセットを決定することと、過去画像及び過去画像追跡データのセットを、過去視野として画像マップに追加することであって、画像マップが、手術部位の複数の過去視野を含み、複数の過去視野のうちの各過去視野が、ある視野から捕捉された手術部位の画像と、視野に関連付けられた追跡データのセットと、を含むことと、第２の時間にカメラによって捕捉される手術部位の手術画像を受信することと、第２の時間におけるカメラのライブ画像追跡データのセットを決定することと、複数の過去視野のうちの一致する視野を、ライブ画像追跡データのセット及び一致する視野の追跡データのセットに基づいて決定することと、手術画像、及び一致する視野の手術部位の画像をディスプレイを介して表示することと、を行うように更に構成されている、ＩＧＳナビゲーションシステム。

【実施例0053】

処理装置は、ＩＧＳナビゲーションシステムが使用可能である手術室内に置かれたコンピュータと、手術室の外側に置かれた遠隔コンピュータと、を備え、追跡領域は、追跡磁界発生器によって提供される磁界を含み、過去画像追跡データのセットは、カメラの位置及び向きを記載するものである、実施例１に記載のＩＧＳナビゲーションシステム。