特許 7375001 ＥＮＴツールを備えるカメラの使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-27

(45)【発行日】2023-11-07

(54)【発明の名称】ＥＮＴツールを備えるカメラの使用

(51)【国際特許分類】

   A61B 1/00 20060101AFI20231030BHJP

   A61B 1/045 20060101ALI20231030BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 620

【請求項の数】 11

(21)【出願番号】P 2021518532

(86)(22)【出願日】2019-09-24

(65)【公表番号】

(43)【公表日】2022-01-13

(86)【国際出願番号】 IB2019058068

(87)【国際公開番号】W WO2020070581

(87)【国際公開日】2020-04-09

【審査請求日】2022-07-21

(31)【優先権主張番号】62/741,395

(32)【優先日】2018-10-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/566,818

(32)【優先日】2019-09-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511099630

【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド

【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】グリナー・バディム

(72)【発明者】

【氏名】ゴバリ・アサフ

(72)【発明者】

【氏名】アルガウィ・イェフダ

(72)【発明者】

【氏名】シットニツキー・イリヤ

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２０１３－２３５１１４（ＪＰ，Ａ）

【文献】特開２００６－２１８０２７（ＪＰ，Ａ）

【文献】国際公開第２０１７／１７０８４２（ＷＯ，Ａ１）

【文献】特開２０１７－２２５７００（ＪＰ，Ａ）

【文献】特開２０１２－１２５５７２（ＪＰ，Ａ）

【文献】特開２００２－２６３０５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０１８２２９５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０２２１６１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

装置であって、
ヒト患者の開口部内に挿入されるように構成されたプローブであって、
挿入管と、
前記挿入管の遠位に接続された管状偏向可能部分と、
前記管状偏向可能部分に取り付けられ、視野方向を有するカメラと、
第１のコイル対称軸を有し、前記第１のコイル対称軸が前記カメラの前記視野方向と平行となる状態で前記管状偏向可能部分に取り付けられている、第１の磁場センサコイルと、
第２のコイル対称軸を有し、前記第２のコイル対称軸が前記カメラの前記視野方向に対して垂直となる状態で前記挿入管に取り付けられている、第２の磁場センサコイルと、を含む、プローブと、
前記カメラによって出力された画像を表示するように連結されたディスプレイと、
前記第１の磁場センサコイルおよび前記第２の磁場センサコイルを横断する磁場に応答して前記第１の磁場センサコイル及び前記第２の磁場センサコイルによって生成された信号を受信するように連結されたプロセッサであって、
第１の時間に受信された前記信号に応答して、前記カメラによって生成された初期画像の初期配向を識別し、
前記第１の時間の後の第２の時間に受信された前記信号に応答して、前記カメラによって生成された後続画像の後続配向を識別し、
前記後続画像を前記初期配向に再配向するように、前記後続画像を前記ディスプレイ上で回転させるように構成された、プロセッサと、を含む、装置。

【請求項2】

第３のコイル対称軸を有し、前記第３のコイル対称軸が前記カメラの前記視野方向及び前記第２のコイル対称軸に対して垂直となる状態で前記挿入管に取り付けられている第３の磁場センサコイルを含み、前記プロセッサによって受信された前記信号は、前記第３の磁場センサコイルを横断する前記磁場に応答して前記第３の磁場センサコイルによって生成された信号を更に含む、請求項１に記載の装置。

【請求項3】

前記偏向可能な管状部分内に固定して位置決めされたフレキシブルプリント回路基板（ＰＣＢ）を含み、前記カメラは前記フレキシブルＰＣＢの遠位終端に固定して取り付けられている、請求項１に記載の装置。

【請求項4】

前記フレキシブルＰＣＢは前記挿入管内に延在する、請求項３に記載の装置。

【請求項5】

前記プロセッサは、前記第１の時間及び前記第２の時間に受信された前記信号に応答して前記信号に基づくカメラの回転を判定するように構成され、前記プロセッサは、前記初期画像と前記後続画像とを比較及び解析して画像に基づくカメラの回転を判定するように更に構成され、前記後続画像を回転させることは、前記信号に基づくカメラの回転と前記画像に基づくカメラの回転との平均を適用して前記後続画像を再配向することを含む、請求項１に記載の装置。

【請求項6】

前記初期画像及び前記後続画像を解析することは、前記画像をフィルタリングして前記カメラの並進を除去することを含む、請求項５に記載の装置。

【請求項7】

前記磁場を生成する磁気追跡システムを含み、前記プロセッサは、
前記ヒト患者のコンピュータ断層撮影（ＣＴ）画像を前記磁気追跡システムと位置合わせし、
前記第２の時間に受信された前記信号に応答して、前記カメラの視野方向及び位置を判定し、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信し、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析し、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけ、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングするように構成されている、請求項１に記載の装置。

【請求項8】

ヒト患者のコンピュータ断層撮影（ＣＴ）画像にテクスチャマッピングを適用するための装置の作動方法であって、前記装置はプロセッサを含み、
前記プロセッサが、前記ＣＴ画像を、前記ヒト患者内の磁場センサを追跡するように構成された磁気追跡システムと位置合わせすることと、
前記プロセッサが、前記ヒト患者の開口部内に挿入されたカメラに連結された前記磁場センサから受信した信号に応答して、前記カメラの視野方向及び位置を判定することと、
前記プロセッサが、前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信することと、
前記プロセッサが、前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析して、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけることと、
前記プロセッサが、前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングすることと、を含む、装置の作動方法。

【請求項9】

前記プロセッサが、前記光学画像を受信することは、前記プロセッサが、前記カメラ及び前記カメラの前記視野を透明領域に位置決めすることを含む、請求項８に記載の装置の作動方法。

【請求項10】

装置であって、
ヒト患者内に磁場を生成する磁気追跡システムと、
前記ヒト患者の開口部内に挿入されるように構成されたプローブと、
前記プローブに取り付けられ、視野方向を有するカメラと、
磁場センサであって、前記カメラに連結され、前記磁場センサを横断する前記磁場に応答して信号を生成するように構成された磁場センサと、
画像を表示するように連結されたディスプレイと、
前記信号を受信するように連結されたプロセッサであって、
前記ヒト患者のコンピュータ断層撮影（ＣＴ）画像を前記磁気追跡システムと位置合わせし、
前記信号に応答して、前記カメラの視野方向及び位置を判定し、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信し、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析して、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけ、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングし、
前記ディスプレイ上にテクスチャマッピングされた前記ＣＴ画像を提示するように構成された、プロセッサと、を含む、装置。

【請求項11】

前記光学画像を受信することは、前記カメラ及び前記カメラの前記視野を透明領域に位置決めすることを含む、請求項１０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、参照により本明細書に組み込まれる２０１８年１０月４日出願の米国特許仮出願第６２／７４１，３９５号の利益を主張する。

【0002】

（発明の分野）
本発明は、広義には外科用ツールに関し、具体的にはカメラを組み込んだＥＮＴ（耳鼻咽喉）ツールに関する。

【背景技術】

【0003】

ヒト患者の副鼻腔は、典型的には、ナビゲートすることが困難な狭い蛇行状の通路である。これは、副鼻腔の光学的検査のためにＥＮＴツールを操縦することが容易ではないことを意味する。検査に使用されるカメラを回転させ、検査を実施する医師により保持されるツールの動きによってカメラからの画像が誤って配向されると、ナビゲーションは、典型的には更に複雑となる。画像はスクリーン上で医師に提示され、カメラの回転により、カメラ及び／又はツールの左から右への移動が、スクリーン上では上から下又は右から左への移動として表示される場合がある。

【0004】

Ａｄｌｅｒらの米国特許第７，５８５，２７３号は、対向する遠位端及び近位端を有する侵襲性プローブを記載している。プローブは、エネルギー場を送信するように構成された送信機と、エネルギー場を受信するように構成された受信機と、を含み、送信機及び受信機はプローブの両端部に配設される。制御ユニットは、受信機によって受信されたエネルギー場に応答して、近位端に対する遠位端の配向を決定するように適合される。

【発明の概要】

【課題を解決するための手段】

【0005】

本発明の一実施形態は、装置を提供し、この装置は、
ヒト患者の開口部内に挿入されるように構成されたプローブであって、
挿入管と、
挿入管の遠位に接続された管状偏向可能部分と、
管状偏向可能部分に取り付けられ、視野方向を有するカメラと、
第１のコイル対称軸を有し、第１の軸がカメラの視野方向と平行となる状態で管状偏向可能部分に取り付けられている、第１の磁場センサコイルと、
第２のコイル対称軸を有し、第２の軸がカメラの視野方向に対して垂直となる状態で挿入管に取り付けられている、第２の磁場センサコイルと、からなる、プローブと、
カメラによって出力された画像を表示するように連結されたディスプレイと、
コイルを横断する磁場に応答して第１のセンサコイル及び第２のセンサコイルによって生成された信号を受信するように連結されたプロセッサであって、
第１の時間に受信された信号に応答して、カメラによって生成された初期画像の初期配向を識別し、
第１の時間の後の第２の時間に受信された信号に応答して、カメラによって生成された後続画像の後続配向を識別し、
後続画像を初期配向に再配向するように、後続画像をディスプレイ上で回転させるように構成された、プロセッサと、を含む。

【0006】

開示された実施形態では、装置は、第３のコイル対称軸を有し、第３の軸がカメラの視野方向及び第２のコイル対称軸に対して垂直となる状態で挿入管に取り付けられている第３の磁場センサコイルを含み、プロセッサによって受信された信号は、第３のコイルを横断する磁場に応答して第３のセンサコイルによって生成された信号からもなる。

【0007】

更なる開示された実施形態では、装置は、偏向可能な管状部分内に固定して位置決めされたフレキシブルプリント回路基板（ＰＣＢ）を含み、カメラはフレキシブルＰＣＢの遠位終端に固定して取り付けられている。フレキシブルＰＣＢは、挿入管内に延在してもよい。

【0008】

なお更なる開示された実施形態では、プロセッサは、第１の時間及び第２の時間に受信された信号に応答して信号に基づくカメラの回転を判定するように構成され、プロセッサは、初期画像と後続画像とを比較及び解析して画像に基づくカメラの回転を判定するように更に構成され、後続画像を回転させることは、信号に基づくカメラの回転と画像に基づくカメラの回転との平均を適用して後続画像を再配向することを含む。初期画像及び後続画像を解析することは、画像をフィルタリングしてカメラの並進を除去することを含み得る。

【0009】

代替的な一実施形態では、装置は、磁場を生成する磁気追跡システムを含み、プロセッサは、
患者のコンピュータ断層撮影（ＣＴ）画像を磁気追跡システムと位置合わせし、
第２の時間に受信された信号に応答して、カメラの視野方向及び位置を判定し、
カメラが視野方向に向けられている間に、カメラによって取得された光学画像を受信し、
カメラの視野方向及び位置を用いてＣＴ画像を解析し、カメラの視野内にあるＣＴ画像内で不透明な面を見つけ、
不透明な面に光学画像をオーバーレイして、ＣＴ画像内の不透明な面をテクスチャマッピングするように構成されている。

【0010】

本発明の別の実施形態では、ヒト患者のコンピュータ断層撮影（ＣＴ）画像にテクスチャマッピングを適用するための方法であって、
ＣＴ画像を、患者内の磁場センサを追跡するように構成された磁気追跡システムと位置合わせすることと、
磁場センサに連結されたカメラを患者の開口部内に挿入することと、
磁場センサから受信した信号に応答して、カメラの視野方向及び位置を判定することと、
カメラが視野方向に向けられている間に、カメラによって取得された光学画像を受信することと、
カメラの視野方向及び位置を用いてＣＴ画像を解析し、カメラの視野内にあるＣＴ画像内で不透明な面を見つけることと、
不透明な面に光学画像をオーバーレイして、ＣＴ画像内の不透明な面をテクスチャマッピングすることと、を含む、方法が更に提供される。

【0011】

光学画像を受信することは、カメラ及びカメラの視野を透明領域に位置決めすることからなり得る。

【0012】

本発明の別の実施形態では、
プローブの管状偏向可能部分をプローブの挿入管の遠位に接続することと、
カメラを管状偏向可能部分に取り付けることであって、カメラは視野方向を有する、ことと、
第１のコイル対称軸を有する第１の磁場センサコイルを、第１の軸がカメラの視野方向と平行となる状態で管状偏向可能部分に取り付けることと、
第２のコイル対称軸を有する第２の磁場センサコイルを、第２の軸がカメラの視野方向に対して垂直となる状態で挿入管に取り付けることと、
プローブをヒト患者の開口部内に挿入することと、
カメラによって出力された画像を表示するように連結されたディスプレイを提供することと、
コイルを横断する磁場に応答して、第１のセンサコイル及び第２のセンサコイルによって生成された信号を受信することと、
第１の時間に受信された信号に応答して、カメラによって生成された初期画像の初期配向を識別することと、
第１の時間の後の第２の時間に受信された信号に応答して、カメラによって生成された後続画像の後続配向を識別することと、
後続画像を初期配向に再配向するように、後続画像をディスプレイ上で回転させることと、を含む、方法がなお更に提供される。

【0013】

本発明の別の実施形態では、
ヒト患者内に磁場を生成する磁気追跡システムと、
ヒト患者の開口部内に挿入されるように構成されたプローブと、
プローブに取り付けられ、視野方向を有するカメラと、
磁場センサであって、カメラに連結され、センサを横断する磁場に応答して信号を生成するように構成された磁場センサと、
画像を表示するように連結されたディスプレイと、
信号を受信するように連結されたプロセッサであって、
患者のコンピュータ断層撮影（ＣＴ）画像を磁気追跡システムと位置合わせし、
信号に応答して、カメラの視野方向及び位置を判定し、
カメラが視野方向に向けられている間に、カメラによって取得された光学画像を受信し、
カメラの視野方向及び位置を用いてＣＴ画像を解析し、カメラの視野内にあるＣＴ画像内で不透明な面を見つけ、
不透明な面に光学画像をオーバーレイして、ＣＴ画像内の不透明な面をテクスチャマッピングし、
ディスプレイ上にテクスチャマッピングされたＣＴ画像を提示するように構成された、プロセッサと、を含む、装置がなお更に提供される。

【0014】

以下の本開示の実施形態の詳細な説明を図面と併せ読むことで、本開示のより完全な理解が得られるであろう。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による、ＥＮＴ（耳鼻咽喉）システムの概略図である。

【図2】本発明の一実施形態による、システムで使用されるツールの概略図である。

【図3】本発明の一実施形態による、ツールの遠位端の概略図である。

【図4A】本発明の一実施形態による、アレイ上に形成された画像、及び画像がスクリーン上にどのように表示されるかを示す。

【図4B】本発明の一実施形態による、アレイ上に形成された画像、及び画像がスクリーン上にどのように表示されるかを示す。

【図4C】本発明の一実施形態による、アレイ上に形成された画像、及び画像がスクリーン上にどのように表示されるかを示す。

【図5】本発明の一実施形態による、所望の配向にあるカメラによって生成された画像を維持するために実施される工程のフローチャートである。

【図6】本発明の一実施形態による、患者のＣＴ画像にテクスチャマッピングを適用するために実施される工程のフローチャートである。

【図7】本発明の一実施形態による、フローチャートの工程の態様を説明する概略図である。

【図8】本発明の一実施形態による、フローチャートの工程の態様を説明する概略図である。

【図9】本発明の一実施形態による、フローチャートの工程の態様を説明する概略図である。

【図10】本発明の一実施形態による、フローチャートの工程の態様を説明する概略図である。

【発明を実施するための形態】

【0016】

概論
カメラを患者の開口部に挿入する際に遭遇する問題の１つは、カメラを回転させるときに生じる。例えば、カメラは、患者の副鼻腔を見るために患者の鼻孔に挿入されるＥＮＴツールに組み込むことができるが、良好な視野を提供するために、カメラを回転させる必要がある場合がある。カメラによって生成された画像はスクリーン上に提示されるが、カメラを回転させると、左から右への移動などのツールの後続の移動が誤って配向される場合があり、スクリーン上で、上から下又は右から左に見える場合がある。

【0017】

本発明の実施形態は、カメラのいかなる回転の場合にも、スクリーン上に提示される画像を補正する。

【0018】

一実施形態では、ＥＮＴツールとして使用されるプローブは、プローブの遠位部分に偏向可能な管状部分を有する。プローブの近位部分にある挿入管は、管状部分に接続される。視野方向を画定するカメラは、管状部分の遠位領域に固定して取り付けられ、第１の磁場センサコイルも、管状部分の遠位領域に固定して取り付けられ、その結果、コイルの対称軸は、カメラの視野方向と平行である。第２の磁場センサコイルは、コイルの対称軸がカメラの視野方向に対して垂直になるように、回転可能な管に固定して取り付けられる。

【0019】

ディスプレイは、カメラによって出力された画像を表示するように連結される。

【0020】

プロセッサは、コイルを横断する磁場に応答して第１のセンサコイル及び第２のセンサコイルによって生成された信号を受信するように連結される。プロセッサは、信号を用いて第１の時間にカメラによって生成された初期画像の初期配向を識別し、且つ、信号を用いて第２の時間にカメラによって生成された後続画像の後続配向を識別するようにも構成されている。プロセッサは、続いて、後続画像を初期配向に再配向するように、後続画像をディスプレイ上で回転させることができる。

【0021】

したがって、上記の磁場を生成する磁場追跡システム内にプローブが設置されると、プロセッサは、センサからの信号を使用して、カメラの任意の回転を定量的に判定し、対応する回転をディスプレイ上に提示された画像に適用して、提示された画像の誤った配向を防止することができる。

【0022】

第２の実施形態では、カメラによって取得された画像が解析される。第１の画像は、スクリーン上に提示されてもよく、また、「配向を画定する」画像として選択されてもよい。その後、後続画像が取得され、解析されて、任意のカメラの回転が生じたかどうかが判定される。回転が発生した場合、これは定量化されて、対応する回転が取得された画像に適用され、その結果、画定された配向を維持するスクリーン上に回転された取得画像が提示される。

【0023】

第３の実施形態では、患者のコンピュータ断層撮影（ＣＴ）画像にテクスチャマッピングが適用される。ＣＴ画像は、患者内の磁気センサを追跡するように構成された磁気追跡システムと位置合わせされる。次に、磁気センサに連結されたカメラが患者の開口部に挿入され、センサからの信号は、カメラの視野方向及び位置を付与する。カメラは、その視野方向に向けられている間に光学画像を提供する。

【0024】

プロセッサは、カメラの視野方向及び位置を適用してＣＴ画像を解析し、カメラの視野内にあるＣＴ画像内で不透明な面を見つける。続いて、プロセッサは、不透明な面に光学画像をオーバーレイして、不透明な面をテクスチャマッピングする。

【0025】

システムの説明
以下の説明において、図面中の同様の要素は、同様の数字により識別され、同様の要素は、必要に応じて識別用の数字に文字を添えることにより、区別される。

【0026】

本明細書で任意の数値又は数値の範囲について用いる「約」又は「およそ」という用語は、構成要素の部分又は構成要素の集合が、本明細書において説明されるその意図された目的に沿って機能することを可能にする、好適な寸法の許容誤差を示すものである。より具体的には、「約」又は「およそ」は、挙げられた値の±１０％の値の範囲を指してもよく、例えば、「約９０％」は、８１％～９９％の値の範囲を指してもよい。

【0027】

ここで図１を参照すると、図１は、本発明の一実施形態による、ＥＮＴ（耳鼻咽喉）システム２０の概略図である。以下の説明では、システム２０内のＥＮＴツール２１は、患者２２にバルーン副鼻腔形成処置を行うために使用されることが想定されているが、このツールは、患者に他の処置を行うために使用されてもよいことが理解される。

【0028】

以下に記載されるように、一実施形態では、ツール２１は、磁場センサとして機能し、処置中に磁気追跡システム２３によって追跡される、単軸コイル３２及び二軸コイル３４を含む。追跡を有効にするため、システム２０において、患者２２のＣＴ（コンピュータ断層撮影）画像及び磁気追跡システム２３の座標系が位置合わせされる。ＣＴ画像は、典型的には、磁気共鳴撮像（ＭＲＩ）画像又は透視画像を含むことができるが、本明細書の説明では、画像は、一例として、透視ＣＴ画像を含むことが想定されている。

【0029】

副鼻腔処置前及び処置の間に、磁気追跡システムに含められた磁気放射器アセンブリ２４は、患者の頭部に近接して位置決めされる。アセンブリ２４は磁場放射体２６を含み、磁場放射体２６は、定位置に固定されて、患者２２の頭部が位置する領域３０に交番磁場を送信する。磁場に応答して領域３０内の単軸コイル３２によって生成された電位により、その位置及びその配向を磁気追跡システムの座標系中で測定することが可能になる。位置は、３つの線寸法（３Ｄ）で測定することができ、配向は、単軸コイルの対称軸に直交する２つの軸に対して測定することができる。しかしながら、コイル３２のその対称軸に対する配向は、コイルによって生成された電位から決定することはできない。

【0030】

二軸コイル３４の２つのコイルのそれぞれについても同じである。すなわち、各コイルに関して、３Ｄの位置は、コイル対称軸に直交する２つの軸に対する配向と同様に測定することができるが、その対称軸に対するコイルの配向を判定することはできない。

【0031】

一例として、アセンブリ２４の放射体２６は、患者２２の頭部の周りに、ほぼ蹄鉄形に配置される。しかしながら、アセンブリ２４の放射体に関する代替的な構成は明らかであり、そのような全ての構成は本発明の範囲内に含まれると想定される。

【0032】

処置に先立って、画像の既知の位置（例えば、患者の鼻の先端など）に磁気センサを位置決めすることによって、磁気追跡システムの座標系とＣＴ画像との位置合わせが行なわれてよい。しかしながら、座標系を位置合わせするための任意の他の便利なシステムを使用してもよい。

【0033】

放射体２６並びにコイル３２及びコイル３４を含むシステム２０の要素は、システムプロセッサ４０の全体的な制御の下にある。プロセッサ４０は、キーパッド、及び／又はマウス若しくはトラックボールなどのポインティングデバイスを典型的に含む、動作制御装置５８を含むコンソール５０内に搭載され得る。コンソール５０は、１つ以上のケーブルを介して、且つ／又は無線で、放射体並びにコイル３２及びコイル３４に接続される。医師５４は、動作制御装置５８を用いて、システム２０を用いるＥＮＴ処置を実行しつつ、プロセッサと相互作用する。処置を実行している間、プロセッサは、ディスプレイ５６（本明細書ではスクリーン５６とも称される）に処置の結果を提示してもよい。

【0034】

プロセッサ４０は、メモリ４２に記憶されたソフトウェアを用いてシステム２０を操作する。ソフトウェアは、例えば、ネットワーク上で、プロセッサ４０に電子形態でダウンロードすることができるか、又は、ソフトウェアは、代替的に若しくは追加的に、磁気メモリ、光学メモリ、若しくは電子メモリなどの、非一時的な有形媒体で提供、かつ／又は記憶できる。

【0035】

図２はツール２１の概略図であり、図３は、本発明の一実施形態によるツールの遠位端２５の概略図である。ツール２１は、互いに接続された近位部分８０と遠位部分８２とを含むが、遠位部分は近位部分から分解除去され得る。

【0036】

遠位端２５は、本明細書ではプローブ２５とも称される。プローブ２５において、遠位部分８２は、真っ直ぐな構成８６から湾曲した構成８８へと調整可能に曲げることができる多関節管状部分８４を含み、後者の湾曲した構成８８は、図２で破線によって概略的に示されている。その真っ直ぐな構成にあるとき、管状部分８４は対称軸ｙを有する。湾曲した構成は、ｙ軸、及びｙ軸に直交するｘ軸を含む平面内で生じる。本明細書の説明では、ｙ軸及びｘ軸の両方に直交するｚ軸が存在すると想定される。

【0037】

真っ直ぐな構成から曲がった構成への、及びその逆への調整は、ノブ９０を回転させることによって、ワイヤ５２に張力を加え、ワイヤ５２上の張力を解放することによって、実行され得る。これも以下に説明するように、ワイヤ５２は、遠位端２５からノブ９０まで延在する。

【0038】

管状部分８４は、その非関節近位端９２で挿入管１００に固定して接続され、挿入管１００は、図２で両方向矢印によって示されるように、対称軸ｙを中心に回転することができる。管１００の回転は、回転ノブ９０によって実施されてもよい。このため、ノブ９０は、多関節部分８４の屈曲及び管１００の回転の２つの機能を実行する。どの機能が実行されるかは、スライディング制御装置１０２の位置に応じる。制御装置の第１の位置では、ノブ９０の回転により多関節部分８４が偏移するが、管１００は静止したままである。制御装置の第２の位置では、ノブの回転により、管１００がノブと共に管の対称軸を中心に回転するが、部分８４はその偏移（又は未偏移）状態を維持する。

【0039】

管１００及び部分８４は、一体となって管状プローブ１０１を形成するが、このプローブは、患者２２の開口部（例えば、患者の鼻孔及び／又は副鼻腔）に挿入可能であるように寸法決めされる。

【0040】

ほぼ矩形のフレキシブルプリント回路基板（ＰＣＢ）１２０は、管状部分８４内に固定して位置決めされ、近位部分８０内を近位方向に延在する。ＰＣＢ１２０は、管状部分がその湾曲した構成へと曲がると、ＰＣＢがそれと共に曲がるように、ｘｙ平面内で整列する。ＰＣＢは、部分８４を上部領域及び下部領域に分割し、下部領域は、ガイドワイヤ、バルーン副鼻腔形成機構、及び１つ以上の流体などの要素が近位部分８０からチャネルを貫いて通過することを可能にするワーキングチャネルとして機能することができる。これらの要素の機能は本発明の実施形態と関連しないため、簡潔化のため、その機能を本明細書で説明しない。

【0041】

カメラ６２は、ＰＣＢ１２０の遠位終端の上面に取り付けられ、カメラは、光学センサの平面矩形アレイ６４を有すると想定され、このアレイは、部分８４のｘ軸及びｚ軸に平行であり、したがってｙ軸に直交する縁部を有する。アレイ６４は、部分８４のｘｙｚ軸に平行であり、且つアレイ６４の中心に原点を有する、ｘ_ａｙ_ａｚ_ａ軸の一式を有すると想定される。一実施形態では、カメラ６２は、およそ６０度の全視野（field of view、ＦＯＶ）に対して約±３０度のＦＯＶを有する。

【0042】

発光ダイオード（ＬＥＤ）６６は、ＰＣＢの上面に取り付けられ、ＬＥＤは、部分８４が患者２２に挿入されたときにアレイ６４上に形成される画像に照明を提供する。

【0043】

単軸センサコイル３２も、ＰＣＢ１２０の遠位終端においてその上面に取り付けられるが、このコイルは、その対称軸が部分８４の対称軸ｙと平行になるように取り付けられる。

【0044】

二軸コイル３４は、典型的には表面上にめっきすることによって、非関節近位端９２の表面上に形成される。本明細書に記載される一実施形態では、二軸コイル３４は、ほぼ平面状であり、且つ、その対称軸が互いに直交し、また単軸コイル３２の対称軸とも直交する（すなわち垂直となる）ように構成された、２つのセンサコイル３４Ａ、センサコイル３４Ｂを含む。本明細書の説明では、センサコイル３４Ａ、センサコイル３４Ｂは、部分８４のｘ軸及びｚ軸にそれぞれ平行なそれらの対称軸を有すると想定される。

【0045】

いくつかの実施形態では、本明細書ではコイル３４Ａであると想定される１つのセンサのみが存在する。以下の説明は、コイル３４Ａ、コイル３４Ｂが二軸コイル３４として存在することを想定しており、この説明は、単一のコイル３４Ａのみが存在する場合には、必要に応じて変更して適合されてもよい。

【0046】

センサコイル、カメラ、及びＬＥＤのための接続導線がＰＣＢ１２０上に形成されるが、この導線は、これらの要素と近位部分８０及びプロセッサ４０との間で信号を伝達する。

【0047】

図４Ａ、図４Ｂ、図４Ｃは、本発明の一実施形態による、アレイ６４上に形成された画像、及び画像がスクリーン５６上にどのように表示されるかを示す。全ての図では、アレイ６４は、アレイのｚ_ａ軸に平行なより大きい寸法を有する矩形であると想定される。アレイによって生成された画像はスクリーン５６上に表示されるが、スクリーン５６は、その垂直寸法よりも大きな水平寸法を有すると想定される。すなわち、スクリーン５６は横置き配向（landscape orientation）であると想定される。

【0048】

スクリーン５６が回転できない間、アレイ６４は回転することができ、例えば、これは軸ｙ_ａを中心に回転することができる。

【0049】

図４Ａは、アレイ６４がまだ軸ｙ_ａを中心に回転していない状況を示す。この場合、アレイの画像１３０Ａは、スクリーン５６上に表示され、アレイによって見られる光景の要素、例えば棒線画１３４は、光景の回転に対して変化しない。いくつかの実施形態では、アレイ６４によって生成された画像の全体ではなく、円形部分１３８Ａによって例示されるように画像の中央部分がスクリーン５６上に表示される。

【0050】

図４Ｂは、アレイ６４がｙ_ａ軸を中心に時計回りに４５度回転した状況を示す。この場合、アレイの画像１３０Ｂがスクリーン５６上に表示され、アレイによって見られる光景の要素、例えば棒線画１３４は、反時計回り方向に４５度回転している。円形領域１３８Ｂが表示されてもよく、これは４５度の回転を示す。

【0051】

図４Ｃは、アレイ６４がｙ_ａ軸を中心に時計回りに９０度回転した状況を示す。この場合、アレイの画像１３０Ｃがスクリーン５６上に表示され、アレイによって見られる光景の要素、例えば棒線画１３４は、反時計回り方向に９０度回転している。円形領域１３８Ｃは、９０度の回転を示す。

【0052】

上記で参照された図４Ｂ及び図４Ｃの部分内のスクリーン５６は、これが、スクリーン５６を見たときの医師５４によって見られる最終表示ではなく、また、画像１３０Ｂ及び画像１３０Ｃは仮想画像であることを示すために、破線で描かれている。むしろ、本発明の実施形態では、医師によって見られるディスプレイは図４Ｂの部分１４０及び図４Ｃの部分１４２に示され、スクリーン４６は実線で描かれている。

【0053】

図４Ｂに示すように、本発明の実施形態は、仮想画像１３０Ｂを時計回りに４５度回転させて、円形領域１５２Ｂを備える表示画像１５０Ｂを形成する。同様に、図４Ｃに示すように、本発明の実施形態は、仮想画像１３０Ｃを時計回りに９０度回転させて、円形領域１５２Ｃを備える表示画像１５０Ｃを形成する。

【0054】

部分１４０及び１４２は、アレイ６４の４５度及び９０度の回転が、表示画像の対応する回転によって相殺されることを示しているが、一般に、アレイ６４の任意の角度θの回転は、表示画像の回転θによって相殺され得ことが理解されよう。

【0055】

したがって、処置中、本発明の実施形態は、表示画像の回転θによってアレイ６４の回転を任意の角度θだけ相殺する。図５のフローチャートは、アレイ６４の回転を相殺するための工程を説明する。

【0056】

処置中、本発明の実施形態はまた、アレイ６４によって取得された画像を使用して、患者２２のＣＴ画像にテクスチャマッピングを適用する。更に以下の図６のフローチャートは、こうしたテクスチャマッピングを適用するための工程を説明する。２つのフローチャートの工程は、互いに独立しており、同時に実施されてもよい。

【0057】

図５は、本発明の一実施形態による、所望の配向にあるカメラ６２によって生成された画像を維持するために実施される工程のフローチャートである。

【0058】

初期工程２００では、上述のように、磁気追跡システム２３及び患者２２のＣＴ画像の座標系が位置合わせされる。位置合わせを実行するために、磁気追跡システム２３が起動され、上述のように、単軸コイル３２及び二軸コイル３４の位置及び配向を追跡するように使用される。追跡はリアルタイムで更新されると想定され、その結果、例えば、一実施形態では、システム２３は、その追跡データを２０Ｈｚの速度で更新すると想定されるが、更新速度はこれより遅くても速くてもよい。ツール２１はセンサ３２からの信号との位置合わせに使用されて、ツールの遠位先端の３Ｄ位置を提供することができる。しかしながら、位置合わせのための任意の他の便利な方法を使用してもよい。

【0059】

カメラ起動工程２０２において、医師５４は、カメラ６２を起動させ、その結果、カメラによって生成された光学ビデオ画像がスクリーン５６上で医師に向けて表示される。典型的には、画像は円形であり、円形部分１３８Ａ（図４Ａ）と概ね同様である。画像はリアルタイムで更新され、例えば、本明細書の説明では、画像は生成されて、毎秒２０フレーム（ｆｐｓ）の速度で、すなわち、追跡更新と同じ速度で更新されると想定される。しかしながら、本発明の他の実施形態は、より遅い又はより速いフレーム生成速度で動作してもよい。追跡更新が画像更新よりも速い場合、追跡更新からの位置は、画像更新と対応するように平均化されてもよい。

【0060】

挿入工程２０４において、医師５４はツール２１を患者２２の鼻孔に挿入する。挿入されると、プロセッサ４０は、医師が見るためにカメラ６２によって生成された患者２２の内部要素のビデオ画像を表示する。ビデオ画像はスクリーン５６上に表示される。

【0061】

選択配向工程２０６では、医師は、一定に維持されるべき表示画像の配向を選択する。典型的には、医師は、表示画像が回転した結果望まれない配向にあることを通知し、続いて、画像が所望の配向に戻るようにツール２１を回転させることによって、この選択を行うことができる。

【0062】

医師は、制御装置５８、又は別の制御装置、例えば、ツール２１のハンドルに組み込まれ得るボタンを使用して選択を行う。制御装置を起動することで、プロセッサ４０に命令が送信されて、その軸ｙ_ａ、すなわちアレイ６４に直交する軸を中心としたカメラ６２の回転の測定が開始する。フローチャートの以下の工程がない場合、軸ｙ_ａを中心とした回転によって、画像１３０Ｂ及び画像１３０Ｃ（図４Ｂ及び図４Ｃ）により例示されるものなどの表示画像の回転が起きることが理解されよう。

【0063】

回転測定値比較工程２０８では、プロセッサ４０は、２つの方法のうちの少なくとも１つで、軸ｙ_ａを中心としたカメラ６２の回転の連続的な変化を測定する。

【0064】

第１の方法では、プロセッサ４０は、センサ３２及びセンサ３４からの連続的な追跡信号を使用して、連続する信号間で軸ｙ_ａを中心とした回転があったか否かを決定する。上述したように、センサ３２からの信号は、この情報を提供しない（センサ３２の対称軸が軸ｙ_ａであるため）が、センサ３４からの信号はこの情報を提供する。それは、管状部分８４がその真っ直ぐな構成８６にあるときにこれらの対称軸は軸ｙ_ａと直交するためであることが理解されよう。必要な場合はセンサ３２からの信号と共に取られるセンサ３４からの信号は、軸ｙ_ａが軸ｙと平行でないときに、管状部分８４が真っ直ぐな構成８６から湾曲した構成８８へと曲がった場合であっても、必要な情報を提供することも理解されよう。

【0065】

第２の方法では、プロセッサ４０は、アレイ６４によって取得された連続画像を比較して、アレイの平面内でアレイの中心を中心とした、すなわちｙ_ａ軸に直交した有効な回転が画像間であったか否かを判定する。回転があったか否かを判定するために、プロセッサ４０は、ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｆｉｎｄ－ｉｍａｇｅ－ｒｏｔａｔｉｏｎ－ａｎｄ－ｓｃａｌｅ－ｕｓｉｎｇ－ａｕｔｏｍａｔｅｄ－ｆｅａｔｕｒｅ－ｍａｔｃｈｉｎｇ．ｈｔｍｌで見出されるものなどの当該技術分野で既知の任意の便利な画像処理法を使用する。

【0066】

プロセッサによって実行される比較は、並進に起因する変化など、連続画像間の他の可能な変更を除外することが理解されるであろう。連続画像間の並進は、画像化されている物体に対して医師５４がツール２１を左右に移動させることによって引き起こされ得る。

【0067】

工程２０８が肯定を返した場合、すなわち、プロセッサが、連続画像又は連続追跡測定値の間で回転が生じたと判定した場合、続いて相殺肯定２１０において、プロセッサは、発生した回転を測定し、スクリーン５６上に表示された画像に対応する回転を適用する。表示された画像は、カメラ６２のいかなる回転も相殺する。

【0068】

いくつかの実施形態では、第１の回転測定方法及び第２の回転測定方法の両方が使用され、この場合、工程２１０で測定された回転は、両方のシステムの回転の平均を含んでもよい。

【0069】

工程２０８が否定を返した場合、すなわち、プロセッサが、連続画像間又は連続追跡測定値の間に回転が存在しないと判定した場合、制御装置は工程２０８の開始に戻る。

【0070】

プロセッサ４０は、医師によって実行される処置の過程で比較工程２０８を反復的に実施し、その結果、医師が工程２０６で一定に維持されるべき表示画像の配向を選択した後は、軸ｙ_ａを中心としたカメラ６２の回転は全て相殺される。

【0071】

図６は、患者２２及び図のＣＴ画像にテクスチャマッピングを適用するために実施される工程のフローチャートであり、図７、８、９、１０は、本発明の一実施形態による、工程の態様を説明する概略図である。

【0072】

初期準備工程２５０では、プロセッサ４０は、患者２２のＣＴ画像にボリュームレンダリングを適用する。プロセッサは、当該技術分野で既知のボリュームレンダリングのための任意の便利な方法を使用してよい。加えて、カメラ６２の視野（ＦＯＶ）もプロセッサに入力される。

【0073】

工程２５２、２５４、及び２５６はそれぞれ、ほぼ図５のフローチャートの工程２００、２０２、及び２０４について上記で説明された通りである。

【0074】

追跡カメラ工程２５８では、プロセッサ４０は、カメラ６２の位置及び配向を取得し、カメラによって取得された光学画像を記憶する。プロセッサは、センサ３２及びセンサ３４から受信した信号を使用してカメラの位置及び配向を取得する。本明細書の説明では、その画像を取得するとき、カメラの配向は、カメラが向いている方向、すなわちカメラ視野方向を含むと想定される。図７は、カメラによって取得された画像の概略図である。

【0075】

工程２５８は、典型的には、カメラ６２によって取得された光学画像を記憶する命令をプロセッサ４０に与える医師５４によって実施される。以下に説明するように、取得された画像は、ＣＴ画像のテクスチャ撮像のために適用される。工程２５８を実施するための典型的なシナリオは、医師が、スクリーン５６上のカメラによって取得された画像中で、臓器の出血などの関心対象の光景を観察するものである。

【0076】

工程２５８の完了後、以下の工程２６０、２６２をリアルタイムで実行してもよい。代替的に又は追加的に、以下の工程は、工程２５８が完了した後のどこかの時点で、例えば患者２２に対して実行された完了した処置の結果を医師５４が審査することにより実施されてよい。

【0077】

表面判定工程２６０では、プロセッサ４０は、カメラの位置、配向、及び視野（ＦＯＶ）をＣＴ画像に適用して、カメラによって「見られる」ＣＴ画像のボリュームレンダリング表面の部分を識別する。カメラの位置及び配向は、工程２５８で見られる通りである。プロセッサは、工程２５０でカメラのＦＯＶを判定する。

【0078】

図８は、工程２６０の表面判定を説明する、患者２２のＣＴ画像の部分２８０の概略断面図である。ツール２１を挿入するとき、カメラ６２を含むツールの遠位端は、典型的には空気中にあり、すなわち、ハウンスフィールド単位（ＨＵ）がゼロに等しい、空洞などのＣＴ画像部分２８０の透明領域２８４内にある。ＣＴ画像及び磁気追跡システム、したがってカメラの座標系が位置合わせされるため、プロセッサ４０は、カメラの位置及び視野方向をＣＴ画像に適用し、その結果、部分２８０では、矩形２８８がカメラを表し、破線２９２がカメラ視野方向を表す。

【0079】

カメラのＦＯＶは破線２９６によって示され、プロセッサは、ゼロではないＨＵ値を有するＣＴ画像の部分３００に接続するまでＦＯＶ線を伸長させる。こうした部分は、典型的には、骨又は脂肪などの不透明要素の画像を含む。カメラは透明領域２８４内にあるため、部分３００を満たすＦＯＶ線２９６によって形成される表面によって画定される表面領域３０４は、カメラによって「見られる」ＣＴ画像の部分であり、図７の画像に対応する。

【0080】

図９は、ＣＴ画像部分３００、すなわちゼロではないＨＵ値を有するＣＴ画像の部分と、部分３００と会合する線２９６と、によって形成された表面領域３０４を示す。

【0081】

画像オーバーレイ工程２６２では、プロセッサは、工程２５６で取得及び記憶された対応する画像をＣＴ表面部分３０４上にオーバーレイし、テクスチャマッピングされた画像を生成する。図１０は、ＣＴ画像部分３００上への図７の画像のオーバーレイ含む、テクスチャマッピングされた画像を示す。

【0082】

上記の工程２５８、２６０、及び２６２の説明は、非反復プロセスを想定する。しかしながら、いくつかの実施形態では、工程２５８、２６０、及び２６２は、破線矢印２６４で示されるように繰り返してもよい。所与の繰り返しは、例えば、カメラが取得した画像中で別の関心対象の光景を観察した際に医師によって引き起こされるものであってもよい。代替的に又は追加的に、処置中の時間の少なくとも一部の間に、医師は、繰り返しをリアルタイム繰り返しとなるように実施してもよい。リアルタイム繰り返しでは、ＣＴ画像のテクスチャマッピングは、スクリーン５６上で連続的に更新され得る。

【0083】

上記の説明から、本発明の実施形態は、図５のフローチャート及び図６のフローチャートによって説明される２つの異なるアルゴリズムを実行するように構成された単一の装置片を含むことが理解されよう。２つのアルゴリズムは独立しており、単一の装置片によって同時に又は非同時に実行され得る。

【0084】

したがって、上記に述べた実施形態は、例として引用したものであり、また本発明は、上記に具体的に示し説明したものに限定されないことが理解されよう。むしろ、本発明の範囲は、本明細書において上記される様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。

【0085】

〔実施の態様〕
（１） 装置であって、
ヒト患者の開口部内に挿入されるように構成されたプローブであって、
挿入管と、
前記挿入管の遠位に接続された管状偏向可能部分と、
前記管状偏向可能部分に取り付けられ、視野方向を有するカメラと、
第１のコイル対称軸を有し、前記第１の軸が前記カメラの前記視野方向と平行となる状態で前記管状偏向可能部分に取り付けられている、第１の磁場センサコイルと、
第２のコイル対称軸を有し、前記第２の軸が前記カメラの前記視野方向に対して垂直となる状態で前記挿入管に取り付けられている、第２の磁場センサコイルと、を含む、プローブと、
前記カメラによって出力された画像を表示するように連結されたディスプレイと、
前記コイルを横断する磁場に応答して前記第１のセンサコイル及び前記第２のセンサコイルによって生成された信号を受信するように連結されたプロセッサであって、
第１の時間に受信された前記信号に応答して、前記カメラによって生成された初期画像の初期配向を識別し、
前記第１の時間の後の第２の時間に受信された前記信号に応答して、前記カメラによって生成された後続画像の後続配向を識別し、
前記後続画像を前記初期配向に再配向するように、前記後続画像を前記ディスプレイ上で回転させるように構成された、プロセッサと、を含む、装置。
（２） 第３のコイル対称軸を有し、前記第３の軸が前記カメラの前記視野方向及び前記第２のコイル対称軸に対して垂直となる状態で前記挿入管に取り付けられている第３の磁場センサコイルを含み、前記プロセッサによって受信された前記信号は、前記第３のコイルを横断する前記磁場に応答して前記第３のセンサコイルによって生成された信号を更に含む、実施態様１に記載の装置。
（３） 前記偏向可能な管状部分内に固定して位置決めされたフレキシブルプリント回路基板（ＰＣＢ）を含み、前記カメラは前記フレキシブルＰＣＢの遠位終端に固定して取り付けられている、実施態様１に記載の装置。
（４） 前記フレキシブルＰＣＢは前記挿入管内に延在する、実施態様３に記載の装置。
（５） 前記プロセッサは、前記第１の時間及び前記第２の時間に受信された前記信号に応答して信号に基づくカメラの回転を判定するように構成され、前記プロセッサは、前記初期画像と前記後続画像とを比較及び解析して画像に基づくカメラの回転を判定するように更に構成され、前記後続画像を回転させることは、前記信号に基づくカメラの回転と前記画像に基づくカメラの回転との平均を適用して前記後続画像を再配向することを含む、実施態様１に記載の装置。

【0086】

（６） 前記初期画像及び前記後続画像を解析することは、前記画像をフィルタリングして前記カメラの並進を除去することを含む、実施態様５に記載の装置。
（７） 前記磁場を生成する磁気追跡システムを含み、前記プロセッサは、
前記患者のコンピュータ断層撮影（ＣＴ）画像を前記磁気追跡システムと位置合わせし、
前記第２の時間に受信された前記信号に応答して、前記カメラの視野方向及び位置を判定し、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信し、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析し、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけ、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングするように構成されている、実施態様１に記載の装置。
（８） ヒト患者のコンピュータ断層撮影（ＣＴ）画像にテクスチャマッピングを適用するための方法であって、
前記ＣＴ画像を、前記患者内の磁場センサを追跡するように構成された磁気追跡システムと位置合わせすることと、
前記磁場センサに連結されたカメラを前記患者の開口部内に挿入することと、
前記磁場センサから受信した信号に応答して、前記カメラの視野方向及び位置を判定することと、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信することと、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析して、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけることと、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングすることと、を含む、方法。
（９） 前記光学画像を受信することは、前記カメラ及び前記カメラの前記視野を透明領域に位置決めすることを含む、実施態様８に記載の方法。
（１０） 方法であって、
プローブの管状偏向可能部分を前記プローブの挿入管の遠位に接続することと、
カメラを前記管状偏向可能部分に取り付けることであって、前記カメラは視野方向を有する、ことと、
第１のコイル対称軸を有する第１の磁場センサコイルを、前記第１の軸が前記カメラの前記視野方向と平行となる状態で前記管状偏向可能部分に取り付けることと、
第２のコイル対称軸を有する第２の磁場センサコイルを、前記第２の軸が前記カメラの前記視野方向に対して垂直となる状態で前記挿入管に取り付けることと、
前記プローブをヒト患者の開口部内に挿入することと、
前記カメラによって出力された画像を表示するように連結されたディスプレイを提供することと、
前記コイルを横断する磁場に応答して、前記第１のセンサコイル及び前記第２のセンサコイルによって生成された信号を受信することと、
第１の時間に受信された前記信号に応答して、前記カメラによって生成された初期画像の初期配向を識別することと、
前記第１の時間の後の第２の時間に受信された前記信号に応答して、前記カメラによって生成された後続画像の後続配向を識別することと、
前記後続画像を前記初期配向に再配向するように、前記後続画像を前記ディスプレイ上で回転させることと、を含む、方法。

【0087】

（１１） 第３のコイル対称軸を有する第３の磁場センサコイルを、前記第３の軸が前記カメラの前記視野方向及び前記第２のコイル対称軸に対して垂直となる状態で前記挿入管に取り付けることを含み、前記信号を受信することは、前記第３のコイルを横断する前記磁場に応答して前記第３のセンサコイルによって生成された信号を受信することを更に含む、実施態様１０に記載の方法。
（１２） フレキシブルプリント回路基板（ＰＣＢ）を前記偏向可能な管状部分内に固定して位置決めすることと、前記カメラを前記フレキシブルＰＣＢの遠位終端に固定して取り付けることと、を含む、実施態様１０に記載の方法。
（１３） 前記フレキシブルＰＣＢを前記挿入管内に延在させることを含む、実施態様１２に記載の方法。
（１４） 前記第１の時間及び前記第２の時間に受信された前記信号に応答して信号に基づくカメラの回転を判定することと、前記初期画像と前記後続画像とを比較及び解析して画像に基づくカメラの回転を判定することと、を含み、前記後続画像を回転させることは、前記信号に基づくカメラの回転と前記画像に基づくカメラの回転との平均を適用して前記後続画像を再配向することを含む、実施態様１０に記載の方法。
（１５） 前記初期画像及び前記後続画像を解析することは、前記画像をフィルタリングして前記カメラの並進を除去することを含む、実施態様１４に記載の方法。

【0088】

（１６） 磁気追跡システムを用いて前記磁場を生成することと、
前記患者のコンピュータ断層撮影（ＣＴ）画像を前記磁気追跡システムと位置合わせすることと、
前記第２の時間に受信された前記信号に応答して、前記カメラの視野方向及び位置を判定することと、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信することと、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析して、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけることと、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングすることと、を含む、実施態様１０に記載の方法。
（１７） 装置であって、
ヒト患者内に磁場を生成する磁気追跡システムと、
前記ヒト患者の開口部内に挿入されるように構成されたプローブと、
前記プローブに取り付けられ、視野方向を有するカメラと、
磁場センサであって、前記カメラに連結され、前記センサを横断する前記磁場に応答して信号を生成するように構成された磁場センサと、
画像を表示するように連結されたディスプレイと、
前記信号を受信するように連結されたプロセッサであって、
前記患者のコンピュータ断層撮影（ＣＴ）画像を前記磁気追跡システムと位置合わせし、
前記信号に応答して、前記カメラの視野方向及び位置を判定し、
前記カメラが前記視野方向に向けられている間に、前記カメラによって取得された光学画像を受信し、
前記カメラの前記視野方向及び前記位置を用いて前記ＣＴ画像を解析して、前記カメラの視野内にある前記ＣＴ画像内で不透明な面を見つけ、
前記不透明な面に前記光学画像をオーバーレイして、前記ＣＴ画像内の前記不透明な面をテクスチャマッピングし、
前記ディスプレイ上にテクスチャマッピングされた前記ＣＴ画像を提示するように構成された、プロセッサと、を含む、装置。
（１８） 前記光学画像を受信することは、前記カメラ及び前記カメラの前記視野を透明領域に位置決めすることを含む、実施態様１７に記載の装置。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】