特許 5718537 内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5718537

(24)【登録日】2015年3月27日

(45)【発行日】2015年5月13日

(54)【発明の名称】内視鏡システム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20150423BHJP

   A61B 1/04 20060101ALI20150423BHJP

   A61B 6/03 20060101ALI20150423BHJP

【ＦＩ】

   A61B1/00 320Z

   A61B1/00 300D

   A61B1/04 370

   A61B6/03 360E

   A61B6/03 377

【請求項の数】12

【全頁数】29

(21)【出願番号】特願2014-544287(P2014-544287)

(86)(22)【出願日】2014年3月5日

(86)【国際出願番号】JP2014055638

(87)【国際公開番号】WO2014141968

(87)【国際公開日】20140918

【審査請求日】2014年9月12日

(31)【優先権主張番号】特願2013-49290(P2013-49290)

(32)【優先日】2013年3月12日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】秋本 俊也

(72)【発明者】

【氏名】大西 順一

(72)【発明者】

【氏名】伊藤 満祐

【審査官】 小田倉 直人

(56)【参考文献】

【文献】 国際公開第２０１２／１０１８８８（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／９４５１８（ＷＯ，Ａ２）

【文献】 特開２００３−２６５４０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００

Ａ６１Ｂ １／０４

Ａ６１Ｂ ６／０３

(57)【特許請求の範囲】

【請求項1】

被検体の管腔臓器の位置情報と対応付けられた画像情報を記憶する画像記憶部と、
前記画像情報に基づいて、任意の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成部と、
内視鏡内に設けられ、前記被検体の管腔臓器内を撮像する撮像部と、
前記仮想内視鏡画像生成部により生成された前記仮想内視鏡画像と前記撮像部の撮像により生成される内視鏡画像とを比較し、当該内視鏡画像と類似する仮想内視鏡画像を抽出する位置合わせ処理部と、
前記位置合わせ処理部により抽出された前記仮想内視鏡画像に対応付けられた位置情報に基づいて、前記被検体の管腔臓器内における前記内視鏡挿入部の先端位置を推定する位置推定部と、
前記位置推定部により推定された前記内視鏡挿入部の先端位置が、前記管腔臓器内の分岐に関する特徴領域内に在るか否かを判定する特徴領域判定部と、
前記特徴領域判定部により前記内視鏡挿入部の先端位置が前記特徴領域内に在ると判定された場合、前記位置推定部により推定された前記内視鏡挿入部の先端位置を記憶する記憶部と、
前記位置合わせ処理部が前記内視鏡画像と類似する仮想内視鏡画像を抽出できない場合、前記記憶部に記憶された前記内視鏡挿入部の先端位置に基づいて、前記特徴領域判定部により特徴領域内に在ると判定された前記内視鏡挿入部の先端位置に対応する仮想内視鏡画像を候補情報として表示部へ提示する候補情報提示制御部と、
を備えたことを特徴とする内視鏡システム。

【請求項2】

前記記憶部は更に、前記内視鏡挿入部の先端位置に対応する仮想内視鏡画像を記憶することを特徴とする請求項１に記載の内視鏡システム。

【請求項3】

前記画像情報から所定の管腔臓器を抽出し、３次元管腔臓器画像を生成する管腔臓器抽出部と、
前記画像情報に基づいて、少なくとも前記所定の管腔臓器内における挿入開始位置から目標位置までの経路データを生成する経路データ生成部と、
を更に備え、
前記候補情報提示制御部は、前記経路データを前記３次元管腔臓器画像上または前記画像情報を任意の方向へ切り出した２次元断層画像上に重畳すると共に、前記経路データ上又は該経路データ近傍に前記候補情報を提示することを特徴とする請求項1に記載の内視鏡システム。

【請求項4】

前記特徴領域判定部は、前記内視鏡挿入部の先端位置と前記所定の管腔臓器内における前記管腔が分岐した分岐部との距離に基づいて、前記内視鏡挿入部の先端位置が前記特徴領域内に在るか否かを判定することを特徴とする請求項１に記載の内視鏡システム。

【請求項5】

前記候補情報提示制御部は、前記仮想内視鏡画像に加え、当該仮想内視鏡画像に対応する前記内視鏡挿入部の先端位置に関する候補位置情報を前記候補情報として提示することを特徴とする請求項１に記載の内視鏡システム。

【請求項6】

前記候補情報提示制御部は、前記仮想内視鏡画像に加え、前記内視鏡挿入部の先端の対物光学系の視線の情報を前記候補情報として提示することを特徴とする請求項１に記載の内視鏡システム。

【請求項7】

前記候補情報提示制御部は、前記仮想内視鏡画像に加え、前記内視鏡画像から算出した前記管腔の内径の情報を前記候補情報として提示することを特徴とする請求項１に記載の内視鏡システム。

【請求項8】

前記候補情報提示制御部は、前記内視鏡挿入部の先端の位置が前記経路データから所定距離遠ざかった場合に前記候補位置情報を前記候補情報として提示することを特徴とする請求項２に記載の内視鏡システム。

【請求項9】

前記位置推定部は、前記内視鏡挿入部の先端に設けたセンサを用いて前記内視鏡挿入部の先端位置を推定することを特徴とする請求項１に記載の内視鏡システム。

【請求項10】

前記記憶部は、更に前記内視鏡挿入部の先端位置に対応する前記内視鏡画像を記憶することを特徴とする請求項２に記載の内視鏡システム。

【請求項11】

前記記憶部に前記内視鏡挿入部の先端位置を記憶する場合、前記所定の管腔臓器内における隣接する分岐点間の距離に応じて設定された制限距離以内での前記内視鏡挿入部の先端位置の記憶を制限する記憶制限部を備えることを特徴とする請求項1に記載の内視鏡システム。

【請求項12】

前記記憶部から読み出して前記候補情報提示制御部によって前記候補情報として提示する数を制限するため、前記記憶部は、異なる各特徴領域内においてそれぞれ順序づけて記憶した番号の情報を含むように前記内視鏡挿入部の先端位置を記憶することを特徴とする請求項1に記載の内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は被検体内を撮像手段で撮像する内視鏡システムに関する。

【背景技術】

【0002】

近年、体腔内等に挿入可能な挿入部を有する内視鏡は医療分野などにおいて広く用いられるようになっている。
一方、体腔内における気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末端側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合がある。
このため、目標部位付近まで内視鏡の挿入部先端を導入する作業を支援するための表示等を行うシステム又は装置が提案されている。
例えば、第１の従来例としての日本国特開２００２−２０００３０号公報においては、末端の気管支を造影して３次元画像を取得することが困難となる状況であったため、気管支の３次元画像データの座標系と、挿入部先端の位置との位置合わせした後、挿入部先端の位置を順次記憶し、挿入部先端の位置の軌跡を基に、気管支の３次元画像データ上に軌跡画像を合成するマップ画像合成手段を備えた装置が開示されている。

【0003】

また、第２の従来例としての日本国特開２００４−８９４８３号公報においては、目標とする患部位置に至る気管支の経路の径が予め分からないため、最適な径の気管支内視鏡を選択するにあたり、気管支の３次元画像において挿入ルートを設定し、設定した挿入ルートの所定の位置における気管支の内径を算出し、算出した気管支の内径と気管支内視鏡の挿入径から挿入限界位置を算出する装置が開示されている。
また、第３の従来例としての日本国特開２００９−５６２３８号公報においては、内視鏡により得られる観察画像としての内視鏡画像と、気管支の３次元領域の画像データに基づいて生成される仮想内視鏡画像との画像マッチングの精度を向上するために、仮想内視鏡画像や仮想内視鏡模式図画像等を内視鏡画像に重畳して表示する画像合成手段と、画像の向きを一致させる画像補正手段とが開示されている。

【0004】

しかしながら、上述した第１の従来例から第３の従来例に開示された内容では、内視鏡の撮像手段により取得された内視鏡画像と、気管支の３次元画像データに基づいて生成される仮想内視鏡画像との画像比較により、内視鏡挿入部の先端の位置推定を行うことが困難であった。
より具体的に説明すると、内視鏡挿入部の先端の３次元位置は、仮想内視鏡画像を生成する際に用いられるＣＴ座標系と位置合わせした後、ＣＴ座標系又はＣＴ座標系に対応づけた座標系により管理される。しかし、内視鏡挿入部を気管支等の管腔臓器内に挿入する操作を行っている最中において、外乱等によって内視鏡挿入部の先端の３次元位置がＣＴ座標系による３次元位置からずれてしまう場合がしばしば発生する。このような場合には、内視鏡挿入部の先端を、気管支におけるカリーナ等の既知の基準位置に設定して再度の位置合わせ（再位置合わせ）を行うことが必要になる。

【0005】

このように位置合わせを行う場合には、内視鏡挿入部の先端をカリーナ等の基準位置に戻すことが必要となってしまうため、カリーナよりも深部側に挿入した操作が無駄になってしまう。このため、内視鏡挿入部の先端を挿入した位置かその位置付近において位置合わせを行うための候補情報を提示すると、挿入の操作の無駄が少なく、円滑な挿入の操作を続行し易くなる。
このためには、挿入の操作の最中等において、前もって再度の位置合わせの提示を行うのに適した候補情報を取得しておき、提示の指示がされた際には少なくとも指示がされた位置に到達するまでに取得した位置の候補情報としての候補位置情報と、当該候補位置情報に対応する仮想内視鏡画像とを気管支の３次元又は２次元断層画像上に候補情報として提示することが望まれる。
しかしながら、上記従来例は、このような提示の内容を開示していない。
本発明は上述した点に鑑みてなされたもので、内視鏡画像と仮想内視鏡画像とをそれぞれ生成した両位置のずれが発生したような場合においての再度の位置合わせに適した候補情報を提示することができる内視鏡システムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0006】

本発明の一態様の内視鏡システムは、被検体の管腔臓器の位置情報と対応付けられた画像情報を記憶する画像記憶部と、前記画像情報に基づいて、任意の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成部と、内視鏡内に設けられ、前記被検体の管腔臓器内を撮像する撮像部と、前記仮想内視鏡画像生成部により生成された前記仮想内視鏡画像と前記撮像部の撮像により生成される内視鏡画像とを比較し、当該内視鏡画像と類似する仮想内視鏡画像を抽出する位置合わせ処理部と、前記位置合わせ処理部により抽出された前記仮想内視鏡画像に対応付けられた位置情報に基づいて、前記被検体の管腔臓器内における前記内視鏡挿入部の先端位置を推定する位置推定部と、前記位置推定部により推定された前記内視鏡挿入部の先端位置が、前記管腔臓器内の分岐に関する特徴領域内に在るか否かを判定する特徴領域判定部と、前記特徴領域判定部により前記内視鏡挿入部の先端位置が前記特徴領域内に在ると判定された場合、前記位置推定部により推定された前記内視鏡挿入部の先端位置を記憶する記憶部と、前記位置合わせ処理部が前記内視鏡画像と類似する仮想内視鏡画像を抽出できない場合、前記記憶部に記憶された前記内視鏡挿入部の先端位置に基づいて、前記特徴領域判定部により特徴領域内に在ると判定された前記内視鏡挿入部の先端位置に対応する仮想内視鏡画像を候補情報として表示部へ提示する候補情報提示制御部と、を備える。

【図面の簡単な説明】

【0007】

【図1】図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。

【図2A】図２Ａは気管支の形状画像を示す図。

【図2B】図２Ｂは気管支の形状画像におけるスパーから一定値の距離範囲を示す図。

【図2C】図２Ｃは気管支の形状画像における分岐点から一定値の距離範囲を示す図。

【図2D】図２Ｄは候補情報の提示例を示す図。

【図3】図３は第１の実施形態の処理内容の代表例を示すフローチャート。

【図4】図４は芯線上に沿って分岐点からの距離となる道のりを示す図。

【図5A】図５Ａは第１の実施形態の変形例の内視鏡システムの全体構成を示す図。

【図5B】図５Ｂは２つの座標系の対応付け処理としてのレジストレーションの説明図。

【図6】図６は本発明の第２の実施形態における動作の説明図。

【図7】図７は本発明の第３の実施形態における動作の説明図。

【図8】図８は第３の実施形態の変形例における動作の説明図。

【図9】図９は内視鏡画像における変化から候補情報を記憶する動作の説明図。

【図10A】図１０Ａは図２Ｄとは異なる候補情報の提示例を示す図。

【図10B】図１０Ｂは図１０Ａとは異なる候補情報の提示例を示す図。

【図10C】図１０Ｃは図１０Ａとは異なる候補情報の提示例を示す図。

【図10D】図１０Ｄは図１０Ａとは異なる候補情報の提示例を示す図。

【図10E】図１０Ｅは図１０Ａとは異なる候補情報の提示例を示す図。

【図10F】図１０Ｆは図１０Ａとは異なる候補情報の提示例を示す図。

【図10G】図１０Ｇは図１０Ａとは異なる候補情報の提示例を示す図。

【図11】図１１は気管支を含む断層画像上に推定された位置を表示する例を示す図。

【図12】図１２は図１１において各位置と対応するＶＢＳとを文字情報で対応付けて示す例を示す図。

【図13】図１３は図１１の変形例に相当する表示例を示す図。

【図14】図１４は図１１において更に移動方向も表示する表示例を示す図。

【図15】図１５は図１１において更に視野範囲も表示する表示例を示す図。

【図16】図１６は１つの断層画像上に視野範囲も立体的に表示する表示例を示す図。

【図17】図１７は記憶した位置を領域で表示する例を示す図。

【図18】図１８は気管支樹と断層画像とを重畳して表示する例を示す図。

【図19】図１９は２つの断層画像を用いて表示する例を示す図。

【図20】図２０は記憶した位置の気管支樹を含む切断面で表示する例を示す図。

【図21】図２１は図２０の設定方法の説明図。

【発明を実施するための最良の形態】

【0008】

以下、図面を参照して本発明の実施形態を説明する。
（第１の実施形態）
図１に示すように本発明の第１の実施形態の内視鏡システム１は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支２（図２Ａ）内に挿入される内視鏡３を備えた内視鏡装置４と、この内視鏡装置４と共に使用され、内視鏡３の挿入支援を行うための挿入支援装置５と、から主に構成される。
内視鏡装置４は、内視鏡３と、この内視鏡３に照明光を供給する光源装置６と、内視鏡３に搭載された撮像手段を構成する撮像素子７に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８と、ＣＣＵ８により生成された内視鏡画像を表示するモニタ９と、を有する。

【0009】

内視鏡３は、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１と、この挿入部１１の後端に設けられた操作部１２とを有し、挿入部１１の先端部１３には照明窓と観察窓とが設けられる。挿入部１１，操作部１２内には照明光を伝達するライトガイド１４が挿通され、このライトガイド１４の入射端は光源装置６に接続され、光源装置６内の図示しない光源ランプ又はＬＥＤにより発生した照明光が入射端に入射される。このライトガイド１４により伝達された照明光は、照明窓に取り付けられた出射端（先端面）から前方に出射される。
また、観察窓には、被写体を結像する対物光学系を形成する対物レンズ１５が取り付けられ、その結像位置にＣＣＤ等の撮像素子７が配置され、対物レンズ１５と撮像素子７とにより、挿入部１１が挿入される所定の管腔臓器としての気管支２内を撮像する撮像手段（又は撮像部）としての撮像装置１６が形成される。

【0010】

撮像素子７は、挿入部１１，操作部１２内を挿通された信号線を介してＣＣＵ８に接続される。ＣＣＵ８は、その内部の図示しない画像信号生成回路により撮像素子７の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ９に出力する。モニタ９は、画像信号の画像（動画像）を、内視鏡画像（撮像画像とも言う）として表示する。
なお、内視鏡３の挿入部１１には、先端部１３の後端に湾曲自在の湾曲部１９が設けてあり、術者は操作部１２に設けた湾曲操作ノブ２０を回転する操作を行うことにより、湾曲部１９を上下、左右の任意の方向に湾曲することができる。
上記挿入支援装置５は、内視鏡３による検査が行われる患者に対して、公知のＣＴ（Computed Tomography）で生成された患者の３次元画像情報としてのＣＴデータを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記憶するＣＴ画像データ記憶部２２とを有する。

【0011】

なお、ＣＴ画像データ記憶部２２は、ＣＴで生成された（被検体としての患者の３次元画像情報としての）ＣＴデータを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記憶部２２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成することができる。
また、画像記憶手段を構成するＣＴ画像データ記憶部２２は、ＣＴデータより画像データを分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系を用いた３次元の位置データとを対応付けた対応付け画像情報として記憶する対応付け画像情報記憶部２２ａを有する。
また、挿入支援装置５は、ＣＴ画像データ記憶部２２のＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出する管腔臓器抽出手段としての管腔臓器抽出回路、中央演算処理装置（ＣＰＵと略記）等からなる気管支抽出部２３を有する。

【0012】

この気管支抽出部２３は、抽出した気管支２の３次元データ（より具体的には３次元のボリュームデータ）から、気管支２の中空形状を表す３次元形状の情報（形状データ）と、３次元形状の画像情報（画像データ）を生成する。つまり、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像を生成する気管支形状画像生成手段としての気管支形状画像生成部２３ａを有する。
また、この気管支抽出部２３は、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系（又はＣＴ座標系）での３次元の位置データと対応付けて抽出する。そして、この気管支抽出部２３は、気管支２の３次元形状のデータ（つまり気管支形状データ）と３次元の位置データとを対応付けした対応付け情報を記憶するメモリなどからなる対応付け情報記憶部２３ｂを有する。

【0013】

また、挿入支援装置５は、内視鏡３における挿入部１１の先端部１３に設けた撮像装置１６の撮像により生成される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４を有する。
ＶＢＳ画像生成部２４には、内視鏡３の撮像装置１６に関する結像系の特性情報（対物レンズ１５の焦点距離、撮像素子７の画素数、画素サイズ等）が、例えば入力装置３１から入力される。
ＶＢＳ画像生成部２４は、実際に気管支２内に挿入された内視鏡３の撮像装置１６の位置（挿入部１１の先端の位置とも言える）の情報と、撮像装置１６による気管支２内の被写体を結像する特性情報と、前記気管支形状データに基づいて、前記位置を視点位置として気管支２内を内視鏡的に撮像した内視鏡画像を仮想的に描画するＶＢＳ画像を生成する画像生成回路、ＣＰＵ等により構成される。

【0014】

また、挿入支援装置５は、ＣＣＵ８から入力される内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行うＣＰＵ、画像処理回路等により構成される画像処理部２５と、画像処理部２５等の制御を行う制御手段としてのＣＰＵ等により構成される制御部２６と、制御部２６の制御下で挿入支援するための提示用候補情報等を記憶する記憶手段としてのメモリ等により構成される記憶部２７とを有する。
また、挿入支援装置５は、ＣＴ画像データ記憶部２２に記憶されたＣＴ画像データに基づき多断面再構築画像としてのＣＴ断層画像（ＭＰＲ画像という）を生成するＭＰＲ画像生成部２８と、ＭＰＲ画像生成部２８が生成したＭＰＲ画像を有する挿入経路の設定画面としての経路設定画面を生成し、内視鏡３の気管支２内の目標部位側へ挿入する際の経路を設定するマウス等のポインティングデバイス等の経路設定部２９とを有する。

【0015】

そして、例えばＣＴ画像データから図２Ａ又は図１０Ａ等に示すように目標部位３６を指定した場合、経路設定部２９はＣＴ画像データと気管支形状画像２ａとから気管支２における（挿入部１１の）挿入開始位置から目標部位３６近傍となる目標位置までの経路データを生成する経路データ生成回路等の経路データ生成部２９ａの機能を有する。例えば、図１０Ａ等においては、Ｒにより目標部位３６近傍となる目標位置までの経路を示している。
また、内視鏡システム１は、経路設定部２９に対して設定情報を入力するキーボードやポインティングデバイス等からなる入力装置３１を有する。また、術者は、この入力装置３１から画像処理部２５に対して、画像処理を行う際のパラメータや、データを入力したり、制御部２６に対して制御動作を選択、指示することができる。

【0016】

また、術者が経路設定を行った場合、経路設定部２９は設定された経路の情報をＶＢＳ画像生成部２４、ＭＰＲ画像生成部２８、制御部２６に送る。ＶＢＳ画像生成部２４及びＭＰＲ画像生成部２８は、それぞれ経路に沿ったＶＢＳ画像、ＭＰＲ画像を生成し、制御部２６は経路に沿って各部の動作の制御を行う。
上記画像処理部２５には、ＣＣＵ８により生成された内視鏡画像と、ＶＢＳ画像生成部２４により生成されたＶＢＳ画像とが入力される。また、気管支形状画像生成部２３ａにより生成された気管支形状画像も、画像処理部２５に入力される。
本実施形態においては、撮像装置１６が配置された挿入部１１の先端部１３に、挿入部１１の先端の位置を検出するセンサを搭載していないため、画像処理部２５による位置合わせ処理部２５ａにおける画像マッチングによって挿入部１１の先端の３次元位置を推定（又は算出）する。

【0017】

あらかじめ、気管支２の入口やカリーナＫ（図２Ａ参照）等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置（既知となる位置）又はその近傍位置を動画マッチングの開始位置として設定しておくと、その位置情報を基にＶＢＳ画像生成部はＶＢＳ画像を生成する。
そして、術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入部１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とが設定された条件（所定の精度を確保できる誤差以内）で一致するように画像マッチングを開始する。このような処理を行うことにより、位置合わせ処理部２５ａは、挿入部１１の先端の位置を推定により検出又は算出する位置推定部２５ｂの機能を有する。
後述する図５に示す変形例のように先端部１３に位置検出の位置センサ４１を設け、該位置センサ４１を用いて挿入部１１の先端の３次元位置を検出（推定）する位置推定部４２ｂを構成しても良い。なお、本明細書においては、挿入部１１の先端は、内視鏡３の先端と同じ意味で用いる。

【0018】

また、画像処理部２５は、制御部２６における表示を制御する表示制御部２６ａ等の制御の下で、モニタ３２に表示する画像を生成する。
表示制御部２６ａの制御下で、画像処理部２５は、通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力し、モニタ３２には図２Ａに示すように気管支形状画像２ａが例えば（主要な）管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示される。なお、２次元断層画像で表示する場合に限定されるものでなく、３次元画像で表示しても良い。３次元画像で表示する場合には、例えば平行投影法による投影図や、管腔内部が分かるように透視図で表示しても良い。
また、図２Ａに示すように、モニタ３２において表示される気管支形状画像２ａには、気管支２の管腔の中心を通る芯線３５も表示するようにしている。なお、芯線３５は、例えば気管支形状画像生成部２３ａが生成するが、画像処理部２５において芯線３５を生成しても良い。

【0019】

術者等のユーザは、挿入部１１をその先端から気管支２内に挿入する場合、芯線３５が表示されるため、その表示を参考にすることによって、挿入部１１の挿入の操作が行い易くなる。また、芯線３５に沿って挿入する操作を行うことにより、画像マッチングによる挿入部１１の先端の位置の推定を短時間に行うことができる。
画像処理部２５は、気管支２の深部側（末端側）に挿入する操作において、内視鏡画像とＶＢＳ画像との両画像のマッチング（画像マッチング）を利用して、ＣＴ座標系のもとで挿入部１１の先端の移動した位置又は移動距離を推定する処理を行う。
つまり、ある位置において両画像がマッチングしている場合、挿入部１１の先端を芯線３５に沿って（挿入のために）移動する操作に伴って、撮像装置１６が移動するため、内視鏡画像が変化する。

【0020】

この場合、位置合わせ処理部２５ａは、芯線３５に沿った経路上で移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて前記内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）する。従って、移動した移動距離も２つの位置の差分量から算出（推定）することができる。
なお、挿入部１１の先端は、芯線３５上から外れた位置において移動される場合もあるため、芯線３５から適宜の距離だけ偏心した位置においてのＶＢＳ画像をＶＢＳ画像生成部２４が生成し、生成したＶＢＳ画像を位置合わせ処理部２５ａに出力するようにしても良い。このようにすると、画像マッチングによる位置推定の範囲を拡大できる。上記制御部２６は、位置合わせ処理部２５ａにより算出した挿入部１１の先端の位置により経路データ生成部２９ａによって、（内視鏡３の挿入部１１の挿入前に）生成された経路データを補正するようにしても良い。

【0021】

また、制御部２６は、画像処理部２５により推定された挿入部１１の先端が所定の条件を満たすか否かの判定を行う比較回路等により構成される条件判定部２６ｃの機能を有し、所定の条件を満たす判定結果の場合に、該当する挿入部１１の先端の位置を記憶部２７に記憶する。この場合、挿入部１１の先端の位置と共に、該先端の位置に対応するＶＢＳ画像を記憶部２７に、提示が必要な場合に提示する（提示用の）候補情報として記憶する。
換言すると、記憶部２７は、所定の条件を満たす判定結果の場合に、その判定結果が得られた場合に推定（算出）された挿入部１１の先端の位置を、後で提示する場合の候補位置情報として記憶し、またこの候補位置情報と、該候補位置情報に対応するＶＢＳ画像とを提示用の候補情報として記憶する記憶手段としての候補情報記憶部２７ａの機能を有する。この場合には、提示用の候補情報は、候補位置の情報（候補位置情報）と該候補位置の情報に対応するＶＢＳ画像とからなるが、候補位置の情報に対応する（換言すると候補位置において生成される）ＶＢＳ画像も候補ＶＢＳ画像としても良い。

【0022】

なお、候補情報記憶部２７ａに記憶する（提示用の）候補情報として、前記候補位置の情報に対応するＶＢＳ画像と共に、該候補位置の情報に対応する（換言すると候補位置において生成される）内視鏡画像も記憶するようにしても良い。この場合における内視鏡画像も、上記候補ＶＢＳ画像の場合と同様に候補内視鏡画像と呼ぶようにしても良い。
また、画像処理部２５は、表示制御部２６ａの候補情報提示制御部２６ｂにより候補情報提示の制御を受けて、モニタ３２に候補情報として表示するための候補情報を生成する候補情報生成部２５ｃの機能を有する。また、画像処理部２５は、内視鏡画像とＶＢＳ画像との画像マッチングを行う際に、内視鏡画像やＶＢＳ画像を一時的に記憶したり、画像処理のワークエリアとして用いる画像メモリ２５ｄを有する。なお、画像処理部２５の外部に画像メモリ２５ｄを設けるようにしても良い。

【0023】

上記条件判定部２６ｃは、所定の条件として、気管支２における分岐に関する特徴的な領域としての特徴領域内に挿入部１１の先端が位置しているか否かの判定を行う特徴領域判定部２６ｄの機能を有する。そして、後述するように特徴領域判定部２６ｄにより挿入部１１の先端が特徴領域内に位置している（又は存在している）判定結果の場合に、候補情報記憶部２７ａに候補情報が記憶される。
本実施形態においては、上記所定の条件として、２つの位置（又は点）間の距離に対して一定値ｄｔｈが設定されている。そして、挿入部１１の先端の位置と、図２Ｂ、図２Ｃに示すようにカリーナＫのように分岐しているスパーＳｐｉの位置や、芯線３５が分岐している分岐点Ｂｉとの位置間の距離がｄｔｈ１，ｄｔｈ２等の一定値ｄｔｈ以内になった場合に、上記所定の条件を満たす特徴領域内に挿入部１１の先端が位置すると判定して、候補情報を記憶部２７に記憶するように設定される。

【0024】

なお、上記特徴領域の設定や一定値ｄｔｈの値は、術者が例えば入力装置３１から指定することができる。このように本実施形態においては、挿入部１１を気管支２内に挿入する操作の過程において、現在の挿入部１１の先端の位置以前の候補情報を記憶部２７に記憶しておくことにより、画像マッチングによる最初の位置合わせ後から挿入部１１の移動操作により挿入部１１の先端の（画像マッチングを利用した）位置推定の精度が低下して、再度の位置合わせ（つまり再位置合わせ）を行うことが必要になった場合等においては、その再位置合わせのための候補情報を提示することができるようにしている。
また、再位置合わせを行う指示を術者が入力装置３１を構成するキーボード、マウス等から画像処理部２５又は制御部２６に指示入力しても良い。

【0025】

再位置合わせの指示等がされる（又はトリガ入力される）と、制御部２６の表示制御部２６ａは、現在の挿入部１１の先端位置付近における候補情報を記憶部２７の候補情報記憶部２７ａから読み出し、画像処理部２５を経てモニタ３２において候補情報を提示する制御を行う。
モニタ３２において候補情報を提示する制御を行う表示制御部２６ａは、候補情報提示の制御を行う候補情報提示制御部２６ｂの機能を有する。なお、表示制御部２６ａが候補情報記憶部２７ａから（提示用の）候補情報を読み出し、画像処理部２５を経ることなくモニタ３２において候補情報として提示する制御を行うようにしても良い。モニタ３２において候補情報を提示する場合、例えば２次元断層画像として図２Ｄに示す気管支形状画像２ａ上に、画像比較を行う際の候補となる候補位置の情報及び該候補位置の情報に対応するＶＢＳ画像を表示する。

【0026】

上述したように、画像処理部２５の位置合わせ処理部２５ａは、挿入部１１の先端が移動された場合、画像マッチングを利用して挿入部１１の先端を推定（算出）するが、設定された精度以内で画像マッチングすることができなくなる画像マッチングエラーが発生する場合がある。
この場合には、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングエラーの信号を発生し、モニタ３２において画像マッチングエラーが発生したことを表示する。また、位置合わせ処理部２５ａは、画像マッチングエラーの信号を制御部２６に送り、制御部２６の候補情報提示制御部２６ｂは、モニタ３２において候補情報を提示する制御を行う。
このため、上記モニタ３２は、術者に対して候補情報を提示する候補情報提示手段を形成する。なお、候補情報提示手段は、モニタ３２と共に、（提示用の）候補情報を記憶する候補情報記憶部２７ａや候補情報の画像信号を出力する画像処理部２５や候補情報提示制御部２６ｂを含めるように定義しても良い。
術者は、候補情報を用いて再度の位置合わせ処理を行う。再度の位置合わせ処理を行うことにより、術者はこの再度の位置合わせ処理を行った位置付近から挿入部１１の挿入操作を続行することができるようになる。
また、術者が画像マッチングの精度が悪化したと判断した場合は、再位置合わせの指示をして上記の処理をさせてもよい。なお、図１における画像処理部２５の位置合わせ処理部２５ａ、候補情報生成部２５ｃ、気管支抽出部２３、ＶＢＳ画像生成部２４、制御部２６をＣＰＵを用いて構成しても良いし、ＦＰＧＡ（Field Programmable Gate Array）のようなハードウェア化された装置、専用の電子回路素子を用いて構成しても良い。

【0027】

このような構成の内視鏡システム１は、予め取得した被検体における３次元画像情報を記憶する画像記憶手段としてのＣＴ画像データ記憶部２２と、前記３次元画像情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４と、内視鏡３内に設けられ、前記所定の管腔臓器内を撮像する撮像手段としての撮像装置１６と、前記被検体の所定の管腔臓器内における内視鏡挿入部１１の先端の位置を検出する位置検出手段としての位置推定部２５ｂと、前記位置検出手段による前記内視鏡挿入部１１の先端の位置情報に基づいて前記３次元画像情報を所定方向に切り出した２次元断層画像上に、前記仮想内視鏡画像と前記撮像手段の撮像により生成される内視鏡画像との画像比較を行う際の候補となる候補位置情報及び当該候補位置情報に対応する前記仮想内視鏡画像を候補情報として提示する候補情報提示手段としてのモニタ３２と、を備えることを特徴とする。

【0028】

次に本実施形態における代表的な処理を図３のフローチャートを参照して説明する。図１の内視鏡システム１における内視鏡装置４，挿入支援装置５の電源が投入され、各部が動作状態になると、図３に示す最初のステップＳ１において、内視鏡３の挿入部１１の先端を患者の気管支２の入口の位置等、術者が内視鏡画像で位置を判断しやすい部位を少なくとも1つ基準位置に設定する。
そして、画像処理部２５の位置合わせ処理部２５ａは、基準位置におけるＶＢＳ画像生成部２４のＶＢＳ画像（の画像信号）をモニタ３２に出力する。術者は、入力装置３１から基準位置の１つを指定し、挿入部11の先端を指定した基準位置に挿入するとともに、画像処理部２５の位置合わせ処理部２５ａに対して位置合わせの処理を行うように指示する。

【0029】

ステップＳ１の位置合わせの処理を行った後、ステップＳ２に示すように位置合わせ処理部２５ａは、位置合わせ処理の結果を基に挿入部１１の先端の位置を画像マッチングにより推定（算出）する。具体的には、画像マッチングの初期値として位置合わせの情報を使用して、内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により算出する。

【0030】

ステップＳ３において位置合わせ処理部２５ａは、画像マッチングにより挿入部１１の先端の推定が所定条件以内（例えば推定位置が気管支内部にあるか）でできたか否か（つまり位置の推定が成功したか否か）の判定を行う。ステップＳ３の判定が成功の場合には、モニタ３２には、画像処理部２５の位置推定部２５ｂにより推定された挿入部１１の先端の位置が、気管支形状画像２ａ上において、推定された位置に重畳して表示されるとともに、ステップＳ４の処理が行われる。一方、判定が失敗の場合にはステップＳ６の処理を実行する。

【0031】

ステップＳ４において位置推定部２５ｂにより推定された挿入部１１の先端の位置情報は、制御部２６の特徴領域判定部２６ｄに入力される。そして、特徴領域判定部２６ｄは、推定された挿入部１１の先端の位置が、気管支２におけるスパーＳｐｉや分岐点Ｂｉから（ｄｔｈ１，ｄｔｈ２等の）一定値ｄｔｈ以内となる特徴領域内に位置するか否かの判定を行う。ステップＳ４において、一定値ｄｔｈ以内となる判定結果の場合には、ステップＳ５に示すように候補情報が記憶部２７に記憶される。
例えば、図２Ｂに示すように挿入部１１の先端Ｐ１がカリーナＫ（第１のスパーＳｐ１）から一定値ｄｔｈ１（＝ｄｔｈ）以内と判定された場合に、推定された挿入部１１の先端の位置Ｐ１が候補位置Ｐｃ１となり、該候補位置Ｐｃ１（の情報）と共に、対応するＶＢＳ画像Ｉ１とが候補情報として記憶部２７に記憶される。

【0032】

また、カリーナＫよりも深部側に挿入部１１の先端が挿入され、挿入部１１の先端Ｐ２が、次のスパーＳｐ２から一定値ｄｔｈ１以内となった場合に、推定された挿入部１１の先端の位置Ｐ２が候補位置Ｐｃ２となり、該候補位置Ｐｃ２と共に、対応するＶＢＳ画像Ｉ２が候補情報として記憶部２７に記憶される。ステップＳ５の処理の後、ステップＳ８の処理に映る。
一方、ステップＳ４において、挿入部１１の先端がスパーＳｐｉから一定値ｄｔｈ１以内に達していない場合にはステップＳ５の候補情報を記録する処理を行うことなくステップＳ８の処理を実行する。なお、図２Ｂにおいては、スパーＳｐｉから一定値ｄｔｈ１以内と判定された場合に、候補位置Ｐｃｉを記憶する例を示しているが、図２Ｃに示すように推定された挿入部１１の先端が分岐点Ｂｉから一定値ｄｔｈ２（＝ｄｔｈ）以内と判定された場合に、候補位置Ｐｃｉ′を記憶するようにしても良い。なお、図２Ｃでは挿入部１１の先端Ｐ１′，Ｐ２′が分岐点Ｂ１，Ｂ２から一定値ｄｔｈ２以内となった場合を示している。また、一定値ｄｔｈ１と一定値ｄｔｈ２は、同じ値に設定しても良いし、異なる値に設定しても良い。

【0033】

ステップＳ８において、術者が入力装置３１から候補情報の提示の指示信号（トリガ）を発生させているか検出する。これは画像マッチングの推定が失敗していることを検出できない場合、例えば、内視鏡が急激に動くと画像マッチングによる推定位置が所定条件（気管支内部にあるか）を満たしているが、明らかに別の位置であるという場合、術者が位置合わせを再度行うと判断したときに指示信号を発生させる。

【0034】

ステップＳ８のトリガがない場合には、次のステップＳ９において位置推定部２５ｂは、挿入部１１の先端が目標位置まで挿入されたか否かの判定（推定）を行う。
挿入部１１の先端が目標位置まで挿入されていない場合には、術者は、モニタ３２に表示される表示を参考にして、ステップＳ１０に示すように挿入部１１の先端を気管支２の深部側に挿入する。ステップＳ１０の処理の後に、ステップＳ２に戻り、挿入部11の先端位置の推定を行うが、画像マッチングの初期値は位置合わせの情報の代わりに前回の画像マッチングによる推定位置を使用する。一方、ステップＳ１９において目標位置まで挿入された場合には、図３の挿入の操作を終了する。

【0035】

これに対して、ステップＳ３の位置推定が成功しないで失敗した場合、またはステップＳ８のトリガがある場合には、モニタ３２に処理を停止した旨、例えばマッチングエラーが表示される。この場合には、ステップＳ６に示すように表示制御部２６ａが候補情報を提示する指示信号を自動的に発生する。

【0036】

そして、記憶部２７の候補情報記憶部２７ａから候補情報が読み出される。そして、ステップＳ７に示すようにモニタ３２には候補情報が表示される。例えば、図２ＢにおけるスパーＳｐ２から一定値ｄｔｈ１以内となった後に挿入部１１の先端の位置Ｐ３においてマッチングエラーが発生した場合には、マッチングエラーが発生する前において最も後において記憶部２７（の候補情報記憶部２７ａ）に記憶された候補位置（この場合には候補位置Ｐｃ２）と該候補位置Ｐｃ２に対応するＶＢＳ画像Ｉ２とが候補情報として提示されることになる。
この場合の提示例を図２Ｄに示す。図２Ｄに示すように気管支形状画像２ａ上において、候補位置Ｐｃ２と共に、該候補位置Ｐｃ２に対応するＶＢＳ画像が候補情報として表示される。なお、候補情報を提示する場合、上述したようにさらに該候補位置Ｐｃ２に対応する内視鏡画像も点線で示すように表示するようにしても良い。

【0037】

また、この場合、ＶＢＳ画像に隣接した位置に、同じ表示倍率で比較し易いように表示するようにしても良い。
さらに、ＶＢＳ画像又は内視鏡画像の一方を移動自在に表示し、ユーザがマウス等で一方の画像を他方の画像上に重畳表示（合成表示）することができるようにしても良い。このようにすると、画像マッチングの程度をユーザが確認し易くなる。また、図２Ｄにおいては、１つの候補情報の提示例を示しているが、後述する図１０Ａ−図１０Ｆに示すように複数の候補情報を提示するようにしても良い。
候補情報が表示された場合、ステップＳ1に戻り、術者は、モニタ３２に表示された候補情報を参考にして、再度の位置合わせの処理を行う。

【0038】

このように動作する本実施形態によれば、術者が挿入部１１を挿入する操作を行った場合の最中において、提示用の候補情報を記憶部２７に記憶し、挿入部１１の先端の位置の推定が失敗したような場合に、位置合わせに適した提示用の候補情報を候補情報として提示することができるようにしているので、挿入の操作を円滑に行うことができる。
また、本実施形態においては、画像マッチングの画像処理を利用して挿入部１１の先端の位置推定を行うようにしているため、画像処理のアルゴリズムにより最初の位置合わせの状態から誤差が次第に大きくなり易くなる。このような場合にも、再度の画像マッチングによる再度の位置合わせにより、誤差を十分に小さくして、再度の位置合わせした位置付近からより深部側への挿入の操作を行うことが可能になる。
上述の説明における条件を以下のように変更しても良い。

【0039】

（ａ）推定された挿入部１１の先端の位置がスパーＳｐｉ又は分岐点Ｂｉからそれぞれ一定値ｄｔｈ１又はｄｔｈ２以内の１つの条件を満たす場合に記憶部２７に（提示用の）候補情報を記憶する例で説明したが、この条件に限らず、
（ｂ）推定された挿入部１１の先端の位置がスパーＳｐｉ及び分岐点Ｂｉからそれぞれ一定値ｄｔｈ１，ｄｔｈ２以内となった２つの条件を満たす場合に候補情報を記憶するようにしても良い。
（ｃ）また、（ａ）又は（ｂ）において、さらに推定された挿入部１１の先端の位置と芯線３５との距離が一定値ｄｔｈ３以内の場合に候補情報を記憶するようにしても良い。
（ｄ）また、（ａ），（ｂ），（ｃ）のいずれかにおいて、内視鏡画像中に分岐の画像が見えた場合に候補情報を記憶するようにしても良い。
（ｅ）また、（ａ），（ｂ），（ｃ），（ｄ）のいずれかにおいて、一定値ｄｔｈ１−ｄｔｈ３は同じ値に設定しても良いし、スパーＳｐｉ又は分岐点Ｂｉでの気管支径に応じた値、又は気管支が分岐する分岐部位、又はカリーナからの分岐まで距離に応じて設定しても良い。
（ｆ）また、図２Ｂ，図２Ｃの例では２点間の直線距離が一定値以内か否かにより記憶する条件とした場合で示しているが、図４に示すように挿入部１１の先端の位置に最も近い芯線３５上の点Ｐと、分岐点Ｂｉまでの芯線３５上での道のり（芯線３５に沿って計測した距離）ｄｗが一定値ｄｗｔｈ以内か否かにより報候補情報を記憶する条件としても良い。

【0040】

このようにすると、屈曲した管腔部分内に挿入する場合においても適切に候補情報を記憶、及び提示が可能になる。
図５Ａは第１の実施形態における変形例の内視鏡システム１Ｂの構成を示す。図５Ａに示す内視鏡システム１Ｂは、図１の内視鏡システム１において、さらに挿入部１１の先端部１３内における撮像装置１６の近傍の位置に、撮像装置１６又は挿入部１１の先端の位置を検出するための位置センサ４１が設けてある。
また、内視鏡３及び被検体の外部となり、挿入支援装置５内の所定の位置には、この位置センサ４１の３次元位置（単に位置とも記す）を計測（検出）する処理を行う計測処理装置又は計測処理部４２が設けてある。位置センサ４１による検出信号は、計測処理部４２に入力される。

【0041】

この計測処理部４２は、位置センサ４１を用いて所定の管腔臓器としての気管支２内に挿入される撮像手段を構成する撮像装置１６の３次元位置、又は挿入部１１の先端の３次元位置を検出又は推定する位置検出手段としての位置推定部４２ｂの機能を有する。なお、本変形例の図５Ａにおいては、図１における画像処理部２５内の位置推定部２５ｂを有しない。
位置検出（位置推定）の手段又は方法としては、例えば磁気を利用したものを利用できる。計測処理部４２に接続された複数のアンテナ４２ａから発せられる交流磁場をコイルで構成された位置センサ４１が検知し、この位置センサ４１で検知した信号における、その信号の振幅及び位相を（振幅検出回路及び位相検出回路を備えた）計測処理部４２が検出することによりアンテナ４２ａから位置センサ４１までの距離を計測する。計測処理部４２は、３つ以上となる複数のアンテナ４２ａをそれぞれ異なる既知の位置に設けることにより、位置センサ４１の３次元位置を特定することが可能になる。

【0042】

なお、位置センサ４１を構成するコイルに交流信号を印加して、その周囲に交流磁場を発生させ、アンテナ４２ａ側で交流磁場を検知して位置センサ４１の位置を検出する構成にしても良い。一例としてコイルを用いた磁気式位置検出装置を説明したが、位置センサ４１及び計測処理部４２の構成は、上記説明の場合に限定されるものでない。
例えば、挿入部１１の長手方向に沿って所定間隔で位置検出のための複数のコイルを配置し、複数のコイルの位置から挿入部１１の形状を推定し、先端部１３等の位置を検出することができるようにしても良い。計測処理部４２により検出（推定）された挿入部１１の先端の位置情報は、制御部２６と画像処理部２５とに出力される。

【0043】

本変形例の場合には、気管支２の３次元形状の画像データを管理するＣＴ座標系としての第１の座標系での位置（位置情報）と、位置センサ４１のアンテナ４２ａを基準としたセンサ座標系としての第２の座標系での位置（位置情報）との位置合わせを行う。例えば制御部２６は、両座標系の位置合わせ（レジストレーション）及びその制御を行う位置合わせ部（及び位置合わせ制御部）２６ｅの機能を持つ。
図５Ｂはレジストレーションの動作の説明図を示す。例えば気管支２の入り口付近における例えば４点Ｑ０−Ｑ３に、術者は内視鏡３の先端部１３（又は位置センサ４１）を順次設定して、第１の座標系Ｏ−ＸＹＺと第２の座標系ｏ−ｘｙｚにおいてそれぞれ位置対応付けする指示又は指示入力を入力装置３１から行う。このため、入力装置３１は、位置対応付けの指示を行う指示入力部又は指示入力手段を形成する。
例えば、先端部１３（又は位置センサ４１）を、第１の座標系Ｏ−ＸＹＺにおける原点Ｏの位置Ｑ０（０，０，０），Ｘ座標上の位置Ｑ１（１，０，０）、Ｙ座標上の位置Ｑ２（０，１，０）、Ｚ座標上の位置Ｑ３（０，０，１）、に順次設定して、術者が位置対応付けの指示を行う。この指示において、各位置において計測処理部42が順次計測した位置を（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とすると、制御部２７は位置対応付けを行い、位置対応付け情報を記憶部２７に記憶するように制御する。

【0044】

この場合の位置対応付け情報（具体的には、第１の座標系Ｏ−ＸＹＺにおけるＱ０（０，０，０）、Ｑ１（１，０，０）、Ｑ２（０，１，０）、Ｑ３（０，０，１）は、第２の座標系ｏ−ｘｙｚにおいては（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）がそれぞれ対応する情報）を記憶部２７は記憶する。
また、位置合わせ部２６ｅは、記憶部２７に記憶した位置対応付け情報を用いて両座標系の任意の位置を対応つける変換情報を決定する。位置合わせ部２６ｅは、この変換情報を記憶部２７に記憶する。

【0045】

図５Ｂにおいては、座標位置Ｑ０（０，０，０），Ｑ１（１，０，０），Ｑ２（０，１，０），Ｑ３（０，０，１）と、それぞれ対応する座標位置（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とを簡略化してＱ０⇔（ｘ０，ｙ０，ｚ０）、Ｑ１⇔（ｘ１，ｙ１，ｚ１）、Ｑ２⇔（ｘ２，ｙ２，ｚ２）、Ｑ３⇔（ｘ３，ｙ３，ｚ３）で示している。なお、図５Ｂに示す４点でなく、そのうちの１点を省略した３点で位置対応付けを行う（決定する）ようにしても良い。
具体的には、術者は第1の座標系で指定された位置に内視鏡３の先端部１３を順次接触させることになる。このとき、第1の座標系で指定された位置を表現する方法として、ＶＢＳ画像を用いる。つまり、術者はＶＢＳ画像と内視鏡画像が同じに見えるよう内視鏡を操作する。

【0046】

このように位置対応付けの処理が終了した後、術者は、内視鏡２の挿入部１１を気管支２内に挿入して内視鏡検査を行うことを開始する。
本変形例においては、位置推定部４２ｂにより推定された挿入部１１の先端の位置に対応するＣＴ座標系（第１の座標系）の位置が気管支２の管腔の内側となる条件から外れる場合のように、両座標系の位置ずれが明らかとなる場合に位置推定が失敗した状態と判定する。その他の構成は、図１に第１の実施形態と同様である。
本変形例の動作は、挿入部１１の先端の位置を位置センサ４１を用いて推定すること、位置合わせが失敗した場合に行う位置合わせを制御部２６の位置合わせ部２６ｅが行うことに変更したことを除けば第１の実施形態の動作を示す図３と殆ど同じ処理を行う。

【0047】

第１の実施形態における第２の変形例は、構成は第1の変形例と同じであるが、本変形例の場合、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングにより、位置センサ４１を用いた位置合わせの精度を向上するための処理を行う。
つまり、第1の実施例においては指定された位置に内視鏡3の先端部が接触するよう操作する必要があるが、その操作は難しく、推定位置の精度が悪化する要因でもある。そこで、画像マッチングで内視鏡３の先端部１３のＣＴ座標系での位置を推定し、その位置を基に指定された位置を変更することにより、確実に内視鏡３の先端部１３を指定された位置に接触させる。それにより、位置ずれの誤差を所定値以下に調整することができる。

【0048】

本変形例の場合には、画像処理部２５の位置合わせ処理部２５ａは、画像マッチングによる位置合わせを行う第２の位置合わせ部の機能を有し、また、上述したように計測処理部４２は、挿入部１１の先端の位置を検出（又は推定）する位置推定部４２ｂの機能を有する。
また、位置合わせ処理部２５ａは、両座標系の位置合わせの状態を、画像マッチングにより監視する位置合わせ監視処理部の機能を有する。例えば、挿入部１１の先端が気管支２内に挿入された場合、挿入部１１の先端の移動と共に、内視鏡画像と位置推定部４２ｂによる第２の座標系での位置が変化する。
また、第２の座標系での位置の変化に対応してＣＴ座標系（第１の座標系）の位置情報により生成されて画像処理部２５に入力されるＶＢＳ画像も変化する。画像処理部２５の位置合わせ処理部２５ａは両画像を監視し、両画像のずれ量が予め設定された値以上にずれた場合に、位置合わせが失敗した状態（又は位置合わせが必要な状態）と判定する。

【0049】

また、本変形例においては、位置推定部４２ｂにより推定された挿入部１１の先端の位置に対応するＣＴ座標系（第１の座標系）の位置が気管支２の管腔の内側となる条件から外れる場合のように、両座標系の位置ずれが明らかとなる場合も位置合わせが失敗した状態（又は位置合わせが必要な状態）と判定する。その他の構成は、図１に第１の実施形態と同様である。
本変形例の動作は、挿入部１１の先端の位置を位置センサ４１を用いて推定すること、位置合わせが失敗した場合に行う位置合わせを制御部２６の位置合わせ部２６ｅが行うことに変更したことを除けば第１の実施形態の動作を示す図３と殆ど同じ処理を行う。

【0050】

第１、又は第２の変形例によれば、術者が挿入部１１を挿入する操作を行った場合の最中において、提示用の候補情報を記憶部２７に記憶し、挿入部１１の先端の位置の推定が失敗したような場合に、位置合わせに適した提示用の候補情報を提示することができるようにしているので、挿入の操作を円滑に行うことができる。
また、第１、又は第２の変形例においては、最初の位置合わせ後に位置センサ４１を用いて挿入部１１の先端の位置推定を行うようにしており、位置合わせした位置からの距離が大きくなると、最初の位置合わせの状態から誤差が大きくなり易くなる。このような場合にも、位置センサ４１を用いると共に、画像マッチングを用いた再度の位置合わせにより、誤差を十分に小さくして、再度の位置合わせした位置付近からより深部側への挿入の操作を円滑に行うことが可能になる。

【0051】

なお、図１又は図５Ａの構成において、上述した所定の条件を満たす場合には、提示用の候補情報を記憶部２７の候補情報記憶部２７ａに記憶するが、候補情報を記憶した後には、殆ど同じ候補位置ないしは類似した候補位置での候補情報を記憶することを制限する候補情報の記憶制限手段を設けるようにしても良い。
例えば、候補情報を記憶した後には、推定された挿入部１１の先端の位置が当該候補位置から、予め設定された制限距離未満での次の候補情報の記憶を禁止（抑制）し、設定された制限距離以上移動した場合に候補情報の禁止（抑制）を解除して、上述した所定の条件を満たす場合に次の候補情報を記憶する候補情報の記憶制限部を設けるようにしても良い。または、初めに特徴領域内に到達した位置、最後に特徴領域内にあった位置、分岐点Ｂｉに最も近傍である位置、先の分岐が判別しやすい位置でもよい。この選択は術者が入力装置３１を構成するキーボード、マウス等から画像処理部２５又は制御部２６に指示入力しても良い。

【0052】

例えば図１、図５Ａにおいて制御部２６内に（候補情報の）記憶制限部２６ｆを設けた構成を点線で示している。

【0053】

このようにすると、記憶部２７の候補情報記憶部２７ａに記憶された候補情報を読み出してモニタ３２に提示する場合の候補情報が多くなりすぎることを抑制でき、術者は位置合わせに適した適度の数の候補情報から位置合わせの作業を行うことができるようになる。従って、術者は、位置合わせの作業が行い易くなる効果を有する。
なお、記憶を制限する制限距離としては、気管支２の分岐点ＢｉやスパーＳｐｉの情報等から設定しても良い。具体的には、例えば気管支の芯線３５に沿って存在する隣接する分岐点ＢｉとＢｉ＋１間の距離等に基づいて制限距離を設定するようにしても良い。具体例として、例えば隣接する分岐点間距離の１／２を制限距離に設定しても良い。
また、記憶部２７の候補情報記憶部２７ａに候補情報を記憶する条件を制限する代わりに、提示に適した候補情報のみを選択的に抽出（つまり制限）して提示するように提示選択情報又は提示制限情報を（候補情報に）追加して記憶するようにしても良い。このため、例えば図１，図５Ａにおいて、候補情報記憶部２７ａがさらに提示選択情報又は提示制限情報を記憶する提示制限情報記憶部２７ｂを含むように提示選択情報又は提示制限情報を記憶するようにしても良い。

【0054】

上述した所定の条件として例えば分岐点Ｂｉから一定値ｄｔｈ２以内となる条件（特徴領域内に存在する条件）を最初に満たす位置Ｐｉ′とした場合、この位置Ｐｉ′を候補位置として候補情報として記憶する場合、提示制限情報として例えば（Ｂｉ，１）も追加して記憶する。ここで、（Ｂｉ，１）は（分岐点Ｂｉ、条件を満たす最初の位置の番号）を意味する。
さらに挿入部１１の先端が深部側に移動された場合、適宜の時間間隔で次の位置Ｐｉ＋１′とした場合、この位置Ｐｉ＋１′を候補位置として候補情報として記憶する場合、提示制限情報として例えば（Ｂｉ，２）も追加して記憶する。このようにして、分岐点Ｂｉから一定値ｄｔｈ２以内となる条件を満たす複数の候補情報を記憶した場合において、再度の位置合わせのための候補情報の提示の指示がされた場合には、例えば分岐点Ｂｉ付近において条件を満たす最初の位置の番号１の候補情報のみを提示（表示）するように制限しても良い。なお、術者が例えば入力装置３１から提示する数の条件を変更することによりモニタ３２で提示する候補情報の数を変更するようにすることもできる。
このようにした場合にも、モニタ３２で候補情報を提示する場合の提示用の候補情報が多くなりすぎることを抑制でき、術者は位置合わせに適した適度の数の候補情報から位置合わせの作業を行うことができるようになる。従って、術者は、位置合わせの作業が行い易くなる効果を有する。
さらに、気管支形状画像やＶＢＳ画像を生成するに当たり、ＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出するのでなく、ＣＴ画像データよりボリュームレンダリングで直接生成してもよい。この場合、図１または図５Ａにおける気管支抽出部２３は不要であり、ＶＢＳ画像生成部２４が前記２種類の画像を生成する。

【0055】

（第２の実施形態）
次に本発明の第２の実施形態を説明する。本実施形態は、図１の内視鏡システム１又は図５Ａの内視鏡システム１Ｂと同じ構成である。
本実施形態は、上述した（ｂ）の内容に近くなるが、２点間の距離が第１の閾値を満たす条件と、第２の閾値とを満たす場合に候補情報を記憶する。本実施形態においては、推定された挿入部１１の先端の位置が、例えばＰｉで分岐点Ｂｉから第１の閾値ｄｔ２以内となった後、さらにＰｉ＋１まで進んで分岐点Ｂｉから第２の閾値ｄｔ１以上となった条件を満たした場合に、挿入部１１の先端が分岐点Ｂｉに到達したと判断して第１の閾値ｄｔ２以内となったときの候補情報を記憶する。
図６は、第２の実施形態における挿入の操作中における候補情報を記憶する動作の説明図を示す。図６に示すように例えば挿入部１１の先端がスパーＳｐｉ−１よりも深部側に挿入された場合、推定された挿入部１１の先端の位置Ｐｉと次の分岐点Ｂｉの位置間の距離が一定値ｄｔｈ２以内か否かの第１の判定が制御部２６の特徴領域判定部２６ｄにより行われる。

【0056】

また、特徴領域判定部２６ｄは、第１の判定により推定された挿入部１１の先端の位置Ｐｉと分岐点Ｂｉの位置の距離が第１の閾値ｄｔ２以内となった後、さらに推定された挿入部１１の先端の位置Ｐｉと分岐点Ｂｉの位置間の距離が第２の閾値ｄｔ１以上か否かの第２の判定を行う。
そして、第２の判定により推定された挿入部１１の先端の位置Ｐｊと分岐点Ｂｉの位置間の距離が第２の閾値ｄｔ１以上となった場合に第１の閾値ｄｔ２以内となったときの候補情報を記憶する。
この場合、図６に示すように第１の閾値ｄｔ１と第２の閾値ｄｔ２とをｄｔ１＞ｄｔ２に設定しておくと、図６に示すように挿入部１１の先端が分岐点Ｂｉ近傍に到達した状態での候補情報を記憶することができる。

【0057】

本実施形態によれば、第１の実施形態のように術者が挿入部１１を挿入する操作を行った場合の最中において、提示用の候補情報を記憶部２７に記憶し、挿入部１１の先端の位置の推定が失敗したような場合に、提示用の候補情報を提示することができるようにしているので、挿入の操作を円滑に行うことができる。
更に、本実施形態によれば、挿入部１１の先端が分岐点Ｂｉの近傍の位置に到達した状態を精度良く検出できる。
なお、本実施形態の具体例として、挿入部１１の先端の位置と分岐点Ｂｉとの距離に関して２つの閾値を設定した場合で説明したが、挿入部１１の先端の位置とスパーＳｐｉ間の距離や、挿入部１１の先端に最も近い芯線３５上の位置と分岐点Ｂｉ間の距離等を用いるようにしても良い。

【0058】

（第３の実施形態）
次に本発明の第３の実施形態を説明する。本実施形態の内視鏡システムは、図１の内視鏡システム１又は図５Ａの内視鏡システム１Ｂと同じ構成である。本実施形態においては、挿入部１１の先端がある分岐点付近を通り、当該分岐点付近から枝分かれした次の気管支枝（小枝）に移動したような場合、その前に取得した挿入部１１の先端の位置で候補情報を記憶する。
図７は本実施形態の場合の動作説明図を示す。例えば挿入部１１の先端が位置Ｐｋにおいて、その位置が推定された後、さらに挿入部１１の先端が移動して、枝分かれした１つの気管支枝（小枝）内の位置Ｐｋ＋１に達した（又は移動した）場合に、位置Ｐｋでの候補情報を記憶する。なお、図７以降においては、挿入部１１の先端の位置を小円で示す。

【0059】

１つの気管支枝（小枝）内の位置Ｐｋ＋１に達した（又は移動した）場合とは、図７に示すように挿入部１１の先端の位置に最も近い芯線３５が小枝のものであった場合に該当する。この状態を判定するために、図７に示すように例えば分岐点Ｂｉを中心にした距離として半径ｄｔの円の領域を設定し、特徴領域判定部２６ｄは、推定された挿入部１１の先端がこの円の領域内に位置に存在する第１の状態を判定した後、この円の領域以上の外側に移動した第２の状態を判定するようにしても良い。図７の例では半径ｄｔは、分岐点ＢｉとスパーＳｐｉの位置間の距離ないしはこの距離よりも若干大きい値に設定されている。
また、内視鏡画像により判定するようにしても良い。例えば上記半径ｄｔの円内において内視鏡画像中に分岐した気管支枝の画像としての例えば２つの暗い円形画像を確認した後、挿入部１１の先端の移動により１つの暗い円形画像となった場合においては、前記２つの暗い円形画像を確認した状態中において、位置合わせのエラーが発生していない状態の位置で取得した当該位置と対応するＶＢＳ画像を候補情報として記憶するようにしても良い。

【0060】

また、図７に示す円形に設定した領域の変形例として例えば分岐点Ｂｉからの芯線３５上での距離がｄｔとなる境界Ｂｔ（図７において点線で示す）を設定しても良い。このように境界Ｂｔを設定した場合もほぼ同様の作用効果を有する。
また、本実施形態の変形例として挿入部１１の先端が順次通過した２つの分岐点からの距離が両者とも増加した場合に、増加する直前において位置合わせのエラーが発生していない状態で取得した位置での当該位置と対応するＶＢＳ画像を候補情報として記憶するようにしても良い。
図８は本変形例の場合の動作説明図を示す。図８に示すように推定された挿入部１１の位置Ｐｋが、分岐点Ｂｉ−１と、該分岐点Ｂｉ−１の次の分岐点Ｂｉを通過して気管支のより深部（末端）側に挿入された場合、特徴領域判定部２６ｄは、以下の条件を監視する。

【0061】

特徴領域判定部２６ｄは、分岐点Ｂｉ−１と位置Ｐｋとの第１の距離ｄ１と、分岐点Ｂｉと位置Ｐｋとの第２の距離ｄ２とが共に増加する条件を満たした場合に、この条件を満たす直前において位置合わせのエラーが発生していない状態の位置（例えばＰｋ−１）で取得した当該位置と対応するＶＢＳ画像を候補情報として記憶する。
本変形例は、第２の実施形態とほぼ同様の効果を有する。
この他に、図９に示すように内視鏡画像における分岐の特徴量となる（気管支２が分岐した）小枝の重心間の距離ｄｇが変化した場合に、候補情報を記憶するようにしても良い。なお、図９において上下の各内視鏡画像Ｉｋ、Ｉｋ＋１は、例えば挿入部１１の先端が位置Ｐｋ、Ｐｋ＋１においてそれぞれ取得した場合の画像であり、画像処理部２５は、２値化処理等により抽出した暗部を小枝（の部分）の画像Ｉａ，Ｉｂとして算出する。

【0062】

さらに画像処理部２５は、各小枝の画像Ｉａ，Ｉｂの重心Ｇａ，Ｇｂを算出し、重心間の距離ｄｇを推定する。そして、画像処理部２５は、重心Ｇａ，Ｇｂ間の距離ｄｇが位置Ｐｋから位置Ｐｋ＋１に移動した場合に所定値以上又は所定の比率以上に変化した場合に、例えば位置Ｐｋにおいての候補情報を記憶する。このようにした場合にも、第３の実施形態とほぼ同様の効果を有する。なお、図９における２つの小枝の画像Ｉａ，Ｉｂの外側の円形は、気管支２の管腔内壁を示す。
図９のように重心Ｇａ，Ｇｂ間の距離ｄｇが変化した場合の代わりに、小枝を楕円形とみなした場合の代表半径又は代表半径の比が変化した場合に候補情報を記憶するようにしても良い。
また、画像Ia、Ibの画素の和が変化した場合に候補情報を記憶するようにしても良い。
次に上述した実施形態においてマッチングエラーや位置合わせが失敗した場合、又はユーザが位置合わせを行うために候補情報の提示の指示がされたような場合における候補情報の提示例を説明する。図２Ｄにおいては、候補情報の１つの提示例を示したが、以下のように提示するようにしても良い。

【0063】

図１０Ａは、上述した実施形態において所定の条件を満たす場合において候補情報として記憶された候補位置をＰｃ１、Ｐｃ２，Ｐｃ３で示し、また対応するＶＢＳ画像をＶ１，Ｖ２，Ｖ３で示している。そして、例えば術者が候補情報の提示の指示を行った場合、気管支形状画像２ａ上に上記候補位置Ｐｃ１、Ｐｃ２，Ｐｃ３を重畳表示し、また、対応するＶＢＳ画像Ｖ１，Ｖ２，Ｖ３も上記候補位置Ｐｃ１、Ｐｃ２，Ｐｃ３に対応付けて（例えば候補位置Ｐｃｉ（ｉ＝１，２，３）とＶＢＳ画像Ｖｉとを線で結ぶ等して）表示する。なお、図２Ｄにおいて示したように候補位置Ｐｃｉに対応する内視鏡画像もＶＢＳ画像Ｖｉと比較し易い位置に同時に表示するようにしても良い。
また、図１０Ａに示すように目標部位３６を気管支形状画像２ａ画像上に重畳表示すると共に、気管支形状画像２ａ画像上に内視鏡３の挿入部１１を挿入する経路Ｒを重畳表示する。また、図示していない内視鏡３の先端部１３の軌跡を表示してもよい。

【0064】

このように候補情報を提示することによりユーザは再度の位置合わせを短時間に効率良く行い易くなり、目標部位３６への挿入を円滑に行い易くなる。なお、内視鏡３の挿入部１１の先端が（経路データとしての）経路Ｒから（例えば管腔径程度などの）所定距離遠ざかったと判定した場合にも、例えば図１０Ａに示すような候補情報を提示するようにしても良い。
また、図１０Ｂに示すように記憶された候補位置Ｐｃ１、Ｐｃ２，Ｐｃ３′、Ｐｃ３の間を、移動に沿った線Ｌ１２，Ｌ２３′、Ｌ２３で結ぶように表示するようにしても良い。図１０Ｂの場合においては、候補位置Ｐｃ１，Ｐｃ２，Ｐｃ３′の順に候補情報を記憶した後、候補位置Ｐｃ３′から再び候補位置Ｐｃ２に戻り、候補位置Ｐｃ３′側の小枝とは異なる小枝側の候補位置Ｐｃ３に移動した場合の例を示す。上記のように移動したため、線Ｌ１２，Ｌ２３′、Ｌ２３を表示（提示）する。なお、候補位置Ｐｃ３′に対応するＶＢＳ画像をＶ３′で示している。その他は、図１０Ａにおいて説明した内容と同様であり、同様の効果を有する。

【0065】

また、図１０Ｃは、例えば図１０Ａの場合においてさらに内視鏡３の挿入部１１の先端が候補位置Ｐｃｉで候補情報を記憶した時点から所定の時間が経過した時点において挿入部１１の先端の位置を取得することによって、候補位置Ｐｃｉからの動き方向Ｍｉを算出し、候補情報として、又は候補情報の付帯情報として記憶する。そして、図１０Ｃに示すように候補情報の提示の際に図１０Ａで説明した候補情報の提示の際に、動き方向Ｍｉも表示（提示）する。その他は、図１０Ａにおいて説明した内容と同様であり、図１０Ａの場合と同様の効果を有すると共に、動き方向Ｍｉを参考にすることによってより位置合わせを行い易くなる。
図１０Ｄは、例えば図１０Ａの場合においてさらに内視鏡３の挿入部１１の先端の位置Ｐｃｉで候補情報を記憶する場合、撮像装置１６の（対物レンズ１５に基づく）視線方向Ｃｉも記憶する。そして、図１０Ｄに示すように候補情報の提示の際に図１０Ａで説明した候補情報の提示の際に、視線方向Ｃｉも表示（提示）する。その他は、図１０Ａにおいて説明した内容と同様である。視線方向Ｃｉの提示により位置合わせを行い易くなる。

【0066】

図１０Ｄにおいては、候補情報を提示する場合に視線方向Ｃｉも提示することができる例を説明した。図１０Ｄにおいては、２次元的に視線方向Ｃｉを表示する場合を示した。これに対して、図１０Ｅに示すように、例えば四角錐等を用いて視線方向Ｃｉ′を表示し、視線方向Ｃｉ′を３次元的な方向としてユーザが認識し易いように表示（提示）するようにしても良い。図１０Ｅに示すように提示すると、ユーザは視線方向Ｃｉ′をより認識し易くなる。
図１０Ｆは、例えば図１０Ａの場合においてさらに候補情報を記憶した場合に気管支２の管腔径の情報として気管支２の３次元形状より算出した内径Ｄｉの情報を記憶し、候補情報を提示する場合に、記憶した内径Ｄｉの情報も提示する例を示す。図１０Ｆのように内径Ｄｉの情報も表示することにより、ユーザは挿入部１１の先端の位置をより把握し易くなる。その他は、図１０Ａの場合と同様の作用効果を有する。
図１０Ｇに示すように４つの位置に文字情報（具体的にはＡ，Ｂ，Ｃ，Ｄ）を付け、対応するＶＢＳ画像にも同じ文字情報で関係付けて表示しても良い。図１０Ｇでは図１０Ｂの場合のように、候補位置Ｐｃ１，Ｐｃ２，Ｐｃ３′の順に候補情報を記憶した後、候補位置Ｐｃ３′から再び候補位置Ｐｃ２に戻り、候補位置Ｐｃ３′側の小枝とは異なる小枝側の候補位置Ｐｃ３に移動した場合の例を示す。なお、ＶＢＳ画像を気管支形状画像２ａの下側に配置しても良い。
図１０Ｇに示すように提示すると、ユーザは時系列で位置を確認することができ、挿入部１１の先端の位置をより把握し易くなる。また、図示はしないがＶＢＳ画像に候補情報を記憶した順番や時刻を付加して表示してもよい。更に、位置に対する文字情報の割り当てはＰｃ３、Ｐｃ３’、Ｐｃ２、Ｐｃ１と時系列で逆となるようにしてよいし、最後に位置推定に成功した位置から近い順にしてもよい。

【0067】

上述した提示例は、気管支形状画像２ａ上に候補位置等の候補情報を重畳表示する例を説明したが、以下に示すように候補位置となる位置を気管支２を含む断層像画像（ＭＰＲ画像）上に表示するようにしても良い。
図１１は、上述した第１−第３の実施形態に適用できるモニタ３２に表示する例を示す。図１１の左上は患者の気管支を含む横断面のＣＴ断層画像を示し、図１１の右上は患者の正面に垂直な縦断面のＣＴ断層画像を示し、図１１の左下は患者の正面に並行な縦断面のＣＴ断層画像を示し、図１１の右下はユーザが座標を設定する場合のメニュー画面を示す。
図１１は、挿入部１１の先端（又は先端に設けた撮像装置１６）の推定された位置（点）を断層画像上に、例えば同じ色の円その他の形状で表示する。図１１では、４つの位置を、断層画像の表示色と異なる色（例えば青色）で表示する。

【0068】

なお、先端の位置を候補情報における候補位置（情報）として提示する場合、図１０Ａ−図１０Ｆのように位置と、位置に対応するＶＢＳ画像とを線を用いて関係付けて表示しても良いし、図１２に示すように４つの位置に文字情報（具体的にはＡ，Ｂ，Ｃ，Ｄ）を付け、対応するＶＢＳ画像にも同じ文字情報で関係付けて表示しても良い。
以下に説明する場合においては、位置を断層画像上に重畳して表示する様子を示す例であり、位置と対応するＶＢＳ画像との文字情報等で関連付けて提示する表示を省略する。
図１１では、推定された位置が、切断面上に有る場合と、それ以外の場合とで同じ色、形状で示しているが、図１３に示すように、切断面上に有る場合と、切断面上に無い場合とで、異なる形状（例えば前者を円、後者を四角）で表示するようにしても良いし、色を変えるようにしても良い。また、切断面上に有る場合のみを表示するようにしても良い。

【0069】

また、例えば図１１のように表示する場合、更に図１４において矢印で示すように移動方向の情報も表示するようにしても良い。上述したように分岐点等から一致値以内などの所定の条件を満たしたときの（挿入部１１の先端の）位置で候補情報を記憶した場合、その直後の位置の情報も記憶し、候補情報を表示する場合、２点間を結ぶ矢印を図１３に示すように移動方向として表示する。なお、移動方向を示すものの代わりに、挿入部１１の先端に設けた撮像装置１６の視線方向を表示するようにしても良い。
また、２点間を結ぶ矢印でなく、候補位置での撮像装置１６の視野範囲又はＶＢＳ画像の視野範囲を図１５に示すように表示しても良い。
また、図１５ではＭＰＲ画像での表示であるため、視野範囲も切断面に投影した形状となっているが、図１６に示すように１つの断層像上で表示する場合には視野範囲を四角錐を用いて立体的に表示しても良い。

【0070】

また、記憶した位置を点で表示（提示）する代わりに、領域で表示（提示）するようにしても良い。図１７は、この場合の提示例を示す。図１７において、斜線で示す領域は、既に記憶部２７に候補位置に相当する候補領域として記憶済み（登録済み）の領域であり、これに対してクロスハッチングした領域は、未登録の領域を示す。
このように登録済みの領域と未登録の領域とを識別できるように表示すると、ユーザが望む気管支２の小枝部分において、登録が完了しているか否かが容易に分かる。そのため、ユーザに対する利便性を向上できる。
なお、表示（提示）する場合の領域としては、ユーザなどが再度の位置合わせの指示した位置から一定範囲内となる条件を満たす範囲内でも良いし、気管支２における小枝でも良いし、気管支２における抽出された部分に同時に表示しても良い。

【0071】

また、図１１から図１７における断層画像（ＭＰＲ画像）が肺野のどの部分であるかをユーザが容易に把握できるよう、図１８に示すように断層画像と気管支樹と組み合わせて表示するようにしても良い。
この場合、断層画像と気管支樹の位置関係は、記憶した点が断層画像上になるように設定しても良いし、その点から任意の方向にオフセット分移動しても良い。
また、図１８では１つの断層画像を示す例を示しているが、図１９に示すように２つ以上の断層画像と組み合わせるようにしても良い。
上述した図１１−図１９のＭＰＲ画像の断面としては、体に水平な体軸断面（アキシャル断面, axial 断面）と、縦切りの矢状断面（サジタル断面, sagittal 断面）と、横切りの冠状断面（コロナル断面, coronal 断面）という３つの断面のいずれかが用いられる。しかし、気管支樹の形状を考慮していないため、気管支樹の分岐の認識が容易でない場合がある。そこで、分岐を認識し易いように図２０に示すように記憶（登録）した点の気管支枝を含むような切断面を設定しても良い。

【0072】

図２０に示す切断面は、以下の設定方法により設定される。
ａ．図２１（Ａ）に示すように記憶部２７に候補位置として記憶（登録）された位置（点）Ｑ１が存在する気管支枝Ｔ１を１つ求める。
ｂ．図２１（Ａ）に示すように求めた気管支枝Ｔ１と同じ分岐点Ｂを共有する気管支枝Ｔ２を求める。
ｃ．２つの気管支枝Ｔ１、Ｔ２の方向ベクトル（例えば気管支枝における開始点と終点とを結ぶベクトルや、開始点と気管支枝の中間の芯線３５上の点を結ぶベクトルなど）から外積を求める。
ｄ．分岐点Ｂを含み、ｃで求めた方向ベクトルを法線とする平面を求める。
ｅ．図２１（Ｂ）に示すようにｄにおいて求めた平面上にあり、かつ登録された点Ｑ１が存在する気管支枝Ｔ１の芯線３５の長さや方向ベクトルに応じた領域Ｒ１で断層画像を切り出す。

【0073】

ｆ．上述のａ−ｅの処理を全ての登録された点Ｑ１等が存在する気管支枝Ｔ１等に対して行う。図２１（Ｃ）は、図２１（Ａ）の末端側の点Ｑ２が存在する気管支枝Ｔ３において、図２１（Ｂ）に示した場合と同様の設定方法で切り出す領域Ｒ２を示す。
ｇ．図２１（Ｄ）に示すように切り出した領域Ｒ１，Ｒ２を貼り合わせて、貼り合わせ断層画像を生成する。このようにして、図２０に示した記憶（登録）された位置（点）を含む気管支枝を示す切断面が設定される。図２０のように表示すると、候補位置を気管支枝との関連性から把握し易くなる。このため、位置合わせの処理をより円滑に行い易くなる効果を有する。
なお、上述した変形例を含む実施形態を部分的に組み合わせて構成される実施形態等も本発明に属する。

【0074】

本出願は、２０１３年３月１２日に日本国に出願された特願２０１３−４９２９０号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図10F】

【図10G】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】