特許 7423740 内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-19

(45)【発行日】2024-01-29

(54)【発明の名称】内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20240122BHJP

   A61B 1/045 20060101ALI20240122BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 618

A61B1/00 551

A61B1/045 610

【請求項の数】 18

(21)【出願番号】P 2022501464

(86)(22)【出願日】2020-02-19

(86)【国際出願番号】 JP2020006444

(87)【国際公開番号】W WO2021166103

(87)【国際公開日】2021-08-26

【審査請求日】2022-08-10

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】羽根 潤

【審査官】北島 拓馬

(56)【参考文献】

【文献】国際公開第２０１７／２１２７２５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２３００９８（ＷＯ，Ａ１）

【文献】特開２００６－２８８７５２（ＪＰ，Ａ）

【文献】国際公開第２００９／０６９３９５（ＷＯ，Ａ１）

【文献】国際公開第２００８／０５９６３６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ －２３／２６

(57)【特許請求の範囲】

【請求項1】

被写体となる管腔に挿入される挿入部に設けられた撮像部によって取得された前記被写体の同一部位が含まれる複数の時点の撮像画像と、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置とを取得する入力部と、
前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する管腔構造算出部と、
を具備することを特徴とする管腔構造算出装置。

【請求項2】

前記同一部位は、特徴点であり、
前記管腔構造算出部は、
各撮像画像中の複数の前記特徴点を抽出する特徴点抽出部と、
前記複数の特徴点の前記撮像画像上の位置と、前記挿入部の前記３次元配置とから、各特徴点の３次元空間内の位置を算出する３次元位置算出部と、
を有し、
前記管腔構造算出部は、前記３次元空間内の算出された前記各特徴点の位置から前記管腔の前記３次元構造を算出することを特徴とする請求項１に記載の管腔構造算出装置。

【請求項3】

前記特徴点抽出部は、前記複数の時点の前記撮像画像に共通して映されている前記特徴点を抽出し、
前記入力部は、前記複数の時点の前記挿入部の３次元配置情報を取得し、
前記３次元位置算出部は、前記複数の時点の前記挿入部の前記３次元配置情報と、前記複数の時点の前記撮像画像に共通して映されている前記特徴点の前記撮像画像上の位置とに基づき、前記特徴点の前記３次元空間内の位置を算出することを特徴とする請求項２に記載の管腔構造算出装置。

【請求項4】

前記管腔構造算出部は、前記３次元構造の一部である部分３次元構造を複数算出し、各々の前記部分３次元構造を作成しているときの前記３次元配置に基づき、複数の前記部分３次元構造の配置を決定することで前記３次元構造を算出することを特徴とする請求項１に記載の管腔構造算出装置。

【請求項5】

前記管腔は、外部から固定された固定部と、外部から固定されていない可動部とを有し、
前記管腔構造算出部は、前記可動部に対応する前記部分３次元構造と前記固定部との距離を算出し、前記部分３次元構造と前記固定部との距離に基づいて、前記部分３次元構造の前記配置を補正することを特徴とする請求項４に記載の管腔構造算出装置。

【請求項6】

前記管腔構造算出部は、各撮像画像中の複数の特徴点を抽出する特徴点抽出部を有し、前記各特徴点の位置の情報を含んだ複数の前記部分３次元構造を算出し、複数の前記部分３次元構造に共通する前記特徴点の位置に基づき、前記部分３次元構造の前記配置を補正することを特徴とする請求項４に記載の管腔構造算出装置。

【請求項7】

前記管腔は、外部から固定された固定部と、外部から固定されていない可動部とを有し、
前記管腔構造算出部は、複数の前記部分３次元構造の間で類似する前記特徴点が抽出されたときに、前記類似する特徴点から前記固定部までの距離の違いを所定の基準値と比較することで、類似する前記特徴点が複数の前記部分３次元構造に共通する前記特徴点であるか否かを判定することを特徴とする請求項６に記載の管腔構造算出装置。

【請求項8】

前記入力部は、時間経過に伴う前記３次元配置の変化の情報である３次元配置時間変化情報を取得し、
前記管腔構造算出部は、前記３次元配置時間変化情報に基づき、前記挿入部の方向転換場所と滞留場所との少なくとも一方を判定することで、前記固定部と前記可動部の位置を推定することを特徴とする請求項５に記載の管腔構造算出装置。

【請求項9】

前記３次元位置算出部は、誤差調整により前記各特徴点の前記３次元空間内の位置を決定することを特徴とする請求項２に記載の管腔構造算出装置。

【請求項10】

前記３次元位置算出部は、前記入力部により検出された前記配置を既知として、バンドル調整による前記誤差調整により前記各特徴点の前記３次元空間内の位置を決定することを特徴とする請求項９に記載の管腔構造算出装置。

【請求項11】

前記３次元位置算出部は、前記複数の時点の前記挿入部の前記３次元配置情報と、複数の時点の前記撮像画像に共通して映されている前記特徴点の前記撮像画像上の位置とから、三角測量に基づき前記特徴点の前記３次元空間内の位置を算出することを特徴とする請求項３に記載の管腔構造算出装置。

【請求項12】

前記管腔構造算出部は、先端部に設けられた複数の照明部における出射させる前記照明部を切り替えることで得られた前記被写体の同一部位が含まれる前記複数の時点の前記撮像画像中の影領域の画像から照度差ステレオに基づき、前記管腔の３次元構造を決定することを特徴とする請求項１に記載の管腔構造算出装置。

【請求項13】

前記３次元位置算出部は、前記管腔の領域毎に設定された各特徴点の所定の伸縮率上限値を用いて、複数の前記撮像画像に映っている共通の特徴点が同一であるか否かを判定することを特徴とする請求項２に記載の管腔構造算出装置。

【請求項14】

前記３次元位置算出部は、検出した特徴点の位置の変化量が前記所定の伸縮率上限値以下であるときに、各々の前記撮像画像に映っている各特徴点が同一であると判定することを特徴とする請求項１３に記載の管腔構造算出装置。

【請求項15】

前記撮像画像中の隣り合う２つの画素又は２つの画素領域間の輝度値の差が、所定値以上であるとき、所定の告知を行う告知部を有することを特徴とする請求項１に記載の管腔構造算出装置。

【請求項16】

被写体となる管腔に挿入される挿入部と、
前記挿入部に設けられ、前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得する撮像部と、
前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出するための検出装置と、
前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する管腔構造算出部と、
を具備することを特徴とする内視鏡システム。

【請求項17】

被写体となる管腔に挿入される挿入部に設けられて前記被写体を撮像する撮像部と、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出する検出装置と、前記管腔の３次元構造を算出する管腔構造算出部とを備える管腔構造算出装置の作動方法であって、
前記撮像部が、前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得するステップと、
前記検出装置が、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出するステップと、
前記管腔構造算出部が、前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出するステップと、
を備えることを特徴とする管腔構造算出装置の作動方法。

【請求項18】

被写体となる管腔に挿入される挿入部に設けられた撮像部によって取得された前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得する処理と、
前記挿入部の位置及び向きの少なくとも一つの情報を含む３次元配置を検出する処理と、
前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する処理と、
を、コンピュータに実行させることを特徴とする管腔構造情報作成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラムに関する。

【背景技術】

【0002】

内視鏡が医療分野及び工業分野で広く利用されている。例えば、医療分野では、医者は、内視鏡の挿入部を被検体内に挿入し、表示装置に表示される内視鏡画像を見て被検体内を観察することにより、内視鏡検査などを行うことができる。

【0003】

内視鏡検査のとき、未観察箇所があると確実な内視鏡検査が保証されない。そこで、大腸内視鏡の未観察箇所の把握などを目的として、例えば、モハンマド・アリ・アルミン（Ｍｏｈａｍｍａｄ Ａｌｉ Ａｒｍｉｎ）、他５名著、「大腸内視鏡映像からの大腸内表面の自動化可視マップ（Ａｕｔｏｍａｔｅｄ ｖｉｓｉｂｉｌｉｔｙ ｍａｐ ｏｆ ｔｈｅ ｉｎｔｅｒｎａｌ ｃｏｌｏｎ ｓｕｒｆａｃｅ ｆｒｏｍ ｃｏｌｏｎｏｓｃｏｐｙ ｖｉｄｅｏ）」、（International Journal of Computer Assisted Radiology and Surgery、Ｖｏｌ．１１、Ｎｏ．９、Ｐ．１５９９－１６１０、４ Ａｕｇ，２０１６（インターナショナル・ジャーナル・オブ・コンピュータ・アシステド・ラジオロジ・アンド・サージェリ、１１巻、９号、１５９９－１６１０、２０１６年８月４日）には、内視鏡により撮像して得られた画像に基づいて腸管の３次元モデル構造を演算による推定で構築する技術が提案されている。

【0004】

その提案では、３次元モデル構造は、内視鏡画像のみから算出される。３次元モデル構造を算出するためには、内視鏡画像における腸管の内壁上の複数の特徴点の座標を求め、複数の特徴点を繋ぐように３次元モデル構造が作成される。

【0005】

しかし、大腸などの臓器は可動性を有するため、３次元モデル構造を作成中に、臓器の動きなどによる画像不良が生じると、特徴点の位置が不明になり、複数点を繋ぐ３次元モデル構造は算出できない。

【0006】

本発明は、上述した問題に鑑みてなされたものであて、臓器の動きなどによる画像不良が生じても各特徴点の位置から管腔の３次元モデル構造を算出可能な内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラムを提供することを目的とする。

【発明の開示】

【課題を解決するための手段】

【0007】

本発明の一態様の管腔構造算出装置は、被写体となる管腔に挿入される挿入部に設けられた撮像部によって取得された前記被写体の同一部位が含まれる複数の時点の撮像画像と、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置とを取得する入力部と、前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する管腔構造算出部と、を具備する。

【0008】

本発明の一態様の内視鏡システムは、被写体となる管腔に挿入される挿入部と、前記挿入部に設けられ、前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得する撮像部と、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出するための検出装置と、前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する管腔構造算出部と、を具備する。

【0009】

本発明の一態様の管腔構造算出装置の作動方法は、被写体となる管腔に挿入される挿入部に設けられて前記被写体を撮像する撮像部と、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出する検出装置と、前記管腔の３次元構造を算出する管腔構造算出部とを備える管腔構造算出装置の作動方法であって、前記撮像部が、前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得するステップと、前記検出装置が、前記撮像部の位置及び向きの少なくとも一部の情報を含む３次元配置を検出するステップと、前記管腔構造算出部が、前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出するステップと、を備える。

【0010】

本発明の一態様の管腔構造情報作成プログラムは、被写体となる管腔に挿入される挿入部に設けられた撮像部によって取得された前記被写体の同一部位が含まれる複数の時点の前記被写体の撮像画像を取得する処理と、前記挿入部の位置及び向きの少なくとも一つの情報を含む３次元配置を検出する処理と、前記複数の時点の前記撮像画像と前記３次元配置に基づいて、前記同一部位の位置を算出することで、前記管腔の３次元構造を算出する処理と、をコンピュータに実行させる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係わる内視鏡システムの構成図である。

【図2】本発明の実施形態に係わる内視鏡の斜視図である。

【図3】本発明の実施形態に係わる内視鏡システムの構成を示すブロック図である。

【図4】本発明の実施形態に係わる、管腔構造算出プログラムの管腔構造の算出処理の流れの例を示すフローチャートである。

【図5】本発明の実施形態に係わる、挿入部の先端部の初期値を設定するときの患者の状態を説明するための図である。

【図6】本発明の実施形態に係わる、大腸内の模式的な部分モデルの例を示す図である。

【図7】本発明の実施形態に係わる、大腸内の模式的な部分モデルの例を示す図である。

【図8】本発明の実施形態に係わる、２つの部分モデルの位置ずれを補正する方法を説明するための図である。

【図9】本発明の実施形態に係わる、モニタに表示される画像の例を示す図である。

【図10】本発明の実施形態に係わる、構造情報表示領域に表示される構造情報の画像の例を示す図である。

【図11】本発明の実施形態に係わる、モニタに表示される先端部の軌跡を示した画像の例を示す図である。

【図12】本発明の実施形態に係わる、二人の医師についての挿入部の先端部の軌跡をモニタの表示画面上に表示させたときの表示例を示す図である。

【図13】本発明の実施形態に係わる、各特徴点の３次元空間内の位置算出をバンドル調整により行う方法のフローチャートである。

【図14】本発明の実施形態に係わる、連続して取得された複数の内視鏡画像上の特徴点と、先端部の位置と姿勢の関係を説明するための模式図である。

【図15】本発明の実施形態に係わる、複数の内視鏡画像上の特徴点と、先端部の位置と姿勢の関係を説明するための模式図である。

【図16】本発明の実施形態に係わる、ステレオカメラを有する挿入部の先端部の先端部分の斜視図である。

【図17】本発明の実施形態に係わる、複数の照明窓を有する挿入部の先端部の先端面の平面図である。

【図18】本発明の実施形態に係わる、距離センサを有する挿入部の先端部の先端部分の斜視図である。

【図19】本発明の実施形態に係わる、距離センサを用いた管腔の内壁の３次元位置の算出を行う方法のフローチャートである。

【図20】本発明の実施形態に係わる、部分的に算出された管腔構造の例を説明するための図である。

【図21】本発明の実施形態に係わる、形状センサを有する内視鏡と、挿入量及び捩り量を検出するセンサを用いた先端部の位置と姿勢を検出する方法を説明するための図である。

【図22】本発明の実施形態に係わる、複数の磁気センサが挿入部内に配設された内視鏡の斜視図である。

【図23】本発明の実施形態に係わる、隠れ部分があるときのモニタの表示例を示す図である。

【図24】本発明の実施形態に係わる、画像の輝度値による未観察領域の告知処理の流れの例を示すフローチャートである。

【図25】本発明の実施形態に係わる、距離センサの距離画像による未観察領域の告知処理の流れの例を示すフローチャートである。

【発明を実施するための最良の形態】

【0013】

以下、図面を参照して本発明の実施形態を説明する。
（構成）
図１は、本実施形態に係わる内視鏡システムの構成図である。図２は、内視鏡の斜視図である。図３は、内視鏡システム１の構成を示すブロック図である。内視鏡システム１は、内視鏡２と、画像処理装置３と、光源装置４と、管腔構造検出装置５と、表示装置であるモニタ６と、磁場発生装置７とを含んで構成されている。内視鏡システム１は、白色の照明光を用いた通常光観察が可能である。医者は、内視鏡システム１を用いて、ベッド８上に仰向けで横になっている患者Ｐａの大腸内の内視鏡検査を行うことができる。また、管腔構造検出装置５は、患者Ｐａの大腸の管腔構造を算出する管腔構造算出装置である。

【0014】

なお、ここでは、磁場発生装置７は、独立した装置であるが、管腔構造検出装置５に含まれていてもよい。

【0015】

内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、信号線などを含むユニバーサルケーブル２ｃとを有する。内視鏡２は、管状の挿入部２ｂを体腔内に挿入する管状挿入装置である。ユニバーサルケーブル２ｃの先端にはコネクタが設けられ、内視鏡２は、そのコネクタにより光源装置４と画像処理装置３に着脱可能に接続される。ここでは、内視鏡２は、大腸内へ挿入可能な内視鏡である。さらに、図示しないが、ユニバーサルケーブル２ｃ内には、ライトガイドが挿通されており、内視鏡２は、光源装置４からの照明光を、ライトガイドを通して挿入部２ｂの先端から出射するように構成されている。

【0016】

図２に示すように、挿入部２ｂは、挿入部２ｂの先端から基端に向かって、先端部１１と、湾曲可能な湾曲部１２と、可撓管部１３とを有している。挿入部２ｂは、被写体となる患者Ｐａの管腔に挿入される。先端部１１の基端部は湾曲部１２の先端に接続され、湾曲部１２の基端部は可撓管部１３の先端に接続されている。先端部１１は、挿入部２ｂの先端部すなわち内視鏡２の先端部であり、硬い先端硬質部である。

【0017】

湾曲部１２は、操作部２ａに設けられた湾曲操作部材１４（左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂ）に対する操作に応じて、所望の方向に湾曲可能である。湾曲部１２を湾曲させ、先端部１１の位置と向きを変え、被検体内の観察部位を観察視野内に捉えると、照明光は観察部位に照射される。湾曲部１２は、挿入部２ｂの長手軸方向に沿って連結された複数の湾曲駒（図示せず）を有している。よって、医者は、挿入部２ｂを大腸内に押し込みながら、あるいは大腸内から引き抜きながら、湾曲部１２を様々な方向に湾曲させることによって、患者Ｐａの大腸内をくまなく観察することができる。

【0018】

左右湾曲操作ノブ１４ａ及び上下湾曲操作ノブ１４ｂは、湾曲部１２を湾曲するために、挿入部２ｂ内に挿通され操作ワイヤを牽引及び弛緩させる。湾曲操作部材１４は、さらに、湾曲した湾曲部１２の位置を固定する固定ノブ１４ｃを有している。なお、操作部２ａには、湾曲操作部材１４の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンも設けられている。

【0019】

可撓管部１３は、可撓性を有しており、外力に応じて曲がる。可撓管部１３は、操作部２ａから延出されている管状部材である。

【0020】

また、図３に示すように、挿入部２ｂの先端部１１には、撮像装置である撮像素子１５が設けられており、光源装置４の照明光により照明された大腸内の観察部位は、撮像素子１５により撮像される。すなわち、撮像素子１５は、挿入部２ｂの先端部１１に設けられ、複数の時点において被検体内を撮像して複数の時点の撮像画像を取得する撮像部を構成する。撮像素子１５により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を経由して画像処理装置３に供給される。

【0021】

画像処理装置３は、受信した撮像視号に対して所定の画像処理を行い、内視鏡画像を生成するビデオプロセッサである。生成された内視鏡画像の映像信号は、画像処理装置３からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う医者は、挿入部２ｂの先端部１１を患者Ｐａの肛門から挿入し、患者Ｐａの大腸内を観察することができる。

【0022】

さらに、挿入部２ｂの先端部１１には、磁気センサ１６が配置されている。具体的には、磁気センサ１６は、先端部１１の撮像素子１５の近傍に配置され、撮像素子１５の視点の位置と姿勢を検出するための検出装置である。磁気センサ１６は、２つのコイル１６ａ、１６ｂを有する。例えば、円筒状の２つのコイル１６ａ、１６ｂの２つの中心軸は、互いに直交している。よって、磁気センサ１６は、６軸のセンサであり、先端部１１の位置座標と向き（すなわちオイラー角）を検出する。磁気センサ１６の信号線２ｅが、内視鏡２から延出し、管腔構造検出装置５に接続されている。

【0023】

すなわち、撮像素子１５の視点の位置と姿勢を検出するための検出装置として、磁気センサ１６は、挿入部２ｂの先端部１１の内部に配置可能であり、挿入部２を有する内視鏡２のサイズ、性能には影響を与えない。

【0024】

磁場発生装置７が所定の磁場を発生し、磁気センサ１６は、磁場発生装置７が発生する磁場を検出する。磁場発生装置７は、信号線２ｅにより管腔構造検出装置５と接続されている。磁場の検出信号は、信号線２ｅを経由して内視鏡２から管腔構造検出装置５へ供給される。なお、磁気センサ１６に代えて先端部１１に磁場発生素子を設け、磁場発生装置７に代えて、患者Ｐａの外部に磁気センサを設けるようにして、先端部１１の位置及び姿勢を検出するようにしてもよい。ここでは、磁気センサ１６により、先端部１１の位置及び姿勢、言い換えれば撮像素子１５により取得される内視鏡画像の視点の位置及び向きがリアルタイムで検出される。

【0025】

医者が、操作部２ａに設けられたレリーズボタンを押すと、レリーズボタン操作信号が画像処理装置３へ入力され、レリーズボタンが押されたときの内視鏡画像は、図示しないレコーダに記録される。

【0026】

図３に示すように、管腔構造検出装置５は、プロセッサ２１と、記憶装置２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込部２４と、位置姿勢検出部２５と、駆動回路２６と、入力インターフュース（以下、入力Ｉ／Ｆと略す）２７を含んでいる。プロセッサ２１と、記憶装置２２と、表示Ｉ／Ｆ２３と、画像取込部２４と、位置姿勢検出部２５と、駆動回路２６と、入力Ｉ／Ｆ２７は、バス２８により互いに接続されている。

【0027】

プロセッサ２１は、中央処理装置（以下、ＣＰＵという）２１ａとメモリ２１ｂを有し、管腔構造検出装置５内の各部の処理を制御する制御部である。メモリ２１ｂは、ＲＯＭ、ＲＡＭなどを含む記憶部である。ＲＯＭには、ＣＰＵ２１ａにより実行される各種処理プログラム及び各種データが記憶されている。ＣＰＵ２１ａは、ＲＯＭ及び記憶装置２２に格納された各種プログラムを読み出して実行することができる。

【0028】

記憶装置２２には、後述する管腔構造算出プログラムＬＳＰが格納されている。管腔構造算出プログラムＬＳＰは、先端部１１の位置及び姿勢の情報と、内視鏡画像とから管腔構造を算出するソフトウエアプログラムである。ＣＰＵ２１ａが管腔構造算出プログラムＬＳＰを読み出して実行することにより、プロセッサ２１は、撮像素子１５により得られた撮像画像と磁気センサ１６に検出された撮像部の３次元配置（すなわち位置と姿勢）とに基づいて、管腔の３次元構造を算出する管腔構造算出部を構成する。

【0029】

記憶装置２２には、算出された管腔構造の情報なども記憶される。記憶装置２２に記憶された管腔構造情報は、表示Ｉ／Ｆ２３を経由して出力され、モニタ６の画面上に表示される。ここでは、管腔は、大腸であり、大腸の管腔構造画像がモニタ６に表示される。

【0030】

モニタ６は、ＰｉｎＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）機能を有し、ＣＰＵ２１により生成された大腸の管腔構造画像と共に、内視鏡２の撮像素子１５により撮像して得られたライブの内視鏡画像を表示することができる。

【0031】

画像取込部２４は、画像処理装置３において得られた内視鏡画像を、一定の周期で取り込む処理部である。例えば、内視鏡２から、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、画像処理装置３から取得する。なお、ここでは、画像取込部２４は、１秒間に３０枚の内視鏡画像を取り込んでいるが、フレームレートとは異なる、例えば１秒間に３枚等のより長い周期で内視鏡画像を取得するようにしてもよい。

【0032】

位置姿勢検出部２５は、磁場発生装置７を駆動する駆動回路２６を制御して、磁場発生装置７に所定の磁場を発生させる。位置姿勢検出部２５は、その磁場を磁気センサ１６により検出し、その検出された磁場の検出信号から、撮像素子１５の位置座標（ｘ、ｙ、ｚ）と向き（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置と姿勢の情報、をリアルタイムで生成する。すなわち、位置姿勢検出部２５は、磁気センサ１６からの検出信号に基づいて、撮像素子１５の位置と向きの少なくとも一部の情報を含む３次元配置を検出する検出装置である。より具体的には、位置姿勢検出部２５は、時間経過に伴う３次元配置の変化の情報である３次元配置時間変化情報を検出する。よって、位置姿勢検出部２５は、複数の時点の挿入部２ｂの３次元配置情報を取得する。

【0033】

管腔構造検出装置５には、マウス、キーボードなどの入力装置２７ａが接続されている。入力装置２７ａに対する操作に応じた操作信号は、入力Ｉ／Ｆ２７を経由してプロセッサ２１に入力される。

【0034】

また、光源装置４は、通常光観察モード用の通常光を出射可能な光源装置である。なお、内視鏡システム１が通常光観察モードの他に特殊光観察モードも有している場合は、光源装置４は、通常光観察モード用の通常光と、特殊光観察モード用の特殊光とを選択的に出射する。光源装置４は、画像処理装置３に設けられた観察モードを切り換えるための切換スイッチ（図示せず）の状態に応じて、通常光と特殊光のいずれかを照明光として出射する。
（管腔構造の算出）
図４は、管腔構造算出プログラムＬＳＰの管腔構造の算出処理の流れの例を示すフローチャートである。医者が入力装置２７ａの所定の操作ボタンを押下すると、管腔構造算出プログラムＬＳＰが実行される。

【0035】

はじめに、医者は、挿入部２ｂの先端部１１を肛門の位置を配置した状態で、入力装置２７ａに対して所定の操作を行うと、プロセッサ２１は、位置姿勢検出部２５からの位置（座標）と姿勢のデータを、管腔構造を算出するときの先端部１１の基準位置と基準姿勢として設定する（ステップ（以下、Ｓと略す）１）。図５は、先端部１１の初期値を設定するときの患者Ｐａの状態を説明するための図である。図５に示すように、医者は、先端部１１を肛門に当てた状態で、３次元空間内の肛門の位置ＡＰにおける先端部１１の基準位置と基準姿勢を初期値とする設定を行う。

【0036】

以下の処理で算出される管腔構造は、ここで設定された基準位置と基準姿勢に基づいて算出される。

【0037】

なお、基準位置と基準姿勢の設定後、医者は、先端部１１を大腸の最奥部まで挿入する。挿入部２ｂの先端部１１が大腸の最奥部にある状態から、空気を送気して大腸内を拡張しながら、医者は、挿入部２ｂを引きながら肛門に向かって移動させ、途中で挿入部２ｂの引き抜きを停止させたりしながら、湾曲部１２を種々の方向に湾曲させて大腸の内壁を観察する。医者が大腸の内壁を観察しているときに、大腸の管腔構造が算出される。

【0038】

上述したように、画像取込部２４は、画像処理装置３から３０分の１秒毎に供給される内視鏡画像から所定の周期Δｔ毎の内視鏡画像を取得する（Ｓ２）。周期Δｔは、例えば０．５秒である。ＣＰＵ２１は、内視鏡画像を取得したときの位置姿勢検出部２５の出力する先端部１１の位置と姿勢の情報を取得する（Ｓ３）。

【0039】

Ｓ２で取得した１枚の内視鏡画像とその前に取得済の１枚以上の内視鏡画像とにおける複数の特徴点等の３次元空間内の位置情報を算出する（Ｓ４）。算出された複数の特徴点等の位置情報の集合が、管腔構造の情報となる。後述するように、各特徴点の位置情報は、画像情報からＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの手法を用いて算出してもよいし、三角測量の原理を用いて算出してもよい。各特徴点の位置の算出方法については後述する。

【0040】

なお、最初の１枚の内視鏡画像が取得されたときは、その前の取得済の内視鏡画像はないので、所定枚数の内視鏡画像が取得されるまでは、Ｓ４の処理は実行されない。

【0041】

一群すなわち１セットの特徴点と撮像部の位置と姿勢から、各特徴点の３次元空間内の位置が算出され、１セットの特徴点等から管腔構造の一部が構築されるが、大腸は、伸び縮みするため、１）算出された２セットの特徴点同士が対応するか、２）算出された特徴点が、既に位置が算出された特徴点に対応する点であるか、等が判定される。例えば、１）の判定の場合、算出された１セットの特徴点の、他の１セットの特徴点に対する相対的な可動範囲は、ｘ、ｙ、ｚの各軸の方向における大腸腸管の伸縮率によって規定される。そのために、位置が算出された２セットの特徴点同士が所定の伸縮率により決定された所定の範囲内にないときは、算出された２セットの特徴点同士は、同じとは判定しない。即ち、算出された１つのセットの特徴点は既に位置が算出された他の１セットの特徴点とは同じとは判定されない。このことは、算出された２セットの一方の特徴点の一部は、既に位置が算出された２セットの他方の特徴点に含まれないということになる。

【0042】

また、算出された特徴点の空間的な可動範囲は、大腸腸管の固定部からの距離と大腸腸管の伸縮率によって規定される。ここで言う大腸腸管の固定部とは、肛門近辺部分、大腸の上行結腸及び下行結腸の部分のような、腸間膜が無く、後腹壁に固定され、移動性が少ない部分を指す。既に位置が算出された特徴点について、大腸腸管の固定部（上行結腸の上端部と下行結腸の上端部の少なくとも一方からの距離が分かれば、算出された特徴点が固定部からその距離に腸管の所定の伸縮率を掛けた距離の範囲内にないときは、算出された特徴点が、既に位置が算出された特徴点と同じとは判定しない。このことは、算出された２セットの一方の特徴点等が含まれる管腔の領域は、既に位置が算出された２セットの他方の特徴点等が含まれる管腔の領域とは異なる別の部分ということになる。

【0043】

なお、Ｓ状結腸の中間部分等は、腸管の両側の固定部からの距離を考慮して存在範囲の確認をすることができる。Ｓ状直腸を除く直腸と下行結腸が固定部であり、Ｓ状結腸の中間部分では、上部直腸とＳ状直腸の接続部からの距離とＳ状結腸と下行結腸の接続部であるＳＤジャンクションからの距離を、２つの拘束条件とすることができる。

【0044】

図６は、大腸内の模式的な部分モデルの例を示す図である。上述した１）の判定によれば、１セットの特徴点群により１つの３次元部分モデル（部分管腔構造）が生成されるので、図６に示すように、大腸腸管Ｃの上行結腸において、隣り合う２つの３次元部分モデルＰＭ１，ＰＭ２，ＰＭ３間に位置ずれがあるが、複数の３次元部分モデルＰＭ１，ＰＭ２，ＰＭ３を含む大腸の３次元モデルが、生成される。すなわち、管腔構造算出部としてのプロセッサ２１は、３次元構造の一部である部分３次元構造を複数算出し、各々の部分３次元構造を作成しているときの３次元配置に基づき、複数の部分３次元構造の配置を決定することで、大腸腸管Ｃの３次元構造を算出する。

【0045】

図７は、大腸内の模式的な部分モデルの例を示す図である。２つの３次元部分モデル（部分管腔構造）の各特徴点が大腸腸管Ｃの１つの固定部ＦＰの上端部ＦＰＵから所定の伸縮率を掛けた距離の範囲内にあれば、既に位置が算出された特徴点と同じと判定される。図７では、各部分モデルＰＭ４、ＰＭ５の上端部ＦＰＵからの距離（図７において矢印で示す距離）が、所定の伸縮率を掛けた距離の範囲内にある。図７に示すように、２つの部分モデルＰＭ４，ＰＭ５の各特徴点が大腸腸管の固定部ＦＰから所定の伸縮率を掛けた距離の範囲内にあるため、別々のモデルとして生成され、かつ２つの部分モデルＰＭ４，ＰＭ５は離れている。

【0046】

２つの部分モデルＰＭ４，ＰＭ５が別々に生成されても、２つの部分モデルＰＭ４，ＰＭ５の位置ずれを補正してもよい。図８は、２つの部分モデルＰＭ４，ＰＭ５の位置ずれを補正する方法を説明するための図である。図７に示した、位置ずれのある２つの部分モデルＰＭ４，ＰＭ５は、図８に示すように、位置ずれが補正される。

【0047】

そのために、プロセッサ２１は、複数の３次元構造の間で類似する特徴点が抽出されたときに、類似する特徴点から固定部までの距離の違いを所定の基準値と比較することで、類似する特徴点が複数の３次元構造に共通する特徴点であるか否かを判定する。

【0048】

そして、部分モデルＰＭ４，ＰＭ５は、共通する特徴点に基づいて、固定部ＦＰの上部ＦＰＵの横方向の位置が一致するように位置補正されて配置されている。部分モデルＰＭ４とＰＭ５の上端部ＦＰＵからの２つの距離（図８において矢印で示す水平方向の距離）は、それぞれ、図７における部分モデルＰＭ４、ＰＭ５の横方向（水平方向）の２つの距離と一致する。

【0049】

以上のように、管腔である大腸腸管Ｃは、外部から固定された固定部と、外部から固定されていない可動部（横行結腸）とを有し、プロセッサ２１は、可動部に対応する部分３次元構造と固定部との距離を算出し、部分３次元構造と固定部との距離に基づいて、部分３次元構造の配置を補正する。そして、プロセッサ２１は、各特徴点の位置の情報を含んだ複数の部分３次元構造を算出し、複数の３次元構造に共通する特徴点の位置に基づき、部分３次元モデルの配置を補正する。

【0050】

従って、図８のように、２つのセットの特徴点の一部が一致すれば、隣り合う２つの部分モデルが位置補正されることによって、２つの隣り合う部分モデルを接続して、２つの部分モデルを１つのモデルとして統合することができる。

【0051】

なお、プロセッサ２１は、３次元配置時間変化情報に基づき、挿入部２ｂの方向転換場所と滞留場所との少なくとも一方を判定することで、固定部と可動部の位置を推定することができる。

【0052】

大腸全体に所定の１つの伸縮率を設定してもよいが、肛門近辺部分、大腸の上行結腸及び下行結腸の部分の伸縮率と、肛門近辺部分、大腸の上行結腸及び下行結腸の部分以外の他の部分の伸縮率上限値は異なるようにしてもよい。すなわち、管腔の領域毎に設定された各特徴点の３次元空間内における所定の伸縮率上限値（閾値）を、各特徴点の位置の算出に用いてもよい。そして、各特徴点の位置を決定する際には、検出した各特徴点の位置の変化量が伸縮率上限値（閾値）により決定される範囲内であることが求められる。検出した特徴点の位置の変化量が所定の伸縮率上限値以下であるときに、各撮像画像に映っている各特徴点が同一であると判定される。

【0053】

以上のように、各特徴点が含まれる管腔の領域毎の伸縮率上限値、あるいは大腸腸管の固定点からの距離とその伸縮率上限値に基づく、各特徴点の位置の変化量上限値（閾値）[0]を、各特徴点の位置の算出の際に考慮するようにしてもよい。そして、管腔の領域毎に設定された各特徴点の所定の伸縮率上限値を用いて、複数の撮像画像に映っている共通の特徴点が同一であるか否かが判定される。

【0054】

伸縮率により決定された範囲内にある、異なるタイミングで検出された特徴点等同士が、パターンマッチングにより一致するとされたとき、これらの特徴点等同士が同一であると判断する。特徴点等の構造情報とする位置の情報は、特徴点等同士の情報に基づいて決定する。例えば、単純な場合としては、いずれか一方の特徴点の情報が構造情報とする位置の情報として採用される。

【0055】

なお、伸縮率により決定された範囲とは、各特徴点が含まれる管腔の領域の大腸腸管の固定点からの距離と伸縮率上限値に基づく範囲である。

【0056】

算出された複数の特徴点等の位置情報は、構造情報データに追加されることにより、管腔の構造情報が作成される（Ｓ５）。Ｓ５で作成される構造情報は、内視鏡２により観察した領域における１以上の特徴点等の集合から構成される。

【0057】

作成された管腔の構造情報は、モニタ６に表示される（Ｓ６）。図９は、モニタ６に表示される画像の例を示す図である。モニタ６の表示画面６ａには、内視鏡画像表示領域３１と、構造情報表示領域３２を含む。

【0058】

構造情報表示領域３２は、ライブビューである内視鏡画像を表示する内視鏡画像表示領域３１の隣に配置されている。構造情報表示領域３２は、Ｓ５で生成された構造情報ＳＩを表示する。構造情報ＳＩは、大腸の立体の管腔構造を１つの視点から見たときの画像であり、複数の特徴点等の位置情報から構成される。図１０は、構造情報表示領域３２に表示される構造情報ＳＩの画像の例を示す図である。構造情報ＳＩは、大腸の管腔の斜視図として表示されている。構造情報ＳＩは、３Ｄデータであるので、ユーザすなわち医師は、視点位置を変更する指示を与えることにより、３６０度の所望の方向見たからときの管腔の構造を確認することができる。

【0059】

図１０に示すように、構造情報ＳＩは、Ｓ４で算出された特徴点等の情報の集合である。よって、構造情報ＳＩにより示されない部分は、未観察箇所ＵＩＡを意味する。図１０では、点線で示す領域付近が未観察箇所ＵＩＡである。よって、医者は、モニタ６に表示された大腸の管腔構造を見て、未観察箇所ＵＩＡを把握することができる。

【0060】

また、医師は、入力装置２７ａを操作して所定のコマンドを管腔構造検出装置５に供給し、Ｓ３で取得された先端部１１の位置の情報から先端部１１の時系列的な動きを表示させることもできる。図１１は、モニタ６に表示される先端部１１の軌跡を示した画像の例を示す図である。図１１は、モニタ６の表示画面６ａ上に表示される１つのウインドウ３３の画像を示す。図１１に示すウインドウ３３には、Ｚ軸方向からみた、先端部１１のＸＹ平面内の動きを示す画像が表示されている。図１１では、ＸＹ平面上の所定の点を０として、ＸＹ方向の移動距離がｍｍ（ミリメートル）の単位で分かるように、先端部１１の軌跡が表示されている。医師は、図１１の画像をモニタ６に表示させることにより、先端部１１の軌跡を把握することができる。

【0061】

例えば、先端部１１の位置情報に基づいて、二人の医師の先端部１１の軌跡を比較することができる。例えば、同じ患者Ｐａの大腸への挿入部２ｂの挿入操作を、二人の医師の先端部１１の位置情報から生成した先端部１１の軌跡から比較することができる。

【0062】

図１２は、コロンモデルを対象に、二人の医師についての先端部１１の軌跡をモニタ６の表示画面６ａ上に表示させたときの表示例を示す図である。表示画面６ａには、２つのウインドウ３３ａ、３３ｂが表示されている。ウインドウ３３ａは、医師Ａの先端部１１の軌跡を示す画像を表示し、ウインドウ３３ｂは、医師Ｂの先端部１１の軌跡を示す画像を表示する。医師Ａは、内視鏡のベテラン医師であり、医師Ｂは、内視鏡の中堅医師である。

【0063】

ウインドウ３３ｂに表示される中堅医師Ｂの先端部１１の軌跡は、ウインドウ３３ａに表示されるベテラン医師Ａの先端部１１の軌跡と比較すると、肛門（ＡＡ）近辺、下行結腸（ＤＣ）内及び上行結腸（ＡＣ）内において、動きが多く、挿入部２ｂのスムーズな挿入あるいは抜去ができていないことを示している。

【0064】

よって、先端部１１の軌跡情報を用いて、挿入部２ｂの挿入あるいは抜去操作の比較などをすることができる。
（特徴点等の位置の算出）
Ｓ４の特徴点等の位置の算出は、種々の方法がある。以下に、いくつかの方法について説明する。
１．ＳＬＡＭ，ＳｆＭなどの手法を利用して、連続する複数の画像上の特徴点の位置を算出する場合
被写体を撮像する撮像素子１５の位置（ここでは先端部１１の位置）及び姿勢の情報を用いて、各特徴点の３次元空間内の位置の算出するためのバンドル調整の最適化を行う方法について説明する。

【0065】

バンドル調整は、非線形最小二乗法を用いて、画像から、内部パラメータ、外部パラメータ及び世界座標点群を最適化する誤差調整の方法である。例えば、推定された各パラメータを用いて、抽出された複数の特徴点の世界座標点を画像座標点へ透視投影変換し、再投影誤差が最小になるように、各パラメータと各世界座標点群が求められる。

【0066】

先端部１１についての外部パラメータは、５点及び８点アルゴリズムを解くことによって算出される。特徴点の位置は、先端部１１の位置と三角測量法に従って算出される。画像平面上に投影された３Ｄ点の座標と、再投影誤差による特徴点との誤差Ｅは、次の式（１）により表される。

ここで、Ｌは、Ｋ個の画像上の特徴点の数であり、Ｐｓｊは、画像平面上に三角測量と先端部１１のパラメータにより推定された３Ｄ点Ｐｉの座標位置であり、Ｐｉは、画像上の対応する特徴点の座標位置である。先端部１１の位置座標は、ＬＭ（Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｔｄｔ）法を用いて、式（１）の誤差Ｅの関数を最小化するように算出される。

【0067】

上述したＳ４の特徴点の３次元空間内の位置は、画像上の抽出した特徴点の座標情報と、検出された先端部１１の位置と姿勢の情報とに基づいて算出される。しかし、本実施形態では、先端部１１の位置と姿勢の情報は、位置姿勢検出部２５により検出され、略正確である。よって、先端部１１の位置と姿勢の情報は、バンドル調整における外部パラメータの推定対象には含まれない。従って、バンドル調整による各特徴点の３次元空間内の位置の推定精度が高いだけでなく、抽出した複数の特徴点の位置の演算時間も短くなる。

【0068】

図１３は、各特徴点の３次元空間内の位置算出をバンドル調整により行う方法のフローチャートである。

【0069】

プロセッサ２１は、図５に示す肛門の位置ＡＰが初期位置と設定されたときを、時刻ｔをｔ０とし、ソフトウエアカウンタのカウント値ｎを、０とする（Ｓ１１）。プロセッサ２１は、時刻ｔ０における内視鏡画像（すなわち管腔画像）と、先端部１１の位置と姿勢の情報を取得する（Ｓ１２）。内視鏡画像は、画像処理装置３から取得される。先端部１１の位置と姿勢の情報は、位置姿勢検出部２５から取得される。

【0070】

プロセッサ２１は、初期位置すなわち肛門の位置ＡＰにおける先端部１１の位置と姿勢を決定する（Ｓ１３）。例えば、肛門の位置ＡＰ（ｘ、ｙ、ｚ）が（０，０，０）に、姿勢（ｖｘ、ｖｙ、ｖｚ）が（０，１，０）に決定される。Ｓ１１とＳ１３が、図４のＳ１に対応する。

【0071】

プロセッサ２１は、時刻（ｔ０＋ｎΔｔ）における内視鏡画像と、先端部１１の位置と姿勢の情報を取得する（Ｓ１４）。Ｓ１２とＳ１４が、図４のＳ２に対応する。

【0072】

なお、先端部１１の位置と姿勢の情報は、修正してもよい。例えば、カルマンフィルタを用いて、先端部１１が過去に通ったパスが修正され、その修正されたパスに基づいて、過去の先端部１１の位置が修正される。

【0073】

プロセッサ２１は、ｎがｋになると、各内視鏡画像における複数の特徴点の抽出し、ｋ個の時点における先端部１１の位置と姿勢すなわち先端部１１の３次元配置を既知として、得られた内視鏡画像に共通して含まれるｍ個の特徴点の位置を、上述したバンドル調整により算出する（Ｓ１５）。よって、Ｓ１５における各内視鏡画像における複数の特徴点の抽出処理が、各撮像画像中の複数の特徴点を抽出する特徴点抽出部を構成する。Ｓ１５では、複数の時点の撮像画像に共通して映されている特徴点が抽出される。Ｓ１５における各特徴点の３次元空間内の位置の算出処理が、抽出された複数の特徴点の撮像画像中の位置と、挿入部２ｂの３次元配置とから、特徴点の３次元空間内の位置を算出する３次元位置算出部を構成する。より具体的には、複数の時点の挿入部２ｂの３次元配置情報と、複数の時点の撮像画像に共通して映されている特徴点の撮像画像上の位置とに基づき、特徴点の３次元空間内の位置が算出される。そして、バンドル調整により各特徴点の３次元空間内の位置は決定される。

【0074】

図１４は、連続して取得された複数の内視鏡画像上の特徴点と、先端部１１の位置と姿勢の関係を説明するための模式図である。図１４において、白い三角形Ｐｗは、先端部１１の実際の位置と姿勢を示し、黒い三角形Ｐｂは、先端部１１の推定された位置と姿勢を示す。先端部１１は、実線に沿って実際に移動したことを示している。推定された先端部１１は、点線に沿って移動している。時間経過に伴って、先端部１１の位置は移動し、先端部１１の姿勢は変化している。

【0075】

また、図１４において、白い四角形ｐｗは、特徴点の実際の位置を示し、黒い四角形ｐｂは、特徴点の推定すなわち算出された位置を示す。特徴点は、例えば、内視鏡画像中において形状や色が特徴的で、判別あるいは追跡が容易な箇所である。

【0076】

大腸の３次元管腔構造を得るには、大腸の腸管の内壁上の複数の特定箇所（ここでは特徴点）の座標を求め、求めた複数の座標の集合により、あるいはそれらの座標を繋ぎ合わせることにより３次元モデルが生成される。すなわち、管腔の３次元構造は、３次元空間内の算出された各特徴点の位置から決定される。

【0077】

上述したように、内視鏡画像の情報のみを用いて、管腔の内壁上のある程度以上の数の特徴点の位置を算出することができる。内視鏡画像の情報のみを用いる場合、ＳＬＡＭ、ＳｆＭ、などの技術を用いることができる。しかし、これらの技術を用いる場合、腸管の内壁上の複数の特徴点の座標が未知であるのに加え、 経過時間ごとの内視鏡２の先端位置と姿勢も未知であるため、腸管の内壁上の複数の特徴点の位置を推定するには膨大な演算が必要となり、推定精度も低い。

【0078】

図１４において、各時点における撮像素子１１の位置と姿勢の情報は、６軸分の情報を含むため、ｋ個の時点における撮像素子１１の位置と姿勢の情報は、６ｋ個の情報を含む。各特徴点の位置は、３軸分の情報を含むため、ｍ個の特徴点の位置の情報は、３ｍ個の情報を含む。よって、（６ｋ＋３ｍ）個のパラメータは、バンドル調整の最適化演算により算出される。

【0079】

多くのパラメータをバンドル調整により算出する場合、検出誤差が蓄積されるため、生成されていく３次元モデル構造がずれていくという問題が生じる。また、内視鏡２の挿入部２ｂの先端部が管腔の内壁に押し当てられるなどして連続した内視鏡画像が得られないため、３次元モデル構造が算出できなくなるという問題もある。

【0080】

これに対して、本実施形態では、磁気センサ１６により時間経過に伴う先端部１１の位置及び姿勢の情報を得て既知としているので、バンドル調整において算出されるパラメータ数を少なくして、最適化演算の処理量を軽減してかつ高速化できる。さらに、特徴点の位置を三角測量により算出することもできるので、連続した内視鏡画像が得られなくても、３次元モデル構造が算出できる。

【0081】

また、先端部１１の位置及び姿勢と、各特徴点の３次元空間内の位置とをバンドル調整により算出するとき、算出した各特徴点の位置の誤差が蓄積され、管腔構造が徐々に実際の構造とはずれてしまうという問題があるが、本実施形態では、先端部１１の位置と姿勢は、磁気センサ１６により検出しているので、このような積算誤差が生じることはない。

【0082】

例えば、上述した図１４の場合、内視鏡画像のみから各特徴点の位置を算出するとき、従来は、（６ｋ＋３ｍ）個のパラメータのための最適化演算が行われるが、先端部１１の位置及び姿勢の情報は既知となるので、最適化演算は、３ｍ個のパラメータを算出だけであるので、バンドル調整の最適化演算の処理量は軽減されかつ高速化できる。

【0083】

また、内視鏡２の挿入部２ｂの先端部１１が管腔の内壁に押し当てられたり、汚れた洗浄水に浸ってしまったり、内視鏡画像がぶれるなどして適切な連続した内視鏡画像が得られないかった場合があっても、先端部１１の位置と姿勢の情報は得られている。よって、先端部１１が管腔の内壁に押し当てられるなどして連続した内視鏡画像が得られなかった場合が生じても、３ｍ個のパラメータを算出できる可能性は高まる。結果として、管腔構造の算出のロバスト性が高まる。

【0084】

図１３に戻り、プロセッサ２１は、作成済の管腔構造情報に、新たに算出された特徴点の位置情報を追加して、管腔構造情報を更新する（Ｓ１６）。Ｓ１６は、図４のＳ５に対応する。

【0085】

プロセッサ２１は、過去に算出した特徴点の位置情報を修正する（Ｓ１７）。新たに算出して得られた３ｍ個の特徴点のうち、過去に算出された特徴点の位置情報は、新たに算出された位置情報を用いて、例えば平均値演算により、過去に算出された位置情報を修正する。

【0086】

なお、Ｓ１７の処理は、行わなくてもよく、新たに算出された特徴点の位置情報で、過去に算出された各特徴点の位置情報を更新するようにしてもよい。

【0087】

プロセッサ２１は、更新された管腔構造情報に基づいて、管腔構造表示領域３２に管腔構造の画像を表示するように、管腔構造の画像データをモニタ６に出力する（Ｓ１８）。Ｓ１８は、図４のＳ６に対応する。

【0088】

Ｓ１８の後、プロセッサ２１は、ｎを１だけインクリメントし（Ｓ１９）、検査終了のコマンドが入力されたかを判定する（Ｓ２０）。検査終了のコマンドは、例えば、挿入部２ｂが大腸から抜去された後に、医者が入力装置２７ａに所定のコマンドを入力すると（Ｓ２０：ＹＥＳ）、管腔構造算出プログラムＬＳＰの実行が終了する。

【0089】

検査終了のコマンドが入力されないとき（Ｓ２０：ＮＯ）、処理は、Ｓ１４へ移行する。その結果、プロセッサ２１は、内視鏡画像の最後の取得時刻から周期Δｔだけ後の内視鏡画像を取得し（Ｓ１４）、Ｓ１４以降の処理を実行する。

【0090】

なお、上述した方法では、６軸の磁気センサ１６により先端部１１の位置と姿勢の情報を検出して、バンドル調整の最適化により各特徴点の３次元位置を算出しているが、６軸の全ての情報の一部を既知として、すなわち３次元位置（ｘ、ｙ、ｚ）と３軸方向（ｖｘ、ｖｙ、ｖｚ）の少なくとも一つを既知として、バンドル調整の最適化により各特徴点の３次元位置を算出するようにしてもよい。

【0091】

よって、バンドル調整において先端部１１の位置と姿勢の情報の少なくとも１つを既知として各特徴点の３次元位置を算出するので、各特徴点の３次元位置を算出精度も高まると共に、最適化演算の全体時間も短くなる。
２．２つの画像から三角測量画像を用いて特徴点（例えば、画像の中心点）の位置を算出する場合
各特徴点の位置を、視点の異なる２枚の画像から三角測量法を用いて算出する方法について説明する。図１５は、複数の内視鏡画像上の特徴点と、先端部１１の位置と姿勢の関係を説明するための模式図である。図１５において、白い三角形Ｐは、先端部１１の実際の位置と姿勢すなわち３次元配置を示す。先端部１１は、実線に沿って実際に移動したことを示している。図１５において、白い四角形ｐは、特徴点の実際の位置を示す。各特徴点は、例えば、内視鏡画像中において形状や色が特徴的で、判別あるいは追跡が容易な箇所である。

【0092】

実線で示すように、時刻ｔ１，ｔ２において取得された先端部１１の位置と姿勢の情報と、時刻ｔ１で取得された画像上の特徴点ｐ１、ｐ２と時刻ｔ２で取得された画像上の特徴点ｐ１、ｐ２のそれぞれの位置とから、三角測量により、特徴点ｐ１、ｐ２の位置が算出される。

【0093】

同様に、点線で示すように、時刻ｔ２，ｔ３において取得された先端部１１の位置と姿勢の情報と、時刻ｔ２で取得された画像上の特徴点ｐ３、ｐ４と時刻ｔ４で取得された画像上の特徴点ｐ３、ｐ４のそれぞれの位置とから、三角測量により、特徴点ｐ３、ｐ４の位置が算出される。

【0094】

以上のように、各特徴点の位置を、先端部１１の位置及び姿勢の情報と、２枚の内視鏡画像とから、三角測量を用いて算出する。すなわち、複数の時点の撮像素子１５の位置及び姿勢の情報と、複数の時点の撮像素子１５により取得された撮像画像に共通に映されている特徴点の撮像画像上の位置とから三角測量に基づき各特徴点の３次元空間内の位置を算出し、管腔の３次元構造が決定される。

【0095】

なお、以上説明した三角測量は、２つの時刻において得られた２枚の内視鏡画像に基づいて行われるが、同時刻に得られた２枚の内視鏡画像に基づいて行うようにしてもよい。

【0096】

図１６は、ステレオカメラを有する挿入部の先端部の先端部分の斜視図である。先端部１１の先端面には、２つの観察窓１１ａ、１１ｂと、２つの照明窓１１ｃが配置されている。各観察窓１１ａ、１１ｂの後ろ側には、撮像光学系と撮像素子が配置されている。撮像光学系と撮像素子が撮像部１１ｄを構成し、２つの撮像部１１ｄがステレオカメラを構成する。

【0097】

先端部１１に配置されたステレオカメラにより取得された２枚の内視鏡画像中のステレオマッチング領域の位置から三角測量により、大腸の内壁の各点の位置を算出することができる。
３．照度差ステレオ画像を用いて特徴点の位置を算出する場合
各特徴点の位置を、照度差ステレオ画像を用いて算出する方法について説明する。図１７は、複数の照明窓を有する挿入部の先端部の先端面の平面図である。図１７は、先端部１１の先端面１１ａ１を、挿入部２ｂの先端側から見た図である。

【0098】

図１７に示すように、先端部１１の先端面１１ａ１には、観察窓４１と、３つの照明窓４２と、鉗子口４３と、洗浄用ノズル４４と、副送水口４５が設けられている。観察窓４１の後ろ側には、撮像部１１ｄが設けられている。３つの照明窓４２は、観察窓４１の周囲に配設されている。各照明窓４２の後ろ側には、図示しないライトガイドの先端面が配設されている。鉗子口４３は、挿入部２ｂに設けられた処置具挿通チャネル内に通された処置具が突出する開口である。洗浄用ノズル４４は、観察窓４１の表面を洗浄するための水を吐出する。副送水口４５は、副送水用の水が吐出する開口である。

【0099】

３つの照明窓４２から出射される３つの照明光は、光源装置４に設けられた照明用の複数の発光ダイオードの駆動が制御されることにより、切り替えられて選択的に出射可能となっている。

【0100】

被写体の表面の画像中の影の部分は、照明光の切り替えにより状態が変化する。よって、その変化量に基づいて、被写体の表面上の影の部分までの距離を算出することができる。すなわち、選択的に動作させた複数の照明部により照明して得られた撮像画像中の影領域の画像から照度差ステレオに基づき、管腔の３次元構造を決定することができる。
４．距離センサを用いて管腔構造を算出する場合
管腔の内壁上の各点の位置を、先端部１１に設けた距離センサを用いて算出する方法について説明する。

【0101】

図１８は、距離センサを有する挿入部の先端部の先端部分の斜視図である。先端部１１の先端面１１ａ１には、観察窓４１と、２つの照明窓４２と、鉗子口４３と、距離センサ５１が配設されている。

【0102】

距離センサ５１は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサであり、ここでは、ＴＯＦにより距離画像を検出するセンサである。距離センサ５１は、光の飛行時間を計ることにより距離を計測する。イメージセンサの各画素にＴＯＦ機能が埋め込まれている。よって、距離センサ５１は、画素毎の距離情報を得る。すなわち、距離センサ５１は、挿入部２ｂの先端部１１に設けられ、先端部１１から管腔の内壁までの距離を検出する。

【0103】

距離センサ５１により検出された各画素についての距離と、先端部１１の位置と姿勢すなわち配置とから、大腸の内壁の各点の位置情報すなわち管腔の３次元構造が算出可能である。なお、距離センサは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ／Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの他の方式のセンサでもよい。

【0104】

図１９は、距離センサを用いた管腔の内壁の３次元位置の算出を行う方法のフローチャートである。図１９において、図１３と同じ処理については、同じステップ番号を付して説明は省略し、異なる処理についてのみ説明する。

【0105】

距離センサ５１を用いる場合、距離センサ５１の１以上の所定の画素を特徴点とすることにより、各特徴点の位置は、距離センサ５１の各画素の距離情報と、先端部１１の位置と姿勢の情報とから、大腸の内壁の各点の３次元位置が算出可能である。管腔構造は、内壁の各点の３次元位置情報の集合により構成される。すなわち、図１３において、プロセッサ２１は、Ｓ２１では、距離センサ５１から出力される距離情報と、Ｓ１４で得られた先端部１１の位置と姿勢の情報とから、測距された点（特徴点）の３次元座標を算出する。
５．その他の方法による測距
なお、先端部１１に所定のパターン光を出射する照明部を設け、パターン光投影により先端部１１から内壁までの測距を行ってもよい。

【0106】

以上のように、上述した実施形態によれば、挿入部２ｂの先端部１１の位置と姿勢（すなわち配置）の情報と、内視鏡画像の画像情報又は測距センサの距離情報とを用いて、大腸の内壁の構造情報を得ることができる。

【0107】

上述した実施形態では、先端部１１の位置と姿勢の情報が得られるので、先端部が管壁に近づき過ぎたりして、内視鏡画像が得られない、あるいは距離センサ５１の距離情報が得られない場合があっても、内視鏡画像等が得られない管腔部分の構造は算出できないが、内視鏡画像等が得られた管腔部分の構造は算出できる。

【0108】

図２０は、部分的に算出された管腔構造の例を説明するための図である。図２０において、二点鎖線の楕円で示す部分は、内視鏡画像が得られたあるいは距離センサ５１の距離情報が得られた大腸の一部の領域を示している。点線で示す部分については、内視鏡画像が得られなかったあるいは距離センサ５１の距離情報が得られなかったが、実線で示す部分領域の構造情報が算出される。すなわち、各セットにおいて他のセットとの特徴点同士の重なりが無い若しくは判断できない場合は、繋がりの無い複数の管腔構造が、各管腔構造の位置情報に基づいて、それぞれの位置に配置される。

【0109】

よって、内視鏡画像が途中で得られなくても、複数の内視鏡画像から、各特徴点の位置が算出可能であるので、結果として、管腔の３次元モデル構造は、部分的に算出可能となる。

【0110】

なお、上述した実施形態では、挿入部２ｂの先端部１１の位置と姿勢を検出するための位置センサとして磁気センサ１６が用いられているが、先端部１１の位置と姿勢は、別の手段により検出するようにしてもよい。

【0111】

図２１は、形状センサを有する内視鏡と、挿入量及び捩り量を検出するセンサを用いた先端部１１の位置と姿勢を検出する方法を説明するための図である。

【0112】

形状センサ６１は、挿入部２ｂの内部に基端から先端に亘って配設されている。形状センサ６１は、例えば、光ファイバを利用して、特定箇所の曲率から曲げ量を検出する曲げセンサであるファイバセンサである。

【0113】

挿入量・捩り量センサ６２は、肛門の近くに配置され、挿入部２ｂが挿通可能な孔を有する円筒形状を有する。挿入量・捩り量センサ６２の孔の内周面には、挿入部２ｂの軸方向の挿入量を検出するためのエンコーダと、挿入部２ｂの軸周りの回転量を検出するエンコーダとが配設されている。よって、形状センサ６１と挿入量・捩り量センサ６２を用いて、肛門の位置を基準として、挿入部２ｂの挿入量と、捩り量とに基づいて、先端部１１の位置と姿勢を推定することができる。

【0114】

また、形状センサ６１は、光ファイバを利用したものでなく、先端部１１に１つの磁気センサ１６を設けると共に、複数の磁気センサ１６を所定の間隔で挿入部２ｂ内に配置することによって、挿入部２ｂの形状を検出するようにしてもよい。図２２は、複数の磁気センサ１６が挿入部２ｂ内に配設された内視鏡の斜視図である。図２２に示すような複数の磁気センサ１６の位置情報から、挿入部２ｂの形状を算出することができる。

【0115】

なお、図２において点線で示すように、内視鏡２の挿入部２ｂ内に、上述した形状センサ６１を配設してもよい。形状センサ６１を用いれば、挿入部２ｂの全体形状も把握できる。

【0116】

上述した実施形態では、医者が内視鏡画像を見ながら、管腔構造は算出されるが、例えば襞の裏側などの隠れ部分があるとその領域の管腔構造は算出されない。隠れ部分は、内視鏡画像に写っていない領域である。内視鏡画像に含まれない領域は、管腔構造が生成されないことになるので、そこで、内視鏡画像等から隠れ部分の存在を検出し、医者に告知するようにしてもよい。

【0117】

図２３は、隠れ部分があるときのモニタ６の表示例を示す図である。モニタ６の表示画面６ａの内視鏡画像表示領域３１には、内壁の一部の奥側に影ができている大腸の内視鏡画像が表示されている。照明光が当たらずに暗い影の部分ＳＡは、他の部分に比べて明るさが段階的に低くなる。そのため、隣り合う画素あるいは隣り合う画素領域間において輝度差が、所定の輝度値以上であるとき、隠れ部分があると判定することができる。

【0118】

そのような場合、図２３のポップアップウインドウ３４のように、所定のメッセージをモニタ６に表示させることにより、ユーザに告知して、隠れ部分を観察させることができる。隠れ部分には、憩室等の凹みも含まれる。ユーザが、所定のメッセージを見て、隠れ部分の観察をすると、その観察した領域の管腔構造の情報が算出される。

【0119】

なお、上述した例では、隠れ部分は、照明光が当たらない影の領域の有無により検出しているが、上述した距離センサ５１等の距離画像情報を用いて、同様の隠れ部分の有無を検出するようにしてもよい。隣り合う画素あるいは隣り合う画素領域間において距離差が、所定の距離値以上である、等の場合、隠れ部分があると判定することができる。

【0120】

図２４は、画像の輝度値による未観察領域の告知処理の流れの例を示すフローチャートである。図２４の処理は、図４のＳ２において新しい視点での内視鏡画像を取得されたときに、図４の処理と並行して実行される。プロセッサ２１は、Ｓ２において取得された新しい視点での内視鏡画像の明るさ情報を得る（Ｓ３１）。すなわち画像中の各画素の輝度情報が取得される。

【0121】

プロセッサ２１は、画像中の所定の画素領域内において、ａ）隣り合う２つの画素の輝度値の差が所定値以上である、又はｂ）暗い筋状部分がある、の有無を判定すなわち確認する（Ｓ３２）。

【0122】

プロセッサ２１は、ａ）及びｂ）のいずれかが成り立つかを判定する（Ｓ３３）。ａ）及びｂ）のいずれかが成り立つとき（Ｓ３３：ＹＥＳ）、プロセッサ２１は、視野内に隠れ部分がある可能性があるとして、所定のメッセージをモニタ６に表示する（Ｓ３４）。所定のメッセージは、例えば図２３のポップアップウインドウ３３のようなメッセージである。ａ）及びｂ）のいずれかも成り立たないとき（Ｓ３３：ＮＯ）、処理は、何もしない。Ｓ３４の処理は、撮像画像中の隣り合う２つの画素又は２つの画素領域間の輝度値の差が、所定値以上であるとき、所定の告知を行う告知部を構成する。

【0123】

図２５は、距離センサ５１の距離画像による未観察領域の告知処理の流れの例を示すフローチャートである。図２５の処理は、図４のＳ２において新しい視点での内視鏡画像を取得されたときに、図４の処理と並行して実行される。プロセッサ２１は、Ｓ２において取得された新しい視点での距離センサ５１の距離画像情報を得る（Ｓ４１）。すなわち画像中の各画素の距離情報が取得される。

【0124】

プロセッサ２１は、画像中の所定の画素領域内において、ｃ）隣り合う２つの画素の距離の差が所定値以上である、又はｄ）距離の変化が連続しない部分がある、の有無を判定すなわち確認する（Ｓ４２）。

【0125】

プロセッサ２１は、ｃ）及びｄ）のいずれかが成り立つかを判定する（Ｓ４３）。ｃ）及びｄ）のいずれかが成り立つとき（Ｓ４３：ＹＥＳ）、プロセッサ２１は、視野内に隠れ部分がある可能性があるとして、所定のメッセージをモニタ６に表示する（４４）。所定のメッセージは、例えば図２３のポップアップウインドウ３４のようなメッセージである。ｃ）及びｄ）のいずれかも成り立たないとき（Ｓ４３：ＮＯ）、処理は、何もしない。Ｓ４３の処理は、距離画像中の隣り合う２つの画素又は２つの画素領域間の距離値の差が、所定値以上であるとき、所定の告知を行う告知部を構成する。

【0126】

以上のように、上述した実施形態によれば、臓器の動きなどによる画像不良が生じても各特徴点の位置から管腔の３次元モデル構造を算出可能な内視鏡システム、管腔構造算出装置、管腔構造情報の作成方法及び管腔構造情報作成プログラムを提供することができる。

【0127】

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】