特許 6600690 挿入体支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6600690

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】挿入体支援システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20191021BHJP

   A61B 1/00 20060101ALI20191021BHJP

【ＦＩ】

   A61B1/045 623

   A61B1/00 552

   A61B1/00 640

   A61B1/00 V

【請求項の数】32

【全頁数】30

(21)【出願番号】特願2017-546316(P2017-546316)

(86)(22)【出願日】2015年10月20日

(86)【国際出願番号】JP2015079575

(87)【国際公開番号】WO2017068650

(87)【国際公開日】20170427

【審査請求日】2018年4月19日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】羽根 潤

(72)【発明者】

【氏名】藤田 浩正

【審査官】 増渕 俊仁

(56)【参考文献】

【文献】 特開２０１４−２３０６１２（ＪＰ，Ａ）

【文献】 特開２０１２−１６５８３８（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３８３２２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００−１／３２

Ｇ０２Ｂ ２３／２４−２３／２６

(57)【特許請求の範囲】

【請求項1】

被検体の管に挿入される挿入体と、
前記挿入体に設けられ、現在の前記挿入体の形状情報を含むセンサ情報を検出する形状センサと、
前記挿入体が前記被検体に挿入される前に画像機器によって撮影された、事前撮影の前記被検体の管の形状情報を含む被検体情報を取得する画像機器情報取得部と、
現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、を重畳させることで、前記被検体の前記管に対する前記挿入体の挿入経路を示す挿入経路画像を作成する管情報統合処理部と、
現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、の間に差異があることを検出可能で、前記差異がある場合、少なくとも前記差異に基づいて、前記挿入体の挿入経路に係る操作支援情報を作成する操作支援情報生成部と、を有する挿入体支援システム。

【請求項2】

前記操作支援情報生成部は、現在の前記挿入体の形状情報と、事前撮影の前記被検体の前記管の形状情報と、の間に差異がある場合に、現在の前記挿入体の形状情報に合致するように前記被検体の管の形状情報を修正してから、現在の前記挿入体の形状情報に重畳させることで、修正挿入経路画像を作成することを特徴とする請求項１に記載の挿入体支援システム。

【請求項3】

前記操作支援情報生成部は、現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、の間に差異がある場合に、挿入経路逸脱に係る警告を作成することを特徴とする請求項１に記載の挿入体支援システム。

【請求項4】

前記被検体の所定の管は、前記挿入体の挿入に伴って、形状を変えうることを特徴とする請求項１に記載の挿入体支援システム。

【請求項5】

前記被検体情報は、前記被検体の外部の特定の方向又は、視点から内部を透視する三次元画像を撮像する画像機器から得られる画像機器情報の一部又は、前記画像機器情報を基に得られた画像機器２次情報を含むことを特徴とする請求項２に記載の挿入体支援システム。

【請求項6】

前記画像機器２次情報は、特定の視点／断面によって再構成された画像情報である画像２次情報を含むことを特徴とする請求項５に記載の挿入体支援システム。

【請求項7】

前記画像機器２次情報は、特定の視点／断面における管の形状又は、配置を示す管形状・配置２次情報を含むことを特徴とする請求項５に記載の挿入体支援システム。

【請求項8】

前記画像機器情報又は、前記画像機器２次情報は、挿入体の挿抜の際の注目部位や観察／診断・治療の作業対象部位である特定部位に関する特定部位情報を更に含むことを特徴とする請求項５乃至７の何れか１項に記載の挿入体支援システム。

【請求項9】

前記画像機器情報取得部は、前記画像機器２次情報を生成する画像機器２次情報生成部を有することを特徴とする請求項５乃至８の何れか１項に記載の挿入体支援システム。

【請求項10】

前記挿入体は、前記管内の画像を撮像可能な撮像部を、更に有し、
前記被検体情報及び、前記操作支援情報は、前記撮像部から得られる管の画像に対応する、前記画像機器情報又は、前記画像機器２次情報を含むことを特徴とする請求項５に記載の挿入体支援システム。

【請求項11】

前記被検体情報及び、前記操作支援情報は、更に、挿入体の挿抜の注目部位や観察／診断・治療の作業対象部位である特定部位に対応した特定部位２次情報を含むことを特徴とする請求項１０に記載の挿入体支援システム。

【請求項12】

前記被検体情報及び、前記操作支援情報は、前記管の形状、又は、配置に関わる管形状・配置情報又は、管形状・配置２次情報を含むことを特徴とする請求項５に記載の挿入体支援システム。

【請求項13】

前記被検体情報及び前記操作支援情報は、更に、挿入体の挿抜の際の注目部位や観察／診断・治療の作業対象部位である特定部位に対応した特定部位情報を含むことを特徴とする請求項１２に記載の挿入体支援システム。

【請求項14】

前記管情報統合処理部は、前記被検体情報を含む画像機器情報と前記センサ情報に含まれる管に関する情報を統合する、請求項２に記載の挿入体支援システム。

【請求項15】

前記管情報統合処理部は、前記画像機器情報と前記センサ情報に含まれる位置情報を統合するための、位置情報統合処理部を更に含む、請求項１４に記載の挿入体支援システム。

【請求項16】

位置情報統合処理部は、支援情報を生成又は、提示するために必要となる前記管に関する位置座標を補間又は、推定により生成する、請求項１５に記載の挿入体支援システム。

【請求項17】

前記位置情報統合処理部は、前記画像機器情報に基づく管情報と前記センサ情報に基づく管の位置関連情報に、形状、大きさ、位置及び向きの何れかが同一の部分的箇所に差異のある部分又は、欠落のある部分が存在する場合に、支援情報の生成又は、提示に必要となる現状の管の位置関連情報を推定を含めて生成することが可能な管位置関連情報推定生成部を有する、請求項１５に記載の挿入体支援システム。

【請求項18】

前記管位置関連情報推定生成部は、前記センサ情報に含まれる位置情報を正しいものとして、現状の管の位置関連情報を生成する、請求項１７に記載の挿入体支援システム。

【請求項19】

前記挿入体の先端近傍には、前記被検体の管を撮像し、撮像画像情報を得る撮像部を更に有し、前記画像機器情報取得部は、前記撮像画像情報又は、前記センサ情報の少なくとも一方を基に、前記被検体情報の修正又は更新のいずれかを行うことを特徴とする請求項５に記載の挿入体支援システム。

【請求項20】

前記形状センサは、前記挿入体の形状、配置及び姿勢又は、先端部の位置、向き及び姿勢を含む先端情報の少なくとも一つを検出／推定可能であり、
前記被検体情報は、前記管の形状又は、配置に関わる管形状・配置情報を含み、
前記画像機器情報取得部は、前記形状センサから得られるセンサ情報を基に、前記挿入体の形状又は、配置に関する挿入体形状・配置情報を挿入体情報の少なくとも一部として生成し、
前記管形状・配置情報と前記挿入体形状・配置情報に基づいて、前記被検体情報の修正又は、更新を行うことを特徴とする請求項１９に記載の挿入体支援システム。

【請求項21】

前記被検体情報の修正又は更新は、いずれもリアルタイムに行うことを特徴とする請求項１９に記載の挿入体支援システム。

【請求項22】

前記形状センサは、前記挿入体の形状及び姿勢を含む配置情報又は、前記挿入体の先端部の位置、向き及び姿勢を含む先端情報の少なくとも１つを検出／推定可能であり、
前記形状センサから得られた前記センサ情報に基づく前記挿入体の形状情報と前記画像機器情報に基づく前記被検体情報から前記操作支援情報を生成することを特徴とする請求項５に記載の挿入体支援システム。

【請求項23】

前記挿入体の先端近傍には、前記被検体の管を撮像し、撮像画像情報を得る撮像部を更に有し、前記挿入体の形状・配置情報又は、先端情報と前記画像機器情報から、前記撮像画像情報に対応する画像機器２次情報を生成することを特徴とする請求項２２の挿入体支援システム。

【請求項24】

前記画像機器２次情報は、特定の視点／断面における管の形状及び配置を示す管形状・配置２次情報を含み、
前記挿入体の形状情報は、前記特定の視点／断面における前記挿入体の形状及び配置情報を含み、
前記操作支援情報は、前記管形状・配置２次情報と前記挿入体の形状及び配置情報とを合わせこんだ画像情報を含むことを特徴とする請求項２２の挿入体支援システム。

【請求項25】

前記操作支援情報は、
挿入体の挿抜の際の注目部位や観察／診断・治療の作業対象部位である特定部位と前記挿入体との配置関係に基づく、前記挿入体の先端からの向き及び距離を含む支援情報を有することを特徴とする請求項２２の挿入体支援システム。

【請求項26】

前記挿入体の挿抜の際の注目部位や観察／診断・治療の作業対象部位である特定部位と、
前記挿入体との距離、観察／作業可能範囲内外の配置関係に基づいて、前記挿入体の先端部からの向き及び距離を含む操作支援情報の出力状況／出力内容を変更することを特徴とする請求項２２の挿入体支援システム。

【請求項27】

前記画像機器２次情報は、特定の視点／断面における管の形状／配置を示す管形状・配置２次情報を含み、
前記操作支援情報は、前記管形状・配置２次情報と前記挿入体の形状及び配置に基づく、前記挿入体の挿抜操作に関する挿抜操作関連情報を含むことを特徴とする請求項２２の挿入体支援システム。

【請求項28】

前記画像機器２次情報は、
特定の視点／断面における管の形状／配置を示す管形状・配置２次情報と、
前記挿入体の挿抜の際の注目部位や観察／診断及び治療の作業対象部位である特定部位についての情報である特定部位２次情報を含み、
前記操作支援情報は、前記管形状・配置２次情報と前記特定部位２次情報と前記挿入体の形状及び配置に基づく、作業に関する作業関連情報を含むことを特徴とする請求項２２の挿入体支援システム。

【請求項29】

取得又は、抽出・生成した情報の少なくとも一部を記憶・読み出しする、又は／および、前記操作支援情報の生成に必要な情報を予め記憶し、必要な時に読み出す記憶部を更に有する、請求項２に記載の挿入体支援システム。

【請求項30】

前記挿入体は、挿入体の識別情報、仕様情報、状態情報の内、少なくとも１つの情報を含むＩＤタグを有し、
前記少なくとも１つの情報に基づいて、前記挿入体支援システムが提供可能な前記操作支援情報を判別することを特徴とする請求項１に記載の挿入体支援システム。

【請求項31】

前記ＩＤタグからの前記少なくとも１つの情報に基づいて、
提供可能な前記操作支援情報を生成するための設定を行うことを特徴とする請求項３０に記載の挿入体支援システム。

【請求項32】

挿入体支援システムの起動時、または、システム構成要素を接続、または、取り外しした際に、前記挿入体支援システムが提供可能な前記操作支援情報を判別することを特徴とする請求項３０に記載の挿入体支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、軟性内視鏡鏡、カテーテル等に代表される、管空内に挿入して観察及び修理・治療・採取等の処置を行うための管状挿入システムを操作を支援する挿入体支援システムに関する。

【背景技術】

【0002】

一般に、任意の管空内又は体腔内に挿入して、観察等を行う管状挿入システムの一例として、内視鏡が知られている。内視鏡の挿入部（又は、挿入体）は、管空内に挿入してしまうと、直視による挿入部の位置や湾曲形状を確認することができない。そのため、被観察者（患者）に挿入された内視鏡で撮像された観察画像を見て、臓器（体腔）に対する天地方向と位置関係の判断は、熟練度や経験が必要とされている。

【0003】

さらに、観察対象が大腸であった場合に、大腸は患者毎に形状や配置が異なり、挿入部の形状に従い変形しうる臓器である。そのため、撮像された画面を見ながら、大腸の形状や配置を考慮して、挿入部の挿入状況（大腸における位置と湾曲形状等）を判断する場合、操作者の知識や経験に基づく推測に依存する割合が大きい。そのため、経験が浅い操作者においては、熟練者の助言や何らかの補助がない場合、挿入部を挿抜する手際が悪かったり、必要以上に時間を要したりすることが懸念される。また、熟練した操作者であっても常に推測が正しいものとは限らず、試行錯誤する可能性もある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４−２０４９０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

前述したように、内視鏡等の挿入部は、体腔内に挿入されると、挿入部の形状を直接的に視認することができない。そこで、挿入部に位置情報を検出するためのセンサを配置して、そのセンサから得られた光強度や光量の変化に関する情報から湾曲形状を検出するシステムが提案されている。更には、診断に用いられるレントゲン撮影による二次元画像だけではなく、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等の外部画像機器から観察対象の三次元断層画像を予め入手して利用するシステムとして、例えば、特開２０１４−２０４９０４号公報（特許文献１）が提案されている。この特許文献１には、ＣＴ画像を利用した超音波内視鏡システムが提案されている。超音波内視鏡システムは、ＣＴ画像と体軸方向データを利用して被検者モデル画像データを生成し、挿入形状データと、超音波断層像マーカと、スコープ先端部マーカと、３次元生体組織モデルデータと、被検者モデル画像データと、誘導画像情報とを組み合わせることにより、各種ガイド画像を生成して表示している。

【0006】

このように内視鏡等の挿入部に位置センサや形状センサを組み込んで、挿入部の位置・形状・配置等を検出し、操作者へ情報提供することで挿入性を向上させようとする試みがなされている。

【0007】

しかしながら、大腸のように患者の個人差により形状及び配置が異なり、また挿入体の挿入状態に従い形状が変化する観察対象に対して、ＣＴ画像や超音波画像等で取得される二次元以上で特に三次元画像（又は、三次元断層画像）を実用的に内視鏡の診断に利用した具体的な実施方法の提案はなされていない。

【0008】

そこで本発明は、予め取得した観察対象となる管空の二次元以上の画像又は断層画像から管空の形状情報を含む管空情報を作成し、内視鏡等の挿入部を管空に挿入するための支援情報として利用する挿入体支援システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明に従う実施形態の挿入体支援システムは、被検体の管に挿入される挿入体と、前記挿入体に設けられ、現在の前記挿入体の形状情報を含むセンサ情報を検出する形状センサと、前記挿入体が前記被検体に挿入される前に画像機器によって撮影された、事前撮影の前記被検体の管の形状情報を含む被検体情報を取得する画像機器情報取得部と、現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、を重畳させることで、前記被検体の前記管に対する前記挿入体の挿入経路を示す挿入経路画像を作成する管情報統合処理部と、現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、の間に差異があることを検出し、前記差異に基づき、前記挿入体の挿入経路に係る操作支援情報を作成する操作支援情報生成部と、を有する。

【発明の効果】

【0010】

本発明によれば、予め取得した観察対象となる管空の二次元以上の画像又は断層画像から管空の形状情報を含む管空情報を作成し、内視鏡等の挿入部を管空に挿入するための支援情報として利用する挿入体支援システムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の一実施形態に係る管状挿入システムに備えられる挿入体支援システムの構成例を示す図である。

【図2】図２は、挿入体支援システムを搭載する内視鏡の外観構成を示す図である。

【図3】図３は、内視鏡の挿入部先端の湾曲部の湾曲方向について示す図である。

【図4】図４は、ＣＴ装置の外観構成を示す図である。

【図5】図５は、特定視点からの被検体に対する概念的な撮像画像を示す図である。

【図6】図６は、ＣＴ装置におけるヘリカルスキャンによる撮像の概念を示す図である。

【図7】図７は、ＭＲＩ装置の外観構成を示す図である。

【図8】図８は、超音波診断装置による診断状況を示す図である。

【図9】図９は、超音波診断装置及び使用されるプローブの外観構成を示す図である。

【図10】図１０は、挿入体の湾曲形状を検出する湾曲形状検出装置の構成例を示す図である。

【図11A】図１１Ａは、ファイバセンサが取り付けられた側に湾曲した光ファイバ内を導光する検出用光を示す図である。

【図11B】図１１Ｂは、真っ直ぐな状態の光ファイバ内を導光する検出用光を示す図である。

【図11C】図１１Ｃは、ファイバセンサが取り付けられた側とは反対側に湾曲した光ファイバ内を導光する検出用光を示す図である。

【図12】図１２は、被検体の管腔の開口部に挿入体センサを配置する例を示す図である。

【図13A】図１３Ａは、被検体情報抽出部内に設けられる管空情報統合処理部を示す図である。

【図13B】図１３Ｂは、管空情報統合処理部内に設けられる位置情報統合処理部を示す図である。

【図13C】図１３Ｃは、管空情報統合処理部内に設けられる管空関連情報推定生成部を示す図である。

【図13D】図１３Ｄは、位置情報統合処理部内に設けられる管空位置関連情報推定生成部を示す図である。

【図14】図１４は、診察台に横たわる被検体の臥位状態を示す図である。

【図15】図１５は、挿入体支援システムにおける操作支援情報の生成及び出力について説明するためのフローチャートである。

【図16】図１６は、被検体の管空状態に関する情報の修正又は更新の処理について説明するためのフローチャートである。

【図17】図１７は、推測した被検体の管空状態と実測した被検体の管空状態とを提示する支援情報処理について説明するためのフローチャートである。

【図18】図１８は、表示部に表示される操作支援情報の一例を示す図である。

【図19】図１９は、第１の表示例として、挿入状態検出を表示している画面を示す図である。

【図20】図２０は、第２の表示例として挿入状態検出を表示している画面を示す図である。

【図21A】図２１Ａは、第３の表示例となる挿入体の先端部と特定部位との近接関係から操作支援情報の呈示の有無を切り替えている例を示す図である。

【図21B】図２１Ｂは、第３の表示例として、挿入体の先端部と特定部位との近接関係から操作支援情報の呈示の有無を切り替えている例を示す図である。

【図22】図２２は、画面上に撮像画像と再構成画像を横並びに表示した例を示す図である。

【図23】図２３は、挿入された挿入体により大腸の形状に変形が生じた例を示す図である。

【図24】図２４は、支援情報や支援情報の生成の仕方の例を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施形態について詳細に説明する。
［第１実施形態］
図１には、本発明の一実施形態に係る管状挿入システムに備えられる挿入体支援システムの構成例を示している。図２は、挿入体支援システムを搭載する内視鏡の外観構成を示し、図３は内視鏡の挿入部先端の湾曲部の湾曲方向について示す図である。以下、本実施形態の管状挿入システムとして、医療用軟性内視鏡（上部消化管・大腸・超音波・膀胱鏡・腎盂鏡等）を例にとって詳細に説明する。勿論、本実施形態は、医療用軟性内視鏡に限定されるものではなく、挿入体を操作して、挿入・処置を行う管状挿入システムであれば、他にも工業用内視鏡、一部湾曲機構を有する硬性鏡、マニピュレータ（ロボットアーム）、カテーテル等の長手方向の
とも一部の形状が湾曲変化しうる管状挿入システムに汎用的に適用可能である。

【0013】

以下に説明する本実施形態において、内視鏡の観察対象物とする管空（体腔又は管腔）は、消化器や気管支や泌尿器等として、ここでは、大腸を一例として説明する。前述したように、大腸は、被検体毎に形状や配置が異なり、時間の経過や機器の挿入等によって形状が変化しうる臓器である。この被検体は、診断や治療をする患者を想定しているが、患者に代わってシミュレーション用の患者モデルや臓器モデルであってもよい。尚、医療に特化せずとも、内部に管空や空洞部を有する機器等であってもよい。

【0014】

まず、図２及び図３を参照して、挿入体支援システム１を搭載する内視鏡システム１００について概略的に説明する。図２は、内視鏡システムの概略的な構成例を示す図である。図３は、挿入体における、操作による動作方向を概念的に示す図である。
本実施形態における内視鏡システム（管状挿入システム）１００は、観察対象の体腔内に挿入する管状挿入装置である。

【0015】

内視鏡システム１００は、被検体内に挿入され、挿入体（所謂、挿入部）の先端に設けられた撮像部により撮像する内視鏡１３と、撮像された観察画像を画像処理する画像処理部１４（所謂、ビデオプロセッサ）と、画像処理部１４からの観察画像を表示するモニタ（表示部）１６と、内視鏡１３に照明光を出射する光源装置１８と、形状センサ（センタ本体部）１５と、内視鏡システム全体を制御する制御装置１９とを有している。尚、本実施形態の内視鏡には、一般的に使用される機能や機器等は備えているものとする。

【0016】

内視鏡１３は、操作者（operator）が把持する把持部３１が設けられた操作部３０と、操作部３０の基端側に接続される細長い管状で可撓性を有する挿入体２０と、操作部３０を光源装置１８及び画像処理部１４の双方に接続し、画像送信を行う信号線及び照明光を導光する光ファイバからなる所謂、ライトガイドを含むユニバーサルケーブル２７と、を有している。操作部３０においては、内視鏡１３を操作する操作者（医師らの作業者）によって把持部３１が把持され、その上部に配置される湾曲操作部３６及び操作ボタン３４の操作が行われる。

【0017】

さらに、操作部３０の上部近傍には、ＩＤタグ３７が設けられており、識別のための固有の型番や製造番号等が記録されている。このＩＤタグ３７は、内視鏡１３を挿入体支援システム１に接続した時に、支援可能か否かの判断と固有のパラメータの設定に利用される。この固有のパラメータは、後述する記憶部６に予め記憶されており、初期化に際して適宜、読み出されて制御装置１９に設定される。尚、挿入体支援システム１が支援不可を判断した内視鏡であっても、支援無しの通常の使用は可能である。また、支援可能な場合においても、ＩＤタグ３７の内容に応じて、提供可能な支援情報や提供できる支援情報の正確さやレベルの範囲が固有のパラメータとして設定される。
このようなＩＤタグに書き込まれた情報の例を表１に示す。表１に記載の情報全てをＩＤタグに書き込む必要は必ずしも無く、支援システムを起動して支援情報を生成するのに必要な情報が少なくとも書き込まれていればよい。

【表1】

【0018】

このようなＩＤタグに書き込まれた情報に基づいて、挿入体支援システムは提供可能な支援情報を判別する。判別した提供可能な支援情報は、例えば、操作者にプルダウンメニュー等で表示し、必要に応じて選択してもらってもよい。これによって、操作者は、どの様な支援情報が入手可能か分かり、更に、欲しい支援情報を選択的に出力するよう、設定が可能となる。

【0019】

さらに、提供可能な支援情報、または、提供することが決まった支援情報を生成するための設定を必要に応じて行う。これは、必要な情報を生成・取得するためのセンサや画像機器の設定であったり、情報を受け取るための手順を決めたり、受け取った情報から支援情報を生成するための処理を選択したり、といった設定などがある。また、こうした設定は、支援情報を生成しようと思った際に行ってもよいが、起動時に行うと最初の１回で処理が完了するため、処理が簡便で途中で手間取らない。

【0020】

さらに、支援システムの構成要素が起動中に着脱可能な場合には、システム構成の変化を検出して設定を更新するようにすると同様に便利である。挿入体２０は、基端部側から先端部側に向かい、可撓管部２５と、湾曲部２３と、先端硬質部２１とが連結するように一体的に形成されている。

【0021】

この挿入体２０内には、長い方向に沿って、少なくとも照明光を導光する不図示の光ファイバであるライトガイドと、後述する挿入体２０の湾曲状態を検出するための形状センサ１５の検出光用の光導通部材、例えば、光ファイバとが並設されるように設けられている。尚、検出光用の光ファイバは、挿入体２０の湾曲状態を検出できるように、挿入体２０と一体的に固定されている。検出光用の光ファイバは、挿入体２０の長手軸方向に沿った中心軸上に配置されるのが好ましいが、特には限定されていない。尚、以下の説明において、区別を行うために、照明光を導光する光ファイバをライトガイドと称している。さらに、挿入体２０の基端側で操作部３０との間には、先端側のチャンネル開口まで挿入体２０内部を貫通し、各種鉗子を挿通させる鉗子チャンネルの挿入口部３５が配設されている。また、照明窓は、光学レンズで構成され、光源装置１８からライトガイドを通じて導光された照明光を観察対象エリアに照射する。

【0022】

先端硬質部２１は、硬質部材により概ね円筒形状に形成され、その先端面には、図示していないが、少なくとも照明光を照射する照明窓と、観察対象エリアを撮像するための観察窓及び光学系を含む撮像部３９と、洗浄液等や気体を含む流体を噴出するノズルと、チャンネル開口とが設けられている。操作部３０には、湾曲部２３を挿入方向に対して互いに直交する、例えば、上下及び左右方向に湾曲させるための湾曲操作部３６（ＵＤノブ、ＬＲノブ等）と、撮像や送気送水及び吸引等を行うための種々の操作ボタン３４が設けられている。湾曲部２３は、不図示の複数の節輪により構成され、節輪間を繋ぐ回動軸を交互に９０°ずれて直交させて挿入体２０の長手軸方向に連結されている。先端の節輪は、操作部３０に配置された湾曲操作部３６と複数のワイヤで接続されて、湾曲操作部３６の操作に応じてワイヤが牽引され、それぞれの回動軸を中心にそれぞれの節輪が適宜回動し、全体的には円弧の状態となり、結果、湾曲部を湾曲させた状態となる。尚、湾曲操作部３６は、手動ノブに限定されず、ワイヤ牽引にモータの駆動力を利用した電動タイプであってもよい。

【0023】

可撓管部２５は、可撓性を有しており、外力によって湾曲可能である。操作者は、湾曲操作部３６を操作し、湾曲部２３を所望の方向に湾曲させ、さらに可撓管部２５の可撓性を利用して押し引きや捻りを入れることで、被検体である患者の消化器や気管支や泌尿器等の管空へ自在に挿入していくことが可能となる。さらに、湾曲部２３を湾曲させることで、先端硬質部２１の向きを変えて、観察対象物を観察視野内に捉えて、照明光を観察対象物に照明する。

【0024】

本実施形態では、形状センサ１５は、挿入体２０内に配置される光ファイバの所定位置に少なくとも１つの湾曲状態を検出するための被検出部３８を配置している。形状センサ１５の後述する光源は、ユニバーサルケーブル２７（光ファイバ）を通じて、照明光とは異なる波長の検出用光を出射する。形状センサ１５は、挿入体２０の光ファイバ内に検出用光を出射して、被検出部３８により影響を受けた検出用光を検出して、その時の挿入体２０の形状を検出する。

【0025】

内視鏡１３は、センサ部２８として、形状センサ１５に加えて、さらに、後述する挿入体センサ８６及び操作量センサが設けられている。操作量センサは、前述した操作部３０内に設けられ、湾曲操作部３６と接続されている複数のワイヤの移動量を検出する。これらのワイヤの移動量は、湾曲操作部３６の操作量に応じて変化し、ワイヤの移動量から湾曲部２３の湾曲方向と湾曲状態を検知することができる。

【0026】

センサ部２８は、挿入体２０の形状及び姿勢を含む配置情報、又は先端部に関する情報（位置・向き・姿勢）、の少なくとも１つを検出／推定して、センサ部２８から得られたセンサ情報に基づく挿入体情報と、画像機器情報に基づく被検体情報から操作支援情報を生成することができる。挿入体２０の形状及び姿勢を含む配置又は、先端部に関する情報（位置・向き・姿勢）、の少なくとも１つを挿入体情報及び、操作支援情報の一部とする。よって、操作者が挿入体２０の位置関連情報を知ることができ、管空のどこまで挿入したか又は、これからの挿入体２０の挿入の進め方を、この情報が無い場合に比べて、より正確に知ることができ、被検体情報と組み合わせることで挿入体の挿入性・操作性が向上する。

【0027】

これらのセンサを用いて、図３の矢印に示すように、管空内に挿入された挿入体２０における挿抜方向の進退移動量Ａ１と、操作部３０の回動を伴う捻り（回転）量Ａ２と、湾曲操作部３６の操作による湾曲部２３の上下方向Ａ３及び左右方向Ａ４とに湾曲方向及びその移動量に関するセンサ情報を生成する。
なお、内視鏡１３には、記載されたセンサ以外のセンサやアクチュエータが搭載されていてもよい。センサ情報は、１つ以上の搭載されたセンサから検出、または、生成されるものとし、得られるセンサ情報は複数の種類の情報から成っていても良い。

【0028】

図１を参照して、挿入体支援システム１の構成について説明する。
本実施形態の挿入体支援システム１は、内視鏡システム１００に備えられて、被検体５である患者に挿抜する際に操作者である医師らに支援情報を与え、さらに診断や治療等のための観察や処置を支援する。具体的には、挿入体支援システム１は、内視鏡１３の挿抜や処置のための操作を行う際に、内視鏡の撮像部で撮像された画像情報を含み、後述する各センサから検出したセンサ情報と、画像機器によって取得された画像や画像を基に生成された情報や情報に加えられた判断など、事前の画像関連情報とを取り込み、操作支援情報を生成し、操作者に提供する。

【0029】

挿入体支援システム１は、主として、被検体情報抽出部２と、挿入体情報抽出部３と、支援情報生成部４と、記憶部６と、出力部（例えば、表示部）１６と、後述する複数の情報取得部と、で構成される。尚、挿入体支援システムの出力部１６は、内視鏡システム１００の表示部と兼用している。但し、出力部１６からの出力は、表示部に表示される画像情報（操作支援情報）のみに限定されるものではなく、他の機器等に各種情報を出力する機能も有している。勿論、別個に設けてもよい。

【0030】

複数の情報取得部は、観察対象の被検体５に関する各種の被検体情報を外部から取得する。本実施形態の情報取得部としては、撮像情報取得部７と、センサ情報取得部８と、外部情報取得部９と、画像機器情報取得部１０とを有している。勿論、これらの情報取得部は、被検体情報抽出部２や挿入体情報抽出部３の一部として組み込まれてもよい。また、これらの情報取得部以外でも利用可能な情報を提供するものを追加してもよい。

【0031】

具体的には、撮像情報取得部７は、挿入体２０の先端側に設けられた撮像部３９が撮像した被検体５の画像を含む撮像画像情報を取り込み、被検体情報抽出部２へ送出する。尚、撮像画像情報は、被検体５の管空に関する画像情報である。
センサ情報取得部８は、形状センサ１５、後述する挿入体センサ８６及び操作量センサが検出した挿入体情報からなるセンサ情報を取得し、挿入体情報抽出部３へ送出する。

【0032】

さらに、外部情報取得部９は、外部機器やＬＡＮを経由して得られる被検体５に関する外部情報を内視鏡観察又は内視鏡診断に先立って取得し、挿入体情報抽出部３へ送出する。画像機器情報取得部１０は、被検体５の三次元断面画像等の画像機器情報を後述する画像機器１１より内視鏡観察に先立って取得し、被検体情報抽出部２へ送出する。また、各情報取得部は、被検体情報や挿入体情報以外の操作支援に関わる情報等を併せて取得してもよい。

【0033】

さらに、撮像情報取得部７、センサ情報取得部８、外部情報取得部９及び画像機器情報取得部１０等が取得する外部情報に対して、挿入体支援システム１内、又は、挿入体支援システム１からのリクエストにより外部機器を利用して適宜、抽出・加工等の処理を行う。挿入体支援システム１が外部から取り込む情報を１次情報とし、挿入体支援システム１内で生成された、又は該システム１の指示によって生成された情報を２次情報と称する。また、これらの１次情報と２次情報を合わせて単に情報と称している。例えば、画像機器１１上で事前に得られる情報は、挿入体支援システム１向けに事前に加工されていても、１次情報とする。一方、画像機器情報を提供した画像機器１１に対して、既に取り込んだ被検体５の情報を基に、特定の情報を新たに生成するように挿入体支援システム１が指示した場合に得られる情報は２次情報とする。

【0034】

これらの情報取得部のうちで、画像機器情報取得部１０及び画像機器１１は、必須である。それ以外は、少なくとも１つ以上の機器等があり、それらの機器からの情報と、画像機器情報取得部１０からの情報と、を組み合わせて、挿入体情報抽出部３にて挿入体情報が抽出・生成できればよい。

【0035】

被検体情報抽出部２は、取得したセンサ情報及び画像機器情報から被検体５の形状等の被検体情報を抽出・生成する。挿入体情報抽出部３は、取得したセンサ情報及び外部情報から被検体５における挿入状況・形状等を示す挿入体情報を抽出・生成する。支援情報生成部４は、被検体情報抽出部２及び挿入体情報抽出部３からの挿入体情報に対して、取捨選択及び各種加工することによって、後述する操作支援情報を生成する。

【0036】

記憶部６は、被検体、および、操作者についての情報、複数の情報取得部から得られる情報、被検体情報抽出部２、挿入体情報抽出部３及び支援情報生成部４における中間生成情報や支援情報や、様々な内視鏡やセンサ類についての固有のパラメータ等を記憶する。また、記憶部６は、目的に応じて複数配置してもよいし、外部に配置して、ＬＡＮやインターネット等で接続しても良い。前述したように、出力部１６は、出力の一形態として支援情報生成部４からの操作支援情報を表示する表示部を含んでいる。なお、支援情報の表示は、出力の一形態であり、その他の種々の出力形態があり、例えば、情報呈示の仕方においても、音声・振動・光等様々な形態を含んでいる。操作支援情報は、その出力形態に合わせて、変換や変更が実施される。尚、支援情報に基づいてアクチュエータを制御するといったことも可能である。

【0037】

以下に、挿入体支援システム１の各構成部位について詳細に説明する。
図４は、ＣＴ装置の外観構成を示す図、図５は、特定視点からの被検体に対する概念的な撮像画像を示す図、図６は、ＣＴ装置におけるヘリカルスキャンによる撮像の概念を示す図である。図７は、ＭＲＩ装置の外観構成を示す図である。図８は、超音波診断装置による診断状況を示す図、図９は、超音波診断装置及び使用されるプローブの外観構成を示す図である。

【0038】

本実施形態に用いられる画像機器１１は、公知な機器であり、例えば、ＣＴ装置５１、ＭＲＩ装置６１及び超音波診断装置６５等が利用できる。これらの画像機器１１からは、観察対象となる被検体５の管空に関する二次元以上の画像情報が内視鏡観察の直前に取得される。又は、内視鏡観察の直前で、診断等、他の目的に利用した画像情報を再利用してもよい。本実施形態に利用可能な画像情報としては、以下の表２に示す情報がある。但し、画像機器１１によっては取得できない情報もあり、それらの情報は除くものとする。

【表2】

【0039】

特に、ＣＴ装置５１では、図５に示すように被検体５の外部の特定方向、又は、撮像部５５の視点からコリメータ５６を経て観察対象範囲全体の観察ができ、被検体５の広い範囲、又は、全体についての１つの方向、又は、視点からの画像情報５７を取得できる。また、図５及び図６に示すように、撮影時に視点（被検体）を移動するヘリカルスキャン５８により、立体像や任意断面形状を再構成可能となる。

【0040】

ここで、超音波診断装置について説明する。内視鏡観察においては、前述したように、被検体５に観察を行うため挿入体２０を挿入しつつ、挿入されている状態において、逐次、現況の情報を取得できることが最も好ましい。

【0041】

図８及び図９に示すように、超音波診断装置６５は、装置本体６６と、プローブ６７（６７ａ，６７ｂ）と、モニタ部６８とで構成され、移動可能にキャスタ架台６９に搭載されている。装置本体６６は、図示していないが、超音波の生成と送信受信を行う送受信部と、制御部と、ドップラー信号等を処理する信号処理部と、画像処理部と、記録部と、キーボード等による入力部等で構成される。また、プローブの代表的なものとして、放射状に超音波を放出するコンベックス型プローブ６７ａ、直線的に超音波を放出するリニア型プローブ６７ｂを示している。他にも、コンベックス型プローブ６７ａよりも狭域なセクタ型プローブがある。超音波診断装置６５を使用する場合には、図８に示すように、被検体５を診察台に寝かせて、医者７０が観察を所望する箇所にプローブ６７を宛がい、三次元画像を取得する。

【0042】

尚、通常の内視鏡観察時には、被検体５の患者は、寝かせられている場合が多い。そのため、画像機器１１での体内画像観察時と似たような体位となる。寝ている体の向きが異なる場合、臓器の配置が重力によって若干異なる可能性があるため、必要に応じて可能であれば、画像機器情報を内視鏡観察時に対応した画像となるよう、適宜、修正を行う。

【0043】

また、被検体が物や装置などである場合には、被検体に対応した画像機器を用いるものとする。例えば、被検体の素材によっては、赤外線撮像装置を用いて透視画像を得ることができる。

【0044】

次に、図１０乃至図１２を参照して、センサ情報取得部８が取得するセンサ情報について説明する。図１０は、挿入体２０の湾曲形状を検出する形状センサ１５の構成例を示す図である。図１１Ａ，１１Ｂ，１１Ｃは、光ファイバに取り付けられたファイバセンサにおける湾曲した際の光伝達量について説明するための概念図である。図１２は、被検体５の管腔の開口部（例えば、口腔部）８５に挿入体センサ８６を配置する例を示す図である。

【0045】

本実施形態におけるセンサ情報は、形状センサ１５、挿入体センサ８６と操作量センサにより検出された情報を加工した挿入体２０の形状及び挿入距離（挿入量）等からなる情報である。

【0046】

図１０に示す形状センサ１５は、図２に示したように、内視鏡１３の挿入体２０の長手軸方向に沿って設けられた光ファイバ７２に少なくとも１つの被検出部３８を配置し、検出した曲率（湾曲量）から挿入体２０の湾曲形状を検出する。
形状センサ１５は、センサ部本体７１、被検出部３８及び制御部７５とで構成される。制御部７５は、形状演算部７４を含みセンサ部本体７１内の各構成部位を統括的に制御する。前述したように光ファイバ７２は、照明光を導光するライトガイド（光ファイバ）と並設されている。
センサ部本体７１は、光軸上で出射する側から、光源７６と、投光レンズ７７と、アイソレータ７８と、反射ミラー７９と、第１集光レンズ８０とが配置される。反射ミラー７９で分岐された光軸上に第２集光レンズ８１と光検出部８２が配置されている。

【0047】

光源７６は、例えば、ＬＥＤにより構成され、内視鏡で使用される照明光とは異なる少なくとも１つの波長の検出用光を出射する。複数の被検出部３８を用いた場合には、異なる複数の波長の検出用光を用いる構成が好ましい。アイソレータ７８は、光源７６から出射された検出用光を通過させて、反射ミラー７９の反射により戻ってきた検出光の通過を阻止して、光源７６に光が戻らないようにしている。

【0048】

センサ部本体７１の集光レンズ８０から出射された検出用光は、光ファイバ７２の基端側から入射されて導光される。その導光された検出用光は、光ファイバ７２の先端側に設けられた反射部７３で反射し、検出光として、再度、光ファイバ７２内を通過して、センサ部本体７１に戻る。その検出光は、反射ミラー７９で屈曲されて分岐され、光検出部８２に受光される。光検出部８２は、光電変換素子等で構成され、湾曲により変化する検出光の光強度に基づく形状信号を出力する。形状演算部７４は、光検出部８２からの形状信号に基づき、実際に湾曲部２３の湾曲形状の曲率（円弧の大きさ）を演算出力する。

【0049】

挿入体２０の湾曲と検出用光の光伝達量の関係について説明する。
図１１Ａは、被検出部３８が取り付けられた側に湾曲した光ファイバ７２内を導光する検出用光を矢印で示し、図１１Ｂは、真っ直ぐな状態の光ファイバ７２内を導光する検出用光を矢印で示し、図１１Ｃは、被検出部３８が取り付けられた側とは反対側に湾曲した光ファイバ７２内を導光する検出用光を矢印で示している。

【0050】

前述したように被検出部３８は、光ファイバ７２の特定箇所の外周面に取り付けられて、導光される検出用光を吸収して光強度を減少させる、即ち、光伝達量を減少させている。従って、被検出部３８に照射される光量が多いほど、光伝達量が小さくなる。つまり、光ファイバ７２が、図１１Ｂに示す真っ直ぐな状態から、図１１Ａ又は図１１Ｃに示す何れかの湾曲状態に変化すると、同期するように検出用光の光伝達量にも増減の変化が発生する。この検出用光の光伝達量の変化は、光検出部８２が受光する光強度の変化となり、形状演算部７４は、被検出部３８の湾曲方向と、この光量の変化に基づく検出信号から光ファイバ７２の曲率を算出する。これらの例では、図１１Ａに示す多くの光が光ファイバ側面に反射される湾曲状態が最も光伝達量が大きくなり、図１１Ｂに示す一部の光が被検出部３８に入射される真っ直ぐの状態、図１１Ｃに示す多くの光が被検出部３８に入射される湾曲状態の順に、光伝達量が減少していく。

【0051】

このように形状センサ１５は、光ファイバ７２の湾曲形状によって、光ファイバ７２内を通過する光量が変化する光量変化検出方式のファイバセンサである。特徴として、細径で内視鏡に組み込みやすい点と、他の構成の影響を受けにくい点がある。この方式は、検出部が安価に構成できるので、量産製品に向いたセンサとなっている。この他にも、ＦＢＧ方式と言われる光ファイバにグレーティングを形成した方式がある。この方式は、検出部が複雑で高価になりがちだが、１本の光ファイバに複数の被検出部３８を設けて、複数の検出点を取得して高精度に所望の範囲の湾曲形状を検出することが可能である。

【0052】

図１２は、挿入体センサ８６の構成例を示している。挿入体センサ８６は、挿入体２０の外周面に設けた位置を示すマーク（図示せず）を光センサ等で光学的に読み取り、体腔（管腔）に対する挿入体２０の挿入量及び回転量を検出する。
本実施形態に用いられるセンサ部２８は、形状センサ１５と挿入体センサ８６と操作量センサであり、これらのセンサを搭載することで以下のセンサ情報を得ることができる。
１）挿入体湾曲形状、
２）挿入体の挿入量、
３）回転（ねじり）量、
４）挿入体先端にある湾曲部の湾曲の操作量、
５）管腔を有する被検体に対する挿入体の湾曲形状、
６）挿入体先端に掛かる力。

【0053】

これらのうち、２）乃至４）のセンサ情報は、各センサから直接得られる情報であり、１）、５）、６）のセンサ情報は、信号処理により得られる情報である。詳しくは、１）のセンサ情報は、形状センサによる湾曲情報を組み合わせていくことで、所定の範囲の湾曲形状を算出できる。５）のセンサ情報は、１）乃至３）の各センサ情報を用いて算出でき、６）のセンサ情報は、１）と４）のセンサ情報を用いて算出することができる。

【0054】

また、使用するセンサは、形状センサと挿入体センサと操作量センサに限定されるものではなく、同等な情報を取得可能であれば、特に限定されるものではなく、異なるタイプのセンサであってもよい。勿論、センサ情報を得るためのセンサは、同じタイプのセンサを複数個を配置してもよい。さらに、挿入体支援システム１に利用可能な情報であれば、前述した情報に限定されず、異なった種類の情報を得るための別種のセンサを用いてもよい。

【0055】

次に、外部情報取得部９が取得する外部情報について説明する。
外部情報取得部９を通して、外部機器から得られる外部情報として、表３に記載される外部情報が挙げられる。これらの外部情報は、本実施形態の挿入体支援システム１にとって必ずしも必須ではないが、有用なことも多く、目的に応じて選択し、適宜、利用してもよい。なお、これらの外部情報の内、予め取得しておくことが可能な情報は、記憶部６に記憶しておき、適宜、更新した上で、必要な時に取り出してもよい。

【表3】

【0056】

次に、被検体情報抽出部２及び挿入体情報抽出部３について説明する。
被検体情報抽出部２では、内視鏡観察に対して、事前に画像機器１１から得られた被検体５に関わる画像機器情報（事前の画像機器情報）を主として、操作支援情報の生成に必要な被検体情報を抽出・生成する。また、外部情報取得部９から得られた情報を併せて用いて抽出・生成してもよい。以下の説明において、画像機器１１から得られた画像機器情報を基に、画像機器２次情報生成部１２により生成された２次情報を「画像機器２次情報」と称する。

【0057】

画像機器情報は操作支援にそのまま使える情報とは限らない。特に、特定の視点からの画像情報や病変などの情報は有用であるが、画像機器情報に含まれない場合、これらを画像機器２次情報生成部によって画像機器２次情報として生成することで、狙いとする操作支援情報を生成可能となる。

【0058】

この画像機器２次情報には、以下のようなものがある。但し、画像機器情報として既に取得されているものは除くものとする。
１）画像２次情報：管状の挿入体２０に撮像部が設けられている場合に、撮像部に撮像された撮像部位の画像に対応するように再構築した画像 … 画像機器１１に撮像部位の位置・向きを指定して再構築する、
２）形状・配置２次情報、
３）特定部位２次情報。

【0059】

この画像機器２次情報は、特定の視点／断面における管空の形状又は、配置を示す管空形状・配置２次情報を含んでいる。尚、画像機器２次情報生成部１２は、挿入体情報抽出部３からの生成情報の指定を受けて、その指定に基づき２次情報を生成してもよい。例えば、撮像部３９による撮像画像や各センサによる挿入体先端の位置・向きに基づいて、撮像画像に対応した画像を画像機器情報から再構築するようにしてもよい。また、画像機器２次情報の生成は、必ずしも被検体情報抽出部２で行わなくてもよく、画像機器１１を含む外部装置に生成を任せてもよい。

【0060】

画像機器２次情報が管空形状、配置２次情報を含むことから、画像を再構成する画像２次情報の特定の視点を操作者の視点や挿入体に設けた撮像部の視点に合わせることで挿入体の挿入性・操作性が向上する。また、特定部位の状況が分かりやすい視点とすることで、特定部位を通過するための仕方や特定部位での観察／診断・治療といった作業に好適する挿入体の配置の仕方がより改善され、挿入体の挿入性・操作性が向上することとなる。

【0061】

また、観察対象となる管空の形状及び配置は、被検体の外部からは、直接観察できないため、管空の形状及び配置２次情報を提示する可能性ができることによって、挿入体の進行方向や進入位置の情報が無い場合に比べて、より正確に知り得ることができる。

【0062】

また、画像機器２次情報に特定部位２次情報が無い場合に比べて、特定部位の見落としを防止し、探索に掛かる時間の短縮を実現することができる。また、特定部位２次情報を操作者が事前に知っていたとしても、必要に応じて、操作支援情報として操作者が受け取れるように設定すれば、特に特定部位の数や種類が多いときに、見落とす可能性を減らすことができ、挿入体の挿入性及び操作性が向上する。

【0063】

挿入体２０の形状・配置情報又は先端情報と画像機器情報から撮像画像に対応する画像機器２次情報を生成される。また、挿入体支援システム１は、画像機器２次情報は、特定の視点／断面での管空の形状・配置を示す管空形状・配置２次情報を含み、挿入体情報は、特定の視点／断面での前記挿入体の形状・配置情報を含み、操作支援情報は、管空形状・配置２次情報と挿入体の形状・配置情報とを合わせた画像情報を含んでいる。この操作支援情報が、管空形状・配置２次情報と挿入体の形状・配置情報とを合わせた画像情報を含むことで、管空に対する挿入体の相対位置関係が一目瞭然で確認でき、挿入体の挿入性・操作性が向上する。

【0064】

前述した被検体情報及び操作支援情報は、挿入体２０の挿抜の要注意部位、即ち、挿抜の際に注意を払わなければならない注目部位や観察／診断・治療などの作業対象部位である特定部位に対応した特定部位２次情報を含んでいる。これは、内視鏡画像に対応した管空の画像と共に、特定部位の範囲／形状／サイズの表示、内容／作業／注意点といった情報を操作支援情報として併せて提示することで、内視鏡の撮像画像上での特定部位の特定や作業が容易となり、挿入体の挿入性・操作性が向上する。

【0065】

挿入体情報抽出部３は、センサ情報取得部８から入力された挿入体２０に関係するセンサ情報を用いて、操作支援情報の生成に必要な挿入体情報を抽出・生成する。このセンサ情報は、前述したように、形状センサ１５、挿入体センサ８６及び操作量センサから検出された情報である。さらに、外部情報取得部９から得られた挿入体２０に関わる外部情報を用いたり、この外部情報とセンサ情報と併せたりして抽出・生成してもよい。

【0066】

また、観察領域又は処置等の作業対象領域を挿入体２０で確認した際に、その位置が異なったり、無かったり、他の部位にもあったり、病変が想定とは異なるタイプのものであったりした場合には、挿入体情報抽出部３は、画像機器情報（撮像画像情報）又は、センサ情報の少なくとも１つに基づき、被検体情報の修正又は、更新をリアルタイムに行う。これにより、管空に挿入体２０を挿入した際に、事前情報である画像機器情報と異なる管空の情報が得られたり、挿入や作業に応じて時々刻々と得られる管空の情報が変化する。このように被検体情報を修正／更新をリアルタイムに行うことで、次の挿入体挿入時の挿入や診断・治療に役立つ。

【0067】

図１３Ａ乃至１３Ｄを参照して被検体情報抽出部２について説明する。
図１３Ａは、被検体情報抽出部２内に設けられる管空情報統合処理部９１を示す図、図１３Ｂは、さらに管空情報統合処理部９１内に設けられる位置情報統合処理部９２を示す図、図１３Ｃは、また管空情報統合処理部９１内に設けられる管空関連情報推定生成部９３を示す図、図１３Ｄは、位置情報統合処理部９２内に設けられる管空位置関連情報推定生成部９４を示す図である。

【0068】

図１３Ａに示すように、被検体情報抽出部２内に、画像機器情報とセンサ情報に含まれている被検体５の管空に関する情報を統合するための管空情報統合処理部９１を設ける。この管空情報統合処理部９１は、被検体情報抽出部２と並列的に配置してもよい。統合する情報は、管空に関する情報であれば、特に限定されない。例えば、同じ状態が異なる表記であったり、情報の重複や欠落があったり、状態と表記の食い違いあったりする場合に、これらを整合し、予め定めた表現方法に合わせるように統合することで、情報が簡潔で扱いやすいものとなる。

【0069】

さらに、統合する情報の例として、特に、特定部位の位置に関連した位置関連情報が挙げられる。この位置関連情報には、特定部位の形状・大きさ・位置・向きなどが挙げられる。図１３Ｂに示すように、管空情報統合処理部９１内に設けられた位置情報統合処理部９２は、これらの位置関連情報の座標系を共通化し、位置情報を統合する。これは、位置関連情報の座標系を１つに統合することで、共通の座標系を用いて双方の位置情報を処理したり表示したりすることが可能となる。

【0070】

一方、上述のような座標系の統合を行うと、支援情報の生成又は、提示に必要な配置間隔における位置情報が抜け落ちたり、特定の処理を施さないと、支援情報の生成には不十分な位置情報であったりする場合がある。このような場合には、図１３Ｃに示すように、管空情報統合処理部９１内に、管空関連情報推定生成部９３を設けて、支援情報の生成、又は、提示に必要な位置情報を補間又は、推定により追加生成を行う。

【0071】

この管空関連情報推定生成部９３は、画像機器１１からの事前情報とセンサ情報に含まれる管空情報に、差異や欠落がある場合、例えば、特定部位の形状・大きさ・位置・向きなどが異なる場合や、支援情報の生成に必要な情報が欠落している場合には、複数セットの情報から現状の管空情報を推定したり、必要であるが欠落している情報を可能な限り推定して追加生成して管空情報を統合する。また、位置に関する推定により情報生成する場合には、図１３Ｄに示すように、図１３Ｂに示した位置情報統合処理部９２内に、管空位置関連情報推定生成部９４を設けて、位置関連情報の推定を行う。

【0072】

尚、画像機器１１から取得した事前情報となる画像機器情報に対して、センサ情報は、最新の情報である。この最新の情報を正しいものとして推定した現状の管空情報に対して、必要であるが欠落している情報があれば、補うように可能な限り推定して、統合する際に追加することで、より正確な支援情報の生成又は提示が可能となる。

【0073】

ここで、ＣＴ装置５１と内視鏡１３の組合せを例にした情報の統合について説明する。具体的には、ＣＴ装置５１から取得された画像情報（三次元断層画像等）とセンサ情報を統合することを前提にして、画像機器１１と挿入体支援システム１における座標系の取り方や被検体の方向の決め方について説明する。

【0074】

図１４は、診察台に横たわる被検体５の４つの臥位（左側臥位Ａ、右側臥位Ｂ、仰臥位Ｃ、仰臥位Ｄ）状態を示している。この時、ＣＴ装置５１に使用した診察台を診察台Ｍ、内視鏡１３を使用する診察台を診察台Ｎとする。

【0075】

まず、２つの座標系を統合できるように設定する。
被検体５が診察台Ｍに横たわることを想定して、被検体５のＸＹＺ座標の各座標軸の方向を以下の様に決める。図１４に示すように、被検体５のＸＹＺ座標は、Ｘ：診察台長手方向、Ｙ：診察台幅方向、Ｚ：診察台上方に設定している。

【0076】

この座標設定に対して、より適正に被検体５に合わせた座標系の設定方法として、次の様な方法も適宜選択して適用できる。
１）（腹部付近の）背骨や骨盤の向きからＸＹ方向を設定する、
２）頭部と股間／足先を結ぶ線からＸＹ方向を設定する、
３）被検体５にＣＴ画像に映り込むマーカを複数付けてＣＴ画像を撮り、マーカの位置からＸＹ方向を設定する、
４）医師らの操作者がＸＹ方向を任意に決めて入力設定する。同様に、Ｚ方向も同様にＣＴ画像の情報から決めるものとする。

【0077】

次に、挿入体支援システム１におけるＸＹ座標系の設定例として、以下のような方法が挙げられる。
１）診察台Ｎに、Ｘ／Ｙ方向に延びるライン等のマーキングを設けて、被検体５の体の向きを診察台Ｍに時に付けたマーカを、そのマーキングに合わせる。
２）被検体５の背中や腹部等の両脇に押し当てる又は挟み込む冶具で固定する。さらに、センシング系の座標系を診察台Ｎの座標系に合わせる。
なお、診察台Ｎ上で被検体の体位を変える可能性がある場合には、被検体にマーカを付けたり、被検体を撮像カメラで撮影して画像処理したりして、直接、被検体の座標系を設定してもよい。また、本例における座標系の取り方は一例であり、一意的に決まる座標系であれば、原点や方向の異なる座標系や極座標系などを含め、任意の座標系を用いてもよい。

【0078】

続いて、ＣＴ等の画像情報からの被検体５の管空形状・配置情報の抽出と座標系変換を次の手順で行う。
１）挿入体２０を挿入する被検体５の管空（臓器等）の形状・配置情報を抽出する。
２）被検体５の管空の形状・配置を、センサの座標系で表現可能にする。

【0079】

また、特定方向（視点）からの管空画像の再構築は以下の様に行う。
３）ＣＴ情報を生成したＣＴ装置に、挿入体支援システム１からＣＴ情報座標系における方向／視点情報を送り、再構築させる。さらに、他の装置又は挿入体支援システム１内に、ＣＴ情報の生データとＣＴ情報座標系での方向／視点情報を送って、再構築する。

【0080】

その後に、病変・治療箇所などの特定箇所の必要な情報抽出と座標変換は、次の手順で行う。
１）被検体５の臓器の形状情報でいびつな構造部分をパターン抽出や作業者の目視確認で抽出する。
２）ＣＴ情報で、特定の組織（がん等）に対応する色やパターン情報を持つ、臓器、又は、臓器に隣接する組織を有する部分を抽出する。

【0081】

ＣＴ撮影時と挿入体２０の挿入時において、管空情報が異なることへの対応について、ずれの内容と対応方法を以下のａ）乃至ｅ）に示す。
ａ）被検体５の管空（臓器）と挿入体２０先端の位置／向きのずれに対して、管空への挿入体挿入ルートの再設定を行う。再設定を行う際に、基準として次のものが挙げられる。管空の形状変化率最小／管空（臓器）長さ一定／従来の管空ルートに最短接続する。

【0082】

ｂ）ガス注入／吸引・挿入操作、傷病等による被検体５の特定部位の大きさのずれに対しては、管空の断面積の増減比に応じて特定部位又は、その周囲の形状を変化させる。
ｂ１）このずれ補正において、襞の大きさは、管空の断面積が小さくなれば、襞が大きくなるように補正し、反対に管空の断面積が大きくなれば、襞が小さくなるように補正する。
ｂ２）第１の長さ変化として、挿入体２０の挿入位置までの管空の長さに対しては、管空は挿入体２０に沿った形状・配置とし、挿入体２０の挿入位置先端近傍の管空の部位と挿入体の挿入量（挿入した長さ）の変化に応じて管空の長さを伸縮させる。３）第２の長さ変化として、挿入体２０の挿入位置より先の部分の長さに対しては、１つの方法として、そのまま補正を行わない。

【0083】

さらに、他の方法として、特に大腸の襞の伸縮について、更に挿入された先見の形状・配置変化を予想する。
ｃ）被検体５の管空（臓器）の新規項目発生。
挿入体２０の挿入時に病変・治療痕・癒着等の新規項目が確認され、次第、管空情報に追加可能とする。
追加方法としては、以下の２つが挙げられる。
ｃ１）自動で抽出及び追加する。
ｃ２）作業者が確認・判断して抽出し、追加入力する。

【0084】

ｄ）被検体５の臥位の違いによる、被検体５の内部（臓器）配置の偏り。

【0085】

図１４に示した左側臥位、右側臥位、仰臥位１、仰臥位２等の被検体５の横たわる向きによる変化が、画像情報取得時と挿入体挿入時にあれば、その臥位の変化に基づいて、特定の管空や周囲の内蔵物（臓器等）の移動をＣＴ画像情報から推測する。

【0086】

ｅ）経時変化等による体型／特定部位の形状変化による形状、配置のずれの発生。

【0087】

画像情報取得時からの経時変化など変化が生じた場合、体重、腹囲、体脂肪率及び、内臓脂肪つき具合等の情報から、特定部位や被検体全体の形状、配置の変化を推測する。

【0088】

次に、支援情報生成部４について説明する。
上述した被検体情報抽出部２から出力された被検体情報と、挿入体情報抽出部３から出力された挿入体情報とを取捨選択して取り込み、又は、情報に適宜、加工を施すことにより操作支援情報を生成する。この操作支援情報としては、被検体情報と挿入体情報との組合せ、被検体情報と挿入体情報との組合せから導かれる被検体／挿入体の情報、挿入体の操作に関わる情報（推奨動作・指示・警告）等がある。これらの操作支援情報を次の表４に示す。

【表4】

【0089】

これらの操作支援情報は、操作者である医師らに、瞬時で応答し且つ、理解しやすく伝える必要がある。そのため、情報の内容はもちろん、伝達の仕方も重要であり、情報を分かりやすい形に加工／変換したり、出力の仕方を工夫したりする必要がある。
なお、操作関連情報の推奨動作については、図３に示したような挿入体の挿跋や湾曲操作に加え、送水や送気・吸気などの挿入体に関わる操作全てが対象となり、確実性や安全性を含めて挿入性や操作性が向上する支援情報であれば、どのようなものでも構わない。

【0090】

次に、記憶部６について説明する。
記憶部６では、取得・抽出・生成した各種情報の記憶及び読み出し、さらに各処理に必要な情報を予め記憶しておき、必要に応じて適宜読み出される。
本実施形態においては、以下の情報を記憶対象としている。

【0091】

１）各情報の取得部から取得した情報、
２）支援情報生成部で抽出・生成した情報とその中間情報、
３）支援情報を生成するためのプログラム、どのような支援情報を生成可能とするか等の設定、特定の状態と判断するための判断基準等。

【0092】

次に、表示部１６について説明する。
挿入体支援システム１の表示部は、内視鏡システム（管状挿入システム）１００が備える表示部１６と兼用され、内視鏡画像と併せたり、又は単独で操作支援情報が表示出力される。出力形態は、表示部１６による画面表示のみでもよいが、医師らの操作者へ迅速かつ分かりやすく伝達するため、音声や振動等で告知してもよい。さらに、画面表示と、音声や振動等とを組み合わせてもよい。表示部１６も固定モニタだけではなく、ヘッドマウントディスプレイ等の装着携帯型の表示機器の利用も可能である。この場合には、音声は、イヤホンを利用して通告してもよい。

【0093】

操作支援情報の表示方式としては、常時に表示される情報と、特定の条件を満たしたときのみ表示される情報とに区分される。これらは、支援情報の出力の設定によって、所望する情報の出力様式を操作者が決定したり、挿入体支援システム１側で操作者の技量等に応じて設定してもよい。操作者の要望（設定）により、操作支援情報の出力が特定の状態になるまで全く出力されない設定も可能である。

【0094】

以上説明した本実施形態の挿入体支援システム１によれば、以下の作用効果を奏することができる。
操作支援情報を生成するために、事前に得た画像機器情報に基づく被検体情報とセンサによる挿入体情報を用いることで、被検体情報だけ又は、挿入体情報だけの場合に比べて、被検体５と挿入体の両方の情報が挿入体の挿入・操作時に得られ、挿入体の操作性の向上、ひいては、挿入性や観察／診断等の作業性の向上につながる。

【0095】

さらに、被検体５の外部の特定の方向又は、視点から内部を透視するＣＴ装置、ＭＲＩ装置等の三次元画像に基づけば、被検体内部の管空の形状・配置や病変部などの状況を正確に読み取ることができ、高い精度及び、多い情報量の被検体情報を得ることができる。

【0096】

また、挿入体２０の挿入時に、ＣＴ装置５１やＭＲＩ装置６１等の大型の画像機器１１とセンサを組み合わせて、同じ機能を実現しようとすると、挿入体２０の挿入操作が大掛かりになることで利用できる施設が限定されたり、画像機器１１によっては、Ｘ線や強力な電磁界などを長時間にわたり被検体の患者が浴びたり又は、リアルタイムに被検体情報が得られなかったりする可能性がある。そこで、内視鏡観察の事前に画像機器情報を取得しておくことで、画像機器情報を最適な環境で取得でき、かつ、必要な処理を極力事前に済ませることできるため、画像機器情報の精度を高めたり、挿入体の挿入時の情報処理の負荷が低減して高速な処理や安価な処理システムの採用が可能となったりする。

【0097】

また、前述したように、大腸のように観察対象が形状を変え得る被検体５の管空においては、被検体５の外部から内部が目視では直接観察できないため、形状を想定して挿入体を狙いの部位まで挿入したり、操作したりすることが容易ではない。これに対して、被検体情報とセンサ情報を用いることで、例えば、管空や挿入体５の形状・配置や特定部位の位置・分布・タイプ等の特徴を知ることができ、挿入体５の挿入や操作時に、管空や挿入体５の確認すべき状態情報を減らしたり、状態情報の確度を向上させたりすることができ、挿入体５の挿入性・操作性が向上する。形状を変え得る管空と同様に、個体差又は個人差の大きい管空についても同様な効果を奏する。

【0098】

前述した被検体情報及び操作支援情報は、被検体５の管空の形状又は、その配置に関わる管空形状・配置情報又は管空形状・配置２次情報を含んでいる。この管空形状・配置情報には、外部から得られた管空形状・配置情報とこれらの２次情報、及び、センサ情報を基に構築される管空形状・配置情報がある。さらには、外部から得られた管空形状・配置情報又は、これらの２次情報を、センサ情報を基に構築される管空形状・配置情報により修正・追加した情報も含まれる。画像機器１１から得られる、このような管空形状・配置情報を操作支援情報とすることで、挿入体の挿入の仕方やどこまで挿入したかを、情報が無い場合に比べて、より正確に知ることができる。また、２次情報やセンサ情報による修正・追加情報を用いることで、よりシステムに合った又は、より正確な被検体の管空情報を得ることができる。このことで挿入体の挿入性・操作性が向上する。

【0099】

挿入体２０に関する操作支援情報の生成に関わる情報としては、事前の画像機器情報、撮像画像情報、センサ情報、外部情報、被検体や操作者の情報、挿入体やシステム構成の情報、システムの設定や操作者の指示・判断等が挙げられる。これらの情報を基に、挿入体情報・被検体情報、さらには、操作支援情報を抽出・生成させる。

【0100】

また構成に記憶部６を備えることで、これらの情報の内、適宜望ましいもの又は、全てを記憶し、必要なものを必要なタイミングで読み出すことが可能となる。記憶部６を用いて、情報をデータベース化しておくことで、過去の支援情報を任意のタイミングで提示することが可能となる。それによって、被検体・管空の状態が概ねどうであるか、どう変化してきたか、次の挿入ではどうなっている可能性があるか、どのように挿入して、どう作業を行うとよいか、といったことを挿入体の挿入前に確認することができる。また、ビッグデータとして記憶しておくことで、後から有益な情報を抽出できる可能性もある。

【0101】

支援情報が、管空形状・配置２次情報と特定部位２次情報と挿入体の形状・配置に基づく、作業に関する作業関連情報、例えば、作業指示、管空情報と挿抜の操作指示、狭窄部通過注意、経路逸脱注意、危険警告／回避指示、を含むことで、挿入性の作業性が格段に向上する。

【0102】

次に、図１５に示すフローチャートを参照して、本実施形態の挿入体支援システム１における操作支援情報の生成及び出力について説明する。
まず、予備段階として、内視鏡１３と挿入体支援システム１との接続が行われて、ＩＤタグ３７を利用して操作支援の可否が判断され、支援可能であれば、操作支援のための設定及び初期化が行われる。その後、画像機器１１からＣＴ画像情報、ＭＲＩ画像情報又は超音波画像情報の何れかからなる事前の画像機器情報が画像機器情報取得部１０を通じて、被検体情報抽出部２に取り込まれる（ステップＳ１）。

【0103】

引き続き、必要に応じて不図示の外部機器等から外部情報取得部９を経て挿入体情報抽出部３に外部情報が取り込まれる（ステップＳ２）。尚、外部情報は設定により必要なだけ取得されるものであり、特に外部情報が不要であった場合には、このステップＳ２は、スキップされる。さらに、内視鏡１３に搭載する形状センサ１５と、挿入体センサ８６と操作量センサにより検出された前述したセンサ情報がセンサ情報取得部８を通じて、挿入体情報抽出部３に取り込まれる（ステップＳ３）。

【0104】

次に、挿入体情報抽出部３は、取り込まれた情報のうちで、少なくともセンサ情報を用いて挿入体情報を抽出・生成し、被検体情報抽出部２及び、必要に応じて支援情報生成部４に送出される（ステップＳ４）。被検体情報抽出部２は、入力された挿入体情報の指定により、画像機器情報から画像機器２次情報を生成し（ステップＳ５）、さらに、画像機器情報又は、画像機器２次情報の少なくとも一方の情報を用いて、被検体情報を抽出・生成して支援情報生成部４に送出する（ステップＳ６）。

【0105】

さらに、支援情報生成部４は、被検体情報抽出部２からの被検体情報と挿入体情報抽出部３からの挿入体情報を用いて操作支援情報を生成する（ステップＳ７）。生成された操作支援情報は、表示部１６等を通じて、画面表示、音声又は振動等を用いて操作者に出力される（ステップＳ８）。その後、設定された操作支援が終了したか否かを判断し（ステップＳ９）、支援が終了でなければ（ＮＯ）、ステップＳ２へ戻り、再度、外部機器から情報取得を行い、支援が終了であれば（ＹＥＳ）、挿入体支援のルーチンを終了する。

【0106】

次に図１６に示すフローチャートを参照して、被検体の管空状態に関する情報の修正又は更新の処理について説明する。
まず、画像機器情報取得部１０を通じて、画像機器１１から三次元画像又は三次元断層画像からなる画像機器情報を被検体情報抽出部２に取り込む（ステップＳ１１）。前述した図１５のルーチンにより、被検体５の管空状態（形状や位置）を予測する（ステップＳ１２）。操作者は、内視鏡１３を把持し、挿入体２０を被検体５の管空に挿入する（ステップＳ１３）。この時、内視鏡１３に搭載したセンサ部２８からセンサ情報を取得して実際の被検体５の管空状態を生成し、予測された管空状態と実際の被検体５の管空状態とを比較して修正が必要か否かを確認する（ステップＳ１４）。次に、予測された管空状態が適正であり修正が不要で終了するか否かを判断する（ステップＳ１５）。予測された管空状態に修正が必要でなければ（ＹＥＳ）、予測された管空状態が支援情報生成部４に送出されて終了する。一方、予測された管空状態と実際の被検体５の管空状態とに差異があり、予測された管空状態に補正が必要であれば（ＮＯ）、センサ情報に基づき、予測された管空情報を修正し（ステップＳ１６）、再度、ステップＳ１３に戻り、挿入体の被検体５の管空への挿入を続ける。

【0107】

次に図１７に示すフローチャートを参照して、推測した被検体の管空状態と、実測した被検体の管空状態とを提示する支援情報処理について説明する。
まず、画像機器情報取得部１０を通じて、画像機器１１から三次元画像又は三次元断層画像からなる画像機器情報が被検体情報抽出部２に取り込まれる（ステップＳ２１）。前述した図１５に示したルーチンにより、被検体５の管空状態（形状や位置）を予測し（ステップＳ２２）、その予測された管空状態に基づく操作支援情報を生成し表示部１６に画像表示させる（ステップＳ２３）。

【0108】

次に、操作者は、内視鏡１３を把持し、挿入体２０を被検体５の管空に挿入する（ステップＳ２４）。この時、内視鏡１３に搭載したセンサ部２８の更新されたセンサ情報を取得し、そのセンサ情報に基づき、実際の被検体５の管空状態を確認する（ステップＳ２５）。その確認の後、支援情報生成部４は、実際の被検体５の管空状態に基づく操作支援情報を生成し表示部１６に画像表示させる（ステップＳ２６）。次に、予測された管空状態による操作支援情報と実際の被検体５の管空状態による操作支援情報とを比較して、修正が不要で終了するか否かを判断する（ステップＳ２７）。ここで、修正が必要でなければ（ＹＥＳ）、終了する。一方、予測された管空状態と実際の被検体５の管空状態とに差異があり、予測された管空状態に補正が必要であれば（ＮＯ）、センサ情報に基づき、予測された管空情報を修正し（ステップＳ２８）、再度、ステップＳ２４に戻り、挿入体の被検体５の管空への挿入を続ける。

【0109】

図１８には、表示部１６に表示される操作支援情報の一例を示している。

【0110】

この操作支援情報は、内視鏡１３を被検体５の大腸へ挿入している状況である。通常、操作者からは、被検体内の挿入状況は、内視鏡１３で撮像された撮像画像以外に直接は分からない。本実施形態では、以下の情報が内視鏡１３の挿入体５を挿入する際の操作支援情報となる。

【0111】

１）被検体５における大腸１１１の配置及び形状の情報：画像機器１１からの画像機器情報の一部を利用して生成する。
２）内視鏡の挿入体２０の湾曲形状の情報：複数のセンサ１１２から取得したセンサ情報から生成する。
３）大腸１１１内の内視鏡の挿入体２０の配置及び形状の情報：１）と２）の組合せから生成する。
４）内視鏡の照明光１１３が照明される範囲内（観察視野又は、撮像視野）の大腸１１１の病変部１１４の情報：１）と２）の組合せから生成する。

【0112】

次に、表示部１６の画面上に表示される操作支援情報による挿入状態の検出例について説明する。
図１９は、第１の表示例として、挿入状態検出を表示している画面であり、内視鏡１３の挿入体２０の先端部の向きと、特定部位である病変部の配置関係を示している。
この表示例の操作支援情報としては、１）大腸１１１の配置及び形状の情報、２）挿入体２０の配置及び形状の情報、３）挿入体２０の先端部の位置と撮像する向きの情報が表示されている。
図２０は、第２の表示例として挿入状態検出を表示している画面であり、内視鏡１３の挿入体２０の先端部の向きと、特定部位である病変部１１４の位置関係を示している。
この表示例の操作支援情報としては、大腸１１１と挿入体２０との配置関係に加え、挿入体２０の先端部から病変部までの進行方向と距離及び、先端部が到達するための内視鏡の挿入操作の指示を時々刻々と表示を更新することで、病変への到達が極めて容易になる。

【0113】

図２１Ａ，２１Ｂは、第３の表示例として、挿入体２０の先端部と、特定部位との近接関係から操作支援情報の表示の有無を切り替えている例を示している。
図２１Ａは、挿入体２０の先端部と、特定部位との距離が遠いため、大腸１１１内における先端部の位置表示だけであり、特定部位に関する情報は表示していない。挿入体２０の大腸１１１への挿入が進行して、図２１Ｂに示す距離が一定距離以下の位置に挿入体２０の先端部が到達した以降は、病変情報１１５として、病変部のタイプ（病変：線種）とサイズ（サイズ：１５ｍｍ）を表示している。また、大腸１１１内に、複数の特定部位が存在し、個々に確認が必要な場合には、それらの病変部の位置を全て表示し、一定距離以下の位置に先端部が到達した以降の病変又は、先端部と最も近い位置の病変のみの病変情報を表示するように設定することで、操作者の作業効率が向上する。

【0114】

さらに、挿入体２０の先端部からの向き及び距離等の操作支援情報の出力状況／出力内容を挿入体２０の先端部と特定部位との関係に基づいて変更する。例えば、一定の距離に接近した際に、表示を開始し、一定の距離以上に離れたら、表示を終了する。ここでは、挿入体２０の先端部の方向が特定部位への方向と概ね合致したときのみ表示する。その特定部位の内容によって表示内容を切り替えることによって、近接する特定部位に応じた操作支援状況の提供ができ且つ、不必要な情報を提供せずに済む。

【0115】

次に、図２２は、表示部１６の画面上に内視鏡の撮像画像（スコープ画像１２１）と画像機器情報から生成した画像機器２次情報からなる再構成画像を横並びに表示した例を示している。この表示においては、内視鏡１３で撮像したスコープ画像１２１に対して、視点及び画面サイズが概ね一致するように、機器２次情報となる再構成画像１２２を挿入体情報による指定により画像機器情報から生成している。再構成画像１２２には、画像機器情報（又は、外部情報）に含まれる病変と疑われる部位１２３が観察又は治療の対象領域に重ねて表示されている。再構成画像１２２では、病変と疑われる部位１２３をマーキングしているが、このような画像処理により、観察又は治療の対象領域、若しくは該対象領域を含むエリアとして、周囲に比べて明るい色で表示する等、目立つ表示手法をとることで、挿入体２０の操作者に対して、支援情報が一目で注視できるように、区分して表示している。

【0116】

挿入体情報である大腸に対する挿入体２０の先端部の位置や、その撮像部の視点の向きは、スコープ画像１２１又はセンサ情報から推定して求めることができる。このように内視鏡の撮影画像と共に、画像上に観察／治療対象領域を明示することで見落としなく、観察対象部位へ挿入体２０の先端部を誘導させることができる。

【0117】

また、観察／治療対象領域を実際に内視鏡で確認した際に、その所在すべき位置が異なったり、発見できなかったり、他に新たな部位の存在を確認したり、病変状態が想定とは異なるタイプであったりした場合には、被検体情報を修正／更新することで、次の内視鏡の挿入時の診断や治療に役立てることが可能である。この様な修正や更新を行うことになる理由は、表５に示す原因が挙げられる。

【表5】

【0118】

図２３は、挿入された挿入体２０により大腸１１１の形状に変形が生じた例を示す図である。内視鏡１３の挿入体２０が挿入された際に、移動可能な大腸１１１の形状に変形が生じた及び、大腸１１１の形状が事前に得た画像機器情報に基づき生成した形状とは異なってしまう場合がある。

【0119】

そのため、挿入体２０の挿入によって大腸１１１の形が大きく変形してしまった情報を取得した場合には、挿入体２０が本来の挿入経路から逸脱していることを警告する。さらに、大腸１１１に負荷が掛かっている場合には、警告音を出して、適宜、挿入体２０の挿入動作を直ちに停止したり、挿入体２０を引き戻す操作を行ったりするように指示を行う。この様な警告指示を出すことで、誤った方向への挿入を抑制することができ、観察対象部位までの挿入が容易になったり、挿入時間が短縮されたり、管空である大腸や他の臓器を含めた患者への負荷を抑制することができる。

【0120】

また、センサ情報で取得した大腸１１１の形状が、事前に得た画像機器情報によるものとは異なっていた場合には、現状の大腸の形状及び配置となるように、被検体情報を修正する。又は、現状の大腸の形状及び配置に応じた新たな挿入体２０の挿入経路を設定することで挿入経路を修正する。このように、大腸１１１の形状及び配置や挿入経路を修正／更新することで、次の挿入体２０の挿入操作が容易になる。

【0121】

次に、図２４を参照して、支援情報や支援情報の生成の仕方の例について説明する。
前述した図２に示すように、内視鏡１３の挿入体２０の操作部３０の上部には、ＩＤタグ３７が装着されている。このＩＤタグ３７によるＩＤタグ情報は、内視鏡の型式・搭載オプションなどが挙げられる。搭載オプションには、例えば、センサが組み込まれている場合は、センサタイプや構成が含まれる。更には、内視鏡１３が利用可能な機能、正常／異常といった製品状態やメンテナンス履歴などを併せ持つようにすることができる。また、こうした情報以外にも、ＩＤタグ３７には、型番等の判別情報だけでなく、内視鏡の仕様や搭載されたオプション機器やセンサ類の情報が記載されていてもよい。

【0122】

このようなＩＤタグ情報の中に、挿入体支援システム１を利用可か否かの情報や支援可能な機能情報を加えている。内視鏡１３が挿入体支援システム１に電気的等に接続された際に、このＩＤタグ３７を読み取り、設定されているＩＤタグ情報からシステムにあった支援内容の設定が可能となる。例えば、内視鏡１３には、古い機種・新しい機種、及び挿入体が細い機種又は太い機種、挿入体の先端の曲げやすい機種、挿入体の固さ調整が可能な機種などがあり、それぞれの機種にあった操作支援が設定できる。

【0123】

このような支援情報の提供内容や提供方法の切替には、図２４に示すように、支援情報切替設定部１３２を挿入体支援システム１の支援情報生成部１３１に搭載させることで可能となる。この例では、支援情報切替設定部１３２が支援情報生成部１３１内にあるが、挿入体支援システム１内に設けられるのであれば、配置箇所は限定されない。このように内視鏡１３の特性や仕様に応じた、挿入操作のポイントや挿入困難時の対処の仕方を、機種ごとに最適な支援情報として示すことができ、操作者の負担や不安が大きく改善される。

【符号の説明】

【0124】

１…挿入体支援システム、２…被検体情報抽出部、３…挿入体情報抽出部、４…支援情報生成部、５…被検体、６…記憶部、７…撮像情報取得部、８…センサ情報取得部、９…外部情報取得部、１０…画像機器情報取得部、１１…画像機器、１２…次情報生成部、１３…内視鏡、１４…画像処理部、１５…形状センサ、１６…表示部（モニタ）、１８…光源装置、１９…制御装置、２０…挿入体、２１…先端硬質部、２３…湾曲部、２５…可撓管部、２７…ユニバーサルケーブル、２８…センサ部、３０…操作部、３３…把持部、３４…操作ボタン、３５…挿入口部、３６…湾曲操作部、３７…ＩＤタグ、３８…被検出体、３９…撮像部、５１…ＣＴ装置、５５…撮像部、５６…コリメータ、５７…画像情報、５８…ヘリカルスキャン、６１…ＭＲＩ装置、６５…超音波診断装置、６６…装置本体、６７…プローブ、６７ａ…コンベックス型プローブ、６７ｂ…リニア型プローブ、６８…モニタ部、６９…キャスタ架台、７０…医者、７１…センサ部本体、７２…光ファイバ、７３…反射部、７４…形状演算部、７５…制御部、７６…光源、７７…投光レンズ、８…アイソレータ、７９…反射ミラー、８０…集光レンズ、８１…集光レンズ、８２…光検出部、８５…口腔部）、８６…挿入体センサ、９１…管空情報統合処理部、９２…位置情報統合処理部、９３…管空関連情報推定生成部、９４…管空位置関連情報推定生成部、１００…内視鏡システム、１１１…大腸、１１２…センサ、１１３…照明光、１１４…病変部、１１５…病変情報、１２１…スコープ画像、１２２…再構成画像、１２３…部位、１３１…支援情報生成部、１３２…支援情報切替設定部、Ａ１…進退移動量、Ａ２…捻り量、Ａ３…上下方向、Ａ４…左右方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図22】

【図23】

【図24】