IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社エビデントの特許一覧

特開2023-18984挿入支援システム、挿入支援方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023018984
(43)【公開日】2023-02-09
(54)【発明の名称】挿入支援システム、挿入支援方法、およびプログラム
(51)【国際特許分類】
   G02B 23/24 20060101AFI20230202BHJP
   A61B 1/045 20060101ALI20230202BHJP
   H04N 7/18 20060101ALI20230202BHJP
【FI】
G02B23/24 A
A61B1/045 623
G02B23/24 B
H04N7/18 M
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021123407
(22)【出願日】2021-07-28
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】重久 理行
【テーマコード(参考)】
2H040
4C161
5C054
【Fターム(参考)】
2H040BA22
2H040DA54
2H040GA02
2H040GA10
2H040GA11
4C161AA29
4C161HH55
5C054CC07
5C054CF06
5C054CF08
5C054CG05
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC14
5C054FD03
5C054FE05
5C054FE06
5C054FE12
5C054FE18
5C054FF02
5C054GB01
5C054HA12
(57)【要約】
【課題】目標位置における挿入部の状態を被検体の観察に適している状態にするための挿入操作を支援することができる挿入支援システム、挿入支援方法、およびプログラムを提供する。
【解決手段】挿入支援システムは、設定部、状態推定部、経路算出部、状態検出部、および挿入支援部を有する。前記設定部は、形状情報において第1の位置および第2の位置を設定する。前記状態推定部は、前記第1の位置における先端部の第1の状態を推定する。前記経路算出部は、前記先端部が通る経路を算出する。前記状態検出部は前記第2の位置における前記先端部の第2の状態を検出する。前記挿入支援部は、前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を情報通知装置に出力する。
【選択図】図3
【特許請求の範囲】
【請求項1】
被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する挿入支援システムであって、
形状情報において第1の位置および第2の位置を設定する設定部であって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定部と、
前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定部と、
前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を算出する経路算出部と、
前記第2の位置における前記先端部の第2の状態を検出する状態検出部と、
前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を情報通知装置に出力する挿入支援部と、
を有する挿入支援システム。
【請求項2】
前記3次元形状が分岐部を有する場合、前記経路算出部は、前記第1の状態で前記第1の位置に配置された前記先端部を前記3次元形状において前記第2の位置まで移動させ、前記先端部が前記第1の位置から前記第2の位置まで移動する間に通る前記分岐部を記録し、
前記経路算出部は、前記分岐部を通る経路候補を含む2つ以上の経路候補を算出し、前記2つ以上の経路候補のうちの1つを前記経路として選択する
請求項1に記載の挿入支援システム。
【請求項3】
前記3次元形状が分岐部を有する場合、前記経路算出部は、前記分岐部を通る経路候補を含む2つ以上の経路候補を算出し、
前記経路算出部は、前記挿入部および前記被検体の少なくとも一方に関する1つ以上の指標に従って、前記2つ以上の経路候補を分析し、
前記経路算出部は、前記2つ以上の経路候補の分析結果に基づいて前記2つ以上の経路候補の1つを前記経路として選択する
請求項1に記載の挿入支援システム。
【請求項4】
重要度が前記1つ以上の指標を含む2つ以上の指標の各々に予め設定され、
前記経路算出部は、前記2つ以上の指標および前記重要度に従って、前記2つ以上の経路候補を分析し、
前記2つ以上の指標の各々に設定された前記重要度は変更できる
請求項3に記載の挿入支援システム。
【請求項5】
前記経路算出部は、前記挿入部の大きさを示す情報と、前記被検体の形状を示す情報との少なくとも1つを使用することにより前記2つ以上の経路候補を分析する
請求項3に記載の挿入支援システム。
【請求項6】
前記挿入操作が実施されるとき、前記先端部の位置を検出する位置検出部をさらに有し、
前記設定部は、前記第2の位置を前記位置検出部によって検出された前記位置に設定する
請求項1に記載の挿入支援システム。
【請求項7】
前記状態推定部は、前記第1の位置における前記先端部の状態が第1の観察状態、第2の観察状態、および第3の観察状態の少なくとも1つになるような前記第1の状態を推定し、
前記第1の観察状態は、前記先端部に配置された観察光学系の光軸の方向が前記被検体の表面に垂直な状態であり、
前記第2の観察状態は、前記先端部における所定の方向が、前記3次元形状における所定の方向と一致する状態であり、
前記第3の観察状態は、前記先端部と前記被検体との距離が前記被検体の観察に適した状態である
請求項1に記載の挿入支援システム。
【請求項8】
前記挿入操作は、前記挿入部を前記被検体内で移動させる操作と、前記挿入部を湾曲させる操作と、前記挿入部を捻じる操作との少なくとも1つを示す
請求項1に記載の挿入支援システム。
【請求項9】
前記挿入支援情報は、前記第2の位置と前記第1の位置との距離、前記先端部の方向を前記経路に沿った方向と一致させるための前記先端部の前記方向の変化量、および前記挿入部の捻じり状態を前記第1の状態における前記挿入部の捻じり状態と一致させるための捻じり量の少なくとも1つを含む
請求項1に記載の挿入支援システム。
【請求項10】
前記挿入支援情報は、前記先端部が通った位置の履歴を含む
請求項1に記載の挿入支援システム。
【請求項11】
前記経路算出部は、前記先端部に装着される光学アダプタの仕様に基づいて前記経路を算出する
請求項1に記載の挿入支援システム。
【請求項12】
被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する挿入支援方法であって、
設定部が形状情報において第1の位置および第2の位置を設定する設定ステップであって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定ステップと、
状態推定部が前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定ステップと、
前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を経路算出部が算出する経路算出ステップと、
状態検出部が前記第2の位置における前記先端部の第2の状態を検出する状態検出ステップと、
前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を挿入支援部が情報通知装置に出力する挿入支援ステップと、
を有する挿入支援方法。
【請求項13】
被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する処理をコンピュータに実行させるためのプログラムであって、
前記処理は、
形状情報において第1の位置および第2の位置を設定する設定ステップであって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定ステップと、
前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定ステップと、
前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を算出する経路算出ステップと、
前記第2の位置における前記先端部の第2の状態を検出する状態検出ステップと、
前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を情報通知装置に出力する挿入支援ステップと、
を有するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、挿入支援システム、挿入支援方法、およびプログラムに関する。
【背景技術】
【0002】
ボイラー、パイプ、および航空機エンジン等の内部の異常および腐食等の検査に工業用の内視鏡装置が使用されている。内視鏡装置は、画像を取得するための挿入部を有する。ユーザーは、挿入部を被検体に挿入し、被検体内の検査部位の画像を取得する。ユーザーは、その画像を観察し、検査部位を検査する。
【0003】
医療分野では、生体の3次元(3D)画像データを使用することにより、内視鏡の挿入経路を算出する技術がある。その技術は、X線を生体に照射するCTスキャンなどを使用することにより3D画像データを取得する。その技術は、肺などの細い器官の検査において、その器官の壁を傷つけない最適な挿入経路を判断することができる。
【0004】
特許文献1に開示された技術は、気管支の内径に基づいて内視鏡の先端の方向を判断する方法を提供する。特許文献2に開示された技術は、経路の最小の曲率に基づいて経路を選択する方法を提供する。
【0005】
工業用内視鏡の分野において、上記の技術と同様の技術が開示されている。特許文献3に開示された技術は、被検体の3D形状情報を使用することにより、挿入経路を設定する。挿入部が突起、非常に狭い場所、または挿入部を極端に曲げる必要がある場所を通る場合、挿入経路が不適切であることが確認される。この場合、他の経路が提示される。
【0006】
上記の経路算出機能が提供されるため、検査の現場において検査者が挿入部を挿入する作業の効率が向上する。また、検査者の検査スキルによらず、検査者は挿入部を検査部位に容易に到達させることができ、信頼度の高い検査を実施することができる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特許第6030435号公報
【特許文献2】特許第5123615号公報
【特許文献3】特許第4464640号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
挿入部が検査部位に到達したとき、挿入部の姿勢などが理想的な状態にならず、検査に適していない画像が取得される可能性がある。しかしながら、従来技術では、検査部位を観察するための目標位置における挿入部の状態は考慮されていない。
【0009】
本発明は、目標位置における挿入部の状態を被検体の観察に適している状態にするための挿入操作を支援することができる挿入支援システム、挿入支援方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明は、被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する挿入支援システムであって、形状情報において第1の位置および第2の位置を設定する設定部であって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定部と、前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定部と、前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を算出する経路算出部と、前記第2の位置における前記先端部の第2の状態を検出する状態検出部と、前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を情報通知装置に出力する挿入支援部と、を有する挿入支援システムである。
【0011】
本発明の挿入支援システムにおいて、前記3次元形状が分岐部を有する場合、前記経路算出部は、前記第1の状態で前記第1の位置に配置された前記先端部を前記3次元形状において前記第2の位置まで移動させ、前記先端部が前記第1の位置から前記第2の位置まで移動する間に通る前記分岐部を記録し、前記経路算出部は、前記分岐部を通る経路候補を含む2つ以上の経路候補を算出し、前記2つ以上の経路候補のうちの1つを前記経路として選択する。
【0012】
本発明の挿入支援システムにおいて、前記3次元形状が分岐部を有する場合、前記経路算出部は、前記分岐部を通る経路候補を含む2つ以上の経路候補を算出し、前記経路算出部は、前記挿入部および前記被検体の少なくとも一方に関する1つ以上の指標に従って、前記2つ以上の経路候補を分析し、前記経路算出部は、前記2つ以上の経路候補の分析結果に基づいて前記2つ以上の経路候補の1つを前記経路として選択する。
【0013】
本発明の挿入支援システムにおいて、重要度が前記1つ以上の指標を含む2つ以上の指標の各々に予め設定され、前記経路算出部は、前記2つ以上の指標および前記重要度に従って、前記2つ以上の経路候補を分析し、前記2つ以上の指標の各々に設定された前記重要度は変更できる。
【0014】
本発明の挿入支援システムにおいて、前記経路算出部は、前記挿入部の大きさを示す情報と、前記被検体の形状を示す情報との少なくとも1つを使用することにより前記2つ以上の経路候補を分析する。
【0015】
本発明の挿入支援システムは、前記挿入操作が実施されるとき、前記先端部の位置を検出する位置検出部をさらに有し、前記設定部は、前記第2の位置を前記位置検出部によって検出された前記位置に設定する。
【0016】
本発明の挿入支援システムにおいて、前記状態推定部は、前記第1の位置における前記先端部の状態が第1の観察状態、第2の観察状態、および第3の観察状態の少なくとも1つになるような前記第1の状態を推定し、前記第1の観察状態は、前記先端部に配置された観察光学系の光軸の方向が前記被検体の表面に垂直な状態であり、前記第2の観察状態は、前記先端部における所定の方向が、前記3次元形状における所定の方向と一致する状態であり、前記第3の観察状態は、前記先端部と前記被検体との距離が前記被検体の観察に適した状態である。
【0017】
本発明の挿入支援システムにおいて、前記挿入操作は、前記挿入部を前記被検体内で移動させる操作と、前記挿入部を湾曲させる操作と、前記挿入部を捻じる操作との少なくとも1つを示す。
【0018】
本発明の挿入支援システムにおいて、前記挿入支援情報は、前記第2の位置と前記第1の位置との距離、前記先端部の方向を前記経路に沿った方向と一致させるための前記先端部の前記方向の変化量、および前記挿入部の捻じり状態を前記第1の状態における前記挿入部の捻じり状態と一致させるための捻じり量の少なくとも1つを含む。
【0019】
本発明の挿入支援システムにおいて、前記挿入支援情報は、前記先端部が通った位置の履歴を含む。
【0020】
本発明の挿入支援システムにおいて、前記経路算出部は、前記先端部に装着される光学アダプタの仕様に基づいて前記経路を算出する。
【0021】
本発明は、被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する挿入支援方法であって、設定部が形状情報において第1の位置および第2の位置を設定する設定ステップであって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定ステップと、状態推定部が前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定ステップと、前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を経路算出部が算出する経路算出ステップと、状態検出部が前記第2の位置における前記先端部の第2の状態を検出する状態検出ステップと、前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を挿入支援部が情報通知装置に出力する挿入支援ステップと、を有する挿入支援方法である。
【0022】
本発明は、被検体の光学像を取得する先端部を有する挿入部が被検体に挿入されるときに前記挿入部の挿入操作を支援する処理をコンピュータに実行させるためのプログラムであって、前記処理は、形状情報において第1の位置および第2の位置を設定する設定ステップであって、前記形状情報は前記被検体の3次元形状を示し、前記第1の位置は目標位置を示し、前記第2の位置は前記第1の位置と異なる前記設定ステップと、前記挿入部の仕様に基づいて前記第1の位置における前記先端部の第1の状態を推定する状態推定ステップと、前記先端部が前記第2の位置から前記第1の位置まで移動するときに前記先端部が通る経路を算出する経路算出ステップと、前記第2の位置における前記先端部の第2の状態を検出する状態検出ステップと、前記先端部が前記第2の位置から前記経路を通って前記第1の位置に到達し、かつ前記先端部の状態が前記第2の状態から前記第1の状態に変化するための前記挿入操作に必要な挿入支援情報を情報通知装置に出力する挿入支援ステップと、を有するプログラムである。
【発明の効果】
【0023】
本発明によれば、挿入支援システム、挿入支援方法、およびプログラムは、目標位置における挿入部の状態を被検体の観察に適している状態にするための挿入操作を支援することができる。
【図面の簡単な説明】
【0024】
図1】本発明の実施形態による内視鏡装置の全体構成を示す斜視図である。
図2】本発明の実施形態による内視鏡装置の内部構成を示すブロック図である。
図3】本発明の実施形態による内視鏡装置の主要な構成を示すブロック図である。
図4】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図5】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図6】本発明の実施形態における形状情報および位置情報の例を示す図である。
図7】本発明の実施形態における装置設定情報の例を示す図である。
図8】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図9】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図10】本発明の実施形態における挿入部の先端部の目標状態の例を示す図である。
図11】本発明の実施形態における挿入部の先端部の目標状態の例を示す図である。
図12】本発明の実施形態における挿入部の先端部の目標状態の例を示す図である。
図13】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図14】本発明の実施形態における経路候補の例を示す図である。
図15】本発明の実施形態における分岐管理テーブルの例を示す図である。
図16】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図17】本発明の実施形態における挿入部の曲がり負荷の量を算出する方法を示す図である。
図18】本発明の実施形態における経路候補の傾斜の特性を分析する方法を示す図である。
図19】本発明の実施形態における挿入部の径に応じた挿入部の配置の制限の例を示す図である。
図20】本発明の実施形態における挿入部の硬質部長に応じた挿入部の配置の制限の例を示す図である。
図21】本発明の実施形態における挿入部の湾曲長に応じた挿入部の配置の制限の例を示す図である。
図22】本発明の実施形態における経路候補の分析結果の例を示す図である。
図23】本発明の実施形態による内視鏡装置の動作の手順を示すフローチャートである。
図24】本発明の実施形態における経路のモデルを示す図である。
図25】本発明の実施形態における挿入支援情報が生成されるときの挿入部の状態を示す図である。
図26】本発明の実施形態における表示部に表示された挿入支援情報の例を示す図である。
図27】本発明の実施形態の第1の変形例における挿入部の湾曲長に応じた挿入部の配置の制限の例を示す図である。
図28】本発明の実施形態の第1の変形例における挿入部の湾曲長に応じた挿入部の配置の制限の例を示す図である。
図29】本発明の実施形態の第1の変形例における挿入部の湾曲長に応じた挿入部の配置の制限の例を示す図である。
図30】本発明の実施形態の第2の変形例における表示部に表示された挿入支援情報の例を示す図である。
【発明を実施するための形態】
【0025】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の実施形態による内視鏡装置1(挿入支援システム)の外観を示す。図1に示す内視鏡装置1は、挿入部2、本体部3、操作部4、表示部5、および挿入長検出部6を有する。
【0026】
挿入部2は、被検体の内部に挿入される。ユーザー(検査者)は、挿入操作を実施し、挿入部2を被検体に挿入する。挿入部2は、細長い管状である。挿入部2は、先端部20および湾曲部21を有する。先端部20は挿入部2の先端に配置されている。先端部20は、硬質な材料で形成された硬質部を有する。光学アダプタ7が先端部20に装着される。湾曲部21は先端部20の基端側に配置されている。湾曲部21は、所定の方向に湾曲することができる。挿入部2は、被検体の光学像を撮像信号に変換し、かつ撮像信号を本体部3に出力する。
【0027】
本体部3は、挿入部2を収納する収納部を備えた制御装置である。操作部4は、内視鏡装置1に対するユーザーの操作を受け付ける。表示部5は、表示画面を有し、かつ挿入部2によって取得された被検体の画像を表示画面に表示する。
【0028】
操作部4は、ユーザーインタフェース(入力装置)である。例えば、操作部4は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つである。ユーザーは、操作部4を使用する湾曲操作を実施することにより、湾曲部21を湾曲させる。あるいは、ユーザーは、操作部4を操作することにより照明の状態を制御する。また、ユーザーは、操作部4を操作することにより、内視鏡装置1の状態を設定するための情報を内視鏡装置1に入力する。操作部4を有する入力装置が本体部3と有線接続されていてもよいし、または無線接続されていてもよい。
【0029】
表示部5は、LCD(Liquid Crystal Display)等のモニタ(ディスプレイ)である。表示部5は、タッチパネルであってもよい。その場合、操作部4および表示部5は一体化される。ユーザーは、体の一部(例えば、指)または道具を使用することにより表示部5の画面をタッチする。表示部5は、本体部3と有線接続されていてもよいし、または無線接続されていてもよい。操作部4および表示部5が一体化される場合、表示部5を含む端末として、タブレット、スマートフォン、またはパソコンなどの情報端末を用いてもよい。
【0030】
例えば、挿入長検出部6は、ロータリーエンコーダーおよび2つのローラーを有する。2つのローラーは、挿入部2を挟むように配置される。2つのローラーは、挿入部2と接触している。挿入部2が移動すると2つのローラーが回転する。ロータリーエンコーダーは、2つのローラーのうちの少なくとも1つの回転量を検出することにより、被検体内の空間に挿入された挿入部2の長さ(挿入長)を検出する。挿入長は、先端部20の位置と対応する。
【0031】
ユーザーは、表示部5に表示された画像を見ながら、湾曲操作および挿入操作を実施する。挿入部2が被検体に挿入されるとき、内視鏡装置1は、挿入部2の挿入操作を支援する。ユーザーは、検査部位を探し、適切な状態で検査部位が画像に写るように先端部20を配置する。その後、ユーザーは被検体の検査を実施する。
【0032】
図2は、内視鏡装置1の内部構成を示す。挿入部2の先端部20は、レンズ22、撮像素子23、および姿勢センサ24を有する。
【0033】
本体部3は、画像処理部30、記録部31、外部IF(インターフェース)32、操作処理部33、位置検出部34、姿勢検出部35、光源36、照明制御部37、モータ38、湾曲制御部39、状態検出部40、経路処理部41、挿入支援部42、メモリ43、および電源部44を有する。
【0034】
光学アダプタ7はレンズ70を有する。レンズ70に入射した光はレンズ70を通り、レンズ22に入射する。レンズ70およびレンズ22は観察光学系を構成する。レンズ22に入射した光はレンズ22を通り、撮像素子23に入射する。撮像素子23は、CCDセンサまたはCMOSセンサなどのイメージセンサである。撮像素子23は、レンズ22を通った光が入射する撮像面23aを有する。撮像素子23は、撮像面23aに入射した光を撮像信号に変換する。
【0035】
撮像素子23によって生成された撮像信号は、被検体の画像を含む。したがって、撮像素子23は、被検体の光学像を取得し、その被検体の画像を生成する。撮像素子23によって生成された画像は本体部3に出力される。
【0036】
姿勢センサ24は、3軸の加速度センサ、3軸のジャイロセンサ、および地磁気センサの少なくとも1つを有する。姿勢センサ24は、先端部20の姿勢に関する値を計測し、計測された値を本体部3に出力する。その値は、加速度、角速度、および地磁気の少なくとも1つを示す。
【0037】
画像処理部30は、撮像素子23から出力された撮像信号を処理することにより、被検体の画像を処理する。例えば、画像処理部30は、画質を向上させるために、ノイズ除去、明るさ調整、および色調整などの処理を実行する。また、画像処理部30は、Simultaneous Localization and Mapping(SLAM)などの自己位置推定を実行し、先端部20の位置および姿勢を算出する。さらに、画像処理部30は、挿入支援部42によって生成された挿入支援情報を被検体の画像に重畳する。
【0038】
画像処理部30によって処理された画像は、表示部5または記録部31に出力される。表示部5は、画像処理部30によって処理された画像を表示する。記録部31は、記録媒体を有し、画像処理部30によって処理された画像を記録媒体に記録する。
【0039】
外部IF32は、外部PC8と接続される。外部PC8は、汎用的なパーソナルコンピュータである。外部PC8は、被検体情報を出力する。タブレットまたはスマートフォンなどの情報端末が外部PCの代わりに使用されてもよい。
【0040】
被検体情報は、形状情報、材質情報、および位置情報を含む。形状情報は、被検体の3D形状(3Dモデル)を示す。例えば、形状情報は、3D-CADを使用することにより生成される。あるいは、形状情報は、SLAMなどの技術を使用することにより、過去の検査において取得された画像から生成される。形状情報は、被検体の3つ以上の点の3D座標を含む。SLAMなどの技術を使用することにより生成された形状情報は、3D座標を含み、かつ画像を取得したカメラの位置情報および姿勢情報を含む。材質情報は、被検体の材質を示す。位置情報は、3D形状における起点および終点の少なくとも一方を示す。起点は、挿入操作が実行されるときに先端部20が配置されている位置を示す。終点は、被検体の観察位置である目標位置を示す。例えば、形状情報が示す3D形状が表示部5に表示される。ユーザーは、操作部4を操作することにより、その3D形状における起点および終点を予め指定する。
【0041】
外部PC8から出力された被検体情報は、外部IF32に入力される。外部IF32は、被検体情報を経路処理部41に出力する。
【0042】
外部IF32は、ネットワーク(クラウド)上のサーバーと接続されてもよい。被検体情報がそのサーバーから出力され、かつ外部IF32に入力されてもよい。
【0043】
外部IF32は、被検体情報を記憶するメモリカード等の記録媒体と接続されてもよい。被検体情報がその記録媒体から読み出され、かつ外部IF32に入力されてもよい。
【0044】
操作処理部33は、操作部4と接続される。操作部4は、ユーザーが実施した操作に応じた情報を出力する。操作処理部33は、内視鏡装置1の状態を、操作部4から出力された情報に応じた状態に設定する。
【0045】
位置検出部34は、挿入長検出部6から出力された挿入長に基づいて被検体の内部における先端部20の位置を検出する。姿勢検出部35は、姿勢センサ24から出力された値に基づいて先端部20の姿勢を検出する。
【0046】
光源36は、Light Emitting Diode(LED)等であり、照明光を生成する。照明光は、挿入部2に配置されたライトガイド25を経由して先端部20から照射される。照明制御部37は、操作部4から出力された情報に基づいて光源36を制御することにより、照明のオン、照明のオフ、および照明の強度を設定する。
【0047】
モータ38は、複数のアングルワイヤー26と接続されている。複数のアングルワイヤー26は、挿入部2に配置され、湾曲部21と接続されている。モータ38は、複数のアングルワイヤー26を牽引することにより、湾曲部21を湾曲させる。湾曲制御部39は、操作部4から出力された情報に基づいてモータ38を制御することにより、湾曲部21の角度を制御する。つまり、湾曲制御部39は、先端部20の姿勢を制御する。
【0048】
状態検出部40は、先端部20の位置および姿勢を検出する。状態検出部40は、検出された位置および姿勢を示す情報を挿入支援部42に出力する。経路処理部41は、先端部20が目標位置に到達するまでに先端部20が通る最適経路を算出する。挿入支援部42は、挿入部2の挿入操作を支援するための挿入支援情報を生成する。
【0049】
メモリ43は、内視鏡装置1によって処理された情報を記憶する。メモリ43は、例えば、半導体メモリであり、RAM領域およびROM領域を含んでいてよい。電源部44は、内視鏡装置1の各部に駆動電力を供給する。
【0050】
画像処理部30、操作処理部33、位置検出部34、姿勢検出部35、照明制御部37、湾曲制御部39、状態検出部40、経路処理部41、および挿入支援部42の少なくとも1つは、プロセッサおよび論理回路の少なくとも1つで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。例えば、論理回路は、ASIC(Application Specific Integrated Circuit)およびFPGA(Field-Programmable Gate Array)の少なくとも1つである。画像処理部30等は、1つまたは複数のプロセッサを含んでもよい。画像処理部30等は、1つまたは複数の論理回路を含んでもよい。
【0051】
内視鏡装置1のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、画像処理部30等の動作を規定する命令を含む。つまり、画像処理部30等の機能はソフトウェアにより実現されてもよい。
【0052】
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置1に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク(通信網)および電話回線等の通信回線(通信線)を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル(差分プログラム)であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
【0053】
図3は、内視鏡装置1の主要な構成を示す。図3を使用することにより、挿入部2の挿入操作を支援するための処理を説明する。
【0054】
図3に示す構成の概略を説明する。経路処理部41は、設定部410、目標状態推定部411(状態推定部)、および経路算出部412を有する。設定部410は、形状情報において終点(第1の位置)および起点(第2の位置)を設定する。形状情報は被検体の3D形状を示す。終点は目標位置を示す。起点は終点と異なる。目標状態推定部411は、挿入部2の仕様に基づいて終点における先端部20の第1の状態を推定する。経路算出部412は、先端部20が起点から終点まで移動するときに先端部20が通る経路を算出する。状態検出部40は、起点における先端部20の第2の状態を検出する。挿入支援部42は、先端部20が起点から上記の経路を通って終点に到達し、かつ先端部20の状態が第2の状態から第1の状態に変化するための挿入操作に必要な挿入支援情報を表示部5(情報通知装置)に出力する。
【0055】
図3に示す構成の詳細を説明する。操作処理部33は、操作部4から出力された情報に基づいて装置設定情報を取得する。装置設定情報は、挿入部情報および光学アダプタ情報を含む。挿入部情報は挿入部2の仕様を示す。光学アダプタ情報は光学アダプタ7の仕様を示す。
【0056】
画像処理部30は、画像回転機能を持ってもよい。画像処理部30が画像回転機能を持つ場合、画像処理部30は画像を任意の方向に回転させることができる。装置設定情報は、画像回転機能が設定されているか否かを示す情報を含んでもよい。
【0057】
光学アダプタ7の仕様の1つである光学アダプタ7の種類として、直視アダプタおよび側視アダプタがある。直視アダプタは、挿入部2の長手方向に見た被検体の光学像を取得する。側視アダプタは、挿入部2の側面に垂直な方向に見た被検体の光学像を取得する。直視状態と側視状態とを切り替えることができる光学アダプタがある。装置設定情報は、直視状態および側視状態のいずれか一方を示す情報を含んでもよい。
【0058】
例えば、メモリ43は、装置設定情報を記憶する。ユーザーは、操作部4を操作することにより、使用される挿入部2および光学アダプタ7の情報を内視鏡装置1に入力する。操作処理部33は、操作部4から出力された情報に基づいて、使用される挿入部2および光学アダプタ7を特定する。操作処理部33は、特定された挿入部2と対応する挿入部情報をメモリ43から取得し、かつ特定された光学アダプタ7と対応する光学アダプタ情報をメモリ43から取得する。
【0059】
前述したように、外部PC8は、被検体情報を出力する。被検体情報は、前述した形状情報、材質情報、および位置情報を含む。外部PC8は、装置設定情報を出力してもよい。外部PC8から出力された装置設定情報が外部IF32に入力されてもよい。
【0060】
画像処理部30は、SLAMなどの自己位置推定を実行し、先端部20の位置および姿勢を算出する。画像処理部30は、算出された位置および姿勢の各々を示す情報を出力する。位置検出部34は、先端部20の位置を検出し、検出された位置を示す情報を出力する。姿勢検出部35は、先端部20の姿勢を検出し、検出された姿勢を示す情報を出力する。
【0061】
状態検出部40は、画像処理部30、位置検出部34、および姿勢検出部35から出力された情報に基づいて先端部20の位置および姿勢を検出する。状態検出部40は、上記の情報の全てを使用する必要はない。状態検出部40は、画像処理部30によって算出された位置と、位置検出部34によって検出された位置との一方または両方を使用することにより先端部20の位置を検出してもよい。状態検出部40は、画像処理部30によって算出された姿勢と、姿勢検出部35によって検出された姿勢との一方または両方を使用することにより先端部20の姿勢を検出してもよい。状態検出部40は、被検体の構造または必要な位置精度などに応じて、先端部20の位置または姿勢を検出するために使用される情報を選択してもよい。
【0062】
状態検出部40は、湾曲制御部39から出力された情報に基づいて湾曲部21の湾曲状態を検出してもよい。これにより、状態検出部40は、湾曲部21の概略形状を検出することができる。状態検出部40は、先端部20の姿勢を検出するために、画像処理部30または姿勢検出部35によって検出された姿勢に加えて湾曲部21の概略形状を使用してもよい。
【0063】
設定部410は、被検体情報に含まれる位置情報に基づいて終点および起点を設定する。設定部410は、先端部20の現在の位置を起点として設定してもよい。その場合、設定部410は、状態検出部40から出力された先端部20の位置を起点として設定する。
【0064】
目標状態推定部411は、先端部20が終点に仮想的に配置された状態における先端部20の目標状態を推定する。その目標状態は、被検体の観察に適している状態を示す。設定部410は、その目標状態が実現される位置を終点として設定する。
【0065】
経路算出部412は、先端部20を終点から起点に向かって被検体の3D形状上で仮想的に移動させ、先端部20が通る経路を記録する。3D形状が分岐部を有していない場合、経路算出部412は、1つ以上の経路候補を算出する。3D形状が1つ以上の分岐部を有する場合、経路算出部412は、分岐部における分岐のパターンを考慮し、2つ以上の経路候補を算出する。経路算出部412は、挿入部2が各経路候補を通るときの挿入部2の状態を分析し、1つ以上の経路候補のいずれか1つを最適経路として選択する。
【0066】
挿入支援部42は、状態検出部40によって検出された先端部20の位置および姿勢と、経路処理部41によって算出された最適経路と、被検体情報に含まれる形状情報とに基づいて挿入支援情報を生成する。具体的には、挿入支援部42は、最適経路における先端部20の理想的な姿勢と先端部20の現在の姿勢とのずれ量を算出する。このとき、挿入支援部42は、最適経路における挿入部2の捻じり状態と挿入部2の現在の捻じり状態とのずれ量を算出する。
【0067】
挿入支援部42は、挿入支援情報を生成する。挿入支援情報は、先端部20の姿勢を調整するための操作を支援する情報を含む。また、挿入支援情報は、挿入部2の捻じり状態を調整するための操作を支援する情報を含む。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力する。
【0068】
図4は、内視鏡装置1が実行する主要な処理を示す。被検体情報および装置設定情報を含む検査条件が内視鏡装置1に入力される(ステップSA)。ステップSAの後、経路処理部41は最適経路を算出する(ステップSB)。ステップSBの後、挿入支援部42は挿入支援情報を生成する(ステップSC)。ステップSCが実行されたとき、図4に示す処理が終了する。図4に示す処理は繰り返されてもよい。
【0069】
図5は、図4に示すステップSAにおいて実行される処理を示す。外部IF32は、外部PC8から出力された被検体情報を取得する(ステップSA1)。ステップSA1の後、操作処理部33は、操作部4から出力された情報に基づいて装置設定情報を取得する(ステップSA2)。ステップSA2の後、状態検出部40は、先端部20の位置および姿勢を検出する(ステップSA3)。ステップSA3が実行されたとき、図5に示す処理が終了する。
【0070】
ステップSA1、ステップSA2、およびステップSA3の順番は、図5に示す順番に限らない。ステップSA1、ステップSA2、およびステップSA3は、任意の順番で実行されてもよい。
【0071】
図6は、被検体情報に含まれる形状情報および位置情報の例を示す。形状情報は、被検体の3D形状SUB10を示す。図6に示す被検体は配管である。位置情報は、起点PS10および終点PE10を示す。3D形状SUB10は、分岐部BR10および分岐部BR11を有する。起点PS10から終点PE10に向かう経路は、分岐部BR11において2つの経路に分岐する。その2つの経路は、分岐部BR10において合流する。
【0072】
図6に示す観察対象OT10の位置および観察対象OT10の方向は予め設定されている。観察対象OT10は、検査部位である。被検体情報は、これらの情報も含む。
【0073】
図7は、装置設定情報の例を示す。装置設定情報は、挿入部2の仕様を含む挿入部情報および光学アダプタ7の仕様を含む光学アダプタ情報を含む。挿入部情報は、挿入部2の径DM10を示す情報を含む。挿入部情報は、硬質部長L10および湾曲長L11の各々を示す情報を含む。硬質部長L10は、先端部20の硬質部の長さを示す。湾曲長L11は、先端部20および湾曲部21の全体の長さを示す。光学アダプタ情報は、光学アダプタ7の観察方向OD10を示す情報を含む。観察方向OD10は、レンズ70などの観察光学系の光軸と平行である。光学アダプタ情報は、光学アダプタ7の焦点範囲FR10および光学アダプタ7の画角AG10の各々を示す情報を含む。
【0074】
図8は、図4に示すステップSBにおいて実行される処理を示す。目標状態推定部411は、終点における先端部20の目標状態を推定する(ステップSB1)。ステップSB1の後、経路算出部412は、終点における先端部20の状態が目標状態となる1つ以上の経路候補を算出する(ステップSB2)。ステップSB2の後、経路算出部412は、1つ以上の経路候補のいずれか1つを最適経路として選択する(ステップSB3)。ステップSB3が実行されたとき、図8に示す処理が終了する。
【0075】
図9は、図8に示すステップSB1において実行される処理を示す。挿入部2が被検体に挿入され、かつ検査部位に到達したことを想定する。この状態における先端部20の位置および姿勢が推定される。以下の処理では、先端部20は、被検体情報に含まれる形状情報が示す3D形状上に仮想的に配置される。
【0076】
まず、目標状態推定部411は、ステップSA1において取得された被検体情報に含まれる位置情報を参照し、位置情報が示す終点に先端部20を配置する。このとき、目標状態推定部411は、ステップSA2において取得された装置設定情報に含まれる光学アダプタ情報を参照する。目標状態推定部411は、先端部20が光学アダプタ7の視野(図7の画角AG10)に入り、かつ光学アダプタ7の焦点範囲(図7の焦点範囲FR10)に入るように先端部20を配置する。目標状態推定部411は、先端部20の状態が目標状態となるように先端部20を配置する(ステップSB100)。
【0077】
図10図11、および図12は、先端部20の目標状態の例を示す。
【0078】
図10は、先端部20が被検体に正対するかどうかを示す。図10に示す状態ST10において、先端部20は被検体に正対している。このとき、先端部20に配置されたレンズ22の光軸OA10の方向は被検体の表面に垂直である。つまり、図10に示す角度AG11は90度である。先端部20は光学像OI10を取得する。
【0079】
図10に示す状態ST11において、先端部20は被検体に正対していない。このとき、先端部20に配置されたレンズ22の光軸OA10の方向は被検体の表面に垂直ではない。先端部20は光学像OI11を取得する。
【0080】
光学像OI10は、光学像OI11よりも被検体の観察に適している。状態ST10は目標状態であり、状態ST11は目標状態ではない。
【0081】
図11は、先端部20の所定方向が被検体の所定方向と一致するかどうかを示す。先端部20の所定方向は、先端部20の構造において予め設定された方向である。被検体の所定方向は、被検体の3D形状において予め設定された方向である。
【0082】
図11に示す状態ST12において、先端部20の上方向、下方向、左方向、および右方向はそれぞれ被検体の上方向、下方向、左方向、および右方向と一致する。先端部20は光学像OI12を取得する。
【0083】
図11に示す状態ST13において、挿入部2が捻じれている。そのため、先端部20の上方向は被検体の下方向と一致し、かつ先端部20の下方向は被検体の上方向と一致する。先端部20は光学像OI13を取得する。
【0084】
光学像OI12は、光学像OI13よりも被検体の観察に適している。状態ST12は目標状態であり、状態ST13は目標状態ではない。
【0085】
図12は、先端部20と被検体との距離が被検体の観察に適しているかどうかを示す。図12に示す状態ST14において、先端部20と被検体との距離はD10である。このとき、被検体の検査部位は光学アダプタ7の視野に入り、かつ光学アダプタ7の焦点距離は適切である。先端部20は光学像OI14を取得する。
【0086】
図12に示す状態ST15において、先端部20と被検体との距離はD11である。このとき、被検体の検査部位の一部は光学アダプタ7の視野に入らず、かつ光学アダプタ7の焦点距離は適切ではない。先端部20は光学像OI15を取得する。
【0087】
光学像OI14は、光学像OI15よりも被検体の観察に適している。状態ST14は目標状態であり、状態ST15は目標状態ではない。
【0088】
目標状態推定部411は、先端部20の状態が状態ST10、状態ST12、および状態ST14の少なくとも1つと同様な目標状態になるように先端部20を配置する。目標状態は、状態ST10、状態ST12、および状態ST14の全てと同様である必要はない。目標状態は、状態ST10、状態ST12、および状態ST14の1つまたは2つと同様であってもよい。
【0089】
ステップSB100の後、目標状態推定部411は、先端部20の配置が被検体の壁によって邪魔されるか否かを判断する(ステップSB101)。
【0090】
先端部20の配置が被検体の壁によって邪魔されると目標状態推定部411がステップSB101において判断した場合、目標状態推定部411は、画像処理部30を経由してメッセージを表示部5に出力する(ステップSB102)。そのメッセージは、光学アダプタ7の交換をユーザーに促す、または検査を実施できないことをユーザーに通知する。
【0091】
先端部20の配置が被検体の壁によって邪魔されないと目標状態推定部411がステップSB101において判断した場合、設定部410は、ステップSB100において先端部20が配置された位置を最終的な終点として設定する。また、設定部410は、ステップSB100における先端部20の姿勢を目標姿勢として設定する(ステップSB103)。ステップSB102またはステップSB103が実行されたとき、図9に示す処理が終了する。
【0092】
図13は、図8に示すステップSB2において実行される処理を示す。設定部410は、被検体情報に含まれる位置情報が示す起点を設定する(ステップSB200)。
【0093】
経路算出部412は、先端部20の位置をステップSB103において設定された終点に設定する。これにより、経路算出部412は、先端部20を被検体の3D形状における終点に配置する。また、経路算出部412は、先端部20の姿勢をステップSB103において設定された目標姿勢に設定する(ステップSB201)。
【0094】
ステップSB201の後、経路算出部412は、先端部20が被検体の壁に沿って起点に近づくように先端部20を3D形状上で移動させる(ステップSB202)。
【0095】
先端部20が分岐部を通る場合、経路算出部412は分岐部の位置を記録する(ステップSB203)。ステップSB203の後、経路算出部412は、分岐部の形状に応じて先端部20の移動方向を設定する(ステップSB204)。先端部20が分岐部を通らない場合、ステップSB203およびステップSB204は実行されない。
【0096】
ステップSB204の後、経路算出部412は、先端部20が被検体の壁に接触したか否かを判断する(ステップSB205)。
【0097】
先端部20が被検体の壁に接触したと経路算出部412がステップSB205において判断した場合、経路算出部412はその壁の位置を記録する(ステップSB209)。ステップSB209の後、経路算出部412は、先端部20の位置をその壁の位置に設定する(ステップSB210)。ステップSB210の後、ステップSB202が実行される。
【0098】
先端部20が被検体の壁に接触していないと経路算出部412がステップSB205において判断した場合、経路算出部412は、先端部20が起点に到達したか否かを判断する(ステップSB206)。
【0099】
先端部20が起点に到達していないと経路算出部412がステップSB206において判断した場合、ステップSB202が実行される。先端部20が起点に到達したと経路算出部412がステップSB206において判断した場合、経路算出部412は、分岐部の位置および壁の位置を含む経路候補を記録する(ステップSB207)。
【0100】
ステップSB207の後、経路算出部412は各分岐部における全ての分岐状態が経路候補に反映されたか否かを判断する(ステップSB208)。
【0101】
経路候補に反映されていない分岐状態が残っていると経路算出部412がステップSB208において判断した場合、ステップSB201が実行される。その後、経路算出部412は、前述した処理を実行し、新しい経路候補における分岐部の位置および壁の位置を記録する。全ての分岐状態が経路候補に反映されたと経路算出部412がステップSB208において判断した場合、図13に示す処理が終了する。
【0102】
図14は、経路候補の例を示す。起点PS10および終点PE10が被検体の3D形状SUB10上に設定される。3D形状SUB10は、分岐部BR10および分岐部BR11を有する。図14において、経路候補PH10および経路候補PH11が示されている。
【0103】
経路算出部412は、ステップSB201において先端部20の位置を終点PE10に設定する。経路算出部412は、ステップSB202において先端部20を起点PS10に向かって移動させる。
【0104】
先端部20が分岐部BR10を通るため、経路算出部412は、ステップSB203において分岐部BR10の位置を記録する。先端部20は、分岐部BR10において方向DR11または方向DR12に移動することができる。例えば、経路算出部412は、ステップSB204において先端部20の移動方向を方向DR11に設定する。
【0105】
経路算出部412は、分岐部における分岐の状態を管理するための分岐管理テーブルを使用する。図15(a)、図15(b)、図15(c)、および図15(d)は、分岐管理テーブルの例を示す。先端部20が分岐部BR10を通るとき、経路算出部412は、分岐部BR10における方向DR11を含む第1の分岐状態を分岐管理テーブルに記録する。図15(a)は、このときの分岐管理テーブルTB10を示す。
【0106】
先端部20が3D形状SUB10の壁に接触した場合、経路算出部412は、ステップSB209およびステップSB210を実行する。その後、先端部20は分岐部BR11を通る。経路算出部412は、ステップSB203において分岐部BR11の位置を記録する。先端部20は、分岐部BR11において方向DR12に移動することができる。経路算出部412は、ステップSB204において先端部20の移動方向を方向DR12に設定する。このとき、経路算出部412は、分岐部BR11における方向DR12を第1の分岐状態と関連付ける。図15(b)は、このときの分岐管理テーブルTB11を示す。
【0107】
先端部20が起点PS10に到達したとき、分岐部BR10における方向DR12を含む分岐状態は分岐管理テーブルTB11に記録されていない。そのため、経路算出部412は、ステップSB208において、経路候補に反映されていない分岐状態が残っていると判断する。経路算出部412は、ステップSB201において先端部20の位置を終点PE10に再度設定する。経路算出部412は、ステップSB202において先端部20を起点PS10に向かって移動させる。
【0108】
先端部20が分岐部BR10を通るため、経路算出部412は、ステップSB203において分岐部BR10の位置を記録する。分岐部BR10における方向DR12が分岐管理テーブルTB11に記録されていないため、経路算出部412は、ステップSB204において先端部20の移動方向を方向DR12に設定する。このとき、経路算出部412は、分岐部BR10における方向DR12を含む第2の分岐状態を分岐管理テーブルに記録する。図15(c)は、このときの分岐管理テーブルTB12を示す。
【0109】
その後、先端部20は分岐部BR11を通る。経路算出部412は、ステップSB203において分岐部BR11の位置を記録する。経路算出部412は、ステップSB204において先端部20の移動方向を方向DR12に設定する。このとき、経路算出部412は、分岐部BR11における方向DR12を第2の分岐状態と関連付ける。図15(d)は、このときの分岐管理テーブルTB13を示す。
【0110】
先端部20が起点PS10に到達したとき、分岐管理テーブルTB13は、分岐部BR10および分岐部BR11に関する全ての分岐状態の情報を記憶する。そのため、経路算出部412は、ステップSB208において、全ての分岐状態が経路候補に反映されたと判断する。
【0111】
図16は、図8に示すステップSB3において実行される処理を示す。経路算出部412は、各経路候補における挿入部2の曲がり負荷を分析する(ステップSB300)。
【0112】
挿入部2が曲がっているとき、被検体と挿入部2との間の摩擦力が大きくなる。その摩擦力は、挿入部2が被検体に挿入されるときに曲がり負荷を挿入部2に加える。そのため、ユーザーが挿入部2を被検体に挿入しにくくなる。挿入部2が曲がる量が多いほど、曲がり負荷は大きくなる。
【0113】
図17(a)、図17(b)、および図17(c)は、挿入部2の曲がり負荷の量を算出する方法を示す。図17(a)は、経路候補の例を示す。図17(a)に示す経路候補PH12は、位置P11において角度θ1だけ曲がり、位置P12において角度θ2だけ曲がる。角度θ1および角度θ2は90度である。
【0114】
図17(b)は、挿入部2の曲がり量の変化を示す。図17(b)における横軸は経路候補PH12における位置Pを示し、図17(b)における縦軸は挿入部2の曲がり量を示す。挿入部2の曲がり量は角度θとして示されている。
【0115】
図17(c)は、曲がり負荷の量を示す。図17(c)における横軸は経路候補PH12における位置Pを示し、図17(c)における縦軸は曲がり負荷の量Ldを示す。経路算出部412は、図17(b)に示す曲がり量の変化の微分値を算出し、かつその微分値の絶対値を曲がり負荷の量Ldとして算出する。このとき、経路算出部412は、被検体の形状情報を使用する。経路算出部412は、急激かつ大きな曲がりの量を算出することができる。
【0116】
経路算出部412は、各経路候補における微分値の絶対値の総和を算出する。その総和は、経路候補における曲がり負荷の量を示す。曲がり負荷の量が非常に大きい場合、経路算出部412は、その経路候補を使用できないと判断する。曲がり負荷の量が小さい場合、経路算出部412は、その経路候補を使用できると判断する。
【0117】
ステップSB300の後、経路算出部412は、各経路候補における経路が有する傾斜の特性を分析する(ステップSB301)。
【0118】
図18(a)および図18(b)は、傾斜の特性を分析する方法を示す。図18(a)は、経路候補PH13の傾斜の特性を示す。図18(a)において、経路候補PH13の高さの変化が示されている。経路候補PH13は位置P13から位置P14まで上っており、位置P14から位置P15まで下っている。位置P13から位置P14までの傾斜の傾きはT1であり、位置P14から位置P15までの傾斜の傾きはT2である。
【0119】
図18(b)は、経路候補PH13における傾斜の傾きの変化を示す。図18(b)における横軸は経路候補PH13における位置Pを示し、図18(b)における縦軸は傾斜の傾きTを示す。
【0120】
上っている傾斜の傾きが大きく、かつその傾斜が長い場合、挿入部2を動かすために必要な力は大きい。経路算出部412は、傾斜の傾きが閾値Tthよりも大きく、かつその傾斜の長さが閾値Llmtよりも長いか否かを判断する。このとき、経路算出部412は、被検体の形状情報を使用する。図18(b)に示す例では、傾きT1は閾値Tthよりも大きい。また、傾きT1を持つ傾斜の長さは閾値Llmtよりも長い。そのため、経路算出部412は、経路候補PH13を使用できないと判断する。
【0121】
経路算出部412は、各経路候補における傾斜の傾きを算出する。その傾きが閾値Tthよりも大きく、かつその傾きを持つ傾斜の長さが閾値Llmtよりも長い場合、経路算出部412は、その経路候補を使用できないと判断する。傾斜の傾きが閾値Tth以下である、または閾値Tthよりも大きな傾きを持つ傾斜の長さが閾値Llmt以下である場合、経路算出部412は、その経路候補を使用できると判断する。
【0122】
硬質部を除く挿入部2の大部分は柔らかく、曲がりやすい。挿入部2が傾斜を上っているとき、先端部20の方向が左または右に変化しやすく、かつ挿入部2が倒れやすい。挿入部2の倒れを抑制する壁などが挿入部2の両側にない場合、挿入部2が傾斜を上ることができない可能性がある。経路算出部412は、被検体の壁などと挿入部2との距離に基づいて、経路候補を使用できるか否かを判断してもよい。
【0123】
ステップSB301の後、経路算出部412は、各経路候補における被検体の構造と挿入部2の構造とに起因する挿入部2の配置の制限を分析する(ステップSB302)。
【0124】
ステップSB301、ステップSB302、およびステップSB303の順番は、図16に示す順番に限らない。ステップSB301、ステップSB302、およびステップSB303は、任意の順番で実行されてもよい。
【0125】
図19図20、および図21は、被検体の構造と挿入部2の構造とに起因する挿入部2の配置の制限の例を示す。
【0126】
図19は、挿入部2の径に応じた挿入部2の配置の制限の例を示す。図19に示す状態ST16において、挿入部2が挿入される被検体内の空間の幅WsはW1と同じである。幅W1は、挿入部2が被検体内の空間を通るために必要なその空間の幅を示す。幅W1は、挿入部2の径以上である。状態ST16において挿入部2は被検体内の空間を通ることができる。
【0127】
図19に示す状態ST17において、挿入部2が挿入される被検体内の空間の幅WsはW1よりも小さい。状態ST17において挿入部2は被検体内の空間を通ることができない。
【0128】
経路算出部412は、挿入部情報を使用することにより、幅W1を算出する。経路算出部412は、被検体の形状情報を使用することにより、各経路候補における空間の幅Wsを算出する。経路算出部412は、幅Wsが幅W1以上であるか否かを判断する。幅Wsが幅W1よりも小さい場合、経路算出部412は、その経路候補を使用できないと判断する。幅Wsが幅W1以上である場合、経路算出部412は、その経路候補を使用できると判断する。
【0129】
図20は、挿入部2の硬質部長に応じた挿入部2の配置の制限の例を示す。図20に示す状態ST18において、被検体の曲がり部における幅の最小値Wmはr1以上である。幅r1は、先端部20の硬質部が曲がり部を通るために必要な曲がり部の幅を示す。状態ST18において挿入部2は曲がり部を通ることができる。
【0130】
図20に示す状態ST19において、被検体の曲がり部における幅の最小値Wmはr1よりも小さい。状態ST19において挿入部2は曲がり部を通ることができない。
【0131】
経路算出部412は、挿入部情報を使用することにより、幅r1を算出する。経路算出部412は、被検体の形状情報を使用することにより、各経路候補における曲がり部の幅の最小値Wmを算出する。経路算出部412は、最小値Wmが幅r1以上であるか否かを判断する。最小値Wmが幅r1よりも小さい場合、経路算出部412は、その経路候補を使用できないと判断する。最小値Wmが幅r1以上である場合、経路算出部412は、その経路候補を使用できると判断する。
【0132】
図21は、挿入部2の湾曲長に応じた挿入部2の配置の制限の例を示す。図21に示す状態ST20において、被検体の壁と壁との距離W2は距離R1以上である。距離R1は、挿入部2が湾曲した状態で挿入部2が検査部位IP10の光学像を取得するために必要な壁の間隔を示す。距離R1は湾曲長以上である。状態ST20において挿入部2の先端部20は検査部位IP10と正対することができる。
【0133】
図21に示す状態ST21において、被検体の壁と壁との距離W2は距離R1よりも小さい。状態ST21において挿入部2の先端部20は検査部位IP10と正対することができない。
【0134】
経路算出部412は、挿入部情報を使用することにより、距離R1を算出する。経路算出部412は、被検体の形状情報を使用することにより、各経路候補における距離W2を算出する。経路算出部412は、距離W2が距離R1以上であるか否かを判断する。距離W2が距離R1よりも小さい場合、経路算出部412は、その経路候補を使用できないと判断する。距離W2が距離R1以上である場合、経路算出部412は、その経路候補を使用できると判断する。
【0135】
ステップSB302の後、経路算出部412は、ステップSB300からSB302の各々における各経路候補の分析結果を参照する。経路算出部412は、使用できないと判断された結果を持つ経路候補があるか否かを判断する(ステップSB303)。
【0136】
使用できないと判断された結果を持つ経路候補がないと経路算出部412がステップSB303において判断した場合、経路算出部412は、最も良好な分析結果を持つ経路候補を最適経路として選択する(ステップSB305)。
【0137】
使用できないと判断された結果を持つ経路候補があると経路算出部412がステップSB303において判断した場合、経路算出部412は、画像処理部30を経由してメッセージを表示部5に出力する(ステップSB304)。そのメッセージは、内視鏡装置1の交換をユーザーに促す、または検査を実施できないことをユーザーに通知する。ステップSB304またはステップSB305が実行されたとき、図16に示す処理が終了する。
【0138】
図22は、ステップSB300からSB302の各々における各経路候補の分析結果の例を示す。各経路候補の分析結果は、ステップSB300における曲がり負荷の分析結果と、ステップSB301における傾斜の特性の分析結果と、ステップSB302における挿入部2の配置の制限の分析結果とを含む。各分析結果は、結果A、結果B、および結果Cのいずれか1つである。結果Aは、経路候補が良好であることを示す。結果Bは、分析結果は結果Aに分類されないが経路候補を使用できることを示す。結果Cは、経路候補を使用できないことを示す。
【0139】
経路候補1から4の各々の分析結果が図22に示されている。また、各経路候補の全長(経路長)が図22に示されている。経路算出部412は、ステップSB303において、結果Cを持つ経路候補があるか否かを判断する。
【0140】
経路候補1の曲がり負荷の分析結果は結果Cである。経路候補2の制限の分析結果は結果Cである。経路候補3の傾斜の特性の分析結果は結果Cである。そのため、経路算出部412は、経路候補1から3を最適経路として選択しない。経路候補4は、結果Cを持たない。そのため、経路算出部412は、経路候補4を最適経路として選択する。
【0141】
使用できないと判断された結果を持たない2つ以上の経路候補がある場合、経路算出部412は、相対的に良好な分析結果を持つ経路候補を最適経路として選択してもよい。あるいは、経路算出部412は、最も短い経路長を持つ経路候補を最適経路として選択してもよい。
【0142】
上記の例では、経路算出部412は、挿入部2および被検体の少なくとも一方に関する2つ以上の指標に従って、各経路候補を分析する。上記の例では、第1の指標、第2の指標、および第3の指標が使用される。第1の指標は、挿入部2が各経路候補上で曲がるときに挿入部2に加わる負荷に関する。第2の指標は、各経路候補における傾斜の特性に関する。第3の指標は、挿入部2および被検体の各々の構造に起因する挿入部2の配置の制限に関する。経路算出部412は、1つの指標のみに従って、各経路候補を分析してもよい。
【0143】
例えば、経路算出部412は、以下の処理を実行する。経路算出部412は、各指標に従って各経路候補を分析し、かつ分析結果に応じた指標値を算出する。例えば、図22に示す結果Aの指標値は2であり、図22に示す結果Bの指標値は1であり、図22に示す結果Cの指標値は0である。例えば、経路算出部412は、以下の式(1)を使用することにより、各経路候補の3つの指標値の合計SUMを算出する。
SUM=I1+I2+I3 (1)
【0144】
式(1)における値I1は、第1の指標の値を示す。式(1)における値I2は、第2の指標の値を示す。式(1)における値I3は、第3の指標の値を示す。経路算出部412は、最も小さい合計SUMを持つ経路候補を最適経路として選択する。
【0145】
各指標の重要度に応じた重み係数が各指標に設定されてもよい。経路算出部412は、各指標および重み係数に従って各経路候補を分析してもよい。例えば、各指標の重み係数は、最適経路を選択するためにその指標を使用するか否かを示す。例えば、第1の指標の重み係数は1であり、第2の指標の重み係数は1であり、第3の指標の重み係数は0である。この場合、第1の指標および第2の指標は最適経路を選択するために使用されるが、第3の指標は最適経路を選択するために使用されない。
【0146】
経路算出部412は、以下の処理を実行してもよい。経路算出部412は、各指標値に各指標の重み係数を乗算することにより、補正された指標値を算出する。経路算出部412は、各経路候補の3つの補正された指標値の合計を算出する。例えば、経路算出部412は、以下の式(2)を使用することにより、各経路候補の3つの補正された指標値の合計SUMを算出する。
SUM=C1*I1+C2*I2+C3*I3 (2)
【0147】
式(2)における値C1は第1の指標の重み係数を示し、値I1は第1の指標の値を示す。式(2)における値C2は第2の指標の重み係数を示し、値I2は第2の指標の値を示す。式(2)における値C3は第3の指標の重み係数を示し、値I3は第3の指標の値を示す。経路算出部412は、最も小さい合計SUMを持つ経路候補を最適経路として選択する。
【0148】
上記の重み係数は、メモリ43に予め記憶される。重み係数は変更できてもよい。例えば、ユーザーは、操作部4を操作することにより重み係数を内視鏡装置1に入力してもよい。メモリ43に記憶された重み係数は、内視鏡装置1に入力された重み係数に変更されてもよい。
【0149】
図23は、図4に示すステップSCにおいて実行される処理を示す。挿入支援部42は、先端部20が終点に配置された状態における撮像素子23の撮像面23aの方向を算出する(ステップSC1)。このとき、先端部20の姿勢は目標姿勢に設定される。
【0150】
図24は、経路のモデルを示す。先端部20が終点に配置されているとき、先端部20は検査部位IP11の光学像を取得する。先端部20の姿勢が目標姿勢に設定されるため、先端部20は検査部位IP11と正対する。
【0151】
図24に示すベクトルUaおよびベクトルVaが定義される。ベクトルUaは検査部位IP11の表面と平行であり、かつ基準方向と一致する。例えば、基準方向は、検査部位IP11における上方向と定義される。ベクトルVaは検査部位IP11の表面に垂直である。ベクトルUaおよびベクトルVaは、被検体におけるグローバル座標系によって定義される。グローバル座標系は、X軸、Y軸、およびZ軸を持つ。グローバル座標系における位置(3D座標)は、X座標、Y座標、およびZ座標によって定義される。
【0152】
一方、撮像素子23の撮像面23aにおけるローカル座標系が定義される。ローカル座標系は、x軸、y軸、およびz軸を持つ。x軸の方向は撮像面23a内の水平方向と同じであり、かつy軸の方向は撮像面23a内の垂直方向と同じである。z軸の方向は撮像面23aに垂直である。ローカル座標系における位置(3D座標)は、x座標、y座標、およびz座標によって定義される。
【0153】
先端部20が終点に配置されているとき、撮像面23aは検査部位IP11と正対し、かつ撮像面23aの上方向は検査部位IP11の上方向と一致する。そのため、ローカル座標系のz軸の方向はベクトルVaの方向と一致し、かつローカル座標系のy軸の方向はベクトルUaの方向と一致する。
【0154】
ステップSC1の後、挿入支援部42は、先端部20を最適経路に沿って捻じりなく終点から起点まで移動させたときの撮像面23aの回転状態を算出する(ステップSC2)。
【0155】
ローカル座標系のz軸上に単位ベクトルiが設定される。単位ベクトルiの方向はz軸の方向と一致する。単位ベクトルiの方向は、挿入部2の移動方向を示す。先端部20が終点に配置されているとき、単位ベクトルiはベクトルVaと平行である。
【0156】
挿入支援部42は、先端部20が曲がり位置を通るときの単位ベクトルiの回転量を算出する。曲がり位置は、被検体の分岐部の位置または被検体の壁の位置である。挿入支援部42は、先端部20が曲がり位置を通る前の単位ベクトルiを算出する。また、挿入支援部42は、先端部20が曲がり位置を通った後の単位ベクトルiを算出する。このとき、挿入支援部42は、被検体の形状情報を使用することにより各単位ベクトルをグローバル座標系における値として算出する。
【0157】
挿入支援部42は、曲がり位置における単位ベクトルiの回転量を算出するために、単位ベクトルiと回転行列との関係を使用する。挿入支援部42は、最小二乗法などの方法を使用することにより単位ベクトルiの回転量θを算出する。回転量θは、グローバル座標系における行列として表される。挿入支援部42は、グローバル座標系における回転量をローカル座標系における回転量に変換する。このとき、単位ベクトルiはz軸を中心として回転しないという条件(φ=0)が使用される。単位ベクトルiは、x軸またはy軸を中心に回転することができる。
【0158】
挿入支援部42は、先端部20が起点に到達するまで上記の処理を繰り返す。挿入支援部42は、単位ベクトルi等を算出し、かつ回転量θ等を算出する。先端部20が起点に配置されているとき、先端部20は検査部位IP12の光学像を取得する。
【0159】
図24に示すベクトルUbおよびベクトルVbが定義される。ベクトルUbは検査部位IP12の表面と平行であり、かつ基準方向と一致する。例えば、基準方向は、検査部位IP12における上方向と定義される。ベクトルVbは検査部位IP12の表面に垂直である。ベクトルUbおよびベクトルVbは、グローバル座標系によって定義される。起点における単位ベクトルiがベクトルVbと一致したとき、挿入支援部42は、先端部20が起点に到達したと判断する。
【0160】
挿入支援部42は、起点と終点との間の各曲がり位置における単位ベクトルiの回転量を使用することにより、グローバル座標系における回転量の総和を算出する。これにより、挿入支援部42は、起点における撮像面23aの回転状態を算出する。その回転状態は、起点における先端部20の姿勢を示す。
【0161】
各曲がり位置において単位ベクトルiはz軸を中心として回転しない。起点における撮像面23aの上記の回転状態が実現されている場合、挿入部2がz軸を中心に回転することなく先端部20は起点から終点に移動する。
【0162】
挿入部2の挿入操作は、挿入部2を押すまたは引く操作と、挿入部2を捻じる操作と、湾曲部21を湾曲させる操作とを主に含む。これらの操作が実施されるため、挿入操作は複雑であり、かつユーザーが操作に熟練している必要がある。被検体に挿入されている挿入部2の部分が長い場合、挿入部2を捻じる操作には大きな力が必要である。そのため、ユーザーの作業が煩わしい。挿入支援部42は、ステップSC2において、挿入部2を捻じる操作の実施を抑制するために起点における撮像面23aの理想的な回転状態を算出する。
【0163】
ステップSC2の後、挿入支援部42は、状態検出部40によって検出された先端部20の位置および姿勢と、経路処理部41によって算出された最適経路と、被検体情報に含まれる形状情報とに基づいて挿入支援情報を生成する。挿入支援部42は、画像処理部30を経由して挿入支援情報を表示部5に出力し、挿入支援情報を表示部5に表示する(ステップSC3)。ステップSC3が実行されたとき、図23に示す処理が終了する。
【0164】
挿入支援部42は、ステップSC3において以下の処理を実行する。図25は、挿入支援情報が生成されるときの挿入部2の状態を示す。挿入支援部42は、先端部20の現在の方向DR20と、最適経路PHbの方向DR21との間の角度AG20の大きさを算出する。先端部20の現在の方向DR20は、状態検出部40によって検出された先端部20の姿勢によって示される。最適経路PHbの方向DR21は、最適経路および形状情報によって示される。挿入支援部42は、最適経路PHbの方向DR21および角度AG20の大きさを示す矢印の画像を生成し、その画像を表示部5に表示する。その画像は、挿入支援情報に含まれる。
【0165】
図26は、表示部5に表示された挿入支援情報の例を示す。表示部5は、画像処理部30によって処理された画像IMG20を表示する。挿入操作を支援するためのウィンドウWD20が画像IMG20上に表示される。矢印AR20がウィンドウWD20において表示される。矢印AR20の長さは、角度AG20の大きさを示す。角度AG20の範囲は0度から180度である。角度AG20が180度であるとき、矢印AR20は最も長い。
【0166】
矢印AR20の方向は、撮像素子23の撮像面23aにおける最適経路PHbの方向を示す。通常、撮像面23aの上方向、下方向、左方向、および右方向がそれぞれ、湾曲操作の上方向、下方向、左方向、および右方向と一致するように内視鏡装置1は設計される。例えば、ユーザーは、操作部4のジョイスティックを矢印AR20の方向に倒す。これにより、先端部20は、最適経路PHbの方向DR21を向く。
【0167】
挿入支援部42は、撮像面23aの最適な上方向DR22と、撮像面23aの現在の上方向DR23との間の角度AG21の大きさを算出する。撮像面23aの最適な上方向DR22は、ステップSC2において算出される。撮像面23aの現在の上方向DR23は、状態検出部40によって検出された先端部20の姿勢によって示される。挿入支援部42は、角度AG21の大きさを示す矢印の画像を生成し、その画像を表示部5に表示する。その画像は、挿入支援情報に含まれる。
【0168】
矢印AR21がウィンドウWD20において表示される。矢印AR21の方向は、角度AG21の大きさを示す。矢印AR21が表示部5の表示画面における上方向を向くとき、挿入部2の捻じり状態は理想的である。ユーザーは、矢印AR21が上方向を向くように挿入部2を捻じる。
【0169】
挿入支援部42は、状態検出部40によって検出された先端部20の位置と最適経路の終点との距離を算出する。挿入支援部42は、算出された距離を示す距離情報を表示部5に表示する。距離情報は、挿入支援情報に含まれる。距離情報DI20が画像IMG20上に表示される。
【0170】
上記の例では、経路処理部41は、外部PC8から出力された被検体情報に含まれる形状情報を使用する。先端部20の現在の位置が起点として設定される場合、経路処理部41は、被検体上の基準位置から現在の位置までの位置の変化量に基づいて、現在の位置と対応する被検体の3D形状上の位置を算出してもよい。例えば、基準位置は、挿入部2が挿入される入り口の位置である。経路処理部41は、算出された位置を起点として使用してもよい。経路処理部41は、先端部20が基準位置から現在の位置まで移動する間の先端部20の姿勢の変化量に基づいて、起点における先端部20の姿勢を算出してもよい。例えば、基準位置における先端部20の姿勢は既知である。
【0171】
画像処理部30は、自己位置推定を通して算出された位置および姿勢を含む形状情報を生成してもよい。経路処理部41は、ステップSA1においてその形状情報を画像処理部30から取得してもよい。経路処理部41は、その形状情報を使用することによりステップSBにおいて最適経路を算出してもよい。先端部20の現在の位置が起点として設定される場合、起点は、その形状情報が示す3D形状上の位置と関連付けられている。起点における先端部20の姿勢は、その形状情報に含まれる姿勢情報と関連付けられている。
【0172】
挿入支援部42は、挿入支援情報を表示部5(情報通知装置)に表示する。挿入支援情報を出力する方法は、これに限らない。
【0173】
挿入支援部42の出力部は、音データをスピーカーに出力し、挿入支援情報と対応する音をスピーカーに発生させてもよい。挿入支援部42は、振動のパターンを示す制御信号を振動発生器に出力し、比較情報と対応するパターンを持つ振動を振動発生器に発生させてもよい。挿入支援部42は、発光のパターンを示す制御信号を光源に出力し、挿入支援情報と対応するパターンを持つ光を光源に発生させてもよい。
【0174】
本発明の各態様の挿入支援方法は、被検体の光学像を取得する先端部20を有する挿入部2が被検体に挿入されるときに挿入部2の挿入操作を支援する。挿入支援方法は、設定ステップ、状態推定ステップ、経路算出ステップ、状態検出ステップ、および挿入支援ステップを有する。設定部410は、設定ステップ(ステップSB200およびステップSB201)において、形状情報において第1の位置(終点)および第2の位置(起点)を設定する。形状情報は被検体の3D形状を示す。第1の位置は目標位置を示す。第2の位置は第1の位置と異なる。目標状態推定部411は、状態推定ステップ(ステップSB1)において、挿入部2の仕様に基づいて第1の位置における先端部20の第1の状態を推定する。経路算出部412は、経路算出ステップ(ステップSB2)において、先端部20が第2の位置から第1の位置まで移動するときに先端部20が通る経路を算出する。状態検出部40は、状態検出ステップ(ステップSA3)において、第2の位置における先端部20の第2の状態を検出する。挿入支援部42は、挿入支援ステップ(ステップSC)において、先端部20が第2の位置から上記の経路を通って第1の位置に到達し、かつ先端部20の状態が第2の状態から第1の状態に変化するための挿入操作に必要な挿入支援情報を表示部5(情報通知装置)に出力する。
【0175】
本発明の各態様は、以下の変形例を含んでもよい。被検体の3D形状が分岐部を有する場合、経路算出部412は、第1の状態で第1の位置(終点)に配置された先端部20を3D形状において第2の位置(起点)まで移動させる(ステップSB202)。経路算出部412は、先端部20が第1の位置から第2の位置まで移動する間に通る分岐部を記録する(ステップSB203)。経路算出部412は、分岐部を通る経路候補を含む2つ以上の経路候補を算出し(ステップSB207)、2つ以上の経路候補のうちの1つを上記の経路(最適経路)として選択する(ステップSB305)。
【0176】
本発明の各態様は、以下の変形例を含んでもよい。被検体の3D形状が分岐部を有する場合、経路算出部412は、分岐部を通る経路候補を含む2つ以上の経路候補を算出する(ステップSB207)。経路算出部412は、挿入部2および被検体の少なくとも一方に関する1つ以上の指標に従って、2つ以上の経路候補を分析する(ステップSB300、ステップSB301、およびステップSB302)。経路算出部412は、2つ以上の経路候補の分析結果に基づいて2つ以上の経路候補の1つを上記の経路(最適経路)として選択する(ステップSB305)。
【0177】
本発明の各態様は、以下の変形例を含んでもよい。重要度(重み係数)が2つ以上の指標の各々に予め設定される。経路算出部412は、2つ以上の指標および重要度に従って、2つ以上の経路候補を分析する(ステップSB300、ステップSB301、およびステップSB302)。2つ以上の指標の各々に設定された重要度は変更できる。
【0178】
本発明の各態様は、以下の変形例を含んでもよい。経路算出部412は、挿入部2の大きさを示す情報と、被検体の形状を示す情報との少なくとも1つを使用することにより2つ以上の経路候補を分析する(ステップSB300、ステップSB301、およびステップSB302)。
【0179】
本発明の各態様は、以下の変形例を含んでもよい。挿入操作が実施されるとき、位置検出部(画像処理部30または位置検出部34)は、先端部20の位置を検出する。設定部410は、第2の位置(起点)を位置検出部によって検出された位置に設定する(ステップSB200)。
【0180】
本発明の各態様は、以下の変形例を含んでもよい。目標状態推定部411は、第1の位置(終点)における先端部20の状態が第1の観察状態、第2の観察状態、および第3の観察状態の少なくとも1つになるような第1の状態を推定する(ステップSB100)。第1の観察状態(図10)は、先端部20に配置された観察光学系の光軸OA10の方向が被検体の表面に垂直な状態である。第2の観察状態(図11)は、先端部20における所定の方向が、被検体の3D形状における所定の方向と一致する状態である。第3の観察状態(図12)は、先端部20と被検体との距離が被検体の観察に適した状態である。
【0181】
本発明の各態様は、以下の変形例を含んでもよい。挿入操作は、挿入部2を被検体内で移動させる操作と、挿入部2を湾曲させる操作と、挿入部2を捻じる操作との少なくとも1つを示す。
【0182】
本発明の各態様は、以下の変形例を含んでもよい。挿入支援情報は、第2の位置(起点)と第1の位置(終点)との距離、先端部20の方向を上記の経路(最適経路)に沿った方向と一致させるための先端部20の方向の変化量、および挿入部2の捻じり状態を第1の状態における挿入部2の捻じり状態と一致させるための捻じり量の少なくとも1つを含む。
【0183】
従来技術では、検査部位を観察するための目標位置における挿入部2の状態は考慮されていない。そのため、種々の挿入支援が実施され、目標位置に先端部20が到達したとしても、結果として挿入部2の状態が悪く、被検体の画像が見にくくなる場合がある。また、被検体の内部における物理的制約がある状況で挿入部2を捻るまたは曲げる操作が必要になる場合がある。さらに、挿入経路に関する特性および内視鏡の物理的な制約も考慮されていないため、挿入支援に従う挿入操作が実際には困難になる場合がある。
【0184】
挿入支援部42は、終点における先端部20の状態が目標状態になるための挿入操作に必要な挿入支援情報を表示部5に出力する。そのため、内視鏡装置1は、目標位置における挿入部2の状態を被検体の観察に適している状態にするための挿入操作を支援することができる。
【0185】
経路算出部412は、挿入部2に加わる負荷が小さい経路を算出することができる。そのため、挿入操作においてユーザーが挿入部2に加える力の大きさが低減される。
【0186】
挿入支援部42は、挿入部2の捻じり状態を含む先端部20の姿勢を最適にするための挿入支援情報を生成することができる。そのため、挿入操作の煩雑さが軽減される。ユーザーは、検査現場において試行錯誤によって挿入操作を実施する必要がない。そのため、作業効率が向上する。また、ユーザーの検査スキルによらず、ユーザーは挿入部2を検査部位に容易に到達させることができ、信頼度の高い検査を実施することができる。
【0187】
挿入部2は、モータを有する駆動装置を使用することにより被検体に挿入されてもよい。この場合においても、経路算出部412によって算出された最適経路を使用することにより、挿入部2に加わる負荷が低減される。
【0188】
(第1の変形例)
本発明の実施形態の第1の変形例を説明する。光学アダプタ情報は、光学アダプタ7の光学特性を示す情報を含む。具体的には、光学アダプタ情報は、光学アダプタ7の視野の特性を示す情報を含む。目標状態推定部411は、ステップSB100において、光学アダプタ7の視野の特性に応じて先端部20を終点に配置する。
【0189】
図27図28、および図29は、挿入部2の湾曲長に応じた挿入部2の配置の制限の例を示す。光学アダプタ7の視野の特性に応じて、挿入部2の配置の制限は変化する。
【0190】
図27は、光学アダプタ7が側視アダプタである場合の湾曲長に関する挿入部2の配置の制限の例を示す。側視アダプタは、挿入部2の側面に垂直な方向に見た被検体の光学像を取得する。図27に示す矢印AR22は、検査部位IP20の観察に必要な側視アダプタと検査部位IP20との距離を示す。矢印AR22の先端は、目標位置を示す。
【0191】
矢印AR22の先端の位置を基準とする範囲RG20が設定される。範囲RG20は扇形である。範囲RG20の幅R2は湾曲長と同じである。範囲RG20の角度AG22は、側視アダプタの視野の広さに応じて設定される。
【0192】
図27に示す状態ST22において、範囲RG20の円弧の一部は、被検体の壁によって囲まれた空間内にある。状態ST22において側視アダプタは、検査部位IP20の光学像を取得することができる。
【0193】
図27に示す状態ST23において、範囲RG20の円弧は、被検体の壁によって囲まれた空間内にない。状態ST23において側視アダプタは、検査部位IP20の光学像を取得することができない。
【0194】
経路算出部412は、挿入部情報および光学アダプタ情報を使用することにより、範囲RG20を設定する。経路算出部412は、範囲RG20の円弧の少なくとも一部が、被検体の壁によって囲まれた空間内にあるか否かを判断する。範囲RG20の円弧の全体がその空間内にない場合、経路算出部412は、その経路候補を使用できないと判断する。範囲RG20の円弧の少なくとも一部がその空間内にある場合、経路算出部412は、その経路候補を使用できると判断する。
【0195】
図28は、光学アダプタ7が狭角アダプタである場合の湾曲長に関する挿入部2の配置の制限の例を示す。狭角アダプタは、狭い視野を持つ。図28に示す矢印AR23は、検査部位IP21の観察に必要な狭角アダプタと検査部位IP21との距離を示す。矢印AR23の先端は、目標位置を示す。
【0196】
矢印AR23の先端の位置を基準とする範囲RG21が設定される。範囲RG21は扇形である。範囲RG21の幅R3は湾曲長と同じである。範囲RG21の角度AG23は、狭角アダプタの視野の広さに応じて設定される。
【0197】
図28に示す状態ST24において、範囲RG21の円弧は、被検体の壁によって囲まれた空間内にある。状態ST24において狭角アダプタは、検査部位IP21の光学像を取得することができる。
【0198】
図28に示す状態ST25において、範囲RG21の円弧は、被検体の壁によって囲まれた空間内にない。状態ST25において狭角アダプタは、検査部位IP21の光学像を取得することができない。
【0199】
経路算出部412は、挿入部情報および光学アダプタ情報を使用することにより、範囲RG21を設定する。経路算出部412は、範囲RG21の円弧の少なくとも一部が、被検体の壁によって囲まれた空間内にあるか否かを判断する。範囲RG21の円弧の全体がその空間内にない場合、経路算出部412は、その経路候補を使用できないと判断する。範囲RG21の円弧の少なくとも一部がその空間内にある場合、経路算出部412は、その経路候補を使用できると判断する。
【0200】
図29は、光学アダプタ7が広角アダプタである場合の湾曲長に関する挿入部2の配置の制限の例を示す。広角アダプタは、広い視野を持つ。図29に示す矢印AR24は、検査部位IP22の観察に必要な広角アダプタと検査部位IP22との距離を示す。矢印AR24の先端は、目標位置を示す。
【0201】
矢印AR24の先端の位置を基準とする範囲RG22が設定される。範囲RG22は扇形である。範囲RG22の幅R4は湾曲長と同じである。範囲RG22の角度AG24は、広角アダプタの視野の広さに応じて設定される。
【0202】
図29に示す状態ST26において、範囲RG22の円弧の一部は、被検体の壁によって囲まれた空間内にある。状態ST26において広角アダプタは、検査部位IP22の光学像を取得することができる。
【0203】
図29に示す状態ST27において、範囲RG22の円弧の一部は、被検体の壁によって囲まれた空間内にある。状態ST27において広角アダプタは、検査部位IP22の光学像を取得することができる。
【0204】
広角アダプタが使用される場合、被検体を斜め方向に観察する状態が許容されやすい。被検体内の空間の幅が狭く、かつ湾曲角度が小さい場合であっても、広角アダプタは被検体の光学像を取得することができる。
【0205】
経路算出部412は、挿入部情報および光学アダプタ情報を使用することにより、範囲RG22を設定する。経路算出部412は、範囲RG22の円弧の少なくとも一部が、被検体の壁によって囲まれた空間内にあるか否かを判断する。範囲RG22の円弧の全体がその空間内にない場合、経路算出部412は、その経路候補を使用できないと判断する。範囲RG22の円弧の少なくとも一部がその空間内にある場合、経路算出部412は、その経路候補を使用できると判断する。
【0206】
光学アダプタ7は、直視状態と側視状態とを切り替えることができる光学アダプタであってもよい。その光学アダプタが使用される場合、経路算出部412は、経路長の影響が低減された経路候補を算出することができる。
【0207】
画像処理部30は画像回転機能を持ってもよい。挿入支援部42は、装置設定情報に基づいて、画像回転機能が画像処理部30に設定されているか否かを判断してもよい。画像回転機能が画像処理部30に設定されていると挿入支援部42が判断した場合、図23に示すステップSC1およびステップSC2が実行される必要はない。
【0208】
本発明の各態様は、以下の変形例を含んでもよい。経路算出部412は、先端部20に装着される光学アダプタ7の仕様に基づいて経路(最適経路)を算出する。
【0209】
経路算出部412は、光学アダプタ7の光学特性に基づいて、挿入部2の配置の制限を分析することができる。挿入支援部42は、画像回転機能の設定に基づいて、挿入部2を捻じる操作を支援するか否かを判断することができる。
【0210】
(第2の変形例)
本発明の実施形態の第2の変形例を説明する。第2の変形例における挿入支援情報は、挿入部2の挿入履歴を含む。
【0211】
挿入支援部42は、状態検出部40によって検出された先端部20の位置をメモリ43に記録する。挿入支援部42は、被検体情報に含まれる形状情報に基づいて被検体の3D形状の画像を生成する。また、挿入支援部42は、メモリ43に記憶されている先端部20の1つ以上の位置を読み出す。挿入支援部42は、その1つ以上の位置を3D形状の画像に重畳する。挿入支援部42は、画像処理部30を経由してその画像を表示部5に出力する。
【0212】
図30は、表示部5に表示された挿入支援情報の例を示す。図26に示す部分と同じ部分の説明を省略する。
【0213】
ウィンドウWD21が画像IMG20上に表示される。被検体の3D形状3D20および挿入履歴IH20がウィンドウWD21において表示される。挿入履歴IH20は、先端部20の1つ以上の位置の履歴を示す。挿入履歴IH20は3D形状3D20の画像に重畳されている。経路算出部412によって算出された最適経路が3D形状3D20の画像に重畳されてもよい。
【0214】
本発明の各態様は、以下の変形例を含んでもよい。挿入支援情報は、先端部20が通った位置の履歴を含む。
【0215】
挿入部2が挿入された位置から現在の位置に先端部20が到達するまでの実際の経路を表示することが有効である。その経路は、挿入部2の全体の現在の曲がり状態を表し、かつ挿入部2が通った上り傾斜または下り傾斜の位置を表す。ユーザーは、挿入履歴を参照することにより、挿入部2のこれからの挿入操作が容易であるか否かを判断することができる。
【0216】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【0217】
1 内視鏡装置
2 挿入部
3 本体部
4 操作部
5 表示部
6 挿入長検出部
7 光学アダプタ
20 先端部
21 湾曲部
22,70 レンズ
23 撮像素子
23a 撮像面
24 姿勢センサ
25 ライトガイド
26 アングルワイヤー
30 画像処理部
31 記録部
32 外部IF
33 操作処理部
34 位置検出部
35 姿勢検出部
36 光源
37 照明制御部
38 モータ
39 湾曲制御部
40 状態検出部
41 経路処理部
42 挿入支援部
43 メモリ
44 電源部
410 設定部
411 目標状態推定部(状態推定部)
412 経路算出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30