特許 7653518 画像処理装置、マニピュレータシステム及び画像処理装置の作動方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-19

(45)【発行日】2025-03-28

(54)【発明の名称】画像処理装置、マニピュレータシステム及び画像処理装置の作動方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20250321BHJP

   A61B 1/00 20060101ALI20250321BHJP

   G02B 23/24 20060101ALI20250321BHJP

   B25J 18/06 20060101ALI20250321BHJP

【ＦＩ】

A61B1/045 623

A61B1/00 V

A61B1/00 552

G02B23/24 B

B25J18/06

【請求項の数】 20

(21)【出願番号】P 2023529259

(86)(22)【出願日】2021-06-22

(86)【国際出願番号】 JP2021023516

(87)【国際公開番号】W WO2022269736

(87)【国際公開日】2022-12-29

【審査請求日】2023-10-25

(73)【特許権者】

【識別番号】304050923

【氏名又は名称】オリンパスメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(72)【発明者】

【氏名】柳川 涼太

(72)【発明者】

【氏名】岸 宏亮

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特表２０１８－５３２４６７（ＪＰ，Ａ）

【文献】特開２０１７－２０５２９２（ＪＰ，Ａ）

【文献】特開２００９－０５６２３８（ＪＰ，Ａ）

【文献】特開２００４－１８０９４０（ＪＰ，Ａ）

【文献】国際公開第２００５／０３９４０１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ｇ０２Ｂ ２３／２４ － ２３／２６

Ｂ２５Ｊ １／００ － ２１／０２

(57)【特許請求の範囲】

【請求項1】

湾曲角度が変化可能な湾曲部を有し、先端部に撮像部が設けられるマニピュレータの前記湾曲角度の情報を取得する取得部と、
前記湾曲角度の情報に基づいて、オブジェクト空間における仮想カメラから見たマニピュレータモデルのＣＧ画像を、ディスプレイに表示する処理部と、
を含み、
前記処理部は、
前記湾曲角度に応じた回転角度で前記仮想カメラの視線方向を回転させる回転処理を行うことを特徴とする画像処理装置。

【請求項2】

請求項１において、
前記マニピュレータは、軟性部を含み、
前記湾曲部は、前記軟性部の先端に接続され、
前記撮像部は、前記湾曲部の先端に設けられ、
前記処理部は、前記湾曲角度に応じた前記回転角度で前記視線方向を回転させた前記仮想カメラから見たときの、前記軟性部の先端側の少なくとも一部と前記湾曲部とを示す前記マニピュレータモデルの前記ＣＧ画像を、前記ディスプレイに表示することを特徴とする画像処理装置。

【請求項3】

請求項１において、
前記処理部は、
前記回転角度を前記湾曲角度に同期して変化させることを特徴とする画像処理装置。

【請求項4】

請求項１において、
前記処理部は、
前記湾曲角度が閾値を超えるまで前記回転角度を第１角度に固定し、
前記湾曲角度が前記閾値を超えたとき、前記回転角度を、前記第１角度より大きい第２角度に切り替えることを特徴とする画像処理装置。

【請求項5】

請求項１において、
前記処理部は、
前記湾曲角度が第１閾値より小さいとき、前記回転角度を第１固定角度に固定し、
前記湾曲角度が、前記第１閾値から、前記第１閾値より大きい第２閾値までの間のとき、前記湾曲角度に応じて前記回転角度を、前記第１固定角度から、前記第１固定角度より大きい第２固定角度まで変化させ、
前記湾曲角度が前記第２閾値より大きいとき、前記回転角度を前記第２固定角度に固定することを特徴とする画像処理装置。

【請求項6】

請求項１において、
前記処理部は、
前記回転処理を行う回転モードと、前記湾曲角度に関わらず前記回転角度を固定する固定モードとを、切り替え可能であることを特徴とする画像処理装置。

【請求項7】

請求項１において、
前記取得部は、
第１軸周りの第１湾曲角度と、前記第１軸に交差する第２軸周りの第２湾曲角度との情報を取得し、
前記処理部は、
前記第１湾曲角度と前記第２湾曲角度のうち大きい方の湾曲角度に応じた前記回転角度で前記回転処理を行うことを特徴とする画像処理装置。

【請求項8】

請求項１において、
前記湾曲部は、
第１湾曲部と、前記第１湾曲部より基端側に設けられる第２湾曲部と、を含み、
前記処理部は、
前記第２湾曲部の湾曲角度である第２湾曲部湾曲角度、又は、前記湾曲部の全体としての湾曲角度である全体湾曲角度に応じた前記回転角度で前記回転処理を行うことを特徴とする画像処理装置。

【請求項9】

請求項８において、
前記処理部は、
前記第２湾曲部湾曲角度に応じた前記回転角度で前記回転処理を行うことを特徴とする画像処理装置。

【請求項10】

請求項８において、
前記処理部は、
前記第１湾曲部の湾曲方向が、前記第２湾曲部の湾曲方向と同方向又は逆方向に制御される場合に、前記全体湾曲角度に応じた前記回転角度で前記回転処理を行うことを特徴とする画像処理装置。

【請求項11】

請求項８において、
前記処理部は、
前記第２湾曲部が湾曲制御される第１湾曲モードのとき、前記第２湾曲部湾曲角度に応じた前記回転角度で前記回転処理を行い、
前記第１湾曲部の湾曲方向が、前記第２湾曲部の湾曲方向と同方向に制御される第２湾曲モード、又は、前記第１湾曲部の湾曲方向が、前記第２湾曲部の湾曲方向と逆方向に制御される第３湾曲モードのとき、前記全体湾曲角度に応じた前記回転角度で前記回転処理を行うことを特徴とする画像処理装置。

【請求項12】

請求項１において、
前記回転処理は、前記マニピュレータモデル上に設定された設定点を中心として前記仮想カメラの前記視線方向を回転させる処理であることを特徴とする画像処理装置。

【請求項13】

湾曲部を有し、先端部に撮像部が設けられるマニピュレータと、
画像処理装置と、
ディスプレイと、
を含み、
前記画像処理装置は、
前記撮像部の撮像方向に追従する仮想カメラの視線方向におけるマニピュレータモデルのＣＧ画像を、前記ディスプレイに表示し、
前記湾曲部の湾曲角度に応じて、前記仮想カメラの前記視線方向を変化させることを特徴とするマニピュレータシステム。

【請求項14】

請求項１３において、
前記マニピュレータは、軟性部を含み、
前記湾曲部は、前記軟性部の先端に接続され、
前記撮像部は、前記湾曲部の先端に設けられ、
前記画像処理装置は、前記湾曲角度に応じて前記視線方向を前記撮像方向に追従させた前記仮想カメラから見たときの、前記軟性部の先端側の少なくとも一部と前記湾曲部とを示す前記マニピュレータモデルの前記ＣＧ画像を、前記ディスプレイに表示することを特徴とするマニピュレータシステム。

【請求項15】

請求項１３において、
前記画像処理装置は、
前記視線方向を前記湾曲角度に同期して変化させることを特徴とするマニピュレータシステム。

【請求項16】

請求項１３において、
前記湾曲部は、
第１湾曲部と、前記第１湾曲部より基端側に設けられる第２湾曲部と、を含み、
前記画像処理装置は、
前記第２湾曲部の湾曲角度である第２湾曲部湾曲角度、又は、前記湾曲部の全体としての湾曲角度である全体湾曲角度に応じて、前記仮想カメラの前記視線方向を変化させることを特徴とするマニピュレータシステム。

【請求項17】

画像処理装置の作動方法であって、
前記画像処理装置が、湾曲角度が変化可能な湾曲部を有し、先端部に撮像部が設けられるマニピュレータの前記湾曲角度の情報を取得するステップと、
前記画像処理装置が、前記湾曲角度の情報に基づいて、オブジェクト空間における仮想カメラの視線方向を前記湾曲角度に応じた回転角度で回転させる回転処理を行うステップと、
前記画像処理装置が、前記オブジェクト空間における前記仮想カメラから見たマニピュレータモデルのＣＧ画像を、ディスプレイに表示するステップと、
を行うことを特徴とする画像処理装置の作動方法。

【請求項18】

請求項１７において、
前記マニピュレータは、軟性部を含み、
前記湾曲部は、前記軟性部の先端に接続され、
前記撮像部は、前記湾曲部の先端に設けられ、
前記画像処理装置が、前記湾曲角度に応じた前記回転角度で前記視線方向を回転させた前記仮想カメラから見たときの、前記軟性部の先端側の少なくとも一部と前記湾曲部とを示す前記マニピュレータモデルの前記ＣＧ画像を、前記ディスプレイに表示するステップを行うことを特徴とする画像処理装置の作動方法。

【請求項19】

画像処理装置の作動方法であって、
前記画像処理装置が、湾曲部を有するマニピュレータの先端部に設けられた撮像部の撮像方向に追従する仮想カメラの視線方向におけるマニピュレータモデルのＣＧ画像を、ディスプレイに表示するステップと、
前記画像処理装置が、前記湾曲部の湾曲角度に応じて、前記仮想カメラの前記視線方向を変化させるステップと、
を行うことを特徴とする画像処理装置の作動方法。

【請求項20】

請求項１９において、
前記マニピュレータは、軟性部を含み、
前記湾曲部は、前記軟性部の先端に接続され、
前記撮像部は、前記湾曲部の先端に設けられ、
前記画像処理装置が、前記湾曲角度に応じて前記視線方向を前記撮像方向に追従させた前記仮想カメラから見たときの、前記軟性部の先端側の少なくとも一部と前記湾曲部とを示す前記マニピュレータモデルの前記ＣＧ画像を、前記ディスプレイに表示するステップを行うことを特徴とする画像処理装置の作動方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、マニピュレータシステム及び画像処理装置の作動方法等に関する。

【背景技術】

【0002】

特許文献１には、内視鏡画像と共に、内視鏡の湾曲部の仮想的な３Ｄモデルを表示するナビゲーション技術が開示されている。操作部に対してアングル操作を行うと、その操作入力に基づいて、３Ｄモデルにおける湾曲部の湾曲角度が変化する。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１７－５２９８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

術者が３Ｄモデルを見ながらアングル操作を行ったとき、直感的な操作が難しい場合があるという課題がある。例えば、湾曲角度が大きいときには、内視鏡先端が手前を向くように３Ｄモデルが表示され、内視鏡画像と３Ｄモデルで撮像方向が一致しないため、直感的な操作が難しい。

【課題を解決するための手段】

【0005】

本開示の一態様は、形状が変化可能なマニピュレータの前記形状に関する形状情報を取得する取得部と、前記形状情報に基づいて、オブジェクト空間における仮想カメラから見たマニピュレータモデルのＣＧ画像を、ディスプレイに表示する処理部と、を含み、前記処理部は、前記形状に応じた回転角度で前記仮想カメラの視線方向を回転させる回転処理を行う画像処理装置に関係する。

【0006】

本開示の他の態様は、先端部に撮像部が設けられるマニピュレータと、画像処理装置と、ディスプレイと、を含み、前記画像処理装置は、前記撮像部の撮像方向に追従する仮想カメラの視線方向におけるマニピュレータモデルのＣＧ画像を、前記ディスプレイに表示するマニピュレータシステムに関係する。

【0007】

本開示の更に他の態様は、形状が変化可能なマニピュレータの前記形状に関する形状情報を取得し、前記形状情報に基づいて、オブジェクト空間における仮想カメラの視線方向を前記形状に応じた回転角度で回転させる回転処理を行い、前記オブジェクト空間における前記仮想カメラから見たマニピュレータモデルのＣＧ画像を、ディスプレイに表示する画像処理方法に関係する。

【0008】

本開示の更に他の態様は、マニピュレータモデルのＣＧ画像を表示する表示方法であって、マニピュレータの先端部に設けられた撮像部の撮像方向に追従する仮想カメラの視線方向における前記マニピュレータモデルの前記ＣＧ画像を、ディスプレイに表示する表示方法に関係する。

【図面の簡単な説明】

【0009】

【図1】内視鏡の湾曲部の基端を固定した状態で３Ｄモデルを表示した場合の表示例。

【図2】画像処理装置と内視鏡システムの構成例。

【図3】実空間における内視鏡について説明する図。

【図4】処理部が構成する３Ｄモデルの説明図。

【図5】第１実施形態における湾曲角度と視線方向の回転角度との関係。

【図6】第１実施形態における表示例。

【図7】第１実施形態における処理のフローチャート。

【図8】第２実施形態における湾曲角度と視線方向の回転角度との関係。

【図9】第２実施形態におけるＣＧ画像の表示例。

【図10】第２実施形態における処理のフローチャート。

【図11】第３実施形態における湾曲角度と視線方向の回転角度との関係。

【図12】第３実施形態におけるＣＧ画像の表示例。

【図13】第３実施形態における処理のフローチャート。

【図14】第５実施形態を第２実施形態に組み合わせたときのフローチャート。

【図15】第５実施形態を第３実施形態に組み合わせたときのフローチャート。

【図16】第６実施形態における湾曲部の構成例。

【図17】２段湾曲の制御モードの例。

【発明を実施するための形態】

【0010】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0011】

例えば、以下では内視鏡システムにおいて内視鏡の３Ｄモデルを表示する例を説明するが、本実施形態の手法はマニピュレータシステムにおいてマニピュレータモデルのＣＧ画像を表示する場合に適用可能である。マニピュレータモデルは、操作により形状が変化するマニピュレータの３次元モデルである。マニピュレータは、撮像部が設置される又は撮像部を保持しており、その撮像部の撮像方向が、マニピュレータの形状変化によって変化する。ＣＧ画像は、マニピュレータの３次元モデルから生成された画像である。ＣＧ画像は２次元情報であるが、３次元モデルを画像化したものという意味で３Ｄモデル又は３Ｄ画像とも呼ぶ。

【0012】

１．画像処理装置、及び内視鏡システム
図１に、内視鏡の湾曲部の基端を固定した状態で３Ｄモデルを表示した場合の表示例を示す。画面左側に内視鏡画像が表示され、画面右側に内視鏡のＣＧ画像が表示されているとする。なお、ＣＧはComputer Graphicsの略である。

【0013】

図１において、Ｘｒ、Ｙｒ、Ｚｒは、実際の内視鏡が存在する実空間において内視鏡先端に固定された座標系を示しており、Ｚｒが撮像方向に対応している。ｘ、ｙ、ｚは、３Ｄモデルが構築されるオブジェクト空間に固定されたワールド座標系である。オブジェクト空間において、湾曲部の基端がｚ方向を向くように固定されており、撮像方向は湾曲角度に応じて変化する。

【0014】

表示画像ＩＭＡ１には、湾曲部がストレートで湾曲していない例を示す。内視鏡画像においては、画面奥行方向が常に撮像方向に一致する。湾曲部がストレートである場合には、３Ｄモデルにおいても撮像方向が画面奥行方向となり、内視鏡画像における撮像方向と３Ｄモデルにおける撮像方向とが一致している。この場合には、３Ｄモデルを見た状態において直感的な湾曲操作が可能である。即ち、湾曲させたい方向と、操作方向とが直感的に一致する。

【0015】

表示画像ＩＭＡ２には、湾曲部が左にＪターンした例、即ち内視鏡先端が画面手前方向を向いた例を示す。３Ｄモデルにおいて撮像方向が画面手前方向となるので、内視鏡画像における撮像方向と３Ｄモデルにおける撮像方向とが逆になる。この場合には、湾曲させたい方向と、操作方向とが直感的に一致しにくいため、３Ｄモデルを見た状態において直感的な湾曲操作が難しい。例えば、更に湾曲させたい場合には、３Ｄモデルにおいて内視鏡先端を右に動かすことになるが、操作としては左湾曲となり、３Ｄモデル上における先端の移動方向と操作方向とが一致しない。

【0016】

例えば、手動ダイヤル操作で湾曲操作する内視鏡では、術者は、ダイヤルから得られるワイヤ牽引に伴う抵抗などの力覚フィードバックによって、湾曲角度をある程度推定できる。しかし、湾曲駆動を電動化した電動内視鏡においては、モータ等の駆動部を介してワイヤの牽引を行うため、術者の持つ操作部では力覚フィードバックを得にくい。また電動内視鏡においては、タッチパッドやリモートコントローラ等の駆動部から分離された操作部を使って湾曲操作を行うことも可能であり、この場合より一層力覚フィードバックが得にくい。よって、術者が湾曲角度を把握しやすくなるように、湾曲状態を３Ｄモデルで表示するナビゲーションによって術者の理解をアシストすることが望まれる。このとき、上記のようなタッチパッド等の操作方向と３Ｄモデルの動きが直感的に一致しにくいという問題がある。

【0017】

図２は、本実施形態の画像処理装置と内視鏡システムの構成例である。内視鏡システム３００は、内視鏡１０とディスプレイ２０と制御装置１００と画像処理装置２００と操作部４００とを含む。なお、ここでは電動内視鏡を例に説明するが、以下に説明する手法は、電動内視鏡だけでなく、湾曲部を有する様々な内視鏡に適用可能である。また、上述したように、本実施形態において、内視鏡システム３００がマニピュレータシステムに相当し、内視鏡１０がマニピュレータに相当する。

【0018】

内視鏡１０は、スコープとも呼ばれ、体内に挿入され、その体内を撮像する。本実施形態においては、可撓性の挿入部を含む軟性鏡が想定される。内視鏡１０は、湾曲部４０と撮像部３０とを含む。湾曲部４０は、内視鏡１０の先端部に設けられ、湾曲操作に応じて湾曲可能に構成される。湾曲部４０は、湾曲装置又は湾曲機構とも呼ばれる。撮像部３０は、撮像素子と対物レンズ等を含む撮像装置であり、湾曲部４０の先端側に設けられる。撮像部３０は体内を撮像し、その画像信号を制御装置１００へ送信する。内視鏡１０には、更に照明レンズ、鉗子口、又は吸引口等が更に設けられてもよい。

【0019】

制御装置１００は、内視鏡１０の制御及び湾曲駆動等を行う。制御装置１００は、コントローラー、駆動装置、又はプロセッサユニット等とも呼ばれる。制御装置１００は、モータ１０１と駆動回路１０２とセンサ１０３と画像インターフェース１０４とを含む。

【0020】

駆動回路１０２は、モータ１０１を駆動する回路であり、操作部４００からの操作入力に応じてモータ１０１を駆動する。モータ１０１は、内視鏡１０の湾曲部４０に接続されたワイヤを牽引することで湾曲部４０を湾曲させる。これにより、操作入力に応じた湾曲角度で湾曲部４０が湾曲する。センサ１０３は、湾曲部４０の湾曲角度を検出するセンサであり、その検出信号を画像処理装置２００へ送信する。センサ１０３は、例えば、モータ１０１の回転量を検出するローターリーエンコーダ、又は、ワイヤの走行量を検出する光学センサ等である。センサ１０３は、検出した湾曲角度を画像処理装置２００へ送信する。

【0021】

なお、センサ１０３は、湾曲角度を推定できる物理量を検出していればよく、湾曲角度そのものを検出していなくてもよい。また、図２には制御装置１００内にセンサを設ける例を示したが、湾曲部４０の湾曲角度が検出できる構成となっていればよい。例えば、操作部４００に対する湾曲操作の操作入力から、湾曲角度が取得されてもよいし、或いは、内視鏡形状観測装置であるＵＰＤを用いて、外部から湾曲部４０の形状を観測し、その観測した形状から湾曲角度が取得されてもよい。

【0022】

操作部４００は、内視鏡１０を操作する操作入力を受け付け、その操作入力の情報を無線通信によって制御装置１００へ送信する。操作部４００は、少なくとも湾曲操作を受け付け可能である。操作部４００は、例えばタッチパッドであり、タッチパッドに対するタッチ又はスワイプ操作等を湾曲操作として認識する。なお、操作部４００は、湾曲操作のためのボタン又はダイヤル等を備えてもよいし、無線でなく有線で制御装置１００と通信してもよい。

【0023】

画像インターフェース１０４は、内視鏡１０の撮像部３０から画像信号を受信し、その画像信号を画像処理することで内視鏡画像を生成し、その内視鏡画像の画像データを画像処理装置２００へ送信する。画像処理は、例えば現像処理、階調補正処理、又はホワイトバランス処理等である。なお、画像インターフェース１０４が、画像信号を画像処理装置２００へ転送し、画像処理装置２００が画像信号から内視鏡画像を構築する構成としてもよい。

【0024】

画像処理装置２００は、センサ１０３が検出した湾曲角度に基づいて内視鏡１０の３Ｄモデルを生成し、そのＣＧ画像と内視鏡画像とをディスプレイ２０に表示する。画像処理装置２００は、例えばＰＣ又はサーバ等の情報処理装置である。画像処理装置２００は、取得部２２０と処理部２１０とを含む。取得部２２０のハードウェアは種々想定されるが、例えば、情報処理装置に設けられる通信インターフェース、或いは、処理部２１０を構成するハードウェアに設けられたデータインターフェース等である。処理部２１０は、プロセッサ、処理装置又は処理回路等とも呼ばれる。処理部２１０のハードウェアは種々想定されるが、例えば、ＣＰＵ、ＧＰＵ又はマイクロコンピュータ等であってもよいし、或いは、ＡＳＩＣ又はＦＰＧＡ等であってもよいし、或いは、それらの組み合わせであってもよい。画像処理装置２００が不図示のメモリを含み、メモリが、処理部２１０が行う処理を記述したプログラムを記憶し、そのプログラムを処理部２１０が実行することで、処理部２１０が行う処理が実現されてもよい。なお、図２には、画像処理装置２００が制御装置１００の外部装置として設けられる例を示したが、画像処理装置２００は制御装置１００に内蔵されてもよい。

【0025】

取得部２２０は、制御装置１００から内視鏡画像の画像データと湾曲角度の情報を受信する。処理部２１０は、オブジェクト空間に内視鏡１０の３Ｄモデルを生成し、その３Ｄモデルを基に生成した内視鏡１０のＣＧ画像と、内視鏡画像とをディスプレイ２０に表示する。内視鏡画像はディスプレイ２０の第１表示領域に表示され、ＣＧ画像はディスプレイ２０の第２表示領域に表示される。或いは、第１ディスプレイと第２ディスプレイを設け、内視鏡画像が第１ディスプレイに表示され、ＣＧ画像が第２ディスプレイに表示される構成としてもよい。処理部２１０は、３Ｄモデルの湾曲部を、センサ１０３が検出した湾曲角度で湾曲させる。術者は、そのＣＧ画像を見ることで、体内に挿入された内視鏡先端の形状を把握できる。

【0026】

以下、３Ｄモデル及びＣＧ画像の構成手法を説明する。まず、図３を用いて、実空間における内視鏡１０について説明する。

【0027】

軟性部の根元は、図３に不図示であるが、制御装置１００に接続されている。そして、軟性部の先端に湾曲部４０の基端が接続され、湾曲部４０の先端に硬性部が設けられる。硬性部には撮像部３０が内蔵されている。湾曲部４０は、多数の関節が直列に接続されており、上下方向と左右方向に湾曲可能となっている。湾曲部４０は、湾曲していないとき細長い円筒形状であり、湾曲は、その円筒の軸がカーブを描いて上下左右に曲がった状態のことである。軟性部の先端、つまり湾曲部４０の基端にＸＹＺ座標が固定されているとする。Ｚ軸は、軟性部先端の軸方向ＮＤｒに平行とする。このとき、湾曲の上下方向はＸ軸周りの湾曲であり、湾曲の左右方向はＹ軸周りの湾曲である。また、湾曲部４０の先端の軸方向、つまり撮像方向をＩＤｒとしたとき、軟性部先端の軸方向ＮＤｒと撮像方向ＩＤｒとの成す角度が湾曲角度θｒである。

【0028】

図３には、Ｙ軸周りの、つまり左右方向の湾曲角度を示している。但し、湾曲部４０は、上下方向と左右方向に独立に操作されるので、Ｘ軸周りの湾曲角度とＹ軸周りの湾曲角度が存在する。以下では、湾曲角度をθｒで示して説明する内容は、Ｘ軸周り及びＹ軸周りのいずれの湾曲操作にも適用可能である。それらを明示的に区別して説明する場合には、Ｘ軸周りの湾曲角度をθｘと記載し、Ｙ軸周りの湾曲角度をθｙと記載する。

【0029】

図４に、処理部２１０が構成する３Ｄモデルの説明図を示す。３Ｄモデル５０が構築されるオブジェクト空間にｘｙｚ座標が固定されているとする。ｘｙｚ座標をワールド座標とも呼ぶ。軟性部先端の軸方向をＮＤｍとしたとき、ＮＤｍとｚ方向が平行となるように内視鏡の３Ｄモデル５０がオブジェクト空間に固定される。固定部は、例えば軟性部の根元、又は湾曲部の基端である。湾曲部先端の軸方向、つまり撮像方向をＩＤｍとしたとき、軟性部先端の軸方向ＮＤｍと撮像方向ＩＤｍとの成す角度が湾曲角度θｍである。３Ｄモデル５０は、例えば、ポリゴン等のプリミティブ面で構成されたモデル、或いは、ワイヤーフレームモデル等である。

【0030】

センサ１０３は、実空間における内視鏡１０の湾曲角度θｒを検出し、処理部２１０は、その湾曲角度θｒを３Ｄモデル５０における湾曲角度θｍとして、３Ｄモデル５０を構築する。処理部２１０は、湾曲角度θｍに基づいて仮想カメラ５２の視線方向ＳＤｃを設定し、その視線方向ＳＤｃが注視点ＲＣを向くように仮想カメラ５２の位置と姿勢を設定する。注視点ＲＣは、例えば湾曲部の先端に設定されるが、これに限定されず、湾曲部の先端付近などの湾曲部内に設定されていればよい。なお、処理部２１０は、３Ｄモデル５０のやや上方（＋ｙ方向）から注視点ＲＣを見下ろすように仮想カメラ５２を配置する。

【0031】

処理部２１０は、湾曲角度θｍに応じて仮想カメラ５２の位置と姿勢を変化させることで視線方向ＳＤｃを変化させる。このとき、仮想カメラ５２の視線方向ＳＤｃは、注視点ＲＣを中心として回転することになる。具体的には、ｙ軸周りの湾曲の場合、注視点ＲＣを通りｙ軸に平行な回転軸を中心として視線方向ＳＤｃが回転する。なお以下では、注視点ＲＣを視線方向ＳＤｃの回転中心とも呼ぶ。また、仮想カメラ５２の位置と姿勢を視点とも呼び、湾曲角度θｍに応じて仮想カメラ５２の位置と姿勢を変化させることを、視点を回転させる、とも表記する。

【0032】

仮想カメラ５２の視線方向ＳＤｃと軟性部先端の軸方向ＮＤｍとの成す角度をθｃとする。視線方向ＳＤｃは、この角度θｃによって表される。ｙ軸周りの湾曲の場合、ｚｘ平面において視線方向ＳＤｃと軸方向ＮＤｍとの成す角度がθｃである。即ち、ｙ軸周りの視線方向ＳＤｃの回転角度がθｃである。ｘ軸周りの湾曲の場合には、ｘ軸周りの視線方向ＳＤｃの回転角度がθｃとなる。

【0033】

処理部２１０は、ｘ軸周りの湾曲角度θｘに応じてｘ軸周りの視線方向ＳＤｃの回転角度を制御し、ｙ軸周りの湾曲角度θｙに応じてｙ軸周りの視線方向ＳＤｃの回転角度を制御する。なお以下では、角度θｃで示して説明する内容は、ｘ軸周り及びｙ軸周りのいずれの視点回転にも適用可能である。それらを明示的に区別して説明する場合には、ｘ軸周りの回転角度θｃｘ、ｙ軸周りの回転角度θｃｙと記載する。

【0034】

処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成し、そのＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。これにより、湾曲部４０の湾曲角度に応じて仮想カメラ５２の視点が変化し、画面上において内視鏡画像における撮像方向と３Ｄモデルにおける撮像方向とを略一致させることができる。撮像方向が略一致することで、術者が湾曲操作の操作方向を把握しやすくなる。なお、第１～第６実施形態で後述するように、内視鏡画像における撮像方向と３Ｄモデルにおける撮像方向とが必ずしも一致する必要はなく、湾曲操作方向を直感的に把握できる程度に類似した方向となっていればよい。なお、処理部２１０は、内視鏡３ＤモデルのＣＧ画像と共に、体内３ＤモデルのＣＧ画像を表示してもよい。体内３Ｄモデルは、例えば、ＣＴ又はＭＲＩ等で事前に撮影された断層画像から構築され、内視鏡３Ｄモデルと共にオブジェクト空間に構築される。

【0035】

以上の実施形態では、画像処理装置２００は、取得部２２０と処理部２１０とを含む。取得部２２０は、形状が変化可能なマニピュレータの形状に関する形状情報を取得する。処理部２１０は、形状情報に基づいて、オブジェクト空間における仮想カメラ５２から見たマニピュレータモデルのＣＧ画像を、ディスプレイ２０に表示する。処理部２１０は、形状に応じた回転角度θｃで仮想カメラ５２の視線方向ＳＤｃを回転させる回転処理を行う。

【0036】

本実施形態によれば、マニピュレータに設置された又はマニピュレータが保持する撮像部の撮像方向が、マニピュレータの形状に応じて変化する。このとき、マニピュレータの形状に応じて仮想カメラ５２の視点が変化することで、画面上において、撮像画像における撮像方向とマニピュレータモデルのＣＧ画像における撮像方向とを略一致させることができる。

【0037】

また本実施形態では、マニピュレータは湾曲部４０を含む。取得部２２０は、湾曲部４０の湾曲角度θｒの情報を形状情報として取得する。処理部２１０は、湾曲角度θｒに応じた回転角度θｃで仮想カメラ５２の視線方向ＳＤｃを回転させる回転処理を行う。

【0038】

本実施形態によれば、湾曲部４０の先端に設置された撮像部３０の撮像方向ＩＤｒが、湾曲角度θｒに応じて変化する。このとき、湾曲角度θｒに応じて仮想カメラ５２の視点が変化することで、画面上において、内視鏡画像における撮像方向ＩＤｒと内視鏡３ＤモデルのＣＧ画像における撮像方向ＩＤｍとを略一致させることができる。これにより、術者が３Ｄモデルを見た時に、直感的に湾曲操作の操作方向を把握しやすくなる。

【0039】

また本実施形態では、回転処理は、マニピュレータモデル上に設定された設定点を中心として仮想カメラ５２の視線方向ＳＤｃを回転させる処理である。より具体的には、回転処理は、ｘ軸周りの回転の場合、設定点を通りｘ軸に並行な回転軸を中心とする回転処理であり、ｙ軸周りの回転の場合、設定点を通りｙ軸に並行な回転軸を中心とする回転処理である。

【0040】

本実施形態において、注視点ＲＣが設定点に対応する。上述したように、注視点ＲＣは３Ｄモデルの湾曲部内に設定されていればよい。即ち、設定点は、マニピュレータモデルの先端に限らず、マニピュレータモデル上に設定されていればよい。例えば、操作により形状が変化する部分のなかの任意の位置、又は、形状変化する部分が形状変化しない部分に接続される基端等に、設定点が設定されてもよい。

【0041】

また本実施形態では、マニピュレータシステムは、先端部に撮像部が設けられるマニピュレータと、画像処理装置２００と、ディスプレイ２０と、を含む。画像処理装置２００は、撮像部の撮像方向ＩＤｒに追従する仮想カメラ５２の視線方向ＳＤｃにおけるマニピュレータモデルのＣＧ画像を、ディスプレイ２０に表示する。

【0042】

本実施形態によれば、撮像方向ＩＤｒに仮想カメラ５２の視線方向ＳＤｃが追従することで、マニピュレータモデルのＣＧ画像における撮像方向が、撮像画像における撮像方向に略一致するように、マニピュレータモデルのＣＧ画像が表示される。なお、視線方向が撮像方向に追従するとは、撮像方向の変化に伴って、その変化と同方向に視線方向が変化するという意味であり、視線方向が撮像方向に一致する必要はない。例えば、後述する第２、第３実施形態においては、視線方向が撮像方向に一致するとは限らないが、このような場合も「追従」に含まれる。

【0043】

２．第１実施形態
図５に、第１実施形態における湾曲角度θｍと視線方向ＳＤｃの回転角度θｃとの関係を示す。図６に、第１実施形態における表示例を示す。なお以下では、ｙ軸周りの角度については、＋ｙ方向から見て反時計回りを正の角度とし、ｘ軸周りの角度については、＋ｘ方向から見て反時計回りを正の角度とする。湾曲で言えば、左湾曲及び上湾曲が正角度の湾曲になる。但し、角度の定義はこれに限定されない。

【0044】

図５に示すように、処理部２１０は、－１８０度≦θｍ≦１８０度の全範囲においてθｃ＝θｍに設定する。即ち、処理部２１０は、仮想カメラ５２の視線方向ＳＤｃを、内視鏡の３Ｄモデル５０の湾曲角度θｍに一致させる。これにより、図６に示すように、ＣＧ画像における撮像方向ＩＤｍが、常に画面奥行方向となるので、内視鏡画像における撮像方向ＩＤｒと常に一致する。表示画像ＩＭＢ１は、湾曲部４０が湾曲していないときの表示例であり、表示画像ＩＭＢ２は、湾曲部４０が左方向にＪターンしたときの表示例である。仮想カメラ５２の視線方向ＳＤｃが撮像方向ＩＤｍに一致するように配置されることで、ＣＧ画像における撮像方向ＩＤｍが画面奥行方向となる。

【0045】

図７は、第１実施形態における処理のフローチャートである。ステップＳ１において、処理部２１０は、センサ１０３が検出したワイヤ牽引量から、内視鏡１０の湾曲角度θｒを推定する。具体的には、ワイヤ牽引量と湾曲角度θｒを対応付けるモデルを数式又はルックアップテーブル等を用いて記述しておき、そのモデルを用いてワイヤ牽引量を湾曲角度θｒに変換する。なお、制御装置１００がステップＳ１の処理を行ってもよい。また、湾曲角度θｒを推定するための物理量はワイヤ牽引量に限らず、例えば、操作ノブ回転量、モータ回転量、又はＵＰＤによる形状計測結果等であってもよい。

【0046】

ステップＳ２において、処理部２１０は、湾曲角度θｒから湾曲部の形状を推定する。即ち、処理部２１０は、３Ｄモデルの湾曲角度をθｍ＝θｒに設定し、その湾曲角度θｍで湾曲したときの湾曲部の形状を、３Ｄモデルで再現する。具体的には、処理部２１０は、湾曲部の関節、及び関節を接続するジョイント等の設計情報に基づいて、湾曲角度θｍにおける湾曲部の形状をシミュレートすることで、湾曲角度θｍにおける３Ｄモデルを生成する。

【0047】

ステップＳ３において、処理部２１０は、３Ｄモデルの湾曲部先端に対して、規定の位置関係となる位置に仮想カメラ５２の視点を設定する。具体的には、処理部２１０は、湾曲部の先端又は基端に仮想カメラ５２の注視点ＲＣを設定し、視線方向ＳＤｃの角度をθｃ＝θｍに設定し、それらのパラメータに基づいてオブジェクト空間内に仮想カメラ５２を設置する。

【0048】

ステップＳ４において、処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成する。ステップＳ５において、処理部２１０は、生成されたＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。

【0049】

以上の実施形態では、処理部２１０は、視線方向ＳＤｃの回転角度θｃを湾曲角度θｒに同期して変化させる。回転角度θｃを湾曲角度θｒに同期させるとは、湾曲角度θｒの変化に対してリアルタイムに回転角度θｃを一致させることである。

【0050】

本実施形態によれば、湾曲角度θｒと同じ方向に視線方向ＳＤｃが向くように仮想カメラ５２の視点が回転するので、画面上において、内視鏡画像における撮像方向ＩＤｒと内視鏡３ＤモデルのＣＧ画像における撮像方向ＩＤｍとを一致させることができる。これにより、湾曲角度に関わらず、湾曲操作の操作方向と、３Ｄモデルにおける湾曲部先端の移動方向とが一致するので、術者が操作方向を直感的に把握できる。

【0051】

３．第２実施形態
図８に、第２実施形態における湾曲角度θｍと視線方向ＳＤｃの回転角度θｃとの関係を示す。図９に、第２実施形態におけるＣＧ画像の表示例を示す。

【0052】

図８に示すように、処理部２１０は、｜θｍ｜≦α度の範囲においてθｃ＝０度に設定し、－１８０≦θｍ＜－α度の範囲においてθｃ＝－β度に設定し、α＜θｍ≦１８０度の範囲においてθｃ＝β度に設定する。０＜α＜１８０、０＜β＜１８０である。２α＝βであれば、回転前の視線方向と回転後の視線方向の中央に撮像方向が来たときに視点が切り替わるので、視点の切り替えを把握しやすい。但し、α≦βであればよい。図９には、α＝９０度、β＝１８０度であるときの表示例を示す。α＝９０度の場合には、撮像方向が９０度になったときＣＧ画像が左右反転する。撮像方向は、画面奥行方向から横方向の間で変化し、画面横方向よりも手前側を向くことがない。これにより、内視鏡画像における撮像方向とＣＧ画像における撮像方向の差が９０度以下となり、直感的な湾曲操作が可能となる。

【0053】

図１０は、第２実施形態における処理のフローチャートである。ステップＳ２１において、処理部２１０は、センサ１０３が検出したワイヤ牽引量から、内視鏡１０の湾曲角度θｒを推定する。

【0054】

ステップＳ２２において、処理部２１０は、仮想カメラ５２の視点を内視鏡後方の所定位置に設置する。具体的には、処理部２１０は、湾曲部の基端に注視点ＲＣを設定し、視線方向ＳＤｃの角度をθｃ＝０度に設定する。

【0055】

ステップＳ２３において、処理部２１０は、ｘ軸周りの湾曲角度が｜θｘ｜≧αであるか否かを判定する。｜θｘ｜＜αである場合、ステップＳ２５に進む。｜θｘ｜≧αである場合、ステップＳ２４において、処理部２１０は、注視点ＲＣを中心としてｘ軸周りにβ度だけ仮想カメラ５２の視点を回転させる。具体的には、処理部２１０は、θｘ≦－αである場合、－β度だけ視点を回転させ、θｘ≧＋αである場合、＋β度だけ視点を回転させる。次に、ステップＳ２５に進む。

【0056】

ステップＳ２５において、処理部２１０は、ｙ軸周りの湾曲角度が｜θｙ｜≧αであるか否かを判定する。｜θｙ｜＜αである場合、ステップＳ２７に進む。｜θｙ｜≧αである場合、ステップＳ２６において、処理部２１０は、注視点ＲＣを中心としてｙ軸周りにβ度だけ仮想カメラ５２の視点を回転させる。具体的には、処理部２１０は、θｙ≦－αである場合、－β度だけ視点を回転させ、θｙ≧＋αである場合、＋β度だけ視点を回転させる。次に、ステップＳ２７に進む。

【0057】

ステップＳ２７において、処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成する。ステップＳ２８において、処理部２１０は、生成されたＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。

【0058】

なお、以上では視点を１回のみ切り替える例を示したが、視点を複数回切り替えるように構成してもよい。

【0059】

以上の実施形態では、処理部２１０は、湾曲角度θｒが閾値αを超えるまで回転角度θｃを第１角度に固定する。本実施形態の例では、第１角度は０度であるが、これに限定されない。処理部２１０は、湾曲角度θｒが閾値αを超えたとき、回転角度θｃを、第１角度より大きい第２角度βに切り替える。

【0060】

本実施形態によれば、湾曲角度θｒが所定の角度を超えたときに視点が切り替わるので、視点を切り替えない場合に比べて、内視鏡画像における撮像方向ＩＤｒと内視鏡３ＤモデルのＣＧ画像における撮像方向ＩＤｍとを近くできる。視点が頻繁に回転しないことで、ＣＧ画像から湾曲形状を視認しやすくなる期待できる。

【0061】

４．第３実施形態
図１１に、第３実施形態における湾曲角度θｍと視線方向ＳＤｃの回転角度θｃとの関係を示す。図１２に、第３実施形態におけるＣＧ画像の表示例を示す。

【0062】

図１１に示すように、処理部２１０は、｜θｍ｜≦α１度の範囲においてθｃ＝０度に設定し、α１度＜｜θｍ｜≦α２度の範囲においてθｃを０度から１８０度まで変化させ、α２度＜｜θｍ｜≦１８０度の範囲においてθｃ＝β度に設定する。０＜α１＜α２＜１８０、０＜β＜１８０である。図１２には、α１＝７５度、α２＝１０５度、β＝１８０度であるときの表示例を示す。湾曲角度θｍが７５度から１０５度に変化するとき、仮想カメラの視線方向がθｃ＝０度からθｃ＝１８０度まで回転する。これにより、内視鏡画像における撮像方向とＣＧ画像における撮像方向の差が７５度以下となり、直感的な湾曲操作が可能となる。また、意図的に仮想カメラの視点を変えたこと、及び視点切り替えの意味が分かるようなエフェクトが得られるので、術者がＣＧ画像を見たときに湾曲状態と湾曲操作方向を理解しやすい。

【0063】

図１３は、第３実施形態における処理のフローチャートである。ステップＳ４１において、処理部２１０は、センサ１０３が検出したワイヤ牽引量から、内視鏡１０の湾曲角度θｒを推定する。

【0064】

ステップＳ４２において、処理部２１０は、仮想カメラ５２の視点を内視鏡後方の所定位置に設置する。具体的には、処理部２１０は、湾曲部の基端に注視点ＲＣを設定し、視線方向ＳＤｃの角度をθｃｘ＝θｃｙ＝０度に設定する。

【0065】

ステップＳ４３において、処理部２１０は、ｘ軸周りの湾曲角度が｜θｘ｜≧α１であるか否かを判定する。｜θｘ｜＜α１である場合、ステップＳ４６に進む。｜θｘ｜≧α１である場合、ステップＳ４４において、処理部２１０は、遷移率γを計算する。ｍｉｎ（（｜θｘ｜－α１）／（α２－α１），１）は、（｜θｘ｜－α１）／（α２－α１）と１のうち小さい方を選択する関数であり、ｓｇｎ（θｘ）は、θｘの符号を抽出する関数である。α１≦｜θｘ｜≦α２において０≦γ≦１であり、α２＜｜θｘ｜においてγ＝１である。ステップＳ４５において、処理部２１０は、注視点ＲＣを中心としてｘ軸周りにθｃｘ＝β×γ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ４６に進む。

【0066】

ステップＳ４６において、処理部２１０は、ｙ軸周りの湾曲角度が｜θｙ｜≧α１であるか否かを判定する。｜θｙ｜＜α１である場合、ステップＳ４９に進む。｜θｙ｜≧α１である場合、ステップＳ４７において、処理部２１０は、遷移率γを計算する。ステップＳ４８において、処理部２１０は、注視点ＲＣを中心としてｙ軸周りにθｃｙ＝β×γ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ４９に進む。

【0067】

ステップＳ４９において、処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成する。ステップＳ５０において、処理部２１０は、生成されたＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。

【0068】

以上の実施形態では、処理部２１０は、湾曲角度θｒが第１閾値α１より小さいとき、回転角度θｃを第１固定角度に固定する。本実施形態の例では、第１固定角度は０度であるが、これに限定されない。処理部２１０は、湾曲角度θｒが、第１閾値α１から、第１閾値α１より大きい第２閾値α２までの間のとき、湾曲角度θｒに応じて回転角度θｃを、第１固定角度から、第１固定角度より大きい第２固定角度βまで変化させる。処理部２１０は、湾曲角度θｒが第２閾値α２より大きいとき、回転角度θｃを第２固定角度βに固定する。

【0069】

本実施形態によれば、視点を回転させない場合に比べて、内視鏡画像における撮像方向とＣＧ画像における撮像方向の差を小さくできるので、直感的な湾曲操作が可能となる。また、意図的に仮想カメラの視点を変えたこと、及び視点切り替えの意味が分かるようなエフェクトが得られるので、術者がＣＧ画像を見たときに湾曲状態と湾曲操作方向を理解しやすい。

【0070】

５．第４実施形態
第４実施形態では、湾曲角度に関わらずに仮想カメラ５２の視点を固定する固定モードと、湾曲角度に応じて仮想カメラ５２の視点を回転させる回転モードとが切り替え可能である。

【0071】

操作部４００は、固定モードと回転モードとを切り替える操作入力が可能に構成されている。処理部２１０は、操作部４００によりモードが切り替えられたとき、その入力に応じて固定モード又は回転モードに設定する。処理部２１０は、固定モードにおいて、例えばθｃ＝０度に設定し、回転モードにおいて、上述した第１～第３形態、及び後述する第５、第６実施形態のいずれかの視点回転を行う。

【0072】

以上の実施形態では、処理部２１０は、仮想カメラ５２の視線方向ＳＤｃを回転させる回転処理を行う回転モードと、マニピュレータの形状に関わらず回転角度θｃを固定する固定モードとを、切り替え可能である。

【0073】

本実施形態によれば、術者に応じて回転モードと固定モードを切り替え可能になる。こにより、視点が固定された方が湾曲操作の状態と操作方向を把握しやすい術者と、視点が回転した方が湾曲操作の状態と操作方向を把握しやすい術者のいずれにも、対応可能である。

【0074】

６．第５実施形態
第５実施形態では、ｘ軸周りの湾曲角度θｘがｙ軸周りの湾曲角度θｙより大きい場合には、ｘ軸周りに仮想カメラ５２の視点を回転させ、ｙ軸周りの湾曲角度θｙがｘ軸周りの湾曲角度θｘより大きい場合には、ｙ軸周りに仮想カメラ５２の視点を回転させる。以下、第５実施形態を第２実施形態と第３実施形態に組み合わせた例を説明するが、第５実施形態を第１実施形態に組み合わせてもよい。

【0075】

図１４は、第５実施形態を第２実施形態に組み合わせたときのフローチャートである。ステップＳ６１において、処理部２１０は、センサ１０３が検出したワイヤ牽引量から、内視鏡１０の湾曲角度θｒを推定する。

【0076】

ステップＳ６２において、処理部２１０は、仮想カメラ５２の視点を内視鏡後方の所定位置に設置する。具体的には、処理部２１０は、湾曲部の基端に注視点ＲＣを設定し、視線方向ＳＤｃの角度をθｃ＝０度に設定する。

【0077】

ステップＳ６３において、処理部２１０は、ｘ軸周りの湾曲角度がｘ軸周りの湾曲角度以上であるか否か、つまり｜θｘ｜≧｜θｙ｜であるか否かを判定する。｜θｘ｜≧｜θｙ｜である場合、ステップＳ６４において、処理部２１０は、ｘ軸周りの湾曲角度が｜θｘ｜≧αであるか否かを判定する。｜θｘ｜＜αである場合、ステップＳ６８に進む。｜θｘ｜≧αである場合、ステップＳ６５において、処理部２１０は、注視点ＲＣを中心としてｘ軸周りにβ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ６８に進む。

【0078】

ステップＳ６３において｜θｘ｜＜｜θｙ｜である場合、ステップＳ６６において、処理部２１０は、ｙ軸周りの湾曲角度が｜θｙ｜≧αであるか否かを判定する。｜θｙ｜＜αである場合、ステップＳ６８に進む。｜θｙ｜≧αである場合、ステップＳ６７において、処理部２１０は、注視点ＲＣを中心としてｙ軸周りにβ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ６８に進む。

【0079】

ステップＳ６８において、処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成する。ステップＳ６９において、処理部２１０は、生成されたＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。

【0080】

図１５は、第５実施形態を第３実施形態に組み合わせたときのフローチャートである。ステップＳ８１において、処理部２１０は、センサ１０３が検出したワイヤ牽引量から、内視鏡１０の湾曲角度θｒを推定する。

【0081】

ステップＳ８２において、処理部２１０は、仮想カメラ５２の視点を内視鏡後方の所定位置に設置する。具体的には、処理部２１０は、湾曲部の基端に注視点ＲＣを設定し、視線方向ＳＤｃの角度をθｃｘ＝θｃｙ＝０度に設定する。

【0082】

ステップＳ８３において、処理部２１０は、ｘ軸周りの湾曲角度がｙ軸周りの湾曲角度以上であるか否か、つまり｜θｘ｜≧｜θｙ｜であるか否かを判定する。｜θｘ｜≧｜θｙ｜である場合、ステップＳ８４において、処理部２１０は、ｘ軸周りの湾曲角度が｜θｘ｜≧α１であるか否かを判定する。｜θｘ｜＜α１である場合、ステップＳ９０に進む。｜θｘ｜≧α１である場合、ステップＳ８５において、処理部２１０は、遷移率γを計算する。ステップＳ８６において、処理部２１０は、注視点ＲＣを中心としてｘ軸周りにθｃｘ＝β×γ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ９０に進む。

【0083】

ステップＳ８３において｜θｘ｜＜｜θｙ｜である場合、ステップＳ８７において、処理部２１０は、ｙ軸周りの湾曲角度が｜θｙ｜≧α１であるか否かを判定する。｜θｙ｜＜α１である場合、ステップＳ９０に進む。｜θｙ｜≧α１である場合、ステップＳ８８において、処理部２１０は、遷移率γを計算する。ステップＳ８９において、処理部２１０は、注視点ＲＣを中心としてｘ軸周りにθｃｙ＝β×γ度だけ仮想カメラ５２の視点を回転させる。次に、ステップＳ９０に進む。

【0084】

ステップＳ９０において、処理部２１０は、仮想カメラ５２から見た内視鏡３ＤモデルのＣＧ画像を生成する。ステップＳ９１において、処理部２１０は、生成されたＣＧ画像を内視鏡画像と共にディスプレイ２０に表示する。

【0085】

以上の実施形態では、取得部２２０は、第１軸周りの第１湾曲角度θｘと、第１軸に交差する第２軸周りの第２湾曲角度θｙとの情報を取得する。本実施形態の例では、ｘ軸が第１軸に対応し、ｙ軸が第２軸に対応する。処理部２１０は、第１湾曲角度θｘと第２湾曲角度θｙのうち大きい方の湾曲角度に応じた回転角度θｃで回転処理を行う。

【0086】

本実施形態によれば、ｘ軸周り又はｙ軸周りの一方のみ仮想カメラ５２の視点が回転するので、両方の軸の周りで視点が回転する場合に比べて、ＣＧ画像における視点回転が簡素化される。これにより、ＣＧ画像から湾曲形状を視認しやすくなる期待できる。

【0087】

７．第６実施形態
図１６に、第６実施形態における湾曲部の構成例を示す。湾曲部４０は、第１湾曲部４１と第２湾曲部４２とを含む。なお、第１湾曲部４１を先端湾曲部とも呼び、第２湾曲部４２を基端湾曲部とも呼ぶ。

【0088】

第２湾曲部４２の基端は、湾曲部４０の基端であり、軟性部の先端に接続されている。第１湾曲部４１の基端は、第２湾曲部４２の先端に接続され、第１湾曲部４１の先端に硬質部と撮像部３０が設けられている。第５実施形態では電動内視鏡が想定されており、図１７で後述するモードに応じて第１湾曲部４１と第２湾曲部４２が制御される。モードに応じて、第１湾曲部４１と第２湾曲部４２が独立に制御されてもよいし、協調して制御されてもよい。

【0089】

図１６に示すように、軟性部の先端の軸方向をＮＤｍとし、第２湾曲部４２の先端の軸方向をＩＤ２とし、第１湾曲部４１の先端の軸方向をＩＤ１とする。このとき、ＩＤ１とＩＤ２の成す角度が第１湾曲部４１の湾曲角度θ１であり、ＩＤ２とＮＤｍの成す角度が第２湾曲部４２の湾曲角度θ２である。また、湾曲部４０全体としての湾曲角度はθＡ＝θ１＋θ２となり、これを全体湾曲角度と呼ぶこととする。

【0090】

図１７に、２段湾曲の制御モードの例を示す。制御装置１００は、２段湾曲の制御モードとして、先端湾曲モード、基端湾曲モード、疑似一段モード、及び平行モードを有する。操作部４００は、モード切り替え操作と各モードにおける湾曲操作を受け付け可能に構成される。また制御装置１００は、第１湾曲部４１を湾曲させる第１モータと、第２湾曲部４２を湾曲させる第２モータとを含み、操作部４００の操作入力に応じて第１モータと第２モータを制御することで、第１湾曲部４１と第２湾曲部４２を湾曲駆動する。処理部２１０は、操作部４００により設定されたモードに応じて、仮想カメラ５２の視点制御を切り替える。

【0091】

先端湾曲モードでは、第２湾曲部４２の湾曲角度θ２が固定であり、第１湾曲部４１の湾曲角度θ１が操作入力に応じて可変に制御される。

【0092】

基端湾曲モードでは、第１湾曲部４１の湾曲角度θ１が固定であり、第２湾曲部４２の湾曲角度θ２が操作入力に応じて可変に制御される。

【0093】

先端湾曲モードと基端湾曲モードにおいて、処理部２１０は、第２湾曲部４２の先端に注視点ＲＣを設定し、仮想カメラ５２の視線方向を角度θｃ＝θ２に設定する。なお、注視点ＲＣは第２湾曲部４２内にあればよく、例えば第２湾曲部４２の先端付近にあればよい。また、仮想カメラ５２の視点はθｃ＝θ２に限定されず、第２～第５実施形態で説明した手法が組み合わされてもよい。

【0094】

第１湾曲部４１の可動範囲よりも第２湾曲部４２の可動範囲の方が大きいことから、基端湾曲モードで大まかな湾曲を定めた後に、そこを基準として先端湾曲モードで湾曲を調整して処置等を行う。このため、基準である第２湾曲部４２の湾曲に応じて視点を定める、即ち、仮想カメラ５２の視線方向を角度θｃ＝θ２に設定することで、術者が湾曲操作を直感的に把握しやすくなる。

【0095】

疑似一段モードでは、第１湾曲部４１と第２湾曲部４２が１つの湾曲部として振る舞うように協調制御される。例えば、左湾曲操作が行われたとき、θ１とθ２が共に＋方向に制御され、右湾曲操作が行われたとき、θ１とθ２が共に－方向に制御される。これにより、湾曲部が全体として湾曲角度θＡ＝θ１＋θ２で湾曲した状態となる。

【0096】

並行モードでは、撮像方向が並行移動するように第１湾曲部４１と第２湾曲部４２が制御される。例えば、左方向に操作されたとき、θ２が＋方向に制御され、θ１が－方向に制御される。このとき、θ１＝－θ２となるように制御されることで、撮像方向が一定に保たれたまま撮像部が左方向に並行移動する。

【0097】

疑似一段モードと並行モードにおいて、処理部２１０は、第１湾曲部４１の先端に注視点ＲＣを設定し、仮想カメラ５２の視線方向を角度θｃ＝θＡに設定する。なお、注視点ＲＣは第１湾曲部４１内にあればよく、例えば第１湾曲部４１の先端付近にあればよい。また、仮想カメラ５２の視点はθｃ＝θＡに限定されず、第２～第５実施形態で説明した手法が組み合わされてもよい。

【0098】

以上の実施形態では、湾曲部４０は、第１湾曲部４１と、第１湾曲部４１より基端側に設けられる第２湾曲部４２と、を含む。処理部２１０は、第２湾曲部４２の湾曲角度である第２湾曲部湾曲角度θ２、又は、湾曲部４０の全体としての湾曲角度である全体湾曲角度θＡに応じた回転角度θｃで回転処理を行う。

【0099】

本実施形態によれば、第１湾曲部４１と第２湾曲部４２による２段湾曲において、その湾曲状態に応じて仮想カメラ５２の視点を撮像方向に追従させることができる。これにより、２段湾曲においても、湾曲操作方向の直感的な把握が可能になる。

【0100】

また本実施形態では、処理部２１０は、第２湾曲部湾曲角度θ２に応じた回転角度θｃで回転処理を行う。具体的には、第１湾曲部４１と第２湾曲部４２が個別に制御される先端湾曲モードと基端湾曲モードにおいて、この回転処理が行われる。

【0101】

基準となる大まかな湾曲を定める第２湾曲部４２の湾曲角度θ２に応じて視点を回転させることで、術者が湾曲操作を直感的に把握しやすくなる。

【0102】

また本実施形態では、処理部２１０は、第１湾曲部４１の湾曲方向が、第２湾曲部４２の湾曲方向と同方向又は逆方向に制御される場合に、全体湾曲角度θＡに応じた回転角度θｃで回転処理を行う。具体的には、第１湾曲部４１と第２湾曲部４２が協調して制御される疑似一段モードと並行モードにおいて、この回転処理が行われる。

【0103】

第１湾曲部４１と第２湾曲部４２が協調して制御される場合には、湾曲部４０の先端が向く方向に応じて視点が制御される方が、ＣＧ画像から湾曲状態を把握しやすいと想定される。

【0104】

また本実施形態では、処理部２１０は、第２湾曲部４２が湾曲制御される第１湾曲モードのとき、第２湾曲部湾曲角度θ２に応じた回転角度θｃで回転処理を行う。処理部２１０は、第１湾曲部４１の湾曲方向が、第２湾曲部４２の湾曲方向と同方向に制御される第２湾曲モード、又は、第１湾曲部４１の湾曲方向が、第２湾曲部４２の湾曲方向と逆方向に制御される第３湾曲モードのとき、全体湾曲角度θＡに応じた回転角度θｃで回転処理を行う。本実施形態において、基端湾曲モードが第１湾曲モードに対応し、疑似一段モードが第２湾曲モードに対応し、並行モードが第３湾曲モードに対応する。

【0105】

本実施形態によれば、２段湾曲の様々な湾曲制御モードに応じて、その湾曲制御モードに適切な視点回転を行うことができる。これにより、各湾曲制御モードにおいて、術者に適切な３ＤモデルのＣＧ表示を提示できる。

【0106】

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0107】

１０ 内視鏡、２０ ディスプレイ、３０ 撮像部、４０ 湾曲部、４１ 第１湾曲部、４２ 第２湾曲部、５０ ３Ｄモデル、５２ 仮想カメラ、１００ 制御装置、１０１ モータ、１０２ 駆動回路、１０３ センサ、１０４ 画像インターフェース、２００ 画像処理装置、２１０ 処理部、２２０ 取得部、３００ 内視鏡システム、４００ 操作部、ＩＤｍ，ＩＤｒ 撮像方向、ＲＣ 注視点、ＳＤｃ 視線方向、θｃ 回転角度、θｍ，θｒ 湾曲角度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】