特許 6598982 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6598982

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】内視鏡装置、内視鏡システム、及びそれらを備えた手術システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20191021BHJP

   A61B 1/00 20060101ALI20191021BHJP

   G02B 23/24 20060101ALI20191021BHJP

   A61B 34/10 20160101ALI20191021BHJP

【ＦＩ】

   A61B1/045 610

   A61B1/00 552

   A61B1/00 655

   G02B23/24 B

   A61B34/10

【請求項の数】20

【全頁数】21

(21)【出願番号】特願2018-506729(P2018-506729)

(86)(22)【出願日】2016年3月25日

(86)【国際出願番号】JP2016059672

(87)【国際公開番号】WO2017163407

(87)【国際公開日】20170928

【審査請求日】2018年8月30日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(73)【特許権者】

【識別番号】514063179

【氏名又は名称】株式会社メディカロイド

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】石川 徹朗

(72)【発明者】

【氏名】濱谷 正人

(72)【発明者】

【氏名】長塚 淳

(72)【発明者】

【氏名】渡辺 俊二

(72)【発明者】

【氏名】井上 次郎

(72)【発明者】

【氏名】橋本 康彦

(72)【発明者】

【氏名】田中 博文

(72)【発明者】

【氏名】田村 悦之

(72)【発明者】

【氏名】平塚 充一

【審査官】 亀澤 智博

(56)【参考文献】

【文献】 国際公開第２０１０／０５０２４３（ＷＯ，Ａ１）

【文献】 特開２００６−２８８８６９（ＪＰ，Ａ）

【文献】 特開平１０−０４３１２７（ＪＰ，Ａ）

【文献】 特表２００８−５２８１３０（ＪＰ，Ａ）

【文献】 特開平０８−３３２１６９（ＪＰ，Ａ）

【文献】 特開平０７−３２７９２１（ＪＰ，Ａ）

【文献】 特開２００４−２８９２２５（ＪＰ，Ａ）

【文献】 特開平１１−１１３８３６（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１９１７８４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ − １／３２

Ｇ０２Ｂ ２３／２４ −２３／２６

Ａ６１Ｂ ３４／００ −３４／３７

(57)【特許請求の範囲】

【請求項1】

筒状筐体の先端部分に撮像デバイスを備え、被検体の体内の画像を取得する１又は複数の内視鏡と、
複数の関節のそれぞれに対応づけて位置検出器が設けられた、前記１又は複数の内視鏡を保持する１又は複数の内視鏡アームと、
前記１又は複数の内視鏡により取得した複数の画像を処理する制御装置を備え、
前記制御装置は、前記位置検出器を用いて取得された前記撮像デバイスの位置情報と、前記撮像デバイスで取得した各画像の特徴点を用いて前記各画像をつなぎ合わせて合成画像を生成する、内視鏡装置。

【請求項2】

請求項１において、
３つ以上の前記内視鏡と、
前記３つ以上の内視鏡に電気的に接続され、前記３つ以上の内視鏡のそれぞれが取得した画像を処理する前記制御装置とを備え、
前記複数の画像は、前記３つ以上の内視鏡の前記撮像デバイスによって取得される、内視鏡装置。

【請求項3】

請求項２において、
前記３つ以上の内視鏡が取得する少なくとも３つの画像には、互いに重なり合う領域が存在し、
前記制御装置は、前記各画像の特徴点を用いて前記互いに重なり合う領域を特定し、前記合成画像を生成する、内視鏡装置。

【請求項4】

請求項２又は３において、
前記３つ以上の内視鏡が備える各撮像デバイスは、視野角が９０度以上のレンズを含む、内視鏡装置。

【請求項5】

請求項２から４の何れか１項において、
さらに、画像を格納するためのメモリを備え、
前記制御装置は、前記３つ以上の内視鏡が前記被検体の体内に挿入されたときから前記各撮像デバイスによって取得された合成前の画像と、前記３つ以上の内視鏡が前記被検体の体内に挿入されたときからの前記合成画像と、を前記メモリに格納し、入力された指示に応答して前記メモリから所定時点における前記合成画像を読み出す、内視鏡装置。

【請求項6】

請求項１において、
前記内視鏡の筒状筐体の少なくとも先端部分を回転させる回転駆動制御部を備え、
前記撮像デバイスの光軸は、前記筒状筐体の先端部分の回転軸と所定の角度をなし、
前記複数の画像は、前記内視鏡の前記筒状筐体の先端部分を回転させて前記撮像デバイスにより取得される、内視鏡装置。

【請求項7】

請求項６において、
前記回転軸は、前記筒状筐体の長手方向と同一であり、
前記撮像デバイスは、前記回転軸に対して傾斜して前記筒状筐体の先端部分に配置され、前記撮像デバイスの光軸と前記回転軸とが前記所定の角度をなす、内視鏡装置。

【請求項8】

請求項６又は７において、
前記撮像デバイスの光軸と前記回転軸とがなす前記所定の角度は、前記撮像デバイスのレンズの視野角の１／２である、内視鏡装置。

【請求項9】

請求項６から８の何れか１項において、
前記撮像デバイスのレンズは、中心窩レンズである、内視鏡装置。

【請求項10】

請求項６から９の何れか１項において、
前記筒状筐体の先端部分には、シースが取り付けられている、内視鏡装置。

【請求項11】

請求項１０において、
前記シースは先端部分が丸みを持ち、かつ透明である、内視鏡装置。

【請求項12】

請求項６において、
３つ以上の前記内視鏡を備え、
前記複数の画像は、前記３つ以上の内視鏡の各筒状筐体の先端部分を回転させながら前記各撮像デバイスによって取得される、内視鏡装置。

【請求項13】

請求項６から１２の何れか１項において、
前記制御装置は、入力された指示に応答して、前記各筒状筐体の先端部分の回転を停止し、当該回転を停止した状態で撮像デバイスの少なくとも１つによって前記複数の画像を取得する、内視鏡装置。

【請求項14】

請求項１３において、
前記回転を停止した状態で取得され表示される画像は、前記各筒状筐体の先端部分を回転させながら取得した画像よりも高画質である、内視鏡装置。

【請求項15】

請求項１３又は１４において、
前記入力された指示は、前記回転を停止した状態で画像を取得する前記体内の対象の位置の情報を含み、
前記制御装置は、前記対象の位置を撮像可能な撮像デバイスによってのみ取得された画像を取得する、内視鏡装置。

【請求項16】

筒状筐体の先端部分に撮像デバイスを備え、被検体の体内の画像を取得する１又は複数の内視鏡と、
複数の関節のそれぞれに対応づけて位置検出器が設けられた、前記１又は複数の内視鏡を保持する１又は複数の内視鏡アームとを含む内視鏡装置を備えるロボットカートと、
前記内視鏡アームを操作するための指示を送信するコンソール装置と、
前記内視鏡装置によって撮像された画像を表示画面上に表示する表示装置と、を備え、
前記内視鏡装置は、
前記１又は複数の内視鏡により取得した複数の画像を処理する制御装置を備え、
前記制御装置は、前記位置検出器を用いて取得された前記撮像デバイスの位置情報と、前記撮像デバイスで取得した各画像の特徴点を用いて前記各画像をつなぎ合わせて合成画像を生成する、内視鏡システム。

【請求項17】

請求項１６において、
前記内視鏡装置は、３つ以上の前記内視鏡を備え、
前記複数の画像は、前記３つ以上の内視鏡の前記撮像デバイスによって取得される、内視鏡システム。

【請求項18】

請求項１６において、
前記内視鏡装置は、前記内視鏡の筒状筐体の少なくとも先端部分を回転させる回転駆動部を備え、
前記撮像デバイスの光軸は、前記筒状筐体の先端部分の回転軸と所定の角度をなし、
前記複数の画像は、前記内視鏡の前記筒状筐体の先端部分を回転させて前記撮像デバイスにより取得される、内視鏡システム。

【請求項19】

請求項１８において、
前記内視鏡装置は、前記内視鏡を３つ以上備え、
前記回転駆動部は、前記３つ以上の内視鏡の筒状筐体の少なくとも先端部分をそれぞれ回転させ、
前記３つ以上の内視鏡の各撮像デバイスの光軸は、対応する前記筒状筐体の先端部分の回転角と所定の角度をなし、
前記複数の画像は、前記３つ以上の内視鏡の各筒状筐体の先端部分を回転させながら前記各撮像デバイスにより取得される、内視鏡システム。

【請求項20】

請求項１６から１８の何れか１項に記載の内視鏡システムを備え、
前記ロボットカートは、手術器具が取り付けられる手術用アームをさらに備え、
前記コンソール装置は、前記手術用アームを操作するための指示を送信する、手術システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡装置、及びそれを備えた手術システムに関する。

【背景技術】

【0002】

近年、小さい切開部を通して体内の手術部位に導入されるカメラおよび細長い手術器具を使用し、トロカールスリーブまたはカニューレを通して、患者を手術するための低侵襲手術（Minimally Invasive Surgery; MIS）技術が注目されている。手術部位は、多くの場合、患者の腹部等の体腔を含む。体腔は任意で、吹送ガス等の透明流体を使用して拡張される。一般的に、低侵襲手術において、医師等の術者は、細長い手術器具のエンドエフェクタを用い、当該手術器具のハンドルを作動させ、ビデオモニタで手術部位を見ながら組織を操作する。

【0003】

低侵襲手術の一般的な形態は、内視鏡検査である。腹腔鏡検査は、腹腔の内部で低侵襲検査および手術を実行するための、内視鏡検査の一種である。標準的な腹腔鏡手術においては、カニューレスリーブを小さい（一般に、１／２インチ以下）切開部に通過させ、腹腔鏡手術器具用の入口ポートが設定される。また、患者の腹部にはガスが吹送され、腹腔内を一定容積の空間が形成される。

【0004】

腹腔鏡手術器具は、腹腔鏡（腹腔内の手術野を見るために適用された内視鏡の一種）および作業ツールを含んでいる。当該作業ツールは、各ツールの作業端またはエンドエフェクタが、ツールシャフトによってそのハンドルから分離されていることを除き、従来の切開手術において使用されるものと同様である。

【0005】

このような腹腔鏡を有する手術システムに関し、例えば、特許文献１には、手術用器具を移動するためのマニピュレータのようなロボットマニピュレータ、腹腔鏡を支持し、それらを患者身体中の所望の手術部位と整列する、最小侵襲的ロボット手術システムが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４−０２８２９６号公報

【発明の概要】

【0007】

特許文献１に開示されるような従来の手術システムでは、手術部位及びその周辺部位に関して取得できる画像の範囲が限定されている。例えば、腹腔鏡に設けられたカメラの背後（例えば、腹腔鏡の筒状筐体の根元に近い部分（カニューレ近傍））の画像を取得することは困難である。

【0008】

（i）本実施形態による内視鏡装置は、それぞれが筒状筐体（円筒形に限られるものであはない）の先端部分に撮像デバイスを備え、被検体の体内の画像を取得する、３つ以上の内視鏡と、３つ以上の内視鏡に電気的に接続し、３つ以上の内視鏡のそれぞれが取得した画像を処理する制御装置と、を備える。当該制御装置は、３つ以上の内視鏡の各撮像デバイスの位置情報と各撮像デバイスが取得した各画像の特徴点とを用いて各画像を繋ぎ合わせて合成画像を生成する。

【0009】

（ii）本実施形態による別の態様の内視鏡装置は、筒状筐体の先端部分に撮像デバイスを備え、被検体の腹腔内の画像を取得する内視鏡と、内視鏡の筒状筐体の少なくとも先端部分を回転させる回転駆動制御部と、内視鏡に電気的に接続し、内視鏡が取得した画像を処理する制御装置と、を備える。撮像デバイスの光軸は、筒状筐体の先端部分の回転軸と所定の角度をなしている。制御装置は、内視鏡の筒状筐体の先端部分を回転させながら撮像デバイスで取得した画像を繋ぎ合わせて合成画像を生成する。

【0010】

（iii）本実施形態による内視鏡システムは、内視鏡装置と、手術器具が取り付けられる手術用アームと、を備えるロボットカートと、ロボットカートの内視鏡と手術用アームとを操作するための指示を送信するコンソール装置と、内視鏡装置によって撮像された画像を表示画面上に表示する表示装置と、を備える。内視鏡装置は、それぞれが筒状筐体の先端部分に撮像デバイスを備え、被検体の体内の画像を取得する、３つ以上の内視鏡と、３つ以上の内視鏡に電気的に接続し、３つ以上の内視鏡のそれぞれが取得した画像を処理する制御装置と、を備える。制御装置は、各撮像デバイスが取得した各画像の特徴点を用いて各画像を繋ぎ合わせて合成画像を生成する。

【0011】

（iv）本実施形態による別の態様の内視鏡システムは、内視鏡装置と、手術器具が取り付けられる手術用アームと、を備えるロボットカートと、ロボットカートの内視鏡と手術用アームとを操作するための指示を送信するコンソール装置と、内視鏡装置によって撮像された画像を表示画面上に表示する表示装置と、を備える。内視鏡装置は、筒状筐体の先端部分に撮像デバイスを備え、被検体の体内の画像を取得する内視鏡と、内視鏡の筒状筐体の少なくとも先端部分を回転させる回転駆動部と、前記内視鏡に電気的に接続し、前記内視鏡が取得した画像を処理する制御装置と、を備える。撮像デバイスの光軸は、筒状筐体の先端部分の回転軸と所定の角度をなしている。制御装置は、内視鏡の筒状筐体の先端部分を回転させながら撮像デバイスで取得した画像を繋ぎ合わせて合成画像を生成する。

【0012】

（v）本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例を如何なる意味に於いても限定するものではないことを理解する必要がある。

【図面の簡単な説明】

【0013】

【図1】実施形態による手術システム（手術用ロボットシステムとも呼ぶことができる）１の概略構成例を示す図である。

【図2】第１の実施形態による患者側カート２０の内部構成例を示す図である。

【図3】第１の実施形態における合成画像生成処理を説明するためのフローチャートである。

【図4】撮像デバイスの視野を模式的に示し、本開示において３つ以上の内視鏡を設けた理由を説明するための図である。

【図5】第２の実施形態による患者側カート２０の構成例を示す図である。

【図6】先端部分に丸みを持たせた透明シース６１を被せた内視鏡アーム２７の先端部分を示す図である。

【図7】内視鏡アーム２７の先端部分を回転させたときに確保される視野について説明するための図である。

【図8】第２の実施形態における合成画像生成処理を説明するためのフローチャートである。

【図9】第３の実施形態による患者側カート２０の構成例を示す図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して本開示の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った具体的な実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。

【0015】

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0016】

更に、本開示の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

【0017】

以下では「プログラムとしての各処理部（例えば、画像処理部等）」を主語（動作主体）として本開示の実施形態における各処理について説明を行うが、プログラムはプロセッサ（ＣＰＵ等：単に制御装置とも言うことも可能）によって実行されることで定められた処理をメモリ及び通信ポート（通信制御装置）を用いながら行うため、プロセッサを主語とした説明としてもよい。

【0018】

（１）第１の実施形態
第１の実施形態は、例えば、３以上の内視鏡アームを含む内視鏡装置を備える患者側カート（手術用ロボットとも言う）と、患者側カートを操作するためのコンソール装置と、を備える手術システムについて開示する。内視鏡装置では、例えば、３つ以上の内視鏡の各撮像デバイスが取得した各画像の特徴点を用いて記各画像を繋ぎ合わせて合成画像が生成され、当該合成画像が表示画面上に表示される。３つの視野の画像から合成画像を生成し、術者に提供するので、広範囲の画像を提供でき、術者が術中に様々な箇所を目視確認することが可能となる（開腹手術のような視野の広さを確保しながら内視鏡手術を実現することが可能）。また、例えば、３つ以上の内視鏡を適切な位置に配置することにより、体内（腹腔内や胸腔内）に内視鏡を挿入した際の内視鏡の進入経路の画像をリアルタイムに取得することも可能であり、この場合、内視鏡が体内の周辺臓器を圧迫しているか否かも確認することが可能となる。

【0019】

上記３つ以上の内視鏡が備える各撮像デバイスのレンズとしては、例えば視野角が９０度以上のレンズ（例えば、中心窩レンズ）を用いることが可能である。中心窩レンズを用いた場合、１８０度程度の視野を確保することができ、人の視野のように、視野中心ははっきりと見え、視野の周辺領域はぼんやりと見える。

【0020】

上述のようにリアルタイムで内視鏡の進入経路を確認することもできるが、３つ以上の内視鏡は必ずしも最適な位置から挿入できるとは限らない。そこで、例えば、３つ以上の内視鏡が患者（被検体）の体内に挿入されたときから各撮像デバイスによって取得された合成前の画像と、３つ以上の内視鏡が被検体の体内に挿入されたときからの合成画像と、を例えばメモリに保持しておく。そして、術者によって入力された指示に応答して、メモリから所定時点における合成画像や合成前の画像を表示画面上に表示することも可能である。例えば、内視鏡の侵入経路の過去の画像を術中の画像と併せて表示することにより、術者は、内視鏡の挿入過程に間違いが無かったか確認することが可能となる。

【0021】

＜手術システムの構成＞
図１は、実施形態による手術システム（手術用ロボットシステムとも呼ぶことができる）１の概略構成例を示す図である。

【0022】

手術システム１は、例えば、術者（例えば外科医）Ｏが操作するコンソール装置１０と、コンソール装置１０からの指示に基づいて手術台４０に横たわった患者（被検体とも呼ぶことが可能である）Ｐに対して所定の手術を施すための患者側カート（手術用ロボットカートと呼ぶことも可能である）２０と、表示装置３０と、を備える。図１においては、コンソール装置１０、患者側カート２０、及び表示装置３０は、例えば有線で接続されているが、無線ネットワーク（例えば、インターネットや無線ＬＡＮなど）によって接続されるように構成しても良い。

【0023】

コンソール装置１０は、所定の動作や処理を制御するプロセッサ（ＣＰＵや制御装置とも呼ぶことができる）１１と、術者Ｏが患者側カート２０に取り付けられた内視鏡アームや手術用アームを遠隔操作するための左右の操作部（マニュピレータ）１２及び１３と、後述の内視鏡からの画像を表示するための表示部１４と、患者側カート２０と情報やデータの送受信をするための通信部１５と、を備える。また、コンソール装置１０は、図示しないが、少なくとも１つのフットペダルを含んでいても良い。右操作部１２と左操作部１３は、例えば術者Ｏが自身の手で握って患者側カート２０を操作する把持入力機構である。術者Ｏはコンソール装置１０の右操作部１２（把持入力機構）及び左操作部１３（把持入力機構）入力装置を操作することを通じて、患者側カート２０に取り付けられた１又は複数の手術用アームや内視鏡アームを遠隔操作することができる。これにより、手術用アームに取り付けられた手術器具（それらのエンドエフェクタを含む）や内視鏡アームに取り付けられた内視鏡の所望の動作を実現することが可能になっている。従って、コンソール装置１０は、所望の外科的処置を実行する際に、患者側カート２０を操作するためのマスタコントローラとして機能するものである。また、患者側カート２０に取り付けられた手術器具や内視鏡の動作以外の機能を制御するためのコマンドも、コンソール装置１０を通じて患者側カート２０に提供されることもある。例えば、図示しないフットペダルを用いて、患者側カート２０の手術用アームに取り付けられた電気手術器具へ電気手術エネルギを供給するための焼灼コマンドをコンソール装置１０から患者側カート２０に送ることができる。ただし、手術システム１においては、コンソール装置１０によって患者側カート２０に取り付けられた内視鏡や手術器具を操作することができるだけでなく、例えば、患者側カート２０におけるカート側操作部２００を用いて手術器具等の操作を実現するように構成しても良い。例えば、患者側カート２０における内視鏡や手術器具は、患者側カート２０を直接操作する手術補助者Ａや別の術者（例えば、外科医）によって、操作される場合もある。なお、コンソール装置１０の入力装置は、把持機構又はフットペダル以外の、例えば、ジョイスティック、運動センサ、スイッチ、親指／指制御等の態様を採ることも可能である。なお、上述の「エンドエフェクタ」とは手術器具の実際の作業部分（通常、先端部分）を意味し、例えば、鉗子、把持器、剪刀、吻合器、撮像レンズ、および持針器を含み得る。内視鏡（腹腔鏡或いは胸腔鏡）用のエンドエフェクタは、例えば、ツールシャフトを介してカメラおよびランプに光学的に連結され得るレンズおよび光源（後述の構成では照明用光源２１２は内視鏡装置２１の本体部に含まれる）を含む場合がある。手術手順を実行するためには、術者Ｏ或いは手術補助者Ａ執刀医は、カニューレスリーブを介してこれらの作業ツールまたは器具を体内の手術部位に渡し、腹部の外側からそれらを操作する。

【0024】

患者側カート２０は、例えば、少なくとも３つの内視鏡アーム２２乃至２４を備える内視鏡装置２１と、少なくとも２つの手術用アーム２５及び２６と、カート側操作部２００と、を備える。内視鏡アーム２２乃至２４と手術用アーム２５及び２６とを総称して患者側マニュピレータアームと呼ぶことも可能である。少なくとも３つの内視鏡アーム２２乃至２４にはそれぞれ、先端に撮像デバイス（例えば、ＣＭＯＳセンサやＣＣＤ。単にカメラと言うことも可能である。以下同様）が備えつけられている。当該撮像デバイスは、各内視鏡アーム２２乃至２４から着脱可能に構成しても良い。少なくとも２つの手術用アーム２５及び２６には術式に応じた手術器具が着脱可能に取り付けられている。内視鏡アーム２２乃至２４及び手術用アーム２５及び２６のそれぞれは、例えば、複数の関節部２２１乃至２２３、２３１乃至２３３、２４１乃至２４３、２５１乃至２５４、及び２６１乃至２６４を備えている。設定される関節部の数は図示したものに限定されず、任意に設定可能である。各関節部には、アームの各可動要素の回転方向及び回転各を検出する位置検出器と、各可動要素を駆動するためのアクチュエータが対応付けられて備えられている（図示せず）。位置検出器としては例えばエンコーダであるが、レゾルバやポテンショメータであってもよい。各関節部の回転方向及び回転角度の情報、各関節部間の長さの情報（可動要素の長さ寸法。予め決まっている）、アーム先端側最終関節部からアーム先端部までの長さ（予め決まっている）、及び取り付けられる手術器具や撮像デバイスの長さ（予め決まっている）に基づいて、患者Ｐの体内（例えば、腹腔内や胸腔内）における内視鏡の撮像デバイスの位置及び患者Ｐの体内における手術器具の先端や所定の部分の位置を特定することができる。ここで、内視鏡とは、腹腔手術に用いられる腹腔鏡と肺手術に用いられる胸腔鏡とを含む概念であり、例えば、硬性内視鏡と呼ぶことができる。

【0025】

表示装置３０は、例えば患者側カート２０とは独立したオープンな場所に設置され（コンソール装置１０の表示部１４のように術者Ｏ専用ディスプレイとして設けられている訳ではない）、患者側カート２０の内視鏡アーム２２乃至２４に取り付けられた撮像デバイス（例えば、ＣＭＯＳセンサやＣＣＤなど）によって取得された画像を表示画面上に表示する。これにより、遠隔的に施術する術者Ｏだけでなく、手術補助者Ａや別のスタッフも術中の様子を確認することができるようになる。表示装置３０の動作は、例えば、患者側カート２０におけるＣＰＵ（プロセッサや制御装置と呼びこともできる）によって制御しても良い。図１において、表示装置３０は、患者側カート２０に一体のものとして設けても良い。

【0026】

＜患者側カートの構成＞
図２は、第１の実施形態による患者側カート２０の内部構成例を示す図である。患者側カート２０は、ロボットアームを含むロボットカートであり、内視鏡及び内視鏡アームを制御する内視鏡装置２１と、手術用アームを制御するその他の部分とに分けて説明することができる。内視鏡装置２１を含む一方で手術用アームは含まないロボットカートをコンソール装置１０で遠隔操作するシステムは内視鏡システムであり、ロボットカートが手術用アームも備え、コンソール装置１０の操作により手術器具と内視鏡を操作することにより手術を行うシステムは手術システムである。

【0027】

内視鏡装置２１は、例えば、装置全体を制御するＣＰＵ（プロセッサや制御装置と呼ぶこともできる）２１１と、内視鏡の撮像デバイスに光源を提供する照明用光源２１２と、ＣＰＵ２１１の指示に応答して照明用光源２１２の動作を制御する光源制御部２１３と、内視鏡の撮像デバイスの撮像動作を制御する撮像制御部２１５と、撮像デバイスによって取得した画像を処理する画像処理部２１６と、各内視鏡アーム２２乃至２４を駆動制御する内視鏡アーム駆動制御部２１４と、を備える。また、第１の実施形態による内視鏡装置２１には、例えば、少なくとも３つの内視鏡アーム２２乃至２４が取り付けられている。なお、内視鏡アーム２２乃至２４を含めて内視鏡装置２１としても良い。図２は、患者側カート２０の機能ブロック図として示されているが、光源制御部２１３、内視鏡アーム駆動制御部２１４、撮像制御部２１５、画像処理部２１６、及び手術用アーム駆動制御部２０４をプログラムとして実現しても良い。この場合、ＣＰＵ２０１やＣＰＵ２１１が各種プログラムを実行し、所定の処理動作を実現することになる。

【0028】

内視鏡アーム２２乃至２４は、例えば、複数の関節部２２１乃至２２３、２３１乃至２３３、及び２４１乃至２４３と、光学アダプタ２２４乃至２４４と、各関節間の可動要素（参照番号なし）と、を備えている。複数の関節部２２１乃至２２３、２３１乃至２３３、２４１乃至２４３は、図示しない複数の位置検出器（例えばエンコーダ）が各関節に対応付けられて備えられ、それぞれの位置検出器は各関節部が回転する方向及び角度を検出することができる。位置検出器によって検出された各関節部の回転方向及び角度の情報は、撮像制御部２１５を介して、或いは撮像制御部２１５を介さずに直接、画像処理部２１６に提供される。内視鏡アーム２２乃至２４の先端に取り付けられた光学アダプタ２２４乃至２４４は、撮像デバイス２２４１乃至２４４１と、照明用光源２１２からの光を照射するための照明光学系２２４２乃至２４４２と、を備える。撮像デバイス２２４１乃至２４４１は、例えば、伝送ライン（伝送路：有線でも無線でも良い）を介して撮像制御部２１５と接続されている。撮像デバイス２２４１乃至２４４１に用いられるレンズはなるべく広角の視野を確保できるレンズ（例えば、画角（視野角）が９０度以上１８０度以下）が好ましく、例えば、中心窩レンズが用いられる。例えば、魚眼レンズを用いても良い。照明光学系２２４２乃至２４４２は、例えば光ファイバを介して照明用光源２１２と接続されている。内視鏡アーム２２乃至２４の先端部分にさらに関節を設け、撮像デバイス２２４１乃至２４４１の撮像方向を先端部分の動作によって変化させることができるようにしても良い。内視鏡アーム２２乃至２４の先端部（例えば、少なくとも、最終関節部２２３乃至２４３から先端までの部分であって、患者Ｐの体内（例えば、腹腔内或いは胸腔内）に挿入される部分）の筒状筐体の径はなるべく小さい方が好ましい。径が小さければ小さいほど患者Ｐの体内に挿入しても術後に縫合しなくても済むし、より多くの内視鏡アームを患者Ｐの体内に挿入することが可能だからである。筒状筐体としては例えば円筒形のものが適用可能であるが、円筒形に限らず、別の形の筒状筐体（例えば、楕円筒形や多角筒形等でも良い）を用いることも可能である。

【0029】

光源制御部２１３は、術者Ｏや手術補助者Ａから与えられた指示（例えば、ＣＰＵ２１１を介して与えらえる）に応答して、照明用光源（例えば、ＬＥＤ、キセノンランプ、水銀ランプ、ハロゲンランプ、メタルハライドランプ等）２１２の照射光量（強度）や色を調整する。なお、照明用光源の他に、例えば、ＬＤ（レーザダイオード）を設け、当該ＬＤをコヒーレントな光によって患者の臓器などの切開や止血を行うためのレーザメスとして機能させても良い。この場合、ＬＤの出力は、例えば、光源制御部２１３によって制御することができる。

【0030】

撮像制御部２１５は、例えば、撮像デバイス２２４１乃至２４４１と接続された信号線を介して制御信号を出力し、撮像デバイス２２４１乃至２４４１を制御する。撮像制御部２１５は、例えば、撮像デバイス２２４１乃至２４４１から出力された画像のデータをタイムスタンプと共に図示しない画像メモリに格納する。

【0031】

画像処理部２１６は、図示しない画像メモリから撮像デバイス２２４１乃至２４４１のそれぞれが取得した画像を取得する。画像処理部２１６は、複数の関節部２２１乃至２２３、２３１乃至２３３、２４１乃至２４３の回転方向及び角度の情報（位置検出器によって検知）と、各関節部間（可動要素）の長さの情報と、内視鏡アーム先端からそれに一番近い関節部までの長さの情報とを取得し、撮像デバイス２２４１乃至２４４１のそれぞれの、患者Ｐの体内（例えば、腹腔内、或いは胸腔内）における位置を特定（算出）する。なお、各関節部間（可動要素）の長さの情報と、内視鏡アーム先端からそれに一番近い関節部までの長さの情報とは、例えば、予め図示しないメモリ（画像メモリ内のメモリ領域を使用しても良い）に保持されている。画像処理部２１６は、特定した撮像デバイスの位置の情報（例えば、基準点からの距離及び基準点からの方向及び角度を含む情報）及び／又は各画像の特徴点（特徴量）に基づいて、３つ以上の撮像デバイス２２４１乃至２４４１からの画像を繋ぎ合わせ、合成画像を生成する。各画像の特徴点は、例えば、フーリエ変換や離散コサイン変換などを用いたり、エッジフィルタ処理を各画像に施したりすることによって抽出することができる。各画像の特徴点を抽出した後、例えばパターンマッチングの手法を用いて各画像を繋ぎ合わせることができる。

【0032】

内視鏡アーム駆動制御部２１４は、例えば、内視鏡アーム２２乃至２４がコンソール装置１０の操作部１２及び１３によって指示された動作をするように、或いはカート側操作部２００によって指示された動作をするように、ＣＰＵ２１１から当該指示を受け取り、当該指示に応答して各関節部２２１乃至２２３、２３１乃至２３３、２４１乃至２４３に設けられたモータ（図示せず）を駆動させる。

【0033】

患者側カート２０の内視鏡装置２１以外の構成は、例えば、内視鏡装置２１以外の部分の動作を制御するＣＰＵ（プロセッサや制御装置と呼ぶこともできる）２０１と、コンソール装置１０と通信をするための通信部２０３と、例えば手術補助者Ａが患者側カート２０を操作するためのカート側操作部２００と、各手術用アーム２５及び２６を駆動制御する手術用アーム駆動制御部２０４と、少なくとも２つの手術用アーム２５及び２６と、を備える。図２では、ＣＰＵ２０１とは別に内視鏡装置２１用のＣＰＵ２１１を設けているが、内視鏡装置２１を含む患者側カート２０の全体の動作を１つのＣＰＵ（ＣＰＵ２０１及びＣＰＵ２１１のどちらか一方）で制御するようにしても良い。

【0034】

手術用アーム２５及び２６は、例えば、複数の関節部２５１乃至２５４及び２６１乃至２６４と、各関節間の可動要素（参照番号なし）と、先端部分に手術器具用アダプタ２５５及び２６５と、を備えている。複数の関節部２５１乃至２５４及び２６１乃至２６４は、図示しない複数の位置検出器が各関節部に対応付けて備えられ、各関節部が回転する角度及び方向を検出することができる。位置検出器によって検出された各関節部の回転方向及び角度の情報は、ＣＰＵ２０１に提供される。

【0035】

カート側操作部２００は、把持機構又はフットペダル以外の様々な態様を採ることができ、限定されるものではないが、例えば、ジョイスティック、運動センサ、スイッチ、親指／指制御等で構成される。

【0036】

通信部２０３は、コンソール装置１０からの操作指示を受信し、ＣＰＵ２０１や内視鏡装置２１のＣＰＵ２１１に当該受信した指示を提供する。ＣＰＵ２０１及びＣＰＵ２１１は、受け取った指示に基づいて、内視鏡装置２１の内視鏡アーム２２乃至２４や手術用アーム２５及び２６の動作を制御する。

【0037】

手術用アーム駆動制御部２０４は、手術用アーム２５及び２６がコンソール装置１０の操作部１２及び１３によって指示された指令を実行するように、或いはカート側操作部２００によって指示された指令を実行するように、ＣＰＵ２０１から当該指令を受け取り、当該指令に応答して各関節部２５１乃至２５４及び２６１乃至２６５に設けられたアクチュエータ（図示せず）を駆動させる。アクチュエータは、例えばサーボモータである。

【0038】

＜合成画像生成処理＞
図３は、第１の実施形態における合成画像生成処理を説明するためのフローチャートである。当該合成画像生成処理は、例えば、画像処理部２１６によって実行されるが、上述のように画像処理部２１６をプログラムで実現した場合には動作主体はＣＰＵ２１１となる。以下では、画像処理部２１６を動作主体として合成画像生成処理について説明するが、ＣＰＵ２１１と読み替えて理解しても良い。

【0039】

（i）ステップ３０１及びステップ３０７
画像処理部２１６は、時間ｔ_１〜ｔ_ｎにおいて撮像デバイス２２４１乃至２４４１が取得した各画像に対してステップ３０２〜ステップ３０６の処理を繰り返し実行する。当該合成画像生成処理は、例えば、手術開始から手術終了まで実行するとした場合、手術開始時間をｔ_１とし、手術終了時間をｔｎとする。撮像デバイス２２４１乃至２４４１が例えば１秒間に３０フレームを撮像する場合、各画像の取得時間間隔は１／３０秒である。合成画像生成処理はフレーム単位で実行してもフィールド単位（１／６０秒毎に１フィールド画像）で実行しても良い。

【0040】

（ii）ステップ３０２
画像処理部２１６は、図示しない画像メモリから、時間ｔ_ｋにおいて撮像デバイス２２４１乃至２４４１によって取得された画像（例えば、３フレーム以上のデジタル画像）を読み込む。当該ステップでは、同一時間に撮像された３フレーム以上の画像が取得される。

【0041】

（iii）ステップ３０３
画像処理部２１６は、内視鏡アーム２２乃至２４の各先端部分に取り付けられた撮像デバイス２２４１乃至２４４１の、患者Ｐの体内（例えば、腹腔内、胸腔内）における位置を算出する。具体的に、画像処理部２１６は、例えば、図示しないメモリから、複数の関節部２２１乃至２２３、２３１乃至２３３、２４１乃至２４３の回転方向及び角度の情報（位置検出器によって検知）と、予め決められた各関節部間（可動要素）の長さの情報と、予め決められた内視鏡アーム先端からそれに一番近い関節部までの長さの情報と、を取得する。画像処理部２１６は、これらの情報に基づいて、予め決められた基準点からの各撮像デバイスの距離及び回転角度を算出することによりそれぞれの位置を特定する（例えば、関節部２３１の位置を基準点として設定し、これを原点として空間座標を形成することにより内視鏡アーム先端に位置する各撮像デバイスの基準点からの距離及び回転角度を算出することができる）。

【0042】

（iv）ステップ３０４
画像処理部２１６は、各画像について特徴点（特徴量と言うことも可能である。特徴量は、濃淡の変化が大きい特徴点周りの領域を画素値や微分値により特徴ベクトルにしたものである）を抽出する。具体的に、画像処理部２１６は、例えば、処理対象の画像をブロック単位（例えば、８ピクセル×８ピクセルのブロック）に分割し、フーリエ変換や離散コサイン変換などを用いて各ブロックの画素値を周波数領域におけるデータに変換する。これにより、各ブロックにおける周波数成分の分布が取得され、各ブロックの特徴点（特徴量）を抽出することができる。フーリエ変換や離散コサイン変換の他に、エッジフィルタを用いて各ブロックのエッジを強調した画像を特徴点（特徴量）としても良い。

【0043】

（v）ステップ３０５
画像処理部２１６は、各画像についてパターンマッチング処理を実行する。各画像の全ての領域についてパターンマッチング処理（例えば、全ての画素やブロックについて相関を計算し、最も相関値が高い画素或いはブロックをパターン一致点とする）を実行しても良いが、探索範囲を限定して行っても良い。この場合、処理の迅速化及び効率化を図ることができる。探索範囲を限定する場合、ステップ３０３で特定された撮像デバイス２２４１乃至２４４１のそれぞれの位置の情報に基づいて、各画像の特徴量が一致するブロック或いは画素を探索する範囲を決定することができる（例えば、各画像の周辺２０％の領域を探索範囲とするなど）。画像処理部２１６は、その探索範囲内でパターンマッチング処理を実行し、各画像の探索領域においてマッチングする位置（相関が最も高い位置）をパターン一致点とする。

【0044】

（vi）ステップ３０６
画像処理部２１６は、ステップ３０５でパターン一致点と認識された位置において、各画像を繋ぎ合わせて合成画像を生成する。なお、パターンマッチング処理を実行すると、各画像において互いに重なり合う領域が検出される。当該重なり合う領域における各画像の画素値は多少異なる場合がある（例えば、各撮像デバイスの撮像方向が異なるため同じ対象物でも撮像して得られる画素値に差が生じる場合がある）ため、重ね合わせる画像の一方から重なり合う領域を取り除いてから各画像を繋ぎ合わせても良い。
以上のような方法で合成画像を生成することができるが、例えば特開平１０−１７８５６４号公報で開示された方法を用いて合成画像を生成しても良い。

【0045】

＜３つ以上の内視鏡を用いた理由＞
図４は、撮像デバイスの視野を模式的に示し、本実施形態において３つ以上の内視鏡を設けた理由を説明するための図である。図４Ａ及び図４Ｂは撮像デバイスを２つ設けた場合の視野を示し、図４Ｃは撮像デバイスを３つ設けた場合の視野を示している。

【0046】

例えば、２つの撮像デバイスを用いて撮像する場合、各撮像デバイスの視野４０１と視野４０２とをなるべく重ならないようにしなければならない（図４Ａの場合、重なり合う領域４０５が小さい）。この場合、重なり合う領域４０５の面積は小さくすることができるが、視野４０１と視野４０２との間に死角４０４が生じてしまう。逆に、図４Ｂに示されるように、死角４０４の面積を小さくしようとすると、視野４０１と視野４０２とでカバーできる範囲が小さくなり、重なり合う領域４０５の面積が大きくなってしまう。これでは患者の体内（例えば、腹腔内或いは胸腔内）における手術の様子や手術対象臓器の周辺の様子を観察するための画像を取得する上で十分な視野を稼げない。

【0047】

そこで、本開示では、撮像デバイスを３つ以上設け、３つの視野を利用することにより、上述のような矛盾する課題を解決しようとしている。例えば、図４Ｃに示されるように、重なり合う領域４０５の面積を小さくすると共に、２つの視野だと重ねることによって形成されてしまう死角４０４をなくし、視野４０１、視野４０２、及び視野４０３によって、より広範囲の全体視野を形成することができるようになる。
以上の理由により、本開示の第１の実施形態では、３つ以上の撮像デバイス２２４１乃至２４４１を用いることとしている。

【0048】

（２）第２の実施形態
第２の実施形態による手術システムは、第１の実施形態による手術システムと同様の構成を備えている。ただし、第２の実施形態では、患者側カート２０における内視鏡装置２１の構成が異なっている。

【0049】

第２の実施形態は、例えば、内視鏡の筒状筐体の少なくとも先端部分を回転させる機能を有する内視鏡アームを含む内視鏡装置を備える患者側カート（手術用ロボットとも言う）と、患者側カートを操作するためのコンソール装置と、を備える手術システムについて開示する。内視鏡装置では、例えば、撮像デバイスの光軸は、筒状筐体の先端部分の回転軸と所定の角度をなし、内視鏡の筒状筐体の先端部分を回転させながら撮像デバイスで取得した画像を繋ぎ合わせて合成画像が生成され、表示画面上に表示される。このように内視鏡の先端部分を回転させることにより、内視鏡の位置を中心とした広角の視野の画像を術者に提供することができ、術者は患部及びその周辺の所望の位置の状態を目視確認しながら手術をすることが可能となる（開腹手術のような視野の広さを確保しながら内視鏡手術を実現することが可能）。この場合も、撮像デバイスのレンズとして、例えば、中心窩レンズを用いることが可能である。

【0050】

＜患者側カート２０の構成＞
図５は、第２の実施形態による患者側カート２０の構成例を示す図である。第１の実施形態と異なる点は、内視鏡アーム２７が１つ取り付けられ、内視鏡アーム２７の先端部分の光学アダプタ２７４（撮像デバイス２７４１及び照明光学系２７４２を含む）を回転軸中心に回転可能に構成されている点である。また、内視鏡アーム２７の先端面が斜めに形成され、撮像デバイス２７４１の光軸が回転軸と所定の角度をなしている。撮像デバイス２７４１の光軸と回転軸とのなす角度は、例えば、撮像デバイス２７４１のレンズの画角（視野角）の１／２に設定することができる。この場合、内視鏡アーム２７の先端面の傾斜角も例えば、撮像デバイス２７４１のレンズの画角の１／２とすることができる。

【0051】

第２の実施形態では、内視鏡アーム２７の先端部分の光学アダプタ２７４を、回転軸を中心に回転させながら、撮像デバイス２７４１で手術中の画像を撮像する。当該内視鏡アーム２７の先端部分の光学アダプタ２７４の回転の制御は、内視鏡アーム駆動制御部２１４によって行われる。具体的には、関節部２７３に関節駆動用のアクチュエータとは別の先端部分回転用の小型（低速）アクチュエータを設け、回転駆動機構（先端部分に連結された回転駆動軸と回転駆動伝達用の各種ギア（例えば、傘歯ギアなどのギアにより先端部分と小型モータの軸が連結する場合もある）を含む）によって内視鏡アーム２７の先端部分を回転させることができる。当該先端部分の回転速度等が例えば内視鏡アーム駆動制御部２１４によって制御可能なように構成される。内視鏡アーム２７の先端部分の回転は、位置検出器（例えばエンコーダ）によって検知することができる。例えば、当該先端部分に一番近い関節に設けられた位置検出器を用いることができる。
撮像制御部２１５は、撮像デバイス２７４１が回転しながら撮像した画像をタイムスタンプと共に、図示しない画像メモリに格納する。
画像処理部２１６は、撮像制御部２１５が取得した画像間のマッチングを取りながら合成画像を生成する。合成画像生成処理については後述する。

【0052】

なお、内視鏡アーム２７の先端部分には、図６に示されるように、先端部分に丸みを持たせた透明シース６１を被せることが可能である。これにより、手術中に患者Ｐの体内組織を損傷させないようにすることができる。

【0053】

＜先端部分を回転させたときに確保される視野＞
図７は、内視鏡アーム２７の先端部分を回転させたときに確保される視野について説明するための図である。

【0054】

図７において、撮像デバイスのレンズの視野角は例えば９０度となっている。また、当該レンズの光軸と回転軸との角度は例えば４５度に設定されている。このような構成において内視鏡アーム２７の先端部分を回転軸中心に回転させると、回転によって確保できる視野角θは、９０度の２倍の１８０度となり、より広範囲の視野を確保することができるようになる。レンズの視野角を例えば１２０度とすると、光軸と回転軸との角度は６０度（先端面の傾斜角φは３０度）とするのが好ましい。この場合、回・BR>]によって確保できる視野角θは、１２０度の２倍の２４０度となる。例えば、内視鏡アーム２７の先端部分に１８０度の視野角を有するレンズの光軸が回転軸と９０度をなすように当該レンズを配置すれば、理論的には、３６０度の視野角θを確保できる。

【0055】

＜合成画像生成処理＞
図８は、第２の実施形態における合成画像生成処理を説明するためのフローチャートである。当該合成画像生成処理は、例えば、画像処理部２１６によって実行されるが、上述のように画像処理部２１６をプログラムで実現した場合には動作主体はＣＰＵ２１１となる。以下では、画像処理部２１６を動作主体として合成画像生成処理について説明するが、ＣＰＵ２１１と読み替えて理解しても良い。

【0056】

（i）ステップ８０１及びステップ８０６
画像処理部２１６は、時間ｔ_１〜ｔ_ｎにおいて撮像デバイス２７４１が取得した各画像に対してステップ８０２〜ステップ８０５の処理を繰り返し実行する。当該合成画像生成処理は、例えば、手術開始から手術終了まで実行するとした場合、手術開始時間をｔ_１とし、手術終了時間をｔｎとする。撮像デバイス２７４１が例えば１秒間に３０フレームを撮像する場合、各画像の取得時間間隔は１／３０秒である。合成画像生成処理はフレーム単位で実行してもフィールド単位（１／６０秒毎に１フィールド画像）で実行しても良い。

【0057】

（ii）ステップ８０２
画像処理部２１６は、図示しない画像メモリから、時間ｔ_ｋまでの画像を用いて生成された合成画像（前回の処理で生成された合成画像：前回の合成画像）と、撮像デバイス２７４１によって取得された画像を読み込む。処理開始の初期段階で合成画像がまだ生成されていない場合（ｔ_１の場合）には、合成画像の代わりに時間ｔ_１と時間ｔ_２における画像が画像メモリから読み込まれる。

【0058】

（iii）ステップ８０３
画像処理部２１６は、前回の合成画像と時間t_k+1おける画像について特徴点（特徴量）を抽出する。具体的に、画像処理部２１６は、例えば、処理対象の画像をブロック単位（例えば、８ピクセル×８ピクセルのブロック）に分割し、フーリエ変換や離散コサイン変換などを用いて各ブロックの画素値を周波数領域におけるデータに変換する。これにより、各ブロックにおける周波数成分の分布が取得され、各ブロックの特徴量を抽出することができる。フーリエ変換や離散コサイン変換の他に、エッジフィルタを用いて各ブロックのエッジを強調した画像を特徴量としても良い。前回の合成画像について既に特徴量を抽出している場合には、例えば、図示しない画像メモリから読み込むだけで良い。

【0059】

（iv）ステップ８０４
画像処理部２１６は、前回の合成画像と時間t_k+1おける画像と対してパターンマッチング処理を実行する。第２の実施形態では、撮像デバイス２７４１は回転しているので、パターンマッチングは動画におけるパターンマッチングと同等に実行することができる。具体的には、画像処理部２１６は、例えば、予め探索範囲（回転速度から画像が１フレーム時間（例えば、１／６０秒間）に移動する距離（画像がずれる範囲）を算出することが可能であり、その範囲と誤差を考慮したマージンによって探索範囲を設定することが可能である）内でパターンマッチング処理を実行し、各画像の探索領域においてマッチングする位置（相関が最も高い位置）をパターン一致点とする。

【0060】

（v）ステップ８０５
画像処理部２１６は、ステップ８０４でパターン一致点と認識された位置において、前回の合成画像と時間t_k+1おける画像とを繋ぎ合わせて新たな合成画像を生成する。なお、内視鏡アーム２７の先端部分の回転が一周すると、視野角θにおける合成画像が生成されることなる。２周目以降の回転によって取得された画像は、既に生成された合成画像の適切な位置（マッチングが取れた位置）に逐次重畳されることになる。
以上のような方法で合成画像を生成することができるが、例えば特開平１０−１７８５６４号公報で開示された方法を用いて合成画像を生成しても良い。

【0061】

＜低解像度モードと高解像度モード＞
本実施形態では、例えば、内視鏡アーム２７の先端部分を回転させながら取得した画像は低解像度（低画質：第１解像度或いは第１画質ともいう）で提供され、よってそれらを合成して得られる合成画像も低解像度で表示装置３０の表示画面上に表示される。一方、当該先端部分の回転を停止させて取得した画像は高解像度（高画質：第２解像度或いは第２画質ともいう（第１解像度よりも高解像度））で表示装置３０の表示画面上に表示される。

【0062】

例えば、術者Ｏは、合成画像において気になる部分などを発見しそこを重点的に観察したいと思う場合などには、コンソール装置１０を操作して当該先端部分の回転停止を指示し、さらに重点的に観察したい部分を指示することによって当該箇所を高解像度の画像で確認することができる。
本実施形態に係る内視鏡装置及び手術システムは、第１の実施形態と比べて、患者Ｐの体内に挿入する内視鏡の数を少なくできるため、より低侵襲とすることができる。

【0063】

（３）第３の実施形態
第３の実施形態による手術システムは、第１の実施形態による手術システムと同様の構成を備えている。ただし、第３の実施形態では、患者側カート２０における内視鏡装置２１の構成が異なっている。第２の実施形態では、内視鏡装置２１において、先端部分が回転する内視鏡アーム２７が１つだけで設けられているが、第３の実施形態では、先端部分が回転する内視鏡アームが３つ以上設けられている点で異なる。

【0064】

第３の実施形態は、例えば、内視鏡を３つ以上有し、各内視鏡の筒状筐体の少なくとも先端部分を回転させる機能を有する３つ以上の内視鏡アームを含む内視鏡装置を備える患者側カート（手術用ロボットとも言う）と、患者側カートを操作するためのコンソール装置と、を備える手術システムについて開示する。内視鏡装置では、例えば、各撮像デバイスの光軸は、各筒状筐体の先端部分の回転軸と所定の角度をなし、各内視鏡の筒状筐体の先端部分を回転させながら撮像デバイスで取得した３つ以上の画像を繋ぎ合わせて合成画像が生成され、表示画面上に表示される。このように３つ以上の内視鏡の先端部分を回転させることにより、さらに広範囲（例えば、３６０度）の視野の画像を術者に提供することができ、術者は患部及びその周辺の所望の位置の状態を広範囲に目視確認しながら手術をすることが可能となる（開腹手術のような視野の広さを確保しながら内視鏡手術を実現することが可能）。この場合も、撮像デバイスのレンズとして、例えば、中心窩レンズを用いることが可能である。

【0065】

例えば、術者が各内視鏡アームの先端部分の回転停止を指示すると、回転を停止した状態での画像が表示画面上に表示される。この場合、例えば、停止した状態で取得され表示される画像は、回転させながら取得した画像よりも高画質とすることが可能である。これにより、術者はより詳細に所望の箇所を目視確認することが可能となる。この場合、術者は、例えば、回転を停止した状態で画像を取得する体内の対象の位置の情報を含むようにしても良い。このとき、例えば、対象の位置を撮像可能な撮像デバイスによってのみ取得された画像が表示画面上に表示される。

【0066】

＜患者側カートの構成＞
図９は、第３の実施形態による患者側カート２０の構成例を示す図である。第１の実施形態と異なる点は、３つ以上の内視鏡アーム２７乃至２９の先端部分が第２の実施形態と同様に回転することである。第２の実施形態と異なる点は、先端部分が回転する内視鏡アーム２７乃至２９が３つ以上設けられていることである。

【0067】

第２の実施形態と同様に、内視鏡アーム２７乃至２９の先端面が斜めに形成され、撮像デバイス２７４１乃至２９４１の各光軸が各先端部分の回転軸と所定の角度をなしている。撮像デバイス２７４１乃至２９４１の各光軸と各回転軸とのなす角度は、例えば、撮像デバイス２７４１乃至２９４１の各レンズの画角（視野角）の１／２に設定することができる。この場合、内視鏡アーム２７乃至２９の先端面の傾斜角は、例えば、（９０-撮像デバイス２７４１のレンズの視野角×１／２）度とすることができる。

【0068】

第３の実施形態では、例えば、内視鏡アーム２７乃至２９の先端部分の各光学アダプタ２７４乃至２９４を回転軸中心に回転させながら、撮像デバイス２７４１乃至２９４１で手術中の画像を撮像する。当該内視鏡アーム２７乃至２９の先端部分の光学アダプタ２７４乃至２９４の回転の制御は、例えば、内視鏡アーム駆動制御部２１４によって行われる。具体的には、例えば関節部２７３乃至２９３のそれぞれに関節駆動用のモータとは別の先端部分回転用の小型（低速）モータを設け、回転駆動機構（先端部分に連結された回転駆動軸と回転駆動伝達用の各種ギア（例えば、傘歯ギアなどのギアにより先端部分と小型モータの軸が連結する場合もある）を含む）によって内視鏡アーム２７乃至２９の先端部分を回転させることができる。当該先端部分の回転速度等が例えば内視鏡アーム駆動制御部２１４によって制御可能なように構成される。内視鏡アーム２７乃至２９の各先端部分の回転は、位置検出器（例えばエンコーダ）によって検知することができる。例えば、当該各先端部分に一番近い関節に設けられた各位置検出器を用いることができる。
撮像制御部２１５は、撮像デバイス２７４１乃至２９４１が回転しながら撮像した画像をタイムスタンプと共に、図示しない画像メモリに格納する。
画像処理部２１６は、撮像制御部２１５が取得した画像間のマッチングを取りながら合成画像を生成する。合成画像生成処理については後述する。

【0069】

なお、内視鏡アーム２７乃至２９の先端部分には、第２の実施形態と同様に、図６に示されるように、例えば、先端部分に丸みを持たせた透明シース６１を被せることが可能である。これにより、手術中に患者Ｐの体内組織を損傷させないようにすることができる。

【0070】

＜合成画像生成処理＞
第３の実施形態における合成画像生成処理は、第１の実施形態における合成画像生成処理（図３）と第２の実施形態における合成画像生成処理（図８）とを組み合わせることによって実現することが可能である。例えば、３つ以上の内視鏡アーム２７乃至２９の撮像デバイス２７４１乃至２９４１のそれぞれを回転させながら撮像して得られた画像の合成画像を図８の処理に従って生成する。これにより、３つ以上の回転合成画像（アラウンドビュー画像とも呼ぶ）が生成される。この３つ以上の回転合成画像をさらに図３の処理に従って合成し、最終的な合成画像を生成することができる。

【0071】

＜低解像度モードと高解像度モード＞
本実施形態では、第２の実施形態と同様に、例えば、内視鏡アーム２７乃至２９の先端部分を回転させながら取得した画像は低解像度（低画質：第１解像度或いは第１画質ともいう）で提供され、よって各先端部分の回転画像の合成画像、及び３つ以上の合成画像をさらに繋ぎ合わせて得られる最終的な合成画像も低解像度で表示装置３０の表示画面上に表示される。一方、当該先端部分の回転を停止させて取得した画像は、第２の実施形態と同様に、高解像度（高画質：第２解像度或いは第２画質ともいう（第１解像度よりも高解像度））で表示装置３０の表示画面上に表示される。

【0072】

例えば、術者Ｏは、最終的な合成画像において気になる部分などを発見しそこを重点的に観察したいと思う場合などには、コンソール装置１０を操作して３つ以上の内視鏡アーム２７乃至２９の先端部分のうち当該重点観察箇所をカバーする少なくとも１つの先端部分の回転停止を指示し、さらに重点的に観察したい部分を指示することによって当該箇所を高解像度の画像で確認することができる。

【0073】

（４）変形例
（i）第１乃至第３の実施形態では、手術中の患者の体内（例えば、腹腔内或いは胸腔内）の現在の様子を表す合成画像が表示装置３０の表示画面上に表示されるが、過去の画像（合成画像か否かに関係なく）を合わせて（例えば、マルチ画面で）表示画面上に表示しても良い。例えば、内視鏡アーム２２乃至２４の先端部分（撮像デバイスが取り付けられた部分）及び内視鏡アーム２７乃至２９の先端部分を患者Ｐの体内に挿入した時点から手術部位の画像を撮像できる位置に移動する時点までの間の画像群は図示しない画像メモリに保持されている。このため、各内視鏡アームの挿入経路付近の画像、及び各手術用アームに取り付けられた手術器具の挿入経路周辺の画像（共に過去に撮像した画像）を現在の手術中の画像と併せて表示画面上に表示することにより、例えば、術者Ｏは、自身が操作する手術器具が患者Ｐの体内の臓器を過度に圧迫しながら挿入されていないかを確認することができるようになる。

【0074】

各実施形態の機能及び構成は適宜組み合わせて用いることが可能である。例えば、内視鏡装置に３つ以上の内視鏡アーム２２乃至２４を設けた場合、３つ以上の内視鏡アームの全ての先端部分を回転可能に構成しなくても良い（少なくとも１つの内視鏡アームの先端部分を回転可能なように構成してもよい）。

【0075】

（ii）各実施形態の機能は、ソフトウェアのプログラムコードによっても実現することができる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本実施形態に含まれる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0076】

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。

【0077】

さらに、実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

【符号の説明】

【0078】

１ 手術システム
１０ コンソール装置
２０ 患者側カート
２１ 内視鏡装置
２２、２３、２４、２７、２８、２９ 内視鏡アーム
２５、２６ 手術用アーム
３０ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】