特許 7674528 内視鏡システム、内視鏡システムの制御方法および記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-28

(45)【発行日】2025-05-09

(54)【発明の名称】内視鏡システム、内視鏡システムの制御方法および記録媒体

(51)【国際特許分類】

   A61B 1/00 20060101AFI20250430BHJP

   A61B 1/045 20060101ALI20250430BHJP

【ＦＩ】

A61B1/00 655

A61B1/045 622

【請求項の数】 19

(21)【出願番号】P 2023576684

(86)(22)【出願日】2022-12-14

(86)【国際出願番号】 JP2022045971

(87)【国際公開番号】W WO2023145285

(87)【国際公開日】2023-08-03

【審査請求日】2024-07-23

(31)【優先権主張番号】63/303,158

(32)【優先日】2022-01-26

(33)【優先権主張国・地域又は機関】US

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人日本医療研究開発機構、「医療機器等における先進的研究開発・開発体制強靭化事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】高山 裕行

(72)【発明者】

【氏名】水谷 千春

(72)【発明者】

【氏名】荻本 浩人

(72)【発明者】

【氏名】伊藤 雅昭

(72)【発明者】

【氏名】長谷川 寛

(72)【発明者】

【氏名】北口 大地

(72)【発明者】

【氏名】古澤 悠貴

【審査官】高松 大

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０２７１６０３（ＵＳ，Ａ１）

【文献】特表２０１７－５０５２０２（ＪＰ，Ａ）

【文献】特開２０１５－１４６９８１（ＪＰ，Ａ）

【文献】特開２００４－４１７７８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５９１５５（ＷＯ，Ａ１）

【文献】特開２０２０－１８４９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００

Ａ６１Ｂ １／０４５

(57)【特許請求の範囲】

【請求項1】

被検体内に挿入され該被検体内の画像を取得する内視鏡と、
該内視鏡の位置および姿勢を変更する移動装置と、
少なくとも１つのプロセッサを有する制御装置と、を備え、
該制御装置が、
前記被検体内に挿入される処置具の位置または動きに関する処置具情報を取得し、
該処置具情報に基づいて前記処置具が抜去されたことを判定し、
前記処置具が抜去されたと判定された場合に俯瞰モードを実行し、
該俯瞰モードにおいて、前記制御装置が、前記内視鏡および前記移動装置の少なくとも一方を制御することによって、前記被検体内の特定点を前記画像内に維持しながら該画像を自動的にズームアウトさせる、内視鏡システム。

【請求項2】

前記制御装置が、前記処置具情報に基づいて前記俯瞰モードを開始および終了する、請求項１に記載の内視鏡システム。

【請求項3】

前記制御装置は、前記移動装置を制御し前記内視鏡を前記特定点から離れる方向に移動させることによって前記画像をズームアウトさせる、請求項１に記載の内視鏡システム。

【請求項4】

前記制御装置は、前記内視鏡を制御し前記画像を光学的にズームアウトさせる、請求項１に記載の内視鏡システム。

【請求項5】

前記処置具情報を検出する処置具情報検出部をさらに備える、請求項１に記載の内視鏡システム。

【請求項6】

前記制御装置が、前記処置具情報検出部を備え、
該処置具情報検出部は、前記内視鏡によって取得された前記画像から前記処置具情報を検出する、請求項５に記載の内視鏡システム。

【請求項7】

前記処置具情報検出部が、前記処置具の位置を検出するセンサを有する、請求項５に記載の内視鏡システム。

【請求項8】

前記制御装置が、手動モードから前記俯瞰モードに切り替え、かつ／または、前記俯瞰モードから前記手動モードに切り替え、
前記手動モードにおいて、前記制御装置は、ユーザによる前記内視鏡の操作を許可する、請求項１に記載の内視鏡システム。

【請求項9】

前記制御装置が、追従モードから前記俯瞰モードに切り替え、かつ／または、前記俯瞰モードから前記追従モードに切り替え、
前記追従モードにおいて、前記制御装置は、前記処置具の位置に基づいて前記移動装置を制御することによって前記処置具に前記内視鏡を追従させる、請求項１に記載の内視鏡システム。

【請求項10】

前記俯瞰モードにおいて、前記制御装置は、前記移動装置および前記内視鏡の少なくとも一方を制御することによって、前記処置具が貫通するトロッカの先端に向かって前記内視鏡の視野を移動させる、請求項１に記載の内視鏡システム。

【請求項11】

前記制御装置は、前記特定点が前記画像内の周縁領域に到達したとき、または、前記処置具が貫通するトロッカの先端が前記画像内の中央領域に到達したときに、前記視野の移動を終了させる、請求項１０に記載の内視鏡システム。

【請求項12】

前記処置具情報が、前記画像内の前記処置具の有無、前記処置具が前記画像内に連続して存在しない消失時間の長さ、前記処置具の位置、速さおよび軌跡、ならびに、それらの組み合わせのいずれかを含む、請求項１に記載の内視鏡システム。

【請求項13】

前記処置具情報が、前記消失時間の長さ、前記処置具の前記速さおよび前記処置具の前記軌跡、ならびに、それらの組み合わせのいずれかであり、
前記制御装置は、前記処置具情報が所定の閾値を超えた場合に前記俯瞰モードを開始する、請求項１２に記載の内視鏡システム。

【請求項14】

前記処置具情報が、前記画像内の前記処置具の有無を含み、
前記制御装置は、前記画像内に前記処置具の存在が検出された場合に、前記俯瞰モードを終了する、請求項１に記載の内視鏡システム。

【請求項15】

前記制御装置は、前記画像内のトロッカの面積が所定の面積閾値に到達したときに前記ズームアウトを終了させる、請求項１に記載の内視鏡システム。

【請求項16】

前記制御装置は、前記特定点から前記内視鏡の先端までの距離が所定の距離閾値に到達したときに前記ズームアウトを終了させる、請求項１に記載の内視鏡システム。

【請求項17】

前記所定の距離閾値が、前記内視鏡の被写界深度の遠点に基づいて決定された第１閾値、前記画像の解像度に基づいて決定された第２閾値、および、前記内視鏡のステレオ計測の精度に基づいて決定された第３閾値の内、少なくとも１つを含む、請求項１６に記載の内視鏡システム。

【請求項18】

内視鏡システムの制御方法であって、前記内視鏡システムが、被検体内に挿入され該被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、を備え、
前記被検体内に挿入される処置具の位置または動きに関する処置具情報を取得すること、および、
該処置具情報に基づいて前記処置具が抜去されたことを判定し、
前記処置具が抜去されたと判定された場合に俯瞰モードを実行することを含み、
該俯瞰モードにおいて、前記内視鏡および前記移動装置の少なくとも一方を制御することによって、前記被検体内の特定点を前記画像内に維持しながら該画像を自動的にズームアウトさせる、制御方法。

【請求項19】

請求項１８に記載の制御方法をコンピュータに実行させるための制御プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡システム、内視鏡システムの制御方法および記録媒体に関するものである。

【背景技術】

【0002】

従来、処置具の位置に基づいてロボットアームを制御することによって、内視鏡を処置具に自動的に追従させるシステムが提案されている(例えば、特許文献１参照。)。特許文献１のシステムは、内視鏡の画像の中央に処置具を捉え続けるように、ロボットアームを制御する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１２７０７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

図３Ａに示されるように、処置具６による患部の処置中、内視鏡２は臓器Ｅの近くに配置される。この状態から処置具６を体内から抜去し体内に再挿入したときに、内視鏡の視野Ｆの外側に配置される再挿入の処置具は内視鏡の画像内に観察されない。したがって、術者は、再挿入された処置具を視認できない状態で操作しなければならない。そのため、特に、腹腔鏡下手術のように、揺動可能なトロッカ内を経由して処置具を挿入および抜去する場合、処置具を患部まで正確に再挿入することが難しい。
処置具を簡単に再挿入するためには、内視鏡を臓器から離間させ、体内を俯瞰視することが望ましい。しかし、俯瞰視するためには、処置具の再挿入の都度、術者等のユーザがロボットアームを操作する必要がある。

【0005】

本発明は、上述した事情に鑑みてなされたものであって、ユーザの操作を必要とすることなく処置具の容易な再挿入を支援することができる内視鏡システム、内視鏡システムの制御方法および記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、被検体内に挿入され該被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、少なくとも１つのプロセッサを有する制御装置と、を備え、該制御装置が、前記被検体内に挿入される処置具の位置または動きに関する処置具情報を取得し、該処置具情報に基づいて俯瞰モードを実行し、該俯瞰モードにおいて、前記制御装置が、前記内視鏡および前記移動装置の少なくとも一方を制御することによって、前記被検体内の特定点を前記画像内に維持しながら該画像を自動的にズームアウトさせる、内視鏡システムである。

【0007】

本発明の他の態様は、内視鏡システムの制御方法であって、前記内視鏡システムが、被検体内に挿入され該被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、を備え、前記被検体内に挿入される処置具の位置または動きに関する処置具情報を取得すること、および、該処置具情報に基づいて俯瞰モードを実行することを含み、該俯瞰モードにおいて、前記内視鏡および前記移動装置の少なくとも一方を制御することによって、前記被検体内の特定点を前記画像内に維持しながら該画像を自動的にズームアウトさせる、制御方法である。
本発明の他の態様は、上記の制御方法をコンピュータに実行させるための制御プログラムを記憶した、コンピュータ読み取り可能な非一時的な記録媒体である。

【発明の効果】

【0008】

本発明によれば、ユーザの操作を必要とすることなく処置具の容易な再挿入を支援することができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】一実施形態に係る内視鏡システムの全体構成図である。

【図2】図１の内視鏡システムの全体構成を示すブロック図である。

【図3A】追従モードまたは手動モードにおける内視鏡の動作を説明する図である。

【図3B】追従モードまたは手動モードにおける内視鏡の動作を説明する図である。

【図3C】俯瞰モードにおける内視鏡の動作を説明する図である。

【図3D】俯瞰モードにおける内視鏡の動作を説明する図である。

【図3E】俯瞰モードにおける内視鏡の動作を説明する図である。

【図4A】追従モードまたは手動モード中の画像の一例を示す図である。

【図4B】処置具が抜去された後の追従モードまたは手動モード中の画像の一例を示す図である。

【図4C】俯瞰モード中のズームアウトされた画像の一例を示す図である。

【図5】内視鏡システムの制御方法のフローチャートである。

【図6A】開始トリガを判定する第１の方法のフローチャートである。

【図6B】開始トリガを判定する第２の方法のフローチャートである。

【図6C】開始トリガを判定する第３の方法のフローチャートである。

【図6D】開始トリガを判定する第４の方法のフローチャートである。

【図7】終了トリガを判定する方法のフローチャートである。

【図8】トロッカの内壁が写ったズームアウトされた画像を示す図である。

【図9A】再挿入された処置具が写ったズームアウトされた画像の一例を示す図である。

【図9B】再挿入された処置具が写ったズームアウトされた画像の他の例を示す図である。

【図10A】内視鏡の視野の移動後のズームアウトされた画像の一例を示す図である。

【図10B】内視鏡の視野の移動後のズームアウトされた画像の他の例を示す図である。

【図11】終了トリガを判定する方法の変形例のフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の一実施形態に係る内視鏡システム、内視鏡システムの制御方法および記録媒体について図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２および処置具６を被検体Ａである患者の体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で患部等の対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。処置具６は、例えば、高周波電流や超音波振動により、組織の切開および剥離、または血管の封止等を行うエネルギ処置具であるか、または、組織を把持するための鉗子である。ただし、左記の例はあくまで一例でありこれに限られず一般的に内視鏡下手術において用いられる各種の処置具が用いられてよい。

【0011】

図１および図２に示されるように、内視鏡システム１は、被検体Ａ内に挿入される内視鏡２と、内視鏡２を移動させる移動装置３と、表示装置４と、内視鏡２および移動装置３を制御する制御装置５とを備える。
図３Ａから図３Ｄに示されるように、内視鏡２および処置具６は、トロッカ７，８内をそれぞれ経由して被検体Ａ内、例えば腹腔Ｂに挿入される。トロッカ７，８は、両端において開口する筒状の器具である。トロッカ７，８は、体壁に形成された穴Ｃ，Ｄをそれぞれ貫通し、ピボット点である穴Ｃ，Ｄの位置を支点にして揺動可能である。

【0012】

内視鏡２は、例えば斜視型の硬性鏡である。内視鏡２は、直視型であってもよい。内視鏡２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子２ａを有し、被検体Ａ内の画像Ｇ（図４Ａから図４Ｃ参照。）を取得する。撮像素子２ａは、例えば内視鏡２の先端部に設けられた３次元カメラであり、ステレオ画像を画像Ｇとして撮像する。内視鏡２の対物レンズは、画像Ｇの倍率を光学的に変更するズームレンズ２ｂを有していてもよい。
画像Ｇは、内視鏡２から制御装置５を経由して表示装置４に送信され、表示装置４に表示される。表示装置４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意のディスプレイである。

【0013】

移動装置３は、多関節のロボットアームからなる電動ホルダ３ａを備え、制御装置５によって制御される。内視鏡２は、電動ホルダ３ａの先端部に保持され、電動ホルダ３ａの動作によって内視鏡２の位置および姿勢が３次元的に変更される。なお、移動装置３は内視鏡２と必ずしも別体である必要はなく、内視鏡２の一部として一体に形成されてもよい。

【0014】

制御装置５は、内視鏡２、移動装置３および表示装置４に表示される画像Ｇを制御する内視鏡プロセッサである。図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、メモリ５ｂと、記憶部５ｃと、入出力インタフェース５ｄとを備える。
制御装置５は、入出力インタフェース５ｄを経由して周辺機器２，３，４，９と接続され、画像Ｇおよび信号等を入出力インタフェース５ｄを経由して送受信する。

【0015】

記憶部５ｃは、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部５ｃは、後述する制御方法をプロセッサ５ａに実行させる制御プログラム５ｅと、プロセッサ５ａの処理に必要なデータとを記憶している。
プロセッサ５ａが実行する後述の処理の一部は、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Ｃ，Ｄvice）等の専用の論理回路やハードウェア等によって実現されてもよい。

【0016】

プロセッサ５ａは、記憶部５ｃからＲＡＭ（Random Access Memory）等のメモリ５ｂに読み込まれた制御プログラム５ｅに従って、手動モード、追従モードおよび俯瞰モードを含む複数のモードのいずれかで内視鏡２および移動装置３の少なくとも一方を制御する。ユーザは、制御装置５に設けられたユーザインタフェース（図示略）を使用して、手動モードおよび追従モードの一方を選択することができる。

【0017】

手動モードは、術者等のユーザによる内視鏡２の操作を許可するモードである。手動モードにおいて、ユーザは、移動装置３と接続されたマスタ装置（図示略）を使用して内視鏡２を遠隔操作することができる。例えば、マスタ装置は、ボタン、ジョイスティックおよびタッチパネル等の入力デバイスを含み、プロセッサ５ａは、マスタ装置からの信号に従って移動装置３を制御する。ユーザは、内視鏡２の基端部を手で直接把持し、内視鏡２を手動で移動させてもよい。

【0018】

追従モードは、制御装置５が内視鏡２を処置具６に自動的に追従させるモードである。追従モードにおいて、プロセッサ５ａは、画像Ｇ内の処置具６を公知の画像認識技術を使用して認識し、処置具６の先端６ａの３次元位置を画像Ｇを用いたステレオ計測によって取得し、先端６ａの３次元位置と所定の目標点の３次元位置とに基づいて移動装置３を制御する。目標点は、内視鏡２の視野Ｆ内に設定された点であり、例えば、内視鏡２の先端２ｃから所定の観察距離Ｚ１だけ離れた内視鏡２の光軸上の点である。これにより、図４Ａに示されるように、制御装置５は、先端６ａが画像Ｇの中心に配置されるように処置具６に内視鏡２を追従させる。

【0019】

俯瞰モードは、制御装置５が内視鏡２および移動装置３の少なくとも一方を制御することによって画像Ｇを自動的にズームアウトさせ、被検体Ａ内を俯瞰視するモードである。プロセッサ５ａは、手動または追従モード中に処置具情報を取得し、処置具情報に基づいて俯瞰モードを自動的に開始および終了する。

【0020】

次に、プロセッサ５ａが実行する制御方法について説明する。
図５に示されるように、制御方法は、手動モードまたは追従モードで内視鏡２および移動装置３を制御するステップＳ１と、処置具情報を取得するステップＳ２と、開始トリガを判定するステップＳ３と、俯瞰モードに切り替えるステップＳ４と、ズームアウトを開始させるステップＳ５と、終了トリガを判定するステップＳ７と、ズームアウトを終了するステップＳ８と、復帰トリガを判定するステップＳ６，Ｓ９と、手動モードまたは追従モードに切り替えるステップＳ１０とを含む。

【0021】

プロセッサ５ａは、ユーザインタフェースへのユーザの入力に基づき、追従モードおよび手動モードのいずれかで移動装置３および内視鏡２を制御する（ステップＳ１）。図３Ａから図３Ｄに示されるように、追従モードまたは手動モードの間、ユーザは、処置具６の交換等のために、処置具６を被検体Ａ内から抜去し、その後に被検体Ａ内に再挿入することがある。
追従モードまたは手動モードの間、プロセッサ５ａは、処置具６の位置または動きに関する処置具情報を繰り返し取得する（ステップＳ２）。プロセッサ５ａは、処置具情報に基づいて、処置具６が抜去されたことを示す開始トリガを判定し（ステップＳ３）、開始トリガがＯＮになったことに応答して俯瞰モードを開始する（ステップＳ４）。

【0022】

図６Ａから図６Ｄは、開始トリガの判定の例を説明している。
図６Ａの第１の方法において、処置具情報は、画像Ｇ内の処置具６の有無であり、プロセッサ５ａは、処置具６が画像Ｇ内に存在しないことを開始トリガとして検知する。具体的には、プロセッサ５ａは、画像Ｇ内の処置具６を公知の画像認識技術を使用して認識する（ステップＳ２）。プロセッサ５ａは、画像Ｇ内に処置具６が存在し認識された場合、開始トリガがＯＦＦであると判定し（ステップＳ３のＮＯ）、画像Ｇ内に処置具６が存在せず認識されなかった場合、開始トリガがＯＮであると判定する（ステップＳ３のＹＥＳ）。

【0023】

抜去時の処置具６の速さは、処置具６に追従する内視鏡２の速さと比較して速いので、抜去動作の途中で処置具６は画像Ｇから消失し、プロセッサ５ａは内視鏡２を一時的に停止させる。したがって、抜去後には処置具６が存在しない画像Ｇが取得されるので、画像Ｇ内の処置具６の有無に基づいて抜去を検知することができる。

【0024】

第１の方法において、プロセッサ５ａは、処置具６が画像Ｇ内に連続して存在しない消失時間を処置具情報として用いることが好ましい。この場合、プロセッサ５ａは、消失時間が所定時間（閾値）以下である場合、開始トリガがＯＦＦであると判定し（ステップＳ３のＮＯ）、消失時間が所定時間を超えた場合、開始トリガがＯＮであると判定する（ステップＳ３のＹＥＳ）。
被検体Ａ内で速く移動する処置具６に内視鏡２が追い付かないことが原因で、処置具６が被検体Ａ内に存在するにも関わらず処置具６が画像Ｇ内から少しの間だけ消えることがある。消失時間が所定時間を超えか否かを判定することによって、抜去をより正確に検知することができる。

【0025】

図６Ｂの第２の方法において、処置具情報は、処置具６の速さであり、プロセッサ５ａは、処置具６の速さが所定の速さ閾値αよりも大きいことを開始トリガとして検知する。具体的には、プロセッサ５ａは、処置具６の速さを取得する（ステップＳ２）。プロセッサ５ａは、速さが閾値α以下である場合、開始トリガがＯＦＦであると判定し（ステップＳ３のＮＯ）、速さが閾値αよりも大きい場合、開始トリガがＯＮであると判定する（ステップＳ３のＹＥＳ）。
抜去時の処置具６の速さは、抜去時以外の処置具６の速さよりもはるかに速い。したがって、速さに基づいて、処置具６の抜去を正確に検知することができる。

【0026】

図６Ｃの第３の方法において、処置具情報は、被検体Ａ内において処置具６が移動した軌跡であり、プロセッサ５ａは、処置具６が所定の軌跡に沿って移動したことを開始トリガとして検知する。具体的には、プロセッサ５ａは、被検体Ａ内での処置具６の位置を取得し（ステップＳ２１）、取得された位置から処置具６の軌跡を算出し（ステップＳ２２）、算出された軌跡の所定の軌跡との類似度を算出する（ステップＳ２３）。プロセッサ５ａは、類似度が所定の類似度閾値β以下である場合、開始トリガがＯＦＦであると判定し（ステップＳ３のＮＯ）、類似度が閾値βよりも大きい場合、開始トリガがＯＮであると判定する（ステップＳ３のＹＥＳ）。
抜去される処置具６は、トロッカ８によって規定される所定の軌跡に沿って後退する。したがって、処置具６の軌跡に基づいて、処置具６の抜去を正確に検知することができる。

【0027】

図６Ｄの第４の方法において、処置具情報は、処置具６の位置であり、プロセッサ５ａは、処置具６の位置が被検体Ａの外側であることを開始トリガとして検知とする。具体的には、プロセッサ５ａは、被検体Ａの内側および外側を含む３次元空間内での処置具６の位置を取得する（ステップＳ２１）。プロセッサ５ａは、処置具６の位置が被検体Ａ内である場合、トリガがＯＦＦであると判定し（ステップＳ３のＮＯ）、処置具６の位置が被検体Ａ外である場合、開始トリガがＯＮであると判定する（ステップＳ３のＹＥＳ）。

【0028】

このように、処置具情報は、画像Ｇ内の処置具６の有無、消失時間の長さ、ならびに、処置具６の速さ、軌跡および位置のいずれかを含む。これらの処置具情報は、画像Ｇを用いて検出されるか、または、処置具６の３次元位置を検出する任意のセンサ９を用いて検出される。
内視鏡システム１は、処置具情報を検出する処置具情報検出部をさらに備えていてもよい。処置具情報検出部は、制御装置５に設けられ画像Ｇから処置具情報を検出するプロセッサであってもよく、このプロセッサは、プロセッサ５ａまたは他のプロセッサであってもよい。あるいは、処置具情報検出部は、センサ９であってもよい。

【0029】

開始トリガがＯＦＦであると判定された場合（ステップＳ３のＮＯ）、プロセッサ５ａは、ステップＳ２～Ｓ３を繰り返す。
開始トリガがＯＮであると判定された場合（ステップＳ３のＹＥＳ）、プロセッサ５ａは、追従モードまたは手動モードから俯瞰モードに切り替え（ステップＳ４）、続いて画像Ｇのズームアウトを開始させる（ステップＳ５）。

【0030】

ステップＳ５において、プロセッサ５ａは、移動装置３および内視鏡２の少なくとも一方を制御することによって、被検体Ａ内の特定点Ｐを画像Ｇ内に維持しながら画像Ｇをズームアウトさせる。
特定点Ｐは、開始トリガがＯＮであると判定された時点において、視野Ｆ内の所定の点が配置される位置である。例えば、図３Ｂに示されるように、特定点Ｐは、開始トリガがＯＮであると判定された時点において目標点が配置される位置であり、図４Ｂに示されるように、特定点Ｐは、画像Ｇ内の中心に配置される。

【0031】

具体的には、ステップＳ５において、プロセッサ５ａは、例えばロボットアーム３ａの各関節の回転角度および観察距離Ｚ１から、ワールド座標系での特定点Ｐの位置座標を算出する。ワールド座標系は、内視鏡システム１が配置される空間に対して固定された座標系であり、例えば、ロボットアーム３ａの基端を原点とする座標系である。
次に、図３Ｃに示されるように、プロセッサ５ａは、移動装置３を制御することによって内視鏡２を後退させ、特定点Ｐを光軸上に維持しながら内視鏡２の先端２ｃを特定点Ｐから離れる方向に移動させる。これにより、図４Ｃに示されるように、特定点Ｐを中心に維持しながら画像Ｇがズームアウトされる。
ステップＳ５において、プロセッサ５ａは、内視鏡２の移動に加えて、またはこれに代えて、内視鏡２のズームレンズ２ｂを制御することによって、画像Ｇを光学的にズームアウトさせてもよい。

【0032】

ズームアウトの開始後、プロセッサ５ａは、ズームアウトを終了させる終了トリガを判定する（ステップＳ７）。
図７に示されるように、ステップＳ７は、画像Ｇに基づいて終了トリガを判定するステップＳ７１と、特定点Ｐから内視鏡２の先端２ｃまでの距離Ｚに基づいて終了トリガを判定するステップＳ７２，Ｓ７３，Ｓ７４とを含む。プロセッサ５ａは、ステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４のいずれかで終了トリガがＯＮであると判定されるまでステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４を繰り返す。ステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４のいずれかにおいて終了トリガがＯＮであると判定された場合（ステップＳ７のＹＥＳ）、プロセッサ５ａは、内視鏡２および／またはズームレンズ２ｂを停止させることによって、ズームアウトを終了させる（ステップＳ８）。

【0033】

図８に示されるように、内視鏡２の先端２ｃがトロッカ７の先端７ａの近傍まで後退したとき、画像Ｇ内にトロッカ７の内壁７ｂが写る。プロセッサ５ａは、ズームアウト中の画像Ｇ内のトロッカ７の内壁７ｂを認識し、内壁７ｂの面積を算出し、内壁７ｂの面積が所定の面積閾値γに到達したときに、終了トリガがＯＮであると判定する（ステップＳ７１のＹＥＳ）。閾値γは、例えば、画像Ｇの全面積の所定の割合に相当する面積である。

【0034】

また、プロセッサ５ａは、ズームアウト中、特定点Ｐから内視鏡２の先端２ｃまでの光軸に沿う方向の距離Ｚを算出し、距離Ｚが所定の距離閾値に到達したときに終了トリガがＯＮであると判定する。具体的には、所定の距離閾値は、第１閾値δ１、第２閾値δ２および第３閾値δ３を含み、プロセッサ５ａは、距離Ｚが３つの閾値δ１，δ２，δ３のいずれかに到達したときに、終了トリガがＯＮであると判定する（ステップＳ７２のＹＥＳ、ステップＳ７３のＹＥＳ、またはステップＳ７４のＹＥＳ）。

【0035】

第１閾値δ１は、ズームアウト終了後に対象部位の観察に十分な解像度を有する画像Ｇを取得するための距離Ｚの条件を規定するものであり、内視鏡２の被写界深度の限界遠点に基づいて決定される。例えば、第１閾値δ１は、内視鏡２の先端２ｃから限界遠点までの距離である。
第２閾値δ２は、特定点Ｐまで再挿入された処置具６の追従が可能であるための距離の条件を規定するものであり、画像Ｇの解像度に基づいて決定される。例えば、第２閾値δ２は、画像Ｇが特定点Ｐに配置された処置具６の画像認識が可能な解像度を有する距離Ｚの限界である。
第３閾値δ３は、第２閾値δ２と同様に、特定点Ｐまで再挿入された処置具６の追従が可能であるための距離Ｚの条件を規定するものであり、ステレオ計測の精度に基づいて決定される。例えば、第３閾値δ３は、特定点Ｐに配置された処置具６の３次元位置を画像Ｇから所定の精度でステレオ計測することができる距離の限界である。

【0036】

処置具６の抜去の後、図３Ｄに示されるように、ユーザは、処置具６をトロッカ８を経由して被検体Ａ内に再挿入し、処置具６を対象部位に向かって移動させる。
ズームアウト終了後、プロセッサ５ａは、処置具情報に基づいて、処置具６が再挿入されたことを示す復帰トリガを判定し（ステップＳ９）、復帰トリガがＯＮになったことに応答して俯瞰モードを終了する（ステップＳ１０）。

【0037】

図９Ａおよび図９Ｂは、復帰トリガの判定の例を説明している。
図９Ａの第１の例において、処置具情報は、画像Ｇ内の処置具６の有無であり、プロセッサ５ａは、処置具６が画像Ｇ内に存在することを復帰トリガとして検知する。すなわち、プロセッサ５ａは、画像Ｇ内に処置具６が認識されなかった場合、復帰トリガがＯＦＦであると判定し（ステップＳ９のＮＯ）、画像Ｇ内に処置具６が認識された場合、復帰トリガがＯＮであると判定する（ステップＳ９のＹＥＳ）。

【0038】

図９Ｂの第２の例において、処置具情報は、画像Ｇ内の所定領域Ｈ内の処置具６の有無であり、プロセッサ５ａは、処置具６が所定領域Ｈ内に存在することを復帰トリガとして検知する。所定領域Ｈは、特定点Ｐを含む画像Ｇの一部分であり、例えば画像Ｇの中央領域である。すなわち、プロセッサ５ａは、所定領域Ｈ内に処置具６が認識されなかった場合、復帰トリガがＯＦＦであると判定し（ステップＳ９のＮＯ）、所定領域Ｈ内に処置具６が認識された場合、復帰トリガがＯＮであると判定する（ステップＳ９のＹＥＳ）。
第２の例によれば、この後に行われるズームイン中に、俯瞰モードに切り替えられる直前に観察していた対象部位を画像Ｇの中央に捉え続けることができる。

【0039】

処置具６は、ズームアウトが終了する前に再挿入され得る。したがって、プロセッサ５ａは、ステップＳ８の後に加えて、ステップＳ５とステップＳ７との間に復帰トリガの判定を行ってもよい（ステップＳ６）。
復帰トリガがＯＮであると判定された場合（ステップＳ６またはＳ９のＹＥＳ）、プロセッサ５ａは、俯瞰モードからステップＳ１の追従モードまたは手動モードに切り替える（ステップＳ１０）。

【0040】

追従モードに切り替えられた場合、プロセッサ５ａは、ズームアウトされた画像Ｇ内の処置具６を認識し、続いて、移動装置３を制御することによって、目標点が先端６ａと一致する位置へ内視鏡２を移動させる。これにより、画像Ｇが自動的にズームインし、被検体Ａ内の内視鏡２の位置および画像Ｇの倍率が、俯瞰モードの前の状態に復帰する（図３Ａおよび図４Ａ参照）。
手動モードに切り替えられた場合、プロセッサ５ａは、例えば、移動装置３を制御することによって内視鏡２を移動させ、開始トリガがＯＮであると判定された時点で先端２ｃが配置された位置に先端２ｃを移動させる。これにより、画像Ｇが自動的にズームインする。

【0041】

このように、本実施形態によれば、処置具６の抜去が処置具情報に基づいて自動的に検知され、処置具６の抜去後に俯瞰モードが自動的に実行され、画像Ｇが自動的にズームアウトする。ズームアウトされた状態において、ユーザは、被検体Ａ内の広範囲の画像Ｇを観察しながら処置具６を対象部位まで容易に再挿入することができる。このように、ユーザの操作を必要とすることなく処置具６の容易な再挿入を支援することができる。

【0042】

また、被検体Ａ内の広範囲を観察するためにはズームアウトされた画像Ｇの倍率はより低いことが好ましい。その一方で、ズームアウトし過ぎる場合、例えば距離Ｚが大き過ぎる場合、再挿入された処置具６の観察、画像認識および追従に支障が生じ得る。本実施形態によれば、ステップＳ７１～Ｓ７４において、ズームアウトを終了する内視鏡２の位置が、画像Ｇおよび距離Ｚに基づき、再挿入された処置具６の良好な観察および良好な追従が保証される範囲内で最も倍率が低くなる位置に自動的に決定される。これにより、処置具６の再挿入をさらに効果的に支援することができる。

【0043】

また、処置具６の再挿入が処置具情報に基づいて自動的に検知され、処置具６の再挿入後に元のモードに自動的に復帰する。これにより、俯瞰モードから追従または手動モードに切り替えるためのユーザの操作を不要とし、処置具６の再挿入をさらに効果的に支援することができる。

【0044】

本実施形態において、図３Ｅに示されるように、プロセッサ５ａは、画像Ｇのズームアウトと並行して、またはその後に、内視鏡２の視野Ｆをトロッカ８の先端８ａに向かって移動させてもよい。
図３Ｅは、ズームアウト後に視野Ｆを移動させる場合を示している。内壁７ｂの面積が閾値γに到達するか、または、距離Ｚが閾値δ１，δ２，δ３のいずれかに到達した場合（ステップＳ７１、Ｓ７２、Ｓ７３またはＳ７４のＹＥＳ）、プロセッサ５ａは、移動装置３を制御することによって、内視鏡２の先端２ｃがトロッカ８の先端８ａに近付く方向に内視鏡２を揺動させる。これにより、図１０Ａおよび図１０Ｂに示されるように、画像Ｇ内において、特定点Ｐが中心から端に向かって移動する。

【0045】

具体的には、プロセッサ５ａは、トロッカ８のピボット点Ｄの位置座標および挿入長さＬ３から、トロッカ８の先端８ａの位置座標を算出し、先端８ａに向かって内視鏡２を揺動させる。挿入長さＬ３は、先端８ａからピボット点Ｄまでのトロッカ８の長さであり、ピボット点Ｄおよび先端８ａの位置座標は、ワールド座標系での座標である。ここで、先端８ａが特定点Ｐを向いていると仮定している。

【0046】

プロセッサ５ａは、特定点Ｐが画像Ｇ内に存在し、かつ、可能であればトロッカ８の先端８ａが画像Ｇ内に写るまで、視野Ｆを先端８ａに向かって移動させる。
具体的には、図１１に示されるように、プロセッサ５ａは、特定点Ｐが画像Ｇの周縁領域Ｉに到達したか否か（ステップＳ７５）、および、トロッカ８の先端８ａが画像Ｇの中央領域Ｊに到達した否か（ステップＳ７６）を判定する。周縁領域Ｉは、所定の幅を有し画像Ｇの縁に沿う領域であり（図１０Ａ参照。）、中央領域Ｊは、画像Ｇの中心を含む画像Ｇの一部分である（図１０Ｂ参照。）。特定点Ｐが周縁領域Ｉに到達した場合（ステップＳ７５のＹＥＳ）または先端８ａが中央領域Ｊに到達した場合（ステップＳ７６のＹＥＳ）、プロセッサ５ａは、終了トリガがＯＮであると判定する。
ズームアウトと並行して視野Ｆを移動させる場合、プロセッサ５ａは、内視鏡２を後退させながら揺動させ、ステップＳ７１～Ｓ７４と並行してステップＳ７５，Ｓ７６を行う。

【0047】

図１０Ａから図１１の変形例によれば、ズームアウトの後、特定点Ｐが画像Ｇ内に維持される範囲内で内視鏡２の視野Ｆがトロッカ８の先端８ａに近付けられ、好ましくは特定点Ｐおよび先端８ａの両方が画像Ｇ内に含まれる。これにより、ユーザは、再挿入される処置具６をより容易に観察することができ、処置具６の再挿入をさらに効果的に支援することができる。
内視鏡２が視野Ｆの方向を変更する機構を有する場合、制御装置５は、内視鏡２を制御することによって視野Ｆを先端８ａに向かって移動させてもよい。前記機構は、例えば、内視鏡２の先端部に設けられた湾曲部である。

【0048】

上記実施形態において、終了トリガを判定するステップＳ７が、４つのステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４を含むこととしたが、ステップＳ７は、ステップＳ７１，Ｓ７２，Ｓ７３，Ｓ７４の内の少なくとも１つを含んでいればよい。例えば、画像Ｇの解像度およびステレオ計測の精度が十分に高い場合、ステップＳ７が、ステップＳ７１のみを含んでいてもよい。

【0049】

上記実施形態において、プロセッサ５ａが、俯瞰モードから、俯瞰モードの直前のモードと同一のモードに切り替えることとしたが、これに代えて、所定のモードに切り替えてもよい。
例えば、制御装置５は、俯瞰モード後のモードを、手動モードおよび追従モードのいずれか一方にユーザが設定することができるように構成されていてもよい。この場合、プロセッサ５ａは、俯瞰モードの直前のモードに関わらず、ユーザによって予め設定されたモードに切り替えてもよい。

【0050】

上記実施形態のステップＳ３において、プロセッサ５ａが、１つの処置具情報に基づいて開始トリガを判定することとしたが、これに代えて、２以上の処置具情報の組み合わせに基づいて開始トリガを判定してもよい。
すなわち、プロセッサ５ａは、ステップＳ２において２以上の処置具情報を取得し、その後、図６Ａから図６Ｄの第１から第４の方法の内、２以上を実行してもよい。例えば、プロセッサ５ａは、消失時間の長さ、処置具６の速さおよび処置具６の軌跡の内、２つ以上が対応する閾値を超えた場合に、開始トリガがＯＮであると判定し俯瞰モードを開始してもよい。

【0051】

上記実施形態において、プロセッサ５ａが、開始トリガを自動的に検知することとしたが、これに代えて、または、これに加えて、ユーザの入力を開始トリガとしてもよい。
例えば、ユーザは、ユーザインタフェースを使用して制御装置５に任意のタイミングで開始トリガを入力することができる。プロセッサ５ａは、開始トリガの入力に応答し、俯瞰モードを実行させる。この構成によれば、ユーザは、所望の任意のタイミングで画像Ｇのズームアウトを内視鏡２および移動装置３に実行させることができる。
同様に、プロセッサ５ａは、ユーザがユーザインタフェースに入力した終了トリガおよび復帰トリガにそれぞれ応答してズームアウトおよび俯瞰モードを終了させてもよい。

【0052】

上記実施形態において、制御装置５が内視鏡プロセッサであることとしたが、これに代えて、プロセッサ５ａと、制御プログラム５ｅを記憶した記録媒体５ｃとを有する任意の装置であってもよい。例えば、制御装置５は、移動装置３に組み込まれていてもよく、または、内視鏡２および移動装置３と接続された、パーソナルコンピュータのような任意のコンピュータであってもよい。

【0053】

以上、本発明の実施形態および変形例について詳述したが、本発明は上述した実施形態および変形例に限定されるものではない。これらの実施形態および変形例は、発明の要旨を逸脱しない範囲で、または、特許請求の範囲に記載された内容とその均等物から導き出される本発明の思想および趣旨を逸脱しない範囲で、種々の追加、置き換え、変更、部分的削除等が可能である。

【符号の説明】

【0054】

１ 内視鏡システム
２ 内視鏡
２ａ 撮像素子
３ 移動装置
４ 表示装置
５ 制御装置
５ａ プロセッサ（処置具情報検出部）
５ｃ 記憶部（記録媒体）
５ｅ 制御プログラム
６ 処置具
６ａ 先端
７，８ トロッカ
７ａ 先端
７ｂ 内壁
９ センサ（処置具情報検出部）
Ａ 被検体
Ｇ 画像
Ｐ 特定点

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】