▶ オリンパス株式会社の特許一覧 ▶ 独立行政法人国立がん研究センターの特許一覧
特開2024-121805内視鏡システム、内視鏡システムの制御方法および制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024121805
(43)【公開日】2024-09-06
(54)【発明の名称】内視鏡システム、内視鏡システムの制御方法および制御プログラム
(51)【国際特許分類】
A61B 1/00 20060101AFI20240830BHJP
A61B 1/045 20060101ALI20240830BHJP
【ＦＩ】
A61B1/00 655
A61B1/00 553
A61B1/00 735
A61B1/045 618
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2024024231
(22)【出願日】2024-02-21
(31)【優先権主張番号】63/448474
(32)【優先日】2023-02-27
(33)【優先権主張国・地域又は機関】US
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人日本医療研究開発機構、「医療機器等における先進的研究開発・開発体制強靱化事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(71)【出願人】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】戴 明軒
(72)【発明者】
【氏名】荻本 浩人
(72)【発明者】
【氏名】長谷川 寛
(72)【発明者】
【氏名】北口 大地
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161GG13
4C161HH51
4C161HH52
4C161HH57
4C161NN01
4C161PP12
4C161RR06
(57)【要約】 （修正有）
【課題】同一の処置具の使用中に、処置の進行に合わせて近接視野と俯瞰視野とを自動的に切り替えることができる内視鏡システム、内視鏡システムの制御方法および制御プログラムを提供する。
【解決手段】内視鏡システムは、処置具を含む被検体内の画像を取得する内視鏡と、内視鏡の位置および姿勢を変更する移動装置と、少なくとも１つのプロセッサを有する制御装置と、を備える。制御装置は、処置具から組織までの距離および処置具の動作状態を取得しＳＡ２、距離および動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定しＳＡ３、ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行うＳＡ４。
【選択図】図４Ａ
【解決手段】内視鏡システムは、処置具を含む被検体内の画像を取得する内視鏡と、内視鏡の位置および姿勢を変更する移動装置と、少なくとも１つのプロセッサを有する制御装置と、を備える。制御装置は、処置具から組織までの距離および処置具の動作状態を取得しＳＡ２、距離および動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定しＳＡ３、ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行うＳＡ４。
【選択図】図４Ａ
【特許請求の範囲】
【請求項1】
被検体内に挿入され、処置具を含む前記被検体内の画像を取得する内視鏡と、
該内視鏡の位置および姿勢を変更する移動装置と、
少なくとも１つのプロセッサを有する制御装置と、を備え、
該制御装置が、
前記処置具から組織までの距離を取得し、
前記処置具の動作状態を取得し、
前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、
ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、内視鏡システム。
該内視鏡の位置および姿勢を変更する移動装置と、
少なくとも１つのプロセッサを有する制御装置と、を備え、
該制御装置が、
前記処置具から組織までの距離を取得し、
前記処置具の動作状態を取得し、
前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、
ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、内視鏡システム。
【請求項2】
前記ズームイン制御および前記ズームアウト制御が、前記内視鏡の位置、前記内視鏡の光学倍率および前記画像のデジタル倍率の内、少なくとも１つの制御である、請求項１に記載の内視鏡システム。
【請求項3】
前記制御装置が、前記画像内の特定点を該画像内に維持しながら前記ズームイン制御または前記ズームイン制御を行う、請求項１に記載の内視鏡システム。
【請求項4】
前記制御装置が、
前記画像に基づいて処置フェーズを判定し、
前記処置フェーズに応じた判定フローに従って前記距離および前記動作状態の少なくとも１つを順番に判定することによって、前記ズームインおよび前記ズームアウトの要否を判定する、請求項１に記載の内視鏡システム。
前記画像に基づいて処置フェーズを判定し、
前記処置フェーズに応じた判定フローに従って前記距離および前記動作状態の少なくとも１つを順番に判定することによって、前記ズームインおよび前記ズームアウトの要否を判定する、請求項１に記載の内視鏡システム。
【請求項5】
前記制御装置が、前記画像内の処置具の種類を検出し、前記処置具の種類に基づいて前記処置フェーズを判定する、請求項４に記載の内視鏡システム。
【請求項6】
前記制御装置が、前記画像内の所定の対象処置具の種類を検出する、請求項５に記載の内視鏡システム。
【請求項7】
前記制御装置は、前記処置具の種類が把持鉗子である場合、前記処置フェーズが展開フェーズであると判定する、請求項５に記載の内視鏡システム。
【請求項8】
前記動作状態が、前記把持鉗子の開閉状態および把持状態の少なくとも１つを含む、請求項７に記載の内視鏡システム。
【請求項9】
前記制御装置は、前記処置具の種類が電気メスおよびエネルギデバイスのいずれかである場合、前記処置フェーズが剥離フェーズであると判定する、請求項５に記載の内視鏡システム。
【請求項10】
前記動作状態が、前記電気メスまたは前記エネルギデバイスの通電状態、開閉状態および把持状態の少なくとも１つを含む、請求項９に記載の内視鏡システム。
【請求項11】
前記制御装置は、前記距離が所定の閾値以下である場合にズームインが必要であると判定し、前記ズームイン制御を行う、請求項１に記載の内視鏡システム。
【請求項12】
前記制御装置は、前記画像内の被写体の倍率が所定の第１倍率以上になったときに前記ズームイン制御を終了する、請求項１に記載の内視鏡システム。
【請求項13】
前記制御装置が、前記内視鏡から被写体までの距離に基づいて前記倍率を判定する、請求項１２に記載の内視鏡システム。
【請求項14】
前記制御装置が、前記画像内の所定の被写体の面積に基づいて前記倍率を判定する、請求項１３に記載の内視鏡システム。
【請求項15】
前記制御装置は、前記画像内の被写体の倍率が所定の第２倍率以下になったときに前記ズームアウト制御を終了する、請求項１に記載の内視鏡システム。
【請求項16】
前記制御装置が、前記内視鏡から被写体までの距離に基づいて前記倍率を判定する、請求項１５に記載の内視鏡システム。
【請求項17】
前記制御装置が、前記画像内の所定の被写体の面積に基づいて前記倍率を判定する、請求項１５に記載の内視鏡システム。
【請求項18】
内視鏡システムの制御方法であって、前記内視鏡システムが、被検体内に挿入され、処置具を含む前記被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、を備え、
前記処置具から組織までの距離を取得し、
前記処置具の動作状態を取得し、
前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、
ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、制御方法。
前記処置具から組織までの距離を取得し、
前記処置具の動作状態を取得し、
前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、
ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、制御方法。
【請求項19】
請求項１８に記載の制御方法をコンピュータに実行させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム、内視鏡システムの制御方法および制御プログラムに関するものである。
【背景技術】
【0002】
腹腔鏡手術等の内視鏡手術において、術者が望む画像の倍率は、処置具の操作に応じて異なる。したがって、同一の処置具の操作中に、処置具の操作に応じて近接視野と俯瞰視野とが切り替えられる。近接視野は、被写体の狭い範囲を含む高倍率の視野であり、俯瞰視野は、被写体の広い範囲を含む低倍率の視野である。視野の切り替えは、例えば、助手が術者の指示に従って内視鏡を被写体に近付ける、または遠ざけることによって行われる。したがって、術者は、助手に対して指示を出す必要がある。
【0003】
一方、手術中に内視鏡から被写体までの距離を自動的に変更する内視鏡システムが提案されている（例えば、特許文献１，２参照。）。特許文献１において、処置具の種類に応じて、内視鏡から処置具の先端までの距離が変更される。特許文献２において、焼灼された組織からのミストの発生および消失に応じて、内視鏡から組織までの距離が変更される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０２２／０５４４２８号
【特許文献2】特開２０２０－１９２３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の場合、内視鏡から処置具の先端までの距離は、処置具の種類の変更に応答して変更される。したがって、同一の処置具の使用中に近接視野と俯瞰視野とを自動的に切り替えることはできない。
特許文献２の場合、内視鏡から組織までの距離は、ミストの有無に応じて変更される。したがって、距離の変更は、ミストの発生する処置に限って自動で実行され、ミストに関係なく処置具の操作に応じて距離を自動的に変更することができない。
特許文献２の場合、内視鏡から組織までの距離は、ミストの有無に応じて変更される。したがって、距離の変更は、ミストの発生する処置に限って自動で実行され、ミストに関係なく処置具の操作に応じて距離を自動的に変更することができない。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、同一の処置具の使用中に、処置の進行に合わせて近接視野と俯瞰視野とを自動的に切り替えることができる内視鏡システム、内視鏡システムの制御方法および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、被検体内に挿入され、処置具を含む前記被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、少なくとも１つのプロセッサを有する制御装置と、を備え、該制御装置が、前記処置具から組織までの距離を取得し、前記処置具の動作状態を取得し、前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、内視鏡システムである。
【0008】
本発明の他の態様は、内視鏡システムの制御方法であって、前記内視鏡システムが、被検体内に挿入され、処置具を含む前記被検体内の画像を取得する内視鏡と、該内視鏡の位置および姿勢を変更する移動装置と、を備え、前記処置具から組織までの距離を取得し、前記処置具の動作状態を取得し、前記距離および前記動作状態の少なくとも１つに基づいてズームインおよびズームアウトの要否を判定し、ズームインまたはズームアウトが必要であると判定された場合に、表示装置に表示する前記画像内の被写体を拡大または縮小するズームイン制御またはズームアウト制御を行う、制御方法である。
本発明の他の態様は、上記の制御方法をコンピュータに実行させるための制御プログラムである。
本発明の他の態様は、上記の制御方法をコンピュータに実行させるための制御プログラムである。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態に係る内視鏡システムの全体構成図である。
【図3A】展開フェーズの第１タスク中の近接視野の画像である。
【図3B】展開フェーズの第２タスク中の近接視野の画像である。
【図3C】展開フェーズの第３タスク中の俯瞰視野の画像である。
【図4A】本発明の第１実施形態に係る制御方法のフローチャートである。
【図5】処置具から組織までの距離および動作情報の組み合わせを説明する図である。
【図6】ステップＳＡ５４を説明する画像である。
【図7A】剥離フェーズの第１タスク中の近接視野の画像である。
【図7B】剥離フェーズの第２タスク中の俯瞰視野の画像である。
【図8A】本発明の第２実施形態に係る制御方法のフローチャートである。
【発明を実施するための形態】
【0010】
（第１実施形態）
本発明の第１実施形態に係る内視鏡システム、内視鏡システムの制御方法および制御プログラムについて図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２および処置具６を被検体Ａである患者の体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で患部等の対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
本発明の第１実施形態に係る内視鏡システム、内視鏡システムの制御方法および制御プログラムについて図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１は、内視鏡２および処置具６を被検体Ａである患者の体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で患部等の対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
【0011】
図１および図２に示されるように、内視鏡システム１は、被検体Ａ内に挿入される内視鏡２と、内視鏡２の位置および姿勢を変更する移動装置３と、表示装置４と、内視鏡２および移動装置３を制御する制御装置５とを備える。
内視鏡２および処置具６は、図示しないトロッカ内をそれぞれ経由して被検体Ａ内、例えば腹腔に挿入される。トロッカは、体壁に形成された穴を通って被検体Ａ内に挿入される筒状の器具であり、穴を支点にして揺動可能である。
内視鏡２および処置具６は、図示しないトロッカ内をそれぞれ経由して被検体Ａ内、例えば腹腔に挿入される。トロッカは、体壁に形成された穴を通って被検体Ａ内に挿入される筒状の器具であり、穴を支点にして揺動可能である。
【0012】
内視鏡２は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサのような撮像素子２ａを有し、被検体Ａ内の組織Ｂ（Ｂ１，Ｂ２，Ｂ３）および処置具６を含む画像Ｃを取得する（図３Ａから図３Ｃ参照。）。撮像素子２ａは、例えば内視鏡２の先端部に設けられた３次元カメラであり、ステレオ画像を画像Ｃとして取得する。内視鏡２の対物レンズは、画像Ｃ内の被写体を光学的に拡大または縮小するズームレンズ２ｂを有していてもよい。
画像Ｃは、内視鏡２から制御装置５を経由して表示装置４に送信され、表示装置４に表示される。表示装置４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意の種類のディスプレイである。
画像Ｃは、内視鏡２から制御装置５を経由して表示装置４に送信され、表示装置４に表示される。表示装置４は、液晶ディスプレイまたは有機ＥＬディスプレイ等の任意の種類のディスプレイである。
【0013】
移動装置３は、多関節のロボットアームからなる電動ホルダ３ａを備え、制御装置５によって制御される。内視鏡２は、電動ホルダ３ａの先端部に保持され、電動ホルダ３ａの動作によって内視鏡２の位置および姿勢が３次元的に変更される。
【0014】
制御装置５は、内視鏡２、移動装置３および表示装置４に表示される画像Ｃを制御する内視鏡プロセッサである。図２に示されるように、制御装置５は、少なくとも１つのプロセッサ５ａと、メモリ５ｂと、記憶部５ｃと、入出力インタフェース５ｄとを備える。
制御装置５は、入出力インタフェース５ｄを経由して周辺機器２，３，４と接続され、画像Ｃおよび信号等を入出力インタフェース５ｄを経由して送受信する。
制御装置５は、入出力インタフェース５ｄを経由して周辺機器２，３，４と接続され、画像Ｃおよび信号等を入出力インタフェース５ｄを経由して送受信する。
【0015】
記憶部５ｃは、コンピュータ読み取り可能な非一時的な記録媒体であり、例えば、ハードディスクドライブ、光ディスクまたはフラッシュメモリ等である。記憶部５ｃは、後述する制御方法をプロセッサ５ａに実行させる制御プログラム５ｅと、プロセッサ５ａの処理に必要なデータとを記憶している。
プロセッサ５ａは、記憶部５ｃからＲＡＭ（Random Access Memory）等のメモリ５ｂに読み込まれた制御プログラム５ｅに従って後述する制御方法を実行する。プロセッサ５ａが実行する後述の処理の一部は、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Ｄvice）等の専用の論理回路やハードウェア等によって実現されてもよい。
プロセッサ５ａは、記憶部５ｃからＲＡＭ（Random Access Memory）等のメモリ５ｂに読み込まれた制御プログラム５ｅに従って後述する制御方法を実行する。プロセッサ５ａが実行する後述の処理の一部は、ＦＰＧＡ（Field Programmable Gate Array）、ＳｏＣ（System-On-A-Chip）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Ｄvice）等の専用の論理回路やハードウェア等によって実現されてもよい。
【0016】
プロセッサ５ａは、追従モードおよび静止モードのいずれかで移動装置３を制御してもよい。ユーザは、制御装置５に設けられたユーザインタフェース（図示略）を使用して、静止モードおよび追従モードの一方を選択することができる。
追従モードは、プロセッサ５ａが処置具６の位置に基づいて移動装置３を制御することによって、内視鏡２を処置具６に自動的に追従させるモードである。例えば、プロセッサ５ａは、処置具６の先端の位置を画像Ｃを用いたステレオ計測によって取得し、処置具６の先端が画像Ｃ内の所定の目標点に配置されるように、移動装置３を制御して内視鏡２を移動させる。
静止モードは、処置具６の位置に関わらず内視鏡２を一定位置に維持するモードである。
追従モードは、プロセッサ５ａが処置具６の位置に基づいて移動装置３を制御することによって、内視鏡２を処置具６に自動的に追従させるモードである。例えば、プロセッサ５ａは、処置具６の先端の位置を画像Ｃを用いたステレオ計測によって取得し、処置具６の先端が画像Ｃ内の所定の目標点に配置されるように、移動装置３を制御して内視鏡２を移動させる。
静止モードは、処置具６の位置に関わらず内視鏡２を一定位置に維持するモードである。
【0017】
一般に、１つの手術は、１以上の処置フェーズを含む。各処置フェーズにおいて、術者は、１つの処置具を使用して複数のタスクを順番に実行することによって、１種類の処置を進める。手術中の画像Ｃ内の被写体の適切な倍率は、処置フェーズおよびタスクに応じて異なる。
図３Ａから図３Ｃに示されるように、処置フェーズの一例は、組織を展開する展開フェーズである。符号６は、術者が操作する術者鉗子を示し、符号７１，７２は、助手が操作する助手鉗子を示している。
図３Ａから図３Ｃに示されるように、処置フェーズの一例は、組織を展開する展開フェーズである。符号６は、術者が操作する術者鉗子を示し、符号７１，７２は、助手が操作する助手鉗子を示している。
【0018】
展開フェーズは、図３Ａ、図３Ｂおよび図３Ｃにそれぞれ示される第１タスク、第２タスクおよび第３タスクを含む。
具体的には、第１タスクにおいて、術者は、開いた術者鉗子６を組織Ｂ１に近付け、術者鉗子６を閉じて組織Ｂ１を把持し、組織Ｂ１を術者鉗子６から第１助手鉗子７１に受け渡す（図３Ａ参照。）。
次に、第２タスクにおいて、術者は、開いた術者鉗子６を他の位置の組織Ｂ２に近付け、術者鉗子６を閉じて組織Ｂ２を把持し、組織Ｂ２を術者鉗子６から第２助手鉗子７２に受け渡す（図３Ｂ参照。）。
次に、第３タスクにおいて、術者は、２つの助手鉗子７１，７２によって組織Ｂ１，Ｂ２間の組織Ｂ３が展開されていることを確認し、必要に応じて助手に指示して助手鉗子７１，７２の位置および組織Ｂ１，Ｂ２の牽引方向を調整する（図３Ｃ参照。）。
具体的には、第１タスクにおいて、術者は、開いた術者鉗子６を組織Ｂ１に近付け、術者鉗子６を閉じて組織Ｂ１を把持し、組織Ｂ１を術者鉗子６から第１助手鉗子７１に受け渡す（図３Ａ参照。）。
次に、第２タスクにおいて、術者は、開いた術者鉗子６を他の位置の組織Ｂ２に近付け、術者鉗子６を閉じて組織Ｂ２を把持し、組織Ｂ２を術者鉗子６から第２助手鉗子７２に受け渡す（図３Ｂ参照。）。
次に、第３タスクにおいて、術者は、２つの助手鉗子７１，７２によって組織Ｂ１，Ｂ２間の組織Ｂ３が展開されていることを確認し、必要に応じて助手に指示して助手鉗子７１，７２の位置および組織Ｂ１，Ｂ２の牽引方向を調整する（図３Ｃ参照。）。
【0019】
術者が望む視野は、第１タスクでは、拡大された組織Ｂ１および処置具６，７１を含む高倍率の近接視野Ｆ１であり、第２タスクでは、拡大された組織Ｂ２および処置具６，７２を含む高倍率の近接視野Ｆ１であり、第３タスクでは、組織Ｂ１，Ｂ２，Ｂ３および処置具６，７１，７２を全て含む低倍率の俯瞰視野Ｆ２である。図３Ａおよび図３Ｂは近接視野Ｆ１の画像Ｃを示し、図３Ｃは俯瞰視野Ｆ２の画像Ｃを示している。
【0020】
プロセッサ５ａは、追従モードまたは静止モードで移動装置３を制御中に制御方法を実行することによって、処置フェーズおよびタスクに応じて画像Ｃをズームインまたはズームアウトし、それにより近接視野Ｆ１と俯瞰視野Ｆ２とを自動的に切り替える。
具体的には、図４Ａに示されるように、本実施形態に係る制御方法は、処置フェーズを判定するステップＳＡ１と、術者による処置具６の操作に関する操作情報を取得するステップＳＡ２と、ズームの要否を判定するステップＳＡ３と、画像ＣをズームするステップＳＡ４と、画像Ｃ内の被写体の倍率を判定するステップＳＡ５と、ズームを終了するステップＳＡ６と、を含む。
具体的には、図４Ａに示されるように、本実施形態に係る制御方法は、処置フェーズを判定するステップＳＡ１と、術者による処置具６の操作に関する操作情報を取得するステップＳＡ２と、ズームの要否を判定するステップＳＡ３と、画像ＣをズームするステップＳＡ４と、画像Ｃ内の被写体の倍率を判定するステップＳＡ５と、ズームを終了するステップＳＡ６と、を含む。
【0021】
プロセッサ５ａは、画像Ｃに基づいて処置フェーズを判定する（ステップＳＡ１）。具体的には、プロセッサ５ａは、画像Ｃ内の処置具６の種類を検出する。処置具６が展開用の処置具である場合、プロセッサ５ａは、処置フェーズが展開フェーズであると判定し（ステップＳＡ１のＹＥＳ）、次のステップＳＡ２に進む。一方、処置具６が展開用の処置具でない場合、プロセッサ５ａは、処置フェーズが展開フェーズ以外のフェーズであると判定し（ステップＳＡ１のＮＯ）、ステップＳＡ１を繰り返す。展開用の処置具６は、例えば、把持鉗子である。
【0022】
図３Ａから図３Ｃに示されるように、画像Ｃ内に複数の処置具６，７１，７２が存在することがある。したがって、ステップＳＡ１において、プロセッサ５ａは、画像Ｃ内の所定の対象処置具６を検出し、対象処置具６の種類を検出してもよい。所定の対象処置具６は、例えば、術者のメインの処置具、術者の右手で操作される右手処置具、または、術者によって事前に制御装置５に登録された処置具である。処置具の登録は、例えば、処置具６が挿入されるトロッカのポートの設定によって行われる。
【0023】
操作情報は、処置具６から組織Ｂまでの距離Ｄと、処置具６の動作状態と、を含む。動作状態は、処置具６が開いているか、または閉じているかである開閉状態と、処置具６が組織Ｂを把持しているか否かである把持状態と、を含む。図４Ｂに示されるように、ステップＳＡ２において、プロセッサ５ａは、処置具６から組織Ｂまでの画像Ｃの深さ方向の距離Ｄを取得し（ステップＳＡ２１）、処置具６の動作状態を取得する（ステップＳＡ２２）。
【0024】
ステップＳＡ２１において、プロセッサ５ａは、ステレオ画像Ｃから距離Ｄを測定することによって、距離Ｄを取得してもよい。例えば、プロセッサ５ａは、処置具６の先端の深さ方向の距離と、処置具６の周辺の背景の深さ方向の距離とを測定し、２つの距離の差分を距離Ｄとして算出する。プロセッサ５ａは、他の手段を用いて距離Ｄを取得してもよく、例えば、内視鏡２に設けられた距離センサから距離Ｄを受信してもよい。
【0025】
ステップＳＡ２２において、プロセッサ５ａは、画像Ｃ内の処置具６の先端部を画像解析することによって、開閉状態および把持状態を取得してもよい。または、プロセッサ５ａは、処置具６のハンドルに設けられた力覚センサからハンドルに加えられている力を受信し、力の大きさから開閉状態および把持状態を判断してもよい。プロセッサ５ａは、他の手段を用いて開閉状態および把持状態を取得してもよい。
【0026】
図５は、距離Ｄおよび動作状態の組み合わせを説明している。距離Ｄおよび動作状態は、展開フェーズ中のタスクに応じて異なる。
例えば、図３Ａの第１タスクおよび図３Ｂの第２タスクでは、これから組織Ｂを把持するために開いた把持鉗子６が組織Ｂの近傍に配置されるか、または、閉じた把持鉗子６が組織Ｂを把持する。図３Ｃの第３タスクでは、組織Ｂを解放した後に閉じられた把持鉗子６が組織Ｂの近傍に配置されるか、または、把持鉗子６が次の操作のために組織Ｂから離れた位置に配置される。
例えば、図３Ａの第１タスクおよび図３Ｂの第２タスクでは、これから組織Ｂを把持するために開いた把持鉗子６が組織Ｂの近傍に配置されるか、または、閉じた把持鉗子６が組織Ｂを把持する。図３Ｃの第３タスクでは、組織Ｂを解放した後に閉じられた把持鉗子６が組織Ｂの近傍に配置されるか、または、把持鉗子６が次の操作のために組織Ｂから離れた位置に配置される。
【0027】
次に、プロセッサ５ａは、展開フェーズ用の判定フローに従い、距離Ｄおよび動作状態に基づいて、ズームインおよびズームアウトの要否を判定する（ステップＳＡ３）。
図４Ｃは、判定フローの一例を示している。判定フローは、ステップＳＡ３１～ＳＡ３３を含み、プロセッサ５ａは、距離Ｄおよび動作状態を判定フローに従って順番に判定する。
図４Ｃは、判定フローの一例を示している。判定フローは、ステップＳＡ３１～ＳＡ３３を含み、プロセッサ５ａは、距離Ｄおよび動作状態を判定フローに従って順番に判定する。
【0028】
具体的には、距離Ｄが所定の閾値Ｔｈ１以下かつ把持鉗子６が開いている場合（ステップＳＡ３１のＹＥＳかつステップＳＡ３２のＮＯ）、または、距離Ｄが閾値Ｔｈ１以下かつ閉じた把持鉗子６が組織Ｂを把持している場合（ステップＳＡ３１のＹＥＳ、ステップＳＡ３２のＹＥＳかつステップＳＡ３３のＹＥＳ）、プロセッサ５ａは、ズームインが必要であると判定し、表示装置４に表示する画像Ｃ内の被写体を拡大するズームイン制御を行う（ステップＳ４１）。
すなわち、プロセッサ５ａは、距離Ｄが閾値Ｔｈ１以下かつ把持鉗子６が開いていること、または、距離Ｄが閾値Ｔｈ１以下かつ把持鉗子６が組織Ｂを把持することなく閉じていること、を開始トリガとして、ズームインを開始する。
すなわち、プロセッサ５ａは、距離Ｄが閾値Ｔｈ１以下かつ把持鉗子６が開いていること、または、距離Ｄが閾値Ｔｈ１以下かつ把持鉗子６が組織Ｂを把持することなく閉じていること、を開始トリガとして、ズームインを開始する。
【0029】
一方、距離Ｄが閾値Ｔｈ１よりも大きい場合（ステップＳＡ３１のＮＯ）、または、把持鉗子６が組織Ｂを把持することなく閉じている場合（ステップＳＡ３１のＹＥＳ、ステップＳＡ３２のＹＥＳかつステップＳＡ３３のＮＯ）、プロセッサ５ａは、ズームアウトが必要であると判定し、表示装置４に表示する画像Ｃ内の被写体を縮小するズームアウト制御を行う（ステップＳ４２）。
すなわち、プロセッサ５ａは、距離Ｄが閾値Ｔｈ１よりも大きいこと、または、閉じた把持鉗子６が組織を把持していないこと、を開始トリガとして、ズームアウト制御を開始する。
所定の閾値Ｔｈ１は、例えば、術者によって制御装置５に事前に設定された値または制御装置５が自動的に設定した値であってもよく、または、他の手段によって設定された値であってもよい。
すなわち、プロセッサ５ａは、距離Ｄが閾値Ｔｈ１よりも大きいこと、または、閉じた把持鉗子６が組織を把持していないこと、を開始トリガとして、ズームアウト制御を開始する。
所定の閾値Ｔｈ１は、例えば、術者によって制御装置５に事前に設定された値または制御装置５が自動的に設定した値であってもよく、または、他の手段によって設定された値であってもよい。
【0030】
ズームイン制御およびズームアウト制御は、内視鏡２の位置の制御である。すなわち、プロセッサ５ａは、移動装置３を制御して内視鏡２を被写体、例えば把持鉗子６または組織に近付けることによって、画像Ｃをズームインさせる（ステップＳ４１）。また、プロセッサ５ａは、移動装置３を制御して内視鏡２を被写体から遠ざけることによって、画像Ｃをズームアウトさせる（ステップＳ４２）。
ステップＳ４１，Ｓ４２において、プロセッサ５ａは、画像Ｃ内の特定点を画像Ｃ内に維持しながらズームイン制御およびズームアウト制御を行ってもよい。特定点は、例えば、対象処置具６の先端等、術者が注目する関心領域である。
ステップＳ４１，Ｓ４２において、プロセッサ５ａは、画像Ｃ内の特定点を画像Ｃ内に維持しながらズームイン制御およびズームアウト制御を行ってもよい。特定点は、例えば、対象処置具６の先端等、術者が注目する関心領域である。
【0031】
ズームインまたはズームアウトの開始後、プロセッサ５ａは、所定の倍率まで画像Ｃ内の被写体がズームインまたはズームアウトされたか否かを判定する（ステップＳＡ５）。
図４Ｄは、ズームインにおける倍率の判定方法の一例を示している。
ズームインの場合の所定の第１倍率は、例えば、観察距離が第１設定値である倍率である。観察距離は、画像Ｃの深さ方向における、内視鏡２の先端から被写体（例えば、処置具６の先端または組織Ｂ）までの距離である。プロセッサ５ａは、観察距離が第１設定値以下になったとき（ステップＳＡ５１のＹＥＳ）、内視鏡２を停止させることによってズームイン制御を終了する（ステップＳＡ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第１倍率まで拡大されたことを終了トリガとして、画像Ｃのズームインを終了させる。これにより、表示装置４には、図３Ａおよび図３Ｂに示されるような、所定の第１倍率に被写体が拡大された近接視野Ｆ１の画像Ｃが表示される。
図４Ｄは、ズームインにおける倍率の判定方法の一例を示している。
ズームインの場合の所定の第１倍率は、例えば、観察距離が第１設定値である倍率である。観察距離は、画像Ｃの深さ方向における、内視鏡２の先端から被写体（例えば、処置具６の先端または組織Ｂ）までの距離である。プロセッサ５ａは、観察距離が第１設定値以下になったとき（ステップＳＡ５１のＹＥＳ）、内視鏡２を停止させることによってズームイン制御を終了する（ステップＳＡ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第１倍率まで拡大されたことを終了トリガとして、画像Ｃのズームインを終了させる。これにより、表示装置４には、図３Ａおよび図３Ｂに示されるような、所定の第１倍率に被写体が拡大された近接視野Ｆ１の画像Ｃが表示される。
【0032】
図４Ｅは、ズームアウトにおける倍率の判定方法の一例を示している。
ズームアウトの場合の所定の第２倍率は、画像Ｃ内にトロッカまたは両方の助手鉗子７１，７２が写る倍率、または、観察距離が第２設定値である倍率である。第２倍率は第１倍率よりも小さく、第２設定値は第１設定値よりも大きい。プロセッサ５ａは、画像Ｃ内にトロッカが写ったとき（ステップＳＡ５２のＹＥＳ）、観察距離が第２設定値以上になったとき（ステップＳＡ５３のＹＥＳ）、または、両方の助手鉗子７１，７２が画像Ｃ内に写ったとき（ステップＳＡ５４のＹＥＳ）、内視鏡２を停止させることによってズームアウト制御を終了する（ステップＳＡ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第２倍率まで縮小されたことを終了トリガとして、画像Ｃのズームアウト制御を終了する。これにより、表示装置４には、図３Ｃに示されるような、所定の第２倍率に被写体が縮小された俯瞰視野Ｆ２の画像Ｃが表示される。
ズームアウトの場合の所定の第２倍率は、画像Ｃ内にトロッカまたは両方の助手鉗子７１，７２が写る倍率、または、観察距離が第２設定値である倍率である。第２倍率は第１倍率よりも小さく、第２設定値は第１設定値よりも大きい。プロセッサ５ａは、画像Ｃ内にトロッカが写ったとき（ステップＳＡ５２のＹＥＳ）、観察距離が第２設定値以上になったとき（ステップＳＡ５３のＹＥＳ）、または、両方の助手鉗子７１，７２が画像Ｃ内に写ったとき（ステップＳＡ５４のＹＥＳ）、内視鏡２を停止させることによってズームアウト制御を終了する（ステップＳＡ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第２倍率まで縮小されたことを終了トリガとして、画像Ｃのズームアウト制御を終了する。これにより、表示装置４には、図３Ｃに示されるような、所定の第２倍率に被写体が縮小された俯瞰視野Ｆ２の画像Ｃが表示される。
【0033】
第１設定値および第２設定値は、例えば、術者によって制御装置５に事前に設定された値または制御装置５が自動的に設定した値であってもよく、または、他の手段によって設定された値であってもよい。例えば、第１設定値は、内視鏡２の先端を被写体に接触させない安全値であってもよい。
ステップＳＡ５２において、プロセッサ５ａは、例えば公知の画像認識技術を用いて、画像Ｃ内のトロッカを検出してもよい。
ステップＳＡ５４において、図６に示されるように、プロセッサ５ａは、画像Ｃ内の各助手鉗子７１，７２の部分が所定量以上であるか否かを判断してもよい。例えば、プロセッサ５ａは、各助手鉗子７１，７２の画像Ｃ内の部分の長さＬ１，Ｌ２が所定値以上あるか否かを判断してもよい。
ステップＳＡ５２において、プロセッサ５ａは、例えば公知の画像認識技術を用いて、画像Ｃ内のトロッカを検出してもよい。
ステップＳＡ５４において、図６に示されるように、プロセッサ５ａは、画像Ｃ内の各助手鉗子７１，７２の部分が所定量以上であるか否かを判断してもよい。例えば、プロセッサ５ａは、各助手鉗子７１，７２の画像Ｃ内の部分の長さＬ１，Ｌ２が所定値以上あるか否かを判断してもよい。
【0034】
ステップＳＡ６の後、プロセッサ５ａは、処置具６の種類が変更されたか否かを判定してもよい（ステップＳＡ７）。例えば、プロセッサ５ａは、現在の画像Ｃ内の処置具６の種類を検出し、検出された種類をステップＳＡ１において展開フェーズであると判定したときの処置具６の種類と比較することによって、処置具６の種類の変更を判定する。
処置具６が変更されていない場合（ステップＳＡ７のＮＯ）、すなわち同一の処置具６を使用して展開フェーズが続いている場合、プロセッサ５ａは、ステップＳＡ２～ＳＡ６を繰り返す。一方、処置具６の種類が変更された場合（ステップＳＡ７のＹＥＳ）、プロセッサ５ａは、ステップＳＡ１に戻る。
処置具６が変更されていない場合（ステップＳＡ７のＮＯ）、すなわち同一の処置具６を使用して展開フェーズが続いている場合、プロセッサ５ａは、ステップＳＡ２～ＳＡ６を繰り返す。一方、処置具６の種類が変更された場合（ステップＳＡ７のＹＥＳ）、プロセッサ５ａは、ステップＳＡ１に戻る。
【0035】
このように、本実施形態によれば、距離Ｄおよび動作状態に基づいて、ズームインおよびズームアウトの要否が判定される。距離Ｄおよび動作状態のような操作情報は展開フェーズ中のタスクに応じて異なる。したがって、タスクに応じてズームインおよびズームアウトの要否を適切に判定することができ、同一の処置具６を使用する展開フェーズ中に、処置の進行に合わせて近接視野Ｆ１と俯瞰視野Ｆ２とを自動的にかつ適切なタイミングで切り替えることができる。これにより、術者は、組織の展開をスムーズに行うことができる。
【0036】
また、タスクに応じた視野の切り替えが必要であるか否かは、処置フェーズに応じて異なる。本実施形態によれば、展開フェーズが画像Ｃに基づいて自動的に判定され、その後、視野の切り替えのための制御方法が自動的に実行される。これにより、視野の切り替えが必要な処置フェーズのみにおいて制御方法を自動的に実行することができる。
【0037】
また、本実施形態によれば、ズームインおよびズームアウトの要否が、距離Ｄ、開閉状態および把持状態の組み合わせに基づいて判定される。これにより、ズームインおよびズームアウトの要否を正確に判定することができ、ズームインまたはズームアウトを適切なタイミングで実行することができる。
【0038】
本実施形態において、プロセッサ５ａが、ズームインおよびズームアウトの要否を距離Ｄ、開閉状態および把持状態に基づいて判定することとしたが、これに代えて、距離Ｄ、開閉状態および把持状態の内の１つまたは２つに基づいて判定してもよい。
ズームインおよびズームアウトの要否を適切に判定するために、プロセッサ５ａは、距離Ｄ、開閉状態および把持状態の内の２以上に基づいて判定することが好ましい。
１つのみに基づいて判定する場合、ズームインおよびズームアウトの要否を適切に判定することができない可能性がある。例えば、図５に示されるように、距離Ｄが閾値Ｔｈ１以下の場合の適切な視野は、近接視野Ｆ１および俯瞰視野Ｆ２のいずれもあり得る。したがって、距離Ｄのみに基づいてズームインおよびズームアウトの要否を適切に判定することは難しい。
ズームインおよびズームアウトの要否を適切に判定するために、プロセッサ５ａは、距離Ｄ、開閉状態および把持状態の内の２以上に基づいて判定することが好ましい。
１つのみに基づいて判定する場合、ズームインおよびズームアウトの要否を適切に判定することができない可能性がある。例えば、図５に示されるように、距離Ｄが閾値Ｔｈ１以下の場合の適切な視野は、近接視野Ｆ１および俯瞰視野Ｆ２のいずれもあり得る。したがって、距離Ｄのみに基づいてズームインおよびズームアウトの要否を適切に判定することは難しい。
【0039】
（第２実施形態）
次に、本発明の第２実施形態に係る内視鏡システム、内視鏡システムの制御方法および制御プログラムについて図面を参照して説明する。
本実施形態は、プロセッサ５ａが、膜等の組織を切るまたは剥がす剥離フェーズにおいて画像Ｃのズームを自動的に行う点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る内視鏡システムは、第１実施形態の内視鏡システム１と同一の構成を有し、内視鏡２、移動装置３、表示装置４および制御装置５を備える。
次に、本発明の第２実施形態に係る内視鏡システム、内視鏡システムの制御方法および制御プログラムについて図面を参照して説明する。
本実施形態は、プロセッサ５ａが、膜等の組織を切るまたは剥がす剥離フェーズにおいて画像Ｃのズームを自動的に行う点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る内視鏡システムは、第１実施形態の内視鏡システム１と同一の構成を有し、内視鏡２、移動装置３、表示装置４および制御装置５を備える。
【0040】
剥離フェーズは、図７Ａおよび図７Ｂにそれぞれ示される第１タスクおよび第２タスクを含む。
具体的には、第１タスクにおいて、術者は、剥離用の処置具６によって組織Ｂ４（例えば、腸管膜）を剥離する（図７Ａ参照。）。次に、第２タスクにおいて、術者は、剥離ラインＥの全体を観察する（図７Ｂ参照。）。その後、術者は、必要に応じて追加の剥離を行う。
術者が望む視野は、第１タスクでは、拡大された組織Ｂ４および処置具６を含む高倍率の近接視野Ｆ１であり、第２タスクでは、剥離ラインＥの全体を含む低倍率の俯瞰視野Ｆ２である。図７Ａは近接視野Ｆ１の画像Ｃを示し、図７Ｂは俯瞰視野Ｆ２の画像Ｃを示している。
具体的には、第１タスクにおいて、術者は、剥離用の処置具６によって組織Ｂ４（例えば、腸管膜）を剥離する（図７Ａ参照。）。次に、第２タスクにおいて、術者は、剥離ラインＥの全体を観察する（図７Ｂ参照。）。その後、術者は、必要に応じて追加の剥離を行う。
術者が望む視野は、第１タスクでは、拡大された組織Ｂ４および処置具６を含む高倍率の近接視野Ｆ１であり、第２タスクでは、剥離ラインＥの全体を含む低倍率の俯瞰視野Ｆ２である。図７Ａは近接視野Ｆ１の画像Ｃを示し、図７Ｂは俯瞰視野Ｆ２の画像Ｃを示している。
【0041】
図８Ａは、本実施形態において制御装置５が実行する制御方法を示している。
本実施形態に係る制御方法は、処置フェーズを判定するステップＳＢ１と、術者による処置具６の操作に関する操作情報を取得するステップＳＢ２と、ズームの要否を判定するステップＳＢ３と、画像ＣをズームするステップＳＢ４と、画像Ｃ内の被写体の倍率を判定するステップＳＢ５と、ズームを終了するステップＳＢ６と、を含む。
本実施形態に係る制御方法は、処置フェーズを判定するステップＳＢ１と、術者による処置具６の操作に関する操作情報を取得するステップＳＢ２と、ズームの要否を判定するステップＳＢ３と、画像ＣをズームするステップＳＢ４と、画像Ｃ内の被写体の倍率を判定するステップＳＢ５と、ズームを終了するステップＳＢ６と、を含む。
【0042】
プロセッサ５ａは、画像Ｃに基づいて処置フェーズを判定する（ステップＳＢ１）。具体的には、プロセッサ５ａは、画像Ｃ内の処置具６の種類を検出する。ステップＳＡ１と同様に、プロセッサ５ａは、画像Ｃ内の所定の対象処置具６の種類を検出してもよい。処置具６が剥離用の処置具である場合、プロセッサ５ａは、処置フェーズが剥離フェーズであると判定し（ステップＳＢ１のＹＥＳ）、次のステップＳＢ２に進む。一方、処置具が剥離用の処置具でない場合、プロセッサ５ａは、処置フェーズが剥離フェーズ以外のフェーズであると判定し（ステップＳＢ１のＮＯ）、ステップＳＢ１を繰り返す。
剥離用の処置具６は、例えば、電気メスおよびエネルギデバイスのいずれかである。エネルギデバイスは、開閉可能な一対のジョーを有し、一対のジョー間に把持された組織にエネルギを供給する。
剥離用の処置具６は、例えば、電気メスおよびエネルギデバイスのいずれかである。エネルギデバイスは、開閉可能な一対のジョーを有し、一対のジョー間に把持された組織にエネルギを供給する。
【0043】
ステップＳＢ２において、プロセッサ５ａは、ステップＳＡ２と同様に、処置具６から組織までの距離Ｄを取得し、処置具６の動作状態を取得する。本実施形態において、処置具６の動作状態は、処置具６に電気が供給されているか否かである通電状態を少なくとも含む。処置具６がエネルギデバイスである場合、動作状態は、一対のジョーが開いているか、または閉じているかである開閉状態と、一対のジョーが組織Ｂを把持しているか否かである把持状態と、をさらに含む。
プロセッサ５ａは、例えば、処置具６に供給される電流の情報をジェネレータから取得し、電流に基づいて通電状態を判定する。ジェネレータは、剥離のための電流を処置具６に供給する装置であり、制御装置５と接続される。プロセッサ５ａは、他の手段を用いて通電状態を判定してもよい。
プロセッサ５ａは、例えば、処置具６に供給される電流の情報をジェネレータから取得し、電流に基づいて通電状態を判定する。ジェネレータは、剥離のための電流を処置具６に供給する装置であり、制御装置５と接続される。プロセッサ５ａは、他の手段を用いて通電状態を判定してもよい。
【0044】
次に、プロセッサ５ａは、剥離フェーズ用の判定フローに従い、距離Ｄおよび動作状態に基づいて、ズームインおよびズームアウトの要否を判定する（ステップＳＢ３）。
図８Ｂは、処置具６が電気メスである場合の判定フローの一例を示している。この判定フローは、ステップＳＢ３１，ＳＢ３２を含み、プロセッサ５ａは、距離Ｄおよび動作状態を判定フローに従って順番に判定する。
図８Ｂは、処置具６が電気メスである場合の判定フローの一例を示している。この判定フローは、ステップＳＢ３１，ＳＢ３２を含み、プロセッサ５ａは、距離Ｄおよび動作状態を判定フローに従って順番に判定する。
【0045】
具体的には、通電時間が所定の閾値Ｔｈ２以上である場合（ステップＳＢ３１のＹＥＳ）、または、距離Ｄが閾値Ｔｈ１以下である場合（ステップＳＢ３２のＹＥＳ）、プロセッサ５ａは、ズームインが必要であると判定し、ズームイン制御を行う（ステップＳ４１）。通電時間は、ジェネレータから処置具６への電流の供給が開始してからの経過時間である。
すなわち、プロセッサ５ａは、通電時間が閾値Ｔｈ２以上であること、または、距離Ｄが閾値Ｔｈ１以下であること、を開始トリガとして、ズームインを開始する。
すなわち、プロセッサ５ａは、通電時間が閾値Ｔｈ２以上であること、または、距離Ｄが閾値Ｔｈ１以下であること、を開始トリガとして、ズームインを開始する。
【0046】
一方、通電時間が閾値Ｔｈ２よりも短い場合（ステップＳＢ３１のＮＯ）、または、距離Ｄが閾値Ｔｈ１より大きい場合（ステップＳＢ３２のＮＯ）、プロセッサ５ａは、ズームアウトが必要であると判定し、ズームアウト制御を行う（ステップＳ４２）。
すなわち、プロセッサ５ａは、通電時間が閾値Ｔｈ２以上であること、または、距離Ｄが閾値Ｔｈ１よりも大きいこと、を開始トリガとして、ズームアウト制御を開始する。
所定の閾値Ｔｈ２は、例えば、術者によって制御装置５に事前に設定された値または制御装置５が自動的に設定した値であってもよく、または、他の手段によって設定された値であってもよい。
すなわち、プロセッサ５ａは、通電時間が閾値Ｔｈ２以上であること、または、距離Ｄが閾値Ｔｈ１よりも大きいこと、を開始トリガとして、ズームアウト制御を開始する。
所定の閾値Ｔｈ２は、例えば、術者によって制御装置５に事前に設定された値または制御装置５が自動的に設定した値であってもよく、または、他の手段によって設定された値であってもよい。
【0047】
図８Ｃは、処置具６がエネルギデバイスである場合の判定フローの一例を示している。
この判定フローは、ステップＳＢ３１，ＳＢ３２に加えて、ステップＳＢ３３，ＳＢ３４をさらに含む。具体的には、距離Ｄが所定の閾値Ｔｈ１以下かつエネルギデバイス６が開いている場合（ステップＳＢ３２のＹＥＳかつステップＳＢ３３のＮＯ）、または、距離Ｄが閾値Ｔｈ１以下かつ閉じた把持鉗子６が組織を把持している場合（ステップＳＢ３２のＹＥＳ、ステップＳＢ３３のＹＥＳかつステップＳＢ３４のＹＥＳ）、プロセッサ５ａは、ズームインが必要であると判定し、ズームイン制御を行う（ステップＳ４１）。
この判定フローは、ステップＳＢ３１，ＳＢ３２に加えて、ステップＳＢ３３，ＳＢ３４をさらに含む。具体的には、距離Ｄが所定の閾値Ｔｈ１以下かつエネルギデバイス６が開いている場合（ステップＳＢ３２のＹＥＳかつステップＳＢ３３のＮＯ）、または、距離Ｄが閾値Ｔｈ１以下かつ閉じた把持鉗子６が組織を把持している場合（ステップＳＢ３２のＹＥＳ、ステップＳＢ３３のＹＥＳかつステップＳＢ３４のＹＥＳ）、プロセッサ５ａは、ズームインが必要であると判定し、ズームイン制御を行う（ステップＳ４１）。
【0048】
一方、距離Ｄが閾値Ｔｈ１よりも大きい場合（ステップＳＢ３１のＮＯ）、または、エネルギデバイス６が組織を把持することなく閉じている場合（ステップＳＢ３２のＹＥＳ、ステップＳＢ３３のＹＥＳかつステップＳＢ３４のＮＯ）、プロセッサ５ａは、ズームアウトが必要であると判定し、ズームアウト制御を行う（ステップＳ４２）。
【0049】
ズームインまたはズームアウトの開始後、プロセッサ５ａは、所定の倍率まで画像Ｃ内の被写体がズームインまたはズームアウトされたか否かを判定する（ステップＳＢ５）。
ズームインの場合の所定の第１倍率は、例えば、観察距離が第１設定値である倍率である。プロセッサ５ａは、ステップＳＡ５１と同様、観察距離が第１設定値以下になったとき、内視鏡２を停止させることによってズームイン制御を終了する（ステップＳＢ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第１倍率まで拡大されたことを終了トリガとして、画像Ｃのズームインを終了させる。これにより、表示装置４には、図７Ａに示されるような、所定の第１倍率に被写体が拡大された近接視野Ｆ１の画像Ｃが表示される。
ズームインの場合の所定の第１倍率は、例えば、観察距離が第１設定値である倍率である。プロセッサ５ａは、ステップＳＡ５１と同様、観察距離が第１設定値以下になったとき、内視鏡２を停止させることによってズームイン制御を終了する（ステップＳＢ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第１倍率まで拡大されたことを終了トリガとして、画像Ｃのズームインを終了させる。これにより、表示装置４には、図７Ａに示されるような、所定の第１倍率に被写体が拡大された近接視野Ｆ１の画像Ｃが表示される。
【0050】
図８Ｄは、ズームアウトにおける倍率の判定方法の一例を示している。
ズームアウトの場合の所定の第２倍率は、画像Ｃ内にトロッカまたは剥離ラインＥの開始地点Ｅ１および終了地点Ｅ２の両方が写る倍率、または、観察距離が第２設定値である倍率である。第２倍率は第１倍率よりも小さく、第２設定値は第１設定値よりも大きい。プロセッサ５ａは、画像Ｃ内にトロッカが写ったとき（ステップＳＢ５２のＹＥＳ）、観察距離が第２設定値以上になったとき（ステップＳＢ５３のＹＥＳ）、または、開始地点Ｅ１および終了地点Ｅ２の両方が画像Ｃ内に写ったときとき（ステップＳＢ５４のＹＥＳ）、内視鏡２を停止させることによってズームアウト制御を終了する（ステップＳＢ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第２倍率まで縮小されたことを終了トリガとして、画像Ｃのズームアウトを終了させる。これにより、表示装置４には、図７Ｂに示されるような、所定の第２倍率に被写体が縮小された俯瞰視野Ｆ２の画像Ｃが表示される。
ズームアウトの場合の所定の第２倍率は、画像Ｃ内にトロッカまたは剥離ラインＥの開始地点Ｅ１および終了地点Ｅ２の両方が写る倍率、または、観察距離が第２設定値である倍率である。第２倍率は第１倍率よりも小さく、第２設定値は第１設定値よりも大きい。プロセッサ５ａは、画像Ｃ内にトロッカが写ったとき（ステップＳＢ５２のＹＥＳ）、観察距離が第２設定値以上になったとき（ステップＳＢ５３のＹＥＳ）、または、開始地点Ｅ１および終了地点Ｅ２の両方が画像Ｃ内に写ったときとき（ステップＳＢ５４のＹＥＳ）、内視鏡２を停止させることによってズームアウト制御を終了する（ステップＳＢ６）。
すなわち、プロセッサ５ａは、画像Ｃ内の被写体が所定の第２倍率まで縮小されたことを終了トリガとして、画像Ｃのズームアウトを終了させる。これにより、表示装置４には、図７Ｂに示されるような、所定の第２倍率に被写体が縮小された俯瞰視野Ｆ２の画像Ｃが表示される。
【0051】
ステップＳＢ５２およびステップＳＢ５３は、ステップＳＡ５２およびステップＳＡ５３とそれぞれ同一である。
図７Ｂに示されるように、開始地点Ｅ１および終了地点Ｅ２はそれぞれ、剥離の開始時および終了時の処置具６の先端の位置である。開始地点Ｅ１および終了地点Ｅ２は、入力デバイスを使用して術者によって指定されてもよく、プロセッサ５ａによって自動的に設定されてもよい。例えば、プロセッサ５ａは、処置具６への電流の供給の開始時および終了時の処置具６の先端の位置をそれぞれ開始地点Ｅ１および終了地点Ｅ２としてステレオ画像Ｃから算出してもよい。あるいは、プロセッサ５ａは、ズームインが必要であると判定された時点での処置具６の先端の位置を開始地点Ｅ１に設定し、ズームアウトが必要であると判定された時点での処置具６の先端の位置を終了地点Ｅ２に設定してもよい。
ステップＳＢ６の後、プロセッサ５ａは、ステップＳＡ７と同様に、処置具６の種類が変更されたか否かを判定してもよい（ステップＳＢ７）。
図７Ｂに示されるように、開始地点Ｅ１および終了地点Ｅ２はそれぞれ、剥離の開始時および終了時の処置具６の先端の位置である。開始地点Ｅ１および終了地点Ｅ２は、入力デバイスを使用して術者によって指定されてもよく、プロセッサ５ａによって自動的に設定されてもよい。例えば、プロセッサ５ａは、処置具６への電流の供給の開始時および終了時の処置具６の先端の位置をそれぞれ開始地点Ｅ１および終了地点Ｅ２としてステレオ画像Ｃから算出してもよい。あるいは、プロセッサ５ａは、ズームインが必要であると判定された時点での処置具６の先端の位置を開始地点Ｅ１に設定し、ズームアウトが必要であると判定された時点での処置具６の先端の位置を終了地点Ｅ２に設定してもよい。
ステップＳＢ６の後、プロセッサ５ａは、ステップＳＡ７と同様に、処置具６の種類が変更されたか否かを判定してもよい（ステップＳＢ７）。
【0052】
このように、本実施形態によれば、距離Ｄおよび動作状態に基づいて、ズームインおよびズームアウトの要否が判定される。距離Ｄおよび動作状態のような操作情報は剥離フェーズ中のタスクに応じて異なり、操作情報から現在のタスクを認識することができる。したがって、現在のタスクに応じてズームインおよびズームアウトの要否を適切に判定することができ、同一の処置具６を使用する剥離フェーズ中に、処置の進行に合わせて近接視野Ｆ１と俯瞰視野Ｆ２とを自動的にかつ適切なタイミングで切り替えることができる。これにより、術者は、剥離をスムーズに行うことができる。
【0053】
また、本実施形態によれば、剥離フェーズが画像Ｃに基づいて自動的に判定され、その後、視野の切り替えのための制御方法が自動的に実行される。これにより、視野の切り替えが必要な処置フェーズのみにおいて制御方法を自動的に実行することができる。
【0054】
また、本実施形態によれば、ズームインおよびズームアウトの要否が、距離Ｄ、通電状態、開閉状態および把持状態の組み合わせに基づいて判定される。これにより、ズームインおよびズームアウトの要否を正確に判定することができ、ズームインまたはズームアウトを適切なタイミングで実行することができる。
本実施形態において、プロセッサ５ａが、ズームインおよびズームアウトの要否を、距離Ｄ、通電状態、開閉状態および把持状態の１つ、２つまたは３つに基づいて判定してもよい。ズームインおよびズームアウトの要否を適切に判定するために、プロセッサ５ａは、距離Ｄ、通電状態、開閉状態および把持状態の内の２以上に基づいて判定することが好ましい。
本実施形態において、プロセッサ５ａが、ズームインおよびズームアウトの要否を、距離Ｄ、通電状態、開閉状態および把持状態の１つ、２つまたは３つに基づいて判定してもよい。ズームインおよびズームアウトの要否を適切に判定するために、プロセッサ５ａは、距離Ｄ、通電状態、開閉状態および把持状態の内の２以上に基づいて判定することが好ましい。
【0055】
上述した第１実施形態および第２実施形態は、組み合わせて実施されてもよい。
すなわち、ステップＳＡ１またはＳＢ１において、プロセッサ５ａは、処置フェーズが、展開フェーズおよび剥離フェーズのいずれかであるか否かを判定してもよい。この場合、プロセッサ５ａは、処置フェーズが展開フェーズである場合に、図４ＡのＳＡ２～ＳＡ７を実行し、処置フェーズが剥離フェーズである場合に図８ＡのステップＳＢ２～ＳＢ７を実行する。
すなわち、ステップＳＡ１またはＳＢ１において、プロセッサ５ａは、処置フェーズが、展開フェーズおよび剥離フェーズのいずれかであるか否かを判定してもよい。この場合、プロセッサ５ａは、処置フェーズが展開フェーズである場合に、図４ＡのＳＡ２～ＳＡ７を実行し、処置フェーズが剥離フェーズである場合に図８ＡのステップＳＢ２～ＳＢ７を実行する。
【0056】
上記第１および第２実施形態において、ズームイン制御およびズームアウト制御が、内視鏡２の位置の制御であることとしたが、これに代えて、内視鏡２の光学倍率の制御または画像Ｃのデジタル倍率の制御であってもよい。
すなわち、プロセッサ５ａは、ズームレンズ２ｂを制御することによって内視鏡２の光学倍率を変更し、それにより、画像Ｃ内の被写体を光学ズームによって拡大または縮小してもよい。また、プロセッサ５ａは、画像Ｃのサイズを拡大または縮小し、それにより、表示装置４に表示される画像Ｃ内の被写体をデジタルズームによって拡大または縮小してもよい。ズームイン制御およびズームアウト制御において、内視鏡２の位置、内視鏡２の光学倍率および画像Ｃのデジタル倍率の内、２つ以上が同時に制御されてもよい。
すなわち、プロセッサ５ａは、ズームレンズ２ｂを制御することによって内視鏡２の光学倍率を変更し、それにより、画像Ｃ内の被写体を光学ズームによって拡大または縮小してもよい。また、プロセッサ５ａは、画像Ｃのサイズを拡大または縮小し、それにより、表示装置４に表示される画像Ｃ内の被写体をデジタルズームによって拡大または縮小してもよい。ズームイン制御およびズームアウト制御において、内視鏡２の位置、内視鏡２の光学倍率および画像Ｃのデジタル倍率の内、２つ以上が同時に制御されてもよい。
【0057】
光学倍率およびデジタル倍率の少なくとも一方の制御を用いる場合、プロセッサ５ａは、画像Ｃ内の所定の被写体の面積に基づいて倍率を判断してもよい（ステップＳＡ５，ＳＢ５）。例えば、所定の被写体は対象処置具６であり、ズームインの場合の所定の第１倍率は、画像Ｃ内の処置具６の領域の画素数が所定の数である倍率であってもよい。
【0058】
上記第１および第２実施形態において、プロセッサ５ａは、ステップＳＡ１，ＳＢ１を必ずしも実行しなくてもよい。例えば、手術中に術者が操作する処置具６が展開用の処置具のみ、または剥離用の処置具のみである場合、ステップＳＡ１，ＳＢ１が省略されてもよい。
【0059】
以上、本発明の実施形態およびその変形例について説明したが、本発明の範囲はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の改良が可能である。
例えば、本発明の制御方法は、展開フェーズおよび剥離フェーズ以外の処置フェーズにおいて実行されてもよい。また、制御装置５は、ズームイン制御およびズームアウト制御の内、一方のみを自動的に実行してもよい。
例えば、本発明の制御方法は、展開フェーズおよび剥離フェーズ以外の処置フェーズにおいて実行されてもよい。また、制御装置５は、ズームイン制御およびズームアウト制御の内、一方のみを自動的に実行してもよい。
【符号の説明】
【0060】
１ 内視鏡システム
２ 内視鏡
３ 移動装置
４ 表示装置
５ 制御装置
５ａ プロセッサ
６ 処置具、対象処置具
Ａ 被検体
Ｂ，Ｂ１，Ｂ２，Ｂ３ 組織
Ｃ 画像
Ｄ 距離
Ｅ 剥離ライン
Ｅ１ 開始地点
Ｅ２ 終了地点
Ｆ１ 近接視野
Ｆ２ 俯瞰視野
２ 内視鏡
３ 移動装置
４ 表示装置
５ 制御装置
５ａ プロセッサ
６ 処置具、対象処置具
Ａ 被検体
Ｂ，Ｂ１，Ｂ２，Ｂ３ 組織
Ｃ 画像
Ｄ 距離
Ｅ 剥離ライン
Ｅ１ 開始地点
Ｅ２ 終了地点
Ｆ１ 近接視野
Ｆ２ 俯瞰視野
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図8D】