▶ オリンパス株式会社の特許一覧 ▶ 独立行政法人国立がん研究センターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-17
(45)【発行日】2024-07-25
(54)【発明の名称】制御装置
(51)【国際特許分類】
A61B 1/045 20060101AFI20240718BHJP
A61B 1/00 20060101ALI20240718BHJP
【ＦＩ】
A61B1/045 618
A61B1/00 655
A61B1/00 620
【請求項の数】
10
(21)【出願番号】P 2022547657
(86)(22)【出願日】2021-09-09
(86)【国際出願番号】 JP2021033205
(87)【国際公開番号】W WO2022054882
(87)【国際公開日】2022-03-17
【審査請求日】2023-02-03
(31)【優先権主張番号】63/076,408
(32)【優先日】2020-09-10
(33)【優先権主張国・地域又は機関】US
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人日本医療研究開発機構、「先進的医療機器・システム等技術開発事業」「外科手術のデジタルトランスフォーメーション：情報支援内視鏡外科手術システムの開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(73)【特許権者】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(74)【代理人】
【識別番号】100118913
【弁理士】
【氏名又は名称】上田 邦生
(74)【代理人】
【識別番号】100142789
【弁理士】
【氏名又は名称】柳 順一郎
(74)【代理人】
【識別番号】100201466
【弁理士】
【氏名又は名称】竹内 邦彦
(72)【発明者】
【氏名】荻本 浩人
(72)【発明者】
【氏名】佐々井 亮太
(72)【発明者】
【氏名】柳原 勝
(72)【発明者】
【氏名】長谷川 寛
(72)【発明者】
【氏名】北口 大地
(72)【発明者】
【氏名】竹下 修由
(72)【発明者】
【氏名】小島 成浩
(72)【発明者】
【氏名】古澤 悠貴
(72)【発明者】
【氏名】杵淵 裕美
(72)【発明者】
【氏名】伊藤 雅昭
【審査官】北島 拓馬
(56)【参考文献】
【文献】国際公開第２０１９／１１６５９２（ＷＯ，Ａ１）
【文献】国際公開第２０１８／２３５２５５（ＷＯ，Ａ１）
【文献】国際公開第２０１８／１７９６８１（ＷＯ，Ａ１）
【文献】特開２００７－３０１３７８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ｇ０２Ｂ ２３／２４ －２３／２６
(57)【特許請求の範囲】
【請求項1】
内視鏡の移動を制御し該内視鏡を処置具に追従させる制御装置であって、プロセッサを備え、
該プロセッサが、
前記処置具の位置を含む位置情報を取得し、
シーン情報を取得し、該シーン情報は前記内視鏡によって観察される処置シーンと関連する情報であり、
前記シーン情報に基づいて目標点のオフセットパラメータを決定し、該オフセットパラメータは、前記内視鏡の視野内の所定の基準点に対する前記目標点の位置を決定するパラメータであり、
該オフセットパラメータに基づいて前記基準点に対する前記目標点の位置を設定し、
前記目標点の位置および前記処置具の前記位置に基づいて前記内視鏡の移動を制御することによって、前記処置具が前記目標点に配置されるように前記内視鏡を前記処置具に追従させる、制御装置。
【請求項2】
前記プロセッサが、前記シーン情報として前記処置具の移動ベクトルを取得し、
該移動ベクトルに基づいて前記オフセットパラメータを決定する、請求項１に記載の制御装置。
【請求項3】
前記プロセッサが、前記移動ベクトルの方向に基づいて、前記処置具の移動方向において該処置具の前方の領域を前記視野の中心に配置する前記オフセットパラメータを決定する、請求項２に記載の制御装置。
【請求項4】
前記プロセッサが、前記シーン情報に基づいて前記処置シーンを推定し、
推定された前記処置シーンに基づいて前記オフセットパラメータを決定する、請求項１に記載の制御装置。
【請求項5】
前記プロセッサが、前記シーン情報として前記処置具の種類を取得し、
該処置具の種類に基づいて前記処置シーンを推定する、請求項４に記載の制御装置。
【請求項6】
前記処置シーンが剥離シーンであると推定された場合、前記プロセッサが、前記処置具によって剥離される領域を前記視野の中心に配置する前記オフセットパラメータを決定する、請求項５に記載の制御装置。
【請求項7】
前記処置シーンが展開シーンであると推定された場合、前記プロセッサが、前記処置具によって展開される領域を前記視野の中心に配置する前記オフセットパラメータを設定する、請求項５に記載の制御装置。
【請求項8】
前記プロセッサが、前記シーン情報として前記処置具の作動状態を取得し、
該処置具の作動状態に基づいて前記処置シーンを推定する、請求項４に記載の制御装置。
【請求項9】
前記プロセッサが、前記シーン情報として前記視野内の生体組織の解剖情報を取得し、
該解剖情報に基づいて前記処置シーンを推定する、請求項４に記載の制御装置。
【請求項10】
前記プロセッサが、前記処置具の３次元位置を含む前記位置情報を取得する、請求項１に記載の制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、内視鏡システムおよび制御方法に関し、特に、内視鏡を処置具に追従させる制御を行う制御装置、内視鏡システムおよび制御方法に関するものである。
本出願は、２０２０年９月１０日にアメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号の優先権を主張し、その内容をここに援用する。
本出願は、２０２０年９月１０日にアメリカ合衆国に仮出願された米国特許仮出願第６３／０７６，４０８号の優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
腹腔鏡下手術において、術者は、モニタの画面に表示された内視鏡画像内の処置具を観察しながら処置具を操作する。処置具が内視鏡画像の端に位置したり内視鏡画像から外れたりする場合、術者のストレスが増大したり手術の継続が困難になったりするため、処置具を内視鏡画像の中心付近に位置させ続けることが重要である。そこで、内視鏡を処置具に追従させることによって処置具を内視鏡画像内の中心付近に配置し続ける装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平５－３３７１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
術者が処置のために内視鏡画像の中心に捉えたい領域と、処置具との関係は、処置の内容に応じて異なる。したがって、特許文献１のように、処置具が内視鏡に対して固定された位置に配置されるように内視鏡を処置具に追従させる場合、術者が観察したい領域を内視鏡画像の中心に捉え続けることができない。
【0005】
例えば、図２２Ａに示されるように、生体組織を左下から右上に向かって剥離する場合、術者は電気メス６の進行方向の前方の領域Ｃを観察したいにも関わらず、領域Ｃは内視鏡画像Ｂの右上端または外に配置される。図２２Ｂに示されるように、生体組織を２つの鉗子６を使用して展開する場合、術者は２つの鉗子６間の領域Ｃを観察したいにも関わらず、領域Ｃは内視鏡画像Ｂの左端または外に配置される。
【0006】
本発明は、上述した事情に鑑みてなされたものであって、処置具を処置シーンに応じて内視鏡画像内の適切な位置に配置することができる制御装置、内視鏡システムおよび制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、内視鏡の移動を制御し処置具に前記内視鏡を追従させる制御装置であって、プロセッサを備え、該プロセッサが、前記処置具の位置を含む位置情報を取得し、シーン情報を取得し、該シーン情報は前記内視鏡によって観察される処置シーンと関連する情報であり、前記シーン情報に基づいて目標点のオフセットパラメータを決定し、該オフセットパラメータは、前記内視鏡の視野内の所定の基準点に対する前記目標点の位置を決定するパラメータであり、該オフセットパラメータに基づいて前記基準点に対する前記目標点の位置を設定し、前記目標点の位置および前記処置具の前記位置に基づいて前記内視鏡の移動を制御することによって、前記処置具が前記目標点に配置されるように前記処置具に前記内視鏡を追従させる、制御装置である。
【0008】
本発明の参考例としての第１参考態様は、内視鏡と、該内視鏡を被検体内で移動させる移動装置と、該移動装置を制御し前記内視鏡を処置具に追従させる上記の制御装置と、を備える内視鏡システムである。
【0009】
本発明の参考例としての第２参考態様は、内視鏡の移動を制御し処置具に前記内視鏡を追従させる制御方法であって、前記処置具の位置を含む位置情報を取得する工程と、シーン情報を取得し、該シーン情報は前記内視鏡によって観察される処置シーンと関連する情報である、工程と、該シーン情報に基づいて目標点のオフセットパラメータを決定し、該オフセットパラメータは、前記内視鏡の視野内の所定の基準点に対する前記目標点の位置を決定するパラメータである、工程と、該オフセットパラメータに基づいて前記基準点に対する前記目標点の位置を設定する工程と、前記目標点の位置および前記処置具の前記位置に基づいて前記内視鏡の移動を制御することによって、前記処置具が前記目標点に配置されるように前記処置具に前記内視鏡を追従させる工程と、を含む、制御方法である。
【発明の効果】
【0010】
本発明によれば、処置具を処置シーンに応じて内視鏡画像内の適切な位置に配置することができるという効果を奏する。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係る内視鏡システムの全体構成の外観図である。
【図3A】内視鏡の視野内に設定された基準点および目標点を説明する図である。
【図3B】内視鏡画像内の基準点および目標点を説明する図である。
【図4A】処置具の移動ベクトルを検出する方法の一例を説明する図である。
【図5】処置具の移動ベクトルを検出する方法の他の例を説明する図である。
【図6A】剥離シーンの内視鏡画像の一例である。
【図6B】剥離シーンの内視鏡画像の他の例である。
【図7】第１実施形態に係る制御方法のフローチャートである。
【図8】処置具の移動ベクトルとオフセットパラメータとの対応関係を表すパラメータテーブルの一例を示す図である。
【図9】第１実施形態に係る制御方法の変形例のフローチャートである。
【図10】第２実施形態に係る内視鏡システムの制御装置の機能ブロック図である。
【図11】展開シーンの内視鏡画像の一例である。
【図12】第２実施形態に係る制御方法のフローチャートである。
【図13】第３実施形態に係る制御方法のフローチャートである。
【図14A】剥離ラインと処置具の移動とを説明する内視鏡画像の一例である。
【図14B】剥離ラインと処置具の移動とを説明する内視鏡画像の他の例である。
【図15】第４実施形態に係る制御方法のフローチャートである。
【図16】第５実施形態に係る制御方法のフローチャートである。
【図17】第５実施形態に係る制御方法の変形例のフローチャートである。
【図18A】内視鏡の位置および姿勢の一例を示す図である。
【図19A】内視鏡の位置および姿勢の他の例を示す図である。
【図20A】内視鏡の視野内に設定される２次元または３次元の目標点を説明する図である。
【図20B】内視鏡画像内の２次元または３次元の目標点を説明する図である。
【図22A】従来例の剥離シーンの内視鏡画像の一例である。
【図22B】従来例の展開シーンの内視鏡画像の一例である。
【発明を実施するための形態】
【0012】
（第１実施形態）
本発明の第１実施形態に係る制御装置、内視鏡システムおよび制御方法について図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１０は、内視鏡２および１以上の処置具６を被検体である患者Ｐの体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で処置対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
本発明の第１実施形態に係る制御装置、内視鏡システムおよび制御方法について図面を参照して説明する。
図１に示されるように、本実施形態に係る内視鏡システム１０は、内視鏡２および１以上の処置具６を被検体である患者Ｐの体内に挿入し、処置具６を内視鏡２によって観察しながら処置具６で処置対象部位を処置する手術に使用され、例えば、腹腔鏡下手術に使用される。
【0013】
図１および図２Ａに示されるように、内視鏡システム１０は、内視鏡２と、内視鏡２を患者Ｐの体内で移動させる移動装置３と、内視鏡２と接続され内視鏡２によって取得された内視鏡画像を処理する内視鏡プロセッサ４と、移動装置３および内視鏡プロセッサ４と接続され移動装置３を制御する制御装置１と、内視鏡プロセッサ４と接続され内視鏡画像を表示する表示装置５とを備える。
【0014】
内視鏡２は、例えば硬性鏡であり、撮像素子を有し内視鏡画像Ｂを取得する撮像部２ａを備える。撮像部２ａは、例えば、内視鏡２の先端部に設けられた３次元カメラであり、処置具６の先端６ａを含むステレオ画像を内視鏡画像Ｂ（例えば、図３Ｂ参照。）として取得する。また、例えば、撮像部２ａは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどのイメージセンサであり、所定領域から受光した光を光電変換により電気信号に変換することで、所定領域の画像を生成する。内視鏡画像Ｅであるステレオ画像は、視差を有する２つの画像を内視鏡プロセッサ４等によって画像処理することで生成される。
【0015】
内視鏡画像Ｂは、内視鏡２から内視鏡プロセッサ４に送信され、内視鏡プロセッサ４において必要な処理が施され、内視鏡プロセッサ４から表示装置５に送信され、表示装置５に表示される。術者は、表示装置５に表示される内視鏡画像Ｂを観察しながら体内に挿入された処置具６を操作する。表示装置５は、液晶ディスプレイ、有機ＥＬディスプレイ等の任意のディスプレイである。表示装置５は、スピーカ等の音声装置を備えていてもよい。
【0016】
表示装置５以外に、ユーザによって使用され制御装置１および内視鏡プロセッサ４と通信ネットワークを通じて通信する端末が設けられ、端末に内視鏡画像Ｅが表示されてもよい。端末は、特に限定しないが、ノート型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータまたはスマートフォンなどである。
【0017】
移動装置３は、内視鏡２の基端部に接続され内視鏡２の位置および姿勢を３次元的に制御するロボットアーム３ａ（電動スコープホルダを含む）を備える。図１の移動装置３は、複数の関節３ｂを有するロボットアーム３ａを備え、関節３ｂの動作によって、内視鏡２を３次元的に移動させ内視鏡２の位置および姿勢を３次元的に変更することができる。
【0018】
図２Ａに示されるように、制御装置１は、中央演算処理装置のような少なくとも１つのプロセッサ１ａと、メモリ１ｂと、記憶部１ｃと、ユーザインタフェース１ｄとを備える。制御装置１は、例えば、デスクトップ型コンピュータ、タブレット型コンピュータ、ラップトップ型コンピュータ、スマートフォンまたは携帯電話などでよい。
【0019】
プロセッサ１ａは、シングルプロセッサ、マルチプロセッサまたはマルチコアプロセッサであってもよい。プロセッサ１ａは、記憶部１ｃに格納されているプログラムを読み出して実行する。
メモリ１ｂは、例えば、ＲＯＭ（read-only memory）、または、ＲＡＭ（Random Access Memory）領域を含む半導体メモリである。メモリ１ｂも、後述する記憶部１ｃと同様に、プロセッサ１ａの処理に必要なデータを記憶してもよい(すなわち、「記憶部」として動作してもよい。)。
メモリ１ｂは、例えば、ＲＯＭ（read-only memory）、または、ＲＡＭ（Random Access Memory）領域を含む半導体メモリである。メモリ１ｂも、後述する記憶部１ｃと同様に、プロセッサ１ａの処理に必要なデータを記憶してもよい(すなわち、「記憶部」として動作してもよい。)。
【0020】
記憶部１ｃは、またはハードディスクまたはフラッシュメモリ等の半導体メモリを含む不揮発性の記録媒体であり、プロセッサ１ａに処理を実行させるために必要なプログラムおよびデータを記憶している。プロセッサ１ａがメモリ１ｂに読み込まれたプログラムに従って処理を実行することによって、後述の各部１１，１２，１３，１４の機能が実現される。制御装置１の一部の機能は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）など専用の論理回路やハードウェア等によって実現されてもよい。
【0021】
制御装置１は、マニュアルモードおよび追従モードを有し、術者等の操作者の指示に基づいて、例えば操作者の音声に基づいて、マニュアルモードと追従モードとを切り替える。
マニュアルモードは、操作者が内視鏡２を手動で操作するモードである。マニュアルモードにおいて、例えば、操作者は、制御装置１に接続された操作装置（図示略）を操作することによって、ロボットアーム３ａまたは電動ホルダを遠隔操作することができる。
追従モードは、制御装置１が移動装置３を制御することによって内視鏡２を追従対象に設定された処置具６に自動的に追従させるモードである。
マニュアルモードは、操作者が内視鏡２を手動で操作するモードである。マニュアルモードにおいて、例えば、操作者は、制御装置１に接続された操作装置（図示略）を操作することによって、ロボットアーム３ａまたは電動ホルダを遠隔操作することができる。
追従モードは、制御装置１が移動装置３を制御することによって内視鏡２を追従対象に設定された処置具６に自動的に追従させるモードである。
【0022】
図３Ａおよび図３Ｂに示されるように、追従モードにおいて、制御装置１は、処置具６の先端６ａの３次元位置を取得し、先端６ａの３次元位置と視野Ｆ内の目標点Ｔの３次元位置とに基づいて移動装置３を制御する。これにより、制御装置１は、内視鏡２の移動を制御し、目標点Ｔが先端６ａに配置されるように処置具６に内視鏡２を追従させる。
図３Ａおよび図３Ｂにおいて、内視鏡２の光軸Ａに平行な方向がＸ方向であり、光軸Ａに直交し内視鏡画像Ｂの横方向に対応する方向がＹ方向であり、光軸Ａに直交し内視鏡画像Ｂの縦方向に対応する方向がＺ方向である。
図３Ａおよび図３Ｂにおいて、内視鏡２の光軸Ａに平行な方向がＸ方向であり、光軸Ａに直交し内視鏡画像Ｂの横方向に対応する方向がＹ方向であり、光軸Ａに直交し内視鏡画像Ｂの縦方向に対応する方向がＺ方向である。
【0023】
目標点Ｔは、内視鏡２の先端２ｂから光軸Ａに平行な方向に所定の距離Ｄだけ離れた光軸Ａ上の基準点Ｏに初期設定されている。制御装置１は、内視鏡２によって観察される処置シーンに応じて、目標点Ｔを基準点Ｏから視野Ｆ内の他の位置へ３次元的にオフセットさせる。したがって、内視鏡画像Ｂ内の先端６ａの位置は、内視鏡画像Ｂの中心と、中心からオフセットした位置と、の間で処置シーンに応じて変化する。
【0024】
具体的には、図２Ｂに示されるように、制御装置１は、位置情報を取得する位置情報取得部１１と、シーン情報を取得するシーン情報取得部１２と、シーン情報に基づいてオフセットパラメータを決定するオフセットパラメータ決定部１３と、オフセットパラメータおよび位置情報に基づいて内視鏡２の位置および姿勢を制御する制御部１４と、を備える。
【0025】
位置情報取得部１１は、内視鏡画像Ｂ内に存在する物体の位置情報を内視鏡プロセッサ４から取得する。位置情報は、少なくとも処置具６の先端６ａの３次元位置を含む。したがって、内視鏡プロセッサ４は、先端６ａの３次元位置を含む位置情報を内視鏡画像Ｂから算出する処理を実行する。位置情報を算出する処理は、位置情報取得部１１によって実行されてもよい。
【0026】
シーン情報は、内視鏡２によって観察される処置シーンと関連する情報である。処置具６の動きは、処置シーンに応じて異なる。例えば、処置具６によって生体組織を剥離する剥離シーンにおいて、術者は処置具６をゆっくり移動させる。シーン情報取得部１２は、シーン情報として、処置具６の動きを表す処置具６の３次元の移動ベクトル（速度ベクトル）Ｖを取得する。
【0027】
例えば、シーン情報取得部１２は、図４Ａに示されるように、内視鏡画像Ｂから移動ベクトルＶを検出するか、または、図５に示されるように、内視鏡２の移動から移動ベクトルＶを検出する。シーン情報取得部１２は、これら以外の任意の方法を使用して移動ベクトルＶを取得してもよい。
【0028】
図４Ａの方法おいて、移動ベクトルＶは、異なる時刻における２枚以上の内視鏡画像Ｂから検出される。具体的には、移動ベクトルＶは、下式から算出される。
Ｖ＝Ｐ１－Ｐ２
Ｐ１は、時刻ｔにおける内視鏡画像Ｂ内の先端６ａの３次元の位置ベクトル（ｘ１，ｙ１，ｚ１）であり、Ｐ２は、時刻ｔからΔｔ後の時刻ｔ＋Δｔにおける内視鏡画像Ｂ内の先端６ａの３次元の位置ベクトル（ｘ２，ｙ２，ｚ２）である。内視鏡画像Ｂは、内視鏡２から直接または内視鏡プロセッサ４を経由して、制御装置１に入力される。
Ｖ＝Ｐ１－Ｐ２
Ｐ１は、時刻ｔにおける内視鏡画像Ｂ内の先端６ａの３次元の位置ベクトル（ｘ１，ｙ１，ｚ１）であり、Ｐ２は、時刻ｔからΔｔ後の時刻ｔ＋Δｔにおける内視鏡画像Ｂ内の先端６ａの３次元の位置ベクトル（ｘ２，ｙ２，ｚ２）である。内視鏡画像Ｂは、内視鏡２から直接または内視鏡プロセッサ４を経由して、制御装置１に入力される。
【0029】
図５の方法において、移動ベクトルＶは、処置具６に追従する内視鏡２の移動から検出される。すなわち、処置具６の先端６ａと内視鏡２の先端２ｂとが所定の位置関係を維持するように内視鏡２は処置具６に追従するので、内視鏡２の先端２ｂの移動は処置具６の先端６ａの移動と一定の関係にある。
【0030】
オフセットパラメータ決定部１３は、移動ベクトルＶに基づいてオフセットパラメータを決定する。オフセットパラメータは、基準点Ｏに対する目標点Ｔの位置を決定するパラメータであり、例えば、基準点Ｏに対する目標点Ｔのオフセット方向およびオフセット距離を表すパラメータである。
具体的には、図６Ａおよび図６Ｂに示されるように、オフセットパラメータ決定部１３は、移動ベクトルＶの向きに基づいて、処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に（すなわち、光軸Ａ上に）配置するオフセットパラメータを決定する。図６Ａおよび図６Ｂにおいて、矢印は処置具６の移動方向を表している。
具体的には、図６Ａおよび図６Ｂに示されるように、オフセットパラメータ決定部１３は、移動ベクトルＶの向きに基づいて、処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に（すなわち、光軸Ａ上に）配置するオフセットパラメータを決定する。図６Ａおよび図６Ｂにおいて、矢印は処置具６の移動方向を表している。
【0031】
例えば、オフセットパラメータ決定部１３は、所定の関数Ｆ（Ｖ）に移動ベクトルＶを代入することによって、移動ベクトルＶとは逆方向の３次元ベクトルをオフセットパラメータとして算出する。３次元ベクトルの大きさは、固定であってもよく、移動ベクトルＶの大きさに基づいて決定されてもよい。
例えば、図４Ｂに示されるように、Ｆ（Ｖ）＝－ｋ＊Ｖであり、ｋは係数である。この場合、移動ベクトルＶが大きい程、３次元ベクトルＦ（Ｖ）は大きくなり、基準点Ｏに対する目標点Ｔのオフセット距離が大きくなる。
例えば、図４Ｂに示されるように、Ｆ（Ｖ）＝－ｋ＊Ｖであり、ｋは係数である。この場合、移動ベクトルＶが大きい程、３次元ベクトルＦ（Ｖ）は大きくなり、基準点Ｏに対する目標点Ｔのオフセット距離が大きくなる。
【0032】
ここで、オフセットパラメータ決定部１３は、移動ベクトルＶの大きさ｜Ｖ｜、すなわち処置具６の速さが、所定の閾値α以下であるか否かを判断する。｜Ｖ｜が閾値α以下である場合、オフセットパラメータ決定部１３は、オフセットパラメータを決定し、オフセットパラメータを制御部１４に出力する。一方、｜Ｖ｜が閾値αよりも大きい場合、オフセットパラメータ決定部１３は、オフセットパラメータの決定を行わない。
【0033】
制御部１４は、オフセットパラメータから、処置具６の移動方向の前方の領域Ｃを視野Ｆの中心に配置するための目標点Ｔの３次元位置を算出する。例えば、制御部１４は、基準点Ｏから、３次元ベクトル（－ｋ＊Ｖ）の方向に３次元ベクトル（－ｋ＊Ｖ）の大きさだけオフセットした位置を目標点Ｔの３次元位置として算出する。次に、制御部１４は、算出された３次元位置に目標点Ｔを設定することによって、目標点Ｔを基準点Ｏからオフセットさせる。
また、制御部１４は、位置情報取得部１１から処置具６の先端６ａの３次元位置の情報を受け取る。
また、制御部１４は、位置情報取得部１１から処置具６の先端６ａの３次元位置の情報を受け取る。
【0034】
次に、制御部１４は、目標点Ｔが先端６ａの３次元位置に配置される内視鏡２の先端２ｂの位置および姿勢を算出する。次に、制御部１４は、算出された位置および姿勢に先端２ｂを配置するための移動装置３の動作量（例えば、各関節３ｂの回転角度）を計算し、算出された動作量だけ移動装置３を動作させる。これにより、内視鏡２の先端２ｂが処置具６の先端６ａに追従し、目標点Ｔが先端６ａに向かって移動する。
【0035】
次に、制御装置１が実行する制御方法について説明する。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図７に示されるステップＳ１～Ｓ７を実行することによって、処置具６に内視鏡２を自動的に追従させる。
追従モードの開始時、制御部１４は、目標点Ｔを、内視鏡２の視野Ｆの中心である基準点Ｏに初期設定する（ステップＳ１）。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図７に示されるステップＳ１～Ｓ７を実行することによって、処置具６に内視鏡２を自動的に追従させる。
追従モードの開始時、制御部１４は、目標点Ｔを、内視鏡２の視野Ｆの中心である基準点Ｏに初期設定する（ステップＳ１）。
【0036】
次に、位置情報取得部１１は、処置具６の先端６ａの３次元位置を含む位置情報を取得する（ステップＳ２）。
次に、制御部１４は、先端６ａが目標点Ｔに配置されるように処置具６の先端６ａに内視鏡２の先端２ｂを追従させる（ステップＳ３）。具体的には、制御部１４は、先端６ａおよび目標点Ｔの３次元位置に基づいて移動装置３を制御し、視野Ｆ内の目標点Ｔが先端６ａの位置に配置されるように内視鏡２を移動させる。
次に、制御部１４は、先端６ａが目標点Ｔに配置されるように処置具６の先端６ａに内視鏡２の先端２ｂを追従させる（ステップＳ３）。具体的には、制御部１４は、先端６ａおよび目標点Ｔの３次元位置に基づいて移動装置３を制御し、視野Ｆ内の目標点Ｔが先端６ａの位置に配置されるように内視鏡２を移動させる。
【0037】
処置具６に内視鏡２を追従させる制御と並行して、目標点Ｔの位置を調整するためのステップＳ４～Ｓ７の処理が実行される。
まず、シーン情報取得部１２が、処置具６の移動ベクトルＶを取得する（ステップＳ４）。
移動ベクトルの大きさ｜Ｖ｜が閾値αよりも大きい場合（ステップＳ５のＮＯ）、ステップＳ６およびＳ７の処理は実行されず、制御部１４は、目標点Ｔを基準点Ｏに維持する（ステップＳ１）。したがって、先端６ａが内視鏡画像Ｂ内の中心に配置されるように、内視鏡２が処置具６に追従する。
まず、シーン情報取得部１２が、処置具６の移動ベクトルＶを取得する（ステップＳ４）。
移動ベクトルの大きさ｜Ｖ｜が閾値αよりも大きい場合（ステップＳ５のＮＯ）、ステップＳ６およびＳ７の処理は実行されず、制御部１４は、目標点Ｔを基準点Ｏに維持する（ステップＳ１）。したがって、先端６ａが内視鏡画像Ｂ内の中心に配置されるように、内視鏡２が処置具６に追従する。
【0038】
一方、移動ベクトルの大きさ｜Ｖ｜が閾値α以下である場合（ステップＳ５のＹＥＳ）、オフセットパラメータ決定部１３が、移動ベクトルＶに基づいて、処置具６の移動方向の前方の領域Ｃを基準点Ｏに配置するオフセットパラメータを決定する（ステップＳ６）。次に、制御部１４は、オフセットパラメータに基づいて、目標点Ｔを移動ベクトルＶとは逆方向に基準点Ｏからオフセットした位置に設定する（ステップＳ７）。したがって、処置具６の先端６ａが内視鏡画像Ｂの中心からオフセットした目標点Ｔに配置されるように、内視鏡２が処置具６に追従する。
【0039】
処置具６によって生体組織を剥離するとき、術者は処置具６をゆっくり移動させるので、処置具６の速さ｜Ｖ｜は低下する。したがって、図６Ａまたは図６Ｂに示されるように、術者が処置具６による剥離を開始すると、目標点Ｔが視野Ｆの中心の基準点Ｏから処置具６の移動方向とは逆方向にオフセットし、それにより、先端６ａが内視鏡画像Ｂの中心から剥離方向とは逆方向にオフセットし、これから剥離される領域Ｃが内視鏡画像Ｂ内の中心に配置される。剥離が終了し、処置具６の速さが閾値αよりも大きくなると、目標点Ｔは基準点Ｏに戻り、先端６ａが内視鏡画像Ｂ内の中心に配置される。
【0040】
このように、処置具６の動きは処置シーンに応じて異なる。本実施形態によれば、処置具６の移動ベクトルに基づいて目標点Ｔを基準点Ｏから３次元的にオフセットさせることによって、内視鏡画像Ｂ内の処置具６の先端６ａを現在の処置シーンに適した位置に配置することができる。
特に、移動ベクトルの大きさ｜Ｖ｜が閾値α以下になる剥離シーンの場合、先端６ａが処置具６の移動方向とは逆方向に基準点Ｏからオフセットした位置に配置され、処置具６の移動方向の前方の領域Ｃ、すなわちこれから剥離される領域が、内視鏡画像Ｂの中心に配置される。したがって、術者は、剥離される領域Ｃを容易に観察することができる。
特に、移動ベクトルの大きさ｜Ｖ｜が閾値α以下になる剥離シーンの場合、先端６ａが処置具６の移動方向とは逆方向に基準点Ｏからオフセットした位置に配置され、処置具６の移動方向の前方の領域Ｃ、すなわちこれから剥離される領域が、内視鏡画像Ｂの中心に配置される。したがって、術者は、剥離される領域Ｃを容易に観察することができる。
【0041】
本実施形態において、オフセットパラメータ決定部１３が、関数Ｆ（Ｖ）を用いてオフセットパラメータを決定することとしたが、これに代えて、移動ベクトルＶとオフセットパラメータとが相互に対応付けられたパラメータテーブルＥを用いてオフセットパラメータを決定してもよい。
【0042】
図８は、パラメータテーブルＥの例を示している。パラメータテーブルＥには、移動ベクトルの大きさ｜Ｖ｜に応じて低速、中速および高速の３つの領域Ｅ１，Ｅ２，Ｅ３が設定され、領域Ｅ１，Ｅ２，Ｅ３毎にオフセット距離δ１，δ２，δ３が設定されている。例えば、領域Ｅ１のオフセット距離δ１と、領域Ｅ２のオフセット距離δ２と、領域Ｅ３のオフセット距離δ３との関係は、δ１＜δ２＜δ３である。図８の場合、｜Ｖ｜は中速の領域Ｅ２に該当するので、移動ベクトルＶとは逆方向にオフセット距離δ２だけ基準点Ｏからオフセットした位置が目標点Ｔとなる。
図９は、パラメータテーブルＥを使用する場合の制御方法を示している。図９に示されるように、ステップＳ５が省略され、｜Ｖ｜に関わらず、オフセットパラメータの決定が繰り返される。
図９は、パラメータテーブルＥを使用する場合の制御方法を示している。図９に示されるように、ステップＳ５が省略され、｜Ｖ｜に関わらず、オフセットパラメータの決定が繰り返される。
【0043】
（第２実施形態）
次に、本発明の第２実施形態に係る制御装置、内視鏡システムおよびの制御方法について説明する。
本実施形態は、移動ベクトルＶと処置具６の種類とに基づいてオフセットパラメータを決定する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第２実施形態に係る制御装置、内視鏡システムおよびの制御方法について説明する。
本実施形態は、移動ベクトルＶと処置具６の種類とに基づいてオフセットパラメータを決定する点において、第１実施形態と相違する。本実施形態において、第１実施形態と異なる構成について説明し、第１実施形態と共通する構成については同一の符号を付して説明を省略する。
【0044】
本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
図１０に示されるように、制御装置１は、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３および制御部１４に加えて、シーン推定部１５をさらに備える。シーン推定部１５の機能は、他の部１１，１２，１３，１４と同様、プロセッサ１ａによって実現される。
図１０に示されるように、制御装置１は、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３および制御部１４に加えて、シーン推定部１５をさらに備える。シーン推定部１５の機能は、他の部１１，１２，１３，１４と同様、プロセッサ１ａによって実現される。
【0045】
シーン情報取得部１２は、移動ベクトルＶに加えて、追従対象に設定されている処置具６の種類をシーン情報として取得する。例えば、シーン情報取得部１２は、人工知能による画像認識によって内視鏡画像Ｂ内の処置具６の種類を認識することで、内視鏡画像Ｂから処置具の種類を取得する。シーン情報取得部１２は、操作者が制御装置１に入力する処置具６の種類に関する情報または処置具６に設けられている識別情報等に基づいて、処置具６の種類を取得してもよい。
【0046】
シーン推定部１５は、処置具６の種類に基づいて、内視鏡２によって観察されている処置シーンを推定する。具体的には、処置具６の種類が把持鉗子等の展開デバイスである場合、シーン推定部１５は、処置シーンが、処置具６を使用して生体組織を展開する展開シーンであると推定する。処置具６の種類が電気メス等の剥離デバイスである場合、シーン推定部１５は、処置シーンが、処置具６を使用して生体組織を剥離する剥離シーンであると推定する。
【0047】
オフセットパラメータ決定部１３は、移動ベクトルＶおよび処置シーンに基づいてオフセットパラメータを決定する。
具体的には、処置シーンが剥離シーンである場合、図６Ａおよび図６Ｂに示されるように、オフセットパラメータ決定部１３は、処置具６によって剥離される領域Ｃ、すなわち処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
処置シーンが展開シーンである場合、図１１に示されるように、オフセットパラメータ決定部１３は、処置具６によって展開される領域Ｃ、すなわち処置具６の移動方向において該処置具６の後方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
具体的には、処置シーンが剥離シーンである場合、図６Ａおよび図６Ｂに示されるように、オフセットパラメータ決定部１３は、処置具６によって剥離される領域Ｃ、すなわち処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
処置シーンが展開シーンである場合、図１１に示されるように、オフセットパラメータ決定部１３は、処置具６によって展開される領域Ｃ、すなわち処置具６の移動方向において該処置具６の後方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
【0048】
例えば、処置シーン毎に関数Ｆ（Ｖ）またはパラメータテーブルＥが予め用意され記憶部１ｃに記憶されている。剥離シーンである場合、オフセットパラメータ決定部１３は、剥離シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを選択し、選択した関数Ｆ（Ｖ）またはパラメータテーブルＥを用いて、移動ベクトルＶとは逆方向の３次元ベクトルをオフセットパラメータとして算出する。展開シーンである場合、オフセットパラメータ決定部１３は、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを選択し、選択した関数Ｆ（Ｖ）またはパラメータテーブルＥを用いて、移動ベクトルＶと同一方向の３次元ベクトルをオフセットパラメータとして算出する。
【0049】
次に、制御装置１が実行する制御方法について説明する。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１２に示されるステップＳ２～Ｓ１２を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、さらに、処置具６の種類を取得する（ステップＳ８）。
次に、シーン推定部１５が、処置具６の種類に基づいて、内視鏡２によって観察されている処置シーンを推定する（ステップＳ９）。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１２に示されるステップＳ２～Ｓ１２を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、さらに、処置具６の種類を取得する（ステップＳ８）。
次に、シーン推定部１５が、処置具６の種類に基づいて、内視鏡２によって観察されている処置シーンを推定する（ステップＳ９）。
【0050】
次に、オフセットパラメータ決定部１３が、処置シーンおよび移動ベクトルＶに基づいて、オフセットパラメータを決定する（ステップＳ１０～Ｓ１２）。
具体的には、展開シーンである場合（ステップＳ１０の「展開シーン」）、オフセットパラメータ決定部１３は、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１１）。これにより、図１１に示されるように、目標点Ｔが視野Ｆの中心の基準点Ｏから処置具６の移動方向と同一方向にオフセットし、処置具６の先端６ａが内視鏡画像Ｂの中心から展開方向と同一方向にオフセットし、処置具６によって展開される領域Ｃが内視鏡画像Ｂの中心に配置される。
具体的には、展開シーンである場合（ステップＳ１０の「展開シーン」）、オフセットパラメータ決定部１３は、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１１）。これにより、図１１に示されるように、目標点Ｔが視野Ｆの中心の基準点Ｏから処置具６の移動方向と同一方向にオフセットし、処置具６の先端６ａが内視鏡画像Ｂの中心から展開方向と同一方向にオフセットし、処置具６によって展開される領域Ｃが内視鏡画像Ｂの中心に配置される。
【0051】
一方、剥離シーンである場合（ステップＳ１０の「剥離シーン」）、オフセットパラメータ決定部１３は、剥離シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１２）。これにより、図６Ａおよび図６Ｂに示されるように、目標点Ｔが視野Ｆの中心から処置具６の移動方向とは逆方向にオフセットし、処置具６の先端６ａが内視鏡画像Ｂの中心から剥離方向とは逆方向にオフセットし、処置具６によって剥離される領域Ｃが内視鏡画像Ｂの中心に配置される。
【0052】
手術中、内視鏡２によって様々な処置シーンが観察され得る。使用される処置具６の種類は、処置シーンに応じて異なる。本実施形態によれば、処置具６の種類に基づいて現在の処置シーンが推定され、移動ベクトルＶおよび処置シーンに基づいて目標点Ｔが基準点Ｏから３次元的にオフセットさせられる。これにより、内視鏡画像Ｂ内の処置具６の先端６ａを現在の処置シーンに適した位置に配置することができる。
具体的には、展開シーンのときには、処置具６によって展開された領域Ｃが内視鏡画像Ｂの中心に配置されるので、術者は、展開された領域Ｃを容易に観察することができる。剥離シーンのときには、処置具６によってこれから剥離される領域Ｃが内視鏡画像Ｂの中心に配置されるので、術者は、これから剥離される領域Ｃを容易に観察することができる。
具体的には、展開シーンのときには、処置具６によって展開された領域Ｃが内視鏡画像Ｂの中心に配置されるので、術者は、展開された領域Ｃを容易に観察することができる。剥離シーンのときには、処置具６によってこれから剥離される領域Ｃが内視鏡画像Ｂの中心に配置されるので、術者は、これから剥離される領域Ｃを容易に観察することができる。
【0053】
なお、シーン情報取得部１２は、処置具６の種類に代えて、人工知能を利用して認識することができる他の任意の情報を処置シーンとして取得してもよい。
例えば、シーン情報取得部１２は、既知の画像認識技術によって内視鏡画像Ｂ内の被検体の解剖学的特徴を認識し、当該解剖学的特徴の種類や、位置および向きなどの情報をシーン情報として取得し、シーン推定部１５は、当該シーン情報に基づいて処置シーンを推定してもよい。
あるいは、シーン情報取得部１２は、既知の画像認識技術によって内視鏡画像Ｂ内の被検体の出血の発生といったシーンの変化を検知し、検知した情報をシーン情報として取得し、シーン推定部１５は、当該シーン情報に基づいて処置シーンを推定してもよい。
さらに、シーンの推定は上記の実施態様に限られるものではなく、シーン情報取得部１２は、手術中に得られるいかなる情報をシーン情報として取得することができ、シーン推定部１５は当該シーン情報に基づいて処置シーンを推定してもよい。
例えば、シーン情報取得部１２は、既知の画像認識技術によって内視鏡画像Ｂ内の被検体の解剖学的特徴を認識し、当該解剖学的特徴の種類や、位置および向きなどの情報をシーン情報として取得し、シーン推定部１５は、当該シーン情報に基づいて処置シーンを推定してもよい。
あるいは、シーン情報取得部１２は、既知の画像認識技術によって内視鏡画像Ｂ内の被検体の出血の発生といったシーンの変化を検知し、検知した情報をシーン情報として取得し、シーン推定部１５は、当該シーン情報に基づいて処置シーンを推定してもよい。
さらに、シーンの推定は上記の実施態様に限られるものではなく、シーン情報取得部１２は、手術中に得られるいかなる情報をシーン情報として取得することができ、シーン推定部１５は当該シーン情報に基づいて処置シーンを推定してもよい。
【0054】
（第３実施形態）
次に、本発明の第３実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、移動ベクトルＶと処置具６の種類および作動状態とに基づいてオフセットパラメータを決定する点において、第１および第２実施形態と相違する。本実施形態において、第１および第２実施形態と異なる構成について説明し、第１および第２実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第３実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、移動ベクトルＶと処置具６の種類および作動状態とに基づいてオフセットパラメータを決定する点において、第１および第２実施形態と相違する。本実施形態において、第１および第２実施形態と異なる構成について説明し、第１および第２実施形態と共通する構成については同一の符号を付して説明を省略する。
【0055】
本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
制御装置１は、第２実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３、制御部１４およびシーン推定部１５を備える。
制御装置１は、第２実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３、制御部１４およびシーン推定部１５を備える。
【0056】
シーン情報取得部１２は、移動ベクトルＶおよび処置具６の種類に加えて、追従対象である処置具６の作動状態をシーン情報として取得する。例えば、制御装置１は、処置具６を駆動する駆動装置（図示略）と接続されている。処置具６は、駆動装置から電力が供給されることによってアクティブになる。シーン情報取得部１２は、処置具６がアクティブであるか、または非アクティブであるかを示す信号を駆動装置から受信する。
【0057】
シーン情報取得部１２は、他の手段によって作動状態を取得してもよい。例えば、シーン情報取得部１２は、内視鏡画像Ｂから処置具６の作動状態を取得してもよい。処置具６が電気メスである場合、アクティブな電気メス６の色は、非アクティブな時と比較して、高熱により変化する。したがって、処置具６がアクティブであるか、または非アクティブであるかを内視鏡画像Ｂから認識することができる。
【0058】
シーン推定部１５は、第２実施形態と同様に、処置具６の種類に基づいて処置シーンを推定する。そして、処置シーンが剥離シーンであると推定された場合、シーン推定部１５は、処置具６の作動状態に基づいて、さらに詳細な処置シーンを推定する。具体的には、処置具６がアクティブである場合、シーン推定部１５は、処置具６がアクティブ中のシーン、すなわち処置具６によって生体組織を剥離している最中のシーンであると推定する。一方、処置具６が非アクティブである場合、シーン推定部１５は、処置具６が非アクティブであるシーン、すなわち剥離シーン内の他のシーンであると推定する。
【0059】
オフセットパラメータ決定部１３は、移動ベクトルＶおよび処置シーンに基づいてオフセットパラメータを決定する。
例えば、第２実施形態と同様に、処置シーン毎に関数Ｆ（Ｖ）またはパラメータテーブルＥが予め用意され記憶部１ｃに記憶されている。すなわち、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥと、剥離シーン（アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥと、剥離シーン（非アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥとが用意されている。オフセットパラメータ決定部１３は、シーン推定部１５によって推定された処置シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを選択し、選択した関数Ｆ（Ｖ）またはパラメータテーブルＥを用いて、３次元ベクトルをオフセットパラメータとして算出する。
例えば、第２実施形態と同様に、処置シーン毎に関数Ｆ（Ｖ）またはパラメータテーブルＥが予め用意され記憶部１ｃに記憶されている。すなわち、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥと、剥離シーン（アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥと、剥離シーン（非アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥとが用意されている。オフセットパラメータ決定部１３は、シーン推定部１５によって推定された処置シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを選択し、選択した関数Ｆ（Ｖ）またはパラメータテーブルＥを用いて、３次元ベクトルをオフセットパラメータとして算出する。
【0060】
次に、制御装置１が実行する制御方法について説明する。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１３に示されるステップＳ２～Ｓ１６を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、処置具６の種類を取得し（ステップＳ８）、さらに、処置具６の作動状態を取得する（ステップＳ１３）。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１３に示されるステップＳ２～Ｓ１６を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、処置具６の種類を取得し（ステップＳ８）、さらに、処置具６の作動状態を取得する（ステップＳ１３）。
【0061】
次に、シーン推定部１５が、処置具６の種類に基づいて、内視鏡２によって観察されている処置シーンを推定する（ステップＳ９）。処置シーンが剥離シーンである場合（ステップＳ１０の「剥離シーン」）、続いて、シーン推定部１５は、処置具６の作動状態に基づいて、処置シーンが、剥離シーンの内、処置具６がアクティブ中のシーンであるか、または、非アクティブ中のシーンであるかを推定する（ステップＳ１４）。
【0062】
次に、オフセットパラメータ決定部１３が、処置シーンおよび移動ベクトルＶに基づいて、オフセットパラメータを決定する（ステップＳ１１，Ｓ１５，Ｓ１６）。
具体的には、展開シーンである場合（ステップＳ１０の「展開シーン」）、第３実施形態と同様に、オフセットパラメータ決定部１３は、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１１）。
具体的には、展開シーンである場合（ステップＳ１０の「展開シーン」）、第３実施形態と同様に、オフセットパラメータ決定部１３は、展開シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１１）。
【0063】
剥離シーンの内、処置具６がアクティブ中のシーンである場合（ステップＳ１４のＹＥＳ）、オフセットパラメータ決定部１３は、剥離シーン（アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１５）。
剥離シーンの内、処置具６が非アクティブ中のシーンである場合（ステップＳ１４のＮＯ）、オフセットパラメータ決定部１３は、剥離シーン（非アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１６）。
剥離シーンの内、処置具６が非アクティブ中のシーンである場合（ステップＳ１４のＮＯ）、オフセットパラメータ決定部１３は、剥離シーン（非アクティブ）用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１６）。
【0064】
１つの種類の処置シーンの中に複数のシーンが存在し、同一の処置具６の使用中にシーンが変化することがある。例えば、剥離シーンには、非アクティブな電気メス６を移動させ生体組織に対して位置決めする剥離開始前のシーンと、アクティブな電気メス６をゆっくり移動させ生体組織を剥離する剥離中のシーンと、非アクティブな電気メス６を移動させ生体組織から遠ざける剥離終了後のシーンとが存在する。
本実施形態によれば、処置具６の種類および作動状態づいてさらに詳細な現在の処置シーンを推定することができ、内視鏡画像Ｂ内の処置具６の先端６ａを現在の処置シーンにさらに適した位置に配置することができる。
本実施形態によれば、処置具６の種類および作動状態づいてさらに詳細な現在の処置シーンを推定することができ、内視鏡画像Ｂ内の処置具６の先端６ａを現在の処置シーンにさらに適した位置に配置することができる。
【0065】
（第４実施形態）
次に、本発明の第４実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、移動ベクトルＶと生体組織の解剖情報とに基づいてオフセットパラメータを決定する点において、第１から第３実施形態と相違する。本実施形態において、第１から第３実施形態と異なる構成について説明し、第１から第３実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第４実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、移動ベクトルＶと生体組織の解剖情報とに基づいてオフセットパラメータを決定する点において、第１から第３実施形態と相違する。本実施形態において、第１から第３実施形態と異なる構成について説明し、第１から第３実施形態と共通する構成については同一の符号を付して説明を省略する。
【0066】
本実施形態に係る内視鏡システム１０は、制御装置１，内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
制御装置１は、第２実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３、制御部１４およびシーン推定部１５を備える。
制御装置１は、第２実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３、制御部１４およびシーン推定部１５を備える。
【0067】
シーン情報取得部１２は、移動ベクトルＶに加えて、内視鏡画像Ｂ内の生体組織の解剖情報をシーン情報として取得する。解剖情報は、処置具６による処置に関連する生体組織の解剖構造の情報である。一例において、解剖情報の取得には、人工知能による画像認識技術が用いられる。例えば、図１４Ａおよび図１４Ｂに示されるように、シーン情報取得部１２は、内視鏡画像Ｂ内の臓器および血管等の配置を認識し、処置具６によって剥離すべき剥離ラインＬを解剖情報として認識する。剥離ラインＬを表すマーキングが生体組織の表面に施されている場合、シーン情報取得部１２は、マーキングを認識してもよい。
【0068】
シーン推定部１５は、移動ベクトルＶと解剖情報とに基づいて、処置シーンを推定する。
具体的には、図１４Ａに示されるように、処置具６によって生体組織を剥離するとき、術者は、処置具６を剥離ラインＬに沿って移動させるので、処置具６の移動方向は剥離ラインＬの長手方向と一致する。移動ベクトルＶの方向が剥離ラインＬの長手方向と一致する場合、シーン推定部１５は、処置シーンが、処置具６を使用して生体組織を剥離する剥離シーンであると推定する。
具体的には、図１４Ａに示されるように、処置具６によって生体組織を剥離するとき、術者は、処置具６を剥離ラインＬに沿って移動させるので、処置具６の移動方向は剥離ラインＬの長手方向と一致する。移動ベクトルＶの方向が剥離ラインＬの長手方向と一致する場合、シーン推定部１５は、処置シーンが、処置具６を使用して生体組織を剥離する剥離シーンであると推定する。
【0069】
一方、図１４Ｂに示されるように、処置具６が剥離以外の動作を行っているとき、例えば、処置具６を剥離ラインＬに交差する方向に移動させて剥離された部位を展開しているとき、処置具６の移動方向は剥離ラインＬの長手方向と一致しない。移動ベクトルＶの方向が剥離ラインＬの長手方向と一致しない場合、シーン推定部１５は、処置シーンが剥離シーン以外の他のシーンであると推定する。
移動ベクトルＶの方向が剥離ラインＬの長手方向と一致するか否かは、例えば、移動ベクトルＶの方向と剥離ラインＬの方向とが成す角度が所定値以下であるか否かによって判断される。
移動ベクトルＶの方向が剥離ラインＬの長手方向と一致するか否かは、例えば、移動ベクトルＶの方向と剥離ラインＬの方向とが成す角度が所定値以下であるか否かによって判断される。
【0070】
オフセットパラメータ決定部１３は、移動ベクトルＶおよび処置シーンに基づいてオフセットパラメータを決定する。
具体的には、処置シーンが剥離シーンである場合、オフセットパラメータ決定部１３は、処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
処置シーンが剥離シーン以外のシーンである場合、オフセットパラメータ決定部１３は、目標点Ｔを基準点Ｏに配置するオフセットパラメータを決定する。
具体的には、処置シーンが剥離シーンである場合、オフセットパラメータ決定部１３は、処置具６の移動方向において該処置具６の前方の領域Ｃを視野Ｆの中心に配置するオフセットパラメータを決定する。
処置シーンが剥離シーン以外のシーンである場合、オフセットパラメータ決定部１３は、目標点Ｔを基準点Ｏに配置するオフセットパラメータを決定する。
【0071】
次に、制御装置１が実行する制御方法について説明する。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１５に示されるステップＳ２～Ｓ１８を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、さらに、内視鏡画像Ｂ内の解剖情報を取得する（ステップＳ１７）。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１５に示されるステップＳ２～Ｓ１８を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
本実施形態において、シーン情報取得部１２は、移動ベクトルＶを取得し（ステップＳ４）、さらに、内視鏡画像Ｂ内の解剖情報を取得する（ステップＳ１７）。
【0072】
次に、シーン推定部１５が、移動ベクトルＶおよび解剖情報に基づいて、内視鏡２によって観察されている処置シーンを推定する（ステップＳ９）。具体的には、移動ベクトルＶの方向が剥離ラインＬの長手方向と一致する場合、シーン推定部１５は、処置シーンが剥離シーンであると推定する。一方、移動ベクトルＶの方向が剥離ラインＬの長手方向と一致しない場合、シーン推定部１５は、処置シーンが他のシーンであると推定する。
【0073】
次に、オフセットパラメータ決定部１３が、処置シーンおよび移動ベクトルＶに基づいて、オフセットパラメータを決定する（ステップＳ１０，Ｓ１２，Ｓ１８）。
具体的には、剥離シーンである場合（ステップＳ１０の「剥離シーン」）、オフセットパラメータ決定部１３は、剥離シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１２）。これにより、目標点Ｔが視野Ｆの中心から処置具６の移動方向とは逆方向にオフセットし（ステップＳ７）、処置具６の先端６ａが内視鏡画像Ｂの中心から剥離方向とは逆方向にオフセットし、処置具６によって剥離される領域Ｃが内視鏡画像Ｂの中心に配置される。
一方、他のシーンである場合（ステップＳ１０の「他のシーン」）、オフセットパラメータ決定部１３は、目標点Ｔを基準点Ｏに配置するオフセットパラメータを決定する（ステップＳ１８）。これにより、目標点Ｔが視野Ｆの中心に設定され、処置具６の先端６ａが内視鏡画像Ｂの中心に配置される。
具体的には、剥離シーンである場合（ステップＳ１０の「剥離シーン」）、オフセットパラメータ決定部１３は、剥離シーン用の関数Ｆ（Ｖ）またはパラメータテーブルＥを用いてオフセットパラメータを算出する（ステップＳ１２）。これにより、目標点Ｔが視野Ｆの中心から処置具６の移動方向とは逆方向にオフセットし（ステップＳ７）、処置具６の先端６ａが内視鏡画像Ｂの中心から剥離方向とは逆方向にオフセットし、処置具６によって剥離される領域Ｃが内視鏡画像Ｂの中心に配置される。
一方、他のシーンである場合（ステップＳ１０の「他のシーン」）、オフセットパラメータ決定部１３は、目標点Ｔを基準点Ｏに配置するオフセットパラメータを決定する（ステップＳ１８）。これにより、目標点Ｔが視野Ｆの中心に設定され、処置具６の先端６ａが内視鏡画像Ｂの中心に配置される。
【0074】
このように、本実施形態によれば、内視鏡画像Ｂ内の解剖情報と、処置具６の動きを表す移動ベクトルＶとに基づいて、現在の処置シーンを推定することができる。そして、処置シーンに基づいて、目標点Ｔを基準点Ｏからオフセットさせるか否かを判断することによって、内視鏡画像Ｂ内の処置具６の先端６ａを現在の処置シーンに適した位置に配置することができる。
【0075】
具体的には、術者が剥離ラインＬに沿って処置具６を移動させる剥離シーンのときには、処置具６によってこれから剥離される領域Ｃが内視鏡画像Ｂの中心に配置されるので、術者は、これから剥離される領域Ｃを容易に観察することができる。
剥離シーン以外の他のシーンのときには、目標点Ｔが基準点Ｏに設定され、処置具６の先端６ａが内視鏡画像Ｂ内の中心に配置される。これにより、術者は、処置具６の先端６ａを容易に観察することができる。
剥離シーン以外の他のシーンのときには、目標点Ｔが基準点Ｏに設定され、処置具６の先端６ａが内視鏡画像Ｂ内の中心に配置される。これにより、術者は、処置具６の先端６ａを容易に観察することができる。
【0076】
本実施形態において、シーン情報として、第２実施形態の処置具６の種類をさらに使用してもよい。例えば、処置シーンが移動ベクトルＶおよび解剖情報に基づいて他のシーンであると推定された場合、続いて、処置具６の種類に基づいて処置シーンが推定されてもよい。
また、本実施形態において、シーン情報として、第３実施形態の処置具６の種類および作動状態をさらに使用してもよい。例えば、処置シーンが移動ベクトルおよび解剖情報に基づいて他のシーンであると推定された場合、続いて、処置具６の種類および作動状態に基づいて処置シーンが推定されてもよい。
また、本実施形態において、シーン情報として、第３実施形態の処置具６の種類および作動状態をさらに使用してもよい。例えば、処置シーンが移動ベクトルおよび解剖情報に基づいて他のシーンであると推定された場合、続いて、処置具６の種類および作動状態に基づいて処置シーンが推定されてもよい。
【0077】
（第５実施形態）
次に、本発明の第５実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、操作者の入力に基づいてオフセットパラメータを決定する点において、第１から第４実施形態と相違する。本実施形態において、第１から第４実施形態と異なる構成について説明し、第１から第４実施形態と共通する構成については同一の符号を付して説明を省略する。
次に、本発明の第５実施形態に係る制御装置、内視鏡システムおよび制御方法について説明する。
本実施形態は、操作者の入力に基づいてオフセットパラメータを決定する点において、第１から第４実施形態と相違する。本実施形態において、第１から第４実施形態と異なる構成について説明し、第１から第４実施形態と共通する構成については同一の符号を付して説明を省略する。
【0078】
本実施形態に係る内視鏡システム１０は、制御装置１、内視鏡２、移動装置３、内視鏡プロセッサ４および表示装置５を備える。
制御装置１は、第１実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３および制御部１４を備える。
ユーザインタフェース１ｄは、マウス、キーボードまたはタッチパネル等の任意の入力デバイスを有する。操作者は、処置具６の先端６ａの位置をユーザインタフェース１ｄを使用して制御装置１に入力することができる。
制御装置１は、第１実施形態と同様、位置情報取得部１１、シーン情報取得部１２、オフセットパラメータ決定部１３および制御部１４を備える。
ユーザインタフェース１ｄは、マウス、キーボードまたはタッチパネル等の任意の入力デバイスを有する。操作者は、処置具６の先端６ａの位置をユーザインタフェース１ｄを使用して制御装置１に入力することができる。
【0079】
例えば、図３Ａに示されるように、先端６ａの位置として、オフセット角φｙ，φｚが入力される。オフセット角φｙは、ＸＹ平面において、内視鏡２の先端２ｂと先端６ａの位置とを結ぶ線分が光軸Ａと成す角度であり、オフセット角φｚは、ＸＺ平面において、内視鏡２の先端２ｂと先端６ａの位置とを結ぶ線分が光軸Ａと成す角度である。オフセット角φｙによって、Ｘ方向の各位置における、基準点Ｏから先端６ａの位置までのＹ方向の距離δｙが決まる。オフセット角φｚによって、Ｘ方向の各位置における、基準点Ｏから先端６ａの位置までのＺ方向の距離δｚが決まる。
【0080】
シーン情報取得部１２は、シーン情報として、ユーザインタフェース１ｄを使用して入力された先端６ａの位置を取得する。
オフセットパラメータ決定部１３は、入力された先端６ａの位置に基づいてオフセットパラメータを決定する。例えば、オフセットパラメータ決定部１３は、距離Ｄとオフセット角φｙ，φｚとによって決定される３次元位置（Ｄ，δｙ，δｚ）をオフセットパラメータとして算出する。
制御部１４は、目標点Ｔを３次元位置（Ｄ，δｙ，δｚ）に設定する。したがって、操作者が入力した先端６ａの位置が目標点Ｔに設定される。
オフセットパラメータ決定部１３は、入力された先端６ａの位置に基づいてオフセットパラメータを決定する。例えば、オフセットパラメータ決定部１３は、距離Ｄとオフセット角φｙ，φｚとによって決定される３次元位置（Ｄ，δｙ，δｚ）をオフセットパラメータとして算出する。
制御部１４は、目標点Ｔを３次元位置（Ｄ，δｙ，δｚ）に設定する。したがって、操作者が入力した先端６ａの位置が目標点Ｔに設定される。
【0081】
次に、制御装置１が実行する制御方法について説明する。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１６に示されるステップＳ１～Ｓ２０を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
追従モードに切り替わると、制御装置１のプロセッサ１ａは、図１６に示されるステップＳ１～Ｓ２０を実行することによって、追従対象である処置具６に内視鏡２を自動的に追従させる。
【0082】
第１実施形態と同様に、ステップＳ１～Ｓ３が実行されることによって、処置具６の先端６ａが視野Ｆ内の基準点Ｏに配置されるように処置具６の先端６ａに内視鏡２の先端２ｂが追従する。
操作者は、処置シーンに応じて先端６ａの位置を内視鏡画像Ｂ内の中心から他の位置へ移動させたいとき、所望の先端６ａの位置をユーザインタフェース１ｄを使用して制御装置１に入力する。
操作者は、処置シーンに応じて先端６ａの位置を内視鏡画像Ｂ内の中心から他の位置へ移動させたいとき、所望の先端６ａの位置をユーザインタフェース１ｄを使用して制御装置１に入力する。
【0083】
操作者によって先端６ａの位置が制御装置１に入力されると（ステップＳ１９のＹＥＳ）、シーン情報取得部１２が操作者によって入力された位置を取得し（ステップＳ２０）、オフセットパラメータ決定部１３が入力された位置に基づいてオフセットパラメータを決定し（ステップＳ６）、制御部１４が、操作者が入力した位置に目標点Ｔを設定する（ステップＳ７）。これにより、内視鏡画像Ｂ内の処置具６の先端６ａは、中心から、操作者によって指定された位置の目標点Ｔに移動する。
【0084】
このように、本実施形態によれば、操作者による処置具６の先端６ａの位置の入力をトリガとして、目標点Ｔが入力された位置へオフセットする。これにより、操作者は、目標点Ｔを現在の処置シーンに適した任意の位置に任意のタイミングで設定することができ、内視鏡画像Ｂ内の先端６ａを任意のタイミングで任意の位置へオフセットさせることができる。
【0085】
本実施形態において、図１７に示されるように、シーン情報取得部１２は、目標点Ｔの調整開始を指示する入力を行ったときの処置具６の先端６ａの位置をシーン情報として取得してもよい。
この場合、操作者は、内視鏡画像Ｂ内の所望の位置へ処置具６の先端６ａを移動させ、調整開始の指示をユーザインタフェース１ｄを使用して制御装置１に入力する（ステップＳ２１）。入力に応答し、シーン情報取得部１２は、指示が入力された時点での先端６ａの位置を取得する（ステップＳ２２）。例えば、シーン情報取得部１２は、指示が入力された時点での内視鏡画像Ｂを記憶し、内視鏡２の先端２ｂに対する処置具６の先端６ａの３次元位置を内視鏡画像Ｂから算出する。
目標点Ｔの調整終了の指示が操作者によって入力されると（ステップＳ２３のＹＥＳ）、目標点Ｔの調整が終了し、目標点Ｔが基準点Ｏに戻る（ステップＳ１）。
この場合、操作者は、内視鏡画像Ｂ内の所望の位置へ処置具６の先端６ａを移動させ、調整開始の指示をユーザインタフェース１ｄを使用して制御装置１に入力する（ステップＳ２１）。入力に応答し、シーン情報取得部１２は、指示が入力された時点での先端６ａの位置を取得する（ステップＳ２２）。例えば、シーン情報取得部１２は、指示が入力された時点での内視鏡画像Ｂを記憶し、内視鏡２の先端２ｂに対する処置具６の先端６ａの３次元位置を内視鏡画像Ｂから算出する。
目標点Ｔの調整終了の指示が操作者によって入力されると（ステップＳ２３のＹＥＳ）、目標点Ｔの調整が終了し、目標点Ｔが基準点Ｏに戻る（ステップＳ１）。
【0086】
本実施形態において、シーン情報取得部１２が、処置具６の先端６ａの位置をシーン情報として取得することとしたが、これに代えて、内視鏡２の位置および姿勢をシーン情報として取得してもよい。例えば、シーン情報取得部１２は、内視鏡２の現在の位置および姿勢の情報を移動装置３から取得する。
図１８Ａから図１９Ｂは、内視鏡２の位置および姿勢の例を示している。腹腔鏡下手術において、処置対象部位および処置の内容に応じて、すなわち処置シーンに応じて、内視鏡２の位置および姿勢は異なる。
図１８Ａおよび図１９Ａにおいて、内視鏡２は体壁に形成された穴Ｈを経由して腹腔内に挿入され、穴Ｈの位置を支点として内視鏡２の位置および姿勢が変更される。内視鏡２の位置および姿勢は、例えば、支点を基準とし被検体Ｐに対して固定された座標系での位置および姿勢である。
図１８Ａから図１９Ｂは、内視鏡２の位置および姿勢の例を示している。腹腔鏡下手術において、処置対象部位および処置の内容に応じて、すなわち処置シーンに応じて、内視鏡２の位置および姿勢は異なる。
図１８Ａおよび図１９Ａにおいて、内視鏡２は体壁に形成された穴Ｈを経由して腹腔内に挿入され、穴Ｈの位置を支点として内視鏡２の位置および姿勢が変更される。内視鏡２の位置および姿勢は、例えば、支点を基準とし被検体Ｐに対して固定された座標系での位置および姿勢である。
【0087】
図１８Ａから図１９Ｂの変形例において、内視鏡２の位置および姿勢に応じた複数のオフセットパラメータが、予め設定されているか、または、手術中に術者等の操作者によって設定される。オフセットパラメータ決定部１３は、内視鏡２の位置および姿勢に対応するオフセットパラメータを選択する。したがって、図１８Ｂおよび図１９Ｂに示されるように、内視鏡２の位置および姿勢に応じた位置に目標点Ｔが設定される。
この構成によれば、操作者による入力操作を必要とすることなく、シーン情報を取得することができる。
この構成によれば、操作者による入力操作を必要とすることなく、シーン情報を取得することができる。
【0088】
上記各実施形態において、基準点Ｏに対して目標点Ｔを３次元方向にオフセットさせることとしたが、これに代えて、基準点Ｏに対して目標点Ｔを２次元方向または１次元方向にオフセットさせてもよい。
例えば、一変形例において、シーン情報取得部１２が、光軸Ａに垂直なＹＺ平面に沿う２次元の移動ベクトルＶを検出し、オフセットパラメータ決定部１３が、基準点Ｏに対して目標点ＴをＹＺ平面に平行な方向にオフセットさせるための２次元的なオフセットパラメータを決定してもよい。他の変形例において、シーン情報取得部１２が、光軸Ａに平行なＺ方向における１次元の移動ベクトルＶを検出し、オフセットパラメータ決定部１３が、基準点Ｏに対して目標点ＴをＸ方向にのみオフセットさせるための１次元的なオフセットパラメータを決定してもよい。
例えば、一変形例において、シーン情報取得部１２が、光軸Ａに垂直なＹＺ平面に沿う２次元の移動ベクトルＶを検出し、オフセットパラメータ決定部１３が、基準点Ｏに対して目標点ＴをＹＺ平面に平行な方向にオフセットさせるための２次元的なオフセットパラメータを決定してもよい。他の変形例において、シーン情報取得部１２が、光軸Ａに平行なＺ方向における１次元の移動ベクトルＶを検出し、オフセットパラメータ決定部１３が、基準点Ｏに対して目標点ＴをＸ方向にのみオフセットさせるための１次元的なオフセットパラメータを決定してもよい。
【0089】
上記各実施形態において、基準点Ｏが、視野Ｆの光軸Ａ上の点であることとしたが、基準点は、視野Ｆ内の任意の位置に設定するができ、光軸Ａ外の点であってもよい。
上記各実施形態において、目標点Ｔが、視野Ｆ内の一点であることとしたが、これに代えて、２次元または３次元の領域であってもよい。この場合、制御装置１は、処置具６の先端６ａが目標点Ｔの領域の外側に出たときに、処置具６に対する内視鏡２の追従を開始してもよい。
上記各実施形態において、目標点Ｔが、視野Ｆ内の一点であることとしたが、これに代えて、２次元または３次元の領域であってもよい。この場合、制御装置１は、処置具６の先端６ａが目標点Ｔの領域の外側に出たときに、処置具６に対する内視鏡２の追従を開始してもよい。
【0090】
例えば、図２０Ａおよび図２０Ｂに示されるように、目標点Ｔは、Ｘ、ＹおよびＺ方向において所定の寸法ｄｘ、ｄｙ、ｄｚを有する直方体の領域である。第１から第４実施形態の場合、移動ベクトルＶから算出された３次元位置を中心とする領域が目標点Ｔに設定される。第５実施形態の場合、操作者によって入力された位置を中心とする領域が目標点Ｔに設定される。
【0091】
上記各実施形態において、位置情報取得部１１が、内視鏡画像Ｂから位置情報を取得することとしたが、これに代えて、他の手段を用いて位置情報を取得してもよい。
一変形例において、位置情報取得部１１は、体外に配置される３次元位置測定装置から位置情報を取得してもよい。例えば、３次元位置測定装置は、内視鏡２に取り付けられた第１マーカの位置と、処置具６に取り付けられた第２マーカの位置とを測定し、測定された２つの位置から内視鏡２の先端２ｂに対する処置具６の先端６ａの３次元位置を算出してもよい。
一変形例において、位置情報取得部１１は、体外に配置される３次元位置測定装置から位置情報を取得してもよい。例えば、３次元位置測定装置は、内視鏡２に取り付けられた第１マーカの位置と、処置具６に取り付けられた第２マーカの位置とを測定し、測定された２つの位置から内視鏡２の先端２ｂに対する処置具６の先端６ａの３次元位置を算出してもよい。
【0092】
他の変形例において、位置情報取得部１１は、内視鏡２に取り付けられた３次元走査装置から位置情報を取得してもよい。３次元走査装置は、光または超音波を走査することによって、内視鏡２の視野Ｆ内の処置具６および生体組織の３次元位置を測定してもよい。
【0093】
他の変形例において、図２１Ａおよび図２１Ｂに示されるように、位置情報取得部１１は、内視鏡２を移動させる第１移動装置３および処置具６を移動させる第２移動装置３１から、内視鏡２および処置具６の位置の情報をそれぞれ取得してもよい。第２移動装置３１は、第１移動装置３と同様、ロボットアームまたは電動ホルダによって処置具６を保持し、制御装置１０１による制御に従って処置具６の位置および姿勢を３次元的に変更する。処置具６は、図２１Ａに示されるように、ロボットアームの先端に接続されロボットアームと一体であってもよく、図２１Ｂに示されるように、ロボットアームとは別体でありロボットアームによって把持されていてもよい。
【0094】
上記各実施形態において、位置情報取得部１１が、処置具６の３次元位置を含む位置情報を取得することとしたが、これに代えて、処置具６の２次元位置を含む位置情報を取得してもよい。
例えば、処置具６、目標点Ｔおよび基準点Ｏが、内視鏡画像Ｂの画像平面（ＹＺ平面）上における２次元位置であり、制御部１４が、目標点Ｔを基準点Ｏに対してＹ方向およびＺ方向に２次元的にオフセットさせるとともに、処置具６に対して内視鏡２をＹ方向およびＺ方向に２次元的に追従させてもよい。
例えば、処置具６、目標点Ｔおよび基準点Ｏが、内視鏡画像Ｂの画像平面（ＹＺ平面）上における２次元位置であり、制御部１４が、目標点Ｔを基準点Ｏに対してＹ方向およびＺ方向に２次元的にオフセットさせるとともに、処置具６に対して内視鏡２をＹ方向およびＺ方向に２次元的に追従させてもよい。
【符号の説明】
【0095】
１ 制御装置
２ 内視鏡
３ 移動装置
６ 処置具
６ａ 先端
１０ 内視鏡システム
Ａ 光軸
Ｂ 内視鏡画像
Ｆ 視野
Ｌ 剥離ライン（解剖情報）
Ｔ 目標点
Ｏ 基準点
Ｐ 患者、被検体
Ｖ 移動ベクトル（シーン情報）
２ 内視鏡
３ 移動装置
６ 処置具
６ａ 先端
１０ 内視鏡システム
Ａ 光軸
Ｂ 内視鏡画像
Ｆ 視野
Ｌ 剥離ライン（解剖情報）
Ｔ 目標点
Ｏ 基準点
Ｐ 患者、被検体
Ｖ 移動ベクトル（シーン情報）
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
【図20A】
【図20B】
【図21A】
【図21B】
【図22A】
【図22B】