特許 7670879 手術システム、プロセッサ及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-21

(45)【発行日】2025-04-30

(54)【発明の名称】手術システム、プロセッサ及び制御方法

(51)【国際特許分類】

   A61B 34/35 20160101AFI20250422BHJP

   A61M 5/20 20060101ALI20250422BHJP

【ＦＩ】

A61B34/35

A61M5/20 550

【請求項の数】 11

(21)【出願番号】P 2024008030

(22)【出願日】2024-01-23

(65)【公開番号】P2025015393

(43)【公開日】2025-01-30

【審査請求日】2024-01-23

(31)【優先権主張番号】63/527,837

(32)【優先日】2023-07-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(72)【発明者】

【氏名】藤井 雅浩

(72)【発明者】

【氏名】保田 詩織

(72)【発明者】

【氏名】小川 量平

【審査官】近藤 裕之

(56)【参考文献】

【文献】特開２０２２－１８０１７７（ＪＰ，Ａ）

【文献】特開２０２３－１７１６４１（ＪＰ，Ａ）

【文献】特開２００９－２２７６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／３５

Ａ６１Ｍ ５／２０

(57)【特許請求の範囲】

【請求項1】

内視鏡画像を撮像するイメージャを含む内視鏡と、
先端部に注入針を有する医療用マニピュレータと、
前記医療用マニピュレータを制御して前記注入針の位置を制御する駆動装置と、
プロセッサと、
を含み、
前記プロセッサは、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御することを特徴とする手術システム。

【請求項2】

請求項１の手術システムにおいて、
前記局注液が注入された前記処置対象が写る前記内視鏡画像を含む学習データに基づいて学習された第１学習済みモデルを含み、
前記プロセッサは、
前記第１学習済みモデルを用いて、前記内視鏡画像から前記処置対象の形状変化の過不足を判断し、
前記処置対象の形状変化が不足していると判断した場合、前記注入針を所定量引き抜くように前記駆動装置を制御することを特徴とする手術システム。

【請求項3】

請求項１の手術システムにおいて、
前記プロセッサは、
前記所定判断において、前記局注液の注入量の制御値をさらに用いて前記局注の成否を判断し、
前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御することを特徴とする手術システム。

【請求項4】

請求項３の手術システムにおいて、
前記局注液の前記注入量と、前記注入量に対応した前記局注液が注入された前記処置対象が写る前記内視鏡画像とを含む学習データに基づき学習された第１学習済みモデルを含み、
前記プロセッサは、
前記第１学習済みモデルを用いて、前記内視鏡画像から前記制御値に対する前記処置対象の形状変化の過不足を判断し、
前記処置対象の形状変化が不足している場合、前記注入針を所定量引き抜くように前記駆動装置を制御することを特徴とする手術システム。

【請求項5】

請求項１または３の手術システムにおいて、
前記処置対象に前記局注液を注入する際の抵抗力を検出可能な力覚センサを含み、
前記プロセッサは、
前記処置対象の形状変化が不足し、かつ前記力覚センサの検出値が所定値以上である場合、前記注入針を所定量引き抜くように前記駆動装置を制御することを特徴とする手術システム。

【請求項6】

請求項１または３の手術システムにおいて、
プランジャの変位量を検出可能な位置センサを含み、
前記プロセッサは、
前記処置対象の形状変化が不足し、かつ前記位置センサの検出値が所定値未満である場合、前記注入針を所定量引き抜くように前記駆動装置を制御することを特徴とする手術システム。

【請求項7】

請求項１の手術システムにおいて、
前記プロセッサは、
前記処置対象において前記注入針を刺す位置と前記注入針を刺す位置に対応する前記局注液の前記目標量とを、前記内視鏡画像に基づいて決定することを特徴とする手術システム。

【請求項8】

請求項７の手術システムにおいて、
前記処置対象が写る前記内視鏡画像と、前記注入針を刺す位置情報とを含む学習データに基づき学習された第２学習済みモデルを含み、
前記プロセッサは、
前記第２学習済みモデルを用いて、前記内視鏡画像に基づいて、前記注入針を刺す位置を決定する第１決定処理を行うことを特徴とする手術システム。

【請求項9】

請求項８の手術システムにおいて
前記処置対象が写る前記内視鏡画像と、前記注入針を刺す前記位置情報と、前記位置情報に対応した前記局注液の前記目標量とを含む学習データに基づき学習された第３学習済みモデルを含み、
前記プロセッサは、
前記第３学習済みモデルを用いて、前記内視鏡画像と前記第１決定処理において決定された前記位置情報とに基づいて、前記注入針を刺す各々の位置における前記局注液の前記目標量を決定する第２決定処理を行うことを特徴とする手術システム。

【請求項10】

内視鏡画像を撮像するイメージャを含む内視鏡と、先端部に注入針を有する医療用マニピュレータを制御することで前記注入針の位置を制御する駆動装置とを制御するプロセッサであって、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御することを特徴とするプロセッサ。

【請求項11】

内視鏡画像を撮像するイメージャを含む内視鏡と、先端部に注入針を有する医療用マニピュレータを制御することで前記注入針の位置を制御する駆動装置とを制御する制御方法であって、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御することを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術システム、プロセッサ及び制御方法に関する。

【背景技術】

【0002】

内視鏡等の医療器具をロボットアーム等で制御する手術システムが知られている。特許文献１には、機械学習を用いて自動運転する手術システムについて開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－０７４２４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、局注に係る工程を自動制御する手法については開示されていない。

【課題を解決するための手段】

【0005】

本開示の一態様は、
内視鏡画像を撮像するイメージャを含む内視鏡と、
先端部に注入針を有する医療用マニピュレータと、
前記医療用マニピュレータを制御して前記注入針の位置を制御する駆動装置と、
プロセッサと、
を含み、
前記プロセッサは、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御する手術システムに関係する。

【0006】

本開示の他の態様は、
内視鏡画像を撮像するイメージャを含む内視鏡と、先端部に注入針を有する医療用マニピュレータを制御することで前記注入針の位置を制御する駆動装置とを制御するプロセッサであって、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御するプロセッサに関係する。

【0007】

本開示の他の態様は、
内視鏡画像を撮像するイメージャを含む内視鏡と、先端部に注入針を有する医療用マニピュレータを制御することで前記注入針の位置を制御する駆動装置とを制御する制御方法であって、
前記注入針と接続するシリンジに、目標量の局注液を注入するように制御し、
前記イメージャから処置対象が写る前記内視鏡画像を取得し、
前記内視鏡画像を用いて局注の成否を判断する所定判断を行い、前記所定判断の判断結果に基づいて前記注入針の位置を変更するように前記駆動装置を制御する制御方法に関係する。

【図面の簡単な説明】

【0008】

【図1】手術システムの構成例を説明するブロック図。

【図2】駆動装置の構成例を説明する図。

【図3】３つの処置具チャネルを含む例を説明する図。

【図4】３つの処置具チャネルを含む例を説明する別の図。

【図5】３つの処置具チャネルを含む例を説明する別の図。

【図6】第２処置具駆動装置の構成例を説明する図。

【図7】第１処置具駆動装置の構成例を説明する図。

【図8】手術システムの具体的な構成例を説明する図。

【図9】コンソールの構成例を説明する図。

【図10】フットペダルとハンドルによって制御される駆動装置を説明する図。

【図11】ハンドルの構成例を説明する図。

【図12】コンソールから送信された制御信号に対する設定の例を説明する図。

【図13】コンソールのディスプレイに表示される画面例を説明する図。

【図14】ＥＳＤの処置フローの例を説明する図。

【図15】ＥＳＤの処置フローの別の例を説明する図。

【図16】駆動装置の別の構成例を説明する図。

【図17】駆動装置の別の構成例を説明する図。

【図18】局注処理の処理例を説明するフローチャート。

【図19】第１判断の処理例を説明するフローチャート。

【図20】本実施形態の作用効果を説明する図。

【図21】本実施形態の作用効果を説明する別の図。

【図22】本実施形態の作用効果を説明する別の図。

【図23】第１判断の別の処理例を説明するフローチャート。

【図24】制御装置の構成例を説明する別の図。

【図25】学習装置の構成例を説明する図。

【図26】局注処理の別の処理例を説明するフローチャート。

【図27】第２判断の処理例を説明するフローチャート。

【図28】第２判断の別の処理例を説明するフローチャート。

【図29】第１学習済みモデルに入出力されるデータの例を説明する図。

【図30】第１訓練データの例を説明する図。

【図31】第１決定処理の処理例を説明するフローチャート。

【図32】第２学習済みモデルに入出力されるデータの例を説明する図。

【図33】第２訓練データの例を説明する図。

【図34】第２決定処理の処理例を説明するフローチャート。

【図35】第３学習済みモデルに入出力されるデータの例を説明する図。

【図36】第３訓練データの例を説明する図。

【図37】第２決定処理の別の処理例を説明するフローチャート。

【図38】タッチパネルを用いて内視鏡画像を取得する例を説明する図。

【図39】第３決定処理の処理例を説明するフローチャート。

【図40】第４学習済みモデルに入出力されるデータの例を説明する図。

【図41】第４訓練データの例を説明する図。

【図42】位置情報と局注液の目標量とを決定する別の手法を説明する図。

【図43】所定のデータセットを取得する手法を説明する図。

【図44】第５訓練データの例を説明する図。

【図45】第６訓練データの例を説明する図。

【図46】ＥＳＤの処置フローの別の例を説明する図。

【図47】ＥＳＤの処置の画面例を説明する図。

【図48】第３決定処理の別の処理例を説明するフローチャート。

【図49】ＥＳＤの処置の別の画面例を説明する図。

【図50】第１決定処理の別の処理例を説明するフローチャート。

【発明を実施するための形態】

【0009】

以下の開示において、提示された主題の異なる特徴を実施するための多くの異なる実施形態や実施例を提供する。もちろんこれらは単なる例であり、限定的であることを意図するものではない。さらに、本開示では、様々な例において参照番号および／または文字を反復している場合がある。このように反復するのは、簡潔明瞭にするためであり、それ自体が様々な実施形態および／または説明されている構成との間に関係があることを必要とするものではない。さらに、第１の要素が第２の要素に「接続されている」または「連結されている」と記述するとき、そのような記述は、第１の要素と第２の要素とが互いに直接的に接続または連結されている実施形態を含むとともに、第１の要素と第２の要素とが、その間に介在する１以上の他の要素を有して互いに間接的に接続または連結されている実施形態も含む。

【0010】

図１を用いて本実施形態の手術システム１の構成例について説明する。本実施形態の手術システム１は、プロセッサ１００を含む制御装置１０と駆動装置２０と内視鏡４０を含む。本実施形態の制御装置１０は駆動装置２０を制御する。また本実施形態の駆動装置２０は少なくとも医療用マニピュレータ５００を制御するが、内視鏡４０をさらに制御してもよく、詳細は図２で後述する。

【0011】

本実施形態の手術システム１に係る手法は、以下に述べるように例えばＥＳＤ（内視鏡的粘膜下層剥離術）の処置に適用できるが、例えばＥＭＲ（内視鏡的粘膜切除術）等、他の処置への適用を妨げるものではない。また、以下に述べる手法の一部を他の処置へ適用しても構わない。なおＥＳＤはEndoscopic Submucosal Dissectionの略であり、ＥＭＲはEndoscopic Mucosal Resectionの略である。以降の説明において本実施形態の内視鏡４０は、ＥＳＤにおいて主に用いられる軟性内視鏡を例示するが、本実施形態の手法を、硬性内視鏡等、他の内視鏡に適用することを妨げるものではない。また本実施形態の内視鏡４０の各構成は軟性内視鏡として十分公知の構成を広く適用できるものであるため、以降において詳細な図示及び説明を適宜省略している。

【0012】

本実施形態の内視鏡４０はイメージャ４２を含む。イメージャ４２はＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等からなる撮像センサ、光学部材等を含み、撮像装置として機能する。本実施形態において、イメージャ４２により撮像された画像を内視鏡画像といい、イメージャ４２は不図示の照明装置から照射された被写体からの戻り光を撮像することで、制御装置１０のプロセッサ１００に画像信号を不図示のケーブル等を介して出力する。プロセッサ１００は、当該画像信号に基づいて表示画像を生成し、その表示画像を例えば図９等で後述するディスプレイ６１０等に出力する。なお当該画像信号は映像信号を含み、内視鏡画像は当該映像信号に基づいて生成された映像を静止画にしたものであってもよい。また、本実施形態のイメージャ４２は３Ｄカメラであってもよい。このようにすることで、プロセッサ１００は、立体視画像を内視鏡画像として取得できる。なお、この場合、ディスプレイ６１０等は立体視画像に対応してもよい。ディスプレイ６１０等が立体視画像に対応するとは、ディスプレイ６１０に表示された内視鏡画像に立体感があるとユーザが認識できるように、ディスプレイ６１０のハードウェアが構成されていることをいう。また、ディスプレイ６１０に表示された内視鏡画像に立体感があるとユーザが認識できることとは、例えばユーザがディスプレイ６１０を裸眼で見たときに内視鏡画像に立体感があると認識できることに限らず、例えばユーザが専用のゴーグル等を通してディスプレイ６１０を見たときに内視鏡画像に立体感があることを認識できることも含む。なお、以降の説明において、図８等で後述するコンソール６０を操作する主体である術者をユーザと統一して表記するが、例えば当該術者の作業を補助する補助者をユーザとして扱ってもよい。補助者は、具体的には例えば非検体に対して内視鏡４０を挿入する者、後述する処置具５０の入れ替え等を行う者である。なお、後述するように、処置具５０は複数あってもよく、必要に応じて第１処置具５１、第２処置具５２、第３処置具５３等と具体的にいうことがある。また、不図示の照明装置は、例えば複数の照明モードを有してもよい。例えば当該照明装置を制御し所望の波長の光を透過するフィルタを複数種類含み、制御装置１０は状況に応じてフィルタを適宜選択する処理を行い、当該フィルタを透過した光が被写体に照射される。これにより、ユーザは処置を円滑に行うことができる。なお、照明モードは公知の手法が多数提案されているため詳細な説明は省略する。

【0013】

本実施形態のプロセッサ１００は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。

【0014】

また、例えば本実施形態のプロセッサ１００は、図１に不図示のメモリ１３０と、メモリ１３０に記憶された情報に基づいて動作することもできる。情報は、例えばプログラムと各種のデータ等である。なお、プログラムは、例えば図２４で後述する第１学習済みモデル１４１等を含んでもよい。プロセッサ１００は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いることができる。メモリ１３０は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリ１３０はコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサ１００により実行されることで、制御装置１０の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサ１００のハードウェア回路に対して動作を指示する命令であってもよい。また、メモリ１３０は記憶装置とも呼ぶ。

【0015】

医療用マニピュレータ５００は注入針５１６を少なくとも含む。なお詳細は図２で後述するが、医療用マニピュレータ５００は複数有ってもよく、必要に応じて、第１医療用マニピュレータ５１０、第２医療用マニピュレータ５２０、第３医療用マニピュレータ５３０等と具体的に言うことがある。注入針５１６は、例えばシリンジ５１２に充填された局注液を、後述する粘膜下層に注入するために用いられる。局注液は例えば生理食塩水等であるが、所定の割合からなるヒアルロン酸ナトリウム等を含んでもよい。このようにすることで、局注液の粘性を上げることができる。これにより、詳細は図２２で後述するように、粘膜を高く隆起させる状態を持続させることができる。これにより、図１４等で後述する切開（ステップＳ６１０）等において筋層の損傷を最小限にすることができる。これにより、筋層の損傷に伴う合併症が発生する可能性を低くすることができる。また、局注液は所定の色素物質を含んでもよい。所定の色素物質は例えばインジゴカルミン等である。このようにすることで、局注された粘膜下層は青みかかった透明となることから、ユーザは、後述する切開（ステップＳ６１０）に適したな領域を容易に判断できる。

【0016】

本実施形態の駆動装置２０について説明する。本実施形態の駆動装置２０は例えば図２のように構成することができる。駆動装置２０は、第１処置具５１の各部を制御する第１処置具駆動装置２１と、第２処置具５２の各部を制御する第２処置具駆動装置２２と、第３処置具５３の各部を制御する第３処置具駆動装置２３と、内視鏡４０の各部を制御する内視鏡駆動装置２４を含む。なお図２は概念的な図であり、説明の便宜上、イメージャ４２、シリンジ５１２等、一部の構成の図示を省略している。後述する図１６、図１７についても同様である。

【0017】

また、説明の便宜上、互いに直交する３つの軸として、Ａ軸、ＵＤ軸及びＬＲ軸を、図２以降に適宜図示している。Ａ軸の方向は、内視鏡４０の挿入部の先端である先端部を基準に、医療用マニピュレータ５００の長手方向に沿った方向に平行な方向である。そして医療用マニピュレータ５００が前進する方向をＡ１方向とし、医療用マニピュレータ５００が後退する方向をＡ２方向とする。なお、以降の説明に置いて前進後退を「進退」と簡略して言うことがある。言い換えれば、Ａ軸の方向は、医療用マニピュレータ５００が進退する方向に沿った方向である。また、ＵＤ軸に沿った方向をＵＤ軸方向といい、ＬＲ軸に沿った方向をＬＲ軸方向という。

【0018】

第１処置具５１は、例えば局注針である。この場合、第１処置具５１は例えば第１医療用マニピュレータ５１０と、第１医療用マニピュレータ５１０の先端に位置する注入針５１６とを含む。つまり、図１の医療用マニピュレータ５００は、図２の第１医療用マニピュレータ５１０に対応している。

【0019】

第２処置具５２は、例えば把持鉗子である。この場合、第２処置具５２は例えば第２医療用マニピュレータ５２０と、第２医療用マニピュレータ５２０の先端に位置する把持部５２２を含む。

【0020】

また、第３処置具５３は例えば高周波ナイフである。この場合、第３処置具５３は例えば第３医療用マニピュレータ５３０を含む。第３処置具５３において、第３医療用マニピュレータ５３０の先端から、ナイフ部が必要に応じて突出できるように構成されている。ナイフ部は、不図示の給電用ワイヤ、高周波電極等を含む。例えば不図示の給電装置から給電用ワイヤを介して高周波電流を高周波電極に通電させる。この状態で当該高周波電極を所望の生体組織に接触させることで、当該生体組織は、高周波電極から発生した熱エネルギーにより焼灼される。当該熱エネルギーを制御すること等により、後述するマーキング、切開（ステップＳ６１０）または止血等が行われる。なお、図２等に示したナイフ部の形状はポール型を例示しているが、これに限らずメス型、ニードル型、フック型、ハサミ型、ピンセット型等であってもよい。つまり本実施形態の第３処置具５３の先端は、公知の高周波処置具に係る構成を幅広く適用できる。

【0021】

本実施形態の手術システム１において、少なくとも第１処置具５１は後述する手法により電動で制御される。なお、第２処置具５２、第３処置具５３、内視鏡４０の少なくとも１つがさらに電動で制御されてもよい。以降の説明においては、第２処置具５２と第３処置具５３と内視鏡４０のいずれもが電動で制御されている例を示す。また電動とは、医療用マニピュレータ５００等の動作を制御するための電気信号に基づいて、モータ等のアクチュエータによって医療用マニピュレータ５００が駆動されることをいう。また、医療用マニピュレータ５００等が電動で駆動することは、プロセッサ１００の判断によって医療用マニピュレータ５００等が電動で駆動することの他、ユーザが後述のコンソール６０をマニュアル操作することで、医療用マニピュレータ５００等が電動で駆動することを含む。

【0022】

このように第１処置具５１等を電動で制御することで後述する局注処理（ステップＳ５００）が実現され、ＥＳＤの局注に係る工程を、第１処置具５１の自動制御により行うことができる。第１処置具５１の自動制御とは、ユーザでなくプロセッサ１００が判断して第１処置具５１等に含まれる各部を制御すること、即ちプロセッサ１００が所定の制御アルゴリズムを用いて第１処置具５１等に含まれる各部を制御することをいう。

【0023】

このように、本実施形態の手術システム１において、第１処置具５１と第２処置具５２と第３処置具５３とが内視鏡４０とともに体内に挿入され、ＥＳＤに係る各処置が行われるが、内視鏡４０が３つの処置具チャネルを有する必要はない。例えば、本実施形態の手術システム１はオーバーチューブ４６をさらに含んでもよい。そしてオーバーチューブ４６内に処置具チャネルを複数有する構成にしてもよい。例えば図２に示すように、内視鏡４０は処置具挿入口４４を１つ有し、当該処置具挿入口４４に第１処置具５１が挿入され、オーバーチューブ４６内の２つの処置具チャネルに第２処置具５２及び第３処置具５３がそれぞれ挿入されている。

【0024】

また、図２に示すように、本実施形態の手術システム１において、キャップ４８をさらに含んでもよい。キャップ４８は、公知の形状な種々提案されているが、例えば図３に示すように、Ｂ１に示す内視鏡出口孔と、Ｂ２に示す処置具出口孔を含む。図３のキャップ４８は、図２に示した例に対応するように、１つの内視鏡出口孔と２つの処置具出口孔とが形成されている。つまり、図３に示すように、第１医療用マニピュレータ５１０はＢ１に示す内視鏡出口孔から突出され、第２医療用マニピュレータ５２０と第３医療用マニピュレータ５３０はＢ２に示す処置具出口孔からそれぞれ突出される。なお、説明の便宜上、Ｂ１に示す内視鏡出口孔から内視鏡４０の先端が突出するように図示しているが、キャップ４８は、内視鏡４０の先端が突出しない構成にしてもよい。また、便宜上図示は省略しているが、キャップ４８の各孔と駆動装置２０との間にチャネルを形成するチューブをさらに含んでもよい。このようにすることで、医療用マニピュレータ５００の動作を円滑に行うことができる。

【0025】

また、図２、図３では１つの処置具５０が内視鏡４０の挿入部を介してキャップ４８から突出し、２つの処置具５０がオーバーチューブ４６を介してキャップ４８から突出しているが、これに限られるものではない。例えば、図４に示すように、３つの処置具５０がオーバーチューブ４６を介してキャップ４８から突出することで、本実施形態の手法に係るＥＳＤ等の処置を行ってもよい。図４のキャップ４８は、Ｂ３に示す内視鏡出口孔が１つ形成され、Ｂ４に示す処置具出口孔が３つ形成されている。また、図示は省略するが、例えば内視鏡４０は２つの処置具チャネルを有し、２つの処置具５０が内視鏡４０の挿入部を介してキャップ４８から突出し、１つの処置具５０がオーバーチューブ４６を介してキャップ４８から突出するようにしてもよい。また、図示は省略するが、３つの処置具５０が内視鏡４０の挿入部を介してキャップ４８から突出する例としてもよい。

【0026】

なお、図２、図３ではキャップ４８は、オーバーチューブ４６に嵌合し、オーバーチューブ４６と一体化しているように図示しているが、図５に示すように、例えばキャップ４８を内視鏡４０に嵌合するようにし、内視鏡４０がオーバーチューブ４６と独立して変位できるようにしてもよい。例えば処置を開始した時点では、内視鏡４０とオーバーチューブ４６とキャップ４８とを一体化した状態で体内に挿入し、内視鏡４０の先端部が処置対象となる場所に近づいてきたらオーバーチューブ４６を不図示のバルーンで固定し、キャップ４８が嵌合された内視鏡４０が、オーバーチューブ４６から離れて駆動するようにしてもよい。また、図２等ではキャップ４８の大きさは、オーバーチューブ４６の大きさと同一またはそれ以上に図示しているが、例えばキャップ４８の大きさを、オーバーチューブ４６の大きさより小さくしてもよい。これにより、例えばキャップ４８と嵌合した内視鏡４０がオーバーチューブ４６の内部を駆動できる。

【0027】

また、図２等には図示していないが、例えば駆動装置２０は、オーバーチューブ４６を駆動するオーバーチューブ駆動装置をさらに含んでもよい。オーバーチューブ駆動装置は、内視鏡駆動装置２４と同等の駆動装置で構成できる。

【0028】

本実施形態の内視鏡４０及び処置具５０は、必要な自由度の数に応じた駆動ユニットを含む。例えば第２処置具駆動装置２２はモータユニット２２０を含む。モータユニット２２０は例えば第１湾曲動作駆動部２２１と、第２湾曲動作駆動部２２２と、開閉動作駆動部２２３と、ロール動作駆動部２２４と、進退動作駆動部２２５とを含む。

【0029】

第１湾曲動作駆動部２２１は、制御装置１０から受信した制御信号に基づいて不図示の１組のワイヤを牽引又は弛緩することで、第２医療用マニピュレータ５２０をＵＤ軸に沿う方向に湾曲させる。その結果、Ｄ２１に示す方向に沿って把持部５２２の向きが変更される。同様に、第２湾曲動作駆動部２２２は、制御装置１０から受信した制御信号に基づいて第２医療用マニピュレータ５２０をＬＲ軸に沿う方向に湾曲させる。その結果、把持部５２２の向きがＤ２２に示す方向に沿って変更される。

【0030】

開閉動作駆動部２２３は、把持部５２２の開閉動作を制御する。例えば制御装置１０から受信した制御信号に基づいて、把持片の一方がＤ２３に示す方向に沿って、Ｂ２１に示す回動軸の回りを回動する。なお図６に示す把持部５２２は一例であり、公知の構造を幅広く適用できる。

【0031】

ロール動作駆動部２２４は、第２医療用マニピュレータ５２０の先端部のロール回転動作を制御する。例えば制御装置１０から受信した制御信号に基づいて、第２医療用マニピュレータ５２０の先端部をＤ２４に示す方向に沿ってロール回転させる。

【0032】

進退動作駆動部２２５は、第２医療用マニピュレータ５２０の先端部の進退動作を制御する。進退動作駆動部２２５は、例えば直動モータを含む駆動機構により、制御装置１０から受信した制御信号に基づいて、第２医療用マニピュレータ５２０をＡ軸に沿って進退させる。

【0033】

なお、第３処置具駆動装置２３と内視鏡駆動装置２４の駆動ユニットについても、上述した第２処置具駆動装置２２のモータユニット２２０と同様の駆動ユニットで実現できる。なお、第３処置具駆動装置２３においては、例えば前述のロール動作駆動部２２４に相当する構成を省略してもよい。また、内視鏡駆動装置２４においては、例えば図８で後述するドライビングユニット７０が床に対して所定の方向にスライドすることで、前述の進退動作駆動部２２５と同等の機能を果たしてもよい。

【0034】

また、第１処置具駆動装置２１は、例えば図７に示すように、プランジャ駆動部２１２と進退動作駆動部２１５とを含むように構成してもよい。プランジャ駆動部２１２は、シリンジポンプ２１４を制御することで、シリンジ５１２の先端側に向かう方向であるＤ１６に示す方向に向かって、シリンジ５１２に含まれるプランジャ５１４を押圧する。これにより、シリンジ５１２内の局注液は圧縮され、当該圧縮力によって注入針５１６から局注液が排出される。なお、図７のＤ１６に示す方向は、図７に示しているＡ軸方向と同じ方向でなくてもよい。進退動作駆動部２１５は、スライダ機構装置２１７を制御する。スライダ機構装置２１７は、直動モータまたはラックアンドピニオン等の機構からなり、固定部２１８とスライダ部２１９を含む。スライダ部２１９は、第１医療用マニピュレータ５１０の一部と一体化され、制御装置１０から受信した制御信号に基づいて固定部２１８に対してＤ１５に示す方向に進退する。なお、図７のＤ１５に示す方向はＡ軸方向と同じ方向である。これにより、注入針５１６はＡ軸方向に沿って進退する。

【0035】

本実施形態の手術システム１は、より詳細には図８のように構成してもよい。図８において、手術システム１は、前述の制御装置１０を含む他、コンソール６０とドライビングユニット７０とをさらに含む。コンソール６０は、例えばＷｉ－Ｆｉ（登録商標）等の無線通信規格に準拠した通信方式によって制御装置１０と無線通信接続するが、例えば有線で通信接続してもよい。本実施形態の手術システム１において、手術台Ｔに横たわる不図示の被検体の体内に内視鏡４０を挿入し、ＥＳＤ等の処置が行われる。

【0036】

ドライビングユニット７０は、図２の内視鏡駆動装置２４に対応し、制御装置１０からの制御信号に基づいて内視鏡４０の各部を電動で動作させる。なお、図示はしていないが、第１処置具駆動装置２１、第２処置具駆動装置２２、第３処置具駆動装置２３に対応するユニットを、ドライビングユニット７０に含めてもよいし、ドライビングユニット７０と別に設けてもよく、ユーザが適宜決定すればよい。

【0037】

コンソール６０は、例えばディスプレイ６１０とタッチパネル６２０とフットペダル６３０とハンドル６４０を含む。ディスプレイ６１０は、制御装置１０を介してイメージャ４２が撮像した内視鏡画像を表示する。タッチパネル６２０は、詳細は図３８で後述するがディスプレイ６１０と同様に内視鏡画像を表示するとともに、ドローイング等の機能を含む。またタッチパネル６２０は例えばディスプレイ６１０の中央を含む一部の領域を表示してもよい。なお、フットペダル６３０とハンドル６４０は複数有ってもよく、例えば図９に示すように、本実施形態のコンソール６０は、フットペダル６３０として、第１フットペダル６３１と第２フットペダル６３２と第３フットペダル６３３とを含む。なお、フットペダル６３０は４つ以上あってもよい。同様に、本実施形態のコンソール６０は、ハンドル６４０として、第１ハンドル６４１と第２ハンドル６４２とを含む。このようにすることで、ユーザは２つのハンドル６４０を用いて、内視鏡４０と複数の処置具５０を適宜使い分けながら処置を行うことができる。なお、図示は省略しているが、コンソール６０は、ハンドル６４０の他に、他の操作を行うための操作部をさらに含んでもよい。他の操作とは例えば送気送水操作、光源装置の照明モードの変更操作等である。

【0038】

なお、図９のＤ１に示す方向は、ユーザがコンソール６０に向かう方向に沿う方向であり、前方向ともいう。Ｄ２に示す方向は、Ｄ１に示す方向と反対の方向であり、後方向ともいう。Ｄ１に示す方向とＤ２に示す方向を合わせて前後方向ともいう。Ｄ３に示す方向は、前後方向に直交し、左方向ともいう。Ｄ４に示す方向は、Ｄ３に示す方向と反対の方向であり、右方向ともいう。Ｄ３に示す方向とＤ４に示す方向を合わせて左右方向ともいう。後述する図１１についても同様である。

【0039】

例えば本実施形態のコンソール６０において、フットペダル６３０は不図示のフットスイッチを含み、ユーザがフットペダル６３０を踏む操作によって、当該フットスイッチから制御信号が制御装置１０に送信される。制御装置１０は、フットペダル６３０の操作に基づく制御信号と、後述するハンドル６４０の操作に基づく制御信号との組み合わせから、内視鏡４０または医療用マニピュレータ５００を制御する。

【0040】

より具体的には、例えば制御装置１０のメモリ１３０には、図１０に示すテーブルが記憶されている。例えばユーザが第１フットペダル６３１を操作し、かつ第１ハンドル６４１を操作した場合、制御装置１０は、第１ハンドル６４１からの制御信号を第３処置具駆動装置２３に送信する。また、ユーザが第１フットペダル６３１を操作し、かつ第２ハンドル６４２を操作した場合、制御装置１０は、第２ハンドル６４２からの制御信号を第２処置具駆動装置２２に送信する。また、ユーザが第２フットペダル６３２を操作し、かつ第１ハンドル６４１を操作した場合、制御装置１０は、第１ハンドル６４１からの制御信号を内視鏡駆動装置２４に送信する。また、ユーザが第３フットペダル６３３を操作し、かつ第１ハンドル６４１を操作した場合、制御装置１０は、第１ハンドル６４１からの制御信号を第１処置具駆動装置２１に送信する。

【0041】

制御装置１０が図１０に示すテーブルを記憶することで、例えばユーザがコンソール６０の中央にある第２フットペダル６３２を踏みながら右側の第１ハンドル６４１を操作することで、内視鏡４０を操作できる。また、ユーザがコンソール６０の左側にある第３フットペダル６３３を踏みながら右側の第１ハンドル６４１を操作することで、第１処置具５１を操作できる。また、ユーザがコンソール６０の右側にある第１フットペダル６３１を踏みながら左側の第２ハンドル６４２を操作することで、第２処置具５２を操作し、かつ、右側の第１ハンドル６４１を操作することで第３処置具５３を操作できる。

【0042】

ハンドル６４０は、より詳細には図１１のように構成してもよい。図１１において、ハンドル６４０は、第１パーツ６５１と第２パーツ６５２と第３パーツ６５３を含む。第１パーツ６５１と第２パーツ６５２は、Ｂ６１に示すジョイントを介して接続されている。第２パーツ６５２と第３パーツ６５３はＢ６２に示すジョイントを介して接続されている。なお、図１１は第２ハンドル６４２のみを示しているが、第１ハンドル６４１についても第２ハンドル６４２と同様である。

【0043】

第１パーツ６５１はＤ６２に示す方向とＤ６５に示す方向に変位可能である。Ｄ６２に示す方向は、図９で前述した左右方向と同じ方向である。Ｄ６５に示す方向は、図９で前述した前後方向と同じ方向である。例えばユーザは第２パーツ６５２を持った状態で、Ｄ６５に示す方向に沿って第２パーツ６５２を動かすことで、Ｂ６１に示すジョイントを介して第１パーツ６５１が前後方向に変位する。同様に、例えばユーザは第２パーツ６５２を持った状態で、Ｄ６２に示す方向に沿って第２パーツ６５２を動かすことで、Ｂ６１に示すジョイントを介して第１パーツ６５１が左右方向に変位する。また、ユーザは、Ｂ６１に示すジョイントに設けられている回動軸を中心に、第２パーツ６５２をＤ６１に示す方向に回動させることができる。また、ユーザは、第３パーツ６５３の長手方向を軸として、第３パーツ６５３をＤ６４に示す方向にロール回転させることができる。

【0044】

ユーザがハンドル６４０を操作することによって、不図示のセンサ等から出力される制御信号に基づいて医療用マニピュレータ５００の進退、湾曲、ロール回転等が行われる。例えば前述のようにユーザが第１フットペダル６３１を踏んだ状態で第２ハンドル６４２を操作することで、第２処置具５２を動作させたいとする。例えばユーザが第２パーツ６５２を図１１のＤ６１に示す方向に回動させることで、第２医療用マニピュレータ５２０は図６のＤ２１に示す方向に湾曲する。また、例えばユーザが、第１パーツ６５１が図１１のＤ６２に示す方向に変位するように第２ハンドル６４２を操作することで、第２医療用マニピュレータ５２０は図６のＤ２２に示す方向に湾曲する。また、例えばユーザが、第３パーツ６５３を図１１のＤ６４に示す方向にロール回転させることで、第２医療用マニピュレータ５２０は図６のＤ２４に示す方向にロール回転する。また、例えばユーザが、第１パーツ６５１が図１１のＤ６５に示す方向に変位するように第２ハンドル６４２を操作することで、第２医療用マニピュレータ５２０は図６のＤ２５に示す方向に進退する。

【0045】

また、図示は省略するが、ハンドル６４０はボタン等の操作部をさらに含んでもよい。例えばユーザが第１フットペダル６３１を踏んだ状態で第１ハンドル６４１に含まれるボタンを操作することで、第３処置具５３の高周波電極へ高周波電流を流せるようにしてもよい。また、例えばユーザが第１フットペダル６３１を踏んだ状態で第２ハンドル６４２に含まれるボタンを操作することで、第２処置具５２の把持部５２２の開閉を制御できるようにしてもよい。

【0046】

また、例えば制御装置１０は、ハンドル６４０から送信される制御信号の受信を有効にするか、無効にするかを設定できるようにしてもよい。ハンドル６４０から送信される制御信号の受信を有効にするとは、ハンドル６４０から受信した制御信号に基づいて、対応する制御信号を駆動装置２０の各部に送信することをいう。ハンドル６４０から送信される制御信号の受信を無効にするとは、ハンドル６４０から受信した制御信号に基づく指示を破棄することをいう。具体的には例えば制御装置１０のメモリ１３０には、前述した図１０に示すテーブルの他に、図１２に示すテーブルが記憶されている。例えば図６で前述したように、第２医療用マニピュレータ５２０は進退、湾曲、ロール回転のいずれも行うことから、図１２のＢ７１に示すように、第１パーツ６５１と第２パーツ６５２と第３パーツ６５３のいずれの操作に基づく制御信号の受信が有効に設定されている。

【0047】

第３医療用マニピュレータ５３０は進退、湾曲は行うが、ロール回転は行わない仕様になる場合がある。この場合、図１２のＢ７２に示すように、第１パーツ６５１と第２パーツ６５２との操作に基づく制御信号の受信は有効に設定されるが、図１２のＢ７３に示すように、第３パーツ６５３の操作に基づく制御信号の受信は無効に設定されている。

【0048】

また、例えば前述したように、内視鏡４０は進退、湾曲、ロール回転のいずれも行うことから、図１２のＢ７４に示すように、第１パーツ６５１と第２パーツ６５２と第３パーツ６５３とのいずれの操作に基づく制御信号の受信が有効に設定されている。また、図１０のテーブルから、第２フットペダル６３２を踏むときは、第２ハンドル６４２の操作に基づく制御信号の送信先となる駆動機構が設定されていないことから、図１２のＢ７５に示すように、第２ハンドル６４２の操作に基づく制御信号の受信は無効に設定されている。

【0049】

また、例えば図７で前述したように、第１処置具５１は進退のみを行うように第１処置具駆動装置２１が構成されていることがある。また、第３フットペダル６３３を踏むときは、第２ハンドル６４２の操作に基づく制御信号の送信先となる駆動機構が設定されていない。この場合、図１２のＢ７６に示すように、第１パーツ６５１の前後方向の操作に基づく制御信号の受信が有効に設定され、第１パーツ６５１の左右方向の操作に基づく制御信号の受信が無効に設定されている。また、図１２のＢ７７に示すように、他の制御信号の受信は無効に設定されている。

【0050】

なお、フットペダル６３０の操作とハンドル６４０の操作との組み合わせは上記に限られるものではない。例えば、駆動装置２０が前述のオーバーチューブ駆動装置をさらに含む場合、図１０のテーブル内訳を以下のように変更してもよい。例えばユーザが第２フットペダル６３２を操作し、かつ第２ハンドル６４２を操作した場合、制御装置１０は、第２ハンドル６４２からの制御信号を第１処置具駆動装置２１に送信してもよい。また、例えばユーザが第３フットペダル６３３を操作し、かつ第１ハンドル６４１を操作した場合、制御装置１０は、第１ハンドル６４１からの制御信号をオーバーチューブ駆動装置に送信してもよい。

【0051】

このように構成されたコンソール６０によって、例えば図１３に示すように、ユーザはディスプレイ６１０を見ながら処置具５０を適宜操作し、Ｃ１に示す処置対象に対してＥＳＤ等の処置を行う。処置対象は病変部ともいうことができる。ここでの病変部とは、外観上正常な状態とは異なる状態と思われる部分をいい、必ずしも病気が原因のものに限定されない。病変部は例えば腫瘍であるが、これに限らずポリープ、炎症、憩室等であってもよい。なおＥＳＤの処置対象となるのは早期腫瘍である。早期腫瘍とは例えば図２０で後述するように、増殖している範囲が粘膜層内または粘膜下層内にとどまっている腫瘍をいう。なお図１３の表示はあくまで例示であり、第１処置具５１と第２処置具５２と第３処置具５３とが同時にディスプレイ６１０に表示されることは要さない。

【0052】

図１４を用いて、本実施形態の手法を適用した処置のフローについて説明する。ユーザは第１処置具５１と第２処置具５２と第３処置具５３をセットする（ステップＳ１０）。第１処置具５１と第２処置具５２と第３処置具５３をセットするとは、内視鏡４０または内視鏡４０とオーバーチューブ４６の組み合わせによって３つの処置具チャネルが構成され、それぞれの処置具チャネルに、第１処置具５１と第２処置具５２と第３処置具５３をそれぞれ挿入するということである。

【0053】

その後ユーザは局注位置の設定（ステップＳ１００）と、目標量の設定（ステップＳ２００）と、方向情報の設定（ステップＳ３００）を行う。局注位置とは、注入針５１６を刺す位置をいい、単に「位置」と簡略していうことがある。目標量とは、局注位置に対して注入する局注液の注入量の目標値である。例えばユーザは、病変部の周囲において注入針５１６を刺す位置の設定と、当該位置に向ける注入針５１６の角度の設定と、注入針５１６を刺した後に注入する局注液の目標量の設定を行う。

【0054】

なお、図１４には図示していないが、ステップＳ３００の後にマーキングが行われる。マーキングは後述する局注処理（ステップＳ５００）、切開（ステップＳ６１０）等を行うための所定の目印を形成する。所定の目印は、例えば前述の第３処置具５３を用いて、病変部の周辺に微小な焼灼を行うことで形成される。なお、例えば撮像された内視鏡画像に対して病変部に係る領域をセグメンテーションすることによって、マーキングとしてもよい。

【0055】

その後プロセッサ１００は、局注処理（ステップＳ５００）を行う。局注処理（ステップＳ５００）の詳細は図１８で後述する。プロセッサ１００は、ステップＳ１００で設定した全ての位置について局注処理（ステップＳ５００）を実行したか否かについて判断する処理（ステップＳ６００）を行う。ステップＳ１００で設定した全ての位置について局注処理（ステップＳ５００）を実行したと、プロセッサ１００が判断した場合（ステップＳ６００でＹＥＳ）、ユーザは切開（ステップＳ６１０）を行う。切開（ステップＳ６１０）は例えば第３処置具５３を用いて行われるが、例えば第２処置具５２の把持部５２２で病変部を把持することで切開（ステップＳ６１０）の作業が円滑に行われる。一方、ステップＳ６００でＮＯと判断された場合、ユーザは局注処理（ステップＳ５００）を実行していない位置に対して注入針５１６を刺し、プロセッサ１００は局注処理（ステップＳ５００）を再度実行する。

【0056】

その後、ユーザは剥離（ステップＳ６２０）を行う。例えばユーザは切開（ステップＳ６１０）により、粘膜下層から浮いた病変部を除去する。例えば第２処置具５２の把持部５２２で病変部を把持した状態で、第２医療用マニピュレータ５２０を体外の位置まで後退させることで、病変部を回収する。あるいは、第１処置具５１と第２処置具５２と第３処置具５３のいずれかと、ネット処置具等の病変部を回収する専用処置具を入れ替えて、病変部を回収してもよい。なお、出血が発生した場合、例えば第３処置具５３を用いて出血が発生した箇所に対して焼灼止血する工程をステップＳ６２０に含んでもよい。なお、病変部のサイズが第２医療用マニピュレータ５２０のチャネルの径より大きい場合、把持部５２２で病変部を把持した状態で、内視鏡４０と医療用マニピュレータ５００を体外の位置まで後退させてもよい。

【0057】

なお本実施形態の局注処理（ステップＳ５００）を実現するにあたり、３つの処置具チャネルは要しない。例えば２つの処置具チャネルを有する場合でも、本実施形態の手法を適用できる。その場合、例えば図１５に示すフローでＥＳＤを行えばよい。なお図１５において、図１４と同様の処理については説明を適宜省略する。

【0058】

図１５において、ユーザは第２処置具５２と第３処置具５３をセットする（ステップＳ１２）。つまり内視鏡４０または内視鏡４０とオーバーチューブ４６の組み合わせによって２つの処置具チャネルが構成され、それぞれの処置具チャネルに、第２処置具５２と第３処置具５３をそれぞれ挿入される。例えば図１６に示すように、内視鏡４０の処置具挿入口４４に第３処置具５３が挿入され、オーバーチューブ４６に設けられた処置具チャネルに第２処置具５２が挿入される。そして図１４と同様にステップＳ１００、ステップＳ２００、ステップＳ３００が行われるとともに、第３処置具５３を用いたマーキングが行われる。

【0059】

その後ユーザは、第１処置具５１と第３処置具５３を入れ替える。つまり図１７に示すように、内視鏡４０の処置具挿入口４４に第１処置具５１が挿入され、第２処置具５２は、オーバーチューブ４６に設けられた処置具チャネルに継続して挿入されている。そしてプロセッサ１００は後述する局注処理（ステップＳ５００）とステップＳ６００を行う。その後ステップＳ６００でＹＥＳと判断された場合、ユーザは第１処置具５１と第３処置具５３を入れ替える。つまりステップＳ６００でＹＥＳと判断された場合は局注が終了しているので、第１処置具５１を用いる必要はなく、第２処置具５２と第３処置具５３を用いて切開（ステップＳ６１０）と剥離（ステップＳ６２０）が行われるようにすればよい。

【0060】

ユーザは、状況に応じて、図１４のフローまたは図１５のフローを適宜選択してＥＳＤの処置を行えばよい。なお、図１５は図１４と比較してステップＳ４００、ステップＳ６０２が追加されていることから、ユーザは図１４のフローを選択すると、より短い時間で処置を完了させることができる。また、図４６で後述する変形例のフローは、３つの処置具チャネルを含む場合に適用できる。

【0061】

また、フローの図示は省略するが、例えば第２処置具５２を用いずに第３処置具５３のみで切開（ステップＳ６１０）を行うことができる場合は、１つの処置具チャネルを含む内視鏡４０を用いてＥＳＤを行ってもよい。

【0062】

局注処理（ステップＳ５００）について説明する。局注処理（ステップＳ５００）は、ステップＳ１００で設定された局注位置に対して、ステップＳ３００で設定された方向情報に基づいて第１医療用マニピュレータ５１０の制御を開始した後のタイミングで行われる。言い換えれば、注入針５１６が内壁に刺さり、シリンジポンプ２１４がプランジャ５１４を図７のＤ１６に示す方向に押す制御が開始されたタイミングで、ステップＳ５００の実行が開始される。

【0063】

プロセッサ１００は、内視鏡画像を取得する（ステップＳ５０２）。例えばプロセッサ１００は、後述する第１判断（ステップＳ５１０）を行うタイミングでイメージャ４２が撮像した内視鏡画像を取得する。その後プロセッサ１００は、第１判断（ステップＳ５１０）を行う。その後プロセッサ１００は、第１判断（ステップＳ５１０）の判断結果がＯＫまたはＮＧかを判断する（ステップＳ５３１）。

【0064】

プロセッサ１００は、第１判断（ステップＳ５１０）の判断結果がＮＧと判断した場合（ステップＳ５３１でＮＯ）、注入針５１６の位置を変更し（ステップＳ５４０）、再度ステップＳ５０２を行う。ステップＳ５４０は、例えばプロセッサ１００は、第１医療用マニピュレータ５１０の先端の注入針５１６が所定の長さだけ引き抜かれるように、第１処置具駆動装置２１を制御する。

【0065】

図１９のフローチャートを用いて、本実施形態の手法に係る所定判断としての第１判断（ステップＳ５１０）について説明する。以降において、所定判断としての第１判断を、単に第１判断と簡略して記載する。プロセッサ１００は、内視鏡画像に基づいて局注の成否を判断する（ステップＳ５１２）。つまり、入力データとしての内視鏡画像を制御装置１０に入力すると、プロセッサ１００は局注の成否の判断結果を出力する。例えば、図示は省略するが、ユーザはステップＳ５０２で取得した内視鏡画像のうち、注入針５１６が刺さっているエリアの周辺をＲＯＩ（関心領域）として設定する。そしてプロセッサ１００は、局注液が注入されているか否かを判断する。なおＲＯＩはRegion of Interestの略である。

【0066】

図２０、図２１、図２２を用いて、局注処理（ステップＳ５００）の具体的な作用効果を説明する。図２０は、胃、食道、大腸などの消化管の内壁に対して注入針５１６が刺さり、局注処理（ステップＳ５００）が開始されるタイミングであることを概念的に示した断面図である。内壁は、Ｌ１に示す粘膜層、Ｌ２に示す粘膜下層、Ｌ３に示す筋層等から構成されている。なお、図２０において筋層より外側の漿膜等の図示は省略している。図２０のＣ１１に示す病変部は、前述したように早期腫瘍であり、Ｌ１に示す粘膜層の範囲内にあるものとする。

【0067】

なお、図２０に示すように、内壁の壁面に沿う方向と垂直な方向に対して、傾いた方向に沿って注入針５１６が内壁に刺さっている。例えば図７で前述したように第１処置具駆動装置２１が第１医療用マニピュレータ５１０に対して進退動作しかできない場合は、プロセッサ１００は前述のステップＳ３００において、内視鏡４０を湾曲する制御を行うことで、注入針５１６の進退方向を調整している。このようにすることで、注入針５１６が内壁を貫通する可能性を下げることができる。特に、大腸壁は胃壁等に比べて薄いことから、注入針５１６を内壁の壁面に対して深く刺さらないようにすることが求められる。また、粘膜下層は脂肪で構成されていることから柔らかく、注入針５１６をＬ２の粘膜下層の範囲に留まるように刺すことは一般に困難であり、局注処理（ステップＳ５００）が開始されるタイミングにおいては、注入針５１６の先端は筋層の一部に達することが通常である。

【0068】

筋層は筋繊維からなる硬い層であることから、プランジャ駆動部２１２がシリンジポンプ２１４を駆動させても、局注液は筋層に入り込むことはない。つまり、設定したＲＯＩにおいて変化が見られない。この場合、プロセッサ１００は、第１判定（ステップＳ５１０）においてＮＧと判断する。これにより、プロセッサ１００は、ステップＳ５３１でＮＯと判断し、ステップＳ５４０により、注入針５１６の位置を変更する。より具体的には、プロセッサ１００は、注入針５１６を所定量だけＡ２の方向に移動させるように、進退動作駆動部２１５を制御する。言い換えれば、ステップＳ５４０によって、注入針５１６は所定量だけ内壁から引き抜かれる。そして再度の第１判定（ステップＳ５１０）においてもプロセッサ１００がＮＧと判断した場合は、ステップＳ５４０が再度行われることになる。

【0069】

ステップＳ５４０が所定回数行われることにより、例えば図２１に示すように、注入針５１６の先端はＬ２に示す粘膜下層の層内に位置する。シリンジポンプ２１４はプランジャ５１４を押し続けていることから、図２１に示すタイミングにおいて注入針５１６から局注液が排出され、図２２に示すような状態になる。図２２において、Ｂ８１に示す局注液により、Ｌ１１に示す粘膜層とＬ１２に示す粘膜下層とＣ２１に示す病変部は隆起した状態になる。なお図２２のＬ１３に示す筋層は、図２０、図２１のＬ３に示す筋層と略同一の状態である。これにより、図示は省略するが、設定したＲＯＩにおいて各組織が隆起した変化が生じている。

【0070】

この場合、プロセッサ１００は、再度の第１判断（ステップＳ５１０）でＯＫと判断する。そしてプロセッサ１００は、ステップＳ５３１でＹＥＳと判断し、局注処理（ステップＳ５００）のフローが終了する。これで、１箇所の位置について局注が完了したことになる。その後、例えばユーザは、切開（ステップＳ６１０）において、Ｂ８２で示す箇所等を第３処置具５３で焼灼除去することにより、Ｃ２１に示す病変部は粘膜下層から浮いた状態になり、剥離（ステップＳ６２０）を行うことが可能になる。

【0071】

以上のことから、本実施形態の手術システム１は、内視鏡画像を撮像するイメージャ４２を含む内視鏡４０と、先端部に注入針５１６を有する医療用マニピュレータ５００と、医療用マニピュレータ５００を制御して注入針５１６の位置を制御する駆動装置２０と、プロセッサ１００と、を含む。プロセッサ１００は、注入針５１６と接続するシリンジ５１２に、目標量の局注液を注入するように制御し、イメージャ４２から処置対象が写る内視鏡画像を取得し、内視鏡画像を用いて局注の成否を判断する所定判断（第１判断（ステップＳ５１０））を行う。また、プロセッサ１００は、所定判断の判断結果に基づいて（ステップＳ５３１でＮＯ）注入針５１６の位置を変更するように駆動装置２０を制御する（ステップＳ５４０）。

【0072】

このようにすることで、局注に係る工程を自動制御することができる。上記したようにＥＳＤは、第１処置具５１、第２処置具５２、第３処置具５３を用いる複雑な手技であり、ユーザにとって負担が大きい。その点、本実施形態の手法を適用することで、ユーザの第１処置具５１を用いる局注に係る工程の負担が軽減される。これによりユーザは第２処置具５２と第３処置具５３を用いることに集中できることから、処置を円滑に行うことができる。なお、処置具チャネルを３つ含む場合は、前述のように第１処置具５１と第３処置具５３を入れ替える工程が無くなるため、手術の時間を短縮できる。

【0073】

また、本実施形態の手法はプロセッサ１００によって実現してもよい。つまり、本実施形態のプロセッサ１００は、内視鏡画像を撮像するイメージャ４２を含む内視鏡４０と、先端部に注入針５１６を有する医療用マニピュレータ５００を制御することで注入針５１６の位置を制御する駆動装置２０とを制御する。また、本実施形態のプロセッサ１００は、注入針５１６と接続するシリンジ５１２に、目標量の局注液を注入するように制御し、イメージャ４２から処置対象が写る内視鏡画像を取得し、内視鏡画像を用いて局注の成否を判断する所定判断（第１判断（ステップＳ５１０））を行い、所定判断の判断結果に基づいて（ステップＳ５３１でＮＯ）注入針５１６の位置を変更するように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、上記と同様の効果を得ることができる。

【0074】

また、本実施形態の手法は制御方法によって実現してもよい。つまり、本実施形態の制御方法は、内視鏡画像を撮像するイメージャ４２を含む内視鏡４０と、先端部に注入針５１６を有する医療用マニピュレータ５００を制御することで注入針５１６の位置を制御する駆動装置２０とを制御する制御方法である。また、本実施形態の制御方法は、注入針５１６と接続するシリンジ５１２に、目標量の局注液を注入するように制御し、イメージャ４２から処置対象が写る内視鏡画像を取得し、内視鏡画像を用いて局注の成否を判断する所定判断（第１判断（ステップＳ５１０））を行い、所定判断の判断結果に基づいて（ステップＳ５３１でＮＯ）注入針５１６の位置を変更するように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、上記と同様の効果を得ることができる。

【0075】

本実施形態の手法は上記に限らず、他の特徴を追加する等、種々の変形実施が可能である。例えば、前述の第１判断（ステップＳ５１０）は、図２３のフローチャートに示す処理例としてもよい。図２３において、プロセッサ１００は、第１学習済みモデル１４１を用いて推論した内視鏡画像を取得する（ステップＳ５１４）。例えばプロセッサ１００は局注処理（ステップＳ５００）を開始する直前に撮像した内視鏡画像に基づいて、局注が成功した場合はどのような内視鏡画像が取得できるかを推論する。その後プロセッサ１００は、推論した内視鏡画像と、実際にイメージャ４２から取得した内視鏡画像を比較する（ステップＳ５１６）。図２３に示した第１判断（ステップＳ５１０）は、制御装置１０を図２４に示す構成例のようにすることで、実現できる。

【0076】

図２４において、制御装置１０は、入力部１１０と、推論部１０２を含むプロセッサ１００と、出力部１２０と、第１学習済みモデル１４１を記憶するメモリ１３０とを含む。つまりプロセッサ１００は、メモリ１３０から第１学習済みモデル１４１を読み出し、第１学習済みモデル１４１に係るプログラムを実行することによって、推論部１０２として機能する。なお、推論部１０２は、後述する第２学習済みモデル１４２、第３学習済みモデル１４３、第４学習済みモデル１４４、第５学習済みモデル１４５、第６学習済みモデル１４６に係るプログラムも実行できる。

【0077】

本実施形態の第１学習済みモデル１４１は、教師あり学習としての機械学習を行うことにより生成されたプログラムモジュールである。つまり第１学習済みモデル１４１は入力データと正解ラベルとを対応付けたデータセットに基づいた教師あり学習によって生成されている。後述する第２学習済みモデル１４２、第３学習済みモデル１４３、第４学習済みモデル１４４、第５学習済みモデル１４５、第６学習済みモデル１４６についても同様である。

【0078】

また、本実施形態の第１学習済みモデル１４１において、モデルの少なくとも一部にニューラルネットワークが含まれている。ニューラルネットワークは、図示は省略するが、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。中間層の数は特に限定されない。また、中間層における各層に含まれるノードの数は特に限定されない。中間層において所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。なお、後述する第２学習済みモデル１４２、第３学習済みモデル１４３、第４学習済みモデル１４４、第５学習済みモデル１４５、第６学習済みモデル１４６も、同様にニューラルネットワークを含んでいる。

【0079】

入力部１１０は、外部から入力データを受信するインターフェースである。例えば入力部１４は、ステップＳ５１４において、局注を行う前における処置対象である病変部が撮像された内視鏡画像の画像データが入力部１１０に入力されることで、入力部１１０としての機能が果たされる。

【0080】

出力部１２０は推論部１０２が推定したデータを外部に送信するインターフェースである。例えばステップＳ５１４において、第１学習済みモデル１４１からの出力データとして、推論部１０２が推論した内視鏡画像のデータを出力することで、出力部１２０としての機能が果たされる。

【0081】

第１学習済みモデル１４１の機械学習は例えば学習装置８０によって行われる。図２５は、学習装置８０の構成例を示すブロック図である。学習装置８０は、例えばプロセッサ８００とメモリ８３０と通信部８６０とを含み、プロセッサ８００は機械学習部８０２を含む。

【0082】

プロセッサ８００は、メモリ８３０、通信部８６０等の各機能部との間でデータの入出力制御を行う。プロセッサ８００は、図１で前述したプロセッサ１００と同様のハードウェア等で実現できる。プロセッサ８００は、メモリ８３０から読みだした所定のプログラム、図２５に不図示の操作部からの操作入力信号等に基づいて、各種の演算処理を実行し、手術システム１とのデータ入出力動作等を制御する。ここでの所定のプログラムは、不図示の機械学習プログラムを含む。つまり、プロセッサ８００は、メモリ８３０から機械学習プログラムと必要なデータ等を適宜読み出して実行することで、機械学習部８０２として機能する。メモリ８３０には、不図示の機械学習プログラムのほか、第１訓練モデル８４１、第１訓練データ８５１が記憶されている。メモリ８３０は、図１で前述したメモリ１３０と同様の半導体メモリ等により実現できる。

【0083】

通信部８６０は、手術システム１と所定の通信方式で通信可能な通信インターフェースである。所定の通信方式は例えば前述のＷｉ－Ｆｉ（登録商標）等であるが、これに限らずＵＳＢ等の有線通信規格に準拠した通信方式であってもよい。これにより、学習装置８０は、機械学習した第１学習済みモデル１４１を手術システム１に送信し、手術システム１は第１学習済みモデル１４１を更新することができる。なお図２５は、学習装置８０と手術システム１を別々にした例であるが、手術システム１が学習装置８０に相当する学習サーバを含む構成例にすることを妨げるものではない。

【0084】

第１訓練データ８５１は、図示は省略するが、局注を行う前における処置対象としての病変部が写っている内視鏡画像と、局注を行ったことで形状変化している病変部が写っている内視鏡画像を正解ラベルとするデータセットである。図２２で前述したように局注が成功したことにより注入針５１６を刺した周辺は隆起し、三次元的な形状変化が生じている様子が撮像されている内視鏡画像が正解ラベルである。機械学習部８０２は、多数の第１訓練データ８５１を第１訓練モデル８４１に入力することで、第１訓練モデル８４１を第１学習済みモデル１４１に更新させる。

【0085】

そして前述のように、図２３のステップＳ５１４において、局注を行う前における病変部が写っている内視鏡画像を入力データとして入力部１１０に入力することで、推論部１０２は、局注を行った後における病変部が写っている内視鏡画像を推論し、出力部１２０を介して出力する。その後プロセッサ１００は、ステップＳ５１６において、ステップＳ５１４で推論した内視鏡画像と、ステップＳ５０２で実際に取得した内視鏡画像とを比較し、局注の成否を判断する。そして画像の類似度が所定の閾値以上である場合、第１判断（ステップＳ５１０）の判断結果はＯＫとなり、プロセッサ１００はステップＳ５３１でＹＥＳと判断する。一方、画像の類似度が所定の閾値未満である場合、第１判断（ステップＳ５１０）の判断結果はＮＧとなり、プロセッサ１００はステップＳ５３１でＮＯと判断し、ステップＳ５４０以降を行う。

【0086】

なお、第１判断（ステップＳ５１０）の手法は上記に限らない。例えば、第１訓練データ８５１は、局注処理（ステップＳ５００）を開始した後の内視鏡画像と、局注が成功しているか否かを示す情報を正解ラベルとするデータセットとしてもよい。機械学習部８０２は、学習段階として第１訓練データ８５１を第１訓練モデル８４１に入力し、第１学習済みモデル１４１として更新させる。例えば学習段階において第１訓練モデル８４１に内視鏡画像を入力し、第１訓練モデル８４１は局注が成功しているか否かについての判定結果を出力する。そして機械学習部８０２は、当該出力結果と正解ラベルとの誤差に基づいて、第１訓練モデル８４１に含まれるニューラルネットワークのパラメータを最適化するフィードバックを行う。これにより、第１学習済みモデル１４１が更新される。なお、学習段階に関する手法は、後述する第２学習済みモデル１４２、第３学習済みモデル１４３、第４学習済みモデル１４４、第５学習済みモデル１４５、第６学習済みモデル１４６についても同様であるため、以降において説明を省略する。

【0087】

そして、第１判断（ステップＳ５１０）において、ステップＳ５０２で取得した内視鏡画像が入力部１１０に入力され、プロセッサ１００はメモリ１３０から第１学習済みモデル１４１を読み出し、推論部１０２は入力された内視鏡画像に基づいて局注の成否を推論する。そして出力部１２０から局注が成功している旨の情報が出力された場合、第１判断（ステップＳ５１０）の判断結果はＯＫとなり、プロセッサ１００はステップＳ５３１でＹＥＳと判断する。一方、出力部１２０から局注が成功していない旨の情報が出力された場合、第１判断（ステップＳ５１０）の判断結果はＮＧとなり、プロセッサ１００はステップＳ５３１でＮＯと判断し、ステップＳ５４０以降を行う。

【0088】

このように、本実施形態の手術システム１は、局注液が注入された処置対象が写る内視鏡画像を含む学習データ（第１訓練データ８５１）に基づいて学習された第１学習済みモデル１４１を含む。プロセッサ１００は、第１学習済みモデル１４１を用いて、内視鏡画像から処置対象の形状変化の過不足を判断し（ステップＳ５１６）、処置対象の形状変化が不足していると判断した場合（ステップＳ５３２でＮＯ）、注入針５１６を所定量引き抜くように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、内視鏡画像による機械学習を用いて、局注工程を自動制御できる。

【0089】

なお、後述する第２学習済みモデル１４２の機械学習についても、学習装置８０を用いて同様に行うことができる。この場合、学習装置８０のメモリ８３０には第２訓練モデル８４２と第２訓練データ８５２が記憶される。そしてプロセッサ８００は、第２訓練モデル８４２に対して第２訓練データ８５２による機械学習を行い、第２訓練モデル８４２は第２学習済みモデル１４２として更新され、手術システム１に出力される。また、後述する第３学習済みモデル１４３の機械学習についても、学習装置８０を用いて同様に行うことができる。この場合、学習装置８０のメモリ８３０には第３訓練モデル８４３と第３訓練データ８５３が記憶される。そしてプロセッサ８００は、第３訓練モデル８４３に対して第３訓練データ８５３による機械学習を行い、第３訓練モデル８４３は第３学習済みモデル１４３として更新され、手術システム１に出力される。また、後述する第４学習済みモデル１４４の機械学習についても、学習装置８０を用いて同様に行うことができる。この場合、学習装置８０のメモリ８３０には第４訓練モデル８４４と第４訓練データ８５４が記憶される。そしてプロセッサ８００は、第４訓練モデル８４４に対して第４訓練データ８５４による機械学習を行い、第４訓練モデル８４４は第４学習済みモデル１４４として更新され、手術システム１に出力される。また、後述する第５学習済みモデル１４５の機械学習についても、学習装置８０を用いて同様に行うことができる。この場合、学習装置８０のメモリ８３０には第５訓練モデル８４５と第５訓練データ８５５が記憶される。そしてプロセッサ８００は、第５訓練モデル８４５に対して第５訓練データ８５５による機械学習を行い、第５訓練モデル８４５は第５学習済みモデル１４５として更新され、手術システム１に出力される。また、後述する第６学習済みモデル１４６の機械学習についても、学習装置８０を用いて同様に行うことができる。この場合、学習装置８０のメモリ８３０には第６訓練モデル８４６と第６訓練データ８５６が記憶される。そしてプロセッサ８００は、第６訓練モデル８４６に対して第６訓練データ８５６による機械学習を行い、第６訓練モデル８４６は第６学習済みモデル１４６として更新され、手術システム１に出力される。

【0090】

また、例えば本実施形態の局注処理（ステップＳ５００）は、図２６のフローチャートに示す処理例のようにしてもよい。この場合、本実施形態の所定判断として第２判断（ステップＳ５２０）が行われる。以降において、所定判断としての第２判断を、単に第２判断と簡略して記載する。プロセッサ１００は、前述のステップＳ５０２を行った後、局注液の注入量の制御値を取得する（ステップＳ５０４）。例えばプロセッサ１００は、プランジャ駆動部２１２がシリンジポンプ２１４に送信している制御値の情報を取得する。その後プロセッサ１００は、第２判断（ステップＳ５２０）を行い、第２判断の判断結果（ＯＫまたはＮＧ）を確認する（ステップＳ５３２）。プロセッサ１００は、第２判断の判断結果がＮＧの場合（ステップＳ５３２でＮＯ）、前述のステップＳ５４０を行い、ステップＳ５０２を再度行う。

【0091】

第２判断（ステップＳ５２０）は、例えば図２７のフローチャートに示すように、ステップＳ５０２で取得した内視鏡画像とステップＳ５０４で取得した局注液の注入量の制御値とに基づいて、局注の成否を判断する（ステップＳ５２２）。つまり、入力データとして内視鏡画像と局注液の注入量の制御値とを制御装置１０に入力すると、プロセッサ１００は、局注の成否の判断結果を出力する。言い換えれば、図２７のステップＳ５２２は、図１９のステップＳ５１２と比較して、局注の成否の判断に用いられる入力データが追加されている点で異なる。

【0092】

例えば図示は省略するが、粘膜及び粘膜下層の物理モデルをメモリ１３０に記憶させておく。そしてプロセッサ１００は、例えば当該制御値に対応する注入量からなる局注液が粘膜下層に入り込んだ場合に隆起する領域である第１領域を、当該物理モデルに基づいて算出する。また、プロセッサ１００は、内視鏡画像から実際に隆起している領域である第２領域を抽出する。そしてプロセッサ１００は第１領域と第２領域の一致度を求め、当該一致度が所定の基準値以上であれば、局注が成功していることから、第２判断（ステップＳ５２０）でＯＫと判断する。これにより、プロセッサ１００は、ステップＳ５３２でＹＥＳと判断し、局注処理（ステップＳ５００）を終了する。一方、プロセッサ１００は、当該一致度が所定の基準値未満であれば、処置対象の形状変化が十分ではないとみなせることから第２判断（ステップＳ５２０）でＮＧと判断する。これにより、プロセッサ１００は、ステップＳ５３２でＮＯと判断し、前述のステップＳ５４０を行い、注入針５１６の位置を変更する。その後、再度のステップＳ５２２において、第２領域が変化して第１領域と第２領域の一致度が所定の基準値以上となった場合、注入針５１６の位置の変更により局注が成功したので、第２判断（ステップＳ５２０）でＯＫと判断する。

【0093】

以上のことから、本実施形態の手術システム１において、プロセッサ１００は、所定判断（第２判断（ステップＳ５２０））において、前記局注液の注入量の制御値をさらに用いて局注の成否を判断し、所定判断の判断結果に基づいて注入針５１６の位置を変更するように駆動装置２０を制御する（ステップＳ５３２でＮＯ、ステップＳ５４０）。このようにすることで、局注液の注入量の制御値と内視鏡画像に基づいて、局注工程を自動制御できる。

【0094】

また、例えば第２判断（ステップＳ５２０）を、図２８のフローチャートに示す処理例のようにしてもよい。図２８において、プロセッサ１００は、第１学習済みモデル１４１を用いて推論した内視鏡画像を取得する（ステップＳ５２４）。図２８のステップＳ５２４は、図２３のステップＳ５１４と文言は同じであるが、推論に用いられるデータセットが異なる。図２９に示すように、ステップＳ５０４で取得した局注液の注入量の制御値を入力データとして、推論部１０２は第１学習済みモデル１４１を用いて、局注液の注入量の制御値に基づいて隆起した病変部を含む内視鏡画像を推論する。なお、入力データに例えば、局注位置の情報をメタデータとして含んでもよい。そして例えばＥ１１に示すように、推論部１０２が推論した内視鏡画像のデータが出力データとなる。つまり、図２８の第２判断（ステップＳ５２０）における第１学習済みモデル１４１の機械学習に用いられているデータセットは、内視鏡画像の他に局注液の注入量の制御値をさらに含む点で、図２３の第１判断（ステップＳ５１０）と異なる。

【0095】

なお、図２９において、入力部１１０に入力データが入力され、プロセッサ１００が第１学習済みモデル１４１をメモリ１３０から読み出し、推論部１０２が入力データに基づいて推論し、推論した出力データが出力部１２０を介して出力される様子を、入力データと第１学習済みモデル１４１と出力データのみを用いて簡略的に図示している。後述する図３２、図３５、図４０、図４３についても同様である。

【0096】

その後プロセッサ１００は、推論した内視鏡画像と、イメージャ４２から取得した内視鏡画像を比較する（ステップＳ５２６）。つまり、図２９のＥ１１に示す内視鏡画像と、Ｅ１２に示すように、実際に注入針５１６を刺して局注を行っている内視鏡画像とを比較する。なお、Ｅ１２に示す内視鏡画像のうち、注入針５１６等が映る部分を比較の対象から除外する処理を追加してもよい。そしてプロセッサ１００は、例えばＥ１１に示す内視鏡画像とＥ１２に示す内視鏡画像の類似度が所定の閾値未満である場合は、処置対象の形状変化が不足しているため、第２判断（ステップＳ５２０）でＮＧと判断する。この場合、プロセッサ１００は、ステップＳ５３２でＮＯと判断し、前述のステップＳ５４０を行う。その後、再度のステップＳ５２２において、Ｅ１１に示す内視鏡画像とＥ１２に示す内視鏡画像の類似度が所定の閾値以上となった場合、プロセッサ１００は、局注が成功したことから第２判断（ステップＳ５２０）でＯＫと判断し、その後のステップＳ５３２でＹＥＳと判断し、局注処理（ステップＳ５００）を終了する。

【0097】

この場合における第１訓練データ８５１は、図３０に示すように、例えば局注液の注入液の目標量のデータに、当該目標量の局注液が注入された病変部が映る内視鏡画像データを正解ラベルとして関連づけられたデータセットである。機械学習部８０２は、このような第１訓練データ８５１を第１訓練モデル８４１に入力することで、第１学習済みモデル１４１を更新する。

【0098】

なお、例えば第１訓練データ８５１は、上記したデータに対して、局注液が注入される前の病変部が映る内視鏡画像データをさらに追加してもよい。つまり、第１訓練データ８５１は、局注液の注入液の目標量のデータと局注液が注入される前の病変部が映る内視鏡画像データとの組み合わせからなるデータに、当該目標量の局注液が注入された病変部が映る内視鏡画像データが正解ラベルとして関連づけたデータセットであってもよい。そして推論部１０２は、このような第１訓練データ８５１に基づいて学習した第１学習済みモデル１４１を用いて、ステップＳ５０４で取得した局注液の注入量の制御値と局注液が注入される前の病変部が映る内視鏡画像データとに基づいて、隆起した病変部を含む内視鏡画像を推論する。

【0099】

また、例えば図示等は省略するが、第１訓練データ８５１は、局注液の注入液の目標量のデータに、局注後に隆起した領域の面積の値を正解ラベルとして関連付けたデータセットであってもよい。或いは、局注後に隆起した部分の体積の値を正解ラベルとしてもよい。そして推論部１０２は、このような第１訓練データ８５１に基づいて学習した第１学習済みモデル１４１を用いて、ステップＳ５０４で取得した局注液の注入量の制御値に基づいて、隆起した領域の面積等を推論する。そしてプロセッサ１００は、内視鏡画像から隆起した領域を抽出する処理と、抽出した領域の面積等と推論した領域の面積等との一致度を求める処理と、求めた一致度が所定の基準値以上であるか否かを判断する処理とを行う。求めた一致度が所定の基準値以上である場合、プロセッサ１００は第２判断（ステップＳ５２０）でＯＫと判断し、その後のステップＳ５３２でＹＥＳと判断し、局注処理（ステップＳ５００）を終了する。

【0100】

このように、本実施形態の手術システム１は、局注液の注入量と、注入量に対応した局注液が注入された処置対象が写る内視鏡画像とを含む学習データ（第１訓練データ８５１）に基づき学習された第１学習済みモデル１４１を含む。プロセッサ１００は、第１学習済みモデル１４１を用いて、内視鏡画像から制御値に対する処置対象の形状変化の過不足を判断し、処置対象の形状変化が不足している場合（ステップＳ５３２でＮＯ）、注入針５１６を所定量引き抜くように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、局注液の注入量の制御値と内視鏡画像による機械学習を用いて、局注工程を自動制御できる。

【0101】

また、例えばシリンジ５１２の周辺に設けたセンサによる測定を、図１９で前述した第１判断（ステップＳ５１０）または図２７で前述した第２判断（ステップＳ５２０）と併せて行うことで、局注の成否を判断してもよい。図２０で前述したように、注入針５１６の先端が図２０のＬ３に示す筋層内に位置している場合は局注液が入り込まない。そのため、プランジャ駆動部２１２がシリンジポンプ２１４に送信した制御値に基づいてシリンジポンプ２１４がプランジャ５１４を押しても、シリンジポンプ２１４がプランジャ５１４を押す力とシリンジポンプ２１４がプランジャ５１４から受ける抵抗力とが釣り合い、外観上はプランジャ５１４が静止しているように見える。

【0102】

そこで、詳細な図示は省略するが、例えばシリンジポンプ２１４において図７のＢ１１に示す箇所に、プランジャ５１４から受ける抵抗力を測定する力覚センサを設ける。そしてプロセッサ１００は、前述したように内視鏡画像に基づいて局注液が注入されたことにより処置対象の形状変化の有無を判断するとともに、当該力覚センサの検出値を測定する。注入針５１６の先端が筋層内に位置している場合はプランジャ５１４から受ける抵抗力は、シリンジポンプ２１４がプランジャ５１４を押す力の上限値に等しくなると考えられる。そこで例えば当該上限値に所定の割合を乗じた値を第１所定値として、当該力覚センサによって測定された当該抵抗力が当該第１所定値以上になった場合は、注入針５１６の先端が筋層内に位置していると判断できる。これにより、例えば第１判断（ステップＳ５１０）または第２判断（ステップＳ５２０）の判断結果がＮＧだった場合、当該判断結果をさらに裏付けることができる。

【0103】

一方、当該力覚センサによって測定された当該抵抗力が当該第１所定値未満である場合は、プランジャ５１４が前進しているので、注入針５１６の先端が図２１のＬ２に示す粘膜下層内に位置していると判断できる。これにより、プロセッサ１００は、第２判断（ステップＳ５２０）の判断結果としてＹＥＳと判断し、局注処理（ステップＳ５００）のフローが終了する。つまり、本実施形態の手術システム１は、処置対象に局注液を注入する際の抵抗力を検出可能な力覚センサを含む。プロセッサ１００は処置対象の形状変化が不足し、かつ力覚センサの検出値が第１所定値以上である場合（ステップＳ５３１でＮＯ、ステップＳ５３２でＮＯ）、注入針５１６を所定量引き抜くように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、シリンジ５１２からの抵抗力の測定結果に基づいて、局注の成否をより正確に判断できる。

【0104】

あるいは、図示は省略するが、プランジャ５１４の変位量を検出可能な位置センサを用いてもよい。プランジャ５１４は、図７のＤ１８に示す範囲で変位可能である。ここでの位置センサは、測距センサであってもよいし、エンコーダであってもよい。前述のように注入針５１６の先端が図２０のＬ３に示す筋層内に位置している場合、プランジャ５１４は殆ど移動していないと考えられる。そこで、例えばプランジャ５１４が実質的に前進していないと扱える変位量に対応する位置センサの検出値を第２所定値とする。そして、測定される当該位置センサの検出値が第２所定値未満である場合は、プランジャ５１４が実質的に前進していないことから、注入針５１６の先端が筋層内に位置していると判断できる。これにより、第１判断（ステップＳ５１０）または第２判断（ステップＳ５２０）の判断結果がＮＧだった場合、当該判断結果をさらに裏付けることができる。

【0105】

つまり、本実施形態の手術システム１は、プランジャ５１４の変位量を検出可能な位置センサを含む。プロセッサ１００は、処置対象の形状変化が不足し、かつ位置センサの検出値が第２所定値未満である場合（ステップＳ５３１でＮＯ、ステップＳ５３２でＮＯ）、注入針５１６を所定量引き抜くように駆動装置２０を制御する（ステップＳ５４０）。このようにすることで、プランジャ５１４の移動量の測定結果に基づいて、局注の成否をより正確に判断できる。

【0106】

また、例えば前述のステップＳ１００に替えて、注入針５１６を刺す位置を機械学習により決定する第１決定処理（ステップＳ１１０）を行ってもよい。図３１のフローチャートを用いて、第１決定処理（ステップＳ１１０）の処理例を説明する。プロセッサ１００は、第２学習済みモデル１４２を用いて、内視鏡画像に基づいて注入針５１６を刺す位置を決定する（ステップＳ１１８）。

【0107】

例えば図３２のＥ２１に示すように、処置対象となる病変部が写る内視鏡画像を入力データとして入力部１１０に入力する。そして推論部１０２は、第２学習済みモデル１４２を用いて推論を行い、Ｅ２２に示すように、局注位置の情報が追加された内視鏡画像が出力部１２０から出力される。より具体的には、Ｅ２２に示す内視鏡画像において、Ｆ２１に示す位置情報と、Ｆ２２に示す位置情報と、Ｆ２３に示す位置情報と、Ｆ２４に示す位置情報と、Ｆ２５に示す位置情報と、Ｆ２６に示す位置情報とが、病変部の周囲に追加されている。

【0108】

また、図３２のＥ２３に示すように、注入針５１６を刺す順番を示す情報である順番情報が、出力データとして出力部１２０から出力される。例えば、Ｆ２１に示す位置を１番目に注入針５１６を刺す位置とし、Ｆ２２に示す位置を２番目に注入針５１６を刺す位置とし、Ｆ２３に示す位置を３番目に注入針５１６を刺す位置として表示される。また、Ｅ２３に示す順番を示す情報は、Ｆ２４に示す位置を４番目に注入針５１６を刺す位置とし、Ｆ２５に示す位置を５番目に注入針５１６を刺す位置とし、Ｆ２６に示す位置を６番目に注入針５１６を刺す位置として表示される。

【0109】

第２学習済みモデル１４２は、図３３に示すように、第２訓練モデル８４２に対して第２訓練データ８５２をデータセットとした機械学習が行われることにより生成される。第２訓練データ８５２は、過去の症例に基づいて、病変部が写っている内視鏡画像に、正解ラベルとして局注位置の情報を関連付けたデータセットである。第２訓練データ８５２は様々な形状からなる病変部と、当該病変部に対して局注位置との組み合わせからなるデータが多数含まれる。また、第２訓練データ８５２は、順番情報をさらに正解ラベルとして追加してもよい。例えば図３３のＧ２０に示すデータは、病変部に対して、Ｇ２１、Ｇ２２、Ｇ２３、Ｇ２４に示す位置の順に注入針５１６が刺された症例に基づいたデータである。

【0110】

以上のことから、本実施形態の手術システム１は、処置対象が写る内視鏡画像と、注入針５１６を刺す位置情報とを含む学習データに基づき学習された第２学習済みモデル１４２を含む。プロセッサ１００は、第２学習済みモデル１４２を用いて、内視鏡画像に基づいて、注入針５１６を刺す位置を決定する第１決定処理（ステップＳ１１０）を行う。このようにすることで、ＥＳＤの処置等において、注入針５１６を刺すべき位置を自動で決定できる。

【0111】

また、例えば前述のステップＳ２００に替えて、局注液の目標量を機械学習により決定する第２決定処理（ステップＳ２２０）を行ってもよい。図３４のフローチャートを用いて、第２決定処理（ステップＳ２２０）の処理例を説明する。プロセッサ１００は、第３学習済みモデル１４３を用いて、内視鏡画像と位置情報とに基づいて、各々の位置における局注液の目標量を決定する（ステップＳ２２６）。例えば図３５のＥ３１とＥ３２に示すように、前述のステップＳ１１８によって出力された内視鏡画像と位置情報と順番情報からなるデータが、入力部１１０に入力される。つまり、ステップＳ１１０に係る推論によって出力部１２０から出力されたデータは、そのまま入力部１１０に入力される。

【0112】

そして推論部１０２は、第３学習済みモデル１４３を読み出して推論を行い、図３５のＥ３３に示す内視鏡画像と位置情報の他に、Ｅ３４に示すように、各位置における局注液の目標量が出力データとして出力部１２０から出力される。例えばＦ３１に示す位置に対してＦ１３１に示す目標量が表示され、Ｆ３２に示す位置に対してＦ１３２に示す目標量が表示され、Ｆ３３に示す位置に対してＦ１３３に示す目標量が表示され、Ｆ３４に示す位置に対してＦ１３４に示す目標量が表示され、Ｆ３５に示す位置に対してＦ１３５に示す目標量が表示され、Ｆ３６に示す位置に対してＦ１３６に示す目標量が表示される。

【0113】

第３学習済みモデル１４３は、図３６に示すように、第３訓練モデル８４３に対して第３訓練データ８５３をデータセットとした機械学習が行われることにより生成される。第３訓練データ８５３は、Ｇ３１に示す内視鏡画像に対してＧ３２に示す内視鏡画像に関する情報が正解ラベルとして関連付けられている。Ｇ３１に示す内視鏡画像は、病変部の画像と、Ｇ１３１に示す局注位置の情報を含む。Ｇ３２に示す内視鏡画像は、Ｇ１３１に示す局注位置に、局注を行った後の画像である。より具体的には、Ｇ１３２に示す局注液の注入量の情報と、Ｇ１３３に示す、当該注入量によって隆起した病変部の画像情報が関連付けられた内視鏡画像である。

【0114】

以上のことから、本実施形態の手術システム１は、処置対象が写る内視鏡画像と、注入針５１６を刺す位置情報と、位置情報に対応した局注液の目標量とを含む学習データ（第３訓練データ８５３）に基づき学習された第３学習済みモデル１４３を含む。プロセッサ１００は、第３学習済みモデル１４３を用いて、内視鏡画像と第１決定処理（ステップＳ１１０）において決定された位置情報とに基づいて、注入針５１６を刺す各々の位置における局注液の目標量を決定する第２決定処理（ステップＳ２２０）を行う。このようにすることで、注入針５１６を刺す各々の位置における局注液の目標量を自動で決定できる。

【0115】

なお、第３学習済みモデル１４３は複数有ってもよい。具体的には例えば被検体を性別、年齢等を考慮して複数のカテゴリに分類し、当該カテゴリ毎に対応した第３学習済みモデル１４３をメモリ１３０に記憶してもよい。この場合、第２決定処理（ステップＳ２２０）は図３７のフローチャートに示す処理例のようにしてもよい。プロセッサ１００は、被検体の情報を取得し（ステップＳ２２２）、取得した被検体の情報に基づいて対応する第３学習済みモデル１４３を選択する（ステップＳ２２４）。より具体的には、ユーザがカルテ等から被検体が４０代の女性である旨の情報を制御装置１０に入力し、メモリ１３０に記憶させる。そしてプロセッサ１００は、ステップＳ２２２において、被検体が４０代の女性である旨の情報を取得する。そしてプロセッサ１００は、ステップＳ２２４において、４０代の女性に対応する第３学習済みモデル１４３をメモリ１３０から読み出す。その後プロセッサ１００は、ステップＳ２２４で読み出した第３学習済みモデル１４３を用いて、前述のステップＳ２２６の処理を行う。

【0116】

また、図示は省略するが、例えば図３５において、Ｅ３３に示す情報は、各位置における局注液の注入量の代わりに、各位置において局注を行ったことにより変化した三次元形状情報であってもよい。つまり、注入針５１６を刺す各位置に局注を行うことで、注入針５１６を刺した周囲をどれだけ隆起させるかを目標の指標とする。この場合、第３訓練データ８５３は図３６で前述したデータセットにおいて、図３６のＧ１３２に示した局注液の注入量に替えて、局注を行ったことにより変化した三次元形状情報を関連付ければよい。

【0117】

また、図３２のＥ２１に示す内視鏡画像は、コンソール６０のタッチパネル６２０を用いて取得できるようにしてもよい。具体的には例えば図３８に示すように、ディスプレイ６１０にＣ２１に示す病変部が表示され、当該病変部はタッチパネル６２０にも表示されているとする。このときユーザは、タッチパネル６２０を操作して、当該病変部の周辺を、Ｂ９１に示す所定の図形からなるアイコンで囲う。なお、所定の図形は図３８では楕円であるが、多角形であってもよいし、ドローイング機能によってユーザが任意の形状を作成できるようにしてもよい。また、Ｂ９１に示す所定の図形からなるアイコンは、Ｂ９２に示すように、ディスプレイ６１０に表示できるようにしてもよい。そして前述した第１決定処理（ステップＳ１１０）、第２決定処理（ステップＳ２２０）を通じて、図３５のＥ３２に示す位置情報、Ｅ３３に示す局注液の注入量の情報がディスプレイ６１０に表示できるようにしてもよい。以上のことから、本実施形態の手術システム１において、プロセッサ１００は、処置対象において注入針５１６を刺す位置と注入針５１６を刺す位置に対応する局注液の目標量とを、内視鏡画像に基づいて決定する。このようにすることで、内視鏡画像を取得することによって、注入針５１６を刺す位置と、当該位置における局注液の注入量を自動で決定するシステムを構築できる。

【0118】

また、図１４等のステップＳ３００に係る方向情報を、機械学習を用いて設定してもよい。具体的には例えばプロセッサ１００は、ステップＳ３００に替えて、図３９のフローチャートに示す第３決定処理（ステップＳ３３０）を行ってもよい。

【0119】

プロセッサ１００は、前述した第３学習済みモデル１４３からの出力データを取得する（ステップＳ３３２）。つまり、ステップＳ２２０に係る推論によって出力部１２０から出力されたデータは、そのまま入力部１１０に入力される。その後プロセッサ１００は、第４学習済みモデル１４４を用いて注入針５１６の方向情報を決定する（ステップＳ３３４）。

【0120】

例えば、図４０のＥ４１、Ｅ４２に示すデータが入力部１１０に入力される。図４０のＥ４１、Ｅ４２に示すデータは、図３２のＥ２２、Ｅ２３に示すデータに対応する。そして推論部１０２は、第４学習済みモデル１４４を用いて推論を行う。その結果、Ｅ４３に示すように、Ｅ４１のデータに含まれる局注位置に対して、前述の局注処理（ステップＳ５００）を行うときの注入針５１６の向きである注入針方向情報を関連付けたデータが、出力部１２０を介して出力される。

【0121】

第４学習済みモデル１４４は、図４１に示すように、第４訓練モデル８４４に対して第４訓練データ８５４をデータセットとした機械学習が行われることにより生成される。第４訓練データ８５４は、局注位置の情報を含む内視鏡画像に対し、当該位置に対応する注入針方向情報を正解ラベルとして関連付けられたデータセットである。

【0122】

図３９の説明に戻る。プロセッサ１００は、上記したステップＳ３３４を行った後、注入針５１６の方向情報に基づいて注入針５１６の軌跡情報を決定する（ステップＳ３３９）。つまり、第１決定処理（ステップＳ１１０）、第２決定処理（ステップＳ２２０）、第３決定処理（ステップＳ３３０）により取得した画像上の位置情報を実際の処置における内視鏡４０等の座標情報に対応させるために、駆動装置２０を制御するパラメータの演算処理を行う。このようにすることで、局注処理（ステップＳ５００）を行う位置と、局注液の量と、内視鏡４０及び第１医療用マニピュレータ５１０の駆動情報とが求まり、制御装置１０はこれらの情報に対応するように駆動装置２０を制御することで、局注の自動制御が実現する。

【0123】

また、図１４等で前述したステップＳ１００とステップＳ２００に替えて、例えば図４２に示す処理例を行うことで、局注を行う位置と当該位置における局注液の目標量を設定してもよい。プロセッサ１００は、領域情報を取得する（ステップＳ７１０）。例えば前述のようにユーザはタッチパネル６２０を用いて、Ｃ３１に示す処置対象である病変部の周囲を、Ｈ１０に示す所定の図形で指定し、プロセッサ１００は、所定の図形に係る領域を領域情報として取得する。

【0124】

プロセッサ１００は、ステップＳ７１０を行った後、領域情報内に含まれる病変部のエリアを計測する（ステップＳ７２０）。また、プロセッサ１００は、ステップＳ７１０を行った後、領域情報に基づいて、Ｈ２０に示す所定のデータセットを取得する（ステップＳ７３０）。ステップＳ７３０の詳細は後述するが、所定のデータセットは、例えば、注入液の目標量と当該目標量に対応して隆起したことによる形状変化を示す所定の画像が対応付けられたデータセットである。つまり、局注液の目標量が少ない場合は、所定の画像は小さく対応づけられ、局注液の目標量が多い場合は、所定の画像は大きく対応づけられている。

【0125】

プロセッサ１００は、ステップＳ７２０とステップＳ７３０に基づいて、ステップＳ７４０を行い、フローを終了する。ステップＳ７４０は、ステップＳ７２０で計測したエリアと、ステップＳ７３０で取得した所定のデータセットとに基づいて、局注位置と局注液の目標量を設定する。

【0126】

そしてＨ３０に示すように、Ｃ３１で示した病変部全体が隆起するような所定画像の大きさと配置の仕方を決定する。これにより、当該病変部に対してどの位置にどの程度の局注液を注入すれば、病変部全体が隆起するかを把握できる。

【0127】

図４３を用いて、ステップＳ７３０を概念的に説明する。プロセッサ１００は、ステップＳ７１０で取得した領域情報のデータが入力部１１０に入力されると、メモリ１３０から第５学習済みモデル１４５を読み出す。そして推論部１０２は、第５学習済みモデル１４５に基づいて、領域情報に係る組織の特徴量のデータを、出力部１２０を介して出力する。組織の特徴量とは、例えば組織の粘弾性、組織厚さ等である。

【0128】

また、出力された組織の特徴量のデータは再度入力部１１０に入力され、プロセッサ１００は、メモリ１３０から第６学習済みモデル１４６を読み出す。そして推論部１０２は、第６学習済みモデル１４６に基づいて、組織の特徴量に対応する所定のデータセットを、出力部１２０を介して出力する。

【0129】

第５学習済みモデル１４５は、図４４に示すように、第５訓練モデル８４５に対して第５訓練データ８５５をデータセットとした機械学習が行われることにより生成される。第５訓練データ８５５は、病変部を含む組織が写っている内視鏡画像に対し、当該組織の特徴量の情報を正解ラベルとして関連付けたデータセットである。

【0130】

第６学習済みモデル１４６は、図４５に示すように、第６訓練モデル８４６に対して第６訓練データ８５６をデータセットとした機械学習が行われることにより生成される。第６訓練データ８５６は、組織の特徴量情報に対して、以下に述べる所定のデータを正解ラベルとして関連づけたデータセットである。所定のデータとは、例えばＥ６０に示す、局注を行ったことにより病変部を含む組織が隆起したことを示す内視鏡画像から抽出した、Ｅ６１に示す隆起した部分の高さと大きさの情報、局注を行った位置の情報、局注液の注入量の情報等である。

【0131】

また、本実施形態の手法の変形例として、ＥＳＤを図４６に示す処置フローによって行ってもよい。前述の図１４は、処置対象である病変部の周囲全体に対して局注処理（ステップＳ５００）を行った後に切開（ステップＳ６１０）を行う処置フローであるのに対し、図４６は、局所的に局注処理（ステップＳ５００）と切開（ステップＳ６１０）を繰り返し行う処置フローである。より具体的には、第１処置具５１と第２処置具５２と第３処置具５３とをセット（ステップＳ１０）した後、プロセッサ１００は、前述のステップＳ１００により局注位置を１箇所決定する。その後、プロセッサ１００は、決定した１箇所の局注位置についてステップＳ２００、ステップＳ３００、局注処理（ステップＳ５００）、切開（ステップＳ６１０）を行う。図４６の処置フローの場合、局注を行う位置は１箇所であることから、局注処理（ステップＳ５００）を行った後に直ちに切開（ステップＳ６１０）を行うことができる。その後、ユーザは全ての位置について局注処理（ステップＳ５００）と切開（ステップＳ６１０）を行ったか否かを判断する（ステップＳ６１４）。例えばユーザは、切開（ステップＳ６１０）を行った病変部が粘膜下層に対して浮いているか否かを内視鏡画像から判断する。そしてユーザは全ての位置について局注処理（ステップＳ５００）と切開（ステップＳ６１０）を行ったと判断した場合（ステップＳ６１４でＹＥＳ）、図１４と同様に剥離（ステップＳ６２０）を行う。一方、ユーザは病変部が粘膜下層に対して浮いていないと判断した場合は、ステップＳ６１４でＮＯと判断し、再度ステップＳ１００を行う。

【0132】

なお、図３１等で前述した第１決定処理（ステップＳ１１０）、図３４等で前述した第２決定処理（ステップＳ２２０）、図３９等で前述した第３決定処理（ステップＳ３３０）は、図４６の処置フローに適用してもよい。つまり、図示は省略するが、図４６は、ステップＳ１０の後に、第１決定処理（ステップＳ１１０）、第２決定処理（ステップＳ２２０）、第３決定処理（ステップＳ３３０）、局注処理（ステップＳ５００）、切開（ステップＳ６１０）を繰り返す処置フローにしてもよい。

【0133】

変形例における処置例を具体的に示す。ユーザはステップＳ１０により、図２のように第１処置具５１と第２処置具５２と第３処置具５３とをセット（ステップＳ１０）する。そしてユーザはコンソール６０の第２フットペダル６３２を踏みながら第１ハンドル６４１を操作することで、図４７のＪ１０に示す画面例のように、Ｃ４１に示す処置対象である病変部がディスプレイ６１０に映るように、内視鏡４０を操作する。そしてユーザはタッチパネル６２０を操作することで、Ｊ１１に示すように、病変部の一部を選択する。プロセッサ１００は、選択した範囲における内視鏡画像に基づいて第１決定処理（ステップＳ１１０）を行い、局注処理（ステップＳ５００）を行う位置を決定する。そしてプロセッサ１００は、第２決定処理（ステップＳ２２０）を行い、当該位置における局注液の目標量を設定する。そしてプロセッサ１００は、第３決定処理（ステップＳ３３０）を行い、当該位置に対して注入針５１６を刺す方向情報を決定する。

【0134】

なおプロセッサ１００は、第１決定処理（ステップＳ１１０）、第２決定処理（ステップＳ２２０）及び第３決定処理（ステップＳ３３０）のうち少なくとも１つの結果をユーザに提示し、ユーザにＯＫまたはＮＧの判断を求める処理をさらに行ってもよい。例えば図４７のＪ２０の画面例において、Ｊ２１に示す局注処理（ステップＳ５００）を行う位置に係る位置情報と、Ｊ２２に示す局注液の目標量に係る情報と、Ｊ２３に示す注入針５１６を刺す方向情報に係る情報とが、ディスプレイ６１０に表示される。

【0135】

図４７のＪ２０に示す画面例は、例えば第３決定処理（ステップＳ３３０）を図４８のフローチャートに示す処理例にすること等より実現できる。プロセッサ１００は、図３９と同様にステップＳ３２２、ステップＳ３３４を行った後に、決定した各種情報を提示する処理（ステップＳ３３６）を行う。そして、ユーザからＯＫの指示が有るか否かを判断する処理（ステップＳ３３８）を行う。例えばプロセッサ１００は、コンソール６０の不図示のスイッチ等から送信された制御信号に基づいてＯＫまたはＮＧを判断する。プロセッサ１００は、ユーザからＯＫの指示が有った場合（ステップＳ３３８でＹＥＳ）、前述のステップＳ３３９を行う。ステップＳ３３９が行われた後、ユーザは、コンソール６０の第１フットペダル６３１を踏みながら第１ハンドル６４１を操作することで、Ｊ２１に示す位置に対して、第３処置具５３を用いてマーキングを行う。なお、フローの図示は省略しているが、ユーザからＮＧの指示が有った場合（ステップＳ３３８でＮＯ）、第３決定処理（ステップＳ３３０）のフローを終了し、その後再度ステップＳ１００を実行する。

【0136】

その後、ユーザはマーキングされた位置に注入針５１６を刺す作業を行うとともに、局注処理（ステップＳ５００）が行われる。例えばユーザはコンソール６０の第２フットペダル６３２を踏みながら第１ハンドル６４１を操作することで、内視鏡４０の先端部がＪ２１に示す位置に正対するように内視鏡４０を操作する。そしてユーザはコンソール６０の第３フットペダル６３３を踏みながら第１ハンドル６４１を操作することで、第１医療用マニピュレータ５１０を前進させ、マーキングした位置に対して注入針５１６を刺す。或いは、ステップＳ３３９によって、注入針５１６を刺すために必要な内視鏡４０の駆動情報と第１医療用マニピュレータ５１０の駆動情報をプログラミングし、注入針５１６を刺す工程を自動制御してもよい。そして局注処理（ステップＳ５００）により、局注液が粘膜下層に入り込む工程が自動制御される。これにより、ユーザは図４９のＪ３０に示す画面例を見て、局注の成否を観察していることになるので、ユーザの処置の負担が軽減される。

【0137】

その後ユーザは、局注が成功したと判断した場合、コンソール６０の第１フットペダル６３１を踏みながら第２ハンドル６４２を操作することで第２処置具５２を操作するとともに、第１ハンドル６４１を操作することで第３処置具５３を操作する。これにより、図４９のＪ４０の画面例に示すように、隆起した病変部が把持部５２２によって把持された状態で、第３処置具５３により所望の箇所が切開される。

【0138】

このように、図４７、図４９の画面例に示す工程が繰り返し行われる。そして病変部全体が粘膜下層から浮いた状態になったら、ユーザはコンソール６０の第１フットペダル６３１を踏みながら第２ハンドル６４２を操作し、病変部を把持部５２２で把持した状態で第２医療用マニピュレータ５２０を体外まで後退させることで、切除した病変部が回収される。

【0139】

なお、図４７のＪ１０の画面例では、ユーザがタッチパネル６２０を操作することで局注を行う位置を決定しているが、これに限らず例えばプロセッサ１００が自動で局注を行う位置を決定できるようにしてもよい。この場合、第１決定処理（ステップＳ１１０）を例えば図５０のフローチャートに示す処理例にすればよい。プロセッサ１００は、ステップＳ１１２を行った後に、局注を要する領域が存在するか否かを判断する処理（ステップＳ１１４）を行う。プロセッサ１００は、局注を要する領域が存在すると判断した場合（ステップＳ１１４でＹＥＳ）、所定の領域を指定する処理（ステップＳ１１６）を行う。ステップＳ１１６は、例えば以下の手法で実現できる。例えば内視鏡４０の先端部に位置センサを含ませ、プロセッサ１００は、内視鏡４０の先端の位置情報を取得する。そしてプロセッサ１００は、当該位置情報から想定される内腔表面の内視鏡画像と実際に表示されている内腔表面の内視鏡画像を比較し、異なる場合は、病変部が存在する可能性があるとして、対応する領域を所定の領域として指定する。その後プロセッサ１００は、前述のステップＳ１１８を行う。

【0140】

また、ステップＳ１１４を行うタイミングを自動で決定してもよい。例えば局注処理（ステップＳ５００）を行ってから一定時間ポーリングを行い、一定時間経過後に再度の第１決定処理（ステップＳ１１０）におけるステップＳ１１４を実行してもよい。或いは、プロセッサ１００は、３Ｄカメラで撮像している内視鏡画像から、局注により隆起していた箇所が平坦に近い形状に変化したと判断したタイミングを局注が終了したタイミングと判断し、ステップＳ１１４を行ってもよい。或いは、プロセッサ１００は、内視鏡画像から、粘膜下層の色が局注液に含まれる色素の色を反映しているか否かを判断し、当該色素の色の濃さが一定値未満となった場合、局注が終了していると判断してもよい。或いは、第３処置具５３に位置センサを含ませ、プロセッサ１００は第３処置具５３が処置対象の位置から一定距離だけ離れたタイミングを局注が終了したタイミングと判断してもよい。このようにすることで、ステップＳ１１４が自動で行われることから、図４６の処置フローのうちループする処理は自動で行われる。つまり第１処置具５１を用いた局注は完全に自動化されるので、ユーザは第２処置具５２と第３処置具５３を用いて切開（ステップＳ６１０）と剥離（ステップＳ６２０）に集中することができる。

【0141】

以上、本開示を適用した実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、開示の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の開示を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0142】

１…手術システム、１０…制御装置、１４…入力部、２０…駆動装置、２１…第１処置具駆動装置、２２…第２処置具駆動装置、２３…第３処置具駆動装置、２４…内視鏡駆動装置、４０…内視鏡、４２…イメージャ、４４…処置具挿入口、４６…オーバーチューブ、４８…キャップ、５０…処置具、５１…第１処置具、５２…第２処置具、５３…第３処置具、６０…コンソール、７０…ドライビングユニット、８０…学習装置、１００…プロセッサ、１０２…推論部、１１０…入力部、１２０…出力部、１３０…メモリ、１４１…第１学習済みモデル、１４２…第２学習済みモデル、１４３…第３学習済みモデル、１４４…第４学習済みモデル、１４５…第５学習済みモデル、１４６…第６学習済みモデル、２１２…プランジャ駆動部、２１４…シリンジポンプ、２１５…進退動作駆動部、２１７…スライダ機構装置、２１８…固定部、２１９…スライダ部、２２０…モータユニット、２２１…第１湾曲動作駆動部、２２２…第２湾曲動作駆動部、２２３…開閉動作駆動部、２２４…ロール動作駆動部、２２５…進退動作駆動部、５００…医療用マニピュレータ、５１０…第１医療用マニピュレータ、５１２…シリンジ、５１４…プランジャ、５１６…注入針、５２０…第２医療用マニピュレータ、５２２…把持部、５３０…第３医療用マニピュレータ、６１０…ディスプレイ、６２０…タッチパネル、６３０…フットペダル、６３１…第１フットペダル、６３２…第２フットペダル、６３３…第３フットペダル、６４０…ハンドル、６４１…第１ハンドル、６４２…第２ハンドル、６５１…第１パーツ、６５２…第２パーツ、６５３…第３パーツ、８００…プロセッサ、８０２…機械学習部、８３０…メモリ、８４１…第１訓練モデル、８４２…第２訓練モデル、８４３…第３訓練モデル、８４４…第４訓練モデル、８４５…第５訓練モデル、８４６…第６訓練モデル、８５１…第１訓練データ、８５２…第２訓練データ、８５３…第３訓練データ、８５４…第４訓練データ、８５５…第５訓練データ、８５６…第６訓練データ、８６０…通信部、Ｔ…手術台

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】

【図50】