特許 7602646 システム、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】システム、プログラム及び情報処理方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20241211BHJP

【ＦＩ】

A61B34/20

【請求項の数】 20

(21)【出願番号】P 2023535112

(86)(22)【出願日】2022-03-07

(86)【国際出願番号】 JP2022009694

(87)【国際公開番号】W WO2023286337

(87)【国際公開日】2023-01-19

【審査請求日】2023-08-24

(31)【優先権主張番号】63/221,128

(32)【優先日】2021-07-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/222,252

(32)【優先日】2021-07-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】内田 健央

(72)【発明者】

【氏名】笠原 秀元

(72)【発明者】

【氏名】本田 吉隆

(72)【発明者】

【氏名】田中 一恵

(72)【発明者】

【氏名】新井 豪

【審査官】北村 龍平

(56)【参考文献】

【文献】国際公開第２０２０／０９５３８９（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０９０１６５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／０３７１４７４（ＵＳ，Ａ１）

【文献】特開２０２１－１８８８８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １７／００ － １７／２８

３４／００ － ３４／３７

(57)【特許請求の範囲】

【請求項1】

エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は、前記学習用デバイス組織画像及び少なくとも１つの生体組織が撮像された画像である学習用組織画像と、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する学習用情報と、が入力され、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルを記憶する記憶部と、
制御部と、を含み、
前記制御部は、
前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得し、
前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得し、
前記処置画像と、前記エネルギー供給量に関する情報と、を前記学習済みモデルに入力して、前記学習済みモデルに前記残熱情報を推定残熱情報として出力させ、
前記推定残熱情報に基づく報知を報知部に行わせることを特徴とするシステム。

【請求項2】

請求項１に記載されたシステムにおいて、
前記学習済みモデルは、
前記学習用デバイス組織画像、又は前記学習用デバイス組織画像及び前記学習用組織画像が入力され、入力された画像上に撮像される生体組織に関する情報である組織情報を抽出するように学習した第２学習済みモデルと、
前記組織情報と前記エネルギー供給量に関する情報と、が入力され、前記残熱情報を出力するように学習した第３学習済みモデルと、
を含み、
前記制御部は、
前記処置画像を前記第２学習済みモデルに入力して、前記第２学習済みモデルに前記組織情報を抽出させ、
前記組織情報と前記エネルギー供給量に関する情報と、を前記第３学習済みモデルに入力して、前記第３学習済みモデルに前記推定残熱情報を出力させることを特徴とするシステム。

【請求項3】

請求項２に記載されたシステムにおいて、
前記学習済みモデルは、
前記学習用デバイス組織画像、又は前記学習用デバイス組織画像及び前記学習用組織画像が入力され、入力された画像上に撮像される前記エネルギーデバイスに関する情報であるデバイス情報を抽出するように学習した第１学習済みモデルを含み、
前記第３学習済みモデルは、
前記デバイス情報と前記組織情報と前記エネルギー供給量に関する情報と、が入力され、前記残熱情報を出力するように学習されており、
前記制御部は、
前記処置画像を前記第１学習済みモデルに入力して、前記第１学習済みモデルに前記デバイス情報を抽出させ、
前記デバイス情報と、前記組織情報と、前記エネルギー供給量に関する情報と、を前記第３学習済みモデルに入力して、前記第３学習済みモデルに前記推定残熱情報を出力させることを特徴とするシステム。

【請求項4】

請求項１に記載されたシステムにおいて、
前記制御部は、前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後における熱量又は温度の推移を推定することを特徴とするシステム。

【請求項5】

請求項４に記載されたシステムにおいて、
前記学習済みモデルは、前記学習用デバイス組織画像又は前記学習用組織画像及び前記学習用情報と、エネルギー出力後の残熱推移との関係を学習し、エネルギー出力が完了した後における熱量又は温度の推移を推定するように学習した学習済みモデルであることを特徴とするシステム。

【請求項6】

請求項５に記載されたシステムにおいて、
前記制御部は、前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後、前記エネルギーデバイスの熱量又は温度が所望の規定値に到達するまでの時間を推定することを特徴とするシステム。

【請求項7】

請求項１に記載されたシステムにおいて、
前記制御部は、前記推定残熱情報として推定した前記エネルギーデバイスの熱量又は温度が所定の閾値より高い場合に、アラートの報知を前記報知部に行わせることを特徴とするシステム。

【請求項8】

請求項１に記載されたシステムにおいて、
前記報知部は表示部であり、
前記制御部は、前記推定残熱情報を前記表示部に表示させることを特徴とするシステム。

【請求項9】

請求項８に記載されたシステムにおいて、
前記制御部は、前記推定残熱情報として推定した前記エネルギーデバイスの熱量又は温度が所定の閾値より高い場合に、前記推定残熱情報として推定した前記エネルギーデバイスの熱量又は温度を示す表示を前記表示部に表示させることを特徴とするシステム。

【請求項10】

請求項８に記載されたシステムにおいて、
前記制御部は、前記推定残熱情報として推定した前記エネルギーデバイスの熱量又は温度を示す色を、前記表示部に表示されたエネルギーデバイスに重畳表示させることを特徴とするシステム。

【請求項11】

少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得することと、
前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得することと、
エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は、前記学習用デバイス組織画像及び少なくとも１つの生体組織が撮像された画像である学習用組織画像と、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する学習用情報と、が入力され、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルに、前記処置画像と、前記エネルギー供給量に関する情報と、を入力して、前記学習済みモデルに前記残熱情報を推定残熱情報として出力させることと、
前記推定残熱情報に基づく報知を報知部に行わせることと、
をコンピュータに実行させることを特徴とするプログラム。

【請求項12】

請求項１１に記載されたプログラムにおいて、
前記学習済みモデルは、
前記学習用デバイス組織画像、又は前記学習用デバイス組織画像及び前記学習用組織画像が入力され、入力された画像上に撮像される生体組織に関する情報である組織情報を抽出するように学習した第２学習済みモデルと、
前記組織情報と前記エネルギー供給量に関する情報と、が入力され、前記残熱情報を出力するように学習した第３学習済みモデルと、
を含み、
前記処置画像を前記第２学習済みモデルに入力して、前記第２学習済みモデルに前記組織情報を抽出させることと、
前記組織情報と前記エネルギー供給量に関する情報と、を前記第３学習済みモデルに入力して、前記第３学習済みモデルに前記推定残熱情報を出力させることと、
をコンピュータに実行させることを特徴とするプログラム。

【請求項13】

請求項１１に記載されたプログラムにおいて、
前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後における熱量又は温度の推移を推定することを特徴とするプログラム。

【請求項14】

請求項１３に記載されたプログラムにおいて、
前記学習済みモデルは、前記学習用デバイス組織画像又は前記学習用組織画像及び前記学習用情報と、エネルギー出力後の残熱推移との関係を学習し、エネルギー出力が完了した後における熱量又は温度の推移を推定するように学習した学習済みモデルであることを特徴とするプログラム。

【請求項15】

請求項１４に記載されたプログラムにおいて、
前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後、前記エネルギーデバイスの熱量又は温度が所望の規定値に到達するまでの時間を推定することを特徴とするプログラム。

【請求項16】

少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得することと、
前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得することと、
エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は、前記学習用デバイス組織画像及び少なくとも１つの生体組織が撮像された画像である学習用組織画像と、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する学習用情報と、が入力され、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルに、前記処置画像と、前記エネルギー供給量に関する情報と、を入力して、前記学習済みモデルに前記残熱情報を推定残熱情報として出力させることと、
前記推定残熱情報に基づく報知を報知部に行わせることと、
を含むことを特徴とする情報処理方法。

【請求項17】

請求項１６に記載された情報処理方法において、
前記学習済みモデルは、
前記学習用デバイス組織画像、又は前記学習用デバイス組織画像及び前記学習用組織画像が入力され、入力された画像上に撮像される生体組織に関する情報である組織情報を抽出するように学習した第２学習済みモデルと、
前記組織情報と前記エネルギー供給量に関する情報と、が入力され、前記残熱情報を出力するように学習した第３学習済みモデルと、
を含み、
前記処置画像を前記第２学習済みモデルに入力して、前記第２学習済みモデルに前記組織情報を抽出させることと、
前記組織情報と前記エネルギー供給量に関する情報と、を前記第３学習済みモデルに入力して、前記第３学習済みモデルに前記推定残熱情報を出力させることと、
を含むことを特徴とする情報処理方法。

【請求項18】

請求項１６に記載された情報処理方法において、
前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後における熱量又は温度の推移を推定することを含むことを特徴とする情報処理方法。

【請求項19】

請求項１８に記載された情報処理方法において、
前記学習済みモデルは、前記学習用デバイス組織画像又は前記学習用組織画像及び前記学習用情報と、エネルギー出力後の残熱推移との関係を学習し、エネルギー出力が完了した後における熱量又は温度の推移を推定するように学習した学習済みモデルであることを含むことを特徴とする情報処理方法。

【請求項20】

請求項１９に記載された情報処理方法において、
前記推定残熱情報として、前記エネルギーデバイスによるエネルギー出力が完了した後、前記エネルギーデバイスの熱量又は温度が所望の規定値に到達するまでの時間を推定することを含むことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム、プログラム及び情報処理方法等に関する。

【背景技術】

【0002】

特許文献１に開示される医療装置は、エネルギー処置具の使用後、高温状態のエネルギー処置具が内視鏡画像内に存在する場合、内視鏡画像に高温デバイスの有無及び警告画像を表示する。また、内視鏡画像に高温状態のエネルギー処置具が存在しない場合、処置具の方向を示す画像を表示する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１８／０１６０９１０号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示される医療装置では、内視鏡画像に具体的な残熱温度が提示されないため、処置具の温度が下がった否かの判断を医師が個々行うことになる。しかし、当該判断は、処置具の種類、出力エネルギー或いは処置対象組織により変わるため、医師の経験に依存してしまう。従って、医師の経験によらず、効率的な手術を実現することが難しい。また、特許文献１に開示される医療装置では温度測定にサーモカメラ等を使用しているが、温度測定にサーモカメラ等を使用することは、腹腔鏡手術におけるポート数の増加やセンサー搭載デバイスの太さの増大に繋がるという課題がある。

【課題を解決するための手段】

【0005】

本開示の一態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像又は少なくとも１つの生体組織が撮像された画像である学習用組織画像と、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する学習用情報と、から、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルを記憶する記憶部と、制御部と、を含み、前記制御部は、前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得し、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得し、前記処置画像と、前記エネルギー供給量に関する情報と、前記学習済みモデルとに基づいて、前記エネルギーデバイスの熱量又は温度に関する情報である推定残熱情報を推定し、前記推定残熱情報に基づく報知を報知部に行わせるシステムに関係する。

【0006】

また本開示の他の態様は、少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得することと、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得することと、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像又は少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルに基づく処理により、前記処置画像と、前記エネルギー供給量に関する情報と、前記学習済みモデルとに基づいて、前記エネルギーデバイスの熱量又は温度に関する情報である推定残熱情報を推定することと、前記推定残熱情報をモニタに表示することと、をコンピュータに実行させるプログラムに関係する。

【0007】

また本開示の他の態様は、少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得することと、前記エネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得することと、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像又は少なくとも１つの生体組織が撮像画像である学習用組織画像から、前記エネルギーデバイスにエネルギー供給された後に前記エネルギーデバイスに残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデルに基づく処理により、前記処置画像と、前記エネルギー供給量に関する情報と、前記学習済みモデルとに基づいて、前記エネルギーデバイスの熱量又は温度に関する情報である推定残熱情報を推定することと、前記推定残熱情報をモニタに表示することと、を含む情報処理方法に関係する。

【図面の簡単な説明】

【0008】

【図1】システムの構成例。

【図2】コントローラの構成例。

【図3】システムが行う処理を説明するフローチャート。

【図4】モノポーラデバイスの構成例。

【図5】バイポーラデバイスの構成例。

【図6】超音波デバイスの構成例。

【図7】第１実施形態の処理例。

【図8】処置画像の例。

【図9】残熱情報の表示例。

【図10】残熱情報の表示例。

【図11】残熱情報の表示例。

【図12】残熱情報の表示例。

【図13】学習装置の構成例。

【図14】エネルギーデバイスの推定についての学習段階の説明図。

【図15】生体組織の種類の推定についての学習段階の説明図。

【図16】残熱情報の推定についての学習段階の説明図。

【図17】エネルギーデバイスの温度の時間依存性を示す図。

【図18】報知部によるアラート表示の例。

【図19】報知部によるアラート表示の例。

【図20】アラートを報知する場合の処理についての説明図。

【発明を実施するための形態】

【0009】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

１．システム
図１は、本実施形態におけるシステム１０の構成例である。図１には、内視鏡により術野を撮影する場合のシステム構成例が示されている。図１に示すシステム１０は、コントローラ１００と内視鏡システム２００とジェネレータ３００とエネルギーデバイス３１０とを含む。システム１０は、内視鏡下において少なくとも１つのエネルギーデバイスを用いて手術を行うための手術システムである。ここではシステム１０が１つのエネルギーデバイス３１０を含む例を示すが、システム１０が複数のエネルギーデバイスを含んでもよい。

【0011】

内視鏡システム２００は、内視鏡による撮影、内視鏡画像の画像処理、及び内視鏡画像のモニタ表示を行うシステムである。内視鏡システム２００は、内視鏡２１０と本体装置２２０と報知部２３０とを含む。ここでは、外科手術用の硬性鏡を例に説明する。

【0012】

内視鏡２１０は、体腔に挿入される挿入部と、挿入部の基端に接続される操作部と、操作部の基端に接続されるユニバーサルコードと、ユニバーサルコードの基端に接続されるコネクタ部とを含む。挿入部は、硬性管と対物光学系と撮像素子と照明光学系と伝送ケーブルとライトガイドとを含む。体腔内を撮影するための対物光学系及び撮像素子と、体腔内を照明するための照明光学系は、細長い円筒形状の硬性管の先端部に設けられる。硬性管の先端部は、湾曲可能に構成されてもよい。撮像素子により取得された画像信号を伝送する伝送ケーブル、及び照明光を照明光学系へ導光するライトガイドは、硬性管の内部に設けられる。操作部は、ユーザにより把持され、ユーザからの操作を受け付ける。操作部には、様々な機能が割り当てられたボタンが設けられる。挿入部先端が湾曲可能である場合には、操作部に、アングル操作レバーが設けられる。コネクタ部は、伝送ケーブルを本体装置２２０に着脱可能に接続するビデオコネクタと、ライトガイドを本体装置２２０に着脱可能に接続するライトガイドコネクタとを含む。

【0013】

本体装置２２０は、内視鏡の制御、内視鏡画像の画像処理及び内視鏡画像の表示処理を行う処理装置と、照明光の生成及び照明光の制御を行う光源装置とを含む。本体装置２２０はビデオシステムセンターとも呼ばれる。処理装置は、ＣＰＵ等のプロセッサにより構成され、内視鏡２１０から送信される画像信号を画像処理して内視鏡画像を生成し、その内視鏡画像を報知部２３０とコントローラ１００に出力する。光源装置が出射した照明光は、ライトガイドにより照明光学系へ導光され、照明光学系から体腔内へ出射される。

【0014】

エネルギーデバイス３１０は、その先端部から高周波電力又は超音波等によりエネルギーを出力することで、その先端部が接する組織に対して凝固、封止、止血、切開、切離又は剥離等の処置を行うデバイスである。エネルギーデバイス３１０は、エネルギー処置具とも呼ばれる。エネルギーデバイス３１０は、デバイス先端の電極と体外の電極の間に高周波電力を通電させるモノポーラデバイス、２つのジョウの間に高周波電力を通電させるバイポーラデバイス、プローブとジョウが設けられると共にプローブから超音波を出射する超音波デバイス、又はプローブとジョウの間に高周波電力を通電させると共にプローブから超音波を出射する併用デバイス等である。

【0015】

ジェネレータ３００は、エネルギーデバイス３１０へのエネルギー供給、エネルギー供給の制御、及びエネルギーデバイス３１０からの電気的情報の取得を行う。エネルギーデバイス３１０が高周波エネルギーを出力する場合、ジェネレータ３００は高周波電力を供給し、エネルギーデバイス３１０は、その高周波電力を電極又はジョウから出力する。エネルギーデバイス３１０が超音波エネルギーを出力する場合、ジェネレータ３００は電力を供給し、エネルギーデバイス３１０のプローブは、その電力を超音波に変換して出力する。

【0016】

電気的情報は、エネルギーデバイス３１０の電極又はジョウが接する組織の電気的情報であり、具体的には、エネルギーデバイス３１０が組織に高周波電力を出力した応答として得られる情報である。電気的情報は、例えば、エネルギーデバイス３１０により処置される組織のインピーダンス情報である。但し、後述のように電気的情報はインピーダンス情報に限らない。

【0017】

ジェネレータ３００は、出力シーケンスに従って、エネルギーデバイス３１０からのエネルギー出力を時間的に変化させる制御を行う。ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を変化させてもよい。この場合、出力シーケンスは、インピーダンス情報の変化に対してどのようにエネルギー出力を変化させるかを、規定してもよい。また、ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を自動オフしてもよい。例えば、ジェネレータ３００は、インピーダンスが一定以上に上昇したとき、処置終了と判断してエネルギー出力をオフしてもよい。

【0018】

コントローラ１００は、内視鏡システム２００とジェネレータ３００から画像とエネルギー情報を取得する。そして、残熱推定を行い、推定結果を術者に報知するためにモニタに出力する。

【0019】

生体組織に関する情報は、特定の臓器だけでなく、臓器間を繋ぐ組織等の臓器に付随する部分も含まれる。エネルギーデバイス３１０は、後述の図４～図６で説明するように、モノポーラデバイス３２０、バイポーラデバイス３３０、超音波デバイス３４０等のエネルギーデバイスであるが、これら以外であってよい。

【0020】

ジェネレータ３００は、エネルギー出力調整指示に従って、エネルギーデバイス３１０のエネルギー出力を調整する。即ち、本実施形態のシステム１０は、内視鏡画像に基づいてエネルギーデバイス３１０からのエネルギー出力を自動調整するシステムである。ジェネレータ３００は、エネルギー出力調整指示により指示されるエネルギー供給量でエネルギーデバイス３１０にエネルギーを供給し、エネルギーデバイス３１０が、そのエネルギー供給を受けてエネルギー出力することで、エネルギー出力がエネルギー出力調整指示により調整される。

【0021】

エネルギー出力調整指示は、出力シーケンスの波形全体としての出力を増減する指示、或いは、選択可能な複数の出力シーケンスのうち、いずれかの出力シーケンスに設定する指示等である。例えば、エネルギーデバイス３１０からのエネルギー出力が段階的な倍率により調整可能であるとき、エネルギー出力調整指示は、そのエネルギー出力の段階的な倍率を示す指示である。ジェネレータ３００は、その指示された倍率に応じて高周波出力又は超音波出力を増減させる。倍率は連続的に調整可能であってもよい。或いは、複数の出力シーケンスが設けられているとき、エネルギー出力調整指示は、その複数の出力シーケンスのいずれかを示す指示である。ジェネレータ３００は、その指示された出力シーケンスに従ってエネルギーデバイス３１０からのエネルギー出力を行う。なお、エネルギー出力調整指示は、エネルギー出力の増減と出力シーケンスの変更の両方の指示を含んでもよい。

【0022】

２．コントローラ
図２は、コントローラ１００の構成例である。コントローラ１００は、システム１０全体の制御を担う。コントローラ１００は、制御部１１０と記憶部１２０とＩ／Ｏデバイス１７０、１８０、１９０とを含む。図１と図２には、コントローラ１００がジェネレータ３００と別体の装置で構成される例を示す。その場合、コントローラ１００は、ＰＣ又はサーバ装置等の情報処理装置により構成される。或いは、コントローラ１００は、ネットワークを介して接続された１又は複数の情報処理装置によって処理を実行するクラウドシステムで実現されてもよい。

【0023】

Ｉ／Ｏデバイス１８０は、内視鏡システム２００の本体装置２２０から内視鏡画像の画像データを受信する。Ｉ／Ｏデバイス１８０は、画像伝送用のケーブルが接続されるコネクタ、又は、そのコネクタに接続され、本体装置２２０との通信を行うインターフェース回路である。

【0024】

Ｉ／Ｏデバイス１９０は、報知部２３０への出力に用いられるインターフェース回路である。Ｉ／Ｏデバイス１９０は、信号伝送用のケーブルが接続されるコネクタ、又はそのコネクタに接続され、報知部２３０との通信を行う。またＩ／Ｏデバイス１７０は、電源供給に用いられるインターフェース回路である。

【0025】

制御部１１０は、学習済みモデル１２１を用いた画像認識処理により内視鏡画像から、エネルギーデバイス３１０の熱量又は温度に関する情報である推定残熱情報を推定し、当該情報に基づく報知を報知部２３０に行わせる。制御部１１０は、ハードウェアとして１又は複数のプロセッサを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）又はＤＳＰ（Digital Signal Processor）等の汎用プロセッサである。或いは、プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の専用プロセッサであってもよい。

【0026】

記憶部１２０は、画像認識処理に用いられる学習済みモデル１２１を記憶する。汎用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデル１２１として記憶する。学習済みモデル１２１は、第１学習済みモデル１２２と第２学習済みモデル１２３と第３学習済みモデル１２４と、を含む。第１学習済みモデル１２２は、後述の図１４で説明する生体組織の推定に関する学習済みモデル１２１である。また第２学習済みモデル１２３は、エネルギーデバイス３１０の推定に関する学習済みモデル１２１であり、第３学習済みモデル１２４は、残熱の推定に関する学習済みモデル１２１である。推論アルゴリズムがハードウェア化された専用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムに用いられるパラメータを学習済みモデル１２１として記憶する。

【0027】

記憶部１２０は、半導体メモリ、ハードディスクドライブ、又は光学ディスクドライブ等の記憶装置である。半導体メモリは、ＲＡＭ、ＲＯＭ又は不揮発性メモリ等である。

【0028】

画像認識処理の推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数とバイアスがパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。画像認識処理に用いられるニューラルネットワークとして、例えばＣＮＮ（Convolutional Neural Network）を採用できる。

【0029】

また制御部１１０は、第１認識部１１１と、第２認識部１１２と、推定部１１３と、出力情報判断部１１４と、提示部１１５と、を含む。記憶部１２０は、第１認識部１１１、第２認識部１１２、推定部１１３、出力情報判断部１１４及び提示部１１５の各部の機能が記述されたプログラムを記憶する。制御部１１０の１又は複数のプロセッサが、記憶部１２０からプログラムを読み出し、そのプログラムを実行することで、第１認識部１１１、第２認識部１１２、推定部１１３、出力情報判断部１１４及び提示部１１５の各部の機能を実現する。この各部の機能が記述されたプログラムは、コンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。

【0030】

図３は、コントローラ１００がエネルギーデバイス３１０の残熱情報を分析し、医師に情報提示を行う際の処理をフローチャートで示した図である。まず、ステップＳ１において、制御部１１０は、内視鏡システム２００の本体装置２２０からＩ／Ｏデバイス１８０を介して、内視鏡画像及びエネルギー情報を取得する。内視鏡画像は例えば、エネルギーデバイス３１０若しくは生体組織又はこれら両方が撮像された画像であり、処理画像ともいう。またエネルギー情報は、例えばエネルギーの出力設定や出力履歴等の情報である。

【0031】

次に、制御部１１０はステップＳ２Ａａ、ステップＳ２Ａｂ及びステップＳ２Ｂを実行する。ステップＳ２Ａａでは、第１認識部１１１は、第１学習済みモデル１２２を用いた画像認識処理を内視鏡画像に対して行うことで、当該画像からエネルギーデバイス３１０を推定する。ステップＳ２Ａｂでは、第２認識部１１２は、第２学習済みモデル１２３を用いた画像認識処理を内視鏡画像に対して行うことで、当該画像から生体組織を推定する。一方、ステップＳ２Ｂでは、推定部１１３は、第３学習済みモデル１２４を用いた画像認識処理を内視鏡画像に対して行うことで、エネルギーデバイス３１０の先端部分の残熱温度を推定する。先端部分とは、エネルギーデバイス３１０からエネルギーが出力される部位の周辺を指している。例えばエネルギーデバイス３１０が後述の図５に示すバイポーラデバイス３３０の場合、先端部分は後述する図１２に示すブレード、パッド、シャフトを指す。なお、ステップＳ２Ａａで推定されたエネルギーデバイス３１０に関する情報や、ステップＳ２Ａｂで推定された生体組織に関する情報は、エネルギーデバイス３１０の残熱情報や生体組織への熱拡散等に影響を与える情報になる。

【0032】

次に、ステップＳ３において、出力情報判断部１１４は、ステップＳ２ＡａとステップＳ２Ｂでの推定結果に基づいて、医師に提示する情報の構築を行う。例えば、内視鏡画像上における、エネルギーデバイス３１０や生体組織、温度等を示す表示やその表示場所についての情報の構築を行う。

【0033】

次に、ステップＳ４において、提示部１１５は、出力情報判断部１１４の構築した表示場所等の内容についての情報に基づいて、報知部に表示する画像の作成を行う。例えば、内視鏡画像に表示する温度域表示等の表示を重畳して１つの画像を作成する。そして、ステップ５において、報知部２３０は制御部１１０の指示で提示部１１５の作成した画像の表示を行う。

【0034】

３．エネルギーデバイス
以下、エネルギーデバイス３１０の一例として、モノポーラデバイス３２０、バイポーラデバイス３３０、超音波デバイス３４０及び併用デバイスについて説明する。

【0035】

図４は、モノポーラデバイス３２０の構成例である。モノポーラデバイス３２０は、細長い円筒形状の挿入部３２２と、挿入部３２２の先端に設けられる電極３２１と、挿入部３２２の基端に接続される操作部３２３と、操作部３２３と不図示のコネクタとを接続するケーブル３２５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。

【0036】

ジェネレータ３００が出力した高周波電力はケーブル３２５により伝送され、電極３２１から出力される。患者の体外に対極板が設けられており、電極３２１と対極板の間で通電する。これにより、電極３２１が接する組織に高周波エネルギーが印加され、その組織にジュール熱が発生する。電極３２１は、処置の内容に応じて様々な形状の電極が採用される。モノポーラデバイス３２０は、通電パターンの変更により、凝固と切開の程度を調整可能である。

【0037】

図５は、バイポーラデバイス３３０の構成例である。バイポーラデバイス３３０は、細長い円筒形状の挿入部３３２と、挿入部３３２の先端部３３１に設けられる２つのジョウ３３７、３３８と、挿入部３３２の基端に接続される操作部３３３と、操作部３３３と不図示のコネクタとを接続するケーブル３３５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。ジョウ３３７、３３８は、組織を把持すると共に把持された組織にエネルギーを印加するための可動部のことであり、基端３３６に設けられた軸を中心として開閉可能に構成されている。操作部３３３は、ジョウ３３７、３３８の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３３７、３３８が閉まり組織を把持する。

【0038】

ジェネレータ３００が出力した高周波電力はケーブル３３５により伝送され、ジョウ３３７、３３８が組織を把持したとき２つのジョウ３３７、３３８の間に通電する。これにより、２つのジョウ３３７、３３８に挟まれた組織に高周波エネルギーが印加され、その組織にジュール熱が発生し、その組織が凝固する。ジェネレータ３００は、ジョウ３３７、３３８に把持された組織のインピーダンス情報を計測し、そのインピーダンス情報に基づいて処置完了を検知し、エネルギー出力を自動停止してもよい。また、ジェネレータ３００は、インピーダンス情報に基づいて、組織への印加エネルギーを自動調整してもよい。なお、例えばバイポーラデバイス３３０のデバイス温度は摂氏１００度程度まで上昇する。

【0039】

なお、バイポーラデバイスの派生デバイスとしてベッセルシーリングデバイスがある。ベッセルシーリングデバイスは、バイポーラデバイスのジョウにカッターが設けられたデバイスであり、通電により組織を凝固した後にカッターを走らせることで組織を切離する。

【0040】

図６は、超音波デバイス３４０の構成例である。超音波デバイス３４０は、細長い円筒形状の挿入部３４２と、挿入部３４２の先端部３４１に設けられるジョウ３４７及びプローブ３４８と、挿入部３４２の基端に接続される操作部３４３と、操作部３４３と不図示のコネクタとを接続するケーブル３４５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。ジョウ３４７は、基端３４６に設けられた軸を中心として可動であり、非可動のプローブ３４８に対して開閉可能に構成されている。操作部３４３は、ジョウ３４７の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３４７が閉まり、ジョウ３４７とプローブ３４８が組織を把持する。操作部３４３には、第１出力モードが割り当てられた操作ボタン３４４ａと、第２出力モードが割り当てられた操作ボタン３４４ｂとが設けられる。出力モードは処置内容に応じて選択されるものであり、各出力モードの操作ボタンが押されると、そのモードの出力シーケンスで超音波エネルギーが出力される。

【0041】

ジェネレータ３００が出力した電力はケーブル３３５により伝送され、操作ボタン３４４ａ又は３４４ｂが押されたときにプローブ３４８が電力を超音波に変換して出力する。これにより、ジョウ３４７とプローブ３４８に挟まれた組織に摩擦熱が発生し、その組織が凝固する又は組織が切開される。なお、超音波デバイスの熱拡散に関しては、例えば、高周波デバイスの熱拡散に比べて、超音波デバイス３４０の熱拡散は少ないが、超音波デバイス３４０のデバイス温度は摂氏２００度近くまで上昇する。

【0042】

高周波電力と超音波を併用する併用デバイスは、例えば図６の超音波デバイスと同様の構成である。但し、併用デバイスは、ジョウとプローブの間に高周波電力を通電することで、ジョウとプローブに把持された組織にジュール熱を発生させ、その組織を凝固させることができる。また併用デバイスは、超音波デバイスと同様に、プローブから超音波を出力することで、ジョウとプローブに把持された組織を切開できる。操作部に設けられた２つの操作ボタンの一方には、高周波モードが割り当てられ、他方にはシール＆カットモードが割り当てられる。高周波モードは、高周波エネルギー出力のみで凝固等の処置を行うモードである。シール＆カットモードは、高周波エネルギーと超音波エネルギーを併用するモードであり、高周波エネルギー出力により組織を凝固させると共に組織を切離するモードである。

【0043】

なお、以下の実施形態においては、主にバイポーラデバイス３３０をエネルギーデバイス３１０として用いる場合を例に説明する。但し、本実施形態は、熱拡散が生じる可能性がある上記の様々なエネルギーデバイスを用いる場合に適用可能である。

【0044】

４．第１実施形態
図７は、第１実施形態の処理例である。まず、Ｓ２１Ａに示すように制御部１１０の処理により、制御部１１０に内視鏡画像が入力される。具体的には、内視鏡により撮像された動画像の各フレーム画像が順次に制御部１１０に入力される。内視鏡画像には、１又は複数のエネルギーデバイス３１０及び１又は複数の生体組織が撮像されている。なお、以下の説明においては、内視鏡画像のことを、適宜、処置画像と記載する。図８は、図７のＳ２１Ａにおける入力情報である処置画像の例である。このように、第１認識部１１１と第２認識部１１２に入力される処置画像には、エネルギーデバイス３１０と生体組織が写っている。

【0045】

次に、Ｓ２２Ａで、制御部１１０の第１認識部１１１は、後述の図１４で説明する機械学習によって調整された推定プログラムを実行することで、処置画像からエネルギーデバイス３１０を検出する。当該推定プログラムは、後述の図１４～図１６で説明するように、エネルギー出力情報に応じた蓄熱量、組織の種類に応じた放熱量、処置具による組織把持時間などの関係性を学習した学習済みモデル１２１を実行するプログラムである。Ｓ２２Ａでは、第１認識部１１１は、推定プログラムを有するネットワークに、制御部１１０が処置画像をインプットすることでエネルギーデバイス３１０を検出する。具体的には、第１認識部１１１は、処置画像からデバイス情報を抽出する。ここで、デバイス情報とは、エネルギーデバイス３１０の種類、存在範囲、或いはその先端部分の状態等である。先端部分の状態とは、例えばジョウ３３７、３３８の開閉状態である。なお、デバイスの種類の入力は、医師によるマニュアル入力でもよい。また処置画像とジェネレータ３００等から入手したデバイスの種類とを本機能の推定プログラムにインプットし、処置画像内のエネルギーデバイス３１０を検出する。

【0046】

そして、制御部１１０は、推定プログラムに基づいて、処置画像に写された被写体の中から、エネルギーデバイス３１０を示す領域を推定し、当該領域に色を付してラベリングをする。このようにして、制御部１１０の第１認識部１１１は、処置画像からエネルギーデバイス３１０に関する情報であるデバイス情報を抽出する。またＳ２２Ａでは、複数の内視鏡画像からエネルギーデバイス３１０が生体組織を把持していた時間を検出する。そして、制御部１１０は当該ラベリングのされた処置画像及び当該把持時間を第２認識部１１２に出力する。

【0047】

そして、図７のＳ２２Ｂに示すように、制御部１１０の第２認識部１１２は、前述した推定プログラムを実行することで、処置画像から生体組織の種類を検出する。ここで、検出する生体組織の種類は、エネルギーデバイス３１０が生体組織を把持しているか否かに関わらず、当該手術の処置対象になっている生体組織を指す。また生体組織以外に、その把持量或いは、把持時間を検出することもできる。この場合、把持時間は、把持してからの経過時間であり、処置画像から認識することができる。生体組織の種類は、例えば大血管、膵臓、十二指腸等であるが、これらに限られない。制御部１１０は生体組織の種類をアノテーションして学習させた推定プログラムを有するネットワークに、第１認識部１１１における前述のラベリングのされた処置画像をインプットすることで、処置画像に写った生体組織の種類を検出する。なお、生体組織の種類の入力は、医師によるマニュアル入力でもよい。また、生体組織の種類の他、生体組織の状態、例えばウェット、ドライ等の状態も検出できる。そして、上記で推定した生体組織の種類のラベリングを行う。例えば、ある生体組織の領域である部分に色を付すことにより行う。このようにして、第２認識部１１２は、処置画像から生体組織に関する情報である組織情報を抽出する。なお、上記で内視鏡画像ではなく、ＣＴ（Computed Tomography）或いはＭＲＩ（Magnetic Resonance Imaging）との３Ｄマッチングにより、生体組織の検出を行うこともできる。

【0048】

次に、図７のＳ２３に示すように、制御部１１０の推定部１１３は、第１認識部１１１及び第２認識部１１２の推定結果を受けて、当該推定結果に基づいて残熱情報の推定を行う。ここで、推定部１１３は、Ｓ２４に示すように第１認識部１１１及び第２認識部１１２の推定結果以外に、エネルギー供給量に関する情報を用いて上記の推定を行うこともできる。エネルギー供給量に関する情報は、エネルギーデバイスの主にエネルギー出力設定に関する情報であり、例えばエネルギーの出力量或いは出力時間であり、当該情報は例えば、エネルギーデバイス３１０から取得できる。そして、エネルギー供給量に関する情報は、ジェネレータ３００等から取得することもできる。即ち、推定部１１３は、デバイス情報と、組織情報と、エネルギー供給量に関する情報がある場合には当該情報とを後述の図１３で説明する推定プログラムにインプットすることで、エネルギーデバイス３１０の残熱情報を推定する。残熱情報とは、エネルギーデバイス３１０の先端部分の例えば温度、熱量等の情報である。そして、推定部１１３の推定した残熱情報のことを推定残熱情報という。このようにして制御部１１０の推定部１１３は、推定残熱情報の推定を行う。推定残熱情報の推定は、例えば推定部１１３が組織情報、デバイス情報から、エネルギーデバイス３１０に処置される処置対象組織を推定する。そして、推定部１１３は、推定された処置対象組織からエネルギーデバイス３１０周辺の組織についての情報も得ることができ、これに基づいて伝熱経路の熱容量を推定する。当該伝熱経路の熱容量に基づいて、推定部１１３はエネルギーデバイス３１０の推定残熱情報を推定することができる。また、推定部１１３はエネルギー供給後だけでなく、エネルギー供給中の推定残熱情報を推定してもよい。例えば、推定部１１３はデバイス情報と組織情報とに基づいて、エネルギーデバイス３１０に処置対象組織を推定することができる。そして、推定された処置対象組織から伝熱経路の熱容量を推定でき、これに基づいてエネルギーデバイス３１０の先端部分の残熱情報を推定できる。

【0049】

図７のＳ２５で、出力情報判断部１１４は、これまでのＡ２２Ａ、Ｓ２２Ｂ及びＳ２３のそれぞれの出力結果に基づいて、出力情報についての判断を行う。具体的には、出力情報判断部１１４は、第１認識部１１１、第２認識部１１２及び推定部１１３で推定した情報を集計し、医師に提示する情報の判断を行う。

【0050】

そして、図７のＳ２６において、制御部１１０の提示部１１５は、Ｓ２５で推定部１１３が推定した情報である推定残熱情報に基づく報知を、報知部２３０に行わせる。報知の方法は、報知部２３０にアイコンを表示したり、又は音、振動等による報知がある。なお、コントローラ１００はエネルギー出力調整指示をジェネレータ３００に出力する機能を備えていてもよい。例えば、術者の入力が可能なインターフェースを介して、術者の入力に従ってエネルギー出力調整指示をジェネレータ３００に出力しても良い。あるいは、上述したような機械学習等を用いた画像認識処理により内視鏡画像から生体組織と、エネルギーデバイス３１０とを認識し、その認識した情報に基づいて、ジェネレータ３００にエネルギー出力調整指示を出力してもよい。

【0051】

図９～図１２は、提示部が重畳表示した画像の例である。図９～図１２に示す画像では、エネルギーデバイス３１０の先端部分の部位ごとの現在の残熱温度を色で区別して表示している。そして、図９に示す画像は、画像の左上に棒フラフで色と温度の関係を示した場合の例である。図１０に示す画像は、色と温度の関係を画像の左上に数値で示した場合の例である。図１１に示す画像は、色と温度の関係がわかるようにエネルギーデバイス３１０の先端部分の部位に直接、温度を数値で示している。また、エネルギーデバイス３１０の先端部分の部位の表示は、図１２に示す画像にように、シャフト、ブレード、パッドがわかるように画像の中に表示してもよい。例えば、ブレードの部分が摂氏200度になると、金属で繋がっているシャフト分も摂氏100度程度まで熱くなる場合があるが、特にシャフト部分には注意が回らない場合が多く、熱損傷を与えてしまうリスクが高い。従って、図９～図１２に示すように、エネルギーデバイス３１０の先端部分の部位ごとに温度を表示することで、熱損傷リスクする効果が大きくなる。このように、部位ごとの現在の残熱温度は、例えば棒フラフ又は数値による表示により行うことができる。そして、部位ごとの温度状態は、例えば色を付すことで識別できるようになる。なお、色の重畳表示により、エネルギーデバイス３１０の先端部分の視認性の悪化が問題になる場合もある。このような場合には、医師の選択により色の重畳表示をしないように表示設定を変更できるようにしてもよい。例えば、図１２のエネルギーデバイス３１０の先端部分のブレードとパッド部分には、色を重畳表示しないように設定することが考えられる。

【0052】

図１３は、エネルギーデバイス３１０及び生体組織、並びに残熱情報の推定処理の機械学習を行う学習装置５００の構成例である。学習装置５００は、処理部５１０と記憶部５２０とを含む。学習装置５００は、例えばＰＣ又はサーバ装置等の情報処理装置によって実現される。或いは、学習装置５００は、ネットワークを介して接続された１又は複数の情報処理装置によって処理を実行するクラウドシステムで実現されてもよい。

【0053】

処理部５１０はＣＰＵ等のプロセッサであり、記憶部５２０は半導体メモリ又はハードディスクドライブ等の記憶装置である。記憶部５２０は学習モデル５２２と教師データ５２１とを記憶している。ここで、教師データ５２１は第１教師データ５２１Ａ、第２教師データ５２１Ｂ及び第３教師データ５２１Ｃとを含む。また学習モデル５２２は、第１学習モデル５２２Ａ、第２学習モデル５２２Ｂ及び第３学習モデル５２２Ｃとを含む。そして、処理部５１０が教師データ５２１を用いて学習モデル５２２を学習させることで、学習済みモデル１２１を生成する。教師データ５２１は、複数の学習用画像の画像データとエネルギーデバイス３１０のエネルギー出力設定に関する情報である学習用情報とを含む。そして、当該学習用画像と学習用情報には、それぞれ正解データが付されている。ここで第１教師データ５２１Ａはエネルギーデバイス３１０についての教師データである。また第２教師データ５２１Ｂは生体組織についての教師データ、第３教師データ５２１Ｃは残熱情報についての教師データである。そして、第１学習モデル５２２Ａはエネルギーデバイス３１０についての学習モデル、第２学習モデル５２２Ｂは生体組織についての学習モデル、第３学習モデル５２２Ｃは残熱情報の学習モデルある。上記の学習用画像は、１又は複数の生体組織及び１又は複数のエネルギーデバイス３１０が写る処置画像を含む。この処置画像を学習用デバイス組織画像とも呼ぶ。また学習用画像は、１又は複数の生体組織が写り、且つエネルギーデバイス３１０が写らない処置画像を含んでもよい。この処置画像を学習用組織画像とも呼ぶ。正解データは、セグメンテーション（領域検出）におけるアノテーション、ディテクション（位置検出）におけるアノテーション、クラシフィケーション（分類）における正解ラベル、又はリグレッション（回帰分析）における正解ラベルである。処理部５１０は、学習モデル５２２による推論処理に学習用画像を入力し、その推論処理の結果と正解データの誤差に基づいて学習モデル５２２にフィードバックを行い、それを多数の教師データで繰り返すことで、学習済みモデル１２１を生成する。そして、生成された学習済みモデル１２１は、コントローラ１００の記憶部１２０に転送される。

【0054】

図１４～図１６は、上述した学習段階の詳細を説明する図である。図１４は、第１認識部１１１におけるエネルギーデバイス３１０、生体組織の把持時間の推定に用いられる第１学習済みモデル１２２についての説明図である。図１４に示すように、不図示の学習装置５００は、エネルギーデバイス３１０、生体組織の写った処置画像に対応するアノテーションがラベリングされた第１教師データ５２１Ａを、第１学習モデル５２２Ａにフィードバックすることで、既存の第１学習済みモデル１２２を修正し、新たな第１学習済みモデル１２２として、コントローラ１００に送信する。アノテーションの内容は、エネルギーデバイス３１０の種類及び位置、エネルギーデバイス３１０の先端部分の構成及び状態、処置対象である生体組織の種類等の正解データにあたる情報である。

【0055】

図１５は、第２認識部１１２における生体組織の種類の推定に用いられる第２学習済みモデル１２３についての説明図である。図１５に示すように、不図示の学習装置５００は、処置画像に対応するアノテーションがラベリングされた第２教師データ５２１Ｂを、第２学習モデル５２２Ｂにフィードバックすることで、既存の第２学習済みモデル１２３を修正し、新たな第２学習済みモデル１２３として、コントローラ１００に送信する。アノテーションの内容は、エネルギーデバイス３１０の位置、処置対象である生体組織の種類等の正解データにあたる情報である。

【0056】

図１６は、推定部１１３における残熱情報の推定に用いられる第３学習済みモデル１２４についての説明図である。図１６に示すように、不図示の学習装置５００は、処置画像に対応するアノテーションがラベリングされた第３教師データ５２１Ｃを、第３学習モデル５２２Ｃにフィードバックすることで、既存の第３学習済みモデル１２４を修正し、新たな第３学習済みモデル１２４として、コントローラ１００に送信する。なお、学習段階において、推定部１１３はエネルギー供給中の温度を推定するように学習させてもよい。

【0057】

学習用画像に付された正解データはエネルギーデバイス３１０の種類、エネルギーデバイス３１０の先端部分の残熱温度、処置対象である生体組織の種類、生体組織を把持している時間等である。学習用画像に付される正解データには、サーモカメラまたは処置具先端に搭載した温度センサーにより取得した残熱温度を用いることができる。例えば、サーモカメラにより撮像された画像に写ったエネルギーデバイス３１０の各部位に温度を示す色が付される。そして、当該画像が第３教師データ５２１Ｃの学習用画像になり、当該画像に色で示された残熱情報が正解データになる。なお、正解データは、例えば医師が付してもよい。

【0058】

エネルギー出力設定に関する情報である学習用情報に付された正解ラベルは、例えばエネルギーの出力量、出力時間等又はこれらの履歴についての情報である。学習用情報に付される正解データは、ジェネレータ３００等の機器から取得することができる。またジェネレータ３００等の機器から出力エネルギーの履歴情報を取得してもよい。当該履歴情報を第３学習モデル５２２Ｃにフィードバックし、第３学習済みモデル１２４を生成することで、残熱情報の推定精度の向上が図られる。このように学習装置５００において、多数の学習用デバイス組織画像又は学習用組織画像を教師データ５２１として、学習モデル５２２にフィードバックすることで、制御部１１０の推定精度の向上が図られる。

【0059】

さて、外科手術においてエネルギー処置を行う際、エネルギーデバイスの熱から生体組織を保護し、安全を保ちながら効率的に手術を行うことが重要になる。外科手術においてエネルギーデバイスを使用する際に、非エキスパートはエネルギーデバイスの先端部分、例えばアクティブブレード、パッド、シャフトの残熱状態を予測することは難しい場合が多い。例えば、連続で処置を続けていると、エネルギーデバイスの温度は次第に熱くなるが、今どのくらいの温度であるかを予測することは困難である。また、特に前述した図６の超音波デバイス３４０では、短時間で摂氏２００度程度まで上昇するため、非エキスパートの医師が安全を保ちながら効率的に手術を行うことは難しく、熟練を要するものである。

【0060】

特許文献１に開示される医療装置は、エネルギー処置具の使用後、高温状態のエネルギーデバイスが処置画像内に存在する場合、処置画像に高温デバイスの有無を表示し、画像内のエネルギーデバイスに警告画像を重畳表示する。しかし、当該医療装置では、処置画像に具体的な残熱温度が提示されないため、エネルギーデバイスの冷却のタイミングが医師ごとに異なる場合に対応できない。また温度測定にサーモカメラ等を使用することは、腹腔鏡手術におけるポート数の増加やセンサー搭載デバイスの太さの増大に繋がるという課題がある。例えば、医師はエネルギーデバイスを空冷により降温させたり、エネルギーデバイスの先端部分を濡れたガーゼに当てて温度を冷ましたりするが、その加減の調整が難しい。

【0061】

この点、本実施形態によれば、電源からエネルギーデバイス３１０への通電時間、通電量及び処置対象組織の種類・状態に応じたエネルギーデバイス３１０先端部分の残熱温度の推移を教師データとした機械学習により、制御部１１０は温度等の残熱情報を推定し、医師に提示する。例えば、ある生体組織に与えたエネルギーに基づいて、現在のエネルギーデバイスの温度を推定するように機械学習をさせる。このようにすれば、エネルギーデバイス３１０先端部分の残熱情報を推定してリアルタイムで表示できるようになる。このため、医師の経験、能力に依存せずにエネルギーデバイス３１０の冷却のタイミングが判断できる。従って、非エキスパートの医師であっても、温存組織への熱損傷を回避することが容易になり、より安全かつ効率的に手術を実施することができる。

【0062】

５．第２実施形態
第２実施形態では、制御部１１０は、エネルギーデバイス３１０によるエネルギー出力が完了した後における熱量又は温度の推移を推定残熱情報として、これに基づく報知を報知部２３０に行わせる。即ち、第２実施形態では、エネルギーデバイス３１０によるエネルギー供給が完了したあと、エネルギーデバイス３１０先端部の熱量又は温度がどのように推移するかについて前述した推定プログラムによる推定が行われる。

【0063】

第２実施形態では、学習済みモデル１２１は、学習用画像及び学習用情報と、エネルギー出力後の残熱推移との関係を学習し、エネルギー出力が完了した後における熱量又は温度の推移を推定するように学習している。即ち、学習装置５００では、エネルギー出力の完了後におけるエネルギーデバイス３１０の温度の推移を推定する第３学習済みモデル１２１Ｃを作成するため、エネルギー供給中の残熱履歴情報を第３教師データ５２１Ｃとして、第３学習済みモデル１２４を修正し、新たな第３学習済みモデル１２４を作成する。そして、推定部１１３は、前述した通り、第３学習済みモデル１２４に基づいて、残熱情報の推定を行う。この場合に、推定部１１３は、第３教師データ５２１Ｃである生体組織の種類、生体組織の把持時間、エネルギーデバイス３１０のエネルギーの出力量、出力時間等の情報に基づいて、エネルギー出力の完了した後におけるエネルギーデバイス３１０先端の熱量又は温度の推移を推定する。

【0064】

図１７は、エネルギーデバイス３１０の先端部分の温度の推移の推定について説明する図である。横軸は時間（ｓ）、縦軸は温度（℃）である。また各時刻は、ｔ３＜ｔ２＜ｔ１＜ｔ０の関係にあり、現在の時刻はｔ０である。この場合に、時刻ｔ０に、時刻ｔ３、ｔ２、ｔ１における温度を取得していた場合、グラフに丸印でプロットすると、例えば図１７のようになる。そして、これらのデータから残熱温度の時間依存性を示す近似曲線を求めることができる。近似曲線は、例えばコンピュータの解析機能を用いて求めることができる。さらに、図１７の破線で示すように当該近似曲線を、ｔ＞ｔ０の範囲に外挿することで、エネルギーデバイス３１０によるエネルギー出力が完了した後における熱量又は温度の推移を推定することができる。

【0065】

このようにすれば、医師は現時点での残熱情報のみでなく、今後の温度の推移についての情報も得ることができる。従って、医師は手術を円滑に行うことができる。

【0066】

また、上記で推定した温度の推移に基づいて、エネルギーデバイス３１０先端部の温度が、所望の規定値に到達するまでの時間の推定を行い、推定された時間を報知部２３０に報知させることもできる。即ち、例えば生体組織に熱損傷を与えるおそれのある温度Ｔｘを閾値としたとき、現時刻ｔ０からどのくらいの時間が経過すれば、温度が閾値Ｔｘを下回り、処置を再開できるのかの目安となる時間の提示をすることができる。熱損傷の有無の判断基準は、例えば蛋白質の変性、細胞内酵素の失活等が発生するか否かを基準として行う。なお、このような温度の閾値Ｔｘは、処置対象とする生体組織の種類によって異なるが、例えば摂氏５０度～摂氏６０度である。そして、処置対象である生体組織の種類に応じて、所望の規定値を変える場合、例えば、膵臓、十二指腸等の熱損傷リスクの高い生体組織の場合には、規定値を低めに設定することで、特に重要な生体組織の熱損傷の発生を回避することができる。図１７に示すグラフにおいて、所望の規定値である温度を閾値Ｔｘとすると、推定された温度の推移の曲線がＴ＝Ｔｘと交わる時刻ｔｘにおいて、エネルギーデバイス３１０先端部の温度は閾値Ｔｘに到達する。従って、制御部１１０が、ｔｘ－ｔ０により定まる時間を求め、当該時間を報知部２３０に報知させることで、あとどのくらいの時間が経過すれば、医師が安全に処置を再開できるのかの目安を提示できる。このようにすれば、医師は処置を再開できるまでに要する時間を具体的に知ることができる。

【0067】

６．第３実施形態
第３実施形態では、制御部１１０は、推定残熱情報として推定したエネルギーデバイス３１０の熱量又は温度が所定の閾値より大きい場合に、アラートの報知を報知部２３０に行わせる。即ち、本実施形態では、制御部１１０は、例えばエネルギーデバイス３１０の先端部分の温度を推定し、推定した温度が所定の閾値より大きい場合に、医師にアラートの報知を行う。所定の閾値は、例えば「５．第２実施形態」で説明したような生体組織に熱損傷を与えるおそれのある温度である閾値Ｔｘである。また、閾値は、エネルギーデバイス３１０先端部分の熱量の値として定めてもよい。エネルギーデバイス３１０先端部分の温度自体は低温であっても、熱量が大きい場合には長時間に渡る熱により、生体組織に熱損傷を与えるリスクが大きくなる場合もある。従って、医師は状況に応じて、閾値を熱量により規定するか、温度により規定するかの選択ができる。

【0068】

報知部２３０のアラートには、例えば、報知部２３０の表示部２３２に警告表示を行う方法がある。ここで、表示部２３２は例えばパソコンのディスプレイである。即ち、ディスプレイ上にエネルギーデバイス３１０の先端部分の温度が閾値を超えている旨の表示を行うことで、医師に警告を行う。また警告を行う場合、例えば表示部２３２に表示されたエネルギーデバイス３１０に処置画像へ閾値を超えた領域がわかるように色などを付して重畳表示を行ってもよい。また制御部１１０は、表示部２３２への表示態様として、推定残熱情報である熱量又は温度が、所定の閾値より高い場合に、推定結果を表示させてもよい。

【0069】

警告表示は、前述した図９～図１１に示す推定結果の表示画面に、例えばテロップを付すことにより表示することができる。具体的には、図１８、図１９に示すような表示例が考えられる。図１８に示す例では、画像の左上に「警告！残熱１００℃超」というテロップを表示し、医師にエネルギーデバイス３１０の先端部分の温度が生体組織に熱損傷を与えるおそれがあることを警告している。図１９に示す例は、「警告！残熱１００℃まで〇秒」というテロップを表示した場合を示す。図１９に示す表示方法は、図１８に示す表示方法と異なり、例えば前述した閾値となる温度を下回るまでにかかる所要時間が表示される。従って、医師が手術を進める上で、より有用な情報を提供でき、手術を円滑に進めることができる。上記の所要時間は、例えば図１７において説明したエネルギーデバイス３１０の先端部分の温度の推移の推定方法により求めることができる。また図１８、図１９に示す表示において、例えば、上記のテロップの表示を点滅させる等の表示を行うことで、医師に対して、より効果的に注意を促すことができる。なお、警告は表示部２３２への表示に限られず、例えばアラーム音や、エネルギーデバイス３１０の振動による警告であってもよい。

【0070】

図２０は、第３実施形態においてコントローラ１００等が行う処理について説明した図である。本実施形態において、制御部１１０の推定部１１３は、エネルギーデバイス３１０の先端部分の温度又は熱量が、閾値より大きいと推定した場合、報知部２３０は、アラートを報知する。一方、エネルギーデバイス３１０の先端部分の熱量又は温度が、閾値以下であると推定した場合、報知部２３０は、アラートを報知しない。即ち、エネルギーデバイス３１０によるエネルギー供給の完了後、例えばエネルギーデバイス３１０をオフした後、エネルギーデバイス３１０の先端部分の熱量又は温度が閾値を超えていた場合、アラートを報知することになる。ここで、熱量又は温度の推移を推定している場合は、当該熱量又は温度が閾値以下になった後に、アラートの報知を停止する。上記の処理は、例えば記憶部１２０が残熱情報についてのテーブルデータを記憶し、制御部１１０が、そのテーブルデータを参照することで、推定結果に対応した報知部２３０の処理をＩ／Ｏデバイス１９０を介して、報知部２３０に出力する。そして、報知部２３０は、制御部１１０の出力結果に従って動作する。なお、アラートの報知を行うアルゴリズムは、上記に限られない。第３実施形態によれば、医師はエネルギーデバイス３１０の先端部分の残熱温度を把握できるようになり、より安全かつ効率的に手術を実施することができる。

【0071】

また、本実施形態のシステムは、プログラムとしても実現できる。即ち、本実施形態のプログラムは、少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得する。そしてエネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像又は少なくとも１つの生体組織が撮像された画像である学習用組織画像から、エネルギーデバイス３１０にエネルギー供給された後にエネルギーデバイス３１０に残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデル１２１に基づく処理により、エネルギーデバイス３１０のエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得する。そして処置画像と、エネルギー供給量に関する情報と、学習済みモデル１２１とに基づいて、エネルギーデバイス３１０の熱量又は温度に関する情報である推定残熱情報を推定し、推定残熱情報を表示部２３２に表示することと、をコンピュータに実行させる。ここで、コンピュータは、パソコン等のネットワーク端末等が想定される。但し、コンピュータは、スマートフォンやタブレット端末、スマートウォッチ等のウェアラブル端末であってもよい。このようにすることで、上記と同様の効果を得ることができる。

【0072】

また、本実施形態のシステムは、情報処理方法としても実現できる。即ち、情報処理方法は、少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得する。そしてエネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像又は少なくとも１つの生体組織が撮像された画像である学習用組織画像から、エネルギーデバイス３１０にエネルギー供給された後にエネルギーデバイス３１０に残る熱量あるいは温度に関する情報である残熱情報を出力するように学習した学習済みモデル１２１に基づく処理により、エネルギーデバイス３１０のエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得する。そして処置画像と、エネルギー供給量に関する情報と、学習済みモデル１２１とに基づいて、エネルギーデバイス３１０の熱量又は温度に関する情報である推定残熱情報を推定する。このようにすることで、上記と同様の効果を得ることができる。

【0073】

以上に説明した本実施形態のシステム１０は、学習済みモデル１２１を記憶する記憶部１２０と、制御部１１０と、を含む。学習済みモデル１２１は、学習用デバイス組織画像と、学習用組織画像と、学習用情報と、から、エネルギーデバイス３１０にエネルギー供給された後にエネルギーデバイス３１０に残る熱量あるいは温度に関する情報である残熱情報を出力するように学習する。学習用デバイス組織画像はエネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である。学習用組織画像は少なくとも１つの生体組織が撮像された画像である。学習用情報はエネルギーデバイスのエネルギー出力設定に関する情報であるエネルギー供給量に関する情報である。制御部１１０は、少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像を含んだ、少なくとも一つの処置画像を取得する。制御部１１０は、エネルギーデバイス３１０のエネルギー出力設定に関する情報であるエネルギー供給量に関する情報を取得する。制御部１１０は、処置画像と、エネルギー供給量に関する情報と、学習済みモデル１２１とに基づいて、エネルギーデバイス３１０の熱量又は温度に関する情報である推定残熱情報を推定する。制御部１１０は、推定残熱情報に基づく報知を報知部に行わせる。

【0074】

本実施形態によれば、電源からエネルギーデバイス３１０への通電時間、通電量及び処置対象組織の種類・状態に応じたエネルギーデバイス３１０先端部分の残熱温度の推移を教師データ５２１とした機械学習により、温度等の残熱情報を推定し、医師に提示できる。このようにすれば、エネルギーデバイス３１０先端部分の残熱情報を推定してリアルタイムで表示できるようになる。このため、医師の経験、能力に依存せずにエネルギーデバイス３１０の冷却のタイミングが判断できる。従って、非エキスパートの医師であっても、温存組織への熱損傷を回避でき、より安全かつ効率的に手術を実施することができる。なお、学習用デバイス組織画像、学習用組織画像、学習用情報については、「４．第１実施形態」で説明されている。

【0075】

また本実施形態では、制御部１１０は、処置画像から、処置画像上に撮像される生体組織に関する情報である組織情報を抽出し、組織情報とエネルギー供給量に関する情報と、に基づいて、推定残熱情報を推定してもよい。

【0076】

本実施形態によれば、制御部１１０は、内視鏡システム２００の取得した処置画像から、生体組織の種類を推定することができる。なお、処置画像については図８で説明されている。また生体組織の推定についての学習段階については「４．第１実施形態」で説明されている。

【0077】

また本実施形態では、制御部１１０は、処置画像から、処置画像上に撮像されるエネルギーデバイスに関する情報であるデバイス情報を抽出し、デバイス情報と、組織情報と、に基づいて、エネルギーデバイスに処置される処置対象組織を推定し、処置対象組織に基づいて推定残熱情報を推定してもよい。

【0078】

本実施形態によれば、制御部１１０は、内視鏡システム２００の取得した処置画像から、エネルギーデバイス３１０に関するデバイス情報を推定することができ、デバイス情報と推定された組織情報に基づいて、エネルギーデバイス３１０の残熱情報を推定できるようになる。なお、処置画像については図８で説明されている。また生体組織の推定についての学習段階については「４．第１実施形態」で説明されている。

【0079】

また本実施形態では、制御部１１０は、推定残熱情報として、エネルギーデバイス３１０によるエネルギー出力が完了した後における熱量又は温度の推移を推定してもよい。

【0080】

本実施形態によれば、医師は現時点での残熱情報だけでなく、今後の温度の推移についての情報も得ることができる。なお、熱量又は温度の推移を推定手法については、「５．第２実施形態」の図１７で説明されている。

【0081】

また本実施形態では、学習済みモデル１２１は、学習用デバイス組織画像又は学習用組織画像及び学習用情報と、エネルギー出力後の残熱推移との関係を学習し、エネルギー出力が完了した後における熱量又は温度の推移を推定するように学習した学習済みモデル１２１であってもよい。

【0082】

本実施形態によれば、学習用画像及び学習用情報と、エネルギー出力後の残熱推移との関係を学習した学習済みモデル１２１により、制御部１１０はエネルギー出力の完了した後におけるエネルギーデバイス３１０先端の熱量又は温度の推移を推定することができる。詳細については、「５．第２実施形態」で説明されている。

【0083】

また本実施形態では、制御部１１０は、推定残熱情報として、エネルギーデバイス３１０によるエネルギー出力が完了した後、エネルギーデバイス３１０の熱量又は温度が所望の規定値に到達するまでの時間を推定してもよい。

【0084】

本実施形態によれば、医師は所望の熱量等を設でき、エネルギーデバイス３１０が当該熱量等になるまでに要する時間を具体的に知ることができる。従って、手術を円滑に行うことができる。詳細については、「５．第２実施形態」で説明されている。

【0085】

また本実施形態では、制御部１１０は、推定残熱情報として推定したエネルギーデバイス３１０の熱量又は温度が所定の閾値より大きい場合に、アラートの報知を報知部に行わせてもよい。

【0086】

本実施形態によれば、生体組織に熱損傷を与えるおそれのある温度である閾値を設定することで、医師はエネルギーデバイス３１０の先端部分の残熱による生体組織の熱損傷リスクを把握できるようになる。従って、より安全かつ効率的に手術を実施することができる。アラートの報知手法については、「６．第３実施形態」の図２０で説明されている。

【0087】

また本実施形態では、報知部２３０は表示部２３２であり、制御部１１０は、推定残熱情報を表示部２３２に表示させてもよい。

【0088】

本実施形態によれば、表示部２３２に熱量、温度或いはエネルギーデバイス３１０の熱量又は温度が所望の規定値に到達するまでの時間が表示され、医師はエネルギーデバイス３１０の温度が下がるまで待機する必要があるか否かの判断が可能になる。詳細については、「４．第１実施形態」の図９～図１２で説明されている。

【0089】

また本実施形態では、制御部１１０は、推定残熱情報として推定したエネルギーデバイス３１０の熱量又は温度が所定の閾値より高い場合に、推定残熱情報として推定したエネルギーデバイスの熱量又は温度を示す表示を表示部に表示させてもよい。

【0090】

本実施形態によれば、医師はエネルギーデバイス３１０の先端部分の残熱により、生体組織に熱損傷が発生するおそれがあるか否かを表示部２３２の表示により把握できるようになる。従って、医師がより安全かつ効率的に手術を実施できるようになる。詳細については「６．第３実施形態」で説明されている。

【0091】

また本実施形態では、制御部１１０は、推定残熱情報として推定したエネルギーデバイス３１０の熱量又は温度を示す色を、表示部２３２に表示されたエネルギーデバイス３１０に重畳表示させてもよい。

【0092】

本実施形態によれば、エネルギーデバイス３１０は、バイポーラデバイス３３０であってもよい。詳細については「４．第１実施形態」の図９～図１２で説明されている。

【0093】

また以上の処理はプログラムとして記述されてもよい。即ち、本実施形態のプログラムは、処置画像を取得することと、学習済みモデル１２１に基づく処理により、エネルギー供給量に関する情報を取得することと、処置画像と、エネルギー供給量に関する情報と、学習済みモデル１２１とに基づいて、推定残熱情報を推定することと、推定残熱情報を表示部２３２に表示することと、をコントローラ１００に実行させる。

【0094】

また以上の処理は方法として記述されてもよい。即ち、本実施形態の方法は、処置画像を取得し、学習済みモデル１２１に基づく処理により、エネルギー供給量に関する情報を取得し、処置画像と、エネルギー供給量に関する情報と、学習済みモデル１２１とに基づいて、推定残熱情報を推定する。

【0095】

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0096】

１０ システム、１００ コントローラ、１１０ 制御部、１１１ 第１認識部、１１２ 第２認識部、１１３ 推定部、１１４ 出力情報判断部、１１５ 提示部、１２０ 記憶部、１２１ 学習済みモデル、１２２ 第１学習済みモデル、１２３ 第２学習済みモデル、１２４ 第３学習済みモデル、１７０ Ｉ／Ｏデバイス、１８０ Ｉ／Ｏデバイス、１９０ Ｉ／Ｏデバイス、２００ 内視鏡システム、２１０ 内視鏡、２２０ 本体装置、２３０ 報知部、２３２ 表示部、３００ ジェネレータ、３１０ エネルギーデバイス、３２０ モノポーラデバイス、３２１ 電極、３２２ 挿入部、３２３ 操作部、３２５ ケーブル、３３０ バイポーラデバイス、３３１ 先端部、３３２ 挿入部、３３３ 操作部、３３５ ケーブル、３３６ 基端、３３７ ジョウ、３３８ ジョウ、３４０ 超音波デバイス、３４１ 先端部、３４２ 挿入部、３４３ 操作部、３４４ａ 操作ボタン、３４４ｂ 操作ボタン、３４５ ケーブル、３４６ 基端、３４７ ジョウ、３４８ プローブ、５００ 学習装置、５１０ 処理部、５２０ 記憶部、５２１ 教師データ、５２１Ａ 第１教師データ、５２１Ｂ 第２教師データ、５２１Ｃ 第３教師データ、５２２ 学習モデル、５２２Ａ 第１学習モデル、５２２Ｂ 第２学習モデル、５２２Ｃ 第３学習モデル、Ｓ１ ステップ、Ｓ２Ａａ ステップ、Ｓ２Ａｂ ステップ、Ｓ２Ｂ ステップ、Ｓ３ ステップ、Ｔ 温度、Ｔｘ 閾値、ｔ０ 現時刻、ｔ１ 時刻、ｔ２ 時刻、ｔ３ 時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】