特許 7493684 システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-23

(45)【発行日】2024-05-31

(54)【発明の名称】システム及びプログラム

(51)【国際特許分類】

   A61B 18/12 20060101AFI20240524BHJP

【ＦＩ】

A61B18/12

【請求項の数】 17

(21)【出願番号】P 2023535109

(86)(22)【出願日】2022-03-07

(86)【国際出願番号】 JP2022009691

(87)【国際公開番号】W WO2023286334

(87)【国際公開日】2023-01-19

【審査請求日】2023-08-10

(31)【優先権主張番号】63/221,128

(32)【優先日】2021-07-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/222,252

(32)【優先日】2021-07-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】新井 豪

(72)【発明者】

【氏名】笠原 秀元

(72)【発明者】

【氏名】飯田 雅敏

(72)【発明者】

【氏名】安永 新二

(72)【発明者】

【氏名】本田 吉隆

(72)【発明者】

【氏名】田中 一恵

【審査官】宮崎 敏長

(56)【参考文献】

【文献】国際公開第２０２０／０５１４４４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０２５２０９５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １８／０２ － Ａ６１Ｂ １８／１６

(57)【特許請求の範囲】

【請求項1】

エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記少なくとも１つの生体組織に関する組織情報、又は前記少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルを記憶する記憶部と、
制御部と、
を含み、
前記制御部は、
前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である撮像画像を取得し、
前記記憶部に記憶された前記学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定し、
推定した前記画像認識情報に基づくエネルギー出力調整指示を、エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力し、
前記学習済みモデルは、
前記学習用デバイス組織画像から、前記少なくとも１つのエネルギーデバイスの先端部を示すバウンディングボックスを検出するように学習した第１学習済みモデルと、
前記バウンディングボックス内の前記学習用デバイス組織画像から前記画像認識情報を出力するように学習した第２学習済みモデルと、
を含み、
前記制御部は、
前記推定において、前記第１学習済みモデルに基づく処理により、前記撮像画像から前記バウンディングボックスを検出し、前記第２学習済みモデルに基づく処理により、前記バウンディングボックス内の前記撮像画像から前記画像認識情報を推定することを特徴とするシステム。

【請求項2】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記画像認識情報に基づいて、前記エネルギー出力を基準エネルギー出力から増加させる、減少させる又は維持する調整のいずれかを決定し、
前記決定した調整の指示を前記エネルギー出力調整指示として出力することを特徴とするシステム。

【請求項3】

請求項２に記載されたシステムにおいて、
前記制御部は、
予め設定されたエネルギー出力、又は前記ジェネレータのリアルタイムの前記エネルギー出力を前記基準エネルギー出力として、前記エネルギー出力調整指示を出力することを特徴とするシステム。

【請求項4】

請求項２に記載されたシステムにおいて、
前記制御部は、
内視鏡からの内視鏡画像を前記撮像画像として取得し、前記内視鏡画像を取得した時点において設定されている前記エネルギー出力を前記基準エネルギー出力として、前記エネルギー出力調整指示を出力することを特徴とするシステム。

【請求項5】

請求項１に記載されたシステムにおいて、
前記エネルギーデバイスは、
組織を把持可能な２つのジョウを有するデバイスであり、前記ジェネレータから前記エネルギー供給を受けて前記２つのジョウからエネルギー出力を行うデバイスであることを特徴とするシステム。

【請求項6】

請求項１に記載されたシステムにおいて、
前記組織情報は、前記少なくとも１つのエネルギーデバイスにより処置される組織の組織種類又は組織状態を含むことを特徴とするシステム。

【請求項7】

請求項１に記載されたシステムにおいて、
前記処置情報は、前記少なくとも１つのエネルギーデバイスによる組織の把持量、又は、前記少なくとも１つのエネルギーデバイス又はその他のデバイスによる組織の牽引量を含むことを特徴とするシステム。

【請求項8】

請求項１に記載されたシステムにおいて、
前記処置情報は、前記少なくとも１つのエネルギーデバイスにより処置される組織のテンション、又は前記少なくとも１つのエネルギーデバイスと注意対象との距離を含むことを特徴とするシステム。

【請求項9】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記画像認識情報を推定するときの推定確度に基づいて、前記エネルギー出力の制御における、前記画像認識情報と前記少なくとも１つのエネルギーデバイスから得られる電気的情報との使用優先度を変更することを特徴とするシステム。

【請求項10】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記少なくとも１つのエネルギーデバイスからの電気的情報を取得し、
前記画像認識情報と前記電気的情報との整合性に基づいて、前記エネルギー出力の制御における前記画像認識情報と前記電気的情報の使用優先度を変更することを特徴とするシステム。

【請求項11】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記撮像画像と、前記画像認識情報の内容又は前記エネルギー出力調整指示の内容のうち少なくとも１つとを表示部に表示する処理を行うことを特徴とするシステム。

【請求項12】

請求項１に記載されたシステムにおいて、
前記学習済みモデルは、
前記学習用デバイス組織画像又は前記学習用組織画像から、前記少なくとも１つの生体組織の各生体組織の領域を検出し、前記学習用デバイス組織画像から、前記少なくとも１つのエネルギーデバイスの先端部領域を検出するように学習したモデルであり、
前記制御部は、
前記学習済みモデルに基づく処理により、前記撮像画像から前記各生体組織の領域と前記先端部領域を検出し、
検出した前記各生体組織の領域と前記先端部領域に基づいて前記画像認識情報を推定することを特徴とするシステム。

【請求項13】

請求項１に記載されたシステムにおいて、
前記少なくとも１つのエネルギーデバイスと、
前記ジェネレータと、
を含むことを特徴とするシステム。

【請求項14】

請求項１３に記載されたシステムにおいて、
前記撮像画像として内視鏡画像を撮像する内視鏡を含み、
前記制御部は、
前記内視鏡から前記内視鏡画像を取得し、前記学習済みモデルに基づく処理により前記内視鏡画像から前記画像認識情報を推定することを特徴とするシステム。

【請求項15】

エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像を取得することと、
前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記少なくとも１つの生体組織に関する組織情報、又は前記少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定することと、
推定した前記画像認識情報に基づくエネルギー出力調整指示を、エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力することと、
前記学習済みモデルは、前記学習用デバイス組織画像から、前記少なくとも１つのエネルギーデバイスの先端部を示すバウンディングボックスを検出するように学習した第１学習済みモデルと、前記バウンディングボックス内の前記学習用デバイス組織画像から前記画像認識情報を出力するように学習した第２学習済みモデルと、を含み、前記推定において、前記学習済みモデルの前記第１学習済みモデルに基づく処理により、前記撮像画像から前記バウンディングボックスを検出し、前記第２学習済みモデルに基づく処理により、前記バウンディングボックス内の前記撮像画像から前記画像認識情報を推定することと、
をコンピュータに実行させることを特徴とするプログラム。

【請求項16】

請求項１５に記載されたプログラムにおいて、
前記画像認識情報に基づいて、前記エネルギー出力を基準エネルギー出力から増加させる、減少させる又は維持する調整のいずれかを決定することと、
前記決定した調整の指示を前記エネルギー出力調整指示として出力することと、
をコンピュータに実行させることを特徴とするプログラム。

【請求項17】

請求項１６に記載されたプログラムにおいて、
予め設定されたエネルギー出力、又は前記ジェネレータのリアルタイムの前記エネルギー出力を前記基準エネルギー出力として、前記エネルギー出力調整指示を出力すること、
をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム及びプログラム等に関する。

【背景技術】

【0002】

特許文献１には、エネルギーデバイスのエネルギー出力データと、組織位置、患者状態又は光学組織センサ情報とに基づいて、エネルギーデバイスが把持している組織のタイプを決定する手術システムが開示されている。例えば、血管であるか非血管であるか、又は神経の有無等が、組織のタイプとして認識される。この手術システムは、認識したタイプに対する処置内容が不適切である場合に、エネルギー出力を停止すると共にユーザに警告する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１７／０２５２０９５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、処置される組織又はその周辺への熱拡散の度合い又は熱拡散の防止が考慮されていないため、エネルギーデバイスによる処置時の組織又はデバイス状態等に応じて適切にエネルギー出力を調整することができないという課題がある。例えば、処置される組織の厚み、又は体液等の浸漬による濡れ等の影響により、熱拡散の度合いは変化する。或いは、エネルギーデバイスによる組織の把持量又は牽引の強さ等の各種操作量によって、熱拡散の度合いは変化する。特許文献１では、これらの変化に対応して適切にエネルギー出力を調整することができない。また、光学組織センサ等の各種センサを設けるのは、滅菌性の観点から好ましくない。

【課題を解決するための手段】

【0005】

本開示の一態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記少なくとも１つの生体組織に関する組織情報、又は前記少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルを記憶する記憶部と、制御部と、を含み、前記制御部は、前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である撮像画像を取得し、前記記憶部に記憶された前記学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定し、推定した前記画像認識情報に基づくエネルギー出力調整指示を、エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力するシステムに関係する。

【0006】

また本開示の他の態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像を取得することと、前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記少なくとも１つの生体組織に関する組織情報、又は前記少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定することと、推定した前記画像認識情報に基づくエネルギー出力調整指示を、エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力することと、をコンピュータに実行させるプログラムに関係する。

【0007】

また本開示の更に他の態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像を取得することと、前記少なくとも１つのエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記少なくとも１つの生体組織に関する組織情報、又は前記少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定することと、推定した前記画像認識情報に基づくエネルギー出力調整指示を、エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力することと、を含むエネルギー出力調整方法に関係する。

【図面の簡単な説明】

【0008】

【図1】システムの構成例。

【図2】コントローラの構成例。

【図3】コントローラ及びシステムが行う処理を説明するフローチャート。

【図4】モノポーラデバイスの構成例。

【図5】バイポーラデバイスの構成例。

【図6】超音波デバイスの構成例。

【図7】制御部が組織種類を認識する場合の処理例。

【図8】学習装置の構成例。

【図9】制御部が組織種類を認識する場合の第１認識処理例。

【図10】制御部が組織種類を認識する場合の第２認識処理例。

【図11】制御部が組織種類を認識する場合の出力調整例。

【図12】制御部が組織状態を認識する場合の処理例。

【図13】制御部が組織状態を認識する場合の第１認識処理例。

【図14】制御部が組織状態を認識する場合の第１認識処理例。

【図15】制御部が組織状態を認識する場合の第１認識処理例。

【図16】制御部が組織状態を認識する場合の第２認識処理例。

【図17】制御部が組織状態を認識する場合の出力調整例。

【図18】制御部が組織把持量を認識する場合の処理例。

【図19】制御部が組織把持量を認識する場合の第１認識処理例。

【図20】制御部が組織把持量を認識する場合の第２認識処理例。

【図21】制御部が組織把持量を認識する場合の出力調整例。

【図22】制御部が組織テンションを認識する場合の処理例。

【図23】制御部が組織テンションを認識する場合の第１認識処理例。

【図24】制御部が組織テンションを認識する場合の第２認識処理例。

【図25】制御部が組織テンションを認識する場合の出力調整例。

【図26】制御部が処置具先端部と注意対象の距離を認識する場合の処理例。

【図27】制御部が処置具先端部と注意対象の距離を認識する場合の第１認識処理例。

【図28】制御部が処置具先端部と注意対象の距離を認識する場合の出力調整例。

【図29】エネルギー出力調整に関する情報の表示例。

【図30】画像認識結果とデバイス情報を併用する場合の処理のフローチャート。

【図31】併用デバイスを用いる場合の出力調整例。

【図32】併用デバイスを用いる場合の出力調整例。

【図33】併用デバイスを用いる場合の出力調整例。

【図34】併用デバイスを用いる場合の出力調整例。

【図35】併用デバイスを用いる場合の出力調整例。

【発明を実施するための形態】

【0009】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

１．システム
図１は、本実施形態におけるシステム１０の構成例である。図１には、内視鏡により術野を撮影する場合のシステム構成例を示す。図１に示すシステム１０は、コントローラ１００と内視鏡システム２００とジェネレータ３００とエネルギーデバイス３１０とを含む。システム１０は、内視鏡下において少なくとも１つのエネルギーデバイスを用いて手術を行うための手術システムである。ここではシステム１０が１つのエネルギーデバイス３１０を含む例を示すが、システム１０が複数のエネルギーデバイスを含んでもよい。

【0011】

内視鏡システム２００は、内視鏡による撮影、内視鏡画像の画像処理、及び内視鏡画像のモニタ表示を行うシステムである。内視鏡システム２００は、内視鏡２１０と本体装置２２０とディスプレイ２３０とを含む。ここでは、外科手術用の硬性鏡を例に説明する。

【0012】

内視鏡２１０は、体腔に挿入される挿入部と、挿入部の基端に接続される操作部と、操作部の基端に接続されるユニバーサルコードと、ユニバーサルコードの基端に接続されるコネクタ部とを含む。挿入部は、硬性管と対物光学系と撮像素子と照明光学系と伝送ケーブルとライトガイドとを含む。体腔内を撮影するための対物光学系及び撮像素子と、体腔内を照明するための照明光学系は、細長い円筒形状の硬性管の先端部に設けられる。硬性管の先端部は、湾曲可能に構成されてもよい。撮像素子により取得された画像信号を伝送する伝送ケーブル、及び照明光を照明光学系へ導光するライトガイドは、硬性管の内部に設けられる。操作部は、ユーザにより把持され、ユーザからの操作を受け付ける。操作部には、様々な機能が割り当てられたボタンが設けられる。挿入部先端が湾曲可能である場合には、操作部に、アングル操作レバーが設けられる。コネクタ部は、伝送ケーブルを本体装置２２０に着脱可能に接続するビデオコネクタと、ライトガイドを本体装置２２０に着脱可能に接続するライトガイドコネクタとを含む。

【0013】

本体装置２２０は、内視鏡の制御、内視鏡画像の画像処理及び内視鏡画像の表示処理を行う処理装置と、照明光の生成及び照明光の制御を行う光源装置とを含む。本体装置２２０はビデオシステムセンターとも呼ばれる。処理装置は、ＣＰＵ等のプロセッサにより構成され、内視鏡２１０から送信される画像信号を画像処理して内視鏡画像を生成し、その内視鏡画像をディスプレイ２３０とコントローラ１００に出力する。光源装置が出射した照明光は、ライトガイドにより照明光学系へ導光され、照明光学系から体腔内へ出射される。

【0014】

エネルギーデバイス３１０は、その先端部から高周波電力又は超音波等によりエネルギーを出力することで、その先端部が接する組織に対して凝固、封止、止血、切開、切離又は剥離等の処置を行うデバイスである。エネルギーデバイス３１０は、エネルギー処置具とも呼ばれる。エネルギーデバイス３１０は、デバイス先端の電極と体外の電極の間に高周波電力を通電させるモノポーラデバイス、２つのジョウの間に高周波電力を通電させるバイポーラデバイス、プローブとジョウが設けられると共にプローブから超音波を出射する超音波デバイス、又はプローブとジョウの間に高周波電力を通電させると共にプローブから超音波を出射する併用デバイス等である。

【0015】

ジェネレータ３００は、エネルギーデバイス３１０へのエネルギー供給、エネルギー供給の制御、及びエネルギーデバイス３１０からの電気的情報の取得を行う。エネルギーデバイス３１０が高周波エネルギーを出力する場合、ジェネレータ３００は高周波電力を供給し、エネルギーデバイス３１０は、その高周波電力を電極又はジョウから出力する。エネルギーデバイス３１０が超音波エネルギーを出力する場合、ジェネレータ３００は電力を供給し、エネルギーデバイス３１０のプローブは、その電力を超音波に変換して出力する。

【0016】

電気的情報は、エネルギーデバイス３１０の電極又はジョウが接する組織の電気的情報であり、具体的には、エネルギーデバイス３１０が組織に高周波電力を出力した応答として得られる情報である。電気的情報は、例えば、エネルギーデバイス３１０により処置される組織のインピーダンス情報である。但し、後述のように電気的情報はインピーダンス情報に限らない。

【0017】

ジェネレータ３００は、出力シーケンスに従って、エネルギーデバイス３１０からのエネルギー出力を時間的に変化させる制御を行う。ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を変化させてもよい。この場合、出力シーケンスは、インピーダンス情報の変化に対してどのようにエネルギー出力を変化させるかを、規定してもよい。また、ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を自動オフしてもよい。例えば、ジェネレータ３００は、インピーダンスが一定以上に上昇したとき、処置終了と判断してエネルギー出力をオフしてもよい。

【0018】

コントローラ１００は、機械学習等を用いた画像認識処理により内視鏡画像から組織情報、処置情報又はそれら両方を認識し、その認識した情報に基づいてエネルギー出力調整指示をジェネレータに出力する。内視鏡画像から認識される組織情報、処置情報又はそれら両方を画像認識情報とも呼ぶこととする。これらの情報は、具体的には、エネルギーデバイス３１０による処置において熱拡散の度合いに影響を与える事項に関する情報である。

【0019】

より具体的には、組織情報は、エネルギーデバイス３１０により処置される組織に関する情報であり、例えば組織種類又は組織状態を含む。処置情報は、組織に対する処置に関する情報であり、具体的には、処置に用いられるデバイスが組織に及ぼす作用、その作用の結果、又は、デバイスと組織の位置関係等の情報である。ここでのデバイスは、エネルギーデバイス３１０又はそれ以外のデバイスであってよい。処置情報は、例えば、組織把持量、牽引量、組織テンション、又はエネルギーデバイス３１０の先端部と周辺組織との距離等を含む。

【0020】

ジェネレータ３００は、エネルギー出力調整指示に従って、エネルギーデバイス３１０のエネルギー出力を調整する。即ち、本実施形態のシステム１０は、内視鏡画像に基づいてエネルギーデバイス３１０からのエネルギー出力を自動調整するシステムである。ジェネレータ３００は、エネルギー出力調整指示により指示されるエネルギー供給量でエネルギーデバイス３１０にエネルギーを供給し、エネルギーデバイス３１０が、そのエネルギー供給を受けてエネルギー出力することで、エネルギー出力がエネルギー出力調整指示により調整される。

【0021】

エネルギー出力調整指示は、出力シーケンスの波形全体としての出力を増減する指示、或いは、選択可能な複数の出力シーケンスのうち、いずれかの出力シーケンスに設定する指示等である。例えば、エネルギーデバイス３１０からのエネルギー出力が段階的な倍率により調整可能であるとき、エネルギー出力調整指示は、そのエネルギー出力の段階的な倍率を示す指示である。ジェネレータ３００は、その指示された倍率に応じて高周波出力又は超音波出力を増減させる。出力シーケンスの開始前にエネルギー出力調整指示が行われる場合、出力シーケンスの波形全体に倍率が乗算され、出力シーケンス全体として出力が増加又は減少する。なお、倍率は連続的に調整可能であってもよい。或いは、複数の出力シーケンスが設けられているとき、エネルギー出力調整指示は、その複数の出力シーケンスのいずれかを示す指示である。ジェネレータ３００は、その指示された出力シーケンスに従ってエネルギーデバイス３１０からのエネルギー出力を行う。なお、エネルギー出力調整指示は、エネルギー出力の増減と出力シーケンスの変更の両方の指示を含んでもよい。

【0022】

ここで、一般的に外科手術においてエネルギー処置を行う際のポイントとして、エネルギーデバイスからの熱拡散を抑制して周囲臓器の熱損傷を避けることが挙げられる。しかし、処置される組織は一様ではないため、組織種類の違い、組織状態の違い又は患者の個人差等により、切離等の処置に要する時間にバラつきが生じ、熱拡散の程度も様々となる。これらに対処し、熱拡散を抑制すべく、医師は組織把持量や組織テンションの調整を行っているが、経験が必要な操作であり、特に非エキスパートにおいては適切な調整が困難な場合がある。

【0023】

このように、エネルギーデバイスを用いた処置においては、しばしば周囲への熱拡散が問題となるため、医師が拡散の程度を推測しながら処置を行う。上記特許文献１では、エネルギーデバイスのエネルギー出力データ等に基づいて血管であるか非血管であるか等の組織タイプを認識している。しかし、熱拡散の程度は、血管であるか非血管であるかのみで二分されるものではなく、例えば、組織の厚み、血液等への浸漬等の組織状態、又は、デバイスによる把持量又は牽引の強さ等の医師の操作にも影響される。具体的には、エネルギーデバイスがエネルギーを印加したことで生じた組織の熱が、周囲組織の内部又は表面を拡散することで、熱拡散が生じる。或いは、エネルギーデバイスが出力するエネルギーが把持組織の周囲にも拡散し、そのエネルギーが拡散した周囲組織が発熱することで、熱拡散が生じる。この熱拡散の程度は、組織種類、組織状態、組織把持量、又は組織テンション等に応じて異なる。

【0024】

この点、本実施形態によれば、システム１０が、組織種類、組織状態、組織把持量、又は組織テンション等の画像認識情報に基づいて、組織に適したエネルギーを印加する。これにより、エネルギーデバイスの処置対象から周囲組織への熱拡散を低減できる。また、従来医師が行っていた把持量やテンションの調整に代わりシステム１０がエネルギーの出力調整を行うことで、医師の負担を軽減できる。また、システム１０が自律的に出力調整を行うことで、経験の浅い医師においても安定した処置が可能となる。以上により、手術の安定性向上が図れる、或いは医師の経験値に依らない手技の均てん化が図れる。

【0025】

２．コントローラ
図２は、コントローラ１００の構成例である。コントローラ１００は、制御部１１０と記憶部１２０とＩ／Ｏデバイス１８０とＩ／Ｏデバイス１９０とを含む。図１と図２には、コントローラ１００がジェネレータ３００と別体の装置で構成される例を示す。その場合、コントローラ１００は、ＰＣ又はサーバ装置等の情報処理装置により構成される。或いは、コントローラ１００は、ネットワークを介して接続された１又は複数の情報処理装置によって処理を実行するクラウドシステムで実現されてもよい。

【0026】

Ｉ／Ｏデバイス１８０は、内視鏡システム２００の本体装置２２０から内視鏡画像の画像データを受信する。Ｉ／Ｏデバイス１８０は、画像伝送用のケーブルが接続されるコネクタ、又は、そのコネクタに接続され、本体装置２２０との通信を行うインターフェース回路である。

【0027】

制御部１１０は、学習済みモデル１２１を用いた画像認識処理により内視鏡画像から組織情報又は処置情報の少なくとも１つを認識し、その画像認識情報に基づいてエネルギー出力調整指示を出力する。制御部１１０は、ハードウェアとして１又は複数のプロセッサを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）又はＤＳＰ（Digital Signal Processor）等の汎用プロセッサである。或いは、プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の専用プロセッサであってもよい。

【0028】

記憶部１２０は、画像認識処理に用いられる学習済みモデル１２１を記憶する。汎用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデル１２１として記憶する。推論アルゴリズムがハードウェア化された専用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムに用いられるパラメータを学習済みモデル１２１として記憶する。記憶部１２０は、半導体メモリ、ハードディスクドライブ、又は光学ディスクドライブ等の記憶装置である。半導体メモリは、ＲＡＭ、ＲＯＭ又は不揮発性メモリ等である。

【0029】

画像認識処理の推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数とバイアスがパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。画像認識処理に用いられるニューラルネットワークとして、例えばＣＮＮ（Convolutional Neural Network）を採用できる。

【0030】

また制御部１１０は、画像取得部１１１と組織情報認識部１１２と出力設定部１１３とを含む。記憶部１２０は、画像取得部１１１、組織情報認識部１１２及び出力設定部１１３の各部の機能が記述されたプログラムを記憶する。制御部の１又は複数のプロセッサが、記憶部１２０からプログラムを読み出し、そのプログラムを実行することで、画像取得部１１１、組織情報認識部１１２及び出力設定部１１３の各部の機能を実現する。この各部の機能が記述されたプログラムは、コンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。

【0031】

Ｉ／Ｏデバイス１９０は、ジェネレータ３００へエネルギー出力調整指示の信号を送信する。Ｉ／Ｏデバイス１９０は、信号伝送用のケーブルが接続されるコネクタ、又は、そのコネクタに接続され、ジェネレータ３００との通信を行うインターフェース回路である。

【0032】

図３は、コントローラ１００及びシステム１０が行う処理を説明するフローチャートである。

【0033】

ステップＳ１において、画像取得部１１１が、内視鏡システム２００の本体装置２２０からＩ／Ｏデバイス１８０を介して内視鏡画像を取得する。ステップＳ２において、組織情報認識部１１２は、学習済みモデル１２１を用いた画像認識処理を内視鏡画像に対して行うことで、組織情報又は処置情報の少なくとも１つを画像認識情報として取得する。ステップＳ３において、出力設定部１１３は、画像認識情報に応じたエネルギー出力調整指示を、Ｉ／Ｏデバイス１９０を介してジェネレータ３００へ出力する。

【0034】

ステップＳ４において、ジェネレータ３００は、エネルギー出力調整指示を受けてエネルギー出力シーケンスを設定し、医師が行う出力操作に応じてエネルギー出力を行う。例えば、医師は、エネルギーデバイス３１０の操作部に設けられた出力開始ボタンを操作し、ジェネレータ３００は、その操作入力を受けてエネルギーデバイス３１０へのエネルギー供給を開始する。ステップＳ５において、エネルギーデバイス３１０は、ジェネレータ３００からのエネルギー供給を受けて、把持している組織へエネルギーを印加する。

【0035】

なお、上記ではコントローラ１００とジェネレータ３００が別体の装置で構成され、コントローラ１００を構成する装置に制御部１１０全体が含まれるとしたが、コントローラ１００とジェネレータ３００のハードウェア構成はこれに限定されない。例えば、コントローラ１００とジェネレータ３００は一体の装置で構成されてもよい。或いは、システム１０が第１装置と第２装置とを含み、第１装置が、制御部１１０のうちの画像取得部１１１と組織情報認識部１１２を含み、第２装置が、制御部１１０のうちの出力設定部１１３とジェネレータ３００とを含んでもよい。この場合、第１装置は、組織情報又は処置情報の少なくとも１つである画像認識情報を第２装置へ出力し、第２装置は、画像認識情報に応じてジェネレータのエネルギー出力を制御する。

【0036】

３．エネルギーデバイス
以下、エネルギーデバイス３１０の一例として、モノポーラデバイス３２０、バイポーラデバイス３３０、超音波デバイス３４０及び併用デバイスについて説明する。

【0037】

図４は、モノポーラデバイス３２０の構成例である。モノポーラデバイス３２０は、細長い円筒形状の挿入部３２２と、挿入部３２２の先端に設けられる電極３２１と、挿入部３２２の基端に接続される操作部３２３と、操作部３２３と不図示のコネクタとを接続するケーブル３２５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。

【0038】

ジェネレータ３００が出力した高周波電力はケーブル３２５により伝送され、電極３２１から出力される。患者の体外に対極板が設けられており、電極３２１と対極板の間で通電する。これにより、電極３２１が接する組織に高周波エネルギーが印加され、その組織にジュール熱が発生する。電極３２１は、処置の内容に応じて様々な形状の電極が採用される。モノポーラデバイス３２０は、通電パターンの変更により、凝固と切開の程度を調整可能である。モノポーラデバイス３２０の処置対象は、電極３２１が接する組織であるが、その電極３２１が接する組織の周囲に拡散した熱によって周囲組織に影響を与える可能性がある。

【0039】

図５は、バイポーラデバイス３３０の構成例である。バイポーラデバイス３３０は、細長い円筒形状の挿入部３３２と、挿入部３３２の先端部３３１に設けられる２つのジョウ３３７、３３８と、挿入部３３２の基端に接続される操作部３３３と、操作部３３３と不図示のコネクタとを接続するケーブル３３５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。ジョウ３３７、３３８は、組織を把持すると共に把持された組織にエネルギーを印加するための可動部のことであり、基端３３６に設けられた軸を中心として開閉可能に構成されている。操作部３３３は、ジョウ３３７、３３８の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３３７、３３８が閉まり組織を把持する。

【0040】

ジェネレータ３００が出力した高周波電力はケーブル３３５により伝送され、ジョウ３３７、３３８が組織を把持したとき２つのジョウ３３７、３３８の間に通電する。これにより、２つのジョウ３３７、３３８に挟まれた組織に高周波エネルギーが印加され、その組織にジュール熱が発生し、その組織が凝固する。ジェネレータ３００は、ジョウ３３７、３３８に把持された組織のインピーダンス情報を計測し、そのインピーダンス情報に基づいて処置完了を検知し、エネルギー出力を自動停止してもよい。また、ジェネレータ３００は、インピーダンス情報に基づいて、組織への印加エネルギーを自動調整してもよい。バイポーラデバイスの熱拡散に関しては、例えば、バイポーラデバイス３３０のデバイス温度は摂氏１００度程度までしか上がらないが、ジョウ３３７、３３８により把持された部分の周辺に回り込み電流が生じ、その回り込み電流により熱拡散が生じる可能性がある。

【0041】

なお、バイポーラデバイスの派生デバイスとしてベッセルシーリングデバイスがある。ベッセルシーリングデバイスは、バイポーラデバイスのジョウにカッターが設けられたデバイスであり、通電により組織を凝固した後にカッターを走らせることで組織を切離する。

【0042】

図６は、超音波デバイス３４０の構成例である。超音波デバイス３４０は、細長い円筒形状の挿入部３４２と、挿入部３４２の先端部３４１に設けられるジョウ３４７及びプローブ３４８と、挿入部３４２の基端に接続される操作部３４３と、操作部３４３と不図示のコネクタとを接続するケーブル３４５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。ジョウ３４７は、基端３４６に設けられた軸を中心として可動であり、非可動のプローブ３４８に対して開閉可能に構成されている。操作部３４３は、ジョウ３４７の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３４７が閉まり、ジョウ３４７とプローブ３４８が組織を把持する。操作部３４３には、第１出力モードが割り当てられた操作ボタン３４４ａと、第２出力モードが割り当てられた操作ボタン３４４ｂとが設けられる。出力モードは処置内容に応じて選択されるものであり、各出力モードの操作ボタンが押されると、そのモードの出力シーケンスで超音波エネルギーが出力される。

【0043】

ジェネレータ３００が出力した電力はケーブル３３５により伝送され、操作ボタン３４４ａ又は３４４ｂが押されたときにプローブ３４８が電力を超音波に変換して出力する。これにより、ジョウ３４７とプローブ３４８に挟まれた組織に摩擦熱が発生し、その組織が凝固する又は組織が切開される。高周波デバイスの熱拡散に関しては、例えば、高周波デバイスの熱拡散に比べて、超音波デバイス３４０の熱拡散は少ないが、超音波デバイス３４０のデバイス温度は摂氏２００度近くまで上昇する。超音波デバイス３４０の熱拡散は、プローブ３４８の先端方向に生じやすいという特性がある。

【0044】

高周波電力と超音波を併用する併用デバイスは、例えば図６の超音波デバイスと同様の構成である。但し、併用デバイスは、ジョウとプローブの間に高周波電力を通電することで、ジョウとプローブに把持された組織にジュール熱を発生させ、その組織を凝固させることができる。また併用デバイスは、超音波デバイスと同様に、プローブから超音波を出力することで、ジョウとプローブに把持された組織を切開できる。操作部に設けられた２つの操作ボタンの一方には、高周波モードが割り当てられ、他方にはシール＆カットモードが割り当てられる。高周波モードは、高周波エネルギー出力のみで凝固等の処置を行うモードである。シール＆カットモードは、高周波エネルギーと超音波エネルギーを併用するモードであり、高周波エネルギー出力により組織を凝固させると共に組織を切離するモードである。併用デバイスの熱拡散に関しては、例えば、バイポーラデバイスと同様な熱拡散、超音波デバイスと同様な熱拡散、又はそれら両方が生じる可能性がある。

【0045】

なお、以下の実施形態においては、主にバイポーラデバイス３３０をエネルギーデバイス３１０として用いる場合を例に説明する。但し、本実施形態は、熱拡散が生じる可能性がある上記の様々なエネルギーデバイスを用いる場合に適用可能である。

【0046】

４．組織種類を認識する場合の処理例
図７は、制御部１１０が組織種類を認識する場合の処理例である。Ｓ１Ａに示すように、制御部１１０に内視鏡画像が入力される。具体的には、内視鏡により撮影された動画像の各フレーム画像が順次に制御部１１０に入力される。制御部１１０に入力される内視鏡画像には、１又は複数の組織及び１又は複数のエネルギーデバイスが写っている。

【0047】

Ｓ２Ａａに示すように、制御部１１０は、機械学習によって調整された組織認識プログラムを実行することで、内視鏡画像から組織種類を認識する。具体的には、制御部１１０は、バイポーラデバイスのジョウに把持された組織の種類、或いは、その把持された組織の周辺組織の種類を認識する。組織種類とは、臓器内外に存在する組織の種類、或いは、臓器そのものの種類のことである。臓器内外に存在する組織は、例えば、動脈、静脈、血管を含む膜、肝胃間膜、腸間膜、薄膜、神経又は脂肪等である。臓器は、例えば、食道、胃、膵臓、肝臓又は小腸等である。Ｓ２Ａｂに示すように、制御部１１０は、内視鏡画像から認識した組織種類を出力する。図７には、血管を含む膜が認識された例を示す。

【0048】

Ｓ３Ａに示すように、制御部１１０は、内視鏡画像から認識された組織種類に応じて出力変更指示を行う。具体的には、記憶部１２０が、各組織種類にエネルギー出力調整指示が対応付けられたテーブルデータを記憶し、制御部１１０は、そのテーブルデータを参照することで、組織種類に対応したエネルギー出力調整指示を出力する。ジェネレータ３００は、制御部１１０が出力したエネルギー出力調整指示に従ってバイポーラデバイスの出力シーケンスを調整する。なお、組織種類に応じたエネルギー出力調整指示を出力するアルゴリズムは、上記に限定されない。

【0049】

エネルギー出力調整指示は、基準エネルギー出力を基準として、エネルギー出力を増加させる、減少させる又は維持する指示である。ジェネレータ３００は、エネルギー出力の設定操作を受け付ける操作部を有しており、その操作部によりエネルギー出力を例えば強度１～５の５段階のいずれかに設定可能である。強度１が最低のエネルギー出力、強度５が最高のエネルギー出力を示す。このとき、基準エネルギー出力は、例えば、予め決められた「強度３」等のエネルギー出力である。その場合、基準エネルギー出力よりも増加させる指示は、「強度４」又は「強度５」に設定する指示であり、基準エネルギー出力よりも減少させる指示は、「強度２」又は「強度１」に設定する指示である。或いは、基準エネルギー出力は、ジェネレータ３００の操作部により設定されている現在のエネルギー出力であってもよい。その場合、基準エネルギー出力よりも増加させる指示は、現在設定されているエネルギー出力よりも高いエネルギー出力に設定する指示であり、基準エネルギー出力よりも減少させる指示は、現在設定されているエネルギー出力よりも低いエネルギー出力に設定する指示である。或いは、基準エネルギー出力は、ジェネレータ３００に設定可能な強度１～５の出力範囲であってもよい。その場合、基準エネルギー出力よりも増加させる指示は、「強度５」よりも高いエネルギー出力に設定する指示であり、基準エネルギー出力よりも減少させる指示は、「強度１」よりも低いエネルギー出力に設定する指示である。

【0050】

図８は、組織認識処理の機械学習を行う学習装置５００の構成例である。学習装置５００は、処理部５１０と記憶部５２０とを含む。学習装置５００は、例えばＰＣ又はサーバ装置等の情報処理装置によって実現される。或いは、学習装置５００は、ネットワークを介して接続された１又は複数の情報処理装置によって処理を実行するクラウドシステムで実現されてもよい。

【0051】

処理部５１０はＣＰＵ等のプロセッサであり、記憶部５２０は半導体メモリ又はハードディスクドライブ等の記憶装置である。記憶部５２０は学習モデル５２２と教師データ５２１とを記憶しており、処理部５１０が教師データ５２１を用いて学習モデル５２２を学習させることで、学習済みモデル１２１を生成する。具体的には、教師データは、複数の学習用画像の画像データと、各学習用画像に付された正解データとを含む。複数の学習用画像は、１又は複数の組織及び１又は複数のエネルギーデバイスが写る内視鏡画像を含む。この内視鏡画像を学習用デバイス組織画像とも呼ぶ。また複数の学習用画像は、１又は複数の組織が写り、且つエネルギーデバイスが写らない内視鏡画像を含んでもよい。この内視鏡画像を学習用組織画像とも呼ぶ。正解データは、セグメンテーション（領域検出）におけるアノテーション、ディテクション（位置検出）におけるアノテーション、クラシフィケーション（分類）における正解ラベル、又はリグレッション（回帰分析）における正解ラベルである。処理部５１０は、学習モデル５２２による推論処理に学習用画像を入力し、その推論処理の結果と正解データの誤差に基づいて学習モデル５２２にフィードバックを行い、それを多数の教師データで繰り返すことで、学習済みモデル１２１を生成する。生成された学習済みモデル１２１は、コントローラ１００の記憶部１２０に転送される。

【0052】

制御部１１０が組織種類を認識する場合、教師データ５２１は、学習用画像として、血管を含む膜の画像、肝胃間膜の画像、血管（動脈）の画像、実質臓器（膵臓）の画像、腸間膜の画像、薄膜の画像、実質臓器（肝臓）の画像、又は実質臓器（食道）の画像等を含む。また教師データ５２１は、正解データとして、各学習用画像に写る組織の領域に付されたアノテーション、又は、各学習用画像に写る組織の種類を示すラベルを含む。

【0053】

なお、図７と図８では機械学習を用いた認識処理の推論段階と学習段階を分けて記載したが、以下では、推論段階と学習段階を混在させて記載する場合がある。その場合、制御部１１０が推論段階の処理を実行し、学習装置５００が学習段階の処理を実行することは、上記と同様である。

【0054】

図９は、制御部１１０が組織種類を認識する場合の第１認識処理例である。制御部１１０は、セグメンテーションによる組織領域認識と、セグメンテーションによる処置具先端領域検出とを行い、それらの結果を合成することで、ジョウに把持された組織の種類を認識する。図９には、「組織種類は膜組織である」と認識された例を示す。なお、制御部１１０は、セグメンテーションの結果、組織種類の認識結果、又はそれら両方をモニタ表示してもよい。

【0055】

具体的には、学習済みモデル１２１は、組織領域認識を行うための第１学習済みモデルと、処置具先端領域検出を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像から組織種類毎の領域を検出する。これにより、内視鏡画像に組織種類がマッピングされる。図９には、内視鏡画像から胃の領域、肝臓の領域及び膜の領域が検出された例を示す。学習段階においては、学習装置５００は、組織種類毎の領域にアノテーションが付された内視鏡画像を教師データとして、第１学習済みモデルを生成する。制御部１１０は、第２学習済みモデルを用いた画像認識処理により、内視鏡画像からエネルギーデバイス先端のジョウの領域を検出する。これにより、内視鏡画像においてジョウが把持している位置が特定される。学習段階においては、学習装置５００は、エネルギーデバイス先端のジョウの領域にアノテーションが付された内視鏡画像を教師データとして、第２学習済みモデルを生成する。なお、処理毎に学習済みモデルを分離せずに１つの学習済みモデルにより組織領域認識と処置具先端領域検出を実現するように、システムが構成されてもよい。

【0056】

制御部１１０は、処置具先端領域検出により検出されたジョウの領域が、組織領域認識により検出された１又は複数の組織領域のうち、いずれの組織領域に重なるかを判定することで、ジョウに把持された組織の種類を認識する。

【0057】

図１０は、制御部１１０が組織種類を認識する場合の第２認識処理例である。制御部１１０は、ディテクションによる処置具先端の検出と、クラシフィケーションによる把持組織種類の分類とを行うことで、ジョウに把持された組織の種類を認識する。

【0058】

具体的には、学習済みモデル１２１は、処置具先端の検出を行うための第１学習済みモデルと、把持組織種類の分類を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像からジョウの位置を検出し、そのジョウを内包するバウンディングボックスを生成する。これにより、把持位置とその周辺の注目領域が特定される。学習段階においては、学習装置５００は、ジョウを内包するバウンディングボックスが付された内視鏡画像を教師データとして、第１学習済みモデルを生成する。制御部１１０は、内視鏡画像からバウンディングボックス内の画像を切り出し、その画像を、第２学習済みモデルを用いた画像認識処理に入力することで、バウンディングボックス内の画像に写る組織の種類を分類する。これにより、バウンディングボックス内の画像が、いずれの種類の組織が把持された画像であるかが、特定される。学習段階においては、学習装置５００は、ジョウに把持された組織の種類を示すラベルが付された内視鏡画像を教師データとして、第２学習済みモデルを生成する。

【0059】

制御部１１０は、把持組織種類の分類の結果を、ジョウに把持された組織の種類の認識結果として出力する。

【0060】

図１１は、制御部１１０が組織種類を認識する場合の出力調整例である。制御部１１０は、組織種類の認識結果が、エネルギーデバイスにより切りやすい薄膜等の組織であるとき、通常条件よりエネルギー出力を弱める。通常条件は、上述した基準エネルギー出力である。制御部１１０は、組織種類の認識結果が、エネルギーデバイスにより切りにくい食道等の組織であるとき、通常条件よりエネルギー出力を強める。制御部１１０は、組織種類の認識結果が、上記以外のその他の組織であるとき、エネルギー出力を通常条件から変更しない。

【0061】

なお、図３１に、併用デバイスを用いる場合の出力調整例を示す。出力の欄に複数の出力調整が記載されている場合、制御部１１０は、そのいずれかの出力調整を行う。例えば、画像から「薄膜」が認識されたとき、制御部１１０は、（１）「ＨＦ出力レベルを下げる」、（２）「ＨＦ出力時間を短くする、Ｓ＆Ｃモードのレベルを下げる」、又は（３）「ＵＳ単独出力にする」のうちいずれかの出力調整を行う。なお、「ＨＦ」は高周波を意味し、「Ｓ＆Ｃ」はシール＆カットを意味し、「ＵＳ」は超音波を意味する。なお、制御部１１０は画像認識処理の結果に基づいてエネルギー出力を調整するが、後述のように、更にデバイス情報を併用してエネルギー出力を調整してもよい。

【0062】

５．組織状態を認識する場合の処理例
図１２は、制御部１１０が組織状態を認識する場合の処理例である。なお、図７の処理例と異なる部分を主に説明し、図７の処理例と同様な部分について説明を適宜に省略する。

【0063】

Ｓ１Ｂに示すように、制御部１１０に内視鏡画像が入力される。Ｓ２Ｂａに示すように、制御部１１０は、機械学習によって調整された組織認識プログラムを実行することで、内視鏡画像から組織状態を認識する。具体的には、制御部１１０は、バイポーラデバイスのジョウに把持された組織の状態を認識する。組織状態とは、エネルギーデバイスによる処置中の熱拡散に影響を与えうる状態、即ち、その状態に応じて熱拡散の程度が変化するような状態のことである。組織状態は、例えば、ジョウに把持された組織の周囲組織量、ジョウに把持された組織又はその周辺組織の浸漬量、又は、ジョウに把持された組織の脂肪量等である。浸漬量は、組織を覆う液体の量であり、例えば血液又はリンパ液等の体液による浸漬量である。Ｓ２Ｂｂに示すように、制御部１１０は、内視鏡画像から認識した組織状態を出力する。図１２には、血液浸漬量が多い、即ち組織表面がウェットであると認識された例を示す。

【0064】

Ｓ３Ｂに示すように、制御部１１０は、内視鏡画像から認識された組織状態に応じて出力変更指示を行う。出力変更指示の手法は図７のＳ３Ａと同様である。

【0065】

学習段階における教師データ５２１は、学習用画像として、周囲組織量が多い又は少ない画像、液体浸漬量が多い又は少ない画像、又は、脂肪量が多い又は少ない画像等を含む。また教師データ５２１は、正解データとして、各学習用画像に写る組織の状態を示すラベルを含む。

【0066】

図１３～図１５は、制御部１１０が組織状態を認識する場合の第１認識処理例である。図１３には、組織状態として周辺組織量が認識される例を示す。制御部１１０は、セグメンテーションによる組織状態領域認識と、セグメンテーションによる処置具先端領域検出とを行い、それらの結果を合成することで、ジョウに把持された組織の状態を認識する。図１３には、「周辺組織量が少ない」と認識された例を示す。なお、制御部１１０は、セグメンテーションの結果、組織状態の認識結果、又はそれら両方をモニタ表示してもよい。

【0067】

具体的には、学習済みモデル１２１は、組織状態領域認識を行うための第１学習済みモデルと、処置具先端領域検出を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像から組織状態毎の領域を検出する。これにより、内視鏡画像に組織状態がマッピングされる。図１３には、血管周囲組織が少ない部分の領域と、血管周囲組織が多い部分の領域とが検出された例を示す。学習段階においては、学習装置５００は、組織状態毎の領域にアノテーションが付された内視鏡画像を教師データとして、第１学習済みモデルを生成する。図１３では、教師データは、血管周辺組織の量が多い領域、少ない領域又はそれら両方の領域にアノテーションされた画像を含む。制御部１１０は、第２学習済みモデルを用いた画像認識処理により、内視鏡画像からエネルギーデバイス先端のジョウの領域を検出する。この処理は、図９の処置具先端領域検出と同様である。

【0068】

制御部１１０は、処置具先端領域検出により検出されたジョウの領域が、組織状態領域認識により検出された１又は複数の組織状態領域のうち、いずれの組織状態領域に重なるかを判定することで、ジョウに把持された組織の状態を認識する。

【0069】

図１４には、組織状態として脂肪量が認識される例を示す。図１４には、制御部１１０が、組織状態領域認識において脂肪の多い領域を検出し、組織状態の認識において「脂肪量が多い」と認識した例を示す。学習段階の教師データは、脂肪量が多い領域、少ない領域又はそれら両方の領域にアノテーションされた画像を含む。図１５には、組織状態として浸漬量が認識される例を示す。図１５には、組織状態領域認識において浸漬量が多い領域つまりウェットな領域が検出され、組織状態の認識において「浸漬量が多い」と認識された例を示す。学習段階の教師データは、浸漬量が多い領域、少ない領域又はそれら両方の領域にアノテーションされた画像を含む。

【0070】

図１６は、制御部１１０が組織状態を認識する場合の第２認識処理例である。制御部１１０は、ディテクションによる処置具先端の検出と、クラシフィケーションによる把持組織状態の分類とを行うことで、ジョウに把持された組織の状態を認識する。

【0071】

具体的には、学習済みモデル１２１は、処置具先端の検出を行うための第１学習済みモデルと、把持組織状態の分類を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像からジョウの位置を検出し、そのジョウを内包するバウンディングボックスを生成する。この処理は、図１０の処置具先端の検出と同様である。制御部１１０は、内視鏡画像からバウンディングボックス内の画像を切り出し、その画像を、第２学習済みモデルを用いた画像認識処理に入力することで、バウンディングボックス内の画像に写る組織の状態を分類する。これにより、バウンディングボックス内の画像が、いずれの状態の組織が把持された画像であるかが、特定される。学習段階においては、学習装置５００は、ジョウに把持された組織の状態を示すラベルが付された内視鏡画像を教師データとして、第２学習済みモデルを生成する。

【0072】

制御部１１０は、把持組織状態の分類の結果を、ジョウに把持された組織の状態の認識結果として出力する。

【0073】

図１７は、制御部１１０が組織状態を認識する場合の出力調整例である。制御部１１０は、組織状態の認識結果が、エネルギーデバイスにより時間をかけてしっかり封止すべき状態であるとき、通常条件よりエネルギー出力を弱める。その状態は、例えば周辺組織量が少ない状態である。制御部１１０は、組織状態の認識結果が、エネルギーデバイスにより切りにくい状態であるとき、通常条件よりエネルギー出力を強める。その状態は、例えば脂肪量が多い状態又は血液浸漬量が多い状態である。制御部１１０は、組織状態の認識結果が、上記以外のその他の状態であるとき、エネルギー出力を通常条件から変更しない。

【0074】

なお、図３２に、併用デバイスを用いる場合の出力調整例を示す。出力の欄に複数の出力調整が記載されている場合、制御部１１０は、そのいずれかの出力調整を行う。なお、制御部１１０は画像認識処理の結果に基づいてエネルギー出力を調整するが、後述のように、更にデバイス情報を併用してエネルギー出力を調整してもよい。

【0075】

６．組織把持量を認識する場合の処理例
図１８は、制御部１１０が組織把持量を認識する場合の処理例である。なお、図７の処理例と異なる部分を主に説明し、図７の処理例と同様な部分について説明を適宜に省略する。

【0076】

Ｓ１Ｃに示すように、制御部１１０に内視鏡画像が入力される。Ｓ２Ｃａに示すように、制御部１１０は、機械学習によって調整された組織認識プログラムを実行することで、内視鏡画像から組織把持量を認識する。具体的には、制御部１１０は、バイポーラデバイスのジョウが組織を把持しているときの把持量を認識する。把持量は、ジョウが組織を把持している部分の長さ、又はジョウの全長のうち組織を把持している部分の割合である。ジョウで浅く組織を把持した状態はショートピッチと呼ばれ、ジョウで深く組織を把持した状態はロングピッチと呼ばれる。ここでは、把持量が閾値以下である場合をショートピッチ、把持量が閾値以上である場合をロングピッチと呼ぶこととする。Ｓ２Ｃｂに示すように、制御部１１０は、内視鏡画像から認識した把持量と閾値を比較することでショートピッチかロングピッチかを認識する。図１８には、組織把持量がショートピッチと認識された例を示す。

【0077】

Ｓ３Ｃに示すように、制御部１１０は、内視鏡画像から認識された組織把持量に応じて出力変更指示を行う。出力変更指示の手法は図７のＳ３Ａと同様である。

【0078】

学習段階における教師データ５２１は、学習用画像として、様々な把持量の画像を含む。例えば、教師データ５２１は、把持量が閾値以下であるショートピッチの画像と、把持量が閾値以上であるロングピッチの画像とを含む。また教師データ５２１は、正解データとして、各学習用画像に写る組織把持量を示すラベルを含む。ラベルは、ジョウが組織を把持している部分の長さ、ジョウの全長のうち組織を把持している部分の割合、又はショートピッチかロングピッチかを示す情報等である。

【0079】

図１９は、制御部１１０が組織把持量を認識する場合の第１認識処理例である。制御部１１０は、ディテクションによる処置具先端の検出と、クラシフィケーションによる組織把持量の分類とを行うことで、ジョウの組織把持量を認識する。組織把持量の分類とは、内視鏡画像に写るジョウの把持量が、複数のクラスのいずれのクラスに属するかを分類することである。複数のクラスは、段階的に区切られた把持量範囲を示す。例えば、クラスは、１ｍｍ刻み等の所定長さの刻みで区切られる、或いはジョウの全長を１００％としたとき１０％刻み等の所定割合の刻みで区切られる。

【0080】

具体的には、学習済みモデル１２１は、処置具先端の検出を行うための第１学習済みモデルと、組織把持量の分類を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像からジョウの位置を検出し、そのジョウを内包するバウンディングボックスを生成する。この処理は、図１０の処置具先端の検出と同様である。制御部１１０は、内視鏡画像からバウンディングボックス内の画像を切り出し、その画像を、第２学習済みモデルを用いた画像認識処理に入力することで、バウンディングボックス内の画像に写るジョウの組織把持量を分類する。これにより、バウンディングボックス内の画像が、どのような組織把持量の画像であるかが、特定される。学習段階においては、学習装置５００は、ジョウの組織把持量を示すラベルが付された内視鏡画像を教師データとして、第２学習済みモデルを生成する。

【0081】

制御部１１０は、組織把持量の分類の結果と閾値とを比較することで、ショートピッチかロングピッチかを判定し、その判定結果を組織把持量の認識結果として出力する。図１９には、ショートピッチと判定された例を示す。

【0082】

図２０は、制御部１１０が組織把持量を認識する場合の第２認識処理例である。制御部１１０は、クラシフィケーション又はリグレッションにより、処置具先端部の特徴点と、ジョウにより把持された組織との間の定量的な位置関係を推定し、その推定結果から組織把持量を算出する。

【0083】

具体的には、制御部１１０は、学習済みモデル１２１を用いた画像認識処理により、ジョウの基端から把持組織近位端までの距離ｘ［ｍｍ］を推定する。把持組織近位端とは、ジョウに把持された組織においてジョウの基端に最も近い端である。クラシフィケーションが用いられる場合には、制御部１１０は、距離ｘが、複数のクラスのいずれのクラスに属するかを分類する。複数のクラスは、段階的に区切られた距離範囲を示す。リグレッションが用いられる場合には、制御部１１０は、ジョウの基端から把持組織近位端までの距離ｘそのものを内視鏡画像から推定する。学習段階においては、学習装置５００は、ジョウの基端から把持組織近位端までの距離ｘを示す距離情報がラベルとして付された内視鏡画像を教師データとして、学習済みモデル１２１を生成する。距離情報は、クラシフィケーションが用いられる場合には距離ｘが属するクラスであり、リグレッションが用いられる場合には距離ｘである。

【0084】

制御部１１０は、認識された距離ｘを用いて把持量＝ジョウ全長－ｘを算出する。制御部１１０は、その把持量と閾値とを比較することで、ショートピッチかロングピッチかを判定し、その判定結果を組織把持量の認識結果として出力する。図２０には、ショートピッチと判定された例を示す。

【0085】

図２１は、制御部１１０が組織把持量を認識する場合の出力調整例である。制御部１１０は、組織把持量の認識結果が、エネルギーデバイスにより切りやすい把持量であるとき、通常条件よりエネルギー出力を弱める。例えば、制御部１１０は、組織把持量が閾値以下であるショートピッチと認識したとき、通常条件よりエネルギー出力を弱める。制御部１１０は、組織把持量の認識結果が、上記以外の組織把持量であるとき、エネルギー出力を通常条件から変更しない。

【0086】

なお、図３３に、併用デバイスを用いる場合の出力調整例を示す。出力の欄に複数の出力調整が記載されている場合、制御部１１０は、そのいずれかの出力調整を行う。なお、制御部１１０は画像認識処理の結果に基づいてエネルギー出力を調整するが、後述のように、更にデバイス情報を併用してエネルギー出力を調整してもよい。

【0087】

７．組織テンションを認識する場合の処理例
図２２は、制御部１１０が組織テンションを認識する場合の処理例である。なお、図７の処理例と異なる部分を主に説明し、図７の処理例と同様な部分について説明を適宜に省略する。

【0088】

Ｓ１Ｄに示すように、制御部１１０に内視鏡画像が入力される。Ｓ２Ｄａに示すように、制御部１１０は、機械学習によって調整された組織認識プログラムを実行することで、内視鏡画像から組織テンションを認識する。具体的には、組織テンションは、バイポーラデバイスのジョウに把持された組織にかかるテンションのことである。このテンションは、バイポーラデバイスにより組織が牽引されることで、或いは鉗子等の処置具により組織が牽引されることで発生する。組織に適切なテンションが加えられることで、エネルギーデバイスによる適切な処置が可能になる。しかし、テンションが弱い等の不適切な組織テンションである場合には、エネルギーデバイスによる処置の時間がかかり、熱拡散が生じやすくなる。制御部１１０は、ジョウに把持された組織にかかるテンションの評価値であるスコアを内視鏡画像から認識する。Ｓ２Ｄｂに示すように、制御部１１０は、内視鏡画像から認識した組織テンションのスコアと閾値とを比較し、その結果を出力する。図２２には、組織テンションのスコアが閾値以下である、即ち組織テンションが適切でないと認識された例を示す。

【0089】

Ｓ３Ｄに示すように、制御部１１０は、内視鏡画像から認識された組織テンションに応じて出力変更指示を行う。出力変更指示の手法は図７のＳ３Ａと同様である。

【0090】

学習段階における教師データ５２１は、学習用画像として、様々な組織テンションの画像を含む。また教師データ５２１は、正解データとして、スコアの算出対象である評価領域と、その評価領域の画像から算出されるスコアとを含む。

【0091】

図２３は、制御部１１０が組織テンションを認識する場合の第１認識処理例である。制御部１１０は、リグレッションによる組織テンションの推定を行うことで、組織テンションのスコアを出力する。

【0092】

具体的には、制御部１１０は、学習済みモデルを用いた画像認識処理により、テンション評価の対象となる評価領域を内視鏡画像から検出すると共に、その評価領域内の画像から組織テンションを推定する。制御部１１０は、内視鏡画像に写る処置において組織に適切なテンションが加えられている場合に高いスコアを出力する。学習段階においては、学習装置５００は、評価領域を指定する情報と、組織テンションのスコアとが付された内視鏡画像を教師データとして、学習済みモデルを生成する。又は、教師データは、動画即ち時系列画像であってもよい。例えば、動画には、エネルギーデバイス又は鉗子により組織を牽引する操作が撮影されており、その動画に対して評価領域と１つのスコアが対応付けられる。スコアは、内視鏡画像又は動画に写る組織の色相、彩度、明度、輝度、又は牽引による組織の移動情報等に基づいて定量化される。その定量化により得られるスコアが、学習用の各内視鏡画像又は各動画に付される。

【0093】

図２４は、制御部１１０が組織テンションを認識する場合の第２認識処理例である。制御部１１０は、ディテクションによる処置具先端の検出を行い、その検出結果に基づいて評価領域を設定し、その評価領域内の画像に対してリグレッションによる組織テンションの推定を行う。

【0094】

具体的には、制御部１１０は、処置具先端の検出を行うための第１学習済みモデルと、組織テンションの推定を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像からジョウの位置を検出する。制御部１１０は、検出されたジョウの位置に基づいて、所定ルールに従ってジョウの周囲に評価領域を設定する。所定ルールは、例えば、ジョウの位置を中心とする所定距離内の範囲を評価領域に設定する等のルールである。学習段階においては、学習装置５００は、デバイス先端の位置、即ちバイポーラデバイスのジョウの位置を示すアノテーションが付された内視鏡画像を教師データとして、第１学習済みモデルを生成する。制御部１１０は、第２学習済みモデルを用いた画像認識処理により、評価領域内の画像から組織テンションを推定することで組織テンションのスコアを出力する。学習段階においては、学習装置５００は、組織テンションのスコアが付された内視鏡画像又は動画を教師データとして、学習済みモデルを生成する。

【0095】

図２５は、制御部１１０が組織テンションを認識する場合の出力調整例である。制御部１１０は、組織テンションの認識結果が、テンションが弱い、又はエネルギーデバイスにより組織を切りにくい条件を示すとき、通常条件よりエネルギー出力を強める。例えば、制御部１１０は、組織テンションのスコアが閾値以下であるとき、通常条件よりエネルギー出力を強める。制御部１１０は、組織テンションの認識結果が、上記以外の組織テンションであるとき、エネルギー出力を通常条件から変更しない。

【0096】

なお、図３４に、併用デバイスを用いる場合の出力調整例を示す。出力の欄に複数の出力調整が記載されている場合、制御部１１０は、そのいずれかの出力調整を行う。なお、制御部１１０は画像認識処理の結果に基づいてエネルギー出力を調整するが、後述のように、更にデバイス情報を併用してエネルギー出力を調整してもよい。

【0097】

８．処置具先端部と注意対象の距離を認識する場合の処理例
図２６は、制御部１１０が処置具先端部と注意対象の距離を認識する場合の処理例である。なお、図７の処理例と異なる部分を主に説明し、図７の処理例と同様な部分について説明を適宜に省略する。

【0098】

Ｓ１Ｅに示すように、制御部１１０に内視鏡画像が入力される。Ｓ２Ｅａに示すように、制御部１１０は、機械学習によって調整された組織認識プログラムを実行することで、内視鏡画像から、処置具先端部と注意対象の距離を認識する。具体的には、処置具先端部と注意対象の距離は、内視鏡画像においてジョウの領域内の任意の点と注意対象内の任意の点との距離のうち最短距離のことである。注意対象は、熱拡散の影響に注意すべき臓器、組織、又は器具である。例えば、注意対象は、膵臓、主要血管又はクリップ等である。注意対象が臓器又は組織である場合、その臓器又は組織に対して熱拡散の影響が及ぶ可能性がある。注意対象が器具である場合、熱拡散により高温になった器具が、その器具に接する組織に影響を及ぼす可能性がある。Ｓ２Ｅｂに示すように、制御部１１０は、内視鏡画像から認識した距離と閾値とを比較し、その結果を出力する。図２６には、距離が閾値以下である、即ち処置具先端部と注意対象が近いと認識された例を示す。

【0099】

Ｓ３Ｅに示すように、制御部１１０は、内視鏡画像から認識された距離に応じて出力変更指示を行う。出力変更指示の手法は図７のＳ３Ａと同様である。

【0100】

学習段階における教師データ５２１は、学習用画像として、ジョウと様々な注意対象が写る画像を含む。また教師データ５２１は、正解データとして、画像に写るジョウと注意対象の距離を示す距離情報を含む。

【0101】

図２７は、制御部１１０が処置具先端部と注意対象の距離を認識する場合の第１認識処理例である。制御部１１０は、セグメンテーションによる処置具先端及び組織の領域認識と、リグレッションによる２点間の距離の推定とを行う。制御部１１０は、推定された２点間の距離と閾値とを比較し、２点間の距離が閾値以上であるか閾値未満であるかを判定する。

【0102】

具体的には、学習済みモデル１２１は、処置具先端及び組織の領域認識を行うための第１学習済みモデルと、２点間の距離の推定を行うための第２学習済みモデルとを含む。制御部１１０は、第１学習済みモデルを用いた画像認識処理により、内視鏡画像からジョウの領域と組織種類毎の領域とクリップの領域を検出する。図２７には、内視鏡画像からジョウの領域、膜の領域、膵臓の領域、及び肝臓の領域が検出された例を示す。学習段階においては、学習装置５００は、ジョウの領域、組織種類毎の領域、及びクリップの領域にアノテーションが付された内視鏡画像を教師データとして、第１学習済みモデルを生成する。制御部１１０は、第２学習済みモデルを用いた画像認識処理により、ジョウの先端位置と、注意対象の領域内でジョウの先端位置に最も近い位置との間の距離を推定する。制御部１１０は、推定された距離と閾値とを比較する。注意対象は、セグメンテーションにより検出された組織、臓器又は器具のうち、予め注意対象と定められた組織、臓器又は器具である。図２７には、膵臓が注意対象に設定された例を示す。学習段階においては、学習装置５００は、ジョウと注意対象が写ると共にジョウと注意対象の距離を示す距離情報がラベルとして付された内視鏡画像を教師データとして、第２学習済みモデルを生成する。

【0103】

図２８は、制御部１１０が処置具先端部と注意対象の距離を認識する場合の出力調整例である。制御部１１０は、距離の認識結果が、デバイスと注意対象の距離が近いことを示すとき、通常条件よりエネルギー出力を弱める。例えば、制御部１１０は、認識された距離が閾値以下であるとき、通常条件よりエネルギー出力を弱める。制御部１１０は、距離の認識結果が、上記以外の距離であるとき、エネルギー出力を通常条件から変更しない。

【0104】

なお、図３５に、併用デバイスを用いる場合の出力調整例を示す。出力の欄に複数の出力調整が記載されている場合、制御部１１０は、そのいずれかの出力調整を行う。

【0105】

９．表示例
図２９に、エネルギー出力調整に関する情報の表示例を示す。制御部１１０は、エネルギー出力調整に関する情報を内視鏡画像に重畳して表示画像１５０を生成し、その表示画像１５０をモニタ表示する処理を行う。表示画像１５０は内視鏡システム２００のディスプレイ２３０に表示されてもよいし、或いはナビゲーション表示用に別途設けられたディスプレイに表示されてもよい。

【0106】

内視鏡画像には、エネルギー出力調整に関する情報として、画像認識処理の認識結果、その認識結果に基づいて選択された出力情報、又はそれら両方が重畳される。画像認識処理の認識結果は、例えば、検出された組織の領域１５１、ジョウの領域１５２、又は、ジョウに把持された組織又は組織把持量等を示す文字情報１５３等である。ジョウの領域１５２の代わりに、ジョウの位置を示すバウンディングボックスが表示されてもよい。出力情報は、例えば、選択された出力シーケンスを示す画像１５４である。或いは、出力情報は、選択されたエネルギー出力設定を示すアイコン表示１５５であってもよい。アイコン表示１５５は、例えば、複数のエネルギー出力設定を示す複数のアイコンと、決定されたエネルギー出力設定のアイコンを強調する強調表示１５６と、を含む。

【0107】

１０．画像認識結果とデバイス情報を併用したエネルギー出力調整
以上では、制御部１１０が画像認識結果に基づいてエネルギー出力調整を行う実施形態を説明したが、制御部１１０は画像認識結果とデバイス情報を併用してエネルギー出力調整を行ってもよい。図３０は、画像認識結果とデバイス情報を併用する場合の処理のフローチャートである。

【0108】

ステップＳ２１において、制御部１１０に、内視鏡システム２００の本体装置２２０から内視鏡画像が入力され、エネルギーデバイス３１０を制御するジェネレータ３００からデバイス情報が入力される。具体的には、図２において、Ｉ／Ｏデバイス１９０がジェネレータ３００からデバイス情報を受信し、その受信されたデバイス情報が制御部１１０に入力されるように構成すればよい。

【0109】

ステップＳ２２において、制御部１１０は、内視鏡画像からエネルギーデバイス３１０の視認性を判断する。制御部１１０は、例えば、エネルギーデバイス３１０が画像の奥行方向を向いている場合、エネルギーデバイス３１０のジョウが他の処置具で隠れている場合、又は内視鏡視野内のミスト量が一定以上である場合等に、エネルギーデバイス３１０の視認性が悪いと判断し、それ以外の場合にエネルギーデバイス３１０の視認性が良いと判断する。

【0110】

ステップＳ２２においてエネルギーデバイス３１０の視認性が悪いと判断された場合、ステップＳ２３において、制御部１１０は、画像認識結果を使用せずにデバイス情報を使用する、と決定する。即ち、視認性が悪い場合には、画像認識結果が信用できないと判断し、デバイス情報の使用を決定する。例えば、制御部１１０は、画像認識結果に基づくエネルギー出力調整指示をジェネレータ３００に出力せず、ジェネレータ３００がインピーダンス情報に基づく出力自動オフ等の出力制御を行う。或いは、制御部１１０は、デバイス情報に基づいてエネルギー出力調整指示をジェネレータ３００に出力してもよい。但し、画像認識結果に基づいて組織情報又は処置情報を判断する方が、デバイス情報から組織情報又は処置情報を判断する場合よりも様々な又は高精度な情報判断が可能である。この点については、整合性の説明と合わせて図３１～図３４を用いて後述する。ステップＳ２２においてエネルギーデバイス３１０の視認性が良いと判断された場合、ステップＳ２４において、制御部１１０は、機械学習を用いた画像認識の推定確度が第１閾値以上か否かを判断する。ここでは第１閾値を６０％とする。

【0111】

ステップＳ２４において推定確度が６０％未満と判断された場合、ステップＳ２３において、制御部１１０は、画像認識結果を使用せずにデバイス情報を使用する、と決定する。即ち、推定確度が低い場合には、画像認識結果が信用できないと判断し、デバイス情報の使用を決定する。ステップＳ２４において推定確度が６０％以上と判断された場合、ステップＳ２５において、制御部１１０は、推定確度が第２閾値以上か否かを判断する。第２閾値は第１閾値より高い確度である。ここでは第２閾値を９０％とする。

【0112】

ステップＳ２５において推定確度が９０％以上と判断された場合、ステップＳ２６において、制御部１１０は画像認識結果に基づいてエネルギー出力調整指示をジェネレータ３００に出力する。即ち、推定確度が十分高い場合には、画像認識結果を信用し、画像認識結果を使用する。ジェネレータ３００は、エネルギー出力調整指示により設定された出力値又は出力シーケンスでエネルギーデバイス３１０にエネルギーを供給する。このとき、ジェネレータ３００は、エネルギー出力調整指示により設定された出力値又は出力シーケンスのもとで、インピーダンス情報に基づく出力自動オフ等の出力制御を行ってもよい。ステップＳ２５において推定確度が９０％未満と判断された場合、ステップＳ２７において、制御部１１０は、画像認識結果とデバイス情報の整合性を判断する。

【0113】

ステップＳ２７において、画像認識結果とデバイス情報の整合性があると判断された場合、ステップＳ２６において、制御部１１０は画像認識結果に基づいてエネルギー出力調整指示をジェネレータ３００に出力する。即ち、画像認識の推定確度が十分には高くない場合であっても、画像認識結果とデバイス情報が整合している場合には、画像認識結果を信用し、画像認識結果を使用する。ステップＳ２７において、画像認識結果とデバイス情報の整合性がないと判断された場合、ステップＳ２３において、制御部１１０は、画像認識結果を使用せずにデバイス情報を使用する、と決定する。即ち、画像認識結果とデバイス情報が整合しない場合には、画像認識結果が信用できないと判断し、デバイス情報の使用を決定する。

【0114】

デバイス情報は、エネルギーデバイスの先端部が接する組織の電気的情報であり、例えば、エネルギーデバイスの先端部が接する組織のインピーダンス情報である。例えば、エネルギーデバイスがバイポーラデバイスである場合には、電気的情報は、２つのジョウに把持された組織のインピーダンス情報である。ジェネレータ３００は、バイポーラデバイスの２つのジョウに処置用の高周波電力を出力し、その高周波電力の電圧と電流を測定し、その測定された電圧と電流からインピーダンス情報を取得する。但し、電気的情報はインピーダンス情報に限定されず、組織の種類や処置の進行に応じて変化する情報であればよい。電気的情報は、例えば、電流、電圧、又は電流と電圧の間の位相であってもよい。或いは、電気的情報は、電力、電力量、インピーダンス、レジスタンス（抵抗）、リアクタンス、アドミタンス（インピーダンスの逆数）、コンダクタンス（アドミタンスの実数部）、又はサセプタンス（アドミタンスの虚数部）であってもよい。或いは、電気的情報は、上記の経時的変化、各パラメータ間の変化、各パラメータ間の微分積分（Ｐをパラメータとしたとき、経時的な微分はｄＰ／ｄｔであり、抵抗による微分はｄＰ／ｄＲである）、塊毎の和差など初等演算により導かれる値、又は、それぞれの閾値を跨いだかどうかといったトリガ情報であってもよい。

【0115】

画像認識の推定確度は、推定結果がどの程度確からしいかを示す度合いのことである。クラシフィケーションを行うニューラルネットワークを例にとると、出力層には各クラスに対応したノードが設けられており、入力層の入力データが各クラスに該当する確率が出力層の各ノードに出力される。そのうち最も高い確率が出力されたノードのクラスが分類結果として出力されるが、そのノードに出力されている確率が、分類結果の推定確度として用いられる。或いは、機械学習を用いた画像認識処理において精度評価を行う例では、処置の場面毎に予め精度を取得しておき、その場面と精度を組織情報又は処置情報と共に学習モデルに学習させることで学習済みモデルを生成する。この学習済みモデルを用いた画像認識処理により、組織情報又は処置情報の認識結果と共に、その認識精度が出力され、その認識精度が組織情報又は処置情報の推定確度として用いられる。処置の場面は、例えばエネルギーデバイスの把持方向で定義された場面、或いは手技シーンで定義された場面等である。把持方向で定義された場面は、例えば、エネルギーデバイスが内視鏡画像の奥行方向に向いた状態で組織を把持している場面等である。手技シーンで定義された場面は、例えば、幽門下におけるエネルギーデバイスを用いた処理等である。

【0116】

画像認識結果とデバイス情報の整合性は、画像認識情報とデバイス情報の適切な組み合わせが予め決められており、その組み合わせに合致するか否かということである。具体的には、整合性は、画像認識結果が示す組織情報又は処置情報と、デバイス情報が示す組織情報又は処置情報とが整合するか否かを意味する。図３１～図３４には、画像認識結果とデバイス情報の整合性の例が示されている。例えば図３１において、画像認識結果が薄膜又は太い血管であり、デバイス情報が低インピーダンスである場合、画像認識結果とデバイス情報が整合していると判断される。その場合、制御部１１０は、画像認識結果を信用し、画像認識結果を使用してエネルギー出力調整を行う。低インピーダンスの場合、インピーダンス情報だけでは薄膜と血管が区別されないが、画像認識結果を用いることで、薄膜と血管を区別してエネルギー出力調整できる。逆に、画像認識結果が薄膜又は血管であり、デバイス情報が高インピーダンスである場合、画像認識結果とデバイス情報が整合していないと判断される。その場合、制御部１１０は、画像認識結果が信用できないと判断し、デバイス情報の使用を決定する。

【0117】

以上に説明した本実施形態のシステム１０は、学習済みモデル１２１を記憶する記憶部１２０と、制御部１１０と、を含む。学習済みモデル１２１は、学習用デバイス組織画像又は学習用組織画像から画像認識情報を出力するように学習される。学習用デバイス組織画像は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である。学習用組織画像は、少なくとも１つの生体組織が撮像された画像である。画像認識情報は、少なくとも１つの生体組織に関する組織情報、又は少なくとも１つの生体組織に対する処置に関する処置情報の少なくとも１つである。制御部１１０は、少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である撮像画像を取得する。制御部１１０は、記憶部１２０に記憶された学習済みモデル１２１に基づく処理により、撮像画像から画像認識情報を推定する。制御部１１０は、推定した画像認識情報に基づくエネルギー出力調整指示をジェネレータ３００に対して出力する。ジェネレータ３００は、エネルギーデバイス３１０へのエネルギー供給量をエネルギー出力調整指示に基づいて制御する。

【0118】

本実施形態によれば、撮像画像から画像認識された組織情報又は処置情報に基づいてエネルギーデバイス３１０のエネルギー出力が調整される。これにより、インピーダンス情報等のデバイス情報のみからでは判別できない様々な情報に基づいて、エネルギー出力を調整することが可能になる。例えば、図３１等で上述したように、インピーダンス情報では区別できない組織種類を画像認識によって判別可能になり、その判別した組織種類に応じたエネルギー出力調整が可能になる。

【0119】

そして、画像認識された様々な情報を用いることで、エネルギーデバイス３１０による処置における熱拡散を考慮したエネルギー出力調整が可能になる。例えば、画像認識された組織情報又は処置情報から予想される熱拡散が大きい場合にはエネルギー出力を下げる等のエネルギー出力調整が可能になる。デバイス情報を用いる場合よりも詳細な情報判別が可能であることから、様々な熱拡散の状況を考慮したエネルギー出力調整が可能になる。なお、画像認識情報、組織情報、処置情報、及びエネルギー出力調整指示については、例えば「１．システム」で説明されている。

【0120】

また本実施形態では、制御部１１０は、画像認識情報に基づいて、エネルギー出力を基準エネルギー出力から増加させる、減少させる又は維持する調整のいずれかを決定し、決定した調整の指示をエネルギー出力調整指示として出力してもよい。

【0121】

本実施形態によれば、画像認識情報に基づいてエネルギー出力が増加、減少又は維持されることで、画像認識情報から予想される熱拡散に応じてエネルギー出力を増加、減少又は維持できる。例えば、エネルギー印加時間が長くなることが画像認識情報から予想される場合には、エネルギー出力を増加させることで、エネルギー印加時間を短くして熱拡散を低減できる。なお、「エネルギー出力を基準エネルギー出力から増加させる、減少させる又は維持する調整」については、例えば「４．組織種類を認識する場合の処理例」で説明されている。

【0122】

また本実施形態では、制御部１１０は、予め設定されたエネルギー出力、又はジェネレータ３００のリアルタイムのエネルギー出力を基準エネルギー出力として、エネルギー出力調整指示を出力してもよい。

【0123】

「予め設定されたエネルギー出力」とは、エネルギー出力調整の基準エネルギー出力として予め設定されており、リアルタイムのエネルギー出力とは関係無く決まった基準エネルギー出力が用いられるという意味である。「リアルタイムのエネルギー出力」とは、制御部１１０がエネルギー出力調整指示を出力するときに、ジェネレータ３００に設定されていたエネルギー出力のことである。即ち、その基準エネルギー出力は毎回異なる可能性がある。

【0124】

また本実施形態では、制御部１１０は、内視鏡２１０からの内視鏡画像を撮像画像として取得し、内視鏡画像を取得した時点において設定されているエネルギー出力を基準エネルギー出力として、エネルギー出力調整指示を出力してもよい。

【0125】

「内視鏡画像を取得した時点において設定されているエネルギー出力」とは、内視鏡画像から画像認識した情報に基づいてエネルギー出力調整指示が出力されるときに、その内視鏡画像を取得した時点において設定されていたエネルギー出力のことである。

【0126】

また本実施形態では、エネルギーデバイス３１０は、組織を把持可能な２つのジョウを有するデバイスであり、ジェネレータ３００からエネルギー供給を受けて２つのジョウからエネルギー出力を行うデバイスであってもよい。

【0127】

即ち、エネルギーデバイス３１０は、バイポーラデバイス３３０であってもよい。バイポーラデバイスについては、例えば「３．エネルギーデバイス」の図５で説明されている。

【0128】

また本実施形態では、組織情報は、少なくとも１つのエネルギーデバイスにより処置される組織の組織種類又は組織状態を含んでもよい。

【0129】

本実施形態によれば、撮像画像から画像認識された組織種類又は組織状態に基づいてエネルギーデバイス３１０のエネルギー出力が調整される。エネルギーデバイス３１０により処置されるときの熱拡散の度合いは、組織種類又は組織状態に応じて異なっている。画像認識された組織種類又は組織状態を用いることで、その組織種類又は組織状態における熱拡散を考慮したエネルギー出力調整が可能になる。なお、組織種類については、例えば「４．組織種類を認識する場合の処理例」で説明されている。組織状態については、例えば「５．組織状態を認識する場合の処理例」で説明されている。

【0130】

また本実施形態では、処置情報は、少なくとも１つのエネルギーデバイスによる組織の把持量、又は、少なくとも１つのエネルギーデバイス又はその他のデバイスによる組織の牽引量を含んでもよい。

【0131】

本実施形態によれば、撮像画像から画像認識された把持量又は牽引量に基づいてエネルギーデバイス３１０のエネルギー出力が調整される。エネルギーデバイス３１０により処置されるときの熱拡散の度合いは、把持量又は牽引量に応じて異なっている。画像認識された把持量又は牽引量を用いることで、その把持量又は牽引量における熱拡散を考慮したエネルギー出力調整が可能になる。なお、把持量については、例えば「６．組織把持量を認識する場合の処理例」で説明されている。牽引については、例えば「７．組織テンションを認識する場合の処理例」で説明されている。

【0132】

また本実施形態では、処置情報は、少なくとも１つのエネルギーデバイスにより処置される組織のテンション、又は少なくとも１つのエネルギーデバイスと注意対象との距離を含んでもよい。

【0133】

本実施形態によれば、撮像画像から画像認識された組織のテンション又はエネルギーデバイスと注意対象との距離に基づいてエネルギーデバイス３１０のエネルギー出力が調整される。エネルギーデバイス３１０により処置されるときの熱拡散の度合いは、組織のテンション又はエネルギーデバイスと注意対象との距離に応じて異なっている。画像認識された組織のテンション又はエネルギーデバイスと注意対象との距離を用いることで、その組織のテンション又はエネルギーデバイスと注意対象との距離における熱拡散を考慮したエネルギー出力調整が可能になる。なお、組織のテンションについては、例えば「７．組織テンションを認識する場合の処理例」で説明されている。エネルギーデバイスと注意対象との距離については、例えば「８．処置具先端部と注意対象の距離を認識する場合の処理例」で説明されている。

【0134】

また本実施形態では、制御部１１０は、画像認識情報を推定するときの推定確度に基づいて、エネルギー出力の制御における、画像認識情報と少なくとも１つのエネルギーデバイス３１０から得られる電気的情報との使用優先度を変更してもよい。

【0135】

本実施形態によれば、画像認識情報に基づくエネルギー出力調整が行われることと、画像認識情報に基づくエネルギー出力調整が行われずに電気的情報に基づくエネルギー出力の制御が行われることとの、優先度が、推定確度に応じて変更される。これにより、画像認識情報が信用できるか否かに応じて、上記のいずれを優先するかを制御できる。なお、「エネルギー出力の制御」は必ずしも制御部１１０が行う必要はない。例えば、画像認識情報を優先する場合には、制御部１１０が画像認識情報に基づいてエネルギー出力調整指示を出力し、電気的情報を優先する場合には、ジェネレータ３００が電気的情報に基づいてエネルギー出力を制御してもよい。この後者の場合、制御部１１０は、画像認識情報に基づくエネルギー出力調整指示を出力しないことを決定することで、電気的情報の使用を優先していることになる。なお、使用優先度の変更については、例えば「１０．画像認識結果とデバイス情報を併用したエネルギー出力調整」で説明されている。

【0136】

また本実施形態では、制御部１１０は、少なくとも１つのエネルギーデバイス３１０からの電気的情報を取得してもよい。制御部１１０は、画像認識情報と電気的情報の整合性に基づいて、エネルギー出力の制御における画像認識情報と電気的情報の使用優先度を変更してもよい。

【0137】

本実施形態によれば、画像認識情報と電気的情報の整合性に基づいて、画像認識情報が信用できるか否かを判断できる。これにより、画像認識情報が信用できるか否かに応じて、画像認識情報と電気的情報のいずれを優先するかを制御できる。「画像認識情報と電気的情報の整合性」については、例えば「１０．画像認識結果とデバイス情報を併用したエネルギー出力調整」で説明されている。

【0138】

また本実施形態では、制御部１１０は、撮像画像と、画像認識情報の内容又はエネルギー出力調整指示の内容のうち少なくとも１つとを表示部に表示する処理を行う。

【0139】

本実施形態によれば、ユーザは、表示部に表示された画像認識情報の内容又はエネルギー出力調整指示の内容のうち少なくとも１つを見ることで、エネルギー出力の自動制御において装置内部で処理された内容を知ることができる。なお、情報が表示される表示部は、内視鏡システム２００のディスプレイ２３０、或いは、それ以外に設けられるディスプレイのいずれであってもよい。表示については、例えば「９．表示例」で説明されている。

【0140】

また本実施形態では、学習済みモデル１２１は、第１学習済みモデルと第２学習済みモデルを含んでもよい。第１学習済みモデルは、学習用デバイス組織画像から、少なくとも１つのエネルギーデバイスの先端部を示すバウンディングボックスを検出するように学習される。第２学習済みモデルは、バウンディングボックス内の学習用デバイス組織画像から画像認識情報を出力するように学習される。制御部１１０は、第１学習済みモデルに基づく処理により、撮像画像からバウンディングボックスを検出し、第２学習済みモデルに基づく処理により、バウンディングボックス内の撮像画像から画像認識情報を推定する。

【0141】

本実施形態によれば、機械学習を用いたディテクションとクラシフィケーション又はリグレッションとの組み合わせにより、撮像画像から組織情報又は処置情報を画像認識できる。なお、本処理については、例えば「４．組織種類を認識する場合の処理例」の図１０、「５．組織状態を認識する場合の処理例」の図１４、「６．組織把持量を認識する場合の処理例」の図１９、又は「７．組織テンションを認識する場合の処理例」の図２４等で説明されている。

【0142】

また本実施形態では、学習済みモデル１２１は、学習用デバイス組織画像又は学習用組織画像から、少なくとも１つの生体組織の各生体組織の領域を検出し、学習用デバイス組織画像から、少なくとも１つのエネルギーデバイスの先端部領域を検出するように学習したモデルであってもよい。制御部１１０は、学習済みモデル１２１に基づく処理により、撮像画像から各生体組織の領域と先端部領域を検出し、検出した各生体組織の領域と先端部領域に基づいて画像認識情報を推定してもよい。

【0143】

本実施形態によれば、機械学習を用いたセグメンテーションにより、撮像画像から組織情報又は処置情報を画像認識できる。なお、本処理については、例えば「４．組織種類を認識する場合の処理例」の図９、又は「５．組織状態を認識する場合の処理例」の図１３～図１５等で説明されている。

【0144】

また本実施形態では、システム１０は、少なくとも１つのエネルギーデバイス３１０と、ジェネレータ３００と、を含んでもよい。

【0145】

また本実施形態では、システム１０は、撮像画像として内視鏡画像を撮像する内視鏡２１０を含んでもよい。制御部１１０は、内視鏡２１０から内視鏡画像を取得し、学習済みモデル１２１に基づく処理により内視鏡画像から画像認識情報を推定してもよい。

【0146】

また以上の処理はプログラムとして記述されてもよい。即ち、本実施形態のプログラムは、撮像画像を取得することと、学習済みモデル１２１に基づく処理により撮像画像から画像認識情報を推定することと、推定した画像認識情報に基づくエネルギー出力調整指示をジェネレータ３００に対して出力することと、をコンピュータに実行させる。

【0147】

また以上の処理はエネルギー出力調整方法として実行されてもよい。即ち、本実施形態のエネルギー出力調整方法は、撮像画像を取得することと、学習済みモデル１２１に基づく処理により撮像画像から画像認識情報を推定することと、推定した画像認識情報に基づくエネルギー出力調整指示をジェネレータ３００に対して出力することと、を含む。

【0148】

以上、本実施形態及びその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0149】

１０ システム、１００ コントローラ、１１０ 制御部、１１１ 画像取得部、１１２ 組織情報認識部、１１３ 出力設定部、１２０ 記憶部、１２１ モデル、１５０ 表示画像、１５１，１５２ 領域、１５３ 文字情報、１５４ 画像、１５５ アイコン表示、１５６ 強調表示、１８０，１９０ Ｉ／Ｏデバイス、２００ 内視鏡システム、２１０ 内視鏡、２２０ 本体装置、２３０ ディスプレイ、３００ ジェネレータ、３１０ エネルギーデバイス、３２０ モノポーラデバイス、３２１ 電極、３２２ 挿入部、３２３ 操作部、３２５ ケーブル、３３０ バイポーラデバイス、３３１ 先端部、３３２ 挿入部、３３３ 操作部、３３５ ケーブル、３３６ 基端、３３７，３３８ ジョウ、３４０ 超音波デバイス、３４１ 先端部、３４２ 挿入部、３４３ 操作部、３４４ａ，３４４ｂ 操作ボタン、３４５ ケーブル、３４６ 基端、３４７ ジョウ、３４８ プローブ、５００ 学習装置、５１０ 処理部、５２０ 記憶部、５２１ 教師データ、５２２ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】