特許 7602645 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】システム

(51)【国際特許分類】

   A61B 18/12 20060101AFI20241211BHJP

   A61B 34/10 20160101ALI20241211BHJP

【ＦＩ】

A61B18/12

A61B34/10

【請求項の数】 13

(21)【出願番号】P 2023535111

(86)(22)【出願日】2022-03-07

(86)【国際出願番号】 JP2022009693

(87)【国際公開番号】W WO2023286336

(87)【国際公開日】2023-01-19

【審査請求日】2023-09-14

(31)【優先権主張番号】63/221,128

(32)【優先日】2021-07-13

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/222,252

(32)【優先日】2021-07-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100104710

【弁理士】

【氏名又は名称】竹腰 昇

(74)【代理人】

【識別番号】100124682

【弁理士】

【氏名又は名称】黒田 泰

(74)【代理人】

【識別番号】100090479

【弁理士】

【氏名又は名称】井上 一

(74)【代理人】

【識別番号】100166523

【弁理士】

【氏名又は名称】西河 宏晃

(72)【発明者】

【氏名】西川 貫太郎

(72)【発明者】

【氏名】飯田 雅敏

(72)【発明者】

【氏名】安永 新二

(72)【発明者】

【氏名】本田 吉隆

(72)【発明者】

【氏名】新井 豪

【審査官】白川 敬寛

(56)【参考文献】

【文献】特表２０２１－５１４７２４（ＪＰ，Ａ）

【文献】特開２０２１－０２９９７９（ＪＰ，Ａ）

【文献】国際公開第２０２０／１０４３０８（ＷＯ，Ａ１）

【文献】特開２０２１－０８３９７０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００３８３１４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２９６８４２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １８／０４－１８／１６

Ａ６１Ｂ ３４／１０

Ａ６１Ｎ ７／００－ ７／０２

(57)【特許請求の範囲】

【請求項1】

エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像から、又は、前記学習用デバイス組織画像及び前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記エネルギーデバイスのエネルギー出力により発生した、前記エネルギーデバイスから前記生体組織への熱拡散領域及び前記生体組織中の特定組織領域を推定するように学習した学習済みモデルを記憶する記憶部と、
制御部と、
を含み、
前記制御部は、
少なくとも１つの前記エネルギーデバイス及び少なくとも１つの前記生体組織が撮像されたエネルギー出力中の画像である撮像画像を取得し、
前記記憶部に記憶された前記学習済みモデルに基づく処理により、前記撮像画像から前記熱拡散領域及び前記特定組織領域を推定し、
推定した前記熱拡散領域及び前記特定組織領域から、前記エネルギーデバイスのエネルギー出力による前記特定組織領域の熱損傷リスクを判定することを特徴とするシステム。

【請求項2】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記特定組織領域と前記熱拡散領域間の距離が、予め設定された閾値以下の場合に熱損傷リスクがあると判定することを特徴とするシステム。

【請求項3】

請求項２に記載されたシステムにおいて、
前記閾値は、前記特定組織領域の組織種類に応じて異なることを特徴とするシステム。

【請求項4】

請求項１に記載のシステムにおいて、
前記撮像画像は、各画像の撮像タイミングが異なる複数の内視鏡画像であることを特徴とするシステム。

【請求項5】

請求項４に記載されたシステムにおいて、
前記制御部は、
前記各画像から、前記熱拡散領域および前記特定組織領域を推定し、
前記各画像から推定した複数の前記熱拡散領域及び前記特定組織領域に基づいて、前記特定組織領域に熱拡散が到達する時間を予測結果として出力することを特徴とするシステム。

【請求項6】

請求項５に記載されたシステムにおいて、
前記制御部は、
前記予測結果である時間より前に熱損傷リスクを判定し、判定結果を出力することを特徴とするシステム。

【請求項7】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記判定の結果に基づいて、現在のエネルギー出力よりエネルギー出力を低下させる指示又はエネルギー出力を停止させる指示であるエネルギー出力調整指示を、前記エネルギーデバイスへのエネルギー供給量を前記エネルギー出力調整指示に基づいて制御するジェネレータに対して、出力することを特徴とするシステム。

【請求項8】

請求項１に記載されたシステムにおいて、
前記制御部は、
前記判定の結果に基づいて、現在のエネルギー出力よりエネルギー出力を低下させる推奨又はエネルギー出力を停止させる推奨を提示することを特徴とするシステム。

【請求項9】

請求項１に記載されたシステムにおいて、
前記エネルギーデバイスは、
組織を把持可能な２つのジョウを有するデバイスであり、ジェネレータから前記エネルギー供給を受けて前記２つのジョウからエネルギー出力を行うデバイスであることを特徴とするシステム。

【請求項10】

請求項１に記載されたシステムにおいて、
前記エネルギーデバイスは、超音波デバイスであることを特徴とするシステム。

【請求項11】

請求項１に記載されたシステムにおいて、
前記撮像画像は、熱変性による白焼けを含むことを特徴とするシステム。

【請求項12】

請求項１に記載のシステムにおいて、
前記撮像画像は、通常光とは異なる特殊光により撮像された内視鏡画像を含むことを特徴とするシステム。

【請求項13】

請求項１に記載されたシステムにおいて、
前記学習済みモデルは、
前記エネルギーデバイスの学習用エネルギー出力情報、前記学習用デバイス組織画像、又は前記学習用組織画像から、組織伝熱特性を推定するように学習した学習済みモデルであり、
前記制御部は、
前記記憶部に記憶された前記学習済みモデルに基づく処理により、前記エネルギーデバイスのエネルギー出力情報又は前記撮像画像から前記組織伝熱特性を推定することを特徴とするシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、システム等に関する。

【背景技術】

【0002】

特許文献１には、エネルギーデバイスのエネルギー出力データと、組織位置、患者状態又は光学組織センサ情報とに基づいて、エネルギーデバイスが把持している組織のタイプを決定する手術システムが開示されている。例えば、血管であるか非血管であるか、又は神経の有無等が、組織のタイプとして認識される。この手術システムは、認識したタイプに対する処置内容が不適切である場合に、エネルギー出力を停止すると共にユーザに警告する。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許出願公開第２０１７／０２５２０９５号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、処置される組織又はその周辺への熱拡散の度合い又は熱拡散の防止が考慮されていないため、エネルギーデバイスによる処置時の組織又はデバイス状態等に応じて適切にエネルギー出力を調整することができないという課題がある。具体的には、処置組織等により熱拡散が広く又は速く生じる場合、処置対象組織を熱変性させる前に熱が重要組織に伝搬し、重要組織に熱損傷を生じさせるおそれがある。また、光学組織センサ等の各種センサを設けるのは、滅菌性の観点から好ましくない。

【課題を解決するための手段】

【0005】

本開示の一態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記エネルギーデバイスのエネルギー出力により発生した、前記エネルギーデバイスから前記生体組織への熱拡散領域及び前記生体組織中の特定組織領域を推定するように学習した学習済みモデルを記憶する記憶部と、制御部と、を含み、前記制御部は、少なくとも１つの前記エネルギーデバイス及び少なくとも１つの前記生体組織が撮像されたエネルギー出力中の画像である撮像画像を取得し、前記記憶部に記憶された前記学習済みモデルに基づく処理により、前記撮像画像から前記熱拡散領域及び前記特定組織領域を推定し、推定した前記熱拡散領域及び前記特定組織領域から、前記エネルギーデバイスのエネルギー出力による前記特定組織の熱損傷リスクを判定するシステムに関係する。

【0006】

また本開示の他の態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像をリアルタイムで取得することと、前記少なくとも１つのエネルギー出力中のエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記エネルギーデバイスのエネルギー出力により発生した、前記エネルギーデバイスから前記生体組織への熱拡散領域及び前記生体組織中の特定組織領域に関する情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定することと、推定した前記画像認識情報から前記エネルギーデバイスのエネルギー出力による前記特定組織の熱損傷リスクを判定することと、をコンピュータに実行させるプログラムに関係する。

【0007】

また本開示の他の態様は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像をリアルタイムで取得することと、前記少なくとも１つのエネルギー出力中のエネルギーデバイス及び前記少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は前記少なくとも１つの生体組織が撮像された画像である学習用組織画像から、前記エネルギーデバイスのエネルギー出力により発生した、前記エネルギーデバイスから前記生体組織への熱拡散領域及び前記生体組織中の特定組織領域に関する情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、前記撮像画像から前記画像認識情報を推定することと、推定した前記画像認識情報から前記エネルギーデバイスのエネルギー出力による前記特定組織の熱損傷リスクを判定することにより熱損傷リスクの判定を行う方法に関係する。

【図面の簡単な説明】

【0008】

【図1】システムの構成例。

【図2】コントローラの構成例。

【図3】システムが行う処理を説明するフローチャート。

【図4】モノポーラデバイスの構成例。

【図5】バイポーラデバイスの構成例。

【図6】超音波デバイスの構成例。

【図7】第１実施形態の処理例。

【図8】制御部が特定組織の検出を行う場合の説明図。

【図9】制御部が熱拡散領域の検出を行う場合の説明図。

【図10】制御部が熱損傷リスクを判定する場合の説明図。

【図11】制御部がエネルギー出力を調整する場合の出力調整例。

【図12】学習装置の構成例。

【図13】重要組織の推定についての学習段階の説明図。

【図14】熱拡散領域の推定についての学習段階で用いられる画像の例。

【図15】第２実施形態の説明図。

【図16】本実施形態の処理例で用いられるインプット情報についての説明図。

【図17】特定組織領域と熱拡散領域の距離のエネルギー出力時間に対する依存性を示す図。

【図18】第３実施形態のインプット情報の説明図。

【図19】熱拡散領域の推定についての学習段階の説明図。

【図20】特殊光を用いた場合の内視鏡画像の例。

【図21】第４実施形態の説明図。

【図22】熱拡散領域の推定についての学習段階の説明図。

【図23】第５実施形態の処理例。

【図24】第６実施形態の処理例。

【図25】第７実施形態の処理例。

【発明を実施するための形態】

【0009】

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

１．システム
図１は、本実施形態におけるシステム１０の構成例である。図１には、内視鏡により術野を撮影する場合のシステム構成例を示す。図１に示すシステム１０は、コントローラ１００と内視鏡システム２００とジェネレータ３００とエネルギーデバイス３１０とを含む。システム１０は、内視鏡下において少なくとも１つのエネルギーデバイスを用いて手術を行うための手術システムである。ここではシステム１０が１つのエネルギーデバイス３１０を含む例を示すが、システム１０が複数のエネルギーデバイスを含んでもよい。

【0011】

内視鏡システム２００は、内視鏡による撮影、内視鏡画像の画像処理、及び内視鏡画像のモニタ表示を行うシステムである。内視鏡システム２００は、内視鏡２１０と本体装置２２０とディスプレイ２３０とを含む。ここでは、外科手術用の硬性鏡を例に説明する。

【0012】

内視鏡２１０は、体腔に挿入される挿入部と、挿入部の基端に接続される操作部と、操作部の基端に接続されるユニバーサルコードと、ユニバーサルコードの基端に接続されるコネクタ部とを含む。挿入部は、硬性管と対物光学系と撮像素子と照明光学系と伝送ケーブルとライトガイドとを含む。体腔内を撮影するための対物光学系及び撮像素子と、体腔内を照明するための照明光学系は、細長い円筒形状の硬性管の先端部に設けられる。硬性管の先端部は、湾曲可能に構成されてもよい。撮像素子により取得された画像信号を伝送する伝送ケーブル、及び照明光を照明光学系へ導光するライトガイドは、硬性管の内部に設けられる。操作部は、ユーザにより把持され、ユーザからの操作を受け付ける。操作部には、様々な機能が割り当てられたボタンが設けられる。挿入部先端が湾曲可能である場合には、操作部に、アングル操作レバーが設けられる。コネクタ部は、伝送ケーブルを本体装置２２０に着脱可能に接続するビデオコネクタと、ライトガイドを本体装置２２０に着脱可能に接続するライトガイドコネクタとを含む。

【0013】

本体装置２２０は、内視鏡の制御、内視鏡画像の画像処理及び内視鏡画像の表示処理を行う処理装置と、照明光の生成及び照明光の制御を行う光源装置とを含む。本体装置２２０はビデオシステムセンターとも呼ばれる。処理装置は、ＣＰＵ等のプロセッサにより構成され、内視鏡２１０から送信される画像信号を画像処理して内視鏡画像を生成し、その内視鏡画像をディスプレイ２３０とコントローラ１００に出力する。光源装置が出射した照明光は、ライトガイドにより照明光学系へ導光され、照明光学系から体腔内へ出射される。

【0014】

エネルギーデバイス３１０は、その先端部から高周波電力又は超音波等の形態としてエネルギーを出力することで、その先端部が接する組織に対して凝固、封止、止血、切開、切離又は剥離等の処置を行うデバイスである。エネルギーデバイス３１０は、エネルギー処置具とも呼ばれる。エネルギーデバイス３１０は、デバイス先端の電極と体外の電極の間に高周波電力を通電させるモノポーラデバイス、２つのジョウの間に高周波電力を通電させるバイポーラデバイス、プローブとジョウが設けられると共にプローブから超音波を出射する超音波デバイス、又はプローブとジョウの間に高周波電力を通電させると共にプローブから超音波を出射する併用デバイス等である。

【0015】

ジェネレータ３００は、エネルギーデバイス３１０へのエネルギー供給、エネルギー供給の制御、及びエネルギーデバイス３１０からの電気的情報の取得を行う。エネルギーデバイス３１０が高周波エネルギーを出力する場合、ジェネレータ３００は高周波電力を供給し、エネルギーデバイス３１０は、その高周波電力を電極又はジョウから出力する。エネルギーデバイス３１０が超音波エネルギーを出力する場合、ジェネレータ３００は電力を供給し、エネルギーデバイス３１０のプローブは、その電力を超音波に変換して出力する。

【0016】

電気的情報は、エネルギーデバイス３１０の電極、プローブ、又はジョウが接する組織の電気的情報であり、具体的には、エネルギーデバイス３１０が組織に高周波電力を出力した応答として得られる情報である。電気的情報は、例えば、エネルギーデバイス３１０により処置される組織のインピーダンス情報である。但し、後述のように電気的情報はインピーダンス情報に限らない。

【0017】

ジェネレータ３００は、出力シーケンスに従って、エネルギーデバイス３１０からのエネルギー出力を時間的に変化させる制御を行う。ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を変化させてもよい。この場合、出力シーケンスは、インピーダンス情報の変化に対してどのようにエネルギー出力を変化させるかを、規定してもよい。また、ジェネレータ３００は、インピーダンス情報の時間的変化に応じてエネルギー出力を自動オフしてもよい。例えば、ジェネレータ３００は、インピーダンスが一定以上に上昇したとき、処置終了と判断してエネルギー出力をオフしてもよい。

【0018】

コントローラ１００は、機械学習等を用いた画像認識処理により内視鏡画像から生体組織、エネルギーデバイス３１０を認識し、その認識した情報に基づいてエネルギー出力調整指示をジェネレータ３００に出力する。内視鏡画像から認識される生体組織に関する情報若しくはエネルギーデバイス３１０に関する情報又はこれら両方を画像認識情報と呼ぶ。これらの情報は、エネルギーデバイス３１０による熱拡散に影響を与える事項に関する情報である。

【0019】

生体組織に関する情報は、特定の臓器だけでなく、臓器間を繋ぐ組織等の臓器に付随する部分も含まれる。なお、以下の説明では生体組織のことを、適宜、特定組織又は重要組織と記載する。また特定組織を含む領域のことを特定組織領域と記載する。エネルギーデバイス３１０は、後述の図４～図６で説明するように、モノポーラデバイス３２０、バイポーラデバイス３３０、超音波デバイス３４０等のエネルギーデバイスであるが、これら以外であってよい。

【0020】

ジェネレータ３００は、エネルギー出力調整指示に従って、エネルギーデバイス３１０のエネルギー出力を調整する。即ち、本実施形態のシステム１０は、内視鏡画像に基づいてエネルギーデバイス３１０からのエネルギー出力を自動調整するシステムである。ジェネレータ３００は、エネルギー出力調整指示により指示されるエネルギー供給量でエネルギーデバイス３１０にエネルギーを供給し、エネルギーデバイス３１０が、そのエネルギー供給を受けてエネルギー出力することで、エネルギー出力がエネルギー出力調整指示により調整される。

【0021】

エネルギー出力調整指示は、出力シーケンスの波形全体としての出力を増減する指示、或いは、選択可能な複数の出力シーケンスのうち、いずれかの出力シーケンスに設定する指示等である。例えば、エネルギーデバイス３１０からのエネルギー出力が段階的な倍率により調整可能であるとき、エネルギー出力調整指示は、そのエネルギー出力の段階的な倍率を示す指示である。ジェネレータ３００は、その指示された倍率に応じて高周波出力又は超音波出力を増減させる。倍率は連続的に調整可能であってもよい。或いは、複数の出力シーケンスが設けられているとき、エネルギー出力調整指示は、その複数の出力シーケンスのいずれかを示す指示である。ジェネレータ３００は、その指示された出力シーケンスに従ってエネルギーデバイス３１０からのエネルギー出力を行う。なお、エネルギー出力調整指示は、エネルギー出力の増減と出力シーケンスの変更の両方の指示を含んでもよい。

【0022】

２．コントローラ
図２は、コントローラ１００の構成例である。コントローラ１００は、制御部１１０と記憶部１２０とＩ／Ｏデバイス１８０とＩ／Ｏデバイス１９０とを含む。図１と図２には、コントローラ１００がジェネレータ３００と別体の装置で構成される例を示す。その場合、コントローラ１００は、ＰＣ又はサーバ装置等の情報処理装置により構成される。或いは、コントローラ１００は、ネットワークを介して接続された１又は複数の情報処理装置によって処理を実行するクラウド等で実現されてもよい。

【0023】

Ｉ／Ｏデバイス１８０は、内視鏡システム２００の本体装置２２０から内視鏡画像の画像データを受信する。Ｉ／Ｏデバイス１８０は、画像伝送用のケーブルが接続されるコネクタ、又は、そのコネクタに接続され、本体装置２２０との通信を行うインターフェース回路である。

【0024】

制御部１１０は、学習済みモデル１２１を用いた画像認識処理により内視鏡画像から、特定組織及び熱拡散領域を推定し、その推定結果に基づいてエネルギー出力調整指示を出力する。制御部１１０は、ハードウェアとして１又は複数のプロセッサを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）又はＤＳＰ（Digital Signal Processor）等の汎用プロセッサである。或いは、プロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の専用プロセッサであってもよい。

【0025】

記憶部１２０は、画像認識処理に用いられる学習済みモデル１２１を記憶する。汎用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデル１２１として記憶する。学習済みモデル１２１は、第１学習済みモデル１２２と第２学習済みモデル１２３とを含む。第１学習済みモデル１２２は、後述の図１２で説明する特定組織領域の推定に関する学習済みモデル１２１であり、第２学習済みモデル１２３は、熱拡散領域の推定に関する学習済みモデル１２１である。推論アルゴリズムがハードウェア化された専用プロセッサにより画像認識処理が行われる場合には、記憶部１２０は、推論アルゴリズムに用いられるパラメータを学習済みモデル１２１として記憶する。

【0026】

記憶部１２０は、半導体メモリ、ハードディスクドライブ、又は光学ディスクドライブ等の記憶装置である。半導体メモリは、ＲＡＭ、ＲＯＭ又は不揮発性メモリ等である。

【0027】

画像認識処理の推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数とバイアスがパラメータである。ニューラルネットワークは、画像データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。画像認識処理に用いられるニューラルネットワークとして、例えばＣＮＮ（Convolutional Neural Network）を採用できる。

【0028】

また制御部１１０は、熱拡散検出部１１１と重要組織検出部１１２と熱損傷リスク判断部１１４と出力設定部１１３とを含む。記憶部１２０は、熱拡散検出部１１１、重要組織検出部１１２、熱損傷リスク判断部１１４及び出力設定部１１３の各部の機能が記述されたプログラムを記憶する。制御部１１０の１又は複数のプロセッサが、記憶部１２０からプログラムを読み出し、そのプログラムを実行することで、熱拡散検出部１１１、重要組織検出部１１２、熱損傷リスク判断部１１４及び出力設定部１１３の各部の機能を実現する。この各部の機能が記述されたプログラムは、コンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。

【0029】

Ｉ／Ｏデバイス１９０は、ジェネレータ３００へエネルギー出力調整指示の信号を送信する。Ｉ／Ｏデバイス１９０は、信号伝送用のケーブルが接続されるコネクタ、又は、そのコネクタに接続され、ジェネレータ３００との通信を行うインターフェース回路である。

【0030】

図３は、コントローラ１００及びシステム１０が行う処理を説明するフローチャートである。ステップＳ１において、制御部１１０が、内視鏡システム２００の本体装置２２０からＩ／Ｏデバイス１８０を介して内視鏡画像を取得する。次に、制御部１１０はステップＳ２Ａ及びステップＳ２Ｂを実行する。ステップＳ２Ａでは、重要組織検出部１１２は、第１学習済みモデル１２２を用いた画像認識処理を内視鏡画像に対して行うことで、当該画像から重要組織を推定することにより検出する。ステップＳ２Ｂでは、熱拡散検出部１１１は、第２学習済みモデル１２３を用いた画像認識処理を内視鏡画像に対して行うことで、エネルギーデバイス３１０のジョウ周辺の熱拡散領域を推定することにより検出する。熱拡散領域は、エネルギーデバイス３１０のエネルギー出力により、熱が拡散している領域のことである。例えば、ある生体組織の領域の温度が所定の温度以上である場合に、当該部分が熱拡散領域とすることができる。次にステップＳ３において、熱損傷リスク判断部１１４は、ステップＳ２Ａ、Ｓ２Ｂでの推定結果に基づいて、熱が重要組織にまで拡散し、重要組織に熱損傷を与えるリスクを判断し、出力設定部１１３に信号を送付する。熱損傷としては、例えば蛋白質の変性、細胞内酵素の失活等がある。以下においては、当該リスクのことを熱損傷リスクと記載する。そして、ステップ４において、出力設定部１１３は、当該信号に基づいて、エネルギーデバイス３１０のエネルギー出力の調整を行う。

【0031】

３．エネルギーデバイス
以下、エネルギーデバイス３１０の一例として、モノポーラデバイス３２０、バイポーラデバイス３３０、超音波デバイス３４０及び併用デバイスについて説明する。

【0032】

図４は、モノポーラデバイス３２０の構成例である。モノポーラデバイス３２０は、細長い円筒形状の挿入部３２２と、挿入部３２２の先端に設けられる電極３２１と、挿入部３２２の基端に接続される操作部３２３と、操作部３２３と不図示のコネクタとを接続するケーブル３２５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。

【0033】

ジェネレータ３００が出力した高周波電力はケーブル３２５により伝送され、電極３２１から出力される。患者の体外に対極板が設けられており、電極３２１と対極板の間で通電する。これにより、電極３２１が接する組織に高周波エネルギーが印加され、その組織にジュール熱が発生する。電極３２１は、処置の内容に応じて様々な形状の電極が採用される。モノポーラデバイス３２０は、通電パターンの変更により、凝固と切開の程度を調整可能である。一般に、モノポーラデバイス３２０の処置対象は、電極３２１が接する組織であるが、その電極３２１が接する組織の周囲に拡散した熱によって周囲組織に影響を与える可能性がある。

【0034】

図５は、バイポーラデバイス３３０の構成例である。バイポーラデバイス３３０は、細長い円筒形状の挿入部３３２と、挿入部３３２の先端部３３１に設けられる２つのジョウ３３７、３３８と、挿入部３３２の基端に接続される操作部３３３と、操作部３３３と不図示のコネクタとを接続するケーブル３３５とを含む。コネクタはジェネレータ３００に着脱可能に接続されてもよい。ジョウ３３７、３３８は、組織を把持すると共に把持された組織にエネルギーを印加するための把持部のことであり、基端３３６に設けられた軸を中心として開閉可能に構成されている。操作部３３３は、ジョウ３３７、３３８の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３３７、３３８が閉まり組織を把持する。

【0035】

ジェネレータ３００が出力した高周波電力はケーブル３３５により伝送され、ジョウ３３７、３３８が組織を把持したとき２つのジョウ３３７、３３８の間に通電する。これにより、２つのジョウ３３７、３３８に挟まれた組織に高周波エネルギーが印加され、その組織にジュール熱が発生し、その組織が凝固する。ジェネレータ３００は、ジョウ３３７、３３８に把持された組織のインピーダンス情報を計測し、そのインピーダンス情報に基づいて処置完了を検知し、エネルギー出力を自動停止してもよい。また、ジェネレータ３００は、インピーダンス情報に基づいて、組織への印加エネルギーを自動調整してもよい。バイポーラデバイス３３０のデバイス温度は、例えば、摂氏１００度程度までしか上がらないが、ジョウ３３７、３３８により把持された部分の周辺に回り込み電流が生じ、その回り込み電流により熱拡散が生じる可能性がある。

【0036】

なお、バイポーラデバイスの派生デバイスとしてベッセルシーリングデバイスがある。ベッセルシーリングデバイスは、バイポーラデバイスのジョウにカッターが設けられたデバイスであり、通電により組織を凝固した後にカッターを走らせることで組織を切離する。

【0037】

図６は、超音波デバイス３４０の構成例である。超音波デバイス３４０は、細長い円筒形状の挿入部３４２と、挿入部３４２の先端部３４１に設けられるジョウ３４７及びプローブ３４８と、挿入部３４２の基端に接続される操作部３４３と、操作部３４３と不図示のコネクタとを接続するケーブル３４５とを含む。コネクタはジェネレータ３００に着脱可能に接続される。ジョウ３４７は、基端３４６に設けられた軸を中心として可動であり、非可動のプローブ３４８に対して開閉可能に構成されている。操作部３４３は、ジョウ３４７の開閉を操作するための把持部が設けられている。医師が把持部を握り込むことで、ジョウ３４７が閉まり、ジョウ３４７とプローブ３４８が組織を把持する。操作部３４３には、例えば図６に示すように第１出力モードが割り当てられた操作ボタン３４４ａと、第２出力モードが割り当てられた操作ボタン３４４ｂとが設けられる。出力モードは処置内容に応じて選択されるものであり、各出力モードの操作ボタンが押されると、そのモードの出力シーケンスで超音波エネルギーが出力される。操作部３４３に設けられる操作ボタンの数は図６の構成に限定されない。

【0038】

ジェネレータ３００が出力した電力はケーブル３３５により伝送され、操作ボタン３４４ａ又は３４４ｂが押されたときにプローブ３４８が電力を超音波に変換して出力する。これにより、ジョウ３４７とプローブ３４８に挟まれた組織に摩擦熱が発生し、その組織が凝固する又は組織が切開される。

【0039】

高周波電力と超音波を併用する併用デバイスは、例えば図６の超音波デバイスと同様の構成である。但し、併用デバイスは、ジョウとプローブの間に高周波電力を通電することで、ジョウとプローブに把持された組織にジュール熱を発生させ、その組織を凝固させることができる。また併用デバイスは、超音波デバイスと同様に、プローブから超音波を出力することで、ジョウとプローブに把持された組織を切開できる。操作部に設けられた２つの操作ボタンの一方には、高周波モードが割り当てられ、他方にはシール＆カットモードが割り当てられる。高周波モードは、高周波エネルギー出力のみで凝固等の処置を行うモードである。シール＆カットモードは、高周波エネルギーと超音波エネルギーを併用するモードであり、高周波エネルギー出力により組織を凝固させると共に組織を切離するモードである。併用デバイスの熱拡散に関しては、例えば、バイポーラデバイスと同様な熱拡散、超音波デバイスと同様な熱拡散、又はそれら両方が生じる可能性がある。

【0040】

なお、以下の実施形態においては、主にバイポーラデバイス３３０をエネルギーデバイス３１０として用いる場合を例に説明する。但し、本実施形態は、熱拡散が生じる可能性がある上記の様々なエネルギーデバイスを用いる場合に適用可能である。

【0041】

４．第１実施形態
図７は、第１実施形態の処理例である。まず、Ｓ２１に示すように制御部１１０に内視鏡画像が入力される。具体的には、内視鏡により撮影された動画像の各フレーム画像が順次に制御部１１０に入力される。制御部１１０に入力される内視鏡画像には、１又は複数のエネルギー出力中のエネルギーデバイス及び１又は複数の生体組織が写っている。

【0042】

次に、Ｓ２２Ａに示すように、制御部１１０は、機械学習によって調整された推定プログラムを実行することで、内視鏡画像から重要組織を検出する。具体的には、内視鏡画像に重要組織をアノテーションして学習させた推定プログラムを有するネットワークに、制御部１１０が手術中の内視鏡画像をインプットすることで重要組織を検出する。ここで、重要組織は、例えば大血管、膵臓、十二指腸等であるが、これらに限られない。図８は、図７のＳ２２Ａに示す重要組織の検出について説明する図である。図８に示すように、制御部１１０は、推定プログラムに基づいて、内視鏡画像に写された被写体の中から、重要組織の領域を推定し、当該重要組織の領域に色を付してラベリングをする。そして、制御部１１０は当該ラベリングのされた内視鏡画像を熱損傷リスク判断部１１４に出力する。

【0043】

また、図７のＳ２２Ｂに示すように、制御部１１０は、前述した推定プログラムを実行することで、内視鏡画像から熱拡散領域を検出する。Ｓ２２Ａと同様に、内視鏡画像に閾値以上の温度範囲をアノテーションして学習させた推定プログラムを有するネットワークに、制御部１１０が手術中の内視鏡画像をインプットすることで熱拡散領域を検出する。図９は、図７のＳ２２Ｂでの熱拡散領域の検出について説明する図である。図９に示すように、制御部１１０は、当該推定プログラムに基づいて、内視鏡画像に写された臓器の所定の温度以上になっていると推定される領域に色を付して、熱拡散の範囲をラベリングする。そして、制御部１１０は当該ラベリングのされた内視鏡画像を熱損傷リスク判断部１１４に出力する。なお、上述した重要組織や熱拡散領域のラベリングは色以外によって行ってもよい。

【0044】

次に図７のＳ２３に示すように、制御部１１０の熱損傷リスク判断部１１４は、重要組織及び熱拡散領域の推定結果の情報を受けて、当該推定結果に基づいて重要組織の熱損傷リスクの判定を行う。図１０は、図７のＳ２３での熱損傷リスクの判定について手法について説明する図である。制御部１１０の熱損傷リスク判断部１１４は、重要組織検出部１１２及び熱拡散検出部１１１のそれぞれから出力された内視鏡画像に基づき、図１０に示すような重要組織と熱拡散領域のラベリングが重畳して表示された画像を生成する。そして、重要組織であると推定された領域と所定の温度以上になっていると推定された領域の距離を算出する。図１０では、例えば重要組織として胃が推定された場合に、胃と、所定の温度以上になっていると推定された領域との距離が示されている。ここで、当該距離は例えばエネルギーデバイス３１０がバイポーラデバイスの場合、ジョウの周りに灰色で示された熱拡散領域と、重要組織である胃の最も接近した部分の実際の距離である。当該距離は、例えばディスプレイ２３０に写った画像の解析処理により求めることができる。そして、制御部１１０は当該距離をマージンＭとして、熱損傷リスクの判定に用いる。マージンＭは、制御部１１０が熱損傷リスクを判定する際の判断材料として用いることのできるデータ等であり、例えば、上述した距離がマージンＭになる。そして、マージンＭが予め設定された閾値以下である場合には、重要組織の熱損傷リスクがあると判定する。またマージンＭが当該閾値よりも大きい場合には、重要組織の熱損傷リスクはないと判定する。熱損傷リスク判断部１１４は上述の熱損傷リスク有無についての判定結果についての信号を出力設定部１１３に出力する。

【0045】

そして、図７のＳ２４に示すように、出力設定部１１３は熱損傷リスク判断部１１４が出力した当該信号に基づいて出力変更指示を行う。具体的には、記憶部１２０が、熱損傷リスクの有無に対応するエネルギー出力調整指示についてのテーブルデータを記憶し、制御部１１０は、そのテーブルデータを参照することで、熱損傷リスクの有無に対応したエネルギー出力調整指示をＩ／Ｏデバイス１９０を介して、ジェネレータ３００に出力する。そして、ジェネレータ３００は、制御部１１０が出力したエネルギー出力調整指示に従ってバイポーラデバイスの出力シーケンスを調整する。なお、熱損傷リスクの有無に応じたエネルギー出力調整指示を出力するアルゴリズムは、上記に限定されない。図１１は、制御部１１０の出力設定部１１３が熱損傷リスクの判定結果に基づいてエネルギー出力調整指示を行う際の出力調整の例である。出力設定部１１３は、重要組織の熱損傷リスクがあると判定した場合、エネルギー出力を弱めるように出力の調整を行う。具体的には、出力設定部１１３は、電圧又は電力等の抑制或いは停止を行う。また重要組織の熱損傷リスクは無いと判定した場合、エネルギー出力を維持し又は強めるように出力の調整を行う。出力設定部１１３は、これらの出力調整指示についての信号をジェネレータ３００に出力する。

【0046】

このように制御部１１０が、内視鏡画像より重要組織とエネルギー出力による熱拡散領域とを認識し、重要組織の熱損傷リスクがあると判断された場合、ジェネレータ３００のエネルギー出力の自動調整が行われる。

【0047】

図７のＳ２３に示す熱損傷リスクの判断において、Ｓ２２Ａで検出した特定組織の組織種類に応じて、熱損傷リスクの有無を判断する際のマージンＭの閾値が異なっていてもよい。或いは、当該閾値は可変であってもよい。このようにすれば、熱損傷の発生が特に問題となる臓器について、熱損傷の発生を回避することができる。例えば、膵臓、十二指腸等の生体組織の場合には、マージンＭを大きくし、例えば胃、肝臓等の生体組織の場合には、マージンＭを小さくすることで、特に熱損傷が発生した場合、その重篤さの程度が高い重要組織の熱損傷の発生を回避することができる。

【0048】

エネルギー出力調整指示は、基準エネルギー出力を基準として、エネルギー出力を増加させる、減少させる又は維持する指示である。ジェネレータ３００は、エネルギー出力の設定操作を受け付ける操作部を有しており、その操作部によりエネルギー出力を例えば強度１～５の５段階のいずれかに設定可能である。強度１が最低のエネルギー出力、強度５が最高のエネルギー出力を示す。このとき、基準エネルギー出力は、例えば、予め決められた「強度３」等のエネルギー出力である。その場合、基準エネルギー出力よりも増加させる指示は、「強度４」又は「強度５」に設定する指示であり、基準エネルギー出力よりも減少させる指示は、「強度２」又は「強度１」に設定する指示である。或いは、基準エネルギー出力は、ジェネレータ３００の操作部により設定されている現在のエネルギー出力であってもよい。その場合、基準エネルギー出力よりも増加させる指示は、現在設定されているエネルギー出力よりも高いエネルギー出力に設定する指示であり、基準エネルギー出力よりも減少させる指示は、現在設定されているエネルギー出力よりも低いエネルギー出力に設定する指示である。或いは、基準エネルギー出力は、ジェネレータ３００に設定可能な強度１～５の出力範囲であってもよい。その場合、基準エネルギー出力よりも増加させる指示は、「強度５」よりも高いエネルギー出力に設定する指示であり、基準エネルギー出力よりも減少させる指示は、「強度１」よりも低いエネルギー出力に設定する指示である。

【0049】

さて、外科手術においてエネルギー処置を行う際のポイントとして、エネルギーデバイス３１０からの熱拡散を抑制して周囲臓器の熱損傷を避けることが挙げられる。ここで、処置される組織は一様ではないため、組織種類の違い、組織状態の違い又は患者の個人差等により、切離等の処置に要する時間にバラつきが生じ、熱拡散の程度も様々になる。これらに対処し、熱拡散を抑制すべく、医師はエネルギーデバイスの出力エネルギーの調整を行っているが、経験が必要な操作であり、特に非エキスパートにおいては適切な調整が困難な場合がある。

【0050】

このように、一般に、エネルギーデバイスを用いた処置においては、しばしば周囲への熱拡散が問題となるため、医師が拡散の程度を推測しながら処置を行う。上記特許文献１に開示された手術システムでは、インピーダンス値等に基づいて処置対象組織の熱変性の有無を判定し、すでに熱変性が起きている場合には、エネルギー出力モードを低いエネルギーを出力するモードに切り替える。しかし、当該手術システムでは、エネルギーデバイスによる処置対象組織の熱変性有無の判断のみで、処置組織周辺への熱拡散について考慮されていない。このため、処置組織やエネルギーデバイスの状態に応じたエネルギー出力の適切な調整ができない問題がある。例えば、外科手術のエネルギー処置具を使用する際、特に経験の浅い医師にあっては、周囲組織への熱拡散に対する意識が薄れる場合がある。このような場合に、熱拡散が広く又は速く生じる組織にあっては、処置対象組織を熱変性させる前に熱が重要組織に伝搬し、重要組織に熱損傷を生じさせるおそれがある。

【0051】

この点、本実施形態によれば、システム１０が、エネルギーデバイス３１０及び生体組織が撮像された撮像画像を取得し、学習済みモデルに基づく処理により熱拡散領域及び特定組織領域を推定し、エネルギーデバイスによる特定組織の熱損傷リスクを判定する。この熱損傷リスクに基づいて、システム１０は処置対象組織に印加するエネルギーを適切な量に調整できるため、熱拡散に気づかずに重要組織の熱損傷を発生させるリスクを低減できる。このように、従来医師が行っていたエネルギーデバイスの出力エネルギーの調整を、システム１０が行うことで、医師の負担を軽減できる。また、システム１０が自律的に出力調整を行うことで、非エキスパートにおいても安定した処置が可能となる。以上により、手術の安定性向上が図られ、或いは医師の経験値に依らない手技の均てん化が図れる。

【0052】

図１２は、重要組織及び熱拡散領域の推定処理の機械学習を行う学習装置５００の構成例である。学習装置５００は、例えばＰＣ又はサーバ装置等の情報処理装置によって実現され、処理部５１０と記憶部５２０とを含む。

【0053】

処理部５１０はＣＰＵ等のプロセッサであり、記憶部５２０は半導体メモリ又はハードディスクドライブ等の記憶装置である。記憶部５２０は学習モデル５２２と教師データ５２１とを記憶している。ここで、教師データ５２１は第１教師データ５２１Ａと第２教師データ５２１Ｂとを含む。また学習モデル５２２は、第１学習モデル５２２Ａと第２学習モデル５２２Ｂとを含む。そして、処理部５１０が教師データ５２１を用いて学習モデル５２２を学習させることで、学習済みモデル１２１を生成する。教師データ５２１は、複数の学習用画像の画像データと、各学習用画像に付された正解データとを含む。ここで、第１教師データ５２１Ａは重要組織についてのデータであり、第２教師データ５２１Ｂは熱拡散領域についてのデータである。また第１学習モデル５２２Ａは重要組織についての学習モデルであり、第２学習モデル５２２Ｂは熱拡散領域についての学習モデルある。複数の学習用画像は、１又は複数の生体組織及び１又は複数のエネルギーデバイス３１０が写る内視鏡画像を含む。この内視鏡画像を学習用デバイス組織画像とも呼ぶ。また複数の学習用画像は、１又は複数の生体組織が写り、且つエネルギーデバイス３１０が写らない内視鏡画像を含んでもよい。この内視鏡画像を学習用組織画像とも呼ぶ。正解データは、セグメンテーション（領域検出）におけるアノテーション、ディテクション（位置検出）におけるアノテーション、クラシフィケーション（分類）における正解ラベル、又はリグレッション（回帰分析）における正解ラベルである。処理部５１０は、学習モデル５２２による推論処理に学習用画像を入力し、その推論処理の結果と正解データの誤差に基づいて学習モデル５２２にフィードバックを行い、それを多数の教師データで繰り返すことで、学習済みモデル１２１を生成する。生成された学習済みモデル１２１は、コントローラ１００の記憶部１２０に転送される。

【0054】

図１３は、重要組織の推定するための学習段階について説明した図である。図１３に示すように、不図示の学習装置５００では、学習用デバイス組織画像又は学習用組織画像を第１教師データ５２１Ａとして、第１学習モデル５２２Ａにフィードバックする。学習用デバイス組織画像とは、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である。また学習用組織画像とは、少なくとも１つの生体組織が撮像された画像である。そして、学習用デバイス組織画像又は学習用組織画像は、当該画像上に重要組織の領域がラベリングされている。当該ラベリングは、例えば医師により付される。学習装置５００において、このような多数の学習用デバイス組織画像又は学習用組織画像を第１教師データ５２１Ａとして、第１学習モデル５２２Ａにフィードバックすることで、制御部１１０が重要組織を推定する際の精度の向上が図られる。

【0055】

前述した熱拡散領域の推定プログラムのアノテーションは、例えばサーモカメラ等を用いて撮像された画像に基づいて第２教師データ５２１Ｂを作成することにより行う。図１４は、サーモカメラによって撮像された温度情報を用いて、各種生体組織に熱拡散範囲を色付けした内視鏡画像の例である。図１４に示す例では、摂氏５９度以下、摂氏６０度～摂氏７９度、閾値温度以上の３つの温度範囲に分けて熱拡散状態が表示されている。閾値温度は、当該温度以上の温度になると熱損傷のおそれが生じる温度であり、図１４の場合、摂氏８０度である。そして、この場合、図１４に示す画像が第２教師データ５２１Ｂの学習用画像になり、当該画像に色で示された熱拡散領域の情報が正解データになる。ここで、熱拡散による熱損傷リスクの評価は、例えば蛋白質の変性、細胞内酵素の失活が基準になる。その代替指標として、単純な温度範囲もよるリスク評価、温度と時間の積の履歴によるリスク評価、加熱量によるリスク評価又はアレニウスの式による活性化エネルギーに基づくリスク評価によるものが知られている。単純な温度範囲による場合、例えば摂氏６０度、或いは摂氏５０度がリスク評価の基準になる。また温度と時間の積の履歴による場合、例えば摂氏６０度で０．１秒或いは、摂氏５０度で０．１秒がリスク評価の基準になる。なお、加熱量によるリスク評価は肝臓の焼灼などで用いられ、アレニウスの式による活性化エネルギーに基づくリスク評価は火傷で主に用いられる。

【0056】

５．第２実施形態
第２実施形態では、熱拡散領域の推定において履歴情報を用いる。以下、第１実施形態と異なる部分を主に説明する。図１５は、熱拡散領域を推定するための学習段階について説明した図である。図１５に示すように、不図示の学習装置５００では、例えば前述したサーモカメラ等を用いて撮像された履歴画像を第２教師データ５２１Ｂとして、第２学習モデル５２２Ｂにフィードバックする。当該履歴画像は、例えば上述したサーモカメラによる温度情報に基づいて、色などで熱拡散領域が示された内視鏡画像である。このように熱拡散検出機能で用いるネットワークの学習には、直近の履歴画像を第２教師データ５２１Ｂとして用いることができる。

【0057】

また熱拡散領域を推定するための学習段階において、上記の履歴画像と併せて、例えばエネルギーデバイス３１０の出力エネルギーの履歴情報を第２教師データ５２１Ｂとして用いることもできる。具体的には、図１５に示すように、エネルギーデバイス３１０の出力エネルギーのアウトプットの時間依存性についての情報を用いることができる。そして、上記の履歴画像と出力エネルギーの履歴情報は、シーン１、シーン２、・・・、シーンｎというように多数のデータを含み、第２教師データ５２１Ｂとして用いられる。この第２教師データ５２１Ｂを第２学習モデル５２２Ｂにフィードバックを行い、第２学習済みモデル１２３が生成される。このようにすれば、直近の内視鏡画像に加えて、出力エネルギーの履歴情報についても第２学習モデル５２２Ｂにフィードバックでき、制御部１１０は、より高精度な熱拡散領域の推定が可能になる。

【0058】

図１６は、図７に示した処理例のＳ２１で用いられるインプット情報の例を示す。図１６に示すように、制御部１１０はＳ２１におけるインプット情報として、撮像タイミングの異なる複数の内視鏡画像を用いることができる。撮像タイミングの異なる内視鏡画像は、例えば、動画の各フレーム画像である。また、制御部１１０は複数の内視鏡画像と併せて、エネルギーデバイス３１０から出力されたエネルギー出力履歴に関する情報をインプット情報として用いることもできる。そして、図７のステップＳ２２Ｂにおける熱拡散領域の検出は、複数の内視鏡画像及びエネルギー出力履歴情報に基づいて行われる。

【0059】

このように熱拡散領域の推定の際に、リアルタイムで撮像された画像のみでなく、直近の履歴画像及びエネルギーの出力履歴も含めてインプット情報として用いることで、動的な情報、例えば組織の収縮なども含めて熱拡散領域を推定することができる。従って、制御部１１０は、高い精度で熱拡散領域を推定することができる。

【0060】

図１７は、前述した重要組織領域と熱拡散領域の距離、即ちマージンＭのエネルギー出力時間Ｔに対する依存性を示す図である。図１７に示す横軸のｔは現在の時刻であり、ｔ０は熱拡散が重要組織に到達すると推定される時刻である。従って、時刻ｔ０の例えば規定時間ｎ前の時刻ｔ０－ｎが、重要組織の熱損傷リスクが有ると判断するタイミングになる。図１７のグラフの時刻０から時刻ｔまでの時間のマージンＭの振る舞いは、図１６で説明したように、制御部１１０が、直近の履歴画像である撮像タイミングの異なる複数の内視鏡画像から推定することができる。図１７に示すように、時刻０から時刻ｔまでは時間の経過に伴ってマージンＭは減少している。そして、時刻０から時刻ｔまでのマージンＭのエネルギー出力時間Ｔに対するマージンＭの振る舞いから、熱拡散が重要組織に到達する推定時刻ｔ０が予測できる。例えば、制御部１１０が、時刻０から時刻ｔまでのマージンＭの振る舞いから、マージンＭのエネルギー出力時間Ｔに対する依存性を外挿し、エネルギー出力時間Ｔを示す横軸との交点を求めることで時刻ｔ０を予測できる。このようにして求められたｔ０から規定時間ｎ前の時刻ｔ０－ｎが、重要組織の熱損傷リスクが有るものと判断するタイミングになる。

【0061】

このように重要組織と熱拡散領域の距離であるマージンＭの減少を時系列で取得し、熱拡散の到達が予測される時刻の規定時間ｎ前に熱損傷リスクが有るものと判断することができる。即ち、制御部１１０は、特定組織領域に熱拡散が到達する時間を予測結果として出力し、熱損傷リスクを判定し、判定結果を出力することができる。このようにすれば、重要組織の熱損傷発生リスクを低減し、安全に手術を実施することができる。

【0062】

６．第３実施形態
また図７に示す第１実施形態におけるＳ２１のインプット情報は、複数波長画像の履歴情報を含んでいてもよい。例えば、図１８に示すように、インプット情報として、エネルギー出力履歴と内視鏡の通常光による画像に加えて、特殊光によるリアルタイム画像及び履歴画像を含むことができる。特殊光により撮像された画像は、例えば、可視光の波長帯域よりも狭い狭帯域光、或いは複数の狭帯域光を使った照明光による複数波長画像である。このような複数波長画像としては、例えば、ＡＦＩ（Auto Fluorescence Imaging）、ＮＢＩ（Narrow Band Imaging）がある。なお、通常光は白色光ともいう。このように、熱拡散領域の検出の際に複数波長画像を用いることで、血管周囲の結合組織など、特定の組織に着目した情報もインプットすることができる。このようにすれば、結合組織の凝集など、動的な情報が得られやすくなり、それを活用することで、重要組織の推定、熱拡散領域の推定の精度が向上する。また熱拡散領域を推定するための学習段階については、図１４、図１５で説明したが、図１９は、複数波長画像の履歴情報が第２教師データ５２１Ｂに含まれる場合の説明図である。図１５に示す場合と比較して、第２教師データ５２１Ｂにリアルタイムの複数波長画像とその履歴画像が含まれている。不図示の学習装置５００において、複数波長画像を含む第２教師データ５２１Ｂを第２学習モデル５２２Ｂにフィードバックし、第２学習済みモデル１２３が生成される。

【0063】

図２０は、ＡＦＩにより摘出血管を観察した結果の画像例である。図２０に示すように、ＡＦＩを用いることで、制御部１１０は、血管と結合組織を明確に識別して、摘出血管の観察を行うことが可能になる。このように、ＡＦＩの複数波長画像を用いることで、例えば熱収縮しやすい組織について分離観察することができ、画像認識の精度向上が図られる。

【0064】

７．第４実施形態
また図７に示す第１実施形態において、制御部１１０が取得した撮像画像として、熱変性による白焼けを含む画像を用いることもできる。白焼けとは、熱により生体組織に熱損傷が生じ、他の熱損傷の生じていない部分と比較して白くなり、外見上、他の領域と異なって見える状態にあることをいう。このように、白焼けした範囲から熱損傷リスクのある領域を推定することができる。図２１は、制御部１１０が取得した撮像画像として、熱変性による白焼けを含む画像を用いた場合について説明した図である。Ｓ３１で制御部１１０は手術中の内視鏡画像を本機能のネットワークに入力し、画像処理を行うことで白焼けした範囲を推定する。具体的には、内視鏡画像に白やけ範囲をアノテーションして学習させたネットワークを用いる。また外見上の異常が現れていなくても、熱損傷が生じている場合がある。そこで、Ｓ３２で、制御部１１０は抽出された白焼けした範囲に規定の範囲を追加した範囲を熱拡散領域とし、熱損傷リスク判断のインプット情報として用いる。

【0065】

このようにすれば、白焼けした範囲の情報は内視鏡画像から取得できるため、教師データ５２１作成時にサーモカメラなどの機器を使用する必要がなくなる。また、制御部１１０が使用するネットワークの数も減らすことができ、制御部１１０の処理を高速化できる。

【0066】

図２２は、インプット情報に白焼けした領域がラベリングされた画像を含む場合における学習段階についての説明図である。不図示の学習装置５００は、白焼けした範囲がラベリングされた生体組織が写った学習用デバイス組織画像又は学習用組織画像を第２教師データ５２１Ｂとして、第２学習モデル５２２Ｂにフィードバックを行い、第２学習済みモデル１２３を作成する。

【0067】

８．第５実施形態
図２３に示す第５実施形態は、図７の第１実施形態と、重要組織の検出を行うＳ２２Ａ及び熱拡散領域の検出を行うＳ２２Ｂの推定処理の部分が異なっている。具体的には、第５実施形態の推定処理では、伝熱経路の熱容量及び熱抵抗の認識を行うＳ４２Ｃが加わっている。例えば、重要組織と熱拡散領域の距離が推定されたとしても、その重要組織と熱拡散領域の間の生体組織の組織伝熱特性が異なれば、重要組織に熱が拡散するまでの時間は変わってくる。このため、図７に示す第１実施形態では、伝熱特性の影響は考慮されておらず、熱拡散の予測結果の精度が一定の水準に留まる。

【0068】

この点、第５実施形態では、学習済みモデル１２１は、エネルギーデバイス３１０の学習用エネルギー出力情報、学習用デバイス組織画像、又は学習用組織画像から、組織伝熱特性を推定するように学習している。そして、制御部１１０は、記憶部１２０に記憶された学習済みモデル１２１に基づく処理により、エネルギーデバイス３１０のエネルギー出力情報又は撮像画像から組織伝熱特性を推定する。従って、制御部１１０は熱拡散領域と重要組織の距離、即ちマージンＭの減少を伝熱経路の特性から予測することができる。よって、重要組織の熱損傷の発生リスクを低減し、安全に手術を実施することができる。なお、マージンＭの減少率の変化については、例えば、機械学習等を活用することで、予測することができる。

【0069】

９．第６実施形態
図２４に示す第６実施形態は、図７の第１実施形態と、熱損傷リスクの判定を行うＳ２３後の処理が異なっている。第６実施形態では、制御部１１０が熱損傷リスクの判定を行った後、Ｓ５４でアラート提示が必要か否かの判断をする。具体的には、制御部１１０は、Ｓ５３の判定において熱損傷リスクがあると判定された場合にはアラート提示が必要と判断し、熱損傷リスクがないと判定された場合にはアラート提示は不要であると判断する。そして、制御部１１０は、熱損傷リスクがあると判定された場合には、Ｓ５５でアラート提示を行い、熱損傷リスクがないと判定された場合には、Ｓ５６でアラート提示を行わない。アラート提示は、例えば手術を行う医師が見るモニタ画面に、熱損傷リスクがあるため、現在のエネルギー出力よりエネルギー出力を低下させる推奨又はエネルギー出力を停止させる推奨を提示することにより行う。このようにすれば、熱損傷のリスクを通知した上で、医師の判断によりエネルギー出力の低下又は停止ができる。

【0070】

１０．第７実施形態
図２５に示す第７実施形態は、図７の第１実施形態と、重要組織検出についてのＳ２２Ａが異なっている。第７実施形態では、重要組織の検出を内視鏡画像ではなく、術前画像との３Ｄマッチングで推定する。ＣＴ（Computed Tomography）或いはＭＲＩ（Magnetic Resonance Imaging）との３Ｄマッチングにより、重要組織の検出を行う。このようにすれば、内視鏡では見えない重要組織を検出することが可能になる。

【0071】

また、本実施形態のシステムは、プログラムとしても実現できる。即ち、本実施形態のプログラムは、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像をリアルタイムで取得することと、少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は少なくとも１つの生体組織が撮像された画像である学習用組織画像から、エネルギーデバイスのエネルギー出力により発生した、エネルギーデバイスから生体組織への熱拡散領域及び生体組織中の特定組織領域に関する情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、撮像画像から画像認識情報を推定することと、推定した画像認識情報からエネルギーデバイスのエネルギー出力による特定組織の熱損傷リスクを判定することと、をコンピュータに実行させることができる。ここで、コンピュータとしては、パソコン等のネットワーク端末等が想定される。但し、コンピュータは、スマートフォンやタブレット端末、スマートウォッチ等のウェアラブル端末であってもよい。このようにすることで、上記と同様の効果を得ることができる。

【0072】

以上に説明した本実施形態のシステム１０は、学習済みモデル１２１を記憶する記憶部１２０と、制御部１１０と、を含む。学習済みモデル１２１は、学習用デバイス組織画像又は学習用組織画像からエネルギーデバイス３１０のエネルギー出力により発生した、エネルギーデバイス３１０から生体組織への熱拡散領域及び生体組織中の特定組織領域を推定するように学習される。学習用デバイス組織画像は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像された画像である。学習用組織画像は、少なくとも１つの生体組織が撮像された画像である。制御部１１０は、少なくとも１つのエネルギーデバイス３１０及び少なくとも１つの生体組織が撮像されたエネルギー出力中の画像である撮像画像を取得する。制御部１１０は、記憶部１２０に記憶された学習済みモデル１２１に基づく処理により、撮像画像から熱拡散領域及び特定組織領域を推定する。制御部１１０は、推定した熱拡散領域及び特定組織領域から、エネルギーデバイス３１０のエネルギー出力による特定組織の熱損傷リスクを判定する。

【0073】

本実施形態によれば、システム１０が、エネルギーデバイス３１０及び生体組織が撮像された撮像画像を取得し、学習済みモデルに基づく処理により熱拡散領域及び特定組織領域を推定し、エネルギーデバイスによる特定組織の熱損傷リスクを判定する。この熱損傷リスクに基づいて、システム１０は処置対象組織に印加するエネルギーを適切な量に調整できるため、熱拡散に気づかずに重要組織の熱損傷を発生させるリスクを低減できる。このように、従来医師が行っていたエネルギーデバイスの出力エネルギーの調整を、システム１０が行うことで、医師の負担を軽減できる。また、システム１０が自律的に出力調整を行うことで、非エキスパートにおいても安定した処置が可能となる。以上により、手術の安定性向上が図られ、或いは医師の経験値に依らない手技の均てん化が図れる。なお、学習用デバイス組織画像、学習用組織画像、特定組織及び重要組織については、「１．システム」で説明されている。

【0074】

また本実施形態では、制御部１１０は、特定組織領域と熱拡散領域間の距離が、予め設定された閾値以下の場合に熱損傷リスクがあると判定してもよい。

【0075】

本実施形態によれば、コントローラ１００の取得した画像から推定された結果に基づいて、特定組織領域と熱拡散領域間の距離を評価することができ、当該距離を熱損傷リスクの有無を判定するための基準として用いることができる。閾値を用いた熱損傷リスクの判定手法については「４．第１実施形態」で説明されている。

【0076】

また本実施形態では、閾値は、特定組織の組織種類に応じて異なっていてもよい。

【0077】

本実施形態によれば、熱損傷が特に問題となる特定組織について、熱損傷の発生リスクを回避できる。詳細は「４．第１実施形態」で説明されている。

【0078】

また本実施形態では、撮像画像は、各内視鏡画像の撮像タイミングが異なる複数の内視鏡画像であってもよい。

【0079】

本実施形態によれば、熱拡散領域ができる。従って、動的な情報についても考慮して熱拡散領域を推定することができ、熱拡散領域の推定精度の向上が図られる。なお、撮像タイミングが異なる複数の内視鏡画像については、「５．第２実施形態」の図１６で説明されている。

【0080】

また本実施形態では、撮像画像が、各内視鏡画像の撮像タイミングの異なる複数の内視鏡画像であり、制御部１１０は、各画像から、熱拡散領域および特定組織領域を推定し、各画像から推定した複数の熱拡散領域及び特定組織領域に基づいて、特定組織領域に熱拡散が到達する時間を予測結果として出力してもよい。

【0081】

本実施形態によれば、コントローラ１００が熱拡散領域と特定組織の距離の減少を時系列で取得し、熱拡散が特定組織領域に到達する時間を予測できる。これにより、手術を行う者は、その予測結果に基づいて、事前にエネルギーデバイスの出力を調整することができる。従って、特定組織領域の熱損傷発生リスクを低減し、安全に手術を実施することができる。なお、特定組織領域に熱拡散が到達する時間の予測については、「５．第２実施形態」の図１７で説明されている。

【0082】

また本実施形態では、制御部１１０は、予測結果である時間より前に熱損傷リスクを判定し、判定結果を出力してもよい。

【0083】

本実施形態によれば、特定組織領域に熱拡散が到達する前に、熱損傷リスクについての判定結果が出力される。従って、特定組織の熱損傷が発生する所定時間前に、エネルギー出力の調整を行うことが可能になり、特定組織領域の熱損傷発生リスクを低減し、安全に手術を実施することができる。なお、特定組織領域に熱拡散が到達する時間の予測については、「５．第２実施形態」の図１７で説明されている。

【0084】

また本実施形態では、制御部１１０は、判定の結果に基づいて、現在のエネルギー出力よりエネルギー出力を低下させる指示又はエネルギー出力を停止させる指示であるエネルギー出力調整指示を、エネルギーデバイス３１０へのエネルギー供給量をエネルギー出力調整指示に基づいて制御するジェネレータ３００に対して、出力してもよい。

【0085】

本実施形態によれば、特定組織領域に熱損傷が発生するリスクに応じて、システム１０が自律的にエネルギーの出力調整を行うことができる。従って、非エキスパートにおいても、特定組織領域に熱損傷が発生するリスクを回避できる。なお、エネルギー出力調整指示については、「４．第１実施形態」の図１１で説明されている。

【0086】

また本実施形態では、制御部１１０は、判定の結果に基づいて、現在のエネルギー出力よりエネルギー出力を低下させる推奨又はエネルギー出力を停止させる推奨を提示してもよい。

【0087】

本実施形態によれば、エネルギー出力を低下又は停止させる推奨を提示できる。従って、これに基づいて、手術を行う者はエネルギー出力を調整できるようになる。詳細は、「９．第６実施形態」の図２４で説明されている。

【0088】

また本実施形態では、学習済みモデル１２１は、エネルギーデバイス３１０の学習用エネルギー出力情報と学習用デバイス組織画像、又は学習用組織画像とから、エネルギーデバイス３１０から組織への熱拡散領域及び特定組織領域を推定するように学習した学習済みモデルであり、制御部１１０は、記憶部１２０に記憶された学習済みモデル１２１に基づく処理により、エネルギーデバイス３１０のエネルギー出力情報と撮像画像から熱拡散領域及び特定組織領域を推定してもよい。

【0089】

本実施形態によれば、学習段階において出力エネルギーの履歴情報についても学習モデル５２２にフィードバックできる。従って、制御部１１０は、より高精度な熱拡散領域の推定を行うことができる。なお、学習用エネルギー出力情報については、「５．第２実施形態」の図１５で説明されている。

【0090】

また本実施形態では、エネルギーデバイス３１０は、組織を把持可能な２つのジョウ３３７、３３８を有するデバイスであり、ジェネレータ３００からエネルギー供給を受けて２つのジョウ３３７、３３８からエネルギー出力を行うデバイスであってもよい。

【0091】

即ち、エネルギーデバイス３１０は、バイポーラデバイス３３０であってもよい。バイポーラデバイスについては、例えば「３．エネルギーデバイス」の図５で説明されている。

【0092】

また本実施形態では、エネルギーデバイス３１０は、超音波デバイス３４０であってもよい。

【0093】

ここで、超音波デバイス３４０は、超音波デバイス３４０とバイポーラデバイス３３０の併用デバイスであってもよい。超音波デバイス３４０及び併用デバイスについては、例えば「３．エネルギーデバイス」の図６で説明されている。

【0094】

また本実施形態では、撮像画像は、熱変性による白焼けを含んでいてもよい。

【0095】

本実施形態によれば、白焼けした範囲の情報は内視鏡画像から取得できるため、教師データ５２１作成時に他の機器を使用する必要がなくなる。また、制御部１１０が使用するネットワークの数も減らすことができ、制御部１１０の処理を高速化できる。なお、白焼けについては、「７．第４実施形態」で説明されている。

【0096】

また本実施形態では、撮像画像は、通常光とは異なる特殊光により撮像された内視鏡画像を含んでいてもよい。

【0097】

本実施形態によれば、熱拡散検出機能で用いるネットワークの学習時及び熱拡散領域の推定時の時系列データとして、複数波長画像も用いることで、血管周囲の結合組織など、特定の組織に着目した情報を追加でインプットすることができる。このようにすれば、結合組織の凝集など、動的な情報が得られやすくなり、それを活用することで特定組織領域、熱拡散領域等の推定の精度の向上が図られる。なお、通常光及び特殊光については、「６．第３実施形態」で説明されている。

【0098】

また本実施形態では、学習済みモデル１２１は、エネルギーデバイス３１０の学習用エネルギー出力情報、学習用デバイス組織画像、又は学習用組織画像から、組織伝熱特性を推定するように学習した学習済みモデルであり、制御部１１０は、記憶部１２０に記憶された学習済みモデル１２１に基づく処理により、エネルギーデバイス３１０のエネルギー出力情報又は撮像画像から組織伝熱特性を推定してもよい。

【0099】

本実施形態によれば、制御部１１０は熱拡散領域と特定組織領域の距離の減少を伝熱経路の特性から予測することができる。従って、特定組織領域の熱損傷の発生リスクを低減し、安全に手術を実施できる。なお、組織伝熱特性については、「８．第５実施形態」で説明されている。

【0100】

また以上の処理はプログラムとして記述されてもよい。即ち、本実施形態のプログラムは、撮像画像を取得することと、学習済みモデル１２１に基づく処理により撮像画像から、エネルギーデバイスから生体組織への熱拡散領域及び生体組織中の特定組織領域に関する情報の少なくとも１つである画像認識情報を推定することと、推定した画像認識情報からエネルギーデバイス３１０のエネルギー出力による特定組織の熱損傷リスクを判定することと、をコントローラ１００に実行させる。

【0101】

また以上の処理は方法として記述されてもよい。即ち、本実施形態の方法は、エネルギー供給を受けてエネルギー出力を行う少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である撮像画像をリアルタイムで取得することと、少なくとも１つのエネルギー出力中のエネルギーデバイス及び少なくとも１つの生体組織が撮像された画像である学習用デバイス組織画像、又は少なくとも１つの生体組織が撮像された画像である学習用組織画像から、エネルギーデバイスのエネルギー出力により発生した、エネルギーデバイスから生体組織への熱拡散領域及び生体組織中の特定組織領域に関する情報の少なくとも１つである画像認識情報を出力するように学習した学習済みモデルに基づく処理により、撮像画像から画像認識情報を推定することと、推定した画像認識情報からエネルギーデバイスのエネルギー出力による特定組織の熱損傷リスクを判定することにより熱損傷リスクの判定を行う。

【0102】

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

【符号の説明】

【0103】

１０ システム、１００ コントローラ、１１０ 制御部、１１１ 熱拡散検出部、１１２ 重要組織検出部、１１３ 出力設定部、１１４ 熱損傷リスク判断部、１２０ 記憶部、１２１ 学習済みモデル、１２２ 第１学習済みモデル、１２３ 第２学習済みモデル、１８０ Ｉ／Ｏデバイス、１９０ Ｉ／Ｏデバイス、２００ 内視鏡システム、２１０ 内視鏡、２２０ 本体装置、２３０ ディスプレイ、３００ ジェネレータ、３１０ エネルギーデバイス、３２０ モノポーラデバイス、３２１ 電極、３２２ 挿入部、３２３ 操作部、３２５ ケーブル、３３０ バイポーラデバイス、３３１ 先端部、３３２ 挿入部、３３３ 操作部、３３５ ケーブル、３３６ 基端、３３７ ジョウ、３３８ ジョウ、３４０ 超音波デバイス、３４１ 先端部、３４２ 挿入部、３４３ 操作部、３４４ａ 操作ボタン、３４４ｂ 操作ボタン、３４５ ケーブル、３４６ 基端、３４７ ジョウ、３４８ プローブ、５００ 学習装置、５１０ 処理部、５２０ 記憶部、５２１ 教師データ、５２１Ａ 第１教師データ、５２１Ｂ 第２教師データ、５２２ 学習モデル、５２２Ａ 第１学習モデル、５２２Ｂ 第２学習モデル、Ｍ マージン、Ｓ１ ステップ、Ｓ２１ ステップ、Ｓ２２Ｂ ステップ、Ｓ２４ ステップ、Ｓ２Ａ ステップ、Ｓ２Ｂ ステップ、Ｓ３ ステップ、Ｔ エネルギー出力時間、ｎ 規定時間、ｔ０ 推定時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】