知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-20
(45)【発行日】2025-05-28
(54)【発明の名称】医療用システム及び医療用システムの作動方法
(51)【国際特許分類】
A61B 1/00 20060101AFI20250521BHJP
A61B 1/045 20060101ALI20250521BHJP
【ＦＩ】
A61B1/00 554
A61B1/045 616
A61B1/045 618
A61B1/00 622
【請求項の数】
18
(21)【出願番号】P 2023578629
(86)(22)【出願日】2023-02-03
(86)【国際出願番号】 JP2023003488
(87)【国際公開番号】W WO2023149527
(87)【国際公開日】2023-08-10
【審査請求日】2024-03-18
(31)【優先権主張番号】63/306,571
(32)【優先日】2022-02-04
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(72)【発明者】
【氏名】藤井 雅浩
(72)【発明者】
【氏名】桑鶴 哲理
(72)【発明者】
【氏名】鶴田 尚英
(72)【発明者】
【氏名】西川 貫太郎
(72)【発明者】
【氏名】新井 豪
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】米国特許出願公開第２０２０／００７８１２３（ＵＳ，Ａ１）
【文献】特開２００４－１４１２７３（ＪＰ，Ａ）
【文献】特開２０１７－０００６２３（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０３１５７０７（ＵＳ，Ａ１）
【文献】国際公開第２０１２／０３５９２３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
組織を処置するエンドエフェクタを備える処置具と、前記組織を撮像する撮像装置と、
プロセッサと、
を含み、
前記プロセッサは、
前記撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ前記エンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、
前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、
前記力の推定結果を術者に報知することを特徴とする医療用システム。
【請求項2】
請求項１に記載された医療用システムにおいて、前記プロセッサは、
前記撮像画像における前記処置具の位置を認識し、
前記位置の認識結果に基づいて、前記撮像画像において前記エンドエフェクタに対応した領域に注目領域を設定し、
前記対象組織の前記色情報を前記注目領域の画像から認識し、
前記対象組織の前記色情報から前記力を推定することを特徴とする医療用システム。
【請求項3】
請求項２に記載された医療用システムにおいて、前記処置具は、前記エンドエフェクタの基端に接続されるシャフトを備え、
前記プロセッサは、
前記撮像画像から前記エンドエフェクタと前記シャフトの少なくとも一方をセグメンテーションによって認識し、
前記セグメンテーションによる認識結果を用いて前記注目領域を設定することを特徴とする医療用システム。
【請求項4】
請求項３に記載された医療用システムにおいて、前記プロセッサは、前記セグメンテーションにより認識された前記シャフトのエッジを延長したエッジ延長線で囲まれ且つ前記エンドエフェクタを含む領域を、前記注目領域に設定することを特徴とする医療用システム。
【請求項5】
請求項４に記載された医療用システムにおいて、前記プロセッサは、前記エッジ延長線と、前記シャフトの主成分長軸ベクトルに対して垂直な第１垂直線及び第２垂直線とで囲まれる領域を、前記注目領域に設定し、
前記第１垂直線は、前記エンドエフェクタの基端を通る線、又は前記シャフトの先端を通る線であり、
前記第２垂直線は、前記エンドエフェクタの先端を通る線であることを特徴とする医療用システム。
【請求項6】
請求項４に記載された医療用システムにおいて、前記プロセッサは、前記エッジ延長線と、前記シャフトの主成分長軸ベクトルに対して垂直な第１垂直線及び第２垂直線とで囲まれる領域を、前記注目領域に設定し、
前記第１垂直線は、前記シャフトの先端を通る線であり、
前記第２垂直線は、前記第１垂直線から前記エンドエフェクタの先端側に所定の長さだけ離れた線であることを特徴とする医療用システム。
【請求項7】
請求項３に記載された医療用システムにおいて、前記プロセッサは、
前記エンドエフェクタが前記対象組織と重なることで前記撮像画像において欠損している前記エンドエフェクタの欠損領域と、前記撮像画像に写っている前記エンドエフェクタの露出領域とを、前記セグメンテーションにより認識し、
認識された前記欠損領域及び前記露出領域を前記注目領域として設定することを特徴とする医療用システム。
【請求項8】
請求項１に記載された医療用システムにおいて、前記プロセッサは、前記対象組織の前記色情報が前記エンドエフェクタの色情報に近いほど、前記エンドエフェクタにより前記対象組織にかかる前記力が強いと推定することを特徴とする医療用システム。
【請求項9】
請求項８に記載された医療用システムにおいて、前記プロセッサは、
前記対象組織における前記エンドエフェクタの色の透過率を、前記対象組織の前記色情報と前記エンドエフェクタの色情報の近さを示す指標として取得し、
前記透過率が高いほど、前記エンドエフェクタにより前記対象組織にかかる前記力が強いと推定することを特徴とする医療用システム。
【請求項10】
請求項８に記載された医療用システムにおいて、前記プロセッサは、
前記対象組織の前記色情報と前記エンドエフェクタの色情報の近さを示す指標と、適切な力の範囲を示す前記指標の判定基準とを比較することで、前記対象組織にかかる前記力が適切な範囲であるか否かを判定することを特徴とする医療用システム。
【請求項11】
請求項１０に記載された医療用システムにおいて、前記プロセッサは、
前記対象組織の種類を前記撮像画像から認識し、
認識した前記種類に対応した判定基準を、複数の組織種類に対応した複数の判定基準の中から選択し、
選択した前記判定基準を用いて、前記対象組織にかかる前記力が適切な範囲であるか否かを判定することを特徴とする医療用システム。
【請求項12】
組織を処置するエンドエフェクタを備える処置具と、前記エンドエフェクタからのエネルギ出力を調整するジェネレータと、
前記組織を撮影する撮像装置と、
プロセッサと、
を含み、
前記プロセッサは、
前記処置具に処置される前記組織にかかる力を、前記撮像装置が撮像した画像から推定し、前記力の推定結果に基づいて前記ジェネレータの出力設定を変更する第１処理を行う、
前記撮像装置が撮像した画像から、前記エンドエフェクタの周辺の金属を検出し、前記金属の検出結果に基づいて前記ジェネレータの出力設定を変更する第２処理を行う、又は、
前記ジェネレータの推奨出力設定を出力し、前記推奨出力設定を承認又は拒否する操作入力を受け付け、前記操作入力において前記推奨出力設定が承認されたとき又は前記推奨出力設定が拒否されなかったとき、前記ジェネレータの出力設定を前記推奨出力設定に変更する第３処理を行い、
前記第１処理又は前記第３処理が行われる場合において、
前記プロセッサは、
前記撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ前記エンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、
前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、
前記力の推定結果に基づいて前記ジェネレータの前記出力設定を変更することを特徴とする医療用システム。
【請求項13】
請求項１２に記載された医療用システムにおいて、前記プロセッサは、
前記撮像画像における前記処置具の位置を認識し、
前記位置の認識結果に基づいて、前記撮像画像において前記エンドエフェクタに対応した領域に注目領域を設定し、
前記対象組織の前記色情報を前記注目領域の画像から認識し、
前記対象組織の前記色情報から前記力を推定することを特徴とする医療用システム。
【請求項14】
請求項１３に記載された医療用システムにおいて、前記処置具は、前記エンドエフェクタの基端に接続されるシャフトを備え、
前記プロセッサは、
前記撮像画像から前記エンドエフェクタと前記シャフトの少なくとも一方をセグメンテーションによって認識し、
前記セグメンテーションによる認識結果を用いて前記注目領域を設定することを特徴とする医療用システム。
【請求項15】
請求項１４に記載された医療用システムにおいて、前記注目領域は、前記撮像画像において前記エンドエフェクタが写っているべき範囲であり、
前記プロセッサは、前記セグメンテーションにより認識された前記シャフトのエッジを延長したエッジ延長線で囲まれ且つ前記エンドエフェクタを含む領域を、前記注目領域に設定することを特徴とする医療用システム。
【請求項16】
請求項１２に記載された医療用システムにおいて、前記プロセッサは、前記対象組織の前記色情報が前記エンドエフェクタの色情報に近いほど、前記エンドエフェクタにより前記対象組織にかかる前記力が強いと推定することを特徴とする医療用システム。
【請求項17】
請求項１６に記載された医療用システムにおいて、前記プロセッサは、
前記対象組織における前記エンドエフェクタの色の透過率を、前記対象組織の前記色情報と前記エンドエフェクタの色情報の近さを示す指標として取得し、
前記透過率が高いほど、前記エンドエフェクタにより前記対象組織にかかる前記力が強いと推定することを特徴とする医療用システム。
【請求項18】
組織を処置するエンドエフェクタを備える処置具と、前記組織を撮像する撮像装置と、プロセッサとを含む医療用システムの作動方法であって、前記プロセッサが、前記撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ前記エンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、
前記プロセッサが、前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、
前記プロセッサが、前記力の推定結果を術者に報知することを特徴とする医療用システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医療用システム及び医療用システムの作動方法等に関する。
【背景技術】
【0002】
内視鏡を用いた処置において、フックナイフ型モノポーラで組織を持ち上げて切開する際には、組織をナイフにひっかけて牽引する操作を行う。適切なテンションで引っ張りながらエネルギを印加することで、エネルギ印加時間を短くかつ熱侵襲範囲を狭くできるため、安全かつ効率的に手術ができる。
【0003】
また、内視鏡画像から取得した情報に基づいて支援情報をモニタに表示する手法が知られている。例えば特許文献１には、内視鏡画像を構成する各画素の色相値及び彩度値に基づいて、病変部の重症度を評価する評価値を算出し、その評価値を所定の表示画面に表示させる表示手段を備える病変評価情報生成装置が、開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１４－２１３０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
フックナイフ型モノポーラを用いた手技において、適切なテンションの感覚を得るには熟練が必要であり、特に非熟練医においては効率的な手術ができないことがあった。このため、術者に対して適切な支援を行うことが望まれる。なお、特許文献１は病変評価に関する支援であって、フックナイフ型モノポーラを用いた手技に関する支援ではない。ここではフックナイフ型モノポーラを例に説明したが、組織を牽引しつつエネルギ印加を行って組織を処置する状況においては、同様な課題が生じる。
【課題を解決するための手段】
【0006】
本開示の一態様は、組織を処置するエンドエフェクタを備える処置具と、前記組織を撮像する撮像装置と、プロセッサと、を含み、前記プロセッサは、前記撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ前記エンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、前記力の推定結果を術者に報知する医療用システムに関係する。
【0007】
また本開示の他の態様は、組織を処置するエンドエフェクタを備える処置具と、前記エンドエフェクタからのエネルギ出力を調整するジェネレータと、前記組織を撮影する撮像装置と、プロセッサと、を含み、前記プロセッサは、前記処置具に処置される前記組織にかかる力を、前記撮像装置が撮像した画像から推定し、前記力の推定結果に基づいて前記ジェネレータの出力設定を変更する第１処理を行う、前記撮像装置が撮像した画像から、前記エンドエフェクタの周辺の金属を検出し、前記金属の検出結果に基づいて前記ジェネレータの出力設定を変更する第２処理を行う、又は、前記ジェネレータの推奨出力設定を出力し、前記推奨出力設定を承認又は拒否する操作入力を受け付け、前記操作入力において前記推奨出力設定が承認されたとき又は前記推奨出力設定が拒否されなかったとき、前記ジェネレータの出力設定を前記推奨出力設定に変更する第３処理を行う医療用システムに関係する。
【0008】
また本開示の更に他の態様は、組織を撮像する撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ処置具のエンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、前記力の推定結果を術者に報知する報知方法に関係する。
【0009】
また本開示の更に他の態様は、組織を処置するエンドエフェクタを備える処置具と、前記組織を撮像する撮像装置と、プロセッサとを含む医療用システムの作動方法であって、前記プロセッサが、前記撮像装置が出力した撮像画像から、前記組織のうち、前記組織の下に潜り込んだ前記エンドエフェクタの少なくとも一部を覆う部分である対象組織の色情報を取得し、前記プロセッサが、前記対象組織の前記色情報から、前記エンドエフェクタにより前記対象組織にかかる力を推定し、前記プロセッサが、前記力の推定結果を術者に報知する医療用システムの作動方法に関係する。
【図面の簡単な説明】
【0010】
【図1】本実施形態における支援手法の概要を説明する図。
【図2】第１実施形態における医療用システムの構成例。
【図3】第１実施形態におけるコントローラの第１構成例。
【図4】第１構成例における処理のフロー図。
【図5】第１計測部が実行する処理の詳細を説明する図。
【図6】処置具認識と注目領域設定の第１詳細例。
【図7】処置具認識と注目領域設定の第２詳細例。
【図8】処置具認識と注目領域設定の第３詳細例。
【図9】内視鏡画像にフックが写っていない場合におけるステップＳ２ｂの他の例。
【図10】内視鏡画像にフックが写っていない場合におけるステップＳ２ｂの他の例。
【図11】処置具認識と注目領域設定の第４詳細例。
【図12】処置具認識と注目領域設定の第５詳細例。
【図13】処置具認識と注目領域設定の第５詳細例。
【図14】第２計測部、判断部及び提示部が実行する処理の詳細を説明する図。
【図15】テンション判断の第１詳細例。
【図16】テンション判断の第２詳細例。
【図17】第１実施形態におけるコントローラの第２構成例。
【図18】第２構成例における処理のフロー図。
【図19】第２構成例における組織判定部及びスイッチング部が実行する処理の詳細を説明する図。
【図20】第３構成例における処理のフロー図。
【図21】第３構成例における組織判定部及びスイッチング部が実行する処理の詳細を説明する図。
【図22】第２実施形態における医療用システムの構成例。
【図23】第２実施形態におけるコントローラの第１構成例。
【図24】第２実施形態の第１構成例における処理のフロー図。
【図25】第２実施形態におけるコントローラの第２構成例。
【図26】第２実施形態におけるコントローラの第３構成例。
【図27】第２実施形態の第３構成例における処理の第１フロー図。
【図28】第２実施形態の第３構成例における処理の第１フロー図。
【図29】第２実施形態におけるコントローラの第４構成例。
【図30】第２実施形態の第４構成例における処理のフロー図。
【図31】第３実施形態における処理のフロー図。
【図32】第４実施形態における医療用システム及びコントローラの構成例。
【図33】第４実施形態における第１詳細例のフロー図。
【図34】第４実施形態における第１詳細例のフロー図。
【図35】提示手法の例。
【図36】提示手法の例。
【図37】提示手法の例。
【図38】第４実施形態における第２詳細例のフロー図。
【図39】ステップＳ５２とＳ５３の詳細例。
【図40】承認又は拒否する機能とエネルギ出力の機能を１つのボタンに割り当てる例。
【図41】第４実施形態における第３詳細例のフロー図。
【図42】ボタン押下ではなく情報提示を起点として出力開始までの猶予時間を設ける例。
【図43】第４実施形態における第４詳細例のフロー図。
【発明を実施するための形態】
【0011】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0012】
１．手法
図１は、本実施形態における支援手法の概要を説明する図である。
図１は、本実施形態における支援手法の概要を説明する図である。
【0013】
フックナイフ型モノポーラを用いて組織を切開する際、熟練医に比べて非熟練医は適切なテンションが分からない恐れがある。このため、術者にとっては適切なテンションを報知するシステムが望ましい。
【0014】
図１に示すように、本実施形態の医療用システムは、ＡＩ等による処置具認識を用いて内視鏡画像ＩＭＧから注目領域ＡＲＯＩを検出する。注目領域ＡＲＯＩは、フックナイフ３３０の先端周辺に設定される。フックナイフ３３０の先端に対応した領域ＡＥＶにおいては、組織越しにフックナイフ３３０の先端が透過して見えている。またフックナイフ３３０の先端により組織が牽引されることで、組織にテンションが生じている。医療用システムは、組織を透過して見えるフックナイフ３３０の先端の透過度を注目領域ＡＲＯＩの画像から求め、その透過度から組織の張力を推定する。そして、医療用システムは、推定した張力に基づいて、フックナイフ３３０の先端周辺の組織に印加されているテンションが適切か否かを判断し、その結果をモニタ表示等で術者に提示する。
【0015】
本実施形態によれば、フックナイフ３３０が組織に与えるテンションが内視鏡画像から推定され、その推定されたテンションに基づいて術者に支援情報が提示される。これにより、フックナイフ３３０を用いて組織を持ち上げて凝固切開を行う際に、執刀医の熟練度によらず安全かつ効率的なテンションを実現するための支援を実施できる。即ち、熟練医の暗黙知である処置に適したテンション判断をシステム側で担うことで、非熟練医が安全かつ効率的にフックナイフ型モノポーラを使用可能になる。
【0016】
また、フックナイフ３３０の先端周辺に注目領域ＡＲＯＩが設定されるので、テンション判断に用いられる画像がフックナイフ３３０の先端周辺のみに制限される。これにより、内視鏡画像から適切なテンション評価が可能になる。即ち、組織上の任意の場所ではなく、比較的認識が容易な処置具の先端に注目領域ＡＲＯＩを設定し、その中に入った組織のみを評価対象とすることで、術者が処置したい場所のみを安定して評価可能になる。
【0017】
また、フックナイフ３３０により牽引される組織の裏側に透けて見えるフックナイフ３３０の先端部の色という基準を用いることで、組織に印加されているテンションが適切か否かをより容易に判断可能になる。
【0018】
２．第１実施形態
２．１．医療用システム
図２は、第１実施形態における医療用システムの構成例である。医療用システム１０は、コントローラ１００と内視鏡２１０と内視鏡の本体装置２２０とモニタ２３０とジェネレータ３００と処置具３１０とを含む。ここでは外科手術用の硬性鏡を用いたシステムを示すが、本実施形態の支援手法は消化管用の軟性鏡を用いたシステムにも適用可能である。その場合には、処置具３１０のシャフトが長軸の軟性部材で構成され、そのシャフトが軟性鏡の処置具チャンネルを通ると共に処置具３１０の先端部が軟性鏡の先端から突出する。
２．１．医療用システム
図２は、第１実施形態における医療用システムの構成例である。医療用システム１０は、コントローラ１００と内視鏡２１０と内視鏡の本体装置２２０とモニタ２３０とジェネレータ３００と処置具３１０とを含む。ここでは外科手術用の硬性鏡を用いたシステムを示すが、本実施形態の支援手法は消化管用の軟性鏡を用いたシステムにも適用可能である。その場合には、処置具３１０のシャフトが長軸の軟性部材で構成され、そのシャフトが軟性鏡の処置具チャンネルを通ると共に処置具３１０の先端部が軟性鏡の先端から突出する。
【0019】
内視鏡２１０は、体腔内に挿入され、体腔内を撮影する硬性鏡である。内視鏡２１０は、例えば、体腔に挿入される挿入部と、挿入部の基端に接続される操作部と、操作部の基端に接続されるユニバーサルコードと、ユニバーサルコードの基端に接続されるコネクタ部とを含む。挿入部の先端には、体腔内を撮影するための撮像装置と、体腔内を照明するための照明光学系と、が設けられる。撮像装置は、対物光学系と、対物光学系が結像した被写体を撮像する撮像素子と、を含む。コネクタ部は、伝送ケーブルを本体装置２２０に着脱可能に接続する。以下では、内視鏡２１０により撮像された画像を、撮像画像又は内視鏡画像と呼ぶ。
【0020】
本体装置２２０は、内視鏡の制御、内視鏡画像の画像処理及び内視鏡画像の表示処理を行う処理装置と、照明光の生成及び照明光の制御を行う光源装置とを含む。処理装置は、ＣＰＵ等のプロセッサにより構成され、内視鏡２１０から送信される画像信号を画像処理して内視鏡画像を生成し、その内視鏡画像をモニタ２３０とコントローラ１００に出力する。光源装置が出射した照明光は、ライトガイドにより内視鏡２１０の照明光学系へ導光され、照明光学系から体腔内へ出射される。モニタ２３０は、液晶ディスプレイ又はＥＬディスプレイ等である。
【0021】
処置具３１０は、その先端部から高周波電力又は超音波等によりエネルギを出力することで、その先端部が接する組織に対して凝固、封止、止血、切開、切離又は剥離等の処置を行うデバイスである。処置具３１０はエネルギデバイスとも呼ばれる。ここでは処置具３１０がフックナイフ型モノポーラである例を説明する。モノポーラとは、デバイス先端の電極と体外の電極の間に高周波電力を通電させるデバイスである。但し、処置具３１０は、エンドエフェクタを組織下にもぐり込ませて組織に張力を与えつつエネルギ印加を行って組織を処置するようなエネルギデバイスであればよい。
【0022】
処置具３１０は、シャフト３１２と、シャフト３１２の先端側に接続されるエンドエフェクタ３１１と、シャフト３１２の基端側に接続されるハンドル部３１３と、を含む。シャフト３１２は細長い円筒形状であり、硬質な部材で構成されている。エンドエフェクタ３１１は、組織の下に潜らせて組織を牽引するためのフック形状になっている。エンドエフェクタ３１１は、モノポーラの電極に相当しており、組織を牽引した状態でエネルギを組織に印加することで、組織の切開又は凝固等を行う。ハンドル部３１３は、術者が把持して処置具３１０を操作するための操作部である。ハンドル部３１３は、例えばストレートタイプつまりシャフト３１２と同軸の略円筒形状であるが、それに限らず様々な形状であってよく、例えばシャフト３１２に交差する方向にハンドルが突き出た銃型などであってもよい。ハンドル部３１３には、術者がエネルギ出力等を指示するためのボタン３１４が設けられている。図２にはボタンが１つである例を示すが、ボタンが複数設けられてもよい。またフットスイッチ等の外部スイッチを用いる場合にはハンドル部３１３からボタンが省略されていてもよい。ハンドル部３１３には、送気又は吸気のためのポート３１５が設けられてもよい。その場合、ポート３１５からハンドル部３１３及びシャフト３１２を貫通してシャフト３１２の先端までチャネルが設けられている。
【0023】
ジェネレータ３００は、処置具３１０へのエネルギ供給、エネルギ供給の制御、及びインピーダンス情報の取得を行う。即ち、ジェネレータ３００は高周波電力を出力し、処置具３１０は、その高周波電力をエンドエフェクタ３１１から出力する。またジェネレータ３００には、切開又は凝固等の処置の種類に応じた出力シーケンス、或いは各出力シーケンスにおける出力の高低が設定される。これらの設定は、例えば、ジェネレータ３００に設けられた操作部を介して変更可能である。ジェネレータ３００は、設定された出力シーケンス及び出力の高低に従って高周波電力を出力する。インピーダンス情報は、処置具３１０が組織に高周波電力を出力したときの電圧と電流の関係から得られる。
【0024】
コントローラ１００は、図１で説明したように、内視鏡画像からテンションの支援情報を生成し、その支援情報をモニタに表示する。支援情報は、内視鏡のモニタ２３０に表示されてもよいし、或いは様々な支援情報を表示するために別途設けられた不図示のモニタに表示されてもよい。コントローラ１００は、例えばパーソナルコンピュータ等の情報処理装置である。なお、図２では内視鏡の本体装置２２０とコントローラ１００が別体の装置である例を示したが、コントローラ１００の機能が本体装置２２０に内蔵された構成であってもよい。なお以下では、支援情報が内視鏡のモニタ２３０に表示され、本体装置２２０とコントローラ１００が別体の装置である例を説明する。
【0025】
２．２．第１構成例
図３は、第１実施形態におけるコントローラの第１構成例である。内視鏡システム２００は、図２の内視鏡２１０と本体装置２２０に対応する。コントローラ１００は、プロセッサ１１０とメモリ１２０とＩ／Ｏデバイス１８０とＩ／Ｏデバイス１９０とを含む。なお、ここではジェネレータ３００及び処置具３１０の図示を省略している。
図３は、第１実施形態におけるコントローラの第１構成例である。内視鏡システム２００は、図２の内視鏡２１０と本体装置２２０に対応する。コントローラ１００は、プロセッサ１１０とメモリ１２０とＩ／Ｏデバイス１８０とＩ／Ｏデバイス１９０とを含む。なお、ここではジェネレータ３００及び処置具３１０の図示を省略している。
【0026】
Ｉ／Ｏデバイス１８０は、内視鏡システム２００から内視鏡画像を受信する。Ｉ／Ｏデバイス１８０は、本体装置２２０に接続するためのケーブルコネクター、或いは本体装置２２０との通信処理を行う通信回路である。
【0027】
Ｉ／Ｏデバイス１９０は、プロセッサ１１０が出力した画像データをモニタ２３０へ出力する。モニタ２３０は、Ｉ／Ｏデバイス１９０から受信した画像データに基づいて画像表示を行う。画像データは、フックナイフ型モノポーラが組織に与えるテンションに関する支援情報を含む。また画像データは、更に内視鏡画像を含んでもよい。Ｉ／Ｏデバイス１９０は、モニタ２３０に接続するためのケーブルコネクター、或いはモニタ２３０との通信処理を行う通信回路である。
【0028】
プロセッサ１１０はハードウェアを含む。プロセッサ１１０は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロコンピューター又はＤＳＰ（Digital Signal Processor）等である。或いは、プロセッサ１１０は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等であってもよい。プロセッサ１１０は、ＣＰＵ、ＧＰＵ、マイクロコンピューター、ＤＳＰ、ＡＳＩＣ及びＦＰＧＡ等のうち１又は複数で構成されてもよい。メモリ１２０は、例えば、揮発性メモリ又は不揮発性メモリである半導体メモリである。或いは、メモリ１２０は、ハードディスク装置等である磁気記憶装置、或いは、光学ディスク装置等である光学式記憶装置等であってもよい。
【0029】
メモリ１２０は、種々の処理内容が記述されたプログラム１２１を記憶する。プロセッサ１１０は、プログラム１２１を実行することで種々の処理を実行する。プログラム１２１は、機械学習により得られた学習済みモデルを含んでもよい。学習済みモデルは、例えば、ＡＩ（Artificial Intelligence）のアルゴリズムが記述されたプログラム、及び、そのプログラム内で用いられるデータ等を含んでよい。例えば、学習済みモデルは、ＣＮＮ（Convolutional Neural Network）等のニューラルネットワークを含んでもよい。その場合、学習済みモデルは、ニューラルネットワークのアルゴリズムが記述されたプログラム、及びニューラルネットワークのノード間の重みパラメータ等を含む。なお、コンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体が、プログラム１２１を格納してもよい。情報記憶媒体は、例えば光ディスク、メモリカード、ハードディスクドライブ、或いは半導体メモリ等である。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。コントローラ１００は、情報記憶媒体に格納されるプログラム１２１をメモリ１２０にロードし、そのプログラム１２１に基づいて種々の処理を行う。
【0030】
第１構成例においては、メモリ１２０は、第１計測部１１２、第２計測部１１３、判断部１１４、及び提示部１１５の処理内容が記述されたプログラム１２１を記憶する。プロセッサ１１０は、プログラム１２１を実行することで、第１計測部１１２、第２計測部１１３、判断部１１４、及び提示部１１５の処理を実行する。例えば、プログラム１２１は、各部の処理が記述されたプログラムモジュールを含み、プロセッサ１１０は、プログラムモジュールを実行することで各部の処理を実行する。
【0031】
図４は、第１構成例における処理のフロー図である。なお、図中の「ＲＯＩ」は注目領域を意味する。
【0032】
ステップＳ１において、Ｉ／Ｏデバイス１８０は、内視鏡システム２００によって撮影された内視鏡映像を取り込む。また、第１計測部１１２は、Ｉ／Ｏデバイス１８０によって取り込まれた内視鏡画像を取得する。ステップＳ２において、第１計測部は、内視鏡画像に写っている処置具を認識し、認識された処置具の先端部付近に注目領域を設定する。
【0033】
ステップＳ３において、第２計測部１１３は、注目領域の画像を用いて、フックナイフ型モノポーラにより持ち上げられている組織部分におけるフックの透過率を、注目領域の画像から算出する。例えば、第２計測部１１３は、フックナイフ型モノポーラにより持ち上げられている組織部分を注目領域内で認識し、その認識した組織部分におけるフックの透過率を算出する。
【0034】
ステップＳ４において、判断部１１４は、算出された透過率に基づいて組織に適切なテンションが印加されているか否かを判断する。
【0035】
ステップＳ５において、提示部１１５は、判断部１１４が判断した結果を提示情報に変換し、その提示情報をモニタ２３０に表示させる。提示情報は、例えば、文字、図形、色又はアイコン等を含む画像情報である。
【0036】
以下、各部が行う処理の詳細を説明する。図５は、第１計測部が実行する処理の詳細を説明する図である。
【0037】
ステップＳ１において、第１計測部１１２は内視鏡画像ＩＭＧを取得する。内視鏡画像ＩＭＧは、内視鏡２１０により撮影された動画像のフレーム画像である。ステップＳ１～Ｓ５の処理は、基本的には動画像に対してリアルタイムに実行される。但し、例えば録画された動画像に対してステップＳ１～Ｓ５の処理が実行されてもよい。
【0038】
ステップＳ１００において、機械学習により学習済みモデル１２２を生成する。このステップＳ１００は学習段階において実行され、推論段階である図４のステップＳ２には含まれなくてもよい。教師データ１２３は、複数の内視鏡画像と、各内視鏡画像に付されたアノテーションとを含む。主にセグメンテーションによる物体検出が想定されており、アノテーションは、内視鏡画像における処置具の領域を示すデータである。具体的には、シャフトの領域及びフックの領域それぞれにアノテーションが付されている。機械学習は、情報処理装置等の学習装置によって実行される。学習装置のプロセッサは、教師データ１２３の内視鏡画像を学習モデルに入力し、学習モデルが内視鏡画像から処置具の領域を検出し、その検出結果と教師データ１２３のアノテーションとの誤差に基づいて学習モデルの重みパラメータを更新する。学習装置は、この更新処理を多数の内視鏡画像に対して繰り返すことで、学習済みモデル１２２を生成する。
【0039】
ステップＳ２ａにおいて、第１計測部１１２は、学習済みモデル１２２に内視鏡画像ＩＭＧを入力し、学習済みモデル１２２は、内視鏡画像ＩＭＧから処置具３１０の領域を検出する。ステップＳ２ｂにおいて、第１計測部１１２は、検出された処置具３１０の領域に基づいて、内視鏡画像ＩＭＧに対して注目領域ＡＲＯＩを設定する。注目領域ＡＲＯＩは、処置具３１０先端を基準とする所定範囲である。注目領域ＡＲＯＩの形状は、後述するように、矩形、円形、又はフックそのものの形状等であってよい。
【0040】
図６は、処置具認識と注目領域設定の第１詳細例である。なお、ステップＳ１００の機械学習においては、フック全体が写った内視鏡画像、フックの一部が組織下に隠れてフックの一部が写った内視鏡画像、及びフックの全体が組織下に隠れてフックが写っていない内視鏡画像についてのセグメンテーションを学習しておく。学習済みモデルによる検出では、内視鏡画像に写るフックの状態に応じたセグメンテーション結果が出力される。
【0041】
図６のステップＳ１においては、フックが組織下に潜っておらず、内視鏡画像にフック全体が写っている場合を想定する。
【0042】
ステップＳ２ａにおいて、第１計測部１１２は、機械学習を用いたセグメンテーションにより内視鏡画像から処置具のシャフトの領域ＡＳＨと処置具のフックの領域ＡＦＫとを検出する。
【0043】
ステップＳ２ｂにおいて、第１計測部１１２は、シャフトの領域ＡＳＨから、主成分長軸ベクトルＬＣ、第１エッジ延長線ＬＥ１及び第２エッジ延長線ＬＥ２を算出する。主成分長軸ベクトルＬＣは、シャフトの領域ＡＳＨの長軸方向における中心線である。第１エッジ延長線ＬＥ１及び第２エッジ延長線ＬＥ２は、シャフトの領域ＡＳＨの長軸方向においてシャフトの領域ＡＳＨのエッジを延長した線である。また第１計測部１１２は、フックの領域ＡＦＫから、フック基端線ＬＦ１及びフック先端線ＬＦ２を算出する。フック基端線ＬＦ１は、フックの領域ＡＦＫの基端を通り、且つ主成分長軸ベクトルＬＣに垂直な線である。フック先端線ＬＦ２は、フックの領域ＡＦＫの先端を通り、且つ主成分長軸ベクトルＬＣに垂直な線である。第１計測部１１２は、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２、フック基端線ＬＦ１及びフック先端線ＬＦ２で囲まれた矩形領域を、注目領域ＡＲＯＩに設定する。
【0044】
【0045】
ステップＳ２ａにおいて、第１計測部１１２は、機械学習を用いたセグメンテーションにより内視鏡画像から処置具のシャフトの領域ＡＳＨと処置具のフックの領域ＡＦＫとを検出する。フックの領域ＡＦＫは、内視鏡画像に写っているフック先端側の一部がセグメンテーションされたものである。即ち、セグメンテーションにおいて、フック基端側に対応した領域は検出されていない。
【0046】
ステップＳ２ｂにおいて、第１計測部１１２は、フック基端線ＬＦ１に代えて、シャフトの領域ＡＳＨからシャフト先端線ＬＦ３を算出する。シャフト先端線ＬＦ３は、シャフトの領域ＡＳＨの先端を通り、且つ主成分長軸ベクトルＬＣに垂直な線である。それ以外の線は図６と同様である。第１計測部１１２は、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２、シャフト先端線ＬＦ３及びフック先端線ＬＦ２で囲まれた矩形領域を、注目領域ＡＲＯＩに設定する。
【0047】
【0048】
ステップＳ２ａにおいて、第１計測部１１２は、機械学習を用いたセグメンテーションにより内視鏡画像から処置具のシャフトの領域ＡＳＨを検出する。フックが内視鏡画像に写っていないため、フックの領域ＡＦＫは検出されない。
【0049】
ステップＳ２ｂにおいて、第１計測部１１２は、シャフトの領域ＡＳＨから、主成分長軸ベクトルＬＣ、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２及びシャフト先端線ＬＦ３を算出する。第１計測部１１２は、シャフト先端線ＬＦ３から固定長さＧＬＡだけ離れた線ＬＦ４を設定する。線ＬＦ４は、シャフト先端線ＬＦ３よりも更に先端側に設定され、且つ主成分長軸ベクトルＬＣに垂直である。固定長さＧＬＡは、例えば、画像上において画素数等で表される長さである。第１計測部１１２は、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２、シャフト先端線ＬＦ３及び線ＬＦ４で囲まれた矩形領域を、注目領域ＡＲＯＩに設定する。
【0050】
【0051】
図９の例では、第１計測部１１２は、シャフトの領域ＡＳＨから、主成分長軸ベクトルＬＣ、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２及びシャフト先端線ＬＦ３を算出する。第１計測部１１２は、画像上におけるシャフト径ＳＨＤをシャフトの領域ＡＳＨから算出し、そのシャフト径ＳＨＤに所定倍率を乗じて長さＧＬＢを算出し、シャフト先端線ＬＦ３から長さＧＬＢだけ離れた線ＬＦ５を設定する。線ＬＦ５は、シャフト先端線ＬＦ３よりも更に先端側に設定され、且つ主成分長軸ベクトルＬＣに垂直である。第１計測部１１２は、第１エッジ延長線ＬＥ１、第２エッジ延長線ＬＥ２、シャフト先端線ＬＦ３及び線ＬＦ５で囲まれた矩形領域を、注目領域ＡＲＯＩに設定する。
【0052】
図１０の例では、第１計測部１１２は、シャフトの領域ＡＳＨの先端を基準とした所定領域を注目領域ＡＲＯＩに設定する。所定領域は、例えば、シャフトの領域ＡＳＨの先端から更に先端側に所定距離だけ離れた点を中心とした領域である。所定領域の形状は、図１０のように円であってもよいし、或いは矩形であってもよい。
【0053】
図１１は、処置具認識と注目領域設定の第４詳細例である。この例では、組織に隠れた部分も含めてフックの領域を検出し、そのフックの領域そのものを注目領域ＡＲＯＩに設定する。
【0054】
学習段階であるステップＳ１００において、フックのうち内視鏡画像に写った部分の領域ＡＦＫがアノテーションされたデータと、フックのうち内視鏡画像に写っていない部分の領域ＡＦＫＣを補間してフック全体（つまりＡＦＫ＋ＡＦＫＣ）がアノテーションされたデータと、が作成される。学習装置は、これらのアノテーションデータを対にして内視鏡画像と共に学習モデルに学習させる。
【0055】
推論段階であるステップＳ２ａにおいて、第１計測部１１２は、学習済みモデルを用いたセグメンテーションにより、フックのうち内視鏡画像に写っていない部分を含めたフック全体の領域を内視鏡画像から検出する。ステップＳ２ｂにおいて、第１計測部１１２は、検出されたフック全体の領域を注目領域ＡＲＯＩに設定する。
【0056】
なお、ここでは内視鏡画像にフックの先端側の一部が写っている例を説明した。内視鏡画像にフック全体が写っている場合には、その見えているフック全体の領域がセグメンテーションにより検出され、その検出された領域が注目領域ＡＲＯＩに設定されてもよい。内視鏡画像にフックが写っていない場合には、内視鏡画像に写っていないフック部分がアノテーションされたデータを用いて学習が行われ、その学習済みモデルにより、内視鏡画像に写っていないフック全体の領域が検出され、その検出された領域が注目領域ＡＲＯＩに設定されてもよい。
【0057】
図１２と図１３は、処置具認識と注目領域設定の第５詳細例である。この例では、セグメンテーションによる処置具認識ではなく、ディテクション等を用いて内視鏡画像から直接に注目領域を設定する。以下、ディテクションを用いた検出手法を説明するが、機械学習のアルゴリズムは、画像入力に対して注目領域の推論結果を出力できるアルゴリズムであればよい。
【0058】
図１２に示すように、学習段階であるステップＳ１００において、内視鏡画像ＩＭＬ１～ＩＭＬ３に写るフックを囲むバウンダリボックスＢＸＬ１～ＢＸＬ３がアノテーションされたデータが、作成される。内視鏡画像ＩＭＬ１は、内視鏡画像にフック全体が写っている例である。内視鏡画像ＩＭＬ２は、フックの一部が組織下に隠れている例である。組織下に隠れた部分を含めてフック全体が包含されるようにバウンダリボックスＢＸＬ２が設定される。内視鏡画像ＩＭＬ３は、フックの全部が組織下に隠れている例である。組織下に隠れたフック全体が包含されるようにバウンダリボックスＢＸＬ３が設定される。学習装置は、これらの内視鏡画像及びアノテーションデータを教師データとして学習モデルに学習させる。
【0059】
図１３に示すように、推論段階であるステップＳ２において、第１計測部１１２は、学習済みモデルを用いたディテクションにより、内視鏡画像から、フック部分に対応したバウンダリボックスを検出する。第１計測部１１２は、検出されたバウンダリボックスの内部を注目領域ＡＲＯＩに設定する。
【0060】
図１４は、第２計測部、判断部及び提示部が実行する処理の詳細を説明する図である。
【0061】
ステップＳ３において、第２計測部１１３は、注目領域ＡＲＯＩの画像から、フックが潜り込んだ部分の領域ＡＥＶの色情報を取得する。例えば、第２計測部１１３は、注目領域ＡＲＯＩにおいてフックの色と組織の色の中間色となっている領域を抽出することで、領域ＡＥＶを決定し、その領域ＡＥＶの画像の色情報を取得する。或いは、図１１で説明したようにフックの領域が直接に注目領域ＡＲＯＩとして抽出される場合には、第２計測部１１３は、領域ＡＥＶを設定せずに、注目領域ＡＲＯＩの色情報を、フックが潜り込んだ部分の色情報として取得してもよい。色情報は、例えば、ＲＧＢ値、ＹＣｒＣｂ値又はＨＳＶ値等である。また色情報は、領域ＡＥＶ内における色の平均値又は代表値等である。第２計測部１１３は、領域ＡＥＶの色情報に基づいて、組織の色とフックの色を基準としてフックの透過率を算出する。即ち、第２計測部１１３は、組織の色にフックの色がどの程度混ざっているかを評価して、組織を透けたフックの透過率を算出する。基準となる組織の色は、例えば注目領域ＡＲＯＩ周辺の組織の色情報により取得され、フックの色は、例えば画像に写るフックの色情報から取得される。或いは、基準となる組織の色は予め設定された所定色であってもよいし、フックの色は予め設定された所定色であってもよい。これらの所定色の情報はメモリ１２０又はデータベース等に記憶されてもよい。第２計測部１１３は、一例として、領域ＡＥＶの色情報を組織の色とフックの色のαブレンドで表し、そのブレンド比αにより透過率を算出する。
【0062】
ステップＳ４において、判断部１１４は、画像から算出された透過率に基づいて、フックナイフ型モノポーラにより牽引される組織のテンションが、適切なテンションの範囲に入っているか否かを判断する。Ｓ４に示したグラデーションは、下端が組織の色を示し、上端がフックの色を示している。組織にテンションが加わると薄くなるのでフックの透過率が高くなり、領域ＡＥＶの色情報が上端のフックの色に近くなる。このことに基づいて、透過率からテンションを評価できる。
【0063】
ステップＳ５において、提示部１１５は、テンションの評価結果をモニタに表示する。例えば、提示部１１５は、内視鏡画像ＩＭＧに提示情報ＴＩＮＦを付加した画像データを生成し、その画像データをモニタに出力する。提示部１１５は、例えば、適切な範囲の下限より透過率が小さいとき、「テンション：緩い」と表示し、透過率が適切な範囲内であるとき、「テンション：適切」と表示し、適切な範囲の上限より透過率が大きいとき、「テンション：強い」と表示する。図１４には提示情報ＴＩＮＦが文字情報である例を示したが、提示情報ＴＩＮＦは色又はアイコン等であってもよい。或いは、提示部１１５は、モニタ表示ではなく音又は振動等によってテンションの評価結果を術者に提示してもよい。
【0064】
図１５は、テンション判断の第１詳細例を示す。上述したように、第２計測部１１３は、組織の色、フックの色及び検出された色から、組織を透けて見えるフックの透過率を算出する。適切なテンションの範囲を示す透過率の下限値をＴＨＡ１とし、上限値をＴＨＡ２とする。判断部１１４は、透過率と下限値ＴＨＡ１の比較、及び透過率と上限値ＴＨＡ２の比較を行う。判断部１１４は、ＴＨＡ１≦透過率≦ＴＨＡ２であるときテンションが適切であると判断し、透過率＜ＴＨＡ１又はＴＨＡ２＜透過率であるときテンションが不適切であると判断する。より具体的には、判断部１１４は、透過率＜ＴＨＡ１であるときテンションが緩いと判断し、ＴＨＡ２＜透過率であるときテンションが強いと判断する。
【0065】
図１６は、テンション判断の第２詳細例を示す。この例では、牽引による組織の白色化を評価することで、テンションを評価する。第２計測部１１３は、フックが潜り込んだ部分の領域ＡＥＶの色情報に基づいて、組織の色と白色を基準として組織の白化度を算出する。白化度は、組織の色に白色がどの程度混ざっているかを示す。第２計測部１１３は、一例として、領域ＡＥＶの色情報を組織の色と白色のαブレンドで表し、そのブレンド比αにより白化度を算出する。適切なテンションの範囲を示す白化度の下限値をＴＨＢ１とし、上限値をＴＨＢ２とする。判断部１１４は、白化度と下限値ＴＨＢ１の比較、及び白化度と上限値ＴＨＢ２の比較を行う。判断部１１４は、ＴＨＢ１≦白化度≦ＴＨＢ２であるときテンションが適切であると判断し、白化度＜ＴＨＢ１又はＴＨＢ２＜白化度であるときテンションが不適切であると判断する。より具体的には、判断部１１４は、白化度＜ＴＨＢ１であるときテンションが緩いと判断し、ＴＨＢ２＜白化度であるときテンションが強いと判断する。
【0066】
なお、上記では透過率又は色などの指標値そのものからテンションを評価したが、以下の例のように、指標値の変化量からテンションを評価してもよい。
第１例：組織が牽引されたとき、その組織が白色に限らず様々な色味に変化する可能性がある。第２計測部１１３は、牽引後の組織色がどのような色であるかに関わらず、牽引前の組織色と牽引後の組織色との変化を評価することで、テンションを評価してもよい。例えば、第２計測部１１３は、牽引前の組織色と牽引後の組織色との差分を評価してもよい。
第２例：透過率を用いたテンション評価において、牽引前の透過率がゼロとは限らない。例えば薄膜などの透過率が高い組織においては、フックナイフを薄膜下に入れた時点で５０％程度の透過率がある可能性がある。一方で、透過率が低い組織においては、フックナイフを薄膜下に入れた時点では透過率がゼロに近い可能性がある。第２計測部１１３は、透過率そのものではなく、牽引前の透過率と牽引後の透過率との変化を評価することで、テンションを評価してもよい。例えば、第２計測部１１３は、牽引前の透過率と牽引後の透過率との差分を評価してもよい。上記の薄膜の例では、一例として、第２計測部１１３は、牽引前の透過率５０％から牽引後の透過率が６０％となったとき、適切なテンションになったと判定してもよい。
第３例：第２計測部１１３は、透過率の変化に限らず、不透明度＝１００％－透明度を評価してもよく、例えば牽引後の不透明度が牽引前の不透明度の０．８倍になる等の変化量を指標としてもよい。
第１例：組織が牽引されたとき、その組織が白色に限らず様々な色味に変化する可能性がある。第２計測部１１３は、牽引後の組織色がどのような色であるかに関わらず、牽引前の組織色と牽引後の組織色との変化を評価することで、テンションを評価してもよい。例えば、第２計測部１１３は、牽引前の組織色と牽引後の組織色との差分を評価してもよい。
第２例：透過率を用いたテンション評価において、牽引前の透過率がゼロとは限らない。例えば薄膜などの透過率が高い組織においては、フックナイフを薄膜下に入れた時点で５０％程度の透過率がある可能性がある。一方で、透過率が低い組織においては、フックナイフを薄膜下に入れた時点では透過率がゼロに近い可能性がある。第２計測部１１３は、透過率そのものではなく、牽引前の透過率と牽引後の透過率との変化を評価することで、テンションを評価してもよい。例えば、第２計測部１１３は、牽引前の透過率と牽引後の透過率との差分を評価してもよい。上記の薄膜の例では、一例として、第２計測部１１３は、牽引前の透過率５０％から牽引後の透過率が６０％となったとき、適切なテンションになったと判定してもよい。
第３例：第２計測部１１３は、透過率の変化に限らず、不透明度＝１００％－透明度を評価してもよく、例えば牽引後の不透明度が牽引前の不透明度の０．８倍になる等の変化量を指標としてもよい。
【0067】
テンション判断のその他の例として、オプティカルフローを用いた例を説明する。第２計測部１１３は、注目領域ＡＲＯＩの画像から、組織のオプティカルフローと処置具のオプティカルフローの差を検出する。判断部１１４は、検出されたオプティカルフローの差、つまり組織の動きと処置具の動きの差に基づいてテンションが適切か否かを判断する。判断部１１４は、処置具の動きに組織の動きが連動して動きの差が小さいときには、テンションが緩いと判断し、処置具の動きに組織の動きが連動せず動きの差が大きいときには、テンションが強いと判断する。なお、透過率、組織色、又はそれらの変化を用いたテンション判断に、オプティカルフローを用いたテンション判断を組み合わせてもよい。これにより、一方のみを用いたテンション判断に比べて、テンション判断の精度の向上を期待できる。
【0068】
以上に説明したように、本実施形態の医療用システム１０は、組織を処置するエンドエフェクタ３１１を備える処置具３１０と、組織を撮像する撮像装置と、プロセッサ１１０と、を含む。プロセッサ１１０は、撮像装置が出力した撮像画像から対象組織の色情報を取得する。対象組織は、組織のうち、組織の下に潜り込んだエンドエフェクタ３１１の少なくとも一部を覆う部分である。プロセッサ１１０は、対象組織の色情報から、エンドエフェクタ３１１により対象組織にかかる力を推定する。プロセッサ１１０は、力の推定結果を術者に報知する。
【0069】
本実施形態によれば、処置の対象となる組織に対してエンドエフェクタ３１１の少なくとも一部が潜り込んでおり、そのエンドエフェクタ３１１の少なくとも一部を覆う部分の組織に対してエンドエフェクタ３１１から力が加わっている。エンドエフェクタ３１１から力が加わる部分の対象組織は、その力の影響を受けて色が変化する。例えば対象組織に力が加わり対象組織の厚みが変化することで、対象組織を通したエンドエフェクタ３１１の透過率が変化する。或いは対象組織に力が加わることで対象組織が白化する。これにより、対象組織の色情報から、エンドエフェクタ３１１により対象組織にかかる力を推定できる。そして、力の推定結果を術者に報知することで、術者の熟練度に関わらず、処置具３１０により対象組織に適切な力を加えつつ対象組織を処置できる。これにより、効率的で安全な処置が可能になる。
【0070】
また本実施形態では、プロセッサ１１０は、撮像画像における処置具３１０の位置を認識し、その位置の認識結果に基づいて、撮像画像においてエンドエフェクタ３１１に対応した領域に注目領域ＡＲＯＩを設定する。プロセッサ１１０は、対象組織の色情報を注目領域ＡＲＯＩの画像から認識し、その対象組織の色情報から力を推定する。
【0071】
本実施形態によれば、様々なものが写る視野内において、エンドエフェクタ３１１に対応した領域に限定して対象組織の色情報を取得できる。エンドエフェクタ３１１から力を受けている組織領域に限定して色情報を取得することで、その力を高精度に推定できる。
【0072】
また本実施形態では、処置具３１０は、エンドエフェクタ３１１の基端に接続されるシャフト３１２を備える。図６～図１１で説明したように、プロセッサ１１０は、撮像画像からエンドエフェクタ３１１とシャフト３１２の少なくとも一方をセグメンテーションによって認識し、セグメンテーションによる認識結果を用いて注目領域ＡＲＯＩを設定する。
【0073】
本実施形態によれば、セグメンテーションによりエンドエフェクタ３１１とシャフト３１２の少なくとも一方の位置を認識でき、その位置に基づいて注目領域ＡＲＯＩを設定できる。例えば、エンドエフェクタ３１１が認識された場合には、その認識された位置に注目領域ＡＲＯＩを設定できる。或いは、シャフト３１２のみ認識された場合には、そのシャフト３１２の先端位置に基づいて、組織下に隠れたエンドエフェクタ３１１の位置を推定できるので、その位置に注目領域ＡＲＯＩを設定できる。
【0074】
また本実施形態では、注目領域ＡＲＯＩは、撮像画像においてエンドエフェクタ３１１が写っているべき範囲である。図６～図９で説明したように、プロセッサ１１０は、セグメンテーションにより認識されたシャフト３１２のエッジを延長したエッジ延長線ＬＥ１、ＬＥ２で囲まれ且つエンドエフェクタ３１１を含む領域を、注目領域ＡＲＯＩに設定する。
【0075】
エンドエフェクタ３１１は、主に、シャフト３１２のエッジを延長したエッジ延長線ＬＥ１、ＬＥ２で囲まれた領域内に存在する。注目領域ＡＲＯＩを、エッジ延長線ＬＥ１、ＬＥ２で囲まれた領域に限定することで、エンドエフェクタ３１１に対応した領域に注目領域ＡＲＯＩを設定できる。
【0076】
また本実施形態では、プロセッサ１１０は、エッジ延長線ＬＥ１、ＬＥ２と、シャフト３１２の主成分長軸ベクトルＬＣに対して垂直な第１垂直線及び第２垂直線とで囲まれる領域を、注目領域ＡＲＯＩに設定する。図６及び図７で説明したように、第１垂直線は、エンドエフェクタ３１１の基端を通る線ＬＦ１、又はシャフト３１２の先端を通る線ＬＦ３である。第２垂直線は、エンドエフェクタ３１１の先端を通る線ＬＦ２である。
【0077】
本実施形態によれば、エンドエフェクタ３１１の全体が写っている場合には、エンドエフェクタ３１１の基端を通る線ＬＦ１及びエンドエフェクタ３１１の先端を通る線ＬＦ２を用いて注目領域ＡＲＯＩを定義できる。エンドエフェクタ３１１の基端側が組織に潜っている場合には、シャフト３１２の先端を通る線ＬＦ３及びエンドエフェクタ３１１の先端を通る線ＬＦ２を用いて注目領域ＡＲＯＩを定義できる。
【0078】
また本実施形態では、図８及び図９で説明したように、第１垂直線は、シャフト３１２の先端を通る線ＬＦ３である。第２垂直線は、第１垂直線からエンドエフェクタ３１１の先端側に所定の長さだけ離れた線ＬＦ４、ＬＦ５である。所定の長さは、図８のように画像上における固定長さＧＬＡであってもよいし、図９のようにシャフト径ＳＨＤを基準に定められた長さＧＬＢであってもよい。
【0079】
本実施形態によれば、撮像画像にエンドエフェクタ３１１が全く写っていない場合であっても、シャフト３１２の先端を通る線ＬＦ３を基準として第２垂直線を規定し、それらを用いて注目領域ＡＲＯＩを定義できる。
【0080】
また本実施形態では、図１１で説明したように、プロセッサ１１０は、エンドエフェクタ３１１が対象組織と重なることで撮像画像において欠損しているエンドエフェクタの欠損領域ＡＦＫＣと、撮像画像に写っているエンドエフェクタの露出領域ＡＦＫとを、セグメンテーションにより認識する。プロセッサ１１０は、認識された欠損領域ＡＦＫＣ及び露出領域ＡＦＫを注目領域ＡＲＯＩとして設定する。
【0081】
本実施形態によれば、エンドエフェクタ３１１の形状そのものを注目領域ＡＲＯＩに設定できる。より限定された領域から対象組織の色情報が得られるので、より精度良く対象組織に加わる力を推定できる。また、エンドエフェクタ３１１のうち、組織に潜って画像に写っていない欠損領域ＡＦＫＣを含めて認識されるので、エンドエフェクタ３１１全体の領域を注目領域ＡＲＯＩに設定できる。
【0082】
【0083】
対象組織に加わる力が強いほど対象組織が薄くなるため、対象組織を通してエンドエフェクタ３１１の色が透けて見える。即ち、対象組織の色情報がエンドエフェクタ３１１の色情報に近いほど、力が強いと推定できる。
【0084】
また本実施形態では、プロセッサ１１０は、対象組織におけるエンドエフェクタ３１１の色の透過率を、対象組織の色情報とエンドエフェクタ３１１の色情報の近さを示す指標として取得する。プロセッサ１１０は、透過率が高いほど、エンドエフェクタ３１１により対象組織にかかる力が強いと推定する。
【0085】
対象組織を通してエンドエフェクタ３１１の色が透けて見える程度は、透過率で表わされる。対象組織に加わる力が強いほど対象組織が薄くなることから、透過率が高いほど力が強いと推定できる。
【0086】
また本実施形態では、プロセッサ１１０は、対象組織の色情報とエンドエフェクタ３１１の色情報の近さを示す指標と、適切な力の範囲を示す指標の判定基準とを比較することで、対象組織にかかる力が適切な範囲であるか否かを判定する。例えば、指標は透過率であり、判定基準は、適切な力の範囲に対応した透過率の上限と下限である。
【0087】
上記の指標は、対象組織に加わる力の強さに応じて変化する。このため、適切な力の範囲に対応した、指標の範囲を定めることができる。この範囲を判定基準とすることで、上記の指標から、対象組織に適切な力が加わっているか否かを判定できる。
【0088】
２．３．第２構成例
図１７は、第１実施形態におけるコントローラの第２構成例である。以下、第１構成例と異なる部分について主に説明し、第１構成例と同様な部分について説明を省略する。
図１７は、第１実施形態におけるコントローラの第２構成例である。以下、第１構成例と異なる部分について主に説明し、第１構成例と同様な部分について説明を省略する。
【0089】
プロセッサ１１０は、組織判定部１１６とスイッチング部１１７とを含む。メモリ１２０は、テンション判断に用いられる複数の判断基準を含んだ判断基準データ１２７を記憶する。
【0090】
図１８は、第２構成例における処理のフロー図である。ステップＳ６において、組織判定部１１６は、第１計測部１１２が検出した注目領域の画像を用いて、注目領域内に写っている組織の種類を認識する。組織判定部１１６は、注目領域の組織が、予め設定された複数の組織種類のいずれに該当するかを、認識する。組織種類は、実施される術式においてフックナイフ型モノポーラにより処置される可能性があるものである。一例として、組織種類は、結合織、漿膜、脂肪及び小血管である。
【0091】
ステップＳ７において、スイッチング部１１７は、組織判定部１１６が認識した組織種類に合わせて判定基準を選択する。判定基準は、適切なテンションの範囲に対応した透過率の範囲であり、各組織種類に対して設定される。
【0092】
ステップＳ４において、判断部１１４は、スイッチング部１１７により選択された判定基準を用いて、第２計測部１１３が算出した透過率が適切なテンションの範囲であるか否かを判断する。
【0093】
図１９は、第２構成例における組織判定部及びスイッチング部が実行する処理の詳細を説明する図である。
【0094】
ステップＳ１０２において、機械学習により学習済みモデル１２４を生成する。このステップＳ１０２は学習段階において実行され、推論段階である図１８のステップＳ６には含まれなくてもよい。教師データ１２５は、複数の内視鏡画像における注目領域の画像と、各注目領域の画像に付されたアノテーションとを含む。主にセグメンテーションによる物体検出が想定されており、アノテーションは、注目領域の画像における組織の領域を示すデータである。具体的には、注目領域の画像に対して、その注目領域に写っている各組織の種類と、その範囲とがアノテーションされている。機械学習は、情報処理装置等の学習装置によって実行される。学習装置のプロセッサは、教師データ１２５の内視鏡画像を学習モデルに入力し、学習モデルが内視鏡画像から処置具の領域を検出し、その検出結果と教師データ１２５のアノテーションとの誤差に基づいて学習モデルの重みパラメータを更新する。学習装置は、この更新処理を多数の内視鏡画像に対して繰り返すことで、学習済みモデル１２４を生成する。
【0095】
ステップＳ６ａにおいて、組織判定部１１６は、学習済みモデル１２４に注目領域ＡＲＯＩの画像を入力し、学習済みモデル１２４は、注目領域ＡＲＯＩの画像から各組織の領域を検出する。組織判定部１１６は、検出した各組織の領域と、第１計測部１１２が検出したフックとの重なりを判定することで、フックが持ち上げている組織の種類を判定する。ここでは、フックが持ち上げている組織が、組織Ａ、Ｂ、Ｃ、Ｄのうち組織Ａであると判定されたとする。
【0096】
ステップＳ７において、スイッチング部１１７は、組織Ａ、Ｂ、Ｃ、Ｄの判定基準のうち、判定された組織Ａの判定基準を選択する。具体的には、組織Ａに対する透過率の下限はＴＨＣ１であり、上限はＴＨＣ２である。組織Ｂに対する透過率の下限はＴＨＤ１であり、上限はＴＨＤ２である。組織Ｃに対する透過率の下限はＴＨＥ１であり、上限はＴＨＥ２である。組織Ｄに対する透過率の下限はＴＨＦ１であり、上限はＴＨＦ２である。スイッチング部１１７は、組織Ａに対する透過率の下限ＴＨＣ１及び上限ＴＨＣ２を選択する。
【0097】
なお、ステップＳ６ａにおいて、組織判定部１１６は、内視鏡画像ＩＭＧの全体に対してセグメンテーションを実施してもよい。その場合、機械学習の教師データは、内視鏡画像と、各内視鏡画像に付された組織名称及び組織領域とを含む。また、組織判定部１１６には、ステップＳ１で取得された内視鏡画像ＩＭＧと、ステップＳ２で認識された処置具領域の情報とが、入力される。
【0098】
またステップＳ６ａにおいて、組織判定部１１６は、フックが持ち上げている組織の種類を内視鏡画像ＩＭＧから直接に認識してもよい。その場合、機械学習の教師データは、内視鏡画像と、各内視鏡画像に付された組織名称とを含む。組織名称は、教師データの内視鏡画像においてフックに持ち上げている組織の名称である。
【0099】
またステップＳ３の透過率算出において、基準となる組織の色を画像から取得するのではなく予め設定しておいてもよい。その場合、スイッチング部１１７は、ステップＳ６ａで認識された組織の種類に応じて、ステップＳ７において組織の色及び透過率の範囲を判定基準として選択してもよい。ステップＳ３において、第２計測部１１３は、選択された組織の色を用いて透過率を算出してもよい。
【0100】
以上に説明したように、本実施形態の医療用システム１０において、プロセッサ１１０は、対象組織の種類を注目領域ＡＲＯＩの画像又は内視鏡画像から認識する。プロセッサ１１０は、認識した種類に対応した判定基準を、複数の組織種類に対応した複数の判定基準の中から選択する。プロセッサ１１０は、選択した判定基準を用いて、対象組織にかかる力が適切な範囲であるか否かを判定する。
【0101】
組織の種類に応じて、どの程度の力を加えながら処置すればよいのかが異なっている。本実施形態によれば、処置具３１０による処置の対象となっている組織の種類に応じて力の判定基準を選択できるので、組織の種類に応じて最適な力の判定基準を選択可能になる。これにより、単一の判定基準を用いる場合に比べて、フックナイフ等の処置具による切開等の処置を、より安全に実施できる。
【0102】
２．４．第３構成例
図２０は、第３構成例における処理のフロー図である。なお、コントローラ１００の構成例は、図１７の第２構成例と同様である。以下、第１構成例及び第２構成例と異なる部分について主に説明し、第１構成例及び第２構成例と同様な部分について説明を省略する。
図２０は、第３構成例における処理のフロー図である。なお、コントローラ１００の構成例は、図１７の第２構成例と同様である。以下、第１構成例及び第２構成例と異なる部分について主に説明し、第１構成例及び第２構成例と同様な部分について説明を省略する。
【0103】
ステップＳ６’において、組織判定部１１６は、第１計測部１１２が検出した注目領域の画像と患者情報とを用いて、注目領域内に写っている組織の種類と患者特徴とを認識する。患者情報は、処置の対象となっている患者の特徴を示す情報であり、一例として患者の体重、身長、ＢＭＩ、性別、年齢又は病歴等を含む。
【0104】
ステップＳ７において、スイッチング部１１７は、組織判定部１１６が認識した組織種類及び患者特徴に合わせて判定基準を選択する。
【0105】
図２１は、第３構成例における組織判定部及びスイッチング部が実行する処理の詳細を説明する図である。
【0106】
ステップＳ１０２において、教師データ１２５は、複数の内視鏡画像における注目領域の画像と、各注目領域の画像に付されたアノテーションと、各内視鏡画像の患者に関する患者情報とを含む。アノテーションは、注目領域の画像における組織の領域を示すデータである。患者の特徴に応じて色又は見え方等の組織の特徴が異なるため、患者情報を用いた機械学習を行うことで、より精度の高いセグメンテーションが可能になる。
【0107】
ステップＳ６ｂにおいて、組織判定部１１６に患者情報が入力される。例えば、術者等によって患者情報が医療用システムに入力されてもよいし、或いは電子カルテシステム等の上位システムから医療用システムに患者情報が入力されてもよい。ステップＳ６ａにおいて、組織判定部１１６は、学習済みモデル１２４に注目領域ＡＲＯＩの画像と患者情報とを入力し、学習済みモデル１２４は、注目領域ＡＲＯＩの画像から各組織の領域を検出する。組織判定部１１６は、検出した各組織の領域と、第１計測部１１２が検出したフックとの重なりを判定することで、フックが持ち上げている組織の種類を判定する。ここでは、フックが持ち上げている組織が、組織Ａ、Ｂ、Ｃ、Ｄのうち組織Ａであると判定されたとする。
【0108】
ステップＳ７において、スイッチング部１１７は、組織判定結果と患者特徴に基づいて、その患者特徴に対応した判定基準セットの中から組織Ａの判定基準を選択する。各組織に対して透過率の下限ＴＨＣ１～ＴＨＦ１と上限ＴＨＣ２～ＴＨＦ２が定義されているが、その下限及び上限の値が患者特徴に応じて異なる。
【0109】
なお、ステップＳ３の透過率算出において、基準となる組織の色を画像から取得するのではなく予め設定しておいてもよい。その場合、スイッチング部１１７は、ステップＳ６ａで認識された組織種類及び患者特徴に応じて、ステップＳ７において組織の色及び透過率の範囲を判定基準として選択してもよい。ステップＳ３において、第２計測部１１３は、選択された組織の色を用いて透過率を算出してもよい。
【0110】
患者特徴に応じて処置対象組織の性質が異なることから、適切な力の範囲が異なる可能性がある。第３構成例によれば、組織の種類及び患者特徴に応じて適切な力の判定基準を選択できる。これにより、単一の判定基準を用いる場合、或いは患者特徴を用いない場合に比べて、フックナイフ等の処置具による切開等の処置を、より安全に実施できる。
【0111】
３．第２実施形態
第２実施形態では、腹腔鏡下手術においてモノポーラ処置具を用いて処置が行われるとき、医療用システムが、処置対象組織に加えられているテンションに応じて、モノポーラ処置具の出力を自動調整する。なお、モノポーラ処置具はフックナイフ型モノポーラに限らず、へらメス等であってもよい。また、フックナイフ型モノポーラのようにモノポーラ処置具が処置対象組織にテンションを加える場合に限らず、モノポーラ処置具以外の鉗子等によって処置対象組織にテンションが加えられていてもよい。なお、第２実施形態は第１実施形態と組み合わせてもよい。
第２実施形態では、腹腔鏡下手術においてモノポーラ処置具を用いて処置が行われるとき、医療用システムが、処置対象組織に加えられているテンションに応じて、モノポーラ処置具の出力を自動調整する。なお、モノポーラ処置具はフックナイフ型モノポーラに限らず、へらメス等であってもよい。また、フックナイフ型モノポーラのようにモノポーラ処置具が処置対象組織にテンションを加える場合に限らず、モノポーラ処置具以外の鉗子等によって処置対象組織にテンションが加えられていてもよい。なお、第２実施形態は第１実施形態と組み合わせてもよい。
【0112】
非エキスパート医師は、エキスパート医師に比べて、組織に応じたテンションの調整に不慣れであるという課題がある。例えば、薄膜又は結合織のような切開を重視する組織では、モノポーラ処置具の出力に対してテンション不足となった場合に切開に時間がかかる。切開に時間がかかると熱侵襲範囲が拡がるため、周辺の重要組織又は重要臓器に熱侵襲が及ぶ可能性がある。或いは、モノポーラ処置具の出力に対してテンション過剰となった場合に切開部分の凝固が不十分になり出血する可能性がある。
【0113】
本実施形態によれば、モノポーラ処置具の出力が、処置対象組織に加えられたテンションに対して適切な出力に自動調整される。これにより、医師の熟練度に関わらず、適切なテンションと出力の組み合わせで処置が可能である。例えば、切開を重視する組織においてテンション不足である場合にも、出力が自動調整されることで効率のよい切開が可能である。或いは、凝固を重視する組織においてテンション過剰である場合にも、出力が自動調整されることで確実な止血凝固が可能である。
【0114】
図２２は、第２実施形態における医療用システムの構成例である。図２で説明した第１実施形態における医療用システムの構成例と異なる部分について主に説明し、第１実施形態と同様な部分について説明を省略する。第２実施形態において処置具３１０はモノポーラ処置具である。モノポーラ処置具のエンドエフェクタは様々な形状のものが存在するが、モノポーラ処置具の一例としてはフックナイフ型モノポーラ又はへらメス等である。
【0115】
コントローラ１００は、内視鏡画像から処置対象組織のテンションを計測し、計測したテンションに応じてジェネレータ３００の出力設定を調整する。図２３は、第２実施形態におけるコントローラの第１構成例である。コントローラ１００は、内視鏡システムから内視鏡画像を受信するＩ／Ｏデバイス１８０と、プロセッサ１１０と、メモリ１２０と、プロセッサ１１０が出力した出力設定をジェネレータ３００へ出力するＩ／Ｏデバイス１７０と、を含む。メモリ１２０は、テンション計測部１４０とエネルギ出力調整部１３３とが実施する処理の内容が記述されたプログラム１２８を記憶する。プロセッサ１１０は、プログラム１２８を実行することで、テンション計測部１４０とエネルギ出力調整部１３３の処理を実行する。
【0116】
図２４は、第２実施形態の第１構成例における処理のフロー図である。ステップＳ２１において、プロセッサ１１０がＩ／Ｏデバイス１８０を介して内視鏡システム２００から内視鏡画像を取得する。
【0117】
ステップＳ２２において、テンション計測部１４０は、機械学習により得られた学習済みモデルを用いて内視鏡画像から組織のテンションを計測する。
【0118】
ステップＳ２３において、エネルギ出力調整部１３３は、計測されたテンションに応じて出力設定を調整する。調整される出力設定は、出力レベル、出力種類、又はそれら両方である。出力種類は、カット、凝固、又はそれらのブレンドである。エネルギ出力調整部１３３は、薄膜又は結合織のような切開を重視する組織において、現在の出力設定に対してテンションが不足する場合にはカットの出力レベルを上げる。エネルギ出力調整部１３３は、脂肪、小血管又はリンパ管のような凝固を重視する組織において、現在の出力設定に対してテンション過剰である場合にはカットの出力レベルを下げる。出力レベルは、電圧・電流・電力を含む。あるいは凝固出力の場合は、後述のように、デューティ比を変更しても良い。
【0119】
或いは、エネルギ出力調整部１３３は、ブレンド出力が可能な処置具３１０を用いる場合において、テンションに応じてカットの寄与を変更してもよい。ブレンド出力は、組織を凝固しつつカット可能な出力であり、高周波パルスのデューティ比を変更することで凝固とカットの寄与を変更可能である。デューティ比は、例えば、高周波パルスのＯＮ／ＯＦＦサイクルにおけるＯＮ／ＯＦＦ時間比や、切開出力と凝固出力の時間比であり、ＯＮ時間比又は切開出力の時間比を増すことでカットの寄与を上げ、逆に、それらの時間比を減らすことでカットの寄与を下げることができる。エネルギ出力調整部１３３は、薄膜又は結合織のような切開を重視する組織において、現在の出力設定に対してテンションが不足する場合にはカット寄与を上げる。エネルギ出力調整部１３３は、脂肪、小血管又はリンパ管のような凝固を重視する組織において、現在の出力設定に対してテンション過剰である場合にはカット寄与を下げる。或いは、上記の出力レベルの調整を併用してもよい。また、出力レベルの調整は、エネルギ出力の開始前にのみ行ってもよいし、後述のように出力中も計測されるテンションに応じて逐次行ってもよい。
【0120】
ステップＳ２４において、エネルギ出力調整部は、調整したエネルギ出力設定をジェネレータ３００へ出力する。ジェネレータ３００は、設定されたエネルギ出力で処置具３１０を駆動する。
【0121】
図２５は、第２実施形態におけるコントローラの第２構成例である。本例では、コントローラ１００は、内視鏡画像から処置対象組織の種類を認識、および処置対象組織に加わるテンションを計測し、計測したテンションに応じてジェネレータ３００の出力設定を調整する。テンション計測部１４０が組織判定部１１６と計測部１３５とを含む。ここでは一例として、処置具３１０がへらメスである場合における、組織判定部１１６と計測部１３５の例を説明する。
【0122】
組織判定部１１６は、学習済みモデルを用いて内視鏡画像から処置対象組織を認識する。学習済みモデルは、内視鏡画像と、その内視鏡画像におけるモノポーラと組織の近接状態を示すラベルと、モノポーラが近接している組織ラベルと、を教師データとして機械学習されている。近接状態は、近接、接触又は非接触を含む。
【0123】
計測部１３５は、処置具先端周囲の組織の色情報に基づいて処置対象組織のテンションを評価する。例えば、テンションが強いほど組織の阻血や、層間への空気の流入により組織の白味が増すためＨＳＶ色空間座標は白色領域に近づく。計測部１３５は、例えば以下のように構成される。組織判定部１１６が認識した処置対象領域の情報が計測部１３５に入力され、計測部１３５は、その処置対象領域から色情報を取得してもよい。或いは、計測部１３５に内視鏡画像が入力され、計測部１３５は、その内視鏡画像から色情報を認識してもよい。或いは、計測部１３５は、第１実施形態の第１計測部及び第２計測部と同様な手法で、内視鏡画像からへらメスの領域を注目領域として画像認識し、その認識された注目領域の色情報を取得してもよい。その場合、組織判定部１１６は、内視鏡画像全体から処置対象領域を認識してもよいし、内視鏡画像内の注目領域の画像から処置対象領域を認識してもよい。
【0124】
図２６は、第２実施形態におけるコントローラの第３構成例である。本例では、テンション計測部１４０が、第１実施形態と同様な第１計測部１１２、第２計測部１１３及び組織判定部１１６を含む。ここでは、処置具３１０が、第１実施形態と同様なフックナイフ型モノポーラである例を説明する。
【0125】
図２７は、第２実施形態の第３構成例における処理の第１フロー図である。ステップＳ８０において、プロセッサが内視鏡システムから内視鏡画像を取得する。
【0126】
ステップＳ８１において、第１計測部１１２は、機械学習を用いた画像認識により、モノポーラ処置具の先端付近の領域を注目領域として認識する。認識手法は、第１実施形態で説明した通りである。
【0127】
ステップＳ８２において、組織判定部１１６は、モノポーラ処置具の処置対象となる組織を判定する。組織の判定手法は、第１実施形態で説明した通りである。
【0128】
ステップＳ８３において、第２計測部１１３は、注目領域の画像からフックの透過率を算出し、その透過率に基づいて処置対象組織のテンションを評価する。テンションの評価手法は、第１実施形態で説明した通りである。
【0129】
ステップＳ８４において、プロセッサ１１０は、モノポーラ処置具の出力がオン状態か否かを判定する。出力がオン状態でない場合、ステップＳ８０が実行される。出力がオン状態である場合、ステップＳ８５において、エネルギ出力調整部１３３は、計測されたテンションに応じたカット出力レベルに調整する。
【0130】
ステップＳ８６において、エネルギ出力調整部は、調整したエネルギ出力設定をジェネレータ３００へ出力する。ジェネレータ３００は、設定されたエネルギ出力でモノポーラ処置具を駆動する。
【0131】
ステップＳ８７において、プロセッサ１１０は、モノポーラ処置具の出力がオン状態か否かを判定する。出力がオン状態でない場合、ステップＳ８０が実行される。出力がオン状態である場合、ステップＳ８６が実行される。即ち、ステップＳ８５において出力開始時にエネルギ設定が自動調整された後は、出力がオン状態である間はステップＳ８６がループされるので、エネルギ設定は自動調整されない。
【0132】
図２８は、第２実施形態の第３構成例における処理の第２フロー図である。図２７のフロー図からステップＳ８７が省略され、ステップＳ８６の後にステップＳ８０に戻る構成となっている。このフローでは、出力がオン状態である間はステップＳ８０～Ｓ８６がループされるので、出力開始時だけでなく出力中においてもエネルギ設定が自動調整される。
【0133】
図２９は、第２実施形態におけるコントローラの第４構成例である。本構成例においてプロセッサ１１０は組織電気情報取得部１６０を更に含む。ここでは組織電気情報取得部１６０を図２６の第３構成例と組み合わせた例を説明するが、図２５の第２構成例と組み合わせて、組織判定部１１６と計測部１３５が組織電気情報取得部１６０の出力を用いる構成としてもよい。
【0134】
図３０は、第２実施形態の第４構成例における処理のフロー図である。図２８のフローにステップＳ８８が追加されている。ステップＳ８８は、ステップＳ８０及びＳ８１と並列処理され、ステップＳ８４において出力オフ状態であるとき又はステップＳ８６の後に、ステップＳ８８及びステップＳ８０に戻る構成となっている。また、ステップＳ８２ｂ及びＳ８３ｂにおいて、ステップＳ８８の結果を用いる構成となっている。
【0135】
ステップＳ８８において、組織電気情報取得部１６０は、ジェネレータ３００から組織の電気的情報を取得する。電気的情報は、出力開始後の電流又は電圧、そこから得られるインピーダンス又は電力、それらの初等演算により得られる積算量又は変化量、或いは、それらの幾つかを組み合わせた任意のパラメータなど、である。
【0136】
ステップＳ８２ｂにおいて、組織判定部１１６は、モノポーラ処置具の処置対象組織を認識し、ジェネレータ３００が取得した電気的情報に応じて、組織認識結果を補正する。例えば、インピーダンスが低い場合、処置対象組織が薄膜、結合織、小血管又はリンパ管である可能性が高い。インピーダンスが高い場合、処置対象組織が脂肪又は分厚い膜組織である可能性が高い。
【0137】
ステップＳ８３ｂにおいて、第２計測部８３は、フックの透過率に基づいて処置対象組織のテンションを評価し、ジェネレータ３００が取得した電気的情報に応じて、テンション評価結果を補正する。例えば、テンションの強弱に応じて組織のインピーダンスが変化するので、それを利用して第２計測部８３がテンション評価結果を補正する。なお、組織判定部１１６及び第２計測部８３の一方のみで、電気的情報を用いた補正が行われる構成としてもよい。
【0138】
以上に説明したように、本実施形態の医療用システム１０は、組織を処置するエンドエフェクタを備える処置具３１０と、エンドエフェクタからのエネルギ出力を調整するジェネレータ３００と、組織を撮影する撮像装置と、プロセッサ１１０と、を含む。プロセッサ１１０は、処置具３１０に処置される組織にかかる力を、撮像装置が撮像した画像から推定し、力の推定結果に基づいてジェネレータ３００の出力設定を変更する第１処理を行う。
【0139】
非エキスパート等は、組織を処置する際に適切なテンションを実現できない場合がある。本実施形態によれば、組織に加わる力を推定し、その力に対して適切な出力設定に自動変更される。これにより、術者の熟練度に関わらず、適切なテンションと出力の組み合わせで処置を実施できる。
【0140】
また本実施形態では、プロセッサ１１０は、撮像装置が出力した撮像画像から対象組織の色情報を取得してもよい。対象組織は、組織のうち、組織の下に潜り込んだエンドエフェクタ３１１の少なくとも一部を覆う部分である。プロセッサ１１０は、対象組織の色情報から、エンドエフェクタ３１１により対象組織にかかる力を推定してもよい。プロセッサ１１０は、力の推定結果に基づいてジェネレータ３００の出力設定を変更してもよい。
【0141】
このようにすれば、第１実施形態と同様の手法により、対象組織の色情報から対象組織にかかる力を推定できる。この手法は、例えば処置具３１０がフックナイフ型モノポーラである場合等に適用可能である。
【0142】
４．第３実施形態
第３実施形態では、医療用システムが、内視鏡下手術におけるエネルギデバイス使用時において、処置組織を認識すると共に、エネルギデバイス周囲の金属を認識する。医療用システムは、金属とエネルギデバイスの電極との間の異常近接を術者に報知すると共に、エネルギデバイスからエネルギ出力できない状態にする。システムの出力停止を術者が拒否した場合において、医療用システムは、選択可能なエネルギシーケンスを異常接近の推定確度に応じて自動的に制限し、その制限された選択肢からエネルギシーケンスを選択する。なお、エネルギデバイスは、モノポーラ型デバイス、バイポーラ型デバイス、超音波型デバイス、又は高周波及び超音波の併用デバイス等であってよい。なお、第３実施形態は第１実施形態又は第２実施形態と組み合わせてもよい。
第３実施形態では、医療用システムが、内視鏡下手術におけるエネルギデバイス使用時において、処置組織を認識すると共に、エネルギデバイス周囲の金属を認識する。医療用システムは、金属とエネルギデバイスの電極との間の異常近接を術者に報知すると共に、エネルギデバイスからエネルギ出力できない状態にする。システムの出力停止を術者が拒否した場合において、医療用システムは、選択可能なエネルギシーケンスを異常接近の推定確度に応じて自動的に制限し、その制限された選択肢からエネルギシーケンスを選択する。なお、エネルギデバイスは、モノポーラ型デバイス、バイポーラ型デバイス、超音波型デバイス、又は高周波及び超音波の併用デバイス等であってよい。なお、第３実施形態は第１実施形態又は第２実施形態と組み合わせてもよい。
【0143】
エネルギデバイス近傍のステープラ芯又は鉗子を介して意図しない部位又は範囲に熱拡散が広がることにより、金属に近接する重要組織に熱傷が生じる恐れがあるからである。このため、封止力が必要な組織近傍、又は重要組織に近接する膜等が処置される場合に、金属の近傍において処置を行うことは好適でない操作となっている。このような好適でない操作が実行される恐れがある場合に、術者に報知するシステム、又は好適でない操作が実行できないようにするシステムが望ましい。
【0144】
医療用システムの構成例は、図２２に示す第２実施形態の構成例と同様である。第３実施形態では、コントローラ１００は、内視鏡画像から処置対象組織と金属を検出し、金属とエネルギデバイスの電極との間の異常近接を検出する。コントローラ１００は、異常近接を術者に報知すると共に、ジェネレータ３００に対してエネルギ出力停止を指示する。コントローラ１００は、内視鏡システムから内視鏡画像を受信するＩ／Ｏデバイスと、プロセッサと、メモリと、プロセッサが出力した出力設定をジェネレータ３００へ出力するＩ／Ｏデバイスと、を含む。メモリは、組織検出部と測距部とデバイス検出部と判断部とが実施する処理の内容が記述されたプログラムを記憶する。プロセッサは、プログラムを実行することで、組織検出部と測距部とデバイス検出部と判断部の処理を実行する。
【0145】
図３１は、第３実施形態における処理のフロー図である。ステップＳ３１において、プロセッサが内視鏡システムから内視鏡画像を取得する。
【0146】
ステップＳ３２において、組織検出部は、内視鏡画像から組織を検出する。組織検出部は、例えば機械学習を用いたセグメンテーションにより、内視鏡画像に写る各組織の領域を認識する。
【0147】
ステップＳ３４において、デバイス検出部は、内視鏡画像からエネルギデバイスのエンドエフェクタと金属を検出する。エンドエフェクタの一例はバイポーラ又は併用デバイスのジョウであるが、これに限定されず、モノポーラの電極等であってもよい。デバイス検出部は、例えば機械学習を用いたセグメンテーションにより、内視鏡画像に写るエンドエフェクタと金属の領域を認識する。
【0148】
ステップＳ３３において、測距部は、視野内の距離情報を検出する。距離情報は、エネルギデバイスのエンドエフェクタと金属の間の距離、金属と重要組織の間の距離、又はエンドエフェクタと重要組織の間の距離を含む。測距部は、例えば、組織検出部とデバイス検出部の検出結果を用いて距離情報を検出する。測距部は、幾何演算により距離を算出してもよいし、或いは機械学習を用いて距離を認識してもよいし、画像上の離間ピクセル数で代替してもよい。
【0149】
ステップＳ３５において、判断部は、ステップＳ３２～Ｓ３４における検出結果に基づいて、処置対象組織の種類、エネルギデバイスの種類及びエンドエフェクタからの熱の拡がり易さを認識する。判断部は、エンドエフェクタと金属の異常接近を認識して熱傷リスクを推定し、その熱傷リスクに対応した設定情報をジェネレータ３００へ出力する。具体的には、内視鏡画像と、その内視鏡画像に付したラベルデータとを教師データとして機械学習が行われる。ラベルデータは、臓器又は組織の種類、手術器具の種類、測距情報、及び処置結果としての熱傷距離情報の全部または一部である。熱傷距離情報は、処置の結果として熱傷が及んだ距離を示し、例えばエンドエフェクタから熱傷範囲の端までの距離を示す。判断部は、学習済みモデルを用いて、ステップＳ３２～Ｓ３４における検出結果に基づいて熱傷リスクを推定する。判断部は、熱傷リスクが許容範囲外であるとき、エネルギ出力が好適でないことを示す情報をジェネレータ３００へ出力する。なお、判断部がどのような情報から熱傷リスクを推定するかは種々想定できる。例えば、判断部は、測距情報のみからエンドエフェクタと金属の異常接近を認識してもよい。この場合、機械学習で用いるラベルデータは測距情報のみであってもよい。或いは、判断部は、臓器又は組織の種類、手術器具の種類、測距情報、及び処置結果としての熱傷距離情報のうち複数の情報又は全部を組み合わせて、エンドエフェクタと金属の異常接近を認識してもよい。この場合、機械学習で用いるラベルデータは、判断部の認識に用いられる情報を含んでいればよい。
【0150】
ステップＳ３６において、ジェネレータ３００は、判断部から好適でない情報の入力があった場合には、エネルギ出力が好適でないことを術者に報知する。報知は、例えばモニタ表示、音、又は振動等である。また、ジェネレータ３００は、エネルギ出力の好適でない状態の報知に対してエネルギ出力の意思があるか否かの入力を術者から受け付ける。術者がエネルギ出力の意思を示した場合、ジェネレータ３００はエネルギデバイスからのエネルギ出力を行う。ジェネレータ３００は、金属近接又は熱傷リスクの推定確度が高い場合において、制限されたエネルギシーケンスで出力を行ってもよい。例えば、ジェネレータ３００は、低熱傷用のエネルギシーケンスのみ選択可能とし、術者がエネルギ出力の好適でない状態の報知を拒否した場合には、ジェネレータ３００は低熱傷用のエネルギシーケンスでエネルギ出力を行う。低熱傷用のエネルギシーケンスは、例えば高周波及び超音波の併用デバイスにおいて超音波単独で出力するエネルギシーケンスである。なお、選択可能な、或いは出力されているエネルギシーケンスは、術者が認識可能に適切に報知される。一般的には、ジェネレータ３００へ表示されるが、後述されるように、内視鏡画面に表示されるなどの別の方法を採っても良い。
【0151】
以上に説明したように、本実施形態の医療用システム１０は、組織を処置するエンドエフェクタを備える処置具３１０と、エンドエフェクタからのエネルギ出力を調整するジェネレータ３００と、組織を撮影する撮像装置と、プロセッサ１１０と、を含む。プロセッサ１１０は、撮像装置が撮像した画像から、エンドエフェクタの周辺の金属を検出し、金属の検出結果に基づいてジェネレータ３００の出力設定を変更する第２処理を行う。
【0152】
エネルギ出力により組織を処置する処置具のエンドエフェクタ周辺に、ステープラ芯又は鉗子等の金属がある場合、その金属を介して周辺組織又は周辺臓器の熱傷リスクが高まる。本実施形態によれば、エンドエフェクタの周辺から金属が検出され、それによる熱傷リスクが高い場合において、熱傷リスクを下げるようにジェネレータ３００の出力設定を変更できる。これにより、術者が周囲金属を認識しているかに関わらず、周囲への熱侵襲が抑制可能なエネルギ印加方法が実現される。また、更に近接金属の存在を術者に報知してもよい。これにより、術者が周囲金属を認識しているかに関わらず、術者に近接金属の存在を警告できる。
【0153】
５．第４実施形態
医療機器にＡＩの判断を導入したとしても、その判断の感度又は特異度は９０％程度である。このため、システムの判断を全面的に信頼する状態には至っていない。エネルギデバイスを用いた処置にＡＩを導入し、組織に最適なエネルギ設定をＡＩが判断したとしても、上記の様に不適当なエネルギ設定になる場面が出てくる。一方で、安全性を担保するためにＡＩ判断に対して術者の承認を得ることが考えられる。しかし、ＡＩによってエネルギ変更が実施されるたびに術者の承認を得る作業を入れると、ユーザビリティが低下してしまう。
医療機器にＡＩの判断を導入したとしても、その判断の感度又は特異度は９０％程度である。このため、システムの判断を全面的に信頼する状態には至っていない。エネルギデバイスを用いた処置にＡＩを導入し、組織に最適なエネルギ設定をＡＩが判断したとしても、上記の様に不適当なエネルギ設定になる場面が出てくる。一方で、安全性を担保するためにＡＩ判断に対して術者の承認を得ることが考えられる。しかし、ＡＩによってエネルギ変更が実施されるたびに術者の承認を得る作業を入れると、ユーザビリティが低下してしまう。
【0154】
本実施形態は、術者判断の介入による安全性の担保とエネルギ処置の操作性とを両立する解決策を提案できる。なお、第４実施形態は、第１実施形態、第２実施形態又は第３実施形態と組み合わせてもよい。
【0155】
本実施形態の医療用システムは、下記（ｉ）、（ii）又は（iii）の構成を有する。
（ｉ）エネルギ設定変更に対する術者の承認を入力する機構と、エネルギ出力指示を入力する機構とが同一である。術者がシステムの判定結果を信頼する場合は承認及び出力の入力機構を押し、拒否する場合は通常出力指示の入力機構を押す。
（ｉ）エネルギ設定変更に対する術者の承認を入力する機構と、エネルギ出力指示を入力する機構とが同一である。術者がシステムの判定結果を信頼する場合は承認及び出力の入力機構を押し、拒否する場合は通常出力指示の入力機構を押す。
【0156】
（ii）エネルギ設定ごとに異なる出力音を割り当て、エネルギ印加ボタンを押した後にわずかな時間エネルギを出さずに発信音のみ発出する。
【0157】
（iii）システムは、シーン認識を実施し、認識されたシーンにおける基本設定を術者に提示する。術者は、その提示が、シーンにおける主たる作業に適したものである場合に承認する。システムは、処置の中で主たる作業の対象組織と異なる組織が把持された時のみ、術者に承認を要求する。術者が承認すればエネルギ設定が変更され、処置をする。
【0158】
上記構成により、以下の効果が得られる。
（ｉ）術者の承認と出力を同一にすることで、承認のための追加作業を行うことなく、ワンタッチでエネルギ処置が可能になる。また、術者がＡＩ推奨設定を信頼できないときは、通常のエネルギ処置設定も可能であり、術者が安全だと思うエネルギ設定を任意に選択可能である。
（ｉ）術者の承認と出力を同一にすることで、承認のための追加作業を行うことなく、ワンタッチでエネルギ処置が可能になる。また、術者がＡＩ推奨設定を信頼できないときは、通常のエネルギ処置設定も可能であり、術者が安全だと思うエネルギ設定を任意に選択可能である。
【0159】
（ii）エネルギ処置の操作は既存処置具と変わらない。ただし、エネルギ印加のボタンを押してからエネルギ印加までの間にタイムラグあるため、その間に術者が想定しているエネルギとの違いに気付き、エネルギ出力を止めることが可能になる。
【0160】
（iii）主たる組織又は状態にエネルギ設定を合わせることで、その主たる組織又は状態が変化するまでＡＩ推奨設定が変わらない。これにより、術者がエネルギ変更の承認操作を行う回数自体を、減らすことができる。
【0161】
図３２は、第４実施形態における医療用システム及びコントローラの構成例である。医療用システム１０は、内視鏡システム２００とコントローラ１００とジェネレータ３００とエネルギ処置具３２０と承認入力部３４０とを含む。
【0162】
内視鏡システム２００は、例えば、図２で説明した内視鏡２１０、内視鏡の本体装置２２０及びモニタ２３０に相当する。
【0163】
エネルギ処置具３２０は様々なエネルギデバイスであってよく、例えばモノポーラ型デバイス、バイポーラ型デバイス、超音波型デバイス、又は高周波及び超音波の併用デバイス等であってよい。
【0164】
承認入力部３４０は、術者が承認入力を行うための操作機構であり、例えばボタン、スイッチ、ダイヤル又はタッチパネル等であってよい。承認入力部３４０はエネルギ処置具３２０と一体に設けられてもよいし、エネルギ処置具３２０とは別の装置として設けられてもよい。
【0165】
コントローラ１００は、内視鏡システムから内視鏡画像を受信するＩ／Ｏデバイスと、プロセッサと、メモリと、プロセッサが出力した出力設定をジェネレータ３００へ出力するＩ／Ｏデバイスと、出力設定伝達部１３９とを含む。メモリは、画像取得部１３１と組織情報認識部１３２とエネルギ出力調整部１３３とが実施する処理の内容が記述されたプログラム１２８を記憶する。プログラム１２８は、機械学習により得られた学習済みモデルを含んでもよい。プロセッサは、プログラム１２８を実行することで、画像取得部１３１と組織情報認識部１３２とエネルギ出力調整部１３３の処理を実行する。
【0166】
画像取得部１３１は、Ｉ／Ｏデバイス１８０により受信された内視鏡画像の画像データを取得し、その画像データをプロセッサ１１０へ入力する。
【0167】
組織情報認識部１３２は、内視鏡画像から、処置対象組織に関する組織情報を認識する。組織情報認識部１３２は、例えば機械学習により得られた学習済みモデルを用いて組織情報を認識する。組織情報は様々な情報であってよい。例えば、組織情報は、処置対象組織の種類、エネルギ処置具３２０の種類、処置の内容、又はシーンである。或いは、組織情報は、第１実施形態等で説明した、処置対象組織のエネルギ処置に関わる状態、たとえばウェットや、加わるテンションの評価結果である。或いは、組織情報は、第３実施形態で説明した、近傍金属による熱傷リスクの評価結果である。
【0168】
一例としてエネルギ処置具３２０が第１実施形態のようなフックナイフ型モノポーラであり、組織情報が、フックにより牽引された処置対象組織のテンション評価結果を含む場合、組織情報認識部１３２は、第１実施形態と同様の第１計測部１１２及び第２計測部１１３を含んでもよい。そして、第１計測部１１２が内視鏡画像からモノポーラ処置具を画像認識し、その先端付近を注目領域に設定し、第２計測部１１３が注目領域の画像から処置対象組織のテンションを評価してもよい。但し、上述のようにエネルギ処置具３２０は様々なエネルギデバイスであってもよいし、組織情報は様々な情報を含んでいてもよい。
【0169】
エネルギ出力調整部１３３は、認識された組織情報に基づいてジェネレータ３００の出力設定を行う。エネルギ出力調整部１３３は、組織情報に基づいて推奨出力を設定し、その推奨出力をＩ／Ｏデバイス１７０を介してジェネレータ３００へ送信する。例えば、エネルギ出力調整部１３３は、薄膜等の切開が容易な組織の場合、又はテンションが適切な範囲より高い場合、又は金属やウェットにより熱傷リスクが所定値より高い場合に、通常出力より低い推奨出力レベル、又は通常出力より切開能力が低い推奨出力シーケンスを設定する。エネルギ出力調整部１３３は、血管等の封止性能が求められる組織の場合、又はテンションが適切な範囲より低い場合に、通常出力より高い推奨出力レベル、又は通常出力より切開能力が高い推奨出力シーケンスを設定する。或いは、エネルギ出力調整部１３３は、検出されたシーンに基づいて、そのシーンにおいて通常用いられる適切な推奨出力を設定してもよい。エネルギ出力調整部１３３は、テーブルを参照して組織情報を推奨設定に変換してもよいし、或いは機械学習により得られた学習済みモデルを用いて推奨設定を出力してもよい。機械学習を用いる場合、組織情報認識部１３２とエネルギ出力調整部１３３が一体の学習済みモデルとして実現されてもよい。
【0170】
出力設定伝達部１３９は、推奨出力の内容を術者に報知する。報知は、例えばモニタ表示、音、又は振動等である。モニタ表示は、例えば、文字、図形、色又はアイコン等である。モニタ表示は、内視鏡のモニタ２３０に表示されてもよいし、或いは様々な支援情報を表示するために別途設けられた不図示のモニタに表示されてもよい。
【0171】
図３３と図３４は、第４実施形態における第１詳細例のフロー図である。以下、モニタに推奨設定をアイコンと文字で提示する例を示す。また以下では、２つのジョウで組織を把持してエネルギ出力を行うエネルギ処置具３２０を例に説明する。このようなエネルギ処置具３２０として、例えばバイポーラ型デバイス、又は高周波及び超音波の併用デバイスがある。
【0172】
ステップＳ４１において、組織情報認識部１３２及びエネルギ出力調整部１３３が推奨出力を判定し、出力設定伝達部１３９は、モニタ画面２３１に推奨出力の提示情報２３３ａを表示する。提示情報２３３ａは例えば内視鏡画像２３２と共にモニタ画面２３１に表示される。
【0173】
提示情報２３３ａの提示タイミングは、例えば（１）処置具により組織を把持する前、（２）処置具により組織を把持した直後、又は（３）処置具により組織を把持してから一定時間後の３パターンが主に考えられる。（１）では、出力設定伝達部１３９は、処置しようとする意志の判定時に情報を提示する。例えば、機械学習において、テンションが適正か、又は／且つ、処置具の先端が組織に近接しているか、又はジョウが開状態から閉状態に移行したかのラベルと共に内視鏡画像を学習モデルに学習させておく。プロセッサ１１０は、学習済みモデルを用いて、エネルギ処置具３２０又は把持鉗子の術野内における動きに基づいて、その動きの目的が単なる操作であるかエネルギ処置であるかを判定する。なお、提示情報２３３ａの内容が頻繁に変わらないように、エネルギ出力調整部１３３は、推奨出力の判定結果を平均化してもよい。或いは、エネルギ出力調整部１３３は、上記（１）～（３）のタイミングで把持又は近接状態が解除されない限り、推奨出力の判定結果を固定してもよい。
【0174】
ステップＳ４２に示すように、エネルギ処置具３２０は、シャフト及びエンドエフェクタ３２２と、術者が把持するハンドル３２３と、ハンドル３２３の上部に設けられたボタン３２４ａと、ハンドル３２３の前面に設けられたボタン３２４ｂ、３２４ｃ、３２４ｄとを含む。ここでは、３２４ａが承認ボタンであり、３２４ｂが出力ボタンであるとするが、いずれのボタンに、いずれの機能を割り当てるのかは任意であってよい。またボタンの配置は図３３に限定されるものでない。
【0175】
ステップＳ４２において、術者は推奨出力を承認又は非承認する。具体的には、術者は、ＡＩが判定した推奨出力を承認する場合には承認ボタン３２４ａを押下し、ＡＩが判定した推奨出力を拒否する場合には承認ボタン３２４ａを押下しない。術者は、エネルギ処置を行いたいタイミングで出力ボタン３２４ｂを押下する。
【0176】
ステップＳ４３に示すように、術者が推奨設定を拒否した場合には、通常出力を示す提示情報２３３ｂがモニタ表示される。ジェネレータ３００は、出力ボタン３２４ｂが押下されたときに通常設定のエネルギ出力を行う。通常設定は予め決められた出力設定、或いはジェネレータ３００の操作部から術者が入力した設定等である。
【0177】
ステップＳ４４に示すように、術者が推奨設定を承認した場合には、推奨出力を示す提示情報２３３ａがモニタ表示される。ジェネレータ３００は、出力ボタン３２４ｂが押下されたときに推奨設定のエネルギ出力を行う。
【0178】
【0179】
（２）図３５に示すように、モニタ画面２３１において内視鏡画像の周囲に、エネルギ設定に応じた色の枠が表示されてもよい。例えば、推奨出力の場合には第１色の枠２３４ａが表示され、通常出力の場合には、第１色とは異なる第２色の枠２３４ｂが表示される。一例として第１色は青色であり、第２色はオレンジ色である。
【0180】
（３）図３６に示すように、内視鏡画像においてエネルギ処置具又はその近傍に、エネルギ設定に応じた色が重畳されてもよい。図３６にはエネルギ処置具の上に色が重畳される例を示す。例えば、推奨出力の場合には第１色の重畳表示２３５ａが行われ、通常出力の場合には、第１色とは異なる第２色の重畳表示２３５ｂが行われる。一例として第１色は青色であり、第２色はオレンジ色である。
【0181】
（４）図３７に示すように、どのような組織を処置するためのエネルギ設定であるかを示すアイコンが提示されてもよい。一例として、通常出力が、血管を処置するためのエネルギ設定であり、エネルギ出力調整部１３３が、薄膜を処置するためのエネルギ設定を推奨した例を示す。図３７の左図に示すように、術者が推奨設定を承認した場合には、モニタ画面２３１において内視鏡画像の周囲に薄膜のアイコン２３６ａが表示される。図３７の右図に示すように、術者が推奨設定を拒否した場合には、モニタ画面２３１において内視鏡画像の周囲に血管のアイコン２３６ｂが表示される。なお、図３７には、アイコン表示を（２）のエネルギ設定表示に組み合わせた例を示すが、アイコン表示を（１）又は（３）のエネルギ設定表示に組み合わせてもよい。
【0182】
（５）エネルギ設定に応じた音又は音声がスピーカ等から発信されてもよい。例えば、推奨出力の場合には低周波数の音が発信され、通常出力の場合には高周波数の音が発信される。術者は内視鏡画像から目を離さずにエネルギ設定変更を認識可能になる。
【0183】
また提示手法の変形例として、以下の例が考えられる。
（変形例１）情報表示位置のバリエーション
（１ａ）画像の縁に色を表示するとき、全ての縁でなく、一辺のみに色を表示してもよい。近中心視３°以遠、注視領域２０°内に色を配すことで、手技の邪魔にならずに注意喚起が可能である。
（１ｂ）注視域近傍に提示情報を表示してもよい。より近中心視に近付けることで、中心視になりがちな術者でも視認することが可能である。注視域から離れるほど色又は位置を派手にすることで、視認性を上げてもよい。
（変形例１）情報表示位置のバリエーション
（１ａ）画像の縁に色を表示するとき、全ての縁でなく、一辺のみに色を表示してもよい。近中心視３°以遠、注視領域２０°内に色を配すことで、手技の邪魔にならずに注意喚起が可能である。
（１ｂ）注視域近傍に提示情報を表示してもよい。より近中心視に近付けることで、中心視になりがちな術者でも視認することが可能である。注視域から離れるほど色又は位置を派手にすることで、視認性を上げてもよい。
【0184】
（変形例２）報知方法方法のバリエーション
（２ａ）エネルギ設定がアイコンにより提示されてもよい。これまでのジェネレータ側の設定、封止能力、切開速度、又は熱の広がり易さ、に対応したイメージで、術者が理解できる。
（２ｂ）組織種類や状態の評価結果がアイコンにより提示されてもよい。術者は把持物を膜又は血管など組織種類、或いは視認できる状態で認識している。術者は、認識内容そのものが提示されることで、それをエネルギ設定に変換する必要がないため、素直なイメージで理解できる。
（２ｃ）承認待ちと出力中で報知方法を変更してもよい。例えば、承認待ちにおいて、表示又は光の点滅(間欠)、表示の回転、間欠音、又は間欠振動によりエネルギ設定を術者に提示する。出力中において、表示又は光の点灯、半透明表示、表示固定、連続音、又は振動停止によりエネルギ設定を術者に提示する。エネルギが出ている状態か否かを術者が認識しやすくなる。
（２ａ）エネルギ設定がアイコンにより提示されてもよい。これまでのジェネレータ側の設定、封止能力、切開速度、又は熱の広がり易さ、に対応したイメージで、術者が理解できる。
（２ｂ）組織種類や状態の評価結果がアイコンにより提示されてもよい。術者は把持物を膜又は血管など組織種類、或いは視認できる状態で認識している。術者は、認識内容そのものが提示されることで、それをエネルギ設定に変換する必要がないため、素直なイメージで理解できる。
（２ｃ）承認待ちと出力中で報知方法を変更してもよい。例えば、承認待ちにおいて、表示又は光の点滅(間欠)、表示の回転、間欠音、又は間欠振動によりエネルギ設定を術者に提示する。出力中において、表示又は光の点灯、半透明表示、表示固定、連続音、又は振動停止によりエネルギ設定を術者に提示する。エネルギが出ている状態か否かを術者が認識しやすくなる。
【0185】
（変形例３）報知方法の組み合わせ
（３ａ）音又は振動と同期して表示を変更してもよい。複数の感覚器からの刺激により、反応性が高まることが知られており、それらが同期することで、術者がエネルギ設定を更に認識し易すくなる。
（３ａ）音又は振動と同期して表示を変更してもよい。複数の感覚器からの刺激により、反応性が高まることが知られており、それらが同期することで、術者がエネルギ設定を更に認識し易すくなる。
【0186】
（変形例４）点滅のバリエーション
（４ａ）エネルギ設定に応じて点滅の周期又はデューティが変更されてもよい。点滅における点灯と消灯の間隔、回転における点灯と消灯の間隔は、一周期０．１５－０．４ｓで、点灯割合のデューティ３０－９０％などが考えられる。０．５ｓ程度で判断を促すことを想定すると、０．２５ｓ周期では２点滅しか認識時間がないため、点滅数をこれ以上は削減しにくい。また、１周期における点灯割合のデューティが小さいと人の目には黒が目立つため、色や点灯が認識しづらい。
（４ｂ）点滅間隔が延長されてもよい。点滅間隔は、時間と共に長くなっていっても良い。処置速度に好適な点滅時間に変更すると術者の集中が削がれない。
（４ａ）エネルギ設定に応じて点滅の周期又はデューティが変更されてもよい。点滅における点灯と消灯の間隔、回転における点灯と消灯の間隔は、一周期０．１５－０．４ｓで、点灯割合のデューティ３０－９０％などが考えられる。０．５ｓ程度で判断を促すことを想定すると、０．２５ｓ周期では２点滅しか認識時間がないため、点滅数をこれ以上は削減しにくい。また、１周期における点灯割合のデューティが小さいと人の目には黒が目立つため、色や点灯が認識しづらい。
（４ｂ）点滅間隔が延長されてもよい。点滅間隔は、時間と共に長くなっていっても良い。処置速度に好適な点滅時間に変更すると術者の集中が削がれない。
【0187】
承認入力部３４０の構成は、以下のバリエーションが考えられる。
（１）（１ａ）図３３で説明したように、エネルギ処置具３２０に、出力ボタンとは別の承認ボタンを設ける。例えば出力ボタンは人差し指で押す位置に設けられ、承認ボタンは親指で押す位置に設けられる。（１ｂ）エネルギ処置具３２０とは別体の承認ボタンを、アタッチメントでエネルギ処置具３２０に取り付け可能としてもよい。取り付け位置は、例えばハンドル上面である。（１ｃ）承認ボタンをハンドル側面に設けてもよい。１ａ～１ｃによれば、術者は、出力ボタンを操作する指とは異なる指で承認ボタンを操作することになる。これにより、既存エネルギ設定と異なる設定で出力することを、術者に認識させることができる。（１ｄ）図４０で後述するように、出力ボタンが承認ボタンとして兼用されてもよい。術者がボタンをクリック操作した場合には拒否操作となり、その後に術者がボタンを押下することで通常出力が行われる。術者がボタンをクリック操作せずにボタンを押下した場合には承認操作となり、推奨設定で出力が行われる。詳細は図４０で後述する。
（１）（１ａ）図３３で説明したように、エネルギ処置具３２０に、出力ボタンとは別の承認ボタンを設ける。例えば出力ボタンは人差し指で押す位置に設けられ、承認ボタンは親指で押す位置に設けられる。（１ｂ）エネルギ処置具３２０とは別体の承認ボタンを、アタッチメントでエネルギ処置具３２０に取り付け可能としてもよい。取り付け位置は、例えばハンドル上面である。（１ｃ）承認ボタンをハンドル側面に設けてもよい。１ａ～１ｃによれば、術者は、出力ボタンを操作する指とは異なる指で承認ボタンを操作することになる。これにより、既存エネルギ設定と異なる設定で出力することを、術者に認識させることができる。（１ｄ）図４０で後述するように、出力ボタンが承認ボタンとして兼用されてもよい。術者がボタンをクリック操作した場合には拒否操作となり、その後に術者がボタンを押下することで通常出力が行われる。術者がボタンをクリック操作せずにボタンを押下した場合には承認操作となり、推奨設定で出力が行われる。詳細は図４０で後述する。
【0188】
（２）フットスイッチに承認機能を割り当ててもよい。術者は、エネルギ処置具３２０を操作する手とは異なる部位で承認操作を行うことになる。これにより、既存エネルギ設定と異なる設定で出力することを、術者に認識させることができる。
【0189】
第４実施形態における第２詳細例を説明する。この例では、エネルギ設定変更を術者が拒否する伝達方法を実装する。即ち、システムが判定及び自動変更した結果に対し、術者が拒否する場合は拒否の入力機構を押す。既存の処置具と変わらない操作感で処置可能である。信頼できない時は通常の出力での処置も可能なため、術者が安全だと思う処置を任意に選択可能である。
【0190】
図３８は、第４実施形態における第２詳細例のフロー図である。ステップＳ５１において、組織情報認識部１３２及びエネルギ出力調整部１３３が推奨出力を判定し、出力設定伝達部１３９は、推奨出力を術者に提示する。
【0191】
ステップＳ５２において、術者は、推奨設定を拒否する必要があるときのみ拒否操作を行う。術者は、推奨設定を承認するときには承認又は拒否の操作を行わない。
【0192】
ステップＳ５３において、術者が出力ボタンを押し、ジェネレータ３００がエネルギ出力を行う。推奨設定が拒否された場合には、通常出力が行われ、推奨設定が拒否されなかった場合には、推奨設定で出力が行われる。
【0193】
図３９に、ステップＳ５２とＳ５３の詳細例を示す。
【0194】
ステップＳ５２ａは、術者のジェスチャーにより拒否の意思をシステムに知らせる例である。
【0195】
ステップＳ５２ｂは、マイク等を介した音声入力により拒否の意思をシステムに知らせる例である。
【0196】
ステップＳ５２ｃは、エネルギ処置具３２０に拒否ボタンを設ける例である。ここでは、ハンドル３２３の上面のボタン３２４ａが拒否ボタンである例を示す。術者は、推奨設定を拒否する場合に拒否ボタン３２４ａを押し、承認する場合に拒否ボタン３２４ａを押さない。
【0197】
ステップＳ５２ｄは、フットスイッチ３２５に拒否ボタンの機能が割り当てられた例である。
【0198】
ステップＳ５３において、術者が出力ボタン３２４ｂを押すと、エネルギ出力が行われる。ここでは、術者がハンドル３２３を握ったとき人差し指で操作する位置のボタン３２４ｂに、出力ボタンが割り当てられた例を示す。
【0199】
図４０に、承認又は拒否する機能とエネルギ出力の機能を１つのボタンに割り当てる例を示す。ボタンは、エネルギ処置具３２０に設けられたボタンであってもよいし、フットスイッチであってもよい。
【0200】
図４０に示すように、術者が推奨設定を拒否する場合にはボタンをクリック操作し、その後に同じボタンを押下する。ボタンが押下されている間は、通常設定でエネルギ出力される。術者が推奨設定を承認する場合にはボタンをクリック操作せずに押下する。ボタンが押下されている間は、推奨設定でエネルギ出力される。推奨設定でエネルギ出力されているとき、術者が通常設定に変更したい場合には、ボタンを一旦離した後に押下する。以後、ボタンが押下されている間は、通常設定でエネルギ出力される。なお、ボタンを連続して押下した場合の設定変更の挙動には、いくつかのバリエーションが考えられる。例えば、ボタンの押下は術者の推奨設定の拒否を意味付けする場合には、複数回押下しても設定を通常設定に変更してそれ以上変更はしない。あるいは、現在提示されている設定の拒否を意味付けする場合には、複数回の押下に応じてサイクリックに設定変更することも考えられる。
【0201】
承認又は拒否のタイミングとして、以下のバリエーションが考えられる。
（１）毎回判断：エネルギ出力毎に術者が承認又は拒否の判断を行う。確実に術者の意思を確認できる。
（１）毎回判断：エネルギ出力毎に術者が承認又は拒否の判断を行う。確実に術者の意思を確認できる。
【0202】
（２）変更時に判断、連続時は省略：システムが推奨設定を変更したとき、或いは術者が設定を変更したいときのみ、術者が承認又は拒否の判断を行う。それ以外の状態では現在の設定を提示しておく。術者がいつでも出力設定を参照することができ、判断頻度の低下により術者負担が低減される。
【0203】
（３）推奨設定に変更時に判断：術者が通常設定から推奨設定に変更する場合にのみ承認又は拒否の判断を行う。術者は既存設定の効果を知っており、推奨設定に変更する場合にのみ判断が求められることで、判断頻度の低下により術者負担が低減される。
【0204】
（４）活躍が期待される手術シーンにおいて非把持時に、機能のオンを提示する：手術時間の多くの時間帯は常に通常設定で手術が行えるためにエネルギ変更がない。システムが熱傷の抑制等の医学的価値を出せそうなシーンでのみ、ＡＩによる推奨出力の判定機能機能をオンすることで、より術者負担を低減できる。「活躍が期待される手術シーン」としては下記（５）又は（６）のバリエーションがある。
【0205】
（５）外部よりマクロな手術シーンを入手し、且つＡＩの推奨出力を使う意思が提示されていた場合：手術シーンにより、ＡＩの推奨出力が自動的にオンされる。それをまさに処置しようとしていない状態で推奨出力が術者に提示されるので、術者が出力設定を事前に認識すると共に、安全に機能を使用することができる。
【0206】
（６）学習された重要臓器が視野内に認識された場合、且つＡＩの推奨出力を使う意思が提示された場合：より簡易的に、重要臓器が視野に入った時点でＡＩの推奨出力が自動的にオンされる。それをまさに処置しようとしていない状態で推奨出力が術者に提示されるので、術者が出力設定を事前に認識すると共に、安全に機能を使用することができる。
【0207】
第４実施形態における第３詳細例を説明する。この例では、エネルギ設定ごとに異なる出力音が割り当てられている。システムは、エネルギ印加ボタンが押された後にわずかな時間、エネルギを出さずに発信音のみ発出する。エネルギ処置の操作は既存処置具と変わらない。ただし、エネルギ印加のボタンを押してからエネルギ印加までの間にタイムラグあるため、その間に術者が想定しているエネルギとの違いに気付き、術者がエネルギ出力を止めることが可能になる。
【0208】
図４１は、第４実施形態における第３詳細例のフロー図である。ステップＳ６１において、組織情報認識部１３２及びエネルギ出力調整部１３３が推奨出力を判定する。医療用システムは、判定結果を術者に提示せず、内部的にエネルギ出力設定を変更する。
【0209】
ステップＳ６２において、術者が出力ボタンを押すと、医療用システムは推奨設定に対応した出力音を発信する。出力ボタンが押された後、規定時間が経過するまではエネルギ出力は行われない。高周波及び超音波の併用デバイスを例にとる。医療用システムは、高周波と超音波のコンバイン出力を選択したとき、第１パターンの音を出力し、超音波単独の出力を選択したとき、第１パターンとは異なる第２パターンの音を出力する。例えば、第１パターンの音は低周波数の音であり、一例として２５０Ｈｚ程度の間欠音である。第２パターンの音は高周波数の音であり、一例として５００Ｈｚ程度の間欠音である。
【0210】
ステップＳ６３において、術者は、ボタンを押してからエネルギ印加開始までの間に、推奨設定が適切であるか否かを判断する。術者が出力ボタンを押下したまま規定時間が経過すると、医療用システムは推奨設定でエネルギ出力を行う。規定時間が経過する前に術者が出力ボタンを離すと、医療用システムはエネルギ出力を行わない。
【0211】
図４２は、ボタン押下ではなく情報提示を起点として出力開始までの猶予時間を設ける例である。組織情報認識部１３２及びエネルギ出力調整部１３３が推奨出力を判定し、出力設定伝達部１３９は、推奨出力を術者に提示する。情報提示から所定時間が経過する前に術者が出力ボタンを押下したとき、医療用システムは、情報提示から所定時間が経過するまで待ってから、推奨設定でエネルギ出力を開始する。情報提示から所定時間が経過した後に術者が出力ボタンを押下したとき、医療用システムは、出力ボタンが押されたタイミングにおいて、推奨設定でエネルギ出力を開始する。情報提示から出力開始までの所定時間は、０．１－０．８ｓが良く、０．３ｓほどが好適である。拒否操作が入り、術者意志が設定変更操作により確実な場合には、待ち時間を設けなくてもよい。
【0212】
所定時間は、例えば１００ｍｓ以上である。単純刺激－応答時間は１５０－３００ｍｓと言われる。訓練した場合それが１００ｍｓ程度になる可能性があり、陸上競技のフライングはその時間で設定されている。即ち、それよりも短い時刻の反応は、提示を認識してからの動作とは言えない。或いは、所定時間は６００ｍｓ以下である。同時性の閾値は１５０－３００ｍｓと言われる。これより長い時間は多くの人は遅延を感じる。その為、単純刺激－応答時間の最長時間３００ｍｓより、同時性閾値の最長時間３００ｍｓ以上遅れると、相当数が操作に対する遅れを意識する時刻となり得て、ユーザビリティが低くなる。
【0213】
第４実施形態における第４詳細例を説明する。この例では、医療用システムはシーン認識を実施し、シーンにおける主たる作業に適した基本設定を推奨する。術者は、その基本設定が、そのシーンにおいて適切である場合に承認する。処置の中で主たる作業の対象組織とは異なる組織が把持された時のみ、システムが術者に承認を要求する。術者が承認すればエネルギ設定が推奨設定に変更され、術者が処置を行う。主たる組織又は状態にエネルギ設定を合わせることで、その主たる組織又は状態が変化するまでＡＩ推奨設定が変わらない。これにより、術者がエネルギ変更の承認操作を行う回数自体を、減らすことができる。
【0214】
図４３は、第４実施形態における第４詳細例のフロー図である。ステップＳ７１において、組織情報認識部１３２及びエネルギ出力調整部１３３が、シーン認識、及びそのシーンにおける推奨出力の判定を行う。出力設定伝達部１３９は、推奨出力を術者に提示する。画像表示と共に音声案内が行われてもよい。この提示を術者が承認した又は拒否しなかったとする。ステップＳ７２において、術者が出力ボタンを押すと、推奨設定でエネルギ出力される。医療用システムは、新たなシーンに変わったことを認識するまでは、推奨設定を変更せず、承認又は拒否の操作を要求せず、出力ボタンが押されれば推奨設定でエネルギ出力する。例えば、第１シーンが薄膜の処置シーンである場合、医療用システムは、把持組織が薄膜であると認識している間は、推奨設定を変更せず、承認又は拒否の操作を要求しない。
【0215】
ステップＳ７３において、組織情報認識部１３２及びエネルギ出力調整部１３３が、新たなシーンを認識し、そのシーンにおける推奨出力の判定を行う。ここでは、第２シーンに対して通常出力が推奨される例を示している。出力設定伝達部１３９は、通常出力を術者に提示する。画像表示と共に音声案内が行われてもよい。この提示を術者が承認した又は拒否しなかったとする。ステップＳ７４において、術者が出力ボタンを押すと、通常設定でエネルギ出力される。例えば、第２シーンが血管等の薄膜以外の処置シーンである場合、医療用システムは、把持組織が薄膜以外であると認識している間は、通常設定を変更せず、承認又は拒否の操作を要求しない。
【0216】
以上に説明したように、本実施形態の医療用システム１０は、組織を処置するエンドエフェクタを備える処置具３１０と、エンドエフェクタからのエネルギ出力を調整するジェネレータ３００と、組織を撮影する撮像装置と、プロセッサ１１０と、を含む。プロセッサ１１０は、ジェネレータ３００の推奨出力設定を出力し、推奨出力設定を承認又は拒否する操作入力を受け付ける。プロセッサ１１０は、操作入力において推奨出力設定が承認されたとき又は推奨出力設定が拒否されなかったとき、ジェネレータ３００の出力設定を推奨出力設定に変更する第３処理を行う。
【0217】
医療用システムにＡＩを導入した場合において、そのＡＩによる判断を採用するか否かは、術者が判断することが望ましい。本実施形態によれば、ＡＩによって判定されたジェネレータ３００の推奨出力設定を、術者が承認又は拒否できるようになる。これにより、ＡＩを用いて術者をアシストすることで術者の負担を軽減しつつ、承認又は拒否の機能によって術者が望む出力設定で処置可能である。
【0218】
また本実施形態では、プロセッサ１１０は、撮像装置が出力した撮像画像から対象組織の色情報を取得してもよい。対象組織は、組織のうち、組織の下に潜り込んだエンドエフェクタ３１１の少なくとも一部を覆う部分である。プロセッサ１１０は、対象組織の色情報から、エンドエフェクタ３１１により対象組織にかかる力を推定してもよい。プロセッサ１１０は、力の推定結果に基づいてジェネレータ３００の出力設定を変更してもよい。
【0219】
このようにすれば、第１実施形態と同様の手法により、対象組織の色情報から対象組織にかかる力を推定できる。この手法は、例えば処置具３１０がフックナイフ型モノポーラである場合等に適用可能である。
【0220】
以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0221】
１０ 医療用システム、１００ コントローラ、１１０ プロセッサ、１１２ 第１計測部、１１３ 第２計測部、１１４ 判断部、１１５ 提示部、１１６ 組織判定部、１１７ スイッチング部、１２０ メモリ、１２１ プログラム、１２２ 学習済みモデル、１２３ 教師データ、１２４ 学習済みモデル、１２５ 教師データ、１２７ 判断基準データ、１２８ プログラム、１３１ 画像取得部、１３２ 組織情報認識部、１３３ エネルギ出力調整部、１３５ 計測部、１３９ 出力設定伝達部、１４０ テンション計測部、１６０ 組織電気情報取得部、１７０，１８０，１９０ Ｉ／Ｏデバイス、２００ 内視鏡システム、２１０ 内視鏡、２２０ 本体装置、２３０ モニタ、２３１ モニタ画面、２３２ 内視鏡画像、２３３ａ，２３３ｂ 提示情報、２３４ａ，２３４ｂ 枠、２３５ａ，２３５ｂ 重畳表示、２３６ａ，２３６ｂ アイコン、３００ ジェネレータ、３１０ 処置具、３１１ エンドエフェクタ、３１２ シャフト、３１３ ハンドル部、３１４ ボタン、３１５ ポート、３２０ エネルギ処置具、３２２ エンドエフェクタ、３２３ ハンドル、３２４ａ，３２４ｂ，３２４ｃ，３２４ｄ ボタン、３２５ フットスイッチ、３３０ フックナイフ、３４０ 承認入力部、ＡＲＯＩ 注目領域、ＬＣ 主成分長軸ベクトル、ＬＥ１，ＬＥ２ エッジ延長線、ＬＦ１ フック基端線、ＬＦ２ フック先端線、ＬＦ３ シャフト先端線、ＴＨＡ１～ＴＨＦ１ 下限値、ＴＨＡ２～ＴＨＦ２ 上限値、ＴＩＮＦ 提示情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】