知財求人 - 知財ポータルサイト「IP Force」
特許7153974コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-06
(45)【発行日】2022-10-17
(54)【発明の名称】コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
(51)【国際特許分類】
A61B 34/00 20160101AFI20221007BHJP
A61B 1/045 20060101ALI20221007BHJP
A61B 5/00 20060101ALI20221007BHJP
G06N 3/02 20060101ALI20221007BHJP
G06N 20/00 20190101ALI20221007BHJP
【ＦＩ】
A61B34/00
A61B1/045 614
A61B1/045 618
A61B1/045 622
A61B5/00 G
G06N3/02
G06N20/00
【請求項の数】
19
(21)【出願番号】P 2021574738
(86)(22)【出願日】2021-02-01
(86)【国際出願番号】 JP2021003489
(87)【国際公開番号】W WO2021153797
(87)【国際公開日】2021-08-05
【審査請求日】2022-04-28
(31)【優先権主張番号】PCT/JP2020/003481
(32)【優先日】2020-01-30
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】520285640
【氏名又は名称】アナウト株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】小林 直
(72)【発明者】
【氏名】北村 尚紀
(72)【発明者】
【氏名】熊頭 勇太
【審査官】北村 龍平
(56)【参考文献】
【文献】特開２０１３－１５４０３７（ＪＰ，Ａ）
【文献】特開２０１９－１６２３３９（ＪＰ，Ａ）
【文献】国際公開第２０１７／２０００６６（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０５４０４５（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１１０２７８（ＷＯ，Ａ１）
【文献】篠原 尚、外９名，ＷＳ１５－２ 画像セグメンテーションによる微細解剖構造認識；ロボット支援下胃癌手術における疎性結合組，第７５回日本消化器外科学会総会抄録集，日本，日本消化器外科学会，2020年12月，p.134
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／００
Ａ６１Ｂ １／０４５
Ａ６１Ｂ ５／００
Ｇ０６Ｎ ３／０２
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得し、
前記学習モデルから取得した情報に基づき、前記結合組織の露出面積を算出し、
算出した露出面積に基づき、前記結合組織の切断タイミングを決定し、
決定した切断タイミングに関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項2】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得し、
前記学習モデルから取得した情報に基づき、前記結合組織の露出面積を算出し、
算出した露出面積の多少を示すインジケータを、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項3】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得し、
前記学習モデルから取得した情報に基づき、前記結合組織を展開又は切断する際の術具の操作方向を決定し、
決定した操作方向に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項4】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間に存在し、緊張状態にある結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれ、温存臓器と切除臓器との間に存在し、緊張状態にある結合組織を識別する情報を取得し、
前記学習モデルから取得した情報に基づき、前記結合組織の切断の適否を判断し、
前記結合組織の切断の適否に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項5】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織の切断タイミングに関する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織の切断タイミングに関する情報を取得し、
前記学習モデルより得られる切断タイミングに関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項6】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織における切断部位に関する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織における切断部位に関する情報を取得し、
前記学習モデルより得られる切断部位に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する
処理を実行させるためのコンピュータプログラム。
【請求項7】
コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、温存臓器と切除臓器との間の結合組織の状態が処置に適している度合いを示すスコアを出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織についてのスコアを取得し、
温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として、前記学習モデルから取得したスコアを出力する
処理を実行させるためのコンピュータプログラム。
【請求項8】
前記学習モデルは、前記結合組織の露出面積、前記結合組織の緊張状態、前記結合組織の周囲に存在する構造物の多少、及び前記温存臓器の損傷度合いの少なくとも１つに応じて、前記スコアが変動するよう学習してある請求項７に記載のコンピュータプログラム。
【請求項9】
前記学習モデルに入力した術野画像と、該術野画像を前記学習モデルに入力することによって得られたスコアとを関連付けて記憶装置に記憶させる処理を実行させるための請求項７又は請求項８に記載のコンピュータプログラム。
【請求項10】
前記学習モデルは、処理対象領域の状態に応じて、前記スコアが変動するよう学習してあり、前記学習モデルから出力されるスコアに基づき、前記鏡視下手術を補助する補助者への指示を出力する
処理を実行させるための請求項７から請求項９の何れか１つに記載のコンピュータプログラム。
【請求項11】
術野画像を入力した場合、解剖状態の予測画像を生成するように学習された画像生成モデルに、取得した術野画像を入力して、前記術野画像に対する予測画像を取得し、取得した予測画像を前記ナビゲーション情報として出力する
処理を実行させるための請求項１から請求項１０の何れか１つに記載のコンピュータプログラム。
【請求項12】
コンピュータを用いて、鏡視下手術の術野を撮像して得られる術野画像と、該術野画像に含まれる温存臓器と切除臓器との間の結合組織に関する情報とを含む訓練データを取得し、
取得した訓練データのセットに基づき、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織に関する情報を出力する学習モデルを生成する
学習モデルの生成方法。
【請求項13】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得する第２取得部と、
前記学習モデルから取得した情報に基づき、前記結合組織の露出面積を算出する算出部と、
算出した露出面積に基づき、前記結合組織の切断タイミングを決定する決定部と、
決定した切断タイミングに関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項14】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得する第２取得部と、
前記学習モデルから取得した情報に基づき、前記結合組織の露出面積を算出する算出部と、
算出した露出面積の多少を示すインジケータを、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項15】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる温存臓器と切除臓器との間の結合組織を識別する情報を取得する第２取得部と、
前記学習モデルから取得した情報に基づき、前記結合組織を展開又は切断する際の術具の操作方向を決定する決定部と、
決定した操作方向に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項16】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間に存在し、緊張状態にある結合組織を識別する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれ、温存臓器と切除臓器との間に存在し、緊張状態にある結合組織を識別する情報を取得する第２取得部と、
前記学習モデルから取得した情報に基づき、前記結合組織の切断の適否を判断する判断部と、
前記結合組織の切断の適否に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項17】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織の切断タイミングに関する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織の切断タイミングに関する情報を取得する第２取得部と、
前記学習モデルより得られる切断タイミングに関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項18】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織における切断部位に関する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織における切断部位に関する情報を取得する第２取得部と、
前記学習モデルより得られる切断部位に関する情報を、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として出力する出力部と
を備える画像処理装置。
【請求項19】
鏡視下手術の術野を撮像して得られる術野画像を取得する第１取得部と、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織の状態が処置に適している度合いを示すスコアを出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織についてのスコアを取得する第２取得部と、
温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報として、前記学習モデルから取得したスコアを出力する出力部と
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータプログラム、学習モデルの生成方法、及び画像処理装置に関する。
【背景技術】
【0002】
腹腔や胸腔に到達するように身体に３ｍｍ～１０ｍｍ程度の複数の小さな孔をあけて、身体を切開しないでその孔から内視鏡や手術器具を挿入して手術を行う内視鏡外科手術が行われている。内視鏡外科手術を実行する技術として、内視鏡が取得する映像をディスプレイで見ながら、医療用のマニピュレータで手術器具を操作して外科処置を行うことができる手術システムが提案されている（例えば、特許文献１を参照。）。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１３－５３１５３８公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
外科手術において、処置を行う上で対象臓器をその処置に適するような状態に展開することが重要である。しかしながら鏡視下手術では、臓器の全体像が把握しづらく、また、触覚が欠如しているため、臓器をどの方向にどれくらい牽引すると処置に最適な状態になるかという判断が難しい。
【0005】
本発明はこのような背景を鑑みてなされたものであり、手術対象の状態を容易に把握することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、コンピュータに、鏡視下手術の術野を撮像して得られる術野画像を取得し、術野画像を入力した場合、温存臓器と切除臓器との間の結合組織に関する情報を出力するように学習された学習モデルに、取得した術野画像を入力して、該術野画像に含まれる結合組織に関する情報を取得し、前記学習モデルから取得した情報に基づき、温存臓器と切除臓器との間の結合組織を処理する際のナビゲーション情報を出力する処理を実行させる。
【発明の効果】
【0007】
本発明によれば、手術対象の状態を容易に把握することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態の手術支援システムを用いた手術について説明する図である。
【図2】本実施の形態に係る手術支援システムの概略を説明する概念図である。
【図3】画像処理装置のハードウェア構成例を示す図である。
【図4】画像処理装置のソフトウェア構成例を示す図である。
【図5】本実施形態の手術支援システムにおける学習処理の流れを説明する図である。
【図6】本実施形態の手術支援システムにおけるスコアの出力処理の流れを説明する図である。
【図7】疎性結合組織の展開処置に係るスコアの表示例を示す図である。
【図8】疎性結合組織の展開処置に係るスコアの表示例を示す図である。
【図9】疎性結合組織の展開処置に係るスコアの表示例を示す図である。
【図10】血管の牽引に係るスコアの表示例を示す図である。
【図11】血管の牽引に係るスコアの表示例を示す図である。
【図12】血管の牽引に係るスコアの表示例を示す図である。
【図13】実施の形態２における術野画像の一例を示す模式図である。
【図14】学習モデルの構成例を示す模式図である。
【図15】学習モデルによる認識結果を示す模式図である。
【図16】学習モデルの生成手順を説明するフローチャートである。
【図17】実施の形態２における画像処理装置が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。
【図18】実施の形態２における表示例を示す模式図である。
【図19】展開操作が必要な術野画像の一例を示す模式図である。
【図20】展開操作に関するナビゲーション情報の出力例を示す図である。
【図21】切断操作に関するナビゲーション情報の出力例を示す図である。
【図22】実施の形態３における画像処理装置が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。
【図23】実施の形態４における学習モデルの構成を説明する模式図である。
【図24】実施の形態４における画像処理装置が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。
【図25】実施の形態５における学習モデルの構成を説明する模式図である。
【図26】正解データの作成手順を説明する説明図である。
【図27】実施の形態５における画像処理装置が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。
【図28】切断部位の表示例を示す模式図である。
【図29】実施の形態６における学習モデルの構成を説明する模式図である。
【図30】実施の形態６における画像処理装置が実行する処理の手順を説明するフローチャートである。
【図31】処理対象領域の状態を説明する説明図である。
【図32】処理対象領域の状態を説明する説明図である。
【図33】処理対象領域の状態を説明する説明図である。
【図34】実施の形態８における学習モデルを説明する説明図である。
【図35】実施の形態８における画像処理装置が実行する処理の手順を説明するフローチャートである。
【発明を実施するための形態】
【0009】
＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
手術を支援するシステムであって、
前記手術における解剖状態を表す情報を取得する解剖状態取得部と、
前記情報に基づいて前記解剖状態のスコアを決定するスコア算出部と、
前記スコアに基づく情報を出力するスコア出力部と、
を備える手術支援システム。
［項目２］
前記解剖状態は、複数の臓器の関係性を含む、項目１に記載の手術支援システム。
［項目３］
前記解剖状態は、手術対象に対する処置に適した状態である度合を示す、項目１または２に記載の手術支援システム。
［項目４］
前記情報は、少なくとも術野を撮影した画像を含む、項目１ないし３のいずれか１項に記載の手術支援システム。
［項目５］
前記画像は、可視画像、赤外線画像、および深度マップの少なくともいずれかを含む、項目４に記載の手術支援システム。
［項目６］
前記スコア算出部は、手術対象の面積の大きさに応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目７］
前記スコア算出部は、手術対象の変形度合に応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目８］
前記スコア算出部は、手術対象の色彩を含む情報に応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目９］
前記スコア出力部は、前記スコアを手術モニター上に表示する、項目１ないし８のいずれか１項に記載の手術支援システム。
［項目１０］
前記スコア出力部は、前記スコアに応じて前記処置に適するか否かを表示する、項目３に記載の手術支援システム。
［項目１１］
前記スコア出力部は、前記スコアの変化量が所定値以上となった場合に前記スコアを出力する、項目１ないし１０のいずれか１項に記載の手術支援システム。
［項目１２］
手術対象の処置可能領域を示すマーカーを手術モニター上に重畳して表示する処置可能領域表示部をさらに備える、項目１ないし１１のいずれか１項に記載の手術支援システム。
［項目１３］
前記処置可能領域表示部は、前記マーカーにより前記スコアを表示する、項目１２に記載の手術支援システム。
［項目１４］
前記マーカーは、前記処置可能領域の略外縁を示す、項目１２または１３に記載の手術支援システム。
［項目１５］
手術対象に対する処置は、少なくとも、切除、剥離、縫合、結紮またはステープリングのいずれかを含む、項目１ないし１４のいずれか１項に記載の手術支援システム。
［項目１６］
前記手術対象は、疎性結合組織である、項目３、６、７、８、１２、１３、１４または１５に記載の手術支援システム。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
手術を支援するシステムであって、
前記手術における解剖状態を表す情報を取得する解剖状態取得部と、
前記情報に基づいて前記解剖状態のスコアを決定するスコア算出部と、
前記スコアに基づく情報を出力するスコア出力部と、
を備える手術支援システム。
［項目２］
前記解剖状態は、複数の臓器の関係性を含む、項目１に記載の手術支援システム。
［項目３］
前記解剖状態は、手術対象に対する処置に適した状態である度合を示す、項目１または２に記載の手術支援システム。
［項目４］
前記情報は、少なくとも術野を撮影した画像を含む、項目１ないし３のいずれか１項に記載の手術支援システム。
［項目５］
前記画像は、可視画像、赤外線画像、および深度マップの少なくともいずれかを含む、項目４に記載の手術支援システム。
［項目６］
前記スコア算出部は、手術対象の面積の大きさに応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目７］
前記スコア算出部は、手術対象の変形度合に応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目８］
前記スコア算出部は、手術対象の色彩を含む情報に応じて前記スコアを決定する、項目１ないし５のいずれか１項に記載の手術支援システム。
［項目９］
前記スコア出力部は、前記スコアを手術モニター上に表示する、項目１ないし８のいずれか１項に記載の手術支援システム。
［項目１０］
前記スコア出力部は、前記スコアに応じて前記処置に適するか否かを表示する、項目３に記載の手術支援システム。
［項目１１］
前記スコア出力部は、前記スコアの変化量が所定値以上となった場合に前記スコアを出力する、項目１ないし１０のいずれか１項に記載の手術支援システム。
［項目１２］
手術対象の処置可能領域を示すマーカーを手術モニター上に重畳して表示する処置可能領域表示部をさらに備える、項目１ないし１１のいずれか１項に記載の手術支援システム。
［項目１３］
前記処置可能領域表示部は、前記マーカーにより前記スコアを表示する、項目１２に記載の手術支援システム。
［項目１４］
前記マーカーは、前記処置可能領域の略外縁を示す、項目１２または１３に記載の手術支援システム。
［項目１５］
手術対象に対する処置は、少なくとも、切除、剥離、縫合、結紮またはステープリングのいずれかを含む、項目１ないし１４のいずれか１項に記載の手術支援システム。
［項目１６］
前記手術対象は、疎性結合組織である、項目３、６、７、８、１２、１３、１４または１５に記載の手術支援システム。
【0010】
（実施の形態１）
＜概要＞
以下、本発明の一実施形態に係る手術支援システム１について説明する。本実施形態の手術支援システム１は、たとえば、鏡視下手術やロボット手術のように遠隔操作により行う手術を支援するものである。
＜概要＞
以下、本発明の一実施形態に係る手術支援システム１について説明する。本実施形態の手術支援システム１は、たとえば、鏡視下手術やロボット手術のように遠隔操作により行う手術を支援するものである。
【0011】
【0012】
図１に示すように、切除臓器３には固有脈管６が通っており、固有脈管６は結合組織４内に存在しているため、固有脈管６の処置を行うためには結合組織４を切開する必要がある。しかし、温存臓器２や切除臓器３、固有脈管６その他の生組織を傷つけないようにするには、結合組織４を伸長させた状態で切開することが好ましい一方で、伸長しすぎると結合組織４が接続されている温存臓器２その他の生組織に裂傷が生じることもあり得る。そこで、本実施形態の手術支援システム１では、事前に、結合組織４の伸長状態が切開等の処置を行うにどの程度適しているかについての医師等の判断の入力を受け付けて学習することで、画像から結合組織４の状態が処置に適した度合（結合組織４に対して安全に切除等の作業を行うことのできる度合）を示すスコアを算出可能としている。また、術中には、術野の画像からそのスコアを算出してモニタに表示することで、結合組織４の処置を行っている医師１１０（以下、オペレータ１１０ともいう）を支援しようとしている。なお、本実施形態では、処置として主に切除を想定するが、処置は、切除以外にも、剥離、縫合、クリッピング等の結紮、またはステープリングなどであってよい。
【0013】
切除臓器３としては、たとえば、胃、大腸、食道、膵臓、肺、前立腺、卵巣などがある。切除臓器３が胃である場合、温存臓器２としては、たとえば、膵臓、横行結腸間膜などがある。切除臓器３が大腸である場合、温存臓器２としては、たとえば、尿管、精線動静脈、精嚢、骨盤神経叢などがある。切除臓器３が食道である場合、温存臓器２としては、たとえば、気管、反回神経などがある。切除臓器３が膵臓である場合、温存臓器２としては、たとえば、左腎静脈などがある。切除臓器３が肺である場合、温存臓器２としては、たとえば、反回神経、大動脈、食道などがある。切除臓器３が前立腺である場合、温存臓器２としては、たとえば、直腸がある。
【0014】
温存臓器２と切除臓器３との間には結合組織４（疎性結合組織）が存在する。主要脈管５から固有脈管６を介して切除臓器３に血液が流れており、切除臓器３を切除するにあたり、固有脈管６の処置を行う必要があるところ、まずは結合組織４を切除して固有脈管６を暴露させて固有脈管６の処置を行いやすくする。ここで、温存臓器２が胃である場合、主要脈管５には、たとえば、肝動脈や腹腔動脈などがあり、固有脈管６には、たとえば、左胃動脈などがある。温存臓器２が大腸である場合、主要脈管５には、たとえば、門脈や大動脈などがあり、固有脈管６には、たとえば、回結腸動静脈や下腸間膜動脈などがある。温存臓器２が食道である場合、主要脈管５には、たとえば、大動脈がある。温存臓器２が膵臓である場合、主要脈管５には、たとえば、門脈や上腸間膜動脈などがあり、固有脈管６には、ＩＰＤＡなどがある。温存臓器２が肺である場合、主要脈管５には、たとえば、気管、肺動脈、肺静脈などがあり、固有脈管６は、たとえば、主要脈管５固有分枝である。
【0015】
本実施形態の手術支援システム１では、解剖状態を表す情報を取得し、その解剖状態が処置に適している度合（スコア）を決定し、スコアを出力する。解剖状態には、たとえば、複数臓器の関連性（たとえば、温存臓器２と切除臓器３との間の距離など）、臓器の状態（たとえば、温存臓器２および／または切除臓器３の状態）、複数の組織をつなぐ疎性結合組織４の状態（伸縮の状態や緊張状態など）などが含まれる。本実施形態では、一例として、切除臓器３を切除するにあたり、切除臓器３を温存臓器２から離間させるように引っ張り、裂傷しない程度に緊張していることで切除に適しているかどうかを判定する。解剖状態のスコアは、事前に経験豊富な医師により手術動画像から解剖状態のスコアが判断され、医師により判断された結果を機械学習の手法により学習させることができる。
【0016】
＜システム構成＞
図２は、本実施の形態に係る手術支援システム１の概略を説明する概念図である。なお、図の構成は一例であり、これら以外の要素が含まれていてもよい。
図２は、本実施の形態に係る手術支援システム１の概略を説明する概念図である。なお、図の構成は一例であり、これら以外の要素が含まれていてもよい。
【0017】
手術支援システム１では、手術ユニット１０に手術対象（患者１００）が載置され、患者１００の術野がカメラ２１（たとえば、腹部に挿入される。）により撮影される。カメラ２１が撮影した画像は制御ユニット２２に渡され、制御ユニット２２から出力される画像はメインモニタ２３に表示される。本実施形態の手術支援システム１では、画像処理装置３０が制御ユニット２２から術野の画像を取得し、この画像を解析して解剖状態のスコアをサブモニタ３１に出力する。
【0018】
＜ハードウェア＞
画像処理装置３０は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。また、画像処理装置３０は、ＦＰＧＡ（Field Programmable Gate Array）などの論理回路であってもよい。図３は、画像処理装置３０のハードウェア構成例を示す図である。画像処理装置３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、非接触パネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
画像処理装置３０は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。また、画像処理装置３０は、ＦＰＧＡ（Field Programmable Gate Array）などの論理回路であってもよい。図３は、画像処理装置３０のハードウェア構成例を示す図である。画像処理装置３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、非接触パネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【0019】
＜ソフトウェア＞
図４は、画像処理装置３０のソフトウェア構成例を示す図である。画像処理装置３０は、映像取得部３１１、解剖状態取得部３１２、処置可能領域表示部３１３、学習処理部３１４、スコア算出部３１５、スコア出力部３１６、モデル記憶部３３１を備える。
図４は、画像処理装置３０のソフトウェア構成例を示す図である。画像処理装置３０は、映像取得部３１１、解剖状態取得部３１２、処置可能領域表示部３１３、学習処理部３１４、スコア算出部３１５、スコア出力部３１６、モデル記憶部３３１を備える。
【0020】
なお、画像処理装置３０は、映像取得部３１１、解剖状態取得部３１２、処置可能領域表示部３１３、学習処理部３１４、スコア算出部３１５、スコア出力部３１６は、画像処理装置３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現することができ、モデル記憶部３３１は、画像処理装置３０が備えるメモリ３０２および記憶装置３０３が備える記憶領域の一部として実現することができる。
【0021】
映像取得部３１１は、カメラ２１が撮影した術野の画像を取得する。本実施形態では、映像取得部３１１は、制御ユニット２２から出力されるカメラ２１の撮影した動画像を取得するものとする。
【0022】
解剖状態取得部３１２は、術野における解剖状態を取得する。本実施形態では、解剖状態取得部３１２は、映像取得部３１１が取得した画像を解析して臓器や結合組織、血管などの生組織を認識し、たとえば、各生組織の特徴量を取得することができる。
【0023】
処置可能領域表示部３１３は、事前に設定された処置の対象組織（本実施形態では結合組織を想定している。）を表す図形を出力する。処置可能領域表示部３１３は、たとえば、解剖状態取得部３１２が認識した生組織のうち、事前に設定された処置対象組織（たとえば結合組織）の色彩を変更したり、輪郭を抽出して画像に重畳表示したりすることができる。また、処置可能領域表示部３１３は、後述するスコア算出部３１５により算出されたスコアが閾値以上である場合にのみ処置対象組織を出力するようにすることもできる。
【0024】
学習処理部３１４は、解剖状態に応じたスコアを学習する。学習処理部３１４は、たとえば、映像取得部３１１が取得した画像を閲覧した医師から処置対象組織の状態が処置に適している度合のスコア（たとえば、５点満点、１０点満点、１００点満点など任意の幅で設定することができる。）の入力を受け付け、入力されたスコアを教師信号とし、当該画像より解析された解剖状態（生組織の特徴量）を入力信号として、たとえばニューラルネットワークなどの機械学習手法を用いて学習を行うことができる。なお、入力信号として与える特徴量は、処置対象組織のものに限らず、たとえば、温存臓器２や切除臓器３、主要脈管５、固有脈管６などのものを採用するようにしてもよい。すなわち、たとえば、温存臓器２と切除臓器３との位置関係などを含めて、スコアを学習することができる。学習処理部３１４は、学習されたモデルをモデル記憶部３３１に登録する。モデル記憶部３３１は、公知の形式によりモデルを格納するものとして、ここでは詳細な説明は省略する。
【0025】
スコア算出部３１５は、映像取得部３１１が取得した画像に基づいて、処置対象領域が処置に適している度合を示すスコアを算出する。スコア算出部３１５は、解剖状態取得部３１２が取得した各生組織の情報（特徴量）を、モデル記憶部３３１に記憶されているモデルに与えることによりスコアを算出することができる。
【0026】
スコア出力部３１６は、スコア算出部３１５が算出したスコアを出力する。本実施形態では、スコア出力部３１６は、サブモニタ３１においてカメラ２１が撮影した術野の画像に重畳させてスコアを表示する。スコア出力部３１６は、スコアを数字などの文字情報としてサブモニタ３１に出力するようにしてもよいし、サブモニタ３１においてスコアを示すゲージを処置対象の近傍に出力するようにしてもよいし、スコアに応じて処置可能領域表示部３１３が表示した図形の色彩を変更するようにしてもよい。また、スコア出力部３１６は、スピーカからスコアを表す音（たとえば、スコアを音声合成により読み上げた音声であってもよいし、スコアに応じたサウンドとしてもよい。）を出力するようにしてもよい。
【0027】
＜学習処理＞
図５は、本実施形態の手術支援システム１における学習処理の流れを説明する図である。図５に示す学習処理は、たとえば、事前に撮影された術野の画像を用いて行うようにしてもよいし、撮影中の画像を用いて行うようにしてもよい。
図５は、本実施形態の手術支援システム１における学習処理の流れを説明する図である。図５に示す学習処理は、たとえば、事前に撮影された術野の画像を用いて行うようにしてもよいし、撮影中の画像を用いて行うようにしてもよい。
【0028】
映像取得部３１１は、カメラ２１が撮影した術野の画像（リアルタイムに撮影している画像であってもよいし、記録されていた画像であってもよい。）を取得する（Ｓ４０１）。解剖状態取得部３１２は、画像から温存臓器２、切除臓器３、結合組織４などの生組織を認識し（Ｓ４０２）、学習処理部３１４は、医師等から処置対象組織（本実施形態では結合組織４）の処置適合度を示すスコアの入力を受け付け（Ｓ４０３）、解剖状態取得部３１２が取得した解剖状態を示す情報（特徴量など）を入力信号とし、受け付けたスコアを教師信号として学習を行い（Ｓ４０４）、学習済みのモデルをモデル記憶部３３１に登録する（Ｓ４０５）。
【0029】
以上のようにして、術野を撮影した画像に基づいて、画像に表示されている温存臓器２、切除臓器３、結合組織４などの各生組織の状態から結合組織４の処置適合度（スコア）を学習することができる。
【0030】
【0031】
映像取得部３１１は、カメラ２１が撮影した術野の画像を制御ユニット２２から取得する（Ｓ４２１）。解剖状態取得部３１２は、画像から温存臓器２、切除臓器３、結合組織４などの生組織を認識し（Ｓ４２２）、スコア算出部３１５は、認識した組織の特徴量を、モデル記憶部３３１に記憶されているモデルに与えてスコアを算出する（Ｓ４２３）。スコア出力部３１６は、算出されたスコアをサブモニタ３１において術野の画像に重畳表示させる（Ｓ４２４）。
【0032】
以上のようにして、手術中に撮影された術野の画像に基づいて、処置対象（結合組織４）の処置適合度をサブモニタ３１に出力することができる。
【0033】
図７ないし図９は、疎性結合組織の展開処置に係るスコアの表示例を示す図である。図７ないし図９では、結合組織４として疎性結合組織の場合の例を示している。サブモニタ３１には、温存臓器２と切除臓器３とその間の結合組織４（温存臓器２および切除臓器３に隠されていない場合）とが表示されている。また、サブモニタ３１では、結合組織４が処置に適した度合を示すスコアが、処置対象である結合組織４の近傍にゲージ５１および文字表示５２の形式で表示されている。
【0034】
図７ないし図９の例では、オペレータ１１０は手術器具５０を遠隔操作して切除臓器３を把持して画面上部へ引き上げている様子が表示されている。図７、図８、図９の順に切除臓器３が引き上げられており、これらの中では図９の状態が処置に最も適合していることがわかる。図７のように温存臓器２から切除臓器３があまり引き離されていない状態では、スコア（処置適合度）は１０%であることが示されており、図８では、切除臓器３が引き上げられてスコアが５５%であることが示されている。図９の状態では、切除臓器３がさらに引き上げられて処置の適合度を示すスコアが９８%と示されている。このスコアを参考にしながら、手術のオペレータ１１０（医師）は、切除臓器３の引き上げ作業や結合組織４の切除作業などの処置を行うことができる。切除臓器３と温存臓器２とが引き離され、疎性結合組織が露出するとともに十分に引き伸ばされて緊張した状態であれば、疎性結合組織を安全に切除できることが知られており、このような切除の安全性をゲージ５１および文字表示５２により視認することができるので、結合組織４を安全に処置することができる。
【0035】
また、図８および図９に図示されているように、処置可能領域表示部３１３は、結合組織４を表す図形をサブモニタ３１に表示される画像に重畳表示することができる。したがって、手術のオペレータ１１０は処置対象を即時かつ容易に認識することができる。
【0036】
なお、スコアはゲージ５１または文字表示５２の何れか一方のみで表示してもよいし、処置可能領域表示部３１３が表示している結合組織４を示す図形の色により表現してもよい。たとえば、スコアが第１閾値以上である場合には青色または緑色とし、スコアが第２閾値（第１閾値よりも小さい）以下である場合には赤色とし、スコアが第１閾値未満で第２閾値より大きい場合には黄色とすることができる。また、スコアに応じた色のグラデーションとしてもよい。
【0037】
図７ないし図９では、結合組織４として疎性結合組織の例を示したが、結合組織４は疎性結合組織に限らず、２つの臓器を結合している組織であればよい。たとえば、密性結合組織も結合組織４であり、血管も結合組織４として把握できる。また、上記実施形態では結合組織４は切除することを想定していたが、結合組織４に対する処置であれば切除に限らない。たとえば、血管４については、クリップ、切除、縫合などの処置を想定することができる。
【0038】
図１０ないし図１２は、血管の牽引に係るスコア表示例を示す図である。サブモニタ３１には、温存臓器２と切除臓器３とその間を通っている血管４とが表示され、血管４が処置に適した度合を示すスコアが、血管（または温存臓器２もしくは切除臓器３）の近傍にゲージ５１および文字表示５２の形式で表示されている。また、図１０ないし図１２の例では、手術器具５０により切除臓器３ではなく結合組織４（血管）を引き伸ばしている。図１０、図１１、図１２の順に血管４が引き伸ばされていることがわかる。これらの中では図１２の状態が最も処置に適合した状態であることが把握できる。このように、血管４であっても、その処置適合度を表示することにより、安全な処置を行うことができる。
【0039】
以上説明したように、本実施形態の手術支援システム１によれば、術野を撮影した画像に基づいて処置対象の臓器などが処置に適した状態、すなわち、安全な処置ができる状態であるか否かをスコアによって表示することができる。したがって、処置対象の手術を安全に行うことができる。
【0040】
以下では、学習モデルを用いて、温存臓器２と切除臓器３との間の結合組織４に関する情報を取得し、取得した情報に基づき、温存臓器２と切除臓器３との間の結合組織４を処理する際のナビゲーション情報を出力する構成について説明する。以下の実施の形態では、結合組織４として主に疎性結合組織を例に挙げて説明するが、結合組織４は、温存臓器２と切除臓器３との間にある膜や層、脂肪組織などを含んでもよい。
【0041】
（実施の形態２）
実施の形態２では、学習モデルを用いて温存臓器２と切除臓器３との間の疎性結合組織を認識し、認識結果に基づき、疎性結合組織の切断タイミングをナビゲーション情報として出力する構成について説明する。
実施の形態２では、学習モデルを用いて温存臓器２と切除臓器３との間の疎性結合組織を認識し、認識結果に基づき、疎性結合組織の切断タイミングをナビゲーション情報として出力する構成について説明する。
【0042】
図１３は実施の形態２における術野画像の一例を示す模式図である。図１３に示す術野には、温存臓器２を構成する組織ＯＲＧ、切除臓器３を構成する組織ＮＧ、及びこれらの組織を結合する疎性結合組織ＬＣＴが含まれている。疎性結合組織ＬＣＴは、結合組織４の一例である。図１３の例では、疎性結合組織ＬＣＴを破線により示している。
【0043】
腹腔鏡手術では、例えば患者の体内に形成された悪性腫瘍などの病変部を取り除く手術を行う。このとき、術者は、病変部を含む組織ＮＧを鉗子５０Ａにより把持し、適宜の方向に展開させることによって、病変部を含む組織ＮＧと残すべき組織ＯＲＧとの間に存在する疎性結合組織ＬＣＴを露出させる。術者は、露出させた疎性結合組織ＬＣＴをエネルギ処置具５０Ｂを用いて切除することにより、病変部を含む組織ＮＧを残すべき組織ＯＲＧから剥離させる。鉗子５０Ａやエネルギ処置具５０Ｂは手術器具５０の一例である。
【0044】
なお、疎性結合組織ＬＣＴの切除の容易性の観点から、切除対象の疎性結合組織ＬＣＴは伸縮性を有していることが好ましい。また、切除対象の疎性結合組織ＬＣＴの奥側に鉗子５０Ａやエネルギ処置具５０Ｂを動かせる空間が存在することが好ましい。更に、切除対象の疎性結合組織ＬＣＴは緊張した状態に保持されていることが好ましい。図１３の例は、疎性結合組織ＬＣＴの奥側に空間ＳＰが存在し、少なくとも一部が緊張された状態に保持されている様子を示している。
【0045】
疎性結合組織ＬＣＴを構成する線維の周囲には液性の基質や多種の細胞が存在するため、術者にとって、術野画像から疎性結合組織ＬＣＴを見つけ出すことは必ずしも容易ではない。そこで、本実施の形態に係る画像処理装置３０は、学習モデル４１０（図１４を参照）を用いて術野画像から疎性結合組織部分を認識し、認識結果に基づき、腹腔鏡手術に関する支援情報を出力する。
【0046】
次に、画像処理装置３０において用いられる学習モデル４１０の構成例について説明する。
図１４は学習モデル４１０の構成例を示す模式図である。学習モデル４１０は、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。図１４には、ＳｅｇＮｅｔの構成例を示しているが、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて学習モデル４１０を構築すればよい。また、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて学習モデル４１０を構築してもよい。
図１４は学習モデル４１０の構成例を示す模式図である。学習モデル４１０は、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。図１４には、ＳｅｇＮｅｔの構成例を示しているが、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて学習モデル４１０を構築すればよい。また、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて学習モデル４１０を構築してもよい。
【0047】
本実施の形態において、学習モデル４１０への入力画像は、カメラ２１から得られる術野画像である。術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４１０に入力する術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。学習モデル４１０は、術野画像の入力に対し、術野画像に含まれる疎性結合組織部分の認識結果を示す画像を出力するように学習される。
【0048】
本実施の形態における学習モデル４１０は、例えば、エンコーダ４１１、デコーダ４１２、及びソフトマックス層４１３を備える。エンコーダ４１１は、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。図１４の例では、畳み込み層にはハッチングを付さずに示し、プーリング層にはハッチングを付して示している。
【0049】
畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。
【0050】
プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図１４の例は、エンコーダ４１１において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。
【0051】
エンコーダ４１１の出力（図１４の例では１×１の特徴マップ）は、デコーダ４１２に入力される。デコーダ４１２は、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。図１４の例では、逆畳み込み層にはハッチングを付さずに示し、逆プーリング層にはハッチングを付して示している。
【0052】
逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。
【0053】
デコーダ４１２が備える逆プーリング層は、エンコーダ４１１が備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダ４１１のプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図１４の例は、デコーダ４１２において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。
【0054】
デコーダ４１２の出力（図１４の例では２２４×２２４の特徴マップ）は、ソフトマックス層４１３に入力される。ソフトマックス層４１３は、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。本実施の形態では、疎性結合組織を識別するラベルを設定し、疎性結合組織に属するか否かを画素単位で識別すればよい。ソフトマックス層４１３から出力されるラベルの確率が閾値以上（例えば５０％以上）の画素を抽出することによって、疎性結合組織部分の認識結果を示す画像（以下、認識画像という）が得られる。
【0055】
なお、図１４の例では、２２４画素×２２４画素の画像を学習モデル４１０への入力画像としているが、入力画像のサイズは上記に限定されるものではなく、画像処理装置３０の処理能力、カメラ２１から得られる術野画像のサイズ等に応じて、適宜設定することが可能である。また、学習モデル４１０への入力画像は、カメラ２１より得られる術野画像の全体である必要はなく、術野画像の注目領域を切り出して生成される部分画像であってもよい。処置対象を含むような注目領域は術野画像の中央付近に位置することが多いので、例えば、元の半分程度のサイズとなるように術野画像の中央付近を矩形状に切り出した部分画像を用いてもよい。学習モデル４１０に入力する画像のサイズを小さくすることにより、処理速度を上げつつ、認識精度を高めることができる。
【0056】
図１５は学習モデル４１０による認識結果を示す模式図である。図１５の例では、学習モデル４１０を用いて認識した疎性結合組織部分を太実線により示し、それ以外の臓器や組織の部分を参考として破線により示している。画像処理装置３０のＣＰＵ３０１は、認識した疎性結合組織部分を判別可能に表示するために疎性結合組織の認識画像を生成する。認識画像は、術野画像と同一サイズの画像であり、疎性結合組織として認識された画素に特定の色を割り当てた画像である。疎性結合組織の画素に割り当てる色は、臓器や血管などと区別が付くように、人体内部に存在しない色であることが好ましい。人体内部に存在しない色とは、例えば青色や水色などの寒色系（青系）の色である。また、認識画像を構成する各画素には透過度を表す情報が付加され、疎性結合組織として認識された画素には不透過の値、それ以外の画素は透過の値が設定される。このように生成された認識画像を術野画像上に重ねて表示することにより、疎性結合組織部分を特定の色を有する構造として術野画像上に表示することができる。
【0057】
画像処理装置３０は、例えば運用開始前の学習フェーズにおいて学習モデル４１０を生成する。学習モデル４１０を生成する準備段階として、本実施の形態では、カメラ２１から得られる術野画像に対して、疎性結合組織部分をマニュアルでセグメンテーションすることにより、アノテーションを実施する。なお、アノテーションには、記憶装置３０３などに記憶された術野画像を用いればよい。
【0058】
アノテーションを実施する際、作業者（医師などの専門家）は、術野画像をサブモニタ３１に時系列的に表示させながら、温存臓器と切除臓器との間に存在し、切除し易い状況にある疎性結合組織を見つけ出す。具体的には、病変部を含む組織が展開されて、露出した状態の疎性結合組織を見つけ出す。露出した疎性結合組織は、伸縮性を有し、緊張した状態に保持されていることが好ましい。また、疎性結合組織の奥側に空間が存在し、手術器具５０を動かせる空間が存在することが好ましい。作業者は、切除し易い状況にある疎性結合組織を見つけ出した場合、その術野画像において、入力装置３０５が備えるマウスやスタイラスペンなどを用いて疎性結合組織に該当する部分を画素単位で選択することによりアノテーションを行う。また、学習に適した疎性結合組織の走行パターンを選択し、透視変換や鏡映などの処理によりデータ数を増やしてもよい。更に、学習が進めば、学習モデル４１０による認識結果を流用してデータ数を増やしてもよい。
【0059】
多数の術野画像に対してアノテーションが行われることにより、術野画像と当該術野画像における疎性結合組織部分を示す正解データとの組からなる訓練データが用意される。訓練データは、記憶装置（例えば画像処理装置３０の記憶装置３０３）に記憶される。
【0060】
図１６は学習モデル４１０の生成手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、予め用意してある学習プログラムを記憶装置３０３から読み出し、以下の手順を実行することにより、学習モデル４１０を生成する。なお、学習を開始する前の段階では、学習モデル４１０を記述する定義情報には、初期値が与えられているものとする。
【0061】
ＣＰＵ３０１は、記憶装置３０３にアクセスし、学習に用いる一組の訓練データを選択する（ステップＳ２０１）。ＣＰＵ３０１は、選択した訓練データに含まれる術野画像を学習モデル４１０へ入力し（ステップＳ２０２）、学習モデル４１０による演算を実行する（ステップＳ２０３）。すなわち、ＣＰＵ３０１は、入力した術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ４１１による演算、エンコーダ４１１から入力される特徴マップを順次アップサンプリングするデコーダ４１２による演算、及びデコーダ４１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層４１３による演算を実行する。
【0062】
ＣＰＵ３０１は、学習モデル４１０から演算結果を取得し、取得した演算結果を評価する（ステップＳ２０４）。例えば、ＣＰＵ３０１は、演算結果として得られる疎性結合組織部分の画像データと、訓練データに含まれる正解データとの類似度を算出することによって、演算結果を評価すればよい。類似度は、例えばＪａｃｃａｒｄ係数により算出される。Ｊａｃｃａｒｄ係数は、学習モデル４１０によって抽出した疎性結合組織部分をＡ、正解データに含まれる疎性結合組織部分をＢとしたとき、Ａ∩Ｂ／Ａ∪Ｂ×１００（％）により与えられる。Ｊａｃｃａｒｄ係数に代えて、Ｄｉｃｅ係数やＳｉｍｐｓｏｎ係数を算出してもよく、その他の既存の手法を用いて類似度を算出してもよい。
【0063】
ＣＰＵ３０１は、演算結果の評価に基づき、学習が完了したか否かを判断する（ステップＳ２０５）。ＣＰＵ３０１は、予め設定した閾値以上の類似度が得られた場合に、学習が完了したと判断することができる。
【0064】
学習が完了していないと判断した場合（Ｓ２０５：ＮＯ）、ＣＰＵ３０１は、逆誤差伝搬法を用いて、学習モデル４１０の各層における重み係数及びバイアスを学習モデル４１０の出力側から入力側に向かって順次的に更新する（ステップＳ２０６）。ＣＰＵ３０１は、各層の重み係数及びバイアスを更新した後、処理をステップＳ２０１へ戻し、ステップＳ２０１からステップＳ２０５までの処理を再度実行する。
【0065】
ステップＳ２０５において学習が完了したと判断した場合（Ｓ２０５：ＹＥＳ）、学習済みの学習モデル４１０が得られるので、ＣＰＵ３０１は、得られた学習モデル４１０をモデル記憶部３３１に記憶させ、本フローチャートによる処理を終了する。
【0066】
本実施の形態では、画像処理装置３０にて学習モデル４１０を生成する構成としたが、サーバ装置などの外部コンピュータにて学習モデル４１０を生成してもよい。画像処理装置３０は、外部コンピュータにて生成された学習モデル４１０を通信等の手段を用いて取得し、取得した学習モデル４１０をモデル記憶部３３１に記憶させればよい。
【0067】
画像処理装置３０は、学習済みの学習モデル４１０が得られた後の運用フェーズにおいて、以下の処理を実行する。図１７は実施の形態２における画像処理装置３０が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、予め用意してある認識処理プログラムを記憶装置３０３から読み出して実行することにより、以下の手順を実行する。腹腔鏡手術が開始されると、術野を撮像して得られる術野画像はカメラ２１より制御ユニット２２へ随時出力される。画像処理装置３０のＣＰＵ３０１は、映像取得部３１１を通じて、制御ユニット２２から出力される術野画像を取得する（ステップＳ２２１）。ＣＰＵ３０１は、術野画像を取得する都度、以下の処理を実行する。
【0068】
ＣＰＵ３０１は、取得した術野画像を学習モデル４１０に入力し、学習モデル４１０を用いた演算を実行し（ステップＳ２２２）、術野画像に含まれる疎性結合組織部分を認識する（ステップＳ２２３）。すなわち、ＣＰＵ３０１は、入力された術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ４１１による演算、エンコーダ４１１から入力された特徴マップを順次アップサンプリングするデコーダ４１２による演算、及びデコーダ４１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層４１３による演算を実行する。また、ＣＰＵ３０１は、ソフトマックス層４１３から出力されるラベルの確率が閾値以上（例えば５０％以上）の画素を疎性結合組織部分として認識する。
【0069】
次いで、ＣＰＵ３０１は、学習モデル４１０による認識結果に基づき、疎性結合組織部分の露出面積を算出する（ステップＳ２２４）。ＣＰＵ３０１は、疎性結合組織と認識された画素の数、または、術野画像の全画素の中で疎性結合組織と認識された画素の割合を露出面積として算出すればよい。また、ＣＰＵ３０１は、１画素当たりの大きさ（面積）を規格化するために、例えば、カメラ２１の焦点距離などを参照して合焦点までの距離情報を導出し、導出した距離情報に基づいて露出面積を補正してもよい。
【0070】
次いで、ＣＰＵ３０１は、算出した露出面積に基づき、疎性結合組織の切断タイミングであるか否かを判断する（ステップＳ２２５）。具体的には、ＣＰＵ３０１は、算出した露出面積と、予め設定した閾値との大小関係を判断し、露出面積が閾値より大きければ切断タイミングであると判断すればよい。切断タイミングでないと判断した場合（Ｓ２２５：ＮＯ）、ＣＰＵ３０１は、本フローチャートによる処理を終了する。
【0071】
切断タイミングであると判断した場合（Ｓ２２５：ＹＥＳ）、ＣＰＵ３０１は、疎性結合組織の切断タイミングである旨を報知する（ステップＳ２２６）。例えば、ＣＰＵ３０１は、疎性結合組織の切断タイミングである旨の文字情報を、術野画像に重畳して表示することが可能である。文字情報を表示する構成に代えて、疎性結合組織の切断タイミングであることを示すアイコンやマークを術野画像に重畳表示してもよい。更に、ＣＰＵ３０１は、出力装置３０６が備えるマイクロフォンを通じて、切断タイミングである旨を音声として出力してもよく、腹腔鏡や手術器具にバイブレータが搭載されている場合、このバイブレータを振動させることにより切断タイミングを報知してもよい。
【0072】
また、ＣＰＵ３０１は、ステップＳ２２３で疎性結合組織を認識しているので、その認識画像を生成し、生成した認識画像を術野画像上に重畳して表示してもよい。例えば、ＣＰＵ３０１は、疎性結合組織として認識された画素には、人体内部に存在しない色（例えば青色や水色などの寒色系（青系）の色）を割り当て、疎性結合組織以外の画素には背景が透過するような透過度を設定することにより、認識画像を生成することができる。更に、ＣＰＵ３０１は、ステップＳ２２４で疎性結合組織の露出面積を算出しているので、その露出面積の多少を示すインジケータの画像を生成し、生成したインジケータの画像を術野画像上に重畳して表示してもよい。
【0073】
図１８は実施の形態２における表示例を示す模式図である。図１８は図１３に示す術野画像に対し、疎性結合組織の認識画像５３、疎性結合組織の切断タイミングを示す文字情報５４、及び疎性結合組織の露出面積の多少を示すインジケータ５５を重畳して表示した例を示している。画像処理装置３０は、これらの情報を常に表示しておく必要はなく、入力装置３０５や図に示していないフットスイッチを通じて、術者からの表示指示が与えられた場合にのみ表示する構成としてもよい。
【0074】
以上のように、実施の形態２では、学習モデル４１０を用いて術野画像に含まれる疎性結合組織部分を認識し、認識結果に基づき、疎性結合組織の切断タイミングであることを示す情報を出力する。画像処理装置３０は、このようなナビゲーション情報を出力することにより、温存臓器２を構成する組織ＯＲＧと、切除臓器３を構成する組織ＮＧとの間の疎性結合組織を切断する処理に関して、術者に対する視覚支援を行うことができる。
【0075】
実施の形態２では、疎性結合組織の露出面積に応じて、切断タイミングであるか否かを判断する構成としたが、学習モデル４１０を用いて緊張状態にある疎性結合組織を認識し、認識結果に応じて切断の適否を判断してもよい。例えば、緊張状態にある疎性結合組織部分を画素単位で選択することによりアノテーションを行い、このようなアノテーションにより得られる訓練データを用いることより、緊張状態にある疎性結合組織を認識する学習モデル４１０を生成することができる。画像処理装置３０のＣＰＵ３０１は、カメラ２１により撮像された術野画像を学習モデル４１０に入力し、学習モデル４１０を用いた演算を実行することにより、緊張状態にある疎性結合を認識することができる。ＣＰＵ３０１は、学習モデル４１０を用いて緊張状態にある疎性結合組織を認識した場合、切断タイミングであることを示す文字情報等を報知すればよい。
【0076】
実施の形態２における画像処理装置３０は、学習モデル４１０を備える構成としたが、後述する学習モデル４２０～４５０を更に備える構成であってもよい。すなわち、画像処理装置３０は、複数の学習モデルを組み合わせて使用して、ナビゲーション情報を生成する構成としてもよい。
【0077】
（実施の形態３）
実施の形態３では、学習モデル４１０を用いて温存臓器２と切除臓器３との間の疎性結合組織を認識し、認識結果に基づき、疎性結合組織を処理する際の操作に関する情報をナビゲーション情報として出力する構成について説明する。
実施の形態３では、学習モデル４１０を用いて温存臓器２と切除臓器３との間の疎性結合組織を認識し、認識結果に基づき、疎性結合組織を処理する際の操作に関する情報をナビゲーション情報として出力する構成について説明する。
【0078】
画像処理装置３０は、術野画像を学習モデル４１０に入力し、学習モデル４１０による演算を実行することによって、術野画像に含まれる疎性結合組織部分を認識することができる。実施の形態３における画像処理装置３０は、学習モデル４１０による認識結果を参照して、疎性結合組織を展開又は切断する際の手術器具５０の操作方向を決定し、決定した操作方向に関する情報を出力する。
【0079】
図１９は展開操作が必要な術野画像の一例を示す模式図である。図１９は疎性結合組織が十分に展開されていない状態の術野画像を示している。画像処理装置３０は、この術野画像を学習モデル４１０に入力し、学習モデル４１０による演算を実行することによって、切除臓器３の縁端部から露出し始めている疎性結合組織ＬＣＴの存在を認識することができる。しかしながら、インジケータ５５に示されているように、疎性結合組織ＬＣＴは十分な露出面積を有していないので、切断するには疎性結合組織ＬＣＴを更に展開する必要があることが分かる。
【0080】
画像処理装置３０は、疎性結合組織ＬＣＴが延びている方向から、疎性結合組織ＬＣＴの展開方向を判断する。例えば、図１９の例において、画像処理装置３０は、学習モデル４１０の認識結果から、疎性結合組織ＬＣＴが図の上下方向へ延びていることを推定できる。この疎性結合組織ＬＣＴの上側には切除臓器３が存在しており、下側には温存臓器２が存在しているので、鉗子５０Ａにより切除臓器３を上方へ牽引すれば、若しくは、鉗子５０Ａにより温存臓器２を下方へ牽引すれば、疎性結合組織ＬＣＴを展開することができる。画像処理装置３０は、疎性結合組織ＬＣＴの展開方向をナビゲーション情報として出力する。図２０は展開操作に関するナビゲーション情報の出力例を示す図である。図２０は、矢印のマークＭ１により、疎性結合組織ＬＣＴの展開方向（すなわち、鉗子５０Ａの操作方向）を示している。
【0081】
一方、疎性結合組織ＬＣＴが十分に展開されている場合、画像処理装置３０は、疎性結合組織ＬＣＴの切断方向をナビゲーション情報として出力する。例えば、図１３や図１８に示した例において、画像処理装置３０は、学習モデル４１０の認識結果から、疎性結合組織ＬＣＴが上下方向に十分に展開されていると推定できるので、疎性結合組織ＬＣＴを切断する方向は図の左右方向であると判断する。画像処理装置３０は、疎性結合組織ＬＣＴの切断方向をナビゲーション情報として出力する。図２１は切断操作に関するナビゲーション情報の出力例を示す図である。図２１は、矢印のマークＭ２により、疎性結合組織ＬＣＴの切断方向（すなわち、エネルギ処置具５０Ｂの操作方向）を示している。
【0082】
図２０及び図２１では、展開方向及び切断方向を強調するために、マークＭ１，Ｍ２を比較的大きく表示した。しかしながら、これらのマークＭ１，Ｍ２によって術野の一部が隠れた場合、手術が困難となる場合があるので、マークＭ１，Ｍ２の表示態様（大きさ、色、表示タイミング等）は、術者が視野を確保できるように設定されるとよい。また、矢印のマークＭ１，Ｍ２に限らず、実線または破線などにより、展開方向及び切断方向を示してもよい。また、本実施の形態では、術野画像に重畳してマークＭ１，Ｍ２を表示する構成としたが、別画像として表示してもよく、別モニタに表示してもよい。更に、ＣＰＵ３０１は、出力装置３０６が備えるマイクロフォンを通じて音声により展開方向及び切断方向を報知してもよく、手術器具にバイブレータが搭載されている場合、このバイブレータを振動させることにより切断タイミングを報知してもよい。
【0083】
図２２は実施の形態３における画像処理装置３０が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、術野画像を取得する都度、以下の処理を実行する。ＣＰＵ３０１は、実施の形態２と同様の手順により、取得した術野画像を学習モデル４１０に入力し、学習モデル４１０による演算を実行することにより、疎性結合組織部分を認識し、認識した疎性結合組織部分の露出面積を算出する（ステップＳ３０１～Ｓ３０４）。
【0084】
ＣＰＵ３０１は、学習モデル４１０による認識結果に基づき、疎性結合組織の展開が必要であるか否かを判断する（ステップＳ３０５）。例えば、ＣＰＵ３０１は、ステップＳ３０４で算出した露出面積と第１閾値とを比較し、算出した露出面積が第１閾値未満であれば、疎性結合組織の展開が必要であると判断する。ここで、第１閾値は、事前に設定され、記憶装置３０３に記憶される。また、ＣＰＵ３０１は、術野画像を入力した場合、疎性結合組織の展開の要否に関する情報を出力するよう学習された学習モデルを用いて、疎性結合組織の展開が必要であるか否かを判断してもよい。
【0085】
疎性結合組織の展開が必要であると判断した場合（Ｓ３０５：ＹＥＳ）、ＣＰＵ３０１は、疎性結合組織の展開方向を特定する（ステップＳ３０６）。例えば、ＣＰＵ３０１は、温存臓器２と切除臓器３との間の疎性結合組織が延びる方向を推定し、推定した方向を疎性結合組織の展開方向として特定すればよい。
【0086】
疎性結合組織の展開が必要でないと判断した場合（Ｓ３０５：ＮＯ）、ＣＰＵ３０１は、疎性結合組織の切断が可能か否かを判断する（ステップＳ３０７）。例えば、ＣＰＵ３０１は、ステップＳ３０４で算出した露出面積と第２閾値とを比較し、算出した露出面積が第２閾値以上であれば、疎性結合組織の切断が可能であると判断する。ここで、第２閾値は、第１閾値よりも大きな値に設定され、記憶装置３０３に記憶される。疎性結合組織の切断が可能でないと判断した場合（Ｓ３０７：ＮＯ）、ＣＰＵ３０１は、本フローチャートによる処理を終了する。
【0087】
疎性結合組織の切断が可能であると判断した場合（Ｓ３０７：ＹＥＳ）、ＣＰＵ３０１は、疎性結合組織の切断方向を特定する（ステップＳ３０８）。例えば、ＣＰＵ３０１は、温存臓器２と切除臓器３との間の疎性結合組織が延びる方向を推定し、推定した方向と交差する方向を疎性結合組織の切断方向として特定すればよい。
【0088】
次いで、ＣＰＵ３０１は、温存臓器２と切除臓器３との間の結合組織を処理する際のナビゲーション情報を出力する（ステップＳ３０９）。例えば、ＣＰＵ３０１は、ステップＳ３０６で疎性結合組織の展開方向を特定した場合、展開方向を示すマークＭ１を術野画像に重畳して表示することにより、ナビゲーション情報を出力する。また、ＣＰＵ３０１は、ステップＳ３０８で疎性結合組織の切断方向を特定した場合、切断方向を示すマークＭ２を術野画像に重畳して表示することにより、ナビゲーション情報を出力する。
【0089】
以上のように、実施の形態３では、疎性結合組織の展開方向や切断方向をナビゲーション情報として術者に提示することができる。
【0090】
（実施の形態４）
実施の形態４では、疎性結合組織の切断タイミングを学習する構成について説明する。
実施の形態４では、疎性結合組織の切断タイミングを学習する構成について説明する。
【0091】
図２３は実施の形態４における学習モデル４２０の構成を説明する模式図である。学習モデル４２０は、ＣＮＮ（Convolutional Neural Networks）、Ｒ－ＣＮＮ（Region-based CNN）などによる学習モデルであり、入力層４２１、中間層４２２、及び出力層４２３を備える。学習モデル４２０は、術野画像の入力に対して、疎性結合組織の切断タイミングに関する情報を出力するように学習される。学習モデル４２０は、画像処理装置３０若しくは画像処理装置３０と通信可能に接続される外部サーバによって生成され、画像処理装置３０のモデル記憶部３３１に記憶される。
なお、学習モデル４２０に入力される術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４２０に入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。
なお、学習モデル４２０に入力される術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４２０に入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。
【0092】
入力層４２１には、術野画像が入力される。中間層４２２は、畳み込み層、プーリング層、及び全結合層などを備える。畳み込み層及びプーリング層は交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって術野画像の特徴部分を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。
【0093】
出力層４２３は、１つ又は複数のノードを備える。出力層４２３は、中間層４２２の全結合層から入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、変換後の確率を各ノードから出力する。本実施の形態では、出力層４２３のノードから、現時点が疎性結合組織の切断タイミングであるか否かを示す確率を出力すればよい。
【0094】
学習モデル４２０は、術野画像と、この術野画像に含まれる疎性結合組織が切断タイミングであるか否かを示すデータとの組を訓練データに用いて、ＣＮＮやＲ－ＣＮＮなどの適宜の学習アルゴリズムを用いた学習を実行することによって生成される。
【0095】
図２４は実施の形態４における画像処理装置３０が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、カメラ２１により撮像された術野画像を取得した場合（ステップＳ４５１）、取得した術野画像を学習モデル４２０に入力して、学習モデル４２０による演算を実行する（ステップＳ４５２）。学習モデル４２０を用いた演算を実行することにより、出力層４２３からは、現時点が疎性結合組織の切断タイミングであるか否かを示す確率が得られる。
【0096】
ＣＰＵ３０１は、学習モデル４２０の出力層４２３から得られる確率に基づき、現時点が疎性結合組織の切断タイミングであるか否かを判断する（ステップＳ４５３）。例えば、ＣＰＵ３０１は、学習モデル４２０の出力層４２３が出力された確率が閾値（例えば５０％）を超える場合、現時点が疎性結合組織の切断タイミングであると判断し、閾値以下の場合、切断タイミングでないと判断する。切断タイミングでないと判断した場合（Ｓ４５３：ＮＯ）、ＣＰＵ３０１は、本フローチャートによる処理を終了する。
【0097】
切断タイミングであると判断した場合（Ｓ４５３：ＹＥＳ）、ＣＰＵ３０１は、疎性結合組織の切断タイミングである旨を報知する（ステップＳ４５４）。切断タイミングを報知する手法は、実施の形態２と同様であり、文字情報、アイコン、マークなどを術野画像に重畳して表示してもよく、音声や振動により報知してもよい。
【0098】
以上のように、実施の形態４では、学習モデル４２０を用いて疎性結合組織の切断タイミングを判断し、ナビゲーション情報を出力することにより、温存臓器２を構成する組織ＯＲＧと、切除臓器３を構成する組織ＮＧとの間の疎性結合組織を切断する処理に関して、術者に対する視覚支援を行うことができる。
【0099】
（実施の形態５）
実施の形態５では、疎性結合組織の切断部位に関する情報を出力する構成について説明する。
実施の形態５では、疎性結合組織の切断部位に関する情報を出力する構成について説明する。
【0100】
図２５は実施の形態５における学習モデル４３０の構成を説明する模式図である。学習モデル４３０は、ＳｅｇＮｅｔ、ＦＣＮ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ、ＹＯＬＯ、ＳＳＤなどの画像セグメンテーション用又物体検出用のニューラルネットワークによる学習モデルであり、例えば、エンコーダ４３１、デコーダ４３２、及びソフトマックス層４３３を備える。学習モデル４３０の構成は、実施の形態２における学習モデル４１０の構成と同様であるため、その説明を省略することとする。
【0101】
本実施の形態において、学習モデル４３０への入力画像は、カメラ２１から得られる術野画像である。学習モデル４３０に入力される術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４３０に入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。学習モデル４３０は、術野画像の入力に対し、術野画像に含まれる疎性結合組織部分の切除部位を示す画像を出力するように学習される。
【0102】
学習モデル４３０を生成する際、術野画像と当該術野画像に含まれ得疎性結合組織の切断部位を示す正解データとの組からなる訓練データが用意される。
【0103】
図２６は正解データの作成手順を説明する説明図である。作業者（医師などの専門家）は、疎性結合組織ＬＣＴを含む術野画像に対してアノテーションを実施する。例えば、作業者は、術野画像において、疎性結合組織に該当する部分を画素単位で指定すると共に、疎性結合組織ＬＣＴの切断部位を帯状の領域ＣＲにより指定する。画像処理装置３０は、この領域ＣＲ内において疎性結合組織ＬＣＴとして指定された画素を、疎性結合組織ＬＣＴにおける切断部位（正解データ）として、記憶装置３０３に記憶させる。
【0104】
また、疎性結合組織を認識するための学習モデル４１０が既に得られている場合、学習モデル４１０により生成される認識画像を術野画像と共にサブモニタ３１に表示させ、表示させた認識画像において切断部位を示す領域ＣＲの指定を受け付けてもよい。
【0105】
更に、画像処理装置３０は、医師により疎性結合組織が切断されている動画を解析し、電気メスなどの手術器具５０の軌跡を特定することによって、その術野画像における疎性結合組織の切断部位を指定する構成としてもよい。
【0106】
画像処理装置３０は、術野画像と当該術野画像に含まれる疎性結合組織において切断部位を示す正解データとの組からなる訓練データを用いて、学習モデル４３０を生成する。学習手順は実施の形態２と同様であるため、説明を省略する。
【0107】
画像処理装置３０は、学習済みの学習モデル４３０が得られた後の運用フェーズにおいて、以下の処理を実行する。図２７は実施の形態５における画像処理装置３０が運用フェーズにおいて実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、術野画像を取得する都度、以下の処理を実行する。ＣＰＵ３０１は、実施の形態２と同様の手順により、取得した術野画像を学習モデル４３０に入力し、学習モデル４３０による演算を実行することにより、疎性結合組織における切断部位を認識する（ステップＳ５０１～Ｓ５０３）。すなわち、ＣＰＵ３０１は、学習モデル４３０のソフトマックス層４３３から出力される確率を参照して、各画素が切断部位に該当するか否かを判断すればよい。
【0108】
ＣＰＵ３０１は、認識した切断部位の認識結果を示す認識画像を生成する（ステップＳ５０４）。ＣＰＵ３０１は、ソフトマックス層４３３から出力されるラベルの確率が閾値以上（例えば５０％以上）の画素を抽出することによって、切断部位の認識結果を示す認識画像を生成することができる。ＣＰＵ３０１は、切断部位として認識された画素には、人体内部に存在しない色（例えば青色や水色などの寒色系（青系）の色）を割り当て、それ以外の画素には背景が透過するような透過度を設定すればよい。
【0109】
ＣＰＵ３０１は、生成した認識画像を術野画像に重畳して表示する（ステップＳ５０５）。これにより、学習モデル４３０を用いて認識した切断部位は特定の色を有する領域として術野画像上に表示される。また、ＣＰＵ３０１は、特定の色で示されている領域が切除されるべき部位であることを示すメッセージを術野画像上に表示してもよい。
【0110】
図２８は切断部位の表示例を示す模式図である。図面作成の都合上、図２８の表示例では、学習モデル４３０を用いて認識された切断部位５３ａを太実線により示している。実際には、切断部位に該当する部分が画素単位で青色や水色などの人体内部に存在しない色で塗られるため、術者は、サブモニタ３１の表示画面を見ることにより、疎性結合組織における切断部位を明確に把握することができる。
【0111】
以上のように、実施の形態５では、疎性結合組織の切断部位を術者に提示することにより、手術支援を実施することができる。
【0112】
なお、本実施の形態では、学習モデル４３０を用いて、疎性結合組織における切断部位を認識する構成としたが、術者画像に含まれる疎性結合組織と、この疎性結合組織における切断部位とを区別して認識し、疎性結合組織と認識された部分を例えば緑色、その疎性結合組織の中で切断部位と認識された部分を例えば青色といったように色などの表示態様を異ならせて表示してもよい。また、認識結果の確信度（ソフトマックス層４３３から出力される確率）に応じて、濃度や透明度を変更し、確信度が低い部分を薄い色（透明度が高い色）にて表示し、確信度が高い部分を濃い（透明度が低い色）にて表示してもよい。
【0113】
また、実施の形態２（又は実施の形態４）と実施の形態５とを組み合わせ、切断タイミングと認識された場合に、切断部位の認識画像を重畳表示する構成としてもよい。
【0114】
更に、本実施の形態では、切断部位と認識された部位を画素単位で着色して表示する構成としたが、切断部位と認識された画素を含むような領域又はラインを生成し、生成した領域又はラインを切断部位の認識画像として術野画像に重畳表示してもよい。
【0115】
（実施の形態６）
実施の形態６では、術野画像に基づいて解剖状態をスコア化する構成について説明する。
実施の形態６では、術野画像に基づいて解剖状態をスコア化する構成について説明する。
【0116】
解剖状態のスコア化とは、解剖状態の良否を数値によって表現することをいう。本実施の形態では、解剖状態が良ければスコアが高くなり、解剖状態が悪ければスコアが低くなるように、スコアの高低が定義される。画像処理装置３０は、カメラ２１により撮像された術野画像を取得した場合、後述する学習モデル４４０に術野画像を入力することによって、解剖状態のスコアを算出する。
【0117】
なお、実施の形態１におけるスコア、並びに、実施の形態６（及び後述する実施の形態７－８）におけるスコアは、共に解剖状態に関するスコアを表しているが、実施の形態１のスコアは、結合組織の状態が処置に適した度合いを表すのに対し、実施の形態６－８のスコアは、解剖結果の良否を表している。
【0118】
図２９は実施の形態６における学習モデル４４０の構成を説明する模式図である。学習モデル４４０は、ＣＮＮ、Ｒ－ＣＮＮなどによる学習モデルであり、入力層４４１、中間層４４２、及び出力層４４３を備える。学習モデル４４０は、術野画像の入力に対して、解剖状態のスコアに関する情報を出力するように学習される。学習モデル４４０は、画像処理装置３０若しくは画像処理装置３０と通信可能に接続される外部サーバによって生成され、画像処理装置３０のモデル記憶部３３１に記憶される。
なお、学習モデル４４０に入力される術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４４０に入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。
なお、学習モデル４４０に入力される術野画像は、動画に限らず、静止画であってもよい。また、学習モデル４４０に入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。
【0119】
入力層４４１には、術野画像が入力される。中間層４４２は、畳み込み層、プーリング層、及び全結合層などを備える。畳み込み層及びプーリング層は交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって術野画像の特徴部分を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。
【0120】
出力層４４３は、１つ又は複数のノードを備える。出力層４４３は、中間層４４２の全結合層から入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、変換後の確率を各ノードから出力する。例えば、出力層４４３を第１ノードから第ｎノードまでのｎ個のノードで構成し、第１ノードからは、スコアがＳ１である確率Ｐ１、第２ノードからは、スコアがＳ２（＞Ｓ１）である確率Ｐ２、第３ノードからは、スコアがＳ３（＞Ｓ２）である確率Ｐ３、…、第ｎノードからは、スコアがＳｎ（＞Ｓｎ－１）である確率Ｐｎを出力する。
【0121】
実施の形態６に示す学習モデル４４０は、各スコアの確率を出力する出力層４４３を備える構成としたが、このような学習モデル４４０に代えて、術野画像を入力した場合、解剖状態のスコアを算出するよう学習された回帰モデルを用いてもよい。
【0122】
学習モデル４４０は、術野画像と、この術野画像における解剖状態について定められたスコア（正解データ）との組を訓練データに用いて、適宜の学習アルゴリズムに基づき学習を実行することにより生成される。訓練データに用いる解剖状態のスコアは、例えば医師によって定められる。医師は、術野画像より解剖状態を確認し、結合組織の露出面積、結合組織の緊張状態、結合組織の周囲に存在する血管や脂肪などの構造物の多少（まとわりつきの度合い）、温存臓器の損傷度合いなどの観点から、スコアを定めればよい。また、訓練データに用いる解剖状態のスコアは画像処理装置３０によって定められてもよい。例えば、画像処理装置３０は、上述の学習モデル４１０を用いて術野画像に含まれる疎性結合組織を認識し、その認識結果から、疎性結合組織の露出面積、緊張状態、周囲に存在する構造物の多少などを評価し、評価結果からスコアを決定すればよい。また、画像処理装置３０は、温存臓器を認識し、正常とは異なる色（焼けた痕）や形状などを評価することによって、スコアを決定してもよい。
【0123】
画像処理装置３０は、生成された学習モデル４４０を用いて、術野画像により示される解剖状態をスコア化する。図３０は実施の形態６における画像処理装置３０が実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、カメラ２１により撮像された術野画像を取得した場合（ステップＳ６０１）、取得した術野画像を学習モデル４４０に入力して、学習モデル４４０による演算を実行する（ステップＳ６０２）。学習モデル４４０による演算が実行されることによって、出力層４４３を構成する各ノードからは、各スコアに対する確率が得られる。
【0124】
ＣＰＵ３０１は、学習モデル４４０の出力を参照して、解剖状態のスコアを特定する（ステップＳ６０３）。出力層４４３の各ノードからは、各スコアに対する確率が得られるので、ＣＰＵ３０１は、確率が最も高いスコアを選択することによって、解剖状態のスコアを特定すればよい。
【0125】
ＣＰＵ３０１は、特定したスコアに関連付けて術野画像を記憶装置３０３に記憶させる（ステップＳ６０４）。このとき、ＣＰＵ３０１は、全ての術野画像をスコアに関連付けて記憶装置３０３に記憶させてもよい。また、ＣＰＵ３０１は、スコアが所定値よりも大きい（若しくは所定値より小さい）術野画像のみを抽出して、記憶装置３０３に記憶させてもよい。
【0126】
以上のように、実施の形態６では、術野画像に含まれる解剖状態をスコア化し、術野画像とスコアとを関連付けて記憶装置３０３に記憶させることができる。スコアに関連付けて記憶された術野画像は、手術の評価や研修医等の教育支援などのために用いることができる。
【0127】
（実施の形態７）
実施の形態７では、鏡視下手術を補助する補助者（助手）への指示を行う構成について説明する。
実施の形態７では、鏡視下手術を補助する補助者（助手）への指示を行う構成について説明する。
【0128】
実施の形態７における学習モデル４４０は、術野画像が入力された場合、処理対象領域の状態に関するスコアを出力するよう学習される。例えば、処理対象領域が切除に適した状態であればスコアが高くなり、切除に適していない状態であればスコアが低くなるように、スコアの高低が定義される。ここで、切除に適した状態とは、処理対象領域が３点で牽引され、三角形をなす平面部が作られた状態をいう。逆に、切除に適していない状態とは、処理対象領域が十分に展開されておらず、弛みが生じた状態をいう。
【0129】
学習モデル４４０の内部構成は、実施の形態６と同様であり、入力層４４１、中間層４４２、及び出力層４４３を備える。学習モデル４４０は、術野画像と、この術野画像における処理対象領域の状態について定められたスコア（正解データ）との組を訓練データに用いて、適宜の学習アルゴリズムに基づき学習を実行することにより生成される。なお、訓練データに用いる処理対象領域の状態のスコアは、例えば医師によって定められる。医師は、術野画像より処理対象領域の状態を確認し、例えば切除に適した状態か否かの観点から、スコアを定めればよい。
【0130】
図３１～図３３は処理対象領域の状態を説明する説明図である。図３１は、脂肪組織ＦＡＴの異なる２箇所をそれぞれ鉗子５０Ａによって把持し、脂肪組織ＦＡＴを少しだけ持ち上げた状態を示している。この例では、処理対象領域は十分に展開されておらず、弛みが生じているため、切除が困難な状態となっている。図３１に示すような術野画像を学習モデル４４０に入力した場合に得られるスコアは比較的低くなるので、画像処理装置３０は、スコアが改善するように補助者への操作支援を行う。画像処理装置３０は、例えば、処理対象領域を展開し、弛みをなくすように補助者へ指示することによって操作支援を行う。補助者への指示は、サブモニタ３１への表示や音声出力などにより実施される。
【0131】
図３２は、脂肪組織ＦＡＴの異なる２箇所をそれぞれ鉗子５０Ａによって把持し、脂肪組織ＦＡＴを十分に持ち上げた状態を示している。しかしながら、２つの鉗子５０Ａ，５０Ａの間隔が狭く、両者の間で弛みが生じている。図３２に示すような術野画像を学習モデル４４０に入力した場合、スコアは改善するが、切除するには十分でないため、画像処理装置３０は、スコアが更に改善するように補助者への操作支援を行う。画像処理装置３０は、例えば、処理対象領域を展開し、弛みをなくすように補助者へ指示することによって操作支援を行う。補助者への指示は、サブモニタ３１への表示や音声出力などにより実施される。
【0132】
また、画像処理装置３０は、処理対象領域の状態を評価し、評価結果に基づいて補助者への指示を行ってもよい。画像処理装置３０は、例えば、脂肪組織ＦＡＴを２箇所で把持した場合に形成される稜線を評価すればよい。図３１及び図３２において、稜線は破線によって示されている。図３１に示す稜線は直線状となっているため、左右方向の弛みは少ないが、上方への持ち上げ量が十分でない（稜線と臓器との距離が短い）ため、上下方向に弛みが生じている。そこで、画像処理装置３０は、鉗子５０Ａにより脂肪組織ＦＡＴを持ち上げるように補助者に指示してもよい。図３２では上方への持ち上げ量は十分であるが、稜線が円弧状となっているため、左右方向に弛みが生じている。そこで、画像処理装置３０は、鉗子５０Ａにより左右方向へ脂肪組織ＦＡＴを拡げるように補助者に指示してもよい。
【0133】
図３３は、脂肪組織ＦＡＴの異なる２箇所をそれぞれ鉗子５０Ａによって把持し、脂肪組織ＦＡＴを十分に持ち上げ、左右方向に拡げた状態を示している。このような術野画像を学習モデル４４０に入力した場合、スコアは十分に改善し、切除に適した状態であるため、画像処理装置３０は、術者への操作支援を行う。画像処理装置３０は、処理対象領域を切除するように術者に指示することによって操作支援を行う。術者への指示は、サブモニタ３１への表示や音声出力などにより実施される。
【0134】
以上のように、実施の形態７では、学習モデル４４０により処理対象領域の状態を把握し、把握した処理対象領域の状態に基づき、術者及び補助者への操作支援を行うことができる。
【0135】
（実施の形態８）
実施の形態８では、術野画像の予測画像を生成し、生成した予測画像をナビゲーション情報として出力する構成について説明する。
実施の形態８では、術野画像の予測画像を生成し、生成した予測画像をナビゲーション情報として出力する構成について説明する。
【0136】
図３４は実施の形態８における学習モデルを説明する説明図である。実施の形態８では、術野画像の入力に対して、スコアが少しだけ改善するような術野画像（予測画像）を生成する画像生成モデルを用いる。
【0137】
学習モデル４５０は、例えば、スコア域が０－１０（０以上１０未満）の術野画像を入力した場合、スコア域が１０－２０の予測画像を出力するよう学習された画像生成モデルである。画像生成モデルとして、ＧＡＮ（Generative Adversarial Network）、ＶＡＥ（Variational Autoencoder）、オートエンコーダ、フローベース生成モデルなどを用いることができる。このような学習モデル４５０は、例えば、スコア域が０－１０の術野画像（入力データ）と、スコア域が１０－２０の術野画像（正解データ）とを記憶装置３０３から読み出し、これらの組を訓練データに用いて学習することにより生成される。
【0138】
同様に、スコア域が１０－２０の術野画像を入力した場合、スコア域が２０－３０の予測画像を出力するよう学習された学習モデル、スコア域が２０－３０の術野画像を入力した場合、スコア域が３０－４０の予測画像を出力するよう学習された学習モデル、…、といったように、術野画像の入力に対して、スコアが少しだけ改善するような術野画像を生成する画像生成モデルが予め用意される。
【0139】
なお、画像生成モデルに入力される術野画像は、動画に限らず、静止画であってもよい。また、画像生成モデルに入力される術野画像は、カメラ２１から得られる生の画像である必要はなく、適宜の画像処理を加えた画像や画像の周波数成分を示すデータなどであってもよい。また、画像生成モデルに入力される術野画像のスコア域、画像生成モデルから出力される術野画像のスコア域は、上述した範囲に限定されず、適宜設定することが可能である。また、本実施の形態では、実際に撮像された術野画像を正解データに用いて学習する構成としたが、正解データとして３Ｄグラフィックスにより描画された仮想的な術野画像を用いてもよい。
【0140】
画像処理装置３０は、画像生成モデルが生成された後の運用フェーズにおいて、画像生成モデルを用いて予測画像を生成し、術者に対して提示する。図３５は実施の形態８における画像処理装置３０が実行する処理の手順を説明するフローチャートである。画像処理装置３０のＣＰＵ３０１は、カメラ２１により撮像された術野画像を取得した場合（ステップＳ８０１）、取得した術野画像を実施の形態６において説明した学習モデル４４０に入力して、学習モデル４４０による演算を実行する（ステップＳ８０２）。学習モデル４４０による演算が実行されることによって、出力層４４３を構成する各ノードからは、各スコアに対する確率が得られる。
【0141】
ＣＰＵ３０１は、学習モデル４４０の出力を参照して、解剖状態のスコアを特定する（ステップＳ８０３）。出力層４４３の各ノードからは、各スコアに対する確率が得られるので、ＣＰＵ３０１は、確率が最も高いスコアを選択することによって、解剖状態のスコアを特定すればよい。
【0142】
ＣＰＵ３０１は、特定したスコアに応じて画像生成モデルを選択する（ステップＳ８０４）。例えば、ステップＳ８０３で特定したスコアが０－１０のスコア域であれば、ＣＰＵ３０１は学習モデル４５０を選択する。ステップＳ８０３で特定したスコアが他のスコア域である場合も同様であり、ＣＰＵ３０は、それぞれのスコア域に関して用意された学習モデルを選択すればよい。
【0143】
ＣＰＵ３０１は、選択した画像生成モデルに術野画像を入力し、画像生成モデルによる演算を実行することによって、予測画像を生成する（ステップＳ８０５）。ＣＰＵ３０１は、生成した予測画像をサブモニタ３１に表示する（ステップＳ８０６）。このとき、ＣＰＵ３０１は、術野画像とは別に予測画像を表示すればよい。
【0144】
以上のように、実施の形態８では、解剖状態の予測画像を表示できるので、術者に対する操作支援を実行することができる。
【0145】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【符号の説明】
【0146】
３１１ 映像取得部
３１２ 解剖状態取得部
３１３ 処置可能領域表示部
３１４ 学習処理部
３１５ スコア算出部
３１６ スコア出力部
３３１ モデル記憶部
３１２ 解剖状態取得部
３１３ 処置可能領域表示部
３１４ 学習処理部
３１５ スコア算出部
３１６ スコア出力部
３３１ モデル記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】