特開2023-181214情報処理装置、情報処理方法、及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181214
(43)【公開日】2023-12-21
(54)【発明の名称】情報処理装置、情報処理方法、及びコンピュータプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20231214BHJP
G06T 7/00 20170101ALI20231214BHJP
【ＦＩ】
A61B1/045 614
A61B1/045 618
G06T7/00 612
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023173728
(22)【出願日】2023-10-05
(62)【分割の表示】P 2023522904の分割
【原出願日】2022-05-24
(31)【優先権主張番号】P 2021087141
(32)【優先日】2021-05-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】520285640
【氏名又は名称】アナウト株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】小林 直
(72)【発明者】
【氏名】熊頭 勇太
(72)【発明者】
【氏名】銭谷 成昊
(57)【要約】
【課題】情報処理装置、情報処理方法、及びコンピュータプログラムの提供。
【解決手段】術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを実行する第１演算部と、前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを実行する第２演算部と、前記描画処理により描画される画像を出力する出力部とを備える。
【選択図】図６
【解決手段】術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを実行する第１演算部と、前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを実行する第２演算部と、前記描画処理により描画される画像を出力する出力部とを備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを実行する第１演算部と、
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを実行する第２演算部と、
前記描画処理により描画される画像を出力する出力部と
を備える情報処理装置。
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを実行する第２演算部と、
前記描画処理により描画される画像を出力する出力部と
を備える情報処理装置。
【請求項2】
前記第１演算部はフォアグラウンドで各処理を実行し、前記第２演算部はバックグラウンドで各処理を実行する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記第２学習モデルの演算結果より特定の認識対象が認識された場合、前記第１演算部は、前記第１学習モデルによる演算及び前記臓器の描画処理に代えて、又は、前記第１学習モデルによる演算及び前記臓器の描画処理と共に、前記認識対象を示す画像の描画処理を実行する
請求項１又は請求項２に記載の情報処理装置。
請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記認識対象を示す画像は、前記認識対象が認識された時点を含む所定時間範囲の動画像である
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
前記認識対象は、前記術野画像内で発生した事象、及び前記術野画像が示す場面の少なくとも１つを含む
請求項１から請求項４の何れか１つに記載の情報処理装置。
請求項１から請求項４の何れか１つに記載の情報処理装置。
【請求項6】
術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを第１演算部により実行し、
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部により実行し、
前記描画処理により描画される画像を前記第１演算部より出力する
情報処理方法。
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部により実行し、
前記描画処理により描画される画像を前記第１演算部より出力する
情報処理方法。
【請求項7】
術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを第１演算部に実行させ、
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部に実行させ、
前記描画処理により描画される画像を前記第１演算部より出力させるためのコンピュータプログラム。
前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部に実行させ、
前記描画処理により描画される画像を前記第１演算部より出力させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びコンピュータプログラムに関する。
【背景技術】
【0002】
医療分野において、病理診断は、専門的な知識と経験を要するため、体組織の一部を切除し、体外にて顕微鏡などによる診断が行われている。
【0003】
一方、近年では、内視鏡などにより体内を直接的に観察し、観察画像をコンピュータによって解析することにより病理診断を行う発明が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－１５３７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
観察画像から病変などを認識するための学習モデルの作成には、専門医による知識が不可欠であるが、医師の専門分野は細分化されているため、シングルクラスの教師データが作成されることが多い。シングルクラスの教師データで作成された学習モデルでは、シングルクラスの推論しか行えない。
【0006】
本発明は、複数種の学習モデルの演算結果から統合的な認識結果を導出する情報処理装置、情報処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様における情報処理装置は、術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを実行する第１演算部と、前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを実行する第２演算部と、前記描画処理により描画される画像を出力する出力部とを備える。
【0008】
本発明の一態様における情報処理方法は、術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを第１演算部により実行し、前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部により実行し、前記描画処理により描画される画像を前記第１演算部より出力する。
【0009】
本発明の一態様におけるコンピュータプログラムは、術野画像の入力に応じて前記術野画像に含まれる臓器を特定するための情報を出力するよう学習された第１学習モデルによる演算と、前記第１学習モデルの演算結果より認識される臓器の描画処理とを第１演算部に実行させ、前記術野画像の入力に応じて前記臓器とは異なる認識対象を認識するための情報を出力するよう学習された第２学習モデルによる演算と、前記第２学習モデルの演算結果より認識される認識結果をログとして記録する記録処理とを第２演算部に実行させ、前記描画処理により描画される画像を前記第１演算部より出力させるためのコンピュータプログラム。
【発明の効果】
【0010】
本願によれば、複数種の学習モデルの演算結果から統合的な認識結果を導出することができる。
【図面の簡単な説明】
【0011】
【図1】実施の形態１に係る手術支援システムの概略構成を説明する模式図である。
【図2】情報処理装置の内部構成を説明するブロック図である。
【図3】術野画像の一例を示す模式図である。
【図4】第１学習モデルの構成例を示す模式図である。
【図5】第２学習モデルの構成例を示す模式図である。
【図6】実施の形態１に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図7】実施の形態１における認識結果の表示例を示す模式図である。
【図8】実施の形態１における警告情報の表示例を示す模式図である。
【図9】確信度に応じた認識結果の表示例を示す模式図である。
【図10】第３学習モデルの構成例を示す模式図である。
【図11】実施の形態２に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図12】実施の形態２における認識結果の表示例を示す模式図である。
【図13】第４学習モデルの構成例を示す模式図である。
【図14】実施の形態３に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図15】寸法情報の導出手順を示すフローチャートである。
【図16】第５学習モデルの構成例を示す模式図である。
【図17】実施の形態４に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図18】変形例４－１における処理手順を示すフローチャートである。
【図19】事前情報テーブルの一例を示す概念図である。
【図20】変形例４－２における処理手順を示すフローチャートである。
【図21】変形例４－３における処理手順を示すフローチャートである。
【図22】変形例４－４における処理手順を示すフローチャートである。
【図23】固有名称テーブルの一例を示す概念図である。
【図24】臓器名称の表示例を示す模式図である。
【図25】構造体テーブルの一例を示す概念図である。
【図26】構造体の表示例を示す模式図である。
【図27】事例テーブルの一例を示す概念図である。
【図28】事象の表示例を示す模式図である。
【図29】実施の形態５に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図30】場面記録テーブルの一例を示す概念図である。
【図31】実施の形態６に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図32】実施の形態７における推定手法を説明する説明図である。
【図33】実施の形態７における推定手順を示すフローチャートである。
【図34】演算結果の解析手法を説明する説明図である。
【図35】評価係数テーブルの一例を示す図である。
【図36】スコアの算出結果の一例を示す図である。
【図37】実施の形態８に係る情報処理装置が実行する処理の手順を示すフローチャートである。
【図38】実施の形態９に係る情報処理装置が実行する処理の一例を示すシーケンス図である。
【図39】第１演算部が実行する処理の手順を示すフローチャートである。
【図40】第２演算部が実行する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明を腹腔鏡手術の支援システムに適用した形態について、図面を用いて具体的に説明する。なお、本発明は、腹腔鏡手術に限らず、胸腔鏡、消化管内視鏡、膀胱鏡、関節鏡、ロボット支援下内視鏡、手術顕微鏡、外視鏡などの撮像装置を用いた鏡視下手術全般に適用可能である。
（実施の形態１）
図１は実施の形態１に係る手術支援システムの概略構成を説明する模式図である。腹腔鏡手術では、開腹手術を実施する代わりに、トロッカ１０と呼ばれる開孔器具を患者の腹壁に複数個取り付け、トロッカ１０に設けられた開孔から、腹腔鏡１１、エネルギ処置具１２、鉗子１３などの器具を患者の体内に挿入する。術者は、腹腔鏡１１によって撮像された患者体内の画像（術野画像）をリアルタイムに見ながら、エネルギ処置具１２を用いて患部を切除するなどの処置を行う。腹腔鏡１１、エネルギ処置具１２、鉗子１３などの術具は、術者又はロボットなどにより保持される。術者とは、腹腔鏡手術に関わる医療従事者であり、執刀医、助手、看護師、手術をモニタしている医師などを含む。
（実施の形態１）
図１は実施の形態１に係る手術支援システムの概略構成を説明する模式図である。腹腔鏡手術では、開腹手術を実施する代わりに、トロッカ１０と呼ばれる開孔器具を患者の腹壁に複数個取り付け、トロッカ１０に設けられた開孔から、腹腔鏡１１、エネルギ処置具１２、鉗子１３などの器具を患者の体内に挿入する。術者は、腹腔鏡１１によって撮像された患者体内の画像（術野画像）をリアルタイムに見ながら、エネルギ処置具１２を用いて患部を切除するなどの処置を行う。腹腔鏡１１、エネルギ処置具１２、鉗子１３などの術具は、術者又はロボットなどにより保持される。術者とは、腹腔鏡手術に関わる医療従事者であり、執刀医、助手、看護師、手術をモニタしている医師などを含む。
【0013】
腹腔鏡１１は、患者の体内に挿入される挿入部１１Ａ、挿入部１１Ａの先端部分に内蔵される撮像装置１１Ｂ、挿入部１１Ａの後端部分に設けられる操作部１１Ｃ、及びカメラコントロールユニット（ＣＣＵ）１１０や光源装置１２０に接続するためのユニバーサルコード１１Ｄを備える。
【0014】
腹腔鏡１１の挿入部１１Ａは、硬性管により形成されている。硬性管の先端部分には湾曲部が設けられている。湾曲部における湾曲機構は一般的な腹腔鏡に組み込まれている周知の機構であり、操作部１１Ｃの操作に連動した操作ワイヤの牽引によって例えば上下左右の４方向に湾曲するように構成されている。なお、腹腔鏡１１は、上述したような湾曲部を有する軟性鏡に限らず、湾曲部を持たない硬性鏡であってもよく、湾曲部や硬性管を持たない撮像装置であってもよい。
【0015】
撮像装置１１Ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子、タイミングジェネレータ（ＴＧ）やアナログ信号処理回路（ＡＦＥ）などを備えたドライバ回路を備える。撮像装置１１Ｂのドライバ回路は、ＴＧから出力されるクロック信号に同期して固体撮像素子から出力されるＲＧＢ各色の信号を取り込み、ＡＦＥにおいて、ノイズ除去、増幅、ＡＤ変換などの必要な処理を施し、デジタル形式の画像データを生成する。撮像装置１１Ｂのドライバ回路は、生成した画像データを、ユニバーサルコード１１Ｄを介して、ＣＣＵ１１０へ伝送する。
【0016】
操作部１１Ｃは、術者によって操作されるアングルレバーやリモートスイッチなどを備える。アングルレバーは、湾曲部を湾曲させるための操作を受付ける操作具である。アングルレバーに代えて、湾曲操作ノブ、ジョイスティックなどが設けられてもよい。リモートスイッチは、例えば、観察画像を動画表示又は静止画表示に切り替える切替スイッチ、観察画像を拡大又は縮小させるズームスイッチなどを含む。リモートスイッチには、予め定められた特定の機能が割り当てられてもよく、術者によって設定された機能が割り当てられてもよい。
【0017】
また、操作部１１Ｃには、リニア共振アクチュエータやピエゾアクチュエータなどにより構成される振動子が内蔵されてもよい。腹腔鏡１１を操作する術者に対して報知すべき事象が発生した場合、ＣＣＵ１１０は、操作部１１Ｃに内蔵された振動子を作動させることによって操作部１１Ｃを振動させ、前記事象の発生を術者に知らせてもよい。
【0018】
腹腔鏡１１の挿入部１１Ａ、操作部１１Ｃ、及びユニバーサルコード１１Ｄの内部には、ＣＣＵ１１０から撮像装置１１Ｂへ出力される制御信号や撮像装置１１Ｂから出力される画像データを伝送するための伝送ケーブル、光源装置１２０から出射される照明光を挿入部１１Ａの先端部分まで導くライトガイドなどが配されている。光源装置１２０から出射される照明光は、ライトガイドを通じて挿入部１１Ａの先端部分まで導かれ、挿入部１１Ａの先端部分に設けられた照明レンズを介して術野に照射される。なお、本実施の形態では、光源装置１２０を独立した装置として記載したが、光源装置１２０はＣＣＵ１１０に内蔵される構成であってもよい。
【0019】
ＣＣＵ１１０は、腹腔鏡１１が備える撮像装置１１Ｂの動作を制御する制御回路、ユニバーサルコード１１Ｄを通じて入力される撮像装置１１Ｂからの画像データを処理する画像処理回路等を備える。制御回路は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備え、ＣＣＵ１１０が備える各種スイッチの操作や腹腔鏡１１が備える操作部１１Ｃの操作に応じて、撮像装置１１Ｂへ制御信号を出力し、撮像開始、撮像停止、ズームなどの制御を行う。画像処理回路は、ＤＳＰ（Digital Signal Processor）や画像メモリなどを備え、ユニバーサルコード１１Ｄを通じて入力される画像データに対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の適宜の処理を施す。ＣＣＵ１１０は、処理後の画像データから動画用のフレーム画像を生成し、生成した各フレーム画像を後述する情報処理装置２００へ順次出力する。フレーム画像のフレームレートは、例えば３０ＦＰＳ（Frames Per Second）である。
【0020】
ＣＣＵ１１０は、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternating Line）、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）などの所定の規格に準拠した映像データを生成してもよい。ＣＣＵ１１０は、生成した映像データを表示装置１３０へ出力することにより、表示装置１３０の表示画面に術野画像（映像）をリアルタイムに表示させることができる。表示装置１３０は、液晶パネルや有機ＥＬ（Electro-Luminescence）パネルなどを備えたモニタである。また、ＣＣＵ１１０は、生成した映像データを録画装置１４０へ出力し、録画装置１４０に映像データを記録させてもよい。録画装置１４０は、ＣＣＵ１１０から出力される映像データを、各手術を識別する識別子、手術日時、手術場所、患者名、術者名などと共に記録するＨＤＤ（Hard Disk Drive）などの記録装置を備える。
【0021】
情報処理装置２００は、術野画像の画像データをＣＣＵ１１０より取得し、取得した術野画像の画像データを複数の学習モデルにそれぞれ入力することによって、各学習モデルによる演算を実行する。情報処理装置２００は、複数の学習モデルによる演算結果から、術野画像についての統合的な認識結果を導出し、導出した認識結果に基づく情報を出力する。
【0022】
図２は情報処理装置２００の内部構成を説明するブロック図である。情報処理装置２００は、制御部２０１、記憶部２０２、操作部２０３、入力部２０４、第１演算部２０５、第２演算部２０６、出力部２０７、通信部２０８などを備える専用又は汎用のコンピュータである。情報処理装置２００は、手術室内に設置されるコンピュータであってもよく、手術室の外部に設置されるコンピュータであってもよい。情報処理装置２００は、腹腔鏡手術を行う病院内に設置されるサーバであってもよく、病院外に設置されるサーバであってもよい。情報処理装置２００は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。情報処理装置２００は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。
【0023】
制御部２０１は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを備える。制御部２０１が備えるＲＯＭには、情報処理装置２００が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部２０１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部２０２に記憶された各種コンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願における情報処理装置として機能させる。制御部２０１が備えるＲＡＭには、演算の実行中に利用されるデータ等が一時的に記憶される。
【0024】
本実施の形態では、制御部２０１がＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、制御部２０１の構成は任意であり、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える演算回路や制御回路であればよい。また、制御部２０１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有するものであってもよい。
【0025】
記憶部２０２は、ハードディスク、フラッシュメモリなどの記憶装置を備える。記憶部２０２には、制御部２０１によって実行されるコンピュータプログラム、外部から取得した各種のデータ、装置内部で生成した各種のデータ等が記憶される。
【0026】
記憶部２０２に記憶されるコンピュータプログラムは、術野画像に含まれる認識対象を認識するための処理を制御部２０１に実行させる認識処理プログラムＰＧ１、認識結果に基づく情報を表示装置１３０に表示させるための処理を制御部２０１に実行させる表示処理プログラムＰＧ２などを含む。なお、認識処理プログラムＰＧ１及び表示処理プログラムＰＧ２は、それぞれ独立したコンピュータプログラムである必要はなく、１つのコンピュータプログラムとして実装されてもよい。これらのプログラムは、例えば、コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍにより提供される。記録媒体Ｍは、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カードなどの可搬型メモリである。制御部２０１は、図に示していない読取装置を用いて、記録媒体Ｍから所望のコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部２０２に記憶させる。代替的に、上記コンピュータプログラムは、通信により提供されてもよい。この場合、制御部２０１は、通信部２０８を通じて所望のコンピュータプログラムをダウンロードし、ダウンロードしたコンピュータプログラムを記憶部２０２に記憶させればよい。
【0027】
記憶部２０２は、第１学習モデル３１０及び第２学習モデル３２０を備える。第１学習モデル３１０は、術野画像の入力に応じて、術野画像に含まれる第１臓器に関する情報を出力するよう学習された学習済みの学習モデルである。第１臓器は、食道、胃、大腸、膵臓、脾臓、尿管、肺、前立腺、子宮、胆嚢、肝臓、精管などの特異臓器、若しくは、結合組織、脂肪、神経、血管、筋肉、膜状構造物などの非特異臓器を含む。第１臓器は、特定の器官に限定されず、体内に存在する何らかの構造体であってもよい。同様に、第２学習モデル３２０は、術野画像の入力に応じて、術野画像に含まれる第２臓器に関する情報を出力するよう学習された学習済みの学習モデルである。第２臓器は、上述した特異臓器若しくは非特異臓器を含む。第２臓器は、特定の器官に限定されず、体内に存在する何らかの構造体であってもよい。
なお、以下の説明において、特異臓器と非特異臓器とを区別して説明する必要がない場合、それらを単に臓器とも記載する。
なお、以下の説明において、特異臓器と非特異臓器とを区別して説明する必要がない場合、それらを単に臓器とも記載する。
【0028】
実施の形態１では、認識対象の第２臓器は、第１臓器と類似の特徴を有しており、認識処理において第１臓器と誤認する可能性がある臓器が選択される。例えば、第１学習モデル３１０による認識対象を疎性結合組織とした場合、第２学習モデル３２０による認識対象として神経組織（若しくは膜構造）が選択される。第１臓器及び第２臓器の組み合わせは、（ａ）疎性結合組織及び神経組織（若しくは膜構造）に限らず、（ｂ）脂肪及び膵臓、（ｃ）切除すべき脂肪及び温存すべき脂肪、（ｄ）出血、出血痕、及び血管のうちの２つ、（ｅ）尿管、動脈、及び膜構造のうちの２つ、（ｆ）胃及び腸管、（ｇ）肝臓及び脾臓などの組み合わせであってもよい。
【0029】
実施の形態１では、第１臓器が疎性結合組織であり、第２臓器が神経組織であるケースについて説明を行う。すなわち、第１学習モデル３１０は、術野画像の入力に応じて、術野画像に含まれる疎性結合組織に関する情報を出力するよう学習される。このような第１学習モデル３１０は、術野を撮像して得られる術野画像と、術野画像内の第１臓器部分（実施の形態１では疎性結合組織部分）を示す正解データとを訓練データとして、適宜の学習アルゴリズムを用いて学習することにより生成される。第１臓器部分を示す正解データは、医師などの専門家がマニュアルでアノテーションを行うことにより生成される。第２学習モデル３２０についても同様である。
【0030】
第１及び第２学習モデル３１０，３２０は、情報処理装置２００の内部にて生成されてもよく、外部サーバにて生成されてもよい。後者の場合、情報処理装置２００は、外部サーバにて生成された第１及び第２学習モデル３１０，３２０を通信によりダウンロードし、ダウンロードした第１及び第２学習モデル３１０，３２０を記憶部２０２に記憶させればよい。記憶部２０２には、第１及び第２学習モデル３１０，３２０の定義情報として、第１及び第２学習モデル３１０，３２０が備える層の情報、各層を構成するノードの情報、ノード間の重み係数及びバイアスなど学習によって決定されるパラメータなどの情報が記憶される。
【0031】
操作部２０３は、キーボード、マウス、タッチパネル、非接触パネル、スタイラスペン、マイクロフォンによる音声入力などの操作機器を備える。操作部２０３は、術者などによる操作を受付け、受付けた操作に関する情報を制御部２０１へ出力する。制御部２０１は、操作部２０３から入力される操作情報に応じて適宜の処理を実行する。なお、本実施の形態では、情報処理装置２００が操作部２０３を備える構成としたが、外部に接続されたＣＣＵ１１０などの各種機器を通じて操作を受付ける構成であってもよい。
【0032】
入力部２０４は、入力機器を接続する接続インタフェースを備える。本実施の形態において、入力部２０４に接続される入力機器はＣＣＵ１１０である。入力部２０４には、腹腔鏡１１によって撮像され、ＣＣＵ１１０によって処理が施された術野画像の画像データが入力される。入力部２０４は、入力された画像データを制御部２０１へ出力する。また、制御部２０１は、入力部２０４から取得した画像データを記憶部２０２に記憶させてもよい。
【0033】
実施の形態では、入力部２０４を通じて、ＣＣＵ１１０から術野画像の画像データを取得する構成について説明するが、腹腔鏡１１から直接的に術野画像の画像データを取得してもよく、腹腔鏡１１に着脱可能に装着される画像処理装置（不図示）より術野画像の画像データを取得してもよい。また、情報処理装置２００は、録画装置１４０に記録された術野画像の画像データを取得してもよい。
【0034】
第１演算部２０５は、プロセッサやメモリなどを備える。プロセッサの一例は、ＧＰＵ（Graphics Processing Unit）であり、メモリの一例はＶＲＡＭ（Video RAM）である。第１演算部２０５は、術野画像が入力された場合、第１学習モデル３１０による演算を内蔵のプロセッサにより実行し、演算結果を制御部２０１へ出力する。また、第１演算部２０５は、制御部２０１からの指示に応じて、表示装置１３０に表示させるべき画像を内蔵のメモリ上に描画し、出力部２０７を通じて表示装置１３０へ出力することにより、所望の画像を表示装置１３０に表示させる。
【0035】
第２演算部２０６は、第１演算部２０５と同様に、プロセッサやメモリなど備える。第２演算部２０６は、第１演算部２０５と同等のものであってもよく、第１演算部２０５より演算能力が低いものであってもよい。第２演算部２０６は、術野画像が入力された場合、第２学習モデル３２０による演算を内蔵のプロセッサにより実行し、演算結果を制御部２０１へ出力する。また、第２演算部２０６は、制御部２０１からの指示に応じて、表示装置１３０に表示させるべき画像を内蔵のメモリ上に描画し、出力部２０７を通じて表示装置１３０へ出力することにより、所望の画像を表示装置１３０に表示させる。
【0036】
出力部２０７は、出力機器を接続する接続インタフェースを備える。本実施の形態において、出力部２０７に接続される出力機器は表示装置１３０である。制御部２０１は、学習モデル３１０，３２０の演算結果から導出される統合的な認識結果など、術者等に報知すべき情報を生成した場合、生成した情報を出力部２０７より表示装置１３０へ出力することにより、表示装置１３０に情報を表示させる。代替的に、出力部２０７は、術者等に報知すべき情報を音声や音により出力してもよい。
【0037】
通信部２０８は、各種のデータを送受信する通信インタフェースを備える。通信部２０８が備える通信インタフェースは、イーサネット（登録商標）やＷｉＦｉ（登録商標）において用いられる有線又は無線の通信規格に準じた通信インタフェースである。通信部２０８は、送信すべきデータが制御部２０１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部２０８は、外部装置から送信されたデータを受信した場合、受信したデータを制御部２０１へ出力する。
【0038】
次に、情報処理装置２００に入力される術野画像について説明する。
図３は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡１１により撮像して得られる画像である。術野画像は、腹腔鏡１１の撮像装置１１Ｂが出力する生の画像である必要はなく、ＣＣＵ１１０などによって処理が施された画像（フレーム画像）であればよい。
図３は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡１１により撮像して得られる画像である。術野画像は、腹腔鏡１１の撮像装置１１Ｂが出力する生の画像である必要はなく、ＣＣＵ１１０などによって処理が施された画像（フレーム画像）であればよい。
【0039】
腹腔鏡１１により撮像される術野には、特異臓器、血管、神経などを構成する組織、組織間に存在する結合組織、腫瘍などの病変部を含む組織、組織を被う膜や層などの組織が含まれている。術者は、これらの解剖学的構造の関係を把握しながら、エネルギ処置具１２や鉗子１３などの術具を用いて、病変部を含む組織の剥離を行う。図３に一例として示す術野画像は、鉗子１３を用いて臓器５０１を被う膜を牽引することにより、疎性結合組織５０２に適当な張力を与え、エネルギ処置具１２を用いて疎性結合組織５０２を剥離しようとしている場面を示している。疎性結合組織５０２は、組織や器官の間を満たす線維性の結合組織であり、組織を構成する線維（弾性線維）の量が比較的少ないものをいう。疎性結合組織５０２は、臓器５０１を展開する場合や病変部を切除する場合などにおいて必要に応じて剥離される。図３の例では、疎性結合組織５０２が上下方向（図の白抜矢印の方向）に走行し、疎性結合組織５０２と交差するように、神経組織５０３が左右方向（図の黒色矢印の方向）に走行している様子を示している。
【0040】
一般に、術野画像に現れる疎性結合組織及び神経組織は、共に白色系の色を有し、線状に走行する組織であるため、外見上区別することは困難であることが多い。疎性結合組織は、必要に応じて剥離される組織であるが、牽引や剥離を行う過程で神経が損傷した場合、術後において機能障害が発生する可能性がある。例えば、大腸手術における下腹神経の損傷は排尿障害の原因となり得る。また、食道切除や肺切除における反回神経の損傷は嚥下障害の原因となり得る。このため、疎性結合組織及び神経組織の認識結果に関する情報を術者に提供できれば、術者にとって有用である。
【0041】
実施の形態１に係る情報処理装置２００は、同一の術野画像について、第１学習モデル３１０による演算と、第２学習モデル３２０による演算とを実行し、２つの演算結果から術野画像についての統合的な認識結果を導出し、導出した認識結果に基づく情報を出力することにより、術者に対して疎性結合組織及び神経組織についての情報提供を行う。
【0042】
以下、第１学習モデル３１０及び第２学習モデル３２０の構成について説明する。
図４は第１学習モデル３１０の構成例を示す模式図である。第１学習モデル３１０は、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。学習モデル３１０は、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。また、学習モデル３１０は、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて構築されてもよい。
図４は第１学習モデル３１０の構成例を示す模式図である。第１学習モデル３１０は、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。学習モデル３１０は、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。また、学習モデル３１０は、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて構築されてもよい。
【0043】
第１学習モデル３１０による演算は、第１演算部２０５において実行される。第１演算部２０５は、術野画像が入力された場合、学習済みのパラメータを含む第１学習モデル３１０の定義情報に従って演算を実行する。
【0044】
第１学習モデル３１０は、例えば、エンコーダ３１１、デコーダ３１２、及びソフトマックス層３１３を備える。エンコーダ３１１は、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。図４の例では、畳み込み層にはハッチングを付さずに示し、プーリング層にはハッチングを付して示している。
【0045】
畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。
【0046】
プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図４の例は、エンコーダ３１１において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。
【0047】
エンコーダ３１１の出力（図４の例では１×１の特徴マップ）は、デコーダ３１２に入力される。デコーダ３１２は、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。図４の例では、逆畳み込み層にはハッチングを付さずに示し、逆プーリング層にはハッチングを付して示している。
【0048】
逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。
【0049】
デコーダ３１２が備える逆プーリング層は、エンコーダ３１１が備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダ３１１のプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図４の例は、デコーダ３１２において畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。
【0050】
デコーダ３１２の出力（図４の例では２２４×２２４の特徴マップ）は、ソフトマックス層３１３に入力される。ソフトマックス層３１３は、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。実施の形態１に係る第１学習モデル３１０は、術野画像の入力に対して、各画素が疎性結合組織に該当するか否かを示す確率をソフトマックス層３１３より出力すればよい。第１学習モデル３１０による演算結果は、制御部２０１へ出力される。
【0051】
ソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、疎性結合組織部分の認識結果を示す画像（認識画像）が得られる。第１演算部２０５は、疎性結合組織部分の認識画像を内蔵のメモリ（ＶＲＡＭ）に描画し、出力部２０７を通じて表示装置１３０へ出力することにより、第１学習モデル３１０の認識結果を表示装置１３０に表示させてもよい。認識画像は、術野画像と同一サイズの画像であり、疎性結合組織として認識された画素に特定の色を割り当てた画像として生成される。疎性結合組織の画素に割り当てる色は、臓器や血管などと区別が付くように、人体内部に存在しない色であることが好ましい。人体内部に存在しない色とは、例えば青色や水色などの寒色系（青系）の色である。また、認識画像を構成する各画素には透過度を表す情報が付加され、疎性結合組織として認識された画素には不透過の値、それ以外の画素は透過の値が設定される。このように生成された認識画像を術野画像上に重ねて表示した場合、疎性結合組織部分を特定の色を有する構造として術野画像上に表示することができる。
【0052】
なお、図４の例では、２２４画素×２２４画素の画像を第１学習モデル３１０への入力画像としているが、入力画像のサイズは上記に限定されるものではなく、情報処理装置２００の処理能力、腹腔鏡１１から得られる術野画像のサイズ等に応じて、適宜設定することが可能である。また、第１学習モデル３１０への入力画像は、腹腔鏡１１より得られる術野画像の全体である必要はなく、術野画像の注目領域を切り出して生成される部分画像であってもよい。処置対象を含むような注目領域は術野画像の中央付近に位置することが多いので、例えば、元の半分程度のサイズとなるように術野画像の中央付近を矩形状に切り出した部分画像を用いてもよい。第１学習モデル３１０に入力する画像のサイズを小さくすることにより、処理速度を上げつつ、認識精度を高めることができる。
【0053】
図５は第２学習モデル３２０の構成例を示す模式図である。第２学習モデル３２０は、エンコーダ３２１、デコーダ３２２、及びソフトマックス層３２３を備えており、術野画像の入力に対し、術野画像に含まれる神経組織部分に関する情報を出力するように構成される。第２学習モデル３２０が備えるエンコーダ３２１、デコーダ３２２、及びソフトマックス層３２３の構成は、第１学習モデル３１０のものと同様であるため、その詳細な説明については省略することとする。
【0054】
第２学習モデル３２０による演算は、第２演算部２０６において実行される。第２演算部２０６は、術野画像が入力された場合、学習済みのパラメータを含む第２学習モデル３２０の定義情報に従って演算を実行する。実施の形態１に係る第２学習モデル３２０は、術野画像の入力に対して、各画素が神経組織に該当するか否かを示す確率をソフトマックス層３２３より出力すればよい。第２学習モデル３２０による演算結果は、制御部２０１へ出力される。
【0055】
ソフトマックス層３２３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、神経組織部分の認識結果を示す画像（認識画像）が得られる。第２演算部２０６は、神経組織部分の認識画像を内蔵のメモリ（ＶＲＡＭ）に描画し、出力部２０７を通じて表示装置１３０に出力することにより、第２学習モデル３２０の認識結果を表示装置１３０に表示させてもよい。神経組織を示す認識画像の構成は、疎性結合組織のものと同様であるが、神経組織の画素に割り当てる色は、疎性結合組織と区別が付くような色（例えば、緑系や黄系の色）であることが好ましい。
【0056】
以下、情報処理装置２００の動作について説明する。
図６は実施の形態１に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。情報処理装置２００の制御部２０１は、記憶部２０２から認識処理プログラムＰＧ１及び表示処理プログラムＰＧ２を読み出して実行することにより、以下の手順に従って処理を行う。腹腔鏡手術が開始されると、腹腔鏡１１の撮像装置１１Ｂにより術野を撮像して得られる術野画像は、ユニバーサルコード１１Ｄを介してＣＣＵ１１０へ随時出力される。情報処理装置２００の制御部２０１は、ＣＣＵ１１０から出力されるフレーム単位の術野画像を入力部２０４より取得する（ステップＳ１０１）。制御部２０１は、フレーム単位の術野画像を取得する都度、以下の処理を実行する。
図６は実施の形態１に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。情報処理装置２００の制御部２０１は、記憶部２０２から認識処理プログラムＰＧ１及び表示処理プログラムＰＧ２を読み出して実行することにより、以下の手順に従って処理を行う。腹腔鏡手術が開始されると、腹腔鏡１１の撮像装置１１Ｂにより術野を撮像して得られる術野画像は、ユニバーサルコード１１Ｄを介してＣＣＵ１１０へ随時出力される。情報処理装置２００の制御部２０１は、ＣＣＵ１１０から出力されるフレーム単位の術野画像を入力部２０４より取得する（ステップＳ１０１）。制御部２０１は、フレーム単位の術野画像を取得する都度、以下の処理を実行する。
【0057】
制御部２０１は、入力部２０４を通じて取得したフレーム単位の術野画像を第１演算部２０５及び第２演算部２０６へ送出すると共に、第１演算部２０５及び第２演算部２０６に対して演算の開始指示を与える（ステップＳ１０２）。
【0058】
第１演算部２０５は、制御部２０１から演算の開始指示が与えられると、第１学習モデル３１０による演算を実行する（ステップＳ１０３）。すなわち、第１演算部２０５は、入力された術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ３１１による演算、エンコーダ３１１から入力された特徴マップを順次アップサンプリングするデコーダ３１２による演算、及びデコーダ３１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層３１３による演算を実行する。第１演算部２０５は、学習モデル３１０による演算結果を制御部２０１へ出力する（ステップＳ１０４）。
【0059】
第２演算部２０６は、制御部２０１から演算の開始指示が与えられると、第２学習モデル３２０による演算を実行する（ステップＳ１０５）。すなわち、第２演算部２０６は、入力された術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ３２１による演算、エンコーダ３２１から入力された特徴マップを順次アップサンプリングするデコーダ３２２による演算、及びデコーダ３２２より最終的に得られる特徴マップの各画素を識別するソフトマックス層３２３による演算を実行する。第２演算部２０６は、学習モデル３２０による演算結果を制御部２０１へ出力する（ステップＳ１０６）。
【0060】
図６のフローチャートでは、便宜的に、第１演算部２０５による演算を実行した後に、第２演算部２０６による演算を実行する手順としたが、第１演算部２０５による演算と第２演算部２０６による演算とは同時並行的に実施されるとよい。
【0061】
制御部２０１は、第１学習モデル３１０による演算結果と、第２学習モデル３２０による演算結果とに基づき、術野画像についての統合的な認識結果を導出する。具体的には、制御部２０１は、以下の処理を実行する。
【0062】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、疎性結合組織の認識処理を実行する（ステップＳ１０７）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる疎性結合組織を認識することができる。
【0063】
制御部２０１は、第２学習モデル３２０による演算結果を参照し、神経組織の認識処理を実行する（ステップＳ１０８）。制御部２０１は、第２学習モデル３２０のソフトマックス層３２３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる神経組織を認識することができる。
【0064】
制御部２０１は、疎性結合組織の認識結果と、神経組織の認識結果とが重複したか否かを判断する（ステップＳ１０９）。このステップでは、術野画像に含まれる特定の構造体が、一方では疎性結合組織と認識され、他方では神経組織と認識されたか否かを確認する。具体的には、制御部２０１は、術野画像内の１つの画素において一方では疎性結合組織と認識され、他方では神経組織と認識された場合、認識結果が重複していると判断する。また、疎性結合組織と認識された術野画像内の領域と、神経組織と認識された術野画像内の領域とを比較し、認識結果の重複と判断しても良い。例えば両者の重なりが面積比で所定割合以上（例えば４０％以上）である場合、認識結果が重複していると判断し、所定割合未満である場合、認識結果は重複していないと判断すればよい。
【0065】
認識結果が重複していないと判断した場合（Ｓ１０９：ＮＯ）、制御部２０１は、疎性結合組織の認識結果及び神経組織の認識結果を出力する（ステップＳ１１０）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、疎性結合組織の認識画像を術野画像上に重畳表示させ、第２演算部２０６に指示を与えることにより、神経組織の認識画像を術野画像上に重畳表示させる。第１演算部２０５及び第２演算部２０６は、制御部２０１からの指示に応じて、それぞれ疎性結合組織及び神経組織の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、疎性結合組織及び神経組織の認識画像を術野画像上に重畳して表示する。
【0066】
図７は実施の形態１における認識結果の表示例を示す模式図である。図７の表示例では、図面作成の都合上、疎性結合組織５０２として認識された部分はハッチングを付した領域として示され、神経組織５０３として認識された部分は別のハッチングを付した領域として示されている。実際には、疎性結合組織５０２として認識された画素は例えば青系の色で表示され、神経組織５０３として認識された画素は例えば緑系の色で表示される。術者は、表示装置１３０に表示される認識結果を閲覧することによって、疎性結合組織５０２と神経組織５０３と区別して認識することができ、例えば、損傷させてはいけない神経組織５０３の存在を把握しながら、エネルギ処置具１２を用いて疎性結合組織５０２を剥離することができる。
【0067】
本実施の形態では、第１演算部２０５の演算結果に基づき認識される疎性結合組織、及び第２演算部２０６の演算結果に基づき認識される神経組織の両方を表示する構成としたが、何れか一方のみを表示する構成としてもよい。また、表示すべき組織は術者によって選択されてもよく、術者の操作によって切り替えられてもよい。
【0068】
図６に示すフローチャートのステップＳ１０９で、認識結果が重複したと判断した場合（Ｓ１０９：ＹＥＳ）、制御部２０１は、類似構造体を認識したことを示す警告情報を出力する（ステップＳ１１１）。
【0069】
図８は実施の形態１における警告情報の表示例を示す模式図である。図８は、術野画像に含まれる構造体５０４を、第１演算部２０５の演算結果に基づき疎性結合組織と認識し、第２演算部２０６の演算結果に基づき神経組織とした場合の警告情報の表示例を示している。第１演算部２０５が用いる第１学習モデル３１０は、術野画像の入力に応じて疎性結合組織に関する情報を出力するよう学習されており、第２演算部２０６が用いる第２学習モデル３２０は、術野画像の入力に応じて神経組織に関する情報を出力するよう学習されているが、疎性結合組織と神経組織とは外見上で類似の特徴を有しているので、上記の２つの学習モデル３１０，３２０を用いて独立して認識処理を行った場合、認識結果が重複する可能性がある。認識結果が重複している場合、何れか一方の認識結果のみを術者に提示すると、実際には疎性結合組織であるが神経組織と誤認する可能性、若しくは、実際には神経組織であるが疎性結合組織と誤認する可能性が生じる。認識結果が重複している場合、制御部２０１は、図８に示すような警告情報を表示することにより、術者に対し確認を促すことができる。
【0070】
図８に示す例において、制御部２０１は、警告を示す文字情報を術野画像に重畳して表示する構成としたが、術野画像の表示領域外に警告を示す文字情報を表示してもよく、別の表示装置（不図示）に警告を示す文字情報を表示してもよい。制御部２０１は、警告を示す文字情報を表示する構成に代えて、警告を示す図形を表示したり、音声や音の出力により警告を行ってもよい。
【0071】
（変形例１－１）
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、認識結果に基づく情報の出力を停止してもよい。
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、認識結果に基づく情報の出力を停止してもよい。
【0072】
（変形例１－２）
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、確信度が高い方の認識結果を選択し、選択した認識結果に基づく情報を出力してもよい。第１学習モデル３１０による認識結果の確信度は、ソフトマックス層３１３から出力される確率に基づき計算される。例えば、制御部２０１は、疎性結合組織と認識された各画素について確率値の平均を求めることにより、確信度を計算すればよい。第２学習モデル３２０による認識結果の確信度についても同様である。例えば、図８に示す構造体５０４を第１学習モデル３１０により認識した結果、９５％の確信度で疎性結合組織と認識し、同じ構造体５０４を第２学習モデル３２０により認識した結果、６２％の確信度で神経組織と認識した場合、制御部２０１は、この構造体５０４が疎性結合組織であるとの認識結果を術者に提示すればよい。
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、確信度が高い方の認識結果を選択し、選択した認識結果に基づく情報を出力してもよい。第１学習モデル３１０による認識結果の確信度は、ソフトマックス層３１３から出力される確率に基づき計算される。例えば、制御部２０１は、疎性結合組織と認識された各画素について確率値の平均を求めることにより、確信度を計算すればよい。第２学習モデル３２０による認識結果の確信度についても同様である。例えば、図８に示す構造体５０４を第１学習モデル３１０により認識した結果、９５％の確信度で疎性結合組織と認識し、同じ構造体５０４を第２学習モデル３２０により認識した結果、６２％の確信度で神経組織と認識した場合、制御部２０１は、この構造体５０４が疎性結合組織であるとの認識結果を術者に提示すればよい。
【0073】
（変形例１－３）
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、確信度に応じた認識結果を導出し、確信度に応じた表示態様にて認識結果を表示してもよい。図９は確信度に応じた認識結果の表示例を示す模式図である。例えば、術野画像に含まれる構造体５０５を第１学習モデル３１０により認識した結果、９５％の確信度で疎性結合組織と認識し、同じ構造体５０５を第２学習モデル３２０により認識した結果、神経組織として認識しなかった場合、制御部２０１は、この構造体５０５を例えば青系の色（図面上では黒色）で着色して術者に提示する。同様に、術野画像に含まれる構造体５０６を第２学習モデル３２０により認識した結果、９０％の確信度で神経組織と認識し、同じ構造体５０６を第１学習モデル３１０により認識した結果、疎性結合組織として認識しなかった場合、制御部２０１は、この構造体５０６を例えば緑系の色（図面上では白色）で着色して術者に提示する。一方、術野画像に含まれる構造体５０７を第１学習モデル３１０により認識した結果、６０％の確信度で疎性結合組織と認識し、同じ構造体５０７を第２学習モデル３２０により認識した結果、６０％の確信度で神経組織と認識した場合、制御部２０１は、この構造体５０７を例えば青系の色と緑系の色との中間色（図面上では灰色）で着色して術者に提示する。確信度に応じて色を変更する構成に代えて、彩度、透明度などを変更する構成を採用してもよい。
情報処理装置２００の制御部２０１は、第１学習モデル３１０による疎性結合組織の認識結果と、第２学習モデル３２０による神経組織の認識結果とが重複する場合、確信度に応じた認識結果を導出し、確信度に応じた表示態様にて認識結果を表示してもよい。図９は確信度に応じた認識結果の表示例を示す模式図である。例えば、術野画像に含まれる構造体５０５を第１学習モデル３１０により認識した結果、９５％の確信度で疎性結合組織と認識し、同じ構造体５０５を第２学習モデル３２０により認識した結果、神経組織として認識しなかった場合、制御部２０１は、この構造体５０５を例えば青系の色（図面上では黒色）で着色して術者に提示する。同様に、術野画像に含まれる構造体５０６を第２学習モデル３２０により認識した結果、９０％の確信度で神経組織と認識し、同じ構造体５０６を第１学習モデル３１０により認識した結果、疎性結合組織として認識しなかった場合、制御部２０１は、この構造体５０６を例えば緑系の色（図面上では白色）で着色して術者に提示する。一方、術野画像に含まれる構造体５０７を第１学習モデル３１０により認識した結果、６０％の確信度で疎性結合組織と認識し、同じ構造体５０７を第２学習モデル３２０により認識した結果、６０％の確信度で神経組織と認識した場合、制御部２０１は、この構造体５０７を例えば青系の色と緑系の色との中間色（図面上では灰色）で着色して術者に提示する。確信度に応じて色を変更する構成に代えて、彩度、透明度などを変更する構成を採用してもよい。
【0074】
（変形例１－４）
術野画像内に疎性結合組織と認識された構造体と、神経組織と認識された構造体とが存在する場合、情報処理装置２００の制御部２０１は、両構造体の関係から、両構造体の適切な位置関係、特徴点までの距離、他の構造体までの距離、他の構造体の面積等の情報を導出してもよい。
術野画像内に疎性結合組織と認識された構造体と、神経組織と認識された構造体とが存在する場合、情報処理装置２００の制御部２０１は、両構造体の関係から、両構造体の適切な位置関係、特徴点までの距離、他の構造体までの距離、他の構造体の面積等の情報を導出してもよい。
【0075】
以上のように、実施の形態１では、第１学習モデル３１０による演算結果と、第２学習モデル３２０による演算結果とに基づき、術野に含まれる臓器についての統合的な認識結果を取得することができる。情報処理装置２００は、類似構造体についての認識結果が重複した場合、警告を行ったり、情報の出力を停止するので、認識が誤っている可能性がある結果を術者に提示することを回避できる。
【0076】
（実施の形態２）
実施の形態２では、臓器認識と事象認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
実施の形態２では、臓器認識と事象認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
【0077】
実施の形態２に係る情報処理装置２００は、臓器を認識するための第１学習モデル３１０と、事象を認識するための第３学習モデル３３０とを備える。第１学習モデル３１０により認識する臓器は、疎性結合組織に限らず、予め設定した臓器であればよい。第３学習モデル３３０により認識する事象は、出血、損傷、脈動などの事象である。情報処理装置２００のその他の構成は、実施の形態１と同様であるため、その説明を省略する。
【0078】
図１０は第３学習モデル３３０の構成例を示す模式図である。第３学習モデル３３０は、エンコーダ３３１、デコーダ３３２、及びソフトマックス層３３３を備えており、術野画像の入力に対し、術野画像内で発生した事象に関する情報を出力するように構成される。第３学習モデル３３０が出力する事象に関する情報は、出血、損傷（エネルギ処置具１２による焼け跡）、脈動などの事象に関する情報である。第３学習モデル３３０は、画像セグメンテーションや物体検出用の学習モデルに限らず、ＣＮＮ（Convolutional Neural Networks）、ＲＮＮ（Recurrent Neural Networks）、ＬＳＴＭ（Long Short Term Memory）、ＧＡＮ（Generative Adversarial Network）などによる学習モデルであってもよい。
【0079】
第３学習モデル３３０による演算は、第２演算部２０６において実行される。第２演算部２０６は、術野画像が入力された場合、学習済みのパラメータを含む第３学習モデル３３０の定義情報に従って演算を実行する。第３学習モデル３３０は、術野画像の入力に対して、事象が発生したか否かを示す確率をソフトマックス層３３３より出力すればよい。第３学習モデル３３０による演算結果は、制御部２０１へ出力される。制御部２０１は、ソフトマックス層３３３から出力されるラベルの確率が閾値以上（例えば６０％以上）である場合、術野画像内で事象が発生したと判断する。制御部２０１は、術野画像の画素単位で事象発生の有無を判断してもよく、術野画像を単位として事象発生の有無を判断してもよい。
【0080】
図１１は実施の形態２に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。情報処理装置２００は、術野画像を取得する都度、実施の形態１と同様にステップＳ２０１～Ｓ２０６の手順を実行する。情報処理装置２００の制御部２０１は、第１学習モデル３１０による演算結果と、第３学習モデル３３０による演算結果とを取得し、これらの演算結果に基づき、術野画像についての統合的な認識結果を導出する。具体的には、制御部２０１は、以下の処理を実行する。
【0081】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ２０７）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0082】
制御部２０１は、第３学習モデル３３０による演算結果を参照し、事象の認識処理を実行する（ステップＳ２０８）。制御部２０１は、第３学習モデル３３０のソフトマックス層３３３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、画素毎に事象発生の有無を判断できる。
【0083】
制御部２０１は、ステップＳ２０７で認識した臓器において、事象が発生したか否かを判断する（ステップＳ２０９）。制御部２０１は、ステップＳ２０７で臓器と認識された画素と、ステップＳ２０８で事象が発生したと認識された画素とを比較し、両者が一致する場合、認識した臓器において事象が発生したと判断する。
【0084】
認識した臓器において事象が発生していないと判断した場合（Ｓ２０９：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。なお、制御部２０１は、臓器の認識結果を事象に関連付けずに個別に表示してもよく、事象の認識結果を臓器に関連付けずに個別に表示してもよい。
【0085】
認識した臓器において事象が発生したと判断した場合（Ｓ２０９：ＹＥＳ）、制御部２０１は、事象が発生した臓器の情報を出力する（ステップＳ２１０）。制御部２０１は、例えば、事象が発生した臓器の名称を文字情報として、術野画像上に重畳して表示すればよい。術野画像上に重畳表示する構成に代えて、術野画像外に事象が発生した臓器の名称を表示してもよく、音又は音声により出力してもよい。
【0086】
図１２は実施の形態２における認識結果の表示例を示す模式図である。図１２の表示例は、胃の表面から出血が発生した旨の文字情報を術野画像上に重畳表示した例を示している。制御部２０１は、出血が発生した臓器に限らず、エネルギ処置具１２などにより損傷した臓器の情報を表示してもよく、脈動が発生している臓器の情報を表示してもよい。脈動が発生している血管などの臓器の情報を表示する際、例えば、脈動に同期させて臓器を点滅表示してもよい。同期は必ずしも完全に脈動に一致する必要はなく、脈動に近い周期的な表示であってもよい。
【0087】
制御部２０１は、特定の臓器（例えば、重要血管）からの出血を認識した場合、図に示していないセンサにより常時検知している患者のバイタルサイン（脈拍、血圧、呼吸、体温）のデータを随時取得し、取得したデータを表示装置１３０に表示させてもよい。また、制御部２０１は、特定の臓器（例えば、重要血管）からの出血を認識した場合、通信部２０８を通じて外部装置に通知してもよい。通知先の外部装置は、麻酔科の医師が携帯する端末であってもよく、病院内の事象を統轄管理する院内サーバ等であってもよい。
【0088】
また、制御部２０１は、臓器からの出血を認識した場合、臓器認識で用いる閾値を変更したり、臓器認識を停止させてもよい。更に、制御部２０１は、臓器からの出血を認識した場合、臓器認識が困難となる場合があるため、出血用に改良された学習モデル（不図示）に切り替え、この学習モデルにより臓器認識を継続してもよい。
【0089】
また、制御部２０１は、出血に対して貧血のリスクがある場合、出血量若しくは出血速度の自動推定を行い、輸血の提案をしてもよい。制御部２０１は、画像上で出血面積を算出することにより出血量を推定することができ、出血面積の時間変化を算出することにより出血速度を推定することができる。
【0090】
以上のように、実施の形態２では、臓器認識用の学習モデル３１０と事象認識用の学習モデル３２０とを組み合わせて得られる統合的な認識結果を術者に提示できる。
【0091】
（実施の形態３）
実施の形態３では、臓器認識とデバイス認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
実施の形態３では、臓器認識とデバイス認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
【0092】
実施の形態３に係る情報処理装置２００は、臓器を認識するための第１学習モデル３１０と、デバイスを認識するための第４学習モデル３４０とを備える。第１学習モデル３１０により認識する臓器は、疎性結合組織に限らず、予め設定した臓器であればよい。第４学習モデル３４０により認識するデバイスは、エネルギ処置具１２、鉗子１３などの手術中に使用される術具である。情報処理装置２００のその他の構成は、実施の形態１と同様であるため、その説明を省略する。
【0093】
図１３は第４学習モデル３４０の構成例を示す模式図である。第４学習モデル３４０は、エンコーダ３４１、デコーダ３４２、及びソフトマックス層３４３を備えており、術野画像の入力に対し、術野画像に含まれるデバイスに関する情報を出力するように構成される。第４学習モデル３４０が出力するデバイスに関する情報は、エネルギ処置具１２、鉗子１３などの手術中に使用される術具に関する情報である。第４学習モデル３４０は、画像セグメンテーションや物体検出用の学習モデルに限らず、ＣＮＮ、ＲＮＮ、ＬＳＴＭ、ＧＡＮなどによる学習モデルであってもよい。第４学習モデル３４０は、デバイスの種類に応じて複数用意されてもよい。
【0094】
第４学習モデル３４０による演算は、第２演算部２０６において実行される。第２演算部２０６は、術野画像が入力された場合、学習済みのパラメータを含む第４学習モデル３４０の定義情報に従って演算を実行する。第４学習モデル３４０は、術野画像の入力に対して、各画素が特定のデバイスに該当するか否かを示す確率をソフトマックス層３４３より出力すればよい。第４学習モデル３４０による演算結果は、制御部２０１へ出力される。制御部２０１は、ソフトマックス層３４３から出力されるラベルの確率が閾値以上（例えば６０％以上）である場合、術野画像に含まれる特定のデバイスを認識したと判断する。
【0095】
図１４は実施の形態３に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。情報処理装置２００は、術野画像を取得する都度、実施の形態１と同様にステップＳ３０１～Ｓ３０６の手順を実行する。情報処理装置２００の制御部２０１は、第１学習モデル３１０による演算結果と、第４学習モデル３４０による演算結果とを取得し、これらの演算結果に基づき、術野画像についての統合的な認識結果を導出する。具体的には、制御部２０１は、以下の処理を実行する。なお、記憶部２０２には、直近（例えば１フレーム前）の術野画像において認識された臓器の情報とデバイスの情報とが記憶されているものとする。
【0096】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ３０７）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0097】
制御部２０１は、第４学習モデル３４０による演算結果を参照し、デバイスの認識処理を実行する（ステップＳ３０８）。制御部２０１は、第４学習モデル３４０のソフトマックス層３４３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれるデバイスを認識することができる。
【0098】
制御部２０１は、ステップＳ３０７で認識した臓器上でデバイスが移動しているか否かを判断する（ステップＳ３０９）。制御部２０１は、直近の術野画像により認識された臓器及びデバイスの情報を記憶部２０２から読み出し、読み出した臓器及びデバイスの情報と、新たに認識した臓器及びデバイスの情報とを比較し、相対的な位置の変化を検出することにより、デバイスが臓器上で移動しているか否かを判断することができる。
【0099】
臓器上でデバイスが移動していないと判断した場合（Ｓ３０９：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。なお、制御部２０１は、臓器の認識結果をデバイスとは無関係に表示してもよく、デバイスの認識結果を臓器とは無関係に表示してもよい。
【0100】
臓器上でデバイスが移動していると判断した場合（Ｓ３０９：ＹＥＳ）、制御部２０１は、臓器の表示態様を変更した表示データを生成し、出力部２０７を通じて表示装置１３０へ出力する（ステップＳ３１０）。制御部２０１は、臓器の表示色、彩度、透明度を変えることによって表示態様を変更してもよく、臓器を点滅表示することによって表示態様を変更してもよい。表示装置１３０には表示態様が変更された臓器が表示される。臓器上でデバイスが移動している場合、情報処理装置２００が臓器を誤認識する可能性があるため、表示態様を変更して表示することにより、術者に判断を促すことができる。なお、制御部２０１は、第１演算部２０５に対して表示態様の変更を指示し、第１演算部２０５の処理により表示態様を変更してもよい。
【0101】
（変形例３－１）
情報処理装置２００の制御部２０１は、臓器上でデバイスが移動している（停止していない）と判断した場合、臓器の認識処理を停止させてもよい。臓器の認識処理を停止させた場合、制御部２０１は、デバイスの認識処理を継続的に行い、デバイスが停止したと判断したタイミングで臓器の認識処理を再開すればよい。
情報処理装置２００の制御部２０１は、臓器上でデバイスが移動している（停止していない）と判断した場合、臓器の認識処理を停止させてもよい。臓器の認識処理を停止させた場合、制御部２０１は、デバイスの認識処理を継続的に行い、デバイスが停止したと判断したタイミングで臓器の認識処理を再開すればよい。
【0102】
（変形例３－２）
情報処理装置２００の制御部２０１は、臓器上でデバイスが移動している（停止していない）と判断した場合、臓器の認識結果の出力処理を停止させてもよい。この場合、第１学習モデル３１０及び第４学習モデル３４０による演算、第１学習モデル３１０の演算結果に基づく臓器の認識処理、第４学習モデル３４０の演算結果に基づくデバイスの認識処理は継続的に実行され、臓器の認識結果を示す認識画像の表示は停止される。制御部２０１は、デバイスが停止したと判断したタイミングで出力処理を再開すればよい。
情報処理装置２００の制御部２０１は、臓器上でデバイスが移動している（停止していない）と判断した場合、臓器の認識結果の出力処理を停止させてもよい。この場合、第１学習モデル３１０及び第４学習モデル３４０による演算、第１学習モデル３１０の演算結果に基づく臓器の認識処理、第４学習モデル３４０の演算結果に基づくデバイスの認識処理は継続的に実行され、臓器の認識結果を示す認識画像の表示は停止される。制御部２０１は、デバイスが停止したと判断したタイミングで出力処理を再開すればよい。
【0103】
（変形例３－３）
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、デバイスが処理している臓器の情報を導出してもよい。制御部２０１は、ステップＳ３０７で臓器と認識された画素と、ステップＳ３０８でデバイスと認識された画素とを比較することにより、デバイスが処理している臓器の情報を導出することができる。制御部２０１は、デバイスが処理している臓器の情報を出力し、例えば表示装置１３０に表示させてもよい。
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、デバイスが処理している臓器の情報を導出してもよい。制御部２０１は、ステップＳ３０７で臓器と認識された画素と、ステップＳ３０８でデバイスと認識された画素とを比較することにより、デバイスが処理している臓器の情報を導出することができる。制御部２０１は、デバイスが処理している臓器の情報を出力し、例えば表示装置１３０に表示させてもよい。
【0104】
（変形例３－４）
情報処理装置２００の制御部２０１は、認識したデバイスの寸法情報を取得し、取得したデバイスの寸法情報を基に、認識した臓器の寸法情報を導出してもよい。
情報処理装置２００の制御部２０１は、認識したデバイスの寸法情報を取得し、取得したデバイスの寸法情報を基に、認識した臓器の寸法情報を導出してもよい。
【0105】
図１５は寸法情報の導出手順を示すフローチャートである。制御部２０１は、認識したデバイスの寸法情報を取得する（ステップＳ３２１）。デバイスの寸法情報は情報処理装置２００の記憶部２０２に予め記憶されていてもよく、外部装置に記憶されていてもよい。前者の場合、制御部２０１は記憶部２０２から所望の情報を読み出すことにより寸法情報を取得すればよく、後者の場合、制御部２０１は外部装置にアクセスして寸法情報を取得すればよい。なお、寸法情報は、デバイス全体の寸法である必要はなく、デバイスの一部分（例えば刃先部分）の寸法であってもよい。
【0106】
制御部２０１は、取得した寸法情報が示すデバイス部分の画像情報の寸法と、認識した臓器の画像上での寸法との比を算出する（ステップＳ３２２）。
【0107】
制御部２０１は、ステップＳ３２１で取得したデバイスの寸法情報と、ステップＳ３２２で算出した寸法比とに基づき、臓器の寸法を算出する（ステップＳ３２３）。制御部２０１は、算出した臓器の寸法情報を出力し、例えば表示装置１３０に表示させてもよい。
【0108】
（変形例３－５）
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、デバイスによって損傷した臓器の情報を導出してもよい。例えば、制御部２０１は、臓器上のデバイスを認識し、かつ、当該臓器の一部分が変色したと判断した場合、デバイスによる臓器の損傷を検知したと判断する。臓器上のデバイスは、図１４のフローチャートに示す手順と同様の手順により認識される。また、臓器の変色は、画素値の経時変化により認識される。制御部２０１は、デバイスによる臓器損傷を検知した場合、その旨を示す情報を出力し、例えば表示装置１３０に表示させる。
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、デバイスによって損傷した臓器の情報を導出してもよい。例えば、制御部２０１は、臓器上のデバイスを認識し、かつ、当該臓器の一部分が変色したと判断した場合、デバイスによる臓器の損傷を検知したと判断する。臓器上のデバイスは、図１４のフローチャートに示す手順と同様の手順により認識される。また、臓器の変色は、画素値の経時変化により認識される。制御部２０１は、デバイスによる臓器損傷を検知した場合、その旨を示す情報を出力し、例えば表示装置１３０に表示させる。
【0109】
（変形例３－６）
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、臓器に対して使用されているデバイスが適切であるか否かを示す情報を導出してもよい。情報処理装置２００の記憶部２０２は、臓器の種類と、各臓器に対して使用可能なデバイス（若しくは使用されるべきでないデバイス）との関係を定義した定義テーブルを有するものとする。この定義テーブルには、例えば、腸管に対して、鋭利な鉗子は使用されるべきでないことが定義される。制御部２０１は、術野画像から臓器及びデバイスを認識し、上述した定義テーブルを参照することにより、臓器に対して使用されているデバイスが適切であるか否かを判断する。適切でないと判断した場合（例えば、腸管に対して鋭利な鉗子が使用されている場合）、制御部２０１は、誤ったデバイスが使用されている旨の情報を出力し、例えば表示装置１３０に表示させる。また、制御部２０１は、音声や警告音により警告を発してもよい。
情報処理装置２００の制御部２０１は、臓器の認識処理と、デバイスの認識処理とに基づき、臓器に対して使用されているデバイスが適切であるか否かを示す情報を導出してもよい。情報処理装置２００の記憶部２０２は、臓器の種類と、各臓器に対して使用可能なデバイス（若しくは使用されるべきでないデバイス）との関係を定義した定義テーブルを有するものとする。この定義テーブルには、例えば、腸管に対して、鋭利な鉗子は使用されるべきでないことが定義される。制御部２０１は、術野画像から臓器及びデバイスを認識し、上述した定義テーブルを参照することにより、臓器に対して使用されているデバイスが適切であるか否かを判断する。適切でないと判断した場合（例えば、腸管に対して鋭利な鉗子が使用されている場合）、制御部２０１は、誤ったデバイスが使用されている旨の情報を出力し、例えば表示装置１３０に表示させる。また、制御部２０１は、音声や警告音により警告を発してもよい。
【0110】
（変形例３－７）
情報処理装置２００の制御部２０１は、デバイスを認識した場合、当該デバイスの操作支援情報を出力し、例えば表示装置１３０に表示させてもよい。デバイスの操作支援情報は、デバイスの使用マニュアルであり、情報処理装置２００の記憶部２０２若しくは外部装置に記憶されていればよい。
情報処理装置２００の制御部２０１は、デバイスを認識した場合、当該デバイスの操作支援情報を出力し、例えば表示装置１３０に表示させてもよい。デバイスの操作支援情報は、デバイスの使用マニュアルであり、情報処理装置２００の記憶部２０２若しくは外部装置に記憶されていればよい。
【0111】
以上のように、実施の形態３では、臓器認識用の学習モデル３１０とデバイス認識用の学習モデル３４０とを組み合わせて得られる統合的な認識結果を術者に提示できる。
【0112】
（実施の形態４）
実施の形態４では、臓器認識と場面認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
実施の形態４では、臓器認識と場面認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
【0113】
実施の形態４に係る情報処理装置２００は、臓器を認識するための第１学習モデル３１０と、場面を認識するための第５学習モデル３５０とを備える。第１学習モデル３１０により認識する臓器は、疎性結合組織に限らず、予め設定した臓器であればよい。第１学習モデル３１０は、各種の臓器に対応できるように、臓器の種類毎にモデルが用意されてもよい。第５学習モデル３５０により認識する場面は、例えば手術の特徴的な場面を示す特徴場面である。情報処理装置２００のその他の構成は、実施の形態１と同様であるため、その説明を省略する。
【0114】
図１６は第５学習モデル３５０の構成例を示す模式図である。第５学習モデル３５０は、入力層３５１、中間層３５２、及び出力層３５３を備えており、術野画像の入力に対し、術野画像が示す場面に関する情報を出力するように構成される。第５学習モデル３５０が出力する場面に関する情報は、血管、重要神経、特異臓器（尿管や脾臓など）などの特定の臓器を含む場面である確率、血管の切離、リンパ節郭清などの特定の手術において特徴的な手技操作を行う場面である確率、特定の手術デバイス（血管クリップや自動吻合器など）を用いて特徴的な操作（血管の結紮や腸管の切離、吻合など）を行う場面の確率などの情報である。第５学習モデル３５０は、例えばＣＮＮによって構築される。代替的に、第５学習モデル３５０は、ＲＮＮ、ＬＳＴＭ、ＧＡＮなどによって構築される学習モデルであってもよく、画像セグメンテーションや物体検出用の学習モデルであってもよい。
【0115】
第５学習モデル３５０による演算は、第２演算部２０６において実行される。第２演算部２０６は、術野画像が入力された場合、学習済みのパラメータを含む第５学習モデル３５０の定義情報に従って演算を実行する。第５学習モデル３５０は、術野画像の入力に対して、特定の場面に該当する確率を出力層３５３を構成する各ノードより出力する。第５学習モデル３５０による演算結果は、制御部２０１へ出力される。制御部２０１は、出力層３５３から出力される各場面の確率のうち、確率が最も大きい場面を選択することにより、場面認識を行う。
【0116】
図１７は実施の形態４に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。情報処理装置２００の制御部２０１は、ＣＣＵ１１０から出力されるフレーム単位の術野画像を入力部２０４より取得する（ステップＳ４０１）。制御部２０１は、フレーム単位の術野画像を取得する都度、以下の処理を実行する。
【0117】
制御部２０１は、入力部２０４を通じて取得したフレーム単位の術野画像を第１演算部２０５及び第２演算部２０６へ送出すると共に、第２演算部２０６に対して演算の開始指示を与える（ステップＳ４０２）。
【0118】
第２演算部２０６は、制御部２０１から演算の開始指示が与えられると、第５学習モデル３５０による演算を実行する（ステップＳ４０３）。すなわち、第１演算部２０５は、第５学習モデル３５０を構成する入力層３５１、中間層３５２、及び出力層３５３における各演算を実行し、出力層３５３の各ノードから特定の場面に該当する確率を出力する。第２演算部２０６は、第５学習モデル３５０による演算結果を制御部２０１へ出力する（ステップＳ４０４）。
【0119】
制御部２０１は、第２演算部２０６による演算結果に基づき、場面の認識処理を実行する（ステップＳ４０５）。すなわち、制御部２０１は、出力層３５３から出力される各場面の確率のうち、確率が最も大きい場面を選択することにより、現在の術野画像が示す場面を特定する。
【0120】
制御部２０１は、特定した場面に応じて、臓器認識用の学習モデルを選択する（ステップＳ４０６）。例えば、ステップＳ４０５で認識した場面が尿管を含む場面である場合、制御部２０１は、尿管認識用の学習モデルを選択する。また、ステップＳ４０５で認識した場面が胃癌手術における膵臓上縁のリンパ節郭清場面である場合、制御部２０１は、リンパ節認識用の学習モデル、膵臓認識用の学習モデル、胃認識用の学習モデル等を選択する。また、ステップＳ４０５で認識した場面が血管クリップを用いて結紮する場面である場合、制御部２０１は、血管認識用の学習モデル、手術デバイス用の学習モデル等を選択する。制御部２０１は、尿管、リンパ節、膵臓、胃に限らず、特定した場面に応じて、臓器認識用の学習モデルを選択することができる。以下、ステップＳ４０６で選択した臓器認識用の学習モデルを第１学習モデル３１０とする。制御部２０１は、選択した第１学習モデル３１０の情報と共に、第１演算部２０５に対して演算の開始指示を与える。
【0121】
第１演算部２０５は、制御部２０１から演算の開始指示が与えられると、第１学習モデル３１０による演算を実行する（ステップＳ４０７）。すなわち、第１演算部２０５は、入力された術野画像から特徴マップを生成し、生成した特徴マップを順次ダウンサンプリングするエンコーダ３１１による演算、エンコーダ３１１から入力された特徴マップを順次アップサンプリングするデコーダ３１２による演算、及びデコーダ３１２より最終的に得られる特徴マップの各画素を識別するソフトマックス層３１３による演算を実行する。第１演算部２０５は、学習モデル３１０による演算結果を制御部２０１へ出力する（ステップＳ４０８）。
【0122】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ４０９）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0123】
制御部２０１は、臓器の認識結果を出力する（ステップＳ４１０）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、臓器の認識画像を術野画像上に重畳表示させる。第１演算部２０５は、制御部２０１からの指示に応じて、臓器の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、臓器の認識画像を術野画像上に重畳して表示する。また、特定の場面が終了したことを認識する学習モデルを用いて、第1の学習モデルの演算の終了や異なる学習モデルの開始の指示を与えてもよい。
【0124】
（変形例４－１）
情報処理装置２００が特定の臓器の認識処理を行うように構成されている場合（すなわち、第１学習モデル３１０を１つだけ有する場合）、この特定の臓器を含むような場面を認識するまで、臓器認識処理を行わない構成としてもよい。
情報処理装置２００が特定の臓器の認識処理を行うように構成されている場合（すなわち、第１学習モデル３１０を１つだけ有する場合）、この特定の臓器を含むような場面を認識するまで、臓器認識処理を行わない構成としてもよい。
【0125】
図１８は変形例４－１における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理を実行する（ステップＳ４２１～Ｓ４２５）。
【0126】
制御部２０１は、場面認識処理により特定の場面を認識したか否かを判断する（ステップＳ４２６）。制御部２０１は、例えば、尿管を含む場面、リンパ節郭清場面、血管クリップを用いて結紮する場面など、予め設定された場面であるか否かを判断すればよい。特定の場面を認識していないと判断した場合（Ｓ４２６：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。一方、特定の場面を認識したと判断した場合（Ｓ４２６：ＹＥＳ）、制御部２０１は、第１演算部２０５に演算開始指示を与える。
【0127】
第１演算部２０５は、制御部２０１から演算の開始指示が与えられると、第１学習モデル３１０による演算を実行し（ステップＳ４２７）、学習モデル３１０による演算結果を制御部２０１へ出力する（ステップＳ４２８）。
【0128】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ４２９）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0129】
制御部２０１は、臓器の認識結果を出力する（ステップＳ４３０）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、臓器の認識画像を術野画像上に重畳表示させる。第１演算部２０５は、制御部２０１からの指示に応じて、臓器の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、臓器の認識画像を術野画像上に重畳して表示する。
【0130】
（変形例４－２）
情報処理装置２００の制御部２０１は、場面認識処理の認識結果に応じて事前情報を取得し、取得した事前情報を参照して臓器認識処理を行ってもよい。図１９は事前情報テーブルの一例を示す概念図である。事前情報テーブルには、手術の場面に応じて事前情報が登録される。胃癌手術において膵臓の上縁のリンパ節郭清を行う場合には、膵臓はリンパ節の下に存在する。事前情報テーブルには、例えば、胃癌手術において膵臓上縁のリンパ節郭清場面に関して、膵臓はリンパ節の下に存在するという事前情報が登録される。事前情報テーブルには、図１９に示した情報に限らず、各種の場面に応じた各種事前情報が登録される。事前情報テーブルは、情報処理装置２００の記憶部２０２に用意されてもよく、外部装置に用意されてもよい。
情報処理装置２００の制御部２０１は、場面認識処理の認識結果に応じて事前情報を取得し、取得した事前情報を参照して臓器認識処理を行ってもよい。図１９は事前情報テーブルの一例を示す概念図である。事前情報テーブルには、手術の場面に応じて事前情報が登録される。胃癌手術において膵臓の上縁のリンパ節郭清を行う場合には、膵臓はリンパ節の下に存在する。事前情報テーブルには、例えば、胃癌手術において膵臓上縁のリンパ節郭清場面に関して、膵臓はリンパ節の下に存在するという事前情報が登録される。事前情報テーブルには、図１９に示した情報に限らず、各種の場面に応じた各種事前情報が登録される。事前情報テーブルは、情報処理装置２００の記憶部２０２に用意されてもよく、外部装置に用意されてもよい。
【0131】
図２０は変形例４－２における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理を実行する（ステップＳ４４１～Ｓ４４５）。
【0132】
制御部２０１は、記憶部２０２又は外部装置にアクセスし、認識した場面に応じて事前情報を取得する（ステップＳ４４６）。事前情報を取得した後、制御部２０１は第１演算部２０５に対して演算の開始指示を与える。
【0133】
第１演算部２０５は、制御部２０１から演算の開始指示が与えられると、第１学習モデル３１０による演算を実行し（ステップＳ４４７）第１学習モデル３１０による演算結果を制御部２０１へ出力する（ステップＳ４４８）。
【0134】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ４４９）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が閾値以上（例えば６０％以上）の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0135】
制御部２０１は、臓器の認識結果が事前情報と整合するか否かを判断する（ステップＳ４５０）。例えば、胃癌手術において膵臓の上縁のリンパ節郭清場面において、膵臓はリンパ節の下に存在するという事前情報が得られているにも関わらず、リンパ節の上に存在する膵臓を認識した場合、制御部２０１は、臓器の認識結果と事前情報とが整合しないと判断することができる。
【0136】
臓器の認識結果と事前情報とが整合しないと判断した場合（Ｓ４５０：ＮＯ）、制御部２０１は、警告情報を出力する（ステップＳ４５１）。制御部２０１は、臓器の認識結果と事前情報が整合しない旨の文字情報を出力部２０７より出力し、術野画像の表示領域内に重畳表示させる。制御部２０１は、術野画像の表示領域外に警告を示す文字情報を表示してもよく、別の表示装置（不図示）に警告を示す文字情報を表示してもよい。制御部２０１は、警告を示す文字情報を表示する構成に代えて、警告を示す図形を表示したり、音声や音の出力により警告を行ってもよい。
【0137】
本実施の形態では、臓器の認識結果と事前情報とが整合しない場合、警告情報を出力する構成としたが、両者が整合しない場合には誤認識の可能性があるため、臓器の認識結果の出力処理を停止させてもよい。この場合、第１学習モデル３１０及び第５学習モデル３５０による演算、第１学習モデル３１０の演算結果に基づく臓器の認識処理、第５学習モデル３５０の演算結果に基づく場面の認識処理は継続的に実行されるが、臓器の認識結果を示す認識画像の表示は停止される。また、制御部２０１は、出力処理を停止する構成に代えて、臓器の認識処理を停止する構成としてもよい。
【0138】
臓器の認識処理と事前情報とが整合すると判断した場合（Ｓ４５０：ＹＥＳ）、制御部２０１は、臓器の認識結果を出力する（ステップＳ４５２）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、臓器の認識画像を術野画像上に重畳表示させる。第１演算部２０５は、制御部２０１からの指示に応じて、臓器の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、臓器の認識画像を術野画像上に重畳して表示する。
【0139】
図２０のフローチャートでは、臓器の認識処理を実行した後に事前情報を参照する構成としたが、臓器の認識処理を実行する際に事前情報を参照してもよい。例えば、膵臓はリンパ節の下に存在するという事前情報が得られた場合、制御部２０１は、リンパ節の上側部分を認識対象から外すようにマスク情報を生成し、生成したマスク情報と共に、第１演算部２０５に対して演算の開始指示を与えてもよい。第１演算部２０５は、術野画像にマスクを適用し、マスクされた領域以外の部分画像に基づき第１学習モデル３１０による演算を実行すればよい。
【0140】
（変形例４－３）
情報処理装置２００の制御部２０１は、認識した場面に応じて、臓器認識に用いる閾値を変更してもよい。図２１は変形例４－３における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理を実行する（ステップＳ４６１～Ｓ４６５）。
情報処理装置２００の制御部２０１は、認識した場面に応じて、臓器認識に用いる閾値を変更してもよい。図２１は変形例４－３における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理を実行する（ステップＳ４６１～Ｓ４６５）。
【0141】
制御部２０１は、場面認識処理により特定の場面を認識したか否かを判断する（ステップＳ４６６）。制御部２０１は、例えば、尿管を含む場面、リンパ節郭清場面など、予め設定された場面であるか否かを判断すればよい。
【0142】
特定の場面を認識したと判断した場合（Ｓ４６６：ＹＥＳ）、制御部２０１は、臓器認識に用いる閾値を相対的に低い第１閾値（＜第２閾値）に設定する（ステップＳ４６７）。すなわち、制御部２０１は、認識対象の臓器が検出されやすくなるように閾値を設定する。閾値を設定した後、制御部２０１は、第１演算部２０５に演算開始指示を与える。
【0143】
一方、特定の場面を認識していないと判断した場合（Ｓ４６６：ＮＯ）、制御部２０１は、臓器認識に用いる閾値を相対的に高い第２閾値（＞第１閾値）に設定する（ステップＳ４６８）。すなわち、制御部２０１は、認識対象の臓器が検出されにくくなるように閾値を設定する。閾値を設定した後、制御部２０１は、第２演算部２０６に演算開始指示を与える。
【0144】
第１演算部２０５は、制御部２０１から演算の開始指示が与えられると、第１学習モデル３１０による演算を実行し（ステップＳ４６９）、学習モデル３１０による演算結果を制御部２０１へ出力する（ステップＳ４７０）。
【0145】
制御部２０１は、第１学習モデル３１０による演算結果を参照し、臓器の認識処理を実行する（ステップＳ４７１）。制御部２０１は、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率と、ステップＳ４６７又はステップＳ４６８で設定した閾値（第１閾値又は第２閾値）とを比較し、閾値以上の画素を抽出することによって、術野画像に含まれる臓器を認識することができる。
【0146】
制御部２０１は、臓器の認識結果を出力する（ステップＳ４７２）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、臓器の認識画像を術野画像上に重畳表示させる。第１演算部２０５は、制御部２０１からの指示に応じて、臓器の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、臓器の認識画像を術野画像上に重畳して表示する。
【0147】
（変形例４－４）
情報処理装置２００の制御部２０１は、対象の臓器が認識されるまでの期間と、対象臓器が認識された後の期間とで閾値を変更してもよい。図２２は変形例４－４における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理と臓器認識処理とを実行する（ステップＳ４８１～Ｓ４８８）。なお、臓器認識処理に用いる閾値には、第３閾値（＜第１閾値）が予め設定されているものとする。
情報処理装置２００の制御部２０１は、対象の臓器が認識されるまでの期間と、対象臓器が認識された後の期間とで閾値を変更してもよい。図２２は変形例４－４における処理手順を示すフローチャートである。情報処理装置２００の制御部２０１は、図１７に示す手順と同様の手順にて、術野画像を取得する都度、場面認識処理と臓器認識処理とを実行する（ステップＳ４８１～Ｓ４８８）。なお、臓器認識処理に用いる閾値には、第３閾値（＜第１閾値）が予め設定されているものとする。
【0148】
制御部２０１は、ステップＳ４８８の臓器認識処理により臓器を認識したか否かを判断する（ステップＳ４８９）。例えば、第１学習モデル３１０のソフトマックス層３１３から出力されるラベルの確率が第３閾値以上（例えば３０％以上）と判断された画素の数が所定数以上である場合、制御部２０１は、術野画像から臓器を認識したと判断することができる。
【0149】
臓器を認識していないと判断した場合（Ｓ４８９：ＮＯ）、制御部２０１は、第３閾値を設定する（ステップＳ４９０）。すなわち、制御部２０１は、予め設定されている閾値を維持する。臓器が認識されるまでの間、閾値を相対的に低い値に維持することにより、臓器は検出されやすくなり、情報処理装置２００を臓器検出用のセンサとして機能させることができる。
【0150】
臓器を認識したと判断した場合（Ｓ４８９：ＹＥＳ）、制御部２０１は、第３閾値よりも高い第１閾値を設定する（ステップＳ４９１）。すなわち、臓器を認識し始めると、制御部２０１は、臓器認識に用いる閾値を第３閾値から第１閾値（＞第３閾値）に変更するので、臓器の認識精度を高めることができる。
【0151】
制御部２０１は、臓器の認識結果を出力する（ステップＳ４９２）。具体的には、制御部２０１は、第１演算部２０５に指示を与えることにより、臓器の認識画像を術野画像上に重畳表示させる。第１演算部２０５は、制御部２０１からの指示に応じて、臓器の認識画像を内蔵のＶＲＡＭに描画し、出力部２０７を通じて表示装置１３０に出力することにより、臓器の認識画像を術野画像上に重畳して表示する。
【0152】
（変形例４－５）
情報処理装置２００の制御部２０１は、場面認識により認識した場面の情報を基に、第１学習モデル３１０の演算結果より認識される臓器の固有名称を導出してもよい。図２３は固有名称テーブルの一例を示す概念図である。固有名称テーブルには、手術の場面に関連付けて臓器の固有名称が登録される。例えば、Ｓ状結腸癌手術の場面には、下腸間膜動脈や下腸間膜神経叢が現れることが多い。固有名称テーブルには、Ｓ状結腸癌手術の場面に関し、臓器の固有名称として、下腸間膜動脈、及び下腸間膜神経叢が登録される。固有名称テーブルは、情報処理装置２００の記憶部２０２に用意されてもよく、外部装置に用意されてもよい。
情報処理装置２００の制御部２０１は、場面認識により認識した場面の情報を基に、第１学習モデル３１０の演算結果より認識される臓器の固有名称を導出してもよい。図２３は固有名称テーブルの一例を示す概念図である。固有名称テーブルには、手術の場面に関連付けて臓器の固有名称が登録される。例えば、Ｓ状結腸癌手術の場面には、下腸間膜動脈や下腸間膜神経叢が現れることが多い。固有名称テーブルには、Ｓ状結腸癌手術の場面に関し、臓器の固有名称として、下腸間膜動脈、及び下腸間膜神経叢が登録される。固有名称テーブルは、情報処理装置２００の記憶部２０２に用意されてもよく、外部装置に用意されてもよい。
【0153】
制御部２０１は、場面認識により認識した場面に応じて、記憶部２０２又は外部装置にアクセスし、固有名称テーブルに登録されている臓器の固有名称を読み出すことにより、臓器認識により特定した臓器の固有名称を術者に提示することができる。図２４は臓器名称の表示例を示す模式図である。制御部２０１は、場面認識によりＳ状結腸癌手術場面を認識し、血管認識用の第１学習モデル３１０を用いて血管を認識した場合、固有名称テーブルを参照することにより、その血管を下腸間膜動脈であると推定する。制御部２０１は、認識した血管の固有名称が下腸間膜動脈であるとの文字情報を表示装置１３０に表示させればよい。また、制御部２０１は、操作部２０３等を通じて術者の指示を受付けた場合にのみ固有名称を表示装置１３０に表示させてもよい。
【0154】
なお、制御部２０１は、場面認識によりＳ状結腸癌手術場面を認識し、神経認識用の第１学習モデル３１０を用いて神経を認識した場合、固有名称テーブルを参照することにより、その神経を下腸間膜神経叢と推定し、表示装置１３０に表示させればよい。
【0155】
（変形例４－６）
情報処理装置２００の制御部２０１は、場面認識により認識される場面の情報と、臓器認識により認識される臓器の情報とを基に、構造体の情報を導出してもよい。変形例４－６において導出する構造体の情報は、臓器認識により認識されない臓器の情報、癌や腫瘍などの病変部の情報などである。
情報処理装置２００の制御部２０１は、場面認識により認識される場面の情報と、臓器認識により認識される臓器の情報とを基に、構造体の情報を導出してもよい。変形例４－６において導出する構造体の情報は、臓器認識により認識されない臓器の情報、癌や腫瘍などの病変部の情報などである。
【0156】
制御部２０１は、構造体テーブルを参照することにより構造体の情報を導出する。図２５は構造体テーブルの一例を示す概念図である。構造体テーブルには、場面毎の既知の構造体の情報が登録される。構造体の情報は、例えば教科書的な臓器の情報であり、臓器の名称、位置、走行方向などの情報を含む。例えば、図２５に示す構造体テーブルを参照すれば、制御部２０１は、胃の手術において、門脈を認識した場合、左胃静脈は門脈から分岐しているとの情報を術者に提示することができる。同様に、制御部２０１は、胃の手術において、右胃動脈が認識された場合、右胃動脈は根元が人の字の形状をしているとの情報を術者に提示することができる。
【0157】
構造体テーブルは患者毎に用意されてもよい。患者毎の構造体テーブルには、他の医用画像や検査手段を用いて事前に得られた患者毎の病変部の情報が登録される。例えば、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、超音波断層像、光干渉断層像、アンギオグラフィ画像などにより事前に得られた病変部の情報が登録される。これらの医用画像を用いると、腹腔鏡１１の観察画像（術野画像）には現れないような臓器内部の病変部の情報が得られる。情報処理装置２００の制御部２０１は、場面や臓器を認識した際、構造体テーブルを参照して、術野画像に現れていない病変部の情報を提示することができる。
【0158】
図２６は構造体の表示例を示す模式図である。図２６Ａは、胃の手術において、右胃動脈が認識された場合の表示例を示している。制御部２０１は、場面認識又は臓器認識により右胃動脈を認識し、構造体テーブルを参照し、右胃動脈の根元は人の字の形状をしているとの情報を読み出す。制御部２０１は、構造体テーブルから読み出した情報に基づき、右胃動脈の根元は人の字の形状をしているとの文字情報や未だ確認できていない血管の走行を予測して表示装置１３０に表示させることができる。
【0159】
図２６Ｂは術野画像内に現れていない病変部の表示例を示している。特定の患者について事前に得られた病変部の情報が構造体テーブルに登録されている場合、制御部２０１は、場面及び臓器を認識した際、患者毎の構造体テーブルを参照することにより、術野画像に現れていない病変部の情報を読み出す。制御部２０１は、構造体テーブルから読み出した情報に基づき、術野画像には現れていない病変部の画像や臓器内部に病変部が存在する旨の文字情報を表示装置１３０に表示させることができる。
【0160】
制御部２０１は、上記の構造体を三次元画像として表示してもよい。制御部２０１は、ＣＴやＭＲＩなどにより事前に得られる複数の断層像をサーフェスレンダリングやボリュームレンダリングなどの手法を用いて再構築することにより、構造体を三次元画像として表示することができる。制御部２０１は、三次元画像を術野画像上に重畳することにより、拡張現実（AR : Augmented Reality）におけるオブジェクトとして表示してもよく、術野画像とは別に仮想現実（VR : Virtual Reality）のオブジェクトとして表示してもよい。拡張現実や仮想現実におけるオブジェクトは、図に示していないヘッドマウントディスプレイを通じて術者に提示されるものであってもよい。本実施の形態に係る情報処理装置２００は、術野画像に現れる臓器などの構造体については第１学習モデル３１０などを用いて認識して表示することができ、術野画像に現れない構造体についてはＡＲ技術やＶＲ技術を利用して表示することができる。術者は、術野画像に現れている臓器などの構造や術野画像には現れていない内部の構造を視認することができ、全体像を容易に把握することができる。
【0161】
（変形例４－７）
情報処理装置２００の制御部２０１は、場面認識により認識される場面の情報と、臓器認識により認識される臓器の情報とを基に、発生し得る事象を予測してもよい。事象の予測には、過去の手術において発生した事例を収集した事例テーブルが用いられる。図２７は事例テーブルの一例を示す概念図である。事例テーブルには、場面認識により認識される場面、及び臓器認識により認識される臓器に関連付けて、手術中に発生した事例の情報が登録される。図２７のテーブルは、Ｓ状結腸癌手術の場面において下腸間膜動脈から出血した事例が多数登録されている例を示している。
情報処理装置２００の制御部２０１は、場面認識により認識される場面の情報と、臓器認識により認識される臓器の情報とを基に、発生し得る事象を予測してもよい。事象の予測には、過去の手術において発生した事例を収集した事例テーブルが用いられる。図２７は事例テーブルの一例を示す概念図である。事例テーブルには、場面認識により認識される場面、及び臓器認識により認識される臓器に関連付けて、手術中に発生した事例の情報が登録される。図２７のテーブルは、Ｓ状結腸癌手術の場面において下腸間膜動脈から出血した事例が多数登録されている例を示している。
【0162】
図２８は事象の表示例を示す模式図である。制御部２０１は、場面認識によりＳ状結腸癌手術の場面を認識し、臓器認識により下腸間膜動脈を認識した場合、事例テーブルを参照することにより、過去に出血が多発していることを把握することができるので、その旨を文字情報として表示装置１３０に表示させることができる。なお、制御部２０１は、過去に多発した事例に限らず、過去に生じた特殊な事例や術者に知らせるべき事例を事前情報として表示装置１３０に表示させてもよい。
【0163】
以上のように、実施の形態４では、臓器認識用の第１学習モデル３１０から得られる演算結果と、場面認識用の第５学習モデル３５０から得られる演算結果とに基づき、術野画像に関して統合的な認識結果を導出し、導出した認識結果に基づく情報を術者に提供することができる。
【0164】
（実施の形態５）
実施の形態５では、事象認識と場面認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
実施の形態５では、事象認識と場面認識とを組み合わせて、統合的な認識結果を導出する構成について説明する。
【0165】
実施の形態５に係る情報処理装置２００は、事象の認識結果に応じて、当該事象における特徴場面の情報を導出する。具体例として、情報処理装置２００が臓器損傷を事象として認識した場合、損傷の発生場面及び損傷の修復場面を特徴場面として導出する構成について説明する。情報処理装置２００は、術野画像の入力に応じて、臓器の損傷に関する情報を出力するよう学習された第３学習モデル３３０と、術野画像の入力に応じて、損傷の発生場面及び損傷の修復場面に関する情報を出力するよう学習された第５学習モデル３５０を備えるものとする。情報処理装置２００は、術野画像を取得する都度、第１演算部２０５において第３学習モデル３３０による演算を実行し、第２演算部２０６において第５学習モデル３５０による演算を実行する。また、情報処理装置２００は、入力部２０４より入力される術野画像（映像）を記憶部２０２に一時的に録画するものとする。
【0166】
図２９は実施の形態５に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。制御部２０１は、術野画像を取得する都度、第３学習モデル３３０による演算結果を参照して事象（臓器損傷）の認識処理を実行し、認識結果に基づき臓器損傷の有無を判断する。臓器損傷があると判断した場合において、制御部２０１は、以下の処理を実行する。
【0167】
制御部２０１は、術野画像を取得する都度、第５学習モデル３５０による演算結果を参照して場面認識処理を実行し（ステップＳ５０１）、場面認識処理の実行結果に基づいて損傷の発生場面を認識したか否かを判断する（ステップＳ５０２）。制御部２０１は、前フレームの場面と現フレームの場面とを比較し、臓器が損傷していない場面から、臓器が損傷している場面に切り替わった場合、損傷の発生場面を認識したと判断する。損傷の発生場面を認識していないと判断した場合（Ｓ５０２：ＮＯ）、制御部２０１は、処理をステップＳ５０５へ移行する。
【0168】
損傷の発生場面を認識したと判断した場合（Ｓ５０２：ＹＥＳ）、制御部２０１は、発生場面を含む部分映像を抽出する（ステップＳ５０３）。制御部２０１は、記憶部２０２に一時的に録画されている術野画像（映像）について、例えば、損傷発生時点よりも前の時点（例えば数秒前の時点）を部分映像の開始点、損傷発生時点を部分映像の終了点として指定することにより、発生場面を含む部分映像を抽出する。代替的に、制御部２０１は、術野画像（映像）の録画を更に進め、損傷発生時点よりも前の時点を部分映像の開始点、損傷発生後の時点（例えば数秒後の時点）を部分映像の終了点として指定することにより、発生場面を含む部分映像を抽出してもよい。
【0169】
制御部２０１は、抽出した部分映像を記憶部２０２に記憶させる（ステップＳ５０４）。制御部２０１は、ステップＳ５０３で指定した開始点と終了点との間の部分映像を録画映像から切り出し、動画ファイルとして記憶部２０２に別途記憶させる。
【0170】
制御部２０１は、ステップＳ５０１の場面認識処理の実行結果に基づいて損傷の修復場面を認識したか否かを判断する（ステップＳ５０５）。制御部２０１は、前フレームの場面と現フレームの場面と比較し、臓器が損傷している場面から、臓器が損傷していない場面に切り替わった場合、損傷の修復場面を認識したと判断する。損傷の修復場面を認識していないと判断した場合（Ｓ５０５：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。
【0171】
損傷の修復場面を認識したと判断した場合（Ｓ５０５：ＹＥＳ）、制御部２０１は、修復場面を含む部分映像を抽出する（ステップＳ５０６）。制御部２０１は、記憶部２０２に一時的に録画されている術野画像（映像）について、例えば、修復時点よりも前の時点（例えば数秒前の時点）を部分映像の開始点、修復時点を部分映像の終了点として指定することにより、修復場面を含む部分映像を抽出する。代替的に、制御部２０１は、術野画像（映像）の録画を更に進め、修復時点よりも前の時点を部分映像の開始点、修復後の時点（例えば数秒後の時点）を部分映像の終了点として指定することにより、修復場面を含む部分映像を抽出してもよい。
【0172】
制御部２０１は、抽出した部分映像を記憶部２０２に記憶させる（ステップＳ５０７）。制御部２０１は、ステップＳ５０６で指定した開始点と終了点との間の部分映像を録画映像から切り出し、動画ファイルとして記憶部２０２に別途記憶させる。
【0173】
制御部２０１は、場面を認識する都度、認識した場面の情報を場面記録テーブルに登録する。場面記録テーブルは記憶部２０２に用意される。図３０は場面記録テーブルの一例を示す概念図である。場面記録テーブルは、例えば、場面を認識した日時、認識した場面を識別する名称、及び場面を認識した際に抽出した部分映像の動画ファイルを関連付けて記憶する。図３０の例では、手術の開始から終了までに認識した損傷の発生場面及び修復場面に関して、損傷の発生場面を示す動画ファイルと、損傷の修復場面を示す動画ファイルとを日時に関連付けて場面記録テーブルに登録した状態を示している。
【0174】
制御部２０１は、場面記録テーブルに登録した場面の情報を表示装置１３０に表示させてもよい。制御部２０１は、例えば、術者等が任意の場面を選択できるように、テーブル形式で場面の情報を表示装置１３０に表示させてもよい。代替的に、制御部２０１は、各場面を示すサムネイル、アイコン等のオブジェクト（ＵＩ）を表示画面上に配置し、術者等による場面の選択を受け付けてもよい。制御部２０１は、術者等による場面の選択を受付けた場合、該当する場面の動画ファイルを記憶部２０２から読み出し、読み出した動画ファイルを再生する。再生された動画ファイルは表示装置１３０にて表示される。
【0175】
また、制御部２０１が選択した場面の動画ファイルを再生する構成としてもよい。制御部２０１は、場面記録テーブルを参照し、損傷の発生場面が登録されているが、その損傷に対する修復場面が登録されていない場合において、修復が施されていない旨を術者に報知するために、損傷の発生場面を再生してもよい。
【0176】
本実施の形態では、損傷の発生場面及び修復場面を認識し、認識した各場面について部分映像を抽出し、動画ファイルとして記憶部２０２に記憶させる構成としたが、認識すべき場面は、損傷の発生場面及び修復場面に限定されない。制御部２０１は、手術中に発生し得る様々な事象に関して、その事象における特徴場面を認識し、認識した特徴場面の部分映像を抽出して、動画ファイルとして記憶部２０２に記憶させればよい。
【0177】
例えば、制御部２０１は、出血事象を認識に応じて、出血の発生場面及び止血場面を認識し、認識した各場面について部分映像を抽出し、動画ファイルとして記憶部２０２に記憶させてもよい。また、制御部２０１は、出血事象を認識した場合、ガーゼなどの人工物が術野画像内にフレームインした場面、及び術野画像からフレームアウトした場面を認識し、認識した各場面について部分映像を抽出し、動画ファイルとして記憶部２０２に記憶させてもよい。なお、患者体内へのガーゼの導入は出血時に限らないため、制御部２０１は、出血事象の認識に依らず、手術中にガーゼが術野画像内にフレームインした場面、及び術野画像からガーゼがフレームアウトした場面を認識した場合、各場面について部分映像を抽出し、動画ファイルとして記憶部２０２に記憶させてもよい。また、制御部２０１は、ガーゼに限らず、止血クリップ、拘束バンド、縫合針などの人工物が術野画像内にフレームインした場面、及び術野画像からフレームアウトした場面を認識し、これらの場面の部分映像に対応する動画ファイルを記憶部２０２に記憶させてもよい。
【0178】
以上のように、実施の形態５では、手術中に発生した事象に関して、特徴的な場面を示す部分映像（動画ファイル）を記憶部２０２に記憶させるので、事象の振り返りを容易にすることができる。
【0179】
（実施の形態６）
情報処理装置２００の制御部２０１は、同一の術野画像について第１学習モデル３１０による演算を第１演算部２０５及び第２演算部２０６の双方に実行させ、第１演算部２０５による演算結果と、第２演算部２０６による演算結果とを評価することにより、第１演算部２０５又は第２演算部２０６におけるエラー情報を導出してもよい。
情報処理装置２００の制御部２０１は、同一の術野画像について第１学習モデル３１０による演算を第１演算部２０５及び第２演算部２０６の双方に実行させ、第１演算部２０５による演算結果と、第２演算部２０６による演算結果とを評価することにより、第１演算部２０５又は第２演算部２０６におけるエラー情報を導出してもよい。
【0180】
図３１は実施の形態６に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。制御部２０１は、術野画像を取得した場合（ステップＳ６０１）、第１学習モデル３１０による演算を第１演算部２０５及び第２演算部２０６の双方に実行させる（ステップＳ６０２）。
【0181】
制御部２０１は、第１演算部２０５の演算結果と、第２演算部２０６の演算結果とを取得し（ステップＳ６０３）、演算結果を評価する（ステップＳ６０４）。制御部２０１は、第１演算部２０５による演算結果と第２演算部２０６の演算結果とが所定量以上相違するか否かを判断する（ステップＳ６０５）。相違が所定量未満である場合（Ｓ６０５：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。所定量以上相違すると判断した場合（Ｓ６０５：ＹＥＳ）、制御部２０１は、エラーを検知したと判断し（ステップＳ６０６）、警告情報を出力する（ステップＳ６０７）。警告情報は表示装置１３０に表示されてもよく、音又は音声により出力されてもよい。
【0182】
（実施の形態７）
実施の形態７では、複数の学習モデルによる認識結果を組み合わせることにより、術具の使用状態を推定する構成について説明する。
実施の形態７では、複数の学習モデルによる認識結果を組み合わせることにより、術具の使用状態を推定する構成について説明する。
【0183】
実施の形態７に係る情報処理装置２００は、臓器を認識するための第１学習モデル３１０、デバイスを認識するための第４学習モデル３４０、及び場面を認識するための第５学習モデル３５０を備える。
【0184】
第１学習モデル３１０は、術野画像の入力に応じて、術野画像を構成する各画素が認識対象の臓器に該当するか否かを示す確率を出力するよう学習される学習モデルである。情報処理装置２００の制御部２０１は、第１学習モデル３１０から演算結果を随時取得し、時系列的に解析することにより、臓器に対する術具の影響を推定する。例えば、制御部２０１は、第１学習モデル３１０により臓器と認識された画素数や面積の変化、若しくは臓器と認識された画素の消失量などを算出し、所定量の画素が消失したと判断した場合、術具が臓器上に移動したと推定する。
【0185】
第４学習モデル３４０は、術野画像の入力に応じて、術野画像に現れるデバイスに関する情報を出力するよう学習される学習モデルである。実施の形態７における第４学習モデル３４０は、デバイスに関する情報として、鉗子１３の開閉状態に係る情報を含むように学習される。
【0186】
第５学習モデル３５０は、術野画像が入力された場合、術野が示す場面に関する情報を出力するよう学習される学習モデルである。実施の形態７における第５学習モデル３５０は、場面に関する情報として、臓器が把持される場面の情報を含むように学習される。
【0187】
図３２は実施の形態７における推定手法を説明する説明図である。図３２に示す術野画像は、臓器を構成する組織ＯＲＧ１と、悪性腫瘍などの病変部を含む組織ＯＲＧ２との間を満たす結合組織を切除しようとしている場面を示している。このとき、術者は、病変部を含む組織ＯＲＧ２を鉗子１３により把持し、適宜の方向に展開させることによって、病変部を含む組織ＯＲＧ２と残すべき組織ＯＲＧ１との間に存在する結合組織を露出させる。術者は、露出させた結合組織をエネルギ処置具１２を用いて切除することにより、病変部を含む組織ＯＲＧ２を残すべき組織ＯＲＧ１から剥離させる。
【0188】
情報処理装置２００の制御部２０１は、図３２に示すような術野画像を第４学習モデル３４０に入力して得られる演算結果を取得し、鉗子１３が閉じた状態であることを認識する。しかしながら、第４学習モデル３４０の演算結果のみでは、制御部２０１は、臓器を把持した状態で鉗子１３が閉じているのか、臓器を把持せずに鉗子１３が閉じているのかを把握することはできない。
【0189】
そこで、実施の形態７では、第１学習モデル３１０及び第５学習モデル３５０の演算結果を更に組み合わせることにより、鉗子１３の使用状態を推定する。すなわち、制御部２０１は、第４学習モデル３４０の演算結果により、鉗子１３が閉じた状態であることを認識し、第１学習モデル３１０の演算結果により、鉗子１３が臓器上に存在すること認識し、かつ、第５学習モデル３５０の演算結果により、臓器が把持される場面であることを認識した場合、鉗子１３は臓器を把持した状態で閉じていると認識することができる。
【0190】
図３３は実施の形態７における推定手順を示すフローチャートである。情報処理装置２００の制御部２０１は、ＣＣＵ１１０から出力されるフレーム単位の術野画像を入力部２０４より取得する（ステップＳ７０１）。制御部２０１は、フレーム単位の術野画像を取得する都度、以下の処理を実行する。
【0191】
制御部２０１は、第４学習モデル３４０による演算結果を取得し（ステップＳ７０２）、鉗子１３は閉じているか否かを判断する（ステップＳ７０３）。第４学習モデル３４０による演算は例えば第２演算部２０６により実行される。制御部２０１は、第２演算部２０６から第４学習モデル３４０による演算結果を取得すればよい。鉗子１３が閉じていないと判断した場合（Ｓ７０３：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。
【0192】
鉗子１３が閉じていると判断した場合（Ｓ７０３：ＹＥＳ）、制御部２０１は、第１学習モデル３１０による演算結果を取得し（ステップＳ７０４）、鉗子１３は臓器上に存在するか否かを判断する（ステップＳ７０５）。第１学習モデル３１０による演算は例えば第１演算部２０５により実行される。制御部２０１は、第１演算部２０５から第１学習モデル３１０による演算結果を取得すればよい。鉗子１３が臓器上に存在しないと判断した場合（Ｓ７０５：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。
【0193】
鉗子１３が臓器上に存在すると判断した場合（Ｓ７０５：ＹＥＳ）、制御部２０１は、第５学習モデル３５０による演算結果を取得し（ステップＳ７０６）、臓器が把持される場面であるか否かを判断する（ステップＳ７０７）。第５学習モデル３５０による演算は、例えば第４学習モデル３４０による演算が実行されていない間に第２演算部２０６により実行される。制御部２０１は、第２演算部２０６から第５学習モデル３５０による演算結果を取得すればよい。臓器が把持される場面でないと判断した場合（Ｓ７０７：ＮＯ）、制御部２０１は、本フローチャートによる処理を終了する。
【0194】
臓器が把持される場面であると判断した場合（ステップＳ７０７：ＹＥＳ）、制御部２０１は、鉗子が臓器を把持した状態であると推定する（ステップＳ７０８）。推定結果は、術野画像上に表示されてもよい。例えば、鉗子１３による臓器の把持が完了したタイミングで、鉗子１３の色を明るくする等の表示を行ってもよい。
【0195】
本実施の形態では、鉗子１３により臓器が把持された状態を推定する構成について説明したが、複数の学習モデルの認識結果を組み合わせることにより、鉗子１３による把持だけでなく、様々な手術デバイスを用いた処置（把持、切離、剥離など）を推定することが可能となる。
【0196】
（実施の形態８）
実施の形態８では、入力される術野画像に応じて最適な学習モデルを選択する構成について説明する。
実施の形態８では、入力される術野画像に応じて最適な学習モデルを選択する構成について説明する。
【0197】
実施の形態８に係る情報処理装置２００は、同一の認識対象を認識する複数の学習モデルを備える。一例として、第１学習モデル３１０及び第２学習モデル３２０を用いて同一臓器を認識する構成について説明する。第１学習モデル３１０及び第２学習モデル３２０により認識する臓器は、疎性結合組織や神経組織に限定されず、予め設定された臓器であればよい。
【0198】
一例では、第１学習モデル３１０及び第２学習モデル３２０は、異なるニューラルネットワークを用いて構築される。例えば、第１学習モデル３１０はＳｅｇＮｅｔにより構築され、第２学習モデル３２０はＵ－Ｎｅｔにより構築される。第１学習モデル３１０及び第２学習モデル３２０を構築するニューラルネットワークの組み合わせは上記に限らず、任意のニューラルネットワークを用いればよい。
【0199】
代替的に、第１学習モデル３１０及び第２学習モデル３２０は、内部構成が異なる学習モデルであってもよい。例えば、第１学習モデル３１０及び第２学習モデル３２０は、同一のニューラルネットワークを用いて構築される学習モデルであるが、層の種類や層の数、ノードの数やノードの接続関係などが異なるものであってもよい。
【0200】
また、第１学習モデル３１０及び第２学習モデル３２０は、異なる訓練データを用いて学習された学習モデルであってもよい。例えば、第１学習モデル３１０は、第１の専門家がアノテーションした正解データを含む訓練データを用いて学習した学習モデルであり、第２学習モデル３２０は、第１の専門家とは異なる第２の専門家がアノテーションした正解データを含む訓練データを用いて学習した学習モデルであってもよい。また、第１学習モデル３１０は、ある医療機関で撮像された術野画像と当該術野画像に対するアノテーションデータ（正解データ）とを含む訓練データを用いて学習した学習モデルであり、第２学習モデル３２０は別の医療機関で撮像された術野画像と当該術野画像に対するアノテーションデータ（正解データ）とを含む訓練データを用いて学習した学習モデルであってもよい。
【0201】
情報処理装置２００は、術野画像が入力された場合、第１学習モデル３１０による演算を第１演算部２０５にて実行し、第２学習モデル３２０による演算を第２演算部２０６により実行する。情報処理装置２００の制御部２０１は、第１演算部２０５による演算結果と、第２演算部２０６による演算結果とを解析し、解析結果に基づき臓器認識に最適な学習モデル（本実施の形態では、第１学習モデル３１０及び第２学習モデルの何れか一方）を選択する。
【0202】
図３４は演算結果の解析手法を説明する説明図である。臓器を認識する各学習モデルからは、各画素が認識対象の臓器に該当するか否かを示す確率（確信度）が演算結果として出力される。確信度毎に画素数を集計すると、例えば、図３４Ａ～図３４Ｃに示すような分布が得られる。図３４Ａ～図３４Ｃに示す各グラフの横軸は確信度を表し、縦軸は画素数（画像全体に占める割合）を表している。理想的には、各画素は確信度が１（臓器である確率が１００％の場合）又は確信度が０（臓器である確率が０である場合）に分類されるので、理想的な学習モデルから得られる演算結果に基づき確信度の分布を調べると、図３４Ａに示すような二極化した分布が得られる。
【0203】
情報処理装置２００の制御部２０１は、第１学習モデル３１０及び第２学習モデル３２０から演算結果を取得した場合、確信度毎に画素数を集計し、理想的な分布に近い分布を有する学習モデルを選択する。例えば、第１学習モデル３１０の演算結果から得られる分布が図３４Ｂに示す分布となり、第２学習モデル３２０の演算結果から得られる分布が図３４Ｃに示す分布となった場合、後者の方が理想的な分布に近いので、制御部２０１は、第２学習モデル３２０を選択する。
【0204】
制御部２０１は、例えば、確信度が１又は０に近づくにつれて評価値が高くなるような評価係数を用いて各分布を評価することにより、理想的な分布に近いか否かを判断する。図３５は評価係数テーブルの一例を示す図である。このような評価係数テーブルは記憶部２０２に予め用意される。図３５の例では確信度が１又は０に近づくにつれて高い値をとるように評価係数が設定されている。
【0205】
制御部２０１は、確信度毎の画素数の集計結果が得られた場合、評価係数を乗じることにより、分布の良否を示すスコアを算出する。図３６はスコアの算出結果の一例を示す図である。図３６Ａ～図３６Ｃは、図３４Ａ～図３４Ｃに示すそれぞれの分布についてスコアを算出した結果を示している。理想的な分布から算出したスコアは最も高くなる。第１学習モデル３１０の演算結果から求めた分布についてスコアを算出した場合、トータルのスコアは８４となり、第２学習モデル３２０の演算結果から求めた分布についてスコアを算出した場合、トータルのスコアは１８８となる。すなわち、第１学習モデル３１０よりも第２学習モデル３２０の方が高いスコアを出せているので、制御部２０１は、適切な学習モデルとして、第２学習モデル３２０を選択する。
【0206】
図３７は実施の形態８に係る情報処理装置２００が実行する処理の手順を示すフローチャートである。制御部２０１は、術野画像を取得した場合（ステップＳ８０１）、第１学習モデル３１０による演算を第１演算部２０５に実行させ（ステップＳ８０２）、第１学習モデル３１０による演算結果を取得する（ステップＳ８０３）。制御部２０１は、第１学習モデル３１０について確信度毎の画素数を集計し（ステップＳ８０４）、それぞれに評価係数を乗じて分布のスコア（第１スコア）を算出する（ステップＳ８０５）。
【0207】
同様に、制御部２０１は、ステップＳ８０１で取得した術野画像について、第２学習モデル３２０による演算を第２演算部２０６に実行させ（ステップＳ８０６）、第２学習モデル３２０による演算結果を取得する（ステップＳ８０７）。制御部２０１は、第２学習モデル３２０について確信度毎の画素数を集計し（ステップＳ８０８）、それぞれに評価係数を乗じて分布のスコア（第２スコア）を算出する（ステップＳ８０９）。
【0208】
本フローチャートでは、便宜的に、第１学習モデル３１０についての演算（Ｓ８０２～Ｓ８０５）を実行した後に、第２学習モデル３２０についての演算（Ｓ８０６～Ｓ８０９）を実行する手順としたが、これらの手順は前後してもよく、同時並行的に実行されてもよい。
【0209】
制御部２０１は、第１スコアと第２スコアとを比較し、第１スコアが第２スコア以上であるか否かを判断する（ステップＳ８１０）。
【0210】
第１スコアが第２スコア以上であると判断した場合（Ｓ８１０：ＹＥＳ）、制御部２０１は、適切な学習モデルとして、第１学習モデル３１０を選択する（ステップＳ８１１）。以後、制御部２０１は、選択した第１学習モデル３１０を用いて臓器認識処理を実行する。
【0211】
第１スコアが第２スコア未満であると判断した場合（Ｓ８１０：ＮＯ）、制御部２０１は、適切な学習モデルとして、第２学習モデル３２０を選択する（ステップＳ８１２）。以後、制御部２０１は、選択した第２学習モデル３２０を用いて臓器認識処理を実行する。
【0212】
以上のように、実施の形態８では、より適切な学習モデルを選択して臓器認識処理を実行することができる。
【0213】
情報処理装置２００は、フォアグラウンドで第１学習モデル３１０の演算結果を用いた臓器認識処理を実行し、バックグラウンドで第２学習モデル３２０による演算を実行してもよい。制御部２０１は、第１学習モデル３１０及び第２学習モデル３２０の評価を定期的なタイミングで行い、評価結果に応じて臓器認識に用いる学習モデルを切り替えてもよい。また、制御部２０１は、術者等により指示が与えられたタイミングで、第１学習モデル３１０及び第２学習モデル３２０の評価を行い、評価結果に応じて臓器認識に用いる学習モデルを切り替えてもよい。更に、実施の形態４で説明した場面認識と組み合わせ、特徴場面を認識した場合に第１学習モデル３１０及び第２学習モデル３２０の評価を行い、評価結果に応じて臓器認識に用いる学習モデルを切り替えてもよい。
【0214】
実施の形態８では、臓器認識用の学習モデル３１０，３２０に対する適用例を説明したが、事象認識用の学習モデル３３０、デバイス認識用の学習モデル３４０、及び場面認識用の学習モデル３５０についてもデフォルトのモデルとオプションのモデルとを用意しておき、これらの演算結果を評価して認識に用いるモデルを切り替えてもよい。
【0215】
実施の形態８では、第１学習モデル３１０及び第２学習モデル３２０の評価手法として、評価係数を用いた手法について説明したが、評価係数を用いた手法に限らず、様々な統計学の指標を用いて評価することが可能である。例えば、制御部２０１は、分布に関して分散や標準偏差を求め、分散や標準偏差が高い場合、分布が二極化していると判断してもよい。また、制御部２０１は、グラフの縦軸の値として１００－画素の割合（％）の値を取り、グラフの尖度や歪度を求めることにより、各モデルの演算結果を評価してもよい。更に、制御部２０１は、最頻値やパーセンタイル等を使用して各モデルの演算結果を評価してもよい。
【0216】
（実施の形態９）
実施の形態９では、フォアグランドで臓器認識を行い、バックグラウンドで出血事象の認識を行う構成について説明する。
実施の形態９では、フォアグランドで臓器認識を行い、バックグラウンドで出血事象の認識を行う構成について説明する。
【0217】
図３８は実施の形態９に係る情報処理装置２００が実行する処理の一例を示すシーケンス図である。情報処理装置２００には、入力部２０４を通じて、ＣＣＵ１１０から出力される術野画像の画像データが随時入力（ビデオ入力）される。入力された術野画像は、例えば記憶部２０２に常時録画される。制御部２０１は、フレーム単位で術野画像をメモリ上に展開し、第１演算部２０５及び第２演算部２０６に演算を指示する。第１演算部２０５が３０ＦＰＳの術野画像を処理する演算能力を有している場合、制御部２０１は、３０ＦＰＳのフレームレートで術野画像をメモリ上に展開する都度、第１演算部２０５に対して演算を指示すればよい。第１演算部２０５は、制御部２０１からの指示に応じて、第１学習モデル３１０に基づく演算（推論処理）を実行し、演算結果に基づき認識される臓器の認識画像を内蔵のＶＲＡＭ上に描画する処理を実行する。ＶＲＡＭ上に描画された臓器の認識画像は、出力部２０７を通じて出力され、表示装置１３０に表示される。実施の形態９に係る情報処理装置２００は、第１演算部２０５による臓器認識（推論）処理と描画処理とをフォアグラウンドで実行することにより、術野画像に含まれる臓器の認識画像を常時表示させることができる。
【0218】
第２演算部２０６は、常時認識しておく必要がない事象の認識処理をバックグラウンドで実行する。実施の形態９では、一例として、出血事象を認識する構成について説明するが、出血事象に代えて臓器の損傷事象や場面を認識する構成であってもよい。第２演算部２０６の演算能力は、第１演算部２０５の演算能力と比較して低くてもよい。例えば第２演算部２０６が６ＦＰＳの術野画像を処理する演算能力を有する場合、図３８に示すように、第２演算部２０６は、３０ＦＰＳで入力される術野画像を５回に１回の頻度で処理を行えばよい。
【0219】
なお、第２演算部２０６がより高い演算能力を有する場合、バックグラウンドで複数の事象の認識処理を実行してもよい。例えば、第２演算部２０６が第１演算部２０５と同じ演算能力を有する場合、最大で５種類の事象の認識処理を実行することが可能であり、出血、臓器損傷などの事象を順次実行すればよい。
【0220】
図３９は第１演算部２０５が実行する処理の手順を示すフローチャートである。第１演算部２０５は、現時点が推論モードであるか否かを判断する（ステップＳ９０１）。推論モードである場合（Ｓ９０１：ＹＥＳ）、第１演算部２０５は、制御部２０１によってメモリ上に展開された最新のフレームを取得し（ステップＳ９０２）、推論処理を実行する（ステップＳ９０３）。推論処理において、第１演算部２０５は、臓器認識用の第１学習モデル３１０に従って演算を実行する。第１学習モデル３１０を用いた演算により、臓器の認識画像が得られる。第１演算部２０５は、臓器の認識画像を内蔵のＶＲＡＭ上に描画する描画処理を実行する（ステップＳ９０４）。ＶＲＡＭ上に描画された臓器の認識画像は出力部２０７を通じて表示装置１３０に出力され、表示装置１３０にて表示される。描画処理を終えた後、第１演算部２０５は、処理をステップＳ９０１へ戻す。
【0221】
現時点が推論モードでない場合（Ｓ９０１：ＮＯ）、第１演算部２０５は、現時点が再生モードであるか否かを判断する（ステップＳ９０５）。再生モードでない場合（Ｓ９０５：ＮＯ）、第１演算部２０５は、処理をステップＳ９０１へ戻す。
【0222】
現時点が再生モードである場合（Ｓ９０５：ＹＥＳ）、第１演算部２０５は、第２演算部２０６によって作成された出血ログを取得し（ステップＳ９０６）、保存された部分映像から指定フレームを取得する（ステップＳ９０７）。ここで部分映像は、出血開始時点から出血終了時点までの時間範囲のフレームを有する術野の映像である。代替的に、部分映像は、出血開始時点を含み、出血開始前の時点から所定時間範囲が経過する時点までのフレームを有する術野の映像であってもよい。第２演算部２０６は、内蔵のＶＲＡＭ上に部分映像を描画する描画処理を実行する（ステップＳ９０８）。ＶＲＡＭ上に描画された部分映像は出力部２０７を通じて表示装置１３０に出力され、表示装置１３０にて表示される。描画処理を終えた後、第１演算部２０５は、処理をステップＳ９０５へ戻す。
【0223】
図４０は第２演算部２０６が実行する処理の手順を示すフローチャートである。第２演算部２０６は、制御部２０１によってメモリ上に展開された最新のフレームを取得し（ステップＳ９２１）、推論処理を実行する（ステップＳ９２２）。推論処理において、第２演算部２０６は、事象認識用の第３学習モデル３３０に従って演算を実行する。
【0224】
第２演算部２０６は、第３学習モデル３３０による演算結果に基づき、出血判定処理及びログ記録処理を実行する（ステップＳ９２３）。第２演算部２０６は、第３学習モデル３３０の演算結果に基づき、出血と認識された画素の数（若しくは術野画像内の割合）が閾値以上となった場合、出血の開始を認識したと判定する。また、第２演算部２０６は、出血の開始を認識した後、出血と認識された画素の数（若しくは術野画像内の割合）が閾値未満となった場合、出血の終了を認識したと判定する。第２演算部２０６は、出血の開始若しくは出血の終了を認識した場合、ログに出血の開始又は出血の終了を記録する。
【0225】
第２演算部２０６は、出血開始及び出血終了のセットが揃ったか否かを判断する（ステップＳ９２４）。セットが揃っていない場合（Ｓ９２４：ＮＯ）、第２演算部２０６は、処理をステップＳ９２１へ戻す。セットが揃った場合、第２演算部２０６は、部分映像を保存する（ステップＳ９２５）。すなわち、第２演算部２０６は、出血開始時点から出血終了時点までの時間範囲のフレームを有する術野の映像を記憶部２０２に記憶させればよい。また、第２演算部２０６は、出血開始時点を含み、出血開始前の時点から所定時間範囲が経過する時点までのフレームを有する術野の映像を部分映像として記憶部２０２に記憶させてもよい。
【0226】
以上のように、実施の形態９では、臓器認識をフォアグラウンドで実行し、事象認識をバックグラウンドで実行する。第２演算部２０６において出血などの事象が認識された場合、第１演算部２０５は、臓器の認識処理及び描画処理に代えて、ログとして記録されている事象の描画処理を実行することができる。
【0227】
なお、制御部２０１は、第１演算部２０５及び第２演算部２０６における負荷を常時モニタリングし、各演算部の負荷に応じて、第２演算部２０６が実行すべき演算を第１演算部２０５において実行してもよい。
【0228】
今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【0229】
例えば、実施の形態１～８に係る情報処理装置２００は、２種類の学習モデルによる演算結果から統合的な認識結果を導出する構成としたが、３種類以上の学習モデルによる演算結果から統合的な認識結果を導出する構成としてもよい。例えば、実施の形態１と実施の形態２とを組み合わせ、情報処理装置２００は、臓器認識用の２種類の学習モデル３１０，３２０の演算結果と、事象認識用の学習モデル３３０の演算結果とに基づき、統合的な認識結果を導出してもよい。また、実施の形態２と実施の形態３とを組み合わせ、情報処理装置２００は、臓器認識用の学習モデル３１０の演算結果、事象認識用の学習モデル３３０の演算結果、及びデバイス認識用の学習モデル３４０の演算結果に基づき、統合的な認識結果を導出してもよい。情報処理装置２００は、これらの組み合わせに限らず、実施の形態１～８を適宜組み合わせて、統合的な認識結果を導出してもよい。
【0230】
また、本実施の形態では、第１演算部２０５において一方の学習モデルによる演算を実行し、第２演算部２０６において他方の学習モデルによる演算を実行する構成としたが、学習モデルによる演算を実行するハードウェアは第１演算部２０５及び第２演算部２０６に限定されない。例えば、制御部２０１において２種類以上の学習モデルによる演算を実行してもよいし、仮想マシンを用意して仮想マシン上で２種類以上の学習モデルによる演算を実行してもよい。
【0231】
また、本実施の形態では、フローチャートにより処理の順番を規定したが、一部の処理については同時並行的に実行してもよく、処理の順番を入れ替えてもよい。
【0232】
各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
【符号の説明】
【0233】
１０ トロッカ
１１ 腹腔鏡
１２ エネルギ処置具
１３ 鉗子
１１０ カメラコントロールユニット（ＣＣＵ）
１２０ 光源装置
１３０ 表示装置
１４０ 録画装置
２００ 情報処理装置
２０１ 制御部
２０２ 記憶部
２０３ 操作部
２０４ 入力部
２０５ 第１演算部
２０６ 第２演算部
２０７ 出力部
２０８ 通信部
３１０ 第１学習モデル
３２０ 第２学習モデル
ＰＧ１ 認識処理プログラム
ＰＧ２ 表示処理プログラム
１１ 腹腔鏡
１２ エネルギ処置具
１３ 鉗子
１１０ カメラコントロールユニット（ＣＣＵ）
１２０ 光源装置
１３０ 表示装置
１４０ 録画装置
２００ 情報処理装置
２０１ 制御部
２０２ 記憶部
２０３ 操作部
２０４ 入力部
２０５ 第１演算部
２０６ 第２演算部
２０７ 出力部
２０８ 通信部
３１０ 第１学習モデル
３２０ 第２学習モデル
ＰＧ１ 認識処理プログラム
ＰＧ２ 表示処理プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】