特許 7461689 推論装置、情報処理方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-27

(45)【発行日】2024-04-04

(54)【発明の名称】推論装置、情報処理方法、及びコンピュータプログラム

(51)【国際特許分類】

   A61B 34/30 20160101AFI20240328BHJP

【ＦＩ】

A61B34/30

【請求項の数】 35

(21)【出願番号】P 2023547013

(86)(22)【出願日】2022-09-09

(86)【国際出願番号】 JP2022033958

(87)【国際公開番号】W WO2023038127

(87)【国際公開日】2023-03-16

【審査請求日】2024-01-05

(31)【優先権主張番号】63/242,628

(32)【優先日】2021-09-10

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】520285640

【氏名又は名称】アナウト株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】小林 直

(72)【発明者】

【氏名】熊頭 勇太

(72)【発明者】

【氏名】銭谷 成昊

【審査官】木村 立人

(56)【参考文献】

【文献】特開２０２０－４６８９３（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３９２４４（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１５５８１５（ＷＯ，Ａ１）

【文献】特開２０２０－６２３７２（ＪＰ，Ａ）

【文献】特表２０１８－５１８２１８（ＪＰ，Ａ）

【文献】特表２０２１－５２５１３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／００ ― ３４／３７

(57)【特許請求の範囲】

【請求項1】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果の確信度を算出する算出部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備え、
前記制御部は、前記推論部が前記対象物の領域を推論した場合、前記推論結果の確信度が相対的に高い領域に追従するように前記撮像部を移動させるべく、前記制御情報を生成する
推論装置。

【請求項2】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備え、
前記制御部は、前記推論部が対象物の領域を推論した場合における前記対象物の面積を算出し、算出した面積が増減している部分に追従して前記撮像部を移動させるべく、前記制御情報を生成する
推論装置。

【請求項3】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備え、
前記制御部は、前記推論部による推論結果に基づいて、前記コンソールを操作する術者の動作又はジェスチャを認識し、認識した前記術者の動作又はジェスチャに応じて、前記撮像部又は手術デバイスの動作を制御すべく、制御情報を生成する
推論装置。

【請求項4】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備え、
前記制御部は、前記推論部が対象物の領域を推論した場合における前記対象物の面積又は形状を求め、前記対象物の面積又は形状に応じて、使用すべき手術デバイスを選択又は制御するための制御情報を生成する
推論装置。

【請求項5】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果の確信度を算出する算出部と、
前記算出部にて算出した確信度に応じて、前記術野画像の解像度を変更する解像度変更部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備える推論装置。

【請求項6】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
前記手術ロボットの情報を前記コンソールから取得する情報取得部と、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果の確信度を算出し、算出した確信度と、前記情報取得部が取得した情報とに基づき、前記手術ロボットによる手術のスコアを算出する算出部と、
前記算出部が算出したスコアに応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備える推論装置。

【請求項7】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得する画像取得部と、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果の確信度を算出する算出部と、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に基づき、警報を出力する出力部と、
前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備える推論装置。

【請求項8】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得する画像取得部と、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
前記推論部による推論結果の確信度を算出する算出部と、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に応じて、前記撮像部を移動させるための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備える推論装置。

【請求項9】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得する画像取得部と、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処理を行う推論部と、
取得した左眼用の術野画像及び右眼用の術野画像に基づき、奥行情報を算出する算出部と、
前記推論部による推論結果と前記算出部が算出した奥行情報とに基づき、前記手術ロボットの動作を制御するための制御情報を生成する制御部と、
前記制御部が生成した制御情報を前記コンソールへ送信する送信部と
を備える推論装置。

【請求項10】

前記推論部は、前記対象物の位置を推論した場合における前記対象物の位置を示す画像データを生成し、
前記送信部は、前記コンソールへの一方向通信により、前記画像データを送信する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項11】

前記推論部は、前記対象物の位置を推論した場合における前記対象物の位置を示す位置情報を生成し、
前記送信部は、前記コンソールとの双方向通信により、前記位置情報を送信する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項12】

前記制御部は、前記推論部による推論結果に応じて前記撮像部を移動させるべく、前記制御情報を生成する
請求項４から請求項７、及び請求項９の何れか１つに記載の推論装置。

【請求項13】

前記推論部が推論する対象物は、手術デバイスであり、
前記制御部は、前記推論部が手術デバイスの位置又は領域を推論した場合、前記手術デバイスの先端部分に追従して前記撮像部を移動させるべく、前記制御情報を生成する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項14】

前記制御部は、前記推論部が対象物の位置又は領域を推論した場合、前記対象物上の指定された位置へ前記撮像部を移動させるべく、前記制御情報を生成する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項15】

前記制御部は、前記推論部が対象物の位置又は領域を推論した場合、前記撮像部と前記対象物との間の距離に応じて前記撮像部を移動させるべく、前記制御情報を生成する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項16】

前記推論部は、前記コンソールによって操作される手術デバイスに関する推論処理を行い、
前記制御部は、前記手術デバイスに関する推論結果に応じて前記撮像部又は手術デバイスの動作を制御すべく、制御情報を生成する
請求項１から請求項９の何れか１つに記載の推論装置。

【請求項17】

前記左眼用の術野画像及び前記右眼用の術野画像に基づき、奥行情報を算出する算出部を備え、
前記送信部は、算出した奥行情報を前記コンソールへ送信する
請求項７又は請求項８に記載の推論装置。

【請求項18】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記術野画像から前記対象物の領域を推論した場合、推論結果の確信度が相対的に高い領域に追従するように前記撮像部を移動させるべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項19】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
前記術野画像から前記対象物の領域を推論した場合における前記対象物の面積を算出し、
算出した面積が増減している部分に追従して前記撮像部を移動させるべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項20】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果に基づいて、前記コンソールを操作する術者の動作又はジェスチャを認識し、
認識した前記術者の動作又はジェスチャに応じて、前記撮像部又は手術デバイスの動作を制御すべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項21】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
前記術野画像から前記対象物の領域を推論した場合における前記対象物の面積又は形状を求め、
前記対象物の面積又は形状に応じて、使用すべき手術デバイスを選択又は制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項22】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
算出した確信度に応じて、前記術野画像の解像度を変更し、
前記推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項23】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
前記手術ロボットの情報を前記コンソールから取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処を行い、
推論結果の確信度を算出し、
算出した確信度と、前記コンソールより取得した前記手術ロボットの情報とに基づき、前記手術ロボットによる手術のスコアを算出し、
算出したスコアに応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項24】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に基づき、警報を出力し、
前記推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項25】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に応じて、前記撮像部を移動させるための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項26】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
取得した左眼用の術野画像及び右眼用の術野画像に基づき、奥行情報を算出し、
推論結果と算出した奥行情報とに基づき、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行する情報処理方法。

【請求項27】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記術野画像から前記対象物の領域を推論した場合、推論結果の確信度が相対的に高い領域に追従するように前記撮像部を移動させるべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項28】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
前記術野画像から前記対象物の領域を推論した場合における前記対象物の面積を算出し、
算出した面積が増減している部分に追従して前記撮像部を移動させるべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項29】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果に基づいて、前記コンソールを操作する術者の動作又はジェスチャを認識し、
認識した前記術者の動作又はジェスチャに応じて、前記撮像部又は手術デバイスの動作を制御すべく、制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項30】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
前記術野画像から前記対象物の領域を推論した場合における前記対象物の面積又は形状を求め、
前記対象物の面積又は形状に応じて、使用すべき手術デバイスを選択又は制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項31】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
算出した確信度に応じて、前記術野画像の解像度を変更し、
前記推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項32】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部により撮像された術野画像を取得し、
前記手術ロボットの情報を前記コンソールから取得し、
取得した術野画像に基づき、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論処を行い、
推論結果の確信度を算出し、
算出した確信度と、前記コンソールより取得した前記手術ロボットの情報とに基づき、前記手術ロボットによる手術のスコアを算出し、
算出したスコアに応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項33】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に基づき、警報を出力し、
前記推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項34】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
推論結果の確信度を算出し、
前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に応じて、前記撮像部を移動させるための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【請求項35】

手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
前記手術ロボットの撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
取得した左眼用の術野画像及び右眼用の術野画像の夫々について、認識すべき対象物の位置、認識すべき対象物の領域、前記術野画像内で発生している事象、特定の臓器を含む場面、手術において特徴的な手技操作を行う場面、及び特定の手術デバイスを用いて特徴的な操作を行う場面の少なくとも１つに関する推論を行い、
取得した左眼用の術野画像及び右眼用の術野画像に基づき、奥行情報を算出し、
推論結果と算出した奥行情報とに基づき、前記手術ロボットの動作を制御するための制御情報を生成し、
生成した制御情報を前記コンソールへ送信する
処理を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推論装置、情報処理方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

現在、手術ロボットを用いた手術が患者に対して行われている。この種の手術ロボットでは、手術に用いる２つの鉗子がそれぞれ２つのロボットアームに取り付けられる。また、内視鏡によって患部が撮影され、患部の３次元画像（左右の目の視差を利用して立体的な視覚が得られる画像）がモニタに表示される。医師等の術者は、モニタを参照しながら、両手で操作ユニットを操作して、各アームに取り付けられた鉗子を操る。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－３８０７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、術野画像についての推論結果を術者に提示する技術についての記載は存在しない。

【0005】

本発明は、手術ロボットから得られる術野画像について推論を行い、推論結果に基づく情報をコンソールへ送信することができる推論装置、情報処理方法、及びコンピュータプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様における推論装置は、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、取得した術野画像について推論処理を行う推論部と、前記コンソールによる送信設定に応じて、前記画像取得部より取得した術野画像、及び、前記推論部による推論結果に基づく情報の少なくとも一方を、前記コンソールへ送信する送信部とを備える。

【0007】

本発明の一態様における情報処理方法は、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、前記手術ロボットの撮像部により撮像された術野画像を取得し、取得した術野画像について推論を行い、前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する処理を実行する。

【0008】

本発明の一態様におけるコンピュータプログラムは、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、前記手術ロボットの撮像部により撮像された術野画像を取得し、取得した術野画像について推論を行い、前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する処理を実行させるためのコンピュータプログラムである。

【発明の効果】

【0009】

本願によれば、手術ロボットから得られる術野画像について推論を行い、推論結果に基づく情報をコンソールへ送信することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態１に係る手術ロボットシステムの構成例を説明するブロック図である。

【図2】術野画像の一例を示す模式図である。

【図3】学習モデルの構成例を示す模試図である。

【図4】推論画像の一例を示す模式図である。

【図5】コンソールにおける表示例を示す模式図である。

【図6】実施の形態１に係る手術ロボットシステムにおいて実行する処理の手順を説明するフローチャートである。

【図7】実施の形態２に係る手術ロボットシステムにおいて実行する処理の手順を説明するフローチャートである。

【図8】制御手法の第１の具体例を説明する説明図である。

【図9】制御手法の第２の具体例を説明する説明図である。

【図10】制御手法の第３の具体例を説明する説明図である。

【図11】制御手法の第４の具体例を説明する説明図である。

【図12】制御手法の第５の具体例を説明する説明図である。

【図13】制御手法の第６の具体例を説明する説明図である。

【図14】実施の形態３における推論ユニットが実行する処理の手順を説明するフローチャートである。

【図15】実施の形態４における推論ユニットが実行する処理の手順を説明するフローチャートである。

【図16】実施の形態５における推論ユニットが実行する処理の手順を説明するフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は実施の形態１に係る手術ロボットシステム１の構成例を示すブロック図である。実施の形態１に係る手術ロボットシステム１は、手術ロボット１０、推論ユニット２０、サーバ装置３０、及びコンソール４０を備える。手術ロボットシステム１では、手術ロボット１０に搭載される腹腔鏡１５によって術野を撮像し、腹腔鏡１５より得られる術野画像をコンソール４０のモニタ４４Ａ，４４Ｂに表示させる。術者（医師）は、モニタ４４Ａ，４４Ｂに表示される術野画像を確認しながら、アーム操作デバイス４３を動かすことによって、手術ロボット１０に搭載される手術デバイスを操作し、腹腔鏡手術を行う。

【0012】

なお、本発明は、腹腔鏡手術に限らず、胸腔鏡、消化管内視鏡、膀胱鏡、関節鏡、脊椎内視鏡、神経内視鏡、手術顕微鏡などを用いたロボット支援下内視鏡手術全般に適用可能である。

【0013】

以下、手術ロボット１０、推論ユニット２０、サーバ装置３０、及びコンソール４０の各構成について説明する。

【0014】

手術ロボット１０は、制御部１１、駆動部１２Ａ～１２Ｄ、アーム部１３Ａ～１３Ｄ、光源装置１４、腹腔鏡１５、信号処理部１６などを備える。

【0015】

制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより構成される。制御部１１は、コンソール４０から入力される制御情報などに基づき、手術ロボット１０が備えるハードウェア各部の動作を制御する。

【0016】

手術ロボット１０が備えるアーム部１３Ａ～１３Ｄのうち、１つ（アーム部１３Ａとする）は、腹腔鏡１５を３次元的に移動させるために用いられる。このため、アーム部１３Ａの先端部には腹腔鏡１５が装着される。駆動部１２Ａは、アーム部１３Ａを駆動するアクチュエータやモータ等を備えており、制御部１１からの制御によってアーム部１３Ａを駆動することにより、先端部に装着された腹腔鏡１５を３次元的に移動させる。なお、腹腔鏡１５の移動制御は、自動制御であってもよく、コンソール４０を介した手動制御であってもよい。

【0017】

残りの３つ（アーム部１３Ｂ～１３Ｄとする）は、手術デバイスを３次元的に移動させるために用いられる。このため、アーム部１３Ｂ～１３Ｄの先端部には手術デバイスが装着される。手術デバイスは、鉗子、エネルギ処置具、血管クリップ、自動吻合器などを含む。駆動部１２Ｂは、アーム部１３Ｂを駆動するアクチュエータやモータ等を備えており、制御部１１からの制御によってアーム部１３Ｂを駆動することにより、先端部に装着された手術デバイスを３次元的に移動させる。駆動部１２Ｃ，１２Ｄについても同様である。なお、手術デバイスの移動制御は、主としてコンソール４０を介した手動制御であるが、補助的に自動制御が用いられてもよい。また、３つのアーム部１３Ｂ～１３Ｄは同時に制御される必要はなく、３つのアーム部１３Ｂ～１３Ｄのうちの２つが適宜選択されて手動制御される。

【0018】

光源装置１４は、光源、ライトガイド、照明レンズなどを備える。光源装置１４は、光源から出射される照明光をライトガイドの先端部へ導き、ライトガイドの先端部に設けられた照明レンズを介して術野に照明光を照射する。光源装置１４が照射する光は、通常光であってもよく、特殊光であってもよい。通常光とは、例えば白色光の波長帯域（３８０ｎｍ～６５０ｎｍ）を有する光である。一方、特殊光は、通常光とは異なる別の照明光であり、狭帯域光、赤外光、励起光などが該当する。

【0019】

腹腔鏡１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、タイミングジェネレータ（ＴＧ）やアナログ信号処理回路（ＡＦＥ）などを搭載したドライバ回路を備える。腹腔鏡１５のドライバ回路は、ＴＧから出力されるクロック信号に同期して撮像素子から出力されるＲＧＢ各色の信号を取り込み、ＡＦＥにおいて、ノイズ除去、増幅、ＡＤ変換などの必要な処理を施し、デジタル形式の画像データ（術野画像）を生成する。

【0020】

信号処理部１６は、ＤＳＰ（Digital Signal Processor）や画像メモリなどを備え、腹腔鏡１５より入力される画像データに対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の適宜の処理を施す。信号処理部１６は、処理後の画像データから動画用のフレーム画像を生成し、生成した各フレーム画像を推論ユニット２０へ順次出力する。フレーム画像のフレームレートは、例えば３０ＦＰＳ（Frames Per Second）である。一例では、信号処理部１６は、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternating Line）、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）などの所定の規格に準拠した映像データを出力してもよい。

【0021】

推論ユニット２０は、演算部２１、記憶部２２、第１接続部２３、第２接続部２４、第３接続部２５などを備える。

【0022】

演算部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成される。演算部２１内のＲＯＭには、推論ユニット２０が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。演算部２１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部２２に記憶されたコンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願の推論装置として機能させる。演算部２１内のＲＡＭには、演算の実行中に利用されるデータ等が一時的に記憶される。

【0023】

本実施の形態では、演算部２１がＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、演算部２１の構成は任意であり、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える演算回路や制御回路であればよい。また、演算部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有するものであってもよい。

【0024】

記憶部２２は、フラッシュメモリなどの記憶装置を備える。記憶部２２には、演算部２１によって実行されるコンピュータプログラム、外部から取得した各種のデータ、装置内部で生成した各種のデータ等が記憶される。

【0025】

記憶部２２に記憶されるコンピュータプログラムは、術野画像についての推論処理を演算部２１に実行させるための推論処理プログラムＰＧなどを含む。これらのコンピュータプログラムは、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構築されるプログラム群であってもよい。また、推論処理プログラムＰＧを含むコンピュータプログラムは、複数のコンピュータに分散して配置され、複数のコンピュータにより協働して実行されるものであってもよい。

【0026】

推論処理プログラムＰＧを含むコンピュータプログラムは、コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。記録媒体ＲＭは、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カードなどの可搬型メモリである。演算部２１は、図に示していない読取装置を用いて、記録媒体ＲＭから所望のコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部２２に記憶させる。代替的に、推論処理プログラムＰＧを含むコンピュータプログラムは、通信により提供されてもよい。この場合、演算部２１は、通信により所望のコンピュータプログラムをダウンロードし、ダウンロードしたコンピュータプログラムを記憶部２２に記憶させる。

【0027】

また、記憶部２２には、推論処理に用いられる学習モデルＭＤが記憶される。学習モデルＭＤの一例は、術野画像内で認識すべき対象物の位置を推論するために用いられる学習モデルである。この場合、学習モデルＭＤは、術野画像を入力した場合、対象物の位置を示す情報を出力するよう構成される。ここで、術野画像内で認識すべき対象物は、食道、胃、大腸、膵臓、脾臓、尿管、肺、前立腺、子宮、胆嚢、肝臓、精管などの臓器であってもよく、血液、結合組織、脂肪、神経、血管、筋肉、膜状構造物などの組織であってもよい。また、対象物は、鉗子、エネルギ処置具、血管クリップ、自動吻合器などの手術デバイスであってもよい。学習モデルＭＤは、対象物の位置を示す情報として、画素単位若しくは特定の領域単位で対象物に該当するか否かを示す確率の情報を出力すればよい。記憶部２２には、学習済みのパラメータを含む学習モデルＭＤの定義情報が記憶される。

【0028】

学習モデルＭＤの他の例は、場面を推論するために用いられる学習モデルである。この場合、学習モデルＭＤは、術野画像を入力した場合、手術画像が示す場面に関する情報を出力するよう構成される。学習モデルＭＤが出力する場面に関する情報は、例えば、特定の臓器を含む場面である確率、手術において特徴的な手技操作を行う場面である確率、特定の手術デバイス（血管クリップや自動吻合器など）を用いて特徴的な操作（血管の結紮や腸管の切離、吻合など）を行う場面の確率などの情報である。

【0029】

簡略化のために、図１では１つの学習モデルＭＤのみを示しているが、複数の学習モデルが記憶部２２に記憶されてもよい。例えば、記憶部２２には、複数種の臓器を認識するために、各臓器に対応した複数の学習モデルが記憶されてもよく、臓器及びその他の構造物を認識するために、それぞれに対応した複数の学習モデルが記憶されてもよい。また、記憶部２２には、臓器などの構造物を認識するための学習モデルと、場面を認識するための学習モデルとが記憶されてもよい。

【0030】

第１接続部２３は、手術ロボット１０を接続する接続インタフェースを備える。推論ユニット２０には、腹腔鏡１５によって撮像され、信号処理部１６によって処理が施された術野画像の画像データが第１接続部２３を通じて入力される。第１接続部２３より入力された画像データは演算部２１や記憶部２２へ出力される。

【0031】

第２接続部２４は、サーバ装置３０を接続する接続インタフェースを備える。推論ユニット２０は、手術ロボット１０より取得した術野画像の画像データや演算部２１による推論結果を第２接続部２４よりサーバ装置３０へ出力する。

【0032】

第３接続部２５は、コンソール４０を接続する接続インタフェースを備える。推論ユニット２０は、手術ロボット１０より取得した術野画像の画像データや演算部２１による推論結果を第３接続部２５よりコンソール４０へ出力する。また、推論ユニット２０には、手術ロボット１０に関する制御情報が第３接続部を通じて入力されてもよい。手術ロボット１０に関する制御情報は、例えば、アーム部１３Ａ～１３Ｄの位置、角度、速度、加速度などの情報を含む。

【0033】

推論ユニット２０は、術者等によって操作される各種のスイッチやレバーにより構成される操作部を備えてもよい。操作部が備えるスイッチやレバーには、予め定められた特定の機能が割り当てられてもよく、術者によって設定された機能が割り当てられてもよい。推論ユニット２０は、術者等に報知すべき情報を文字や画像により表示する表示部を備えてもよく、術者等に報知すべき情報を音声や音により出力する出力部を備えてもよい。

【0034】

サーバ装置３０は、コーデック部３１、データベース３２などを備える。コーデック部３１は、推論ユニット２０より入力される術野の画像データを符号化し、データベース３２に記憶させる機能、データベース３２に記憶された画像データを読み出し、復号する機能等を備える。データベース３２は、コーデック部３１により符号化された画像データを記憶する。

【0035】

コンソール４０は、マスターコントローラ４１、入力デバイス４２、アーム操作デバイス４３、モニタ４４Ａ，４４Ｂなどを備える。

【0036】

マスターコントローラ４１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成され、コンソール４０が備えるハードウェア各部の動作を制御する。入力デバイス４２は、キーボード、タッチパネル、スイッチ、レバーなどの入力デバイスであり、術者等による指示や情報の入力を受付ける。入力デバイス４２は、主として、推論ユニット２０を操作するためのデバイスであるが、コンソール４０における表示機能の切り替えを受付けるために、操作対象を選べるように構成されてもよい。

【0037】

アーム操作デバイス４３は、手術ロボット１０のアーム部１３Ａ～１３Ｂを遠隔操作するための操作具を備える。操作具は、術者の左手により操作される左手用操作杆と、術者の右手により操作される右手用操作杆とを含む。アーム操作デバイス４３は、操作具の動きをロータリーエンコーダなどの計測器により計測し、計測値をマスターコントローラ４１へ出力する。マスターコントローラ４１は、アーム操作デバイス４３より入力される計測値に基づき、手術ロボット１０のアーム部１３Ａ～１３Ｄを制御するための制御指令を生成し、生成した制御指令を手術ロボット１０へ送信する。手術ロボット１０では、コンソール４０から入力される制御指令に基づき、アーム部１３Ａ～１３Ｄの動作を制御する。これにより、手術ロボット１０のアーム部１３Ａ～１３Ｄは、コンソール４０での操作具（左手用操作杆及び右手用操作杆）の動きに追従して動作するよう構成される。

【0038】

モニタ４４Ａ，４４Ｂは、術者に対して必要な情報を表示するための液晶ディスプレイ等の表示装置である。モニタ４４Ａ，４４Ｂは、例えば、一方が術野画像等を表示するためのメインモニタとして使用され、他方が患者情報等の補足情報を表示するためのサブモニタとして使用される。また、腹腔鏡１５が左眼用の術野画像及び右眼用の術野画像を出力する構成であれば、左眼用の術野画像をモニタ４４Ａに表示し、右眼用の術野画像をモニタ４４Ｂに表示することにより、術野画像の３次元表示を行ってもよい。

【0039】

図１に示す構成例では、推論ユニット２０とサーバ装置３０とを別体として備える構成としたが、推論ユニット２０及びサーバ装置３０は一体の装置として構成されてもよい。更に、推論ユニット２０及びサーバ装置３０は、コンソール４０に組み込まれてもよい。

【0040】

次に、推論ユニット２０に入力される術野画像について説明する。
図２は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡１５により撮像して得られる画像である。術野画像は、腹腔鏡１５が出力する生の画像である必要はなく、信号処理部１６などによって処理が施された画像（フレーム画像）であればよい。

【0041】

腹腔鏡１５により撮像される術野には、臓器、血管、神経、結合組織、病変部、膜や層などの様々な組織が含まれる。術者は、これらの解剖学的構造の関係を把握しながら、エネルギ処置具や鉗子などの術具を用いて、病変部を含む組織の剥離を行う。図２に示す術野には、悪性腫瘍などの病変部を含む組織ＮＧ、臓器を構成する組織ＯＲＧ、及びこれらの組織を結合する結合組織ＣＴが含まれている。本実施の形態において、組織ＮＧは体内から除去されるべき部位であり、組織ＯＲＧは体内に残存させるべき部位である。図２の例では、結合組織ＣＴは、組織ＮＧが鉗子１３０Ｂによって把持され、図の上方に展開されることによって露出されている。

【0042】

腹腔鏡手術では、例えば患者の体内に形成された悪性腫瘍などの病変部を取り除く手術を行う。このとき、術者は、病変部を含む組織ＮＧを鉗子１３０Ｂにより把持し、適宜の方向に展開させることによって、病変部を含む組織ＮＧと残すべき組織ＯＲＧとの間に存在する結合組織ＣＴを露出させる。術者は、露出させた結合組織ＣＴをエネルギ処置具１３０Ｃを用いて切除することにより、病変部を含む組織ＮＧを残すべき組織ＯＲＧから剥離させる。

【0043】

推論ユニット２０は、図２に示すような術野画像を取得し、取得した術野画像について推論処理を行う。具体的には、推論ユニット２０は、術野画像内で認識すべき対象物の位置を推論する。推論処理には、学習モデルＭＤが用いられる。

【0044】

図３は学習モデルＭＤの構成例を示す模試図である。学習モデルＭＤは、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。学習モデルＭＤは、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。また、学習モデルＭＤは、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて構築されてもよい。

【0045】

学習モデルＭＤは、例えば、エンコーダＥＮ、デコーダＤＥ、及びソフトマックス層ＳＭを備える。エンコーダＥＮは、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。図３の例では、畳み込み層にはハッチングを付さずに示し、プーリング層にはハッチングを付して示している。

【0046】

畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。

【0047】

プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図３の例は、エンコーダＥＮにおいて畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。

【0048】

エンコーダＥＮの出力（図３の例では１×１の特徴マップ）は、デコーダＤＥに入力される。デコーダＤＥは、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。図３の例では、逆畳み込み層にはハッチングを付さずに示し、逆プーリング層にはハッチングを付して示している。

【0049】

逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。

【0050】

デコーダＤＥが備える逆プーリング層は、エンコーダＥＮが備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダＥＮのプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図３の例は、デコーダＤＥにおいて畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。

【0051】

デコーダＤＥの出力（図３の例では２２４×２２４の特徴マップ）は、ソフトマックス層ＳＭに入力される。ソフトマックス層ＳＭは、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。本実施の形態に係る学習モデルＭＤは、術野画像の入力に対して、各画素が認識すべき対象物に該当するか否かを示す確率をソフトマックス層ＳＭより出力すればよい。

【0052】

推論ユニット２０の演算部２１は、学習モデルＭＤによる演算結果を参照し、ソフトマックス層ＳＭから出力されるラベルの確率が閾値以上（例えば９０％以上）の画素を抽出することによって、認識すべき対象物の位置を示す画像（推論画像）を生成することができる。

【0053】

図４は推論画像の一例を示す模式図である。図４の例は結合組織の位置を示す推論画像である。図４では、学習モデルＭＤを用いて推論した結合組織部分を太実線により示し、それ以外の臓器や組織の部分を参考として破線により示している。推論ユニット２０の演算部２１は、推論した結合組織部分を判別可能に表示するために結合組織の推論画像を生成する。推論画像は、術野画像と同一サイズの画像であり、結合組織として推論された画素に特定の色を割り当てた画像である。結合組織の画素に割り当てる色は、臓器や血管などと区別が付くように、人体内部に存在しない色であることが好ましい。人体内部に存在しない色とは、例えば青色や水色などの寒色系（青系）の色である。また、推論画像を構成する各画素には透過度が設定され、結合組織として認識された画素は不透過、それ以外の画素は透過に設定される。このように生成された推論画像を術野画像上に重ねて表示することにより、結合組織部分を特定の色を有する構造として術野画像上に表示することができる。

【0054】

図４の例では結合組織の推論画像を示しているが、認識すべき対象物は結合組織に限らず、臓器、血液（出血）、手術デバイス等の任意の構造物であってもよい。本実施の形態では、認識すべき対象物は事前に設定されており、当該対象物用の学習モデルＭＤは事前に学習されて記憶部２２に記憶されているものとする。

【0055】

推論ユニット２０は、手術ロボット１０から取得した術野画像（元画像ともいう）、及び、術野画像から生成した推論画像の少なくとも一方をコンソール４０へ送信する。送信対象の画像は、コンソール４０の入力デバイス４２を通じて設定される。すなわち、元画像及び推論画像の双方を送信するとの送信設定であれば、推論ユニット２０は、元画像及び推論画像の双方をコンソール４０へ送信し、元画像のみ（又は推論画像のみ）を送信するとの送信設定であれば、推論ユニット２０は、元画像のみ（又は推論画像のみ）をコンソール４０へ送信する。

【0056】

本実施の形態では、術野画像内での対象物の位置を示す推論画像を生成し、生成した推論画像をコンソール４０へ送信する構成としたが、推論画像を送信する構成に代えて、術野画像内での対象物の位置を示す位置情報を生成し、生成した位置情報をコンソール４０へ送信する構成としてもよい。ここで、対象物の位置を示す位置情報とは、対象物に該当する画素を指定する情報であってもよく、領域の輪郭や重心等を指定する情報であってもよい。なお、推論画像を送信する場合には、推論ユニット２０からコンソール４０への一方向通信を使用し、位置情報を送信する場合には、推論ユニット２０とコンソール４０との間の双方向通信を使用してもよい。また、元画像及び推論画像（若しくは位置情報）は、サーバ装置３０に送信されて、データベース３２に登録されてもよい。

【0057】

コンソール４０は、推論ユニット２０から送信される術野画像及び推論画像を受信し、モニタ４４Ａ，４４Ｂに表示する。図５はコンソール４０における表示例を示す模式図である。コンソール４０は、推論画像を術野画像上に重畳してモニタ４４Ａ（又はモニタ４４Ｂ）に表示することができる。図５の表示例は、結合組織の推論画像を元画像に重畳して表示した例を示している。作図の都合上、結合組織部分を太実線により示しているが、実際には、結合組織に該当する部分が画素単位で青色や水色などの人体内部に存在しない色で塗られるため、術者は、表示画面を確認することにより、結合組織を明確に判別することができ、切除すべき部位を把握できる。

【0058】

本実施の形態では、推論画像を術野画像上に重畳してモニタ４４Ａ（又はモニタ４４Ｂ）に表示する構成としたが、表示画面内の一の領域に術野画像を表示し、他の領域に推論画像を表示してもよい。また、術野画像を一方のモニタ４４Ａに表示し、推論画像を他方のモニタ４４Ｂに表示してもよい。

【0059】

コンソール４０は、術野画像内での対象物の位置を示す位置情報を推論ユニット２０から受信した場合、位置情報に基づき対象物の推論画像を生成し、生成した推論画像を、術野画像上に重畳して（若しくは術野画像と独立して）モニタ４４Ａ，４４Ｂに表示すればよい。

【0060】

以下、手術ロボットシステム１の動作について説明する。
図６は実施の形態１に係る手術ロボットシステム１において実行する処理の手順を説明するフローチャートである。コンソール４０は、入力デバイス４２を通じて、術野画像及び推論画像の送信設定を受付ける（ステップＳ１０１）。送信手設定では、術野画像のみを送信するのか、推論画像のみを送信するのか、術野画像及び推論画像の双方を送信するのかについての設定を受付ける。コンソール４０は、受付けた送信設定を推論ユニット２０に通知する（ステップＳ１０２）。

【0061】

手術ロボット１０において腹腔鏡１５による術野の撮像が始まると、推論ユニット２０は、第１接続部２３を通じて術野画像を取得する（ステップＳ１０３）。推論ユニット２０の演算部２１は、取得した術野画像を学習モデルＭＤによる演算を実行し（ステップＳ１０４）、術野画像についての推論処理を行う（ステップＳ１０５）。演算部２１は、学習モデルＭＤから推論結果を取得し、推論結果に基づく情報として推論画像を生成する（ステップＳ１０６）。推論画像を生成する構成に代えて、対象物の位置を示す位置情報を生成してもよい。演算部２１は、ステップＳ１０３でフレーム単位の術野画像を取得する都度、ステップＳ１０４～Ｓ１０６の処理を実行すればよい。ただし、送信設定が術野画像のみの送信である場合、演算部２１は、ステップＳ１０４～ステップＳ１０６の処理を省略してもよい。

【0062】

推論ユニット２０は、ステップＳ１０２で受付けた送信設定に応じて、術野画像及び推論画像の少なくとも一方をコンソール４０へ送信する（ステップＳ１０７）。また、推論ユニット２０は、術野画像及び推論画像の少なくとも一方をサーバ装置３０へ送信し、データベース３２に登録させる処理を行ってもよい。

【0063】

コンソール４０は、推論ユニット２０から送信される術野画像及び推論画像の少なくとも一方を受信した場合、受信した画像をモニタ４４Ａ，４４Ｂに表示する（ステップＳ１０８）。コンソール４０は、術野画像及び推論画像の双方を受信した場合、術野画像上に推論画像を重畳してモニタ４４Ａ（若しくはモニタ４４Ｂ）に表示する。代替的に、コンソール４０は、術野画像及び推論画像を個別にモニタ４４Ａ，４４Ｂに表示してもよい。術野画像又は推論画像の一方を受信した場合、コンソール４０は、受信した画像をモニタ４４Ａ（若しくはモニタ４４Ｂ）に表示する。

【0064】

以上のように、実施の形態１では、コンソール４０を操作する術者の判断により、推論ユニット２０からコンソール４０への送信設定を行うことができ、送信設定に応じて、術野画像及び推論画像の少なくとも一方を推論ユニット２０からコンソール４０へ送信することができる。このため、推論画像が不要な場面では、推論画像の送信を停止することができ、推論ユニット２０及びコンソール４０間の通信負荷を軽減することができる。

【0065】

（実施の形態２）
実施の形態２では、推論ユニット２０において手術ロボット１０の制御情報を生成し、コンソール４０を通じて手術ロボットを制御する構成について説明する。

【0066】

図７は実施の形態２に係る手術ロボットシステム１において実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理、推論ユニット２０からコンソール４０への画像の送信処理、モニタ４４Ａ，４４Ｂへの表示処理等を行う。

【0067】

推論ユニット２０の演算部２１は、推論処理を行った後、推論結果に応じて、手術ロボット１０の動作を制御するための制御情報を生成し（ステップＳ１２１）、生成した制御情報をコンソール４０へ送信する（ステップＳ１２２）。

【0068】

例えば、演算部２１は、学習モデルＭＤの推論結果に基づき、エネルギ処置具１３０Ｃの先端部分を時系列的に認識し、エネルギ処置具１３０Ｃの先端部分に追従して腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量（移動量、回転角度、速度及び角速度の変化量等）を計算すればよい。また、演算部２１は、術者によって事前に設定された種類の手術デバイスを学習モデルＭＤによって認識し、認識した手術デバイスを自動追従するように制御情報を生成してコンソール４０へ送信してもよい。

【0069】

また、演算部２１は、学習モデルＭＤの推論結果に基づき、対象物の面積を時系列的に算出し、算出した面積が増減している部分に追従して腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。ここで、対象物は、切除対象の病変部や結合組織であってもよく、血液（出血）等であってもよい。

【0070】

更に、演算部２１は、学習モデルＭＤの推論結果に基づき、対象物若しくは対象物の形状を認識し、認識した対象物上の指定された位置へ腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。対象物は、例えば特定の臓器である。また、対象物上の指定された位置は、対象物の重心であってもよく、対象物の周縁上の任意の一点であってもよい。

【0071】

更に、演算部２１は、学習モデルＭＤの推論結果に基づき、腹腔鏡１５と対象物との距離（主として奥行き方向の距離）を算出し、算出した距離に応じて、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。具体的には、演算部２１は、算出した距離が予め設定された距離となるように、アーム部１３Ａの距離を計算すればよい。

【0072】

更に、制御部２１は、推論結果の確信度が相対的に高い領域を追従するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。

【0073】

なお、アーム部１３Ａの制御量は、現在のアーム部１３Ａの位置、角度、速度、角速度からの変化量として計算される。演算部２１は、現在のアーム部１３Ａの位置、角度、速度、角速度の情報は、コンソール４０から取得することが可能である。演算部２１は、学習モデルＭＤの推論結果から対象物を認識し、認識した対象物の位置や前回の認識位置からの変位に応じて、アーム部１３Ａの位置、角度、速度、角速度等の変化量を計算すればよい。

【0074】

コンソール４０のマスターコントローラ４１は、手術ロボット１０に対する制御情報を推論ユニット２０から受信した場合、受信した制御情報に基づいて、手術ロボット１０に対する制御指令を生成する（ステップＳ１２３）。制御指令は、手術ロボット１０とコンソール４０との間で予め定められた１又は複数のコマンド等により構成される。コンソール４０は、マスターコントローラ４１により生成された制御指令を手術ロボット１０へ送信する（ステップＳ１２４）。

【0075】

手術ロボット１０の制御部１１は、コンソール４０から送信される制御指令を受信した場合、受信した制御指令に従って、駆動部１２Ａ～１２Ｄを駆動することにより、アーム１３部Ａ～１３Ｄの動作を制御する（ステップＳ１２５）。

【0076】

以上のように、実施の形態２では、推論ユニット２０の推論結果に応じて、手術ロボット１０の動作を制御することができる。

【0077】

以下、実施の形態２における手術ロボット１０の制御手法について、具体例を開示する。

【0078】

（１）図８は制御手法の第１の具体例を説明する説明図である。術野画像において術者が見たい領域は、優位手（例えば右手）で操作している手術デバイスの延長線と、非優位手（例えば左手）で操作している手術デバイスの延長線との交点付近であることが多い。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、優位手で操作されている手術デバイスと、非優位手で操作されている手術デバイスとを認識し、各手術デバイスの延長線を導出して、それらの交点を求める。図８の例では、各手術デバイスの延長線を破線で示し、交点をＰ１により示している。演算部２１は、腹腔鏡１５の撮像中心が交点Ｐ１と一致するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。コンソール４０は、推論ユニット２０からの制御情報に基づき、アーム部１３Ａの動作を自動制御することが可能である。

【0079】

コンソール４０は、アーム部１３Ａを自動制御する構成に代えて、術者によるトリガー操作を受付けた場合に制御を開始する構成としてもよい。トリガ操作として、手術デバイスによるジェスチャ動作を採用することができる。例えば、手術デバイスの先端を交点Ｐ１へ近づける動作や手術デバイスによって交点Ｐ１を指し示す動作などの予め定められたジェスチャ動作を受付けた場合、コンソール４０は、トリガー操作を受付けたと判断し、アーム部１３Ａの動作の制御を開始すればよい。手術デバイスによるジェスチャ動作に代えて、入力デバイス４２による所定の入力操作（タッチパネルへのタッチ操作やキーボードによるコマンド入力など）を受付けた場合、制御を開始する構成としてもよい。また、推論ユニット２０又はコンソール４０が音声入力部を備える場合、所定の音声の入力をトリガーとして、アーム部１３Ａの動作の制御を開始してもよい。

【0080】

（２）図９は制御手法の第２の具体例を説明する説明図である。術野画像において、術者が確認したい部位の一つに血管の先端部分がある。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術野画像に現れる血管の形状を認識し、形状が先細りしている箇所を特定することによって、血管の先端部分を特定する。図９の例では、血管の先端部分をＰ２により示している。演算部２１は、腹腔鏡１５の撮像中心が血管の先端部分Ｐ２となるように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。

【0081】

なお、腹腔鏡１５の撮像中心が常に血管の先端部分に一致する必要はないので、コンソール４０は、術者によるトリガー操作を受付けた場合、アーム部１３Ａの動作の制御を開始すればよい。トリガー操作は、第１の具体例と同様である。すなわち、手術デバイスによる所定のジェスチャ動作、入力デバイス４２による所定の入力操作、所定の音声入力等をトリガー操作として用いることができる。

【0082】

（３）図１０は制御手法の第３の具体例を説明する説明図である。手術デバイスによる処置対象が血管である場合、血管の面積（太さ）、血管の形状等に応じて、適切な手術デバイスが選択される。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術野画像に現れる血管を認識し、認識結果から血管の面積を求める。このとき、演算部２１は、術野画像に映っている手術デバイス（鉗子１３０Ｂやエネルギ処置具１３０Ｃ）の大きさ（面積）を基準に用いて、血管の面積を規格化してもよい。また、演算部２１は、学習モデルＭＤの推論結果に基づき、術者画像に現れる血管の形状を認識してもよい。演算部２１は、計算した血管の面積や認識した血管の形状に応じて、適切な手術デバイス（例えば、５ｍｍ用のクリップ、１０ｍｍ用のクリップ、超音波凝固切開装置など）を選択し、選択した手術デバイスの情報をコンソール４０に通知する。コンソール４０は、推論ユニット２０から通知される手術デバイスの情報を例えばモニタ４４Ａに表示させる。図１０は、術野画像に現れる血管の形状Ｐ３１を認識し、超音波凝固切開装置を用意して下さいとの文字情報Ｐ３２をモニタ４４Ａに表示させた例を示している。文字情報を表示する構成に代えて、アイコンを表示してもよく、音声により術者に報知してもよい。また、術者の優位手及び非優位手で操作していないアーム部（例えばアーム部１３Ｄ）が存在し、このアーム部に目的の手術デバイス（超音波凝固切開装置など）が装着されている場合、アーム部の切り替えを術者に促してもよい。

【0083】

（４）図１１は制御手法の第４の具体例を説明する説明図である。術者の優位手及び非優位手で操作している手術デバイスが双方とも把持鉗子であり、何らかの組織を展開しようとしている場面では、把持鉗子が十分に映る範囲までズームアウトすることが好ましい。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術者の優位手及び非優位手で操作している手術デバイスを認識し、両方の手術デバイスが把持鉗子であるか否かを判断する。演算部２１は、両方の手術デバイスが把持鉗子であると判断した場合、把持鉗子が十分に映る範囲までズームアウトするように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。代替的に、演算部２１は、奥行き情報を算出し、算出した奥行き情報を基に、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。図１１の例は、２つの把持鉗子１３０Ｂ，１３０Ｄを用いて脂肪組織を把持した場面を示し、これら２つの把持鉗子１３０Ｂ，１３０Ｄの認識に応じて、ズームアウトした状態を示している。

【0084】

第４の具体例では、学習モデルＭＤにより、両方の手術デバイスが把持鉗子であることを認識した場合、ズームアウトする構成としたが、把持鉗子が装着されているサードアーム（例えばアーム部１３Ｄ）を術者が動かそうした場合、ズームアウトする構成としてもよい。また、第４の具体例では、腹腔鏡１５を保持するアーム部１３Ａを動かすことによって、ズームアウトする構成としたが、腹腔鏡１５がズーム機能を有する場合、腹腔鏡１５のズーム機能を制御することによって、ズームアウトする構成としてもよい。

【0085】

（５）図１２は制御手法の第５の具体例を説明する説明図である。術者が切離デバイスを操作して、対象組織を切離しようとしている場面では、切離デバイスの先端が十分に映る範囲までズームインすることが好ましい。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術者の優位手で操作している手術デバイスを認識し、認識した手術デバイスが切離デバイスであるか否かを判断する。演算部２１は、術者の優位手で操作している手術デバイスが切離デバイスであると判断した場合、切離デバイスの先端が十分に映る範囲までズームインするように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。例えば、演算部２１は、切離デバイスの先端部分の面積を計算し、計算した面積が設定値以上となるようにズームインすべく、アーム部１３Ａの制御量を計算すればよい。図１２の例は、術者の優位手で操作している手術デバイスがエネルギ処置具１３０Ｃ（切離デバイス）であると認識した結果、エネルギ処置具１３０Ｃの先端部分にズームインした状態を示している。

【0086】

なお、コンソール４０は、ズームインした後、切離デバイスの先端に追従するようにアーム部１３Ａの動作を自動制御してもよい。代替的に、コンソール４０は、切離デバイスの先端に追従するようにアーム部１３Ａの動作を制御し、切離デバイスの先端が静止した場合、ズームインする構成としてもよい。また、第５の具体例では、腹腔鏡１５を保持するアーム部１３Ａを動かすことによって、ズームインする構成としたが、腹腔鏡１５がズーム機能を有する場合、腹腔鏡１５のズーム機構を制御することによって、ズームインする構成としてもよい。

【0087】

（６）図１３は制御手法の第６の具体例を説明する説明図である。出血を検知した場合、腹腔鏡１５を移動させる制御やガーゼを置く制御を行ってもよい。演算部２１は、学習モデルＭＤの推論結果に基づき、出血領域を認識し、認識した出血領域の面積を計算する。図１３の例では、出血領域をＰ６により示している。出血領域Ｐ６の面積は出血量に相当する。演算部２１は、計算した出血領域Ｐ６の面積が予め設定された閾値以上であるか否かを判断し、閾値以上であると判断した場合、腹腔鏡１５の撮像中心が出血領域Ｐ６の内部の点（例えば出血領域Ｐ６の重心）となるように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。

【0088】

演算部２１は、腹腔鏡１５を移動させる制御に代えて（若しくは腹腔鏡１５を移動させる制御と共に）、出血領域Ｐ６にガーゼを置く制御を実行させるための制御情報をコンソール４０へ送信してもよい。具体的には、ガーゼを把持した把持鉗子がアーム部１３Ｄに装着されている場合、演算部２１は、アーム部１３Ｄの動作を制御するための制御情報を生成して、コンソール４０へ送信すればよい。また、コンソール４０は、出血領域Ｐ６にガーゼを置くべき旨の文字情報をモニタ４４Ａに表示してもよい。

【0089】

演算部２１は、出血量が比較的少ない場合、腹腔鏡１５を移動させる制御を行い、出血量が比較的多い場合、ガーゼを置く制御を行ってもよい。例えば、出血領域の面積に関して第１閾値及び第２閾値（ただし、第１閾値＜第２閾値）を設定し、出血領域Ｐ６の面積が第１閾値以上となった場合、腹腔鏡１５を移動させる制御、出血領域Ｐ６の面積が第２閾値以上となった場合、ガーゼを置く制御を行ってもよい。

【0090】

また、コンソール４０は、術者によるトリガー操作を受付けた場合、上記の制御を開始する構成としてもよい。トリガー操作は、第１の具体例と同様である。すなわち、手術デバイスによる所定のジェスチャ動作、入力デバイス４２による所定の入力操作、所定の音声入力等をトリガー操作として用いることができる。

【0091】

（実施の形態３）
実施の形態３では、推論結果の確信度に応じて、術野画像の解像度を変更する構成について説明する。

【0092】

図１４は実施の形態３における推論ユニット２０が実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理を行う。

【0093】

推論ユニット２０の演算部２１は、推論処理を行った後、推論結果の確信度を算出する（ステップＳ３０１）。推論結果の確信度は、学習モデルＭＤのソフトマックス層ＳＭから出力される確率に基づき計算される。例えば、演算部２１は、対象物と推定された各画素について確率値の平均を求めることにより、確信度を計算することができる。

【0094】

演算部２１は、算出した確信度に応じて、術野画像の解像度を変更する（ステップＳ３０２）。演算部２１は、確信度Ｘ（Ｘ＝０～１００％）に対し、術野画像の解像度Ｙ（dpi : dot per inch）をＹ＝（Ｘ－１００）／ｋ（ｋは定数）に設定し、設定した解像度Ｙに従って術野画像の解像度を変更すればよい。代替的に、演算部２１は、確信度が閾値よりも低い場合、予め設定した解像度に変更してもよい。

【0095】

演算部２１は、解像度を変更した術野画像や推論画像をサーバ装置３０に送信し、データベース３２に登録させる（ステップＳ３０３）。

【0096】

以上のように、実施の形態３では、確信度が低く、対象物であるか否かが判別が難しい術野画像については解像度を変更することができ、記憶容量を節約することができる。

【0097】

（実施の形態４）
実施の形態４では、推論結果の確信度と、手術ロボット１０の情報とに基づき、手術ロボットによる手術のスコアを算出する構成について説明する。

【0098】

図１５は実施の形態４における推論ユニット２０が実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理を行う。

【0099】

推論ユニット２０の演算部２１は、推論処理を行った後、推論結果の確信度を算出する（ステップＳ４０１）。推論結果の確信度は、学習モデルＭＤのソフトマックス層ＳＭから出力される確率に基づき計算される。例えば、演算部２１は、対象物と推定された各画素について確率値の平均を求めることにより、確信度を計算することができる。

【0100】

演算部２１は、手術ロボット１０の情報をコンソール４０より取得する（ステップＳ４０２）。例えば、演算部２１は、アーム部１３Ａ～１３Ｄの位置、角度、速度、角速度等の情報を取得すればよい。

【0101】

演算部２１は、ステップＳ４０１で算出した確信度と、ステップＳ４０２で取得した手術ロボット１０の情報とに基づき、手術のスコアを算出する（ステップＳ４０３）。確信度及び手術ロボット１０の情報の入力に応じて、手術のスコアを出力するよう構成された関数や学習モデルを事前に用意しておき、当該関数又は学習モデルに確信度及び手術ロボット１０の情報を入力してスコアを算出することができる。また、演算部２１は、解剖構造（対象物）の確信度、面積、面積の増減、手術デバイスの操作情報、手術デバイスの認識結果（軌跡など）等の情報に基づき、事前に用意された関数や学習モデルを用いてスコアを算出する構成としてもよい。更に、演算部２１は、算出したスコアに基づき、手術ロボット１０の次の操作を決定したり、術者に次の操作を提示したりしてもよい。

【0102】

（実施の形態５）
実施の形態５における手術ロボットシステム１は、腹腔鏡１５において左眼用及び右眼用の術野画像を生成し、生成した左眼用及び右眼用の術野画像を推論ユニット２０経由で、モニタ４４Ａ，４４Ｂに出力することにより、３次元表示を行うシステムであるとする。

【0103】

実施の形態５における手術ロボットシステム１では、推論ユニット２０の演算部２１において、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論処理を行う。推論の手順は実施の形態１と同様である。

【0104】

また、演算部２１は、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論結果の確信度を算出することができる。確信度の算出方法は、実施の形態３と同様である。推論結果の確信度が左眼用と右眼用とで相違する場合、演算部２１は、警報を出力することができる。

【0105】

図１６は実施の形態５における推論ユニット２０が実行する処理の手順を説明するフローチャートである。推論ユニット２０の演算部２１は、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論処理を行う（ステップＳ５０１）。推論の手順は実施の形態１と同様である。

【0106】

演算部２１は、それぞれの推論結果について確信度を算出する（ステップＳ５０２）。確信度の算出手法は実施の形態３と同様である。

【0107】

演算部２１は、左眼用の術野画像から得られた確信度と、右眼用の術野画像から得られた確信度とを比較し、確信度が相違するか否かを判断する（ステップＳ５０３）。演算部２１は、確信度が所定割り合い（例えば１０％）以上異なる場合、確信度が相違すると判断する。

【0108】

確信度が相違すると判断した場合（ステップＳ５０３：ＹＥＳ）、対象物に対して腹腔鏡１５が斜めになっている可能性があるため、演算部２１は、警報を出力する（ステップＳ５０４）。具体的には、演算部２１は、腹腔鏡１５が斜めになっている旨の文字情報をコンソール４０へ送信し、モニタ４４Ａ，４４Ｂに表示させる。

【0109】

実施の形態５では、左右の確信度が相違する場合、警報を出力する構成としたが、演算部２１は、腹腔鏡１５を対象物に正対させるための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。

【0110】

また、演算部２１は、術野画像の左右の視差に基づき、奥行情報を算出し、算出した奥行情報をコンソール４０へ送信してもよい。ここでは、指定された位置の奥行き情報を算出すればよい。例えば、対象物上の指定された位置（重心、四隅、輪郭上の任意の点、設定された位置群等）の奥行情報を算出すればよい。

【0111】

更に、演算部２１は、算出した奥行情報に基づき、腹腔鏡１５の動作を制御するための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。例えば、対象物までの奥行きが設定値以上ある場合、演算部２１は、腹腔鏡１５を自動的にズームさせるための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。また、演算部２１は、奥行情報に基づき手術デバイスの到達点や到達経路を決定して、切除対象物の付近までアーム部１３Ａ～１３Ｄを自動で移動させ、手術デバイスが切除対象物に近づいた場合に「切除して下さい」との情報をモニタ４４Ａ，４４Ｂに表示させる制御を行ってもよい。更に、切除すべきでない部分を切除しようとした場合や出血などの危険な予兆を検知した場合、アラートを出力してもよい。

【0112】

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【0113】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0114】

１０ 手術ロボット
１１ 制御部
１２Ａ～１２Ｄ 駆動部
１３Ａ～１３Ｄ アーム部
１４ 光源装置
１５ 腹腔鏡
１６ 信号処理部
２０ 推論ユニット
２１ 演算部
２２ 記憶部
２３ 第１接続部
２４ 第２接続部
２５ 第３接続部
３０ サーバ装置
３１ コーデック部
３２ データベース
４０ コンソール
４１ マスターコントローラ
４２ 入力デバイス
４３ アーム操作デバイス
４４Ａ，４４Ｂ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】