ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022028086
(43)【公開日】2022-02-15
(54)【発明の名称】情報処理装置、提示方法、および手術システム
(51)【国際特許分類】
A61B 90/90 20160101AFI20220207BHJP
A61B 50/36 20160101ALI20220207BHJP
G06M 11/00 20060101ALI20220207BHJP
【ＦＩ】
A61B90/90
A61B50/36
G06M11/00 D
G06M11/00 Z
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2018227826
(22)【出願日】2018-12-05
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】秋吉 邦彦
(72)【発明者】
【氏名】岡村 潤
(72)【発明者】
【氏名】内藤 昌志
(72)【発明者】
【氏名】早川 大茂
(72)【発明者】
【氏名】中谷 昭彦
(57)【要約】
【課題】医療事故の発生を抑える。
【解決手段】音声認識部は、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、画像認識部は、患者の体内にある手術用具の残数を画像認識によりカウントし、提示制御部は、音声認識によりカウントされた第１の残数と、画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する。本開示は、手術システムに適用することができる。
【選択図】図３
【解決手段】音声認識部は、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、画像認識部は、患者の体内にある手術用具の残数を画像認識によりカウントし、提示制御部は、音声認識によりカウントされた第１の残数と、画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する。本開示は、手術システムに適用することができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える情報処理装置。
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える情報処理装置。
【請求項2】
前記提示制御部は、前記第１の残数および前記第２の残数を提示する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記音声認識部は、前記音声認識によりカウントした、前記手術用具が前記患者の体内に挿入された第１の挿入回数と、前記手術用具が前記患者の体内から摘出された第１の摘出回数との差分により、前記第１の残数をカウントし、
前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第２の挿入回数と、前記手術用具が前記患者の体内から摘出された第２の摘出回数との差分により、前記第２の残数をカウントする
請求項１に記載の情報処理装置。
前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第２の挿入回数と、前記手術用具が前記患者の体内から摘出された第２の摘出回数との差分により、前記第２の残数をカウントする
請求項１に記載の情報処理装置。
【請求項4】
前記提示制御部は、前記第１の挿入回数と前記第１の摘出回数、および、前記第２の挿入回数と前記第２の摘出回数を提示する
請求項３に記載の情報処理装置。
請求項３に記載の情報処理装置。
【請求項5】
手術中における音声および画像の少なくともいずれかを記録する記録部をさらに備え、
前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第１の残数と前記第２の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
請求項１に記載の情報処理装置。
前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第１の残数と前記第２の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
請求項１に記載の情報処理装置。
【請求項6】
前記音声認識部は、前記手術用具の種類毎に、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具の種類毎に、前記第２の残数をカウントし、
前記提示制御部は、前記手術用具の種類毎に、前記第１の残数および前記第２の残数を提示する
請求項１に記載の情報処理装置。
前記画像認識部は、前記手術用具の種類毎に、前記第２の残数をカウントし、
前記提示制御部は、前記手術用具の種類毎に、前記第１の残数および前記第２の残数を提示する
請求項１に記載の情報処理装置。
【請求項7】
前記提示制御部は、前記警告の提示後、前記第１の残数および前記第２の残数の修正を受け付ける
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項8】
前記音声認識部は、１以上の術者の発声に対する前記音声認識により、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具が撮影されている１以上の動画像に対する前記画像認識により、前記第２の残数をカウントする
請求項１に記載の情報処理装置。
前記画像認識部は、前記手術用具が撮影されている１以上の動画像に対する前記画像認識により、前記第２の残数をカウントする
請求項１に記載の情報処理装置。
【請求項9】
所定のタイミングで、前記第１の残数と前記第２の残数の差を算出する算出部をさらに備える
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項10】
前記算出部は、前記音声認識部により前記第１の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項11】
前記算出部は、前記画像認識部により前記第２の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項12】
前記算出部は、術野画像のシーンが切り替わったときに、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項13】
前記算出部は、手術に用いられる医療機器からの信号に応じて、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項14】
前記信号は、電気メスが通電されたことを表す信号である
請求項１３に記載の情報処理装置。
請求項１３に記載の情報処理装置。
【請求項15】
前記算出部は、一定の時間間隔毎に、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項16】
前記算出部は、手術終了時に、前記第１の残数と前記第２の残数の差を算出する
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項17】
前記手術用具は、手術器具および衛生材料の少なくともいずれかを含む
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項18】
前記手術器具は、手術針を含み、
前記衛生材料は、ガーゼを含む
請求項１７に記載の情報処理装置。
前記衛生材料は、ガーゼを含む
請求項１７に記載の情報処理装置。
【請求項19】
情報処理装置が、
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する
提示方法。
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する
提示方法。
【請求項20】
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える手術システム。
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える手術システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、提示方法、および手術システムに関し、特に、医療事故の発生を抑えることができるようにした情報処理装置、提示方法、および手術システムに関する。
【背景技術】
【0002】
手術現場においては、ガーゼや手術針など手術に使用する物を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが求められている。
【0003】
看護師などの医療従事者は、手術に使用する物の数を目視で確認後、発声によりカウントしたり、手術後に物の数が正しく揃っているかを確認することで、上述した医療事故を防ぐようにしている。しかしながら、上述した医療事故がヒューマンエラーにより発生する可能性は少なからずある。
【0004】
そこで、手術に使用する物の数を精度良くカウントする構成として、例えば特許文献１には、ＩＣタグを装着したガーゼを計数するシステムが開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１３－９７７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１の構成は、例えば手術針のような、ＩＣタグを装着できないほど小さい物には適用できず、手術に使用する物の数を精度良くカウントする構成としては十分ではなかった。
【0007】
本開示は、このような状況に鑑みてなされたものであり、医療事故の発生を抑えることができるようにするものである。
【課題を解決するための手段】
【0008】
本開示の情報処理装置は、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部とを備える情報処理装置である。
【0009】
本開示の提示方法は、情報処理装置が、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示方法である。
【0010】
本開示の手術システムは、患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部とを備える手術システムである。
【0011】
本開示においては、患者の体内にある手術に用いられる手術用具の残数が音声認識によりカウントされ、前記患者の体内にある前記手術用具の残数が画像認識によりカウントされ、前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告が提示される。
【図面の簡単な説明】
【0012】
【図1】本実施の形態に係る手術システムの構成例を示す概略図である。
【図2】手術システムの構成例を示すブロック図である。
【図3】手術室サーバの機能構成例を示すブロック図である。
【図4】警告提示処理の流れについて説明するフローチャートである。
【図5】モニタの画面表示例を示す図である。
【図6】モニタの画面表示例を示す図である。
【図7】カウントが一致しないときの画像のキャプチャについて説明する図である。
【図8】モニタの画面表示例を示す図である。
【図9】モニタの画面表示例を示す図である。
【図10】手術システムの他の構成例を示す概略図である。
【図11】警告提示処理の流れについて説明するフローチャートである。
【図12】手術室サーバのハードウェア構成例を示すブロック図である。
【0013】
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
【0014】
１．システム構成
２．手術室サーバの構成と動作
３．モニタの画面表示例
４．残数の差の算出タイミング
５．変形例
６．ユースケース
７．ハードウェア構成
２．手術室サーバの構成と動作
３．モニタの画面表示例
４．残数の差の算出タイミング
５．変形例
６．ユースケース
７．ハードウェア構成
【0015】
【0016】
図１には、手術システム１を含む手術室において、執刀医１１と器械出し（器具出し）の看護師１２が、手術台上の患者１３を挟んで向かい合うようにして立っている様子が示されている。
【0017】
看護師１２の後方のテーブルには、手術に用いられる手術用具として、ガーゼなどの衛生材料２１と、手術針などの手術器具２２が載置されている。衛生材料２１や手術器具２２は、看護師１２によって執刀医１１に手渡される。衛生材料２１には、ガーゼの他、綿球、スポンジ、癒着防止材などが含まれ、手術器具２２には、手術針の他、メス、剪刃、鉗子、鑷子などが含まれる。
【0018】
執刀医１１と看護師１２はそれぞれ、ヘッドセット型のマイクロフォン３１を装着している。また、手術室の天井には、カメラ３２が、患者１３とその近辺を俯瞰するようにして設置されている。図１の例では、カメラ３２が１台のみ設置されているが、複数台のカメラ３２が設置されてもよい。
【0019】
執刀医１１の後方には、手術室サーバ４１と提示装置４２が設置されている。提示装置４２は、モニタやスピーカとして構成され、手術室サーバ４１の制御の下、表示や音声出力によって、執刀医１１や看護師１２、手術室内のその他の術者に対して情報を提示する。手術室サーバ４１は、手術室の外部に設置されてもよい。
【0020】
従来、手術現場においては、ガーゼや手術針などの手術用具を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが求められている。そのためには、例えば、
（１）患者の体内にあるガーゼの数が０であること
（２）患者の体内に入れたガーゼの数と、患者の体内から出したガーゼの数が等しいこと
のいずれかを達成する必要がある（ただし、ガーゼは破れないこと）。
（１）患者の体内にあるガーゼの数が０であること
（２）患者の体内に入れたガーゼの数と、患者の体内から出したガーゼの数が等しいこと
のいずれかを達成する必要がある（ただし、ガーゼは破れないこと）。
【0021】
上記２点のいずれかを実現するために、例えば、カメラ３２により撮影された画像に基づいてガーゼを計数することが考えられる。
【0022】
しかしながら、患者の体内に入れたガーゼが執刀医１１の手の陰に隠れたり、患者の体内で移動するなどした場合、ガーゼを計数することは難しく、上記（１）の達成は困難となる。また、患者の体内に複数枚のガーゼを入れた場合、その枚数の認識は難しく、上記（２）の達成も困難となる。
【0023】
また、上記２点のいずれかを実現するために、執刀医１１や看護師１２が発する音声に基づいてガーゼを計数することが考えられる。
【0024】
しかしながら、ガーゼの数え間違いや言い間違いが無くならない限り、上記（１）の達成は困難となる。また、患者の体内から複数枚のガーゼを取り出す際、その枚数が言われない場合には、上記（２）の達成も困難となる。
【0025】
そこで、本実施の形態に係る手術システム１においては、手術室サーバ４１が、マイクロフォン３１から入力される執刀医１１や看護師１２が発する音声と、カメラ３２により撮影される画像とに基づいて、患者の体内にある手術用具の数をカウントする。
【0026】
さらに、音声によるカウントと画像によるカウントに差が生じた場合、手術室サーバ４１は、提示装置４２に、所定の警告を提示させる。
【0027】
これにより、ガーゼや手術針などの手術用具を、患者の体内に置き忘れたまま手術を終えてしまう医療事故の発生を抑えるようにする。
【0028】
＜２．手術室サーバの構成と動作＞
次に、上述したような医療事故の発生を抑えることを実現する手術室サーバ４１の構成と動作について説明する。
次に、上述したような医療事故の発生を抑えることを実現する手術室サーバ４１の構成と動作について説明する。
【0029】
（手術室サーバの構成）
図３は、本開示の実施の形態に係る情報処理装置としての手術室サーバ４１の機能構成例を示すブロック図である。
図３は、本開示の実施の形態に係る情報処理装置としての手術室サーバ４１の機能構成例を示すブロック図である。
【0030】
図３の手術室サーバ４１は、音声認識部５１、画像認識部５２、算出部５３、提示制御部５４、および記録部５５を備えている。
【0031】
音声認識部５１は、マイクロフォン３１から入力される執刀医１１や看護師１２（主に看護師１２）が発する音声に基づいて、患者の体内にある手術用具の残数を音声認識よりカウントする。音声認識よりカウントされた手術用具の残数（以下、音声カウントともいう）は、算出部５３に供給される
【0032】
画像認識部５２は、カメラ３２により撮影された画像に基づいて、患者の体内にある手術用具の残数を画像認識よりカウントする。画像認識よりカウントされた手術用具の残数（以下、画像カウントともいう）は、算出部５３に供給される。
【0033】
算出部５３は、音声認識部５１からの音声カウントと、画像認識部５２からの画像カウントの差を算出する。音声カウント、画像カウント、およびそれらの差を表す情報は、提示制御部５４に供給される。
【0034】
提示制御部５４は、提示装置４２における表示や音声出力による情報の提示を制御する。提示制御部５４は、算出部５３からの情報に基づいて、音声カウントや画像カウントを提示したり、音声カウントと画像カウントに差が生じた場合に、所定の警告を提示する。
【0035】
記録部５５は、手術中において、マイクロフォン３１から入力される音声と、カメラ３２により撮影された画像を記録する。記録された音声や画像は、必要に応じて、提示制御部５４によって提示装置４２に提示される。
【0036】
（手術室サーバの動作）
次に、図４のフローチャートを参照して、手術室サーバ４１による警告提示処理の流れについて説明する。
次に、図４のフローチャートを参照して、手術室サーバ４１による警告提示処理の流れについて説明する。
【0037】
ステップＳ１１において、音声認識部５１は、音声認識により患者１３の体内にある手術用具の残数をカウントする。
【0038】
例えば、音声認識部５１は、音声認識によりカウントした、手術用具が患者１３の体内に挿入された挿入回数と、手術用具が患者１３の体内から摘出された摘出回数との差分により、患者１３の体内にある手術用具の残数をカウントする。
【0039】
このとき、音声認識部５１は、看護師１２やその他の看護師など、複数の術者の発声に対する音声認識により、患者１３の体内にある手術用具の残数をカウントしてもよい。
【0040】
音声認識される文言は、あらかじめ登録された文言とされる。例えば、挿入・摘出の動作を表す「入ります」や「出ます」、手術用具の名称と挿入・摘出の動作を表す「ガーゼ入ります」や「手術針出ます」などの文言があらかじめ登録される。また、「ガーゼ３枚入ります」などのように、手術用具の数が音声認識されるようにしてもよい。
【0041】
ステップＳ１２において、画像認識部５２は、画像認識により患者１３の体内にある手術用具の残数をカウントする。
【0042】
例えば、画像認識部５２は、画像認識によりカウントした、手術用具が患者１３の体内に挿入された挿入回数と、手術用具が患者１３の体内から摘出された摘出回数との差分により、患者１３の体内にある手術用具の残数をカウントする。
【0043】
このとき、画像認識部５２は、複数台のカメラ３２によって手術用具が撮影されている複数の動画像に対する画像認識により、患者１３の体内にある手術用具の残数をカウントしてもよい。
【0044】
画像認識される手術用具は、機械学習により学習された物体とされる。ここでは、通常、患者の体内に置き忘れることのない、例えばステントのような細長いものや鉗子などは認識対象から除外されるようにしてもよい。
【0045】
例えば、手術用具が撮影された画像と、映っている手術用具とが対応付けられた学習データを多層ニューラルネットワークに入力することで、所定のパラメータを有する学習モデルを生成する。そして、生成された学習モデルに、カメラ３２により撮影された画像を入力することで、手術用具が映っているか否かを判定する。なお、このような機械学習においては、手術用具の有無を判定できればよく、例えば強化学習などを適用してもよい。また、手術用具が映っている領域を示すアノテーションが付加された画像を学習データとして用いることで、手術用具が映っている領域の判定を行うようにしてもよい。
【0046】
さらに、音声認識においても、マイクロフォンなどの音声入力機器を用いて録音された、人の発話を含む手術中の音声と、人の発話箇所を示すアノテーションとが対応付けられた学習データを多層ニューラルネットワークに入力することで、学習モデルを生成してもよい。この場合、音声入力機器から入力された音声に対して音声分離を行うことで、人の発話音声を分離し、分離された音声に対して音声認識を行うことで、音声認識の精度を向上させることができる。なお、音声認識についても、音声と、音声に対応した処理とが対応付けられた学習データを用いた機械学習を行い、音声認識用の学習モデルを生成して用いるようにしてもよい。
【0047】
また、例えば複数のガーゼが患者１３の体内に挿入され、患者１３の体内から摘出された後、患者１３の体内においてガーゼが１つも画像認識されない場合には、挿入された複数のガーゼが全て、患者１３の体内から摘出されたとカウントされるようにしてもよい。
【0048】
さらに、例えば血液を吸収したガーゼと臓器表面の色は互いに似た赤色であるが、色情報のコントラストなどに基づいて、ガーゼと臓器とが個別に認識されるようにしてもよい。
【0049】
ステップＳ１１の処理は、音声認識により挿入回数または摘出回数がカウントされる毎に行われる。また、ステップＳ１２の処理は、画像認識により挿入回数または摘出回数がカウントされる毎に行われる。
【0050】
所定のタイミングになると、ステップＳ１３において、算出部５３は、音声認識によりカウントされた手術用具の残数と、画像認識によりカウントされた手術用具の残数の差を算出する。
【0051】
ステップＳ１４において、算出部５３は、それぞれの残数（音声カウントと画像カウント）が一致するか否かを判定する。
【0052】
音声カウントと画像カウントが一致する場合、提示制御部５４は何もせず、処理は終了する。
【0053】
一方、音声カウントと画像カウントが一致しない場合、ステップＳ１５に進み、提示制御部５４は、提示装置４２に警告を提示させる。
【0054】
以上の処理によれば、音声カウントと画像カウントが一致しない場合、すなわち、音声カウントと画像カウントのいずれかが誤っている場合に、提示装置４２に警告が提示される。これにより、器具出しの看護師１２や、図示せぬ外回り看護師は、テーブル上に載置されている手術用具の数を数えたり、執刀医１１に、患者１３の体内にある手術用具の数を確認する機会を得ることができる。その結果、患者の体内に手術用具を置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
【0055】
【0056】
【0057】
また、画面１００の右半分の上側には、バイタルサインなどの情報や、記録された過去の術野画像などが表示される表示領域１１３が設けられる。
【0058】
画面１００において、表示領域１１３の下方には、音声カウント表示部１２１と画像カウント表示部１２２が設けられ、それらの下方には、警告表示部１３１が設けられる。
【0059】
音声カウント表示部１２１には、音声認識によりカウントされた、患者１３の体内にある手術用具の残数（音声カウント）が表示される。また、画像カウント表示部１２２には、画像認識によりカウントされた、患者１３の体内にある手術用具の残数（画像カウント）が表示される。
【0060】
ここでは、手術用具の種類（ガーゼなどの衛生材料２１であるか、手術針などの手術器具２２であるか）にかかわらず、全ての手術用具の残数がカウントされ、表示される。
【0061】
図５の例では、音声カウント、画像カウントがいずれも「３」で一致しており、警告表示部１３１には何も表示されない。
【0062】
一方、図６の例では、音声カウントが「４」である一方、画像カウントが「３」であり一致していない。このような場合、警告表示部１３１には「警告：数を確認してください」などの警告メッセージが表示される。このとき、提示装置４２により、警告メッセージと同様の音声が出力されてもよい。
【0063】
この警告メッセージを見た（聞いた）器具出しの看護師１２や外回り看護師は、テーブル上に載置されている手術用具の数を数えたり、執刀医１１に、患者１３の体内にある手術用具の数を確認する機会を得ることができる。
【0064】
なお、図６の例では、画像カウント表示部１２２の右方に、音声カウントおよび画像カウントの修正を受け付けるための修正ボタン１４１が表示されている。外回り看護師が、執刀医１１に、患者１３の体内にある手術用具の数を確認したり、自身で使用した数と廃棄した数を確認して、表示に誤りがある場合には、修正ボタン１４１を押下することで、音声カウントまたは画像カウントを正しい数に修正することができる。
【0065】
また、上述したように、記録部５５には、手術中において、マイクロフォン３１から入力される音声と、カメラ３２により撮影された画像が記録されている。そこで、音声カウントと画像カウントが一致しないときの（一致しない要因と思われる）音声や画像が提示されるようにしてもよい。
【0066】
図７は、音声カウントと画像カウントが一致しないときの画像のキャプチャについて説明する図である。
【0067】
図７の上側には、時間軸に沿った音声カウントが示され、図７の下側には、時間軸に沿った画像カウントが示されている。図中、時間軸上の上向き矢印は、手術用具が患者１３の体内に挿入されたことを表し、時間軸上の下向き矢印は、手術用具が患者１３の体内から摘出されたことを表している。
【0068】
時刻Ｔ１の時点での音声カウントによれば、挿入回数が３回、摘出回数が２回であることから、残数は１である。一方、画像カウントによれば、挿入回数が３回、摘出回数が３回であることから、残数は０である。すなわち、音声カウントと画像カウントが一致しない。
【0069】
このような場合、提示制御部５４が、記録部５５に記録されている音声と画像に基づいて、音声カウントと画像カウントが一致しないタイミングを推定し、そのタイミングの音声と画像を抽出する。
【0070】
図７の例では、画像カウントにおける１回目の摘出（ハッチングされた下向き矢印）のタイミングの静止画像が、キャプチャ画像１６０としてキャプチャされる。キャプチャ画像１６０は、画面１００の表示領域１１３に表示されることで、器具出しの看護師１２や外回り看護師が、そのときの状況を確認することができる。
【0071】
特に、音声カウントと画像カウントとで、挿入回数が一致しない場合には、手術用具が患者１３の体内に余計に残っている可能性がある。この場合、器具出しの看護師１２や外回り看護師は、キャプチャ画像を確認した上で、執刀医１１に、患者１３の体内にある手術用具の数を確認することができる。
【0072】
【0073】
これに限らず、図８に示されるように、音声認識によりカウントされた挿入回数と摘出回数、画像認識によりカウントされた挿入回数と摘出回数がそれぞれ表示されるようにしてもよい。
【0074】
図８の例では、画面１００において、音声カウント表示部１２１と画像カウント表示部１２２に代えて、音声カウント表示部１８１と画像カウント表示部１８２が設けられている。
【0075】
音声カウント表示部１８１には、音声認識によりカウントされた挿入回数（ＩＮ）と摘出回数（ＯＵＴ）が表示される。また、画像カウント表示部１８２には、画像認識によりカウントされた挿入回数（ＩＮ）と摘出回数（ＯＵＴ）が表示される。
【0076】
図８の例では、音声カウント、画像カウントの挿入回数がいずれも「３」、音声カウント、画像カウントの摘出回数がいずれも「２」で一致しており、警告表示部１３１には何も表示されない。
【0077】
また、上述した例では、手術用具の種類にかかわらず、全ての手術用具の残数がカウントされ、表示されるものとした。
【0078】
これに限らず、図９に示されるように、手術用具の種類毎に、手術用具の残数がカウントされ、表示されるようにしてもよい。
【0079】
図９の例では、画面１００において、音声カウント表示部１２１と画像カウント表示部１２２に代えて、ガーゼカウント表示部１９１と手術針カウント表示部１９２が設けられている。
【0080】
ガーゼカウント表示部１９１には、音声認識によりカウントされたガーゼの音声カウントと、画像認識によりカウントされたガーゼの画像カウントが表示される。また、手術針カウント表示部１９２には、音声認識によりカウントされた手術針の音声カウントと、画像認識によりカウントされた手術針の画像カウントが表示される。
【0081】
図９の例では、手術針カウント表示部１９２の音声カウント、画像カウントがいずれも「１」で一致しているものの、ガーゼカウント表示部１９１の音声カウントが「３」、画像カウントが「２」で一致していない。このような場合、警告表示部１３１には「警告：ガーゼの数を確認してください」などの警告メッセージが表示される。このとき、提示装置４２により、警告メッセージと同様の音声が出力されてもよい。
【0082】
さらに、図示はしないが、図８の例と図９の例とを組み合わせて、手術用具の種類毎に、音声認識によりカウントされた挿入回数と摘出回数、画像認識によりカウントされた挿入回数と摘出回数がそれぞれ表示されるようにしてもよい。
【0083】
【0084】
＜４．残数の差の算出タイミング＞
以下では、算出部５３が、音声認識によりカウントされた手術用具の残数（音声カウント）と、画像認識によりカウントされた手術用具の残数（画像カウント）の差を算出するタイミング（警告が提示されるタイミング）の例について説明する。
以下では、算出部５３が、音声認識によりカウントされた手術用具の残数（音声カウント）と、画像認識によりカウントされた手術用具の残数（画像カウント）の差を算出するタイミング（警告が提示されるタイミング）の例について説明する。
【0085】
（音声認識によりカウントされたタイミング）
通常、看護師１２は、手術用具を執刀医１１に手渡した後に、その手術用具の名称などを発声する。そこで、例えば、音声認識部５１により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにする。また、音声認識部５１により手術用具の残数がカウントされてから所定時間後（例えば２０秒後など）に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
通常、看護師１２は、手術用具を執刀医１１に手渡した後に、その手術用具の名称などを発声する。そこで、例えば、音声認識部５１により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにする。また、音声認識部５１により手術用具の残数がカウントされてから所定時間後（例えば２０秒後など）に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
【0086】
（画像認識によりカウントされたタイミング）
上述した例とは逆に、画像認識部５２により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、画像認識部５２により手術用具の残数がカウントされてから例えば５分後などに、音声カウントと画像カウントとの差が算出されるようにする。
上述した例とは逆に、画像認識部５２により手術用具の残数がカウントされたときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、画像認識部５２により手術用具の残数がカウントされてから例えば５分後などに、音声カウントと画像カウントとの差が算出されるようにする。
【0087】
この場合、画像認識部５２により手術用具の残数がカウントされてから５分以内に、音声認識部５１により手術用具の残数がカウントされなければ、音声カウントと画像カウントに差が生じる。また、画像認識部５２により手術用具の残数がカウントされてから例えば４分５９秒後に、音声認識部５１により手術用具の残数がカウントされ始めた場合には、その時点からさらに１分後に、音声カウントと画像カウントとの差が算出されるようにする。
【0088】
（シーンが切り替わったタイミング）
手術ステップが移行したとき、例えばカメラ３２が撮影する術野画像においては、背景が大きく変化する。そこで、術野画像のシーンが切り替わったときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。
手術ステップが移行したとき、例えばカメラ３２が撮影する術野画像においては、背景が大きく変化する。そこで、術野画像のシーンが切り替わったときに、音声カウントと画像カウントとの差が算出されるようにしてもよい。
【0089】
（医療機器からの信号に応じたタイミング）
手術に用いられる医療機器からの信号に応じて、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、手術に用いられる電気メスから通電されたことを表す信号が供給されたときに、音声カウントと画像カウントとの差が算出されるようにする。
手術に用いられる医療機器からの信号に応じて、音声カウントと画像カウントとの差が算出されるようにしてもよい。例えば、手術に用いられる電気メスから通電されたことを表す信号が供給されたときに、音声カウントと画像カウントとの差が算出されるようにする。
【0090】
（一定の時間間隔毎のタイミング）
例えば１０分毎などの一定の時間間隔毎に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
例えば１０分毎などの一定の時間間隔毎に、音声カウントと画像カウントとの差が算出されるようにしてもよい。
【0091】
（手術終了のタイミング）
最終的には、手術終了時に、患者の体内にある手術用具の残数が０であればよい。そこで、手術終了時に、音声カウントと画像カウントとの差が算出されるようにしてもよい。手術終了のタイミングは、開腹手術であれば腹部の縫合を始めたとき、内視鏡手術であればスコープを抜いてから所定時間が経過したときなど、手術箇所を閉じるときとされる。
最終的には、手術終了時に、患者の体内にある手術用具の残数が０であればよい。そこで、手術終了時に、音声カウントと画像カウントとの差が算出されるようにしてもよい。手術終了のタイミングは、開腹手術であれば腹部の縫合を始めたとき、内視鏡手術であればスコープを抜いてから所定時間が経過したときなど、手術箇所を閉じるときとされる。
【0092】
【0093】
【0094】
物体通過センサ２１１は、例えば、ＴｏＦ（Time of Flight）カメラや赤外線カメラなどにより構成され、看護師１２と患者１３または執刀医１１との間での手術用具の通過を検知する。
【0095】
なお、物体通過センサ２１１は、衛生材料２１や手術器具２２を撮影するカメラとして構成されてもよいし、偏光カメラとして構成されてもよい。物体通過センサ２１１が偏光カメラとして構成される場合、半透明な衛生材料２１や、銀色（金属製）の手術器具２２を精度良く検知することができる。
【0096】
図１０の手術システム１においては、図示はしないが、手術室サーバ４１に、物体通過センサ２１１により通過が検知された物体の数に基づいて、患者の体内にある手術用具の残数をカウントする物体通過認識部が設けられる。
【0097】
【0098】
【0099】
ステップＳ３２の後、ステップＳ３３において、図示せぬ物体通過認識部は、物体通過認識により患者１３の体内にある手術用具の残数をカウントする。
【0100】
ステップＳ３４において、算出部５３は、音声認識によりカウントされた手術用具の残数、画像認識によりカウントされた手術用具の残数、そして、物体通過認識によりカウントされた手術用具の残数（以下、物体通過カウント）の差を互いに算出する。
【0101】
ステップＳ３５において、算出部５３は、それぞれの残数（音声カウント、画像カウント、および物体通過カウント）が互いに一致するか否かを判定する。
【0102】
音声カウント、画像カウント、および物体通過カウントが全て一致する場合、提示制御部５４は何もせず、処理は終了する。
【0103】
一方、音声カウント、画像カウント、および物体通過カウントのいずれかが一致しない場合、ステップＳ３６に進み、提示制御部５４は、提示装置４２に警告を提示させる。
【0104】
以上の処理によれば、音声カウント、画像カウント、および物体通過カウントのいずれかが一致しない場合に、提示装置４２に警告が提示されることで、患者の体内に、手術用具を置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
【0105】
＜６．ユースケース＞
本開示に係る技術は、各種の手術を行う手術システムに適用される。
本開示に係る技術は、各種の手術を行う手術システムに適用される。
【0106】
例えば、本開示に係る技術を、髄膜腫などの脳腫瘍の手術を行う手術システムに適用することができる。
【0107】
脳腫瘍の手術は、主に、開頭、摘出、縫合の順番に行われる。
【0108】
頭蓋骨を開頭する際の出血に伴い、複数のガーゼが頭蓋内へ挿入されたり、摘出されたりする。また、硬膜に存在する腫瘍を摘出する際には、手術針とガーゼが頭蓋内へ挿入されたり、摘出されたりする。腫瘍を摘出した後は、人工硬膜をあてがうなどし、皮膚を縫合して手術を終了する。
【0109】
このような、脳腫瘍の手術を行う手術システムに、本開示に係る技術を適用することで、患者の頭蓋内に、手術針やガーゼを置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
【0110】
また、本開示に係る技術を、内視鏡手術を行う手術システムに適用してもよい。
【0111】
内視鏡手術においても、例えば他の臓器を保護するために、複数のガーゼが腹腔内へ挿入されたり、摘出されたりする。
【0112】
内視鏡手術を行う手術システムに、本開示に係る技術を適用することで、患者の腹腔内に、ガーゼを置き忘れたまま手術を終えてしまう医療事故の発生を抑えることが可能となる。
【0113】
＜７．ハードウェア構成＞
次に、図１２を参照して、本実施の形態に係る手術システムを構成する手術室サーバのハードウェア構成の一例について、詳細に説明する。
次に、図１２を参照して、本実施の形態に係る手術システムを構成する手術室サーバのハードウェア構成の一例について、詳細に説明する。
【0114】
図１２は、本実施の形態に係る手術システムを構成する手術室サーバ３００のハードウェア構成の一例を示すブロック図である。
【0115】
図１２に示されるように、手術室サーバ３００は、ＣＰＵ３０１，ＲＯＭ３０３，およびＲＡＭ３０５を備えている。さらに、手術室サーバ３００は、ホストバス３０７、ブリッジ３０９、外部バス３１１、インタフェース３１３、入力装置３１５、出力装置３１７、およびストレージ装置３１９を備えている。なお、手術室サーバ３００は、ドライブ３２１、接続ポート３２３、通信装置３２５を備えてもよい。
【0116】
ＣＰＵ３０１は、演算処理装置および制御装置として機能し、ＲＯＭ３０３，ＲＡＭ３０５、ストレージ装置３１９、またはリムーバブル記録媒体３２７に記録された各種プログラムに従って、手術室サーバ３００内の動作全般またはその一部を制御する。
【0117】
ＲＯＭ３０３は、ＣＰＵ３０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ３０５は、ＣＰＵ３０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、ＣＰＵバスなどの内部バスにより構成されるホストバス３０７により相互に接続されている。なお、図３を参照して説明した手術室サーバ４１の各構成は、例えばＣＰＵ３０１により実現される。
【0118】
ホストバス３０７は、ブリッジ３０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス３１１に接続されている。外部バス３１１には、インタフェース３１３を介して、入力装置３１５、出力装置３１７、ストレージ装置３１９、ドライブ３２１、接続ポート３２３、および通信装置３２５が接続される。
【0119】
入力装置３１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置３１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、手術室サーバ３００の操作に対応した携帯電話やＰＤＡなどの外部接続機器３２９であってもよい。
【0120】
入力装置３１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ３０１に出力する入力制御回路などから構成されている。
【0121】
ユーザは、入力装置３１５を操作することにより、手術室サーバ３００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0122】
出力装置３１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置３１７は、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
【0123】
出力装置３１７は、例えば、手術室サーバ３００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、手術室サーバ３００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
【0124】
ストレージ装置３１９は、手術室サーバ３００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置３１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置３１９は、ＣＰＵ３０１が実行するプログラムや各種データなどを格納する。
【0125】
ドライブ３２１は、記録媒体用リーダライタであり、手術室サーバ３００に内蔵されるか、または外付けされる。ドライブ３２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３２７に記録されている情報を読み出して、ＲＡＭ３０５に出力する。また、ドライブ３２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３２７に記録を書き込むことも可能である。
【0126】
リムーバブル記録媒体３２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア、またはＢｌｕ－ｒａｙ（登録商標）メディアなどである。また、リムーバブル記録媒体３２７は、コンパクトフラッシュ（登録商標）（ＣＦ：CompactFlash）、フラッシュメモリ、またはＳＤ（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体３２７は、例えば、非接触型ＩＣチップを搭載したＩＣ（Integrated Circuit）カード、または電子機器などであってもよい。
【0127】
接続ポート３２３は、外部接続機器３２９を手術室サーバ３００に直接接続するためのポートである。接続ポート３２３の一例としては、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどがある。接続ポート３２３の別の例としては、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート３２３に外部接続機器３２９を接続することで、手術室サーバ３００は、外部接続機器３２９から直接各種のデータを取得したり、外部接続機器３２９に各種のデータを提供したりする。
【0128】
通信装置３２５は、例えば、通信網（ネットワーク）３３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置３２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カードなどである。また、通信装置３２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。
【0129】
通信装置３２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置３２５に接続される通信網３３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網３３１は、例えば、インターネットや家庭内ＬＡＮであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
【0130】
上述した手術室サーバ３００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【0131】
さらに、本実施の形態に係る手術システムを構成する手術室サーバ３００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0132】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0133】
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0134】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0135】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【0136】
また、本開示は以下のような構成をとることができる。
（１）
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える情報処理装置。
（２）
前記提示制御部は、前記第１の残数および前記第２の残数を提示する
（１）に記載の情報処理装置。
（３）
前記音声認識部は、前記音声認識によりカウントした、前記手術用具が前記患者の体内に挿入された第１の挿入回数と、前記手術用具が前記患者の体内から摘出された第１の摘出回数との差分により、前記第１の残数をカウントし、
前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第２の挿入回数と、前記手術用具が前記患者の体内から摘出された第２の摘出回数との差分により、前記第２の残数をカウントする
（１）に記載の情報処理装置。
（４）
前記提示制御部は、前記第１の挿入回数と前記第１の摘出回数、および、前記第２の挿入回数と前記第２の摘出回数を提示する
（３）に記載の情報処理装置。
（５）
手術中における音声および画像の少なくともいずれかを記録する記録部をさらに備え、
前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第１の残数と前記第２の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
（１）または（２）に記載の情報処理装置。
（６）
前記音声認識部は、前記手術用具の種類毎に、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具の種類毎に、前記第２の残数をカウントし、
前記提示制御部は、前記手術用具の種類毎に、前記第１の残数および前記第２の残数を提示する
（１），（２）、または（５）に記載の情報処理装置。
（７）
前記提示制御部は、前記警告の提示後、前記第１の残数および前記第２の残数の修正を受け付ける
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記音声認識部は、１以上の術者の発声に対する前記音声認識により、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具が撮影されている１以上の動画像に対する前記画像認識により、前記第２の残数をカウントする
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
所定のタイミングで、前記第１の残数と前記第２の残数の差を算出する算出部をさらに備える
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記算出部は、前記音声認識部により前記第１の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１１）
前記算出部は、前記画像認識部により前記第２の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１２）
前記算出部は、術野画像のシーンが切り替わったときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１３）
前記算出部は、手術に用いられる医療機器からの信号に応じて、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１４）
前記信号は、電気メスが通電されたことを表す信号である
（１３）に記載の情報処理装置。
（１５）
前記算出部は、一定の時間間隔毎に、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１６）
前記算出部は、手術終了時に、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１７）
前記手術用具は、手術器具および衛生材料の少なくともいずれかを含む
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記手術器具は、手術針を含み、
前記衛生材料は、ガーゼを含む
（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する
提示方法。
（２０）
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える手術システム。
（１）
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える情報処理装置。
（２）
前記提示制御部は、前記第１の残数および前記第２の残数を提示する
（１）に記載の情報処理装置。
（３）
前記音声認識部は、前記音声認識によりカウントした、前記手術用具が前記患者の体内に挿入された第１の挿入回数と、前記手術用具が前記患者の体内から摘出された第１の摘出回数との差分により、前記第１の残数をカウントし、
前記画像認識部は、前記画像認識によりカウントした、前記手術用具が前記患者の体内に挿入された第２の挿入回数と、前記手術用具が前記患者の体内から摘出された第２の摘出回数との差分により、前記第２の残数をカウントする
（１）に記載の情報処理装置。
（４）
前記提示制御部は、前記第１の挿入回数と前記第１の摘出回数、および、前記第２の挿入回数と前記第２の摘出回数を提示する
（３）に記載の情報処理装置。
（５）
手術中における音声および画像の少なくともいずれかを記録する記録部をさらに備え、
前記提示制御部は、前記記録部に記録された前記音声および前記画像の少なくともいずれかに基づいて、前記第１の残数と前記第２の残数に差が生じたときの前記音声および前記画像の少なくともいずれかを提示する
（１）または（２）に記載の情報処理装置。
（６）
前記音声認識部は、前記手術用具の種類毎に、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具の種類毎に、前記第２の残数をカウントし、
前記提示制御部は、前記手術用具の種類毎に、前記第１の残数および前記第２の残数を提示する
（１），（２）、または（５）に記載の情報処理装置。
（７）
前記提示制御部は、前記警告の提示後、前記第１の残数および前記第２の残数の修正を受け付ける
（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記音声認識部は、１以上の術者の発声に対する前記音声認識により、前記第１の残数をカウントし、
前記画像認識部は、前記手術用具が撮影されている１以上の動画像に対する前記画像認識により、前記第２の残数をカウントする
（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
所定のタイミングで、前記第１の残数と前記第２の残数の差を算出する算出部をさらに備える
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記算出部は、前記音声認識部により前記第１の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１１）
前記算出部は、前記画像認識部により前記第２の残数がカウントされたときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１２）
前記算出部は、術野画像のシーンが切り替わったときに、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１３）
前記算出部は、手術に用いられる医療機器からの信号に応じて、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１４）
前記信号は、電気メスが通電されたことを表す信号である
（１３）に記載の情報処理装置。
（１５）
前記算出部は、一定の時間間隔毎に、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１６）
前記算出部は、手術終了時に、前記第１の残数と前記第２の残数の差を算出する
（９）に記載の情報処理装置。
（１７）
前記手術用具は、手術器具および衛生材料の少なくともいずれかを含む
（１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記手術器具は、手術針を含み、
前記衛生材料は、ガーゼを含む
（１７）に記載の情報処理装置。
（１９）
情報処理装置が、
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントし、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントし、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する
提示方法。
（２０）
患者の体内にある手術に用いられる手術用具の残数を音声認識によりカウントする音声認識部と、
前記患者の体内にある前記手術用具の残数を画像認識によりカウントする画像認識部と、
前記音声認識によりカウントされた第１の残数と、前記画像認識によりカウントされた第２の残数に差が生じた場合に、所定の警告を提示する提示制御部と
を備える手術システム。
【符号の説明】
【0137】
１ 手術システム， ３１ マイクロフォン， ３２ カメラ， ４１ 手術室サーバ， ４２ 提示装置， ５１ 音声認識部， ５２ 画像認識部， ５３ 算出部， ５４ 提示制御部， ５５ 記録部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】