特開 2022-133949 医療支援システム及び医療支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022133949

(43)【公開日】2022-09-14

(54)【発明の名称】医療支援システム及び医療支援方法

(51)【国際特許分類】

   G16H 20/00 20180101AFI20220907BHJP

   G06F 3/01 20060101ALI20220907BHJP

【ＦＩ】

G16H20/00

G06F3/01 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021032917

(22)【出願日】2021-03-02

(71)【出願人】

【識別番号】308038613

【氏名又は名称】公立大学法人和歌山県立医科大学

(71)【出願人】

【識別番号】504145283

【氏名又は名称】国立大学法人 和歌山大学

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】西川 彰則

(72)【発明者】

【氏名】吉野 孝

【テーマコード（参考）】

5E555

5L099

【Ｆターム（参考）】

5E555AA07

5E555AA63

5E555AA74

5E555AA76

5E555BA04

5E555BA22

5E555BA38

5E555BB04

5E555BB22

5E555BB38

5E555BC01

5E555BE09

5E555CA42

5E555CA47

5E555CB48

5E555CC02

5E555DA08

5E555DA09

5E555DA22

5E555DA23

5E555DB41

5E555DC11

5E555DC35

5E555DD01

5E555DD08

5E555EA05

5E555EA06

5E555EA07

5E555EA09

5E555EA22

5E555FA00

5L099AA01

(57)【要約】

【課題】インシデント・アクシデント防止のため適切な医療支援情報の提供が望まれる。
【解決手段】開示の医療支援システムは、画像データから、医療に用いられる１又は複数の物体を認識し、認識された前記１又は複数の物体に対応する医療行為を識別し、識別された前記医療行為に対応する医療支援情報をユーザに提示することを備える処理を実行するよう構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像データから、医療に用いられる１又は複数の物体を認識し、
認識された前記１又は複数の物体に対応する医療行為を識別し、
識別された前記医療行為に対応する医療支援情報をユーザに提示する
ことを備える処理を実行するよう構成されている医療支援システム。

【請求項2】

前記医療行為を識別することは、第１物体に対応付けられた第１医療行為と、前記第１物体及び前記第１物体以外の第２物体に対応付けられた第２医療行為と、を含む複数の医療行為候補の中から、前記画像データに現れた前記１又は複数の物体に対応する前記医療行為を識別することである
請求項１に記載の医療支援システム。

【請求項3】

前記画像データにおける第１時点において前記第１物体が現れているが前記第２物体が現れておらず、前記第１時点より後の第２時点において前記第２物体が現れた場合、前記第２時点よりも前においては、前記第１物体に対応する第１医療行為を識別し、前記第２時点よりも後においては前記第１物体及び前記第２物体に対応する第２医療行為を識別するよう構成されている
請求項２に記載の医療支援システム。

【請求項4】

前記処理は、
前記医療行為を識別することを、第１周期及び前記第１周期に続く第２周期を含む複数の周期において繰り返し行うよう構成されているとともに、
前記第２周期において識別された医療行為が、前記第１周期において識別された医療行為と同じである場合、第２周期においては、前記医療支援情報をユーザに提示しないように構成されている
請求項１から請求項３のいずれか１項に記載の医療支援システム。

【請求項5】

前記ユーザに提示される前記医療支援情報は、前記ユーザの属性に応じて決定される
請求項１から請求項４のいずれか１項に記載の医療支援システム。

【請求項6】

前記処理は、前記画像データから、前記医療行為を受ける患者の姿勢を推定することを更に備え、
前記ユーザに提示される前記医療支援情報は、推定された前記姿勢に基づく情報を含む
請求項１から請求項５のいずれか１項に記載の医療支援システム。

【請求項7】

前記処理は、認識された前記物体及び識別された前記医療行為の少なくともいずれか一方と、前記医療行為を受ける患者と、の適合性を判定することを更に備え、
前記ユーザに提示される前記医療支援情報は、前記適合性の判定結果に基づく情報を含む
請求項１から請求項６のいずれか１項に記載の医療支援システム。

【請求項8】

前記処理は、前記医療支援情報とともに、識別された前記医療行為をユーザに提示することを更に備える
請求項１から請求項７のいずれか１項に記載の医療支援システム。

【請求項9】

前記処理は、提示された前記医療支援情報の提示キャンセル指示を前記ユーザから受け付けると、前記医療支援情報を非提示にする
請求項１から請求項８のいずれか１項に記載の医療支援システム。

【請求項10】

前記医療支援情報は、前記ユーザに装着されるウェアラブルデバイスによって、前記ユーザに提示され、
前記ウェアラブルデバイスは、前記画像データを取得するためのカメラを備える
請求項１から請求項９のいずれか１項に記載の医療支援システム。

【請求項11】

医療支援システムによって実行される医療支援方法であって、
画像データから、医療に用いられる１又は複数の物体を認識し、
前記医療支援システムが、認識された前記１又は複数の物体対応する医療行為を識別し、
識別された前記医療行為に対応する医療支援情報をユーザに提示する
ことを備える医療支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療支援システム及び医療支援方法に関する。

【背景技術】

【0002】

特許文献１は、医療現場において、医療従事者であるユーザに、医療機器等の操作手順等の必要な情報を提供する情報提供システムを開示している。特許文献１は、ユーザが、グラスを装着し、必要な情報を確認しながら業務を遂行することで、業務を滞りなく進めることができる、ことを開示している。

【0003】

特許文献１に記載の情報提供システムは、ユーザが視認可能な範囲に存在する特定の機具の画像データを取得し、その画像データに含まれる機具の状態の正否を判定し、その判定結果をユーザのグラスに送信する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１３２８８９号公報

【発明の概要】

【0005】

特許文献１の情報提供システムは、医療現場において必要とされる情報として、単に医療機器の操作手順を提供するにすぎない。

【0006】

しかし、医療機器の操作手順だけでは、医療現場に提供される情報として十分ではないことがある。

【0007】

医療現場では、インシデント・アクシデントが発生することがある。このため、医療従事者は、インシデント・アクシデント防止のため、機器の操作手順を把握しておくことに限られず、患者に施される医療行為において、注意すべき事項を常に意識しておく必要がある。しかし、多忙な医療従事者は、医療行為において注意すべき事項を常に意識できるとは限らない。

【0008】

インシデント・アクシデント防止には、例えば、指導医が付き添って、注意すべき事項等を指導することが考えられる。しかし、指導医が常に付き添うことは、多忙な医療現場においては困難である。また、経験豊かな医療従事者であっても、心身の状況又は疲労などの影響を受けるおそれがある。

【0009】

したがって、適切な医療支援情報の提供が望まれる。

【0010】

本開示のある側面は、医療支援システムである。開示の医療支援システムは、画像データから、医療に用いられる１又は複数の物体を認識し、認識された前記１又は複数の物体対応する医療行為を識別し、識別された前記医療行為に対応する医療支援情報をユーザに提示することを備える処理を実行するよう構成されている。

【0011】

本開示の他の側面は、医療支援方法である。開示の医療支援方法は、医療支援システムによって実行される医療支援方法であって、画像データから、医療に用いられる１又は複数の物体を認識し、前記医療支援システムが、認識された前記１又は複数の物体対応する医療行為を識別し、識別された前記医療行為に対応する医療支援情報をユーザに提示する
ことを備える。

【0012】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0013】

【図1】図１は、医療支援システムの構成図である。

【図2】図２は、医療支援システムによって実行される医療支援処理を示すブロック図である。

【図3】図３は、データベースの構成図である。

【図4】図４は、医療材料－医療行為テーブル及び医療支援情報データベースの例を示す図である。

【図5】図５は、物体認識処理のフローチャートである。

【図6】図６は、医療支援情報出力処理のフローチャートである。

【図7】図７は、医療支援システムの動作例を示すタイミングチャートである。

【発明を実施するための形態】

【0014】

＜１．医療支援システム及び医療支援方法の概要＞

【0015】

（１）実施形態に係る医療支援システムは、画像データから、医療に用いられる１又は複数の物体を認識し、認識された前記１又は複数の物体に対応する医療行為を識別し、識別された前記医療行為に対応する医療支援情報をユーザに提示することを備える処理を実行するよう構成されている。この医療支援システムは、医療に用いられる１又は複数の物体に対応する医療行為を識別するよう構成されているため、医療行為に対応する医療支援情報をユーザに提示することができる。

【0016】

（２）前記医療行為を識別することは、第１物体に対応付けられた第１医療行為と、前記第１物体及び前記第１物体以外の第２物体に対応付けられた第２医療行為と、を含む複数の医療行為候補の中から、前記画像データに現れた前記１又は複数の物体に対応する前記医療行為を識別することであるのが好ましい。この場合、第１医療行為及び第２医療行為は、第１物体という共通する物体が用いられるが、第１医療行為と第２医療行為とを区別して、それぞれに対応する医療支援情報をユーザに提示することができる。

【0017】

（３）前記画像データにおける第１時点において前記第１物体が現れているが前記第２物体が現れておらず、前記第１時点より後の第２時点において前記第２物体が現れた場合、前記第２時点よりも前においては、前記第１物体に対応する第１医療行為を識別し、前記第２時点よりも後においては前記第１物体及び前記第２物体に対応する第２医療行為を識別するよう構成されているのが好ましい。この場合、各時点までに認識された物体に対応する適切な医療行為を識別できる。

【0018】

（４）前記処理は、前記医療行為を識別することを、第１周期及び前記第１周期に続く第２周期を含む複数の周期において繰り返し行うよう構成されているとともに、前記第２周期において識別された医療行為が、前記第１周期において識別された医療行為と同じである場合、第２周期においては、前記医療支援情報をユーザに提示しないように構成されているのが好ましい。この場合、医療支援情報を不必要に繰り返しユーザに提示することを防止できる。

【0019】

（５）前記ユーザに提示される前記医療支援情報は、前記ユーザの属性に応じて決定されるのが好ましい。この場合、ユーザの属性に応じたユーザ支援情報を、ユーザに提示できる。ユーザの属性は、例えば、ユーザである医療従事者の属性であり、より具体的には、医師又は看護師である。

【0020】

（６）前記処理は、前記画像データから、前記医療行為を受ける患者の姿勢を推定することを更に備え、前記ユーザに提示される前記医療支援情報は、推定された前記姿勢に基づく情報を含むのが好ましい。この場合、患者の姿勢に基づく情報をユーザに提示できる。

【0021】

（７）前記処理は、認識された前記物体及び識別された前記医療行為の少なくともいずれか一方と、前記医療行為を受ける患者と、の適合性を判定することを更に備え、前記ユーザに提示される前記医療支援情報は、前記適合性の判定結果に基づく情報を含むのが好ましい。

【0022】

（８）前記処理は、前記医療支援情報とともに、識別された前記医療行為をユーザに提示することを更に備えるのが好ましい。この場合、ユーザは、医療支援システムによって識別された医療行為を認識できるため、提示された医療支援情報の適切さを判断することができる。

【0023】

（９）前記処理は、提示された前記医療支援情報の提示キャンセル指示を前記ユーザから受け付けると、前記医療支援情報を非提示にするのが好ましい。この場合、ユーザ指示によって、提示された医療支援情報を非提示にできる。

【0024】

（１０）前記医療支援情報は、前記ユーザに装着されるウェアラブルデバイスによって、前記ユーザに提示され、前記ウェアラブルデバイスは、前記画像データを取得するためのカメラを備えるのが好ましい。この場合、画像データは、ユーザに装着されたウェアラブルデバイスのカメラによって取得されるため、ユーザが存在する位置に応じた、医療場面が撮像される。従って、患者のベッドサイドで行われる医療行為又は在宅診療として行われる医療行為の医療場面であっても、その医療場面の撮像が可能であり、ユーザは、その医療場面に応じた、医療支援情報を容易に得られる。

【0025】

（１１）実施形態に係る医療支援方法は、医療支援システムによって実行される医療支援方法であって、画像データから、医療に用いられる１又は複数の物体を認識し、前記医療支援システムが、認識された前記１又は複数の物体対応する医療行為を識別し、識別された前記医療行為に対応する医療支援情報をユーザに提示することを備えるのが好ましい。

【0026】

＜２．医療支援システム及び医療支援方法の例＞

【0027】

以下、図面を参照しつつ、本発明の実施形態をより詳細に説明する。以下の説明は、好適な一例であり、本発明を限定するものではない。

【0028】

図１は、実施形態に係る医療支援システム１００（以下、単に「システム１００」という）を示している。システム１００は、ユーザ１０に対して、医療支援情報を提示する。ユーザは、例えば、医師又は看護師などの医療従事者である。システム１００は、サーバ２００と、ユーザ端末３００と、を備え得る。

【0029】

システム１００は、医療支援処理６０（図２参照）を実行するよう構成されている。医療支援処理６０は、ユーザ端末３００及びサーバ２００の双方によって分担して実行されてもよいし、ユーザ端末３００単独で実行されてもよい。また、サーバ２００が医療支援処理６０の大部分を担い、ユーザ端末３００は画像データ取得及び医療支援情報出力などのユーザインタフェース機能だけを担っても良い。以下では、医療支援処理６０は、ユーザ端末３００及びサーバ２００の双方によって分担して実行されるものとして説明する。医療支援処理６０のうち、サーバ２００によって実行される処理を第１医療支援処理６０Ａといい、ユーザ端末３００によって実行される処理を第２医療支援処理６０Ｂという。なお、ユーザ端末３００とサーバ２００とは、ネットワーク４５０を介して、互いに通信可能に接続される。

【0030】

サーバ２００は、プロセッサ２１０及び記憶装置２２０を備えるコンピュータによって構成されている。記憶装置２２０は、プロセッサ２１０に接続されている。記憶装置２２０には、コンピュータプログラム２３０が格納されている。記憶装置２２０は単にメモリ２２０と呼ばれても良い。記憶装置２２０は、例えば、一次記憶装置及び二次記憶装置を備える。一次記憶装置は、例えば、ＲＡＭである。二次記憶装置は、例えば、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）である。プロセッサ２１０は、記憶装置２２０に格納されたコンピュータプログラム２３０を読み出して、第１医療支援処理６０Ａを実行する。コンピュータプログラム２３０は、第１医療支援処理６０Ａのためのプログラムコードを有する。

【0031】

サーバ２００の記憶装置２２０は、データベース４００を備える。データベース４００の一部又は全部が、ユーザ端末３００の記憶装置３２０、又はネットワーク４５０を介して接続された他のコンピュータの記憶装置に格納されていてもよい。データベース４００については後述する。

【0032】

ユーザ端末３００は、プロセッサ３１０及び記憶装置３２０と、を備えている。記憶装置３２０には、コンピュータプログラム３３０が格納されている。記憶装置３２０は、単にメモリ３２０と呼ばれても良い。記憶装置３２０は、プロセッサ３１０に接続されている。記憶装置３２０は、例えば、一次記憶装置及び二次記憶装置を備える。プロセッサ３１０は、記憶装置３２０に格納されたコンピュータプログラム３３０を読み出して、第２医療支援処理６０Ｂを実行する。コンピュータプログラム３３０は、第２医療支援処理６０Ｂのためのプログラムコードを有する。

【0033】

ユーザ端末３００は、例えば、ユーザ１０に装着されるウェアラブルデバイスであるのが好ましい。ウェアラブルデバイスは、ユーザに情報提示のためのディスプレイ３５０を備えるのが好ましい。ウェアラブルデバイスは、ユーザ１０の頭部に装着されるものが好ましい。頭部に装着されるウェアラブルデバイスは、例えば、スマートグラスである。スマートグラスは、カメラ３４０及び網膜投射型ディスプレイ３５０を備える。スマートグラスは、ユーザの視界である実際の景色に重ねて、情報を表示できる。このため、スマートグラスは、医療従事者などのユーザが、医療行為を行いながら、情報を得るのに適している。

【0034】

ユーザ端末３００であるスマートグラスは、メガネ型に構成された本体３０１と、スマートグラスは、前述のカメラ３４０及びディスプレイ３５０を備える。カメラ３４０は、ユーザ１０の視野と重なる範囲を撮像するように本体３０１に設けられている。ディスプレイ３５０は、網膜投射型であり、ユーザの視野に重ねて、情報をユーザに提示できるように本体３０１に設けられている。

【0035】

ユーザ端末３００であるスマートグラスは、更に、スピーカ３６０、マイク３７０、操作部３８０、及び通信インタフェース３９０を備える。スピーカ３６０は、医療支援情報などを音として出力する。マイク３７０は、ユーザ指示などの音声入力のために用いられる。操作部３８０は、本体３０１に設けられたボタンなどによって構成され、ユーザ指示の受付のため、ユーザ１０からの手動操作を受け付ける。通信インタフェース３９０は、外部との通信に用いられる。通信インタフェース３９０は、例えば、ネットワーク４５０を介したサーバ２００との通信に用いられる。ネットワーク４５０は、例えば、無線ＬＡＮを含む。無線ＬＡＮは、例えば、病院内に構築された院内ＬＡＮ、患者の滞在する施設内に構築された施設内ＬＡＮ、又は患者の自宅に構築された宅内ＬＡＮである。ネットワーク４５０は、インターネットなどの他のネットワークを含んでも良い。

【0036】

ユーザ１０に装着されたユーザ端末３００は、ユーザ１０によって行われる医療場面を、カメラ３４０によって撮像する。医療場面は、医療従事者によって患者に対して行われる医療行為の場面である。医療行為は、例えば、診察室、処置室、検査室、病室、患者の滞在する施設、又は患者の自宅において行われる。医療行為は、例えば、患者に対して施される手技又は検査である。

【0037】

実施形態において、医療行為は、医療機器など、医療に用いられる１又は複数の物体を用いて行われる。医療に用いられる物体は、例えば、医療機器、患者に投与される医薬、医療行為に用いられる薬剤などである。以下では、医療に用いられるこれらの物体を総称して「医療材料」ともいう。

【0038】

医療行為には、１つの医療材料だけが用いられる医療行為と、複数の医療材料（例えば、図１の第１医療機器３１及び第２医療機器３２）が用いられる医療行為と、がある。また、同じ医療材料が、用いられる場合であっても、医療行為としては異なることがある。例えば、中心静脈カテーテルは、カテーテルの挿入と抜去とに用いられ得る。中心静脈カテーテル挿入と中心静脈カテーテル抜去とは異なる医療行為としてみなされるべきであるが、ともに中心静脈カテーテルが用いられる。また、より汎用的な医療器具の場合（例えば、クーパ）の場合、多種多様な医療行為に用いられることがある。

【0039】

また、医療場面において、ユーザ１０によって視認される範囲（視野）には、患者に対して行われる医療行為に医療材料が現れ得る。また、ユーザ１０によって視認される範囲には、患者２０が現れ得る。医療場面において、患者２０は、例えば、ベッド、診察台、又は処置台など、医療行為を受けるために患者２０が乗るべき台４０の上に存在し得る。スマートグラスに備わったカメラ３４０は、ユーザ１０によって視認される視野内の医療場面を撮像する。したがって、カメラ３４０によって撮像された画像データ（医療場面映像データ）には、医療材料及び患者が現れ得る。カメラ３４０によって撮像される範囲は、ユーザ１０の一部であってもよいし、全部であってもよい。画像データは、好ましくは、動画であるが、静止画であってもよい。

【0040】

実施形態において、カメラ３４０は、ユーザ１０に装着されているため、ユーザ１０の姿勢又は位置によって、撮像範囲は変動する。したがって、医療場面に存在する医療材料及び患者全てが、同時に画像データに現れるとは限らない。

【0041】

医療場面において、ユーザ１０によって視認される範囲（視野）には、患者に対して行われる医療行為とは無関係又は関係性の低い医療材料、又はその他の物体が現れ得る。例えば、ある医療行為が行われようとしている処置室に、他の医療行為のための医療材料の在庫が置かれていることがある。このように、ユーザ１０に装着されたカメラ３４０によって撮像された画像データには、患者に対して行われる医療行為とは無関係又は関係性の低い物体が現れることがある。

【0042】

実施形態に係るシステム１００は、前述のような医療場面において、患者に対して医療行為を施そうとするユーザ１０の視野を撮像した画像データから、その医療行為を識別し、識別された医療行為に対応する医療支援情報を、ユーザ１０にリアルタイムで提示する。したがって、ユーザ１０は、医療行為を行うにあたって有益な情報を得ることができる。

【0043】

医療支援情報は、例えば、識別された医療行為において発生し得るインシデント又はアクシデントの防止のため、医療従事者において注意すべき事項を示す注意喚起情報を含み得る。したがって、システム１００は、医療従事者の経験不足・知識不足を補い得る。また、システム１００は、多忙な医療従事者のうっかりミス等を防止し得る。

【0044】

また、医療支援情報は、医療行為の適切な手順を示す手順指示情報を含み得る。医療支援情報は、患者の病状などを示す患者データを含み得る。これらの情報が医療支援情報に含まれていることで、医療従事者は、更に有益な情報が得られる。

【0045】

医療支援情報の提示は、ユーザが視覚的に認識できる態様、つまり、画面表示であってもよいし、ユーザが聴覚的に認識できる態様、つまり、音声出力であってもよい。本実施形態においては、主に、画面表示によって医療支援情報を提示しつつ、付加的に音声出力も行われる。この点については後述する。

【0046】

図１は、ディスプレイ３５０に表示される表示データ５００の一例を示している。表示データ５００は、スマートグラスによって、ユーザ１０が視認している医療場面の景色に重畳して表示される。表示データ５００は、例えば、医療行為５１０、レベル５２０、及び医療支援情報５３０を含み得る。表示データ５００に含まれる医療行為５１０は、システム１００によって識別された医療行為である。レベル５２０は、例えば、表示される医療支援情報５３０の重要度を示すレベルであり、アラートレベルと呼んでも良い。ユーザに提示される医療支援情報５３０は、ユーザ１０のレベルに応じて決定される。ユーザ１０のレベルは、ユーザ１０の経験等によって決まり、システム１００において予め設定されている。

【0047】

図２は、システム１００によって実行される医療支援処理６０の構成を示している。医療支援処理６０は、カメラ３４０によって撮像された画像データ（医療場面映像）から、医療支援情報を出力するよう構成されている。図２に示す医療支援処理６０は、物体認識処理６０１、医療行為識別処理６０２、及び医療支援情報出力処理６１０を備えている。また、図２に示す医療支援処理６０は、姿勢推定処理６０３及び年齢／性別推定処理６０４も備えている。

【0048】

ここでは、一例として、物体認識処理６０１、医療行為識別処理６０２、姿勢推定処理６０３、及び年齢／性別推定処理６０４が、第１医療支援処理６０Ａを構成しており、サーバ２００によって実行されるものとする。また、医療支援情報出力処理６１０が、第２医療支援処理６０Ｂを構成しており、ユーザ端末３００によって実行されるものとする。各処理の実行のため、ユーザ端末３００とサーバ２００との間の情報伝達は、ネットワーク４５０を介して行われる。また、ユーザ端末３００は、必要に応じて、ネットワーク４５０を介して、データベース４００にアクセスすることができる。

【0049】

物体認識処理６０１は、医療場面を撮像した画像データを取得し、その画像データから、その画像データに現れている１又は複数の物体を認識する。物体認識処理６０１は、例えば、物体認識モデルを用いて、物体を認識する。物体認識モデルは、例えば、画像データが入力として与えられると、画像中に現れている物体（医療材料）の名前を出力する機械学習モデルによって構成されている。ここで、名前は、物体又は医療材料の識別子であってもよく、名前というときは、識別子を含む意味であり得る。

【0050】

物体認識のための機械学習は、一例として、認識対象となる医療材料を実際の使用環境又は使用環境に近い環境で撮像した動画（又は静止画）を、学習データ（訓練データ）とし、撮像された医療材料名（物体名）を正解ラベルとして行った。この機械学習により得られたモデルを、物体認識処理６０１のためのモデルとして用いた。

【0051】

ここで、システム１００によって認識対象となる医療材料は複数である。認識対象となる医療材料は、システム１００によって識別される医療行為に用いられる物体である。システム１００によって識別される医療行為の候補は複数あり、各医療行為の候補において用いられる物体が、認識対象として学習される。

【0052】

なお、医療材料に、バーコード又は二次元コードなど、機械読み取り可能なコードが付されている場合、物体認識処理６０１は、画像データに現れたコードを読み取って、医療材料を認識してもよい。物体認識モデルによる認識とコード読み取りとを組み合わせることで、医療材料に関するより詳細なデータを得ることができる。

【0053】

認識された１又は複数の医療材料（医療機器等）の名前は、医療行為識別処理６０２に与えられる。なお、認識された１又は複数の医療材料（医療機器等）の名前は、医療支援情報出力処理６１０に与えられても良い。

【0054】

医療行為識別処理６０２は、認識された１又は複数の医療材料から、ユーザによって行われる医療行為を識別する。なお、医療行為識別処理６０２のためのコンピュータプログラムモジュールを、医療行為識別モジュールという。

【0055】

実施形態において、医療行為の識別には、医療材料－医療行為テーブル４３０が用いられる。医療材料－医療行為テーブル４３０には、識別対象となる医療行為の候補が複数設定されており、複数の医療行為の候補それぞれに対して、１又は複数の医療材料が対応付けられている。

【0056】

医療行為識別処理６０２は、物体認識処理６０１によって認識された１又は複数の医療材料を取得すると、医療材料－医療行為テーブル４３０を参照し、認識された１又は複数の医療材料に対応する医療行為を識別する。実施形態においては、単に、医療機器などの医療材料を認識するので止まるのではなく、画像データに現れた医療材料から、ユーザが行おうとする医療行為を識別するため、識別された医療行為に対応する適切な医療支援情報をユーザに提示することができる。識別された医療行為は、対応する医療支援情報のユーザ提示のため、医療支援情報出力処理６１０に与えられる。

【0057】

姿勢推定処理６０３は、医療場面を撮像した画像データを取得し、その画像データから、その画像データに現れている患者２０の姿勢を推定する。姿勢推定処理６０３は、例えば、姿勢推定モデルを用いて、患者２０の姿勢を推定する。姿勢推定モデルは、例えば、人間が現れた画像データから、その人間の関節の位置を出力する機械学習モデルを有し、関節の位置から、人間の姿勢を推定する。推定される姿勢は、例えば、仰臥位、伏臥位、左側臥位、右側臥位、座位、及び立位のいずれかである。推定された患者姿勢は、医療支援情報の提示に用いるために、医療支援情報出力処理６１０に与えられる。

【0058】

年齢／性別推定処理６０４は、医療場面を撮像した画像データを取得し、その画像データから、その画像データに現れている患者２０の年齢及び姿勢の少なくともいずれか一方を推定する。ここでは、年齢及び性別の両方が推定されるものとする。年齢／性別推定処理６０４は、例えば、年齢推定モデル及び性別推定モデル、又は年齢及び性別の双方を推定できるモデルを用いて、患者２０の年齢及び性別を推定する。推定される年齢は、何十代であるかという大まかなものでも足りる。推定された年齢及び性別は、医療支援情報出力処理６１０に与えられる。

【0059】

医療支援情報出力処理６１０は、医療行為識別処理６０２によって識別された医療行為から、その医療行為に対応する医療支援情報を決定し、決定した医療支援情報をユーザに提示する。なお、医療支援情報出力処理６１０のためのコンピュータプログラムモジュールを、出力処理モジュールという。

【0060】

実施形態において、医療行為から医療支援情報を決定する際には、医療支援情報データベース４４０が用いられる医療支援情報データベース４４０には、複数の医療行為それぞれに医療支援情報等が対応付けられている。

【0061】

図３は、医療支援処理６０に用いられるデータベース４００に含まれる各種データベース等を示している。実施形態において、データベース４００は、医療材料－医療行為テーブル４３０及び医療支援情報データベース４４０を備える。また、データベース４００は、ユーザデータベース４１０及び患者データベース４２０を更に備える。なお、これらのデータベース４１０，４２０，４３０，４４０は、複数のコンピュータに分散配置されていてもよい。

【0062】

ユーザデータベース４１０は、複数のユーザ１０それぞれのユーザデータを備える。各ユーザデータは、ユーザＩＤ４１１、名前４１２、職制４１３、レベル４１４などのデータ項目を有する。ユーザＩＤ４１１は、ユーザ１０である医療従事者それぞれに付与された識別子を示す。名前４１２は、ユーザ１０である医療従事者の名前を示す。職制４１３は、ユーザである医療従事者の職制を示す。職制は、例えば、医師又は看護師である。レベル４１４は、医療従事者の経験を応じたレベルであり、例えば、１から３の数値で表される。一例として、１は、経験量が低であることを示し、２は、経験量が中であることを示し、３は、経験量が高であることを示す。職制４１３及びレベル４１４は、ユーザ１０の属性を示す。実施形態において、職制４１３又はレベル４１４のようなユーザ属性は、ユーザ１０に提示される医療支援情報の内容又は提示態様を決定するために用いられる。

【0063】

患者データベース４２０は、複数の患者２０それぞれの患者データを備える。各患者データは、患者ＩＤ４２１、名前４２２、性別４２３，年齢４２４、その他データ４２５などのデータ項目を有する。患者ＩＤ４２１は、患者２０それぞれに付与された識別子を示す。名前４２２は、患者２０の名前を示す。性別４２３は、患者２０の性別を示す。年齢４２４は、患者２０の年齢を示す。その他データ４２５は、禁忌データ、投薬情報、検査予定・結果、発熱時指示内容、疼痛時指示内容、アレルギー情報、画像などを含む。禁忌データは、患者２０が禁忌すべき薬剤等を示す。投薬情報は、患者２０が現在服用している薬を示す。禁忌データ及び投薬情報等は、画像データに現れている医療場面で用いられる医療材料（特に、医薬）が、その患者２０に適合したものであるかの適合性判定のための情報として有用である。

【0064】

医療材料－医療行為テーブル４３０は、複数の医療行為４３１それぞれに、１又は複数の医療材料４３２を対応付けて構成されている。医療材料－医療行為テーブル４３０は、医療材料４３２から医療行為４３１を識別するために用いられる。医療材料－医療行為テーブル４３０に設定された医療行為４３１は、システム１００によって識別され得る医療行為の候補である。また、医療材料－医療行為テーブル４３０に設定された医療材料４３２には、システム１００によって認識され得る医療材料の候補である。

【0065】

医療材料－医療行為テーブル４３０において、一つの医療行為４３１には、一つの医療材料４３２が対応付けられていても良いし、複数の医療材料４３２が対応付けられていても良い。ある医療材料が、複数の医療行為に共通して対応付けられていても良い。この場合、共通する医療材料が用いられる複数の医療行為同士は、共通しない他の医療材料によって識別され得る。

【0066】

医療支援情報データベース４４０は、複数の医療行為４４１それぞれに、医療支援情報４４４等を対応付けて構成されている。医療支援情報データベース４４０は、医療行為から、対応する医療支援情報を決定するために用いられる。医療行為４４１には、ユーザデータ４４２、患者データ４４３、患者姿勢４４５が更に対応付けられていても良い。ユーザデータ４４２は、ユーザの職制４４２Ａ及びユーザのレベル４４２Ｂを含むことができる。患者データ４４３は、患者の性別４４３Ａ及び患者の年齢４４３Ｂを含むことができる。実施形態において、ユーザに提示される医療支援情報４４４は、ユーザ属性及び患者属性の少なくとも一方によって変わり得る。このため、医療支援情報データベース４４０におけるユーザデータ４４２及び患者データ４４３は、医療支援情報４４４に対応付けて設定されている。これによって、ユーザ属性又は患者属性に応じた適切な医療支援情報を決定できる。すなわち、医療支援情報データベース４４０においては、医療行為毎に、患者の年齢に応じた医療支援情報が設定されていてもよいし、それに加えて又は代えて、患者の性別に応じた医療支援情報が設定されていても良い。

【0067】

図４は、医療材料－医療行為テーブル４３０及び医療支援情報データベース４４０の例を示している。図４では、便宜的に、医療材料－医療行為テーブル４３０及び医療支援情報データベース４４０が一体的に構成されている。このように、医療材料－医療行為テーブル４３０及び医療支援情報データベース４４０は、一体的に構成されていても、別々に構成されていてもよい。

【0068】

図４では、番号「１」から「７」で表される７つの医療行為が例示されている。番号「１」の医療行為は、「中心静脈カテーテル操作」である。「中心静脈カテーテル操作」は、「中心静脈カテーテル挿入」及び「中心静脈カテーテル抜去」を含む包括的な概念における行為を示す。「中心静脈カテーテル操作」には、「中心静脈カテーテル」という一つの医療材料のみが対応付けられている。つまり、ここでは、医療行為と医療材料とは１対１で対応している。医療行為：「中心静脈カテーテル操作」には、いくつかの医療支援情報が対応付けて設定されている。

【0069】

医療行為：「中心静脈カテーテル操作」においてユーザに提示される医療支援情報は、ユーザの職制／レベルといったユーザ属性によって異なり得る。例えば、医療行為：「中心静脈カテーテル操作」における医療支援情報は、医師であるユーザに提示すべき情報と、看護師であるユーザに提示すべき情報とは異なることがある。例えば、医師に提示すべき情報がある場合、図４に示すように、医療支援情報データベース４４０においては、「中心静脈カテーテル操作」に対応する「職制」として「医師」が設定され、「医師」に対応した「医療支援情報」が設定されている。また、医師の中でも経験によってレベル差があり、提示すべき情報に差をつけた方がよいため、「医師」に対応する「レベル」として「１」「３」が設定されている。レベル：「１」には、「挿入時：鎖骨下動脈を穿刺しないように針は寝かせてください」という医療支援情報が対応付けられている。また、レベル：「３」には、「挿入時：抗血小板剤、抗凝固剤の内服はありませんか」及び「抜去時：カテーテル抜去時は仰臥位です。座位では空気塞栓の危険があります。」という医療支援情報が対応付けられている。

【0070】

ユーザ１０には、ユーザ１０自身のレベルよりも高いレベルの情報が提示される。したがって、医療行為：「中心静脈カテーテル操作」が識別された場合に、職制が医師でありレベルが１であるユーザ１０には、「挿入時：鎖骨下動脈を穿刺しないように針は寝かせてください」、「挿入時：抗血小板剤、抗凝固剤の内服はありませんか」及び「抜去時：カテーテル抜去時は仰臥位です。座位では空気塞栓の危険があります。」の全てが医療支援情報として提示される。

【0071】

また、医療行為：「中心静脈カテーテル操作」が識別された場合に、職制が医師でありレベルが２又は３であるユーザ１０には、「挿入時：抗血小板剤、抗凝固剤の内服はありませんか」及び「抜去時：カテーテル抜去時は仰臥位です。座位では空気塞栓の危険があります。」が医療支援情報として提示される。

【0072】

なお、図４においては、医療行為：「中心静脈カテーテル操作」に対応する看護師のための医療支援情報が図示省略されているが、職制：看護師のための医療支援情報が設定されていてもよい。また、図４には、ユーザ属性毎の医療支援情報を図示していないが、ユーザ１０に提示されるべき医療支援情報は、患者２０の年齢／性別といったユーザ属性によっても変化し得るため、各医療行為について、ユーザ属性毎の医療支援情報が設定されていてもよい。患者２０の年齢及び性別といったユーザ属性は、患者データベース４２０から取得された年齢／性別であってもよいし、年齢／性別推定処理６０４によって得られた推定年齢／性別であってもよい。なお、患者データベース４２０から患者データを取得するには、例えば、画像データに現れた患者コード（患者に付与されたバーコード等）から、患者ＩＤを読み取り、その患者ＩＤに基づいて、患者データベース４２０を参照して、患者データを得ることができる。

【0073】

図４において番号「２」の医療行為は、「中心静脈カテーテル挿入」である。「中心静脈カテーテル挿入」は、中心静脈カテーテルを患者２０の体内に挿入する行為である。「中心静脈カテーテル挿入」には、「中心静脈カテーテル」及び「ガイドワイヤ」という複数の医療材料が対応付けられている。つまり、ここでは、医療行為と医療材料とは１対多で対応している。

【0074】

図４において番号「３」の医療行為は、「中心静脈カテーテル抜去」である。「中心静脈カテーテル抜去」は、患者２０の体内に挿入された中心静脈カテーテルを抜去する行為である。「中心静脈カテーテル抜去」には、「中心静脈カテーテル」及び「ハサミ（クーパ）」という複数の医療材料が対応付けられている。つまり、ここでは、医療行為と医療材料とは１対多で対応している。

【0075】

図４において、番号「１」「２」「３」それぞれの医療行為には、共通する医療材料「中心静脈カテーテル」が対応付けられている。医療場面において、「中心静脈カテーテル」の存在の認識だけでは、その挿入であるのか抜去であるのかの区別はつかない。しかし、中心静脈カテーテル挿入に用いられる「ガイドワイヤ」が「中心静脈カテーテル」とともに認識されれば、ユーザが行おうとしている医療行為は、抽象的な「中心静脈カテーテル操作」ではなく、具体的に「中心静脈カテーテル挿入」であると識別できる。また、中心静脈カテーテル抜去に用いられる「ハサミ（クーパ）」が「中心静脈カテーテル」とともに認識されれば、ユーザが行おうとしている医療行為は、抽象的な「中心静脈カテーテル操作」ではなく、具体的に「中心静脈カテーテル抜去」であると識別できる。

【0076】

このように、複数の医療行為の候補（例えば、番号「１」「２」「３」の医療行為）に共通する医療材料（例えば、中心静脈カテーテル）があっても、他の医療材料の有無、又は他の医療材料（例えば、ガイドワイヤ又はハサミ）が何であるか、によって、医療行為を区別して識別することができる。

【0077】

また、本実施形態のシステム１００は、「中心静脈カテーテル挿入」及び「中心静脈カテーテル除去」のように、共通する医療材料が用いられるが、提示すべき医療支援情報の観点からは、区別されるべき医療行為が存在する場合に、それらの医療行為が区別できない状態であっても、有益な情報をユーザ１０に提示できる。すなわち、本実施形態のシステム１００では、共通する医療材料（例えば、中心静脈カテーテル）だけに対応付けられた包括概念的な医療行為（例えば、中心静脈カテーテル操作）が設定されている。このため、本実施形態のシステム１００は、より具体的な概念の「中心静脈カテーテル挿入」及び「中心静脈カテーテル除去」を区別できない場合でも、包括概念の医療行為である「中心静脈カテーテル操作」を識別して、包括概念の医療行為に対応する医療支援情報を提示できる。

【0078】

包括概念の医療行為：「中心静脈カテーテル操作」が識別された場合、システム１００は、具体的な行為が挿入であっても抜去であっても適切な情報提示になるように、挿入及び抜去時双方の注意喚起情報を、いずれの行為のための医療支援情報であるかを区別しつつ提示することができる。ユーザ１０は、ユーザ１０自身が行っている医療行為が挿入であるか抜去であるかを当然に把握できるため、提示されて医療支援情報のうち、実際に行っている行為に当てはまる情報を適切に参照できる。

【0079】

このように、包括概念的な医療行為に対応する医療支援情報を提示可能とすることで、具体的な医療行為を識別する前に、迅速に医療支援情報を提示できる。また、具体的な医療行為を識別できれば、その具体的な医療行為に対応する、より適切な医療支援情報を提示できる。

【0080】

図４において、医療行為：「中心静脈カテーテル挿入」には、「職制」として「医師」が設定され、「医師」対応した「医療支援情報」が設定されている。また、「医師」に対応する「レベル」として「１」「３」が設定され、各レベルに応じた「医療支援情報」が設定されている。レベル：「１」には、「鎖骨下動脈を穿刺しないように針は寝かせてください」という医療支援情報が対応付けられている。また、レベル：「３」には、「抗血小板剤、抗凝固剤の内服はありませんか」という医療支援情報が対応付けられている。

【0081】

図４において、医療行為：「中心静脈カテーテル抜去」には、「職制」として「医師」及び「看護師」がそれぞれ区別して設定され、「医師」対応した「医療支援情報」と、「看護師」に対応した「医療支援情報」と、が設定されている。「医師」に対応する「レベル」として「３」が設定され、レベル：「３」に応じた「医療支援情報」として「カテーテル抜去時は、仰臥位です。座位では空気塞栓の危険があります」が設定されている。「看護師」に対応するレベルとして「１」が設定され、レベル：「１」に応じた「医療支援情報」として、「医師がカテーテル抜去する前に患者さんを臥位にしてください」が設定されている。

【0082】

図３に示すように、医療支援情報データベース４４０においては、その医療行為を受ける患者２０の適切な姿勢４４５の種別が各医療行為４４１に対応付けて設定されていてもよい。設定される姿勢４４５の種別は、例えば、仰臥位、伏臥位、左側臥位、右側臥位、座位、及び立位のいずれかである。

【0083】

例えば、中心静脈カテーテル抜去は、患者２０が仰臥位の姿勢をとっている状態で行われるのが適切である。各医療行為４４１に対応付けて設定された姿勢４４５は、姿勢推定処理６０３によって推定された患者姿勢が、各医療行為４４１に対応付けて設定された姿勢４４５と合致するかの姿勢判定に用いられる。システム１００は、姿勢判定結果に応じた、医療支援情報を生成できる。例えば、医療行為：「中心静脈カテーテル抜去」に対応する姿勢４４５として「仰臥位」が設定されている場合において、患者２０の推定姿勢が「仰臥位」とは異なる場合（例えば、座位である場合）、システム１００は、「患者さんを仰臥位にしてください」といった医療支援情報をユーザに提示できる。

【0084】

図４において、番号「４」の医療行為は、「腰椎穿刺」である。「腰椎穿刺」には、「腰椎穿刺針」という一つの医療材料が対応付けられている。医療行為：「腰椎穿刺」には、いくつかの医療支援情報が対応付けて設定されている。

【0085】

医療行為：「腰椎穿刺」には、「職制」が「医師」である場合の医療支援情報と、「職制」が「看護師」である場合の医療支援情報と、が区別して対応付けられている。また、「医師」に対応する「レベル」として「１」「３」が設定されている。医師のためのレベル：「１」には、「左右腸骨稜上縁を結ぶ線（ヤコビー線）が交差する第４腰椎を目安に，第３～４または第４～５の腰椎間腔から穿刺してください」及び「体勢は、おへそを見るように首を曲げて，膝を抱え、えびのように身体を丸めます」という医療支援情報が対応付けられている。また、医師のためのレベル：「３」には、「血小板剤、抗凝固剤の内服はありませんか」という医療支援情報が対応付けられている。さらに、「看護師」に対応する「レベル」として「１」が設定されている。看護師のためのレベル：「１」には、「清潔野に触れずに患者さんの体を丸めた体勢を支えてください」という医療支援情報が対応付けられている。

【0086】

図４において、「番号５」の医療行為は、「尿道バルーン挿入」である。「尿道バルーン挿入」には「尿道バルーン」という一つの医療材料が対応付けられている。医療行為：「尿道バルーン挿入」には、ユーザ１０の職制が医師であっても看護師であっても共通して提示される医療支援情報が対応付けられている。このように、データベースに設定される職制は、複数の職制に跨ったものであってもよい。ここでは、医療行為：「尿道バルーン挿入」には、医師及び看護師に共通し、レベル「１」のための医療支援情報として「カテールへの尿の流出を確認してバルーンを膨らませてください」が設定されている。

【0087】

図４において、「番号６」の医療行為は、「胸水穿刺」である。「胸水穿刺」には「エコープローブ」及び「胸腔穿刺針」という複数の医療材料が対応付けられている。
医療行為：「胸水穿刺」には、ユーザ１０の職制が「医師」であって、レベル「１」のための医療支援情報として「肋骨上縁に沿って穿刺してください」が設定されている。

【0088】

図４において、「番号７」の医療行為は、「骨髄穿刺」である。「骨髄穿刺」には、「骨髄穿刺針」という一つの医療材料が対応付けられている。医療行為「骨髄穿刺」には、医師のための医療支援情報が設定されている。さらに、医師についてレベルが「１」～「３」それぞれが設定されている。レベル「１」のための医療支援情報として「穿刺部位は腸骨（上後腸骨棘，上前腸骨棘）です」が設定され、レベル「２」のための医療支援情報として「麻酔針で穿刺針の長さを調整してください」が設定され、レベル「３」のための医療支援情報として「抗血小板剤、抗凝固剤の内服はありませんか」が設定されている。

【0089】

図５は、図２に示す物体認識処理６０１の手順を示している。実施形態において、物体認識処理６０１は、所定の周期毎に、画像データ中の物体を認識する。所定の周期の長さは、例えば、数分（例えば、３分）程度であってもよいし、数秒程度であってもよい。動画である画像データにおいて、物体認識処理６０１では、動画である画像データにおいて、１周期中に現れた１又は複数の医療材料を認識し、各周期において認識された１又は複数の医療材料を、周期毎に医療行為識別処理６０２に与える。

【0090】

より具体的な処理の例としては、図５に示すとおりである。まず、物体認識処理６０１がスタートすると、まず、所定の周期をカウントする周期タイマがスタートする（ステップＳ５１）。この周期タイマは、０から１周期長までの時間をカウントし、１周期分の時間が経過するとタイマがリセットされる（ステップＳ５５）。１周期の間においてステップＳ５２からステップＳ５４の処理が行われる。ステップＳ５２では、物体認識モデルによって、画像中の医療材料が認識される。医療材料の認識は、１周期の間、繰り返し行われる（ステップＳ５３）。そして、１周期が終了すると、１周期中に認識された１又は複数の医療材料が医療行為識別処理６０２に与えられる。

【0091】

１周期中に認識される複数の医療材料は、同時に画像データに現れても良いし、１周期中の異なる時点で画像データに現れても良い。医療行為を行うユーザ１０の視野は、変動し得るとともに、視野の範囲には制約がある。このため、ある医療行為のための複数の医療材料が、医療場面に存在したとしても、画像データ中に、複数の医療材料が同時に現れるとは限らない。しかし、本実施形態では、１周期という幅のある時間範囲内において、複数の医療材料がいずれかの時点で画像データに現れて、それをシステム１００が認識すればよいので、１つの医療行為に対応する複数の医療材料を適切に認識することができる。複数の医療材料を適切に認識できる結果、システム１００は、医療行為を適切に識別できる。

【0092】

図６は、図２に示す医療支援情報出力処理６１０の手順を示している。医療支援情報出力処理６１０では、まず、周期毎に、医療行為識別処理６０２によって識別された医療行為を取得する（ステップＳ６１）。そして、今回の周期において取得した医療行為が、先の周期において取得した医療行為と同じであるか否かが判定される（ステップＳ６２）。同じである場合、今回の周期において取得した医療行為に対応する医療支援情報は、非提示になるため、処理は、ステップＳ６１に戻り、次の周期における医療行為の取得まで待機となる。

【0093】

今回の周期において取得した医療行為が、先の周期において取得した医療行為とは異なる場合、今回の周期において取得した医療行為に対応する医療支援情報が生成され、出力される（ステップＳ６３からステップＳ７０）。

【0094】

例えば、医療支援情報の生成のため、今回の周期において取得した医療行為に対応する医療支援情報が、医療支援情報データベース４４０を参照して決定される（ステップＳ６３）。このとき、ユーザ１０の職制及びレベルなどを示すユーザデータ及び患者２０の年齢及び性別などを示す患者データを取得することで、取得したユーザデータ及び患者データに応じた適切な医療支援情報が決定されてもよい。

【0095】

さらに、患者の推定姿勢を取得し（ステップＳ６４）、患者の推定姿勢が、取得した医療行為に対応する適切な姿勢であるか否かの姿勢判定が行われてもよい（ステップＳ６５）。例えば、医療行為に対応する姿勢が仰臥位であるのに、患者の推定姿勢が座位であるなど、姿勢が不適切である場合には、「患者さんを仰臥位にしてください」といった、姿勢に関する医療支援情報（推定された姿勢に基づく情報）が生成される（ステップＳ６７）。なお、患者の推定姿勢が、取得した医療行為に対応する適切な姿勢である場合には、姿勢に関する医療支援情報は生成されても、生成されなくてもよい。

【0096】

また、医療支援情報出力処理６１０では、認識された医療材料（例えば、医薬）と、医療行為を受ける患者との適合性の判定（ステップＳ６８）を行うため、適合性判定のためのデータの取得が行われる（ステップＳ６７）。適合性判定のためのデータは、例えば、物体認識処理６０１によって認識された医療材料の名前を含む。また、適合性判定のためのデータは、例えば、患者２０の禁忌データ又は投薬情報など、認識された医療材料（例えば、医薬）と対比される情報を含む。認識された医療材料と、患者２０の禁忌データ又は投薬情報と、を対比することで、適合性の判定（ステップＳ６８）が行われる。

【0097】

例えば、医療行為に用いられる医療材料としての医薬が、患者２０にとって禁忌すべきものであれば、その医薬は医療行為に不適であるおそれがあるため、不適合であることを示す情報（適合性に関する支援情報）を生成する。また、適合性判定では、識別された医療行為と、患者２０の禁忌データ又は投薬情報と、を対比することで、適合性の判定（ステップＳ６８）が行われてもよい。例えば、中心静脈カテーテル挿入という医療行為の際には、患者２０が、抗血小板剤又は抗凝固剤を内服していないことが必要である。適合性判定では、中心静脈カテーテル挿入という医療行為において禁忌される医薬（抗血小板剤又は抗凝固剤）と、患者２０への投薬情報と、を対比して、医療行為を行うのが不適な状況であることが判定されてもよい。

【0098】

適合性の判定（ステップＳ６８）の結果、不適合であると判定された場合には、その旨を示す情報（適合性に関する医療支援情報）が生成される（ステップＳ６９）。なお、適合であると判定された場合には、適合性に関する医療支援情報は生成されても、生成されなくてもよい。

【0099】

ステップＳ６３，Ｓ６６，Ｓ６９において生成された医療支援情報は、ユーザ提示のため出力される（ステップＳ７０）。医療支援情報は、スマートグラスのディスプレイ３５０に表示される。図１に示すように、医療支援情報５３０は、その医療支援情報５３０に対応するレベル５２０（アラートレベル）及び識別された医療行為５１０とともに表示される。医療支援情報５３０は、そのレベル５２０に応じて、表示色を異ならせるなどの、表示態様が異なるのが好ましい。例えば、レベル１であれば黄色、レベル２であればオレンジ、レベル３であれば赤色にすることができる。この場合、ユーザ１０は、医療支援情報の重要度を直感的に認識できる。また、医療支援情報のディスプレイ３５０の表示とともに、レベルに応じた音をスピーカ３６０から出力してもよい。この場合、ユーザは、聴覚的にレベルを把握できる。

【0100】

また、医療支援情報５３０とともに、システム１００によって識別された医療行為５１０が表示されるため、ユーザ１０は、ユーザ１０自身が行おうとしている医療行為と、システム１００が識別した医療行為５１０とが一致するかを判断できる。仮に、システム１００が識別した医療行為５１０が適切でなければ、ユーザ１０は、提示された医療支援情報５３０を無視することもできる。

【0101】

システム１００は、ユーザ１０に提示された医療支援情報の提示キャンセル指示を前記ユーザから受け付けると、前記医療支援情報を非提示にする。ユーザ１０は、提示された医療行為５１０が不適切であると判断した場合、操作部３８０の操作又はマイク３７０への音声指示によって、提示された医療支援情報の提示キャンセル指示を行うことができる。システム１００は、提示キャンセル指示を受け付けると、提示されている医療支援情報５３０等の表示データ５００の表示を消去する。また、システム１００は、提示キャンセル指示を受け付けると、今の周期において提示されていた表示データの表示をキャンセルして、先の周期において提示されていた表示データを再表示してもよい。

【0102】

図７は、医療材料３１，３２の認識・医療行為の識別・医療支援情報の提示の例を示している。ここでは、第１周期における時点Ｔ１－１において撮像された第１画像データ７０１に、中心静脈カテーテル３１（第１物体）が現れるものとする。ただし、時点Ｔ１－１においては、ガイドワイヤ３２は第１画像データ７０１に現れていないものとする。また、第２周期における時点Ｔ２－１においても、中心静脈カテーテル３１（第１物体）が現れる。また、第２周期において、時点Ｔ２－１よりも後の時点Ｔ２－２において、第２画像データ７０２に、ガイドワイヤ３２（第２物体）が現れるものとする。時点Ｔ１－１，Ｔ２－１，Ｔ２－２の各時点において第１物体３１及び第２物体３２は同時には画像データ中に現れないものとする。また、第３周期における時点Ｔ３－１においては、画像データ中に、中心静脈カテーテル３１（第１物体）及びガイドワイヤ３２（第２物体）が同時に現れるものとする。

【0103】

システム１００は、第１周期においては、中心静脈カテーテル（第１物体）という一つの医療材料だけを認識する（ステップＳ７１）。したがって、システム１００は、第１周期において、中心静脈カテーテル（第１物体）という一つの医療材料に対応した医療行為として、「中心静脈カテーテル操作」（第１医療行為）を認識し、ユーザに提示する（ステップＳ８２）。図７中の画面７１１は、第１周期において認識された医療行為、アラートレベル、及び医療支援情報の表示例を示している。

【0104】

システム１００は、第１周期に続く第２周期においては、時点Ｔ２－１において、中心静脈カテーテル３１（第１物体）を認識し（ステップＳ７２）、時点Ｔ２－２において、ガイドワイヤ３２（第２物体）を認識する（ステップＳ７３）。したがって、システム１００は、第２周期において、中心静脈カテーテル３１（第１物体）及びガイドワイヤ３２（第２物体）という二つの医療材料に対応した医療行為として、「中心静脈カテーテル挿入」（第２医療行為）を識別する（ステップＳ８３）。第２周期で識別された医療行為は、第１周期で識別された医療行為とは異なるため、第２周期で識別された医療行為：「中心静脈カテーテル挿入」に対応する医療支援情報を最新の情報として、ユーザに提示する（ステップＳ８４）。図７中の画面７１２は、第１周期において認識された医療行為、アラートレベル、及び医療支援情報の表示例を示している。

【0105】

システム１００は、第３周期においては、時点Ｔ３－１において、中心静脈カテーテル３１（第１物体）及びガイドワイヤ３２（第２物体）を認識する（ステップＳ７４，Ｓ７５）。したがって、システム１００は、第３周期において、中心静脈カテーテル３１（第１物体）及びガイドワイヤ３２（第２物体）という二つの医療材料に対応した医療行為として、「中心静脈カテーテル挿入」を再識別する（ステップＳ８５）。第３周期で識別された医療行為は、第２周期で識別された医療行為と同じであるため、第３周期で識別された医療行為：「中心静脈カテーテル挿入」に対応する医療支援情報は提示しない。これにより、医療支援情報が不必要に繰り返し表示されることを向上し、使用感が向上する。

【0106】

本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0107】

１０ ：ユーザ
２０ ：患者
３１ ：中心静脈カテーテル（第１物体；第１医療機器）
３２ ：ガイドワイヤ（第２物体；第２医療機器）
４０ ：台
６０ ：医療支援処理
６０Ａ ：第１医療支援処理
６０Ｂ ：第２医療支援処理
１００ ：医療支援システム
２００ ：サーバ
２１０ ：プロセッサ
２２０ ：記憶装置
２３０ ：コンピュータプログラム
３００ ：ユーザ端末
３０１ ：本体
３１０ ：プロセッサ
３２０ ：記憶装置
３３０ ：コンピュータプログラム
３４０ ：カメラ
３５０ ：ディスプレイ
３６０ ：スピーカ
３７０ ：マイク
３８０ ：操作部
３９０ ：通信インタフェース
４００ ：データベース
４１０ ：ユーザデータベース
４１１ ：ユーザＩＤ
４１２ ：名前
４１３ ：職制
４１４ ：レベル
４２０ ：患者データベース
４２１ ：患者ＩＤ
４２２ ：名前
４２３ ：性別
４２４ ：年齢
４２５ ：他データ
４３０ ：医療材料－医療行為テーブル
４３１ ：医療行為
４３２ ：医療材料
４４０ ：医療支援情報データベース
４４１ ：医療行為
４４２ ：ユーザデータ
４４２Ａ ：職制
４４２Ｂ ：レベル
４４３ ：患者データ
４４３Ａ ：性別
４４３Ｂ ：年齢
４４４ ：医療支援情報
４４５ ：患者姿勢
４５０ ：ネットワーク
５００ ：表示データ
５１０ ：医療行為
５２０ ：レベル
５３０ ：医療支援情報
６０１ ：物体認識処理
６０２ ：医療行為識別処理
６０３ ：姿勢推定処理
６０４ ：年齢／性別推定処理
６１０ ：医療支援情報出力処理
７０１ ：第１画像データ
７０２ ：第２画像データ
７１１ ：画面
７１２ ：画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】