(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023127814
(43)【公開日】2023-09-14
(54)【発明の名称】情報処理装置、情報処理システム、医療支援方法及びプログラム
(51)【国際特許分類】
G16H 40/40 20180101AFI20230907BHJP
G06Q 50/10 20120101ALI20230907BHJP
【FI】
G16H40/40
G06Q50/10
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022031726
(22)【出願日】2022-03-02
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】宮本 真
【テーマコード(参考)】
5L049
5L099
【Fターム(参考)】
5L049CC11
5L099AA00
(57)【要約】
【課題】遠隔から医療者を支援する際の現場の医療者や支援者の負担を軽減する。
【解決手段】情報処理装置は、手術と手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、手術を行う手術室に存在する取得装置によって取得された器械情報であって、手術室に存在する医療器械を識別可能な器械情報を受信する通信制御部と、を備え、手術情報管理部は、受信した器械情報によって識別された医療器械と、手術情報に含まれる医療器械との照合を行う。
【選択図】
図5
【特許請求の範囲】
【請求項1】
手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記手術を行う手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する前記医療器械を識別可能な器械情報を受信する通信制御部と、を備え、
前記手術情報管理部は、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記照合を行った照合結果を出力する結果出力部をさらに備える、
情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記結果出力部は、前記手術情報に含まれる前記医療器械の用途を表す用途情報をさらに出力する、
情報処理装置。
【請求項4】
請求項3に記載の情報処理装置であって、
前記器械情報は、前記手術室に存在する前記医療器械を撮影した画像を含み、
前記画像に含まれる前記医療器械を認識する画像認識部をさらに備える、
情報処理装置。
【請求項5】
請求項4に記載の情報処理装置であって、
前記画像は、前記手術室に存在する前記医療器械に表示された識別情報を撮影したものであり、
前記画像に含まれる前記識別情報を認識する識別情報認識部をさらに備える、
情報処理装置。
【請求項6】
請求項3に記載の情報処理装置であって、
前記器械情報は、前記手術室に存在する前記医療器械に設定された識別情報である、
情報処理装置。
【請求項7】
手術室に存在する第1の情報処理端末と、支援者が利用する第2の情報処理端末と、情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報を前記情報処理装置に送信する第1の通信制御部を備え、
前記情報処理装置は、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記器械情報を受信する第2の通信制御部と、
を備え、前記手術情報管理部はさらに、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行い、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記手術情報管理部によって行われた照合の結果を表示する画面表示部を備える、
情報処理システム。
【請求項8】
手術室に存在する情報処理端末と、支援者が利用する情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報を前記情報処理装置に送信する第1の通信制御部を備え、
前記情報処理装置は、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記器械情報を受信する第2の通信制御部と、
を備え、前記手術情報管理部はさらに、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行い、
前記手術情報管理部によって行われた照合の結果を表示する画面表示部と、
を備える、
情報処理システム。
【請求項9】
手術室に存在する第1の情報処理端末と、支援者が利用する第2の情報処理端末と、第1の情報処理装置と、第2の情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報を前記第1の情報処理装置に送信する第1の通信制御部を備え、
前記第1の情報処理装置は、
前記第1の情報処理端末から受信した前記器械情報を前記第2の情報処理装置に送信する第2の通信制御部を備え、
前記第2の情報処理装置は、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記器械情報を受信する第3の通信制御部と、
を備え、前記手術情報管理部はさらに、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行い、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記手術情報管理部によって行われた照合の結果を表示する画面表示部を備える、
情報処理システム。
【請求項10】
手術室に存在する第1の情報処理端末と、前記手術室に存在する第2の情報処理端末と、情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報を前記情報処理装置に送信する第1の通信制御部を備え、
前記情報処理装置は、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記器械情報を受信する第2の通信制御部と、
を備え、前記手術情報管理部はさらに、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行い、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記手術情報管理部によって行われた照合の結果を表示する画面表示部を備える、
情報処理システム。
【請求項11】
手術室に存在する第1の情報処理端末と、前記手術室に存在する第2の情報処理端末と、第1の情報処理装置と、第2の情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報を前記第1の情報処理装置に送信する第1の通信制御部を備え、
前記第1の情報処理装置は、
前記情報処理端末から受信した前記器械情報を前記第2の情報処理装置に送信する第2の通信制御部を備え、
前記第2の情報処理装置は、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、
前記器械情報を受信する第3の通信制御部と、
を備え、前記手術情報管理部はさらに、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行い、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記手術情報管理部によって行われた照合の結果を表示する画面表示部を備える、
情報処理システム。
【請求項12】
コンピュータが、
手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理手順と、
前記手術を行う手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する前記医療器械を識別可能な器械情報を受信する通信制御手順と、を実行し、
前記手術情報管理手順は、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う
医療支援方法。
【請求項13】
コンピュータに、
手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理手順と、
前記手術を行う手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する前記医療器械を識別可能な器械情報を受信する通信制御手順と、
を実行させ、
前記手術情報管理手順は、前記受信した前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報処理装置、情報処理システム、医療支援方法及びプログラムに関する。
【背景技術】
【0002】
医療現場における手術では様々な医療器械が利用されている。手術を遂行する医師及び看護師等(以下、「医療者」とも呼ぶ)がすべての医療器械に精通することは困難であるため、例えば医療器械メーカの担当者等(以下、「支援者」とも呼ぶ)が手術に立ち会い、必要なタイミングにおける適切な医療器械の指示、又はその用途の説明等により、医療者を支援することが行われている。また、このような支援を遠隔から実施することが検討されている。
【0003】
例えば、特許文献1には、手術室に設置又は医師に装着したカメラから得られる画像を用いて、手術の内容を遠隔地と共有する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、遠隔から医療者を支援する際の現場の医療者や支援者の負担が大きい、という課題がある。例えば、支援者が遠隔から手術室に存在する医療器械を把握するために、手術室にあるカメラで医療器械の画像を共有しながら支援者が確認することは可能である。しかしながら、手術に必要な医療器械は多岐に渡ることから、医療器械を把握できるまで医療者と支援者との間で都度確認して照合する必要が生じる。手術を遂行しながらこのような確認作業を行うことは、大きな負担となる。
【0005】
本発明の一実施形態は、上記のような技術的課題に鑑みて、遠隔から医療者を支援する際の現場の医療者や支援者の負担を軽減することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、この発明の一実施形態である情報処理装置は、手術と手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手術情報管理部と、手術を行う手術室に存在する取得装置によって取得された器械情報であって、手術室に存在する医療器械を識別可能な器械情報を受信する通信制御部と、を備え、手術情報管理部は、受信した器械情報によって識別された医療器械と、手術情報に含まれる医療器械との照合を行う。
【発明の効果】
【0007】
本発明の一実施形態によれば、遠隔から医療者を支援する際の現場の医療者や支援者の負担を軽減することができる。
【図面の簡単な説明】
【0008】
【
図1】第1実施形態における医療支援システムの全体構成の一例を示す図である。
【
図2】一実施形態における全天球撮影装置のハードウェア構成の一例を示す図である。
【
図3】一実施形態におけるスマートフォンのハードウェア構成の一例を示す図である。
【
図4】一実施形態におけるコンピュータのハードウェア構成の一例を示す図である。
【
図5】第1実施形態における医療支援システムの機能構成の一例を示す図である。
【
図13】第1実施形態における医療支援方法の処理手順の一例を示す図である。
【
図16】第2実施形態における医療支援システムの全体構成の一例を示す図である。
【
図17】第2実施形態における医療支援システムの機能構成の一例を示す図である。
【
図18】第2実施形態における医療支援方法の処理手順の一例を示す図である。
【
図19】第3実施形態における医療支援システムの全体構成の一例を示す図である。
【
図20】第3実施形態における医療支援システムの機能構成の一例を示す図である。
【
図21】第3実施形態における医療支援方法の処理手順の一例を示す図である。
【
図23】第4実施形態における医療支援システムの全体構成の一例を示す図である。
【
図24】第4実施形態における医療支援システムの機能構成の一例を示す図である。
【
図25】第4実施形態における医療支援方法の処理手順の一例を示す図である。
【
図26】変形例1における医療支援システムの機能構成の一例を示す図である。
【
図27】変形例1における医療支援方法の処理手順の一例を示す図である。
【
図28】変形例2における医療支援システムの機能構成の一例を示す図である。
【
図29】変形例2における医療支援方法の処理手順の一例を示す図である。
【
図31】変形例3における医療支援システムの機能構成の一例を示す図である。
【
図32】変形例3における医療支援方法の処理手順の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、この発明の実施の形態について、詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【0010】
[背景]
医療現場における手術は、例えば医師及び看護師等の様々な役割を持つ医療者が参加するチームによって遂行される。例えば、看護師においては、様々な医療器械を手術の進行に合わせて医師に手渡す「器械出し」と呼ばれる役割がある。器械出しでは、手術の流れに応じて、医師が手を出したら必要な医療器械を即座に手渡すことが求められる。そのため、器械出しを担当する看護師は、次に必要となる医療器械を常に手元に準備しておく必要がある。
【0011】
器械出しに際して、医療器械の用途を誤らないように、例えば医療器械メーカの担当者等の支援者が手術に立ち会うことがある。支援者は、どのタイミングでどの器械が必要か等を指示することで、器械出しを担当する看護師を支援する。
【0012】
医療現場では、様々な場所及び時間で日々手術が行われているため、現場に立ち会って支援することは、支援者にとっても負担となっている。そのため、近年では、こうした支援を遠隔からも実施できるようにすることが検討されている。
【0013】
しかしながら、遠隔からの支援を実現するためには、医療者及び支援者に新たな負担が発生する。例えば、看護師は、手術室に設置された、もしくは看護師が携行しているカメラ等に、医療器械を都度撮影するといった行為が必要となる。このとき、看護師は、医療器械がカメラで正しく撮影できているかどうかを確認する作業に神経を注がなければならなくなる。この確認作業では、例えば、医療器械がカメラの撮影範囲に入っているか、自分が適切な撮影位置にいるか、その位置において医療器械を撮影する向きは適切か、撮影する時間の長さは適切か等といった様々な観点が必要とされる。
【0014】
また、手術に必要な医療器械は、たとえ一品種であっても、その種類や用途は多岐にわたる。そのため、医療器械をカメラで撮影することが増えると、遠隔地の支援者が都度確認する負担も増える。
【0015】
このように、手術室における医療器械の取り扱い等について遠隔から支援する場合、器械出しを担当する看護師及び遠隔地の支援者への負担軽減が課題となる。しかしながら、従来の技術では、その実現は困難であった。
【0016】
本発明の一実施形態における医療支援システムは、手術室に存在する医療器械を識別可能な情報を取得し、手術室に存在する医療器械と手術で用いる医療器械との照合結果を、遠隔地にいる支援者が用いる端末又は手術室にいる医療者が用いる端末に表示する。このとき、手術で用いる医療器械に、その用途を説明するための情報を関連付けて表示してもよい。これにより、支援者は、遠隔から手術室に存在する医療器械を把握し、医療者に対して用途に関する情報を提供することを、大きな負担なく行うことができる。すなわち、支援者が遠隔から医療者を支援する際の負担を軽減することができる。
【0017】
[第1実施形態]
本発明の第1実施形態は、手術室に存在する医療器械を撮影した画像に基づいて、手術室に存在する医療器械に関する情報を、遠隔地にいる支援者及び手術室にいる医療者に提供する医療支援システムである。本実施形態における医療支援システムは、支援者に対しては、手術室に存在する医療器械と手術で用いる医療器械との照合結果を示す画面(以下、「照合結果画面」とも呼ぶ)を表示する。また、本実施形態における医療支援システムは、医療者に対しては、手術で用いる医療器械の用途を説明するための情報(以下、「用途情報」とも呼ぶ)を示す画面(以下、「用途情報画面」とも呼ぶ)を表示する。
【0018】
<医療支援システムの全体構成>
まず、本実施形態における医療支援システム1の全体構成について、
図1を参照しながら説明する。
図1は、本実施形態における医療支援システム1の全体構成の一例を示す図である。
【0019】
図1に示されているように、本実施形態における医療支援システム1は、取得装置10、表示装置11、支援者端末20及びサービス提供サーバ30を含む。取得装置10、表示装置11、支援者端末20及びサービス提供サーバ30は、それぞれ通信ネットワークN1に接続している。通信ネットワークN1は、接続されている各装置が相互に通信可能となるように構成されている。
【0020】
通信ネットワークN1は、例えば、インターネット、LAN(Local Area Network)、又はWAN(Wide Area Network)などの有線通信によるネットワークによって構築されている。通信ネットワークN1は、有線通信だけでなく、例えば、無線LAN、又は近距離無線通信等の無線通信、もしくはWiMAX(Worldwide Interoperability for Microwave Access)、LTE(Long Term Evolution)、又は5G(5th Generation)等の移動体通信によるネットワークが含まれていてもよい。
【0021】
取得装置10及び表示装置11は、利用環境E1に存在する。支援者端末20は、支援環境E2に設置される。サービス提供サーバ30は、サービス提供環境E3に設置される。利用環境E1、支援環境E2及びサービス提供環境E3は、異なる遠隔地に構築される。利用環境E1、支援環境E2及びサービス提供環境E3は、通信ネットワークN1を介して相互に通信可能である。
【0022】
利用環境E1は、例えば、医療者がいる手術室等、医療器械を利用する環境である。支援環境E2は、例えば、医療器械メーカのオフィス等、支援者が支援業務を行う環境である。サービス提供環境E3は、例えば、データセンタ等、通信ネットワークN1を介して、利用環境E1及び支援環境E2に対してサービスを提供する環境である。
【0023】
取得装置10は、利用環境E1に存在する医療器械を識別可能な情報(以下、「器械情報」とも呼ぶ)を取得する電子機器である。本実施形態における器械情報は、医療器械を撮影した画像(以下、「器械画像」とも呼ぶ)である。取得装置10の一例は、全天球撮影装置である。取得装置10の他の一例は、スマートフォン又はタブレット端末等の携帯端末、もしくはスマートグラス又はアクションカメラ等のウェアラブルデバイスである。
【0024】
表示装置11は、利用環境E1にいる医療者に対して医療器械に関する情報を表示する電子機器である。本実施形態における表示装置11が表示する情報は、手術で用いる医療器械の用途情報である。表示装置11の一例は、コンピュータである。表示装置11の他の一例は、スマートフォン又はタブレット端末等の携帯端末である。
【0025】
支援者端末20は、支援環境E2にいる支援者が用いる情報処理端末である。支援者端末20は、手術室に存在する医療器械と手術で用いる医療器械との照合結果を表示する。また、支援者端末20は、支援者の操作に応じて、手術で用いる医療器械の用途情報の送信を表示装置11に要求する。支援者端末20の一例は、コンピュータである。
【0026】
サービス提供サーバ30は、支援者が医療者を支援するために用いるサービスを提供する情報処理装置である。サービス提供サーバ30は、手術室に存在する医療器械と手術で用いる医療器械との照合結果を、支援者端末20に出力する。また、サービス提供サーバ30は、手術で用いる医療器械の用途情報を、表示装置11に出力する。サービス提供サーバ30の一例は、コンピュータである。
【0027】
取得装置10及び表示装置11は、それぞれが備えるべき機能を兼ね備えた1台の情報処理端末として構成してもよい。例えば、ラップトップ型のパーソナルコンピュータ、スマートフォン又はタブレット端末等、カメラ及びディスプレイ、並びに通信機能を備えたコンピュータを用いれば、取得装置10及び表示装置11の機能を兼ね備えた情報処理端末を実現することができる。
【0028】
取得装置10は、通信ネットワークN1には接続せず、有線又は無線の通信経路により、表示装置11と接続してもよい。この場合、取得装置10は、表示装置11を介して通信ネットワークN1と接続し、他の装置、端末又はサーバとの通信を行う。
【0029】
なお、取得装置10、表示装置11、支援者端末20及びサービス提供サーバ30は、通信機能を備えた装置であれば、全天球撮影装置、スマートフォン又はコンピュータに限られない。取得装置10、表示装置11、支援者端末20及びサービス提供サーバ30は、例えば、PJ(Projector:プロジェクタ)、IWB(Interactive White Board:相互通信が可能な電子式の黒板機能を有する白板)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車(Connected Car)、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPCまたはデスクトップPC等であってもよい。
【0030】
<医療支援システムのハードウェア構成>
次に、本実施形態における医療支援システム1に含まれる各装置のハードウェア構成について、
図2から
図4を参照しながら説明する。
【0031】
≪全天球撮影装置のハードウェア構成≫
図2は、取得装置10が全天球撮影装置で実現される場合のハードウェア構成の一例を示す図である。以下では、全天球撮影装置は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上であればいくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置と同じ機能を有するようにしてもよい。
【0032】
図2に示されているように、一実施形態における全天球撮影装置は、撮像ユニット601、画像処理ユニット604、撮像制御ユニット605、マイク608、音処理ユニット609、CPU(Central Processing Unit)611、ROM(Read Only Memory)612、SRAM(Static Random Access Memory)613、DRAM(Dynamic Random Access Memory)614、操作部615、外部機器接続I/F616、通信部617、アンテナ617a、加速度・方位センサ618、ジャイロセンサ619、加速度センサ620、及びMicro USB用の凹状の端子621によって構成されている。
【0033】
このうち、撮像ユニット601は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)602a,602bと、各広角レンズに対応させて設けられている2つの撮像素子603a,603bを備えている。撮像素子603a,603bは、魚眼レンズ602a,602bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0034】
撮像ユニット601の撮像素子603a,603bは、各々、画像処理ユニット604とパラレルI/Fバスで接続されている。一方、撮像ユニット601の撮像素子603a,603bは、撮像制御ユニット605とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット604、撮像制御ユニット605及び音処理ユニット609は、バス610を介してCPU611と接続される。さらに、バス610には、ROM612、SRAM613、DRAM614、操作部615、外部機器接続I/F(Interface)616、通信部617、及び加速度・方位センサ618なども接続される。
【0035】
画像処理ユニット604は、撮像素子603a,603bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。
【0036】
撮像制御ユニット605は、一般に撮像制御ユニット605をマスタデバイス、撮像素子603a,603bをスレーブデバイスとして、I2Cバスを利用して、撮像素子603a,603bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU611から受け取る。また、撮像制御ユニット605は、同じくI2Cバスを利用して、撮像素子603a,603bのレジスタ群のステータスデータ等を取り込み、CPU611に送る。
【0037】
また、撮像制御ユニット605は、操作部615のシャッターボタンが押下されたタイミングで、撮像素子603a,603bに画像データの出力を指示する。全天球撮影装置によっては、ディスプレイ(例えば、スマートフォンのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子603a,603bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0038】
また、撮像制御ユニット605は、後述するように、CPU611と協働して撮像素子603a,603bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置にはディスプレイが設けられていないが、表示部を設けてもよい。
【0039】
マイク608は、音を音(信号)データに変換する。音処理ユニット609は、マイク608から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
【0040】
CPU611は、全天球撮影装置の全体の動作を制御すると共に必要な処理を実行する。ROM612は、CPU611のための種々のプログラムを記憶している。SRAM613及びDRAM614はワークメモリであり、CPU611で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM614は、画像処理ユニット604での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0041】
操作部615は、シャッターボタン615aなどの操作ボタンの総称である。ユーザは操作部615を操作することで、種々の撮影モードや撮影条件などを入力する。
【0042】
外部機器接続I/F616は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやPC(Personal Computer)等である。DRAM614に記憶された正距円筒射影画像のデータは、この外部機器接続I/F616を介して外付けのメディアに記録されたり、必要に応じて外部機器接続I/F616を介してスマートフォン等の外部端末(装置)に送信されたりする。
【0043】
通信部617は、全天球撮影装置に設けられたアンテナ617aを介して、Wi-Fi、NFC(Near Field Communication)やBluetooth(登録商標)等の近距離無線通信技術によって、スマートフォン等の外部端末(装置)と通信を行う。この通信部617によっても、正距円筒射影画像のデータをスマートフォン等の外部端末(装置)に送信することができる。
【0044】
加速度・方位センサ618は、地球の磁気から全天球撮影装置の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ618は、全天球撮影装置6の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
【0045】
更に、加速度・方位センサ618は、3軸方向の加速度を検出するセンサである。全天球撮影装置は、加速度・方位センサ618が検出した加速度に基づいて、自装置(全天球撮影装置)の姿勢(重力方向に対する角度)を算出する。全天球撮影装置に、加速度・方位センサ618が設けられることによって、画像補正の精度が向上する。
【0046】
≪スマートフォンのハードウェア構成≫
図3は、取得装置10及び表示装置11がスマートフォンで実現される場合のハードウェア構成の一例を示す図である。
【0047】
図3に示されているように、一実施形態におけるスマートフォンは、CPU401、ROM402、RAM403、EEPROM404、CMOSセンサ405、撮像素子I/F406、加速度・方位センサ407、メディアI/F409、GPS受信部411を備えている。
【0048】
これらのうち、CPU401は、スマートフォン全体の動作を制御する。ROM402は、CPU401やIPL等のCPU401の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。EEPROM404は、CPU401の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。
【0049】
撮像素子I/F406は、CMOSセンサ405の駆動を制御する回路である。加速度・方位センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等の記録メディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部411は、GPS衛星からGPS信号を受信する。
【0050】
また、スマートフォンは、遠距離通信回路412、CMOSセンサ413、撮像素子I/F414、マイク415、スピーカ416、音入出力I/F417、ディスプレイ418、外部機器接続I/F(Interface)419、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。
【0051】
これらのうち、遠距離通信回路412は、通信ネットワークN1を介して、他の機器と通信する回路である。CMOSセンサ413は、CPU401の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F414は、CMOSセンサ413の駆動を制御する回路である。マイク415は、音を電気信号に変える内蔵型の回路である。スピーカ416は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F417は、CPU401の制御に従ってマイク415及びスピーカ416との間で音信号の入出力を処理する回路である。
【0052】
ディスプレイ418は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F419は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ418を押下することで、スマートフォンを操作する入力手段の一種である。
【0053】
また、スマートフォンは、バスライン410を備えている。バスライン410は、
図3に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0054】
≪コンピュータのハードウェア構成≫
図4は、支援者端末20及びサービス提供サーバ30がコンピュータで実現される場合のハードウェア構成の一例を示す図である。
【0055】
図4に示されているように、一実施形態におけるコンピュータは、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
【0056】
これらのうち、CPU501は、コンピュータ全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。
【0057】
ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、通信ネットワークN1を利用してデータ通信をするためのインターフェースである。バスライン510は、
図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0058】
また、キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、着脱可能な記録媒体の一例としてのDVD-RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
【0059】
<医療支援システムの機能構成>
次に、本実施形態における医療支援システム1の機能構成の一例について、
図5を参照しながら説明する。
図5は、本実施形態における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0060】
≪取得装置の機能構成≫
図5に示されているように、本実施形態における取得装置10は、通信制御部101及び情報取得部102を備える。
【0061】
通信制御部101は、通信ネットワークN1を介してサービス提供サーバ30と各種データの送受信を行う。通信制御部101は、例えば、
図2に示されているROM612からSRAM613上に展開されたプログラムがCPU611及び外部機器接続I/F616に実行させる処理によって実現される。
【0062】
情報取得部102は、手術室に存在する医療器械を撮影し、当該医療器械を含む画像を生成する。情報取得部102は、動画(すなわち、画像の時系列)を生成してもよい。情報取得部102は、例えば、
図2に示されているROM612からSRAM613上に展開されたプログラムがCPU611及び撮像制御ユニット605に実行させる処理によって実現される。
【0063】
≪表示装置の機能構成≫
図5に示されているように、本実施形態における表示装置11は、通信制御部111及び画面表示部112を備える。
【0064】
通信制御部111は、通信ネットワークN1を介してサービス提供サーバ30と各種データの送受信を行う。通信制御部111は、例えば、
図3に示されているEEPROM404からRAM403上に展開されたプログラムがCPU401及び遠距離通信回路412に実行させる処理によって実現される。
【0065】
画面表示部112は、サービス提供サーバ30から受信した画面情報に基づいて、各画面を表示する。画面表示部112は、例えば、
図3に示されているEEPROM404からRAM403上に展開されたプログラムがCPU401及びディスプレイ418に実行させる処理によって実現される。画面表示部112の一例は、ブラウザである。
【0066】
≪支援者端末の機能構成≫
図5に示されているように、本実施形態における支援者端末20は、通信制御部201及び画面表示部202を備える。
【0067】
通信制御部201は、通信ネットワークN1を介してサービス提供サーバ30と各種データの送受信を行う。通信制御部201は、例えば、
図4に示されているHD504からRAM503上に展開されたプログラムがCPU501及びネットワークI/F509に実行させる処理によって実現される。
【0068】
画面表示部202は、サービス提供サーバ30から受信した画面情報に基づいて、各画面を表示する。画面表示部202は、例えば、
図4に示されているHD504からRAM503上に展開されたプログラムがCPU501及びディスプレイ506に実行させる処理によって実現される。画面表示部202の一例は、ブラウザである。
【0069】
≪サービス提供サーバの機能構成≫
図5に示されているように、本実施形態におけるサービス提供サーバ30は、通信制御部301、画面情報生成部302、画面情報記憶部303、ルーム管理部304、ルーム情報記憶部305、コンテンツ配信部306、コンテンツ記憶部307、メッセージ処理部308、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備える。
【0070】
通信制御部301は、通信ネットワークN1を介して取得装置10、表示装置11及び支援者端末20と各種データの送受信を行う。通信制御部301は、例えば、
図4に示されているHD504からRAM503上に展開されたプログラムがCPU501及びネットワークI/F509に実行させる処理によって実現される。
【0071】
画面情報生成部302、ルーム管理部304、コンテンツ配信部306、メッセージ処理部308、画像認識部311、手術情報管理部313及び用途情報管理部315は、例えば、
図2に示されているHD504からRAM503上に展開されたプログラムがCPU501及びHDDコントローラ505に実行させる処理によって実現される。
【0072】
画面情報記憶部303、ルーム情報記憶部305、コンテンツ記憶部307、画像情報記憶部312、手術情報記憶部314及び用途情報記憶部316は、例えば、
図4に示されているHD504を用いて実現される。HD504が記憶するデータの読み込み又は書き込みは、例えば、HDDコントローラ505を介して行われる。
【0073】
なお、画面情報記憶部303、ルーム情報記憶部305、コンテンツ記憶部307、画像情報記憶部312、手術情報記憶部314及び用途情報記憶部316は、サービス提供サーバ30が備えず、外部の記憶装置を用いてもよい。外部の記憶装置の一例は、NAS(Network Attached Storage)又はオンラインストレージサービスである。
【0074】
画面情報生成部302は、画面情報記憶部303に記憶されている画面情報に基づいて、表示装置11及び支援者端末20に提供する画面情報を生成する。画面情報生成部302が生成する各画面情報は、例えば、HTML(HyperText Markup Language)等で記述された画面情報であり、JavaScript(登録商標)等で記述されたアプリケーションを含んでもよい。
【0075】
画面情報記憶部303は、画面情報生成部302が表示装置11及び支援者端末20に提供する画面情報を記憶する。
【0076】
ルーム管理部304は、ルーム情報記憶部305に記憶されているルーム情報を管理する。ルームとは、取得装置10(以下、「デバイス」とも呼ぶ)が撮影した画像又は動画の配信先(接続先)を管理する単位である。ルームは予め生成しておいてもよいし、支援者端末20等からの要求に応じて一時的に生成してもよい。
【0077】
具体的には、ルーム管理部304は、以下の処理を実行する。第1に、デバイスとルームとを関連付ける設定登録を行う。第2に、ルームに対するユーザの入退室の情報を更新する。すなわち、各ルームに現在入室しているユーザを管理する。
【0078】
ルーム情報記憶部305は、ルーム管理部304が管理するルーム情報を記憶する。ルーム情報には、ルーム管理情報、ユーザ管理情報及びデバイス管理情報が含まれる。ルーム情報は、ユーザ及び/又はデバイスを複数含む宛先リストを管理するための宛先管理情報を含んでもよい。
【0079】
ルーム管理情報は、ルームと当該ルームに入室しているユーザ及びデバイスとを関連付ける情報である。本実施形態におけるルーム管理情報は、後述するルーム管理テーブルに格納される。
【0080】
ユーザ管理情報は、サービス提供サーバ30に登録されているユーザの属性情報及び状態情報を管理するための情報である。本実施形態におけるユーザ管理情報は、後述するユーザ管理テーブルに格納される。
【0081】
デバイス管理情報は、サービス提供サーバ30に登録されているデバイスの属性情報及び状態情報を管理するための情報である。本実施形態におけるデバイス管理情報は、後述するデバイス管理テーブルに格納される。
【0082】
ここで、本実施形態におけるルーム情報について、
図6から
図8を参照しながら説明する。
図6は、本実施形態におけるルーム管理テーブルの一例を示す概念図である。
【0083】
図6に示されているように、本実施形態におけるルーム管理テーブル1000は、データ項目として、ルームを識別するルームID、当該ルームに入室しているユーザを識別する入室ユーザID、及び当該ルームに入室しているデバイスを識別する入室デバイスID等を有する。
【0084】
図7は、本実施形態におけるユーザ管理テーブルの一例を示す概念図である。
図7に示されているように、本実施形態におけるユーザ管理テーブル1100は、データ項目として、ユーザを識別するユーザID、当該ユーザの表示名、当該ユーザの通信状態、及び当該ユーザの接続元のIPアドレス等を有する。
【0085】
図8は、本実施形態におけるデバイス管理テーブルの一例を示す概念図である。
図8に示されているように、本実施形態におけるデバイス管理テーブル1200は、データ項目として、デバイスを識別するデバイスID、当該デバイスの表示名、及び当該デバイスのIPアドレス等を有する。
【0086】
図5に戻って説明する。コンテンツ配信部306は、ルームに入室しているユーザが用いる端末に、ルームに入室しているデバイスで撮影されたコンテンツ(例えば、静止画又は動画等)を配信する。具体的には、コンテンツ配信部306は、以下の処理を実行する。第1に、デバイスから受信した静止画又は動画データを、同じルームに入室しているユーザにストリーミング配信する。第2に、コンテンツ記憶部307に記憶されている静止画又は動画データをユーザの要求に応じて配信する。
【0087】
コンテンツ記憶部307は、コンテンツ配信部306が配信するコンテンツを記憶する。また、コンテンツ記憶部307は、コンテンツと当該コンテンツの属性情報とを関連付けるコンテンツ管理情報を記憶する。本実施形態におけるコンテンツ管理情報は、後述するコンテンツ管理テーブルに格納される。
【0088】
コンテンツ記憶部307に記憶されるコンテンツは、デバイスにより撮影された静止画又は動画の生データである。コンテンツが全天球撮影装置により撮影された場合、視点情報もコンテンツとして記憶される。具体的には、ライブ配信中にデバイスによって撮影された静止画又は動画データがコンテンツとして記憶される。また、コンテンツがパノラマ画像又は動画の場合には、閲覧拠点の視点情報(例えば、視点の座標、閲覧時間及び拠点の識別情報等)がコンテンツに関連付けて記憶される。
【0089】
ここで、本実施形態におけるコンテンツ管理情報について、
図9を参照しながら説明する。
図9は、本実施形態におけるコンテンツ管理テーブルの一例を示す概念図である。
【0090】
図9に示されているように、本実施形態におけるコンテンツ管理テーブル1300は、データ項目として、コンテンツを識別するデータID、当該コンテンツの名称、撮影日時、ルームID、撮影者、入室ユーザID、パノラマ画像の視点情報及び実データの保存場所等を有する。
【0091】
図5に戻って説明する。メッセージ処理部308は、ルームに接続しているデバイスへのメッセージを処理する。メッセージの一例は、デバイスへの撮影命令、デバイスが撮影した画像の受信、デバイスのプレゼンスの受信(例えば、映像の配信状況、カメラやマイクの状態、画面共有の有無等)、各拠点の360度映像又は画像の視点情報の受信等である。
【0092】
画像認識部311は、取得装置10から受信した器械画像から、当該画像に含まれる医療器械を認識する。画像認識部311は、画像情報記憶部312に記憶されている医療器械の画像を用いて認識を行う。
【0093】
画像情報記憶部312は、医療器械の画像と当該医療器械の種類とを関連付ける器械画像情報を記憶する。本実施形態における器械画像情報は、後述する器械画像管理テーブルに格納される。
【0094】
ここで、本実施形態における器械画像情報について、
図10を参照しながら説明する。
図10は、本実施形態における器械画像管理テーブルの一例を示す概念図である。
【0095】
図10に示されているように、本実施形態における器械画像管理テーブル1400は、データ項目として、医療器械の画像及び医療器械の種類等を有する。画像は、画像データそのものでもよいし、画像データの保存場所を表す情報(例えば、URL(Uniform Resource Locator)等)でもよい。
【0096】
図5に戻って説明する。手術情報管理部313は、手術情報記憶部314に記憶されている手術情報を管理する。手術情報は、手術室を表す情報と、当該手術室で予定されている手術を表す情報と、当該手術が行われる時間帯を表す情報と、当該手術で用いる医療器械を表す情報とを関連付ける情報である。
【0097】
手術情報記憶部314は、手術情報管理部313が管理する手術情報を記憶する。本実施形態における手術情報は、後述する手術管理テーブルに格納される。
【0098】
ここで、本実施形態における手術情報について、
図11を参照しながら説明する。
図11は、本実施形態における手術管理テーブルの一例を示す概念図である。
【0099】
図11に示されているように、本実施形態における手術管理テーブル1500は、データ項目として、手術が行われる場所、当該場所から画像を送信するデバイスを識別する送信デバイスID、当該手術で医療器械が使用される時間帯(使用予定時間)、及び当該手術で使用される医療器械(使用器械)等を有する。
【0100】
図5に戻って説明する。用途情報管理部315は、用途情報記憶部316に記憶されている用途管理情報を管理する。用途管理情報は、医療器械を表す情報と、当該医療器械の用途を説明するための用途情報とを関連付ける情報である。
【0101】
用途情報記憶部316は、用途情報管理部315が管理する用途管理情報を記憶する。本実施形態における用途管理情報は、後述する用途管理テーブルに格納される。
【0102】
ここで、本実施形態における用途管理情報について、
図12を参照しながら説明する。
図12は、本実施形態における用途管理テーブルの一例を示す概念図である。
【0103】
図12に示されているように、本実施形態における用途管理テーブル1600は、データ項目として、医療器械の種類及び用途情報等を有する。用途情報は、文字情報でもよいし、音声データへのリンク(例えば、URL等)でもよいし、動画データへのリンク(例えば、URL等)でもよい。
【0104】
<医療支援方法の処理手順>
次に、本実施形態における医療支援システム1が実行する医療支援方法の詳細について、
図13を参照しながら説明する。
図13は、本実施形態における医療支援方法の一例を示すシーケンス図である。
【0105】
ステップS101において、取得装置10が備える通信制御部101は、医療者の操作に応じて、ルームへの接続要求をサービス提供サーバ30に送信する。当該接続要求には、ルームIDが含まれる。具体的には、医療者は、全天球撮影装置の操作部615において、所定の接続操作を行う。接続先のルームIDは、予め取得装置10に設定されている。
【0106】
ステップS201において、支援者端末20が備える通信制御部201は、支援者の操作に応じて、ルームへの接続要求をサービス提供サーバ30に送信する。当該接続要求には、ルームIDが含まれる。具体的には、支援者は、支援者端末20にインストールされたブラウザから所定のURLにアクセスする。接続先のルームIDは、接続先のURLにより特定される。
【0107】
ステップS301において、サービス提供サーバ30が備える通信制御部301は、取得装置10及び支援者端末20から接続要求を受信する。次に、通信制御部301は、受信した接続要求をルーム管理部304に送る。
【0108】
ルーム管理部304は、受け取った接続要求からルームIDを取得する。次に、ルーム管理部304は、取得したルームIDで識別されるルーム管理情報に、取得装置10及び支援者端末20に関する情報を追加する。
【0109】
ステップS102において、取得装置10が備える情報取得部102は、手術室に存在する医療器械を撮影し、器械画像を生成する。次に、情報取得部102は、生成した器械画像を、通信制御部301に送る。通信制御部301は、受け取った器械画像をサービス提供サーバ30に送信する。
【0110】
医療器械は、例えば、手術室に設置された器械設置台に並べられている。取得装置10が全天球撮影装置である場合、器械設置台の全体が画角に入るように、取得装置10を設置しておけばよい。取得装置10がスマートフォン等の携帯端末である場合、器械出しを担当する看護師等がスマートフォンのカメラで器械設置台の上方から全体が画角に入るように撮影すればよい。取得装置10がスマートグラス等のウェアラブルデバイスである場合、当該ウェアラブルデバイスを装着した看護師等が器械設置台の方向に視線を向ければよい。
【0111】
ステップS302において、サービス提供サーバ30が備える通信制御部301は、取得装置10から器械画像を受信する。次に、通信制御部301は、受信した器械画像をルーム管理部304及び画像認識部311に送る。
【0112】
ルーム管理部304は、ルーム情報記憶部305に記憶されているルーム情報に基づいて、器械画像の配信先であるルームIDを特定する。次に、ルーム管理部304は、ルームID及び器械画像をコンテンツ配信部306に送る。
【0113】
具体的には、ルーム管理部304は、デバイス管理情報を用いて、器械画像を送信した取得装置10のIPアドレスからデバイスIDを特定する。次に、ルーム管理部304は、ルーム管理情報を用いて、当該デバイスIDが入室しているルームIDを特定する。続いて、ルーム管理部304は、特定したデバイスIDを手術情報管理部313に送る。
【0114】
コンテンツ配信部306は、ルーム管理部304から受け取った器械画像をコンテンツ記憶部307に記憶する。次に、コンテンツ配信部306は、ルーム管理部304から受け取ったルームID及び器械画像に関する属性情報を含むコンテンツ管理情報を、コンテンツ記憶部307に記憶する。続いて、コンテンツ配信部306は、当該ルームに入室しているユーザIDで識別される支援者端末20に器械画像を送信する。
【0115】
ステップS303において、サービス提供サーバ30が備える画像認識部311は、取得装置10から受信した器械画像に基づいて、手術室に存在する医療器械を認識する。次に、画像認識部311は、医療器械の認識結果を手術情報管理部313に送る。
【0116】
医療器械の認識には、画像情報記憶部312に記憶されている器械画像情報を用いる。具体的には、画像認識部311は、器械画像から医療器械の画像を抽出する。次に、画像認識部311は、抽出された医療器械の画像それぞれについて、器械画像情報に含まれる医療器械の画像それぞれと比較する。続いて、画像認識部311は、最も類似する医療器械の画像を含む器械画像情報を特定し、当該器械画像情報に含まれる医療器械の種類を取得する。
【0117】
画像認識部311は、画像認識モデルを用いて、器械画像から抽出した医療器械の画像それぞれについて、当該医療器械の種類を推定してもよい。当該画像認識モデルは、例えば、画像情報記憶部312に記憶されている器械画像情報を学習データとして、医療器械の画像と種類との関係を学習した機械学習モデルである。
【0118】
ステップS304において、サービス提供サーバ30が備える手術情報管理部313は、ルーム管理部304から受け取ったデバイスIDで識別される手術情報を、手術情報記憶部314から取得する。
【0119】
ステップS305において、サービス提供サーバ30が備える手術情報管理部313は、画像認識部311から医療器械の認識結果を受け取る。次に、手術情報管理部313は、受け取った認識結果に含まれる医療器械と、取得した手術情報に含まれる使用器械とを照合する。すなわち、手術情報管理部313は、手術情報に含まれる使用器械それぞれが、認識結果に含まれる医療器械の中に存在するか否かを判定する。次に、手術情報管理部313は、医療器械と使用器械との照合結果を画面情報生成部302に送る。
【0120】
ステップS306において、サービス提供サーバ30が備える画面情報生成部302は、手術情報管理部313から医療器械と使用器械との照合結果を受け取る。次に、画面情報生成部302は、受け取った照合結果に基づいて、照合結果画面の画面情報を生成する。照合結果画面は、照合結果を表示するための画面である。
【0121】
具体的には、画面情報生成部302は、画面情報記憶部303に記憶されている照合結果画面の画面情報を取得する。次に、画面情報生成部302は、取得した画面情報に、手術情報管理部313から受け取った照合結果を埋め込む。
【0122】
続いて、画面情報生成部302は、生成した照合結果画面の画面情報を通信制御部301に送る。通信制御部301は、画面情報生成部302から受け取った画面情報を支援者端末20に送信する。
【0123】
ステップS202において、支援者端末20が備える通信制御部201は、サービス提供サーバ30から照合結果画面の画面情報を受信する。次に、通信制御部201は、受信した画面情報を画面表示部202に送る。画面表示部202は、通信制御部201から受け取った画面情報に基づいて、照合結果画面をディスプレイ506に表示する。
【0124】
ここで、本実施形態における照合結果画面について、
図14を参照しながら説明する。
図14は、本実施形態における照合結果画面の一例を示す概念図である。
【0125】
図14に示されているように、本実施形態における照合結果画面2000は、デバイス表示欄2001、照合結果表示欄2002、連絡ボタン2003及び送信ボタン2004を有する。
【0126】
デバイス表示欄2001には、器械画像を送信した取得装置10に関する情報が表示される。照合結果表示欄2002には、医療器械の識別情報、医療器械の画像及び照合結果が表示される。照合結果には、手術情報に含まれる使用器械のうち、器械画像から認識された医療器械には「OK」と表示され、器械画像から認識されなかった医療器械には「NG」と表示される。
【0127】
照合結果の表示方法は、文字情報に限定されず、不足している医療器械が認識可能な方法で表示されていれば、どのような方法であってもよい。例えば、不足している医療機器の文字色又は背景色を変えてもよいし、不足している医療器械がある旨を示す文言を、例えばポップアップ又はマーキー等で表示してもよい。
【0128】
支援者が照合結果画面2000において連絡ボタン2003を押下すると、支援者から医療者への連絡が可能となる。連絡は、サービス提供サーバ30が備えるメッセージ処理部308により、支援者端末20から表示装置11へメッセージを送信してもよいし、予め設定されている電話番号に架電することで音声通話を行ってもよい。当該連絡は、例えば、照合結果がNGとなった医療器械があった場合に、支援者が医療者に確認又は通知するため等に用いることができる。
【0129】
支援者が照合結果画面2000において送信ボタン2004を押下すると、用途情報の送信要求がサービス提供サーバ30に送信される。当該送信要求には、照合結果表示欄2002に表示されている医療器械を識別する情報が含まれる。
【0130】
図13に戻って説明する。ステップS203において、支援者端末20が備える通信制御部201は、支援者の操作に応じて、用途情報の送信要求をサービス提供サーバ30に送信する。具体的には、支援者は照合結果画面において送信ボタン2004を押下する。
【0131】
ステップS307において、サービス提供サーバ30が備える通信制御部301は、支援者端末20から用途情報の送信要求を受信する。次に、通信制御部301は、受信した送信要求を用途情報管理部315に送る。
【0132】
用途情報管理部315は、支援者端末20から受信した送信要求に基づいて、用途情報を取得する。具体的には、用途情報管理部315は、送信要求から医療器械を識別する情報を取得する。次に、用途情報管理部315は、取得した医療器械に関連付けられた用途情報を用途情報記憶部316から取得する。続いて、用途情報管理部315は、取得した用途情報を画面情報生成部302に送る。
【0133】
画面情報生成部302は、用途情報管理部315から用途情報を受け取る。次に、画面情報生成部302は、受け取った用途情報に基づいて、用途情報画面の画面情報を生成する。用途情報画面は、用途情報を表示するための画面である。
【0134】
具体的には、画面情報生成部302は、画面情報記憶部303に記憶されている用途情報画面の画面情報を取得する。次に、画面情報生成部302は、取得した画面情報に、用途情報管理部315から受け取った用途情報を埋め込む。
【0135】
続いて、画面情報生成部302は、生成した用途情報画面の画面情報を通信制御部301に送る。通信制御部301は、画面情報生成部302から受け取った画面情報を表示装置11に送信する。
【0136】
ステップS111において、表示装置11が備える通信制御部111は、サービス提供サーバ30から用途情報画面の画面情報を受信する。次に、通信制御部111は、受信した画面情報を画面表示部112に送る。画面表示部112は、通信制御部111から受け取った画面情報に基づいて、用途情報画面をディスプレイ506に表示する。
【0137】
ここで、本実施形態における用途情報画面について、
図15を参照しながら説明する。
図15は、本実施形態における用途情報画面の一例を示す概念図である。
【0138】
図15に示されているように、本実施形態における用途情報画面2100は、用途情報表示欄2101を有する。
【0139】
用途情報表示欄2101には、医療器械の画像及び用途情報が表示される。用途情報は、文字情報、音声データへのリンク、動画データへのリンク及びそれらの組み合わせである。用途情報がリンクである場合、当該リンクからリンク先の音声データ又は動画データを再生することができる。
【0140】
<第1実施形態の効果>
本実施形態におけるサービス提供サーバは、取得装置から受信した医療器械の画像から手術室に存在する医療器械を認識し、認識結果に含まれる医療器械と手術で用いる医療器械との照合結果を支援者端末に表示する。したがって、本実施形態における医療支援システムによれば、支援者は遠隔から手術室に存在する医療器械を把握することができる。
【0141】
また、本実施形態におけるサービス提供サーバは、手術で用いる医療器械に用途情報を関連付けて表示装置に表示する。したがって、本実施形態における医療支援システムによれば、支援者は遠隔から手術で用いる医療器械の用途情報を医療者に提供することができる。
【0142】
[第2実施形態]
第1実施形態における医療支援システム1は、コンテンツの配信を行うサービス提供サーバ30が、手術室に存在する医療器械に関する情報の提供も行うように構成した。第2実施形態における医療支援システム1は、支援環境E2に設置したアプリケーションサーバが、サービス提供サーバ30が提供するAPI(Application Programming Interface)を利用して、手術室に存在する医療器械に関する情報の生成を行うように構成する。
【0143】
以下、本実施形態における医療支援システム1について、第1実施形態における医療支援システム1との相違点を中心に説明する。
【0144】
<医療支援システムの全体構成>
まず、本実施形態における医療支援システム1の全体構成について、
図16を参照しながら説明する。
図16は、本実施形態における医療支援システム1の全体構成の一例を示す図である。
【0145】
図16に示されているように、本実施形態における医療支援システム1は、第1実施形態における医療支援システム1(
図1参照)と比較して、アプリケーションサーバ21が含まれる点が異なる。アプリケーションサーバ21は、支援環境E2に設置され、通信ネットワークN1に接続している。
【0146】
アプリケーションサーバ21は、サービス提供サーバ30が提供するサービスを利用して、支援環境E2にいる支援者が利用環境E1にいる医療者を支援するためのアプリケーションを実行する情報処理装置である。アプリケーションサーバ21は、手術室に存在する医療器械と手術で用いる医療器械との照合結果を、支援者端末20に出力する。また、アプリケーションサーバ21は、手術で用いる医療器械の用途情報を、表示装置11に出力する。アプリケーションサーバ21の一例は、コンピュータである。
【0147】
<医療支援システムの機能構成>
次に、本実施形態における医療支援システム1の機能構成の一例について、
図17を参照しながら説明する。
図17は、本実施形態における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0148】
≪サービス提供サーバの機能構成≫
図17に示されているように、本実施形態におけるサービス提供サーバ30は、通信制御部301、ルーム管理部304、ルーム情報記憶部305、コンテンツ配信部306、コンテンツ記憶部307、メッセージ処理部308及び正当性確認部309を備える。
【0149】
すなわち、本実施形態におけるサービス提供サーバ30は、第1実施形態におけるサービス提供サーバ30(
図5参照)と比較して、画面情報生成部302、画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備えず、正当性確認部309を備える点が異なる。
【0150】
正当性確認部309は、アプリケーションサーバ21に実装されたアプリケーションが真正なアプリケーションであるか否かを確認する。例えば、アプリケーションサーバ21に実装されたアプリケーションが、サービス提供サーバ30が提供する各種機能を呼び出したとき、正当なアプリケーションであるか否かを予め登録してある契約情報に基づいて判定する。
【0151】
≪アプリケーションサーバの機能構成≫
図17に示されているように、本実施形態におけるアプリケーションサーバ21は、通信制御部211、画面情報生成部302、画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備える。
【0152】
通信制御部211は、通信ネットワークN1を介して表示装置11、支援者端末20及びサービス提供サーバ30と各種データの送受信を行う。通信制御部211は、例えば、
図4に示されているHD504からRAM503上に展開されたプログラムがCPU501及びネットワークI/F509に実行させる処理によって実現される。
【0153】
画面情報生成部302、画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316は、第1実施形態におけるサービス提供サーバ30が備えた各部と同様である。
【0154】
<医療支援方法の処理手順>
次に、本実施形態における医療支援システム1が実行する医療支援方法の詳細について、
図18を参照しながら説明する。
図18は、本実施形態における医療支援方法の一例を示すシーケンス図である。
【0155】
ステップS211において、アプリケーションサーバ21が備える通信制御部211は、サービス提供サーバ30が提供するAPIを利用して、ルームへの接続要求をサービス提供サーバ30に送信する。当該接続要求には、ルームIDが含まれる。接続先のルームIDは、APIに予め設定されている。
【0156】
ステップS311において、サービス提供サーバ30が備える通信制御部301は、アプリケーションサーバ21から接続要求を受信する。次に、通信制御部301は、アプリケーションサーバ21から受信した接続要求を正当性確認部309に送る。
【0157】
正当性確認部309は、アプリケーションサーバ21から受信した接続要求に基づいて、真正なアプリケーションであるか否かを確認する。正当性確認部309は、真正なアプリケーションであることを確認できない場合、接続を拒否する。正当性確認部309は、真正なアプリケーションであることを確認できた場合、アプリケーションサーバ21から受信した接続要求をルーム管理部304に送る。ここでは、真正なアプリケーションであることを確認できたものとして説明を続ける。
【0158】
ステップS301において、サービス提供サーバ30が備える通信制御部301は、取得装置10から接続要求を受信する。次に、通信制御部301は、取得装置10から受信した接続要求をルーム管理部304に送る。
【0159】
ルーム管理部304は、受け取った接続要求からルームIDを取得する。次に、ルーム管理部304は、取得したルームIDで識別されるルーム管理情報に、取得装置10及びアプリケーションサーバ21に関する情報を追加する。
【0160】
ステップS102において、取得装置10が備える情報取得部102は、手術室に存在する医療器械を撮影した器械画像を、通信制御部301を経由してサービス提供サーバ30に送信する。
【0161】
サービス提供サーバ30では、通信制御部301が、取得装置10から受信した器械画像を、ルーム管理部304に送る。ルーム管理部304は、ルーム情報に基づいて特定したルームID及び器械画像をコンテンツ配信部306に送る。コンテンツ配信部306は、器械画像をコンテンツ記憶部307に記憶すると共に、アプリケーションサーバ21にデバイスID及び器械画像を送信する。
【0162】
ステップS212において、アプリケーションサーバ21が備える通信制御部211は、サービス提供サーバ30からデバイスID及び器械画像を受信する。次に、通信制御部211は、受信した器械画像を画像認識部311に送る。続いて、通信制御部211は、受信したデバイスIDを手術情報管理部313に送る。
【0163】
ステップS213において、アプリケーションサーバ21が備える画像認識部311は、サービス提供サーバ30から受信した器械画像に基づいて、手術室に存在する医療器械を認識する。次に、画像認識部311は、医療器械の認識結果を手術情報管理部313に送る。
【0164】
ステップS214において、アプリケーションサーバ21が備える手術情報管理部313は、サービス提供サーバ30から受信したデバイスIDで識別される手術情報を、手術情報記憶部314から取得する。
【0165】
ステップS215において、アプリケーションサーバ21が備える手術情報管理部313は、画像認識部311から医療器械の認識結果を受け取る。次に、手術情報管理部313は、受け取った認識結果に含まれる医療器械と、取得した手術情報に含まれる使用器械とを照合する。続いて、手術情報管理部313は、医療器械と使用器械との照合結果を画面情報生成部302に送る。
【0166】
ステップS216において、アプリケーションサーバ21が備える画面情報生成部302は、手術情報管理部313から医療器械と使用器械との照合結果を受け取る。次に、画面情報生成部302は、受け取った照合結果に基づいて、照合結果画面の画面情報を生成する。次に、画面情報生成部302は、生成した照合結果画面の画面情報を、通信制御部301を経由して支援者端末20に送信する。
【0167】
ステップS202において、支援者端末20が備える画面表示部202は、アプリケーションサーバ21から受信した照合結果画面の画面情報に基づいて、照合結果画面をディスプレイ506に表示する。
【0168】
ステップS203において、支援者端末20が備える通信制御部201は、支援者の操作に応じて、用途情報の送信要求をアプリケーションサーバ21に送信する。
【0169】
ステップS217において、アプリケーションサーバ21が備える用途情報管理部315は、支援者端末20から受信した用途情報の送信要求に基づいて、送信要求から取得された医療器械に関連付けられた用途情報を、用途情報記憶部316から取得する。次に、用途情報管理部315は、取得した用途情報を画面情報生成部302に送る。
【0170】
画面情報生成部302は、用途情報管理部315から受け取った用途情報に基づいて、用途情報画面の画面情報を生成する。次に、画面情報生成部302は、生成した用途情報画面の画面情報を、通信制御部301を経由して表示装置11に送信する。
【0171】
ステップS111において、表示装置11が備える画面表示部112は、アプリケーションサーバ21から受信した用途情報画面の画面情報に基づいて、用途情報画面をディスプレイ506に表示する。
【0172】
<第2実施形態の効果>
本実施形態における医療支援システムは、支援環境に設置されたアプリケーションサーバが、手術室に存在する医療器械に関する情報を、支援者及び医療者に提供する。本実施形態におけるアプリケーションサーバは、API経由でサービス提供サーバが提供するサービスを利用する。
【0173】
したがって、本実施形態における医療支援システムによれば、サービス提供サーバを変更することなく実装することができる。また、アプリケーションサーバとサービス提供サーバとで処理を分担するため、コンテンツの配信先が増加した場合でもサービス提供サーバの負荷を低減することができる。
【0174】
[第3実施形態]
第1実施形態における医療支援システム1は、支援環境E2に設置された支援者端末20に医療器械の照合結果を表示し、支援者の操作に応じて医療器械の用途情報を利用環境E1に設置された表示装置11に表示するように構成した。第3実施形態における医療支援システム1では、支援環境E2を構築せず、利用環境E1に設置された表示装置11に医療器械の照合結果を表示するように構成する。
【0175】
以下、本実施形態における医療支援システム1について、第1実施形態における医療支援システム1との相違点を中心に説明する。
【0176】
<医療支援システムの全体構成>
まず、本実施形態における医療支援システム1の全体構成について、
図19を参照しながら説明する。
図19は、本実施形態における医療支援システム1の全体構成の一例を示す図である。
【0177】
図19に示されているように、本実施形態における医療支援システム1は、取得装置10、表示装置11及びサービス提供サーバ30を含む。すなわち、本実施形態における医療支援システム1は、第1実施形態における医療支援システム1(
図1参照)と比較して、支援者端末20を含まない点が異なる。
【0178】
<医療支援システムの機能構成>
次に、本実施形態における医療支援システム1の機能構成の一例について、
図20を参照しながら説明する。
図20は、本実施形態における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0179】
図20に示されているように、本実施形態における取得装置10、表示装置11及びサービス提供サーバ30は、第1実施形態における取得装置10、表示装置11及びサービス提供サーバ30と同様の機能構成を有する。
【0180】
<医療支援方法の処理手順>
次に、本実施形態における医療支援システム1が実行する医療支援方法の詳細について、
図21を参照しながら説明する。
図21は、本実施形態における医療支援方法の一例を示すシーケンス図である。
【0181】
図21に示されているように、本実施形態における医療支援方法は、第1実施形態における医療支援方法(
図13参照)と比較して、サービス提供サーバ30が実行するステップS306、及び支援者端末20が実行するステップS201からS203を行わない点が異なる。
【0182】
また、本実施形態における医療支援方法は、ステップS307において、画面情報生成部302が生成する画面情報の構成が異なる。
【0183】
ステップS307において、本実施形態における画面情報生成部302は、手術情報管理部313から医療器械と使用器械との照合結果を受け取る。次に、画面情報生成部302は、用途情報管理部315から用途情報を受け取る。
【0184】
続いて、画面情報生成部302は、画面情報記憶部303に記憶されている用途情報画面の画面情報を取得する。次に、画面情報生成部302は、取得した画面情報に、照合結果及び用途情報を埋め込む。
【0185】
ここで、本実施形態における用途情報画面について、
図22を参照しながら説明する。
図22は、本実施形態における用途情報画面の一例を示す概念図である。
【0186】
図22に示されているように、本実施形態における用途情報画面2200は、用途情報表示欄2201を有する。用途情報表示欄2201には、医療器械の画像、用途情報及び照合結果が表示される。用途情報画面2200に表示される、医療器械の画像、用途情報及び照合結果は、第1実施形態における照合結果画面2000及び用途情報画面2100と同様である。
【0187】
<第3実施形態の効果>
本実施形態におけるサービス提供サーバは、手術で用いる医療器械に、手術で用いる医療器械との照合結果及び用途情報を関連付けて表示装置に表示する。したがって、本実施形態における医療支援システムによれば、支援者の操作を必要とせず、自動的に医療器械に関する情報を医療者に提供することができる。
【0188】
[第4実施形態]
第2実施形態における医療支援システム1は、支援環境E2に設置された支援者端末20に医療器械の照合結果を表示し、支援者の操作に応じて医療器械の用途情報を利用環境E1に設置された表示装置11に表示するように構成した。第4実施形態における医療支援システム1では、支援環境E2を構築せず、利用環境E1に設置された表示装置11に医療器械の照合結果を表示するように構成する。
【0189】
以下、本実施形態における医療支援システム1について、第2実施形態における医療支援システム1との相違点を中心に説明する。
【0190】
<医療支援システムの全体構成>
まず、本実施形態における医療支援システム1の全体構成について、
図23を参照しながら説明する。
図23は、本実施形態における医療支援システム1の全体構成の一例を示す図である。
【0191】
図23に示されているように、本実施形態における医療支援システム1は、取得装置10、表示装置11、アプリケーションサーバ21及びサービス提供サーバ30を含む。すなわち、本実施形態における医療支援システム1は、第2実施形態における医療支援システム1(
図16参照)と比較して、支援者端末20を含まない点が異なる。
【0192】
<医療支援システムの機能構成>
次に、本実施形態における医療支援システム1の機能構成の一例について、
図24を参照しながら説明する。
図24は、本実施形態における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0193】
図24に示されているように、本実施形態における取得装置10、表示装置11、アプリケーションサーバ21及びサービス提供サーバ30は、第2実施形態における取得装置10、表示装置11、アプリケーションサーバ21及びサービス提供サーバ30と同様の機能構成を有する。
【0194】
<医療支援方法の処理手順>
次に、本実施形態における医療支援システム1が実行する医療支援方法の詳細について、
図25を参照しながら説明する。
図25は、本実施形態における医療支援方法の一例を示すシーケンス図である。
【0195】
図25に示されているように、本実施形態における医療支援方法は、第2実施形態における医療支援方法(
図18参照)と比較して、アプリケーションサーバ21が実行するステップS216、及び支援者端末20が実行するステップS202及びS203を行わない点が異なる。
【0196】
また、本実施形態における医療支援方法は、ステップS217において、画面情報生成部302が生成する画面情報の構成が異なる。なお、本実施形態における用途情報画面は、第3実施形態における用途情報画面2200(
図22参照)と同様である。
【0197】
<第4実施形態の効果>
本実施形態における医療支援システムは、支援環境に設置されたアプリケーションサーバが、手術室に存在する医療器械に関する情報を、医療者に提供する。したがって、本実施形態における医療支援システムによれば、サービス提供サーバを変更することなく実装することができる。また、コンテンツの配信先が増加した場合でもサービス提供サーバの負荷を低減することができる。
【0198】
また、本実施形態におけるアプリケーションサーバは、手術で用いる医療器械に、手術で用いる医療器械との照合結果及び用途情報を関連付けて表示装置に表示する。したがって、本実施形態における医療支援システムによれば、支援者の操作を必要とせず、自動的に医療器械に関する情報を医療者に提供することができる。
【0199】
[変形例1]
第1実施形態における医療支援システム1は、コンテンツの配信を行うサービス提供サーバ30が、手術室に存在する医療器械に関する情報の提供も行うように構成した。変形例1における医療支援システム1は、支援者端末20が、手術室に存在する医療器械に関する情報を生成し、手術に用いる医療器械の照合結果を表示するように構成する。
【0200】
以下、本変形例における医療支援システム1について、第1実施形態における医療支援システム1との相違点を中心に説明する。
【0201】
<医療支援システムの機能構成>
まず、本変形例における医療支援システム1の機能構成の一例について、
図26を参照しながら説明する。
図26は、本変形例における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0202】
≪サービス提供サーバの機能構成≫
図26に示されているように、本変形例におけるサービス提供サーバ30は、通信制御部301、ルーム管理部304、ルーム情報記憶部305、コンテンツ配信部306、コンテンツ記憶部307及びメッセージ処理部308を備える。
【0203】
すなわち、本変形例におけるサービス提供サーバ30は、第1実施形態におけるサービス提供サーバ30(
図5参照)と比較して、画面情報生成部302、画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備えない点が異なる。
【0204】
≪支援者端末の機能構成≫
図26に示されているように、本変形例における支援者端末20は、通信制御部201、画面表示部202、画面情報生成部302、画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備える。
【0205】
画面情報記憶部303、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316は、第1実施形態におけるサービス提供サーバ30が備えた各部と同様である。
【0206】
<医療支援方法の処理手順>
次に、本変形例における医療支援システム1が実行する医療支援方法の詳細について、
図27を参照しながら説明する。
図27は、本変形例における医療支援方法の一例を示すシーケンス図である。
【0207】
ステップS204において、支援者端末20が備える通信制御部201は、サービス提供サーバ30からデバイスID及び器械画像を受信する。次に、通信制御部201は、受信した器械画像を画像認識部311に送る。続いて、通信制御部201は、受信したデバイスIDを手術情報管理部313に送る。
【0208】
ステップS205において、支援者端末20が備える画像認識部311は、サービス提供サーバ30から受信した器械画像に基づいて、手術室に存在する医療器械を認識する。次に、画像認識部311は、医療器械の認識結果を手術情報管理部313に送る。
【0209】
ステップS206において、支援者端末20が備える手術情報管理部313は、サービス提供サーバ30から受信したデバイスIDで識別される手術情報を、手術情報記憶部314から取得する。
【0210】
ステップS207において、支援者端末20が備える手術情報管理部313は、画像認識部311から医療器械の認識結果を受け取る。次に、手術情報管理部313は、受け取った認識結果に含まれる医療器械と、取得した手術情報に含まれる使用器械とを照合する。続いて、手術情報管理部313は、医療器械と使用器械との照合結果を画面表示部202に送る。
【0211】
ステップS202において、支援者端末20が備える画面情報生成部302は、手術情報管理部313から医療器械と使用器械との照合結果を受け取る。次に、画面情報生成部302は、受け取った照合結果に基づいて、照合結果画面の画面情報を生成する。続いて、画面表示部202は、画面情報生成部302が生成した照合結果画面の画面情報に基づいて、照合結果画面をディスプレイ506に表示する。
【0212】
<第2実施形態に適用した変形例1>
上記の変形例1では、第1実施形態に対して適用した例を用いて説明したが、第2実施形態に対しても、同様にして適用することができる。
【0213】
第2実施形態に適用した変形例1では、支援者端末20は、通信制御部201、画面表示部202、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315及び用途情報記憶部316を備える。
【0214】
第2実施形態に適用した変形例1では、アプリケーションサーバ21は、通信制御部211、画面情報生成部302及び画面情報記憶部303を備える。サービス提供サーバ30は、第2実施形態におけるサービス提供サーバ30と同様である。
【0215】
<変形例1の効果>
本変形例における医療支援システムは、支援者端末が、手術室に存在する医療器械に関する情報を生成し、支援者及び医療者に提供する。したがって、本変形例における医療支援システムによれば、サービス提供サーバを変更することなく実装することができる。また、支援者端末とサービス提供サーバとで処理を分担するため、コンテンツの配信先が増加した場合でもサービス提供サーバの負荷を低減することができる。
【0216】
[変形例2]
第1実施形態における取得装置10は、器械情報として手術室に存在する医療器械を撮影した画像をサービス提供サーバ30に送信するように構成した。変形例2における取得装置10は、医療器械に表示された識別情報を撮影した画像をサービス提供サーバ30に送信するように構成する。
【0217】
以下、本変形例における医療支援システム1について、第1実施形態における医療支援システム1との相違点を中心に説明する。
【0218】
<医療支援システムの機能構成>
まず、本変形例における医療支援システム1の機能構成の一例について、
図28を参照しながら説明する。
図28は、本変形例における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0219】
≪サービス提供サーバの機能構成≫
図28に示されているように、本変形例におけるサービス提供サーバ30は、通信制御部301、画面情報生成部302、画面情報記憶部303、ルーム管理部304、ルーム情報記憶部305、コンテンツ配信部306、コンテンツ記憶部307、メッセージ処理部308、画像認識部311、画像情報記憶部312、手術情報管理部313、手術情報記憶部314、用途情報管理部315、用途情報記憶部316、識別情報認識部317及び識別情報記憶部318を備える。
【0220】
すなわち、本変形例におけるサービス提供サーバ30は、第1実施形態におけるサービス提供サーバ30(
図5参照)と比較して、識別情報認識部317及び識別情報記憶部318を備える点が異なる。
【0221】
識別情報認識部317は、取得装置10から受信した器械画像から、当該画像に含まれる識別情報を認識する。識別情報認識部317は、識別情報記憶部318に記憶されている医療器械の識別情報を用いて認識を行う。
【0222】
識別情報記憶部318は、医療器械の識別情報と当該医療器械の種類とを関連付ける器械識別情報を記憶する。本変形例における器械識別情報は、後述する識別情報管理テーブルに格納される。
【0223】
ここで、本変形例における器械識別情報について、
図29を参照しながら説明する。
図29は、本変形例における識別情報管理テーブルの一例を示す概念図である。
【0224】
図29に示されているように、本変形例における識別情報管理テーブル1700は、データ項目として、医療器械の識別情報及び医療器械の種類等を有する。
【0225】
<医療支援方法の処理手順>
次に、本変形例における医療支援システム1が実行する医療支援方法の詳細について、
図30を参照しながら説明する。
図30は、本変形例における医療支援方法の一例を示すシーケンス図である。
【0226】
ステップS102において、取得装置10が備える情報取得部102は、手術室に存在する医療器械を撮影し、器械画像を生成する。このとき、情報取得部102は、医療器械に表示された識別情報が映り込むように撮影する。
【0227】
識別情報は、例えば、シリアル番号、バーコード又は二次元コード等を用いることができる。識別情報を医療器械に表示する方法は、例えば、識別情報を印刷したシールの貼布、又は識別情報をレーザー等で刻印するダイレクトマーキング等を用いることができる。これらの識別情報の表示方法は一例であって、光学的に識別可能な方式で表示されていれば、どのような方式でもよい。
【0228】
ステップS311において、サービス提供サーバ30が備える識別情報認識部317は、取得装置10から受信した器械画像に基づいて、手術室に存在する医療器械を認識する。次に、識別情報認識部317は、医療器械の認識結果を手術情報管理部313に送る。
【0229】
具体的には、識別情報認識部317は、器械画像から医療器械の識別情報を抽出する。次に、識別情報認識部317は、抽出された医療器械の識別情報それぞれについて、器械識別情報に含まれる医療器械の識別情報それぞれと比較する。続いて、識別情報認識部317は、器械画像から抽出した識別番号により器械識別情報を特定し、当該器械識別情報に含まれる医療器械の種類を取得する。
【0230】
ステップS305において、サービス提供サーバ30が備える手術情報管理部313は、識別情報認識部317から受け取った認識結果と、画像認識部311から受け取った認識結果とを統合する。次に、手術情報管理部313は、統合された認識結果に含まれる医療器械と、取得した手術情報に含まれる使用器械とを照合する。次に、手術情報管理部313は、医療器械と使用器械との照合結果を画面情報生成部302に送る。
【0231】
以降の処理は、第1実施形態における医療支援方法と同様である。
【0232】
<変形例2の効果>
本変形例における医療支援システムは、取得装置が、医療器械に表示された識別情報を含むように器械画像を撮影し、サービス提供サーバが、器械画像に含まれる識別情報を認識する。識別情報の認識は、画像認識等と比較して、高精度に認識を行うことができる。したがって、本変形例における医療支援システムによれば、手術室に存在する医療器械を高精度に識別することができる。
【0233】
[変形例3]
第1実施形態における取得装置10は、器械情報として手術室に存在する医療器械を撮影した画像をサービス提供サーバ30に送信するように構成した。変形例3における取得装置10は、医療器械に埋め込まれた識別情報を取得し、サービス提供サーバ30に送信するように構成する。
【0234】
以下、本変形例における医療支援システム1について、第1実施形態における医療支援システム1との相違点を中心に説明する。
【0235】
<医療支援システムの機能構成>
まず、本変形例における医療支援システム1の機能構成の一例について、
図31を参照しながら説明する。
図31は、本変形例における医療支援システム1に含まれる各装置の機能構成を例示するブロック図である。
【0236】
≪サービス提供サーバの機能構成≫
図31に示されているように、本変形例におけるサービス提供サーバ30は、通信制御部301、画面情報生成部302、画面情報記憶部303、ルーム管理部304、ルーム情報記憶部305、コンテンツ配信部306、コンテンツ記憶部307、メッセージ処理部308、手術情報管理部313、手術情報記憶部314、用途情報管理部315、用途情報記憶部316及び識別情報記憶部318を備える。
【0237】
すなわち、本変形例におけるサービス提供サーバ30は、第1実施形態におけるサービス提供サーバ30(
図5参照)と比較して、画像認識部311及び画像情報記憶部312を備えず、識別情報記憶部318を備える点が異なる。
【0238】
<医療支援方法の処理手順>
次に、本変形例における医療支援システム1が実行する医療支援方法の詳細について、
図32を参照しながら説明する。
図32は、本変形例における医療支援方法の一例を示すシーケンス図である。
【0239】
ステップS121において、取得装置10が備える情報取得部102は、手術室に存在する医療器械に設定された識別情報を取得する。次に、情報取得部102は、取得した識別情報を、通信制御部301を経由してサービス提供サーバ30に送信する。
【0240】
識別情報の取得は、例えば、RFID等を用いることができる。識別情報を医療器械に設定する方法は、例えば、製造時に識別情報が書き込まれたRDIFタグを医療器械内部に埋め込んでもよいし、使用する際に識別情報が書き込まれたRDIFタグを医療器械表面に貼布してもよい。これらの識別情報の設定方法は一例であって、取得装置10が無線通信で識別情報を取得可能な方式で埋め込まれていれば、どのような方式でもよい。
【0241】
ステップS321において、サービス提供サーバ30が備える通信制御部301は、取得装置10から識別情報を受信する。次に、通信制御部301は、受信した識別情報をルーム管理部304及び手術情報管理部313に送る。
【0242】
ステップS304において、サービス提供サーバ30が備える手術情報管理部313は、ルーム管理部304から受け取ったデバイスIDで識別される手術情報を、手術情報記憶部314から取得する。
【0243】
ステップS305において、サービス提供サーバ30が備える手術情報管理部313は、通信制御部301から受け取った識別情報について、器械識別情報に含まれる医療器械の識別情報それぞれと比較する。次に、手術情報管理部313は、器械画像から抽出した識別番号により器械識別情報を特定し、当該器械識別情報に含まれる医療器械の種類を取得する。
【0244】
続いて、手術情報管理部313は、特定した医療器械と、取得した手術情報に含まれる使用器械とを照合する。次に、手術情報管理部313は、医療器械と使用器械との照合結果を画面情報生成部302に送る。
【0245】
以降の処理は、第1実施形態における医療支援方法と同様である。
【0246】
<変形例3の効果>
本変形例における医療支援システムは、取得装置が、医療器械に設定された識別情報を取得し、サービス提供サーバに送信する。本変形例における医療支援システムは、画像認識等を用いず医療器械から直接識別情報を取得するため、高精度に識別情報を取得することができる。したがって、本変形例における医療支援システムによれば、手術室に存在する医療器械を高精度に識別することができる。
【0247】
[補足]
上記各実施形態において、医療支援システム1は情報処理システムの一例である。支援者端末20、アプリケーションサーバ21及びサービス提供サーバ30は情報処理装置の一例である。取得装置10は情報処理端末の一例である。画面表示部202、画面情報生成部302は結果出力部の一例である。
【0248】
上記で説明した各変形例は、第1実施形態に対して適用した例を用いて説明したが、第2実施形態から第4実施形態に対しても、同様にして適用することができる。
【0249】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0250】
実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。
【0251】
ある実施形態では、サービス提供サーバは、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、アプリケーションサーバは、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
【0252】
さらに、サービス提供サーバ及びアプリケーションサーバは、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、サービス提供サーバによって実行され得る。同様に、所定のユニットの機能は、アプリケーションサーバによって実行することができる。また、サービス提供サーバ及びアプリケーションサーバの各要素は、1つのサーバ装置にまとめられていてもよいし、複数の装置に分けられていてもよい。
【0253】
以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
【符号の説明】
【0254】
1 医療支援システム
10 取得装置
11 表示装置
20 支援者端末
21 アプリケーションサーバ
30 サービス提供サーバ
101 通信制御部
102 情報取得部
111 通信制御部
112 画面表示部
201 通信制御部
202 画面表示部
211 通信制御部
301 通信制御部
302 画面情報生成部
303 画面情報記憶部
304 ルーム管理部
305 ルーム情報記憶部
306 コンテンツ配信部
307 コンテンツ記憶部
308 メッセージ処理部
311 画像認識部
312 画像情報記憶部
313 手術情報管理部
314 手術情報記憶部
315 用途情報管理部
316 用途情報記憶部
317 識別情報認識部
318 識別情報記憶部
【先行技術文献】
【特許文献】
【0255】
【手続補正書】
【提出日】2023-08-09
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
手術室に存在する第1の情報処理端末、及び前記手術室とは異なる空間に存在する支援者が利用する第2の情報処理端末とネットワークを介して通信可能な情報処理装置であって、
前記手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する医療器械を識別可能な器械情報を受信する通信制御部と、
前記取得装置によって撮影され画像を前記第2の情報処理端末に配信するコンテンツ配信部と、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶し、前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手術情報管理部と、
前記医療器械の用途を表す用途情報を記憶部に記憶し、前記支援者からの要求に応じて前記用途情報を取得する用途情報管理部と、
前記照合を行った照合結果を前記第2の情報処理端末に送信し、前記用途情報を前記第1の情報処理端末に送信する結果出力部と、
を備える情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記器械情報は、前記手術室に存在する前記医療器械を撮影した画像を含み、
前記画像に含まれる前記医療器械を認識する画像認識部をさらに備える、
情報処理装置。
【請求項3】
請求項2に記載の情報処理装置であって、
前記画像は、前記手術室に存在する前記医療器械に表示された識別情報を撮影したものであり、
前記画像に含まれる前記識別情報を認識する識別情報認識部をさらに備える、
情報処理装置。
【請求項4】
請求項1に記載の情報処理装置であって、
前記器械情報は、前記手術室に存在する前記医療器械に設定された識別情報である、
情報処理装置。
【請求項5】
手術室に存在する第1の情報処理端末と、前記手術室とは異なる空間に存在する支援者が利用する第2の情報処理端末と、情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報及び前記手術室で撮影された画像を前記情報処理装置に送信する第1の通信制御部と、
前記情報処理装置から受信した、前記医療器械の用途を表す用途情報を表示する第1の画面表示部と、
を備え、
前記情報処理装置は、
前記器械情報及び前記画像を前記第1の情報処理端末から受信する第2の通信制御部と、
前記画像を前記第2の情報処理端末に配信するコンテンツ配信部と、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶し、前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手術情報管理部と、
前記用途情報を記憶部に記憶し、前記支援者からの要求に応じて前記用途情報を取得する用途情報管理部と、
前記照合を行った照合結果を前記第2の情報処理端末に送信し、前記用途情報を前記第1の情報処理端末に送信する結果出力部と、
を備え、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記照合結果及び前記画像を表示する第2の画面表示部と、
前記支援者の操作に応じて、前記用途情報の送信要求を前記情報処理装置に送信する第3の通信制御部と、
を備える、
情報処理システム。
【請求項6】
手術室に存在する情報処理端末と、前記手術室とは異なる空間に存在する支援者が利用する情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報及び前記手術室で撮影された画像を前記情報処理装置に送信する第1の通信制御部と、
前記情報処理装置から受信した、前記医療器械の用途を表す用途情報を表示する第1の画面表示部と、
を備え、
前記情報処理装置は、
前記器械情報及び前記画像を受信し、前記用途情報を前記情報処理端末に送信する第2の通信制御部と、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶し、前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手術情報管理部と、
前記用途情報を記憶部に記憶し、前記支援者からの要求に応じて前記用途情報を取得する用途情報管理部と、
前記手術情報管理部によって行われた照合の結果及び前記画像を表示する第2の画面表示部と、
を備える、
情報処理システム。
【請求項7】
手術室に存在する第1の情報処理端末と、前記手術室とは異なる空間に存在する支援者が利用する第2の情報処理端末と、第1の情報処理装置と、第2の情報処理装置とがネットワークを介して通信可能な情報処理システムであって、
前記第1の情報処理端末は、
前記手術室に存在する医療器械を識別可能な器械情報及び前記手術室で撮影された画像を前記第1の情報処理装置に送信する第1の通信制御部と、
前記第2の情報処理装置から受信した、前記医療器械の用途を表す用途情報を表示する第1の画面表示部と、
を備え、
前記第1の情報処理装置は、
前記第1の情報処理端末から受信した前記器械情報及び前記画像を前記第2の情報処理装置に送信する第2の通信制御部を備え、
前記第2の情報処理装置は、
前記器械情報及び前記画像を前記第1の情報処理装置から受信する第3の通信制御部と、
前記画像を前記第2の情報処理端末に配信するコンテンツ配信部と、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶し、前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手術情報管理部と、
前記用途情報を記憶部に記憶し、前記支援者からの要求に応じて前記用途情報を取得する用途情報管理部と、
前記照合を行った照合結果を前記第2の情報処理端末に送信し、前記用途情報を前記第1の情報処理端末に送信する結果出力部と、
を備え、
前記第2の情報処理端末は、
前記情報処理装置から受信した前記照合結果及び前記画像を表示する第2の画面表示部と、
前記支援者の操作に応じて、前記用途情報の送信要求を前記第2の情報処理装置に送信する第4の通信制御部と、
を備える、
情報処理システム。
【請求項8】
手術室に存在する第1の情報処理端末、及び前記手術室とは異なる空間に存在する支援者が利用する第2の情報処理端末とネットワークを介して通信可能なコンピュータが、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手順と、
前記医療器械の用途を表す用途情報を記憶部に記憶する手順と、
前記手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する前記医療器械を識別可能な器械情報を受信する手順と、
前記取得装置によって撮影された画像を前記第2の情報処理端末に配信する手順と、
前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手順と、
前記照合を行った照合結果を前記第2の情報処理端末に送信する手順と、
前記支援者からの要求に応じて前記用途情報を取得する手順と、
前記用途情報を前記第1の情報処理端末に送信する手順と、
を実行する医療支援方法。
【請求項9】
手術室に存在する第1の情報処理端末、及び前記手術室とは異なる空間に存在する支援者が利用する第2の情報処理端末とネットワークを介して通信可能なコンピュータに、
前記手術室で行われる手術と当該手術で用いる医療器械とを関連付ける手術情報を記憶部に記憶する手順と、
前記医療器械の用途を表す用途情報を記憶部に記憶する手順と、
前記手術室に存在する取得装置によって取得された器械情報であって、当該手術室に存在する前記医療器械を識別可能な器械情報を受信する手順と、
前記取得装置によって撮影された画像を前記第2の情報処理端末に配信する手順と、
前記器械情報によって識別された前記医療器械と、前記手術情報に含まれる前記医療器械との照合を行う手順と、
前記照合を行った照合結果を前記第2の情報処理端末に送信する手順と、
前記支援者からの要求に応じて前記用途情報を取得する手順と、
前記用途情報を前記第1の情報処理端末に送信する手順と、
を実行させるためのプログラム。