特開 2023-176561 プログラム、モデル生成方法、医療機器、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176561

(43)【公開日】2023-12-13

(54)【発明の名称】プログラム、モデル生成方法、医療機器、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G16H 10/00 20180101AFI20231206BHJP

【ＦＩ】

G16H10/00

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022088904

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】000109543

【氏名又は名称】テルモ株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】菅村 敦志

(72)【発明者】

【氏名】名郷根 裕一

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA21

(57)【要約】

【課題】時系列で変化する表示情報を適切に特定することが可能なプログラム等を提供する。
【解決手段】医療機器は、時系列で変化する計測情報を表示部に表示する。コンピュータは、時系列で変化する計測情報を表示する医療機器の表示部を撮影した撮影画像を取得する。またコンピュータは、取得した撮影画像に基づいて、前記医療機器の表示部に表示されていた前記計測情報を取得する。そして、コンピュータは、取得した計測情報を、患者の情報に対応付けて記憶部に記憶する。
【選択図】図１

【特許請求の範囲】

【請求項1】

時系列で変化する計測情報を表示する医療機器の表示部を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記計測情報を取得し、
取得した計測情報を、患者の情報に対応付けて記憶部に記憶する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記表示部は、前記医療機器に関する機器情報及び前記計測情報に紐付けられたコードを表示しており、
取得した撮影画像中のコードに基づいて、前記医療機器に関する機器情報及び前記計測情報を取得する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。

【請求項3】

前記撮影画像は、前記表示部を含む前記医療機器全体を撮影した画像であり、
前記医療機器の表示部を含む前記医療機器全体の撮影画像を入力した場合に、前記撮影画像中の医療機器に関する機器情報を出力する学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の医療機器に関する機器情報を取得する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項4】

前記撮影画像は、複数の前記医療機器の表示部を一度に撮影した撮影画像であり、
前記撮影画像に基づいて、前記撮影画像中の各医療機器に関する機器情報を取得し、
前記医療機器毎に、前記撮影画像に基づいて前記計測情報を取得する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項5】

前記撮影画像中の各医療機器の撮影領域に、前記医療機器に関する機器情報及び前記計測情報に紐付けられたコードが含まれる場合、前記撮影画像中の前記医療機器の撮影領域中の前記コードに基づいて前記医療機器に関する機器情報及び計測情報を取得し、
前記撮影画像中の各医療機器の撮影領域に、前記医療機器に関する機器情報及び前記計測情報に紐付けられたコードが含まれない場合、前記医療機器の表示部を含む前記医療機器全体の撮影画像を入力した場合に前記撮影画像中の医療機器に関する機器情報を出力する学習モデルに、取得した前記撮影画像中の前記医療機器の撮影領域を入力して、前記医療機器に関する機器情報を取得する
処理を前記コンピュータに実行させる請求項４に記載のプログラム。

【請求項6】

前記患者の電子カルテデータを取得し、
取得した計測情報が、前記電子カルテデータに含まれる情報に適合しているか否かを判断する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項7】

前記患者に割り当てられた識別情報を取得し、
取得した識別情報に対応付けて、前記撮影画像に基づいて取得した計測情報を記憶する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。

【請求項8】

前記医療機器は、患者の体内に輸液を投与するポンプ、及び、前記患者の生体情報を計測する計測器を含む
請求項１又は２に記載のプログラム。

【請求項9】

医療機器の表示部を含む前記医療機器全体の撮影画像と、前記医療機器に関する機器情報とを含む訓練データを取得し、
取得した訓練データを用いて、前記医療機器全体の撮影画像が入力された場合に、前記撮影画像中の医療機器に関する機器情報を出力する学習モデルを生成する
処理をコンピュータが実行するモデル生成方法。

【請求項10】

時系列で変化する計測情報を表示する表示部を備える医療機器において、
前記医療機器に関する機器情報及び前記表示部に表示される計測情報に紐付けられたコードを生成する生成部と、
生成したコードを前記表示部に表示する表示制御部と
を備える医療機器。

【請求項11】

時系列で変化する計測情報を表示する医療機器の表示部を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記計測情報を取得し、
取得した計測情報を、患者の情報に対応付けて記憶部に記憶する
処理をコンピュータが実行する情報処理方法。

【請求項12】

時系列で変化する計測情報を表示する医療機器の表示部を撮影した撮影画像を取得する画像取得部と、
取得した撮影画像に基づいて、前記計測情報を取得する情報取得部と、
取得した計測情報を、患者の情報に対応付けて記憶する記憶部と
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、モデル生成方法、医療機器、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、医療機器の表示部を撮像した撮像画像に基づいて、撮像対象の医療機器を特定すると共に、表示部に表示された医療データを特定する技術が開示されている。特許文献１に開示された技術では、体温計、血圧計、脈拍計、血糖値測定装置等の表示画面に表示された測定値を撮像画像に基づいて特定することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１０２７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

医療現場では、入院患者に対して、各種の生体情報を計測する計測器、並びに、薬剤及び輸液等を体内に投与するためのポンプが装着されている。計測器は、例えば血糖値、血中酸素濃度等の生体情報を定期的に計測して表示画面に表示しており、ポンプは、例えば患者の体内に投与済みの輸液量を計測して表示画面に表示している。このような医療機器では、時系列で変化する計測情報が表示画面に表示される。しかし、特許文献１に開示された技術では、医療機器による計測処理が完了した後に表示画面に表示された測定値を読み取るので、読み取り対象の測定値が変化することは想定されていない。よって、表示画面に表示される情報が時系列で変化する医療機器に対して、表示画面の撮像画像に基づいて表示情報を正確に特定することは困難である。

【0005】

一つの側面では、時系列で変化する表示情報を適切に特定することが可能なプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、時系列で変化する計測情報を表示する医療機器の表示部を撮影した撮影画像を取得し、取得した撮影画像に基づいて、前記計測情報を取得し、取得した計測情報を、患者の情報に対応付けて記憶部に記憶する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、時系列で変化する表示情報を適切に特定することができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】電子カルテＤＢのレコードレイアウトの一例を示す説明図である。

【図4】機器ＤＢのレコードレイアウトの一例を示す説明図である。

【図5】学習モデルの構成例を示す説明図である。

【図6】学習モデルの生成処理手順の一例を示すフローチャートである。

【図7】スタッフ端末及び撮影装置の構成例を示すブロック図である。

【図8】医療機器の構成例を示すブロック図である。

【図9】第１医療機器によるコード表示処理手順の一例を示すフローチャートである。

【図10】医療機器の登録処理手順の一例を示すフローチャートである。

【図11】医療機器の登録処理手順の一例を示すフローチャートである。

【図12】スタッフ端末の画面例を示す説明図である。

【図13】医療機器の表示情報の読取処理手順の一例を示すフローチャートである。

【図14】医療機器の表示情報の読取処理手順の一例を示すフローチャートである。

【図15】スタッフ端末の画面例を示す説明図である。

【図16】医療機器の表示情報の読取処理手順の他の例を示すフローチャートである。

【図17】アラート画面例を示す説明図である。

【図18】実施形態２における医療機器の使用状態を示す説明図である。

【図19】実施形態２の医療機器の表示情報の読取処理手順の一例を示すフローチャートである。

【図20】スタッフ端末の画面例を示す説明図である。

【図21】スタッフ端末の画面例を示す説明図である。

【図22】実施形態２の医療機器の表示情報の読取処理手順の他の例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示のプログラム、モデル生成方法、医療機器、情報処理方法、及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
医療機関等で患者に使用される医療機器の機器情報、及び、医療機器の表示画面に表示される表示情報を読み取る情報処理システムについて説明する。本実施形態における医療機器は、他の装置との間で通信を行う通信機能が設けられていない機器である。例えば、医療機器は、患者の体内に薬剤、輸液又は輸血用血液を投与する際に使用されるシリンジポンプ及び輸液ポンプ（以下では単にポンプという）、並びに、患者に装着されて血糖値、心拍数、血圧、呼吸数、体温等の生体情報（バイタルデータ）を計測する計測器等を含む。また、医療機器は、ＥＣＭＯ（Extra-Corporeal Membrane Oxygenation：体外式膜型人工肺）、ＰＣＰＳ（Percutaneous Cardio-Pulmonary Support：経皮的心肺補助装置）等のように、時系列に変化する計測情報（表示情報）を連続して読み取る必要がある機器を含む。ポンプの表示画面には、設定された投与速度、投与予定量、投与済みの投与量（以下では投与積算量という）等が表示される。また、計測器の表示画面には、計測器によって定期的に計測された計測値等が表示される。よって、本実施形態の情報処理システムは、ポンプの表示情報として、使用開始時に設定された投与速度及び投与予定量、並びに時系列に変化する投与積算量等を読み取り、計測器の表示情報として、定期的に計測され時系列に変化する計測値等を読み取る。

【0011】

図１は情報処理システムの構成例を示す説明図である。本実施形態の情報処理システムは、サーバ１０、スタッフ端末２０、撮影装置３０等を含み、各機器は、ネットワークＮを介して通信接続されている。ネットワークＮは、インターネットであってもよく、情報処理システムが設けられている医療機器等の施設内に構築されたＬＡＮ（Local Area Network）であってもよい。サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、サーバコンピュータ、パーソナルコンピュータ等で構成される。サーバ１０は、複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。また、サーバ１０は、医療機関内に設置されたローカルサーバであってもよく、インターネットを介して通信接続されたクラウドサーバであってもよい。

【0012】

スタッフ端末２０は、医師及び看護師等の医療スタッフが使用する情報端末である。スタッフ端末２０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、スマートフォン、タブレット端末、パーソナルコンピュータ等で構成される。スタッフ端末２０は、ネットワークＮを介して他の装置との間で情報を送受信する機能、及びカメラを有する情報端末であれば、上述した機器に限定されない。

【0013】

撮影装置３０は、例えば医療機関の各部屋の天井又は壁に設けられ、常時又は定期的に撮影処理を行う撮影装置である。本実施形態では、撮影装置３０は、撮影処理のみを行う構成として説明するが、撮影した画像に対して所定の画像処理を行い、その処理結果を出力するように構成されていてもよい。

【0014】

本実施形態では、スタッフ端末２０及び撮影装置３０は、患者に装着されて使用されている医療機器の表示画面を含む医療機器全体を撮影する。従って、撮影装置３０は、医療機器を撮影できる位置に設けられており、医療機器は、撮影装置３０で撮影可能な位置に配置されている。なお、撮影装置３０の撮影方向、撮影時のズーム倍率及び焦点距離等の設定は、医療機器の使用開始時に医療スタッフによって行われてもよく、撮影装置３０が自動的に行うように構成されていてもよい。

【0015】

本実施形態のスタッフ端末２０及び撮影装置３０で撮影される医療機器は、第１医療機器４０及び第２医療機器５０を含む。第１医療機器４０は、医療機器の機器種別を識別するための機器種別ＩＤと、医療機器を識別するための機器ＩＤと、表示画面に表示される表示情報とを含むコード４０ａを生成して表示画面に表示する構成を有する。第２医療機器５０は、コードを生成して表示する構成を有しない従来の医療機器であり、第２医療機器５０には、表示画面側の面の適宜箇所に、医療機器に割り当てられた識別情報（例えば機器ＩＤ）が印字されたテープ等が貼付されている。なお、本実施形態では、機器ＩＤが第２医療機器５０の外面に貼付されている構成とするが、機器ＩＤに加えて機器種別ＩＤも第２医療機器５０の外面に貼付されていてもよい。この場合、第２医療機器５０の撮影画像から機器ＩＤだけでなく機器種別ＩＤを読み取ることが可能となる。図１では、第１医療機器４０及び第２医療機器５０としてポンプを例示しているが、計測器であってもよい。また、同じ種類の機器であっても、コード４０ａを生成して表示する機能を有する医療機器と、有しない医療機器とがあってもよく、前者は第１医療機器４０とし、後者は第２医療機器５０とする。また、本実施形態では、コード４０ａは２次元バーコード（登録商標）とするが、１次元バーコードであってもよく、スタッフ端末２０で読み取り可能なコードであればよい。

【0016】

上述した構成の情報処理システムでは、スタッフ端末２０は、患者に使用されている医療機器４０，５０を撮影した場合に、撮影画像に基づいて医療機器４０，５０の機器情報（例えば機器ＩＤ）及び表示情報を特定し、特定した各情報をサーバ１０へ送信する。撮影装置３０は、患者に使用されている医療機器４０，５０を定期的に撮影し、取得した撮影画像をサーバ１０へ送信する。このときサーバ１０は、撮影装置３０から受信した撮影画像に基づいて、医療機器４０，５０の機器情報及び表示情報を特定する処理を実行する。なお、撮影装置３０が、撮影画像に基づいて、医療機器４０，５０の機器情報及び表示情報を特定する処理を行い、処理結果をサーバ１０へ送信するように構成されていてもよい。サーバ１０は、電子カルテのデータを記憶しており、スタッフ端末２０から受信した情報、又は、撮影装置３０で撮影された画像に基づいて特定された情報を電子カルテのデータと照合することによって、医療機器４０，５０の表示情報が適切であるか否かを判定する処理を行う。例えば医療機器４０，５０がポンプである場合、サーバ１０は、ポンプによって投与中の薬剤又は輸液に関する投薬情報が、医師が処方した内容（処方情報）に適合するか否かを判定する。また、医療機器４０，５０が計測器である場合、サーバ１０は、計測器で計測された計測値が正常範囲内であるか否かを判定する。上述した構成により、ポンプによる薬剤又は輸液の投与状態が適切であるか否か、及び、計測器で計測される患者の状態が正常であるか否かをサーバ１０で監視することができ、適切でない場合又は正常でない場合にアラートを出力して医療スタッフに通知することが可能となる。

【0017】

図２はサーバ１０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを有する。制御部１１は、記憶部１２に記憶してあるプログラム１２Ｐを適宜実行することにより、サーバ１０が行うべき種々の情報処理、制御処理等を行う。

【0018】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラム１２Ｐ（プログラム製品）及びプログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１がプログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えば機械学習によって訓練データを学習済みの学習モデル１２Ｍを記憶している。学習モデル１２Ｍは、図５左側に示すような医療機器（第２医療機器５０）の表示画面を含む医療機器全体の撮影画像（以下では単に医療機器の撮影画像という）が入力された場合に、図５右側に示すように画像中の対象物の領域を示す検知結果画像（ラベル画像）を出力するように学習された学習済みモデルである。学習モデル１２Ｍが検知する対象物は、ポンプの撮影画像が入力された場合、画像中のポンプに貼付された機器ＩＤ、ポンプの表示画面に表示された投与速度、投与予定量、投与積算量等であり、計測器の撮影画像が入力された場合、画像中の計測器に貼付された機器ＩＤ、計測器の表示画面に表示された計測値等である。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル１２Ｍは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を定義する関数の係数や閾値等のデータが学習モデル１２Ｍとして記憶される。また記憶部１２は、電子カルテＤＢ１２ａ及び機器ＤＢ１２ｂを記憶している。電子カルテＤＢ１２ａ及び／又は機器ＤＢ１２ｂは、サーバ１０に接続された他の記憶装置に記憶されてもよく、サーバ１０が通信可能な他の記憶装置（例えば電子カルテ用サーバ）に記憶されてもよい。

【0019】

通信部１３は、有線通信又は無線通信によってネットワークＮに接続するための通信モジュールであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0020】

読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラム１２Ｐ（プログラム製品）及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶されるプログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0021】

上述した構成において、入力部１４及び表示部１５は必須ではなく、サーバ１０は、接続されたコンピュータを通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。また、プログラム１２Ｐは単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。

【0022】

図３は電子カルテＤＢ１２ａのレコードレイアウトの一例を示す説明図である。電子カルテＤＢ１２ａは、医療機関を利用する患者の電子カルテデータ（診療記録）を格納するデータベースである。図３に示す電子カルテＤＢ１２ａは、患者ＩＤ列、患者情報列、投薬情報列、バイタルデータ列等を含む。患者ＩＤ列は、各患者を識別するための識別情報（患者ＩＤ）を記憶する。患者ＩＤは例えば医療機関で発行された診察券の診察券番号であってもよい。患者情報列は、患者ＩＤに対応付けて、患者に関する患者情報を記憶する。患者情報は、例えば患者の氏名、年齢及び性別を含む属性情報、診断名、既往歴、身長及び体重等を含む。投薬情報列は、患者ＩＤに対応付けて、患者に投与済み又は投与予定の薬剤又輸液に関する投薬情報を記憶する。投薬情報は、例えば、医師が処方した内容を示す処方情報、投薬の開始日時、投薬に使用されたポンプの機器ＩＤ、薬剤名（薬剤の種類）、投与予定量、投与速度、投与積算量等を含む。投与予定量、投与速度、及び投与積算量は、ポンプの表示画面から読み取られた数値（表示情報）であり、読み取った日時に対応付けて記憶される。バイタルデータ列は、患者ＩＤに対応付けて、患者から計測したバイタルデータを記憶する。バイタルデータは、例えば血糖値、心拍数、血圧、呼吸数、体温等を含み、各バイタルデータは、計測に使用された計測器の機器ＩＤと、計測値とが対応付けて記憶される。なお、計測値は、計測器の表示画面から読み取られた数値（表示情報）であり、読み取った日時に対応付けて記憶される。

【0023】

電子カルテＤＢ１２ａの記憶内容は図３に示す例に限定されず、患者に実施した血液検査及び尿検査等の各種検査に関する検査情報、治療に関する治療情報、手術に関する手術情報、薬の服用歴、医師等が入力したコメント等、患者に関する各種の情報が記憶されてもよい。なお、検査情報は、Ｘ線画像、超音波画像、ＣＴ（Computed Tomography：コンピュータ断層撮影法）画像、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像法）画像、ＰＥＴ（Positron Emission Tomography：陽電子放出断層撮影法）画像等の医用画像を含んでもよい。

【0024】

図４は機器ＤＢ１２ｂのレコードレイアウトの一例を示す説明図である。機器ＤＢ１２ｂは、医療機関で使用されている医療機器４０，５０に関する情報を記憶するデータベースである。図４に示す機器ＤＢ１２ｂは、機器ＩＤ列、機器種別ＩＤ列、種別情報列、機器情報列、用途情報列等を含み、機器ＩＤに対応付けて、医療機器４０，５０に関する各情報を記憶する。機器ＩＤ列は、各医療機器４０，５０に割り当てられた識別情報（機器ＩＤ）を記憶する。機器種別ＩＤ列は、医療機器４０，５０の種別（例えば機種）を識別するための識別情報（機器種別ＩＤ）を記憶し、種別情報列は、医療機器４０，５０の種別に関する情報、例えば機器種別を特定するための種別名、医療機器の呼び名等を記憶する。機器情報列は、医療機器４０，５０のメーカ名、型番、商品名等、医療機器４０，５０に関する情報を記憶する。用途情報列は、医療機器４０，５０の使用に関する情報を記憶する。例えば医療機器４０，５０がポンプの場合、使用可能な薬剤、設定可能な投与予定量及び投与速度、計測可能な投与積算量等が用途情報として記憶され、医療機器４０，５０が計測器の場合、計測対象の項目、計測可能範囲の数値等が用途情報として記憶される。機器ＤＢ１２ｂの記憶内容は図４に示す例に限定されず、医療機器４０，５０に関する各種の情報が記憶されてもよい。

【0025】

図５は学習モデル１２Ｍの構成例を示す説明図である。学習モデル１２Ｍは、入力された画像に含まれる所定の対象物を認識するモデルである。学習モデル１２Ｍは、例えばセマンティックセグメンテーションにより、画像中の対象物を画素単位で分類することができるモデルであってもよい。本実施形態の学習モデル１２Ｍは、第２医療機器５０の撮影画像を入力し、入力された撮影画像に基づいて、撮影画像に含まれる対象物を検知する演算を行い、検知した結果を出力するモデルである。具体的には、学習モデル１２Ｍは、ポンプの撮影画像が入力された場合、撮影画像中のポンプの機器ＩＤ、表示画面に表示された投与予定量、投与速度、投与積算量等の対象物を検知するマルチラベル分類を実現するモデルであり、検知した各対象物にバウンディングボックスを付加した検知済みの撮影画像（以下ではラベル画像という）を出力する。また、学習モデル１２Ｍは、計測器の撮影画像が入力された場合、撮影画像中の計測器の機器ＩＤ、表示画面に表示された計測値等の対象物を検知するマルチラベル分類を実現するモデルである。なお、学習モデル１２Ｍは、ポンプ用のモデルと、計測器用のモデルとが各別に設けられていてもよい。学習モデル１２Ｍは、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network ）、ＳｅｇＮｅｔ等で構成することができる。なお、学習モデル１２Ｍは、Ｒ－ＣＮＮ（Regions with Convolution Neural Network）、Ｆａｓｔ Ｒ－ＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、Ｍａｓｋ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）等で構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0026】

学習モデル１２Ｍは、入力層、中間層及び出力層を有する。入力層には、処理対象の撮影画像が入力される。中間層は、畳み込み層及びプーリング層と、逆畳み込み層とを有する。畳み込み層は、入力層を介して入力された画像の画素情報から画像の特徴量を抽出して特徴量マップを生成し、プーリング層は、生成された特徴量マップを圧縮する。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは逆畳み込み層へ出力される。逆畳み込み層は、畳み込み層及びプーリング層によって生成された特徴量マップを元の画像サイズに拡大（マッピング）する。なお、逆畳み込み層は、畳み込み層で抽出された特徴量に基づいて画像内にどの対象物がどの位置に存在するかを検知し、各対象物をバウンディングボックスで示したラベル画像を生成する。出力層は、中間層の演算結果を基に対象物の検知結果を示すラベル画像を出力する。図５に示す例では、撮影画像中のポンプに添付された機器ＩＤ（Ａ１）と、ポンプの表示画面に表示された投与速度Ａ２と、投与積算量Ａ３とが検知されたラベル画像が出力されている。

【0027】

上述した構成により、学習モデル１２Ｍは、第２医療機器５０の撮影画像が入力された場合に、撮影画像中の医療機器の機器ＩＤと、医療機器の表示画面に表示されている表示情報とが検知されたラベル画像を出力する。サーバ１０は、学習モデル１２Ｍから出力されたラベル画像に基づいて、撮影画像から、検知された各情報を抽出することにより、撮影された第２医療機器５０の機器ＩＤと表示情報とを取得することができる。よって、第２医療機器５０が通信機能を有しない場合であっても、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得できる。

【0028】

学習モデル１２Ｍは、訓練用の撮影画像と、この撮影画像中の各対象物の領域に対して、各対象物を示すデータ（マーク）がラベリングされたラベル画像（正解のラベル画像）とを含む訓練データを用意し、この訓練データを用いて、未学習の学習モデルを機械学習させることにより生成することができる。なお、訓練用のラベル画像では、訓練用の撮影画像に対して、各対象物の領域に対応する座標範囲と、各対象物の種類とを表すラベルが付与される。訓練データ用の撮影画像及びラベル画像は予め生成されて１つの訓練データとして、例えば記憶部１２に用意された訓練ＤＢ（図示せず）に記憶されている。

【0029】

学習モデル１２Ｍは、訓練データに含まれる撮影画像が入力された場合に、訓練データに含まれるラベル画像（正解のラベル画像）を出力するように学習する。学習処理において学習モデル１２Ｍは、入力された撮影画像に基づいて中間層での演算を行い、撮影画像中の対象物を検知した検知結果を取得する。具体的には、学習モデル１２Ｍは、撮影画像中の各対象物の領域に対して、分類された対象物の種類を示す値がラベリングされたラベル画像を出力として取得する。そして学習モデル１２Ｍは、取得した検知結果（ラベル画像）を、訓練データが示す正解の対象物領域の座標範囲及び対象物の種類と比較し、両者が近似するように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えば中間層におけるノード間の重み（結合係数）等である。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、撮影画像が入力された場合に、撮影画像中の各対象物の領域を示すラベル画像を出力する学習モデル１２Ｍが得られる。

【0030】

サーバ１０は、このような学習モデル１２Ｍを予め用意しておき、撮影装置３０が撮影した撮影画像に基づいて第２医療機器５０の機器情報及び表示情報を取得する際に用いる。学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワークＮ経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。なお、スタッフ端末２０も、学習モデル１２Ｍと同じ学習モデル２２Ｍ（図７参照）を予め記憶しており、カメラ２６（図７参照）で撮影した撮影画像に基づいて第２医療機器５０の機器情報及び表示情報を取得する際に用いる。

【0031】

以下に、上述したような訓練データを学習して学習モデル１２Ｍを生成する処理について説明する。図６は学習モデル１２Ｍの生成処理手順の一例を示すフローチャートである。以下の処理は、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って行うが、他の学習装置で行われてもよい。以下の処理では、上述したような撮影画像及びラベル画像による訓練データが訓練ＤＢに蓄積されているものとする。

【0032】

サーバ１０の制御部１１は、訓練ＤＢから訓練データを１つ取得する（Ｓ１１）。具体的には、制御部１１は、図５に示すような撮影画像及びラベル画像のセットを１つ訓練ＤＢから読み出す。そして、制御部１１は、取得した訓練データを用いて学習モデル１２Ｍの学習処理を行う（Ｓ１２）。ここでは、制御部１１は、訓練データに含まれる撮影画像を学習モデル１２Ｍに入力し、撮影画像が入力されることによって学習モデル１２Ｍから出力されるラベル画像を取得する。なお、学習モデル１２Ｍは、入力された撮影画像に基づく演算を行い、出力層から出力するラベル画像を算出する。制御部１１は、学習モデル１２Ｍから出力されたラベル画像の各画素値と、訓練データに含まれる正解のラベル画像の各画素値とを比較し、両者が近似するように学習モデル１２Ｍを学習させる。学習処理において、制御部１１は、例えば中間層におけるノード間の重み（結合係数）等のパラメータを、学習モデル１２Ｍの出力層から入力層に向かって順次更新する誤差逆伝播法を用いて最適化する。

【0033】

制御部１１は、訓練ＤＢに記憶してある訓練データのうちで、学習処理が行われていない未処理の訓練データがあるか否かを判断する（Ｓ１３）。未処理の訓練データがあると判断した場合（Ｓ１３：ＹＥＳ）、制御部１１はステップＳ１１の処理に戻り、学習処理が未処理の訓練データについてステップＳ１１～Ｓ１２の処理を行う。未処理の訓練データがないと判断した場合（Ｓ１３：ＮＯ）、制御部１１は一連の処理を終了する。

【0034】

上述した学習処理により、撮影画像が入力された場合に、当該撮影画像中の第２医療機器５０の機器ＩＤ及び表示情報がバウンディングボックスで示されたラベル画像を出力するように学習された学習モデル１２Ｍが生成される。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル１２Ｍを更に最適化することができる。また、既に学習済みの学習モデル１２Ｍについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル１２Ｍを生成できる。また、例えば医療機関毎に訓練データを学習させることにより、各医療機関に応じた学習モデル１２Ｍを生成してもよい。各医療機関で使用される医療機器の種類又はメーカは、医療機関毎で多少異なるので、医療機関毎に学習モデル１２Ｍを生成することにより、各医療機関で使用される医療機器の機器ＩＤ及び表示情報の検出精度を向上させることができる。

【0035】

図７はスタッフ端末２０及び撮影装置３０の構成例を示すブロック図である。スタッフ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。スタッフ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５は、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５と同様の構成であるので説明を省略する。なお、スタッフ端末２０の記憶部２２は、制御部２１が実行するプログラム２２Ｐに加えて、各患者に使用する医療機器４０，５０を管理する処理を実現するための医療機器管理プログラム２２ＡＰ、及び学習モデル１２Ｍと同様の構成を有する学習モデル２２Ｍを記憶している。また、通信部２３は、無線通信によってネットワークＮに接続するための通信モジュールであることが望ましい。

【0036】

カメラ２６は、レンズ及び撮像素子等を有する撮像部であり、入力部２４を介して受け付けた撮影指示に従って撮影処理を行い、得られた画像データ（以下では撮影画像という）を記憶部１２に記憶する。カメラ２６は、１回の撮影指示に対応して１枚の撮影画像（静止画）を取得する撮影処理を行う。

【0037】

撮影装置３０は、制御部３１、通信部３２、カメラ３３等を含み、これらの各部はバスを介して相互に接続されている。制御部３１は、ＣＰＵ又はＭＰＵ等の演算プロセッサ及びメモリ等を有し、演算プロセッサが、メモリに記憶してあるプログラムを実行することにより、撮影装置３０が行う種々の処理を実行する。通信部３２及びカメラ３３は、スタッフ端末２０の通信部２３及びカメラ２６と同様の構成である。本実施形態の撮影装置３０では、例えば１０秒毎、３０秒毎、１分毎等の定期的に、制御部３１からの撮影指示に従ってカメラ３３が撮影処理を行い、得られた撮影画像を通信部３２がネットワークＮ経由でサーバ１０へ送信する。

【0038】

図８は医療機器４０，５０の構成例を示すブロック図である。第１医療機器４０は、制御部４１、記憶部４２、計測部４３、入力部４４、表示部４５、通知部４６等を含み、これらの各部はバスを介して相互に接続されている。第１医療機器４０の制御部４１、記憶部４２、入力部４４、表示部４５は、スタッフ端末２０の制御部２１、記憶部２２、入力部２４、表示部２５と同様の構成であるので説明を省略する。なお、第１医療機器４０の記憶部４２は、所定の情報からコードを生成するためのコード生成プログラム４２ａを記憶している。コード生成プログラム４２ａは、第１医療機器４０に割り当てられた機器ＩＤ及び表示部４５に表示中の表示情報に紐付けられるコードを生成するためのアプリケーションプログラムであり、本実施形態ではＱＲコード（登録商標）を生成する。なお、コード生成プログラム４２ａによって生成されるコードは、ＱＲコードに限定されず、バーコード、所定のマーク等であってもよい。

【0039】

計測部４３は、第１医療機器４０における計測処理を実行する。例えば第１医療機器４０がポンプである場合、計測部４３は、投与中の薬剤の投与積算量の計測処理を実行する。また、第１医療機器４０が計測器である場合、計測部４３は、患者の血糖値、心拍数、血圧、呼吸数、体温等のバイタルデータの計測処理を実行する。通知部４６は、ランプ、ブザー、又はスピーカ等を含み、ランプの点灯又は点滅、ブザーの鳴動、スピーカによる警告音又はメッセージの音声出力等を行うことにより、第１医療機器４０の近傍にいる人にアラートを出力する。

【0040】

第２医療機器５０は、第１医療機器４０と同様の構成を有するので説明を省略する。なお、第２医療機器５０の記憶部５２には、コード生成プログラムは記憶されておらず、第２医療機器５０は、所定の情報からコードを生成する機能を有しない。医療機器４０，５０がポンプである場合、医療機器４０，５０は、上述した構成に加えて、薬剤、輸液、輸血用血液等をチューブを介して患者体内に送液する送液部等を有する。

【0041】

以下に、第１医療機器４０が行う処理について説明する。図９は第１医療機器４０によるコード表示処理手順の一例を示すフローチャートである。以下の処理は、第１医療機器４０の制御部４１が、記憶部４２に記憶してあるプログラムに従って行う。第１医療機器４０の制御部４１は、例えば計測部４３による計測結果（時系列で変化する計測情報）を表示部４５に表示する処理を実行しており、表示される内容（表示情報）に変更が生じたか否かを判断する（Ｓ２１）。例えば図１に示す第１医療機器４０では、表示画面に投与速度及び投与積算量が表示されており、投与速度は投与開始時に設定された速度であり、投与積算量は、計測部４３によって計測された結果（計測情報）である。従って、この場合、制御部４１は、表示すべき投与積算量に変更が生じたか否かを判断する。また、投与速度の設定値が変更された場合、制御部４１は、表示すべき投与速度に変更が生じたと判断する。

【0042】

表示情報に変更が生じたと判断した場合（Ｓ２１：ＹＥＳ）、制御部４１は、第１医療機器４０に割り当てられた機器ＩＤと、変更後の表示情報（ここでは投与速度及び投与積算量）とを取得する（Ｓ２２）。なお、機器ＩＤは記憶部４２に予め記憶されている。制御部４１（生成部）は、コード生成プログラム４２ａに従って、取得した機器ＩＤ及び表示情報に紐付けられたＱＲコードを生成する（Ｓ２３）。そして、制御部４１（表示制御部）は、生成したＱＲコードを表示部４５に表示する（Ｓ２４）。これにより、図１に示すように、第１医療機器４０の表示画面にＱＲコード４０ａが表示される。なお、制御部４１は、表示情報に変更が生じていないと判断した場合（Ｓ２１：ＮＯ）、ステップＳ２５の処理に移行する。

【0043】

制御部４１は、上述した処理を終了するか否かを判断する（Ｓ２５）。例えば制御部４１は、入力部４４を介して第１医療機器４０の動作終了指示を受け付けた場合、処理を終了すると判断する。制御部４１は、上述した処理を終了しないと判断した場合（Ｓ２５：ＮＯ）、ステップＳ２１の処理に戻り、表示情報に変更が生じる都度、ステップＳ２２～Ｓ２４の処理を実行する。制御部４１は、上述した処理を終了すると判断した場合（Ｓ２５：ＹＥＳ）、一連の処理を終了する。上述した処理により、第１医療機器４０は、表示部４５に表示する内容に変更が生じる都度、機器ＩＤ及び表示情報に紐付けられたコードを生成して表示部４５に表示する。よって、表示部４５に表示されたコードを読み取ることによって、この第１医療機器４０の機器ＩＤ及び表示部４５に表示されている情報を取得することができる。

【0044】

上述した処理では、第１医療機器４０は、機器ＩＤと、表示部４５に表示されている内容（表示情報）とを含むコードを生成して表示する構成である。このほかに、第１医療機器４０の表示部４５に表示されるＱＲコードは、現在表示中の表示情報だけでなく、例えば現在時刻から所定時間前（例えば３０秒前、１分前等）までに表示部４５に表示された表示情報を含めてもよい。即ち、第１医療機器４０の制御部４１は、機器ＩＤと、現在時刻から所定時間前の時刻から、現在時刻までに表示部４５に表示された表示情報とに紐付けられたコードを生成して表示部４５に表示してもよい。具体的には、制御部４１は、所定時間前の時刻から現在時刻までの各日時情報と、各日時情報が示す日時に表示部４５に表示されていた表示情報とを対応付けた時系列データに紐付けられたコードを生成する。これにより、時系列で変化する表示情報をＱＲコードに含めることができる。このような構成とした場合、例えば第１医療機器４０がＱＲコードを更新するタイミングが、撮影装置３０が撮影を行うタイミングよりも早い場合であっても、第１医療機器４０の表示部４５に時系列に表示された情報の全てを、撮影装置３０の撮影画像から取得することができる。

【0045】

次に、医療機器４０，５０を使用する際に、医療機器４０，５０を患者に紐付ける登録処理について説明する。図１０及び図１１は医療機器４０，５０の登録処理手順の一例を示すフローチャート、図１２はスタッフ端末２０の画面例を示す説明図である。以下の処理は、スタッフ端末２０の制御部２１が、記憶部２２に記憶してあるプログラム２２Ｐ及び医療機器管理プログラム２２ＡＰに従って実行すると共に、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラム１２Ｐに従って実行する。図１０及び図１１では左側にスタッフ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下では、医療機器４０，５０がポンプである場合の処理について説明する。

【0046】

医療スタッフは、患者に対して医療機器４０，５０を使用する場合、患者と医療機器４０，５０とを対応付ける登録処理をスタッフ端末２０を用いて行う。具体的には、医療スタッフは、スタッフ端末２０の医療機器管理プログラム２２ＡＰを起動させ、医療機器管理プログラム２２ＡＰに従って登録処理を行う。スタッフ端末２０の制御部２１は、入力部２４からの指示に従って医療機器管理プログラム２２ＡＰを起動した場合、図１２Ａに示すような患者ＩＤの読取画面を表示部２５に表示する（Ｓ３１）。患者ＩＤの読取画面は、患者ＩＤの読取領域を示す枠と撮影ボタンとを有する。患者ＩＤは、例えば患者ＩＤをコード化したコードが印字されたリストバンドを患者が装着しており、リストバンドのコードを読み取ることによって取得できる。よって、医療スタッフは、読取画面中の読取領域に患者のリストバンドに印字されたコードが入った状態でカメラ２６による撮影を行い、スタッフ端末２０の制御部２１は、カメラ２６で撮影したコードを解析することにより患者ＩＤ（患者に割り当てられた識別情報）を取得する（Ｓ３２）。なお、制御部２１は、カメラ２６で撮影したコード（撮影画像）から患者ＩＤを読み取る構成のほかに、バーコードリーダ又はＱＲコードリーダ等のコードリーダがスタッフ端末２０に接続又は内蔵されている場合、コードリーダによってリストバンドのコードから患者ＩＤを読み取ってもよい。

【0047】

制御部２１は、取得した患者ＩＤに基づいて、この患者の氏名を取得する（Ｓ３３）。例えば制御部２１は、取得した患者ＩＤをサーバ１０へ送信し、患者ＩＤに対応する患者氏名をサーバ１０から取得する。なお、ステップＳ３３の処理は必須ではない。制御部２１は、患者ＩＤを読み取った後、図１２Ｂに示すような薬剤ＩＤの読取画面を表示部２５に表示する（Ｓ３４）。薬剤ＩＤの読取画面は、薬剤ＩＤの読取領域を示す枠と撮影ボタンとを有する。薬剤ＩＤは、例えば薬剤ＩＤをコード化したコードが、薬剤のパッケージに印字されており、薬剤のパッケージのコードを読み取ることによって取得できる。よって、医療スタッフは、読取画面中の読取領域に薬剤のパッケージに印字されたコードが入った状態でカメラ２６による撮影を行い、スタッフ端末２０の制御部２１は、カメラ２６で撮影したコードを解析することにより薬剤ＩＤを取得する（Ｓ３５）。ここでも、制御部２１は、カメラ２６で撮影したコードから薬剤ＩＤを読み取る構成のほかに、コードリーダによって薬剤のパッケージのコードから薬剤ＩＤを読み取ってもよい。

【0048】

制御部２１は、取得した薬剤ＩＤに基づいて、この薬剤の名称（薬剤名）を取得する（Ｓ３６）。例えば制御部２１は、取得した薬剤ＩＤをサーバ１０へ送信し、薬剤ＩＤに対応する薬剤名をサーバ１０から取得する。ステップＳ３６の処理も必須ではない。なお、薬剤のパッケージに印字されるコードに薬剤名が含まれる場合、制御部２１は、コードを読み取ることによって薬剤ＩＤに加えて薬剤名を取得してもよい。

【0049】

次に制御部２１は、図１２Ｃ及び図１２Ｄに示すような医療機器の撮影画面を表示部２５に表示する（Ｓ３７）。医療機器の撮影画面は、医療機器４０，５０の撮影領域を示す枠と撮影ボタンとを有する。医療スタッフは、撮影画面中の撮影領域に、医療機器４０，５０の表示画面を含み医療機器４０，５０全体が入った状態でカメラ２６による撮影を行い、スタッフ端末２０の制御部２１は、カメラ２６によって医療機器４０，５０を撮影する（Ｓ３８）。なお、図１２Ｃは第１医療機器４０を撮影した状態を示し、図１２Ｄは第２医療機器５０を撮影した状態を示す。医療機器４０，５０の撮影領域は、機器全体であることが望ましいが、医療機器４０，５０の表示画面及び操作ボタン等の主要部分が含まれていればよく、図１２Ｃ及び図１２Ｄに示すように、医療機器４０，５０の一部が撮影されていなくてもよい。

【0050】

制御部２１は、撮影して得られた医療機器４０，５０の撮影画像から、ＱＲコードを読み取る読取処理を実行し（Ｓ３９）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を読み取る。なお、第１医療機器４０の表示画面にはＱＲコードが表示されているので、図１２Ｃに示すような第１医療機器４０の撮影画像はＱＲコードの読取を行うことができる。一方、第２医療機器５０の表示画面にはＱＲコードが表示されていないので、図１２Ｄに示すような第２医療機器５０の撮影画像はＱＲコードの読取を行えない。制御部２１は、撮影画像からＱＲコードを読み取れたか否かを判断しており（Ｓ４０）、ＱＲコードを読み取れたと判断した場合（Ｓ４０：ＹＥＳ）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を取得する（Ｓ４１）。なお、ＱＲコードに第１医療機器４０の機器種別ＩＤも紐付けられている場合、制御部２１は、撮影画像から機器ＩＤ及び表示情報に加えて機器種別ＩＤも取得する。また、ＱＲコードに、時系列で変化する表示情報（時系列データである表示情報）が紐付けられている場合、制御部２１は、撮影画像から機器ＩＤ及び時系列で変化する表示情報を取得する。

【0051】

一方、制御部２１は、ＱＲコードを読み取れないと判断した場合（Ｓ４０：ＮＯ）、学習モデル２２Ｍを用いて、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する（Ｓ４２）。ここでは、制御部２１は、ステップＳ３８で撮影して得られた第２医療機器５０の撮影画像を学習モデル２２Ｍに入力し、学習モデル２２Ｍから出力されるラベル画像を取得する。制御部２１は、図５に示すようなラベル画像を取得し、ラベル画像（撮影画像）中の機器ＩＤの領域Ａ１から機器ＩＤを取得し、投与速度の領域Ａ２から投与速度を取得し、投与積算量の領域Ａ３から投与積算量を取得する。これにより、制御部２１は、第２医療機器５０の撮影画像から、当該第２医療機器５０の機器ＩＤ及び表示情報を取得できる。なお、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する処理は、スタッフ端末２０で実行される構成に限定されず、例えばサーバ１０で実行されてもよい。この場合、制御部２１は、第２医療機器５０の撮影画像をサーバ１０へ送信し、サーバ１０で学習モデル１２Ｍを用いて第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する処理が行われ、取得された機器ＩＤ及び表示情報がサーバ１０からスタッフ端末２０へ送信されるように構成できる。

【0052】

制御部２１は、図１２Ｅに示すように、ステップＳ３２～Ｓ３３で取得した患者の情報、ステップＳ３５～Ｓ３６で取得した薬剤の情報、ステップＳ３８～Ｓ４２で取得した機器ＩＤ及び表示情報を表示部２５に表示する（Ｓ４３）。これにより、医療機器４０，５０を使用する際に医療機器４０，５０に対して設定された投与速度及び投与予定量等の情報が、医療機器４０，５０の撮影画像から読み取られてスタッフ端末２０に表示される。図１２Ｅに示す例では、表示情報として投与速度及び投与積算量が表示されているが、第２医療機器５０が表示画面に薬剤名、投与予定量、終了予定時間、残時間等も表示する構成である場合、撮影画像から薬剤名、投与予定量、終了予定時間、残時間等も取得され、図１２Ｅに示す画面に表示される。

【0053】

図１２Ｅに示す画面は、送信ボタンを有しており、医療スタッフは、表示部２５に表示された各情報が適切であるか否かを判断し、適切である場合に送信ボタンを操作する。なお、図１２Ｅに示す画面は、表示された各情報を修正できるように構成されていてもよい。この場合、図１２Ｅに表示された情報が適切でない場合、即ち、スタッフ端末２０による読取ミスが発生した場合に、医療スタッフによって修正することが可能となる。また、図１２Ｅに表示された情報が適切でない場合に、例えばステップＳ３７の処理に戻り、医療機器４０，５０の撮影画像から機器ＩＤ及び表示情報を読み取り直すように構成されていてもよい。制御部２１は、送信ボタンが操作されたか否かを判断しており（Ｓ４４）、操作されていないと判断した場合（Ｓ４４：ＮＯ）、操作されるまで待機する。送信ボタンが操作されたと判断した場合（Ｓ４４：ＹＥＳ）、制御部２１は、図１２Ｅに示す画面に表示していた患者情報、薬剤情報、機器ＩＤ及び表示情報をサーバ１０へ送信する（Ｓ４５）。

【0054】

サーバ１０の制御部１１は、スタッフ端末２０から送信された各情報を受信し、受信した情報が、医師によって処方された内容（処方情報）に適合するか否かを判断する（Ｓ４６）。例えば制御部１１は、受信した患者情報（患者ＩＤ）に対応する処方情報を電子カルテＤＢ１２ａから読み出し、受信した薬剤情報が示す薬剤名、及び表示情報が示す投与速度が処方内容に一致するか否かを判断する。また、ここでの投与積算量は０であるので、制御部１１は、受信した表示情報が示す投与積算量が０であるか否かに応じて処方内容に適合するか否かを判断する。表示情報に投与予定量が含まれる場合、制御部１１は、投与予定量が処方内容に適合するか否かも判断する。なお、制御部１１は、受信した薬剤情報が示す各情報が処方内容に完全に一致しているか否かを判断する構成のほかに、薬剤情報が示す各情報が処方内容に対して所定範囲内であるか否かを判断する構成でもよい。所定範囲とは、処方内容に対して医療事故とならない程度の差異の範囲である。処方情報に適合しないと判断した場合（Ｓ４６：ＮＯ）、制御部１１は、処方情報に適合しない情報である旨を表示する表示画面をスタッフ端末２０へ送信することにより、適切な情報でない旨を通知する（Ｓ４７）。例えば制御部１１は、図１２Ｆに示すような画面を生成してスタッフ端末２０へ送信する。図１２Ｆに示す画面は、投与速度が処方内容と異なることを通知するための画面であり、医療機器４０，５０の撮影のやり直しを指示するための「読取り直す」ボタンを有する。

【0055】

スタッフ端末２０の制御部２１は、サーバ１０が送信した画面を受信して表示部２５に表示することにより、適切な情報でない旨を表示する（Ｓ４８）。医療スタッフは、図１２Ｆに示す画面を介して、適切な情報でない旨を確認し、医療機器４０，５０の撮影をやり直す場合、「読取り直す」ボタンを操作する。制御部２１は、「読取り直す」ボタンが操作されたか否かを判断しており（Ｓ４９）、操作されていないと判断した場合（Ｓ４９：ＮＯ）、操作されるまで待機する。「読取り直す」ボタンが操作されたと判断した場合（Ｓ４９：ＹＥＳ）、制御部２１は、ステップＳ３７の処理に戻り、図１２Ｃ及び図１２Ｄに示すような医療機器の撮影画面を表示部２５に表示し（Ｓ３７）、医療機器の撮影処理からやり直す。なお、制御部２１は、ステップＳ３１の処理まで戻り、患者ＩＤの読み取りからやり直すように構成されていてもよい。

【0056】

サーバ１０の制御部１１は、処方情報に適合すると判断した場合（Ｓ４６：ＹＥＳ）、スタッフ端末２０から受信した薬剤情報、機器ＩＤ及び表示情報を含む投薬情報を電子カルテＤＢ１２ａに記憶する（Ｓ５０）。具体的には、制御部１１は、スタッフ端末２０から受信した患者情報に対応する投薬情報として、現在日時を開始日時列に、スタッフ端末２０から受信した機器ＩＤを機器ＩＤ列に、スタッフ端末２０から受信した薬剤情報が示す薬剤名を薬剤名列に、表示情報に含まれる投与予定量、投与速度、及び投与積算量を投与予定量列、投与速度列、及び投与積算量列にそれぞれ記憶する。なお、投与予定量、投与速度及び投与積算量はそれぞれ、現在日時に対応付けて各列に記憶される。

【0057】

制御部１１は、スタッフ端末２０から受信した情報、即ち、医療機器４０，５０に対して設定された設定内容が処方情報に適合することを通知するメッセージが表示された表示画面をスタッフ端末２０へ送信することにより、設定内容が適切であることを通知する（Ｓ５１）。例えば制御部１１は、「設定内容は適切でした」のようなメッセージが表示された画面を生成してスタッフ端末２０へ送信する。スタッフ端末２０の制御部２１は、サーバ１０が送信した画面を受信して表示部２５に表示することにより、医療機器４０，５０に対する設定内容が適切であることを示すメッセージを表示し（Ｓ５２）、一連の処理を終了する。

【0058】

上述した処理により、医療機器４０，５０を患者に使用する際に、医療機器４０，５０を患者に紐付けることができると共に、医療機器４０，５０に設定されて表示画面に表示された各情報をスタッフ端末２０によって読み取ることができる。よって、医療スタッフは、医療機器４０，５０の実際の表示内容と、スタッフ端末２０で読み取った医療機器４０，５０の表示内容とを比較して適切であるか否かを判断すればよい。従来、医療スタッフは、医療機器４０，５０の表示内容を目視で読み取り、手作業によってスタッフ端末２０に入力する作業を行っており、この場合、読み取りミス又は入力ミス等人為的なミスが発生する虞があった。しかし、本実施形態では、スタッフ端末２０が撮影画像から表示内容を読み取るので、医療スタッフの業務負荷を軽減できると共に人為的なミスを抑制できる。また、医療スタッフが医療機器４０，５０の表示内容を目視で確認する場合、医療機器４０，５０及び患者に近づく必要があり、感染症対策を十分に行う必要があった。しかし、本実施形態では、医療機器４０，５０の表示画面をスタッフ端末２０で撮影できればよいので、医療機器４０，５０及び患者に近づく必要がなくなり、感染症対策の上でも効果がある。

【0059】

上述した図１０及び図１１では、医療機器４０，５０がポンプである場合の処理を示したが、医療機器４０，５０が計測器である場合にも同様の処理が可能である。なお、医療機器４０，５０が計測器である場合、スタッフ端末２０の制御部２１は、ステップＳ３４～Ｓ３６の処理を行わず、ステップＳ４３では患者情報、機器ＩＤ及び表示情報を表示する処理を行い、ステップＳ４５では患者情報、機器ＩＤ及び表示情報をサーバ１０へ送信する処理を行う。また、サーバ１０の制御部１１は、ステップＳ４６で、スタッフ端末２０から受信した表示情報が示す計測値が正常範囲内であるか否かを判断する処理を行う。例えば、それぞれのバイタルデータに対して正常範囲の数値を予め設定して記憶部１２に記憶しておき、制御部１１は、スタッフ端末２０から受信した機器ＩＤに基づいて、ここでの医療機器４０，５０に対する正常範囲を読み出し、スタッフ端末２０から受信した表示情報が示す計測値が正常範囲内であるか否かを判断する。そして、制御部１１は、正常範囲内でないと判断した場合、ステップＳ４７で計測値が正常範囲内でないことをスタッフ端末２０に通知し、正常範囲内であると判断した場合、ステップＳ５０で計測値を電子カルテＤＢ１２ａのバイタルデータ列に記憶し、ステップＳ５１で計測値が正常範囲内であることをスタッフ端末２０に通知する。これにより、医療機器４０，５０が計測器である場合であっても、医療機器４０，５０を患者に使用する際に、スタッフ端末２０が撮影した医療機器４０，５０の撮影画像に基づいて医療機器４０，５０の情報を取得することができ、医療機器４０，５０を患者に紐付けることができる。

【0060】

次に、患者に使用中の医療機器４０，５０において、表示画面に表示された情報をスタッフ端末２０を用いて読み取る処理について説明する。図１３及び図１４は医療機器４０，５０の表示情報の読取処理手順の一例を示すフローチャート、図１５はスタッフ端末２０の画面例を示す説明図である。図１３及び図１４では左側にスタッフ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。

【0061】

医療スタッフは、患者に医療機器４０，５０を使用している場合、例えば定期的に、又は患者に何らかの処置を行った場合等、所定のタイミングで、医療機器４０，５０の表示情報が適切であるか否かの判定処理をスタッフ端末２０を用いて行う。ここでは、スタッフ端末２０の制御部２１は、入力部２４からの指示に従って医療機器管理プログラム２２ＡＰを起動し、医療機器の撮影画面を表示部２５に表示する（Ｓ６１）。医療機器の撮影画面は、図１２Ｃ又は図１２Ｄに示す画面と同じ構成を有する。また、スタッフ端末２０の制御部２１は、図１０中のステップＳ３８～Ｓ４２と同様の処理を実行する（Ｓ６２～Ｓ６６）。具体的には、制御部２１（画像取得部）は、カメラ２６によって、医療機器４０，５０の表示画面を含む医療機器４０，５０全体を撮影する（Ｓ６２）。

【0062】

そして、制御部２１（情報取得部）は、医療機器４０，５０の撮影画像から、ＱＲコードを読み取る読取処理を実行し（Ｓ６３）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を読み取る。制御部２１は、撮影画像からＱＲコードを読み取れたか否かを判断し（Ｓ６４）、ＱＲコードを読み取れたと判断した場合（Ｓ６４：ＹＥＳ）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を取得する（Ｓ６５）。一方、制御部２１は、ＱＲコードを読み取れないと判断した場合（Ｓ６４：ＮＯ）、学習モデル２２Ｍを用いて、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する（Ｓ６６）。ここでも、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する処理は、スタッフ端末２０で実行される構成に限定されず、例えばサーバ１０で実行されてもよい。

【0063】

次に制御部２１は、図１５Ａに示すように、ステップＳ６２～Ｓ６６で取得した機器ＩＤ及び表示情報を表示部２５に表示する（Ｓ６７）。これにより、患者に対して使用中の医療機器４０，５０に表示されている情報が、医療機器４０，５０の撮影画像から読み取られてスタッフ端末２０に表示される。図１５Ａに示す例では、表示情報として投与速度及び投与積算量が表示されている。図１５Ａに示す画面は、送信ボタンを有しており、医療スタッフは、表示部２５に表示された各情報が適切であるか否かを判断し、適切である場合に送信ボタンを操作する。ここでも、図１５Ａに示す画面は、表示された各情報を修正できるように構成されていてもよく、表示された情報が適切でない場合に、医療機器４０，５０の撮影画像から機器ＩＤ及び表示情報を読み取り直すように構成されていてもよい。

【0064】

制御部２１は、図１５Ａに示す画面中の送信ボタンが操作されたか否かを判断し（Ｓ６８）、操作されていないと判断した場合（Ｓ６８：ＮＯ）、操作されるまで待機する。送信ボタンが操作されたと判断した場合（Ｓ６８：ＹＥＳ）、制御部２１は、図１５Ａに示す画面に表示していた機器ＩＤ及び表示情報をサーバ１０へ送信する（Ｓ６９）。なお、図１３に示す処理において、制御部２１は、ステップＳ６７～Ｓ６８を行わない構成でもよい。この場合、制御部２１は、ステップＳ６５又はＳ６６で機器ＩＤ及び表示情報を取得した後に、表示部２５に表示させることなく、取得した機器ＩＤ及び表示情報をサーバ１０へ送信する。

【0065】

サーバ１０の制御部１１は、スタッフ端末２０から機器ＩＤ及び表示情報を受信した場合、受信した機器ＩＤ及び表示情報を含む投薬情報又は計測値を電子カルテＤＢ１２ａに記憶する（Ｓ７０）。具体的には、制御部１１は、受信した機器ＩＤがポンプの機器ＩＤである場合、電子カルテＤＢ１２ａの投薬情報の機器ＩＤ列に記憶してある機器ＩＤから、受信した機器ＩＤを検索し、検索した機器ＩＤに対応付けて、受信した表示情報に含まれる投与予定量、投与速度、及び投与積算量を現在日時と共に、投与予定量列、投与速度列、及び投与積算量列にそれぞれ記憶する。また、制御部１１は、受信した機器ＩＤが計測器の機器ＩＤである場合、電子カルテＤＢ１２ａのバイタルデータの機器ＩＤ列に記憶してある機器ＩＤから、受信した機器ＩＤを検索し、検索した機器ＩＤに対応付けて、受信した表示情報に含まれる計測値を現在日時と共に、計測値列に記憶する。

【0066】

次に制御部１１は、電子カルテＤＢ１２ａに記憶した投薬情報が処方情報に適合するか否か、又は、計測値が正常範囲内であるか否かを判断する（Ｓ７１）。ここでは、制御部１１は、ステップＳ７０で投薬情報を電子カルテＤＢ１２ａに記憶した場合、この投薬情報が処方情報に適合するか否かを判断する。具体的には、制御部１１は、スタッフ端末２０から受信した機器ＩＤに対応する患者を特定し、特定した患者の処方情報を電子カルテＤＢ１２ａから読み出し、投薬情報に含まれる投与速度が処方内容に適合するか否かを判断する。また、制御部１１は、投薬情報に含まれる投与積算量が、直近に計測された投与積算量に対して適切な増加量であるか否かに応じて処方内容に適合するか否かを判断する。なお、表示情報に投与予定量が含まれる場合、制御部１１は、投与予定量が処方内容に適合するか否かも判断する。また、制御部１１は、ステップＳ７０で計測値を電子カルテＤＢ１２ａに記憶した場合、この計測値が正常範囲内であるか否かを判断する。具体的には、制御部１１は、スタッフ端末２０から受信した機器ＩＤに対応する患者のバイタルデータを特定し、特定したバイタルデータが正常範囲内であるか否かを判断する。

【0067】

制御部１１は、投薬情報が処方情報に適合しないと判断した場合、又は、計測値が正常範囲内でないと判断した場合（Ｓ７１：ＮＯ）、例えば図１５Ｂ又は図１５Ｃに示すようなアラート画面を生成してスタッフ端末２０へ送信する（Ｓ７２）。図１５Ｂに示す画面は、投与速度が処方内容と異なる速度に変更されたことを通知するための画面であり、図１５Ｃに示す画面は、血糖値が正常範囲外となったことを通知するための画面である。スタッフ端末２０の制御部２１は、サーバ１０が送信したアラート画面を受信して表示部２５に表示する（Ｓ７３）。これにより、医療機器４０，５０がポンプであり、医療機器４０，５０の表示情報が処方情報と異なる内容となった場合に、又は、医療機器４０，５０が計測器であり、医療機器４０，５０に表示された計測値が正常範囲外となった場合に、スタッフ端末２０に表示されたアラート画面によって医療スタッフに通知（警告）することができる。医療スタッフは、アラート画面によってポンプに関する警告を受信した場合、医療機器４０，５０の状態を確認し、処方情報に適合した内容に設定し直す。これにより、例えば患者による操作等によって処方情報に適合しない内容に設定変更された場合等、適切でない投薬が行われる医療事故の発生を早期に発見し、対応することが可能となる。また、医療スタッフは、アラート画面によって計測器に関する警告を受信した場合、患者の状態を確認し、必要に応じて医師の診察を受ける。これにより、患者のバイタルデータが正常範囲外となったことを早期に発見し、処置を行うことが可能となる。

【0068】

制御部１１は、投薬情報が処方情報に適合すると判断した場合、又は、計測値が正常範囲内であると判断した場合（Ｓ７１：ＹＥＳ）、投薬情報又は計測値が適切であることをスタッフ端末２０に通知する（Ｓ７４）。具体的には、制御部１１は、医療機器４０，５０がポンプである場合、ポンプに対する設定内容が処方情報に適合することを通知するメッセージをスタッフ端末２０へ送信し、医療機器４０，５０が計測器である場合、計測器による計測値が正常範囲内であることを通知するメッセージをスタッフ端末２０へ送信する。スタッフ端末２０の制御部２１は、サーバ１０が送信したメッセージを受信して表示部２５に表示することにより、ポンプに対する設定内容（投薬情報）又は計測器による計測値が適切であることを示すメッセージを表示し（Ｓ７５）、一連の処理を終了する。

【0069】

上述した処理により、患者に使用中の医療機器４０，５０をスタッフ端末２０で撮影することにより、医療機器４０，５０の表示画面に表示されている各情報を読み取ることができる。また、医療機器４０，５０がポンプである場合に、スタッフ端末２０によって読み取った表示情報（投薬情報）が電子カルテＤＢ１２ａに登録してある処方情報に適合するか否かを判断できる。また、医療機器４０，５０が計測器である場合に、スタッフ端末２０によって読み取った表示情報（計測値）が正常範囲内であるか否かを判断できる。従来、医療スタッフは、医療機器４０，５０の表示内容を目視で読み取り、適切な内容（正常な内容）であるか否かを判断していたので、読み取りミス又は判断ミス等人為的ミスの抑制が難しかった。しかし、本実施形態では、スタッフ端末２０が撮影画像から表示内容を読み取り、電子カルテＤＢ１２ａの登録内容と照合するので、医療スタッフの業務負荷を軽減できると共に人為的ミスを抑制できる。更に、本実施形態では、医療機器４０，５０の表示画面をスタッフ端末２０で撮影できればよいので、医療スタッフが医療機器４０，５０及び患者に近づく必要がなく、感染症対策も可能である。

【0070】

次に、患者に使用中の医療機器４０，５０の表示情報を、撮影装置３０で撮影した画像から読み取る処理について説明する。図１６は医療機器４０，５０の表示情報の読取処理手順の他の例を示すフローチャート、図１７はアラート画面例を示す説明図である。図１６では左側に撮影装置３０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。

【0071】

撮影装置３０は、定期的に又は撮影対象の医療機器４０，５０の表示内容に変更が生じた場合に、撮影範囲内にある医療機器４０，５０の撮影処理を行う。表示内容に変更が生じた場合に医療機器４０，５０を撮影する場合、例えば撮影装置３０は、撮影処理を常時行い、逐次取得する撮影画像に基づいて、医療機器４０，５０の表示内容に変更が生じたか否かを監視する。また、撮影装置３０は、撮影処理を常時行い、逐次取得する撮影画像に基づいて、患者に対して医療スタッフが何らかの処置を行ったか否かを監視し、何らかの処理が行われた場合に、医療機器４０，５０の撮影処理を行う構成でもよい。更に、撮影装置３０は、サーバ１０から、電子カルテＤＢ１２ａの記憶内容に基づいて医療機器４０，５０の撮影処理の実行指示を受け付けた場合に、医療機器４０，５０の撮影処理を行う構成でもよい。電子カルテＤＢ１２ａの記憶内容に基づく撮影タイミングは、例えば、電子カルテＤＢ１２ａに記憶してある処方情報において、処方内容が更新された場合、又は新たな処方情報が記憶された場合等がある。

【0072】

撮影装置３０の制御部３１は、撮影タイミングが到来したか否かを判断している（Ｓ９１）。制御部３１は、撮影タイミングが到来していないと判断した場合（Ｓ９１：ＮＯ）、到来するまで待機する。制御部３１は、撮影タイミングが到来したと判断した場合（Ｓ９１：ＹＥＳ）、カメラ３３によって、医療機器４０，５０の表示画面を含む医療機器４０，５０全体を撮影する（Ｓ９２）。制御部３１は、カメラ３３で撮影して得られた撮影画像を通信部３２からサーバ１０へ送信する（Ｓ９３）。制御部３１は、ステップＳ９１の処理に戻り、撮影タイミングが到来する都度、医療機器４０，５０の撮影処理を行い、得られた撮影画像をサーバ１０へ送信する。

【0073】

サーバ１０の制御部１１（画像取得部）は、撮影装置３０が送信した撮影画像を受信し、受信した撮影画像に対して、図１３に示す処理においてスタッフ端末２０の制御部２１が実行したステップＳ６３～Ｓ６６と同様の処理を実行する（Ｓ９４～Ｓ９７）。即ち、制御部１１（情報取得部）は、撮影装置３０から受信した医療機器４０，５０の撮影画像から、ＱＲコードを読み取る読取処理を実行し（Ｓ９４）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を読み取る。そして、制御部１１は、撮影画像からＱＲコードを読み取れたか否かを判断し（Ｓ９５）、ＱＲコードを読み取れたと判断した場合（Ｓ９５：ＹＥＳ）、ＱＲコードに紐付けられた機器ＩＤ及び表示情報を取得する（Ｓ９６）。一方、制御部２１は、ＱＲコードを読み取れないと判断した場合（Ｓ９５：ＮＯ）、学習モデル２２Ｍを用いて、第２医療機器５０の撮影画像から機器ＩＤ及び表示情報を取得する（Ｓ９７）。

【0074】

その後、制御部１１は、図１４に示す処理においてサーバ１０の制御部１１が実行したステップＳ７０～Ｓ７１と同様の処理を実行する（Ｓ９８～Ｓ９９）。即ち、制御部１１は、撮影画像から取得した機器ＩＤ及び表示情報を含む投薬情報又は計測値を電子カルテＤＢ１２ａに記憶する（Ｓ９８）。そして、制御部１１は、電子カルテＤＢ１２ａに記憶した投薬情報が処方情報に適合するか否か、又は、計測値が正常範囲内であるか否かを判断する（Ｓ９９）。制御部１１は、投薬情報が処方情報に適合しないと判断した場合、又は、計測値が正常範囲内でないと判断した場合（Ｓ９９：ＮＯ）、例えば図１７Ａ又は図１７Ｂに示すようなアラート画面を生成して出力する（Ｓ１００）。図１７Ａに示す画面は、図１５Ｂに示す画面の構成に加えて、投薬情報（投与速度）が処方情報に適合しないと判断された患者の患者情報（例えば患者ＩＤ）を表示し、図１７Ｂに示す画面は、図１５Ｃに示す画面の構成に加えて、計測値（血糖値）が正常範囲外と判断された患者の患者情報を表示する。なお、制御部１１は、生成したアラート画面を表示部１５に表示してサーバ１０のユーザに通知（警告）する構成でもよく、スタッフ端末２０へ送信して医療スタッフに通知（警告）する構成でもよい。

【0075】

制御部１１は、投薬情報が処方情報に適合すると判断した場合、又は、計測値が正常範囲内であると判断した場合（Ｓ９９：ＹＥＳ）、ステップＳ１００の処理をスキップし、一連の処理を終了する。なお、制御部１１は、投薬情報が処方情報に適合すること、又は、計測値が正常範囲内であることを通知するメッセージを表示部１５に表示、又はスタッフ端末２０へ送信してもよい。上述した処理により、撮影装置３０で撮影した撮影画像に基づいて医療機器４０，５０の表示情報を読み取ることができ、読み取った表示情報が適切であるか否かを判断できる。よって、処方情報に適合しない内容で投薬が行われた場合、又は、患者のバイタルデータが正常範囲外となった場合に、早期に発見し、対応することが可能となる。また、撮影装置３０で撮影した撮影画像に基づいて医療機器４０，５０の表示情報を読み取る場合、医療スタッフが医療機器４０，５０の表示情報を目視で確認する作業又は医療機器４０，５０の表示情報をスタッフ端末２０で撮影する作業を行う必要がない。よって、医療スタッフの業務負荷を軽減できると共に、医療スタッフが医療機器４０，５０及び患者に近づく必要がないので感染症対策も可能となる。

【0076】

本実施形態では、スタッフ端末２０又は撮影装置３０で撮影した撮影画像に基づいて、医療機器４０，５０の表示画面に表示される、時系列で変化する表示情報を読み取ることができる。なお、第１医療機器４０のように機器ＩＤ及び表示情報をコード化したＱＲコードを表示部４５に表示できる医療機器の場合、表示画面に表示されたＱＲコードを読み取ることによって、機器ＩＤと、時系列で変化する表示情報とを取得することができる。また、第２医療機器５０のようにＱＲコードを表示できない医療機器の場合、学習モデル１２Ｍ，２２Ｍを用いることにより、医療機器の撮影画像から医療機器の機器ＩＤ及び表示情報を取得することができる。よって、通信機能が設けられていない医療機器４０，５０であっても、医療機器４０，５０の表示画面に表示されている情報をサーバ１０へ送信することができる。また、第１医療機器４０及び第２医療機器５０が混在して使用されている状況であっても、第１医療機器４０及び第２医療機器５０の両方の表示情報を読み取ることができる。

【0077】

（実施形態２）
上述の実施形態１では、スタッフ端末２０又は撮影装置３０は、１つの医療機器４０，５０を撮影し、得られた撮影画像から当該医療機器４０，５０の表示情報を読み取る構成であった。本実施形態では、スタッフ端末２０又は撮影装置３０は、１回の撮影で複数の医療機器４０，５０を撮影し、得られた撮影画像からそれぞれの医療機器４０，５０の表示情報を読み取る情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様の装置を有するので、各装置の構成についての説明は省略する。

【0078】

図１８は実施形態２における医療機器４０，５０の使用状態を示す説明図である。図１８に示すように、医療現場では、１人の患者に対して複数の医療機器４０，５０が使用されることがあり、第１医療機器４０及び第２医療機器５０が混在して使用される。本実施形態の情報処理システムにおいて、第１医療機器４０は、図９に示す処理と同様の処理の実行が可能である。よって、第１医療機器４０では、計測部４３によって計測されて表示部４５に表示される、時系列で変化する表示情報と、機器ＩＤとから生成されたＱＲコードが表示部４５に表示される。

【0079】

また、本実施形態の情報処理システムにおいて、スタッフ端末２０及びサーバ１０は、図１０及び図１１に示す処理と同様の処理の実行が可能である。よって、患者に対して医療機器４０，５０を使用する際に、スタッフ端末２０を用いて患者ＩＤ、薬剤ＩＤ、医療機器４０，５０の機器ＩＤ及び表示情報を取得してサーバ１０へ送信することにより、サーバ１０において、医療機器４０，５０と患者とを紐付けることができる。なお、医療機器４０，５０と患者とを紐付ける登録処理は、医療機器４０，５０毎に行われてもよく、複数の医療機器４０，５０を１回の撮影処理で撮影した撮影画像に基づいて行われてもよい。

【0080】

図１９は実施形態２の医療機器４０，５０の表示情報の読取処理手順の一例を示すフローチャート、図２０及び図２１はスタッフ端末２０の画面例を示す説明図である。図１９に示す処理は、図１３及び図１４に示す処理において、ステップＳ６７，Ｓ６８の間にステップＳ１１１を追加し、ステップＳ６９～Ｓ７０の代わりにステップＳ１１２～Ｓ１１３を追加したものである。図１３及び図１４と同じステップについては説明を省略する。なお、図１９では図１４中のステップＳ７１～Ｓ７５の図示を省略する。

【0081】

本実施形態のスタッフ端末２０の制御部２１は、図１３中のステップＳ６１～Ｓ６７と同様の処理を行う。これにより、本実施形態においても、スタッフ端末２０は、患者に使用中の医療機器４０，５０を撮影し、得られた撮影画像に基づいて、医療機器４０，５０の機器ＩＤ及び表示情報を取得して表示部２５に表示する。本実施形態では、スタッフ端末２０の制御部２１は、例えば図２０に示すように、ステップＳ６２で撮影した医療機器４０，５０の撮影画像を表示部２５に表示すると共に、撮影画像中の各医療機器４０，５０に対応付けて、ステップＳ６２～Ｓ６６で取得した各医療機器４０，５０の機器ＩＤ及び表示情報を表示する。

【0082】

ステップＳ６７の処理後、制御部２１は、ステップＳ６２で撮影した撮影画像中の全ての医療機器４０，５０に対して機器ＩＤ及び表示情報の読取処理が完了したか否かを判断する（Ｓ１１１）。本実施形態では、制御部２１は、例えば撮影画像の上段から順に医療機器４０，５０の情報を読み取り（走査し）、撮影画像の下段まで読取処理を終了した場合、全ての医療機器４０，５０に対する読取処理が完了したと判断する。全ての医療機器４０，５０に対する読み取り処理を完了していないと判断した場合（Ｓ１１１：ＮＯ）、制御部２１は、ステップＳ６３の処理に戻り、撮影画像中の医療機器４０，５０のうちで、読取処理を行っていない医療機器４０，５０に対して、ステップＳ６３～Ｓ６７の処理を実行する。これにより、図２０に示すように、１つの撮影画像に撮影された複数の医療機器４０，５０に対応付けて、各医療機器４０，５０の機器ＩＤ及び表示情報を表示することができる。図２０に示す画面は、送信ボタンを有しており、医療スタッフは、表示部２５に表示された各医療機器４０，５０の情報が適切であるか否かを判断し、適切である場合に送信ボタンを操作する。

【0083】

撮影画像中の全ての医療機器４０，５０に対する読取処理を完了したと判断した場合（Ｓ１１１：ＹＥＳ）、制御部２１は、図２０に示す画面中の送信ボタンが操作されたか否かを判断する（Ｓ６８）。そして、制御部２１は、送信ボタンが操作されたと判断した場合（Ｓ６８：ＹＥＳ）、図２０に示す画面に表示している各医療機器４０，５０の機器ＩＤ及び表示情報をサーバ１０へ送信する（Ｓ１１２）。サーバ１０の制御部１１は、スタッフ端末２０から各医療機器４０，５０の機器ＩＤ及び表示情報を受信した場合、各医療機器４０，５０について、機器ＩＤ及び表示情報を含む投薬情報又は計測値を電子カルテＤＢ１２ａに記憶する（Ｓ１１３）。

【0084】

その後、制御部１１は、ステップＳ７１以降の処理を実行する。なお、ステップＳ７１で制御部１１は、各医療機器４０，５０について、電子カルテＤＢ１２ａに記憶した投薬情報が処方情報に適合するか否か、及び、計測値が正常範囲内であるか否かを判断する。制御部１１は、１つでも、投薬情報が処方情報に適合しないと判断した場合、又は、計測値が正常範囲内でないと判断した場合（Ｓ７１：ＮＯ）、アラート画面をスタッフ端末２０へ送信する（Ｓ７２）。ここでのアラート画面は、例えば図２１に示すように、複数の医療機器４０，５０を撮影した画像において、投薬情報が処方情報に適合しないポンプ、又は計測値が正常範囲内でないバイタルデータの計測器に対応付けて警告メッセージを表示する。一方、制御部１１は、全ての投薬情報が処方情報に適合すると判断した場合、及び、全ての計測値が正常範囲内であると判断した場合（Ｓ７１：ＹＥＳ）、投薬情報及び計測値が適切であることをスタッフ端末２０に通知する（Ｓ７４）。

【0085】

図２２は実施形態２の医療機器４０，５０の表示情報の読取処理手順の他の例を示すフローチャートである。図２２に示す処理は、図１６に示す処理において、ステップＳ９８，Ｓ９９の間にステップＳ１２１を追加したものである。図１６と同じステップについては説明を省略する。なお、図２２では図１６中のステップＳ９１～Ｓ９２の図示を省略する。

【0086】

本実施形態の撮影装置３０の制御部３１及びサーバ１０の制御部１１は、図１６中のステップＳ９１～Ｓ９８と同様の処理を行う。これにより、本実施形態においても、サーバ１０は、撮影装置３０によって撮影された撮影画像に基づいて、医療機器４０，５０の機器ＩＤ及び表示情報を取得し、取得した機器ＩＤ及び表示情報を含む投薬情報又は計測値を電子カルテＤＢ１２ａに記憶する。ステップＳ９８の処理後、制御部１１は、撮影装置３０から受信した撮影画像中の全ての医療機器４０，５０に対して機器ＩＤ及び表示情報の読取処理が完了したか否かを判断する（Ｓ１２１）。全ての医療機器４０，５０に対する読み取り処理を完了していないと判断した場合（Ｓ１２１：ＮＯ）、制御部１１は、ステップＳ９４の処理に戻り、撮影画像中の医療機器４０，５０のうちで、読取処理を行っていない医療機器４０，５０に対して、ステップＳ９４～Ｓ９８の処理を実行する。

【0087】

撮影画像中の全ての医療機器４０，５０に対する読取処理を完了したと判断した場合（Ｓ１２１：ＹＥＳ）、制御部１１は、ステップＳ９９以降の処理を実行する。なお、ステップＳ９９で制御部１１は、各医療機器４０，５０について、電子カルテＤＢ１２ａに記憶した投薬情報が処方情報に適合するか否か、及び、計測値が正常範囲内であるか否かを判断する。そして、制御部１１は、１つでも、投薬情報が処方情報に適合しないと判断した場合、又は、計測値が正常範囲内でないと判断した場合（Ｓ９９：ＮＯ）、アラート画面を出力する（Ｓ１００）。ここでは、制御部１１は、例えば図２１に示す画面に、患者の情報（例えば患者ＩＤ、患者氏名等）を表示したアラート画面を生成して出力する。

【0088】

上述した処理により、本実施形態では、患者に使用中の複数の医療機器４０，５０を１回の撮影処理で撮影することにより、それぞれの医療機器４０，５０の表示画面に表示されている各情報を読み取ることができる。また、ポンプである医療機器４０，５０については、読み取った表示情報（投薬情報）が処方情報に適合するか否かを判断でき、計測器である医療機器４０，５０については、読み取った表示情報（計測値）が正常範囲内であるか否かを判断できる。

【0089】

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、スタッフ端末２０又は撮影装置３０が１回の撮影処理で複数の医療機器４０，５０を撮影し、得られた撮影画像に基づいて複数の医療機器４０，５０の表示情報を読み取ることができる。よって、例えば１人の患者に複数の医療機器４０，５０が使用されている場合に、効率よく各医療機器４０，５０の表示情報を読み取ることが可能となる。また、本実施形態においても、第１医療機器４０及び第２医療機器５０が混在して使用されている状況であっても、１回の撮影処理によって撮影された画像に基づいて、第１医療機器４０及び第２医療機器５０の両方の表示情報を読み取ることができる。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。

【0090】

上述した実施形態１～２では、医療機器４０，５０の表示画面に表示される投薬情報又は計測値を読み取る構成について説明した。このほかに、例えば第１医療機器４０が、自機器の動作状態を検知し、検知した動作情報を含むＱＲコードを表示部４５に表示するように構成されていてもよい。例えば第１医療機器４０が電源オフ状態となった場合に、電源オフ状態を示す情報を含むＱＲコードを表示部４５に表示してもよく、自機器の動作に関するエラーの発生を検知した場合に、エラーの種別を含むＱＲコードを表示するように構成されていてもよい。この場合、サーバ１０は、スタッフ端末２０又は撮影装置３０で撮影した撮影画像に基づいて、第１医療機器４０の動作状態又はエラー発生を早期に発見できる。なお、第２医療機器５０においても、例えばランプの点灯又は点滅によって動作状態を通知する構成であれば、第２医療機器５０の撮影画像から、ランプの点灯又は点滅状態を検出することができるので、第２医療機器５０の動作状態又はエラー発生を、撮影画像に基づいて検出できる。医療機器４０，５０の動作状態を把握できることにより、患者に対して新たな医療機器４０，５０が追加（使用開始）されたこと、及び、医療機器４０，５０が取り外されたこと（使用終了）を検知することもできる。

【0091】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。更に、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【0092】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0093】

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ スタッフ端末
２１ 制御部
２２ 記憶部
２３ 通信部
２６ カメラ
３０ 撮影装置
３２ 通信部
３３ カメラ
４０ 第１医療機器
４３ 計測部
４５ 表示部
５０ 第２医療機器
５３ 計測部
５５ 表示部
１２ａ 電子カルテＤＢ
１２Ｍ 学習モデル
２２Ｍ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】