特許 7341682 患者監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】患者監視装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20230904BHJP

   A61B 5/00 20060101ALI20230904BHJP

   G16H 80/00 20180101ALI20230904BHJP

【ＦＩ】

A61B5/16 110

A61B5/00 102C

G16H80/00

A61B5/16 120

【請求項の数】 7

(21)【出願番号】P 2019048253

(22)【出願日】2019-03-15

(65)【公開番号】P2020146345

(43)【公開日】2020-09-17

【審査請求日】2022-01-28

【前置審査】

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】寺井 公一

(72)【発明者】

【氏名】柳田 和鋭

(72)【発明者】

【氏名】長尾 貴正

(72)【発明者】

【氏名】平沢 陽介

(72)【発明者】

【氏名】小池 成章

【審査官】外山 未琴

(56)【参考文献】

【文献】特開２０１７－１７６７６２（ＪＰ，Ａ）

【文献】特開２０１９－００４９２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１６

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

顔の画像を顔画像として取得する顔画像取得部と、
前記顔画像を用いて、前記顔画像に対応する受診者を特定する特定部と、
前記顔画像を用いて、前記受診者の感情を推定する推定部と、
病院情報システムから、前記受診者が罹患している疾病名または想定病名を含む診療情報を取得する診療情報取得部と、
前記感情と前記診療情報とに基づいて、前記受診者に関するストレスの程度を示すストレス値を算出するストレス値算出部と、
前記ストレス値が閾値を越えた場合に、前記受診者の情報を通知する通知部と
を具備し、
前記診療情報において、急な病状悪化を招く可能性がある疾病名、或いは想定病名が含まれる場合、
前記推定部は、前記受診者に対して感情の推定を行う頻度を前記受診者とは異なる他の受診者よりも多くする、患者監視装置。

【請求項2】

顔の画像を顔画像として取得する顔画像取得部と、
前記顔画像を用いて、前記顔画像に対応する受診者を特定する特定部と、
前記顔画像を用いて、前記受診者の感情を推定する推定部と、
前記受診者の診療情報を取得する診療情報取得部と、
前記感情と前記診療情報とに基づいて、前記受診者に関するストレスの程度を示すストレス値を算出するストレス値算出部と、
前記ストレス値が閾値を越えた場合に、前記受診者の情報を通知する通知部と
を具備し、
前記診療情報において、急な病状悪化を招く可能性がある疾病名、或いは想定病名が含まれる場合、
前記推定部は、前記受診者に対して感情の推定を行う頻度を前記受診者とは異なる他の受診者よりも多くする、患者監視装置。

【請求項3】

前記受診者について、基準時間を起点とした滞在時間を算出する時間算出部、
を更に具備し、
前記ストレス値算出部は、前記感情と前記診療情報と前記滞在時間とに基づいて、前記ストレス値を算出する、請求項１または請求項２に記載の患者監視装置。

【請求項4】

前記診療情報は、少なくとも前記受診者が罹患している疾病名、或いは想定病名を含み、
前記ストレス値算出部は、前記ストレス値に対する比重を、前記感情よりも前記診療情報が大きくなるように前記ストレス値を算出する、請求項１から請求項３までのいずれか一項に記載の患者監視装置。

【請求項5】

前記受診者について、前記感情の推定が複数回行われた場合、感情の変化度を算出する感情変化度算出部
を更に具備し、
前記ストレス値算出部は、前記感情の変化度と前記診療情報とに基づいて、前記受診者に関するストレスの程度の変化を示す第２のストレス値を算出し、
前記通知部は、前記第２のストレス値が閾値を越えた場合に、前記受診者の情報を通知する、請求項１から請求項４までのいずれか一項に記載の患者監視装置。

【請求項6】

前記受診者の動きの変化を常にモニタリングしている場合、
前記推定部は、前記受診者が特定の動作を行った場合に、即時に感情の推定を行う、請求項１から請求項５までのいずれか一項に記載の患者監視装置。

【請求項7】

前記受診者の移動量を計測した場合、
前記ストレス値算出部は、前記感情と前記診療情報と前記移動量とに基づいて、前記ストレス値を算出する、請求項１から請求項６までのいずれか一項に記載の患者監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、患者監視装置に関する。

【背景技術】

【0002】

医療施設における待ち時間は、受診者にとってストレスとなることが知られている。待ち時間が長い場合、受診者は、体調不良を起こしたり、いらいらを募らせるなどのメンタルヘルスの悪化を引き起こしたりすることがある。このような待ち時間の対策としては、声かけなどの人為的な待ち時間対策や、順番を表示するディスプレイを設置する、診察時間を知らせる端末などの機械的な待ち時間対策などが行われている。

【0003】

例えば、人為的な待ち時間対策に用いられる方法として、病院の待合室にいる患者を識別し、面会すべき患者を医療関係者に示す方法がある。しかし、多くの受診者が待機している医療施設では、急を要しない受診者も多く識別されてしまい、人為的な待ち時間対策を行うことは困難な場合がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－６２１１９号公報

【文献】特開２０１７－７３１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、声かけが必要な受診者を通知することである。

【課題を解決するための手段】

【0006】

実施形態に係る患者監視装置は、顔画像取得部と、特定部と、推定部と、診療情報取得部と、ストレス値算出部と、通知部とを備える。顔画像取得部は、顔の画像を顔画像として取得する。特定部は、顔画像を用いて、顔画像に対応する受診者を特定する。推定部は、顔画像を用いて、受診者の感情を推定する。診療情報取得部は、受診者の診療情報を取得する。ストレス値算出部は、感情と診療情報とに基づいて、受診者に関するストレスの程度を示すストレス値を算出する。通知部は、ストレス値が閾値を越えた場合に、受診者の情報を通知する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る患者監視装置を含む病院情報システムの構成例を示す図。

【図2】図２は、図１の処理回路にて実行される処理を例示するフローチャート。

【図3】図３は、第１の実施形態における撮影装置によって取得されたカメラ画像を例示する図。

【図4】図４は、第１の実施形態におけるカメラ画像から顔画像を抽出する具体例を示す図。

【図5】図５は、第１の実施形態における顔画像から受診者を特定する具体例を示す図。

【図6】図６は、第１の実施形態における顔画像から感情を推定する具体例を示す図。

【図7】図７は、第１の実施形態における滞在時間と感情スコアとの関係を例示するグラフ。

【図8】図８は、第２の実施形態に係る患者監視装置に相当する処理回路の構成例を示す図。

【図9】図９は、図８の処理回路にて実行される処理を例示するフローチャート。

【図10】図１０は、第２の実施形態における滞在時間と感情スコアとの関係を例示するグラフ。

【図11】図１１は、第２の実施形態における滞在時間と感情スコアとの関係を例示するグラフ。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、患者監視装置の実施形態について詳細に説明する。

【0009】

（第１の実施形態）
図１は、第１の実施形態に係る患者監視装置を含む病院情報システムの構成例を示す図である。例えば、図１に示すように、病院情報システム１００は、撮影装置１１０、表示装置１２０およびサーバ１３０を備える。病院情報システム１００は、例えば、電子カルテに関する情報（電子カルテ情報）を管理する電子カルテシステム（図示せず）を含む。撮影装置１１０、表示装置１２０およびサーバ１３０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）へ接続される。ＬＡＮへの接続は、有線および無線のどちらでもよい。尚、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などによりセキュリティが確保されている場合、撮影装置１１０、表示装置１２０およびサーバ１３０は、インターネットなどの公衆の通信回線に接続してもよい。

【0010】

撮影装置１１０は、例えば、医療施設における、出入り口、待合室および廊下などに設置されるカメラに相当する。撮影装置１１０は、例えば、待合室の様子を撮影することによって、動画、或いは静止画のカメラ画像を取得する。撮影装置１１０は、取得したカメラ画像をサーバ１３０などへと出力する。尚、撮影装置１１０は、受付カウンタに配置され、受診者が受付した際に当該受診者の顔画像を取得してもよい。また、撮影装置１１０として、予め医療施設内の各所に設置されている監視カメラなどが流用されてもよい。

【0011】

また、撮影装置１１０は、物体表面の温度を取得可能な赤外線カメラを搭載してもよい。赤外線カメラを搭載した撮影装置１１０は、撮影している範囲の温度分布が可視化可能な温度画像を取得することができる。尚、温度画像は、動画および静止画のどちらでもよい。

【0012】

表示装置１２０は、例えば、医療施設の受付カウンタ内などに設置されるディスプレイに相当する。表示装置１２０は、サーバ１３０からの制御に従って監視画像を表示する。監視画像には、例えば、カメラ画像と、当該カメラ画像から特定された受診者の情報とを含む。ここで、受診者とは、当該医療施設の電子カルテに患者情報が登録されており、受診に関する受付を行った者である。

【0013】

サーバ１３０は、病院情報システム１００を構成するサーバの一つである。サーバ１３０は、通信インタフェース１３１、記憶回路１３２、制御回路１３３および処理回路１３４を備える。通信インタフェース１３１、記憶回路１３２、制御回路１３３および処理回路１３４は、例えば、バスを介して互いに通信可能に接続されている。尚、処理回路１３４は、患者監視装置と呼ばれてもよい。

【0014】

通信インタフェース１３１は、ＬＡＮを介して接続された撮影装置１１０および表示装置１２０との間でデータ通信を行う。例えば、通信インタフェース１３１は、処理回路１３４などの指示により撮影装置１１０から出力されたカメラ画像などを取得する。

【0015】

記憶回路１３２は、種々の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）および集積回路などの記憶装置である。また、記憶回路１３２は、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブおよびフラッシュメモリなどの可搬性記憶媒体との間で種々の情報を読み書きする駆動装置などであってもよい。記憶回路１３２は、オペレーティングシステムなどの制御プログラムおよび各種アプリケーションプログラムならびにこれらのプログラムに付随する各種操作画面の表示データを記憶している。

【0016】

記憶回路１３２は、電子カルテシステムに含まれる電子カルテサーバから取得された電子カルテ情報を記憶する。電子カルテ情報には、各診療日における主訴情報、所見情報、診断情報、及び治療計画情報、並びに、オーダ情報が含まれる。また、電子カルテ情報には、診断された病名、検査結果、検査結果レポート、及び既往歴等が含まれる。尚、本実施形態では、電子カルテ情報には、患者の顔を撮影した画像（患者顔画像）が付帯されるものとする。

【0017】

また、記憶回路１３２は、撮影装置１１０から取得されたカメラ画像などを記憶する。さらに、記憶回路１３２は、受診者の情報や、特定した受診者に関する、顔画像、数値化した感情の項目、滞在時間、診療情報およびストレス値などを記憶してもよい。

【0018】

制御回路１３３は、サーバ１３０の中枢として機能するプロセッサである。制御回路１３３は、記憶回路１３２に記憶されている制御プログラムを実行することで、当該制御プログラムに対応する機能を実現する。例えば、制御回路１３３は、システム制御機能１３３ａ、監視画像生成機能１３３ｂおよび表示制御機能１３３ｃを有する。本実施形態では、単一のプロセッサによってシステム制御機能１３３ａ、監視画像生成機能１３３ｂおよび表示制御機能１３３ｃが実現される場合を説明するが、これに限定されない。例えば、複数の独立したプロセッサを組み合わせて制御回路を構成し、各プロセッサが動作プログラムを実行することによりシステム制御機能１３３ａ、監視画像生成機能１３３ｂおよび表示制御機能１３３ｃを実現してもよい。

【0019】

システム制御機能１３３ａは、撮影装置１１０および表示装置１２０との通信ならびにサーバ１３０自体の動作などの基本動作を制御する機能である。例えば、制御回路１３３は、システム制御機能１３３ａにより、通信インタフェース１３１を介して各種要求を受け付ける。制御回路１３３は、受け付けた各種要求に応じて、各種機能を実行する。

【0020】

監視画像生成機能１３３ｂは、監視画像を生成する機能である。例えば、制御回路１３３は、監視画像生成機能１３３ｂにより、要求された処理に応じた情報を記憶回路１３２から読み出す。記憶回路１３２から読み出される情報は、例えば、カメラ画像および受診者の情報などが含まれる。制御回路１３３は、読み出した情報に基づいて監視画像を生成する。

【0021】

表示制御機能１３３ｃは、生成した監視画像データを表示するように表示装置１２０を制御する機能である。制御回路１３３は、表示制御機能１３３ｃにより、通信インタフェース１３１を介して監視画像を表示装置１２０に表示させる。

【0022】

処理回路１３４は、ハードウェア資源として、図示していないプロセッサと、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭなどのメモリとを有する。処理回路１３４は、顔画像取得機能１３４ａ、受診者特定機能１３４ｂ、滞在時間算出機能１３４ｃ、診療情報取得機能１３４ｄ、感情推定機能１３４ｅ、ストレス値算出機能１３４ｆおよび通知機能１３４ｇを有する。これらの各機能は、コンピュータによって実効可能なプログラムの形態でメモリへ記憶されている。処理回路１３４は、前述の各機能に対応するプログラムをメモリから読み出して実行することで、各プログラムに対応する機能を実現するプロセッサでもよい。換言すると、各プログラムを読み出した状態の処理回路１３４は、前述の各機能などを有する。

【0023】

なお、図１において、単一の処理回路１３４にて前述の各機能が実現するものとして説明したが、複数の独立したプロセッサがプログラムを実行することにより各種機能を実現するものとして構わない。換言すると、前述の各種機能がプログラムとして構成され、一つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。また、処理回路１３４が制御回路１３３の各機能を備えてもよいし、制御回路１３３が処理回路１３４の各機能を備えてもよい。即ち、制御回路１３３および処理回路１３４は、一つの回路で構成されていてもよい。

【0024】

前述の「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））などの回路を意味する。

【0025】

顔画像取得機能１３４ａは、カメラ画像から人物の顔の画像（顔画像）を取得する機能である。処理回路１３４は、顔画像取得機能１３４ａにより、カメラ画像を取得する。そして、処理回路１３４は、既存の顔検出アルゴリズムを用いて、カメラ画像から顔画像を取得する。処理回路１３４は、取得した顔画像を記憶回路１３２へと記憶する。

【0026】

受診者特定機能１３４ｂは、顔画像を用いて、当該顔画像に対応する受診者を特定する機能である。処理回路１３４は、受診者特定機能１３４ｂにより、取得された顔画像と電子カルテ情報に付帯された患者顔画像とに基づいて、取得された顔画像に対応する受診者を特定する。より具体的には、処理回路１３４は、顔画像の特徴点と患者顔画像の特徴点とを比較することによって、受診者を特定する。尚、受付時に受診者の顔画像を取得できる場合、処理回路１３４は、受付時に取得した顔画像に更に基づいて、受診者を特定してもよい。

【0027】

処理回路１３４は、例えば、顔画像と特定した受診者の情報とを対応付けて記憶回路１３２へと記憶する。また、処理回路１３４は、特定した受診者の顔画像を、当該受診者の患者顔画像に対応付けて記憶してもよい。特定した受診者の情報には、例えば、当日の受付順に割り振られる受診者ＩＤおよび受診者名などが含まれる。

【0028】

滞在時間算出機能１３４ｃは、受診者の滞在時間などを算出する機能である。処理回路１３４は、滞在時間算出機能１３４ｃにより、基準時間と、受診者を特定した時刻とに基づいて、受診者の滞在時間を算出する。基準時間は、例えば、受診者が医療施設内で受付をした時刻である。処理回路１３４は、例えば、顔画像と受診者の滞在時間とを対応付けて記憶回路１３２へと記憶する。

【0029】

規模の大きな病院の場合には、受付と待合室とが離れた場所に位置していることがある。このとき、処理回路１３４は、滞在時間算出機能１３４ｃにより、待合室内における受診者の待機時間をさらに算出してもよい。待合室内における待機時間を算出する場合には、処理回路１３４は、待合室において最初に受診者を特定した時刻を基準時間として待機時間を算出する。尚、処理回路１３４は、滞在時間に代えて待機時間を算出してもよい。

【0030】

また、受診者が受付をした後に外出をした場合には、算出された時間に外出時間が含まれる。そのため、処理回路１３４は、滞在時間算出機能１３４ｃにより、受診者の外出時間をさらに算出してもよい。例えば、処理回路１３４は、出入り口に設置されたカメラにて受診者が特定された時刻から外出時間を算出してもよいし、医療施設内のカメラで一定時間以上受診者が特定されなかった時間を外出時間として算出してもよい。このとき、処理回路１３４は、医療施設内での滞在時間を求めるために、受付した時刻を基準として算出された時間から外出時間を除いた時間を滞在時間として算出する。

【0031】

診療情報取得機能１３４ｄは、受診者の診療情報を取得する機能である。処理回路１３４は、診療情報取得機能１３４ｄにより、受診者の電子カルテ情報から、罹患している疾病名、或いは想定病名などの診療情報を取得する。疾病名および想定病名には、例えば、大動脈瘤、狭心症、心不全および慢性閉塞性肺疾患（Ｃｈｒｏｎｉｃ Ｏｂｓｔｒｕｃｔｉｖｅ Ｐｕｌｍｏｎａｒｙ Ｄｉｓｅａｓｅ：ＣＯＰＤ）などがある。処理回路１３４は、例えば、受診者の情報と診療情報とを対応付けて記憶回路１３２へと記憶する。

【0032】

また、診療情報は、受診者の日常的な健康情報を含んでもよい。健康情報は、例えば、血圧、体温、心拍数および心電図などが含まれる。健康情報は、例えば、スマートフォンやスマートウォッチなどの携帯端末から取得される。

【0033】

感情推定機能１３４ｅは、受診者の顔画像を用いて、当該受診者の感情を推定する機能である。処理回路１３４は、感情推定機能１３４ｅにより、既存の感情推定アルゴリズムを用いて、顔画像が示す様々な感情を感情スコアとして数値化する。感情には、例えば、「怒り」、「軽蔑」、「嫌悪感」、「恐怖」、「喜び」、「中立」、「悲しみ」および「驚き」の項目がある。処理回路１３４は、例えば、複数の項目の感情スコアの合計値が「１」となるように各項目の感情スコアを推定する。処理回路１３４は、例えば、顔画像と各項目の感情スコアとを対応付けて記憶回路１３２へと記憶する。

【0034】

また、処理回路１３４は、感情推定機能１３４ｅにより、ある受診者について感情の推定が複数回行われた場合、滞在時間と感情スコアとの関係を示すグラフを生成してもよい。監視者は、例えば、グラフを参照することによって、受診者の感情スコアの推移、即ち経時的な感情の変化を観察することができる。

【0035】

ストレス値算出機能１３４ｆは、少なくとも推定された感情と診療情報とに基づいて、受診者に関するストレスの程度を示すストレス値を算出する機能である。処理回路１３４は、ストレス値算出機能１３４ｆにより、推定された感情と滞在時間と診療情報とのそれぞれに割り当てられた数値を全て掛け合わせた値をストレス値として算出する。尚、受診者の移動量を計測した場合、処理回路１３４は、推定された感情と診療情報と移動量とに基づいて、ストレス値を算出してもよい。

【0036】

処理回路１３４は、例えば、特定した受診者の情報とストレス値とを対応付けて記憶回路１３２へと記憶する。尚、以降では、感情を数値化した値（感情スコア）を「感情の変数」とよび、滞在時間を数値化した値を「滞在時間の変数」とよび、診療情報を数値化した値を「診療情報の変数」とよぶ。また、待機時間を数値化した値を「待機時間の変数」とよぶ。

【0037】

通知機能１３４ｇは、ストレス値が閾値を越えた受診者の情報を通知する機能である。処理回路１３４は、通知機能１３４ｇにより、表示装置１２０に対してストレス値が閾値を越えた受診者を特定し易いように通知する。処理回路１３４は、例えば、監視画像が表示されている表示装置１２０において、通知すべき受診者の情報をメッセージなどに表示して通知する。または、処理回路１３４は、医療会計端末などの受付カウンタに設置された別の端末装置において、通知すべき受診者の情報をメッセージなどに表示して通知する。

【0038】

図２は、図１の処理回路にて実行される処理を例示するフローチャートである。図２の処理は、例えば、受付業務が開始されたことを契機として、処理回路１３４が患者を監視するための処理に関するプログラムを実行することにより開始される。また、以下では、図３から図７を参照し、フローチャートの説明が行われる。

【0039】

（ステップＳＴ２０１）
処理回路１３４は、顔画像取得機能１３４ａにより、カメラ画像を取得する。

【0040】

図３は、第１の実施形態における撮影装置によって取得されたカメラ画像を例示する図である。カメラ画像３００は、病院の待合室内を撮影した画像である。カメラ画像３００には、人物３０１、人物３０２、人物３０３および人物３０４が写っている。人物３０１および人物３０２は、長椅子に座っている状態である。人物３０３は、受付カウンタ内に座っている状態である。人物３０４は、立っている状態である。尚、受診者は、人物３０１および人物３０２である。

【0041】

（ステップＳＴ２０２）
処理回路１３４は、顔画像取得機能１３４ａにより、カメラ画像から人物の顔を検出することによって顔画像を取得する。

【0042】

図４は、第１の実施形態におけるカメラ画像から顔画像を取得する具体例を示す図である。図４に示すように、カメラ画像３００に写っている各人物の顔が顔画像として抽出されている。具体的には、顔画像４０１は、人物３０１の顔部分を切り出している。同様に、顔画像４０２は人物３０２の顔部分、顔画像４０３は人物３０３の顔部分および顔画像４０４は人物３０４の顔部分をそれぞれ切り出している。

【0043】

（ステップＳＴ２０３）
処理回路１３４は、受診者特定機能１３４ｂにより、顔画像から受診者を特定する。

【0044】

図５は、第１の実施形態における顔画像から受診者を特定する具体例を示す図である。図５に示すように、人物情報が、抽出された顔画像に対応付けられている。前述の監視画像は、例えば、図５に示されるような、カメラ画像と受診者の情報（人物情報）とが対応付けられた画像に相当する。具体的には、顔画像４０１は、人物情報５０１が対応付けられている。顔画像４０２は、人物情報５０２が対応付けられている。顔画像４０３は、人物情報５０３が対応付けられている。顔画像４０４は、人物情報５０４が対応付けられている。尚、人物情報には、前述した「受診者の情報」が含まれる。また、人物情報は、「受診者ではない人物の情報」を含んでもよい。例えば、「受診者ではない人物」は、医師、看護師、医療スタッフおよび出入りの業者などの病院関係者や、受診者の付き添い人などである。

【0045】

人物情報には、例えば、受診者ＩＤおよび受診者名が含まれる。例えば、人物情報５０１には、「受診者ＩＤ：０００１」および「受診者名：観音花子」が含まれる。人物情報５０２には、「受診者ＩＤ：０００２」および「受診者名：山田太郎」が含まれる。

【0046】

人物情報５０３および人物情報５０４には、「受診者ＩＤ：ｕｎｋｎｏｗｎ」および「受診者名：ｕｎｋｎｏｗｎ」が含まれる。人物情報に「受診者ＩＤ：ｕｎｋｎｏｗｎ」および「受診者名：ｕｎｋｎｏｗｎ」が含まれる場合、その人物情報が対応付けられた顔画像の人物は、受診者では無い人物を示している。

【0047】

なお、処理回路１３４は、受診者を特定した際、既に受診を終えていることが判っていれば、当該受診者についてステップＳＴ２０４以降の処理を省略してもよい。例えば、処理回路１３４は、受診者のカルテ内容が確定したことを契機として、受診を終えていると判定してもよい。また、処理回路１３４は、受診者ではない人物に対しては、ステップＳＴ２０４以降の処理を省略してもよい。

【0048】

また、処理回路１３４は、受診者を特定した際、条件に当てはまる受診者についてのみステップ２０４以降の処理を実行してもよい。上記条件とは、例えば、高齢者、妊婦、および問診票の記入内容（主訴）から重篤な状態が起こり得そうな場合などである。

【0049】

（ステップＳＴ２０４）
処理回路１３４は、滞在時間算出機能１３４ｃにより、受診者の滞在時間を算出する。具体的には、処理回路１３４は、ある受診者が医療施設内で受付をした時刻（受付時刻）と、当該受診者を特定した時刻（特定時刻）との差から、当該受診者の滞在時間を算出する。尚、インターネットでの受付など、医療施設の受付では受付をしていない場合、処理回路１３４は、最初の特定時刻を受付時刻として滞在時間を算出してもよい。また、待合室内での待機時間を算出させたい場合、処理回路１３４は、待合室において最初に特定した時刻を受付時刻として待機時間を算出してもよい。

【0050】

（ステップＳＴ２０５）
処理回路１３４は、診療情報取得機能１３４ｄにより、受診者の診療情報を取得する。具体的には、処理回路１３４は、受診者の電子カルテ情報から、少なくとも現在罹患している疾病名、或いは想定病名などの診療情報を取得する。尚、診療情報は、受診者が特定された際、例えばステップＳＴ２０３において取得されてもよい。

【0051】

（ステップＳＴ２０６）
処理回路１３４は、感情推定機能１３４ｅにより、受診者の顔画像から感情を推定する。

【0052】

図６は、第１の実施形態における顔画像から感情を推定する具体例を示す図である。図６に示すように、顔画像６００には、人物３０１の顔部分が切り出されている。処理回路１３４は、顔画像６００のうちの検出範囲６０１において、感情を推定する。検出範囲６０１で推定された感情は、感情スコア一覧６０２として出力される。

【0053】

感情スコア一覧６０２は、感情の項目別に感情スコアが付帯されている。具体的には、感情スコア一覧６０２は、例えば「怒り ０．０９５５７」「軽蔑 ０．００３９２」「嫌悪感 ０．６８４７６」「恐怖 ０．０００００」「喜び ０．０００００」「中立 ０．００２１５」「悲しみ ０．２１３５９」「驚き ０．００００１」が含まれる。

【0054】

図７は、第１の実施形態における滞在時間と感情スコアとの関係を例示するグラフである。ある受診者について感情の推定が複数回行われた場合、処理回路１３４は、図７に示すグラフ群７００を生成してもよい。グラフ群７００は、第１のグラフ７０１、第２のグラフ７０２、第３のグラフ７０３および第４のグラフ７０４を含む。

【0055】

第１のグラフ７０１には、「中立」の項目の感情スコアが経時的に示される。第２のグラフ７０２には、「悲しみ」の項目の感情スコアが経時的に示される。第３のグラフ７０３には、「恐怖」の項目の感情スコアが経時的に示される。第４のグラフ７０４には、「嫌悪感」の項目の感情スコアが経時的に示される。

【0056】

なお、グラフ群７００には、独立したグラフとして表示されていない項目（非表示項目）が複数存在する。これらの非表示項目は、例えば、感情スコアの値がゼロの項目、或いは感情スコアの値がほぼゼロに近い項目を示している。

【0057】

（ステップＳＴ２０７）
処理回路１３４は、ストレス値算出機能１３４ｆにより、感情と滞在時間と診療情報とに基づいてストレス値を算出する。具体的には、処理回路１３４は、感情の変数と滞在時間の変数と診療情報の変数とを乗算することによってストレス値を算出する。または、処理回路１３４は、上記複数の変数を加算することによってストレス値を算出してもよい。即ち、処理回路１３４は、上記複数の変数を用いれば、どのような方法でストレス値を算出してもよい。尚、ストレス値の算出は、少なくとも感情および診療情報が含まれていればよい。また、ストレス値の算出において、滞在時間の変数に代えて待機時間の変数が用いられてもよい。

【0058】

ストレス値を算出するための感情には、例えば、負の感情が用いられる。負の感情は、例えば、「怒り」「嫌悪感」および「恐怖」である。感情の変数は、例えば負の感情の感情スコアの合計が用いられる。または、感情の変数は、１から負の感情の感情スコアの合計を引いた数、或いは正の感情の感情スコアの合計が用いられてもよい。即ち、感情の変数は、感情スコアを用いたものであればよい。

【0059】

滞在時間の変数は、時間長に応じた値が設定されてよい。または、滞在時間の変数は、ある時間長（例えば３０分）を越えた場合、さらに所定の係数を乗算してもよい。尚、待機時間の変数についても、上記内容と同様である。

【0060】

診療情報の変数は、疾病に応じて医療機関が任意に設定してよい。例えば、診療情報の変数は、疾病に応じて１から５（または１０）までが設定される。また例えば、診療情報の変数は、他の変数（例えば感情の変数）に比べて、算出されるストレス値に対する比重を大きくしてもよい。具体的には、診療情報の変数は、例えば、（１）慢性的な痛みを伴う疾患に罹患している場合と、（２）急な病状悪化を招く可能性がある疾患に罹患している場合となどによって、以下のように設定されてもよい。

【0061】

（１）慢性的な痛みを伴う疾患に罹患している場合
慢性的な痛みを伴う疾患では、顔の表情が優れていなくても、或いは滞在時間が長くなっていてもストレス値が小さく算出されてよい。慢性的な痛みを伴う疾患の場合、診療情報の変数は、設定可能な値の範囲のうちの相対的に小さい値、平均値よりも小さい値、或いは１よりも小さい値に設定されてもよい。慢性的な痛みを伴う疾患では、顔の表情が優れていなくても、滞在時間が長いことによるいらいらや、急な体調悪化ではない可能性がある。

【0062】

（２）急な病状悪化を招く可能性がある疾患に罹患している場合
大動脈瘤、狭心症、心不全およびＣＯＰＤなどの疾患は、突然に、かつ重大な病状の悪化を招く可能性がある。これらの疾患の場合、診療情報の変数は、設定可能な値の範囲のうちの相対的に大きい値、或いは平均値よりも高い値に設定されてもよい。これらの疾患に罹患している受診者のストレス値が閾値を越えた場合、当該受診者は、医療施設での滞在期間中に、重大な病状の悪化が発生した可能性がある。

【0063】

（ステップＳＴ２０８）
ストレス値が閾値を越えた場合（ステップＳＴ２０８：ＹＥＳ）、処理はステップＳＴ２０９へと進む。ストレス値が閾値を越えていない場合（ステップＳＴ２０８：ＮＯ）、処理はステップＳＴ２１０へと進む。尚、閾値は、医療機関が任意に設定してよい。

【0064】

（ステップＳＴ２０９）
処理回路１３４は、通知機能１３４ｇにより、受診者の情報を通知する。具体的には、処理回路１３４は、監視画像が表示されている表示装置１２０において、受診者の情報を通知する。

【0065】

（ステップＳＴ２１０）
処理が終了していない場合、所定の時間が経過した後、処理はステップＳＴ２０１へと戻る。処理の終了は、例えば、受付業務が終了し、最後の受診者のカルテ内容が確定した時点である。

【0066】

図２のフローチャートでは、顔画像から受診者を特定した後に感情を推定したが、これに限らず、顔画像から感情を推定した後に受診者を特定してもよい。具体的には、ステップＳＴ２０２の処理の直後に、ステップＳＴ２０６の処理が行われてもよい。また、ステップＳＴ２０４の処理の直前に、ステップＳＴ２０５の処理が行われてもよい。

【0067】

以上の一連の処理は、リアルタイムで行われることが望ましい。即ち、処理回路１３４は、カメラ画像に対してリアルタイムで処理を行い、ストレス値が閾値を越えた受診者を、声かけが必要な受診者としてリアルタイムに通知する。尚、処理回路１３４は、ステップＳＴ２０３以降の処理について、複数の受診者毎にそれぞれ並列に処理を行ってもよい。

【0068】

リアルタイムで処理を行うことが困難な場合、処理回路１３４は、処理を行う間隔を制限してもよい。例えば、処理回路１３４は、カメラ画像に対する処理を、１分間隔で行う。このとき、ステップＳＴ２１０において、所定の時間は１分となる。

【0069】

また、処理回路１３４は、特定の受診者に対して処理を行う頻度を変えてもよい。具体的には、処理回路１３４は、ある受診者の診療情報において、急な病状悪化を招く可能性がある疾病名、或いは想定病名が含まれる場合、当該受診者を追跡し、感情の推定を行う頻度を他の受診者よりも多くしてもよい。または、処理回路１３４は、カメラ画像中の動きの変化を常にモニタリングし、特定の動作を行った受診者に対して即時に処理を行ってもよい。特定の動作とは、例えば、手で胸を押さえる動作や手で頭をおさえる動作など、様態の悪化を示すような動作である。

【0070】

以上説明したように第１の実施形態によれば、患者監視装置は、顔の画像を顔画像として取得し、顔画像を用いて、顔画像に対応する受診者を特定し、顔画像を用いて、受診者の感情を推定し、受診者の診療情報を取得する。そして、患者監視装置は、感情と診療情報とに基づいて、受診者に関するストレスの程度を示すストレス値を算出し、ストレス値が閾値を越えた場合に、受診者の情報を通知する。

【0071】

従って、患者監視装置は、受診者の診療情報を考慮することによって、人為的な待ち時間対策が必要の無い受診者を多く検出してしまうことを防ぐことができる。よって、患者監視装置は、声かけが必要な受診者を通知することができる。

【0072】

また、第１の実施形態によれば、患者監視装置は、受診者について、基準時間を起点とした滞在時間を算出し、感情と診療情報と滞在時間とに基づいて、ストレス値を算出する。よって、患者監視装置は、さらに滞在時間に基づいて受診者のストレス値を算出することができる。

【0073】

また、第１の実施形態によれば、患者監視装置は、診療情報が、少なくとも受診者が罹患している疾病名、或いは想定病名を含み、ストレス値に対する比重を、感情よりも診療情報が大きくなるようにストレス値を算出する。よって、患者監視装置は、診療情報の比重を大きくして受診者のストレス値を算出することができる。

【0074】

また、第１の実施形態によれば、患者監視装置は、診療情報において、急な病状悪化を招く可能性がある疾病名、或いは想定病名が含まれる場合、受診者に対して感情の推定を行う頻度を他の受診者よりも多くする。よって、患者監視装置は、特定の受診者に対して常に動向を監視することができる。

【0075】

また、第１の実施形態によれば、患者監視装置は、受診者の動きの変化を常にモニタリングしている場合、受診者が特定の動作を行った場合に、即時に感情の推定を行う。よって、患者監視装置は、病状の悪化に関連する可能性のある特定の動作に対して、監視を強化することができる。

【0076】

また、第１の実施形態によれば、患者監視装置は、受診者の移動量を計測した場合、感情と診療情報と移動量とに基づいて、ストレス値を算出する。よって、患者監視装置は、受診者が必要以上に動き回っている場合に、当該受診者に対して、他の患者よりもストレス値を大きくすることができる。

【0077】

（第２の実施形態）
図８は、第２の実施形態に係る患者監視装置に相当する処理回路の構成例を示す図である。第２の実施形態に係る患者監視装置は、更に感情変化度を算出する点において、第１の実施形態に係る患者監視装置とは異なる。

【0078】

図８に示す処理回路８００は、図１の処理回路１３４を置き換えたものである。処理回路８００は、顔画像取得機能８００ａ、受診者特定機能８００ｂ、滞在時間算出機能８００ｃ、診療情報取得機能８００ｄ、感情推定機能８００ｅ、感情変化度算出機能８００ｆ、ストレス値算出機能８００ｇおよび通知機能８００ｈを有する。尚、顔画像取得機能８００ａ、受診者特定機能８００ｂ、滞在時間算出機能８００ｃ、診療情報取得機能８００ｄ、感情推定機能８００ｅおよび通知機能８００ｈは、顔画像取得機能１３４ａ、受診者特定機能１３４ｂ、滞在時間算出機能１３４ｃ、診療情報取得機能１３４ｄ、感情推定機能１３４ｅおよび通知機能１３４ｇと同様であるため説明を省略する。

【0079】

感情変化度算出機能８００ｆは、ある受診者について、感情の推定が複数回行われた場合、感情の変化度（感情変化度）を算出する機能である。感情変化度は、例えば、負の感情の感情スコアに注目している場合、感情スコアが増加しているグラフの傾きの値が用いられる。尚、感情変化度は、グラフの傾きが閾値を越えた場合に、所定の係数を設定するようにしてもよい。

【0080】

処理回路８００は、感情変化度算出機能８００ｆにより、異なる二つの滞在時間における感情スコアの変化から感情変化度を算出する。異なる二つの滞在時間は、一方が最新の特定した時刻に基づく滞在時間であれば、他方は他の何れの時刻に基づく滞在時間であればよい。具体的には、図７に示すように、一方の滞在時間がｔ４であれば、他方の滞在時間は、ｔ１からｔ３までの何れを用いてもよい。

【0081】

ストレス値算出機能８００ｇは、ストレス値算出機能１３４ｆの機能に加えて、少なくとも感情変化度と診療情報とに基づいて、受診者に関するストレスの程度の変化を示すストレス値（第２のストレス値）を算出する機能である。処理回路８００は、ストレス値算出機能８００ｇにより、算出された感情変化度と滞在時間と診療情報とのそれぞれに割り当てられた変数を全て掛け合わせた値をストレス値として算出する。

【0082】

図９は、図８の処理回路にて実行される処理を例示するフローチャートである。図９の処理は、例えば、受付業務が開始されたことを契機として、処理回路８００が患者を監視するための処理に関するプログラムを実行することにより開始される。尚、ステップＳＴ９０１からステップＳＴ９０６までと、ステップＳＴ９０９からステップＳＴ９１１までとは、それぞれステップＳＴ２０１からステップＳＴ２０６までと、ステップＳＴ２０８からステップＳＴ２１０までと同様のため説明を省略する。

【0083】

（ステップＳＴ９０７）
処理回路８００は、感情変化度算出機能８００ｆにより、感情の変化度を算出する。具体的には、処理回路８００は、ある受診者について、負の感情の感情スコアが増加しているグラフの傾きの値を算出する。

【0084】

図１０は、第２の実施形態における滞在時間と感情スコアとの関係を例示するグラフである。ある受診者についての感情の推定が複数回行われた場合、処理回路８００は、図１０に示すグラフ群１０００を生成してもよい。グラフ群１０００は、第１のグラフ１００１、第２のグラフ１００２および第３のグラフ１００３を含む。

【0085】

第１のグラフ１００１には、「嫌悪感」の項目の感情スコアが経時的に示される。第２のグラフ１００２には、「中立」の項目の感情スコアが経時的に示される。第３のグラフ１００３には、「恐怖」の項目の感情スコアが経時的に示される。

【0086】

グラフ群１０００は、異なる滞在時間における負の感情の感情スコアの変化が少ない。よって、グラフの傾きの値は小さく算出される。

【0087】

図１１は、第２の実施形態における滞在時間と感情スコアとの関係を例示するグラフである。ある受診者についての感情の推定が複数回行われた場合、処理回路８００は、図１０に示すグラフ群１１００を生成してもよい。グラフ群１１００は、第１のグラフ１１０１、第２のグラフ１１０２、第３のグラフ１１０３および第４のグラフ１１０４を含む。

【0088】

第１のグラフ１１０１には、「中立」の項目の感情スコアが経時的に示される。第２のグラフ１１０２には、「悲しみ」の項目の感情スコアが経時的に示される。第３のグラフ１１０３には、「嫌悪感」の項目の感情スコアが経時的に示される。第４のグラフ１１０４には、「恐怖」の項目の感情スコアが経時的に示される。

【0089】

グラフ群１１００は、異なる滞在時間における負の感情の感情スコアの変化が大きい。具体的には、第４のグラフ１１０４において、滞在時間ｔ２における感情スコアと、滞在時間ｔ４における感情スコアとから算出されるグラフの傾きの値は、図１０のどのグラフの傾きの値よりも大きくなっている。第４のグラフ１１０４のような感情スコアの推移をしている場合、受診者は、医療施設での滞在中に、病状が急激に悪化した可能性がある。

【0090】

（ステップＳＴ９０８）
処理回路８００は、ストレス値算出機能８００ｇにより、感情変化度と滞在時間と診療情報とに基づいてストレス値を算出する。具体的には、処理回路８００は、感情変化度と滞在時間の変数と診療情報の変数とを乗算することによってストレス値（第２のストレス値）を算出する。または、処理回路８００は、上記複数の変数などを加算することによってストレス値を算出してもよい。即ち、処理回路８００は、上記複数の変数などを用いれば、どのような方法でストレス値を算出してもよい。尚、ストレス値の算出は、少なくとも感情変化度および診療情報が含まれていればよい。

【0091】

以上説明したように第２の実施形態によれば、患者監視装置は、顔の画像を顔画像として取得し、顔画像を用いて、顔画像に対応する受診者を特定し、顔画像を用いて、受診者の感情を推定し、受診者の診療情報を取得する。そして、患者監視装置は、感情と診療情報とに基づいて、受診者に関するストレスの程度を示すストレス値を算出し、ストレス値が閾値を越えた場合に、受診者の情報を通知する。

【0092】

さらに、第２の実施形態によれば、患者監視装置は、受診者について感情の推定が複数回行われた場合、感情の変化度を算出し、感情の変化度と診療情報とに基づいて、受診者に関するストレスの程度の変化を示す第２のストレス値を算出し、第２のストレス値が閾値を越えた場合に、受診者の情報を通知する。よって、患者監視装置は、ある時点の情報だけでなく、ある期間の情報にも基づいて、受診者の第２のストレス値を算出することができる。

【0093】

以上説明した少なくとも一つの実施形態によれば、声かけが必要な受診者を通知することができる。

【0094】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0095】

１００ 病院情報システム
３００ カメラ画像
３０１，３０２，３０３，３０４ 人物
４０１，４０２，４０３，４０４，６００ 顔画像
５０１，５０２，５０３，５０４ 人物情報
６０１ 検出範囲
６０２ 感情スコア一覧
７００，１０００，１１００ グラフ群
７０１，１００１，１１０１・・・第１のグラフ
７０２，１００２，１１０２・・・第２のグラフ
７０３，１００３，１１０３・・・第３のグラフ
７０４，１１０４・・・第４のグラフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】