特許 6697622 映像記録システム、映像記録方法及び映像記録プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6697622

(24)【登録日】2020年4月28日

(45)【発行日】2020年5月20日

(54)【発明の名称】映像記録システム、映像記録方法及び映像記録プログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20200511BHJP

【ＦＩ】

   A61B5/00 102C

   A61B5/00ZDM

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2019-193726(P2019-193726)

(22)【出願日】2019年10月24日

【審査請求日】2019年10月24日

【早期審査対象出願】

(73)【特許権者】

【識別番号】503248662

【氏名又は名称】セコム医療システム株式会社

(74)【代理人】

【識別番号】100088580

【弁理士】

【氏名又は名称】秋山 敦

(74)【代理人】

【識別番号】100195453

【弁理士】

【氏名又は名称】福士 智恵子

(74)【代理人】

【識別番号】100205501

【弁理士】

【氏名又は名称】角渕 由英

(72)【発明者】

【氏名】佐々木 康志

(72)【発明者】

【氏名】野口 邦晴

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 特開２０１８−０７８９６５（ＪＰ，Ａ）

【文献】 特開２０１３−１６７９９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００−５／２２

(57)【特許請求の範囲】

【請求項1】

患者の生体情報を測定する測定器から取得した前記生体情報を送信する患者用端末と、
該患者用端末と通信回線により接続され、前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバと、を備える映像記録システムであって、
前記患者用端末又は前記管理サーバは、前記生体情報の異常を判定する判定部を有し、
前記患者用端末は、
前記患者の様子を映像情報として記録する映像記録手段と、
前記患者の様子を音声情報として記録する音声記録手段と、
前記判定部が前記生体情報に異常があると判定した場合、前記映像記録手段及び前記音声記録手段により、異常が発生した異常発生時点から第一記録時間経過するまで、前記映像情報及び前記音声情報を記録する記録部と、
前記映像情報及び前記音声情報と、前記映像情報及び前記音声情報と前記生体情報とを同期させるタイムスタンプと、を前記管理サーバに送信する第一通信部と、を備え、
前記管理サーバは、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する記憶部を備え、
前記患者用端末の前記記録部は、前記映像記録手段及び前記音声記録手段により前記映像情報及び前記音声情報を連続的に記録しており、前記判定部が前記生体情報に異常があると判定した場合、前記異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存し、
前記第一通信部は、前記第二記録時間前から前記異常発生時点まで記憶した前記映像情報及び前記音声情報を前記タイムスタンプと共に前記管理サーバに送信し、
前記管理サーバの前記記憶部は、前記患者用端末から前記通信回線を介して受信した前記第二記録時間前から前記異常発生時点まで記録した前記映像情報、前記音声情報及び前記タイムスタンプを記憶することを特徴とする映像記録システム。

【請求項2】

前記第一記録時間及び前記第二記録時間は、前記生体情報の異常の種類により設定されていることを特徴とする請求項１に記載の映像記録システム。

【請求項3】

前記患者用端末の前記映像記録手段は、画角が異なる複数のカメラから構成されることを特徴とする請求項１又は２に記載の映像記録システム。

【請求項4】

前記管理サーバ及び前記患者用端末と通信を介して接続する医療従事者用端末をさらに備え、
前記管理サーバは、
前記医療従事者用端末から前記通信を介して再生要求を受信した場合に、前記再生要求に基づいて、前記記憶部に記憶された前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを検索する制御部と、
前記制御部が検索した結果である前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを前記医療従事者用端末に送信する第二通信部と、を備え、
前記医療従事者用端末は、
前記管理サーバから前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを受信する第三通信部と、
前記管理サーバから受信した前記生体情報と前記映像情報とを前記タイムスタンプにより同期させて表示する表示部と、
前記管理サーバから受信した前記音声情報を、前記表示部に表示される前記生体情報と前記タイムスタンプにより同期させて出力する音声出力部と、を備える、ことを特徴とする請求項１から３のいずれか一項に記載の映像記録システム。

【請求項5】

前記再生要求は、医療従事者が再生を希望する再生時刻であることを特徴とする請求項４に記載の映像記録システム。

【請求項6】

前記再生要求は、過去に発生した生体情報の異常の履歴から医療従事者により選択された特定の記録であり、
前記管理サーバの前記制御部は、前記選択された特定の記録の異常発生時点の時刻に基づいて、前記記憶部に記憶された前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを検索することを特徴とする請求項４に記載の映像記録システム。

【請求項7】

患者の生体情報を測定する測定器から取得した前記生体情報を送信し、前記患者の様子を映像情報として記録する映像記録手段と、前記患者の様子を音声情報として記録する音声記録手段とを有する患者用端末と、該患者用端末と通信回線により接続され前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバとを用いた映像記録方法であって、
前記患者用端末又は前記管理サーバが、前記生体情報の異常を判定する異常判定ステップと、
前記患者用端末が、前記映像情報及び前記音声情報を連続的に記録し、前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合、異常が発生した異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存する異常発生前情報記録ステップと、
前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合に、前記患者用端末の前記映像記録手段及び前記音声記録手段により、前記異常発生時点から第一記録時間経過するまで前記映像情報及び前記音声情報を記録する異常発生後情報記録ステップと、
前記患者用端末が、記録した前記映像情報及び前記音声情報と、前記生体情報と前記映像情報及び前記音声情報とを同期させるタイムスタンプとを前記管理サーバに送信する情報送信ステップと、
前記管理サーバが、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する情報記憶ステップと、
を含むことを特徴とする映像記録方法。

【請求項8】

患者の生体情報を測定する測定器から取得した前記生体情報を送信し、前記患者の様子を映像情報として記録する映像記録手段と、前記患者の様子を音声情報として記録する音声記録手段とを有する患者用端末と、該患者用端末と通信回線により接続され前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバとによって、プログラムとして実行される映像記録プログラムであって、
前記患者用端末又は前記管理サーバが、前記生体情報の異常を判定する異常判定ステップと、
前記患者用端末が、前記映像情報及び前記音声情報を連続的に記録し、前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合、異常が発生した異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存する異常発生前情報記録ステップと、
前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合に、前記患者用端末の前記映像記録手段及び前記音声記録手段により、前記異常発生時点から第一記録時間経過するまで前記映像情報及び前記音声情報を記録する異常発生後情報記録ステップと、
前記患者用端末が、記録した前記映像情報及び前記音声情報と、前記生体情報と前記映像情報及び前記音声情報とを同期させるタイムスタンプとを前記管理サーバに送信する情報送信ステップと、
前記管理サーバが、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する情報記憶ステップと、を含むことを特徴とする映像記録プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像記録システム、映像記録方法及び映像記録プログラムに係り、特に、診療のために患者の様子を映像情報及び音声情報として記録する映像記録システム、映像記録方法及び映像記録プログラムに関する。

【背景技術】

【0002】

近年、医療分野において、通信機器等を用いた遠隔診療の分野の実用化が図られてきている。遠隔診療とは、医師や看護師等の医療従事者が、物理的に距離の離れた場所（ここでは遠隔診療センターと呼ぶ）から、医療従事者用端末を用いて患者の状態を観察、検査、診断を行うことをいう。また、遠隔診療には、医療従事者と患者とが端末の画面を通じて、対面しながら双方向コミュニケーションにより実施される問診も含まれる。

【0003】

一般的に対面による双方向のコミュニケーションではＴＶ電話システム（ビデオ通話システムとも呼ばれる）が使われる。しかしながら、在宅医療患者のようなＡＤＬ（日常生活動作：Activities of daily living）が必ずしも高くない患者の場合、時として患者が応答できないほどに重症化・重篤化することも考えられる。そのよう救急的支援を必要とする場面を想定し、近年では「患者見守り」「高齢者見守り」を標榜するシステムが開発されている。しかしながら、救急的支援を必要とするような場面がいつ到来するのかを予測するのは困難であり、救急的支援を必要とする場面では、患者の様子を観察することが重要であるにも関わらず、ビデオ通話システムの機能をタイミングよく、有効に活用できているとは言いがたい。
救急的支援の要因が発生した瞬間の、患者の様子を撮影した映像及び音声は、その重要性にも関わらず既に過去の逸失した映像及び音声となっているので、診療的判断に必要となってもそれらを活用することができない場合があった。
特許文献１には、患者の様子をライブ映像として撮影し、その映像と同期した生体情報を表示するシステムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３−１６７９９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載のシステムでは、ライブ映像と生体情報とが同期しているものの、診断の際に有用となる、生体情報のアラートタイミングといったエビデンスと同期した映像情報及び音声情報の再生については考慮されていない。

【0006】

本発明は、上記の課題に鑑みてなされたものであり、異常が発生した生体情報（バイタルサイン）と、その生体情報と同期した映像情報及び音声情報を診療的判断に使用するよう提供することが可能な映像記録システム、映像記録方法及び映像記録プログラムを提供することにある。

【課題を解決するための手段】

【0007】

前記課題は、患者の生体情報を測定する測定器から取得した前記生体情報を送信する患者用端末と、該患者用端末と通信回線により接続され、前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバと、を備える映像記録システムであって、前記患者用端末又は前記管理サーバは、前記生体情報の異常を判定する判定部を有し、前記患者用端末は、前記患者の様子を映像情報として記録する映像記録手段と、前記患者の様子を音声情報として記録する音声記録手段と、前記判定部が前記生体情報に異常があると判定した場合、前記映像記録手段及び前記音声記録手段により、異常が発生した異常発生時点から第一記録時間経過するまで、前記映像情報及び前記音声情報を記録する記録部と、前記映像情報及び前記音声情報と、前記映像情報及び前記音声情報と前記生体情報とを同期させるタイムスタンプと、を前記管理サーバに送信する第一通信部と、を備え、前記管理サーバは、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する記憶部を備え、前記患者用端末の前記記録部は、前記映像記録手段及び前記音声記録手段により前記映像情報及び前記音声情報を連続的に記録しており、前記判定部が前記生体情報に異常があると判定した場合、前記異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存し、前記第一通信部は、前記第二記録時間前から前記異常発生時点まで記憶した前記映像情報及び前記音声情報を前記タイムスタンプと共に前記管理サーバに送信し、前記管理サーバの前記記憶部は、前記患者用端末から前記通信回線を介して受信した前記第二記録時間前から前記異常発生時点まで記録した前記映像情報、前記音声情報及び前記タイムスタンプを記憶することを特徴とする映像記録システムにより解決される。

【0008】

また、前記課題は、患者の生体情報を測定する測定器から取得した前記生体情報を送信し、前記患者の様子を映像情報として記録する映像記録手段と、前記患者の様子を音声情報として記録する音声記録手段とを有する患者用端末と、該患者用端末と通信回線により接続され前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバとを用いた映像記録方法であって、前記患者用端末又は前記管理サーバが、前記生体情報の異常を判定する異常判定ステップと、前記患者用端末が、前記映像情報及び前記音声情報を連続的に記録し、前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合、異常が発生した異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存する異常発生前情報記録ステップと、
前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合に、前記患者用端末の前記映像記録手段及び前記音声記録手段により、前記異常発生時点から第一記録時間経過するまで前記映像情報及び前記音声情報を記録する異常発生後情報記録ステップと、前記患者用端末が、記録した前記映像情報及び前記音声情報と、前記生体情報と前記映像情報及び前記音声情報とを同期させるタイムスタンプとを前記管理サーバに送信する情報送信ステップと、前記管理サーバが、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する情報記憶ステップと、を含むことを特徴とする映像記録方法により解決される。

【0009】

また、前記課題は、患者の生体情報を測定する測定器から取得した前記生体情報を送信し、前記患者の様子を映像情報として記録する映像記録手段と、前記患者の様子を音声情報として記録する音声記録手段とを有する患者用端末と、該患者用端末と通信回線により接続され前記患者用端末から前記通信回線を介して前記生体情報を受信して記憶する管理サーバとによって、プログラムとして実行される映像記録プログラムであって、前記患者用端末又は前記管理サーバが、前記生体情報の異常を判定する異常判定ステップと、前記患者用端末が、前記映像情報及び前記音声情報を連続的に記録し、前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合、異常が発生した異常発生時点から第二記録時間前に記録した前記映像情報及び前記音声情報を消去することなく保存する異常発生前情報記録ステップと、前記患者用端末又は前記管理サーバが前記生体情報に異常があると判定した場合に、前記患者用端末の前記映像記録手段及び前記音声記録手段により、前記異常発生時点から第一記録時間経過するまで前記映像情報及び前記音声情報を記録する異常発生後情報記録ステップと、前記患者用端末が、記録した前記映像情報及び前記音声情報と、前記生体情報と前記映像情報及び前記音声情報とを同期させるタイムスタンプとを前記管理サーバに送信する情報送信ステップと、前記管理サーバが、前記患者用端末から前記通信回線を介して受信した前記映像情報、前記音声情報及び前記タイムスタンプを記憶する情報記憶ステップと、を含む映像記録プログラムにより解決される。

【0010】

以上のように構成された本発明の映像記録システム、映像記録方法、映像記録プログラムでは、生体情報に異常があると判定した場合に、異常発生時点から第一記録時間経過するまで映像情報及び音声情報を記録し、記録した映像情報・音声情報をタイムスタンプと共に管理サーバに送信して、それらが管理サーバに記憶される。医療従事者は、患者の生体情報とその生体情報と同期した映像情報・音声情報を参照することにより、それらを診療的判断に使用することができる。

【0011】

また、異常発生時点から第二記録時間前に記録した映像情報・音声情報を管理サーバに記憶することにより、医療従事者は、異常が発生する直前の患者の状態を確認することができ、それらを診療的判断に使用することができる。

【0012】

また、本発明の映像記録システムについて好適な構成を述べると、前記第一記録時間及び前記第二記録時間は、前記生体情報の異常の種類により設定されているとよい。
生体情報の異常の種類により、第一記録時間及び第二記録時間を設定することで、医療従事者はよりきめ細やかな患者の観察をすることができる。

【0013】

また、本発明の映像記録システムについて好適な構成を述べると、前記患者用端末の前記映像記録手段は、画角が異なる複数のカメラから構成されるとよい。
画角が異なる複数のカメラを用いることで、患者を様々な視点から記録することができ、医療従事者はよりきめ細やかな患者の観察をすることができる。

【0014】

また、本発明の映像記録システムについて好適な構成を述べると、前記管理サーバ及び前記患者用端末と通信を介して接続する医療従事者用端末をさらに備え、前記管理サーバは、前記医療従事者用端末から前記通信を介して再生要求を受信した場合に、前記再生要求に基づいて、前記記憶部に記憶された前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを検索する制御部と、前記制御部が検索した結果である前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを前記医療従事者用端末に送信する第二通信部と、を備え、前記医療従事者用端末は、前記管理サーバから前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを受信する第三通信部と、前記管理サーバから受信した前記生体情報と前記映像情報とを前記タイムスタンプにより同期させて表示する表示部と、前記管理サーバから受信した前記音声情報を、前記表示部に表示される前記生体情報と前記タイムスタンプにより同期させて出力する音声出力部と、を備える、とよい。

【0015】

上記の構成により、医療従事者は、医療従事者用端末を使用して生体情報と同期した映像情報及び音声情報を視聴することができる。医療従事者は、生体情報と同期した映像情報・音声情報を視聴することにより、それらを診療的判断に使用することができる。

【0016】

また、本発明の映像記録システムについて好適な構成を述べると、前記再生要求は、医療従事者が再生を希望する再生時刻であるとよい。
上記の構成により、医療従事者は過去に異常が発生したときの患者の様子を映像情報及び音声情報により確認することができる。

【0017】

また、本発明の映像記録システムについて好適な構成を述べると、前記再生要求は、過去に発生した生体情報の異常の履歴から医療従事者により選択された特定の記録であり、前記管理サーバの前記制御部は、前記選択された特定の記録の異常発生時点の時刻に基づいて、前記記憶部に記憶された前記生体情報、前記映像情報、前記音声情報及び前記タイムスタンプを検索するとよい。
上記の構成により、医療従事者は異常が発生した生体情報の履歴から特定の記録を選択することにより、その生体情報と、生体情報と同期した映像情報・音声情報を視聴することが可能になる。生体情報と同期した映像情報・音声情報を視聴することが容易になり、医療従事者は短時間で診療的判断をすることができる。

【発明の効果】

【0018】

本発明の映像記録システム、映像記録方法、映像記録プログラムによれば、異常が発生した生体情報と同期した映像情報及び音声情報が管理サーバに蓄積される。そのため、例えば医療従事者は、管理サーバに記憶された映像情報・音声情報を生体情報と同期させて参照することにより、それらを診療的判断に使用することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る映像記録システムの構成を示す概念図である。

【図2】本発明の一実施形態に係る映像記録システムの構成する各装置の基本構成を示すブロック図である。

【図3】映像情報及び音声情報を記録する処理を示すフロー図である。

【図4】異常発生時に記録する映像情報・音声情報の記録時間を示すダイアグラムである。

【図5】異常の種類ごとの設定内容を示す図である。

【図6】２つの異常が発生した場合に記録する映像情報・音声情報の記録時間を示すダイアグラムである。

【図7】ビデオ通話と映像情報・音声情報の記録とを、並行処理するための構成図である。

【図8】映像記録システムを用いた生体情報と映像情報及び音声情報と同期させて表示する処理を示すフロー図である。

【図9】医師用端末の表示部及び音声出力部を示す模式図である。

【発明を実施するための形態】

【0020】

以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
また、以下の説明において本発明による映像記録システム及び映像記録方法について説明するが、かかる映像記録方法をコンピュータにより実行可能なプログラムとして実施するようにしてもよいし、あるいは、該プログラムをコンピュータにより読み取り可能な記録媒体に記録するようにしてもよいことは言うまでもない。

【0021】

本実施形態に係る映像記録システム１について、図１及び図２を用いて説明する。映像記録システム１は、患者用端末１０と、患者用端末１０が撮影・録音した映像情報及び音声情報を記憶する管理サーバ２０と、それらを接続する通信回線３とにより構成されている。患者用端末１０と管理サーバ２０は、通信回線３を介して互いにデータの送受信を行うことが可能である。
通信回線３としてインターネットが想定されているが、映像記録システム１は病院内に設けられたイントラネット上に構築されてもよい。

【0022】

映像記録システム１は、医療従事者が遠隔診療を実施するための遠隔診療システムの一部でもあり、医師用端末３０（医療従事者用端末）が通信回線３に接続可能となっている。医師用端末３０から、生体情報と、生体情報に同期した映像情報及び音声情報の再生要求を管理サーバ２０に送信することで、管理サーバ２０は、記憶されている生体情報を、映像情報及び音声情報と同期させて、医師用端末３０に表示させることができる。なお、遠隔診療システム及び映像記録システム１では、患者用端末１０と医師用端末３０とは一台に限らず複数用意され、複数の患者及び医師がそれぞれの端末を使用しているが、ここでは、一台の患者用端末１０及び医師用端末３０を使用する場合について説明する。

【0023】

なお、患者用端末１０、管理サーバ２０及び医師用端末３０は専用機であってもよく、また、通信可能なパソコン・携帯電話・スマートフォン・タブレット端末等の汎用の情報端末に専用のアプリケーションをインストールすることにより実現されてもよい。
また、管理サーバ２０及び医師用端末３０が遠隔診療センター内のイントラネット上に構築され、ゲートウェイを介してインターネット上の患者用端末１０と接続されてもよく、ネットワーク構成については、図１に示す構成に限定されるものではない。

【0024】

患者用端末１０には、複数の測定器４０と、患者５の映像を撮影する内蔵カメラ１５と、内蔵カメラ１５とは画角が異なる外付けのカメラ（外付けカメラ１７）と、患者５の音声を録音するためのマイクロフォン１８とが接続されている。内蔵カメラ１５及び外付けカメラ１７は映像記録手段として設けられ、マイクロフォン１８は音声記録手段として設けられている。本実施形態においてマイクロフォン１８は外付けのものを使用しているが、音声記録手段として患者用端末１０に内蔵されたマイクロフォンを使用してもよい。また、内蔵カメラ１５と画角が異なる外付けカメラ１７を接続することにより、内蔵カメラ１５の撮影範囲とは異なる範囲で患者５の映像情報を記録することが可能になる。例えば内蔵カメラ１５では、患者の顔を撮影し、外付けカメラ１７では患者の全身を撮影することができる。患者用端末１０に接続されている複数の測定器４０は、患者の生体情報及び患者周辺の環境情報を取得する装置である。

【0025】

測定器４０としては、患者用端末１０に内蔵されたセンサと、患者用端末１０から分離して患者の周辺に配置されたセンサがある。分離されたセンサとしては、椅子やベッド等の人体に接触するものや、人体の各部に直接装着して生体情報を検出できるタイプがある。測定器４０には、温度・湿度といった患者周辺の環境情報を測定するセンサも含まれる。

【0026】

生体情報は、血圧、脈拍、脳波等の人体を構成する器官の動きを定量的に示した情報である。生体情報の測定器には、例えば患者用端末１０の把持部分に設けられた体温計、脈拍計、発汗計等がある。また、患者の体の一部に取り付けられた、血流計、脳波計、眼球運動センサ、心電図、振動ジャイロ、加速度センサ、皮膚温度センサ、体動加速度センサ、皮膚導電率センサ、脈拍計、血圧計、呼吸センサ、瞳孔径センサ、傾斜センサ、血中酸素飽和度センサなどがある。椅子やベッド等に設けられる測定器４０として、サーモグラフィや体重計、呼吸計があり、圧力の変化の基に脈拍、呼吸、体重を抽出する。
なお、内蔵カメラ１５及び外付けカメラ１７を測定センサとして扱い、例えば撮影した映像から人間の動作、表情の変化、眼球の動き等を抽出し、抽出した結果を生体情報として記録しても良い。また、マイクロフォン１８で集音した音声データから、患者の状態を抽出して生体情報として記録してもよい。

【0027】

環境情報を測定する装置としては、温度計、気圧計、高度計、患者の周囲の明るさ（明度）を計測する明度計、匂いを測定するガスセンサ、位置情報を計測するＧＰＳ(Global Positioning System)等がある。測定された環境情報は生体情報ともに有線又は無線の通信手段を介して患者用端末１０に送信され、患者用端末１０の記録部１３に一旦蓄積されてもよい。

【0028】

患者用端末１０は、上述したように患者が使用する通信可能な携帯電話・スマートフォン・タブレット端末等である。患者用端末１０は、通信機能を有するノートパソコンとデジタルカメラとを組み合わせたものでもよい。患者用端末１０は測定器４０と有線又は無線により接続され、測定された生体情報を取得して管理サーバ２０に送信するよう構成されている。

【0029】

患者用端末１０は、制御部１１と、管理サーバ２０及び医師用端末３０と通信回線３を介して接続し通信するための通信部１２と、取得した生体情報及び映像情報・音声情報を記録する記録部１３と、測定した生体情報等から患者の異常を判定する判定部１４と、を備える。また、上述のように、患者用端末１０は、患者５を撮影する内蔵カメラ１５と、取得した生体情報、環境情報、画像及びビデオ映像等を表示する表示部１６と、患者を撮影する外付けの外付けカメラ１７と、患者の声を録音するマイクロフォン１８と、医師用端末３０から送信された声を再生する音声出力部１９と、を備える。また、映像記録システム１において通信部１２は第一通信部として設けられている。
患者用端末１０は通信部１２を介して測定器４０から生体情報を取得し、取得した生体情報を管理サーバ２０に送信する。また、詳細は後述するが、患者用端末１０は、記録した映像情報及び音声情報を、通信部１２を介して管理サーバ２０に送信する。送信する際、患者用端末１０の通信部１２は、生体情報と映像情報・音声情報とを時間軸上で対応させるための情報（以下、タイムスタンプ）を付加して管理サーバ２０に送信する。

【0030】

患者用端末１０は、具体的にはＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等の揮発性記憶部（図示しない）、ハードディスクやフラッシュメモリ等の不揮発性記憶部（記録部１３）、通信ネットワークに接続されるネットワークインターフェース等（通信部１２）を有している。ＣＰＵは制御部１１に該当し、制御部１１は、通信部１２、記録部１３、判定部１４、内蔵カメラ１５、表示部１６、外付けカメラ１７、マイクロフォン１８、音声出力部１９を制御する。判定部１４は、制御部１１によって実行されるアプリケーションによって実現されてもよい。

【0031】

管理サーバ２０は、複数の患者用端末１０から日々受信する生体情報、映像情報・音声情報及びタイムスタンプを記憶し、それらの情報を管理するコンピュータである。管理サーバ２０は、医師用端末３０とも通信回線３を介して接続しており、医師用端末３０からのリクエストに応じて、患者５の生体情報、映像情報・音声情報及びタイムスタンプを医師用端末３０に送信する。

【0032】

管理サーバ２０は、制御部２１と、患者用端末１０及び医師用端末３０とデータを送受信するための通信部２２とを備える。また、患者用端末１０から受信した生体情報、映像情報・音声情報及びタイムスタンプを記憶する記憶部２３、患者の生体情報の異常を判定する判定部２４、及び入力部２５を備える。
入力部２５は、テンキー、キーボード、タッチパネル又はマウスであり、管理者が記憶部２３からデータを抽出したり、編集したりするために設けられている。

【0033】

管理サーバ２０は、具体的にはＣＰＵ、ＲＡＭ等の揮発性記憶部（図示しない）、ハードディスクやフラッシュメモリ等の不揮発性記憶部（記憶部２３）を備え、通信回線３に接続するためのネットワークインターフェース（通信部２２）等を有している。制御部２１が通信部２２、記憶部２３及び判定部２４等を制御する。
また、映像記録システム１において通信部２２は第二通信部として設けられている。
記憶部２３には、上述したように患者用端末１０から受信した生体情報、映像情報・音声情報及びタイムスタンプが記憶されている。また、それらの情報以外に患者のＩＤや顔写真等を含む患者データが予め格納され、それぞれの情報がテーブルによって管理されている。管理サーバ２０に記憶される生体情報等のデータは、管理者によって管理されていて、例えば患者のＩＤ等が変更された場合、管理者によって修正される。

【0034】

医師用端末３０は、上述したように医師や看護師等の医療従事者が使用する通信可能な端末であり、本実施形態では通信機能及びビデオ映像・音声を記録・出力可能なノートパソコンやデスクトップパソコンにより実現される。医師用端末３０は、携帯電話・スマートフォン・タブレット端末等であってもよい。
医師用端末３０は通常は複数あり、それぞれが通信回線３に接続されている。通信回線３に接続する接続手段は有線でも無線でもよい。

【0035】

医師用端末３０は、制御部３１、通信部３２、カメラ３５、表示部３６、音声出力部３７から構成される。通信部３２は、患者用端末１０及び管理サーバ２０と通信を行う。表示部３６は、医師が、管理サーバ２０に記憶されている情報や患者の状態を確認するためのモニタ装置である。音声出力部３７は、管理サーバ２０から受信した音声を出力するスピーカである。また、映像記録システム１において通信部３２は第三通信部として設けられている。
医師用端末３０は、具体的にはＣＰＵ、ＲＡＭ等の揮発性記憶部（図示しない）、ハードディスクやフラッシュメモリ等の不揮発性記憶部（図示しない）を備え、通信回線３に接続するためのネットワークインターフェース（通信部３２）を有している。制御部３１はＣＰＵであり通信部３２、カメラ３５、表示部３６、音声出力部３７を制御する。

【0036】

図３を用いて、映像記録システム１を用いた映像記録処理（映像記録方法）について説明する。映像記録システム１では、患者５の生体情報の異常判定を行い、その判定結果に基づいて映像情報及び音声情報を記録する。

【0037】

患者用端末１０は、測定器４０から生体情報（測定データ、バイタルデータ）を取得すると共に、内蔵カメラ１５及び外付けカメラ１７から映像情報を、音声記録手段としてのマイクロフォン１８から音声情報を、患者用端末１０の記録部１３に記録する（Ｓ１０１：異常発生前情報記録ステップ）。本実施形態による映像記録システム１では、測定器４０により生体情報を常時計測している。また、生体情報と同時に映像情報及び音声情報を連続的に記録している。患者用端末１０は取得した生体情報のみを管理サーバ２０に送信してもよい。

【0038】

患者用端末１０は、判定部１４により生体情報を常に解析しており、生体情報の異常があるか否かを判定している（Ｓ１０２：異常判定ステップ）。生体情報に異常があるか否かの判定は、あらかじめ設定された閾値と、生体情報の測定された値との比較を行うことにより実施される。
異常があるか否かの判定方法として、閾値を用いた判定方法以外に、心電図波形のような波形の特徴から異常を判定する方法を用いてもよい。また、生体情報に異常があるか否かの判定に、患者周辺の温度や湿度等の環境情報を用いて判定してもよい。

【0039】

なお、生体情報の異常判定は、患者用端末１０が生体情報を管理サーバ２０に送信している場合、管理サーバ２０の判定部２４によって実施されてもよい。管理サーバ２０が異常判定を実施することにより、より複雑な判定方法、例えば、心電図波形のような波形の特徴から異常を判定したり、ＡＩ（Ａrtificial Intelligence：人工知能）の学習により異常を判定したりすることができる。

【0040】

判定部１４により生体情報に異常がないと判定された場合（Ｓ１０２でＮｏ）は、判定した時刻から予め設定した時間前に記録された映像情報・音声情報を記録部１３から消去する（Ｓ１０３：情報消去ステップ）。異常発生前の映像情報・音声情報については所謂リングバッファを用いたプリレコードが行われている。リングバッファを用いることで、不要な映像情報・音声情報は記録部１３から消去され、記録部１３の容量を圧迫しないよう構成される。そのため容量不足により映像情報・音声情報が記録できなくなることが防止される。プリレコードのリングバッファとして設定される時間は、患者用端末１０の記録部１３の記録可能な容量に応じて定められてよい。この消去するために予め設定した時間は、例えば後述する異常発生前記録時間Ｓである。なお、プリレコードは、患者用端末１０に接続された内蔵カメラ１５及び外付けカメラ１７の数だけ時分割マルチチャネルで実行される。患者用端末１０の記録部１３は映像情報・音声情報を消去した後、ステップＳ１０１に戻り、生体情報と映像情報・音声情報の記録を続ける。そして判定部１４は取得した生体情報に異常があるか否か判定する。

【0041】

異常判定ステップＳ１０２において、判定部１４により生体情報に異常があると判定された場合（Ｓ１０２でＹｅｓ）について、図４を用いて説明する。図４は時間ｔを横軸として気映像情報・音声情報を記録しているか否かを示すダイアグラムであり、記録している時間を実線で、記録していない場合を破線により示している。
判定部１４により生体情報に異常があると判定された場合、記録部１３は、異常が発生した時点（異常発生時点Ｐ）から予め設定された記録時間（異常発生後記録時間Ｔ、第一記録時間）、生体体情報と共に異常発生後の映像情報・音声情報を記録する（Ｓ１０４：異常発生後情報記録ステップ）。また、記録部１３は、異常発生時点Ｐから、異常発生前記録時間Ｓ（第二記録時間）前に記録された映像情報・音声情報を消去することなく記録部１３に映像情報・音声情報を保存する。

【0042】

そして、異常発生時点Ｐから異常発生後記録時間Ｔ経過した後、その間に記録した映像情報・音声情報と、異常発生時点Ｐから異常発生前記録時間Ｓ前に記録された映像情報・音声情報とをマージ（結合）する。マージすることにより異常発生前後の期間Ｋにおける映像情報・音声情報の記録が完了する。

【0043】

次に、患者用端末１０の通信部１２は、異常発生前後の期間Ｋに記録した映像情報・音声情報を管理サーバ２０に送信する。患者用端末１０の通信部１２は、期間Ｋの間の生体情報と映像情報・音声情報とを同期させるタイムスタンプも同時に送信する（Ｓ１０５：情報送信ステップ）。

【0044】

管理サーバ２０は、患者用端末１０から生体情報、映像情報・音声情報及びタイムスタンプを受信した後、管理サーバ２０の記憶部２３に記憶する（Ｓ１０６：情報記憶ステップ）。管理サーバ２０によって記憶された生体情報等は、医師用端末３０からの再生要求に応じて、記憶された生体情報と映像情報・音声情報とをタイムスタンプを用いて同期可能な状態で医師用端末３０に送信することができる。

【0045】

異常が発生する前後に映像情報・音声情報を記録する時間の長さ（異常発生前記録時間Ｓ、異常発生後記録時間Ｔ）については任意に設定することができ、それらの長さは同一に設定してもよく、別々の長さに設定してもよい。また、異常発生時点Ｐより前の映像情報・音声情報が不要である場合は異常発生前記録時間Ｓを０分と設定し、通信部１２は、異常発生時点Ｐより後に記録した映像情報・音声情報を管理サーバ２０に送信する。なお、患者の状態や測定する生体情報の種類よっては音声情報を記録することが不要な場合もあり、設定によって音声情報を記録するか否かを選択できるようにしてもよい。

【0046】

異常発生前記録時間Ｓ及び異常発生後記録時間Ｔは、異常の種類（測定項目の違い、異常判定する際の基準の違い等）によって個別にその長さを設定することも可能であり、また、その設定は患者ごとに設定することも可能である。

【0047】

記録する映像情報については、患者用端末１０に内蔵された内蔵カメラ１５を用いて撮影してもよく、無線又は有線で患者用端末１０と接続された外付けカメラ１７を用いて撮影してもよい。例えば患者の顔色を観察したいときは、患者の顔の傍に配置された患者用端末１０の内蔵カメラ１５で撮影し、患者の全身を含むよう全景を観察したい場合は外付けカメラ１７で撮影するといった使い分けをすることができる。また、患者用端末１０に画角の異なる複数の内蔵カメラ１５が備わっている場合や、外付けカメラ１７が複数設置されている場合は、それらを目的に応じて使用してもよい。

【0048】

また、メモリやハードディスク等に記憶するデータ量やデータ通信量を不要に増大させないよう、異常の種類に応じて画像の解像度又は音声のサンプリング周波数を設定してもよい。異常の種類によって患者の全身の状態を記録しておきたい場合は、外付けカメラ１７で撮影する映像情報を比較的低解像度で記録する。また、患者の顔の表情を記録しておきたい場合は、内蔵カメラ１５を用いて映像情報を比較的高解像度で記録してもよい。

【0049】

図４に、異常の種類に応じた設定内容の具体例を示す。レコードＲ１は、異常種類が「心拍の乱れ」である場合を示している。心拍の乱れを見るためには、患者の全身を撮影する必要があるため、映像記録手段として全身を撮影するよう設けられた外付けカメラ１７を用いるよう設定されている。また、比較的長い時間の観察を要するため、異常発生前記録時間Ｓは「１０分」、異常発生後記録時間Ｔは「５分」としている。比較的長い時間記録することから、解像度レベルをＳＤ画質（７２０ｐｘ×４８０ｐｘ）とし、サンプリング周波数を２４ｋＨｚに設定されていて、それにより記憶するデータ量を削減している。

【0050】

レコードＲ２は、異常種類として「ＳｐＯ２（動脈血酸素飽和度）」を計測している場合を示しており、患者の顔色を記録するため映像記録手段として内蔵カメラ１５を用いるよう設定されている。記録する時間は比較的短時間でよいことから、異常発生前記録時間Ｓは「５分」、異常発生後記録時間Ｔは「１分」と設定されている。また、解像度レベルは、ＨＤ画質（１２８０ｐｘ×７２０ｐｘ）とし、サンプリング周波数を４８ｋＨｚとして比較的高画質・高音質で記録するよう設定されている。
レコードＲ１、Ｒ２の設定は、患者用端末１０に記憶されている。また、管理サーバ２０に患者用データ２３ａとして記憶されていてもよい。患者や医者のニーズに合わせて設定することができ、それによりきめ細かな患者の観察を実施することができる。

【0051】

また、複数の種類の測定器４０を用いて患者５を測定している場合、異なる生体情報の異常判定が映像情報・音声情報の記録中にさらに発生する場合がある。例えば、図６に示すように、最初の生体情報の異常が判定された時点（異常発生時点Ｐ１）により映像情報・音声情報を記録している途中で、同じ映像記録手段、例えば内蔵カメラ１５を用いるよう設定されている場合に、別の生体情報の異常が後の時点（異常発生時点Ｐ２）に判定される場合がある。そのような場合、映像記録時間の終了は、後に判定された異常の記録終了時間に合わせる。管理サーバ２０への映像情報・音声情報の送信は、後に判定された異常の記録終了時間後に行われ、この時、二つの異常を記録した期間Ｋ３の長さの映像情報・音声情報がタイムスタンプと共に送信される。また、異常が発生した時刻のデータも併せて送信される。

【0052】

医師用端末３０により再生する場合は、再生時に、各々の異常に合わせて設定された記録開示時刻と記録終了時刻に合わせて映像情報・音声情報を再生するよう、管理サーバ２０が医師用端末３０に送信する。すなわち、医療従事者により異常発生時点Ｐ１が選択された場合、異常発生前記録時間Ｓ１と異常発生後記録時間Ｔ１とを合わせた期間Ｋ１の長さの映像情報・音声情報が出力され、異常発生時点Ｐ２が選択された場合は異常発生前記録時間Ｓ２と異常発生後記録時間Ｔ２とを合わせた期間Ｋ２の長さの映像情報・音声情報が出力される。別々に映像情報・音声情報を記憶する場合と比較して、管理サーバ２０に記憶される重複した映像情報・音声情報を削減することができる。

【0053】

本実施形態の映像記録システム１は、上述したように、患者を遠隔地にいる医者が診断することが可能な遠隔診療システムの一部である。そのため、患者用端末１０が映像情報・音声情報を記録している最中に、医師用端末３０とビデオ通話を開始する必要性が生じる場合がある。そのため、本実施形態の映像記録システム１では、どちらか一方の処理が保留状態とならないよう、図７に示すように、内蔵カメラ１５やマイクロフォン１８により記録された映像情報・音声情報４２を、データバッファ４３に一時的に保持するよう構成されている。データバッファ４３に保持された映像情報・音声情報４２を用いて記録部１３がハードディスク又はメモリ（記録装置４４）にそれらの情報を記録する。また、通信部１２がデータバッファ４３に保持された映像情報・音声情報４２をビデオ通話のために医師用端末３０に送信する。データバッファ４３を用いることで記録部１３と通信部１２とが独立して動作し、二つの処理を並行して実行することができる。そのため、どちらか一方の処理が保留状態になることを回避することが可能になる。

【0054】

次に、医師用端末３０を用いて、生体情報と映像情報・音声情報とを同期させて表示する方法について図８及び図９を用いて説明する。映像記録システム１では、上述したように、管理サーバ２０により、過去において患者用端末１０により記録された生体情報と、その生体情報と時間軸上で同期した又は同期可能な状態で記録された映像情報・音声情報が記憶されている。生体情報及び映像情報・音声情報は、通信回線３を介して、医師用端末３０からいつでも参照することができる。医療従事者は、生体情報と同期した映像情報・音声情報を参照することにより、患者に異常が発生した場合、より適切な判断を行うことが可能となる。

【0055】

本実施形態の映像記録システム１では、これを実現するために、管理サーバ２０において、生体情報と映像情報・音声情報に含まれている又は新たに付加した管理用のタイムスタンプが記憶されている。管理サーバ２０は、医師用端末３０からの要求に応じて、管理用のタイムスタンプを検索、照合し、映像情報・音声情報と生体情報を同期させて映像・音声情報を表示できるよう医師用端末３０に送信する。

【0056】

映像情報・音声情報の表示の開始は、医療従事者により任意の時間が指定されることにより行われるか又は医師用端末３０に表示された生体情報の異常判定結果（バイタルサイン）を時系列で表示したアラート履歴を選択することによって行われる。アラート履歴を、映像・音声情報の表示開始点とする場合は、上述したように、判定された時点前後において一定期間、映像情報音声情報が記録されていることから、タイムオフセット、すなわち表示開始点を任意の時間分前後にずらして実施させることができる。

【0057】

図８を用いて、映像情報・音声情報を医師用端末３０に表示させる処理について説明する。まず、医療従事者は、医師用端末３０を用いて、再生要求としての、再生を希望する患者５の映像情報・音声情報の再生時刻を入力する、又は、画面に表示されたアラート履歴を参照して表示させたい異常判定結果（バイタルサイン）を指定する。管理サーバ２０は、医師用端末３０から再生要求を受信する（Ｓ２０１）。
管理サーバ２０（より詳しくは制御部２１）は、医師用端末３０から受信した再生要求に基づいて、生体情報と映像情報・音声情報に含まれている又は対応するよう付加された管理用のタイムスタンプを検索、照合する（Ｓ２０２）。医師が異常判定結果のうち特定の記録を指定した場合は、異常判定結果が記録された時刻を基にタイムスタンプを検索、照合する。

【0058】

管理サーバ２０は、検索された結果である生体情報、その生体情報と同期する映像情報・音声情報、タイムスタンプを医師用端末３０に送信する（Ｓ２０３）。医師用端末３０は、受信した生体情報と映像情報とをタイムスタンプを用いて同期させて表示部３６に表示し、生体情報と音声情報とをタイムスタンプを用いて同期させて音声出力部３７に出力する（Ｓ２０４）。

【0059】

図９に、医師用端末３０に表示される出力イメージを示す。表示部３６の画面上部３６ａには、再生している時刻（再生時刻）が示される。画面中央部３６ｂには、撮影された映像情報が再生されており、画面下部３６ｃには測定された生体情報（心電図、ＳｐＯ２）が示される。また、医師用端末３０の音声出力部３７には音声情報が出力される。生体情報、映像情報・音声情報はタイムスタンプを基に時間軸で同期して表示又は出力されている。医師用端末３０を使用する医療従事者は、画面に向かって右側に設けられた再生ボタン３６ｄ、一時停止ボタン３６ｅ、巻戻しボタン３６ｆ、早送りボタン３６ｇを選択することにより再生する時刻を調整することができる。

【0060】

医療従事者は、患者５と別途ビデオ通話システムを用いて通話することで、患者５の現状をライブ映像で確認しつつ、生体情報に異常が発見されたときに撮影された患者５の映像を参照することができ、より適切な診療的判断をすることができるようになる。
また、管理サーバ２０は異常が判定された生体情報の時点の前後に設定された記録時間のみの映像情報・音声情報を記憶し、診療的判断に不要な情報は記録されていないため、管理サーバ２０の記憶容量を圧迫することがない。また、不要な情報は管理サーバ２０から送信されないため、医療従事者は診療的判断に必要な映像情報・音声情報を見つけやすく、撮影された患者５の様子を短時間で見ることができる。なお、表示部３６の画面レイアウトは一例であり、図９に示すレイアウトとは異なるレイアウトでもよい。

【0061】

以上、本実施形態に係る映像記録システム及び映像記録方法について図を用いて説明した。また、上記実施例では、医師用端末３０は医師又は看護師が利用する端末として説明したが、医師用端末３０の利用者は医師や看護師が利用する端末だけでなく、介護従事者が利用する端末や健康管理提供者が利用する端末であってもよい。

【符号の説明】

【0062】

１ 映像記録システム
３ 通信回線
５ 患者
１０ 患者用端末
１１ 制御部
１２ 通信部（第一通信部）
１３ 記録部
１４ 判定部
１５ 内蔵カメラ
１６ 表示部
１７ 外付けカメラ
１８ マイクロフォン
１９ 音声出力部
２０ 管理サーバ
２１ 制御部
２２ 通信部（第二通信部）
２３ 記憶部
２４ 判定部
２５ 入力部
３０ 医師用端末（医療従事者用端末）
３１ 制御部
３２ 通信部（第三通信部）
３５ カメラ
３６ 表示部
３６ａ 画面上部
３６ｂ 画面中央部
３６ｃ 画面下部
３６ｄ 再生ボタン
３６ｅ 一時停止ボタン
３６ｆ 巻戻しボタン
３７ 音声出力部
４０ 測定器
４２ 映像情報・音声情報
４３ データバッファ
４４ 記録装置
Ｐ、Ｐ１、Ｐ２ 異常発生時点
Ｔ、Ｔ１、Ｔ２ 異常発生後記録時間（第一記録時間）
Ｓ、Ｓ１、Ｓ２ 異常発生前記録時間（第二記録時間）
Ｋ、Ｋ１、Ｋ２、Ｋ３ 期間
Ｒ１、Ｒ２ レコード

【要約】

【課題】異常が発生した生体情報と、その生体情報と同期した映像情報及び音声情報を診療的判断に使用するよう提供することが可能な映像記録システムを提供する。
【解決手段】本発明の映像記録システム１は、測定器から取得した生体情報を送信する患者用端末１０と、生体情報を受信して記憶する管理サーバ２０とを備え、患者用端末又は管理サーバは、生体情報の異常を判定する判定部１４を有し、患者用端末は、患者の様子を記録する映像記録手段１５、１７及び音声記録手段１８と、生体情報に異常があると判定した場合、異常発生時点から第一記録時間Ｔ経過するまで、映像情報及び音声情報を記録する記録部１３と、映像情報及び音声情報と、映像情報及び音声情報と生体情報とを同期させるタイムスタンプとを管理サーバに送信する第一通信部１２とを備え、管理サーバは、受信した映像情報、音声情報及びタイムスタンプを記憶する記憶部２３を備える。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】