(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体
(51)【国際特許分類】
A61B 5/00 20060101AFI20240604BHJP
A61B 5/1171 20160101ALI20240604BHJP
A61B 5/117 20160101ALI20240604BHJP
【FI】
A61B5/00 A
A61B5/1171 200
A61B5/117 200
(21)【出願番号】P 2022543275
(86)(22)【出願日】2021-04-20
(86)【国際出願番号】 JP2021016097
(87)【国際公開番号】W WO2022038834
(87)【国際公開日】2022-02-24
【審査請求日】2022-12-09
(31)【優先権主張番号】P 2020139078
(32)【優先日】2020-08-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000006231
【氏名又は名称】株式会社村田製作所
(74)【代理人】
【識別番号】100145713
【氏名又は名称】加藤 竜太
(74)【代理人】
【識別番号】100165157
【氏名又は名称】芝 哲央
(72)【発明者】
【氏名】櫻田 雄希
(72)【発明者】
【氏名】能登 大典
【審査官】▲高▼原 悠佑
(56)【参考文献】
【文献】特開2017-219934(JP,A)
【文献】特開2006-309562(JP,A)
【文献】特開2009-247733(JP,A)
【文献】特開2019-121206(JP,A)
【文献】特許第4430128(JP,B1)
【文献】特開2018-109802(JP,A)
【文献】中国特許出願公開第110522409(CN,A)
【文献】米国特許出願公開第2011/0305376(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00- 5/0538
A61B 5/06- 5/398
A61B 7/00- 7/04
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、
撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する制御部と、
前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う画像処理部と、
を備え、
前記画像処理部は、
前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定し、
前記画像データにおける、前記機器の種類、前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、
バイタルデータ測定制御装置。
【請求項2】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、
撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する制御部と、
前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う画像処理部と、
を備え、
前記画像処理部は、
前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定し、
前記機器画像データにおける前記機器の種類、前記ユーザ画像データおよび前記機器画像データにおける前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、
バイタルデータ測定制御装置。
【請求項3】
前記制御部は、前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得し、前記nは2以上の整数であり、
前記画像処理部は、
前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う、
請求項2に記載のバイタルデータ測定制御装置。
【請求項4】
前記画像処理部は、更に前記画像データにおける前記ユーザの体全体の単位時間当たりの動きに基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、請求項1に記載のバイタルデータ測定制御装置。
【請求項5】
前記画像処理部は、更に前記ユーザ画像データおよび前記機器画像データにおける前記ユーザの体全体の単位時間当たりの動きに基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、請求項2または3に記載のバイタルデータ測定制御装置。
【請求項6】
前記制御部は、前記ユーザの動きに追従するように、前記撮像装置のパンおよびチルトの制御を行う、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項7】
前記ユーザに移動を促す通知を行う通知部を更に備える、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項8】
前記機器の取り付け位置を前記ユーザに通知する通知部を更に備える、請求項1~5のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項9】
複数の前記機器の特徴量を登録情報として予め記憶する記憶部を更に備え、
前記画像処理部は、前記機器の特徴量に基づいて、前記機器の認証を行う、
請求項1~8のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項10】
前記記憶部は、複数の前記機器の特徴量と識別情報とを関連付けて前記登録情報として予め記憶し、
前記画像処理部は、前記ユーザによって入力された前記機器の識別情報に対応する前記機器の特徴量に基づいて、前記機器の認証を行う、
請求項9に記載のバイタルデータ測定制御装置。
【請求項11】
前記制御部は、前記正しい測定状態の期間の判定と並行して、前記機器による前記ユーザのバイタルデータの測定を実行する、請求項1~10のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項12】
前記制御部は、前記正しい測定状態の期間の判定に応じて、前記正しい測定状態であると判定された期間に前記機器による前記ユーザのバイタルデータの測定を実行し、前記正しい測定状態であると判定された期間以外では前記機器による前記ユーザのバイタルデータの測定を実行しない、請求項1~10のいずれか1項に記載のバイタルデータ測定制御装置。
【請求項13】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する、請求項1~12のいずれか1項に記載のバイタルデータ測定制御装置と、
前記機器と、
前記撮像装置と、
前記バイタルデータ測定制御装置からバイタルデータが供給されるホスト装置と、
を備えるバイタルデータ測定システム。
【請求項14】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、
請求項1に記載のバイタルデータ測定制御装置によってバイタルデータの測定状態を判定する方法であって、
前記制御部が、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得し、
前記画像処理部が、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行い、
前記画像処理部が、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
前記画像処理部が、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定し、
前記画像処理部が、前記画像データにおける、前記機器の種類、前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、
バイタルデータ測定状態判定方法。
【請求項15】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、
請求項2に記載のバイタルデータ測定制御装置によってバイタルデータの測定状態を判定する方法であって、
前記制御部が、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得し、
前記画像処理部が、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
前記画像処理部が、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、
前記画像処理部が、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定し、
前記画像処理部が、前記機器画像データにおける前記機器の種類、前記ユーザ画像データおよび前記機器画像データにおける前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する、
バイタルデータ測定状態判定方法。
【請求項16】
前記制御部が、前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得し、前記nは2以上の整数であり、
前記画像処理部が、前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、
前記画像処理部が、前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う、
請求項15に記載のバイタルデータ測定状態判定方法。
【請求項17】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、
コンピュータに、
撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する機能と、
前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う機能と、
前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、
前記画像データにおける、前記機器の種類、前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する機能と、
を実行させるためのバイタルデータ測定状態判定プログラム。
【請求項18】
バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、
コンピュータに、
撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する機能と、
前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能と、
前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、
前記機器画像データにおける前記機器の種類、前記ユーザ画像データおよび前記機器画像データにおける前記ユーザの顔および顔以外の部位の位置関係に基づいて、前記機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する機能と、
を実行させるためのバイタルデータ測定状態判定プログラム。
【請求項19】
コンピュータに、
前記ユーザの顔および前記ユーザの顔以外の第1部位を含む第1ユーザ画像データと、前記ユーザの顔以外の第n-1部位および前記第n-1部位以外の第n部位を含む第nユーザ画像データと、前記ユーザの前記第n部位および前記機器を含む機器画像データとを取得する機能と、ここで前記nは2以上の整数であり、
前記第1ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能、
前記第1ユーザ画像データにおける前記ユーザの顔以外の第1部位と前記第nユーザ画像データにおける前記ユーザの第n-1部位との関連性、前記第nユーザ画像データにおける前記ユーザの第n部位と前記機器画像データにおける前記ユーザの第n部位との関連性、および、前記機器画像データにおける前記ユーザの第n部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、
を更に実行させるための、請求項18に記載のバイタルデータ測定状態判定プログラム。
【請求項20】
請求項17~19のいずれか1項に記載のバイタルデータ測定状態判定プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体に関する。
【背景技術】
【0002】
例えば遠隔診療において、患者(ユーザ)自身が自宅で測定したバイタルデータ(バイタルサイン:Vital sign、生体情報:biometric information)(体温、脈拍、血圧、肺
音等)を、医師が患者の診断の補助情報として利用することが知られている。このような技術では、測定されたバイタルデータが、ユーザ本人のデータであることを証明することが要求される。
【0003】
特許文献1には、血圧の測定状態判定方法が開示されている。この血圧の測定状態判定方法では、ユーザがスマートフォンまたはタブレットを持ってスマートフォンまたはタブレットのカメラでユーザ自身の顔を撮像し、撮像された画像データに基づいてユーザの心臓の高さに対するユーザの腕に装着された血圧計の高さを推定することにより、ユーザが正しい測定姿勢(測定状態)であるか否かを判定する。これにより、ユーザが意図的に不正な測定をすることを抑止することができるとしている。
【0004】
そして、上述した証明方法に関し、この血圧の測定状態判定方法では、スマートフォンまたはタブレットのカメラを用いて撮像されたユーザの顔を含む画像データに基づいて、顔認証によるユーザの個人認証を行う。これにより、別人による血圧測定を防止できるとしている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上述した血圧の測定状態判定方法では、カメラで撮像された画像データに基づいて顔認証によるユーザの個人認証を行いつつ、第三者が血圧計(機器)を装着して血圧を測定することが可能であり、第三者の血圧データをユーザの血圧データとする血圧データのすり替えが可能である。
【0007】
この点に関し、特許文献1には、カメラで撮像されたユーザの顔を含む画像データから体表面の色素情報を時系列に分析することによってユーザの脈拍を測定し、この画像データから測定された脈拍と血圧計からの脈拍とを比較することにより、血圧計により測定された血圧がユーザの血圧であることを確実に判定することができる、と記載されている。しかし、この方法は、血圧以外のバイタルデータの測定には適用できない。
【0008】
そこで、本発明は、種々のバイタルデータのすり替えを抑制することが可能なバイタルデータ測定制御装置、バイタルデータ測定システム、バイタルデータ測定状態判定方法、バイタルデータ測定状態判定プログラム、および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係るバイタルデータ測定制御装置は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する制御部と、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う画像処理部と、を備え、前記画像処理部は、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0010】
本発明に係る別のバイタルデータ測定制御装置は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する装置であって、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する制御部と、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う画像処理部と、を備え、前記画像処理部は、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0011】
本発明に係るバイタルデータ測定システムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定を制御する、上記のバイタルデータ測定制御装置と、前記機器と、前記撮像装置と、前記バイタルデータ測定制御装置からバイタルデータが供給されるホスト装置と、を備える。
【0012】
本発明に係るバイタルデータ測定状態判定方法は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得し、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行い、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0013】
本発明に係る別のバイタルデータ測定状態判定方法は、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定する方法であって、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得し、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行い、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行い、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0014】
本発明に係るバイタルデータ測定状態判定プログラムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、コンピュータに、撮像装置を制御して、前記ユーザの顔および前記機器を含む画像データを取得する機能と、前記画像データに基づいて、前記ユーザの顔の認証および前記機器の認証を行う機能と、前記画像データにおける前記ユーザと前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、を実行させる。
【0015】
本発明に係る別のバイタルデータ測定状態判定プログラムは、バイタルデータを測定する機器を用いてユーザがバイタルデータの測定を行う際に、バイタルデータの測定状態を判定するプログラムであって、コンピュータに、撮像装置を制御して、前記ユーザの顔および前記ユーザの顔以外の部位を含むユーザ画像データと、前記ユーザの顔以外の部位および前記機器を含む機器画像データとを取得する機能と、前記ユーザ画像データに基づいて、前記ユーザの顔の認証を行い、前記機器画像データに基づいて、前記機器の認証を行う機能と、前記ユーザ画像データにおける前記ユーザの顔以外の部位と前記機器画像データにおける前記ユーザの顔以外の部位との関連性、および、前記機器画像データにおける前記ユーザの顔以外の部位と前記機器との位置関係に基づいて、前記機器が前記ユーザに装着されているか否かの判定を行う機能と、前記ユーザおよび前記機器が認証されており、かつ、前記機器が前記ユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する機能と、を実行させる。
【0016】
本発明に係る記録媒体は、上記のバイタルデータ測定状態判定プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0017】
本発明によれば、種々のバイタルデータのすり替えを抑制することができる。
【図面の簡単な説明】
【0018】
【
図1】本実施形態に係るバイタルデータ測定システムを示す図である。
【
図2】本実施形態に係るバイタルデータ測定制御装置を示す図である。
【
図3】第1実施形態に係るバイタルデータ測定状態判定動作のフローチャートである。
【
図7】ユーザに移動を促す通知の一例を示す図である。
【
図8】機器の取り付け位置の通知の一例を示す図である。
【
図9】正しい姿勢である画像データの一例を示す図である。
【
図10】第2実施形態に係るバイタルデータ測定状態判定動作のフローチャートである。
【
図11】ユーザ画像データおよび機器画像データの一例を示す図である。
【
図12】ユーザ画像データおよび機器画像データの一例を示す図である。
【発明を実施するための形態】
【0019】
以下、添付の図面を参照して本発明の実施形態の一例について説明する。なお、各図面において同一または相当の部分に対しては同一の符号を附すこととする。
【0020】
(第1実施形態)
<バイタルデータ測定システム>
図1は、本実施形態に係るバイタルデータ測定システムを示す図である。
図1に示すバイタルデータ測定システム1は、バイタルデータ測定機器10(以下では、省略して機器とも称する。)と、バイタルデータ測定制御装置20(以下では、省略して測定制御装置とも称する。)と、ホスト装置30とを備える。バイタルデータ測定システム1は、例えばユーザの遠隔診療に利用される。この場合、ユーザが機器10および測定制御装置20を所有し、医師がホスト装置30を所有する。
【0021】
バイタルデータ測定機器10としては、血圧計、脈拍計、心電計、聴診器、喉検査機器、耳検査機器等の所謂生体情報センサデバイスが挙げられる。機器10は、測定制御装置20の制御により、ユーザのバイタルデータの測定を行う。機器10は、測定したバイタルデータを測定制御装置20に送信する。
【0022】
バイタルデータ測定制御装置20としては、スマートフォン、タブレット、PC等の情報処理装置が挙げられる。測定制御装置20は、ユーザがバイタルデータの測定を行う際に、機器10によるバイタルデータの測定を制御して、機器10からバイタルデータを受信する。また、測定制御装置20は、ネットワーク5を介してホスト装置30にバイタルデータを送信し、ホスト装置30から情報(例えば、機器10の登録情報)を受信する。測定制御装置20の詳細については後述する。
【0023】
ホスト装置30としては、タブレット、PC等の情報処理装置が挙げられる。ホスト装置30は、ネットワーク5を介して測定制御装置20からバイタルデータを受信し、測定制御装置20に情報(例えば、機器10の登録情報)を送信する。
【0024】
機器10と測定制御装置20との通信規格としては、特に限定されないが、Bluetooth(登録商標)またはWi-Fi(登録商標)等の所謂近距離の無線通信規格が挙げられる。また、測定制御装置20とホスト装置30との通信規格としては、特に限定されないが、例えばアクセスポイントAPおよびネットワーク5を介して、無線LAN(Local Area Network)、LTE(Long Term Evolution)または3G等の無線通信規格、或
いは有線LAN等の通信規格が挙げられる。
【0025】
<<バイタルデータ測定制御装置>>
以下では、バイタルデータ測定制御装置20について詳細に説明する。
図2は、本実施形態に係るバイタルデータ測定制御装置
20を示す図である。
図2に示すバイタルデータ測定制御装置20は、カメラ(撮像装置)21、制御部22、記憶部24、画像処理部26、操作部28と、表示部(通知部)29とを備える。
【0026】
カメラ21は、制御部22の制御により、ユーザおよび機器10を撮像し、ユーザの顔および機器10を含む画像データを生成する。カメラ21は、画像データを制御部22に送信する。
【0027】
カメラ21としては、スマートフォン、タブレット、PC等の測定制御装置20に内蔵されたカメラであってもよいし、測定制御装置20に外付けされたカメラであってもよい。スマートフォン、タブレット、PC等の内臓カメラでは、パン、チルト、ズームまたは広角モード等の機能に制限があるため、外付けカメラを用いることにより、これらの機能を向上することができる。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
【0028】
制御部22は、カメラ21を制御して、ユーザの顔および機器10を含む画像データを取得する。制御部22は、画像データを画像処理部26に送信する。なお、制御部22は、画像データを記憶部24に一旦記憶してもよいし、或いは表示部29に表示させてもよい。
【0029】
また、制御部22は、機器10を制御して、機器10によって測定されたユーザのバイタルデータを取得する。制御部22は、取得したバイタルデータを記憶部24に一旦記憶する。制御部22は、記憶部24に記憶されたバイタルデータをホスト装置30に送信する。
【0030】
記憶部24は、バイタルデータを一時記憶する。また、記憶部24は、後述するユーザ認証のためのユーザの顔の特徴量を、ユーザの登録情報として予め記憶する。また、記憶部24は、後述する機器認証のための機器の特徴量を、機器の登録情報として予め記憶する。
【0031】
画像処理部26は、画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
【0032】
また、画像処理部26は、画像データに基づいて、機器10がユーザに装着されているか否かの判定を行う。例えば、画像処理部26は、画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
【0033】
画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
【0034】
上述した記憶部24は、制御部22および画像処理部26により実行されるプログラム(アプリケーション)またはデータを記憶する。記憶部24は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、または着脱可能なメモリカード等の記録媒体で構成される。
【0035】
上述した制御部22および画像処理部26は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)等の演算プロセッサで構成される。制御部22および画像処理部26の各種機能は、例えば記憶部24に格納されたプログラム(アプリケーション)を実行することで実現される。プログラム(アプリケーション)は、ネットワークを介して提供されてもよいし、CD-ROM(Compact Disc Read only memory)またはDVD(Digital Versatile Disc)等のコンピュータ読み取り可能な記録媒体(computer readable storage medium)4
0に記録されて提供されてもよい。記録媒体としては、一時的でない有形の媒体(non-transitory tangible media)が挙げられる。
【0036】
操作部28は、ユーザが操作を行う操作部である。操作部28は、例えば物理的な操作ボタンを有するキーボードまたはマウス等、或いは仮想的な操作ボタンを有するタッチパネル等、で構成される。
【0037】
表示部29は、ユーザに情報を通知する通知部である。表示部29は、例えば液晶ディスプレイまたは有機ELディスプレイで構成される。なお、通知部はこれに限定されず、ブザー等の音で通知するスピーカ、発光、点滅または色等の光で通知するLED等の発光素子、等であってもよい。
【0038】
次に、
図3~
図6を参照して、上述したバイタルデータ測定制御装置20によるバイタルデータの測定状態の判定動作について説明する。
図3は、第1実施形態に係るバイタルデータ測定制御装置
20によるバイタルデータの測定状態の判定動作のフローチャートであり、
図4~6は、画像データの一例を示す図である。
【0039】
ユーザは、バイタルデータ測定制御装置20の操作部28を操作して、バイタルデータの測定を開始する。すると、
図3に示すように、バイタルデータ測定制御装置20は、ユーザの認証、機器の認証、および測定状態の判定を行う。
【0040】
まず、制御部22は、カメラ21を制御して、ユーザの顔および機器10を撮像し、ユーザの顔および機器10を含む画像データを取得する(ステップS11)。制御部22は、取得した画像データを画像処理部26に送信する。なお、制御部22は、画像データを記憶部24に一旦記憶させ、画像処理部26は、記憶部24に記憶された画像データを取得してもよい。また、制御部22は、画像データを表示部29に表示させてもよい。
【0041】
次に、
図4に示すように、画像処理部26は、画像データに基づいて、ユーザの顔の認証を行う(ステップS12)。
【0042】
例えば、記憶部24は、ユーザの顔の特徴量を、ユーザの登録情報として予め記憶する。ユーザの顔の特徴量は、予めカメラでユーザ自身を撮像した画像データであってもよいし、免許証、パスポートなどの公的機関が発行する写真を予めカメラで撮像した画像データであってもよい。画像処理部26は、画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザ登録情報とを照合することにより、画像データにおけるユーザの顔が登録されたユーザの顔であるか否かの認証を行う。
【0043】
このとき、制御部22は、画像データにおいてユーザの顔および機器10が適切な位置に配置されるように、カメラ21のパンおよびチルトの制御を行ってもよい。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
【0044】
また、
図5に示すように、制御部22は、画像データにおいてユーザの顔および機器10が適切な位置に配置されるように、カメラ21のズームおよび広角モードの制御を行ってもよい。これにより、撮像したい対象を撮像するために、カメラの移動またはユーザの移動を最小限に抑制することができる。
【0045】
例えば、制御部22は、ユーザの顔を拡大するように、カメラ21のズームアップ制御を行ってもよい。このとき、上述したユーザの顔の認証を行ってもよい。これにより、ユーザの顔の認証の精度を向上させることができる。また、制御部22は、ユーザの顔および機器10を含むように、カメラ21のズームアウト制御または広角モード制御を行ってもよい。このとき、後述する機器10の認証を行ってもよい。
【0046】
ユーザの顔の認証ができた場合、画像処理部26は、画像データに基づいて、機器10の認証を行う(ステップS13)。
【0047】
例えば、記憶部24は、複数の機器の特徴量を、機器の登録情報として予め記憶する。機器の特徴量としては、機器の種類ごとの形状、機器ごとのシリアル番号またはQRコード(登録商標)等の識別情報等が挙げられる。機器の特徴量は、例えばホスト装置30から取得されればよい。画像処理部26は、画像データにおける機器10の形状または識別情報(シリアル番号またはQRコード等)と、記憶部24に予め記憶された機器登録情報(機器の形状、またはシリアル番号またはQRコード等の識別情報)とを照合することにより、画像データにおける機器10が登録された機器であるか否かの認証を行う。
【0048】
或いは、記憶部24は、複数の機器の特徴量と識別情報とを関連付けて、機器の登録情報として予め記憶する。機器の特徴量としては、機器の種類ごとの形状、機器ごとのQRコード等が挙げられ、機器の識別情報としては、機器ごとのシリアル番号等が挙げられる。まず、ユーザは、測定時に、使用する機器のシリアル番号等の識別情報を入力する。これにより、画像処理部26は、入力された識別情報と、記憶部24に予め記憶された機器登録情報(識別情報)とを照合することにより、複数の種類の機器の中から機器の種類を特定することができる。また、機器の種類から機器の取り付け位置をも特定することができる。その結果、その後の機器の認証精度を高めることができる。
【0049】
その後、画像処理部26は、画像データにおける機器の形状またはQRコードと、記憶部24に予め記憶された機器登録情報であって、特定された機器の種類に対応する機器登録情報とを照合することにより、画像データにおける機器10が登録された機器であるかの認証を行う。
【0050】
機器10の認証ができた場合、画像処理部26は、画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う(S14)。
【0051】
機器10がユーザに装着されていると判定された場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態であると判定する(S15)。
【0052】
一方、ステップS12においてユーザの顔の認証ができない場合、ステップS13において機器10の認証ができない場合、または、ステップS14において機器10がユーザに装着されていない場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態でないと判定する(S16)。
【0053】
測定制御装置20は、上述したステップS11~S16の動作を繰り返し継続し、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0054】
測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定と並行して、機器10によるユーザのバイタルデータの測定を実行してもよい。この場合、例えば、機器10によって測定されたバイタルデータは測定時間に関する情報を含み、正しい測定状態の期間の判定情報は判定時間に関する情報を含む。そして、上述した正しい測定状態の期間(判定時間)とバイタルデータの測定時間とに基づいて、正しい測定状態の期間(判定時間)に測定されたバイタルデータを、信頼性が高いデータと判断することができる。
【0055】
或いは、測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定に応じて、正しい測定状態であると判定された期間に機器10によるユーザのバイタルデータの測定を実行し、正しい測定状態であると判定された期間以外では機器10によるユーザのバイタルデータの測定を実行しないようにしてもよい。例えば、
図6に示すように、画像データから機器10が外れた場合(S13においてNO)、バイタルデータの測定を終了する。
【0056】
以上説明したように、本実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法によれば、
・画像データに基づいて、ユーザの顔の認証および機器10の認証を行い、
・画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行い、
・ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
これにより、正しいユーザが正しい機器10を装着している正しい測定状態である期間に測定されたバイタルデータを判別することができる。換言すれば、正しいユーザが正しい機器10を装着している正しい測定状態でない期間に測定されたすり替えバイタルデータを判別することができる。その結果、種々のバイタルデータのすり替えを抑制することができる。
【0057】
(変形例1)
なお、上述したステップS11~S16の動作を繰り返し行う際、制御部22は、ユーザの動きに追従するように、カメラ21のパン、チルト、ズームまたは広角モードの制御を行ってもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
【0058】
(変形例2)
また、制御部22は、表示部(通知部)29に、適切な位置に移動するようユーザに促す通知を行わせてもよい(例えば、
図7の矢印およびメッセージ)。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
【0059】
(変形例3)
また、制御部22は、表示部(通知部)29に、機器
10の正しい取り付け位置をユーザに通知させてもよい(例えば、
図8の矢印)。これによれば、ユーザは機器10を正しい位置に装着でき、より正しい測定状態となる。
【0060】
(変形例4)
また、上述したステップS14における正しい測定状態の判定において、画像処理部26は、更に、機器10の取り付け位置が正しいか否かの判定を行ってもよい。これによれば、測定データの精度を向上することができる。
【0061】
(変形例5)
また、上述したステップS14における正しい測定状態の判定において、画像処理部26は、ユーザの姿勢が正しいか否かの判定を行ってもよい。例えば、画像処理部26は、画像データにおける、機器10の種類、ユーザの顔および顔以外の部位の位置関係(例えば、
図9の顔、肩、肘、手の位置関係)、およびユーザの体全体の単位時間当たりの動きに基づいて、機器
10の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する。これによれば、測定データの精度を向上することができる。
【0062】
(第2実施形態)
上述した第1実施形態では、ユーザの顔および機器10が1つの画像データに含まれる形態について説明した。しかし、遠隔診療の分野では、機器10の取り付け位置、ユーザと測定制御装置20との距離の制限、カメラ21の機能(例えば、パン、チルト、ズームおよび広角モード)の制限等により、ユーザの顔と機器10とを1つの画像データに収めることが困難であることがある。第2実施形態では、ユーザの顔と機器10とが異なる画像データに含まれる形態について説明する。
【0063】
第2実施形態に係るバイタルデータ測定システム1およびバイタルデータ測定制御装置20の構成は、
図1および
図2に示す第1実施形態に係るバイタルデータ測定システム1およびバイタルデータ測定制御装置20の構成と同一である。なお、第2実施形態では、バイタルデータ測定制御装置20における制御部22および画像処理部26の機能および動作が、第1実施形態と異なる。
【0064】
<<2つの画像データの場合>>
制御部22は、カメラ21を制御して、ユーザの顔およびユーザの顔以外の部位を含むユーザ画像データと、ユーザの顔以外の部位および機器10を含む機器画像データとを取得する。制御部22は、ユーザ画像データおよび機器画像データを画像処理部26に送信する。なお、制御部22は、ユーザ画像データおよび機器画像データを順に表示部29に表示させてもよい。
【0065】
画像処理部26は、ユーザ画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、機器画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、機器画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
【0066】
また、画像処理部26は、ユーザ画像データにおけるユーザの顔以外の部位と機器画像データにおけるユーザの顔以外の部位との関連性、および、機器画像データにおけるユーザの顔以外の部位と機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
【0067】
画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
【0068】
<<3つ以上の画像データの場合>>
制御部22は、カメラ21を制御して、ユーザの顔およびユーザの顔以外の第1部位を含む第1ユーザ画像データと、ユーザの顔以外の第n-1部位および第n-1部位以外の第n部位を含む第nユーザ画像データと、ユーザの第n部位および機器を含む機器画像データとを取得する(nは、2以上の整数であって、ユーザ画像データの数、すなわち(画像データの数-1)である。)。制御部22は、第1ユーザ画像データ、第nユーザ画像データおよび機器画像データを画像処理部26に送信する。なお、制御部22は、第1ユーザ画像データ、第nユーザ画像データおよび機器画像データを順に表示部29に表示させてもよい。
【0069】
画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔の認証を行う。例えば、画像処理部26は、第1ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶されたユーザの登録情報との照合を行う。また、画像処理部26は、機器画像データに基づいて機器10の認証を行う。例えば、画像処理部26は、機器画像データにおける機器10と、記憶部24に記憶された機器の特徴量との照合を行う。
【0070】
また、画像処理部26は、第1ユーザ画像データにおけるユーザの顔以外の第1部位と第nユーザ画像データにおけるユーザの第n-1部位との関連性、第nユーザ画像データにおけるユーザの第n部位と機器画像データにおけるユーザの第n部位との関連性、および、機器画像データにおけるユーザの顔以外の第n部位と機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う。
【0071】
画像処理部26は、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器10を装着している正しい測定状態であると判定する。
【0072】
次に、
図10~
図11を参照して、第2実施形態に係るバイタルデータ測定制御装置20によるバイタルデータの測定状態の判定動作について説明する。
図10は、第2実施形態に係るバイタルデータ測定制御装置
20によるバイタルデータの測定状態の判定動作のフローチャートであり、
図11は、ユーザ画像データおよび機器画像データの一例を示す図である。
【0073】
ユーザは、バイタルデータ測定制御装置20の操作部28を操作して、バイタルデータの測定を開始する。すると、
図10に示すように、バイタルデータ測定制御装置20は、ユーザの認証、機器の認証、および測定状態の判定を行う。
【0074】
まず、上述同様に、制御部22は、カメラ21を制御して、ユーザの顔を撮像し、ユーザの顔を含む第1ユーザ画像データを取得する(ステップS11)。制御部22は、取得した第1ユーザ画像データを画像処理部26に送信する。また、制御部22は、第1ユーザ画像データを表示部29に表示させてもよい。
【0075】
次に、上述同様に、画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔の認証を行う(ステップS12)。例えば、
図11に示すように、画像処理部26は、第1ユーザ画像データにおけるユーザの顔と、記憶部24に予め記憶したユーザ登録情報とを照合することにより、第1ユーザ画像データにおけるユーザの顔が登録されたユーザの顔であるか否かの認証を行う。
【0076】
ユーザの顔の認証ができた場合、上述同様に、画像処理部26は、第1ユーザ画像データに基づいて、機器10の認証を行う(ステップS13)。機器10の認証ができた場合、上述同様に、ステップS14に進む。
【0077】
一方、機器
10の認証ができない場合、第1ユーザ画像データに機器10が含まれない可能性がある。その場合、画像処理部26は、第1ユーザ画像データに基づいて、ユーザの顔以外の第1部位(
図11では首)の識別を行う(ステップS21)。
【0078】
ユーザの第1部位(
図11では首)の識別ができた場合、制御部22は、カメラ21を移動制御して、ユーザの第1部位(
図11では首)を撮像し、ユーザの第1部位(
図11では首)を含む第2ユーザ画像データを取得する(ステップS22)。制御部22は、取得した第2ユーザ画像データを画像処理部26に送信する。また、制御部22は、第2ユーザ画像データを表示部29に表示させてもよい。
【0079】
画像処理部26は、第1ユーザ画像データにおけるユーザの第1部位(
図11では首)と第2ユーザ画像データにおけるユーザの第1部位(
図11では首)との関連性に基づいて、第2ユーザ画像データにおける第1部位(
図11では首)が、顔認証されたユーザの部位であるかを識別する(ステップS23)。
【0080】
第2ユーザ画像データにおける第1部位(
図11では首)が、顔認証されたユーザの部位であると識別された場合、ステップS13に戻り、上述同様に、画像処理部26は、第2ユーザ画像データに基づいて、機器
10の認証を行う(ステップS13)。機器
10の認証ができた場合、上述同様に、ステップS14に進む。
【0081】
一方、機器
10の認証ができない場合、第2ユーザ画像データに機器10が含まれない可能性がある。その場合、ステップS21~S23およびステップS13の動作を繰り返す。すなわち、画像処理部26は、第2ユーザ画像データに基づいて、ユーザの第1部位(
図11では首)以外の第2部位(
図11では肩)の識別を行う(ステップS21)。
【0082】
ユーザの第2部位(
図11では肩)の識別ができた場合、制御部22は、カメラ21を移動制御して、ユーザの第2部位(
図11では肩)および機器
10を撮像し、ユーザの第2部位(
図11では肩)および機器
10を含む機器画像データを取得する(ステップS22)。制御部22は、取得した機器画像データを画像処理部26に送信する。また、制御部22は、機器画像データを表示部29に表示させてもよい。
【0083】
画像処理部26は、第2ユーザ画像データにおけるユーザの第2部位(
図11では肩)と機器画像データにおけるユーザの第2部位(
図11では肩)との関連性に基づいて、機器画像データにおける第2部位(
図11では肩)が、顔認証されたユーザの部位であるかを識別する(ステップS23)。
【0084】
機器画像データにおける第2部位(
図11では肩)が、顔認証されたユーザの部位であると識別された場合、ステップS13に戻り、上述同様に、画像処理部26は、機器画像データに基づいて、機器
10の認証を行う(ステップS13)。
【0085】
例えば、画像処理部26は、機器画像データにおける機器の形状または識別情報(シリアル番号またはQRコード等)と、記憶部24に予め記憶した機器登録情報(機器の形状、またはシリアル番号またはQRコード等の識別情報)とを照合することにより、機器画像データにおける機器10が登録された機器であるかの認証を行う。
【0086】
或いは、画像処理部26は、まず、ユーザによって入力された識別情報と、記憶部24に予め記憶された機器登録情報(識別情報)とを照合することにより、複数の種類の機器の中から機器の種類を特定する。また、機器の種類から機器の取り付け位置をも特定することができる。その結果、その後の機器の認証精度を高めることができる。その後、画像処理部26は、機器画像データにおける機器の形状またはQRコードと、記憶部24に予め記憶された機器登録情報であって、特定された機器の種類に対応する機器登録情報とを照合することにより、機器画像データにおける機器が登録された機器であるかの認証を行う。機器の認証ができた場合、上述同様に、ステップS14に進む。
【0087】
一方、また機器の認証ができない場合、今回の画像データにも機器が含まれない可能性がある。その場合、ステップS21~S23およびステップS13の動作を繰り返す。このように、ユーザの顔から手先または足先に向けて撮像領域を移動しながら撮像した複数の画像データにおいて、ユーザの部位の関連性に基づいてユーザの顔の認証を継承しながら、機器の認証を行う。そして、ステップS21において、ユーザの部位(例えば、手先、足先)の識別が行われなくなるとステップS16に進む。
【0088】
機器の認証ができた場合、画像処理部26は、上述同様に、機器画像データにおけるユーザと機器10との位置関係に基づいて、機器10がユーザに装着されているか否かの判定を行う(S14)。
【0089】
機器10がユーザに装着されていると判定された場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態であると判定する(S15)。
【0090】
一方、ステップS12においてユーザの顔の認証ができない場合、ステップS21においてユーザの顔以外の部位の識別ができなくなった場合、ステップS23においてユーザの顔以外の部位が顔認証されたユーザの部位であると識別されない場合、または、ステップS14において機器がユーザに装着されていない場合、画像処理部26は、正しいユーザが正しい機器を装着している正しい測定状態でないと判定する(S16)。
【0091】
測定制御装置20は、上述したステップS11~S16およびステップS21~S23の動作を繰り返し継続し、ユーザおよび機器10が認証されており、かつ、機器10がユーザに装着されていると判定されている期間を、正しいユーザが正しい機器を装着している正しい測定状態であると判定する。
【0092】
或いは、測定制御装置20は、機器画像データのみに基づいて、ステップS13~S16およびステップS21~S23の動作を繰り返し継続するようにしてもよい。
【0093】
測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定と並行して、機器10によるユーザのバイタルデータの測定を実行してもよい。この場合、例えば、機器10によって測定されたバイタルデータは測定時間に関する情報を含み、正しい測定状態の期間の判定情報は判定時間に関する情報を含む。そして、上述した正しい測定状態の期間(判定時間)とバイタルデータの測定時間とに基づいて、正しい測定状態の期間(判定時間)に測定されたバイタルデータを、信頼性が高いデータと判断することができる。
【0094】
或いは、測定制御装置20の制御部22は、上述した正しい測定状態の期間の判定に応じて、正しい測定状態であると判定された期間に機器10によるユーザのバイタルデータの測定を実行し、正しい測定状態であると判定された期間以外では機器10によるユーザのバイタルデータの測定を実行しないようにしてもよい。
【0095】
以上説明したように、第2実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法でも、上述した第1実施形態のバイタルデータ測定制御装置20およびバイタルデータ測定状態判定方法と同様の利点を得ることができる。
【0096】
(変形例6)
この第2実施形態でも、上述した第1実施形態の変形例1と同様に、制御部22は、ユーザの動きに追従するように、カメラ21のパン、チルト、ズームまたは広角モードの制御を行ってもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
【0097】
(変形例7)
また、この第2実施形態でも、上述した第1実施形態の変形例2と同様に、制御部22は、表示部(通知部)29に、適切な位置に移動するようユーザに促す通知を行わせてもよい。これによれば、ユーザの顔および機器10が画像データから外れ難くなり、バイタルデータのすり替えをより抑制することができる。
【0098】
(変形例8)
また、この第2実施形態でも、上述した第1実施形態の変形例3と同様に、制御部22は、表示部(通知部)29に、機器の正しい取り付け位置をユーザに通知させてもよい。これによれば、ユーザは機器10を正しい位置に装着でき、より正しい測定状態となる。
【0099】
(変形例9)
また、この第2実施形態でも、上述した第1実施形態の変形例4と同様に、ステップS14における正しい測定状態の判定において、画像処理部26は、更に、機器10の取り付け位置が正しいか否かの判定を行ってもよい。これによれば、測定データの精度を向上することができる。
【0100】
(変形例10)
また、この第2実施形態でも、上述した第1実施形態の変形例5と同様に、ステップS14における正しい測定状態の判定において、画像処理部26は、ユーザの姿勢が正しいか否かの判定を行ってもよい。例えば、画像処理部26は、機器画像データにおける機器10の種類、ユーザ画像データおよび機器画像データにおけるユーザの顔および顔以外の部位の位置関係、およびユーザの体全体の単位時間当たりの動きに基づいて、機器の種類に応じた安静な姿勢である正しい測定状態であるか否かを判定する。これによれば、測定データの精度を向上することができる。
【0101】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、種々の変更、変形および組み合わせが可能である。例えば、上述した実施形態では、1種類のバイタルデータ測定機器10によって測定された1種類のバイタルデータを取得するバイタルデータ測定制御装置20およびバイタルデータ測定システム1を例示した。しかし、本発明はこれに限定されず、複数種類のバイタルデータ測定機器によって測定された複数種類のバイタルデータを同時に取得するバイタルデータ測定制御装置およびバイタルデータ測定システムにも適用可能である。
【0102】
例えば、本発明は、
図12に示すように、12誘導心電にも適用可能である。例えば第2実施形態を適用することにより、ユーザ画像データと機器画像データとに基づいて、正しいユーザが、正しい複数の機器(胸の6つの電極および手足首の4つの電極)を装着している正しい測定状態であることを判別することができる。
【0103】
また、上述した実施形態では、制御部22および画像処理部26の機能がバイタルデータ測定制御装置20に備えられたが、制御部22および画像処理部26の機能の一部が医師側のホスト装置に備えられてもよい。これにより、リアルタイムでのオンライン診療の場合、医師がバイタルデータの測定を制御することが可能となる。
【0104】
また、上述した実施形態では、遠隔医療に用いられるバイタルデータ測定機器10およびバイタルデータ測定状態判定方法を例示したが、本発明はこれに限定されず、種々の分野に適用可能である。例えば、特許文献1に記載のように、医療保険または生命保険の分野にも適用可能である。
【符号の説明】
【0105】
1 バイタルデータ測定システム
5 ネットワーク
10 バイタルデータ測定機器
20 バイタルデータ測定制御装置
21 カメラ(撮像装置)
22 制御部
24 記憶部
26 画像処理部
28 操作部
29 表示部(通知部)
30 ホスト装置
40 記録媒体
AP アクセスポイント