特許 7556203 電子装置、電子装置の制御プログラム及び電子装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】電子装置、電子装置の制御プログラム及び電子装置の制御方法

(51)【国際特許分類】

   A61B 5/02 20060101AFI20240918BHJP

   A61B 5/026 20060101ALI20240918BHJP

【ＦＩ】

A61B5/02 310B

A61B5/026 120

【請求項の数】 7

(21)【出願番号】P 2020052205

(22)【出願日】2020-03-24

(65)【公開番号】P2021151304

(43)【公開日】2021-09-30

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】大塚 利彦

(72)【発明者】

【氏名】冨田 高弘

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０１７－０００６１２（ＪＰ，Ａ）

【文献】特開２０１７－０４７２１１（ＪＰ，Ａ）

【文献】特開２００９－０７２４３８（ＪＰ，Ａ）

【文献】特開２００６－０５１２７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０２－５／０３

(57)【特許請求の範囲】

【請求項1】

少なくとも身体の一部が電子装置に対して適正な位置で適正な方向を向いている適正状態で撮像された前記身体の一部の映像に基づいて取得された第１のバイタルデータを適正バイタルデータとして記憶するとともに前記適正バイタルデータからユーザが選択した基準となる適正バイタルデータを前記ユーザの選択の度に更新する記憶部と、
少なくとも身体の一部を撮像する撮像部と、
前記撮像部によって撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得するバイタルデータ取得部と、
前記記憶部に記憶された前記基準となる適正バイタルデータを読み出して、前記基準となる適正バイタルデータと前記第２のバイタルデータと、を比較するバイタルデータ比較部と、
前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが前記適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、を備え、
前記記憶部は、前記適正判定部によって前記適正バイタルデータであると判定された前記第２のバイタルデータを前記適正バイタルデータとして記憶する、
ことを特徴とする電子装置。

【請求項2】

前記適正判定部は、
前記バイタルデータ比較部の比較結果について、前記第２のバイタルデータと前記適正バイタルデータとの差が、所定範囲内の場合に、前記第２のバイタルデータが前記適正バイタルデータと判定する、
請求項１に記載の電子装置。

【請求項3】

前記第２のバイタルデータが、前記適正バイタルデータと判定された場合、前記第２のバイタルデータを前記適正バイタルデータとして出力する、
請求項１又は２に記載の電子装置。

【請求項4】

前記第２のバイタルデータが、前記適正バイタルデータと判定されなかった場合、前記第２のバイタルデータは出力されない、
請求項３に記載の電子装置。

【請求項5】

前記バイタルデータは、
前記映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値である、 請求項１から４のいずれか１項に記載の電子装置。

【請求項6】

電子装置に、
少なくとも身体の一部が前記電子装置に対して適正な位置で適正な方向を向いている適正状態で撮像された前記身体の一部の映像に基づいて取得された第１のバイタルデータを適正バイタルデータとして記憶するとともに前記適正バイタルデータからユーザが選択した基準となるバイタルデータを前記ユーザの選択の度に更新する記憶機能と、
少なくとも身体の一部を撮像する撮像機能と、
前記撮像機能によって撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得するバイタルデータ取得機能と、
前記記憶機能により記憶された前記基準となる適正バイタルデータを読み出して、前記基準となる適正バイタルデータと、前記バイタルデータ取得機能により新たに取得された前記第２のバイタルデータとを比較するバイタルデータ比較機能と、
前記バイタルデータ比較機能による比較結果に基づき、前記第２のバイタルデータが前記適正状態で取得された適正バイタルデータか否かを判定する適正判定機能と、
を実現させ、
前記記憶機能は、前記適正判定機能によって前記適正バイタルデータであると判定された前記第２のバイタルデータを前記適正バイタルデータとして記憶させる、
ことを特徴とする電子装置の制御プログラム。

【請求項7】

少なくとも身体の一部が電子装置に対して適正な位置で適正な方向を向いている適正状態で撮像された前記身体の一部の映像に基づいて取得された第１のバイタルデータを適正バイタルデータとして記憶する第１の記憶ステップと、
前記第１の記憶ステップで記憶された前記適正バイタルデータから基準となる適正バイタルデータをユーザが選択する選択ステップと、
前記選択ステップでユーザが選択した前記基準となるバイタルデータを過去に記憶された基準となるバイタルデータから更新する更新ステップと、
少なくとも身体の一部を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得するバイタルデータ取得ステップと、
前記記憶ステップにおいて記憶された前記基準となる適正バイタルデータを読み出して、前記基準となる適正バイタルデータと前記第２のバイタルデータと比較するバイタルデータ比較ステップと、
前記バイタルデータ比較ステップの比較結果に基づき、前記第２のバイタルデータが前記適正状態で取得された適正バイタルデータか否かを判定する適正判定ステップと、
前記適正判定ステップにおいて前記適正バイタルデータであると判定された前記第２のバイタルデータを前記適正バイタルデータとして記憶する第２の記憶ステップと、
を含むことを特徴とする電子装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子装置、電子装置の制御プログラム及び電子装置の制御方法に関する。

【背景技術】

【0002】

従来、人体の映像を撮像し、その撮像された映像から、人体の血流等のバイタルデータを取得する電子装置が知られている。例えば、特許文献１では、人体として、電子装置を使用するユーザを時系列的に撮像して連続した画像データを生成し、その画像データにおける、例えば血液の吸光特性が異なる赤色の光成分と緑色の光成分との２つの時間的な輝度値変化に基づき、血流等のバイタルデータを検出している。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６０７２８９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、ユーザの時系列的な撮像の際に、ユーザが、撮像領域内での適正状態から移動したり、異なる方向を向いたりすると、バイタルデータの正確な取得ができない。

【0005】

本発明は、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定可能な電子装置、電子装置の制御プログラム及び電子装置の制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一態様の電子装置は、少なくとも身体の一部が電子装置に対して適正な位置で適正な方向を向いている適正状態で撮像された前記身体の一部の映像に基づいて取得された第１のバイタルデータを適正バイタルデータとして記憶するとともに前記適正バイタルデータからユーザが選択した基準となる適正バイタルデータを前記ユーザの選択の度に更新する記憶部と、少なくとも身体の一部を撮像する撮像部と、前記撮像部によって撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得するバイタルデータ取得部と、前記記憶部に記憶された前記基準となる適正バイタルデータを読み出して、前記基準となる適正バイタルデータと前記第２のバイタルデータと、を比較するバイタルデータ比較部と、前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが前記適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、を備え、前記記憶部は、前記適正判定部によって前記適正バイタルデータであると判定された前記第２のバイタルデータを前記適正バイタルデータとして記憶する、ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定可能な電子装置、電子装置の制御プログラム及び電子装置の制御方法を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る計測システムの構成を示す構成図である。

【図2】本発明の一実施形態に係る電子装置の前面の外観構成を示す構成図である。

【図3】本発明の一実施形態に係る電子装置の側面の外観構成を示す構成図である。

【図4】本発明の一実施形態に係る電子装置のハードウェアの構成を示すブロック図である。

【図5】本発明の一実施形態に係る電子装置の機能的構成のうち、バイタルデータの適正判定処理を実行するための機能的構成を示す機能ブロック図である。

【図6】本発明の一実施形態に係る電子装置のバイタルデータ取得部により取得された緑色の光Ｇの輝度値の時間的変化を示したグラフである。

【図7】本発明の一実施形態に係る電子装置が実行するバイタルデータの適正判定処理の流れを説明するフローチャートである。

【図8】本発明の一実施形態に係る電子装置が実行するバイタルデータの適正判定処理の流れを説明するフローチャートである。

【図9】本発明の一実施形態に係る電子装置の撮像部により撮像されるユーザの映像の一例を示した図である。

【図10】緑色の光の輝度値以外のバイタルデータとして、赤色の光の輝度値、及び青色の光の輝度値の時間変化の例を示したグラフである。

【図11】緑色の光の輝度値以外のバイタルデータとして、脈波及び脈拍数の時間変化の例を示したグラフである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を用いて説明する。以下の説明において電子装置１として、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーを例にして説明する。ただし、電子装置１は、スマートミラーに限定されず、スマートフォン、タブレット、パーソナルコンピュータ等であってもよい。
スマートミラーとしての電子装置１は、鏡を視認する対象者としてのユーザを撮像し、その撮像した映像に基づいてユーザのバイタルデータを取得する。

【0010】

［システム構成］
図１は、本実施形態に係る電子装置１が含まれる計測システムＳの全体構成を示すブロック図である。図１に示すように、計測システムＳは、複数の電子装置１、ネットワーク２及びサーバ群３を含む。電子装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の電子装置１が計測システムＳに含まれていてもよい。なお、以下の説明において、ｎ台の電子装置１を特に区別することなく説明するので、符号の末尾のアルファベットを省略し、単に「電子装置１」と称する。

【0011】

電子装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。

【0012】

ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。

【0013】

サーバ群３には、電子装置１と協働する各種のサーバが含まれる。
例えば、サーバ群３には、電子装置１のユーザを認証するための認証サーバ３ａが含まれる。ユーザの認証には、顔認証や表情認識も含まれる。
また、例えば、サーバ群３には、電子装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバ３ｂが含まれる。
更に、例えば、サーバ群３には、ユーザのプロファイルデータを格納する測定データ格納サーバ３ｃが含まれる。ユーザのプロファイルデータには、ユーザのバイタルデータ等の測定データや、ユーザに関する設定データやユーザによる電子装置１の利用履歴等が含まれる。

【0014】

なお、図１に示した計測システムＳは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。

【0015】

図２は、電子装置１の前面の外観構成を示す構成図である。また、図３は、電子装置１の側面の外観構成を示す構成図である。電子装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。

【0016】

［外観構成及びハードウェア構成］
図２及び図３に示すように、電子装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、電子装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。

【0017】

図３（Ａ）に示すように、ユーザは、電子装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、電子装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、電子装置１を自立して設置することができる。なお、電子装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。

【0018】

図４は、電子装置１のハードウェアの構成を示すブロック図である。図２及び図４に示すように、電子装置１の本体部３０は、撮像部１６と、入力部１７と、表示部１８と、センサ部２３と、照明部２４と、スピーカ２５とを備える。電子装置１は、さらに、図４に示すように、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェイス１５と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備える。

【0019】

表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する各種情報に対応する画像を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。ユーザは、表示部１８を視認することにより、これらの多様なデータを一度に把握することができる。

【0020】

撮像部１６は、電子装置１の利用時に、表示部１８に正対するユーザを被写体として撮像するカメラである。撮像部１６は、表示部１８に正対するユーザの顔を含むユーザ画像５１を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。

【0021】

撮像部１６は、図示しないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

【0022】

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。

【0023】

入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、「小顔エステ」、「笑顔トレーニング」等の各種のモードへの切り換えボタンや、電子装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。また、入力部１７は、表示部１８に設けられたタッチパネル部分も含む。さらに、入力部１７は、マイクであってもよく、この場合、指示音声に応じて各種情報が入力可能である。

【0024】

センサ部２３は、気温、湿度、照度等を測定する。センサ部２３は、温度センサ、湿度センサ、照度センサ等の複数のセンサによって構成させる。センサ部２３は、図中に示すように、例えば、本体部３０の前面であって、表示部１８の上部に配置される。

【0025】

照明部２４は、表示部１８に正対するユーザを照らすために発光する部分である。照明部の数は複数であってもよい。照明部２４は、図中に示すように、例えば、表示部１８の上部に設けられているが、これに限らず下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。照明部２４が、照度や色成分を調整してユーザを照らすことにより、電子装置１は、照明付きの鏡として機能する。照明部２４の照度は、外光以上であることが好ましい。照明部２４の照度を外光以上の支配的な光とすることで、後述するバイタルデータのより正確な取得が可能となる。

【0026】

スピーカ２５は、ガイダンスを行うための補助データを、ガイド画像５３とともに発音する部分である。スピーカ２５は、図中に示すように、例えば、本体部３０の前面であって、表示部１８の右下に配置されている。

【0027】

以上、電子装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、電子装置１の外観構造は、この例に限定されない。例えば、入力部１７の数や配置が変更されてもよい。

【0028】

図４に示すＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

【0029】

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

【0030】

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェイス１５も接続されている。入出力インターフェイス１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、センサ部２３と、照明部２４と、スピーカ２５と、が接続されている。

【0031】

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。記憶部１９には、表示処理におけるガイダンスに関する各種のデータや、ユーザの実像の代替となるアバターに関する各種のデータや、計測を行なうための情報や計測結果を表示するための情報や計測結果を示す情報等が格納される。さらに記憶部１９には、後述するバイタルデータが格納される。なお、上述した各種のデータは、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。

【0032】

通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。

【0033】

ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェイスにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。

【0034】

バッテリ２２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって電子装置１が動作する。

【0035】

なお、電子装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、電子装置１は、振動用モータ等で構成され、バイブレーション信号を出力する出力部等を更に備えてもよい。

【0036】

［機能的構成］
図５は、電子装置１の機能的構成のうち、バイタルデータの適正判定処理を実行するための機能的構成を示す機能ブロック図である。

【0037】

バイタルデータとは、撮像部１６によって撮像されたユーザの身体の一部の映像から取得される身体に関する生体情報である。換言すると、バイタルデータとは、撮像部１６により取得された身体の一部の映像より取得される輝度値の時間推移及び輝度値の時間推移から取得される血流に関する生体情報である。血流に関する情報は、例えば、赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波を解析して、その解析結果から取得される。バイタルデータは、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等を含む。

【0038】

バイタルデータの適正判定処理とは、電子装置１が、ユーザから取得したバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する一連の処理である。本実施形態において適正状態とは、ユーザが、電子装置１（撮像部１６）に対して適正な位置で適正な方向を向いている状態である。

【0039】

次に、バイタルデータの適正判定処理を実行する各機能ブロックについて説明する。図５に示すように、制御部としてのＣＰＵ１１において、バイタルデータの適正判定処理を実行する部分として、バイタルデータ取得部１１１と、バイタルデータ比較部１１２と、適正判定部１１３と、通信処理部１１４と、が機能する。

【0040】

バイタルデータ取得部１１１は、撮像部１６により取得された身体の一部の映像より、赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波を解析して、その解析結果からユーザに関するバイタルデータを取得する。バイタルデータは、撮像部１６が取得した映像に基づいて取得されるので、ユーザに接触することなく逐次取得可能である。また、バイタルデータは、実施形態において、撮像部１６が取得した映像うちの一定の関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）内の画像より取得される。ただし、バイタルデータは、複数の関心領域の画像を対象として計測を行ってもよく、映像全体の領域内の画像より取得されてもよい。

【0041】

記憶部１９は、バイタルデータ取得部１１１により取得されたバイタルデータを記憶する。

【0042】

バイタルデータ比較部１１２は、バイタルデータ取得部１１１により、適正状態で取得されて記憶部１９に記憶されている基準となる第１のバイタルデータを読み出す。そして第１のバイタルデータと、バイタルデータ取得部１１１によりリアルタイムに取得された第２のバイタルデータとを比較する。

【0043】

適正判定部１１３は、バイタルデータ比較部１１２の比較結果に基づき、リアルタイムに取得された第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する。ここで、図６を参照し、バイタルデータとして緑色の光Ｇの輝度値を採用する場合における適正判定部１１３による適正処理の一例について説明する。

【0044】

図６は、緑色の光Ｇの輝度値の時間的変化を示したグラフである。横軸は時間軸である。縦軸は緑色の光Ｇの輝度値であり、上に行くほど輝度値が低く、下に行くほど輝度値が高い状態を示す換算輝度値である。この例では、ＲＧＢ各色８ビットの出力のイメージセンサを用いて緑信号の輝度を検出し、輝度値の最大値２５５から検出した緑信号の輝度値を減算した数値を輝度値としてプロットされている。また、図６中のＴ１は、バイタルデータ取得部１１１が取得する１回分の期間を示すものとする。

【0045】

図６では、適正判定部１１３が、新しく取得される緑色の光Ｇの輝度値を監視し、事前に設定される緑色の光Ｇの基準値（輝度値）を下回るか否かに基づいて適正状態か非適正状態かを判定する。上述の通り、輝度値は換算輝度値であるため、基準値を下回る場合は検出される輝度値が相対的に明るくなっていることを示す。この状態は、ユーザが撮像部１６の撮影範囲からいなくなり、壁等の反射によって生じると考えられる。そこで、適正判定部１１３は、新たに取得された輝度値が基準値を下回った場合に、非適正状態となったと判定する。なお、事前に設定される基準値は、適正状態で取得されるユーザの輝度値に基づいて設定されるものであり、具体的な数値等については後述する。この結果、第１期間及び第３期間では輝度値が基準値を上回るため適正状態と判定され、第２期間及び第４期間では輝度値が基準値を下回るため非適正状態と判定されることになる。適正状態と判定されている期間は単位時間Ｔ１ごとにバイタルデータが繰り返し取得され、当該バイタルデータが保存されることになる。一方、非適正状態では取得したバイタルデータは保存されない。

【0046】

通信処理部１１４は、例えば、ユーザ認証のためにサーバ群３に含まれる認証サーバ３ａと通信する。また、通信処理部１１４は、第１のバイタルデータや第２のバイタルデータの記憶や読み出しのために、サーバ群３に含まれる測定データ格納サーバ３ｃと通信する。

【0047】

次に、バイタルデータの適正判定処理についてフローチャートを参照して説明する。図７及び図８はバイタルデータの適正判定処理のフローチャートの具体的な例を示す。バイタルデータの適正判定処理は、図７に示す第１のバイタルデータ取得処理と、図８に示す第２のバイタルデータ取得判定処理と、を備える。

【0048】

［第１のバイタルデータ取得処理］
（ステップＳ１０１）
ユーザが電子装置１をＯＮにすると、電子装置１は、通信処理部１１４によりネットワーク２を介して、サーバ群３に含まれる各サーバに接続する。ユーザは、認証サーバ３ａにログインし、認証サーバ３ａよりユーザが所有する端末のＩＤを取得する。なおＩＤは、１つの端末を複数ユーザが使用する場合、ユーザごとに取得可能である。

【0049】

（ステップＳ１０２）
次いで、電子装置１は、表示部１８に種々のメニューを表示する。メニューは、例えば「小顔エステ」や「笑顔トレーニング」等のメニューを含む。

【0050】

（ステップＳ１０３）
表示されたメニューの中から、ユーザにより、例えば「小顔エステ」や「笑顔トレーニング」等の何らかのメニューが選択されると（ステップＳ１０３，ＹＥＳ）、電子装置１は、次のステップＳ１０４に進む。なお、ユーザによるメニューの選択は、入力部１７から行われる。入力部１７としては、例えば表示部１８のタッチパネルや、表示部１８の下に設けられたにボタンが用いられる。電子装置１は、ユーザによる作業メニューの選択が行われない場合（ステップＳ１０３，ＮＯ）、ステップＳ１０２に戻る。

【0051】

（ステップＳ１０４）
ステップＳ１０４において、電子装置１は、自動的、あるいはユーザからの指示により、照明部２４をＯＮにし、撮像部１６によるユーザの撮像を開始する。電子装置１は、撮像された映像内において、輪郭や部位のパターンマッチングや肌色識別等によるフェイストラッキングを開始する。このときの照明部２４の明るさは、ユーザから得られる映像の輝度の正確性を保つため、外光と比べて支配的であることが好ましい。なお、電子装置１は、フェイストラッキングの際、より正確に顔を認識するために、表示部１８に、例えばガイド枠を表示させてもよい。また、電子装置１は、顔のガイド枠とともに顔のガイド枠内にユーザの顔を移動させることを伝えるガイドとして、例えば、「枠内に顔を移動させてください」といったテキストを表示してもよい。

【0052】

（ステップＳ１０５）
ユーザは正面を向いているものとする。そして、フェイストラッキングにより、顔の位置が認識されると（ステップＳ１０５，ＹＥＳ）、電子装置１は、その位置に基づいて関心領域（ＲＯＩ，Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓ）を設定し、次のステップＳ１０６に進む。フェイストラッキングにおいて顔の位置が特定されない場合（ステップＳ１０５，ＮＯ）、電子装置１は、顔の位置が特定されるまで、ステップＳ１０５を繰り返す。

【0053】

（ステップＳ１０６）
電子装置１のバイタルデータ取得部１１１は、関心領域内の映像信号に含まれる赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波の解析を開始する。実施形態において、バイタルデータ取得部１１１は、緑色の光Ｇの輝度値を解析する。

【0054】

本実施形態において緑色の光Ｇの輝度値を用いるのは、血中のヘモグロビンが緑色の光Ｇを多く吸収する性質を有しているからである。血流が上昇すると、皮膚表面に血液の量が多くなり、単位時間あたりのヘモグロビンの量が増加する。そうすると、血流が上昇する前に比べて、ヘモグロビンによって吸収される緑色の光Ｇが多くなる。したがって、血流の上昇時に検出される緑色の光Ｇの輝度値が低下する。したがって、緑色の光Ｇの輝度値を用いることにより、血流量変化の把握を良好に行うことができる。

【0055】

なお、撮像部１６の撮像素子が光を輝度値に変換する場合は、撮像素子の手前にＲＧＢのフィルタを配置し、ＲＧＢそれぞれの画素の輝度値を算出する。この場合、緑色のフィルタを通った光が緑色の光Ｇの輝度値となる。撮像素子の感度が波長に対してフラットであっても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑色の光Ｇを検出できる。

【0056】

ただし、バイタルデータは、緑色の光Ｇ以外の、赤色の光Ｒ、青色の光Ｂの輝度値の映像脈波を解析して取得してもよい。また、光の外乱を除くために、例えば緑色の光Ｇの輝度値から赤色の光Ｒの輝度値を引いた輝度値差分（Ｇ－Ｒ）や、赤色の光Ｒの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｒ／Ｇ）を用いてもよい。このような輝度値差分や輝度値割合を用いることで、バイタルデータの取得精度を、環境に合わせて向上させることができる。

【0057】

（ステップＳ１０７）
バイタルデータ取得部１１１による映像脈波の解析は、単位時間ごとに行う。単位時間は、例えば、動画像のフレームレートである。バイタルデータ取得部１１１は、この単位時間ごとの映像脈波の解析を、時間Ｔの間、繰り返して行う。時間Ｔは、脈拍数等の安定したデータが取得できる任意の時間であり、実施形態では一例として５秒である。そして、バイタルデータ取得部１１１は、緑色の光Ｇの映像脈波を解析して、その解析結果からユーザに関する、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等であるバイタルデータを取得する。

【0058】

（ステップＳ１０８）
そして、電子装置１は、時間Ｔ経過しない場合（ステップＳ１０８，ＮＯ）、ステップＳ１０７へ戻り、バイタルデータの解析を継続する。
電子装置１は、時間Ｔ経過すると（ステップＳ１０８，ＹＥＳ）、次のステップＳ１０９へ進む。

【0059】

（ステップＳ１０９）
時間Ｔ経過後、電子装置１は、得られた第１のバイタルデータの平均値を算出して、その第１のバイタルデータの平均値や、ステップＳ１０５で設定された関心領域の位置を、表示部１８に表示する。また、電子装置１は、第１のバイタルデータが適正であるかどうかをユーザが判断する選択部も表示部１８に表示する。選択部は、例えば「基準データとして保存（バイタルデータ適正）」と、「基準データを取り直す（バイタルデータ不適正）」との何れかを選択可能なタッチパネルで表示される。

【0060】

（ステップＳ１１０）
ユーザは、表示部１８に表示された関心領域が表示部１８の中央から大きくずれていたり、第１のバイタルデータの平均値が適正値とかけ離れていたりした場合、「基準データを取り直す」を選択することができる。電子装置１は、ユーザがステップＳ１０９で、「基準データを取り直す」を選択した場合、第１のバイタルデータは適正でないとして、ステップＳ１０４へ戻る。
また、電子装置１は、ユーザがステップＳ１０９で、「基準データとして保存」を選択した場合、第１のバイタルデータは適正であるとして、次のステップＳ１１１へ進む。

【0061】

（ステップＳ１１１）
電子装置１は、第１のバイタルデータを基準値として記憶部１９に保存する。この基準値としての第１のバイタルデータは、フェイストラッキングを用いて、ユーザの顔を特定し、正面を向いているユーザの顔の領域における緑色の光Ｇの輝度値より求めたバイタルデータであり、さらにユーザにより適正であると判定されたものである。したがって、ユーザのバイタルデータとしての信頼性が高い。
なお、上述したステップＳ１０４からステップＳ１１１の第１のバイタルデータの取得ステップは、ステップＳ１０３のメニュー選択が行われる度に行われる。これは、基準となる第１のバイタルデータは経年変化が考えられるので、第１のバイタルデータを、ステップＳ１０３のメニュー選択が行われる度に更新するためである。ただしこれに限らず、第１のバイタルデータの取得は、１日１回、１週間に１回等であってもよい。

【0062】

（ステップＳ１１２）
図８は、図７の第１のバイタルデータ取得処理から続く、第２のバイタルデータ取得判定処理のフローチャートの具体的な例である。ステップＳ１０６と同様に、電子装置１のバイタルデータ取得部１１１は、関心領域内の映像信号に含まれる緑色の光Ｇの輝度値の時間推移である映像脈波の解析を開始する。バイタルデータ取得部１１１による映像脈波の解析は、ステップＳ１０７と同様に単位時間ごとに行う。単位時間は、例えば、動画像のフレームレートである。

【0063】

（ステップＳ１１３）
バイタルデータ取得部１１１は、単位時間ごとの映像脈波の取得を、時間Ｔ１の間、繰り返して行う。時間Ｔ１は一例として時間Ｔより短い３秒である。この場合、第１のバイタルデータの計測時間より短くなるので、バイタルデータの測定がスムーズに進む。ただし、計測時間は３秒に限らず任意でよい。例えば、３秒より長い５秒等にすると、判定の精度を３秒間の場合より向上することができる。
そして、バイタルデータ取得部１１１は、時間Ｔ１の間、繰り返して緑色の光Ｇの輝度値の映像脈波を解析して、その解析結果からユーザに関する、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等である、リアルタイムで得られた第２のバイタルデータを取得する。さらにバイタルデータ取得部１１１は第２のバイタルデータの時間Ｔ１の平均値を求める。

【0064】

（ステップＳ１１４）
電子装置１は、ステップＳ１１３で求めた、リアルタイムの第２のバイタルデータの平均値を、第１のバイタルデータと比較する。そして、第２のバイタルデータと第１のバイタルデータとの差が所定範囲内かどうかを判定する。なお、所定範囲内に設定される数値は、実測値や理論値に基づいて設定されるものである。

【0065】

例えば、緑色の光Ｇの輝度値の場合、第２のバイタルデータの基準のバイタルデータに対する差が６％以内（所定範囲内）の場合、ユーザが正面を向いている適正状態で取得された適正バイタルデータであると判定する。第２のバイタルデータの基準のバイタルデータに対する差が６％より大きい場合、非適正状態で取得された非適正バイタルデータあると判定する。

【0066】

緑色の光Ｇの振幅である脈波振幅値（ＰＡ）の場合、第２のバイタルデータに対する基準のバイタルデータの差が１４％以内（所定範囲内）の場合、ユーザが正面を向いている適正状態で取得された適正バイタルデータであると判定する。第２のバイタルデータの基準のバイタルデータに対する差が１４％より大きい場合、非適正状態で取得された非適正バイタルデータあると判定する。

【0067】

（ステップＳ１１５）
ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定されると、第２のバイタルデータは記憶部１９に保存される。
なお、ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定された場合、第２のバイタルデータを適正バイタルデータとして、表示部１８より出力するようにしてもよい。
また、この場合、ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定されなかった場合、第２のバイタルデータは出力されない。

【0068】

（ステップＳ１１６）
ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、非適正状態で取得されたであると判定されると、第２のバイタルデータは削除される。このように不要なデータを削除することにより、記憶部１９に不要なデータを格納する必要がなくなる。ただし非適正バイタルデータを、計測不能データとして記憶部１９に保存してもよい。

【0069】

（ステップＳ１１７）
ステップＳ１１２からステップＳ１１５の第２のバイタルデータ取得判定処理の実行時間が所定時間未満の場合（ステップＳ１１７，ＮＯ）、ステップＳ１１２に戻る。所定時間は、一例として３分程度である。
第２のバイタルデータ取得判定処理の実行時間が所定時間以上になると、第２のバイタルデータ取得判定処理は終了する（ステップＳ１１７，ＹＥＳ）。

【0070】

（ステップＳ１１８）
第２のバイタルデータ取得判定処理が終了すると、電子装置１は、通信処理部１１４を介して第２のバイタルデータを測定データ格納サーバ３ｃに保存する。この際、第２のバイタルデータは、タイムスタンプ、センサ部２３により測定された照度、温度、湿度情報とともに保存される。

【0071】

（ステップＳ１１９）
以上の工程を経てバイタルデータの適正判定処理が終了する。なお、バイタルデータの適正判定処理は、例えば３０分ごとに、Ｓ１０２又はＳ１１２から開始されるようにしてもよい。

【0072】

次に、本発明の一実施形態に係る電子装置１の実施例について図９～図１１を参照して説明する。

【0073】

図９は、撮像部１６により撮像されるユーザの映像の一例を示した図である。図９（Ａ）は、第１のバイタルデータを求めたとき、及びそのときと同じように、ユーザが撮像部１６に対して正面を向いている状態、図９（Ｂ）はユーザが撮像部１６に対して横を向いている状態、図９（Ｃ）はユーザが撮像部１６に対して正面を向いているが、目が下を向いている状態、図９（Ｄ）はユーザが撮像部１６の撮影範囲から外れた状態を示す。

【0074】

図１０は緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの輝度値の時間変化の例を示したグラフである。図１０中の期間Ａは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態、期間Ｂはユーザが撮像部１６に対して横を向いている図９（Ｂ）の状態、期間Ｃはユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態、期間Ｄはユーザが撮像部１６の撮影範囲から外れた図９（Ｄ）の状態のときを示す。

【0075】

図１１は、緑色の光Ｇの輝度値以外のバイタルデータとして、脈波及び脈拍数の時間変化の例を示したグラフである。図１０と同様に、図１１中の期間Ａは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態、期間Ｂはユーザが撮像部１６に対して横を向いている図９（Ｂ）の状態、期間Ｃはユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態、期間Ｄはユーザが撮像部１６の撮影範囲から外れた図９（Ｄ）の状態のときを示す。

【0076】

期間Ａは、ユーザが第１のバイタルデータを取得したときと同じように正面を向き、且つ関心領域内に顔が存在する時間である。期間Ａでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値の時間変化が少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。

【0077】

期間Ｂは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態から、撮像部１６に対して横を向いた図９（Ｂ）の状態になり、横向きを維持し、その後、撮像部１６に対して、また正面を向いた図９（Ｃ）の状態になるまでの時間である。即ち、期間Ｂの大部分ではユーザが横向きである。期間Ｂでは、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、期間Ａに比べて明るい傾向を示すものの、輝度値の時間変化は少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。

【0078】

期間Ｃは、ユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態が維持される時間である。期間Ｃでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値の時間変化が少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。

【0079】

期間Ｄは、ユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態から、撮像部１６の撮影範囲から外れて図９（Ｄ）の状態になり、再びユーザが正面を向くまでの時間である。期間Ｄでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値が大きく明るくなる傾向を示す。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、上下の変動が激しい状態となる。

【0080】

図１０を示して説明した例において、緑色の光Ｇの輝度値をバイタルデータとした場合を考える。期間Ａ、期間Ｂ及び期間Ｃでは、緑色の光Ｇの輝度値をバイタルデータとした場合、基準値である第１のバイタルデータに対して新たに取得される第２のバイタルデータとの差が６％以内となる。即ち、期間Ａ、期間Ｂ及び期間Ｃは適正状態と判定される期間となる。一方、期間Ｄでは、基準値である第１のバイタルデータに対して新たに取得される第２のバイタルデータとの差が６％を超える状態となる。即ち、非適正状態と判定される期間となる。

【0081】

この実施例からも、緑色の光Ｇの輝度値をバイタルデータとした場合、第１のバイタルデータと第２のバイタルデータとの差が６％以内か否かで、適正バイタルデータか非適正バイタルデータであるかを判定できることがわかる。

【0082】

また、赤色の光Ｒの輝度値は緑色の光Ｇの輝度値及び青色の光Ｂの輝度値よりも明るいが、赤色の光Ｒ、緑色の光Ｇ及び青色の光Ｂは、ユーザの向きによって、略同様の傾向を示す。ゆえに、緑色の光Ｇの輝度値以外の赤色の光Ｒの輝度値又は青色の光Ｂの輝度値を用いて、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定することもできる。更に、脈波振幅ＰＡ及び脈拍数ＨＲにおいても、期間Ａ、期間Ｂ及び期間Ｃでは、相対的に安定しているが、期間Ｄでは乱れが大きくなる。ゆえに、脈波振幅ＰＡ及び脈拍数ＨＲを用いて、又は、緑色の光Ｇの輝度値と脈波振幅ＰＡ及び脈拍数ＨＲとを合わせて、バイタルデータが、適正状態で取得されたものであるか否かを判定できることがわかる。

【0083】

以下、具体的な数値について例示する。
赤色の光Ｒの輝度値の場合、第１のバイタルデータと第２のバイタルデータとの差が１１％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
青色の光Ｂの輝度値の場合、第１のバイタルデータと第２のバイタルデータとの差が６％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
緑色の光Ｇの輝度値から赤色の光Ｒの輝度値を引いた輝度値差分（Ｇ－Ｒ）の場合、第２のバイタルデータにおける輝度値差分（Ｇ－Ｒ）値における、第１のバイタルデータにおける輝度値差分（Ｇ－Ｒ）値に対する差（変化分）が２％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
赤色の光Ｒの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｒ／Ｇ）の場合、第２のバイタルデータにおける輝度値割合（Ｒ／Ｇ）の、第１のバイタルデータにおける輝度値割合（Ｒ／Ｇ）に対する差（変化分）が絶対値で６％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
青色の光Ｂの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｂ／Ｇ）の場合、第２のバイタルデータにおける輝度値割合（Ｂ／Ｇ）の、第１のバイタルデータにおける輝度値割合（Ｂ／Ｇ）に対する差（変化分）が絶対値で１％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
振幅値の場合、第２のバイタルデータの振幅値の、第１のバイタルデータの振幅値に対する差（変化分）が１４％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
脈拍数の場合、第２のバイタルデータの脈拍数の、第１のバイタルデータの脈拍数に対する差（変化分）が２％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。さらに、一種類のバイタルデータで判定するのではなく、複数のバイタルデータを用いて判定することにより、判定の精度を上げることもできる。

【0084】

以上、所定範囲に設定される数値を例示したが、所定範囲に設定される対象及び数値は使用環境等に応じて適宜変更することができる。

【0085】

本実施形態の電子装置１による効果について説明する。本実施形態の電子装置１は、少なくとも身体の一部を撮像する撮像部１６により撮像された身体の一部の映像に基づいて、身体のバイタルデータを取得するバイタルデータ取得部１１１と、バイタルデータ取得部１１１により取得されたバイタルデータを記憶する記憶部１９と、記憶部１９に記憶されている、過去に適正状態で前記バイタルデータ取得部１１１により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、バイタルデータ取得部１１１により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部１１２と、バイタルデータ比較部１１２の比較結果に基づき、第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部１１３と、を備える。

【0086】

これにより、ユーザの健康状態の変化を、ユーザのメニュー実行や作業を中断させることなく把握することができるため、早期の病気発見や予防につなげることが出来る。また、ユーザが意図することなく自動的にバイタルデータが取得されることになるので、バイタルデータの取り忘れ等がなく、安定した解析が可能になる。また、本実施形態では、電子装置１としてのスマートミラーを用いて、Ｓ１０２において選択された「小顔エステ」や「笑顔トレーニング」等のメニューの実行中に、ユーザの動作を妨げずに、リアルタイムのバイタルデータを取得することも出来る。また、電子装置１が作業用のＰＣである場合は、ユーザの作業を妨げずに、リアルタイムのバイタルデータを取得することが出来る。

【0087】

また、本実施形態の適正判定部１１３は、第２のバイタルデータと第１のバイタルデータとの差が、所定範囲内の場合に、第２のバイタルデータが適正バイタルデータと判定する。

【0088】

これにより、測定誤差の範囲で適正バイタルデータと判定されなくなる事態の発生を抑制し、効率的な適正判定処理が実現される。

【0089】

また、本実施形態では、第２のバイタルデータが、適正バイタルデータと判定された場合、第２のバイタルデータを適正バイタルデータとして記憶部１９に保存する。

【0090】

これにより、ユーザが移動することによってバイタルデータの安定した取得が出来ない場合、非適切な状態で取得された非適切バイタルデータとして、適正バイタルデータと区別されるので、適正バイタルデータのみに基づいた健康管理が可能である。特に本実施形態では、所定の関心領域内において、正面を向いた適正状態で取得されたバイタルデータを、自動的に記憶部１９に保存している。すなわち、血流量、脈波振幅値、脈拍数、自律神経指標といった、美容や健康管理に必要なバイタルデータを日々取得できる。このため、美容施術の効果有無や健康異常をいち早く検出し、対応することが出来るようになる。なお自律神経指標とは、脈拍数の揺らぎ等である。例えば、緑色の光Ｇの輝度値や振幅値から、正面を向いた状態が維持されていると判定されたにもかかわらず、脈拍数に揺らぎがある場合、自律神経に異常があると判定することができる。また、適正状態ではないときに取得されたバイタルデータを記憶部１９に記憶する必要がないので、メモリの使用効率を向上させることができる。

【0091】

また、本実施形態の電子装置１は、第２のバイタルデータが、適正バイタルデータと判定された場合、第２のバイタルデータを適正バイタルデータとして出力する。そして、また、本実施形態の電子装置１は、第２のバイタルデータが、適正バイタルデータと判定されなかった場合、第２のバイタルデータは出力されない。これにより、適正ではバイタルデータが出力されなくなるので、データ処理を効率化できる。

【0092】

また、本実施形態では、バイタルデータは、映像から取得される輝度値である。これにより、映像から取得することが容易な輝度値を利用して適正状態か否かを正確に判定できる。また、バイタルデータは、映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値であってもよい。輝度値に基づいて算出される血流量、脈拍数又は振幅値を活用することによっても、適正状態か否かを正確に判定できる。

【0093】

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0094】

実施形態において、電子装置１としてスマートミラーを例にして説明したが、これに限らず、上述したように電子装置１は、スマートミラーに限定されず、スマートフォン、タブレット、パーソナルコンピュータ等であってもよい。例えば、カメラ付のパーソナルコンピュータに本発明を適用することで、仕事等のパーソナルコンピュータを用いて作業をしている間も、ユーザが意図することなくバイタルデータを取得することができる。この場合、本発明を実施するためのアプリケーションをサーバ群３からダウンロード可能としてもよい。

【0095】

バイタルデータの取得は、安定した期間の信号を抽出することが好ましい。ゆえに、一日の中で安定した期間において、バイタルデータを取得するようにしてもよい。

【0096】

＜その他の変形例＞
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

【0097】

上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて処理を行ってもよい。

【0098】

上記実施形態の電子装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されるとともに鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。
例えば、上述の実施形態において、電子装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置１に追加して、電子装置１のみで全ての処理を行うようにしてもよい。

【0099】

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。

【0100】

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

【0101】

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

【0102】

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４の記憶部１９に含まれるハードディスク等で構成される。

【0103】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

【0104】

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
少なくとも身体の一部を撮像する撮像部により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得部と、
前記バイタルデータ取得部により取得された前記バイタルデータを記憶する記憶部と、
前記記憶部に記憶されている、過去に適正状態で前記バイタルデータ取得部により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得部により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部と、
前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、
を備えることを特徴とする電子装置。
［付記２］
前記適正判定部は、
前記第２のバイタルデータと前記第１のバイタルデータとの差が、所定範囲内の場合に、前記第２のバイタルデータが前記適正バイタルデータと判定する、
付記１に記載の電子装置。
［付記３］
前記第２のバイタルデータが、前記適正バイタルデータと判定された場合、前記第２のバイタルデータを前記適正バイタルデータとして前記記憶部に保存する、
付記１または２に記載の電子装置。
［付記４］
前記第２のバイタルデータが、前記適正バイタルデータと判定された場合、前記第２のバイタルデータを前記適正バイタルデータとして出力する、
付記１から３のいずれか１項に記載の電子装置。
［付記５］
前記第２のバイタルデータが、前記適正バイタルデータと判定されなかった場合、前記第２のバイタルデータは出力されない、
付記４に記載の電子装置。
［付記６］
前記バイタルデータは、
前記映像から取得される輝度値である付記１から５のいずれか１項に記載の電子装置。
［付記７］
前記バイタルデータは、
前記映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値である、
付記１から６のいずれか１項に記載の電子装置。
［付記８］
電子装置に、
少なくとも身体の一部を撮像する撮像機能により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得機能と、
前記バイタルデータ取得機能により取得された前記バイタルデータを記憶する記憶機能と、
前記記憶機能により記憶されている、前記バイタルデータ取得機能により、以前、適正状態で取得された基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得機能により新たに取得された第２のバイタルデータとを比較するバイタルデータ比較機能と、
前記バイタルデータ比較機能による比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定機能と、
を実現させることを特徴とする電子装置の制御プログラム。
［付記９］
少なくとも身体の一部を、適正状態で撮像する第１の撮像ステップと、
前記第１の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第１のバイタルデータを取得する第１のバイタルデータ取得ステップと、
前記第１のバイタルデータ取得ステップにおいて取得された前記第１のバイタルデータを基準のバイタルデータとして記憶する記憶ステップと、
少なくとも身体の一部を撮像する第２の撮像ステップと、
前記第２の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得する第２のバイタルデータ取得ステップと、
前記記憶ステップにおいて記憶された前記第１のバイタルデータを読み出して、該第１のバイタルデータと前記第２のバイタルデータと比較するバイタルデータ比較ステップと、
前記バイタルデータ比較ステップの比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定ステップと、
を含むことを特徴とする電子装置の制御方法。

【符号の説明】

【0105】

１・・・電子装置，３・・・サーバ群，３ａ・・・認証サーバ，３ｂ・・・アプリケーション配信サーバ，３ｃ・・・測定データ格納サーバ，１４・・・通信処理部，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２３・・・センサ部，２４・・・照明部，２５・・・スピーカ，３０・・・本体部，１１１・・・バイタルデータ取得部，１１２・・・バイタルデータ比較部，１１３・・・適正判定部，１１４・・・通信処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】