特許 6953831 食事検知プログラム、食事検知方法及び食事検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6953831

(24)【登録日】2021年10月4日

(45)【発行日】2021年10月27日

(54)【発明の名称】食事検知プログラム、食事検知方法及び食事検知システム

(51)【国際特許分類】

   A61B 5/11 20060101AFI20211018BHJP

   A61B 5/0245 20060101ALI20211018BHJP

【ＦＩ】

   A61B5/11 230

   A61B5/0245 A

【請求項の数】10

【全頁数】22

(21)【出願番号】特願2017-123739(P2017-123739)

(22)【出願日】2017年6月23日

(65)【公開番号】特開2019-5220(P2019-5220A)

(43)【公開日】2019年1月17日

【審査請求日】2020年3月10日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】森 達也

(72)【発明者】

【氏名】前田 一穂

(72)【発明者】

【氏名】猪又 明大

【審査官】 ▲高▼ 芳徳

(56)【参考文献】

【文献】 国際公開第２０１６／０９２７０７（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１４／０２７５７４８（ＵＳ，Ａ１）

【文献】 特開２０１１−１０７７６８（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０３８５８５（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０５１４４２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／１１ − ５／１１３

Ａ６１Ｂ ５／０２ − ５／０２９５

Ｇ１６Ｈ １０／００

Ｇ１６Ｈ ２０／００

Ｇ０６Ｑ ５０／１０

(57)【特許請求の範囲】

【請求項1】

対象者の腕の動作を検知可能な第一のセンサから第一のセンシングデータを取得し、
前記対象者の心拍を検知可能な第二のセンサから第二のセンシングデータを取得し、
前記第一のセンシングデータから抽出した第一の特徴量から、腕の動作に基づく食事を行っていることの確からしさを示す第一の評価値を算出し、
前記第二のセンシングデータから抽出した第二の特徴量から、心拍の状態に基づく食事を行っていることの確からしさを示す第二の評価値を算出し、
前記第一の評価値と前記第二の評価値とに基づき、前記対象者が食事をしたか否かを判定するとともに、判定対象とする時間帯の直前の時間帯及び直後の時間帯が食事に分類された場合は、当該判定対象とする時間帯を食事に分類し、前記直前の時間帯及び前記直後の時間帯が非食事に分類された場合は、当該判定対象とする時間帯を非食事に分類する、
処理をコンピュータに実行させる食事検知プログラム。

【請求項2】

前記判定する処理は、前記第一の評価値と前記第二の評価値との差異が所定の第一の閾値以下である場合に、前記対象者が食事をしたと判定することを特徴とする請求項１に記載の食事検知プログラム。

【請求項3】

前記判定する処理は、前記第一の評価値と前記第二の評価値との差異が所定の第一の閾値以下であり、かつ前記第一の評価値及び前記第二の評価値が所定の第二の閾値以上である場合に、前記対象者が食事をしたと判定することを特徴とする請求項１に記載の食事検知プログラム。

【請求項4】

前記判定する処理は、前記第一の評価値と前記第二の評価値とのうちいずれか一方が所定の第三の閾値以上である場合に、前記対象者が食事をしたと判定することを特徴とする請求項１乃至３のいずれか１つに記載の食事検知プログラム。

【請求項5】

前記判定する処理は、前記第一の評価値及び前記第二の評価値を食事または非食事に分類する食事推定モデルを用いて、前記第一の評価値及び前記第二の評価値を食事または非食事に分類することにより、前記対象者が食事をしたか否かを判定することを特徴とする請求項１に記載の食事検知プログラム。

【請求項6】

前記第二の評価値を算出する処理は、前記心拍の時系列データから食事に関する第二の評価値ベクトルを算出し、
前記第一の評価値を算出する処理は、前記腕の動作の時系列データから食事に関する第一の評価値ベクトルを算出し、
前記時系列データに対応する食事又は非食事の分類、並びに前記第一の評価値ベクトル及び前記第二の評価値ベクトルを教師データとして用いて、前記食事推定モデルを生成する処理をさらに前記コンピュータに実行させることを特徴とする請求項５に記載の食事検知プログラム。

【請求項7】

前記食事推定モデルを生成する処理は、前記第一の評価値ベクトル及び前記第二の評価値ベクトルの絶対値の差をさらに用いて、前記食事推定モデルを生成することを特徴とする請求項６に記載の食事検知プログラム。

【請求項8】

前記判定する処理は、任意の前記第一の評価値及び前記第二の評価値を、食事の内容又は種別に関して分類する学習モデルを用いて、前記食事の内容又は前記種別を特定することを特徴とする請求項１乃至７のいずれか１つに記載の食事検知プログラム。

【請求項9】

コンピュータが、
対象者の腕の動作を検知可能な第一のセンサから第一のセンシングデータを取得し、
前記対象者の心拍を検知可能な第二のセンサから第二のセンシングデータを取得し、
前記第一のセンシングデータから抽出した第一の特徴量から、腕の動作に基づく食事を行っていることの確からしさを示す第一の評価値を算出し、
前記第二のセンシングデータから抽出した第二の特徴量から、心拍の状態に基づく食事を行っていることの確からしさを示す第二の評価値を算出し、
前記第一の評価値と前記第二の評価値とに基づき、前記対象者が食事をしたか否かを判定するとともに、判定対象とする時間帯の直前の時間帯及び直後の時間帯が食事に分類された場合は、当該判定対象とする時間帯を食事に分類し、前記直前の時間帯及び前記直後の時間帯が非食事に分類された場合は、当該判定対象とする時間帯を非食事に分類する、
処理を実行することを特徴とする食事検知方法。

【請求項10】

対象者の腕の動作を検知する第一のセンサと、
前記対象者の心拍を検知する第二のセンサと、
前記第一のセンサ及び前記第二のセンサから取得されたデータを用いて食事を検知する検知装置と、
を有する食事検知システムであって、前記検知装置は、
前記第一のセンサから第一のセンシングデータを取得する第一取得部と、
前記第二のセンサから第二のセンシングデータを取得する第二取得部と、
前記第一のセンシングデータから抽出した第一の特徴量から、前記対象者の腕の動作に基づく食事を行っていることの確からしさを示す第一の評価値を算出する第一算出部と、
前記第二のセンシングデータから抽出した第二の特徴量から、前記対象者の心拍の状態に基づく食事を行っていることの確からしさを示す第二の評価値を算出する第二算出部と、
前記第一の評価値と前記第二の評価値との関係が特定の条件を満たすか否かに基づき、前記対象者が食事をしたか否かを判定するとともに、判定対象とする時間帯の直前の時間帯及び直後の時間帯が食事に分類された場合は、当該判定対象とする時間帯を食事に分類し、前記直前の時間帯及び前記直後の時間帯が非食事に分類された場合は、当該判定対象とする時間帯を非食事に分類する判定部と
を有することを特徴とする食事検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食事検知プログラム、食事検知方法及び食事検知システムに関する。

【背景技術】

【0002】

ユーザの心拍数や腕の動きなどをセンサで検知することにより、ユーザの食行動を判定する技術が知られている。例えば、ユーザの両腕の下腕部に取り付けられる少なくとも相直交する３軸の加速度を加速度センサで検出し、検知されたセンサ信号を、記憶された食行動判定基準に照らし、ユーザの食行動の有無を判定する技術が知られている。

【0003】

また、心拍数の時系列データを取得し、時系列データに含まれる部分データごとに、食事開始後に心拍数のピークが先行して現れる第１ピークよりも後続して現れる第２ピークに関する特徴量を算出する技術も知られている。当該技術では、部分データごとに算出された第２ピークに関する特徴量を用いて、部分データにおける食事の有無を判定し、食事が有りと判定された部分データから食事時刻を推定する。さらに、心拍数の時系列データから食事終了時に現れる心拍変化の特徴との類似度が指標化された特徴量を算出して、当該特徴量から食事時間を推定する技術も知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１１５５０８号公報

【特許文献2】国際公開第２０１６／０９２７０７号

【特許文献3】国際公開第２０１６／１４３０７４号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記技術においては、ユーザが食事中であっても、腕の動きが小さい場合、又は心拍数の変化が小さい場合、食事を検知できない場合がある。例えば、ユーザがセンサを利き腕に装着した場合、利き腕とは反対の腕で食物を口に運ぶようなときは、センサにより取得されるユーザの腕の動きが小さいことがある。また、一度に口に運ぶ食物の量が極めて少ない場合、ユーザの心拍数の変化が小さいことがある。上記技術においては、このような場合にユーザが食事中であることを検出できない。

【0006】

一つの側面では、本発明は、ユーザによる食事を検知できる食事検知プログラム、食事検知方法及び食事検知システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様において、本実施例における検知装置は、対象者の腕の動作を検知可能な第一のセンサから第一のセンシングデータを取得し、対象者の心拍を検知可能な第二のセンサから第二のセンシングデータを取得する。検知装置は、第一のセンシングデータから抽出した第一の特徴量から、腕の動作に基づく食事を行っていることの確からしさを示す第一の評価値を算出する。検知装置は、第二のセンシングデータから抽出した第二の特徴量から、心拍の状態に基づく食事を行っていることの確からしさを示す第二の評価値を算出する。さらに、検知装置は、第一の評価値と第二の評価値に基づき、対象者が食事をしたか否かを判定する。

【発明の効果】

【0008】

一つの態様によれば、食事を検知できる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施例１におけるシステム構成の一例を示す図である。

【図2】図２は、食事時の心拍変化のパターンの一例を示す図である。

【図3】図３は、心拍及び腕動作と行動との対応関係の一例を示す図である。

【図4A】図４Ａは、食事判定結果の一例を示す図である。

【図4B】図４Ｂは、食事判定結果の別の一例を示す図である。

【図5】図５は、実施例１における食事判定結果の一例を示す図である。

【図6】図６は、心拍及び腕動作と行動との対応関係の別の一例を示す図である。

【図7】図７は、実施例１における検知装置の機能構成の一例を示す図である。

【図8】図８は、実施例１における検知処理の一例を示すフローチャートである。

【図9】図９は、実施例２における検知装置の機能構成の一例を示す図である。

【図10】図１０は、実施例２における教師データの一例を示す図である。

【図11】図１１は、実施例２における学習処理の一例を示すフローチャートである。

【図12】図１２は、実施例２における食事判定結果の一例を示す図である。

【図13】図１３は、実施例３における判定時刻の前後の時間帯との検知結果の比較の一例を示す図である。

【図14】図１４は、実施例３における教師データの一例を示す図である。

【図15】図１５は、食事検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。

【発明を実施するための形態】

【0010】

以下に、本願の開示する食事検知プログラム、食事検知方法及び食事検知システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、以下に示す各実施例は、矛盾を起こさない範囲で適宜組み合わせても良い。なお、以下の実施例において、先に説明した図面に示す部位と同一の部位には同一の符号を付し、重複する説明は省略する。

【実施例1】

【0011】

［システム構成］
本実施例における検知システムについて、図１を用いて説明する。図１は、実施例１におけるシステム構成の一例を示す図である。図１に示す検知システム１は、腕動作測定装置１０と、心拍測定装置２０と、検知装置１００と、端末装置２００とを有する。検知装置１００の構成については、後に詳しく説明する。

【0012】

本実施例において、検知装置１００と端末装置２００、並びに腕動作測定装置１０及び心拍測定装置２０と端末装置２００とは、無線又は有線のネットワークを通じて通信可能に接続される。かかるネットワークの一態様としては、有線または無線を問わず、携帯電話などの移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。なお、図１には、腕動作測定装置１０及び心拍測定装置２０並びに端末装置２００がそれぞれ１つである場合を図示したが、検知システム１には、複数の腕動作測定装置１０及び心拍測定装置２０並びに端末装置２００が収容されることとしてもかまわない。

【0013】

図１に示す腕動作測定装置１０は、例えばリストバンド型の測定装置であり、対象者の利き腕等に装着される。腕動作測定装置１０は、例えば相直交する３軸の加速度を検出するモーションセンサ１１を用いて、所定のサンプリング周期で対象者の腕の動きを測定する。腕動作測定装置１０は、測定した腕の動きに関するデータを、通信Ｉ／Ｆ（Interface）部１３により端末装置２００に送信する。なお、腕動作測定装置１０は、第一のセンサの一例であり、腕の動きに関するデータは、第一のセンシングデータの一例である。

【0014】

これによって、腕動作測定装置１０は、サンプリング点ごとにモーションセンサ１１によりセンシングされる上下左右前後の加速度の時系列データを加速度データとして取得する。かかる加速度データには、一例として、時間及び加速度などの項目が対応付けられたデータを採用できる。ここで言う「時間」は、上記の心拍データと同様、腕動作測定装置１０上でローカルに管理されるシステム時間、例えば任意の開始時点からの経過時間であってもよいし、年月日時分秒等のカレンダ上の暦で表現される時間であってもかまわない。また、「加速度」には、上下方向、左右方向および前後方向の３軸の加速度を含めることができる。例えば、３軸の加速度のうち一部の方向の加速度に絞って検知装置１００に使用させる場合、検知装置１００で使用されない方向の加速度は加速度データから除去することもできる。

【0015】

図１に示す心拍測定装置２０は、心拍取得部２１として、ユーザの生体部位、例えば胸、腕、手首などに装着する装着型の心拍センサを採用することができる。例えば光電脈波センサによる脈拍を採用することもできる。心拍測定装置２０は、心拍取得部２１が測定した心拍に関するデータを、通信Ｉ／Ｆ部２３により端末装置２００に送信する。なお、心拍測定装置２０は、第二のセンサの一例であり、心拍に関するデータは、第二のセンシングデータの一例である。

【0016】

図１に示す端末装置２００は、例えば腕動作測定装置１０及び心拍測定装置２０を装着する対象者により利用される。なお、端末装置２００は、例えばスマートフォンやタブレット、ノート型コンピュータなどの携帯可能なコンピュータであるが、これに限られず、据置型のコンピュータなどであってもよい。

【0017】

端末装置２００は、通信Ｉ／Ｆ部２１０を通じて、腕動作測定装置１０及び心拍測定装置２０から腕の動作に関するデータ及び心拍に関するデータを受信し、検知装置１００に送信する。端末装置２００は、検知装置１００から食事判定結果に関する情報を受信し、表示操作部２２０に表示させる。

【0018】

図１に示す検知装置１００は、端末装置２００から受信した腕の動作に関するデータ及び心拍に関するデータを用いて、対象者が食事中であるか否かを検知する。検知装置１００は、例えば対象者の心拍の変化が、食事をする場合に生じる心拍のパターンとどれだけ類似しているかを判定する。また、検知装置１００は、例えば対象者の腕の動作が、食事をする場合に生じる腕の動作のパターンとどれだけ類似しているかを判定する。そして、検知装置１００は、パターンとの類似度を示す評価値が所定の条件を満たす場合に、対象者が食事中であると判定する。なお、本実施例における評価値は、例えば０から１の間での値をとり、１に近いほど、特定された心拍又は腕動作が食事をする際のパターンに類似することを示す。

【0019】

食事をする場合における心拍は、第１ピークが現れた後に第２ピークが現れ、かつ第１ピークよりも第２ピークの方が長期間にわたる傾向にある。図２は、食事時の心拍変化のパターンの一例を示す図である。図２には、一例として、食事開始前後の心拍数の変化がグラフ化されている。図２に示す縦軸は、単位時間当たりの心拍数を指し、横軸は、食事開始直前からの経過時刻（時間）を指す。

【0020】

図２に示すように、食事に伴って食事開始後に発生する心拍数の変化には、時間経過に伴って心拍数が上昇（増加）して下降（減少）に転ずる２つのピークが存在する。すなわち、食事開始時刻Ｔｓから時間経過に伴って、食事開始後に先行して出現する心拍数変化のピークである「第１ピーク」と、第１ピークに後続して出現する心拍数変化のピークである「第２ピーク」とが出現する。なお、以下では、第１ピークの部分の波形を含む所定の領域のことを「第１ピーク領域Ａ１」と記載し、第２ピークの部分の波形を含む所定の領域のことを「第２ピーク領域Ａ２」と記載する場合がある。

【0021】

このうち、「第１ピーク」は、食事行為に伴う心拍上昇であり、例えば、咀嚼や食道の蠕動運動に起因する心拍数上昇と推定される。また、「第２ピーク」は、例えば、食事行為により摂取された摂取物、すなわち食物等に対する消化器官（胃腸等）内の消化活動に起因する心拍数上昇と推定される。

【0022】

本実施例における検知装置１００は、例えば取得した心拍に関するデータから算出される第一の特徴量と、図２に示すような食事をする場合に生じる心拍のパターンとの類似度を、心拍に関する評価値として算出する。なお、心拍に関する評価値は、第二の評価値の一例である。

【0023】

同様に、食事をする場合に生じる腕の動きも、図２に示すような心拍変化のパターンと同様に、一定のパターンが生じる場合がある。例えば、取得した腕の動作に関するデータから特定される、腕を上げて降ろす動作が所定時間以内に発生している回数を、腕の動作に関する特徴量として用いてもよい。本実施例における検知装置１００は、例えば取得した腕の動作に関するデータから算出される第二の特徴量と、食事をする場合に生じる腕の動作のパターンとの類似度を、腕の動作に関する評価値として算出する。なお、腕の動作に関する評価値は、第一の評価値の一例である。

【0024】

そして、本実施例における検知装置１００は、腕の動作に関する評価値と、心拍の変化に関する評価値とが所定の条件を満たす場合に、対象者が食事中であると判定する。なお、以下において、対象者が食事中であると判定することを「食事と判定する」と表記する場合がある。また、以下において、対象者が食事中ではないことを単に「非食事」と表記する場合がある。

【0025】

特定の時点における対象者の腕の動作に関する評価値及び心拍の変化に関する評価値と、当該時点において対象者が食事中か否かとの対応関係をプロットすると、例えば図３に示すようなグラフとなる。図３は、心拍及び腕動作と行動との対応関係の一例を示す図である。図３に示す縦軸２００２は、心拍の変化に関する評価値を指し、横軸２００１は、腕の動作に関する評価値を指す。また、マーカ２１００は、食事時のデータを示し、マーカ２２００は、食事以外の行動のデータを示す。

【0026】

ところで、食事を検知する際に、検知漏れを減らそうとすると、食事以外の行動時のデータであっても、食事中であると判定される誤検知が増加する。一方、誤検知を抑制しようとすると、食事時のデータであっても、食事であると検知されないという検知漏れが増えるおそれがある。

【0027】

図４Ａは、食事判定結果の一例を示す図である。図４Ａに示す例においては、縦軸に示す腕の動作の評価値と、横軸に示す心拍の評価値との両方が所定の閾値２９０１以上である場合に限り、食事中であると判定される。すなわち、領域２９０２に含まれるデータは食事時のデータであると判定され、それ以外のデータは食事以外の行動時のデータであると判定される。

【0028】

図４Ａに示す例においては、食事以外の行動が、食事であると誤検知される可能性は小さい。一方、データ２９１１及び２９１２のように検知漏れの可能性が高くなる。

【0029】

次に、図４Ｂは、食事判定結果の別の一例を示す図である。図４Ｂに示す例においては、縦軸に示す腕の動作の評価値と、横軸に示す心拍の評価値との少なくともいずれかが所定の閾値２９２１以上である場合、食事中であると判定される。すなわち、領域２９２２に含まれるデータは食事時のデータであると判定され、それ以外のデータは食事以外の行動時のデータであると判定される。

【0030】

図４Ｂに示す例においては、食事時のデータが、食事であると検知されない可能性は小さくなる。一方、データ２９３３及び２９３４のように、食事以外の行動が、食事であると誤検知される可能性は大きくなる。

【0031】

一方、本実施例において、検知装置１００は、例えば、心拍評価値と腕動作評価値とのうちいずれか一方だけが高い時点のデータ、及び心拍評価値と腕動作評価値とが類似する値となる時点のデータを、食事時のデータであると判定する。例えば、検知装置１００は、心拍評価値と腕動作評価値との差異が第一の閾値以下であり、かつ心拍評価値と腕動作評価値との平均値が第二の閾値以上である場合に、対象者が食事をしたと判定する。また、検知装置１００は、心拍評価値と腕動作評価値とのうち、いずれか一方が第三の閾値以上である場合に、対象者が食事をしたと判定してもよい。なお、第三の閾値は、例えば第二の閾値より大きい値とする。

【0032】

例えば、検知装置１００は、ある時点における心拍評価値と腕動作評価値との平均値が０．６以上である場合に、当該時点を食事中であると判定する。また、検知装置１００は、ある時点における心拍評価値と腕動作評価値との平均値が０．２以上で、かつ腕動作評価値と心拍評価値との差の絶対値が０．１未満である領域に入る場合にも、当該時点を食事であると判定する。

【0033】

本実施例における、心拍評価値及び腕動作評価値を用いた食事判定処理の結果について、図５を用いて説明する。図５は、実施例１における食事判定結果の一例を示す図である。図５に示すように、本実施例における食事判定結果においては、図４Ａに示す領域２９０２に含まれるデータに加えて、領域２１１１及び２１１２に含まれる、心拍評価値と腕動作評価値との平均値が閾値２１０１以上、例えば０．６以上であるデータも食事と判定される。なお、閾値２１０１は、第一の閾値の一例である。

【0034】

さらに、図５においては、領域２１２１に含まれる、心拍評価値と腕動作評価値との平均値が第二の閾値以上、例えば０．２以上で、かつ腕動作評価値と心拍評価値との差の絶対値が第三の閾値未満、例えば０．１未満であるデータも食事と判定される。

【0035】

以上のような構成により、本実施例においては、図４Ａに示す食事判定結果よりも検知漏れを抑制し、かつ図４Ｂに示す食事判定結果よりも誤検知を抑制することができる。

【0036】

なお、本実施例において精度よく食事を検知できるのは、食事の行動が、以下のような２つの性質を有するためである。

【0037】

第１の性質として、食事を検知する際の誤検知の原因は、心拍数変化の特徴を用いた食事検知の場合と、腕の動作の特徴を用いた食事検知の場合とで異なる。例えば、対象者の心拍の変化が、精神的な緊張や外部環境の変化に応じて、食事をする場合に生じる心拍のパターンと類似する場合、心拍の変化に関する評価値が高くなる。この場合、心拍の変化に関する評価値に対する閾値を低く設定していると、食事検知の際に誤検知が生じるおそれがある。

【0038】

しかし、この場合において、腕の動作が、食事をする場合に生じる動作のパターン、例えば顔に手を近づける動きと類似する可能性は小さい。すなわち、食事以外の要因により心拍の変化に関する評価値が高くなる場合であっても、食事をする場合に生じる腕の動作が連動して発生するとは限らない。

【0039】

このため、心拍の変化に関する評価値に基づいて誤検知が生じる場合においても、腕の動作の特徴に基づいた誤検知が同時に生じる可能性は小さい。同様に、腕の動作が、対象者が顔を掻く動作など、食事をする場合に生じる動作のパターンと類似し、腕の動作の特徴に基づいた誤検知が生じる場合においても、心拍の変化の特徴に基づいた誤検知が同時に生じる可能性は小さい。

【0040】

また、第２の性質として、食事の際は、腕の動作の特徴と心拍変化の特徴には関係性がある場合が多い。例えば、食事の量が少ない場合には、腕を顔に近づける動きの回数は少なく、心拍変化も少ないことが多い。すなわち、腕の動作が、通常の食事における動作よりも小さい場合、心拍の変化も小さいことが多い。

【0041】

一方、食事以外の行動においては、以上の第１の性質及び第２の性質のうち、少なくともいずれかが満たされない場合が多い。図６は、心拍及び腕動作と行動との対応関係の別の一例を示す図である。図６の（ａ）は、第１の性質を満たさない行動９１００と、行動９１００以外の行動９２００における、心拍の変化と腕の動作との対応関係を示す。また、図６の（ｂ）は、第２の性質を満たさない行動９３００と、行動９３００以外の行動９４００における、心拍の変化と腕の動作との対応関係を示す。

【0042】

図６の（ａ）に示すように、心拍評価値と腕動作評価値との平均値がやや高く、かつ腕動作評価値と心拍評価値とが近い値が含まれる領域９１２１において、行動９１００と９２００とが混在する。同様に、図６の（ｂ）に示すように、心拍評価値と腕動作評価値との平均値がやや高く、かつ腕動作評価値と心拍評価値とが近い値が含まれる領域９１２１において、行動９３００と９４００とが混在する。このような場合、本実施例における食事判定結果においては、領域９１２１における誤検知が多くなる可能性が高い。

【0043】

以上のような第１の性質及び第２の性質により、図５の領域２１２１に含まれるような、心拍評価値と腕動作評価値との平均値がやや高く、かつ腕動作評価値と心拍評価値とが近い値であるような場合に、精度よく食事を検知することができる。

【0044】

なお、例えば、豆を一粒ずつ食べるような場合には、腕の動作は食事らしいが、心拍は量が少ないため反応しづらい。例えば、センサをつけている手と逆の手を用いて食事をした場合は心拍の反応は通常の食事に近いが、腕の動作は食事らしい動作ではない。このような場合は、心拍評価値と腕動作評価値とのうち、いずれか一方だけが高くなるので、図５の領域２１１１又は２１１２に含まれる。

【0045】

以上説明したように、本実施例における検知装置は、腕の動作に基づく評価値と心拍に基づく評価値との少なくともいずれかが高い場合、及び両者とも中間的でかつ類似する値である場合に対象者が食事をしたと判定するので、精度よく食事を検知できる。

【0046】

［機能ブロック］
次に、本実施例における検知装置１００について、図７を用いて説明する。図７は、実施例１における検知装置の機能構成の一例を示す図である。図７に示す検知装置１００は、通信Ｉ／Ｆ部１１０と、記憶部１２０と、制御部１３０とを有する。なお、本実施例における検知装置１００は、例えば端末装置２００から処理要求を受け付けるサーバコンピュータ等のコンピュータであるが、これに限られない。検知装置１００は、例えばパーソナルコンピュータ等のスタンドアロン型コンピュータであってもよく、またスマートフォンやタブレット、ノート型コンピュータなどの携帯可能なコンピュータであってもよい。

【0047】

通信Ｉ／Ｆ部１１０は、有線又は無線を問わず、端末装置２００など、その他のコンピュータ等との通信を制御する。通信Ｉ／Ｆ部１１０は、例えばＮＩＣ（Network Interface Card）等の通信インタフェース等である。

【0048】

記憶部１２０は、例えば制御部１３０が実行するプログラムや、各種データなどを記憶する。また、記憶部１２０は、心拍パターン記憶部１２１、腕動作パターン記憶部１２２及び閾値記憶部１２３を有する。記憶部１２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0049】

心拍パターン記憶部１２１は、例えば図２に示すような、食事時の心拍変化のパターンを記憶する。心拍変化のパターンは、例えば通信Ｉ／Ｆ部１１０及び入出力部１３１を通じて、外部のコンピュータから取得される。

【0050】

腕動作パターン記憶部１２２は、食事時の腕の動作のパターンを記憶する。腕の動作のパターンは、例えば所定時間内における、腕を上げて降ろす動作の回数を記憶する。腕の動作のパターンは、心拍変化のパターンと同様に、例えば通信Ｉ／Ｆ部１１０及び入出力部１３１を通じて、外部のコンピュータから取得される。

【0051】

閾値記憶部１２３は、評価値が食事に該当するか否かを判定するための閾値を記憶する。閾値は、例えば図示しない検知装置１００の管理者により入力されるが、これに限られず、心拍評価値算出部１３４及び腕動作評価値算出部１３５により更新されるような構成であってもよい。

【0052】

制御部１３０は、検知装置１００の全体的な処理を司る処理部である。制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

【0053】

制御部１３０は、入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部１３４、腕動作評価値算出部１３５及び判定部１３６を有する。なお、入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部１３４、腕動作評価値算出部１３５及び判定部１３６は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0054】

入出力部１３１は、通信Ｉ／Ｆ部１１０を通じて、端末装置２００との間において情報の入出力を行う。入出力部１３１は、端末装置２００等のその他のコンピュータから、食事検知処理の開始指示を受け付ける。入出力部１３１は、端末装置２００から、腕の動作に関するデータ及び心拍に関するデータの入力を受け、心拍特徴量算出部１３２及び腕動作特徴量算出部１３３に出力する。また、入出力部１３１は、判定部１３６による食事判定結果を、端末装置２００等のその他のコンピュータに出力する。なお、入出力部１３１は、第一取得部及び第二取得部の一例である。

【0055】

心拍特徴量算出部１３２は、入出力部１３１から出力された心拍に関するデータを用いて、心拍特徴量を算出する。心拍特徴量算出部１３２は、例えば、食事かどうかを判定する時刻の所定時間前に始端、所定時間後に終端を持つ、所定の時間の幅を有する「窓」を設定し、この窓内において心拍特徴量を計算する。なお、以下において、食事かどうかを判定する時刻を「判定時刻」と表記する場合がある。

【0056】

心拍特徴量算出部１３２は、窓の幅を満たす期間分の心拍に関するデータを取得するまで、入出力部１３１から心拍に関するデータの取得を繰り返す。そして、心拍特徴量算出部１３２は、判定時刻を逐次後ろに動かしながら、取得した心拍に関するデータを用いて、各判定時刻に対応する窓内の心拍特徴量を算出する。心拍特徴量算出部１３２は、算出した心拍特徴量を、心拍評価値算出部１３４に出力する。心拍特徴量は、例えば、判定時刻から所定時間の間の１０分ごとの心拍数とする。他にも、例えば、特許文献２や特許文献３に記載の振幅等の特徴量を計算する。

【0057】

腕動作特徴量算出部１３３は、入出力部１３１から出力された腕の動作に関するデータを用いて、腕動作特徴量を算出する。腕動作特徴量算出部１３３は、窓の幅を満たす期間分の腕の動作に関するデータを取得するまで、入出力部１３１から腕の動作に関するデータの取得を繰り返す。そして、腕動作特徴量算出部１３３は、判定時刻を逐次後ろに動かしながら、取得した腕の動作に関するデータを用いて、各判定時刻に対応する窓内の腕動作特徴量を算出する。腕動作特徴量算出部１３３は、算出した腕動作特徴量を、腕動作評価値算出部１３５に出力する。

【0058】

心拍評価値算出部１３４は、心拍特徴量算出部１３２から取得した心拍特徴量を用いて、心拍評価値を算出する。心拍評価値算出部１３４は、例えば心拍特徴量と心拍パターン記憶部１２１に記憶された心拍変化のパターンとの類似度を、心拍評価値として算出し、判定部１３６に出力する。なお、心拍評価値算出部１３４は、第一算出部の一例である。

【0059】

腕動作評価値算出部１３５は、腕動作特徴量算出部１３３から取得した腕動作特徴量を用いて、腕動作評価値を算出する。腕動作評価値算出部１３５は、例えば腕動作特徴量と腕動作パターン記憶部１２２に記憶された腕の動作のパターンとの類似度を、腕動作評価値として算出し、判定部１３６に出力する。なお、腕動作評価値算出部１３５は、第二算出部の一例である。

【0060】

判定部１３６は、心拍評価値及び腕動作評価値を用いて、判定時刻が食事に該当するか否かを判定する。例えば、判定部１３６は、閾値記憶部１２３を参照し、心拍評価値と腕動作評価値との平均値又は差分と所定の閾値とを比較する。判定部１３６は、食事判定結果を、例えば通信Ｉ／Ｆ部１１０を通じて端末装置２００に出力する。なお、判定部１３６は、判定部の一例である。

【0061】

［処理の流れ］
次に、本実施例における処理について、図８を用いて説明する。図８は、実施例１における検知処理の一例を示すフローチャートである。図８に示すように、検知装置１００の入出力部１３１は、例えば通信Ｉ／Ｆ部１１０を通じて、端末装置２００又はその他のコンピュータから開始指示を受け付けるまで待機する（Ｓ１００：Ｎｏ）。

【0062】

入出力部１３１は、開始指示を受け付けたと判定した場合（Ｓ１００：Ｙｅｓ）、特徴量を算出する対象とする時間を設定する（Ｓ１０１）。次に、入出力部１３１は、通信Ｉ／Ｆ部１１０を通じて、端末装置２００から腕の動作に関するセンサデータ及び心拍の変化に関するセンサデータを取得する（Ｓ１０２）。次に、心拍特徴量算出部１３２は、特徴量算出に必要な量のセンサデータが得られたか否かを判定する（Ｓ１１０）。心拍特徴量算出部１３２は、必要な量のセンサデータが得られていないと判定した場合（Ｓ１１０：Ｎｏ）、Ｓ１０２に戻って処理を繰り返す。

【0063】

一方、心拍特徴量算出部１３２は、必要な量のセンサデータが得られたと判定した場合（Ｓ１１０：Ｙｅｓ）、センサデータを用いて心拍特徴量を算出する。同様に、腕動作特徴量算出部１３３も、センサデータを用いて腕動作特徴量を算出する（Ｓ１１１）。次に、心拍評価値算出部１３４は、算出された心拍特徴量を用いて、心拍の評価値を算出する。同様に、腕動作評価値算出部１３５は、算出された腕動作特徴量を用いて、腕動作の評価値を算出する（Ｓ１１２）。

【0064】

そして、判定部１３６は、算出された評価値が、所定の判定領域内にあるか否かを判定する（Ｓ１４０）。判定部１３６は、評価値が所定の判定領域内にあると判定した場合（Ｓ１４０：Ｙｅｓ）、判定時刻を食事であると判定し（Ｓ１４１）、Ｓ１５０へ移行する。一方、判定部１３６は、評価値が所定の判定領域内にはないと判定した場合（Ｓ１４０：Ｎｏ）、判定時刻を非食事であると判定し（Ｓ１４２）、Ｓ１５０へ移行する。

【0065】

そして、入出力部１３１は、例えば通信Ｉ／Ｆ部１１０を通じて、端末装置２００又はその他のコンピュータから終了指示を受け付けたか否かを判定する（Ｓ１５０）。入出力部１３１は、終了指示を受け付けていないと判定した場合（Ｓ１５０：Ｎｏ）、判定時刻を進めて（Ｓ１５１）、Ｓ１０２に戻って処理を繰り返す。一方、入出力部１３１は、終了指示を受け付けたと判定した場合（Ｓ１５０：Ｙｅｓ）、処理を終了する。

【0066】

［効果］
以上説明したように、本実施例における検知装置は、対象者の腕の動作を検知可能な第一のセンサから第一のセンシングデータを取得し、対象者の心拍を検知可能な第二のセンサから第二のセンシングデータを取得する。検知装置は、第一のセンシングデータから抽出した第一の特徴量から、腕の動作に基づく食事を行っていることの確からしさを示す第一の評価値を算出する。検知装置は、第二のセンシングデータから抽出した第二の特徴量から、心拍の状態に基づく食事を行っていることの確からしさを示す第二の評価値を算出する。さらに、検知装置は、第一の評価値と第二の評価値に基づき、対象者が食事をしたか否かを判定する。これにより、食事中の腕の動きが小さい場合や、心拍の反応が少ない場合であっても、食事を検知できる。また、本実施例における検知装置は、対象者の頸部に集音マイクを装着する構成等と比べると、対象者によるセンサ装着の負担を軽減できる。

【0067】

また、本実施例における検知装置は、第一の評価値と第二の評価値との差異が所定の第一の閾値以下である場合に、対象者が食事をしたと判定してもよい。さらに、検知装置は、第一の評価値及び第二の評価値が所定の第二の閾値以上である場合に、対象者が食事をしたと判定してもよい。これにより、腕の動作と心拍の変化とを組み合わせて食事を検知する際における誤検知を抑制できる。

【0068】

また、本実施例における検知装置は、第一の評価値と第二の評価値とのうちいずれか一方が所定の第三の閾値以上である場合に、対象者が食事をしたと判定してもよい。これにより、何らかの原因により、腕動作評価値と心拍評価値とのいずれかが閾値に満たない場合であっても、検知漏れを抑制できる。

【実施例2】

【0069】

実施例１においては、腕の動作に関する評価値及び心拍の変化に関する評価値と、第一の閾値乃至第三の閾値とを比較することにより、対象者が食事中であるか否かを判定したが、実施の形態はこれに限られない。例えば、機械学習により生成されたモデルを用いて、対象者が食事中であるか否かを判定するような構成であってもよい。

【0070】

そこで、本実施例においては、機械学習を用いて、腕の動作と心拍の変化とに基づいて対象者の食事を検知する構成について説明する。本実施例においては、例えば腕の動作と心拍の変化を示す情報として、時系列データごとに算出した心拍評価値又は腕動作評価値をまとめた値である評価値ベクトルを用いる。

【0071】

なお、機械学習には、例えばディープラーニングやＳＶＭ（Support Vector Machine）、決定木やランダムフォレスト、ニアレストネイバーといったアルゴリズムを用いることができる。また、機械学習において用いるモデルは、例えば各判定時刻における腕動作評価値及び心拍評価値に、各判定時刻において実際に食事をしていたか否かの情報をさらに紐づけたデータから生成される。

【0072】

［機能ブロック］
本実施例における検知装置５００について、図９を用いて説明する。図９は、実施例２における検知装置の機能構成の一例を示す図である。図９に示す検知装置５００は、通信Ｉ／Ｆ部１１０と、記憶部５２０と、制御部５３０とを有する。

【0073】

記憶部５２０は、例えば制御部５３０が実行するプログラムや、各種データなどを記憶する。また、記憶部５２０は、心拍評価値モデル５２４、腕動作評価値モデル５２５及び判定モデル５２６を有する。記憶部５２０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

【0074】

心拍評価値モデル５２４は、心拍特徴量から心拍評価値を算出する際に用いられる学習モデルである。心拍評価値モデル５２４は、過去の既知の情報、例えば判定時刻における心拍特徴量と心拍評価値との対応関係を用いて生成される。心拍評価値モデル５２４は、例えば心拍評価値算出部５３４により生成され、又は教師データ取得の都度更新される。

【0075】

腕動作評価値モデル５２５は、腕動作特徴量から腕動作評価値を算出する際に用いられる学習モデルである。腕動作評価値モデル５２５は、過去の既知の情報、例えば判定時刻における腕動作特徴量と腕動作評価値との対応関係を用いて生成される。腕動作評価値モデル５２５は、例えば腕動作評価値算出部５３５により生成され、又は教師データ取得の都度更新される。

【0076】

判定モデル５２６は、心拍評価値及び腕動作評価値から、食事か非食事かを判定する際に用いられる学習モデルである。判定モデル５２６は、例えば心拍評価値と腕動作評価値との差の絶対値並びに腕動作評価値及び心拍評価値と、各判定時刻における食事か非食事かを示す情報とを教師データとして生成される。判定モデル５２６は、例えば判定部５３６により生成され、又は教師データ取得の都度更新される。

【0077】

図１０は、実施例２における教師データの一例を示す図である。図１０に示すように、本実施例における教師データは、「判定時刻」における「食事」の有無と「心拍評価値」及び「腕動作評価値」とを、「判定時刻」ごとに対応付けて記憶する。なお、教師データは、心拍評価値及び腕動作評価値に加えて、又はこれらに代えて、後に説明する心拍評価値ベクトル及び腕動作評価値ベクトルを含んでもよい。また、教師は、心拍評価値ベクトルの絶対値と、腕動作評価値ベクトルの絶対値との差をさらに含んでもよい。

【0078】

制御部５３０は、検知装置５００の全体的な処理を司る処理部である。制御部５３０は、例えば、ＣＰＵやＭＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部５３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。

【0079】

制御部５３０は、入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部５３４、腕動作評価値算出部５３５及び判定部５３６を有する。なお、心拍評価値算出部５３４、腕動作評価値算出部５３５及び判定部５３６も、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0080】

心拍評価値算出部５３４は、心拍評価値モデル５２４を参照して、心拍評価値を算出する。また、心拍評価値算出部５３４は、算出した心拍評価値を時系列データごとにまとめて、心拍評価値ベクトルを生成する。なお、心拍評価値ベクトルは、第一の評価値ベクトルの一例である。

【0081】

腕動作評価値算出部５３５は、腕動作評価値モデル５２５を参照して、腕動作評価値を算出する。また、腕動作評価値算出部５３５は、算出した腕動作評価値を時系列データごとにまとめて、腕動作評価値ベクトルを生成する。なお、腕動作評価値ベクトルは、第二の評価値ベクトルの一例である。

【0082】

判定部５３６は、判定モデル５２６を参照して、心拍評価値ベクトル及び腕動作評価値ベクトルを用いて、判定時刻が食事に該当するか否かを判定する。また、判定部５３６は、新たな教師データを取得すると、後に説明する学習処理を行い、学習モデルを生成又は更新する。

【0083】

［処理の流れ］
次に、本実施例における処理について、図１１を用いて説明する。図１１は、実施例２における学習処理の一例を示すフローチャートである。図１１に示す学習処理は、例えば新たな教師データを取得する度に実行される。

【0084】

まず、図１１に示すように、検知装置１００の入出力部５３１は、例えば通信Ｉ／Ｆ部１１０を通じて端末装置２００からセンサデータを取得するまで待機する（Ｓ５００：Ｎｏ）。

【0085】

入出力部１３１は、センサデータを取得したと判定した場合（Ｓ５００：Ｙｅｓ）、取得したセンサデータを心拍特徴量算出部１３２及び腕動作特徴量算出部１３３に出力する。心拍特徴量算出部１３２は、取得したセンサデータを用いて、各判定時刻での心拍特徴量を算出する。同様に、腕動作特徴量算出部１３３は、取得したセンサデータを用いて、各判定時刻での腕動作特徴量を算出する（Ｓ５０１）。

【0086】

次に、判定部５３６は、各判定時刻での食事の有無に関する教師データを取得する（Ｓ５０２）。そして、判定部５３６は、教師データを用いて教師あり機械学習を行い（Ｓ５０３）、学習モデルを生成して（Ｓ５０４）、処理を終了する。

【0087】

［処理結果］
以上のような機械学習を用いた判定処理による食事判定結果について、図１２を用いて説明する。図１２は、実施例２における食事判定結果の一例を示す図である。図１２の符号２２０１に示すように、機械学習を用いた判定の結果、閾値を用いる場合と比べて、誤検知や検知漏れを抑制することができる。

【0088】

［効果］
以上説明したように、本実施例における検知装置は、心拍の時系列データごとに食事に関する第一の評価値ベクトルを算出する。検知装置は、腕の動作の時系列データごとに食事に関する第二の評価値ベクトルを算出する。検知装置は、時系列データに対応する食事又は非食事の分類、並びに第一の評価値ベクトル及び第二の評価値ベクトルを教師データとして、任意の第一の評価値ベクトル及び第二の評価値ベクトルを食事または非食事に分類する食事推定モデルを生成する。また、検知装置は、食事推定モデルを用いて、第一の評価値ベクトル及び第二の評価値ベクトルを食事または非食事に分類することにより、対象者が食事をしたか否かを判定する。これにより、閾値を用いる構成よりも、より食事を検知できる。

【実施例3】

【0089】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

【0090】

なお、特定の判定時刻における食事の有無の判定結果が、当該判定時刻の前後の時刻での判定結果と異なる場合、当該特定の判定時刻における食事の有無の判定結果が誤検知又は検知漏れによるものである可能性が高い。図１３は、実施例３における判定時刻の前後の時間帯との検知結果の比較の一例を示す図である。図１３は、判定時刻５００１の「×」は、当該時刻において非食事であると判定されたことを示す。同様に、判定時刻５００２の「○」は、当該時刻が食事であると判定されたことを示す。

【0091】

この場合において、期間５１００は、対象者が食事をとっている期間であると考えられる。しかし、期間５１００に含まれる判定時刻５０１１においては、非食事であると判定されている。この場合において、本実施例における検知装置は、判定時刻５０１１は、検知結果にかかわらず、「食事である」と判定してもよい。このように、前後の判定時刻における検知結果に応じて食事判定結果を更新することにより、誤検知又は検知漏れによる判定制度の低下を抑制することができる。

【0092】

また、実施例２では、機械学習により、判定時刻において対象者が食事中であるか否かを判定する構成について説明したが、これに限られず、対象者の食事の内容又は種類等をさらに判定するような構成であってもよい。このような構成は、図１０に示すような項目に加えて、食事の分類又は内容をさらに含む教師データを用意することにより実現できる。

【0093】

図１４は、実施例３における教師データの一例を示す図である。図１４に示すように、本実施例における教師データは、「判定時刻」における「食事」の有無、「心拍評価値」及び「腕動作評価値」に加えて、さらに食事の「分類」及び「内容」を対応付けて記憶する。

【0094】

図１４において、「分類」は、「菓子」や「主食」など、食事をカテゴリ分けする。「内容」は、対象者が食べた食料の内容を示す。本実施例において、判定部１３６は、図１４に示すような教師データを用いて、学習モデルを生成する。これにより、食事の有無に加えて、食事の分類や内容についても検知できる。なお、教師データとして、食事の分類や内容に加えて、食事のカロリー量などを与えて、腕動作評価値及び心拍評価値を用いて摂取カロリー量を検知するような構成であってもよい。

【0095】

また、腕動作測定装置１０及び心拍測定装置２０は、上記した例に限られない。例えば、腕動作測定装置１０は、モーションセンサ１１として、加速度センサの代わりにジャイロセンサを用いることができる。この場合、腕動作測定装置１０は、ジャイロセンサによりセンシングされた慣性データを用いて、対象者の腕の動きを取得する。

【0096】

また、心拍センサには、必ずしも装着型のものを採用せずともかまわない。例えば、ユーザの生体の一部が所定のサンプリング周波数で撮像される画像に関する輝度の時系列変化から心拍数を検出したり、ＲＦ（Radio Frequency）モーションセンサを用いて拍動に伴うドップラ周波数を検出したりすることにより、心拍数の検出をユーザの生体部位に非接触の状態で実現することとしてもかまわない。

【0097】

また、心拍特徴量は必ずしも心拍数から計算できるものでなくても、心拍の状態に関するものであれば良い。例えば、脈波の形やその変化、心電からＲＲ間隔算出し、その揺らぎ具合を指標化した値で合っても良い。また、血圧やその変化であっても良い。

【0098】

［システム］
また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0099】

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

【0100】

［スタンドアロン］
上記の実施例１では、腕動作測定装置１０、心拍測定装置２０及び検知装置１００を含むクライアントサーバシステムとして構築される場合を例示したが、これに限定されない。例えば、心拍データの取得から食事時刻の推定までの一連の処理を腕動作測定装置１０、心拍測定装置２０、検知装置１００、あるいはその他のコンピュータにスタンドアロンで実行させることとしてもかまわない。

【0101】

［システムの応用例］
上記の実施例１では、検知システム１に検知装置１００が含まれることとしたが、必ずしも検知装置１００が含まれずともかまわない。すなわち、端末装置２００がウェアラブルガジェット等として実装される場合、ウェアラブルガジェットにより近距離無線通信等で接続されるスマートフォンやタブレット端末で心拍データの取得以外の各種の処理、例えば食事時刻の推定を実行させることとしてもかまわない。

【0102】

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部１３４、腕動作評価値算出部１３５及び判定部１３６を検知装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。

【0103】

［食事検知プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例と同様の機能を有する食事検知プログラムを実行するコンピュータの一例について説明する。

【0104】

図１５は、食事検知プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１５に示すように、コンピュータ１０００は、操作部１１００ａと、スピーカ１１００ｂと、カメラ１１００ｃと、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１５００と、ＲＯＭ１６００と、ＨＤＤ１７００と、ＲＡＭ１８００とを有する。これら１１００〜１８００の各部はバス１４００を介して接続される。

【0105】

ＨＤＤ１７００には、図１５に示すように、上記の実施例１で示した入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部１３４、腕動作評価値算出部１３５及び判定部１３６と同様の機能を発揮する食事検知プログラム１７００ａが記憶される。この食事検知プログラム１７００ａは、図７に示した入出力部１３１、心拍特徴量算出部１３２、腕動作特徴量算出部１３３、心拍評価値算出部１３４、腕動作評価値算出部１３５及び判定部１３６の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７００には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７００に格納されればよい。

【0106】

このような環境の下、ＣＰＵ１５００は、ＨＤＤ１７００から食事検知プログラム１７００ａを読み出した上でＲＡＭ１８００へ展開する。この結果、食事検知プログラム１７００ａは、図１５に示すように、食事検知プロセス１８００ａとして機能する。この食事検知プロセス１８００ａは、ＲＡＭ１８００が有する記憶領域のうち食事検知プロセス１８００ａに割り当てられた領域にＨＤＤ１７００から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、食事検知プロセス１８００ａが実行する処理の一例として、図８に示す処理などが含まれる。なお、ＣＰＵ１５００では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

【0107】

なお、上記の食事検知プログラム１７００ａは、必ずしも最初からＨＤＤ１７００やＲＯＭ１６００に記憶されておらずともかまわない。例えば、コンピュータ１０００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

【符号の説明】

【0108】

１ 検知システム
１０ 腕動作測定装置
２０ 心拍測定装置
１００ 検知装置
１１０ 通信Ｉ／Ｆ部
１２０、５２０ 記憶部
１２１ 心拍パターン記憶部
１２２ 腕動作パターン記憶部
１２３ 閾値記憶部
５２４ 心拍評価値モデル
５２５ 腕動作評価値モデル
５２６ 判定モデル
１３０、５３０ 制御部
１３１ 入出力部
１３２ 心拍特徴量算出部
１３３ 腕動作特徴量算出部
１３４、５３４ 心拍評価値算出部
１３５、５３５ 腕動作評価値算出部
１３６、５３６ 判定部
２００ 端末装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】