特許 7009342 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-14

(45)【発行日】2022-01-25

(54)【発明の名称】咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20220118BHJP

   A61B 5/11 20060101ALI20220118BHJP

   A61B 5/389 20210101ALI20220118BHJP

【ＦＩ】

A61B5/00 102C

A61B5/00 G

A61B5/11 300

A61B5/11 310

A61B5/389

【請求項の数】 17

(21)【出願番号】P 2018181733

(22)【出願日】2018-09-27

(65)【公開番号】P2020048917

(43)【公開日】2020-04-02

【審査請求日】2020-07-18

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】若松 大作

【審査官】門田 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１１／０２７６３１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０２７０８２０（ＵＳ，Ａ１）

【文献】特開２０１８－０３３６２４（ＪＰ，Ａ）

【文献】特開２００６－３２０７３５（ＪＰ，Ａ）

【文献】特開２０１７－１４０１９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／０５３８

Ａ６１Ｂ ５／０６ － ５／３９８

Ａ６１Ｂ １０／００

Ｇ０６Ｑ ５０／２２

Ｇ１６Ｈ １０／００ －８０／００

(57)【特許請求の範囲】

【請求項1】

ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有することを特徴とする食事評価装置。

【請求項2】

当該咀嚼に係る量及び笑みに係る量に対し、少なくとも食事の多少に係る値についての当該ユーザによる申告情報を紐づけて記録した食事ログを複数用いて、当該学習済みの食事量推定モデルを構築する食事量推定モデル構築手段を更に有することを特徴とする請求項１に記載の食事評価装置。

【請求項3】

前記フィードバック手段は、少なくとも１つの過去の時点に係る当該食事ログにも基づいて、当該ユーザの食事又は健康に関係する情報を生成又は選択することを特徴とする請求項２に記載の食事評価装置。

【請求項4】

前記フィードバック手段は、当該咀嚼に係る量から決定される咀嚼における回数、ペース及び時間間隔のうちの少なくとも１つにも基づいて、当該少なくとも１つと当該食事の多少に係る値とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、当該ユーザの食事又は健康に関係する情報とすることを特徴とする請求項１から３のいずれか１項に記載の食事評価装置。

【請求項5】

前記生体信号情報決定手段は、生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、当該咀嚼に係る量を決定することを特徴とする請求項１から４のいずれか１項に記載の食事評価装置。

【請求項6】

ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、
前記フィードバック手段は、当該笑みに係る量から決定される笑みの回数及び／又は時間にも基づいて、当該笑みの回数及び／又は時間と当該食事の多少に係る値とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、当該ユーザの食事又は健康に関係する情報とする
ことを特徴とする食事評価装置。

【請求項7】

前記生体信号情報決定手段は、
当該ユーザの食事に係る画像情報を取得し、当該画像情報に基づき、学習済みの画像食事種別推定モデル及び／又は画像食事量推定モデルを用いて、当該ユーザの食事における食事種別情報及び／又は食事の多少に係る量を決定し、
決定した食事種別情報及び／又は食事の多少に係る量に基づき、過去の当該咀嚼に係る量及び／又は笑みに係る量によって学習を行い構築した学習済みの生体信号情報推定モデルを用いて、当該ユーザの咀嚼に係る量及び／又は笑みに係る量を決定する
ことを特徴とする請求項１から６のいずれか１項に記載の食事評価装置。

【請求項8】

ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、前記生体信号情報決定手段は、
生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、生体の繰り返し運動に起因する周期的生体信号の発生を判定し、さらに、
当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定し、当該信号発生時間区間において、当該周期的生体信号が発生していないと判定された際、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、当該笑みに係る量を決定する
ことを特徴とする食事評価装置。

【請求項9】

ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、前記生体信号情報決定手段は、
生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、生体の繰り返し運動に起因する周期的生体信号の発生を判定し、さらに、
当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定し、当該信号発生時間区間において、当該周期的生体信号が発生していないと判定された際、当該入力信号の標準偏差と平均パワー周波数とを含む特徴量を算出し、当該特徴量について、基準状態に該当する入力信号の当該特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された当該離隔度合いに基づいて、当該笑みに係る量を決定する
ことを特徴とする食事評価装置。

【請求項10】

前記食事量決定手段は、食事時間にも基づいて、食事の多少に係る値を決定することを特徴とする請求項１から９のいずれか１項に記載の食事評価装置。

【請求項11】

前記食事評価装置は、当該咀嚼に係る量及び／又は当該笑みに係る量に基づき、学習済みの嗜好推定モデルを用いて、食事の嗜好に係る値を決定する食事嗜好決定手段を更に有し、
前記フィードバック手段は、決定された食事の嗜好に係る値にも基づいて、当該ユーザの食事又は健康に関係する情報を生成又は選択する
ことを特徴とする請求項１から１０のいずれか１項に記載の食事評価装置。

【請求項12】

当該咀嚼に係る量及び／又は笑みに係る量に対し、少なくとも食事の嗜好に係る値についての当該ユーザによる申告情報を紐づけて記録した食事ログを複数用いて、当該嗜好推定モデルを構築する嗜好推定モデル構築手段を更に有することを特徴とする請求項１１に記載の食事評価装置。

【請求項13】

前記フィードバック手段は、取得されたユーザに係る位置情報及び／又は食事に係る音声情報にも基づいて、当該ユーザの食事又は健康に関係する情報を、生成又は選択することを特徴とする請求項１から１２のいずれか１に記載の食事評価装置。

【請求項14】

当該生体信号は、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることを特徴とする請求項１から１３のいずれか１項に記載の食事評価装置。

【請求項15】

ユーザに係る端末と、当該端末と通信接続された、ユーザの食事を評価する食事評価サーバとを有する食事評価システムであって、
当該端末は、当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段を有し、
前記食事評価サーバは、
当該端末から当該ユーザの食事に係る画像情報を取得し、当該画像情報に基づき、学習済みの画像食事種別推定モデル及び／又は画像食事量推定モデルを用いて、当該ユーザの食事における食事種別情報及び／又は食事の多少に係る量を決定し、さらに、決定した食事種別情報及び／又は食事の多少に係る量に基づき、当該端末から取得した過去の咀嚼に係る量及び笑みに係る量によって学習を行い構築した学習済みの生体信号情報推定モデルを用いて、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する画像情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と
を有し、
当該端末は、前記食事評価サーバから当該食事の多少に係る値を取得し、当該食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段を更に有する
ことを特徴とする食事評価システム。

【請求項16】

ユーザの食事を評価する装置に搭載されたコンピュータを機能させるプログラムであって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
してコンピュータを機能させることを特徴とする食事評価プログラム。

【請求項17】

ユーザの食事を評価する装置に搭載されたコンピュータにおける食事評価方法であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定するステップと、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定するステップと、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するステップと
を有することを特徴とする食事評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、取得された生体信号から当該生体に係る情報を推定する技術に関する。

【背景技術】

【0002】

近年、人間や動物の各種活動に起因する種々の生体信号をセンサによって検知し、信号処理して得られる生体データを様々な場面で利用する技術が開発されている。ここでセンサとしては、例えば、腕時計型脈拍センサ、イヤホン型脈拍センサや、ヘッドバンド型脳波センサ等が使用される。また、このようなセンサによって検知された生体信号は、例えばユーザに携帯されたスマートフォンによって処理・加工され、様々なアプリで利用されている。

【0003】

最近では特に、高齢者の増加や健康志向の高まりによって、得られた生体データから日常の食事の内容を分析し、より好ましい食事の態様を模索する試みも盛んに行われている。

【0004】

例えば、特許文献１は、飲食時に被験者が美味しいと感じた場合と、美味しくないと感じた場合とで、体表面用加速度検出部１で検出された加速度信号によるパワースペクトルに差異が生じるとの実験結果を開示している。ここで、それぞれのパワースペクトルに識別可能な特徴のあることも確認されており、具体的には、嚥下反応を計測して被験者の食感を評価する実験も実施されている。

【0005】

また、特許文献２には、咀嚼時の人体動作を計測する計測装置５０から咀嚼に関する咀嚼データを取得する取得部１１と、取得した咀嚼データ及び所定の閾値データを比較する比較部１２と、比較部１２で比較した結果に基づいて、食事に関する提案情報を生成する生成部１３とを備えた食事支援装置１００が開示されている。ここで、この装置１００によって、咀嚼指導を含む食事に関する提案も提供可能であるとしている。

【0006】

さらに、特許文献３には、生体情報測定装置１００により測定された食事前後の生体情報と、当該食事前後の生体情報が得られた測定時刻とに基づいて、食事前後の生体情報の変化を分析する生体情報分析部２２と、この分析結果に基づいて、食事に関するアドバイスを提供するアドバイス提供部２３とを備えた食事アドバイス提供システムが開示されている。

【0007】

ここで、この食事アドバイス提供システムによれば、食事の撮影画像がなくても食事に関するアドバイスが提供可能になるとともに、食事前後の生体情報を用いて分析を行うことによって、食事前後での生体情報の変動と食事との因果関係を明確にし、天井にカメラの設置されていない一般的な場所で食事を行う場合であっても、生体情報の変動の分析結果に基づいて、適切な食事アドバイスが提供可能になるとしている。

【先行技術文献】

【特許文献】

【0008】

【文献】特開２０１７－０８６３２２号公報

【文献】特開２０１６－１５９０９６号公報

【文献】特許第６２８５０８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

ここで、本願発明者は、取得された生体データから例えば食事に関するアドバイス情報を生成する際、特にユーザ（被験者）の感じる食事量の多少を勘案することが、より好適な情報を生成するのに重要であることを見出した。実際、ユーザが食事量を如何に捉えているかの情報は、現状の食事を評価する上でも非常に重要な１つの指標となるのである。

【0010】

しかしながら、上述したような従来技術においては、例え生体情報から食事に関する情報を収集し、さらには食事アドバイスを行ったとしても、その中で、ユーザの感じる食事量の多少を勘案することは何らなされてこなかった。例えば、特許文献１に開示された技術では、嚥下の加速度を周波数領域で分析することで、ユーザの食事の好き嫌い、すなわち食事の嗜好を分析するにとどまっている。

【0011】

また、特許文献２に開示された技術においても、咀嚼をセンシングし、予め規定したルールによって、咀嚼回数を増加させ、食べる順番や、固めの食材を選ぶ等、健康的な食事行動を推奨するアドバイスを行うにとどまっている。さらに、特許文献３は、生体情報と食事画像とを分析して学習し、食事画像がなくても食事に関するアドバイスを提供する方法を提案してはいるが、このアドバイスの生成において、生体情報（糖質指標）の変化の勾配の大きさや、変化量の大きさなどから早食い状態と食べ過ぎ状態とを推定している一方で、実際にユーザの感じる食事量の多少を勘案することはなされていない。

【0012】

そこで、本発明は、取得された生体信号に基づき、ユーザの食事の多少に係る情報を勘案して、当該ユーザの食事又は健康に関係する情報を提供することができる食事評価装置、システム、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明によれば、ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有する食事評価装置が提供される。

【0014】

この本発明による食事評価装置については、当該咀嚼に係る量及び笑みに係る量に対し、少なくとも食事の多少に係る値についての当該ユーザによる申告情報を紐づけて記録した食事ログを複数用いて、当該学習済みの食事量推定モデルを構築する食事量推定モデル構築手段を更に有することも好ましい。

【0015】

また、本発明による食事評価装置における食事量決定手段は、食事時間にも基づいて、食事の多少に係る値を決定することも好ましい。

【0016】

さらに、本発明による食事評価装置の一実施形態として、本食事評価装置は、当該咀嚼に係る量及び／又は当該笑みに係る量に基づき、学習済みの嗜好推定モデルを用いて、食事の嗜好に係る値を決定する食事嗜好決定手段を更に有し、
フィードバック手段は、決定された食事の嗜好に係る値にも基づいて、当該ユーザの食事又は健康に関係する情報を生成又は選択することも好ましい。

【0017】

また、上記の実施形態において、本食事評価装置は、当該咀嚼に係る量及び／又は笑みに係る量に対し、少なくとも食事の嗜好に係る値についての当該ユーザによる申告情報を紐づけて記録した食事ログを複数用いて、当該学習済みの嗜好推定モデルを構築する嗜好推定モデル構築手段を更に有することも好ましい。

【0018】

さらに、本発明による食事評価装置のフィードバック手段は、少なくとも１つの過去の時点に係る当該食事ログにも基づいて、当該ユーザの食事又は健康に関係する情報を生成又は選択することも好ましい。

【0019】

また、本発明に係るフィードバック手段についての一実施形態として、フィードバック手段は、当該咀嚼に係る量から決定される咀嚼における回数、ペース及び時間間隔のうちの少なくとも１つにも基づいて、当該少なくとも１つと当該食事の多少に係る値とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、当該ユーザの食事又は健康に関係する情報とすることも好ましい。

【0020】

さらに、本発明によれば、ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、
フィードバック手段は、当該笑みに係る量から決定される笑みの回数及び／又は時間にも基づいて、当該笑みの回数及び／又は時間と当該食事の多少に係る値とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、当該ユーザの食事又は健康に関係する情報とする
ことを特徴とする食事評価装置が提供される。

【0021】

また、本発明に係るフィードバック手段についての更なる他の実施形態として、フィードバック手段は、取得されたユーザに係る位置情報及び／又は食事に係る音声情報にも基づいて、当該ユーザの食事又は健康に関係する情報を、生成又は選択することも好ましい。

【0022】

さらに、本発明に係る生体信号情報決定手段についての一実施形態として、生体信号情報決定手段は、生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、当該咀嚼に係る量を決定することも好ましい。

【0023】

また、本発明によれば、ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、上記の生体信号情報決定手段は、
生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、生体の繰り返し運動に起因する周期的生体信号の発生を判定し、さらに、
当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定し、当該信号発生時間区間において、当該周期的生体信号が発生していないと判定された際、当該入力信号の平均パワー周波数を算出し、当該平均パワー周波数の高さに基づいて、当該笑みに係る量を決定する
ことを特徴とする食事評価装置が提供される。

【0024】

また、本発明によれば、ユーザの食事を評価する食事評価装置であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量のうちの少なくとも笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
を有し、上記の生体信号情報決定手段は、
生体信号を含み得る入力信号の加速度成分データを生成し、当該加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、当該代表値の周期性に基づいて、生体の繰り返し運動に起因する周期的生体信号の発生を判定し、さらに、
当該入力信号に対し多重解像度解析処理を実施し、多重解像度解析処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定し、当該信号発生時間区間において、当該周期的生体信号が発生していないと判定された際、当該入力信号の標準偏差と平均パワー周波数とを含む特徴量を算出し、当該特徴量について、基準状態に該当する入力信号の当該特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された当該離隔度合いに基づいて、当該笑みに係る量を決定する
ことを特徴とする食事評価装置が提供される。

【0025】

さらに、本発明に係る生体信号情報決定手段についての更なる他の実施形態として、生体信号情報決定手段は、
当該ユーザの食事に係る画像情報を取得し、当該画像情報に基づき、学習済みの画像食事種別推定モデル及び／又は画像食事量推定モデルを用いて、当該ユーザの食事における食事種別情報及び／又は食事の多少に係る量を決定し、
決定した食事種別情報及び／又は食事の多少に係る量に基づき、過去の当該咀嚼に係る量及び／又は笑みに係る量によって学習を行い構築した学習済みの生体信号情報推定モデルを用いて、当該ユーザの咀嚼に係る量及び／又は笑みに係る量を決定することも好ましい。

【0026】

また、本発明による食事評価装置において、当該生体信号は具体的に、ユーザの頭部に付されたデバイスであって、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するような電極構成を有するデバイスによって取得された信号であることも好ましい。

【0027】

本発明によれば、また、ユーザに係る端末と、当該端末と通信接続された、ユーザの食事を評価する食事評価サーバとを有する食事評価システムであって、
当該端末は、当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段を有し、
前記食事評価サーバは、
当該端末から当該ユーザの食事に係る画像情報を取得し、当該画像情報に基づき、学習済みの画像食事種別推定モデル及び／又は画像食事量推定モデルを用いて、当該ユーザの食事における食事種別情報及び／又は食事の多少に係る量を決定し、さらに、決定した食事種別情報及び／又は食事の多少に係る量に基づき、当該端末から取得した過去の咀嚼に係る量及び笑みに係る量によって学習を行い構築した学習済みの生体信号情報推定モデルを用いて、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する画像情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と
を有し、
当該端末は、前記食事評価サーバから当該食事の多少に係る値を取得し、当該食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段を更に有する
ことを特徴とする食事評価システムが提供される。

【0028】

本発明によれば、さらに、ユーザの食事を評価する装置に搭載されたコンピュータを機能させるプログラムであって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定する生体信号情報決定手段と、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定する食事量決定手段と、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するフィードバック手段と
してコンピュータを機能させる食事評価プログラムが提供される。

【0029】

本発明によれば、さらにまた、ユーザの食事を評価する装置に搭載されたコンピュータにおける食事評価方法であって、
当該ユーザの頭部に係る生体信号から決定される量であって、当該ユーザの咀嚼に係る量及び笑みに係る量を決定するステップと、
当該咀嚼に係る量及び笑みに係る量に基づき、学習済みの食事量推定モデルを用いて、食事の多少に係る値を決定するステップと、
決定された食事の多少に係る値に基づき、当該ユーザの食事又は健康に関係する情報を、生成又は選択して提供するステップと
を有する食事評価方法が提供される。

【発明の効果】

【0030】

本発明の食事評価装置、システム、プログラム及び方法によれば、取得された生体信号に基づき、ユーザの食事の多少に係る情報を勘案して、当該ユーザの食事又は健康に関係する情報を提供することができる。

【図面の簡単な説明】

【0031】

【図1】本発明による食事評価装置を含む食事評価システムの一実施形態を示す模式図である。

【図2】本発明に係る生体信号取得装置の他の実施形態を示す模式図である。

【図3】処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。

【図4】本発明による食事評価方法の一実施形態を概略的に説明するための模式図である。

【図5】本発明による食事評価システムの他の実施形態を示す模式図である。

【図6】本発明による食事評価方法の他の実施形態を概略的に説明するための模式図である。

【発明を実施するための形態】

【0032】

以下では、本発明の実施形態について、図面を用いて詳細に説明する。

【0033】

［食事評価システム］
図１は、本発明による食事評価装置を含む食事評価システムの一実施形態を示す模式図である。

【0034】

図１に示した本実施形態の食事評価システムは、
（ア）生体信号取得装置としての筋電センサ付メガネ２と、
（イ）（筋電センサ付メガネ２を装着した）ユーザの食事を評価する、本発明による食事評価装置としての携帯端末１と
を備えている。ここで、これら両者はそれぞれ、例えばBluetooth（登録商標）や、Wi-Fi（登録商標）又はその他の近距離無線通信規格に準拠した無線通信手段である信号インタフェース２１３及び信号インタフェース１０１を備えており、これにより互いに通信接続されている。なお変更態様として、両者が有線によって通信接続されていてもよい。

【0035】

最初に、上記（ア）の筋電センサ付メガネ２は、生体（例えば人間であるユーザ）の頭部に取り付けて、生体信号を取得可能なメガネ型の装置である。この装置で取得される生体信号は、本実施形態において、顔面内部位の動き又は表情に係る動きに起因して発生する電気信号としての筋電信号となっている。また、取得される生体信号には、このような動きによって発生する、電極ズレに起因する（ノイズ）信号等も混入し得る。

【0036】

ここで、検出対象となる顔面内部位の動き又は表情に係る動きとして、本実施形態では特に「咀嚼」に着目し、繰り返し動作に起因するが故に時間的周期性を有するような周期的生体信号である「咀嚼」に係る筋電信号を、効率良く検出することを特徴としている。またさらに、口角上げとして捉えられる「笑み」に係る筋電信号も重要な検出対象としている。

【0037】

同じく図１において、筋電センサ付メガネ２は具体的に、
（ａ）生体信号を取り込み処理する部分である信号処理ボック２１を備えた、装置本体部としてのフレーム部と、
（ｂ）頭部の皮膚に接触する位置であってフレーム部の重量の少なくとも一部を受け止め可能な位置に配された、生体信号を受信するための電極部としてのプラス電極パッド２３及びマイナス電極パッド２４と、
（ｃ）プラス電極パッド２３及びマイナス電極パッド２４を介して受信された生体信号を信号処理ボックス２１へ伝えるための導電路を備えた弾性支持部と、
（ｄ）鼻の上部近傍に接触する位置に配され、生体信号受信の際のグランド（ＧＮＤ）電極又はノイズキャンセル用電極を備えた鼻パッド電極部２５と
を有している。なお、上記（ｄ）のノイズキャンセル用電極は、商用電源等に起因するコモンモードノイズを低減させるＤＲＬ(Driven Right Leg)電極であってもよい。

【0038】

また、上記（ｂ）のプラス電極パッド２３は、生体信号受信の際の検出電極又はプラス電極として機能し、一方、マイナス電極パッド２４は、生体信号受信の際のリファレンス電極又はマイナス電極として機能する。生体信号は、これらプラス電極パッド２３とマイナス電極パッド２４との間の電位差として検出・取得されることになる。

【0039】

このように、筋電センサ付メガネ２では、プラス電極パッド２３及びマイナス電極パッド２４といった電極部が、生体信号を受信する手段としてだけではなく、装置本体部を支持する手段としても機能している。また、弾性支持部は、弾性をもってこれら電極部と装置本体部とを接続している。その結果、例えば装着された頭部が大きく動いたとしても、これらの電極部を、弾性支持部という弾性部位を介して伝わる装置本体部の重量をもって、頭部の皮膚の所定位置近傍に安定して接触させ続けることが可能となる。

【0040】

ここで、１つの装着例を説明する。人間の頬骨は顔の正面から見ると横に張り出しているが、プラス電極パッド２３及びマイナス電極パッド２４を、例えばこの頬骨の最も幅広の箇所より若干上方の皮膚に当接させれば、左右の「電極部」の間隔が頬骨の最大幅よりも狭くなっていて頬骨上部の広がった部分に引っ掛かることになるので、これにより、筋電センサ付メガネ２が安定して支持される。

【0041】

また、筋電センサ付メガネ２は、図示していないが、電極部から信号処理ボックス２１へ生体信号を取り込むための導電路を備えており、電極部で受信された生体信号を、信号処理ボックス２１へ安定して確実に取り込むことを可能にする。すなわち、導電路は、左右の信号処理ボックス２１と各電極部との間をつなぐ安定した電気的伝送路として機能する。

【0042】

なお、変更態様として、ＧＮＤ電極又はノイズキャンセル用電極としての機能を、メガネ２のモダン部に持たせることもできる。この場合、鼻パッド電極部２５を省略し、鼻パッドレスとすることも可能となる。また、更なる変更態様として、このモダン部の電極と鼻パッド電極部２５とを電気的に導通させ、それら複数の電極をＧＮＤ電極として機能させてもよい。

【0043】

さらに当然ではあるが、プラス電極パッド２３及びマイナス電極パッド２４がそれぞれ左のテンプル部分及び右のテンプル部分に接続する入れ替わった形であっても構わない。いずれにしても、プラス電極パッド２３及びマイナス電極パッド２４を左右に分けて配置することによって、正中線に対し左右それぞれに存在する同種の筋肉の活動を捉えることができる。

【0044】

例えば、本実施形態において特に着目している「咀嚼」に係る筋肉活動や、顔表情「笑み」を作る筋肉活動は一般に、左右のいずれか一方ではなく両方で同時に発生する。そのため、１チャンネルを構成する１組の電極を左右のいずれか一方のみであって観測対象の筋肉直上に例えば数ｃｍ隔てて配置するよりも、１組をなす電極の各々を左右に分けて配置する方が、左右の筋肉活動の全体を捉えることになるので結局、より安定した大きな筋電信号を得ることができるのである。

【0045】

また、このように左右の電極を離隔させておくことにより、「咀嚼」（口の開閉）に起因する筋電信号や、「咀嚼」に伴って生じる皮膚表面の凹凸を原因とする皮膚と電極との間の接触抵抗の変化に起因する信号をより確実に捉えることも可能となるのである。

【0046】

さらに、弾性支持部は、本実施形態において２つ設けられており、それぞれプラス電極パッド２３及びマイナス電極パッド２４を、こめかみより下側の皮膚の位置であって、顔を正面から見た際の頬骨における最も幅広の個所より少し上の皮膚の位置へ弾性をもって押し当て（当接させ）、これにより筋電センサ付メガネ２を支持する支持構造として機能している。

【0047】

また、プラス電極パッド２３及びマイナス電極パッド２４のいずれも、頬上部からこめかみを介し耳の付け根までの範囲内のいずれかの位置で皮膚に接触することができるように、この弾性支持部のフレーム部に対する位置が調整されている。

【0048】

同じく図１に示すように、右側のテンプル部分に配置された信号処理ボックス２１は、処理部駆動用の電池を内蔵しており、左側のテンプル部分に配置された信号処理ボックス２１へこの電池の電力を供給する。これら左右の信号処理ボックス２１のそれぞれの重量は略（ほぼ）同等に設定されていることも好ましい。これにより、筋電センサ付メガネ２の重量における左右のバランスをとることができ、偏りのない良好な装着感を実現することができる。

【0049】

ここで、左側のテンプル部分に配置された信号処理ボックス２１は、信号変換部２１１と、前フィルタ処理部２１２と、信号インタフェース２１３とを有している。このうち、信号変換部２１１は、筋電センサとして、
（ａ）プラス電極パッド２３と電気的に接続されたプラス（検出用）電極と、
（ｂ）マイナス電極パッド２４と電気的に接続されたマイナス（リファレンス）電極と
の電位差の交流成分を、
（ｃ）鼻パッド電極２５と電気的に接続されたＧＮＤ電極
におけるＧＮＤ電位との差動増幅によって増幅し、このアナログの生体信号を一定のサンプリング周波数でデジタル化する。ちなみに、この差動増幅は、商用電源等に起因するコモンモードノイズを軽減するためのＤＲＬ回路をもって実施されてもよい。

【0050】

これにより、例えば、プラスマイナス0.1～数百μＶの範囲の皮膚電位検出が可能となる。また、このデジタル化の条件として、サンプリング周波数が500Hz以上であって量子化10bit以上でアナログ／デジタル（Ａ／Ｄ）変換を行うことも好ましい。なお、このような回路構成は、例えばNeurosky社製のＴＧＡＭ１を利用して実現可能となっている。

【0051】

また、前フィルタ処理部２１２は、ノッチフィルタ機能及びローパスフィルタ（ＬＰＦ）機能を有している。このうち、ノッチフィルタ機能は、加速度成分データを生成する前の入力信号に対し、（混入する場合の少なくない）商用電源に係る周期的ノイズを低減する帯域除去フィルタ処理を実施する。ちなみに、上述したNeurosky社製のＴＧＡＭ１は、商用電源由来のノイズを軽減するノッチフィルタを搭載しており、ノッチフィルタ機能としてこれを利用することができる。

【0052】

一方、ＬＰＦ機能は、帯域除去フィルタ処理の施された入力信号に対し、高周波ノイズを除去するＬＰＦ処理を実施する。具体的には、入力信号に対し高域通過フィルタ（ＨＰＦ，High-Pass Filter）処理を実施し、その結果を元の入力信号から差し引くことによって、ＬＰＦ処理としてもよい。ここで、ＨＰＦとして、例えばＤＣブロッカ（DC Blocker）を使用することができる。

【0053】

このＤＣブロッカは、入力信号から直流バイアス成分（超低周波数成分）を除去し、交流成分を取り出すためのフィルタであり、次式
（１） y[n]＝x[n]－x[n-1]＋r＊y[n-1]
のような差分方程式の下で機能する。ここで、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数rは0～1の値をとり、r＝0の場合、このフィルタは次に説明する差分フィルタと等価になる。ちなみに、このＬＰＦ処理を施された後であっても、筋電信号としての交流信号は残留しているのである。

【0054】

ちなみに、以上に説明した前フィルタ処理部２１２におけるＬＰＦ機能、又はノッチフィルタ機能及びＬＰＦ機能の両方が、携帯端末１で実施されてもよい。しかしながら本実施形態のようにＬＰＦ処理までの前処理を筋電センサ付メガネ２側で施すことによって、携帯端末１へ送信する信号の容量を抑え、良好な通信を確保することができる。また、これらの電池や信号前処理機能を、ボックスにではなくフレーム部に内蔵させ、筋電センサ付メガネ２全体を、外観上通常のメガネと大きく変わらないデザインにすることも可能である。

【0055】

同じく図１によれば、上記（イ）の食事評価装置としての携帯端末１は、
（Ａ）ユーザの頭部に係る生体信号、本実施形態では筋電センサ付メガネ２で取得された筋電信号から決定される量であって、ユーザの「咀嚼に係る量」及び「笑みに係る量」のいずれか一方又は両方を決定する生体信号情報決定部１１１と、
（Ｂ）「咀嚼に係る量」及び「笑みに係る量」のいずれか一方又は両方に基づき、学習済みの「食事量推定モデル」を用いて、「食事の多少に係る値」を決定する食事量決定部１１２と、
（Ｃ）決定された「食事の多少に係る値」に基づき、ユーザの「食事又は健康に関係する情報」を、生成又は選択して提供するフィードバック部１１４と
を有している。

【0056】

このように、食事評価装置としての携帯端末１は、取得した生体信号（筋電信号）に基づいてユーザの「食事又は健康に関係する情報」を提供するにあたり、「食事の多少に係る値」を勘案することによって、より適切な情報提供を行うことを可能にしている。

【0057】

ここで、「食事の多少に係る値」は、食事の物理的絶対量に相当する値とすることも可能ではあるが、そうではなく、例えばユーザが食事についてその量を多いと感じるか又は少ないと感じるかを表すユーザの主観的指標とすることも好ましい。

【0058】

このような指標は、現状の食事を評価する上で非常に重要な１つの指標となる。具体的には、ユーザが食事量を多く感じるか少なく感じるかの情報は、当該食事時点でのユーザの心身の調子・状態や食欲の程度を推定する良い指標となるのであり、より適切なユーザの「食事又は健康に関係する情報」を生成又は選択するのに好適な指標となっているのである。

【0059】

また、携帯端末１は、さらに、
（Ｄ）「咀嚼に係る量」及び「笑みに係る量」のいずれか一方又は両方に基づき、学習済みの「嗜好推定モデル」を用いて、「食事の嗜好に係る値」を決定する食事嗜好決定部１１３
を有することも好ましい。この場合、フィードバック部１１４は、「食事の多少に係る値」だけでなく「食事の嗜好に係る値」にも基づいて、ユーザの「食事又は健康に関係する情報」を生成又は選択する。

【0060】

ここで、「食事の嗜好に係る値」は、例えば食事評価の専門家による評価値相当の値とすることも可能ではあるが、そうではなく、例えばユーザが食事における食べ物に対し美味しい（好き）と感じるのか不味い（嫌い）と感じるのかの主観的指標とすることも好ましい。

【0061】

このような指標も、ユーザの好き嫌いの傾向のみならず、当該食事時点でのユーザの心身の調子・状態や食欲の程度を推定する良い指標となるのであり、より適切なユーザの「食事又は健康に関係する情報」を生成又は選択するのに好適な指標となっている。したがって、「食事の多少に係る値」だけでなく「食事の嗜好に係る値」をも勘案するによって、より適切なユーザ「食事又は健康に関係する情報」を生成又は選択することが可能となるのである。

【0062】

図２は、本発明に係る生体信号取得装置の他の実施形態を示す模式図である。

【0063】

図２（Ａ）には、本発明に係る生体信号取得装置としてのヘッドフォン２’が示されている。ヘッドフォン２’は、食事評価装置としての携帯端末１に連携するウェアラブルデバイスであり、検知された生体信号としての筋電信号を含み得る信号に対し、筋電センサ付メガネ２（図１）と同様に前フィルタ処理（ノッチフィルタ処理及びＬＰＦ処理）を行い、前フィルタ処理を施した当該信号を、（Bluetooth（登録商標）やWi-Fi（登録商標）等の）無線、又は（ケーブル接続による）有線を介して携帯端末１に送信する。

【0064】

ここで、有線は、例えば携帯端末１のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよく、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。いずれにしても、当該無線又は有線を介し、携帯端末１からヘッドフォン２’へ、例えばコンテンツの音声信号が伝送されるとともに、ヘッドフォン２’から携帯端末１へ、筋電センサによって検知され前フィルタ処理された筋電信号を含む信号が伝送される。

【0065】

また、ヘッドフォン２’の筋電センサも、筋電センサ付メガネ２（図１）と同様、「検出用＋（プラス）電極」、「リファレンス用－（マイナス）電極」、及び「ＤＲＬ(Driven Right Leg)電極」の３つの電極を有している。また、これらの電極配置についても、筋電センサ付メガネ２（図１）と同様、リファレンス用電極が左（又は右）の耳介周辺から頬近傍の１つの皮膚位置に接し、検出用電極が右（又は左）の耳介周辺から頬近傍の１つの皮膚位置に接するように設定することができる。ちなみに、この場合、検知され得る生体信号には、咀嚼運動や口角上げ運動に起因する筋電信号が含まれる。

【0066】

なお、筋電センサの電極の配置は、当然に上記の形態に限定されるものではない。例えば、ヘッドフォン２’がオープンエア型のイヤカップやイヤパッドを有さない場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い位置に電極を配置してもよい。

【0067】

さらに、本発明による生体信号処理装置であって、同様の筋電センサ及びその電極を備えた頭部装着デバイスとして、図２（Ｂ）に示したイヤホン２’’も挙げられる。このイヤホン２’’も、検知された生体信号としての筋電信号を含み得る入力信号を処理し、筋電信号発生の有無や、発生した筋電信号の種別を判定して、この判定結果に係る情報を、無線又は有線（ケーブル）を介して携帯端末１に送信する。また、当該無線又は有線を介し、携帯端末１からイヤホン２’’へ、例えばコンテンツの音声信号が伝送される。

【0068】

以上に説明したような筋電センサ付メガネ２（図１）、ヘッドフォン２’（図２（Ａ））や、イヤホン２’’（図２（Ｂ））を用いることによって、「咀嚼」に起因する筋電信号の発生をより確実に把握することもでき、さらに、「笑み」を含む顔表情に相当する口角上げ運動に係る筋電信号を検知することも可能となる。

【0069】

ちなみに、このような筋電信号は、ユーザの意識的反応による信号である場合、ユーザインタフェースとして利用可能となる。一方、無意識的反応による信号ならば、ユーザの感情及びその推移の測定結果として利用することも可能となるのである。さらに例えば、ユーザによるヘッドフォン２’やイヤホン２’’の装着／未装着も、筋電信号の検知状況から判断可能となるのである。

【0070】

また、耳を含む位置に装着される筋電センサ付メガネ２（図１）、ヘッドフォン２’（図２（Ａ））や、イヤホン２’’（図２（Ｂ））では、乾式電極を用いる筋電センサ等によって検出される信号が交流である性質を利用して検出を実施し、一方で、振幅の小さい交流信号は検出せず、さらに乾式電極のズレによるノイズ（アーチファクト）も生体信号として検出しないので、計算量を小さくしつつより確実に交流信号としての「周期的生体信号」を検出することが可能となるのである。

【0071】

［食事評価装置］
図１の機能ブロック図に戻って、食事評価装置１は、信号インタフェース１０１と、咀嚼・笑み情報保存部１０２と、食事ログ保存部１０３と、フィードバック情報保存部１０４と、カメラ１０５と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）１０６と、マイク１０７と、スピーカ１０８と、プロセッサ・メモリとを有する。

【0072】

ここで、このプロセッサ・メモリは、本発明による食事評価プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この食事評価プログラムを実行することによって、食事評価処理を実施する。このことから、食事評価装置１は、本発明による食事評価プログラムを搭載した、例えばパーソナルコンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等であってもよい。

【0073】

さらに、プロセッサ・メモリは、画像情報処理部１１１ａを有する生体信号情報決定部１１１と、食事量決定部１１２と、食事嗜好決定部１１３と、フィードバック部１１４と、食事ログ生成管理部１２１と、食事量推定モデル構築部１２２と、嗜好推定モデル構築部１２３と、通信制御部１３１と、入出力制御部１３２とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された食事評価プログラムの機能と捉えることができる。また、図１における食事評価装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による食事評価方法の一実施形態としても理解される。

【0074】

同じく図１の機能ブロック図において、生体信号情報決定部１１１は、筋電センサ付メガネ２から信号インタフェース１０１及び通信制御部１３１を介して取得された、生体信号を含む入力信号から、ユーザの「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）を決定する。ここで、決定された「咀嚼に係る量」及び「笑みに係る量」は、一先ず咀嚼・笑み情報保存部１０２に保存され、その後適宜読み出されて、食事量決定部１１２、食事嗜好決定部１１３や、フィードバック部１１４へ提供されることも好ましい。

【0075】

ここで、生体信号情報決定部１１１は、当該入力信号の加速度成分データを生成し、この加速度成分データにおける所定時間区間でのデータの偏り具合に係る代表値を算出し、この代表値の周期性に基づいて、「咀嚼に係る量」を決定することができる。

【0076】

具体的に、生体信号情報決定部１１１は、２階差分フィルタを有し、ＬＰＦ処理の施された入力信号の加速度成分データを生成する。この２階差分フィルタは、当該入力信号に対して差分フィルタ処理を２回実施する構成とすることができる。ここで使用される差分フィルタの原理を示す差分方程式は、次式
（２） y[n]＝x[n]－x[n-1]
の通りとなる。上式（２）において、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。

【0077】

なお一般に、上記のようにデジタルフィルタを使用する場合、高度なデジタルフィルタになるほど計算量がより増大することになる。この計算量の増大は、携帯端末１のようなモバイルデバイスにおいてはバッテリーの持続時間の低下をもたらし、大きな問題となる。これに対し、生体信号情報決定部１１１は、例えば三角関数を含むフィルタを使用したりせず、次数の少ないフィルタを用いて生体信号の処理を行っているので、問題となる計算量の増大を抑制することができるのである。

【0078】

生体信号情報決定部１１１は次いで、生成した加速度成分データを、所定時間区間（ウィンドウ分析区間）に分割し、各ウィンドウ分析区間でのデータの偏り具合に係る代表値を算出する。一般に、生体センサから出力される時系列データは、逐次リアルタイムに分析することによって、ユーザインタフェースを介し、ユーザにリアルタイムにフィードバック可能となり、非常に利用し易くなる。この際、予めウィンドウ分析区間を設け、この分析区間をずらしながら逐次分析することによって、概ねリアルタイムな分析処理が可能となるのである。

【0079】

本実施形態においては、筋電センサ付メガネ２の信号変換部２１１におけるデジタル化のサンプリング周波数が512Hzである場合、加速度成分の時系列データが64サンプル入力される毎に、直近に入力された128サンプルをウィンドウ分析区間として標準偏差SDを算出する。また変更態様として、同じくウィンドウ分析区間を128サンプルとし、加速度成分の時系列データを0.25秒毎（128サンプル毎）に区切りながら、区切った区間毎に、当該区間内の加速度成分データにおける標準偏差SDを算出してもよい。

【0080】

なお、ここで算出される値は当然に、標準偏差SDに限定されるものではなく、ウィンドウ分析区間での加速度成分データの偏り具合に係る値ならば種々の値が採用可能である。

【0081】

生体信号情報決定部１１１はさらに、各ウィンドウ分析区間における加速度成分が所定範囲内に連続して留まっている時間区間の長さ（サンプル数長len_th）について単調減少関数となる重みWを算出する。本願発明者は、筋電信号が発生していない場合に、発生している場合と比較して、この時間区間が相当に長くなることを見出した。

【0082】

そこで、この時間区間が長くなると急速に小さくなるような（又は少なくともこの時間区間について単調減少関数となる）「重みW」を決定し、代表値SD_Wにそのような特性を盛り込むことによって、筋電信号の無い場合やノイズのみの場合における筋電信号発生との誤判定を、より確実に回避することが可能となるのである。

【0083】

以下具体的に、この重みWの導出を説明する。最初に、生成した加速度成分データにおいて、重み算出対象のウィンドウ分析区間の先頭から加速度成分の振幅を走査し、予め設定した閾値th未満の振幅が連続しているサンプル数長len_thを決定しておく。また、ノイズ区間を規定することになる観測サンプル数obsを予め設定しておく。例えば、th＝10、及びobs＝15と設定することができる。

【0084】

ちなみに、ウィンドウ分析区間内に、閾値th未満の振幅連続区間が複数存在する場合、サンプル数長len_thはそれらの区間の合計サンプル数としてもよい。または、そのうち最も時間区間の長い振幅連続区間におけるサンプル数を、サンプル数長len_thとすることも可能である。

【0085】

例えば、サンプル数長len_thの関数としての指数重みWとして、次式
（３） W＝exp(1－len_th/obs)
によって規定された重みWを設定することができる。ここで例えば、obs＝15であって、len_th＝15ならばW＝1.0となる。さらに、len_thが大きくなるにつれて指数重みWは急激に減少し、ゼロに漸近する。実際、len_thがウィンドウ分析区間長（128サンプル）相当となると、指数重みWは概ねゼロとなる。

【0086】

さらに別の例として、サンプル数長len_thの関数としての反比例重みWとして、次式
（４） W＝1／((len_th－obs)/a＋1)
によって規定された重みWを設定してもよい。ここで、aはobsを超える値（a＞obs）をとって分母を正値にすることが好ましい。この反比例重みWにおいて、例えばa＝obs＊obs（＝225）の場合、len_th＝15ならばW＝1.0となる。また、len_thが大きくなるにつれて反比例重みWは減少し、ゼロに近づく。

【0087】

勿論、重みWは、以上に説明したものに限定されるものではない。len_thの単調減少関数であれば重みWとして採用可能であり、また好ましくは、len_thの増加とともにゼロに近づく関数、より好適にはゼロに漸近する関数であれば、種々のものが重みWとして用いることができる。ここで例えば、重みWを負の傾きを有するlen_thの一次関数としてもよいが、上述したような指数重みWの方が、より確実な生体信号発生判定に資することになる。

【0088】

次いで、生体信号情報決定部１１１はさらに、算出した標準偏差SDを、同じく算出した重みWによって重み付けした値を代表値SD_Wに決定する。具体的には、次式
（５） SD_W[k]＝W[k]＊SD[k]
によって代表値SD_W[k]を算出する。ここで上式（５）において、kはウィンドウ位置（ウィンドウ・インデックス）であり、SD_W[k]、W[k]及びSD[k]における[k]は、それぞれウィンドウ位置kでの値であることを示す。

【0089】

生体信号情報決定部１１１は次いで、算出された代表値SD_Wの時系列データに対し、共振器フィルタ処理を実施する。この共振器フィルタ処理は、算出された代表値SD_Wの時系列データにおいて予め特定された周期性が存在する場合に、この特定された周期性成分を増幅する処理となっている。このような処理を行うことにより、この後説明する周期的信号発生判定処理、すなわち代表値の時系列データが周期性を有するか否かの判定処理を、より高い判定精度をもって実施することができるのである。

【0090】

具体的に、共振器フィルタ処理は、次に示す差分方程式
（６） y[n]＝a₁＊y[n-1]＋a₂＊y[n-2]＋b₀＊x[n]
によって実現される。上式（６）において、nはサンプル位置（サンプル・インデックス）であり、x[n]及びy[n]はそれぞれ、サンプル位置nの入力信号及び出力信号である。また、係数a₁、a₂及びb₀は、次式
（７） a₁＝2＊exp(－π＊Q／f_s)＊cos(2π＊f₀／f_s)
a₂＝－exp(－2π＊Q／f_s)
b₀＝1－a₁－a₂
をもって算出される。ここで、Qは共振度（Q＞0）であり、f_sはスライディング・ウィンドウ分析周波数（単位はHz）であって、f₀は共振周波数（単位はHz）である。

【0091】

次いで、生体信号情報決定部１１１は、加速度成分データを生成する前の入力信号に対して多重解像度解析（ＭＲＡ，MultiResolution Analysis）処理を実施し、ＭＲＡ処理後の信号振幅の時系列データが所定のヒステリシスを示す時間区間を、何らかの生体信号が発生した信号発生時間区間に決定する。

【0092】

ここで、本願発明者は、センサからの入力信号に対しＭＲＡ処理を施すことによって生体信号が発生したか否かを判定可能であることを新たに見出した。この発見に基づき、生体信号情報決定部１１１は生体信号の発生時間区間を特定できるのである。

【0093】

いずれにしても、この後に実施される信号発生判定処理においては、算出された代表値SD_Wの周期性だけではなく、この決定された信号発生時間区間をも勘案することによって、周期的生体信号の発生をより確実に判断することが可能となるのである。なお勿論、この発生時間区間決定処理を省略し、代表値SD_Wの周期性だけで信号発生判定処理を実施することも可能である。

【0094】

さらに、生体信号情報決定部１１１は本実施形態において、共振器フィルタ処理の施された代表値SD_Wの時系列データの周期性に基づき、周期的生体信号の発生を判定する。ちなみに、本実施形態の場合、発生したと判定される周期的生体信号は、頭部に装着された筋電センサ付メガネ２から取得されるものであることから、「咀嚼」に起因する筋電信号であると判断される。すなわち、生体信号情報決定部１１１は、咀嚼に係る筋電信号の発生を判定するものとなっているのである。

【0095】

ここで、代表値SD_Wの時系列データが周期性を有するか否かの判定処理として、
（ａ）代表値SD_Wが所定範囲を超えて変動した際のピーク位置を算出し、
（ｂ）隣接するピーク位置の時間間隔が所定時間範囲内である場合に、代表値SD_Wの時系列データが周期性を有しているとし、周期的生体信号が発生したと判定する
ことができる。

【0096】

生体信号情報決定部１１１は次いで、決定された信号発生時間区間において、周期的生体信号（本実施形態では「咀嚼」に係る筋電信号）が発生していないと判定された際、この信号発生時間区間で発生している生体信号の種別を判定する。例えば、発生した生体信号は口角上げ動作（「笑み」）によるものとの判定を行う。

【0097】

より具体的には、例えば、
（ア）判定対象期間において生体信号発生時間区間が存在し、且つ当該時間区間においてピーク（ピーク位置）が（２以上の）所定数以上検出されている場合、周期的生体信号が発生しているとの判定を行う。
（イ）また、判定対象期間において生体信号発生時間区間が存在しているが、当該時間区間においてピーク（ピーク位置）が検出されていない場合、何らかの（非周期的な）生体信号が発生しているものとして、生体信号の種別判定を行う。ちなみに、この種別判定については、この後、詳細に説明する。
（ウ）さらに、判定対象期間において生体信号発生時間区間が存在しない場合、生体信号は発生していないとの判定を行う。

【0098】

ここで上記（ア）の判定を行った場合、さらに、発生している周期的生体信号（例えば咀嚼に係る筋電信号）に基づき、発生している周期的生体現象（例えば咀嚼動作）のカウントを行う（例えば咀嚼回数を算出する）。一方、上記（イ）の判定を行った場合、種別を判定された生体信号の発生回数、すなわち該当生体現象の生起回数をカウントする。このカウントについてもこの後、説明を行う。

【0099】

ここで以下、上述した生体信号種別判定処理及び生体信号計数処理の具体例を説明する。

【0100】

生体信号情報決定部１１１は、生体信号種別判定の一実施形態として、（生体信号は発生しているが）周期的生体信号は発生していないとの判定に係る時間区間において、入力信号の平均パワー周波数（ＭＰＦ，mean power frequency）を算出し、ＭＰＦの高さに基づいて、発生した生体信号の種別を判定することも好ましい。

【0101】

ここで、本願発明者は、筋電センサ付メガネ２を用いて取得した入力信号に対し、高速フーリエ変換（ＦＦＴ，Fast Fourier Transform）等による周波数解析処理を実施し、各ウィンドウ分析区間においてＭＰＦを算出したところ、このＭＰＦ値の閾値判定によって、発生した筋電信号の種別が判断可能であることを見出した。

【0102】

具体的には、例えば、ＭＰＦ値が所定閾値を超えている場合、発生している生体信号は食い縛り動作による筋電信号であると判定し、一方、ＭＰＦ値がこの所定閾値以下である場合、発生している生体信号は、口角上げ動作（「笑み」）による筋電信号であると判定することができる。

【0103】

さらに、ウィンドウ分析区間において、信号強度、例えば振幅の標準偏差SD’を算出し、この値もＭＰＦ値と同様にして発生信号の種別判定に用いることも可能となっている。

【0104】

ちなみに、一般的にＦＦＴ等の周波数解析処理には相当の計算量が必要とされるが、本実施形態では、何らかの生体信号が発生したと判定された時間区間のみにおいてこのような周波数解析を行うので、種別判定において周波数解析処理を実施するにもかかわらず、計算量を大幅に削減することができるのである。

【0105】

さらに、生体信号情報決定部１１１は、生体信号種別判定の他の実施形態として、（生体信号は発生しているが）周期的生体信号は発生していないとの判定に係る時間区間において、標準偏差SD’と入力信号のＭＰＦ値（MPF）とを含む特徴量、例えば{SD', MPF}を算出し、この特徴量について、基準状態に該当する入力信号の特徴量によって設定された単位空間から離隔した度合いである離隔度合いを算出し、算出された離隔度合いに基づいて、発生した生体信号の種別を判定することも好ましい。

【0106】

この場合具体的に、生体信号情報決定部１１１は、生体信号が発生していない基準状態に係る単位空間からの離隔度合いから、所定の生体信号が発生した状態及び生体信号が発生していない状態を合わせた基準状態に係る単位空間からの離隔度合いと、所定の生体信号が発生した基準状態に係る単位空間からの離隔度合いとを差し引いた量に基づいて、所定の生体信号の発生を判定することができる。

【0107】

ここで、上記の単位空間及び離隔度合いとして、
（ａ）ＭＴ（Mahalanobis Taguchi）法における単位空間、及びマハラノビス距離から算出される値、
（ｂ）ＭＴＡ（Mahalanobis-Taguchi Adjoint）法における単位空間、及びマハラノビス距離から算出される値、
（ｃ）Ｔ法における単位空間、及び特性値から算出される値、又は
（ｄ）ＲＴ（Recognition Taguchi）法における単位空間、及びＲＴ距離から算出される値
を採用することができる。ちなみに、このような生体信号種別判定の方法が有効であることも、本願発明者が実験を通して見出したものである。

【0108】

このうちＭＴ法を用いた場合、例えば口角上げ動作による筋電信号を判別する際には、
（ア）無表情状態及び口角上げ状態（を合わせた状態群）
（イ）無表情状態
（ウ）口角上げ状態
についての３つの単位空間を設計し、入力信号において、これらの単位空間からの離隔度合いをそれぞれ距離１、距離２及び距離３として算出して、（判定用距離）＝(距離２)－(距離1)－(距離３)とすることによって、より好適な判定結果が得られることが分かっている。具体的には、このような判定用距離が所定閾値を超えている場合、発生している生体信号は口角上げ動作（「笑み」）による筋電信号であると判定することができるのである。

【0109】

次いで以下、生体信号計数処理の好適な一実施形態として、時系列データのヒステリシスを利用する方法を説明する。

【0110】

図３は、処理された生体信号の時系列データにおけるヒステリシスを利用した生体信号計数処理の一実施例を示すグラフである。この図３のグラフは、生体信号種別判定をＭＴ法によって実施した際に算出された判定用距離の時系列データ点を、線分で結んだ折れ線グラフとなっている。

【0111】

生体信号情報決定部１１１（図１）は、
（ａ）判定用距離（の推移を示す折れ線）が閾値Thhのラインを下方（値の小さい方）から横切って上方（値の大きい方）に向かう点をカウント開始点（丸印）とし、
（ｂ）判定用距離（の推移を示す折れ線）が閾値Thl（＜Thh）のラインを上方（値の大きい方）から横切って下方（値の小さい方）に向かう点をカウント終了点（三角印）として、
これらのカウント開始点とそれに次ぐカウント終了点との組毎に１だけカウントを増分する。

【0112】

図３の実施例では、この組が４つ存在しているので、これらの４つの組がグラフで決定された段階で、（用いた判定用距離に係る種別の）生体信号が４回発生したと判定される（生体信号の発生数が４とカウントされる）。ここで、開始点の閾値(thh)及び終了点の閾値(thl)を適切に設定することによって、信号発生判定結果のチャタリングを防止することも可能となるのである。

【0113】

さらに、生体信号情報決定部１１１は、カウント開始点を決定してから所定の時間閾値T_maxだけ時間が経過してもカウント終了点が決定されない際、このカウント開始点からその時点までで１回をカウントした上で、この時間閾値T_max経過後は、判定用距離_Wが閾値Thlを下回るまでノイズ判定期間であるとしてもよい。この場合、図３の実施例では、結局、（用いた判定用距離に係る種別の）生体信号の発生回数は５回であると決定されることになる。

【0114】

なお変更態様として、生体信号発生判定をSD_W値導出によって実施した際には、図３の縦軸をSD_W値としたヒステリシスグラフを生成し、（その信号発生判定時のＭＰＦの高さに基づき生体信号種別判定された「笑み」又は「咀嚼」に係る）生体信号の発生回数をカウントすることも可能となる。

【0115】

以上、生体信号情報決定部１１１における「咀嚼」及び「笑み」の決定処理を詳細に説明したが、以下、生体信号情報決定部１１１（図１）において決定される「咀嚼に係る量」及び「笑みに係る量」を具体的に説明する。

【0116】

最初に、「咀嚼に係る量」としては、
（S1）総咀嚼回数、（S2）総咀嚼時間、（S3）総口数、（S4）一口と次の一口との間の総インターバル時間、（S5）総インターバル回数、（S6）咀嚼ペース、・・・
のうちの少なくとも１つを採用することができる。また、「笑みに係る量」としては、
（E1）総笑み回数、（E2）総笑み時間、・・・
のうちの少なくとも１つが採用可能である。

【0117】

ここで、（S1）の総咀嚼回数は、生体信号情報決定部１１１において、「咀嚼」であると判定された１つの区間を一口として、一口動作の発生毎に、それまでの総咀嚼回数に対し当該一口での咀嚼回数を加算することによって決定可能である。

【0118】

また、（S2）の総咀嚼時間は、１口の開始時刻と終了時刻とを記録して一口動作時間を算出し、１口動作の発生毎に、それまでの総咀嚼時間に対し当該一口での一口動作時間を加算することによって決定してもよい。さらに、（S3）の総口数は、一口動作の発生毎に、それまでの総口数に対し1を加算することによって決定可能である。

【0119】

また、（S4）の総インターバル時間は、一口の終了時刻と次の一口の開始時刻との間のインターバル時間を、次の一口動作が発生する毎に、それまでの総インターバル時間に対し加算していくことによって決定することができる。さらに、（S5）の総インターバル回数は、当該インターバル時間の発生毎に、それまでの総インターバル回数に対し1を加算することによって決定可能である。

【0120】

また、（S6）の咀嚼ペースは、咀嚼テンポ又は咀嚼リズムであり、次式
（８） 「咀嚼ペース」＝「総咀嚼回数」／「総咀嚼時間」（単位は、回／秒）
を用いて決定することができる。または、一口でのデータを用い、次式
（９） 「咀嚼ペース」＝「一口における咀嚼回数」／「当該一口での咀嚼時間」（単位は、回／秒）
によって決定してもよい。

【0121】

さらに、（E1）の総笑み回数は、「笑み」であると判定された１つの区間を笑み区間として、笑み区間の発生回数をカウントする（総笑み回数に対し笑み区間発生毎に１を加算する）ことによって決定してもよい。また、（E2）の総笑み時間は、笑み区間の開始時刻と終了時刻とを記録して笑み時間を算出し、笑み区間の発生毎に当該笑み時間を、それまでの総笑み時間に加算することによって決定することができる。

【0122】

同じく図１の機能ブロック図において、食事量決定部１１２は、「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）に基づき、学習済みの食事量推定モデルを用いて、「食事の多少に係る値」を決定する。

【0123】

ここで、「食事の多少に係る値」は、食事の物理的絶対量に相当する値とすることも可能ではあるが、そうではなく、例えばユーザが食事についてその量を多いと感じるか又は少ないと感じるかを表すユーザの主観的指標とすることも好ましい。具体的には例えば、0（少ない）から10（多い）までの食事量値とすることができる。

【0124】

また、使用される食事量推定モデルは、「咀嚼に係る量」、例えば上記（S1）～（S4）の全て、並びに「笑みに係る量」、例えば上記（E1）及び（E2）を入力特徴量とし、出力として、「食事の多少に係る値」、例えば0から10までの食事量値を出力する。なお、この食事量推定モデルの構築処理については、後に説明を行う。

【0125】

食事嗜好決定部１１３は、「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）に基づき、学習済みの食事嗜好推定モデルを用いて、「食事の嗜好に係る値」を決定する。

【0126】

ここで、「食事の嗜好に係る値」は、例えば食事評価の専門家による評価値相当の値とすることも可能ではあるが、そうではなく、例えばユーザが食事における食べ物に対し美味しい（好き）と感じるのか不味い（嫌い）と感じるのかの主観的指標とすることも好ましい。具体的には例えば、0（嫌い）から10（好き）までの食事嗜好値とすることができる。

【0127】

また、使用される食事嗜好推定モデルは、「咀嚼に係る量」、例えば上記（S1）～（S6）の全て、並びに「笑みに係る量」、例えば上記（E1）及び（E2）を入力特徴量とし、出力として、「食事の嗜好に係る値」、例えば0から10までの食事嗜好値を出力する。なお、この食事嗜好推定モデルの構築処理についても、後に説明を行う。

【0128】

同じく図１の機能ブロック図において、食事ログ生成管理部１２１は、上述した食事量推定モデル及び食事嗜好推定モデルを構築するのに使用される学習用データを含む「食事ログ」を生成し管理する。

【0129】

ここで、食事ログは、ユーザによる食事に関するデータを記録したものであり、本実施形態では、上述した（S1）総咀嚼回数、（S2）総咀嚼時間、（S3）総口数、（S4）一口と次の一口との間の総インターバル時間、（S5）総インターバル回数、（S6）咀嚼ペース、（E1）総笑み回数、（E2）総笑み時間とともに、
（A1）ユーザ識別子（ＩＤ）、（A2）料理・メニュー名（食事名）、
（B1）食事時間、（B2）食事開始時刻、
（C1）嗜好（食事の嗜好に係る値）、（C2）食事量（食事の多少に係る値）、
（D1）食事形態、（D2）時間的余裕、（D3）心身の調子・状態、
を記録項目として含んでいる。

【0130】

ここで、入出力制御部１３２は、上述した食事ログの記録項目に記録するデータを取得するため、例えばタッチパネル・ディスプレイ１０６に食事自己評価入力画面を表示させ、ユーザの１回の食事が終了する毎にユーザによるデータ入力を受け取って、食事ログ生成管理部１２１に提供することも好ましい。

【0131】

具体的に、（A2）の料理・メニュー名は、ユーザによるテキスト入力又は選択によって取得し、（C1）の嗜好（食事の嗜好に係る値）は、ユーザが表示スライダ等を操作することによる、0（嫌い）から10（好き）までの１つの値の設定入力を受け付けて取得することができる。

【0132】

また、（B1）の食事時間については、ユーザが食事を開始するにあたり筋電センサ付メガネ２を装着して起動した時刻を、（メガネ２の時計から取得して）食事の開始時刻とし、その後食事を終了するにあたり筋電センサ付メガネ２を停止させた時刻を、（同じくメガネ２の時計から取得して）食事の終了時刻として、これらの時刻の差により食事時間を決定することができる。

【0133】

さらに、（C2）の食事量（食事の多少に係る値）も、ユーザの表示スライダ操作等による、0（少ない）から10（多い）までの１つの値の設定入力を受け付けて取得することができる。

【0134】

さらにまた、（D1）の食事形態は、ユーザが表示アイコン等を選択して例えばタップ操作することによる、孤食又は会食の設定入力を受け付けて取得し、（D2）の時間的余裕は、ユーザが表示スライダ等を操作することによる、0（急いで食事）から10（ゆったりと食事）までの１つの値の設定入力を受け付けて取得し、（D3）の心身の調子・状態も、ユーザの表示スライダ操作等による、0（絶不調）から10（絶好調）までの１つの値の設定入力を受け付けて取得してもよい。

【0135】

このように、食事ログ生成管理部１２１は、生体信号分析結果である（S1）～（S6）、（E1）及び（E2）と、ユーザによる食事自己評価結果である（A1）、（A2）、（B1）、（B2）、（C1）、（C2）、及び（D1）～（D3）とを関連付けて「食事ログ」として記録するのである。

【0136】

ここで以上に述べた、食事ログに挙げられた記録項目の特徴（食事ログに挙げられる理由）を説明する。（S1）の総咀嚼回数は、嗜好、食事量、時間的余裕、心身の調子・状態等の影響を受けることが考えられる。例えば、食事の量が多ければ噛む回数は増える傾向にある。また、食事が好きな食べ物の場合に、早く食べようとして総咀嚼回数が減る傾向にあったり、逆によく味わおうとして総咀嚼回数が増える傾向にあったり、といったようなユーザの性向にも影響を受けると考えられる。

【0137】

また、（S4）の総インターバル時間は、嗜好、食事形態、時間的余裕、心身の調子・状態の影響を受けることが考えられる。好きな食べ物なら早く食べようとして総インターバル時間が短くなるし、逆に嫌いな食べ物ならば総インターバル時間が長くなることも考えられる。さらに、食事形態が孤食なら会話をしないので短くなり、時間的余裕がなくても短くなるものと考えられる。一方、心身の調子・状態が良くない場合、総インターバル時間は長くなるものと考えられる。

【0138】

さらに、（S6）の咀嚼ペースについては、例えば時間的余裕がない場合や、食事形態が孤食であって嗜好が好き（美味い）である場合に早くなることが考えられる。また、（E2）の総笑み時間は、嗜好、食事形態、心身の調子・状態の影響を受けることが考えられる。例えば食事が非常に美味しければ笑顔になるし、また食事中の会話が楽しければ笑顔になるものと考えられる。一方、心身の調子・状態が良くない場合、笑顔が表出しにくいことが考えられる。

【0139】

また、（B1）の食事時間は、食事量、食事形態、時間的余裕、心身の調子・状態の影響を受けることが考えられる。さらに、（C1）の嗜好（食事の嗜好に係る値）及び（C2）の食事量（食事の多少に係る値）は、食事の際のユーザにおける心身の調子・状態や食欲等に影響を受けると考えられる。

【0140】

また、（D1）の食事形態は、食事中に会話がなされる可能性を示す指標となっている。また、（D2）の時間的余裕は、食事に費やしてもよいと思える時間の程度を示す指標である。さらに、（D3）の心身の調子・状態は、ストレス等による精神的不調や、疲労や病気等による身体的不調を表す指標となっている。

【0141】

なお、食事ログには、上述した記録項目の他にも、例えば、
（G1）食事に係る画像データ（のＩＤ又はファイル名）
（G2）食事に係る音声データ（のＩＤ又はファイル名）
（H1）食事位置データ（（緯度経度等の）位置データ、住所、店名、自宅か否かの値等）
が記録項目として記録されていることも好ましい。

【0142】

ここで、（G1）の食事に係る画像データは、例えば筋電センサ付メガネ２に、ユーザの視線方向の撮影が可能なカメラ（イメージセンサ）を装着し、食事開始時に食事の食べ物を撮影することによって取得することができる。または、ユーザの携帯する携帯端末１のカメラ１０５による撮影によって取得されてもよい。

【0143】

また、（G2）食事に係る音声データは、例えばユーザの携帯する携帯端末１のマイク１０７によって、食事中の会話等を録音することによって取得することができる。ここで、取得した音声データに対し、公知の音声認識技術を用い、当該音声がユーザのものであるか否か、当該ユーザ以外の音声が存在しているか否か（会話の相手がいるか否か）を判定し、当該判定結果を紐づけて記録しておくことも好ましい。なお、音声データは、筋電センサ付メガネ２に取り付けられたマイクによって取得されてもよい。

【0144】

さらに、（H1）の食事位置データは、例えばユーザの携帯する携帯端末１が装備している（ＧＰＳ等の）測位機能を用いて、食事の際の現在位置（緯度経度）情報を決定することによって取得することができる。例えば、決定した緯度経度情報そのものを食事位置データとしてもよいが、現在位置情報から公知の地図情報検索技術を用いて、現在滞在している場所の飲食店名又は住所情報を取得し、食事位置データとすることもできる。

【0145】

同じく図１の機能ブロック図において、食事量推定モデル構築部１２２は、「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）に対し、少なくとも「食事の多少に係る値」についてのユーザによる申告情報（食事自己評価結果）を紐づけて記録した「食事ログ」を複数用いて（すなわち「食事ログ」の「食事の多少に係る値」を正解データとして）、学習済みの「食事量推定モデル」を構築する。

【0146】

また、嗜好推定モデル構築部１２３は、「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）に対し、少なくとも「食事の嗜好に係る値」についてのユーザによる申告情報（食事自己評価結果）を紐づけて記録した「食事ログ」を複数用いて（すなわち「食事ログ」の「食事の嗜好に係る値」を正解データとして）、学習済みの「食事嗜好推定モデル」を構築する。

【0147】

ここで、「食事量推定モデル」及び「食事嗜好推定モデル」のいずれも、ニューラルネットワーク等、種々の機械学習アルゴリズムを用いて構築することができる。例えば、0～10の数値となっている記録項目の特徴量について、5以上であるか否かの2値（例えば0又は1）に置き換え、ＳＶＭ（Support Vector Machine）やランダムフォレスト等の分類器を構築してもよい。

【0148】

また、「食事量推定モデル」及び「食事嗜好推定モデル」のいずれの構築においても、教師データに含まれる特徴量として、上述した（A1）ユーザＩＤ、（A2）料理・メニュー名（食事名）、（B1）食事時間、（B2）食事開始時刻、（C1）嗜好（食事の嗜好に係る値）、（C2）食事量（食事の多少に係る値）、（D1）食事形態、（D2）時間的余裕、及び（D3）心身の調子・状態のうちの少なくとも１つが採用されることも好ましい。ここで、特に、（B1）の食事時間を採用することが、推定精度の点でより好ましいことが分かっている。

【0149】

また当然に、教師データに含まれる特徴量として採用された記録項目は、食事量決定部１１２において「食事の多少に係る値」を推定する際、さらに、食事嗜好決定部１１３において「食事の嗜好に係る値」を推定する際、モデルに入力する特徴量として使用されることになる。ここで、「食事の多少に係る値」及び「食事の嗜好に係る値」の推定は、例えば食事毎に（食事ログが生成される度に）実施することができる。

【0150】

また、「食事量推定モデル」及び「食事嗜好推定モデル」のいずれも、生成されて新たに食事ログ保存部１０３に蓄積された食事ログが所定件数以上となった際に、構築又は更新されることも好ましい。

【0151】

なお、食事ログ生成管理部１２１は、「食事の多少に係る値」及び「食事の嗜好に係る値」の推定結果を含む食事ログを生成してもよい。ここで、例えば当該推定結果を、例えば入出力制御部１３２を介してタッチパネル・ディスプレイ１０６に表示させ、ユーザに確認させた上で変更があれば（ユーザによって入力された）変更結果を取得して、食事ログに加える又は食事ログを変更・更新することも好ましい。

【0152】

これにより、ユーザによる食事ログ項目の入力負担を少なくすることも可能となる。また、食事ログを変更・更新した場合、変更・更新後の食事ログを用いて、「食事量推定モデル」及び「食事嗜好推定モデル」を再構築又は更新することも好ましい。

【0153】

同じく図１の機能ブロック図において、フィードバック部１１４は、決定された「食事の多少に係る値」及び「食事の嗜好に係る値」のうちの一方又は両方（本実施形態では両方）に基づき、ユーザの「食事又は健康に関係する情報」を、生成又は選択して提供する。

【0154】

例えば、「食事の多少に係る値」が8から10（多い）までに相当する値であれば、予め用意された音声コンテンツから、「食べ過ぎに注意しましょう」等の食事量を減らすことを薦めるコメントを含む音声情報を選択して提供してもよい。この際、予め準備された「＊＊＊に注意しましょう」との発話テンプレートの「＊＊＊」部分に、（8から10までに相当する値の場合用に予め設定された）「食べ過ぎ」を選択し挿入して、提供する音声情報を生成することも好ましい。

【0155】

また、「食事の多少に係る値」が0（少ない）から3までに相当する値であって「食事の嗜好に係る値」が0（嫌い）から3までに相当する値である場合、予め用意された音声情報から、「メニューを変更してはどうですか」等の食事内容の変更を薦めるコメントを含む音声情報を提供してもよい。ここで勿論、以上に述べた音声情報の代わりに、同内容を提示するテキストを含む画面情報を提供することも好ましい。

【0156】

なお、上述した音声情報は、入出力制御部１３２を介してスピーカ１０８から出力されてもよく、また画面情報は、入出力制御部１３２を介してタッチパネル・ディスプレイ１０６に表示されてもよい。

【0157】

いずれにしても、フィードバック部１１４によって生成又は選択された「食事又は健康に関係する情報」は、一先ずフィードバック情報保存部１０４に保存され、その後適宜読み出されて、タッチパネル・ディスプレイ１０６やスピーカ１０８を介しユーザに提供されることも好ましい。また、通信制御部１３１及び信号インタフェース１０１を介し、外部の情報処理装置、例えばスマートスピーカや会話ロボットへ送信され、ユーザに提供されることも可能である。

【0158】

ちなみに、この会話ロボットがカメラを有し、ここで撮影された食事画像を、「食事ログ」における（G1）の食事に係る画像データとしてもよい。この場合、会話ロボットがユーザの食事を見て、当該食事に関する会話を当該ユーザとの間で交わす、といったような状況をつくることも可能となるのである。

【0159】

さらに、フィードバック部１１４は、上記の「食事の多少に係る値」及び「食事の嗜好に係る値」だけでなく、少なくとも１つの過去の時点に係る「食事ログ」にも基づいて、ユーザの「食事又は健康に関係する情報」を生成又は選択することも好ましい。

【0160】

例えば、フィードバック部１１４は、食事ログにおける上述した（S1）の総咀嚼回数、（S4）の総インターバル時間、及び（S6）咀嚼ペースのうちの「少なくとも１つ」にも基づいて、当該「少なくとも１つ」と「食事の多少に係る値」とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、ユーザの「食事又は健康に関係する情報」とすることも好ましい。

【0161】

具体的には、例えば、食事中における（S1）の総咀嚼回数の単位時間当たりの増加分、すなわち咀嚼回数増加率が所定閾値を上回る場合、ユーザの食事のペース（咀嚼ペース）が曲と同調して低くなることを目的として、予め準備された、例えばテンポが1.1～1.2Hz（66～76bpm）程度のAndante（歩く速さで)の曲を再生してもよい。

【0162】

一方、咀嚼回数増加率が上記の所定閾値を下回る場合、ユーザの食事のペース（咀嚼ペース）が曲と同調して高くなることを目的として、予め準備された、例えばテンポが1.2～1.5Hz（76～96bpm）程度のModerato（モデラート）（中くらいの速さで）の曲を再生してもよい。

【0163】

なお、上述した咀嚼回数増加率の所定閾値については、例えば、蓄積した食事ログの集合から、
（１０） 「平均咀嚼ペース」＝「総咀嚼回数の和」／「総食事時間の和」（単位は、回／秒）
を算出し、この「平均咀嚼ペース」を所定閾値とすることができる。

【0164】

ちなみに、食事経過時間に対する「予想総咀嚼回数」は、「予想総咀嚼回数」=「平均咀嚼ペース」×「食事経過時間」（単位は、回）として求めることができる。

【0165】

また変更態様として、咀嚼回数増加率が（「平均咀嚼ペース」－p₁（所定の正値））と（「平均咀嚼ペース」＋p₂（所定の正値））との間にある場合、ユーザの食事のペースは適切であるとして、ユーザを褒めるための所定のフィードバックコンテンツを再生することも好ましい。

【0166】

さらに、食事終了後、取得された（B1）の食事時間や（S1）の総咀嚼回数に応じて、目標値との差を示し目標値へ向かうためのアドバイスを含む音声を再生してもよい。またさらに、単に（S1）の総咀嚼回数が500回に達した時点で、例えば目標である1000回の半分に達した旨を示す音声を再生し、次いで目標の1000回に到達した時点で、賞賛を示す音声を再生することもできる。

【0167】

さらに、「食事の嗜好に係る値」が0（嫌い）から3までに相当する値である場合に、ジョークコンテンツを再生し、笑みを生じさせて味覚に関し肯定的に錯覚させることもできる。

【0168】

また、フィードバック部１１４は、食事ログにおける上述した（E1）の総笑み回数及び／又は（E2）の総笑み時間にも基づいて、総笑み回数及び／又は総笑み時間と「食事の多少に係る値」とが満たす条件別に予め設定された音楽又は音声コンテンツから少なくとも１つを選択し、ユーザの「食事又は健康に関係する情報」とすることも好ましい。例えば、総笑み回数が所定閾値を下回る場合に、予め用意された「本日のダジャレ」等の音声コンテンツを提供してもよい。

【0169】

また、フィードバック部１１４は、食事ログにおける上述した（G2）の食事に係る音声データ及び／又は（H1）の食事位置データにも基づいて、ユーザの「食事又は健康に関係する情報」を、生成又は選択することも好ましい。

【0170】

例えば、食事に係る音声データの識別結果から、ユーザは会話している（会食中である）と判定した場合、予め用意された会食向きのコンテンツを選択して再生してもよい。ここで、会話の妨げとならない音楽コンテンツを選択したり、会話が途切れた際に例えばお笑いコンテンツを選択したりすることも好ましい。

【0171】

また、フィードバック部１１４は、食事ログ保存部１０３に保存された過去の食事ログに対し、集計分析する食事履歴評価機能を備えていてもよい。例えば過去１週間分の食事ログを集計し分析することも好ましい。

【0172】

具体的に、フィードバック部１１４は、例えば連続して２食以上において、「食事の嗜好に係る値」が0（嫌い）から3までに相当する値となった場合、心身の不調の可能性を勘案して、ユーザに対し、体調を気遣う内容の音声コンテンツを再生し提供することも好ましい。その他、咀嚼ペースが平均咀嚼ペースよりも遅い場合や、画像に基づき推定された食事量から想定される咀嚼回数と比較して計測された総咀嚼回数がより少ない場合、逆に、当該食事量から想定される食事時間と比較して計測された食事時間がより長い場合、さらには、ジョークコンテンツを再生しても笑みが全く計測されない場合にも、心身の不調の可能性を勘案したフィードバックを行うことができる。

【0173】

また、フィードバック部１１４は、例えば食事の開始時に「１食につき1000回以上咀嚼する」や「食事時間に20分以上を費やす」等の目標を提示し、食事ログの集計結果に基づき、食事毎に、目標達成状況をユーザに提示することも好ましい。ここで、目標達成期間を例えば2週間としてユーザに提示し、当該期間内に目標が達成された場合に、ユーザを賞賛する音声コンテンツを再生してもよい。

【0174】

さらに、同一の食事位置データ（例えば同一飲食店名）の食事ログを集計し、当該食事位置（当該飲食店）における過去の食事を振り返るための情報を提示してもよい。また、当該食事位置における（B1）の食事時間（の平均値）が所定閾値を下回る場合（例えば行きつけの定食屋において食事時間が総じて短い傾向にある場合）、当該食事位置での食事開始時に、食事により多くの時間をかけることを薦める内容の音声コンテンツを提供することができる。

【0175】

さらに、飲食店毎に食事時間、咀嚼回数や、嗜好等の統計値をとり、当該飲食店を比較した情報を生成してユーザに提示することも可能である。

【0176】

また、フィードバック部１１４は、過去の食事ログを集計してランキング情報を生成してユーザに提供することも好ましい。具体的には、総咀嚼回数の多さ、食事時間の長さや、嗜好の高さについて最上位、第２位及び第３位となる３つの食事の情報、例えば（G1）の食事画像をユーザに提示してもよい。これにより、ユーザは過去の食事をふり返って楽しんだり、今後の食生活の参考にしたりすることができる。

【0177】

［食事評価方法］
図４は、本発明による食事評価方法の一実施形態を概略的に説明するための模式図である。

【0178】

図４に示すように、本実施形態の食事評価装置１においては、最初に、筋電センサ付メガネ２から取得された「筋電信号」から、「咀嚼に係る量」及び「笑みに係る量」が生成される。次いでこれらの量から、学習済みの食事量推定モデルを用いて「食事の多少に係る値」が推定され、また同じくこれらの量から、学習済みの食事嗜好推定モデルを用いて「食事の嗜好に係る値」が推定される。

【0179】

食事評価装置１はこの後、推定した「食事の多少に係る値」及び「食事の嗜好に係る値」に基づいて、「食事又は健康に関係する情報」を生成又は選択し、ユーザに提供する。すなわち、食事評価装置１は結局、取得した「筋電信号」から、ユーザにとって好適な「食事又は健康に関係する情報」を決定するのである。

【0180】

ここで、本食事評価方法の主要構成要素である食事量推定モデル及び食事嗜好推定モデルは、同じく図４に示すように、生成された「食事ログ」の記録内容を用いて学習処理を実施することによって構築される。なお、この「食事ログ」は、ユーザによる「食事自己評価結果」と、生成された「咀嚼に係る量」及び「笑みに係る量」とから生成されるのである。

【0181】

［食事評価システム］
図５は、本発明による食事評価システムの他の実施形態を示す模式図である。

【0182】

図５に示すように、本実施形態の食事評価システムは、
（ａ）筋電センサ付メガネ２から生体信号（筋電信号）を取得する携帯端末４と、
（ｂ）携帯端末４と通信接続された食事評価サーバ３と
を備えている。

【0183】

同じく図５における上側の機能ブロック図において、携帯端末４は、信号インタフェース４０１と、通信インタフェース４０２と、咀嚼・笑み情報保存部４０３と、フィードバック情報保存部４０４と、カメラ４０５と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）４０６と、スピーカ４０７と、プロセッサ・メモリとを有する。

【0184】

ここで、このプロセッサ・メモリは、本発明による端末側の食事評価プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この端末側の食事評価プログラムを実行することによって、端末側での食事評価処理を実施する。このことから、携帯端末４は、本発明による端末側の食事評価プログラムを搭載した、例えばパーソナルコンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等であってもよい。

【0185】

さらに、プロセッサ・メモリは、生体信号情報決定部４１１と、フィードバック部４１２と、通信制御部４２１と、入出力制御部４２２とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された、本発明による端末側の食事評価プログラムの機能と捉えることができる。また、図５における携帯端末４の機能構成部間を矢印で接続して示した処理の流れは、本発明による端末側での食事評価方法の一実施形態としても理解される。

【0186】

また、同じく図５における下側の機能ブロック図において、食事評価サーバ３は、通信インタフェース３０１と、咀嚼・笑み情報保存部３０２と、食事ログ保存部３０３と、プロセッサ・メモリとを有する。

【0187】

ここで、このプロセッサ・メモリは、本発明によるサーバ側の食事評価プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、このサーバ側の食事評価プログラムを実行することによって、サーバ側での食事評価処理を実施する。このことから、食事評価サーバ３は、本発明によるサーバ側の食事評価プログラムを搭載した、例えばパーソナルコンピュータ（ＰＣ）、又はノート型コンピュータ等であってもよい。

【0188】

さらに、プロセッサ・メモリは、画像情報決定部３１１と、食事量決定部３１２と、食事嗜好決定部３１３と、食事ログ生成管理部３２１と、食事量推定モデル構築部３２２と、嗜好推定モデル構築部３２３と、通信制御部３３１とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存されたサーバ側の食事評価プログラムの機能と捉えることができる。また、図５における食事評価サーバ３の機能構成部間を矢印で接続して示した処理の流れは、本発明によるサーバ側での食事評価方法の一実施形態としても理解される。

【0189】

ここで、携帯端末４及び食事評価サーバ３における機能構成部のうち、図１の携帯端末１の機能構成部の中に同名のものがある機能構成部は、当該同名の機能構成部と概ね同様の機能を有しており、ここでは説明を省略する。以下、本食事評価システムにおいて特徴的な役割を果たす機能構成部について説明を行う。

【0190】

ちなみに、本実施形態の食事評価システムにおいては、食事評価サーバ３に対し、複数の携帯端末４が通信接続可能となっている。したがって、食事評価サーバ３の食事ログ生成管理部３２１が生成し管理する食事ログは、該当するユーザの（A1）ユーザＩＤ毎に区分けして保存・管理されており、また、食事量決定部３１２及び食事嗜好決定部３１３では、ユーザＩＤ毎に「食事の多少に係る量」及び「食事の嗜好に係る量」が決定され、これらの量が、該当するユーザの携帯端末４に宛てて送信される。

【0191】

食事評価サーバ３の画像情報決定部３１１は、携帯端末４のカメラ４０５で生成されたユーザの食事に係る「画像情報」を、通信インタフェース３０１及び通信制御部３３１を介して取得し、
（ａ）取得した「画像情報」に基づき、公知の画像認識モデル構築技術を用いて構築された学習済みの「画像食事種別推定モデル」及び「画像食事量推定モデル」のうちの一方又は両方（本実施形態では両方）を用いて、ユーザの食事における「食事種別情報（例えば料理・メニュー名）」及び「食事の多少に係る量」のうちの一方又は両方（本実施形態では両方）を決定し、さらに、
（ｂ）決定した「食事種別情報（料理・メニュー名）」及び「食事の多少に係る量」のうちの一方又は両方（本実施形態では両方）に基づき、学習済みの「生体信号情報推定モデル（本実施形態では、咀嚼関連量推定モデル及び笑み関連量推定モデル）」を用いて、ユーザの「咀嚼に係る量」及び「笑みに係る量」のうちの一方又は両方（本実施形態では両方）を決定する。

【0192】

次いで、このように画像情報決定部３１１で決定された「咀嚼に係る量」及び「笑みに係る量」を入力した食事量決定部３１２は、図１の携帯端末１での処理と同様、学習済みの「食事量推定モデル」を用いて「食事の多少に係る値」を生成する。さらに、画像情報決定部３１１で決定された「咀嚼に係る量」及び「笑みに係る量」を入力した食事嗜好決定部３１３は、図１の携帯端末１での処理と同様、学習済みの「食事嗜好推定モデル」を用いて「食事の嗜好に係る値」を生成するのである。

【0193】

次いで、このように生成された「食事の多少に係る値」及び「食事の嗜好に係る値」は、通信制御部３３１及び通信インタフェース３０１を介し、携帯端末４（のフィードバック部４１２）へ送信される。次いで、携帯端末４のフィードバック部４１２は、図１の携帯端末１での処理と同様、これらの「食事の多少に係る値」及び「食事の嗜好に係る値」に基づき、ユーザの「食事又は健康に関係する情報」を、生成又は選択してユーザに提供するのである。

【0194】

ここで、食事評価サーバ３における「食事量推定モデル」及び「食事嗜好推定モデル」は、図１の携帯端末１での処理と同様、食事ログ生成管理部３２１で生成された食事ログを用い、過去の「咀嚼に係る量」及び「笑みに係る量」によって学習を行って構築される。

【0195】

また、「咀嚼関連量推定モデル」及び「笑み関連量推定モデル」も、食事ログ生成管理部３２１で生成された食事ログを用いて構築することができる。さらに、「画像食事種別推定モデル」及び「画像食事量推定モデル」の学習の際に使用される料理・メニュー名（食事名）や食事量も、食事ログに記録された情報を利用することができる。

【0196】

ちなみに、本実施形態において、食事ログ生成管理部３２１は、携帯端末４の生体信号情報決定部４１１において（筋電信号から）生成された「咀嚼に係る量」及び「笑みに係る量」を携帯端末４から取得し、さらに携帯端末４に入力されたユーザによる食事自己評価結果を同じく携帯端末４から取得して、食事ログを生成するのである。

【0197】

ここで、本食事評価システムにおける食事評価の具体例を説明する。最初、携帯端末４は、ユーザの食事開始時に、カメラ４０５によって生成した食事画像を食事評価サーバ３へ送信する。食事評価サーバ３は、受信した食事画像を処理し、「食事の多少に係る値」及び「食事の嗜好に係る値」を生成して携帯端末４へ返信する。

【0198】

次いで、これらの値を取得した携帯端末４のフィードバック部４１２は、ユーザの「食事又は健康に関係する情報」を、生成又は選択してユーザに提供する。この提供される「食事又は健康に関係する情報」の１つの例として、料理・メニュー名が「カレー」であることを（食事画像から）推定した場合に、「大好きなカレーだね。カレーライスやシチューはあまり咀嚼回数が伸びない傾向があるから、意識して噛むようにしてね」との注意喚起の内容を含む音声コンテンツを生成してもよい。

【0199】

また、料理・メニュー名が「ラーメン」であると推定した場合、「今日はラーメンだね。スープは残す方が良いね。」といった注意喚起の内容を含む音声コンテンツを生成することも可能である。さらに、料理・メニュー名が推定できない場合でも、推定した「食事の多少に係る値」から、推定した食事時間に基づきアドバイスを選択又は生成することも好ましく、「量がたくさんあるね。それでも30分くらいかけて、ゆっくり食事を楽しんでね」等の音声コンテンツを生成してフィードバックしてもよい。

【0200】

ちなみに更なる他の実施形態として、携帯端末１（図１）が、画像情報処理部１１１ａ（図１）を有し、この画像情報処理部１１１ａは、上記の（食事評価サーバ３の）画像情報決定部３１１と同様の機能を有し、同様の処理を行って、ユーザの「咀嚼に係る量」及び／又は「笑みに係る量」を決定することも好ましい。すなわちこの場合、携帯端末１は、携帯端末４及び食事評価サーバ３を含む食事評価システム相当の処理を実施することになる。

【0201】

［食事評価方法］
図６は、本発明による食事評価方法の他の実施形態を概略的に説明するための模式図である。

【0202】

図６に示すように、本実施形態の食事評価システム（携帯端末４及び食事評価サーバ３）においては、最初に、筋電センサ付メガネ２から取得された「筋電信号」から、「咀嚼に係る量」及び「笑みに係る量」が生成される。次いでこれらの量と、ユーザによる「食事自己評価結果」とから「食事ログ」が生成され、さらに、生成された「食事ログ」の記録内容を用いて学習処理を実施することによって、咀嚼関連量推定モデル及び笑み関連量推定モデルが構築される。また、図４に示した実施形態と同様、この「食事ログ」から、食事量推定モデル及び食事嗜好推定モデルも構築される。

【0203】

さらに、本食事評価システムにおいては、取得されたユーザの食事に係る「画像情報（食事画像）」から、公知の画像認識技術を用いた画像食事種別推定モデルによって「料理・メニュー名」が推定され、また同じく「画像情報」から、公知の画像認識技術を用いた画像食事量推定モデルによって「食事の多少に係る値」が推定される。

【0204】

次いで、推定された「料理・メニュー名」及び「食事の多少に係る値」から、学習済みの咀嚼関連量推定モデルを用いて「咀嚼に係る量」が推定され、また同じくこれらのデータから、学習済みの笑み関連量推定モデルを用いて「笑みに係る量」が推定される。

【0205】

さらに、推定された「咀嚼に係る量」及び「笑みに係る量」から、学習済みの食事量推定モデルを用いて「食事の多少に係る値」が推定され、また同じくこれらの量から、学習済みの食事嗜好推定モデルを用いて「食事の嗜好に係る値」が推定される。

【0206】

本食事評価システムはこの後、推定した「食事の多少に係る値」及び「食事の嗜好に係る値」に基づいて、「食事又は健康に関係する情報」を生成又は選択し、ユーザに提供する。すなわち、本食事評価システムは結局、取得した「筋電信号」から構築した推定モデルを利用し、ユーザにとって好適な「食事又は健康に関係する情報」を決定するのである。

【0207】

以上詳細に説明したように、本発明によれば、取得した生体信号に基づいてユーザの「食事又は健康に関係する情報」を提供するにあたり、少なくとも「食事の多少に係る値」を勘案することによって、より適切な情報提供を行うことができる。

【0208】

したがって、例えば高齢者介護現場や医療現場において、高齢者や患者の食事に対し、適切なアドバイスを行ったり、食事に好適な状況・環境を提供したりすることも可能となるのである。

【0209】

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0210】

１ 携帯端末（食事評価装置）
１０１、４０１ 信号インタフェース
１０２、３０２、４０３ 咀嚼・笑み情報保存部
１０３、３０３ 食事ログ保存部
１０４、４０４ フィードバック情報保存部
１０５、４０５ カメラ
１０６、４０６ タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
１０７ マイク
１０８、４０７ スピーカ
１１１、４１１ 生体信号情報決定部
１１１ａ 画像情報処理部
１１２、３１２ 食事量決定部
１１３、３１３ 食事嗜好決定部
１１４、４１２ フィードバック部
１２１、３２１ 食事ログ生成管理部
１２２、３２２ 食事量推定モデル構築部
１２３、３２３ 嗜好推定モデル構築部
１３１、３３１、４２１ 通信制御部
１３２、４２２ 入出力制御部
２ 筋電センサ付メガネ（生体信号取得装置）
２’ ヘッドフォン（生体信号処理装置）
２’’ イヤホン（生体信号処理装置）
２１ 信号処理ボックス
２１１ 信号変換部
２１２ 前フィルタ処理部
２１３ 信号インタフェース
２３ プラス電極パッド
２４ マイナス電極パッド
２５ 鼻パッド電極部
３ 食事評価サーバ
３０１、４０２ 通信インタフェース
４ 携帯端末
３１１ 画像情報決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】