(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022097314
(43)【公開日】2022-06-30
(54)【発明の名称】カトラリー型情報収集装置、情報収集提示システム、方法及びプログラム
(51)【国際特許分類】
G16H 20/60 20180101AFI20220623BHJP
G06F 13/00 20060101ALI20220623BHJP
A61B 5/00 20060101ALI20220623BHJP
【FI】
G16H20/60
G06F13/00 540A
A61B5/00 102A
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2020210842
(22)【出願日】2020-12-18
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「多様なIoTデバイスを用いたコンテキスト認識に基づく次世代ナッジの創出」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】110000822
【氏名又は名称】特許業務法人グローバル知財
(72)【発明者】
【氏名】中村 優吾
(72)【発明者】
【氏名】松田 裕貴
(72)【発明者】
【氏名】中岡 黎
(72)【発明者】
【氏名】安本 慶一
【テーマコード(参考)】
4C117
5B084
5L099
【Fターム(参考)】
4C117XA05
4C117XB15
4C117XC19
4C117XE42
4C117XE56
4C117XF03
4C117XG02
4C117XJ48
4C117XJ52
4C117XK33
4C117XK43
4C117XL01
4C117XQ11
4C117XR01
5B084AA02
5B084AA12
5B084AB06
5B084AB11
5B084AB13
5B084BA10
5B084BB02
5B084BB14
5B084CB06
5B084DC02
5B084DC03
5L099AA15
(57)【要約】
【課題】食生活の改善を促すことのできるシステムを提供する。
【解決手段】カトラリーの加速度及び角速度を計測する手段5と、カトラリーの先端画像を撮像する手段6と、収集した収集データに基づきカトラリーを用いるユーザの食生活又は調理に関する行動を解析する行動解析手段21を備えるカトラリー型情報収集装置2と、基礎情報を解析する手段32と、コンテンツと行動解析結果との対応関係の設定と、基礎コンテンツと、コンテンツ生成ルールの設定を行う手段31と、取得したデータに基づきコンテンツの基本構成を決定する手段33と、行動解析結果と、予め設定された行動解析結果とコンテンツ設定との対応関係に基づいて、コンテンツを生成する手段34と、コンテンツを提示する手段35を備えるコンテンツ提示装置3と、ユーザの食生活又は調理に関する基礎情報を入力する手段41を備える基礎情報入力装置4で構成される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
カトラリーの加速度及び角速度を計測する慣性計測手段と、
前記カトラリーの先端画像を撮像するカメラ手段と、
前記慣性計測手段と前記カメラ手段により収集した収集データに基づき、前記カトラリーを用いるユーザの食生活又は調理に関する行動を解析する行動解析手段、
を備えるカトラリー型情報収集装置。
【請求項2】
請求項1のカトラリー型情報収集装置とコンテンツ提示装置で構成されるシステムであって、
前記コンテンツ提示装置は、
前記行動解析手段による行動解析結果と、予め設定された前記行動解析結果とコンテンツ設定との対応関係に基づいて、コンテンツを生成するコンテンツ生成手段と、
前記コンテンツを提示するコンテンツ提示手段、
を備えることを特徴とする情報収集提示システム。
【請求項3】
ユーザの食生活又は調理に関する基礎情報を入力する手段を備える基礎情報入力装置を更に備え、
前記コンテンツ提示装置は、
前記基礎情報を解析する基礎情報解析手段と、
前記コンテンツと前記行動解析結果との対応関係の設定と、前記コンテンツの基礎コンテンツの設定と、前記コンテンツの生成ルールの設定を行うコンテンツ設定手段と、
前記コンテンツ設定手段と、前記基礎情報解析手段から取得したデータに基づき、前記コンテンツの基本構成を決定する構成決定手段、
を備えることを特徴とする請求項2に記載の情報収集提示システム。
【請求項4】
前記カトラリーは、箸、フォーク又はスプーンを含む食事用具であり、
前記基礎情報は、計測対象となる飲食物全体が撮像された画像であり、
前記基礎コンテンツが線画コンテンツで、前記コンテンツが前記線画コンテンツ上に色塗りコンテンツが加えられた描画コンテンツであり、
前記食事用具を用いる前記ユーザの食事態様に基づき、前記色塗りコンテンツを変化させることにより、ユーザの食生活を改善することを特徴とする請求項3に記載の情報収集提示システム。
【請求項5】
前記構成決定手段は、前記飲食物の種類と色塗りの配色との対応関係を決定し、
前記行動解析手段は、前記食事用具の先端画像から、撮像された飲食物の種類を解析し、
前記コンテンツ生成手段は、前記飲食物の種類に基づいて、前記色塗りコンテンツの色及び位置が決定されることを特徴とする請求項4に記載の情報収集提示システム。
【請求項6】
前記構成決定手段は、前記飲食物の量と色塗りの範囲との対応関係を決定し、
前記行動解析手段は、前記食事用具の先端画像から、撮像された飲食物の大きさから前記飲食物の量を解析し、
前記コンテンツ生成手段は、前記飲食物の量に基づいて、前記色塗りコンテンツにおける色塗りの範囲が決定されることを特徴とする請求項4又は5に記載の情報収集提示システム。
【請求項7】
前記行動解析手段は、前記加速度データ、前記角速度データ及び前記食事用具の先端画像から、一口分の飲食物を口に運ぶ時間、一口分の咀嚼の時間、一口毎の間隔、一食の時間、の少なくとも何れかの動作を解析し、
前記コンテンツ生成手段における前記コンテンツの生成ルールの設定は、前記動作に対して、前記色塗りコンテンツにおける、描画される線の太さ若しくは長さ、対象領域に対する色塗り範囲の正確さ、色斑、の少なくとも何れかを含む色塗り態様に関するルールを設定し、設定状態に応じ、前記算出結果に基づいて、前記色塗りコンテンツにおける、描画される線の太さ若しくは長さ、対象領域に対する色塗り範囲の正確さ、色斑、の少なくとも何れかを含む色塗り態様が決定されることを特徴とする請求項4~6の何れかに記載の情報収集提示システム。
【請求項8】
情報端末とサーバを更に備え、
前記情報端末は、
前記基礎コンテンツを前記サーバへ送信し、
前記サーバは、
前記情報端末から受信した前記基礎コンテンツを前記カトラリー型情報収集装置へ送信し、前記基礎コンテンツと前記コンテンツとを記憶する、
ことを特徴とする請求項3~7の何れかの情報収集提示システム。
【請求項9】
前記カトラリーは、包丁を含む調理器具であり、
前記基礎情報は、調理前の食材の全体画像、又は、料理名若しくは食材名に関する情報であり、
前記基礎コンテンツは料理のレシピ情報であり、
前記構成決定手段は、前記基礎情報と前記レシピ情報に基づき、前記基礎情報に適したレシピを決定し、
前記コンテンツは、テキスト、画像、音声の少なくとも何れかから成る調理工程コンテンツであり、
前記調理器具を使用する前記ユーザの調理態様に基づき、前記調理工程コンテンツを変化させることにより、ユーザの調理を支援することを特徴とする請求項3に記載の情報収集提示システム。
【請求項10】
カトラリーの加速度及び角速度を計測する慣性計測ステップと、
前記カトラリーの先端画像を撮像するステップと、
前記慣性計測ステップと前記撮像ステップにより収集した収集データに基づき、前記カトラリーを用いるユーザの食生活又は調理に関する行動を解析するステップと、
ユーザの食生活又は調理に関する基礎情報を入力するステップと、
前記基礎情報を解析するステップと、
コンテンツと行動解析ステップによる行動解析結果との対応関係の設定と、前記コンテンツの基礎コンテンツの設定と、前記コンテンツの生成ルールの設定を行うコンテンツ設定ステップと、
前記コンテンツ設定ステップと、前記基礎情報解析ステップから取得したデータに基づき、前記コンテンツの基本構成を決定するステップと、
前記行動解析結果と、前記基本構成に基づいて、前記コンテンツを生成するコンテンツ生成ステップと、
前記コンテンツを提示するステップと、
を備えることを特徴とする情報収集提示方法。
【請求項11】
請求項1のカトラリー型情報収集装置における行動解析手段を、コンピュータに機能させるためのプログラム。
【請求項12】
請求項2~9の何れかの情報収集提示システムにおける前記コンテンツ提示装置が備える全ての手段を、コンピュータに機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の食生活を改善するための技術に関するものである。
【背景技術】
【0002】
食習慣は、身体的および精神的健康に深刻な影響を与える主要な生活習慣行動である。しかし、忙しい現代人にとって、食生活の改善は容易ではない。例えば、スマートフォンやモバイルデバイスの開発に伴うデジタル介入の増加により、不均衡な食事や速い食事など、不健康な食生活が引き起こされると云われている。
一方、コロナ禍の影響により、人々は一緒に食事をする機会を失い、一人で食べる頻度が増加している。強力な免疫システムを維持し、慢性疾患や感染症を回避または最小限に抑えるためには、バランスの取れた食事を摂取することが非常に重要であるが、一人で食べることは、若者や高齢者を含むすべての世代の身体的および精神的健康にいくつかの負の結果をもたらすことが知られている。具体的には、一人で食べる人は、果物や野菜の量が少なく、すぐに作れる不健康なファーストフードやジャンクフードを食べる傾向がある。さらに、一人で食べることはうつ病の危険因子と考えられている。これらの背景から、人々の食生活をより良い方向に誘導するための解決策が求められている。
【0003】
食生活を改善するための技術としては、摂取カロリーの管理を行うことのできる画像処理装置が知られている(特許文献1を参照)。これは、飲食物画像からカロリーを算出し、カロリー摂取に伴い、食欲を減退させる画像を表示して、ユーザの食欲をコントロールするものである。特許文献1に開示された装置では、複数の飲食物について、それぞれのカロリーを算出できる。しかしながら、各飲食物の全体のカロリーは算出できるが、一口毎のカロリーを算出できるものではなく、また、食事の速度などについても検出できるものではないため、ユーザの食事について、きめ細かなコントロールは困難であるという問題がある。
【0004】
一口毎の飲食物のカロリーを算出できる技術としては、一般的な食器の形態の食事キャリヤに、動作センサなどの各種センサを備えた食事摂取調節装置が知られている(特許文献2を参照)。特許文献2に開示された装置では、エネルギー摂取量を計算できるだけではなく、センサにより、ユーザの食事時の食物の噛み数を検出できるとする。
特許文献2に開示された装置では、フォトセンサを備える構成が開示されている。しかしながら、当該装置が備えるフォトセンサは、食器食物キャリヤ部分における光量の変化を検知するに過ぎず、飲食物の種類について検出できるものではないため、ユーザの食事態様について、詳細な情報を正確に収集し得るものではないという問題がある。
また、ユーザの食事摂取の状態をセンシングできるものの、ユーザへの伝達方法としては、警告や通知をユーザ食器インターフェイスに視覚的に表示するといったものに過ぎず、ユーザの食生活改善へのモチベーションを高めるものではないという問題がある。
【0005】
栄養バランスの良い食事や、ゆっくり食べるといった健康的な食生活の重要性は広く知られているにもかかわらず、なぜ多くの人にとって良い食生活の実施が促されないのかという問いに対しては、「行動(Behavior)」変容のために必要とされる「動機(Motivation)」、「能力(Ability)」及び「きっかけ(Triggers)」の内、「動機」と「きっかけ」が不足しているからであるといわれている。すなわち、健康的な食生活を行うための「能力」は有しているが、始めるための「きっかけ」や継続するための「動機」が足りないため、良い食生活の実施が促されないのである。
【0006】
食生活についての行動変容を促すことに着目した技術としては、カメラ部において取得された画像データから、飲食用具の画像を認識し、当該画像から、ユーザの食生活に関する情報を検知・収集する食生活管理装置が知られている(特許文献3を参照)。これは、ユーザに、食事中の咀嚼回数や箸持ち時間、箸置き時間、一食の食事時間合計といったデータを提示すると共に、目標となる咀嚼回数や食事時間を提示することで、食生活改善のモチベーションを高めるものである。また、食生活に関して、「早く食べ過ぎだよ」等のアドバイスをユーザに提示できるとする。
しかしながら、特許文献3に開示された食生活管理装置のように、咀嚼回数や食事時間といった定量的な評価をユーザに提示するのでは、ユーザのモチベーションを却って低下させるという問題がある。また、「早く食べ過ぎだよ」等のアドバイスは、定性的なコンテンツ提供ではあるが、食事中など特定の時間中でしか効果を発揮しない介入手法であるため、効果の持続性が低い。しかも、食事中における具体的なアドバイスは、ユーザに対して指導を行うものであり、ユーザにストレスを与え、食生活改善のモチベーションを低下させる恐れもある。
【0007】
そこで、ユーザが楽しみながら食生活を改善できる喫食判定システムが知られている(特許文献4を参照)。これは、食物の好き嫌いのある子供を主な対象としたものであり、フォークなどの食事用具に設けられた加速度センサ及びタッチセンサによる測定結果から喫食状態を判定する。そして、喫食状態に応じて、情報機器のスピーカーから「もう少しで完食だよ」、「良い食べ方で食べられたね、すごい」といった音声を出力する等により、子供の喫食に対するモチベーションを向上させることができるとする。
また、特許文献4の喫食判定システムでは、特許文献3と異なり、ユーザに対して、食物や食材の名前をオノマトペ化した音(例えば食物が人参である場合は「にんにんにん」等)や、食物や食材に対するクイズをリズミカルにした音(例えば「今食べているのは何色?緑?オレンジ?」との音声等)を再生することで、楽しみながら食生活を改善することが可能である。
しかしながら、特許文献4の喫食判定システムについても、特許文献3の食生活管理装置と同様に、食事中など特定の時間中でしか効果を発揮しない介入手法であるため、効果の持続性が低い。また、食材の名前をオノマトペ化した音を出力する等のコンテンツについても、基本的には、食事に直接的に関連するコンテンツであるため、例えば人参が嫌いな子供の場合、人参に関するコンテンツが出力されることにより、よりストレスを感じさせ、却って食生活改善のモチベーションを低下させる恐れがある。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2020-42401号公報
【特許文献2】特開2019-67441号公報
【特許文献3】特開2015-146168号公報
【特許文献4】特開2020-137927号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
このように、食生活情報の収集に関して、各種センサを用いた食べ方の追跡や、画像認識技術を用いた食事メニューの推定を実現する技術は存在するものの、食事中における一口一口の摂食に着目し、どの食材をどれくらい量つまみ、どのような速さで食べているのかといった詳細な食事コンテキスト情報を収集することが難しい。
また、ユーザに情報コンテンツを提示する装置に関して、多くの先行技術は、チャート、グラフ、統計レポートによる定量的な視覚化を採用している。しかし、このような定量的な視覚化は、ユーザのモチベーションを低下させる可能性がある。また、既存技術は食事中など特定の時間中でしか効果を発揮しない介入手法を採用しているため、効果の持続性が低い。さらに、定性的なコンテンツであっても、食事と関連性の高いコンテンツを、直接的に提示するのでは、ユーザのモチベーションを低下させる可能性がある。
【0010】
かかる状況に鑑みて、本発明は、食生活の改善を促すことのできるカトラリー型情報収集装置、情報収集提示システム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
すなわち、本発明のカトラリー型情報収集装置は、カトラリーの加速度及び角速度を計測する慣性計測手段と、カトラリーの先端画像を撮像するカメラ手段と、慣性計測手段とカメラ手段により収集した収集データに基づき、カトラリーを用いるユーザの食生活又は調理に関する行動を解析する行動解析手段を備える。
慣性計測手段から得られるモーションデータとカトラリーの先端画像を撮像するカメラ手段から得られる画像データを複合的に解析することによって、より高精度でユーザの行動を解析することが可能となる。例えば、食事態様を解析する場合は、ユーザの詳細な食事情報(どのような食材をどれくらいの量摘まみ、どの順番、どれくらいのスピードで食べたか)を収集することができる。
【0012】
ここでカトラリーとは、ナイフ・フォーク・スプーンなどの食卓用金物に限られず、箸、ストロー等も含み、また家庭用の包丁等の刃物類も含む趣旨である。
【0013】
本発明のカトラリー型情報収集システムは、上記のカトラリー型情報収集装置とコンテンツ提示装置で構成されるシステムであって、コンテンツ提示装置は、行動解析手段による行動解析結果と、予め設定された行動解析結果とコンテンツ設定との対応関係に基づいて、コンテンツを生成するコンテンツ生成手段と、コンテンツを提示する手段を備える。
コンテンツ生成手段によって生成されるコンテンツとは、視覚的又は聴覚的な情報を提示するコンテンツのことであり、視覚的とは絵画や写真等の静止画像、アニメーションやビデオカメラにより撮像された動画像、人の声、動物の声、楽器の音、波・風等の自然界の音、電子音などの音声のことであり、これらの何れかの情報を組み合わせたもの、例えばゲームなども含まれる。すなわち、従来技術のようなグラフ等による直接的かつ定量的な情報提示とは異なり、アートや物語などの定性的な表現として間接的に反映することにより、効果的にユーザのモチベーションを高めることが可能である。
また、コンテンツ提示手段を備えることにより、ユーザはコンテンツ提示装置に提示されたコンテンツから定性的な情報を取得できるので、ユーザへの情報提示が容易となる。
【0014】
本発明の情報収集提示システムは、ユーザの食生活又は調理に関する基礎情報を入力する手段を備える基礎情報入力装置を更に備え、コンテンツ提示装置は、基礎情報を解析する基礎情報解析手段と、コンテンツと行動解析結果との対応関係の設定と、コンテンツの基礎コンテンツの設定と、コンテンツの生成ルールの設定を行うコンテンツ設定手段と、コンテンツ設定手段と基礎情報解析手段から取得したデータに基づき、コンテンツの基本構成を決定する構成決定手段を備えることが好ましい。
基礎情報入力装置を備えることにより、コンテンツを生成するための基礎となる情報を取得することが可能となる。基礎情報入力装置としては、スマートフォン、タブレット端末又はPCなどの端末を広く利用可能である。
【0015】
コンテンツ提示装置が基礎情報解析手段を備えることにより、収集データと対応付けされるユーザの食生活又は調理に関する基礎情報が解析され、これにより後の収集データによる行動解析が可能となる。
コンテンツ提示装置がコンテンツ設定手段を備えることにより、コンテンツ生成のベースとなるコンテンツが決定される。また、ユーザのニーズに合わせたルール設定が可能となる。基礎コンテンツの設定は、予め記憶された複数の基礎コンテンツからユーザが任意に選択するものでもよいし、自動で設定されるものでもよい。
コンテンツ提示装置が構成決定手段を備えることにより、ベースとなるコンテンツ、設定されたルール、入力された基礎情報の全てを加味し、最も適した構成を決定することが可能となる。
【0016】
本発明の情報収集提示システムは、カトラリーは、箸、フォーク又はスプーンを含む食事用具であり、基礎情報は、計測対象となる飲食物全体が撮像された画像であり、基礎コンテンツが線画コンテンツで、コンテンツが線画コンテンツ上に色塗りコンテンツが加えられた描画コンテンツであり、食事用具を用いるユーザの食事態様に基づき、色塗りコンテンツを変化させることにより、ユーザの食生活を改善することが好ましい。
これにより、ユーザの食生活の良し悪しを、アートや物語による定性的な視覚表現として反映することができる。例えば、コンテンツ提示装置に、塗り絵状の絵画が表示されており、ユーザの詳細な食事情報に応じて、絵画の完成具合(塗られるピースと塗り方)が変化する。このとき、栄養バランスが良い食事を、正しい食べ方で摂取した場合には、美しい絵が完成し、栄養バランスが偏った食事を、早食いなど不健康な食べ方で摂取した場合には、塗られる色が偏り、絵が完成しない。ユーザは、料理や食事をする場所(キッチンやリビング)に配置されたコンテンツ提示装置を日常的に見ることによって、健康的な食生活が動機付けされると共に、バランスの良い食事メニューを正しい食べ方での摂取することに達成感を感じることが可能になる。
【0017】
本発明の情報収集提示システムにおいて、構成決定手段は、飲食物の種類と色塗りの配色との対応関係を決定し、行動解析手段は、食事用具の先端画像から、撮像された飲食物の種類を解析し、コンテンツ生成手段は、飲食物の種類に基づいて、色塗りコンテンツの色及び位置が決定されることが好ましい。
これにより、ユーザは、コンテンツ提示装置に提示される定性的なコンテンツから、自身の摂取した飲食物の種類の傾向を感じ取ることができ、正しく健康的な食生活へのモチベーションを高めることができる。
【0018】
本発明の情報収集提示システムにおいて、構成決定手段は、飲食物の量と色塗りの範囲との対応関係を決定し、行動解析手段は、食事用具の先端画像から、撮像された飲食物の大きさから飲食物の量を解析し、コンテンツ生成手段は、飲食物の量に基づいて、色塗りコンテンツにおける色塗りの範囲が決定されることが好ましい。
これにより、ユーザは、コンテンツ提示装置に提示されるコンテンツから、自身の摂取した飲食物の量の傾向を感じ取ることができ、食べ過ぎを控えるといったように、自身の食生活に対する意識の改善が促される。
【0019】
本発明の情報収集提示システムにおいて、行動解析手段は、加速度データ、角速度データ及び食事用具の先端画像から、一口分の飲食物を口に運ぶ時間、一口分の咀嚼の時間、一口毎の間隔、一食の時間、の少なくとも何れかの動作を解析し、コンテンツ生成手段におけるコンテンツの生成ルールの設定は、動作に対して、色塗りコンテンツにおける、描画される線の太さ若しくは長さ、対象領域に対する色塗り範囲の正確さ、色斑、の少なくとも何れかを含む色塗り態様に関するルールを設定し、設定状態に応じ、算出結果に基づいて、色塗りコンテンツにおける、描画される線の太さ若しくは長さ、対象領域に対する色塗り範囲の正確さ、色斑、の少なくとも何れかを含む色塗り態様が決定されることが好ましい。
これにより、ユーザは、コンテンツ提示装置に提示されるコンテンツから、自身の早食い等の食習慣に気づくことができ、ゆっくり時間をかけて食べるといった正しい食事に対する意識の改善が促される。このような情報提示は、従来技術のようにグラフで示されたり、音声で警告を受けたりといった手法ではないため、ユーザへ過度にストレスを与えることになく、円滑に食生活の改善を促すことができる。
【0020】
本発明の情報収集提示システムは、情報端末とサーバを更に備え、情報端末は、基礎コンテンツをサーバへ送信し、サーバは、情報端末から受信した基礎コンテンツをカトラリー型情報収集装置へ送信し、基礎コンテンツとコンテンツとを記憶することが好ましい。
上記構成とされることにより、情報収集提示装置を利用するユーザだけではなく、他のユーザからも基礎コンテンツをサーバへアップロードできることになり、多数の基礎コンテンツを多数のユーザから集め、利用することが可能となる。また例えば、当該コンテンツが描画コンテンツである場合には、サーバに生成済みのコンテンツをアップロードすることで、ユーザは自身の食習慣の改善の経過を、描画コンテンツという形で残すことができ、達成感が感じられると共に、自身の作品として楽しむこともできる。サーバにアップロードされた基礎コンテンツや描画コンテンツなどのコンテンツは、ユーザによるダウンロード数や評価に応じて、ランキング化し、又はアップロードしたユーザに報酬を付与する仕様としてもよい。
【0021】
本発明の情報収集提示システムにおいて、カトラリーは、包丁を含む調理器具であり、基礎情報は、調理前の食材の全体画像、又は、料理名若しくは食材名に関する情報であり、基礎コンテンツは料理のレシピ情報であり、構成決定手段は、基礎情報とレシピ情報に基づき、基礎情報に適したレシピを決定し、コンテンツは、テキスト、画像、音声の少なくとも何れかから成る調理工程コンテンツであり、調理器具を使用するユーザの調理態様に基づき、調理工程コンテンツを変化させることにより、ユーザの調理を支援することでもよい。
かかる構成とされることにより、調理が進むとコンテンツ提示装置に、次の調理方法レシピが順次表示されていくといった利用が可能となる。
【0022】
本発明の情報収集提示方法は、カトラリーの加速度及び角速度を計測する慣性計測ステップと、カトラリーの先端画像を撮像するステップと、慣性計測ステップと撮像ステップにより収集した収集データに基づき、カトラリーを用いるユーザの食生活又は調理に関する行動を解析するステップと、ユーザの食生活又は調理に関する基礎情報を入力するステップと、基礎情報を解析するステップと、コンテンツと行動解析ステップによる行動解析結果との対応関係の設定と、コンテンツの基礎コンテンツの設定と、コンテンツの生成ルールの設定を行うコンテンツ設定ステップと、コンテンツ設定ステップと基礎情報解析ステップから取得したデータに基づき、コンテンツの基本構成を決定するステップと、行動解析結果と基本構成に基づいてコンテンツを生成するコンテンツ生成ステップと、コンテンツを提示するステップを備える。
【0023】
本発明のプログラムは、本発明のカトラリー型情報収集装置における行動解析手段を、コンピュータに機能させるものである。また、本発明のプログラムは、本発明の情報収集提示システムにおけるコンテンツ提示装置が備える全ての手段を、コンピュータに機能させるものである。
【発明の効果】
【0024】
本発明のカトラリー型情報収集装置、情報収集提示システム、方法及びプログラムによれば、食生活の改善を促すことができるといった効果がある。
【図面の簡単な説明】
【0025】
【
図1】実施例1の食生活改善システムの機能ブロック図
【
図3】実施例1の食生活改善システムの概略フロー図
【
図5】実施例1の食生活改善システムの構成決定の説明図
【
図6】実施例1の食生活改善システムのデータ解析の説明図
【
図7】実施例1の食生活改善システムのコンテンツ提示イメージ
図1
【
図8】実施例1の食生活改善システムのコンテンツ提示イメージ
図2
【
図10】実施例2の食生活改善システムのコンテンツ提示イメージ図
【
図11】実施例3の食生活改善システムの機能ブロック図
【
図13】実施例3の食生活改善システムの概略フロー図
【
図18】その他の実施例の食生活改善システムのコンテンツ提示イメージ図
【発明を実施するための形態】
【0026】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例0027】
図1は、実施例1の食生活改善システムの機能ブロック図を示している。食生活改善システム1は、
図1に示すように、カトラリー型情報収集装置2、コンテンツ提示装置3及び基礎情報入力装置4で構成される。
カトラリー型情報収集装置2は、慣性計測手段5、カメラ手段6、及び行動解析手段21を備える。慣性計測手段5は、カトラリー(図示せず)に取り付けられ、カトラリーの加速度及び角速度を計測するものであり、カメラ手段6は、同じくカトラリーに取り付けられ、カトラリーの先端画像を撮像するものである。本実施例において、カトラリーとは箸のことである。
【0028】
行動解析手段21は、慣性計測手段5とカメラ手段6により収集した収集データに基づき、カトラリーを用いる食生活に関するユーザの行動を解析する。コンテンツ生成手段34は、行動解析手段21による行動解析結果と、予め設定された行動解析結果とコンテンツ設定との対応関係に基づいて、コンテンツを生成する。
【0029】
コンテンツ提示装置3は、コンテンツ設定手段31、基礎情報解析手段32、構成決定手段33、コンテンツ生成手段34、及びコンテンツ提示手段35を備える。また、基礎情報入力装置4は、基礎情報入力手段41を備える。コンテンツ設定手段31は、コンテンツと行動解析結果との対応関係の設定と、コンテンツの基礎コンテンツの設定と、コンテンツの生成ルールの設定を行うものであり、コンテンツの基礎となるコンテンツを設定する基礎コンテンツ設定手段31aと、コンテンツ生成のルール設定を行うコンテンツ生成ルール設定手段31bを備える。
基礎情報解析手段32は、ユーザの食生活又は調理に関する基礎情報を解析する。本実施例において、基礎情報とは、計測対象となる飲食物全体が撮像された画像のことである。構成決定手段33は、コンテンツ設定手段31と、基礎情報解析手段32から取得したデータに基づき、コンテンツの基本構成を決定する。
【0030】
図2は、実施例1の食生活改善システムの構成図を示している。
図2に示すように、食生活改善システム1は、センサ組込箸2、デジタルキャンバス30a、スマートフォン40、ゲートウェイデバイス81及びローカルネットワーク82で構成される。
センサ組込箸2は、一対の箸(20a,20b)の内、箸20bに慣性計測ユニット(IMU:Inertial Measurement Unit)50及びカメラ60が取り付けられたものであり、慣性計測ユニット50には、慣性センサ(3軸加速度、3軸ジャイロスコープ、3軸地磁気)が設けられており、箸20bの動きを計測する。また、カメラ60は、箸20bの先端画像を撮像できるように取り付けられており、箸(20a,20b)で摘まんだ食材11を撮像する。慣性計測ユニット50又はカメラ60は、箸20bと一体化されたものでもよいし、螺合等により脱着自在であってもよい。例えば、食事メニューに合わせて慣性計測ユニット50及びカメラ60を別のフォークやスプーン、ナイフなどに取り付けて利用できる構造でもよい。
【0031】
慣性計測ユニット50は、無線の通信技術であるBluetooth(登録商標)によりゲートウェイデバイス81と接続され、カメラ60は有線のケーブルを用いてゲートウェイデバイス81と接続されている。センサ組込箸2とゲートウェイデバイス81との接続方法は、かかる方法に限られず、例えば何れも無線により接続してもよい。
センサ組込箸20及びゲートウェイデバイス81は、カトラリー型情報収集装置2として機能する。すなわち、慣性計測ユニット50は慣性計測手段5として機能し、カメラ60はカメラ手段6として機能する。また、ゲートウェイデバイス81は、行動解析手段21を備える。
【0032】
デジタルキャンバス30aは、コンテンツ提示装置3として機能し、コンテンツ設定手段31、基礎情報解析手段32、構成決定手段33、コンテンツ生成手段34及びコンテンツ提示手段35を備える。コンテンツ提示装置3としては、デジタルキャンバスに限られず、タブレット端末等の表示端末を広く利用可能である。
また、スマートフォン40は、基礎情報入力装置4として機能し、基礎情報入力手段41を備える。基礎情報入力装置4としては、スマートフォンに限られず、タブレット端末やPC等の情報端末を用いることが可能である。
ゲートウェイデバイス81、デジタルキャンバス30a及びスマートフォン40は、ローカルネットワーク82を用いてデータの送受信を行う構成であり、ローカルネットワーク82は、Wi-Fi(登録商標)により無線での通信を行うものであるが、その他の無線通信方式によるものでもよいし、また有線による通信でもよい。
【0033】
図3は、実施例1の食生活改善システムの概略フロー図を示している。
図3に示すように、まず、コンテンツ設定手段31を用いて、コンテンツ設定を行う(ステップS01)。具体的には、基礎コンテンツ設定手段31aを用いて、基礎コンテンツを設定する。本実施例において基礎コンテンツとは、線画コンテンツのことである。なお、線画コンテンツには、予め基本となる配色が設定されているが、具体的な配色については、構成決定手段33により決定される。
また、詳しくは後述するが、コンテンツ生成ルール設定手段31bにより、コンテンツ生成のルール設定を行う。
【0034】
次に、基礎情報入力装置4すなわちスマートフォン40を用いて、基礎情報を入力する(ステップS02)。ここでの基礎情報とは、計測対象となる飲食物全体が撮像された画像のことである。基礎情報の入力は、スマートフォン40が備えるカメラ(図示せず)を用いて、飲食物全体の画像を撮像し、ローカルネットワーク82を通じてデジタルキャンバス30aに画像を送信することで行う。
図4は、食事画像イメージ図であり、(1)は実施例1の食事画像、(2)は比較例の食事画像を示している。
図4(1)に示すように、スマートフォン40を用いて撮像された食事画像42aでは、トレー12上に食材(11a~11h)が撮像されている。
【0035】
基礎情報解析手段32を用いて、入力された基礎情報すなわち食事画像を解析する(ステップS03)。基礎情報の解析においては、食材名と、当該食材を構成する主な色が解析される。食材名とは、当該料理に使用される食材のみを解析することでもよいし、当該食材が使用された料理名を解析することでもよいし、食材と料理名の何れも解析することでもよい。なお、基礎情報解析手段32及び行動解析手段21における解析には、公知の機械学習を用いた画像認識技術が使用されている。
例えば、
図4(1)に示す食事画像42aにおいて、食材11aは“白米(白色)”、食材11bは“ひじき(黒色)”、食材11cは“牛蒡のきんぴら(茶色)”、食材11dは“ブルーベリー(紺色)”、食材11eは“卵焼き(黄色)”、食材11fは“ホウレンソウ(緑色)”、食材11gは“鮭(乾鮭色)”、また食材11hは“梅干し(赤色)”と解析される。
このように、多くの食材が使用された食事メニューの場合には、多様な色の食材が解析されることになる。
【0036】
これに対して、
図4(2)に示す食事画像42bでは、トレー12上には、食材(11a,11b,11e,11i)が撮像されている。基礎情報解析手段32により、食材11iは“鶏の唐揚げ(茶色)”と解析される。このように、比較的少ない数の食材が使用された食事メニューの場合には、色の種類が少ない配色とされることになる。
【0037】
基礎情報入力装置4すなわちスマートフォン40を用いて撮像された食事画像42aと、コンテンツ設定手段31によるコンテンツ設定を基に、構成決定手段33を用いて、構成を決定する(ステップS04)。
コンテンツ設定手段31の内、基礎コンテンツ設定手段31aでは、コンテンツ生成の基礎となる線画コンテンツを設定する。線画コンテンツの設定は、予めデジタルキャンバス30aに記憶された線画コンテンツの中から何れかを選択することでもよいし、スマートフォン40やデジタルキャンバス30aを用いて、自身で線画コンテンツを作成し、使用することでもよい。
コンテンツ設定手段31の内、コンテンツ生成ルール設定手段31bでは、一口分の飲食物を口に運ぶ時間、一口分の咀嚼の時間、一口毎の間隔、一食の時間などの動作に対して、色塗りコンテンツにおける、描画される線の太さ若しくは長さ、対象領域に対する色塗り範囲の正確さ、色斑などの色塗り態様に関するルールを設定できる。
したがって例えば、一口分の飲食物を口に運ぶ時間が所定の閾値を超え、短いすなわち口に運ぶ速度が速いと判断されると、下絵となる線画コンテンツの線をはみ出して色塗りされるといった設定ができる。また、一口分の咀嚼の時間が所定の閾値を超え、短いすなわち咀嚼が十分ではないと判断されると、色塗りされた箇所が滲んでしまうといった設定ができる。
【0038】
一般に、脳の満腹中枢が血糖値の上昇を感知するまでに約15分かかるとされている。飲食物を口に運ぶスピードが速かったり、咀嚼が十分ではなかったりすると、一食全体の食事スピードが速くなり、ユーザが満腹感を感じる前に、食べ過ぎてしまうという問題がある。上述のような設定とすることで、早く食べてしまった場合には、生成されるコンテンツにつき、色がはみ出したり滲んだりすることで美しい絵が完成しないことになり、正しい食事を間接的に促すことができる。
基礎コンテンツ設定手段31a及びコンテンツ生成ルール設定手段31bにおいて設定された内容と、スマートフォン40を用いて撮像された食事画像42aから、具体的な構成すなわち、飲食物の種類と色塗りの配色との対応関係や、飲食物の量と色塗りの範囲との対応関係が決定される。
【0039】
図5は、実施例1の食生活改善システムの構成決定の説明図であり、(1)は構成決定前のデジタルキャンバスのイメージ図、(2)は基礎コンテンツのイメージ図、また(3)はコンテンツ完成イメージ図を示している。
図5(1)に示すように、構成決定前のデジタルキャンバス30aのディスプレイ36は、無地の状態で何も表示されていない。
図5(2)では、基礎コンテンツである線画コンテンツが表示され、山(51a,51b)、月52、雲53及び背景54が描かれている。本実施例では一種類の線画コンテンツのみ表示しているが、かかる線画コンテンツに限られず、予め複数種類の線画コンテンツを選択できるようにしてもよいし、ユーザ自ら線画コンテンツを作成することでもよい。
【0040】
図5(3)では、線画コンテンツ上に色塗りコンテンツが加えられ、描画コンテンツとして完成した状態となっている。ユーザがバランスの良い食事を正しく摂取すると、
図5(3)に示すような、美しい色塗りが施される仕様である。具体的には、山51aは赤色61、山51bは緑色62、月52は黄色63、雲53は灰色64、また背景54は水色65となっている。
これらの配色は、食事画像42aと対応関係のある構成となっている。例えば、食事画像42aにおいて、食材11gが“鮭(乾鮭色)”であり、かつ全食材に占める量が大きいと判断されると、線画コンテンツ内において山51aのような比較的大きな領域が割り当てられ、かつ“鮭”は主に赤みを帯びた色で構成されることから、赤色や桃色、乾鮭色といった赤みのある色が割り当てられる。
【0041】
また、線画コンテンツ内において各領域に適切な配色を決定し、当該配色に基づいて、各食材を割り当てることもできる。例えば、線画コンテンツ内において山51bと判定された領域は、より緑色に近い色が好ましいと判定され、食事画像42aから抽出された食材の内、より緑色に近い色を有する食材である“ホウレンソウ(緑色)”、すなわち食材11fが割り当てられることになる。また、線画コンテンツ内において月52と判定された領域は、より黄色に近い色が好ましいと判定され、食事画像42aから抽出された食材の内、より黄色に近い色を有する食材である“卵焼き(黄色)”、すなわち食材11eが割り当てられることになる。
なお、ここでは図示しないが、どれぐらいの量を食べれば、どれぐらいの色が塗られるかといった飲食物の量と色塗りの範囲との対応関係についても決定されており、例えば、多くの量を摂食すると広範囲に色塗りされ、少しの量を摂食した場合には狭い範囲に色塗りされることとなる。
【0042】
コンテンツ構成が決定された後、慣性計測手段5及びカメラ手段6すなわち慣性計測ユニット50及びカメラ60を用いて、データを収集する(ステップS05)。下記表1は、センサ組込箸20の認識結果を示している。
【0043】
【0044】
上記表1に示すように、食材を口に運ぶタイミングの検出については84%、摂食した食材の種類(データセットに含まれる45の食品)については95%、摂食した食材の色(赤、緑、黄色、白、黒、紫、茶)については98%、摂食した食材の大きさ(S,M,L)については93%の精度で認識できることが分かった。
【0045】
慣性計測手段5及びカメラ手段6すなわち慣性計測ユニット50及びカメラ60により収集されたデータに基づき、ユーザの行動を解析する(ステップS06)。
図6は、実施例1の食生活改善システムのデータ解析の説明図を示している。
図6に示すように、慣性計測ユニット50において、得られた加速度データや角速度データのピーク値(13a,13b)を検出することで、飲食物を口に運んだことを判別する。
また、センサ組込箸20に取り付けられたカメラ60においては、計測中にリアルタイムで多数の画像が撮像される。センサ組込箸20の先端画像(43a~43g)は、これらの撮像画像の一部である。例えば、先端画像43aは、茶碗の中にセンサ組込箸20が挿し込まれた状態が撮像され、先端画像(43b,43e)は、食材11aをセンサ組込箸20で摘んだ状態が撮像されている。また、先端画像(43c,43f)は、食材11aをユーザの口に入れた状態が撮像されている。
【0046】
行動解析手段21は、先端画像(43b,43e)のように、食材11aがセンサ組込箸20で摘まれた画像から、食材11aの種類や色を判別し、また、撮像された食材11aの大きさからセンサ組込箸20によって摘まれた食材11aの量を算出する。
行動解析手段21は、先端画像(43c,43f)のような、ユーザ9が食材11aをユーザの口に入れ、食材11aが消えた画像が撮像されると、当該画像が撮像されたタイミングから、飲食物を口に運んだことを判別する。すなわち、ユーザ9が飲食物を口に運んだタイミングは、慣性計測ユニット50とカメラ60の両方から得られるデータを用いて判別するため、精度の高いデータを検出することが可能となっている。
【0047】
構成決定手段33により決定された構成と、行動解析手段21による解析結果に基づき、コンテンツ生成手段34を用いて、コンテンツを生成する(ステップS07)。本実施例におけるコンテンツは、
図5(2)に示す線画コンテンツ上に、
図5(3)に示すような色塗りコンテンツが加えられた描画コンテンツである。コンテンツ生成手段34は、ユーザ9が摂食した飲食物の種類、量及びタイミングから、線画コンテンツ上に色塗りコンテンツを加えた描画コンテンツを生成する。
【0048】
コンテンツ生成手段34において、コンテンツが生成された後、コンテンツ提示手段35は、コンテンツを提示する(ステップS08)。本実施例では、コンテンツ提示装置30aのディスプレイ36上に、描画コンテンツが提示される。
図7は、実施例1の食生活改善システムのコンテンツ提示イメージ図であり、(1)は食事前、(2)は食事開始直後、(3)は食事開始後一定時間経過した状態、(4)は食事終了時の状態を示している。ユーザがまだ何も口にしていない状態では、
図7(1)に示すように、コンテンツ提示装置30aには、線画コンテンツのみが表示されている。
そして、ユーザが摂食を始めると、
図7(2)又は(3)に示すように、線画コンテンツ上に色塗りコンテンツが加えられて行く。具体的に本実施例では、まず、ユーザが食材11g(鮭、乾鮭色)を摂食したことにより、
図7(2)に示すように、山51aに赤色61aが塗られている。次に、ユーザがさらに食材11g(鮭、乾鮭色)を摂食したことにより、
図7(3)に示すように、山51aにさらに赤色61bが塗られている。同様に、ユーザが食材11f(ホウレンソウ、緑色)を摂食したことにより、山51bに緑色62が塗られ、ユーザが食材11e(卵焼き、黄色)を摂食したことにより、月52に黄色63が塗られている。
【0049】
一般に、人は達成できた事柄よりも、達成できなかった事柄や中断している事柄のほうを強く覚えているという心理現象が知られている(ツァイガルニク効果)。
図7(1)に示すデジタルキャンバス30aに色が塗られていない状態から、
図7(2)に示すように少し色が塗られた状態となることにより、ユーザは、色塗りされていない箇所に対する意識が強くなり、色塗りされていない箇所を色塗りしたいという意識が強くなる効果が得られると考えられる。例えば、食事メニューの内、ユーザが嫌いな食材を摂食しない場合には、当該食材に割り当てられた領域は、色塗りされないことになるが、かかる心理効果から、嫌いな食べ物であっても食べて絵を完成させたいとユーザに意識させることが可能になる。
また、人は目標を達成しようとする際、ゴールへの前進を感じるとモチベーションが向上するという心理現象が知られている(エンダウド・プログレス効果)。
図7(1)に示すデジタルキャンバス30aに色が塗られていない状態から、
図7(2)に示すように少し色が塗られた状態となり、さらに、
図7(3)に示すようにより多くの色が塗られた状態となることで、ゴールへの前進を感じ、描画コンテンツ完成へのモチベーションが向上することが期待できる。
【0050】
また、バランスの良い食事を行うだけでなく、ゆっくり食べるといった正しい食事を行うことも重要である。そこで前述のように、コンテンツ生成ルール設定手段31bにおいて、正しい食事が行われないときは、美しく色塗りがなされないといった設定を行うことで、ユーザの食事スピードや咀嚼の程度によって、線画コンテンツ上に加えられる色塗りコンテンツの塗り方を変化させることが可能になる。
図8は、実施例1の食生活改善システムのコンテンツ提示イメージ図であり、(1)は色がはみ出した場合、(2)は色が滲んだ場合を示している。
コンテンツ生成ルール設定手段31bにおいて、一口分の飲食物を口に運ぶ時間が所定の閾値を超え、短いすなわち口に運ぶ速度が速いと判断されると、下絵となる線画コンテンツの線をはみ出して色塗りされるといった設定を行った場合には、行動解析手段21において、例えば、ユーザが速い速度で食材11g(鮭、乾鮭色)を口に運んだと判定されると、
図8(1)に示すように、山51aに赤色61cが塗られるが、赤色61cの末端が、山51aを表す線よりはみ出して塗られてしまう。
【0051】
また、コンテンツ生成ルール設定手段31bにおいて、一口分の咀嚼の時間が所定の閾値を超え、短いすなわち咀嚼が十分ではないと判断されると、色塗りされた箇所が滲んでしまうといった設定を行った場合には、行動解析手段21において、例えば、ユーザが速い速度で食材11g(鮭、乾鮭色)を口に運んだ後、十分に咀嚼を行わないまま、別の食材に箸を付けた、若しくは別の食材を口に運んだと判定されると、
図8(2)に示すように、山51aに赤色61cが塗られるが、赤色61cの末端が、滲んでしまうことになる。
このように、ユーザが、一食の食事を良いバランスで、かつゆっくりと時間をかけて完食すると、
図7(4)に示すように、線画コンテンツ上に美しく色塗りが施され、描画コンテンツが完成することになる。
【0052】
(食生活改善システムの有効性に関する評価実験)
実施例1の食生活改善システムの有効性に関して評価実験を行った。
図14は、食生活改善システムの有効性に関する評価実験結果を示している。横軸は各被験者(P
1~P
10)、縦軸は、一食の食事を食べ終わるまでの食事時間(分)を示す。被験者(P
1~P
10)は何れも早食い傾向のある20代男性である。図中の“NI”は「介入なし」、“GI”は「グラフを用いた介入」、“PI
1”は「絵画を用いた介入」、“PI
2”は「絵画を用いた介入、かつ色の混ざり効果あり」となっている。
図15は、評価実験に用いた介入のイメージ図を示しており、(1)は「グラフを用いた介入」、(2)は「絵画を用いた介入」、(3)は「絵画を用いた介入、かつ色の混ざり効果あり」のそれぞれイメージを示している。すなわち、“グラフを用いた介入”とは、
図15(1)に示すようなグラフを被験者に提示することであり、各色の飲食物を一口摂取すると、グラフに目盛りが表示されるといったものである。例えば、
図15(1)では“赤色”の飲食物が5口摂食されたことが示されている。
【0053】
“絵画を用いた介入”とは
図15(2)に示すような描画コンテンツを提示することであり、“色の混ざり効果”はなく、例えば、山51hが色塗りされる際は、鮮やかな赤色61で色塗りされている。
これに対して、“色の混ざり効果あり”とは、コンテンツ生成ルール設定手段31bにおいて、「一口分の飲食物を口に運ぶ時間の間隔が所定の閾値を超え、短いすなわち一口の摂食速度が速いと判断されると、色塗りされる色が他の色と混ざってしまう」という設定を行ったものである。具体的には、
図15(3)に示す描画コンテンツのように、山51hが色塗りされる際であっても必ずしも鮮やかな赤色61とはならず、例えば、一口の摂食速度が速いと判断されると、色塗りされる色が他の色(ここでは青色)と混ざってしまい、紫色66で色塗りされてしまうといった介入がなされる。
【0054】
上記条件下において、被験者毎に合計4回(それぞれは別日)の食事データを収集した。空腹度など物理的な条件の違いを抑えるために、事前に、4回の実験において空腹状態を揃えるように依頼した。一般的に、1回の食事に15分以上かけることが望ましいと言われている。結果から、被験者(P4~P9)では、PI1介入により食事時間をわずかに増加させたことが観察できる。さらに、PI2介入により、ほとんどの被験者である被験者(P1~P6,P8~P10)において、理想的な食事時間の基準である15分を超えたことも確認できる。また、興味深いことに、PI2介入は、特に早食い傾向のある参加者(介入なしの条件下で10分以内)にとってより効果的であることが確認された。ウィルコクソン符号順位検定の結果、NIとGIの条件間に有意差は確認できず、NIとPI1、NIとPI2の間では有意差を確認することができた。このことから、グラフを用いた可視化よりも、本実施例のアートを用いた定性的な可視化の方が、行動変容効果が高いと考えられる。