(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-20
(45)【発行日】2022-01-17
(54)【発明の名称】情報提供システム、情報処理装置及びプログラム
(51)【国際特許分類】
G06Q 50/22 20180101AFI20220107BHJP
【FI】
G06Q50/22
(21)【出願番号】P 2018084523
(22)【出願日】2018-04-25
【審査請求日】2021-01-05
(73)【特許権者】
【識別番号】000002174
【氏名又は名称】積水化学工業株式会社
(74)【代理人】
【識別番号】100161207
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100152272
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100188592
【氏名又は名称】山口 洋
(72)【発明者】
【氏名】武内 稔公
(72)【発明者】
【氏名】正角 彰朗
【審査官】石川 正二
(56)【参考文献】
【文献】特開2000-126138(JP,A)
【文献】特開2010-217948(JP,A)
【文献】特開2005-279051(JP,A)
【文献】特開2004-133669(JP,A)
【文献】特開2005-074107(JP,A)
【文献】特開2005-218492(JP,A)
【文献】特開2000-041952(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
一定の空間において備えられ、所定の対象を検出する1以上のセンサと、情報処理装置と、前記一定の空間に対応するユーザに対応するユーザ端末装置とを備え、
前記情報処理装置は、
前記センサから出力される検出情報を取得する検出情報取得部と、
前記検出情報取得部により取得された検出情報に基づいて、複数の前記ユーザごとに個別に設定された解析項目に対応する解析を実行する解析部と、
ユーザごとの前記解析項目についての解析結果に基づく提供情報を所定のユーザ端末装置に出力する情報出力部とを備え、
前記ユーザ端末装置は、
前記情報出力部から出力された提供情報をユーザに提示するように出力する情報提示部を備える
情報提供システム。
【請求項2】
前記情報出力部は、
前記解析部が解析した前記解析項目についての解析結果に基づく提供情報を、前記解析部が解析した前記解析項目が対応するユーザとは異なるユーザのユーザ端末装置に出力する
請求項1に記載の情報提供システム。
【請求項3】
前記検出情報取得部は、一定の撮像範囲の周囲環境を対象に撮像による検出を行うカメラを備える前記センサから出力される撮像画像を前記検出情報として取得する
請求項1または2に記載の情報提供システム。
【請求項4】
前記検出情報取得部は、収音による検出を行うマイクロフォンを備える前記センサから出力される音声信号を前記検出情報として取得する
請求項1から3のいずれか一項に記載の情報提供システム。
【請求項5】
前記検出情報取得部は、所定の生体情報を対象として検出する前記センサから出力される検出情報を取得する
請求項1から4のいずれか一項に記載の情報提供システム。
【請求項6】
前記検出情報取得部により取得された検出情報と、前記解析部による解析結果を示す情報との少なくともいずれか一方についての代表値の情報を記憶部に記憶させる記憶制御部を備える
請求項1から5のいずれか一項に記載の情報提供システム。
【請求項7】
一定の空間において備えられ、所定の対象を検出する1以上のセンサから出力される検出情報を取得する検出情報取得部と、
前記検出情報取得部により取得された検出情報に基づいて、複数のユーザごとに個別に設定された解析項目に対応する解析を実行する解析部と、
ユーザごとの前記解析項目についての解析結果に基づく提供情報を、前記一定の空間に対応するユーザに対応するユーザ端末装置のうちの所定のユーザ端末装置に出力する情報出力部と
を備える情報処理装置。
【請求項8】
コンピュータを、
一定の空間において備えられ、所定の対象を検出する1以上のセンサから出力される検出情報を取得する検出情報取得部、
前記検出情報取得部により取得された検出情報に基づいて、複数のユーザごとに個別に設定された解析項目に対応する解析を実行する解析部、
ユーザごとの前記解析項目についての解析結果に基づく提供情報を、前記一定の空間に対応するユーザに対応するユーザ端末装置のうちの所定のユーザ端末装置に出力する情報出力部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提供システム、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
以下のような生体情報管理システムが知られている。つまり、生体情報管理システムは、家庭内外に設けられた複数の生体情報測定手段により測定された生体情報と被験者とを対応付けて記録する。生体情報管理システムは、記録された生体情報に基づいて、被験者の食事メニュー、運動メニュー、入浴メニューを提案する(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば同じ居住空間に家族が同居している場合、家族の構成人員は、父、母、子供、さらには祖父や祖母などのように性別、世代等が異なる。このため、生活のなかで構成人員に関して必要な情報は、構成人員ごとに異なる。このようなことを考慮すると、例えば家族等のような複数の構成人員による集団に向けて情報を提供するサービスのもとでは、構成人員ごとに対応して個別に必要な情報が提供されるようにすることが好ましい。
しかしながら、特許文献1の構成では、食事メニュー、運動メニュー、入浴メニュー等といった共通の項目について構成人員ごとに提案が行われるに留まっている。
【0005】
本発明は、このような事情に鑑みてなされたもので、複数の構成人員による集団に向けて、構成人員に関して検出した情報に基づいて情報を提供するサービスのもとで、構成人員ごとに対応して個別に必要な情報が提供されるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決するための本発明の一態様は、一定の空間において備えられ、所定の対象を検出する1以上のセンサと、情報処理装置と、前記一定の空間に対応するユーザに対応するユーザ端末装置とを備え、前記情報処理装置は、前記センサから出力される検出情報を取得する検出情報取得部と、前記検出情報取得部により取得された検出情報に基づいて、複数の前記ユーザごとに個別に設定された解析項目に対応する解析を実行する解析部と、ユーザごとの前記解析項目についての解析結果に基づく提供情報を所定のユーザ端末装置に出力する情報出力部とを備え、前記ユーザ端末装置は、前記情報出力部から出力された提供情報をユーザに提示するように出力する情報提示部を備える情報提供システムである。
【0007】
本発明の一態様は、一定の空間において備えられ、所定の対象を検出する1以上のセンサから出力される検出情報を取得する検出情報取得部と、前記検出情報取得部により取得された検出情報に基づいて、複数のユーザごとに個別に設定された解析項目に対応する解析を実行する解析部と、ユーザごとの前記解析項目についての解析結果に基づく提供情報を、前記一定の空間に対応するユーザに対応するユーザ端末装置のうちの所定のユーザ端末装置に出力する情報出力部とを備える情報処理装置である。
【0008】
本発明の一態様は、コンピュータを、一定の空間において備えられ、所定の対象を検出する1以上のセンサから出力される検出情報を取得する検出情報取得部、前記検出情報取得部により取得された検出情報に基づいて、複数のユーザごとに個別に設定された解析項目に対応する解析を実行する解析部、ユーザごとの前記解析項目についての解析結果に基づく提供情報を、前記一定の空間に対応するユーザに対応するユーザ端末装置のうちの所定のユーザ端末装置に出力する情報出力部として機能させるためのプログラムである。
【発明の効果】
【0009】
以上説明したように、本発明によれば、複数の構成人員による集団に向けて、構成人員に関して検出した情報に基づいて情報を提供するサービスのもとで、構成人員ごとに対応して個別に必要な情報を提供可能になるという効果が得られる。
【図面の簡単な説明】
【0010】
【
図1】本実施形態における情報提供システムの構成例を示す図である。
【
図2】本実施形態におけるセンサの構成例を示す図である。
【
図3】本実施形態における情報処理装置の構成例を示す図である。
【
図4】本実施形態におけるユーザ情報の一例を示す図である。
【
図5】本実施形態におけるユーザ端末装置の構成例を示す図である。
【
図6】本実施形態における情報処理装置が実行する処理手順例を示すフローチャートである。
【
図7】本実施形態における情報処理装置が実行する処理手順例を示すフローチャートである。
【発明を実施するための形態】
【0011】
[情報提供システムの全体構成例]
図1は、本実施形態における情報提供システム1の全体的な構成例を示している。同図の情報提供システム1は、居住空間10(一定の空間の一例)において備えられるn個のセンサ100(100-1~100-n)、情報処理装置200、及び入出力装置300を備える。また、情報提供システム1は、居住空間10に居住するユーザU(U-1~U-4)がそれぞれ所持するユーザ端末装置400(400-1~400-4)を備える。
【0012】
本実施形態における居住空間10は、具体的には住宅であればよい。この場合の居住空間10としての住宅は、家屋内だけではなく、例えば住宅としての敷地内であれば、家屋の外の庭やエントランス等も含まれてよい。
【0013】
同図では、居住空間10に居住するユーザUが、ユーザU-1~U-4の4人である例を示している。具体的に、以下の説明では、4人のユーザUは家族であって、ユーザU-1は父、ユーザU-2は母、ユーザU-3は子供、ユーザU-4は祖父(祖母でもよい)である場合を例に挙げる。
なお、同図では、ユーザU-2、ユーザU-4が居住空間10内に存在しており、ユーザU-1、ユーザU-3が居住空間10の外に存在している場合が示されている。これは、ユーザUは、日常の生活において居住空間10を出入りしており、かつ、ユーザ端末装置400を所持していれば、居住空間10の外であっても後述の提供情報の提供を受けることが可能であることを表している。
【0014】
センサ100は、それぞれ、居住空間における所定の場所に設置され、所定の検出項目についての検出を行う。具体的に、センサ100-1~100-nのうちには、カメラ、マイクロフォン、各種の生体情報センサが含まれる。
【0015】
カメラとしてのセンサ100は、一定の撮像範囲の周囲環境を対象に撮像を行う。つまり、カメラとしてのセンサ100は、設置された位置と方向に応じた視野範囲を検出対象として検出を行い、検出情報として撮像画像を得る。カメラとしてのセンサ100は、良質な撮像画像を得るために、例えばデュアルカメラ等のように複数のカメラにより撮像された画像を利用して撮像画像を出力するようにされたものが使用されてよい。また、カメラとしてのセンサ100には、例えば高精細の撮像画像が得られるラインセンサが使用されてもよい。
【0016】
マイクロフォンとしてのセンサ100は、周囲の音を対象に収音を行う。つまり、カメラとしてのセンサ100は、設置された位置と設定された指向性に応じた周囲の音を検出対象として検出を行い、検出情報として音声信号を得る。
【0017】
生体情報センサとしてのセンサ100は、それぞれが所定の生体情報を検出する。生体情報センサとしてのセンサ100には、体重や体脂肪率等を測定する体組成センサ、においを検出するにおいセンサ等が含まれる。
さらに、生体情報センサとしてのセンサ100には、例えばサーモグラフィ等を用いて体温を測定する体温センサ、ミリ波レーダを用いて単位時間あたりの心拍数を検出する心拍センサ、赤外線を用いて血中酸素濃度を検出する血中酸素濃度センサ、ミリ波レーダを用いて単位時間あたりの呼吸数を検出する呼吸数センサが含まれてよい。さらに、生体情報センサとしてのセンサ100には、尿や便から所定の検査項目を検出する尿便センサが含まれてよい。
【0018】
センサ100は、それぞれ、自己が検出して得られた検出情報を、情報処理装置200に送信(出力)する。センサ100と情報処理装置200との通信は、有線であってもよいし、近距離無線通信であってもよい。
【0019】
情報処理装置200は、センサ100から送信された検出情報に基づいて、ユーザUごとに所定の項目に対応する解析を行う。情報処理装置200は、解析結果に基づいて、所定のユーザUに提供情報を生成する。
提供情報は、少なくとも1の所定のユーザUに提供すべき情報である。提供情報の具体例については後述する。
【0020】
情報処理装置200は、生成した提供情報を所定のユーザ端末装置400に送信(出力)する。
情報処理装置200からユーザ端末装置400への提供情報の送信は、ゲートウェイGWを介して行われる。同図のゲートウェイGWは、無線LANルータと、外部のネットワークNWとの間で通信を行うための中継器を有する。
例えば、ユーザ端末装置400が居住空間10内に存在している場合には、情報処理装置200から送信された提供情報は、ゲートウェイGWが有する無線LANルータを経由して、居住空間10内のユーザ端末装置400に送信される。また、ユーザ端末装置400が居住空間10の外に存在している場合には、情報処理装置200から送信された提供情報は、ゲートウェイGWが有する中継器からネットワークNWを介して、居住空間10の外のユーザ端末装置400に送信される。
【0021】
また、情報処理装置200は入出力装置300と接続される。入出力装置300は、情報処理装置200に対してユーザが入力操作を行うことのできる入力装置として機能する。また、入出力装置300は、情報処理装置200から送信された提供情報を居住空間10内のユーザUに向けて提示するように出力してもよい。入出力装置300による提供情報の提示は、表示や音声によって行われてよい。
入出力装置300は、例えばマウス、キーボード、タッチパネル、マイクロフォンなどの入力装置、表示装置、音出力装置(音声信号増幅回路、スピーカ等を含む)等であってもよい。また、入出力装置300は、スマートスピーカー等であってもよい。
【0022】
ユーザ端末装置400は、情報処理装置200から送信される提供情報を受信し、受信された提供情報を表示、音声等により出力する。これにより、ユーザUに対して情報の提供が行われる。また、ユーザUは、ユーザ端末装置400に対する操作によって、情報提供システムにおいて必要な各種設定に関する操作を行うことができる。このようなユーザ端末装置400の提供情報の出力や、各種設定に関する操作等の機能は、ユーザ端末装置400にインストールされた情報提供アプリケーションによって実現される。
【0023】
[センサの構成例]
図2は、センサ100の構成例を示している。同図のセンサ100は、検出部101、通信部102を備える。
【0024】
検出部101は、検出対象を検出し、検出結果を示す検出情報を出力する。センサ100がカメラである場合、検出部101は、レンズ、撮像素子等を備え、撮像を行って撮像画像としての検出情報を得る。この場合において、検出部101は、前述のように、デュアルカメラやラインセンサ等を備えてよい。
また、センサ100がマイクロフォンである場合、検出部101は、収音を行って音声信号としての検出情報を得る。
【0025】
通信部102は、情報処理装置200と通信を行うことで、検出部101から出力された検出信号を、情報処理装置200に送信する。通信部102は、有線による通信に対応する構成であってもよいし、無線通信に対応する構成であってもよい。無線通信としては、例えば、Bluetooth(登録商標)等をはじめとする所定の近距離無線通信を採用してよい。
【0026】
[情報処理装置の構成例]
図3は、情報処理装置200の構成例を示している。同図の情報処理装置200は、センサ対応通信部201、ネットワーク対応通信部202、入出力インターフェース部203、制御部204、及び記憶部205を備える。
【0027】
センサ対応通信部201は、センサ100と通信を行う。
ネットワーク対応通信部202は、ゲートウェイGWを介してネットワークNWに対応する通信を行う。
【0028】
センサ対応通信部201とネットワーク対応通信部202は、それぞれの通信に対応する回路を備える。
入出力インターフェース部203は、ユーザインターフェースに対応して情報処理装置200と外部装置との間で情報の入出力を行う。
図1との対応では、入出力インターフェース部203は、入出力装置300と接続される。
【0029】
制御部204は、情報処理装置200における各種制御を実行する。制御部204としての機能は、情報処理装置200において備えられるCPU(Central Processing Unit)がプログラムを実行することにより実現される。
同図の制御部204は、検出情報取得部241、検出情報加工部242、個人認識部243、解析部244、及び情報出力部245を備える。
【0030】
検出情報取得部241は、センサ100から出力される検出情報を取得する。センサ100から送信された検出情報は、センサ対応通信部201にて受信される。検出情報取得部241は、センサ対応通信部201にて受信された検出情報を取得する。
【0031】
検出情報加工部242は、検出情報取得部241により取得された検出情報のうちの所定の検出情報について加工を行う。
加工の具体例として、検出情報加工部242は、撮像画像としての検出情報については、解析部244による解析の対象となる被写体(人物、食物等)の抽出を行ってよい。また、検出情報加工部242は、被写体の抽出にあたり、例えば異なるカメラ(センサ100)により得られた複数の撮像画像や、異なる時刻に撮像して得られた複数の撮像画像から、良質な画像の被写体を抽出するようにしてよい。
また、検出情報加工部242は、音声信号としての検出情報については、例えばノイズの除去、解析部244による解析の対象となる音声信号成分の抽出等を行ってよい。
また、検出情報加工部242は、生体情報センサとしてのセンサ100からの検出情報についてもノイズの除去等を行ってよい。
【0032】
個人認識部243は、検出情報取得部241により取得された検出情報、(検出情報加工部242による加工後の検出情報も含む)のうちの所定の検出情報を利用して個人認識を実行する。ここでの個人認識は、居住空間10に居住するユーザUごとの個人を認識する処理となる。個人認識部243は、撮像画像としての検出情報から抽出された人物の画像に基づいて個人認識を行うことができる。人物の画像に基づく個人認識は、顔画像に基づく個人認識であってもよいし、全身画像に基づく個人認識であってもよい。
また、個人認識部243は、音声信号としての検出情報から抽出された人の音声の成分に基づいて個人認識を行うことができる。また、個人認識部243は、においセンサとしてのセンサ100により検出されたにおいについての検出情報に基づいて個人認識を行うことができる。
図1の例では、個人認識部243は、4人のユーザU-1~U-4ごとに対応する個人を認識する。
【0033】
個人認識部243は、個人認識にあたり、例えば個人ごとの性別、身長、年齢層等も認識してよい。この場合、個人認識部243は、認識した個人ごとの性別、年齢層等に基づいて、父、母、子供(息子、娘)、祖父等のように、認識した個人のそれぞれを、家族を構成する人員のいずれに該当するのかについても認識するようにされてよい。
【0034】
解析部244は、検出情報取得部241により取得された検出情報(検出情報加工部242による加工後の検出情報も含む)に基づいて、複数のユーザUごとに個別に設定された解析項目に対応する解析を実行する。
情報出力部245は、ユーザUごとの解析項目についての解析結果に基づく提供情報を所定のユーザ端末装置400に出力する。
ユーザごとに個別に対応付けられる解析項目と、解析結果に基づいて情報出力部245が出力する提供情報は、例えば健康等に関連するものを挙げることができるが、具体例については後述する。
【0035】
記憶部205は、記憶装置を備えて構成され、情報処理装置200に対応する各種の情報を記憶する。同図の記憶部205は、検出情報記憶部251、解析情報記憶部252、ユーザ情報記憶部253、及び検出解析履歴記憶部254を備える。
【0036】
検出情報記憶部251は、検出情報取得部241により取得された検出情報(検出情報加工部242による加工により得られる検出情報も含む)を記憶する。検出情報記憶部251により、時系列に応じた検出情報が蓄積されることで、解析部244は、検出情報取得部241により随時取得される検出情報に基づくリアルタイム性を有する解析だけではなく、過去から現在までにおける検出情報を利用した解析も実行することができる。
解析情報記憶部252は、解析部244による解析結果の情報を記憶する。
【0037】
ユーザ情報記憶部253は、ユーザUごとのユーザ情報を記憶する。
図4は、ユーザ情報記憶部253が記憶するユーザ情報の一例を示している。同図には、ユーザU-1~U-4ごとに対応するユーザ情報の例が示されている。同図における1レコード(1行)が1のユーザUに対応するユーザ情報である。1のユーザUに対応するユーザ情報は、ユーザ識別子、ユーザ特徴量、ユーザプロフィール、及びフィードバック設定情報の各領域を含む。
ユーザ識別子の領域は、対応のユーザを示すユーザ識別子を格納する。
ユーザ特徴量の領域は、対応のユーザについての個人認識に対応する特徴量を格納する。
【0038】
個人認識部243は、例えばセンサ100により検出された撮像画像、音声、におい等から抽出した特徴量に基づいて個人認識処理を実行した結果、或るユーザUとしての個人を認識すると、認識した個人についてユーザ識別子を付与する。ユーザ情報におけるユーザ識別子の領域には、対応のユーザUについて認識を行った際に付与したユーザ識別子が格納され、特徴量の領域には、対応のユーザUについて認識を行った際に抽出された特徴量が格納される。なお、特徴量の領域に格納される特徴量の情報については、ユーザUの加齢等に応じた変化に応じて適宜更新されてよい。
【0039】
また、同図において、ユーザプロフィールの領域は、ユーザプロフィールの情報を格納する。ユーザプロフィールの領域に格納されるユーザプロフィールの情報には、例えば家族構成におけるいずれの人員であるのかを示す人員区分(即ち、父、母、子供(息子、娘)、祖父等のいずれであるのかを示す情報)、性別、年齢(もしくは年齢層)等のユーザUに関する基本的な情報が格納されてよい。
このようなユーザプロフィールの情報における人員区分、性別、年齢等の情報は、ユーザUによる入出力装置300に対する操作やユーザ端末装置400に対する操作によって入力が行われることにより取得されてよい。この場合には、例えば入出力装置300あるいはユーザ端末装置400にて、個人認識部243により認識されたユーザUの顔画像を表示するとともに、表示された顔画像に対応するユーザUのユーザプロフィールを入力する入力画面を表示する。ユーザUは、入力画面に対して人員区分、性別、年齢等の情報を入力する操作を行う。また、この場合には、ユーザプロフィールの情報の1つとして、ユーザUの名前(ニックネームでもよい)等も入力可能なようにできる。
【0040】
フィードバック設定情報の領域は、対応のユーザUに対応する提供情報の提示の設定に関する情報(フィードバック設定情報)を格納する。フィードバック設定情報は、例えば対応のユーザUに関して、どのような解析項目が設定されており、解析項目ごとに対応する提供情報の通知(提供)を、いずれのユーザ端末装置400に対して行うべきかを示す情報である。
【0041】
同図においては、1のユーザUに対応するフィードバック設定情報の一例が示される。同図においては、解析項目1、解析項目2、解析項目3ごとに対応する3つのフィードバック設定情報が格納された例を示している。1つのフィードバック設定情報は、解析項目に通知先情報が対応付けられている。なお、1つのフィードバック設定情報における通知先情報は、複数のユーザ端末装置400が通知先として示されていてもよい。
【0042】
説明を
図3に戻す。検出解析履歴記憶部254は、検出解析履歴を記憶する。検出解析履歴には、過去に得られた検出情報と解析結果に関連する情報(解析結果関連情報)を記憶する。解析結果関連情報としては、解析部244による解析結果を示す情報であってもよいし、解析結果に基づく提供情報であってもよい。
検出解析履歴記憶部254は、例えばこれまでに得られた検出情報や解析結果関連情報の全てを蓄積してもよい。しかしながら、記憶部205に対応する記憶装置の記憶容量の制限などで、これまでに得られた検出情報や解析結果関連情報の全てを蓄積することが難しい場合がある。
そこで、制御部204(記憶制御部の一例)は、例えば、検出情報や解析結果関連情報についての代表値の情報(代表検出解析履歴)を検出解析履歴記憶部254に記憶させてもよい。このような代表検出解析履歴としては、一定期間ごとの平均値、移動平均値、一定期間ごとにおいて顕著な変化を示した時点での値等であってよい。このような代表値に相当する情報を検出解析履歴として記憶するようにすれば、検出解析履歴記憶部254に対応する記憶装置の記憶容量の節約を図ることができる。
制御部204は、例えばユーザ端末装置400からの要求に応じて、検出解析履歴記憶部254に記憶された代表検出解析履歴を、ユーザ端末装置400に送信してよい。ユーザ端末装置400は、受信された代表検出解析履歴を、例えば時系列に応じた変化が提示されるように出力してよい。一例として、ユーザUは、自分もしくは他のユーザの過去の健康状態に関する状態を示す検出解析履歴を要求するための操作をユーザ端末装置400に行って、ユーザ端末装置400にて過去の健康状態に関する状態を表示させることができる。これにより、ユーザは、自分もしくは他のユーザに関する過去の健康状態を手軽に把握できる。
【0043】
図5は、ユーザ端末装置400は、通信部401、制御部402、記憶部403、入力インターフェース部404、及び出力インターフェース部405を備える。
【0044】
通信部401は、ネットワークNW経由で通信を実行する。
【0045】
制御部402は、ユーザ端末装置400における各種の制御を実行する。制御部402としての機能は、ユーザ端末装置400が備えるCPUがプログラムを実行することにより実現される。
同図の制御部402は、アプリケーション対応処理部421(情報提示部の一例)を備える。アプリケーション対応処理部421は、ユーザ端末装置400にインストールされた情報提供アプリケーションに対応する各種機能を実行する。即ち、アプリケーション対応処理部421としての機能は、ユーザ端末装置400が備えるCPUが、インストールされた情報提供アプリケーションのプログラムを実行することによって実現される。
【0046】
アプリケーション対応処理部421は、情報処理装置200から受信した提供情報を表示や音声等によってユーザUに向けて出力する。また、アプリケーション対応処理部421は、情報提供システムにおいて必要な各種設定に関して行われる操作を受け付ける。アプリケーション対応処理部421は、受け付けた操作に応じた設定内容を示す情報を情報処理装置200に送信する。情報処理装置200は受信した情報が示す設定内容を記憶部205に記憶させる。このようにして設定される情報には、例えばユーザ情報記憶部253が記憶するユーザプロフィールにおける所定の項目の情報等が含まれる。また、アプリケーション対応処理部421は、受け付けた操作に応じた設定内容によっては、自己の記憶部403に記憶させてよい。
【0047】
記憶部403は、情報提供アプリケーションのプログラム等をはじめ、ユーザ端末装置400に対応する各種の情報を記憶する。
【0048】
入力インターフェース部404は、ユーザインターフェースにおける入出力のうち、入力に対応する部位である。入力インターフェース部404は、例えばユーザ端末装置400が備える各種の物理的なキーや入力デバイスを含む。入力デバイスには、タッチパネル、マイクロフォン、カメラ等が含まれてよい。
【0049】
出力インターフェース部405は、ユーザインターフェースにおける入出力のうち、入力に対応する部位である。出力インターフェース部405は、例えばユーザ端末装置400が備える表示装置、音声出力部(音声信号増幅回路、スピーカ、イヤホン端子等)が含まれてよい。
【0050】
[処理手順例]
図6のフローチャートを参照して、情報処理装置200がセンサ100から送信された検出情報の受信に応じて実行する処理手順例を示すフローチャートである。なお、同図の処理は、居住空間10に対応する家族を構成する全ての人員ごとに対応するユーザ情報がユーザ情報記憶部253に記憶済みとされている状態のもとで行われる。また、同図の処理は、例えば予め定められた一定時間ごとに実行される。
【0051】
ステップS101:情報処理装置200において、検出情報取得部241は、各センサ100から送信された検出情報を取得する。
【0052】
ステップS102:個人認識部243は、ステップS102により取得された検出情報が個人を認識可能なものである場合には、取得された検出情報に基づく個人認識を実行する。具体例として、取得された検出情報が撮像画像である場合には、撮像画像に人物の画像が含まれていれば個人認識が可能である。また、音声信号に人の発した声が含まれていれば個人認識が可能である。また、においセンサにより検出された人のにおいに基づいて個人認識が可能である。
ステップS102における個人認識は、取得された検出情報に対応するユーザUが、ユーザ情報記憶部253に記憶されたユーザ情報において示される家族の人員のいずれであるのかを認識する処理となる。このために、個人認識部243は、取得された検出情報から抽出した特徴量と、ユーザ情報に格納されるユーザUごとのユーザ特徴量との類似度を求め、一定以上の類似度が得られたユーザ特徴量に対応する人員が、今回取得された検出情報に対応するユーザUであると認識する。なお、ステップS102においては、同時に複数のユーザUが認識されてよい。
【0053】
ステップS103:検出情報取得部241は、ステップS101により取得された検出情報が、ステップS102にて認識された個人に応じた解析に必要な情報であるか否かの弁別を行う。
例えば、検出情報取得部241は、ユーザ情報記憶部253が記憶するユーザUごとのフィードバック設定情報を参照することで、ユーザUごとに対応して行うべき解析に必要な検出情報の種別を特定する。検出情報取得部241は、ステップS102により検出された検出情報のうち、ステップS102にて認識した個人に対応して行うべき解析に必要な検出情報と同じものについては必要であると弁別し、異なるものについては不要であると弁別する。
そのうえで、検出情報取得部241は、不要であると判定した検出情報については廃棄してよい。
【0054】
ステップS104:検出情報加工部242は、ステップS103にて必要であると弁別した検出情報のうちで加工が必要なものについて加工を行う。検出情報の加工としては、例えば前述のように、撮像画像からの解析に必要な被写体の抽出、良質な画像の抽出、尾解析対象となる音声信号成分の抽出、ノイズ除去、生体情報センサとしてのセンサ100からの検出情報についてのノイズ除去等を挙げることができる。
【0055】
ステップS105:検出情報取得部241は、ステップS103により必要であると弁別された検出情報を、ステップS102にて認識された個人に対応させて検出情報記憶部251に記憶させる。なお、検出情報取得部241は、ステップS105において、ステップS103により不要であると弁別された検出情報についても破棄することなく、検出情報記憶部251に記憶させてよい。
【0056】
なお、検出情報加工部242による検出情報の加工は、ステップS102による個人認識に利用する検出情報を対象として、ステップS104より前のステップS102にて事前に実行してよい。
【0057】
図7のフローチャートを参照して、情報処理装置200が提供情報の出力に関連して実行する処理手順例について説明する。同図の処理は、1のユーザUに対応する提供情報のうち、所定の1つの解析項目(
図4)に対応する提供情報の出力に関連して実行される処理となる。
ステップS201:まず、解析部244は、ユーザ情報記憶部253が記憶するフィードバック設定情報のうちから、対象となるユーザのフィードバック設定情報を参照する。
ステップS202:解析部244は、ステップS201により参照したフィードバック設定情報に基づいて、今回において対象のユーザUに対応して、今回、解析部244が対象とすべき解析項目の解析に必要な検出情報の種別を判定する。解析部244は、検出情報記憶部251に記憶されている、対象のユーザに対応付けられている検出情報のうちから、解析に必要であると判定した種別の検出情報を取得する。
ステップS203:解析部244は、ステップS202により取得された検出情報を利用して解析を実行する。
ステップS204:解析部244は、ステップS203による解析結果を示す情報を、解析情報記憶部252に記憶させる。
ステップS205:情報出力部245は、提供情報を出力する。つまり、情報出力部245は、ステップS204により記憶された解析結果に基づいて、対象のユーザについての提供情報を生成する。情報出力部245は、生成した提供情報を、所定のユーザ端末装置400に送信する。ここで、情報出力部245は、ステップS201により参照したフィードバック設定情報において、今回解析の対象とされた解析項目に対応付けられた通知先情報により示されるユーザ端末装置400に対して提供情報を送信する。
【0058】
[提供情報出力の具体例]
(第1例)
図6及び
図7に示される処理によっては、情報処理装置200における解析部244は、例えば、ユーザUごとについて、健康状態、食事状態、ストレス状態、成長状態、美容状態等を解析することができる。そのうえで、情報出力部245は、健康状態、食事状態、ストレス状態、成長状態、美容状態等の解析結果を示す情報を提供情報として出力できる。また、情報出力部245は、上記の各種状態の解析結果に基づいて、状態を改善するための提案に関する情報を提供情報として出力できる。
【0059】
具体例の1つとして、父であるユーザU-1に関して、フィードバック設定情報について、健康状態として、特に生活習慣病に関する診断に応じた解析項目が設定された場合を例に挙げる。また、同じフィードバック設定情報における通知先情報が示す通知先は、例えば父であるユーザU-1本人のユーザ端末装置400-1として設定されている場合を例に挙げる。
【0060】
このようなフィードバック設定情報は、例えば父であるユーザU-1が自己の生活習慣病予防に意識的であったために、ユーザU-1自信が、ユーザ端末装置400-1や入出力装置300に対する操作を行うことによって設定することができる。あるいは、情報処理装置200が、ユーザU-1に対応して記憶されたユーザ情報におけるユーザプロフィールの情報において示される年齢層等の情報に基づいて、このようなフィードバック設定情報を設定してもよい。あるいは、情報処理装置200が、学習処理等に基づいて、これまでのユーザU-1に対応して得られた検出情報に基づいて判定した生活習慣が良質なものでないと判定したことに対応して、このようなフィードバック設定情報を設定してもよい。
【0061】
この場合、情報処理装置200の検出情報取得部241は、父であるユーザU-1であると認識された個人に対応して、体組成(体重、体脂肪率等)、心拍数、血圧計により測定された血圧、等の検出情報を解析に必要な検出情報として検出情報記憶部251に記憶させる。
また、この場合の検出情報取得部241は、生活習慣病予防のための食生活改善に対応して、ユーザU-1の食事を撮像した撮像画像も取得してよい。
【0062】
そのうえで、解析部244は、上記のように記憶された検出情報について解析を行い、例えば、生活習慣病としての症状の程度等について判定する。
また、解析部244は、食事の撮像画像を利用して、食事のメニュー内容、カロリー、栄養素バランス、水分量、塩分量等についても解析を行ってよい。本実施形態において、撮像画像として、例えば前述のようにデュアルカメラやラインセンサにより撮像されたものを利用したり、加工を行うなどして良質なものを得ることで、解析部244が行う食事の内容の特定等についての精度を高めることが可能になる。このような食事に関する解析結果は、例えば食生活の側面からの生活習慣病への影響を判定することができる。
情報出力部245は、解析部244の解析結果に基づいて、判定された症状の程度と、症状の程度に応じた改善提案の内容(食事内容等も含まれてよい)とを提示する提供情報を生成する。情報出力部245は、生成した提供情報を、対応のフィードバック設定情報における通知先情報が示す通知先である、ユーザU-1(父)のユーザ端末装置400-1に対して送信する。
ユーザU-1(父)は、受信された提供情報をユーザ端末装置400-1にて表示させ、表示された内容を確認することで、自分の症状や改善策などを手軽に知ることができる。
【0063】
(第2例)
また、例えばユーザU-1(父)などは、仕事などでストレスが与えられやすい環境にある。
そこで、具体例の1つとして、ユーザU-1(父)に対応するフィードバック設定情報として、ユーザU-1(父)のストレス状態の診断に関する解析項目を設定することができる。また、この場合のフィードバック設定情報における通知先情報としては、ユーザU-2(母)である場合を例に挙げる。つまり、この場合のフィードバック設定情報は、ユーザU-1(父)のストレス状態を、妻であるユーザU-2(母)が看視するという状況に対応して設定されたものである。
【0064】
この場合、情報処理装置200の検出情報取得部241は、ユーザU-1(父)であると認識された個人に対応して、ユーザU-1が含まれる撮像画像、ユーザU-1の音声信号、ユーザU-1について検出された心拍数、呼吸数等のように、ストレス状態の判定材料として利用する検出情報を検出情報記憶部251に記憶させる。
この場合、撮像画像については、ユーザU-1の顔画像から抽出される表情からストレス状態を判定できる。また、音声信号については、ユーザU-1の声の調子などからストレス状態を判定できる。また、心拍数、呼吸数等についての乱れの状態などによりストレス状態を判定できる。
【0065】
そのうえで、解析部244は、上記のように記憶された検出情報について解析を行い、ストレス状態を判定する。
情報出力部245は、解析部244の解析結果に基づいて、例えば判定されたストレス状態(さらにストレス解消のための対策を示す情報が含まれてよい)を示す提供情報を生成する。情報出力部245は、生成した提供情報を、対応のフィードバック設定情報における通知先情報が示す通知先である、ユーザU-2(母)のユーザ端末装置400-2に対して送信する。
ユーザU-1(母)は、受信された提供情報をユーザ端末装置400-2にて表示させ、表示された内容を確認することで、自分の夫であるユーザU-2(父)のストレス状態を手軽に把握することができる。
【0066】
(第3例)
また、家族において、親にとっては、子供の身体的成長が順調であるかどうかが気になる。そこで、具体例の1つとして、ユーザU-3(子供)に対応するフィードバック設定情報として、ユーザU-3(子供)の成長状態の診断に関する解析項目を設定することができる。また、この場合のフィードバック設定情報における通知先情報としては、親であるユーザU-1(父)及びユーザU-2(母)である場合を例に挙げる。
【0067】
この場合、情報処理装置200の検出情報取得部241は、ユーザU-3(子供)であると認識された個人に対応して、ユーザU-3が含まれる撮像画像、ユーザU-1の体重等のように、身体的成長の判定材料として利用する検出情報を検出情報記憶部251に記憶させる。この場合、解析部244は、撮像画像におけるユーザU-3の全身の画像に基づいて身長を推定できる。
【0068】
解析部244は、上記のように記憶された検出情報に基づいて推定した身長、体重と、過去において推定された身長、体重と、ユーザ情報におけるユーザプロフィールの情報が示す年齢等の情報に基づいて、ユーザU-3(子供)の成長に関する解析を行う。例えば、解析部244は、日数経過に応じた成長状態が順調であるかどうかを判定することができる。また、解析部244は、成長に関する解析と併せて、撮像画像に基づいてユーザU-3(子供)の食事に関する情報(メニュー内容、カロリー、栄養素バランス、水分量、塩分量、食事の摂取時間)等を判定し、成長の状態と関連付けてもよい。
【0069】
情報出力部245は、解析部244の解析結果に基づいて、子供の成長に関する情報を示す提供情報を生成する。情報出力部245は、生成した提供情報を、対応のフィードバック設定情報における通知先情報が示す通知先である、ユーザU-1(父)のユーザ端末装置400-1と、ユーザU-2(母)のユーザ端末装置400-2に対して送信する。
両親であるユーザU-1(父)とユーザU-1(母)は、受信された提供情報をユーザ端末装置400-1にて表示させ、表示された内容を確認することで、子供の成長の様子を手軽に確認できる。また、提供情報において、食事に関する内容が関連付けられて提示されている場合には、ユーザU-1(父)とユーザU-1(母)が、子供の成長に関連して、子供の食生活が適切かどうかを確認し、食生活を向上させることもできる。
【0070】
(第4例)
また、ユーザU-2(母)にとっては、自分に関する肌や体型等の美容に関して関心がある。そこで、本例としては、ユーザU-2(母)に対応して、美容に関する解析項目のフィードバック設定情報が設定されてよい。この場合のフィードバック設定情報における通知先情報が示す通知先は、例えばユーザU-2(母)のユーザ端末装置400-2である場合を例に挙げる。
【0071】
この場合の検出情報取得部241は、ユーザU-2(母)に対応する撮像画像、体重、体脂肪率などの検出情報を取得し、検出情報記憶部251に記憶させる。
解析部244は、記憶された検出情報における撮像画像を利用して、ユーザU-2(母)の肌の状態を判定する。また、解析部244は、記憶された検出情報における撮像画像、体重、体脂肪率等の情報を利用して、ユーザU-2(母)の体型に関する状態を判定する。このような体型に関する状態の判定のうちには、例えば年齢等に応じた標準体型(もしくは手動または自動で設定された目標体型)に対するユーザU-2(母)の体型の乖離度や、ユーザU-2(母)の日数経過に応じた変化等が含まれてよい。また、解析部244は、例えば、ユーザU-2(母)の食事の撮像画像から、ユーザの食事の内容(メニュー内容、カロリー、栄養素バランス、水分量、塩分量)等を認識し、認識した食事の内容を評価してよい。
そして、情報出力部245は、解析部244により判定された体型に関する情報や、食事の内容の評価結果や改善案等が反映された提供情報を生成し、生成された提供情報を、通知先情報が示すユーザU-2(母)のユーザ端末装置400-2に送信する。これにより、ユーザU-2(母)は、日常生活において、自分の美容に関する情報を手軽に得て、自分の美容を高めることに役立てることができる。
【0072】
(第5例)
また、ユーザU-4(祖父)に関しては、突然の体調不良や、転んで骨折などのけがを負ったことで、動けなくなってしまうようなことが心配される。そこで、1つの具体例として、ユーザU-4(祖父)が居住空間10において動けなくなった状態にあるかどうかの判定を解析項目とするフィードバック設定情報を設定してよい。また、このフィードバック設定情報における通知先情報においては、例えばユーザU-4(祖父)息子、娘にあたるユーザU-1(父)やユーザU-2(母)等のユーザ端末装置400-1、400-2等が通知先として設定される。
【0073】
この場合、検出情報取得部241は、ユーザU-4(祖父)が含まれる撮像画像、ユーザU-4(祖父)についての心拍数等をはじめとする生体情報としての検出情報を取得し、検出情報記憶部251に記憶する。
そのうえで、解析部244は、記憶された撮像画像としての検出情報を利用して、例えば、ユーザU-4についての異常の有無を判定する。例えば、ユーザU-4(祖父)がこれまで居住空間10内を移動していた状態から、床に横臥するような状態となり、この際の脈拍等の生体情報が異常であると判定された。このような場合、解析部244は、ユーザU-4(祖父)に異常が発生したと判定する。また、この際、解析部244は、撮像画像からユーザU-4(祖父)の顔の表情について、例えば苦しそうな表情、あるいは痛みを感じていそうな表情であるか否かについて判定した結果についても、ユーザU-4(祖父)に異常が発生したか否かの判定に利用してよい。
【0074】
解析部244によりユーザU-4(祖父)に異常が発生したと判定された場合、情報出力部245は、直ちに、通知先であるユーザU-1(父)及びユーザU-2(母)の各ユーザ端末装置400-1、400-2に対して、ユーザU-4(祖父)に異常が発生したことを通知する提供情報を送信する。ユーザU-1(父)及びユーザU-2(母)は、送信された提供情報としての通知を受けることで、迅速に対応することができる。
【0075】
(第6例)
また、例えばユーザU-3(子供)が未だ新生児、乳児などのような場合(この場合、ユーザU-3はユーザ端末装置400-3を所持しなくともよい)、ユーザU-3(子供)は泣き声、喃語、笑い声等により自分の欲求を外に伝えているといえる。例えば、このようなユーザU-3(子供)が泣く場合としては、例えばお腹が空いていたり、おむつがぬれていたり、抱っこしてもらいたいような場合を挙げることができる。
【0076】
そこで、ユーザU-3(子供)が新生児や乳児である場合、ユーザU-3(子供)に対応して、ユーザU-3(子供)の欲求の推定を解析項目とするフィードバック設定情報が設定されてもよい。このようなフィードバック設定情報における通知先情報は、母親であるユーザU-2のユーザ端末装置400-2を通知先として示すようにされてよい。さらには、家族における他の人員のユーザ端末装置400も通知先として示すようにされてよい。あるいは、この場合の通知先情報が示す通知先は、居住空間10において現在存在していることが確認されているユーザUのユーザ端末装置400とされてもよい。
【0077】
この場合、検出情報取得部241は、ユーザU-3(子供)の音声信号を検出情報として取得し、検出情報記憶部251に記憶させる。また、検出情報取得部241は、ユーザU-3(子供)の撮像画像も検出情報として取得し、検出情報記憶部251に記憶させてもよい。撮像画像の検出情報は、例えばユーザU-3(子供)の動きや表情などの解析を行って、欲求の推定に利用できる。
解析部244は、上記のように得られた検出情報を利用して、ユーザU-3(子供)の欲求を推定する。また、ユーザU-3(子供)の欲求に応じた声の出し方、表情、動き方等は、個人ごとにパターンが異なる。そこで、この場合の解析部244は、学習により、対象のユーザU-3(子供)に応じた欲求の判定を行うようにすることが好ましい。
情報出力部245は、解析部244により判定されたユーザU-3(子供)の欲求を通知する内容の提供情報を生成し、通知先のユーザ端末装置400に送信する。これにより、提供情報の通知を受けたユーザUは、ユーザU-3(子供)の欲求を把握するにあたり、自分が現在確認しているユーザU-3(子供)の状態に加え、情報提供システムにより提供された欲求についての推定結果を参考にして判断することができる。
【0078】
本実施形態の情報提供システムにおける提供情報の内容は、上記の各例のほかにも多様に考えられる。上記の各例において挙げられた提供情報は、広くはユーザの健康に関連する情報であるといえる。しかしながら、提供情報は、例えば、健康に関する以外の情報であってよい。例えば、ユーザUについて解析した行動パターン等に応じて判定される趣味や嗜好等に応じた内容の提供情報であってもよい。
【0079】
また、例えば居住空間10における温度、湿度、空気清浄度等の空間環境を測定するセンサ100を備え、これらのセンサ100によって検出された空間環境の測定結果も、ユーザUを対象とする解析に反映させてよい。
【0080】
また、上記の各例では、人であるユーザUを対象にして検出情報の取得、解析、提供情報の出力を行っている。しかしながら、例えば人以外のペット等の動物を対象にして検出情報の取得、所定の解析項目に対応する解析、提供情報の出力を行ってもよい。また、この場合のペットに対応するフィードバック設定情報の通知先情報によって示される通知先は、家族の人員のいずれかの1名以上のユーザUのユーザ端末装置400であればよい。
例えば、解析部244は、ペットとしての犬あるいは猫等の動物を対象とする場合、撮像画像や音声信号等の検出情報に基づいて、ペットの感情(飼い主に訴えたい内容)やペットの健康状態等を判定する。情報出力部245は、解析部244により判定されたペットの感情(飼い主に訴えたい内容)、あるいはペットの健康状態をユーザに知らせる内容の提供情報を生成し、ペットに対応するフィードバック設定情報の通知先情報により指定されたユーザ端末装置400に提供情報を送信してよい。
【0081】
なお、上記の例は、一定の空間が居住空間10であり、家族の居住する戸建てまたはマンション等の住宅に対応する場合について説明した。しかしながら、本実施形態における一定の空間は、例えば、社員寮やシェアハウス等であってもよい。また、一定の空間は、オフィスなどであってもよい。
【0082】
なお、上述の情報処理装置200、ユーザ端末装置400等としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の情報処理装置200、ユーザ端末装置400等としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【符号の説明】
【0083】
1 情報提供システム、10 居住空間、100(100-1~100-n) センサ、101 検出部、102 通信部、200 情報処理装置、201 センサ対応通信部、202 ネットワーク対応通信部、203 入出力インターフェース部、204 制御部、205 記憶部、241 検出情報取得部、242 検出情報加工部、243 個人認識部、244 解析部、245 情報出力部、251 検出情報記憶部、252 解析情報記憶部、253 ユーザ情報記憶部、254 検出解析履歴記憶部、300 入出力装置、400(400-1~400-n) ユーザ端末装置、401 通信部、402 制御部、403 記憶部、404 入力インターフェース部、405 出力インターフェース部、421 アプリケーション対応処理部