(58)【調査した分野】(Int.Cl.,DB名)
前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザの睡眠状態に応じたタイミングで、前記ユーザ情報に基づいて算出される睡眠状態に関する画像を前記プロジェクタに表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
前記制御手段は、前記ユーザ情報に基づいて特定されるタイミングである、前記ユーザが覚醒するタイミング、または、覚醒前のタイミングで、前記睡眠状態に関する画像を前記プロジェクタに表示させる、請求項4に記載の表示システム。
前記制御手段は、前記ユーザ情報に基づいて特定される、前記ユーザの覚醒に関するタイミングに応じて、前記プロジェクタへの電源供給を開始させる、請求項6に記載の表示システム。
前記制御手段は、ユーザの入眠を誘導する、および/または、覚醒を誘導するための画像を、前記ユーザの睡眠状態に応じて変化させて前記プロジェクタに投影表示させる、請求項1から請求項3のいずれか1項に記載の表示システム。
前記制御手段は、前記センサから前記ユーザ情報を逐次取得し、取得されたユーザ情報に応じて前記プロジェクタをリアルタイムに制御する、請求項1から請求項3のいずれか1項に記載の表示システム。
前記通信手段は、前記ユーザの健康に関する評価に応じたネットワークサービスを前記ユーザに対して提供するためのサービスデータを前記サーバから受信する、請求項3に記載の表示システム。
前記通信手段は、前記センサによって検出されたユーザ情報、および/または、当該ユーザ情報から算出される情報を前記サーバへ送信する、請求項3、請求項13、および請求項14のいずれか1項に記載の表示システム。
前記センサは、検出対象に向けて電波または音波を送出するとともに反射波を受信し、受信した結果に基づいて前記生体情報を出力する、請求項19に記載の表示システム。
前記補正手段は、前記プロジェクタによって投影表示される画像に対して、前記投影箇所の画像に基づいて、当該投影箇所の色を考慮した補正を行う、請求項21に記載の表示システム。
前記筐体は、前記携帯型の情報処理装置のディスプレイが前記前方を向くように当該携帯型の情報処理装置を支持する、請求項24または請求項25に記載の表示システム。
【発明を実施するための形態】
【0033】
[1.情報処理システムの構成]
以下、図面を参照して、本実施形態に係る情報処理システム、情報処理サーバ、情報処理プログラム、および情報処理方法について説明する。まず、本実施形態に係る情報処理システムの全体構成について説明する。
図1は、本実施形態における情報処理システムの構成の一例を示すブロック図である。
図1に示すように、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2およびサーバ3は、インターネットやモバイル通信網等のネットワーク4を介して互いに通信可能である。なお、
図1では端末システム2を1つのみ示すが、本実施形態においては、情報処理システム1は、ユーザ毎にそれぞれ設けられる複数の端末システムを含んでいる。
【0034】
端末システム2は、ユーザに関する各種の情報(後述する、健康情報、活動情報、環境情報、感情情報、および、嗜好情報)を算出し、サーバ3へアップロードする。本実施形態においては、1日を通じて(すなわち、ユーザの睡眠中においても覚醒中においても)適宜のタイミングで各種の情報が算出(生成)される。詳細は後述するが、ユーザの睡眠中においては、端末システム2は、例えばユーザの健康および/または身体に関する健康情報として、睡眠や疲労に関する情報を算出する。また、ユーザの覚醒中においては、端末システム2は、例えばユーザの活動に関する活動情報、ユーザの周囲の環境に関する環境情報、ユーザの感情に関する感情情報、および、ユーザの趣味嗜好(趣味、好み、興味のあるもの、生活スタイル等)に関する嗜好情報を算出する。
【0035】
サーバ3は、端末システム2からアップロードされた情報に基づいて、ユーザの生活の質(QOL(Quality Of Life))に関する評価を行う。詳細は後述するが、本実施形態においては、端末システム2は、ユーザの健康(疲労および睡眠を含む)、環境、および感情についての評価を行い、さらに総合評価としてQOLに関する評価を行う。さらに、サーバ3は、これらの評価結果に応じたネットワークサービスをユーザに対して提供する。本実施形態においては、サーバ3は、評価結果をユーザに提示したり、評価結果に応じたアドバイス情報やリコメンド情報(例えば商品を紹介する情報)やコンテンツ(例えば音楽)をユーザに提供したり、評価結果に応じて特典をユーザに付与したりする。
【0036】
なお、本明細書において、ユーザのQOLの評価のために、または、この評価に応じたネットワークサービスのために用いられる上記各種の情報を「QOL要素情報」と呼ぶことがある。すなわち、本実施形態においては、健康情報、活動情報、環境情報、感情情報、および、嗜好情報がQOL要素情報として算出される。
【0037】
以下、端末システム2の構成の一例について説明する。
図2は、端末システム2の詳細な構成の一例を示す図である。
図3は、端末システム2の外観の一例を示す図である。
図1〜
図3に示すように、端末システム2は、携帯端末5と、ベース装置6とを備える。携帯端末5はユーザによって携帯される。ベース装置6は、例えばユーザの自宅に配置される。
【0038】
本実施形態において、携帯端末5は、携帯型の情報処理装置であり、ベース装置6は、携帯端末5を接続可能なクレードルである。
図3に示すように、携帯端末5は、ベース装置6に対して着脱可能に接続することが可能である。詳細は後述するが、携帯端末5とベース装置6とが接続された場合、携帯端末5とベース装置6との通信が可能となる。また、ベース装置6は携帯端末5に対して充電を行う機能を有しており、携帯端末5とベース装置6とが接続された場合、ベース装置6による携帯端末5に対する充電が可能となる。
【0039】
なお、他の実施形態においては、携帯端末5とベース装置6とは、ケーブルを介して着脱可能に接続される形態であってもよい。また、他の実施形態においては、携帯端末5とベース装置6との通信は、電波通信や赤外線通信等の無線通信によって行われてもよい。
【0040】
まず、本実施形態における携帯端末5の構成について説明する。携帯端末5は、携帯型の情報処理装置であり、本実施形態においては、例えば、携帯電話、スマートフォン、またはタブレット端末等といった多機能デバイスである。すなわち、携帯端末5は、一般的な多機能デバイスが有する各種の機能(入力機能、出力(表示)機能、情報処理機能、ネットワーク通信機能、通話機能、カメラ機能等)のうちのいくつかを有している。なお、ネットワーク通信機能は、インターネットを介した通信機能、および/または、モバイル通信網を介した通信機能である。携帯端末5は、既製の多機能デバイスに所定の機能をインストールすることで実現されてもよい。本実施形態において、携帯端末5は、上記多機能デバイスとして用いられることに加えて、上記QOL要素情報を算出してサーバ3へ送信するために用いられる。また、携帯端末5は、例えば腕時計型あるいはメガネ型の端末のように、ユーザに装着可能な情報処理装置(いわゆるウェアラブル端末)であってもよい。
【0041】
図2に示すように、携帯端末5は通信部10を備える。通信部10は、ネットワーク4に接続して、サーバ3との通信を行う。本実施形態において、通信部10は、モバイル通信網(携帯電話通信網)に接続して通信を行う機能を有する通信モジュールである。例えば、通信部10は、3Gの通信規格、あるいは、4G(LTE(Long Term Evolution)を含む)の通信規格に準拠した通信方式で通信を行う。なお、携帯端末5がサーバ3と通信するための方法は、Wi−Fiの認証を受けた通信モジュールによって無線LANを介して通信を行う方法であってもよい。また、携帯端末5は、モバイル通信網を介してサーバ3と通信する機能と、無線LANを介してサーバ3と通信を行う機能との両方を備えていてもよい。
【0042】
携帯端末5は処理部11を備える。処理部11は、携帯端末5において実行される各種の情報処理を実行する。処理部11は、携帯端末5の各部10,12〜19に接続される。処理部11は、CPU(Central Processing Unit)およびメモリを有する。携帯端末5においては、CPUがメモリを用いて、携帯端末5に記憶された情報処理プログラムを実行することによって上記各種の情報処理が実行される。本実施形態においては、処理部11は、上記情報処理として、上述したQOL要素情報を算出する処理、および、サーバ3から受信した情報(例えば上記ネットワークサービスに関する情報)をユーザに提示する処理等を実行する。また、携帯端末5が多機能デバイスとして動作する場合、処理部11は、各機能を実現するための情報処理を実行する。
【0043】
携帯端末5は、入出力インターフェースを備え、ユーザが情報を入力したり閲覧したりするための情報処理装置(入出力端末)として機能する。具体的には、携帯端末5は、操作入力部12、ディスプレイ17、および、スピーカ18を備える。操作入力部12は、ユーザによる操作入力を受け付ける任意の入力装置である。本実施形態においては、操作入力部12は、ディスプレイ17上に設けられるタッチパネルと、ボタンとを含む。他の実施形態において、携帯端末5は、操作入力部12として、携帯端末5の姿勢を検出するためのセンサ(加速度センサやジャイロセンサ)を備えていてもよい。
【0044】
出力装置の一例であるディスプレイ17は、操作入力部12に対する入力に応じて携帯端末5において生成される各種の画像を表示したり、サーバ3から受信されたデータに基づく各種の画像(ネットワークサービスに関する画像)を表示したりする。出力装置の一例であるスピーカ18は、操作入力部12に対する入力に応じて携帯端末5において生成される各種の音を出力したり、サーバ3から受信されたデータに基づく各種の音(ネットワークサービスに関する音声や音楽)を出力したりする。
【0045】
携帯端末5は、上記QOL要素情報を算出するための情報を検出(取得)するセンサを備える。本実施形態においては、携帯端末5は、位置検出部13、環境センサ14、マイク15、および、カメラ16を備える。
【0046】
位置検出部13は、携帯端末5の位置を検出する。本実施形態においては、位置検出部13は、GNSS(Global Navigation Satellite System)を用いて位置を検出する。位置検出部13は、例えばGPS(Global Positioning System)センサ(GPSモジュール)である。なお、位置検出部13における位置検出方法は任意であり、位置検出部13は、例えばビーコンを用いて位置を検出してもよい。また例えば、位置検出部13は、気圧センサの検出結果に基づいて高度の変化を算出することで、ユーザの高度を示す情報(例えばビルの何階にいるかを示す情報)を算出してもよい。
【0047】
環境センサ14は、携帯端末5の周囲の環境を検出する。本実施形態においては、環境センサ14は、温度センサおよび湿度センサを含む。なお、他の実施形態においては、環境センサ14として、気圧センサ、照度センサ、騒音センサ、においセンサ等が含まれていてもよい。すなわち、環境センサ14は、温度、湿度、照度、気圧、音、およびにおいのうち少なくとも1つを検知するものであってもよい。また、他の実施形態においては、マイク15が周囲の騒音を検出するためのセンサとして用いられてもよい。
【0048】
マイク15は、携帯端末5の周囲の音を検出する。詳細は後述するが、本実施形態においては、マイク15は、感情情報を算出するために用いられる。なお、マイク15は、携帯端末5に対する音声入力を受け付けるために用いられてもよい。
【0049】
カメラ16は、ユーザを撮像し、撮像された画像を用いて感情情報を算出するために用いられる(詳細は後述する)。本実施形態においては、カメラ16は、携帯端末5においてディスプレイ17が設けられる面と同じ側(内側)に設けられる(
図3参照)。つまり、カメラ16は、携帯端末5を操作するユーザを撮像することが可能な位置に設けられる。
【0050】
携帯端末5は、ベース装置6と電気的に接続するためのコネクタ19を備える。本実施形態においては、携帯端末5がベース装置6に装着された場合(
図3参照)に、コネクタ19がベース装置6のコネクタ21と接触する。これによって、携帯端末5とベース装置6との通信が可能となる。
【0051】
なお、携帯端末5は、図示しない電池を備えており、携帯端末5の各部は、電池から供給される電力によって動作する。詳細は後述するが、本実施形態においては、ベース装置6によって携帯端末5の電池を充電することが可能である。
【0052】
次に、本実施形態におけるベース装置6の構成について説明する。本実施形態においては、ベース装置6は、例えばユーザの寝室に配置され(
図5参照)、ユーザの就寝中においてユーザの睡眠に関する生体情報を検出するために用いられる。ここで、生体情報は、ユーザの身体から検出される情報である。本実施形態においては、呼吸、脈拍、および体動が生体情報として取得される。また、ベース装置6は、就寝中におけるユーザに対してコンテンツ(例えば、ユーザに入眠を促すコンテンツ)や情報(睡眠に関する評価結果の情報)を提示するために用いられる。
【0053】
ベース装置6は、携帯端末5を着脱可能に支持する支持部を備える。具体的には、
図3に示すように、ベース装置6の筐体(支持部)には、携帯端末5の一部の形状に応じた凹部が設けられる。この凹部に携帯端末5が挿入されることによって、携帯端末5がベース装置6に装着される。
【0054】
図2に示すように、ベース装置6はコネクタ21を備える。上記凹部に携帯端末5が挿入された場合、携帯端末5のコネクタ19とベース装置6のコネクタ21とが接続される。その結果、携帯端末5とベース装置6との通信が可能となり、ベース装置6による携帯端末5に対する充電が可能となる。
【0055】
ベース装置6は、生体情報を検出するセンサの一例であるドップラーセンサ24を備える。ドップラーセンサ24は、マイクロ波を発射するとともに、発射したマイクロ波の反射波を受信することによって、発射したマイクロ波の周波数と受信したマイクロ波の周波数との差に基づいて動体を検出する。本実施形態においては、ドップラーセンサ24(の出射部24a)は、ベース装置6の前方に向かって電波を照射する(
図3参照)。本実施形態においては、ドップラーセンサ24の検出対象はユーザであり、ドップラーセンサ24によってユーザの体動を検出する。詳細は後述するが、検出される生体情報(ドップラーセンサ24の出力波形)に対して周波数分析等の解析を行うことで、体動の他、呼吸および脈拍といった生体情報をさらに算出することができる。
【0056】
ベース装置6は、外部電源から電力を取得する電力取得部23を備える。本実施形態において、ベース装置6は、図示しない電源コードを介してACアダプタおよび電源プラグに接続(着脱可能でもよい)されている。電源プラグが外部電源のコンセントに接続されることによって、ベース装置6の電力取得部23に電力が供給される。ベース装置6は、電力取得部23によって取得される、外部電源からの電力によって動作する。また、電力取得部23は、供給された電力をコネクタ21を介して携帯端末5へ送ることで携帯端末5の充電を行う。なお、他の実施形態においては、ベース装置6は、電池を有していてもよく、電池に充電された電力を携帯端末5へ送るようにしてもよい。また、本実施形態においては、コネクタを介して電力が供給される態様で充電が行われたが、他の実施形態においては、非接触充電によって電力が供給されてもよい。
【0057】
ベース装置6は、壁面(天井を含む)やスクリーンに画像を投影するプロジェクタ25を備える。プロジェクタ25は、ベース装置6から離れた面(凹凸があってもよい)に画像を投影することで当該面に画像を表示する任意の表示装置でよい。本実施形態においては、
図3に示すように、プロジェクタ25は、投光部(レンズ)25aが上方を向くように、すなわち、上方に向かって画像が投影されるようにベース装置6に設けられる。つまり、本実施形態においては、プロジェクタ25は、天井に画像を投影する。本実施形態においては、プロジェクタ25は、例えば、ユーザに入眠や覚醒を促す画像(後述する入眠用コンテンツ等)を表示したり、ユーザが朝に覚醒した時に睡眠の評価結果を示す画像を表示したりする。
【0058】
本実施形態においては、ベース装置6は、天井に投影する画像を、必要に応じて、いわゆるプロジェクションマッピングの技術を用いて補正する。すなわち、ベース装置6は、プロジェクタ25の投影面(天井)の凹凸および/または色に応じた画像が表示されるように当該画像を補正する。そのため、ベース装置6は、画像の補正を行うためのカメラ27を備える。
図3に示すように、カメラ27は、プロジェクタ25によって画像が投影される場所を撮像範囲に含むような向きでベース装置6に設けられる。つまり、カメラ27は、プロジェクタ25と同じ方向(上方)を向くように設けられる。なお、画像を補正する方法については後述する。
【0059】
また、ベース装置6はスピーカ26を備える。スピーカ26は、例えば、ユーザに入眠や覚醒を促す音(後述する入眠用コンテンツ等)を出力するために用いられる。
【0060】
ベース装置6は、ベース装置6の各部23〜27を制御する制御部22を備える。制御部22は、ベース装置6の各部21,23〜27に接続される。制御部22は、ベース装置6において実行される各種の制御処理を実行する。制御部22は、CPU(Central Processing Unit)およびメモリを有する。ベース装置6においては、CPUがメモリを用いて、ベース装置6に記憶された情報処理プログラムを実行することによって上記各種の制御処理が実行される。例えば、制御部22は、電力取得部23を制御することによって、携帯端末5に対する充電動作を制御する。また、制御部22は、ベース装置においてユーザに提示するコンテンツや情報を、プロジェクタ25および/またはスピーカ26に再生させる。また、制御部22は、ドップラーセンサ24によって検出された情報を携帯端末5へ送信する。
【0061】
なお、ベース装置6は、
図2に示す構成に加えて、または代えて、他の構成を備えていてもよい。例えば、ベース装置6は、環境センサ、ディスプレイ、無指向性スピーカ、光源(照明)、および、におい発生装置等を備えていてもよい(後述する“[8.変形例]”参照)
【0062】
次に、サーバ3の構成について説明する。サーバ3は、1以上の情報処理装置(サーバ装置)で構成される。本明細書では、「サーバ」とは、1つの情報処理装置(サーバ装置)を指す他、サーバが複数のサーバ装置によって構成される場合にはサーバ装置群(サーバシステム)全体を指す意味である。
【0063】
本実施形態においては、サーバ3を一体的な構成として説明するが、サーバ3は、機能および/または役割に応じて分けられた複数のサーバ装置を含む構成であってもよい。例えば、サーバ3は、携帯端末5から取得されるQOL要素情報を蓄積するデータサーバと、QOL要素情報に基づいて評価を行い、ネットワークサービスを提供するサービスサーバとを含む構成であってもよい。さらに、サーバ3は、上記ネットワークサービスの一環として商品等(「商品等」とは、商品の他に、サービスを含む意味である。以下同様に記載する。)を提供するサービスを行う場合、商品等の提供と課金とを行うショップサーバを含む構成であってもよい。
【0064】
[2.情報処理システムの動作概要]
次に、情報処理システム1における動作の概要について説明する。
図4は、情報処理システムの動作の流れの一例を示すタイミングチャートである。
図4のタイミングチャートは、1日における情報処理システムの動作の流れの一例を示している。
図4に示すように、本実施形態においては、情報処理システム1は、夜間(ユーザが睡眠中である期間)と昼間(ユーザが覚醒中である期間)とで異なる態様で利用される。
【0065】
睡眠期間(典型的には夜)においては、携帯端末5がベース装置6に装着された状態にされる。このとき、ベース装置6は、ドップラーセンサ24によってユーザの生体情報を検出し、自身に接続されている携帯端末5へ生体情報を送信する(ステップS1)。睡眠期間において生体情報はベース装置6によって繰り返し検出され、携帯端末5へ繰り返し送信される。なお、
図4では図示しないが、睡眠期間においてベース装置6は、情報および/またはコンテンツをプロジェクタ25等を用いてユーザに提示する処理を実行する。
【0066】
携帯端末5は、ベース装置6から取得された生体情報に基づいて、ユーザの睡眠に関する情報(睡眠情報)を算出する(ステップS2)。詳細は後述するが、睡眠情報は、睡眠に関する指標(睡眠指標)を含む。睡眠指標は、例えば、睡眠時間、睡眠潜時、中途覚醒時間、および、睡眠効率等を示す数値である。
【0067】
また、適宜のタイミングにおいて、携帯端末5は、睡眠情報に応じた動作、換言すれば、ユーザの睡眠状態に応じた動作を行う。詳細は後述するが、例えば、携帯端末5は、ユーザが入眠したことに応じて自身の動作モードをオフモードにし、ユーザが覚醒したことに応じて動作モードをオンモードにする。また例えば、携帯端末5は、ベース装置6におけるコンテンツの再生を睡眠状態に応じて制御したり、ベース装置6によってユーザに対して提示される情報を睡眠状態に応じて制御したりする。
【0068】
また、携帯端末5は、上述のQOL要素情報として、ベース装置6から取得された生体情報に基づいて健康情報を算出する(ステップS3)。本実施形態においては、携帯端末5は、健康情報として、上記の睡眠情報と、疲労情報とを含む情報を算出する。疲労情報は、ユーザの疲労に関する疲労指標を含む。詳細は後述するが、疲労指標は、睡眠指標を考慮して算出され、ユーザの疲労度合いを示す数値として算出される。本実施形態においては、ユーザが覚醒したことに応じて(つまり、睡眠期間が終了したことに応じて)健康情報が算出される。
【0069】
健康情報が算出されると、携帯端末5は、算出された健康情報をサーバ3へ送信する。サーバ3は、受信した健康情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。
【0070】
上記のように、睡眠期間においては、端末システム2は、睡眠中のユーザから生体情報を取得し、健康情報(睡眠および疲労に関する指標)を算出する。算出された健康情報はサーバ3に記憶される。
【0071】
一方、覚醒期間(典型的には昼)においては、携帯端末5は、ベース装置6から外され、ユーザに携帯される。このとき、携帯端末5は、上述のQOL要素情報として、活動情報、環境情報、感情情報、および、嗜好情報を算出する(ステップS5)。なお、
図4においては、QOL要素情報を算出する処理(ステップS5)を1回のみ記載している。ただし、通常、当該処理は、覚醒期間における適宜のタイミングで実行され、1回(1日)の覚醒期間において複数回実行される。つまり、本実施形態において、QOL要素情報は、覚醒中におけるユーザの種々の行動に応じて算出される。例えば、ユーザが歩いて移動を行ったことに応じて、活動内容(徒歩で移動したこと)を示す活動情報が算出されたり、移動中の環境を示す環境情報が算出されたりする。また例えば、ユーザが仕事で会議に参加したことに応じて、会議中のユーザの感情を示す感情情報が算出される。また例えば、ユーザが仕事帰りにスポーツジムに立ち寄ったことに応じて、運動に興味があることを示す嗜好情報が算出される。
【0072】
携帯端末5は、算出されたQOL要素情報をサーバへ送信する(ステップS6)。なお、携帯端末5は、QOL要素情報が算出される度にサーバ3へ送信してもよいし、所定のタイミングが到来したことに応じて複数のQOL要素情報をまとめてサーバ3へ送信してもよい。サーバ3は、受信したQOL要素情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。
【0073】
サーバ3は、携帯端末5から取得したQOL要素情報に基づく評価を行う(ステップS7)。この評価は、夜間(睡眠期間)に取得された健康情報と、昼間(覚醒期間)に取得された活動情報、環境情報、および感情情報とに基づいて行われる。本実施形態においては、サーバ3は、QOL指標を判別するための要素指標として、健康情報および活動情報に基づく健康指標と、環境情報に基づく環境指標と、感情情報に基づく感情指標とを算出する(後述する
図10参照)。さらに、サーバ3は、これら3つの要素指標に基づいてQOL指標を算出する。各指標の算出方法の詳細については後述する。このように、サーバ3は、ユーザの健康、環境、および感情に関する評価を行い、これらの評価結果に基づいてユーザのQOLに関する評価を行う。
【0074】
さらに、サーバ3は、評価結果に応じたネットワークサービスを提供する。すなわち、サーバ3は、評価結果に基づいて、提供すべきサービス内容を特定し(ステップS8)、特定されたサービスに関するデータ(サービスデータ)を携帯端末5へ送信する(ステップS9)。
【0075】
ここで、提供されるネットワークサービスの内容は任意である。本実施形態においては、サーバ3は、端末システム2(携帯端末5)に対して、評価結果に応じたアドバイス情報および/またはリコメンド情報を提供する。アドバイス情報とは、評価結果を示す各種指標(QOL指標等)を改善するためのアドバイスを含む情報である。また、リコメンド情報とは、評価結果を示す各種指標を改善するためにユーザに勧められる商品等を紹介する情報である。
【0076】
また、サーバ3は、ネットワークサービスとして、端末システム2(携帯端末5)に対して、評価結果に応じたコンテンツを提供する。このコンテンツは、例えば、評価結果を示す各種指標を改善するためのコンテンツであって、具体的には、不眠を改善するための音楽や、ストレスを解消するための動画等である。
【0077】
また、サーバ3は、ネットワークサービスとして、端末システム2(携帯端末5)のユーザに対して、評価結果に応じた特典を付与する。この特典は、ネットワークサービスに関する特典であってもよいし、携帯端末5に関する特典であってもよい。例えば、特典は、ネットワークサービスに関してユーザが支払うべき料金に関する特典、具体的には、上記リコメンド情報で紹介される商品等を購入する際に利用できるポイントであってもよい。また、特典は、携帯端末5の利用に関してユーザが支払うべき料金に関する特典、すなわち、携帯端末5の利用料金(例えば、通話料金)の割引き特典であってもよい。
【0078】
本実施形態においては、サーバ3による評価処理(ステップS7)およびサービス提供処理(ステップS8,S9)は、1日における所定のタイミングで実行される。具体的には、所定の時刻が到来したタイミングで実行される。この所定の時刻は、サーバ3側で予め設定されてもよいし、携帯端末5のユーザが予め指示した時刻に設定されてもよい。なお、他の実施形態においては、上記所定のタイミングは、ユーザの活動に基づいて特定されてもよい。例えば、上記所定のタイミングは、ユーザが帰宅したタイミングであってもよいし、ユーザが職場から退社するタイミングであってもよい。なお、これらのタイミングは、例えば活動情報に基づいて特定することができる。
【0079】
以上のように、本実施形態においては、情報処理システム1は、睡眠中のユーザに関して健康情報を算出し(ステップS3)、覚醒中のユーザに関して活動情報、環境情報、感情情報、および嗜好情報を算出する(ステップS5)。そして、情報処理システム1は、これらのQOL要素情報に基づいてユーザのQOLを評価する(ステップS7)。これによれば、1日を通じてユーザに関する各種の情報を算出するので、1日を通じたユーザの状態や行動を反映してユーザのQOLを評価することができる。
【0080】
[3.睡眠期間における端末システムの動作]
(3−1:動作例)
次に、睡眠期間における端末システムの動作例について説明する。
図5は、端末システム2が配置される様子の一例を示す図である。
図5に示すように、本実施形態において、ベース装置6は、ユーザの寝室に配置される。ベース装置6は、ユーザの周囲(枕元等)に配置される。また、
図5に示すように、睡眠期間においては、携帯端末5がベース装置6に装着される。つまり、ユーザは、就寝時に携帯端末5をベース装置6に装着する。これに応じて、睡眠期間における端末システム2における動作が開始される(
図6参照)。
【0081】
なお、本実施形態においては、ベース装置6が携帯端末5を充電する機能を有している。これによって、携帯端末5をベース装置6に装着する動機付けをユーザに与えることができるので、携帯端末5のベース装置6への装着をユーザが忘れる可能性を低減することができる。
【0082】
図6は、睡眠期間における端末システム2の動作の一例を示す図である。携帯端末5がベース装置6に装着されると、ベース装置6は携帯端末5に対する充電を開始する。なお、図示しないが、ベース装置6は、携帯端末5の電池が容量まで充電されたことに応じて充電動作を終了する。また、ベース装置6に対する携帯端末5の装着時点において、携帯端末5における電池残量が所定量(例えば、電池の容量の半分)以上である場合には、ベース装置6は充電を行わないようにしてもよい。本実施形態においては、ユーザは、充電を行う目的以外の目的(例えば、生体情報の検出を行う目的)で携帯端末5をベース装置6に装着することがあるからである。例えば、携帯端末5は、ベース装置6に装着されたことに応じて電池残量をベース装置6に通知し、ベース装置6は、通知された電池残量に基づいて充電の要否を判断してもよい。あるいは、携帯端末5は、ベース装置6に装着されたことに応じて、電池残量に基づいて充電の要否を判断し、充電の要否をベース装置6に通知するようにしてもよい。
【0083】
また、ベース装置6に対する携帯端末5の装着時点において、ベース装置6は、ドップラーセンサ24による検出動作を開始する(
図6参照)。ドップラーセンサ24による検出結果は携帯端末5へ送信される。携帯端末5は、検出結果に基づいて生体情報(ユーザの体動、呼吸および脈拍)を算出し、さらに、生体情報に基づいて睡眠指標を算出する(詳細は後述する)。ドップラーセンサ24による検出動作、および、検出結果に基づく睡眠指標の算出処理は、睡眠期間中繰り返し実行される。本実施形態においては、ドップラーセンサ24による検出動作は、ユーザが検出されなくなるまで繰り返し実行される。また、睡眠指標の算出処理は、ユーザが覚醒するまで繰り返し実行される。
【0084】
詳細は後述するが、携帯端末5は、ユーザの睡眠に関する状態を表す睡眠指標をリアルタイムで算出する。具体的には、携帯端末5は、少なくとも、ユーザが睡眠中であるか覚醒中であるかと、睡眠の深さとをリアルタイムで判別することができる。なお、上記「リアルタイムで算出(判別)する」とは、厳密な意味で即時に算出(判別)することに限らず、数秒程度の遅れを生じて算出(判別)することをも含む意味である。
【0085】
上記のように、本実施形態では、端末システム2は、ユーザがセンサを装着しない状態で生体情報を検出可能な、非装着型のセンサ(ドップラーセンサ24)を用いるので、ユーザの邪魔にならず(ユーザは睡眠を妨げられることなく)生体情報を検出することができる。
【0086】
また、ベース装置6に対する携帯端末5の装着時点において、ベース装置6は、プロジェクタ25およびスピーカ26を用いて入眠用コンテンツの再生を開始する(
図6参照)。入眠用コンテンツは、ユーザに入眠を促すためのコンテンツであり、換言すれば、ユーザに入眠を促す効果のあるコンテンツである。例えば、入眠用コンテンツは、星空の画像、川のせせらぎの音等である。本実施形態においては、入眠用コンテンツは、画像(動画)および/または音によるコンテンツである。なお、ベース装置6は、プロジェクタ25を用いてまずメニュー画像を表示し、再生するコンテンツをメニュー画像においてユーザが選択できるようにしてもよい。
【0087】
なお、睡眠期間中に端末システム2(ベース装置6)において再生されるコンテンツ(例えば、入眠用コンテンツ)は、当該睡眠期間に算出される生体情報(脈拍、呼吸等)および/または睡眠指標に基づいて決定されてもよい。例えば、端末システム2は、再生すべきコンテンツとして、生体情報である脈拍または呼吸のテンポに合ったテンポの音楽を決定してもよい。また例えば、端末システム2は、睡眠指標から睡眠時の理想的なリズムを特定し、ユーザの脈拍または呼吸のリズムを、特定されたリズムに誘導するような音楽(例えば、当該リズムに合ったテンポの音楽)を、再生すべきコンテンツとして決定してもよい。また、上記生体情報および/または睡眠指標に基づいて上記コンテンツの再生が制御されてもよい。例えば、端末システム2は、再生される音楽のテンポを、脈拍あるいは呼吸のテンポに合ったテンポに変更して再生してもよいし、睡眠時の理想的なリズムに合ったテンポに変更して再生してもよい。このとき、再生されるコンテンツ(音楽)のテンポは、逐次検出される脈拍または呼吸のテンポに応じて(あるいは、逐次算出される睡眠指標に基づいて逐次算出される理想的なリズムに応じて)リアルタイムに変更されてもよい。
【0088】
本実施形態においては、
図5に示すように、プロジェクタ25は、画像(入眠用コンテンツ)を天井に投影する。したがって、ユーザは寝ている状態で容易に画像を見ることができる。
【0089】
上記のように、ベース装置6に対する携帯端末5の装着に応じて、端末システム2はユーザの睡眠状態を判別することができる。本実施形態においては、端末システム2は、ユーザの睡眠状態に応じた種々の動作を行う。以下、これら種々の動作の具体例を説明する。
【0090】
(携帯端末5のモードオフ変更)
本実施形態においては、ユーザが入眠する(睡眠状態に移行する)と、携帯端末5の動作モードが変更される(
図6参照)。すなわち、ユーザが入眠すると、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが睡眠状態に入ったことを判別する。これに応じて、携帯端末5は、自身の動作モードをオンモードからオフモードへと変更する。
【0091】
ここで、オンモードは、上述した活動情報、環境情報、感情情報、および、嗜好情報の算出処理が実行されるモードである。また、オンモードは、携帯端末5が多機能デバイスとして動作するモードであると言うこともできる。ユーザの覚醒中においては、携帯端末5のモードは、基本的には(ユーザがモードを変更する操作を行わない限り)オンモードに設定される。
【0092】
一方、オフモードは、上述した活動情報、環境情報、感情情報、および、嗜好情報の算出処理が実行されないモードである。このように、オフモードにおいて、睡眠期間中に不要な処理を実行しないようにすることで、消費電力を低減することができる。なお、オフモードにおいて、サーバ3に対する通信機能は停止されなくてもよいし、停止されてもよい。
【0093】
また、オフモードにおいては、多機能デバイスとしての機能のうちいくつかの機能が停止される。本実施形態においては、オフモードにおいては、電話および電子メール(いずれか一方でもよい)における着信を音によって通知する機能が停止される。これによれば、携帯端末5の音によってユーザの睡眠を妨げる可能性を低減することができる。例えば、オフモードにおいては、携帯端末5は、電話着信があった場合には着信音を発せずに、留守番電話のメッセージが相手側に流れるようにし、また、メール着信があった場合には着信音を発しないようにする。
【0094】
(入眠用コンテンツの再生制御)
また、ユーザが睡眠状態に入ったことが携帯端末5によって判別されたことに応じて、端末システム2は、入眠用コンテンツの再生態様を変化させる(
図6参照)。具体的には、端末システム2は、プロジェクタ25による画像表示(投影)を停止する。睡眠中においては、プロジェクタによる画像表示は不要であるからである。このとき、端末システム2は、プロジェクタ25への電源供給を停止してもよい。また、端末システム2は、スピーカ26による出力音量を減少させる。睡眠中においては、入眠用コンテンツの音を出力する目的および効果は小さい(あるいは無い)からである。ただし、急に音を停止すると、ユーザがそれに気づいて目を覚ます可能性を考慮して、本実施形態においては、出力音量を徐々に小さくするようにしている。なお、他の実施形態において、端末システム2は、スピーカ26による音出力を停止してもよい。
【0095】
さらにその後、ユーザの眠りが深くなる(例えばノンレム睡眠の状態になる)と、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザの眠りの深さが所定の基準以上になったことを判別する。これに応じて、端末システム2は、入眠用コンテンツの再生を停止する(
図6参照)。これによって、効果の小さいコンテンツ再生を停止することができ、電力消費を抑えることができる。
【0096】
(中途覚醒時の情報提示)
本実施形態においては、睡眠途中でユーザが覚醒(中途覚醒)すると、端末システム2は、現在時刻をユーザに提示する(
図6参照)。すなわち、睡眠途中でユーザが覚醒した場合、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが中途覚醒したことを判別する。これに応じて、端末システム2は、プロジェクタ25を用いて(天井に)現在時刻を表示する。これによれば、ユーザは夜中に目を覚ました時、即座に現在時刻を知ることができる。また、本実施形態においては、天井に現在時刻が表示されるので、ユーザは寝た状態のままで現在時刻を知ることができる。
【0097】
なお、睡眠途中の覚醒(中途覚醒)であるか、それとも、起床時の覚醒(「中途覚醒」と区別して「起床時覚醒」と呼ぶことがある。)であるかの判定は、例えば判定基準時刻を設定しておくことによって行うことができる。すなわち、端末システム2は、ユーザが覚醒したことが判定基準時刻よりも前に判別された場合には、中途覚醒であると判定し、ユーザが覚醒したことが判定基準時刻以後に判別された場合には、起床時覚醒であると判定することができる。ここで、判定基準時刻は、ユーザが起床すると予測される時刻(起床予測時刻)に基づいて設定することができる。例えば、端末システム2は、起床予測時刻の所定時間前(例えば、2時間前)の時刻を判定基準時刻として設定してもよい。また、起床予測時刻は、過去のユーザの起床時刻(起床時覚醒の時刻)に基づいて算出されてもよいし、ユーザによって設定されてもよい。また、端末システム2(携帯端末5)に対してユーザが目覚ましの時刻を設定している場合には、当該時刻が起床予測時刻として設定されてもよい。
【0098】
(覚醒用コンテンツの再生制御)
本実施形態においては、起床予測時刻に近くなってユーザの眠りが浅くなった(例えばレム睡眠の状態になった)場合、端末システム2は、覚醒用コンテンツの再生を開始する(
図6参照)。具体的には、上記の場合、携帯端末5は、上記睡眠指標を算出する処理によって、ユーザが覚醒前の状態に入ったことを判別する。なお、ユーザが覚醒前の状態に入ったことの判別は、例えば、眠りが浅くなり、かつ、起床予測時刻まで所定時間(例えば1時間)以内となったことによって行うことができる。ユーザが覚醒前の状態に入ったことが判別されたことに応じて、端末システム2は、覚醒用コンテンツの再生を開始する。覚醒用コンテンツは、ユーザに覚醒を促すためのコンテンツであり、換言すれば、ユーザに覚醒を促す効果のあるコンテンツである。例えば、覚醒用コンテンツは、明るい青空の画像や、鳥のさえずる音等である。本実施形態においては、覚醒用コンテンツは、画像(動画)および/または音によるコンテンツである。覚醒用コンテンツの再生によって、適切なタイミングで快適に目覚めることをユーザに促すことができる。
【0099】
(覚醒時における評価結果の提示)
本実施形態においては、ユーザが覚醒(起床時覚醒)すると、ユーザの睡眠に対する評価が行われ、評価結果が提示される(
図6参照)。具体的には、上記“(中途覚醒時の情報提示)”で述べた方法によって起床時覚醒であることを携帯端末5が判別した場合、端末システム2は、今回の睡眠期間に関する(複数の)睡眠指標に基づいてユーザの睡眠の評価を行う。なお、「今回の睡眠期間に関する睡眠指標」とは、今回の睡眠期間に検出された生体情報に基づいて算出された睡眠指標を指す。端末システム2は、評価結果を表す画像をプロジェクタ25を用いて天井に表示する。
【0100】
図7は、プロジェクタによって投影される、評価結果を表す画像の一例を示す図である。本実施形態においては、端末システム2は、上記評価結果として快眠指数を算出する。すなわち、
図7に示すように、端末システム2は、睡眠情報に基づいて算出される快眠指数31を表示する。例えば、快眠指数は、0点から100点の範囲で、評価結果が良いほど(睡眠の質が良いほど)数値が高くなるように算出される。より具体的には、快眠指数は、所定の1種類以上の睡眠指標に対して指標毎に重みを付して加算することによって算出されてもよい。評価結果が数値(スコア)として表示されることによって、睡眠の質をわかりやすくユーザに提示することができる。
【0101】
また、端末システム2は、評価結果を表す顔画像32を表示する(
図7参照)。顔画像32は、上記快眠指数に応じて表示形態(具体的には、顔の表情)が変化するように表示される。例えば、快眠指数が中程度である場合は、通常の表情を表す顔画像が表示され、快眠指数が相対的に高い(評価結果が良い)場合は、笑顔の表情を表す顔画像が表示され(
図7参照)、快眠指数が相対的に低い(評価結果が悪い)場合は、疲れた表情を表す顔画像が表示される。このような顔画像32が評価結果として表示されることによって、評価結果を直感的にユーザに認識させることができる。
【0102】
なお、端末システム2は、上記評価結果として、例えば睡眠時間や睡眠潜時等のような、睡眠指標の数値そのものを表示してもよい。また、評価結果として必ずしも数値が表示される必要はなく、例えば上記顔画像32のみが評価結果として表示されてもよい。
【0103】
また、端末システム2は、評価結果に応じたアドバイスを表すアドバイス情報33を表示する(
図7参照)。アドバイス情報33は、睡眠の質を改善するためのアドバイスを表す。アドバイス情報33は、睡眠情報、および/または、睡眠指数に基づいて生成される。例えば、睡眠指数の大きさ(数値の大きさ)に応じて異なる内容のアドバイス情報が表示されてもよい。また例えば、睡眠時間、睡眠潜時、および中途覚醒時間といった各種の睡眠指標に基づいてアドバイス情報の内容が決定されてもよい。また、他の実施形態においては、アドバイス情報33に代えて(またはアドバイス情報33とともに)、リコメンド情報が表示されてもよい。
【0104】
なお、他の実施形態においては、評価結果の情報がプロジェクタ25によって投影表示されるとともに、携帯端末5のディスプレイ17に、プロジェクタ25によって投影表示される情報とは異なる他の情報が表示されてもよい。例えば、ディスプレイ17には、評価結果から算出される情報が表示されてもよい。「評価結果から算出される情報」とは、例えば、評価結果である睡眠指数の統計情報(例えば、過去1週間の睡眠指数の変化を示す情報)であってもよいし、評価結果に基づくネットワークサービスに関する情報(例えば、上記アドバイス情報やリコメンド情報)であってもよい。
【0105】
(携帯端末5のモードオン変更・健康情報送信)
本実施形態においては、ユーザが覚醒(起床時覚醒)すると、携帯端末5の動作モードがオンモードに変更される(
図6参照)。すなわち、上記“(中途覚醒時の情報提示)”で述べた方法によって起床時覚醒であることを携帯端末5が判別した場合、自身の動作モードをオフモードからオンモードへと変更する。これによって、ユーザの覚醒中においては、携帯端末5は自動的にオンモードに維持されるので、ユーザは携帯端末5を支障なく利用することができる。
【0106】
また、ユーザが覚醒(起床時覚醒)すると、携帯端末5は、睡眠情報(睡眠指標)に基づいて健康情報を算出し、健康情報をサーバ3へ送信する(
図6参照)。ここで算出される健康情報は、睡眠情報と、睡眠情報から算出される疲労情報(疲労指標)とを含む。疲労指標の算出方法については後述する。
【0107】
以上のように、本実施形態においては、端末システム2は、ユーザの睡眠期間において、ユーザの睡眠状態に応じた種々の動作を行う。睡眠期間が終了する(ユーザが覚醒する)と、ユーザは移動する(例えば寝室を出る)ので、ユーザはドップラーセンサ24の検知範囲から外れる。したがって、端末システム2は、ドップラーセンサ24によってユーザが検出されなくなった場合、ドップラーセンサ24の検出動作を終了する(
図6参照)。以上によって、端末システム2は、ユーザの睡眠時に行われる動作を終了する。
【0108】
なお、他の実施形態において、ベース装置6と携帯端末5とが無線通信可能な場合には、端末システム2は、ドップラーセンサ24によって対象が検出されなくなったことに応じて、携帯端末5の動作モードをオンモードに変更してもよい。すなわち、ドップラーセンサ24によって対象が検出されなくなった場合、ベース装置6は携帯端末5に対して通知を行い、携帯端末5は、この通知を受け取ったことに応じて動作モードをオンモードに変更してもよい。
【0109】
また、ユーザは、起床時に携帯端末5をベース装置6から外して携帯すると考えられる。そのため、他の実施形態においては、端末システム2は、携帯端末5がベース装置6から外されたことに応じて、携帯端末5の動作モードをオンモードに変更してもよい。すなわち、携帯端末5は、オフモードにおいてベース装置6との接続状態を検知し、ベース装置6と接続されなくなったことが検知された場合、自身の動作モードをオンモードに変更してもよい。
【0110】
なお、他の実施形態においては、端末システム2は、ユーザが覚醒(起床時覚醒)したことに応じてドップラーセンサ24の検出動作を終了してもよい。また、他の実施形態においては、端末システム2は、携帯端末5がベース装置6から外されたことに応じてドップラーセンサ24の検出動作を終了してもよい。
【0111】
また、他の実施形態においては、生体情報の測定期間の決定方法、すなわち、ドップラーセンサ24の検出を開始または終了する条件は任意であり、例えば以下の方法が用いられてもよい。
【0112】
例えば、他の実施形態においては、端末システム2は、センサ(ドップラーセンサ24)によって間欠的に検出を行い、その検出結果に基づいて測定期間を決定してもよい。具体的には、端末システム2は、所定時間間隔でドップラーセンサ24による検出を行うことによって、ユーザが検出されるか否か(ユーザが検出範囲内に存在するか否か)を判定する。ユーザが検出されない場合、端末システム2は、ドップラーセンサ24による検出を停止する。この場合、測定は開始されない。一方、ユーザが検出される場合、端末システム2は、ドップラーセンサ24による検出をそのまま継続することによって、測定を開始する。さらに、測定を開始した場合、端末システム2は、ドップラーセンサ24によってユーザが検出される間、測定を継続する。つまり、上記実施形態と同様、端末システム2は、ユーザが検出されなくなったことに応じて、ドップラーセンサ11による測定を終了する。以上によれば、ドップラーセンサ24による測定期間を、ドップラーセンサ24自身による(間欠的に行われる)検出結果に基づいて決定することができる。これによれば、他のセンサ等の装置を用いることなく、測定期間を決定することができるので、装置の構成を簡易化することができる。
【0113】
また、他の実施形態においては、ドップラーセンサ24の測定期間は、ドップラーセンサ24とは異なるセンサ(例えば人感センサ)の検出結果に基づいて決定されてもよい。例えば、端末システム2は、人感センサとして、赤外線センサおよび/またはカメラを用いてもよい。具体的には、端末システム2は、人感センサによって、間欠的に、または、連続してユーザを検知する。そして、人感センサによってユーザが検知される期間において、端末システム2は、ドップラーセンサ24による測定を行う。これによっても、本実施形態の方法、および、上記ドップラーセンサ11の検出結果に基づいて測定期間を決定する方法と同様、測定期間を自動的に決定することができる。すなわち、ユーザは測定(の開始および終了)のために操作を行う必要がないので、端末システム2の利便性を向上することができる。さらに言えば、ユーザに手間や負担をかけることなく生体情報の測定を行うことができるので、継続的な生体情報の取得が行いやすくなる。
【0114】
また、他の実施形態においては、ドップラーセンサ24の測定期間は、予め定められていてもよい。例えば、端末システム2は、所定の時間帯(例えば、夜の20時から翌朝の10時までの時間帯)において測定を行うようにしてもよいし、(ユーザによる停止操作がない限り)測定を常時行うようにしてもよい。これによっても上記と同様、ユーザは測定の開始および終了のために操作を行う必要がないので、端末システム1の利便性を向上することができる。
【0115】
また、上記実施形態においては、端末システム2は、生体情報の測定を自動的に行うことに加えて、生体情報に基づく健康情報(睡眠指標および疲労指標)の算出を自動的に(換言すれば、ユーザによる特定の操作が無くても)行う。したがって、ユーザが特別な操作を行わなくても端末システム2において健康情報が算出されるので、端末システム2の利便性を向上することができる。
【0116】
(3−2:健康情報の算出方法)
以下、ドップラーセンサ24の検出結果に基づいて健康情報(睡眠指標および疲労指標)を算出する処理について説明する。
図8は、携帯端末5の処理部11において健康情報を算出するための機能的構成の一例を示す機能ブロック図である。
図8に示すように、処理部11は、波形解析部41と、睡眠算出部42と、自律神経算出部43と、疲労算出部44とを含む。
【0117】
波形解析部41は、ドップラーセンサ24が検出した生体情報(出力波形)に基づいて、呼吸、脈拍、および体動をさらなる生体情報として算出する。ここで、従来より、ドップラーセンサ24の出力波形を周波数に応じて分離することによって、呼吸、脈拍、および体動を表す波形を得ることができることが知られている。波形解析部41は、周波数解析等によって出力波形を、呼吸に対応する周波数帯域と、脈拍に対応する周波数帯域と、体動に対応する周波数帯域とに分離し、分離したそれぞれの波形データを出力する。
図8に示すように、波形解析部41の出力は、睡眠算出部42および自律神経算出部43にそれぞれ入力される。
【0118】
睡眠算出部42は、生体情報(呼吸、脈拍、および体動)に基づいて各種の睡眠指標を算出する。ここで、従来より、呼吸、脈拍、および体動に基づいて睡眠指標を算出する方法が知られている。本実施形態においては、睡眠算出部42は、以下の情報を示す睡眠指標を算出する。
・睡眠潜時(入眠潜時)
・中途覚醒時間
・中途覚醒回数
・睡眠効率
・総睡眠時間
・睡眠時活動量
・睡眠ステージ
・レム睡眠時間
・ノンレム睡眠時間
・睡眠品質
なお、他の実施形態においては、上記の睡眠指標のうちのいくつかのみが算出されてもよいし、上記の睡眠指標とは異なる種類の睡眠指標が算出されてもよい。
【0119】
自律神経算出部43は、生体情報に基づいて、自律神経(交感神経および副交感神経)の働き度合いを示す指標(自律神経指標)を算出する。具体的には、生体情報に含まれる脈拍(RR間隔)の波形を、最大エントロピー法、フーリエ変換によって周波数解析し、当該波形の高周波成分(約0.15〜0.40[Hz])HFと低周波成分(約0.04〜0.15[Hz])LFとを算出する。ここで、上記高周波成分HFは、副交感神経の働き度合いを示すことが知られており、上記低周波成分LFは、交感神経の働き度合いを示すことが知られている。また、副交感神経の働き度合いと交感神経の働き度合いとの割合によって疲労度を評価できることが知られている(例えば、特開2010−201113号公報参照)。したがって、自律神経算出部43は、自律神経指標として、上記高周波成分HFと低周波成分LFとの割合(LF/HF)を算出する。
図8に示すように、自律神経算出部43の出力は、疲労算出部44において入力として用いられる。
【0120】
疲労算出部44は、上記睡眠指標および自律神経指標に基づいて、疲労指標を算出する。なお、本実施形態においては、疲労指標として、疲労の度合い(レベル)を0から100の数値で示す疲労度が算出される。疲労指標の算出方法は任意であるが、例えば以下の方法が考えられる。なお、以下では、ここで算出される疲労度を、後述する、覚醒期間に対応する疲労度と区別して、「第1疲労度」と呼ぶことがある。
【0121】
第1の方法は、睡眠指標から疲労指標を算出する方法である。ここで、睡眠指標は、第1疲労度との相関があると考えられる。例えば、第1疲労度が高いと推測される例としては、以下が挙げられる。
・睡眠潜時が長い。
・中途覚醒時間が長い。
・中途覚醒回数が多い。
・睡眠効率が悪い。
・総睡眠時間が短い。
・レム睡眠時間とノンレム睡眠時間とのバランスが悪い(レム睡眠時間とノンレム睡眠時間との比率が、正常な範囲から外れている)。
したがって、疲労算出部44は、睡眠指標が上記の例に該当すれば第1疲労度が高くなり、上記の例に該当しなければ第1疲労度が低くなるように、第1疲労度を算出する。例えば、疲労算出部44は、上記の各項目について該当するか否かを判定し、該当する数に応じたポイントを計算し、合計のポイントに応じて第1疲労度を算出するようにしてもよい。このとき、疲労算出部44は、項目毎に重みを付してポイントを計算してもよい。また、各項目について基準値(例えば、総睡眠時間について「6時間」)を設定し、算出された睡眠指標の値が基準値から離れているほどポイントが大きくなるように、ポイントが計算されてもよい。
【0122】
以上のように、本実施形態においては、生体情報に基づいて、ユーザの睡眠に関する睡眠指標が算出され、睡眠指標に基づいて疲労指標が算出される。上記のように、睡眠指標と疲労の度合いとの間には相関があると考えられるので、睡眠指標に基づいて疲労指標を算出することによって、疲労指標の精度を向上することができる。
【0123】
第2の方法は、自律神経指標に基づいて疲労指標を算出する方法である。上述のように、交感神経と副交感神経との働き度合いのバランス、すなわち、上記の自律神経指標を用いて第1疲労度を評価できることが知られている。したがって、疲労算出部44は、例えば、自律神経指標の値が基準値から離れるほど第1疲労度が高くなるように第1疲労度を算出する。
【0124】
本実施形態においては、疲労算出部44は、上記第1および第2の方法を用いて第1疲労度を算出する。具体的には、疲労算出部44は、上記2つの方法でそれぞれ疲労度を算出し、算出された各疲労度に基づいて最終的な第1疲労度を算出する。疲労算出部44は、例えば、2つの疲労度の平均値を最終的な第1疲労度としてもよいし、2つのうちどちらかの疲労度に重みを付して最終的な第1疲労度を算出してもよい。
【0125】
また、他の実施形態においては、上記2つの方法に加え、次の方法を用いて第1疲労度が算出されてもよい。すなわち、所定期間(例えば1週間)における睡眠時間に基づいて第1疲労度を算出する方法が用いられてもよい。ここで、従来より、疲労リスク管理システム(FRMS(Fatigue Risk Management System))において、睡眠時間と労働時間とに基づいて疲労度を算出する手法がある。上記手法において例えば簡易的に労働時間を一定とすることで、睡眠時間(のみ)に基づいて第1疲労度を算出することができる。
【0126】
なお、他の実施形態においては、疲労指標の算出方法は任意であり、疲労指標の内容も任意である。他の実施形態においては、疲労指標として、疲労の種類毎に疲労度合いを示す値が算出されてもよい。例えば、他の実施形態においては、疲労指標は、急性疲労の度合いを示す値と、累積疲労の度合いを示す値と、精神疲労の度合いを示す値という3種類の値であってもよい。
【0127】
また、他の実施形態においては、カメラ16および/またはマイク15の検出結果を用いて健康情報を算出してもよい。例えば、カメラ16で撮像されたユーザの画像に基づいて、脈拍および/または体動といった生体情報を算出することが可能である。したがって、処理部11は、ドップラーセンサ24の検出結果から得られるこれらの生体情報に加えて(または代えて)、カメラ16による撮像画像から得られる生体情報を用いて睡眠指標(および疲労指標)を算出してもよい。また、処理部11は、マイク15で検出されるいびきの音を考慮して睡眠指標を算出してもよい。
【0128】
(3−3:端末システム2における処理の具体例)
次に、睡眠期間に端末システム2において実行される処理の具体例について説明する。
図9は、睡眠期間に端末システムによって実行される処理の流れの一例を示すフローチャートである。
図9に示す一連の処理は、携帯端末5がベース装置6に装着されたことに応じて開始される。なお、他の実施形態においては、上記一連の処理は、携帯端末5とベース装置6との通信が開始されたことに応じて開始されてもよいし、ユーザが携帯装置5またはベース装置6に対して所定の開始操作を行ったことに応じて開始されてもよい。また、
図9に示す各処理は、携帯端末5およびベース装置6のいずれか一方によって、または、両方が協働することによって実行される。
【0129】
なお、本出願において、図面に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えて(または代えて)別の処理が実行されてもよい。また、本明細書では、上記フローチャートの各ステップの処理を各装置(携帯端末5、ベース装置6、および、サーバ3)のCPUが実行するものとして説明するが、上記フローチャートにおける一部のステップの処理を、CPU以外のプロセッサや専用回路が実行するようにしてもよい。
【0130】
まずステップS11において、端末システム2は、開始時処理を実行する。開始時処理は、
図9に示す一連の処理の開始に応じて(本実施形態では、ベース装置6に携帯端末5が装着されたことに応じて)実行される処理である。本実施形態においては、開始時処理として、充電開始処理、検出開始処理、および、再生開始処理が実行される(
図6参照)。なお、他の実施形態においては、開始時処理として実行される処理は任意であり、上記3つの処理のうちいずれか1つまたは2つの処理が実行されてもよいし、上記3つの処理とは異なる他の処理が実行されてもよいし、開始時処理が実行されなくてもよい。
【0131】
上記充電開始処理において、ベース装置6は、携帯端末5に対する充電を開始する。具体的には、制御部22は、充電を開始する旨の指示を電力取得部23に対して行う。この指示に応じて、電力取得部23は、外部電源から供給される電力を、コネクタ21を介して携帯端末5へ供給する。なお、ベース装置6は、外部電源に接続された状態(すなわち、電源プラグがコンセントに接続された状態)であるとする。なお、ベース装置6は、携帯端末5の電池残量を確認し、電池残量が所定量以下であることを条件として充電動作を開始するようにしてもよい。ステップS11で開始された充電動作は、携帯端末5の電池が容量まで充電されたことに応じて終了する。
【0132】
また、上記検出開始処理において、ベース装置6は、健康情報を算出するための生体情報を検出するセンサ(ドップラーセンサ24)による検出を開始する。すなわち、ベース装置6の制御部22は、検出動作を開始する旨の指示をドップラーセンサ24に対して行う。この指示に応じて、ドップラーセンサ24は検出動作を開始する。
【0133】
また、上記再生開始処理において、ベース装置6は、入眠用コンテンツの再生を開始する。すなわち、制御部22は、予め記憶されている入眠用コンテンツを読み出し、プロジェクタ25およびスピーカ26を用いて入眠用コンテンツを再生する。なお、ベース装置6において再生されるコンテンツ(入眠時コンテンツや覚醒用コンテンツ)は、ベース装置6に記憶されていてもよいし、携帯端末5に記憶されていてもよいし、外部装置(例えばサーバ3)から携帯端末5を介して取得されてもよい。
【0134】
上記ステップS11の処理の後、以下に説明するステップS12〜S20の処理が、睡眠期間中において繰り返し実行される。なお、本実施形態においては、ステップS12〜S20の処理ループは、所定時間に1回の割合で実行される。
【0135】
ステップS12において、端末システム2は、ドップラーセンサ24の検出結果(生体情報)を取得する。上記ステップS11の検出開始処理によって検出動作を開始したドップラーセンサ24は、検出結果(出力波形)を制御部22へ出力する。制御部22は、検出結果を携帯端末5へ送信する(
図4に示すステップS1)。これによって、ドップラーセンサ24の検出結果が携帯端末5に取得される。なお、制御部22は、ドップラーセンサ24の検出結果の情報をそのまま携帯端末5へ送信してもよいし、検出結果に何らかの加工(例えば、検出結果の信号に含まれるノイズを除去する処理や、上記睡眠指標を算出する処理等)を行って携帯端末5へ送信してもよい。
【0136】
ステップS13において、携帯端末5は、睡眠情報(各種睡眠指標)を算出する(
図4に示すステップS2)。すなわち、処理部11は、ステップS12で取得された検出結果(生体情報)に基づいて、各種睡眠指標を算出する。睡眠指標の算出は、上述の“(3−2:健康情報の算出方法)”で述べた方法によって行われる。なお、ステップS13においては、処理部11は、後述するステップS14およびS15においてユーザの睡眠状態を判別するために用いられる情報(睡眠指標)を算出すればよい。ステップS13においては、処理部11は、睡眠期間が終了した時点でなければ算出できない睡眠指標(例えば、総睡眠時間)、および、疲労情報(疲労指標)を算出しなくてもよい。
【0137】
ステップS14において、携帯端末5は、ユーザの睡眠状態に応じてベース装置6の出力を制御する(
図4に示すステップS2)。すなわち、処理部11は、ステップS13で算出される睡眠指標に基づいて、ベース装置6における出力(プロジェクタ25および/またはスピーカ26による出力)を制御する。具体的には、処理部11は、ステップS13で算出された睡眠指標に基づいて、ユーザの睡眠状態が所定の状態となったか否かを判定する。所定の状態とは、例えば、ユーザが入眠した状態、深い眠りに入った状態、中途覚醒した状態、および、覚醒前の状態等である(
図6参照)。そして、所定の状態となったと判定された場合、処理部11は、当該状態に応じた再生制御処理を実行する。本実施形態においては、ステップS14の処理によって、上述した、プロジェクタ25の電源の制御、入眠用コンテンツの再生を制御する動作、中途覚醒に応じて時刻を表示する動作、および、覚醒用コンテンツの再生を制御する動作(
図6参照)が実行される。
【0138】
他の実施形態においては、端末システム2は、睡眠期間においてコンテンツおよび/または情報をユーザに提示する場合、ベース装置6からの出力に加えて、または代えて、携帯端末5から出力を行うようにしてもよい。例えば、ユーザが中途覚醒したことに応じて行われる現在時刻の表示は、携帯端末5において行われてもよい。また例えば、プロジェクタ25によるコンテンツ再生に応じた音(音楽)の出力は、携帯端末5によって行われてもよい。なお、携帯端末5には、プロジェクタ25によって投影表示される画像と同じ画像が表示されてもよいし、異なる画像が表示されてもよい。
【0139】
ステップS15において、携帯端末5は、ユーザの睡眠状態に応じて携帯端末5を制御する(
図4に示すステップS2)。すなわち、処理部11は、ステップS13で算出される睡眠指標に基づいて、携帯端末5の動作モードを制御する。具体的には、処理部11は、上記ステップS14と同様に、ユーザの睡眠状態が所定の状態となったか否かを判定する。そして、所定の状態となったと判定された場合、処理部11は、携帯端末5の動作モードを当該状態に応じたモードに変更する。本実施形態においては、ステップS15の処理によって、上述したオフモードへの変更動作、および、オンモードへの変更動作が実行される。
【0140】
なお、上記ステップS15の処理は、携帯端末5の動作モードに限らず、携帯端末5の設定を変更する処理であってもよい。例えば、携帯端末5は、ユーザの睡眠状態に応じて、携帯端末5の出力音量の設定、および/または、画面表示の設定を変更してもよい。例えば、ユーザが睡眠状態にある場合には、携帯端末5の出力音量がゼロに設定されたり、画面表示がオフになるように設定されたりしてもよい。
【0141】
ステップS16において、携帯端末5は、ユーザが覚醒(起床時覚醒)したか否かを判定する。すなわち、処理部11は、上述の“(中途覚醒時の情報提示)”で述べた方法によって、ステップS13で算出される睡眠指標に基づいて、ユーザが覚醒したか否かを判定する。ユーザが覚醒したと判定された場合、ステップS17〜S19の一連の処理が実行される。一方、ユーザが覚醒していないと判定された場合、ステップS17〜S19の一連の処理がスキップされてステップS20の処理が実行される。
【0142】
ステップS17において、携帯端末5は、睡眠期間中に取得された情報(生体情報)に基づいて健康情報を算出する(
図4に示すステップS3)。健康情報は、上述した“(3−2:健康情報の算出方法)”で述べた方法によって算出される。本実施形態においては、ステップS17において、処理部11はまず、ステップS12で取得された生体情報に基づいて自律神経指標を算出する。また、処理部11は、睡眠期間中には算出することができない睡眠指標(例えば、総睡眠時間等)を、ステップS12で取得された生体情報に基づいて算出する。さらに、処理部11は、各種の睡眠指標と自律神経指標とに基づいて疲労指標(第1疲労度)を算出する。以上によって、睡眠指標と疲労指標とを含む健康情報が算出される。なお、他の実施形態においては、健康情報は、睡眠情報(睡眠指標)および疲労情報(疲労指標)のいずれか一方のみを含んでいてもよい。
【0143】
ステップS18において、端末システム2は、睡眠の評価結果をユーザに対して提示する。すなわち、処理部11は、算出された睡眠指標に基づいて、評価結果を示す画像(
図7参照)を生成する。本実施形態においては、快眠指数およびアドバイス情報が睡眠指標に基づいて算出され、算出された情報を含む画像が生成される。処理部11は、生成した画像をベース装置6へ送信する。ベース装置6の制御部22は、受信した画像をプロジェクタ25によって(天井に)投影表示する。これによって、評価結果を示す画像がユーザに提示される。なお、他の実施形態においては、画像の生成はベース装置6によって行われてもよい。すなわち、携帯端末5は、算出された睡眠指標の情報をベース装置6に送信し、ベース装置6が受信した睡眠指標に基づいて画像を生成してもよい。
【0144】
ステップS19において、携帯端末5は、算出された健康情報をサーバ3へ送信する(
図4に示すステップS4)。すなわち、処理部11は、ステップS17で算出された健康情報を通信部10によってサーバ3へ送信する。これによって、1回の睡眠期間に対する健康情報がサーバ3へ送信され、サーバ3において保存されることになる。このように、本実施形態においては、携帯端末5は、送信すべき情報を自動的に(ユーザによる指示がなくても)サーバ3へ送信する。つまり、ユーザが指示を行わなくても、サーバ3へ情報がアップロードされる。
【0145】
ステップS20において、ベース装置6は、ドップラーセンサ24による検出動作を終了するか否かを判定する。具体的には、制御部22は、ドップラーセンサ24の検出結果に基づいて、ユーザが検知されなくなったか(センサの検出範囲からユーザが外れたか)否かを判定する。ユーザが検知されなくなった場合、制御部22は、検出動作を終了すると判定し、
図9に示す一連の処理を終了する。一方、ユーザが検知される場合、制御部22は、検出動作を終了しないと判定し、上記ステップS12の処理を再度実行する。以降、ステップS20において検出動作を終了すると判定されるまで、ステップS12〜S20の一連の処理が繰り返し実行される。
【0146】
なお、他の実施形態においては、端末システム2は、上記ステップS19において健康情報をサーバ3へ送信した後、
図9に示す一連の処理を終了するようにしてもよい。この場合、上記ステップS16の判定結果が否定であればステップS12の処理が再度実行され、上記ステップS16の判定結果が肯定となるまでステップS12〜S16の処理が繰り返し実行される。
【0147】
なお、本実施形態においては、上記睡眠期間中において、何らかの理由で携帯端末5がベース装置6から外された場合(例えば、ユーザが寝返りをうった際に携帯端末5に当たってしまった場合)、ベース装置6は、ドップラーセンサ24の検出結果を携帯端末5へ送信することができない。この場合、ベース装置6は、携帯端末5へ送信することができなかった検出結果のデータを自身の記憶部(メモリ等)に記憶しておく。そして、次に携帯端末5がベース装置6に装着されたことに応じて、ベース装置6は、記憶部に記憶されている検出結果のデータを携帯端末5へ送信する。上記データを受信した携帯端末5は、検出結果に基づいて睡眠指標を算出する(ステップS13)。なお、携帯端末5は、このとき算出された睡眠指標に基づく制御処理(ステップS14,S15)を実行しなくてよい。このとき算出された睡眠指標は、過去の検出結果に基づくものであるからである。
【0148】
また、算出された睡眠指標に基づいて、ユーザが覚醒していると判定された場合(ステップS16の判定結果が肯定となる場合)、携帯端末5は、上記ステップS17〜S19の処理を実行する。このように、ユーザの睡眠中に携帯端末5がベース装置6から外された場合であっても、次に携帯端末5がベース装置6に装着されたことに応じて、健康情報が算出されてサーバ3へ送信される。したがって、例えば、ユーザが覚醒した時に、携帯端末5がベース装置6から外れていたことに気づいた場合には、ユーザは、携帯端末5をベース装置6に装着するとよい。これによって、端末システム2は、睡眠の評価結果をユーザに提示することができるとともに、健康情報をサーバ3へ送信することができる。
【0149】
なお、他の実施形態において、携帯端末5とベース装置6とが無線通信可能である場合には、携帯端末5がベース装置6から外れた場合であっても、上記ステップS12〜S19の処理を継続して実行することができる。
【0150】
なお、上記ステップS14においては、プロジェクタ25によって天井に画像が投影表示される。ここで、プロジェクタ25によって画像を投影表示する場合、ベース装置6は、当該画像を補正する補正処理を実行してもよい。この補正処理は、プロジェクタ25の投影箇所(天井)の凹凸および色を考慮して、適切な画像が投影表示されるように画像を補正する処理である。ベース装置6は、プロジェクタ25によって投影表示される画像に対して、カメラ27によって撮像された投影箇所の画像に基づいて、当該投影箇所の凹凸および色を考慮した補正を行う。具体的には、
図9に示す処理を実行する前に、ベース装置6は、予め定められたテスト画像をプロジェクタ25によって天井に投影表示する。ここで、天井に凹凸がある場合には、投影表示されたテスト画像は、元のテスト画像と比べて歪んでいる。また、天井に色が付いている場合は、投影表示されたテスト画像は、元のテスト画像とは色が異なっている。ベース装置6は、元のテスト画像から歪んだり、あるいは、色が変化したりしている、天井に投影表示されたテスト画像をカメラ27によって撮像する。そして、ベース装置6は、カメラ27によって撮像された画像に基づいて、天井に投影表示されたテスト画像が適切に表示されるように元のテスト画像を補正する補正処理を特定する。つまり、ベース装置6は、投影表示されたテスト画像が、凹凸がある投影箇所において正しい形状に表示され、かつ、投影箇所において正しい色で表示されるように、元のテスト画像を補正する補正処理の内容を特定する。上記補正処理が特定されると、ベース装置6は、補正処理の内容を記憶しておく。
【0151】
上記ステップS114においてプロジェクタ25によって画像を投影表示する場合、ベース装置6は、記憶しておいた補正処理によって画像を補正し、補正後の画像をプロジェクタ25によって投影表示する。これによって、投影表示される画像は、適切な形状(元の画像と同じ形状)で、かつ、適切な色(元の画像と同じ色)となる。なお、上記で説明した補正処理は、従来のプロジェクションマッピングの技術と同様の方法によって行われてもよい。また、補正処理は、投影箇所の凹凸および色のいずれか一方のみを考慮した補正を行うものであってもよい。
【0152】
[4.昼間における端末システムの動作]
(4−1:動作の概要)
次に、覚醒期間における情報処理システムの動作の概要について説明する。
図10は、覚醒期間におけるユーザの行動と、情報処理システムによって判別される各種情報との関係の一例を示す図である。また、
図11は、覚醒期間における情報処理システムの動作の流れの一例を示すタイミングチャートである。
図10では、ユーザの1日の行動の例として、出社し、会議に出席し、退社後にスポーツジムに立ち寄った後、帰宅する場合を示している。以下では、ユーザの1日の行動として
図10に示す行動をユーザが行う場合における情報処理システムの動作を例として説明する。
【0153】
上述したように、本実施形態においては、ユーザが覚醒したことに応じて携帯端末5の動作モードがオンモードに変更される。動作モードがオンモードになったことに応じて、携帯端末5は、覚醒期間中に算出すべきQOL要素情報(活動情報、環境情報、感情情報、および、嗜好情報)を算出するための処理を開始する。すなわち、携帯端末5は、位置検出部13による位置情報の検出と、環境センサ14による環境センサ情報の検出とを開始する(
図11に示すステップS21)。詳細は後述するが、位置情報は、活動情報を算出するために用いられ、環境センサ情報は、環境情報を算出するために用いられる。本実施形態においては、位置情報の検出および環境センサ情報の検出は、オンモードである間、繰り返し実行される(
図10参照)。
【0154】
図10に示す例では、ユーザは、覚醒後に外出し、職場に出社する。このとき、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(
図10、および、
図11に示すステップS22)。すなわち、携帯端末5は、位置情報により示される検出位置がある場所(ここでは、自宅)から移動を開始し、別の場所(ここでは、職場)に到着して移動を停止した場合、移動を示す活動情報を算出する。
【0155】
移動を示す活動情報の内容は任意であるが、本実施形態においては、移動方法と、移動量とを含む活動情報が算出される。詳細は後述するが、移動方法としては、徒歩、電車、および車のいずれかが特定される。移動量としては、移動距離および/または移動時間が算出される。なお、他の実施形態においては、移動を示す活動情報は、移動前の場所(出発地。上記ステップS22の例では、自宅)および/または移動後の場所(目的地。上記ステップS22の例では、職場)を示す情報を含んでいてもよい。
【0156】
また、本実施形態においては、活動情報が算出されると、携帯端末5は、活動情報に対応する環境情報を算出する。「活動情報に対応する環境情報」とは、活動情報が示す活動が行われた期間におけるユーザの環境を示す環境情報である。上記ステップS22においては、移動を行っている期間におけるユーザの環境を示す環境情報が算出される。詳細は後述するが、本実施形態においては、携帯端末5は、行われたユーザの活動の内容を示す情報(
図15に示す活動内容)と、当該活動中に検出された気温および湿度の平均値を示す情報(
図15に示す環境値)とを含む環境情報(
図15参照)を算出する。
【0157】
上記のようにして活動情報および環境情報が算出されると、携帯端末5は、算出された活動情報および環境情報をサーバ3へ送信する(ステップS23)。サーバ3は、受信した活動情報および環境情報をユーザ毎(携帯端末毎)に区別して記憶(蓄積)する。以降のステップS26,S28,S30,S32,S34の処理においてもステップS23と同様、サーバ3は、携帯端末5からQOL要素情報を受信すると、ユーザ毎に区別して記憶する。
【0158】
図10に示すように、出社後にユーザは会議に出席する。このとき、携帯端末5は、会議中における感情を判別する。すなわち、携帯端末5は、会議中における感情を示す感情情報を算出し、算出された感情情報をサーバ3へ送信する(
図10、および、
図11に示すステップS24〜S26)。この感情情報の算出は、次のように行われる。
【0159】
まず、携帯端末5は、会議が開始されたことに応じて、感情情報を算出するための情報の検出を開始する(ステップS24)。本実施形態においては、会議が開始されたか否かの判定は、携帯端末5に記憶されているスケジュール情報に基づいて行われる。すなわち、携帯端末5には、会議の開始日時および終了日時を示すスケジュール情報が予め登録されているものとする。携帯端末5は、このスケジュール情報を参照することによって会議が開始されたか否かを判定し、会議が開始された場合、検出を開始する。
【0160】
なお、ステップS24においては、携帯端末5は、感情情報を算出するための情報として、マイク15によって検出される音を検出する。すなわち、携帯端末5は、マイク15による音検出を開始する。
【0161】
会議が終了すると、携帯端末5は、上記情報の検出を終了する(ステップS25)。すなわち、携帯端末5は、マイク15による音の検出を終了する。なお、会議が終了されたか否かの判定は、携帯端末5に記憶されているスケジュール情報に基づいて行うことができる。
【0162】
会議が終了すると、携帯端末5は、会議中に検出された情報(マイク15によって検出された音の情報)に基づいて感情情報を算出する(ステップS26)。詳細は後述するが、本実施形態においては、携帯端末5は、マイク15によって検出されたユーザの声等に基づいてユーザの感情を判別し、判別結果を示す情報を感情情報として算出する。詳細は後述するが、本実施形態においては、怒り、喜び、悲しみ、憎しみ、および、楽しみという5種類の感情の度合い(感情の強さ)を表す感情情報が算出される。
【0163】
上記のように、ユーザが会議に参加した場合には、会議中における音が検出されて、検出された音に基づいてユーザの感情が判別される。なお、
図10および
図11では図示しないが、本実施形態においては、会議中の他、ユーザが携帯端末5を操作する間においても感情が判別される。詳細は後述するが、携帯端末5の操作中においては、携帯端末5は、ユーザをカメラ16で撮像し、撮像したユーザの表情に基づいて感情を判別する。
【0164】
図10に示す例においては、会議が終了した後、ユーザは退社する。このとき、携帯端末5は、仕事(をしたこと)を示す活動情報を算出する(
図10、および、
図11に示すステップS27)。すなわち、携帯端末5は、位置情報により示される検出位置が特定の場所(ここでは、職場)から移動を開始した場合、ユーザが当該特定の場所に滞在していたことを判別し、当該特定の場所に対応する活動(ここでは、仕事)を示す活動情報を算出する。場所に対応する活動を示す活動情報の内容は任意であるが、本実施形態においては、活動内容(仕事)と、活動時間(仕事の時間)とを含む活動情報が算出される(
図13参照)。
【0165】
上記のように、仕事を示す活動情報が算出されると、携帯端末5は、活動情報に対応する環境情報を算出する。環境情報の算出方法は、上記ステップS22の処理と同様である。すなわち、ステップS27においては、携帯端末5は、仕事を行っている期間におけるユーザの環境を示す環境情報を算出する。
【0166】
上記のようにして活動情報および環境情報が算出されると、携帯端末5は、上記ステップS23の処理と同様、算出された活動情報および環境情報をサーバ3へ送信する(ステップS28)。
【0167】
図10に示す例においては、ユーザは退社した後にスポーツジムに立ち寄る。ユーザがスポーツジムに到着すると、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(
図10、および、
図11に示すステップS29)。移動を示す活動情報を算出する処理は、上記ステップS22における処理と同様である。また、ステップS22と同様、携帯端末5は、活動情報に対応する環境情報を算出し、算出された活動情報および環境情報をサーバ3へ送信する(ステップS30)。
【0168】
図10に示す例では、ユーザは、スポーツジムでの活動(運動等)を終えるとスポーツジムを出発する。このとき、携帯端末5は、上記ステップS27の同様の処理によって、ユーザが特定の場所(ここでは、スポーツジム)に滞在していたことを判別する。そして、携帯端末5は、ユーザが滞在していた場所に基づいて嗜好情報を算出し、算出された嗜好情報をサーバ3へ送信する(ステップS32)。
【0169】
算出される嗜好情報は、ユーザの趣味や嗜好を示す任意の形式の情報でよい。本実施形態においては、嗜好情報は、予め定められた複数のジャンル(項目)のうちで、ユーザが興味があると判別されたジャンルを示す。複数のジャンルには、例えば、運動、健康、美容、ファッション、音楽、映画、ニュース、料理、食事、ペット、ゲーム等、が含まれる。詳細は後述するが、携帯端末5は、場所(施設)と、上記ジャンルとを関連付けたテーブルを予め記憶しておく。そして、ユーザが特定の場所(施設)に滞在したことを判別した場合、携帯端末5は、上記テーブルにおいて当該場所に関連付けられるジャンルを特定する。例えば、上記テーブルにおいては、スポーツジムに対して「運動」および「健康」のジャンルが関連付けられている。そのため、ユーザがスポーツジムに立ち寄った場合には、「運動」および「健康」を示す嗜好情報が算出(生成)される。
【0170】
また、
図10および
図11では図示していないが、本実施形態においては、嗜好情報は、ユーザの入力による情報に基づいて算出されることもある(詳細は後述する)。例えば、携帯端末5は、ユーザが携帯端末5を用いてインターネット上のウェブページを閲覧する際において、検索サイトにおいてユーザが入力した検索ワードに基づいて嗜好を判別してもよいし、閲覧しているウェブページの内容(例えばウェブページに含まれるキーワード等)に基づいて嗜好を判別してもよい。
【0171】
図10に示す例では、ユーザは、スポーツジムを離れた後に帰宅する。ユーザが帰宅すると、携帯端末5は、位置情報に基づいて、ユーザが移動を行ったことを示す活動情報を算出する(
図10、および、
図11に示すステップS33)。移動を示す活動情報を算出する処理は、上記ステップS22における処理と同様である。また、ステップS22と同様、携帯端末5は、活動情報に対応する環境情報を算出し、算出された活動情報および環境情報をサーバ3へ送信する(ステップS34)。
【0172】
本実施形態においては、サーバ3は、所定の評価タイミングが到来すると、携帯端末5から送信されてきたQOL要素情報に基づいて、QOL要素情報に基づくユーザの評価を行う(
図11に示すステップS36、
図4に示すステップS7)。すなわち、サーバ3は、携帯端末5から受信した各種QOL要素情報(健康情報、活動情報、環境情報、および、感情情報)に基づいて各種の指標(健康指標、環境指標、感情指標、および、QOL指標)を算出する。なお、QOL要素情報に基づくユーザの評価は、携帯端末を有するユーザ(ネットワークサービスを受けるユーザ)毎に行われる(ステップS36)
【0173】
図10に示すように、本実施形態においては、健康情報と活動情報とに基づいて、ユーザの健康(疲労度)を示す健康指標が算出され、環境情報に基づいて、ユーザの周囲の環境を示す環境指標が算出され、感情情報に基づいて、ユーザの感情を示す感情指標が算出される。また、これらの健康指標と、環境指標と、感情指標とに基づいて、総合指標であるQOL指標が算出される。なお、これらの指標の算出方法の詳細については後述する。
【0174】
サーバ3が評価を行う上記評価タイミングは任意であるが、本実施形態においては、評価タイミングは、予め定められた所定時刻になったタイミングである。なお、評価タイミングは、サーバ3(ネットワークサービスの提供事業者)によって設定されたタイミングであってもよいし、ユーザによって指定されたタイミングであってもよい。また、評価タイミングは、所定時刻になったタイミングに限らず、ユーザの活動(上記活動情報)に基づいて設定されてもよい。例えば、評価タイミングは、ユーザが退社したタイミング、あるいは、ユーザが帰宅したタイミングであってもよい。
【0175】
また、サーバ3は、1日につき1回に限らず、複数回評価を行ってもよい。例えば、サーバ3は、QOL要素情報を携帯端末5から受信する度に、受信したQOL要素情報に基づく評価を行ってもよい。このとき、サーバ3は、総合評価以外の評価(QOL指標以外の指標の算出)についてはQOL要素情報を受信する度に実行し、総合評価(QOL指標の算出)については、1日に1回の所定の評価タイミングで実行するようにしてもよい。また、サーバ3は、所定の条件を満たすQOL要素情報が受信された場合(例えば、所定の種類のQOL要素情報が受信された場合)に、受信されたタイミングに応じて、QOL要素情報に基づく評価を行い、所定の条件を満たさないQOL要素情報が受信された場合には、受信されたタイミングに応じては評価を行わない(後で評価を行う)ようにしてもよい。
【0176】
評価を行った後、サーバ3は、評価結果に応じたネットワークサービスをユーザに提供する(
図11に示すステップS37、
図4に示すステップS8,S9)。すなわち、サーバ3は、ステップS36で算出された各種指標に基づいて、ユーザに提供すべきサービス内容を特定する(
図10参照)。上述したように、本実施形態においては、ネットワークサービスとして、(a)評価結果の提示、(b)評価結果を改善するためのアドバイス情報の提示、(c)評価結果を改善するための商品等を勧めるリコメンド情報の提示、(d)評価結果を改善するためのコンテンツの提供、および、(e)評価結果に応じた特典の付与等が行われる。
【0177】
本実施形態においては、評価結果を提示するサービスとして、上記各指標を表す指数を含む情報が携帯端末5へ送信されてユーザに提示される(
図24等)。また、アドバイス情報として、例えば、ユーザが暑い環境にいたことを示す評価結果(環境指標)が算出された場合に、夏バテを防止する方法を示すアドバイス情報がユーザに提示されてもよい。また、リコメンド情報として、例えば、疲労が溜まっている旨の評価結果(健康指標)が算出された場合に、疲労回復の効果がある商品を勧めるリコメンド情報がユーザに提示されてもよい。また、ネットワークサービスにおいて提供されるコンテンツとして、例えば、睡眠不足であることを示す評価結果(健康指標)が算出された場合に、入眠しやすくなる効果のある音楽コンテンツが提供されたり、気分が落ち込んでいる旨の評価結果(感情指標)が算出された場合に、気分を盛り上げるようなコンテンツが提供されたりしてもよい。また、特典として、例えば、ユーザが健康な状態を維持することができていることを示す評価(健康指標)が算出された場合に、ネットワークサービスにおいて利用可能なポイントを付与する特典が付与されたり、携帯端末5の利用料金を割り引く特典が付与されたりしてもよい。
【0178】
また、本実施形態においては、サーバ3は、嗜好情報に基づいてサービス内容を特定する(
図10参照)。例えば、サーバ3は、嗜好情報が示す、ユーザが興味のあるジャンルに基づいて、リコメンド情報で勧める商品等の種類を変更してもよい。具体的には、あるユーザについて同じ評価結果が算出された場合でも、運動に興味があることを嗜好情報が示すのであれば、サーバ3はスポーツ用品に関するリコメンド情報を提示し、食事に興味があることを嗜好情報が示すのであれば、サーバ3は健康食品に関するリコメンド情報を提示するようにしてもよい。また例えば、サーバ3は、嗜好情報に基づいて、付与すべき特典の内容を変更してもよい。例えば、サーバ3は、ユーザに特典として商品をプレゼントする場合に、嗜好情報が示す、ユーザが興味のあるジャンルに基づいて、商品の種類を決定してもよい。
【0179】
サービス内容を特定すると、サーバ3は、ネットワークサービスに係るサービスデータを携帯端末5へ送信する(
図11参照)。サービスデータは、例えば、評価結果のデータ、アドバイス情報のデータ、リコメンド情報のデータ、提供されるコンテンツのデータ、および/または、特典に関するデータ(特典付与の通知を示すデータ、特典自身のデータ)等である。
【0180】
なお、詳細は後述するが、本実施形態においては、あるユーザに関する評価結果に応じたネットワークサービスに係るサービスデータが、評価対象であるユーザ(本人)の他に、他のユーザ(例えば、当該あるユーザの家族や友人)の端末へ送信されることがある。このとき、評価対象のユーザに送信されるサービスデータの内容と、他のユーザに送信されるサービスデータの内容とは、異なっていてもよい。
【0181】
上記のように、本実施形態においては、所定時刻になったタイミングでサーバ3において評価が行われ、評価が行われたことに応じてネットワークサービスの提供が行われる。ここで、ネットワークサービスを提供するタイミングは任意である。例えば、他の実施形態においては、所定時刻になったタイミングに限らず、ユーザの活動(上記活動情報)に基づいて設定されるタイミングでネットワークサービスが提供されてもよい。例えば、サーバ3は、ユーザが退社したタイミング、あるいは、ユーザが帰宅したタイミングでネットワークサービスを提供してもよい。
【0182】
また、他の実施形態において、QOL要素情報が受信される度にサーバ3が評価を行う場合、サーバ3は、評価が行われる度にネットワークサービスの提供を行うようにしてもよい。また、サーバ3は、所定の条件を満たす評価結果が算出された場合に、算出されたタイミングに応じて、当該評価に基づくネットワークサービスを提供し、所定の条件を満たさない評価結果が算出された場合には、算出されたタイミングに応じてはネットワークサービスを提供しない(後で提供する)ようにしてもよい。なお、「所定の条件を満たす評価結果が算出された場合」とは、例えば、所定の種類のQOL要素情報に基づく評価結果が算出された場合、あるいは、所定の結果となる評価結果が算出された場合である。例えば、
図10に示す例において、会議の終了に応じて行われた評価の結果が、ユーザが落ち込んでいることを表す場合には、会議が終了した後すぐのタイミングで、例えば「深呼吸しましょう。」といったアドバイス情報がサーバ3から携帯端末5へ送信されてもよい。また例えば、移動の終了に応じて行われた評価の結果が、ユーザが暑い環境下で移動していたことを表す場合には、移動が終了した後すぐのタイミングで、熱中症を予防するアドバイス情報がサーバ3から携帯端末5へ送信されてもよい。
【0183】
携帯端末5は、サーバ3から送信されてくるサービスデータを受信する。そして、携帯端末5は、受信したサービスデータを用いて、サービスデータに係る情報をユーザに提示する(ステップS38)。これによって、例えば、評価結果、アドバイス情報、および/または、リコメンド情報が携帯端末5のディスプレイ17に表示されたり、サービスに係るコンテンツが携帯端末5において再生されたり、サービスに係る特典が付与された旨の通知が携帯端末5に表示されたりする。
【0184】
なお、他の実施形態においては、ネットワークサービスを受けることができる端末は、携帯端末5でなくてもよい。すなわち、サービスデータに係る情報は、携帯端末5に限らず、他の装置で提示されてもよい。例えば、ネットワークサービスによって提供されるコンテンツは、携帯端末5によって取得され、ベース装置6において再生されてもよい。また例えば、サーバ3は、携帯端末5とは異なる、予め登録された端末(例えば、ユーザの自宅のパソコン)へサービスデータが送信されてもよい。
【0185】
以上のように、本実施形態においては、ユーザの覚醒期間において、携帯端末5は、活動情報、環境情報、感情情報、および嗜好情報といったQOL要素情報を算出し、サーバ3へ送信する。サーバ3は、睡眠期間に受信したQOL要素情報と、覚醒期間に取得されたQOL要素情報とに基づいて、ユーザの健康、活動、環境、および/または、感情に関する評価を行う。そして、この評価結果に応じたネットワークサービスがユーザに提供される。
【0186】
上述したように、ユーザは、就寝時に携帯端末5をベース装置6に装着する(
図11参照)。これに応じて、携帯端末5の動作モードがオフモードへと移行する。動作モードがオフモードになったことに応じて、携帯端末5は、覚醒期間中に算出すべきQOL要素情報を算出するための処理を終了する。すなわち、携帯端末5は、位置検出部13による位置情報の検出と、環境センサ14による環境センサ情報の検出とを終了する(
図11に示すステップS38)。
【0187】
なお、本実施形態においては、携帯端末5は、位置情報および環境センサ情報の取得を、1日を通じて(すなわち、覚醒期間中において)行った。ここで、他の実施形態においては、QOL要素情報を算出するための情報を取得する条件(期間および/またはタイミング)は任意である。つまり、QOL要素情報を算出するための情報の取得は、所定の条件が満たされたことに応じて開始および/または終了されてもよい。例えば、他の実施形態においては、携帯端末5は、ユーザの活動(活動情報)に基づいて位置情報の取得を終了してもよい。具体的には、携帯端末5は、ユーザが帰宅したことを判別したことに応じて位置情報の取得を終了してもよい。また例えば、携帯端末5は、ユーザの活動(活動情報)に基づいて、環境情報の取得の開始および/終了を制御してもよい。具体的には、携帯端末5は、ユーザが所定の活動(例えば、移動や仕事)を行っている間のみ環境情報を取得するようにしてもよい。また例えば、他の実施形態においては、サーバ3からサービスデータを受信したタイミングで取得処理を終了してもよい。
【0188】
なお、本実施形態においては、サービスデータを受信した後においても、位置情報および環境センサ情報が取得されるので、活動情報および環境情報が算出され得る。携帯端末5は、サービスデータを受信した後に算出される位置情報および環境情報についても受信前と同様に、サーバ3へ送信する。したがって、サーバ3は、次の評価タイミング(明日に行われる評価タイミング)において、サービスデータを受信した後に算出される位置情報および環境情報に基づいて評価を行ってもよい。また、サーバ3は、ユーザの就寝時において、サービスデータを受信した後に算出される位置情報および環境情報に基づいて評価を行い、所定のタイミングで(例えば、次の日の朝にユーザが覚醒したタイミングで)この評価に基づくサービスデータを携帯端末5へ送信してもよい。なお、例えば、ベース装置6に携帯端末5が装着されたことに応じて携帯端末5がサーバ3へ通知を行うことによって、携帯端末5はサーバ3へユーザの就寝時を通知することができる。
【0189】
また、他の実施形態においては、携帯端末5は、サービスデータを受信した後においては、位置情報および環境センサ情報の検出を停止してもよいし、活動情報および環境情報の算出を停止してもよい。このように、所定期間に1回の割合でサービスデータを受信する場合において、当該所定期間中にサービスデータを受信した場合、携帯端末5は、当該所定期間中においてはQOL要素情報の算出、および/または、QOL要素情報を算出するための情報の取得(検出)を停止するようにしてもよい。
【0190】
(4−2:携帯端末における処理)
次に、覚醒期間において携帯端末5で実行される処理の具体例について説明する。オンモード中(覚醒期間中)において、携帯端末5は、活動情報算出処理、環境情報算出処理、感情情報算出処理、嗜好情報算出処理、および、情報提示処理を実行する。本実施形態においては、これらの処理はそれぞれ異なるプログラム(アプリケーション)によって実行される。携帯端末5は、マルチタスクで各種のアプリケーションを実行可能である。なお、上記の処理の他、多機能デバイスである携帯端末5が有する機能に応じたアプリケーションが適宜実行されてもよい。以下、上記の各処理の詳細について説明する。
【0191】
(活動情報算出処理)
図12は、活動情報算出処理の流れの一例を示すフローチャートである。活動情報算出処理は、ユーザの位置(位置情報)に基づいて、ユーザの活動を示す活動情報を算出する処理である。本実施形態においては、活動情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、活動情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に活動情報算出処理を実行する。
【0192】
まずステップS51において、処理部11は、活動情報の算出に用いる情報を取得する。本実施形態においては、活動情報の算出に用いる情報は、上述した位置情報である。すなわち、処理部11は、位置検出部13から位置情報を取得する。また、本実施形態においては、処理部11は、位置情報に対応する時刻情報として、位置情報が取得された時点の時刻を示す時刻情報を取得する。取得された位置情報および時刻情報は処理部11のメモリに記憶される。
【0193】
ステップS52において、処理部11は、活動情報を算出する条件が満たされたか否かを判定する。この算出条件は任意であるが、本実施形態においては、ユーザの移動が終了したこと(第1条件)、および、活動情報を算出する場所にユーザが滞在したこと(第2条件)が用いられる。第1条件および第2条件のいずれか一方が満たされた場合、活動情報を算出する条件が満たされたと判定される。
【0194】
上記第1条件が満たされたか否かは、例えば、位置情報により示される検出位置が、ある場所から移動した後、所定時間以上(例えば、10分以上)別の場所に停止したか否かによって判定することができる。なお、検出位置が、ある場所から所定距離以上離れていない場合、あるいは、移動時間が所定時間以下である場合には、処理部11は、検出位置はある場所から移動していないと判断してもよい。これによって、上述したステップS22,S29,S33の処理において、処理部11は、ユーザがある場所から別の場所への移動(例えば、自宅から職場までの移動や、職場からスポーツジムまでの移動等)を判別することができる。
【0195】
上記第2条件が満たされたか否かは、次のようにして判定される。すなわち、処理部11はまず、検出位置が所定時間以上(例えば、15分以上)ある場所にとどまっていた後で移動を開始したか否かを判定する。所定時間以上とどまっていない、または、移動を開始していないと判定された場合、処理部11は、第2条件が満たされてないと判定する。一方、とどまっていた後で移動を開始したと判定された場合、処理部11は、その滞在場所の種類を特定する。滞在場所の種類とは、例えば、自宅あるいは職場といった、ユーザに関する場所でもよいし、スポーツジム、レストラン、あるいは映画館といった施設でもよい。本実施形態においては、ユーザに関する場所の位置は、携帯端末5において予め登録されて記憶されているものとする。また、施設の位置は、例えば、地図上の位置とその位置に存在する施設とが関連付けられた地図情報を用いて特定される。地図情報は、携帯端末5に予め記憶されていてもよいし、インターネット等を介して外部装置から携帯端末5に取得されてもよい。処理部11は、上記ユーザに関する場所の位置、および、上記施設の位置のうちで、とどまっていた場所の位置と一致する位置を特定することで、滞在場所の種類を特定する。例えば、上述したステップS27においては、滞在場所は職場であると特定され、上述したステップS31においては、滞在場所はスポーツジムであると特定される。なお、滞在場所の種類が特定できない場合、処理部11は、第2条件が満たされてないと判定する。
【0196】
次に、処理部11は、特定された滞在場所が、活動情報を算出する場所であるか否かを判定する。ここで、携帯端末5は、活動情報を算出する場所の種類を予め記憶しておく。例えば、本実施形態においては、職場を含むいくつかの場所が記憶されており、スポーツジムは記憶されていないものとする。上記判定は、特定された滞在場所の種類が、予め記憶されている場所の種類のいずれかに一致するか否かによって行われる。特定された滞在場所が、活動情報を算出する場所であると判定された場合、処理部11は、上記第2条件が満たされたと判定する。一方、特定された滞在場所が、活動情報を算出する場所でないと判定された場合、処理部11は、上記第2条件が満たされないと判定する。例えば、上述したステップS27においては、滞在場所である職場は、活動情報を算出する場所であると判定され、第2条件が満たされたと判定される。一方、上述したステップS31においては、滞在場所であるスポーツジムは、活動情報を算出する場所でないと判定され、第2条件が満たされないと判定される。なお、他の実施形態においては、活動情報を算出する場所としてスポーツジムを登録しておくことによって、ユーザがスポーツジムに滞在したことに応じて活動情報が算出されるようにしてもよい。
【0197】
上記のように、本実施形態においては、活動情報を算出するか否かの判定は、位置情報(ステップS51で取得されたメモリに記憶された位置情報)に基づいて行われる。ここで、他の実施形態においては、この判定は、他の情報に基づいて行われてもよい。例えば、他の実施形態においては、ユーザのスケジュール情報に基づいて行われてもよい。例えば、仕事の終了時刻がスケジュール情報に登録されている場合、携帯端末5は、終了時刻になったことに応じて、活動情報を算出すると判定してもよい。
【0198】
上記ステップS52の判定結果が肯定である場合、ステップS53の処理が実行される。一方、上記ステップS52の判定結果が否定である場合、ステップS51の処理が再度実行される。すなわち、処理部11は、ステップS52において条件が満たされたと判定されるまで、ステップS51およびS52の処理を繰り返す。なお、ステップS51およびS52の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
【0199】
ステップS53において、処理部11は活動情報を算出する。
図13は、本実施形態において算出される活動情報の一例を示す図である。
図13は、
図10に示す行動をユーザが行った場合に算出される一連の活動情報を示している。
図13に示すように、本実施形態においては、活動情報は、活動内容と、活動量とを含む。また、上述したように、本実施形態においては、処理部11は、移動を示す活動情報と、場所に応じた活動(例えば仕事)を示す活動情報とを算出することが可能である。
【0200】
ここで、上記ステップS52において第1条件が満たされた場合、処理部11は、移動を示す活動情報(
図13における(a)、(c)、(d)の活動情報)を算出する。本実施形態において、移動を示す活動情報は、活動内容として移動方法と、活動量として移動量とを示す。すなわち、処理部11は、移動中に検出された位置情報から移動速度と移動経路とを算出し、移動速度と移動経路とに基づいて移動方法を特定する。例えば、移動速度が所定速度未満であれば、移動方法は徒歩であると特定される。また、移動速度が所定速度以上で、かつ、移動経路が道路上であれば、移動方法は車(バイク)であると特定される。また、移動速度が所定速度以上で、かつ、移動経路が鉄道の線路上であれば、移動方法は電車であると特定される。
【0201】
なお、移動中において移動速度が変化している場合には、複数種類の移動方法が特定されてもよい。例えば、移動の開始時においては移動速度が所定速度未満であって、途中から移動速度が所定速度以上となった場合には、移動方法は徒歩および車(あるいは電車)であると特定されてもよい。また、この場合、処理部11は、移動方法が徒歩である活動情報と、移動方法が車(あるいは電車)である活動情報という2種類の活動情報を算出するようにしてもよい。
【0202】
また、処理部11は、移動量として、移動中に取得された位置情報に対応する時刻情報に基づいて移動時間を算出することができる。なお、他の実施形態においては、処理部11は、移動量として、上記移動経路に基づいて移動距離を算出してもよい。
【0203】
上記ステップS52において第2条件が満たされた場合には、場所に応じた活動を示す活動情報(
図13における(b)の活動情報)が算出される。「場所に応じた活動」とは、ユーザの滞在場所から推測することができる活動であり、例えば、滞在場所が職場である場合における「仕事」や、滞在場所がレストランである場合における「食事」である。
【0204】
図13に示すように、場所に応じた活動を示す活動情報も、移動を示す活動情報と同様、活動内容と、活動量(活動時間)とを含む。活動内容は、上記滞在場所に基づいて算出される。具体的には、携帯端末5は、滞在場所(例えば職場)と活動内容(例えば仕事)とを関連付けたテーブルを記憶しておき、当該テーブルを用いて活動内容を特定する。したがって、例えばテーブルにおいて、滞在場所としての「職場」と、活動内容としての「仕事」とが関連付けられているとすると、上記ステップS27において、滞在場所が職場であると特定された場合には、活動内容が仕事であると特定される。
【0205】
また、活動時間は、例えば、滞在場所に滞在していた時間として算出することができる。この時間は、滞在場所にとどまっていた間に取得された位置情報に対応する時刻情報に基づいて算出することができる。
【0206】
以上のようにして、ステップS53において活動情報が算出される。1回のステップS53の処理においては、1つの活動情報が算出されて処理部11のメモリに記憶される。
【0207】
ステップS54において、処理部11は、上記ステップS53で算出された活動情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている活動情報を、通信部10によってサーバ3へ送信する。
【0208】
ステップS54の後、処理部11は、ステップS51の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS51〜S54の処理を繰り返し実行する。これによって、1日における所定のタイミング(例えば、
図11に示すステップS22,S27,S29,S33)で活動情報が算出されてサーバ3へ送信される。
【0209】
(環境情報算出処理)
図14は、環境情報算出処理の流れの一例を示すフローチャートである。環境情報算出処理は、環境センサ情報(気温および湿度)に基づいて、ユーザの周囲の環境を示す環境情報を算出する処理である。本実施形態においては、環境情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、環境情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に環境情報算出処理を実行する。
【0210】
まずステップS61において、処理部11は、環境情報の算出に用いる情報として、環境センサ情報を取得する。すなわち、処理部11は、環境センサ14から環境センサ情報として、温度センサによって検出される気温情報と、湿度センサによって検出される湿度情報とを取得する。取得された環境センサ情報は、処理部11のメモリに記憶される。
【0211】
ステップS62において、処理部11は、環境情報を算出するか否かの判定を行うための情報として、位置情報を取得する。ステップS62の処理は、位置情報を取得する上記ステップS51の処理と同様である。したがって、処理部11は、ステップS62を省略して、ステップS51において取得されてメモリに記憶されている位置情報を用いるようにしてもよい。
【0212】
ステップS63において、処理部11は、環境情報を算出する条件が満たされたか否かを判定する。上述のように、本実施形態においては、活動情報が算出されるタイミングで環境情報が算出される(
図11に示すステップS22,S27,S29,S33参照)。したがって、ステップS63の判定は、活動情報が算出されたか否かによって行うことができる。ステップS63の判定結果が肯定である場合、ステップS64の処理が実行される。一方、ステップS63の判定結果が否定である場合、ステップS61の処理が再度実行される。すなわち、処理部11は、ステップS63において条件が満たされたと判定されるまで、ステップS61〜S63の処理を繰り返す。なお、ステップS61〜S63の処理ループは、例えば所定時間に1回の割合で(ステップS51およびS42の処理ループと同じ割合でもよい)繰り返し実行される。
【0213】
ステップS64において、処理部11は、ステップS61で算出された環境センサ情報に基づいて環境情報を算出する。
図15は、本実施形態において算出される環境情報の一例を示す図である。
図15は、
図10に示す行動をユーザが行った場合に算出される一連の環境情報を示している。
図15に示すように、本実施形態においては、環境情報は、活動内容と、環境値とを含む。
【0214】
環境情報に含まれる活動内容は、当該環境情報に対応する活動情報に含まれる活動内容と同じである(
図15参照)。本実施形態においては、活動情報により示される活動をユーザが行う間における環境を示す環境情報が算出される。換言すれば、環境情報に含まれる活動内容は、環境センサ情報が検出された期間におけるユーザの活動を示す。ステップS64において、処理部11は、上記ステップS53で算出された活動内容を、環境情報における活動内容として設定する。
【0215】
環境情報に含まれる環境値は、環境値に関連付けられる活動内容に関する活動期間に取得された環境センサ情報から算出される値を示す。本実施形態においては、環境値は、活動期間における環境センサ情報によって示される各指標(気温および湿度)の平均値である(
図15参照)。すなわち、処理部11は、まず、活動情報に基づいて活動期間を特定する。活動期間は、活動情報により示される活動が開始された時点の時刻情報と、当該活動が終了された時点の時刻情報とに基づいて特定することができる。次に、処理部11は、活動期間に取得された複数の環境センサ情報をメモリから読み出し、各環境センサ情報に含まれる気温の平均値を算出し、当該各環境センサ情報に含まれる湿度の平均値を算出する。なお、環境値は、気温および湿度の平均値に限らず、環境センサ情報から算出される任意の値であってよい。例えば、環境センサ情報から暑さ指数(WBGT(Wet Bulb Globe Temperature))を算出可能である場合には、暑さ指数が環境値として算出されてもよい。
【0216】
他の実施形態においては、環境情報は、環境値に代えて(または環境値とともに)、活動期間に取得された各環境センサ情報の履歴情報を含んでいてもよい。履歴情報は、活動期間に取得された各環境センサ情報を全て含むものであってもよいし、当該各環境センサのうちの一部(例えば、所定時間に1つの割合となるように間引かれた環境センサ情報)を含むものであってもよい。環境情報が上記履歴情報を含む場合、サーバ3は、活動期間における環境(温度、湿度等)の変化を知ることができる。また、サーバ3は、環境情報に基づく評価結果をユーザに提示する際に、活動期間における環境の変化をユーザに提示してもよい。例えば、携帯端末5において評価結果(例えば、
図25に示す画像)が表示される際に、ユーザが所定の指示を行ったことに応じて(例えば、
図25に示す詳細ボタン56に対する入力が行われたことに応じて)、履歴情報に基づく情報(例えば、履歴情報を表す折れ線グラフ)が携帯端末5に表示されてもよい。
【0217】
なお、環境情報は、ユーザの周囲の環境を表す任意の情報でよい。すなわち、他の実施形態においては、携帯端末5は、天気に関する天気情報を取得して環境情報に含めてもよい。天気情報は、例えば、インターネットを介して外部装置から取得されてもよい。また例えば、携帯端末5は、気圧センサを備え、気圧センサによって検出される気圧情報に基づいて環境情報を生成してもよい。携帯端末5は、照度センサを備え、照度センサによって検出される照度情報に基づいて環境情報を生成してもよい。また例えば、携帯端末5は、マイクによって騒音を検出し、検出される騒音に基づいて環境情報を生成してもよい。このように、環境情報は、ユーザがいる場所の気温、湿度、天気、気圧、明るさ、および、騒音のうち少なくとも1つを示すものであってもよい。
【0218】
以上のようにして、ステップS64において活動内容と環境値とを含む環境情報が生成される。これによって、例えば、ユーザが移動中における環境を示す環境情報(
図15に示す(a)、(c)、(d)の環境情報)や、ユーザが特定の活動(例えば仕事)を行っている期間における環境を示す環境情報(
図15に示す(b))が算出される。1回のステップS64の処理においては、1つの環境情報が算出されて処理部11のメモリに記憶される。
【0219】
詳細は後述するが、本実施形態においては、サーバ3において環境情報に基づいて環境指標を算出する際に、活動情報が用いられる。そのため、本実施形態においては、活動情報を算出するとともに環境情報を算出するべく、処理部11は、活動情報が算出されたことを条件として環境情報を算出するようにしている(ステップS63)。また、処理部11は、活動情報に対応する活動期間において取得された環境センサ情報に基づいて環境情報を算出している(ステップS64)。
【0220】
ここで、他の実施形態においては、環境情報を算出するための条件は任意であり、活動情報に関する条件に限らない。また、環境情報を算出する対象となる期間は任意であり、上記活動期間に限らない。例えば、他の実施形態においては、携帯端末5は、所定の開始時刻から所定の終了時刻までの期間を対象として(当該期間に取得された環境センサ情報に基づいて)、当該終了時刻となったことを条件として、環境情報を算出してもよい。
【0221】
また、他の実施形態においては、携帯端末5は、位置検出部13によって検出される位置情報に基づいて、環境情報を算出するか否かを判定してもよい。例えば、携帯端末5は、ユーザが外出したことと、帰宅したこととを位置情報に基づいて判別し、外出期間(外出してから帰宅するまでの期間)を対象として、環境情報を算出してもよい。このとき、ユーザが帰宅したことを条件として環境情報が算出されてもよい。
【0222】
また、他の実施形態においては、携帯端末5は、ユーザのスケジュール情報に基づいて、環境情報を算出するか否かを判定してもよい。例えば、仕事の開始時刻および終了時刻がスケジュール情報に登録されている場合、携帯端末5は、当該開始時刻から終了時刻までの期間を対象として、環境情報を算出してもよい。このとき、終了時刻が到来したことを条件として環境情報が算出されてもよい。
【0223】
ステップS65において、処理部11は、上記ステップS64で算出された環境情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている環境情報を、通信部10によってサーバ3へ送信する。
【0224】
ステップS65の後、処理部11は、ステップS61の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS61〜S65の処理を繰り返し実行する。これによって、1日における所定のタイミング(例えば、
図10に示すステップS22,S27,S29,S33)で環境情報が算出されてサーバ3へ送信される。
【0225】
(感情情報算出処理)
図16は、感情情報算出処理の流れの一例を示すフローチャートである。感情情報算出処理は、携帯端末5の周囲の声(ユーザ自身の声および/または会話相手の声)、あるいは、ユーザの表情に基づいて、ユーザの感情を示す感情情報を算出する処理である。本実施形態においては、以下に示す感情情報算出処理は、携帯端末5のオンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、感情情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に感情情報算出処理を実行する。
【0226】
以上より、本実施形態においては、携帯端末5の待機状態(携帯端末5のディスプレイ17がオフにされた状態)においても、感情情報が算出されることがある。また、ユーザが携帯端末5の操作中であって、感情情報算出処理のためのプログラム以外の他のアプリケーションを実行している場合でも(当該他のアプリケーションのバックグラウンドで)感情情報が算出される。
【0227】
まずステップS71において、処理部11は、感情情報の算出に用いる情報の測定を開始するか否かを判定するための情報を取得する。ここで、本実施形態においては、感情情報の算出のために、マイク15による検出音、または、カメラ16による撮像画像が用いられる。ただし、マイク15やカメラ16による検出は、携帯端末5の状況によってはうまく行うことができず、感情を正しく算出することができない場合がある。例えば、携帯端末5がユーザのポケットや鞄の中に入れられた状況では、雑音が多くなるためマイク15によってユーザの音声等がうまく検出できないおそれがある。また、ユーザが声を発していない状況では、感情情報の算出に用いる情報を得ることができない。さらに、携帯端末5がユーザのポケットや鞄の中に入れられた状況、あるいは、机の上に置かれた状態では、カメラ16によってユーザの顔を撮像できないおそれがあると考えられる。
【0228】
したがって、本実施形態においては、携帯端末5は、マイク15およびカメラ16による測定を、適切な状況下で(感情情報をある程度正確に算出することできる状況下で)行う。すなわち、マイク15による検出およびカメラ16による撮像は、オンモード中において常に実行されるわけではなく、所定の測定条件が満たされたことに応じて開始される。ステップS71の処理は、この測定条件を判定するための情報を取得する処理である。具体的には、処理部11は、上述したスケジュール情報と、携帯端末5に対する操作を示す操作情報とを取得する。スケジュール情報は、携帯端末5の記憶部(メモリ等)から取得される。操作情報は、操作入力部12から取得される。
【0229】
ステップS72において、処理部11は、測定条件が満たされたか否かを判定する。本実施形態においては、測定条件は、マイク15による測定を開始するための条件(マイク条件)と、カメラ16による測定を開始するための条件(カメラ条件)との少なくとも一方が満たされたことである。マイク条件は、例えば所定のイベントが開始されたことである。なお、所定のイベントは、上述した「会議」の他、例えば、食事、仕事、あるいは、移動等であってもよい。ここでは、所定のイベントとして、「会議」を含む1以上の種類のイベントが予め定められているものとする。本実施形態においては、マイク条件は、スケジュール情報に基づいて判定される。すなわち、処理部11は、ステップS71で取得されたスケジュール情報を参照して、予め定められた所定のイベントのいずれかが開始される時刻になったか否かを判定する。処理部11は、イベントが開始される時刻になった場合、マイク条件が満たされたと判定し、イベントが開始される時刻になっていない場合、マイク条件が満たされていないと判定する。
【0230】
上記のように、本実施形態においては、所定のイベントが開始されたか否かの判定は、スケジュール情報に基づいて行われた。ここで、他の実施形態においては、上記判定は、他の情報に基づいて行われてもよい。例えば、他の実施形態においては、処理部11は、上記位置情報(および/または、位置情報から算出される活動情報)に基づいて上記判定を行ってもよい。例えば、処理部11は、ユーザがレストランに入ったことを位置情報に基づいて判別した場合、あるいは、「食事」を示す活動情報が算出された場合に、「食事」のイベントが開始されたと判定してもよい。
【0231】
また、他の実施形態においては、携帯端末5は、ユーザが携帯端末5を用いて通話を行っている期間においてマイク15による測定を行うようにしてもよい。すなわち、処理部11は、携帯端末5において通話が開始されたことを、マイク条件として用いてもよい。このとき、後述するステップS76においては、処理部11は、携帯端末5において通話が終了したことを条件として、測定を終了すると判定してもよい。これによれば、携帯端末5は、ユーザが携帯端末5によって通話している期間にユーザの声を検出することができ、当該期間における感情を判別することができる。
【0232】
また、カメラ条件は、ユーザによって携帯端末5に対する操作が開始されたことである。カメラ条件は、操作情報に基づいて判定される。すなわち、処理部11は、操作情報に基づいて、携帯端末5に対する何らかの操作が実行されたか否かを判定する。処理部11は、携帯端末5に対する何らかの操作が実行された場合、カメラ条件が満たされたと判定し、携帯端末5に対する操作が実行されていない場合、カメラ条件が満たされていないと判定する。なお、カメラ条件は、ユーザが携帯端末5を見ていること(換言すれば、カメラの撮像範囲にユーザが含まれること)を判別することができる任意の条件であってもよい。例えば、他の実施形態においては、カメラ条件は、携帯端末5において所定の情報処理(例えば、動画の再生処理)が開始されたことであってもよい。このとき、後述するステップS76において、処理部11は、動画の再生が終了したことを条件として、測定を終了すると判定してもよい。
【0233】
なお、他の実施形態においては、処理部11は、誤操作(例えば、ユーザが意図せずに携帯端末5のボタンを触ってしまった場合)、および/または、短期間の操作(例えば、ユーザが現在時刻を見るだけのために携帯端末5を操作した場合)に応じて条件が満たされることを防止するようにしてもよい。すなわち、処理部11は、所定期間において所定回数以上の操作があった場合、カメラ条件が満たされたと判定し、所定期間において所定回数以上の操作がなかった場合、カメラ条件が満たされていないと判定してもよい。
【0234】
上記ステップS72の判定結果が肯定である場合、ステップS73の処理が実行される。一方、上記ステップS72の判定結果が否定である場合、ステップS71の処理が再度実行される。すなわち、処理部11は、ステップS72において条件が満たされたと判定されるまで、ステップS71およびS72の処理を繰り返す。なお、ステップS71およびS72の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
【0235】
ステップS73において、処理部11は、感情情報を算出するための測定を開始する。すなわち、上記ステップS72において、マイク条件が満たされた場合、処理部11は、マイク15をオンにし、マイク15による検出を開始する。また、カメラ条件が満たされた場合、処理部11は、カメラ16をオンにし、カメラ16による検出(撮像)を開始する。
【0236】
ステップS74において、処理部11は、感情情報を算出するための情報を取得する。すなわち、マイク15による測定を行っている場合、処理部11は、マイク15によって検出された音データを取得し、メモリに記憶する。また、カメラ16による測定を行っている場合、処理部11は、カメラ16によって撮像された画像データを取得し、メモリに記憶する。本実施形態においては、測定期間(ステップS74の処理が開始されてから後述するステップS77において測定が終了されるまでの期間)中に取得された上記音データまたは画像(動画)データはメモリに蓄積され、測定期間の終了後(後述するステップS77)において、蓄積されたデータを用いて感情情報が算出される。
【0237】
ステップS75において、処理部11は、感情情報の算出に用いる情報の測定を終了するか否かを判定するための情報を取得する。すなわち、マイク15による検出を行っている場合、処理部11は、上述したスケジュール情報を取得する。また、カメラ16による検出を行っている場合、処理部11は、上述した操作情報を取得する。
【0238】
ステップS76において、処理部11は、測定を終了するか否かを判定する。すなわち、マイク15による検出を行っている場合、処理部11は、ステップS72において開始したと判定された所定のイベントが終了したか否かを判定する。すなわち、処理部11は、ステップS75で取得されたスケジュール情報を参照して、上記所定のイベントが終了される時刻になったか否かを判定する。処理部11は、イベントが終了される時刻になった場合、測定を終了すると判定する。一方、処理部11は、イベントが終了される時刻になっていない場合、測定を終了しない(継続する)と判定する。
【0239】
上記のように、本実施形態においては、マイク15による検出を行うか否かの判定は、所定のイベント期間中であるか否かによって行われた。ここで、他の実施形態においては、上記の判定は、ユーザが移動中であるか否かによって行われてもよい。例えば、携帯端末5が動きを検出可能なセンサ(加速度センサ等)を有する場合、携帯端末5は、加速度センサの検出結果に基づいてユーザが徒歩移動中であるか否かを判定し、徒歩移動中である場合には、マイク15による検出を行わないようにしてもよい。徒歩移動中においては、ユーザのポケットや鞄に携帯端末5が入っている状況が想定され、このような状況では、ユーザの声を精度良く検出することが難しいからである。
【0240】
また、カメラ16による検出を行っている場合、処理部11は、ユーザによる携帯端末5に対する操作が終了したか否かを判定する。この判定は、例えば、所定時間の間、携帯端末5に対する操作が行われなかったか否かによって行われる。処理部11は、携帯端末5に対する操作が終了したと判定される場合、測定を終了すると判定する。一方、処理部11は、携帯端末5に対する操作が終了していないと判定される場合、測定を終了しない(継続する)と判定する。
【0241】
上記のように、本実施形態においては、カメラ16による検出は、携帯端末5に対する操作が行われている期間に行われる。ここで、他の実施形態においては、上記期間であるか否かの判定は、操作情報に限らず、他の情報に基づいて行われてもよい。例えば、携帯端末5が、操作が行われていない期間はディスプレイ17が消灯され、操作が行われたことに応じてディスプレイ17が点灯する機能を有する場合、上記の判定は、ディスプレイ17の点灯されているか否かによって行われてもよい。また、上記の判定は、携帯端末5において所定のアプリケーションが起動されているか否かによって行われてもよい。
【0242】
ステップS76の判定結果が肯定である場合、ステップS77の処理が実行される。一方、上記ステップS76の判定結果が否定である場合、ステップS74の処理が再度実行される。すなわち、処理部11は、ステップS76において測定を終了すると判定されるまで、ステップS74〜S76の処理を繰り返す。なお、ステップS74〜S76の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
【0243】
ステップS77において、処理部11は、マイク15またはカメラ16による検出(測定)を終了し、感情情報を算出する。すなわち、直前のステップS74の処理においてマイク15によって検出される音が取得されている場合には、処理部11は、測定期間中に検出された音を用いて(すなわち、ユーザや周りの人の声に基づいて)感情情報を算出する。また、直前のステップS74の処理においてカメラ16によって撮像される画像が取得されている場合には、処理部11は、測定期間中に撮像された画像を用いて(すなわち、ユーザの表情に基づいて)感情情報を算出する。
【0244】
まず、マイク15によって検出される音を用いて感情情報を算出する方法の一例について説明する。本実施形態においては、まず処理部11は、測定期間中に検出された音の信号から、ユーザの声と、ユーザ以外の他の人(会話相手)の声とを識別する。ユーザおよび会話相手の音声を識別する方法は、従来の音声識別の技術が用いられてもよく、例えば、以下のように行われてもよい。すなわち、処理部11は、測定期間中に測定された音の信号から、無音の区間と、感情の判別が難しい区間(例えば、雑音が多い区間や、複数の声が重複している区間)とを除去する。そして、処理部11は、残りの音声区間について、ユーザの音声を含む区間であるか否かを判定する。この判定は、携帯端末5においてユーザの音声を予め登録(記憶)しておき、予め登録されたユーザの音声と、上記残りの音声区間における音声とを比較することで行うことができる。例えば、処理部11は、単位区間毎に両者に関する所定の特徴量について類似度を算出し、類似度が所定の閾値以上であれば、その単位区間はユーザの音声を含むと判断し、類似度が所定の閾値未満であれば、その単位区間は会話相手の音声を含むと判断してもよい。以上によって、測定期間中に測定された音の信号から、ユーザの音声を含む区間(ユーザ音声区間)と、会話相手の音声を含む区間(相手音声区間)とを抽出することができる。
【0245】
次に、処理部11は、抽出されたユーザの音声に基づいてユーザの感情の判別を行う。ユーザの音声に基づいて感情を判別する方法は、どのような方法であってもよく、従来における感情判別方法が用いられてもよい。本実施形態においては、例えば以下の方法で感情の判別が行われる。すなわち、処理部11は、上記ユーザ音声区間の音声信号について、所定の単位区間毎に特徴量を算出する。特徴量としては、例えば、強度、テンポ、および、抑揚が算出される。強度は、所定区間における振幅の大きさの平均として算出することができる。テンポは、単位時間における音素の数を算出することで得ることができる。抑揚は、文章の区切りを検出し、区切り内の音声について、特定の強度変化パターンを検出することで得ることができる。
【0246】
処理部11は、算出された上記特徴量に基づいて、感情を示す指標を算出する。なお、本実施形態においては、処理部11は、上記特徴量に基づいて、怒り、喜び、および悲しみという3種類の感情について、それぞれ指標を算出する。ここで、これらの感情は、上記の特徴量の変化から推定することができるので、処理部11は、上記特徴量(強度、テンポ、および抑揚)の変化を算出し、その変化量に基づいて各指標を算出する。本実施形態においては、携帯端末5は、感情の種類(怒り、喜び、および悲しみ)毎にそれぞれ、各特徴量の変化パターンを示すテーブルを記憶しておく。この変化パターンは、実験により(すなわち、実際に複数の被験者から音声を検出して特徴量を算出した結果に基づいて)作成されてもよい。処理部11は、各感情の種類について、テーブルにより示される変化パターンと、算出された特徴量の変化とを比較し、感情の種類毎に類似度を算出する。そして、類似度が高い感情の種類については、指標の値が高くなり、類似度が低い感情の種類については、指標の値が低くなるように、各指標が算出される。例えば、「怒り」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が高く、「喜び」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が低く、「悲しみ」に関するテーブルにより示される変化パターンと算出された特徴量の変化との類似度が中程度である場合、“怒り:80,喜び:10,悲しみ:50”といった指標が算出される。以上のようにして、ユーザの音声に基づくユーザの感情を示す指標が算出される。
【0247】
また、本実施形態においては、処理部11は、ユーザの音声と同様に、会話相手の音声についても、感情を示す指標を算出する。すなわち、処理部11は、上記と同様の算出方法によって、会話相手の感情を示す指標が算出される。
【0248】
ここで、会話相手の感情から、ユーザ本人の感情を推測することも可能である。例えば、会話相手が怒っている場合、ユーザは怒られている(と推測できる)ので、ユーザは「憎しみ(嫌悪)」の感情を持つと考えられる。また、会話相手が喜んでいる場合、ユーザは「楽しみ」の感情を持つと考えられる。
【0249】
したがって、本実施形態においては、処理部11は、会話相手の感情に基づいて、ユーザの感情を示す指標を算出する。具体的には、会話相手について算出される「怒り」および「喜び」の各指標に応じて、ユーザの「憎しみ」および「楽しみ」を示す指標をそれぞれ算出する。ユーザの憎しみを示す指標は、会話相手の怒りの指標の数値が大きいほど大きくなるように算出される。また、ユーザの楽しみを示す指標は、会話相手の喜びの指標の数値が大きいほど大きくなるように算出される。なお、本実施形態においては、会話相手の感情の種類と、それから算出されるユーザの感情の種類とは異なっているが、他の実施形態においては、会話相手の感情の種類と、それから算出されるユーザの感情の種類とは同じであってもよい。例えば、処理部11は、会話相手の悲しみの指標に基づいて、ユーザの悲しみの指標を算出(補正)してもよい。
【0250】
以上のようにして、本実施形態においては、特徴量が算出される単位である上記所定の単位区間毎に、怒り、喜び、悲しみ、憎しみ、楽しみの5種類の感情を示す指標が算出される。処理部11は、各単位区間における各指標に基づいて、1回の測定期間における感情情報を算出する。例えば、本実施形態においては、処理部11は、上記5種類の指標についてそれぞれ、各単位区間の平均値を算出する。処理部11は、このようにして算出された、5種類の指標の平均値を含む情報を感情情報とする。つまり、本実施形態においては、上記5種類の感情を示す感情情報が算出される。
【0251】
なお、感情情報の具体的な内容はこれに限らず、任意である。例えば、他の実施形態においては、感情情報は、上記5種類のうちのいくつかの指標を示すものであってもよいし、上記5種類とは異なる感情の種類(例えば、驚き、恐怖、愛しみ等)を示すものであってもよい。また、感情情報は、複数の数値を示すものに限らず、1種類の数値を示すものであってもよい。例えば、感情情報は、感情の高ぶり(落ち込み)を示すスカラー値を示すものであってもよい。また、感情情報は、肯定的な種類の感情(喜び、楽しみ等)の度合いを表す指標と、否定的な種類の感情(怒り、悲しみ等)の度合いを表す指標との2種類の指標を示すものであってもよい。
【0252】
また、他の実施形態においては、携帯端末5は、ユーザの声および会話相手の声に加えて(または代えて)、周囲の音(声)に基づいてユーザの感情を判別してもよい。すなわち、携帯端末5は、ユーザの周囲の雰囲気に応じた(当該ユーザの)感情を判別してもよい。例えば、携帯端末5は、ユーザの周囲における笑い声を検出した場合に、ユーザは楽しい環境にいると推測し、ユーザは喜んでいると判別する(例えば、喜びを示す指標を高く算出する)ようにしてもよい。また、携帯端末5は、ユーザの周囲における叫び声や怒号を検出した場合に、ユーザは緊張した環境にいると推測し、ユーザは緊張していると判別する(例えば、緊張を示す指標を高く算出する)ようにしてもよい。
【0253】
次に、カメラ16によって撮像される画像を用いて感情情報を算出する方法の一例について説明する。ここで、本実施形態においては、カメラ16は内向きに取り付けられ、また、携帯端末5が操作している時にカメラ16による撮像が行われるので、撮像画像にはユーザの顔が含まれていると考えられる。そのため、まず処理部11は、カメラ16による撮像画像に対する画像認識処理によってユーザの顔のいくつかの特徴点(例えば、目、口、眉、およびほお骨)を特定する。特徴点は、従来の画像認識処理によって算出されてもよい。なお、処理部11は、測定期間中に取得された撮像画像のうち、所定時間間隔で取得される1以上の撮像画像(取得された撮像画像の全部でもよいし一部でもよい)について、各特徴点を算出する。
【0254】
次に、処理部11は、各特徴点に基づいてユーザの感情を判別する。本実施形態においては、各特徴点の位置と特徴点の変化とに基づいて感情が判別される。具体的には、携帯端末5は、平常時におけるユーザの表情を予めカメラ16によって撮像しておくことによって、ユーザの平常時における各特徴点の位置を予め登録しておく。処理部11は、算出された各特徴点について、平常時からの変化(変化方向および変化量)と変化の速度とを算出する。
【0255】
ここで、携帯端末5は、上記変化および変化速度と、その場合の感情の種類(怒り、喜び、または、悲しみ)とを関連付けたテーブルを予め記憶しておく。このテーブルは、実験により(すなわち、実際に複数の被験者について、感情の種類毎の顔の画像から上記変化および変化速度を算出した結果に基づいて)作成されてもよい。処理部11は、上記テーブルを参照して、算出された各特徴点の変化および変化速度に応じた感情を表す指標を算出する。具体的には、算出された各特徴点の変化および変化速度と、テーブルが示す感情の種類毎の変化および変化速度との類似度を算出し、感情の種類毎に類似度に応じた指標を算出する。例えば、「怒り」の感情について類似度が高く算出された場合、怒りの指標が高く算出される。これによって、ユーザの表情に基づいて感情を算出する場合においても、音声に基づいて感情を算出する場合と同様、感情の種類毎に、例えば“怒り:80,喜び:10,悲しみ:50”といった指標が算出される。
【0256】
以上のようにして、1つの撮像画像から認識されるユーザの顔について、上記3種類の指標が算出される。処理部11は、上記所定時間間隔で取得される各撮像画像についてそれぞれ算出される3種類の指標に基づいて、測定期間における感情情報を算出する。例えば、本実施形態においては、各撮像画像についてそれぞれ算出される3種類の指標について、指標毎の平均値を算出する。処理部11は、このようにして算出された3種類の指標の平均値を含む情報を感情情報とする。つまり、本実施形態においては、上記3種類の感情を示す感情情報が算出される。
【0257】
上記のように、本実施形態においては、撮像画像を用いて感情を判別する場合、「怒り」、「喜び」、および「悲しみ」の3種類の感情について指標を含む感情情報が算出される。なお、他の実施形態においては、上記3種類のうちのいくつかの指標を示すものであってもよいし、上記3種類とは異なる感情の種類(例えば、憎しみ、楽しみ、驚き、恐怖、愛しみ等)を示すものであってもよい。例えば、音声を用いて感情を判別する場合と同じ5種類の指標が算出されてもよい。また、撮像画像を用いる場合も音声を用いる場合と同様、感情情報は、複数の数値を示すものに限らず、1種類の数値を示すものであってもよいし、肯定的な種類の感情の度合いを表す指標と、否定的な種類の感情の度合いを表す指標との2種類の指標を示すものであってもよい。
【0258】
ステップS78において、処理部11は、感情情報をサーバ3へ送信する。すなわち、処理部11は、ステップS77で算出されてメモリに記憶されている感情情報を、通信部10によってサーバ3へ送信する。
【0259】
ステップS78の後、処理部11は、ステップS71の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS71〜S78の処理を繰り返し実行する。これによって、1日における所定のイベントが行われたことに応じて(例えば、
図11に示すステップS25)で感情情報が算出されてサーバ3へ送信される。
【0260】
なお、本実施形態においては、携帯端末5は、所定のイベントが終了した後で、当該イベントの期間におけるユーザの感情を示す感情情報を算出した。ここで、他の実施形態においては、携帯端末5は、イベント中に感情情報を逐次算出してもよい。例えば、携帯端末5は、ユーザの音声の特徴量が算出される単位である上記所定の単位区間毎に感情情報を算出してもよい。また、このとき、携帯端末5は、算出された感情情報をサーバ3へ逐次送信してもよい。これによれば、携帯端末5は、リアルタイムで感情情報を算出することができ、サーバ3は、感情情報に基づく評価に応じたネットワークサービスをリアルタイムでユーザに提供することも可能である。
【0261】
(感情情報算出処理の他の例)
次に、感情情報算出処理の他の例について説明する。上述した本実施形態における感情情報算出処理においては、マイク15およびカメラ16による測定を適切な状況下で行うべく、スケジュール情報に基づいて所定のイベントが行われる期間を特定し、特定される期間において測定を行った(ステップS72〜S76)。ここで、他の実施形態においては、感情情報を算出するための情報を検出(測定)する期間は、他の情報に基づいて特定されてもよい。例えば、携帯端末5は、所定のイベントが行われる期間を、マイク15による検出を間欠的に行うことによって特定するようにしてもよい。以下、感情情報算出処理の他の一例として、マイク15による検出を間欠的に行う例について説明する。
【0262】
図17は、感情情報算出処理の流れの他の一例を示すフローチャートである。
図17に示す処理も
図16に示す処理と同様、携帯端末5のオンモード中において継続的に実行される。
【0263】
まずステップS81において、処理部11は、所定時間だけマイク15による検出を実行する。すなわち、処理部11は、マイク15をオンにし、上記所定時間(例えば、3秒)マイク15による検出を行った後、マイク15をオフにする。これによって、処理部11は、所定時間分の音を取得する。
【0264】
ステップS82において、処理部11は、ステップS81で取得された検出音に基づいて、感情情報を算出するための測定を開始するための測定条件が満たされたか否かを判定する。具体的には、処理部11は、上記検出音に、感情情報の算出に用いる音(例えば、ユーザの声または会話相手の声)が含まれているか否かを判定する。当該音が含まれている場合、測定条件が満たされたと判定され、当該音が含まれていない場合、測定条件が満たされていないと判定される。ステップS82の判定結果が否定となる場合、ステップS83の処理が実行される。一方、ステップS82の判定結果が肯定となる場合、後述するステップS84の処理が実行される。
【0265】
ステップS83において、処理部11は、所定の第1時間(例えば、10秒)だけ待機する。そして、第1時間が経過した後、処理部11はステップS81の処理を再度実行する。したがって、測定条件が満たされるまでの間、処理部11は、上記第1時間の間隔でマイクによる検出(ステップS81)を行う。
【0266】
一方、ステップS84において、処理部11は、感情情報を算出するための測定を開始する。ステップS84の処理は、上述したステップS73の処理と同様である。
【0267】
ステップS85において、処理部11は、感情情報を算出するための情報を取得する。すなわち、マイク15による測定を行う場合における上記ステップS74の処理と同様、処理部11は、マイク15によって検出された音データを取得し、メモリに記憶する。上記ステップS81においては、マイク15によって音が間欠的に検出されたのに対して、ステップS85においては、音が連続的に検出される。
【0268】
ステップS86において、処理部11は、測定を終了するか否かを判定する。
図17に示す例においては、この判定は、ステップS85において検出される音に基づいて行われる。具体的には、現在から所定時間(例えば、1分)前までの検出音に、感情情報の算出に用いる音(ユーザの声または会話相手の声)が含まれていない場合、測定を終了すると判定する。一方、現在から上記所定時間前までの検出音に、感情情報の算出に用いる音が含まれている場合、測定を終了しないと判定する。ステップS86の判定結果が肯定である場合、ステップS87の処理が実行される。一方、ステップS86の判定結果が否定である場合、ステップS85の処理が再度実行される。以降、ステップS86において測定を終了すると判定されるまで、ステップS85〜S86の処理が繰り返し実行される。ステップS85〜S86の処理ループが繰り返し実行される場合、処理部11は、マイク15による検出音が時間的に連続するように当該検出音を取得する。つまり、上記処理ループによって、測定期間中における音が連続して検出されることになる。ただし、他の実施形態においては、測定期間中において、上記第1時間よりも短い第2時間の間隔を空けて断続的に音が検出されてもよい。
【0269】
ステップS87において、処理部11は感情情報を算出する。ステップS87において感情情報を算出する処理は、上記ステップS77においてマイク15による検出音に基づいて感情情報を算出する処理と同様である。ただし、
図17に示す例においては、測定期間(上記ステップS84の処理が開始されてからステップS87において測定が終了されるまでの期間)の長さが、感情情報を算出するのに十分な長さでない場合があり得る。したがって、処理部11は、測定期間の長さ(換言すれば、測定期間中に検出された音の長さ)が所定時間未満である場合には感情情報を算出せず、測定期間の長さが所定時間以上である場合に感情情報を算出するようにしてもよい。続くステップS88において、処理部11は、上記ステップS78と同様に、感情情報をサーバ3へ送信する。
【0270】
ステップS88の後、処理部11は、ステップS81の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS81〜S88の処理を繰り返し実行する。これによって、1日のうちで、感情情報を算出するための情報(ユーザの音声等)が検出可能な期間についてマイク15による測定が実行され、当該期間について感情情報が算出される。
【0271】
なお、上記においては、マイク15による検出音を用いて感情情報を算出する場合に、マイク15の測定期間を設定する方法ついて説明した。ここで、カメラ16による撮像画像を用いて感情情報を算出する場合についても、
図17に示す方法と同様の方法で、カメラ16による測定期間(撮像を行う期間)を設定することができる。すなわち、処理部11は、ステップS81およびS85において、カメラ16による撮像画像を取得する。また、上記ステップS82において、処理部11は、撮像画像にユーザの顔が含まれているか否かを判定する。また、上記ステップS86において、処理部11は、現在から所定時間前までの撮像画像にユーザの顔が含まれている場合、測定を終了しないと判定し、当該撮像画像にユーザの顔が含まれていない場合、測定を終了すると判定する。以上によって、カメラ16による撮像画像を用いて感情情報を算出する場合において、感情情報を算出可能な期間に応じて測定期間を設定することができる。
【0272】
(嗜好情報算出処理)
図18は、嗜好情報算出処理の流れの一例を示すフローチャートである。嗜好情報は、ユーザによる携帯端末5に対する入力、あるいは、ユーザの位置(活動)に基づいて、ユーザの嗜好を示す嗜好情報を算出する処理である。本実施形態においては、嗜好情報算出処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、嗜好情報算出処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に嗜好情報算出処理を実行する。
【0273】
まずステップS91において、処理部11は、嗜好情報の算出に用いる情報を取得する。本実施形態においては、処理部11は、位置検出部13によって検出される位置情報と、操作入力部12に対するユーザの入力情報(ユーザ入力情報)とを取得する。取得された情報は、処理部11のメモリに記憶される。
【0274】
ステップS92において、処理部11は、嗜好情報を算出するための算出条件が満たされたか否かを判定する。この算出条件は、位置に関する条件(位置条件)と、ユーザの入力に関する条件(ユーザ入力条件)とを含む。位置条件およびユーザ入力条件のいずれか一方が満たされた場合、算出条件が満たされたと判定される。
【0275】
本実施形態において、位置条件は、ユーザが、嗜好情報を算出する特定の場所(その場所からユーザの嗜好を推測できる場所)に滞在したことである。すなわち、処理部11は、位置検出部13による検出位置に基づいて、ユーザがある場所に滞在していたか否かを判定する。なお、この判定は、上記“(活動情報算出処理)”において説明した第2条件が満たされたか否かの判定と同様に行うことができる。ユーザがある場所に滞在していたと判定される場合、処理部11は、滞在場所の種類を特定し、特定された滞在場所(の種類)について、嗜好情報の算出が可能か否かを判定する。上述のように、携帯端末5は、場所(施設)と、嗜好情報により示されるジャンルとを関連付けたテーブルを予め記憶している。処理部11は、特定された滞在場所が上記テーブルに含まれるか否かによって、嗜好情報の算出が可能か否かを判定する。嗜好情報の算出が可能であると判定された場合、処理部11は、位置条件が満たされたと判定する。一方、(a)ユーザがある場所に滞在していないと判定される場合、(b)特定された滞在場所が上記テーブルに含まれていない場合、または、(c)滞在場所の種類を特定できない場合には、処理部11は、位置条件が満たされていないと判定する。例えば、上述したステップS31においては、ユーザがスポーツジムに滞在していると判別され、スポーツジムは上記テーブルに含まれるので、位置条件が満たされたと判定される。一方、上述したステップS27においては、ユーザが職場に滞在していると判別され、職場は上記テーブルに含まれないので、位置条件が満たされていないと判定される。
【0276】
また、ユーザ入力条件は、嗜好を推測可能な情報が入力されたことである。具体的には、本実施形態においては、検索サイトにおいて、嗜好情報を推測することが可能な特定の検索ワードが入力された場合、処理部11は、ユーザ入力条件が満たされたと判定する。すなわち、処理部11は、ステップS91で取得された入力に検索ワードの入力が含まれている場合、当該検索ワードが嗜好情報を算出可能なものか、すなわち、ユーザの嗜好を推測可能な語句であるか否かを判定する。ここで、携帯端末5は、語句と、当該語句に対する嗜好のジャンル(嗜好情報によって示されるジャンル)とを関連付けたテーブルを記憶しておく。処理部11は、入力された検索ワードが上記テーブルに記述される語句を含むか否かを判定する。入力された検索ワードが上記テーブルに記述される語句を含む場合、処理部11は、入力された検索ワードから嗜好情報を算出可能と判断し、ユーザ入力条件が満たされたと判定する。一方、ステップS91で取得された入力に検索ワードの入力が含まれていない場合、あるいは、入力された検索ワードが上記テーブルに記述される語句を含まない場合、処理部11は、ユーザ入力条件が満たされないと判定する。
【0277】
上記ステップS92の判定結果が肯定である場合、ステップS93の処理が実行される。一方、上記ステップS92の判定結果が否定である場合、ステップS91の処理が再度実行される。すなわち、処理部11は、ステップS92において算出条件が満たされたと判定されるまで、ステップS91およびS92の処理を繰り返す。なお、ステップS91およびS92の処理ループは、例えば所定時間に1回の割合で繰り返し実行される。
【0278】
ステップS93において、処理部11は嗜好情報を算出する。ここで、上記ステップS92において位置条件が満たされた場合、処理部11は、ステップS91で取得された位置情報に基づいて(より具体的には、位置情報から算出される滞在場所に基づいて)嗜好情報を算出する。すなわち、処理部11は、場所と嗜好のジャンルとを関連付けたテーブルにおいて、位置情報から特定された滞在場所に関連付けられるジャンルを特定する。処理部11は、特定されたジャンルを示す嗜好情報を算出する。
【0279】
また、上記ステップS92においてユーザ入力条件が満たされた場合、処理部11は、ステップS91で取得されたユーザ入力情報に基づいて嗜好情報を算出する。すなわち、処理部11は、語句と嗜好のジャンルとを関連付けたテーブルにおいて、ユーザ入力情報から特定される検索ワードに含まれる語句に関連付けられるジャンルを特定する。処理部11は、特定されたジャンルを示す嗜好情報を算出する。
【0280】
以上のようにして、ステップS93において嗜好情報が算出される。1回のステップS93の処理においては、1つの嗜好情報が算出されて処理部11のメモリに記憶される。
【0281】
ステップS94において、処理部11は、上記ステップS93で算出された嗜好情報をサーバ3へ送信する。すなわち、処理部11は、メモリに記憶されている嗜好情報を通信部10によってサーバ3へ送信する。
【0282】
上記のように、本実施形態においては、嗜好情報は位置情報に基づいて算出される。なお、他の実施形態においては、嗜好情報は、活動情報に基づいて算出されてもよい。すなわち、携帯端末5は、位置情報から活動情報(例えば、スポーツジムで運動したことを示す活動情報)を算出し、活動情報に基づいて嗜好情報を算出してもよい。
【0283】
また、本実施形態においては、携帯端末5は、検索サイトにおいて入力された検索ワードに基づいて嗜好情報を算出した。他の実施形態においては、嗜好情報は、他のユーザ入力情報に基づいて算出されてもよい。例えば、携帯端末5は、ユーザがあるウェブページを閲覧する入力を行った場合、ウェブページの内容(例えば、ウェブページにおけるキーワード)に基づいてユーザの嗜好を判別してもよい。また例えば、SNS(ソーシャルネットワーキングサービス)のウェブページにおいていわゆる「いいね」ボタンを押した場合、携帯端末5は、当該ウェブページの内容に基づいてユーザの嗜好を判別してもよい。
【0284】
また、他の実施形態においては、嗜好情報は、上記以外の他の情報に基づいて算出されてもよい。例えば、嗜好情報は、携帯端末5に記憶されているユーザのプロフィール情報(年齢、子供の有無、未婚/既婚、家族構成、性別、収入、趣味等)に基づいて算出されてもよい。また、嗜好情報は、携帯端末5において実行されるアプリケーションに基づいて算出されてもよい。例えば、携帯端末5は、自機で実行されるアプリケーションの種類(例えば、ゲームアプリ等)に基づいてユーザの嗜好(ユーザが興味のあるジャンル)を判別することも可能である。
【0285】
(情報提示処理)
図19は、情報提示処理の流れの一例を示すフローチャートである。情報提示処理は、サーバ3で生成される情報(ネットワークサービスに係る情報)をユーザに対して提示する(画像および/または音を出力する)処理である。本実施形態においては、情報提示処理は、オンモード中において継続的に実行される。すなわち、処理部11のCPUは、携帯端末5の動作モードがオンモードとなったことに応じて、情報提示処理のためのプログラムの実行を開始し、動作モードがオフモードになるまで継続的に情報提示処理を実行する。
【0286】
まずステップS101において、処理部11は、ユーザから入力を受け付ける。すなわち、操作入力部12に対して行われた入力を示す情報を操作入力部12から取得する。ここで、本実施形態においては、サーバ3は、ネットワークサービスを提供するためのウェブサイトを管理する。ユーザは、このウェブサイトに携帯端末5を用いてアクセスすることによって、サーバ3による評価結果を閲覧したり、サーバ3から提示されるリコメンド情報に関する商品等の購入を行ったりすることができる。上記ステップS101においては、処理部11は、上記ウェブサイトに対する各種の要求を行うための入力を受け付ける。この要求とは、例えば、ウェブサイトにログインする要求、ウェブサイト内のウェブページ(評価結果を示すページ、および、商品等の購入を行うページを含む)を閲覧する要求、ならびに、商品等を購入する要求等である。情報提示処理を実行するためのプログラムは、サーバ3によるネットワークサービスを受けるための専用アプリケーションの一部であってもよいし、ウェブページを閲覧するための汎用のブラウザアプリケーションの一部であってもよい。
【0287】
ステップS102において、処理部11は、ステップS101で受け付けた入力に応じた処理を実行する。例えば、ウェブサイトにログインする要求が行われた場合、処理部11は、サーバ3に対してログインの要求を行う。また例えば、ウェブサイト内のウェブページを閲覧する要求が行われた場合、処理部11は、要求に係るウェブページの取得をサーバ3に対して要求する。具体的には、処理部11は、上記の要求を示す情報を、通信部10にサーバ3へ送信させる。
【0288】
上記の要求に応じて、サーバ3は、要求に応じた処理を実行する(後述するステップS119)。例えば、ログインの要求を受け付けた場合、サーバ3は、ログイン用の画像(ウェブページ)の情報を携帯端末5へ送信する。また例えば、ウェブページの取得の要求を受け付けた場合、サーバ3は、当該ウェブページの情報を携帯端末5へ送信する。
【0289】
上記ステップS101およびS102の処理は、ウェブページを提供するサーバに対して各種の要求を行うための従来の処理と同様の方法で行われてもよい。
【0290】
ステップS103において、処理部11は、ネットワークサービスに関する情報をサーバ3から受信したか否かを判定する。ステップS103の処理においてサーバ3から受信される情報は、上記ステップS102における要求に対してサーバ3から送信されてくる情報、あるいは、上述した、サーバ3がネットワークサービスを提供するタイミング(
図11に示すステップS36)でサーバ3から送信されてくる情報(すなわち、サービスデータ)である。ステップS103の判定結果が肯定である場合、ステップS104の処理が実行される。一方、ステップS103の判定結果が否定である場合、ステップS101の処理が再度実行される。
【0291】
ステップS104において、処理部11は、サーバ3から受信した情報をユーザに提示する。すなわち、処理部11は、通信部10によってサーバ3から受信した情報に基づいて、ウェブページ等の画像をディスプレイ17に表示したり、音声をスピーカ18から出力したりする。なお、他の実施形態においては、携帯端末5は、出力装置として振動モータを備えていてもよく、このとき、サーバ3から送信されてくるサービスデータは、携帯端末5の振動を制御する内容を含んでいてもよい。すなわち、携帯端末5は、サービスデータに係る画像、音、および/または振動を出力するものであってもよい。
【0292】
ステップS104の次に、処理部11は、ステップS101の処理を再度実行する。以降、動作モードがオフモードに変更されるまで、処理部11は、ステップS101〜S104の処理を繰り返し実行する。これによって、ユーザは、1日におけるユーザの所望のタイミングで、サーバ3から提供される情報を閲覧することができるとともに、1日における所定のタイミング(
図11に示すステップS36)でサーバ3からプッシュで携帯端末5に情報が提供される。
【0293】
[5.サーバにおける動作]
次に、サーバ3で実行される処理の具体例について説明する。上述のように、携帯端末5は各種のQOL要素情報をサーバ3へ送信する。サーバ3は、QOL要素情報に基づいてユーザの状態(QOL等)を評価し、評価結果に応じたネットワークサービスを提供する。以下、サーバ3において実行される処理の詳細について説明する。
【0294】
図20は、サーバにおいて実行される処理の流れの一例を示すフローチャートである。
図20に示すフローチャートは、携帯端末5のモードによらず(すなわち、覚醒期間であるか睡眠期間であるかによらず)継続的に実行される。
【0295】
まずステップS111において、サーバ3は、携帯端末5からQOL要素情報を受信したか否かを判定する。上述のように、携帯端末5は、適宜のタイミングでQOL要素情報をサーバ3へ送信する(
図4に示すステップS19、
図12に示すステップS54、
図14に示すステップS65、
図16に示すステップS78、
図18に示すステップS94)。これに応じて、サーバ3は携帯端末5からのQOL要素情報を受信し、このとき、ステップS111の判定結果が肯定となる。ステップS111の判定結果が肯定となる場合、ステップS112の処理が実行される。一方、ステップS111の判定結果が否定となる場合、ステップS112の処理がスキップされて、後述するステップS113の処理が実行される。
【0296】
ステップS112において、サーバ3は、携帯端末5から受信したQOL要素情報をユーザ毎に記憶(蓄積)する。すなわち、サーバ3は、ユーザに関する各種情報を示すユーザデータを、受信したQOL要素情報を含むように更新する。ここで、サーバ3において記憶されるユーザデータについて説明する。
【0297】
図21は、本実施形態におけるサーバにおいて記憶されるユーザデータのデータ構成の一例を示す図である。
図21には、1人のユーザについてサーバ3に記憶されるユーザデータを示している。図示しないが、サーバ3は、ネットワークサービスにおける各ユーザについてそれぞれ、
図21に示すユーザデータと同様のデータを所定の記憶部に記憶している。
【0298】
図21に示すように、ユーザデータは、ユーザ識別データ、通知ユーザデータ、ユーザ状態データ、評価結果データ、および、特典データを含む。サーバ3においては、これら5種類のデータの組がユーザ毎に蓄積される。なお、ユーザデータは、これら5種類のデータ以外に他のデータを含んでいてもよいし、これら5種類のデータのうちの一部のデータを含んでいなくてもよい。
【0299】
ユーザ識別データは、ユーザを識別するための識別情報(IDやパスワード等)を示すデータである。本実施形態においては、ユーザに対するネットワークサービスを開始する際に実行される所定の登録処理において、上記識別情報が設定され、設定された識別情報を示すユーザ識別データがサーバ3に記憶される。
【0300】
通知ユーザデータは、ユーザ識別データが示すユーザに関する評価結果(またはそれに基づく情報)を提示する他のユーザ(「通知対象ユーザ」と呼ぶ。)を示すデータである。具体的には、通知ユーザデータは、上記通知対象ユーザの識別情報(例えばID)を示す。上述したように、本実施形態においては、あるユーザに関する評価結果に応じたネットワークサービスに係るサービスデータが、評価対象であるユーザ(本人)の他に、他のユーザの端末へ送信される。通知ユーザデータは、サービスデータを送信する他のユーザを示すものである。なお、通知対象ユーザは、ネットワークサービスを受けることができるユーザでなくてもよい。このとき、通知ユーザデータは、サービスデータを送信する送信先を表す情報(例えば、通知対象ユーザが用いる端末のメールアドレス等)を示すものであってもよい。
【0301】
ユーザ状態データは、ユーザの各種の状態を示すデータである。
図21に示すように、本実施形態においては、ユーザ状態データは、健康データ、活動データ、環境データ、感情データ、および、嗜好データを含む。
【0302】
健康データは、ユーザの携帯端末5から取得された健康情報を示すデータである。活動データは、ユーザの携帯端末5から取得された活動情報を示すデータである。環境データは、ユーザの携帯端末5から取得された環境情報を示すデータである。感情データは、ユーザの携帯端末5から取得された感情情報を示すデータである。これら4つのデータは、それぞれ、これまでに取得されたQOL要素情報のうちの複数のQOL要素情報を含む。具体的には、本実施形態においては、上記4つのデータは、例えば、最新のものから過去に所定の保存期間(例えば、3月)に取得されたQOL要素情報を示す。したがって、上記ステップS111で健康情報、活動情報、環境情報、または感情情報が受信された場合、ステップS112において、サーバ3は、受信された情報を含む内容となるように、上記4つのデータのうちで、当該受信された情報に対応するデータを更新する。
【0303】
なお、サーバ3は、上記4つのデータに関する上記保存期間は同じであるとする。これによって、サーバ3は、上記保存期間におけるQOL要素情報に基づいてユーザの総合評価を行うことができる。なお、他の実施形態においては、上記4つのデータに関する上記保存期間の長さは任意であり、それぞれ異なっていてもよい。
【0304】
また、嗜好データは、ユーザの携帯端末5から取得された嗜好情報を示すデータである。本実施形態においては、嗜好データは、これまでに取得された嗜好情報に基づいて判断される、ユーザが興味を持っているジャンルを示す。具体的には、嗜好データは、上述した嗜好の各ジャンルのそれぞれについて、ユーザの興味の有無を示す。
【0305】
したがって、上記ステップS111で嗜好情報が受信された場合、ステップS112において、サーバ3は、受信された情報を反映した内容となるように嗜好データを更新する。例えば、あるジャンルを示す嗜好情報が取得された場合、サーバ3は、当該ジャンルに興味があることを示す内容となるように、必要に応じて嗜好データを更新する。なお、嗜好データは、これまでに取得された嗜好情報に基づいて生成されればよく、取得された最新の嗜好情報がすぐに反映されていなくてもよい。例えば、サーバ3は、所定期間(例えば1月)に所定回数(例えば、5回)以上、同じジャンルを示す嗜好情報が取得された場合に、当該ジャンルに興味があることを示す内容となるように嗜好データを更新してもよい。
【0306】
また、他の実施形態においては、嗜好データは、上記健康データ等と同様、最新のものから過去に所定の保存期間(例えば、3月)に取得された嗜好情報を示すものであってもよい。
【0307】
なお、サーバ3には、ユーザ状態データに加えて、ユーザ状態データが表す情報を算出するために用いられた情報が記憶されてもよい。すなわち、携帯端末5は、QOL要素情報を送信するとともに、QOL要素情報を算出するために用いられた情報をサーバ3へ送信してもよく、サーバ3は、受信した当該情報を記憶してもよい。また、サーバ3に記憶される、QOL要素情報を算出するために用いられた情報は、例えば後述するステップS119の処理(サーバ3から携帯端末5へ情報を送信する処理)によって携帯端末5においてユーザに提示されてもよい。
【0308】
なお、
図21に示す評価結果データおよび特典データの詳細については後述する。
【0309】
図20の説明に戻り、ステップS113において、サーバ3は、上記評価タイミングが到来したか否かを判定する。本実施形態においては、この判定は、予め定められた所定時刻になったか否かによって行われる。ステップS113の判定結果が肯定である場合、ステップS114〜S117の一連の処理が実行される。一方、ステップS113の判定結果が否定である場合、ステップS114〜S117の一連の処理がスキップされ、後述するステップS118の処理が実行される。
【0310】
ステップS114において、サーバ3は、携帯端末5から取得されたQOL要素情報に基づいてユーザの評価を行う。ステップS114の処理においては、ユーザの健康、環境、および、感情に関する評価が行われる。すなわち、サーバ3は、上述した健康指標、環境指標、および、感情指標という3つの要素指標を算出する。以下、これらの要素指標の算出方法について説明する。
【0311】
(健康指標の算出)
まず、健康指標の算出方法(健康に関する評価方法)の具体例について説明する。本実施形態において、健康指標は、ユーザの覚醒時に取得される健康情報(睡眠期間に対応する健康情報)と、ユーザの覚醒期間において取得される活動情報とに基づいて算出される。より具体的には、サーバ3は、まず活動情報から覚醒期間における疲労度(上述した、睡眠期間中における生体情報から算出される第1疲労度と区別して、「第2疲労度」と呼ぶ。)を算出し、算出された第2疲労度と、上記健康情報とに基づいて健康指標を算出する。
【0312】
本実施形態において、サーバ3は、活動情報に関する条件と第2疲労度の変化量とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いて第2疲労度を算出する。
図22は、第2疲労度を算出するために用いられるテーブルの一例を示す図である。
図22に示すように、テーブルは、活動情報に関する条件と、当該条件が満たされる場合における第2疲労度の変化量とを関連付ける。
図22に示す例においては、テーブルは、活動内容が「仕事」であり活動量が「8〜10時間」であることを示す条件と、第2疲労度の変化量として「+10」とを関連付けている。これは、活動内容が「仕事」であり、活動量が8時間以上10時間未満である活動情報が取得された場合、第2疲労度を10増加させることを意味している。また、
図22に示すテーブルは、活動内容が「マッサージ」であり活動量が指定されないことを示す条件と、第2疲労度の変化量として「−20」とを関連付けている。これは、活動内容が「マッサージ」である場合、第2疲労度を20減少させることを意味している。このように、上記テーブルにおいては、第2疲労度を増加させる条件と、第2疲労度を減少させる条件との両方が含まれていてもよいし、どちらか一方の条件のみが含まれていてもよい。
【0313】
サーバ3は、取得された活動情報について、上記テーブルを参照することによって、対応する第2疲労度の変化量を算出する。例えば、活動内容が「移動(徒歩)」であり活動量が「10分」である活動情報が取得された場合、サーバ3は、この活動情報に対応する(第2疲労度の)変化量として「+10」を算出する。本実施形態において、サーバ3は、所定期間(本実施形態においては今日1日の間)に取得された活動情報のそれぞれについて、対応する変化量を算出する。
【0314】
さらに、サーバ3は、予め定められる基本疲労度(例えば“0”)と、算出された第2疲労度の変化量とに基づいて、最終的な第2疲労度を算出する。具体的には、最終的な第2疲労度は、基本疲労度に対して、第2疲労度の変化量に応じた増減を加えることによって算出される。例えば、基本疲労度を「0」であるとした場合において、「+10」、「+15」、および「−10」という変化量が算出された場合、最終的な第2疲労度は「+15」と算出される。なお、サーバ3は、健康情報により示される第1疲労度(疲労指標)の値を、上記基本疲労度として用いてもよい。
【0315】
第2疲労度を算出すると、サーバ3は、第2疲労度と、健康情報とに基づいて、健康指標を算出する。健康指標は、各疲労度(第1疲労度および第2疲労度)の値を反映して算出される。例えば、健康指標は、各疲労度(第1疲労度および第2疲労度)が小さいほど(健康指標が)大きくなるように算出される。また、健康指標は、健康情報により示される睡眠指標の値を反映して算出される。例えば、健康指標は、睡眠の質が良いことを睡眠指標が示すほど(健康指標が)高くなるように算出される。例えば、サーバ3は、各疲労度にそれぞれ所定の重みを付して加算した値を総合疲労度として算出し、算出された総合疲労度を、睡眠指標に応じて増減することによって、健康指標を算出してもよい。なお、本実施形態においては、健康指標は、0から100までの整数として算出されるものとし、健康指標の数値が大きいほど、健康であることを表すものとする。
【0316】
なお、他の実施形態においては、健康指標は、他のQOL要素情報に基づいて算出されてもよい。例えば、健康指標は、上記活動情報に加えて、環境情報に基づいて算出されてもよい。すなわち、サーバ3は、活動情報が同じ内容であっても、環境情報に応じて異なる値の健康指標を算出してもよい。例えば、サーバ3は、ユーザにとって環境が相対的に良くないことを環境情報が示す場合(例えば、気温や湿度が高すぎる場合)には、ユーザにとって環境が相対的に良いことを環境情報が示す場合(例えば、気温や湿度が適度な値である場合)に比べて、第2疲労度が高くなるように算出してもよい。
【0317】
また、他の実施形態においては、健康指標は、上記活動情報に加えて、嗜好情報に基づいて算出されてもよい。例えば、サーバ3は、活動情報が運動を示す場合において、ユーザが運動に興味があることを嗜好情報が示すならば、第2疲労度の値を相対的に低く算出し、ユーザが運動に興味がないことを嗜好情報が示すならば、第2疲労度の値を相対的に高く算出するようにしてもよい。本実施形態においては、嗜好情報はユーザに関する評価(QOL指標の算出)には用いられないものとしたが、上記のように、嗜好情報がユーザに関する評価(QOL指標の算出)に用いられてもよい。
【0318】
(環境指標の算出)
次に、環境指標の算出方法(環境に関する評価方法)の具体例について説明する。本実施形態においては、環境指標は、ユーザの覚醒期間において取得される環境情報に基づいて算出される。本実施形態においては、サーバ3は、環境情報に関する条件と環境指標の変化量とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いて環境指標を算出する。
【0319】
図23は、環境指標を算出するために用いられるテーブルの一例を示す図である。
図23に示すように、テーブルは、環境情報に関する条件と、当該条件が満たされる場合における環境指標の変化量とを関連付ける。また、環境情報に関する条件は、活動内容に関する項目(条件)と、環境値に関する項目(条件)とを含む。
図23に示す例においては、テーブルは、活動内容が「移動(徒歩)」であり、かつ、環境値が「気温:30℃以上33℃未満、かつ、湿度:60%以上70%未満」であることを示す条件と、環境指標の変化量として「−15」とを関連付けている。これは、活動内容が「移動(徒歩)」であり、環境値が「気温:30℃以上33℃未満、かつ、湿度:60%以上70%未満」の条件を満たす環境情報が取得された場合、環境指標を15減少させることを意味している。また、上記テーブルは、活動内容が「仕事」であり、かつ、環境値が「気温:28℃未満、かつ、湿度:60%未満」であることを示す条件と、環境指標の変化量として「+10」とを関連付けている。これは、活動内容が「仕事」であり、環境値が「気温:28℃未満、かつ、湿度:60%未満」の条件を満たす環境情報が取得された場合、環境指標を10増加させることを意味している。このように、上記テーブルにおいては、環境指標を増加させる条件と、環境指標を減少させる条件との両方が含まれていてもよいし、どちらか一方の条件のみが含まれていてもよい。
【0320】
サーバ3は、取得された環境情報について、上記テーブルを参照することによって、対応する環境指標の変化量を算出する。例えば、活動内容が「移動(徒歩)」であり、環境値が「気温:31℃、かつ、湿度65%」である環境情報が取得された場合、サーバ3は、この環境情報に対応する(環境指標の)変化量として「−15」を算出する。本実施形態において、サーバ3は、所定期間(本実施形態においては今日1日の間)に取得された環境情報のそれぞれについて、対応する変化量を算出する。
【0321】
さらに、サーバ3は、予め定められる基本値(例えば“50”)と、算出された環境指標の変化量とに基づいて、環境指標を算出する。具体的には、最終的な環境指標は、基本値に対して、環境指標の変化量に応じた増減を加えることによって算出される。例えば、基本値を「50」であるとした場合において、「−10」、「−15」、および「+5」という変化量が算出された場合、最終的な環境指標は「30」と算出される。なお、上記基本値は、予め定められた固定値であってもよいし、覚醒期間中に検出される環境センサ情報に基づいて算出されてもよい。また、ユーザがいる場所の天気をサーバ3が取得することが可能である場合、上記基本値は、天気に応じて可変に設定されてもよい。つまり、サーバ3は、ユーザがいる場所の天気を考慮して環境指標を算出してもよい。なお、本実施形態においては、環境指標は、0から100までの整数として算出されるものとし、環境指標の数値が大きいほど、ユーザの周囲の環境が快適であることを表すものとする。
【0322】
また、他の実施形態においては、環境指標は、季節および/または地域(位置情報)に基づいて算出されてもよい。例えば、サーバ3は、現在日時の情報と携帯端末5の位置情報とに基づいて、地域および季節を特定してもよい。サーバ3は、環境指標の変化量を算出するためのテーブルとして、地域および季節毎に複数種類のテーブルを用意しておき、特定された地域および季節に対応するテーブルを用いて、上記変化量を算出するようにしてもよい。
【0323】
(感情指標の算出)
次に、感情指標の算出方法(感情に関する評価方法)の具体例について説明する。本実施形態においては、感情指標は、ユーザの覚醒期間において取得される感情情報に基づいて算出される。上述のように、本実施形態においては、感情情報は、3つまたは5つの種類の感情(怒り、喜び、悲しみ、憎しみ、楽しみ)について、それぞれの感情の度合いを示す指標を含む。サーバ3は、各指標に基づいて感情指標を算出する。具体的には、サーバ3は、否定的な種類の感情(本実施形態では、怒り、悲しみ、および憎しみ)については、これらの指標が大きいほど(感情指標が)小さくなるように、感情指標を算出する。また、サーバ3は、肯定的な種類の感情(本実施形態では、喜びおよび楽しみ)については、これらの指標が大きいほど(感情指標が)大きくなるように、感情指標を算出する。例えば、サーバ3は、予め定められた基本値(例えば“50”)に対して、否定的な種類の感情を示す指標に応じた量を減算し、肯定的な種類の感情を示す指標に応じた量を加算することによって、感情指標を算出してもよい。上記基本値は、予め定められた固定値であってもよいし、ユーザのスケジュール情報(例えば、休日かどうか、忙しいかどうか等を表す情報)、活動情報、および/または、天気に応じて可変に設定されてもよい。基本値は、例えば、休日であれば相対的に高く、仕事がある日であれば相対的に低く設定されてもよい。また例えば、基本値は、遊び(レジャー)の活動をユーザが行っている日は高く、仕事の活動を行っている日は低く設定されてもよい。また例えば、基本値は、天気の良い日は高く、天気の悪い日は低く設定されてもよい。以上のように、本実施形態においては、感情指標は、ユーザの感情が肯定的なものであるほど大きくなるように、算出される。また、本実施形態においては、感情指標は、0から100までの整数として算出されるものとする。
【0324】
ステップS115において、サーバ3は、ステップS114で算出された各要素指標に基づいて総合指標(QOL指標)を算出する。QOL指標は、各要素指標を反映した大きさとなるように算出する任意の方法で算出されてよい。例えば、本実施形態においては、サーバ3は、各要素指標にそれぞれ所定の重みを付して加算した値を、QOL指標として算出する。本実施形態においては、QOL指標は、0から100までの整数として算出されるものとする。
【0325】
以上のように、ステップS114およびS115において各指標が算出されると、サーバ3は、算出した各指標を示す評価結果データを記憶(蓄積)する。
図21に示すように、評価結果データは、健康指標を示す健康指標データ、環境指標を示す環境指標データ、感情指標を示す感情指標データ、および、QOL指標を示すQOL指標データを含む。本実施形態において、これら4つの各指標データは、例えば、最新のものから過去に所定の保存期間(例えば、3月)に算出された各指標を示す。したがって、上記ステップS114およびS115で各指標が算出された場合、サーバ3は、新たに算出された各指標を含む内容となるように、各指標データを更新する。
【0326】
ステップS116において、サーバ3は、評価結果に応じたネットワークサービスの内容を特定する。すなわち、サーバ3は、ステップS114および/またはS115における評価結果に基づいて、ユーザに提供すべきネットワークサービスの内容を特定する。本実施形態においては、評価結果を提示するサービスは、評価結果の内容によらず提供されるものとする。また、評価結果の提示以外のサービス(アドバイス情報、リコメンド情報、および、コンテンツの提供、ならびに、特典の付与に関するサービス)については、評価結果に応じて、提供の有無、および、提供内容が特定される。
【0327】
本実施形態においては、サーバ3は、評価結果(各指標)に関する条件と、提供するサービス内容とを関連付けたテーブルを予め記憶しておき、当該テーブルを用いてサービス内容を特定する。
図24は、評価結果に応じたネットワークサービスを決定するために用いられるテーブルの一例を示す図である。
図24に示すように、テーブルは、各指標(QOL要素指標およびQOL指標)に関する条件と、当該条件が満たされる場合において提供すべきサービス内容とを関連付ける。なお、
図24において、“−”は、条件が設定されないことを示す。
【0328】
図24に示す例においては、テーブルは、QOL指標が30以下であることを示す条件と、アドバイスAのアドバイス情報および商品Aに関するリコメンド情報とが関連付けた組を含む(
図24に示す(a))。このように、評価結果に関する条件は、QOL指標に関する条件を含んでいてもよい。つまり、サーバ3は、QOL指標に基づいてネットワークサービスの内容を特定してもよい。
【0329】
また、
図24に示す例においては、テーブルは、健康指標が30以下であり、かつ、感情指標が30以下であることを示す条件と、アドバイスBのアドバイス情報および商品Bに関するリコメンド情報とが関連付けた組を含む(
図24に示す(b))。このように、評価結果に関する条件は、各指標(要素指標および/または総合指標)の組み合わせに関する条件を含んでいてもよい。つまり、サーバ3は、2以上の指標に基づいてネットワークサービスの内容を特定してもよい。
【0330】
また、
図24に示す例においては、テーブルは、健康指標が30以下であり、かつ、環境指標が30以下であり、かつ、ユーザが運動に興味を持っていることを嗜好情報が示すことを示す条件と、アドバイスCのアドバイス情報とが関連付けた組を含む(
図24に示す(d))。このように、評価結果に関する条件は、嗜好情報に関する条件を含んでいてもよい。つまり、サーバ3は、評価結果(各指標)に加えて、嗜好情報に基づいてネットワークサービスの内容を特定してもよい。
【0331】
また、
図24に示す例においては、テーブルは、健康指標が70以上であることを示す条件と、ポイント加算とが関連付けた組を含む(
図24に示す(f))。このように、サーバ3は、健康に関する評価結果に基づいて(より具体的には、健康に関する評価が所定の基準より良い結果であったことを条件として)ユーザに特典を付与するものであってもよい。
【0332】
サーバ3は、算出された評価結果に基づいて、上記テーブルを参照することによって、提供すべきネットワークサービスの内容を特定する。すなわち、算出された評価結果が、上記テーブルに含まれる条件を満たす場合、サーバ3は、当該条件に関連付けられるネットワークサービスを提供する。なお、図示しないが、サーバ3は、特定されたサービスを示すデータをユーザ毎に上記記憶部に蓄積記憶しておく。つまり、サーバ3は、ユーザに対して提供されたサービス内容を示す情報を記憶しておく。
【0333】
なお、サーバ3は、ユーザに関する情報(ユーザ状態データおよび評価結果データ)を記憶部に蓄積している、すなわち、ユーザに関する過去の情報も記憶している。そのため、他の実施形態においては、サーバ3は、あるユーザに提供すべきサービスデータの内容を、記憶部に蓄積された、当該ユーザに関する過去の情報(ユーザ状態データおよび/または評価結果データ)に基づいて決定するようにしてもよい。例えば、サーバ3は、過去1週間の評価結果(例えば、過去1週間の指標の平均値)に基づいてサービス内容を決定してもよいし、今回の評価結果と過去の評価結果との差(例えば、先週に比べて今週の指標が変化した度合い)に基づいてサービス内容を決定してもよい。
【0334】
また、サーバ3は、複数のユーザに関する情報(ユーザ状態データおよび評価結果データ)をユーザ毎に記憶部に蓄積している。したがって、サーバ3は、あるユーザに提供すべきサービスデータの内容を、記憶部に蓄積された、当該ユーザとは異なる他のユーザに関する情報(ユーザ状態データおよび/または評価結果データ)に基づいて決定してもよい。例えば、サーバ3は、所定の複数のユーザについて指標の平均値を算出し、あるユーザの指標と平均値との関係に基づいてサービス内容を決定してもよい。なお、サービス内容を決定するために情報が用いられるユーザ(平均値を算出する対象となるユーザ)は、ネットワークサービスに加入する全ユーザに限らず、所定の条件を満たすユーザ(例えば、年齢層が同じユーザ、同じ地域に住むユーザ、算出されたある指標が同じ範囲であるユーザ)であってもよい。
【0335】
また例えば、サーバ3は、あるユーザに提供すべきサービスデータの内容を、当該ユーザとは異なる他のユーザに関する過去の情報(ユーザ状態データおよび評価結果データ)に基づいて決定してもよい。例えば、サーバ3は、所定の複数のユーザについて、現在から過去の所定期間における所定の指標に関する変化(例えば、健康指標の低下度合い等)を算出する。そして、サーバ3は、算出された変化が、サービスを提供すべき上記あるユーザと同じ傾向を有する(例えば、1月の間に健康指標が所定の割合以上低下している等)他のユーザを特定する。さらに、サーバ3は、特定された他のユーザに対して過去に提供されたサービス内容に基づいて、当該あるユーザに提供すべきサービス内容を決定する。このように、サーバ3は、他のユーザの過去の情報を用いることによって、指標の変化がユーザと同じ傾向を有する他のユーザに提供されたサービス内容を参考にして、当該ユーザに提供すべきサービス内容を決定してもよい。
【0336】
また、上記ステップS116において、サーバ3は、評価結果が所定の基準よりも改善されたか否かに基づいてサービス内容を特定するようにしてもよい。例えば、サーバ3は、評価結果(ステップS114およびS115で算出される各種の指標)が所定の基準よりも改善されたか否かを判定し、評価結果が所定の基準よりも改善されたと判定されたことを条件として、ユーザに対して所定のネットワークサービスを提供する(例えば、特典を付与する)ようにしてもよい。上記所定の基準の具体的な内容は任意であるが、例えば、所定の値(固定値)であってもよいし、過去の評価結果(指標)に基づく値であってもよい。例えば、サーバ3は、先週1週間の平均値(あるいはその平均値に所定値を加算した値)を基準として用いてもよい。つまり、今回算出された指標が先週1週間の当該指標の平均値よりも高いことを条件として、サーバ3はユーザに特典を付与するようにしてもよい。
【0337】
また、本実施形態において、サーバ3は、サービスデータ(アドバイス情報等)を携帯端末5へ繰り返し提供(送信)する。したがって、あるサービスを提供した後のユーザの評価結果に基づいて、さらにサービスが提供される。これによれば、アドバイス情報等のサービスデータが繰り返し(継続的に)ユーザに提供されるので、QOLの改善をユーザに対して効果的に促すことができる。
【0338】
なお、サーバ3、あるサービスデータを携帯端末5へ提供した前後における評価結果を比較し、比較の結果に基づいて、新たに提供するサービス(追加のサービス)の内容を特定してもよい。すなわち、サーバ3は、比較の結果、評価結果が改善していると判定する場合と、改善していないと判定する場合とで、異なる内容のサービスを提供してもよい。例えば、サーバ3は、あるアドバイス情報を提供した前後における評価結果(指標)の差を算出し、当該アドバイス情報の提供後に提供されるアドバイス情報の内容を、算出された差に基づいて特定してもよい。
【0339】
なお、他の実施形態においては、サーバ3は、評価結果から、提供すべきサービス内容を決定する条件(上記実施形態においては、
図24に示すテーブル)を、1以上のユーザの評価結果に基づいて更新してもよい。例えば、サーバ3は、アドバイス情報をユーザに提示した場合、アドバイス情報を提示する前後における当該ユーザの評価結果を比較し、比較の結果に基づいて当該アドバイス情報に関する上記条件を更新するようにしてもよい。例えば、サーバ3は、上記比較の結果、アドバイス情報の提示前後においてユーザの評価結果(例えばQOL指標)が改善したと判断した場合には、当該アドバイス情報が提示されやすくなるように上記条件を更新してもよい。また、条件を更新するか否かの判定は、複数のユーザに関する評価結果に基づいて行われてもよい。例えば、あるアドバイス情報が提示された複数のユーザについて、評価結果が改善したユーザが所定数以上(あるいは所定の割合以上)であった場合には、サーバ3は、当該アドバイス情報が提示されやすくなるように上記条件を更新してもよい。これによれば、アドバイス情報を提供する条件を実際の効果に応じて変更することができるので、より適切なアドバイス情報をユーザに提示することができる。
【0340】
なお、サーバ3は、アドバイス情報以外の他のサービス(リコメンド情報、および/または、コンテンツの提供)についても、アドバイス情報と同様、1以上のユーザの評価結果に基づいて上記条件を更新することが可能である。例えば、リコメンド情報については、サーバ3は、リコメンド情報によってユーザが商品を購入した前後における評価結果を比較し、比較の結果に基づいて当該リコメンド情報に関する条件を更新するようにしてもよい。また、コンテンツの提供については、サーバ3は、コンテンツが提供された前後における評価結果を比較し、比較の結果に基づいて当該コンテンツの提供に関する条件を更新するようにしてもよい。
【0341】
ステップS117において、サーバ3は、提供すべきネットワークサービスに関するサービスデータを携帯端末5へ送信する。すなわち、サーバ3は、サービスデータとして、上記ステップS114およびS115による評価結果を表すデータを携帯端末5へ送信する。また、サーバ3は、ステップS116で特定したサービス内容に関するサービスデータを携帯端末5へ送信する。例えば、アドバイス情報を提示するサービスを提供する場合、サーバ3は、アドバイス情報を示すデータをサービスデータとして携帯端末5へ送信する。また例えば、リコメンド情報を提示するサービスを提供する場合、サーバ3は、リコメンド情報を示すデータをサービスデータとして携帯端末5へ送信する。また例えば、コンテンツを提供するサービスを提供する場合、サーバ3は、当該コンテンツのデータをサービスデータとして携帯端末5へ送信する。また例えば、特典を付与するサービスを提供する場合、サーバ3は、当該特典を付与する通知を示すデータをサービスデータとして携帯端末5へ送信する。
【0342】
なお、サーバ3は、ユーザに対して付与される特典を示す特典情報のデータ(特典データ)をユーザ毎に記憶部に記憶しておく(
図21参照)。上記ステップS117において、特典を付与するサービスを提供する場合、サーバ3は、記憶部に記憶される特典データを、付与される特典を示す内容となるように更新する。この特典データは、特典が実際に付与される際に、特典に関する処理(特典を実際に付与する処理。例えば、課金処理や購入処理等)を実行する情報処理装置(後述するショップサーバや課金サーバ)によって参照される。これによって、特典データを考慮して課金あるいは料金計算が行われ、ユーザによって特典が利用されたことになる。
【0343】
例えば、特典が商品等の購入に関するものである場合には、ユーザが次に商品等を購入した際に、ショップサーバが上記特典データを参照する。ここで、ショップサーバは、商品等の購入、課金、および提供を管理するサーバであり、サーバ3と同じサーバであってもよいし、異なるサーバであってもよい。例えば、ショップサーバは、ユーザが商品等を購入した場合、購入された商品等の金額から、特典データに応じて金額を割り引いた額を、課金額として算出する。なお、特典データは、商品等の購入に用いることができるポイントを示してもよいし、割引額を示してもよい。
【0344】
また例えば、特典が携帯端末5の利用料金に関するものである場合には、利用料金を課金する際に、課金サーバが上記特典データを参照する。課金サーバは、携帯端末5の利用料金を計算して課金処理を行うサーバであり、サーバ3と同じサーバであってもよいし、異なるサーバであってもよい。例えば、課金サーバは、携帯端末5の利用料金を計算する際、既定の利用料金から、特典データに応じて金額を割り引いた額を利用料金として算出する。なお、特典データは、利用料金に用いることができるポイントを示してもよいし、割引額を示してもよい。
【0345】
なお、本実施形態においては、サーバ3は、携帯端末5における通信機能(携帯電話通信網を介して通信を行う機能。当該通信による通話機能を含む。)の利用と、携帯端末5におけるネットワークサービスの利用とを合わせて利用料金を算出する。したがって、ユーザは通話料金とネットワークサービスの利用料金とをまとめて支払うことができ、便利である。具体的には、サーバ3は、上記利用料金を示す利用料金データを上記記憶部にユーザ毎に記憶しておく。課金サーバは、サーバ3の記憶部に記憶されている利用料金データを参照して課金処理を実行する。なお、利用料金の算出方法は任意であり、サーバ3は、単位期間あたりの利用料金を固定にしてもよいし、通信量および/またはネットワークサービスの利用量に応じて利用料金を算出してもよい。
【0346】
本実施形態においては、上記ステップS117において、サーバ3は、サービスデータを、評価の対象となるユーザの携帯端末5へ送信するとともに、当該ユーザに対して設定される上記通知対象ユーザの端末へ送信する。すなわち、サーバ3は、ユーザデータに含まれる通知ユーザデータにより示される通知対象ユーザの端末へサービスデータを送信する。詳細は後述するが、評価対象となるユーザの携帯端末5へ送信されるサービスデータと、そのユーザに設定される通知対象ユーザの端末へ送信されるサービスデータとは、同じであってもよいし、異なっていてもよい。つまり、サーバ3は、評価対象となるユーザと通知対象ユーザとに対して、異なる内容のネットワークサービスを提供してもよい。
【0347】
ステップS118において、サーバ3は、ユーザの携帯端末5からの要求があったか否かを判定する。すなわち、上記ステップS102において携帯端末5から送信される要求を受信したか否かを判定する。ステップS118の判定結果が肯定である場合、ステップS119の処理が実行される。一方、ステップS118の判定結果が否定である場合、ステップS111の処理が再度実行される。
【0348】
ステップS119において、サーバ3は、ステップS118で受信した要求に応じた処理を実行する。例えば、上記要求がウェブサイトへのログインの要求である場合、サーバ3は、ログイン用の画像(ウェブページ)の情報を携帯端末5へ送信する。また例えば、上記要求がウェブページの取得の要求である場合、サーバ3は、当該ウェブページの情報を携帯端末5へ送信する。なお、携帯端末5においては、サーバ3における上記ステップS119の処理に応じて、上述したステップS103およびS104の処理が実行される。
【0349】
ステップS119の次に、サーバ3は、上記ステップS111の処理を再度実行する。サーバ3は、ステップS111〜S119の一連の処理を繰り返し実行する。なお、サーバ3は、ネットワークサービスを受ける複数のユーザが持つ各携帯端末を対象として、上記ステップS111〜S119の一連の処理を実行する。
【0350】
[6.提示される情報の具体例]
次に、以上で説明した情報処理システム1の処理動作によってユーザに提示される情報の具体例について説明する。上述したように、1日における所定のタイミングで、サーバ3はユーザの評価を行い、評価結果に応じたネットワークサービスに係るサービスデータを携帯端末5へ送信する。携帯端末5においては、受信したサービスデータに基づいて情報がユーザに提示される。
【0351】
図25は、携帯端末5において提示される情報の一例を示す図である。本実施形態において、上述したステップS36(ステップS117)において、サーバ3から携帯端末5へサービスデータが送信されると、携帯端末5は、上述のステップS37(ステップS104)において、受信されたサービスデータに基づいて、例えば
図25に示す画像をディスプレイ17に表示する。
【0352】
図25に示すように、ディスプレイ17には、QOLスコア画像50と、顔画像51とが表示される。QOLスコア画像50は、総合評価の評価結果を表し、具体的には上記QOL指標の数値(スコア)を表す。なお、QOLスコア画像50は、表示上は、ユーザにとってわかりやすくする目的で「(今日の)QOL指数」と表示されている。
【0353】
また、顔画像51は、QOL指標に応じて表示形態(具体的には、顔の表情)が変化するように表示される。例えば、QOL指標が中程度である場合は、通常の表情を表す顔画像が表示され、QOL指標が相対的に高い(良い数値である)場合は、笑顔の表情を表す顔画像が表示され、QOL指標が相対的に低い(悪い数値である)場合は、
図25に示すような疲れた表情を表す顔画像が表示される。このような顔画像51が評価結果として表示されることによって、評価結果であるQOLの度合いを直感的にユーザに認識させることができる。
【0354】
上記のように、評価結果であるQOL指標の数値が算出される場合、その数値自体がユーザに提示されてもよいし、その数値の大きさを表す情報がユーザに提示されてもよい。このような情報を提示することによって、評価結果であるQOLの度合いをわかりやすくユーザに提示することができる。なお、提示される情報は、上記のスコアや画像の他、疲労度のレベルを表すものであってもよい。例えば、他の実施形態においては、QOL指標をAからEの5段階で表す情報が提示されてもよい。
【0355】
図25に示すように、ディスプレイ17には、各種のスコア画像52〜54が表示される。これらスコア画像52〜54は、上述した各要素指標の数値(スコア)を表す。健康スコア画像52は、ユーザの健康に関する評価結果である健康指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「元気度」と表示されている。環境スコア画像53は、ユーザの環境に関する評価結果である環境指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「快適度」と表示されている。感情スコア画像54は、ユーザの環境に関する評価結果である感情指標の数値を表し、表示上は、ユーザにとってわかりやすくする目的で「感情度」と表示されている。
【0356】
また、ディスプレイ17には、各スコア画像52〜54に関連付けて詳細ボタン55〜57が表示される。詳細ボタン55は、健康スコア画像52に関連付けられ、健康指標についてより詳細な情報を表示するためのボタンである。詳細ボタン56は、環境スコア画像53に関連付けられ、環境指標についてより詳細な情報を表示するためのボタンである。詳細ボタン57は、感情スコア画像54に関連付けられ、感情指標についてより詳細な情報を表示するためのボタンである。ユーザが各詳細ボタン55〜57に対して入力を行う(例えばタッチする)ことに応じて、携帯端末5は、
図25に示す画面を切り替えて、詳細ボタンに関連付けられた指標について詳細な情報(
図26参照して後述する)をディスプレイ17に表示する。
【0357】
また、ディスプレイ17には、アドバイス情報を表すアドバイス画像58が表示される。アドバイス画像58は、同時に提示(表示)される評価結果(各スコア画像50,52〜54)に対応するアドバイス情報を表す。アドバイス情報は、同時に提示される複数の評価結果のうち、総合評価に対応するアドバイスを表すものであってもよいし、いくつか(1つでもよい)の評価に対応するアドバイスでもよい。例えば、
図25に示すアドバイス画像58は、健康スコア画像52により示される健康指標が比較的低いことに関連して、健康指標を改善するためのアドバイスを表している。
【0358】
また、ディスプレイ17には、リコメンド情報ボタン59が表示される。リコメンド情報ボタン59は、同時に提示(表示)される評価結果(各スコア画像50,52〜54)に対応するリコメンド情報を表示するためのボタンである。すなわち、ユーザがリコメンド情報ボタン59に対して入力を行うことに応じて、携帯端末5は、
図25に示す画面を切り替えてリコメンド情報をディスプレイ17に表示する。なお、他の実施形態においては、リコメンド情報ボタン59に代えて、評価結果とともに、当該評価結果に対応するリコメンド情報が表示されてもよい。
【0359】
次に、上記の詳細ボタンに対する入力が行われた場合に携帯端末5に表示される画像の具体例について説明する。
図26は、
図25に示す詳細ボタン55に対する入力が行われた場合にディスプレイ17に表示される画像の一例を示す図である。
【0360】
図26においては、ディスプレイ17には、健康スコア画像61が表示される。健康スコア画像61は、
図25に示す健康スコア画像52と同様、健康指標の数値を表す。ただし、
図26に示す健康スコア画像61は、評価が行われた日付けの情報を含んでいる。
【0361】
また、ディスプレイ17には、睡眠時スコア画像62と、覚醒時スコア画像63とが表示される。睡眠時スコア画像62は、睡眠期間に検出される情報(生体情報)から算出される健康指標(「睡眠時健康指標」と呼ぶ)を表す。睡眠時健康指標は、本実施形態においては、サーバ3によって上述の健康情報に基づいて算出される。より具体的には、睡眠時健康指標は、健康情報に含まれる疲労指標(第1疲労度)および睡眠指標に基づいて算出され、例えば、疲労指標と睡眠指標とのそれぞれに所定の重みを付して合算した値として算出される。
【0362】
覚醒時スコア画像63は、覚醒期間に検出される情報(位置情報や環境情報)から算出される健康指標(「覚醒時健康指標」と呼ぶ)を表す。覚醒時健康指標は、本実施形態においては、サーバ3によって上述の活動情報に基づいて算出される。例えば、覚醒時健康指標としては、活動情報に基づいて算出される上述の第2疲労度の数値が用いられてもよい。
【0363】
なお、上記スコア画像61〜63も健康スコア画像52と同様、表示上は、ユーザにとってわかりやすくする目的で「元気度」と表示されている。
【0364】
睡眠時スコア画像62および覚醒時スコア画像63にはそれぞれ、詳細ボタンが含まれている(
図26参照)。これらの詳細ボタンに対する入力が行われた場合、携帯端末5は、各スコア画像が表す指標についてより詳細な情報を表示する。例えば、携帯端末5は、指標の算出に用いられた情報(例えば、睡眠時健康指標であれば各種の睡眠指標、あるいは、覚醒時健康指標であれば、それを算出するために用いられた活動情報)を表示してもよい。
【0365】
また、ディスプレイ17には、グラフ表示ボタン64が表示される。グラフ表示ボタン64は、健康指標に関するグラフを表示するためのボタンである。すなわち、ユーザがグラフ表示ボタン64に対して入力を行うことに応じて、携帯端末5は、
図26に示す画面を切り替えて上記グラフをディスプレイ17に表示する。例えば、グラフは、所定期間(例えば、最近1週間)における、健康指標、睡眠時健康指標、および、覚醒時健康指標の変化を示すグラフであってもよい。
【0366】
また、ディスプレイ17には、リコメンド情報ボタン65が表示される。リコメンド情報ボタン65は、
図25に示すリコメンド情報ボタン59と同様、リコメンド情報を表示するためのボタンである。ただし、
図26に示すリコメンド情報ボタン65は、健康指標(睡眠時健康指標または覚醒時健康指標でもよい)に関するリコメンド情報を表示するためのボタンである。すなわち、ユーザがリコメンド情報ボタン65に対して入力を行うことに応じて、携帯端末5は、
図26に示す画面を切り替えて、健康指標を改善するための商品等に関するリコメンド情報をディスプレイ17に表示する。なお、リコメンド情報ボタン65は、評価結果に応じて提示されるリコメンド情報が、健康指標に関する内容である場合(健康指標を改善するための商品等に関する場合)に表示され、健康指標以外の指標に関する内容である場合には表示されないようにしてもよい。
【0367】
次に、ネットワークサービスとしてユーザに特典が付与される場合に携帯端末5に表示される画像の具体例について説明する。
図27は、ユーザに特典が付与される場合にディスプレイ17に表示される画像の一例を示す図である。
【0368】
図27に示すように、特典が付与される場合においても他のサービスが提供される場合と同様、各画像51〜59がディスプレイ17に表示される。ただし、
図27においては、アドバイス画像58は、アドバイス情報ではなく、特典が付与されたことを通知するメッセージを表す。このように、特典が付与される場合には、特典が付与された旨の通知がユーザに対して提示されてもよい。
【0369】
次に、通知対象ユーザの端末に表示される画像の具体例について説明する。
図28は、通知対象ユーザの端末に表示される画像の一例を示す図である。
図28に示す画像は、評価対象のユーザの携帯端末5に、
図25に示す画像が表示される場合において、通知対象ユーザの端末に表示される。
【0370】
図28に示すように、通知対象ユーザの端末においても、評価対象のユーザの携帯端末5と同様に、各画像51〜59が表示される。なお、通知対象ユーザの端末においては、通知対象ユーザの名前を示す画像66が表示される点で、
図25に示す画像と異なっている。また、通知対象ユーザの端末においては、アドバイス画像58により示されるアドバイス情報の内容が、評価対象のユーザの携帯端末5に表示される内容とは異なっている。このように、評価対象のユーザ本人に対するアドバイスと、ユーザ本人ではない通知対象ユーザに対するアドバイスとを異ならせることによって、より適切なアドバイスを提示することができる。
【0371】
このように、サーバ3は、アドバイス情報(リコメンド情報についても同様)を、提示されるユーザによって異ならせるようにしてもよい。例えば、携帯端末5のユーザが、仕事で上司に怒られたために感情指標が低い結果となった場合を考える。この場合、サーバ3は、ユーザ本人に対しては、「深呼吸しましょう」といったアドバイス情報を提示したり、ストレス解消グッズを紹介するリコメンド情報を提示したりする一方、通知対象ユーザに対しては、「気分を盛り上げてあげましょう。」あるいは「本人が好きな料理を作ってあげましょう。」といったアドバイス情報を提示してもよい。
【0372】
また、サーバ3は、通知対象ユーザと評価対象のユーザとの関係(親子、妻、兄弟、家族、または友人等)に応じて異なる情報(アドバイス情報および/またはリコメンド情報)を通知対象ユーザに提示するようにしてもよい。例えば、上記の例の場合において、通知対象ユーザが家族であれば、「家に帰ったら本人が好きな料理を作ってあげましょう。」といったアドバイス情報を提示し、通知対象ユーザが友人であれば、「後で電話して話を聞いてあげましょう。」といったアドバイス情報を提示してもよい。なお、サーバ3は、通知対象ユーザと評価対象のユーザとの関係を示す情報を含む通知ユーザデータを記憶しておくことによって、当該関係を特定することができる。
【0373】
なお、
図25〜
図28において、携帯端末5に表示される画像内に、他の画像を表示するためのボタン(例えば、
図25に示すボタン55〜57等)が含まれる場合、当該ボタンに対する入力が行われた場合に表示される情報(上記他の画像)は、任意のタイミングでサーバ3から取得されてよい。すなわち、上記情報は、上記サービスデータとして予めサーバ3から携帯端末5へ送信されていてもよいし、ボタンに対する入力が行われたことに応じて携帯端末5がサーバ3に対して要求を行い、当該要求に応じてサーバ3から携帯端末5へ送信されてもよい。つまり、上記情報は、ステップS117の処理によって携帯端末5へ送信されてもよいし、ステップS119の処理によって携帯端末5へ送信されてもよい。
【0374】
[7.本実施形態の作用効果]
以上のように、上記実施形態における情報処理システム1は、次のような効果を奏する。
・生体情報(脈拍や呼吸等)はユーザに接触することなく取得(測定)されるので、ユーザは、センサに触れる必要がない。
・QOL要素情報を算出するための各種情報は、携帯端末5およびベース装置6によって取得されるので、ユーザは特別な装置を身につける必要がない。
・上記各種情報を取得(測定)する処理はユーザの操作なしに開始されるので、ユーザは、当該各種情報を端末システム2に取得させるための操作を行わなくてよい。
・上記各種情報は自動的に算出され、各種情報に基づく評価も自動的に行われるので、ユーザは、情報の取得(測定)および評価結果の算出を待つ必要がなく、また、取得の度に特別な準備を行う必要がない。
以上より、上記実施形態によれば、ユーザは、面倒な操作や作業を行うことなく、普段どおりに生活を過ごすだけで、QOLの評価に基づくサービスを受けることができる。そのため、本実施形態において提供されるサービスは、ユーザにとっては継続して利用しやすいものとなる。QOLの評価に基づくサービスの提供は、ユーザに対して継続的に行われることが効果的であると考えられるので、本実施形態のようにユーザにとって継続しやすい方法でサービスが提供されることによって、情報処理システム1は、より効果的なサービスを提供することができる。
【0375】
(情報処理システムの構成に関する作用効果)
上記実施形態によれば、情報処理システム1は、据置型装置(ベース装置6)と、当該ベース装置に接続可能な多機能端末である携帯型装置(携帯端末5)と、当該携帯端末5と広域ネットワーク(インターネットおよび/またはモバイル通信網)を介して通信可能なサーバ3とを含む。ベース装置6は、入床中のユーザの周囲に設置され、睡眠中のユーザの生体情報を検出する(ステップS12)。携帯端末5は、ベース装置6によって検出された生体情報から算出される情報(健康情報。生体情報自身でもよい。)を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、生体情報に基づいて行われるユーザの睡眠に対する評価(健康指標の算出)についての評価結果(健康指標)を改善するためのネットワークサービスに係るサービスデータを携帯端末5へ送信する(ステップS9,ステップS117)。携帯端末5は、ベース装置6と接続されていない状態において少なくとも、所定のネットワークサービスに関してサーバ3から受信したサービスデータに係る画像および/または音をユーザに提示する(ステップS37,ステップS104)。
【0376】
上記によれば、情報処理システム1は、睡眠中のユーザの生体情報に基づいてユーザの健康を評価し、評価結果に応じたネットワークサービスをユーザに提供することができる。また、携帯端末5によって情報をサーバ3へ送信することから、ベース装置6はサーバ3との通信手段を有する必要はないので、ベース装置6の構成を簡易化することができる。また、携帯端末5は、ベース装置6と接続されていない状態において、サービスデータに係る画像および/または音を提示することができるので、ユーザはサービスの提供を容易に受けることができる。
【0377】
上記実施形態によれば、据置型のベース装置6は、ユーザのQOLを評価するためのユーザ情報(生体情報)を検出する(ステップS12)。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報(健康情報。ユーザ情報自身でもよい。)を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、携帯端末5から送信されてくる送信情報から算出される(送信情報が評価結果を示すものであってもよい)評価結果(QOLに関する評価結果(QOL指標))に応じたネットワークサービスをユーザに対して提供するためのサービスデータを携帯端末5へ送信する(ステップS9,ステップS117)。これによれば、情報処理システム1は、ユーザ情報に基づいてユーザのQOLを評価し、評価結果に応じたネットワークサービスをユーザに提供することができる。なお、上記において、携帯端末5は、サーバ3から受信したサービスデータに基づく情報(評価結果の情報、アドバイス情報、リコメンド情報、サービスデータに含まれるコンテンツの情報、特典に関する情報等)をユーザに提示してもよい。
【0378】
なお、上記実施形態においては、情報処理システム1は、QOLに関する評価結果として、ユーザの健康、環境、および感情という3つの情報に基づいてQOL指標を算出した。ここでQOLに関する評価は、上記3つの情報のうち少なくとも1つに基づいて行われるものであってもよい。例えば、他の実施形態においては、ユーザの健康に関する評価結果(上述した健康指標)がQOL指標として算出されてもよい。また、QOLに関する評価は、上記3つの情報とは異なる他の情報に基づいて行われるものであってもよい。例えば、他の実施形態においては、ユーザの嗜好に関する情報(上述した嗜好情報)に基づいてQOL指標が算出されてもよい。
【0379】
上記実施形態によれば、据置型のベース装置6は、入床中のユーザの周囲に設置され、ユーザのQOLを評価するためのユーザ情報(生体情報)を睡眠中のユーザから検出する(ステップS12)。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報を送信情報としてサーバ3へ送信する(ステップS4,ステップS19)。サーバ3は、携帯端末5から送信されてくる送信情報から算出される情報(健康情報。送信情報自身でもよい。)を蓄積情報として所定の記憶部に蓄積する(ステップS112)。
【0380】
これによれば、情報処理システム1は、睡眠中のユーザから検出される情報に基づいてユーザのQOLに関する情報を算出することができる。また、QOLの情報は、それを分析したり評価したりすることによって各種のサービスをユーザに提供することができるので、有用な情報であり、QOLの情報が複数(1人のユーザについての複数の情報であってもよいし、複数人のユーザについての情報であってもよい)あればさらに有用な情報となる。上記実施形態によれば、算出されたQOLの情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数のQOLの情報を容易に管理することができる。
【0381】
また、ベース装置6は、携帯端末5と通信可能となったことに応じてユーザ情報(生体情報)の検出を開始する(
図6参照)。これによれば、ユーザは、ベース装置6に対して検出を開始させるための操作を行わなくてもよいので、ユーザの操作の手間を省くことができる。また、ベース装置6は、検出したユーザ情報に基づく情報を自機において長期間保存する必要がなく、携帯端末5へ送信することができる。なお、上記実施形態においては、携帯端末5がベース装置6に装着されることによって、携帯端末5とベース装置6とが通信可能になる構成であった。ただし、他の実施形態においては、携帯端末5がベース装置6に装着されなくても、携帯端末5とベース装置6とが通信可能になる構成であってもよい。例えば、携帯端末5とベース装置6とが近距離無線通信を行うことが可能である場合には、両者が無線通信可能な範囲に入ったことに応じて通信可能となる構成であってもよい。
【0382】
また、携帯端末5は、ベース装置6に装着可能であり(載置可能であってもよい)、ベース装置6は、携帯端末5が装着または載置されたことに応じてユーザ情報の検出を開始する(
図6参照)。これによれば、ユーザは、ベース装置6に対して検出を開始させるために、携帯端末5をベース装置6に装着するだけでよく、ベース装置6に対して操作を行わなくてもよいので、ユーザの操作の手間を省くことができる。
【0383】
また、ベース装置6は、ドップラーセンサ24によってユーザが検出されなくなることに応じて検出を終了する(ステップS20)。換言すれば、ベース装置6は、携帯端末5が当該ベース装置6から外された場合であってもユーザ情報の検出を継続する(
図6参照)。これによれば、ベース装置6は、検出中において何らかの理由で携帯端末5がベース装置6から外された場合(例えば、ユーザが寝返りをうった際に携帯端末5に当たってしまった場合)でも検出を継続するので、ユーザの睡眠中における検出をより確実に行うことができる。なお、他の実施形態においては、ベース装置6は、ユーザが覚醒したことを条件として検出を終了するようにしてもよい。これによっても上記実施形態と同様、ベース装置6は、携帯端末5が当該ベース装置6から外された場合であってもユーザ情報の検出を継続することができる。
【0384】
また、情報処理システム1は、ユーザ情報(生体情報)に基づいてユーザの睡眠に関する睡眠指標を算出し(ステップS13)、携帯端末5は、睡眠指標に応じて動作および/または機能が制御される(
図6、ステップS15)。これによれば、ユーザの睡眠状態に応じて携帯端末5の動作および/または機能を制御することができる。例えば、睡眠中に携帯端末5をオフモードにすることによって消費電力を低減したり、睡眠中に通話機能をオフにすることによってユーザの睡眠を妨げないようにしたりすることができる。
【0385】
上記実施形態によれば、携帯端末5は、据置型のベース装置6に電気的に接続可能である。ベース装置6は、当該ベース装置6に電気的に接続された携帯端末5に対して電力を供給して当該携帯型装置の充電を行う充電手段(電力取得部23)と、ユーザのQOLを評価するためのユーザ情報(生体情報)を検出する検出手段(ドップラーセンサ24)とを備える。携帯端末5は、ベース装置6によって検出されたユーザ情報から算出される情報(健康情報。ユーザ情報自身でもよい。)を送信情報としてサーバ3へ送信する。サーバ3は、携帯端末5から送信されてくる送信情報(送信情報から算出される情報でもよい。)を蓄積情報として所定の記憶部に蓄積する。
【0386】
上記「電気的に接続可能」とは、以下の接続態様を含む意味である。
・上記実施形態のように、携帯端末がベース装置に着脱可能に装着され(載置されてもよい)、互いのコネクタが接触することによって通信が可能となる態様
・携帯端末とベース装置とが着脱可能なケーブルを介して接続されることによって、通信が可能となる態様
・携帯端末がベース装置に着脱可能に装着または載置された場合に、携帯端末とベース装置との間で近距離無線通信が可能となる態様
【0387】
上記によれば、ベース装置6は、携帯端末5のための充電器と、ユーザ情報を検出するセンサ装置との両方を兼ねるので、設置場所をとらずにユーザ情報を検出することができる。また、送信情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数の送信情報を容易に管理することができる。
【0388】
さらに、上記によれば、ベース装置6の充電機能によって、携帯端末5をベース装置6に装着する動機付けをユーザに与えることができる。そのため、ベース装置6が、携帯端末5が装着または載置されたことに応じてユーザ情報の検出を開始する場合(
図6参照)には、携帯端末5のベース装置6への装着をユーザが忘れる可能性を低減することができ、ベース装置6による検出をより確実に行うことができる。
【0389】
また、充電手段(電力取得部23)は、ユーザ情報(生体情報)の検出中に、当該ユーザ情報の送信先である携帯端末5の充電を行う。これによれば、ユーザが携帯端末5を充電するためにベース装置6に携帯端末5を接続している間に、ユーザ情報が検出される。ここで、携帯端末5の充電中においては、通常、ユーザは携帯端末5の近くにいることが多いと考えられる。したがって、ユーザが携帯端末5の近くにいる(可能性が高い)場合にユーザ情報の検出を行うことによって、検出時におけるユーザの負担を小さくすることができる。
【0390】
(複数の情報に基づく評価に関する作用効果)
上記実施形態によれば、情報処理システム1は、据置型のベース装置6と、携帯端末5とを含む。ベース装置6は、ユーザの睡眠中において、当該ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、上記ユーザの覚醒中において、当該ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。情報処理システム1は、第1ユーザ情報と第2ユーザ情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS35、ステップS114)。上記によれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
【0391】
なお、上記において、第1ユーザ情報と第2ユーザ情報とは、同じであってもよいし、異なっていてもよい。例えば、第1ユーザ情報と第2ユーザ情報とは、ユーザに関する生体情報であってもよい。また、各ユーザ情報がともに生体情報である場合において、第1ユーザ情報と第2ユーザ情報とは、同じ種類の生体情報であってもよいし、異なる種類の生体情報であってもよい。
【0392】
また、情報処理システム1は、第1ユーザ情報(生体情報。第1ユーザ情報から算出される情報であってもよい)を携帯端末5へ逐次送信する(ステップS1)。携帯端末5は、ベース装置6から情報を受信している間は、第2ユーザ情報の検出を行わない(
図1参照)。これによれば、携帯端末5は、ベース装置6から情報を受信することによって、第2ユーザ情報の検出を行うか否かを判定することができる。携帯端末5は、必要性の低い期間(覚醒中でないと推測される期間)については、第2ユーザ情報の検出を行わないようにすることができるので、検出を効率良く行うことができる。
【0393】
また、情報処理システム1は、第1ユーザ情報に基づいて算出される、ユーザのQOLに関する第1指標(第1疲労度/健康情報)を算出し(ステップS17)、第2ユーザ情報に基づいて算出される、ユーザのQOLに関する第2指標(第2疲労度/活動情報、環境情報、感情情報)を算出する(ステップS114)。情報処理システム1は、第1指標(睡眠時スコア画像62/健康スコア画像52)と第2指標(覚醒時スコア画像63/環境スコア画像53および感情スコア画像54)とを対応付けてユーザに対して提示する(
図26)。これによれば、睡眠中に検出される情報に基づく第1指標と、覚醒中に検出される情報に基づく第2指標とが対応付けられて提示されるので、ユーザに対して両者をわかりやすく提示することができる。
【0394】
また、情報処理システム1は、第1指標および第2指標に基づくQOLに関する評価結果(健康スコア画像61、または、QOLスコア画像50)と、当該第1指標(睡眠時スコア画像62、または、健康スコア画像52)および当該第2指標(覚醒時スコア画像63、または、各画像53および54)の少なくとも1つ(
図25および
図26の例では両方)とを対応付けてユーザに対して提示する(
図25、
図26)。これによれば、2つの指標に基づく評価結果と、各指標の少なくともいずれかとが対応付けられて提示されるので、ユーザに対して両者をわかりやすく提示することができる。
【0395】
また、携帯端末5は、ベース装置6に装着(または載置)可能であり、ベース装置6に装着(または載置)されている間は、第2ユーザ情報の検出を行わない。これによれば、ユーザが携帯端末5を携帯していない場合には、携帯端末5は第2ユーザ情報の検出を行わないこととなる。ここで、通常、睡眠中においてはユーザは携帯端末5を携帯していないと考えられる。したがって、上記によれば、携帯端末5がユーザの睡眠中に不要に第2ユーザ情報の検出を行う可能性を低減することができる。
【0396】
上記実施形態によれば、情報処理システム1は、第1端末(ベース装置6)と、第2端末(携帯端末5)と、サーバ3とを含む。ベース装置6は、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。また、携帯端末5は、第1ユーザ情報から算出される情報(健康情報。第1ユーザ情報そのものでもよい)を第1送信情報としてサーバ3へ送信する(ステップS4、ステップS19)。また、携帯端末5は、第1送信情報とともに、または、別個に、第2ユーザ情報から算出される情報(活動情報。第2ユーザ情報そのものでもよい)を第2送信情報としてサーバ3へ送信する(ステップS5、ステップS23等、ステップS54)。ベース装置6および携帯端末5は、一方がユーザの睡眠中において検出を行い、他方がユーザの覚醒中において検出を行う(
図4参照)。サーバ3は、第1送信情報と第2送信情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114またはS115)。
【0397】
また、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。また、第1端末(ベース装置6)による検出情報は第2端末(携帯端末5)によってサーバ3へ送信されるので、ベース装置6がサーバ3との通信手段を有する必要はなく、ベース装置6の構成を簡易化することができる。なお、他の実施形態においては、ベース装置6がサーバ3と通信を行う通信部を備えていてもよい。このとき、携帯端末5において検出される第2ユーザ情報(または第2ユーザ情報から算出される情報)は、ベース装置6を介してサーバ3へ送信されてもよい。
【0398】
上記実施形態によれば、据置型装置(ベース装置6)は、ユーザの状態および/または行動に関する情報であって、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザの状態および/または行動に関する情報であって、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。携帯端末5は、第1ユーザ情報から算出される情報(健康情報。第1ユーザ情報そのものでもよい。)を第1送信情報としてサーバ3へ送信する(ステップS4、ステップS19)。また、携帯端末5は、第1送信情報とともに、または、別個に、第2ユーザ情報から算出される情報(各種QOL要素情報。第2ユーザ情報そのものでもよい。)を第2送信情報としてサーバ3へ送信する(ステップS5、ステップS23等、ステップS54)。サーバ3は、第1送信情報と第2送信情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114)。なお、上記「ユーザの状態および/または行動に関する情報」は、ユーザの状態を表す情報(例えば、上述した生体情報、位置情報、環境情報、感情情報、および、嗜好情報)であってもよいし、ユーザの行動を表す情報(例えば、上述した位置情報および活動情報)であってもよい。
【0399】
情報処理システム1は、ベース装置6によって検出される第1ユーザ情報と、携帯端末5によって検出される第2ユーザ情報との両方を用いてQOLを評価するので、より広い期間にわたってユーザの状態を考慮して評価を行うことができる。例えば、ユーザが携帯端末5を携帯している期間においては携帯端末5が第2ユーザ情報を検出し、ユーザが携帯端末5を携帯していない期間においてはベース装置6が第1ユーザ情報を検出することも可能である。また、ベース装置6による検出情報は携帯端末5によってサーバ3へ送信されるので、ベース装置6がサーバ3との通信手段を有する必要はなく、ベース装置6の構成を簡易化することができる。
【0400】
また、ベース装置6は、ユーザの睡眠に関する情報を第1ユーザ情報として検出し、携帯端末5は、ユーザの覚醒時の行動内容に関する情報を第2ユーザ情報として検出する(
図4参照)。これによれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
【0401】
上記実施形態によれば、情報処理システム1は、第1装置(ベース装置6)と、第2装置(携帯端末5)とを含む。ベース装置6は、ユーザが屋内にいる状態において 当該ユーザのQOLを評価するための第1ユーザ情報(生体情報)を、当該ユーザに対して接触しない状態で検出する(ステップS1、ステップS12)。携帯端末5は、ユーザが屋外にいる状態において、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。なお、携帯端末5は、ユーザが屋外にいる状態において第2ユーザ情報を検出することができればよく、ユーザが屋内にいる状態において第2ユーザ情報を検出してもよい。情報処理システムは、第1ユーザ情報と第2ユーザ情報とに基づいてユーザのQOLに関する評価を行う(ステップS7、ステップS114)。
【0402】
上記によれば、情報処理システム1は、ユーザが屋内にいる場合に検出される第1ユーザ情報と、ユーザが屋外にいる場合に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。
【0403】
上記実施形態によれば、情報処理システム1は、第1装置(ベース装置6)と、第2装置(携帯端末5)とを含む。ベース装置6は、ユーザの睡眠中において、ユーザのQOLを評価するための第1ユーザ情報(生体情報)を検出する(ステップS1、ステップS12)。携帯端末5は、ユーザの覚醒中において、ユーザのQOLを評価するための第2ユーザ情報(位置情報、環境センサ情報、マイクによる検出音の情報、カメラによる撮像画像の情報等)を検出する(ステップS5、ステップS22、ステップS51)。情報処理システム1は、第1ユーザ情報に基づいてユーザのQOLに関する評価を行い(ステップS17において第1疲労度を算出する、または、ステップS114において健康指標を算出する。)、第2ユーザ情報に基づいてユーザのQOLに関する評価を行う(ステップS114において第2疲労度を算出する、または、ステップS114において環境指標または感情指標を算出する)。さらに、情報処理システム1は、第1ユーザ情報および第2ユーザ情報に基づいてユーザのQOLに関する評価を行う(ステップS114において健康指標を算出する、または、ステップS115においてQOL指標を算出する)。
【0404】
上記によれば、情報処理システム1は、睡眠中に検出される第1ユーザ情報と、覚醒中に検出される第2ユーザ情報との両方を用いてQOLを評価するので、1日にわたるユーザの状態を考慮してQOLの評価を行うことができる。また、情報処理システム1は、第1ユーザ情報に基づく評価と、第2ユーザ情報に基づく評価と、2つのユーザ情報に基づく評価とを行うので、QOLに関する評価を多面的に行うことができる。
【0405】
また、情報処理システム1は、第1ユーザ情報に基づく評価結果(第1疲労度、または、健康指標)と、第2ユーザ情報に基づく評価結果(第2疲労度、または、環境指標もしくは感情指標)とに基づいて、ユーザのQOLに関する指標を算出する(ステップS114、または、ステップS115)。これによれば、各ユーザ情報に基づく各評価結果に基づいてQOLに関する指標が算出されるので、各ユーザ情報の両方を考慮したQOL指標を算出することができる。
【0406】
また、携帯端末5は、ベース装置6において第1ユーザ情報を検出するセンサ(ドップラーセンサ24)とは異なる種類のセンサ(位置検出部13。より具体的には、GPSセンサ)によって第2ユーザ情報を検出する。このように、各ユーザ情報を異なるセンサによって検出することで、より多面的にユーザ情報を取得することができ、QOLに関する評価の精度を向上することができる。
【0407】
上記実施形態によれば、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2は、ユーザの睡眠中において、当該ユーザの睡眠に関する第1ユーザ情報(生体情報)を検出し(ステップS1、ステップS12)、覚醒中におけるユーザの行動内容に関する第2ユーザ情報(QOL要素情報)を検出する(ステップS5)。サーバ3は、第1ユーザ情報と第2ユーザ情報とを用いたサービスをユーザに対して提供するためのサービスデータを端末システム2へ送信する(ステップS9)。上記によれば、ユーザの睡眠に関する第1ユーザ情報と、ユーザの行動内容に関する第2ユーザ情報とを用いることによって、有用なサービスを提供することができる。
【0408】
また、サーバ3は、第1ユーザ情報に基づいてユーザのQOLを評価する(ステップS114で、健康指標を算出する)。また、情報処理システム1は、ユーザのQOLの評価結果に基づいて、QOLを改善するためのサービスを提供し、当該サービスを提供するためのサービスデータとして、第2ユーザ情報(嗜好情報)に基づいて特定されるユーザの嗜好に応じた内容のサービスデータを選択する(ステップS116)。これによれば、情報処理システムは、ユーザのQOLを改善するためのサービスを、ユーザの嗜好に応じたサービス内容で提供することができ、有用なサービスを提供することができる。
【0409】
(健康に関する評価結果に応じた特典付与に関する作用効果)
上記実施形態によれば、情報処理システムは、携帯型端末(携帯端末5)を含む端末システム2と、サーバ3とを含む。端末システム2は、ユーザの健康を評価するための第1情報(生体情報、あるいは、位置情報)を取得する(ステップS12またはステップS51)。情報処理システムは、取得された第1情報に基づいて、ユーザの健康に関する評価を行う(ステップS114)。サーバ3は、ユーザの健康に関する評価に応じたネットワークサービスを提供するためのサービスデータを端末システムへ送信する(ステップ9、ステップS36、ステップS117)。また、サーバ3は、ユーザに付与される特典であって、ネットワークサービスおよび/または携帯型端末に関する特典を示す特典情報(
図21に示す特典データ)を所定の記憶部に記憶する。サーバ3は、ユーザの健康に関する評価結果に応じた特典を当該ユーザに付与するように特典情報を更新する(ステップS116)。
【0410】
上記によれば、情報処理システム1は、ユーザの健康の評価結果に応じてユーザに特典を付与する。これによれば、情報処理システム1は、特典を付与することによって、健康を改善する動機づけをユーザに与えることができ、ユーザの健康改善に寄与することができる有用なサービスを提供することができる。
【0411】
情報処理システム1は、ユーザの指示の有無にかかわらず第1情報を繰り返し取得する(ステップS12またはステップS51)。また、情報処理システム1は、第1情報に基づいて繰り返し評価を行う(上記実施形態では、評価は毎日繰り返される。)。サーバ3は、ユーザの指示の有無にかかわらず継続的にサービスデータを端末システム2へ送信する(ステップS117)。また、サーバ3は、継続的に提供されるネットワークサービス(上記実施形態では、サービスデータの送信が毎日実行される。)におけるサービスの一部として特典を付与する。上記によれば、情報処理システム1は、健康に関する評価を自動的にかつ継続的に行い、評価結果に応じたネットワークサービスを継続的にユーザに提供する。したがって、ユーザは、繰り返し指示を行わなくても健康の評価を継続的に受けることができる。また、評価を継続的に行うとともに、評価に応じた特典をユーザに付与することによって、情報処理システム1は、ユーザに健康を維持する動機付けを与えることができ、ユーザの健康維持に寄与することができる。
【0412】
上記実施形態によれば、情報処理システム1は、端末システム2と、サーバ3とを含む。端末システム2は、睡眠中のユーザから生体情報を検出するセンサ(ドップラーセンサ24)から当該生体情報を第1情報として取得する(ステップS12)。情報処理システム1は、取得された生体情報に基づいて、ユーザの健康に関する評価を行う(ステップS114)。サーバ3は、ユーザに付与される特典を示す特典情報(
図21に示す特典データ)を所定の記憶部に記憶する。サーバ3は、ユーザの健康に関する評価結果に応じた特典を当該ユーザに付与するように特典情報を更新する。上記によれば、情報処理システム1は、ユーザの健康の評価結果に応じてユーザに特典を付与するので、健康を改善する動機づけをユーザに与えることができ、ユーザの健康改善に寄与することができる。
【0413】
端末システム2は、ユーザの行動に関する第2情報(位置情報、または、活動情報であってもよい)をさらに取得し(ステップS91)、情報処理システム1は、第2情報に基づいてユーザの嗜好を判断する(ステップS93)。サーバ3は、ユーザに付与される特典の内容を、当該ユーザの嗜好に基づいて決定する(ステップS116)。これによれば、情報処理システムは、ユーザの嗜好に応じた内容で特典を提供することができ、有用なサービスを提供することができる。また、特典をユーザにとってより魅力的なものすることができるので、健康を改善する動機付けをより強くユーザに与えることができる。
【0414】
上記において、サーバ3は、第1情報(生体情報)と第2情報(位置情報、または、活動情報であってもよい)とに基づいて健康に関する評価を行う(ステップS114)。
これによれば、異なる2種類の情報に基づいて健康に関する評価を行うことができるので、評価の精度を向上することができる。
【0415】
(ベース装置に関する作用効果)
上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタ25に投影表示させる制御部22(ステップS18)
上記「睡眠状態に関する画像」とは、睡眠状態(例えば、上述の睡眠指標)を表す画像であってもよいし、睡眠状態に対する評価結果(例えば、上述の快眠指数)を表す画像であってもよい。上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、上記画像をプロジェクタ25に表示させることによって、ユーザに自身の睡眠状態を提示することができる。
【0416】
上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて、ユーザの覚醒に関するタイミングを特定し、特定されたタイミングに応じて、画像の投影表示をプロジェクタに開始させる制御部22(ステップS14、
図6)
上記「ユーザの覚醒に関するタイミング」とは、例えば、ユーザの覚醒時のタイミング、または、覚醒前後のタイミングである。上記実施形態における、ユーザの眠りが浅くなった(換言すれば、ユーザが覚醒前の状態に入った)と判定されたタイミング、および、ユーザが覚醒したと判定されたタイミングは、上記「ユーザの覚醒に関するタイミング」であると言える。また、ユーザが覚醒した後のタイミングであって、覚醒タイミングに基づくタイミング(例えば、覚醒タイミングから所定時間が経過したタイミング)も、上記「ユーザの覚醒に関するタイミング」であると言える。
また、「特定されたタイミングに応じて(画像の投影表示を)開始する」とは、当該タイミングに投影表示が開始する意味と、特定されたタイミングに応じたタイミング(例えば、特定されたタイミングの1分後のタイミング)に投影表示が開始する意味との両方の意味を含む。
上記によれば、端末システム2は、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、ユーザの覚醒に応じてユーザに画像を提示することができる。つまり、端末システム2は、適切なタイミングでユーザに画像を提示することができるとともに、プロジェクタ25による電力消費を低減することができる。
【0417】
上記実施形態によれば、表示システムの一例である端末システム2は、以下の構成を備える。
・入床中のユーザの睡眠に関する状態を算出するためのユーザ情報を検出するセンサ(ドップラーセンサ24)
・ユーザの入床中に所定の画像を投影表示するプロジェクタ25
・プロジェクタ25を制御する制御部22
・ネットワークを介してサーバ3と通信を行う通信部10
上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、サーバ3と通信を行う通信部を備えるので、例えば、プロジェクタ25によって表示すべき画像をサーバ3から取得したり、センサによる検出結果(または検出結果に基づく情報)をサーバ3へ送信したりすることができる。
【0418】
また、制御部22は、ユーザ情報に基づいて特定されるタイミングである、ユーザの睡眠状態に応じたタイミングで、ユーザ情報に基づいて算出される睡眠状態に関する画像をプロジェクタ25に表示させる。これによれば、ユーザの睡眠状態に応じた適切なタイミングでユーザに画像を提示することができる。また、プロジェクタ25による電力消費を低減することができる。
【0419】
また、制御部22は、ユーザ情報に基づいて特定されるタイミングである、ユーザが覚醒するタイミング、または、覚醒前のタイミングで、睡眠状態に関する画像をプロジェクタ25に表示させる。これによれば、ユーザが覚醒した際に、ユーザの睡眠状態に関する情報をユーザに提示することができるので、適切なタイミングで有用な情報をユーザに提示することができる。
【0420】
端末システム2は、睡眠に関する状態に応じてプロジェクタ25への電源供給を制御する。例えば、端末システム2は、ユーザ情報に基づいて特定される、ユーザの覚醒に関するタイミングに応じて、プロジェクタ25への電源供給を開始させてもよい。より具体的には、端末システム2は、ユーザが覚醒する前のタイミング(覚醒するタイミングでもよい)で、プロジェクタ25への電源供給を開始させてもよい。これによれば、睡眠中におけるプロジェクタ25への電源供給を抑えつつ、覚醒時にプロジェクタ25による画像表示を行うことができる。
【0421】
端末システム2は、ユーザの入眠を誘導するための画像(入眠用コンテンツ)、および/または、覚醒を誘導するための画像(覚醒用コンテンツ)を、ユーザの睡眠状態に応じて変化させてプロジェクタ25に投影表示させてもよい。例えば、プロジェクタ25によって投影表示される画像の明るさがユーザの睡眠状態に応じて変化してもよい。
【0422】
端末システム2は、ユーザが覚醒した場合、睡眠中の中途覚醒であるか否かを判定する(上述の“(中途覚醒時の情報提示)”および“(覚醒時における評価結果の提示)”を参照)。このとき、端末システム2は、中途覚醒であると判定された場合と中途覚醒でないと判定された場合とで異なる画像をプロジェクタ25に投影表示させる(
図6)。これによれば、ユーザの中途覚醒か否かに応じた適切な画像をユーザに提示することができる。
【0423】
端末システム2は、ユーザ情報に基づいてユーザの睡眠に対する評価を行い(ステップS17)、ユーザ情報に基づいて特定される、ユーザの睡眠状態に応じたタイミング(例えば、ユーザが覚醒するタイミング)で、評価の結果をプロジェクタ25に投影表示させる(ステップS18)。これによれば、端末システム2は、睡眠に関する評価結果を適切なタイミングでユーザに提示することができる。
【0424】
上記実施形態によれば、表示システムの一例である端末システム2(ベース装置6)は、以下の構成を備える。
・ユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)
・所定の画像を投影表示するプロジェクタ25
・ユーザ情報に基づいて算出される睡眠に関する状態に応じてプロジェクタを制御する制御部22(ステップS14)
上記によれば、端末システム2は、プロジェクタ25を用いることによって、例えば天井等、就寝中のユーザにとって見やすい箇所に画像を投影表示することができる。これによって、端末システム2は、就寝中のユーザにとって見やすい表示を提供することができる。また、端末システム2は、ユーザの睡眠状態に応じてプロジェクタ25を制御することによって、プロジェクタ25の電源(オン/オフ)、および/または、プロジェクタ25によって投影表示される画像を、睡眠状態に応じて適切に制御することができる。
【0425】
上記実施形態によれば、表示システムの一例である端末システム2は、以下の構成を備える。
・入床中のユーザの睡眠に関する状態を算出するためのユーザ情報を検出するセンサ(ドップラーセンサ24)
・ユーザの入床中に所定の画像を投影表示するプロジェクタ25
・プロジェクタ25と着脱可能に接続され、上記所定の画像と同じまたは異なる画像を表示する画面を有する表示装置(携帯端末5のディスプレイ17)
上記によれば、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができるとともに、表示装置によって、プロジェクタ25による投影箇所とは異なる位置で画像を提示することができる。なお、他の実施形態においては、上記表示装置は、プロジェクタ25と一体的に形成されてもよい。
【0426】
表示装置(携帯端末5)は、プロジェクタ25の筐体に対して着脱可能である。したがって、ユーザは、表示装置をプロジェクタ25から外して利用することができる。さらに、上記表示装置は携帯型の情報処理装置であるので、ユーザは、表示装置を携帯して利用することができる。また、上記表示装置は、無線通信でネットワークにアクセスすることによって当該ネットワークを介して外部装置(サーバ3)と通信可能である。したがって、ユーザは、表示装置を屋外で利用する(例えば、サーバ3から通信によって取得されるコンテンツを表示する等)ことが可能である。
【0427】
上記実施形態によれば、表示装置の一例であるベース装置6は、ユーザの生体情報を検出するセンサ(ドップラーセンサ24)と、センサと同じ筐体内に設けられ、所定の画像を投影表示するプロジェクタ25とを備える(
図2、
図3)。これによれば、プロジェクタ25によって、就寝中のユーザにとって見やすい表示を提供することができる。また、センサによってユーザの生体情報を検出することができる。
【0428】
なお、ドップラーセンサ24は、ベース装置6から所定範囲内で離れたユーザを対象として生体情報を検出する。これによれば、センサによる検出動作をユーザに意識させずに、表示装置の付近にいるユーザから生体情報を検出することができる。
【0429】
また、ベース装置6は、ドップラーセンサ24による検出中においては載置された状態で使用される据置型の装置である。したがって、ユーザは、センサによる検出を行う場所に表示装置を載置しておけばよく、センサによる検出を行うために面倒な設定作業を行わなくてもよい。
【0430】
また、ベース装置6は、上記ドップラーセンサ24およびプロジェクタ25と同じ筐体内に設けられるスピーカ26をさらに備えていてもよい。これによれば、就寝中のユーザに対して音(例えば、プロジェクタ25によって投影表示される画像に合わせた音)を提示することができる。また、別にスピーカを用意しなくてもよいので、システムの構成を簡易化することができる。
【0431】
(感情情報の算出に関する作用効果)
上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を検出する検出部(マイク15およびカメラ16)を備える。情報処理システム1は、センサ情報に基づいてユーザの感情を判別する(ステップS26、ステップS77、ステップS87)。ここで、上記検出部は、携帯端末5が待機状態となっている期間にセンサ情報を検出する。
【0432】
上記「待機状態」とは、例えば、携帯端末5のディスプレイ17が消灯された状態(換言すれば、携帯端末5に対して所定時間操作が行われていない状態)である。待機状態においては、アプリケーションが実行中であってもよい。なお、上記において、検出部は、待機状態においてセンサ情報を検出することが可能な構成であればよい。検出部は、待機状態中に常にセンサ情報を検出する必要はなく、また、待機状態とは異なる状態(例えば、ユーザが携帯端末5を操作している状態)においてセンサ情報を検出してもよい。
【0433】
また、上記センサ情報は、上記実施形態においては、マイク15による検出音、および、カメラ16による撮像画像であるが、例えばユーザの生体情報であってもよい。例えば、生体情報として脈拍を検出し、脈拍に基づいてユーザの感情(高ぶっているか落ち着いているか等)を判別することが可能である。また例えば、ユーザが携帯端末5に触った際にユーザの発汗状態を検出し、発汗状態に基づいてユーザの感情を判別することが可能である。また、携帯端末5が加速度センサを備える場合には、情報処理システム1は、加速度センサの検出結果に基づいてユーザの姿勢および/または歩き方を算出し、ユーザの姿勢および/または歩き方に基づいて感情情報を算出してもよい。例えば、ユーザの姿勢が通常よりも背中を丸めて歩いている場合、あるいは、ユーザの歩き方が通常よりも遅い(とぼとぼ歩いている)場合には、情報処理システム1は、ユーザが落ち込んでいることを示す感情情報を算出するようにしてもよい。
【0434】
上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、センサ情報は携帯端末5の待機状態において検出されるので、情報処理システム1は、センサ情報の検出が行われていることをユーザが意識しない期間にセンサ情報を取得し、その期間におけるユーザの感情を判別することができる。これによって、携帯端末5を携帯するユーザの普段の生活の中で生じるユーザの感情を判別することができる。
【0435】
携帯端末5は、センサ情報とは異なる情報であってユーザに関するユーザ関連情報(スケジュール情報、位置情報、および/または、活動情報等)を取得し(ステップS71)、センサ情報の検出(マイク15および/またはカメラ16による測定)を行うか否かをユーザ関連情報に基づいて制御する(ステップS72)。これによれば、センサ情報の検出を適切な状況下で(すなわち、感情の判別が可能なセンサ情報が取得されると想定される状況下で)行うことができる。
【0436】
携帯端末5は、ユーザの行動および/または活動を表す情報(スケジュール情報、位置情報、および/または、活動情報等)をユーザ関連情報として取得する。これによれば、情報処理システム1は、ユーザの行動または活動を考慮して、センサ情報の検出を行うか否かの判断を行うことができる。
【0437】
携帯端末5は、ユーザ関連情報に基づいて、ユーザに関して所定のイベント(例えば会議)が行われている期間であるか否かを判定する。センサ情報は、上記所定のイベントが行われている期間において検出される。これによれば、情報処理システム1は、例えば会議や移動といったイベントの期間におけるユーザの感情を判別することができる。
【0438】
検出部は、相対的に長い時間間隔でセンサ情報を検出する第1検出モード(ステップS81〜S83の処理ループが実行される状態)と、連続してセンサ情報を検出する第2検出モード(ステップS85およびS86の処理ループが実行される状態)とで少なくとも動作可能である。携帯端末5は、第1検出モードで検出されたセンサ情報が所定の条件を満たす場合(ステップS82の判定結果が肯定となる場合)、検出部の動作モードを第2検出モードへと切り替える。情報処理システム1は、第2モードにおいて検出されたセンサ情報に基づいてユーザの感情を判別する(ステップS87)。上記によれば、情報処理システム1は、上述したユーザ関連情報を用いずとも、センサ情報を用いてセンサ情報の検出を行うか否かを制御することができる。
【0439】
なお、上記第2検出モードは、(上記第1検出モードに比べて)相対的に短い時間間隔でセンサ情報を検出するモードであってもよい。
【0440】
携帯端末5は、ユーザが当該携帯端末を操作中であるか否かを判定する(ステップS72)。検出部は、携帯端末5をユーザが操作中であると判定される場合にセンサ情報を検出する(ステップS73)。これによれば、(携帯端末5が待機中である場合のユーザの感情に加えて、)携帯端末5を操作中であるユーザの感情を判別することができる。
【0441】
上記実施形態によれば、情報処理システム1は、ユーザの感情を判別するためのセンサ情報を検出し(ステップS74、ステップS85)、センサ情報に基づいてユーザの感情を判別し(ステップS77、ステップS87)、感情の判別結果に応じた提案をユーザに対して行うための提案情報(サービスデータ)をユーザに提示する(ステップS117、ステップS104)。上記によれば、情報処理システム1は、センサ情報に基づいてユーザの感情を判別することができ、ユーザの感情という有用な情報を取得することができる。また、このユーザの感情を考慮した提案をユーザに対して行うことができる。
【0442】
情報処理システム1は、所定期間に1回(1日に1回)の頻度で提案情報を提示し(ステップS9)、当該所定期間に検出されたセンサ情報に基づく感情の判別結果に応じて当該提案情報を生成する。これによれば、感情の判別結果に応じた提案をユーザに定期的に行うことができる。
【0443】
なお、他の実施形態において、情報処理システム1は、イベントが行われている期間(ステップS24〜S25の期間)においてセンサ情報を検出し、イベントが行われている期間の終了に応じて提案情報をユーザに提示してもよい。これによれば、イベントが終わった後のユーザに対して、感情の判別結果に応じた提案を行うことができるので、適切なタイミングで提案を行うことができる。
【0444】
サーバ3は、提案情報を提示するユーザとして、感情の判別が行われたユーザに関連付けて、当該ユーザとは異なる他のユーザの識別情報(通知ユーザデータ)を所定の記憶部に記憶する。サーバ3は、あるユーザの感情の判別結果を示す情報(感情情報)、および、当該判別結果に応じた提案情報(感情指標)を、当該あるユーザに関連付けられた他のユーザ(通知対象ユーザ)に対して提示する(ステップS117)。これによれば、情報処理システム1は、感情の判別対象であるユーザ本人とは異なる他のユーザに対して、ユーザ本人の感情に応じた提案を行うことができる。例えばユーザの家族や友人等にとって当該ユーザの感情に関する情報は有用な情報であるので、家族や友人等に有用な情報を提供することができる。
【0445】
サーバ3は、あるユーザの感情の判別結果に応じた提案情報として、当該ユーザに対して第1提案情報(
図25に示す情報)を提示し、当該第1提案情報とは異なる第2提案情報(
図28に示す情報)を、当該あるユーザに関連付けられた他のユーザに対して提示する。
【0446】
また、上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を繰り返し検出し(ステップS74、ステップS85)、所定のモニタ期間(測定期間)中に検出された複数のセンサ情報に基づいて、当該モニタ期間におけるユーザの感情を判別する(ステップS77、ステップS87)。情報処理システム1は、感情の判別結果をユーザに提示する。なお、上記モニタ期間は、どのように設定されてもよく、設定方法も任意である。モニタ期間は、例えば、予め定められた開始時刻から終了時刻までの期間であってもよい。
【0447】
上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、センサ情報はモニタ期間中において検出されるので、情報処理システム1は、ユーザの普段の生活の中における特定のモニタ期間中におけるユーザの感情を判別することができる。
【0448】
携帯端末5は、センサ情報とは異なる情報であってユーザに関するユーザ関連情報(スケジュール情報、位置情報、および/または、活動情報等)を取得し、モニタ期間をユーザ関連情報に基づいて決定する。これによれば、例えばユーザがある行動を行っている期間(例えば、会議中や食事中)等をモニタ期間として決定することができるので、センサ情報を検出する期間を適切に設定することができる。
【0449】
携帯端末5は、ユーザが当該携帯端末5を操作中であるか否かを判定する(ステップS72,S76)。情報処理システム1は、携帯端末5をユーザが操作中であると判定される期間をモニタ期間として感情の判別を行う(ステップS74,S77)。これによれば、携帯端末5の操作中におけるユーザの感情を判別することができる。また、携帯端末5がカメラを備えている場合には、携帯端末5の操作中であればカメラによってユーザの顔を撮像することができるので、ユーザの表情から感情を判別することができる。
【0450】
上記実施形態によれば、情報処理システム1は、ユーザの感情を判別するためのセンサ情報を検出し(ステップS74、ステップS85)、センサ情報に基づいてユーザの感情を判別する(ステップS77、ステップS87)。また、情報処理システム1は、ユーザの生活を観察することによって得られる生活情報(位置情報、活動情報、健康情報、環境センサ情報、環境情報、嗜好情報)を取得し、感情の判別結果と生活情報とに基づいて所定の処理(QOLの評価、および、ネットワークサービスにおけるサービス内容の特定)を実行する(ステップS115,S116)。
【0451】
なお、上記「生活情報」は、ユーザの生活を観察することによって得られる任意の情報であればよく、上述の位置情報、活動情報、健康情報、環境センサ情報、環境情報、および嗜好情報のうちのいくつかであってもよいし、他の種類の情報であってもよい。また、上記「所定の処理」の内容は任意であり、上述した、ユーザに関する評価を行う処理、および、サービス内容を特定する処理の他、他の種類の処理であってもよい。
【0452】
上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、情報処理システム1は、感情の判別結果と生活情報とを用いることで、ユーザの生活と感情とを反映した処理を行うことができる。
【0453】
情報処理システム1は、上記所定の処理として、感情の判別結果と生活情報とに基づいて、ユーザの状態を示す指標を算出する処理を実行する(ステップS115)。これによれば、情報処理システム1は、ユーザのQOLを反映した有用な指標を算出することができる。
【0454】
情報処理システム1は、上記所定の処理として、感情の判別結果と生活情報とに基づいて、ユーザに対して提案を行うための提案情報(アドバイス情報、リコメンド情報)を生成し(ステップS116)、当該提案情報をユーザに提示する処理を実行する(ステップS117)。これによれば、ユーザの生活と感情とを考慮した有用な提案をユーザに提示することができる。
【0455】
情報処理システム1は、センサ情報の検出を行うか否かを生活情報に基づいて制御し、センサ情報に基づいて、ユーザの状態を示す指標(感情指標、QOL指標等)を算出する。これによれば、情報処理システム1は、生活情報に基づいて、センサ情報の検出を行うか否かの判断を行うことができるので、この判断を適切に行うことができる。
【0456】
情報処理システム1は、センサ情報が検出される期間と少なくとも一部が重複する期間において生活情報を取得する(
図10)。これによれば、情報処理システム1は、ある期間におけるユーザの感情と、その期間におけるユーザの生活情報とを反映した処理を行うことができる。
【0457】
上記実施形態によれば、携帯端末5は、ユーザの感情を判別するためのセンサ情報を検出する検出部(マイク15およびカメラ16)を備える。情報処理システム1は、センサ情報に基づいてユーザの感情を判別し、感情の判別結果をサーバ3が有する記憶部に蓄積する。
【0458】
また、携帯端末5は、マイク15によって検出される音のうちに含まれるユーザの声を認識し、ユーザの声に基づいて当該ユーザの感情を判別する(ステップS77、ステップS87)。これによれば、携帯端末5のユーザ自身の声に基づいて当該ユーザの感情を判別するので、感情を正確に判別することができる。
【0459】
また、携帯端末5は、マイク15によって検出される音のうちに含まれる、ユーザ以外の他人の声を認識し、他人の声に基づいてユーザの感情を判別してもよい(ステップS77、ステップS87)。これによれば、携帯端末5のユーザ以外の他人の声に基づいて当該ユーザの感情を判別するので、ユーザの声から感情を判別できない状況であっても当該ユーザの感情を判別することができる。したがって、より多くの状況でユーザの感情を判別することができる。
【0460】
また、携帯端末5は、マイク15によって検出される音に基づいて、ユーザの周囲の雰囲気に応じた当該ユーザの感情を判別してもよい。これによれば、携帯端末5のユーザの声から感情を判別できない状況であっても当該ユーザの感情を判別することができ、より多くの状況でユーザの感情を判別することができる。
【0461】
上記によれば、情報処理システム1は、センサ情報に基づいて携帯端末5のユーザの感情を判別することができる。また、感情情報は、それを分析したり評価したりすることによって各種のサービスをユーザに提供することができるので、有用な情報であり、感情情報が複数(1人のユーザについての複数の感情情報であってもよいし、複数人のユーザについての感情情報であってもよい)あればさらに有用な情報となる。上記実施形態によれば、算出された感情情報はサーバ3に蓄積されるので、携帯端末5の記憶容量に大きな負荷をかけることなく、有用な情報である多数の感情情報を容易に管理することができる。
【0462】
[8.その他の変形例]
(端末システムの構成に関する変形例)
上記実施形態においては、端末システム2は、1つの携帯端末5と1つのベース装置6とを含む構成であった。ここで、他の実施形態においては、端末システム2は、複数の携帯端末5と1つのベース装置6とを含む構成であってもよい。すなわち、端末システム2は、複数のユーザ(例えば家族である複数のユーザ)がそれぞれ携帯端末5を携帯し、複数の携帯端末5に対してベース装置6を1つのみ設ける構成であってもよい。このとき、ベース装置6は、特定の1人のユーザ(例えば、ベース装置6に接続された携帯端末5のユーザ)の生体情報を検出してもよい。また、ベース装置6が複数のユーザから生体情報を検出可能である場合には、各ユーザの生体情報をそれぞれ検出してもよい。
【0463】
また、上記実施形態においては、携帯端末5を任意のベース装置6と組み合わせて利用することができる。すなわち、上記実施形態においては、ベース装置6において検出された情報は携帯端末5を介してサーバ3へ送信されるので、当該情報は携帯端末5のユーザに関する情報であることを特定できる。そのため、携帯端末5とユーザとの関係が固定であれば、ベース装置6は、任意のユーザ(携帯端末5)によって用いられることができる。例えば、ベース装置6をユーザの自宅の他にホテルにも設置しておくことによって、情報処理システム1は、自宅以外でユーザが眠る場合においても健康情報を算出することができる。
【0464】
なお、他の実施形態においては、情報処理システム1は、携帯端末5とベース装置6との組み合わせを固定にしてもよい。例えば、携帯端末5とベース装置6とを接続する際に、認証処理を行うようにすることによって、ある携帯端末5に対して特定のベース装置6のみを利用可能とすることができる。
【0465】
(情報処理システム1に含まれる各装置の機能に関する変形例)
上記実施形態においては、ベース装置6、携帯端末5、およびサーバ3によって、情報処理システム1における各処理が実行された。ここで、情報処理システム1における各処理は、上記3つの構成(ベース装置6、携帯端末5、およびサーバ3)のいずれで実行されてもよい。
【0466】
ベース装置6は、センサによって検出された情報を携帯端末5へ送信したが、他の実施形態においては、検出された情報から算出される情報を送信してもよい。例えば、ベース装置6は、呼吸および/または体動の生体情報を算出して携帯端末5へ送信してもよいし、睡眠指標を算出して携帯端末5へ送信してもよいし、健康情報(睡眠指標および疲労指標)を算出して携帯端末5へ送信してもよい。さらには、ベース装置6は、健康情報に基づく評価結果(を表す指標)を算出して携帯端末5へ送信してもよい。
【0467】
また、携帯端末5は、ベース装置6から受信した情報、および/または、自身で検出した情報をそのままサーバ3へ送信してもよいし、これらの情報から算出される情報をサーバ3へ送信してもよい。後者の場合、上記実施形態においては、携帯端末5は上記QOL要素情報を算出してサーバ3へ送信したが、他の実施形態においては、携帯端末5は、QOL要素情報に基づく評価を行い、評価結果(を表す指標)をサーバ3へ送信してもよい。
【0468】
また、サーバ3は、ベース装置6および/または携帯端末5によって検出された情報を携帯端末5から受信してもよい。このとき、サーバ3は、検出された情報に基づいて評価結果を算出する。また、サーバ3は、上記検出された情報から算出される情報(呼吸および/または体動の生体情報、睡眠指標、および、QOL要素情報等)に基づいて評価結果を算出してもよいし、評価結果を携帯端末5から受信してもよい。
【0469】
なお、上記実施形態のように、複数種類のQOL要素情報が算出されたり、複数種類の評価が行われたりする場合には、複数種類のQOL要素情報(または評価結果)のうちのいくつかのQOL要素情報(または評価結果)については携帯端末5で算出され、残りのQOL要素情報(または評価結果)についてはサーバ3で算出されてもよい。
【0470】
(ベース装置に関する変形例)
上記実施形態において、ベース装置6は、携帯端末5を介してネットワーク4に接続される構成であった。ここで、他の実施形態においては、ベース装置6は、ネットワーク4と通信可能な通信部を備える構成であってもよい。このとき、ベース装置6は携帯端末5を介さずにサーバ3と通信を行うようにしてもよい。例えば、ベース装置6は、センサによって検出された情報(または、当該情報から算出される情報)を、携帯端末5を介さずにサーバ3へ送信してもよい。また例えば、ベース装置6は、サーバ3からサービスデータを、携帯端末5を介さずに受信してもよい。また、ベース装置6は、サービスデータに基づく画像(例えば、上述の入眠用コンテンツや覚醒用コンテンツ)、および/または、サーバ3から送信されてくる画像をプロジェクタ25によって投影表示するようにしてもよい。
【0471】
上記実施形態において、ベース装置6は、出力装置の一例として、プロジェクタ25およびスピーカ26を備える構成であった。ここで、他の実施形態においては、ベース装置6は、出力装置として、他の構成を備えていてもよい。例えば、ベース装置6は、光を発する発光装置を備えていてもよい。発光装置は、ユーザに対して光を照射する光源であり、例えば照明装置であってもよい。照明装置は、
図3に示したベース装置6本体と一体であってもよいし、別体であってもよい。
【0472】
端末システム2は、ユーザの睡眠状態に応じて照明装置を制御してもよい。例えば、ユーザが覚醒前の状態に入ったこと(あるいは、ユーザが覚醒したこと)に応じて照明装置が点灯されてもよい。具体的には、端末システム2は、生体情報に基づいて特定される、ユーザが覚醒する前のタイミングで、照明装置の点灯(光源の照射)を開始する。これによれば、覚醒前のユーザに光を照射することによって、ユーザに覚醒を促すことができる。なお、上記において、端末システム2は、照明装置の点灯後において、次第に明るくなるように照明装置を制御してもよい。また、端末システム2は、照明装置の発光によってユーザに覚醒を促すことに代えて(またはともに)、プロジェクタ25による発光によってユーザに覚醒を促すようにしてもよい。
【0473】
また、ユーザが覚醒する時点は、生体情報に基づいて算出される他、他の方法で算出(特定)されてもよい。例えば、端末システム2(携帯端末5)に対してユーザが目覚ましの時刻を設定している場合には、端末システム2は、当該時刻をユーザが覚醒する時点として用いてもよい。このように、表示システムの一例である端末システム2は、ユーザの睡眠に関する画像を投影表示するプロジェクタと、ユーザに対して光を照射する光源と、ユーザが覚醒する時点を特定し、当該時点に基づくタイミングで光源の照射を開始する制御部を備えていてもよい。これによれば、プロジェクタ25によって就寝中のユーザにとって見やすい表示を提供することができるとともに、覚醒前のユーザに光を照射することによって、ユーザに覚醒を促すことができる。
【0474】
なお、他の実施形態においては、ネットワークサービスとして提供されるサービスがベース装置6において行われる(提供される)ものであってもよい。すなわち、ベース装置6は、携帯端末5によって受信されたサービスデータに基づいて、所定の出力を行うものであってもよい。この所定の出力は、例えば、画像、光、音、および、においのうちの1以上であってもよい。例えば、サーバ3は、上述した入眠用コンテンツおよび/または覚醒用コンテンツをサービスデータとして携帯端末5へ送信し、これらのコンテンツがベース装置6のプロジェクタ25および/またはスピーカ26によって再生されてもよい。すなわち、プロジェクタ25は、サービスデータに基づく画像を投影表示してもよい。また、スピーカ26は、サービスデータに基づく音を出力してもよい。
【0475】
また例えば、ベース装置6は、においを発するにおい発生装置を備えていてもよく、このとき、携帯端末5によって受信されたサービスデータに基づいてにおい発生装置が制御されてもよい。具体的には、においの種類を示すサービスデータが携帯端末5によって受信され、その後、携帯端末5がベース装置6と通信可能となった場合、ベース装置6は、サービスデータが示す種類のにおいを出力するようににおい発生装置を制御する。これによって、端末システム2は、その日の評価結果に応じたにおいを睡眠時にユーザに提供することができ、快適な入眠環境をユーザに提供することができる。
【0476】
また、他の実施形態においては、ベース装置6は環境センサを備えていてもよい。環境センサは、携帯端末5が有する環境センサ14と同様、温度、湿度、照度、気圧、および音のうち少なくとも1つを検知するものであってもよい。このとき、ベース装置6は、ドップラーセンサ24によって生体情報を検出するとともに、環境センサによって環境センサ情報を検出する。環境センサ情報を検出する期間は、ユーザの睡眠期間の少なくとも一部の期間を含んでいればよく、生体情報の検出期間と同じであってもよいし、ユーザの睡眠期間(入眠から覚醒までの期間)であってもよい。また、ベース装置6は、検出された環境センサ情報を携帯端末5へ送信する。なお、ベース装置6は、環境センサ情報をそのまま携帯端末5へ送信してもよいし、環境センサ情報に何らかの加工を行って携帯端末5へ送信してもよい。
【0477】
携帯端末5は、ベース装置6からの環境センサ情報、および/または、当該環境センサ情報から算出される情報をサーバ3へ送信する。例えば、携帯端末5は、環境センサ情報から環境情報(例えば、上述した環境値)を算出し、環境情報をサーバ3へ送信してもよい。なお、携帯端末5は、環境情報を健康情報とともに(健康情報を含む送信情報に環境情報も含めて)サーバ3へ送信してもよいし、環境情報を健康情報とは別に(別のタイミングで)サーバ3へ送信してもよい。
【0478】
また、ベース装置6が環境センサを備える場合、環境センサによる検出結果(環境センサ情報)に基づいて、ベース装置6(あるいは携帯端末5)による出力が制御されてもよい。なお、この制御は、ベース装置6の制御部22によって行われてもよいし、携帯端末5の処理部11によって行われてもよい。例えば、環境センサが照度センサを含む場合、照度センサによる検出結果に基づいてプロジェクタ25(あるいは、携帯端末5のディスプレイ17)によって投影表示される画像の明るさ(輝度)が制御されてもよい。つまり、照度センサによって検出される部屋の明るさが明るければ、プロジェクタ25による画像の輝度が高くされてもよい。また例えば、環境センサが騒音センサを含む場合、騒音センサによる検出結果に基づいてスピーカ26(あるいは、携帯端末5のスピーカ18)による出力音量が制御されてもよい。つまり、騒音センサによって検出される騒音が大きければ、スピーカ26による出力音量が大きくされてもよい。
【0479】
また、他の実施形態においては、出力システムの一例である端末システム2は、入床中のユーザの睡眠に関する状態を算出するためのユーザ情報(生体情報)を検出するセンサ(ドップラーセンサ24)と、ユーザの入床中に音を出力する無指向性スピーカとを備えていてもよい。無指向性スピーカによれば、ユーザが出力音の音源位置を感じにくくなり、より自然な音を提供することができる。また、無指向性スピーカは、上述のスピーカ26と同様の音出力を行うように制御されてもよい。例えば、端末システム2は、ユーザ情報(生体情報)に基づいて算出される睡眠に関する状態に応じて無指向性スピーカを制御してもよい。なお、無指向性スピーカは、上記センサと同じ筐体に収納されてもよいし、当該センサとは別体であってもよい。
【0480】
以上のように、表示システムの一例である端末システム2は、ユーザの睡眠に関する画像(上述の入眠用コンテンツ、覚醒用コンテンツ、睡眠の評価結果の画像等)を投影表示するプロジェクタと、ユーザの睡眠に関する音(上述の入眠用コンテンツ、覚醒用コンテンツ、睡眠の評価結果の音声等)を出力する無指向性スピーカとを備えていてもよい。これによれば、プロジェクタ25によって就寝中のユーザにとって見やすい表示を提供することができるとともに、無指向性スピーカによってより自然な音をユーザに提供することができる。
【0481】
(センサに関する変形例)
上記実施形態および変形例においては、ユーザの生体情報を取得するセンサは、非接触型(かつ非装着型)のセンサ(具体的には、ドップラーセンサ)である。換言すれば、センサは、検出対象となるユーザの周辺に配置される。これによって、ユーザは、センサによる検出動作を気にする必要がないので、検出によるユーザの負担を軽減することができる。また、センサが非装着型である場合には、例えばユーザがセンサを装着し忘れることによって検出が行われないといった問題が生じない。
【0482】
なお、非接触型(かつ非装着型)のセンサは、上述したドップラーセンサ24に限らない。すなわち、上記実施形態においては、ドップラーセンサ24は、検出対象に向けて電波を送出するとともに反射波を受信し、受信結果に基づいて(受信波のドップラー現象に基づいて検出対象の動きを分析することにより)生体情報を出力する。他の実施形態においては、これに限らず、例えば、上記非接触型のセンサは、検出対象に向けて電波(または音波)を送出するとともに、反射波を受信し、受信した結果(受信波)に基づいて生体情報を出力してもよい。具体的には、センサは、受信波に基づいて検出対象の像を取得して、当該像情報から検出対象の動きを分析して生体情報を出力してもよい。また、非接触型のセンサは、電波の代わりに超音波等の所定の検出波を用いるセンサであってもよい。また、非接触型のセンサは、ユーザの周辺に配置される撮像手段(カメラ)であってもよい。つまり、検出対象を離れた場所からカメラが撮影し、情報処理システムは、撮影された像から検出対象の動きを分析して生体情報を出力してもよい。
【0483】
(ネットワークサービスに関する変形例)
他の実施形態においては、サーバ3においてゲームが提供されてもよい。ゲームを提供するサーバは、サーバ3と同じサーバであってもよいし、専用のサーバ(ゲームサーバ)であってもよい。例えば、サーバ3が管理する上述のウェブサイト(ネットワークサービスを提供するためのウェブサイト)内においてゲームアプリケーションがユーザに提供されてもよい。なお、ゲームアプリケーションは、上記ウェブサイトを閲覧するためのブラウザ上で動作する種類のものであってもよいし、サーバから携帯端末5にダウンロードされてインストールされる種類のものであってもよい。
【0484】
なお、ゲームアプリケーションは、サーバから端末システム2に提供される他、任意の方法で端末システム2に取得されてもよい。例えば、ゲームアプリケーションを記憶した記憶媒体が携帯端末5に接続(または装着)されることによって、携帯端末5においてゲームアプリケーションが実行されてもよい。
【0485】
また、ゲームアプリケーションは、携帯端末5において実行されてもよいし、ユーザが有する他のユーザ端末(携帯端末、パーソナルコンピュータ、および、ゲーム装置等)において実行されてもよい。
【0486】
上記のようにユーザ端末(携帯端末5、および/または、上記他のユーザ端末)においてゲームアプリケーションが実行される場合、ユーザの評価結果がゲームに反映されてもよい。すなわち、上記ステップS116およびS117の処理においてユーザに付与される特典として、ゲームに関する特典をユーザに付与するようにしてもよい。例えば、サーバ3は、所定の指標が示す値が基準値以上の良い値である状態が所定期間継続したこと、あるいは、所定の指標が所定の基準以上改善したこと等を条件として、上記ゲームに関する特典をユーザに付与してもよい。また、ゲームに関する特典はどのようなものであってもよいが、例えば、サーバ3は、ゲーム内で利用するアイテムをユーザに付与したり、ゲーム内のストーリーを進行させたりするようにしてもよい。
【0487】
上記において、端末システムとサーバとを含む情報処理システムは、ゲームアプリケーションに基づくゲーム処理を実行する。ここで、情報処理システムは、ゲーム処理を実行する際に、サーバ3に記憶されている評価結果(評価結果を算出するための情報、すなわち、
図21に示すユーザ状態データであってもよい)を参照する。そして、参照した評価結果に基づいて(つまり、参照した結果に応じて)当該ゲーム処理中の所定の処理が実行される。所定の処理は、例えば、上記のアイテムを付与する処理や、ゲーム内のストーリーを進める処理である。具体的には、情報処理システムは、ゲームアプリケーションで利用されるゲームデータを追加または更新する処理を行う。つまり、付与されるアイテムのゲームデータが追加されたり、新たなストーリーをプレイできるようにゲーム内のフラグが更新されたりする。
【0488】
なお、ゲーム処理は、サーバ側の情報処理装置(例えば、ゲームサーバ、または、サーバ3)で実行されてもよいし、端末側の情報処理装置(例えば、携帯端末5、または、上記他のユーザ端末)で実行されてもよい。また、ゲーム処理は、サーバ側の情報処理装置と端末側の情報処理装置とが協働して実行されてもよい。つまり、ゲーム処理の一部の処理がサーバ側で実行され、他の一部の処理が端末側で実行されてもよい。例えば、ウェブサイトを閲覧するためのブラウザ上でゲームアプリケーションが動作する場合には、ゲーム処理はサーバ側で実行されたり、サーバ側と端末側とで協働して実行されたりする。また、ゲームアプリケーションが端末側の情報処理装置にインストールされる場合、あるいは、当該情報処理装置に接続される記憶媒体に記憶されるゲームアプリケーションが実行される場合には、ゲーム処理は、端末側で実行されたり、サーバ側と端末側とで協働して実行されたりする。
【0489】
また、ゲームデータの追加または更新は、サーバ側で実行されてもよいし、端末側で実行されてもよい。すなわち、ゲームデータを追加または更新する処理は、サーバ側の情報処理装置が、サーバ側または端末側の記憶部に記憶されるゲームデータに対して追加または更新を行うことによって実行されてもよい。また、ゲームデータを追加または更新する処理は、端末側の情報処理装置が、端末側の記憶部に記憶されるゲームデータに対して追加または更新を行うことによって実行されてもよい。
【0490】
なお、上記のようにゲームアプリケーションにおいて評価結果を利用(参照)する際には、ゲームアプリケーションのユーザに関する評価結果が参照される。例えば、サーバ3が管理するウェブサイトにユーザがログインした状態でゲームアプリケーションが利用される場合には、サーバは、ログイン時に入力されるユーザ識別情報(
図21に示すユーザ識別データ)によってユーザを特定することができる。すなわち、サーバは、ログイン時に入力されたユーザ識別情報を記憶しておき、ゲーム処理において評価結果を参照する際、記憶しておいたユーザ識別情報によって特定されるユーザの評価結果を参照する。
【0491】
また、上記ポータルサイトにユーザがログインしていない状態でゲームアプリケーションが利用される場合(あるいは、ログインしている端末とは異なる端末を用いてゲームアプリケーションが利用される場合)には、ゲーム処理の前またはゲーム処理中において、サーバは、ゲームアプリケーションを利用しているユーザを識別する。具体的には、ゲームアプリケーションを利用しているユーザ端末は、ゲーム処理の前またはゲーム処理中において、ユーザ識別情報の入力をユーザから受け付け、入力されたユーザ識別情報をサーバへ送信する。サーバは、ユーザ端末からのユーザ識別情報を用いて、参照すべき評価結果を特定する。ゲームデータの追加または更新がサーバ側で実行される場合には、サーバは、特定された評価結果を参照して、参照した評価結果に基づいてゲーム処理中の所定の処理(ゲームデータの追加または変更)を実行する。一方、ゲームデータの追加または更新が端末側で実行される場合には、サーバは、特定された評価結果をユーザ端末へ送信する。ユーザ端末は、受信した評価結果を参照して(つまり、サーバ側で記憶される評価結果を参照して)、参照した評価結果に基づいてゲーム処理中の所定の処理を実行する。
【0492】
上記においては、ユーザ識別情報は、上記実施形態におけるネットワークサービスにおけるユーザのアカウントであるだけでなく、ゲームアプリケーションを提供するサービスにおけるアカウントを兼ねてもよい。この場合、複数のネットワークサービスにおけるユーザのアカウントを共通にすることによって、ユーザは、異なるユーザ端末(プラットホームが異なる端末でもよい)において、複数のネットワークサービスを共通に利用することができるので、利便性が向上する。