特開 2024-2120 プログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002120

(43)【公開日】2024-01-11

(54)【発明の名称】プログラム及び情報処理装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20231228BHJP

【ＦＩ】

A61B5/16 100

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022101125

(22)【出願日】2022-06-23

(71)【出願人】

【識別番号】521473871

【氏名又は名称】株式会社センシング

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】金 一石

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PP05

4C038PS07

(57)【要約】

【課題】簡単にユーザの感情を決定する。
【解決手段】本発明のプログラムは、ユーザの皮膚を撮影して得られた画像データに基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定するステップと、前記ユーザのストレス度を決定するステップと、前記覚醒度を示す軸と前記ストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、該決定された覚醒度およびストレス度に対応する前記二次元平面上の位置に基づいて、前記ユーザの感情を決定するステップとをコンピュータに実行させる。
【選択図】図１１

【特許請求の範囲】

【請求項1】

コンピュータに、
ユーザの皮膚を撮影して得られた画像データに基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定するステップと、
前記ユーザのストレス度を決定するステップと、
前記覚醒度を示す軸と前記ストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、該決定された覚醒度およびストレス度に対応する前記二次元平面上の位置に基づいて、前記ユーザの感情を決定するステップと
を実行させるためのプログラム。

【請求項2】

前記二次元平面上における位置と感情との対応付けは、ラッセルの円環モデルに基づく、
請求項１に記載のプログラム。

【請求項3】

前記ストレス度を決定するステップにおいて、前記画像データから決定される脈拍数または心拍数に基づいて、前記ストレス度を決定する
請求項１に記載のプログラム。

【請求項4】

前記ストレス度を決定するステップにおいて、前記ストレス度の入力を前記ユーザから受付ける
請求項１に記載のプログラム。

【請求項5】

前記覚醒度を決定するステップにおいて、前記脈波の変動スペクトルにおいて第１閾値周波数より高い高周波数成分、および前記脈波の変動スペクトルにおいて第２閾値周波数より低い低周波数成分のうち少なくともいずれか一方に基づいて、前記覚醒度を決定する
請求項３に記載のプログラム。

【請求項6】

基準値に対して覚醒側の度合いについては前記高周波数成分を前記低周波数成分で除した値によって算出する一方、前記基準値に対して沈静側の度合いについては前記高周波数成分に基づいて決定する
請求項５に記載のプログラム。

【請求項7】

前記ユーザの皮膚を複数の時間帯において撮影して得られた複数の画像データに基づいて、前記ユーザの時間帯ごとの覚醒度の基準値を決定するステップを更に有し、
前記覚醒度を決定するステップにおいて、前記基準値を用いて前記覚醒度を補正する
請求項１～５のいずれか１項に記載のプログラム。

【請求項8】

時間帯において取得したストレス度に基づいて、前記ユーザの時間帯ごとのストレス度の基準値を決定するステップを更に有し、
前記覚醒度を決定するステップにおいて、前記基準値を用いて前記ストレス度を補正する
請求項１～５のいずれか１項に記載のプログラム。

【請求項9】

前記ストレス度を決定するステップにおいて、前記ストレス度の入力を前記ユーザから受付ける一方、前記ユーザからの入力がない場合は前記画像データから決定される脈拍数または心拍数に基づいて前記ストレス度を決定する
請求項１に記載のプログラム。

【請求項10】

前記ユーザの感情を決定するステップにおいて、所定期間内の前記ユーザの感情の変化を示す指標を生成する
請求項１に記載のプログラム。

【請求項11】

ユーザの皮膚を撮影する撮影手段と、
該撮影された画像に基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定する手段と、
前記ユーザのストレス度を取得する手段と、
前記覚醒度を示す軸と前記ストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、該特定されたストレス度および覚醒度に対応する前記二次元平面上の位置に基づいて、前記ユーザの感情を決定する手段と
を有する情報処理装置。

【請求項12】

コンピュータに、
ユーザの皮膚を撮影して得られた画像データに基づいて前記ユーザの脈波に関する情報を生成するステップと、
該生成された情報に基づいて当該ユーザの覚醒度を決定するステップと、
前記ユーザのストレス度を決定するステップと、
該決定した覚醒度とストレス度とに基づいて、前記ユーザの感情を決定するステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム及び情報処理装置に関する。

【背景技術】

【0002】

脳波計、心拍計、脈波計等の計測機器を人体に装着し、脳波や脈波に基づいて感情を特定することが行われていた。
例えば、特許文献１には、脳波計により被検者であるユーザの脳波を計測し、計測されたユーザの脳波データに基づいてユーザの感情を推定する感情推定装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１８７０４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術においては、ユーザの感情を推定するために、ユーザの頭皮上に複数の電極を配置して脳波計により脳波信号を検出する必要があり、装置構成が大掛かりなものとなる。
本発明は、ユーザの感情を簡単に決定することができることを目的とする。

【課題を解決するための手段】

【0005】

本発明は、一の態様において、コンピュータに、ユーザの皮膚を撮影して得られた画像データに基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定するステップと、前記ユーザのストレス度を決定するステップと、前記覚醒度を示す軸と前記ストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、該決定された覚醒度およびストレス度に対応する前記二次元平面上の位置に基づいて、前記ユーザの感情を決定するステップと、を実行させるためのプログラムを提供する。
本発明によれば、脳波や脈波を計測するための計測機器を用いることなく、簡単にユーザの感情を決定することができる。

【0006】

好ましい態様において、前記二次元平面上における位置と感情との対応付けは、ラッセルの円環モデルに基づくこととしてもよい。

【0007】

好ましい態様において、前記ストレス度を決定するステップにおいて、前記画像データから決定される脈拍数または心拍数に基づいて、前記ストレス度を決定することとしてもよい。

【0008】

好ましい態様において、前記ストレス度を決定するステップにおいて、前記ストレス度の入力を前記ユーザから受付けることとしてもよい。

【0009】

好ましい態様において、前記覚醒度を決定するステップにおいて、前記脈波の変動スペクトルにおいて第１閾値周波数より高い高周波数成分、および前記脈波の変動スペクトルにおいて第２閾値周波数より低い低周波数成分のうち少なくともいずれか一方に基づいて、前記覚醒度を決定することとしてもよい。

【0010】

好ましい態様において、基準値に対して覚醒側の度合いについては前記高周波数成分を前記低周波数成分で除した値によって算出する一方、前記基準値に対して沈静側の度合いについては前記高周波数成分に基づいて決定することとしてもよい。

【0011】

好ましい態様において、前記ユーザの皮膚を複数の時間帯において撮影して得られた複数の画像データに基づいて、前記ユーザの時間帯ごとの覚醒度の基準値を決定するステップを更に有し、前記覚醒度を決定するステップにおいて、前記基準値を用いて前記覚醒度を補正することとしてもよい。

【0012】

好ましい態様において、時間帯において取得したストレス度に基づいて、前記ユーザの時間帯ごとのストレス度の基準値を決定するステップを更に有し、前記覚醒度を決定するステップにおいて、前記基準値を用いて前記ストレス度を補正することとしてもよい。

【0013】

好ましい態様において、前記ストレス度を決定するステップにおいて、前記ストレス度の入力を前記ユーザから受付ける一方、前記ユーザからの入力がない場合は前記画像データから決定される脈拍数または心拍数に基づいて前記ストレス度を決定することとしてもよい。

【0014】

好ましい態様において、前記ユーザの感情を決定するステップにおいて、所定期間内の前記ユーザの感情の変化を示す指標を生成することとしてもよい。

【0015】

また、本発明は、ユーザの皮膚を撮影する撮影手段と、該撮影された画像に基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定する手段と、前記ユーザのストレス度を取得する手段と、前記覚醒度を示す軸と前記ストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、該特定されたストレス度および覚醒度に対応する前記二次元平面上の位置に基づいて、前記ユーザの感情を決定する手段とを有する情報処理装置を提供する。
本発明によれば、脳波や脈波を計測するための計測機器を用いることなく、簡単にユーザの感情を決定することができる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る情報処理装置のハードウェア構成を示す図。

【図2】実施形態に係るユーザＤＢを示す図。

【図3】実施形態に係る動画ＤＢを示す図。

【図4】実施形態に係る動画データの概念を説明するための図。

【図5】実施形態に係る計測結果ＤＢを示す図。

【図6】実施形態に係る情報処理装置の表示部、カメラの例を示す図。

【図7】実施形態に係る情報処理装置の表示部の表示領域を示す図。

【図8】実施形態に係る情報処理装置の機能的構成を示す図。

【図9】実施形態に係る情報処理装置の動作の流れを示す図。

【図10】実施形態に係る基準値の表示の例を示す図。

【図11】実施形態に係る情報処理装置の動作の流れを示す図。

【図12】実施形態に係る感情の決定を説明するための図。

【発明を実施するための形態】

【0017】

［実施形態］
＜情報処理装置の構成＞
図１は、情報処理装置１の構成の例を示す図である。情報処理装置１は、ユーザの皮膚を撮影して得られた画像に基づいてそのユーザの感情を決定する装置である。ユーザの皮膚を撮影して得られた画像とは、本実施形態では、顔を撮影した画像（以下、「顔画像」ともいう）である。図１に示す情報処理装置１は、携帯端末であり、例えばスマートフォンである。

【0018】

この情報処理装置１は、図１に示す通り、プロセッサ１１、メモリ１２、通信部１３、操作部１４、表示部１５、及びカメラ１６を有するコンピュータである。これらはバスによって接続されている。

【0019】

プロセッサ１１は、メモリ１２に記憶されているプログラムを読出して実行することにより情報処理装置１の各部を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。

【0020】

通信部１３は、有線又は無線により、情報処理装置１を他の装置に通信可能に接続する通信回路である。例えば、通信部１３は、ＩＭＴ－２０００、ＩＭＴ－Ａｄｖａｎｃｅｄ、ＩＭＴ－２０２０等の無線通信システムの規格に準拠した回路を有してもよい。また、例えば、通信部１３は、ＩＥＥＥ８０２．１１等の無線ＬＡＮの規格に準拠した回路を有してもよい。

【0021】

また、例えば、通信部１３は、近距離無線通信（Near Field Communication、ＮＦＣ）を実現するモジュール等を有してもよい。このＮＦＣの規格は、例えばＩＳＯ／ＩＥＣ１８０９２（ＮＦＣＩＰ－１）、ＩＳＯ／ＩＥＣ１４４４３、ＩＳＯ／ＩＥＣ１５６９３、又はＩＥＥＥ８０２．１５等が挙げられる。

【0022】

操作部１４は、各種の指示をするための操作ボタン、タッチパネル等の操作子を備えており、操作を受付けてその操作内容に応じた信号をプロセッサ１１に送る。この操作は、例えば、ボタンに対する押下、タッチパネルに対するジェスチャー等である。

【0023】

なお、操作部１４は、音声を収集するマイクロホンを有してもよい。この場合、プロセッサ１１は、このマイクロホンにより収集されたユーザの音声を示す音声データに対して音声認識処理を行って、その認識結果をユーザの操作として受付けてもよい。

【0024】

表示部１５は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示画面を有しており、プロセッサ１１の制御の下、画像を表示する。表示画面の上には、操作部１４の透明のタッチパネルが重ねて配置されてもよい。
また、情報処理装置１は、ユーザに対して通知をするための音声出力を行うスピーカ、あるいは情報処理装置１の本体を振動させるバイブレータを備えていてもよい。

【0025】

カメラ１６は、情報処理装置１の周囲を撮影して画像を生成する撮像手段であり、例えば、デジタルスチルカメラである。カメラ１６は、レンズ等の光学系のほか、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子等を備える。

【0026】

カメラ１６は、Ｒ（赤）、Ｇ(緑)、及びＢ（青）の各色に対応する波長領域の光強度に感度を有する検出素子を１画素単位としてこれを複数配置することよって画像データを取得する装置である。各色に対応する波長領域は、例えば、Ｒ（赤）が５８０ｎｍ以上６８０ｎｍ以下、Ｇ（緑）が５００ｎｍ以上６３０ｎｍ以下、Ｂ（青）が４１０ｎｍ以上５３０ｎｍ以下であることが好ましい。

【0027】

なお、カメラ１６は、光学系として偏光板を有してもよい。この偏光板は、カメラ１６が対象を撮影する方向に配置される。これにより、カメラ１６は、撮影対象の表面から反射成分を除去することができる。

【0028】

また、カメラ１６は、上述した波長領域以外の光を検出してもよい。例えば、カメラ１６は、通常のＲＧＢカメラにシアン（Ｃ）とオレンジ（Ｏ）の二つの感度を追加した５バンドカメラであってもよい。

【0029】

メモリ１２は、プロセッサ１１に読み込まれるオペレーティングシステム、各種のプログラム、データ等を記憶する記憶手段である。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を有する。

【0030】

なお、メモリ１２は、ソリッドステートドライブ、ハードディスクドライブ等を有してもよい。また、メモリ１２は、ユーザＤＢ１２１、動画ＤＢ１２２、及び計測結果ＤＢ１２３を記憶する。

【0031】

＜ユーザＤＢの構成＞
図２は、ユーザＤＢ１２１の例を示す図である。ユーザＤＢ１２１は、情報処理装置１を使用する複数のユーザの情報を記憶するデータベースである。

【0032】

ユーザＤＢ１２１は、ユーザのそれぞれの情報を記憶するデータレコードの集まりであり、ユーザＩＤ、ユーザ名、認証情報、基準値の欄を有する。ユーザＤＢ１２１におけるユーザＩＤは、ユーザのそれぞれを一意に識別する識別情報である。

【0033】

ユーザＤＢ１２１におけるユーザ名は、ユーザの氏名等を示す文字列等の情報である。なお、ユーザＤＢ１２１は、ユーザ名の欄に加えて、ユーザのニックネーム、メールアドレス、電話番号等を示す欄を有してもよい。
ユーザＤＢ１２１における認証情報は、ユーザの認証に用いる情報であり、例えばパスワード、ＰＩＮコード等である。

【0034】

ユーザＤＢ１２１における基準値は、覚醒度の基準値及びストレス度の基準値であり、計測結果から覚醒度、ストレス度を各々決定する際に用いる各々の基準値が記憶されている。覚醒度の基準値は、ＬＦ／ＨＦの基準値、ＨＦの基準値の２つが記憶されている。各々の基準値は、時間帯毎に算出され、本実施形態では、覚醒度のＬＦ／ＨＦ基準値、覚醒度のＨＦ基準値、ストレス度ともに、３つの時間帯における基準値が記憶されている。

【0035】

なお、ユーザＤＢ１２１は、上記以外のユーザの属性を示す情報を記載する欄を有してもよい。例えば、ユーザＤＢ１２１は、ユーザの属性を示す情報として、性別、生年月日、既往症の情報、服薬の情報、職歴の情報等を記憶してもよい。また、ユーザＤＢ１２１は、ユーザの属性を示す情報として、そのユーザの顔の特徴を表したデータ（顔特徴データともいう）を記憶してもよい。顔特徴データは認証情報の欄に記憶されてもよい。

【0036】

また、実施形態において情報処理装置１は、複数のユーザが使用し得る端末であるが、一人のユーザによって所持または使用される端末であってもよい。この場合、ユーザＤＢ１２１は、情報処理装置１を所持・使用する一人のユーザを示すユーザＩＤと、そのユーザに関する名前、基準値等の情報とを対応付けて記憶してもよい。

【0037】

＜動画ＤＢの構成＞
図３は、動画ＤＢ１２２の例を示す図である。動画ＤＢ１２２は、ユーザごとにそのユーザの顔を撮影した動画のデータ（動画データともいう）を記憶するデータベースである。図３に示す動画ＤＢ１２２は、ユーザＩＤリスト１２２１、及び動画データテーブル１２２２を有する。
動画ＤＢ１２２におけるユーザＩＤリスト１２２１は、ユーザＩＤを列挙したリストである。このユーザＩＤは、ユーザＤＢ１２１に記憶されているユーザＩＤと共通の情報である。

【0038】

動画ＤＢ１２２における動画データテーブル１２２２は、開始日時の欄、長さの欄、動画ＩＤの欄、及び動画データの欄を有するデータレコードの集まりである。動画データテーブル１２２２において、動画データの欄は、動画データそのものを記憶する。開始日時の欄は、対応する動画データの撮影が開始された日時（すなわち、開始日時）の情報を記憶する。長さの欄は、対応する動画データの長さを記憶する。この長さの単位は、例えば、分、秒等の時間単位である。動画ＩＤの欄は、対応する動画データを一意に識別する識別情報である動画ＩＤを記憶する。

【0039】

図４は、動画データの概念の例を説明するための図である。動画データは、一定の間隔で撮影された複数の静止画像で構成される。この複数の静止画像の一コマをフレームという。また、単位時間あたりに撮影される静止画像の数をフレームレートという。動画データは、図４に示す通り、複数の順序づけられたフレームのそれぞれに、各瞬間に撮影された静止画像を示す画像データが対応付けられている。なお、動画データは、フレームごとの画像データをそれぞれ展開して取得することができれば、圧縮されていてもよい。

【0040】

＜計測結果ＤＢの構成＞
図５は、計測結果ＤＢ１２３の例を示す図である。計測結果ＤＢ１２３は、ユーザごとに計測されたそのユーザの生命兆候を示すバイタルサイン（以下、バイタルともいう）、及びバイタルサインから決定された覚醒度、ストレス度、感情を記憶するデータベースである。図５に示す計測結果ＤＢ１２３は、ユーザＩＤリスト１２３１、及び計測データテーブル１２３２を有する。

【0041】

計測結果ＤＢ１２３におけるユーザＩＤリスト１２３１は、ユーザＩＤを列挙したリストである。このユーザＩＤは、ユーザＤＢ１２１に記憶されているユーザＩＤと共通の情報である。
計測結果ＤＢ１２３における計測データテーブル１２３２は、計測日時の欄、計測種別の欄、動画ＩＤの欄、後述するユーザによって入力された入力値（快・不快というユーザの感覚に関する指標あるいはユーザが感じているストレスの度合を示す指標）の欄、バイタルサインである脈拍、呼吸数、ＬＦ／ＨＦ、ＨＦの欄、及び決定された覚醒度、ストレス度、感情の欄を有するデータレコードの集まりである。

【0042】

計測日時の欄は、バイタルサインを計測した日時を記憶する。計測種別の欄は、行われた計測が、ユーザの基準値を決定するための計測か、ユーザの感情を決定するための計測かを区別するための情報を記憶する。

【0043】

動画ＩＤの欄は、バイタルサインを計測する際に用いた画像データを含む動画データを示す動画ＩＤを記憶する。
入力値の欄は、ユーザの操作入力による、計測時点における不快～快の範囲によるユーザの気持ちを数値化した値を記憶する。

【0044】

バイタルサインである脈拍、呼吸数、ＬＦ／ＨＦ、ＨＦの欄は、撮影されたユーザの顔画像に基づいて計測されたバイタルサインのそれぞれを記憶する。脈拍は、ユーザの顔の血管が１分間に拍動する回数である。脈拍は、心臓が１分間に打つ回数と等しいため、心拍数と同義である。呼吸数は、ユーザの顔画像から計測される１分間あたりの呼吸の数である。

【0045】

ＬＦ／ＨＦ及びＨＦの欄は、いずれも心拍の間隔変動をパワースペクトル解析した結果、算出される数値を記憶する。例えば、ＬＦは、低周波側の所定の周波数閾値より低周波である低周波数（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）領域の成分の強度を合計した値（積分値）であり、ＨＦは、高周波側の所定の周波数閾値より高周波である高周波数（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）領域の成分の強度を合計した値（積分値）である。ＬＦ／ＨＦは、ＬＦをＨＦで除した値である。低周波数成分は、血圧変動に対応し、高周波数成分は、呼吸変動に対応すると言われている。

【0046】

覚醒度の欄は、ＬＦ／ＨＦ、ＨＦ、及びユーザＤＢ１２１に記憶された覚醒度の基準値に基づいて算出された覚醒度の値が記憶される。ストレス度の欄は、上述の入力値あるいはＬＦ／ＨＦとユーザＤＢ１２１に記憶されたストレス度の基準値とに基づいて算出されたストレス度の値が記憶される。感情の欄は、算出された覚醒度、ストレス度の値に基づいて決定された、感情を示す語が記憶される。

【0047】

＜情報処理装置の表示部の構成＞
図６は、情報処理装置１の外観を示す図である。図８に示す情報処理装置１は、スマートフォンであり、表示部１５と共通の面にカメラ１６を有する。表示部１５は、操作部１４が有する透明のタッチパネルが重ねられた液晶ディスプレイ（または有機ＥＬディスプレイ）である。表示部１５は、斜線で示す表示領域Ｒ０を有する。

【0048】

図７は、表示領域Ｒ０での表示例を示す図である。情報処理装置１は、バイタルサインを計測し、覚醒度、ストレス度、感情を決定するアプリケーションプログラム（以下、アプリともいう）を実行する。このアプリは、メモリ１２から読み出される。このアプリを実行するとプロセッサ１１は、図７に示す表示領域Ｒ０への表示（以下、計測画面ともいう）を行うことができる。

【0049】

計測画面の表示中においては、ユーザの顔を連続的に撮影して、得られた動画データに含まれる画像データに基づいてユーザのバイタルサインを計測する。また、ユーザの入力操作によりユーザのストレス度を取得する。

【0050】

カメラ１６は、表示部１５と同じ面に設けられているため、ユーザが表示部１５の表示領域Ｒ０を見ていると、その撮影範囲もユーザ自身に向いている。計測画面において、表示領域Ｒ０は、カメラ１６によって撮影された、表示領域Ｒ０を見ているユーザの顔画像を表示する。そして、この表示領域Ｒ０は、顔画像に重ねて、終了指示領域Ｒ１、説明領域Ｒ２、入力領域Ｒ３、計測領域Ｒ４、及び状態通知領域Ｒ５にそれぞれの文字、画像等を表示する。

【0051】

終了指示領域Ｒ１は、計測画面を終了する指示を受付ける領域である。終了指示領域Ｒ１は、例えば、図９に示す通り斜めに交差する２本の線が描かれたアイコンを表示している。ユーザが終了指示領域Ｒ１に指等で触れると、アプリを実行する情報処理装置１は、計測画面から他の画面に移行する。

【0052】

説明領域Ｒ２は、計測モードにおける顔の撮影方法の説明を文章で示す領域である。説明領域Ｒ２は、例えば、図７に示す通り「スマートフォンを顔の真正面に持ち顔を円の中に合わせて「計測開始」ボタンを押してください」といった説明文を表示する。

【0053】

入力領域Ｒ３は、ユーザが今の気持ちを入力するための領域である。不快～快の範囲を示す目盛りが表示されており、ユーザは、目盛り上に表示されるポインタＰ０に指等で触れ、画面横方向へ目盛り線に沿ってスライド操作をすることにより、今の気持ちが不快～快の範囲内でどの位置にあるかを入力することができる。

【0054】

計測領域Ｒ４は、計測対象とする顔が収まるべき表示領域Ｒ０内の範囲を示す領域である。計測領域Ｒ４は、例えば、図７に示す通り円で描かれている。そして、計測領域Ｒ４の外側は、ユーザに計測対象とならないことを認識させるため、例えば、ハッチングが重ねる、彩度を下げる等の加工が施される。

【0055】

状態通知領域Ｒ５は、計測の状況を通知する領域である。状態通知領域Ｒ５は、顔画像からバイタルの計測を開始するとき、例えば、図７に示す通り「計測開始」という文字列を表示する。

【0056】

＜情報処理装置の機能的構成＞
図８は、情報処理装置１の機能的構成の例を示す図である。図８において、情報処理装置１の通信部１３は省かれている。

【0057】

情報処理装置１のプロセッサ１１は、上述したアプリを実行することにより、取得部１１１、認証部１１２、覚醒度決定部１１３、ストレス度決定部１１４、基準値決定部１１５、感情決定部１１６、及び表示制御部１１７として機能する。

【0058】

取得部１１１は、操作部１４からユーザの操作の内容を示す情報を取得する。例えば、図７の入力領域Ｒ３におけるユーザの操作によりユーザの「今の気持ち」を示す情報を取得し、数値化してメモリ１２の計測結果ＤＢ１２３に記憶する。また、取得部１１１は、カメラ１６からユーザの顔を撮影した動画を示す動画データを取得し、メモリ１２の動画ＤＢ１２２に記憶する。この動画データは、ユーザの顔画像を示す画像データを含む。

【0059】

認証部１１２は、ユーザを認証する。取得部１１１がユーザの操作に応じて、ユーザＩＤと、これに対応する認証情報とを取得すると、認証部１１２は、ユーザＩＤと認証情報とをユーザＤＢ１２１と照合してユーザの認証を行う。認証が成功すると、取得部１１１は、カメラ１６を起動して、カメラ１６にユーザの顔の撮影を開始させる。

【0060】

なお、取得部１１１は、認証部１１２の認証の前にカメラ１６を起動して、カメラ１６にユーザの顔の撮影を開始させてもよい。例えば、ユーザＤＢ１２１に上述した顔特徴データが認証情報として記憶されている場合、認証部１１２は、撮影された画像に含まれるユーザの顔の特徴を、この顔特徴データが示す特徴と比較してユーザを認証してもよい。

【0061】

また、情報処理装置１が一人のユーザのみに所持され、かつ、使用される場合、プロセッサ１１は、認証部１１２として機能しなくてもよい。この場合、メモリ１２は、ユーザＤＢ１２１に認証情報を記憶しなくてもよい。

【0062】

覚醒度決定部１１３は、メモリ１２に記憶された動画ＤＢ１２２から動画データを読出して、動画データに含まれる複数の画像データから、ユーザの脈波を含むバイタルを計測する。覚醒度決定部１１３は、例えば、動画データに含まれる複数フレーム分の画像データのうち、例えば、上述した計測領域Ｒ４に入っている画素群に基づいて、ユーザの顔が撮影されている部分を特定し、特定した部分に対して色素成分分離を行う。

【0063】

覚醒度決定部１１３が行う「色素成分分離」は、カメラ１６が取得した画像データから特定の色素成分を分離して、その色素成分で構成される画像データ（色素成分画像データという）を生成する処理である。分離される色素成分は、ユーザの皮膚の中に存在する色素であり、少なくともヘモグロビンに由来する赤色素成分を含む。なお、覚醒度決定部１１３は、この赤色素成分の他にも、例えば、メラニン等に由来する色素成分を分離してもよい。皮膚の色は真皮内部で散乱を繰り返し皮膚外に射出される光であるので、ヘモグロビンの寄与が大きい。

【0064】

覚醒度決定部１１３は、色素成分の分離により生成された色素成分画像データの経時変化に基づき、脈拍を示す脈拍データを生成する。ここで、脈拍データは、例えば、ヘモグロビンに由来する赤色素成分で構成される色素成分画像データの画素平均値の時間変化等によって生成される。脈拍データは、各種のフィルタ処理が施されてもよい。

【0065】

覚醒度決定部１１３は、生成した脈拍データから、脈拍の間隔を示す脈拍間隔データを生成する。そして、覚醒度決定部１１３は、脈拍間隔データが示す脈拍の間隔の経時変化に対して周波数変換を行うことにより、脈拍の変動スペクトログラムデータを生成する。この周波数変換は、時系列から周波数領域への変換をいう。この周波数変換は、例えば、フーリエパワースペクトル変換である。

【0066】

覚醒度決定部１１３は、生成した脈拍の変動スペクトログラムデータに基づいて、ＬＦ、ＨＦを算出する。そして、ＬＦ、ＨＦの比率であるＬＦ／ＨＦを算出する。なお、ＨＦは副交感神経の指標として、ＬＦ／ＨＦは交感神経の指標として、それぞれ知られている。覚醒度決定部１１３は、計測したバイタル（脈拍、ＬＦ／ＨＦ、ＨＦ）を計測結果ＤＢ１２３に記憶する。

【0067】

そして、覚醒度決定部１１３は、ユーザＤＢ１２１から、対象となっているユーザの覚醒度基準値（時間帯ごとのＬＦ／ＨＦ基準値、ＨＦ基準値）を読み出す。そして、算出したＬＦ／ＨＦ、ＨＦに基づいて、覚醒度を算出する。算出された覚醒度を、覚醒度基準値（ＬＦ／ＨＦ基準値、ＨＦ基準値）を用いて補正することにより覚醒度を決定し、決定した覚醒度を計測結果ＤＢ１２３に記憶する。

【0068】

ストレス度決定部１１４は、ストレス状態（ストレスの程度）を示すストレス度を算出する。ストレス度は、計測結果ＤＢ１２３の入力値の欄に記憶された値（図７の入力領域Ｒ３からユーザが入力した値）に基づいた値として算出される。ストレス度決定部１１４は、計測結果ＤＢ１２３から対象となっているユーザの入力値を読み出し、さらに、ユーザＤＢ１２１から、対象となっているユーザのストレス度基準値を読み出す。そして、入力値に基づいたストレス度を、ストレス度基準値を用いて補正することによりストレス度を決定する。決定したストレス度を計測結果ＤＢ１２３に記憶する。

【0069】

なお、計測結果ＤＢ１２３の入力値の欄には、データが記憶されていない場合がある。図７の画面において、ユーザが計測を開始した際に、入力領域Ｒ３での入力操作を行わなかった場合は、計測結果ＤＢ１２３には入力値の欄にデータが記憶されない。

【0070】

ストレス度決定部１１４は、計測結果ＤＢ１２３の入力値の欄にデータが記憶されていない場合は、計測結果ＤＢ１２３のＬＦ／ＨＦの欄からＬＦ／ＨＦの値を読み出し、ＬＦ／ＨＦの値に基づいてストレス度を算出する。例えば、入力値がユーザの入力操作に応じて－４～＋４の範囲の数値で示されることになっている場合、ＬＦ／ＨＦの値の最小値と最大値を設定し、最小値～最大値の範囲のＬＦ／ＬＨの値を－４～＋４の範囲の値に換算する。このようにして、ＬＦ／ＨＦの値を入力値の値と同様の範囲内の数値とすることができる。そして、換算されたＬＦ／ＨＦの値を、ストレス度基準値を用いて補正することによりストレス度を決定する。決定したストレス度を計測結果ＤＢ１２３に記憶する。

【0071】

基準値決定部１１５は、覚醒度を決定するために用いる覚醒度基準値、及びストレス度を決定するために用いるストレス度基準値を決定する。基準値決定部１１５は、動画データに含まれる複数の画像データから、上述の覚醒度決定部１１３と同様の処理を行うことにより、脈拍、ＬＦ／ＨＦ、ＨＦを算出する。そして、算出した脈拍、ＬＦ／ＨＦ、ＨＦを計測結果ＤＢ１２３に記憶する。

【0072】

そして、基準値決定部１１５は、動画データの撮影日時（開始日時）に基づいて、ＬＦ／ＨＦ、ＨＦの値を時間帯別に分類し、各々の時間帯におけるＬＦ／ＨＦ、ＨＦの平均値を算出する。そして、各時間帯におけるＬＦ／ＨＦの平均値及びＨＦの平均値を覚醒度の基準値として決定する。すなわち、覚醒度の基準値としては、各時間帯のＬＦ／ＨＦの基準値、各時間帯のＨＦの基準値が決定される。基準値決定部１１５は、決定した覚醒度の基準値をユーザＤＢ１２１の覚醒度の基準値の欄に記憶する。

【0073】

さらに、基準値決定部１１５は、計測結果ＤＢ１２３の入力値の欄に記憶された値を読み出す。入力値の欄に値が記憶されていないデータレコードについては、計測結果ＤＢ１２３のＬＦ／ＨＦの欄からＬＦ／ＨＦの値を読み出す。そして、上述のストレス度決定部１１４で行ったのと同様に、入力値が取り得る範囲の数値と同様の範囲の数値となるように、ＬＦ／ＬＨの値を換算し、ＬＦ／ＨＦの値を入力値の値と同様の範囲内の数値とする。

【0074】

そして、基準値決定部１１５は、計測日時に基づいて、入力値あるいは換算したＬＦ／ＨＦの値を時間帯別に分類し、各々の時間帯における入力値あるいは換算したＬＦ／ＨＦの値の平均値を算出する。そして、各時間帯における入力値の平均値をストレス度の基準値として決定する。基準値決定部１１５は、決定したストレス度の基準値をユーザＤＢ１２１のストレス度の基準値の欄に記憶する。

【0075】

以上のようにして、基準値決定部１１５は、対象ユーザに対して複数の時刻において計測し算出されたバイタル（脈拍、ＬＦ／ＨＦ、ＨＦ）とユーザによる入力値を、計測結果ＤＢ１２３に記憶していく。この際に、各データレコードの計測種別の欄には「基準値」を記憶する。そして、基準値決定部１１５は、計測結果ＤＢ１２３の計測種別の欄に「基準値」が記憶されている複数のレコードに記憶されているＬＦ／ＨＦ、ＨＦ、入力値を読み出し、各々の各時間帯の平均値を算出し、各時間帯の覚醒度の基準値、ストレス度の基準値を決定する。そして、決定した基準値をユーザＤＢ１２１の基準値の欄に記憶する。

【0076】

感情決定部１１６は、覚醒度決定部１１３で決定された覚醒度とストレス度決定部１１４で決定されたストレス度、及び基準値決定部１１５で決定された覚醒度の基準値、ストレス度の基準値とからユーザの感情を決定する。具体的には、覚醒度を示す軸とストレス度を示す軸とによって定義され、各感情が各位置と対応付けられた二次元平面上における、覚醒度及びストレス度に対応する二次元平面上の位置に基づいて、ユーザの感情を決定する。さらに具体的には、二次元平面上における位置と感情との対応付けは、ラッセルの円環モデルに基づいて行う。すなわち、感情決定部１１６は、計測結果ＤＢ１２３から、対象のユーザの覚醒度とストレス度を読み出し、計測された時点における感情をラッセルの円環モデルに基づいた二次元平面上における位置に基づいた感情を決定し、決定した感情を計測結果ＤＢに記憶する。

【0077】

表示制御部１１７は、表示部１５への表示を行うための制御を行う。例えば、図７に示したように、表示部１５の表示領域Ｒ０に文字や画像を表示させる制御を行う。また、基準値決定部１１５で決定された基準値の表示、覚醒度決定部１１３で決定された覚醒度、ストレス度決定部で決定されたストレス度、感情決定部で決定された感情をユーザに提示するための表示をさせる制御を行う。

【0078】

＜情報処理装置の動作＞
図９は、情報処理装置１の動作の流れの例を示す図であり、覚醒度の基準値、ストレス度の基準値を決定する動作の流れの例を示す図である。情報処理装置１のプロセッサ１１は、上述したアプリケーションプログラムの実行を開始すると、まず、取得部１１１は、計測タイミングが到来したか否かを判断する（ステップＳ２０１）。

【0079】

覚醒度の基準値、ストレス度の基準値を決定するために１日の複数の時間帯において動画撮影、操作入力の受付けを行う必要がある。例えば、ユーザが起きている時間帯であると想定される７時から２２時までの間において、複数の時間帯（例えば、７時～１０時、１３時～１６時、１９時～２２時の３つの時間帯）において、例えば、１時間ごとあるいは３０分ごとに計測を行うこととすればよい。この１時間ごとあるいは３０分ごとの時刻となったときが計測タイミングである。

【0080】

取得部１１１は、計測タイミングが到来していない場合（ステップＳ２０１：ＮＯ）、ステップＳ２０１の判断処理を繰り返す。計測タイミングが到来した場合（ステップＳ２０１：ＹＥＳ）、ユーザへの通知を出力する（ステップＳ２０２）。ユーザへの通知は、例えば、表示制御部１１７により、表示部１５にメッセージを表示した上で、不図示のスピーカで音声を出力するか、あるいは不図示のバイブレータで情報処理装置１本体を振動させる等の動作をさせてもよい。

【0081】

ユーザが表示部１５に表示されたメッセージの部分を指等で触れたことを検知すると、表示制御部１１７は、表示部１５に図７に示した画面を表示する制御を行う。そして、取得部１１１は、カメラ１６に対して動画撮影を開始させる制御を行う（ステップＳ２０３）。続いて、取得部１１１は、図７に示した入力領域Ｒ３におけるユーザの入力操作を受付ける（ステップＳ２０４）。入力操作の受付けは、所定期間中（例えば、動画撮影中）にユーザが操作を行わなかった場合は、入力がなかったものとして受付け処理を終了する。

【0082】

続いて、取得部１１１は、カメラ１６に対して動画撮影を終了させる制御を行い、撮影した動画データをカメラ１６から取得する。そして、取得部１１１は、動画データにＩＤ（動画ＩＤ）を付与して、開始日時、長さとともに動画ＤＢ１２２に記憶する。また、ステップＳ２０４で入力を受付けた場合は、入力値を計測日時、上述の動画ＩＤとともに計測結果ＤＢ１２３に記憶する（ステップＳ２０５）。この場合、計測種別の欄は、「基準値」とする。

【0083】

続いて、基準値決定部１１５は、動画ＤＢ１２２に記憶された動画データを読み出し、その動画データに基づいて、上述のようにＬＨ／ＨＦ、ＨＦを算出する（ステップＳ２０６）。そして、基準値決定部１１５は、算出したＬＨ／ＨＦ、ＨＦの値、入力領域Ｒ３におけるユーザの入力操作による入力値を、計測結果ＤＢ１２３に記憶する（ステップＳ２０７）。この場合、上述の入力値、動画ＩＤを記憶したデータレコードと同一のデータレコードに記憶する。

【0084】

続いて、取得部１１１は、所定回数の計測が終了したか否かを判断する（ステップＳ２０８）。上述のようなステップＳ２０３～Ｓ２０７の処理は、１日のあるいは複数の日の複数の時間帯において定期的に行うが、基準値を算出するのに十分な処理回数を予め設定しておく。取得部１１１は、その設定された回数に達していない場合（ステップＳ２０９：ＮＯ）、ステップＳ２０１へ戻って処理を繰り返す。

【0085】

設定された回数に達した場合（ステップＳ２０８：ＹＥＳ）、基準値決定部１１５は、覚醒度の基準値、ストレス度の基準値の算出、記憶を行う（ステップＳ２０９）。基準値決定部１１５は、計測結果ＤＢ１２３より、対象となっているユーザの計測データテーブル１２３２から、計測種別の欄が「基準値」となっているデータレコードを読み出すことにより、上述のように、データレコードに記憶されたＬＦ／ＨＦ、ＨＦ、入力値に基づいて、各時間帯における覚醒度の基準値（ＬＦ／ＨＦ、ＨＦの各々の基準値）、ストレス度の基準値を算出して決定する。そして、基準値決定部１１５は、決定した基準値をユーザＤＢ１２１の対象ユーザのユーザＩＤのデータレコードの基準値の欄に記憶する。

【0086】

図１０は、決定した覚醒度の確認画面を表示部１５に表示した例である。図１０の画面においては、ユーザにわかりやすいように、「基準値」ではなく「平均値」と表示しており、各時間帯におけるＬＦ／ＨＦ、ＨＦ、脈拍、呼吸数の平均値を表示している。

【0087】

図１１は、情報処理装置１の動作の流れの例を示す図であり、感情を決定する動作の流れの例を示す図である。以下の動作は、ユーザが、例えば、自動車の運転、映画の鑑賞等を始めるにあたって、運転中、映画鑑賞中等における感情の変化を計測する場合に行われる。

【0088】

情報処理装置１のプロセッサ１１は、上述したアプリケーションプログラムの実行を開始し、ユーザから計測開始の操作を受付けると、まず、ユーザＤＢ１２１から、対象のユーザの覚醒度の基準値、ストレス度の基準値を読み出す（ステップＳ３０１）。

【0089】

続いて、表示制御部１１７は、表示部１５に図７に示した画面を表示する制御を行う。そして、取得部１１１は、カメラ１６に対して動画撮影を開始させる制御を行う（ステップＳ３０２）。続いて、取得部１１１は、図７に示した入力領域Ｒ３におけるユーザの入力操作を受付ける（ステップＳ３０３）。入力操作の受付けは、所定期間中（例えば、動画撮影中）にユーザが操作を行わなかった場合は、入力がなかったものとして受付け処理を終了する。

【0090】

続いて、取得部１１１は、カメラ１６に対して動画撮影を終了させる制御を行い、撮影した動画データをカメラ１６から取得する。そして、取得部１１１は、動画データにＩＤ（動画ＩＤ）を付与して、開始日時、長さとともに動画ＤＢ１２２に記憶する。また、ステップＳ２０４で入力を受付けた場合は、入力値を計測日時、上述の動画ＩＤとともに計測結果ＤＢ１２３に記憶する（ステップＳ３０４）。この場合、計測種別の欄は、「感情」とする。

【0091】

続いて、覚醒度決定部１１３は、動画ＤＢ１２２に記憶された動画データを読み出し、その動画データに基づいて、上述のようにＬＦ／ＨＦ、ＨＦを算出し、さらに覚醒度の基準値を用いて、覚醒度を決定する（ステップＳ３０５）。覚醒度の決定方法については後述する。

【0092】

続いて、ストレス度決定部１１４は、計測結果ＤＢ１２３に記憶された入力値を読み出し、その入力値あるいは覚醒度の決定時に算出したＬＦ／ＨＦに基づいてストレス度を決定する（ステップＳ３０６）。ストレス度の決定方法については後述する。
続いて、感情決定部１１６は、決定した覚醒度、ストレス度に基づいて、ユーザの感情を決定する（ステップＳ３０７）。感情の決定方法については後述する。

【0093】

覚醒度決定部１１３、ストレス度決定部１１４、感情決定部１１６は、以上のように決定した覚醒度、ストレス度、感情を、計測日時、算出したＬＦ／ＨＦ、ＨＦとともに新たなデータレコードとして計測結果ＤＢ１２３に記憶する。

【0094】

続いて、取得部１１１は、計測及び覚醒度、ストレス度、感情の決定処理を終了するか否かを判断する（ステップＳ３０９）。例えば、図７の表示部１５の表示画面の終了指示領域Ｒ１をユーザが指等で触れる操作をした場合、取得部１１１は、計測終了の判断をする。ユーザが計測終了の操作をする場合というのは、例えば、自動車の運転中であれば、運転を中断、終了した場合が考えられる。また、映画を鑑賞中であれば、映画の上映が終了した場合が考えられる。

【0095】

取得部１１１は、計測を終了すると判断した場合（ステップＳ３０９：ＹＥＳ）、表示制御部１１７が、計測の結果の表示部１５への表示等の出力処理を行い（ステップＳ３１０）、ユーザの感情を決定するための処理を終了する。
取得部１１１は、計測を終了しないと判断した場合（ステップＳ３０９：ＮＯ）、計測タイミングが到来したか否かを判断する（ステップＳ３１１）。

【0096】

ユーザの感情の推移を計測するために、時間経過に応じて複数回の動画撮影、操作入力の受付けを行う必要がある。例えば、自動車の運転中、映画の鑑賞中の時間内において、所定時間ごと（例えば、数分ごと、あるいは十数分ごと）に計測を行うこととすればよい。この所定時間ごとの時刻となったときが計測タイミングである。

【0097】

取得部１１１は、計測タイミングが到来していない場合（ステップＳ３１１：ＮＯ）、ステップＳ３１１の判断処理を繰り返す。計測タイミングが到来した場合（ステップＳ３１１：ＹＥＳ）、ユーザへの通知を出力する（ステップＳ３１２）。ユーザへの通知は、例えば、表示制御部１１７により、表示部１５にメッセージを表示した上で、図示せぬスピーカで音声を出力するか、あるいは不図示のバイブレータで情報処理装置１本体を振動させる等の動作をさせてもよい。ユーザが表示部１５に表示されたメッセージの部分を指等で触れたことを検知すると、ステップＳ３０２へ戻って、上述した処理を繰り返す。

【0098】

図１２は、感情の決定方法を説明するための図である。
図１２（Ａ）は、ラッセルの円環モデルを示している。ラッセルの円環モデルは、縦軸に覚醒（覚醒－沈静）をとり、横軸に快－不快という感情値をとった場合、座標平面上に各々の縦軸の値、横軸の値に対応する「感情」が円環状に並ぶというモデルである。

【0099】

図１２（Ｂ）は、本実施形態における、感情を決定するための二次元平面を示す図であり、縦軸の覚醒度、横軸にストレス度をとる。図１２（Ｂ）において、縦軸と横軸が交差する点は、基準値決定部１１５で決定された覚醒度の基準値、ストレス度の基準値の位置を示している。

【0100】

まず、覚醒度決定部１１３における、図１２（Ｂ）の縦軸の覚醒度の決定方法を説明する。縦軸の覚醒側（上側）の軸は、ＬＦ／ＨＦの値の、基準値（覚醒度のＬＦ／ＨＦの基準値）に対する比を示している。沈静側（下側）の軸は、ＨＦの値の、基準値（覚醒度のＨＦの基準値）に対する比を示している。

【0101】

まず、ある計測時において、覚醒度が覚醒側であるか沈静側であるかを決定する。この決定は、その計測時のＬＦ／ＨＦの値に基づいて決めてもよいし、その計測時のＨＦの値に基づいて決めてもよいし、ＬＦ／ＨＦ、ＨＦの両方の値に基づいて決定してもよい。また、ＬＦの値によって決めてもよい。

【0102】

例えば、ＬＦ／ＨＦの値に基づいて決定する場合は、ＬＦ／ＨＦとＬＦ／ＨＦの基準値とを比較する。この場合、基準値は、計測日時に応じた時間帯の基準値を用いる。ＬＦ／ＨＦがＬＦ／ＨＦの基準値より大きければ覚醒側と決定し、ＬＦ／ＨＦがＬＦ／ＨＦの基準値より小さければ沈静側と決定する。

【0103】

また、ＨＦの値に基づいて決める場合は、ＨＦとＨＦの基準値とを比較する。ＨＦがＨＦの基準値より大きければ沈静側と決定し、ＨＦがＨＦの基準値より小さければ覚醒側と決定する。

【0104】

また、ＬＦ／ＨＦ、ＨＦの両方の値に基づいて決める場合は、ＬＦ／ＨＦ、ＨＦが共に各々の基準値より大きい場合、覚醒側と決定し、ＬＦ／ＨＦ、ＨＦが共に各々の基準値より小さい場合、沈静側と決定する。ＬＦ／ＨＦがＬＦ／ＨＦの基準値より大きく、ＨＦがＨＦの基準値より小さい場合、覚醒側と決定する。ＬＦ／ＨＦがＬＦ／ＨＦの基準値より小さく、ＨＦがＨＦの基準値より大きい場合、沈静側と決定する。

【0105】

覚醒度決定部１１３は、以上のようにして、覚醒側であると決定した場合は、ＬＦ／ＨＦの値の、ＬＦ／ＨＦの基準値に対する比を算出し、沈静側であると決定した場合は、ＨＦの値の、ＨＦの基準値に対する比を算出する。これらの比の値を覚醒度として決定する。これらの比を示す値は、単位を％として、１００％以上の値とし、縦軸方向の最大値（％）は、図１２（Ｂ）においては１４０％としているが、適宜設定するものとする。以上のようにして、覚醒度決定部１１３は、覚醒度を決定する。

【0106】

次に、ストレス度決定部１１４における、図１２（Ｂ）の横軸のストレス度の決定方法を説明する。ストレス度決定部１１４は、上述のように、計測結果ＤＢ１２３に記憶された入力値、あるいは覚醒度の決定時に算出したＬＦ／ＨＦに基づいてストレス度を決定する。

【0107】

上述のように、入力値が－４～＋４の範囲の数値で示されているとすると、ＬＦ／ＨＦの値を－４～＋４の範囲の数値に換算する。計測結果ＤＢ１２３から読み出したデータレコードに入力値が記憶されている場合、記憶されている入力値をストレス度とする。入力値が記憶されていない場合（図１１のステップＳ３０３においてユーザによる入力操作が行われなかった場合）、換算したＬＦ／ＨＦの値をストレス度とする。

【0108】

ストレス度決定部１１４は、以上のようにして求めたストレス度を、ストレス度の基準値を用いて補正して、ストレス度を決定する。この場合、基準値は、計測日時に応じた時間帯の基準値を用いる。

【0109】

ストレス度の補正は、ストレス度の値（－４～＋４の範囲）を、基準値を中心値（すなわち０）とした場合の値に換算することにより行う。例えば、ストレス度か＋２で基準値が－１であった場合、ストレス度の値をマイナス側に補正して＋１とする。ストレス度決定部１１４は、以上のように補正をすることにより、ストレス度を決定する。

【0110】

続いて、感情の決定方法を説明する。感情決定部１１６は、上述のようにして決定された覚醒度、ストレス度に基づいて、図１１（Ｂ）に示す二次元平面座標を用いて感情を決定する。覚醒度は、縦軸における覚醒側、沈静側いずれかの方向の位置となり、ストレス度は、マイナス値の場合、不快側の方向の位置となり、プラス値の場合、快側の方向の位置となる。

【0111】

すなわち、ある計測日時における覚醒度の値に基づいて、縦軸方向の位置が決まり、ストレス度の値に基づいて横軸方向の位置が決まる。縦軸方向位置と横軸方向位置の交差する位置が、ユーザの「感情」を示す位置となる。

【0112】

感情決定部１１６は、例えば、覚醒度、ストレス度の交差する位置が図１２（Ｂ）にしますポインタＰ１の位置である場合、ポインタＰ１の位置は、ラッセルの感情モデルにおける「落ち着き」の位置に最も近いため、感情を「落ち着き」と決定する。ポインタＰ２の位置である場合、ポインタＰ２の位置は、ラッセルの感情モデルにおける「眠気」の位置に最も近いため、感情を「眠気」と決定する。ポインタＰ３の位置である場合、ポインタＰ３の位置は、ラッセルの感情モデルにおける「警戒」の位置に最も近いため、感情を「警戒」と決定する。

【0113】

１回あるいは複数回の計測が行われ、覚醒度、ストレス度が決定された直後に、表示部１５に図１２（Ｂ）のような二次元平面を表示し、二次元平面上での感情の位置を示すポインタを表示することとしてもよい。

【0114】

＜実施形態の効果＞
（１）上述のような実施形態によれば、以下のような効果が得られる。
広く普及しているスマートフォンのような撮影手段を備えた携帯端末を用いて、その時点での感情を決定することができ、脈波計や脳波計などの計測器等を別途用意する必要がない。

【0115】

（２）ユーザの顔を撮影することにより、計測が可能であるので、例えばユーザの身体に何らかの部材を装着する必要がない。よって、場所や時間の制限なく、手軽に測定を行うことができる。
（３）血流が計測できればよいので、皮膚の一部（典型的には目の下周辺）が撮影できればよい。従って、例えばユーザがマスクを装着していて口や鼻が露出していない場合でも、ユーザの感情を決定することができる。

【0116】

ユーザの感情を決定することができるので、自動車の運転時の居眠り防止に利用することができる。この際、携帯端末は、ダッシュボード等のユーザの顔が撮影できる位置に固定しておけばよい。また、自動者の運転時の感情と走行位置の情報とから、道路上の危険な場所を特定するのに利用することができる。
あるいは、ユーザの顔が撮影できる位置に携帯端末を固定しておき、映画や音楽その他のコンテンツを鑑賞中のユーザの感情の変化を取得することができるので、映画や音楽の制作におけるマーケティング調査に利用することができる。例えば、コンテンツのうちどのシーンやパートでどのように感情が変わったかをリサーチすることができる。

【0117】

＜変形例＞
以上が実施形態の説明であるが、上述の実施形態の内容は以下のように変形し得る。また、以下の変形例は、互いに組み合わされてもよい。

【0118】

（１）上述した実施形態において、情報処理装置１は、ＣＰＵで構成されるプロセッサ１１を有するものとしたが、情報処理装置１を制御する制御手段は他の構成であってもよい。すなわち、情報処理装置１は、ＣＰＵ以外にも、例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、プログラマブル論理デバイス等、各種のプロセッサ等を、プロセッサ１１として有してもよい。

【0119】

（２）上述した実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。
また、プロセッサの各動作の順序は、上述した実施形態において記載した順序のみに限定されるものではなく、適宜変更されてもよい。

【0120】

（３）上述の実施形態においては、ストレス度を決定するために、ユーザによる操作入力により快－不快の情報を取得するものとし、ユーザが入力操作をしない（できない）場合に、撮影画像に基づいて快－不快の情報を取得するものとしたが、いずれか一方のみの手段により、快－不快の情報を取得するものとしてもよい。

【0121】

（４）上述の実施形態においては、決定した覚醒度、ストレス度に対応する二次元平面上の位置を決定してプロットすることにより感情を決定するものとしたが、感情の決定は、プロットされた位置ごとに決定することに限定されない。所定期間内（運転をしている間の時間内や映画その他のコンテンツの視聴開始から終了までの期間）におけるユーザの感情の変化を示す指標を生成するものとしてもよい。

【0122】

例えば、図１２（Ｂ）に示す二次元平面上でのプロット位置の時間経過に伴う移動軌跡の形状に基づいた指標、あるいは所定時間内における複数のプロット位置の平均位置（例えば、重心位置）に基づいて指標を生成してもよい。

【0123】

上述の実施形態においては、決定した覚醒度（沈静度）およびストレス度に対応する二次元平面上の位置を決定し、決定した結果（感情）を最終的に画面に表示することにより、ユーザに提示した。しかし、決定した感情を二次元平面上の位置として提示する必要はない。例えば、最終的な情報出力の態様として、二次元平面の表示は行わず、感情を示すテキスト情報の表示のみ、あるいは当該テキストの合成音声による読み上げ処理のみといった態様を採用してもよい。
なお、上述した二次元平面の縦軸の指標である覚醒度および沈静度は、相互に関連するものであり、典型的には対極の概念であると観念することができるので、当該指標をどちらか一方の語のみで表現してもよい。あるいは、当該指標は、覚醒度および沈静度の両方を表しているとも把握できる。要するに、上述した実施例において、画像から得られた、血流に関係するバイタルデータに基づいて、当該指標決定されればよい。
また、上述した二次元平面における横軸の指標であるストレス度（快・不快度）は、少なくとも縦軸の指標と異なるものであればよく、典型的にはユーザの心理や感覚に関するものであって、例えば「リラックス度」など、上記以外の語によって表現されてもよい。
また、二次元平面という概念を導入する必要はない。覚醒・沈静度およびストレス度という２つの指標の組み合わせによって各感情を定義しておき、測定（およびユーザによる入力）から得られた上記２つの指標に基づいて、感情を決定すればよい。
要するに、本発明においては、ユーザの皮膚を撮影して得られた画像データに基づいて前記ユーザの脈波に関する情報を生成し、該生成された情報に基づいて当該ユーザの覚醒度を決定するステップと、前記ユーザのストレス度を決定するステップと、該決定した覚醒度とストレス度とに基づいて前記ユーザの感情を決定するステップと、が実行されていればよい。

【符号の説明】

【0124】

１…情報処理装置、１１…プロセッサ、１１１…取得部、１１２…認証部、１１３…覚醒度決定部、１１４…ストレス度決定部、１１５…基準値決定部、１１６…感情決定部、１１７…表示制御部、１２…メモリ、１２１…ユーザＤＢ、１２２…動画ＤＢ、１２２１…ユーザＩＤリスト、１２２２…動画データ表、１２３…計測結果ＤＢ、１２３１…ユーザＩＤリスト、１２３２…計測データテーブル、１３…通信部、１４…操作部、１５…表示部、１６…カメラ、Ｒ０…表示領域、Ｒ１…終了指示領域、Ｒ２…説明領域、Ｒ３…入力領域、Ｒ４…計測領域、Ｒ５…状態通知領域、Ｐ０～Ｐ３…ポインタ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】