特開 2024-139401 キャリブレーション方法、キャリブレーションプログラム、感情推定装置、および、感情推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139401

(43)【公開日】2024-10-09

(54)【発明の名称】キャリブレーション方法、キャリブレーションプログラム、感情推定装置、および、感情推定システム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20241002BHJP

   A61B 5/374 20210101ALI20241002BHJP

   A61B 5/0245 20060101ALI20241002BHJP

   A61B 5/352 20210101ALI20241002BHJP

【ＦＩ】

A61B5/16 120

A61B5/16 130

A61B5/374

A61B5/0245 100B

A61B5/352 100

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023050315

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】加藤 徹洋

(72)【発明者】

【氏名】村下 君孝

【テーマコード（参考）】

4C017

4C038

4C127

【Ｆターム（参考）】

4C017AA02

4C017AA19

4C017AC16

4C017AC26

4C017BC07

4C017BC14

4C017BC30

4C017EE15

4C017FF01

4C038PP03

4C038PP05

4C038PS00

4C038PS03

4C127AA03

4C127GG03

(57)【要約】

【課題】ニュートラル領域のキャリブレーションに要する時間を短縮することができる技術を提供する。
【解決手段】例示的なキャリブレーション方法は、装置が実行するキャリブレーション方法であって、生体信号に基づく指標の値が属する場合に心身状態を不定とするニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザに実行させて得られる生体信号に基づき調整する。
【選択図】図６

【特許請求の範囲】

【請求項1】

装置が実行するキャリブレーション方法であって、
生体信号に基づく指標の値が属する場合に心身状態を不定とするニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザに実行させて得られる生体信号に基づき調整する、キャリブレーション方法。

【請求項2】

前記タスクは、前記ニュートラル領域の上限と下限との間で変動する前記指標値を生じさせるタスクである、請求項１に記載のキャリブレーション方法。

【請求項3】

前記タスクは、同時に実行される複数種類のタスクを含む、請求項１に記載のキャリブレーション方法。

【請求項4】

前記複数種類のタスクには、
前記ニュートラル領域の上限を超える前記指標値を生じさせる第１タスクと、
前記ニュートラル領域の下限を下回る前記指標値を生じさせる第２タスクと、
が含まれる、請求項３に記載のキャリブレーション方法。

【請求項5】

前記ニュートラル領域は、複数種類のニュートラル領域を含み、
前記タスクは、前記複数種類のニュートラル領域のうちの少なくとも２つのニュートラル領域の上限と下限とを同時に推定可能とするタスクである、請求項１から４のいずれか１項に記載のキャリブレーション方法。

【請求項6】

前記複数種類のニュートラル領域は、
第１生体信号に基づく第１指標が属する場合に心身状態を不定とする第１ニュートラル領域と、
第２生体信号に基づく第２指標が属する場合に心身状態を不定とする第２ニュートラル領域と、
を含み、
前記タスクは、前記第１ニュートラル領域および前記第２ニュートラル領域の各上限と下限とを同時に推定可能とするタスクである、請求項５に記載のキャリブレーション方法。

【請求項7】

前記タスクは、前記第１ニュートラル領域の上限と下限との間で変動する前記第１指標値を生じさせ、且つ、前記第２ニュートラル領域の上限と下限との間で変動する前記第２指標値を生じさせるタスクである、請求項６に記載のキャリブレーション方法。

【請求項8】

前記タスクは、前記ユーザ毎に別々に設定される、請求項１から４のいずれか１項に記載のキャリブレーション方法。

【請求項9】

前記ニュートラル領域の調整後における異常を検出して、前記異常の検出に伴う前記ニュートラル領域の再調整を要求する通知が行われる、請求項１から４のいずれか１項に記載のキャリブレーション方法。

【請求項10】

前記タスクを前記ユーザに複数回行わせ、
前記複数回の前記タスクの各実行結果に基づき前記ニュートラル領域の調整が行われる、請求項１から４のいずれか１項に記載のキャリブレーション方法。

【請求項11】

前記複数回の前記タスクの実行結果を統計処理して前記ニュートラル領域の調整が行われ、
過去の前記ニュートラル領域の調整処理で取得された情報に基づき外れ値が抽出された場合には、当該外れ値を除去して前記統計処理が行われる、請求項１０に記載のキャリブレーション方法。

【請求項12】

生体信号に基づく指標の値が属する場合に心身状態を不定とするニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザに実行させて得られる生体信号に基づき調整することを、コンピュータに実行させる、キャリブレーションプログラム。

【請求項13】

ユーザの感情を推定する感情推定装置であって、
生体信号に基づく指標の値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかの識別を行って前記感情の推定を行い、
前記ニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクを前記ユーザに実行させて得られる生体信号に基づき調整する、感情推定装置。

【請求項14】

複数の前記生体信号に基づく複数の前記指標の値について前記識別を行って前記感情の推定を行い、
前記指標には、覚醒度と自律神経活性度とが含まれる、請求項１３に記載の感情推定装置。

【請求項15】

前記覚醒度は、脳波のβ波／α波に基づき算出され、
前記自律神経活性度は、心拍ＬＦ成分の標準偏差に基づき算出される、請求項１４に記載の感情推定装置。

【請求項16】

ユーザの感情を推定する感情推定装置と、前記ユーザの生体信号を計測する生体センサとを備える感情推定システムであって、
前記感情推定装置は、
前記生体信号に基づく指標の値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別して前記感情の推定を行い、
前記ニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクを前記ユーザに実行させて得られる生体信号に基づき調整する、感情推定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情の推定を行う技術に関する。

【背景技術】

【0002】

従来、センサで検出対象者の覚醒度に関わる情報を計測し、当該計測結果を利用して覚醒度を推定する技術が知られる（例えば特許文献１参照）。

【0003】

特許文献１においては、センサで出力された情報から検出対象者の覚醒度に関わる特徴を特徴抽出手段で抽出する。特徴選別しきい値設定手段により、抽出した特徴に基いて特徴選別しきい値を設定する。特徴選別手段により、特徴抽出手段で抽出した特徴を特徴選別しきい値によって選別し、覚醒度推定手段により、選別結果に基いて覚醒度を推定する。特許文献１には、覚醒度に関わる情報の計測結果に応じて、覚醒度を推定する際に用いる閾値を調整することが開示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平８－３３２８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、人の心身状態は複雑であり、生体信号に基づく指標の値によって単純に分類することは難しい。例えば、生体信号に基づく指標が覚醒度である場合について考える。覚醒度は、閾値によって覚醒状態と非覚醒状態とに単純に分けられるわけではなく、いずれの状態にも分類されない曖昧な状態も含む。このために、生体信号に基づく指標の値を用いて心身状態の分類を行う場合には、閾値によって単純に２つに状態に分類するのではなく、前述の曖昧な状態を示すニュートラル領域を含めた分類を行うことが好ましいと考えられる。

【0006】

ニュートラル領域は、個人差を有すると考えられる。また、ニュートラル領域は、人が置かれる環境や健康状態等によって変動すると考えられる。このために、ニュートラル領域は、例えば心身状態の推定を行う前等に、調整（キャリブレーション）を行う必要があると考えられる。しかし、ニュートラル領域は、閾値とは異なり幅を持っており、上限と下限とを特定する必要があるために、キャリブレーションに要する時間が長くなることが懸念される。

【0007】

本発明は、上記の点に鑑み、ニュートラル領域のキャリブレーションに要する時間を短縮することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

例示的な本発明のキャリブレーション方法は、装置が実行するキャリブレーション方法であって、生体信号に基づく指標の値が属する場合に心身状態を不定とするニュートラル領域を、前記ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザに実行させて得られる生体信号に基づき調整する。

【発明の効果】

【0009】

例示的な本発明によれば、ニュートラル領域のキャリブレーションに要する時間を短縮することができる。

【図面の簡単な説明】

【0010】

【図1】感情推定システムの構成例を示す図

【図2】感情推定モデル（心理平面）の一例を示す図

【図3】感情推定装置の構成例を示す図

【図4A】センサテーブルの一例を示す図

【図4B】心理平面テーブルの一例を示す図

【図5】第１実施形態のタスクテーブルの一例を示す図

【図6】第１実施形態に係るタスクの実行時における生理反応の指標値の時間変化を模式的に示した図

【図7】ニュートラル領域テーブルの一例を示す図

【図8】ニュートラル領域を含む心理平面の一例を示す図

【図9】第１実施形態に係る感情推定処理を示すフローチャート

【図10A】感情の推定結果が表示された画面を例示する図

【図10B】感情の推定結果が表示された画面を例示する図

【図11】第１変形例のタスクテーブルを示す図

【図12】第２変形例に係る感情推定処理を例示するフローチャート

【図13】第３変形例に係る感情推定処理を例示するフローチャート

【図14】感情の推定結果に異常を検出した場合における画面通知の一例を示す模式図

【図15】第２実施形態においてユーザに実行させるタスクについて説明するための図

【図16】第２実施形態のタスクテーブルの一例を示す図

【図17】組合せテーブルの一例を示す図

【発明を実施するための形態】

【0011】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0012】

＜１．第１実施形態＞
［１－１．感情推定システム］
図１は、本発明の第１実施形態に係る感情推定システム１の構成例を示す図である。図１において、ユーザＵ１は、本発明のシステムや装置を利用する者である。本実施形態において、ユーザＵ１は、ｅスポーツのプレーヤである。ユーザＵ１は、感情の推定が行われる者である。すなわち、感情推定システム１は、ｅスポーツのプレーヤＵ１の感情を推定するシステムとして構成されている。

【0013】

なお、図１には、ユーザＵ１が一人のみ示されているが、ユーザＵ１は複数であってもよい。また、ユーザＵ１は、ｅスポーツのプレーヤ以外であってもよい。例えば、ユーザＵ１は、医療機関における患者、教育機関における生徒、車両のドライバ、映像や音楽といったコンテンツの視聴者等であってもよい。

【0014】

図１に示すように、感情推定システム１は、サーバ１０と、端末装置２０と、生体センサ３０と、ゲーム装置４０とを備える。サーバ１０と端末装置２０とは、ネットワークＮを介して接続される。ネットワークＮは、例えばインターネットまたはイントラネットである。端末装置２０と、生体センサ３０およびゲーム装置４０とは、有線または無線により通信可能に設けられる。端末装置２０と、生体センサ３０およびゲーム装置４０とは、例えば、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信規格にしたがって接続される。

【0015】

サーバ１０は、物理サーバであっても、仮想サーバであってもよい。本実施形態では、サーバ１０は、ユーザＵ１の感情を推定する感情推定装置を構成する。すなわち、感情推定システム１は、感情推定装置１０を備える。以下、サーバ１０のことを感情推定装置１０と表現する。感情推定装置１０の詳細については後述する。なお、感情推定装置１０は、１つのサーバによって構成されても、複数のサーバによって構成されてもよい。

【0016】

端末装置２０は、例えば、パーソナルコンピュータ、スマートフォン、または、タブレット型コンピュータである。本実施形態では、端末装置２０はオペレータＯ１によって使用される。ただし、端末装置２０は、ユーザＵ１が使用する構成であってもよい。この場合、端末装置２０は、ゲーム装置４０を兼ねてよい。また、端末装置２０は、例えばユーザＵ１の数が複数である場合に、複数とされてもよい。

【0017】

生体センサ３０は、ユーザＵ１に装着され、ユーザＵ１の生体信号をセンサ信号として検出する。すなわち、感情推定システム１は、ユーザＵ１の生体信号を計測する生体センサ３０を備える。本実施形態では、生体センサ３０は、第１センサ３１と第２センサ３２とを含む。第１センサ３１は、ヘッドギア型の脳波センサである。第２センサ３２は、リストバンド型の光学式心拍（脈拍）センサである。ただし、第１センサ３１および第２センサ３２は、取得したい生体情報等に応じて他の生体センサに変更されてよい。他の生体センサは、例えば、心電式心拍センサ、血圧計、または、ＮＩＲＳ（Near Infrared Spectroscopy）装置等であってよい。なお、生体センサ３０で検出されたセンサ信号は、端末装置２０に直接送信されてもよいが、ゲーム装置４０に一旦送信され、ゲーム装置４０を介して端末装置２０に送信されてもよい。

【0018】

ゲーム装置４０は、ユーザＵ１がゲームに関わる操作等を行う操作部４１と、表示画面を有する表示部４２とを備える。ゲーム装置４０は、当該装置を操作するユーザＵ１の情報等を、端末装置２０に適宜送信する。また、ゲーム装置４０は、端末装置２０から適宜情報を受信する。

【0019】

ここで、図１を参照して、感情推定システム１における情報処理の流れを説明する。

【0020】

第１センサ３１および第２センサ３２は、ユーザＵ１の生体信号を計測し、計測結果をセンサ信号として端末装置２０に出力する（ステップＳ１）。端末装置２０は、入力されたセンサ信号を感情推定装置（サーバ）１０に送信する（ステップＳ２）。感情推定装置１０は、入力されたセンサ信号に基づき、ユーザＵ１の感情状態を推定する（ステップＳ３）。

【0021】

ここで、ステップＳ３の感情推定の概要について説明する。感情推定装置１０は、入力されたセンサ信号に基づき、心身状態を示す指標（生理反応）の値である指標値を生成する。本実施形態では、感情推定装置１０は、脳波および心拍に関する２つの心身状態を示す指標の指標値を生成する。感情推定装置１０は、生成した２つの指標値を用いて感情の推定を行う。換言すると、感情推定装置１０は、複数の生体信号に基づく複数の指標値を用いて感情の推定を行う。複数の生体信号には、脳波と心拍とが含まれる。大がかりなセンサを用いることなく、生体信号に基づき指標値を取得することができる。

【0022】

例えば、脳波に関する心身状態を示す指標は、中枢神経系覚醒度（以下、単に覚醒度と記載する）であり、その指標値は「脳波のβ波／α波」で与えることができる。また、例えば、心拍に関する心身状態を示す指標は、自律神経系の活性度（以下、単に自律神経系活性度と記載する）であり、その指標値は「心拍ＬＦ（低周波：ローパスフィルタ出力）成分の標準偏差」で与えることができる。指標値は、予めメモリ等に記憶される算出用のモデル（算出式や変換データテーブル）を用いて算出される。本実施形態では、感情の推定を行うために用いる複数の指標（生理反応）には、覚醒度と、自律神経系活性度とが含まれる。

【0023】

なお、第１センサ３１および第２センサ３２が演算機能を有する構成（コンピュータ等が内蔵された構成）として、センサ３１、３２が、指標値を算出する構成としてもよい。また、端末装置２０が、第１センサ３１および第２センサ３２から入力されたセンサ信号に基いて指標値を算出する構成としてもよい。

【0024】

感情推定装置１０は、算出した指標値と、予めメモリ等に記憶される感情推定モデルとを用いてユーザＵ１の感情を推定する。なお、感情推定モデルは、医学的エビデンス（論文等）に基づいて作成される。

【0025】

図２は、感情推定モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される２種類の心身状態の指標を軸とする心理平面は、当該技術思想に従った感情推定モデルの一例である。図２において、一例として、縦軸は「覚醒度（覚醒－不覚醒）」、横軸は「自律神経系活性度（交感神経活性－副交感神経活性」である。なお、横軸は、「感情強度（強い感情－弱い感情）」と言い換えられてもよい。交感神経が活性である場合に強い感情となり、副交感神経が活性である場合に弱い感情となる。

【0026】

図２に示す心理平面では、縦軸と横軸とで分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。図２の例では、第一象限に「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限に「憂鬱」の心理状態が割り当てられている。また、第三象限に「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限に「不安、恐怖、不愉快」の心理状態が割り当てられている。

【0027】

生体信号の計測結果に基づいて得られる２種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。

【0028】

なお、本実施形態では、詳細には、図２に示す感情推定モデルがそのまま利用されるのではなく、事前にキャリブレーションを行い、キャリブレーションの結果を適用した感情推定モデルを用いて感情の推定が行われる。これについては、後述する。また、図２に示す例では、感情推定モデルは２次元の平面であるが、３次元以上の空間であってもよい。

【0029】

図１に戻って、感情推定装置１０は、感情の推定を行うと、得られた推定結果を端末装置２０に提供（送信）する（ステップＳ４）。例えば、端末装置２０は、受信したユーザＵ１の感情情報を、オペレータＯ１の操作に基づき画面に表示する。また、例えば、端末装置２０は、受信したユーザＵ１の感情情報を、ゲーム装置４０の表示部４２に表示させる。また、端末装置２０は、受信したユーザＵ１の感情情報を、外部のゲームシステムに提供する。

【0030】

感情の推定結果は、例えばｅスポーツにおけるユーザ（プレーヤ）Ｕ１のメンタルトレーニングに利用することができる。例えば、ビデオゲームのプレイ中に、ユーザＵ１が勝負において不利な感情（不安、怒り等）を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。当該トレーニングにおいて、感情推定システム１で推定されたユーザＵ１の感情情報が利用される。

【0031】

また、各種ｅスポーツには、複数のユーザＵ１が協力してプレイするタイプや、複数のユーザＵ１が対戦するタイプがある。このようなタイプのｅスポーツにおいて、各プレーヤの感情状態が表示される構成等とすると、感情状態に応じてゲーム戦術を変える等、高度なゲームプレイが行うことが可能になる。また、ｅスポーツの観戦者が各プレーヤの感情状態を把握してゲームを観戦するといった構成も可能であり、ゲーム観戦の楽しみの要素を増やすことができる。

【0032】

また、感情推定システム１によって感情を推定する対象（ユーザＵ１）が医療機関における患者である場合、推定された感情は、検査及び治療等に利用することができる。例えば、医療機関のスタッフは、患者が不安に感じていることを把握して、カウンセリング等の対応策を施すことができる。なお、医療機関のスタッフは、オペレータＯ１（図１参照）の一例であってよい。

【0033】

また、感情推定システム１によって感情を推定する対象（ユーザＵ１）が教育機関における生徒である場合、推定された感情は、授業内容の改善に利用することができる。例えば、教師は、生徒が授業を退屈に感じていることを把握して、授業の内容を生徒が興味をひく内容に改善することができる。なお、教師は、オペレータＯ１（図１参照）の一例であってよい。

【0034】

また、感情推定システム１によって感情を推定する対象（ユーザＵ１）が車両のドライバである場合、推定された感情は、安全運転の促進に利用することができる。例えば、車載装置は、ドライバが運転中に適度な緊張を感じていないことを把握して、運転に集中することを促すメッセージを出力することができる。なお、車載装置は、端末装置２０の一例であってよい。

【0035】

また、感情推定システム１によって感情を推定する対象（ユーザＵ１）が、映像や音楽といったコンテンツの視聴者である場合、推定された感情は、さらなるコンテンツの作成に利用することができる。例えば、映像コンテンツの配信者は、視聴者が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。なお、映像コンテンツの配信者は、オペレータＯ１（図１参照）の一例であってよい。

【0036】

なお、以上においては、サーバ１０が感情推定装置である例を示したが、例えば、端末装置２０や、ｅスポーツのプレーヤが使用するゲーム装置４０が感情推定装置であってもよい。また、例えば、感情推定装置は、複数の装置で構成されてよい。例えば、通信接続されたサーバ１０、端末装置２０、および、ゲーム装置４０が、感情を推定するための処理を分散して行ってもよい。

【0037】

［１－２．感情推定装置］
図３は、本発明の第１実施形態に係る感情推定装置１０の構成例を示す図である。なお、図３においては、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素についての記載は省略されている。図３に示すように，感情推定装置１０は、通信部１１および記憶部１２を備える。また、感情推定装置１０はコントローラ１３を備える。感情推定装置１０は、いわゆるコンピュータ装置であってよい。なお、感情推定装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。

【0038】

通信部１１は、ネットワークＮを介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）である。

【0039】

記憶部１２は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスクドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納される。なお、不揮発性メモリに格納されるプログラムおよびデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、又は、可搬型記録媒体から取得される構成としてもよい。

【0040】

図３に示すように、本実施形態では、記憶部１２には、テーブル（データテーブル）１２１が含まれる。詳細には、テーブル１２１には、各種処理用の複数のテーブルが含まれる。例えば、テーブル１２１には、センサテーブル１２１ａおよび心理平面テーブル１２１ｂが含まれる。図４Ａは、センサテーブル１２１ａの一例を示す図である。図４Ｂは、心理平面テーブル１２１ｂの一例を示す図である。

【0041】

図４Ａに示すように、センサテーブル１２１ａの項目には、「センサＩＤ」、「センサ種別」、「生体信号種別」、「対応指標ＩＤ」、「対応指標種別」、および、「指標変換情報」が含まれる。なお、テーブルの項目は、データ記憶セル（記憶枠）に対応する。

【0042】

センサテーブル１２１ａの項目「センサＩＤ」は、センサテーブル１２１ａにおけるデータレコードを識別するための識別情報であるセンサＩＤデータを記憶する。センサＩＤデータは、センサテーブル１２１ａにおけるデータレコードの主キーでもある。つまりセンサテーブル１２１ａでは、センサＩＤデータごとにデータレコードが構成され、当該データレコードにセンサＩＤデータに紐づいた各項目のデータが記憶される。

【0043】

センサテーブル１２１ａの項目「センサ種別」は、センサ種別を特定するための情報を記憶する。本例では、センサ名称（型番等のデータでも可）が記憶される。

【0044】

センサテーブル１２１ａの項目「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定（算出）できると認識されている。

【0045】

センサテーブル１２１ａの項目「対応指標ＩＤ」は、生体信号を検出するセンサの信号に基づき生成（算出）される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル１２１ａの項目「対応指標種別」は、指標の種別（名称等）を記憶する。

【0046】

センサテーブル１２１ａの項目「指標変換情報」は、生体信号を検出するセンサから得られる信号に基づき指標値を算出するための変換情報（演算式や変換データテーブル等）を記憶する。つまり、センサＩＤデータに対応するセンサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標ＩＤで識別される心身状態指標の指標値が推定（算出）されることになる。

【0047】

たとえば、図４Ａで示すセンサテーブル１２１ａにおけるセンサＩＤ「ＳＮ０１」のデータレコードは、次のような情報を有する。「脳波センサＢＡ」の出力信号により「脳波のβ波／α波」が計測される。そして、この「脳波のβ波／α波」を「ＦＸ０１」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。

【0048】

図４Ｂに示すように、心理平面テーブル１２１ｂは、指標種別（具体的には指標ＩＤデータを使用）を縦軸および横軸のパラメータとする２次元マトリックステーブルである。心理平面テーブル１２１ｂにおいては、２種類の指標種別で定まる記憶セル（記憶枠）に、当該２種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別ＶＳｍと指標種別ＶＳｎであれば、感情の推定に用いる心理平面は心理平面ｍｎとなる。心理平面ｍｎを用いた処理を行なうための情報が読み出され、感情の推定処理に使用されることになる。

【0049】

なお、センサテーブル１２１ａと心理平面テーブル１２１ｂとにおいては、共通の指標ＩＤが用いられる。すなわち、センサテーブル１２１ａと心理平面テーブル１２１ｂとに基づいて、ユーザＵ１に装着された２種類のセンサに対応する心理平面ｍｎを決定することができる。例えば、ユーザＵ１に装着されたセンサ種別が「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」と「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」であるとする。この場合、「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」および「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」に対応する指標ＩＤデータがセンサテーブル１２１ａに基づき決定される。そして、心理平面テーブル１２１ｂに基づき、「覚醒度」（ＶＳ０１）と「自律神経系活性度」（ＶＳ０２）を指標とする心理平面０１－０２が、感情の推定に用いる心理平面として決定されることになる。

【0050】

図３に戻って、コントローラ１３は、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成されてよい。コントローラ１３は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。なお、感情推定装置１０がクラウドサーバで構成される場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであってよい。

【0051】

図３に示すように、コントローラ１３は、その機能として、取得部１３１と、キャリブレーション部１３２と、感情推定部１３３と、提供部１３４とを備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。

【0052】

なお、本実施形態の範囲には、感情推定装置１０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いは、ＳＤカード等であってよい。

【0053】

また、各機能部１１１～１１４は、１つのプログラムにより実現されてもよいが、例えば、機能部ごとに別々のプログラムにより実現される構成であってもよい。また、各機能部１１１～１１４が別々のサーバとして実現されてもよい。また、各機能部１１１～１１４は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部１１１～１１４の少なくとも一部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、各機能部１１１～１１４は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、各機能部１１１～１１４は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、各機能部１１１～１１４は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0054】

取得部１３１は、通信部１１を介して、端末装置２０から第１センサ３１および第２センサ３２で計測されたデータ（センサ信号）を受信する。取得部１３１は、受信したデータを、その後の処理のために必要に応じて記憶部１２に記憶する。

【0055】

キャリブレーション部１３２は、感情の推定を精度良く行うために必要とされるキャリブレーションを実行する。詳細には、キャリブレーション部１３２は、ニュートラル領域のキャリブレーションを実行する。当該キャリブレーションは、ニュートラル領域の設定または調整と言い換えてもよい。生体信号に基づく指標の値がニュートラル領域に属する場合に、心身状態が不定（曖昧）であると判定される。すなわち、ニュートラル領域は、生体信号に基づく指標の値が属する場合に心身状態を不定とする領域である。ここで、上述した図２に示す心理平面を参照して、ニュートラル領域について説明する。

【0056】

図２に示す心理平面においては、生体信号に基づく各指標（縦軸および横軸）は、各指標を表す軸と直交する軸を境として２つの領域に分割される。縦軸の指標は横軸により２つの領域に分割され、横軸の指標は縦軸の指標により２つの領域に分割される。このような心理平面をそのまま利用する場合、例えば次のようになる。覚醒度の指標値は、「覚醒」と「非覚醒」とのいずれか一方に分類され、自律神経系活性度の指標値は、「交感神経活性」と「副交感神経活性」とのいずれか一方に分類される。

【0057】

しかしながら、例えば、覚醒度の場合を例に説明すると、人間の心身状態は、覚醒と非覚醒という状態だけでなく、どちらとも言えないニュートラルな状態に属することもある。ニュートラルな状態は、心理平面において、或る程度の広がりを持つ領域であると考えられる。このために、図２に示す心理平面を単純に利用すると、ニュートラルな状態を無視して誤った感情の推定を行う可能性がある。そこで、本実施形態では、図２に示す心理平面を単純に利用するのではなく、心理平面にニュートラル領域を設定する構成となっている。ニュートラル領域は、前述したどちらとも言えないニュートラルな状態であることを示す領域である。覚醒度の指標値がニュートラル領域に属する場合、心身状態は覚醒と非覚醒の何れにも分類されず、不定であると判定される。同様なことが、自律神経系活性度にも当てはまる。自律神経系活性度の指標値がニュートラル領域に属する場合、心身状態は交感神経活性と副交感神経活性との何れにも分類されず、不定であると判定される。

【0058】

なお、ニュートラル領域は、生理反応（心身状態の指標）が曖昧であり、特定することができない領域である。ニュートラル領域は、生理反応が明確である正領域と負領域との間に挟まれる領域である。正領域は、ニュートラル領域に対して一方側の領域であり、指標値がニュートラル領域の上限よりも大きな値となった場合に属する領域である。負領域は、ニュートラル領域に対して他方側の領域であり、指標値がニュートラル領域の下限よりも小さな値となった場合に属する領域である。例えば生理反応の種別が覚醒度であることを想定すると、指標値が正領域に属する場合には覚醒状態であることを示し、指標値が負領域に属する場合には非覚醒状態であることを示す。例えば生理反応の種別が自律神経系活性度であることを想定すると、指標値が正領域に属する場合には交感神経が活性状態であることを示し、指標値が負領域に属する場合には副交感神経が活性状態であることを示す。

【0059】

ニュートラル領域は、一般に個人差が存在する。また、ニュートラル領域は、同じ一個人においても、当該個人が置かれる環境や、当該個人の体調等に影響されて変動することがある。ニュートラル領域は、一義的に決まる領域ではない。このような点に鑑みて、本実施形態においては、感情の推定を行う前に、キャリブレーション部１３２によるニュートラル領域の調整（設定）が行われる。

【0060】

キャリブレーション部１３２は、ユーザＵ１に予め準備されたタスクを実行させる。キャリブレーション部１３２は、ユーザＵ１によるタスクの実行に伴って取得される生体信号に基づく指標値情報に応じて、ニュートラル領域を調整する。ニュートラル領域の調整は、詳細には、ニュートラル領域の上限と下限とを決定することである。予め準備されたタスクの情報は、テーブル化されて記憶部１２に記憶されている。

【0061】

図５は、第１実施形態のタスクテーブル１２１ｃの一例を示す図である。図５に示すように、タスクテーブル１２１ｃの項目には、「タスクＩＤ」、「センサ種別」、「対応指標種別」、および、「タスク内容」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図４Ａと同様であるために、説明は省略する。なお、「対応指標種別」は、対応生理反応種別と表現してもよい。

【0062】

タスクテーブル１２１ｃの項目「タスクＩＤ」は、タスクテーブル１２１ｃにおけるデータレコードを識別するための識別情報であるタスクＩＤデータを記憶する。タスクデータテーブル１２１ｃでは、タスクＩＤデータごとにデータレコードが構成され、当該データレコードにタスクＩＤデータに紐づいた各項目のデータが記憶される。

【0063】

タスクテーブル１２１ｃの項目「タスク内容」は、ユーザＵ１に実行させるタスクの具体的な内容を記憶する。タスク内容は、例えば、医学的エビデンスや、医学界において経験的に知られる情報等に応じて決定されてよい。

【0064】

図５に示す例では、生理反応の種別が覚醒度である場合のタスクの内容は、「般若心境なぞり書き」である。般若心境なぞり書きは、例えば紙等の媒体に薄く書かれた般若心境を、例えば筆等の筆記具や、手でなぞる作業であってよい。タスクとして般若心境なぞり書きが与えられた場合、ユーザＵ１は、般若心境なぞり書きを所定時間（例えば１５分等）実行する。

【0065】

また、図５に示す例では、生理反応の種別が自律神経系活性度である場合のタスクの内容は、「塗り絵」である。塗り絵は、例えば紙等の媒体に予め準備された絵に色鉛筆等の色を付ける手段で色付けを行う作業であってよい。タスクとして塗り絵が与えられた場合、ユーザＵ１は、塗り絵を所定時間（例えば１５分等）実行する。

【0066】

本実施形態では、タスク内容は、ニュートラル領域を直接推定できるように決められる。別の言い方をすると、タスク内容は、ニュートラル領域の上限と下限とを同時に推定できるように決められる。すなわち、キャリブレーション部１３２は、ニュートラル領域を、当該ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザＵ１に実行させて得られる生体信号に基づき調整する。

【0067】

キャリブレーション部１３２は、感情推定装置１０が備えるコントローラ１３の機能である。この点を考慮して、次のように言うことができる。感情推定装置１０およびコントローラ１３は、ニュートラル領域を、当該ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザＵ１に実行させて得られる生体信号に基づき調整する。また、装置が実行するキャリブレーション方法は、ニュートラル領域を、当該ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザＵ１に実行させて得られる生体信号に基づき調整する、キャリブレーション方法である。ここで言う装置は、感情推定装置１０であってもよいが、感情推定装置１０に適用可能なキャリブレーション装置であってもよい。また、本実施形態では、感情推定装置１０がコンピュータ装置であり、キャリブレーション部１３２の機能は、コンピュータ装置が備えるプロセッサが記憶部１２に記憶されるプログラムを実行することで実現される。この点を考慮して、次のように言うことができる。キャリブレーションプログラムは、ニュートラル領域を、当該ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザに実行させて得られる生体信号に基づき調整することを、コンピュータに実行させる。

【0068】

本実施形態の構成によれば、ニュートラル領域の上限を決定するための上限決定用のタスクと、下限を決定するための下限決定用のタスクとを、時間をずらして別々にユーザＵ１に実行させる必要がない。ニュートラル領域の上限および下限を１回のタスクの実行により纏めて決定することができる。このために、ニュートラル領域を調整するキャリブレーションに要する時間を短縮することができる。

【0069】

また、本実施形態では、タスクテーブル１２１ｃの内容からわかるように、ニュートラル領域の上限と下限とを同時に推定可能とするタスクは、単一種類のタスクである。そして、当該単一種類のタスクは、ニュートラル領域の上限と下限との間で変動する指標値を生じさせるタスクである。詳細には、当該単一種類のタスクは、ニュートラル領域の上限を最大値、下限を最小値として振れる指標値を生じさせるタスクである。このような構成によれば、キャリブレーションのために行う必要があるタスク種を最低限とすることができる。このために、ユーザＵ１の負担を低減することが可能である。また、タスクを実行させる環境等の準備作業の負担を低減できる。

【0070】

本実施形態では、上述のように、感情推定のために必要とされる指標の数は複数である。指標種別ごとにニュートラル領域があるために、キャリブレーションの対象となるニュートラル領域は、複数種類のニュートラル領域を含む。詳細には、複数種類のニュートラル領域は、第１生体信号に基づく第１指標が属する場合に心身状態を不定とする第１ニュートラル領域と、第２生体信号に基づく第２指標が属する場合に心身状態を不定とする第２ニュートラル領域とを含む。より詳細には、第１生体信号は脳波であり、第１指標は覚醒度である。第２生体信号は心拍であり、第２指標は自律神経系活性度である。

【0071】

図５に示すタスクテーブル１２１ｃでは、指標種別ごとにタスク内容が異なる。このために、感情推定のために必要とされる指標が複数である場合、ニュートラル領域のキャリブレーションを行うために、複数種類のタスクを、別々に分けて実行させる必要があることになる。図２に示す感情推定モデルを利用する場合、第１ニュートラル領域用と第２ニュートラル領域用との２種類のタスクを、別々に分けて実行させる必要があることになる。

【0072】

ただし、図５に示すように、指標種別ごとにタスク内容を異ならせることは例示にすぎず、異なる指標種別に対して同じタスク内容が与えられる構成としてもよい。すなわち、複数種類のニュートラル領域のキャリブレーションが必要な場合にユーザＵ１に実行させるタスクは、複数種類のニュートラル領域のうちの少なくとも２つの上限と下限とを同時に推定可能とするタスクであってよい。詳細には、タスクは、第１ニュートラル領域および第２ニュートラル領域の各上限と下限とを同時に推定可能とするタスクであってよい。別の言い方をすると、タスクは、第１ニュートラル領域の上限と下限との間で変動する第１指標値を生じさせ、且つ、第２ニュートラル領域の上限と下限との間で変動する第２指標値を生じさせるタスクであってよい。このような構成とすると、ユーザＵ１に実行させるタスク回数を減らして、キャリブレーションに要する時間の短縮化を図ることができる。

【0073】

なお、上述した「般若心境のなぞり書き」および「塗り絵」のそれぞれは、覚醒度のニュートラル領域（第１ニュートラル領域）および自律神経系活性度のニュートラル領域（第２ニュートラル領域）の各上限と下限とを同時に推定可能なタスクとなり得る。

【0074】

ニュートラル領域の上限および下限を決定する手法の具体例について、図６を参照しながら説明する。図６は、第１実施形態に係るタスクの実行時における生理反応の指標値の時間変化を模式的に示した図である。タスクは、例えば「般若心境のなぞり書き」である。図６において、横軸は時間、縦軸は生理反応（指標）である。図６において、矢印ＮＲで示される領域（縦軸方向の一部の領域）は、ニュートラル領域に該当する。また、符号Ｌ１はニュートラル領域ＮＲの上限であり、符号Ｌ２はニュートラル領域ＮＲの下限である。

【0075】

図６に示すように、ユーザＵ１がタスクを実行することにより得られる指標値は、時間の経過とともに値を変化させる。上述の説明からわかるように、タスクは、ニュートラル領域ＮＲの上限Ｌ１と下限Ｌ２との間で振れる指標値を生じさせるタスクである。このために、図６に示される指標値の時間変化データ（グラフＧ）の最大値がニュートラル領域ＮＲの上限Ｌ１である。また、図６に示される指標値の時間変化データ（グラフＧ）の最小値がニュートラル領域ＮＲの下限Ｌ２である。

【0076】

キャリブレーション部１３２は、タスクの実行時に得られる指標値の時間変化データを統計処理して、ニュートラル領域ＮＲの上限Ｌ１および下限Ｌ２を決定する。詳細には、キャリブレーション部１３２は、タスクの実行時に得られる指標値の時間変化データをスムージング処理し、スムージング処理後のデータの最大値をニュートラル領域ＮＲの上限Ｌ１とする。また、キャリブレーション部１３２は、前述のスムージング処理後のデータの最小値をニュートラル領域ＮＲの下限Ｌ２とする。なお、スムージング処理は、例えば、微細なピーク信号のようなノイズ成分等の除去を目的として行われ、実施されることが好ましいが、場合によっては実施されなくてもよい。また、タスク実行時間（キャリブレーションのための生体信号計測時間）は、ニュートラル領域ＮＲの上限Ｌ１および下限Ｌ２を充分な精度で推定できる適当な時間長で、実験等により決定される。

【0077】

キャリブレーション部１３２は、ユーザＵ１にタスクを行わせて決定したニュートラル領域ＮＲの上限Ｌ１（上限値）および下限Ｌ２（下限値）を記憶部１２に記憶する。詳細には、キャリブレーション部１３２は、決定した上限値および下限値をデータテーブル化して記憶部１２に記憶する。すなわち、テーブル１２１（図３参照）には、ユーザＵ１ごとのニュートラル領域情報を含むニュートラル領域テーブル１２１ｄが含まれる。

【0078】

図７は、ニュートラル領域テーブル１２１ｄの一例を示す図である。図７に示すように、ニュートラル領域テーブル１２１ｄの項目には、「ニュートラルＩＤ」、「ユーザＩＤ」、「センサ種別」、「対応指標種別」、「上限値」、「下限値」、および、「取得日時」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図４Ａや図５と同様であるために、説明は省略する。

【0079】

ニュートラル領域テーブル１２１ｄの項目「ニュートラルＩＤ」は、ニュートラル領域テーブル１２１ｄにおけるデータレコードを識別するための識別情報であるニュートラルＩＤデータを記憶する。ニュートラルＩＤデータは、ニュートラル領域テーブル１２１ｄにおけるデータレコードの主キーでもある。つまりニュートラル領域テーブル１２１ｄでは、ニュートラルＩＤデータごとにデータレコードが構成され、当該データレコードにニュートラルＩＤデータに紐づいた各項目のデータが記憶される。ニュートラル領域テーブル１２１ｄの項目「ユーザＩＤ」は、ユーザを識別する識別情報であるユーザＩＤデータを記憶する。ユーザＩＤデータは、例えば、ゲーム装置４０から端末装置２０を介して感情推定装置１０に送信される。

【0080】

ニュートラル領域テーブル１２１ｄの項目「上限値」および「下限値」には、キャリブレーション部１３２により決定された上限値および下限値の情報が記憶される。ニュートラル領域テーブル１２１ｄの項目「取得日時」には、上限値および下限値の情報が記憶された日時情報が記憶される。ユーザＩＤ等の項目ごとに決定される上限値および下限値は、最新の情報が取得されるごとに更新される。また、上限値および下限値の情報が更新されると、取得日時も更新される。

【0081】

なお、ニュートラル領域の上限値および下限値のデータ、並びに、取得日時のデータは、更新されるのではなく、蓄積される構成であってもい。この場合、蓄積されるデータの量は、予め決められた規定量（規定数）までとされ、規定量を超えた場合には、古いデータから順番に消去される構成としてよい。

【0082】

図３に戻って、感情推定部１３３は、取得部１３１が取得したデータに基づき感情の推定に用いるモデルを選択する。具体的には、感情推定部１３３は、取得したデータとセンサテーブル１２１ａとを照合して、取得したデータに含まれるセンサ種別および生体信号種別に対応する「対応指標種別」のデータ（指標ＩＤ）を抽出する。そして、感情推定部１３３は、抽出した指標ＩＤと心理平面テーブル１２１ｂとを照合して、感情の推定に用いるモデル（心理平面）を選択する。例えば、センサＩＤが「ＳＮ０１」（センサ種別：脳波センサＢＡ）と「ＳＮ０２」（センサ種別：心拍センサＨＡ）の場合、対応する指標ＩＤは、「ＶＳ０１」（指標種別：覚醒度）と「ＶＳ０２」（指標種別：自律神経系活性度）となる（図４Ａ参照）。これらに基づき、感情推定部１３３は、使用する感情推定モデルとして心理平面０１－０２を選択する。

【0083】

感情推定部１３３は、使用する心理平面を選択すると、感情推定の対象となっているユーザＵ１のユーザＩＤを用いて、ニュートラル領域テーブル１２１ｄから選択した心理平面の指標種別に対応するニュートラル領域の上限値および下限値を抽出する。そして、感情推定部１３３は、選択した心理平面を、抽出した上限値および下限値を用いてニュートラル領域を含む心理平面に加工する。

【0084】

図８は、ニュートラル領域を含む心理平面の一例を示す図である。図８に示すニュートラル領域を含む心理平面は、図２に示す心理平面を加工したものである。図８において、斜線で示す領域ＮＲは、ニュートラル領域である。指標種別「覚醒度」の上限値により、覚醒度（縦軸）におけるニュートラル領域と正領域との境界が決まる。指標種別「覚醒度」の下限値により、覚醒度（縦軸）におけるニュートラル領域と負領域との境界が決まる。指標種別「自律神経系活性度」の上限値により、自律神経系活性度（横軸）におけるニュートラル領域と正領域との境界が決まる。指標種別「自律神経系活性度」の下限値により、自律神経系活性度（横軸）におけるニュートラル領域と負領域との境界が決まる。

【0085】

加工された心理平面において、指標種別「覚醒度」の上限値および下限値により決まる第１ニュートラル領域ＮＲ１は、横軸と平行な方向に延びる帯状の領域である。また、加工された心理平面において、指標種別「自律神経系活性度」の上限値および下限値により決まる第２ニュートラル領域ＮＲ２は、縦軸と平行な方向に延びる帯状の領域である。心理平面に設けられるニュートラル領域ＮＲは、第１ニュートラル領域ＮＲ１と第２ニュートラル領域ＮＲ２とで構成され、その形状は、十字架状である。

【0086】

なお、それぞれ帯状に構成される第１ニュートラル領域ＮＲ１と第２ニュートラル領域ＮＲ２との幅は、互いに同じとなる場合もあるし、互いに異なる場合もある。また、図８に示す例では、第１ニュートラル領域ＮＲ１および第２ニュートラル領域ＮＲ２とは、それぞれ縦軸または横軸と重なっている。ここでいう縦軸および横軸は、モデルの設計当初において、予想により設定した軸のことである。ただし、第１ニュートラル領域ＮＲ１および第２ニュートラル領域ＮＲ２のうちの少なくとも一方が当初予定の軸からずれた位置となる場合もある。別の言い方をすると、ニュートラル領域ＮＲの決定は、結果として縦横軸（原点を通る）を決めることになると言うことができる。各ニュートラル領域ＮＲ１、ＮＲ２の中間位置が縦横軸とされてよい。

【0087】

感情推定部１３３は、ニュートラル領域ＮＲを含む心理平面を生成すると、当該心理平面を用いて感情の推定処理を実行する。感情推定部１３３は、取得部１３１により取得された生体信号に基づく情報をセンサテーブル１２１ａにおける指標変換情報を用いて指標値に変換する。本実施形態では、第１センサ３１（センサ種別：脳波センサＢＡ）と第２センサ３２（センサ種別：心拍センサＨＡ）とから得られるデータを用いて、覚醒度の指標値と、自律神経系活性度の指標値とが求められる。

【0088】

そして、感情推定部１３３は、ニュートラル領域ＮＲを含む心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情の推定を行う。本実施形態では、覚醒度を縦軸、自律神経系活性度を横軸としニュートラル領域を含む心理平面（図８参照）上に、覚醒度の指標値と自律神経系活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情の推定を行う。

【0089】

感情推定部１３３は、指標値のプロットにより得られる座標位置がニュートラル領域ＮＲである場合、ユーザＵ１の感情の種別を特定できない状態であると判定する。すなわち、感情推定部１３３は、感情不定状態であると判定する。一方、指標値のプロットにより得られる座標位置がニュートラル領域ＮＲの領域外である場合には、ユーザＵ１の感情の種別が、座標位置に対応する感情であると推定（特定）する。例えば、座標位置が、図８における第１ニュートラル領域ＮＲ１よりも上側、且つ、第２ニュートラル領域ＮＲ２よりも右側である場合（第一象限である場合）、「楽しい、喜び、怒り、悲しみ」といった感情を有すると推定（特定）する。

【0090】

なお、プロットして得られる座標の位置がどの象限にあるか、あるいはニュートラル領域にあるかは、次のような第１処理方法、あるいは第２処理方法により判定できる。

【0091】

第１処理方法は、決定した各象限およびニュートラル領域の境界に基づき座標と各領域のマップデータテーブル（縦軸・横軸を各指標値として定まる各記憶セルに各領域を示す領域種別データが記憶されたデータテーブル）を生成して記憶しておき、マップデータテーブルにおける計測（算出）された各指標値に対応する記憶セルから領域種別（各象限あるいはニュートラル領域）を読み出す方法である。

【0092】

第２処理方法は、計測（算出）された各指標値を各領域（各象限及びニュートラル領域）の境界値と比較し、その比較結果（各境界値との大小関係）の組み合わせに基づき領域種別を判定する方法である。例えば、覚醒度がニュートラル領域と第一象限の境界値（縦軸の境界値）より大きく、かつ自律神経系活性度ニュートラル領域と第一象限の境界値（横軸の境界値）より大きければ、第一象限の領域（楽しい、喜び、怒り、悲しみの感情）と判定されることになる。

【0093】

以上からわかるように、コントローラ１３（感情推定装置１０）は、生体信号に基づく指標値が、ニュートラル領域、ニュートラル領域に対して一方側の正領域、および、ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかの識別を行って感情の推定を行う。

【0094】

コントローラ１３は、指標値がニュートラル領域に属する場合に、感情不定状態であると判定する。なお、この感情不定状態であるとの判定は、例えば「感情不定状態フラグ」を立てるといった直接的判定であってよい。また、この感情不定状態であるとの判定には、先に示した直接的判定だけでなく、指標値がニュートラル領域に属する場合に以降の処理内容を変更するといった実質的な判定を行う間接的判定が含まれてもよい。

【0095】

また、コントローラ１３は、指標値を複数種求める。コントローラ１３は、複数種の指標値のそれぞれについて、上述の３つの領域（ニュートラル領域、正領域、および、負領域）のいずれに属するかを識別する。コントローラ１３は、複数種の指標値のいずれもがニュートラル領域の領域外である場合に、複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を特定する。すなわち、感情推定装置１０は、複数の生体信号に基づく複数の指標値について識別を行って感情の推定を行う。なお、本実施形態では、複数種は２種類である。ただし、３種類以上の指標値が求める構成であってよい。この場合、感情推定モデルは、２次元の平面ではなく、３次元以上の空間とされてよい。

【0096】

本実施形態のように、ニュートラル領域を設けて感情の推定を行う構成とすると、誤差要素が多く、誤判定が生じ易い傾向がある感情の推定処理において、誤った推定を行う可能性を低減することができる。また、ニュートラル領域は、ユーザＵ１ごとに作成される。そして、ニュートラル領域の位置や大きさ（幅）は、ユーザＵ１ごとに、通常は異なる。ニュートラル領域が設けられることによって、各ユーザの特性に合わせた感情の推定を行うことができ、感情の推定精度を向上させることができる。

【0097】

図３に戻って、提供部１３４は、感情推定部１３３が推定した感情の情報を、ネットワークＮを介して端末装置２０に提供する。これにより、オペレータＯ１は、提供部１３４により提供された感情の情報を閲覧する等して利用する。オペレータＯ１は、感情の情報をｅスポーツのプレーヤであるユーザＵ１に提供してもよい。

【0098】

［１－３．感情推定方法］
次に、感情推定装置１０によって実行される感情推定方法について説明する。

【0099】

なお、本実施形態の感情推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、１つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。

【0100】

図９は、第１実施形態に係る感情推定処理を示すフローチャートである。図９に示す感情推定処理は、感情推定装置１０によって実行される感情推定処理の一例である。図９に示す感情推定処理は、例えば、第１センサ３１および第２センサ３２を含む生体センサ３０からの信号を、感情推定装置１０の取得部１３１が取得開始することにより開始される。当該取得開始は、例えばユーザＵ１の指示操作等により行われてよい。なお、図９に示す処理は、ｅスポーツが開始される前に行われることが好ましい。

【0101】

ステップＳ１１では、キャリブレーション部１３２が、取得部１３１で取得した生体センサ３０の情報と、センサテーブル１２１ａとに基づいて、キャリブレーションの対象となる指標種別を特定する。本実施形態では、指標種別として、「覚醒度」および「自律神経系活性度」が特定される。指標種別が特定されると、次のステップＳ１２に処理が進められる。

【0102】

ステップＳ１２では、キャリブレーション部１３２が、感情の推定対象であるユーザＵ１について、各指標種別のニュートラル領域のキャリブレーションを実施済みであるか否かを判定する。キャリブレーションは、図９に示すフローで最初の感情推定（後述のステップＳ１８）を行う前に必ず実施される。このため、初回のステップＳ１２の処理では、キャリブレーション部１３２はキャリブレーションを未実施と判定する。２回目以降の感情推定が行われる前には、原則としてキャリブレーションは行われる必要はない。このために、２回目以降のステップＳ１２の処理では、キャリブレーション部１３２はキャリブレーションを実施済みと判定する。なお、例えば、感情推定の結果に異常が認められてキャリブレーションの再実施の指令があった場合等に、２回目以降の感情推定の前であってもキャリブレーションが行われてよい。

【0103】

キャリブレーションを実施済みとは、ユーザＵ１に所定のタスクを実行させてニュートラル領域の上限および下限が決定された状態である。感情推定対象のユーザＵ１の、ニュートラル領域の上限および下限が決定済みであるか否かは、ニュートラル領域テーブル１２１ｄ（図７参照）に含まれる情報により判定することができる。本実施形態では、感情推定対象のユーザＵ１の、「覚醒度」および「自律神経系活性度」のニュートラル領域の上限および下限が決定済みであるか否かを確認することにより、キャリブレーションが実施済みであるか否かを判定することができる。キャリブレーションを実施済みと判定された場合（ステップＳ１２でＹｅｓ）、ステップＳ１８に処理が進められる。キャリブレーションを未実施と判定された場合（ステップＳ１２でＮｏ）、ステップＳ１３に処理が進められる。

【0104】

なお、ステップＳ１２の処理は行われなくてもよい。すなわち、過去にキャリブレーションが実施されたか否かにかかわらず、ステップＳ１５の感情推定を行う前に毎回キャリブレーションが行われる構成としてもよい。また、ニュートラル領域は、例えばユーザＵ１が置かれる環境やユーザＵ１の体調等によって変動する可能性がある。このために、ｅスポーツの開始前に毎回、ニュートラル領域の上限値および下限値が決定されるように構成することが好ましい。

【0105】

また、本実施形態では、ステップＳ１１で特定された指標種別の中に、キャリブレーションを未実施の指標種別が存在すると、先に特定した全ての指標種別に対してキャリブレーションが実施される。ただし、これは例示である。すなわち、キャリブレーションを未実施のニュートラル領域の指標種別に限って、ニュートラル領域の上限値および下限値を決定する処理が行われる構成としてもよい。

【0106】

ステップＳ１３では、キャリブレーション部１３２が変数ｘを１とする。本実施形態では、変数は「１」又は「２」を取り得る。変数ｘが１である場合、ステップＳ１１で特定された２つの指標種別のうち、第１指標種別の処理を行うと判定する。また、変数ｘが２である場合、ステップＳ１１で特定された２つの指標種別のうち、第２指標種別の処理を行うと判定する。変数ｘが１とされると、次のステップＳ１４に処理が進められる。

【0107】

ステップＳ１４では、キャリブレーション部１３２は、変数が１であるために、ユーザＵ１に対して第１指標種別に対応したタスクの実行を要求する。タスクの要求は、例えば、ユーザＵ１が使用するゲーム装置４０の表示部４２に要求事項を画面表示することにより行われる。タスクの要求は、画面表示に代えて、或いは、画面表示に加えて音声案内によって行われてもよい。要求事項には、タスクの具体的内容が含まれることが好ましい。タスクの内容に関する情報は、タスクテーブル１２１ｃ（図５参照）に含まれる。本実施形態では、第１指標種別は「覚醒度」である。そして、タスクの内容は、「般若心境のなぞり書き」である。第１指標種別に対応したタスクの実行要求が行われると、次のステップＳ１５に処理が進められる。

【0108】

ステップＳ１５では、キャリブレーション部１３２が、ユーザＵ１の第１指標種別に対応したタスクの実行時に第１センサ３１から得られるセンサ信号に基づいて、ニュートラル領域の上限および下限を決定する。なお、ユーザＵ１のタスクの開始および終了は、例えば、タスクの開始時および終了時にユーザＵ１に操作部材の操作を行うことを要求し、当該操作部材の操作情報によって判定される構成としてよい。操作部材は、例えば、ゲーム装置４０の操作部４１に含まれてよい。また、別の例として、ユーザＵ１のタスクの開始および終了は、ゲーム装置４０等に配置されるユーザＵ１を撮影するカメラから得られる情報によって判定される構成としてもよい。本実施形態では、キャリブレーション部１３２は、感情推定の対象となるユーザＵ１の、覚醒度におけるニュートラル領域の上限および下限を決定する。なお、決定された上限および下限の情報は、ニュートラル領域テーブル１２１ｄ（図７参照）に保存される。ニュートラル領域の上限および下限が決定されると、次のステップＳ１６に処理が進められる。

【0109】

ステップＳ１６では、キャリブレーション部１３２が変数ｘに１を加算する処理を行う。変数ｘに対する加算処理が行われると、次のステップＳ１７に処理が進められる。

【0110】

ステップＳ１７では、キャリブレーション部１３２が、変数ｘが３以上であるか否かを判定する。変数ｘが３より小さい場合（ステップＳ１７でＮｏ）、ステップＳ１４に処理が戻され、ステップＳ１４以降の処理が繰り返される。ただし、変数ｘが２とされた後に、ステップＳ１４の処理を行う場合には、第２指標種別に関する処理が行われる。本実施形態では、第２指標種別は「自律神経系活性度」である。このために、ステップＳ１４で要求されるタスクの内容は「塗り絵」（図５参照）である。ステップＳ１５では、感情推定の対象となるユーザＵ１の、自律神経系活性度におけるニュートラル領域の上限および下限が決定され、得られた上限および下限の情報がニュートラル領域テーブル１２１ｄに保存される。一方、変数ｘが３以上である場合（ステップＳ１７でＹｅｓ）、ステップＳ１８に処理が進められる。

【0111】

なお、本実施形態では、第１指標種別、第２指標種別の順番でニュートラル領域の上限および下限が決定される構成とした。ただしこれは例示であい、第２指標種別、第１指標種別の順番でニュートラル領域の上限および下限が決定されてもよい。

【0112】

また、本実施形態では、第１指標種別と第２指標種別とで、ニュートラル領域の上限および下限を決定するためにユーザＵ１に実行させるタスクが異なる構成とした。しかし、上述のように、当該タスクは、第１指標種別と第２指標種別とで同じとされてもよい。例えば、第１指標種別が覚醒度で、第２指標種別が自律神経系活性度である場合、「般若心境のなぞり書き」および「塗り絵」のそれぞれは、ニュートラル領域の上限および下限を決定するためにユーザＵ１に行わせる共通のタスクとなり得る。このような共通のタスクと出来るタスクが存在する場合には、タスク要求処理を１回として、１回のタスクで得られた各指標種別における指標値の時間変化情報を用いて、各指標種別のニュートラル領域の上限および下限が決定されてよい。

【0113】

また、以上で説明したステップＳ１１～ステップＳ１７の一連の処理は、本発明のキャリブレーション方法の実施形態である。

【0114】

ステップＳ１８では、感情推定部１３３が、予め記憶される心理平面を、先のキャリブレーション処理で得た指標種別ごとのニュートラル領域情報（上限および下限）によって加工する。そして、感情推定部１３３は、ニュートラル領域を含む心理平面を用いて感情の推定処理を行う。本実施形態では、例えば図８に示す心理平面を用いて感情の推定が行われる。上述のように、感情不定状態と判定されて感情の種別が特定されない場合と、感情の種別が具体的に特定される場合とがある。心理平面を用いた感情の推定処理が行われると、次のステップＳ１９に処理が進められる。

【0115】

ステップＳ１９では、提供部１３４が感情の推定結果を外部に提供する。提供部１３４は、例えば、端末装置２０に感情の推定結果を提供する。端末装置２０の表示画面には、感情の推定結果が適宜表示されてよい。また、端末装置２０のオペレータＯ１は、感情の推定結果を利用した処理を適宜実施してよい。また、端末装置２０に提供された感情の推定処理の結果は、端末装置２０から自動的に、或いは、端末装置２０のオペレータＯ１の操作によって、ゲーム装置４０に出力されてよい。そして、ゲーム装置４０に出力された感情の推定結果は、例えば、表示部４２に表示されてよい。

【0116】

図１０Ａおよび図１０Ｂは、感情の推定結果が表示された画面を例示する図である。図１０Ａおよび図１０Ｂに示す例では、画面上（詳細には画面右側）に、感情の推定結果を簡単に認識することを可能とする感情マップが示される。感情マップは、一例として、心理平面に計測結果（座標位置）をプロットしたグラフを含むグラフィック情報である。また、図１０Ａおよび図１０Ｂに示す例では、画面上に、感情の推定結果を文字列で示す領域が設けられている。詳細には、感情の推定結果を文字列で示す領域は、一例として感情マップの左側に設けられる。

【0117】

図１０Ａは、２つの指標値で特定された座標位置がニュートラル領域外であった場合の結果を示す図である。この場合、感情の種別を特定できるために、感情の種別の特定結果が示される。図１０Ａに示す例では、計測により得られた座標位置は感情マップの第一象限に位置し、「楽しみ、喜び、怒り、悲しみ」の感情を有すると推定されている。

【0118】

また、図１０Ｂは、２つの指標値で特定された座標位置がニュートラル領域上であった場合の結果を示す図である。この場合、感情不定状態で感情の種別を特定できないために、その旨が文字列により表示される。なお、図１０Ｂに示す例では、自律神経系活性度（横軸）についてのみ注目すると、プロットされた位置はニュートラル領域外である。このために、例えば、「自律神経系活性度」に関する判定により「弱い感情」の状態と推定されますといった表示を行ってもよい。

【0119】

図９に戻って、提供部１３４による感情の推定結果の外部への提供（ステップＳ１９の処理）が完了すると、ステップＳ２０に処理が進められる。ステップＳ２０では、コントローラ１３は処理を終了するか否かを判定する。コントローラ１３が処理を終了すると判定する場合の例として、コントローラ１３がユーザＵ１又はオペレータＯ１の指示によって感情推定を終了するとの指示を受けている場合が挙げられる。また、コントローラ１３が処理を終了すると判定する場合の別の例として、感情推定システム１を構成する感情推定装置１０又は生体センサ３０に異常が生じている場合が挙げられる。処理を終了すると判定された場合、図９に示す処理が終了される。一方、処理を終了しないと判定された場合には、ステップＳ１１に処理が戻され、ステップＳ１１以降の処理が繰り返される。

【0120】

［１－４．変形例］
次に、第１実施形態の変形例について説明する。

【0121】

（１－４－１．第１変形例）
以上では、キャリブレーション時にユーザＵ１に行わせるタスクは、指標種別ごとに準備される構成とした。これに加えて、ユーザ毎に別々にタスクが準備される構成としてもよい。

【0122】

図１１は、第１変形例のタスクテーブル１２１ｃＡを示す図である。第１変形例に係るタスクテーブル１２１ｃＡの項目には、上述の第１実施形態のタスクテーブル１２１ｃ（図５参照）と同様に、「タスクＩＤ」、「センサ種別」、「対応指標種別」、および、「タスク内容」を含む。ただし、第１変形例に係るタスクテーブル１２１ｃＡの項目には「ユーザＩＤ」が含まれる。この点が、上述の第１実施形態の構成と異なる。項目「ユーザＩＤ」は、タスクテーブル１２１ｃＡにおけるユーザ情報を識別するための識別情報であるユーザＩＤデータを記憶する。

【0123】

本変形例では、キャリブレーション部１３２は、タスクテーブル１２１ｃＡを参照してユーザＵ１に実行させるタスクを選択する際に、ユーザＩＤに基づき、感情推定の対象となっているユーザＵ１に対応したタスクを選択する。ユーザＵ１に対応したタスクは、例えば、予めユーザ毎に実験を行って決められる。

【0124】

図１１に示す例では、ユーザＩＤが「ＵＳ０１」であるユーザは、生体信号に基づく指標が「覚醒度」および「自律神経系活性度」である場合には、キャリブレーション時に要求されるタスクは「般若心境のなぞり書き」である。また、ユーザＩＤが「ＵＳ０２」であるユーザは、生体信号に基づく指標が「覚醒度」および「自律神経系活性度」である場合には、キャリブレーション時に要求されるタスクは「塗り絵」である。

【0125】

以上からわかるように、ニュートラル領域の上限と下限とを同時に推定可能とするタスクは、ユーザ毎に別々に設定されてよい。タスクに対する生理反応には、個人差がある。このために、本変形例のようにタスクをユーザ毎に別々に設定することにより、より適切なキャリブレーションを行うことができる。

【0126】

（１－４－２．第２変形例）
以上では、キャリブレーション時にユーザＵ１に行わせるタスクは、指標種別ごとに１回である構成とした。ただし、これは例示である。第２変形例では、ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザＵ１に複数回行わせ、複数回のタスクの各実行結果に基づきニュートラル領域の調整（上限と下限に決定）が行われる。

【0127】

タスクの実行時に得られる生体反応は、実施環境の影響を受けることがある。このために、一回のタスクの実行結果のみに基づいてニュートラル領域の上限および下限を決定すると、ニュートラル領域を正しく設定できないことが起こり得る。ユーザＵ１にタスクを複数回実行させて、複数回の実行結果に基づいてニュートラル領域の上限および下限を設定することにより、実施環境の影響を抑制することができ、キャリブレーションの信頼性を向上することができる。

【0128】

図１２は、第２変形例に係る感情推定処理を例示するフローチャートである。なお、図１２に示す処理は、上述の図９に示す第１実施形態に係る感情推定処理と似た処理である。このために、図９に示す構成と異なる部分を中心に説明する。図９に示す構成と重複する内容については、特に説明の必要がない場合には適宜説明を省略する。

【0129】

第２変形例に係る感情推定処理は、タスクを複数回行わせる点が異なる。この点に鑑み、図９に示す処理に対して、ステップＳ２１～ステップＳ２４の各処理が適所に追加されている。また、図１２に示す処理では、第１指標種別の場合と、第２指標種別の場合とで、キャリブレーションのために行わせるタスクが共通（同じ）であることを想定する。このために、図９におけるステップＳ１３、ステップＳ１６、および、ステップＳ１７は行われない。

【0130】

ステップＳ１１では、キャリブレーションの対象となる指標種別（「覚醒度」および「自律神経系活性度」）が特定され、ステップＳ１２に処理が進められる。

【0131】

ステップＳ１２では、キャリブレーションを実施済みか否かが判定され、実施済みの場合（ステップＳ１２でＹｅｓ）、ステップＳ１８に処理が進められる。一方、キャリブレーションを未実施の場合（ステップＳ１２でＮｏ）、ステップＳ２１に処理が進められる。

【0132】

ステップＳ２１では、キャリブレーション部１３２がタスクの実行回数を示す変数Ｚを０に設定する。変数Ｚが０に設定されると、ステップＳ１４に処理が進められる。

【0133】

ステップＳ１４では、ユーザＵ１は、第１指標種別（「覚醒度」）と第２指標種別（「自律神経系活性度」）とに共通のタスクを行うことを要求される。例えば、タスクテーブル１２１ｃＡ（図１１参照）に基づいて、要求タスクとして「般若心境のなぞり書き」が選択される。タスクの実行要求が行われると、次のステップＳ１５に処理が進められる。

【0134】

ステップＳ１５では、ユーザＵ１のタスク（「般若心境のなぞり書き」）の実行により得られる第１指標種別（「覚醒度」）の指標値の時間変化データに基づいて、第１ニュートラル領域の上限および下限が算出される。また、ユーザＵ１のタスク（「般若心境のなぞり書き」）の実行により得られる第２指標種別（「自律神経系活性度」）の指標値の時間変化データに基づいて、第２ニュートラル領域の上限および下限が算出される。算出されたデータは、記憶部１２に適宜記憶される。なお、ステップＳ１５で算出される第１ニュートラル領域および第２ニュートラル領域の各上限および下限は、最終的な決定値ではない。この点、上述の実施形態（図９参照）の構成と異なる。第１ニュートラル領域および第２ニュートラル領域の各上限および下限が算出されると、ステップＳ２２に処理が進められる。

【0135】

ステップＳ２２では、キャリブレーション部１３２が変数Ｚに１を加算する処理を行う。変数Ｚに対する加算処理が行われると、次のステップＳ２３に処理が進められる。

【0136】

ステップＳ２３では、キャリブレーション部１３２が、変数Ｚが予め設定された規定数以上であるか否かを判定する。規定数は、タスクを繰り返す回数であり、実験結果等に応じて予め決められた値である。規定数は、例えば５回等であってよい。変数Ｚが規定数以上である場合（ステップＳ２３でＹｅｓ）、ステップＳ２４に処理が進められる。変数Ｚが規定数よりも小さい場合（ステップＳ２３でＮｏ）、ステップＳ１４に処理が戻され、ステップＳ１４以降の処理が繰り返される。

【0137】

ステップＳ２４では、キャリブレーション部１３２が、各回のステップＳ１５で算出したニュートラル領域に関わる情報を統計処理して、ニュートラル領域の調整を行う。別の言い方をすると、複数回のタスクの実行結果を統計処理してニュートラル領域の調整が行われる。詳細には、規定回数分の第１ニュートラル領域の上限データを統計処理して、第１ニュートラル領域の上限を最終決定する。統計処理は、例えば平均値又は中央値を求める処理である。同様に、規定回数分の第１ニュートラル領域の下限データを統計処理して、第１ニュートラル領域の下限を最終決定する。また、規定回数分の第２ニュートラル領域の上限データを統計処理して、第２ニュートラル領域の上限を最終決定する。規定回数分の第２ニュートラル領域の下限データを統計処理して、第２ニュートラル領域の下限を最終決定する。全てのニュートラル領域の上限および下限の最終決定が行われると、ステップＳ１８に処理が進められる。

【0138】

なお、複数回分のデータの統計処理を行うに際しては、過去のニュートラル領域の調整処理（キャリブレーション）で取得された情報に基づき外れ値が抽出された場合には、当該外れ値を除去して統計処理が行われることが好ましい。このような構成とすると、計測結果の信頼性が低いデータを除去してキャリブレーションを行うことができ、キャリブレーションの信頼性を向上することができる。

【0139】

外れ値は、例えば、キャリブレーションの実行ごとに蓄積した過去のデータから求まる標準偏差（分散でもよい）を利用して、次のように抽出することができる。ここでは、統計処理（平均等）でニュートラル領域の上限を決定する場合を想定して説明する。なお、ニュートラル領域の下限を決定する場合についても、ここで説明するのと同様の処理を利用することができる。

【0140】

統計処理に利用予定の複数の上限値データを用いて平均値を求める。そして、各上限値と平均値とのずれを算出する。一方で、過去に得られた複数の上限値データを用いては標準偏差を算出する。統計処理に利用予定の複数の上限値のうち、平均値からのずれが過去データから求めた標準偏差（あるいは標準偏差の予め定めた係数倍）よりも大きい値について、外れ値として抽出する。外れ値は、必ず抽出されるわけではない。

【0141】

ステップＳ１８では、ニュートラル領域を含む心理平面を用いた感情の推定が行われ、その後、ステップＳ１９に処理が進められる。

【0142】

ステップＳ１９では、感情の推定結果を外部への提供が行われ、その後、ステップＳ２０に処理が進められる。

【0143】

ステップＳ２０では、処理を終了するか否かが判定され、処理を終了する場合（ステップＳ２０でＹｅｓ）、図１２に示す処理が終了される。一方、処理を終了しない場合（ステップＳ２０でＮｏ）、ステップＳ１１に処理が戻され、ステップＳ１１以降の処理が繰り返される。

【0144】

（１－４－３．第３変形例）
図１３は、第３変形例に係る感情推定処理を例示するフローチャートである。なお、図１３に示す処理は、上述の図９に示す第１実施形態に係る感情推定処理と概ね同様である。このために、以下、図９に示す構成と異なる部分を中心に説明する。また、図１３においては、主に図９と異なる部分が示されており、図９と同じ部分については省略されている。図９に示す構成と重複する内容については、特に説明の必要がない場合には適宜説明を省略する。

【0145】

第３変形例に係る感情推定処理においては、感情推定（ステップＳ１８）の後に、感情の推定結果に異常があるか否かを判定するステップＳ２５の処理が追加される。この点が、図９に示す構成と異なる。また、当該ステップＳ２５の追加に合わせて、ステップＳ２６が追加されている点も異なる。

【0146】

ステップＳ２５では、キャリブレーション部１３２は、感情の推定結果に異常があるか否かを確認する。通常、人の感情は、常に同じではなく、時間の経過とともに色々な感情状態に変化する。この点に鑑みて、本例における異常は、複数回の感情の推定結果に明らかな偏りがある場合に検出される。感情に明らかな偏りがある否かは、例えば、感情推定部１３３により検出される感情が一定時間以上同じ感情であるか否かで判定されてよい。一定時間以上同じ感情である場合、異常と判定され、一定時間以上同じ感情でない場合、正常と判定される。「一定時間」は、実験等により適宜決められればよい。

【0147】

推定結果が正常と判定された場合（ステップＳ２５でＮｏ）、ステップＳ１９に処理が進められる。ステップＳ１９以降の処理は、既に説明済みのために説明は省略する。推定結果が異常と判定された場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に処理が進められる。ステップＳ２６では、キャリブレーション部１３２が、ニュートラル領域の再調整（キャリブレーション）を要求する通知を行う。当該通知は、再度キャリブレーションを行う必要があることが伝わる通知であれば、いかなる通知であってもよい。通知は、例えば、音声による通知、画面による通知、光による通知、或いは、振動による通知等であってよい。

【0148】

ここで、画面による通知の一例を示す。図１４は、感情の推定結果に異常を検出した場合における画面通知の一例を示す模式図である。画面は、例えば端末装置２０の画面、或いは、ゲーム装置４０の表示部４２の画面である。図１４においては、画面中に、注意事項として、「キャリブレーションの実施」を要求する文字が表示されている。

【0149】

ステップＳ２６の通知が行われると、ステップＳ２０に処理が進められる。ステップＳ２０以降の処理は、既に説明済みのために説明は省略する。なお、通知を行った場合には、図１３に示す処理を、一旦終了すると自動的に判定されてもよい。また通知を行った場合には、キャリブレーションを行うための処理が自動的に開始されてもよい。

【0150】

以上からわかるように、第３変形例では、ニュートラル領域の調整後における異常を検出して、異常の検出に伴うニュートラル領域の再調整を要求する通知が行われる。このような構成とすることで、例えば、生体状態又は機械の異変、或いは、キャリブレーション時の調整エラー等に素早く対応して、誤った感情の推定が行われることを抑制できる。

【0151】

＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の説明にあたって、第１実施形態と同様の構成要素については、基本的に同様の符号を付し、特に説明の必要がない場合には説明を省略する。

【0152】

［２－１．感情推定システム］
第２実施形態の感情推定システムは、第１実施形態の感情推定システム１と同様の構成である。このために、第２実施形態の感情推定システムの詳細な説明は省略する。

【0153】

［２－２．感情推定装置］
第２実施形態の感情推定装置のハードウェア構成は、第１実施形態の感情推定装置１０と同様である。また、第２実施形態の感情推定装置が備えるコントローラが有する機能は、第１実施形態の感情推定装置１０が備えるコントローラ１３の機能と概ね同様である。ただし、キャリブレーション部１３２の詳細な機能に違いを有する。以下、この異なる点に絞って説明する。

【0154】

第２実施形態においても、第１実施形態と同様に、キャリブレーション部１３２は、ニュートラル領域を、ニュートラル領域の上限と下限とを同時に推定可能とするタスクをユーザＵ１に実行させて調整する。このために、ニュートラル領域を調整するキャリブレーションに要する時間を短縮することができる。ただし、第１実施形態では、タスクは単一種類のタスクであったが、第２実施形態では、タスクは、同時に実行される複数種類のタスクを含む。タスクを複数種類の組合せとすることで、各個人に実行させるタスクの選択肢を増やすことができ、ユーザＵ１に適したタスクを実行させ易くすることができる。なお、同時に実行される複数種類のタスクは、同時実行可能なタスク、つまり互いにそのタスクの動作が干渉しない（タスクを実行すると、その動作により他方のタスクが実行できない）タスクである必要がある。例えば、起立するタスクと仰向けとなるタスクとは同時実行が不可能なタスクとなる。

【0155】

なお、同時に実行される複数種類のタスクは、物理的に組合せ可能なタスクである。複数種類のタスクのそれぞれは、例えば、医学的エビデンスや、医学界において経験的に知られる情報等に応じて決められるタスクである。同時に実行される複数種類のタスクの数は、例えば２つであるが、２つ以外の複数であってもよい。

【0156】

図１５は、第２実施形態においてユーザＵ１に実行させるタスクについて説明するための図である。図１５に示すグラフの横軸は時間、縦軸は生理反応（指標）である。図１５において、矢印ＮＲで示される領域（縦軸方向の一部の領域）は、ニュートラル領域に該当する。また、符号Ｌ１はニュートラル領域ＮＲの上限であり、符号Ｌ２はニュートラル領域ＮＲの下限である。図１５を参照して、同時に実行される複数種類のタスクについて、更に詳細に説明する。

【0157】

同時に実行される複数種類のタスクには、ニュートラル領域ＮＲの上限Ｌ１を超える指標値を生じさせる第１タスクと、ニュートラル領域ＮＲの下限を下回る指標値を生じさせる第２タスクと、が含まれる。別の言い方をすると、第１タスクは、ニュートラル領域ＮＲの上方（仮想枠ＶＦ１）で振れる指標値を生じさせるタスクである。第１タスクは、生理反応を大とするタスクである。第２タスクは、ニュートラル領域ＮＲの下方（仮想枠ＶＦ２）で振れる指標値を生じさせるタスクである。第２タスクは、生理反応を小とするタスクである。なお、ニュートラル領域ＮＲの上方は、正領域に相当する。ニュートラル領域ＮＲの下方は、負領域に相当する。また、本実施形態では、第１タスクおよび第２タスクは、例えば医学的エビデンスに基づいてニュートラル領域ＮＲの上方や下方に指標値を生じさせることが既知のタスクである。

【0158】

第１タスクと第２タスクとの同時実行により、各タスクの実行により得られる指標値が合算されて、ニュートラル領域ＮＲで指標値が振れるグラフＧ（図１５参照）を得ることができる。このグラフＧを利用することによって、ニュートラル領域の上限と下限とを推定することができる。

【0159】

なお、指標値の時間変化データであるグラフＧを利用して、ニュートラル領域ＮＲの上限Ｌ１および下限Ｌ２を決定する手法は、第１実施形態と同様である。キャリブレーション部１３２は、複数種類のタスクの同時実行時に得られる指標値の時間変化データ（グラフＧ）をスムージング処理し、スムージング処理後のデータの最大値をニュートラル領域ＮＲの上限Ｌ１とする。また、キャリブレーション部１３２は、前述のスムージング処理後のデータの最小値をニュートラル領域ＮＲの下限Ｌ２とする。

【0160】

本実施形態でも、タスクの情報は、テーブル化されて記憶部１２に記憶されている。キャリブレーション部１３２（コントローラ１３）は、記憶部１２に記憶されたタスク情報に応じて、キャリブレーションのためのタスクをユーザＵ１に要求する。なお、上述のようにタスクの構成が第１実施形態と異なるために、第２実施形態のタスクテーブルは、第１実施形態のタスクテーブル１２１ｃとは異なる。

【0161】

図１６は、第２実施形態のタスクテーブル１２１ｃＢの一例を示す図である。図１６に示すように、タスクテーブル１２１ｃＢの項目には、「タスクＩＤ」、「センサ種別」、「対応指標種別」、および、「タスク内容」が含まれる。この点は、第１実施形態と同様である。ただし、第２実施形態では、タスクテーブル１２１ｃＢの項目に、「タスク種別」がさらに含まれる。

【0162】

タスクテーブル１２１ｃＢの項目「タスク種別」は、第１タスクと第２タスクとのいずれであるかを記憶する。図１６に示すように、指標種別ごとに第１タスクと第２タスクとが存在する。例えば、指標種別が覚醒度である場合、覚醒度を大きくするタスクは第１タスクであり、覚醒度を小さくするタスクは第２タスクである。また、例えば指標種別が自律神経系活性度である場合、交感神経を活性とするタスクは第１タスクであり、副交感神経を活性とする（すなわち、交感神経を不活性とする）タスクは第２タスクである。

【0163】

また、図１６に示すように、指標種別により、第１タスクおよび第２タスクのタスク内容は異なる。また、同じ指標種別においても、タスク内容が異なる複数種類の第１タスクおよび、複数種類の第２タスクが存在する。

【0164】

例えば指標種別が覚醒度である場合の第１タスクには、「表示される数字を暗算加算」、「過去の記憶を思い出す」、「圧痛を与える」、および、「照明を明るくする」が含まれる。「表示される数字を暗算加算」を要求されたユーザＵ１は、例えば画面等に次々表示される所定数の足し算問題を暗算で実行する。「過去の記憶を思い出す」を要求されたユーザＵ１は、例えば画面等に表示される複数の問題にしたがって過去の記憶を思い出す行為を実行する。「圧痛を与える」を要求されたユーザＵ１は、自身の身体の所定部位（例えば腕）に圧痛を与えれた状態を所定時間（３分等）続けることを実行する。「照明を明るくする」を要求されたユーザＵ１は、照明を明るくした部屋に所定時間（３分等）滞在することを実行する。

【0165】

また、例えば指標種別が覚醒度である場合の第２タスクには、「安静にして拳を握る」、「閉眼安静」、および、「照明を暗くする」が含まれる。「安静にして拳を握る」を要求されたユーザＵ１は、拳を握った状態で所定時間（３分等）安静にすることを実行する。「閉眼安静」を要求されたユーザＵ１は、目を閉じた状態で所定時間（３分等）安静にすることを実行する。「照明を暗くする」を要求されたユーザＵ１は、照明を暗くした部屋に所定時間（３分等）滞在することを実行する。

【0166】

また、例えば指標種別が自律神経系活性度である場合の第１タスクには、「起立動作」、「寒い部屋に入る」、「冷たいタオルを当てる」、および、「いきむ」が含まれる。「起立動作」を要求されたユーザＵ１は、例えば所定時間（３分等）開眼仰臥位で安静とし、その後、上半身を起こして開眼長座位で所定時間（３分等）安静とすることを実行する。「寒い部屋に入る」を要求されたユーザＵ１は、室温を所定温度（５℃等）以下とされた部屋に所定時間（３分等）滞在することを実行する。「冷たいタオルを当てる」を要求されたユーザＵ１は、自身の身体の所定部位（例えば腕）に冷やしたタオルを当てる行為を実行する。「いきむ」を要求されたユーザＵ１は、いきむ行為を所定回数（５回等）実行する。

【0167】

また、例えば指標種別が自律神経系活性度である場合の第２タスクには、「アシュネル反応」、「暑い部屋に入る」、および、「熱いタオルを当てる」が含まれる。「アシュネル反応」を要求されたユーザＵ１は、閉眼安静状態にして、片目の瞼を人差し指および中指の腹で静かに所定時間（３分等）押すことを実行する。なお、片目の瞼を人差し指等の腹で静かに押すことに替えて、アイマスクの着用が行われることとしてもよい。「暑い部屋に入る」を要求されたユーザＵ１は、室温を所定温度（３０℃等）以上とされた部屋に所定時間（３分等）滞在することを実行する。「熱いタオルを当てる」を要求されたユーザＵ１は、自身の身体の所定部位（例えば腕）に熱いタオルを当てる行為を実行する。

【0168】

ところで、本実施形態では、ニュートラル領域のキャリブレーションのためにユーザＵ１に要求されるタスクは、同時に実行される複数種類のタスクである。以上に示したタスクテーブル１２１ｃＢを参照しただけでは、キャリブレーション部１３２（コントローラ１３）は、複数種類のタスクの組合せを特定できず、ユーザＵ１に対してタスクの要求を行うことができない。このために、本実施形態では、ユーザＵ１に同時実行させるタスクの組合せを示す組合せテーブル１２１ｅが記憶部１２に記憶されている。

【0169】

図１７は、組合せテーブル１２１ｅの一例を示す図である。図１７に示すように、組合せテーブル１２１ｅの項目には、「組合せタスクＩＤ」、「センサ種別」、「対応指標種別」、「タスク種別」、および、「タスクＩＤ」が含まれる。項目「センサ種別」、「対応指標種別」、「タスク種別」、および、「タスクＩＤ」については、上述の通りである。項目「組合せタスクＩＤ」は、組合せテーブル１２１ｅにおけるデータレコードを識別するための識別情報である組合せタスクＩＤデータを記憶する。組合せタスクＩＤデータは、同時実行されるタスクの組合せ情報を識別するための識別情報である。組合せテーブル１２１ｅでは、組合せタスクＩＤデータごとにデータレコードが構成され、当該データレコードに組合せタスクＩＤデータに紐づいた各項目のデータが記憶される。

【0170】

組合せテーブル１２１ｅにおける、同時実行されるタスクの組合せは、タスクテーブル１２１ｃＢ（図１６参照）に含まれるタスクの範囲で、予め人や機械によって決められる。組合せは、指標種別が同じであるタスクＩＤ同士であること、第１タスクと第２タスクとを含むこと、および、物理的に組合せが可能なタスク同士であることを条件として決められる。

【0171】

キャリブレーション部１３２は、組合せタスクＩＤにより、ユーザＵ１に同時実行させるタスクを選択する。例えば、指標種別が「覚醒度」である場合には、キャリブレーション部１３２は、組合せタスクＩＤとして「ＫＴ０１」を選択する。すなわち、キャリブレーション部１３２は、ユーザＵ１に「表示される数字を暗算加算」（タスクＩＤ：ＣＴ０１）と、「照明を暗くする」（タスクＩＤ：ＣＴ１３）とを同時実行させる。また、例えば、指標種別が「自律神経性活性度」である場合には、キャリブレーション部１３２は、組合せタスクＩＤとして「ＫＴ１２」を選択する。すなわち、キャリブレーション部１３２は、ユーザＵ１に「寒い部屋に入る」（タスクＩＤ：ＣＴ２２）と、「アシュネル反応」（タスクＩＤ：ＣＴ３１）とを同時実行させる。

【0172】

なお、図１７に示す例では、同じ指標種別において、複数の組合せＩＤの選択が可能である。例えば、指標種別が「覚醒度」である場合に、組合せタスクＩＤとして、「ＫＴ０１」と「ＫＴ０２」とを選択可能である。複数の選択肢がある場合には、予め優先度を決めておき、環境に応じて実施可能なものの中から優先度が高いものが選択される構成としてよい。実施可能なタスクであるか否かは、キャリブレーションの前に人が判断してもよいし、環境条件を測定可能なセンサを準備し、センサ情報に基づき装置が判定する構成としてもよい。また、別の例として、予め各個人に適した組合せタスクＩＤを決めておき、ユーザＩＤに応じて組合せタスクＩＤが決められる構成としてもよい。

【0173】

［２－３．感情推定方法］
第２実施形態の感情推定方法は、第１実施形態の感情推定方法（例えば図９等）と同様であってよい。ただし、図９を例に説明すると、ステップＳ１４においてキャリブレーション部１３２がユーザＵ１に要求するタスクの種類が、第１実施形態の場合と異なる。

【0174】

また、本実施形態でも、第１実施形態と同様に、ニュートラル領域のキャリブレーションのためにユーザＵ１に実行させるタスクは、ユーザ毎に別々のタスクが準備されてよい。また、同時実行されるタスクを複数回行わせて、複数回の結果を統計処理してニュートラル領域の調整（キャリブレーション）が行われる構成としてもよい。また、同時実行されるタスクごとに、実施環境の影響を受ける度合いが異なるために、組合せが異なる複数種類のタスクを実行する構成としてよい。この場合、複数種類のタスクの実行により得られた複数のデータを統計処理（平均等）してニュートラル領域の上限および下限を決定してよい。統計処理の際に外れ値を除外する構成としてよい。また、本実施形態でも、ニュートラル領域を利用して推定した感情に明らかな偏りが生じている場合には、生体状態の異常や、ニュートラル領域のキャリブレーションのやり直しを通知する構成としてよい。

【0175】

＜３．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

【符号の説明】

【0176】

１・・・感情推定システム
１０・・・感情推定装置
１３・・・コントローラ
３０・・・生体センサ
Ｌ１・・・上限
Ｌ２・・・下限
ＮＲ・・・ニュートラル領域
ＮＲ１・・・第１ニュートラル領域
ＮＲ２・・・第２ニュートラル領域

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】