IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通テン株式会社の特許一覧

特開2024-21933推定装置、推定システム、および、推定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024021933
(43)【公開日】2024-02-16
(54)【発明の名称】推定装置、推定システム、および、推定方法
(51)【国際特許分類】
   A61B 5/16 20060101AFI20240208BHJP
   G16H 50/30 20180101ALI20240208BHJP
【FI】
A61B5/16
G16H50/30
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022125145
(22)【出願日】2022-08-05
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】加藤 徹洋
(72)【発明者】
【氏名】村下 君孝
【テーマコード(参考)】
4C038
5L099
【Fターム(参考)】
4C038PP03
4C038PQ03
4C038PR01
4C038PR04
4C038PS00
4C038PS03
5L099AA15
(57)【要約】
【課題】誤差要素が多く、誤判定が起こり易い感情推定において、誤判定を抑制することができる技術を提供する。
【解決手段】例示的な推定装置は、感情を推定する推定装置であって、コントローラを備える。前記コントローラは、生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別する。前記コントローラは、前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する。
【選択図】図10
【特許請求の範囲】
【請求項1】
感情を推定する推定装置であって、
コントローラを備え、
前記コントローラは、
生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別し、
前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する、推定装置。
【請求項2】
前記コントローラは、
前記指標値を複数種求め、
前記複数種の指標値のそれぞれについて前記3つの領域のいずれに属するかを識別し、
前記複数種の指標値のいずれもが前記ニュートラル領域の領域外である場合に、前記複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を特定する、請求項1に記載の推定装置。
【請求項3】
前記コントローラは、
互いを比較した場合に、タスクの実行時に得られる前記指標値が大きくなるとされる第1タスクと、小さくなるとされる第2タスクとを、感情の推定が行われるユーザに実行させ、
前記第1タスクおよび前記第2タスクの実行により得られる前記指標値に基づき前記ニュートラル領域を決定する、請求項1に記載の推定装置。
【請求項4】
前記コントローラは、
前記第1タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記正領域との境界を定め、
前記第2タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記負領域との境界を定める、請求項3に記載の推定装置。
【請求項5】
前記コントローラは、
前記第2タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記正領域との境界を定め、
前記第1タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記負領域との境界を定める、請求項3に記載の推定装置。
【請求項6】
前記コントローラは、
前記指標値の時系列データを蓄積し、
前記時系列データの統計処理結果に基づき前記ニュートラル領域を決定する、請求項1に記載の推定装置。
【請求項7】
前記コントローラは、感情の推定結果の使用目的に応じて、前記ニュートラル領域の調整を行う、請求項1に記載の推定装置。
【請求項8】
前記コントローラは、前記感情推定モデルを用いた前記感情の推定に際して、前記生体信号とは異なる情報から推定される感情の推定結果を加味する、請求項2に記載の推定装置。
【請求項9】
感情を推定する推定装置と、生体信号を計測する生体センサとを有する推定システムであって、
前記推定装置は、
前記生体センサが計測した生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別し、
前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定し、
前記指標値が前記正領域または前記負領域に属する場合に、前記指標値に属する領域に対応する感情を推定結果とする、推定システム。
【請求項10】
生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別し、
前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する、
処理を装置が実行する、推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感情の推定を行う技術に関する。
【背景技術】
【0002】
従来、カメラや心拍計等のセンサにより取得した物理量に基づいて、人の感情を推定し、推定した感情を提示する装置が知られる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-73107号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、人の感情は複雑であり、その分類は容易ではない。例えば、人の感情を推し測ることを可能とする指標の一例である覚醒度について説明する。覚醒度は、脳波等の生体信号から得られる指標値によって、覚醒状態と非覚醒状態とに明確に分けられるわけではなく、あいまいな状態を含む。すなわち、感情の推定は、誤差要素が多く、誤判定が起こり易い傾向がある。
【0005】
本発明は、上記の点に鑑み、誤差要素が多く、誤判定が起こり易い感情推定において、誤判定を抑制することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
例示的な本発明の推定装置は、感情を推定する推定装置であって、コントローラを備える。前記コントローラは、生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別する。前記コントローラは、前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する。
【発明の効果】
【0007】
例示的な本発明によれば、誤差要素が多く、誤判定が大きくなり易い感情推定において、誤判定を抑制することができる。
【図面の簡単な説明】
【0008】
図1】推定システムの構成例を示す図
図2】感情推定モデル(心理平面)の一例を示す図
図3】第1実施形態の推定装置の構成例を示す図
図4A】センサテーブルの一例を示す図
図4B】心理平面テーブルの一例を示す図
図5】特殊タスクテーブルの一例を示す図
図6】第1タスクおよび第2タスクの実行時における生理反応の指標値の時間変化を模式的に示した図
図7】生理反応の時間変化を模試的に示す図
図8】ニュートラル領域の推定された上限値の時間変化を示す模式図
図9】ニュートラル領域テーブルの一例を示す図
図10】ニュートラル領域を含む心理平面の一例を示す図
図11】第1実施形態の推定装置によって実行される推定処理の前段部の一例を示すフローチャート
図12】第1実施形態の推定装置によって実行される推定処理の後段部の一例を示すフローチャート
図13A】感情の推定結果が表示された画面を例示する図
図13B】感情の推定結果が表示された画面を例示する図
図14】第1実施形態の推定装置によって実行される推定処理の前段部の他の例を示すフローチャート
図15】第1実施形態の推定システムの変形例の概略の構成を示す図
図16】第2実施形態の推定装置の構成例を示す図
図17】適性推定用のタスクテーブルの一例を示す図
図18】第2実施形態の推定装置によって実行される適性推定処理の一例を示すフローチャート
図19】第2実施形態の推定装置によって実行される適性推定処理の変形例を示すフローチャート
図20】適性レベルテーブルの一例を示す図
図21】ユーザが感情推定に不適であることを報知する画面例
図22】感情の推定結果を画面に仮表示する例を示す図
図23】第2実施形態の推定装置によって実行される適性推定処理の他の変形例を示すフローチャート
【発明を実施するための形態】
【0009】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【0010】
<1.第1実施形態>
[1-1.推定システム]
図1は、本発明の第1実施形態に係る推定システム1の構成例を示す図である。本実施形態において、ユーザU1は、eスポーツのプレーヤである。ユーザU1は、感情の推定が行われる者である。すなわち、推定システム1は、eスポーツのプレーヤU1の感情を推定するシステムとして構成されている。
【0011】
なお、図1には、ユーザU1が一人のみ示されているが、ユーザU1は複数であってもよい。また、ユーザU1は、eスポーツのプレーヤ以外であってもよい。例えば、ユーザU1は、医療機関における患者、教育機関における生徒、車両のドライバ、映像や音楽といったコンテンツの視聴者等であってもよい。
【0012】
図1に示すように、推定システム1は、サーバ10と、端末装置20と、生体センサ30と、ゲーム装置40とを備える。サーバ10と端末装置20とは、ネットワークNを介して接続される。ネットワークNは、例えばインターネットまたはイントラネットである。端末装置20と、生体センサ30およびゲーム装置40とは、有線または無線により通信可能に設けられる。端末装置20と、生体センサ30およびゲーム装置40とは、例えば、Wi-Fi(登録商標)やBluetooth(登録商標)等の通信規格にしたがって接続される。
【0013】
サーバ10は、物理サーバであっても、仮想サーバであってもよい。本実施形態では、サーバ10は、感情を推定する推定装置を構成する。すなわち、推定システム1は、推定装置10を備える。以下、サーバ10のことを推定装置10と表現する。推定装置10の詳細については後述する。なお、推定装置10は、1つのサーバによって構成されても、複数のサーバによって構成されてもよい。
【0014】
端末装置20は、例えば、パーソナルコンピュータ、スマートフォン、または、タブレット型コンピュータである。本実施形態では、端末装置20はオペレータO1によって使用される。ただし、端末装置20は、ユーザU1が使用する構成であってもよい。この場合、端末装置20は、ゲーム装置40を兼ねてよい。また、端末装置20は、例えばユーザU1の数が複数である場合に、複数とされてもよい。
【0015】
生体センサ30は、ユーザU1に装着され、ユーザU1の生体信号をセンサ信号として検出する。すなわち、推定システム1は、生体信号を計測する生体センサ30を備える。本実施形態では、生体センサ30は、第1センサ31と第2センサ32とを含む。第1センサ31は、ヘッドギア型の脳波センサである。第2センサ32は、リストバンド型の光学式心拍(脈拍)センサである。ただし、第1センサ31および第2センサ32は、取得したい生体情報等に応じて他の生体センサに変更されてよい。他の生体センサは、例えば、心電式心拍センサ、血圧計、または、NIRS(Near Infrared Spectroscopy)装置等であってよい。
【0016】
ゲーム装置40は、ユーザU1がゲームに関わる操作等を行う操作部41と、表示画面を有する表示部42とを備える。ゲーム装置40は、当該装置を操作するユーザU1の情報等を、端末装置20に適宜送信する。また、ゲーム装置40は、端末装置20から適宜情報を受信する。
【0017】
ここで、図1を参照して、推定システム1の処理の流れを説明する。
【0018】
第1センサ31および第2センサ32は、ユーザU1の生体信号を計測し、計測結果をセンサ信号として端末装置20に出力する(ステップS1)。端末装置20は、入力されたセンサ信号を推定装置(サーバ)10に送信する。推定装置10は、入力されたセンサ信号に基づき、ユーザU1の感情状態を推定する(ステップS3)。
【0019】
ここで、ステップS3の感情推定の概要について説明する。推定装置10は、入力されたセンサ信号に基づき、心身状態を示す指標(生理反応)の値である指標値を生成する。本実施形態では、推定装置10は、脳波および心拍に関する2つの心身状態を示す指標の指標値を生成する。例えば、脳波に関する心身状態を示す指標は、中枢神経系覚醒度(以下、単に覚醒度と記載する)であり、その指標値は「脳波のβ波/α波」で与えることができる。また、例えば、心拍に関する心身状態を示す指標は、自律神経系の活性度であり、その指標値は「心拍LF成分の標準偏差」で与えることができる。指標値は、予めメモリ等に記憶される算出用のモデル(算出式や変換データテーブル)を用いて算出される。
【0020】
なお、第1センサ31および第2センサ32が演算機能を有する構成(コンピュータ等が内蔵された構成)として、センサ31、32が、指標値を算出する構成としてもよい。また、端末装置20が、第1センサ31および第2センサ32から入力されたセンサ信号に基いて指標値を算出する構成としてもよい。
【0021】
推定装置10は、算出した指標値と、予めメモリ等に記憶される感情推定モデルとを用いてユーザU1の感情を推定する。なお、感情推定モデルは、医学的エビデンス(論文等)に基づいて作成される。
【0022】
図2は、感情推定モデル(心理平面)の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す2種類の指標に基づき推定できるとされる。図2に示される2種類の心身状態の指標を軸とする心理平面は、当該技術思想に従った感情推定モデルの一例である。図2において、一例として、縦軸は「覚醒度(覚醒-不覚醒)」、横軸は「自律神経系の活性度(交換神経活性(強い感情)-副交感神経活性(弱い感情)」である。
【0023】
図2に示す心理平面では、縦軸と横軸で分離される4つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。図2の例では、第一象限に「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限に「憂鬱」の心理状態が割り当てられている。また、第三象限に「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限に「不安、恐怖、不愉快」の心理状態が割り当てられている。
【0024】
生体信号の計測結果に基づいて得られる2種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。
【0025】
なお、本実施形態では、詳細には、図2に示す感情推定モデルに対してキャリブレーションを行い、キャリブレーション後の感情推定モデルを用いて感情の推定が行われる。これについては後述する。また、図2に示す例では、感情推定モデルは2次元の平面であるが、3次元以上の空間であってもよい。
【0026】
図1に戻って、推定装置10は、感情の推定を行うと、得られた推定結果を端末装置20に提供(送信)する(ステップS4)。例えば、端末装置20は、受信したユーザU1の感情情報を、オペレータO1の操作に基づき画面に表示する。また、例えば、端末装置20は、受信したユーザU1の感情情報を、ゲーム装置40の表示部42に表示させる。また、端末装置20は、受信したユーザU1の感情情報を、外部のゲームシステムに提供する。
【0027】
感情の推定結果は、例えばeスポーツにおけるユーザU1のメンタルトレーニングに利用することができる。例えば、ビデオゲームのプレイ中に、ユーザU1が勝負において不利な感情(不安、怒り等)を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。当該トレーニングにおいて、推定システム1で推定されたユーザU1の感情情報が利用される。
【0028】
また、各種eスポーツには、複数のユーザU1が協力してプレイするタイプや、複数のユーザU1が対戦するタイプがある。このようなタイプのeスポーツにおいて、各プレーヤの感情状態が表示される構成等とすると、感情状態に応じてゲーム戦術を変える等、高度なゲームプレイが行うことが可能になる。また、eスポーツの観戦者が各プレーヤの感情状態を把握してゲームを観戦するといった構成も可能であり、ゲーム観戦の楽しみの要素を増やすことができる。
【0029】
また、推定システム1によって感情を推定する対象(ユーザU1)が医療機関における患者である場合、推定された感情は、検査及び治療等に利用することができる。例えば、医療機関のスタッフは、患者が不安に感じていることを把握して、カウンセリング等の対応策を施すことができる。なお、医療機関のスタッフは、オペレータO1(図1参照)の一例であってよい。
【0030】
また、推定システム1によって感情を推定する対象(ユーザU1)が教育機関における生徒である場合、推定された感情は、授業内容の改善に利用することができる。例えば、教師は、生徒が授業を退屈に感じていることを把握して、授業の内容を生徒が興味を引く内容に改善することができる。なお、教師は、オペレータO1(図1参照)の一例であってよい。
【0031】
また、推定システム1によって感情を推定する対象(ユーザU1)が車両のドライバである場合、推定された感情は、安全運転の促進に利用することができる。例えば、車載装置は、ドライバが運転中に適度な緊張を感じていないことを把握して、運転に集中することを促すメッセージを出力することができる。なお、車載装置は、端末装置20の一例であってよい。
【0032】
また、推定システム1によって感情を推定する対象(ユーザU1)が、映像や音楽といったコンテンツの視聴者である場合、推定された感情は、さらなるコンテンツの作成に利用することができる。例えば、映像コンテンツの配信者は、視聴者が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。なお、映像コンテンツの配信者は、オペレータO1(図1参照)の一例であってよい。
【0033】
なお、以上においては、サーバ10が推定装置である例を示したが、例えば、端末装置20や、eスポーツのプレーヤが使用するゲーム装置40が推定装置であってもよい。また、例えば、推定装置は、複数の装置で構成されてよい。例えば、通信接続されたサーバ10、端末装置20、および、ゲーム装置40が、感情を推定するための処理を分散して行ってもよい。
【0034】
[1-2.推定装置]
図3は、本発明の第1実施形態に係る推定装置10の構成例を示す図である。なお、図3においては、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素についての記載は省略されている。図3に示すように,推定装置10は、通信部11および記憶部12を備える。また、推定装置10はコントローラ13を備える。推定装置10は、いわゆるコンピュータ装置であってよい。なお、推定装置10は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。
【0035】
通信部11は、ネットワークNを介して他の装置との間でデータの通信を行うためのインタフェースである。通信部11は、例えばNIC(Network Interface Card)である。
【0036】
記憶部12は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばRAM(Random Access Memory)が含まれてよい。不揮発性メモリには、例えば、ROM(Read Only Memory)、フラッシュメモリ、又は、ハードディスクドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納される。なお、不揮発性メモリに格納されるプログラムおよびデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、又は、可搬型記録媒体から取得される構成としてもよい。
【0037】
図3に示すように、本実施形態では、記憶部12には、テーブル(データテーブル)121が含まれる。詳細には、テーブル121には、各種処理用の複数のテーブルが含まれる。例えば、テーブル121には、センサテーブル121aおよび心理平面テーブル121bが含まれる。図4Aは、センサテーブル121aの一例を示す図である。図4Bは、心理平面テーブル121bの一例を示す図である。
【0038】
図4Aに示すように、センサテーブル121aの項目には、「センサID」、「センサ種別」、「生体信号種別」、「対応指標ID」、「対応指標種別」、および、「指標変換情報」が含まれる。なお、テーブルの項目は、データ記憶セル(記憶枠)に対応する。
【0039】
センサテーブル121aの項目「センサID」は、センサテーブル121aにおけるデータレコードを識別するための識別情報であるセンサIDデータを記憶する。センサIDデータは、センサテーブル121aにおけるデータレコードの主キーでもある。つまりセンサテーブル121aでは、センサIDデータごとにデータレコードが構成され、当該データレコードにセンサIDデータに紐づいた各項目のデータが記憶されることになる。
【0040】
センサテーブル121aの項目「センサ種別」は、センサ種別を特定するための情報を記憶する。本例では、センサ名称(型番等のデータでも可)が記憶される。
【0041】
センサテーブル121aの項目「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定(算出)できると認識されている。
【0042】
センサテーブル121aの項目「対応指標ID」は、生体信号を検出するセンサの信号に基づき生成(算出)される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル121aの項目「対応指標種別」は、指標の種別(名称等)を記憶する。
【0043】
センサテーブル121aの項目「指標変換情報」は、生体信号を検出するセンサから得られる信号に基づき指標値を算出するための変換情報(演算式や変換データテーブル等)を記憶する。つまり、センサIDデータに対応するセンサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標IDで識別される心身状態指標の指標値が推定(算出)されることになる。
【0044】
たとえば、図4Aで示すセンサテーブル121aにおけるセンサID「SN01」のデータレコードは、次のような情報を有する。「脳波センサBA」の出力信号により「脳波のβ波/α波」が計測される。そして、この「脳波のβ波/α波」を「FX01」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。
【0045】
図4Bに示すように、心理平面テーブル121bは、指標種別(具体的には指標IDデータを使用)を縦軸および横軸のパラメータとする2次元マトリックステーブルである。心理平面テーブル121bにおいては、2種類の指標種別で定まる記憶セル(記憶枠)に、当該2種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別VSmと指標種別VSnであれば、感情の推定に用いる心理平面は心理平面mnとなる。心理平面mnを用いた処理を行なうための情報が読み出され、感情の推定処理に使用されることになる。
【0046】
なお、センサテーブル121aと心理平面テーブル121bとにおいては、共通の指標IDが用いられる。すなわち、センサテーブル121aと心理平面テーブル121bとに基づいて、ユーザU1に装着された2種類のセンサに対応する心理平面mnを決定することができる。例えば、ユーザU1に装着されたセンサ種別が「脳波センサBA(指標ID:VS01)」と「心拍センサHA(指標ID:VS02)」であるとする。この場合、「脳波センサBA(指標ID:VS01)」および「心拍センサHA(指標ID:VS02)」に対応する指標IDデータがセンサテーブル121aに基づき決定される。そして、心理平面テーブル121bに基づき、「覚醒度」(VS01)と「自律神経系活性度」(VS02)を指標とする心理平面01-02が、感情の推定に用いる心理平面として決定されることになる。
【0047】
図3に戻って、コントローラ13は、演算処理等を行うプロセッサを含む。プロセッサは、例えばCPU(Central Processing Unit)を含んで構成されてよい。コントローラ13は、1つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。なお、推定装置10がクラウドサーバで構成される場合、プロセッサを構成するCPUは仮想CPUであってよい。
【0048】
図3に示すように、コントローラ13は、その機能として、取得部131と、領域決定部132と、感情推定部133と、提供部134とを備える。本実施形態においては、コントローラ13の機能は、記憶部12に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。
【0049】
なお、本実施形態の範囲には、推定装置10の少なくとも一部の機能をプロセッサ(コンピュータ)に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体(例えば光ディスク)、光磁気記録媒体(例えば光磁気ディスク)、USBメモリ、或いは、SDカード等であってよい。
【0050】
また、各機能部111~114は、1つのプログラムにより実現されてもよいが、例えば、機能部ごとに別々のプログラムにより実現される構成であってもよい。また、各機能部111~114が別々のサーバとして実現されてもよい。また、各機能部111~114は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部111~114の少なくとも一部は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等を用いて実現されてもよい。すなわち、各機能部111~114は、専用のIC等を用いてハードウェアにより実現されてもよい。また、各機能部111~114は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、各機能部111~114は、概念的な構成要素である。1つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が1つの構成要素に統合されてもよい。
【0051】
取得部131は、通信部11を介して、端末装置20から第1センサ31および第2センサ32で計測されたデータ(センサ信号)を受信する。取得部131は、受信したデータを、その後の処理のために必要に応じて記憶部12に記憶する。
【0052】
領域決定部132は、感情推定モデル(本例では心理平面)を、各ユーザU1の感情の推定に適したモデルとするためのキャリブレーションを行うための準備処理を実行する。ここで、当該準備処理の具体的な内容について説明する前に、キャリブレーションが必要な理由について説明する。
【0053】
上述した図2に示す心理平面においては、生体信号に基づく各指標(縦軸および横軸)が2つの領域に分割されている。このような心理平面を利用する場合、例えば次のようになる。覚醒度を表す指標値は、「覚醒」と「非覚醒」とのいずれか一方に分類され、自律神経系活性度を表す指標は、「交感神経活性(強い感情)」と「副交感神経活性(弱い感情)」とのいずれか一方に分類される。しかしながら、例えば、覚醒度の場合を例に説明すると、人間の心身状態は、覚醒と非覚醒という状態だけでなく、どちらとも言えないニュートラルな状態もある。そして、このニュートラルな状態の範囲は、一般に個人差が存在する。同様なことが、自律神経系活性度にも言える。このために、図2に示す心理平面を単純に利用して感情の推定を行うと、感情の推定に誤りが生じる可能性がある。このような点を考慮して、本実施形態では、感情推定モデルである心理平面をキャリブレーションして利用する構成となっている。
【0054】
領域決定部132は、キャリブレーションの準備処理として、生体信号に基づく各指標を、ニュートラル領域、正領域、および、負領域で構成される3つの領域に分割する処理を行う。別の言い方をすると、領域決定部132は、心理平面の縦軸および横軸を構成する各生理反応を上述の3つの領域に分けるために、ニュートラル領域を決定する領域決定処理を行う構成になっている。
【0055】
なお、ニュートラル領域は、生理反応(心身状態)が曖昧であり、特定することができない領域である。正領域は、ニュートラル領域に対して一方側の領域であり、ニュートラル領域よりも指標値が大きくなる領域である。負領域は、ニュートラル領域に対して他方側の領域であり、ニュートラル領域よりも指標値が小さくなる領域である。正領域および負領域では、生理反応は明確である。例えば生理反応の種別が覚醒度の場合、正領域は覚醒状態を示し、負領域は非覚醒状態を示す。例えば生理反応の種別が自律神経系活性度の場合、正領域は交感神経が活性である状態を示し、負領域は副交感神経が活性である状態を示す。
【0056】
以下、領域決定部132が、各指標(生理反応)においてニュートラル領域を決定する領域決定処理について2つの例を挙げて説明する。
【0057】
領域決定処理の第1の例では、ユーザU1に特殊タスクを実行させ、当該タスクの実行時における生体信号の計測結果に応じてニュートラル領域を決定する。特殊タスクは、医学的エビデンスに基づいて決められ、生理反応の種別ごとに予め準備される。予め準備された特殊タスクは、特殊タスクテーブル121cとして記憶部12に記憶されている。すなわち、本実施形態においては、テーブル121(図3参照)には、特殊タスクテーブル121cが含まれる。
【0058】
図5は、特殊タスクテーブル121cの一例を示す図である。図5に示すように、特殊タスクテーブル121cの項目には、「タスクID」、「センサ種別」、「対応指標種別」、「タスク種別」、および、「タスク内容」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図4Aと同様であるために、説明は省略する。なお、「対応指標種別」は、対応生理反応種別と表現してもよい。
【0059】
特殊タスクテーブル121cの項目「タスクID」は、特殊タスクテーブル121cにおけるタスク情報を識別するための識別情報であるIDデータを記憶する。
【0060】
特殊タスクテーブル121cの項目「タスク種別」は、生理反応を大とする第1タスクと、生理反応を小とする第2タスクとのいずれであるかを記憶する。なお、生理反応が大となると、指標値が大となる。生理反応が小となると、指標値が小となる。生理反応を大とするタスクであるか、小とするタスクであるかは、医学的エビデンスに基づいて決められる。例えば生理反応の種別が覚醒度である場合、覚醒度を大きくするタスクは第1タスクであり、覚醒度を小さくするタスクは第2タスクである。また、例えば生理反応の種別が自律神経系活性度である場合、交感神経を活性とするタスクは第1タスクであり、副交感神経を活性とする(すなわち、交感神経を不活性とする)タスクは第2タスクである。
【0061】
特殊タスクテーブル121cの項目「タスク内容」は、ユーザU1に実行させるタスクの具体的な内容を記憶する。タスク内容は、上述のタスク種別と共に医学的エビデンスに基づき決定される。例えば生理反応の種別が覚醒度である場合の第1タスクのタスク内容は、「表示される数字を暗算加算」である。暗算加算の回数は、例えば10回等であってよい。また、例えば生理反応の種別が覚醒度である場合の第2タスクのタスク内容は、「安静にして拳を握る」である。拳を握って安静にする時間は、例えば3分等であってよい。また、例えば生理反応の種別が自律神経系活性度である場合の第1タスクのタスク内容は、「起立テスト」である。起立テストでは、例えば、所定時間開眼仰臥位で安静とし、その後、上半身を起こして開眼長座位で所定時間安静とすることが要求される。所定時間は3分等であってよい。また、例えば生理反応の種別が自律神経系活性度である場合の第2タスクのタスク内容は、「アシュネルテスト」である。アシュネルテストでは、例えば、閉眼安静状態にて、片目の瞼を人差し指および中指の腹で静かに所定時間押すことが要求される。アシュネルテストの別の例は、アイマスクを所定時間着用することであってもよい。所定時間は3分等であってよい。
【0062】
特殊タスクテーブル121cの内容からわかるように、各生理反応においてニュートラル領域を決定するにあたっては、生理反応の種別ごとに、ユーザU1による第1タスクおよび第2タスクの実行が必要とされる。領域決定部132(すなわちコントローラ13)は、各生理反応においてニュートラル領域を決定するにあたっては、次のような処理を行う。まず、領域決定部132は、互いを比較した場合に、タスクの実行時に得られる指標値が大きくなるとされる第1タスクと、小さくなるとされる第2タスクとをユーザU1に実行させる。そして、領域決定部132は、第1タスクおよび第2タスクの実行により得られる指標値に基づきニュートラル領域を決定する。なお、ニュートラル領域が決定されると、正領域および負領域は自動的に決定される。すなわち、生理反応(指標)を3つの領域に分割することができる。また、生理反応種別ごとに行われる第1タスクと第2タスクとが行われるタイミングは、時間差を有し、タスクごとに生理反応の計測が行われる。
【0063】
このような構成では、感情の推定の前に、ユーザU1に事前に特殊タスクを実行させて、その結果に応じて正領域、ニュートラル領域、および、負領域が決定されることになる。このために、ユーザU1が現在置かれている環境等を適切に反映して、生理反応(指標)を3つの領域に分割することができる。すなわち、感情の推定を適切に行うことが期待できる。
【0064】
上述のニュートラル領域の決定手法の具体例について、図6を参照しながら説明する。図6は、第1タスクおよび第2タスクの実行時における生理反応の指標値の時間変化を模式的に示した図である。図6において、横軸は時間、縦軸は生理反応(指標)である。図6において、信号αは、第1タスクの実行時に得られる指標値の時間変化に相当する。信号βは、第2タスクの実行時に得られる指標値の時間変化に相当する。図6では、第1タスク、第2タスクの順に特殊タスクが実行されているが、これは例示であり、第2タスク、第1タスクの順に特殊タスクが実行されてもよい。また、図6において、矢印NRで示される領域(縦軸の一部の領域)は、ニュートラル領域に該当する。
【0065】
領域決定部132は、第1タスクの実行時に得られる指標値の時間変化データを統計処理して、ニュートラル領域NRの上限値を決定する。例えば、領域決定部132は、第1タスクの実行時に得られる指標値の時間変化データをスムージング処理し、スムージング処理後のデータの最小値をニュートラル領域NRの上限値とする。また、領域決定部132は、第2タスクの実行時に得られる指標値の時間変化データを統計処理して、ニュートラル領域NRの下限値を決定する。例えば、領域決定部132は、第2タスクの実行時に得られる指標値の時間変化データをスムージング処理し、スムージング処理後のデータの最大値をニュートラル領域NRの下限値とする。なお、スムージング処理は、例えば、微細なピーク信号のようなノイズ成分等の除去を目的として行われてよい。
【0066】
換言すると、領域決定部132(すなわちコントローラ13)は、第1タスクの実行時に得られる指標値により、ニュートラル領域と正領域との境界を定める。また、領域決定部132は、第2タスクの実行時に得られる指標値により、ニュートラル領域と負領域との境界を定める。このような構成は、生理反応の大小の差が大きい2つのタスク(第1タスクおよび第2タスク)を準備できる場合に好適である。
【0067】
なお、領域決定部132は、生理反応の種別ごとにニュートラル領域の上限値および下限値を決定する。このために、本実施形態では、2つの生理反応(覚醒度および自律神経系活性度)のそれぞれについて、第1タスクおよび第2タスクで構成される特殊タスクの実行がユーザU1に対して要求される。そして、2つの生理反応のそれぞれについて、特殊タスクの実行時の生体信号の計測結果に応じてニュートラル領域の決定処理が行われる。
【0068】
また、以上では、第1タスクの実行時に得られる指標値の変動範囲である第1変動範囲と、第2タスクの実行時に得られる指標値の変動範囲である第2変動範囲とが離れていることを前提として、2つの変動範囲の間をニュートラル領域NRとした(図6参照)。なお、指標値の変動範囲は、指標値の時間変化に伴う値変動の範囲のことを指す。しかしながら、例えば、第1タスクと第2タスクとの間で生理反応の大小差が小さい場合には、第1変動範囲と第2変動範囲とが重なることもあり得る。このような場合には、例えば、第1タスクの実行時に得られる指標値の時間変化データをスムージング処理して得られるデータの最小値をニュートラル領域NRの下限値としてよい。また、例えば、第2タスクの実行時に得られる指標値の時間変化データをスムージング処理して得られるデータの最大値をニュートラル領域NRの上限値としてよい。
【0069】
換言すると、領域決定部132(すなわちコントローラ13)は、第2タスクの実行時に得られる指標値により、ニュートラル領域と正領域との境界を定めてよい。また、領域決定部132は、第1タスクの実行時に得られる指標値により、ニュートラル領域と負領域との境界を定めてもよい。更に別の言い方をすると、上記第1変動範囲と上記第2変動範囲とが重なる領域をニュートラル領域NRに決定してよい。上記第1変動範囲と上記第2変動範囲とが重なる領域に基づいてニュートラル領域NRを決定してよい。このような構成の採用により、第1タスクおよび第2タスクを決定する上での制約を緩和して、特殊タスクの設定を行い易くすることができる。
【0070】
次に、ニュートラル領域を決定する領域決定処理の第2の例について説明する。第2の例では、ユーザU1に対して特殊タスクの実行を要求しない。第2の例では、生理反応の時系列データの蓄積が進むにつれて、統計処理で推定されるニュートラル領域の上限値と下限値とのそれぞれが一定の値に収束するという点に着目して、ニュートラル領域を決定する。なお、ニュートラル領域が決定されると、正領域および負領域は自動的に決定される。すなわち、ニュートラル領域が決定されると、生理反応を3つの領域に分割することができる。
【0071】
換言すると、第2の例では、領域決定部132(すなわちコントローラ13)は、指標値の時系列データを蓄積し、時系列データの統計処理結果に基づきニュートラル領域を決定する。このような構成では、感情の推定を行う前にユーザU1に対して特殊タスクの実行を要求する必要がなく、ユーザU1の負担を低減することができる。
【0072】
特殊タスクなしでニュートラル領域を決定する手法について、図7および図8を参照しながら説明する。図7は、生理反応の時間変化を模式的に示す図である。図7において、横軸は時間、縦軸は生理反応(指標)である。図8は、ニュートラル領域(図7参照)の推定された上限値の時間変化を示す模式図である。図8において、横軸は時間、縦軸はニュートラル領域の推定される上限値である。なお、ニュートラル領域の推定される下限値の時間変化は、図8に示す上限値と同様の時間変化を示す。すなわち、図8に示すグラフの縦軸は下限値と読み替えられてもよい。
【0073】
図7に示すように、人の生理反応(心身状態とも言える)は、特殊タスクを与えなくても、時間の変化(時間に伴い変化する環境等の変化に基づく)とともに様々な状態に変化する。詳細には、時間変化に伴い、生理反応が、大きい状態、小さい状態、或いは、曖昧な状態(ニュートラル状態)間で変動する。生理反応は外部からの刺激等により上下に変移するため、生理反応の値の分布は統計的に特徴あるものとなる。例えば、外部刺激等が無い状態が多いので、通常、生理反応の値はニュートラル領域に含まれる。刺激があると生理反応の値は急に変動する等の傾向がある。生理反応の時系列データを蓄積し、蓄積したデータを先の3つの状態に分けるクラスタ分析を行うことによってニュートラル領域の上限値と下限値を推定することができる。クラスタ分析には、公知の手法が利用されればよい。例えば、クラスタ分析の手法として、k-means法、大津の多値化手法、混合ガウスモデル等が利用されてよい。
【0074】
図8においては、時間の経過にともなって、生理反応の時系列データの蓄積量が増大することが想定されている。すなわち、図8においては、統計手法(詳細例はクラスタ分析)を用いたニュートラル領域の上限値の推定に利用されるデータ量は、時間の経過とともに増大することが想定されている。時間の経過にともなってデータ量が増大することにより、推定される上限値は、図8に示すように時間の経過にともって一定の値に収束していく。この傾向は、上述のように下限値でも同様である。収束した上限値および下限値で特定されるニュートラル領域は、信頼性が高いと解される。このために、本例では、推定される上限値および下限値が収束したと判定された段階で、ニュートラル領域を決定する構成としている。
【0075】
なお、上限値が収束したか否かは、現時点における推定の上限値と、前回の推定の上限値との比較に基づき判定されてよい。例えば、両者の比が1に対して所定の範囲内であれば、収束したと判定されてよい。また、本例においても、領域決定部132は、生理反応の種別ごとにニュートラル領域の上限値および下限値を決定する。
【0076】
領域決定部132は、特殊タスクを行って、或いは、特殊タスクを行うことなく決定した上限値および下限値を記憶部12に記憶する。詳細には、領域決定部132は、決定した上限値および下限値をデータテーブル化して記憶部12に記憶する。すなわち、テーブル121(図3参照)には、ユーザU1ごとのニュートラル領域情報を含むニュートラル領域テーブル121dが含まれる。
【0077】
図9は、ニュートラル領域テーブル121dの一例を示す図である。図9に示すように、ニュートラル領域テーブル121dの項目には、「ユーザID」、「センサ種別」、「対応指標種別」、「上限値」、「下限値」、および、「取得日時」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図4A図5と同様であるために、説明は省略する。
【0078】
ニュートラル領域テーブル121dの項目「ユーザID」は、ニュートラル領域テーブル121dにおけるユーザ情報を識別するための識別情報であるユーザIDデータを記憶する。ユーザIDデータは、例えば、ゲーム装置40から端末装置20を介して推定装置10に送信される。
【0079】
ニュートラル領域テーブル121dの項目「上限値」および「下限値」には、領域決定部132により決定された上限値および下限値の情報が記憶される。ニュートラル領域テーブル121dの項目「取得日時」には、上限値および下限値の情報が記憶された日時情報が記憶される。ユーザID等の項目ごとに決定される上限値および下限値は、最新の情報が取得されるごとに更新される。また、上限値および下限値の情報が更新されると、取得日時も更新される。
【0080】
図3に戻って、感情推定部133は、取得部131が取得したデータに基づき感情の推定に用いるモデルを選択する。具体的には、感情推定部133は、取得されたデータとセンサテーブル121aとを照合して、取得したデータに含まれるセンサ種別および生体信号種別に対応する「対応指標種別」のデータ(指標種別データ)を抽出する。そして、感情推定部133は、抽出した指標種別データの「指標ID」と心理平面テーブル121bとを照合して、感情の推定に用いるモデル(心理平面)を選択する。例えば、センサIDが「SN01」(センサ種別:脳波センサBA)と「SN02」(センサ種別:心拍センサHA)の場合、対応する指標IDは、「VS01」(指標種別:覚醒度)と「VS02」(指標種別:自律神経系活性度)となる(図4A参照)。これらに基づき、感情推定部133は、使用する感情推定モデルとして心理平面01-02を選択する。
【0081】
感情推定部133は、使用する心理平面を選択すると、感情推定の対象となっているユーザU1のユーザIDを用いて、ニュートラル領域テーブル121dから選択した心理平面の指標種別に対応するニュートラル領域の上限値および下限値を抽出する。そして、感情推定部133は、選択した心理平面を、抽出した上限値および下限値を用いてニュートラル領域を含む心理平面に加工する。別の言い方をすると、感情推定部133は、予め準備された感情推定モデルに対してキャリブレーションを行う。
【0082】
図10は、ニュートラル領域を含む心理平面の一例を示す図である。図10に示すニュートラル領域を含む心理平面は、図2に示す心理平面を加工したものである。図10において、斜線で示す領域NRは、ニュートラル領域である。指標種別「覚醒度」の上限値により、覚醒度(縦軸)におけるニュートラル領域と正領域との境界が決まる。指標種別「覚醒度」の下限値により、覚醒度(縦軸)におけるニュートラル領域と負領域との境界が決まる。指標種別「自律神経系活性度」の上限値により、自律神経系活性度(横軸)におけるニュートラル領域と正領域との境界が決まる。指標種別「自律神経系活性度」の下限値により、自律神経系活性度(横軸)におけるニュートラル領域と負領域との境界が決まる。
【0083】
加工された心理平面において、指標種別「覚醒度」の上限値および下限値により決まる第1ニュートラル領域NR1は、横軸と平行な方向に延びる帯状の領域である。また、加工された心理平面において、指標種別「自律神経系活性度」の上限値および下限値により決まる第2ニュートラル領域NR2は、縦軸と平行な方向に延びる帯状の領域である。心理平面に設けられるニュートラル領域NRは、第1ニュートラル領域NR1と第2ニュートラル領域NR2とで構成され、その形状は、十字架状である。なお、それぞれ帯状に構成される第1ニュートラル領域NR1と第2ニュートラル領域NR2との幅は、互いに同じとなる場合もあるし、互いに異なる場合もある。また、図10に示す例では、第1ニュートラル領域NR1および第2ニュートラル領域NR2とは、それぞれ縦軸または横軸と重なっている。ここでいう縦軸および横軸は、当初、生体信号値から予想(設定)された軸のことである。ただし、第1ニュートラル領域NR1および第2ニュートラル領域NR2のうちの少なくとも一方が軸(当初予定の軸)からずれた位置となる場合もある。別の言い方をすると、ニュートラル領域NRの決定は、結果として縦横軸(原点を通る)を決めることになると言うことができる。各ニュートラル領域NR1、NR2の中間位置が縦横軸とされてよい。
【0084】
感情推定部133は、キャリブレーションを行った心理平面を生成すると、当該心理平面を用いて感情の推定処理を実行する。感情推定部133は、取得部131により取得された生体信号に基づく情報をセンサテーブル121aにおける指標変換情報を用いて指標値に変換する。本実施形態では、第1センサ31(センサ種別:脳波センサBA)と第2センサ32(センサ種別:心拍センサHA)とから得られるデータを用いて、覚醒度の指標値と、自律神経系活性度の指標値とが求められる。
【0085】
そして、感情推定部133は、先の加工により得られたニュートラル領域NRを含む心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情の推定を行う。本実施形態では、覚醒度を縦軸、自律神経系活性度を横軸としニュートラル領域を含む心理平面(図10参照)上に、覚醒度の指標値と自律神経系活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情の推定を行う。
【0086】
感情推定部133は、指標値のプロットにより得られる座標位置がニュートラル領域NRである場合、ユーザU1の感情の種別を特定できない状態であると判定する。すなわち、感情推定部133は、感情不定状態であると判定する。一方、指標値のプロットにより得られる座標位置がニュートラル領域NRの領域外である場合には、ユーザU1の感情の種別が、座標位置に対応する感情であると推定(特定)する。例えば、座標位置が、図10における第1ニュートラル領域NR1よりも上側、且つ、第2ニュートラル領域NR2よりも右側である場合(第一象限である場合)、「楽しい、喜び、怒り、悲しみ」といった感情を有すると推定(特定)する。
【0087】
以上からわかるように、コントローラ13は、生体信号に基づく指標値が、ニュートラル領域、ニュートラル領域に対して一方側の正領域、および、ニュートラル領域に対して他方側の負領域で構成される3つの領域のいずれに属するかを識別する。そして、コントローラ13は、指標値がニュートラル領域に属する場合に、感情不定状態であると判定する。なお、この感情不定状態であるとの判定は、例えば「感情不定状態フラグ」を立てるといった直接的判定であってよい。また、この感情不定状態であるとの判定には、先に示した直接的判定だけでなく、指標値がニュートラル領域に属する場合に以降の処理内容を変更するといった実質的な判定を行う間接的判定が含まれてもよい。
【0088】
また、コントローラ13は、指標値を複数種求める。コントローラ13は、複数種の指標値のそれぞれについて上述の3つの領域のいずれに属するかを識別する。コントローラ13は、複数種の指標値のいずれもがニュートラル領域の領域外である場合に、複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を特定する。なお、本実施形態では、複数種は2種類である。ただし、3種類以上の指標値が求める構成であってよい。この場合、感情推定モデルは、2次元の平面ではなく、3次元以上の空間とされてよい。
【0089】
本実施形態のように、ニュートラル領域を設けて感情の推定を行う構成とすると、誤差要素が多く、誤判定が生じ易い傾向がある感情の推定処理において、誤った推定を行う可能性を低減することができる。また、ニュートラル領域は、ユーザU1ごとに作成される。そして、ニュートラル領域の位置や大きさ(幅)は、ユーザU1ごとに、通常は異なる。ニュートラル領域が設けられることによって、各ユーザの特性に合わせた感情の推定を行うことができ、感情の推定精度を向上させることができる。
【0090】
図3に戻って、提供部134は、感情推定部133が推定した感情の情報を、ネットワークNを介して端末装置20に提供する。これにより、オペレータO1は、提供部134により提供された感情の情報を閲覧する等して利用する。オペレータO1は、感情の情報をeスポーツのプレーヤであるユーザU1に提供してもよい。
【0091】
[1-3.推定方法]
次に、推定装置10によって実行される推定方法について説明する。
【0092】
なお、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、1つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。
【0093】
(1-3-1.特殊タスクを行う場合)
まず、特殊タスクを行ってニュートラル領域を決定した後に、感情の推定を行う場合の処理例について説明する。図11は、第1実施形態の推定装置10によって実行される推定処理の前段部の一例を示すフローチャートである。図12は、第1実施形態の推定装置10によって実行される推定処理の後段部の一例を示すフローチャートである。ここで、推定処理の前段部は、上述のニュートラル領域を決定する領域決定処理に該当する。そして、図11に示す例においては、推定処理の前段部は、特殊タスクを実行する場合の領域決定処理に該当する。また、推定処理の後段部は、感情推定モデルを利用した感情の推定処理に該当する。
【0094】
図11に示す処理は、例えば、第1センサ31および第2センサ32を含む生体センサ30からの信号を、推定装置10の取得部131が取得開始することにより開始される。当該取得開始は、例えばユーザU1の指示操作等により行われてよい。図12に示す処理は、図11に示す処理に続いて行われる。なお、図11に示す前段部の処理は、eスポーツが開始される前に行われることが好ましい。
【0095】
ステップS11では、領域決定部132が、取得部131で取得した生体センサ30の情報と、センサテーブル121aとに基づいて対象となる指標種別を特定する。本実施形態では、指標種別として、「覚醒度」および「自律神経系活性度」が特定される。指標種別が特定されると、次のステップS12に処理が進められる。
【0096】
ステップS12では、領域決定部132が、感情の推定対象であるユーザU1について、各指標種別のニュートラル領域の上限値および下限値が決定済みであるか否かを判定する。感情推定対象のユーザU1の、ニュートラル領域の上限値および下限値が決定済みであるか否かは、ニュートラル領域テーブル121d(図9参照)に含まれる情報により判定される。本実施形態では、感情推定対象のユーザU1の、「覚醒度」および「自律神経系活性度」のニュートラル領域の上限値および下限値が決定済みであるか否かが確認される。決定済みである場合(ステップS12でYes)、ステップS20(図12参照)に処理が進められる。決定済みでない場合(ステップS12でNo)、ステップS13に処理が進められる。
【0097】
なお、ステップS12の処理は行われなくてもよい。すなわち、過去に各指標種別のニュートラル領域の上限値および下限値が決定されたか否かにかかわらず、各指標種別のニュートラル領域の上限値および下限値を決定する処理が行われてもよい。ニュートラル領域は、例えばユーザU1が置かれる環境やユーザU1の体調等によって変動する可能性がある。このために、eスポーツの開始前に毎回、ニュートラル領域の上限値および下限値が決定されることが好ましい。
【0098】
また、本実施形態では、ステップS11で特定された指標種別の中に、ニュートラル領域の上限値および下限値が決定済みでない指標種別が存在すると、先に特定した全ての指標種別に対して上限値および下限値を決定する処理が行われる。ただし、これは例示である。すなわち、ニュートラル領域の上限値および下限値が決定済みでない指標種別に限って、ニュートラル領域の上限値および下限値を決定する処理が行われる構成としてもよい。
【0099】
ステップS13では、領域決定部132が変数xを1とする。本実施形態では、変数xが1である場合、ステップS11で特定された2つの指標種別のうち、第1指標種別の処理を行うと判定する。また、変数xが2である場合、ステップS11で特定された2つの指標種別のうち、第2指標種別の処理を行うと判定する。変数xが1とされると、次のステップS14に処理が進められる。
【0100】
ステップS14では、領域決定部132は、変数が1であるために、ユーザU1に対して第1指標種別の第1タスクの実行を要求する。タスクの要求は、例えば、ユーザU1が使用するゲーム装置40の表示部42に要求事項を画面表示することにより行われる。タスクの要求は、画面表示に代えて、或いは、画面表示に加えて音声案内によって行われてもよい。要求事項には、第1タスクの具体的内容が含まれることが好ましい。第1タスクの内容に関する情報は、特殊タスクテーブル121c(図5参照)に含まれる。本実施形態では、例えば、第1指標種別は「覚醒度」である。そして、第1タスクの内容は、「表示部42に表示される数字を暗算で加算する」である。第1指標種別の第1タスクの実行要求が行われると、次のステップS15に処理が進められる。
【0101】
ステップS15では、領域決定部132が、第1指標種別の第1タスクの実行時に第1センサ31から得られる信号に基づいて、ニュートラル領域の上限値を決定する。ユーザU1のタスクの開始および終了は、例えば、タスクの開始時および終了時にユーザU1に操作部材の操作を行うことを要求するようにし、当該操作部材の操作情報によって判定される構成としてよい。操作部材は、例えば、ゲーム装置40の操作部41に含まれてよい。また、別の例として、ユーザU1のタスクの開始および終了は、ゲーム装置40等に配置されるユーザU1を撮影するカメラから得られる情報によって判定される構成としてもよい。本実施形態では、領域決定部132は、感情推定の対象となるユーザU1の、覚醒度におけるニュートラル領域の上限値を決定する。なお、決定された上限値は、ニュートラル領域テーブル121d(図9参照)に保存される。ニュートラル領域の上限値が決定されると、次のステップS16に処理が進められる。
【0102】
ステップS16では、領域決定部132が、ユーザU1に対して第1指標種別の第2タスクの実行を要求する。タスクの要求に関わる処理は、第1タスクの場合と同様であってよく、ここでは、詳細な説明は省略する。本実施形態では、第1指標種別は「覚醒度」であるために、第2タスクの内容は、「安静にして拳を握る」である。第1指標種別の第2タスクの実行要求が行われると、次のステップS17に処理が進められる。
【0103】
ステップS17では、領域決定部132が、第1指標種別の第2タスクの実行時に第1センサ31から得られる信号に基づいて、ニュートラル領域の下限値を決定する。ユーザU1のタスクの開始および終了の判定は、第1タスクの場合と同様であってよい。本実施形態では、領域決定部132は、感情推定の対象となるユーザU1の、覚醒度におけるニュートラル領域の下限値を決定する。なお、決定された下限値は、ニュートラル領域テーブル121dに保存される。ニュートラル領域の下限値が決定されると、次のステップS18に処理が進められる。
【0104】
なお、本例では、第1タスク、第2タスクの順で特殊タスクが実行される構成としているが、この順番は反対であってもよい。
【0105】
ステップS18では、領域決定部132が変数xに1を加算する処理を行う。変数xに対する加算処理が完了すると、次のステップS19に処理が進められる。
【0106】
ステップS19では、領域決定部132が、変数xが3以上であるか否かを判定する。変数xが3より小さい場合(ステップS19でNo)、ステップS14に処理が戻され、ステップS14以降の処理が繰り返される。ただし、この段階では、変数xが2である。このために、第2指標種別に関する処理が行われる。本実施形態では、第2指標種別は「自律神経系活性度」である。このために、ステップS14で要求される第1タスクの内容は、「起立テスト」である。ステップS15では、感情推定の対象となるユーザU1の、自律神経系活性度におけるニュートラル領域の上限値が決定される。また、ステップS16で要求される第2タスクの内容は、「アシュネルテスト」である。ステップ17では、感情推定の対象となるユーザU1の、自律神経系活性度におけるニュートラル領域の下限値が決定される。変数xが3以上である場合(ステップS19でYes)、ステップS20(図12参照)に処理が進められる。
【0107】
なお、本実施形態では、第1指標種別、第2指標種別の順番でニュートラル領域の上限値および下限値が決定される構成とした。ただしこれは例示であい、第2指標種別、第1指標種別の順番でニュートラル領域の上限値および下限値が決定されてもよい。
【0108】
ステップS20では、感情推定部133が、予め記憶される心理平面を、先の領域決定処理で得た指標種別ごとのニュートラル領域情報(上限値および下限値)によって加工する。そして、感情推定部133は、ニュートラル領域を含む心理平面を用いて感情の推定処理を行う。本実施形態では、例えば図10に示す加工された心理平面が使用されて感情の推定が行われる。上述のように、感情不定状態と判定されて感情の種別が特定されない場合と、感情の種別が具体的に特定される場合とがある。心理平面を用いた感情の推定処理が行われると、次のステップS21に処理が進められる。
【0109】
ステップS21では、提供部134が感情の推定結果を外部に提供する。提供部134は、例えば、端末装置20に感情の推定結果を提供する。端末装置20の表示画面には、感情の推定結果が適宜表示されてよい。また、端末装置20のオペレータO1は、感情の推定結果を利用した処理を適宜実施してよい。また、端末装置20に提供された感情の推定処理の結果は、端末装置20から自動的に、或いは、端末装置20のオペレータO1の操作によって、ゲーム装置40に出力されてよい。そして、ゲーム装置40に出力された感情の推定結果は、例えば、表示部42に表示されてよい。
【0110】
図13Aおよび図13Bは、感情の推定結果が表示された画面を例示する図である。図13Aおよび図13Bに示す例では、画面上(詳細には画面右側)に、感情の推定結果を簡単に認識することを可能とする感情マップが示される。感情マップは、一例として、心理平面に計測結果(座標位置)をプロットしたグラフを含むグラフィック情報である。また、図13Aおよび図13Bに示す例では、画面上に、感情の推定結果を文字列で示す領域が設けられている。
【0111】
図13Aは、2つの指標値で特定された座標位置がニュートラル領域NR外であった場合の結果を示す図である。この場合、感情の種別を特定できるために、感情の種別の特定結果が示される。また、図13Bは、2つの指標値で特定された座標位置がニュートラル領域NR上であった場合の結果を示す図である。この場合、感情不定状態で感情の種別を特定できないために、その旨が文字列により表示される。なお、図13Bに示す例では、自律神経系活性度(横軸)についてのみ注目すると、プロットされた位置はニュートラル領域NRではない。このために、例えば、「自律神経系活性度」については「弱い感情」の状態と推定されますといった表示を行ってもよい。
【0112】
(1-3-2.特殊タスクを行わない場合)
次に、特殊タスクを行わずにニュートラル領域を決定した後に、感情の推定を行う場合の処理例について説明する。図14は、第1実施形態の推定装置10によって実行される推定処理の前段部の他の例を示すフローチャートである。図14に示す例では、推定処理の前段部は、特殊タスクを実行しない場合の領域決定処理に該当する。本例でも、推定処理の前段部が終了すると、図12に示す推定処理の後段部が行われる。
【0113】
図14に示す処理は、例えば、第1センサ31および第2センサ32を含む生体センサ30からの信号を、推定装置10の取得部131が取得開始することにより開始される。なお、図14に示す処理は、eスポーツが開始される直前(例えば20分前等)に開始されることが好ましい。これにより、eスポーツを実際に行う環境等となるべく同じ状態としてニュートラル領域の決定を行うことができる。例えば、eスポーツを開始する前にウォーミングアップを行わせて(ゲームのウォーミングアップモードの実行)、その際に蓄積されるデータを利用して図14に示す処理が行われてもよい。ただし、図14に示す処理は、eスポーツの開始から数時間以上前に行われてもよい。また、図14に示す処理は、ユーザU1が日常生活を行っている間に行われてもよい。また、図14に示す処理は、場合によっては、eスポーツの開始後に行われてもよい。
【0114】
ステップS31では、領域決定部132が、取得部131で取得した生体センサ30の情報に基づいて対象となる指標種別を特定する。当該処理は、図11に示すステップS11と同様であるために、詳細な説明は省略する。指標種別が特定されると、次のステップS32に処理が進められる。
【0115】
ステップS32では、領域決定部132が、感情の推定対象であるユーザU1について、各指標種別のニュートラル領域の上限値および下限値が決定済みであるか否かを判定する。決定済みである場合(ステップS32でYes)、ステップS20(図12参照)に処理が進められる。決定済みでない場合(ステップS32でNo)、ステップS33に処理が進められる。ステップS32の処理は、図11に示すステップS12と同様であるために、詳細な説明は省略する。なお、図11に示す例と同様に、ステップS32の処理は行われなくてもよい。
【0116】
ステップS33では、領域決定部132が、指標種別ごとに、例えばクラスタ分析等の統計処理手法を用いて、ニュートラル領域の上限値および下限値を推定する。なお、クラスタ分析等の統計処理が行われる対象データは、指標種別ごとに蓄積された指標値の時系列データである。本実施形態では、「覚醒度」と「自律神経系活性度」との各指標値の時系列データを用いて、指標種別ごとにニュートラル領域の上限値および下限値が推定される。指標種別ごとの上限値および下限値が推定されると、次のステップS34に処理が進められる。
【0117】
ステップS34では、領域決定部132が、指標種別ごとに、ニュートラル領域の上限値および下限値が収束したか否かを判定する。本実施形態では、「覚醒度」のニュートラル領域の上限値および下限値が収束した否かが判定される。また、「自律神経系活性度」のニュートラル領域の上限値および下限値が収束した否かが判定される。全ての指標種別のニュートラル領域の上限値および下限値が収束したと判定されると(ステップS34でYes)、次のステップS35に処理が進められる。一方、ニュートラル領域の上限値および下限値が収束していない指標種別が存在する場合(ステップS34でNo)、ステップS33に処理が戻され、ステップS33以降の処理が行われる。
【0118】
ステップS35では、領域決定部132が、指標種別ごとに、先に収束したと判定された上限値および下限値を、ニュートラル領域の上限値および下限値に決定する。決定された上限値および下限値は、ニュートラル領域テーブル121dに保存される。指標種別ごとの、ニュートラル領域の上限値および下限値が決定されると、図12に示すステップS20に処理が進められて、感情の推定処理が行われる。当該感情の推定処理は、上述したために説明は省略する。
【0119】
なお、上限値および下限値が収束したと判定する判定条件(閾値)を厳しく設定しすぎると、上限値等が収束したと判定されるまでの時間が長くなる。そこで、時系列データの蓄積量が少ない段階では、判定条件を緩めに設定し、なるべく早くニュートラル領域が決定される構成としてよい。このようにすると、ニュートラル領域の設定精度は低下するが、短時間で感情の推定処理を行える状態とすることができる。そして、感情の推定が行える状態を早期に確保しつつ、データの蓄積量に応じて判定条件を変化させながら、図14に示すステップS33以降の処理を継続してもよい。このようにすると、ニュートラル領域の設定精度を徐々に上げ、感情の推定精度も徐々に高めることができる。
【0120】
上述のニュートラル領域の設定精度を徐々に上げる構成は、例えばeスポーツにおいて、次のような使い方ができる。ニュートラル領域の設定精度が低いゲーム開始当初においては、感情の推定精度が低い点をユーザU1に知らせつつ、感情の推定結果を画面表示する。ニュートラル領域の設定精度が上がり、感情の推定精度が所定レベル以上に上がった段階で、感情の推定精度が低いといった通知を解除し、正式に感情の推定結果を画面表示する。
【0121】
また、上述のニュートラル領域の設定精度を徐々に上げる構成は、例えば自動運転可能な車両において、次のような使い方ができる。ニュートラル領域の設定精度が低い段階では、単にドライバに感情の推定結果のみを表示する。ニュートラル領域の設定精度が上がり、感情の推定精度が所定レベル以上に上がった段階で、感情の推定結果に応じて自動運転と手動運転との切り替えを自動で行う。例えば、感情の推定結果からドライバがイライラしていると判定されると危険と判定して、手動運転を自動運転に切り替えるといったことができる。
【0122】
[1-4.変形例]
次に、第1実施形態の変形例について説明する。
【0123】
(1-4-1.第1変形例)
以上では、領域決定部132によって決定されたニュートラル領域をそのまま利用して感情推定モデル(心理平面)のキャリブレーションを行う構成とした。これとは異なり、コントローラ13は、感情の推定結果の使用目的に応じて、ニュートラル領域の調整を行ってもよい。ニュートラル領域の調整は、詳細には、領域決定部132によって決定されたニュートラル領域の幅を調整することを意味する。このような構成とすると、感情の推定処理によって感情の種別を特定できる可能性を使用目的に応じて変動させることができる。
【0124】
例えば、感情の推定の正確さを多少犠牲にしても、できるだけ推定される感情の種別をユーザU1に知らせたい場合には、心理平面において帯状となるニュートラル領域の幅が狭くなるように調整してよい。このように調整すれば、生体信号から得られる指標値がニュートラル領域に属する可能性が低減される。この結果、感情の種別を特定できる可能性を高くすることができる。なお、感情の推定の正確さを多少犠牲にしても、できるだけ推定される感情の種別をユーザU1に知らせたい場合としては、単に感情の種別を画面表示したい場合であって、感情の種別に応じた制御処理を行わない場合等が挙げられる。
【0125】
また、例えば、感情の種別をできるだけ正確に把握したい場合には、心理平面において帯状となるニュートラル領域の幅が広くなるように調整してよい。このように調整すれば、生体信号から得られる指標値が十分に大きくないと、ニュートラル領域に属することになる。この結果、感情の種別を誤って特定する可能性を低くすることができる。なお、感情の種別をできるだけ正確に把握したい場合としては、例えば、感情の推定結果をメンタルトレーニングに利用したい場合が挙げられる。また、感情の種別をできるだけ正確に把握したい場合としては、例えば、感情の種別を利用して車両の運転制御を行いたい場合が挙げられる。
【0126】
(1-4-2.第2変形例)
以上では、感情推定モデルのみを利用して感情の推定を行う構成としたが、これは例示である。コントローラ13は、感情推定モデルを用いた感情の推定に際して、生体信号とは異なる情報から推定される感情の推定結果を加味してよい。このように構成することにより、感情の種別をより適切に推定することができる。
【0127】
図15は、第1実施形態の推定システム1の変形例の概略の構成を示す図である。図15に示すように、変形例の推定装置(サーバ)10Aも、上述の第1実施形態と同様に、端末装置20AとネットワークNにより通信可能に接続されている。ただし、本変形例においては、端末装置20Aに生体信号の他に画像信号が入力され、当該画像信号が推定装置10Aに送信される点が上述の実施形態と異なる。なお、生体信号は、正確には生体信号を生体センサ30で計測したセンサ信号である。また、画像信号は、ユーザU1を撮影するカメラ(不図示)から出力される信号である。当該カメラは、例えばゲーム装置40に内蔵されてよい。また、ゲーム装置40とは別に設置される構成であってもよい。
【0128】
推定装置10Aは、上述の第1実施形態と同様に、図10等に示される感情推定モデルを用いて感情の推定を行う。ここで、感情推定モデルの利用により、「楽しみ、喜び、怒り、悲しみ」(心理平面の第一象限に該当)の感情を有すると推定されたとする。このような場合に、推定装置10Aは、ユーザU1の顔画像の画像処理を行い、表情の解析を行って感情の種別を分類する。例えば、画像情報を利用して、「楽しみ、喜び」、「怒り」、「悲しみ」の3つのいずれかに分類する。すなわち、画像情報を加味することで、感情推定モデルにより推定される感情の種別を、より詳細に分類することができる。
【0129】
なお、以上では、感情推定モデル(心理平面)により、第一象限の感情が推定された場合を例示したが、他の象限の感情が推定された場合にも、画像情報を利用した分類が行われてよい。例えば、感情推定モデルを利用して推定された感情の種別に、ポジティブな感情とネガティブな感情とが混在しているような場合に、画像情報を利用した分類が行われてよい。また、以上では、画像情報を利用したが、例えば音声情報等の画像情報以外の情報が利用されてもよい。
【0130】
車両のドライバの感情の推定を行う場合を例に説明する。この場合、例えばドライブレコーダ用の車載カメラ等を、上述の画像情報を得るカメラとして利用することができる。画像情報以外を利用する場合、例えばドライブレコーダ等の車載装置が有するマイクにより得られる音声情報が利用されてもよい。なお、音声情報を利用する場合、ドライバに対して所定の質問をして、それに対するドライバの応答を解析して感情の分類を行ってもよい。また、画像情報以外を利用する場合の例として、CAN(Controller Area Network)情報や、運転行動情報等が利用されてもよい。
【0131】
感情の推定に利用されるCAN情報としては、例えばアクセル情報、ブレーキ情報、又は、舵角情報等が挙げられる。例えば、アクセル、ブレーキ、および、舵角は、ドライバが怒りの感情やイライラした感情を有する場合に粗い操作となり易く、これらの情報を解析することで感情の分類が可能である。また、運転行動情報は、例えば、CAN情報、レーダ情報、LiDAR(Light Detection and Ranging)情報、および、車両の周辺環境を撮影する画像情報のちの少なくとも1つの情報から取得することができる。例えば、歩行者や他の車両に道を譲る傾向が認められれば、怒りや悲しみの感情を有しないと判定できる。また、例えば、車間距離が短いと認められれば、怒りの感情やイライラした感情を有すると判定できる。
【0132】
<2.第2実施形態>
次に、第2実施形態について説明する。第2実施形態の説明にあたって、第1実施形態と同様の構成要素については、基本的に同様の符号を付し、特に説明の必要がない場合には説明を省略する。
【0133】
[2-1.推定システム]
第2実施形態の推定システムは、第1実施形態の推定システム1と同様の構成である。このために、第2実施形態の推定システムの詳細な説明は省略する。なお、第2実施形態の推定システムは、推定装置10B(後述の図16参照)と、生体信号を計測する生体センサ30(図1参照)とを備える。生体センサ30は、脳波センサとして構成される第1センサ31と、心拍センサとして構成される第2センサ32とを含む。
【0134】
[2-2.推定装置]
図16は、本発明の第2実施形態に係る推定装置10Bの構成例を示す図である。推定装置10Bの構成は、概ね第1実施形態の推定装置10(図3参照)と同様である。推定装置10Bは、第1実施形態と同様に、通信部11および記憶部12を備える。また、推定装置10Bは、コントローラ13Bを備える。
【0135】
コントローラ13Bの構成は、第1実施形態のコントローラ13の構成と同様である。また、コントローラ13Bの機能は、第1実施形態のコントローラ13の機能と概ね同様である。ただし、コントローラ13Bは、その機能として、適性推定部135を備える点で第1実施形態のコントローラ13と異なる。適性推定部135は、他の機能部131~134と同様に、例えば、ソフトウェアにより実現される。なお、適性推定部135は、専用のIC等を用いてハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを併用して実現されてもよい。
【0136】
また、本実施形態の推定装置10Bは、各機能部131~135のうち、取得部131および適性推定部135を備え、領域決定部132、感情推定部133、および、提供部134は備えない構成であってもよい。この場合、推定装置10Bは、感情の推定を行うための準備を行う装置であってよい。そして、領域決定部132、感情推定部133、および、提供部134のうち、少なくとも感情推定部133を備える感情推定装置が、推定装置10Bとは別に設けられてよい。
【0137】
適性推定部135の説明を行う前に、適性推定部135が設けられる理由について説明しておく。生体信号に基づいて得られる情報は、環境や体調等の影響を受けやすい。このために、生体信号に基づいて感情の推定を行う時点で、当該感情推定の対象となる者が、環境等の影響を受けて、感情推定に不適な状態となっていることがあり得る。そして、このような状態で感情推定が行われると、感情推定の誤りが生じる可能性が高く、感情の推定精度が低下する虞がある。本実施形態では、このような感情推定精度の低下を抑制するために、適性推定部135が設けられている。
【0138】
適性推定部135は、ユーザU1の、生体信号に基づく感情推定に対する適性を推定する。詳細には、適性推定部135(すなわちコントローラ13B)は、ユーザU1に複数種のタスクを与える。また、適性推定部135は、複数種のタスクそれぞれの実行時における生体信号に基づく指標値を取得する。また、適性推定部135は、複数の指標値間の関係性に基づき、ユーザU1の感情推定に対する適性を推定する。
【0139】
このような構成によれば、感情推定の実施前に複数種のタスクをユーザU1に実行させることによって、ユーザU1の感情推定に対する適性を推定することができる。この結果、感情推定に適した状態で感情の推定を行うできる可能性が高まり、感情推定の精度を向上することができる。
【0140】
以上のような機能を有する適性推定部135について、更に詳細に説明する。
【0141】
適性推定部135がユーザU1に実行させる複数種のタスクのそれぞれは、医学的エビデンスに基づき生理反応(例えば覚醒度等)を所定の状態に喚起できるタスクである。そして、複数種のタスクは、互いに、喚起できる生理反応の大きさ(指標値)が異なる。すなわち、複数種のタスクのそれぞれをユーザU1に実行させた際に得られる生理反応の大きさ(指標値)には序列が生じる。
【0142】
本実施形態において、テーブル121(図16参照)には、適性推定用のタスクテーブル121eが含まれる。適性推定用のタスクテーブル121eは、上述の複数種のタスクに関する情報を含む。図17は、適性推定用のタスクテーブル121eの一例を示す図である。図17に示すように、適性推定用のタスクテーブル121eの項目には、「タスクID」、「センサ種別」、「対応指標種別」、「序列」、および、「タスク内容」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図4A等と同様であるために、説明は省略する。なお、「対応指標種別」は、対応生理反応種別と表現してもよい。
【0143】
適性推定用のタスクテーブル121eの項目「タスクID」は、適性推定用のタスクテーブル121eにおけるタスク情報を識別するための識別情報であるIDデータを記憶する。
【0144】
適性推定用のタスクテーブル121eの項目「序列」は、上述の複数種のタスクをユーザU1が実行した場合における生理反応の大きさ(指標値)の序列情報を記憶する。この序列情報は、医学的エビデンスに基づき決められる。例えば、生理反応の種別(指標種別)が覚醒度である場合、序列は、タスクに実行時に得られる指標値の大きさで決まる。適性推定用のテーブル121eにおいては、医学的エビデンスにより指標値が大きくなると判断されるものほど、序列が上位となる(序列を示す数字が小さくなる)構成である。
【0145】
適性推定用のタスクテーブル121eの項目「タスク内容」は、ユーザU1に実行させるタスクの具体的な内容を記憶する。タスク内容は、上述の序列と共に医学的エビデンスに基づき決定される。例えば生理反応の種別が覚醒度である場合の序列1位のタスク内容は、「圧痛を与える」である。「圧痛を与える」とは、詳細には、足裏マッサージなど、誰もが痛いと感じる圧痛を所定時間与えることである。また、例えば生理反応の種別が覚醒度である場合の序列2位のタスク内容は、「表示される数字を暗算加算」である。また、例えば生理反応の種別が覚醒度である場合の序列3位のタスク内容は、「安静にして拳を握る」である。また、例えば生理反応の種別が覚醒度である場合の序列4位のタスク内容は、「閉眼安静(何も考えない)」である。
【0146】
適性推定部135は、例えば、ユーザU1が装着している生体センサ30のセンサ種別情報と、適性推定用のタスクテーブル121eとを照合して、ユーザU1に実行させる複数種のタスクを決定する。なお、センサ種別情報については、取得部131が、生体センサ30と通信接続される端末装置20を介して取得する。また、ユーザU1が装着する生体センサ30が複数種類である場合、各種別の生体センサ30を用いた適性推定が行われてもよい。また、ユーザU1が装着する生体センサ30が複数種類である場合に、いずれか1つの種別の生体センサ30を用いた適性推定が行われてもよい。
【0147】
例えば、本実施形態では、ユーザU1が装着する生体センサ30は、第1センサ31と第2センサ32との2つである。適性推定用のタスクテーブル121eに、これら2つのセンサ31、32に対応する適性推定用のタスクがある場合には、各センサ31、32を用いた適性推定が行われてもよいし、いずれか一方のセンサを用いた適性推定が行われてもよい。いずれか一方のセンサを用いた適性推定が行われる場合、例えば、予め準備された優先順位情報に従って、適性推定を行うセンサの種別が決められてよい。また、適性推定用のタスクテーブル121eに、いずれか一方のセンサに対応する適性推定用のタスクしかない場合には、当該センサを用いた適性推定が行われればよい。
【0148】
例えばセンサ種別が脳波センサBAである場合を例に説明する。適性推定部135は、ユーザU1に4つのタスクを実行させる。4つのタスクの実行させる順番は、特に限定されないが、例えば、序列の順位が低い方(すなわち覚醒度が小さい方)から行われる。適性推定部135は、ユーザU1が実行した4種類のタスクそれぞれの指標値(覚醒度の大きさ)を取得する。なお、指標値は、ユーザU1の脳波を計測する脳波センサBAから得られる信号と、センサテーブル121a(図4A参照)に含まれる指標変換情報とを用いて求められる。適性推定部135は、取得した4つの指標値の序列を、それらの指標値の大きさに応じて決定する。
【0149】
そして、適性推定部135は、ユーザU1による各タスクの実行時に得られる指標値の序列が、適性推定用のタスクテーブル121eの序列と一致するか否かを判定する。両者が一致する場合、適性推定部135は、ユーザU1が感情の推定に適した状態と推定する。両者が一致しない場合、適性推定部135は、ユーザU1が感情の推定に不適な状態であると推定する。
【0150】
すなわち、コントローラ13Bは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列が、予め設定された序列である設定序列と一致する場合に、ユーザU1が感情の推定に適した状態であると推定する。また、コントローラ13Bは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列が、設定序列と異なる場合に、ユーザU1が感情の推定に不適な状態であると推定する。このように構成では、医学的エビデンスに基づいて決まる生理反応の大きさの序列に応じて、簡単にユーザU1が感情の推定に適した状態であるか否かを判定できる。
【0151】
なお、以上に示す例では、生理反応の種別が覚醒度である場合、適性推定用にユーザU1が要求されるタスクの種類は4種類である(図17参照)。ただし、これは、例示である。適性推定用にユーザU1が要求されるタスクの種類は複数種類であればよく、例えば2つ等であってもよい。なお、タスクを実行させた際に起こる生理反応の大きさが大きく離れた2つのタスクだけを行わせる構成とすると、ユーザU1の体調や置かれている環境が変わった場合でも、ユーザU1によるタスクの実行時に得られる序列が設定序列と入れ替わらない可能性がある。すなわち、適性推定の意義が損なわれる可能性がある。このような点に注意して、適性推定が適当なものとなるように(環境変化等に応じてタスクの実行時に得られる序列が適当に入れ替わるように)ユーザU1に実行させるタスクの種類は決定されることが好ましい。
【0152】
本実施形態では、ユーザU1が感情の推定に適した状態と推定されると、領域決定部132および感情推定部133により、上述の第1実施形態と同様の感情推定が行われる。すなわち、コントローラ13Bは、ユーザU1が感情推定に適した状態と推定される場合に、生体信号に基づく指標値による感情推定を実行する。コントローラ13Bは、生体信号に基づく指標値が、ニュートラル領域、正領域、および、負領域で構成される3つの領域のいずれに属するかを識別する。コントローラ13Bは、指標値がニュートラル領域に属する場合に、感情不定状態であると判定する。コントローラ13Bは、指標値を複数種求め、複数種の指標値のいずれもがニュートラル領域の領域外である場合に、複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を推定する。
【0153】
なお、第2実施形態の感情の推定の手法は、第1実施形態の感情の推定の手法と全く異なる手法であってもよい。感情の推定の手法は、公知の手法であってもよい。
【0154】
また、本実施形態では、提供部134によって、感情の推定結果が、ネットワークNを介して端末装置20に提供される。
【0155】
[2-3.推定方法]
次に、推定装置10Bによって実行される推定方法について説明する。
【0156】
なお、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、1つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。
【0157】
図18は、第2実施形態の推定装置10Bによって実行される適性推定処理の一例を示すフローチャートである。図18に示す処理は、例えば、第1センサ31および第2センサ32を含む生体センサ30からの信号を、推定装置10Bの取得部131が取得開始することにより開始される。なお、図18に示す適性推定処理は、eスポーツが開始される前に行われることが好ましい。
【0158】
ステップS41では、適性推定部135が変数nをゼロとする。なお、変数nは回数を示す。変数nがゼロとされると次のステップS42に処理が進められる。
【0159】
ステップS42では、適性推定部135が、取得部131で取得した生体センサ30の情報と、適性推定用のテーブル121eとに基づいて対象となる指標値を特定する。本実施形態では、例えばセンサ種別として脳波センサが特定され、更に、指標として覚醒度が特定される。そして、適性推定部135は、特定された指標に対応したタスクをユーザU1に対して順次与え、与えられたタスクをユーザが実行している際に生体信号に基づく指標値を取得する。
【0160】
本実施形態では、例えば、「閉眼安静(何も考えない)」、「安静にして拳を握る」、「表示される数字を暗算加算」、「圧痛を与える」がユーザU1に対して順次与えられる。そして、ユーザU1によるタスクの実行ごとに、脳波に基づく指標値(覚醒度の指標値)が取得される。なお、タスクは、例えば、ユーザU1が使用するゲーム装置40における画面表示を利用して与えられてよい。また、タスクは、画面表示に代えて、或いは、画面表示に加えて音声案内によって与えられてもよい。適性推定部135は、与えたタスクごとの指標値を取得すると、次のステップS43に処理を進める。
【0161】
ステップS43では、適性推定部135は、ユーザU1のタスクの実行に応じて取得した複数(本実施形態では4つ)の指標値を、値が大きい方から序列の順位が上となるように並べる。そして、適性推定部135は、ユーザU1のタスクの実行により得られた序列が、適性推定用のテーブル121eに記憶される設定序列(項目「序列」に示される序列)と同じであるか否かを判定する。適性推定部135は、2つの序列が同じである場合(ステップS43でYes)、次のステップS44に処理を進める。一方、適性推定部135は、2つの序列が異なる場合(ステップS43でNo)、ステップS42に処理を戻す。
【0162】
ステップS44では、適性推定部135が、変数nに1を加える。変数nに1を加える処理が行われると、次のステップS45に処理が進められる。
【0163】
ステップS45では、適性推定部135が、変数nが予め準備された閾回数nth以上であるか否かを判定する。閾回数nthは、例えば実験を行って決定される。変数nが閾回数以上であれば(ステップS45でYes)、ユーザU1が感情の推定に適した状態であると推定して、図11に示すステップS11或いは図14に示すステップS31に処理が進められる。そして、図11或いは図14に示す処理の完了後に、図12に示すステップS20に処理が進められて感情の推定が行われる。なお、図11或いは図14に示されるキャリブレーションの準備処理は省略されてもよい。一方、変数nが閾回数より小さい場合には(ステップS45でNo)、ステップS42に処理が戻される。
【0164】
以上からわかるように、本実施形態では、ユーザU1のタスクの実行により得られる序列と、予め準備された設定序列との一致回数が所定の複数回となった場合に、ユーザU1が感情の推定に適した状態であると推定される。ただし、これは例示であり、ユーザU1のタスクの実行により得られる序列と、予め準備された設定序列とが、一回一致すれば、ユーザU1が感情の推定に適した状態であると推定されてもよい。
【0165】
また、本実施形態では、ユーザU1のタスクの実行により得られる序列と、予め準備された設定序列との一致回数が所定の複数回とならなければ、ユーザU1が感情の推定に不適な状態であると推定して、いつまでも適性推定用のタスクが与えられる。ただし、これは例示である。例えば、ユーザU1のタスクの実行により得られる序列と、予め準備された設定序列との不一致回数が所定回数となった時点で、ユーザU1が感情の推定に不適な状態であると推定して、適性推定の処理が一旦終了されてもよい。
【0166】
[2-4.変形例]
次に、第2実施形態の変形例について説明する。
【0167】
(2-4-1.第1変形例)
図19は、第2実施形態の推定装置10Bによって実行される適性推定処理の変形例を示すフローチャートである。
【0168】
ステップS51では、適性推定部135が、取得部131で取得した生体センサ30の情報と、適性推定用のテーブル121eとに基づいて対象となる指標を特定する。そして、適性推定部135は、特定された指標に対応したタスクをユーザU1に対して順次与え、与えられたタスクをユーザが実行している際に生体信号に基づく指標値を取得する。これらの処理は、上述の図18のステップS42の処理と同様である。適性推定部135は、与えたタスクごとの指標値を取得すると、次のステップS52に処理を進める。
【0169】
ステップS52では、適性推定部135が、ユーザU1のタスクの実行に応じて取得した複数の指標値を、値が大きい方から序列の順位が上となるように並べる。そして、適性推定部135は、ユーザU1のタスクの実行により得られた序列と、適性推定用のテーブル121eに記憶される設定序列(項目「序列」に示される序列)とを比較する。例えば、当該比較により、2つの序列が完全に一致するといった結果が得られる。また、例えば、当該比較により、2つの序列の間で、前後関係にある順位の入れ替わりが1つあるという結果が得られる。例えば、生理反応(指標)が覚醒度の場合を例に説明する。前後関係にある順位の入れ替わりが1つある場合として、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が2位となり、「表示される数字を暗算加算」が行われた場合に得られる指標値の大きさの順位が3位となる場合が挙げられる。比較結果が得られると、次のステップS53に処理が進められる。
【0170】
ステップS53では、適性推定部135が、先に得られた比較結果に応じて適性レベルを推定する。適性レベルの推定には、適性レベルテーブル121f(図20参照)が利用される。図20は、適性レベルテーブル121fの一例を示す図である。図20に示すように、適性レベルテーブル121fの項目には、「適性推定タスクID」、「センサ種別」、「対応指標種別」、「比較状況」、および、「適性レベル」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図17等と同様であるために、説明は省略する。
【0171】
適性レベルテーブル121fの項目「適性タスクID」は、適性推定用のタスクテーブル121e(図17参照)の項目「タスクID」に対応した情報を記憶する。
【0172】
適性レベルテーブル121fの項目「比較状況」は、ステップS52における比較結果と照合する情報を記憶する。なお、生理反応の種別によってタスクの数に違いがあることがある。このために、「比較状況」と「適性レベル」との対応関係は、必ずしも一通りとはならない。このような点を考慮して、本例では、生理反応の種別ごとに「比較状況」が設けられている。例えば、生理反応の種別(指標種別)が覚醒度である場合、比較状況の情報には、「完全一致」、「前後関係にある順位の入れ替わりが1つあり」、および、「その他」が含まれる。「その他」は、比較結果が「完全一致」と「前後関係にある順位の入れ替わりが1つあり」とのいずれでもない場合である。
【0173】
引き続き、生理反応の種別が覚醒度の場合を例に説明する。「その他」として、例えば、2つ離れた順位の入れ替わりが1つある場合が挙げられる。このような場合として、例えば、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が1位となり、ユーザU1が「圧痛を与える」を行った場合に得られる指標値の大きさの順位が3位となる場合が挙げられる。また、「その他」には、例えば、序列の順位の入れ替わり箇所が2つ存在する場合が含まれる。このような場合として、次の第1の場合と、第2の場合との両方が満たされる場合が挙げられる。第1の場合は、例えば、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が4位となり、「閉眼安静」が行われた場合に得られる指標値の大きさの順位が3位となる場合である。第2の場合は、例えば、「圧痛を与える」が行われた場合に得られる指標値の大きさの順位が2位となり、「表示される数字を暗算加算」を行った場合に得られる指標値の大きさの順位が1位となる場合である。
【0174】
適性レベルテーブル121fの項目「適性レベル」は、比較結果の内容に応じて決まる適性レベルの情報が含まれる。図20に示す例では、比較結果が「完全一致」の場合に適性レベルは「適正」である。比較結果が「前後関係にある順位の入れ替えが1つあり」の場合の適性レベルは、「やや不安定」である。比較結果が「その他」の場合の適性レベルは、「不適」である。なお、本例では、適性レベルは3段階であるが、これは例示であり、4段階以上であってもよい。
【0175】
適性レベルが推定されると、次のステップS54に処理が進められる。
【0176】
ステップS54では、適性推定部135が、ユーザU1の感情の推定を実施するか否かを判定する。例えば、図20に示すような3段階で適性レベルが推定される構成では、上位2つのレベルの場合に、感情の推定を実施すると判定されてよい。なお、上位2つのレベルには、「適正」および「やや不安定」が該当する。また、最も低いレベルの場合には、感情の推定を実施しないと判定されてよい。なお、最も低いレベルには、「不適」が該当する。
【0177】
感情の推定を実施すると判定された場合(ステップS54でYes)、図11に示すステップS11或いは図14に示すステップS31に処理が進められる。そして、図11或いは図14に示す処理の完了後に、図12に示すステップS20に処理が進められて感情の推定が行われる。また、感情の推定を実施しないと判定された場合(ステップS54でNo)、ステップS55に処理が進められる。
【0178】
ステップS55では、適性推定部135は、ユーザU1が感情推定に不適であることを報知する処理を行う。例えば、適性推定部135は、ユーザU1が使用するゲーム装置40(図1参照)の画面に、ユーザU1が感情推定に不適であることを報知させる。図21は、ユーザU1が感情推定に不適であることを報知する画面例である。図21に示すように、ユーザU1が感情推定に不適な状態である場合、例えば20分後等に再度適性確認を行うように促してもよい。
【0179】
以上からわかるように、本変形例では、コントローラ13Bは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列と、複数種のタスクに予め設定された序列である設定序列とのずれ度合に応じて、ユーザの感情推定に対する適性のレベルを推定する。このように適性レベルの推定を行う構成とすると、コントローラ13Bは、レベルに応じて感情推定の結果の利用形態を変更することができる。
【0180】
例えば、適性レベルが「適正」と推定された場合には、感情の推定結果を上述の図13A図13Bに示すような通常表示を行ってよい。一方、適性レベルが「やや不安定」と推定された場合には、図22に示すように、感情の推定結果を仮表示する構成としてよい。図22は、感情の推定結果を画面に仮表示する例を示す図である。図22では、注意書きを画面表示の中に入れて、仮表示であることをユーザU1に知らせる構成となっている。また、例えば、自動運転制御の場合を例に挙げて説明すると、適性レベルが「適正」である場合には、感情の推定結果に応じて自動運転に関わる制御を行う構成としてよい。一方、適性レベルが「やや不安定」である場合には、感情の推定結果は単に車載装置の画面に参考程度に表示するだけとし、自動運転に関わる制御には用いない構成としてよい。
【0181】
また、コントローラ13Bは、適性レベルに応じてニュートラル領域NR(図10参照)の調整を行ってよい。このように構成することによって、感情の推定の誤りが生じる可能性を抑制することができる。例えば、適性レベルが「やや不安定」である場合に、適性レベルが「適正」である場合に比べて、ニュートラル領域の幅が広く調整されてよい。
【0182】
(2-4-2.第2変形例)
図23は、第2実施形態の推定装置10Bによって実行される適性推定処理の他の変形例を示すフローチャートである。図23に示すフローチャートは、図19に示すフローチャートと概ね同様である。このために、異なる部分に絞って説明する。図23に示す例では、感情の推定を実施しないと判定された場合(ステップS54でNo)、ステップS55に即座に処理が進められず、その前に、ステップS56の処理が行われる。この点が、図19に示すフローとは異なる。なお、本変形例では、ステップS53の適性レベルの推定に変えて、感情推定に適した状態であるか否かの推定が行われてもよい。
【0183】
ステップS56では、適性推定部135が、感情の推定を行う他の手段があるか否かを判定する。他の手段は、例えば、ユーザU1が装着している他の生体センサ30であってよい。例えば、脳波センサである第1センサ31を用いて感情推定に不適な状態であると判定された場合でも、心拍センサである第2センサ32を用いて感情推定に適した状態であると推定される可能性がある。このような場合には、脳波センサの代わりに心拍センサを用いて感情推定が行われてよい。また、例えば、他の手段は、ユーザU1の顔画像を撮影するカメラ(センサの一例)であってもよい。すなわち、カメラで撮影されたユーザU1の顔画像を用いて感情推定が行われてよい。
【0184】
以上からわかるように、コントローラ13Bは、ユーザU1が感情推定に不適な状態であると推定された場合に、当該不適との推定を行うに至った情報を与えたセンサと異なるセンサの情報を利用して感情推定を実行してよい。このように構成することで、感情の推定結果が得られないという状態になる可能性を抑制することができる。
【0185】
<3.留意事項等>
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。
【符号の説明】
【0186】
1・・・推定システム
10、10A、10B・・・推定装置
13、13B・・・コントローラ
30・・・生体センサ
NR・・・ニュートラル領域
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23