特開 2023-180321 感情推定システム、感情推定装置、感情推定方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180321

(43)【公開日】2023-12-21

(54)【発明の名称】感情推定システム、感情推定装置、感情推定方法、および、プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20231214BHJP

   A61B 5/11 20060101ALI20231214BHJP

   A61B 5/113 20060101ALI20231214BHJP

   A61B 5/0245 20060101ALI20231214BHJP

   A61B 5/18 20060101ALN20231214BHJP

【ＦＩ】

A61B5/16 120

A61B5/11 110

A61B5/113

A61B5/0245 C

A61B5/18

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022093516

(22)【出願日】2022-06-09

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】水島 大地

(72)【発明者】

【氏名】林 空良

(72)【発明者】

【氏名】藏森 岳久

(72)【発明者】

【氏名】中込 貴之

(72)【発明者】

【氏名】佐藤 辰耶

(72)【発明者】

【氏名】國島 悠也

【テーマコード（参考）】

4C017

4C038

【Ｆターム（参考）】

4C017AA02

4C017AB02

4C017AB04

4C017AC40

4C017BC02

4C017BC21

4C017FF05

4C038PP03

4C038PQ04

4C038PQ06

4C038PS00

4C038VA04

4C038VA16

4C038VA18

4C038VA20

4C038VB32

4C038VB33

4C038VC05

4C038VC20

(57)【要約】

【課題】生体データに基づいて少ない計算量で高精度に対象者の感情を推定する。
【解決手段】実施形態の感情推定システムは、生体センサから生体データを取得する取得部と、生体データのうち、対象者の安静時の生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、中立基準に対して、ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、生体データのうち、所定時間分の検査対象の生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、検査点に基づいて対象者の感情を推定する推定部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサと、
前記生体センサから前記生体データを取得する取得部と、
前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、
前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、
前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、
前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、
前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、
前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、を備える感情推定システム。

【請求項2】

前記推定部は、
前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記面積と前記距離をそれぞれ正規化し、予め設定された重回帰式のパラメータに正規化した前記面積と前記距離を代入し、演算結果が予め定められた所定の条件を満たすとき、快感情であると推定する、請求項１に記載の感情推定システム。

【請求項3】

前記対象者の呼吸データを計測する呼吸センサをさらに備え、
前記取得部は、前記呼吸センサから前記呼吸データを取得し、
前記推定部は、前記呼吸データに基づいて前記対象者が発話中か否かを判定し、前記対象者が発話中であると判定した場合、前記対象者の感情の推定結果を無効化する、請求項１に記載の感情推定システム。

【請求項4】

前記所定の生体データは、前記対象者の心拍データである、請求項１に記載の感情推定システム。

【請求項5】

対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得部と、
前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、
前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、
前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、
前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、
前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、
前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、を備える感情推定装置。

【請求項6】

対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得ステップと、
前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定ステップと、
前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定ステップと、
前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出ステップと、
前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、
前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、
前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定ステップと、を含む感情推定方法。

【請求項7】

コンピュータを、
対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得部と、
前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、
前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、
前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、
前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、
前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、
前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定システム、感情推定装置、感情推定方法、および、プログラムに関する。

【背景技術】

【0002】

近年、車両の走行支援システム等において、乗員の生体データ（心拍データ等）を取得する技術が利用されている。そして、取得した生体データに対して、例えば、高速フーリエ変換やポアンカレプロットなどの種々の手法を適用することで、乗員の感情を推定することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１２１２８６号公報

【特許文献2】特開２０１０－２３４０００号公報

【特許文献3】特開２０１９－１７９４６号公報

【特許文献4】特許第５６１９７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の従来技術では、例えば、高速フーリエ変換を用いた手法では、計算量が多いという問題がある。また、例えば、ポアンカレプロットを用いた手法では、個人差による影響を考慮できていないことなどにより、精度の点で改善の余地がある。

【0005】

そこで、本発明の実施形態は、生体データに基づいて少ない計算量で高精度に対象者の感情を推定することができる感情推定システム、感情推定装置、感情推定方法、および、プログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の実施形態の感情推定システムは、対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサと、前記生体センサから前記生体データを取得する取得部と、前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、を備える。
この構成により、中立基準を算出し、検査点と第１閾値と第２閾値を比較し、さらに、検査点が第２閾値よりも大きい状態が所定時間継続した場合は別の推定ロジックに切り替えることで、生体データに基づいて少ない計算量で高精度に対象者の感情を推定することができる。

【0007】

また、前記推定部は、前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記面積と前記距離をそれぞれ正規化し、予め設定された重回帰式のパラメータに正規化した前記面積と前記距離を代入し、演算結果が予め定められた所定の条件を満たすとき、快感情であると推定する。
この構成により、正規化した面積と距離と、予め設定された重回帰式とを用いることで、個人差による影響をさらに減少させて高精度な感情推定を行うことができる。

【0008】

前記対象者の呼吸データを計測する呼吸センサをさらに備え、前記取得部は、前記呼吸センサから前記呼吸データを取得し、前記推定部は、前記呼吸データに基づいて前記対象者が発話中か否かを判定し、前記対象者が発話中であると判定した場合、前記対象者の感情の推定結果を無効化する。
この構成により、感情の推定精度が低下しやすい発話中については、感情推定を無効化することができる。

【0009】

前記所定の生体データは、前記対象者の心拍データである。
この構成により、心拍データを用いて対象者の感情推定を行うことができる。

【0010】

また、本発明の実施形態の感情推定装置は、対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得部と、前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、を備える。

【0011】

また、本発明の実施形態の感情推定方法は、対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得ステップと、前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定ステップと、前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定ステップと、前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出ステップと、前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定ステップと、を含む。

【0012】

また、本発明の実施形態の感情推定システムは、コンピュータを、対象者に関する周期的に変動する所定の生体データであって、前記対象者の感情の変化によって周期の長さが変わる傾向がある前記生体データを計測する生体センサから前記生体データを取得する取得部と、前記生体データのうち、前記対象者の安静時の前記生体データに基づいて２軸における点群からなるポアンカレプロットを生成し、その重心位置を算出して中立基準として設定する中立基準設定部と、前記中立基準に対して、前記ポアンカレプロットの原点方向の所定位置に第１閾値を設定し、前記ポアンカレプロットの原点方向と逆方向の所定位置に第２閾値を設定する閾値設定部と、前記生体データのうち、所定時間分の検査対象の前記生体データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する算出部と、前記検査点が前記第１閾値と前記第２閾値の間にある状態が所定時間継続した場合、中立感情と推定し、前記検査点が前記第１閾値よりも小さい状態が所定時間継続した場合、不快感情と推定し、前記検査点が前記第２閾値よりも大きい状態が所定時間継続した場合、前記検査点に対応するポアンカレプロットの分布の広さに応じた面積を算出し、前記面積と、中立基準と前記検査点の距離と、に基づいて、快感情か否かを推定する推定部と、して機能させるためのプログラムである。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態の車両システムの構成を模式的に示す図である。

【図2】図２は、実施形態の車両システムの機能構成の概要を示すブロック図である。

【図3】図３は、実施形態におけるポアンカレプロットの例を示す図である。

【図4】図４は、実施形態の情報処理装置による第１の処理を示すフローチャートである。

【図5】図５は、実施形態の情報処理装置による第２の処理を示すフローチャートである。

【図6】図６は、実施形態の情報処理装置による第３の処理を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果、及び効果は、例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や派生的な効果のうち、少なくとも一つを得ることが可能である。

【0015】

図１は、実施形態の車両システム１の構成を模式的に示す図である。図２は、実施形態の車両システム１の機能構成の概要を示すブロック図である。車両システム１では、例として、座席２１に着座している乗員２の感情を推定する。車両システム１は、図１、図２に示す各構成を備える。なお、図２に示していて図１への図示を省略している構成もある。

【0016】

また、本実施形態では、対象者（乗員２）に関する周期的に変動する所定の生体データであって、対象者の感情の変化によって周期の長さが変わる傾向がある生体データとして、心拍データを例にとって説明する。

【0017】

心拍センサ１１（生体センサ）は、乗員２に向けて電波を送信し、乗員２からの反射波を受信することにより乗員２の心拍に対応する電気信号である心拍信号（心拍データ）を検出する。心拍センサ１１は、座席２１の背もたれ部２２に配置され、乗員２の所定部分（例えば背部の心臓近傍部）に向けて電波（送信波）を送信し、送信波が乗員２によって反射されて発生した反射波を受信する。心拍センサ１１は、送受信する電波の周波数の変化に基づいて、乗員２の心拍（拍動に伴う脈動）に対応する心拍信号を検出する。心拍センサ１１の送信波の周波数は、使用状況に応じて適宜選択可能であるが、例えば２４ＧＨｚ程度である。心拍センサ１１は、例えば、ドップラー方式のセンサである。

【0018】

ウェアラブルデバイス１２は、例えば、心拍データ取得機能付きのスマートウォッチである。なお、本実施形態では、心拍データを取得する手段として心拍センサ１１とウェアラブルデバイス１２を用いているが、両方が必須ということではなく、少なくともいずれか一方があればよい。また、心拍データを取得する手法は、これらに限定されない。ほかに、例えば、カメラによる乗員の撮影画像を画像処理して心拍データを取得する手法や、ステアリングホイールに配置されたステアタッチセンサによってステアリングホイールを把持している乗員の手をセンシングして心拍データを取得する手法を用いてもよい。

【0019】

認証機器１３は、認証タグやＩＤ（Identifier）カードから認証情報を取得する機器である。

【0020】

車両情報センサ１４は、各種の車両情報を取得するセンサである。車両情報としては、例えば、ステアリング情報、アクセル操作情報、ブレーキ操作情報、車両速度情報、車室内温度情報、車両周辺情報、車両位置情報などが挙げられる。

【0021】

呼吸センサ１５は、乗員２の呼吸データを計測する。呼吸センサ１５は、例えば、画像センサや、ベルト式で胸囲や腹囲の変化を検知するセンサ等により実現される。

【0022】

表示装置６１は、各種情報を表示する手段で、例えば、液晶表示機である。

【0023】

音響機器６２は、各種音声を発生する手段であり、例えば、スピーカーである。

【0024】

芳香機器６３は、車内に所定の芳香成分を拡散させる機器である。乗員は、この芳香成分を鼻、肺、皮膚等から吸収することで、自律神経やホルモンバランスや各種器官の調子を整えることができる。

【0025】

シート制御機構６４は、乗員２が座るシートの姿勢を変更したりマッサージ機能を実行したりする機構である。

【0026】

駆動機構６５は、運転者のアクセル操作や自動駆動によって車両の駆動源（エンジン、モータ等）を駆動する機構である。

【0027】

制動機構６６は、運転者のブレーキ操作や自動制動によって車両を減速、停止させるための制動を行う機構である。

【0028】

操舵機構６７は、運転者のステアリング操作や自動操舵によって車両の進行方向を変化させる機構である。

【0029】

空調機構６８は、温度調整、風量調整、換気等の空調を行う機構である。

【0030】

通信機器６９は、外部装置に対して緊急通報等の各種通信を行う機器である。

【0031】

情報処理装置５は、例えば、ＥＣＵ（Electronic Control Unit）である。なお、情報処理装置５は、車両制御用のＥＣＵを利用して実現してもよいし、別のＥＣＵによって実現してもよい。情報処理装置５は、処理部５１と、記憶部５２と、を備える。処理部５１は、機能構成として、取得部５１１と、設定部５１２と、算出部５１３と、推定部５１４と、制御部５１５と、を備える。

【0032】

取得部５１１は、他の構成から各種情報を取得する。例えば、取得部５１１は、心拍センサ１１やウェアラブルデバイス１２から心拍データを取得する。また、取得部５１１は、認証機器１３から認証タグやＩＤカードの認証情報を取得する。また、取得部５１１は、車両情報センサ１４から各種車両情報を取得する。また、取得部５１１は、呼吸センサ１５から呼吸データを取得する。

【0033】

以下、図３も併せて参照する。図３は、実施形態におけるポアンカレプロットの例を示す図である。設定部５１２は、各種パラメータや各種閾値等を設定する。例えば、設定部５１２（中立基準設定部）は、心拍データのうち、乗員２の安静時の心拍データ（例えば乗員２に５分の安静を指示して取得した心拍データ）に基づいて２軸における点群データＰからなるポアンカレプロットを生成し、その重心位置ＣＧを算出して、重心位置ＣＧに基づいて中立基準ＬＮを設定する。

【0034】

また、設定部５１２（閾値設定部）は、中立基準ＬＮに対して、ポアンカレプロットの原点方向の所定位置（例えば原点を基準に３％移動した位置）に第１閾値ＬＤを設定し、ポアンカレプロットの原点方向と逆方向の所定位置（例えば原点を基準に１％移動した位置）に第２閾値ＬＵを設定する。なお、この閾値設定の際、例えば、運転前の情報としてウェアラブルデバイス１２や認証機器１３（認証タグやＩＤカード）からパーソナルデータとして個人特性に関する情報を取得して使用してもよい。

【0035】

また、設定部５１２は、運転開始前の体調を把握するためにライフログとして、クラウドコンピュータ７から乗車前の健康レベルや前日の睡眠レベルを取得して、閾値の設定に使用してもよい。クラウドコンピュータ７は、例えば、乗員２のパーソナルデータ、ライフログ、異常通知履歴等を記憶している。

【0036】

また、設定部５１２は、運転中における乗員の状態を把握するため、車両情報センサ１４から車両情報を取得して使用してもよい。

【0037】

算出部５１３は、心拍データのうち、所定時間分の検査対象の心拍データに基づいてポアンカレプロットを生成し、その重心位置を検査点として算出する。このような処理を、検査対象の心拍データの処理対象時間帯を少しずつずらしながら繰り返す。

【0038】

推定部５１４は、検査点が第１閾値ＬＤと第２閾値ＬＵの間にある状態が所定時間（例えば１０秒程度）継続した場合、中立感情と推定する。また、推定部５１４は、検査点が第１閾値ＬＤよりも小さい状態が所定時間（例えば１０秒程度）継続した場合、不快感情と推定する。

【0039】

また、推定部５１４は、検査点が第２閾値ＬＵよりも大きい状態が所定時間（例えば１０秒程度）継続した場合、推定ロジックを切り替えて、検査点に対応するポアンカレプロットの分布の広さに応じた面積（図３の楕円Ｅの面積。ポアンカレプロットの分布に基づいて算出。）を算出し、面積と、中立基準と検査点の距離と、に基づいて、快感情か否かを推定する。

【0040】

具体的には、例えば、推定部５１４は、検査点が第２閾値ＬＤよりも大きい状態が所定時間継続した場合、面積と距離をそれぞれ正規化（例えば標準偏差が１、平均が０になるように正規化）し、予め設定された重回帰式のパラメータに、正規化した面積と距離を代入し、演算結果が予め定められた所定の条件を満たすとき（例えば値が０以上のとき）、快感情であると推定する。

【0041】

例えば、正規化した面積、距離をそれぞれＳ、ｍとし、α、βを事前に得られた規定値とすると、重回帰式は、以下の式（１）となる。
ＨＦ＝αｍ＋βＳ ・・・式（１）

【0042】

そして、例えば、この重回帰式に、正規化した面積と距離を代入し、値が０以上になったときに、快感情であると推定する。つまり、その場合、重回帰式のα、βをその推定に適した値としておく。

【0043】

また、推定部５１４は、呼吸データに基づいて乗員２が発話中か否かを判定し、乗員２が発話中であると判定した場合、乗員２の感情の推定結果を無効化するようにしてもよい。無効化する理由は、一般に、対象者の発話中には、感情推定精度が低くなってしまうためである。

【0044】

制御部５１５は、各種制御を実行する。制御部５１５は、例えば、感情推定結果に応じて、表示装置６１、音響機器６２、芳香機器６３、シート制御機構６４、駆動機構６５、制動機構６６、操舵機構６７、空調機構６８、通信機器６９を制御する。

【0045】

制御部５１５は、感情推定結果に応じて、表示装置６１によって警告表示、状態表示、ストレスレベル表示、リラックスレベル表示、運転適性レベル表示などを行う。

【0046】

また、制御部５１５は、感情推定結果に応じて、音響機器６２によって警告音等を発生させる。

【0047】

また、制御部５１５は、感情推定結果に応じて、シート制御機構６４を制御することで、シートの姿勢を変更したり、マッサージを実行したりする。

【0048】

また、制御部５１５は、感情推定結果に応じて、駆動機構６５、制動機構６６、操舵機構６７を制御することで、体感警報を発生させたり、事故を回避したり、車両を路肩に停止させたりする。

【0049】

また、制御部５１５は、感情推定結果に応じて、空調機構６８を制御して温度や風量を調整したり、換気を行ったりする。

【0050】

また、制御部５１５は、例えば、車両内で発生した異常を検知した場合に、感情推定結果に応じて、通信機器６９を制御して外部の所定機関に緊急通報や登録者通知を行ったりする。

【0051】

次に、図４を参照して、情報処理装置５による第１の処理について説明する。図４は、実施形態の情報処理装置５による第１の処理を示すフローチャートである。第１の処理は、安静基準（詳細は後述）を決定するための処理である。使用する心拍データは、例えば、乗員２に５分の安静を指示して、そのときに取得した心拍データである。

【0052】

まず、ステップＳ１１において、取得部５１１は、心拍センサ１１、ウェアラブルデバイス１２等から心拍データ（現在値）を読み込む。

【0053】

次に、ステップＳ１２において、設定部５１２は、心拍データに基づいて心拍ピークを検出したか否かを判定し、Ｙｅｓの場合はステップＳ１３に進み、Ｎｏの場合はステップＳ１１に戻る。

【0054】

ステップＳ１３において、設定部５１２は、心拍間隔（ＲＲＩ（interval））を演算する。

【0055】

次に、ステップＳ１４において、設定部５１２は、Ｘ軸（図３の横軸）情報（現在値Ｔ）を出力する。

【0056】

次に、ステップＳ１５において、設定部５１２は、規定時間（例えば１～３秒程度）が経過したか否かを判定し、Ｙｅｓの場合はステップＳ１６に進み、Ｎｏの場合はステップＳ１１に戻る。

【0057】

ステップＳ１６において、設定部５１２は、Ｙ軸（図３の縦軸）情報（Ｔ＋Ｎ（例えばＮ＝１～３））を出力する。

【0058】

次に、ステップＳ１７において、設定部５１２は、ステップＳ１１～Ｓ１６を繰り返すことで、点群データＰ（図３）を取得する。

【0059】

次に、ステップＳ１８において、設定部５１２は、点群データＰを用いて平均値を計算することで、重心ＣＧ（図３）を演算する。

【0060】

次に、ステップＳ１９において、設定部５１２は、演算により、安静基準として、重心ＣＧを通ってＹ＝－Ｘに平行な直線を中立基準ＬＮとして決定するとともに、その中立基準ＬＮに対して、原点方向の所定位置（例えば原点を基準に３％移動した位置）を第１閾値ＬＤとして決定し、原点方向と逆方向の所定位置（例えば原点を基準に１％移動した位置）を第２閾値ＬＵとして決定する。

【0061】

次に、図５を参照して、情報処理装置５による第２の処理について説明する。図５は、実施形態の情報処理装置による第２の処理を示すフローチャートである。第２の処理は、感情推定処理である。使用する心拍データは、例えば、運転中の運転者から取得した心拍データである。

【0062】

まず、ステップＳ２０１において、設定部５１２は、安静推定領域（第１閾値ＬＤと第２閾値ＬＵの間の領域）を設定する。

【0063】

次に、ステップＳ２０２において、算出部５１３は、新たな検査対象の心拍データの重心位置を算出する。

【0064】

次に、ステップＳ２０３において、推定部５１４は、重心位置が安静推定領域内か否かを判定し、Ｙｅｓの場合はステップＳ２０４に進み、Ｎｏの場合はステップＳ２０６に進む。

【0065】

ステップＳ２０４において、推定部５１４は、重心位置が安静推定領域内に入ってから規定時間（例えば５～１０秒程度）が経過したか否かを判定し、Ｙｅｓの場合はステップＳ２０５に進み、Ｎｏの場合はステップＳ２０３に戻る。なお、ステップＳ２０４では、規定時間に代えて規定回数を用いてもよい。

【0066】

ステップＳ２０５において、推定部５１４は、中立感情と推定する。次に、ステップＳ２１７に進む。

【0067】

ステップＳ２０６において、推定部５１４は、重心位置が不快推定領域（図３の第１閾値ＬＤより左下）内か否かを判定し、Ｙｅｓの場合はステップＳ２０７に進み、Ｎｏの場合（図３の第２閾値ＬＵより右上）はステップＳ２０９に進む。

【0068】

ステップＳ２０７において、推定部５１４は、重心位置が不快推定領域内に入ってから規定時間（例えば５～１０秒程度）が経過したか否かを判定し、Ｙｅｓの場合はステップＳ２０８に進み、Ｎｏの場合はステップＳ２０３に戻る。なお、ステップＳ２０７では、規定時間に代えて規定回数を用いてもよい。

【0069】

ステップＳ２０８において、推定部５１４は、不快感情と推定する。次に、ステップＳ２１７に進む。

【0070】

ステップＳ２０９において、推定部５１４は、検査対象の点群データを読み込む。

【0071】

次に、ステップＳ２１０において、推定部５１４は、点群データの分布の広さに応じた特徴量である面積Ｓ（図３の楕円Ｅの面積に相当）を演算する。

【0072】

次に、ステップＳ２１１において、推定部５１４は、安静基準を読み込む。

【0073】

次に、ステップＳ２１２において、推定部５１４は、特徴量である、中立基準と重心の距離ｍを演算する。

【0074】

次に、ステップＳ２１３において、推定部５１４は、Ｓ、ｍをそれぞれ、標準偏差が１、平均が０になるように正規化する。

【0075】

次に、ステップＳ２１４において、推定部５１４は、予め設定された重回帰式のパラメータに、正規化したＳ、ｍを代入することで、重回帰式の値を算出する。

【0076】

次に、ステップＳ２１５において、推定部５１４は、重回帰式の値が０以上か否かを判定し、Ｙｅｓの場合はステップＳ２１６に進み、Ｎｏの場合はステップＳ２０３に戻る。

【0077】

ステップＳ２１６において、推定部５１４は、快感情と推定する。次に、ステップＳ２１７に進む。

【0078】

ステップＳ２１７において、推定部５１４は、感情推定結果を出力する。また、制御部５１５は、表示装置６１～通信機器６９に対して、感情推定結果に応じた制御を行う。例えば、制御部５１５は、感情推定結果に応じて、表示装置６１によってメーターやサブディプレイを用いた警告表示（疲労、睡眠不足、注意散漫などの表示）をする。

【0079】

また、例えば、制御部５１５は、感情推定結果に応じて、音響機器６２から警告音を発生させる。また、例えば、制御部５１５は、感情推定結果に応じて、芳香機器６３から、感情を良好にさせる香りなどを発する。また、例えば、制御部５１５は、感情推定結果に応じて、シート制御機構６４を制御することで姿勢を変更したりマッサージを実行したりする。

【0080】

また、例えば、制御部５１５は、感情推定結果に応じて、駆動機構６５、制動機構６６、操舵機構６７を制御することで、体感警報を発生させたり、事故を回避したり、車両を路肩に停止させたりする。また、例えば、制御部５１５は、感情推定結果に応じて、空調機構６８を制御して温度や風量を調整したり、換気を行ったりする。

【0081】

また、例えば、制御部５１５は、車両内で発生した異常を検知した場合に、感情推定結果に応じて、通信機器６９を制御して外部の所定機関に緊急通報や登録者通知を行ったりする。

【0082】

また、例えば、制御部５１５は、感情推定結果やその付随情報をクラウドコンピュータ７に通知し、パーソナルデータ、ライフログ、異常通知等として保存させて、以後に活用するようにしてもよい。

【0083】

次に、図６を参照して、情報処理装置５による第３の処理について説明する。図６は、実施形態の情報処理装置５による第３の処理を示すフローチャートである。第３の処理は、乗員２が発話中であれば感情推定結果を無効化する処理である。

【0084】

まず、ステップＳ３１において、取得部５１１は、呼吸センサ１５から呼吸データ（現在値）を読み込む。

【0085】

次に、ステップＳ３２において、推定部５１４は、呼吸データに基づいて呼吸ピークを検出したか否かを判定し、Ｙｅｓの場合はステップＳ３３に進み、Ｎｏの場合はステップＳ３１に戻る。

【0086】

ステップＳ３３において、推定部５１４は、呼吸間隔（現在値）を演算する。

【0087】

次に、ステップＳ３４において、推定部５１４は、呼吸間隔（現在値）に基づいて、乗員２が発話中か否かを判定し、Ｙｅｓの場合はステップＳ３５に進み、Ｎｏの場合はステップＳ３１に戻る。一般に、発話中は呼吸間隔が短くなるため、ステップＳ３４では、例えば、呼吸間隔（現在値）が所定の呼吸間隔閾値以下の場合に、乗員２が発話中であると判定する。

【0088】

ステップＳ３５において、推定部５１４は、乗員２の感情推定結果を無効化する。

【0089】

このように、本実施形態の車両システム１によれば、安静時の中立基準ＬＮ（図３）を算出し、検査点（検査対象のポアンカレプロットの重心）と第１閾値ＬＤと第２閾値ＬＵを比較し、さらに、検査点が第２閾値ＬＵよりも大きい状態が所定時間継続した場合は別の推定ロジックに切り替えることで、生体データに基づいて少ない計算量で高精度に乗員２の感情を推定することができる。つまり、一般に、不快感情の判定よりも快感情の判定のほうが低精度になりがちであるが、本実施形態では、快感情の判定について別の推定ロジックに切り替えることで、快感情の判定を高精度化できる。

【0090】

また、推定部５１４は、上述のように、正規化した面積Ｓと距離ｍと、予め設定された重回帰式とを用いることで、個人差による影響をさらに減少させて高精度な感情推定を行うことができる。

【0091】

また、感情の推定精度が低下しやすい発話中については、感情推定を無効化することができる。

【0092】

また、高速フーリエ変換のような計算量の多い手法を用いないことで、計算量が少なく済む。

【0093】

また、ポアンカレプロットの手法を用いることで、体動による外れ値の影響等を受けにくい。つまり、耐ノイズ性能が高い。

【0094】

上記実施形態の機能を実現するためのプログラムは、情報処理装置５にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。

【0095】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0096】

例えば、対象者の感情を推定するために使用する生体データは、心拍データに限定されず、周期的に変動し、対象者の感情の変化によって周期の長さが変わる傾向があれば、呼吸データなどの他の生体データであってもよい。

【0097】

また、感情推定と並行して、脳波や皮膚活動電位などの情報を用いて対象者の覚醒レベル推定を行ってもよい。

【符号の説明】

【0098】

１…車両システム、２…乗員、５…情報処理装置、７…クラウドコンピュータ、１１…心拍センサ、１２…ウェアラブルデバイス、１３…認証機器、１４…車両情報センサ、１５…呼吸センサ、２１…座席、２２…背もたれ部、５１…処理部、６１…表示装置、６２…音響機器、６３…芳香機器、６４…シート制御機構、６５…駆動機構、６６…制動機構、６７…操舵機構、６８…空調機構、６９…通信機器、５１１…取得部、５１２…設定部、５１３…算出部、５１４…推定部、５１５…制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】