特開 2024-179054 感情推定装置、データ処理方法、車載システム、コンピュータプログラム、及び状態推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179054

(43)【公開日】2024-12-26

(54)【発明の名称】感情推定装置、データ処理方法、車載システム、コンピュータプログラム、及び状態推定装置

(51)【国際特許分類】

   A61B 5/18 20060101AFI20241219BHJP

   A61B 5/16 20060101ALI20241219BHJP

   B60W 40/08 20120101ALI20241219BHJP

【ＦＩ】

A61B5/18

A61B5/16 120

B60W40/08

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023097556

(22)【出願日】2023-06-14

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】加藤 徹洋

(72)【発明者】

【氏名】村下 君孝

(72)【発明者】

【氏名】橋本 和真

【テーマコード（参考）】

3D241

4C038

【Ｆターム（参考）】

3D241DD02A

4C038PP03

4C038PQ03

(57)【要約】

【課題】時系列データを入力データとするＡＩモデルの性能が十分に発揮できる技術を提供する。
【解決手段】感情推定装置は、被験者の動きに係る時系列外観情報の入力に基づき前記被験者の感情を推定するＡＩモデルに、推定対象被験者の前記時系列外観情報を入力して前記推定対象被験者の感情を推定する感情推定装置であって、前記推定対象被験者の動きに係る前記時系列外観情報を取得し、前記ＡＩモデルに入力する前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する。
【選択図】図１

【特許請求の範囲】

【請求項1】

被験者の動きに係る時系列外観情報の入力に基づき前記被験者の感情を推定するＡＩモデルに、推定対象被験者の時系列外観情報を入力して前記推定対象被験者の感情を推定する感情推定装置であって、
前記推定対象被験者の動きに係る前記時系列外観情報を取得し、
前記ＡＩモデルに入力する前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する
感情推定装置。

【請求項2】

前記ＡＩモデルは、前記基準時系列長に変換された前記被験者の動きに係る前記時系列外観情報を入力データとする学習データで学習されている
請求項１に記載の感情推定装置。

【請求項3】

前記ＡＩモデルは、
前記時系列外観情報である前記推定対象被験者の顔面動画像に基づき前記推定対象被験者の感情指標値である中枢神経系の覚醒度と自律神経の活性度を推定する感情指標値推定ＡＩモデルと、
前記感情指標値推定ＡＩモデルにより推定された覚醒度と活性度に基づき感情を推定する感情推定モデルと、
を含む請求項１または請求項２に記載の感情推定装置。

【請求項4】

前記感情指標値推定ＡＩモデルは、
脳波センサにより検出された前記被験者の脳波におけるβ波とα波の比に基づき算出される算出覚醒度と、心拍センサにより検出された前記被験者の心拍における低周波成分に基づき算出される算出活性度を正解データとし、前記被験者に対する固有時系列長の前記時系列外観情報を入力データとする学習データで学習された学習済みＡＩモデルである
請求項３に記載の感情推定装置。

【請求項5】

前記感情指標値を特定状態とするタスクの実行時における前記被験者の生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値に基づき前記タスクによる影響がある期間である影響期間を推定し、
推定した前記影響期間に基づき前記基準時系列長を決定する
請求項３に記載の感情推定装置。

【請求項6】

前記時系列外観情報の時系列長を前記基準時系列長に変換する処理は、前記時系列外観情報に対する補完処理、または間引き処理である
請求項１に記載の感情推定装置。

【請求項7】

被験者の動きに係る時系列外観情報の入力に基づき前記被験者の感情を推定するＡＩモデルに入力する前記時系列外観情報の処理方法であって、
取得した前記推定対象被験者の動きに係る前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換して、前記ＡＩモデルへの入力する時系列外観情報とする
データ処理方法。

【請求項8】

前記感情に相関のある感情指標値を特定状態とするタスクの実行時における前記被験者の生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値に基づき前記タスクによる影響がある期間である影響期間を推定し、
推定した前記影響期間に基づき基準時系列長を決定する
請求項６に記載の感情推定装置。

【請求項9】

被験者の動画情報の入力に基づき前記被験者の感情を推定するＡＩモデルに、車両搭載カメラにより撮影された車両運転者の前記動画情報を入力して前記車両運転者の感情を推定し、推定した前記感情に基づき車載装置の制御を行う車載システムであって、
車両搭載カメラから前記車両運転者の前記動画情報を取得し、
前記ＡＩモデルに入力する前記動画情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する
車載システム。

【請求項10】

被験者の動きに係る時系列外観情報の入力に基づき前記被験者の感情を推定するＡＩモデルに、推定対象被験者の前記時系列外観情報を入力して前記推定対象被験者の感情を推定する感情推定装置を実現するコンピュータプログラムであって、
前記推定対象被験者の動きに係る前記時系列外観情報を取得する処理と、
前記ＡＩモデルに入力する前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する処理と、
を含むコンピュータプログラム。

【請求項11】

物体の動きに係る時系列外観情報の入力に基づき前記物体の状態を推定するＡＩモデルに、推定対象物体の前記時系列外観情報を入力して前記物体の状態を推定する感情推定装置であって、
前記推定対象物体の動きに係る前記時系列外観情報を取得し、
前記ＡＩモデルに入力する前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する
状態推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定装置、データ処理方法、車載システム、コンピュータプログラム、及び状態推定装置に関する。

【背景技術】

【0002】

従来、ユーザの顔画像に基づき、ユーザの平静状態を含む感情を推定する感情推定装置が知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３４９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、人工知能（ＡＩ）の高性能化、普及が進んでおり、人の感情推定を含む物体の状態推定にもＡＩの適用が考えられる。物体の状態推定に用いられるＡＩモデルの作成及び精度向上には、多くの物体の外観画像の時系列データ（例えば、動画）等といった状態推定に係る各種データのサンプリングを行う必要がある。さらに、これらサンプリングデータに基づいて教師付き学習データを作成し、学習前ＡＩモデルに学習させる必要がある。

【0005】

しかしながら、従来、ＡＩモデルの処理に用いる時系列データの時系列長は十分に考慮されておらず、ＡＩモデルの性能が十分に発揮できているとは言えないという課題があった。

【0006】

本発明は、上記の課題に鑑み、時系列データを入力データとするＡＩモデルの性能が十分に発揮できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

例示的な本発明の感情推定装置は、被験者の動きに係る時系列外観情報の入力に基づき前記被験者の感情を推定するＡＩモデルに、推定対象被験者の前記時系列外観情報を入力して前記推定対象被験者の感情を推定する感情推定装置であって、前記推定対象被験者の動きに係る前記時系列外観情報を取得し、前記ＡＩモデルに入力する前記時系列外観情報の時系列長を、前記ＡＩモデルに対して予め設定された基準時系列長に変換する。

【発明の効果】

【0008】

本発明によれば、ＡＩモデルに入力される時系列データの時系列長を好適なものとすることができ、ＡＩモデルによる推定精度を向上する等の効果が期待できる。

【図面の簡単な説明】

【0009】

【図1】感情推定装置による感情推定処理を示す概念的説明図

【図2】感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図

【図3】車両制御システムの構成を示すブロック図

【図4】図３の感情推定装置のコントローラが実行する感情推定処理を示すフローチャート

【図5】学習装置による感情推定ＡＩの学習処理を示す概念的説明図

【図6】学習装置の構成を示すブロック図

【図7A】第１被験者の感情指標値の時間変化を示す模式図

【図7B】第２被験者の感情指標値の時間変化を示す模式図

【図8】タスクテーブルの一例を示す図

【図9】図６の学習装置のコントローラが実行する感情推定ＡＩの学習処理を示すフローチャート

【図10】データ処理装置の構成を示すブロック図

【図11】固有時系列長の決定方法の説明図

【図12A】図１０のデータ処理装置のコントローラが実行する時系列データの固有時系列長の決定処理を示すフローチャート

【図12B】図１０のデータ処理装置のコントローラが実行する時系列データの固有時系列長の決定処理を示すフローチャート

【図13】学習装置による感情推定ＡＩの学習処理を示す概念的説明図

【図14】学習装置の構成を示すブロック図

【図15】感情推定装置による感情推定処理を示す概念的説明図

【図16】車両制御システムの構成を示すブロック図

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

【0011】

＜１．感情推定装置の概念的構成＞
まず、感情推定装置について説明する。図１は、感情推定装置２０による感情推定処理を示す概念的説明図である。

【0012】

感情推定装置（生体状態推定装置）２０の感情推定モデル２２２ｍは、感情に関する心身状態を示す指標である２つの感情指標値に基づき感情を推定する。本実施形態で用いる感情指標値の１つは、中枢神経系覚醒度（以下、覚醒度と称する）であり、その指標値は「脳波のβ波／α波」で算出することができる。また、他の感情指標値は、自律神経系の活性度（以下、活性度と称する）であり、その指標値は「心拍ＬＦ（Low Frequency）成分（心拍波形信号の低周波成分）の標準偏差」で算出することができる。

【0013】

感情推定モデル２２２ｍは、覚醒度及び活性度に基づく感情推定用のモデル（算出式や変換データテーブル）により構成される。感情推定モデル２２２ｍは、覚醒度及び活性度をパラメータとして感情を推定する複数次元モデル（ここでは覚醒度及び活性度を２軸とする２次元モデル）により構成される。なお、２次元モデルは、複数の各指標と感情との関係（覚醒度・活性度と、感情との関係）を示す医学的エビデンス（論文等）に基づいて作成される。或いは、２次元モデルは、多くの被験者によるアンケート結果（被験者による感情申告とその際の覚醒度・活性度（脳波・心拍計測値に基づく）からなるデータ）に基づいて作成される。なお、感情推定モデル２２２ｍを２次元モデルだけでなく、３次元以上の多次元モデルとすることも可能である。

【0014】

図２は、感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される心理平面は、本出願人が考案したものであり、縦軸が「覚醒度（覚醒－不覚醒）」であり、横軸が「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。

【0015】

この心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。第一象限には「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限には「憂鬱」の心理状態が割り当てられている。また、第三象限には「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限には「不安、恐怖、不愉快」の心理状態が割り当てられている。なお、軸の位置は、例えば被験者の覚醒度及び活性度を計測し、統計的処理を施すといった実験等に基づいて適宜設定される。

【0016】

そして、生体信号に基づいて得られる２種類の心身状態の指標値（覚醒度及び活性度）を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、象限内のどの位置にあるか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。なお、図２に示す感情推定モデルは、２次元の平面であるが、使用する指標数に応じて３次元以上の多次元空間となる。

【0017】

感情推定装置２０は、入力された感情指標「覚醒度」及び「活性度」を、このような心理平面で示される感情推定モデル２２２ｍに当て嵌めて（座標としてプロットして）用いて感情を推定する。

【0018】

感情推定装置２０の感情推定モデル２２２ｍは、感情指標の覚醒度及び活性度を使用するため、通常は脳波データ及び心拍データを入力とし、入力された脳波データ及び心拍データから算出された感情指標の覚醒度及び活性度が適用される。しかし、本実施形態では、感情推定装置２０は、脳波センサ及び心拍センサにより検出される脳波データ及び心拍データではなく、視線、顔向き、音声のデータを入力する。そして、これら視線、顔向き、音声に基づいて第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが推定した感情指標の覚醒度及び活性度を感情推定モデル２２２ｍに入力する。

【0019】

これは、感情推定の対象者に接触センサである脳波センサ及び心拍センサを装着する手間を省くための技術である。本技術では、非接触センサであるカメラ、マイク等を用いて視線、顔向き、音声のデータ（外観情報）を収集し、当該データを第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力して感情指標の覚醒度及び活性度を推定する。例えば、車両の運転手の感情を推定して車両の走行制御等に用いる場合等では、運転手に接触センサを装着するのは実用上困難であり、本技術は特に有用になる。

【0020】

なお、図２に示す感情推定モデルを使用する場合は、視線、顔向き、音声のデータを入力して感情指標の覚醒度及び活性度を２値化（感情推定モデルにおける各座標軸を閾値とする）した各指標の２値化値を出力する第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを用いる。そして、これら第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの出力を感情推定モデルに適用（入力）して感情を推定する方法も可能である。

【0021】

また、視線、顔向き、音声のデータから脳波データ及び心拍データを推定するＡＩモデルを用いて、入力された視線、顔向き、音声のデータに基づき脳波データ及び心拍データを推定する。そして、推定した脳波データ及び心拍データを用いて感情指標の覚醒度及び活性度を算出する技術を適用することも可能である。

【0022】

つまり、感情指標の算出には、通常生体信号が必要であるが、生体信号は接触型のセンサが大半であり、用途に制限が加わるという課題がある。このため、非接触系のセンサで検出可能な感情推定対象者（被験者）の外観に基づく情報を検出するセンサの利用が望まれる。なお、ここでの外観情報とは、画像データだけでなく音声等の非接触系センサ（遠隔検出系センサ：カメラ、マイク等）で検出可能な情報も含まれる。

【0023】

図１に示した感情推定装置２０の使用例において、ユーザＵ２は、車両Ｖ２の運転者である。当該推定方法で用いられる第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、運転者（ユーザＵ２）の感情の推定に用いられる。第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、別途学習が行われて、学習済みモデルとして提供され、感情推定装置２０に搭載される。なお、感情推定装置２０の詳細については後述する。

【0024】

なお、感情推定装置２０は、車両Ｖ２に搭載されるコンピュータ装置で実現でき、また車両Ｖ２とネットワークを介して接続されたサーバでも実現できる。また、当該サーバは、物理サーバであっても、仮想サーバであっても良い。

【0025】

車両Ｖ２には、車載センサとして、カメラＣと、マイクＭとが搭載されている。そして、カメラＣの撮影画像に基づくユーザＵ２（運転者）の視線データ及び顔向きデータと、マイクＭの取得したユーザＵ２（運転者）の音声データとが、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力されている。

【0026】

なお、図示の例では、カメラＣの撮影画像を画像認識処理等によって処理し、視線データ（眼球部の画像や、視線（向き）を示すテキスト・数値データに加工したデータ）及び顔向きデータ（顔面の画像や、顔面の向きを示すテキスト・数値データに加工したデータ）に加工して、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力しているが、カメラＣの撮影画像を入力しても良い。なお、入力データ種別に応じた第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢ（入力データ種別に応じて設計され、学習が施されたＡＩモデル）が、感情推定装置２０に搭載されることになる。

【0027】

なお、感情の変化と、視線及び顔向きの動きは即応性があるので、感情推定に用いる視線データ及び顔向きデータは、感情推定タイミングに合わせた期間の動画データ、例えば感情推定タイミングの直前の動画（時系列画像）であって、感情推定に適した時間長である好適時系列長の動画が好ましい。同様に、音声データも感情推定タイミングの直前の予め定めた好適時系列長の音声が好ましい。例えば、感情推定の好適時系列長が１０秒の場合、感情推定タイミングＴａに対し、時刻Ｔａ－１０秒（始点）から時刻Ｔａ（終点）までの顔面の動画データに基づく視線データ、顔向きデータ、及び音声データを、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、このようなデータ形態（好適時系列長）の学習用入力データにより学習されることになる。

【0028】

また、過去の行動の検証等の目的で、動画等の記録画像等に基づき過去の感情を事後的に推定する場合には、感情推定タイミング以降のデータも記録されており、利用可能である。このため、感情推定タイミングの直前・直後の動画（或いは音声）で、感情推定に適した時間長である好適時系列長の動画（音声）が好ましい。

【0029】

第１ＡＩモデル１２１ｍＡは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、感情指標の覚醒度を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第１ＡＩモデル１２１ｍＡは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する覚醒度を正解データとする多くの学習データのデータセットで学習されている。

【0030】

第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、感情指標の活性度を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第２ＡＩモデル１２１ｍＢは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する活性度を正解データとする多くの学習データのデータセットで学習されている。

【0031】

なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習方法の詳細については、後述する。

【0032】

そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データに基づいて感情指標の覚醒度及び活性度を推定（出力）する。感情推定モデル２２２ｍには、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢにより推定（出力）された感情指標の覚醒度及び活性度が入力される。感情推定モデル２２２ｍは、これら入力された覚醒度及び活性度に基づいて感情を推定する。

【0033】

＜２．車両制御システム＞
次に、推定された感情データを用いて車両制御を行う車両制御システムについて、図３を用いて説明する。図３は、車両制御システム４０の構成を示すブロック図である。図３では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。

【0034】

図３に示すように、車両制御システム４０は、感情推定装置２０と、車両制御装置３０と、アクチュエータ部４１と、報知部４２と、を備える。なお、図示は省略するが、車両制御システム４０は、キーボード、タッチパネル等の入力装置や、ディスプレイ等の出力装置を備える。

【0035】

＜２－１．感情推定システム＞

【0036】

感情推定システム（車載システム）２０Ｓは、感情推定装置（生体状態推定装置）２０と、カメラＣと、マイクＭと、を含む。カメラＣは、ユーザＵ２（運転者）を撮影し、ユーザＵ２の動きに係る画像情報（視線及び顔向きを含む顔画像）を出力する。マイクＭは、ユーザＵ２の声等の発音を集音し、ユーザＵ２の音声情報を出力する。

【0037】

感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、本例のように車両Ｖ２に搭載されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。

【0038】

記憶部２２には、図１で示した学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢを記憶する第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂが設けられる。

【0039】

なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、例えば、次のようにして第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに記憶される。

【0040】

車両制御システム４０の製作者等が、システムの組み立て時等に、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが書き込まれたメモリを第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂとして搭載する。或いは、車両制御システム４０の製作者等が、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが記憶された外部記憶装置を車両制御システム４０（感情推定装置２０）に接続し、当該第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを読み込んで第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。或いは、車両制御システム４０の製作者等が、ネットワークを介して学習装置１０から学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを受信し、第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。

【0041】

また、記憶部２２には、図１に示した感情推定モデル２２２ｍを記憶する感情推定モデル記憶部２２２が設けられる。なお、感情推定モデル記憶部２２２には、感情推定に必要な各種データ、例えば、図２に示した感情指標値から感情を推定するためのデータである心理平面テーブル２２４等が記憶される。

【0042】

なお、心理平面テーブル２２４は、図２に示した感情推定モデル２２２ｍ（心理平面）を形成するデータで、２種類の感情指標値（覚醒度、活性度）と、それに対応する感情情報を関連づけたデータ群となる。また、このような感情推定モデル（感情推定モデルを構成する各種データ）も、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢと同様の方法で、感情推定装置２０の設計時、或いは組み立て時等に、記憶部２２（感情推定モデル記憶部２２２）に記憶されることになる。

【0043】

なお、感情推定モデル２２２ｍは、２種類の感情指標値（覚醒度、活性度）から感情値を算出する演算式や、論理式の形式で形成することも可能である。

【0044】

また、記憶部２２には、時系列長を統一する際に用いる基準時系列長の時系列長データを記憶する時系列長記憶部２２５が設けられる。なお、時系列長記憶部２２５には、被験者個人毎に、当該被験者の感情推定に適した時系列データの時系列長を示す固有時系列長が記憶される。

【0045】

コントローラ２３は、感情推定装置２０の各種動作等を制御するものであり、演算処理等を行うプロセッサを含み、例えばＣＰＵで構成される。コントローラ２３は、その機能として、取得部２３１と、時系列長統一部２３２と、挙動判定部２３３と、感情推定部２３４と、提供部２３５と、を備える。コントローラ２３の機能は、記憶部２２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0046】

取得部２３１は、通信部２１を介して、カメラＣ及びマイクＭによって撮影、集音された感情推定対象者であるユーザＵ２の各種外観情報（画像情報、音声情報）を取得する。取得部２３１は、取得した各種外観情報を、その後の処理のために必要に応じて記憶部２２に形成されたデータテーブルに記憶する。なお、取得部２３１は、実質的に同時刻におけるこれらの外観情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらのデータは当該時刻における挙動状態、感情を推定するために使用される。

【0047】

時系列長統一部２３２は、取得部２３１によって取得された各種外観情報（画像（動画）データ、音声データ）に対し、時系列長の統一処理を行う。なお、動画や音声は、微小時間間隔（基本的には同一時間間隔）の時刻におけるデータを多数繋げたものである。このため、動画や音声は、時系列長（データの数）で表現しているが、視聴上では動画・音声時間長（フレーム時間×フレーム数）に対応する。

【0048】

被験者の外観情報といった被験者の状態推定に用いる時系列データの最適な時系列長は、被験者が個別に備える固有時系列長であって、個人差があり、また周囲環境の影響を受ける。つまり、感情を変動させる何らかの要因が発生してから被験者の感情（或いは感情指標値）が変化する状況（開始タイミング、変化速度や変動幅等）、また表情や声色等が変化する状況（開始タイミング、変化速度や変動幅等）は、個人や環境により差がある。

【0049】

他方、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの性能面や学習時間の面からは、入力データの時系列長は規定されていた方が有利である。つまり、入力データの形式（時系列長）が同じ方が推定精度が期待でき、また学習においても規定時系列長のデータに絞り込んで学習を行えるので学習データ数（時間）を削減できる。

【0050】

そこで、本実施形態において、時系列長統一部２３２は、基準時系列長を設定し、被験者の時系列データ（動画等）に補完処理（時系列長増加）、間引き（時系列長減少）処理を施し、被験者の時系列データを基準時系列長の時系列データに変換する時系列長統一処理を行う。そして、後段の各処理部では、基準時系列長の時系列データに基づき処理が行われる。

【0051】

この統一処理に用いる基準時系列長は、例えば第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの記憶時に、記憶部２２の時系列長記憶部２２５に記憶される。また、被験者個人毎の固有時系列長は、例えば被験者の登録時（最初の感情推定結果の利用前）に記憶部２２の時系列長記憶部２２５に記憶される。なお、基準時系列長、及び固有時系列長の決定方法については後述する。

【0052】

当該基準時系列長は、後述する学習装置１０における第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂ（ともに図６参照）の学習時にも適用され、モデルの学習時及び感情推定装置２０による感情推定時において、同じ時系列長が用いられる。時系列データの時系列長の統一処理の具体的方法については、後述する学習装置１０の説明において記載する。

【0053】

挙動判定部２３３は、取得部２３１が取得し、時系列長統一部２３２によって時系列長が基準時系列長Ｎｓに統一された、ユーザＵ２の画像情報及び音声情報に対して解析処理を行うことで、ユーザＵ２の視線や顔の向き、表情、音声等の予め定められた種類の挙動を判定する。予め定めれた種類の挙動は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが入力とするデータ種に対応する挙動であり、本実施形態の場合、具体的には、基準時系列長Ｎｓの視線、顔向き、音声（内容）のデータ（各時系列データ（例えば、視線の時間変化状況データ））となる。

【0054】

したがって、挙動判定部２３３は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの入力仕様（設計条件、学習条件等により定まる）に応じた各種処理を行うことになる。当該各種処理は、例えば、基準時系列長の画像（動画（連続した多数の静止画））及び音声データの切り出し処理、基準時系列長の画像からのユーザＵ２の顔面や眼球部分の切り出し処理及び向きの検出処理、並びに基準時系列長の音声信号の周波数解析処理等である。なお、画像データ及び音声データの切り出し処理では、例えば基準時系列長が１０秒の場合（画像データ及び音声データの基準時系列長が同じ場合）、感情推定タイミングの直前１０秒間の各データを切り出す。また、画像データ及び音声データに対し、異なる基準時系列長を適用しても良い。

【0055】

そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、学習時の入力データと種別（内容・様式・時系列長）が同じデータの入力に対してより適切な（精度が高い）推定（正解）データを出力する傾向がある。このため、挙動判定部２３３の出力データ種別（内容・様式）は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時の入力データと同じものとする必要がある。挙動判定部２３３は、そのようなデータ処理を行うことになる。挙動判定部２３３のこれらの動作を実現するためのプログラムやデータは、記憶部２２に記憶される。

【0056】

感情推定部２３４は、挙動判定部２３３が判定した挙動のデータに基づき、ユーザＵ２の感情を推定する。詳細に言えば、感情推定部２３４は、挙動判定部２３３が判定した挙動のデータを第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線や顔の向き、表情、音声等に係る挙動情報（外観情報）に基づき推定したユーザＵ２の感情指標値（覚醒度及び活性度）を出力する。そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが出力したユーザＵ２の推定感情指標値（覚醒度及び活性度）が感情推定モデル２２２ｍに入力される。そして、感情推定モデル２２２ｍは、ユーザＵ２の推定感情指標値に基づいてユーザＵ２の感情を推定し、出力する。

【0057】

上記の構成によれば、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、学習データの入力データである外観情報の時系列長が基準時系列長である学習データで学習されたＡＩモデルであって、感情推定時における入力データの外観情報の時系列長が基準時系列長である。したがって、学習時と推定時（使用時）におけるＡＩモデルの入力データ形式（時系列長）が同等となる。その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢにおいて、精度の高い感情推定の実現が期待できる。

【0058】

なお、上述の感情推定に用いる推定感情指標値としては、基準時系列長の複数の各データに基づき推定された複数の推定感情指標値を統計処理（平均処理、ローパスフィルタ処理等）等したデータを用いて、感情を推定するようにしても良い。この場合、統計処理は、感情推定部２３４（第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの後段）で行うことになる。

【0059】

提供部２３５は、感情推定部２３４によって推定されたユーザＵ２の感情を、車両制御装置３０に提供する。これにより、車両制御装置３０において、ユーザＵ２の感情に基づく車両Ｖ２の制御が行えるようになる。

【0060】

＜２－２．車両制御装置、及び他の構成要素＞
車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。

【0061】

コントローラ３１は、車両Ｖ２の運転者であるユーザＵ２による運転操作や、接続された各種センサ（不図示）、例えば車速センサ、空燃比センサ、操舵角センサ等からの情報に基づき各種車両制御、例えば車両Ｖ２の向きや速度等の制御を行う。さらに、コントローラ３１は、通信部３３を介し、感情推定装置２０からユーザＵ２の感情に係る情報（推定感情）を受信する。そして、コントローラ３１は、受信した推定感情情報も利用した車両制御、例えば速度、アクセル感度、ブレーキ感度等の制御を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、アクセル感度を低くする（加速し難くする）、ブレーキ感度を高くする（停止し易くする）、最高速度制御の上限を低くする、という安全側に寄せた、つまり運転者の興奮度の影響を抑えたような走行制御を行う。

【0062】

また、推定感情情報自体の報知や、当該推定感情情報に応じた報知を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、「落ち着きましょう」という表示や音声案内を行い、各種音声案内における音声の質を落ち着いた話し方・表現とする制御を行う。

【0063】

記憶部３２は、記憶部１２と同様に各種メモリにより構成され、コントローラ３１が処理で使用するデータ等、例えばプログラム、処理用係数データ、処理中の一時記憶データ等を記憶する。そして、記憶部３２には、感情推定装置２０から受信した感情に係る情報と、車両Ｖ２の制御信号及び車室内のユーザＵ２へ報知情報との対応付けがなされた各種処理用の複数のデータテーブルが設けられる。

【0064】

通信部３３は、感情推定装置２０、アクチュエータ部４１、及び報知部４２との間でデータの通信を行うためのインタフェースであり、例えばＣＡＮ（Controller Area Network）インターフェースである。

【0065】

アクチュエータ部４１は、車両の各種動作を実現するモータ等で構成された各種駆動部品で、車両制御装置３０によってその動作が駆動制御される。具体的に言えば、例えば、アクチュエータ部４１は、車両Ｖ２において駆動力を発生させるエンジン及びモータと、車両Ｖ２のステアリングを駆動させるステアリングアクチュエータと、車両Ｖ２のブレーキを駆動させるブレーキアクチュエータ等である。

【0066】

報知部４２は、車両制御装置３０からの報知情報を、視覚的、聴覚的方法等により車室内のユーザＵ２等に報知する。具体的に言えば、例えば、報知部４２は、ユーザＵ２に、文字、画像、映像等によって報知情報を伝える液晶ディスプレイや音声、警告音等によって報知情報を伝えるスピーカ等で構成される。

【0067】

車両制御装置３０は、各種センサからの情報、及び感情推定装置２０から提供されたユーザＵ２の感情に基づいて車両Ｖ２の制御信号を生成して出力する。具体的に言えば、例えばユーザＵ２が感情を高揚させている場合や、恐怖を感じている場合に、車両制御装置３０は、表示部やスピーカを介して「気持ちを落ち着かせましょう」といったことを表示、音声によって伝える。また、車両制御装置３０は、例えば、車速センサや障害物センサ（レーダ等）等からの情報に基づき車両Ｖ２の速度制御を行うが、ユーザＵ２が感情を高揚させている場合には通常の感情に比べで速度を遅くした速度制御を行う。

【0068】

すなわち、車両制御システム４０は、車両Ｖ２の運転者であるユーザＵ２の感情を推定し、推定した当該感情も考慮した車両Ｖ２の動作、例えば走行制御を行う。この構成によれば、ユーザＵ２の感情に応じた車両Ｖ２の制御を行うことができる。したがって、本実施形態によれば、安全運転に影響のある運転者の感情に応じた車両Ｖ２の制御が可能となるので、車両Ｖ２の安全運転に寄与することが可能である。

【0069】

＜２－３．感情推定装置の処理＞
図４は、図３の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。或いは、当該コンピュータプログラムはネットワークを用いて提供（販売、流通等）される。そして、車両制御システム４０の製造者、販売者、ユーザ（使用者）等が、当該コンピュータプログラムを車両制御システム４０（感情推定装置２０）にインストール等により搭載することになる。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0070】

図４に示す処理は、車両Ｖ２が始動し、推定感情に基づく各種制御を開始するタイミングで起動し、その後各種制御に対して適当なタイミングで、つまり感情推定が必要なタイミングで、或いは感情推定が必要な時間帯に渡って繰り返し実行される。

【0071】

ステップＳ１０１において、コントローラ２３（取得部２３１）は、ユーザＵ２の挙動を示すデータ（外観情報）、具体的にはユーザＵ２に対するカメラ撮影画像、マイク集音音声を取得し、ステップＳ１０２に移る。取得した各種情報は、必要に応じて記憶部２２のデータテーブルに記憶される。

【0072】

ステップＳ１０２において、コントローラ２３（時系列長統一部２３２）は、ステップＳ１０１において取得部２３１が取得した各種データ（カメラ撮影画像、マイク集音音声）に対し、時系列長の統一処理を施し、ステップＳ１０３に移る。つまり、ステップＳ１０２において、コントローラ２３（時系列長統一部２３２）は、感情推定タイミングに基づく時刻を基準とする基準時系列長（例えば、感情推定タイミングを終了タイミングとする基準時系列長（時間長）のデータ（動画等））のデータを生成する。なお、統一処理の詳細については後述する。

【0073】

ステップＳ１０３において、コントローラ２３（挙動判定部２３３）は、ステップＳ１０２において時系列長が基準時系列長に統一された各種データ（カメラ撮影画像、マイク集音音声）に基づいてユーザＵ２の挙動、具体的には視線、顔向き、表情、音声（内容）を判定し、ステップＳ１０４に移る。つまり、ステップＳ１０３において、コントローラ２３（挙動判定部２３３）は、基準時系列長の顔向き、表情、音声（内容）の時系列データを作成する。なお、ステップＳ１０２とステップＳ１０３の処理順を入れ替えること、つまり顔向き、表情、音声（内容）の時系列データを作成した後に、この時系列データを基準時系列長に変換する処理とすることも可能である。

【0074】

ステップＳ１０４において、コントローラ２３（感情推定部２３４）は、ステップＳ１０３で判定した挙動判定部２３３による挙動判定結果に基づく各データを入力値として第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力し、それぞれ感情指標値の覚醒度及び活性度を第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに推定させ、ステップＳ１０５に移る。

【0075】

ステップＳ１０５において、コントローラ２３（感情推定部２３４）は、算出した２種類の感情指標値（覚醒度及び活性度）を感情推定モデル２２２ｍ（心理平面テーブル２２４のデータ）に適用（入力）してユーザＵ２の感情を推定し、ステップＳ１０６に移る。

【0076】

ステップＳ１０６において、コントローラ２３（提供部２３５）は、車両制御装置３０に感情推定部２３４が推定したユーザＵ２の推定感情情報を提供（出力）し、処理を終了する。

【0077】

なお、１回毎の推定された感情は、センサ出力のノイズ等による悪影響（誤判定）があると推定されるので、予め定めた所定期間の平均・最頻値を採用する等、統計的処理を施した推定感情を採用することが好ましい。このため、コントローラ２３（提供部２３５）は、推定感情にタイムスタンプを付加して蓄積し、統計的処理を施した推定感情を車両制御装置３０に提供する（ステップＳ１０６）ことが好ましい。なお、車両制御装置３０が推定感情情報を蓄積して統計的処理を施し、その結果を制御に用いる方法も適用可能である。

【0078】

＜３．感情推定ＡＩの学習方法＞
次に、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法について説明する。なお、学習前と学習後のモデルを識別し易くするために、学習前モデルは第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂとし、また学習後モデルは第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢとし、符号の最後尾文字で学習前後を識別できるように表記する。図５は、学習装置１０による感情推定ＡＩの学習処理を示す概念的説明図である。

【0079】

本実施形態において、ユーザＵ１は、学習データ生成のための被験者であり、感情推定装置２０の開発チームにおけるメンバー等が当該被験者となる。なお、使用者が限定される個人専用の感情推定装置２０の場合、被験者は使用者であることが好ましいが、他人であっても類似性はあるので、使用者と他人であっても良い。また、使用者が限定されない汎用の感情推定装置２０の場合、被験者は使用者と他人となるが、複数の被験者で学習データを生成すれば、いろいろな特性の被験者による学習データが得られる。これにより、感情推定装置２０は、汎用性が高い装置となることが期待できる。また、本実施形態においては、車載の感情推定装置２０を想定しているので、環境が近い車載装置で学習を行うこととしており、被験者のユーザＵ１は車両Ｖ１の運転者である。

【0080】

なお、ＡＩモデルの学習に用いる学習データは、ＡＩモデルの用途によって適切な情報が決まる。例えば、特定の運転者に対するＡＩ適用装置の場合には該当の運転者における情報が適切な情報となり、いろいろな運転者に対するＡＩ適用装置の場合には多種多様な運転者における情報が適切な情報となる。また、運転者に対するＡＩ適用装置の場合には運転者における情報が適切な情報となり、運転者以外の車両各乗員に対するＡＩ適用装置の場合には運転者以外の各種乗員における情報が適切な情報となる。そして、学習データは、ＡＩモデルによる感情推定の精度を高くするために、多くの情報を必要とする。

【0081】

本実施形態においては、ＡＩ適用装置を、運転者全般（特定の個人ではなく、一般の運転者）に適用できることとする。それら運転者の感情に基づき車両の制御を行う装置とするため、ＡＩ学習のための実験走行試運転は、いろいろなタイプの複数被験者によるいろいろなパターンの実験走行試運転が好ましい。なお、各被験者による学習は同様であるので、ある一人の被験者（運転者）での学習について説明する。

【0082】

また、例えば、ＡＩ適用装置が医療機関における診療装置の場合、被験者に適したユーザＵ１（情報収集対象）は医療機関における患者や医師等になる。また、ＡＩ適用装置が教育機関における教育指導装置の場合、被験者に適したユーザＵ１は生徒や教師等になる。また、ＡＩ適用装置がｅスポーツ関連装置、エンターテイメントのコンテンツ関連装置の場合、被験者に適したユーザＵ１はｅスポーツのプレイヤーやコンテンツの視聴者等になる。

【0083】

また、学習装置１０を車両Ｖ１に搭載して学習を行わせることも、また学習装置１０を研究開発室等の車両Ｖ１以外の場所に設置して学習を行わせることも可能である。後者の場合、車両Ｖ１に乗車した被験者のユーザＵ１の各生体データ等（脳波、心拍、画像、音声等の計測データ）を、記録媒体を介して、或いは通信回線を介して学習装置１０に入力する。なお、本実施形態では、学習装置１０を車両Ｖ１に搭載して学習を行わせる例について説明する。

【0084】

車両Ｖ１に搭載された学習装置１０の記憶装置（メモリ等）にＡＩモデルの記憶部が設けられ、学習前の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂが記憶される。そして、学習装置１０が以下で説明する学習処理を実行することにより、学習前のＡＩモデルの学習が行われ、学習済みのＡＩモデル、つまりＡＩ適用装置に実装される第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが生成されることになる。

【0085】

学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢは、前述の図１、図３に示した感情推定装置２０で使用されることになる。したがって、第１ＡＩモデル１２１ｍａの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（外観情報、感情推定装置２０の第１ＡＩモデル１２１ｍＡの入力データと同じ種別、様式のデータ）であり、正解データが感情指標の覚醒度である。また、第２ＡＩモデル１２１ｍｂの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（外観情報、感情推定装置２０の第２ＡＩモデル１２１ｍＢの入力データと同じ種別、様式のデータ）で、正解データが感情指標の活性度である。なお、入力データとなる挙動情報については、前述の時系列長の統一処理が施され、基準時系列長に統一される。

【0086】

このため、学習装置１０が搭載される車両Ｖ１には、感情推定装置２０で使用される（感情推定装置２０に入力される）データを出力する各種の車載センサが設けられる。本実施形態において、具体的には、車載センサは、カメラＣと、マイクＭとを含む。カメラＣは、運転者Ｕ１の視線と顔の向きのデータが得られるように、顔面が映った撮影画像情報を出力する。マイクＭは、運転者Ｕ１が発する発生音等の音声情報を検出する。カメラＣ及びマイクＭは、例えば車両Ｖ１のフロントガラス、或いはダッシュボード付近に、運転者Ｕ１の方向を撮影方向及び集音方向とするように設置される。

【0087】

そして、カメラＣ及びマイクＭの出力は、時系列データの様式を合わせるため、また個人差による影響、環境による影響等を低減するため、時系列長統一部１３３Ａにより時系列長の統一処理が施される。この統一処理では、動画データと音声データ（時系列データ）の時系列長を予め定めた基準時系列長とする。そして、これら基準時系列長の動画データと音声データは、図３の挙動判定部２３３と同様の構成の挙動判定部１３４によりの挙動データ化の処理が行われ、視線、顔向き、音声の挙動データ（基準時系列長）に加工される。このように生成された基準時系列長に統一された挙動データは、入力値として学習装置の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力されることになる。

【0088】

運転者Ｕ１には、生体センサが装着される。本実施形態において、生体センサは、脳波を検出する脳波センサＳ１１と、心拍を検出する心拍センサＳ１２と、である。脳波センサＳ１１は、例えばヘッドギア型の脳波センサが用いられる。心拍センサＳ１２は、例えば胸ベルト型の心電式心拍センサが用いられる。なお、生体センサは、取得したい生体情報、装着性等に応じて他のセンサを追加、変更しても良い。他の生体センサとしては、例えば光学式心拍（脈拍）センサ、血圧計、またはＮＩＲＳ（Near Infrared Spectroscopy）装置等であっても良い。

【0089】

そして、脳波センサＳ１１が出力する脳波データ、及び心拍センサＳ１２が出力する心拍データは、感情指標値が適切に算出できるように、また時系列データの様式を合わせるため、時系列長統一部１３３Ｂにより時系列長の統一処理が施される。この統一処理では、脳波データ及び心拍データの時系列長を予め定めた生体信号系の基準時系列長とする。この基準時系列長は、いろいろな時系列長の脳波データ及び心拍データをサンプリングして感情指標値（覚醒度及び活性度）を算出し、被験者の実際の感情指標値（他方法により測定）との差が小さい時系列長を基準時系列長とするといった実験等により決定可能である。なお、脳波及び心拍に基づき算出される感情指標値は、個人の意識により調整できない面等があり、被験者の挙動に比べて個人差による影響、環境による影響等が小さいと考えられる。このため、それらの影響等の抑止策を省略できるが、それらの影響等を低減する場合にはカメラ画像、マイク音声の場合と同様の方法により基準時系列長を決定すれば良い。

【0090】

このように基準時系列長により時系列長が統一された脳波データ及び心拍データは、指標値算出部１３２に入力される。指標値算出部１３２は、生体情報の脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出する。覚醒度は「脳波のβ波／α波」で算出することができる。また、活性度は「心拍ＬＦ成分の標準偏差」で算出することができる。そして、指標値算出部１３２で算出された感情指標値の覚醒度は、正解値として第１ＡＩモデル１２１ｍａに入力される。また、指標値算出部１３２で算出された感情指標値の活性度は、正解値として第２ＡＩモデル１２１ｍｂに入力される。

【0091】

つまり、第１ＡＩモデル１２１ｍａは、入力値（例題）が基準時系列長の視線、顔向き、及び音声の挙動データ（外観情報）であり、正解値が基準時系列長の脳波データに基づき算出された感情指標値の覚醒度である教師付き学習データセットで学習が行われることになる。したがって、学習済みの第１ＡＩモデル１２１ｍＡは、図１に示すような入力値を視線、顔向き、音声の挙動データとし、出力を覚醒度とするＡＩモデルとして生成される。

【0092】

また、第２ＡＩモデル１２１ｍｂは、入力値（例題）が基準時系列長の視線、顔向き、及び音声の挙動データ（外観情報）であり、正解値が基準時系列長の心拍データに基づき算出された感情指標値の活性度である教師付き学習データセットで学習が行われることになる。したがって、学習済みの第２ＡＩモデル１２１ｍＢは、図１に示すような入力値を視線、顔向き、音声の挙動データとし、出力を活性度とするＡＩモデルとして生成される。

【0093】

続いて、図５を参照して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法（ＡＩの学習プロセス）の流れを説明する。なお、センサの装着等の具体的な作業は、ＡＩモデルの学習担当作業者、被験者（運転者Ｕ１）等が行うことになる。

【0094】

学習装置１０の記憶装置（メモリ等）には、視線、顔の向き、音声の外観情報を入力として覚醒度を推定する学習前の第１ＡＩモデル１２１ｍａと、視線、顔の向き、音声の外観情報を入力として活性度を推定する学習前の第２ＡＩモデル１２１ｍｂが記憶される。なお、学習前の第１ＡＩモデル１２１ｍａ及び学習前の第２ＡＩモデル１２１ｍｂは、事前にＡＩ設計開発者等が、ＡＩ設計用のコンピュータを用いて、またＡＩモデルの仕様（使用形態、要求性能等）に応じて、別途、作成することになる。

【0095】

運転者Ｕ１は、学習装置１０が搭載された車両に乗車し、車両に搭載されたカメラＣ及びマイクＭの位置、向き、感度等の調整等を行う。また、運転者Ｕ１は、脳波センサＳ１１及び心拍センサＳ１２を装着する。以上のような学習の準備が整うと、運転者Ｕ１等が学習装置１０を起動し学習が開始される。なお、必要に応じて（車両走行が学習条件であるなど）、運転者Ｕ１は車両の運転（操作）を開始する。

【0096】

カメラＣ及びマイクＭは、ユーザＵ１の外観情報である画像及び発する音声を検出し、画像情報及び音声情報を学習装置１０に出力する。

【0097】

脳波センサＳ１１及び心拍センサＳ１２は、ユーザＵ１の生体信号である脳波及び心拍を検出し、脳波及び心拍を学習装置１０に出力する。

【0098】

そして、学習装置１０は、各情報毎に予め設定されたタイミングのユーザＵ１の画像情報及び音声情報と、脳波及び心拍とを対のデータ（１個の学習データ）として、以降の処理を行う。

【0099】

具体的には、学習前の第１ＡＩモデル１２１ｍａ及び学習前の第２ＡＩモデル１２１ｍｂによる感情指標値の判定（推定）タイミングを基準（終点）とする予め設定した推定用データ期間長前の期間のデータを対のデータとして扱う。より具体的には、本実施形態において、判定タイミングＴａの各データに関し、脳波及び心拍はタイミングＴａ直前の生体信号系の基準時系列長のデータとなり、画像情報及び音声情報はタイミングＴａ直前の挙動信号系の基準時系列長のデータとなる。そして、このような画像情報及び音声情報と、脳波及び心拍に対する基準時系列長のデータを生成（変換）する処理を、時系列長統一部１３３Ａ及び時系列長統一部１３３Ｂが行う。

【0100】

学習装置１０は、時系列長統一部１３３Ｂにより時系列長が調整された生体信号の脳波及び心拍を、指標値算出部１３２により感情指標値化処理を施して覚醒度及び活性度に変換する。なお、ノイズ等の影響を抑制するため、時系列データ（複数の連続した測定値で構成される）の脳波及び心拍のデータを平均化する等の統計処理や、時定数フィルタ（特定周波数域フィルタ）等によるフィルタリング処理が適宜行われる。また、各測定値に対する指標値化処理により算出された複数の覚醒度及び活性度に統計処理やフィルタリング処理を行い、ノイズ等の影響を抑制しても良い。

【0101】

学習装置１０は、挙動判定部１３４により基準時系列長の画像情報及び音声情報を挙動データ化して、視線、顔の向き、音声の情報を生成する。視線の情報は、画像における眼球部分の動きを画像解析する等により生成される。顔の向きの情報は、画像における顔面の複数の部位（目、鼻、耳等）の位置・距離関係を画像解析する等により生成される。音声の情報は、音声を周波数解析したピーク周波数遷移の情報等である。この結果、挙動データは基準時系列長のデータとなる。

【0102】

そして、学習装置１０は、基準時系列長の視線、顔の向き、及び音声の挙動データを入力値とし、覚醒度を正解値とする第１ＡＩモデル１２１ｍａ用の学習データを生成する。また、学習装置１０は、基準時系列長の視線、顔の向き、及び音声の挙動データを入力値とし、活性度を正解値とする第２ＡＩモデル１２１ｍｂ用の学習データを生成する。なお、前述したように、学習データは、判定タイミングに対する覚醒度及び活性度と、これら感情指標値の判定タイミングを終点とする基準時系列長の視線、顔の向き、及び音声の挙動データが関連付けられたデータ（入力値及び正解値）となる。

【0103】

そして、学習装置１０は、各タイミングにおけるこれら学習データを集合化して、各モデル用の学習データセットを形成する。その後、学習装置１０は、生成した当該各学習データセットで、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。

【0104】

具体的には、学習装置１０は、生成した各学習データセットの学習データを順次、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力する。そして、学習装置１０は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等の学習を行う。

【0105】

これにより、各センサにより順次検出される各データに基づき生成される数多くの教師付き学習データにより、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習が行われ、感情推定装置２０で使用される学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢが生成されることになる。

【0106】

なお、図５に示した例は、脳波、心拍、視線、顔の向き、及び音声のデータを収集しながら、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行っている。なお、タイムスタンプが付与された、画像録画データ、音声録音データ、そして記録生体信号データに基づき学習データの生成し、当該学習データを用いて学習することも可能である。

【0107】

＜４．感情推定ＡＩの学習装置の構成＞
図６は、学習装置１０の構成を示すブロック図である。図６では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。

【0108】

図６に示すように、学習装置１０は、通信部１１と、記憶部１２と、コントローラ１３と、を備える。学習装置１０は、いわゆるコンピュータ装置で構成できる。なお、図示は省略するが、学習装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える。

【0109】

通信部１１は、通信ネットワークを介して他の装置、各種センサ類との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）で構成される。

【0110】

記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。

【0111】

記憶部１２には、第１ＡＩモデル記憶部１２１Ａと、第２ＡＩモデル記憶部１２１Ｂとが設けられる。第１ＡＩモデル記憶部１２１Ａと第２ＡＩモデル記憶部１２１Ｂとのそれぞれには、学習対象である学習前の第１ＡＩモデル１２１ｍａと学習前の第２ＡＩモデル１２１ｍｂとが記憶される。さらに、記憶部１２には、各種処理用のデータテーブルとして、タスクテーブル１２３が設けられる。タスクテーブル１２３については後述する。

【0112】

コントローラ１３は、学習装置１０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ１３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。なお、学習装置１０をクラウドサーバで構成することも可能であり、その場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであって良い。

【0113】

コントローラ１３は、その機能として、取得部１３１と、指標値算出部１３２と、時系列長統一部１３３Ａ、１３３Ｂと、挙動判定部１３４と、生成部１３５と、提供部１３６と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0114】

取得部１３１は、通信部１１を介して、カメラＣ、マイクＭ、脳波センサＳ１１、及び心拍センサＳ１２によって検出された各種情報（画像（動画）情報、音声情報、脳波情報、心拍情報）を取得する。取得部１３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部１２に形成されたデータテーブルに記憶する。なお、取得部１３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルにおける一つのデータレコードに記憶する。そして、これらデータは教師付き学習データを生成するために使用される。

【0115】

指標値算出部１３２は、生体情報の脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出する。前述したように、覚醒度は「脳波のβ波／α波」で算出することができる。また、活性度は「心拍ＬＦ成分の標準偏差」で算出することができる。なお、これら感情指標値の算出に必要な算出式等のデータは、記憶部１２に記憶される。

【0116】

時系列長統一部１３３Ａ、１３３Ｂは、取得部１３１によって取得された画像（動画）データ、音声データ、脳波データ、及び心拍データに対し、時系列長の統一処理を行う。被験者の外観情報及び生体信号といった被験者の状態推定に必要な時系列データの最適な時系列長は、被験者が個別に備える固有時系列長であって、個人差があり、また周囲環境の影響を受ける。特に外観情報はその傾向が強いと思われる。また、感情指標値を算出する場合に用いる脳波データ、心拍データといった生体信号の時系列長についても、感情指標値種別により適切な時系列長がある。また、外観情報から感情指標値を推定する場合も、推定に用いる外観情報の時系列長には適切な時系列長がある。

【0117】

これらの点から、時系列長統一部１３３Ａ、１３３Ｂは、取得された各時系列データに対して時系列長の統一処理を行う。次に、時系列データの時系列長の統一処理の具体的方法について説明する。

【0118】

図７Ａ及び図７Ｂは、第１被験者及び第２被験者の感情指標値の時間変化を示す模式図である。図７Ａ及び図７Ｂのそれぞれに含まれるグラフにおいて、横軸は時間、縦軸は感情指標値のレベルである。図７Ａ及び図７Ｂのそれぞれのグラフの下には、グラフの横軸（時間軸）で示されるタイミングで取得される顔画像を模式的に描画した。なお、感情指標値を算出するために取得される生体信号も、感情指標値の変動に対応して変動していることになる。

【0119】

そして、これらのグラフは、第１被験者と第２被験者とが同じタスクＡを実行した場合の感情指標値の推移を示している。なお、実行されるタスクは、タスクを行った被験者が特別な心身状態となるタスクであり、例えば感情指標の覚醒度が高い側に振れる等のタスクである。このような心身状態が特定状態となるタスクは、医学・心理学等の分野の研究でエビデンスが得られているタスクが何種類か知られており、適宜そのようなタスクを選択して使用することができる。

【0120】

タスクＡを実行した場合、第１被験者及び第２被験者はタスクＡに対応した心身状態となる。そして、第１被験者と第２被験者との個人差により、また各被験者の周囲環境に応じて、タスクＡの実行による感情指標値の変動状況が変わる。ここでは、時系列長の統一処理に用いる基準時系列長を決めることが主目的であるので、感情指標値の変動の時間的データに注目することになる。タスクＡの実行による感情指標値の時間的変動については、タスクＡの実行による感情指標値の特徴的変動の継続時間が重要な要素となる。つまり、感情に影響する事象が発生してから各個人に応じた継続時間の期間に渡って事象に対応する感情が継続する。したがって、感情推定タイミング直前の継続時間に渡る感情指標値の計測、つまり生体信号の計測が効果的なデータ計測となる。

【0121】

そこで、多くの被験者について基準時系列長決定のためのデータ収集の実験を行い、このような継続時間を計測し、多くの計測値の統計処理により適当な基準時系列長を決定する。例えば、第１被験者（図７Ａ）の場合は、タスクＡの実行による感情指標値の変動期間Ｌ１（Ｔａ－Ｔ１）を、タスクＡの実行期間直後における生体信号が閾値Ｒｕ（タスクＡの実行により生体信号値が上回る推定がされる閾値）を上回る期間として検出する。また、第２被験者（図７Ｂ）の場合は、タスクＡの実行による感情指標値の変動期間Ｌ２（Ｔａ－Ｔ２）を、タスクＡの実行期間直後における生体信号が閾値Ｒｕを上回る期間として検出する。なお、図７では、下側の閾値Ｒｄも感情指標値が下側に振れるタスクの場合に使用する例として図示している（Ｒｎはニュートラル領域である）。

【0122】

そして、例えば変動期間Ｌ１と変動期間Ｌ２との平均値（時系列長が長いと処理負荷が増加するので、精度とのバランスを取る場合）や最大値（時系列長が長いほど精度が期待できるので、精度重視とする場合）を基準時系列長として決定する。なお、被験者数や実験環境種別が多い場合、標準偏差を用いた統計処理（時系列長が長い方、３σに対応する値を基準時系列長とする等）等、適当な統計処理を行って基準時系列長として決定する。

【0123】

また、第１被験者（図７Ａ）におけるタスクＡの実行による感情指標値の変動期間Ｌ１（Ｔａ－Ｔ１）は、第１被験者個人における感情発生の時間特性と言えるので、第１被験者に対する固有時系列長（推定に適した時系列データの時系列長）として使用することができる。また、第２被験者（図７Ｂ）におけるタスクＡの実行による感情指標値の変動期間Ｌ２（Ｔａ－Ｔ２）は、第２被験者個人における感情発生の時間特性と言えるので、第２被験者に対する固有時系列長として使用することができる。このようにして、他の被験者に対する固有時系列長を決定することができる。

【0124】

なお、上記では、感情指標について基準時系列長と固有時系列長を決定する例を説明した。しかしながら、感情の変化に伴う被験者の状態変化は、状態種別により異なるので、例えば顔面画像、発声音声についての基準時系列長と固有時系列長は感情指標とは通常異なったものになる。このため、同様の方法で被験者の各状態種別毎に基準時系列長と固有時系列長を決定し、各種処理に使用することが好ましい。そして、学習装置１０による実質的学習処理（生体データ、画像データ等を入力して学習データを生成し、各ＡＩモデルに当該学習データを入力する）に先立ち、これら基準時系列長と固有時系列長を決定して記憶部１２に記憶する。

【0125】

学習装置１０による学習処理時における時系列長の統一処理は、具体的には次のような処理となる。なお、各種入力データ（時系列データ）で（時系列長統一部１３３Ａ、１３３Ｂで）同様の処理となるため、ここでは代表して画像入力に対する時系列長の統一処理ついて説明する。また、ここでは被験者個人に適合した学習モデルを生成する場合について、第１被験者（図７Ａの特性）の例を説明する。他の各データについては、基準時系列長及び固有時系列長が各々のデータ種別に対応したものとなる。

【0126】

第１被験者に係る固有時系列長の時間長は、図７Ａの例では期間Ｌ１となり、動画データのフレーム（静止画像）数に換算するとＮ１個となる。基準時系列長のフレーム数をＮｓ個とすると、第１被験者に係る固有時系列長のフレーム数Ｎ１からなる動画をＮｓ個にする変換を行う。

【0127】

具体的には、まず学習装置１０は、被験者（ここでは第１被験者）に応じた固有時系列長の動画を加工元画像（カメラＣから取得し記憶部１２に記憶した対応するタイミングの学習用の元画像）から取得する（切り出す）加工を行う。そして、この固有時系列長の動画を基準時系列長の動画にする加工を行う。

【0128】

具体的には、Ｎｓ＞Ｎ１の場合は、Ｎｓ－Ｎ１個の補完画像を生成して加工元の動画（固有時系列長の動画）のフレーム間に補完画像を挿入する処理、所謂内挿処理を行う。なお、補完画像の生成・挿入箇所は、加工元動画中に均等（等間隔）に分布することが好ましい。また、補完画像の作成は、補完画像挿入箇所の前後画像から合成する一般的な補完画像生成方法を適用できる。

【0129】

また、Ｎｓ＜Ｎ１の場合は、Ｎ１－Ｎｓ個のフレーム画像を加工元の動画から削除する処理、所謂間引処理を行う。なお、フレーム画像の削除箇所は、加工元動画中に均等（等間隔）に分布することが好ましい。

【0130】

このようにして、時系列長統一部１３３Ａ、１３３Ｂは、固有時系列長の各種データに対し、基準時系列長Ｎｓのデータとする変換をする。したがって、時系列長統一部１３３Ａ、１３３Ｂは、感情推定のために必要な特徴部分を含む固有時系列長の各種データを、基準時系列長Ｎｓの各データとする変換を行うことになる。このため、基準時系列長Ｎｓの各データは、感情推定のために必要な特徴部分を含むデータとなり、感情推定の精度の向上が期待できる。

【0131】

なお、本実施形態にように基準時系列長Ｎｓを、多くのサンプリングデータに基づき感情推定のために必要な特徴部分を含むような適当な時系列長に設定している場合には、固有時系列長のデータを用いず、元画像（撮影画像）から基準時系列長Ｎｓの時系列データを取得して後段の各種処理を行っても良い。この場合、時系列長の個人差を完全に近く吸収できるとまでは言えないが、基準時系列長Ｎｓが多くのサンプリングデータに基づく適当な時系列長となっているので、感情推定のために必要な特徴部分を含むような時系列長データを抽出できることが期待できる。

【0132】

図８は、タスクテーブル１２３の一例を示す図である。図８に示すように、タスクテーブル１２３の項目には、「タスクＩＤ」、「生体信号種別」、「対応指標種別」、「タスク内容」、及び「指標値遷移状態」が含まれる。

【0133】

「タスクＩＤ」は、タスク情報を識別するための識別情報であるタスクＩＤデータである。タスクＩＤデータは、タスクテーブル１２３におけるデータレコードの主キーでもある。つまりタスクテーブル１２３では、タスクＩＤデータごとにデータレコードが構成され、当該データレコードにタスクＩＤデータに紐づいた各項目のデータが記憶されることになる。

【0134】

「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別のデータである。ここでは、生体信号種別データは、対応指標種別データの指標を算出するために用いる生体信号と、その算出式とが生体信号種別データとしてタスクテーブル１２３に記憶されている。

【0135】

「対応指標種別」は、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習対象の感情指標種別である。対応指標種別としては、例えば覚醒度、活性度がタスクテーブル１２３に記憶されることになる。

【0136】

「タスク内容」は、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習処理のために被験者が実行するタスクの具体的内容である。

【0137】

「指標値遷移状態」は、対応する（同じレコードに記憶された）タスク内容を被験者が実行した場合に対応する感情指標値が遷移すると推定される状態で、例えば「高覚醒度：覚醒度が覚醒側（覚醒度高）の状態（高指標値状態）になる」といったデータが記憶されることになる。

【0138】

このタスクテーブル１２３によれば、例えばタスクＩＤがＳＴ０１のタスクデータは、生体信号が脳波データであり、感情指標が覚醒度であって脳波のβ波／α波で算出され、具体的タスク内容が「表示される数字を暗算加算する」であり、タスク実行時の被験者の覚醒度の状態遷移が高覚醒度である、というデータとなる。

【0139】

そして、ＡＩモデルの学習処理に用いられる固有時系列長及び基準時系列長の決定の際に、つまり被験者の感情指標値が特定の状態（高覚醒度等）となるように被験者にタスクを実行させる際に、被験者に実行させるタスク内容を決定する処理においてこのタスクテーブル１２３が使用される。例えば、被験者を高覚醒度状態にする場合には、「指標値遷移状態」が「高覚醒度」である「タスク内容」の「表示される数字を暗算加算する」が、被験者に実行させるタスクとして選択されることになる。

【0140】

図６に戻って、説明を続ける。挙動判定部１３４は、取得部１３１が取得し、時系列長統一部１３３Ａ、１３３Ｂによって時系列長が基準時系列長Ｎｓに統一された、ユーザＵ１（図５参照）の顔を含む画像情報及び音声情報に対して解析処理を行うことで、ユーザＵ１の視線や顔の向き、表情、音声等の予め定められた種類の挙動を判定する。その結果、挙動判定部１３４は、基準時系列長Ｎｓの各挙動データ、つまり例えば基準時系列長Ｎｓの視線の時系列（変動）データを出力する。なお、挙動判定部１３４の行う処理と、図３の挙動判定部２３３の行う処理は同等であり、それぞれ同形式の視線、顔の向き、表情、音声の各データを出力する。

【0141】

例えば、ユーザＵ１の視線に関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の左右の眼球を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば目頭の位置、眼の虹彩及び瞳孔の中心位置、近赤外照明による角膜反射像（プルキニエ像）の中心位置、眼球の中心位置等を用いた所定の視線検出処理によりユーザＵ１の視線及び注視点の挙動を判定する。ユーザＵ１の視線は、例えばユーザＵ１の前方にユーザＵ１と正対する仮想平面に設け、ユーザＵ１の視線ベクトルが仮想平面を貫く位置の二次元座標で表すことができる。

【0142】

また、例えば、ユーザＵ１の顔の向きに関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば目、鼻、口等のそれぞれの位置、鼻頂部の位置、顔の輪郭、顔の輪郭の幅方向の中心位置等を用いた所定の顔向き検出処理によりユーザＵ１の顔の向きの挙動を判定する。

【0143】

また、例えば、ユーザＵ１の表情に関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば口角の角度、眉の角度、目の開き具合等を用いた所定の表情検出処理によりユーザＵ１の表情の挙動を判定する。

【0144】

また、例えば、挙動判定部１３４は、ユーザＵ１の声等の発音を含む音声情報に対して、ユーザＵ１の、音声音量や発声速度、発言頻度、音声認識結果に基づく発声内容の言語解析結果（例えば喜びや怒り、不安等に関係する単語や文章の出現）に基づき、ユーザＵ１の音声の挙動を判定する。

【0145】

生成部１３５は、第１ＡＩモデル１２１ｍａに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の各データを入力値とし、指標値算出部１３２によって算出された感情指標値である覚醒度を正解値としてそれぞれ入力し、第１ＡＩモデル１２１ｍａの学習を行う。また、生成部１３５は、第２ＡＩモデル１２１ｍｂに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の各データを入力値とし、指標値算出部１３２によって算出された感情指標値である活性度を正解値としてそれぞれ入力し、第２ＡＩモデル１２１ｍｂの学習を行う。

【0146】

なお、生成部１３５は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。

【0147】

つまり、生成部１３５は、遠隔系センサ（非接触センサ：カメラ、マイク）の検出した情報に基づき、基準時系列長Ｎｓに統一されたユーザＵ１の外観情報を入力データとし、接触系の生体信号センサ（接触センサ：脳波センサ、心拍センサ）によって検出され基準時系列長Ｎｓに統一されたユーザＵ１の生体信号（脳波情報及び心拍情報）に基づき算出された感情指標値（覚醒度及び活性度）を正解データとした教師付き学習データセットを生成する。そして、生成部１３５は、生成した教師付き学習データセットを用いて第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。この学習により、学習済みの第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザ（運転者）の外観情報を入力とし、感情指標値の覚醒度及び活性度を出力するＡＩモデルとなる。そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、基準時系列長Ｎｓの外観情報の入力の場合に、効率的に高精度な推定を行うＡＩモデルとなる。

【0148】

上記の構成によれば、ＡＩモデルによる感情推定に用いる場合に適当な時系列長の個人差等が大きい人の動きに係る外観情報が、基準時系列長Ｎｓに統一され、ＡＩモデルの学習が行われる。したがって、ＡＩモデルは適当な時系列長の時系列データによる個人差等が考慮された学習が施されることになり、個人差等の影響が抑制された精度の高い学習済みＡＩモデルが生成されることになる。その結果、当該ＡＩモデルを用いた感情推定の精度の向上が期待できる。

【0149】

提供部１３６は、生成部１３５によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して後述する車両Ｖ２で用いられる感情推定装置２０（図１及び図３参照）に提供する。これにより、感情推定装置２０は、提供部１３６によって提供された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を取り込んで第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに記憶する。したがって、感情推定装置２０は、感情推定機能がカメラＣ及びマイクＭが取得した画像情報、音声情報に基づく感情推定が可能となり、車両Ｖ２の各種機能において推定した感情情報を利用することができる。

【0150】

なお、提供部１３６は、生成部１３５によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して感情推定装置２０に提供するようにしたが、別の方法で提供することも可能である。例えば、第１ＡＩモデル１２１ｍＡのデータ及び第２ＡＩモデル１２１ｍＢのデータをＡＩプラットホームを形成するＬＳＩに書き込んでＡＩ実行ＬＳＩを生成し、当該ＡＩ実行ＬＳＩを感情推定装置２０に組み込むことで、第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を提供することもできる。また、通信以外のデータ伝達媒体、例えばメモリカード、光ディスク記録媒体等を用いて感情推定装置２０に提供することも可能である。

【0151】

＜５．感情推定ＡＩの学習装置の動作例＞
図９は、図６の学習装置１０のコントローラ１３が実行する感情推定ＡＩの学習処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定ＡＩモデルの学習処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。そして、提供されたコンピュータプログラムが使用者等により学習装置１０にインストールされて、学習装置１０は、図９に示すフローチャートの処理を実行することになる。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0152】

図９に示す処理は、学習装置１０の設計者等が感情推定ＡＩモデルの学習処理を実行する際、例えばキーボード等の操作部により学習処理の開始操作が行われたときに開始される。なお、車両運転時の学習データセットを収集、生成するのであれば、作業者或いは被験者等による学習データセットの収集開始操作に基づき処理が実行される。この場合、ＡＩモデルの学習は、学習データセットを生成後に、別途当該学習データセットを用いて行われることになる。

【0153】

ステップＳ１１１において、コントローラ１３（取得部１３１）は、ユーザＵ１の外観情報及び生体信号、具体的にはカメラＣ及びマイクＭからカメラ撮影画像及びマイク集音音声のデータを取得し、また脳波センサＳ１１及び心拍センサＳ１２から生体信号（脳波データ及び心拍データ）を取得して記憶部１２に記憶し、ステップＳ１１２に移る。

【0154】

なお、車載装置が収集した各データを用いて研究開発室等に設置された学習装置１０にて学習を行う場合は、無線通信や記録媒体で学習装置１０に提供された車載装置が収集、蓄積した各データを用いて、ステップＳ１１１及び以降の処理が行われることになる。

【0155】

ステップＳ１１２において、コントローラ１３（時系列長統一部１３３Ａ、１３３Ｂ）は、ステップＳ１１１において取得部１３１が取得した各種データ（画像（動画）データ、音声データ、脳波データ、心拍データ）に対し、時系列長の統一処理を施し、ステップＳ１１３に移る。なお、時系列長統一処理に必要な基準時系列長及び固有時系列長のデータは、上述の方法により、別途事前に算出し、記憶部１２に記憶しておく。

【0156】

ステップＳ１１３において、コントローラ１３（挙動判定部１３４）は、ステップＳ１１２において時系列長が基準時系列長に統一された画像（動画）データ及び音声データに基づき挙動（視線、顔向き、表情、音声）を判定し（挙動データを生成し）、ステップＳ１１４に移る。

【0157】

ステップＳ１１４において、コントローラ１３（生成部１３５）は、ステップＳ１１２で時系列長が基準時系列長に統一された生体信号の脳波データ及び心拍データに基づき感情指標値の覚醒度及び活性度を生成して、ステップＳ１１５に移る。

【0158】

ステップＳ１１５において、コントローラ１３（生成部１３５）は、ステップＳ１１３で判定した挙動の視線、顔向き、表情、音声データを入力値とし、ステップＳ１１４で生成した覚醒度を正解値とする覚醒度学習用の教師付き学習データを生成して、ステップＳ１１６に移る。

【0159】

ステップＳ１１６において、コントローラ１３（生成部１３５）は、ステップＳ１１３で判定した挙動の視線、顔向き、表情、音声データを入力値とし、ステップＳ１１４で生成した活性度を正解値とする活性度学習用の教師付き学習データを生成して、ステップＳ１１７に移る。

【0160】

ステップＳ１１７において、コントローラ１３（生成部１３５）は、ステップＳ１１５で生成した覚醒度学習用の教師付き学習データを学習完了前の第１ＡＩモデル１２１ｍａに提供して第１ＡＩモデル１２１ｍａの学習を行い、ステップＳ１１８に移る。

【0161】

ステップＳ１１８において、コントローラ１３（生成部１３５）は、ステップＳ１１６で生成した活性度学習用の教師付き学習データを学習完了前の第２ＡＩモデル１２１ｍｂに提供して第２ＡＩモデル１２１ｍｂの学習を行い、ステップＳ１１９に移る。

【0162】

ステップＳ１１９において、各モデルの学習が完了したか、ここでは車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し、終了していれば処理を終え、終了していなければステップＳ１１１に戻り、学習を継続する。

【0163】

この後、学習が完了した学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢは、学習装置１０を操作するオペレータの指示等に基づき、図１に示す車両Ｖ２で用いられる感情推定装置２０等のＡＩモデル利用装置に提供される。

【0164】

なお、図９で示した学習処理においては、各センサからデータを収集する都度、教師付き学習データを生成して各ＡＩモデルの学習を行っている。しかしながら、各センサからデータを収集する都度、教師付き学習データを生成して蓄積し、蓄積した学習データで構成される学習データセットを用いて学習完了前の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行っても良い。

【0165】

その場合、ステップＳ１１５では、覚醒度学習用の教師付き学習データを生成し、蓄積する。ステップＳ１１６では、活性度学習用の教師付き学習データを生成し、蓄積する。そして、ステップＳ１１９は、ステップＳ１１６の後段の処理となり、学習データの作成が完了したかを判断し（例えば、車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し）、終了していればステップＳ１１７及びステップＳ１１８の学習処理を行って処理を終え、終了していなければステップＳ１０１に戻り、学習データの生成処理を継続することになる。なお、ステップＳ１１７及びステップＳ１１８の学習処理は、蓄積した学習用の教師付き学習データを用いて任意のタイミングで行っても良い。

【0166】

＜６．時系列データの固有時系列長の決定方法＞
続いて、個人毎に異なる、感情推定に適した時系列データの固有時系列長の決定方法の別例について説明する。

【0167】

図７Ａ及び図７Ｂを用いて説明した方法は、感情指標値を特定の状態にするタスクを被験者に実行させ、そのタスク実行による感情指標値の特定継続時間に基づき固有時系列長を推定した方法である。

【0168】

これに対して、以降に示す方法は、時系列長の異なる時系列データをＡＩモデルに適用して推定結果を比較し、最も推定結果が良好な時系列長を固有時系列長として決定する方法である。

【0169】

図１０は、データ処理装置５０の構成を示すブロック図である。詳細に言えば、データ処理装置５０は、被験者の状態推定に必要な時系列データの固有時系列長の決定処理を行う処理装置である。図１０では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。また、図１０において、先に図５及び図６を用いて説明した学習装置１０と共通する構成要素には、同じ符号または同じ名称を付してその説明を省略する場合がある。

【0170】

図１０に示すように、データ処理装置５０は、通信部５１と、記憶部５２と、コントローラ５３と、を備える。データ処理装置５０は、いわゆるコンピュータ装置で構成できる。なお、図示は省略するが、データ処理装置５０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える。

【0171】

通信部５１は、通信ネットワークを介して他の装置、各種センサ類との間でデータの通信を行うためのインタフェースである。通信部５１は、例えばＮＩＣ（Network Interface Card）で構成される。

【0172】

記憶部５２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ５３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。

【0173】

記憶部５２には、ＡＩモデル記憶部５２１が設けられる。ＡＩモデル記憶部５２１には、時系列データの固有時系列長の決定処理に用いられる固有時系列長決定用の第１ＡＩモデルｍ１１、第２ＡＩモデルｍ１２、・・・、第ｎＡＩモデルｍ１ｎが記憶される。これら固有時系列長決定用の各ＡＩモデルは、各々異なった固有の時系列長の時系列データが入力データとして適した構成で設計されている。

【0174】

また、記憶部５２には、固有時系列長決定用の各ＡＩモデルの性能評価に用いられる評価用データセット５２５が記憶される。評価用データセット５２５は、各ＡＩモデルの学習用のデータと、学習後の各ＡＩモデルの推定性能評価用のデータとが記憶される。また、記憶部５２には、タスクテーブル５２３と、各種処理用のデータテーブル（不図示）とが記憶される。

【0175】

コントローラ５３は、データ処理装置５０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ５３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。なお、データ処理装置５０をクラウドサーバで構成することも可能であり、その場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであって良い。

【0176】

コントローラ５３は、その機能として、取得部５３１と、データ抽出部５３２と、指標値算出部５３３と、挙動判定部５３４と、生成部５３５と、評価部５３６と、を備える。本実施形態においては、コントローラ５３の機能は、記憶部５２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0177】

取得部５３１は、通信部５１を介して、カメラＣ、マイクＭ、脳波センサＳ１１、及び心拍センサＳ１２によって検出された各種情報（画像（動画）情報、音声情報、脳波情報、心拍情報）を取得する。取得部５３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部５２に形成されたデータテーブルに記憶する。なお、取得部５３１は、実質的に同時刻における各これらの情報を取得して、一つのデータセットとしてデータテーブルにおける一つのデータレコードに記憶する。そして、これらデータは教師付き学習データを生成するために使用される。

【0178】

なお、固有時系列長決定処理の効率化を図るため、取得部５３１は、被験者に特定のタスク（感情指標値の状態を特定の状態とするタスク）を実行させ（タスク実行案内を行う等）、その後の所定時間（タスクによる感情指標値状態が維持されると推定される時間長（個人差等を考慮した長めのマージンを付与））のデータを取得する。また、取得部５３１は、被験者によるタスク開始（例えば、被験者がタスク開始のスイッチ操作を行ったタイミング、或いはタスク案内時間に基づき決められたタイミング）をデータ取得タイミングとする。そして、取得部５３１は、ＡＩモデルの学習や評価に必要な学習データセットを生成できる量のデータの取得を行う。

【0179】

データ抽出部５３２は、取得部１３１によって取得された各種情報（画像（動画）データ、音声データ、脳波データ、心拍データ）から、固有時系列長決定用の各ＡＩモデルに適用するデータを抽出する。具体的には、データ抽出部５３２は、データ取得タイミングを起点に、固有時系列長決定用の第１ＡＩモデルｍ１１、第２ＡＩモデルｍ１２、・・・、第ｎＡＩモデルｍ１ｎに対応した各時間長Ｌ１、Ｌ２、・・・、Ｌｎのデータを抽出する。

【0180】

指標値算出部５３３は、データ抽出部５３２によって抽出された、固有時系列長決定用の各ＡＩモデルそれぞれに対応した時系列長の生体情報の脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出する。覚醒度は「脳波のβ波／α波」で算出することができる。また、活性度は「心拍ＬＦ成分の標準偏差」で算出することができる。なお、脳波及び心拍のデータは時系列データとなっているので、指標値算出部５３３は、平均等の統計的処理を行った脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出する。また、タスク実行タイミングに基づく適当なタイミング（例えば、実験等で適当な感情指標値を算出できるタイミングを決定する）の脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出すると言った方法も適用可能である。

【0181】

そして、指標値算出部５３３で算出された感情指標値の覚醒度は、正解値として第１ＡＩモデル１２１ｍａに入力される。また、指標値算出部１３２で算出された感情指標値の活性度は、正解値として第２ＡＩモデル１２１ｍｂに入力される。

【0182】

挙動判定部５３４は、データ抽出部５３２によって抽出された、ｎ個の固有時系列長決定用の各ＡＩモデルそれぞれに対応した時系列長の画像データ及び音声データに対して解析処理を行い、被験者の視線や顔の向き、表情、音声等の挙動を判定し、当該挙動に係る各データを出力する。

【0183】

生成部５３５は、挙動判定部５３４が出力した挙動データと指標値算出部５３３で算出された感情指標値（覚醒度、活性度等）とに基づき、固有時系列長決定用の各ＡＩモデルに対応するデータセットを生成し、当該データセット対応する各ＡＩモデルに適用して各ＡＩモデルに学習を行わせる。具体的には、生成部５３５は、データ抽出部５３２によって抽出された同じ抽出タイミングの各データに基づき、挙動判定部５３４によって判定された被験者の視線、顔の向き、表情、音声の各データを入力値とし、指標値算出部５３３で算出された感情指標値を正解値とする学習データとする。そして、異なる複数の抽出タイミングの各データで同様の処理を行って学習データを生成し、これら生成した複数の学習データを蓄積して学習データセットを生成する。

【0184】

なお、学習データセットの生成は、固有時系列長決定用の各ＡＩモデルそれぞれに対応した各時系列長に対して行われることになる。これら学習データセットは、対応する固有時系列長決定用の第１ＡＩモデルｍ１１、第２ＡＩモデルｍ１２、・・・、第ｎＡＩモデルｍ１ｎに適用され、各ＡＩモデルは当該学習データセットにより学習を行う。

【0185】

評価部５３６は、学習後のｎ個の固有時系列長決定用の各ＡＩモデルのそれぞれの性能評価を行い、その評価結果に基づいて固有時系列長を決定する。

【0186】

具体的には、評価部５３６は、生成部５３５における学習データセットの生成と同様の処理により、学習データセットと同様の評価用データセットを生成する。なお、生成部５３５とは異なるタイミングで取得部５３１が取得したデータに基づき評価用データセットを生成することが好ましい。

【0187】

そして、評価部５３６は、固有時系列長決定用の各ＡＩモデルに、対応する時系列長の評価用データセットにおける入力データ（挙動判定部５３４によって判定された被験者の視線、顔の向き、表情、音声の各データ）を入力し、各ＡＩモデルに感情指標値を推定させる。評価部５３６は、評価用データセットの各学習データにおける正解データ（感情指標値）と、各ＡＩモデルが推定した推定感情指標値とを比較して差分を算出する。そして、評価部５３６は、当該差分に統計的処理を施し（例えば、正解値と推定値の一致率）、ＡＩモデルの評価値とする。

【0188】

評価部５３６は、これらの評価を各ＡＩモデルについて行い、当該評価が最も良く、時系列長が短いＡＩモデルに対する入力信号の時系列長を固有時系列長に決定する。なお、評価（高い方が精度が良い）と時系列長（短い方が処理負荷が小さい）のバランスをとることになるので、評価と時系列長とをパラメータとし、総合評価を値（出力値）とするデータテーブルを作成しておき、総合評価が高い評価と時系列長に対応するＡＩモデルの入力データの時系列長を固有時系列長に決定すればよい。

【0189】

上記のように、被験者に関するいろいろな長さの時系列長に対応するＡＩモデルに対して、実際に対応する時系列長の時系列データで学習する。そして、その学習後のＡＩモデルに対応する時系列長の時系列データを入力して得られる推定結果の評価に基づき固有時系列長を決定する。したがって、実データに基づいた各個人の特性に対応した最適な長さの固有時系列長を決定することができる。

【0190】

図１１は、上記の固有時系列長の決定方法の説明図である。図１１は、各ＡＩモデルの学習時における、被験者の感情指標値の推移、被験者の顔画像の推移、これら推移データ（時系列データ）の各ＡＩモデルへの入力状況が表現されている。なお、被験者の感情指標値の推移、被験者の顔画像の推移のデータは、各ＡＩモデル共に同じデータであり、各ＡＩモデル毎に入力されるデータの時系列長が異なる、つまりデータ抽出部５３２によるデータ抽出位置（時間帯）が異なる。

【0191】

各ＡＩモデル毎に入力されるデータの開始点Ｔａは、タスク時刻Ｔ０に基づき設定される。なお、タスク時刻Ｔ０は、タスク実行期間の所定位置であり、ここではタスク終了時点としている。また、データの開始点Ｔａは、マージンを取らずにタスク時刻Ｔ０に一致させている。固有時系列長決定用の各ＡＩモデルに対する入力データの時系列長は、第１ＡＩモデルｍ１１では時間長表記で時系列長Ｌ１１（画像データフレーム数換算でＮ１１）であり、第２ＡＩモデルｍ１２は時系列長Ｌ１２（画像データフレーム数換算でＮ１２）であり、・・・、第ｎＡＩモデルｍ１ｎは時系列長Ｌ１ｎ（画像データフレーム数換算でＮ１ｎ）である。

【0192】

固有時系列長決定用の各ＡＩモデルの学習時において、第１ＡＩモデルｍ１１には、時系列長Ｌ１１の感情指標値の統計処理等で算出された感情指標値を正解値とし、時系列長Ｌ１１の画像データ（フレーム換算時系列長Ｎ１１の画像データフレーム）を入力値とする学習データが適用（入力）され、第１ＡＩモデルｍ１１の学習が行われる。

【0193】

また、第２ＡＩモデルｍ１２には、時系列長Ｌ１２の感情指標値の統計処理等で算出された感情指標値を正解値とし、時系列長Ｌ１２の画像データ（フレーム換算時系列長Ｎ１２の画像データフレーム）を入力値とする学習データが適用（入力）され、第２ＡＩモデルｍ１２の学習が行われる。

【0194】

そして、第ｎＡＩモデルｍ１ｎには、時系列長Ｌ１ｎの感情指標値の統計処理等で算出された感情指標値を正解値とし、時系列長Ｌ１ｎの画像データ（フレーム換算時系列長Ｎ１ｎの画像データフレーム）を入力値とする学習データが適用（入力）され、第ｎＡＩモデルｍ１ｎの学習が行われる。

【0195】

このような学習処理が、学習データセットにおける各学習データについて行われる。

【0196】

固有時系列長決定用の各ＡＩモデルの評価時において、第１ＡＩモデルｍ１１には、時系列長Ｌ１１の画像データ（フレーム換算時系列長Ｎ１１の画像データフレーム）が入力値として入力される。そして、第１ＡＩモデルｍ１１の推定結果（感情指標値）と、時系列長Ｌ１１の感情指標値の統計処理等で算出された感情指標値を正解値とを比較し、これらの差が無ければ（閾値より小さければ）正推定と判断し、これらに差があれば（閾値より大きければ）誤判定と判断する。

【0197】

また、第２ＡＩモデルｍ１２には、時系列長Ｌ１２の画像データ（フレーム換算時系列長Ｎ１２の画像データフレーム）を入力値として入力される。そして、第２ＡＩモデルｍ１２の推定結果（感情指標値）と、時系列長Ｌ１２の感情指標値の統計処理等で算出された感情指標値を正解値とを比較し、これらの差が無ければ（閾値より小さければ）正推定と判断し、これらに差があれば（閾値より大きければ）誤判定と判断する。

【0198】

そして、第ｎＡＩモデルｍ１ｎには、時系列長Ｌ１ｎの画像データ（フレーム換算時系列長Ｎ１ｎの画像データフレーム）を入力値として入力される。そして、第ｎＡＩモデルｍ１ｎの推定結果（感情指標値）と、時系列長Ｌ１ｎの感情指標値の統計処理等で算出された感情指標値を正解値とを比較し、これらの差が無ければ（閾値より小さければ）正推定と判断し、これらに差があれば（閾値より大きければ）誤判定と判断する。

【0199】

そして、各ＡＩモデルにおける評価データセットによる正推定数と誤判定数とに基づく正解率等に基づき、各ＡＩモデルの性能評価を行う。そして、各ＡＩモデルの性能評価と入力データの時系列長とに基づき、当該被験者に対する固有時系列長を決定する。

【0200】

このようにして、個人毎に異なる、状態推定に適した時系列データの固有時系列長が決定され、感情推定ＡＩモデルの学習、及び当該ＡＩモデルを用いた感情推定が行われる。事前に、個人毎に各種データの固有時系列長を決定しておくことで、各個人の特性に対応した長さの時系列データを用いた各種処理を行うことができる。したがって、各個人の特性に対応した精度の高い学習済みＡＩモデルを生成することが可能になる。さらに、当該ＡＩモデルを用いた感情推定の精度の向上が期待できる。

【0201】

＜７．感情推定ＡＩの学習装置の動作例＞
図１２Ａ及び図１２Ｂは、図１０のデータ処理装置５０のコントローラ５３が実行する時系列データの固有時系列長の決定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に時系列データの固有時系列長の決定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、或いは通信ネット網を介して（所謂ダウンロードにより）提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0202】

図１２Ａ及び図１２Ｂに示す処理は、ＡＩモデルの設計者等が、個人毎に異なる、状態推定に必要な時系列データの固有時系列長の決定処理を実行する際、例えばキーボード等の操作部により当該決定処理の開始操作が行われたときに開始される。

【0203】

なお、図１２Ａ及び図１２Ｂに示す処理は、１個の学習データに基づく固有時系列長の決定処理を示している。複数の学習データに基づく処理の場合は、複数の学習用データによる同様の学習処理を複数回行い、そして複数の評価用データによる同様の評価処理を複数回行って評価結果を統計処理（平均処理等）することになる。

【0204】

ステップＳ２０１において、コントローラ５３は、被験者に感情指標を特定の状態にする特定タスクを実行させる案内通知を行い、ステップＳ２０２に移る。なお、コントローラ５３は、特定タスクを実行確認のために、通知した特定タスクを実行した旨の通知を被験者から受信した場合（例えば、被験者によるスィッチ操作）にステップＳ２０２に移ることが好ましい。

【0205】

ステップＳ２０２において、コントローラ５３（取得部５３１）は、被験者の外観情報及び生体信号、具体的にはカメラＣ及びマイクＭからカメラ撮影画像及びマイク集音音声のデータを取得し、また脳波センサＳ１１及び心拍センサＳ１２から生体信号（脳波データ及び心拍データ）を取得して記憶部５２に記憶し、ステップＳ２０３に移る。なお、取得された一群のデータに取得順に識別用の番号（１～Ｐ）が付与されることになる。説明の便宜上、ｐ番目に取得されたデータを取得データｐと表記する。

【0206】

ステップＳ２０３において、コントローラ５３（取得部５３１）は、被験者に関するデータの取得数（ステップＳ２０２で取得する一群のデータ取得数であり、ステップＳ２０２の処理回数と等しくなる）が、予定数Ｐ（固有時系列長の決定のために用いるデータ群の数で、装置開発者等が実験等により適当な値に定める）に達したか判断する。被験者に関するデータの取得数が、予定数Ｐに達していればステップＳ２０４に移り、達していなければステップＳ２０１に戻る。つまり、ステップＳ２０１～Ｓ２０３の処理により、予定数Ｐの取得データ（１～Ｐ）が取得されることになる。

【0207】

ステップＳ２０４において、コントローラ５３（データ抽出部５３２）は、取得データの識別番号（取得順）に関する変数ｐに１を設定して、ステップＳ２０５に移る。

【0208】

ステップＳ２０５において、コントローラ５３（データ抽出部５３２）は、固有時系列長決定用のＡＩモデルの識別番号を示す変数ｑに１を設定して（対応するＡＩモデルは、第ｑＡＩモデルｍ１ｑと表記されることになる）、ステップＳ２０６に移る。

【0209】

ステップＳ２０６において、コントローラ５３（データ抽出部５３２）は、取得データｐを記憶部５２から読み出し、ステップＳ２０７に移る。

【0210】

ステップＳ２０７において、コントローラ５３（データ抽出部５３２）は、取得データｐの各データから時系列長ｑ（第ｑＡＩモデルｍ１ｑにおける入力データの時系列長）でデータ抽出を行い、ステップＳ２０８に移る。

【0211】

ステップＳ２０８において、コントローラ５３（指標値算出部５３３）は、ステップＳ２０７で抽出された生体データに基づき感情指標値（覚醒度・活性度等）を算出し、ステップＳ２０９に移る。

【0212】

ステップＳ２０９において、コントローラ５３（挙動判定部５３４）は、ステップＳ２０７で抽出された外観情報（画像データ、音声データ）に基づき挙動データを生成し、ステップＳ２１０に移る。

【0213】

ステップＳ２１０において、コントローラ５３（生成部５３５）は、入力データをステップＳ２０９で生成された挙動データとし、正解データをステップＳ２０８で算出された感情指標値とする学習データ（ｐ、ｑ）を生成し、記憶部５２に記憶して、ステップＳ２１１に移る。

【0214】

ステップＳ２１１において、コントローラ５３（生成部５３５）は、変数ｑに１を加算し、ステップＳ２１２に移る。

【0215】

ステップＳ２１２において、コントローラ５３（生成部５３５）は、変数ｑが固有時系列長決定用のＡＩモデル数ｎ＋１に達したか判断し、ｎ＋１に達していればステップＳ２１３に移り、達していなければステップＳ２０７に戻る。つまり、ステップＳ２０５～Ｓ２１２の処理で、取得データｐに基づく各固有時系列長決定用の全ＡＩモデルに対する学習データが生成され、記憶部５２に記憶されることになる。

【0216】

ステップＳ２１３において、コントローラ５３（生成部５３５）は、変数ｐに１を加算し、ステップＳ２１４に移る。

【0217】

ステップＳ２１４において、コントローラ５３（生成部５３５）は、変数ｐが取得データ数Ｐ＋１に達したか判断し、Ｐ＋１に達していればステップＳ２１５に移り、達していなければステップＳ２０５に戻る。つまり、ステップＳ２０４～Ｓ２１４の処理で、全取得データに関して、各固有時系列長決定用の全ＡＩモデルに対する学習データが生成され、記憶部５２に記憶されることになる。

【0218】

ステップＳ２１５において、コントローラ５３（生成部５３５）は、学習データ（ｐ、ｑ）を学習用データ（ｐ＝１～Ｒ－１）と評価用データ（ｐ＝Ｒ～Ｐ）に分配し、ステップＳ２１６に移る。

【0219】

ステップＳ２１６において、コントローラ５３（生成部５３５）は、変数ｐに１を設定して、ステップＳ２１７に移る。

【0220】

ステップＳ２１７において、コントローラ５３（生成部５３５）は、変数ｑに１を設定して、ステップＳ２１８に移る。

【0221】

ステップＳ２１８において、コントローラ５３（生成部５３５）は、第ｑＡＩモデルｍ１ｑを学習データ（ｐ、ｑ）で学習して（学習データをＡＩモデルに適用して）、ステップＳ２１９に移る。

【0222】

ステップＳ２１９において、コントローラ５３（生成部５３５）は、変数ｑに１を加算し、ステップＳ２２０に移る。

【0223】

ステップＳ２２０において、コントローラ５３（生成部５３５）は、変数ｑが固有時系列長決定用のＡＩモデル数ｎ＋１に達したか判断し、ｎ＋１に達していればステップＳ２２１に移り、達していなければステップＳ２１８に戻る。つまり、ステップＳ２１７～Ｓ２２０の処理で、取得データｐに基づく学習データによる全ＡＩモデルの学習が実行されることになる。

【0224】

ステップＳ２２１において、コントローラ５３（生成部５３５）は、変数ｐに１を加算し、ステップＳ２２２に移る。

【0225】

ステップＳ２２２において、コントローラ５３（生成部５３５）は、変数ｐが評価用学習データ初期番号Ｒに達したか判断し、Ｒに達していればステップＳ２２３に移り、達していなければステップＳ２１７に戻る。つまり、ステップＳ２１６～Ｓ２２２の処理で、全学習データに関して、各固有時系列長決定用の全ＡＩモデルに対する学習が実行されることになる。

【0226】

ステップＳ２２３において、コントローラ５３（評価部５３６）は、変数ｑに１を設定して、ステップＳ２２４に移る。

【0227】

ステップＳ２２４において、コントローラ５３（評価部５３６）は、第ｑＡＩモデルを評価データ（ｐ、ｑ）で評価して、ステップＳ２２５に移る。具体的には、評価データ（ｐ、ｑ）における入力データ（挙動データ）を第ｑＡＩモデルに入力する。そして、当該入力に対して第ｑＡＩモデルが出力（推定）した感情指標値（覚醒度・活性度）と、評価データ（ｐ、ｑ）における正解値の差異を評価値（差異が小さい程、高評価となる）とする。

【0228】

ステップＳ２２５において、コントローラ５３（評価部５３６）は、変数ｑに１を加算し、ステップＳ２２６に移る。

【0229】

ステップＳ２２６において、コントローラ５３（評価部５３６）は、変数ｑが固有時系列長決定用のＡＩモデル数ｎ＋１に達したか判断し、ｎ＋１に達していればステップＳ２２７に移り、達していなければステップＳ２２４に戻る。つまり、ステップＳ２２３～Ｓ２２６の処理で、取得データｐに基づく評価データによる全ＡＩモデルの評価が実行されることになる。

【0230】

ステップＳ２２７において、コントローラ５３（評価部５３６）は、変数ｐに１を加算し、ステップＳ２２８に移る。

【0231】

ステップＳ２２８において、コントローラ５３（評価部５３６）は、変数ｐが取得データ数Ｐ＋１に達したか判断し、Ｐ＋１に達していればステップＳ２２９に移り、達していなければステップＳ２２３に戻る。つまり、ステップＳ２２３～Ｓ２２８の処理で、全評価データに関して、各固有時系列長決定用の全ＡＩモデルに対する評価が実行されることになる。

【0232】

ステップＳ２２９において、コントローラ５３（評価部５３６）は、各ＡＩモデル（第ｑＡＩモデルｍ１ｑ）について評価結果（各評価値）の統計処理（例えば、感情指標値の差異の平均）を行い、ステップＳ２３０に移る。

【0233】

ステップＳ２３０において、コントローラ５３（評価部５３６）は、各ＡＩモデル（第ｑＡＩモデルｍ１ｑ）についての評価結果の統計処理値、及び対応するＡＩモデルにおける入力データに対して設定された時系列長に応じて定まる統合評価値に基づき固有時系列長を決定して、処理を終える。

【0234】

なお、統合評価値は、例えば、統計処理値と時系列長をパラメータとし、統合評価値を算出値（パラメータにより決定される値）とするテーブルデータ（設計者等が実験等により生成する）や、計算式（設計者等が実験等により生成する）により算出することができる。

【0235】

そして、このようにして決定された固有時系列長に基づき、取得データの時系列長が調整され、また感情指標値推定用のＡＩモデルが設定されることになる。

【0236】

また、適切な固有時系列長は被験者特有のデータとなるため、上述の処理は、被験者個人毎に行われ、決定された時系列データの固有時系列長に係るデータは、個人毎に区別されて記憶部５２のデータテーブルに記憶される。さらに、このようにして記憶部５２に記憶された、個人毎に異なる、状態推定に必要な時系列データの固有時系列長に係るデータは、例えば感情推定ＡＩの学習装置、及び当該感情推定ＡＩを搭載した感情推定装置に提供される。次に、これらの学習装置、感情推定装置について説明する。そして、学習または推定の対象となる個人に対する固有時系列長のデータが読み出されて、学習装置、または感情推定装置で利用されることになる。

【0237】

次に、これらの学習装置、感情推定装置について説明する。

【0238】

＜８．固有時系列長のデータを用いた感情推定ＡＩの学習処理＞
図１３は、学習装置１０による感情推定ＡＩの学習処理を示す概念的説明図である。図１４は、学習装置１０の構成を示すブロック図である。なお、図１３及び図１４に示す当該実施例において、先に図５及び図６を用いて説明した学習装置１０と共通する構成要素には、同じ符号または同じ名称を付してその説明を省略する場合がある。

【0239】

図１３及び図１４は、一例として、上記第１被験者（ユーザＵ１）の感情推定を行う感情推定ＡＩの学習装置１０を記載している。第１被験者（ユーザＵ１）の感情推定に必要な時系列データの固有時系列長Ｌ１は、上記図１１、図１２Ａ及び図１２Ｂを用いて説明した決定方法により予め決定されている。固有時系列長Ｌ１のデータは、学習装置１０の記憶部１２のデータテーブルに予め記憶される。また、学習前の第１ＡＩモデル１２１ｍａ及び学習前の第２ＡＩモデル１２１ｍｂは、固有時系列長Ｌ１の入力データに対して最適な推定動作となるように、実験等に基づき設計されている。

【0240】

図１３及び図１４に示すように、学習装置１０のコントローラ１３は、データ抽出部１３７を備える。データ抽出部１３７は、取得部１３１によって取得された各種情報（画像（動画）データ、音声データ、脳波データ、心拍データ）を、感情推定タイミングにおいてユーザＵ１の固有時系列長Ｌ１で抽出し（切り出し）、指標値算出部１３２及び挙動判定部１３４に出力する。挙動判定部１３４は、ユーザＵ１の固有時系列長Ｌ１の画像データ及び音声データに対して解析処理を行い、ユーザＵ１の視線や顔の向き、表情、音声等の挙動を判定し、生成部１３５に出力する。指標値算出部１３２は、脳波データ及び心拍データに基づき感情指標値（覚醒度及び活性度）を算出し、生成部１３５に出力する。

【0241】

生成部１３５は、第１ＡＩモデル１２１ｍａに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の情報を入力値とし、指標値算出部１３２により算出された感情指標値の覚醒度を正解値としてそれぞれ入力し、第１ＡＩモデル１２１ｍａの学習を行う。また、生成部１３５は、第２ＡＩモデル１２１ｍｂに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の情報を入力値とし、指標値算出部１３２により算出された感情指標値の活性度を正解値としてそれぞれ入力し、第２ＡＩモデル１２１ｍｂの学習を行う。学習装置１０は、このような学習処理を学習期間に渡って繰り返し実行して、学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢを生成する。

【0242】

上記の構成によれば、各個人に適した固有時系列長の時系列データを用いて、当該固有時系列長の入力データに適した構成の感情推定ＡＩモデルの学習を行うことができる。したがって、各個人の特性に対応した精度の高い学習済みＡＩモデルを生成することが可能になる。

【0243】

＜９．固有時系列長のデータを用いた感情推定処理＞
図１５は、感情推定装置２０による感情推定処理を示す概念的説明図である。図１６は、車両制御システム４０の構成を示すブロック図である。なお、図１５及び図１６に示す当該実施例において、先に図１及び図３を用いて説明した感情推定装置２０と共通する構成要素には、同じ符号または同じ名称を付してその説明を省略する場合がある。

【0244】

図１５及び図１６には、一例として、上記第１被験者（ユーザＵ１）の感情推定を行う感情推定装置２０及び感情推定システム２０Ｓを記載している。第１被験者（ユーザＵ１）の感情推定に必要な時系列データの固有時系列長Ｌ１は、上記図１１、図１２Ａ及び図１２Ｂを用いて説明した決定方法により予め決定されている。ユーザＵ１に適した固有時系列長Ｌ１のデータは、感情推定装置２０の記憶部２２のデータテーブルに予め記憶される。また、ユーザＵ１に適した固有時系列長Ｌ１の入力データに適した構成であり、また固有時系列長Ｌ１の学習データで学習された学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢが、感情推定装置２０に設置（設定）されている。

【0245】

図１５及び図１６に示すように、感情推定装置２０のコントローラ２３は、データ抽出部２３６を備える。データ抽出部２３６は、取得部２３１によって取得された各種外観情報（画像（動画）データ、音声データ）を、感情推定タイミングにおいてユーザＵ１の固有時系列長Ｌ１で抽出し（切り出し）、出力する。挙動判定部２３３は、ユーザＵ１の固有時系列長Ｌ１の画像データ及び音声データに対して解析処理を行い、ユーザＵ１の視線や顔の向き、表情、音声等の挙動を判定し、出力する。

【0246】

感情推定部２３４は、挙動判定部２３３が判定した挙動のデータを第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ１の感情指標値（覚醒度及び活性度）を推定する。そして、感情推定部２３４は、当該推定感情指標値を感情推定モデル２２２ｍに適用（入力）する。そして、感情推定モデル２２２ｍは、当該推定感情指標値に基づいてユーザＵ１の感情を推定する。そして、感情推定部２３４は、当該感情推定結果を提供部２３５に出力する。感情推定結果は、提供部２３５から車両制御装置３０等に提供され、各種制御等に用いられる。

【0247】

上記の構成によれば、感情推定対象者に適した固有時系列長の時系列データを用いて、また感情推定対象者に適した特性（固有時系列長対応）のＡＩモデルによる感情推定を行うことができる。したがって、各個人の特性に対応した、感情推定の精度の向上が期待できる。

【0248】

＜１０．時系列データの固有時系列長の再決定＞
続いて、感情推定値装置２０における固有時系列長の再決定について説明する。

【0249】

各個人に適した時系列データの固有時系列長は、個人の経時的変化や環境変化等の影響により、従前に決定した長さに対して差異が生じることがある。このため、固有時系列長は、例えば定期的にキャリブレーションを行うなどして評価し、信頼性を高めることが好ましい。

【0250】

コントローラ２３（固有時系列長再決定部２３７）は、キャリブレーションとして次のような動作を実行する（各構成要素部に実行させる）。

【0251】

例えば、定期的なキャリブレーション時において、感情推定装置２０のコントローラ２３（固有時系列長再決定部２３７）は、ユーザＵ１に定期キャリブレーションの案内を行うなどして、ユーザＵ１に生体（脳波・心拍）センサを装着させる。そして、データ抽出部２３６は、ユーザＵ１の生体信号を固有時系列長で抽出し、指標値算出部２３８に出力する。

【0252】

なお、指標値算出部２３８は、図１３で示した学習装置１０における指標値算出部１３２と同様の構成である。指標値算出部２３８は、入力された脳波データ及び心拍データに基づき、感情指標値の覚醒度及び活性度を算出する。他方、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、生体信号検出タイミングと同じ推定タイミングにおける画像（動画）データ、音声データに基づき、感情指標値の覚醒度及び活性度を推定する。

【0253】

コントローラ２３（固有時系列長再決定部２３７）は、指標値算出部２３８が算出した感情指標値の覚醒度及び活性度と、ＡＩモデルが推定した覚醒度及び活性度とを比較して、生体信号の性能評価（差が大きい程、ＡＩモデルの性能低下が大きいと評価）する。また、コントローラ２３（固有時系列長再決定部２３７）は、感情推定モデル２２２ｍが推定した感情精度を、推定した感情をユーザＵ１に通知した際のユーザＵ１の反応（感情推定結果が妥当か否かをユーザＵ１がスィッチ操作入力する等）に基づき推定する。

【0254】

そして、コントローラ２３（固有時系列長再決定部２３７）は、このような感情指標値評価結果と、感情推定結果評価とに基づき、固有時系列長の再決定が必要か否かを判断する。例えば、両方の評価結果が共に判定閾値より悪い場合に、コントローラ２３（固有時系列長再決定部２３７）は、固有時系列長の再決定が必要と判断する。そして、コントローラ２３（固有時系列長再決定部２３７）は、この判断結果に基づき、固有時系列長の再決定の必要性をユーザＵ１に通知する。ユーザＵ１は、この通知に基づき、固有時系列長の再決定処理を行うことになる。

【0255】

そして、当該再決定に対し、図１１、図１２Ａ及び図１２Ｂを用いて説明した固有時系列長の決定方法に基づく処理を再度行うことになる。なお、図１５及び図１６に示した感情推定装置２０においては、固有時系列長の決定方法を実行するためのハード構成が略存在する。このため、固有時系列長の決定処理プログラムを感情推定装置２０にインストールして、必要なデータを収集することにより、感情推定装置２０が固有時系列長の再決定処理を実行できるようにすることも可能である。

【0256】

上記の構成によれば、各個人に適した固有時系列長を、例えば定期的に、或いは任意のタイミングで、最新の適したデータに更新することができる。したがって、各個人の最新の特性に対応した精度の高い学習済みＡＩモデルを生成でき、各個人の最新の特性に対応した感情推定の精度の向上が期待できる。

【0257】

なお、上記の各実施形態では、ＡＩモデルにより感情指標値（覚醒度、活性度等）を推定するようにしたが、ＡＩモデルにより感情自体、或いは生体信号（脳波、心拍等）を推定することも可能である。感情自体を推定するＡＩモデルの場合、学習データの正解データは感情（感情指標値（覚醒度、活性度等）を感情推定モデル２２２ｍに適用した際の推定出力）となる。また、生体信号（脳波、心拍等）を推定するＡＩモデルの場合、学習データの正解データは生体信号となる。

【0258】

＜１１．留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。

【0259】

また、上記実施形態では、被験者の動きに係る外観情報を取得し、取得した外観情報をＡＩモデルに入力して被験者の状態（感情）を推定する生体状態推定装置について説明したが、状態推定の対象は人（被験者）以外の他の動きのある物体であっても良い。当該物体としては、例えば車両、動物等であっても良い。したがって、本発明の技術は、物体（例えば車両）の動きに係る外観情報を取得し、取得した外観情報をＡＩモデルに入力して物体の状態（例えば、外観には表れない内面状態）を推定する物体状態推定装置として置き換えることができる。

【0260】

これにより、例えば車両の場合、種類（乗用車、トラック等）ごとに動きの特性が異なり、個体差が大きい車両の動きに係る外観情報の時系列長を、基準時系列長に統一することができる。したがって、車両の個体差の影響が抑制された精度の高い学習済みＡＩモデルを生成でき、当該ＡＩモデルを用いた車両の状態推定の精度の向上が期待できる。

【0261】

また、物体毎に異なる、状態推定に適した時系列データの固有時系列長が決定され、状態推定ＡＩモデルの学習、及び当該ＡＩモデルを用いた物体の状態推定が行われる。事前に、物体毎に各種データの固有時系列長を決定しておくことで、各物体の特性に対応した長さの時系列データを用いた各種処理を行うことができる。したがって、各物体の特性に対応した精度の高い学習済みＡＩモデルを生成することが可能になる。さらに、当該ＡＩモデルを用いた物体の状態推定の精度の向上が期待できる。

【0262】

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。

【0263】

また、学習装置１０及び感情推定装置２０のそれぞれの少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。なお、そのようなコンピュータプログラムは、コンピュータ読取り可能な不揮発性記録媒体（例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等）に記憶され提供（販売等）されることが可能で、またインターネット等の通信回線を介してサーバ装置で提供する方法、いわゆるダウンロードによる提供も可能である。

【符号の説明】

【0264】

１０ 学習装置
１２ 記憶部
１３ コントローラ
２０ 感情推定装置（生体状態推定装置）
２０Ｓ 感情推定システム（車載システム）
２２ 記憶部
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
５０ データ処理装置
５２ 記憶部
５３ コントローラ
１２１ｍａ、１２１ｍＡ 第１ＡＩモデル
１２１ｍｂ、１２１ｍＢ 第２ＡＩモデル
１３１ 取得部
１３２ 指標値算出部
１３３Ａ、１３３Ｂ 時系列長統一部
１３４ 挙動判定部
１３５ 生成部
１３６ 提供部
１３７ データ抽出部
２２２ｍ 感情推定モデル
２３１ 取得部
２３２ 時系列長統一部
２３３ 挙動判定部
２３４ 感情推定部
２３５ 提供部
２３６ データ抽出部
２３７ 固有時系列長再決定部
５２５ 評価用データセット
５３１ 取得部
５３２ データ抽出部
５３３ 指標値算出部
５３４ 挙動判定部
５３５ 生成部
５３６ 評価部
Ｃ カメラ
Ｍ マイク
Ｓ１１ 脳波センサ
Ｓ１２ 心拍センサ
ｍ１１ 固有時系列長決定用第１ＡＩモデル
ｍ１２ 固有時系列長決定用第２ＡＩモデル
ｍ１ｎ 固有時系列長決定用第ｎＡＩモデル
Ｕ１、Ｕ２ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】

【図15】

【図16】