ホーム > 特許ランキング > 株式会社デンソーテン
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025004432
(43)【公開日】2025-01-15
(54)【発明の名称】学習方法、学習装置、学習プログラム、及び感情推定装置
(51)【国際特許分類】
A61B 5/16 20060101AFI20250107BHJP
A61B 5/18 20060101ALI20250107BHJP
G06N 20/00 20190101ALI20250107BHJP
G06T 7/00 20170101ALI20250107BHJP
G06V 10/70 20220101ALI20250107BHJP
【ＦＩ】
A61B5/16 120
A61B5/16 130
A61B5/18
G06N20/00 130
G06T7/00 350B
G06T7/00 P
G06T7/00 660A
G06V10/70
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2023104119
(22)【出願日】2023-06-26
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】村下 君孝
(72)【発明者】
【氏名】加藤 徹洋
(72)【発明者】
【氏名】橋本 和真
(72)【発明者】
【氏名】坂口 友理
(72)【発明者】
【氏名】長谷川 渉
【テーマコード（参考）】
4C038
5L096
【Ｆターム（参考）】
4C038PP03
4C038PQ04
4C038PS00
4C038PS03
4C038PS05
5L096AA06
5L096BA18
5L096CA04
5L096DA02
5L096FA67
5L096GA51
5L096KA04
5L096MA07
(57)【要約】
【課題】処理負荷が軽いＡＩモデルを提供する。
【解決手段】感情を推定するための感情指標値を推定するＡＩモデルの学習方法であって、同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、取得した前記生体信号に基づき前記感情指標値を算出し、算出した前記感情指標値を量子化して量子化感情指標値を算出し、取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【選択図】図６
【解決手段】感情を推定するための感情指標値を推定するＡＩモデルの学習方法であって、同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、取得した前記生体信号に基づき前記感情指標値を算出し、算出した前記感情指標値を量子化して量子化感情指標値を算出し、取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【選択図】図６
【特許請求の範囲】
【請求項1】
感情を推定するための感情指標値を推定するＡＩモデルの学習方法であって、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
【請求項2】
前記量子化は、前記量子化感情指標値が第１閾値と、前記第１閾値より低い第２閾値とにより層別される、高指標値側である正の量子化値と、中間のニュートラルの量子化値と、低指標値側である負の量子化値とに量子化される、
請求項１に記載の学習方法。
請求項１に記載の学習方法。
【請求項3】
前記感情指標値が特定状態になると推定されるタスクを閾値決定用被験者が実行した際の当該閾値決定用被験者の生体信号により算出される前記感情指標値に基づく閾値を用いて、前記量子化感情指標値を算出する、
請求項１に記載の学習方法。
請求項１に記載の学習方法。
【請求項4】
前記ＡＩモデルは、推定する前記感情指標値が中枢神経系覚醒度の量子化値である覚醒度推定ＡＩであり、
取得した前記生体信号である脳波におけるβ波とα波との比に基づき量子化される前記感情指標値である覚醒度を算出する、
請求項１または請求項２に記載の学習方法。
取得した前記生体信号である脳波におけるβ波とα波との比に基づき量子化される前記感情指標値である覚醒度を算出する、
請求項１または請求項２に記載の学習方法。
【請求項5】
前記ＡＩモデルは、推定する前記感情指標値が自律神経系活性度の量子化値である活性度推定ＡＩであり、
取得した前記生体信号である心拍における心拍波形信号の低周波成分に基づき量子化される前記感情指標値である活性度を算出する、
請求項１または請求項２に記載の学習方法。
取得した前記生体信号である心拍における心拍波形信号の低周波成分に基づき量子化される前記感情指標値である活性度を算出する、
請求項１または請求項２に記載の学習方法。
【請求項6】
感情を推定するＡＩモデルの学習方法であって、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき複数の感情指標値を算出し、
算出した複数の前記感情指標値を量子化して複数の量子化感情指標値を算出し、
算出した複数の前記量子化感情指標値に基づき感情を推定し、
取得した前記外観情報を入力値とし、推定した前記感情を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき複数の感情指標値を算出し、
算出した複数の前記感情指標値を量子化して複数の量子化感情指標値を算出し、
算出した複数の前記量子化感情指標値に基づき感情を推定し、
取得した前記外観情報を入力値とし、推定した前記感情を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
【請求項7】
感情を推定するための感情指標値を推定するＡＩモデルの学習装置であって、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習装置。
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習装置。
【請求項8】
感情を推定するための感情指標値を推定するＡＩモデルの学習プログラムであって、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習プログラム。
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習プログラム。
【請求項9】
感情推定の対象者の感情指標値である中枢神経系覚醒度及び自律神経系活性度を、前記対象者の外観情報から推定する覚醒度推定ＡＩモデル及び活性度推定ＡＩモデルの学習方法であって、
同じタイミングにおいて前記対象者の前記脳波と前記心拍と前記外観情報とを取得し、
取得した前記脳波におけるβ波とα波との比に基づき前記覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき前記活性度を算出し、
算出した前記覚醒度及び前記活性度を量子化して、量子化覚醒度及び量子化活性度を算出し、
取得した前記外観情報を入力値とし、前記量子化覚醒度を正解値とする教師付き覚醒度学習データを生成し、
取得した前記外観情報を入力値とし、前記量子化活性度を正解値とする教師付き活性度学習データを生成し、
生成した前記教師付き覚醒度学習データで前記覚醒度推定用の前記ＡＩモデルを学習し、
生成した前記教師付き活性度学習データで前記活性度推定用の前記ＡＩモデルを学習する、
学習方法。
同じタイミングにおいて前記対象者の前記脳波と前記心拍と前記外観情報とを取得し、
取得した前記脳波におけるβ波とα波との比に基づき前記覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき前記活性度を算出し、
算出した前記覚醒度及び前記活性度を量子化して、量子化覚醒度及び量子化活性度を算出し、
取得した前記外観情報を入力値とし、前記量子化覚醒度を正解値とする教師付き覚醒度学習データを生成し、
取得した前記外観情報を入力値とし、前記量子化活性度を正解値とする教師付き活性度学習データを生成し、
生成した前記教師付き覚醒度学習データで前記覚醒度推定用の前記ＡＩモデルを学習し、
生成した前記教師付き活性度学習データで前記活性度推定用の前記ＡＩモデルを学習する、
学習方法。
【請求項10】
感情推定の対象者の感情を推定する感情推定装置であって、
前記対象者の外観情報を取得し、
取得した前記外観情報に基づき、量子化された感情指標値である量子化感情指標値を量子化感情指標値推定ＡＩモデルにより推定し、
推定した前記量子化感情指標値に基づき、感情を感情推定モデルにより推定し、
前記量子化感情指標値推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報を取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して前記量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化感情指標値を正解値とする教師付き学習データで学習して生成される、
感情推定装置。
前記対象者の外観情報を取得し、
取得した前記外観情報に基づき、量子化された感情指標値である量子化感情指標値を量子化感情指標値推定ＡＩモデルにより推定し、
推定した前記量子化感情指標値に基づき、感情を感情推定モデルにより推定し、
前記量子化感情指標値推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報を取得し、
取得した前記生体信号に基づき前記感情指標値を算出し、
算出した前記感情指標値を量子化して前記量子化感情指標値を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化感情指標値を正解値とする教師付き学習データで学習して生成される、
感情推定装置。
【請求項11】
感情推定の対象者の感情を推定する感情推定装置であって、
前記対象者の外観情報を取得し、
取得した前記外観情報に基づき、量子化された感情指標値の中枢神経系覚醒度である量子化覚醒度を量子化覚醒度推定ＡＩモデルにより推定し、
取得した前記外観情報に基づき、量子化された感情指標値の自律神経系活性度である量子化活性度を量子化活性度推定ＡＩモデルにより推定し、
推定した前記量子化覚醒度及び前記量子化活性度に基づき、感情を感情推定モデルにより推定し、
前記量子化覚醒度推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の脳波と外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき覚醒度を算出し、
算出した前記覚醒度を量子化して前記量子化覚醒度を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化覚醒度を正解値とする教師付き学習データで学習して生成され、
前記量子化活性度推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の心拍と外観情報を取得し、
取得した前記心拍における心拍波形信号の低周波成分の標準偏差に基づき活性度を算出し、
算出した前記活性度を量子化して前記量子化活性度を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化活性度を正解値とする教師付き学習データで学習して生成され、
前記感情推定モデルは、前記量子化覚醒度と前記量子化活性度との組み合わせ状態に基づき前記感情を推定する、
感情推定装置。
前記対象者の外観情報を取得し、
取得した前記外観情報に基づき、量子化された感情指標値の中枢神経系覚醒度である量子化覚醒度を量子化覚醒度推定ＡＩモデルにより推定し、
取得した前記外観情報に基づき、量子化された感情指標値の自律神経系活性度である量子化活性度を量子化活性度推定ＡＩモデルにより推定し、
推定した前記量子化覚醒度及び前記量子化活性度に基づき、感情を感情推定モデルにより推定し、
前記量子化覚醒度推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の脳波と外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき覚醒度を算出し、
算出した前記覚醒度を量子化して前記量子化覚醒度を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化覚醒度を正解値とする教師付き学習データで学習して生成され、
前記量子化活性度推定ＡＩモデルは、
同じタイミングにおいて学習データ生成用被験者の心拍と外観情報を取得し、
取得した前記心拍における心拍波形信号の低周波成分の標準偏差に基づき活性度を算出し、
算出した前記活性度を量子化して前記量子化活性度を算出し、
取得した前記外観情報を入力値とし、算出した前記量子化活性度を正解値とする教師付き学習データで学習して生成され、
前記感情推定モデルは、前記量子化覚醒度と前記量子化活性度との組み合わせ状態に基づき前記感情を推定する、
感情推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感情推定ＡＩに係る学習方法、学習装置、学習プログラム、及び感情推定装置に関する。
【背景技術】
【0002】
従来、生体信号（例えば、心拍と脳波）に基づき感情を推定する感情推定システムが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、人工知能（ＡＩ：Artificial Intelligence）の高性能化、普及が進んでおり、感情推定装置にもＡＩの適用が考えられる。感情推定装置に用いられるＡＩモデルの作成及び精度向上には、多くの被験者から生体信号等の感情推定に関わる各種データのサンプリングを行い、これらサンプリングデータに基づいて教師付き学習データを作成し、学習前のＡＩモデルに学習させる必要がある。
【0005】
しかしながら、多くの生体信号（脳波、心拍等）は、アナログ値であり、ダイナミックレンジが広く、分解能が高い。したがって、生体信号そのもの推定は、ＡＩといえども困難であることに課題があった。そして、分解能が高い推定を行うＡＩモデルとなるため、ＡＩモデル使用時において、またＡＩモデルの学習時においても処理負荷が重くなってしまう。
【0006】
本発明は、上記の課題に鑑み、処理負荷が軽いＡＩモデルを提供することを目的とする。
【課題を解決するための手段】
【0007】
例示的な本発明の学習方法は、感情を推定するための感情指標値を推定するＡＩモデルの学習方法であって、同じタイミングにおいて学習データ生成用被験者の生体信号と外観情報とを取得し、取得した前記生体信号に基づき前記感情指標値を算出し、算出した前記感情指標値を量子化して量子化感情指標値を算出し、取得した前記外観情報を入力値とし、前記量子化感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【発明の効果】
【0008】
本発明によれば、データ容量が大きくなる生体信号に対し、データ容量が小さくて済む量子化した感情指標値をＡＩ学習用データの正解値として使用し、ＡＩモデルの学習を行う。そして、この学習により学習済みＡＩモデルは、感情推定時（ＡＩモデル使用時）にデータ容量が小さくて済む量子化した感情指標値を出力する。したがって、ＡＩモデルが扱うデータの容量が小さくなり、その結果、処理負荷が軽いＡＩモデルを生成することができる。
【図面の簡単な説明】
【0009】
【図1】感情推定装置による感情推定処理を示す概念的説明図
【図2】感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図
【図3】ニュートラル領域を含む心理平面の一例を示す図
【図4】車両制御システムの構成を示すブロック図
【図6】学習装置による感情推定ＡＩの学習処理を示す概念的説明図
【図7】学習装置の構成を示すブロック図
【図8A】被験者の感情指標値の時間変化を示す模式図
【図8B】被験者のニュートラル領域を含む感情指標値の時間変化を示す模式図
【図9】タスクテーブルの一例を示す図
【図10】覚醒度のニュートラル領域を推定するためのタスク実行時の覚醒度の時間変化を示す模式図
【図11】感情指標値（覚醒度）の時間変化を示す模式図
【図12】データ蓄積期間に対するニュートラル領域の上限推定値の収束状況を示す図
【図13】ニュートラル領域テーブルの一例を示す図
【図14A】被験者の量子化感情指標値の時間変化を示す模式図
【図14B】被験者のニュートラル領域を含む量子化感情指標値の時間変化を示す模式図
【図16】感情推定装置による感情推定処理を示す概念的説明図
【図17】学習装置による感情推定ＡＩの学習処理を示す概念的説明図
【発明を実施するための形態】
【0010】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
【0011】
＜１．感情推定装置の概念的構成＞
まず、感情推定装置について説明する。図１は、感情推定装置２０による感情推定処理を示す概念的説明図である。
まず、感情推定装置について説明する。図１は、感情推定装置２０による感情推定処理を示す概念的説明図である。
【0012】
感情推定装置２０の感情推定モデル２２２ｍは、感情に関する心身状態を示す指標である２つの感情指標値に基づき感情を推定する。本実施形態で用いる感情指標値の１つは、中枢神経系覚醒度（以下、覚醒度と称する）であり、その指標値は「脳波のβ波／α波」で算出することができる。また、他の感情指標値は、自律神経系活性度（以下、活性度と称する）であり、その指標値は「心拍ＬＦ（Low Frequency）成分（心拍波形信号の低周波成分）の標準偏差」で算出することができる。
【0013】
感情推定モデル２２２ｍは、覚醒度と活性度とに基づく感情推定用のモデル（算出式や変換データテーブル）により構成される。感情推定モデル２２２ｍは、覚醒度と活性度とをパラメータとして感情を推定する複数次元モデル（ここでは覚醒度と活性度とを２軸とする２次元モデル）により構成される。なお、２次元モデルは、複数の各指標と感情との関係（覚醒度・活性度と、感情との関係）を示す医学的エビデンス（論文等）に基づいて作成される。或いは、２次元モデルは、多くの被験者によるアンケート結果（被験者による感情申告とその際の覚醒度・活性度（脳波・心拍計測値に基づく）からなるデータ）に基づいて作成される。なお、感情推定モデル２２２ｍを２次元モデルだけでなく、３次元以上の多次元モデルとすることも可能である。
【0014】
図２は、感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標（感情指標値）に基づき推定できるとされる。図２に示す心理平面は、縦軸が「覚醒度（覚醒－不覚醒）」であり、横軸が「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。
【0015】
この心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する感情（種別）が割り当てられている。各軸からの距離が、該当する感情の強度を示す。第一象限には「楽しい、喜び、怒り、悲しみ」の感情が割り当てられている。また、第二象限には「憂鬱」の感情が割り当てられている。また、第三象限には「リラックス、落ち着き」の感情が割り当てられている。また、第四象限には「不安、恐怖、不愉快」の感情が割り当てられている。
【0016】
なお、軸の位置は、例えば被験者の覚醒度及び活性度を計測し、統計的処理を施すといった実験等に基づいて適宜設定される。また、後述するニュートラル領域の決定方法（図１０、図１１参照）において、決定したニュートラル領域の中央を軸とする方法や、後述する量子化方法（図８Ａ、図８Ｂ参照）において、量子化後の感情指標値の変動範囲を多くの被験者で計測し、それら計測変動範囲の中央値の平均を軸とする方法等が、可能である。
【0017】
そして、生体信号に基づいて得られる２種類の感情指標値（覚醒度及び活性度）を、心理平面にプロットすることにより得られる座標から、感情の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、象限内のどの位置にあるか、また原点から距離がどの程度であるかに基づき、感情とその強度を推定することができる。なお、図２に示す感情推定モデルは、２次元の平面であるが、使用する指標数に応じて３次元以上の多次元空間となる。
【0018】
なお、感情強度の推定は難しく、比較的大きな誤差を伴い、また使用用途も限られるので、感情指標値が心理平面のどの象限に存在するかに基づき感情を判定し、当該感情を利用することが現実的で有用な使用方法である。
【0019】
このため、図１に示した感情推定装置２０では、感情推定モデル２２２ｍを縦軸「覚醒度」を２値（軸を境とする２値）で構成し、また横軸「活性度」も２値で構成した感情推定モデルとする。そして、感情推定モデル２２２ｍの入力は、各々２種の値を取り得る量子化覚醒度及び量子化活性度とする。
【0020】
また、感情強度が強い場合、つまり感情指標値が最大値側、最小値側に大きく振れている場合は、感情推定精度は高くなる。しかし、感情強度が弱い場合、つまり感情指標値が中央値付近にある場合は、感情推定精度は低くなる。このため、感情指標値の中央値付近の領域をニュートラル領域として、推定感情無、感情推定不可と言った判定をする方法が考えられる。
【0021】
【0022】
「覚醒度」の感情指標におけるニュートラル領域の上限値及び下限値は、ＹＰ及びＹＮであり、上限値ＹＰ及び下限値ＹＮで挟まれる領域が「覚醒度」に対する覚醒度ニュートラル領域Ｒｎ１である。また「活性度」の感情指標におけるニュートラル領域の上限値及び下限値は、ＸＰ及びＸＮであり、上限値ＸＰ及び下限値ＸＮで挟まれる領域が「活性度」に対する活性度ニュートラル領域Ｒｎ２である。
【0023】
これらニュートラル領域（上限値ＹＰ、下限値ＹＮ、上限値ＸＰ及び下限値ＸＮ）の設定は、実験等により適宜設定することも可能である。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時にニュートラル領域の設定に関する適当な値を算出するため、当該算出値を適用することもできる。なお、具体的な、ニュートラル領域の決定方法例については、後述する（図１０、図１１参照）。
【0024】
この場合、図１に示した感情推定装置２０では、感情推定モデル２２２ｍを縦軸「覚醒度」を３値（ニュートラル領域の上下境界を境とする３値）で構成し、また横軸「活性度」も３値で構成した感情推定モデルとする。そして、感情推定モデル２２２ｍの入力は、各々３種の値を取り得る量子化覚醒度及び量子化活性度とする。
【0025】
感情推定装置２０は、入力された感情指標「覚醒度」及び「活性度」を、このような心理平面で示される感情推定モデル２２２ｍに当て嵌めて（座標としてプロットして）用いて感情を推定する。
【0026】
感情推定装置２０の感情推定モデル２２２ｍは、脳波データ及び心拍データに基づき算出される感情指標の覚醒度及び活性度を使用するため、脳波データ及び心拍データを入力とする。なお、本実施形態では、脳波センサ及び心拍センサにより検出される脳波データ及び心拍データではなく、視線、顔向き、音声からＡＩモデルにて推定された感情指標の覚醒度及び活性度を感情推定モデル２２２ｍ入力する。
【0027】
これは、感情推定の対象者に接触センサである脳波センサ及び心拍センサを装着する手間を省くための技術である。本技術では、非接触センサであるカメラ、マイク等を用いて視線、顔向き、音声のデータ（外観情報）を収集し、当該データをＡＩモデルに入力して脳波データ及び心拍データを推定する。例えば、車両の運転手の感情を推定して車両の走行制御等に用いる場合等では、運転手に接触センサを装着するのは実用上困難であり、本技術は特に有用になる。
【0028】
つまり、感情指標の算出には、通常生体信号が必要であるが、生体信号は接触型のセンサが大半であり、用途に制限が加わるという課題がある。このため、非接触系のセンサで検出可能な感情推定対象者（被験者）の外観に基づく情報を検出するセンサの利用が望まれる。なお、ここでの外観情報とは、画像データだけでなく音声等の非接触系センサ（遠隔検出系センサ：カメラ、マイク等）で検出可能な情報も含まれる。
【0029】
図１に示した感情推定装置２０の使用例において、ユーザＵ２（感情推定対象者）は、車両Ｖ２の運転者である。当該推定方法で用いられる第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、運転者（ユーザＵ２）の感情の推定に用いられる。第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、別途学習が行われて、学習済みモデルとして提供され、感情推定装置２０に搭載される。なお、感情推定装置２０の詳細については後述する。
【0030】
なお、感情推定装置２０は、車両Ｖ２に搭載されるコンピュータ装置で実現でき、また車両Ｖ２とネットワークを介して接続されたサーバでも実現できる。また、当該サーバは、物理サーバであっても、仮想サーバであっても良い。
【0031】
車両Ｖ２には、車載センサとして、カメラＣと、マイクＭとが搭載されている。そして、カメラＣの撮影画像に基づくユーザＵ２（運転者）の視線データ及び顔向きデータと、マイクＭの取得したユーザＵ２（運転者）の音声データとが、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力されている。
【0032】
なお、図示の例では、カメラＣの撮影画像を画像認識処理等によって処理し、視線データ（眼球部の画像や、視線（向き）を示すテキスト・数値データに加工したデータ）及び顔向きデータ（顔面の画像や、顔面の向きを示すテキスト・数値データに加工したデータ）に加工して、第１ＡＩモデル１２１ｍＡおよび第２ＡＩモデル１２１ｍＢに入力しているが、カメラＣの撮影画像を入力しても良い。なお、入力データ種別に応じた第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢ（入力データ種別に応じて設計され、学習が施されたＡＩモデル）が、感情推定装置２０に搭載されることになる。
【0033】
なお、感情推定において視線及び顔向きの動きが重要であるので、視線データ及び顔向きデータは、感情推定タイミングに合わせた期間の動画データ、例えば感情推定タイミングの直前の予め定めた時間長の動画が好ましい。同様に、音声データも感情推定タイミングの直前の予め定めた時間長の動画が好ましい。例えば、感情推定の時間長が１０秒の場合、感情推定タイミングＴａにおいては、時刻Ｔａ－１０秒（始点）から時刻Ｔａ（終点）までの顔面の動画像データに基づく視線データ、顔向きデータ、及び音声データを、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、このようなデータ形態の学習用入力データにより学習されることになる。
【0034】
第１ＡＩモデル１２１ｍＡは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、覚醒度の感情指標値を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第１ＡＩモデル１２１ｍＡは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する覚醒度を正解データとする多くの学習データのデータセットで学習されている。
【0035】
なお、正解データには、覚醒度の量子化データ（感情推定モデル２２２ｍにおける覚醒度入力に対応する値（２値または３値（ニュートラル領域がある場合）））が用いられる。そして、第１ＡＩモデル１２１ｍＡは、覚醒度の量子化データを出力するようになっている。
【0036】
また、第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、活性度の感情指標値を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第２ＡＩモデル１２１ｍＢは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する活性度を正解データとする多くの学習データのデータセットで学習されている。
【0037】
なお、正解データには、活性度の量子化データ（感情推定モデル２２２ｍにおける活性度入力に対応する値（２値または３値（ニュートラル領域がある場合）））が用いられる。そして、第２ＡＩモデル１２１ｍＢは、活性度の量子化データを出力するようになっている。
【0038】
なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習方法の詳細については、後述する。
【0039】
そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データに基づいて推定（出力）した２種類の感情指標である覚醒度及び活性度の量子化データを、感情推定モデル２２２ｍに出力する。感情推定モデル２２２ｍは、これら入力された量子化覚醒度及び量子化活性度に基づいて感情を推定する。
【0040】
＜２．車両制御システム＞
次に、推定された感情データを用いて車両制御を行う車両制御システムについて、図４を用いて説明する。図４は、車両制御システム４０の構成を示すブロック図である。図４では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
次に、推定された感情データを用いて車両制御を行う車両制御システムについて、図４を用いて説明する。図４は、車両制御システム４０の構成を示すブロック図である。図４では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
【0041】
図４に示すように、車両制御システム４０は、感情推定装置２０と、車両制御装置３０と、アクチュエータ部４１と、報知部４２と、を備える。なお、図示は省略するが、車両制御システム４０は、キーボード、タッチパネル等の入力装置や、ディスプレイ等の出力装置を備える。
【0042】
＜２－１．感情推定装置＞
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、本例のように車両Ｖ２に搭載されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、本例のように車両Ｖ２に搭載されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。
【0043】
記憶部２２には、図１で示した学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢを記憶する第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂが設けられる。
【0044】
なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、例えば、次のようにして第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに記憶される。
【0045】
車両制御システム４０の製作者等が、システムの組み立て時等に、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが書き込まれたメモリを第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂとして搭載する。或いは、車両制御システム４０の製作者等が、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが記憶された外部記憶装置を車両制御システム４０（感情推定装置２０）に接続し、当該第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを読み込んで第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。或いは、車両制御システム４０の製作者等が、ネットワークを介して学習装置１０から学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを受信し、第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。
【0046】
また、記憶部２２には、図１で示した感情推定モデル２２２ｍを記憶する感情推定モデル記憶部２２２が設けられる。なお、感情推定モデル記憶部２２２には、感情推定に必要な各種データ、例えば、図２或いは図３で示した感情指標値から感情を推定するためのデータである心理平面テーブル２２４等が記憶される。
【0047】
なお、心理平面テーブル２２４は、図２或いは図３に示した感情推定モデル（心理平面）を形成するデータであり、２種類の量子化感情指標値（覚醒度及び活性度の量子化値である量子化覚醒度及び量子化活性度）と、それに対応する感情情報とを関連づけたデータ群となる。また、このような感情推定モデル（感情推定モデルを構成する各種データ）も、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢと同様の方法で、感情推定装置２０の設計時、或いは組み立て時等に、記憶部２２（感情推定モデル記憶部２２２）に記憶される。
【0048】
また、心理平面テーブル２２４は、２種類の量子化感情指標値（量子化覚醒度及び量子化活性度）から感情を算出する演算（論理）処理式のデータで置き換えることができる。その場合は、後述のコントローラ２３が当該演算（論理）処理式に基づく演算処理により感情を算出することになる。
【0049】
コントローラ２３は、感情推定装置２０の各種動作等を制御するものであり、演算処理等を行うプロセッサを含み、例えばＣＰＵで構成される。コントローラ２３は、その機能として、取得部２３１と、挙動判定部２３２と、感情推定部２３３と、提供部２３４と、を備える。コントローラ２３の機能は、記憶部２２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
【0050】
取得部２３１は、通信部２１を介して、カメラＣ及びマイクＭによって撮影、集音された感情推定対象者であるユーザＵ２の各種外観情報（画像情報、音声情報）を取得する。取得部２３１は、取得した各種外観情報を、その後の処理のために必要に応じて記憶部２２に形成されたデータテーブルに記憶する。なお、取得部２３１は、実質的に同時刻におけるこれらの外観情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらのデータは当該時刻における挙動状態、感情を推定するために使用される。
【0051】
挙動判定部２３２は、取得部２３１が取得した、ユーザＵ２の画像情報及び音声情報に対して解析処理を行うことで、ユーザＵ２の視線や顔の向き、表情、音声等の予め定めれた種類の挙動を判定する。予め定めれた種類の挙動は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが入力とするデータ種に対応する挙動であり、本実施形態の場合、具体的には、視線、顔向き、表情、音声（内容）となる。
【0052】
したがって、挙動判定部２３２は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの入力仕様（設計条件、学習条件等により定まる）に応じた各種処理を行うことになる。当該各種処理は、例えば、処理対象時間長の画像（静止画群或いは動画）及び音声データの切り出し処理、カメラＣの撮影画像からのユーザＵ２の顔面や眼球部分の切り出し処理及び向きの検出処理、並びにマイクＭの出力信号の周波数解析処理等である。なお、音声データの切り出し処理では、例えば感情推定の時間長が１０秒の場合、感情推定タイミングの直前１０秒間のデータ等を切り出す。なお、データ種別に応じて時間長を変更しても良い。
【0053】
そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、学習時の入力データと種別（内容・様式）が同じデータの入力に対して適切な推定（正解）データを出力する。このため、挙動判定部２３２の出力データ種別（内容種別・様式）は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時の入力データと同じものとする必要がある。挙動判定部２３２は、そのようなデータ処理を行うことになる。挙動判定部２３２のこれらの動作を実現するためのプログラムやデータは、記憶部２２に記憶される。
【0054】
感情推定部２３３は、挙動判定部２３２の判定した挙動のデータに基づき、ユーザＵ２の感情を推定する。詳細に言えば、感情推定部２３３は、挙動判定部２３２が判定した挙動のデータを第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線や顔の向き、表情、音声等に係る挙動情報（外観情報）に基づき推定したユーザＵ２の量子化された感情指標値（量子化覚醒度及び量子化活性度）を出力する。そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが出力したユーザＵ２の推定量子化感情指標値は、感情推定モデル２２２ｍに入力される。そして、感情推定モデル２２２ｍは、ユーザＵ２の推定量子化感情指標値に基づいてユーザＵ２の感情を推定し、出力する。
【0055】
上記の構成によれば、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、その推定出力を量子化した感情指標値としているので、処理するデータの分解能が低くなり、処理負荷が軽くなることが期待できる。また、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時も、学習データの正解データの分解能が低くなるため、学習処理負荷の軽減、及び学習データの生成作業の手間の削減が期待できる。
【0056】
なお、上述の感情推定に用いる推定感情指標値は、適当な時間長における複数の各データを統計処理（平均処理、ローパスフィルタ処理等）等したデータを用いて、感情を推定するようにしても良い。この場合、統計処理は、感情推定部２３３で行うことになる。
【0057】
提供部２３４は、感情推定部２３３によって推定されたユーザＵ２の感情を、車両制御装置３０に提供する。これにより、車両制御装置３０において、ユーザＵ２の感情に基づく車両Ｖ２の制御が行えるようになる。
【0058】
＜２－２．車両制御装置、及び他の構成要素＞
車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。
車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。
【0059】
コントローラ３１は、車両Ｖ２の運転者であるユーザＵ２による運転操作や、接続された各種センサ（不図示）、例えば車速センサ、空燃比センサ、操舵角センサ等からの情報に基づき各種車両制御、例えば車両Ｖ２の向きや速度等の制御を行う。さらに、コントローラ３１は、通信部３３を介し、感情推定装置２０からユーザＵ２の感情に係る情報（推定感情）を受信する。そして、コントローラ３１は、受信した推定感情情報も利用した車両制御、例えば速度、アクセル感度、ブレーキ感度等の制御を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、アクセル感度を低くする（加速し難くする）、ブレーキ感度を高くする（停止し易くする）、最高速度制御の上限を低くする、という安全側に寄せた、つまり運転者の興奮度の影響を抑えたような走行制御を行う。
【0060】
また、推定感情情報自体の報知や、当該推定感情情報に応じた報知を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、「落ち着きましょう」と言う表示や音声案内を行い、各種音声案内における音声の質を落ち着いた話し方・表現とする制御を行う。
【0061】
記憶部３２は、記憶部１２と同様に各種メモリにより構成され、コントローラ３１が処理で使用するデータ等、例えばプログラム、処理用係数データ、処理中の一時記憶データ等を記憶する。そして、記憶部３２には、感情推定装置２０から受信した感情に係る情報と、車両Ｖ２の制御信号及び車室内のユーザＵ２へ報知情報との対応付けがなされた各種処理用の複数のデータテーブルが設けられる。
【0062】
通信部３３は、感情推定装置２０、アクチュエータ部４１、及び報知部４２との間でデータの通信を行うためのインタフェースであり、例えばＣＡＮ（Controller Area Network）インターフェースである。
【0063】
アクチュエータ部４１は、車両の各種動作を実現するモータ等で構成された各種駆動部品で、車両制御装置３０によってその動作が駆動制御される。具体的に言えば、例えば、アクチュエータ部４１は、車両Ｖ２において駆動力を発生させるエンジン及びモータと、車両Ｖ２のステアリングを駆動させるステアリングアクチュエータと、車両Ｖ２のブレーキを駆動させるブレーキアクチュエータ等である。
【0064】
報知部４２は、車両制御装置３０からの報知情報を、視覚的、聴覚的方法等により車室内のユーザＵ２等に報知する。具体的に言えば、例えば、報知部４２は、ユーザＵ２に、文字、画像、映像等によって報知情報を伝える液晶ディスプレイや音声、警告音等によって報知情報を伝えるスピーカ等で構成される。
【0065】
車両制御装置３０は、各種センサからの情報、及び感情推定装置２０から提供されたユーザＵ２の感情に基づいて車両Ｖ２の制御信号を生成して出力する。具体的に言えば、例えばユーザＵ２が感情を高揚させている場合や、恐怖を感じている場合に、車両制御装置３０は、表示部やスピーカを介して「気持ちを落ち着かせましょう」といったことを表示、音声によって伝える。また、車両制御装置３０は、例えば、車速センサや障害物センサ（レーダ等）等からの情報に基づき車両Ｖ２の速度制御を行うが、ユーザＵ２が感情を高揚させている場合には通常の感情に比べで速度を遅くした速度制御を行う。
【0066】
すなわち、車両制御システム４０は、車両Ｖ２の運転者であるユーザＵ２の感情を推定し、推定した当該感情も考慮した車両Ｖ２の動作、例えば走行制御を行う。この構成によれば、ユーザＵ２の感情に応じた車両Ｖ２の制御を行うことができる。したがって、本実施形態によれば、安全運転に影響のある運転者の感情に応じた車両Ｖ２の制御が可能となるので、車両Ｖ２の安全運転に寄与することが可能である。
【0067】
＜２－３．感情推定装置の処理＞
図５は、図４の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
図５は、図４の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
【0068】
図５に示す処理は、車両Ｖ２が始動し、推定感情に基づく各種制御を開始するタイミングで起動し、その後各種制御に対して適当なタイミングで、つまり感情推定が必要なタイミングで、或いは感情推定が必要な時間帯に渡って繰り返し実行される。
【0069】
ステップＳ１０１において、コントローラ２３（取得部２３１）は、ユーザＵ２の挙動を示すデータ（外観情報）、具体的にはユーザＵ２に対するカメラ撮影画像、マイク集音音声を取得し、ステップＳ１０２に移る。取得した各種外観情報は、必要に応じて記憶部２２のデータテーブルに記憶される。
【0070】
ステップＳ１０２において、コントローラ２３（挙動判定部２３２）は、ステップＳ１０１において取得部２３１が取得した各種データ（カメラ撮影画像、マイク集音音声）に基づいてユーザＵ２の挙動、具体的には視線、顔向き、表情、音声（内容）を判定し、ステップＳ１０３に移る。
【0071】
ステップＳ１０３において、コントローラ２３（感情推定部２３３）は、ステップＳ１０２で判定した挙動判定部２３２による挙動判定結果に基づく各データを入力値として第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力し、それぞれ量子化覚醒度及び量子化活性度の量子化感情指標値を第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに推定させ、ステップＳ１０４に移る。
【0072】
ステップＳ１０４において、コントローラ２３（感情推定部２３３）は、推定した２種類の量子化感情指標値（量子化覚醒度及び量子化活性度）を感情推定モデル２２２ｍ（心理平面テーブル２２４のデータ）に適用（入力）してユーザＵ２の感情を推定し、ステップＳ１０５に移る。
【0073】
ステップＳ１０５において、コントローラ２３（提供部２３４）は、車両制御装置３０に感情推定部２３３が推定したユーザＵ２の推定感情情報を提供（出力）し、処理を終了する。
【0074】
なお、１回毎の推定された感情は、センサ出力のノイズ等による悪影響（誤判定）があると推定されるので、予め定めた所定期間の平均・最頻値を採用する等、統計的処理を施した推定感情を採用することが好ましい。このため、コントローラ２３（提供部２３４）は、推定感情にタイムスタンプを付加して蓄積し、統計的処理を施した推定感情を車両制御装置３０に提供する（ステップＳ１０５）ことが好ましい。なお、車両制御装置３０が推定感情情報を蓄積して統計的処理を施し、その結果を制御に用いる方法も適用可能である。
【0075】
＜３．感情推定用ＡＩの学習方法＞
次に、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法について説明する。なお、学習前と学習後のモデルを識別し易くするために、学習前モデルは第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂとし、また学習後モデルは第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢとし、符号の最後尾文字で学習前後を識別できるように表記する。図６は、学習装置１０による感情推定ＡＩの学習処理を示す概念的説明図である。
次に、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法について説明する。なお、学習前と学習後のモデルを識別し易くするために、学習前モデルは第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂとし、また学習後モデルは第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢとし、符号の最後尾文字で学習前後を識別できるように表記する。図６は、学習装置１０による感情推定ＡＩの学習処理を示す概念的説明図である。
【0076】
本実施形態において、ユーザＵ１は、学習データ生成のための被験者（学習データ生成用被験者）であり、感情推定装置２０の開発チームにおけるメンバー等が当該被験者となる。なお、使用者が限定される個人専用の感情推定装置２０の場合、被験者は使用者であることが好ましいが、他人であっても類似性はあるので、使用者と他人であっても良い。また、使用者が限定されない汎用の感情推定装置２０の場合、被験者は使用者と他人となるが、複数の被験者で学習データを生成すれば、いろいろな特性の被験者による学習データが得られる。これにより、感情推定装置２０は、汎用性が高い装置となることが期待できる。また、本実施形態においては、車載の感情推定装置２０を想定しているので、環境が近い車載装置で学習を行うこととしており、被験者のユーザＵ１は車両Ｖ１の運転者である。
【0077】
なお、ＡＩモデルの学習に用いる学習データは、ＡＩモデルの用途によって適切な情報が決まる。例えば、特定の運転者に対するＡＩ適用装置の場合には該当の運転者における情報が適切な情報となり、いろいろな運転者に対するＡＩ適用装置の場合には多種多様な運転者における情報が適切な情報となる。また、運転者に対するＡＩ適用装置の場合には運転者における情報が適切な情報となり、運転者以外の車両各乗員に対するＡＩ適用装置の場合には運転者以外の各種乗員における情報が適切な情報となる。そして、学習データは、ＡＩモデルによる感情推定の精度を高くするために、多くの情報を必要とする。
【0078】
本実施形態においては、ＡＩ適用装置を、運転者全般（特定の個人ではなく、一般の運転者）に適用できることとする。それら運転者の感情に基づき車両の制御を行う装置とするため、ＡＩ学習のための実験走行試運転は、いろいろなタイプの複数被験者によるいろいろなパターンの実験走行試運転が好ましい。なお、各被験者による学習は同様であるので、ある一人の被験者（運転者）での学習について説明する。
【0079】
また、例えば、ＡＩ適用装置が医療機関における診療装置の場合、被験者に適したユーザＵ１（情報収集対象）は医療機関における患者や医師等になる。また、ＡＩ適用装置が教育機関における教育指導装置の場合、被験者に適したユーザＵ１は生徒や教師等になる。また、ＡＩ適用装置がｅスポーツ関連装置、エンターテイメントのコンテンツ関連装置の場合、被験者に適したユーザＵ１はｅスポーツのプレイヤーやコンテンツの視聴者等になる。
【0080】
また、学習装置１０を車両Ｖ１に搭載して学習を行わせることも、また学習装置１０を研究開発室等の車両Ｖ１以外の場所に設置して学習を行わせることも可能である。後者の場合、車両Ｖ１に乗車した被験者のユーザＵ１の各生体データ等（脳波、心拍、画像、音声等の計測データ）を、記録媒体を介して、或いは通信回線を介して学習装置１０に入力する。なお、本実施形態では、学習装置１０を車両Ｖ１に搭載して学習を行わせる例について説明する。
【0081】
車両Ｖ１に搭載された学習装置１０の記憶装置（メモリ等）にＡＩモデルの記憶部が設けられ、学習前の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂが記憶される。そして、学習装置１０が以下で説明する学習処理を実行することにより、学習前のＡＩモデルの学習が行われ、学習済みのＡＩモデル、つまりＡＩ適用装置に実装される第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが生成されることになる。
【0082】
学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢは、前述の図１、図４に示した感情推定装置２０で使用されることになる。したがって、第１ＡＩモデル１２１ｍａの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（外観情報、感情推定装置２０の第１ＡＩモデル１２１ｍＡの入力データと同じ種別、様式のデータ）で、正解データが覚醒度を表す感情指標値の量子化値（符号化値）である。また、第２ＡＩモデル１２１ｍｂの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（外観情報、感情推定装置２０の第２ＡＩモデル１２１ｍＢの入力データと同じ種別、様式のデータ）で、正解データが活性度を表す感情指標値の量子化値（符号化値）である。
【0083】
なお、本実施形態において、覚醒度及び活性度の量子化値（量子化覚醒度及び量子化活性度）は正・負の２値としている。また、前述のニュートラル領域がある感情推定モデル２２２ｍを適用する場合、量子化値は、正・ニュートラル・負の３値となる。
【0084】
このため、学習装置１０が搭載される車両Ｖ１には、感情推定装置２０で使用される（感情推定装置２０に入力される）データを出力する各種の車載センサが設けられる。本実施形態において、具体的には、車載センサは、カメラＣと、マイクＭとを含む。カメラＣは、運転者Ｕ１の視線と顔の向きのデータが得られるように、顔面が映った撮影画像情報を出力する。マイクＭは、運転者Ｕ１が発する発生音等の音声情報を検出する。カメラＣ及びマイクＭは、例えば車両Ｖ１のフロントガラス、或いはダッシュボード付近に、運転者Ｕ１の方向を撮影方向及び集音方向とするように設置される。
【0085】
そして、カメラＣ及びマイクＭの出力は、図４の挙動判定部２３２と同様の構成の挙動判定部１３５によりの挙動データ化の処理が行われ、視線、顔向き、表情、音声の挙動データに加工される。そして、これらの挙動データは、入力値として学習装置１０の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力されることになる。
【0086】
運転者Ｕ１には、生体センサが装着される。本実施形態において、生体センサは、脳波を検出する脳波センサＳ１１と、心拍を検出する心拍センサＳ１２と、である。脳波センサＳ１１は、例えばヘッドギア型の脳波センサが用いられる。心拍センサＳ１２は、例えば胸ベルト型の心電式心拍センサが用いられる。なお、生体センサは、取得したい生体情報、装着性等に応じて他のセンサを追加、変更しても良い。他の生体センサとしては、例えば光学式心拍（脈拍）センサ、血圧計、またはＮＩＲＳ（Near Infrared Spectroscopy）装置等であっても良い。
【0087】
そして、脳波センサＳ１１が出力する脳波データ、及び心拍センサＳ１２が出力する心拍データは、指標値算出部１３２において感情指標値である覚醒度及び活性度に変換される。具体的には、前述の覚醒度及び活性度の算出方法と同様の方法により、覚醒度は「脳波のβ波／α波」で算出され、活性度は「心拍ＬＦ（Low Frequency）成分（心拍波形信号の低周波成分）の標準偏差」で算出される。
【0088】
さらに、各感情指標値は、感情推定の分解能、つまり感情推定モデル２２２ｍの分解能（２値）に合わせたデータとするため、量子化部１３３において当該分解能で量子化処理が施される。そして、量子化された覚醒度を表す感情指標値は、正解値として第１ＡＩモデル１２１ｍａに入力される。また、量子化された活性度を表す感情指標値は、正解値として第２ＡＩモデル１２１ｍｂに入力される。
【0089】
つまり、第１ＡＩモデル１２１ｍａは、入力値が視線、顔向き、表情、音声の挙動データ（外観情報）であり、正解値が量子化された覚醒度を表す感情指標値である教師付き学習データセットにより学習が行われることになる。したがって、学習済み第１ＡＩモデル１２１ｍＡは、図１に示すような入力値を視線、顔向き、表情、音声の挙動データとし、出力値を覚醒度とするＡＩモデルとして生成される。
【0090】
また、第２ＡＩモデル１２１ｍｂは、入力値が視線、顔向き、表情、音声の挙動データ（外観情報）であり、正解値が量子化された活性度を表す感情指標値である教師付き学習データセットにより学習が行われることになる。したがって、学習済み第２ＡＩモデル１２１ｍＢは、図１に示すような入力値を視線、顔向き、表情、音声の挙動データとし、出力値を活性度とするＡＩモデルとして生成される。
【0091】
なお、被験者が不安定な精神状況や環境状況にある場合には、学習データとして不適切な学習データが生成され、当該不適切な学習データでＡＩモデルが学習を行ってしまう問題がある。そこで、学習装置１０には、適切な学習データを抽出する抽出部１３４ａ及び抽出部１３４ｂを、各々量子化部１３３の後段、及び挙動判定部１３５の前段（或いは後段）に設けている。これにより、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに不適切な学習データが入力されないように構成している。なお、抽出部１３４ａ及び抽出部１３４ｂの詳細については後述する。
【0092】
続いて、図６を参照して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法（ＡＩの学習プロセス）の流れを説明する。なお、センサの装着等の具体的な作業は、ＡＩモデルの学習担当作業者、被験者（運転者Ｕ１）等が行うことになる。
【0093】
学習装置１０の記憶装置（メモリ等）には、視線、顔の向き、表情、音声の情報を入力として量子化覚醒度を推定する学習前の第１ＡＩモデル１２１ｍａと、視線、顔の向き、表情、音声の情報を入力として量子化活性度を推定する学習前の第２ＡＩモデル１２１ｍｂが記憶される。なお、学習前の第１ＡＩモデル１２１ｍａ及び学習前の第２ＡＩモデル１２１ｍｂは、事前にＡＩ設計開発者等が、ＡＩ設計用のコンピュータを用いて、またＡＩモデルの仕様（使用形態、要求性能等）に応じて、別途、作成することになる。
【0094】
運転者Ｕ１は、学習装置１０が搭載された車両に乗車し、車両に搭載されたカメラＣ及びマイクＭの位置、向き、感度等の調整等を行う。また、運転者Ｕ１は、脳波センサＳ１１及び心拍センサＳ１２を装着する。以上のような学習の準備が整うと、運転者Ｕ１等が学習装置１０を起動し学習が開始される。なお、必要に応じて（車両走行が学習条件であるなど）、運転者Ｕ１は車両の運転（操作）を開始する。
【0095】
カメラＣ及びマイクＭは、ユーザＵ１の外観情報である画像及び発する音声を検出し、画像情報及び音声情報を学習装置１０に出力する。
【0096】
脳波センサＳ１１及び心拍センサＳ１２は、ユーザＵ１の生体信号である脳波及び心拍を検出し、脳波及び心拍を学習装置１０に出力する。
【0097】
そして、学習装置１０は、同じタイミングのユーザＵ１の画像情報及び音声情報と、脳波及び心拍とを対のデータ（１個の学習データ）として、以降の処理を行う。
【0098】
学習装置１０は、指標値算出部１３２において、入力された生体信号の脳波及び心拍を、感情指標値化処理により覚醒度を表す感情指標値（例えば、脳波のβ波／α波）、及び活性度を表す感情指標値（例えば、心拍ＬＦ成分の標準偏差）に変換する。
【0099】
さらに、学習装置１０は、量子化部１３３において、変換した覚醒度及び活性度に量子化処理を施し、量子化覚醒度及び量子化活性度を生成する。なお、予め定められた統計処理期間に算出された感情指標値に平均等の統計処理を施し、統計処理された統計処理感情指標値を量子化部１３３に出力する構成としても良い。統計処理期間については、適切な感情指標値が出力される期間（感情指標値算出タイミングに基づく、適当なタイミングと時間長）を実験等に基づき決定すれば良い。
【0100】
また、学習装置１０は、抽出部１３４ａにおいて、量子化部１３３で生成された量子化覚醒度及び量子化活性度から学習データとして適切な量子化覚醒度及び量子化活性度を抽出し、学習データ生成用のデータとする。
【0101】
学習装置１０は、挙動判定部１３５において、入力されたユーザＵ１の画像情報及び音声情報を挙動データ化して、視線、顔の向き、表情、音声の情報を生成する。この際、画像情報及び音声情報は時間的に連続した時系列データであるため、感情推定タイミング（学習データ生成のための感情指標値算出タイミング）に対する適当な期間（感情指標値算出タイミングに基づく、適当なタイミングと時間長）単位で画像情報及び音声情報を挙動データ化する。この期間は、ＡＩモデルの推定量子化感情指標値が適当な値となるように、実験等に基づき決定すれば良い。そして、挙動判定部１３５は、この期間長の挙動データを１個の学習用データとして出力する。
【0102】
また、学習装置１０は、抽出部１３４ｂにおいて、挙動判定部１３５で生成された挙動データから学習データとして適切な挙動データを抽出し、学習データ生成用のデータとする。なお、抽出部１３４ａ及び抽出部１３４ｂの詳細については後述する。
【0103】
そして、学習装置１０は、抽出部１３４ｂで抽出された視線、顔の向き、表情、音声の情報を入力値とし、抽出部１３４ａで抽出された量子化覚醒度を正解値とする第１ＡＩモデル１２１ｍａ用の学習データを生成する。また、学習装置１０は、抽出部１３４ｂで抽出された視線、顔の向き、表情、音声の情報を入力値とし、抽出部１３４ａで抽出された量子化活性度を正解値とする第２ＡＩモデル１２１ｍｂ用の学習データを生成する。そして、学習装置１０は、各タイミングで生成した多数の学習データを集合化して、各モデル用の学習データセットを形成する。その後、学習装置１０は、生成した当該各学習データセットにより、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。なお、学習データを作成したタイミングで順次、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに学習データを入力し、学習するようにしても良い。
【0104】
具体的には、学習装置１０は、生成した各学習データセットの学習データを順次、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力する。そして、学習装置１０は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等の学習を行う。
【0105】
これにより、各センサにより順次検出される各データに基づき生成される数多くの教師付き学習データにより、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習が行われる。そして、感情推定装置２０で使用される学習済み第１ＡＩモデル１２１ｍＡ及び学習済み第２ＡＩモデル１２１ｍＢが生成されることになる。
【0106】
＜４．感情推定用ＡＩ学習装置の構成＞
図７は、学習装置１０の構成を示すブロック図である。図７では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
図７は、学習装置１０の構成を示すブロック図である。図７では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
【0107】
図７に示すように、学習装置１０は、通信部１１と、記憶部１２と、コントローラ１３と、を備える。学習装置１０は、いわゆるコンピュータ装置で構成できる。なお、図示は省略するが、学習装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える。
【0108】
通信部１１は、通信ネットワークを介して他の装置、各種センサ類との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）で構成される。
【0109】
記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。
【0110】
記憶部１２には、第１ＡＩモデル記憶部１２１Ａと、第２ＡＩモデル記憶部１２１Ｂとが設けられる。第１ＡＩモデル記憶部１２１Ａと第２ＡＩモデル記憶部１２１Ｂとのそれぞれには、学習対象である学習前の第１ＡＩモデル１２１ｍａと学習前の第２ＡＩモデル１２１ｍｂとが記憶される。さらに、記憶部１２には、各種処理用のデータテーブルとして、タスクテーブル１２３と、ニュートラル領域テーブル１２４とが設けられる。タスクテーブル１２３及びニュートラル領域テーブル１２４については後述する。
【0111】
コントローラ１３は、学習装置１０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ１３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。なお、学習装置１０をクラウドサーバで構成することも可能であり、その場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであって良い。
【0112】
コントローラ１３は、その機能として、取得部１３１と、指標値算出部１３２と、量子化部１３３と、抽出部１３４と、挙動判定部１３５と、生成部１３６と、提供部１３７と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
【0113】
取得部１３１は、通信部１１を介して、カメラＣ、マイクＭ、脳波センサＳ１１、及び心拍センサＳ１２によって検出された各種情報（画像（動画）情報、音声情報、脳波情報、心拍情報）を取得する。取得部１３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部１２に形成されたデータテーブルに記憶する。なお、取得部１３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルにおける一つのデータレコードに記憶する。そして、これらデータは一つの教師付き学習データを生成するために使用される。
【0114】
指標値算出部１３２は、生体情報の脳波及び心拍のデータに基づき覚醒度及び活性度を表す感情指標値を算出する。前述したように、覚醒度を表す感情指標値は、「脳波のβ波／α波」で算出することができる。また、活性度を表す感情指標値は、「心拍ＬＦ成分の標準偏差」で算出することができる。なお、これら感情指標値の算出に必要な算出式等のデータは、記憶部１２に記憶される。
【0115】
量子化部１３３は、指標値算出部１３２によって算出された感情指標値に対して量子化処理を施す。図２に示す感情推定モデル（心理平面）では、覚醒度を表す感情指標値（脳波のβ波／α波）が閾値（Ｘ軸）より高いか、低いか、また活性度を表す感情指標値（心拍ＬＦ成分の標準偏差）が閾値（Ｙ軸）より高いか、低いかにより感情を推定している。図３に示す感情推定モデル（心理平面）では、覚醒度が中立状態より高いか、中立状態（通常状態、ニュートラル状態）か、中立状態より低いか、また、活性度が中立状態より高いか、中立状態（通常状態、ニュートラル状態）か、中立状態より低いかにより感情を推定している。
【0116】
すなわち、学習装置１０は、感情推定の分解能に合わせた分解能で、感情指標値の量子化を行っている。
【0117】
次に、量子化処理（符号化処理）の具体的方法について説明する。
【0118】
第一例は、感情指標値の層別（量子化値）にニュートラル領域を含まない場合の、感情指標値の量子化処理の方法である。
【0119】
図８Ａは、被験者の感情指標値の時間変化を示す模式図である。図８Ａに含まれるグラフにおいて、横軸は時間であり、縦軸は感情指標値である。図８Ａのグラフは、図２に示す感情推定モデル（心理平面）に対応しており、縦軸の「０」が図２の軸位置（中央値、キャリブレーション基準値）の感情指標値に対応している。図８Ａのグラフの下には、グラフの感情指標値と同じタイミングで取得される被験者の顔画像の動画データ（各タイミングの静止画（フレーム画像））を模式的に描画した。
【0120】
図８Ａのグラフにおいて、破線の曲線が量子化前の感情指標値を示し、実線で示した離散値（正・負（判定値））が量子化後の量子化感情指標値を示している。詳細に言えば、図８Ａのグラフにおいて、破線の曲線が指標値算出部１３２によって算出された、量子化前の感情指標値であり、実線の離散値が量子化部１３３によって変換された、量子化後の量子化感情指標値である。
【0121】
量子化部１３３は、指標値算出部１３２によって算出された量子化前の感情指標値に対し、感情指標値の中央値を閾値として、感情指標値の量子化処理（層別処理）を施す。量子化部１３３は、感情指標値が閾値より高レベル側で振れる期間ＬＨにおいて、正（高指標値状態）の量子化感情指標値を算出し、出力する。また、量子化部１３３は、感情指標値が閾値より低レベル側で振れる期間ＬＬにおいて、負（低指標値状態）の量子化感情指標値を算出し、出力する。これにより、被験者の高指標値状態及び低指標値状態それぞれにおける正及び負の量子化感情指標値を取得できる。
【0122】
そして、図８Ａの例において、フレーム画像Ｐ１～Ｐ６、Ｐ１０～Ｐ１２は量子化感情指標値が正の状態における画像として認識され、フレーム画像Ｐ７～Ｐ９は量子化感情指標値が負の状態における画像として認識される。
【0123】
第二例は、感情指標値の層別（量子化値）にニュートラル領域を含む場合の、感情指標値の量子化処理の方法である。
【0124】
図８Ｂは、被験者のニュートラル領域Ｒｎを含む感情指標値の時間変化を示す模式図である。図８Ｂに含まれるグラフにおいて、横軸は時間であり、縦軸は感情指標値である。図８Ｂのグラフは、図３に示すニュートラル領域を含む感情推定モデル（心理平面）に対応しており、縦軸の「０」が図３の軸位置（中央値、キャリブレーション基準値）の感情指標値に対応している。当該中央値付近に感情の中立状態を表すニュートラル領域Ｒｎが存在する。図８Ｂのグラフの下には、グラフの感情指標値と同じタイミングで取得される被験者の顔画像の動画データを模式的に描画した。
【0125】
量子化部１３３は、指標値算出部１３２によって算出された量子化前の感情指標値に対し、感情指標値のニュートラル領域Ｒｎの上限値（第１閾値）ＲｎＵ及び下限値（第２閾値）ＲｎＤのそれぞれを閾値として量子化処理を施す。量子化部１３３は、感情指標値が上限値ＲｎＵより高レベル側で振れる期間ＬＨにおいて、正（高指標値状態）の量子化感情指標値を算出し、出力する。量子化部１３３は、感情指標値が下限値ＲｎＤより低レベル側で振れる期間ＬＬにおいて、負（低指標値状態）の量子化感情指標値を算出し、出力する。量子化部１３３は、感情指標値が上限値ＲｎＵと下限値ＲｎＤとの間（ニュートラル領域Ｒｎ）で振れる期間ＬＮにおいて、ニュートラル（ニュートラル状態）の量子化感情指標値を算出し、を出力する。これにより、被験者の高指標値状態、低指標値状態、及びニュートラル状態それぞれにおける正、負、及びニュートラルの量子化感情指標値を取得できる。
【0126】
そして、図８Ｂの例において、フレーム画像Ｐ２２～Ｐ２５、Ｐ３０～Ｐ３２は量子化感情指標値が正の状態における画像として認識され、フレーム画像Ｐ２８～Ｐ２９は量子化感情指標値が負の状態における画像として認識され、そしてフレーム画像Ｐ２１、Ｐ２６～Ｐ２７は量子化感情指標値がニュートラルの状態における画像として認識される。
【0127】
上記の方法により、被験者の感情指標値を量子化する場合、閾値となる被験者の感情指標値の中央値（上記第一例）、或いはニュートラル領域Ｒｎの上限値ＲｎＵ及び下限値ＲｎＤ（上記第二例）を決定しておく必要がある。これらの閾値の決定のために、被験者を特定の感情指標値状態とする特定のタスクを被験者に実行させ、当該タスクの実行時の感情指標値を計測する。そして、当該感情指標値の計測結果に基づき、閾値となる被験者の感情指標値の中央値、或いはニュートラル領域Ｒｎの上限値ＲｎＵ及び下限値ＲｎＤを決定する。
【0128】
図９は、タスクテーブル１２３の一例を示す図である。図９に示すように、タスクテーブル１２３の項目には、「タスクＩＤ」、「生体信号種別」、「対応指標種別」、「タスク内容」、及び「指標値遷移状態」が含まれる。
【0129】
「タスクＩＤ」は、タスク情報を識別するための識別情報であるタスクＩＤデータである。タスクＩＤデータは、タスクテーブル１２３におけるデータレコードの主キーでもある。つまりタスクテーブル１２３では、タスクＩＤデータごとにデータレコードが構成され、当該データレコードにタスクＩＤデータに紐づいた各項目のデータが記憶される。
【0130】
「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。
【0131】
「対応指標種別」は、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習対象の感情指標種別であって、量子化対象の感情指標種別である。対応指標種別としては、例えば覚醒度及び活性度が記憶される。
【0132】
「タスク内容」は、感情指標種の量子化処理に必要となる感情指標種の閾値の取得のために、被験者が実行するタスクの具体的内容である。
【0133】
「指標値遷移状態」は、対応する（同じレコードに記憶された）タスク内容を被験者が実行した場合に対応する感情指標値が遷移すると推定される状態で、例えば「高覚醒度：覚醒度が覚醒側（覚醒度高）の状態（高指標値状態）になる」といったデータが記憶される。
【0134】
このタスクテーブル１２３によれば、例えばタスクＩＤがＳＴ０１のタスクデータは、生体信号が脳波データであり、対応指標種別が覚醒度であり、覚醒度の状態遷移が高覚醒度であり、そして具体的タスク内容が「表示される数字を暗算加算する」となる。
【0135】
そして、量子化処理の対象である感情指標値種別と決定する閾値種別に応じて、被験者（閾値決定用被験者）に実行させるタスク内容が選択されることになる。例えば、覚醒度の量子化処理のための閾値決定のために、被験者の覚醒度を覚醒側（覚醒度高）に遷移させる場合は、「対応指標種別」が「覚醒度」であり、「指標値遷移状態」が「高覚醒度」である「タスク内容」の「表示される数字を暗算加算する」が、被験者に実行させるタスクとして選択される。そして、このようにして選択されたタスクの「タスク内容」を被験者に報知（表示）する等して、被験者に当該タスクを実行させることになる。
【0136】
図１０は、覚醒度のニュートラル領域Ｒｎ（上限値ＲｎＵ及び下限値ＲｎＤ）を推定するために、タスクテーブル１２３のタスクＳＴ０１及びタスクＳＴ０２が選択された例におけるタスク実行時の覚醒度の時間変化を示す模式図である。なお、説明を分かり易くするため、ここでは感情指標値を覚醒度として説明する。
【0137】
図１０のグラフにおいて、横軸は時間であり、縦軸は覚醒度である。信号ｘは、タスクＳＴ０１のタスク内容「表示される数字を暗算加算する」を被験者が実行した際の覚醒度の時間変化を表す。信号ｙは、タスクＳＴ０２のタスク内容「安静にして拳を握る」を被験者が実行した際の覚醒度の時間変化を表す。
【0138】
図１０に示すように、被験者が覚醒度が高い状態となるタスクＳＴ０１を実行している状態では、被験者の覚醒度は高い状態（高指標値状態）にあるため、計測される被験者の覚醒度は高覚醒度の領域内で変化（変動）することが予想される。したがって、タスクＳＴ０１を実行中（効果のタイムラグを考慮すれば、実行開始からタイムラグ相当時間経過後から、実行終了からタイムラグ相当時間経過後までの期間）における覚醒度の最低値は、覚醒度のニュートラル領域Ｒｎの上限値ＲｎＵと推定できる。
【0139】
また、被験者が覚醒度が低い状態となるタスクＳＴ０２を実行している状態では、被験者の覚醒度は低い状態（非覚醒状態、低指標値状態）にあるため、計測される被験者の覚醒度は低覚醒度（非覚醒状態）の領域内で変化（変動）することが予想される。したがって、タスクＳＴ０２を実行中（効果のタイムラグを考慮すれば、実行開始からタイムラグ相当時間経過後から、実行終了からタイムラグ相当時間経過後までの期間）における覚醒度の最高値は、覚醒度のニュートラル領域Ｒｎの下限値ＲｎＤと推定できる。
【0140】
このような技術思想に基づき、量子化部１３３は、覚醒度等の感情指標値に対するニュートラル領域Ｒｎを決定する。
【0141】
具体的に言えば、量子化部１３３は、第１タスクの実行時に得られる感情指標値（覚醒度：信号ｘ）の時間変化データを統計処理して、ニュートラル領域Ｒｎの上限値ＲｎＵを決定する。例えば、量子化部１３３は、第１タスクの実行時に得られる被験者の生体信号に基づく感情指標値（覚醒度等）の時間変化データをスムージング処理し、スムージング処理後の信号ｘデータの最小値をニュートラル領域Ｒｎの上限値ＲｎＵとする。
【0142】
また、量子化部１３３は、第２タスクの実行時に得られる感情指標値（活性度：信号ｙ）の時間変化データを統計処理して、ニュートラル領域Ｒｎの下限値ＲｎＤを決定する。例えば、量子化部１３３は、第２タスクの実行時に得られる被験者の生体信号に基づく感情指標値（覚醒度等）の時間変化データをスムージング処理し、スムージング処理後の信号ｙデータの最大値をニュートラル領域Ｒｎの下限値ＲｎＤとする。
【0143】
なお、スムージング処理は、例えば、微細なピーク信号のようなノイズ成分等の除去を目的として行われる。
【0144】
また、推定感情の使用目的等を考慮して、「信号ｘデータの最小値」及び「信号ｙデータの最大値」に適当なマージンを加えて上限値ＲｎＵ及び下限値ＲｎＤを決定しても良い。
【0145】
また、感情指標値の層別（量子化値）にニュートラル領域を含まない場合の、感情指標値の量子化処理における閾値は、上述の上限値ＲｎＵ及び下限値ＲｎＤの中間値とする方法等を適用できる。
【0146】
量子化部１３３は、感情指標値の種別ごとにニュートラル領域Ｒｎの上限値ＲｎＵ及び下限値ＲｎＤを決定する。このために、本実施形態では、覚醒度及び活性度のそれぞれのデータについて、上述のようなニュートラル領域Ｒｎの上限値決定用の第１タスク及びニュートラル領域Ｒｎの下限値決定用の第２タスクの実行が、被験者（ユーザ）に対して要求される。そして、覚醒度及び活性度のそれぞれについて、各タスクの実行時における覚醒度及び活性度の計測（算出）結果に応じて、覚醒度及び活性度の各ニュートラル領域Ｒｎの決定処理が行われる。
【0147】
また、以上では、第１タスクの実行時に得られる感情指標値（覚醒度：信号ｘ）の変動範囲である第１変動範囲と、第２タスクの実行時に得られる感情指標値（活性度：信号ｙ）の変動範囲である第２変動範囲とが離れていることを前提として、２つの変動範囲の間をニュートラル領域Ｒｎとした（図１０参照）。
【0148】
しかしながら、感情指標値の種類や、タスクの内容によっては、上記の第１変動範囲と第２変動範囲とが重なることもあり得る。このような場合には、第１変動範囲と第２変動範囲との重畳範囲に基づきニュートラル領域を決定しても良い。例えば、第１変動範囲と第２変動範囲との重畳範囲をニュートラル領域とする方法が可能である。また、例えば、第１変動範囲と第２変動範囲との重畳範囲に適当なオフセット（感情の誤判定を防止する観点から適当な値（例えば１０％範囲拡大）を設定）を加えて拡大した範囲、或いはオフセット（感情の判定不能を防止する観点から適当な値（例えば１０％範囲縮小）を設定）を減じて縮小した範囲をニュートラル領域とする方法が可能である。
【0149】
次に、ニュートラル領域の決定処理の第２例について説明する。第２例では、被験者（ユーザＵ１）に対し、上記第１タスク及び第２タスクといった特定のタスクの実行を要求しない。第２例では、感情指標値の計測（算出）の時系列データの蓄積が進むにつれて、統計処理で推定されるニュートラル領域の上限値と下限値とのそれぞれが一定の値に収束するという点に着目して、ニュートラル領域を決定する。
【0150】
この第２例におけるニュートラル領域を決定する手法について、図１１を参照しながら説明する。図１１は、感情指標値（覚醒度）の時間変化を示す模式図である。図１１のグラフにおいて、横軸が時間であり、縦軸が覚醒度である。
【0151】
図１１に示すように、人の心身状態は、特定のタスクを与えなくても、時間に伴って変化する環境等の変化に基づき様々な状態に変化する。したがって、統計処理的に相当量の感情指標値の時系列データを蓄積し、蓄積したデータを値の大きさで３つの状態（高覚醒度、ニュートラル、低覚醒度（睡眠様状態））に分けるクラスタ分析を行うことによってニュートラル領域（上限値及び下限値）を推定することができる。クラスタ分析には、公知の手法、例えば、ｋ－ｍｅａｎｓ法、大津の多値化手法、混合ガウスモデル等が利用できる。
【0152】
図１２は、図１１に示したような統計的手法によりニュートラル領域を決定する場合において、データ蓄積期間（データ蓄積量に比例）に対するニュートラル領域の上限推定値の収束状況を示す図である。なお、ニュートラル領域の下限推定値の収束状況も同様となる。
【0153】
統計的手法を用いたニュートラル領域の上限値の推定に利用されるデータ量は、時間の経過とともに増大する。時間の経過にともなって統計処理に用いるデータ量が増大することにより、推定される上限値は、時間の経過に伴って一定の値に収束していく。この傾向は、下限値でも同様である。収束した上限値及び下限値で特定されるニュートラル領域は、信頼性が高いと解される。このため、統計的手法で算出される上限値及び下限値が収束したと判定された段階で、ニュートラル領域を決定する。なお、収束の判定は、ニュートラル領域の上限値（下限値）の算出値の変動値（例えば、数回の算出値における平均変化値）が、適当に設定された収束判定閾値以下になった場合に収束と判定する、といった方法が可能である。
【0154】
なお、量子化部１３３は、感情指標値種別（覚醒度及び活性度）ごとにニュートラル領域の上限値及び下限値を決定する。
【0155】
量子化部１３３は、決定したニュートラル領域の上限値及び下限値を記憶部１２のニュートラル領域テーブル１２４に記憶する。詳細には、量子化部１３３は、決定したニュートラル領域の上限値及び下限値をデータテーブル化して記憶部１２に記憶する。なお、被験者（ユーザ）ごとのニュートラル領域情報を、ニュートラル領域テーブル１２４に記憶する方法が有効である。その場合、同じ被験者で学習データセットを再作成（追加作成）する際に、ニュートラル領域テーブル１２４に記憶されたニュートラル領域情報を利用することも可能となる。
【0156】
図１３は、ニュートラル領域テーブル１２４の一例を示す図である。図１３に示すように、ニュートラル領域テーブル１２４の項目には、「ニュートラル情報ＩＤ」、「ユーザＩＤ」、「感情指標種別」、「上限値」、「下限値」、及び「取得日時」が含まれ、各項目欄（記憶部）には対応するデータが記憶される。
【0157】
「ニュートラル情報ＩＤ」は、ニュートラル情報を識別するための識別情報である。ニュートラル情報ＩＤは、ニュートラル領域テーブル１２４におけるデータレコードの主キーでもある。つまり、ニュートラル領域テーブル１２４では、ニュートラル情報ＩＤごとにデータレコードが構成され、当該データレコードにニュートラル情報ＩＤに紐づいた各項目のデータが記憶されることになる。
【0158】
「ユーザＩＤ」は、ユーザ情報を識別するための識別情報である。つまり、当該データレコードに記憶されたニュートラル領域の値が適用されるユーザの識別データである。
【0159】
「上限値」及び「下限値」は、量子化部１３３により決定されたニュートラル領域の上限値及び下限値の情報である。
【0160】
「取得日時」は、ニュートラル領域の上限値及び下限値の情報が取得（決定・記憶）された日時情報を記憶する。なお、同じユーザＩＤ、同じ感情指標種別の「上限値」及び「下限値」と、「取得日時」は、最新の情報が取得されるごとに更新される。
【0161】
なお、感情指標値の層別（量子化値）にニュートラル領域を含まない場合、「上限値」及び「下限値」は、感情指標値を正負に層別（２量子化）する１つの「閾値」のデータ項目となり、例えば「上限値」及び「下限値」の中間値等が記憶されることになる。
【0162】
他、被験者（ユーザＵ１）から感情申告に基づき、ニュートラル領域を推定する方法も可能である。
【0163】
具体的には、量子化部１３３（コントローラ１３）は、被験者（ユーザ）に被験者が自覚している感情指標状態に関する質問（例えば、覚醒状態を３段階（覚醒、通常、非覚醒（眠い））のいずれかであるかの質問）を行い、その回答とその際に計測（算出）された感情指標値（覚醒度）を蓄積する。そして、量子化部１３３は、その蓄積データに統計的処理を施し、ニュートラル領域を推定する。
【0164】
例えば、被験者の回答が「通常」の際に算出された覚醒度の高値１０％の平均値と低値１０％の平均値をニュートラル領域の上限値、下限値とする。或いは、例えば、被験者の回答が「覚醒」の際に算出された覚醒度の低値１０％の平均値から適当なオフセット値を減じた値をニュートラル領域の上限値とし、被験者の回答が「非覚醒」の際に算出された覚醒度の高値１０％の平均値から適当なオフセット値を加えた値をニュートラル領域の下限値とする、といった方法が適用可能である。
【0165】
なお、被験者は、心身状態が時間的に一様でなく、感情指標値（覚醒度及び活性度）に高指標値状態、低指標値状態、或いはニュートラル状態のいずれかの特徴が安定的に継続して表れていないことがある。例えば、心身状態（感情指標値）が高指標値状態、低指標値状態のいずれ側にも定まっておらず、フラフラして双方の間を行き来している状態になることがある。また、例えば、感情が生まれても、当該感情が表情に表れるまでに遅延があり、感情が表情に表れていないことがある。このような不安定な状態における被験者の外観情報及び感情指標値を学習データとして採用すると、教師付き学習データの性能が低下し、ＡＩモデルの性能が低下する虞がある。
【0166】
このため、抽出部１３４（図７参照）は、量子化された感情指標値の変動状態に応じて、学習データとして適切と考えられる変動状態の時間帯のデータを教師付き学習データとして抽出する。詳細に言えば、抽出部１３４は、感情指標値（覚醒度及び活性度）に高指標値状態、低指標値状態、或いはニュートラル状態のいずれかの特徴が安定的に継続して表れている時間帯のデータを学習データとして抽出する。次に、教師付き学習データの抽出方法について説明する。
【0167】
なお、抽出部１３４は、図６に示した抽出部１３４ａと、抽出部１３４ｂとを含む。それらの動作は、抽出部１３４と同様（対象データ種別が異なる）である。抽出部１３４ａは、量子化感情指標値（量子化覚醒度及び量子化活性度）を抽出する。抽出部１３４ｂは、視線、顔向き、表情、音声の挙動データ（外観情報）を抽出する。
【0168】
図１４Ａは、被験者の量子化感情指標値の時間変化を示す模式図である。図１４Ｂは、被験者のニュートラル領域Ｒｎを含む量子化感情指標値の時間変化を示す模式図である。図１４Ａ及び図１４Ｂに含まれるグラフにおいて、横軸は時間であり、縦軸は量子化感情指標値（正・負）である。なお、量子化感情指標値の元データとなる感情指標値は図示を省略している。図１４Ａ及び図１４Ｂのグラフの下には、グラフの感情指標値と同じタイミングで取得される被験者の顔画像の動画データを模式的に描画した。その他、図１４Ａ及び図１４Ｂの構成は、図８Ａ及び図８Ｂの構成と同様であり、その説明を省略する。図１４Ａ及び図１４Ｂにおいて、実線で示した離散値（正・負（判定値））が量子化部１３３によって変換された、量子化感情指標値である。
【0169】
抽出部１３４は、予め定めた継続判定閾値ＬＲより長い期間に渡って量子化感情指標値が同じ値で安定した場合、当該継続期間のデータを学習データとして抽出する。
【0170】
例えば、図１４Ａに示した感情指標値状況では、量子化感情指標値が同じ値を維持している期間Ｌ１、Ｌ７、Ｌ８が継続判定閾値ＬＲより長い期間であるため、それら期間における量子化感情指標値を正解データ（正、正、負）、顔画像（Ｐ４１～Ｐ４５、Ｐ４９、Ｐ５１～Ｐ５２）を入力データとする各学習データが抽出・作成される。そして、抽出部１３４は、継続判定閾値ＬＲ以下の期間しか同じ量子化感情指標値が継続しなかった期間について、その期間のデータを除外する。したがって、継続期間が短い、期間Ｌ２～Ｌ６のデータは学習データから除外される。
【0171】
また、図１４Ｂに示した感情指標値状況では、量子化感情指標値が同じ値を維持している期間Ｌ１１、Ｌ１２、Ｌ１８、Ｌ１９が継続判定閾値ＬＲより長い期間であるため、それら期間における量子化感情指標値を正解データ（正、ニュートラル、正、負）、顔画像（Ｐ６１～Ｐ６３、Ｐ６５～６６、Ｐ７０、Ｐ７２）を入力データとする各学習データが抽出・作成される。そして、期間Ｌ１３～Ｌ１７のデータは学習データから除外される。
【0172】
このようにして、抽出部１３４は、特徴が安定的に継続して表れている状態における感情指標値及び顔画像を教師付き学習データとして抽出し、採用する。
【0173】
上記の構成によれば、学習装置１０は、信頼性が高いと考えられる感情指標値が安定的に継続して表れた状態におけるデータに基づき学習データを作成し、当該学習データを使用してＡＩモデルの学習を行う。したがって、ＡＩモデルは、量子化感情指標値を高精度で推定することが期待できる。その結果、当該ＡＩモデルを用いた感情推定の精度の向上が期待できる。
【0174】
なお、量子化感情指標値は、感情指標値が各量子値領域に存在する状態における値であるため、量子化感情指標値の継続期間に替え、感情指標値が各量子値領域に存在する期間長で判断しても良い。
【0175】
また、感情変化と顔表情変化にはタイムラグがあると考えられる。このため、上述の抽出処理に加え、量子化感情指標値が変動する近辺、例えば変動タイミング前後の１個或いは数個の画像を学習データから除外する方法も有効である。例えば、図１４Ａに示した状況の場合、期間Ｌ１における量子化感情指標値の変動タイミング近辺の画像Ｐ１、Ｐ５を、学習データから除外するという方法である。このような処理により、感情変化と顔表情変化には、タイムラグの影響により学習データとして不適なデータを、学習データから除外することが可能となる。したがって、ＡＩモデルは、量子化感情指標値を高精度に推定することが期待できる。その結果、当該ＡＩモデルを用いた感情推定の精度の向上が期待できる。
【0176】
挙動判定部１３５は、ユーザＵ１（図６参照）の顔を含む画像情報及び発生音声に対して解析処理を行うことで、ユーザＵ１の視線や顔の向き、表情、音声等の予め定められた種類の挙動を判定する。なお、挙動判定部１３５が行う処理と、図４の挙動判定部２３２が行う処理は同等であり、それぞれ同形式の視線、顔の向き、表情、音声のデータを出力する。
【0177】
例えば、ユーザＵ１の視線に関して、挙動判定部１３５は、ユーザＵ１の顔を含む画像からユーザＵ１の左右の眼球を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３５は、当該認識処理の結果に基づき、例えば目頭の位置、眼の虹彩及び瞳孔の中心位置、近赤外照明による角膜反射像（プルキニエ像）の中心位置、眼球の中心位置等を用いた所定の視線検出処理によりユーザＵ１の視線及び注視点の挙動を判定する。ユーザＵ１の視線は、例えばユーザＵ１の前方にユーザＵ１と正対する仮想平面に設け、ユーザＵ１の視線ベクトルが仮想平面を貫く位置の二次元座標で表すことができる。
【0178】
また、例えば、ユーザＵ１の顔の向きに関して、挙動判定部１３５は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３５は、当該認識処理の結果に基づき、例えば目、鼻、口等のそれぞれの位置、鼻頂部の位置、顔の輪郭、顔の輪郭の幅方向の中心位置等を用いた所定の顔向き検出処理によりユーザＵ１の顔の向きの挙動を判定する。
【0179】
また、例えば、ユーザＵ１の表情に関して、挙動判定部１３５は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３５は、当該認識処理の結果に基づき、例えば口角の角度、眉の角度、目の開き具合等を用いた所定の表情検出処理によりユーザＵ１の表情の挙動を判定する。
【0180】
また、例えば、ユーザＵ１の声等の発音を含む音声情報に関して、挙動判定部１３５は、ユーザＵ１の、音声音量や発声速度、発言頻度、音声認識結果に基づく発声内容の言語解析結果（例えば喜びや怒り、不安等に関係する単語や文章の出現）に基づき、ユーザＵ１の音声の挙動を判定する。
【0181】
生成部１３６は、同じ学習データにおける、挙動判定部１３５によって判定され、さらに抽出部１３４によって抽出されたユーザＵ１の視線や顔の向き、表情、音声の外観情報（抽出外観情報）を入力値とし、量子化部１３３によって量子化され、さらに抽出部１３４によって抽出された量子化感情指標値である量子化覚醒度を正解値として第１ＡＩモデル１２１ｍａに入力し、第１ＡＩモデル１２１ｍａの学習を行う。
【0182】
また、生成部１３６は、同じ学習データにおける、挙動判定部１３５によって判定され、さらに抽出部１３４によって抽出されたユーザＵ１の視線や顔の向き、表情、音声の外観情報（抽出外観情報）を入力値とし、量子化部１３３によって量子化され、さらに抽出部１３４によって抽出された量子化感情指標値である量子化活性度を正解値として第２ＡＩモデル１２１ｍｂに入力し、第２ＡＩモデル１２１ｍｂの学習を行う。
【0183】
つまり、生成部１３６は、遠隔系センサ（非接触センサ：カメラ、マイク）の検出した情報に基づくユーザＵ１の外観情報を入力値データとし、接触系の生体信号センサ（接触センサ：脳波センサ、心拍センサ）によって検出された生体信号に基づき算出され、さらに量子化処理が施された量子化感情指標値（覚醒度及び活性度）を正解値データとした教師付き学習データセットを生成する。
【0184】
そして、生成部１３６は、生成した教師付き学習データセットを用いて第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。この学習により、学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢは、ユーザ（運転者）の外観情報を入力として、当該ユーザの量子化覚醒度及び量子化活性度を推定するＡＩモデルとなる。
【0185】
なお、生成部１３６は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。
【0186】
上記の構成によれば、学習装置１０は、感情指標値を使用して感情推定を行う感情推定モデルの分解能に合わせて量子化した感情指標値をＡＩ学習データの正解値として使用し、ＡＩモデルの学習を行う。したがって、ＡＩモデルは、適度な分解能のデータ（量子化感情指標）で学習され、適度な分解能の推定データ（量子化感情指標）を出力する。このため、ＡＩモデルの学習が効率的となり、またＡＩモデルの使用時も処理負荷を軽減できる（無駄の少ない処理となる）。
【0187】
提供部１３７は、生成部１３６によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び学習済みの第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して後述する車両Ｖ２で用いられる感情推定装置２０（図１及び図４参照）に提供する。これにより、感情推定装置２０は、提供部１３７によって提供された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を取り込んで第１ＡＩモデル記憶部２２１Ａ及び第１ＡＩモデル記憶部２２１Ａに記憶する。したがって、感情推定装置２０は、感情推定機能によってカメラＣ及びマイクＭが取得した画像情報、音声情報に基づく感情推定が可能となり、車両Ｖ２の各種機能において推定した感情情報を利用することができる。
【0188】
なお、提供部１３７は、生成部１３６によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び学習済みの第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して感情推定装置２０に提供するようにしたが、別の方法で提供することも可能である。例えば、第１ＡＩモデル１２１ｍＡのデータ及び第２ＡＩモデル１２１ｍＢのデータをＡＩプラットホームを形成するＬＳＩに書き込んでＡＩ実行ＬＳＩを生成し、当該ＡＩ実行ＬＳＩを感情推定装置２０に組み込むことで、第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を提供することもできる。また、通信以外のデータ伝達媒体、例えばメモリカード、光ディスク記録媒体等を用いて感情推定装置２０に提供することも可能である。
【0189】
＜５．感情推定ＡＩの学習装置の動作例 ＞
図１５は、図７の学習装置１０のコントローラ１３が実行する感情推定ＡＩの学習処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定ＡＩモデルの学習処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
図１５は、図７の学習装置１０のコントローラ１３が実行する感情推定ＡＩの学習処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定ＡＩモデルの学習処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
【0190】
図１５に示す処理は、学習装置１０の設計者等が感情推定ＡＩモデルの学習処理を実行する際、例えばキーボード等の操作部により学習処理の開始操作が行われたときに実行される。なお、車両運転時の学習データセットを収集、生成するのであれば、車載学習装置に対する作業者或いは被験者等による学習データセットの収集開始操作に基づき処理が実行される。
【0191】
ステップＳ２０１において、コントローラ１３（取得部１３１）は、ユーザＵ１の外観情報及び生体信号、具体的にはカメラＣ及びマイクＭからカメラ撮影画像及びマイク集音音声のデータを取得し、また脳波センサＳ１１及び心拍センサＳ１２から生体信号（脳波データ及び心拍データ）を取得して記憶部１２に記憶し、ステップＳ２０２に移る。
【0192】
なお、車載装置が収集した各データを用いて研究開発室等に設置された学習装置１０にて学習を行う場合は、無線通信や記録媒体で学習装置１０に提供された車載装置が収集、蓄積した各データを用いて、ステップＳ２０１及び以降の処理が行われることになる。
【0193】
ステップＳ２０２において、コントローラ１３（挙動判定部１３５）は、ステップＳ２０１において取得部１３１が取得したカメラ画像及びマイク音声の各データに基づいて挙動（視線、顔向き、音声）を判定し、ステップＳ２０３に移る。
【0194】
ステップＳ２０３において、コントローラ１３（指標値算出部１３２）は、ステップＳ２０１において取得部１３１が取得した生体信号の脳波データ及び心拍データに基づいて感情指標値である覚醒度及び活性度を算出し、ステップＳ２０４に移る。
【0195】
ステップＳ２０４において、コントローラ１３（量子化部１３３）は、ステップＳ２０３において指標値算出部１３２が算出した覚醒度及び活性度に対して量子化処理を施し、ステップＳ２０５に移る。
【0196】
ステップＳ２０５において、コントローラ１３（抽出部１３４）は、ステップＳ２０４において量子化部１３３により量子化された覚醒度（量子化覚醒度）及び量子化された活性度（量子化活性度）と、ステップＳ２０２において挙動判定部１３５により判定された挙動データのそれぞれから、量子化された感情指標値の変動状態に応じて、学習データとして適当なデータであると考えられる時間帯のデータを教師（正解データ）付き学習データとして抽出して、ステップＳ２０６に移る。
【0197】
ステップＳ２０６において、コントローラ１３（生成部１３６）は、ステップＳ２０５で抽出した挙動の視線、顔向き、表情、音声データを入力値とし、ステップＳ２０５で抽出した量子化覚醒度を正解値とする覚醒度学習用の教師付き学習データを生成して、ステップＳ２０７に移る。
【0198】
ステップＳ２０７において、コントローラ１３（生成部１３６）は、ステップＳ２０５で抽出した挙動の視線、顔向き、表情、音声データを入力値とし、ステップＳ２０５で抽出した量子化活性度を正解値とする活性度学習用の教師付き学習データを生成して、ステップＳ２０８に移る。
【0199】
ステップＳ２０８において、コントローラ１３（生成部１３６）は、ステップＳ２０６で生成した覚醒度学習用の教師付き学習データを学習完了前の第１ＡＩモデル１２１ｍａに提供して第１ＡＩモデル１２１ｍａの学習を行い、ステップＳ２０９に移る。
【0200】
ステップＳ２０９において、コントローラ１３（生成部１３６）は、ステップＳ２０７で生成した活性度学習用の教師付き学習データを学習完了前の第２ＡＩモデル１２１ｍｂに提供して第２ＡＩモデル１２１ｍｂの学習を行い、ステップＳ２１０に移る。
【0201】
ステップＳ２１０において、各モデルの学習が完了したか、ここでは車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し、終了していれば処理を終え、終了していなければステップＳ２０１に戻り、学習を継続する。
【0202】
この後、学習が完了した学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢは、学習装置１０を操作するオペレータの指示等に基づき、図１に示す車両Ｖ２で用いられる感情推定装置２０等のＡＩモデル利用装置に提供される。
【0203】
なお、図１５で示した学習処理においては、各センサからデータを収集する都度、教師付き学習データを生成して各ＡＩモデルの学習を行っている。しかしながら、各センサからデータを収集する都度、教師付き学習データを生成して蓄積し、蓄積した学習データで構成される学習データセットを用いて学習完了前の第１ＡＩモデル１２１ｍａ及び学習完了前の第２ＡＩモデル１２１ｍｂの学習を行っても良い。
【0204】
その場合、ステップＳ２０８は、ステップＳ２０６で生成した覚醒度学習用の教師付き学習データを蓄積する。ステップＳ２０９は、ステップＳ２０７で生成した活性度学習用の教師付き学習データを蓄積する。そして、ステップＳ２１０は、学習データの作成が完了したかを判断し（例えば、車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し）、終了していれば処理を終え、終了していなければステップＳ２０１に戻り、学習データの生成処理を継続することになる。
【0205】
その後、開発・設計室等で、蓄積した学習データセットを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行うことになる。
【0206】
また、上記のＡＩモデルの学習処理においては、各センサから１計測データ単位で学習データを生成している。しかしながら、適当な期間における複数の各データを統計処理したデータ（センサ出力データ、挙動データ、或いは感情指標値を統計処理）を用いて学習データを生成し、学習データとすることも可能である。
【0207】
なお、車両走行中において脳波、心拍等の生体信号データと、カメラ撮影画像及びマイク集音音声等の外観情報データとを記録しておき、記録した当該データを入力データとして用いて、開発・設計室等で学習装置１０により、学習データの生成、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行うことも可能である。
【0208】
＜６．変形例＞
以上の実施形態では、カメラ撮影画像及びマイク集音音声を入力として感情指標値（覚醒度及び活性度）を推定するＡＩモデルを生成する学習装置１０について説明したが、カメラ撮影画像及びマイク集音音声を入力として感情を推定するＡＩモデルを生成する学習装置も実現可能である。
以上の実施形態では、カメラ撮影画像及びマイク集音音声を入力として感情指標値（覚醒度及び活性度）を推定するＡＩモデルを生成する学習装置１０について説明したが、カメラ撮影画像及びマイク集音音声を入力として感情を推定するＡＩモデルを生成する学習装置も実現可能である。
【0209】
図１６は、感情推定装置５０による感情推定処理を示す概念的説明図である。図１７は、学習装置６０による感情推定ＡＩの学習処理を示す概念的説明図である。なお、当該変形例において、図１、図６等に示した各構成と同様の構成については、同じ符号を付し、詳細な説明を省略する。
【0210】
感情推定装置５０は、被験者であるユーザＵ２の外観情報であるカメラ撮影画像及びマイク集音音声を、カメラＣ及びマイクＭから取得する。挙動判定部２３２は、取得したカメラ撮影画像及びマイク集音音声に基づき、視線、顔向き、表情、音声の各データを生成し、当該各データを学習済みの第３ＡＩモデル１２１ｍＣに入力値データとして出力する。第３ＡＩモデル１２１ｍＣは、視線、顔向き、表情、音声データの入力値に対して感情を推定する学習済みＡＩモデルであり、ユーザＵ２の感情情報を出力する。
【0211】
学習装置６０は、脳波センサＳ１１及び心拍センサＳ１２が検出した生体信号の脳波データ及び心拍データを取得する。指標値算出部１３２は、取得した脳波データ及び心拍データに基づいて覚醒度及び活性度それぞれを表す感情指標値を算出し、量子化部１３３に出力する。量子化部１３３は、覚醒度及び活性度それぞれを表す感情指標値の各データに対して量子化処理を施して量子化覚醒度及び量子化活性度を算出し、抽出部１３４に出力する。抽出部１３４ａは、量子化覚醒度及び量子化活性度の変動状態に応じて、学習データとして適当なデータと考えられる時間帯の各データを抽出し、感情推定モデル６２２ｍ（心理平面モデル部分）に出力する。
【0212】
感情推定モデル６２２ｍは、抽出された量子化覚醒度及び量子化活性度を心理平面モデルに適用して感情を推定し、当該推定した感情情報を学習データの正解値として第３ＡＩモデル１２１ｍｃ（学習前・学習中）に出力する。なお、感情推定モデル６２２ｍは、図１に示した感情推定モデル２２２ｍと同様の構成であり、図１に示した心理平面テーブル２２４と同様構成の心理平面テーブル６２４を用いて感情を推定する。
【0213】
また、学習装置６０は、外観情報であるカメラ撮影画像及びマイク集音音声を、カメラＣ及びマイクＭから取得する。抽出部１３４ｂは、量子化覚醒度及び量子化活性度の変動状態に応じて、学習データとして適当なデータと考えられる時間帯のカメラ撮影画像及びマイク集音音声の各データを抽出し、挙動判定部１３５に出力する。なお、抽出部１３４ａ及び抽出部１３４ｂが抽出するデータは、同じ時間帯に対応するデータとなる。
【0214】
挙動判定部１３５は、抽出されたカメラ撮影画像及びマイク集音音声に基づき、視線、顔向き、表情、音声の各データを生成し、当該各データを学習前（学習中）の第３ＡＩモデル１２１ｍｃに学習データの入力値として出力する。なお、挙動判定部１３５の生成データの内容にもよるが、挙動判定部１３５の生成データから抽出部１３４ｂにおいてデータ抽出（該当時間帯のデータ抽出）を行うことも可能である。
【0215】
そして、学習装置６０は、入力された学習データに基づき誤差逆伝播学習法等の学習アルゴリズムを用いて、第３ＡＩモデル１２１ｍｃにおける重み等のパラメータを調整する。そして、学習装置６０は、学習期間に順次入力（計測）された上記各データを用いて第３ＡＩモデル１２１ｍｃに対して上記学習処理を実行し、学習済みの第３ＡＩモデル１２１ｍＣを生成する。
【0216】
以上のように、変形例の学習装置６０によれば、感情指標値を使用して感情推定を行う感情推定モデルの分解能に合わせて量子化した感情指標値を当該感情推定モデルに入力して感情推定を行う。そして、当該推定した感情をＡＩ学習用の教師付き学習データの正解値として使用する。したがって、学習データの生成に関しては、適度な分解能のデータ（量子化感情指標）を使用したデータ処理となる。このため、ＡＩモデルの学習が効率的になる。また、当該ＡＩモデルを用いた感情推定装置は、推定モデルとして第３ＡＩモデル１２１ｍＣだけで構成可能であるので、感情指標値から感情を推定するモデル（心理平面テーブル等）が不要であり、感情推定装置における処理負荷等を軽減できる。
【0217】
＜７．留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。
【0218】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。
【0219】
また、学習装置１０及び感情推定装置２０のそれぞれの少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。なお、そのようなコンピュータプログラムは、コンピュータ読取り可能な不揮発性記録媒体（例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等）に記憶され提供（販売等）されることが可能で、またインターネット等の通信回線を介してサーバ装置で提供する方法、いわゆるダウンロードによる提供も可能である。
【符号の説明】
【0220】
１０、６０ 学習装置
１２ 記憶部
１３ コントローラ
２０、５０ 感情推定装置
２２ 記憶部
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
１２１ｍＡ、１２１ｍａ 第１ＡＩモデル
１２１ｍＢ、１２１ｍｂ 第２ＡＩモデル
１２１ｍＣ、１２１ｍｃ 第３ＡＩモデル
１３１ 取得部
１３２ 指標値算出部
１３３ 量子化部
１３４、１３４ａ、１３４ｂ 抽出部
１３５ 挙動判定部
１３６ 生成部
１３７ 提供部
２２２ｍ、６２２ｍ 感情推定モデル
２３１ 取得部
２３２ 挙動判定部
２３３ 感情推定部
２３４ 提供部
Ｃ カメラ
Ｍ マイク
Ｓ１１ 脳波センサ
Ｓ１２ 心拍センサ
Ｒｎ ニュートラル領域
Ｕ１、Ｕ２ ユーザ
１２ 記憶部
１３ コントローラ
２０、５０ 感情推定装置
２２ 記憶部
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
１２１ｍＡ、１２１ｍａ 第１ＡＩモデル
１２１ｍＢ、１２１ｍｂ 第２ＡＩモデル
１２１ｍＣ、１２１ｍｃ 第３ＡＩモデル
１３１ 取得部
１３２ 指標値算出部
１３３ 量子化部
１３４、１３４ａ、１３４ｂ 抽出部
１３５ 挙動判定部
１３６ 生成部
１３７ 提供部
２２２ｍ、６２２ｍ 感情推定モデル
２３１ 取得部
２３２ 挙動判定部
２３３ 感情推定部
２３４ 提供部
Ｃ カメラ
Ｍ マイク
Ｓ１１ 脳波センサ
Ｓ１２ 心拍センサ
Ｒｎ ニュートラル領域
Ｕ１、Ｕ２ ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
