ホーム > 特許ランキング > 株式会社デンソーテン
特開2024-141286学習方法、学習装置、学習プログラム、及び感情推定装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141286
(43)【公開日】2024-10-10
(54)【発明の名称】学習方法、学習装置、学習プログラム、及び感情推定装置
(51)【国際特許分類】
A61B 5/16 20060101AFI20241003BHJP
A61B 5/18 20060101ALI20241003BHJP
A61B 5/374 20210101ALN20241003BHJP
【ＦＩ】
A61B5/16 120
A61B5/18
A61B5/374
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023052840
(22)【出願日】2023-03-29
(71)【出願人】
【識別番号】000237592
【氏名又は名称】株式会社デンソーテン
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】橋本 和真
(72)【発明者】
【氏名】村下 君孝
(72)【発明者】
【氏名】加藤 徹洋
(72)【発明者】
【氏名】長谷川 渉
【テーマコード（参考）】
4C038
4C127
【Ｆターム（参考）】
4C038PP03
4C038PQ04
4C038PS03
4C038PS05
4C038PS07
4C127AA02
4C127AA03
4C127GG03
4C127GG10
4C127GG11
(57)【要約】
【課題】感情推定用ＡＩモデルの精度向上、汎用性向上を図る。
【解決手段】感情推定ＡＩの学習方法は、同じタイミングで、被験者の生体信号と外観情報を取得し、取得した前記生体信号に基づき感情指標値を算出し、取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【選択図】図６
【解決手段】感情推定ＡＩの学習方法は、同じタイミングで、被験者の生体信号と外観情報を取得し、取得した前記生体信号に基づき感情指標値を算出し、取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【選択図】図６
【特許請求の範囲】
【請求項1】
同じタイミングで、被験者の生体信号と外観情報を取得し、
取得した前記生体信号に基づき感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
取得した前記生体信号に基づき感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習方法。
【請求項2】
前記生体信号は脳波であり、
前記感情指標値は中枢神経系覚醒度であり、
前記覚醒度は、前記脳波のβ波／α波で算出される、
請求項１記載の学習方法。
前記感情指標値は中枢神経系覚醒度であり、
前記覚醒度は、前記脳波のβ波／α波で算出される、
請求項１記載の学習方法。
【請求項3】
前記生体信号は心拍であり、
前記感情指標値は自律神経系活性度であり、
前記活性度は、前記心拍の波形信号の低周波成分の標準偏差で算出される、
請求項１記載の学習方法。
前記感情指標値は自律神経系活性度であり、
前記活性度は、前記心拍の波形信号の低周波成分の標準偏差で算出される、
請求項１記載の学習方法。
【請求項4】
被験者の脳波に基づき算出される覚醒度と、被験者の心拍に基づき算出される活性度とを、前記被験者の外観情報から推定するＡＩモデルの学習方法であって、
同じタイミングで、前記被験者の前記脳波と前記心拍と前記外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき前記覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき前記活性度を算出し、
取得した前記外観情報を入力値とし、前記覚醒度を正解値とする覚醒度学習用教師付き学習データを生成し、
取得した前記外観情報を入力値とし、前記活性度を正解値とする活性度学習用教師付き学習データを生成し、
生成した前記覚醒度学習用教師付き学習データで前記覚醒度の推定用の前記ＡＩモデルを学習し、
生成した前記活性度学習用教師付き学習データで前記活性度の推定用の前記ＡＩモデルを学習する、
学習方法。
同じタイミングで、前記被験者の前記脳波と前記心拍と前記外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき前記覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき前記活性度を算出し、
取得した前記外観情報を入力値とし、前記覚醒度を正解値とする覚醒度学習用教師付き学習データを生成し、
取得した前記外観情報を入力値とし、前記活性度を正解値とする活性度学習用教師付き学習データを生成し、
生成した前記覚醒度学習用教師付き学習データで前記覚醒度の推定用の前記ＡＩモデルを学習し、
生成した前記活性度学習用教師付き学習データで前記活性度の推定用の前記ＡＩモデルを学習する、
学習方法。
【請求項5】
被験者の生体信号に基づき指標値算出方式を用いて算出される感情推定用の感情指標値を、前記被験者の外観情報から推定するＡＩモデルの学習方法であって、
同じタイミングで、前記被験者の前記生体信号と前記外観情報を取得し、
取得した前記生体信号に基づき前記指標値算出方式を用いて前記感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データで前記ＡＩモデルを学習する、
学習方法。
同じタイミングで、前記被験者の前記生体信号と前記外観情報を取得し、
取得した前記生体信号に基づき前記指標値算出方式を用いて前記感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データで前記ＡＩモデルを学習する、
学習方法。
【請求項6】
同じタイミングで、被験者の生体信号と外観情報を取得し、
取得した前記生体信号に基づき指標値算出方式を用いて感情指標値を算出し、
算出した前記感情指標値を用いて感情を推定し、
取得した前記外観情報を入力値とし、推定した前記感情を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習装置。
取得した前記生体信号に基づき指標値算出方式を用いて感情指標値を算出し、
算出した前記感情指標値を用いて感情を推定し、
取得した前記外観情報を入力値とし、推定した前記感情を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習装置。
【請求項7】
同じタイミングで、被験者の生体信号と外観情報を取得し、
取得した前記生体信号に基づき指標値算出方式を用いて感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習プログラム。
取得した前記生体信号に基づき指標値算出方式を用いて感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データでＡＩモデルを学習する、
学習プログラム。
【請求項8】
被験者の外観情報を取得し、取得した前記外観情報をＡＩモデルに入力して前記被験者の感情を推定する感情推定装置であって、
前記ＡＩモデルは、
同じタイミングで、前記被験者の生体信号と前記外観情報を取得し、
取得した前記生体信号に基づき感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データで学習して生成される、
感情推定装置。
前記ＡＩモデルは、
同じタイミングで、前記被験者の生体信号と前記外観情報を取得し、
取得した前記生体信号に基づき感情指標値を算出し、
取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、
生成した前記教師付き学習データで学習して生成される、
感情推定装置。
【請求項9】
被験者の外観情報を取得し、取得した前記外観情報をＡＩモデルに入力して前記被験者の感情を推定する感情推定装置であって、
前記ＡＩモデルは、
同じタイミングで、前記被験者の脳波と心拍と外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき活性度を算出し、
取得した前記外観情報を入力値とし、前記覚醒度を正解値とする覚醒度学習用教師付き学習データを生成し、
取得した前記外観情報を入力値とし、前記活性度を正解値とする活性度学習用教師付き学習データを生成し、
生成した前記覚醒度学習用教師付き学習データで前記覚醒度の推定用の前記ＡＩモデルを学習し、
生成した前記活性度学習用教師付き学習データで前記活性度の推定用の前記ＡＩモデルを学習して生成される、
感情推定装置。
前記ＡＩモデルは、
同じタイミングで、前記被験者の脳波と心拍と外観情報を取得し、
取得した前記脳波におけるβ波とα波との比に基づき覚醒度を算出し、
取得した前記心拍における波形信号の低周波成分の標準偏差に基づき活性度を算出し、
取得した前記外観情報を入力値とし、前記覚醒度を正解値とする覚醒度学習用教師付き学習データを生成し、
取得した前記外観情報を入力値とし、前記活性度を正解値とする活性度学習用教師付き学習データを生成し、
生成した前記覚醒度学習用教師付き学習データで前記覚醒度の推定用の前記ＡＩモデルを学習し、
生成した前記活性度学習用教師付き学習データで前記活性度の推定用の前記ＡＩモデルを学習して生成される、
感情推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感情推定ＡＩに係る学習方法、学習装置、学習プログラム、及び感情推定装置に関する。
【背景技術】
【0002】
従来、生体信号（例えば、心拍と脳波）に基づき感情を推定する感情推定システムが知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８５１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、生体信号を用いた感情推定装置では、心拍や脳波といった接触センサによる比較的高精度な数値データが必要であり、またこれら数値データを用いた感情推定のための処理は複雑になる。しかし、感情推定対象者に対する接触センサの装着は面倒であり、特に車載用装置へ適用する場合、運転者等の乗員に接触センサを装着することはあまり現実的ではない。このため、視線や顔の向き、或いは音声等の非接触センサによるデータを感情推定に用いることが望まれる。
【0005】
しかしながら、感情推定の処理は複雑であり、数値化し難いデータであることから感情推定精度にも不安がある。これらの理由から、感情をＡＩモデルを用いて推定（算出）する方法の採用が期待される。また、感情推定装置は、その利用用途によって、推定対象とする感情の種別が異なったり、適切な感情判定閾値が異なったりする場合等があり、汎用性を有する感情推定用のＡＩモデルが望まれる。
【0006】
本発明は、上記の課題に鑑み、感情推定装置の利用用途が変わる等しても適切な感情推定ができるような汎用性を有する感情推定用のＡＩモデルを提供することを目的とする。
【課題を解決するための手段】
【0007】
例示的な本発明の感情推定ＡＩの学習方法は、同じタイミングで、被験者の生体信号と外観情報を取得し、取得した前記生体信号に基づき感情指標値を算出し、取得した前記外観情報を入力値とし、前記感情指標値を正解値とする教師付き学習データを生成し、生成した前記教師付き学習データでＡＩモデルを学習する。
【発明の効果】
【0008】
本発明によれば、感情に相関があると推定され、遠隔系のセンサで情報を取得できる被験者の外観情報を入力値とし、精度が期待できる生体信号に基づく感情指標値を正解値として学習を行うので、外観情報を入力値として感情指標値を出力する感情推定用の学習済みＡＩモデルの高精度化が可能となり、またＡＩモデルの汎用性も期待できる。
【図面の簡単な説明】
【0009】
【図1】感情推定装置の概念的構成を示す構成図
【図2】感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図
【図3】ニュートラル領域を含む心理平面の一例を示す図
【図4】車両制御システムの構成を示すブロック図
【図6】感情推定ＡＩの学習方法の一例を示す説明図
【図7】学習装置の一例を示す構成図
【図8】２人の被験者の感情指標値（覚醒度）の時間変化を示す模式図
【図9】タスクテーブルの一例を示す図
【図10】覚醒度のニュートラル領域を推定するためのタスク実行時の覚醒度の時間変化を示す模式図
【図11】感情指標値（覚醒度）の時間変化を示す模式図
【図12】データ蓄積期間に対するニュートラル領域の上限推定値の収束状況を示す図
【図13】ニュートラル領域テーブルの一例を示す図
【図14】２人の被験者の感情指標値（覚醒度）の時間変化を示す模式図
【発明を実施するための形態】
【0010】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。
【0011】
＜１．感情推定装置＞
まず、感情推定装置について説明する。図１は、感情推定装置２０の概念的構成を示す構成図である。
まず、感情推定装置について説明する。図１は、感情推定装置２０の概念的構成を示す構成図である。
【0012】
感情推定装置２０の感情推定モデル２２２ｍは、感情に関する心身状態を示す指標である２つの感情指標値に基づき感情を推定する。本実施形態で用いる感情指標値の１つは、中枢神経系覚醒度（以下、覚醒度と称する）であり、その指標値は「脳波のβ波／α波」で算出することができる。また、他の感情指標値は、自律神経系の活性度（以下、活性度と称する）であり、その指標値は「心拍ＬＦ（Low Frequency）成分（心拍波形信号の低周波成分）の標準偏差」で算出することができる。
【0013】
感情推定モデル２２２ｍは、覚醒度と活性度とに基づく感情推定用のモデル（算出式や変換データテーブル）により構成される。感情推定モデル２２２ｍは、覚醒度と活性度とをパラメータとして感情を推定する複数次元モデル（ここでは覚醒度と活性度とを２軸とする２次元モデル）により構成される。なお、２次元モデルは、複数の各指標と感情との関係（覚醒度・活性度と、感情との関係）を示す医学的エビデンス（論文等）に基づいて作成される。或いは、２次元モデルは、多くの被験者によるアンケート結果（被験者による感情申告とその際の覚醒度・活性度（脳波・心拍計測値に基づく）からなるデータ）に基づいて作成される。なお、感情推定モデル２２２ｍを２次元モデルだけでなく、３次元以上の多次元モデルとすることも可能である。
【0014】
図２は、感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される心理平面は、縦軸が「覚醒度（覚醒－不覚醒）」であり、横軸が「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。
【0015】
この心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。第一象限には「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限には「憂鬱」の心理状態が割り当てられている。また、第三象限には「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限には「不安、恐怖、不愉快」の心理状態が割り当てられている。
【0016】
なお、軸の位置は実験（被験者の覚醒度及び活性度を計測し、統計的処理を施す）等に基づき適宜設定されることになるが、後述（図１０、図１１参照）するニュートラル領域の決定方法において、決定したニュートラル領域の中央を軸とする方法や、後述（図１２参照）する正規化方法において、正規化後の感情指標値の変動範囲を多くの被験者で計測し、それら計測変動範囲の中央値の平均を軸とする方法等が、可能である。
【0017】
そして、生体信号に基づいて得られる２種類の心身状態の指標値（覚醒度及び活性度）を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、象限内のどの位置にあるか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。なお、図２に示す感情推定モデルは、２次元の平面であるが、使用する指標数に応じて３次元以上の多次元空間となる。
【0018】
なお、感情強度の推定は難しく、比較的大きな誤差を伴い、また使用用途も限られるので、感情指標値が心理平面のどの象限に存在するかに基づき感情種別のみを判定し、当該感情を利用するのが多用される使用方法である。
【0019】
また、感情強度が強い場合、つまり感情指標値が最大値側、最小値側に大きく振れている場合は、感情推定精度は高くなる。しかし、感情強度が弱い場合、つまり感情指標値が中央値付近にある場合は、感情推定精度は低くなる。このため、感情指標値の中央値付近の領域をニュートラル領域として、推定感情無、感情推定不可といった判定をする方法が考えられる。
【0020】
【0021】
「覚醒度」の感情指標におけるニュートラル領域の上限値及び下限値は、ＹＰ及びＹＮであり、上限値ＹＰ及び下限値ＹＮで挟まれる領域が「覚醒度」に対する覚醒度ニュートラル領域ＮＲ１である。また「活性度」の感情指標におけるニュートラル領域の上限値及び下限値は、ＸＰ及びＸＮであり、上限値ＸＰ及び下限値ＸＮで挟まれる領域が「活性度」に対する活性度ニュートラル領域ＮＲ２である。
【0022】
これらニュートラル領域（上限値ＹＰ、下限値ＹＮ、上限値ＸＰ及び下限値ＸＮ）の設定は、実験等により適宜設定することも可能である。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時に適当な値を算出するため、当該算出値を適用することもできる。なお、具体的な、ニュートラル領域の決定方法例については、後述（図１０、図１１参照）する。
【0023】
感情推定装置２０は、入力された感情指標「覚醒度」と「活性度」とを、このような心理平面で示される感情推定モデル２２２ｍに当て嵌めて（座標としてプロットして）用いて感情を推定する。
【0024】
感情推定装置２０の感情推定モデル２２２ｍは、脳波データ及び心拍データに基づき算出される感情指標の覚醒度及び活性度を使用するため、脳波データ及び心拍データを入力とする。なお、本実施形態では、脳波センサ及び心拍センサにより検出される脳波データ及び心拍データではなく、視線、顔向き、音声からＡＩモデルにて推定された感情指標の覚醒度及び活性度を入力する。これは、感情推定の対象者に接触センサである脳波センサ及び心拍センサを装着する手間を省くための技術であり、非接触センサであるカメラ、マイク等を用いて視線、顔向き、音声のデータを収集し、ＡＩモデルにて推定された脳波データ及び心拍データを推定するものである。例えば、車両の運転手の感情を推定して、車両の走行制御等に用いる場合等では、運転手に接触センサを装着するのは実用上困難であり、本技術は特に有用になる。
【0025】
つまり、感情指標の算出には、通常生体信号が必要であるが、生体信号は接触型のセンサが大半であり、用途に制限が加わるという課題がある。このため、非接触系のセンサで検出可能な感情推定対象者（被験者）の外観に基づく情報を検出センサの利用が望まれる。なお、ここでの外観情報とは、画像データだけでなく音声等の非接触系センサ（遠隔検出系センサ：カメラ、マイク等）で検出可能な情報も含まれる。
【0026】
図１に示した感情推定装置２０の使用例において、ユーザＵ２は、車両Ｖ２の運転者である。当該推定方法で用いられる第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、運転者（ユーザＵ２）の感情の推定に用いられる。第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、別途学習が行われて、学習済みモデルとして提供され、感情推定装置２０に搭載される。なお、感情推定装置２０の詳細については後述する。
【0027】
なお、感情推定装置２０は、車両Ｖ２に搭載されるコンピュータ装置で実現でき、また車両Ｖ２とネットワークを介して接続されたサーバでも実現できる。また、当該サーバは、物理サーバであっても、仮想サーバであっても良い。
【0028】
車両Ｖ２には、車載センサとして、カメラＣと、マイクＭとが搭載されている。そして、カメラＣの撮影画像に基づくユーザＵ２（運転者）の視線データ及び顔向きデータと、マイクＭの取得したユーザＵ２（運転者）の音声データとが、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力されている。
【0029】
なお、図示の例では、カメラＣの撮影画像を画像認識処理等によって処理し、視線データ（眼球部の画像や、視線（向き）を示すテキスト・数値データに加工したデータ）及び顔向きデータ（顔面の画像や、顔面の向きを示すテキスト・数値データに加工したデータ）に加工して、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力しているが、カメラＣの撮影画像を入力しても良い。なお、入力データ種別に応じた第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢ（入力データ種別に応じて設計され、学習が施されたＡＩモデル）が、感情推定装置２０に搭載されることになる。
【0030】
また、視線データ及び顔向きデータは、感情推定タイミングに合わせたタイミングの静止画データで良い。なお、視線データ及び顔向きデータは、感情推定にはそれらの動きが重要なものとなるので、感情推定タイミングに合わせた期間の動画データ、例えば感情推定タイミングの直前の予め定めた時間長の動画が好ましい。同様に、音声データも感情推定タイミングの直前の予め定めた時間長の動画が好ましい。例えば、感情推定間隔が１秒の場合、感情推定タイミングＴａにおいては、時刻Ｔａ－１０秒（始点）から時刻Ｔａ（終点）までの顔面の動画像データに基づく視線データ、顔向きデータ、及び音声データを、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、このようなデータ形態の学習用入力データにより学習されることになる。
【0031】
第１ＡＩモデル１２１ｍＡは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、感情指標の覚醒度を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第１ＡＩモデル１２１ｍＡは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する覚醒度を正解データとする多くの学習データのデータセットで学習されている。
【0032】
また、第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データを入力して、感情指標の活性度を出力するＡＩモデルであり、当該入出力に適した構造に設計されている。そして、第２ＡＩモデル１２１ｍＢは、視線データ、顔向きデータ、及び音声データを入力データとし、当該入力データに対応する活性度を正解データとする多くの学習データのデータセットで学習されている。なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習方法の詳細については、後述する。
【0033】
そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線データ、顔向きデータ、及び音声データに基づいて推定（出力）した２種類の感情指標である覚醒度及び活性度を、感情推定モデル２２２ｍに出力する。感情推定モデル２２２ｍは、これら入力された覚醒度及び活性度に基づいて感情を推定する。
【0034】
なお、感情推定モデル２２２ｍは、使用用途、つまり推定結果の対象感情種別（上記２次元モデルにおける各座標（領域）に割り当てられる感情種別）によって変化する。例えば、ｅスポーツに利用される場合には、ｅスポーツでの利用に適した感情種別が上記２次元モデルに割り当てられることになる。したがって、ユーザＵ２の視線データ、顔向きデータ、及び音声データに基づき感情を推定するＡＩモデルを用いる場合と比較して、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを用いて覚醒度及び活性度（感情指標値）を推定し、それら感情指標値を用いて感情を推定する方が汎用性が高まる、つまりいろいろな用途の感情推定装置に適用し易いという利点がある。
【0035】
＜２．車両制御システム＞
次に、推定された感情データを用いて車両制御を行う車両制御システムについて、図４を用いて説明する。図４は、車両制御システム４０の構成を示すブロック図である。図４では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
次に、推定された感情データを用いて車両制御を行う車両制御システムについて、図４を用いて説明する。図４は、車両制御システム４０の構成を示すブロック図である。図４では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。
【0036】
図４に示すように、車両制御システム４０は、感情推定装置２０と、車両制御装置３０と、アクチュエータ部４１と、報知部４２と、を備える。なお、図示は省略するが、車両制御システム４０は、キーボード、タッチパネル等の入力装置や、ディスプレイ等の出力装置を備える。
【0037】
＜２－１．感情推定装置＞
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、本例のように車両Ｖ２に搭載されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、本例のように車両Ｖ２に搭載されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。
【0038】
記憶部２２には、図１で示した学習済みの第１ＡＩモデル１２１ｍＡ及び学習済みの第２ＡＩモデル１２１ｍＢを記憶する第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂが設けられる。
【0039】
なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、例えば、次のようにして第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに記憶される。
【0040】
車両制御システム４０の製作者等が、システムの組み立て時等に、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが書き込まれたメモリを第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂとして搭載する。或いは、車両制御システム４０の製作者等が、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが記憶された外部記憶装置を車両制御システム４０（感情推定装置２０）に接続し、当該第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを読み込んで第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。或いは、車両制御システム４０の製作者等が、ネットワークを介して学習装置１０から学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを受信し、第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。
【0041】
また、記憶部２２には、図１で示した感情推定モデル２２２ｍを記憶する感情推定モデル記憶部２２２が設けられる。なお、感情推定モデル記憶部２２２には、感情推定に必要な各種データ、例えば、図２或いは図３で示した感情指標値から感情を推定するためのデータである心理平面テーブル２２４等が記憶される。
【0042】
なお、心理平面テーブル２２４は、図２或いは図３に示した感情推定モデル（心理平面）を形成するデータで、２種類の感情指標値（覚醒度、活性度）と、それに対応する感情情報を関連づけたデータ群となる。また、このような感情推定モデル（感情推定モデルを構成する各種データ）も、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢと同様の方法で、感情推定装置２０の設計時、或いは組み立て時等に、記憶部２２（感情推定モデル記憶部２２２）に記憶されることになる。
【0043】
コントローラ２３は、感情推定装置２０の各種動作等を制御するものであり、演算処理等を行うプロセッサを含み、例えばＣＰＵで構成される。コントローラ２３は、その機能として、取得部２３１と、挙動判定部２３２と、感情推定部２３３と、提供部２３４と、を備える。コントローラ２３の機能は、記憶部２２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
【0044】
取得部２３１は、通信部２１を介して、カメラＣ、及びマイクＭによって撮影・集音された感情推定対象者であるユーザＵ２の各種情報（画像情報、音声情報）を取得する。取得部２３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部２２に形成されたデータテーブルに記憶する。なお、取得部２３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらデータは当該時刻における挙動状態、感情を推定するために使用される。
【0045】
挙動判定部２３２は、取得部２３１が取得した、ユーザＵ２の画像情報及び音声情報に対して解析処理を行うことで、ユーザＵ２の視線や顔の向き、表情、音声等の予め定めれた種類の挙動を判定する。予め定めれた種類の挙動は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが入力とするデータ種に対応する挙動であり、本実施形態の場合、具体的には、視線、顔向き、音声（内容）となる。
【0046】
したがって、挙動判定部２３２は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの入力仕様（設計条件、学習条件等により定まる）に応じた各種処理を行うことになる。当該各種処理は、例えば、処理対象期間の画像（静止画或いは動画）及び音声データの切り出し処理、カメラＣの撮影画像からのユーザＵ２の顔面や眼球部分の切り出し処理及び向きの検出処理、並びにマイクＭの出力信号の周波数解析処理等である。なお、音声データの切り出し処理では、例えば、感情推定タイミングの直前１０秒間のデータ等を切り出す。なお、データ種別に応じて時間長を変更しても良い。
【0047】
そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、学習時の入力データと種別（内容・様式）が同じデータの入力に対して適切な推定（正解）データを出力する。このため、挙動判定部２３２の出力データ種別（内容・様式）は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習時の入力データと同じものとする必要がある。挙動判定部２３２は、そのようなデータ処理を行うことになる。挙動判定部２３２のこれらの動作を実現するためのプログラムやデータは、記憶部２２に記憶される。
【0048】
感情推定部２３３は、挙動判定部２３２の判定した挙動のデータに基づき、ユーザＵ２の感情を推定する。詳細には、挙動判定部２３２の判定した挙動のデータを第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力する。その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の視線や顔の向き、表情、音声等に係る挙動情報に基づき推定したユーザＵ２の感情指標値（覚醒度及び活性度）を出力する。そして、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが出力したユーザＵ２の推定感情指標値は、感情推定モデル２２２ｍに入力される。そして、感情推定モデル２２２ｍは、ユーザＵ２の感情指標値に基づいてユーザＵ２の感情を推定し、出力する。
【0049】
なお、上述の感情推定に用いる各データ（カメラ撮影画像、マイク集音音声、挙動情報、推定感情指標値等）としては、適当な期間長における複数の各データを統計処理（平均処理、ローパスフィルタ処理等）等したデータを用いて、感情を推定するようにしても良い。この場合、統計処理は、統計処理が行われるデータ種別に応じて、適宜、取得部２３１、挙動判定部２３２、或いは感情推定部２３３で行うことになる。
【0050】
提供部２３４は、感情推定部２３３によって推定されたユーザＵ２の感情を、車両制御装置３０に提供する。これにより、車両制御装置３０において、ユーザＵ２の感情に基づく車両Ｖ２の制御が行えるようになる。
【0051】
＜２－２．車両制御装置、及び他の構成要素＞
車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。
車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。
【0052】
コントローラ３１は、車両Ｖ２の運転者であるユーザＵ２による運転操作や、接続された各種センサ（不図示）、例えば車速センサ、空燃比センサ、操舵角センサ等からの情報に基づき各種車両制御、例えば車両Ｖ２の向きや速度等の制御を行う。さらに、コントローラ３１は、通信部３３を介し、感情推定装置２０からユーザＵ２の感情に係る情報（推定感情）を受信する。そして、コントローラ３１は、受信した推定感情情報も利用した車両制御、例えば速度、アクセル感度、ブレーキ感度等の制御を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、アクセル感度を低くする（加速し難くする）、ブレーキ感度を高くする（停止し易くする）、最高速度制御の上限を低くする、という安全側に寄せた、つまり運転者の興奮度の影響を抑えたような走行制御を行う。
【0053】
また、推定感情情報自体の報知や、当該推定感情情報に応じた報知を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、「落ち着きましょう」と言う表示や音声案内を行い、各種音声案内における音声の質を落ち着いた話し方・表現とする制御を行う。
【0054】
記憶部３２は、記憶部１２と同様に各種メモリにより構成され、コントローラ３１が処理で使用するデータ等、例えばプログラム、処理用係数データ、処理中の一時記憶データ等を記憶する。そして、記憶部３２には、感情推定装置２０から受信した感情に係る情報と、車両Ｖ２の制御信号及び車室内のユーザＵ２へ報知情報との対応付けがなされた各種処理用の複数のデータテーブルが設けられる。
【0055】
通信部３３は、感情推定装置２０、アクチュエータ部４１、及び報知部４２との間でデータの通信を行うためのインタフェースであり、例えばＣＡＮ（Controller Area Network）インターフェースである。
【0056】
アクチュエータ部４１は、車両の各種動作を実現するモータ等で構成された各種駆動部品で、車両制御装置３０によってその動作が駆動制御される。具体的に言えば、例えば、アクチュエータ部４１は、車両Ｖ２において駆動力を発生させるエンジン及びモータと、車両Ｖ２のステアリングを駆動させるステアリングアクチュエータと、車両Ｖ２のブレーキを駆動させるブレーキアクチュエータ等である。
【0057】
報知部４２は、車両制御装置３０からの報知情報を、視覚的、聴覚的方法等により車室内のユーザＵ２等に報知する。具体的に言えば、例えば、報知部４２は、ユーザＵ２に、文字、画像、映像等によって報知情報を伝える液晶ディスプレイや音声、警告音等によって報知情報を伝えるスピーカ等で構成される。
【0058】
車両制御装置３０は、各種センサからの情報、及び感情推定装置２０から提供されたユーザＵ２の感情に基づいて車両Ｖ２の制御信号を生成して出力する。具体的に言えば、例えばユーザＵ２が感情を高揚させている場合や、恐怖を感じている場合に、車両制御装置３０は、表示部やスピーカを介して「気持ちを落ち着かせましょう」といったことを表示、音声によって伝える。また、車両制御装置３０は、例えば、車速センサや障害物センサ（レーダ等）等からの情報に基づき車両Ｖ２の速度制御を行うが、ユーザＵ２が感情を高揚させている場合には通常の感情に比べで速度を遅くした速度制御を行う。
【0059】
すなわち、車両制御システム４０は、車両Ｖ２の運転者であるユーザＵ２の感情を推定し、推定した当該感情も考慮した車両Ｖ２の動作、例えば走行制御を行う。この構成によれば、ユーザＵ２の感情に応じた車両Ｖ２の制御を行うことができる。したがって、本実施形態によれば、安全運転に影響のある運転者の感情に応じた車両Ｖ２の制御が可能となるので、車両Ｖ２の安全運転に寄与することが可能である。
【0060】
＜２－３．感情推定装置（コントローラ）の処理＞
図５は、図４の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
図５は、図４の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
【0061】
図５に示す処理は、車両Ｖ２が始動し、推定感情に基づく各種制御を開始するタイミングで起動し、その後各種制御に対して適当なタイミングで、つまり感情推定が必要なタイミングで、或いは感情推定が必要な時間帯に渡って繰り返し実行される。
【0062】
ステップＳ１１１において、コントローラ２３（取得部２３１）は、ユーザＵ２の挙動を示すデータ、具体的にはユーザＵ２に対するカメラ撮影画像、マイク集音音声を取得し、ステップＳ１１２に移る。取得した各種情報は、必要に応じて記憶部２２のデータテーブルに記憶される。
【0063】
ステップＳ１１２において、コントローラ２３（挙動判定部２３２）は、ステップＳ１１１で取得した（取得部２３１が取得した）各データ（カメラ撮影画像、マイク集音音声）に基づいてユーザＵ２の挙動、具体的には視線、顔向き、音声（内容）を判定し、ステップＳ１１３に移る。
【0064】
ステップＳ１１３において、コントローラ２３（感情推定部２３３）は、ステップＳ１１２で判定した挙動判定結果（挙動判定部２３２による挙動判定結果）に基づく各データを入力値として第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに入力し、それぞれ覚醒度及び活性度の感情指標を第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに推定させ、ステップＳ１１４に移る。
【0065】
ステップＳ１１４において、コントローラ２３（感情推定部２３３）は、推定した２種類の感情指標値（覚醒度、活性度）を感情推定モデル２２２ｍ（心理平面テーブル２２４のデータ）に適用（入力）して、ユーザＵ２の感情を推定し、ステップＳ１１５に移る。
【0066】
ステップＳ１１５において、コントローラ２３（提供部２３４）は、車両制御装置３０に感情推定部２３３が推定したユーザＵ２の推定感情情報を提供（出力）し、処理を終了する。
【0067】
なお、１回毎の推定された感情は、センサ出力のノイズ等による悪影響（誤判定）があると推定されるので、予め定めた所定期間の平均・最頻値を採用する等、統計的処理を施した推定感情を採用することが好ましい。このため、コントローラ２３（提供部２３４）は、推定感情にタイムスタンプを付加して蓄積し、統計的処理を施した推定感情を車両制御装置３０に提供する（ステップＳ１１５）ことが好ましい。なお、車両制御装置３０が推定感情情報を蓄積して統計的処理を施し、その結果を制御に用いる方法も適用可能である。
【0068】
＜３．感情推定用ＡＩの学習方法＞
次に、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法について説明する。なお、学習前と学習後のモデルを識別し易くするために、学習前モデルは第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂとし、また学習後モデルは第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢとし、符号の最後尾文字で学習前後を識別できるように表記する。図６は、感情推定ＡＩの学習方法の一例を示す説明図である。
次に、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法について説明する。なお、学習前と学習後のモデルを識別し易くするために、学習前モデルは第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂとし、また学習後モデルは第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢとし、符号の最後尾文字で学習前後を識別できるように表記する。図６は、感情推定ＡＩの学習方法の一例を示す説明図である。
【0069】
本実施形態において、ユーザＵ１は、学習データ生成のための被験者であり、感情推定装置２０の開発チームにおけるメンバー等が当該被験者となる。なお、使用者が限定される個人専用の感情推定装置２０の場合、被験者は使用者であることが好ましいが、他人であっても類似性はあるので、被験者は使用者と他人であっても良い。また、使用者が限定されない汎用の感情推定装置２０の場合、被験者は使用者と他人となるが、複数の被験者で学習データを生成すれば、いろいろな特性の被験者による学習データが得られ、汎用性が高い感情推定装置２０となることが期待できる。また、本実施形態においては、車載の感情推定装置２０を想定しているので、環境が近い車載装置で学習を行うこととしており、被験者のユーザＵ１は車両Ｖ１の運転者である。
【0070】
なお、ＡＩモデルの学習に用いる学習データは、ＡＩモデルの用途によって適切な情報が決まる。例えば、特定の運転者に対するＡＩ適用装置の場合には該当の運転者における情報が適切な情報となり、いろいろな運転者に対するＡＩ適用装置の場合には多種多様な運転者における情報が適切な情報となる。また、運転者に対するＡＩ適用装置の場合には運転者における情報が適切な情報となり、運転者以外の車両各乗員に対するＡＩ適用装置の場合には運転者以外の各種乗員における情報が適切な情報となる。そして、学習データは、ＡＩモデルによる感情推定の精度を高くするために、多くの情報を必要とする。
【0071】
本実施形態においては、ＡＩ適用装置を、運転者全般（特定の個人ではなく、一般の運転者）に適用できることとする。それら運転者の感情に基づき車両の制御を行う装置とするため、ＡＩ学習のための実験走行試運転は、いろいろなタイプの複数被験者によるいろいろなパターンの実験走行試運転が好ましい。なお、各被験者による学習は同様であるので、ある一人の被験者（運転者）での学習について説明する。
【0072】
また、例えば、ＡＩ適用装置が医療機関における診療装置の場合、被験者に適したユーザＵ１（情報収集対象）は医療機関における患者や医師等になる。また、ＡＩ適用装置が教育機関における教育指導装置の場合、被験者に適したユーザＵ１は生徒や教師等になる。また、ＡＩ適用装置がｅスポーツ関連装置、エンターテイメントのコンテンツ関連装置の場合、被験者に適したユーザＵ１はｅスポーツのプレイヤーやコンテンツの視聴者等になる。
【0073】
また、学習装置１０を車両Ｖ１に搭載して学習を行わせることも、また学習装置１０を研究開発室等の車両Ｖ１以外の場所に設置して学習を行わせることも可能である。後者の場合、車両Ｖ１に乗車した被験者のユーザＵ１の各生体データ等（脳波、心拍、画像、音声等の計測データ）を、記録媒体を介して、或いは通信回線を介して学習装置１０に入力する。なお、本実施形態では、学習装置１０を車両Ｖ１に搭載して学習を行わせる例について説明する。
【0074】
車両Ｖ１に搭載された学習装置１０の記憶装置（メモリ等）にＡＩモデルの記憶部が設けられ、学習前の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂが記憶される。そして、学習装置１０が以下で説明する学習処理を実行することにより、学習前のＡＩモデルの学習が行われ、学習済ＡＩモデル、つまりＡＩ適用装置に実装される第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが生成されることになる。
【0075】
学習後の第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、前述の図１、図４に示した感情推定装置２０で使用されることになる。したがって、第１ＡＩモデル１２１ｍａの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（感情推定装置２０の第１ＡＩモデル１２１ｍＡの入力データと同じ（種別、様式の）データ）で、正解データが感情指標値の覚醒度である。また、第２ＡＩモデル１２１ｍｂの学習データは、入力データがユーザＵ１の視線や顔の向き、表情、音声等の挙動情報（感情推定装置２０の第２ＡＩモデル１２１ｍＢの入力データと同じ（種別、様式の）データ）で、正解データが感情指標値の活性度である。
【0076】
このため、学習装置１０が搭載される車両Ｖ１には、感情推定装置２０で使用される（感情推定装置２０に入力される）データを出力する各種の車載センサが設けられる。本実施形態において、具体的には、車載センサは、カメラＣと、マイクＭとを含む。カメラＣは、運転者Ｕ１の視線と顔の向きのデータが得られるように、顔面が映った撮影画像情報を出力する。マイクＭは、運転者Ｕ１が発する発生音等の音声情報を検出する。カメラＣ及びマイクＭは、例えば車両Ｖ１のフロントガラス、或いはダッシュボード付近に、運転者Ｕ１の方向を撮影方向及び集音方向とするように設置される。
【0077】
そして、カメラＣ及びマイクＭの出力は、図４の挙動判定部２３２と同様の構成の挙動判定部１３４によりの挙動データ化の処理が行われ、視線、顔向き、音声の挙動データに加工される。そして、これらの挙動データが、学習装置の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力値として入力されることになる。
【0078】
運転者Ｕ１には、生体センサが装着される。本実施形態において、生体センサは、脳波を検出する脳波センサＳ１１と、心拍を検出する心拍センサＳ１２と、である。脳波センサＳ１１は、例えばヘッドギア型の脳波センサが用いられる。心拍センサＳ１２は、例えば胸ベルト型の心電式心拍センサが用いられる。なお、生体センサは、取得したい生体情報、装着性等に応じて他のセンサを追加、変更しても良い。他の生体センサとしては、例えば光学式心拍（脈拍）センサ、血圧計、またはＮＩＲＳ（Near Infrared Spectroscopy）装置等であっても良い。
【0079】
そして、脳波センサＳ１１が出力する脳波データと、心拍センサＳ１２が出力する心拍データは、感情指標値である覚醒度及び活性度に変換される。具体的には、前述の覚醒度及び活性度の算出方法と同様の方法で、覚醒度は「脳波のβ波／α波」で算出され、活性度は「心拍ＬＦ（Low Frequency）成分（心拍波形信号の低周波成分）の標準偏差」で算出される。
【0080】
さらに、各感情指標値は、個人差による影響、環境による影響等を低減するため、正規化処理が施される。そして、正規化された感情指標値の覚醒度は、正解値として第１ＡＩモデル１２１ｍａに入力される。また、正規化された感情指標値の活性度は、正解値として第２ＡＩモデル１２１ｍｂに入力される。
【0081】
つまり、第１ＡＩモデル１２１ｍａは、入力値（例題）が視線、顔向き、及び音声の挙動データであり、正解値が正規化された覚醒度である教師付き学習データセットで学習が行われることになる。したがって、学習済み第１ＡＩモデル１２１ｍＡは、図１に示すような入力値を視線、顔向き、音声の挙動データとし、出力を覚醒度とするＡＩモデルとして生成される。
【0082】
また、第２ＡＩモデル１２１ｍｂは、入力値（例題）が視線、顔向き、及び音声の挙動データであり、正解値が正規化された活性度である教師付き学習データセットで学習が行われることになる。したがって、学習済み第２ＡＩモデル１２１ｍＢは、図１に示すような入力値を視線、顔向き、音声の挙動データとし、出力を活性度とするＡＩモデルとして生成される。
【0083】
続いて、図６を参照して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習方法（ＡＩの学習プロセス）の流れを説明する。なお、センサの装着等の具体的な作業は、ＡＩモデルの学習担当作業者、被験者（運転者Ｕ１）等が行うことになる。
【0084】
学習装置１０の記憶装置（メモリ等）には、視線、顔の向き、音声の情報を入力として覚醒度を推定する第１ＡＩモデル１２１ｍａ（学習前）と、視線、顔の向き、音声の情報を入力として活性度を推定する第２ＡＩモデル１２１ｍｂ（学習前）が記憶される。なお、第１ＡＩモデル１２１ｍａ（学習前）及び第２ＡＩモデル１２１ｍｂ（学習前）は、事前にＡＩ設計開発者等が、ＡＩ設計用のコンピュータを用いて、またＡＩモデルの仕様（使用形態、要求性能等）に応じて、別途、作成することになる。
【0085】
運転者Ｕ１は、学習装置１０が搭載された車両に乗車し、車両に搭載されたカメラＣ及びマイクＭの位置、向き、感度等の調整等を行う。また、運転者Ｕ１は、脳波センサＳ１１及び心拍センサＳ１２を装着する。以上のような学習の準備が整うと、運転者Ｕ１等が学習装置１０を起動し学習が開始される。なお、必要に応じて（車両走行が学習条件であるなど）、運転者Ｕ１は車両の運転（操作）を開始する。
【0086】
カメラＣ及びマイクＭは、ユーザＵ１の画像及び発する音声を検出し、画像情報及び音声情報を学習装置１０に出力する。
【0087】
脳波センサＳ１１及び心拍センサＳ１２は、ユーザＵ１の生体信号である脳波及び心拍を検出し、学習装置１０に出力する。
【0088】
そして、学習装置１０は、同じタイミングのユーザＵ１の画像情報及び音声情報と、脳波及び心拍とを対のデータ（１個の学習データ）として、以降の処理を行う。
【0089】
学習装置１０は、入力された生体信号の脳波及び心拍を、感情指標値化処理により覚醒度及び活性度に変換する。さらに、学習装置１０は、変換生成した覚醒度及び活性度に正規化処理を施し、正規化覚醒度及び正規化活性度を生成する。また、学習装置１０は、入力されたユーザＵ１の画像情報及び音声情報を挙動データ化して、視線、顔の向き、音声の情報を生成する。
【0090】
そして、学習装置１０は、視線、顔の向き、音声の情報を入力値とし、正規化覚醒度を正解値とする第１ＡＩモデル１２１ｍａ用の学習データを生成する。また、学習装置１０は、視線、顔の向き、音声の情報を入力値とし、正規化活性度を正解値とする第２ＡＩモデル１２１ｍｂ用の学習データを生成する。そして、学習装置１０は、各タイミングにおけるこれら学習データを集合化して、各モデル用の学習データセットを形成する。その後、学習装置１０は、生成した当該各学習データセットで、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。
【0091】
具体的には、学習装置１０は、生成した各学習データセットの学習データを順次、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂに入力する。そして、学習装置１０は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等の学習を行う。
【0092】
これにより、各センサにより順次検出される各データに基づき生成される数多くの教師付き学習データにより、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習が行われ、感情推定装置２０で使用される学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが生成されることになる。
【0093】
【0094】
図７に示すように、学習装置１０は、通信部１１と、記憶部１２と、コントローラ１３と、を備える。学習装置１０は、いわゆるコンピュータ装置で構成できる。なお、図示は省略するが、学習装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える。
【0095】
通信部１１は、通信ネットワークを介して他の装置、各種センサ類との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）で構成される。
【0096】
記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。
【0097】
記憶部１２には、第１ＡＩモデル記憶部１２１Ａと、第２ＡＩモデル記憶部１２１Ｂとが設けられる。第１ＡＩモデル記憶部１２１Ａと第２ＡＩモデル記憶部１２１Ｂとのそれぞれには、学習対象の第１ＡＩモデル１２１ｍａと第２ＡＩモデル１２１ｍｂとが記憶される。さらに、記憶部１２には、各種処理用のデータテーブルとして、タスクテーブル１２３と、ニュートラル領域テーブル１２４とが設けられる。タスクテーブル１２３及びニュートラル領域テーブル１２４については後述する。
【0098】
コントローラ１３は、学習装置１０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ１３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。なお、学習装置１０をクラウドサーバで構成することも可能であり、その場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであって良い。
【0099】
コントローラ１３は、その機能として、取得部１３１と、指標値算出部１３２と、正規化部１３３と、挙動判定部１３４と、生成部１３５と、提供部１３６と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
【0100】
取得部１３１は、通信部１１を介して、カメラＣ、マイクＭ、脳波センサＳ１１、及び心拍センサＳ１２によって検出された各種情報（画像情報、音声情報、脳波情報、心拍情報）を取得する。取得部１３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部１２に形成されたデータテーブルに記憶する。なお、取得部１３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルにおける一つのデータレコードに記憶する。そして、これらデータは一つの教師付き学習データを生成するために使用される。
【0101】
指標値算出部１３２は、生体情報の脳波及び心拍のデータに基づき感情指標値である覚醒度及び活性度を算出する。前述したように、覚醒度は「脳波のβ波／α波」で算出することができる。また、活性度は「心拍ＬＦ成分の標準偏差」で算出することができる。なお、これら感情指標値の算出に必要な算出式等のデータは、記憶部１２に記憶される。
【0102】
正規化部１３３は、感情指標値に対して正規化処理を施す。脳波情報、心拍情報といった生体信号、特に数値系の（定量的な）生体信号は個人差があり、また周囲環境の影響を受けるので、それらを低減させるために正規化処理を実行する。次に、正規化処理の具体的方法について説明する。
【0103】
図８は、２人の被験者の感情指標値（覚醒度）の時間変化を示す模式図である。図８に示す４つのグラフにおいて、横軸は時間、縦軸は生体信号に基づく感情指標値である。なお、説明を分かり易くするため、ここでは感情指標値は覚醒度として説明する。
【0104】
図８において、左側（ａ１、ａ２）は第１被験者のデータであり、右側（ｂ１、ｂ２）は第２被験者のデータであり、上段（ａ１、ｂ１）は正規化前のデータであり、下段（ａ２、ｂ２）は正規化後のデータである。なお、説明を分かり易くするため、各被験者において計測期間内で覚醒度が上限・下限に振れた状態例で説明する。
【0105】
図８（ａ１、ｂ１）に示すように、第１被験者と第２被験者とのそれぞれの覚醒度の振れ幅は大きく異なり、第１被験者よりも第２被験者のほうが大きくなっている。すなわち、この例では、第１被験者は計測される覚醒度の幅が狭い、換言すれば覚醒度に対する感度が低いと言える。これに対して、第２被験者は計測される覚醒度の幅が広い、換言すれば覚醒度に対する感度が高いと言える。なお、覚醒度に対する感度等は、被験者生来の個人差だけでなく、環境差、例えば周囲の温湿度や照明等の明るさ、被験者の状態、例えば空腹度などの計測時における各種条件の影響も受ける。
【0106】
感情指標値においては、その振れ幅の中央付近にニュートラル状態（中立状態：図８においてＮＲで表記）が存在する。覚醒度の場合、覚醒状態と非覚醒状態（睡眠様状態）との間に中立状態、いわゆる通常状態が存在する。このようなニュートラル状態の領域（領域境界）は、特定のタスクの実行により比較的判別（推定）し易い傾向にある。このため、本実施形態では、このニュートラル状態の領域を用いた正規化方法、つまりニュートラル状態の領域を同じにする感情指標値の補正を行う。
【0107】
図８（ａ１、ｂ１）に示すように、ニュートラル領域ＮＲは、個人差等により各被験者間では、その位置（ニュートラル領域の上下限値：第１被験者ニュートラル上限値Ｍａｘ１、第１被験者ニュートラル下限値Ｍｉｎ１、第２被験者ニュートラル上限値Ｍａｘ２、第２被験者ニュートラル下限値Ｍｉｎ２）、幅（ニュートラル領域の上下限値の差：第１被験者ニュートラル幅Ｗ１（Ｍａｘ１－Ｍｉｎ１）、第２被験者ニュートラル幅Ｗ２（Ｍａｘ２－Ｍｉｎ２））が異なっている。
【0108】
そこで、各被験者のニュートラル領域ＮＲが、予め定めた標準のニュートラル領域ＮＲ０と同じ位置、幅（標準上限値Ｍａｘ０、標準下限値Ｍｉｎ０、標準幅Ｗ０（Ｍａｘ０－Ｍｉｎ０））となるように、感情指標値（覚醒度）の補正を行う。具体的には、以下の算出式を用いて感情指標値（覚醒度）の補正を行う。なお、活性度等の他の感情指標値も同様の方法（覚醒度に対する各パラメータを、補正対象感情指標値の対応するパラメータで置き換える）で補正できる。
【0109】
第１被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ１Ｂ、補正後覚醒度ＡＷ１Ａ
第２被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ２Ｂ、補正後覚醒度ＡＷ２Ａ
ＡＷ１Ａ＝ＡＷ１Ｂ×Ａ１＋Ｂ１
ＡＷ２Ａ＝ＡＷ２Ｂ×Ａ２＋Ｂ２
Ａ１＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ１－Ｍｉｎ１）
Ａ２＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ２－Ｍｉｎ２）
Ｂ１＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ１＋Ｍｉｎ１）×Ａ１）／２
Ｂ２＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ２＋Ｍｉｎ２）×Ａ２）／２
第２被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ２Ｂ、補正後覚醒度ＡＷ２Ａ
ＡＷ１Ａ＝ＡＷ１Ｂ×Ａ１＋Ｂ１
ＡＷ２Ａ＝ＡＷ２Ｂ×Ａ２＋Ｂ２
Ａ１＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ１－Ｍｉｎ１）
Ａ２＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ２－Ｍｉｎ２）
Ｂ１＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ１＋Ｍｉｎ１）×Ａ１）／２
Ｂ２＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ２＋Ｍｉｎ２）×Ａ２）／２
【0110】
なお、第ｎ被験者（ニュートラル上限値Ｍａｘｎ、ニュートラル下限値Ｍｉｎｎ）で一般化すると、次のようになる。
【0111】
第ｎ被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷｎＢ、補正後覚醒度ＡＷｎＡ
ＡＷｎＡ＝ＡＷｎＢ×Ａｎ＋Ｂｎ
Ａｎ＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘｎ－Ｍｉｎｎ）
Ｂｎ＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘｎ＋Ｍｉｎｎ）×Ａｎ）／２
ＡＷｎＡ＝ＡＷｎＢ×Ａｎ＋Ｂｎ
Ａｎ＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘｎ－Ｍｉｎｎ）
Ｂｎ＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘｎ＋Ｍｉｎｎ）×Ａｎ）／２
【0112】
このような正規化方式（算出式）により、第ｎ被験者の覚醒度を正規化する場合、第ｎ被験者覚醒度のニュートラル上限値Ｍａｘｎ、第ｎ被験者ニュートラル下限値Ｍｉｎｎを推定する必要がある。このニュートラル領域の推定のために、被験者に特定のタスクを実行させ、その際の覚醒度を計測する。そして、その覚醒度の計測値に基づき第ｎ被験者覚醒度のニュートラル上限値Ｍａｘｎ、第ｎ被験者ニュートラル下限値Ｍｉｎｎを推定する。実行されるタスクは、タスクを行った被験者が特定の心身状態（特定状態）となるようなタスクであり、例えば覚醒度がニュートラル上限値を境にして上側で振れる等のタスクであり、医学・心理学等の分野の研究でエビデンスが得られているタスクが何種類か知られている。つまり、これらのタスクを被験者に行わせることで被験者の特定の心身状態とし、当該特定の心身状態における被験者生体信号（値）を用いて正規化処理を実行するという技術思想である。
【0113】
【0114】
「タスクＩＤ」は、タスク情報を識別するための識別情報であるタスクＩＤデータである。タスクＩＤデータは、タスクテーブル１２３におけるデータレコードの主キーでもある。つまりタスクテーブル１２３では、タスクＩＤデータごとにデータレコードが構成され、当該データレコードにタスクＩＤデータに紐づいた各項目のデータが記憶されることになる。
【0115】
「対応指標種別」は、正規化対象の感情指標種別である。例えば、覚醒度、活性度が記憶されることになる。
【0116】
「タスク内容」は、正規化処理のために被験者が実行するタスクの具体的内容である。
【0117】
「指標値遷移状態」は、対応する（同じレコードに記憶された）タスク内容を被験者が実行した場合に対応する感情指標値が遷移すると推定される状態で、例えば「高覚醒度：覚醒度が覚醒側（覚醒度高）側の状態（高指標値状態）になる」といったデータが記憶されることになる。
【0118】
このタスクテーブル１２３によれば、例えばタスクＩＤがＳＴ０１のタスクデータは、対象感情指標が覚醒度であり、覚醒度の状態遷移が高覚醒度であり、そして具体的タスク内容は「表示される数字を暗算加算する」となる。
【0119】
そして、正規化処理の対象、つまり対象の感情指標、及びニュートラル領域の対象境界に応じて、被験者に実行させるタスク内容が選択されることになる。例えば、覚醒度の正規化処理のために覚醒度のニュートラル領域の上側境界を推定する場合は、「対応指標種別」が「覚醒度」、「指標値遷移状態」が「高覚醒度」である「タスク内容」の「表示される数字を暗算加算する」が、被験者に実行させるタスクとして選択されることになる。
【0120】
【0121】
図１０は、覚醒度のニュートラル領域ＮＲ（上下境界値ＮＲＵ，ＮＲＤ）を推定するために、タスクテーブル１２３のタスクＳＴ０１及びタスクＳＴ０２が選択された例におけるタスク実行時の覚醒度の時間変化を示す模式図である。そして、グラフの横軸は時間、縦軸は覚醒度である。信号αは、タスクＳＴ０１のタスク内容「表示される数字を暗算加算する」を被験者が実行した際の覚醒度の時間変化を表す。信号βは、タスクＳＴ０２のタスク内容「安静にして拳を握る」を被験者が実行した際の覚醒度の時間変化を表す。
【0122】
図１０に示すように、被験者が覚醒度が高い状態となるタスクＳＴ０１を実行している状態では、被験者の覚醒度は高い状態（高指標値状態）にあるため、計測される被験者の覚醒度は高覚醒度の領域内で変化（変動）することが予想される。したがって、タスクＳＴ０１を実行中（効果のタイムラグを考慮すれば、実行開始からタイムラグ相当時間経過後から、実行終了からタイムラグ相当時間経過後までの期間）における覚醒度の最低値は、覚醒度のニュートラル領域ＮＲの上限値ＮＲＵと推定できる。
【0123】
また、被験者が覚醒度が低い状態となるタスクＳＴ０２を実行している状態では、被験者の覚醒度は低い状態（非覚醒状態、低指標値状態）にあるため、計測される被験者の覚醒度は低覚醒度（非覚醒状態）の領域内で変化することが予想される。したがって、タスクＳＴ０２を実行中（効果のタイムラグを考慮すれば、実行開始からタイムラグ相当時間経過後から、実行終了からタイムラグ相当時間経過後までの期間）における覚醒度の最高値は、覚醒度のニュートラル領域ＮＲの下限値ＮＲＤと推定できる。
【0124】
このような、技術思想に基づいて覚醒度等の感情指標値に対するニュートラル領域を推定する。
【0125】
正規化部１３３は、上記に方法によりニュートラル領域ＮＲを決定するが、具体的には、第１タスクの実行時に得られる感情指標値（覚醒度：信号α）の時間変化データを統計処理して、ニュートラル領域ＮＲの上限値ＮＲＵを決定する。例えば、正規化部１３３は、第１タスクの実行時に得られる生体信号の時間変化データをスムージング処理し、スムージング処理後の信号αデータの最小値をニュートラル領域ＮＲの上限値ＮＲＵとする。
【0126】
また、正規化部１３３は、第２タスクの実行時に得られる感情指標値（活性度：信号β）の時間変化データを統計処理して、ニュートラル領域ＮＲの下限値ＮＲＤを決定する。例えば、正規化部１３３は、第２タスクの実行時に得られる生体信号の時間変化データをスムージング処理し、スムージング処理後の信号βデータの最大値をニュートラル領域ＮＲの下限値ＮＲＤとする。なお、スムージング処理は、例えば、微細なピーク信号のようなノイズ成分等の除去を目的として行われる。
【0127】
なお、正規化部１３３は、感情指標値の種別ごとにニュートラル領域の上限値及び下限値を決定する。このために、本実施形態では、覚醒度及び活性度のそれぞれのデータについて、上述のようなニュートラル領域上限決定用の第１タスク及びニュートラル領域下限決定用の第２タスクの実行が被験者（ユーザ）に対して要求される。そして、覚醒度及び活性度のそれぞれについて、各タスクの実行時における覚醒度及び活性度の計測（算出）結果に応じて覚醒度及び活性度の各ニュートラル領域の決定処理が行われる。
【0128】
また、以上では、第１タスクの実行時に得られる感情指標値（覚醒度：信号α）の変動範囲である第１変動範囲と、第２タスクの実行時に得られる感情指標値（活性度：信号β）の変動範囲である第２変動範囲とが離れていることを前提として、２つの変動範囲の間をニュートラル領域ＮＲとした（図１０参照）。
【0129】
しかしながら、感情指標値の種類や、タスクの内容によっては、上述の第１変動範囲と第２変動範囲とが重なることもあり得る。このような場合には、第１変動範囲と第２変動範囲との重畳範囲に基づきニュートラル領域を決定しても良い。例えば、第１変動範囲と第２変動範囲との重畳範囲をニュートラル領域とする、第１変動範囲と第２変動範囲との重畳範囲に適当なオフセット（感情の誤判定を防止する観点から適当な値、例えば１０％範囲拡大、を設定）を加えて拡大した範囲或いはオフセット（感情の判定不能を防止する観点から適当な値、例えば１０％範囲縮小、を設定）を減じて縮小した範囲をニュートラル領域とする、といった方法が可能である。
【0130】
次に、ニュートラル領域の決定処理の第２例について説明する。第２例では、被験者（ユーザＵ１）に対し、上記第１タスク及び第２タスクといった特定のタスクの実行を要求しない。第２例では、感情指標値の計測（算出）の時系列データの蓄積が進むにつれて、統計処理で推定されるニュートラル領域の上限値と下限値とのそれぞれが一定の値に収束するという点に着目して、ニュートラル領域を決定する。
【0131】
【0132】
図１１に示すように、人の心身状態は、特定のタスクを与えなくても、時間に伴って変化する環境等の変化に基づき様々な状態に変化する。したがって、統計処理的に相当量の感情指標値の時系列データを蓄積し、蓄積したデータを値の大きさで３つの状態（高覚醒度、ニュートラル、低覚醒度（睡眠様状態））に分けるクラスタ分析を行うことによってニュートラル領域（ニュートラル領域の上限値及び下限値）を推定することができる。クラスタ分析には、公知の手法、例えば、ｋ－ｍｅａｎｓ法、大津の多値化手法、混合ガウスモデル等が利用できる。
【0133】
図１２は、図１１に示したような統計的手法によりニュートラル領域を決定する場合において、データ蓄積期間（データ蓄積量に比例）に対するニュートラル領域の上限推定値の収束状況を示す図である。なお、ニュートラル領域の下限推定値の収束状況も同様となる。
【0134】
統計的手法を用いたニュートラル領域の上限値の推定に利用されるデータ量は、時間の経過とともに増大する。時間の経過にともなって統計処理に用いるデータ量が増大することにより、推定される上限値は、時間の経過に伴って一定の値に収束していく。この傾向は、下限値でも同様である。収束した上限値及び下限値で特定されるニュートラル領域は、信頼性が高いと解される。このため、統計的手法で算出される上限値及び下限値が収束したと判定された段階で、ニュートラル領域を決定する。なお、収束の判定は、ニュートラル領域の上限値（下限値）の算出値の変動値（例えば、数回の算出値における平均変化値）が、適当に設定された収束判定閾値以下になった場合に収束と判定する、といった方法が可能である。
【0135】
なお、正規化部１３３は、感情指標値種別（覚醒度及び活性度）ごとにニュートラル領域の上限値及び下限値を決定する。
【0136】
正規化部１３３は、決定したニュートラル領域の上限値及び下限値を記憶部１２のニュートラル領域テーブル１２４に記憶する。詳細には、正規化部１３３は、決定したニュートラル領域の上限値及び下限値をデータテーブル化して記憶部１２に記憶する。なお、被験者（ユーザ）ごとのニュートラル領域情報を、ニュートラル領域テーブル１２４に記憶する方法が有効である。その場合、同じ被験者で学習データセットを再作成（追加作成）際に、ニュートラル領域テーブル１２４に記憶されたニュートラル領域情報を利用することも可能となる。
【0137】
図１３は、ニュートラル領域テーブル１２４の一例を示す図である。図１３に示すように、ニュートラル領域テーブル１２４の項目には、「ニュートラル情報ＩＤ」、「ユーザＩＤ」、「感情指標種別」、「上限値」、「下限値」、及び「取得日時」が含まれ、各項目欄（記憶部）には対応するデータが記憶される。
【0138】
「ニュートラル情報ＩＤ」は、ニュートラル情報を識別するための識別情報である。ニュートラル情報ＩＤは、ニュートラル領域テーブル１２４におけるデータレコードの主キーでもある。つまり、ニュートラル領域テーブル１２４では、ニュートラル情報ＩＤごとにデータレコードが構成され、当該データレコードにニュートラル情報ＩＤに紐づいた各項目のデータが記憶されることになる。
【0139】
「ユーザＩＤ」は、ユーザ情報を識別するための識別情報である。つまり、ニュートラル領域の決定に使用される感情指標データ計測に対する被験者のデータである。
【0140】
「上限値」及び「下限値」は、正規化部１３３により決定されたニュートラル領域の上限値及び下限値の情報である。
【0141】
「取得日時」は、ニュートラル領域の上限値及び下限値の情報が取得（決定・記憶）された日時情報を記憶する。なお、同じユーザＩＤ、同じ感情指標種別の「上限値」及び「下限値」と、「取得日時」は、最新の情報が取得されるごとに更新される。
【0142】
他、被験者（ユーザＵ１）から感情申告に基づき、ニュートラル領域を推定する方法も可能である。
【0143】
具体的には、正規化部１３３（コントローラ１３）は、被験者（ユーザ）に被験者が自覚している感情指標状態に関する質問（例えば、覚醒状態を３段階（覚醒、通常、非覚醒（眠い））のいずれかであるかの質問）を行い、その回答とその際に計測（算出）された感情指標値（覚醒度）を蓄積する。そして、正規化部１３３は、その蓄積データに統計的処理を施し、ニュートラル領域を推定する。例えば、被験者の回答が「通常」の際に算出された覚醒度の高値１０％の平均値と低値１０％の平均値をニュートラル領域の上限値、下限値とする。或いは、例えば、被験者の回答が「覚醒」の際に算出された覚醒度の低値１０％の平均値から適当なオフセット値を減じた値をニュートラル領域の上限値とし、被験者の回答が「非覚醒」の際に算出された覚醒度の高値１０％の平均値から適当なオフセット値を加えた値をニュートラル領域の下限値とする、といった方法が適用可能である。
【0144】
以上の正規化方法は、感情指標値のニュートラル領域に基づき行う方法であるが、別の方法で行うこともできる。次に示す方法は、適当な計測期間内に算出される感情指標値の範囲（上限値及び下限値）に基づき正規化を行う方法である。
【0145】
図１４は、２人の被験者の感情指標値（覚醒度）の時間変化を示す模式図である。図１４に示す４つのグラフにおいて、横軸は時間、縦軸は生体信号に基づく感情指標値である。なお、説明を分かり易くするため、ここでは感情指標値は覚醒度として説明する。
【0146】
図１４において、左側（ａ１、ａ２）は第１被験者のデータであり、右側（ｂ１、ｂ２）は第２被験者のデータであり、上段（ａ１、ｂ１）は正規化前のデータであり、下段（ａ２、ｂ２）は正規化後のデータである。なお、説明を分かり易くするため、各被験者において計測期間内で覚醒度が上限・下限に振れた状態例で説明する。
【0147】
図１４（ａ１、ｂ１）に示すように、第１被験者と第２被験者とのそれぞれの覚醒度の振れ幅は大きく異なり、第１被験者よりも第２被験者のほうが大きくなっている。すなわち、この例では、第１被験者は計測される覚醒度の幅が狭い、換言すれば覚醒度に対する感度が低いと言える。これに対して、第２被験者は計測される覚醒度の幅が広い、換言すれば覚醒度に対する感度が高いと言える。なお、覚醒度に対する感度等は、被験者生来の個人差だけでなく、環境差、例えば周囲の温湿度や照明等の明るさ、被験者の状態、例えば空腹度などの計測時における各種条件の影響も受ける。
【0148】
本正規化方法は、適当な計測期間における感情指標値（覚醒度）の変動範囲が、被験者の感情指標値に関する感度及び計測環境に応じて変化するという考えに基づく正規化方法であり、感情指標値（覚醒度）の変動範囲を同じにする感情指標値の補正を行う。
【0149】
図１４（ａ１、ｂ１）に示すように、覚醒度の変動範囲ＣＨは、個人差等により各被験者間では、その位置（変動範囲の上下限値：第１被験者変動範囲上限値Ｍａｘ１、第１被験者変動範囲下限値Ｍｉｎ１、第２被験者変動範囲上限値Ｍａｘ２、第２被験者変動範囲下限値Ｍｉｎ２）、幅（変動範囲の上下限値の差：第１被験者変動範囲幅Ｗ１（Ｍａｘ１－Ｍｉｎ１）、第２被験者変動範囲幅Ｗ２（Ｍａｘ２－Ｍｉｎ２））が異なっている。
【0150】
そこで、各被験者の変動範囲ＣＨが、予め定めた標準の変動範囲ＣＨ０と同じ位置、幅（標準上限値Ｍａｘ０、標準下限値Ｍｉｎ０、標準幅Ｗ０（Ｍａｘ０－Ｍｉｎ０））となるように、感情指標値（覚醒度）の補正を行う。具体的には、以下の算出式を用いて感情指標値（覚醒度）の補正を行う。なお、活性度等の他の感情指標値も同様の方法（覚醒度に対する各パラメータを、補正対象感情指標値の対応するパラメータで置き換える）で補正できる。
【0151】
第１被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ１Ｂ、補正後覚醒度ＡＷ１Ａ
第２被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ２Ｂ、補正後覚醒度ＡＷ２Ａ
ＡＷ１Ａ＝ＡＷ１Ｂ×Ａ１＋Ｂ１
ＡＷ２Ａ＝ＡＷ２Ｂ×Ａ２＋Ｂ２
Ａ１＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ１－Ｍｉｎ１）
Ａ２＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ２－Ｍｉｎ２）
Ｂ１＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ１＋Ｍｉｎ１）×Ａ１）／２
Ｂ２＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ２＋Ｍｉｎ２）×Ａ２）／２
第２被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷ２Ｂ、補正後覚醒度ＡＷ２Ａ
ＡＷ１Ａ＝ＡＷ１Ｂ×Ａ１＋Ｂ１
ＡＷ２Ａ＝ＡＷ２Ｂ×Ａ２＋Ｂ２
Ａ１＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ１－Ｍｉｎ１）
Ａ２＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘ２－Ｍｉｎ２）
Ｂ１＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ１＋Ｍｉｎ１）×Ａ１）／２
Ｂ２＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘ２＋Ｍｉｎ２）×Ａ２）／２
【0152】
なお、第ｎ被験者（変動範囲上限値Ｍａｘｎ、変動範囲下限値Ｍｉｎｎ）で一般化すると、次のようになる。
【0153】
第ｎ被験者覚醒度：計測値に基づく（補正前）覚醒度ＡＷｎＢ、補正後覚醒度ＡＷｎＡ
ＡＷｎＡ＝ＡＷｎＢ×Ａｎ＋Ｂｎ
Ａｎ＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘｎ－Ｍｉｎｎ）
Ｂｎ＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘｎ＋Ｍｉｎｎ）×Ａｎ）／２
ＡＷｎＡ＝ＡＷｎＢ×Ａｎ＋Ｂｎ
Ａｎ＝（Ｍａｘ０－Ｍｉｎ０）／（Ｍａｘｎ－Ｍｉｎｎ）
Ｂｎ＝（（Ｍａｘ０＋Ｍｉｎ０）－（Ｍａｘｎ＋Ｍｉｎｎ）×Ａｎ）／２
【0154】
上記の正規化方法によれば、被験者による特別なタスクの実行やそのタスク実行の際のデータ収集、収集したデータの演算等の必要がない。このため、被験者の負担を軽減することができ、また学習装置の処理負荷、学習の時間削減を図ることができる。
【0155】
図７に戻って、説明を続ける。挙動判定部１３４は、取得部１３１が取得した、ユーザＵ１（図６参照）の顔を含む画像情報、発生音声に対して解析処理を行うことで、ユーザＵ１の視線や顔の向き、表情、音声等の予め定められた種類の挙動を判定する。なお、挙動判定部１３４の行う処理と、図４の挙動判定部２３２の行う処理は同等であり、それぞれ同形式の視線、顔の向き、表情、音声のデータを出力する。
【0156】
例えば、ユーザＵ１の視線に関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の左右の眼球を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば目頭の位置、眼の虹彩及び瞳孔の中心位置、近赤外照明による角膜反射像（プルキニエ像）の中心位置、眼球の中心位置等を用いた所定の視線検出処理によりユーザＵ１の視線及び注視点の挙動を判定する。ユーザＵ１の視線は、例えばユーザＵ１の前方にユーザＵ１と正対する仮想平面に設け、ユーザＵ１の視線ベクトルが仮想平面を貫く位置の二次元座標で表すことができる。
【0157】
また、例えば、ユーザＵ１の顔の向きに関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば目、鼻、口等のそれぞれの位置、鼻頂部の位置、顔の輪郭、顔の輪郭の幅方向の中心位置等を用いた所定の顔向き検出処理によりユーザＵ１の顔の向きの挙動を判定する。
【0158】
また、例えば、ユーザＵ１の表情に関して、挙動判定部１３４は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３４は、当該認識処理の結果に基づき、例えば口角の角度、眉の角度、目の開き具合等を用いた所定の表情検出処理によりユーザＵ１の表情の挙動を判定する。
【0159】
また、例えば、ユーザＵ１の声等の発音を含む音声情報に対して、ユーザＵ１の、音声音量や発声速度、発言頻度、音声認識結果に基づく発声内容の言語解析結果（例えば喜びや怒り、不安等に関係する単語や文章の出現）に基づき、ユーザＵ１の音声の挙動を判定する。
【0160】
生成部１３５は、第１ＡＩモデル１２１ｍａに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の情報を入力値とし、正規化部１３３によって正規化された感情指標値の覚醒度を正解値としてそれぞれ入力し、第１ＡＩモデル１２１ｍａの学習を行う。また、生成部１３５は、第２ＡＩモデル１２１ｍｂに、挙動判定部１３４によって判定されたユーザＵ１の視線や顔の向き、表情、音声の情報を入力値とし、正規化部１３３によって正規化された感情指標値の活性度を正解値としてそれぞれ入力し、第２ＡＩモデル１２１ｍｂの学習を行う。
【0161】
つまり、生成部１３５は、遠隔系センサ（非接触センサ：カメラ、マイク）の検出した情報に基づくユーザＵ１の挙動情報を入力データとし、接触系の生体信号センサ（接触センサ：脳波センサ、心拍センサ）によって検出された生体信号に基づき算出され、さらに正規化処理が施された感情指標値（覚醒度及び活性度）を正解データとした教師付き学習データセットを生成する。そして、生成部１３５は、生成した教師付き学習データセットを用いて第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。この学習により、学習済みの第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、挙動情報を入力として覚醒度及び活性度を推定するＡＩモデルとなる。
【0162】
なお、生成部１３５は、誤差逆伝播学習法等の学習アルゴリズムを用いて、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂにおける重み等のパラメータを調整する等して、第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行う。
【0163】
提供部１３６は、生成部１３５によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して後述する車両Ｖ２で用いられる感情推定装置２０（図１及び図４参照）に提供する。これにより、感情推定装置２０は、提供部１３６によって提供された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を取り込んで第１ＡＩモデル記憶部２２１Ａ及び第１ＡＩモデル記憶部２２１Ａに記憶する。これにより、感情推定装置２０は、感情推定機能がカメラＣ及びマイクＭが取得した画像、音声情報に基づく感情推定が可能となり、車両Ｖ２の各種機能において推定した感情情報を利用することができる。
【0164】
なお、提供部１３６は、生成部１３５によって生成された学習済みの第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して感情推定装置２０に提供するようにしたが、別の方法で提供することも可能である。例えば、第１ＡＩモデル１２１ｍＡのデータ及び第２ＡＩモデル１２１ｍＢのデータをＡＩプラットホームを形成するＬＳＩに書き込んでＡＩ実行ＬＳＩを生成し、当該ＡＩ実行ＬＳＩを感情推定装置２０に組み込むことで、第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を提供することもできる。また、通信以外のデータ伝達媒体、例えばメモリカード、光ディスク記録媒体等を用いて感情推定装置２０に提供することも可能である。
【0165】
＜５．感情推定ＡＩの学習装置の動作例 ＞
図１５は、図７の学習装置１０のコントローラ１３が実行する感情推定ＡＩの学習処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定用のＡＩモデルの学習処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
図１５は、図７の学習装置１０のコントローラ１３が実行する感情推定ＡＩの学習処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定用のＡＩモデルの学習処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。
【0166】
図１５に示す処理は、学習装置１０の設計者等が感情推定用のＡＩモデルの学習処理を実行する際、例えばキーボード等の操作部により学習処理の開始操作が行われたときに実行される。なお、車両運転時の学習データセットを収集、生成するのであれば、作業者或いは被験者等による学習データセットの収集開始操作に基づき処理が実行される。
【0167】
ステップＳ１０１において、コントローラ１３（取得部１３１）は、カメラＣ及びマイクＭからカメラ画像及びマイク音声のデータを取得し、また脳波センサＳ１１及び心拍センサＳ１２から生体信号（データ）を取得して記憶部１２に記憶し、ステップＳ１０２に移る。
【0168】
なお、車載装置が収集した各データを用いて研究開発室等に設置された学習装置１０にて学習を行う場合は、無線通信や記録媒体で学習装置１０に提供された車載装置が収集、蓄積した各データを用いて、ステップＳ１０１及び以降の処理が行われることになる。
【0169】
ステップＳ１０２において、コントローラ１３（挙動判定部１３４）は、カメラ画像及びマイク音声のデータの各データに基づき挙動（視線、顔向き、音声）を判定し、ステップＳ１０３に移る。
【0170】
ステップＳ１０３において、コントローラ１３（指標値算出部１３２）は、生体信号の脳波及び心拍データに基づき、感情指標値の覚醒度及び活性度を算出し、ステップＳ１０４に移る。
【0171】
ステップＳ１０４において、コントローラ１３（正規化部１３３）は、ステップＳ１０３で算出した感情指標値の覚醒度及び活性度の各データに対して正規化処理を施し、ステップＳ１０５に移る。
【0172】
ステップＳ１０５において、コントローラ１３（生成部１３５）は、判定した挙動の視線、顔向き、音声データを入力値とし、正規化された感情指標値の覚醒度を正解値とする覚醒度学習用教師付き学習データを生成して、ステップＳ１０６に移る。
【0173】
ステップＳ１０６において、コントローラ１３（生成部１３５）は、判定した挙動の視線、顔向き、音声データを入力値とし、正規化された感情指標値の活性度を正解値とする活性度学習用教師付き学習データを生成して、ステップＳ１０７に移る。
【0174】
ステップＳ１０７において、コントローラ１３（生成部１３５）は、ステップＳ１０５で生成した覚醒度学習用教師付き学習データを学習完了前の第１ＡＩモデル１２１ｍａに提供して第１ＡＩモデル１２１ｍａの学習を行い、ステップＳ１０８に移る。
【0175】
ステップＳ１０８において、コントローラ１３（生成部１３５）は、ステップＳ１０６で生成した活性度学習用教師付き学習データを学習完了前の第２ＡＩモデル１２１ｍｂに提供して第２ＡＩモデル１２１ｍｂの学習を行い、ステップＳ１０９に移る。
【0176】
ステップＳ１０９において、各モデルの学習が完了したか、ここでは車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し、終了していれば処理を終え、終了していなければステップＳ１０１に戻り、学習を継続する。
【0177】
この後、学習が完了した第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、学習装置１０を操作するオペレータの指示等に基づき、図１に示す車両Ｖ２で用いられる感情推定装置２０等のＡＩモデル利用装置に提供される。
【0178】
なお、図１５で示した学習処理においては、各センサからデータを収集する都度、教師付き学習データを生成して各ＡＩモデルの学習を行っている。しかしながら、各センサからデータを収集する都度、教師付き学習データを生成して蓄積し、蓄積した学習データで構成される学習データセットを用いて学習完了前の第１ＡＩモデル１２１ｍａ及び第２ＡＩモデル１２１ｍｂの学習を行っても良い。
【0179】
その場合、ステップＳ１０７は、ステップＳ１０５で生成した覚醒度学習用教師付き学習データを蓄積する。ステップＳ１０８は、ステップＳ１０６で生成した活性度学習用教師付き学習データを蓄積する。そして、ステップＳ１０９は、学習データの作成が完了したかを判断し（例えば、車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者、被験者）の操作等に基づいて判断し）、終了していれば処理を終え、終了していなければステップＳ１０１に戻り、学習データの生成処理を継続することになる。
【0180】
また、上記のＡＩモデルの学習処理においては、各センサから１計測データ単位で学習データを生成している。しかしながら、適当な期間における複数の各データを統計処理したデータ（センサ出力データ、挙動データ或いは感情指標値を統計処理）を用いて学習データを生成し、学習データとすることも可能である。
【0181】
＜６．留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。
【0182】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。
【0183】
また、学習装置１０及び感情推定装置２０のそれぞれの少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。なお、そのようなコンピュータプログラムは、コンピュータ読取り可能な不揮発性記録媒体（例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等）に記憶され提供（販売等）されることが可能で、またインターネット等の通信回線を介してサーバ装置で提供する方法、いわゆるダウンロードによる提供も可能である。
【符号の説明】
【0184】
１０、６０、８０ 学習装置
１３ コントローラ
２０、５０、７０ 感情推定装置
２２ 記憶部
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
１２１ｍＡ、１２１ｍａ 第１ＡＩモデル
１２１ｍＢ、１２１ｍｂ 第２ＡＩモデル
１３１ 取得部
１３２ 指標値算出部
１３３ 正規化部
１３４ 挙動判定部
１３５ 生成部
１３６ 提供部
２２２ｍ 感情推定モデル
２３１ 取得部
２３２ 挙動判定部
２３３ 感情推定部
２３４ 提供部
ＮＲ ニュートラル領域
ＮＲ１ 覚醒度ニュートラル領域
ＮＲ２ 活性度ニュートラル領域
Ｕ１、Ｕ２ ユーザ
１３ コントローラ
２０、５０、７０ 感情推定装置
２２ 記憶部
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
１２１ｍＡ、１２１ｍａ 第１ＡＩモデル
１２１ｍＢ、１２１ｍｂ 第２ＡＩモデル
１３１ 取得部
１３２ 指標値算出部
１３３ 正規化部
１３４ 挙動判定部
１３５ 生成部
１３６ 提供部
２２２ｍ 感情推定モデル
２３１ 取得部
２３２ 挙動判定部
２３３ 感情推定部
２３４ 提供部
ＮＲ ニュートラル領域
ＮＲ１ 覚醒度ニュートラル領域
ＮＲ２ 活性度ニュートラル領域
Ｕ１、Ｕ２ ユーザ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
