特開 2024-51307 ＡＩモデル生成方法、感情推定ＡＩモデルの学習データ生成方法、感情推定装置、及び車両制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051307

(43)【公開日】2024-04-11

(54)【発明の名称】ＡＩモデル生成方法、感情推定ＡＩモデルの学習データ生成方法、感情推定装置、及び車両制御システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240404BHJP

   A61B 5/16 20060101ALI20240404BHJP

   B60K 28/02 20060101ALI20240404BHJP

   B60T 8/174 20060101ALI20240404BHJP

【ＦＩ】

G06N20/00 130

A61B5/16 120

B60K28/02

B60T8/174 C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022157390

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】村下 君孝

(72)【発明者】

【氏名】加藤 徹洋

(72)【発明者】

【氏名】橋本 和真

(72)【発明者】

【氏名】長谷川 渉

【テーマコード（参考）】

3D037

3D246

4C038

【Ｆターム（参考）】

3D037FA01

3D246EA01

3D246GC14

3D246HA13A

3D246HA26A

3D246HA52C

3D246HA86A

3D246JB32

3D246JB56

3D246KA15

4C038PP03

4C038PQ03

4C038PS00

4C038PS03

(57)【要約】

【課題】ユーザに生体信号等の検知センサを装着させることなく、ユーザの感情を精度よく取得する。
【解決手段】ＡＩモデル生成方法は、同じタイミングで、ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータとを取得し、前記第２情報群のデータに基づいて感情を推定し、前記第１情報群のデータと、推定された前記感情とからなる教師付き学習データを生成し、生成した前記教師付き学習データで感情推定ＡＩモデルを学習する。
【選択図】図１

【特許請求の範囲】

【請求項1】

同じタイミングで、ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータとを取得し、
前記第２情報群のデータに基づいて感情を推定し、
前記第１情報群のデータと、推定された前記感情とからなる教師付き学習データを生成し、
生成した前記教師付き学習データで感情推定ＡＩモデルを学習する、
ＡＩモデル生成方法。

【請求項2】

感情を推定する感情推定装置であって、
コントローラと、
ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータに基づいて推定された感情とからなる教師付き学習データで学習済みのＡＩモデルが記憶された記憶部と、
を備え、
前記コントローラは、
前記第１情報群のデータを取得し、
前記ＡＩモデルに取得した前記第１情報群のデータを入力して、感情を推定する、
感情推定装置。

【請求項3】

前記第１情報群のデータは、ユーザの視線または顔の向きに係る情報を含む、
請求項２に記載の感情推定装置。

【請求項4】

前記第２情報群のデータは、脳波に係る情報と、心拍に係る情報とを含む、
請求項２または請求項３に記載の感情推定装置。

【請求項5】

感情を推定する感情推定装置と、車両を制御する車両制御装置とを含む車両制御システムであって、
前記感情推定装置は、
ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータに基づいて推定された感情とからなる教師付き学習データで学習済みのＡＩモデルが記憶された記憶部を有し、
前記第１情報群のデータを取得し、
前記記憶部に記憶された前記ＡＩモデルに取得した前記第１情報群のデータを入力して、感情を推定し、
前記車両制御装置は、
前記感情推定装置によって推定された感情に基づいて車両を制御する、
車両制御システム。

【請求項6】

同じタイミングで、ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータとを取得し、
前記第２情報群のデータに基づいて感情を推定し、
前記第１情報群のデータと、推定された前記感情とからなる教師付き学習データを生成する、
感情推定ＡＩモデルの学習データ生成方法。

【請求項7】

同じタイミングで、ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群における複数種類のデータとを取得し、
前記第１情報群のデータと、前記第２情報群における複数種類のデータとからなる複数の教師付き学習データを生成し、
生成した複数の前記教師付き学習データで複数のＡＩモデルを学習し、
学習済みの複数の前記ＡＩモデルにより、前記第１情報群のデータの入力により感情推定用の前記第２情報群における複数種類のデータを推定するＡＩモデルを構成する、
ＡＩモデル生成方法。

【請求項8】

感情を推定する感情推定装置であって、
コントローラと、
ユーザの外観に基づく第１情報群のデータと生体信号に基づく第２情報群の第１データとからなる教師付き学習データで学習済みの第１ＡＩモデルと、ユーザの外観に基づく第１情報群のデータと生体信号に基づく第２情報群の第２データとからなる教師付き学習データで学習済みの第２ＡＩモデルと、前記第１データと前記第２データとから感情を推定する感情推定モデルが記憶された記憶部と、
を備え、
前記コントローラは、
前記第１情報群のデータを取得し、
前記第１ＡＩモデルに取得した前記第１情報群のデータを入力して、第１データを推定し、
前記第２ＡＩモデルに取得した前記第１情報群のデータを入力して、第２データを推定し、
前記感情推定モデルに、前記第１ＡＩモデルが推定した前記第１データと前記第２ＡＩモデルが推定した前記第２データとを入力して、感情を推定する、
感情推定装置。

【請求項9】

感情を推定する感情推定装置と、車両を制御する車両制御装置とを含む車両制御システムであって、
前記感情推定装置は、
ユーザの外観に基づく第１情報群のデータと生体信号に基づく第２情報群の第１データとからなる教師付き学習データで学習済みの第１ＡＩモデルと、ユーザの外観に基づく第１情報群のデータと生体信号に基づく第２情報群の第２データとからなる教師付き学習データで学習済みの第２ＡＩモデルと、前記第１データと前記第２データとから感情を推定する感情推定モデルが記憶された記憶部を有し、
前記第１情報群のデータを取得し、
前記第１ＡＩモデルに取得した前記第１情報群のデータを入力して、第１データを推定し、
前記第２ＡＩモデルに取得した前記第１情報群のデータを入力して、第２データを推定し、
前記感情推定モデルに、前記第１ＡＩモデルが推定した前記第１データと前記第２ＡＩモデルが推定した前記第２データとを入力して、感情を推定し、
前記車両制御装置は、
前記感情推定装置によって推定された感情に基づいて車両を制御する、
車両制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＩモデル生成方法、感情推定ＡＩモデルの学習データ生成方法、感情推定装置、及び車両制御システムに関する。

【背景技術】

【0002】

従来、車両状態と運転者の感情状態との間の関連性モデルを学習して更新する人工知能（ＡＩ）を有し、当該関連性モデルを車両制御処理にフィードバックする車両運転支援システムが知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１６９７０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、車両状態と感情状態との関連性を学習させたＡＩモデルを用いており、感情推定の精度の面で課題があった。つまり、感情状態が車両状態に影響を及ぼす過程には、少なくとも、感情状態が身体の各種動作（周辺状況認知動作、周辺状況認知に基づく判断動作、判断に基づく身体動作（運転操作）等）が入るため、運転者の感情状態と車両状態の相関関係がやや低くなると考えられ、精度面での懸念がある。これに対して、運転者の生体信号から感情を推定する方法が考えられるが、運転者に生体信号等の検知センサを装着させることは困難で、また面倒である課題がある。

【0005】

本発明は、上記の課題に鑑み、ユーザに生体信号等の検知センサを装着させることなく、ユーザの感情を精度良く取得することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

例示的な本発明のＡＩモデル生成方法は、同じタイミングで、ユーザの外観に基づく第１情報群のデータと、生体信号に基づく第２情報群のデータとを取得し、前記第２情報群のデータに基づいて感情を推定し、前記第１情報群のデータと、推定された前記感情とからなる教師付き学習データを生成し、生成した前記教師付き学習データで感情推定ＡＩモデルを学習する。

【発明の効果】

【0007】

本発明によれば、生成されたＡＩモデルは、ユーザの外観から判定される第１情報群を入力することで、感情を正解値として出力するモデルとなる。そして、推定の流れは、比較的精度の高いユーザの外観に基づく第１情報群のデータから生体信号に基づく第２情報群のデータを推定し、そしてその後の、多くの科学的エビデンスに基づき精度が高いと考えられる生体信号に基づく第２情報群のデータからの感情推定となるので、精度の高い感情推定が期待できる。また、ユーザの感情推定時に必要なユーザに関するデータは、ユーザの外観から判定される第１情報群のデータとなるので、ユーザに接触系の生体信号等の検知センサを装着させる必要がない。このため、ユーザが面倒、あるいは鬱陶しいといった感情を生じることなく、感情推定を行うことができ、ユーザ感情を利用した各種制御システム等を現実的なものとすることができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態のＡＩモデル生成方法の一例を示す説明図

【図2】感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図

【図3】図１に示したＡＩモデル生成装置の一例を示す構成図

【図4】センサテーブルの一例を示す図

【図5】心理平面テーブルの一例を示す図

【図6】図３のＡＩモデル生成装置のコントローラが実行するＡＩモデル生成処理を示すフローチャート

【図7】図１のＡＩモデル生成方法で生成した（学習させた）ＡＩモデルを用いた感情推定方法の一例を示す説明図

【図8】図７の感情推定装置を備える車両制御システムの一例を示す構成図

【図9】図８の感情推定装置のコントローラが実行する感情推定処理を示すフローチャート

【図10】第２実施形態のＡＩモデル生成方法の一例を示す説明図

【図11】図１０に示したＡＩモデル生成装置の一例を示す構成図

【図12】図１１のＡＩモデル生成装置のコントローラが実行するＡＩモデル生成処理を示すフローチャート

【図13】図１０のＡＩモデル生成方法で生成した（学習させた）第１ＡＩモデル及び第２ＡＩモデルモデルを用いた感情推定方法の一例を示す説明図

【図14】図１３の感情推定装置を備える車両制御システムの一例を示す構成図

【図15】図１４の感情推定装置のコントローラが実行する感情推定処理を示すフローチャート

【発明を実施するための形態】

【0009】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

【0010】

＜１．第１実施形態＞
＜１－１．ＡＩモデル生成方法＞
図１は、第１実施形態のＡＩモデル生成方法の一例を示す説明図である。ここで説明するＡＩモデル生成方法は、図１に示すＡＩモデル１２１ｍにおけるＡＩの「学習プロセス」に相当する。

【0011】

本実施形態において、ユーザＵ１は、車両Ｖ１の運転者である。すなわち、当該生成方法で生成されるＡＩモデル１２１ｍは、運転者（ユーザＵ１）の感情の推定に用いられる。ＡＩモデル１２１ｍは、例えばＡＩモデル生成装置１０の記憶器（メモリ等）にＡＩモデルの記憶部が設けられ、学習前のＡＩモデルが記憶される。そして、ＡＩモデル生成装置１０が以下で説明する方法（生成処理）を実行することにより、学習前のＡＩモデルの学習が行われ、学習済ＡＩモデル、つまりＡＩ適用製品に実装されるＡＩモデルが生成されることになる。ＡＩモデル生成装置１０の詳細については後述する。

【0012】

なお、ＡＩモデル生成装置１０は、車両Ｖ１に搭載されるコンピュータ装置であっても良いし、車両Ｖ１とネットワークを介して接続されたサーバであっても良い。当該サーバは、物理サーバであっても、仮想サーバであっても良い。

【0013】

ＡＩモデル１２１ｍの学習に用いる学習データは、ＡＩモデル１２１ｍの用途によって適切な情報が決まる。例えば、特定の運転手に対するＡＩ適用装置の場合には該当の運転手における情報が適切な情報となり、いろいろな運転手に対するＡＩ適用装置の場合には多種多様な運転手における情報が適切な情報となる。また、運転手に対するＡＩ適用装置の場合には運転手における情報が適切な情報となり、車両各乗員に対するＡＩ適用装置の場合には各種乗員における情報が適切な情報となる。そして、学習データは、ＡＩモデル１２１ｍの推定精度を高くするために、多くの情報を必要とする。

【0014】

本実施形態においては、ＡＩ適用装置を運転者（特定の個人ではなく、一般の運転手に適用）の感情に基づき車両の制御を行う装置とし、ＡＩ学習（学習データ収集）のための実験走行試運転（いろいろなタイプの複数被験者による学習データ（一般の運転手に適用する装置向け）の生成）を想定して説明を行う。また、各運転手の車両運転中における各動作等は同様であるので、ある一人の運転手の車両運転中におけるＡＩ学習（学習データ収集）について説明する。なお、ＡＩ学習（学習データ収集）は、ＡＩ学習対象の全運転手による車両運転の情報に基づき学習することになる。

【0015】

また、例えば、ＡＩ適用装置が医療機関における診療装置の場合、ユーザＵ１（情報収集対象）は医療機関における患者や医師等になる。また、ＡＩ適用装置が教育機関における教育指導装置の場合、ユーザＵ１は生徒や教師等になる。また、ＡＩ適用装置がｅスポーツ関連装置、エンターテイメントのコンテンツ関連装置の場合、ユーザＵ１はｅスポーツのプレイヤーやコンテンツの視聴者等になる。

【0016】

ＡＩモデル１２１ｍの生成方法では、ユーザＵ１から、第１情報群Ｆ１と、第２情報群Ｆ２との２つの情報群を取得する。第１情報群Ｆ１は、ユーザＵ１の外観から判定される挙動を示す情報群である。第２情報群Ｆ２は、感情との間に相関関係がある生体信号で構成される情報群である。

【0017】

第１情報群Ｆ１の情報取得のために、車両Ｖ１には、複数の車載センサが設けられる。車載センサは、ユーザ（運転手）Ｕ１の外観から判定される挙動を示す情報をセンサ信号として検出する。なお、ここで外観とは、運転手Ｕ１の画像（撮影）情報だけでなく、遠隔観測可能な情報、言い換えれば非接触センサで検知可能な情報である。本実施形態において、車載センサは、カメラＣと、マイクＭとを含む。カメラＣは、運転手Ｕ１の視線や顔の向き、表情等を含む顔が映った画像情報を検出する。マイクＭは、運転手Ｕ１の声等の発音を含む音声情報を検出する。カメラＣ及びマイクＭは、例えば車両Ｖ１のフロントガラス、或いはダッシュボード付近に設けられ、運転者である運転手Ｕ１の方向を指向する。なお、車載センサは、取得したい運転手Ｕ１の挙動等に応じて他のセンサを追加、変更しても良い。

【0018】

これら第１情報群Ｆ１の情報を取得するセンサ類は遠隔観測系のセンサ（非接触センサ）であるので、車両（車室内装備品）、例えばインストルメントパネル、ステアリングホイール、ルームミラーや車室内壁面等への設置が可能である。ＡＩ適用装置においてもこれら情報の取得のためのセンサ類を、直接運転手（ユーザ）に装着する必要はない。

【0019】

なお、これらセンサの情報、例えばカメラＣと、マイクＭの画像、音声情報を加工した運転手Ｕ１の外観から判定される挙動を示す情報を、第１情報群Ｆ１の情報として扱っても良い。つまり、例えばカメラＣの撮影画像から解析して得られた顔の向きの情報を第１情報群Ｆ１の情報としても良い。

【0020】

第２情報群Ｆ２の情報取得のために、運転手Ｕ１は、生体センサを装着する。生体センサは、運転手Ｕ１の生体信号をセンサ信号として検出する。本実施形態において、生体センサは、第１センサＳ１１と、第２センサＳ１２とを含む。第１センサＳ１１は、例えばヘッドギア型の脳波センサである。第２センサＳ１２は、例えば胸ベルト型の心電式心拍センサである。なお、生体センサは、取得したい生体情報等に応じて他のセンサを追加、変更しても良い。他の生体センサとしては、例えば光学式心拍（脈拍）センサ、血圧計、またはＮＩＲＳ（Near Infrared Spectroscopy）装置等であっても良い。

【0021】

これら第２情報群Ｆ１の情報を取得する生体センサは一般的には接触センサである。生体センサとして非接触センサも特殊なものとして存在するが、高額なものであり、また設置条件が厳格なものが多く、ＡＩ適用装置への利用としては、非現実的であり、適したものであるとは言えない。

【0022】

続いて、図１を参照して、ＡＩモデル１２１ｍの生成方法（ＡＩの学習プロセス）の流れを説明する。

【0023】

カメラＣ及びマイクＭは、第１情報群Ｆ１として、ユーザＵ１の外観から判定される挙動を示す情報（例えば視線、顔の向き、表情を含む画像、音声）を検出し、当該情報をセンサ信号としてＡＩモデル生成装置１０に出力する。第１センサＳ１１及び第２センサＳ１２は、第２情報群Ｆ２として、ユーザＵ１の生体信号（例えば脳波、心拍）を検出し、センサ信号としてＡＩモデル生成装置１０に出力する。ＡＩモデル生成装置１０は、同じタイミングの第１情報群Ｆ１と、第２情報群Ｆ２とを対として扱う。

【0024】

ＡＩモデル生成装置１０の記憶器（メモリ等）には、生体信号に基づき感情を推定する感情推定モデルの記憶部が設けられ、そこに感情推定モデル１２２ｍが記憶される。感情推定モデル１２２ｍは、第２情報群Ｆ２の生体信号である第１センサＳ１１及び第２センサＳ１２が検出した脳波情報、心拍情報に基づいて感情を推定する。ここで、感情推定（感情推定モデル１２２ｍ）について説明する。

【0025】

感情推定モデル１２２ｍは、取得した生体信号に基づき、心身状態を示す指標（生理反応）の値である指標値を算出する。本実施形態において、感情推定モデル１２２ｍは、脳波及び心拍に関する２つの心身状態を示す指標の指標値を生成する。具体的には、脳波に関する心身状態を示す指標は、中枢神経系覚醒度（以下、単に覚醒度と称する）であり、その指標値は「脳波のβ波／α波」で与えることができる。また、心拍に関する心身状態を示す指標は、自律神経系の活性度（以下、単に活性度と称する）であり、その指標値は「心拍ＬＦ（Low Pass Filter）成分（心拍波形信号の低周波成分）の標準偏差」で与えることができる。

【0026】

感情推定モデル１２２ｍには、生体信号（脳波情報・心拍情報）に基づく心身状態の指標値の算出用のモデル（算出式や変換データテーブル）が含まれる。さらに、感情推定モデル１２２ｍには、複数の指標（覚醒度と活性度）から感情を推定する複数次元モデル（ここでは覚醒度と活性度を２軸とする２次元モデル）が含まれる。２次元モデルは、複数の指標と感情との関係（覚醒度・活性度と、感情との関係）を示す医学的エビデンス（論文等）に基づいて作成される。

【0027】

感情推定モデル１２２ｍは、算出した指標値（覚醒度と活性度）と、複数次元モデル（２次元モデル）とを用いて、感情を推定する。

【0028】

図２は、感情推定の複数次元（２次元）モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される心理平面は、縦軸が「覚醒度（覚醒－不覚醒）」であり、横軸が「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。

【0029】

この心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。第一象限には「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限には「憂鬱」の心理状態が割り当てられている。また、第三象限には「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限には「不安、恐怖、不愉快」の心理状態が割り当てられている。

【0030】

そして、生体信号に基づいて得られる２種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、象限内のどの位置にあるか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。なお、図２に示す感情推定モデルは、２次元の平面であるが、使用する指標数に応じて３次元以上の多次元空間となる。

【0031】

図１に戻って、説明を続ける。ＡＩモデル生成装置１０は、ＡＩモデル１２１ｍに、第１情報群Ｆ１のデータを入力値とし、第２情報群Ｆ２の生体信号に基づいて感情推定モデル１２２ｍが推定した感情を正解値として、それぞれ入力する。つまり、ＡＩモデル生成装置１０は、ＡＩモデル１２１ｍに対して例題である第１情報群Ｆ１のデータと、その正解である感情推定モデル１２２ｍが推定した感情データとからなる教師付きデータセットを用いて、ＡＩモデル１２１ｍの学習を行う。このような学習により、第１情報群Ｆ１を入力値とし、感情を正解（推定）値として出力するＡＩモデル１２１ｍが生成される。

【0032】

上記の方法によれば、生成されたＡＩモデル１２１ｍは、ユーザＵ１の外観から判定される第１情報群Ｆ１のデータを入力することで、感情を正解値として出力する。すなわち、学習済みのＡＩモデル１２１ｍを用いることで、ユーザに生体信号等の検知センサを装着させることなく、ユーザに装着の必要の無い遠隔系のセンサ（非接触センサ）を用いて、ユーザの感情を推定することが可能になる。

【0033】

また、上記の方法では、生体信号に対応する感情を、感情推定モデル１２２ｍに基づいて推定する。生体信号と感情とは、医学的エビデンスに基づいてそれらの相関性が比較的高いことが証明されている。このため、この方法によれば、ＡＩモデル１２１ｍの学習用のデータセットを良質なもの、つまり正解精度の高い教師付きデータセットとすることができる。したがって、ＡＩモデル生成装置１０は、ＡＩモデル１２１ｍを良質なデータセットで学習させることができ、効率よく、精度の高いＡＩモデル１２１ｍを生成できる。

【0034】

また、第１情報群Ｆ１のデータが、ユーザＵ１の視線と、顔の向きとに係る情報を含むことで、ユーザＵ１の顔画像による感情の推定が可能となり、車室内撮影の車載カメラをセンサとして利用できる。車室内撮影の車載カメラはドライブレコーダ等のカメラを兼用することができ、ＡＩモデル生成装置１０及びＡＩモデル適用製品の低コストでの実現が可能となる。

【0035】

また、第２情報群Ｆ２のデータが、ユーザＵ１の脳波の生体信号と、心拍の生体信号とを含むことで、感情推定モデルとして図２に示される覚醒度と活性度とを軸とする心理平面を用いることができる。覚醒度と活性度とを軸とする心理平面は感情推定モデルとして比較的精度が高いものとして広く利用されており、生体信号に基づいて高精度に感情を推定することが可能である。したがって、感情推定モデル１２２ｍはＡＩモデル１２１ｍの学習用のデータセットとして正解精度の高い教師付きデータセットを生成することに寄与し、その結果、ＡＩモデル生成装置１０は効率よく、精度の高いＡＩモデル１２１ｍを生成できる。

【0036】

＜１－２．ＡＩモデル生成装置＞
図３は、図１に示したＡＩモデル生成装置１０の一例を示す構成図である。図３では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。

【0037】

図３に示すように、ＡＩモデル生成装置１０は、通信部１１と、記憶部１２と、コントローラ１３と、を備える。ＡＩモデル生成装置１０は、いわゆるコンピュータ装置で構成できる。なお、図示は省略するが、ＡＩモデル生成装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える。

【0038】

通信部１１は、通信ネットワークを介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）である。

【0039】

記憶部１２は、揮発性メモリ及び不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）で構成される。不揮発性メモリには、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブで構成される。不揮発性メモリには、コントローラ１３により読み取り可能なプログラム及びデータが格納される。不揮発性メモリに格納されるプログラム及びデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置（サーバ装置）、または可搬型記録媒体から取得される構成としても良い。

【0040】

記憶部１２には、上記ＡＩモデル生成方法によって生成されたＡＩモデル１２１ｍを記憶するＡＩモデル記憶部１２１が設けられる。さらに、記憶部１２は、感情推定モデル記憶部１２２と、各種処理用の複数のデータテーブルとが設けられる。データテーブルとしては、センサテーブル１２３と、心理平面テーブル１２４とが設けられる。図４は、センサテーブル１２３の一例を示す図である。図５は、心理平面テーブル１２４の一例を示す図である。

【0041】

図４に示すように、センサテーブル１２３の項目には、「センサＩＤ」、「センサ種別」、「生体信号種別」、「対応指標ＩＤ」、「対応指標種別」、及び「指標変換情報」が含まれる。テーブルの項目は、データ記憶セル（記憶枠）に対応する。

【0042】

センサテーブル１２３の項目「センサＩＤ」は、センサテーブル１２３におけるデータレコードを識別するための識別情報であるセンサＩＤデータを記憶する。センサＩＤデータは、センサテーブル１２３におけるデータレコードの主キーでもある。つまりセンサテーブル１２３では、センサＩＤデータごとにデータレコードが構成され、当該データレコードにセンサＩＤデータに紐づいた各項目のデータが記憶されることになる。

【0043】

センサテーブル１２３の項目「センサ種別」は、センサ種別を特定するための情報を記憶する。本例では、センサ名称（型番等のデータでも可）が記憶される。

【0044】

センサテーブル１２３の項目「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定（算出）できると認識されている。

【0045】

センサテーブル１２３の項目「対応指標ＩＤ」は、生体信号を検出するセンサの信号に基づき生成（算出）される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル１２３の項目「対応指標種別」は、指標の種別（名称等）を記憶する。

【0046】

センサテーブル１２３の項目「指標変換情報」は、生体信号を検出するセンサから得られる信号に基づき指標値を算出するための変換情報（演算式や変換データテーブル等）を記憶する。つまり、センサＩＤデータに対応するセンサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標ＩＤで識別される心身状態指標の指標値が推定（算出）されることになる。

【0047】

たとえば、図４で示すセンサテーブル１２３におけるセンサＩＤ「ＳＮ０１」のデータレコードは、次のような情報を有する。「脳波センサＢＡ」の出力信号により「脳波のβ波／α波」が計測される。そして、この「脳波のβ波／α波」を「ＦＸ０１」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。

【0048】

図５に示すように、心理平面テーブル１２４は、指標種別（具体的には指標ＩＤデータを使用）を縦軸及び横軸のパラメータとする２次元マトリックステーブルである。心理平面テーブル１２４においては、２種類の指標種別で定まる記憶セル（記憶枠）に、当該２種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別ＶＳｍと指標種別ＶＳｎであれば、感情の推定に用いる心理平面は心理平面ｍｎとなる。心理平面ｍｎを用いた処理を行うための情報が読み出され、感情の推定処理に使用されることになる。

【0049】

なお、センサテーブル１２３と心理平面テーブル１２４とにおいては、共通の指標ＩＤが用いられる。すなわち、センサテーブル１２３と心理平面テーブル１２４とに基づいて、ユーザＵ１に装着された２種類のセンサに対応する心理平面ｍｎを決定することができる。例えば、ユーザＵ１に装着されたセンサ種別が「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」と「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」であるとする。この場合、「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」および「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」に対応する指標ＩＤデータがセンサテーブル１２３に基づき決定される。そして、心理平面テーブル１２４に基づき、「覚醒度」（ＶＳ０１）と「活性度」（ＶＳ０２）を指標とする心理平面０１－０２が、感情の推定に用いる心理平面として決定されることになる。

【0050】

図３に戻って、説明を続ける。コントローラ１３は、ＡＩモデル生成装置１０の各種機能を実現するもので、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成される。コントローラ１３は、１つのプロセッサで構成されても良いし、複数のプロセッサで構成されても良い。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続され、協働して処理を実行する。なお、ＡＩモデル生成装置１０をクラウドサーバで構成することも可能であり、その場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであって良い。

【0051】

コントローラ１３は、その機能として、取得部１３１と、挙動判定部１３２と、感情推定部１３３と、生成部１３４と、提供部１３５と、を備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0052】

取得部１３１は、通信部１１を介して、カメラＣ、マイクＭ、第１センサＳ１１である脳波センサ、及び第２センサＳ１２である心拍センサによって検出された各種情報（画像情報、音声情報、脳波情報、心拍情報）を取得する。取得部１３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部１２に形成されたデータテーブルに記憶する。なお、取得部１３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらデータは当該時刻における心身状態、挙動状態、感情を推定するために使用される。

【0053】

挙動判定部１３２は、取得部１３１が取得した、ユーザＵ１の顔を含む画像情報に対して解析処理を行うことで、ユーザＵ１の視線や顔の向き、表情、音声等の予め定めれた種類の挙動を判定する。これら挙動種別は、脳波情報または心拍情報と相関性のある種類の挙動で、つまりは感情と相関性のある種別の挙動で、ここでは視線、顔の向き、表情、音声を適用している。

【0054】

ユーザＵ１の視線に関して、挙動判定部１３２は、ユーザＵ１の顔を含む画像からユーザＵ１の左右の眼球を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３２は、当該認識処理の結果に基づき、例えば目頭の位置、眼の虹彩及び瞳孔の中心位置、近赤外照明による角膜反射像（プルキニエ像）の中心位置、眼球の中心位置等を用いた所定の視線検出処理によりユーザＵ１の視線及び注視点の挙動を判定する。ユーザＵ１の視線は、例えばユーザＵ１の前方にユーザＵ１と正対する仮想平面に設け、ユーザＵ１の視線ベクトルが仮想平面を貫く位置の二次元座標で表すことができる。

【0055】

ユーザＵ１の顔の向きに関して、挙動判定部１３２は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３２は、当該認識処理の結果に基づき、例えば目、鼻、口等のそれぞれの位置、鼻頂部の位置、顔の輪郭、顔の輪郭の幅方向の中心位置等を用いた所定の顔向き検出処理によりユーザＵ１の顔の向きの挙動を判定する。

【0056】

ユーザＵ１の表情に関して、挙動判定部１３２は、ユーザＵ１の顔を含む画像からユーザＵ１の顔を検知対象物とした特徴量算出、形状判別等の認識処理を行う。挙動判定部１３２は、当該認識処理の結果に基づき、例えば口角の角度、眉の角度、目の開き具合等を用いた所定の表情検出処理によりユーザＵ１の表情の挙動を判定する。

【0057】

挙動判定部１３２は、取得部１３１が取得した、ユーザＵ１の声等の発音を含む音声情報に対して解析処理を行うことで、ユーザＵ１の特徴的な音声を判定する。挙動判定部１３２は、当該解析処理によって、例えば、ユーザＵ１の、音声音量や発声速度、発言頻度、音声認識結果に基づく発声内容の言語解析結果（例えば喜びや怒り、不安等に関係する単語や文章の出現）に基づき、ユーザＵ１の音声の挙動を判定する。

【0058】

感情推定部１３３は、図１に示した感情推定モデル１２２ｍに該当し、生体信号に基づいて感情を推定する。具体的には、感情推定部１３３は、取得部１３１が取得した情報に基づいて感情の推定に用いる感情推定モデルを選択する。具体的には、感情推定部１３３は、取得した情報とセンサテーブル１２３とを照合して、取得した情報に含まれるセンサ種別及び生体信号種別に対応する「対応指標種別」のデータ（指標種別データ）を抽出する。そして、感情推定部１３３は、抽出した指標種別データの「指標ＩＤ」と心理平面テーブル１２４とを照合して、感情の推定に用いる感情推定モデル（心理平面）を選択する。例えば、センサＩＤが「ＳＮ０１」（センサ種別：脳波センサＢＡ）と「ＳＮ０２」（センサ種別：心拍センサＨＡ）の場合、対応する指標ＩＤは、「ＶＳ０１」（指標種別：覚醒度）と「ＶＳ０２」（指標種別：活性度）となる（図４Ａ参照）。これらに基づき、感情推定部１３３は、使用する感情推定モデルとして心理平面０１－０２を選択する。

【0059】

なお、感情推定部１３３による感情推定は、生体信号（接触センサによる検出信号）による感情推定であるので、図４のセンサテーブル１２３には生体信号センサ（接触センサ）のデータが記憶され、また図５の心理平面テーブル１２４はセンサテーブル１２３に記憶された生体信号から算出される指標種別を縦軸・横軸とする心理平面データが記憶される。

【0060】

また、ＡＩモデル１２１ｍの学習データセットを生成するために使用する生体信号センサが決まっている場合（固定されている）場合は、図４のセンサテーブル１２３と図５の心理平面テーブル１２４は不要で、当該生体信号センサに関する処理に必要なデータと、当該生体信号センサから算出される指標を軸とする心理平面データが記憶部１２に記憶されていれば良く、上記センサテーブル１２３からのデータ選択処理、また心理平面テーブル１２４からの心理平面データ選択処理は不要となる。

【0061】

感情推定部１３３は、心理平面（感情推定モデル）を選択すると、当該心理平面を用いて感情の推定処理を実行する。具体的には、感情推定部１３３は、取得部１３１によって取得された生体信号に基づく情報をセンサテーブル１２３における指標変換情報を用いて指標値に変換する。本実施形態では、第１センサＳ１１（センサ種別：脳波センサＢＡ）と第２センサＳ１２（センサ種別：心拍センサＨＡ）とから得られる情報を用いて、覚醒度の指標値と、活性度の指標値とが求められる。

【0062】

感情推定部１３３は、心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情の推定を行う。本実施形態では、覚醒度を縦軸とし、活性度を横軸とした心理平面（図２参照）上に、覚醒度の指標値と活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情の推定を行う。

【0063】

生成部１３４は、ＡＩモデル１２１ｍに、第１情報群Ｆ１の各データを入力値とし、第２情報群Ｆ２の生体信号に基づいて推定された感情を正解値としてそれぞれ入力する。これらの入力は、各々同時刻に検出された各センサの検出信号に基づいている。詳細に言えば、生成部１３４は、ＡＩモデル１２１ｍに、挙動判定部１３２によって判定された、ユーザＵ１の視線や顔の向き、表情、音声等に係る情報を入力値とし、感情推定部１３３によって、ユーザＵ１の生体信号に基づいて推定された感情を正解値としてそれぞれ入力する。

【0064】

なお、第１情報群Ｆ１の各データ、第２情報群Ｆ２の生体信号、また生体信号に基づいて推定された感情の正解値等の各データについては、同時間帯（適当な時間長）のこれらデータを統計処理（各種平均処理、ローパスフィルタ処理）したデータを用いるのが、ノイズ対策の面等から実用的である。

【0065】

つまり、生成部１３４は、遠隔系センサ（非接触センサ）の検出した情報に基づき挙動判定部１３２が判定したユーザＵ１の挙動情報を入力とし、接触せンサの検出した生体信号に基づき感情推定部１３３が推定した感情を正解データとした学習用の教師付きデータセットを生成する。そして、生成部１３４は、生成した教師付きデータセットをＡＩモデル１２１ｍに提供し、ＡＩモデル１２１ｍに学習をさせる。

【0066】

提供部１３５は、生成部１３４によって生成されたＡＩモデル１２１ｍを、ネットワークを介して後述する車両Ｖ２で用いられる感情推定装置２０（図７及び図８参照）に提供する。これにより、感情推定装置２０は、提供部１３５によって提供されたＡＩモデル１２１ｍ（のデータ）を取り込んで感情推定機能を動作可能とし、車両Ｖ２の各種機能において推定した感情情報を利用することができる。

【0067】

なお、提供部１３５は、生成部１３４によって生成されたＡＩモデル１２１ｍ（のデータ）を、ネットワークを介して感情推定装置２０に提供するようにしたが、ＡＩプラットホームを形成するＬＳＩにＡＩモデル１２１ｍのデータを書き込んでＡＩ実行ＬＳＩを生成し、当該ＡＩ実行ＬＳＩを感情推定装置２０に組み込む等の方法でＡＩモデル１２１ｍ（のデータ）を提供することも可能である。

【0068】

＜１－３．ＡＩモデル生成装置の動作例 ＞
図６は、図３のＡＩモデル生成装置１０のコントローラ１３が実行するＡＩモデル生成処理を示すフローチャートである。このフローチャートは、コンピュータ装置にＡＩモデル生成処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0069】

図６に示す処理は、感情推定装置２０（車両制御システム）の設計者等が感情推定ＡＩモデルの生成処理を実行する際、例えばキーボード等の操作部により生成処理開始操作が行われた際に実行される。なお、車両運転時のデータを収集するのであれば、車両走行状態で処理が実行される。

【0070】

ステップＳ１０１において、コントローラ１３は処理の初期設定を行う。具体的には、なお、データを収集する期間（データ量）を設定する。この期間（データ量）はＡＩモデルの学習に必要な量のデータセットを作成できる期間（データ量）で、説明上では予め定めた適当な一定間隔でデータを収集するとして、収集データ数Ｎを収集するデータ数とする。このデータ数Ｎの値は、設計者等が適当な値をキーボード等を操作して設定することになる。また、処理対象データレコード番号をｎとする。なお、ステップＳ１０１において、データレコード番号ｎは１に初期設定される。

【0071】

また、ステップＳ１０１では、各センサの種別は設計等の対象とする感情推定装置に応じて設計者等により設定され、それに応じて感情推定用の心身状態指標、心理平面データ等が設定されることになる。なお、例示として、第１情報群Ｆ１のデータとしてカメラ画像、マイク音声が、第２情報群Ｆ２のデータとして脳波、心拍が設定されたとして説明を行う。

【0072】

ステップＳ１０２において、コントローラ１３（取得部１３１）は、第１情報群Ｆ１（カメラ画像、マイク音声）及び第２情報群Ｆ２（脳波、心拍）の各センサからデータを収集し、記憶部１２に収集データのデータレコードｎを生成して、各センサのデータを当該データレコードｎに記憶し、データレコード番号ｎに１加算して、ステップＳ１０３に移る。

【0073】

ステップＳ１０３において、コントローラ１３（取得部１３１）は、データレコード番号ｎが収集データ数Ｎ＋１に達したかどうか、つまり収取データ数が必要な数に達したか判断し、達していればステップＳ１０４に移り、達していなければステップＳ１０２に戻る。

【0074】

ステップＳ１０４において、コントローラ１３（取得部１３１）は、データレコード番号ｎを１に初期化して、ステップＳ１０５に移る。

【0075】

ステップＳ１０５において、コントローラ１３（感情推定部１３３）は、データレコード番号ｎのデータレコードの第２情報群Ｆ２の生体信号（脳波、心拍）に基づいて感情を推定し、ステップＳ１０６に移る。具体的に言えば、感情推定部１３３は、取得部１３１が取得した第２情報群Ｆ２の生体信号（脳波、心拍）に基づいて感情の推定に用いる心理平面（感情推定モデル）を選択し、当該心理平面に生体信号に基づく心身状態の指標を適用して感情を推定する。

【0076】

ステップＳ１０６において、コントローラ１３（挙動判定部１３２）は、データレコード番号ｎのデータレコードの第１情報群Ｆ１のデータ（カメラ画像、マイク音声）に基づき挙動を判定し、ステップＳ１０７に移る。

【0077】

ステップＳ１０７において、コントローラ１３（生成部１３４）は、データレコード番号ｎのデータレコードに基づく感情推定結果を正解値とする、また挙動判定結果を入力値とする学習データを、ＡＩモデル１２１ｍに入力し、またデータレコード番号ｎに１加算して、ステップＳ１０８に移る。

【0078】

より具体的に言えば、生成部１３４は、ＡＩモデル１２１ｍに、挙動判定部１３２によって判定された、ユーザＵ１の視線や顔の向き、表情、音声等に係る情報を入力値とし、感情推定部１３３によって、ユーザＵ１の生体信号に基づいて感情推定モデルを用いて推定された感情を正解値とする学習データを入力する。そして、生成部１３４は、ＡＩモデル１２１ｍに関し、第１情報群Ｆ１と、第２情報群Ｆ２の生体信号に基づいて推定した感情とを結び付ける学習を行う。

【0079】

ステップＳ１０８において、コントローラ１３（生成部１３４）は、データレコード番号ｎが収集データ数Ｎ＋１に達したか否か、つまりＡＩモデル１２１ｍが収集データ全てについて学習を終了したか否かを判断し、終了していれば処理を終了し、終了していなければステップＳ１０５に戻る。

【0080】

この後、学習を終了したＡＩモデル１２１ｍ（或いは学習済みＡＩモデル１２１ｍを生成するためのデータ）は、ＡＩモデル生成装置１０を操作するオペレータの指示等に基づき、車両Ｖ２で用いられる感情推定装置２０に提供される。

【0081】

なお、上記ＡＩモデル生成装置１０では、挙動判定部１３２が判定した挙動判定結果でＡＩモデル１２１ｍを学習するようにしたが、この場合は感情推定装置２０に搭載したＡＩモデル１２１ｍに挙動判定結果で用いた種別の挙動判定結果を入力する必要がある。このため、感情推定装置２０には、挙動判定部１３２と同等の挙動判定結果を出力する構成、例えばＡＩモデル生成装置１０に接続された各種センサと同種のセンサと、挙動判定部１３２と同等の挙動判定部を設ける必要がある。そして、挙動判定部１３２は、省略すること、或いはセンサ入力の整合化（規格化、誤差調整）するだけのものとすることもできる。その場合、感情推定装置２０は、挙動判定部１３２を省略、或いはセンサ入力の整合化機能だけのものとすることとなる。

【0082】

また、上記ＡＩモデル生成装置１０では、学習データセットを完成させてから、つまり収集データ数Ｎの学習データセットを生成してから、ＡＩモデル１２１ｍに学習データセットを入力してＡＩモデル１２１ｍの学習を行なったが、対応する感情推定結果と挙動判定結果とを１組毎に、つまりこれらデータを生成する度毎にＡＩモデル１２１ｍに入力して学習させる方法でも良い。

【0083】

また、上記ＡＩモデル生成装置１０では、１データレコード単位で学習データを生成しＡＩモデルに入力しているが、複数データレコードの各データを統計処理したデータを用いて学習データを生成しＡＩモデルに入力するようにすることも可能である。

【0084】

＜１－４．感情推定方法＞
図７は、図１のＡＩモデル生成方法で生成した（学習させた）ＡＩモデル１２１ｍを用いた感情推定方法の一例を示す説明図である。また、この説明において、先に説明したＡＩモデル生成方法と同様の構成要素については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0085】

ユーザＵ２は、車両Ｖ２の運転者である。当該推定方法で用いられるＡＩモデル１２１ｍは、運転者（ユーザＵ２）の感情の推定に用いられる。ＡＩモデル１２１ｍは、ＡＩモデル生成装置１０により学習が行われて、学習済みモデルとして提供され、感情推定装置２０に搭載される（記憶される）。感情推定装置２０の詳細については後述する。

【0086】

なお、感情推定装置２０は、車両Ｖ２に搭載されるコンピュータ装置で実現でき、また車両Ｖ２とネットワークを介して接続されたサーバでも実現できる。また、当該サーバは、物理サーバであっても、仮想サーバであっても良い。

【0087】

このＡＩモデル１２１ｍを用いた感情推定方法では、ユーザＵ２から、図１のＡＩモデル生成方法と同じ第１情報群Ｆ１のデータを取得する。なお、この感情推定方法では、図１のＡＩモデル生成方法で使用した第２情報群Ｆ２のデータは使用しない。

【0088】

第１情報群Ｆ１の情報取得のために、車両Ｖ２には、複数の車載センサが設けられる。車載センサは、ユーザ（運転手）Ｕ２の外観から判定される挙動を示す情報をセンサ信号として検出する。なお、これら車載センサは、ＡＩモデル生成方法で使用された同じ挙動を検出するセンサ、好ましくは同じ種類、さらには同じ機種のセンサが好ましい。本実施形態において、車載センサは、カメラＣと、マイクＭとを含む。

【0089】

感情推定装置２０は、これらセンサから第１情報群Ｆ１のデータを取得し、ＡＩモデル１２１ｍに第１情報群Ｆ１のデータを入力する。

【0090】

感情推定装置２０のＡＩモデル１２１ｍは、ＡＩモデル生成装置１０にて第１情報群Ｆ１のデータに基づき感情を推定するように学習されたＡＩモデルである。したがって、感情推定装置２０において、ＡＩモデル生成装置１０での学習時と同じ種別のデータが入力された場合、つまりカメラ撮影画像やマイク収集音声に基づく視線、顔向き、音声という挙動データが入力された場合、ＡＩモデル１２１ｍはＡＩモデル生成装置１０での学習成果（学習した推定プロセス）に基づき感情を推定して出力することになる。

【0091】

なお、ＡＩモデル生成装置１０におけるＡＩモデル１２１ｍの学習において、入力として第１情報群Ｆ１のデータを挙動判定部１３２で加工した挙動データを用いているので、感情推定装置２０のＡＩモデル１２１ｍへの入力も第１情報群Ｆ１のデータを挙動判定部１３２における処理と同様の処理を施した挙動データとする必要がある。また、ＡＩモデル生成装置１０におけるＡＩモデル１２１ｍの学習において、入力として第１情報群Ｆ１のデータをそのまま用いた場合は、感情推定装置２０のＡＩモデル１２１ｍへの入力も第１情報群Ｆ１のデータをそのまま用いることとなる。

【0092】

＜１－５．車両制御システム＞
図８は、図７の感情推定装置２０を備える車両制御システム４０の一例を示す構成図である。図８では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。また、この説明において、先に説明したＡＩモデル生成装置１０と同様の構成要素については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0093】

図８に示すように、車両制御システム４０は、感情推定装置２０と、車両制御装置３０と、アクチュエータ部４１と、報知部４２と、を備える。なお、図示は省略するが、車両制御システム４０は、キーボード、タッチパネル等の入力装置や、ディスプレイ等の出力装置を備える。

【0094】

＜１－５－１．感情推定装置＞
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、車両Ｖ２に搭載されるコンピュータ装置で構成されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。

【0095】

記憶部２２は、記憶部１２と同様に各種メモリにより構成され、コントローラ２３が処理で使用するデータ等、例えばプログラム、処理用係数データ、処理中の一時記憶データ等を記憶する。そして、記憶部２２には、ＡＩモデル生成装置１０によって生成され、ＡＩモデル生成装置１０から提供されたＡＩモデル１２１ｍ（学習済み）を記憶するＡＩモデル記憶部２２１が設けられる。さらに、記憶部２２には、各種処理用のデータテーブル等が設けられ、プログラムや処理に必要な各種データが記憶されるようになっている。

【0096】

なお、ＡＩモデル１２１ｍは、例えば、次のようにしてＡＩモデル記憶部２２１に記憶される。

【0097】

車両制御システムの製作者等が、システムの組み立て時等に、学習済みＡＩモデル１２１ｍが書き込まれたメモリをＡＩモデル記憶部２２１として搭載する。車両制御システムの製作者等が、学習済みＡＩモデル１２１ｍが記憶された外部記憶装置を車両制御システム（感情推定装置２０）に接続し、当該ＡＩモデル１２１ｍを読み込んでＡＩモデル記憶部２２１に書き込む。車両制御システムの製作者等が、ネットワークを介してＡＩモデル生成装置１０から学習済みＡＩモデル１２１ｍを受信し、ＡＩモデル記憶部２２１に書き込む。

【0098】

コントローラ２３は、感情推定装置２０の各種機能を実現するもので、コントローラ１３と同様、演算処理等を行うプロセッサを含み、例えばＣＰＵで構成される。コントローラ２３は、その機能として、取得部２３１と、挙動判定部２３２と、感情推定部２３３と、提供部２３４と、を備える。本実施形態においては、コントローラ２３の機能は、記憶部２２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0099】

取得部２３１は、通信部２１を介して、カメラＣ、及びマイクＭによって検出された各種情報（画像情報、音声情報）を取得する。取得部２３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部２２に形成されたデータテーブルに記憶する。なお、取得部２３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらデータは当該時刻における挙動状態、感情を推定するために使用される。

【0100】

挙動判定部２３２は、取得部２３１が取得した、ユーザＵ２の顔を含む画像情報に対して解析処理を行うことで、ユーザＵ２の視線や顔の向き、表情、音声等の予め定めれた種類の挙動を判定する。予め定めれた種類の挙動は、ＡＩモデル生成装置１０の挙動判定部１３２が判定した種類の挙動で、具体的には、視線、顔向き、音声（内容）となる。

【0101】

感情推定部２３３は、ＡＩモデル１２１ｍに第１情報群Ｆ１のデータ、つまり挙動判定部２３２の判定した挙動のデータを入力値として入力し、その結果、ＡＩモデル１２１ｍが出力する正解値を推定感情として取得する。詳細に言えば、感情推定部２３３は、ＡＩモデル１２１ｍに挙動判定部２３２によって判定されたユーザＵ２の視線や顔の向き、表情、音声等の挙動情報を入力し、当該挙動情報に基づきＡＩモデル１２１ｍが推定したユーザＵ２の感情を取得する。

【0102】

なお、適当な期間長における複数の第１情報群Ｆ１のデータを統計処理（平均処理、ローパスフィルタ処理等）し、感情推定部２３３が当該統計処理されたデータを用いて感情を推定するようにしても良い。この場合、統計処理は、取得部２３１、挙動判定部２３２あるいは感情推定部２３３で行うことができる。

【0103】

提供部２３４は、感情推定部２３３によってＡＩモデル１２１ｍを用いて推定されたユーザＵ２の感情を、車両制御装置３０に提供する。これにより、車両制御装置３０において、ユーザＵ２の感情に基づく車両Ｖ２の制御が行えるようになる。

【0104】

上記の構成によれば、感情推定装置２０は、ユーザＵ２の外観情報から感情を推定する学習済みのＡＩモデル１２１ｍによりユーザＵ２の感情を推定する。つまり、遠隔系センサ（非接触センサ）により検出可能なユーザＵ２の外観情報から感情を推定する。また、ＡＩモデル１２１ｍは、感情推定の精度が比較的高い接触センサによる生体信号に基づくユーザＵ１の推定感情と、対となるユーザＵ１の外観情報とからなる学習データのデータセットにより学習される。その結果、当該学習済みのＡＩモデル１２１ｍは、ユーザＵ２の外観情報に基づきユーザＵ２の感情を比較的高精度で推定することが可能となる。したがって、ユーザＵ２に生体信号を検出する接触系の検知センサを装着させることなく、ユーザＵ２の感情を高精度で推定できる。

【0105】

＜１－５－２．感情推定装置の動作例＞
図９は、図８の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0106】

図９に示す処理は、車両Ｖ２が始動し、推定感情に基づく各種制御を開始するタイミングで起動し、その後各種制御に対して適当なタイミング（推定感情を用いた制御を行うタイミング等）で繰り返し実行される。

【0107】

ステップＳ１１１において、コントローラ２３（取得部２３１）は、ユーザＵ２の外観から判定される挙動を示す第１情報群Ｆ１のデータ、具体的にはカメラ画像、マイク音声を取得し、ステップＳ１１２に移る。取得した各種情報は、必要に応じて記憶部１２のデータテーブルに記憶される。

【0108】

ステップＳ１１２において、コントローラ２３（挙動判定部２３２）は、第１情報群Ｆ１のデータ（カメラ画像、マイク音声）に基づき挙動、具体的には視線、顔向き、音声（内容）を判定し、ステップＳ１１３に移る。

【0109】

ステップＳ１１３において、コントローラ２３（感情推定部２３３）は、ＡＩモデル１２１ｍに挙動判定部２３２による挙動判定結果を入力値として入力し、ＡＩモデル１２１ｍに正解値としてユーザＵ２の推定感情を出力させ、ステップＳ１１４に移る。

【0110】

ステップＳ１１４において、コントローラ２３（提供部２３４）は、車両制御装置３０に感情推定部２３３が推定したユーザＵ２の推定感情を提供し、処理を終了する。

【0111】

なお、１回毎の推定された感情は、センサ出力のノイズ等による悪影響（誤判定）があると推定されるので、予め定めた所定期間の平均・最頻値を採用する等、統計的処理を施した推定感情を採用するのが好ましい。このため、コントローラ２３（提供部２３４）は、推定感情にタイムスタンプを付加して蓄積し、統計的処理を施した推定感情を車両制御装置３０に提供する（ステップＳ１１４）のが好ましい。なお、車両制御装置３０が推定感情情報に統計的処理を施し、その結果を制御に用いる方法も適用可能である。

【0112】

＜１－５－３．車両制御装置、及び他の構成要素＞
図８に戻って、車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。

【0113】

コントローラ３１は、車両Ｖ２の運転者であるユーザＵ２による運転操作や、接続された各種センサ（不図示）、例えば車速センサ、空燃比センサ、操舵角センサ等からの情報に基づき各種車両制御、例えば車両Ｖ２の向きや速度等の制御を行う。さらに、コントローラ３１は、通信部３３を介し、感情推定装置２０からユーザＵ２の感情に係る情報（推定感情）を受信する。そして、コントローラ３１は、受信した推定感情情報も利用した車両制御、例えば速度、アクセル感度、ブレーキ感度等の制御を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、アクセル感度を低くする（加速し難くする）、ブレーキ感度を高くする（停止し易くする）、最高速度制御の上限を低くする、という制御を行う。

【0114】

また、推定感情情報自体の報知や、当該推定感情情報に応じた報知を行う。具体的には、コントローラ３１は、運転者が興奮した状態では、「落ち着きましょう」と言う表示や音声案内を行い、各種音声案内における音声の質を落ち着いた話し方・表現とする制御を行う。

【0115】

記憶部３２は、記憶部１２と同様に各種メモリにより構成され、コントローラ３１が処理で使用するデータ等、例えばプログラム、処理用係数データ、処理中の一時記憶データ等を記憶する。そして、記憶部３２には、感情推定装置２０から受信した感情に係る情報と、車両Ｖ２の制御信号及び車室内のユーザＵ２へ報知情報との対応付けがなされた各種処理用の複数のデータテーブルが設けられる。

【0116】

通信部１１は、感情推定装置２０、アクチュエータ部４１、及び報知部４２との間でデータの通信を行うためのインタフェースである。

【0117】

アクチュエータ部４１は、車両の各種動作を実現するモータ等で構成された各種駆動部品で、車両制御装置３０によってその動作が駆動制御される。具体的に言えば、例えば、アクチュエータ部４１は、車両Ｖ２において駆動力を発生させるエンジン及びモータと、車両Ｖ２のステアリングを駆動させるステアリングアクチュエータと、車両Ｖ２のブレーキを駆動させるブレーキアクチュエータである。

【0118】

報知部４２は、車両制御装置３０から報知情報を、視覚的、聴覚的方法等により車室内のユーザＵ２に報知する。具体的に言えば、例えば、報知部４２は、ユーザＵ２に、文字、画像、映像等によって報知情報を伝える液晶ディスプレイや音声、警告音等によって報知情報を伝えるスピーカ等で構成される。

【0119】

車両制御装置３０は、各種センサからの情報、及びユーザＵ２の感情に基づいて車両Ｖ２の制御信号を生成して出力する。具体的に言えば、例えばユーザＵ２が感情を高揚させている場合や、恐怖を感じている場合に、車両制御装置３０は、表示部やスピーカを介して「気持ちを落ち着かせましょう」といったことを表示、音声によって伝える。また、車両制御装置３０は、例えば、車速センサや障害物センサ（レーダ等）等からの情報に基づき車両Ｖ２の速度制御を行うが、ユーザＵ２が感情を高揚させている場合には通常の感情に比べで速度を遅くした速度制御を行う。

【0120】

すなわち、車両制御システム４０は、車両Ｖ２の運転者であるユーザＵ２の感情を推定し、推定した当該感情も考慮した車両Ｖ２の動作、例えば走行制御を行う。この構成によれば、ユーザＵ２の感情に応じた車両Ｖ２の制御を行うことができる。さらに、本実施形態によれば、安全運転に影響のある運転者の感情に応じた車両Ｖ２の制御が可能となるので、安全運転に寄与することが可能である。

【0121】

＜２．第２実施形態＞
＜２－１．ＡＩモデル生成方法＞
図１０は、第２実施形態のＡＩモデル生成方法の一例を示す説明図である。なお、第２実施形態における先に説明した第１実施形態と共通する構成要素には同じ符号または同じ名称を付してその説明を省略する場合がある。ここで説明するＡＩモデル生成方法は、図１０に示す第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢにおけるＡＩの「学習プロセス」に相当する。

【0122】

本実施形態においては、感情推定の複数次元（２次元）モデルに入力する指標値を求めるための生体信号（通常は接触センサを用いて測定）を、ユーザＵ１の外観から判定される挙動により推定するＡＩモデル１２１ｍ（学習済み）を、生体信号別に生成する。

【0123】

ＡＩモデル生成装置１０は、第１ＡＩモデル１２１ｍＡに、第１情報群Ｆ１（ユーザＵ１の外観から判定される挙動を示す情報）のデータ（視線、顔向き、音声）を入力値とし、第２情報群Ｆ２（接触センサを用いて測定される生体情報）の第１生体信号（脳波）を正解値として、それぞれ入力する。つまり、ＡＩモデル生成装置１０は、例題である第１情報群Ｆ１のデータと、その正解である第２情報群Ｆ２の第１生体信号（脳波）とからなる教師付きデータセットを用いて、第１ＡＩモデル１２１ｍＡの学習を行う。これにより、第１情報群Ｆ１のデータ（視線、顔向き、音声）を入力値とし、第２情報群Ｆ２の第１生体信号（脳波）を正解（推定）値として出力する第１ＡＩモデル１２１ｍＡが生成される。

【0124】

また、ＡＩモデル生成装置１０は、第２ＡＩモデル１２１ｍＢに、第１情報群Ｆ１のデータ（視線、顔向き、音声）を入力値とし、第２情報群Ｆ２の第２生体信号（心拍）を正解値として、それぞれ入力する。つまり、ＡＩモデル生成装置１０は、例題である第１情報群Ｆ１のデータと、その正解である第２情報群Ｆ２の第２生体信号（心拍）とからなる教師付きデータセットを用いて、第２ＡＩモデル１２１ｍＢの学習を行う。これにより、第１情報群Ｆ１のデータ（視線、顔向き、音声）を入力値とし、第２情報群Ｆ２の第１生体信号（心拍）を正解（推定）値として出力する第２ＡＩモデル１２１ｍＢが生成される。

【0125】

続いて、図１０を参照して、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの生成方法（ＡＩの学習プロセス）の流れを説明する。

【0126】

カメラＣ及びマイクＭは、第１情報群Ｆ１として、ユーザＵ１の外観から判定される挙動を示す情報（例えば視線、顔の向き、表情を含む画像、音声）を検出し、当該情報をセンサ信号としてＡＩモデル生成装置１０に出力する。第１センサＳ１１及び第２センサＳ１２は、第２情報群Ｆ２として、ユーザＵ１の生体信号（例えば脳波、心拍）を検出し、センサ信号としてＡＩモデル生成装置１０に出力する。ＡＩモデル生成装置１０は、同じタイミングの第１情報群Ｆ１と、第２情報群Ｆ２とを対として扱う。

【0127】

ＡＩモデル生成装置１０の記憶器（メモリ等）には、第１情報群Ｆ１のデータに基づき第１生体信号（脳波）を推定する第１ＡＩモデル１２１ｍＡと、第１情報群Ｆ１のデータに基づき第２生体信号（心拍）を推定する第２ＡＩモデル１２１ｍＢの記憶部が設けられ、そこに第１ＡＩモデル１２１ｍＡと第２ＡＩモデル１２１ｍＢが記憶され、学習が行われる。

【0128】

ＡＩモデル生成装置１０は、第１ＡＩモデル１２１ｍＡに、第１情報群Ｆ１の各データ（視線、顔の向き、音声）を入力値とし、第２情報群Ｆ２のデータのうち脳波の生体信号を正解値としてそれぞれ入力する。また、ＡＩモデル生成装置１０は、第２ＡＩモデル１２１ｍＢに、第１情報群Ｆ１の各データを入力値とし、第２情報群Ｆ２のデータのうち心拍の生体信号を正解値としてそれぞれ入力する。

【0129】

つまり、ＡＩモデル生成装置１０は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに対し、例題である第１情報群Ｆ１のデータと、その正解である第２情報群Ｆ２のデータとからなる教師付きデータセットを用いて、学習を行なわせる。

【0130】

これにより、第１情報群Ｆ１の各データを入力値とし、脳波の生体信号を正解値として出力する学習済み第１ＡＩモデル１２１ｍＡが生成される。また、第１情報群Ｆ１の各データを入力値とし、心拍の生体信号を正解値として出力する学習済み第２ＡＩモデル１２１ｍＢが生成される。

【0131】

＜２－２．ＡＩモデル生成装置＞
図１１は、図１０に示したＡＩモデル生成装置１０の一例を示す構成図である。なお、図１１に示したＡＩモデル生成装置１０の構成は図３に示した構成と略同一であるので、同じ構成についてはその説明を省略する。

【0132】

ＡＩモデル生成装置１０の記憶部１２には、第１ＡＩモデル１２１ｍＡと第２ＡＩモデル１２１ｍＢとを各々記憶する第１ＡＩモデル記憶部１２１Ａと第２ＡＩモデル記憶部１２１Ｂとが設けられ、そこに第１ＡＩモデル１２１ｍＡと第２ＡＩモデル１２１ｍＢとが記憶される。

【0133】

生成部１３４は、第１ＡＩモデル１２１ｍＡに、挙動判定部１３２によって判定された、ユーザＵ１の視線や顔の向き、表情、音声等に係る情報を入力値とし、第２情報群Ｆ２のうち脳波の生体信号を正解値としてそれぞれ入力する。また、生成部１３４は、第２ＡＩモデル１２１ｍＢに、挙動判定部１３２によって判定された、ユーザＵ１の視線や顔の向き、表情、音声等に係る情報を入力値とし、第２情報群Ｆ２のうち心拍の生体信号を正解値としてそれぞれ入力する。

【0134】

つまり、生成部１３４は、遠隔系センサ（非接触センサ）の検出した情報に基づき挙動判定部１３２が判定したユーザＵ１の挙動情報を入力とし、接触センサの検出した脳波の生体信号を正解データとした学習用の教師付きデータセットを生成する。そして、生成部１３４は、生成した教師付きデータセットを第１ＡＩモデル１２１ｍＡに提供し、第１ＡＩモデル１２１ｍＡに学習をさせる。この学習により、第１ＡＩモデル１２１ｍＡは、挙動情報を入力として脳波を推定するモデルとなる。

【0135】

また、生成部１３４は、挙動判定部１３２が判定したユーザＵ１の挙動情報を入力とし、接触センサの検出した心拍の生体信号を正解データとした学習用の教師付きデータセットを生成する。そして、生成部１３４は、生成した教師付きデータセットを第２ＡＩモデル１２１ｍＢに提供し、第２ＡＩモデル１２１ｍＢに学習をさせる。この学習により、第２ＡＩモデル１２１ｍＢは、挙動情報を入力として心拍を推定するモデルとなる。

【0136】

提供部１３５は、生成部１３４によって生成された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して後述する車両Ｖ２で用いられる感情推定装置２０（図１３及び図１４参照）に提供する。これにより、感情推定装置２０は、提供部１３５によって提供された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を取り込んで感情推定機能を動作可能とし、車両Ｖ２の各種機能において推定した感情情報を利用することができる。

【0137】

なお、提供部１３５は、生成部１３４によって生成された第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を、ネットワークを介して感情推定装置２０に提供するようにしたが、ＡＩプラットホームを形成するＬＳＩに第１ＡＩモデル１２１ｍＡのデータ及び第２ＡＩモデル１２１ｍＢのデータを書き込んでＡＩ実行ＬＳＩを生成し、当該ＡＩ実行ＬＳＩを感情推定装置２０に組み込むようにする等の方法で第１ＡＩモデル１２１ｍＡ（のデータ）及び第２ＡＩモデル１２１ｍＢ（のデータ）を提供するようにすることも可能である。

【0138】

＜２－３．ＡＩモデル生成装置の動作例 ＞
図１２は、図１１のＡＩモデル生成装置１０のコントローラ１３が実行するＡＩモデル生成処理を示すフローチャートである。このフローチャートは、コンピュータ装置にＡＩモデル生成処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0139】

図１２に示す処理は、感情推定装置２０（車両制御システム）の設計者等が感情推定ＡＩモデルの生成処理を実行する際、例えばキーボード等の操作部により生成処理開始操作が行われた際に実行される。なお、車両運転時のデータを収集するのであれば、車両走行状態で処理が実行される。

【0140】

ステップＳ２０１において、コントローラ１３（取得部１３１）は、第１情報群Ｆ１（カメラ画像、マイク音声）及び第２情報群Ｆ２（脳波、心拍）の各センサからデータを収集して記憶部１２に記憶し、ステップＳ２０２に移る。

【0141】

ステップＳ２０２において、コントローラ１３（挙動判定部１３２）は、第１情報群Ｆ１の各データに基づき挙動を判定し、ステップＳ２０３に移る。

【0142】

ステップＳ２０３において、コントローラ１３（生成部１３４）は、判定した挙動を入力値とし、第２情報群Ｆ２の脳波の生体信号を正解値とする教師データを生成して、ステップＳ２０４に移る。

【0143】

ステップＳ２０４において、コントローラ１３（生成部１３４）は、判定した挙動を入力値とし、第２情報群Ｆ２の心拍の生体信号を正解値とする教師データを生成して、ステップＳ２０５に移る。

【0144】

ステップＳ２０５において、コントローラ１３（生成部１３４）は、ステップＳ２０３で生成した教師データ（挙動と脳波のデータ）を第１ＡＩモデル１２１ｍＡに提供して第１ＡＩモデル１２１ｍＡの学習を行い、ステップＳ２０６に移る。

【0145】

ステップＳ２０６において、コントローラ１３（生成部１３４）は、ステップＳ２０４で生成した教師データ（挙動と心拍のデータ）を第２ＡＩモデル１２１ｍＢに提供して第２ＡＩモデル１２１ｍＢの学習を行い、ステップＳ２０７に移る。

【0146】

ステップＳ２０７において、各モデルの学習が完了したか、ここでは車両Ｖ１の学習用走行が終了したか否かを、例えばイグニッションスィッチ状態や車両運転者（学習作業者）の操作等に基づいて判断し、終了していれば処理を終え、終了していなければステップＳ２０１に戻る。

【0147】

この後、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ＡＩモデル生成装置１０を操作するオペレータの指示等に基づき、車両Ｖ２で用いられる感情推定装置２０に提供される。

【0148】

なお、本ＡＩモデル生成処理においては、第１情報群Ｆ１及び第２情報群Ｆ２の各センサからデータを収集する都度、教師付き学習データを生成して各ＡＩモデルの学習を行っている。しかしながら、図６で示したＡＩモデル生成処理のように第１情報群Ｆ１及び第２情報群Ｆ２の各センサからデータを収集して蓄積し、蓄積したデータに基づき複数の教師付き学習データを生成して学習データセットを作成し、当該学習データセットを用いて車両Ｖ２以外の場所（車両Ｖ２内でも可）、例えば工場内等で各ＡＩモデルの学習を行っても良い。

【0149】

また、本ＡＩモデル生成処理においては、第１情報群Ｆ１及び第２情報群Ｆ２の各センサからの１データ単位で学習データを生成しＡＩモデルに入力しているが、適当な期間における複数の各データを統計処理したデータを用いて学習データを生成しＡＩモデルに入力するようにすることも可能である。

【0150】

＜２－４．感情推定方法＞
図１３は、図１０のＡＩモデル生成方法で生成した（学習させた）第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを用いた感情推定方法の一例を示す説明図である。また、この説明において、先に説明したＡＩモデル生成方法と同様の構成要素については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0151】

ユーザＵ２は、車両Ｖ２の運転者である。当該推定方法で用いられる第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、運転者（ユーザＵ２）の感情の推定に用いられる。第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ＡＩモデル生成装置１０により学習が行われて、学習済みモデルとして提供され、感情推定装置２０に搭載される（記憶される）。感情推定装置２０の詳細については後述する。

【0152】

なお、感情推定装置２０は、車両Ｖ２に搭載されるコンピュータ装置で実現でき、また車両Ｖ２とネットワークを介して接続されたサーバでも実現できる。また、当該サーバは、物理サーバであっても、仮想サーバであっても良い。

【0153】

この第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを用いた感情推定方法では、ユーザＵ２から、図１０のＡＩモデル生成方法と同じ第１情報群Ｆ１のデータを取得する。なお、この感情推定方法では、図１０のＡＩモデル生成方法で使用した第２情報群Ｆ２のデータは使用しない。

【0154】

第１情報群Ｆ１の情報取得のために、車両Ｖ２には、複数の車載センサが設けられる。車載センサは、ユーザ（運転手）Ｕ２の外観から判定される挙動を示す情報をセンサ信号として検出する。なお、これら車載センサは、ＡＩモデル生成方法で使用された同じ挙動を検出するセンサ、好ましくは同じ種類、さらには同じ機種のセンサが好ましい。本実施形態において、車載センサは、カメラＣと、マイクＭとを含む。

【0155】

感情推定装置２０は、これらセンサから第１情報群Ｆ１のデータを取得し、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに第１情報群Ｆ１のデータを入力する。

【0156】

感情推定装置２０の第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ＡＩモデル生成装置１０にて第１情報群Ｆ１のデータに基づき生体信号（脳波、心拍）を推定するように学習されたＡＩモデルである。したがって、感情推定装置２０において、ＡＩモデル生成装置１０での学習時と同じ種別のデータが入力された場合、つまりカメラ撮影画像やマイク取集音声に基づく視線、顔向き、音声という挙動データが入力された場合、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢはＡＩモデル生成装置１０での学習成果（学習した推定プロセス）に基づき生体信号（脳波、心拍）を推定して出力することになる。

【0157】

なお、ＡＩモデル生成装置１０におけるＡＩモデル１２１ｍの学習において、入力として第１情報群Ｆ１のデータを挙動判定部１３２で加工した挙動データを用いているので、感情推定装置２０の第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢへの入力も第１情報群Ｆ１のデータを挙動判定部１３２における処理と同様の処理を施した挙動データとする必要がある。また、ＡＩモデル生成装置１０における第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢの学習において、入力として第１情報群Ｆ１のデータをそのまま用いた場合は、感情推定装置２０の第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢへの入力も第１情報群Ｆ１のデータをそのまま用いることとなる。

【0158】

そして、感情推定装置２０は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢで推定した２種類の生体信号を、ここでは脳波及び心拍を、脳波及び心拍の生体信号を用いて感情を推定する感情推定モデル２２２ｍに入力し、感情を推定する。なお、感情推定モデル２２２ｍは、例えば、図２で説明した心身状態を示す２種類の指標値を座標とする心理平面モデルと同様の感情推定モデル２２２ｍを用いれば良い。

【0159】

＜２－５．車両制御システム＞
図１４は、図１３の感情推定装置２０を備える車両制御システム４０の一例を示す構成図である。図１４では、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素の記載は省略されている。また、この説明において、先に説明したＡＩモデル生成装置１０と同様の構成要素、及び図８に示した車両制御システム４０と同様の構成要素については、前と同じ符号または同じ名称を付してその説明を省略する場合がある。

【0160】

図１４に示すように、車両制御システム４０は、感情推定装置２０と、車両制御装置３０と、アクチュエータ部４１と、報知部４２と、を備える。なお、図示は省略するが、車両制御システム４０は、キーボード、タッチパネル等の入力装置や、ディスプレイ等の出力装置を備える。

【0161】

＜２－５－１．感情推定装置＞
感情推定装置２０は、通信部２１と、記憶部２２と、コントローラ２３と、を備える。感情推定装置２０は、一般的には制御の即応性が求められるので、車両Ｖ２に搭載されるコンピュータ装置で構成されるが、車両Ｖ２とネットワークを介して接続されたサーバで構成することも可能である。

【0162】

記憶部２２には、ＡＩモデル生成装置１０によって生成され、ＡＩモデル生成装置１０から提供された第１ＡＩモデル１２１ｍＡ（学習済み）及び第２ＡＩモデル１２１ｍＢ（学習済み）を記憶する第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂが設けられる。また、記憶部２２には、感情推定モデル２２２ｍを記憶する感情推定モデル記憶部２２２が設けられる。

【0163】

なお、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、例えば、次のようにして第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに記憶される。

【0164】

車両制御システムの製作者等が、システムの組み立て時等に、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが書き込まれたメモリを第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂとして搭載する。車両制御システムの製作者等が、学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが記憶された外部記憶装置を車両制御システム（感情推定装置２０）に接続し、当該第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを読み込んで第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。車両制御システムの製作者等が、ネットワークを介してＡＩモデル生成装置１０から学習済み第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢを受信し、第１ＡＩモデル記憶部２２１Ａ及び第２ＡＩモデル記憶部２２１Ｂに書き込む。

【0165】

記憶部２２には、さらに各種処理用の複数のデータテーブルが設けられる。なお、データテーブルには、感情推定モデル２２２ｍを構成するデータを記憶する心理平面テーブル２２４を含む。なお、心理平面テーブル２２４に記憶されるデータは、図２に示した感情推定モデル（心理平面）を形成するデータで、２種類の生体信号（脳波、心拍）に基づく心身状態の指標値と、それに対応する感情情報を関連づけたデータ群となる。また、感情推定装置２０の設計時、或いは組み立て時等に、推定に用いる心身状態の指標値種別に基づき感情推定モデル２２２ｍが選択され、選択された感情推定モデル２２２ｍのデータが心理平面テーブル２２４に記憶されることになる。

【0166】

コントローラ２３は、演算処理等を行うプロセッサを含み、例えばＣＰＵで構成される。コントローラ２３は、その機能として、取得部２３１と、挙動判定部２３２と、感情推定部２３３と、提供部２３４と、を備える。本実施形態においては、コントローラ２３の機能は、記憶部２２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

【0167】

取得部２３１は、通信部２１を介して、カメラＣ、及びマイクＭによって検出された各種情報（画像情報、音声情報）を取得する。取得部２３１は、取得した各種情報を、その後の処理のために必要に応じて記憶部２２に形成されたデータテーブルに記憶する。なお、取得部２３１は、実質的に同時刻におけるこれらの情報を取得して、一つのデータセットとしてデータテーブルに記憶する。そして、これらデータは当該時刻における挙動状態、感情を推定するために使用される。

【0168】

挙動判定部２３２は、取得部２３１が取得した、ユーザＵ２の顔を含む画像情報に対して解析処理を行うことで、ユーザＵ２の視線や顔の向き、表情、音声等の予め定めれた種類の挙動を判定する。予め定めれた種類の挙動は、ＡＩモデル生成装置１０の挙動判定部１３２が判定した種類の挙動で、具体的には、視線、顔向き、音声（内容）となる。

【0169】

感情推定部２３３は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに、第１情報群Ｆ１のデータ、つまり挙動判定部２３２の判定した挙動のデータを入力値として入力し、その結果、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢが出力する正解値を２種類の生体信号（脳波、心拍）として取得する。詳細に言えば、感情推定部２３３は、第１ＡＩモデル１２１ｍＡに挙動判定部２３２によって判定された、ユーザＵ２の視線や顔の向き、表情、音声等に係る挙動情報を入力し、第１ＡＩモデル１２１ｍＡが推定した脳波の生体信号を取得する。また、感情推定部２３３は、第２ＡＩモデル１２１ｍＢに挙動判定部２３２によって判定された、ユーザＵ２の挙動情報を入力し、第２ＡＩモデル１２１ｍＢが推定した心拍の生体信号を取得する。

【0170】

なお、適当な期間長における複数の第１情報群Ｆ１のデータを統計処理（平均処理、ローパスフィルタ処理等）し、感情推定部２３３が当該統計処理されたデータを用いて感情を推定するようにしても良い。この場合、統計処理は、取得部２３１、挙動判定部２３２あるいは感情推定部２３３で行うことができる。

【0171】

感情推定部２３３は、さらに第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢから取得した生体信号に基づき、脳波及び心拍に関する２つの心身状態を示す指標値を算出する。なお、これら指標値は、感情推定モデル（心理平面）への入力値（座標値）であり、感情推定モデルで規定された形式の値となる。感情推定部２３３は、取得した生体信号をこの形式に変換する処理を行う。

【0172】

そして、感情推定部２３３は、これら算出した指標値を感情推定モデルに適用して、つまりこれら算出した指標値で心理平面テーブル２２４のデータを照合して、該当する感情データを感情の推定結果とする。

【0173】

提供部２３４は、感情推定部２３３によって推定されたユーザＵ２の感情を、車両制御装置３０に提供する。これにより、車両制御装置３０において、ユーザＵ２の感情に基づく車両Ｖ２の制御が行えるようになる。

【0174】

上記の構成によれば、感情推定装置２０は、ユーザＵ２の外観情報から心身状態を示す指標値を推定する学習済みの第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢによりユーザＵ２の２種類の心身状態を示す指標値を推定する。そして、感情推定装置２０は、これら２種類の心身状態を示す指標値に基づき感情推定モデル２２２ｍ（心理平面テーブル２２４のデータ）を用いて感情を推定する。つまり、遠隔系センサ（非接触センサ）により検出可能なユーザＵ２の外観情報から感情を推定する。また、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、精度が比較的高い接触センサによる生体信号に基づくユーザＵ１の感情推定用の指標値と、対となるユーザＵ１の外観情報とからなる学習データのデータセットにより学習される。その結果、当該学習済みの第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢは、ユーザＵ２の外観情報に基づきユーザＵ２の感情推定用の指標値を比較的高精度で推定することが可能となる。このため、ユーザＵ２の感情推定用の指標値に基づき推定されるユーザＵ２の感情も比較的精度の高いものとなる。したがって、感情推定装置２０は、ユーザＵ２に生体信号を検出する接触系の検知センサを装着させることなく、ユーザＵ２の感情を高精度で推定することができる。

【0175】

また、視線と、顔の向きは周囲環境に応じて変わるもので、例えば車両運転中では障害物等の位置関係等による変化する。したがって、車載の感情推定装置で視線や、顔の向きを第１情報群Ｆ１のデータとして適用することにより、車両運転に影響のある障害物状況に応じた感情変化を推定でき、車両運転に有用な感情推定が期待できる。つまり、周囲環境における視覚的情報に基づく感情状態を推定でき、周囲環境に応じた感情制御や関連機器の制御に有用となる。

【0176】

また、脳波と心拍は検知技術が成熟しており、高い精度で計測可能で、それらのセンサは広く、また低価格で普及している。また、脳波と心拍による感情推定は、各種センサを用いた感情推定研究において比較的研究が進んでいる分野である。したがって、第２情報群Ｆ２として脳波と、心拍との生体信号を利用することで、感情を高精度で推定できるとともに、低価格で感情推定装置を実現できる。

【0177】

＜２－５－２．感情推定装置の動作例＞
図１５は、図１４の感情推定装置２０のコントローラ２３が実行する感情推定処理を示すフローチャートである。このフローチャートは、コンピュータ装置に感情推定処理を実現させるコンピュータプログラムの技術的内容を示す。また、当該コンピュータプログラムは、読み取り可能な各種不揮発性記録媒体に記憶され、提供（販売、流通等）される。当該コンピュータプログラムは、１つのプログラムのみで構成されても良いが、協働する複数のプログラムによって構成されても良い。

【0178】

図１５に示す処理は、車両Ｖ２が始動し、推定感情に基づく各種制御を開始するタイミングで起動し、その後各種制御に対して適当なタイミングで繰り返し実行される。

【0179】

ステップＳ２１１において、コントローラ２３（取得部２３１）は、ユーザＵ２の外観から判定される挙動を示す第１情報群Ｆ１のデータ、具体的にはカメラ画像、マイク音声を取得し、ステップＳ２１２に移る。取得した各種情報は、必要に応じて記憶部１２のデータテーブルに記憶される。

【0180】

ステップＳ２１２において、コントローラ２３（挙動判定部２３２）は、第１情報群Ｆ１のデータ（カメラ画像、マイク音声）に基づき挙動、具体的には視線、顔向き、音声（内容）を判定し、ステップＳ２１３に移る。

【0181】

ステップＳ２１３において、コントローラ２３（感情推定部２３３）は、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに挙動判定部２３２による挙動判定結果を入力値として入力し、第１ＡＩモデル１２１ｍＡ及び第２ＡＩモデル１２１ｍＢに正解値として各々生体信号の脳波データと心拍データを推定させ、ステップＳ２１４に移る。

【0182】

ステップＳ２１４において、コントローラ２３（感情推定部２３３）は、推定された生体信号の脳波データと心拍データに基づき２種類の心身状態の指標値（脳波指標値、心拍指標値）を算出し、ステップＳ２１５に移る。

【0183】

ステップＳ２１５において、コントローラ２３（感情推定部２３３）は、算出した２種類の心身状態の指標値（脳波指標値、心拍指標値）を感情推定モデル２２２ｍ（心理平面テーブル２２４のデータ）に適用して、ユーザＵ２の感情を推定し、ステップＳ２１６に移る。

【0184】

ステップＳ２１６において、コントローラ２３（提供部２３４）は、車両制御装置３０に感情推定部２３３が推定したユーザＵ２の推定感情を提供し、処理を終了する。

【0185】

なお、１回毎の推定された感情は、センサ出力のノイズ等による悪影響（誤判定）があると推定されるので、予め定めた所定期間の平均・最頻値を採用する等、統計的処理を施した推定感情を採用するのが好ましい。このため、コントローラ２３（提供部２３４）は、推定感情にタイムスタンプを付加して蓄積し、統計的処理を施した推定感情を車両制御装置３０に提供する（ステップＳ２１６）のが好ましい。なお、車両制御装置３０が推定感情情報に統計的処理を施し、その結果を制御に用いる方法も適用可能である。

【0186】

＜２－５－３．車両制御装置、及び他の構成要素＞
図１４に戻って、車両制御装置３０は、例えば車両制御用のＥＣＵ（Electronic Control Unit）であって、車両Ｖ２に搭載される。車両制御装置３０は、コントローラ３１と、記憶部３２と、通信部３３と、を備える。

【0187】

車両制御装置３０は、各種センサからの情報、及び感情推定装置２０から提供されたユーザＵ２の感情に基づいて車両Ｖ２の制御信号を生成して出力する。すなわち、車両制御システム４０は、車両Ｖ２の運転者であるユーザＵ２の感情を推定し、推定した当該感情も考慮した車両Ｖ２の動作、例えば走行制御を行う。

【0188】

上記の構成によれば、ユーザＵ２の感情に応じた車両Ｖ２の制御を行うことができる。さらに、本実施形態によれば、安全運転に影響のある運転者の感情に応じた車両Ｖ２の制御が可能となるので、車両Ｖ２の安全運転に寄与することが可能である。

【0189】

＜３．留意事項等＞
本明細書中で実施形態として開示された種々の技術的特徴は、その技術的創作の趣旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではない。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれる。また、本明細書中で示した複数の実施形態は、可能な範囲で適宜組み合わせて実施して良い。

【0190】

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能の少なくとも一部は電気的なハードウェア資源によって実現されて良い。ハードウェア資源としては、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等であって良い。また逆に、ハードウェア資源によって実現されるとした機能の少なくとも一部は、ソフトウェア的に実現されて良い。

【0191】

また、本実施形態の範囲には、ＡＩモデル生成装置１０及び感情推定装置２０のそれぞれの少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれて良い。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれて良い。不揮発性記録媒体は、例えば上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いはＳＤカード等であって良い。

【符号の説明】

【0192】

１０ ＡＩモデル生成装置
１３ コントローラ
２０ 感情推定装置
２２ 記憶部
２２２ｍ 感情推定モデル
２３ コントローラ
３０ 車両制御装置
３１ コントローラ
４０ 車両制御システム
４１ アクチュエータ部
４２ 報知部
１２１ｍ ＡＩモデル
１２１ｍＡ 第１ＡＩモデル
１２１ｍＢ 第２ＡＩモデル
Ｆ１ 第１情報群
Ｆ２ 第２情報群
Ｕ１、Ｕ２ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】