(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-28
(45)【発行日】2022-12-06
(54)【発明の名称】感情推定装置、環境提供システム、車両、感情推定方法、および情報処理プログラム
(51)【国際特許分類】
A61B 5/16 20060101AFI20221129BHJP
A61B 5/18 20060101ALI20221129BHJP
【FI】
A61B5/16 120
A61B5/18
(21)【出願番号】P 2018243733
(22)【出願日】2018-12-26
【審査請求日】2021-07-21
(73)【特許権者】
【識別番号】000241500
【氏名又は名称】トヨタ紡織株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】宇佐美 亮佑
(72)【発明者】
【氏名】伊藤 篤彦
【審査官】外山 未琴
(56)【参考文献】
【文献】特開2017-073107(JP,A)
【文献】特開2017-176580(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/16-5/18
(57)【特許請求の範囲】
【請求項1】
移動体の搭乗者の感情を推定する感情推定装置であって、
(i)前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第1の感情推定部により得られた第1の感情推定情報と、(ii)前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第2の感情推定部により得られた第2の感情推定情報と、(iii)前記搭乗者
の感情を表す情報、若しくは、前記移動体の内外の状態を表す情報、を含む状況情報を所定の感情生成アルゴリズムに入力して生成された状況感情情報と、を取得可能な情報取得部と、
前記状況感情情報に基づいて前記第1の感情推定情報および前記第2の感情推定情報をそれぞれ補正する感情補正部と、
前記感情補正部により得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定部と、を備えており、
前記感情補正部により前記第1の感情推定情報を補正して得られた結果を第1の補正後推定結果とし、前記感情補正部により前記第2の感情推定情報を補正して得られた結果を第2の補正後推定結果とすると、
前記第1の補正後推定結果および前記第2の補正後推定結果は、ポジティブな種類の第1の感情および第2の感情並びにネガティブな種類の第3の感情および第4の感情のいずれかにて表されるとともに、該当する感情の種類の強度の度合いを示すレベル情報を含み、
前記判定部は、前記第1の補正後推定結果および前記第2の補正後推定結果におけるそれぞれの感情の種類および前記レベル情報に基づいて、前記搭乗者の感情の種類を判定し、
前記判定部は、(i)前記第1の補正後推定結果における感情の種類および強度の度合いと前記第2の補正後推定結果における感情の種類および強度の度合いとの組合せと、(ii)該組合せに基づいて判定されるべき前記搭乗者の感情の種類と、が対応付けられた、所定の対応関係に基づいて、前記搭乗者の感情の種類を判定することを特徴とする感情推定装置。
【請求項2】
前記感情補正部は、(i)前記第1の感情推定情報と前記状況感情情報との組合せまたは前記第2の感情推定情報と前記状況感情情報との組合せと、(ii)該組合せに基づいて出力されるべき補正後の感情の種類および該感情の種類の強度の度合いとが対応付けられた、所定の対応関係に基づいて、前記第1の感情推定情報および前記第2の感情推定情報をそれぞれ補正することを特徴とする請求項1に記載の感情推定装置。
【請求項3】
前記第1の感情は喜、前記第2の感情は楽、前記第3の感情は怒、前記第4の感情は哀であることを特徴とする請求項1または2に記載の感情推定装置。
【請求項4】
請求項1~3の何れか一項に記載の感情推定装置と、
前記移動体における前記搭乗者の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を前記搭乗者に与える環境を感情刺激環境と称し、前記感情推定装置により推定された前記搭乗者の感情の種類に基づいて、適切な前記感情刺激環境となるように前記搭乗者の周囲の環境を調整する環境調整部と、
を備えることを特徴とする環境提供システム。
【請求項5】
請求項4に記載の環境提供システムを備えることを特徴とする車両。
【請求項6】
移動体の搭乗者の感情を推定する感情推定方法であって、
前記搭乗者が発した音に基づいて該搭乗者の感情を推定することにより第1の感情推定情報を得る第1の感情推定ステップと、
前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定することにより第2の感情推定情報を得る第2の感情推定ステップと、
前記搭乗者
の感情を表す情報、若しくは、前記移動体の内外の状態を表す情報、を含む状況情報を所定の感情生成アルゴリズムに入力して状況感情情報を生成する感情情報生成ステップと、
前記状況感情情報に基づいて前記第1の感情推定情報および前記第2の感情推定情報をそれぞれ補正する感情補正ステップと、
前記感情補正ステップにより得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定ステップと、を含み、
前記感情補正ステップにより前記第1の感情推定情報を補正して得られた結果を第1の補正後推定結果とし、前記感情補正ステップにより前記第2の感情推定情報を補正して得られた結果を第2の補正後推定結果とすると、
前記第1の補正後推定結果および前記第2の補正後推定結果は、ポジティブな種類の第1の感情および第2の感情並びにネガティブな種類の第3の感情および第4の感情のいずれかにて表されるとともに、該当する感情の種類の強度の度合いを示すレベル情報を含み、
前記判定ステップでは、前記第1の補正後推定結果および前記第2の補正後推定結果におけるそれぞれの感情の種類および前記レベル情報に基づいて、前記搭乗者の感情の種類を判定し、
前記判定ステップでは、(i)前記第1の補正後推定結果における感情の種類および強度の度合いと前記第2の補正後推定結果における感情の種類および強度の度合いとの組合せと、(ii)該組合せに基づいて判定されるべき前記搭乗者の感情の種類と、が対応付けられた、所定の対応関係に基づいて、前記搭乗者の感情の種類を判定することを特徴とする感情推定方法。
【請求項7】
請求項1に記載の感情推定装置としてコンピュータを機能させるための情報処理プログラムであって、前記情報取得部、前記感情補正部、および前記判定部としてコンピュータを機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両等の移動体に搭乗している搭乗者の感情を推定する感情推定装置等に関する。
【背景技術】
【0002】
従来、自動車等の車両に搭乗する人(以下、搭乗者と称する)にとって快適な車内空間を提供するために、車両の内装等について様々な改良が行われている。例えば、特許文献1には、自動車の内装照明について、発熱が抑制された光源(発光ダイオード等)を用いることによって光源の配置形態およびデザインの自由度を高める技術が記載されている。
【0003】
また、近年、人(例えば車両の搭乗者)の感情を推定し、推定された感情に対応して動作する装置が開発されている。例えば、特許文献2には、センサにより取得した物理量に基づいて、画像におけるユーザの表情を分析する、またはユーザの脈拍を検出することにより、ユーザの感情を推定し、推定された感情を提示するか否か判定する情報提示装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第8162519号明細書
【文献】特開2017-73107号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術においては、搭乗者の気分(感情)に対応する車内空間の状態(車内環境)となるように、例えば照明の光量、配色、位置、等を搭乗者自身の操作により調整することを要する。搭乗者は、車内環境を調整する際に自身の操作を要することについて煩わしさを感じ得る。
【0006】
そこで、人の感情を機械的に推定することにより得られた推定結果を利用して車内環境を自動的に調整することが考えられる。しかしながら、一般に、人の感情は多様であるとともに、人の表情または脈拍等によって感情を推定した結果は、様々な事象(意識的な表情の変化、車両の振動、等)の影響を受け得る。
【0007】
推定された感情と人の実際の感情とが互いに異なる場合、自動的に調整された車内環境は不適切なものとなり、搭乗者を不快にさせ得る。搭乗者に快適な車内環境を自動的に提供するためには、より精度よく搭乗者の感情を推定することが求められる。
【0008】
本発明の一態様は、搭乗者の感情についての推定精度を高めることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決するために、本発明の一態様における感情推定装置は、移動体の搭乗者の感情を推定する感情推定装置であって、(i)前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第1の感情推定部により得られた第1の感情推定情報と、(ii)前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第2の感情推定部により得られた第2の感情推定情報と、(iii)前記搭乗者の感情若しくは前記移動体の内外の状態、を表す情報を含む状況情報を所定の感情生成アルゴリズムに入力して生成された状況感情情報と、を取得可能な情報取得部と、前記状況感情情報に基づいて前記第1の感情推定情報および前記第2の感情推定情報をそれぞれ補正する感情補正部と、前記感情補正部により得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定部と、を備えている。
【0010】
また、本発明の一態様における環境提供システムは、(i)前記感情推定装置と、(ii)前記移動体における前記搭乗者の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を前記搭乗者に与える環境を感情刺激環境と称し、前記感情推定装置により推定された前記搭乗者の感情の種類に基づいて、適切な前記感情刺激環境となるように前記搭乗者の周囲の環境を調整する環境調整部と、を備えている。
【0011】
また、本発明の一態様における車両は、前記環境提供システムを備えている。
【0012】
また、上記の課題を解決するために、本発明の一態様における感情推定方法は、移動体の搭乗者の感情を推定する感情推定方法であって、前記搭乗者が発した音に基づいて該搭乗者の感情を推定する第1の感情推定ステップと、前記搭乗者から取得した生体信号に基づいて該搭乗者の感情を推定する第2の感情推定ステップと、前記搭乗者の感情若しくは前記移動体の内外の状態、を表す状況情報を所定の感情生成アルゴリズムに入力して状況感情情報を生成する感情情報生成ステップと、前記状況感情情報に基づいて、前記第1の感情推定ステップおよび前記第2の感情推定ステップにより得られた前記搭乗者の感情の推定結果をそれぞれ補正する感情補正ステップと、前記感情補正ステップにより得られた、前記搭乗者の感情の補正後推定結果に基づいて、前記搭乗者の感情の種類を判定する判定ステップと、を含む。
【0013】
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記感情推定装置が備える各部(ソフトウェア要素)として動作させることにより前記感情推定装置をコンピュータにて実現させる情報処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0014】
本発明の一態様によれば、搭乗者の感情についての推定精度を高めることができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施形態1における車両に含まれる各部および環境提供システムの概要を示す図である。
【
図2】本発明の実施形態1における感情推定装置および環境提供システムを含む車両搭載システムの概略的な構成を示すブロック図である。
【
図3】上記感情推定装置および環境提供システムが実行する処理の全体の流れを示すフローチャートである。
【
図4】上記感情推定装置における感情補正部が用いる補正規則の一例を示す図である。
【
図5】上記感情推定装置における感情判定部が用いる判定規則の一例を示す図である。
【
図6】上記環境提供システムに含まれる環境制御装置が行う環境調整部の制御の一例を示す図である。
【発明を実施するための形態】
【0016】
本発明の一実施形態について、
図1~7に基づいて説明すれば、以下のとおりである。本実施の形態では、移動体としての例えば車両に設けられた、(i)該車両に搭乗する搭乗者の感情を推定する感情推定装置、および(ii)推定結果に基づいて上記搭乗者に適した車内環境を提供する環境提供システムについて説明する。
【0017】
ここで、本明細書において、移動体とは、人が搭乗可能であり、かつ搭乗した人(搭乗者)が或る場所から別の場所へと移動するために用いられる乗り物である。また、移動体は、該移動体の内部に搭乗者が安静に留まることが可能な空間を有する乗り物である。
【0018】
本実施の形態では移動体として車両を例示して説明するが、移動体はこれに限定されない。移動体としては、例えば、各種の自動車等の路上走行車両、鉄道車両、航空機、船舶、等が挙げられる。本発明の一態様における感情推定装置および環境提供システムは、これら各種の移動体に適用することができる。
【0019】
また、本実施形態では、説明の平明化のために、1人の搭乗者に対して本実施形態の感情推定装置および環境提供システムを適用する場合について説明する。
【0020】
<車両搭載システムの概要>
先ず、本実施形態の感情推定装置および環境提供システムを備える車両について、
図1を用いて以下に説明する。
図1は、本実施形態における車両1に含まれる各部および環境提供システム4の概要を示す図である。本明細書において、環境提供システム4および車載センサ3を含めて車両搭載システムと称することがある。本実施形態の感情推定装置は、環境提供システム4に含まれており、
図1では図示されていない。
【0021】
図1に示すように、車両1は、データ通信バス2に接続された、各種の車載センサ3および環境提供システム4を含む。車載センサ3は、マイク31、カメラ32、生体情報取得部33、および車両情報センサ34を含む。環境提供システム4は、CPU(Central processing Unit)41、ROM(Read Only Memory)42、RAM(Random Access Memory)43、環境調整部44、通信部45を含む。
【0022】
(データ通信バス)
データ通信バス2は、例えば、一般に自動車に搭載されるCAN(Controller Area Network)バスである。データ通信を行うバスには様々な規格が存在する。データ通信バス2は、車両1に含まれる各種のシステムにおいて各部が相互に通信できるような通信経路を形成するようになっていればよく、具体的な態様は特に限定されない。データ通信バス2は、典型的には有線の通信経路であり、データ通信バス2の一部にて無線によるデータ通信を行うようになっていてもよい。
【0023】
(車載センサ)
車載センサ3は、車両1に搭載された各種のセンサであって、(i)搭乗者5に関する物理量の計測を行う人情報センサ(マイク31、カメラ32、生体情報取得部33)と、(ii)車両1の運転状態、車外環境、および車内環境等に関する物理量(車内の照度、車内および車外の温度、走行状態、運転状態、等)の計測を行う車両情報センサ34と、を含む。なお、搭乗者5の生体情報としては、搭乗者5の声および表情等も含み得るが、本明細書では、生体情報取得部33は、マイク31およびカメラ32以外のセンサであるとする。車載センサ3に含まれる各部の詳細については後述する。
【0024】
(環境提供システム)
環境提供システム4は、少なくとも1つのCPU41を含むとともに、必要に応じて複数個のROM42およびRAM43を含む。また、環境提供システム4は、マイクロコントローラ等の各種の演算処理装置を含んでいてもよい。
【0025】
本実施形態における環境提供システム4は、搭乗者5の感情を推定する感情推定装置および車内環境を制御する環境制御装置(
図2を参照)を含み、それらの装置は、CPU41、ROM42、およびRAM43によって構成される。この場合、感情推定装置および環境制御装置は、CPU41によって動作するプログラムとして実現される。
【0026】
なお、本発明の他の一態様における感情推定装置および環境制御装置はそれぞれ、データ通信バス2に接続された一個の装置であってもよく、この場合、それらの装置に含まれるCPU、ROM、およびRAMを用いて、後述するような各種の処理を行う。
【0027】
環境提供システム4は、上記感情推定装置を用いて推定した搭乗者5の感情に基づいて、環境調整部44を制御し、搭乗者5の周囲の環境(例えば光・香り・音)を調整する。環境提供システム4に含まれる各部の詳細については後述する。
【0028】
(サーバ通信)
環境提供システム4は、通信部45を用いて、車両1の外部に設けられたサーバ452と互いに通信可能となっており、サーバ452を利用して各種の処理を行ってもよい。このような処理の具体例に関しては後述する。
【0029】
通信部45は、通信ネットワーク451を介して、サーバ452とデータ通信を行う。サーバ452はクラウドサーバであってもよい。通信ネットワーク451は、例えば電話回線網、移動体通信網等の無線通信ネットワークであってもよい。サーバ452および通信ネットワーク451の具体的な態様は特に限定されない。
【0030】
<車両搭載システムの詳細>
本実施形態における感情推定装置および環境提供システム4の詳細について、
図2を用いて以下に説明する。
図2は、本実施形態における感情推定装置200および環境提供システム4を含む車両搭載システムの概略的な構成を示すブロック図である。
【0031】
図2に示すように、本実施形態における車両1に搭載された車両搭載システムは、情報生成部100、感情推定装置200、環境制御装置300、環境調整部44、および通信部45を含む。感情推定装置200および環境制御装置300は、前述のCPU41、ROM42、およびRAM43(
図1参照)を用いて実現されていてもよい。感情推定装置200、環境制御装置300、環境調整部44、および通信部45は、環境提供システム4に対応する。
【0032】
(情報生成部)
情報生成部100は、マイク31、シートセンサ33a、カメラ32、車両情報センサ34、音感情推定部10、脈波感情推定部20、および感情エンジン30を含む。シートセンサ33aは、前述の生体情報取得部33の一例である。音感情推定部10、脈波感情推定部20、および感情エンジン30は、前述のCPU41、ROM42、およびRAM43(
図1参照)を用いて実現されていてもよい。
【0033】
・音感情情報の生成
音感情推定部10は、搭乗者5の意識的な行動により生じる音(搭乗者5が発した音)を計測して得られた物理量に基づいて搭乗者5の感情を推定する、第1の感情推定部である。音感情推定部10によって得られた推定結果を、音感情情報(第1の感情推定情報)Inf1と称する。本実施形態では、音感情推定部10は、マイク31によって取得した搭乗者5の声に関する音声信号に基づいて、音感情情報Inf1を生成し、生成した音感情情報Inf1を感情推定装置200に送信する。
【0034】
マイク31は、搭乗者5が発した音の情報(典型的には音声信号)を取得する機能を有していればよく、具体的な態様は特に限定されない。マイク31は、指向性マイクであることが好ましく、この場合、搭乗者5が発した音に関する情報を、より正確に取得することができる。
【0035】
音感情推定部10は、音声信号に基づいて感情を推定する公知の技術を適用して実現することができる。音感情推定部10は、例えば、音声信号における強度、テンポ、抑揚、等の変化および文章(言葉)に基づいて、推定規則を参照することにより搭乗者5の感情を推定する、ST(Sensibility Technology)技術が適用されてよい。また、音声信号には、搭乗者5の声以外のノイズ(エンジン音、車内に設置されたテレビ等の音声、車両1外部の音、等)が含まれ得る。そのため、音感情推定部10は、該ノイズを除去する機能(例えばノイズフィルタ)を有していることが好ましい。
【0036】
本実施形態において、音感情推定部10が音感情情報Inf1を出力するためには、搭乗者5が声を発することを要する。搭乗者5が声を発する場合、または発しない場合の処理については、車両搭載システムが実行する処理の流れの説明と合わせて後述する。
【0037】
なお、音感情推定部10は、通信部45を介してサーバ452と通信することによって、音感情情報Inf1を生成するようになっていてもよい。この場合、音感情推定部10からサーバ452に音声信号が送信され、音声信号に基づいて感情を推定するプログラムがサーバ452にて実行される。
【0038】
・脈波感情情報の生成
脈波感情推定部20は、搭乗者5における生体信号に基づいて搭乗者5の感情を推定する、第2の感情推定部である。本実施形態では、生体信号は、無意識的な(自律神経に基づく)運動である心拍に由来する血管の脈動を計測して取得される脈波(時間波形)である。脈波感情推定部20によって得られた推定結果を、脈波感情情報(第2の感情推定情報)Inf2と称する。本実施形態における脈波感情推定部20は、シートセンサ33aによって取得した搭乗者5の脈波に関する生体信号に基づいて、脈波感情情報Inf2を生成し、生成した脈波感情情報Inf2を感情推定装置200に送信する。
【0039】
シートセンサ33aは、車両1内で搭乗者5が着座するシートに内蔵されたセンサであって、着座している搭乗者5の脈波を計測可能なセンサである。シートセンサ33aは、例えば圧電センサであり、例えば、シートにおける搭乗者5の大腿部、臀部、または背部が接する位置の周辺に内蔵される。シートセンサ33aは、搭乗者5の血管の脈動による体表面における微小な動きを計測し、得られたデータを脈波感情推定部20に送信する。このような脈波の計測については、公知の技術を用いることができるため、詳細な説明は省略する。
【0040】
脈波感情推定部20は、脈波を示すデータに基づいて感情を推定する公知の技術を適用して実現することができる。このような技術としては、様々な手法が提案されており、詳細な説明は省略する。一例では、脈波感情推定部20は、搭乗者5から取得した脈波の波形について公知の解析アルゴリズムを用いて解析を行うことにより、搭乗者5の感情を推定する。例えば、脈拍間隔時間(RRI,R-R Interval)の時間変動から、RRIの周波数成分のパワースペクトルを求めることができる。パワースペクトルの低周波成分と高周波成分との比(LF/HF)に基づいて、搭乗者5の感情を推定することができる。
【0041】
また、脈波感情推定部20は、カメラ32から取得した搭乗者5の撮像画像を用いて、脈波感情情報Inf2を生成してもよく、この場合、血中酸化ヘモグロビンの濃度時間変化を測定することで脈波を検出することができる。顔画像に基づいて脈波を検出する技術について、公知の手法を適用することができるため、詳細な説明は省略する。
【0042】
なお、脈波感情推定部20は、通信部45を介してサーバ452と通信することによって、脈波感情情報Inf2を生成するようになっていてもよい。この場合、脈波感情推定部20からサーバ452に脈波を示すデータが送信され、該データに基づいて感情を推定するプログラム(解析アルゴリズム)がサーバ452にて実行される。
【0043】
・状況感情情報の生成
本明細書において、感情エンジン30による搭乗者5の感情の推定に用いられる情報を状況情報と称する。状況情報は、(i)搭乗者5の感情を表す情報、または、(ii)車両1の内部の状態および車両1の外部の状態(車両1の内外の状態と称する)を表す情報を含む。
【0044】
車両情報センサ34に含まれる様々なセンサおよびカメラ32から感情エンジン30に上記状況情報が入力される。車両情報センサ34は、例えば、車外を撮像するカメラ、温度センサ、照度センサ、各種ライトスイッチ、エアコン制御部、車速センサ、アクセル操作やブレーキ操作量を取得するセンサ、操舵角センサ、加速度センサ、カーステレオ、GPS(Global Positioning System)、等、従来の車両に搭載されている各種のセンサを含み得る。また、車両情報センサ34は、カーナビゲーションシステムを含んでいてもよい。
【0045】
感情エンジン30は、所定の感情生成アルゴリズムを有しており、この感情生成アルゴリズムとしては公知の技術を適用することができるため、詳細な説明は省略するが、一例を説明すれば以下のとおりである。
【0046】
状況情報は、例えば、搭乗者5の感情を表す情報として、搭乗者5に非接触に計測した物理量を示す情報を含んでいてもよく、例えば搭乗者5の顔画像のデータを含む。感情エンジン30は、搭乗者5の顔画像に基づいて解析した搭乗者5の表情を、感情を推定するための一要素とする。
【0047】
また、状況情報は、車両1の内部の状態として、車両1の運転速度、運転速度の加減速の程度、ハンドルの操舵量、等のデータを含んでいてもよい。そして、状況情報は、車両1の外部の状態として、例えば、外気温、気候、日照量、車両1の地理的な位置および環境、交通状態、等を含んでいてもよい。感情エンジン30は、車両1の内外の状態に関する情報を、感情を推定するための一要素とする。
【0048】
感情エンジン30は、上記例示したような状況情報を上記所定の感情生成アルゴリズムに入力することにより、搭乗者5の感情を推定し、その推定結果として状況感情情報Inf3を生成する。感情エンジン30は、生成した状況感情情報Inf3を感情推定装置200に送信する。
【0049】
近年、ロボット等に人工的な感情を生成する機能が搭載されることがある。感情エンジン30は、そのようなAI(Artificial Intelligence)に用いられる公知の感情生成アルゴリズムを用いてよい(例えば特許第6367179号を参照)。
【0050】
なお、感情エンジン30は、通信部45を介してサーバ452と通信することによって、状況感情情報Inf3を生成するようになっていてもよい。この場合、感情エンジン30からサーバ452に上記状況情報が送信され、該状況情報に基づいて感情を推定する感情生成アルゴリズムがサーバ452にて実行される。
【0051】
(感情推定装置)
感情推定装置200は、情報取得部210、制御部220、および記憶部230を備えている。制御部220は、感情補正部221および感情判定部(判定部)222を備えており、記憶部230には、補正規則231および判定規則232が記憶されている。
【0052】
情報取得部210は、音感情推定部10、脈波感情推定部20、および感情エンジン30から送信された情報を取得し、取得した情報を制御部220に送信する。情報取得部210は、情報生成部100と有線接続されていてもよく、または無線接続されていてもよい。情報取得部210は、情報生成部100から取得した情報を時間的に同期して(或る時点における搭乗者5の感情に関する情報として)、制御部220に送信する。
【0053】
本実施形態では、音感情情報Inf1および脈波感情情報Inf2は、ポジティブな種類の感情およびネガティブな種類の感情のいずれかにて表される。ポジティブな種類の感情としては、例えば喜び(第1の感情)および楽しさ(第2の感情)が挙げられる。ネガティブな種類の感情としては、例えば怒り(第3の感情)および哀しみ(第4の感情)が挙げられる。
【0054】
また、音感情情報Inf1は、それぞれの感情の種類の強度の度合いを示すレベル情報を含む。本実施形態では、強度の度合いとして、High、Middle、Lowの三段階を設定する。
【0055】
脈波感情推定部20により生成した脈波感情情報Inf2は、感情の強度の度合いを有していなくともよく、この場合、音感情情報Inf1と対応するように、感情の強度の度合いをMiddleに設定してもよい。
【0056】
感情補正部221は、状況感情情報Inf3に基づいて、音感情情報Inf1および脈波感情情報Inf2の補正処理を行う。感情補正部221は、上記補正処理に際して、補正規則231を用いる。
【0057】
補正規則231は、以下のような対応関係を示す規則である。すなわち、補正規則231は、音感情情報Inf1および状況感情情報Inf3の組合せと、該組合せに基づいて出力されるべき補正後の搭乗者5の感情の種類および該感情の種類の強度の度合いと、が対応付けられた所定の対応関係を示す規則を含む。また、補正規則231は、脈波感情情報Inf2および状況感情情報Inf3の組合せと、該組合せに基づいて出力されるべき補正後の搭乗者5の感情の種類および該感情の種類の強度の度合いと、が対応付けられた、所定の対応関係を示す規則を含む。
【0058】
感情補正部221により音感情情報Inf1を補正して得られた結果を補正音感情情報(第1の補正後推定結果)Inf11とし、脈波感情情報Inf2を補正して得られた結果を補正脈波感情情報(第2の補正後推定結果)Inf12とする。補正音感情情報Inf11および補正脈波感情情報Inf12は、上述の4種類の感情のいずれかにて表されるとともに、それぞれの感情の種類の強度の度合いを示すレベル情報を含む。
【0059】
そして感情判定部222は、補正音感情情報Inf11および補正脈波感情情報Inf12におけるそれぞれの感情の種類および上記レベル情報に基づいて、搭乗者5の感情の種類を判定する。感情判定部222は、上記判定処理に際して、判定規則232を用いる。
【0060】
判定規則232は、以下のような対応関係を示す規則である。すなわち、判定規則232は、(i)補正音感情情報Inf11における感情の種類および強度の度合いと補正脈波感情情報Inf12における感情の種類および強度の度合いとの組合せと、(ii)該組合せに基づいて判定されるべき搭乗者5の感情の種類と、が対応付けられた、所定の対応関係を示す規則である。
【0061】
感情判定部222は、判定結果として搭乗者5の感情の種類を出力するようになっていてもよい。また、感情判定部222は、判定結果として搭乗者5の感情の種類および強度の度合いを出力するようになっていてもよく、この場合、環境制御部310は、搭乗者5の感情の種類および強度の度合いに応じて、環境調整部44を細かく制御することができる。
【0062】
感情補正部221における補正処理および感情判定部222における判定処理の一例については、本実施形態における車両搭載システムが実行する処理の流れの説明と合わせて後述する。
【0063】
(環境制御)
環境制御装置300は、環境制御部310と記憶部320とを備えている。記憶部320には、対応環境データ321が記憶されている。
【0064】
環境制御部310は、対応環境データ321を用いて、感情判定部222によって判定された搭乗者5の感情の種類に対応するように環境調整部44に含まれる各部を制御する。
【0065】
本実施形態の環境調整部44は、照明装置441、香り発生部442、および音響機器443を含み、車両1の内部における搭乗者5の周囲の環境(光・香り・音)を調整する。対応環境データ321は、環境制御部310によって判定された搭乗者5の感情の種類と、当該種類の感情に対応して環境制御部310が実行すべき環境調整部44の制御内容との対応関係を示すデータである。対応環境データ321の一例については後述する。
【0066】
環境制御部310は、照明装置441を用いて搭乗者5に視覚的な刺激を与えることができるとともに、音響機器443を用いて搭乗者5に聴覚的な刺激を与えることができる。照明装置441、および音響機器443は、環境制御部310による制御対象として車両1に追加された設備であってもよく、一般に車両に搭載されている各種の設備であってもよい。
【0067】
また、環境制御部310は、香り発生部442を用いて搭乗者5に嗅覚的な刺激を与えることができる。香り発生部442は、搭乗者5の周囲の空気の香りを変化させる機能を有する。香り発生部442は、例えば車両に搭載されている空調機器の周辺機器として配置されていてよい。
【0068】
車両1における搭乗者5の周囲の環境であって、視覚的な刺激、聴覚的な刺激、嗅覚的な刺激からなる群のうち少なくともいずれかの刺激を搭乗者5に与える環境を感情刺激環境と称する。環境制御について上記説明したことをまとめると、以下のように整理できる。すなわち、環境提供システム4は、感情推定装置200により推定された搭乗者5の或る時点における感情の種類に基づいて、当該時点の搭乗者5に適切な上記感情刺激環境となるように搭乗者5の周囲の環境を調整する環境調整部44を備えている。
【0069】
(処理の流れ)
本実施形態における車両1に搭載された感情推定装置200および環境提供システム4が実行する処理の流れの一例について、
図3~6を用いて以下に説明する。
図3は、感情推定装置200および環境提供システム4が実行する処理の全体の流れを示すフローチャートである。
【0070】
以下の説明において、記載の平明化のために、音感情推定部10で生成された音感情情報Inf1を感情(声)、脈波感情推定部20で生成された脈波感情情報Inf2を感情(心拍)、感情エンジン30で生成された状況感情情報Inf3を感情(車両)と表す。
【0071】
図3に示すように、先ず、情報取得部210は、情報生成部100から送信される感情(声)、感情(心拍)、および感情(車両)のデータを取得する(ステップ1;以下S1のように略記する)。ここで、音感情推定部10は、例えば搭乗者5が声を発しないような場合には、感情(声)のデータを感情推定装置200に送信しない。また、脈波感情推定部20は、例えば車両1の振動等の要因によって搭乗者5の脈波を適切に検出できない場合には、感情(心拍)のデータを感情推定装置200に送信しない。つまり、情報取得部210は、感情(声)または感情(心拍)のデータを取得できないことがある。一方で、感情エンジン30は、通常、感情(車両)のデータを常に(または一定間隔で)感情推定装置200に送信し得る。
【0072】
感情推定装置200は、情報取得部210にて取得したデータが感情(車両)のみであった場合(S1でYes)、当該データを搭乗者5の感情として確定し(S9)、環境制御部310へ出力する。
【0073】
また、感情推定装置200は、情報取得部210が、感情(車両)のデータに加えて、感情(声)および感情(心拍)の少なくとも一方のデータを取得した場合(S1でNo)、取得したデータを制御部220へ出力する。
【0074】
感情補正部221は、情報取得部210から受信したデータおよび補正規則231を用いて、感情(声)または感情(心拍)を補正する(S3)。このS3における補正処理の一例について、
図4を用いて以下に説明する。
【0075】
図4は、感情補正部221が用いる補正規則231の一例であって、感情(車両)に基づいて感情(声)を補正する、または感情(車両)に基づいて感情(心拍)を補正する規則(対応関係)を示している。ここでは、感情(声)のデータは、4種類の感情毎に、High(Hi)、Middle(Mid)、およびLow(Lo)の3段階のレベルに分類されている。感情(心拍)のデータは、脈波感情推定部20にて生成されたデータではレベル情報を含まないため、Midのレベルとみなす。また、感情(車両)のデータは、レベル情報を含んでいない。
【0076】
なお、
図4の例では、4種類の感情および3段階のレベル(計12個の区分)に分類されているが、補正規則231は、感情の種類およびレベルがより細かく分類されて作成されていてもよい。
【0077】
例えば、
図4に示すように、感情(車両)が「喜」であり、感情(声)が「怒」のHiレベルである場合、補正後の感情(声)は「怒」のMidレベルとなる。また、感情(車両)が「哀」であり、感情(心拍)が「喜」(Midレベルとみなす)である場合、補正後の感情(心拍)は、「喜」のLoレベルとなる。
【0078】
感情補正部221が、感情(声)または感情(心拍)のどちらか一方のみを取得し、補正を行った場合(S5でYes)、補正後の感情(声)または補正後の感情(心拍)を搭乗者5の感情として確定する(S9)。
【0079】
感情補正部221は、感情(声)および感情(心拍)の両方について補正を行った場合(S5でNo)、補正後の感情(声)および補正後の感情(心拍)を感情判定部222に出力する。
【0080】
感情判定部222は、判定規則232を参照し、感情補正部221から取得した補正後の感情(声)および感情(心拍)から感情を判定し(S7)、判定した感情を搭乗者5の感情として確定する(S9)。このS7における判定処理の一例について、
図5を用いて以下に説明する。
【0081】
図5は、感情判定部222が用いる判定規則232の一例を示す図であって、補正後の感情(声)および補正後の感情(心拍)から、感情を判定するためのアルゴリズムの一例を示している。上記アルゴリズムは判定規則232として記憶部230に格納されている。
図5に示すように、入力された補正後の感情(声)および補正後の感情(心拍)における感情の種類およびレベルに基づいて、A~Dの4条件に分けて判定される。なお、判定規則232は、
図5に示す規則に限られるものではない。
【0082】
図5に示すAは、補正後の感情(声)および補正後の感情(心拍)が同じ感情の種類である場合を示し、この場合は当該感情を搭乗者5の感情として確定する。
【0083】
また、
図5に示すBは、補正後の感情(声)および補正後の感情(心拍)が、共にポジティブな感情(例えば「喜」または「楽」)である場合を示し、この場合は、レベルが高い方の感情の種類を搭乗者5の感情として確定する。ただし、補正後の感情(声)および補正後の感情(心拍)のレベルが互いに同じである場合は、感情(声)の感情の種類を搭乗者5の感情として確定する。感情判定部222は、例えば、補正後の感情(声)が「喜」のLoレベルであり、補正後の感情(心拍)が、「楽」のHiレベルであった場合は、搭乗者5の感情を「楽」と判定する。また、感情判定部222は、例えば、補正後の感情(声)が「楽」のMidレベルであり、補正後の感情(心拍)が「喜」のMidレベルであった場合は、搭乗者5の感情を「楽」と判定する。
【0084】
また、
図5に示すCは、補正後の感情(声)および補正後の感情(心拍)が、共にネガティブな感情(例えば「怒」または「哀」)である場合を示し、この場合は、上記Bと同様の判定を行う。感情判定部222は、例えば、補正後の感情(声)が「怒」のMidレベルであり、補正後の感情(心拍)が「哀」のLoレベルであった場合は、搭乗者5の感情を「怒」と判定する。
【0085】
また、
図5に示すDは、補正後の感情(声)および補正後の感情(心拍)が、ポジティブな感情とネガティブな感情とが混在する場合を示し、この場合は、補正後の感情(声)を優先して感情データとして判定する。感情判定部222は、例えば、補正後の感情(声)が「喜」のMidレベルであり、補正後の感情(心拍)が、「哀」のHiレベルである場合、搭乗者5の感情を「喜」と判定する。
【0086】
環境制御部310は、感情判定部222から取得した搭乗者5の感情の種類に基づいて、環境調整部44の制御を行い、車両1の車内環境を調整する(S11)。このS11における車内環境を調整する制御の一例について、
図6を用いて以下に説明する。
【0087】
図6は、環境制御部310が行う制御の一例を示す図である。
図6に示すような規則が対応環境データ321に対応する。環境制御部310は、感情判定部222によって判定された搭乗者5の感情(
図6での「感情」)に基づいて、搭乗者5の感情がより好ましい状態となるように誘導することを目的として、環境調整部44を制御する。
【0088】
例えば、環境制御部310は、所望の光、香り、および音が発生するように環境調整部44を制御する。例えば、搭乗者5の感情が「哀」である場合、環境制御部310は、緑色の光、レモングラスの香り、およびソルフェジオ周波数ベースの音を発生させるように環境調整部44を制御する。緑の光には、情緒の安定、安心感の増加等の効果が見込まれる。これにより、搭乗者5の感情を安定させ、元気にすることを目的とする。
【0089】
上述したような処理の流れは、以下のように整理することができる。すなわち、本実施形態における感情推定方法は、搭乗者5が発した音に基づいて搭乗者5の感情を推定する第1の感情推定ステップと、搭乗者5から取得した生体信号に基づいて搭乗者5の感情を推定する第2の感情推定ステップと、搭乗者5の感情若しくは車両1の内外の状態、を表す状況情報を所定の感情生成アルゴリズムに入力して状況感情情報Inf3を生成する感情情報生成ステップと、を含む。そして、本実施形態における感情推定方法は、状況感情情報Inf3に基づいて、前記第1の感情推定ステップおよび前記第2の感情推定ステップにより得られた搭乗者5の感情の推定結果をそれぞれ補正する感情補正ステップと、前記感情補正ステップにより得られた、搭乗者5の感情の補正後推定結果に基づいて、搭乗者5の感情の種類を判定する判定ステップと、を含む。
【0090】
(環境調整部の具体例)
環境調整部44の一例について、
図7を用いて説明する。
図7は、本実施形態における車両1の内部の様子の一例を示す図である。
【0091】
環境制御部310は、車内に設けられた照明装置441を制御し、所望の光を発生させる。照明装置441は、例えば
図7に示すように、車内の天井の中央部441aに設けられている。また、照明装置441は、車内の天井部441bを覆うような形状であってもよく、搭乗者5が着座するシート441cに設けられていてもよい。
【0092】
なお、照明装置441は、搭乗者5が光を視認できるように設けられていればよく、数、位置、および形状は特に限定されない。間接光または透過光を利用するようになっていてもよい。シート441cの側方部、搭乗者5の足元、ドアパネル、等の位置に設けられていてもよい。照明装置441は、インストルメントパネルを含んでいてもよく、導光管であってもよい。
【0093】
また、環境制御部310は、香り発生部442を制御し、所望の香りを発生させる。香り発生部442は、例えば、
図7に示すように空調装置442a内に設けられる。香り発生部442は、搭乗者5が香りを感知できるような位置に設けられていればよく、設置場所は特に限定されない。例えば、後部座席用の空調装置442bがある場合、空調装置442b内に設けられていてもよい。また、例えば、天井部またはシートに内蔵して設けられていてもよい。
【0094】
また、環境制御部310は、音響機器443を制御し、所望の音を発生させる。音響機器443は、例えば車内の前方に設けられたスピーカ443a、またはドアに設けられたスピーカ443bである。また、音響機器443は、スピーカに限られず、例えば、シートに設けられていてもよいし、搭乗者の持つ外部機器(例えばスマートフォン等)であってもよい。
【0095】
なお、
図7に示すように、カメラ32は、車両1の内部において、例えばバックミラーの周辺に設けられている。シートセンサ33aは、例えば、搭乗者5が着座するシートの座面の位置に設けられている。
【0096】
(有利な効果)
一般に、人の感情が声に不随意に反映される一方で、声は随意神経に基づく人の意識的な行動であることから、音感情情報Inf1のみを用いて搭乗者5の感情を推定する場合、その推定精度を高めることには限界がある。また、車両1の走行によって生じる振動または搭乗者5の動き等によって、検出される脈波にノイズが生じる場合が多いため、脈波感情情報Inf2のみを用いて搭乗者5の感情を推定する場合、精度が安定しないことがある。そして、感情エンジン30は、搭乗者5の感情を様々なデータに基づいて多面的に解析することにより、或る程度の精度にて搭乗者5の感情を推定し得る。しかし、人の感情は時、場所、場合等の様々な状況において急激に変化し得る。状況感情情報Inf3のみを用いて搭乗者5の感情を推定する場合、そのような感情の急激な変化に充分に対応することは難しい。
【0097】
本実施形態における感情推定装置200によれば、感情補正部221は、音感情推定部10により生成した音感情情報Inf1(例えば運転者の声に基づく感情推定結果)と、脈波感情推定部20により生成した脈波感情情報Inf2(例えば運転者の心拍に基づく感情推定結果)とをそれぞれ、感情エンジン30により生成した状況感情情報Inf3を用いて補正する。そして、感情判定部222は、補正後の推定結果を統合して、搭乗者5の感情の種類を判定する。
【0098】
これにより、互いに異なる手法を用いて得られた推定結果を融合させて、1つの感情を導き出すことができる。そのため、感情判定部222による判定結果が、推定対象の搭乗者5の感情の種類に正確に対応する蓋然性を高めることができる。
【0099】
(変形例)
(a)車両1は、公知の対話システムを備えていることが好ましい。感情推定装置200は、例えば、音感情情報Inf1の取得を所定の時間以上待機している場合に、搭乗者5に話しかけるように上記対話システムを制御する。これにより、搭乗者5が声を発することを促すことができ、音感情情報Inf1を取得し易くすることができる。
【0100】
(b)音感情推定部10は、搭乗者5の発する音を用いて音感情情報Inf1を生成するようになっていればよく、例えば、搭乗者5が車両1に乗り込むためにドアを開閉する際の音、クラクションの音、搭乗者5の指による打音、等を用いてもよく、それらの情報を搭乗者5の音声信号と組み合わせて用いてもよい。
【0101】
(c)生体情報取得部33は、搭乗者5の生体情報を取得できるものであればよく、シートセンサ33aは一例である。例えば、搭乗者5の耳朶に装着した機器を用いて、搭乗者5の脈波を検出してもよい。
【0102】
生体情報取得部33は、例えば、搭乗者5が装着しているデバイス(ウェアラブルデバイス)または生体情報の測定機能を有する携帯端末であってもよい。
【0103】
(d)本発明の一態様における感情推定装置では、搭乗者5から取得した生体信号に基づいて該搭乗者の感情を推定する第2の感情推定部により得られた第2の感情推定情報を用いるようになっていればよい。つまり、脈波感情推定部20に代替して、脳波、皮膚温度、呼吸、発汗、等の変化に基づいて、搭乗者5の感情を推定する第2の感情推定部を備えていてもよい。第2の感情推定部において用いられる情報に対応するように、生体情報取得部33として求められるセンサを車両1が搭載していればよい。
【0104】
(e)上記実施形態1では、感情の種類として喜、怒、哀、楽の4種類、および感情の度合いとしてHigh、Middle、Lowを設定していたが、これに限定されない。感情の種類および感情の度合いは適宜設定されてよい。
【0105】
(f)本発明の一態様における感情推定装置および環境提供システム4は、車両1に複数の人が搭乗している場合に適用することもできる。例えば、車両1に搭乗している複数の人のうち、優先度の高い一人を搭乗者5と設定してもよい。また、例えば、各人の頭を覆うような設備が車両1に搭載されており、車両1に搭乗している複数の人のそれぞれについて、個別に感情の推定および適切な環境の提供を行ってもよい。
【0106】
(g)感情推定装置200および環境制御装置300は、機械学習モデルを用いて処理を行うようになっていてもよい。この場合、記憶部230および記憶部320に機械学習により生成された学習モデル(学習済みモデル)が格納され、制御部220および環境制御部310は、学習モデル(例えばニューラルネットワーク)を用いて制御を行う。このような学習モデルに基づく処理について、公知の技術を利用して実現することができる。
【0107】
〔ソフトウェアによる実現例〕
感情推定装置200および環境制御装置300の制御ブロック(特に情報取得部210および環境制御部310)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0108】
後者の場合、感情推定装置200および環境制御装置300は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0109】
(附記事項)
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0110】
1 車両(移動体)
5 搭乗者
10 音感情推定部(第1の感情推定部)
20 脈波感情推定部(第2の感情推定部)
30 感情エンジン(感情生成アルゴリズム)
200 感情推定装置
221 感情補正部
222 感情判定部(判定部)