7549804 感情推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-04

(45)【発行日】2024-09-12

(54)【発明の名称】感情推定装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240905BHJP

【ＦＩ】

A61B5/16 120

【請求項の数】 3

(21)【出願番号】P 2021032323

(22)【出願日】2021-03-02

(65)【公開番号】P2022133570

(43)【公開日】2022-09-14

【審査請求日】2023-08-22

(73)【特許権者】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100080768

【弁理士】

【氏名又は名称】村田 実

(74)【代理人】

【識別番号】100106644

【弁理士】

【氏名又は名称】戸塚 清貴

(74)【代理人】

【識別番号】100166327

【弁理士】

【氏名又は名称】舟瀬 芳孝

(72)【発明者】

【氏名】中谷 裕紀

(72)【発明者】

【氏名】萬 菜穂子

(72)【発明者】

【氏名】渡邊 雅之

【審査官】▲高▼ 芳徳

(56)【参考文献】

【文献】特開２０１２－０４７４８３（ＪＰ，Ａ）

【文献】特開２０１８－０８６１３５（ＪＰ，Ａ）

【文献】特開２００２－３６６１７３（ＪＰ，Ａ）

【文献】星野 博之, 外１名，音源のシャープネス値と感情極性値に基づく快適覚醒音刺激に関する考察，ヒューマンインタフェース学会論文誌，2017年，Vol.19, No.3，p.231-242

【文献】吉田 倫幸，脳波のゆらぎ計測と快適評価，日本音響学会誌，1990年11月，46巻11号，p.914-919

【文献】島井 哲志, 外１名，環境音の快－不快評価と音圧の関係，日本音響学会誌，1993年04月，49巻4号，p.243-252

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０６ － ５／２２

Ｇ０１Ｈ １７／００

(57)【特許請求の範囲】

【請求項1】

音環境におかれた被測定者の感情状態を推定する感情推定装置において、
前記音環境における音データを取得する音データ取得手段と、
前記音データで特定される聴覚刺激を受けた際の前記被測定者の感情状態を所定の感情推定式に基づいて推定する推定手段と、
前記音データのテクスチャ特徴量に基づいて前記音データを音源の種類毎に予め設定されたカテゴリに分類する分類手段と、
前記音データが前記分類手段によってどのカテゴリに分類されたかにしたがって前記感情推定式を補正する補正手段と
を備え、
前記テクスチャ特徴量は、前記音データの周波数成分と変調周波数成分に基づいて算出される感情推定装置。

【請求項2】

請求項１に記載の感情推定装置において、
前記分類手段により前記音データが破裂音又は輸送機器のカテゴリに分類された場合、前記補正手段は、感情状態がより不快且つより活性と推定される方向に前記感情推定式を補正する感情推定装置。

【請求項3】

請求項１に記載の感情推定装置において、
前記分類手段により前記音データが人工音のカテゴリに分類された場合、前記補正手段は、感情状態がより不快と推定される方向に前記感情推定式を補正する感情推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定装置に関し、特に、聴覚刺激に対する被測定者の感情状態について推定精度を向上させた改良に関する。

【背景技術】

【0002】

車両の運転支援制御等の分野においては、様々な感覚刺激（視覚刺激や聴覚刺激等）を受けた被測定者（例えば車両乗員）の感情状態を推定する感情推定装置が知られている。また、このような感情推定装置を用いた運転支援制御としては、感情推定装置で推定された感情状態に基づいて、車両の乗員の感情状態がより運転に好ましい状態になるように、乗員に対して聴覚刺激や視覚刺激を与える方法が知られている。このような感情推定や運転支援制御に関する技術としては、例えば、特許文献１（特許第６４２８７４８号）に、人間の脳内の階層的な感覚情報処理を模擬したモデルを用いて車両乗員の感情を推定し、運転支援制御を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６４２８７４８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、聴覚刺激の人間の感性への影響は、音のテクスチャによって変わってくる。すなわち、聴覚刺激を受けた場合の人間の感じ方は、聴覚刺激の種類（機械音、自然音、電子音等の音源の種類）によって変わってくる。しかしながら、従来の感情推定装置（例えば、上記特許文献１に開示の技術）では、取得された音データの全体を、そのまま共通の感情推定式で処理して、感情推定が行われるので、音源の種類の違いが人間の感性に与える影響が感情推定に適切に反映されず、このため、感情推定の精度が十分には得られない場合があった。

【0005】

本発明は、以上のような事情を勘案してなされたもので、音環境におかれた被測定者の感情を推定する感情推定装置において、感情推定の精度を高めることができる感情推定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するため、本発明においては、次のような解決方法を採択している。すなわち、請求項１に記載のように、音環境におかれた被測定者の感情状態を推定する感情推定装置において、前記音環境における音データを取得する音データ取得手段と、前記音データで特定される聴覚刺激を受けた際の前記被測定者の感情状態を所定の感情推定式に基づいて推定する推定手段と、前記音データのテクスチャ特徴量に基づいて前記音データを音源の種類毎に予め設定されたカテゴリに分類する分類手段と、前記音データが前記分類手段によってどのカテゴリに分類されたかにしたがって前記感情推定式を補正する補正手段とを備え、前記テクスチャ特徴量は、前記音データの周波数成分と変調周波数成分に基づいて算出される。

【0007】

上記解決手法によれば、音データが音源の種類に応じてカテゴリに分類され、分類されたカテゴリに応じて感情推定式が補正されるので、感情推定には、音源の種類が被測定者の感情に与える影響が適切に反映され、感情推定の精度が向上する。また、各カテゴリへの分類及びこれに基づく感情推定は、人間の聴覚特性（人間の脳内の階層的な感覚情報処理）を的確に反映したものとできる。

【0009】

上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載の通りである。すなわち、前記分類手段により前記音データが破裂音又は輸送機器のカテゴリに分類された場合、前記補正手段は、感情状態がより不快且つより活性と推定される方向に前記感情推定式を補正する（請求項２対応）。この場合、破裂音又は輸送機器音を聞いたときに人間の感情が不快且つ活性の方向に変化する傾向が感情推定式に適切に反映されるので、感情推定の精度が高められる。

【0010】

前記分類手段により前記音データが人工音のカテゴリに分類された場合、前記補正手段は、感情状態がより不快と推定される方向に前記感情推定式を補正する（請求項３対応）。この場合、アラーム等、異常状態であることを示すことが多い人工的な音を聞いたときに人間の感情が不快方向に変化する傾向が感情推定式に適切に反映されるので、感情推定の精度が高められる。

【発明の効果】

【0011】

本発明によれば、音環境の成分を、人間の聴覚の特性に近いテクスチャ特徴量に基づいて音源の種類毎に分類し、分類毎の人間の脳の感じ方の特徴に基づいて、予め決められた補正手法により感情推定結果（感情推定式）を補正するので、感情推定の精度が高められる。

【図面の簡単な説明】

【0012】

【図1】被測定者の感情状態を示す感情マップ。

【図2】人間脳内の階層的な聴覚情報処理を模擬化して示すもので、各階層の特徴データと各特徴データの自己相関および相互相関の算出を示す図。

【図3】評価モデルを決定する手法を説明するための図。

【図4】評価モデルの設定を行う制御系統例を示すブロック図。

【図5】音のカテゴリへの分類例を示す図。

【図6】カテゴリ分類に基づく補正を行わずに感情推定した結果を示す図。

【図7】カテゴリ分類に基づく補正を行った場合の感情推定結果を示す図。

【発明を実施するための形態】

【0013】

以下、添付図面に基づいて本発明の実施形態について説明する。図１には、感情推定装置において被測定者の感情状態を示すための感情マップを示す。図示されるように、感情マップは、快・不快と活性・非活性との２軸をパラメータとするものであり、被測定者の感情状態は、感情マップ上における座標値で表される。

【0014】

図１において、感情マップは、縦横に９つの領域に破線で区分けされている（各領域の境界は破線で示される）。詳しく説明すると、活性・非活性のパラメータは、Ａ２を中間値として、非活性方向にＡ１が設定され、活性方向にＡ３が設定されている。つまり、Ａ１以下は非活性状態であり、Ａ３以上は活性状態であり、Ａ１とＡ３との間が中間の状態となる。

【0015】

また、快・不快のパラメータは、Ｂ２を中間値として、不快方向にＢ１が設定され、快方向にＢ３が設定されている。つまり、Ｂ１以下は不快状態であり、Ｂ３以上は快状態であり、Ｂ１とＢ３との間が中間の状態となる。

【0016】

本実施形態の感情推定装置を車両の運転支援に用いる場合、例えば、９つに区分された領域のうち、快・不快のレベルがＢ１よりも大きい範囲でかつ活性・非活性のレベルがＡ１とＡ３との間となる領域（領域２－２と領域３－２）が、望ましい感情状態（目標感情状態）とされ、運転者の感情状態をこの目標感情状態に近づけるような運転支援が行われることになる。

【0017】

次に、図２を参照しつつ、人間脳内の聴覚情報処理を模擬化した処理に基づく各階層での特徴データの算出と、各特徴データについてのＭｏｍｅｎｔおよび相互相関について説明する。すなわち、聴覚情報処理においては、音データが蝸牛（基底膜）に入力されることを出発点として、最終的に脳幹視床での処理が行われて、順次、第１階層の処理、第２階層の処理、第３階層の処理が行われるが、図２はこのような処理を模擬化して示すものである。なお、以下の説明では、図２中の数字を〇印で囲ったものを、〇１、〇２等でもって表示することとする（例えば〇１は、数字の１を〇印で囲ったものを意味する）。

【0018】

図２において、音データが、マイクにより構成された入力部１に入力される。入力された音データは、フーリエ変換部２において処理され、周波数でもって区分けされる（第１階層の処理）。図２では、簡単化のために高周波と低周波との２つに区分けした場合を示すが、実際には２０～３０程度に区分けされる。なお、この第１階層での処理は、蝸牛基底膜での処理に対応する。

【0019】

第２階層の処理においては、第１階層で得られた特徴データ（区分けされた周波数）について、非線形圧縮した包絡線の抽出処理（〇１、〇２で示す特徴データの抽出）と、この後の非線形圧縮処理（強い音は弱められ、弱い音は強められる処理に相当）により、〇３、〇４で示す特徴データが取得される。この第２階層での処理は、蝸牛基底膜の振幅特性と脳幹視床に基づく処理に相当する。

【0020】

第３階層の処理においては、フーリエ変換部３、４によって、第２階層での特徴データ〇３、〇４についてそれぞれ、さらに周波数によって区分けされる（第２階層における特徴データについての変調周波数に相当）。第３階層で算出された特徴データが、〇５～〇８で示される。第３階層での処理は、脳幹視床での処理に相当する。

【0021】

上述した各特徴データ〇１～〇８について、Ｍｏｍｅｎｔおよび相互相関が算出される。Ｍｏｍｅｎｔは、基本的統計量となる平均、分散、尖度、歪度のいずれかの値で定義され、階層によりＭｏｍｅｎｔの２乗値を用いる場合は別途Ｐｏｗｅｒの用語を用いるようにしてある。図２中、Ｍ２あるいはＭ３で示すものがＭｏｍｅｎｔあるいはＰｏｗｅｒであり、Ｃ０、Ｃ１、Ｃ２で示すのが相互相関である。より、具体的には、Ｍ２は、第２階層での特徴データとなる〇３、〇４についてＭｏｍｅｎｔであり、Ｍ３は、第３階層での特徴データとなる〇５～〇８についてのＰｏｗｅｒである。

【0022】

また、Ｃ０は、第２階層の特徴データとなる〇３と〇４との間での相互相関である。Ｃ１は、〇５と〇７の間の相互相関と、〇６と〇８との相互相関を示し、第１階層の処理によって区分けされた異なる周波数間での相互相関となる。Ｃ２は、〇５と〇６の間の相互相関と、〇７と〇８との間の相互相関を示し、第１階層の処理によって区分けされたときに同一周波数となる間での相互相関となる。

【0023】

次に、図３を参照しつつ、評価モデルを設定する例について説明する。なお、以下の説明では適宜、評価する感性が「不快」とした場合を例にして行うこととする。すなわち、例えばエンジン音が聴く者に与える不快なレベル（快レベル）を複数段階で評価する場合を例にして説明する。

【0024】

まず、図３中、Ｇ１、Ｇ２・・・Ｇｎとして示すのは、聴覚上の感性の評価対象となる異なる多数（例えば５００～１０００）の音データを示す。この多数の音データについての聴覚上の感性評価値（例えば不快レベルについて複数段階での評価値）が紐づけられている。なお、不快レベル評価値は、評価を行う複数人の専門家による評価値を平均した平均値としてある。図３において、太い縦線は、図２に示す個々のＭｏｍｅｎｔや相互相関を仕切る線である。そして、太い縦線で囲まれた範囲内での細い縦線は、Ｍｏｍｅｎｔや相関レベルを示す個々のデータ（相関係数）を仕切るものである。

【0025】

図３において、「２ｎｄ」として示すのは第２階層における特徴データであることを意味し、「３ｒｄ」として示すのは第３階層における特徴データであることを意味する。また、「Ａｃｒｏｓｓ」として示すのは、第１階層で区分けされた周波数のうち異なる周波数間での相互相関であることを意味し、「Ｗｉｔｈｉｎ」として示すのは第１階層で区分けされた周波数のうち同一周波数間での相互相関であることを意味する。

【0026】

図３では、相関の種類として６種類が設定されている。すなわち、左側から右側へ順次、「２ｎｄＭｏｍｅｎｔ」、「２ｎｄＡｃｒｏｓｓ」、「３ｒｄＰｏｗｅｒ、「３ｒｄＡｃｒｏｓｓ」、「３ｒｄＷｉｔｈｉｎ（Ｒｅａｌ）」、「３ｒｄＷｉｔｈｉｎ（Ｉｍａｇｅ）」である。なお、「３ｒｄＷｉｔｈｉｎ」については、ヒルベルト変換して、その実部が「３ｒｄＷｉｔｈｉｎ（Ｒｅａｌ）」とされ、虚部が「３ｒｄＷｉｔｈｉｎ（Ｉｍａｇｅ）」とされる。

【0027】

各音データについて、Ｍｏｍｅｎｔ、相互相関が算出される。１つの音データについて、Ｍｏｍｅｎｔおよび相互相関について、数多くの値を有するものである。各Ｍｏｍｅｎｔおよび各相互相関について、主成分分析（例えば５次元）が行われて、図３中Ａ列で示すようにデータ抽出（データの絞り込み）が行われる。また、図３中Ｂ列で示すように、Ａ列の中から、主観評価値に対して一定以上の相関を有するもの（例えば不快レベルの評価に大きな影響を及ぼすパラメータ）が選択される。

【0028】

主成分分析によって取得された上記Ａ列に示すパラメータに基づいて、評価モデルを示す（１）式が、数１のように決定される。

【0029】

【数1】

（１）式中、Ｙ、各音データについての評価値であり、ａ０～ａｍ、ｂ１～ｂｍ、ｃ（ｃについてのサフィックスはここでは省略）は係数（定数）であり、Ｘ１～Ｘｍは、図３で示すＡ列でのＭｏｍｅｎｔ（あるいはＰｏｗｅｒ）および相互相関値である。当初は、上記各係数は不知である。（１）式に対して、各音データＧ１～Ｇｎについての主観的な評価値ＹとＭｏｍｅｎｔや相互相関値Ｘ１～Ｘｍをあてはめて、回帰手法によって各係数が決定される。回帰モデルとなる（１）式において、個々の係数は、多数のＭｏｍｅｎｔや相互相関値のうち特定の１つが対応づけられている。

【0030】

（１）式は、抽出されたＡ列で示すＭｏｍｅｎｔや相互相関値を含むように決定されたものとなる。この（１）式から、図３のＢ列で示すような例えば不快レベルの評価に大きな影響を与えるパラメータのみを残して（評価に影響がないパラメータを削除して）、不快レベル評価用の評価モデル式が下記の（２）式のように決定される。すなわち、（２）式では、（１）式でのサフィックスｍよりも小さいサフィックスｎを有するものとなる。

【0031】

【数2】

ここで、上記（１）式では、全ての１次項に対して、２次の項および交互作用の項（初期値ａ０を除く右辺第３項）を含んでいる。実際には、評価モデルを極力シンプルにするという観点から、主観評価に所定以上の影響を有するある特定の１次の項に対してのみ、２次の項および交互作用の項を有するものとするのが好ましく、このような処理が行われた後の状態が、（２）式である。なお、（２）式は、（１）式から不要なパラメータについての係数分を削除した後に、各係数のサフィックスが連続するように書き直したものとなっている（（１）式と（２）式とでは、同じサフィックスの係数が同じ内容を示すものとは限らない）。

【0032】

ある音データの不快レベル評価を行う場合、当該ある音データについて、図３に示すようにＭｏｍｅｎｔ（Ｐｏｗｅｒ）や相互相関値を算出し、この算出結果を上記（２）式に当てはめることにより、上記ある音データについての評価値が数値でもって算出されることになる（定量化で可視化ともなる）。なお、（２）式での評価モデルの妥当性を、図３で示す音データＧ１～Ｇｎ以外の複数の音データ（から算出されるＭｏｍｅｎｔや相互相関値）とそれに対する主観的な評価値とを利用して、検証することもできる。

【0033】

なお、上記の説明では、聴覚上の感性に着目して説明したが、視覚上の感性についても同様に評価モデルを設定することができる。すなわち、人間の視覚情報処理を模擬したときは、第１階層では周波数（つまり解像度）による区分け、第２階層では方位選択処理、第３階層では方位信号強度の処理が行われて、第１階層から第３階層の各特徴データについての自己相関（を示す相関値で、モーメントに基づく値を使用することもできる）、相互相関（を示す相関値）を利用して、図３で説明したのと同様な手法により、視覚上の感性についての評価モデルが設定される。

【0034】

次に、図４を参照しつつ、本発明の実施形態における感情推定装置の制御系統例（感性評価を行うための評価モデルを設定するための全体的な制御系統例）について説明する。図４において、１１は、聴覚上の感性の評価対象となる音データの入力部であり、例えばマイクによって構成される。入力部１１に入力された音データは、図２及び図３を参照して説明した手法によって処理され、音データの特徴統計量として自己相関および相互相関が算出される。すなわち、入力された音データについて、特徴データが音特徴算出部１２によって算出されて、この特徴データに基づいて、統計量計算部１３によって自己相関および相互相関が算出される。

【0035】

一方、個人情報入力部２１において、個人情報（例えば性別、年齢、職業等）が入力され、入力された個人情報が、個人情報前処理部２２で前処理（例えば年齢を複数段階に分類等）された後、個人情報記録部２３に記録（記憶）される。

【0036】

生体センサ入力部２４で入力された生体情報と主観評価部２５で入力された主観的な感性評価値とが、感性実測値推定部２６に入力されて感性実測値が推定され、この推定された感性実測値が感性実測値記録部２７に記録（記憶）される。

【0037】

評価対象情報入力部２８で入力された評価対象データ（例えば音データ）に基づいて、評価対象特定部２９において評価対象が特定される。そして、この評価対象特定部で特定された評価対象が、評価対象記録部３０に記録（記憶）される。また、聴覚統計量計算部１３での計算結果が、聴覚統計量記録部３１に記録（記憶）される。

【0038】

上述した各記録部２３、２７、３０、３１が、データベース部Ｄを構成する。このデータベース部Ｄでのデータに基づいて、評価モデルが設定される。具体的には、データベース部Ｄでのデータが、評価パラメータ選択部Ｐに入力されて、評価すべき感性の種類に応じて、適切なパラメータ（評価軸）が選択されて（図３のＢ列のパラメータ選択が対応）、選択されたパラメータに応じて評価モデルが設定される（（２）式に示す評価モデルが設定される）。

【0039】

評価対象記録部３０での記録内容は、図３に示す多数の音データＧ１～Ｇｎとして利用され、感性実測値記録部２７での記録内容が、各音データＧ１～Ｇｎに対する主観的な評価値として利用される。個人情報入力部２１は、個人情報（例えば性別や年齢層）に応じて評価値を補正するためのものであり、無くてもよいものである。統計量記録部３１は、新たに感性評価したときに、これを用いて評価モデルを学習補正するために用いられる。

【0040】

評価パラメータ選択部Ｐは、評価する感性の内容（種類）に応じて評価パラメータ（評価軸）を選択するものである。図４においては、評価パラメータとして、視覚刺激に関する評価パラメータＡと、聴覚刺激（音データ）に関する評価パラメータＢが例示されている。評価モデル構築部Ｃにおいては、評価パラメータ選択部Ｐで選択された評価パラメータに基づいて評価モデルが生成され、この評価モデルに基づいて、被測定者の感情状態の推定が実行される。

【0041】

評価パラメータ選択部Ｐには、カテゴリ分類フィルタ３２が設けられている。カテゴリ分類フィルタ３２は、評価対象となる感性データが音データ（聴覚刺激）である場合に、取得された音データを、音源を特徴づける特徴量（テクスチャ特徴量）に基づいて、音源の種類毎に予め設定されたカテゴリに分類するフィルタである。すなわち、カテゴリ分類フィルタ３２は、音データをテクスチャ解析することにより、音データが含まれる可能性の高いカテゴリを選定し、選定されたカテゴリに音データを分類する。なお、カテゴリ分類フィルタ３２は、例えば機械学習により構築されるものである。

【0042】

カテゴリ分類フィルタ３２において音データの分類がなされると、音データがどのカテゴリに分類されたかにしたがって、評価モデル形成のためのパラメータセットに対して、カテゴリ毎の補正（音データの属するカテゴリに適合した補正）がなされる。例えば、図４においては、視覚刺激に関する評価パラメータＡは、音データに関するものではないので補正されないが、聴覚刺激に関するパラメータセットＢは、音データが属するカテゴリに応じた補正がなされることになる。

【0043】

具体的には、感情推定式である上記式（２）における係数が、分類された各カテゴリの特徴（各カテゴリの音に対する人間の脳における感じ方）を反映したものに補正される（カテゴリ毎に予め設定された係数に変更される）。

【0044】

このように、本実施形態の感情推定装置では、音データをカテゴリに分類し、感情推定式に対してカテゴリ毎の補正を行うので、感情推定の精度が向上する。詳しく説明すると、聴覚刺激は、音データのカテゴリ（例えば、自然音、電子音等の音源の種類）によって、人間の感情（感性）に働きかける作用が大きく相違してくる（音の特徴量の感情への寄与
度が異なってくる）が、音データを全体として分析しただけでは、この相違が感情推定に十分に反映されない。このため、本実施形態においては、聴覚刺激に関するパラメータセットを、音データの属するカテゴリに応じて補正することにより、感情推定（感性評価）において、カテゴリが異なることによる相違を適切に反映させることができるようにし、より高精度できめ細かな感情推定を可能としている。

【0045】

カテゴリ分類フィルタ３２における音データの分類は、音データのテクスチャ特徴量に基づいて実行される。本実施形態においては、音データのテクスチャ特徴量として、特徴算出部１２及び計量計算部１３によって算出された自己相関及び相互相関が用いられる。

【0046】

具体的には、図２及び図３とともに説明した通りの手順で、自己相関及び相互相関が算出される。すなわち、取得された音データは、周波数分解→包絡線抽出→変調周波数分解の順で処理され、周波数成分の振幅について平均、分散、歪度、尖度が計算され、自己相関及び相互相関が算出される（時間軸の変調を捉える）とともに、変調周波数成分（音波の包絡線の周波数成分）について、自己相関及び相互相関が算出される（時間／周波数変調を捉える）。

【0047】

このように、テクスチャ特徴量は、音の周波数成分と変調周波数成分に基づいて算出されるので、各カテゴリへの分類及びこれに基づく感情推定は、人間の聴覚特性（人間の脳内の階層的な感覚情報処理）を的確に反映したものとできる。

【0048】

図５には、音データのカテゴリへの分類例を示す。本例において、音データの音源は、「動物」、「破裂音」、「日常音」、「電子音」、「音楽」、「自然音」、「会話」、「背景音」、「（電気的）効果音」、「輸送機器」の１０個のカテゴリに分類される。

【0049】

図５に示されるように、「動物」カテゴリは、犬、猫、牛、馬、鳥等の動物の鳴き声等を含むものである。また、「破裂音」カテゴリは、銃声、爆破音、衝突音等を含むである。また、「日常音」カテゴリは、ベル、アラーム、ドアの開閉音、電話の音等を含むものである。また、「電子音」カテゴリは、テレビゲームの音、カジノの音、スマートフォンの音等を含むものである。また、「音楽」カテゴリは、カントリー、ロック、オーケストラ等の各ジャンルの音楽の音を含むである。また、「自然音」カテゴリは、海、谷、火、雷、雨、風の音等を含むものである。また、「会話」カテゴリ（「ヒト」カテゴリ）は、会話、泣き、笑い、叫び等のヒト（人間）の声を含むものである。また、「背景音」カテゴリは、街、オフィス等の音を含むものである。また、「効果音」カテゴリは、ホラー、サスペンス等の映像作品のシーンにおいて使用される音を含むものである。また、「輸送機器」カテゴリは、車、電車、飛行機、バイク等の音を含むものである。

【0050】

各カテゴリに応じた感情推定式の補正は、各カテゴリの音の感情値の特徴（補正を加えない感情推定式での推定に対して、実際の感情スコアがどのような傾向にあるか）に応じて実行される。例えば、「破裂音」や「輸送機器」の感情値の特徴は、不快且つ活性であるので、音データが「破裂音」や「輸送機器」に分類された場合には、感情推定式は、快／不快については、より不快と推定する方向に、また活性／非活性については、より活性と推定する方向に、補正がなされることになる。同様に、「電子音」や「背景音」の場合には、より活性と推定される方向の補正が、「音楽」の場合には、より快と推定される方向の補正が、「会話」の場合には、より不快と推定される方向の補正が、それぞれ行われることになる。

【0051】

音データ分類の別法として、人工音（例えば、電子音、警告音等）のカテゴリと非人工音（自然音、ヒトの声等）のカテゴリに分類することも考えられる。この場合、人工音は、アラーム等、異常状態を示すものであることが多いため、人間の感情に対して、より不快の方向に作用するものである。したがって、人工音に分類された音に対しては、より不快と推定する方向に感情推定式が補正される。

【0052】

なお、上記の説明では、音データが１つのカテゴリに分類される場合（音源が単独である場合）について説明してきたが、本発明は、音データの音源が複数である場合にも適用可能である。この場合、例えば、上記式（２）の係数を、音データにおける各音源の含有割合を考慮したうえで、音源の属する各カテゴリからの影響を反映したものに設定すればよい。

【0053】

図６及び図７には、本発明の感情推定装置（補正された感情推定式）を用いることによる感情推定の精度向上を、音のカテゴリ毎の感情マップで示す。図６に示されるように、本発明の補正を行わない感情推定式による感情推定においては、図中に黒塗りの菱形で示す感情推定値が、図中に白抜きの丸で示す感情スコア（生体センサ等で直接的に検出された感情状態）に重ならずに予測が大きく外れているカテゴリが見受けられる。

【0054】

これに対して、図７に示されるように、本発明の補正を行った感情推定式による感情推定によれば、感情推定値と感情スコアの一致度（重なり度合い）が向上し、予測精度が大幅に向上していることが分かる。例えば、「破壊音」カテゴリの場合、カテゴリ補正無しの感情推定では、縦軸に示す快／不快と横軸に示す活性／非活性において、実際よりも快及び非活性の方向に推定されてしまっているのに対して、本発明の感情推定によれば、不快及び活性の度合いが的確に推定され、感情スコアと感情推定値の一致度が向上している。

【0055】

次に、本発明の感情推定装置を用いた車両の運転支援制御について説明する。運転支援において、従来技術のように、音のカテゴリによらない共通の感情推定式によって乗員の感情を推定し、この推定結果に基づいて、乗員の感情状態の制御（例えば、不快状態を快状態とするように制御音を出す制御）を行う場合、音のカテゴリ（音源の種類）によって音の特徴量の感情への寄与度が異なるため、誤推定が生じやすい。

【0056】

例えば、聴覚刺激である音楽を不快と判定してしまう結果、乗員が快状態であるのに、これを打ち消す制御音を出力してしまって、音環境が変わって乗員が不快になってしまうことがあり得る。また、走行ノイズを快と判定することにより、乗員が不快状態にあるのに、これに対する適切な制御がなされないことがあり得る。

【0057】

これに対して、本発明の感情推定装置を用いた運転支援制御によれば、音をカテゴリに分類し、カテゴリ毎の感情推定式によって感情を推定するので、乗員の感情を的確に推定することができ、適切な制御（例えば、スピーカからの制御音の出力、車両挙動の制御（ｃｏ－ｐｉｌｏｔ）等）を行うことができる。

【0058】

上記１０個のカテゴリの各々に対応した運転支援制御としては、以下のような制御が考えられる。本発明によれば、これらの制御において、各カテゴリの特徴を反映した的確な感情推定を行えるので、より効果的な運転支援制御を実行し得る（感情推定式に対する補正が、特に有効に機能する）。

【0059】

音カテゴリが「動物」である場合の制御としては、動物が出そうな場所（例えば地図情報より検出される）を走行している際、車両内外のマイクのうちで内側のマイクでのみ「動物」と分類される音が検出された場合（例えば、動物の鳴き声がラジオから聞こえた場合）に、非活性に強調した制御音を出して乗員を落ち着かせ、動物が飛び出す可能性が低いとアナウンスする制御を行い得る。

【0060】

また、車両に動物が同乗している場合には、車両内（例えば後席）の動物の鳴き声が活性かつ不快であったとき、乗員にも活性かつ不快さを強調した音を出力し、動物に発生した異常に気づかせる（動物の体調悪化を乗員に伝える）制御を行い得る。

【0061】

また、車両周辺に動物が潜んでいる可能性があるとき、車室外のマイクの音が「動物」のカテゴリであった場合（つまり、車両外の動物を検出した場合）、動物の飛び出しを警戒し、車速を落とす車両挙動制御を行い得る。

【0062】

音のカテゴリが「破壊音」である場合の制御としては、例えば、自車が故障した場合や自車の周囲で事故が発生した場合が考えられ、乗員は混乱した状態にあると想定できるので、非活性に強調した制御音を出力して、乗員を落ち着かせる制御を行い得る。また、乗員に周囲の状況確認をするよう注意喚起を行う制御音を出力する制御を行い得る。更に、自車の故障・事故による音の場合、路肩に緊急停止させる車両挙動制御を行い得る。

【0063】

音のカテゴリが「日常音」（ベル、アラーム、ドアの開閉音、電話の着信音等）である場合の制御としては、警告音が鳴っているときに、感情状態を活性・不快に強調した制御音を出力し、警告音に従わせる（確認や車両停止をさせる）制御を行い得る。また、自車の周囲でサイレンが鳴っている場合には、車両を路肩に寄せる車両挙動制御を行い得る。

【0064】

音のカテゴリが「電子音」である場合の制御としては、運転席でスマートフォンの音を検出したとき（ドライバーが、ながらスマホをしていると考えられるとき）に、不快側に強調した制御音を出力し、ながらスマホをやめさせる（又は注意勧告する）制御を行い得る（危険運転の防止）。また、後席で電子音を検出した場合（例えば、後席で同乗者がゲームをしている場合）、ドライバーにはマスキング音を出力し、ゲーム音が伝わらないようにすることで、運転に集中させる制御を行い得る。

【0065】

音のカテゴリが「音楽」である場合（例えば、車内のオーディオからの音楽が検出された場合）の制御としては、事前に好みのジャンル（カントリー、ロック、オーケストラ等）を登録しておき、各ジャンルに合わせた特徴量を持つ音を合わせて出力し、好みの音楽のジャンルにアレンジする制御を行い得る。

【0066】

音のカテゴリが「自然音」である場合の制御としては、雷のような天候の変化があったときに、雷に驚いて活性状態になった乗員を、非活性を強調した制御音を出力することにより落ち着かせる制御を行い得る。また、車両が海や山に近づいてきたことを車外のマイクが検出した場合には、自然音（例えば、波の音、木々の揺れる音、小鳥のさえずり等）の特徴を強調した制御音を出力し、その自然音を強調して聞かせることにより、自然を身近に感じさせる制御を行い得る。

【0067】

音のカテゴリが「会話」である場合の制御としては、乗員同士の会話やラジオからの音声が検出されたとき、人間の声以外の音を非活性に強調する（更にレベルも低減させる）ことで、人間の声（会話）を聞き取りやすくする制御を行い得る。また、乗員の一人が体調不良により切羽詰まった声を出している場合、他の乗員に活性及び不快を強調した制御音を出力して、乗員の一人の体調不良を他の乗員に気付かせる制御を行い得る。

【0068】

音のカテゴリが「背景音」である場合の制御としては、車室外のマイクで人混みを検出した場合、活性に強調した制御音を出力し、人の動きに注意を向けさせる制御を行い得る。また、人の混雑を検出した際に、車両の速度を低減させる車両挙動制御を行い得る。

【0069】

音のカテゴリが「効果音」である場合の制御としては、ドライバー以外の乗員が映像（例えば、ホラー、サスペンス等の映像）を見ている場合に、ドライバーには快に強調した制御音を出力し、映像の影響を受けにくくする制御を行い得る。また、オーディオ・ラジオからの音が検出された場合に、オーディオ・ラジオからの音以外の音を非活性に強調する（更にレベルも低減させる）ことにより、オーディオ・ラジオからの音を聞き取り易くする制御を行い得る。

【0070】

音のカテゴリが「輸送機器」である場合の制御としては、車両の走行中に、走行時の車内音が不快であれば、快を強調した制御音を出力して、乗員の感情状態を快にする制御を行い得る。

【0071】

また、車室外のマイクで接近する他車を検出した場合、その他車が実際よりも近くに接近したように聞こえるように、活性に強調した制御音を出力し、接近を知らせる制御を行い得る。また、車両挙動制御として、他社との車間距離をとるように自車を移動させる制御を行い得る。

【0072】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲において適宜の変更が可能である。例えば、上記実施形態で開示した音のカテゴリは例示であり、上記実施形態とは異なるカテゴリの設定も可能である。

【産業上の利用可能性】

【0073】

本発明は、車両の運転支援において、乗員（ドライバーや同乗者）の感情状態を的確に推定するために利用できる。

【符号の説明】

【0074】

Ｄ データベース部
Ｐ 評価パラメータ選択部
Ｃ 評価モデル構築部
１１ 評価対象取得部
１２ 特徴量算出部
１３ 統計量計算部
２１ 個人情報入力部
２２ 個人情報前処理部
２３ 個人情報記録部
２４ 生体センサ入力部
２５ 主観評価入力部
２６ 感性実測値推定部
２７ 感性実測値記録部
２８ 評価対象情報入力部
２９ 評価対象特定部
３０ 評価対象記録部
３１ 統計量記録部
３２ カテゴリ分類フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】