特許 7192222 発話システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】発話システム

(51)【国際特許分類】

   G10L 15/10 20060101AFI20221213BHJP

   G10L 13/00 20060101ALI20221213BHJP

   G10L 15/22 20060101ALI20221213BHJP

【ＦＩ】

G10L15/10 500Z

G10L13/00 100M

G10L15/22 300Z

【請求項の数】 2

(21)【出願番号】P 2018042377

(22)【出願日】2018-03-08

(65)【公開番号】P2019158975

(43)【公開日】2019-09-19

【審査請求日】2020-10-26

【前置審査】

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(72)【発明者】

【氏名】岡本 圭介

(72)【発明者】

【氏名】遠藤 俊樹

(72)【発明者】

【氏名】渡部 聡彦

(72)【発明者】

【氏名】本多 真

【審査官】中村 天真

(56)【参考文献】

【文献】特開２０１２－１３３５３０（ＪＰ，Ａ）

【文献】特開２０１７－００９８２６（ＪＰ，Ａ）

【文献】特開２０１５－０８８１０８（ＪＰ，Ａ）

【文献】特開２０１７－１６７７９７（ＪＰ，Ａ）

【文献】特開２０１１－１８６５２１（ＪＰ，Ａ）

【文献】特開２００４－０４８５７０（ＪＰ，Ａ）

【文献】特開２００１－２１５９９３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３７３５４７（ＵＳ，Ａ１）

【文献】特開２０１８－０６３４８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－２５／９３

Ｇ０６Ｆ ３／０１－ ３／１６

Ｇ０１Ｃ ２１／００－２１／３６

Ｂ２５Ｊ １／００－２１／０２

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

複数の人のそれぞれの感情を示す感情情報と、当該複数の人同士による会話状況から、当該複数の人の間の状況を示す状況値を取得する状況管理部と、
前記状況管理部が取得した状況値にもとづいて、オブジェクトに発話させるか否かを決定する発話制御部と、を備え、
当該複数の人の間の状況を示す状況値は、当該複数の人が存在する場の雰囲気の良し悪しの程度を表現する値であり、
前記状況管理部が、場の雰囲気が悪いことを示す状況値を取得すると、前記発話制御部は、オブジェクトに発話させることを決定し、
前記状況管理部が、場の雰囲気が良いことを示す状況値を取得すると、前記発話制御部は、オブジェクトに発話させないことを決定する、
ことを特徴とする発話システム。

【請求項2】

オブジェクトは、仮想オブジェクト又は現実のオブジェクトである、
ことを特徴とする請求項１に記載の発話システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の人が存在する環境において、仮想オブジェクトや、ロボットなどの現実のオブジェクトの発話を制御する技術に関する。

【背景技術】

【0002】

特許文献１は、会議や授業に参加するロボットを開示する。このロボットは、複数のユーザから言動情報を取得して、適切なタイミングでユーザの言動を反映した言動を実行する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－３００５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されるロボットは、その場に参加している参加者間の意思疎通を良好にすることを目的として、参加者の気持ちを代弁するように行動する。本発明者は、複数の人が存在する場の雰囲気に着目し、仮想オブジェクトや、ロボットなどの現実のオブジェクトの行動によって、場の雰囲気に良好な影響を与えられる可能性を見いだした。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、仮想オブジェクト又は現実のオブジェクトに、場の雰囲気に好影響を与えるような行動をさせる技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の発話システムは、複数の人のそれぞれの感情を示す感情情報と、当該複数の人同士による会話状況から、当該複数の人の間の状況を示す状況値を取得する状況管理部と、状況管理部が取得した状況値にもとづいて、オブジェクトに発話させるか否かを決定する発話制御部とを備える。当該複数の人の間の状況を示す状況値は、当該複数の人が存在する場の雰囲気の良し悪しの程度を表現する値であってよい。オブジェクトは、仮想オブジェクト又は現実のオブジェクトであってよく、発話制御部は、仮想オブジェクト又は現実のオブジェクトの発話を制御する。現実のオブジェクトは、典型的にはロボットであるが、音声出力機能を有する機器であればよい。

【0007】

この態様によると、発話制御部は、複数の人の間の状況を示す状況値にもとづいてオブジェクトの発話を制御することで、複数の人の間の状況を改善したり、または当該状況に対して良好な影響を与えることが可能となる。

【0008】

発話制御部は、場の雰囲気の良し悪しの程度にもとづいてオブジェクトの発話を制御することで、場の雰囲気を改善したり、または場の雰囲気に良好な影響を与えることが可能となる。

【0009】

状況管理部は、各人の感情情報に加えて、当該複数の人同士による会話状況も用いて、当該複数の人の間の状況を示す状況値を取得してよい。これにより場の雰囲気の良し悪しの程度を、より客観的に取得できるようになる。

【0010】

発話制御部は、状況値にもとづいて、オブジェクトに発話させるか否かを決定してよい。状況管理部が、場の雰囲気が悪いことを示す状況値を取得すると、発話制御部は、オブジェクトに発話させることを決定し、状況管理部が、場の雰囲気が良いことを示す状況値を取得すると、発話制御部は、オブジェクトに発話させないことを決定してよい。

【発明の効果】

【0011】

本発明によれば、複数の人の間の状況に応じてオブジェクトの発話を制御する技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】情報処理システムの概略構成を示す図である。

【図2】車室内の様子を示す図である。

【図3】情報処理システムの機能ブロックを示す図である。

【図4】撮影画像の一例を示す図である。

【図5】雰囲気評価テーブルの一例を示す図である。

【図6】（ａ）、（ｂ）は、キャラクタの発話内容の例を示す図である。

【図7】（ａ）、（ｂ）は、キャラクタの発話内容の別の例を示す図である。

【発明を実施するための形態】

【0013】

実施形態の情報処理システムは、複数の人が乗車している車室内において各乗員の感情を推定し、各乗員の感情を示す感情情報から、複数の乗員の間の状況を示す状況値を取得する。この状況値は、車室内の雰囲気の良し悪しの程度を表現するものであってよく、情報処理システムは状況値にもとづいて、車載ディスプレイに表示される仮想オブジェクトの発話を制御する。したがって実施形態の情報処理システムは、仮想オブジェクトの発話を制御する「発話システム」を構成する。

【0014】

実施形態では、仮想オブジェクトが、車室内の雰囲気の改善を目的として、乗員に対し発話するが、対象とする環境は車室内に限らず、複数の人同士が会話する会議室などの会話空間であってよく、会話空間は、複数の人同士がインターネットを通じて電子的に繋がる仮想的な空間であってもよい。また実施形態では、仮想オブジェクトが乗員に対して発話するが、発話は、ロボットなどの現実のオブジェクトによって行われてもよい。

【0015】

図１は、実施形態の情報処理システム１の概略構成を示す。情報処理システム１は、車両２に搭載された車載機１０と、インターネットなどのネットワーク５に接続されたサーバ装置３とを備える。サーバ装置３は、たとえばデータセンターに設置されて、車載機１０から送信されるデータを処理する機能をもつ。車載機１０は、基地局である無線局４との無線通信機能を有する端末装置であって、ネットワーク５経由でサーバ装置３と通信可能に接続できる。

【0016】

情報処理システム１は、仮想オブジェクトであるキャラクタが車両２の乗員に対して発話する発話システムを構成し、キャラクタは、車室内の雰囲気に影響を与えるような言葉（発話内容）を音声出力する。たとえば乗員同士の会話中に、意見が対立して雰囲気が悪くなってしまったような場合に、キャラクタは、乗員の気分を和らげるような内容の発話を行って、場の雰囲気を改善するように努める。

【0017】

発話システムは、各乗員の感情を推定して、各乗員の感情を示す感情情報を生成し、それぞれの感情情報から複数の乗員の間の状況を示す状況値を取得する。この状況値は、車室内の雰囲気の良し悪しの程度を表現する値であり、雰囲気の良し悪しを複数段階に分類したうちの１つの段階を示す値である。発話システムは状況値にもとづいて、キャラクタが発話するか否かを決定し、発話する場合には、その発話内容を決定する。特に状況値が雰囲気の悪いことを示す場合には、キャラクタが、雰囲気を改善させる発話内容を出力する。

【0018】

各乗員の感情を推定する処理、推定した各乗員の感情から状況値を導出する処理、状況値にもとづいてオブジェクトの発話を制御する処理は、それぞれサーバ装置３および／または車載機１０で実施されてよい。たとえば全ての処理が車載機１０で実施されてもよく、また全ての処理がサーバ装置３で実施されてもよい。全ての処理がサーバ装置３で実施される場合には、オブジェクトからの発話処理のみが車載機１０で実施される。なお感情推定処理には、画像分析や音声分析などの処理が必要であるため、感情推定処理のみがサーバ装置３で実施されて、残りの処理が車載機１０で実施されてもよい。以下、これらの処理が主として車載機１０で実施する場合について説明するが、実施形態の発話システムは、動作主体を車載機１０に限定するものではない。

【0019】

図２は、車室内の様子を示す。車載機１０は、画像および音声を出力可能な出力部１２を有する。出力部１２は、車載ディスプレイ装置およびスピーカを含む。車載機１０は、乗員に情報を提供するエージェントアプリケーションを実行し、エージェントアプリケーションは、仮想オブジェクトであるキャラクタ１１から、乗員に情報を画像および／または音声で提供する。この例でキャラクタ１１は顔画像で表現されており、キャラクタ１１の発話内容はスピーカから音声出力され、さらに吹き出しの形式で車載ディスプレイ装置に表示されてもよい。なおキャラクタ１１は顔画像に限らず、全身画像で表現されてもよく、さらに他の態様の画像で表現されてもよい。

【0020】

実施形態でキャラクタ１１は、乗員同士の間に形成される雰囲気に良好な影響を与えるように発話制御される。具体的にキャラクタ１１は、乗員同士の意見が対立して、お互いに「怒り」の感情が強くなっている場合に、気持ちを静めさせるような発話を行って、雰囲気の改善に努める。車両２は、車室内を撮影するカメラ１３と、車室内の音声を取得するマイク１４とを備える。

【0021】

図３は、情報処理システム１の機能ブロックを示す。情報処理システム１は、処理部２０および記憶部１８と、入出力インタフェースである出力部１２、カメラ１３、マイク１４、車両センサ１５、ＧＰＳ（Global Positioning System, 全地球測位システム）受信機１６および通信部１７を備える。処理部２０はＣＰＵなどのプロセッサによって構成され、ナビゲーションアプリケーション（以下、「ナビアプリ」と呼ぶ）２２、乗員状態管理部３０、プロファイル取得部４２、状況管理部５０および発話制御部６０の各機能を実施する。ナビアプリ２２は、当日の運転距離や運転時間などの運転情報を、乗員状態管理部３０に提供する。乗員状態管理部３０、プロファイル取得部４２、状況管理部５０および発話制御部６０は、エージェントアプリケーションの一機能を実現する構成であってよい。

【0022】

乗員状態管理部３０は、画像分析部３２、音声分析部３４、会話状況分析部３６、車両データ分析部３８および感情推定部４０を有して、車室内の各乗員の感情を推定し、また複数の乗員同士による会話状況を評価する。状況管理部５０は、乗員状態取得部５２、会話状況取得部５４および状況値取得部５６を有する。発話制御部６０は、発話判定部６２および発話内容決定部６４を有する。

【0023】

図３に示す各種機能は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたシステムソフトウェアやアプリケーションプログラムなどによって実現される。したがって、これらの機能が車載機１０および／またはサーバ装置３において、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0024】

カメラ１３は車室内の乗員を撮影する。カメラ１３は、車室全体を撮影できるようにバックミラーに取り付けられてよい。カメラ１３による撮影画像は処理部２０に供給されて、画像分析部３２が、撮影画像を画像分析する。

【0025】

図４は、カメラ１３により撮影された撮影画像の一例を示す。ここでは２人が乗車しており、乗員Ａが運転者、乗員Ｂが同乗者である。画像分析部３２は、撮影画像に含まれる人を検出して、人の顔画像を抽出する。画像分析部３２は、感情推定処理のために、乗員の顔画像を感情推定部４０に供給する。このとき画像分析部３２は、乗員Ａの顔画像を、運転者であることを示す情報とともに感情推定部４０に供給する。

【0026】

なお記憶部１８には、登録ユーザの顔画像の特徴量が記憶されている。画像分析部３２は、記憶部１８に記憶された登録ユーザの顔画像の特徴量を参照して、乗員Ａ，Ｂの顔画像の認証処理を実行し、乗員Ａ，Ｂが登録ユーザであるか否かを判定する。たとえば車両２がファミリーカーである場合、家族全員の顔画像の特徴量が記憶部１８に記憶されていてよい。また車両２が社用車である場合、車両２を利用する社員の顔画像の特徴量が記憶部１８に記憶されていてよい。

【0027】

画像分析部３２は、顔画像の特徴量と乗員Ａ，Ｂの顔画像の特徴量とを比較して、乗員Ａ、Ｂが登録ユーザであるか否かを判定する。画像分析部３２は、乗員が登録ユーザであることを判定すると、乗員の顔画像を、登録ユーザの識別情報とともに感情推定部４０に供給する。

【0028】

マイク１４は、車室内の乗員Ａ，Ｂの会話を取得する。マイク１４で取得された音声データは処理部２０に供給されて、音声分析部３４が、音声データを音声分析する。

【0029】

音声分析部３４は、話者認識機能を有して、乗員Ａの音声データか、または乗員Ｂの音声データかを識別する。記憶部１８には、乗員Ａ，Ｂの音声テンプレートが登録されており、音声分析部３４は、記憶部１８に記憶された音声テンプレートと照合して、話者が誰であるかを特定する。

【0030】

なお登録ユーザでない場合、記憶部１８に乗員の音声テンプレートは登録されていないため、音声分析部３４は、複数人の会話の中で、発言した話者を識別する話者識別機能を有して、発言と話者とを紐付ける。このとき画像分析部３２は乗員の口が動いているタイミングを提供し、音声分析部３４は、音声データのタイミングと同期させることで、運転者の発言であるか、同乗者の発言であるかを特定してよい。

【0031】

また音声分析部３４は音声信号処理機能を有して、音声データの話速、音量、声の抑揚、イントネーション、言葉遣いなどの情報を抽出する。また音声分析部３４は音声認識機能を有して、音声データをテキストデータに変換する。音声分析部３４は、これらの音声分析の結果を、感情推定処理のために感情推定部４０に供給し、また乗員同士の会話状況の分析のために会話状況分析部３６にも供給する。

【0032】

会話状況分析部３６は、自然言語処理機能を有し、音声分析結果による乗員Ａ，Ｂの間の会話状況を分析する。会話状況分析部３６は自然言語理解を実施して、乗員Ａ，Ｂの会話が噛み合っているか否か、意見が対立しているか否か、一方のみが発言して他方が沈黙しているか、一方が適当に相槌のみをうっているか、などの会話状況を分析する。また話者の発話頻度や、声の大きさに差があるかなども会話状況として分析する。このような分析により会話状況分析部３６は会話状況の良し悪しを評価し、具体的には会話状況の良し悪しを複数段階に分類したうちの現在の会話状況を示す評価値を決定し、記憶部１８に記憶する。この評価値は、乗員Ａ，Ｂの会話の状況に応じて変動する。

【0033】

会話状況分析部３６は、会話状況を、以下の５段階の評価値で評価する。
「非常に良い」
「良い」
「普通」
「悪い」
「非常に悪い」
なお、この評価は数値表現されてよく、たとえば「非常に良い」はレベル５、「良い」はレベル４、「普通」はレベル３、「悪い」はレベル２、「非常に悪い」はレベル１と設定されてよい。会話状況分析部３６は乗員Ａ，Ｂの間の会話状況を監視して、会話状況に変化があれば評価値を更新して、記憶部１８に記憶する。以下、会話状況の評価例を示す。

【0034】

乗員Ａ，Ｂ間の会話が噛み合っており、両者が同様に高頻度で発話していれば、会話状況分析部３６は会話状況を「非常に良い」と評価する。
乗員Ａ，Ｂ間の会話が噛み合っており、一方の発話頻度が高く、一方で他方の発話頻度が低ければ、会話状況分析部３６は会話状況を「良い」と評価する。
乗員Ａ，Ｂ間の会話が噛み合っており、両者の発話頻度が低ければ、会話状況分析部３６は会話状況を「普通」と評価する。
乗員Ａ，Ｂ間の会話が所定時間以上、途切れている場合、会話状況分析部３６は会話状況を「悪い」と評価する。
乗員Ａ，Ｂ間で意見が対立している場合、会話状況分析部３６は会話状況を「非常に悪い」と評価する。

【0035】

なおプロファイル取得部４２は、乗員Ａ，Ｂのユーザ属性情報をサーバ装置３から取得する。ユーザ属性情報は、ユーザの発話の仕方、よく使う表現、話の聞き方などの情報を含んでよい。会話状況分析部３６は、ユーザ属性情報も加味して、乗員間の会話状況を評価してよい。

【0036】

たとえば乗員Ａが、よく喋るタイプであり、乗員Ｂが物静かで、積極的に喋るタイプではないとする。このとき乗員Ａが高い頻度で話して、乗員Ｂの発話頻度が低くなっていることは、乗員Ａ，Ｂの間では非常に良い会話状況に該当する可能性が高い。このように会話状況分析部３６は、各乗員のユーザ属性情報も参照して、乗員間の会話の状況を評価することで、乗員間の関係に応じた評価値を取得できるようになる。

【0037】

会話状況分析部３６が会話状況を評価すると、評価値を記憶部１８に記憶する。なお会話状況は時々刻々と変化するものであるため、会話状況分析部３６は、両者の会話を監視し続け、会話状況に変化があれば評価値を更新して、記憶部１８に記憶する。会話状況の評価値は、状況管理部５０によって、車室内の雰囲気の推定処理に利用される。

【0038】

車両センサ１５は、車両２に設けられた各種センサであって、たとえば速度センサ、加速度センサ、アクセルポジションセンサなどを含む。車両データ分析部３８は、車両センサ１５からセンサ検出値を取得して、運転者による運転状況を分析する。この分析結果は、運転者である乗員Ａの感情を推定するために利用される。たとえば車両データ分析部３８は、加速度センサの検出値により車両２の急加速や急制動を判定すると、この判定結果を感情推定部４０に供給する。車両データ分析部３８は、ナビアプリ２２から現在までの運転時間などの情報を供給されて、運転者による運転状況を分析してもよい。たとえば運転開始から現在まで２時間以上が経過しているような場合、車両データ分析部３８は、２時間以上運転していることを感情推定部４０に伝えてよい。

【0039】

感情推定部４０は、車室内の乗員Ａ，Ｂのそれぞれの感情を推定する。感情推定部４０は、各乗員の感情を、画像分析部３２により抽出された顔画像の表情、および音声分析部３４による音声分析結果にもとづいて推定する。なお感情推定部４０は、運転者である乗員Ａの感情の推定処理に、さらに車両データ分析部３８による運転状況分析結果も利用する。

【0040】

感情推定部４０は、怒り、楽しさ、悲しさ、驚き、疲れなどの感情指標のそれぞれについて指標値を導出することで、各乗員の感情を推定する。なお実施形態では乗員の感情を単純なモデルで推定し、感情推定部４０は、各感情指標を２つの指標値で表現する。つまり「怒り」の指標値は、怒っているか、怒っていないかの２値をとり、また「楽しさ」の指標値は、楽しいか、楽しくないかの２値をとる。

【0041】

感情推定部４０は、画像分析部３２により抽出された乗員の顔画像から表情を特定して、乗員の感情を推定する。従来より感情と表情との関係について様々な研究がされており、感情推定部４０は、以下のように乗員の感情を推定してよい。

【0042】

感情推定部４０は、眉毛が左右とも引き下がり、上瞼はつり上がっている表情である場合、「怒っている」感情であることを推定する。
感情推定部４０は、口角が両側で上がっている表情である場合、「楽しい」感情であることを推定する。
感情推定部４０は、眉毛の下隅が上がり、上瞼が垂れ下がり、口唇の両端が下がっている表情である場合、「悲しい」感情であることを推定する。
感情推定部４０は、眉毛が上がってアーチを描くように丸い形になり、上瞼も上がっている表情である場合、「驚いた」感情であることを推定する。

【0043】

感情と表情の関係はデータベース化されて記憶部１８に記憶されている。感情推定部４０は、画像分析部３２により抽出された乗員の顔画像から、データベース化された関係を参照して乗員の感情を推定し、感情情報を生成する。人の感情は時々刻々と変化するため、感情推定部４０は乗員の表情の監視を継続して実行し、表情の変化を検出すると、表情にもとづく感情を示す感情情報を更新し、記憶部１８に一時記憶する。

【0044】

また感情推定部４０は、音声分析部３４により分析された乗員の音声分析結果から、乗員の感情を推定する。音声から感情を推定する様々な手法が提案されているが、感情推定部４０は、機械学習等により構築された感情推定器を利用して、乗員の音声から感情を推定してよい。また感情推定部４０は、音声特徴の変化から感情を推定してもよく、いずれにしても既知の手法を用いて、乗員の音声にもとづく感情を示す感情情報を生成し、記憶部１８に一時記憶する。

【0045】

なおプロファイル取得部４２がユーザ属性情報を取得することを説明したが、ユーザ属性情報には、ユーザの感情に対応する表情や音声情報などの感情推定のためのデータが含まれてよい。この場合、感情推定部４０は、ユーザ属性情報を参照して、ユーザの感情を高精度に推定し、感情情報を生成してよい。

【0046】

以上のようにして感情推定部４０は、乗員の顔の表情から乗員の感情を推定し、また乗員の発話音声から乗員の感情を推定する。感情推定部４０は、顔の表情にもとづく系統で推定した感情情報と、発話音声にもとづく系統で生成した感情情報のそれぞれに、推定の確からしさを示す情報を付加する。

【0047】

感情推定部４０は、両系統で推定された感情情報が一致していれば、その感情情報を状況管理部５０に通知する。なお感情推定部４０は、両系統の感情情報が一致していなければ、各系統の感情情報に付加された確からしさを参照して、確からしさの高い感情情報を選択してよい。また感情推定部４０は、運転者である乗員Ａの感情を、車両データ分析部３８による運転状況分析結果を加味して推定してもよい。たとえば運転時間が長時間に及んでいたり、また急加速や急制動が高頻度に検出されている場合には、感情推定部４０は、乗員Ａが疲れていることを推定する。運転状況分析結果にもとづく系統で推定した感情情報にも確からしさを示す情報が付加されて、感情推定部４０は、複数系統で推定された感情情報のうち、確からしさの高い感情情報を選択することで乗員の感情情報を決定し、状況管理部５０に通知する。なお各系統で推定された感情情報に変化があると、感情推定部４０は、あらためて複数系統の感情情報から１つを選択して、決定した感情情報を状況管理部５０に通知する。

【0048】

状況管理部５０において、乗員状態取得部５２は、感情推定部４０で推定された各乗員の状態、この例では各乗員の感情を示す感情情報を取得する。状況値取得部５６は、各乗員の感情情報から、複数の乗員間の状況を示す状況値を生成して取得する。

【0049】

実施形態において、状況値取得部５６が取得する状況値は、複数の乗員が存在する場の雰囲気、つまり車室内の雰囲気の良し悪しの程度を表現する値である。状況値取得部５６は、少なくとも各乗員の感情情報にもとづいて、車室内の雰囲気の良し悪しの程度を表現する状況値を取得する。

【0050】

実施形態で会話状況取得部５４は、会話状況分析部３６で分析された乗員間の会話状況の評価値を取得し、状況値取得部５６は、各乗員の感情情報だけでなく、会話状況の評価値も加味して、場の雰囲気に関する状況値を取得してよい。

【0051】

状況値取得部５６は、雰囲気評価テーブルにしたがって、雰囲気の評価値を取得する。雰囲気評価テーブルは、各乗員の感情情報と会話状況との組合せに、雰囲気の評価値を対応付けており、記憶部１８に記憶されている。

【0052】

図５は、雰囲気評価テーブルの一例を示す。場の雰囲気は、雰囲気評価テーブルにしたがって、以下の５段階の評価値で評価される。
「非常に良い」
「良い」
「普通」
「悪い」
「非常に悪い」
なお図５には、運転者の感情と１名の同乗者の感情と会話状況の組合せが示されているが、実際の雰囲気評価テーブルは、運転者の感情と２名以上の同乗者の感情と会話状況の組合せに、雰囲気の評価値を対応付けて構成されている。

【0053】

図５に示す雰囲気の評価値について説明する。
乗員Ａの感情が「楽しい」、乗員Ｂの感情が「楽しい」と推定され、会話状況が「非常に良い」と評価されている場合、状況値取得部５６は、雰囲気が「非常に良い」とする評価値を取得する。

【0054】

乗員Ａの感情が「楽しい」、乗員Ｂの感情が「楽しい」と推定され、会話状況が「悪い」と評価されている場合、状況値取得部５６は、雰囲気が「普通」とする評価値を取得する。会話状況は、乗員間の会話が所定時間以上途切れると「悪い」と評価されるが、乗員Ａ，Ｂの感情がともに「楽しい」と推定されているのであれば、場の雰囲気は「普通」と評価される。

【0055】

乗員Ａの感情が「疲れている」、乗員Ｂの感情が「楽しい」と推定され、会話状況が「悪い」と評価されている場合、状況値取得部５６は、雰囲気が「悪い」とする評価値を取得する。たとえば乗員Ａの運転が長時間に及び、会話も所定時間以上途切れている場合には、乗員Ｂの感情が「楽しい」と推定されていても、場の雰囲気は「悪い」と評価される。

【0056】

乗員Ａの感情が「疲れている」、乗員Ｂの感情が「楽しい」と推定され、会話状況が「普通」と評価されている場合、状況値取得部５６は、雰囲気が「普通」とする評価値を取得する。たとえば乗員Ａの運転が長時間に及んでいるが、両者の会話が噛み合っている場合には、乗員Ａの感情が「疲れている」と推定されていても、場の雰囲気は「普通」と評価される。

【0057】

乗員Ａの感情が「悲しい」、乗員Ｂの感情が「怒っている」と推定され、会話状況が「非常に悪い」と評価されている場合、状況値取得部５６は、雰囲気が「非常に悪い」とする評価値を取得する。また乗員Ａの感情が「驚いている」、乗員Ｂの感情が「怒っている」と推定され、会話状況が「非常に悪い」と評価されている場合、状況値取得部５６は、雰囲気が「非常に悪い」とする評価値を取得する。また乗員Ａの感情が「怒っている」、乗員Ｂの感情が「怒っている」と推定され、会話状況が「非常に悪い」と評価されている場合、状況値取得部５６は、雰囲気が「非常に悪い」とする評価値を取得する。

【0058】

図５に示す雰囲気評価テーブルでは、乗員の１人の感情が「怒っている」と推定されるか、または会話状況が「非常に悪い」と評価されているケースでは、雰囲気の評価値が「非常に悪い」となるように定義されている。しかしながら、このようなケースに限らず、乗員Ａ，Ｂ間で議論を楽しんでいるような場合、意見が対立しているために会話状況は「非常に悪い」と評価されるが、乗員Ａ，Ｂの感情が「楽しい」と推定されていれば、雰囲気の評価値が「普通」となるように定義されてもよい。

【0059】

雰囲気評価テーブルは、ベイジアンネットワークにより過去の感情情報や会話状況などをもとに作成されてよく、また他の機械学習の手法を用いて作成されてもよい。

【0060】

以上のように状況値取得部５６は状況値（雰囲気の評価値）を取得し、雰囲気の評価値を記憶部１８に記憶する。発話制御部６０は、状況値取得部５６が取得した状況値にもとづいて、仮想オブジェクトであるキャラクタ１１の発話を制御する。

【0061】

具体的に発話判定部６２は、状況値にもとづいて、キャラクタ１１に発話させるか否かを決定する。ここで発話判定部６２は、状況値が場の雰囲気が悪いことを示していれば、キャラクタ１１に発話させることを決定する。一方で発話判定部６２は、状況値が場の雰囲気が良いことを示していれば、キャラクタ１１に発話させないことを決定する。

【0062】

雰囲気の状況値は、「非常に良い」、「良い」、「普通」、「悪い」、「非常に悪い」のいずれかの評価値をとるが、「非常に良い」、「良い」の評価値は、場の雰囲気が良いことを示し、「悪い」、「非常に悪い」の評価値は、場の雰囲気が悪いことを示す。したがって発話判定部６２は、状況値が「悪い」または「非常に悪い」であれば、キャラクタ１１に発話させることを決定し、状況値が「非常に良い」または「良い」であれば、キャラクタ１１に発話させないことを決定する。なお状況値が「普通」である場合、発話判定部６２は、キャラクタ１１に発話させることを決定してもよい。

【0063】

実施形態で発話判定部６２は、状況値が「普通」、「悪い」、「非常に悪い」のいずれかであれば、場の雰囲気をよりよい方向に向かわせるように、キャラクタ１１に発話させるようにする。発話判定部６２がキャラクタ１１に発話させることを判定すると、発話内容決定部６４が、場の雰囲気に応じた発話内容を決定する。なお発話内容決定部６４は、キャラクタ１１の発話内容を決定する際に、プロファイル取得部４２が取得した各乗員のユーザ属性情報を参照することで、その場に適した発話内容を決定してよい。なおプロファイル取得部４２は、乗員間の関係性等も示すグループ属性情報を取得し、発話内容決定部６４が、グループ属性情報を参照して、発話内容を決定できてもよい。グループ属性情報は、たとえば乗員Ａ，Ｂが家族である、または上司部下の関係にある、などといった情報である。またグループ属性情報には、乗員Ａ，Ｂの関係性とともに、過去の会話の履歴等が含まれてもよい。

【0064】

一方で、発話判定部６２は、状況値が「非常に良い」、「良い」のいずれかであれば、既によい雰囲気が作り上げられているため、キャラクタ１１を場に介入させる必要性に乏しいことから、キャラクタ１１に発話させないようにする。

【0065】

以下、シーンにおける各乗員の感情、会話の状況、雰囲気の状況と、キャラクタ１１の発話内容を例示する。
図６（ａ）、（ｂ）は、キャラクタ１１の発話内容の例を示す。なお、ここでは車載ディスプレイ装置において、キャラクタ１１の発話内容が吹き出しの形式で表示されている様子を示しているが、キャラクタ１１の発話内容はスピーカから出力されて、乗員がキャラクタ１１を見ていなくても、キャラクタ１１の発話内容を聞き取れることが好ましい。

【0066】

この例は、ドライブ中に乗員Ｂが突然怒り出し、乗員Ａは、その理由が分からず、驚いて右往左往しているシーンを想定している。会話の状況、雰囲気ともに、非常に悪い。
発話内容決定部６４は、乗員Ａ，Ｂのユーザ属性情報から、今日が乗員Ｂの誕生日であることを突き止める。そこで発話内容決定部６４は、キャラクタ１１に「Ａさん、今日は何月何日ですか」と問いかけさせ、乗員Ａが自分で、今日が乗員Ｂの誕生日であることを気付かせるようにする。

【0067】

それでも乗員Ａが気付かなければ、発話内容決定部６４は、さらにキャラクタ１１に「今日はＢさんの大事な日ですよ」と発話させ、乗員Ａにヒントを与える。これにより乗員Ａは、今日が乗員Ｂの誕生日であることに気づく。このようにキャラクタ１１に介入させることで、その後は乗員間の会話の状況も良くなり、雰囲気が改善されることが期待される。

【0068】

図７（ａ）、（ｂ）は、キャラクタ１１の発話内容の別の例を示す。ここでもキャラクタ１１の発話内容が吹き出しの形式で表示されているが、キャラクタ１１の発話内容はスピーカから出力される。

【0069】

この例は、ドライブ中に乗員Ａ，Ｂが何を食べたいかで対立し、お互いに収まりがつかず、怒っているシーンを想定している。会話の状況、雰囲気ともに、非常に悪い。
発話内容決定部６４は、まずは２人を落ち着かせるべく、２人の主張を整理して、キャラクタ１１に「Ａさんはお肉が食べたくて、Ｂさんはお魚が食べたいんですね」と発話させる。そこで乗員Ａ，Ｂが同意する言動をとると、発話内容決定部６４は、ナビアプリ２２から肉と魚を提供する近くのレストラン情報を取得して、キャラクタ１１「それでは近くにあるＡＢＣレストランはいかがでしょう。お肉もお魚もあります。」と発話させる。このように発話内容決定部６４は、２人の雰囲気が悪ければ、その雰囲気を改善させるために、キャラクタ１１を、その場に介入させるようにする。

【0070】

なお発話内容決定部６４は、乗員Ａ，Ｂの過去の会話の履歴を参照して、キャラクタ１１に「前回はＡさんの意見で焼き肉屋さんに行きましたから、今回はＢさんの行きたい魚料理屋さんにしませんか」と発話させてもよい。また発話内容決定部６４は、乗員Ａのユーザ属性情報を参照して、キャラクタ１１に「Ａさんは、特定のお魚にアレルギーがあるんですよね」と発話させて、乗員Ｂに、乗員Ａがアレルギー持ちであることを知らせるようにしてもよい。特に乗員同士が上司部下の関係にあるような場合に、部下は上司に言いづらいところもあるため、発話内容決定部６４は、角が立たないように、部下が言いづらい内容をキャラクタ１１に代弁させてもよい。

【0071】

以上、実施形態をもとに本発明を説明した。実施形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施形態では、発話機能を有する仮想オブジェクトを示したが、オブジェクトはロボットなどの現実のオブジェクトであってもよい。

【0072】

実施形態では、乗員状態管理部３０の各機能が、車載機１０に搭載されることを説明したが、サーバ装置３に備えられてもよい。この場合、車両２において取得されるカメラ１３の撮影画像、マイク１４の音声データ、車両センサ１５の検出値、ＧＰＳ受信機１６の位置情報が通信部１７からサーバ装置３に送信されて、サーバ装置３が、車室内の各乗員の感情を推定し、また複数の乗員同士による会話状況を判断して、感情情報および会話状況を車両２に送信する。

【符号の説明】

【0073】

１・・・情報処理システム、２・・・車両、３・・・サーバ装置、１０・・・車載機、１１・・・キャラクタ、１２・・・出力部、１８・・・記憶部、２０・・・処理部、３０・・・乗員状態管理部、３２・・・画像分析部、３４・・・音声分析部、３６・・・会話状況分析部、３８・・・車両データ分析部、４０・・・感情推定部、４２・・・プロファイル取得部、５０・・・状況管理部、５２・・・乗員状態取得部、５４・・・会話状況取得部、５６・・・状況値取得部、６０・・・発話制御部、６２・・・発話判定部、６４・・・発話内容決定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】