特許 7614888 コミュニケーション支援装置及びコミュニケーション支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】コミュニケーション支援装置及びコミュニケーション支援方法

(51)【国際特許分類】

   G10L 15/22 20060101AFI20250108BHJP

   G10L 13/00 20060101ALI20250108BHJP

   G10L 15/00 20130101ALI20250108BHJP

   G10L 15/10 20060101ALI20250108BHJP

   G10L 15/16 20060101ALI20250108BHJP

【ＦＩ】

G10L15/22 460

G10L13/00 100H

G10L15/00 200A

G10L15/00 200J

G10L15/10 500Z

G10L15/16

【請求項の数】 12

(21)【出願番号】P 2021037464

(22)【出願日】2021-03-09

(65)【公開番号】P2022137792

(43)【公開日】2022-09-22

【審査請求日】2023-11-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】陳 放歌

(72)【発明者】

【氏名】岡本 雅己

(72)【発明者】

【氏名】志小田 雄宇

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】河西 純

(72)【発明者】

【氏名】大久保 翔太

(72)【発明者】

【氏名】西山 乘

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００６－２５４２８５（ＪＰ，Ａ）

【文献】特開２０１６－２１３６３１（ＪＰ，Ａ）

【文献】特開２００１－１４８７２３（ＪＰ，Ａ）

【文献】特表２００７－５２０９４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／１０

Ｇ１０Ｌ １３／００

Ｇ１０Ｌ １５／１６

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

集音装置により集音された第１ユーザの音声から前記第１ユーザの発話内容を取得する発話内容取得部と、
前記第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、第２の場所の状況データを取得する状況取得部と、
前記第２の場所の状況データに基づいて、前記第１ユーザの前記発話内容に対する前記第２ユーザの理解度を推定する理解度推定部と、
前記第２ユーザの前記理解度に基づく提示態様で、前記第１ユーザの前記発話内容を前記第２ユーザに提示するように、前記第２の場所に設けられた出力装置を制御する発話内容提示部を備え、
前記第１の場所は、車両から離間した遠隔地であり、
前記第１ユーザは、前記遠隔地にいる遠隔地ユーザであり、
前記第２の場所は、前記車両であり、
前記第２ユーザは、前記車両に乗車している車内ユーザであり、
前記第２の場所の状況データは、前記車両の運転状況を示すデータであるコミュニケーション支援装置。

【請求項2】

前記理解度推定部は、前記遠隔地ユーザの前記発話内容に対して、前記発話内容の複雑度を算出し、算出した前記発話内容の複雑度に基づいて前記車内ユーザの理解度を推定する請求項１に記載のコミュニケーション支援装置。

【請求項3】

前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度を、前記遠隔地ユーザに提示するように、前記遠隔地に設けられた出力装置を制御する理解度提示部を備える請求項１又は２に記載のコミュニケーション支援装置。

【請求項4】

前記遠隔地に設けられた入力装置から、前記車内ユーザの前記理解度を提示された前記遠隔地ユーザによる前記提示態様の設定指示を受信する受信部と、
前記設定指示に基づいて、前記提示態様を決定する提示態様決定部を備える請求項３に記載のコミュニケーション支援装置。

【請求項5】

前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度に基づいて、前記提示態様を決定する提示態様決定部を備える請求項１又は２に記載のコミュニケーション支援装置。

【請求項6】

前記提示態様決定部は、前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度が所定の基準理解度よりも低い場合、前記提示態様として、前記遠隔地ユーザの前記発話内容を強調する提示態様に決定する請求項５に記載のコミュニケーション支援装置。

【請求項7】

集音装置により集音された第１ユーザの音声から前記第１ユーザの発話内容を取得する発話内容取得部と、
前記第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、第２の場所の状況データを取得する状況取得部と、
前記第２の場所の状況データに基づいて、前記第１ユーザの前記発話内容に対する前記第２ユーザの理解度を推定する理解度推定部と、
前記第２ユーザの前記理解度に基づく提示態様で、前記第１ユーザの前記発話内容を前記第２ユーザに提示するように、前記第２の場所に設けられた出力装置を制御する発話内容提示部を備え、
前記第１の場所は、車両から離間した遠隔地であり、
前記第１ユーザは、前記遠隔地にいる遠隔地ユーザであり、
前記第２の場所は、前記車両であり、
前記第２ユーザは、前記車両に乗車している車内ユーザであり、
前記第２の場所の状況データは、前記車両の状況を示す車両の状況データであり、
前記理解度推定部は、
入力層及び出力層を含み、前記入力層への入力データを前記遠隔地ユーザの発話内容及び前記車両の状況データとし、前記出力層からの出力データを前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度とするニューラルネットワークと、
前記入力データ及び前記出力データの実績値を教師データとして前記ニューラルネットワークを学習させる機械学習部と、
前記機械学習部により学習させた前記ニューラルネットワークに新たな前記入力データを入力し、当該入力データに対する新たな前記出力データとして、前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度を推定する推定部を有するコミュニケーション支援装置。

【請求項8】

集音装置により集音された第１ユーザの音声から前記第１ユーザの発話内容を取得する発話内容取得部と、
前記第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、第２の場所の状況データを取得する状況取得部と、
前記第２の場所の状況データに基づいて、前記第１ユーザの前記発話内容に対する前記第２ユーザの理解度を推定する理解度推定部と、
前記第２ユーザの前記理解度に基づく提示態様で、前記第１ユーザの前記発話内容を前記第２ユーザに提示するように、前記第２の場所に設けられた出力装置を制御する発話内容提示部を備え、
前記第１の場所は、車両から離間した遠隔地であり、
前記第１ユーザは、前記遠隔地にいる遠隔地ユーザであり、
前記第２の場所は、前記車両であり、
前記第２ユーザは、前記車両に乗車している車内ユーザであり、
前記第２の場所の状況データは、前記車両の状況を示す車両の状況データであり、
前記理解度推定部は、前記遠隔地ユーザの発話内容及び記車両の状況データが入力されると、学習済みニューラルネットワークを用いて、前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの理解度を推定し、
前記学習済みニューラルネットワークは、前記遠隔地ユーザの発話内容及び前記車両の状況データが入力されると、前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの理解度を推定するように、教師データを用いた機械学習処理が施されたニューラルネットワークであるコミュニケーション支援装置。

【請求項9】

前記理解度推定部は、前記発話内容取得部により前記遠隔地ユーザの前記発話内容が取得された後に、前記状況取得部により取得された前記車両の状況データに基づいて、前記遠隔地ユーザの前記発話内容に対する前記車内ユーザの前記理解度を推定する請求項１～８のいずれかに記載のコミュニケーション支援装置。

【請求項10】

前記理解度推定部は、前記発話内容取得部により前記発話内容が取得される前に、前記状況取得部により取得された前記車両の状況データに基づいて、前記遠隔地ユーザが発話した場合における前記遠隔地ユーザの発話内容に対する前記車内ユーザの前記理解度を予め推定する、請求項１～８のいずれかに記載のコミュニケーション支援装置。

【請求項11】

集音装置により集音された第１ユーザの音声から前記第１ユーザの発話内容を取得する発話内容取得部と、
前記第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、第２の場所の状況データを取得する状況取得部と、
前記第２の場所の状況データに基づいて、前記第１ユーザの前記発話内容に対する前記第２ユーザの理解度を推定する理解度推定部と、
前記第２ユーザの前記理解度に基づく提示態様で、前記第１ユーザの前記発話内容を前記第２ユーザに提示するように、前記第２の場所に設けられた出力装置を制御する発話内容提示部と、
前記第１ユーザの前記発話内容に対する前記第２ユーザの前記理解度と、前記発話内容と、に基づいて、前記提示態様を決定する提示態様決定部と、を備え、
前記第１の場所は、車両から離間した遠隔地であり、
前記第１ユーザは、前記遠隔地にいる遠隔地ユーザであり、
前記第２の場所は、前記車両であり、
前記第２ユーザは、前記車両に乗車している車内ユーザであり、
前記第２の場所の状況データは、前記車両の状況を示す車両の状況データであるコミュニケーション支援装置。

【請求項12】

コントローラにより実行されるコミュニケーション支援方法であって、
集音装置により集音された第１ユーザの音声から前記第１ユーザの発話内容を取得し、
前記第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、前記第２の場所の状況を取得し、
前記第２の場所の状況データに基づいて、前記第１ユーザの前記発話内容に対する前記第２ユーザの理解度を推定し、
前記第２ユーザの前記理解度に基づく提示態様で、前記第１ユーザの前記発話内容を前記第２ユーザに提示するように、前記第２の場所に設けられた出力装置を制御し、
前記第１の場所は、車両から離間した遠隔地であり、
前記第１ユーザは、前記遠隔地にいる遠隔地ユーザであり、
前記第２の場所は、前記車両であり、
前記第２ユーザは、前記車両に乗車している車内ユーザであり、
前記第２の場所の状況データは、前記車両の運転状況を示すデータであるコミュニケーション支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コミュニケーション支援装置及びコミュニケーション支援方法に関する。

【背景技術】

【0002】

聞き手に対して出力される音声の理解度を向上させる音声通信システムが知られている（例えば、特許文献１）。特許文献１に記載の音声通信システムでは、聞き手の背景騒音を分析し、背景騒音の分析結果を用いて、現在の背景騒音下において、聞き手が出力される音声を容易に理解できるか否かを判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００２－５０７２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

聞き手の理解度には、聞き手の背景騒音だけでなく、発話者の発話内容も影響する。特許文献１に記載の音声通信システムでは、現在の背景騒音下において聞き手が音声を容易に理解できると判定しても、実際には発話内容によって聞き手が音声を容易に理解できないおそれがある。つまり、特許文献１に記載の音声通信システムでは、聞き手の理解度が発話内容に対するものではないため、聞き手の理解度を推定する精度が低く、聞き手が発話者の発話内容を理解しづらい、という問題がある。

【0005】

本発明が解決しようとする課題は、聞き手の理解度を推定する精度を向上させることで、聞き手が発話者の発話内容を理解しやすくなるコミュニケーション支援装置及びコミュニケーション支援方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、集音装置により集音された第１ユーザの音声から第１ユーザの発話内容を取得し、第１ユーザがいる第１の場所とは別の第２ユーザがいる第２の場所の状況を示す、第２の場所の状況データを取得し、第２の場所の状況データに基づいて、第１ユーザの発話内容に対する第２ユーザの理解度を推定し、第２ユーザの理解度に基づく提示態様で、第１ユーザの発話内容を第２ユーザに提示するように、第２の場所に設けられた出力装置を制御することで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、第２ユーザの理解度は、第２ユーザがいる場所の状況に基づいて、第１ユーザの発話内容に対して推定されるため、聞き手である第２ユーザの理解度を推定する精度が向上し、第２ユーザは第１ユーザの発話内容を理解しやすくなる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係るコミュニケーションシステムのブロック図である。

【図2】状況取得部が取得する車両の状況データの一例を示す説明図である。

【図3】本実施形態に係るコミュニケーションシステムによる音声出力処理を示すフローチャートである。

【図4】本実施形態に係るコミュニケーションシステムによる音声出力処理を示すフローチャートである。

【図5】遠隔地ユーザの発話内容を強調するための提示態様の一例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。
本実施形態では、本発明に係るコミュニケーション支援装置及びコミュニケーション支援方法を、コミュニケーションシステムに適用した例を用いて説明する。

【0010】

図１は、本実施形態に係るコミュニケーションシステム１００のブロック図である。本実施形態に係るコミュニケーションシステム１００は、同一空間にいないユーザＡとユーザＢとが会話する場面に用いられる。本実施形態では、ユーザＡとして、車両１に乗車しており、車内空間２０にいるユーザを例に挙げ、ユーザＢとして、車両１から離間した場所である遠隔地空間３０にいるユーザを例に挙げて説明する。ユーザＡがいる場所とユーザＢがいる場所は異なる。

【0011】

なお、コミュニケーションシステム１００は、ユーザＡがいる場所とユーザＢがいる場所とが異なる場面で用いられればよく、ユーザＡとユーザＢのそれぞれが位置する場所は特に限定されない。例えば、ユーザＡは車両１に乗車していなくてもよい。以降の説明では、便宜上、車内空間２０にいるユーザＡを車内ユーザＡと称し、遠隔地空間３０にいるユーザＢを遠隔地ユーザＢと称して説明する。

【0012】

また本実施形態において、車内ユーザＡと遠隔地ユーザＢとが会話する際の各ユーザの状態は特に限定されない。例えば、図１では、車内ユーザＡの状態として、車内ユーザＡが車両１のステアリングを操作している状態を示しているが、車内ユーザＡはドライバではなく、助手席又は後部座席に着座する乗員であってもよい。また例えば、図１では、遠隔地ユーザＢの状態として、遠隔地ユーザＢが着座した状態を示しているが、遠隔地ユーザＢは起立していてもよい。また本実施形態では、車内ユーザＡと遠隔地ユーザＢとが会話する場面を例に挙げて説明するが、コミュニケーションシステム１００は会話の場面以外でも用いることができる。例えば、遠隔地ユーザＢが車内ユーザＡに向けて一方的に話す場面、すなわち、音声の流れは一方向の場面にも、コミュニケーションシステム１００を用いることができる。

【0013】

また本実施形態では、コミュニケーションシステム１００が仮想現実（Virtual Reality）及び拡張現実（Augmented Reality）の技術を利用したシステムに用いられた場合を例に挙げて説明する。図１に示すように、車内ユーザＡと遠隔地ユーザＢとはそれぞれ異なる空間にいるため、車内ユーザＡと遠隔地ユーザＢは同一空間内で会話することができない。しかし、コンピュータによって作り出された世界である仮想空間を現実としてユーザに知覚させる仮想現実の技術では、コンピュータは、遠隔地ユーザＢに対して、あたかも車内空間２０にいるような仮想空間を作り出すことができる。仮想空間では、遠隔地ユーザＢは、少なくとも視覚及び聴覚を通じて、あたかも車内空間２０にいるかのように知覚する。例えば、遠隔地ユーザＢは、ＶＲゴーグル等、本願出願時に知られた仮想現実の技術が用いられたデバイスを装着することで、視覚を通じて仮想空間を車内空間２０として認知することができる。また遠隔地ユーザＢは、本実施形態に係るコミュニケーションシステム１００により、聴覚を通じて仮想空間を車内空間２０として認知することができる。

【0014】

一方、コンピュータにより作り出された視覚情報を現実に重畳表示させることで、仮想的に拡張された現実をユーザに知覚させる拡張現実の技術では、コンピュータは、車内ユーザＡに対して、遠隔地ユーザＢがあたかも車内空間２０にいるような仮想空間を作りだすことができる。仮想空間では、車内ユーザＡは、少なくとも視覚及び聴覚を通じて、遠隔地ユーザＢが車内空間２０にいるかのように知覚する。例えば、車内ユーザＡは、ＡＲグラス等、本願出願時に知られた拡張現実の技術が用いられたデバイスを装着することで、視覚を通じて、コンピュータにより生成された遠隔地ユーザＢの分身となるキャラクター（アバター）が車内空間２０にいるかのように認知することができる。また車内ユーザＡは、本実施形態に係るコミュニケーションシステム１００により、聴覚を通じて、遠隔地ユーザＢのアバターが車内空間２０にいるかのように認知することができる。以降、図１を用いて、コミュニケーションシステム１００の各構成を説明する。

【0015】

図１に示すように、コミュニケーションシステム１００は、周辺情報サーバー１０、車内空間２０、遠隔地空間３０、及びサーバー４０を含む。遠隔地空間３０は、車内空間２０から離間した空間である。遠隔地空間３０としては、例えば、車両１とは別の車両の室内や建物の一室などが挙げられるが、遠隔地空間３０は車内空間２０とは別の場所であれば特に限定されない。

【0016】

周辺情報サーバー１０は、車内ユーザＡがいる場所の状況を示す情報を提供する。車内ユーザＡがいる場所の状況を示す情報とは、車両１の周辺情報である。図１に示すように、周辺情報サーバー１０が提供する車両１の周辺情報としては、車両１の周辺の道路情報、事故情報、及び渋滞情報を含む交通情報１１、車両１の周辺の天気及び気温の情報を含む天気情報１２、車両１の周辺で利用可能な無線ＬＡＮ規格の種別及び当該無線ＬＡＮの通信速度を含む通信情報１３などが挙げられる。周辺情報サーバー１０は、後述する車載コントローラ２４からの要求に応じて、車両１の周辺情報を車載通信装置２２に送信する。なお、周辺情報サーバー１０が提供する情報として、交通情報１１、天気情報１２、及び通信情報１３を例に挙げたが、周辺情報サーバー１０は、これらの情報を全て提供する必要はなく、交通情報１１、天気情報１２、及び通信情報１３のうち少なくともいずれか一つを提供するサーバーであればよい。

【0017】

次に、車内空間２０について説明する。車内空間２０は、車両１の室内を示す空間である。車内空間２０には、センサ２１、車載通信装置２２、車載出力装置２３、及び車載コントローラ２４が設けられている。車内空間２０に設けられた各装置は、相互に情報の送受信を行うために、例えばＣＡＮ（Controller Area Network）その他の車載ネットワーク（イーサネット（商標登録）など）によって接続されている。

【0018】

センサ２１は、車内ユーザＡがいる場所の状況を検出するセンサである。車内ユーザＡがいる場所の状況は、車両１の室内の状況、車両１の室外の状況、車両１の走行状況、及び車内ユーザＡの状況のうち少なくともいずれか一つを含む。図１に示すように、センサ２１は、車内用センサ２１１及び車外用センサ２２１で構成される。車内用センサ２１１は、車両１の室内の状況、車両１の走行状況、及び車内ユーザＡの状況を検出するためのセンサである。車外用センサ２２１は、車両１の室外の状況、及び車両１の走行状況を検出するためのセンサである。

【0019】

図１に示すように、車内用センサ１１１としては、車内用カメラ２１２、車内用マイク２１３、舵角センサ２１４、及びペダルセンサ２１５が挙げられる。

【0020】

車内用カメラ２１２は、車両１の室内を撮像する撮像装置である。車内用カメラ２１２は、車両１の室内を撮像することで、車両１の室内の状況を検出する。また車内用カメラ２１２は、車内ユーザＡを撮像することで、車内ユーザＡの状況を検出する。例えば、車内用カメラ２１２は、車内ユーザＡの様子や、車両１のその他の乗員の様子を撮像する。車内用カメラ２１２により撮像された撮像画像は、車内空間２０の撮像画像データとして車載コントローラ２４に出力される。なお、車内用カメラ２１２は、車両１に搭載され、車両１の室内を撮像する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、車内用カメラ２１２は、複数のカメラ又は種別が複数のカメラで構成されていてもよい。

【0021】

車内用マイク２１３は、車両１の室内の音声を集音する集音装置である。車内用マイク２１３は、車両１の室内の音声を集音することで、車両１の室内の状況を検出する。また車内マイク１１３は、車両１に搭載された装置又はシステムから出力される音声を集音することで、車両１の走行状況を検出する。さらに車内用マイク２１３は、車内ユーザＡの音声を集音することで、車内ユーザＡの状況を検出する。例えば、車内用マイク２１３は、車内ユーザＡが発する声、車両１のその他の乗員が発する声、車両１のエンジン音やモータ音、方向指示器が作動した際のウィンカー音、ワイパーが作動した際のワイパー音、ハザードランプが作動した際のハザードランプ音、カーナビゲーションシステムから出力される音声、オーディオシステムから再生される音楽などを集音する。車内用マイク２１３により集音された集音音声は、車内空間２０の集音音声データとして車載コントローラ２４に出力される。なお、車内用マイク２１３は、車両１に搭載され、車両１の室内の音声を集音する装置又は機器であればよく、その形態、数、特性、設置位置などは特に限定されない。例えば、車内用マイク２１３は、複数のマイク又は種別が複数のマイクで構成されていてもよい。

【0022】

舵角センサ２１４は、車両１のステアリングシャフトに設けられ、車両１のステアリングホイールの操舵角を検出するセンサである。舵角センサ２１４は、ステアリングホイールの操舵角を検出することで、車両１の走行状況を検出する。舵角センサ２１４により検出されたステアリングホイールの操舵角は、車両１の操舵角データとして車載コントローラ２４に出力される。

【0023】

ペダルセンサ２１５は、アクセルペダル及びブレーキペダルのそれぞれに設けられ、アクセルペダルの踏み込み量及びブレーキペダルの踏み込み量を検出するセンサである。ペダルセンサ２１５は、アクセルペダルの踏み込み量及びブレーキペダルの踏み込み量を検出することで、車両１の走行状況を検出する。ペダルセンサ１５により検出された、アクセルペダルの踏み込み量及びブレーキペダルの踏み込み量は、車両１のペダル踏み込みデータとして車載コントローラ２４に出力される。

【0024】

なお、上述したセンサは、車内用センサ２１１の一例であって、車内用センサ２１１は、上述したセンサのうち少なくともいずれか一つを含んでいればよい。また車内用センサ２１１は、上述したセンサに限られず、車両１の室内の状況、車両１の走行状況、及び車内ユーザＡの状況のうち少なくともいずれか一つを検出するセンサを含んでいればよい。例えば、車内用センサ２１１は、車両１のシフトレバーの位置を検出するシフトポジションセンサ、車両１の室温を計測する温度センサ、車両１の車速を検出する車速センサ、車両１の加速度を検出する加速度センサ、車両１の角速度を検出するジャイロセンサなどを含んでいてもよい。

【0025】

また図１に示すように、車外用センサ２２１としては、車外用カメラ２２２、車外用マイク２２３、ミリ波レーダ２２４、超音波ソナー２２５、及びＧＰＳ２２６が挙げられる。

【0026】

車外用カメラ２２２は、車両１の周囲を撮像する撮像装置である。車外用カメラ２２２は、車両１の周囲を撮像することで、車両１の室外の状況及び車両１の走行状況を検出する。例えば、車外用カメラ２２２は、車両１の周囲に存在する対象物を撮像する。車外用カメラ２２２が撮像する対象物としては、例えば、自転車、バイク、路上障害物、交通信号機、路面標示などが挙げられる。車外用カメラ２２２により撮像された撮像画像は、車両１の周囲の撮像画像データとして車載コントローラ２４に出力される。なお、車外用カメラ２２２は、車両１に搭載され、車両１の周囲を撮像する装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、車外用カメラ２２２は、複数のカメラ又は種別が複数のカメラで構成されていてもよい。

【0027】

車外用マイク２２３は、車両１の周囲の音声を集音する集音装置である。車外用マイク２２３は、車両１の周囲の音声を集音することで、車両１の室外の状況及び車両１の走行状況を検出する。例えば、車外用マイク２２３は、車両１以外の他車両の走行音やクラクション音、緊急車両のサイレン音、広告宣伝車両から出力される宣伝音を集音する。車外用マイク２２３により集音された集音音声は、車両１の周囲の集音音声データとして車載コントローラ２４に出力される。なお、車外用マイク２２３は、車両１に搭載され、車両１の周囲の音声を集音する装置又は機器であればよく、その形態、数、特性、設置位置などは特に限定されない。例えば、車外用マイク２２３は、複数のマイク又は種別が複数のマイクで構成されていてもよい。

【0028】

ミリ波レーダ２２４は、ミリ波レーダによって車両１の周囲に存在する対象物を検出するセンサである。具体的に、ミリ波レーダ２２４は、車両１の進行方向に対して対象物が位置する方向、及び車両１から対象物までの距離を検出する。また対象物が移動している場合、ミリ波レーダ２２４は、車両１の速度に対する対象物の相対速度を検出する。ミリ波レーダ２２４は、車両１の周囲に存在する対象物を検出することで、車両１の室外の状況及び車両１の走行状況を検出する。ミリ波レーダ２２４が検出する対象物の一例としては、車外用カメラ２２２が撮像する対象物の一例が挙げられるため、対象物の一例については、既述の説明を援用する。ミリ波レーダ２２４により検出された対象物の情報は、車両１の周囲の対象物データとして車載コントローラ２４に出力される。

【0029】

超音波ソナー２２５は、超音波によって車両１に比較的近い範囲に存在する対象物を検出するセンサである。具体的に、超音波ソナー２２５は、車両１の進行方向に対して対象物が位置する方向、及び車両１から対象物までの距離を検出する。超音波ソナー２２５は、車両１の周囲に存在する対象物を検出することで、車両１の室外の状況及び車両１の走行状況を検出する。例えば、超音波ソナー２２５は、駐車場内の障害物、駐車車両などを検出する。超音波ソナー２２５により検出された対象物の情報は、車両１の周囲の対象物データとして車載コントローラ２４に出力される。

【0030】

ＧＰＳ２２６は、現在の車両１の位置を示す位置情報を取得する（Global Positioning System, GPS）。ＧＰＳ２２６は、複数の衛星通信から送信される情報を受信機で受信することで、車両１の位置情報を取得する。ＧＰＳ２２６は、車両１の位置情報を取得することで、車両１の室外の状況及び車両１の走行状況を検出する。ＧＰＳ２２６により取得された車両１の位置情報は、車両１の位置データとして車載コントローラ２４に出力される。

【0031】

なお、上述したセンサは、車外用センサ２２１の一例であって、車外用センサ２２１は、上述したセンサのうち少なくともいずれか一つを含んでいればよい。また車外用センサ２２１は、上述したセンサに限られず、車両１の室外の状況及び車両１の走行状況のうち少なくともいずれか一つを検出するセンサを含んでいればよい。例えば、車外用センサ２２１は、雨滴の量を検出する雨滴センサ、パルス状の赤外線によって車両１の周囲の対象物を検出するＬｉｄａｒなどを含んでいてもよい。

【0032】

車載通信装置２２は、車両１の外部との間で無線によりデータを送受信する無線通信機能を備えた機器である。車載通信装置２２としては、例えば、テレマティクスコントロールユニット（TCU：Telematics Control Unit）が挙げられる。車載通信装置２２は、無線通信機能により、例えば、４Ｇ／ＬＴＥ、Ｗｉｆｉ（商標登録）等の通信規格を利用して、インターネットに接続し、車両１の外部に設けられたサーバーやシステムとの間で様々なデータの送受信を行う。本実施形態では、車載通信装置２２は、周辺情報サーバー１０、遠隔地通信装置３１、及びサーバー通信装置４１との間でデータの送受信を行う。車載通信装置２２は、これらの通信装置又はサーバーから受信したデータを車載コントローラ２４に出力する。また車載通信装置２２は、車載コントローラ２４から入力されたデータをこれらの通信装置又はサーバーに送信する。

【0033】

車載出力装置２３は、車両１に設けられ、車内ユーザＡに対して遠隔地ユーザＢの発話内容を出力する装置である。図１に示すように、車載出力装置２３としては、遠隔地ユーザＢの発話内容を表示形式で車内ユーザＡに提示する車載ディスプレイ２３ａ、遠隔地ユーザＢの発話内容を音声形式で車内ユーザＡに提示する車載スピーカー２３ｂが挙げられる。車載出力装置２３には、車載コントローラ２４から提示態様データが入力される。提示態様データは、遠隔地ユーザＢの発話内容を提示するために車載コントローラ２４によって制御される制御対象の装置の情報、及び制御対象の装置に関する設定情報を含む。車載出力装置２３は、提示態様データで示される提示態様で、遠隔地ユーザＢの発話内容を車内ユーザＡに提示する。

【0034】

車載コントローラ２４は、車両１の状況データを取得する状況取得処理、及び遠隔地ユーザＢの発話内容を車内ユーザＡに提示する発話内容提示処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。車載コントローラ２４は、状況取得部２５及び発話内容提示部２６を有している。車載コントローラ２４は、ＲＯＭに格納されたプログラムを実行することで、状況取得部２５及び発話内容提示部２６の機能を実行することができる。

【0035】

状況取得部２５は、車内ユーザＡがいる場所の状況を示す、車両１の状況データを取得する。本実施形態では、状況取得部２５は、周辺情報サーバー１０及びセンサ２１から、車両１の状況データを取得する。

【0036】

例えば、状況取得部２５は、車載通信装置２２を介して、周辺情報サーバー１０から、車両１の周辺の交通情報１１、車両１の周辺の天気情報１２、及び車両１の周辺の通信情報１３を取得する。状況取得部２５は、周辺情報サーバー１０に情報リクエストの信号を送信することで、周辺情報サーバー１０から、各種情報を取得することができる。また例えば、状況取得部２５は、車両１に搭載されたセンサ２１から、センサ２１を構成する各センサで検出されたデータを取得する。センサ２１で検出されたデータは、車内空間２０の撮像画像データ、車内空間２０の集音音声データ、車両１の操舵角データ、車両１のペダル踏み込みデータ、車両１の周囲の撮像画像データ、車両１の周囲の集音音声データ、車両１の周囲の対象物データ、及び車両１の位置データを含む。状況取得部２５は、本発明の「状況取得部」の一例である。

【0037】

図２は、状況取得部２５が取得する車両１の状況データの一例を示す説明図である。図２に示すように、車両１の状況データは、車両１の室内の状況データ、車両１の室外の状況データ、車両１の走行状況データ、及び車内ユーザの状況データに分類される。

【0038】

また車両１の室内の状況データとしては、図２に示すように、車両１のノイズ状況を示すデータ、車両１の通信状況を示すデータが挙げられる。車両１のノイズ状況を示すデータとしては、ロードノイズ、車内空間２０に流れる音声（ラジオ、テレビ）の音量などが挙げられる。状況取得部２５は、周辺情報サーバー１０や車内用マイク２１３から、車両１のノイズ状況を示すデータを取得する。また車両１の通信状況を示すデータとしては、回線速度を示すビットレートが挙げられる。状況取得部２５は、周辺情報サーバー１０から、車両１の通信状況を示すデータを取得する。

【0039】

また車両１の室外の状況データとしては、図２に示すように、車両１の周辺の道路状況や車両１の周辺状況を示すデータ、車両１の周辺の天候状況を示すデータが挙げられる。車両１の周辺の道路状況や車両１の周辺状況を示すデータとしては、車両１が走行する道路又はその周辺の渋滞情報、車両１の走行場所、車両１の周辺に存在する対象物の情報などが挙げられる。状況取得部２５は、周辺情報サーバー１０、車外用カメラ２２２、車外用マイク２２３、ミリ波レーダ２２４、超音波ソナー２２５、ＧＰＳ２２６などから、車両１の周辺の道路状況や車両１の周辺状況を示すデータを取得する。また車両１の周辺の天候状況を示すデータとしては、天気を示すデータ（「晴れ」、「曇り」、「雨」、「霧」など）が挙げられる。状況取得部２５は、周辺情報サーバー１０から、車両１の天候状況を示すデータを取得する。

【0040】

また車両１の走行状況データとしては、図２に示すように、車両１の運転状況を示すデータが挙げられる。車両１の運転状況を示すデータとしては、車両１の状態を示す情報（「後ろ向き駐車中」、「縦列駐車中」、「高速道路走行中」、「右左折中」、「一時停止中」など）が挙げられる。状況取得部２５は、車内用マイク２１３、舵角センサ２１４、ペダルセンサ２１５、車外用カメラ２２２、車外用マイク２２３、ミリ波レーダ２２４、超音波ソナー２２５、ＧＰＳ２２６などから、車両１の運転状況を示すデータを取得する。

【0041】

また車内ユーザＡの状況データとしては、図２に示すように、遠隔地ユーザＢとの対話状況を示すデータ、車内ユーザＡの反応状況を示すデータが挙げられる。遠隔地ユーザＢとの対話状況を示すデータとしては、遠隔地ユーザＢとの対話において車内ユーザＡの理解度を表わす情報（「わかった」、「わからない」、「もう一度言って」、「うーむ」、「えっと」など）が挙げられる。状況取得部２５は、車内用カメラ２１２、車内用マイク２１３などから、遠隔地ユーザＢとの対話状況を示すデータを取得する。また車内ユーザＡの反応状況を示すデータとしては、遠隔地ユーザＢの発話内容が車内ユーザＡに提示された後の、車内ユーザＡの表現態様を示す情報（車内ユーザＡの表所の変化、視線の変化など）が挙げられる。状況取得部２５は、車内用カメラ２１２、車内用マイク２１３などから、車内ユーザＡの反応状況を示すデータを取得する。なお、図２に示す状況取得部２５が取得する車両１の状況データは一例であって、車両１の状況データを限定するものではない。

【0042】

図１に戻り、車載コントローラ２４が実現する機能について説明する。発話内容提示部２６には、車載通信装置２２を介して、遠隔地通信装置３１から送信された、遠隔地ユーザＢの発話内容データ及び提示態様データが入力される。発話内容提示部２６は、提示態様データで示す提示態様で、遠隔地ユーザＢの発話内容を車内ユーザＡに提示するように、車載出力装置２３を制御する。例えば、発話内容提示部２６は、提示態様データを参照することで、遠隔地ユーザＢの発話内容を車内ユーザＡに提示するための車載ディスプレイ２３ａの設定情報や車載スピーカー２３ｂの設定情報を特定する。なお、遠隔地ユーザＢの発話内容データが発話内容提示部２６に入力されるタイミングと、提示態様データが発話内容提示部２６に入力されるタイミングは同じであってもよいし、異なっていてもよい。発話内容提示部２６は、本発明の「発話内容提示部」の一例である。

【0043】

遠隔地空間３０について説明する。図１に示すように、遠隔地空間３０には、遠隔地通信装置３１、遠隔地マイク３２、遠隔地入力装置３３、遠隔地出力装置３４、及び遠隔地コントローラ３５が設けられている。遠隔地空間３０に設けられた各装置は、相互に情報の送受信を行うために、例えばイーサネット（商標登録）などによって接続されている。

【0044】

遠隔地通信装置３１は、遠隔地空間３０の外部との間で無線によりデータを送受信する無線通信機能を備えた機器である。遠隔地通信装置３１としては、例えば、ルーターが挙げられる。遠隔地通信装置３１は、無線通信機能により、例えば、４Ｇ／ＬＴＥ、Ｗｉｆｉ（商標登録）等の通信規格を利用して、インターネットに接続し、遠隔地空間３０の外部に設けられたサーバーやシステムとの間で様々なデータの送受信を行う。本実施形態では、遠隔地通信装置３１は、車載通信装置２２及びサーバー通信装置４１との間でデータの送受信を行う。各通信装置間で送受信されるデータについては後述する。

【0045】

遠隔地マイク３２は、遠隔地ユーザＢがいる場所（遠隔地空間３０）で音声を集音する集音装置である。遠隔地マイク３２は、遠隔地ユーザＢの音声を集音可能な位置に設置されるのが好ましい。遠隔地マイク３２により集音された集音音声は、遠隔地コントローラ３５に出力される。なお、遠隔地マイク３２は、遠隔地空間３０に設けられ、遠隔地ユーザＢの音声を集音可能な装置又は機器であればよく、その形態、数、特性、設置場所などは特に限定されない。例えば、遠隔地マイク３２は、複数のマイク又は種別が複数のマイクで構成されていてもよい。

【0046】

遠隔地入力装置３３は、遠隔地ユーザＢが操作可能なヒューマンインターフェースとして機能する装置である。遠隔地ユーザＢは、遠隔地入力装置３３を操作することで、コミュニケーションシステム１００に関する設定を入力することができる。遠隔地入力装置３３は、キーボードやマウス等、各機器が別体で構成されていてもよいし、タッチパネルのようにディスプレイと入力部とが一体で構成されていてもよい。遠隔地入力装置３３の形態、特性、設置場所などは特に限定されない。

【0047】

本実施形態では、遠隔地ユーザＢは、コミュニケーションシステム１００に関する設定として、遠隔地ユーザＢの発話内容をどのような態様で車内ユーザＡに提示するかを示した、車内ユーザＡへの提示態様を設定する。例えば、遠隔地ユーザＢは、遠隔地入力装置３３を介して、遠隔地ユーザＢの発話内容を提示するために制御する制御対象の装置、及び制御対象の装置の詳細な設定を入力する。

【0048】

遠隔地出力装置３４は、遠隔地空間３０に設けられ、遠隔地ユーザＢに対して、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度の情報を出力する装置である。図１に示すように、遠隔地出力装置３４としては、車内ユーザＡの理解度を表示形式で遠隔地ユーザＢに提示する遠隔地ディスプレイ３４ａ、車内ユーザＡの理解度を音声形式で遠隔地ユーザＢに提示する遠隔地スピーカー３４ｂが挙げられる。遠隔地出力装置３４には、遠隔地コントローラ３５から、車内ユーザＡの理解度データが入力される。遠隔地出力装置３４は、車内ユーザＡの理解度データに基づき、車内ユーザＡの理解度を遠隔地ユーザＢに提示する。

【0049】

遠隔地コントローラ３５は、遠隔地ユーザＢの発話内容を取得する発話内容取得処理、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を提示する理解度提示処理、遠隔地入力装置３３に入力された情報を受信する受信処理、及び車内ユーザＡへの提示態様を決定する提示態様決定処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。遠隔地コントローラ３５は、発話内容取得部３６、理解度提示部３７、受信部３８、及び提示態様決定部３９を有している。遠隔地コントローラ３５は、ＲＯＭに格納されたプログラムを実行することで、発話内容取得部３６、理解度提示部３７、受信部３８、及び提示態様決定部３９の機能を実行することができる。遠隔地コントローラ３５の各機能について説明する。

【0050】

発話内容取得部３６には、遠隔地マイク３２から、遠隔地ユーザＢの音声データが入力される。発話内容取得部３６は、遠隔地ユーザＢの音声から、遠隔地ユーザＢの発話内容を取得する。発話内容取得部３６は、遠隔地ユーザＢの音声データに対して音声認識処理を実行することで、遠隔地ユーザＢの発話内容を特定することができる。遠隔地ユーザＢの発話内容とは、遠隔地ユーザＢが話している内容又はテーマのことである。例えば、発話内容取得部３６は、遠隔地ユーザＢの音声に含まれる特定の単語や、遠隔地ユーザＢが多用する単語に基づいて、遠隔地ユーザＢが発話している内容を特定することができる。発話内容取得部３６は、遠隔地通信装置３１を介して、遠隔地マイク３２により集音された遠隔地ユーザＢの音声、及び遠隔地ユーザＢの発話内容を含むデータを、遠隔地ユーザＢの発話内容データとして車載通信装置２２及びサーバー通信装置４１に送信する。発話内容取得部３６は、本発明の「発話内容取得部」の一例である。

【0051】

理解度提示部３７には、遠隔地通信装置３１を介して、サーバー通信装置４１から送信された、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度データが入力される。理解度提示部３７は、車内ユーザＡの理解度を遠隔地ユーザＢに提示するように、遠隔地出力装置３４を制御する。例えば、理解度提示部３７は、車内ユーザＡの理解度データを遠隔地ディスプレイ３４ａに表示させる。また例えば、理解度提示部３７は、車内ユーザＡの理解度データを遠隔地スピーカー３４ｂから音声出力させる。これにより、車内ユーザＡの理解度は遠隔地ユーザＢに提示され、遠隔地ユーザＢは、自身の発話内容に対する車内ユーザＡの理解度を理解することができる。なお、理解度提示部３７がどのような態様で車内ユーザＡの理解度を遠隔地ユーザＢに提示するかは特に限定されない。例えば、車内ユーザＡの理解度は、数値やグラフなどで遠隔地ディスプレイ３４ａに表示されてもよいし、遠隔地スピーカー３４ｂを介して機械音声で読み上げられてもよい。理解度提示部３７は、本発明の「理解度提示部」の一例である。

【0052】

受信部３８は、遠隔地入力装置３３に入力された情報を受信する。例えば、遠隔地ユーザＢがコミュニケーションシステム１００に関する設定を遠隔地入力装置３３に入力した場合、受信部３８は、遠隔地ユーザＢにより入力されたコミュニケーションシステム１００の設定情報を受信する。本実施形態では、遠隔地ユーザＢは、自身の発話内容を車内ユーザＡに提示する態様の情報として、車内ユーザＡへの提示態様の設定指示を遠隔地入力装置３３に入力する。受信部３８は、本発明の「受信部」の一例である。

【0053】

提示態様決定部３９は、遠隔地ユーザＢによる提示態様の設定指示に基づき、車内ユーザＡへの提示態様を決定する。例えば、遠隔地ユーザＢが自身の発話内容を強調して提示するよう設定指示した場合、提示態様決定部３９は、遠隔地ユーザＢの発話内容が強調されるように、制御対象の装置及び当該装置の設定を決定する。例えば、提示内容決定部２９は、車載ディスプレイ２３ａを制御対象の装置として決定するとともに、車載ディスプレイ２３ａに表示させる具体的な内容を決定する。提示態様決定部３９は、遠隔地通信装置３１を介して、決定した提示態様のデータを車内空間２０に送信する。

【0054】

次に、サーバー４０について説明する。図１に示すように、サーバー４０は、サーバー通信装置４１、データベース４２、及びサーバーコントローラ４３を備えている。サーバー４０が備える各装置は、相互に情報の送受信を行うために、例えばイーサネット（商標登録）などによって接続されている。

【0055】

サーバー通信装置４１は、車載通信装置２２及び遠隔地通信装置３１との間で無線によりデータを送受信する無線通信機能を備えた機器である。サーバー通信装置４１としては、例えば、ルーターが挙げられる。サーバー通信装置４１は、無線通信機能により、例えば、４Ｇ／ＬＴＥ、Ｗｉｆｉ（商標登録）等の通信規格を利用して、インターネットに接続し、サーバー４０の外部に設けられた他のサーバーやシステムとの間で様々なデータの送受信を行う。

【0056】

サーバー通信装置４１の送受信するデータについて説明する。サーバー通信装置４１は、車載通信装置２２から、状況取得部２５により取得された車両１の状況データを受信する。サーバー通信装置４１は、受信した車両１の状況データを、データベース４２及びサーバーコントローラ４３に出力する。

【0057】

また、サーバー通信装置４１は、遠隔地通信装置３１から、発話内容取得部３６により取得された遠隔地ユーザＢの発話内容のデータを受信する。サーバー通信装置４１は、受信した遠隔地ユーザＢの発話内容データを、データベース４２及びサーバーコントローラ４３に出力する。

【0058】

また、サーバー通信装置４１には、サーバーコントローラ４３から、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度データが入力される。サーバー通信装置４１は、車内ユーザＡの理解度データを、遠隔地通信装置３１に送信する。

【0059】

データベース４２は、コミュニケーションシステム１００を利用するユーザの各種データを格納する。データベース４２は、遠隔地ユーザＢの発話内容と、当該発話内容が車内ユーザＡに提示されたときの車両１の状況データとを関連付けて記憶する。遠隔地ユーザＢの発話内容が提示されたときの車両１の状況データは、遠隔地ユーザＢの発話内容が車内ユーザＡに提示されたときの車内ユーザＡの状況を含む。

【0060】

また遠隔地ユーザＢの発話内容が提示されたときの車内ユーザＡの状況は、遠隔地ユーザＢの発話内容が提示されたときの車内ユーザＡの表情、遠隔地ユーザＢの発話内容が提示されたときに車内ユーザＡが発した音声の音質、及び遠隔地ユーザＢの発話内容が提示されたときに車内ユーザＡが発した内容の少なくともいずれか一つを含む。遠隔地ユーザＢの発話内容が提示されたときの車内ユーザＡの表情は、車内用カメラ２１２により撮像された車内ユーザＡの表情を含む撮像画像のデータから取得された情報である。また遠隔地ユーザＢの発話内容が提示されたときに車内ユーザＡが発した音声の音質及び遠隔地ユーザＢの発話内容が提示されたときに車内ユーザＡが発した内容は、車内用マイク２１３により集音された車内ユーザＡの音声データから取得された情報である。データベース４２には、サーバー通信装置４１から各データが入力され、データベース４２は、データが入力されるたびに、記憶するデータを更新する。

【0061】

例えば、車内ユーザＡと遠隔地ユーザＢがコミュニケーションシステム１００を利用開始した後に、遠隔地ユーザＢの発話内容が車内ユーザＡに提示される機会が予め設けられていたとする。この機会において、遠隔地ユーザＢの発話内容が提示されたときの車内ユーザＡの反応（いわゆるリアクション）は、車内用カメラ２１２及び車内用マイク２１３によりデータとして取得される。例えば、車両１の経路を車内ユーザＡに案内するために、遠隔地ユーザＢが車両１の経路に関する内容を発話したとする。車内ユーザＡが車載スピーカー２３ｂを介して遠隔地ユーザＢの音声を聞くと、車内用カメラ２１２は、そのときの車内ユーザＡの表情を撮像し、また車内用マイク２１３は、そのときの車内ユーザＡの音声を集音する。またセンサ２１は、そのときの車両１の状況を検出する。遠隔地ユーザＢの発話内容が車内ユーザＡに提示されるたびに、車内用カメラ２１２及び車内用マイク２１３は、遠隔地ユーザＢの発話内容が提示されたときの車内ユーザＡの反応をデータとして取得する。例えば、車内ユーザＡと遠隔地ユーザＢがコミュニケーションシステム１００の利用を終了すると、車内用カメラ２１２に撮像された撮像画像データ、車内用マイク２１３により集音された音声データ、及びセンサ２１により検出された車両１の状況データは、車載通信装置２２を介して、サーバー通信装置４１に送信される。これにより、データベース４２は、遠隔地ユーザＢの発話内容と、当該発話内容が車内ユーザＡに提示されたときの車両１の状況データとを関連付けて記憶することができ、データベース化を実現することができる。なお、本実施形態では、遠隔地ユーザＢの発話内容の種別やその数などは特に限定されない。

【0062】

サーバーコントローラ４３は、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定する理解度推定処理を実行するためのプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されるコンピュータである。サーバーコントローラ４３は、理解度推定部４４を有している。サーバーコントローラ４３は、ＲＯＭに格納されたプログラムを実行することで、理解度推定部４４の機能を実行することができる。理解度推定部４４の機能について説明する。

【0063】

理解度推定部４４は、車両１の状況データに基づいて、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定する。図２に示す車両１の状況データの例を用いて説明する。

【0064】

例えば、理解度推定部４４は、図２に示す車両１のノイズ状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、遠隔地ユーザＢの音声と背景雑音とのＳＮ比が所定の比率以下の場合、車内ユーザＡは雑音環境下において遠隔地ユーザＢの発話内容を理解しているとして、当該ＳＮ比が所定の比率よりも高い場合に比べて、車内ユーザＡの理解度を低く推定する。また例えば、理解度推定部４４は、図２に示す車両１の通信状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、車載通信装置２２と遠隔地通信装置３１との間の通信速度が所定の通信速度以下の場合、音声が途切れるような不安定な通信環境下において車内ユーザＡは遠隔地ユーザＢの発話内容を理解しているとして、当該通信速度が所定の通信速度よりも速い場合に比べて、車内ユーザＡの理解度を低く推定する。なお、上記の所定の比率及び所定の通信速度は、車内ユーザＡの理解度を推定するために設定された比率の一例及び通信速度の一例であって、実験的に定めた値であってもよいし、予め設定した値であってもよい。

【0065】

また例えば、理解度推定部４４は、図２に示す車両１の道路状況や周辺状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、車両１が走行する道路が渋滞している場合、ドライバが運転に集中を要する環境下において、ドライバである車内ユーザＡは遠隔地ユーザＢの発話内容を理解してないものとして、車両１が走行する道路が渋滞していない場合に比べて、車内ユーザＡの理解度を低く推定する。また例えば、理解度推定部４４は、図２に示す車両１の周辺の天候状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、車両１の周辺の天気が「雨」の場合、ドライバが運転に集中を要する環境下において、ドライバである車内ユーザＡは遠隔地ユーザＢの発話内容を理解してないものとして、車両１の周辺の天気が「晴れ」の場合に比べて、車内ユーザＡの理解度を低く推定する。

【0066】

また例えば、理解度推定部４４は、図２に示す車両１の運転状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、車両１が後ろ向き駐車中の場合、ドライバが運転に集中を要する環境下において、ドライバである車内ユーザＡは遠隔地ユーザＢの発話内容を理解していないものとして、車両１が一時停止中の場合に比べて、車内ユーザＡの理解度を低く推定する。

【0067】

また例えば、理解度推定部４４は、図２に示す遠隔地ユーザＢとの対話状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、車内ユーザＡが「もう一度言って」と発話した場合、車内ユーザＡは遠隔地ユーザＢの発話内容を理解していないものとして、車内ユーザＡが「わかった」と発話した場合に比べて、車内ユーザＡの理解度を低く推定する。また例えば、理解度推定部４４は、図２に示す車内ユーザＡの反応状況を示すデータに基づいて、車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容が車内ユーザＡに提示された後、車内ユーザＡが首を傾げる仕草をした場合、車内ユーザＡは遠隔地ユーザＢの発話内容を理解していないものとして、車内ユーザＡが相槌を打つ仕草をした場合に比べて、車内ユーザＡの理解度を低く推定する。なお、図２の例を用いて説明した車内ユーザＡの理解度を推定する方法のそれぞれは一例であって、車内ユーザＡの理解度の推定方法を限定するものではない。

【0068】

上記のような理解度推定部４４による推定処理を実現させる一例としては、遠隔地ユーザＢの発話内容データ及び車両１の状況データから、車内ユーザＡの理解度を推定するために、データベース４２に記憶されるデータを用いて機械学習を行った学習済みの学習済みモデルが挙げられる。学習済みモデルは、学習済みニューラルネットワークを有する。学習済みニューラルネットワークは、遠隔地ユーザＢの発話内容データ及び車両１の状況データが入力されると、車内ユーザＡの理解度を推定するように、教師データを用いて機械学習処理が施されたニューラルネットワークである。理解度推定部４４は、サーバー通信装置４１を介して、遠隔地ユーザＢの発話内容データ及び車両１の状況データが入力されると、学習済みニューラルネットワークを用いて、車内ユーザＡの理解度を推定する。理解度推定部４４は、車内ユーザＡの理解度データを、サーバー通信装置４１を介して、遠隔地通信装置３１に送信する。

【0069】

次に、図３及び図４を用いて、コミュニケーションシステム１００により、遠隔地ユーザＢの発話内容が車内ユーザＡに提示され、その後、車内ユーザＡへの提示態様が変更されるまでのフローを説明する。図３及び図４は、コミュニケーションシステム１００による音声出力処理を示すフローチャートである。図３及び図４に示すように、フローチャートの各ステップは、車載コントローラ２４、遠隔地コントローラ３５、又はサーバーコントローラ４３のいずれかにより実行される。

【0070】

ステップＳ１０１では、遠隔地コントローラ３５は、コミュニケーションシステム１００の利用が開始されたか否かを判定する。例えば、コミュニケーションシステム１００の利用は、ＶＲゴーグルを装着した遠隔地ユーザＢがコミュニケーションシステム１００を起動するための操作を行うことで開始される。遠隔地コントローラ３５は、遠隔地ユーザＢによる上記操作の情報を検知すると、コミュニケーションシステム１００の利用が開始されたと判定する。遠隔地コントローラ３５が肯定的な判定をした場合、ステップＳ１０２に進む。一方、遠隔地コントローラ３５に遠隔地ユーザＢによる操作の情報が入力されず、遠隔地コントローラ３５が否定的な判定をした場合、コミュニケーションシステム１００による音声出力処理は終了する。また遠隔地ユーザＢがコミュニケーションシステム１００を終了するための操作を行った場合も、遠隔地コントローラ３５は否定的な判定をし、コミュニケーションシステム１００による音声出力処理は終了する。

【0071】

ステップＳ１０２では、遠隔地コントローラ３５は、遠隔地マイク３２により集音された遠隔地ユーザＢの音声を取得したか否かを判定する。遠隔地コントローラ３５は、遠隔地マイク３２から遠隔地ユーザＢの音声データが入力された場合、遠隔地ユーザＢの音声を取得したと判定する。一方、遠隔地コントローラ３５は、遠隔地マイク３２から遠隔地ユーザＢの音声データが入力されない場合、遠隔地ユーザＢの音声を取得していないと判定する。遠隔地コントローラ３５が肯定的な判定をした場合、ステップＳ１０３に進み、遠隔地コントローラ３５が否定的な判定をした場合、ステップＳ１０１に戻る。

【0072】

ステップＳ１０２において、遠隔地コントローラ３５が肯定的な判定をした場合、ステップＳ１０３に進む。ステップＳ１０３では、遠隔地コントローラ３５は、ステップＳ１０２で集音した遠隔地ユーザＢの音声から、遠隔地ユーザＢの発話内容を取得し、遠隔地ユーザＢが発話している内容やテーマを特定する。例えば、遠隔地コントローラ３５は、音声認識処理により、遠隔地ユーザＢの音声から、遠隔地ユーザＢの発話内容を取得する。

【0073】

ステップＳ１０４では、遠隔地コントローラ３５は、遠隔地通信装置３１を介して、ステップＳ１０３で取得した遠隔地ユーザＢの発話内容データを車内空間２０に送信する。ステップＳ１０５では、車載コントローラ２４は、車載通信装置２２を介して、ステップＳ１０４で遠隔地通信装置３１から送信された遠隔地ユーザＢの発話内容データを受信する。

【0074】

ステップＳ１０６では、車載コントローラ２４は、所定の提示態様で遠隔地ユーザＢの発話内容を車内ユーザＡに提示するように、車載出力装置２３を制御する。車載出力装置２３から遠隔地ユーザＢの発話内容が出力されることで、遠隔地ユーザＢの発話内容は車内ユーザＡに提示される。例えば、所定の提示態様としては、予め設定された初期設定の提示態様が挙げられる。初期設定の提示態様は、遠隔地ユーザＢの発話内容を提示するために制御する制御対象の装置、及び当該装置の設定情報を含む。なお、このステップにおける所定の提示態様は、初期設定の提示態様に限られない。例えば、後述するステップＳ１１８を経て、再度ステップＳ１０６に進んだ場合、車載コントローラ２４は、所定の提示態様として、ステップＳ１１８での提示態様を用いることができる。

【0075】

ステップＳ１０７では、車載コントローラ２４は、車内ユーザＡがいる場所の状況を示す、車両１の状況データを取得する。例えば、車載コントローラ２４は、周辺情報サーバー１０から、車両１の周辺の交通情報１１、車両１の周辺の天気情報１２、及び車両１の周辺の通信情報１３を取得する。また例えば、車載コントローラ２４は、車両１に搭載されたセンサ２１から、センサ２１を構成する各センサで検出されたデータを取得する。

【0076】

ステップＳ１０８では、車載コントローラ２４は、車載通信装置２２を介して、ステップＳ１０５で受信した遠隔地ユーザＢの発話内容データと、ステップＳ１０７で取得した車両１の状況データを、サーバー４０に送信する。

【0077】

ステップＳ１０９では、サーバーコントローラ４３は、サーバー通信装置４１を介して、ステップＳ１０８で車載通信装置２２から送信された遠隔地ユーザＢの発話内容データ及び車両１の状況データを受信する。

【0078】

ステップＳ１１０では、サーバーコントローラ４３は、ステップＳ１０９で受信した遠隔地ユーザＢの発話内容データ及び車両１の状況データを用いて、車内ユーザＡの理解度を推定する。例えば、サーバーコントローラ４３は、学習済みニューラルネットワークを用いて、車内ユーザＡの理解度を推定する。

【0079】

ステップＳ１１１では、サーバーコントローラ４３は、サーバー通信装置４１を介して、ステップＳ１１０で推定した車内ユーザＡの理解度データを遠隔地空間３０に送信する。

【0080】

ステップＳ１１２では、遠隔地コントローラ３５は、遠隔地通信装置３１を介して、ステップＳ１１１でサーバー通信装置４１から送信された、車内ユーザＡの理解度データを受信する。

【0081】

ステップＳ１１３では、遠隔地コントローラ３５は、遠隔地ユーザＢの発話内容を車内ユーザＡに提示する際の提示態様について、変更の必要性を判定する。例えば、遠隔地コントローラ３５は、ステップＳ１１２で受信した車内ユーザＡの理解度データを遠隔地ディスプレイ３４ａに表示させて、車内ユーザＡの理解度を遠隔地ユーザＢに提示する。車内ユーザＡの理解度が提示された遠隔地ユーザＢは、車内ユーザＡの理解度に応じて、提示態様の変更の必要性を判断する。遠隔地ユーザＢは、提示態様の変更が必要と判断した場合、遠隔地入力装置３３を介して、提示態様を変更する指示及び変更後の提示態様の情報を含む提示態様の設定指示を入力する。遠隔地コントローラ３５は、遠隔地入力装置３３を介して、遠隔地ユーザＢによる提示態様の設定指示が入力された場合、車内ユーザＡへの提示態様を変更する必要があると判定する。一方、遠隔地コントローラ３５は、車内ユーザＡの理解度を遠隔地ユーザＢに提示してから所定時間が経過しても、遠隔地ユーザＢによる設定指示が入力されない場合、車内ユーザＡへの提示態様を変更する必要はないと判定する。遠隔地コントローラ３５が肯定的な判定をした場合、ステップＳ１１４に進み、遠隔地コントローラ３５が否定的な判定をした場合、ステップＳ１０１に戻る。なお、所定時間は、車内ユーザＡへの提示態様を変更する必要があるか否かを判定するための時間であって、予め定められた時間である。

【0082】

ステップＳ１１３において、遠隔地コントローラ３５が肯定的な判定をした場合、ステップＳ１１４に進む。ステップＳ１１４において、遠隔地コントローラ３５は、ステップＳ１１３での処理結果に基づいて、車内ユーザＡへの提示態様を決定する。例えば、ステップＳ１１３において遠隔地コントローラ３５が遠隔地ユーザＢによる設定指示を受信した場合、遠隔地コントローラ３５は、遠隔地ユーザＢにより入力された変更後の提示態様の情報に基づき、車内ユーザＡへの提示態様を決定する。遠隔地コントローラ３５は、遠隔地ユーザＢの発話内容を車内ユーザＡに提示するために制御する制御対象の装置と、当該装置に関する設定を決定する。

【0083】

ステップＳ１１５において、遠隔地コントローラ３５は、遠隔地通信装置３１を介して、ステップＳ１１４で決定した提示態様のデータを車内空間２０に送信する。ステップＳ１１６では、車載コントローラ２４は、車載通信装置２２を介して、ステップＳ１１５で遠隔地通信装置３１から送信された提示態様データを受信する。

【0084】

ステップＳ１１７では、車載コントローラ２４は、ステップＳ１１６で受信した提示態様データに基づき、車内ユーザＡへの提示態様を変更する。例えば、ステップＳ１１６で受信した提示態様データに音声を強調する設定が含まれている場合、車載コントローラ２４は、車載スピーカー２３ｂの音量が上がるように、車載スピーカー２３ｂの音量を設定する。

【0085】

ステップＳ１１８では、車載コントローラ２４は、ステップＳ１１７で変更した提示態様で遠隔地ユーザＢの発話内容を車内ユーザＡに提示する。例えば、遠隔地ユーザＢの発話内容を強調して車内ユーザＡに提示する場合、車載コントローラ２４は、ステップＳ１１７で設定した音量で車載スピーカー２３ｂから遠隔地ユーザＢの音声を出力させる。ステップＳ１１８の処理が終了すると、ステップＳ１０７に戻り、ステップＳ１０１で否定的な判定がされるまで、図３及び図４に示すコミュニケーションシステム１００による音声出力処理が繰り返し実行される。

【0086】

図５は、遠隔地ユーザＢの発話内容を強調するための提示態様の一例を示す説明図である。図５に示すように、遠隔地ユーザＢの発話内容が事故情報の場合、車載コントローラ２４は、事故情報を知らせる遠隔地ユーザＢの音声を車載スピーカー２３ｂから出力させるとともに、遠隔地ユーザＢの発話内容を強調させるために、事故の発生位置が示された地図を車載ディスプレイ２３ａに表示させる。また遠隔地ユーザＢの発話内容が経路案内の場合、車載コントローラ２４は、車両１の経路を案内する遠隔地ユーザＢの音声を車載スピーカー２３ｂから出力させるとともに、遠隔地ユーザＢの発話内容を強調させるために、車両１の経路が示された地図を車載ディスプレイ２３ａに表示させる。さらに、遠隔地ユーザＢの発話内容が観光情報の場合、車載コントローラ２４は、遠隔地ユーザＢの音声により観光情報を出力する車載スピーカー２３ｂの音量を上げるとともに、観光情報を示すアイコンや文字を車載ディスプレイ２３ａに追加表示させる。なお、図５に示す遠隔地ユーザＢの発話内容を強調するための提示態様は一例であって、車載コントローラ２４による制御を限定するものではない。

【0087】

以上のように、本実施形態では、遠隔地コントローラ３５は、遠隔地マイク３２により集音された遠隔地ユーザＢの音声から遠隔地ユーザＢの発話内容を取得する発話内容取得部３６を備え、車載コントローラ２４は、遠隔地ユーザＢがいる遠隔地空間３０とは別の車内ユーザＡがいる車両１の状況を示す、車両１の状況データを取得する状況取得部２５を備え、サーバーコントローラ４３は、車両１の状況データに基づいて、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定する理解度推定部４４を備える。そして、車載コントローラ２４は、車内ユーザＡの理解度に基づく提示態様で、遠隔地ユーザＢの発話内容を車内ユーザＡに提示するように、車載出力装置２３を制御する発話内容提示部２６を備える。車両１の状況データに基づいて推定される車内ユーザＡの理解度は、遠隔地ユーザＢの発話内容に対するものであるため、聞き手である車内ユーザＡの理解度を推定する精度を向上させることができる。その結果、聞き手である車内ユーザＡが発話者である遠隔地ユーザＢの発話内容を理解しやすくなる。

【0088】

また、本実施形態では、車両１の状況は、車両１の室内の状況、車両１の室外の状況、車両１の走行状況、及び車内ユーザＡの状況のうち少なくともいずれかを含む。これにより、車両１に関する異なる観点から車両１の状況を捉えることができるため、車両１の状況が変化した場合であっても、車両１の状況の変化前後において、車内ユーザＡの理解度の推定精度を高く保つことができる。

【0089】

さらに、本実施形態では、遠隔地コントローラ３５は、車内ユーザＡの理解度を、遠隔地ユーザＢに提示するように、遠隔地空間３０に設けられた遠隔地出力装置３４を制御する理解度提示部３７を備える。これにより、遠隔地ユーザＢは、自身の発話内容に対する車内ユーザＡの理解度を把握することができる。

【0090】

加えて、本実施形態では、遠隔地コントローラ３５は、遠隔地空間３０に設けられた遠隔地入力装置３３から、車内ユーザＡの理解度を提示された遠隔地ユーザＢによる提示態様の設定指示を受信する受信部３８と、遠隔地ユーザＢによる提示態様の設定指示に基づいて、車内ユーザＡへの提示態様を決定する提示態様決定部３９を備える。これにより、遠隔地ユーザＢは、車内ユーザＡの理解度を把握したうえで、車内ユーザＡへの提示態様を決定することができるため、例えば、車内ユーザＡの理解度が低い場合、遠隔地ユーザＢの発話内容を強調するなど、車内ユーザＡへの提示態様を適切に変更することができる。

【0091】

また、本実施形態では、理解度推定部４４は、遠隔地ユーザＢの発話内容及び車両１の状況データが入力されると、学習済みニューラルネットワークを用いて、車内ユーザＡの理解度を推定する。学習済みニューラルネットワークは、遠隔地ユーザＢの発話内容及び車両１の状況データが入力されると、車内ユーザＡの理解度を推定するように、教師データを用いた機械学習処理が施されたニューラルネットワークである。これにより、ルールベースで車内ユーザＡの理解度を推定するよりも高い精度で、車内ユーザＡの理解度を推定することができる。

【0092】

さらに、本実施形態では、理解度推定部４４は、発話内容取得部３６により遠隔地ユーザＢの発話内容が取得された後に、状況取得部２５により取得された車両１の状況データに基づいて、車内ユーザＡの理解度を推定する。これにより、遠隔地ユーザＢが発話した内容に合わせるように、車内ユーザＡへの提示態様を変更することができるため、車内ユーザＡが遠隔地ユーザＢの発話内容を理解しづらい又は理解できなくなるのを抑制することができる。

【0093】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0094】

例えば、上述した実施形態では、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定する方法として、車両１の状況データを用いた推定方法を例に挙げて説明したが、その他の方法、又は車両１の状況データを用いた推定方法との組み合わせにより遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定してもよい。例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容に対して、遠隔地ユーザＢの発話内容の複雑度を算出し、算出した遠隔地ユーザＢの発話内容の複雑度に基づいて、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定してもよい。遠隔地ユーザＢの発話内容の複雑度は、遠隔地ユーザＢが発話している内容の難易度ともいう。

【0095】

遠隔地ユーザＢの発話内容の複雑度を算出する方法には、例えば、本願出願時に知られた、テキスト文章の複雑度を判定する技術を用いることができる。例えば、理解度推定部４４は、遠隔地ユーザＢの音声に対して音声認識処理を実行して、遠隔地ユーザＢの音声を文字に起こし、遠隔地ユーザＢの発話内容を文章化する。理解度推定部４４は、遠隔地ユーザＢの発話内容が表された文章の複雑度を算出することで、遠隔地ユーザＢの発話内容の複雑度を算出する。

【0096】

理解度推定部４４は、遠隔地ユーザＢが用いる単語に基づいて、遠隔地ユーザＢの発話内容の複雑度を算出する。理解度推定部４４は、遠隔地ユーザＢの発話内容が表された文章に含まれる単語一つ当たりの長さに基づいて、遠隔地ユーザＢの発話内容の複雑度を算出してもよい。例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容が表された文章に含まれる単語一つ当たりの長さが長いほど、遠隔地ユーザＢの発話内容の複雑度を高く算出する。

【0097】

また理解度推定部４４は、遠隔地ユーザＢが用いる語彙の豊かさに基づいて、遠隔地ユーザＢの発話内容の複雑度を算出してもよい。例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容が表せれた文章に特定分野で使用される専門用語が含まれている場合、当該専門用語が含まれていない場合に比べて、遠隔地ユーザＢの発話内容の複雑度を高く算出する。また例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容が表せられた文章において出現回数が１回の単語について、当該単語を文章全体に含まれる単語の総数で除算することで、遠隔地ユーザＢの発話内容の複雑度を算出する。

【0098】

また理解度推定部４４は、遠隔地ユーザＢが用いる文法に基づいて、遠隔地ユーザＢの発話内容の複雑度を算出してもよい。例えば、理解度推定部４４は、遠隔地ユーザＢの発話内容が表された文章に含まれる単語の品詞数、主語や述語などの文要素数に基づいて、遠隔地ユーザＢの発話内容の複雑度を算出する。

【0099】

上述した方法によって、遠隔地ユーザＢの発話内容の複雑度が算出されると、理解度推定部４４は、算出した遠隔地ユーザＢの発話内容の複雑度に基づいて、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定する。例えば、理解度推定部４４は、遠隔地Ｂユーザの発話内容の複雑度が高いほど、車内ユーザＡが遠隔地ユーザＢの発話内容を理解しづらいとして、車内ユーザＡの理解度を低く推定する。一方、理解度推定部４４は、遠隔地ユーザＢの発話内容の複雑度が低いほど、車内ユーザＡが遠隔地ユーザＢの発話内容を理解しやすいとして、車内ユーザＡの理解度を高く推定する。

【0100】

このように、遠隔地ユーザＢの発話内容の複雑度に基づいて、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定することで、車内ユーザＡの理解度は、車内ユーザＡが理解すべき対象の複雑さに基づいて推定されるため、車内ユーザＡの理解度の推定精度を向上させることができる。

【0101】

また例えば、上述した実施形態では、車内ユーザＡへの提示態様を決定する方法として、遠隔地ユーザＢに車内ユーザＡの理解度を提示し、その後、遠隔地ユーザＢによる設定指示に基づいて車内ユーザＡへの提示態様を決定する方法を例に挙げて説明したが、その他の方法により、車内ユーザＡへの提示態様を決定してもよい。例えば、遠隔地コントローラ３５は、車内ユーザＡの理解度に基づいて、車内ユーザへの提示態様を決定する提示態様決定部を備えていてもよい。これにより、車内ユーザＡへの提示態様は車内ユーザＡの理解度に基づいて自動的に決定されるため、車内ユーザＡへの提示態様を変更する場合、スムーズに変更することができる。また遠隔地ユーザＢによる操作が不要となるため、ユーザの利便性の向上を図ることができる。

【0102】

また上述した変形例において、例えば、提示態様決定部は、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度が所定の基準理解度よりも低い場合、車内ユーザＡへの提示態様として、遠隔地ユーザＢの発話内容を強調する提示態様に決定してもよい。これにより、車内ユーザＡの理解度が比較的低い場合、遠隔地ユーザＢの発話内容を強調して車内ユーザＡに提示できるため、車内ユーザＡは、提示態様が変更される前に比べて、遠隔地ユーザＢの発話内容を理解しやすくなる。

【0103】

また例えば、上述した実施形態では、理解度推定部４４による発話内容に対する理解度の推定方法として、学習済みニューラルネットワークを用いた推定方法を例に挙げて説明したが、その他の方法により発話内容に対する理解度を推定してもよい。例えば、理解度推定部４４は、入力層及び出力層を含み、入力層への入力データを遠隔地ユーザＢの発話内容及び車両１の状況データとし、出力層からの出力データを遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度とするニューラルネットワークと、入力データ及び出力データの実績値を教師データとしてニューラルネットワークを学習させる機械学習部と、機械学習部により学習させたニューラルネットワークに新たな入力データを入力し、当該入力データに対する新たな出力データとして、車内ユーザＡの理解度を推定する推定部を有していてもよい。これにより、理解度推定部４４は、遠隔地ユーザＢの発話内容及び車両１の状況データが入力されるたびに、遠隔地ユーザＢの発話内容と車両１の状況との相関関係を学習するため、車内ユーザＡの理解度の推定精度をより高めることができる。

【0104】

また例えば、上述した実施形態では、遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を推定するタイミングとして、遠隔地ユーザＢの発話内容を取得した後を例に挙げて説明したが、遠隔地ユーザＢの発話内容を取得する前に、車内ユーザＡの理解度を推定してもよい。理解度推定部４４は、発話内容取得部３６により遠隔地ユーザＢの発話内容が取得される前に、状況取得部２５により取得された車両１の状況データに基づいて、遠隔地ユーザＢが発話した場合における遠隔地ユーザＢの発話内容に対する車内ユーザＡの理解度を予め推定してもよい。例えば、理解度推定部４４は、車両１の状況データから、車載通信装置２２と遠隔地通信装置３１との間の通信速度が所定の通信速度以下であることを特定したとする。この場合、理解度推定部４４は、音声が途切れるような不安定な通信環境下のため、遠隔地ユーザＢが発話した場合に車内ユーザＡは遠隔地ユーザＢの発話内容を理解しづらいと予測して、通信速度が所定の通信速度よりも速い場合に比べて、車内ユーザＡの理解度を予め低く推定する。遠隔地ユーザＢが発話する前に車内ユーザＡの理解度を予め推定することで、車内ユーザＡが初めから遠隔地ユーザＢの発話内容を理解しづらい又は理解できなくなるのを抑制することができる。

【0105】

また例えば、上述した実施形態では、理解度推定部４４が有する学習済みニューラルネットワークとして、車両１の状況データを入力データにして機械学習を行った場合を例に挙げて説明したが、理解度推定部４４のニューラルネットワークに、車両１に限られず、複数の車両から各車両の状況データを入力させて学習させてもよい。また、複数の車両のそれぞれにおいて、車載コントローラが理解度推定部を備える構成であってもよく、この場合、各車両において、車両の状況データを入力させて学習させ、各学習結果をサーバーに送信する構成であってもよい。

【0106】

また例えば、上述した実施形態では、車載コントローラ２４が状況取得部２５及び発話内容提示部２６を備え、遠隔地コントローラ３５が発話内容取得部３６、理解度提示部３７、受信部３８、及び提示態様決定部３９を備え、サーバーコントローラ４３が理解度推定部４４を備える場合を例に挙げて説明したが、本発明のコミュニケーション支援装置の構成はこれに限定されない。例えば、発話内容取得部、状況取得部、理解度推定部、発話内容提示部、理解度提示部、受信部、及び提示態様決定部は、特定のコントローラ又は装置が備える構成であってもよい。例えば、車載コントローラ２４がこれらのブロックを備えていてもよいし、遠隔地コントローラ３５がこれらのブロックを備えていてもよいし、あるいは、サーバー４０がこれらのブロックを備えていてもよい。このようにコミュニケーション支援装置の各ブロックを集約した構成の場合、各ブロックを備える装置は、いずれのブロックも備えない装置との間で、通信装置を介してデータの送受信を行うことで、上述した実施形態と同様の効果を得ることができる。

【符号の説明】

【0107】

１００…コミュニケーションシステム
１０…周辺情報サーバー
１１…交通情報
１２…天気情報
１３…通信情報
２０…車内空間
２１…センサ
２１１…車内用センサ
２１２…車内用カメラ
２１３…車内用マイク
２１４…舵角センサ
２１５…ペダルセンサ
２２１…車外用センサ
２２２…車外用カメラ
２２３…車外用マイク
２２４…ミリ波レーダ
２２５…超音波ソナー
２２６…ＧＰＳ
２２…車載通信装置
２３…車載出力装置
２３ａ…車載ディスプレイ
２３ｂ…車載スピーカー
２４…車載コントローラ
２５…状況取得部
２６…発話内容提示部
３０…遠隔地空間
３１…遠隔地通信装置
３２…遠隔地マイク
３３…遠隔地入力装置
３４…遠隔地出力装置
３４ａ…遠隔地ディスプレイ
３４ｂ…遠隔地スピーカー
３５…遠隔地コントローラ
３６…発話内容取得部
３７…理解度提示部
３８…受信部
３９…提示態様決定部
４０…サーバー
４１…サーバー通信装置
４２…データベース
４３…サーバーコントローラ
４４…理解度推定部

【図1】

【図2】

【図3】

【図4】

【図5】