特許 7407047 音声出力の制御方法および音声出力制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】音声出力の制御方法および音声出力制御装置

(51)【国際特許分類】

   G10L 13/02 20130101AFI20231221BHJP

   G06F 3/16 20060101ALI20231221BHJP

   G10L 13/00 20060101ALI20231221BHJP

   G10L 15/00 20130101ALI20231221BHJP

   G10L 15/22 20060101ALI20231221BHJP

【ＦＩ】

G10L13/02 130Z

G06F3/16 540

G06F3/16 650

G06F3/16 690

G10L13/00 100H

G10L13/00 100M

G10L15/00 200J

G10L15/00 200Q

G10L15/22 300Z

【請求項の数】 7

(21)【出願番号】P 2020055564

(22)【出願日】2020-03-26

(65)【公開番号】P2021156994

(43)【公開日】2021-10-07

【審査請求日】2022-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】安原 真也

【審査官】大野 弘

(56)【参考文献】

【文献】国際公開第２０１９／０２６３６０（ＷＯ，Ａ１）

【文献】特開２０１６－０５０９６４（ＪＰ，Ａ）

【文献】特開２００２－１５６２４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／０２

Ｇ１０Ｌ １３／００

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／２２

(57)【特許請求の範囲】

【請求項1】

音声出力の制御方法であって、
ユーザへの音声出力中に、前記ユーザから音声出力の停止指示を受信したことに応じて、停止指示部が、前記音声出力を停止させるステップと、
前記停止指示を受信したことに応じて、前記ユーザが前記停止指示を行った要因を、要因推定部が推定するステップと、
前記推定した前記要因に応じて、条件決定部が、前記停止した音声出力の再開条件を決定するステップと、
を有し、
前記推定するステップでは、前記停止指示の要因が、前記音声出力が提供する情報の内容であるか否かを判断し、
前記決定するステップでは、前記要因が前記内容であるときは、前記提供する内容の変更を、前記再開条件として決定する、
制御方法。

【請求項2】

前記決定するステップでは、前記推定するステップにおいて前記要因が特定されないときは、所定時間の経過を前記再開条件として決定する、
請求項１に記載の制御方法。

【請求項3】

前記ユーザは、車両の運転者であって、
前記推定するステップでは、前記停止指示の要因が、前記運転者の前記車両についての運転負荷の増大であるか否かを判断し、
前記決定するステップでは、前記運転負荷の増大が前記要因であるときは、前記運転負荷の前記増大の原因となった運転シーンの終了を前記再開条件として決定する、
請求項１または２に記載の制御方法。

【請求項4】

前記推定するステップでは、前記停止指示の要因が、ユーザと前記車両の同乗者との会話であるか否かを判断し、
前記決定するステップでは、前記会話が前記要因であるときは、前記会話の終了を前記再開条件として決定する、
請求項３に記載の制御方法。

【請求項5】

前記推定するステップでは、前記停止指示の要因が、前記車両の同乗者の睡眠であるか否かを判断し、
前記決定するステップでは、前記要因が前記睡眠であるときは、前記音声出力の音量の低減を前記再開条件として決定する、
請求項３または４に記載の制御方法。

【請求項6】

前記推定するステップでは、前記停止指示を受信したときは、前記停止指示の要因が前記運転者の前記運転負荷の増大であるか否かの判断を、他の要因についての判断に優先して行う、
請求項３ないし５のいずれか一項に記載の制御方法。

【請求項7】

音声出力を制御する音声出力制御装置であって、
ユーザへの音声出力中に、前記ユーザから音声出力の停止指示を受信したことに応じて前記音声出力を停止させる停止指示部と、
前記停止指示を受信したことに応じて、前記ユーザが前記停止指示を行った要因を推定する要因推定部と、
前記推定した前記要因に応じて、前記停止した前記音声出力の再開条件を決定する条件決定部と、
を備え、
前記要因推定部は、前記停止指示の要因が、前記音声出力が提供する情報の内容であるか否かを判断し、
前記条件決定部は、前記要因が前記内容であるときは、前記提供する内容の変更を、前記再開条件として決定する、
音声出力制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声出力の制御方法および音声出力制御装置に関する。

【背景技術】

【0002】

従来、ユーザの指示に応じて音楽等の再生を行ったり、ユーザが求める各種の情報を音声で提供する車載装置が知られている。例えば、ユーザが車載装置に対して、音声指示の開始を示すいわゆるウェイクアップワードに続けて“今日のトップニュースを教えて”等の音声指示を発すると、車載装置は、インターネット上のニュースサーバを検索してトップニュースの読み上げを開始する。

【0003】

ユーザは、何かの都合でこれらの音声出力を途中で停止したい場合には、例えば音声指示により停止することができ、その後に、必要に応じて新たに音声指示を与えれば、改めて所望の音声出力を指示することができる。

【0004】

しかしながら、ユーザが音声出力を停止する要因は様々であり、要因によっては音声出力を完全に終了させてしまうのではなく、一時的な停止（すなわち中断）にしておき、当該要因がなくなった後に音声出力が再開されることが望ましい場合があり得る。

【0005】

例えば、比較的長いニュースが読み上げられて音声出力されるような場合、ユーザからの停止指示により読み上げが終了されるのではなく中断されるものとし、当該停止指示の要因が排除された後に、当該中断した箇所から読み上げが再開されるほうが、同じニュース部分を重複して聞く必要がなく、ユーザにとっては望ましいものとなり得る。

【0006】

また、このような音声出力の適切な再開は、対話装置が行うユーザとの音声対話においても望ましいものである。特に、複数回の対話を通じて一つのユーザ指示が与えられるような音声対話では、ユーザからの対話停止指示の後に、適切な条件の下に当該対話が再開されれば、効率的な対話によりユーザ指示を与えることができる。

【0007】

したがって、ユーザが音声出力を停止したときに、当該停止の要因に応じた適切なタイミングないし条件の下に当該停止した音声出力が再開されれば、ユーザにとり便宜である。

【0008】

従来技術として、特許文献１には、運転者と対話する車載の対話装置において、運転者の運転負荷が高いときは運転者への発話を行わず、運転負荷が低く且つ運転者が漫然状態（運転操作が緩慢であったり大きな修正操作が行われるような、注意力低下の状態）であるときに、発話を開始することが開示されている。また、特許文献２には、車載の音声対話装置において、ブレーキセンサ等の信号から判断される運転者の運転余裕度が音声メッセージを認識し得る程度であるときに、運転者からの音声を受け付けることが開示されている。

【0009】

しかしながら、これらの従来技術は、運転者への発話出力の許否または運転者からの発話受信の許否を運転負荷に応じて判断するものであり、上述のような、ユーザにより音声出力の停止指示が行われる場面でのユーザの利便性向上について、解決策を与えるものではない。

【先行技術文献】

【特許文献】

【0010】

【文献】特開２０１７－０６７８４９号公報

【文献】特開２０１８－０６３３３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

上記背景より、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することのできる技術の実現が求められている。

【課題を解決するための手段】

【0012】

本発明の一の態様は、音声出力の制御方法であって、ユーザへの音声出力中に、前記ユーザから音声出力の停止指示を受信したことに応じて、停止指示部が、前記音声出力を停止させるステップと、前記停止指示を受信したことに応じて、前記ユーザが前記停止指示を行った要因を、要因推定部が推定するステップと、前記推定した前記要因に応じて、条件決定部が、前記停止した音声出力の再開条件を決定するステップと、を有し、前記推定するステップでは、前記停止指示の要因が、前記音声出力が提供する情報の内容であるか否かを判断し、前記決定するステップでは、前記要因が前記内容であるときは、前記提供する内容の変更を、前記再開条件として決定する。
本発明の他の態様によると、前記決定するステップでは、前記推定するステップにおいて前記要因が特定されないときは、所定時間の経過を前記再開条件として決定する。
本発明の他の態様によると、前記ユーザは、車両の運転者であって、前記推定するステップでは、前記停止指示の要因が、前記運転者の前記車両についての運転負荷の増大であるか否かを判断し、前記決定するステップでは、前記運転負荷の増大が前記要因であるときは、前記運転負荷の前記増大の原因となった運転シーンの終了を前記再開条件として決定する。
本発明の他の態様によると、前記推定するステップでは、前記停止指示の要因が、ユーザと前記車両の同乗者との会話であるか否かを判断し、前記決定するステップでは、前記会話が前記要因であるときは、前記会話の終了を前記再開条件として決定する。
本発明の他の態様によると、前記推定するステップでは、前記停止指示の要因が、前記車両の同乗者の睡眠であるか否かを判断し、前記決定するステップでは、前記要因が前記睡眠であるときは、前記音声出力の音量の低減を前記再開条件として決定する。
本発明の他の態様によると、前記推定するステップでは、前記停止指示を受信したときは、前記停止指示の要因が前記運転者の前記運転負荷の増大であるか否かの判断を、他の要因についての判断に優先して行う。
本発明の他の態様は、音声出力を制御する音声出力制御装置であって、ユーザへの音声出力中に、前記ユーザから音声出力の停止指示を受信したことに応じて前記音声出力を停止させる停止指示部と、前記停止指示を受信したことに応じて、前記ユーザが前記停止指示を行った要因を推定する要因推定部と、前記推定した前記要因に応じて、前記停止した前記音声出力の再開条件を決定する条件決定部と、を備え、前記要因推定部は、前記停止指示の要因が、前記音声出力が提供する情報の内容であるか否かを判断し、前記条件決定部は、前記要因が前記内容であるときは、前記提供する内容の変更を、前記再開条件として決定する。

【発明の効果】

【0013】

本発明によれば、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るＵＩ制御装置の構成を示す図である。

【図2】図１に示すＵＩ制御装置における制御処理の手順を示すフロー図である。

【図3】図２に示す制御処理における要因推定処理の手順を示すフロー図である。

【図4】図２に示す制御処理における条件決定処理の手順を示すフロー図である。

【図5】図２に示す制御処理における通知処理の手順を示すフロー図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施形態について説明する。
［第１実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る音声出力制御装置としてのユーザインタフェース制御装置の構成を示す図である。このユーザインタフェース制御装置（以下、ＵＩ制御装置）１００は、移動体である車両１０２に搭載されている。音声出力制御装置であるＵＩ制御装置１００は、車載ネットワークバス１０４を介して、カメラ制御装置１０６、車両情報取得装置１０８、運転シーン評価装置１１０、運転技量評価装置１１２、ユーザ情報管理装置１１４、運転負荷算出装置１１６、ＡＶ（オーディオビジュアル）出力装置１１８、およびコンテンツ提供装置１２０と、通信可能に接続されている。

【0016】

ＵＩ制御装置１００は、ＡＶ出力装置１１８およびコンテンツ提供装置１２０をクライアントとし、これらクライアント装置とユーザとの間の、マイク１４０、スピーカ１４２、表示装置１４４、およびタッチパネル１４６で構成されるユーザインタフェースを介したインタラクションを仲介する。特に、ＵＩ制御装置１００は、これらクライアント装置からユーザへの、スピーカ１４２を介した音声出力の停止及び再開を制御する。

【0017】

なお、以下においてユーザとは、車両１０２の運転者および同乗者を含む車両１０２の利用者をいうものとする。

【0018】

カメラ制御装置１０６は、車室内カメラ１２２により、車両１０２の車室内の画像を撮影する。また、カメラ制御装置１０６は、例えば車両１０２の外装に設けられた車外カメラ１２４により、車両１０２の外部環境を撮影する。

【0019】

車両情報取得装置１０８は、センサ群１２６から車両１０２の運転操作及び運動状態（又は力学的状態）を検知する。センサ群１２６には、アクセルペダルセンサ、ブレーキペダルセンサ、ステアリングセンサ、シフトセンサ、方向指示器センサ等の、車両操縦に係る各種の操作器に対するユーザ操作の有無および操作量を取得するセンサが含まれる。また、センサ群１２６には、３軸加速センサ、ヨーレートセンサ、および速度センサ等の、車両の運動状態又は力学的状態を検知する各種のセンサが含まれ得る。

【0020】

運転シーン評価装置１１０は、従来技術に従い、車両１０２が走行する交通環境のシーンである運転シーン（または交通シーン）を評価する。運転シーンは、本実施形態では、車両運転時に遭遇する様々な交通場面をカテゴライズしたものであり、例えば、交差点通過、交差点右折、交差点左折、狭路対面走行、前車追い越し、レーン変更、高速道路合流、緊急車両通過、二輪車並走、歩行者混雑、街路渋滞、暴風雨時走行等々の一つ又は複数の組み合わせで表され得る。

【0021】

運転シーン評価装置１１０は、上述した各運転シーン（候補シーン）のそれぞれについて、現在の運転シーンに合致すると判断する確信度（確からしさ、確率、または信頼度）を算出する。算出された各候補シーンの確信度から、最も確信度の高い候補シーンが、現在の運転シーンとして特定され得る。ここで、確信度は、確信の程度が高いほど値の大きい、例えば０以上、１以下の範囲の数値として表され得る。

【0022】

具体的には、運転シーン評価装置１１０は、ＣＰＵ等のプロセッサで構成されるコンピュータである処理装置を備え、例えば、車両１０２の外部環境、車両１０２の運転者の運転行動、及び又は車両１０２の運動状態に基づいて、上記各運転シーンの確信度を算出する。

【0023】

ここで、上記外部環境には、車両１０２の現在位置付近の地図情報（直進、カーブ、四差路、高速道入り口等々の道路の幾何学的構成やレーン構成）、車外カメラ１２４から取得され得る他車両の存在、道路標識、道路設備の動作状態（信号灯の点灯色等）、及び天候の状態等が含まれ得る。また、運転者の運転行動には、運転者の視線移動（安全確認のための、サイドミラーやルームミラーへの視線移動）、運転操作の種類（加減速操作、ステアリング操作、方向指示灯の点灯）、及び又はこれら運転操作の操作量、操作順序等が含まれ得る。また、車両１０２の運動状態には、速度、加速度、減速度、転回速度、走路勾配等が含まれ得る。

【0024】

運転シーン評価装置１１０は、これらの情報を、自身が備える記憶装置に記憶された地図情報、車外カメラ１２４から得られる車両環境の情報、車室内カメラ１２２から得られる運転者の視線情報、及び車両情報取得装置１０８が取得する各種の車両情報から取得する。

【0025】

運転シーン評価装置１１０は、例えば、各候補シーンのそれぞれに特徴的な外部環境、一連の運転行動、および車両の運動状態と、車両１０２の現在の外部環境、運転者の運転行動、および車両１０２の運動状態と、を比較し、それらの一致の程度から上記確信度を算出し得る。

【0026】

ただし、確信度の算出方法は、上記には限られない。例えば、運転シーン評価装置１１０は、上記外部環境、運転行動、及び又は運動状態から現在の運転シーンを確率的に推定するよう機械学習された学習済みモデルを用いて、現在の外部環境、運転行動、及び又は運転状態に対応した各候補シーンの確信度を算出するものとしてもよい。

【0027】

運転シーン評価装置１１０は、車載ネットワークバスを介して、上記候補シーンのそれぞれの確信度を他の装置へ出力すると共に、最も確信度の高い候補シーンを現在の運転シーンとして特定して、当該特定の結果を他の装置へ出力する。

【0028】

運転技量評価装置１１２は、従来技術に従い、車両１０２の運転者の運転スキルを評価し、評価結果を記憶する。具体的には、運転技量評価装置１１２は、例えばＣＰＵ等のプロセッサで構成されるコンピュータである処理装置と記憶装置とを備える。運転技量評価装置１１２は、運転シーン評価装置１１０から取得される現在の運転シーンと同様の運転シーンにおいて標準的な運転者が行う標準操縦フローと、車両１０２の現在の運転者が行った実際の実行操縦フローとを比較して、当該現在の運転者の運転スキルを評価する。

【0029】

これらの操縦フローは、一連の操縦における運転操作の種類、順序、開始タイミング、当該運転操作の速さ、及び又は当該運転操作の操作量の大きさ、等々のパラメータにより表現され得る。運転技量評価装置１１２は、現在の運転者の上記実行操縦フローにおける上記パラメータのそれぞれについて、上記標準操縦フローからの乖離の程度を評価し、当該評価の結果を、運転スキル評価点として算出する。この運転スキル評価点は、例えば、値１を上限として、運転スキルが低いほど（すなわち、上記乖離の程度が大きいほど）、より小さな値となるように算出され得る。

【0030】

ここで、上記実行操縦フローを構成する各パラメータ値は、車両情報取得装置１０８から取得されるものとすることができる。また、上記標準操縦フローについての各パラメータ値は、運転シーン毎に、予め定められて記憶されているものとすることができる。

【0031】

運転技量評価装置１１２は、所定の時間間隔で（例えば、半年毎に）、所定長さの運転期間（例えば、３か月間）における運転操作のデータに基づき、上記運転スキル評価点を算出するものとすることができる。また、運転技量評価装置１１２は、例えば、車両１０２が複数のユーザにより利用される場合には、上記運転スキル評価点をユーザ毎に算出する。

【0032】

運転技量評価装置１１２は、算出した運転者ごとの運転スキル評価点を、車載ネットワークバス１０４を介して他の装置へ出力する。

【0033】

ユーザ情報管理装置１１４は、車両１０２を運転者として利用するユーザについての情報（ユーザ情報）を管理する。ユーザ情報には、各ユーザの運転スキル評価点と嗜好情報とが含まれ得る。具体的には、ユーザ情報管理装置１１４は、処理装置１２８と記憶装置１３０とを備える。処理装置１２８は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。記憶装置１３０は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。記憶装置１３０は、運転技量データベース（運転技量ＤＢ）１３２と、嗜好情報データベース（嗜好情報ＤＢ）１３４と、を記憶する。

【0034】

運転技量ＤＢ１３２には、ユーザ毎の運転スキル評価点が保存されている。処理装置１２８は、運転技量評価装置１１２が出力するユーザ毎の運転スキル評価点を受信して、運転技量ＤＢ１３２に保存する。

【0035】

嗜好情報ＤＢ１３４には、各ユーザの嗜好情報が保存される。嗜好情報は、例えば、対応するユーザが好む嗜好カテゴリを表す情報で構成される。嗜好カテゴリは、例えば、コンテンツの分野（楽曲、映画、ニュース等々）、当該分野毎の小分類、及び又は具体的なコンテンツ、等々を表す言葉で構成され得る。上記小分類は、例えば、楽曲であればクラシック、ポップス等の区別、映画であればアクション、ホラー、ＳｉＦｉ等の区別、ニュースであればスポーツ、特定の国、特定のニュースソース等の区別を表す。

【0036】

処理装置１２８は、例えば、ユーザが後述するＡＶ出力装置１１８により再生した楽曲や動画の情報、ＡＶ出力装置１１８が提供するウェブブラウザを用いて行った検索のキーワード、後述するコンテンツ提供装置１２０に出力を指示したコンテンツ情報を、ＡＶ出力装置１１８およびコンテンツ提供装置１２０から取得する。そして、処理装置１２８は、取得したこれらの情報に基づき、対応するユーザの嗜好情報を生成して、嗜好情報ＤＢ１３４に保存する。

【0037】

ユーザ情報管理装置１１４は、また、車両１０２を運転者として現在利用しているユーザを特定する。例えば、処理装置１２８は、従来技術に従い、各ユーザが用いるスマートキーや携帯端末から取得されるＩＤ情報、あるいは車室内カメラ１２２から取得される運転者の顔画像を用いた認証処理等により、現在の運転者であるユーザを特定する。

【0038】

運転負荷算出装置１１６は、運転者の現在の運転負荷を推定する。運転負荷算出装置１１６は、ＣＰＵ等のプロセッサで構成される処理装置と、記憶装置とを備え、車両１０２の現在の運転シーンと、現在の運転者の運転技量の程度と、に基づいて、当該運転者の現在の運転負荷を算出する。

【0039】

具体的には、運転負荷算出装置１１６は、車両１０２の現在の運転シーンを、運転シーン評価装置１１０から取得する。また、運転負荷算出装置１１６は、車両１０２の現在の運転者の運転技量を表す運転スキル評価点を、ユーザ情報管理装置１１４から取得する。

【0040】

そして、運転負荷算出装置１１６は、例えば、現在の運転シーンを標準的な運転者（標準運転者）が走行したならば当該標準運転者が受けるであろう運転負荷を数値で表した標準運転負荷に運転スキル評価点を乗算して、現在の運転者の現在の運転負荷を算出する。

【0041】

ここで、標準運転負荷は、例えば、運転負荷が高いほど大きな値をとる数値で表現され得る。また、この標準運転負荷は、例えば、上述のようにカテゴライズされた運転シーンごとに予め定められて記憶されているものとすることができる。

【0042】

ＡＶ出力装置１１８は、例えばＣＰＵ等のプロセッサを備えるコンピュータである処理装置を備え、従来技術に従い、楽曲や動画の再生を行う。また、ＡＶ出力装置１１８は、例えばウェブブラウザを備えて、ユーザに対し情報検索及び又は情報閲覧の機能を提供する。

【0043】

ＡＶ出力装置１１８は、ＵＩ制御装置１００を介して運転者とのインタラクションを行う。例えば、運転者は、楽曲や動画の再生の指示、あるいは情報検索等の指示を、マイク１４０を介した音声指示により行うことができる。ＡＶ出力装置１１８は、ＵＩ制御装置１００を介して上記音声指示の音声認識結果を受信し、当該音声指示が指定する動作を実行する。また、ＡＶ出力装置１１８は、ＵＩ制御装置１００を介して、再生した音声や動画をスピーカ１４２や表示装置１４４に出力し、及び又は検索した情報を表示装置１４４に表示する。

【0044】

また、ＡＶ出力装置１１８は、従来技術に従い、運転者との複数回のインタラクションを通じて一つの指示を取得し得る。例えば、ＡＶ出力装置１１８は、運転者から、特定のアーティストの曲の再生を指示する「＊＊＊の曲を再生して」（＊＊＊はアーディスト名）という音声指示を受信する。ＡＶ出力装置１１８は、当該指示に応じて、対応するアーティストの曲を、例えば記憶装置が記憶する楽曲の中から検索し、そのリストを表示装置１４４に表示して、「再生する曲を選択してください」等の発信発話を、ＵＩ制御装置１００に指示する。そして、ＡＶ出力装置１１８は、運転者の選択結果を、応答音声または表示装置１４４のタッチパネルを介した入力として受信する。

【0045】

コンテンツ提供装置１２０は、ニュースや観光情報等のテキスト情報を読み上げてユーザに提供する。コンテンツ提供装置１２０は、ＣＰＵ等のプロセッサで構成される処理装置１３６と、記憶装置１３７と、を備える。コンテンツ提供装置１２０は、例えばＡＶ出力装置１１８と協働し、ユーザからの指示によりＡＶ出力装置１１８のウェブブラウザが検索した情報のうち、テキスト情報を、記憶装置１３７に記憶する。このテキスト情報は、例えばカテゴリごとに、ニュース情報１３８や観光情報１３９として記憶装置１３７に記憶される。

【0046】

また、処理装置１３６は、ＵＩ制御装置１００を介して、ユーザからの指示に応じ、記憶装置１３７に記憶したテキスト情報を読み上げ音声としてスピーカ１４２から出力する。ここで、テキスト情報の読み上げ音声の生成は、従来技術に従って種々の手法で行うことができる。なお、処理装置１３６は、上記生成した読み上げ音声の音声情報のほか、読み上げ音声の提供に付随する画像情報や表示情報を、ＵＩ制御装置１００を介して表示装置１４４に表示してもよい。

【0047】

ＵＩ制御装置１００は、ＡＶ出力装置１１８およびコンテンツ提供装置１２０をクライアントとし、これらクライアント装置が出力する音声情報および画像情報を、スピーカ１４２及び表示装置１４４から出力する。また、ＵＩ制御装置１００は、ユーザの音声指示および入力指示又は入力データを、それぞれマイク１４０およびタッチパネル１４６から取得して、それぞれ対応するクライアント装置へ出力する。上述したように、ＵＩ制御装置１００は、特に、これらクライアント装置からユーザへの、スピーカ１４２を介した音声出力の停止及び再開を制御する。

【0048】

具体的には、ＵＩ制御装置１００は、処理装置１５０と、記憶装置１５２と、を備える。記憶装置１５２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。

【0049】

処理装置１５０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置１５０は、プログラムが書き込まれたＲＯＭ、データの一時記憶のためのＲＡＭ等を有する構成であってもよい。そして、処理装置１５０は、機能要素又は機能ユニットとして、ＵＩ（ユーザインタフェース）制御部１５６と、出力制御部１５８と、を備える。

【0050】

ＵＩ制御部１５６は、機能要素又は機能ユニットである音声出力部１６０と、音声認識部１６２と、表示制御部１６４と、入力処理部１６６と、で構成される。また。出力制御部１５８は、機能要素又は機能ユニットである停止指示部１７０と、シーン判断部１７２と、要因推定部１７４と、条件決定部１７６と、通知部１７８と、再開指示部１８０と、で構成される。さらに、要因推定部１７４は、機能要素又は機能ユニットである負荷判断部１８６と、会話判断部１８８と、睡眠判断部１９０と、内容判断部１９２と、で構成される。

【0051】

処理装置１５０が備えるこれらの機能要素は、例えば、コンピュータである処理装置１５０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置１５０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。

【0052】

ＵＩ制御部１５６は、ユーザインタフェースであるマイク１４０、スピーカ１４２、表示装置１４４、及び表示装置１４４の表示スクリーン上に設けられたタッチパネル１４６を制御する。

【0053】

ＵＩ制御部１５６の音声出力部１６０は、クライアント装置であるＡＶ出力装置１１８およびコンテンツ提供装置１２０からの指示により、これらのクライアント装置が生成する音声情報をスピーカ１４２から出力する。音声情報には、クライアント装置が生成する音声のほか、楽曲や動画に付されたサウンド情報が含まれ得る。

【0054】

音声認識部１６２は、従来技術に従い、ユーザからの発話をマイク１４０により取得し、取得した発話の音声認識処理を行って、ＡＶ出力装置１１８およびコンテンツ提供装置１２０へ出力する。これに代えて、音声認識部１６２は、従来技術に従い、音声認識処理結果の意味解析を更に行い、その解析結果をＡＶ出力装置１１８およびコンテンツ提供装置１２０へ出力してもよい。

【0055】

表示制御部１６４は、表示装置１４４を制御して、ＡＶ出力装置１１８およびコンテンツ提供装置１２０が指示する画像又は映像を出力する。また、入力処理部１６６は、従来技術に従い、タッチパネル１４６から運転者の入力を取得し、当該取得した入力の処理結果を、ＡＶ出力装置１１８およびコンテンツ提供装置１２０へ出力する。

【0056】

出力制御部１５８は、スピーカ１４２からの音声出力を制御する。出力制御部１５８は、ユーザからの停止指示に応じて、スピーカ１４２からの音声出力を停止する。また、出力制御部１５８は、特に、ユーザが停止指示を行った要因を推定し、当該要因に応じて上記停止した音声出力の再開条件を決定する。そして、出力制御部１５８は、当該決定した再開条件に従って音声出力を再開する。また、特に、出力制御部１５８は、音声出力の再開に際し、上記推定した要因に応じた通知を、ユーザに対して行う。

【0057】

出力制御部１５８の停止指示部１７０は、例えば、音声認識部１６２を介して、音声出力の停止を指示するユーザの音声指示を取得する。当該音声指示は、例えば、「音声ストップ」、「音声停止」等の発話であるものとすることができる。停止指示部１７０は、上記音声指示の音声認識結果と共に、例えば、当該音声指示の音量情報を、ＵＩ制御部１５６から取得するものとすることができる。

【0058】

シーン判断部１７２は、運転シーン評価装置１１０と協働して、車両１０２の運転シーンを評価する。シーン判断部１７２は、運転シーンの展開、すなわち、時間と共に変化する種々の運転シーンの開始および終了を判断する。具体的には、シーン判断部１７２は、所定の時間間隔で、運転シーン評価装置１１０が算出する候補シーンごとの確信度および現在の運転シーンを取得する。

【0059】

そして、シーン判断部１７２は、運転シーン評価装置１１０から取得される現在の運転シーンが変わったときに、新しい運転シーンが開始したものと判断する。またシーン判断部１７２は、新しい運転シーンが開始したときに、その直前の運転シーンに対応する候補シーンの確信度から、当該直前の運転シーンが終了したと判断する確信度（シーン終了確信度）を算出する。ここで、候補シーンの確信度は、上述したように、確信の程度が高いほど値の大きい、例えば０以上１以下の範囲の数値として表され得る。そして、上記シーン終了確信度は、例えば、上記直前の運転シーンに対応する候補シーンの確信度を１から減算することにより算出され得る。

【0060】

要因推定部１７４は、ユーザからの音声出力の停止指示を停止指示部１７０が受信したときに、ユーザが当該停止指示を行った要因を推定する。具体的には、要因推定部１７４は、負荷判断部１８６により、上記停止指示の要因が、車両１０２についての現在の運転者の運転負荷の増大であるか否かを判断する。

【0061】

より具体的には、負荷判断部１８６は、所定の時間間隔で、運転負荷算出装置１１６から、現在の運転者の現在の運転負荷を取得する。また、負荷判断部１８６は、上記停止指示が受信されたときの上記現在の運転負荷が、所定のレベル以上であるか否かを判断する。そして、上記停止指示が受信されたときの上記現在の運転負荷が所定のレベル以上であるときは、負荷判断部１８６は、ユーザが上記停止指示を行った要因を、運転負荷の増大であるものと判断する。

【0062】

また、要因推定部１７４は、会話判断部１８８により、上記停止指示の要因が、ユーザと車両１０２の同乗者との会話であるか否かを判断する。ここで、ユーザと同乗者との会話には、運転者と同乗者との会話および同乗者同士の会話が含まれ得る。

【0063】

具体的には、会話判断部１８８は、カメラ制御装置１０６を介して得られる車室内カメラ１２２の映像から、運転者を含む乗員が複数存在することを検知する。また、会話判断部１８８は、乗員が複数検知されたときは、ＵＩ制御部１５６を介してマイク１４０から車室内の発話音声を取得する。そして、会話判断部１８８は、上記取得した発話音声を分析し、乗員間でターンテイキング（話者交代、交互発話）が行われている時間が所定時間以上であるときは、乗員間で会話が行われていると判断し、上記停止指示の要因が同乗者との会話であるものと判断する。

【0064】

なお、会話判断部１８８は、乗員間で会話が行われていると判断される場合であって且つ運転者が当該会話に参加している場合に、上記停止指示の要因が同乗者との会話であるものと判断してもよい。運転者が会話に参加しているか否かは、当該会話の中に運転者の音声が含まれるか否かにより判断することができる。ここで、会話の中に運転者の音声が含まれているか否かは、例えば、予め録音してユーザ情報管理装置１１４に記憶しておいた当該運転者の音声サンプルに基づいて判断するものとすることができる。

【0065】

また、要因推定部１７４は、睡眠判断部１９０により、上記停止指示の要因が、車両１０２の同乗者の睡眠であるか否かを判断する。具体的には、睡眠判断部１９０は、カメラ制御装置１０６を介して得られる車室内カメラ１２２の映像から、同乗者の存在を検知する。また、睡眠判断部１９０は、同乗者が検知されたときは、ＵＩ制御部１５６を介してマイク１４０から車室内の発話音声を取得する。そして、睡眠判断部１９０は、上記取得した発話音声の音量が所定のレベル以下であるときは、上記停止指示の要因が、同乗者の睡眠であるものと判断する。

【0066】

また、要因推定部１７４は、内容判断部１９２により、上記停止指示の要因が、当該停止指示の対象である音声出力が提供する情報の内容であるか否かを判断する。具体的には、内容判断部１９２は、ユーザ情報管理装置１１４から、現在の利用者の嗜好情報を取得し、上記音声指示が提供する情報のカテゴリと、上記取得した現在の利用者の嗜好情報が示す嗜好カテゴリと、の間の乖離度を算出する。そして、内容判断部１９２は、上記算出した乖離度が所定のレベル以上であるときは、上記停止指示の要因が、上記音声出力が提供する情報の内容であるものと判断する。

【0067】

上記乖離度は、従来技術に従い、種々の手法を用いて算出することができる。例えば、任意の所定の定義に従う複数の座標軸で構成される多次元空間に、音声出力が提供する情報のカテゴリと嗜好カテゴリとをプロットし、当該多次元空間におけるカテゴリ間の距離を、乖離度として算出するものとすることができる。上記座標軸は、例えば、カテゴリの特性を表す言語としての「活動的」と「思索的」とを対極として目盛られた軸、「野外」と「屋内」とを対極として目盛られた軸など、任意に定義することができる。

【0068】

ここで、要因推定部１７４は、ユーザからの停止指示を受信したときは、当該停止指示の要因が運転者の運転負荷の増大であるか否かの判断を、他の要因（例えば、同乗者との会話、同乗者の睡眠、および情報の内容）についての判断に優先して行う。例えば、要因推定部１７４は、負荷判断部１８６、会話判断部１８８、睡眠判断部１９０、内容判断部１９２における判断を、この順で実行し、最初に肯定的結果を得た判断に係る要因を、上記停止指示の要因として推定する。

【0069】

次に、出力制御部１５８の条件決定部１７６は、要因推定部１７４が推定したユーザの停止指示の要因に応じて、当該停止指示により停止された音声出力の再開条件を決定する。具体的には、条件決定部１７６は、例えば、上記推定された要因が運転負荷の増大であるときは、当該運転負荷の増大の原因となった運転シーンの終了を、再開条件として決定する。

【0070】

また、条件決定部１７６は、例えば、要因推定部１７４が推定した要因が同乗者との会話であるときは、当該会話の終了を、再開条件として決定する。また、条件決定部１７６は、例えば、要因推定部１７４が推定した要因が同乗者の睡眠であるときは、音声出力の音量の低減を、再開条件として決定する。

【0071】

あるいは、条件決定部１７６は、例えば、要因推定部１７４が推定した要因が情報の内容であるときは、音声出力により提供する情報の内容の変更を、再開条件として決定する。また、条件決定部１７６は、要因推定部１７４が要因を特定できないとき、すなわち、負荷判断部１８６、会話判断部１８８、睡眠判断部１９０、内容判断部１９２における判断の結果が、いずれも否定的なものであるときは、上記停止指示から所定時間が経過することを、再開条件として決定する。

【0072】

出力制御部１５８の通知部１７８は、ユーザからの停止指示により停止した音声出力を再開する際に、例えばスピーカ１４２により、ユーザに対し、上記推定した要因に応じた通知を行う。通知は、要因推定部１７４が推定した要因に応じた音声出力の再開理由を含み得る。あるいは、通知は、上記推定した要因に応じた音声出力の再開条件を含むものとすることができる。さらに、上記通知は、停止した音声出力の再開可否に関するユーザへの問い合わせを含み得る。

【0073】

通知部１７８は、例えば、要因推定部１７４が推定した要因が同乗者との会話であるときは、「同乗者の方とのお話しが終わったようなので、先ほどの観光情報を再開してもよろしいですか？」等の通知を行う。この場合において、「同乗者の方とのお話しが終わったようなので」は、要因推定部１７４が推定した要因に応じた音声出力の再開理由を示す文言であり、「先ほどの観光情報を再開してもよろしいですか？」は、ユーザからの停止指示により停止した音声出力の再開可否に関するユーザへの問い合わせである。また、「先ほどの観光情報を」の部分は、中断した音声出力の内容についてのリマインダとなっている。このようなリマインダを通知に含めることは、特に音声出力の中断時間が所定時間を超えて長い場合や、音声出力の中断時に同乗者との会話が行われる場合のようにユーザの思考が音声出力の内容から離れてしまう場合には、上記再開可否の問合せに関するユーザの判断を容易にする。

【0074】

また、通知部１７８は、例えば、要因推定部１７４が推定した要因が同乗者の睡眠であるときは、「同乗者の方が眠っているようなので、音量を下げて先ほどの観光情報を再開してもよろしいですか？」等の通知を行う。この場合において、「同乗者の方が眠っているようなので」は、要因推定部１７４が推定した要因に応じた音声出力の再開理由を示す文言である。また、「音量を下げて先ほどの観光情報を再開してもよろしいですか？」は、上記推定した要因に応じた音声出力の再開条件を示す文言であると共に、ユーザからの停止指示により停止した音声出力の再開可否に関するユーザへの問い合わせである。

【0075】

また、通知部１７８は、例えば、要因推定部１７４が推定した要因が情報の内容であるときは、「話題を変えましょうか？ あなたのお好きなバスケットボールの情報があるのですがいかがでしょう？」等の通知を行う。容易に理解されるように、上記通知に含まれる一連の文言は、要因推定部１７４が推定した要因に応じた音声出力の再開理由および再開条件の提示、並びに音声出力の再開可否に関するユーザへの問い合わせを含んでいる。この場合において、「話題を変えましょうか？」の文言部分は省略することが可能である。「あなたのお好きなバスケットボールの情報があるのですがいかがでしょう？」の文言には、停止指示の要因として“情報の内容”が推定されたことが、暗示的に示されているためである。

【0076】

通知部１７８は、上記のような再開条件としての情報内容の変更を提案するために、ユーザ情報管理装置１１４から現在の運転者の嗜好情報を取得する。また、通知部１７８は、取得した嗜好情報に基づき、例えば、コンテンツ提供装置１２０の記憶装置が記憶するコンテンツを検索して、上記嗜好情報が示すいずれかの嗜好カテゴリとの乖離距離が所定値以下であるカテゴリのコンテンツを抽出する。そして、抽出したコンテンツの再生を上記再生条件として提示して、その実行を提案するものとすることができる。

【0077】

また、通知部１７８は、要因推定部１７４が推定した要因が“運転負荷の増大”であるときは、運転負荷の増大をもたらした運転シーンは終了したことを上記再開理由として含む通知を行う。例えば、通知部１７８は、「緊急車両が通過したので、先ほどの観光情報を再開してもよろしいですか？」等の通知を行う。ここで、「緊急車両が通過したので」は、運転負荷の増大をもたらした運転シーンの表現である。

【0078】

また、通知部１７８は、要因推定部１７４が推定した要因が“運転負荷の増大”であって、ユーザの停止指示から上記運転負荷の増大をもたらした運転シーンの終了までの経過時間が所定時間以下であり、且つ、当該運転負荷の増大をもたらした運転シーンの終了の判断の信頼度が所定値以上であるときは、ユーザに対し、所定のサイン音を含む通知を行う。また、所定のサイン音を含む通知を行うときは、当該通知には、音声出力の再開可否に関する問い合わせを含めないものとすることができる。すなわち、この場合には、上記サイン音に続いて、音声出力が自動的に再開される。

【0079】

これにより、ユーザは、運転負荷の一時的な増加のために音声出力の停止指示を行った場合には、当該音声出力の再開についての問い合わせを一々受けることなく、当該運転負荷の一時的増加をもたらした運転シーンの終了後に、即座に上記音声出力を再び聞くことができる。

【0080】

ここで、上記のように“運転シーンの終了の判断の信頼度が所定値以上”であることを条件とするのは、運転シーンが実際に終了していないうちに、音声出力が自動的に再開されてしまう事態を、より確実に回避するためである。

【0081】

なお、上記“運転シーンの終了の判断の信頼度”は、上述したシーン判断部１７２が算出するシーン終了確信度に対応する。また、停止指示から運転シーン終了までの経過時間は、通知部１７８が計測するものとすることができる。

【0082】

例えば、通知部１７８は、停止指示部１７０がユーザからの停止指示を受信したときに、経過時間の計測を開始すると共に、要因推定部１７４が推定した要因が“運転負荷の増大”であるときは、シーン判断部１７２がその後に算出するシーン終了確信度を取得する。そして、通知部１７８は、上記停止指示の受信から上記シーン終了確信度の受信までの経過時間を、当該停止指示から運転負荷の増大をもたらした運転シーンの終了までの経過時間とすることができる。

【0083】

出力制御部１５８の再開指示部１８０は、通知部１７８が行った通知であって音声出力の再開可否に関する問い合わせを含む通知に対して、ユーザが肯定的な応答を返した場合に、対応するクライアント装置、すなわち、ＡＶ出力装置１１８またはコンテンツ提供装置１２０に対し、当該通知に従った音声出力の再開を行うよう指示する。

【0084】

ここで、“通知にしたがった音声出力の再開”とは、単に停止した音声出力を再開することのほか、推定された要因が“同乗者の睡眠”または“情報の内容”であるときは、それぞれ、当該通知において提案した音量を下げた音声出力、または当該通知において提案した情報についての音声出力、を意味する。これらの要因が推定されている場合、例えば、再開指示部１８０は、対応するクライアント装置に対し再開指示を行うときに、それぞれ、再開する音声出力の音量の指定、及び提供する情報の指定についての指示を付加する。なお、再開する音声出力の音量の指定は、再開指示部１８０が、ＵＩ制御部１５６の音声出力部に対して行うものとすることもできる。

【0085】

上記の構成を有するＵＩ制御装置１００は、音声コンテンツ等の音声出力を行っているときに、ユーザから当該音声出力の停止指示を受け付けると、要因推定部１７４により、ユーザが当該停止指示を行うに至った要因を推定する。そして、条件決定部１７６は、要因推定部１７４が推定した要因に応じて、停止した音声出力の再開条件を決定する。これにより、ＵＩ制御装置１００では、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。

【0086】

また、ＵＩ制御装置１００では、ユーザからの停止指示により停止した音声出力を再開する際に、ユーザに対し、上記推定した要因に応じた通知を行う。この通知には、上記推定した要因に応じた音声出力の再開理由及び又は再開条件、及び又は音声出力の再開可否に関するユーザへの問い合わせ、が含まれ得る。これによりＵＩ制御装置１００では、ユーザが停止した音声出力を、ユーザの納得性を確保しつつ再開することができる。

【0087】

次に、ＵＩ制御装置１００の出力制御部１５８が実行する音声出力の制御処理について説明する。図２は、制御処理の手順を示すフロー図である。本処理は、ＵＩ制御装置１００の電源がオンされたときに開始し、オフされたときに終了する。

【0088】

なお、本処理と並行してＵＩ制御装置１００のＵＩ制御部１５６は、クライアント装置であるＡＶ出力装置１１８及び又はコンテンツ提供装置１２０からの指示により音声及び画像をスピーカ１４２及び表示装置１４４から出力する。また、ＵＩ制御部１５６は、本処理と並行して、ユーザからの音声および入力をマイク１４０およびタッチパネルにより取得して、対応するクライアント装置へ送信するものとする。

【0089】

処理を開始すると、出力制御部１５８は、シーン判断部１７２による運転シーンの評価を開始する（Ｓ１００）。続いて、出力制御部１５８の停止指示部１７０は、スピーカ１４２からの音声出力があるか否かを判断する（Ｓ１０２）。例えば、クライアント装置であるＡＶ出力装置１１８およびコンテンツ提供装置１２０は、ユーザへの音声出力を伴う動作を開始したときは、ＵＩ制御装置１００へ音声出力動作の開始を通知するものとし、停止指示部１７０は、当該通知を受信したか否かにより、音声出力があるか否かを判断するものとすることができる。

【0090】

そして、停止指示部１７０は、音声出力がないときは（Ｓ１０２、ＮＯ）、ステップＳ１０２に戻って処理を繰り返す。一方、音声出力があるときは（Ｓ１０２、ＹＥＳ）、停止指示部１７０は、ユーザから音声出力の停止指示があったか否かを判断する（Ｓ１０４）。停止指示部１７０は、ＵＩ制御部１５６の音声認識部１６２又は入力処理部１６６から、マイク１４０により取得される音声指示またはタッチパネル１４６を介して取得される入力としてのユーザからの停止指示を受信したか否かにより、当該停止指示の有無を判断することができる。

【0091】

そして、停止指示部１７０は、停止指示がないときは（Ｓ１０４、ＮＯ）、音声出力が終了したか否かを判断する（Ｓ１０６）。例えば、クライアント装置であるＡＶ出力装置１１８およびコンテンツ提供装置１２０は、ユーザへの音声出力を伴う動作を終了したときは、ＵＩ制御装置１００へ音声出力動作の終了を通知するものとし、停止指示部１７０は、当該通知を受信したか否かにより、音声出力が終了したか否かを判断するものとすることができる。

【0092】

そして、音声出力が終了したときは（Ｓ１０６、ＹＥＳ）、停止指示部１７０は、ステップＳ１０２に処理を戻す。一方、音声出力が終了していないときは（Ｓ１０６、ＮＯ）、停止指示部１７０は、ステップＳ１０４に処理を戻す。

【0093】

一方、ステップＳ１０４においてユーザからの停止指示があったときは（Ｓ１０４、ＹＥＳ）、停止指示部１７０は、対応するクライアント装置に対し、現在の音声出力動作を一時中断するよう指示する（Ｓ１０８）。これにより、対応するクライアント装置は、対応する音声出力動作を中断して待機する。

【0094】

次に、ＵＩ制御装置１００の出力制御部１５８は、要因推定部１７４により、ユーザが上記停止指示を行った要因を推定するための要因推定処理を実行する（Ｓ１１０）。続いて、出力制御部１５８は、条件決定処理を実行して（Ｓ１１２）、上記中断した音声出力についての、上記推定した要因に応じた再開条件を決定する。さらに、出力制御部１５８は、通知処理を実行して（Ｓ１１４）、上記中断した音声出力の再開に際し、ユーザに対して上記推定した要因に応じた通知を行う。上記の要因推定処理、条件決定処理、及び通知処理の手順については後述する。

【0095】

続いて、出力制御部１５８は、再開指示部１８０により、上記通知に対するユーザからの応答等に基づいて、対応するクライアント装置に対し、音声出力の再開又は終了を指示したのち（Ｓ１１６）、ステップＳ１０２に戻って処理を繰り返す。

【0096】

具体的には、再開指示部１８０は、後述する上記通知処理において設定された再開フラグが０であるときは、対応するクライアント装置に対し、音声出力の終了を指示する。一方、再開フラグが１であるときは、対応するクライアント装置に対し、音声出力の再開を指示する。その際、再開指示部１８０は、通知部１７８において設定された再開条件があるときは、当該再開条件を対応するクライアント装置に指示する。

【0097】

次に、上述した要因推定処理（Ｓ１１０）における処理の手順について説明する。図３は、要因推定処理の手順を示すフロー図である。処理を開始すると、出力制御部１５８の要因推定部１７４は、負荷判断部１８６により、ユーザが停止指示を行った要因が、車両１０２の運転者の運転負荷の増大であるか否かを判断する（Ｓ２００）。そして、上記要因が、運転負荷の増大であると判断されるときは（Ｓ２００、ＹＥＳ）、負荷判断部１８６は、要因フラグを１にセットしたのち（Ｓ２０２）、処理を終了する。

【0098】

これにより、要因推定部１７４は、停止指示の要因が運転者の運転負荷の増大であるか否かの判断を、他の要因についての判断に優先して行うこととなる。なお、図３に示す本処理の終了後は、出力制御部１５８の処理は、図２に示すステップＳ１１２の条件決定処理へ移される。

【0099】

一方、ユーザの停止指示の要因が運転負荷の増大でないと判断されるときは（Ｓ２００、ＮＯ）、要因推定部１７４は、会話判断部１８８により、上記要因が、運転者と車両１０２の同乗者との会話であるか否かを判断する（Ｓ２０４）。そして、上記要因が、同乗者との会話であると判断されるときは（Ｓ２０４、ＹＥＳ）、会話判断部１８８は、要因フラグを２にセットしたのち（Ｓ２０６）、処理を終了する。

【0100】

一方、ユーザの停止指示の要因が同乗者との会話でないと判断されるときは（Ｓ２０４、ＮＯ）、要因推定部１７４は、睡眠判断部１９０により、上記要因が、車両１０２の同乗者の睡眠であるか否かを判断する（Ｓ２０８）。そして、上記要因が、同乗者の睡眠であると判断されるときは（Ｓ２０８、ＹＥＳ）、睡眠判断部１９０は、要因フラグを３にセットしたのち（Ｓ２１０）、処理を終了する。

【0101】

一方、ユーザの停止指示の要因が同乗者の睡眠でないと判断されるときは（Ｓ２０８、ＮＯ）、要因推定部１７４は、内容判断部１９２により、上記要因が、音声出力により提供される情報の内容であるか否かを判断する（Ｓ２１２）。そして、上記要因が、情報の内容であると判断されるときは（Ｓ２１２、ＹＥＳ）、内容判断部１９２は、要因フラグを４にセットしたのち（Ｓ２１４）、処理を終了する。

【0102】

また、一方、上記要因が、情報の内容ではないと判断されるときは（Ｓ２１２、ＮＯ）、要因推定部１７４は、要因フラグを０にセットしたのち（Ｓ２１６）、処理を終了する。

【0103】

次に、図２に示す条件決定処理（Ｓ１１２）における処理の手順について説明する。図４は、条件決定処理の手順を示すフロー図である。処理を開始すると、出力制御部１５８の条件決定部１７６は、上述した要因推定処理（図３）において設定された要因フラグが１に設定されているか否かを判断する（Ｓ３００）。そして、条件決定部１７６は、要因フラグが１（運転負荷の増大）であるときは（Ｓ３００、ＹＥＳ）、当該運転負荷の増大をもたらした現在の運転シーンの終了を、音声出力の再開条件として設定したのち（Ｓ３０２）、本処理を終了する。なお、図４に示す本処理の終了後は、出力制御部１５８の処理は、図２に示すステップＳ１１４の通知処理へ移される。

【0104】

一方、ステップＳ３００において要因フラグが１でないときは（Ｓ３００、ＮＯ）、条件決定部１７６は、要因フラグが２に設定されているか否かを判断する（Ｓ３０４）。そして、条件決定部１７６は、要因フラグが２（同乗者との会話）であるときは（Ｓ３０４、ＹＥＳ）、当該会話の終了を、音声出力の再開条件として設定したのち（Ｓ３０６）、本処理を終了する。

【0105】

一方、ステップＳ３０４において要因フラグが２でないときは（Ｓ３０４、ＮＯ）、条件決定部１７６は、要因フラグが３に設定されているか否かを判断する（Ｓ３０８）。そして、条件決定部１７６は、要因フラグが３（同乗者との睡眠）であるときは（Ｓ３０８、ＹＥＳ）、音声出力の音量の低減を、音声出力の再開条件として設定したのち（Ｓ３１０）、本処理を終了する。

【0106】

一方、ステップＳ３０８において要因フラグが３でないときは（Ｓ３０８、ＮＯ）、条件決定部１７６は、要因フラグが４に設定されているか否かを判断する（Ｓ３１２）。そして、条件決定部１７６は、要因フラグが４（情報の内容）であるときは（Ｓ３１２、ＹＥＳ）、音声出力が提供する情報の内容の変更を、音声出力の再開条件として設定したのち（Ｓ３１４）、本処理を終了する。

【0107】

また、一方、ステップＳ３１２において要因フラグが４でないときは（Ｓ３１２、ＮＯ）、条件決定部１７６は、停止指示を受信してから所定時間が経過することを、音声出力の再開条件として設定したのち（Ｓ３１６）、本処理を終了する。

【0108】

次に、図２に示す通知処理（Ｓ１１４）における処理の手順について説明する。図５は、通知処理の手順を示すフロー図である。処理を開始すると、出力制御部１５８の通知部１７８は、上述した要因推定処理（図３）において設定された要因フラグが１（運転負荷の増大）に設定されているか否かを判断する（Ｓ４００）。そして、条件決定部１７６は、要因フラグが１であるときは（Ｓ４００、ＹＥＳ）、通知部１７８は、条件決定部１７６が条件決定処理において決定した再開条件に従い、上記運転負荷の増大をもたらした現在の運転シーンの終了を待機する（Ｓ４０２）。運転シーンが終了したか否かの判断は、シーン判断部１７２が所定時間間隔で運転シーン評価装置１１０から取得する現在の運転シーンが変化したか否かにより判断することができる。

【0109】

続いて、通知部１７８は、停止指示から運転シーンの終了までの経過時間が所定時間（例えば５秒）以下であるか否かを判断する（Ｓ４０４）。そして、経過時間が所定時間以下であるときは（Ｓ４０４、ＹＥＳ）、通知部１７８は、ステップＳ４０２において終了したものと判断した運転シーンのシーン終了確信度が所定値以上であるか否かを判断する（Ｓ４０６）。

【0110】

そして、シーン終了確信度が所定値以上であるときは（Ｓ４０６、ＹＥＳ）、通知部１７８は、サイン音を通知として出力し（Ｓ４０８）、再開フラグを１にセットしたのち（Ｓ４１０）、本処理を終了する。なお、図５に示す本処理の終了後は、出力制御部１５８の処理は、図２に示すステップＳ１１６へ移される。

【0111】

一方、ステップＳ４０４において経過時間が所定時間を超えているとき（Ｓ４０４、ＮＯ）、または、シーン終了確信度が所定値未満であるときは（Ｓ４０６、ＮＯ）、通知部１７８は、運転負荷の増大をもたらした運転シーンが終了したことを音声出力の再開理由として示す表現と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力する（Ｓ４１２）。

【0112】

続いて、通知部１７８は、再開許否についての問い合わせについてのユーザの回答が肯定的、すなわち、音声出力の再開を許容するものであるか否かを判断する（Ｓ４１４）。そして、ユーザ回答が肯定的でないとき（Ｓ４１４，ＮＯ）、すなわち否定的なものであるときは、通知部１７８は再開フラグを０に設定して（Ｓ４１６）、処理を終了する。一方、ユーザ回答が肯定的であるときは（Ｓ４１４、ＹＥＳ）、ステップＳ４１０へ処理を移す。

【0113】

一方、Ｓ４００において要因フラグが１でないときは（Ｓ４００、ＮＯ）、通知部１７８は、要因フラグが２（同乗者との会話）であるか否かを判断する（Ｓ４１８）。そして、要因フラグが２であるときは（Ｓ４１８、ＹＥＳ）、通知部１７８は、条件決定部１７６が条件決定処理において決定した再開条件に従い、同乗者との会話の終了を待機する（Ｓ４２０）。通知部１７８は、例えば、マイク１４０から取得される車両１０２内の音声に基づき、乗員の発話音声が無い期間またはターンテイキングが行われない期間が所定時間以上継続したときに、同乗者との会話が終了したものと判断することができる。

【0114】

続いて、通知部１７８は、会話が終了したことを音声出力の再開理由として示す表現と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち（Ｓ４２２）、ステップＳ４１４に処理を移す。

【0115】

一方、Ｓ４１８において要因フラグが２でないときは（Ｓ４１８、ＮＯ）、通知部１７８は、要因フラグが３（同乗者の睡眠）であるか否かを判断する（Ｓ４２４）。そして、要因フラグが３であるときは（Ｓ４２４、ＹＥＳ）、通知部１７８は、条件決定部１７６が条件決定処理において決定した再開条件（音量の低減）と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち（Ｓ４２６）、ステップＳ４１４に処理を移す。

【0116】

一方、Ｓ４２４において要因フラグが３でないときは（Ｓ４２４、ＮＯ）、通知部１７８は、要因フラグが４（情報の内容）であるか否かを判断する（Ｓ４２８）。そして、要因フラグが４でないときは（Ｓ４２８、ＮＯ）、通知部１７８は、条件決定部１７６が条件決定処理において決定した再開条件に従い、ユーザの停止指示を受信してから所定の時間が経過するのを待機する（Ｓ４３０）。続いて、通知部１７８は、音声出力の再開許否の問い合わせ文言を含む通知を出力したのち（Ｓ４３２）、ステップＳ４１４に処理を移す。

【0117】

一方、Ｓ４２８において要因フラグが４であるときは（Ｓ４２８、ＹＥＳ）、通知部１７８は、条件決定部１７６が条件決定処理において決定した再開条件（内容の変更）と、音声出力の再開許否の問い合わせ文言と、を含む通知を出力したのち（Ｓ４３４）、ステップＳ４１４に処理を移す。

【0118】

なお、本発明は上述した実施形態および変形例の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。

【0119】

例えば、上述した実施形態では、音声出力制御装置の例としてＵＩ制御装置１００を示したが、本発明に係る音声出力制御装置は、ＵＩ制御装置１００には限られない。音声出力制御装置は、音声出力を制御する任意の装置として実現され得る。例えば、音声出力制御装置は、ＵＩ制御装置１００からＵＩ制御部１５６を取り除いた装置として実現され得る。そのような音声出力制御装置は、ＵＩ制御装置１００から出力制御部１５８を取り除いた装置と協働して、図２に示す制御方法を実行し得る。

【0120】

また、ＵＩ制御装置１００では、ユーザが停止指示を行った要因の候補として、運転負荷の増大、ユーザと同乗者との会話、同乗者の睡眠、および提供される情報の内容が判断されるものとしたが、上記要因の候補は、これらには限られない。例えば、要因の候補として、これらのうちの少なくとも一つが判断されるものとしてもよい。また、要因候補として、さらに他の事項が判断されるものとしてもよい。

【0121】

例えば、要因候補として、車外の人との窓越しの会話の有無や、運転者の交代、運転者の一時的な下車など、音声出力の停止指示の要因となり得る任意の事項が判断されるものとすることができる。なお、上記の要因候補の例では、それぞれの要因に応じて、会話の終了、交代の完了、及び運転者の再乗車が、それぞれ音声出力の再開条件となり得る。

【0122】

また、上述した実施形態では、音声出力の停止指示から当該停止指示の要因が消滅するまでの時間（以下、要因消滅時間）が短い場合の例として、運転負荷の増大（運転シーンの展開）を示し、要因消滅時間が短い場合には、ユーザに対する音声出力の再開に係る通知としてサイン音を用いることを示した。ただし、要因消滅時間が短いケースは、上述した運転負荷の増大の場合には限られない。例えば、上述した運転者の交代や、運転者の一時的な下車も、要因消滅時間が短い場合には、ユーザに対する音声出力の再開に係る通知としてサイン音を用いるものとすることができる。

【0123】

また、上述した実施形態では、音声出力制御装置であるＵＩ制御装置１００は、車載装置であるものとしたが、音声出力制御装置の実現形態は、車載装置には限られない。音声出力制御装置は、音声出力を制御する任意の装置であるものとすることができる。そのような装置は、例えば、スマートフォン等の携帯端末であり得る。この場合には、携帯端末のうち音声出力制御装置として機能する部分は、当該携帯端末におけるソフトウェア機能部として実現され得る。そのような音声出力制御装置の部分は、図１に示すＵＩ制御装置１００の出力制御部１５８と同様の構成を有し、図２ないし図５と同様の制御方法を実行するものとすることができる。

【0124】

これにより、上記ソフトウェア機能部は、他のソフトウェア機能部である例えばＡＶ出力を制御する機能部が生成する音声出力を、ユーザからの停止指示に応じて停止し、当該停止指示の要因を推定し、当該推定した要因に応じた再開条件を決定し、当該推定した要因に応じた通知を行うものとすることができる。この場合においては、携帯端末のソフトウェア機能部である出力制御部には、運転シーンに係る動作を行うシーン判断部１７２および負荷判断部１８６に相当する部分は含まないものとすることができる。

【0125】

以上説明したように、上述した音声出力制御装置であるＵＩ制御装置１００は、音声出力を制御するため、図２ないし図５に示す制御方法を実行する。この制御方法は、ユーザへの音声出力中に、ユーザから音声出力の停止指示を受信したことに応じて、停止指示部１７０が音声出力を停止させるステップ（Ｓ１０８）を有する。また、この制御方法は、上記停止指示を受信したことに応じて、要因推定部１７４が、ユーザが前記停止指示を行った要因を推定するステップ（Ｓ１１０）と、上記推定した要因に応じて、条件決定部１７６が、上記停止した音声出力の再開条件を決定するステップ（Ｓ１１２）と、を有する。

【0126】

この構成によれば、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。

【0127】

また、上記推定するステップ（Ｓ１１０）では、上記停止指示の要因が、上記音声出力が提供する情報の内容であるか否かを判断する（Ｓ２１２）。そして、上記決定するステップ（Ｓ１１２）では、上記要因が上記内容であるときは、上記提供する内容の変更を再開条件として決定する（Ｓ３１４）。

【0128】

この構成によれば、上記停止指示の要因が、音声出力が提供する情報の内容であるときは、再開条件として例えばユーザの嗜好により合致した内容の出力を提案して、適切な条件の下に音声出力を再開することができる。

【0129】

また、上記決定するステップ（Ｓ１１２）では、上記推定するステップ（Ｓ１１０）において上記要因が特定されないときは、所定時間の経過を再開条件として決定する（Ｓ３１６）。

【0130】

一般に、音声出力が停止される要因の多くは、例えば時間単位の長い期間にわたって継続するようなものではないと考えられる。上記構成によれば、上記停止指示の要因が不明の場合にも、上記のような一般的な停止要因の特性に合致した適切な条件の下に、音声出力を再開することができる。

【0131】

また、ＵＩ制御装置１００では、ユーザは車両の運転者を含む。そして、上記推定するステップ（Ｓ１１０）では、上記停止指示の要因が車両１０２についての運転者の運転負荷の増大であるか否かを判断する（Ｓ２００）。そして、上記決定するステップ（Ｓ１１２）では、上記運転負荷の増大が上記停止指示の要因であるときは、上記運転負荷の増大の原因となった運転シーンの終了を再開条件として決定する（Ｓ３０２）。

【0132】

この構成によれば、車両１０２において、上記停止指示の要因が、運転シーンの展開に起因した運転負荷の増大か否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。

【0133】

また、上記推定するステップ（Ｓ１１０）では、上記停止指示の要因が、ユーザと車両１０２の同乗者との会話であるか否かを判断（Ｓ２０４）する。そして、上記決定するステップ（Ｓ１１２）では、上記会話が上記要因であるときは、上記会話の終了を再開条件として決定する（Ｓ３０６）。

【0134】

この構成によれば、車両１０２において、上記停止指示の要因が、運転者と同乗者又は同乗者同士の会話か否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。

【0135】

また、上記推定するステップ（Ｓ１１０）では、上記停止指示の要因が、車両１０２の同乗者の睡眠であるか否かを判断する（Ｓ２０８）。そして、上記決定するステップ（Ｓ１１２）では、上記要因が上記睡眠であるときは、上記音声出力の音量の低減を再開条件として決定する（Ｓ３１０）。

【0136】

この構成によれば、上記停止指示の要因が、同乗者の睡眠であるか否かを判断して、当該要因に応じた適切な条件の下に音声出力を再開することができる。

【0137】

また、上記推定するステップ（Ｓ１１０）では、上記停止指示を受信したときは、上記停止指示の要因が運転者の運転負荷の増大であるか否かの判断（Ｓ２００）を、他の要因についての判断（Ｓ２０４、Ｓ２０８、Ｓ２１２）に優先して行う。

【0138】

この構成によれば、上記停止指示の要因として、車両において最も可能性が高く且つ変化の速い、外的要因としての運転シーンの展開に起因した運転負荷の増大が最も優先して判断される、このため、上記構成によれば、上記停止指示の要因を素早く捉えて、音声出力の再開を、適切な条件の下に円滑に行うことができる。

【0139】

また、上述した音声出力制御装置であるＵＩ制御装置１００は、音声出力を制御する。ＵＩ制御装置１００は、ユーザへの音声出力中に、ユーザから音声出力の停止指示を受信したことに応じて、当該音声出力を停止させる停止指示部１７０を備える。また、ＵＩ制御装置１００は、上記停止指示を受信したことに応じて上記ユーザが上記停止指示を行った要因を推定する要因推定部１７４と、推定された上記要因に応じて上記停止した音声出力の再開条件を決定する条件決定部１７６と、を備える。

【0140】

この構成によれば、ユーザが停止した音声出力を、当該停止の要因に応じた適切な条件の下に再開することができる。

【符号の説明】

【0141】

１００…ＵＩ制御装置、１０２…車両、１０４…車載ネットワークバス、１０６…カメラ制御装置、１０８…車両情報取得装置、１１０…運転シーン評価装置、１１２…運転技量評価装置、１１４…ユーザ情報管理装置、１１６…運転負荷算出装置、１１８…ＡＶ出力装置、１２０…コンテンツ提供装置、１２２…車室内カメラ、１２４…車外カメラ、１２６…センサ群、１２８、１３６、１５０…処理装置、１３０、１３７、１５２…記憶装置、１３２…運転技量ＤＢ、１３４…嗜好情報ＤＢ、１３８…ニュース情報、１３９…観光情報、１４０…マイク、１４２…スピーカ、１４４…表示装置、１４６…タッチパネル、１５６…ＵＩ制御部、１５８…出力制御部、１６０…音声出力部、１６２…音声認識部、１６４…表示制御部、１６６…入力処理部、１７０…停止指示部、１７２…シーン判断部、１７４…要因推定部、１７６…条件決定部、１７８…通知部、１８０…再開指示部、１８６…負荷判断部、１８８…会話判断部、１９０…睡眠判断部、１９２…内容判断部。

【図1】

【図2】

【図3】

【図4】

【図5】