特許 7509266 音声対話装置、音声対話システム、及び音声対話装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-24

(45)【発行日】2024-07-02

(54)【発明の名称】音声対話装置、音声対話システム、及び音声対話装置の制御方法

(51)【国際特許分類】

   G10L 15/22 20060101AFI20240625BHJP

   G10L 15/00 20130101ALI20240625BHJP

   G10L 13/00 20060101ALI20240625BHJP

【ＦＩ】

G10L15/22 300Z

G10L15/00 200J

G10L13/00 100M

【請求項の数】 7

(21)【出願番号】P 2023064988

(22)【出願日】2023-04-12

(62)【分割の表示】P 2021203314の分割

【原出願日】2018-08-06

(65)【公開番号】P2023086797

(43)【公開日】2023-06-22

【審査請求日】2023-04-12

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】寺口 剛仁

(72)【発明者】

【氏名】井上 裕史

(72)【発明者】

【氏名】西山 乘

(72)【発明者】

【氏名】大久保 翔太

(72)【発明者】

【氏名】志小田 雄宇

【審査官】堀 洋介

(56)【参考文献】

【文献】特開２００３－１０８１９１（ＪＰ，Ａ）

【文献】特開２００３－２０９８６７（ＪＰ，Ａ）

【文献】特開２００７－１１４４７５（ＪＰ，Ａ）

【文献】特開２００９－１６８７７３（ＪＰ，Ａ）

【文献】特開２０１５－０６８８６６（ＪＰ，Ａ）

【文献】特開２０１７－０６７８４９（ＪＰ，Ａ）

【文献】特開２００８－２３３６７８（ＪＰ，Ａ）

【文献】高橋 寿平，ITSにおけるヒューマンインタフェース，画像ラボ，日本，日本工業出版株式会社，第17巻，第37-41頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４

Ｇ１０Ｌ １３／００－１３／１０

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置であって、
前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記コントローラは、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを実行することで、前記乗員から質問に対する第１の返答を取得し、
前記第２の対話プログラムを実行することで、前記乗員から質問に対する第２の返答を取得し、
前記第１の返答に含まれる単語数は、前記第２の返答に含まれる単語数と比べて少なく、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話装置。

【請求項2】

車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置であって、
前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記コントローラは、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを用いて、前記乗員に予め定められた所定の単語で回答させるような質問を行い、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話装置。

【請求項3】

請求項１又は２記載の音声対話装置において、
前記第１の対話プログラムは、前記車両の走行に関する第１の話題で、前記乗員と対話する機能を実現するプログラムであり、
前記第２の対話プログラムは、前記第１の話題及び前記第１の話題以外の第２の話題を含む話題で、前記乗員と対話する機能を実現するプログラムである音声対話装置。

【請求項4】

車両と通信することで、前記車両の乗員と対話するサーバと、を備える音声対話システムであって、
前記車両は、センサ、一又は複数の音声装置を搭載し、
前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記一又は複数の音声装置は、前記乗員の音声を認識し、前記乗員へ音声を出力し、
前記サーバは、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果を取得し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを実行することで、前記乗員から質問に対する第１の返答を取得し、
前記第２の対話プログラムを実行することで、前記乗員から質問に対する第２の返答を取得し、
前記第１の返答に含まれる単語数は、前記第２の返答に含まれる単語数と比べて少なく、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話システム。

【請求項5】

車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置の制御方法であって、
前記センサにより、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記コントローラにより、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを実行することで、前記乗員から質問に対する第１の返答を取得し、
前記第２の対話プログラムを実行することで、前記乗員から質問に対する第２の返答を取得し、
前記第１の返答に含まれる単語数は、前記第２の返答に含まれる単語数と比べて少なく、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話装置の制御方法。

【請求項6】

車両と通信することで、前記車両の乗員と対話するサーバと、を備える音声対話システムであって、
前記車両は、センサ、一又は複数の音声装置を搭載し、
前記センサは、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記一又は複数の音声装置は、前記乗員の音声を認識し、前記乗員へ音声を出力し、
前記サーバは、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを用いて、前記乗員に予め定められた所定の単語で回答させるような質問を行い、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話システム。

【請求項7】

車両に搭載されたセンサを用いて、前記車両の乗員と対話するコントローラを備えた音声対話装置の制御方法であって、
前記センサにより、前記車両の走行状態、前記車両の外部環境の状態、及び前記乗員の状態のうち少なくとも一つの状態を検出し、
前記コントローラにより、
前記乗員の情報に基づいて、前記車両の運転操作に熟練している度合いを示す前記乗員の運転熟練度を推定し、
前記センサの検出結果と前記乗員の運転熟練度に応じた判定項目に基づいて、前記乗員の負荷の状態を判定し、
前記負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、前記負荷の大きさが前記基準よりも小さい場合には、前記第１の対話プログラムと異なる第２の対話プログラムを用いて、前記乗員と対話し、
前記第１の対話プログラムを用いて、前記乗員に予め定められた所定の単語で回答させるような質問を行い、
前記乗員との対話は、判定された前記負荷の大きさにかかわらず継続される音声対話装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声対話装置、音声対話システム、及び音声対話装置の制御方法に関する。

【背景技術】

【0002】

車室内に音声を出力する音声出力器と共に車両に搭載され、当該車両の運転者と対話可能な対話装置であって、運転者へ向けた会話文を生成し、当該会話文を音声出力器によって発話させる対話実行部と、車両が走行している道路について運転者の運転負荷が高いか否かを判定する負荷判定部と、負荷判定部によって運転負荷が高いと判定された場合に、対話実現部による発話の開始を禁止する禁止状態とし、負荷判定部によって運転負荷が低いと判定された場合に、対話実行部による発話の開始を許容する許容状態とする発話制御部と、を備える対話装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－６７８４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、運転操作など乗員の負荷が高いと判定された場合に、乗員との対話が継続できない、という問題がある。

【0005】

本発明が解決しようとする課題は、乗員の負荷の状態にかかわらず、乗員との対話を継続することが可能な音声対話装置、音声対話システム、及び音声対話装置の制御方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両の走行状態、車両の外部環境の状態、及び車両の乗員の状態のうち少なくとも一つの状態に基づいて、乗員の負荷の状態を判定し、負荷の状態に応じた対話プログラムを用いて、乗員と対話することで、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、乗員の負荷の状態にかかわらず、乗員との対話を継続することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る音声対話システムのブロック構成図を示す図である。

【図2】図２は、運転負荷の大きさを判定するための項目及び判定基準の一例である。

【図3】図３は、第１実施形態における第１の対話モード及び第２の対話モードを説明するための図である。

【図4】図４は、本実施形態に係るコントローラが実行する処理を示すフローチャートである。

【図5】図５は、第１の対話プログラムを用いた場合に行われる対話の一例である。

【図6】図６は、第２の対話プログラムを用いた場合に行われる対話の一例である。

【図7】図７は、第２実施形態における第１の対話モード及び第２の対話モードを説明するための図である。

【図8】図８は、第３実施形態における第１の対話モード及び第２の対話モードを説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて説明する。

【0010】

≪第１実施形態≫
図１は、本実施形態に係る音声対話システムの構成を示す図である。図１に示すように、本実施形態では、音声対話システムを車両１００に搭載した構成を例に挙げて説明する。

【0011】

車両１００は、センサ群１１０と、周囲検出装置１２０と、ナビゲーション装置１３０と、外部情報取得装置１４０と、駆動装置１５０と、室内カメラ１６０と、室内マイク１７０と、スピーカ１８０と、コントローラ１９０と、を備える。これらの装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。なお、本実施形態に係る音声対話装置は、コントローラ１９０を備えている。

【0012】

本実施形態の車両１００としては、電動モータを駆動源として備える電気自動車、内燃機関を駆動源として備えるエンジン自動車、電動モータ及び内燃機関の両方を駆動源として備えるハイブリッド自動車を例示できる。なお、電動モータを駆動源とする電気自動車やハイブリッド自動車には、二次電池を電動モータの電源とするタイプや燃料電池を電動モータの電源とするタイプのものも含まれる。

【0013】

センサ群１１０は、車両の走行状態を検出する装置で構成されている。具体的には、本実施形態のセンサ群１１０は、車速センサ１１１、エンジン回転数センサ１１２、アクセル開度センサ１１３、ブレーキ開度センサ１１４、操舵角センサ１１５、シフトレバーセンサ１１６で構成されている。

【0014】

車速センサ１１１は、ドライブシャフトなどの駆動系の回転速度を計測し、これに基づいて車両の走行速度（以下、車速ともいう）を検出する。車速センサ１１１は、車速情報をコントローラ１９０に出力する。なお、本実施形態では、車両１００は、車速センサ１１１に代えて又はこれとともに加速度センサを備える構成であってもよい。

【0015】

エンジン回転数センサ１１２は、エンジン回転数を検出し、エンジン回転数の情報をコントローラ１９０に出力する。アクセル開度センサ１１３は、アクセルペダルの操作量を検出し、アクセルペダルの操作量の情報をコントローラ１９０に出力する。ブレーキ開度センサ１１４は、ブレーキペダルの操作量を検出し、ブレーキペダルの操作量の情報をコントローラ１９０に出力する。操舵角センサ１１５は、ステアリングの操舵角を検出し、ステアリングの操舵角の情報をコントローラ１９０に出力する。シフトレバーセンサ１１６は、シフトレバーの位置（シフトレバーポジション）を検出し、シフトレバーの位置情報をコントローラ１９０に出力する。

【0016】

周囲検出装置１２０は、車両１００の周辺に存在する対象物を検出する。周囲検出装置１２０としては、車載カメラ１２１、レーダー１２２が挙げられる。車載カメラ１２１は、車両１００の周辺を撮像する。車載カメラ１２１は、例えば、車両１００の前方を撮像する前方カメラ、車両１００の後方を撮像する後方カメラ、車両１００の側方を撮像する側方カメラで構成される。レーダー１２２は、車両１００の周辺に存在する障害物を検出する。レーダー１２２は、例えば、車両１００の前方に存在する障害物を検出する前方レーダー、車両１００の後方に存在する障害物を検出する後方レーダー、車両１００の側方に存在する障害物を検出する側方レーダーで構成される。レーダー１２２は、車両１００から障害物までの距離及び障害物が存在する方向を検出する。

【0017】

周囲検出装置１２０が検出する対象物としては、歩行者、自転車、バイク、自動車、路上障害物、交通信号機、路面標示、および横断歩道などが挙げられる。なお、周囲検出装置１２０として、上述した車載カメラ１２１、レーダー１２２のうちいずれか１つを用いる構成としてもよいし、２種類以上を組み合わせる構成としてもよい。周囲検出装置１２０は、撮像した情報や検出結果を、周辺情報としてコントローラ１９０に出力する。

【0018】

ナビゲーション装置１３０は、ＧＰＳ１３１により検出された車両１００の位置情報に基づいて、車両１００の現在位置から目的地までの経路を示して運転者を誘導する。ナビゲーション装置１３０は、地図情報を有しており、車両１００の位置情報と目的地の位置情報から、車両１００の走行経路を算出する。ナビゲーション装置１３０は、車両１００の位置情報及び車両１００の走行経路の情報をコントローラ１９０に出力する。車両１００の走行経路には、実際に車両１００が走行した経路及びこれから車両１００が走行する予定の経路が含まれる。

【0019】

外部情報取得装置１４０は、車両１００の外部に存在するネットワークと接続し、車両１００の外部環境の情報を取得する。外部情報取得装置１４０としては、通信回線を介して、所定の周期で、車外のネットワークから各種情報を取得する装置が挙げられる。例えば、外部情報取得装置１４０は、ＶＩＣＳ（登録商標）システムから、道路渋滞情報、道路工事情報、事故情報を取得する。また、例えば、外部情報取得装置１４０は、外部サーバから天気情報を取得する。外部情報取得装置１４０は、車外から取得した情報をコントローラ１９０に出力する。なお、外部情報取得装置１４０は、外部サーバから情報を取得することに限られず、ネットワーク上で必要な情報を検索し、検索結果に応じて、情報を管理するサーバにアクセスすることができる。

【0020】

また、外部情報取得装置１４０は、通信回線を介して外部環境の情報を取得する装置に限られず、例えば、外気温を検出する外気温センサ、湿度を検出する湿度センサ、雨滴を検出する雨滴センサであってもよい。外気温センサは、検出結果として外気温の情報をコントローラ１９０に出力する。湿度センサは、検出結果として湿度の情報をコントローラ１９０に出力する。雨滴センサは、検出結果として雨滴の情報をコントローラ１９０に出力する。

【0021】

駆動装置１５０は、車両１００の駆動機構を備える。駆動機構には、上述した車両１００の走行駆動源である電動モータ及び／又は内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、及び車輪を制動する制動装置（不図示）などが含まれる。駆動装置１５０は、運転者のアクセル操作及びブレーキ操作による入力信号、車両コントローラ（不図示）又は走行制御装置（不図示）から取得した制御信号に基づいてこれら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。駆動装置１５０に指令情報を送出することにより、車両の加減速を含む走行制御を自動的に行うことができる。なお、ハイブリッド自動車の場合には、車両の走行状態に応じた電動モータと内燃機関とのそれぞれに出力するトルク配分も駆動装置１５０に送出される。

【0022】

本実施形態の車両１００を運転する主体は、駆動装置１５０を制御する主体であり、車両１００の運転者、又は車両コントローラである。車両１００は、運転者の運転操作により、又は車両コントローラよる自動的な運転操作により走行する。例えば、図１には図示されていないが、車両１００には、運転操作の主体を切り替えるための機器（例えば、ボタン形状のスイッチなど）が設置されている。運転者は、このスイッチを切り替えることで、手動による運転操作、又は車両コントローラによる運転操作の切り替えを行うことができる。車両コントローラによる運転操作とは、いわゆる自動運転による運転操作と呼ばれ、自動的に車両を走行させることができる運転操作である。自動運転の技術は、本願出願時に知られた技術を適宜用いることができる。駆動装置１５０は、車両１００を運転している運転主体の情報を、運転主体情報としてコントローラ１９０に出力する。

【0023】

室内カメラ１６０は、車両１００の乗員を撮像可能な位置に設けられ、乗員を撮像する。本実施形態では、室内カメラ１６０は、車両１００の乗員のうち運転者を撮像する。室内カメラ１６０は、運転者の視線を含む運転者の表情や、運転者による運転操作を撮像できる位置に設けるのが好ましい。室内カメラ１６０は、運転者の撮像画像の情報をコントローラ１９０に出力する。

【0024】

室内マイク１７０は、車両１００の乗員の音声情報を取得し、少なくとも一時的に記憶する。本実施形態では、室内マイク１７０は、車両１００の乗員のうち運転者の音声情報を取得する。室内カメラ１６０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。

【0025】

スピーカ１８０は、車両１００の乗員に音声情報を出力する。本実施形態では、スピーカ１８０は、車両１００の乗員のうち運転者に対して音声情報を出力する。スピーカ１８０の設置位置は特に限定されないが、乗員の座席近傍に設けることが好ましい。

【0026】

続いて、本実施形態のコントローラ１９０について説明する。コントローラ１９０は、車両１００の乗員の負荷に応じた対話プログラムを用いて、乗員との対話処理を実行するプログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）から構成される。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

【0027】

コントローラ１９０は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、車両１００の走行状態に関する情報を取得する走行状態情報取得機能と、車両１００の外部環境に関する情報を取得する外部情報取得機能と、車両１００の運転操作に関する情報を取得する運転操作情報取得機能と、取得した情報に基づいて車両１００の乗員の運転負荷の大きさを判定する運転負荷判定機能と、運転負荷の大きさに応じた対話プログラムを選択して運転者と対話する対話機能と、を備える。以下に、コントローラ１９０が備える各機能について説明する。

【0028】

コントローラ１９０は、走行状態情報取得機能により、車両１００の走行状態に関する情報を取得する。走行状態に関する情報には、車両１００の車速、エンジン回転数、アクセル操作量、ブレーキ操作量、ステアリングの操舵角が含まれる。また、車両１００に、ナビゲーション装置１３０のようにアプリケーションにより動作する装置が含まれている場合、コントローラ１９０には、起動中のアプリケーションの種別の情報が入力される。この場合、走行状態に関する情報には、上述した情報の他に加えて、アプリケーションの種別の情報が含まれる。

【0029】

コントローラ１９０は、外部情報取得機能により、車両１００の外部環境に関する情報を取得する。外部環境に関する情報には、車両１００の周囲に存在する障害物までの距離及び障害物が存在する方向、車両１００が走行している道路に関する情報（種別情報、渋滞情報、工事情報、及び事故情報を含む）、車両１００の現在位置が含まれる。

【0030】

コントローラ１９０は、運転操作情報取得機能により、運転操作に関する情報を取得する。運転操作に関する情報には、シフトレバーポジション、車両１００の運転主体の情報、運転者の運転姿勢の情報が含まれる。運転姿勢の情報とは、室内カメラ１６０により撮像された運転者の撮像画像に基づく情報である。コントローラ１９０は、運転者の撮像画像に対して画像処理を実行することで、運転者の運転姿勢を把握する。

【0031】

コントローラ１９０は、運転負荷判定機能により、運転者の運転負荷の大きさを判定する。本実施形態のコントローラ１９０は、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、運転操作情報取得機能により取得した運転操作に関する情報のうち少なくとも何れか一つの情報に基づいて、運転負荷の大きさが所定の基準よりも大きいか又は小さいかを判定する。なお、本実施形態では、運転負荷の大きさを所定の基準よりも大きい又は小さいかの２つカテゴリに分ける構成を例に挙げて説明するが、運転負荷の大きさの判定方法はこれに限定されるものではない。例えば、運転負荷の大きさを３つ以上のカテゴリに分けてもよい。なお、ここでいう運転負荷の大きさを判定するとは、コントローラ１９０が、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、運転操作情報取得機能により取得した運転操作に関する情報のうち少なくとも何れか一つの情報に基づいて、運転負荷の状態が２以上の分類のうちのいずれに分類されるかを判定する、ことである。本実施形態では、２以上の分類として、運転負荷の大きい状態、運転負荷の小さい状態のいずれに該当するかを判定している。

【0032】

ここで、運転負荷とは、運転者が車両１００を運転操作する時に運転者が担う負荷である。運転負荷が大きい場合、運転者には運転に対する高い集中力が要求される。このため、運転以外を対象とする操作については、運転者は意識的に又は無意識に優先度を下げる。運転以外を対象とする操作としては、例えば、エアコンの温度調整又は風量調整するための操作、音楽やラジオの音量調整するための操作などが挙げられる。

【0033】

次に、図２を参照しながら、具体的な運転負荷の大きさの判定方法について説明する。図２は、運転負荷の大きさを判定するための項目及び判定基準の一例である。

【0034】

コントローラ１９０は、図２に示すように、車両１００の走行状態に応じて、運転負荷の大きさを判定する。コントローラ１９０は、車両１００の走行状態が「走行中」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行状態が「停車中」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、シフトレバーポジションが「Ｄ（ドライブ）」に位置する場合、車両の走行状態は「走行中」と検出する。また、例えば、コントローラ１９０は、シフトレバーポジションが「Ｐ（パーキング）」又は「Ｎ（ニュートラル）」に位置する場合、車両の走行状態は「停車中」と検出する。なお、走行状態を用いた判定方法は、上述した判定方法に限られず、例えば、車速、エンジン回転数、アクセルペダルの操作量、ブレーキペダルの操作量から、車両の走行状態を判定してもよい。

【0035】

また、図２では、走行状態の項目として「走行中」又は「停車中」を例に挙げているが、走行状態の項目はこれに限られない。例えば、コントローラ１９０は、車両１００が走行中であっても、車速が所定速度以下の場合には、運転負荷が小さいと判定してもよい。また、例えば、コントローラ１９０は、車両１００が停車中であっても、シフトレバーポジションが「Ｄ（ドライブ）」に位置し、かつ、ブレーキペダルの操作量が所定値以上の場合、車両１００は発進前の停車状態と判断し、運転負荷が大きいと判定してもよい。

【0036】

また、コントローラ１９０は、図２に示すように、車両１００の運転主体に応じて、運転負荷の大きさを判定する。コントローラ１９０は、車両１００の運転主体が「運転者」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の運転主体が「車両コントローラ」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、駆動装置１５０から取得した運転主体情報により、現在の運転主体が運転者又は車両コントローラであるかを検出する。なお、運転主体を用いた判定方法は、上述した判定方法に限られない。例えば、コントローラ１９０は、室内カメラ１６０により撮像された運転者の撮像画像から、車両が走行しているにもかかわらず、運転者がステアリングホイールを操作していないことを検出したとする。この場合、コントローラ１９０は、運転主体は「車両コントローラ」に該当し、運転負荷が小さいと判定してもよい。

【0037】

また、コントローラ１９０は、図２に示すように、運転操作に応じて、運転負荷の大きさを判定する。コントローラ１９０は、運転操作が「車庫入れ」、「縦列駐車」、「バック駐車」の何れかの操作に該当する場合、運転負荷が大きいと判定する。例えば、コントローラ１９０は、シフトレバーポジションが「Ｒ（リバース）」になったことを検出すると、運転操作は「駐車」に該当する可能性があるという一次的な判断する。

【0038】

そして、コントローラ１９０は、車両１００の周辺情報から、車両１００が車庫の周辺にいることを検出した場合、運転操作は「車庫入れ」に該当すると判定する。また、コントローラ１９０は、車両１００の周辺情報から、他車両又は縦列用の駐車場が検出された場合、運転操作は「縦列駐車」に該当すると判定する。また、コントローラ１９０は、操舵角及びブレーキ操作量から、車両１００が後ろ向きで駐車していることを検出した場合、運転操作は「バック駐車」に該当すると判定する。なお、運転操作を用いた判定方法は、一例であって特に限定されるものではない。例えば、操舵角、車速、ブレーキ操作量、アクセル操作量から車両１００の走行軌跡を推定し、運転操作が「車庫入れ」、「縦列駐車」、「バック駐車」の何れかの操作に該当するかを判定してもよい。

【0039】

また、コントローラ１９０は、図２に示すように、車両１００の外部環境に応じて、運転負荷の大きさを判定する。外部環境には、走行場所、交通状況、天気、時間帯、周辺に存在する障害物の多さ又は障害物までの距離などが含まれる。コントローラ１９０は、車両１００の走行場所が「高速道路」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行場所が「渋滞中の道路」に該当する場合、運転負荷が小さいと判定する。例えば、コントローラ１９０は、車両１００の現在位置が高速道路であり、かつ、現在位置の周辺において渋滞情報がない場合、車両１００の走行場所は「高速道路」と検出する。また、コントローラ１９０は、車両１００の現在位置の周辺において渋滞情報がある場合、車両１００の走行場所は「渋滞中の道路」と検出する。

【0040】

また、コントローラ１９０は、車両１００の走行場所が「交差点」に該当する場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、車両１００の走行場所が「直進道路」に該当する場合、運転負荷が小さいと判定する。また、コントローラ１９０は、車両１００の周辺に存在する障害物（他車両、ニ輪自動車、歩行者など）が所定の数よりも少ない場合、運転負荷が大きいと判定する。一方、コントローラ１９０は、障害物が所定の数以上の場合、運転負荷が小さいと判定する。

【0041】

なお、上述した判定基準は一例であって特に限定されるものではない。コントローラ１９０は、車両１００の走行状態の項目として、車両１００の室内で起動しているアプリケーションの種別を含めてもよい。この場合、コントローラ１９０は、起動中のアプリケーションの種別に応じて、運転負荷の大きさを判定する。なお、アプリケーションの種別は特に限定されない。アプリケーションの種別に基づく運転負荷の大きさの判定は、実験的に求めた基準に従って行うのが好ましい。

【0042】

ここまでは、図２に示す項目ごとに、運転負荷の大きさを判定する方法の一例を説明したが、運転負荷の大きさは、一つの項目から判定する必要はなく、複数の項目のうち少なくとも何れか一つの項目について、運転負荷の大きさの判定を行えばよい。

【0043】

例えば、コントローラ１９０が複数の項目について運転負荷の大きさの判定をした場合、コントローラ１９０は、所定の方法を用いて、運転負荷の大きさを決定する。例えば、コントローラ１９０は、項目ごとの判定結果に対して、予め項目ごとに設定された重み付けを行い、運転負荷の大きさを決定してもよい。また、コントローラ１９０は、項目ごとの判定結果に対して多数決をとることで、運転負荷の大きさを決定してもよい。

【0044】

また、判定する項目は、運転者の運転熟練度に応じて異なっていてもよい。例えば、コントローラ１９０は、予め登録された運転者の情報から、運転熟練度を推定する。そして、コントローラ１９０は、運転熟練度が所定値よりも高い運転者が運転している場合、図２に示す「走行状態」の項目については判定を行わない。これは、運転熟練度が高い運転者は、運転に慣れている運転者又は運転が好きな運転者であるため、このような運転者の運転負荷を判定するにあたり、車両が走行しているか又は停車しているかの判定だけでは、運転負荷の大きさを判定することが難しいという観点に基づくものである。反対に、運転熟練度が低い運転者の場合（例えば、ペーパードライバー等）、運転を行うだけで大きな運転負荷になるため、コントローラ１９０は、運転熟練度が所定値以下の運転者が運転している場合、走行状態の項目についての運転負荷の判定を行う。なお、所定値は特に限定されるものではなく、実験的に求められた値が好ましい。

【0045】

次に、対話機能について説明する。コントローラ１９０は、対話機能により、運転負荷の大きさに応じた対話プログラムを用いて、車両１００の乗員と対話する。本実施形態では、コントローラ１９０は、運転負荷の大きさが所定の基準よりも大きい場合、第１の対話プログラムを用い、運転負荷の大きさが所定の基準よりも小さい場合には、第１の対話プログラムと異なる第２の対話プログラムを用いる。本実施形態では、各対話プログラムは、予めＲＯＭ又はデータベース（不図示）に記憶されており、コントローラ１９０は、対話機能により、ＲＯＭ又はデータベースから、運転負荷の大きさに応じた対話プログラムを選択して実行する。なお、第１の対話プログラムを実行することで、第１の対話モードが実現され、第２の対話プログラムを実行することで、第２の対話モードが実現される。また、第１の対話プログラム及び第２の対話プログラムにおいて、音声を生成する技術は、本願出願時に知られた技術を用いることができる。

【0046】

各対話プログラムは、乗員の音声を認識するプログラムと、乗員に対して音声を出力するプログラムとで構成されている。コントローラ１９０は、音声を出力するプログラムを実行することで、スピーカ１８０を介して音声を出力して、乗員に話す。また、コントローラ１９０は、音声を認識するプログラムを実行することで、室内マイク１７０を介して入力される乗員の音声を認識する。コントローラ１９０は、音声の出力と乗員の音声の認識を繰り返すことで、乗員と対話を行う。

【0047】

以降、図３を適宜用いながら、各対話モードについて説明する。図３は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。

【0048】

第１の対話プログラムは、第２の対話プログラムに比べて、乗員の返答に含まれる単語数が少なくなるようにプログラミングされている。返答とは、コントローラ１９０からの質問や呼びかけ（以降、質問等ともいう）に対して答えることである。乗員の返答には、１回の質問等に対する返答だけでなく、対話が開始されてから終了するまでの間に行われた全ての返答が含まれる。乗員が発話する単語数を減らす方法としては、例えば、乗員が返答する回数を減らす方法、一回の返答あたりに乗員が発話する単語数を減らす方法、乗員が発話する単語そのものを短くする方法が挙げられる。

【0049】

また、第１の対話プログラムは、第２の対話プログラムに比べて、スピーカ１８０を介して出力する単語数が少なくなるようにプログラミングされている。出力する単語数を少なくする方法としては、例えば、不要な情報を付加せずに質問や呼びかけを行う方法、端的な表現を用いる方法などが挙げられる。

【0050】

以下、コントローラ１９０から乗員に質問を行う場合の具体例に挙げて、第１の対話プログラムについて説明する。なお、第１の対話プログラムが適用されるのは、質問を行う場合だけに限られず、「話す」に含まれる行為全般に対して、第１の対話プログラムは適用することができる。例えば、第１の対話プログラムは、呼びかけをする場合、通知する場合、説明をする場合などにも適用することができる。

【0051】

例えば、コントローラ１９０は、乗員に「はい」又は「いいえ」の択一的に回答させるような質問を行う。例えば、車両１００の目的地を確定させる場面において、コントローラ１９０は、「目的地は、○○ですね？」と乗員に質問を行う。その後、例えば、コントローラ１９０は、乗員の返答として「はい」という音声を認識した場合、ナビゲーション装置１３０にアクセスして、車両１００の目的地を○○に設定する。また、例えば、コントローラ１９０は、乗員の返答として「いいえ」という音声を認識した場合、「目的地は、△△ですか？」と再び乗員に質問を行う。なお、乗員の返答を認識した後の処理については、本実施形態では特に限定されない。

【0052】

また、例えば、コントローラ１９０は、回答の候補に番号を付し、乗員に番号を択一的に回答させるような質問を行う。上述の目的地を確定させる場面を例に挙げて説明すると、例えば、コントローラ１９０は、「目的地は、１．○○、２．△△、３．××のうちどれですか？」と、乗員に１～３の番号で回答させるような質問を行う。例えば、コントローラ１９０は、乗員の返答として「１」という音声を認識した場合、ナビゲーション装置１３０にアクセスして、車両１００の目的地を○○に設定する。なお、回答候補の数が３つの場合を例に挙げて説明したが、回答候補の数は特に限定されない。

【0053】

このように、択一的な回答をさせる質問を行うことで、対話における一回の返答あたりに乗員が発話する単語数を減らすことができる。また、乗員が発話する単語に含まれる文字数を短くすることができる。これにより、乗員の運転負荷が大きい場面においても、乗員は運転に対しての集中力を維持したまま対話することができる。

【0054】

また、例えば、コントローラ１９０は、「目的地は○○でよろしいですね？」のように、端的な表現を用い、かつ、余計な情報を付加せず質問のみを行う。これにより、乗員は、コントローラ１９０からの質問を聞き取りやすくなるとともに、聞かれている内容を理解しやすくなる。その結果、質問の内容を理解できなかった乗員に対して、再度質問を行うことを防ぐことができる。運転負荷が大きい場面において、乗員とのやり取りを可能な限り減らすことができ、乗員が返答する回数を減らすことができる。

【0055】

これに対して、本実施形態に係る第２の対話プログラムのうち音声出力に関しては、図３に示すように、乗員の返答に含まれる単語数に対しての制限は設けられていない。また、第２の対話プログラムには、スピーカ１８０を介して出力する単語数に制限が設けられていない。このため、コントローラ１９０は、第２の対話プログラムを用いて対話を行う場合、乗員に対して詳細な情報や付属的な情報を提供する。

【0056】

第２の対話プログラムについて、上述の目的地を確定させる場面を例に挙げて説明する。例えば、コントローラ１９０は、「今日は天気が晴れているため、お勧めの目的地としては、○○、△△、××が挙げられますが、目的地はどこにしますか？また、今日は、この周辺で□□のイベントが午後から開始されるようです。」と乗員に質問を行うだけでなく、付属的な情報を提供する。上述の例の場合、付属的な情報には、天気の情報、推奨する目的地の情報、イベントに関する情報が含まれる。第２の対話プログラムとして用いられる技術には、本願出願時に知られた対話プログラムの技術を適宜用いることができる。

【0057】

また、本実施形態では、図３に示すように、第１の対話プログラムのうち音声認識及び第２の対話プログラムのうち音声認識に関しては、いわゆる文認識と呼ばれる技術が用いられている。文認識の技術としては、例えば、「Sentences recognition」、「Speech to text」が挙げられる。文認識とは、乗員の音声を文章単位で認識するものである。

【0058】

図３を参照しながら、文認識の特徴について説明する。文認識では、乗員の発話した内容を認識するまでに要する単語数は、比較的多い。また文認識では、乗員の音声を文章単位で認識し、乗員の発話した内容を理解するため、文法のチェックを行う。このため、本実施形態では、第１の対話プログラム及び第２の対話プログラムともに、コントローラ１９０が乗員の発話内容を理解するまでの処理時間は比較的長くなる。

【0059】

次に、図４を用いながら、本実施形態に係るコントローラ１９０が実行する処理について説明する。図４は、本実施形態に係るコントローラ１９０が実行する処理を示すフローチャートである。

【0060】

ステップＳ１０１では、コントローラ１９０は、車両１００の走行状態、車両１００の外部環境の状態、及び車両１００の運転操作の状態の情報を取得する。例えば、コントローラ１９０は、シフトレバーセンサ１１６から、シフトレバーポジションの情報を、走行状態の情報として取得する。また例えば、コントローラ１９０は、周囲検出装置１２０から、車両１００の周囲情報を、外部環境の情報として取得する。また例えば、コントローラ１９０は、室内カメラ１６０により撮像された車両１００の運転者の撮像画像を画像処理する。コントローラ１９０は、画像処理により運転者の運転姿勢を把握し、運転操作の情報を取得する。

【0061】

ステップＳ１０２では、コントローラ１９０は、ステップＳ１０１にて取得した情報に基づいて、車両１００の乗員の運転負荷の大きさを判定する。例えば、コントローラ１９０は、車両１００が走行中の場合には、運転負荷は大きいと判定し、車両１００が停車中の場合には、運転負荷は小さいと判定する。また例えば、コントローラ１９０は、車両１００が高速道路を走行している場合には、運転負荷は大きいと判定し、車両１００が渋滞中の道路を走行している場合には、運転負荷は小さいと判定する。また例えば、コントローラ１９０は、運転者が車庫入れの運転操作を行っている場合、運転負荷は大きいと判定する。運転負荷が大きいと判定された場合、ステップＳ１０３へ進み、反対に、運転負荷が小さいと判定された場合、ステップＳ１０５へ進む。なお、上記の判定方法は一例であって特に限定されるものではない。

【0062】

ステップＳ１０３では、コントローラ１９０は、第１の対話プログラムを用いて乗員と対話を行う。コントローラ１９０は、第１の対話プログラムを実行することで、例えば、「はい」又は「いいえ」で回答することが可能な質問を行う。またコントローラ１９０は、例えば、端的な表現を用いて質問を行う。

【0063】

図５は、第１の対話プログラムを用いた場合に行われる対話の一例である。図５（Ａ）は、信号待ちで停車中の車両１００において、乗員が目的地を設定するためにナビゲーション装置１３０を操作していたが、信号が変わったため車両１００が発進した場面での対話例である。また、図５（Ｂ）は、乗員が高速道路の運転している際に、車両１００の室内温度が上昇した場面での対話例である。図５（Ａ）、（Ｂ）に示すように、第１の対話プログラムが実行されることで、乗員は、コントローラ１９０からの質問に対して、「うん」、「いや、いいよ」のように、簡単かつ短い単語を用いて、返答することができる。

【0064】

ステップＳ１０４では、コントローラ１９０は、ステップＳ１０３での乗員との対話が終了したか否かを判定する。例えば、対話終了の条件が予め定められている場合、コントローラ１９０は、この条件に該当するか否かを判定することで、対話が終了したか否かを判定する。図５（Ａ）の例を用いると、対話終了の条件としては、乗員の返答によって目的地が確定した場合が挙げられる。対話が終了した場合には、コントローラ１９０による処理は終了する。反対に、対話が終了していない場合には、ステップＳ１０３へ戻る。

【0065】

また、ステップＳ１０２にて、運転負荷が小さいと判定された場合、ステップＳ１０５へ進む。ステップＳ１０５では、コントローラ１９０は、第２の対話プログラムを用いた対話を実行する。

【0066】

図６は、第２の対話プログラムを用いた場合に行われる対話の一例である。図６は、車両１００が駐車場等に停車している場面での対話例である。図６に示すように、第２の対話プログラムが実行されることで、乗員は、コントローラ１９０により提供された情報（レストランの件数）により、料理及び場所を指定することができる。さらに、乗員は、コントローラ１９０により提供された情報（レストランまでの移動時間、現在の空席状況）により、レストランを決定することができる。

【0067】

ステップＳ１０６では、コントローラ１９０は、ステップＳ１０５での乗員との対話が終了したか否かを判定する。図６の例を用いると、対話終了の条件としては、乗員の返答によって目的地が確定した場合が挙げられる。対話が終了した場合には、コントローラ１９０による処理は終了する。反対に、対話が終了していない場合には、ステップＳ１０５へ戻る。

【0068】

以上のように、本実施形態に係る音声対話装置は、車両１００に搭載されたセンサ群１１０、周囲検出装置１２０、ナビゲーション装置１３０、外部情報取得装置１４０、駆動装置１５０、室内カメラ１６０を用いて、車両１００の乗員と対話するコントローラ１９０を備えている。センサ群１１０は、車両１００の走行状態を検出する。周囲検出装置１２０、ナビゲーション装置１３０、及び外部情報取得装置１４０は、車両１００の外部環境の状態を検出する。駆動装置１５０、及び室内カメラ１６０は、車両１００の乗員の運転操作の状態を検出する。コントローラ１９０は、車両１００の走行状態、外部環境の状態、乗員の運転操作の状態のうち少なくとも一つに基づいて、乗員の運転負荷の大きさを判定し、運転負荷の大きさに応じた対話プログラムを用いて、乗員と対話する。これにより、運転負荷の大きさに応じた対話プログラムにより乗員と対話することができるため、運転負荷の大きさにかかわらず、乗員との対話を継続することができる。

【0069】

また、本実施形態では、コントローラ１９０は、運転負荷の大きさが所定の基準よりも大きい場合には、第１の対話プログラムを用い、運転負荷の大きさが所定の基準よりも小さい場合には、第１の対話プログラムと異なる第２の対話プログラムを用いて、乗員と対話を行う。これにより、運転負荷の大きさに応じた異なる２つの対話モードによって、乗員との対話を継続することができる。

【0070】

さらに、本実施形態では、コントローラ１９０は、第１の対話プログラムを実行することで、乗員から質問に対する返答を取得し、第２の対話プログラムを実行することで、乗員から質問に対する返答を取得する。第１の対話プログラムは、第２の対話プログラムに比べて、乗員の返答に含まれる単語数が少なくなるようにプログラミングされている。これにより、運転負荷が大きい場合であっても、乗員は運転に対する集中力を維持しつつ、対話をすることができる。

【0071】

加えて、本実施形態では、コントローラ１９０は、第１の対話プログラムを用いて、乗員に択一的に回答させるような質問を行う。これにより、運転負荷が大きい場合であっても、例えば、コントローラ１９０からの質問に対して、「はい」又は「いいえ」の簡単な単語を発話するだけで対話することができる。また、複数の回答候補の中からの選択結果を発話するだけで対話をすることができる。

【0072】

また、本実施形態では、コントローラ１９０は、車両１００が乗員の運転により走行している場合、運転負荷の大きさが所定の基準よりも大きいと判定する。例えば、ペーパードライバー等の運転熟練度が比較的小さい運転者にとって、運転をすることは大きな負荷になるため、運転負荷の大きさを適切に判定することができる。

【0073】

さらに、本実施形態では、コントローラ１９０は、乗員が駐車するための運転操作を行っている場合、運転負荷の大きさが所定の基準よりも大きいと判定する。一般的には、車両を駐車させる際に、運転者は運転操作に集中するため、運転負荷の大きさを適切に判定することができる。

【0074】

加えて、本実施形態では、コントローラ１９０は、車両１００が高速道路又は交差点を走行している場合、運転負荷の大きさが所定の基準よりも大きいと判定する。一般的には、運転者にとって、高速道路における運転は大きな負荷になるため、運転負荷の大きさを適切に判定することができる。また、運転者にとって、対向車が右折する可能性がある交差点での運転は大きな負荷になるため、運転負荷の大きさを適切に判定することができる。

【0075】

また、本実施形態では、コントローラ１９０は、車両１００が停車している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。一般的には、停車している状態では、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。

【0076】

さらに、本実施形態では、コントローラ１９０は、車両１００が自動的な運転により走行している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。車両の運転主体が運転者でない場合には、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。

【0077】

加えて、本実施形態では、コントローラ１９０は、車両１００が渋滞中の道路を走行している場合、又は車両１００が直線道路を走行している場合、運転負荷の大きさが所定の基準よりも小さいと判定する。一般的には、徐行速度で走行する、あるいは停止と発進を繰り返す渋滞中においては、運転者にかかる負荷は比較的小さいため、運転負荷の大きさを適切に判定することができる。

【0078】

また、本実施形態では、コントローラ１９０は、ＲＯＭ又はデータベースに記憶された対話プログラムの中から、運転負荷の大きさに応じた対話プログラムを選択し、対話プログラムを実行することで、室内マイク１７０及びスピーカ１８０を介して、乗員と対話する。室内マイク１７０は、乗員の音声を認識し、スピーカ１８０は、乗員へ音声を出力する。これにより、コントローラ１９０は、乗員の音声を認識できるとともに、音声により乗員に質問等を伝えることができる。

【0079】

≪第２実施形態≫
次に第２実施形態に係る音声対話装置について説明する。本実施形態の音声対話装置は、コントローラ１９０が用いる第１の対話プログラム及び第２の対話プログラムが異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。

【0080】

図７を用いながら、本実施形態に係る対話プログラムについて説明する。図７は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。

【0081】

まず、第２実施形態に係る第１の対話プログラムについて説明する。本実施形態に係る第１の対話プログラムは、上述の第１実施形態に係る第１の対話プログラムと比べて、音声出力及び音声認識に関して異なる。本実施形態では、第１の対話プログラムのうち音声認識に関しては、いわゆる離散単語認識と呼ばれる技術が用いられている。離散単語認識の技術としては、例えば、「Keyword Spotting」が挙げられる。離散単語認識とは、乗員の音声情報を文章として認識するのではなく、乗員の音声情報に含まれる所定の単語（以降、キーワードともいう）を認識するものである。

【0082】

図７を参照しながら、離散単語認識の特徴について説明する。離散単語認識では、乗員の発話した内容を認識するために要する単語数は、比較的少ない。また離散単語認識では、キーワードに該当するか否かの判断により、乗員の発話した内容を認識するために、文法のチェックを行わない。このため、乗員により発話された単語の認識精度は、上述の文認識と比べて高い。例えば、路面状態が悪い道路を走行している場合には、いわゆるロードノイズが大きくなるが、この場合において、離散単語認識を用いると、乗員の発話した単語を精度良く認識することができる。また、文法チェックがないため、コントローラ１９０が乗員の発話内容を理解するまでの処理時間は、上述の文認識と比べて短くなる。

【0083】

次に、キーワードについて説明する。キーワードとは、ＲＯＭ又はデータベース等の記憶装置に予め登録された単語である。キーワードの種別及び文字数は特に限定されていない。また、キーワード数も、特に限定されていないが、処理速度の高速化を図るためには、キーワード数は、１０～２０の範囲であることが好ましい。

【0084】

キーワードとしては、「はい」、「いいえ」、「前」、「後ろ」、「左」、「右」、「上」、「下」、「強い」、「弱い」、「高い」、「低い」等が例示できる。なお、キーワードを選定するにあたり、乗員への質問や呼びかけとの関係性を考慮することが好ましい。例えば、「エアコンの温度を下げますか？」という質問に対して想定される返答としては、「はい」、「いいえ」、「下げて」、「いや、上げて」が考えられるため、対話の内容に応じた単語をキーワードとして予め登録するのが好ましい。

【0085】

また、本実施形態では、第１の対話プログラムのうち音声出力に関しては、上述の第１実施形態に係る第２の対話プログラムと同様のものが用いられる。図７に示すように、音声出力に関しては、乗員の返答に含まれる単語数に対しての制限、及びスピーカ１８０を介して出力する単語数に制限は設けられていない。

【0086】

これに対して、本実施形態に係る第２の対話プログラムは、図７に示すように、第１実施形態に係る第２の対話プログラムと同じである。このため、繰り返しの説明は省略して、第１実施形態においてした説明を援用する。

【0087】

以上のように、本実施形態に係る第１の対話プログラムでは、音声認識に関しては離散単語認識の技術が用いられている。これにより、例えば、舗装されていない道路や路面が濡れている道路を走行する際に、大きなロードノイズが発生した場合であっても、乗員の発話した単語を精度良く認識することができるとともに、乗員の音声を認識してから音声出力するまでに要する処理時間を短縮することができる。

【0088】

≪第３実施形態≫
次に第３実施形態に係る音声対話装置について説明する。本実施形態の音声対話装置は、コントローラ１９０が用いる第１の対話プログラム及び第２の対話プログラムが異なる点以外は、上述した実施形態と同様の構成を有しているため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。

【0089】

図８を用いながら、本実施形態に係る対話プログラムについて説明する。図８は、本実施形態における第１の対話モード及び第２の対話モードを説明するための図である。なお、本実施形態では、第２の対話プログラムは、上述した第２実施形態に係る第２の対話プログラムと同じであるため、繰り返しの説明は省略して、上述の実施形態においてした説明を援用する。

【0090】

第３実施形態に係る第１の対話プログラムについて説明する。本実施形態に係る第１の対話プログラムは、音声出力に関しては第１実施形態に係る第１の対話プログラム、音声認識に関しては第２実施形態に係る第１の対話プログラムで構成されている。本実施形態では、コントローラ１９０は、乗員に特定のキーワードで回答させるような質問等を行う。特定のキーワードとは、離散単語認識で用いられるキーワードである。

【0091】

例えば、離散単語認識で用いられるキーワードとして、「はい」及び「いいえ」が予め記憶装置に登録されているとする。この場合、コントローラ１９０は、乗員に「はい」又は「いいえ」で返答させるような質問等を行う。また、例えば、離散単語認識で用いられるキーワードとして、「暑い」、「寒い」が予め記憶装置に登録されていたとする。この場合、コントローラ１９０は、例えば、乗員に「暑い」又は「寒い」で返答させるような室内温度に関する質問を行う。また、例えば、離散単語認識で用いられるキーワードとして、「良い」、「普通」及び「悪い」が予め記憶装置に登録されていたとする。この場合、コントローラ１９０は、乗員に「良い」、「普通」及び「悪い」の選択肢から選択させるような質問等を行う。

【0092】

また、本実施形態では、第１の対話プログラムが取り扱う話題と、第２の対話プログラムが取り扱う話題とは異なる。具体的には、第１の対話プログラムは、走行に関する事項について乗員と対話をするようにプログラミングされている。走行に関する事項としては、例えば、操舵制御、走行制御、目的地の設定などが挙げられる。一方、第２の対話プログラムは、乗員との対話において話題の制限が設けられていない。第２の対話プログラムが取扱う話題には、例えば、天気、エンターテイメントなど走行とは関係ない話題も含まれる。

【0093】

以上のように、本実施形態では、コントローラ１９０は、第１の対話プログラムを用いて、乗員に予め登録されているキーワードで回答させるような質問を行う。これにより、乗員の運転負荷が大きい場面においても、乗員は運転に対しての集中力を維持したまま対話することができる。また、離散単語認識により、乗員の音声を認識するまでに要する処理時間を短縮することができ、対話終了までの時間の短縮を図ることができる。

【0094】

また、本実施形態では、第１の対話プログラムは、車両の走行に関する話題で乗員と対話するようにプログラミングされている。これにより、乗員の運転負荷が大きい場面においても、例えば、乗員が理解しやすいような表現で端的な文章にて、操舵に関する質問を行ったり、あるいは車速に関する通知を行ったりすることができる。

【0095】

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【0096】

例えば、上述した実施形態では、音声対話システムを車両１００に搭載した構成を例に挙げて説明したが、音声システムは、車両１００のみで構成される必要はなく、車両１００及び車両１００と通信可能なサーバとの構成であってもよい。例えば、音声対話システムは、コントローラ１９０と同様の機能を有し、車両と通信することで車両の乗員と対話するサーバを備えていてもよい。

【0097】

この場合、サーバは、通信装置（不図示）を介して、走行状態の情報、外部環境の状態の情報、運転操作の状態の情報、及び音声情報の授受を行う。例えば、図１に示す構成のうちコントローラ１９０を除く構成を有している車両がある場合、サーバは、通信装置を介して、逐次、車両から運転負荷の大きさの判定に必要な情報を取得するとともに、運転負荷の大きさに応じた対話プログラムを用いて生成した音声情報を車両に送信する。車両側では、車載通信装置（不図示）は、室内マイク１７０にて取得された乗員の音声情報を、サーバに送信するとともに、サーバから送信された音声情報を受信して、スピーカ１８０から出力させる。

【0098】

このように、サーバを含めた音声対話システムを構成することで、例えば、サーバを備えるデータセンタでは、複数の車両との間で行われた対話の履歴の管理を一括して行うことができる。そして、例えば、乗員ごとに対話の履歴を分析することで、乗員の運転特性に合わせて、運転負荷の大きさを判定するための基準を生成することができる。

【0099】

また、例えば、上述した実施形態では、運転負荷の大きさを判定する際に、運転主体が「運転者」の場合には、運転負荷が大きいと判定する例を挙げて説明したが、運転支援機能を備えた車両の場合にはこれに限られない。例えば、運転主体が「運転者」であっても、車両コントローラ又は走行制御により運転支援を受けている場合には、運転負荷が小さいと判定してもよい。

【0100】

上述した実施形態においては、運転者の運転負荷の状態を判定する例を挙げて説明したが、本発明は、運転者ではない車両の乗員に対する対話システムにも適用することが可能である。具体的には、運転者ではない車両の乗員の負荷状態を判定し、乗員の負荷の状態が大きいときは、上述した第１の対話プログラムを用い、乗員の負荷の状態が小さいときは、上述した第２の対話プログラムを用いることができる。運転者ではない車両の乗員の負荷状態は、走行状態情報取得機能により取得した走行状態に関する情報、外部環境情報取得機能により取得した外部環境に関する情報、車両１００に搭載されたインフォテインメントシステム（図示しない）の使用状態に関する情報、乗員が利用するモバイル端末（図示しない）の使用状態に関する情報のうち少なくとも何れか一つの情報に基づいて、運転者ではない車両の乗員の負荷状態を判定する。例えば、車両１００に搭載されたインフォテインメントシステム（図示しない）の使用状態に関する情報が、当該インフォテインメントシステムにおいて動画再生中であることを示す場合、乗員の負荷状態は大きいものとして判定する。また、乗員が利用するモバイル端末の使用状態に関する情報が、乗員が利用するモバイル端末が乗員により操作されていることを示す場合、乗員の負荷状態は大きいものとして判定し、第１の対話プログラムを用いて乗員との対話を行う。一方で、車両１００に搭載されたインフォテインメントシステム等（図示しない。情報表示装置などの車載機器）の使用状態に関する情報が当該インフォテインメントシステムが使用されていないことを示す場合、または、乗員が利用するモバイル端末の使用状態に関する情報が当該モバイル端末が乗員により操作されていないことを示す場合には、乗員の負荷状態は小さいものとして判定し、第２の対話プログラムを用いて乗員との対話を行う。したがって、車載機器またはモバイル端末の利用の有無に応じて、第１の対話プログラムまたは第２の対話プログラムが選択されて、乗員との対話が行われることとなる。
つまり、本実施形態では、運転者または運転者ではない乗員が何らかの集中を要するタスクを行っていると判定される場合には第１の対話プログラムを用い、集中を要するタスクを行っていないと判定される場合には第２の対話プログラムを用いて対話を行うものである。

【0101】

また、例えば、本明細書では、本発明に係るコントローラを、コントローラ１９０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係るセンサを、センサ群１１０、周囲検出装置１２０、ナビゲーション装置１３０、外部情報取得装置１４０、駆動装置１５０を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る記憶装置を、ＲＯＭ又はデータベースを例に説明するが、本発明はこれに限定されるものではない。また、例えば、本発明に係る音声装置を、室内マイク１７０、スピーカ１８０を例に説明するが、本発明はこれに限定されるものではない。

【符号の説明】

【0102】

１００…車両
１１０…センサ群
１１１…車速センサ
１１２…エンジン回転数センサ
１１３…アクセル開度センサ
１１４…ブレーキ開度センサ
１１５…操舵角センサ
１１６…シフトレバーセンサ
１２０…周囲検出装置
１２１…車載カメラ
１２２…レーダー
１３０…ナビゲーション装置
１３１…ＧＰＳ
１４０…外部情報取得装置
１５０…駆動装置
１６０…室内カメラ
１７０…室内マイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】