特許 7533783 対話サービス装置及び対話システム制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-05

(45)【発行日】2024-08-14

(54)【発明の名称】対話サービス装置及び対話システム制御方法

(51)【国際特許分類】

   B60R 16/02 20060101AFI20240806BHJP

   G01C 21/36 20060101ALI20240806BHJP

   G10L 15/00 20130101ALI20240806BHJP

   G10L 15/32 20130101ALI20240806BHJP

【ＦＩ】

B60R16/02 655A

G01C21/36

G10L15/00 200J

G10L15/32 220Z

【請求項の数】 13

(21)【出願番号】P 2023525292

(86)(22)【出願日】2021-06-03

(86)【国際出願番号】 JP2021021236

(87)【国際公開番号】W WO2022254669

(87)【国際公開日】2022-12-08

【審査請求日】2023-11-29

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】弁理士法人とこしえ特許事務所

(72)【発明者】

【氏名】田▲崎▼ 克

(72)【発明者】

【氏名】曽根崎 詠二

(72)【発明者】

【氏名】松本 達矢

【審査官】菅 和幸

(56)【参考文献】

【文献】特開２０２０－１４７２１４（ＪＰ，Ａ）

【文献】特開２０２０－１０６９９７（ＪＰ，Ａ）

【文献】特開２０２０－１５２２９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １６／０２

Ｇ０１Ｃ ２１／３６

Ｇ１０Ｌ １５／００

Ｇ１０Ｌ １５／３２

(57)【特許請求の範囲】

【請求項1】

車両の乗員の音声を認識して、サービスを提供する対話サービス装置であって、
前記乗員の音声を認識する機能を有し、前記乗員と対話して前記サービスを提供する対話システムを制御する対話システム制御部と、
前記対話システムを起動させる起動部を備え、
前記対話システムは、
車内通信経路を通じて制御指令を車載機器に出力し、第１音声認識エンジンを有する第１対話システムと、前記第１音声認識エンジンとは異なる第２音声認識エンジンを有する第２対話システムを含み、
前記起動部は、
前記車両のハンドルスイッチの操作により前記対話システムに起動指令を出力する第１インターフェイスと、前記乗員により発せられるウェイクアップワードにより前記対話システムに起動指令を出力する第２インターフェイスを有し、
前記第１インターフェイスは、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記第２インターフェイスは、前記第１対話システムに前記起動指令を送信し、
前記ウェイクアップワードが前記第１対話システムの起動に割り当てられている場合には、前記第２対話システムはウェイクアップワードで起動できず、
前記ハンドルスイッチにより起動させる対話システムは、ユーザ設定により前記第１対話システム及び前記第２対話システムから排他的に選択可能であり、
前記ウェイクアップワードにより起動させる対話システムは、第１対話システムに固定化されている対話サービス装置。

【請求項2】

車両の乗員の音声を認識して、サービスを提供する対話サービス装置であって、
前記乗員の音声を認識する機能を有し、前記乗員と対話して前記サービスを提供する対話システムを制御する対話システム制御部と、
前記対話システムを起動させる起動部と、
車外と通信可能な通信部を備え、
前記対話システムは、
車内通信経路を通じて制御指令を車載機器に出力し、第１音声認識エンジンを有する第１対話システムと、前記第１音声認識エンジンとは異なる第２音声認識エンジンを有する第２対話システムを含み、
前記起動部は、
前記車両のハンドルスイッチの操作により前記対話システムに起動指令を出力する第１インターフェイスと、前記乗員により発せられるウェイクアップワードにより前記対話システムに起動指令を出力する第２インターフェイスを有し、
前記第１インターフェイスは、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記第２インターフェイスは、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記ウェイクアップワードが前記第１対話システムの起動に割り当てられている場合には、前記第２対話システムはウェイクアップワードで起動できず、
前記第１対話システムは、前記通信部と前記対話システムとの間を接続する通信経路以外の前記車内通信経路を通じて前記制御指令を前記車載機器に出力し、
前記第２対話システムは、前記通信部と前記対話システムとの間を接続する前記通信経路以外の前記車内通信経路を通じて前記制御指令を前記車載機器に出力せず、
初期設定では、前記ウェイクアップワードは前記第１対話システムの起動に割り当てられている対話サービス装置。

【請求項3】

車両の乗員の音声を認識して、サービスを提供する対話サービス装置であって、
前記乗員の音声を認識する機能を有し、前記乗員と対話して前記サービスを提供する対話システムを制御する対話システム制御部と、
前記対話システムを起動させる起動部と、
車外と通信可能な通信部を備え、
前記対話システムは、
車内通信経路を通じて制御指令を車載機器に出力し、第１音声認識エンジンを有する第１対話システムと、前記第１音声認識エンジンとは異なる第２音声認識エンジンを有する第２対話システムを含み、
前記起動部は、
前記車両のハンドルスイッチの操作により前記対話システムに起動指令を出力する第１インターフェイスと、前記乗員により発せられるウェイクアップワードにより前記対話システムに起動指令を出力する第２インターフェイスを有し、
前記第１インターフェイスは、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記第２インターフェイスは、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記ウェイクアップワードが前記第１対話システムの起動に割り当てられている場合には、前記第２対話システムはウェイクアップワードで起動できず、
前記第１対話システムは、前記通信部と前記対話システムとの間を接続する通信経路以外の前記車内通信経路を通じて前記制御指令を前記車載機器に出力し、
前記第２対話システムは、前記通信部と前記対話システムとの間を接続する前記通信経路以外の前記車内通信経路を通じて前記制御指令を前記車載機器に出力せず、
前記第１インターフェイス及び前記第２インターフェイスによる起動指令の送信先は、前記第１対話システムを用いた対話により変更できる対話サービス装置。

【請求項4】

請求項１～３のいずれか一項に記載の対話サービス装置であって、
前記第１音声認識エンジンは、前記車両に設けられ、
前記第２音声認識エンジンは、前記車両の外部に設けられている対話サービス装置。

【請求項5】

請求項１～４のいずれか一項に記載の対話サービス装置であって、
前記第１インターフェイスは、前記第１対話システムに前記起動指令を送信する対話サービス装置。

【請求項6】

請求項１又は３に記載の対話サービス装置であって、
前記起動部は、前記乗員の操作に基づき、前記起動指令の送信先を、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに設定し、
初期設定では、前記第２対話システムが前記起動指令の送信先に設定されている対話サービス装置。

【請求項7】

請求項１又は３に記載の対話サービス装置であって、
前記起動部は、前記乗員の操作に基づき、前記起動指令の送信先を、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに設定し、
初期設定では、前記第１対話システムが前記起動指令の送信先に設定されている対話サービス装置。

【請求項8】

請求項１～３のいずれか一項に記載の対話サービス装置であって、
前記起動部は、前記乗員の操作に基づき、前記第１インターフェイスによる前記起動指令の送信先を、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに設定する対話サービス装置。

【請求項9】

請求項２に記載の対話サービス装置であって、
前記起動部は、前記対話システム制御部により認識された前記音声に基づき、前記第１インターフェイスによる前記起動指令の送信先を前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに設定する対話サービス装置。

【請求項10】

請求項１～９のいずれか一項に記載の対話サービス装置であって、
前記対話システム制御部は、前記起動指令の送信先が変更された場合には、変更内容を前記乗員に音声で出力する対話サービス装置。

【請求項11】

請求項１～９のいずれか一項に記載の対話サービス装置であって、
前記車両に設けられたタッチパネル式ディスプレイの表示画面を制御する表示制御部を備え、
前記表示画面は、前記第１対話システムを起動するためのタッチ操作を有効にする第１アイコンと、前記第２対話システムを起動するためのタッチ操作を有効にする第２アイコンとを含む対話サービス装置。

【請求項12】

請求項１～１１のいずれか一項に記載の対話サービス装置であって、
前記対話システム制御部は、前記車載機器に含まれる空調機器、ウィンドー、バックドア、サンルーフ、スライドドアのいずれか１つを制御するコントロールユニットに対して、前記制御指令を出力する対話サービス装置。

【請求項13】

車両の乗員と音声を認識して、サービスを提供する対話システムを制御する対話システム制御方法であって、
前記車両のハンドルスイッチの操作に基づき、第１インターフェイスから対話システムに起動指令を送信し、
乗員の音声を認識する音声認識処理を行い、
前記音声認識処理により認識されたウェイクアップワードに基づき、第２インターフェイスから前記対話システムに前記起動指令を送信し、
起動された前記対話システムにより、前記乗員と対話して前記サービスを提供し、
前記対話システムは、
車内通信経路を通じて制御指令を車載機器に出力し、第１音声認識エンジンを有する第１対話システムと、前記第１音声認識エンジンとは異なる第２音声認識エンジンを有する第２対話システムを含み、
前記第１インターフェイスから前記起動指令を送信する場合には、前記第１対話システム及び前記第２対話システムのいずれか一方のシステムに前記起動指令を送信し、
前記第２インターフェイスから前記起動指令を送信する場合には、前記第１対話システムに前記起動指令を送信し、
前記ウェイクアップワードが前記第１対話システムの起動に割り当てられている場合には、前記第２対話システムはウェイクアップワードで起動できず、
前記ハンドルスイッチにより起動させる対話システムは、ユーザ設定により前記第１対話システム及び前記第２対話システムから排他的に選択可能であり、
前記ウェイクアップワードにより起動させる対話システムは、第１対話システムに固定化されている対話システム制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話サービス装置及び対話システム制御方法に関するものである。

【背景技術】

【0002】

車両の乗員の発話に応じて、応答を含むサービスを提供するエージェント装置が知られている（例えば特許文献１）。このエージェント装置は、乗員の発話に含まれる要求を認識し、認識された要求を複数のエージェント機能部に出力し、複数のエージェント機能部のそれぞれによってなされた結果に基づいて、複数のエージェント機能部のうち、乗員の発話に対する応答を行うエージェント機能部を選択する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１４４２７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来のエージェント装置において、乗員の音声を認識する音声認識システムを複数用いた場合には、設定したウェイクアップワードで各システムを区別して起動しようとすると、ユーザがウェイクアップワードを使い分ける必要があるため、混同するおそれがある。

【0005】

本発明が解決しようとする課題は、ウェイクアップワードを混同するような事態を回避できる対話サービス装置及び対話システム制御方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、車両のハンドルスイッチの操作により対話システムに起動指令を出力する第１インターフェイスと、乗員により発せられるウェイクアップワードにより対話システムに起動指令を出力する第２インターフェイスを有し、第１インターフェイスは、対話システムに含まれる、第１対話システム及び第２対話システムのいずれか一方のシステムに起動指令を送信し、第２インターフェイスは、第１対話システム及び第２対話システムのいずれか一方のシステムに起動指令を送信することによって、上記課題を解決する。

【発明の効果】

【0007】

本発明によれば、ウェイクアップワードを混同するような事態を回避できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施の形態に係る対話サービスシステムを示すブロック図である。

【図2】図２は、図１のディスプレイを備えたダッシュボードの正面図である。

【図3A】図３Ａは、ハンドルスイッチの操作及びウェイクアップワードと、対話システムの起動の切り替えとの関係を説明するための表である。

【図3B】図３Ｂは、変形例における、ハンドルスイッチの操作及びウェイクアップワードと、対話システムの起動の切り替えとの関係を説明するための表である。

【図4】図４は、図１のディスプレイの表示画面を示す図である。

【図5】図５は、図１のディスプレイの表示画面を示す図である。

【図6】図６は、図１のディスプレイの表示画面を示す図である。

【図7】図７は、図１のディスプレイの表示画面を示す図である。

【図8】図８は、図１のディスプレイの表示画面を示す図である。

【図9】図９は、アニメーション「音声検知状態」の時間推移を説明するためのアニメーション画像とグラフである。

【図10】図１０は、アニメーションの時間推移を説明するためのアニメーション画像とグラフである。

【図11】図１１は、アニメーションの画像構成と、画面遷移時時の選択されるインデックスを説明するための概念図である。

【図12】図１２は、図１のディスプレイの表示画面を示す図である。

【図13】図１３は、図１のディスプレイの表示画面を示す図である。

【図14】図１４は、図１のディスプレイの表示画面を示す図である。

【図15】図１５は、図１のディスプレイの表示画面を示す図である。

【図16】図１６は、図１のディスプレイの表示画面を示す図である。

【図17】図１７は、図１のディスプレイの表示画面を示す図である。

【図18】図１８は、図１のディスプレイの表示画面を示す図である。

【図19】図１９は、図１の対話システムにおける対話のモデルフローを表す表である。

【図20】図２０は、図１の対話システムにおける対話のモデルフローを表す表である。

【図21】図２１は、図１のディスプレイの表示画面を示す図である。

【図22】図２２は、図１の対話システムにおける対話のモデルフローを表す表である。

【図23】図２３は、図１の対話システムにおける対話のモデルフローを表す表である。

【図24】図２４は、図１の対話システムにおける対話のモデルフローを表す表である。

【図25】図２５は、図１の対話システムにおける対話のモデルフローを表す表である。

【発明を実施するための形態】

【0009】

以下、本発明に係る対話サービスシステムの一実施の形態を図面に基づいて説明する。図１は、本発明の一実施の形態に係る対話サービスシステムを示すブロック図である。対話サービスシステムは、車両に搭載されたシステムであって、ディスプレイ１０と、通信機２０と、ハンドルスイッチ３０と、ＥＣＵ４０と、コントローラ１００を備えている。本実施形態に係る対話サービスシステムは、音声処理機能を用いて乗員と対話して、乗員にサービスを提供するシステムと、ディスプレイの表示画面を制御するシステムを含んでいる。

【0010】

ディスプレイ１０は、タッチパネル式のディスプレイであり、車両に搭載されている。タッチパネル式のディスプレイ１０は、感圧センサを備え、接触操作時にディスプレイ１０に与えられた押圧力を抵抗値や電圧などから測定することで、ユーザによるタッチ操作を検知する。感圧センサの機構は特に限定されず、出願時に知られた方法を適宜に用いることができる。またタッチパネルは、感圧式に限らず、静電式等、他の方式でもよい。図２は、タッチパネルを備えたダッシュボード付近の正面図である。図２に示すように、ディスプレイ１０は、ダッシュボードの正面部分のディスプレイ（センタディスプレイ）であり、運転席と助手席の間に配置されている。ディスプレイ１０は、運転席に座った状態の乗員と助手席に座った状態の乗員がそれぞれ触れることができる位置に設けられている。また、ディスプレイ１０は、必ずしもドライバーと助手席乗員の両乗員が触れる位置に配置する必要は無く、例えばドライバーのみが触れることが可能な位置に配置されてもよい。またディスプレイ１０は、ダッシュボードに限らず、例えば後部座席の乗員が触れる位置に配置されてもよい。

【0011】

乗員は指又は指に代わる操作機器により、ディスプレイ１０に触れるタッチ操作により、メニュー画面からアイコン、ボタン等を選択すると、ディスプレイ１０の画面表示が遷移する。なお、以下の説明では、主に指を使ったタッチ操作について説明するが、本実施形態は指の代わりに操作機器を使ったタッチ操作でもよい。タッチ操作は、ディスプレイ１０に表示されるアイコンやボタンに指を触れる、又は、アイコンやボタンに指を近づけるような、指を使ったジェスチャにより実行されるポインティング操作である。タッチ操作は、タップ（画面を１回タッチする）、ダブルタップ（画面を２回タッチする）、ロングタップ（画面を長押しする）、スワイプ（画面に触れた指を画面上でそのままスライドさせる（指をなぞる））、フリック（画面に触れた指を、画面上で素早く弾くように動かす）、ピンチイン／ピンチアウト（２本の指で画面に触れて、２本の指を近づける／遠ざける）等である。タッチ操作は、画面上の１点又は複数点に指を触れる第１ジェスチャに限らず、画面に触れた状態で指の接触点を移動させる第２ジェスチャを含んでいてもよい。また、タッチ操作は、表示画面に直接触れなくてもよく、指等を表示画面に近づける、いわゆるホバリングでもよい。なお、タッチ操作の操作方法は、これらに限らず他の方法でもよい。

【0012】

通信機２０は、車外のサーバ２と通信可能な通信装置である。通信機２０は、コントローラ１００とサーバ２との間で信号を送受信する。ハンドルスイッチ（ステアリングスイッチ）３０は、対話システムを立ち上げる（起動する）ためのスイッチであり、図２に示すようにハンドルに設けられている。乗員（ドライバー）は、対話システムによりサービスの提供を受けたい場合には、ハンドルスイッチ３０を操作して、対話システムを起動させる。後述するように、対話システムは、車両１に設けられた音声認識エンジンを主に用いて音声処理を行い、サービスを提供する第１対話システム１１２と、サーバ２に含まれる音声認識エンジンを主に用いて音声処理を行い、サーバ２から乗員に対してサービスを提供する第２対話システム３２を含んでいる。そして、ハンドルスイッチ３０には、どちらの一方の対話システムを起動させるか割り当てられており、ハンドルスイッチ３０の操作により、第１対話システム及び第２対話システムのいずれか一方のシステムが起動する。なお、通信機２０が本発明の「通信部」に相当する。

【0013】

ＥＣＵ４０は、空調機器４１、サンルーフ４２等の制御対象を制御するコントロールユニットであって、ＣＡＮ通信網で制御対象及びコントローラ１００を制御する。ＥＣＵ４０は、１つに限らず、多数のコントロールユニットであり、制御対象ごとにＥＣＵ４０が接続されている。

【0014】

コントローラ１００は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したメモリと、このメモリに格納されたプログラムを実行するＣＰＵ等を有している。また、コントローラ１００は、機能ブロックとして、対話システム制御部１１０、起動部１２０、及び表示制御部１３０を有しており、対話システム制御部１１０、起動部１２０、及び表示制御部１３０の各機能を実現するためのプログラムがメモリに記憶されている。そして、コントローラ１００に含まれるコンピュータがプログラムを実行することで、機能ブロックの各機能を実現する。またコントローラ１００は、ディスプレイ１０、通信機２０、ハンドルスイッチ３０、及びＥＣＵ４０とＣＡＮ通信網等で接続されている。コントローラ１００は、対話システム制御部１１０、起動部１２０、及び表示制御部１３０に限らず、例えばオーディオシステムを制御する機能等、車室内の各種システムを制御するための制御ブロックを有しており、他の車載機器を制御する。なお、コントローラ１００を有する装置が、本発明の「対話サービス装置」に相当する。

【0015】

対話システム制御部１１０は、乗員の音声を認識する機能を有し、対話システムを制御する。対話システム制御部１１０は、音声認識部１１１と、第１対話システム１１２を有している。音声認識部１１１は、乗員の音声入力を検知し、第１対話システム１１２に含まれる音声認識エンジンを用いて、検知された音声に対する音声処理により音声を認識する。第１対話システム１１２が起動されている状態で、乗員は、車内のマイクに対して声を発すると、音声認識部１１は入力された音声を検知する。音声検知は、音声入力が始まり、音声入力が終わってから所定時間経過するまで実行される。例えば、乗員が、「エアコン（エアーコンディショナー）の温度を２５℃に設定」のようなメッセージを発生した場合には、音声認識部１１が、メッセージの初めから終わりまでの音声を検知し、メッセージの終わりから所定時間の無音期間を経て、音声検知を終了する。音声認識部１１は、検知した音声に対して、音声認識エンジンを用いて音声処理を行うことで音声を認識する。

【0016】

また音声認識部１１１は、対話システムを起動させるためのウェイクアップワードを認識した場合には、後述する第２インターフェイス１２２に、ウェイクアップワードを認識したことを示す制御信号を出力する。ウェイクアップワードは、例えば「Ｈｅｌｌｏ ○○（車メーカの名称、対話システムの相性等）」のような呼びかけメッセージであり、予め決められている。なお、ウェイクアップワードは乗員の設定により変更されてもよい。

【0017】

第１対話システム１１２は、車載用音声処理システムであり、主に車載機器との連携を目的としており、音声認識エンジンを利用して、乗員とコントローラ１００間で対話を行い、対話内容に応じたサービスを乗員に提供する。第１対話システム１１２は、空調機器４１、サンルーフ４２、ナビゲーションシステム、オーディオシステム、ハンズフリーシステム等の車載機器を連携するためにＥＣＵ４０に接続されている。第１対話システム１１２は、各種ＥＣＵと通信を行うための通信機能を搭載している。例えば、乗員が、空調機器４１の温度設定を変更する旨を対話システムに発話した場合には、音声認識部１１１が音声処理を行い、音声認識部１１１で認識された音声データに基づき、制御対象となる空調機器４１を特定した上で、制御指令を生成し、車内通信経路（ＣＡＮ通信網）を通じてＥＣＵ４０に制御指令を出力する。なお、第１対話システム１１２からＥＣＵ４０を介して空調機器４１等の車載機器に制御信号を送る場合に、制御信号が通る車内通信経路は、コントローラ１００と通信機２０間を接続する通信経路は含まれない。ＥＣＵ４０は、制御指令に応じて空調機器４１を制御し、空調機器４１の設定温度を変更する。これにより、第１対話システム１１２は対話を通じて乗員にサービスを提供する。第１対話システム１１２で提供されるサービスは、空調機器４１の設定に限らず、空調機器４１の風向調整、風量調整等でもよい。また他のサービスの例では、ナビゲーションシステムによる経路案内、オーディオシステムの設定、ハンズフリーシステムによる電話操作や電話番号検索、ショートメッセージサービス（ＳＭＳ）、サンルーフ４２、ウィンドー、バックドア、スライドドアなどの開閉操作等の車載機器の操作等である。

【0018】

一方、サーバ２に含まれる第２対話システム３２は、外部の音声認識エンジンを用いて、音声処理を行うシステムであり、車両１がサーバ２に接続し外部の情報にアクセスして、サービスを乗員に提供する。第２対話システム３２で提供されるサービスは、インターネットを利用したショッピング、自宅の家電機器の遠隔操作等、多種多様なサービスである。第２対話システム３２は、第１対話システム１１２と異なり、車載機器との連携を目的としていていない。また、第１対話システム１１２と第２対話システム３２の違いについて、第１対話システムと第２対話システムは別々の対話システムであり、第１対話システムは、車内通信経路を通じて制御指令を車載機器し、音声認識エンジン（本発明の「第１音声認識エンジン」に相当）を有しており、第２対話システムは、第１対話システムに含まれる音声認識エンジンとは異なる音声認識エンジン（本発明の「第２音声認識エンジン」に相当）を有している。また、別の観点で、第１対話システム１１２と第２対話システム３２の違いは、第１対話システム１１２は車内通信経路を通じて制御指令を車載機器に入力又は出力するが、第２対話システム３２は、車内通信経路を通じて制御指令を、通信機２０以外の車載機器に入力及び出力しないシステムとしてもよい。さらに別の観点として、第１対話システム１１２と第２対話システム３２の違いは、第１対話システムは、通信機２０と第１対話システム１１２との間を接続する通信経路以外の車内通信経路を通じて制御指令を前記車載機器に出力し、通信機２０と第１対話システム１１２との間を接続する通信経路以外の車内通信経路を通じて制御指令を出力しないシステムでもよい。

【0019】

音声認識部１１１は、第２対話システム３２を用いて乗員と対話を行う場合には、乗員の音声入力を検知し、検知した音声データを、通信機２０を介してサーバ２に送信する。サーバ２の第２対話システム３２は、入力され音声データに対して音声処理を行い、処理結果を車両１に送信する。音声認識部１１１は、車載スピーカからの音声出力又はディスプレイ１０の表示画面で、第２対話システム３２による処理結果を出力する。

【0020】

第１対話システム１１２は、車内のＥＣＵ４０に限らず、車両外部のサーバ２と接続してもよい。例えば、第１対話システム１１２は、車外のサーバ２と接続して、車外の音声認識エンジンを用いて、音声認識処理を行ってもよい。例えば、店舗の名称などの情報は数多くあるため、車載の音声認識エンジンよりも車外の音声認識エンジンを用いた方がよい場合がある。このような場合には、第１対話システム１１２は、車外の音声認識エンジンを用いて、音声認識処理を行う。

【0021】

起動部１２０は、第１対話システム１１２と第２対話システム３２を起動させるための機能ブロックであり、第１インターフェイス１２１及び第２インターフェイス１２２を有している。第１インターフェイス１２１は、ハンドルスイッチ３０の操作により対話システムに起動指令を送信する、つまり、第１インターフェイス１２１は、ハンドルスイッチ３０と第１対話システム１１２の間と、ハンドルスイッチ３０と第２対話システム３２の間をそれぞれ接続する接続部となる。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２の両方に、同時に制御指令を送信することはない。第１インターフェイス１２１による制御指令の送信先は、乗員の設定、及び／又は工場出荷時の初期設定で決められる。ハンドルスイッチ３０が第１対話システム１１２の起動に割り当てられている場合には、第１インターフェイス１２１は、ハンドルスイッチ３０の操作による操作指令を受信したときに、第１対話システム１１２に起動指令を送信する。ハンドルスイッチ３０が第２対話システム３２の起動に割り当てられている場合には、第２インターフェイス１２２は、第２対話システム３２に起動指令を送信する。なお、第２対話システム３２の起動指令は、車両１とサーバ２との間の通信可能な状態にして、車両１に対して、サーバ２の対話システムを利用できる状態にするための指令である。

【0022】

第２インターフェイス１２２は、ウェイクアップワードにより対話システムに起動指令を送信する。第２インターフェイス１２２は、音声認識部１１１と対話システムの間の接続部である。第２インターフェイス１２２は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２の両方に対して、同時に制御指令を送信することはない。図１の例では、第２インターフェイス１２２は、第１対話システム１１２に起動指令を送信する。第２インターフェイス１２２による制御指令の送信先は、工場出荷時の初期設定で決められる。図１の例では、ウェイクアップワードは第１対話システム１１２の起動に割り当てられているため、第２インターフェイス１２２は、音声認識部１１１によりウェイクアップワードを認識した場合には、第１対話システム１１２に起動指令を送信する。つまり、第１対話システム１１２に含まれる音声認識エンジンは、少なくともウェイクアップワードを認識できる状態で待機しており、第２インターフェイス１２２は、音声認識部１１１によりウェイクアップワードを認識した場合には、第１対話システム１１２に起動指令を送信し、第１対話システム１１２は、ウェイクアップワード以外の様々なワードが認識できるように、音声認識エンジンを立ち上げる。なお、ウェイクアップワードが第２対話システム３２の起動に割り当てられている場合、第２インターフェイス１２２は、第２対話システム３２に起動指令を送信する。

【0023】

また、起動部１２０は、乗員の操作に基づき起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定する。起動指令の送信先を設定するための乗員の操作は、ディスプレイ１０のタッチ操作、ハンドルスイッチ３０以外のスイッチ操作などである。例えば、ディスプレイ１０のタッチ操作の例では、コントローラ１００は、ディスプレイ１０に、対話システムの設定画面を表示し、乗員は、表示された設定画面から、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを選択するための選択メニューにタッチし、選択メニュー上で利用したい対話システムを選択する。起動部１２０は、ディスプレイ１０のタッチ操作により選択された対話システムに起動信号を送信するために、第１インターフェイス１２１の起動信号の送信先を設定する。例えば、乗員が、ディスプレイ１０のタッチ操作で、ハンドルスイッチ３０の操作時に起動させる対象システムを第１対話システム１１２から第２対話システム３２に変更した場合には、起動部１２０は、第１インターフェイス１２１による起動信号の送信先を、第２対話システム３２に設定する。これにより、乗員は、好みに応じて、ハンドルスイッチ３０の操作時に起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。

【0024】

また、対話システムを用いた乗員との対話により、対話システムの設定を変えることができる場合には、起動部１２０は、対話システム制御部１１０により認識された音声に基づき、第１インターフェイス１２１による起動指令の送信先を第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定してもよい。例えば、乗員が第１対話システム１１２により、コントローラ１００と対話している状態で、乗員がハンドルスイッチ３０の割り当てを、第１対話システム１１２から第２対話システム３２に変更したい旨を発したとする。対話システム制御部１１０は、乗員の音声を認識し、起動部１２０に対して、ハンドルスイッチ３０を第２対話システム３２の起動に割り当てための制御指令を送信する。起動部１２０は、制御指令に基づき、第１インターフェイス１２１による起動信号の送信先を、第２対話システム３２に設定する。これにより、乗員は、対話しシステムを利用した対話で、ハンドルスイッチ３０の操作時に起動させる対象システムを、第１対話システム１１２及び第２対話システム３２か選択できる。

【0025】

本実施形態では、ハンドルスイッチ３０の操作により起動できる対話システムは、乗員により、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを選択できるようにしたが、ウェイクアップワードにより起動できる対話システムは、第１対話システム１１２に固定化されている。第１対話システム１１２は、主に車載機器との連携を目的としているため、第２対話システム３２よりも利用頻度が高い。そのため、ウェイクアップワードによる起動を第１対話システム１１２に固定化することで、乗員の利便性を高めることができる。また、ハンドルスイッチ３０の割り当ては乗員により選択できるようにしているため、対話システムの選択自由度も確保できる。

【0026】

図３Ａは、第１／第２対話システムの起動を切り替えることができるか否かを説明するための表である。図３Ａに示すように、本実施形態に係る対話サービスシステムでは、「ウェイクアップワード」は、第１対話システム１１２を起動でき、第２対話システム３２を起動できない。「ハンドルスイッチ」は、ユーザの設定により、第１対話システム１１２と第２対話システム３２のいずれか一方のシステムを起動できる。つまり、ハンドルスイッチ３０による対話システムの起動は、排他的に選択可能である。なお、ハンドルスイッチ３０が第１対話システム１１２に割り当てられている場合には、第２対話システム３２は、ハンドルスイッチ３０の操作及びウェイクアップワードにより起動できないが、第２対話システム３２は、例えばディスプレイ１０に表示されるメニュー画面上での選択、又は、ハンドルスイッチ３０以外のスイッチ操作により起動可能である。

【0027】

図３Ｂは、本実施形態の変形例に係る対話サービスシステムにおいて、第１／第２対話システムの起動との相関性を説明するための表です。変形例に係る対話サービスシステムにおいて、ウェイクアップワードにより起動できる対話システムは、ユーザ設定により排他的に選択可能である。起動部１２０は、ウェイクアップワードを認識した時の起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定する。乗員は、ディスプレイ１０のタッチ操作、ハンドルスイッチ３０以外のスイッチ操作、対話システムを用いたコントローラ１００との対話により、起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。これにより、ウェイクアップワードを発した時に、複数の対話システムが立ち上がる事態を回避し、ユーザの好みに応じて、ハンドルスイッチ３０の操作時に起動させる対話システムを、第１対話システム１１２及び第２対話システム３２から選択できる。

【0028】

また、対話システムには、システムの起動に関する独自規格を有する場合がある。独自規格は、「特定の対話システムを起動できる状態の時には、他の対話システムはオフ状態（無効化状態）にしなければならない」等である。このような規格をもつ対話システムを第１対話システム１１２に用いた場合には、本実施形態にように、ユーザ設定によりハンドルスイッチ３０の割り当てを変更可能とし、または排他的に対話システムを選択できるようにすればよい。また、ウェイクアップワードによる対話システムの起動を、ユーザ設定により変更可能にする場合には、変形例のように、ユーザ設定によりウェイクアップワードによる起動の割り当てを変更可能とし、または排他的に対話システムを選択できるようにすればよい。すなわち、第１対話システムの規格により、第１対話システム１１２と第２対話システム３２は排他的に起動させる必要がある。そのため、本実施形態のように、ハンドルスイッチ３０の割り当て及びウェイクアップワードによる起動の割り当てを、ユーザ設定で変更可能にすることで、対話システムの規格を遵守しつつ、対話システムの選択の自由度も確保できる。

【0029】

なお本実施形態において、乗員の操作又は対話システムを用いた乗員との対話により、第１インターフェイス１２１及び／又は第２インターフェイス１２２による起動指令の送信先が変更された場合には、対話システム制御部１１０は、変更内容を乗員に音声で出力してもよい。

【0030】

表示制御部１３０は、ディスプレイ１０の表示画面を制御する。また表示制御部１３０は、ディスプレイによりタッチ操作を検知した場合には、表示画面上におけるタッチ操作の位置やタッチ操作の種類に応じた操作指令を受け入れる。表示制御部１３０は、対話システムを操作するための操作画面、対話システムの設定画面、対話システムから提供される情報を表示する画面等をディスプレイ１０に表示させる。また、表示制御部１３０は、ディスプレイ１０のタッチ操作により受け入れた操作指令を、対話システム制御部１１０及び起動部１２０に出力する。

【0031】

対話システム制御部１１０による対話システムの制御と、表示制御部１３０による表示画面の制御は、アプリケーション（ソフトウェア）で関連付けられている。対話システム制御部１１０による対話システムの動作状態はディスプレイ１０に表示される。また対話システムによる対話に応じて、表示制御部１３０はディスプレイ１０の表示画面を制御する。乗客が、対話システムを通じてコントローラ１００と対話を進めると、対話システム制御部１１０は、対話の内容に応じた制御指令を表示制御部１３０に送信し、表示制御部１３０は制御指令に応じてディスプレイ１０の表示画面を遷移させる。

【0032】

次に、図４を参照し、コントローラ１００の制御方法と、ディスプレイ１０の表示画面について説明する。図４は、ディスプレイ１０の表示画面であって、対話サービスシステムを含めた全体システムのトップ画面を示す。

【0033】

乗員がディスプレイ１０のメインスイッチをオンにすると、表示制御部１３０はディスプレイ１０にトップ画面を表示する。図４に示すように、トップ画面は、ナビゲーションシステム、音楽、第１対話システム１１２、及び第２対話システム３２を選択するためのメニュー画面である。各メニュー画面には、内容を表すアイコンが含まれており、例えば、第１対話システム１１２のメニュー画像は第１アイコン１０１を含み、第２対話システム３２のメニュー画像は第２アイコン１０２を含む。第１アイコン１０１は、第１対話システム１１２を起動させるためのタッチ操作を有効にするアイコンであり、第２アイコン１０２は、第２対話システム３２を起動させるためのタッチ操作を有効にするアイコンである。乗員が第１アイコン１０１をタッチした場合には、起動部１２０は第１対話システム１１２に起動信号を送信する。乗員が第２アイコン１０２をタッチした場合には、起動部１２０は第２対話システム３２に起動信号を送信する。これにより、ディスプレイ１０のタッチ操作で、第１対話システム１１２と第２対話システム３２を排他的に選択できる。

【0034】

次に、第１対話システム１１２の動作状態に応じて表示される表示画面について説明する。図５～図８は、第１対話システム１１２の各動作状態に対して、ディスプレイ１０に表示される表示画面を表している。図４に示すトップ画面において、乗員が第１アイコン１０１又は第１アイコン１０１の周囲をタッチすると、表示制御部１３０は図５に示す画面を表示させる。第１対話システム１１２の動作状態は、「初期状態」、「音声受付可能状態」、「音声検知状態」、「音声処理状態」の４つの状態がある。初期状態は、起動信号に基づき音声認識エンジンが起動して、音声を検知できる状態になるまでの状態である。音声認識部１１１は、初期状態では、音声処理を行う前の初期化処理を行う。初期化処理が完了すると、第１対話システム１１２の動作状態は、初期状態から、音声受付可能状態になる。音声受付可能状態は、音声を受付可能な状態であり、乗員が声を発していない状態を示している。音声検知状態は、音声を受付可能な状態であり、乗員が声を発し、その声を検知している状態である。つまり、音声検知可能な状態で、声が入力されていない場合には、第１対話システム１１２の動作状態は音声入力受付状態となり、声が入力されている場合には、第１対話システム１１２の動作状態は音声検知状態となる。そして、音声検知状態が終わり所定時間経過すると、第１対話システム１１２の動作状態は、音声処理状態になる。音声処理状態は、音声認識エンジンにより音声処理を行っている状態である。

【0035】

図５～図８の表示画面は、対話システムを通じたサービスにおけるメイン画像を表しており、対話システムの動作状態を示す動作状態画像を含んでいる。動作状態画像は、乗員に対して、対話システムがどのような状態（ステータス）であるかを画像で表したものであり、テキスト、アニメーション、図柄などに相当する。本実施形態では、メインメッセージ５０及び／又はアニメーション７０が、動作状態画像に相当する。

【0036】

図５は、第１対話システム１１２の動作状態が「初期状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図５に示すように、「初期状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０は、第１対話システム１１２から乗員に向けたメッセージであって、乗員に音声入力を促す表記である。乗員はメインメッセージ５０を確認することで、対話システムが起動されたことを確認できる。すなわち、メインメッセージ５０は、対話システムが起動されたことを示す動作状態画像に相当する。サンプルメッセージ６０は、第１対話システム１１２を利用するために、乗員が発すべき音声の例文を表しており、コマンド６１と設定値６２を含んでいる。コマンド６１は、対話システムを通じて乗員が受けたいサービスの動作や状態を表す単語であって、乗員から対話システムに対する操作指令を表す。設定値６２は、サービスの対象を表す語句であって、数値や名称等の名詞で表される。例えば、サンプルメッセージ６０の第２行目のメッセージ「Play station AAA Radio」のうち、「Play」がコマンドを、「station AAA Radio」が設定値を示す。コ
マンド「Play」はオーディオシステムを操作することを示しており、「station AAA Radio」はオーディオシステムで再生する対象（ラジオ局の名称）を示している。なお、サン
プルメッセージ６０は、機能ボタンを兼ねており、例えば乗員が３段目のメッセージ「Enter Number」をタッチした場合には、電話番号を入力するための画面に遷移する。

【0037】

アニメーション７０は、所定の機能におけるステータスを周期的な動きで表した画像である。図５の例では、所定の機能は対話システムにおる音声検知処理機能に相当し、ステータスは対話システムの動作状態に相当する。周期的な動きは、波形の動きで表される。つまり、アニメーション７０には、第１対話システム１１２の４つ動作状態を表すために、４つのアニメーション７１～７４がある。つまり、第１対話システム１１２による音声処理の進み具合を、４つのアニメーション７１～７４で表している。アニメーション７０は、波の形、波の色、波の大きさ等により、アニメーションをみた乗員が見てわかるように動作状態毎に区別されている。そして、コントローラ１００は、乗員の音声入力に応じて、アニメーション７０を動作させることで、音声処理の進み具合をディスプレイ１０の表示画面に表示させる。図５のアニメーション７１は「初期状態」を表している。アニメーション７１は、灰色の波形であり、振幅が小さめの波である。アニメーション７０は、メインメッセージ５０とサンプルメッセージ６０との間の位置に表示される。なお、対話システムの動作状態を示す動作状態画像は、メインメッセージ５０及びアニメーション７０の少なくともいずれか一方の画像を含めばよい。後述する図６～８に示すメイン画面においても、同様に、動作状態画像は、メインメッセージ５０及びアニメーション７０の少なくともいずれか一方の画像を含めばよい。

【0038】

図６は、第１対話システム１１２の動作状態が「音声受付可能状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図６に示すように、「音声受付可能状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５と同様である。図６のアニメーション７２は「音声受付可能状態」を表している。アニメーション７２は青色の波形であり、アニメーション７２の振幅はアニメーション７１の波の振幅よりも大きい。「音声受付可能状態」を表示中に、音声が検知された場合には、ディスプレイ１０の表示画面は図７の画面に切り替わる。「音声受付可能状態」を表示に、音声が検知されない場合には、ディスプレイ１０の表示画面は図６の状態で維持される。

【0039】

図７は、第１対話システム１１２の動作状態が「音声検知状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図７に示すように、「音声検知状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５及び図６と同様である。図７のアニメーション７３は「音声検知状態」を表している。アニメーション７３は青色の波形であり、アニメーション７３の波の振幅はアニメーション７２の波の振幅よりも大きい。アニメーション７３の波の振幅を、アニメーション７２の波の振幅より大きくすることで、乗員は表示画面から、音声が検知されたことを確認できる。

【0040】

なお、表示制御部１３０は、検知した音声の音量の大きさに応じて、アニメーション７３の振幅を変えてもよい。例えば、検知した音声の音量が大きいほど、アニメーション７３の振幅が大きくなるように、表示制御部１３０は、音声入力に応じて、アニメーション７３の振幅を制御する。乗員は、声を発しながら、アニメーション７３の振幅の動きを見ることで、音声認識システムで声が検知されることを表示画面から確認できる。またアニメーション７３は、複数の波を重ねたアニメーションとし、動きに躍動感をもたせてもよい。

【0041】

図８は第１対話システム１１２の動作状態が「音声処理状態」である場合に、ディスプレイ１０に表示される表示画面を示している。図８に示すように、「音声処理状態」の表示画面は、メインメッセージ５０、サンプルメッセージ６０、及びアニメーション７０を含んでいる。メインメッセージ５０及びサンプルメッセージ６０の表示位置、表示画像は図５～図７と同様である。図８のアニメーション７４は「音声処理状態」を表している。アニメーション７４は、赤、白、緑の波形であり、波をエリアに色で分けている。たとえば、ある時間では、アニメーション７４は、図８の紙面上で左から右に、赤、白、緑の順で表示される。そして、波の振幅、色分けされた部分が、時間経過に伴い変化する。アニメーション７４の振幅はアニメーション７３の波の振幅よりも小さい。乗員は、波の色が「青」から「赤・白・緑」に変わったことを見ることで、音声処理が始まったことを表示画面から確認できる。アニメーション７４は、複数の波を重ねたアニメーションとし、動きに躍動感をもたせてもよい。またアニメーション７４に限らず、アニメーション７１～７３も複数の波を重ねたものとしてもよい。

【0042】

また、アニメーション７４に付与された色の数は３色であり、アニメーション７１～７３に付与された色の数よりも多い。これにより、乗員は、アニメーション７０の表示形態から、第１対話システム１１２の動作状態が「音声処理状態」であることと、第１対話システム１１２の動作状態が「音声処理状態」以外の状態であることを、より明確に判別できる。なお、本実施形態では、音声処理機能の動作状態に合わせて、アニメーション４０を４種類にしたが、アニメーションの種類は４種類に限らず、２、３、又は５種類以上でもよい。また、アニメーションで表示される動きは、波に限らず、例えば模様変化や、棒状のグラフの高低の変化等でもよく、少なくとも周期性があればよい。

【0043】

図９は、「音声検知状態」を表すアニメーション７３の時間推移を説明するためのグラフである。アニメーション７３は１周期（２π）で波の形を変える。アニメーション７３で示される波は、周期的な動きの特徴点を含んでいる。特徴点は、波の腹／節の位置、波の頂点の位置、又は、色の変化点等により表される。特徴点は、他のアニメーション７１、７２、７４との間で対応をとるために指標となる点である。図９において、（а）は時間（０）におけるアニメーション７３を表し、（ｂ）、（ｃ）、及び（ｄ）は、時間（π／２、π、３π／２）におけるアニメーション７３を表している。図９の左側は、表示画面に表示される波の画像である。図９の右側は、アニメーション７３の波形に含まれる特徴点の動きを、概念的に表したものである。特徴点の動きは、例えば、波の形状、色、色彩、座標等の変化を波（周期関数）で表し、その波を重ねた定在波により表してもよい。例えば、アニメーション７３を表す波の中心点（位置＝λ）における特徴点は、時間（０、π、２π・・・）でゼロになり、時間（π／２、５π／２、９π／２・・・・）で最大となり、時間（３π／２、７π／２、１１π／２・・・・）で最小となる。つまりアニメーション７３の周期的な動きに合わせて、特徴点も同じ周期で動くことになる。なお、特徴点の変化は、必ずしも乗員が視覚で確認できるような動きや色で表される必要は無く、演算上で算出される点としてもよい。

【0044】

図１０は、周期の中である時点における、アニメーション７１～７４の静止画像と、各アニメーション７１～７４における特徴点の関係性を説明するためのグラフである。図１０において、（а）は、アニメーション７１の静止画像を表しており、（ｂ）～（ｄ）はアニメーション７２～７４の静止画像を表している。（ｅ）はアニメーション７１～７４における特徴点のグラフである。アニメーション７１～７４は、周期における同時刻であっても、波の形状、波の色等は、それぞれのアニメーションに応じて異なっている。アニメーション７１～７４は同一周期である。例えば、時間（π／２）の時の、アニメーション７１の波形とアニメーション７２の波形は異なる色、異なる形状である。その一方で、アニメーション７１～７４の周期的な動きの特徴点は、周期における同時刻であれば同じ波形で表される。

【0045】

次に、アニメーション７１～７４を表示するための画像構成と、ディスプレイ１０の画面遷移について図１１を用いて説明する。図１１は、アニメーション７１～７４を表示するための画像構成と、画面遷移の前後で再生される静止画像を説明するための概念図である。図１１において、第１、第２表示画面は、第１対話システム１１２の各動作状態に応じた表示される表示画面であって、第１表示画面は遷移前の画面を示し、第２表示画面は遷移後の画面を示す。例えば、第１対話システム１１２の動作状態が「初期状態」から「音声受付可能状態」に切り替わり、ディスプレイ１０の表示画面が遷移した場合には、第１表示画面は「初期状態」の表示画面に相当し、第２表示画面は「音声受付可能状態」の表示画面に相当する。

【0046】

アニメーション７１～７４は、複数の静止画像の連続再生により表示される。アニメーション７１～７４を表示する画像は６０枚の静止画像で構成されており、それぞれの画像には０から５９までのインデックスが付与されている。静止画像の枚数は、アニメーション７１～７４毎で同数である。インデックスは静止画像の識別子であり、また再生順序を表している。インデックスは、周期的な動きの特徴点がアニメーション７１～７４に含まれる画像間で対応するように、インデックスが静止画像に付与されている。例えば、図１０の例では、アニメーション７１～７４の静止画像は、周期の中で同時刻の画像を表しているため、同じインデックスが付与される。言い換えると、アニメーション７１～７４間で静止画像を比較した場合に、特徴点が対応している静止画像には同じインデックスが付与されている。

【0047】

表示制御部１３０は、アニメーション７１～７４を表示させる際には、１秒間に３０枚の静止画像を再生させる再生レートで、画像をディスプレイ１０に送る。つまり、１枚あたりの静止画像のタイムスロット（表示間隔）は２０ｍｓｅｃとなる。表示制御部１３０は、インデックスが付与された順番で静止画像の再生を開始する。このように、本実施形態では、複数の静止画像の再生で、アニメーション７１～７４を表示しているため、ＣＰＵの処理負荷を軽減できる。また、第１表示画面から第２表示画面に遷移する画面遷移を実行する場合には、表示制御部１３０は、画面遷移の直前の静止画像である遷移前画像まで表示して、遷移前画像に付与された第１インデックスに対応する第２インデックスを選択する。そして、表示制御部１３０は、選択された第２インデックスから第２静止画像の再生を開始する。

【0048】

図１１の例では、表示制御部１３０は、第１対話システム１１２の「初期状態」をアニメーション７１で表示するために、インデックス「♯０」が付与された静止画像から画像再生を開始する。そして、インデックス「♯９」が付与された静止画像を表示している状態で、第１対話システム１１２の動作状態が「初期状態」から「音声受付可能状態」に遷移したとする。表示制御部１３０は、アニメーション７２を表示するための６０枚の静止画像の中から、遷移前の静止画像に付与されていたインデックスと同じ「♯９」のインデックスを付与した静止画像を選択する。表示制御部１３０は、遷移前静止画像のタイムスロットを経過までは、遷移前の静止画像をディスプレイ１０に表示させて、遷移前静止画像のタイムスロットを経過した時点で、選択されたインデックス「♯９」から、アニメーション７２を表示するための画像再生を開始する。つまり、表示制御部１３０は、画面遷移を実行する場合には、アニメーション７１で表示される周期的な動きの特徴点と、アニメーション７２で表示される周期的な動きの特徴点が連続性を保つように、インデックスを選択し、選択されたインデックスから静止画像の再生を開始する。

【0049】

ところで、第１対話システム１１２の動作状態が変わり、ディスプレイ１０の表示画面が遷移した場合に、画面遷移したタイミングで、最初のインデックス「♯０」から静止画像の再生を行った場合には、波の動きが途中で途切れたような表示になってしまい、アニメーションの動きが途切れたように見えてしまう。つまり、図１１の例では、第１表示画面から第２表示画面に遷るタイミングで、インデックスを引き継がずに、再生順序をリセットすると、遷移前後の静止画像間で特徴点が対応しないため、アニメーションが不自然な演出になってしまう。

【0050】

本実施形態では、周期的な動きの特徴点がアニメーション７１～７４毎に含まれる画像間で対応するようにインデックスを付与して、画面遷移の時には、インデックスを引き継いで静止画像を再生している。これにより、アニメーションの演出方法は変わっても、アニメーションの表示の連続性を保つことができるため、画面遷移の前後でアニメーションを自然な演出にすることができる。また、本実施形態では、画面遷移の時には、遷移前の静止画像をディスプレイ１０に表示させた状態を維持し、遷移前静止画像のタイムスロットを経過した時点で、第２表示画面に切り替える。これにより、アニメーションの連続性を保つことができる。

【0051】

次に、第１対話システム１１２による音声認識処理が正常に完了した後の表示画面について、説明する。図１２は、第１対話システム１１２がＰＯＩに関する音声を認識した後の、ディスプレイ１０の表示画面を表している。例えば、第１対話システム１１２を起動させた後に、ディスプレイ１０が図６の表示画面を表示している状態で、乗員がＰＯＩに関する音声として「Ｃｏｆｆｅｅ Ｓｈｏｐ」と発したとする。音声認識部１１１は、音声「Ｃｏｆｆｅｅ Ｓｈｏｐ」を検知して、音声認識処理を実行する。音声認識処理が正常に完了すると、対話システム制御部１１０は、音声入力されたＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｓｔ）に関するワードから、乗員が現在地に近い「Ｃｏｆｆｅｅ Ｓｈｏｐ」を探していると判断し、ＰＯＩに関する案内画像８０と、現在地周辺の地図９０をディスプレイ１０に表示させるように、表示制御部１３０に制御指令を出力する。図１２に示すように、案内画像８０は、音声認識の結果を表す文字列８１と、ＰＯＩ情報８２を含んでいる。文字列８１は、第１対話システム１１２で認識された音声の文字列である。図１２の例では「Ｃｏｆｆｅｅ Ｓｈｏｐ」が表示される。これにより、乗員は、どのような音声がシステムで認識されたのか確認できる。ＰＯＩ情報８２は、現在地付近のＰＯＩの名称、現在地からの距離など、ＰＯＩに関する情報を示している。

【0052】

文字列８１が表示された図１２の表示画面の状態から、所定時間を経過すると、ディスプレイ１０の表示画面は、図１３の画面に遷る。第１対話システム１１２は、音声「Ｃｏｆｆｅｅ Ｓｈｏｐ」に基づく音声認識処理を終えると、再び音声の受付が可能な状態になる。ディスプレイ１０の表示画面では、「音声受付可能状態」を表すアニメーション７２が文字列８１を表示していた位置に表示される。つまり、乗員は、「Ｃｏｆｆｅｅ Ｓｈｏｐ」の文字列８１が表示された位置に、アニメーション７２の表示をみることで、「Ｃｏｆｆｅｅ Ｓｈｏｐ」の次の音声を発すればよいことを確認できる。

【0053】

乗員は、図１３の表示画面の状態から、例えばＰＯＩ情報８２に含まれる店名等を読み上げると、第１対話システム１１２は乗員の音声を検知する。図１４に示すように、ディスプレイ１０の表示画面は、音声検知に共に、アニメーション７０の表示が「音声検知状態」を表すアニメーション７３となる。その後、音声検知を終えて音声処理状態になると、図１５に示すように、アニメーション７０の表示が「音声処理状態」を表すアニメーション７４となる。これにより、乗員は、ＰＯＩの案内情報や地図情報を見ながら、第１対話システムの処理状況をディスプレイ１０の表示で確認できる。

【0054】

図１４の表示画面の状態から、音声処理が正常に完了しない場合には、第１対話システム１１２は、音声認識に失敗した旨を示す制御信号を表示制御部１３０に出力する。表示制御部１３０は、図１４の表示画面でアニメーション７３の位置に、灰色の波形のアニメーション７１を表示する。これにより、乗員は、音声認識に失敗したことを、ディスプレイ１０の表示で確認できる。なお、音声認識に失敗した場合には、乗員に対して発話を促すために「もう１度音声を入力してください」のような音声を出力してもよい。

【0055】

上記のように、本実施形態において、表示制御部１３０は、第１対話システム１１２のステータスに応じて表示画面を切り替えている。つまり、表示制御部１３０は、図５～図８に示すような、メインメッセージ５０及びサンプルメッセージを表示する画像（本発明の「第１情報表示画像」に相当）含んだ画面と、図１２～図１５に示すような、ＰＯＩに関する情報及び地図情報を表示する画像（本発明の「第２情報表示画像」に相当）を含む画面とを切り替えて、ディスプレイ１０に表示させる。このとき、各表示画面には、アニメーション７０の画像が含まれている。そして、遷移前画面（図５～図８に示す表示画面に相当）と、遷移後画面（図１２～図１５に示す表示画面に相当）とを比較すると、遷移前画像に含まれるアニメーション７０の表示、遷移後画像に含まれるアニメーション７０の表示は、位置と大きさの点で異なっている。これにより、第１対話システム１１２を用いた情報提示と、第１対話システム１１２の動作状態の表示を両立させることができる。

【0056】

次に、第１対話システム１１２の「音声受付可能状態」から、音声処理が正常に完了しない場合の、ディスプレイ１０の表示画面の遷移について説明する。音声処理が正常に完了しない場合とは、「音声受付可能状態」の状態で所定時間経過した場合である。例えば、ディスプレイ１０の表示画面が図６の画面になった後、乗員が発話しない場合には、音声認識部１１１は音声を検知しない。このような状態が所定時間継続した場合には、音声認識部１１１は、音声処理が正常に完了しないと判定する。また、音声処理が正常に完了しない場合には、音声処理に異常が生じた場合も含まれる。音声認識部１１１は、検知した音声に対して音声認識処理を実行する。そして、音声認識部１１１は、入力された音声が解析できない場合や、解析された音声に対して該当するコマンド６１がない場合には、音声処理の異常と判定する。このような音声処理の異常判定の場合も、音声処理が正常に完了しない場合に該当する。

【0057】

上記のとおり、第１対話システム１１２が「音声受付可能状態」である場合に、ディスプレイ１０は、図６に示すような、メイン画面を表示している。そして、音声処理が正常に完了しないと判定した場合には、ディスプレイ１０の表示画面は、図１６に示す画面となる。図１６は、「音声受付可能状態」から、音声処理が正常に完了しない場合の、ディスプレイ１０の表示画面を示している。

【0058】

表示制御部１３０は、音声処理が正常に完了しない場合には、図１６に示すようなカテゴリ画面が表示される。カテゴリ画面は、コマンドをグルーピングしたカテゴリ画像を含んでいる。カテゴリ画像は、複数のコマンドをグルーピングした上で、グループ名をテキストやアイコンで表したものである。カテゴリ画像は、カテゴリの名称２０１及びカテゴリのアイコン２０２を含んでいる。例えば、コマンドの一例として「電話をかける（call
and/or dial）」、「リダイヤル(redial)」、「telephone」等、電話に関する複数のコ
マンドを、１つのカテゴリ「Phone」でグルーピングしている。また、カテゴリの名称２
０１の隣には、カテゴリのアイコン２０２が表示される。コマンド６１のグルーピングは、電話に限らず、ナビゲーションやオーディオなどがあり、グルーピングしたカテゴリの名称及びアイコンがカテゴリ画面に含まれる。また、カテゴリの名称２０１を含む画像及びアイコン２０２は、タッチ操作を有効にする領域を表している。つまり、カテゴリの名称２０１を含む画像及びアイコン２０２は、乗員に対してカテゴリを選択させるためのボタン機能を兼ねている。例えば、乗員が、カテゴリ「Phone」の名称２０１を含む画像、
又は、カテゴリ「Phone」のアイコンをタッチした場合には、表示制御部１３０は、表示
画面を、カテゴリ画面から後述するリスト画面に遷移させる。なお、メイン画面に表示されるカテゴリ画像は、名称２０１及びアイコン２０２の少なくとも一方の画像を含めばよい。

【0059】

カテゴリ画面は、カテゴリの名称２０１及びアイコン２０２の他に、メインメッセージ５０とアニメーション７０を含んでいる。アニメーション７０は、「音声検知状態」を表すアニメーション７２である。音声認識部１１１による音声認識処理は、カテゴリ画面を表示している時も有効に機能しており、乗員は、アニメーション７２の表示から、第１対話システム１１２の動作状態が「音声受付可能状態」であることを確認できる。

【0060】

乗員は、第１対話システムを操作するための音声を把握していない場合に、カテゴリの名称２０１及びアイコン２０２の表示から、対話システムを進めることができる。またノイズ等により音声を正常に処理できない場合でも、ボタン機能を兼ねたカテゴリ画像（アイコン）を表示させることで、乗員は対話システムを操作できる。またボタン機能を兼ねたカテゴリ画像は、利用頻度の高いものが表示されるため、利便性も向上する。さらに、カテゴリ画面はメインメッセージ５０とアニメーション７２を含んでいるため、乗員はコントローラ１００との対話でシステムを進めれることを画面表示から確認できる。

【0061】

なお、乗員によるカテゴリ及び／又はリストの選択は、音声入力でもよく、その他スイッチ操作でもよい。すなわち、コントローラ１００は、カテゴリ画面がディスプレイ１０に表示された状態で、乗員の音声、乗員によるディスプレイ１０のタッチ操作、及び、乗員によるスイッチ操作のいずれか１つに基づき、カテゴリの選択の有無を判定すればよい。

【0062】

カテゴリ画面において、ユーザがカテゴリを選択した場合には、表示制御部１３０は、図１７に示すようなリスト画面をディスプレイ１０に表示させる。図１７は、ディスプレイ１０に表示されるリスト画面を示している。

【0063】

リスト画面は、グルーピングされたコマンドを含んだ画像であって、複数のコマンドを有したリスト３００を含んでいる。リスト３００は、複数の構文３１０を有しており、構文３１０は少なくともコマンド６１を有しており、コマンドの他に、サンプルテキスト３１１を有している。リスト画面は、アニメーション７０を含んでいない。構文３１０は、コマンド６１と設定値６２の組み合わせをテキストで表示したものである。サンプルテキスト３１１は、コマンドに続く、設定値６２の任意テキストを表しており、構文３１０に割り当てられる文字列及び数字列のいずれか一方の情報を示す。例えば、リスト中の最上段の構文は、コマンド「Call」とサンプルテキスト「<Name>」で構成されている。「<Name>」はコマンドの後に、人名や店舗名等の設定値６２が入ることを表している。乗員が、リスト中の構文３１０の表示をタッチした場合には、リスト３００の右側に、サンプルテキスト３１１に入る設定値６２の例が表示される。さらに、乗員が、リスト中の構文３１０の表示をダブルタップ等でタッチすると、図１８に示すようなサンプルテキスト３１１に入る設定リストが表示される。例えば、図１７の表示画面において、リスト中の最上段の構文「Call <Name>」が選択された場合には、図１８に示すような、構文３１０に割り
当てられる文字列及び数字列のいずれか一方の情報が表示される。乗員は、図１８のリスト画面において、番号表示をタッチすることで、コマンド６１と、構文３１０に割り当てられるサンプルを選択できる。図１８の例では、リスト中の最上段の構文「Call <Name>
」が選択された場合に、コントローラ１００は、リスト中のタッチされた番号に電話をかけてもよく、又は、電話をかける旨の通知をディスプレイ１０に表示させてもよい。

【0064】

次に、対話システムにおける対話のモデルフローの例を説明する。図１９、２０、２２～２５は、乗員が発する音声に対して、コントローラ１００が返答する返答メッセージを表している。図１９、２０、２２～２５において、「Customer」は乗員により発せられるメッセージ例を示しており、「INI」は対話システムにより発生されるメッセージ例を示
している。なお、図１９、２０、２２～２５は一例にすぎず、対話システムは他のモデルフローの下でも対話を実行する。

【0065】

図１９は、空調機器４１の温度設定に関する対話のモデルフローである。例えば乗員が「ヘイ ○○」と発した場合に、コントローラ１００は「コマンドを音声入力するか選択して下さい」という日本語メッセージを機械音で発する。図１９のモデルフローは、例えば図６の表示画面がディスプレイ１０に表示されている状態で、図１９の「Customer」の欄に示すメッセージを発することで、対話システムが進み、空調機器４１の設定温度を変更できる。

【0066】

図２０は、ＰＯＩ検索に関する対話のモデルフローである。例えば、乗員がウェイクアップワードを発して正常に音声が処理されると、コントローラ１００はメッセージ「コマンドを音声入力するか選択して下さい」を返答する。次に、乗員は、お店のジャンルなどＰＯＩを特定できるワードを含んだメッセージ「目的地近くのカフェへ行きたい」を発する。コントローラ１００は、このメッセージを認識した後、ナビゲーションシステムを用いて検索を行い、メッセージ「表示されたリストから項目番号を音声入力するか、別のタブを選択してください」と返答する。このときディスプレイ１０には、図２１に示す表示画面が表示される。コントローラ１００は、ＰＯＩに関する案内画像８０をディスプレイ１０に表示させる。コントローラ１００は、地図も併せて表示してもよい。案内画像８０は、「音声受付可能状態」を表すアニメーション７２と、検索結果から得られたＰＯＩ情報８２を含んでいる。ＰＯＩ情報には、項目番号が付与されている。乗員は、項目番号を発することで、ＰＯＩを選択できる。図２１の例で、乗員が「イチ」と発することで、ＰＯＩ「ＡＡＡ」が選択される。コントローラ１００は、乗員が発した音声「イチ」を復唱した上で、次の選択用メッセージ「目的地を変更しますか」等を返答する。

【0067】

図２２は目的地設定に関する対話のモデルフローである。図２３は、音声再生に関する対話のモデルフローである。図２４はＳＭＳ（ショートメッセージ）送信に関する対話のモデルフローである。図２５はＳＭＳ（ショートメッセージ）送受信に関する対話のモデルフローである。

【0068】

上記のように本実施形態において、コントローラ１００は、乗員の音声を認識する機能を有し、乗員と対話してサービスを提供する対話システムを制御する対話システム制御部１１１と、対話システムを起動させる起動部１２０とを備え、起動部１２０は、ハンドルスイッチ３０の操作により対話システムに起動指令を出力する第１インターフェイス１２１と、乗員により発せられるウェイクアップワードにより対話システムに起動指令を出力する第２インターフェイス１２２を有し、第１インターフェイス１２１は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信し、第２インターフェイス１２２は、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。これにより、乗員がウェイクアップワードを混同するような事態を回避できる。

【0069】

また本実施形態において、コントローラ１００で実行され対話システム制御方法は、ハンドルスイッチ３０の操作に基づき、第１インターフェイス１２１から対話システムに起動指令を送信し、乗員の音声を認識する音声認識処理を行い、ウェイクアップワードに基づき第２インターフェイス１２２から対話システムに起動指令を送信し、起動された対話システムにより、乗員と対話して前記サービスを提供する。そして、対話システム制御方法は、第１インターフェイス１２１から起動指令を送信する場合には、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信し、第２インターフェイス１２２から起動指令を送信する場合には、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに起動指令を送信する。これにより、乗員がウェイクアップワードを混同するような事態を回避できる。

【0070】

また本実施形態において、起動部１２０は、乗員の操作に基づき起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定し、初期設定では第２対話システム３２が起動指令の送信先に設定されている。これにより、第２対話サービスを混乱なく起動できる。また、初期設定で、第１インターフェイス１２１及び第２インターフェイス１２２による起動指令の送信先を両方とも、第２対話システム３２にすることで、より第２対話サービスを混乱なく起動できる。

【0071】

また本実施形態において、起動部１２０は、乗員の操作に基づき起動指令の送信先を、第１対話システム１１２及び第２対話システム３２のいずれか一方のシステムに設定し、初期設定では、第１対話システム１１２が起動指令の送信先に設定されている。これにより、重要な第１対話システム１１２を確実に起動できる。また、初期設定で、第１インターフェイス１２１及び第２インターフェイス１２２による起動指令の送信先を両方とも、第１対話システム１１２にすることで、重要な第１対話システム１１２をより確実に起動できる。

【0072】

なお、本実施形態において、通信機２０は、コントローラ１００の一部とし、音声認識部１１１と通信機２０の間の通信経路は、車内通信経路ではなく、音声認識部１１１内の通信経路としてもよい。また、第２対話システム３２は、音声認識エンジン（本発明の「第２音声認識エンジン」に相当）を用いて、音声処理を行ってもよい。

【0073】

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

【符号の説明】

【0074】

１ 車両
２ サーバ
２０ 通信機
３０ ハンドルスイッチ
３２ 第２対話システム
７０ アニメーション
１００ コントローラ
１１０ 対話システム制御部
１１１ 音声認識部
１１２ 第１対話システム
１２０ 起動部
１２１ 第１インターフェイス
１２２ 第２インターフェイス
１３０ 表示制御部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】