特許 7178983 エージェント装置、エージェント方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】エージェント装置、エージェント方法、及びプログラム

(51)【国際特許分類】

   G10L 15/10 20060101AFI20221118BHJP

   G10L 15/00 20130101ALI20221118BHJP

   G10L 13/00 20060101ALI20221118BHJP

   G06F 3/16 20060101ALI20221118BHJP

   G01C 21/36 20060101ALI20221118BHJP

   G10L 15/28 20130101ALI20221118BHJP

【ＦＩ】

G10L15/10 500Z

G10L15/00 200Q

G10L13/00 100H

G06F3/16 630

G06F3/16 650

G01C21/36

G10L15/28 500

【請求項の数】 10

(21)【出願番号】P 2019219255

(22)【出願日】2019-12-04

(65)【公開番号】P2021089360

(43)【公開日】2021-06-10

【審査請求日】2021-11-26

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】石井 幸治

(72)【発明者】

【氏名】暮橋 昌宏

【審査官】堀 洋介

(56)【参考文献】

【文献】国際公開第２０１６／１２０９０４（ＷＯ，Ａ１）

【文献】特開２００８－２６８３４０（ＪＰ，Ａ）

【文献】特開２０１８－０４８９２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １５／００－１５／３４

Ｇ１０Ｌ １３／００－１３／１０

Ｇ０６Ｆ ３／１６

Ｇ０１Ｃ ２１／３６

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

利用者が発話した音声を示すデータを取得する取得部と、
前記取得部により取得された前記データに基づいて、前記利用者の発話内容を認識する音声認識部と、
前記発話内容に含まれる指示を特定する特定部と、
前記特定部により特定された指示に応答する情報を、表示部を含む情報出力装置に出力させる出力制御部と、
前記特定部により複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定する判定部と、
前記判定部により複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加する優先度付加部と、を備え、
前記出力制御部は、前記特定部により複数の前記指示が特定された場合、前記優先度付加部に付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を前記情報出力装置に出力させる、
エージェント装置。

【請求項2】

前記判定部は、同時に実行することが不可能な指示のリスト情報を参照して、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定する、
請求項１に記載のエージェント装置。

【請求項3】

前記出力制御部は、前記判定部により複数の前記指示が同時に実行することが可能であると判定された場合、複数の前記指示に応答する情報を、前記情報出力装置に出力させる、
請求項１または２に記載のエージェント装置。

【請求項4】

利用者が発話した音声を示すデータを取得する取得部と、
前記取得部により取得された前記データに基づいて、前記利用者の発話内容を認識する音声認識部と、
前記発話内容に含まれる指示を特定する特定部と、
前記特定部により特定された指示に応答する情報を、表示部を含む情報出力装置に出力させる出力制御部と、
前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加する優先度付加部と、を備え、
前記出力制御部は、前記特定部により複数の前記指示が特定された場合、前記優先度付加部に付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を前記情報出力装置に出力させる、
エージェント装置。

【請求項5】

前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、複数の前記指示が発話された順序に基づいて、前記優先度を付加する、
請求項１から４のうちいずれか一項に記載のエージェント装置。

【請求項6】

前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、複数の前記指示を接続する接続詞に基づいて、前記優先度を付加する、
請求項１から５のうちいずれか一項に記載のエージェント装置。

【請求項7】

前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、前記発話内容に含まれる前記指示の順序を示す語句に基づいて、前記優先度を付加する、
請求項１から６のうちいずれか一項に記載のエージェント装置。

【請求項8】

前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、前記発話内容に含まれる前記指示のタイミングを示す語句に基づいて、前記優先度を付加する、
請求項１から７のうちいずれか一項に記載のエージェント装置。

【請求項9】

コンピュータが、
利用者が発話した音声を示すデータを取得し、
取得された前記データに基づいて、前記利用者の発話内容を認識し、
前記発話内容に含まれる指示を特定し、
特定された指示に応答する情報を、表示部を含む情報出力装置に出力させ、
複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定し、
複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加し、
複数の前記指示が特定された場合、付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を情報出力装置に出力する、
エージェント方法。

【請求項10】

コンピュータに、
利用者が発話した音声を示すデータを取得させ、
取得された前記データに基づいて、前記利用者の発話内容を認識させ、
前記発話内容に含まれる指示を特定させ、
特定された指示に応答する情報を、表示部を含む情報出力装置に出力させ、
複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定させ、
複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加させ、
複数の前記指示が特定された場合、付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を情報出力装置に出力させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、エージェント装置、エージェント方法、及びプログラムに関する。

【背景技術】

【0002】

近年、操作者が手操作により操作対象の機器に対する指示等を入力することに代えて、操作者が発話し、発話に含まれる指示等を音声認識させることにより、音声により簡便に入力操作をできるようにする技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－１４７１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、操作者は、発話によって複数の指示を行う場合がある。しかしながら、従来の技術では、発話によって複数の指示が行われた場合、どの指示を優先的に実行するかを決定することが困難であった。

【0005】

本発明の態様は、このような事情を考慮してなされたものであり、発話によってされた複数の指示を適切な順序によって実行することができるエージェント装置、エージェント方法、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係るエージェント装置、エージェント方法、及びプログラムは、以下の構成を採用した。
（１）この発明の一態様のエージェント装置は、利用者が発話した音声を示すデータを取得する取得部と、前記取得部により取得された前記データに基づいて、前記利用者の発話内容を認識する音声認識部と、前記発話内容に含まれる指示を特定する特定部と、前記特定部により特定された指示に応答する情報を、表示部を含む情報出力装置に出力させる出力制御部と、前記特定部により複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定する判定部と、前記判定部により複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加する優先度付加部と、を備え、前記出力制御部は、前記特定部により複数の前記指示が特定された場合、前記優先度付加部に付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を前記情報出力装置に出力させるものである。

【0007】

（２）の態様は、上記（１）の態様に係るエージェント装置において、前記判定部は、同時に実行することが不可能な指示のリスト情報を参照して、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定するものである。

【0008】

（３）の態様は、上記（１）または（２）の態様に係るエージェント装置において、前記出力制御部は、前記判定部により複数の前記指示が同時に実行することが可能であると判定された場合、複数の前記指示に応答する情報を、前記情報出力装置に出力させるものである。

【0009】

（４）この発明の他の態様のエージェント装置は、利用者が発話した音声を示すデータを取得する取得部と、前記取得部により取得された前記データに基づいて、前記利用者の発話内容を認識する音声認識部と、前記発話内容に含まれる指示を特定する特定部と、前記特定部により特定された指示に応答する情報を、表示部を含む情報出力装置に出力させる出力制御部と、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加する優先度付加部と、を備え、前記出力制御部は、前記特定部により複数の前記指示が特定された場合、前記優先度付加部に付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を前記情報出力装置に出力させるものである。

【0010】

（５）の態様は、上記（１）から（４）のいずれかの態様に係るエージェント装置において、前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、複数の前記指示が発話された順序に基づいて、前記優先度を付加するものである。

【0011】

（６）の態様は、上記（１）から（５）のいずれかの態様に係るエージェント装置において、前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、複数の前記指示を接続する接続詞に基づいて、前記優先度を付加するものである。

【0012】

（７）の態様は、上記（１）から（６）のいずれかの態様に係るエージェント装置において、前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、前記発話内容に含まれる前記指示の順序を示す語句に基づいて、前記優先度を付加するものである。

【0013】

（８）の態様は、上記（１）から（７）のいずれかの態様に係るエージェント装置において、前記優先度付加部は、前記発話内容に含まれる複数の前記指示が、いずれも前記表示部により表示されている内容に関連しない場合、又はいずれも前記表示部により表示されている内容に関連する場合、前記発話内容に含まれる前記指示のタイミングを示す語句に基づいて、前記優先度を付加するものである。

【0014】

（９）この発明の他の態様のエージェント方法は、コンピュータが、利用者が発話した音声を示すデータを取得し、取得された前記データに基づいて、前記利用者の発話内容を認識し、前記発話内容に含まれる指示を特定し、特定された指示に応答する情報を、表示部を含む情報出力装置に出力させ、複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定し、複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加し、複数の前記指示が特定された場合、付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を情報出力装置に出力するものである。

【0015】

（１０）この発明の他の態様のプログラムは、コンピュータに、利用者が発話した音声を示すデータを取得させ、取得された前記データに基づいて、前記利用者の発話内容を認識させ、前記発話内容に含まれる指示を特定させ、特定された指示に応答する情報を、表示部を含む情報出力装置に出力させ、複数の前記指示が特定された場合、前記特定された複数の前記指示が同時に実行することが可能であるか否かを判定させ、複数の前記指示が同時に実行することが不可能であると判定された場合、前記発話内容に含まれる複数の前記指示に対して、前記表示部により表示されている内容との関連性に基づいて優先度を付加させ、複数の前記指示が特定された場合、付加された前記優先度の高い前記指示から順に、前記指示に応じた情報を情報出力装置に出力させるものである。

【発明の効果】

【0016】

（１）～（１０）の態様によれば、発話によってされた複数の指示を適切な順序によって実行することができる。

【0017】

（２）の態様によれば、より適切な順序によって指示を実行することができる。

【0018】

（５）～（８）の態様によれば、より精度良く実行する指示の順序を決定することができる。

【図面の簡単な説明】

【0019】

【図1】実施形態に係るエージェントシステム１の構成の一例を示す図である。

【図2】実施形態に係るエージェント装置１００の構成の一例を示す図である。

【図3】運転席から見た車室内の一例を示す図である。

【図4】車両Ｍを上から見た車室内の一例を示す図である。

【図5】リスト情報１５４の内容の一例を示す図である。

【図6】実施形態に係るサーバ装置２００の構成の一例を示す図である。

【図7】回答情報２３２の内容の一例を示す図である。

【図8】指示に優先度を付加する場面の一例を示す図である。

【図9】付加された優先度に基づいて、情報出力装置に情報を出力させる場面の一例を示す図である。

【図10】実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。

【図11】実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。

【図12】変形例に係るエージェント装置１００Ａの一例を示す図である。

【発明を実施するための形態】

【0020】

以下、図面を参照し、本発明のエージェント装置、エージェント方法、及びプログラムの実施形態について説明する。

【0021】

＜実施形態＞
［システム構成］
図１は、実施形態に係るエージェントシステム１の構成の一例を示す図である。実施形態に係るエージェントシステム１は、例えば、車両Ｍに搭載されるエージェント装置１００と、車両Ｍ外に存在するサーバ装置２００とを備える。車両Ｍは、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

【0022】

エージェント装置１００とサーバ装置２００とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が含まれる。ネットワークＮＷには、例えば、Ｗｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）等無線通信を利用したネットワークが含まれてよい。

【0023】

エージェントシステム１は、複数のエージェント装置１００および複数のサーバ装置２００により構成されてもよい。以降は、エージェントシステム１が一つのエージェント装置１００と、一つのサーバ装置２００とを備える場合について説明する。

【0024】

エージェント装置１００は、エージェント機能を用いて車両Ｍの乗員からの音声を取得し、取得した音声をサーバ装置２００に送信する。また、エージェント装置１００は、サーバ装置から得られるデータ（以下、エージェントデータ）等に基づいて、乗員と対話したり、画像や映像等の情報を提供したり、車両Ｍに搭載される車載機器ＶＥや他の装置を制御したりする。

【0025】

サーバ装置２００は、車両Ｍに搭載されたエージェント装置１００と通信し、エージェント装置１００から各種データを取得する。サーバ装置２００は、取得したデータに基づいて車両Ｍの乗員に対する応答として適したエージェントデータを生成し、生成したエージェントデータをエージェント装置１００に提供する。

【0026】

［エージェント装置の構成］
図２は、実施形態に係るエージェント装置１００の構成の一例を示す図である。実施形態に係るエージェント装置１００は、例えば、通信部１０２と、マイク（マイクロフォン）１０６と、スピーカ１０８と、表示部１１０と、制御部１２０と、記憶部１５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示すエージェント装置１００の構成はあくまでも一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

【0027】

通信部１０２は、ＮＩＣ（Network Interface controller）等の通信インターフェースを含む。通信部１０２は、ネットワークＮＷを介してサーバ装置２００等と通信する。

【0028】

マイク１０６は、車室内の音声を電気信号化し収音する音声入力装置である。マイク１０６は、収音した音声のデータ（以下、音声データ）を制御部１２０に出力する。例えば、マイク１０６は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク１０６は、マットランプ、ステアリングホイール、インストルメントパネル、またはシートの付近に設置される。マイク１０６は、車室内に複数設置されていてもよい。

【0029】

スピーカ１０８は、例えば、車室内のシート付近または表示部１１０付近に設置される。スピーカ１０８は、制御部１２０により出力される情報に基づいて音声を出力する。

【0030】

表示部１１０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を含む。表示部１１０は、制御部１２０により出力される情報に基づいて画像を表示する。スピーカ１０８と、表示部１１０とを組み合わせたものは、「情報出力装置」の一例である。

【0031】

図３は、運転席から見た車室内の一例を示す図である。図示の例の車室内には、マイク１０６Ａ～１０６Ｃと、スピーカ１０８Ａ～１０８Ｃと、表示部１１０Ａ～１１０Ｃとが設置される。マイク１０６Ａは、例えば、ステアリングホイールに設けられ、主に運転者が発話した音声を収音する。マイク１０６Ｂは、例えば、助手席正面のインストルメントパネル（ダッシュボードまたはガーニッシュ）ＩＰに設けられ、主に助手席の乗員が発話した音声を収音する。マイク１０６Ｃは、例えば、インストルメントパネルの中央（運転席と助手席との間）付近に設置される。

【0032】

スピーカ１０８Ａは、例えば、運転席側のドアの下部に設置され、スピーカ１０８Ｂは、例えば、助手席側のドアの下部に設置され、スピーカ１０８Ｃは、例えば、表示部１１０Ｃの付近、つまり、インストルメントパネルＩＰの中央付近に設置される。

【0033】

表示部１１０Ａは、例えば運転者が車外を視認する際の視線の先に虚像を表示させるＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、例えば、車両Ｍのフロントウインドシールド、或いはコンバイナーと呼ばれる光の透過性を有する透明な部材に光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。

【0034】

表示部１１０Ｂは、運転席（ステアリングホイールに最も近い座席）の正面付近のインストルメントパネルＩＰに設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。表示部１１０Ｂは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｂには、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。

【0035】

表示部１１０Ｃは、インストルメントパネルＩＰの中央付近に設置される。表示部１１０Ｃは、例えば、表示部１１０Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｃは、テレビ番組や映画等のコンテンツを表示する。

【0036】

なお、車両Ｍには、更に、後部座席付近にマイクとスピーカが設けられてよい。図４は、車両Ｍを上から見た車室内の一例を示す図である。車室内には、図３で例示したマイクスピーカに加えて、更に、マイク１０６Ｄ、１０６Ｅと、スピーカ１０８Ｄ、１０８Ｅとが設置されてよい。

【0037】

マイク１０６Ｄは、例えば、助手席ＳＴ２の後方に設置された後部座席ＳＴ３の付近（例えば、助手席ＳＴ２の後面）に設けられ、主に、後部座席ＳＴ３に着座する乗員が発話した音声を収音する。マイク１０６Ｅは、例えば、運転席ＳＴ１の後方に設置された後部座席ＳＴ４の付近（例えば、運転席ＳＴ１の後面）に設けられ、主に、後部座席ＳＴ４に着座する乗員が発話した音声を収音する。

【0038】

スピーカ１０８Ｄは、例えば、後部座席ＳＴ３側のドアの下部に設置され、スピーカ１０８Ｅは、例えば、後部座席ＳＴ４側のドアの下部に設置される。

【0039】

なお、図１に例示した車両Ｍは、図３または図４に例示するように、乗員である運転手が操作可能なステアリングホイールを備える車両であるものとして説明したがこれに限られない。例えば、車両Ｍは、ルーフがない、すなわち車室がない（またはその明確な区分けがない）車両であってもよい。

【0040】

また、図３または図４の例では、車両Ｍを運転操作する運転手が座る運転席と、その他の運転操作をしない乗員が座る助手席や後部座席とが一つの室内にあるものとして説明しているがこれに限られない。例えば、車両Ｍは、ステアリングホイールに代えて、ステアリングハンドルを備えた鞍乗り型自動二輪車両であってもよい。

【0041】

また、図３または図４の例では、車両Ｍが、ステアリングホイールを備える車両であるものとして説明しているがこれに限られない。例えば、車両Ｍは、ステアリングホイールのような運転操作機器が設けられていない自動運転車両であってもよい。自動運転車両とは、例えば、乗員の操作に依らずに車両の操舵または加減速のうち一方または双方を制御して運転制御を実行することである。

【0042】

図２の説明に戻り、制御部１２０は、例えば、取得部１２１と、音声合成部１２２と、通信制御部１２３と、特定部１２４と、判定部１２５と、優先度付加部１２６と、出力制御部１２７とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部１５０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶部１５０にインストールされてもよい。

【0043】

記憶部１５０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１５０には、例えば、プロセッサによって参照されるプログラム等と、車載機器情報１５２と、リスト情報１５４とが格納される。車載機器情報１５２は、車両Ｍに搭載されている車載機器ＶＥの一覧を示す情報である。

【0044】

図５は、リスト情報１５４の内容の一例を示す図である。リスト情報１５４は、例えば、同時に実行することが不可能な指示を示す情報である。この指示とは、例えば、乗員が発話した音声に含まれる指示であって、車載機器ＶＥの動作に係る指示である。図５に示すリスト情報１５４には、同時に実行することが不可能な指示として、「同一の制御対象に対する指示」と、「目的地を２つ指定する指示」と、「同時に制御できない車載機器ＶＥ１と、車載機器ＶＥ２とに対する指示」と、「同時に制御できない車載機器ＶＥ３と、車載機器ＶＥ４に対する指示」とが含まれる。

【0045】

図２の説明に戻り、取得部１２１は、マイク１０６から音声データや、他の情報を取得する。

【0046】

音声合成部１２２は、通信部１０２がサーバ装置２００から受信したエージェントデータに音声制御内容が含まれる場合に、音声制御として発話によって音声指示された音声データに対応する、人工的な合成音声を生成する。以下、音声合成部１２２が生成する人工的な合成音声を、エージェント音声とも記載する。

【0047】

通信制御部１２３は、取得部１２１によって取得された音声データを通信部１０２によってサーバ装置２００に送信させる。通信制御部１２３は、サーバ装置２００から送信されたエージェントデータを通信部１０２によって受信させる。

【0048】

特定部１２４は、エージェントデータに含まれる車載機器ＶＥに対する指示を特定する。特定部１２４は、例えば、エージェントデータに含まれる車載機器ＶＥを特定するため、車載機器情報１５２に含まれる車載機器ＶＥのそれぞれを検索キーとして、エージェントデータを検索する。特定部１２４は、検索の結果、エージェントデータに含まれることを特定した一つ又は複数の車載機器ＶＥを、指示対象の車載機器ＶＥとして特定する。エージェントデータは、例えば、「発話内容」の一例である。

【0049】

判定部１２５は、特定部１２４によって特定された指示対象の車載機器ＶＥが複数である場合、リスト情報１５４に基づいて、これらの複数の指示が、同時に実行することが可能であるか否かを判定する。

【0050】

なお、判定部１２５は、明らかに同時に実行できない指示については、リスト情報１５４を用いずに複数の指示が同時に実行することが可能であるか否かを判定してもよい。明らかに同時に実行できない指示とは、例えば、同一の指示対象に対する相反する指示等である。具体的には、「オーディオの音量を上げて（指示Ａ）、音量を下げて（指示Ｂ）」等や、「車両Ｍを停止させて（指示Ａ）、車両Ｍの速度を上げて（指示Ｂ）」等の指示である。

【0051】

優先度付加部１２６は、判定部１２５によってエージェントデータに含まれる複数の指示を同時に実行することが不可能であると判定された場合、エージェントデータに含まれる複数の指示に対して、優先度を付加する。優先度付加部１２６が優先度を付加する処理の詳細については、後述する。

【0052】

出力制御部１２７は、エージェントデータに含まれる指示に応じて、音声合成部１２２によってエージェント音声が生成されると、そのエージェント音声をスピーカ１０８に出力させる。また、出力制御部１２７は、エージェントデータに含まれる指示に応じて、画像データを表示部１１０に表示させる。また、出力制御部１２７は、音声データの認識結果（フレーズ等のテキストデータ）の画像を表示部１１０に表示させてもよい。

【0053】

ここで、出力制御部１２７は、優先度付加部１２６によって複数の指示のそれぞれに優先度が付加されている場合、複数の指示のうち、付加された優先度の高い指示から順に、指示に応じたエージェント音声をスピーカ１０８に出力させたり、指示された画像データを表示部１１０に表示させたりする。

【0054】

［サーバ装置の構成］
図６は、実施形態に係るサーバ装置２００の構成の一例を示す図である。実施形態に係るサーバ装置２００は、例えば、通信部２０２と、制御部２１０と、記憶部２３０とを備える。

【0055】

通信部２０２は、ＮＩＣ等の通信インターフェースを含む。通信部２０２は、ネットワークＮＷを介して各車両Ｍに搭載されたエージェント装置１００等と通信する。

【0056】

制御部２１０は、例えば、取得部２１１と、発話区間抽出部２１２と、音声認識部２１３と、エージェントデータ生成部２１４と、通信制御部２１５とを備える。これらの構成要素は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部２３０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶部２３０にインストールされてもよい。

【0057】

記憶部２３０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２３０には、例えば、プロセッサによって参照されるプログラムのほかに、回答情報２３２等が格納される。

【0058】

図７は、回答情報２３２の内容の一例を示す図である。回答情報２３２には、例えば、意味情報に、制御部１２０に実行させる制御内容が対応付けられている。意味情報とは、例えば、音声認識部２１３により発話内容全体から認識される意味である。制御内容には、例えば、車載機器ＶＥに対する指示（制御）に関する車載機器制御や、エージェント音声を出力する音声制御、表示部１１０に表示させる画像制御等が含まれる。例えば、回答情報２３２では、「エアコンの起動」という意味情報に対して、「エアコンを起動させる」車載機器制御と、「エアコンを起動しました」という音声制御と、車室内温度及び設定温度を表示する表示制御とが対応付けられている。

【0059】

図６に戻り、取得部２１１は、通信部２０２によってエージェント装置１００から送信された、音声データを取得する。

【0060】

発話区間抽出部２１２は、取得部１２１によって取得された音声データから、乗員が発話している期間（以下、発話区間と称する）を抽出する。例えば、発話区間抽出部２１２は、零交差法を利用して、音声データに含まれる音声信号の振幅に基づいて発話区間を抽出してよい。また、発話区間抽出部２１２は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づいて、音声データから発話区間を抽出してもよいし、発話区間特有の音声信号をテンプレート化したデータベースとテンプレートマッチング処理を行うことで、音声データから発話区間を抽出してもよい。

【0061】

音声認識部２１３は、発話区間抽出部２１２によって抽出された発話区間ごとに音声データを認識し、認識した音声データをテキスト化することで、発話内容を含むテキストデータを生成する。例えば、音声認識部２１３は、発話区間の音声信号を、低周波数や高周波数等の複数の周波数帯に分離し、分類した各音声信号をフーリエ変換することで、スペクトログラムを生成する。音声認識部２１３は、生成したスペクトログラムを、再帰的ニューラルネットワークに入力することで、スペクトログラムから文字列を得る。再帰的ニューラルネットワークは、例えば、学習用の音声から生成したスペクトログラムに対して、その学習用の音声に対応した既知の文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。そして、音声認識部２１３は、再帰的ニューラルネットワークから得た文字列のデータを、テキストデータとして出力する。

【0062】

また、音声認識部２１３は、自然言語のテキストデータの構文解析を行って、テキストデータを形態素に分け、各形態素からテキストデータに含まれる文言の意味を認識する。

【0063】

エージェントデータ生成部２１４は、音声認識部２１３により認識された発話内容の意味に基づいて、回答情報２３２の意味情報を参照し、合致する意味情報に対応付けられた制御内容を取得する。なお、認識結果として、「エアコンをつけて」、「エアコンの電源を入れてください」等の意味が認識された場合、エージェントデータ生成部２１４は、上述の意味を標準文字情報「エアコンの起動」等に置き換える。これにより、指示の発話内容に発話の揺らぎがあった場合にも指示にあった制御内容を取得し易くすることができる。

【0064】

また、エージェントデータ生成部２１４は、取得した制御内容（例えば、車載機器制御、音声制御、または表示制御のうち少なくとも一つ）に対応する処理を実行させるためのエージェントデータを生成する。

【0065】

通信制御部２１５は、エージェントデータ生成部２１４により生成されたエージェントデータを、通信部２０２によってエージェント装置１００に送信させる。これにより、エージェント装置１００は、制御部１２０によって、エージェントデータに対応する制御が実行することができる。

【0066】

［優先度を付加する処理について］
以下、図８と図９とを用いて、優先度付加部１２６の優先度を付加する処理の詳細について説明する。図８は、指示に優先度を付加する場面の一例を示す図である。図９は、付加された優先度に基づいて、情報出力装置に情報を出力させる場面の一例を示す図である。

【0067】

図８において、乗員は、目的地を設定することを指示する発話ＳＰ１として、「動物園に行って」と発話している。出力制御部１２７は、発話ＳＰ１に応じて生成されたエージェントデータに基づいて、ナビゲーション装置に「動物園」までの移動経路を特定させ、ナビゲーション装置により特定させた移動経路を示す画像ＩＭ１を表示部１１０に表示させる。更に、乗員は、目的地を設定することを指示する発話ＳＰ２として、「コンビニエンスストアに行って」と発話している。

【0068】

この場合、特定部１２４は、発話ＳＰ１と、発話ＳＰ２とには、車載機器ＶＥであるナビゲーション装置に対する指示であって、目的地を設定する複数の指示が含まれていると認識する。この場合、判定部１２５は、特定部１２４によって特定された車載機器ＶＥに対する指示が複数であるため、リスト情報１５４に基づいてこれらの複数の指示が、同時に実行することが可能であるか否かを判定する。上述したように、リスト情報１５４には、同時に実行することが不可能な指示として、「同一の制御対象に対する指示」が含まれている。このため、判定部１２５は、特定部１２４によって特定された車載機器ＶＥに対する複数の指示が、同時に実行することが不可能であると判定する。判定部１２５によって車載機器ＶＥに対する複数の指示が、同時に実行することが不可能であると判定された場合、優先度付加部１２６は、複数の指示のそれぞれに優先度を付加する。

【0069】

［（１）表示部に表示される内容に基づく優先度の付加］
優先度付加部１２６は、例えば、乗員の発話（発話ＳＰ１～ＳＰ２）がされた場面において、表示部１１０に表示されている内容との関連性に基づいて、優先度を付加する。上述したように、発話ＳＰ１が発話された場面において、表示部１１０には、「動物園」までの移動経路を示す画像ＩＭ１が表示されている。このため、発話ＳＰ１が示す指示と、発話ＳＰ２が示す指示とでは、発話ＳＰ１が示す指示の方が、表示部１１０の内容（この場合、「動物園」までの経路）との関連性が高い。したがって、優先度付加部１２６は、発話ＳＰ１に含まれる指示に高い優先度を付加し、発話ＳＰ２に含まれる指示には、発話ＳＰ１に含まれる指示よりも低い優先度を付加する。

【0070】

優先度付加部１２６は、例えば、発話ＳＰ１に係るエージェントデータと発話ＳＰ２に係るエージェントデータとに基づいて、発話ＳＰ１に係るエージェントデータに含まれる指示と、発話ＳＰ２に係るエージェントデータに含まれる指示とをそれぞれ特定する。優先度付加部１２６は、出力制御部１２７の制御履歴を示す情報、或いは車載機器ＶＥ（この場合、ナビゲーション装置）の制御状態に係る情報を取得し、表示部１１０に表示されている内容を特定する。そして、優先度付加部１２６は、特定した各種情報に基づいて、発話ＳＰ１に係る指示と、発話ＳＰ２に係る指示とのうち、表示部１１０に表示されている内容との関連性の高い指示を特定し、優先度を付加する。

【0071】

出力制御部１２７は、優先度付加部１２６によって付加された優先度に基づいて、優先度の高い指示から順に、指示に応じた制御を実行する。また、出力制御部１２７は、優先度付加部１２６によって付加された優先度に基づいて、優先度の高い指示から順に、指示に応じた情報を情報出力装置に出力させる。

【0072】

図９において、出力制御部１２７は、ナビゲーション装置に、発話ＳＰ１に応じて生成されたエージェントデータに基づいて、「動物園」までの移動経路を特定させつつ、発話ＳＰ２に応じて生成されたエージェントデータに基づいて、「動物園」までの移動経路の途中に存在する「コンビニエンスストア」を経由地点として特定させる。そして、出力制御部１２７は、「動物園」までの移動経路を示しつつ、「動物園」までの移動経路の途中に存在する「コンビニエンスストア」を経由地点として示す画像ＩＭ２を表示部１１０に表示さる。出力制御部１２７は、音声合成部１２２により生成された「動物園」までの移動経路に関するエージェント音声ＳＤ１をスピーカ１０８に出力させた後、音声合成部１２２により生成された「コンビニエンスストア」に関するエージェント音声ＳＤ２をスピーカ１０８に出力させる。エージェント音声ＳＤ１は、例えば、「目的地を動物園に設定しました。経路をご案内します。」等の音声であり、エージェント音声ＳＤ２は、例えば、「動物園までの経路上のコンビニエンスストアを経由地点に追加しました。」等の音声である。

【0073】

ここで、画像ＩＭ１～ＩＭ２が示すように、車両Ｍの近傍には、動物園までの経路の途中に存在するコンビニエンスストアＣＳ１と、動物園までの経路からは外れるものの、車両Ｍの現在位置から最も近いコンビニエンスストアＣＳ２とが存在する。優先度付加部１２６による優先度の付加が行われない場合、出力制御部１２７は、発話ＳＰに応じた指示を順次処理する。このため、出力制御部１２７は、発話ＳＰ１が示す指示に基づき、ナビゲーション装置に動物園までの移動経路を特定させた後、発話ＳＰ２が示す指示に基づき、ナビゲーション装置に動物園までの移動経路をキャンセルさせ、最寄りのコンビニエンスストアＣＳ２までの移動経路を特定させる。この場合、車両Ｍは、動物園までの移動経路から外れたコンビニエンスストアＣＳ２に立ち寄ってから動物園に向かうこととなり、動物園までの道のりが遠回りとなる。

【0074】

一方、優先度付加部１２６による優先度の付加が行われる場合、出力制御部１２７は、優先度の高い指示から順に処理する。この場合、車両Ｍは、動物園に向かいつつ、動物園までの経路上に存在するコンビニエンスストアＣＳ１に立ち寄るため、動物園まで効率的に移動することができる。したがって、本実施形態のエージェント装置１００によれば、発話によってされた複数の指示を車両Ｍの乗員にとって適切な順序によって実行することができる。

【0075】

［（２）発話の順序に基づく優先度の付加］
なお、上述では、優先度付加部１２６は、例えば、表示部１１０に表示されている内容との関連性に基づいて、優先度を付加する場合について説明したが、これに限られない。優先度付加部１２６は、例えば、発話ＳＰに含まれる複数の指示が、いずれも表示部１１０に表示されている内容に関連にしない場合や、いずれも表示部１１０に表示されている内容に関連する場合には、発話ＳＰの順序に基づいて、優先度を付加してもよい。この場合、優先度付加部１２６は、先に発話された発話ＳＰ１に含まれる指示に高い優先度を付加し、発話ＳＰ１よりも後に発話された発話ＳＰ２に含まれる指示には、発話ＳＰ１に含まれる指示よりも低い優先度を付加する。

【0076】

［（３）接続詞に基づく優先度の付加］
また、優先度付加部１２６は、例えば、発話ＳＰに含まれる複数の指示が、いずれも表示部１１０に表示されている内容に関連にしない場合や、いずれも表示部１１０に表示されている内容に関連する場合には、指示を示す語句を接続する接続詞に基づいて、優先度を付加してもよい。例えば、「（指示Ａ）をして“それから”（指示Ｂ）をして。」（例１）や、「（指示Ａ）して“同じように”（指示Ｂ）をして。」（例２）等の乗員の発話ＳＰには、「それから」や、「同じように」等の、指示の実行順序を示す接続詞が含まれる。この場合、記憶部１５０には、接続詞を示す情報と、接続詞の前の語句と接続詞の後の語句との順序（又は、優先度）を示す情報とが互いに対応付けられた接続詞情報（不図示）が記憶されており、優先度付加部１２６は、接続詞情報に基づいて、複数の指示のそれぞれに優先度を付加する。

【0077】

優先度付加部１２６は、（例１）や（例２）のように、指示Ａの方が、指示Ｂよりも先に実行することを示す接続詞が含まれる場合、指示Ａに高い優先度を付加し、指示Ｂには、指示Ａよりも低い優先度を付加する。

【0078】

［（４）順序を示す語句に基づく優先度の付加］
また、優先度付加部１２６は、例えば、発話ＳＰに含まれる複数の指示が、いずれも表示部１１０に表示されている内容に関連にしない場合や、いずれも表示部１１０に表示されている内容に関連する場合には、指示の順序を示す語句に基づいて、優先度を付加してもよい。例えば、「（指示Ａ）を“した後に”（指示Ｂ）をして。」（例３）や、「（指示Ａ）を“する前に”（指示Ｂ）をして。」（例４）等の乗員の発話ＳＰには、「した後に」や、「する前に」等の、指示の実行順序を示す接続詞が含まれる。この場合、記憶部１５０には、順序を示す語句を示す情報と、順序を示す語句の前の語句と順序を示す語句の後の語句との順序を示す情報とが互いに対応付けられた順序語句情報（不図示）が記憶されており、優先度付加部１２６は、順序語句情報に基づいて、複数の指示のそれぞれに優先度を付加する。

【0079】

優先度付加部１２６は、（例３）のように、指示Ａの方が、指示Ｂよりも先に実行することを示す語句が含まれる場合、指示Ａに高い優先度を付加し、指示Ｂには、指示Ａよりも低い優先度を付加する。また、優先度付加部１２６は、（例４）のように、指示Ｂの方が、指示Ａよりも先に実行することを示す語句が含まれる場合、指示Ｂに高い優先度を付加し、指示Ａには、指示Ｂよりも低い優先度を付加する。

【0080】

［（５）タイミングを示す語句に基づく優先度の付加］
また、優先度付加部１２６は、例えば、発話ＳＰに含まれる複数の指示が、いずれも表示部１１０に表示されている内容に関連にしない場合や、いずれも表示部１１０に表示されている内容に関連する場合には、指示のタイミングを示す語句に基づいて、優先度を付加してもよい。例えば、「“１７時”に小学校に到着して（指示Ａ）“１８時”にスイミングスクールに到着して（指示Ｂ）」（例５）等の乗員の発話ＳＰには、指示を行うタイミングを示す語句が含まれる。この場合、優先度付加部１２６は、各指示のタイミングを示す語句に基づいてタイミングが早い指示の方が、優先度が高くなるように、複数の指示のそれぞれに優先度を付加する。

【0081】

優先度付加部１２６は、（例５）のように、指示Ａの方が、指示Ｂよりも先に実行することを示す語句が含まれる場合、指示Ａに高い優先度を付加し、指示Ｂには、指示Ａよりも低い優先度を付加する。

【0082】

［処理フロー］
次に、実施形態に係るエージェントシステム１の処理の流れについてフローチャートを用いて説明する。なお、以下では、エージェント装置１００の処理と、サーバ装置２００との処理を分けて説明するものとする。また、以下に示す処理の流れは、所定のタイミングで繰り返し実行されてよい。所定のタイミングとは、例えば、音声データからエージェント装置を起動させる特定ワード（例えば、ウェイクアップワード）が抽出されたタイミングや、車両Ｍに搭載される各種スイッチのうち、エージェント装置１００を起動させるスイッチの選択を受け付けたタイミング等である。

【0083】

図１０は、実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。まず、取得部１２１は、ウェイクアップワードが認識された後に、マイク１０６によって乗員の音声データが収集されたか（つまり、乗員の発話があったか）否かを判定する（ステップＳ１００）。取得部１２１は、乗員の音声データが収集されるまでの間、待機する。次に、通信制御部１２３は、サーバ装置２００に対して音声データを通信部１０２に送信させる（ステップＳ１０２）。次に、通信制御部１２３は、通信部１０２にエージェントデータをサーバ装置２００から受信させる（ステップＳ１０４）。

【0084】

特定部１２４は、受信したエージェントデータに含まれる車載機器ＶＥに対する指示を特定する（ステップＳ１０６）。判定部１２５は、車載機器ＶＥに対する指示が特定部１２４によって特定されたか否か（つまり、発話内容に車載機器ＶＥに対する指示が含まれるか否か）を判定する（ステップＳ１０８）。判定部１２５は、特定部１２４によって車載機器ＶＥに対する指示が特定されなかった場合、処理を終了する。

【0085】

判定部１２５は、車載機器ＶＥに対する指示が含まれると判定した場合、車載機器ＶＥに対する複数の指示がエージェントデータに含まれるか否かを判定する（ステップＳ１１０）。判定部１２５は、エージェントデータには車載機器ＶＥに対する指示が含まれるが、複数の指示ではない（一つの指示である）と判定した場合、処理をステップＳ１１４に進める。判定部１２５は、車載機器ＶＥに対する複数の指示がエージェントデータに含まれると判定した場合、リスト情報１５４に基づいてこれらの複数の指示が、同時に実行することが可能であるか否かを判定する（ステップＳ１１２）。判定部１２５は、車載機器ＶＥに対する複数の指示が、同時に実行することが可能であると判定した場合、処理をステップＳ１１４に進める。

【0086】

出力制御部１２７は、特定部１２４によって特定された車載機器ＶＥに対する一つ、又は複数の指示に応じた情報を同時に情報出力装置に出力させる（ステップＳ１１４）。
出力制御部１２７は、例えば、エージェントデータに含まれる指示に応じて、車載機器ＶＥを制御する。また、出力制御部１２７は、例えば、エージェントデータに含まれる指示に応じて、音声合成部１２２によってエージェント音声が生成されると、そのエージェント音声をスピーカ１０８に出力させる。また、出力制御部１２７は、エージェントデータに含まれる指示に応じて、指示された画像データを表示部１１０に表示させる。

【0087】

出力制御部１２７が複数の指示に応じた情報を同時に情報出力装置に出力させるとは、例えば、各指示のエージェントデータに係るエージェント音声を、スピーカ１０８Ａ～１０８Ｃのうち、いずれかのスピーカ１０８に同時に出力させたり、各指示のエージェントデータに係る画像を、表示部１１０Ａ～１１０Ｃのうち、いずれかの表示部１１０に表示させたりすることである。なお、出力制御部１２７は、各指示のエージェントデータに係るエージェント音声を、優先度に関わらず、スピーカ１０８Ａ～１０８Ｃのうち、いずれか（例えば、一つ）のスピーカ１０８に順次出力させたり、各指示のエージェントデータに係る画像を、優先度に関わらず、表示部１１０Ａ～１１０Ｃのうち、いずれか（例えば、一つ）の表示部１１０に順次表示させたりするものであってもよい。

【0088】

優先度付加部１２６は、判定部１２５によって車載機器ＶＥに対する複数の指示が、同時に実行することが不可能であると判定された場合、複数の指示のそれぞれに対して優先度を付加する（ステップＳ１１６）。優先度付加部１２６は、例えば、複数の指示のそれぞれに、表示部１１０に表示されている内容との関連性に基づいて優先度を付加してもよく、発話ＳＰの順序に基づいて優先度を付加してもよく、指示を示す語句を接続する接続詞に基づいて優先度を付加してもよく、指示の順序を示す語句に基づいて優先度を付加してもよく、指示のタイミングを示す語句に基づいて優先度を付加してもよい。

【0089】

出力制御部１２７は、特定部１２４によって特定された車載機器ＶＥに対す複数の指示に応じた情報を、優先度が高い指示に応じた情報から順に情報出力装置に出力させる（ステップＳ１１８）。

【0090】

図１１は、実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。まず、通信部２０２は、エージェント装置１００から音声データを取得する（ステップＳ２００）。次に、発話区間抽出部２１２は、音声データに含まれる発話区間を抽出する（ステップＳ２０２）。次に、音声認識部２１３は、抽出された発話区間における音声データから、発話内容を認識する。具体的には、音声認識部２１３は、音声データをテキストデータにして、最終的にはテキストデータに含まれる文言を認識する（ステップＳ２０４）。エージェントデータ生成部２１４は、発話内容全体の意味に基づくエージェントデータを生成する（ステップＳ２０６）。次に、通信制御部２１５は、通信部２０２を介して、エージェントデータをエージェント装置１００に送信する（ステップＳ２０８）。

【0091】

［実施形態のまとめ］
以上説明したように、本実施形態のエージェントシステム１は、利用者（この一例では、乗員）が発話した音声を示す音声データを取得する取得部１２１と、取得部１２１により取得された音声データに基づいて、乗員の発話内容を認識する音声認識部２１３と、発話内容に含まれる指示を特定する特定部１２４と、特定部１２４によって特定された指示に応答する情報を、表示部１１０を含む情報出力装置に出力させる出力制御部１２７と、特定部１２４によって複数の指示が特定された場合、特定された複数の指示が同時に実行することが可能であるか否かを判定する判定部１２５と、判定部１２５により複数の指示が同時に実行することが不可能であると判定された場合、発話内容に含まれる複数の指示に対して、表示部１１０により表示されている内容との関連性に基づいて優先度を付加する優先度付加部１２６と、を備え、出力制御部１２７は、特定部１２４により複数の指示が特定された場合、優先度付加部１２６に付加された優先度の高い指示から順に、指示に応じた情報を情報出力装置に出力させる。これにより、本実施形態のエージェントシステム１は、発話によってされた複数の指示を車両Ｍの乗員にとって適切な順序によって実行することができる。

【0092】

＜変形例＞
上述した実施形態では、車両Ｍに搭載されたエージェント装置１００と、サーバ装置２００とが互いに異なる装置であるものとして説明したがこれに限定されるものではない。例えば、エージェント機能に係るサーバ装置２００の構成要素は、エージェント装置１００の構成要素に含まれてもよい。この場合、サーバ装置２００は、エージェント装置１００の制御部１２０によって仮想的に実現される仮想マシンとして機能させてもよい。以下、サーバ装置２００の構成要素を含むエージェント装置１００Ａを変形例として説明する。なお、変形例において、上述した実施形態と同様の構成要素については、同様の符号を付するものとし、ここでの具体的な説明は省略する。

【0093】

図１２は、変形例に係るエージェント装置１００Ａの一例を示す図である。エージェント装置１００Ａは、例えば、通信部１０２と、マイク１０６と、スピーカ１０８と、表示部１１０と、制御部１２０ａと、記憶部１５０ａとを備える。制御部１２０ａは、例えば、取得部１２１と、音声合成部１２２と、通信制御部１２３と、特定部１２４と、判定部１２５と、優先度付加部１２６と、出力制御部１２７と、発話区間抽出部２１２と、音声認識部２１３と、エージェントデータ生成部２１４とを備える。

【0094】

また、記憶部１５０ａは、例えば、プロセッサによって参照されるプログラムのほかに、車載機器情報１５２、リスト情報１５４、及び回答情報２３２が含まれる。回答情報２３２は、サーバ装置２００から取得した最新の情報によって更新されてもよい。

【0095】

エージェント装置１００Ａの処理は、例えば、図１０に示すフローチャートのステップＳ１００の処理の後に、図１１に示すフローチャートのステップＳ２０２～ステップＳ２０６の処理を実行し、その後、図１０に示すフローチャートのステップＳ１０６以降の処理を実行する処理である。

【0096】

以上説明した変形例のエージェント装置１００Ａによれば、第１実施形態と同様の効果を奏する他、乗員からの音声を取得するたびに、ネットワークＮＷを介してサーバ装置２００との通信を行う必要がないため、より迅速に発話内容を認識することができる。また、車両Ｍがサーバ装置２００と通信できない状態であっても、エージェントデータを生成して、乗員に情報を提供することができる。

【0097】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0098】

１…エージェントシステム、１００、１００Ａ…エージェント装置、１０２、２０２…通信部、１０６、１０６、１０６Ａ、１０６Ｂ、１０６Ｃ、１０６Ｄ、１０６Ｅ…マイク、１０８、１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、１０８Ｅ…スピーカ、１１０、１１０Ａ、１１０Ｂ、１１０Ｃ…表示部、１２０、１２０ａ、２１０…制御部、１２１…取得部、２１１…取得部、１２２…音声合成部、１２３…通信制御部、２１５…通信制御部、１２４…特定部、１２５…判定部、１２６…優先度付加部、１２７…出力制御部、１５０、１５０ａ、２３０…記憶部、１５２…車載機器情報、１５４…リスト情報、２００…サーバ装置、２１２…発話区間抽出部、２１３…音声認識部、２１４…エージェントデータ生成部、２３２…回答情報、Ｍ…車両、ＳＤ１、ＳＤ２…エージェント音声、ＳＰ、ＳＰ１、ＳＰ２…発話、ＶＥ、ＶＥ１、ＶＥ２、ＶＥ３、ＶＥ４…車載機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】