IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7347244エージェント装置、エージェントシステム及びプログラム
<図1>
  • -エージェント装置、エージェントシステム及びプログラム 図1
  • -エージェント装置、エージェントシステム及びプログラム 図2
  • -エージェント装置、エージェントシステム及びプログラム 図3
  • -エージェント装置、エージェントシステム及びプログラム 図4
  • -エージェント装置、エージェントシステム及びプログラム 図5
  • -エージェント装置、エージェントシステム及びプログラム 図6
  • -エージェント装置、エージェントシステム及びプログラム 図7
  • -エージェント装置、エージェントシステム及びプログラム 図8
  • -エージェント装置、エージェントシステム及びプログラム 図9
  • -エージェント装置、エージェントシステム及びプログラム 図10
  • -エージェント装置、エージェントシステム及びプログラム 図11
  • -エージェント装置、エージェントシステム及びプログラム 図12
  • -エージェント装置、エージェントシステム及びプログラム 図13
  • -エージェント装置、エージェントシステム及びプログラム 図14
  • -エージェント装置、エージェントシステム及びプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】エージェント装置、エージェントシステム及びプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20230912BHJP
   G06F 3/16 20060101ALI20230912BHJP
   G06F 3/0481 20220101ALI20230912BHJP
【FI】
G06Q50/10
G06F3/16 650
G06F3/16 620
G06F3/0481
【請求項の数】 4
(21)【出願番号】P 2020013028
(22)【出願日】2020-01-29
(65)【公開番号】P2021117942
(43)【公開日】2021-08-10
【審査請求日】2022-03-14
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】前田 英一
(72)【発明者】
【氏名】久保 智景
(72)【発明者】
【氏名】中野 景子
(72)【発明者】
【氏名】西澤 博之
【審査官】松田 岳士
(56)【参考文献】
【文献】特開2005-165901(JP,A)
【文献】特開2013-032986(JP,A)
【文献】特開2019-127192(JP,A)
【文献】特開2006-193138(JP,A)
【文献】特開2004-309324(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 -99/00
G01C 21/00 -21/36
G01C 23/00 -25/00
G06F 3/01
G06F 3/048- 3/04895
G06F 3/16
G08G 1/00 -99/00
(57)【特許請求の範囲】
【請求項1】
車両に搭載された車載器から、前記車両の車両情報及びユーザからの質問である質問情報を受け付け可能な受付部と、
回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、前記受付部が受け付けた前記車両情報に対応する前記マニュアルの有無に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認部と、
前記確認部により前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示部と、
を備えるエージェント装置。
【請求項2】
前記確認部は、
前記車両の起動時に前記回答の生成が不可能な前記質問の範囲を確認する請求項1に記載のエージェント装置。
【請求項3】
請求項1又は2に記載のエージェント装置と、
前記車両に設けられた表示装置において、前記指示部から受け付けを禁止するように指示された前記質問に係る入力ボタンをトーンダウンさせるように制御する前記車載器と、
を備えるエージェントシステム。
【請求項4】
車両に搭載された車載器から、前記車両の車両情報を前記車両が起動した際に受け付け、かつ、ユーザからの質問である質問情報を受け付け可能な受付ステップと、
回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、受け付けられた前記車両情報に対応する前記マニュアルの有無に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認ステップと、
前記確認ステップにおいて前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示ステップと、
を備える処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの質問に対する回答を提供するエージェント装置、エージェントシステム及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、各種車載ユニットの操作に関係のある情報を提供する車両用エージェント処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2001-141500号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の車両用エージェント処理装置を、オーナーズマニュアルを検索するためのエージェントに適用したとする。この場合、車両の一部又は全ての機能に対するエージェントへの対応が不可とされる場合、例えば、質問に対する回答を記憶したオーナーズマニュアルが整備されていない場合やオーナーズマニュアルが更新中につき一時的に利用できない場合等にユーザからの質問を受け付けると、質問に対する回答に「不明」、「対象外」等が出現し、ユーザに違和感を与えてしまう。
【0005】
本発明は、車両の機能に係る質問の意図を推定するエージェントにおいて、一部又は全ての機能に対するエージェントへの対応が不可とされる場合に、ユーザに与える違和感を低減可能なエージェント装置、エージェントシステム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載のエージェント装置は、車両に搭載された車載器から、前記車両の車両情報及びユーザからの質問である質問情報を受け付け可能な受付部と、回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、前記受付部が受け付けた前記車両情報に対応する前記マニュアルの有無に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認部と、前記確認部により前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示部と、を備えている。
【0007】
請求項1に記載のエージェント装置は、ユーザの質問に対する回答をユーザに提供可能に構成されている。当該エージェント装置では、質問情報を受け付ける受付部において、車両を特定可能な車両情報を受け付ける。また、確認部では車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。ここで、「回答の生成が不可能」な場合には、質問に対する回答を記憶したマニュアルが整備されていない場合、マニュアルが更新中につき一時的に利用できない場合等がある。そして、確認部により回答の生成が不可能と確認された範囲の質問については、車載器において受け付けを禁止するよう指示部が車載器に指示をする。したがって、当該エージェント装置によれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、ユーザに与える違和感を低減することができる。
また、請求項1に記載のエージェント装置は、確認部がマニュアルと車両との対応を記憶したデータベースを検索することで、回答の生成が不可能な質問の範囲を確認することを特徴としている。当該エージェント装置によれば、車両毎のマニュアルの有無をデータベース化することで、車載器における受け付け禁止の管理を容易に行うことができる。
【0010】
請求項2に記載のエージェント装置は、請求項1に記載のエージェント装置において、前記確認部は、前記車両の起動時に前記回答の生成が不可能な前記質問の範囲を確認する。
【0011】
請求項2に記載のエージェント装置によれば、車両が起動した段階で回答の生成が不可能な質問の範囲が確認されているため、誤って質問を受け付けることはなく、ユーザに与える違和感を低減することができる。
【0012】
請求項3に記載のエージェントシステムは、請求項1又は2に記載のエージェント装置と、前記車両に設けられた表示装置において、前記指示部から受け付けを禁止するように指示された前記質問に係る入力ボタンをトーンダウンさせるように制御する前記車載器と、を備えている。
【0013】
請求項3に記載のエージェントシステムでは、車両に搭載された車載器が入力ボタンをトーンダウンさせて表示装置に表示させると共に、入力ボタンの操作の受付を禁止する。そのため、当該エージェントシステムによれば、乗員に対してエージェントの利用ができないことを視覚で訴えることができる。
【0014】
請求項4に記載のプログラムは、車両に搭載された車載器から、前記車両の車両情報を前記車両が起動した際に受け付け、かつ、ユーザからの質問である質問情報を受け付け可能な受付ステップと、回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースを検索し、受け付けられた前記車両情報に対応する前記マニュアルの有無に基づいて、前記質問に対する回答の生成が不可能な前記質問の範囲を確認する確認ステップと、前記確認ステップにおいて前記回答の生成が不可能と確認された範囲の前記質問について、前記車載器において受け付けを禁止するよう前記車載器に指示する指示ステップと、を備える処理をコンピュータに実行させる。
【0015】
請求項4に記載のプログラムは、ユーザの質問に対する回答をユーザに提供する処理をコンピュータが実行可能に構成されている。当該プログラムが実行されるコンピュータでは、車両を特定可能な車両情報を受け付け、車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。「回答の生成が不可能」な場合とは、上述のとおりである。そして、コンピュータは、回答の生成が不可能と確認された範囲の質問について、車載器において受け付けを禁止するよう車載器に指示をする。したがって、当該プログラムによれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、ユーザに与える違和感を低減することができる。
【発明の効果】
【0016】
本発明によれば、車両の機能に係る質問の意図を推定するエージェントにおいて、一部又は全ての機能に対するエージェントへの対応が不可とされる場合に、ユーザに与える違和感を低減させることができる。
【図面の簡単な説明】
【0017】
図1】第1の実施形態に係るマニュアル提供システムの概略構成を示す図である。
図2】第1の実施形態の車両のハードウェア構成を示すブロック図である。
図3】第1の実施形態のサーバのハードウェア構成を示すブロック図である。
図4】第1の実施形態のエージェントサーバの機能構成を示すブロック図である。
図5】第1の実施形態のマニュアル提供システムの機能を説明するブロック図である。
図6】教師データの生成方法の一例を示す図である。
図7】第1の実施形態のマニュアル提供システムにおけるエージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理の流れを示すシーケンス図である。
図8】エージェントへの対応がある場合におけるモニタの表示の例である。
図9】エージェントへの対応がない場合におけるモニタの表示の例である。
図10】第1の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。
図11】第1の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図(図10の続き)である。
図12】回答情報に係る情報を乗員に提示した例を示す図である。
図13】第2の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図である。
図14】第2の実施形態のマニュアル提供システムにおける質問の意図を推定する場合の処理の流れを示すシーケンス図(図13の続き)である。
図15】第3の実施形態のエージェントサーバの機能構成を示すブロック図である。
【発明を実施するための形態】
【0018】
[第1の実施形態]
図1に示されるように、第1の実施形態のエージェントシステムであるマニュアル提供システム10は、複数の車両12と、複数のサーバ30と、を含んで構成されている。各車両12には通知装置としての車載器20が搭載されている。また、サーバ30は、Human Machine Interface(以下、「HMI」とする)として機能するインタフェース装置としてのHMIサーバ14、エージェント装置としてのエージェントサーバ16、オーナーズマニュアル(Owner’s Manual、以下「OM」と略す場合がある)サーバ18、及びデータサーバ19を含んでいる。
【0019】
各車両12の車載器20、HMIサーバ14、OMサーバ18及びデータサーバ19は、それぞれ、ネットワークN1を介して相互に接続されている。また、HMIサーバ14とエージェントサーバ16とは、ネットワークN2を通じて相互に接続されている。なお、エージェントサーバ16は、他のサーバ30と同様にネットワークN1に接続されていてもよい。
【0020】
(車両)
図2に示されるように、本実施形態に係る車両12は、車載器20と、複数のECU22と、音声入力装置としてのマイク24と、操作入力装置としての入力スイッチ26と、表示装置としてのモニタ28、スピーカ29と、を含んで構成されている。
【0021】
車載器20は、CPU(Central Processing Unit)20A、ROM(Read Only Memory)20B、RAM(Random Access Memory)20C、車内通信I/F(Inter Face)20D、無線通信I/F20E及び入出力I/F20Fを含んで構成されている。CPU20A、ROM20B、RAM20C、車内通信I/F20D、無線通信I/F20E及び入出力I/F20Fは、内部バス20Gを介して相互に通信可能に接続されている。
【0022】
CPU20Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20Aは、ROM20Bからプログラムを読み出し、RAM20Cを作業領域としてプログラムを実行する。
【0023】
ROM20Bは、各種プログラム及び各種データを記憶している。本実施形態のROM20Bには、車載器20を制御するための制御プログラムが記憶されている。
【0024】
RAM20Cは、作業領域として一時的にプログラム又はデータを記憶する。
【0025】
車内通信I/F20Dは、ECU22と接続するためのインタフェースである。当該インタフェースは、CANプロトコルによる通信規格が用いられる。車内通信I/F20Dは、通信路としての外部バス20Hに対して接続されている。制御装置としてのECU22は、車両12の機能毎に複数設けられている。本実施形態のECU22としては、車両制御ECU、エンジンECU、ブレーキECU、ボデーECU、カメラECU、マルチメディアECUが例示される。
【0026】
無線通信I/F20Eは、サーバ30と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、5G、LTE、Wi-Fi(登録商標)等の通信規格が用いられる。無線通信I/F20Eは、ネットワークN1に対して接続されている。
【0027】
入出力I/F20Fは、車両12に搭載されるマイク24、入力スイッチ26、モニタ28、及びスピーカ29と通信するためのインタフェースである。
【0028】
マイク24は、車両12のフロントピラーやダッシュボード等に設けられ、ユーザである車両12の乗員が発した音声を集音する装置である。
【0029】
入力スイッチ26は、インストルメントパネル、センタコンソール、ステアリングホイール等に設けられ、乗員の手指による操作を入力するスイッチである。入力スイッチ26としては、例えば、押しボタン式のテンキーやタッチパッド等を採用することができる。
【0030】
モニタ28は、インストルメントパネル、メータパネル等に設けられ、オーナーズマニュアルや後述する回答情報に係る画像を表示するための液晶モニタである。モニタ28は、入力スイッチ26を兼ねたタッチパネルとして設けてもよい。
【0031】
スピーカ29は、インストルメントパネル、センタコンソール、フロントピラー、ダッシュボード等に設けられ、回答情報に係る音声を出力するための装置である。
【0032】
(サーバ)
図3に示されるように、サーバ30は、CPU30A、ROM30B、RAM30C、ストレージ30D、及び通信I/F30Eを含んで構成されている。CPU30A、ROM30B、RAM30C、ストレージ30D及び通信I/F30Eは、内部バス30Gを介して相互に通信可能に接続されている。CPU30A、ROM30B、RAM30C及び通信I/F30Eの機能は、上述した車載器20のCPU20A、ROM20B、RAM20C及び無線通信I/F20Eと同じである。
【0033】
ストレージ30Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、各種プログラム及び各種データを記憶している。
【0034】
CPU30Aは、ストレージ30Dからプログラムを読み出し、RAM30Cを作業領域としてプログラムを実行する。
【0035】
本実施形態のストレージ30Dには、処理プログラム100及びデータ群110が記憶されている。処理プログラム100は、サーバ30が有する各機能を実現するためのプログラムである。
【0036】
(HMIサーバ)
HMIサーバ14は、車載器20からの質問を受け付けると共に、オーナーズマニュアルに係る質問に対する回答をエージェントサーバ16に照会する機能を有している。
【0037】
図5に示されるように本実施形態のHMIサーバ14では、CPU30Aが、処理プログラム100を実行することで、選定部としてのHMI対話制御部32として機能する。
【0038】
HMI対話制御部32は、車載器20との間で通信を行う。HMI対話制御部32は、車載器20から送信された車両12の乗員に係る音声情報を取得し、音声認識を行い、音声情報をテキスト情報に変換する。ここで、本実施形態では、車両12の乗員による発話で質問を行うことを想定している。そのため、乗員の発話に係る音声情報が乗員により車載器20に入力された入力情報となる。例えば、「ランプの消し方教えて」、「マルにAのスイッチ何?」等、乗員が発話した質問に係る音声情報が入力情報となる。
【0039】
また、HMI対話制御部32は、変換されたテキスト情報を基に、乗員の発話の意図を理解する。そして、HMI対話制御部32は、乗員がオーナーズマニュアルに係る質問を行ったと理解した場合、当該質問に係る照会をエージェントサーバ16に対し実行する。そして、HMI対話制御部32は、質問に係るテキスト情報をエージェントサーバ16に送信し、エージェントサーバ16から回答に係る回答情報を受信する。
【0040】
また、HMI対話制御部32は、エージェントサーバ16から受信した回答情報を車載器20に対して送信する。なお、回答情報は、質問に対する回答に係るテキスト情報及び音声情報を含む。このテキスト情報には、オーナーズマニュアルのHTMLデータを閲覧するためのURLが含まれている。
【0041】
また、HMIサーバ14は、車載器20から取得した車両情報に基づいて、オーナーズマニュアルに係る質問を処理するエージェント(Owner’s Manual Agent(以下、「OMA」とする))の対応状況を確認する機能を有している。当該機能の詳細については後述する。
【0042】
(エージェントサーバ)
エージェントサーバ16は、OMAとして機能する。エージェントサーバ16は、HMIサーバ14から車両12の車両情報と質問に係るテキスト情報とを取得し、データサーバ19から車両12の状態に係る状態情報であるCAN情報を取得する。また、エージェントサーバ16は、HMIサーバ14に質問に対する回答に係る回答情報を提供する。
【0043】
本実施形態のエージェントサーバ16では、CPU30Aが処理プログラム100を実行することで、図4に示すOMA対話制御部36及び意図推定部38として機能する。また、OMA対話制御部36は、受付部50、取得部52、確認部53、指示部54及び提供部56を含む。
【0044】
また、エージェントサーバ16のデータ群110は、図5に示す車両OM対応データ200、意図推定ID管理データ210、QAデータ220、単語正規化データ230及び学習済みモデル240を含む。
【0045】
車両OM対応データ200は、車両12の車体番号、車種、グレード、装備品等に係る車両情報と、オーナーズマニュアル毎に付与されたOM品番との対応関係を記憶したデータである。この車両OM対応データ200は、質問に対する回答を記憶したマニュアルの車両毎への対応状況を記憶したデータベースの一例である。
【0046】
意図推定ID管理データ210は、OM品番と意図推定エンジンとの対応関係を記憶したデータである。意図推定ID管理データ210には、OM品番に対応する意図推定エンジンIDが記憶されている。意図推定エンジンIDとは、後述する意図推定処理を実行する意図推定エンジン毎に付与されたIDである。この意図推定エンジンは、類似する又は関連するオーナーズマニュアル毎に設けられている。
【0047】
QAデータ220は、回答毎に付されるインテントラベルに紐づく回答情報を保持するデータである。ここで、「インテントラベル」とは、乗員の発話内容から意図を推定した結果として提供されるラベル番号である。回答情報には、質問に対する回答に係る表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のURL等の情報が含まれている。
【0048】
単語正規化データ230は、意図推定処理における前処理に使用する単語の正規化用のデータである。この前処理は、表記のゆれや表現のゆれを統一する処理である。例えば、単語正規化データ230は、「オフ」と「OFF」とが同じ語であることを示す情報であって、表記ゆれを統一させるためのデータを含む。また例えば、単語正規化データ230は、「タイヤ空気圧警告灯」と「空気圧警告灯」とが同一のものを指す情報であって、異なる表現を統一するためのデータを含む。
【0049】
学習済みモデル240は、後述する受付部50がテキスト情報を受け付けた場合における受付時よりも過去の車両12の状態と、乗員の過去の質問とに基づく教師データを使用して機械学習を行うことによって生成されたデータである。当該教師データは、車両12の過去の状態に係るCAN情報と、当該過去の状態における質問と関連する複数の言い回しに係るテキスト情報を入力とし、当該質問に対する正解の回答に係るインテントラベルを出力としている。過去の状態に係るCAN情報は、過去状態情報の一例である。この学習済みモデル240は、予め、意図推定エンジン毎に学習されたものが用意されている。
【0050】
図6に過去の質問及び過去のCAN情報に基づく教師データの一例を示す。図6に示されるように、車載器20は、車両12のCAN情報に基づく警告灯、表示灯の点灯状態、通知音の通知状態を記憶している。また車載器20は、マイク24に入力される音声を記憶している。
【0051】
ここで、車載器20が乗員の発話を受け付けた場合、受付時である時刻Bよりも所定時間前の時刻Aから時刻Bに至る判定期間において、CAN情報から点灯状態や通知状態がアクティブな項目が取得される。図6の例では、時刻Aから時刻Bまでの所定時間において、表示1、表示2及び通知音1が「ON」、つまりアクティブとされている。そして教師データでは、判定期間内において一定時間以上アクティブの要素について、特徴量に「1」を付与した入力データが生成される。
【0052】
また、発話した質問は音声認識によりテキスト化されて、単語が抽出される。抽出される候補となる単語は「言い回し」に相当する。図6の例では、発話に単語2が含まれているため、当該単語2について、特徴量に「1」を付与した入力データが生成される。
【0053】
一方、上記のように特徴量を与えた入力に対して、発話の意図に対応するインテントラベルを出力として付与する。図6の例では、インテントラベルの1番が対応付けられている。以上、本実施形態の例では、表示1、表示2及び通知音1がアクティブな状態において、単語2を含む質問をすると、当該質問に対して1番のインテントラベルが生成されるような教師データを使用して機械学習が行われる。
【0054】
図5に示すOMA対話制御部36では、まず、受付部50が、車両情報及び質問情報であるテキスト情報を受け付ける。また、受付部50は車両12の状態に係るCAN情報を受け付け可能である。次にOMA対話制御部36では、テキスト情報が乗員の質問である場合に、取得部52が車両情報、CAN情報及びテキスト情報に基づいて質問に対する回答を取得する。取得される回答は、質問の意図を推定する意図推定処理を経ることで得られる。
【0055】
具体的に、取得部52は、車両OM対応データ200を参照して、車両12の車両情報から当該車両12に対応するOM品番を取得する。取得部52がOM品番を取得できなかった場合には、「サービス対象外」である旨をHMI対話制御部32に通知する。また、取得部52は、意図推定ID管理データ210を参照して、取得したOM品番から当該車両12に適用するOMA意図推定エンジンIDを取得する。
【0056】
そして、取得部52は、質問に係るテキスト情報、車両12のCAN情報及びOMA意図推定エンジンIDを入力値として、意図推定部38に照会を行い、回答に相当するインテントラベルを取得する。インテントラベルが一つも取得できなかった場合、提供部56が「該当なし」であることを示す該当なし情報をHMIサーバ14に送信する。一方、取得部52は、取得したインテントラベルが一つである場合には、QAデータ220を参照して、取得したインテントラベル及びOM品番を基に、対応する回答情報を取得する。
【0057】
なお、取得部52は、取得したインテントラベルが複数ある場合には、QAデータ220を参照して、複数の回答の選択肢に係る選択肢情報を生成してもよい。選択肢情報が生成された場合、当該選択肢情報を車載器20に送信し、車載器20から乗員の選択結果である結果情報を取得することにより、一のインテントラベルを特定することができる。
【0058】
OMA対話制御部36において確認部53は、車両12におけるOMAへの対応状況を確認する機能を有している。OMAの対応状況は、乗員の全ての質問に対して回答の生成が可能か否かだけでなく、一部の質問に対して回答の生成が可能か否かで確認してもよい。確認部53は、車両OM対応データ200を検索し、受付部50が受け付けた車両情報に対応するOM品番の有無に基づいてOMAの対応状況を確認する。
【0059】
OMA対話制御部36において指示部54は、確認部53により回答の生成が不可能と確認された範囲の質問について、車載器20において受け付けを禁止するよう車載器20に指示する。指示部54による機能の詳細については後述する。
【0060】
また、OMA対話制御部36では、提供部56が該当なし情報、回答情報及び選択肢情報の何れかをHMIサーバ14のHMI対話制御部32に向けて送信する。補足すると、取得部52がインテントラベルを取得できなった場合には、該当なし情報をHMIサーバ14に送信する。また、取得部52が一のインテントラベルを取得した場合には、対応する回答情報をHMIサーバ14に送信する。さらに、取得部52が複数のインテントラベルを取得した場合には、生成された選択肢情報をHMIサーバ14に送信する。
【0061】
推定部としての意図推定部38は、乗員の質問の意図を推定する推定処理としての意図推定処理を実行する。この意図推定処理は、意図推定エンジンIDに対応する意図推定エンジンを使用して実行される。意図推定処理では具体的に次の処理が実行される。まず、意図推定部38は取得したテキスト情報に係るテキストに対し、単語正規化データ230を使用して前処理を行う。前処理により、表記のゆれや表現のゆれが統一される。次に、意図推定部38は、意図推定エンジン毎に用意された学習済みモデル240に前処理をしたテキスト情報と車両12のCAN情報とを入力し、インテントラベル及びその確信度を出力する。確信度とは、学習済みモデル240に入力されたテキスト情報が、推定されたインテントラベルである確率に相当する。そして、意図推定部38は、確信度が所定値を超える、つまり、所定の確率以上の信頼性が担保されたインテントラベルをOMA対話制御部36に提供する。
【0062】
(OMサーバ)
OMサーバ18は、オーナーズマニュアルを提供するサーバ30である。OMサーバ18のデータ群110は、オーナーズマニュアルに係るHTMLデータであるOMデータ300を含む。車両12のモニタ28に回答情報に係る画像が表示された場合、当該画像に含まれるURLを乗員が選択すると、当該URLに対応するHTMLデータの送信要求がOMサーバ18に対して実行される。これにより、URLに対応するオーナーズマニュアルのHTMLデータが車載器20に送信され、モニタ28に表示される。
【0063】
(データサーバ)
データサーバ19は、車載器20からCAN情報を取得すると共に、エージェントサーバ16にCAN情報を提供するサーバ30である。本実施形態のデータサーバ19では、CPU30Aが、処理プログラム100を実行することで、データ管理部39として機能する。
【0064】
また、データサーバ19のデータ群110は、車両12の車両情報と、当該車両情報に対応するCAN情報とを含むデータであるCANデータベース400を含む。データ管理部39は、所定時間おきに車載器20から車両12のCAN情報を取得し、CANデータベース400に記憶する。また、データ管理部39は、エージェントサーバ16からの要求に基づいて当該エージェントサーバ16にCAN情報を提供する。
【0065】
なお、データサーバ19では、車載器20からCAN情報と共に質問に係る音声情報を取得することで、データ管理部39が教師データを生成すると共に、機械学習を行い、新たな学習済みモデル240を生成することができる。生成された新たな学習済みモデル240は、エージェントサーバ16に送信されて更新される。
【0066】
(制御の流れ)
(1)エージェントの対応状況の確認に係る処理、及び対応状況をモニタに反映させる処理について
各車両12におけるOMAの対応状況の確認に係る処理、及び対応状況をモニタ28に反映させる処理について、図7のシーケンス図を用いて説明する。
【0067】
まず、OMAの対応状況を確認する処理について説明する。
図7のステップS10において、車載器20は車両12の起動を検知する。起動とは、アクセサリスイッチ(ACC)がオンになった状態である。
【0068】
ステップS11において、車載器20は車両12の車両情報をHMIサーバ14に向けて送信する。
【0069】
ステップS12において、HMIサーバ14ではHMI対話制御部32がOMA対応状況の確認依頼を行う。すなわち、エージェントサーバ16に対する確認要求を行う。
【0070】
ステップS13において、HMI対話制御部32は、車両情報をエージェントサーバ16のOMA対話制御部36に向けて送信する。
【0071】
ステップS14において、OMA対話制御部36はOM品番を検索する。具体的にOMA対話制御部36は、車両OM対応データ200を参照して、取得した車両情報に対応するOM品番があるか否かを検索する。
【0072】
ステップS15において、OMA対話制御部36はOMAの対応有無を確認する。具体的にOMA対話制御部36は、車両情報に対応するOM品番を検出できた場合は、対応があることを確認し、車両情報に対応するOM品番が検出できなかった場合は、対応がないことを確認する。
【0073】
ステップS16において、OMA対話制御部36はHMIサーバ14経由で車載器20に対して対応状況を通知する。
【0074】
ステップS17において、車載器20はOMAの対応有無を更新する。
【0075】
次に、OMAの対応状況をモニタ28に反映させる処理について説明する。
図7のステップS20において、車載器20は発話を受け付ける。例えば、車両12の乗員がマイク24に向けてエージェントを起動させるためのキーワードである「My agent」と発話したとする。
【0076】
すると、ステップS21において、車載器20はモニタ28にエージェント機能に係るトップ画面を表示させる。図8及び図9はモニタ28に表示されたトップ画面の一例である。モニタ28上には、車載器20の機能に係る複数の入力ボタン80が表示されている。この入力ボタン80は、ナビゲーションボタン80A、オーディオボタン80B、通話ボタン80C、車両機能ボタン80D、及びヘルプボタン80Eを含んでいる。本実施形態では。ヘルプボタン80EがOMAに対応している。
【0077】
モニタ28にトップ画面が表示された際、OMAが「対応あり」の場合には、図8に示すように、ヘルプボタン80Eが選択可能なアクティブ表示となる。一方、モニタ28にトップ画面が表示された際、OMAが「対応なし」の場合には、図9に示すように、ヘルプボタン80Eが選択不可能なトーンダウン表示となる。この場合、車載器20はトーンダウン表示とされた車両12の機能に係る質問を受け付けることができない。
【0078】
(2)質問に対する回答を提示する場合の処理
車両12において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図10及び図11のシーケンス図を用いて説明する。
【0079】
図10のステップS30において、車載器20は外部バス20HからCAN情報を取得する。
【0080】
ステップS31において、車載器20は車両12の車両情報と共に、取得したCAN情報をデータサーバ19に向けて送信する。なお、本実施形態において、車両情報及びCAN情報は、一定時間おきに車載器20からデータサーバ19に送信されるが、これに限らず、CAN情報に変化があった場合に車載器20からデータサーバ19に送信してもよい。
【0081】
ステップS32において、データサーバ19ではデータ管理部39が取得した情報をCANデータベース400に記憶する。記憶する情報は、車両情報、CAN情報及び受信時刻を含む。
【0082】
ステップS40において、車載器20は乗員の発話を受け付ける。具体的に、車載器20のCPU20Aは、乗員がマイク24に向かって発話した音声を音声情報として取得する。例えば、車両12にてタイヤ空気圧警告灯が点灯した状態において、乗員が「メータのランプが光ったけど何?」と発言したとする。この場合、発話受付により、「メータのランプが光ったけど何」という発言が音声情報として取得される。
【0083】
ステップS41において、車載器20は、取得した音声情報と共に、車両12の車両情報、及び発話開始時刻をHMIサーバ14に向けて送信する。
【0084】
ステップS42において、HMIサーバ14ではHMI対話制御部32が音声認識を行う。これにより、音声情報はテキスト情報に変換される。なお、当該音声認識では、質問に相当する語句がテキスト情報に含まれている場合に音声情報が質問であると判定される。
【0085】
ステップS43において、HMI対話制御部32は、車両情報、発話開始時刻及びテキスト情報をエージェントサーバ16のOMA対話制御部36に向けて送信する。上記の例では、質問と判定された「メータのランプが光ったけど何」の文字列がテキスト情報として送信される。
【0086】
ステップS44において、OMA対話制御部36はCAN情報を検索する。すなわち、OMA対話制御部36は、データサーバ19からCAN情報の取得を試みる。
【0087】
ステップS45において、OMA対話制御部36は車両情報及び発話開始時刻をデータサーバ19に向けて送信する。
【0088】
ステップS46において、データサーバ19ではデータ管理部39がCAN情報又は情報なし通知をエージェントサーバ16に送信する。送信するCAN情報は、データ管理部39がCANデータベース400を照会し、車両12の車両情報、及び発話開始時刻直前の受信時刻に係るCAN情報を検索することで取得される。なお、情報なし通知とは、車両情報及び発話開始時刻に対応するCAN情報が取得できなかった場合に、CAN情報が無い旨を示す通知である。
【0089】
ステップS47において、OMA対話制御部36は車両情報から対応するOM品番を特定する。つまり、車両12の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。なお、OM品番の特定にCAN情報を用いてもよい。この場合、OMA対話制御部36は、通信不良等、何らかの理由で車両12の最新のCAN情報が取得できない場合、車種、グレード等で標準とされるOM品番を特定してもよい。
【0090】
ステップS48において、OMA対話制御部36は、OM品番から対応する意図推定エンジンIDを特定する。つまり、車両12のオーナーズマニュアルに対応する意図推定エンジンを特定する。なお、意図推定エンジンIDの特定にCAN情報を用いてもよい。この場合、OMA対話制御部36は、通信不良等、何らかの理由で車両12の最新のCAN情報が取得できない場合、車種、グレード等で標準とされる意図推定エンジンIDを特定してもよい。
【0091】
ステップS49において、OMA対話制御部36は、HMIサーバ14から取得したテキスト情報、データサーバ19から取得したCAN情報、及び意図推定エンジンIDを意図推定部38に提供する。
【0092】
ステップS50において、意図推定部38は意図推定処理を実行する。これにより、意図推定部38は、テキスト情報及びCAN情報に対応するインテントラベルを出力する。本実施形態の例では、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応するインテントラベルが出力される。
【0093】
図11のステップS51において、意図推定部38は、確信度が最も大きい一のインテントラベルをOMA対話制御部36に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部38はインテントラベルがないことを示すラベルなし情報をOMA対話制御部36に提供する。
【0094】
ステップS52において、OMA対話制御部36はインテントラベルに基づいて回答情報を生成する。すなわち、OMA対話制御部36は、QAデータ220を参照して表示用テキスト、表示用画像、読み上げ用テキスト、オーナーズマニュアル表示用のURL等の組み合わせからなる回答情報を生成する。
【0095】
ステップS53において、OMA対話制御部36は、HMIサーバ14に対して回答情報を送信する。
【0096】
ステップS54において、HMI対話制御部32は提示情報を生成する。提示情報は、車載器20に送信する情報であって、インテントラベルやOM品番等、モニタ28やスピーカ29で提示する必要のない情報を省いた回答情報である。なお、回答情報をそのまま提示情報としてもよい。
【0097】
ステップS55において、HMI対話制御部32は、車載器20に対して提示情報を送信する。
【0098】
ステップS56において、車載器20は受信した提示情報を車両12の乗員に提示する。具体的に車載器20のCPU20Aは、受信した提示情報に係る画像をモニタ28に表示させ、受信した提示情報に係る音声をスピーカ29から出力させる。例えば、図12に示されるように、CPU20Aはモニタ28にタイヤ空気圧警告システムの説明を表示させ、「タイヤ空気圧警告システムの警告です。」という音声をスピーカ29から出力させる。
【0099】
(第1の実施形態のまとめ)
本実施形態のマニュアル提供システム10では、車両12の乗員が車載器20を通じて入力した質問に対し、当該質問の意図が推定されることで得られた回答を、車載器20に提供可能に構成されている。
【0100】
本実施形態のエージェントサーバ16では、テキスト情報を受け付ける受付部50において、車両12の起動時に車両情報を受け付ける。また、確認部53では車両情報に基づいて回答の生成が不可能な質問の範囲を確認する。ここで、「回答の生成が不可能」な場合には、質問に対する回答を記憶したオーナーズマニュアルが整備されていない場合、オーナーズマニュアルが更新中につき一時的に利用できない場合等がある。そして、確認部53により回答の生成が不可能と確認された範囲の質問については、車載器20において受け付けを禁止するように指示部54が車載器20に指示をする。したがって、本実施形態によれば、一部又は全ての機能に関する質問に対して回答の生成が不可能とされる場合に、乗員に与える違和感を低減することができる。
【0101】
また、車両12が起動した段階で回答の生成が不可能な質問の範囲が確認されているため、誤って質問を受け付けることはなく、ユーザに与える違和感を低減することができる。なお、車両情報を受け付けるタイミングは必ずしも車両12の起動時に限らない。
【0102】
また、本実施形態のエージェントサーバ16は、確認部53がオーナーズマニュアルと車両12との対応を記憶した車両OM対応データ200を検索することで、回答の生成が不可能な質問の範囲を確認することを特徴としている。本実施形態によれば、車両12毎のオーナーズマニュアルの有無をデータベース化することで、車載器20における受け付け禁止の管理を容易に行うことができる。
【0103】
また、本実施形態のエージェントサーバ16では、受付部50において、質問情報に加えて車両12のCAN情報を受け付ける。また、意図推定部38が、テキスト情報と共にCAN情報を用いて推定処理としての意図推定処理を行い、推定された意図に基づいて取得部52が質問に対する回答を取得することを特徴としている。本実施形態のエージェントサーバ16によれば、質問の意図を推定する場合に車両12の状態を反映させることで、意図の推定精度を向上させることができる。
【0104】
また、本実施形態のエージェントサーバ16は、意図推定部38が予め機械学習を行うことにより生成された学習済みモデル240を使用して意図を推定するように構成されている。本実施形態によれば、より多くの車両12の情報や言い回しを学習させることにより、乗員の質問に対する意図の推定精度を向上させることができる。なお、データサーバ19において、CAN情報と質問に対する回答結果を取得することで更なる機械学習を行い、新たな学習済みモデル240を生成することができる。そして、エージェントサーバ16の学習済みモデル240を更新することで、推定精度をさらに向上させることができる。
【0105】
また、本実施形態のエージェントサーバ16では、車両12を制御する複数のECU22同士を接続する外部バス20Hから車両12のCAN情報を取得可能に構成されている。本実施形態によれば、車両制御用の通信情報を利用することにより、車両12から当該車両12の状態を容易に取得することができる。
【0106】
また、本実施形態のエージェントサーバ16では、図6に示されるように所定時間における車両12の状態に基づいて機械学習を行っている。そのため、本実施形態によれば、例えば乗員が警告灯等を認識可能な時間を所定時間に設定することにより、乗員が気付くであろう車両12の状態を意図の推定に反映させることができる。
【0107】
本実施形態のマニュアル提供システム10では、車両12に搭載された車載器20が乗員からの質問に対する回答を提供可能に構成されている。本実施形態によれば、車両12における乗員の操作の利便性を向上させることができる。
【0108】
また、本実施形態では、図9に示すように車載器20が入力ボタンをトーンダウンさせてモニタ28に表示させると共に、入力ボタン80による操作の受付を禁止する。そのため、本実施形態によれば、乗員に対してエージェントの利用ができないことを視覚で訴えることができる。
【0109】
なお、本実施形態では入力ボタン80をトーンダウンさせることで操作の受け付けを禁止させているが、これ限らず、「未対応」等のテキストを入力ボタン80の上に重畳表示させてもよい。
【0110】
また、本実施形態の車載器20は、車両12に対応するオーナーズマニュアルが間もなく入手可能となる場合に、「準備中」、「取寄中」等のテキストを対応する入力ボタン80に隣接して又は重畳して表示させてもよい。また、車載器20は、車両12に対応するオーナーズマニュアルの入手が完了した場合に、「NEW」、「今日から使用できます」等のテキストを対応する入力ボタン80に隣接して又は重畳して表示させてもよい。さらに、車載器20は、車両12に対応するオーナーズマニュアルの入手中から入手完了にかけて入力ボタン80の色を経時的に変える、又はトーンダウンの程度を次第に弱めてもよい。オーナーズマニュアルに関する「入手」とは、対応するオーナーズマニュアルがOMサーバ18のOMデータ300に追加され、車両12のオーナーズマニュアルへの対応情報がエージェントサーバ16の車両OM対応データ200に追加されることを指す。
【0111】
[第2の実施形態]
第1の実施形態では、テキスト情報及びCAN情報に基づいて意図推定処理を実行し、一のインテントラベルを取得していた。これに対し、第2の実施形態では、意図推定処理において複数のインテントラベルを取得し、CAN情報を参照して一のインテントラベルに絞り込む意図特定処理を実行している。すなわち、推定処理として、意図推定処理と意図特定処理とを実行している。以下、質問に対する回答を提示する場合の処理における第1の実施形態との相違点について説明する。
【0112】
本実施形態の車両12において乗員が質問をした場合おいて、回答が提示されるまでの処理について、図13及び図14のシーケンス図を用いて説明する。
【0113】
図13のステップS60からステップS63までの処理については、図10のステップS40からステップS43までの処理と同じである。
【0114】
ステップS64において、OMA対話制御部36は車両情報から対応するOM品番を特定する。つまり、車両12の車体番号、車種、グレード、及び装備品等に対応するオーナーズマニュアルを特定する。
【0115】
ステップS65において、OMA対話制御部36は、OM品番から対応する意図推定エンジンIDを特定する。つまり、車両12のオーナーズマニュアルに対応する意図推定エンジンを特定する。
【0116】
ステップS66において、OMA対話制御部36は、HMIサーバ14から取得したテキスト情報、及び意図推定エンジンIDを意図推定部38に提供する。
【0117】
ステップS67において、意図推定部38は推定処理の一つである意図推定処理を実行する。これにより、意図推定部38は、テキスト情報に対応するインテントラベルを出力する。例えば、「メータのランプが光ったけど何」というテキスト情報に対して、推定された意図に対応する複数のインテントラベルが出力される。
【0118】
図14のステップS68において、意図推定部38は、確信度が所定値を超える複数のインテントラベルをOMA対話制御部36に提供する。なお、確信度が所定値を超えるインテントラベルが出力されなかった場合、意図推定部38はインテントラベルがないことを示すラベルなし情報をOMA対話制御部36に提供する。
【0119】
ステップS69において、OMA対話制御部36は、参照すべきCAN情報があるか否かの判定を行う。例えば、意図推定処理の結果、表示1、表示2及び表示10に関係する警告灯についてのインテントラベルを取得しているとする。この場合、警告灯に係るCAN情報が参照できるため、参照すべきCAN情報があると判定される。OMA対話制御部36は、参照すべきCAN情報があると判定した場合、ステップS70に進む。一方、OMA対話制御部36は、参照すべきCAN情報がないと判定した場合、ステップS74に進む。
【0120】
ステップS70において、OMA対話制御部36はCAN情報を検索する。すなわち、OMA対話制御部36は、データサーバ19からCAN情報の取得を試みる。
【0121】
ステップS71において、OMA対話制御部36は車両情報及び発話開始時刻をデータサーバ19に向けて送信する。
【0122】
ステップS72において、データサーバ19ではデータ管理部39がCAN情報又は情報なし通知をエージェントサーバ16に送信する。ステップの詳細については、図10のステップS46に同じである。
【0123】
ステップS73において、特定部としてのOMA対話制御部36はCAN情報から推定処理の一つである意図特定処理を実行する。これにより、OMA対話制御部36は、複数のインテントからCAN情報に対応する一のインテントラベルを取得する。例えば、タイヤ空気圧警告灯が点灯していることを示すCAN情報が取得された場合、複数のインテントラベルからタイヤ空気圧警告システムに係るインテントラベルが取得される。すなわち、意図推定部38による意図推定処理と、OMA対話制御部36による意図特定処理とにより、推定処理が実行される。
【0124】
以下、ステップS74からステップS78までの処理については、図11のステップS52からステップS56までの処理と同じである。
【0125】
以上の処理を行う本実施形態のマニュアル提供システム10によれば、第1の実施形態と同様の効果を得ることができる。
【0126】
[第3の実施形態]
第1及び第2の実施形態では、HMIサーバ14、エージェントサーバ16及びデータサーバ19を異なるサーバ30としている。これに対し、第3の実施形態では、図15に示されるように、HMIサーバ14及びデータサーバ19をエージェントサーバ16に統合している。
【0127】
本実施形態のマニュアル提供システム10においても、第1及び第2の実施形態と同様の効果を得ることができる。
【0128】
[備考]
上記各実施形態では、乗員の発話に基づく音声情報をHMIサーバ14に対する入力情報としていたが、これに限らず、タッチパネルであるモニタ28に対する乗員の操作に基づく操作情報を入力情報としてもよい。この場合の操作情報とは、例えば、乗員がモニタ28に対して入力した文字列に関するテキスト情報が挙げられる。
【0129】
上記第3の実施形態では、マニュアル提供システム10を構成するHMIサーバ14及びデータサーバ19をエージェントサーバ16に統合したが、さらにOMサーバ18を統合してもよい。また、HMIサーバ14、エージェントサーバ16、OMサーバ18、データサーバ19のうち、一部のサーバ30を統合してもよい。また、エージェントサーバ16においては、OMA対話制御部36及び意図推定部38の機能をそれぞれ異なるサーバ30に配置してもよい。
【0130】
なお、上記実施形態でCPU20A、30Aがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した受付処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0131】
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、サーバ30における処理プログラム100は、ストレージ30Dに予め記憶されている。しかしこれに限らず、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0132】
上記各実施形態における処理は、1つのプロセッサによって実行されるのみならず、複数のプロセッサが協働して実行されるものであってもよい。上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【符号の説明】
【0133】
10 マニュアル提供システム(エージェントシステム)
12 車両
16 エージェントサーバ(エージェント装置)
20 車載器
28 モニタ
38 意図推定部(推定部)
50 受付部
53 確認部
54 指示部
100 処理プログラム(プログラム)
200 車両OM対応データ(データベース)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15