IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トヨタ自動車株式会社の特許一覧

<>
  • 特許-車両制御システム及び車両制御方法 図1
  • 特許-車両制御システム及び車両制御方法 図2
  • 特許-車両制御システム及び車両制御方法 図3
  • 特許-車両制御システム及び車両制御方法 図4
  • 特許-車両制御システム及び車両制御方法 図5
  • 特許-車両制御システム及び車両制御方法 図6
  • 特許-車両制御システム及び車両制御方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】車両制御システム及び車両制御方法
(51)【国際特許分類】
   G10L 15/32 20130101AFI20240625BHJP
   G06F 3/16 20060101ALI20240625BHJP
   G10L 15/22 20060101ALI20240625BHJP
   G10L 15/00 20130101ALI20240625BHJP
【FI】
G10L15/32 220Z
G06F3/16 650
G10L15/22 453
G10L15/00 200Q
【請求項の数】 7
(21)【出願番号】P 2021055248
(22)【出願日】2021-03-29
(65)【公開番号】P2022152464
(43)【公開日】2022-10-12
【審査請求日】2023-03-23
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】渥美 竜太
【審査官】堀 洋介
(56)【参考文献】
【文献】特開2013-140269(JP,A)
【文献】特開2016-045487(JP,A)
【文献】特開2015-141226(JP,A)
【文献】特開2020-153917(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 15/00-15/34
G06F 3/16
(57)【特許請求の範囲】
【請求項1】
携帯端末と、前記携帯端末と無線通信を行う車載装置とを含む車両制御システムであって、
前記車載装置は、
音声を認識する第1音声認識部と、
前記第1音声認識部において認識された音声に応じた車両の制御を実行する第1制御部とを含み、
前記携帯端末は、
音声を認識する第2音声認識部と、
前記第2音声認識部において認識された音声に応じた前記車両の制御を特定する特定部と、
前記特定した前記車両の制御を実行するよう前記第1制御部へ指示する指示部と、
前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合であって、かつ、前記第1音声認識部による音声の認識が動作している場合に、前記第2音声認識部の動作状態に応じた報知を行わないように制御する第2制御部とを含む
車両制御システム。
【請求項2】
前記特定部は、前記第1音声認識部による音声の認識が動作している場合に、前記車両の制御の特定を行わない請求項記載の車両制御システム。
【請求項3】
前記第1制御部は、前記携帯端末の前記特定部によって特定した車両の制御より、前記第1音声認識部によって認識された音声に応じた車両の制御を優先して実行する請求項1又は2記載の車両制御システム。
【請求項4】
前記第1制御部は、前記車載装置において取得した情報に基づいて、人が乗車しているか否かを判断し、人が乗車していないと判断した場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する請求項1又は2記載の車両制御システム。
【請求項5】
前記第1制御部は、前記携帯端末において取得した情報に基づいて、人が乗車していないと判断される場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する請求項1又は2記載の車両制御システム。
【請求項6】
前記第1制御部は、前記第2音声認識部によって認識された音声に特定の文字列が含まれる場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する請求項1~請求項の何れか1項記載の車両制御システム。
【請求項7】
携帯端末と、前記携帯端末と無線通信を行う車載装置とを含む車両制御システムにおける車両制御方法であって、
前記車載装置の第1音声認識部が、音声を認識し、
前記車載装置の第1制御部が、前記第1音声認識部において認識された音声に応じた車両の制御を実行し、
前記携帯端末の第2音声認識部が、音声を認識し、
前記携帯端末の特定部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を特定し、
前記携帯端末の指示部が、前記特定した前記車両の制御を実行するよう前記第1制御部へ指示し、
前記携帯端末の第2制御部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合であって、かつ、前記第1音声認識部による音声の認識が動作している場合に、前記第2音声認識部の動作状態に応じた報知を行わないように制御する
車両制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両制御システム及び車両制御方法に関する。
【背景技術】
【0002】
特許文献1には、車両と通信可能なマイクを備える携帯装置であって、乗員の発話指示に基づいて車両へ所定の制御を実行させるコマンドを出力する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2017/0308689号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、車両側にも、車載装置として音声認識装置が備えられている場合がある。乗員が車載装置へ発話をしたつもりであっても、携帯装置も音声認識してしまう場合には、車載装置側で対応可能であって携帯装置側で対応していないコマンドであれば、携帯装置が対応していないという内容を乗員にフィードバックしてしまい、乗員に違和感を与える。
【0005】
本発明は、車載装置側での音声認識と携帯端末での音声認識とを考慮して適切に報知する車両制御システム及び車両制御方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の車両制御システムは、携帯端末と、前記携帯端末と無線通信を行う車載装置とを含む車両制御システムであって、前記車載装置は、音声を認識する第1音声認識部と、前記第1音声認識部において認識された音声に応じた車両の制御を実行する制御部とを含み、前記携帯端末は、音声を認識する第2音声認識部と、前記第2音声認識部において認識された音声に応じた前記車両の制御を特定する特定部と、前記特定した前記車両の制御を実行するよう前記制御部へ指示する指示部と、前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合に、少なくとも前記第1音声認識部の動作状態に応じて報知する報知部とを含む。
【0007】
請求項1に記載の車両制御システムでは、前記車載装置において、第1音声認識部が、音声を認識し、制御部が、前記第1音声認識部において認識された音声に応じた車両の制御を実行する。また、前記携帯端末において、第2音声認識部が、音声を認識し、特定部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を特定し、指示部が、前記特定した前記車両の制御を実行するよう前記制御部へ指示する。また、報知部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合に、少なくとも前記車載装置の前記第1音声認識部の動作状態に応じて報知する。これにより、携帯端末で認識された音声に応じた車両の制御を特定できなかった場合に、車載装置の音声認識の動作状態に応じて、車両の制御を特定できなかったことを報知する。すなわち、車載装置側での音声認識と携帯端末での音声認識とを考慮して適切に報知することができる。なお、音声に応じた車両の制御を特定する、とは、音声で指示された車両の制御内容を特定することである。また、報知する、とは、認識された音声に対するフィードバックを報知することである。
【0008】
請求項2に記載の車両制御システムは、請求項1に記載の車両制御システムにおいて、前記報知部は、前記特定部によって前記車両の制御を特定できなかった場合であって、かつ、前記第1音声認識部による音声の認識が動作している場合に、前記報知を中止する。これにより、携帯端末で認識された音声に応じた車両の制御を特定できなかった場合であっても、車載装置の音声認識が動作している場合には、車両の制御を特定できなかったことを報知しないようにすることができる。
【0009】
請求項3に記載の車両制御システムは、請求項1又は2に記載の車両制御システムにおいて、前記特定部は、前記第1音声認識部による音声の認識が動作している場合に、前記車両の制御の特定を行わない。これにより、車載装置の音声認識が動作している場合には、携帯端末で認識された音声に応じた車両の制御の特定を行わないようにし、携帯端末で認識された音声に応じた報知を中止するようにすることができる。
【0010】
請求項4に記載の車両制御システムは、請求項1~請求項3の何れか1項記載の車両制御システムにおいて、前記制御部は、前記携帯端末の前記特定部によって特定した車両の制御より、前記第1音声認識部によって認識された音声に応じた車両の制御を優先して実行する。これにより、携帯端末によって特定した車両の制御と、車載装置によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0011】
請求項5に記載の車両制御システムは、請求項1~請求項3の何れか1項記載の車両制御システムにおいて、前記制御部は、前記車載装置において取得した情報に基づいて、人が乗車しているか否かを判断し、人が乗車していないと判断した場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する。これにより、携帯端末によって特定した車両の制御と、車載装置によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0012】
請求項6に記載の車両制御システムは、請求項1~請求項3の何れか1項記載の車両制御システムにおいて、前記制御部は、前記携帯端末において取得した情報に基づいて、人が乗車していないと判断される場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する。これにより、携帯端末によって特定した車両の制御と、車載装置によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0013】
請求項7に記載の車両制御システムは、請求項1~請求項6の何れか1項記載の車両制御システムにおいて、前記制御部は、前記第2音声認識部によって認識された音声に特定の文字列が含まれる場合、前記第1音声認識部によって認識された音声に応じた車両の制御より、前記携帯端末の前記特定部によって特定した車両の制御を優先して実行する。これにより、携帯端末によって特定した車両の制御と、車載装置によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0014】
請求項8に記載の車両制御方法は、携帯端末と、前記携帯端末と無線通信を行う車載装置とを含む車両制御システムにおける車両制御方法であって、前記車載装置の第1音声認識部が、音声を認識し、前記車載装置の制御部が、前記第1音声認識部において認識された音声に応じた車両の制御を実行し、前記携帯端末の第2音声認識部が、音声を認識し、前記携帯端末の特定部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を特定し、前記携帯端末の指示部が、前記特定した前記車両の制御を実行するよう前記制御部へ指示し、前記携帯端末の報知部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合に、少なくとも前記第1音声認識部の動作状態に応じて報知する。
【0015】
請求項8に記載の車両制御方法は、車載装置において、第1音声認識部が、音声を認識し、制御部が、前記第1音声認識部において認識された音声に応じた車両の制御を実行する。また、携帯端末において、第2音声認識部が、音声を認識し、特定部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を特定し、指示部が、前記特定した前記車両の制御を実行するよう前記制御部へ指示する。携帯端末の報知部が、前記第2音声認識部において認識された音声に応じた前記車両の制御を前記特定部で特定できなかった場合に、少なくとも前記第1音声認識部の動作状態に応じて報知する。これにより、携帯端末で認識された音声に応じた車両の制御を特定できなかった場合に、車載装置の音声認識の動作状態に応じて、車両の制御を特定できなかったことを報知する。すなわち、車載装置側での音声認識と携帯端末での音声認識とを考慮して適切に報知することができる。
【発明の効果】
【0016】
本発明によれば、車載装置側での音声認識と携帯端末での音声認識とを考慮して適切に報知することができる。
【図面の簡単な説明】
【0017】
図1】本発明の実施形態に係る車両制御システムの構成例を示す図である。
図2】本発明の実施形態に係る車両制御システムの機能ブロックを示す図である。
図3】本発明の第1の実施形態に係る処理を示すシーケンス図である。
図4】本発明の第2の実施形態に係る処理を示すシーケンス図である。
図5】本発明の第3の実施形態に係る処理を示すシーケンス図である。
図6】本発明の第5の実施形態に係る処理の一例を示すシーケンス図である。
図7】本発明の第5の実施形態に係る処理の他の例を示すシーケンス図である。
【発明を実施するための形態】
【0018】
[第1の実施形態]
図1は、第1の実施形態に係る車両制御システムの構成例を示す図である。
【0019】
(構成)
車両制御システム100は、一例としてユーザの耳に装着される端末装置10と、ユーザに所持される携帯端末20と、車両に搭載される車載装置30とを含む。端末装置10は、車載装置30からの距離が一定以内である所定範囲500内にあるときは、車載装置30と無線通信が可能である。また、携帯端末20は、例えばスマートフォンのような携帯型端末装置であり、端末装置10からの距離が一定以内であるときは、端末装置10と無線通信が可能である。所定範囲500は、例えば車載装置30から10m程度以下の範囲である。
【0020】
図2に、車両制御システム100の機能ブロックの一例を示す。端末装置10は、ユーザの耳穴に放音する放音部11と、ユーザの音声を収音する収音部13と、携帯端末20及び車載装置30との無線通信を行う端末通信部14とを含み、さらに各種ボタンや加速度センサ等を含んでもよい。また、端末装置10は、これらの各部の動作を制御する端末制御部15を含む。端末通信部14は、例えば、Bluetooth(登録商標)を用いた無線通信を行う。
【0021】
また、端末装置10は、耳内の音響反射音に基づいてユーザの認証を行うユーザ認証部と、車載装置30と無線通信可能な所定範囲500内に入った場合、無線通信により車載装置30との間で認証を行う第1の認証部と、を含む。端末通信部14は、ユーザの認証及び車載装置30との間の認証が成功した後、収音した音声のデータを、携帯端末20へ送信する。
【0022】
携帯端末20は、携帯制御部21を含む。携帯制御部21は、端末装置10で収音した音声を認識する第2音声認識部22と、認識された音声に応じた車両の制御を特定する特定部23と、を含む。
【0023】
また、携帯制御部21は、特定した車両の制御を実行するよう後述する車載装置30のボデーECU34へ指示する指示部24と、特定部23で特定できなかった場合に、後述する第1音声認識部31の動作状態に応じて端末装置10により報知する報知部25とを含む。
【0024】
特定部23は、第1音声認識部31による音声の認識が動作している場合に、認識された音声に応じた車両の制御の特定を行わない。これにより、報知部25は、第1音声認識部31による音声の認識が動作している場合には、第2音声認識部22により認識された音声に対応するフィードバックを報知しない。
【0025】
また、携帯端末20は、端末装置10、車載装置30、及びサーバ(図示省略)との通信を行う携帯通信部26を含み、さらに、ユーザからの入力を受け付ける入力部やユーザへの通知を表示する表示部等を含む。第2音声認識部22は、サーバとの通信を行って、収音した音声を認識するようにしてもよい。携帯通信部26は、例えば、Bluetooth(登録商標)を用いて、端末装置10及び車載装置30との間の無線通信を行う。
【0026】
車載装置30は、端末装置10で収音した音声を認識する第1音声認識部31と、端末装置10及び携帯端末20との通信を行う車載通信部32と、認識された音声に応じた車両の制御を実行する車載制御部33と、車載センサ36とを含む。車載制御部33は、ボデーECU34及び制御対象機器35を含む。制御対象機器35は、例えば、パワーウィンドウを制御するためのパワーウィンドウECU、スライドルーフを制御するためのスライドルーフECU、パワーバックドアを制御するためのパワーバックドアECU、又はパワースライドドアを制御するためのパワースライドドアECUを含む。
【0027】
第1音声認識部31は、端末装置10で収音した音声を認識するとともに、ナビゲーションシステムのマルチメディア制御を行う。また、第1音声認識部31は、例えば、Bluetooth(登録商標)を用いて、端末装置10との間の無線通信を行い、車載LANを用いて、ボデーECU34との間の通信を行う。
【0028】
車載通信部32は、例えば、Bluetooth(登録商標)を用いて、端末装置10及び携帯端末20との間の無線通信を行い、車載LANを用いて、第1音声認識部31との間の通信を行う。
【0029】
車載装置30は、第1の認証部と通信して端末装置10との間で認証を行う第2の認証部を含む。
【0030】
端末制御部15、携帯制御部21、及び車載制御部33は、それぞれ、制御処理プログラムを実行するCPUと、制御処理に用いる情報を適宜記憶する記憶部とを含む。制御処理プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶されている。また、携帯通信部26及び車載通信部32は、外部のサーバと、例えばインターネット等のネットワークを介した無線通信を行ってもよい。
【0031】
(処理)
図3は、端末装置10、携帯端末20、及び車載装置30が行う処理を説明するシーケンス図である。図3を参照して、処理内容を説明する。
【0032】
まず、端末装置10は耳穴認証を行う。耳穴認証は、端末装置10が耳に装着されたときに行われてもよく、その後定期的に行われてもよく、端末装置10がなんらかの動作を行うごとにその前に行ってもよい。端末装置10のユーザ認証部は、一例として、認証用の音を放音部11から耳道に放音し、その反響音を収音部13で取得し、反響音の特性を、予め登録された正規のユーザの反響音の特性を比較することで、ユーザを認証する。認証失敗の場合は以降の処理を行わない。なお認証用の音は、可聴帯域の音でもよく、超音波のような非可聴帯域の音でもよい。可聴帯域の音の場合は、認証処理を行うことをその音でユーザが知ることができる。また、非可聴帯域の音の場合、認証処理前に「認証を行います」のような音声でユーザに通知してもよい。
【0033】
そして、図3の処理は、例えば、携帯端末20が、車載装置30との無線通信が可能な所定範囲500内に到達した際に開始される。
【0034】
ステップS101において、携帯端末20の携帯通信部26と車載装置30の車載通信部32との間で無線通信が行われ、通信が確立される。このとき、端末装置10の識別子が車載装置30にあらかじめ登録された正規の識別子に一致するか照合することにより、認証を行う。あるいは、車載装置30の識別子が端末装置10にあらかじめ登録された正規の識別子に一致するか照合することにより認証してもよい。認証失敗の場合は以降の処理を行わない。
【0035】
端末装置10は、認証が成功した場合、放音部11を駆動してユーザに対して通知を行う。ユーザはこれにより、端末装置10が、車載装置30との通信可能範囲に入ったことを知ることができる。通知の方法は限定されず、端末装置10がバイブレーターを備え振動で行ってもよい。
【0036】
ステップS102において、端末装置10の端末通信部14と携帯端末20の携帯通信部26との間で無線通信が行われ、通信が確立される。また、ステップS103において、車載装置30の第1音声認識部31と車載通信部32との間で通信が行われ、通信が確立される。
【0037】
ステップS104において、車載装置30は、第1音声認識部31が起動したか否かを判定する。第1音声認識部31が起動した場合には、ステップS105へ進む。
【0038】
ステップS105において、車載装置30の第1音声認識部31は、車載通信部32及び携帯端末20の携帯通信部26を介して、端末装置10の端末通信部14へ第1音声認識部31が起動されたことを通知する。
【0039】
ステップS106において、端末装置10は、第1音声認識部31が起動されたことを示す通知があったか否かを判定する。第1音声認識部31が起動されたことを示す通知があった場合には、ステップS107へ進む。
【0040】
ステップS107において、端末装置10は、携帯端末20の携帯通信部26との間で確立された通信を切断する。
【0041】
ステップS108において、端末装置10は、車載装置30の第1音声認識部31と、無線通信により接続し、ステップS109において、端末装置10の端末通信部14と車載装置30の第1音声認識部31との間で通信が行われ、通信が確立される。
【0042】
そして、ユーザが、ウェイクアップワード(WuW:Wake Up Word)と、車両の制御を指示するための音声コマンドとを発話すると、ステップS110において、端末装置10の収音部13は、収音した音声のデータを、第1音声認識部31へ送信する。
【0043】
ステップS111において、車載装置30の第1音声認識部31は、収音した音声を認識し、コマンドに変換し、ボデーECU34へ送信する。
【0044】
ステップS112において、ボデーECU34が、第1音声認識部31からコマンドを受信し、制御対象機器35へ、コマンドを転送する。
【0045】
ステップS113において、制御対象機器35が、ボデーECU34からコマンドを受信し、コマンドに応じた制御を実行する。
【0046】
ステップS114において、制御対象機器35が、上記ステップS113の実行結果を、ボデーECU34に対してフィードバックする。
【0047】
ステップS116において、ボデーECU34が、上記ステップS114のフィードバックに対応するフィードバックIDを、第1音声認識部31へ転送する。
【0048】
ステップS117において、第1音声認識部31は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。
【0049】
ステップS118において、端末装置10は、放音部11により、音声データに応じた音声を出力する。そして、ユーザが、上記ステップS113の実行結果をフィードバックする音声を受領する。
【0050】
(第1の実施形態のまとめ)
本実施形態の車両制御システムでは、携帯端末で認識された音声に応じた車両の制御を特定できなかった場合であっても、車載装置の音声認識が動作している場合には、車両の制御を特定できなかったことを報知しないようにすることができる。すなわち、車載装置側での音声認識と携帯端末での音声認識とを考慮して適切に報知することができる。
【0051】
また、ユーザが端末装置10を装着したまま車両に乗車し、イグニッションスイッチをオンにすると、車載装置30の第1音声認識部31が動作する。そのとき、ユーザが音声で車両の制御を指示しようと発話すると、携帯端末20と車載装置30との双方において音声認識が行われる。これは、携帯端末20と車載装置30との双方で、お互いの動作状態を監視する手段がなく、お互いに調停する手段がないためである。本実施形態では、携帯端末20が、車載装置30の第1音声認識部31の起動を検知して、端末装置10と車載装置30の第1音声認識部31とを接続するように切り替える。これにより、携帯端末20と車載装置30との双方において音声認識が行われ、ユーザに不都合が生じることを抑制することができる。
【0052】
[第2の実施形態]
第1の実施形態では、端末装置10が音声を収音していた。これに対して、第2の実施形態では、端末装置10と、車載装置30のマイクとがそれぞれ音声を収音して、携帯端末20と車載装置30とで並行して、収音した音声を認識しコマンドに変換する点で第1の実施形態と異なる。以下、第1の実施形態との相違点について説明する。なお、同一の構成には同一の符号を付しており、説明については省略する。
【0053】
(構成)
携帯端末20の特定部23は、第1音声認識部31による音声の認識が動作しているか否かに関わらず、認識された音声に応じた車両の制御の特定を行う。
【0054】
報知部25は、特定部23によって車両の制御を特定できなかった場合であって、かつ、第1音声認識部31による音声の認識が動作している場合には、認識した音声に応じた車両の制御を特定できなかったことを示すフィードバックを報知しない。
【0055】
車載装置30の車載制御部33は、携帯端末20の特定部23によって特定した車両の制御より、第1音声認識部31によって認識された音声に応じた車両の制御を優先して実行する。
【0056】
(処理)
図4は、端末装置10、携帯端末20、及び車載装置30が行う処理を説明するシーケンス図である。図4を参照して、処理内容を説明する。本処理は、例えば、携帯端末20が、車載装置30との無線通信が可能な所定範囲500内に到達した際に開始される。
【0057】
ステップS201において、携帯端末20の携帯通信部26と車載装置30の車載通信部32との間で無線通信が行われ、通信が確立される。
【0058】
ステップS202において、端末装置10の端末通信部14と携帯端末20の携帯通信部26との間で無線通信が行われ、通信が確立される。また、ステップS203において、車載装置30の第1音声認識部31と車載通信部32との間で通信が行われ、通信が確立される。
【0059】
そして、ユーザが、ウェイクアップワードと、車両を制御するための音声コマンドとを発話すると、ステップS204において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信する。
【0060】
ステップS205において、車載装置30の第1音声認識部31は、収音した音声を認識し、コマンドに変換する。コマンドの変換に成功すると、当該コマンドをボデーECU34へ送信する。
【0061】
ステップS206では、ボデーECU34が、携帯端末20からコマンドを受信する。
【0062】
また、上記ステップS205と並行して、ステップS207において、車載装置30のマイクが音声を収音し、第1音声認識部31は、収音した音声を認識し、コマンドに変換し、ボデーECU34へ送信する。
【0063】
ステップS208において、ボデーECU34が、第1音声認識部31からコマンドを受信する。
【0064】
ステップS209において、ボデーECU34が、携帯端末20からのコマンドと、第1音声認識部31からのコマンドとを同時に受信したか否かを判定する。携帯端末20からのコマンドと、第1音声認識部31からのコマンドとを同時に受信した場合には、ステップS210において、ボデーECU34が、携帯端末20からのコマンドを破棄し、第1音声認識部31からのコマンドを、制御対象機器35へ転送する。
【0065】
一方、携帯端末20からのコマンド、及び第1音声認識部31からのコマンドの何れか一方のみ受信した場合には、ステップS211において、ボデーECU34が、受信した当該コマンドを、制御対象機器35へ転送する。
【0066】
ステップS212において、制御対象機器35が、ボデーECU34からコマンドを受信し、コマンドに応じた制御を実行する。
【0067】
ステップS213において、制御対象機器35が、上記ステップS212の実行結果を、ボデーECU34に対してフィードバックする。
【0068】
ステップS214において、ボデーECU34が、コマンドを、携帯端末20及び第1音声認識部31の何れから受信中であるかを判定する。コマンドを、第1音声認識部31のみから受信中であるか、あるいは、コマンドを、携帯端末20及び第1音声認識部31から同時に受信中である場合には、ステップS215において、ボデーECU34が、上記ステップS213のフィードバックを示すフィードバックIDを、第1音声認識部31へ転送する。
【0069】
ステップS216において、第1音声認識部31は、フィードバックIDに応じた音声データに変換し、車載装置30のスピーカを用いて、音声データに応じた音声を出力する。そして、ユーザが、上記ステップS212の実行結果をフィードバックする音声を受領する。
【0070】
また、コマンドを、携帯端末20のみから受信中である場合には、ステップS217において、ボデーECU34が、上記ステップS213のフィードバックを示すフィードバックIDを、車載通信部32へ転送する。
【0071】
ステップS218において、車載通信部32は、ボデーECU34から転送されたフィードバックIDを、電波に変換して、無線通信により、携帯端末20へ送信する。
【0072】
また、上記ステップS205においてコマンドの変換に失敗した場合には、ステップS219において、携帯端末20が、コマンドの変換に失敗したことを示すフィードバックIDを生成する。
【0073】
ステップS220において、携帯端末20が、第1音声認識部31が動作しているか否かを判定する。例えば、上記ステップS203での通信が確立されている場合には、第1音声認識部31が動作していると判断し、ステップS221において、携帯端末20が、上記ステップS219で生成したフィードバックIDを破棄する。一方、上記ステップS203での通信が確立されていない場合には、第1音声認識部31が動作していないと判断し、ステップS222へ移行する。
【0074】
ステップS222において、携帯端末20は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。
【0075】
ステップS223において、端末装置10は、放音部11により、音声データに応じた音声を出力する。そして、ユーザが、上記ステップS212の実行結果をフィードバックする音声、又はコマンドの変換に失敗したことをフィードバックする音声を受領する。
【0076】
(第2の実施形態のまとめ)
本実施形態の車両制御システムでは、携帯端末20の特定部23によって特定した車両の制御より、車載装置30の第1音声認識部31によって認識された音声に応じた車両の制御を優先して実行する。これにより、携帯端末20によって特定した車両の制御と、車載装置30によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0077】
本実施形態では、携帯端末20の音声認識と、車載装置30の第1音声認識部31の音声認識とを並行して動作させて、車載装置30の第1音声認識部31で認識された音声に応じた車両の制御の実行を優先する。これにより、携帯端末20と車載装置30との双方において音声認識が行われ、ユーザに不都合が生じることを抑制することができる。
【0078】
また、音声コマンドに応じたフィードバックを、車載装置30の第1音声認識部31で認識された音声に応じた車両の制御の実行状態を考慮して行うことにより、車両の制御が正しく実行されたように見せることができる。
【0079】
また、携帯端末20側で用意されていない音声コマンドである場合には、車載装置30の第1音声認識部31が動作していれば、携帯端末20で認識した音声に応じたフィードバック(「〇〇は動作できません」)を停止することができる。例えば、車載装置30側で用意されている音声コマンドが、ナビゲーションシステムの操作、パワーウィンドウの操作、及びスライドルーフの操作に関するものであり、携帯端末20側で用意されている音声コマンドが、パワーウィンドウの操作、スライドルーフの操作、ドアロックの操作、パワーバックドアの操作、及びパワースライドドアの操作に関するものである。この場合、音声コマンドが、携帯端末20側で用意されていない、ナビゲーションシステムの操作に関するものであっても、車載装置30の第1音声認識部31が動作していれば、携帯端末20で認識した音声に応じたフィードバック(「〇〇は動作できません」)を停止することができる。
【0080】
[第3の実施形態]
第2の実施形態では、車載装置30で特定した車両の制御を優先して実行していた。これに対して、第3の実施形態では、人が乗車していないと判断された場合、携帯端末20で特定した車両の制御を優先して実行する点で第2の実施形態と異なる。以下、第2の実施形態との相違点について説明する。なお、同一の構成には同一の符号を付しており、説明については省略する。
【0081】
(構成)
車載装置30の車載制御部33は、人が乗車しているか否かを判断し、人が乗車していないと判断した場合、第1音声認識部31によって認識された音声に応じた車両の制御より、携帯端末20の特定部23によって特定した車両の制御を優先して実行する。
【0082】
具体的には、車載制御部33は、車載センサ36を用いて、人の位置判定を行い、車室内か車室外かを判断する。例えば、車載センサ36として、乗員モニタ、着座センサ、シートベルトバックル、又は侵入者センサを用いて、人が車室内にいるか車室外にいるかを判断する。
【0083】
あるいは、ドアセンサ及び着座センサを用いて、人が車室内にいるか車室外にいるかを判断する。例えば、ドアセンサにより、ドアが開状態から閉状態となったことが検出され、かつ、着座センサにより、着座していないことが検出された場合に、人が車室外にいると判断する。また、ドアセンサにより、ドアが開状態であることが検出され、かつ、着座センサにより、着座していないことが検出された場合に、人が車室外にいると判断する。また、ドアセンサにより、ドアが閉状態であることが検出され、かつ、着座センサにより、着座していることが検出され、かつ、イグニッションスイッチがオンである場合に、人が車室内にいると判断する。
【0084】
あるいは、車両電源のオンオフと、停車中であるか否かとを用いて、人が車室内にいるか車室外にいるかを判断する。例えば、車両電源がオンであり、かつ、シフトレバーがパーキングレンジである場合に、人が車室外にいる可能性があると判断する。また、車両電源がオンであり、かつ、シフトレバーがパーキングレンジ以外である場合に、人が車室内にいると判断する。
【0085】
車載制御部33は、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドと、携帯端末20の特定部23によって特定した車両の制御のコマンドとを同時に受信した場合には、人が車室内にいると判断されれば、携帯端末20の特定部23によって特定した車両の制御のコマンドを破棄して、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドを実行する。一方、車載制御部33は、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドと、携帯端末20の特定部23によって特定した車両の制御のコマンドとを同時に受信した場合には、人が車室外にいると判断されれば、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドを破棄して、携帯端末20の特定部23によって特定した車両の制御のコマンドを実行する。
【0086】
あるいは、車載制御部33は、人が車室内にいると判断した場合に、携帯端末20の第2音声認識部22を停止させる。
【0087】
(処理)
図5は、端末装置10、携帯端末20、及び車載装置30が行う処理を説明するシーケンス図である。図5を参照して、処理内容を説明する。本処理は、例えば、携帯端末20が、車載装置30との無線通信が可能な所定範囲500内に到達した際に開始される。なお、上記図4と同様の処理については同一符号を付して説明を省略する。
【0088】
まず、上記図4のステップS201~S209と同様の処理が行われる。
【0089】
そして、ステップS301において、ボデーECU34が、車載センサ36を用いて、人が乗車しているか否かを判断する。人が乗車していると判断された場合には、ステップS210において、ボデーECU34が、携帯端末20からのコマンドを破棄し、第1音声認識部31からのコマンドを、制御対象機器35へ転送する。
【0090】
一方、人が乗車していないと判断された場合には、ステップS302において、ボデーECU34が、第1音声認識部31からのコマンドを破棄し、携帯端末20からのコマンドを、制御対象機器35へ転送する。
【0091】
そして、上記図4のステップS211~S223と同様の処理が行われる。
【0092】
(第3の実施形態のまとめ)
本実施形態の車両制御システムによれば、携帯端末20によって特定した車両の制御と、車載装置30によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。特に、車両の電源がオンになっていても、車載センサ36から人が乗車していないと判断された場合には、携帯端末20によって特定した車両の制御を優先して実行することができる。
【0093】
[第4の実施形態]
第3の実施形態では、車載センサ36を用いて、人が乗車しているか否かを判断していた。これに対して、第4の実施形態では、端末装置10で得られる情報を用いて、人が乗車しているか否かを判断する点で第3の実施形態と異なる。以下、第3の実施形態との相違点について説明する。なお、同一の構成には同一の符号を付しており、説明については省略する。
【0094】
(構成)
端末装置10の収音部13は、収音したデータを、携帯端末20を介して、車載装置30へ送信する。車載装置30の車載制御部33は、端末装置10の収音部13で収音したデータに基づいて、人が乗車しているか否かを判断し、人が乗車していないと判断した場合、第1音声認識部31によって認識された音声に応じた車両の制御より、携帯端末20の特定部23によって特定した車両の制御を優先して実行する。
【0095】
具体的には、車載制御部33は、収音したデータから、人の位置判定を行い、車室内か車室外かを判断する。例えば、収音したデータから、ドアを閉状態とするときの音、ドアを閉状態とするときの風圧、又はドアを閉状態とするときの圧力変動を検知すると、人が車室内にいると判断する。また、収音したデータから、乗車時の特徴的な音として、ナビゲーションシステムが起動するときの音楽や、ETC起動音を検知すると、人が車室内にいると判断する。また、収音したデータから、ドアを開状態とするときの負圧を検知すると、人が車室外にいると判断する。
【0096】
なお、端末装置10に、動きを検出するためのセンサ(例えば、加速度センサ)が設けられている場合には、端末装置10は、当該センサのデータを、携帯端末20を介して、車載装置30へ送信する。車載装置30の車載制御部33は、端末装置10から受信したセンサのデータに基づいて、着座時の動きを検知した場合には、人が乗車していると判断し、退座時の動きを検知した場合には、人が乗車していないと判断するようにしてもよい。例えば、端末装置10から受信したセンサのデータに基づいて、歩行に応じた上下動、急峻な下向きの動作、回転動作、安定した動作を、順番に検知した場合には、人が車室内にいると判断する。また、端末装置10から受信したセンサのデータに基づいて、安定した動作、急峻な上向きの動作、歩行に応じた上下動を、順番に検知した場合には、人が車室外にいると判断する。
【0097】
なお、第4の実施形態の車両制御システムの他の構成及び処理については、第3の実施形態と同様であるため、説明を省略する。
【0098】
(第4の実施形態のまとめ)
本実施形態の車両制御システムによれば、携帯端末20によって特定した車両の制御と、車載装置30によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。特に、車両の電源がオンになっていても、端末装置10で得られた情報から人が乗車していないと判断された場合には、携帯端末20によって特定した車両の制御を優先して実行することができる。
【0099】
[第5の実施形態]
第3、第4の実施形態では、人が乗車していないと判断された場合に、携帯端末20の特定部23によって特定した車両の制御を優先して実行していた。これに対して、第5の実施形態では、携帯端末20で認識した音声に、特定の文字列が含まれる場合に、携帯端末20の特定部23によって特定した車両の制御を優先して実行する点で第3、第4の実施形態と異なる。以下、第3の実施形態との相違点について説明する。なお、同一の構成には同一の符号を付しており、説明については省略する。
【0100】
(構成)
車載装置30の車載制御部33は、携帯端末20で認識した音声に、特定の文字列が含まれるか否かを判断し、特定の文字列が含まれていると判断した場合、第1音声認識部31によって認識された音声に応じた車両の制御より、携帯端末20の特定部23によって特定した車両の制御を優先して実行する。
【0101】
具体的には、車載装置30の車載制御部33は、イグニッションスイッチがオフのときに、携帯端末20で認識した音声に、ウェイクアップワードである特定の文字列(例えば、「OK AAA」)が含まれる場合に、音声に応じて車両の制御を起動するとともに、確認のための音声フィードバックを、携帯端末20及び端末装置10を介して放音する。
【0102】
また、車載装置30の車載制御部33は、イグニッションスイッチがオンのときに、携帯端末20で認識した音声に、ウェイクアップワードである特定の文字列(例えば、「Outside AAA」)が含まれる場合に、音声に応じて車両の制御を起動するとともに、確認のための音声フィードバックを、携帯端末20及び端末装置10を介して放音する。
【0103】
また、車載装置30の車載制御部33は、イグニッションスイッチがオフのときに、携帯端末20で認識した音声に、音声コマンドである特定の文字列(例えば、「バックドア開けて」)が含まれる場合に、バックドアを開けるコマンドに変換し、ボデーECU34へ送信して実行させる。
【0104】
このとき、車載制御部33は、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドと、携帯端末20の特定部23によって特定した車両の制御のコマンドとを同時に受信している場合には、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドを破棄する。
【0105】
また、車載装置30の車載制御部33は、携帯端末20で認識した音声に、音声コマンドである特定の文字列(例えば、「外からバックドア開けて」)が含まれる場合に、バックドアを開けるコマンドに変換し、ボデーECU34へ送信して実行させる。
【0106】
このとき、車載制御部33は、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドと、携帯端末20の特定部23によって特定した車両の制御のコマンドとを同時に受信している場合には、第1音声認識部31によって認識された音声に応じた車両の制御のコマンドを破棄する。
【0107】
(処理)
図6は、端末装置10、携帯端末20、及び車載装置30が行う処理の一例を説明するシーケンス図である。図6を参照して、処理内容を説明する。本処理は、例えば、携帯端末20が、車載装置30との無線通信が可能な所定範囲500内に到達した際に開始される。また、イグニッションスイッチがオフである場合について説明する。
【0108】
まず、上記図4のステップS201~S203と同様の処理が実行される。
【0109】
そして、ユーザが、ウェイクアップワード「OK AAA」を発話すると、ステップS500において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信し、携帯端末20の第2音声認識部22は、収音した音声を認識し、特定部23が、コマンドに変換し、ボデーECU34へ送信する。
【0110】
ステップS501において、ボデーECU34が、携帯端末20からコマンドを受信する。ボデーECU34が、起動したことを示すフィードバックIDを、携帯端末20へ送信する。
【0111】
ステップS502において、携帯端末20は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。端末装置10は、放音部11により、音声データに応じた音声「Pi」を出力する。
【0112】
次に、ユーザが、音声コマンド「バックドア開けて」を発話すると、ステップS503において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信し、携帯端末20の第2音声認識部22は、収音した音声を認識し、特定部23が、コマンドに変換し、ボデーECU34へ送信する。
【0113】
ステップS504において、ボデーECU34が、携帯端末20からコマンドを受信し、受信した当該コマンドを、制御対象機器35へ転送する。制御対象機器35が、ボデーECU34からコマンドを受信し、コマンドに応じた制御を実行する。
【0114】
上記図6の処理において、イグニッションスイッチがオンである場合には、音声コマンド「バックドア開けて」を発話しても、ボデーECU34は、携帯端末20から受信したコマンドが、イグニッションスイッチがオンである場合には作動しないコマンドであると判断し、当該音声コマンドに対応していないことを示すフィードバックIDを、携帯端末20へ送信する。携帯端末20は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。端末装置10は、放音部11により、音声データに応じた音声(例えば、「サポートしていません」)を出力する。
【0115】
図7は、端末装置10、携帯端末20、及び車載装置30が行う処理の他の例を説明するシーケンス図である。図7を参照して、処理内容を説明する。本処理は、例えば、携帯端末20が、車載装置30との無線通信が可能な所定範囲500内に到達した際に開始される。また、イグニッションスイッチがオンであり、端末装置10及び携帯端末20を保持するユーザが、車室外にいる場合について説明する。また、端末装置10に、動きを検出するためのセンサ(例えば、加速度センサ)が設けられているとする。
【0116】
まず、上記図4のステップS201~S203と同様の処理が実行される。
【0117】
そして、ユーザが、ウェイクアップワード「OK AAA」を発話すると、ステップS510において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信し、携帯端末20の第2音声認識部22は、収音した音声を認識し、特定部23が、コマンドに変換し、ボデーECU34へ送信する。
【0118】
ステップS511において、ボデーECU34が、携帯端末20からコマンドを受信する。ボデーECU34が、車室外からの操作を確認することを示すフィードバックIDを、携帯端末20へ送信する。
【0119】
ステップS512において、携帯端末20は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。端末装置10は、放音部11により、音声データに応じた音声「外からの操作ですか?」を出力する。
【0120】
次に、ユーザが、応答「はい」を発話するか、あるいは、うなずく動作をすると、ステップS513において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信し、携帯端末20の第2音声認識部22は、収音した音声を認識し、特定部23が、コマンドに変換し、ボデーECU34へ送信する。
【0121】
あるいは、端末装置10のセンサは、当該センサのデータを、携帯端末20へ送信し、特定部23が、うなずく動作があったかどうか判断し、うなずく動作があったと判断された場合には、コマンドに変換し、ボデーECU34へ送信する。
【0122】
ステップS514において、ボデーECU34が、携帯端末20からコマンドを受信し、起動したことを示すフィードバックIDを、携帯端末20へ送信する。
【0123】
ステップS515において、携帯端末20は、フィードバックIDに応じた音声データに変換し、当該音声データを、端末装置10へ送信する。端末装置10は、放音部11により、音声データに応じた音声「Pi」を出力する。
【0124】
次に、ユーザが、音声コマンド「バックドア開けて」を発話すると、ステップS516において、端末装置10の収音部13は、収音した音声のデータを、携帯端末20の第2音声認識部22へ送信し、携帯端末20の第2音声認識部22は、収音した音声を認識し、特定部23が、コマンドに変換し、ボデーECU34へ送信する。
【0125】
ステップS517において、ボデーECU34が、携帯端末20からコマンドを受信し、受信した当該コマンドを、制御対象機器35へ転送する。制御対象機器35が、ボデーECU34からコマンドを受信し、コマンドに応じた制御を実行する。
【0126】
(第5の実施形態のまとめ)
本実施形態の車両制御システムによれば、車載装置30の車載制御部33は、携帯端末20によって認識された音声に特定の文字列が含まれる場合、車載装置30の第1音声認識部31によって認識された音声に応じた車両の制御より、携帯端末20の特定部23によって特定した車両の制御を優先して実行する。これにより、携帯端末20によって特定した車両の制御と、車載装置30によって認識された音声に応じた車両の制御との双方が存在する場合であっても、適切に車両の制御を実行することができる。
【0127】
特に、イグニッションスイッチがオンになっていても、携帯端末20によって認識された音声に特定の文字列が含まれている場合には、携帯端末20の特定部23によって特定した車両の制御を優先して実行することができる。
【0128】
また、携帯端末20側で認識した音声に応じた実行を優先する、ウェイクアップワード及び音声コマンドを、イグニッションスイッチがオンである場合に対して用意し、イグニッションスイッチがオフである場合と区別することができる。
【0129】
[備考]
なお、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した処理は、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0130】
また、上記実施形態において、プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶(インストール)されている態様で説明した。例えば、ECUにおいてプログラムは、ROMに予め記憶されている。しかしこれに限らず、各プログラムは、HDD(Hard Disk Drive)、及びSSD等のストレージに記憶されていてもよい。また、各プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0131】
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【符号の説明】
【0132】
10 端末装置
11 放音部
13 収音部
14 端末通信部
15 端末制御部
20 携帯端末
21 携帯制御部
22 第21音声認識部
23 特定部
24 指示部
25 報知部
26 携帯通信部
30 車載装置
31 第1音声認識部
32 車載通信部
33 車載制御部(制御部)
34 ボデーECU
35 制御対象機器
100 車両制御システム
図1
図2
図3
図4
図5
図6
図7