特開 2025-98470 車載装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025098470

(43)【公開日】2025-07-02

(54)【発明の名称】車載装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250625BHJP

   G06F 3/0346 20130101ALI20250625BHJP

   G06F 3/16 20060101ALI20250625BHJP

   G10L 15/00 20130101ALI20250625BHJP

   G10L 15/24 20130101ALI20250625BHJP

   B60R 11/02 20060101ALI20250625BHJP

【ＦＩ】

G06F3/01 510

G06F3/0346 423

G06F3/16 610

G06F3/16 630

G10L15/00 200J

G10L15/24 Q

B60R11/02 M

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023214613

(22)【出願日】2023-12-20

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(71)【出願人】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100102141

【弁理士】

【氏名又は名称】的場 基憲

(74)【代理人】

【識別番号】100137316

【弁理士】

【氏名又は名称】鈴木 宏

(72)【発明者】

【氏名】小沢 浩史

(72)【発明者】

【氏名】木下 由貴

【テーマコード（参考）】

3D020

5B087

5E555

【Ｆターム（参考）】

3D020BA11

3D020BA20

3D020BB01

3D020BC01

3D020BE03

5B087AA09

5B087BC32

5E555AA11

5E555BA23

5E555BB23

5E555BC04

5E555BE10

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555CC01

5E555CC03

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

【課題】操作対象物を音声操作する従来の車載装置では、操作対象物を推定するのが困難になることがあった。
【解決手段】音声認識装置１と、視線認識装置２と、これらの装置１，２からの信号に基づいて車両における複数の操作対象物を制御するためのコントローラ４とを備え、視線認識装置２が、少なくとも運転席側領域Ａと助手席側領域Ｂに対する夫々の視線方向を認識する機能を有し、コントローラ４が、操作対象物を特定する対象物特定部８と、コマンドを生成するコマンド生成部９と、特定した操作対象物にコマンドを送信する送信部１０を備えた構成とし、運転中の乗員の視線が常に動くことを踏まえたうえで、短時間の視線移動と簡易な音声で操作対象物を精度良く作動させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の乗員の音声操作を受け付ける車載装置であって、
前記乗員の音声を認識する音声認識装置と、
前記乗員の視線方向を認識する視線認識装置と、
前記音声認識装置及び前記視線認識装置からの信号に基づいて前記車両における複数の操作対象物を制御するためのコントローラとを備え、
前記視線認識装置が、少なくとも運転席側領域と助手席側領域に対する夫々の視線方向を認識する機能を有し、
前記コントローラが、
前記音声認識装置が認識した音声から前記操作対象物を特定する対象物特定部と、
前記音声認識装置が認識した音声からコマンドを生成するコマンド生成部と、
前記視線認識装置が認識した視線方向に応じて、特定した前記操作対象物に前記コマンドを送信する送信部とを備えたことを特徴とする車載装置。

【請求項2】

前記コントローラが、前記視線認識装置による視線方向を認識した後に、前記音声認識装置による音声を認識することを特徴とする請求項１に記載の車載装置。

【請求項3】

前記音声認識装置が、前記操作対象物の名称と動作とを組み合わせた音声を認識することを特徴とする請求項１に記載の車載装置。

【請求項4】

前記コントローラが、前記乗員の音声が発せられた時点又はそれ以前から前記視線認識装置による視線方向を認識していることを特徴とする請求項１に記載の車載装置。

【請求項5】

前記視線認識装置が、前記運転席側領域及び前記助手席側領域に加えて、車内上側領域と、車内後側領域に対する夫々の視線方向の認識が可能であることを特徴とする請求項１に記載の車載装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車載された各種の操作対象物を乗員の音声及び視線の認識により作動させるのに用いる車載装置に関するものである。

【背景技術】

【0002】

従来において、上記車載装置としては、例えば、特許文献１に記載されているものがある。特許文献１には、乗員の音声を認識する音声認識手段と、乗員の視線方向を認識する視線方向認識手段と、音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、視線方向認識手段が認識した視線方向に応じて、コマンドを処理するコマンド処理手段とを備えた車載装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０６９９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の車載装置にあっては、運転中の乗員の視線が常に動くことから、どの操作対象物を音声操作しようとしているのが推定するのが困難になることがあった。なお、操作対象物を一定の時間見続けるようにすれば、視線を用いた音声操作が可能になるが、１箇所に注目するのは運転中の動作として好ましくない。

【0005】

本発明は、上記従来の状況に鑑みて成されたものであって、運転中の乗員の視線が常に動くことを踏まえたうえで、短時間の視線移動と簡易な音声で操作対象物を精度良く作動させることができる車載装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明に係わる車載装置は、車両の乗員の音声操作を受け付ける車載装置であって、乗員の音声を認識する音声認識装置と、乗員の視線方向を認識する視線認識装置と、音声認識装置及び視線認識装置からの信号に基づいて車両における複数の操作対象物を制御するためのコントローラとを備えている。視線認識装置は、少なくとも運転席側領域と助手席側領域に対する夫々の視線方向を認識する機能を有している。そして、上記の車載装置は、コントローラが、音声認識装置が認識した音声から操作対象物を特定する対象物特定部と、音声認識装置が認識した音声からコマンドを生成するコマンド生成部と、視線認識装置が認識した視線方向に応じて、特定した操作対象物にコマンドを送信する送信部とを備えたことを特徴としている。

【発明の効果】

【0007】

本発明に係わる車載装置は、上記構成を採用したことにより、運転中の乗員の視線が常に動くことを踏まえたうえで、短時間の視線移動と簡易な音声で操作対象物を精度良く作動させることができる。

【図面の簡単な説明】

【0008】

【図1】本発明に係わる車載装置の第１実施形態を説明するブロック図である。

【図2】車載装置の視野認識装置に設定した各領域を示す説明図（Ａ）、視野データ及び音声データの時系列を示す説明図（Ｂ）、窓開放時の状態を示す説明図（Ｃ）である。

【図3】主制御装置の処理工程を示すフローチャートである。

【図4】後方ドア開放時の状態を示す説明図（Ａ）、フロントワイパー作動時の状態を示す説明図（Ｂ）、及びリア作動時の状態を示す説明図（Ｃ）である。

【発明を実施するための形態】

【0009】

＜第１実施形態＞
車載装置は、車両の乗員の音声操作を受け付けるものであって、図１に示すように、概略として、乗員の音声を認識する音声認識装置１と、乗員の視線方向を認識する視線認識装置２と、主制御装置３を備えると共に、主制御装置３が、音声認識装置１及び視線認識装置２からの信号に基づいて車両における複数の操作対象物を制御するためのコントローラ４を備えている。

【0010】

主制御装置３は、音声認識装置１からの信号を入力する音声データ受付部５と、視線認識装置２からの信号を入力する視線データ受付部６と、各種データの記憶部７を備えている。コントローラ４は、音声認識装置１が認識した音声から操作対象物を特定する対象物特定部８と、音声認識装置１が認識した音声からコマンドを生成するコマンド生成部９と、視線認識装置２が認識した視線方向に応じて、対象物特定部８が特定した操作対象物に、コマンド生成部９が生成したコマンドを送信する送信部１０とを備えている。

【0011】

コントローラ４からのコマンドは、コマンドの内容を表示や音で報知する報知部１２と、操作対象物群１１に送信される。操作対象物群１１は、代表的には、ドア、窓、フロント及びリアのワイパー等の操作対象物から成る群であり、夫々の操作対象物の駆動部にコマンドが送信される。この操作対象物群１１には、オーディオやエアコンなども含むことができる。

【0012】

音声認識装置１は、収音マイクを入力源とし、収音した乗員の音声から、操作対象物の名称と、その動作とを組み合わせた音声を認識する。この音声認識装置１は、単ユニット化されたものでも良いが、主制御装置３の機能の一部を含む構成であっても構わない。

【0013】

視線認識装置２は、赤外線カメラ等を入力源とした周知の装置であり、乗員の眼の動きから視線方向を認識する。視線方向の認識は、眼球のみの動きや顔の向きにより判断することができる。この視線認識装置１は、音声認識装置２と同様に、単ユニット化されたものでも良いが、主制御装置３の機能の一部を含む構成であっても構わない。

【0014】

音声認識装置１や視線認識装置２の入力源（マイクやカメラ）は、運転席の乗員の音声及び視線を取得し得る配置であれば良く、例えば図２（Ａ）に示すように、ルームミラーＲＭの上部に装着してある。

【0015】

ここで、視線認識装置２は、図２（Ａ）に示すように、少なくとも運転席側領域Ａと助手席側領域Ｂに対する夫々の視線方向を認識する機能を有しており、この実施形態では、ルームミラーＲＭの周囲である車内上側領域Ｃと、車内後側領域に対する夫々の視線方向の認識する機能を有している。

【0016】

上記の視線認識装置２は、運転席側領域Ａ、助手席側領域Ｂ、及び車内上側領域Ｃについては、乗員の眼の動きから視線方向を認識することが可能であり、車内後側領域については、乗員が振り向く動作をした際に、眼の動いた方向や顔の向きから認識することが可能である。

【0017】

コントローラ４は、操作対象物の特定やコマンド生成にあたり、視線認識装置２による視線方向を認識した後に、音声認識装置１による音声を認識する処理を行い、また、乗員の音声が発せられた時点又はそれ以前から視線認識装置２による視線方向を認識する処理を行う。

【0018】

図３は、主制御装置３の処理工程を示すフローチャートである。すなわち、主制御装置３は、処理を開始すると、ステップＳ１において視線認識装置２で取得した視線データを入力し、ステップＳ２において視線データを記憶する。次に、ステップＳ３において音声認識装置１で取得した音声データを受付た後、ステップＳ４において音声データが入力されたか否かを判定する。

【0019】

ステップＳ４で音声データの入力がない場合（ＮＯ）には、ステップＳ３に戻り、音声データの入力がある場合（ＹＥＳ）には、ステップＳ５に移行して、音声データに操作対象物が含まれるか否かを判定し、含まれていない場合（ＮＯ）には、ステップＳ３に戻る。

【0020】

ステップＳ５で音声データに操作対象物が含まれている場合（ＹＥＳ）には、ステップＳ６に移行して操作対象物を特定した後、ステップＳ７に移行して制御指令であるコマンドを生成し、さらに、ステップＳ８において操作対象物にコマンドを送信して処理を終了する。

【0021】

次に、上記車載装置の動作をより具体的に説明する。車両の走行中、乗員（運転者）の視線方向は、図２（Ｂ）の視線データに示す如く常に動いている。そこで、図２（Ｃ）に点線矢印で示すように、乗員Ｍが車両の左側すなわち助手席側領域Ｂを見たときに、図２（Ｂ）の音声データに示すように、「窓を開けて」と発声する。

【0022】

このとき、車載装置は、乗員Ｍの視線方向が助手席領域Ｂであることを認識すると共に、操作対象物が窓であることを認識する。これにより、車載装置は、視線データ及び音声データから、操作対象物が左側の窓であることを特定してコマンドを生成し、左側窓の駆動部にコマンドを送信する。その結果、車載装置は、図２（Ｂ）に示すように、乗員Ｍが発声した際の視線方向がドア付近であっても、助手席側左側の窓を自動的に開くことができる。

【0023】

なお、操作する際の音声は、操作対象物の名称とその動作を示す語句が含まれていれば良く、推定される語句を記憶部７にプログラムしておけば、「窓を開けて」だけでなく、「窓、開けて」、「窓を開放」、又は「窓、オープン（open）」等でも動作可能である。

【0024】

図４（Ａ）は、後方ドア開放時の状態を示す説明図である。この場合、車両は停止中であり、乗員Ｍが左後方に振り向いて「ドアを開けて」と発声する。このとき、車載装置は、乗員Ｍの視線方向（図中の点線矢印）が左側の車内後側領域であることを認識すると共に、操作対象物がドアであることを認識する。

【0025】

その後、車載装置は、視線データ及び音声データから操作対象物が左側の後方ドアであることを特定してコマンドを生成し、左側ドアの駆動部にコマンドを送信する。これにより、車載装置は、乗員が「左側の後方ドアを開けて」と発声しなくても、「ドアを開けて」の発声だけで、左側の後方ドアを自動的に開放する。また、開放されていたドアを閉めることも当然可能である。

【0026】

図４（Ｂ）は、フロントワイパー作動時の状態を示す説明図である。この場合、乗員Ｍが前方を見た状態で「ワイパー作動」と発声する。このとき、車載装置は、乗員Ｍの視線方向が運転席側領域Ａであることを認識すると共に、操作対象物がワイパーであることを認識する。

【0027】

その後、車載装置は、視線データ及び音声データから操作対象物がフロントのワイパーであることを特定してコマンドを生成し、フロントワイパーの駆動部にコマンドを送信する。これにより、車載装置は、乗員Ｍが「フロントワイパー作動」と発声しなくても、「ワイパー作動」の発声だけで、フロントワイパーを自動的に作動させる。

【0028】

図４（Ｃ）は、リアワイパー作動時の状態を示す説明図である。この場合、乗員ＭがルームミラーＲＭの付近である車内上側領域Ｃを見て「ワイパー作動」と発声する。このとき、車載装置は、乗員Ｍの視線方向（点線矢印）が車内上側領域Ｃであることを認識すると共に、操作対象物がワイパーであることを認識する。

【0029】

その後、車載装置は、視線データ及び音声データから操作対象物がリアワイパーであることを特定してコマンドを生成し、リアワイパーの駆動部にコマンドを送信する。

【0030】

これにより、車載装置は、乗員が「リアワイパー」と発声しなくても、しかも、後方を振り向かなくても、「ワイパー作動」の発声だけで、リアワイパーを自動的に作動させることができる。したがって、とくに車両の走行中には非常に便利である。また、作動していたフロント又はリアのワイパーを停止させることも当然可能である

【0031】

上記の車載装置は、少なくとも運転席側領域Ａ及び助手席側領域Ｂに対する夫々の視線方向を認識する機能を有する視線認識装置２を採用したことから、特定される領域がラフに設定されることとなり、乗員Ｍの視線が常に動くことを踏まえたうえで、短時間の視線移動（いわゆる「チラ見」）と、簡易な音声で操作対象物を精度良く作動させることができる。さらに、上記の車載装置は、視線データから得た複数の候補から操作対象を特定する必要がないので、高精度で高価な視線認識装置を用いなくても、視線方向と音声だけで操作対象物を精度良く作動させることができる。

【0032】

また、上記の車載装置は、視線認識装置２による視線方向を認識した後に、音声認識装置１による音声を認識することから、操作対象物を特定して確実に作動させることができる。

【0033】

さらに、上記の車載装置は、音声認識装置１が、操作対象物の名称と動作とを組み合わせた音声を認識する。つまり、音声認識装置１は、目的語と動詞の組み合わせが人の発語として自然であるから、運転中であっても簡易な内容を発声するだけで、操作対象物を特定して確実に作動させることができる。

【0034】

さらに、上記の車載装置は、乗員が発声した時点又はそれ以前から視線認識装置２による視線方向を認識しており、過去の視線データも含めて認識することで、操作対象物を一定時間見る必要がなく、視線データと音声データで操作対象物を特定して確実に作動させることができる。

【0035】

さらに、上記の車載装置は、視線認識装置２が、運転席側領域Ａ及び助手席側領域Ｂに加えて、車内上側領域Ｃと、車内後側領域に対する夫々の視線方向の認識が可能であるから、乗員よりも後ろに配置されている操作対象物を確実に作動させることができ、利便性のさらなる向上を実現する。

【0036】

本発明に係わる車載装置は、その構成が上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0037】

１ 音声認識装置
２ 視線認識装置
４ コントローラ
８ 対象物特定部
９ コマンド生成部
１０ 送信部
Ａ 運転席側領域
Ｂ 助手席側領域
Ｃ 車内上側領域
Ｍ 乗員（運転者）

【図1】

【図2】

【図3】

【図4】