(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-27
(45)【発行日】2023-03-07
(54)【発明の名称】車載装置、通信システム
(51)【国際特許分類】
G06F 3/16 20060101AFI20230228BHJP
G06F 16/909 20190101ALI20230228BHJP
G01C 21/36 20060101ALI20230228BHJP
G01C 21/26 20060101ALI20230228BHJP
B60R 16/02 20060101ALI20230228BHJP
G06F 3/0346 20130101ALI20230228BHJP
G06F 3/038 20130101ALI20230228BHJP
G06F 3/0484 20220101ALI20230228BHJP
G06F 3/01 20060101ALI20230228BHJP
G06F 16/29 20190101ALI20230228BHJP
G09B 29/00 20060101ALI20230228BHJP
G09B 29/10 20060101ALI20230228BHJP
【ＦＩ】
G06F3/16 630
G06F16/909
G01C21/36
G01C21/26 C
B60R16/02 655Z
B60R16/02 640J
G06F3/16 610
G06F3/16 650
G06F3/0346 423
G06F3/038 310A
G06F3/0484
G06F3/01 510
G06F3/16 620
G06F16/29
G09B29/00 A
G09B29/10 A
【請求項の数】
11
(21)【出願番号】P 2018243753
(22)【出願日】2018-12-26
(65)【公開番号】P2020106997
(43)【公開日】2020-07-09
【審査請求日】2021-03-22
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】中山 高志
【審査官】木内 康裕
(56)【参考文献】
【文献】特開２０１７－０９０６１４（ＪＰ，Ａ）
【文献】特開２０１２－１６７９７０（ＪＰ，Ａ）
【文献】特開２００８－２９８５２２（ＪＰ，Ａ）
【文献】特開２００９－０８５７５０（ＪＰ，Ａ）
【文献】特開２００８－０１３０７０（ＪＰ，Ａ）
【文献】特開２００５－２６７０９２（ＪＰ，Ａ）
【文献】特開２０１６－０８１５１３（ＪＰ，Ａ）
【文献】国際公開第２０１８／２２６２４８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３３ － ３／０３９
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
Ｇ０６Ｆ ３／１６
Ｇ０６Ｆ １６／９０９
Ｇ０１Ｃ ２１／３６
Ｇ０１Ｃ ２１／２６
Ｂ６０Ｒ １６／０２
Ｇ０６Ｆ １６／２９
Ｇ０９Ｂ ２９／００
Ｇ０９Ｂ ２９／１０
(57)【特許請求の範囲】
【請求項1】
車両の乗員の音声操作を受け付ける車載装置であって、前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するＰＯＩを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする車載装置。
【請求項2】
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記検索の範囲を変更して前記検索に関する前記コマンドを処理することを特徴とする請求項１に記載の車載装置。
【請求項3】
前記コマンドはＰＯＩ（Point Of Interest）の検索に関し、前記コマンド処理手段は、前記視線方向に応じて検索するＰＯＩの範囲を変更することを特徴とする請求項１又は２に記載の車載装置。
【請求項4】
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側に存在するＰＯＩを検索するか、又は、左側に存在するＰＯＩを検索するか変更することを特徴とする請求項３に記載の車載装置。
【請求項5】
前記コマンド処理手段は、前記視線方向が正面の場合、進行方向の右側に存在するＰＯＩ、及び、左側に存在するＰＯＩを検索することを特徴とする請求項１～４のいずれか１項に記載の車載装置。
【請求項6】
前記コマンドはルートの探索に関し、前記コマンド処理手段は、前記視線方向に応じてルートの探索方法を変更することを特徴とする請求項１に記載の車載装置。
【請求項7】
車両の乗員の音声操作を受け付ける車載装置であって、前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする車載装置。
【請求項8】
前記コマンド検出手段は、前記音声認識手段が認識した音声からディスプレイに表示する映像に関するコマンドを検出し、前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向に応じて、前記ディスプレイに表示する映像を切り替えるコマンドを処理することを特徴とする請求項１に記載の車載装置。
【請求項9】
前記コマンド処理手段は、前記視線方向に応じて右側のカメラの映像を前記ディスプレイに表示するか、又は、左側のカメラの映像を前記ディスプレイに表示するか切り替えることを特徴とする請求項８に記載の車載装置。
【請求項10】
車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、
電子地図を表示するディスプレイと、を有し、
前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するＰＯＩを検索し、
前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、
前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理することを特徴とする通信システム。
【請求項11】
車両の乗員の音声操作を受け付ける車載装置と、前記車載装置とネットワークを介して通信するサーバとを有する通信システムであって、前記車両の乗員の音声を認識する音声認識手段と、
前記車両の乗員の視線方向を認識する視線方向認識手段と、
前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、
前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、を有し、
前記コマンド処理手段は、前記視線方向に応じて進行方向の右側の迂回ルートを探索するか、又は、左側の迂回ルートを探索するか変更することを特徴とする通信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載装置及び通信システムに関する。
【背景技術】
【0002】
運転中にユーザが操作ボタン等を操作しなくても車載装置等の操作を可能とするために、車載装置には従来から音声操作を受け付ける機能がある。例えば「近くのコンビニ」という発言に対し、現在地の近くのコンビニ又は目的地までのルート上のコンビニを車載装置が検索して表示する。
【0003】
図１は音声操作による施設の検索を説明する図の一例である。車両の乗員が例えば「周辺検索」と発言すると、図１（ａ）に示すように、音声で検索できる施設のジャンルが表示される。例えば「近くのファミレス」「近くのファーストフード」「近くのコンビニ」などが表示される。車両の乗員が例えば「近くのコンビニ」と発言すると、図１（ｂ）に示すように近くのコンビニのリストが検索して表示される。車両の乗員が「ここに行く」と発言するとリストの先頭の施設（ここではコンビニ）を目的地に設定し、「真ん中に行く」と発言するとリストの真ん中の施設を目的地に設定し、「一番下に行く」と発言するとリストの一番下の施設を目的地に設定し、この施設までのルートを探索する。
【0004】
図２は、音声操作による検索に関して車両の乗員に生じうる種々の状況を説明する図の一例である。走行中の車両の乗員の状況は様々であるが、例えば進行方向の「右側のコンビニだけを検索したい」、「中央分離帯があって左側の店にしか入れない」、又は、「渋滞していて、右側の店には入りにくい」などの状況が生じうる。これらの状況の場合、車両の乗員が「右側のコンビニ」「左側の店」又は「左側だけ」などの検索要素を付加したい場合がある。
【0005】
このような技術に関して、音声で発せられた方向に関する言葉で施設を検索する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、「左側の建物は何ですか」という発言から、左・右・前・後等の検索方向を判別して、指定された方向の施設を検索するナビゲーション装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００１－１３３２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来の技術では、音声操作のためのコマンドが長くなったり複雑になったりするという問題があった。例えば、特許文献１の技術では、施設を検索する音声とは別に方向などの検索要素を指定する音声を発言する必要がある。「右側のコンビニだけを検索したい」場合でも、「近くのコンビニ」と発言し、更に「右側」などと発言する必要があり、操作が煩わしいと感じられるおそれがある。
【0008】
また、ユーザが長い言葉や複雑な言葉を発言すると音声の認識率が低下するため、車載装置が音声を認識できなかったり、間違った検索を行ったりするおそれがあるという問題もある。
【0009】
このように、従来の技術では、比較的単純な言葉しか使用できないため、「近くのコンビニ」などのように距離に応じた検索を行うことができても、方向などの検索要素を付加することが困難であった。
【0010】
また、車載装置を音声操作で制御する場合、車載装置の種類や数が多くなるにつれて、より長い名称で車載装置を指定する必要がある。右又は左のサイドカメラの映像に切り替えたい場合、「右サイドカメラ」「左サイドカメラ」と発言する必要があり、操作が煩わしいと感じられるおそれがある。
【0011】
本発明は、上記課題に鑑み、音声操作のためのコマンドが長くなったり複雑になったりすることを抑制して音声操作が可能な車載装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記課題に鑑み、本発明は、車両の乗員の音声操作を受け付ける車載装置であって、前記車両の乗員の音声を認識する音声認識手段と、前記車両の乗員の視線方向を認識する視線方向認識手段と、前記音声認識手段が認識した音声からコマンドを検出するコマンド検出手段と、前記視線方向認識手段が認識した視線方向に応じて、前記コマンドを処理するコマンド処理手段と、電子地図を表示するディスプレイと、を有し、前記コマンド処理手段は、前記視線方向が前記ディスプレイの範囲内である場合、前記ディスプレイに表示されている電子地図の表示範囲に存在するＰＯＩを検索し、前記コマンド検出手段は、前記音声認識手段が認識した音声から検索に関する前記コマンドを検出し、前記コマンド処理手段は、前記視線方向認識手段が認識した視線方向を、検索要素に付加して前記検索に関する前記コマンドを処理ことを特徴とする。
【発明の効果】
【0013】
音声操作のためのコマンドが長くなったり複雑になったりすることを抑制して音声操作が可能な車載装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】音声操作による施設の検索を説明する図の一例である。
【図2】音声操作による検索に関して車両の乗員に生じうる種々の状況を説明する図の一例である。
【図3】車両の乗員の視線方向と車載装置が表示する電子地図に表示される施設の検索結果の一例を説明する図である。
【図4】車載装置の構成例を説明する図である。
【図5】車載装置が有する機能をブロック状に示す機能ブロック図の一例である。
【図6】右側、正面、左側、又は、ディスプレイと判断される視線方向を説明する図である。
【図7】コマンドの発言に対する視線方向の判断のタイミングを説明する図の一例である。
【図8】ディスプレイに表示された電子地図の一例を示す図である。
【図9】ルート又は走行中の道路に対し施設が右側か左側かの判断方法を説明する図の一例である。
【図10】ＨＵＤの表示例を示す図である。
【図11】車載装置が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。
【図12】車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。
【図13】車載装置が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。
【図14】車両に搭載されるカメラの配置例を示す図である。
【図15】車載装置が有する機能をブロック状に示す機能ブロック図の一例である（実施例３）。
【図16】車載装置が視線方向に応じてディスプレイに表示する映像を切り替える手順を示すフローチャート図の一例である。
【発明を実施するための形態】
【0015】
以下、本発明を実施するための形態の一例として車載装置と、車載装置が行う音声操作方法について図面を参照しながら説明する。
【実施例1】
【0016】
＜本実施形態の検索方法の概略＞
まず、図３を用いて、本実施形態の検索方法の概略について説明する。図３は、車両の乗員の視線方向と車載装置が表示する電子地図３０１に表示される施設の検索結果の一例を説明する図である。
まず、図３を用いて、本実施形態の検索方法の概略について説明する。図３は、車両の乗員の視線方向と車載装置が表示する電子地図３０１に表示される施設の検索結果の一例を説明する図である。
【0017】
本実施形態の車載装置は、音声により入力されたコマンドに視線方向を組み合わせることが特徴の１つとなっている。コマンドにより施設を検索する場合、視線方向に応じて右側、左側、又は正面、などの方向に関する検索要素を施設の検索に付加することができる。
【0018】
例えば、車両の乗員が右側１１を見ながら「近くのコンビニ」と発言した場合、車載装置は走行中の道路又は目的地までのルートに対し右側にあるコンビニだけ検索する。音声操作と視線方向を組み合わせることで、「右」などのキーワードを言わずともコマンドに基づく検索に方向の検索要素を組み合わせて施設などの検索を行うことができる。
・図３（ａ）は車両の乗員が左側１３を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図３０１にはルートに沿って左側にあるコンビニのみが検索され表示されている。
・図３（ｄ）は車両の乗員が右側１１を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図３０１にはルートに沿って右側にあるコンビニのみが検索され表示されている。
・図３（ｃ）は車両の乗員が車載装置のディスプレイ１４を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。ディスプレイ１４が表示中の電子地図内にあるコンビニが検索され電子地図３０１に表示されている。
・図３（ｂ）は車両の乗員が正面１２を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。正面１２を見ながら発言した場合、車両の乗員に検索要素を付加する意志がないと判断され、電子地図３０１にはルートの両側にあるコンビニが検索され表示されている。すなわち、従来と同様の検索も可能である。
・図３（ａ）は車両の乗員が左側１３を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図３０１にはルートに沿って左側にあるコンビニのみが検索され表示されている。
・図３（ｄ）は車両の乗員が右側１１を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。電子地図３０１にはルートに沿って右側にあるコンビニのみが検索され表示されている。
・図３（ｃ）は車両の乗員が車載装置のディスプレイ１４を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。ディスプレイ１４が表示中の電子地図内にあるコンビニが検索され電子地図３０１に表示されている。
・図３（ｂ）は車両の乗員が正面１２を見ながら「近くのコンビニ」と発言した場合の検索結果を示す図である。正面１２を見ながら発言した場合、車両の乗員に検索要素を付加する意志がないと判断され、電子地図３０１にはルートの両側にあるコンビニが検索され表示されている。すなわち、従来と同様の検索も可能である。
【0019】
このように、本実施形態の車載装置は、視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて検索を行うことができる。
【0020】
＜用語について＞
車両の乗員とは、施設を検索する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。
車両の乗員とは、施設を検索する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。
【0021】
車両とは、主に動力で移動する移動体をいう。例えば、自動車の他、動力付き二輪車（自動二輪車という）等でもよい。また、人力で移動する自転車などの軽車両がふくまれてよい。車椅子が含まれてもよい。
【0022】
コマンドは、車載装置の入力となる命令である。例えば、予め決まっている文字列がコマンドとなる。したがって、命令、操作音声、テキストなどと称してもよい。
【0023】
検索とはデータの中から必要な事項を探し出すことをいう。ＰＯＩ（Point Of Interest）を探し出すことが含まれるのはもちろんであるが、ルートの検索（探索）も含まれる。検索範囲は、検索対象とするデータの範囲をいう。検索範囲の変更とは検索対象とするデータの範囲を変えることをいう。例えば、検索するＰＯＩの範囲を変更する。
【0024】
コマンドを処理するとは、コマンドの内容に応じた機能を車載装置が提供するために内部的又は外部的に動作することをいう。コマンドの処理をコマンドの実行といってもよい。
【0025】
施設とはある目的のためで用意された設備であるが、何らかの物理的な設備があることまでは必要ない。地図上の特定のポイント（地点）であってもよくこれをＰＯＩという。
【0026】
＜構成例＞
図４は、車載装置１０の構成例を説明する図である。まず、図４（ａ）は車両に搭載された車載装置１０を示す。車載装置１０は車両に搭載された装置であり、本実施形態では少なくとも施設を検索する機能を有している。また、施設までのルートを探索してディスプレイ１４に表示する機能も有するとよい。このような車載装置１０をカーナビゲーション装置と呼ぶ場合がある。
図４は、車載装置１０の構成例を説明する図である。まず、図４（ａ）は車両に搭載された車載装置１０を示す。車載装置１０は車両に搭載された装置であり、本実施形態では少なくとも施設を検索する機能を有している。また、施設までのルートを探索してディスプレイ１４に表示する機能も有するとよい。このような車載装置１０をカーナビゲーション装置と呼ぶ場合がある。
【0027】
車載装置１０は出発地から目的地までのルートを探索して道路地図に設定し、ディスプレイ１４に表示された電子地図３０１にルートと現在地を表示したり、ルートに基づいて進路変更の手前で音声案内を出力したり、アニメーションなどで適切な進路を案内したりする。この他、ＡＶ(Audio Visual)の再生機能、インターネットとの通信機能等を有していてよい。車載装置１０は、チューナー、ＰＮＤ（Portable Navigation Device）、又は、カーオーディオなどと呼ばれる場合もある。
【0028】
なお、ナビゲーション機能を有さずに、主にＡＶ機能と通信機能を有する装置をディスプレイオーディオという。ディスプレイオーディオは、スマートフォンなどの端末装置との通信によりナビゲーションの機能を提供する。この場合、スマートフォンに搭載されるアプリがナビ画面を作成し、このナビ画面をディスプレイオーディオが通信で取得して車載装置側のディスプレイ１４に表示する。スマートフォンで動作するこのようなアプリとしてCarPlay（登録商標）やAndroid Auto（登録商標）等が知られている。車載装置１０はディスプレイオーディオでもよい。
【0029】
また、車載装置１０は、汎用的な情報処理端末である場合と車両に専用の専用端末の場合がある。汎用的な情報処理端末とは、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などがある。これらの装置は、普段は情報処理端末として利用されるが、ナビゲーションのためのアプリケーションソフトウェアを実行すると、専用端末と同様、ルート探索及びルート案内等を行う。専用端末は、上記のナビゲーション装置、チューナー、又は、カーオーディオの他、ＰＮＤ（Portable Navigation Device）等を言う。
【0030】
車載装置１０は、汎用的な情報処理端末とナビゲーション専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってもよい。つまり、車載装置１０は、車両に脱着可能であってよい。
【0031】
図４（ｂ）は車載装置１０とサーバ５０とを有する通信システム１００の概略構成図である。車載装置１０はネットワークを介してサーバ５０と通信する。施設などを検索する場合、車載装置１０で処理を完結するのでなく、車載装置１０がサーバ５０と通信して処理を行う場合がある。例えば、以下のような形態を採用しうる。
(i) サーバ５０が音声認識して、施設の検索を行い、検索結果を車両に送信する。
(ii) サーバ５０が音声認識して、コマンドを車載装置１０に送信し、車載装置１０が施設を検索する。
(iii) 車載装置１０が音声認識してコマンドをサーバ５０に送信し、サーバ５０が施設の検索を行い、検索結果を車両に送信する。
(i) サーバ５０が音声認識して、施設の検索を行い、検索結果を車両に送信する。
(ii) サーバ５０が音声認識して、コマンドを車載装置１０に送信し、車載装置１０が施設を検索する。
(iii) 車載装置１０が音声認識してコマンドをサーバ５０に送信し、サーバ５０が施設の検索を行い、検索結果を車両に送信する。
【0032】
【0033】
まず、音声認識の方法にはトリガー方式とトリガーレス方式があり、トリガー方式はステアリングスイッチの押下、又はある決まった発言（呼びかけ）を車載装置１０が検出した場合等に、音声からコマンドを検出するために音声の認識を開始する方式である。トリガーレス方式は、音声認識の機能が起動中、車載装置１０がコマンドを検出するために常に音声の認識を継続する方式である。
【0034】
サーバ５０が音声認識を行う場合、音声認識の性能という点では有利であるがトリガーレス方式では常に音声データをサーバ５０に送信し続けるため通信量が増大したり、レスポンスが遅れたりするおそれがある。車載装置１０による音声認識は音声認識の性能という点では不利であるが通信量を抑制でき、音声認識の結果が得られるまでのレスポンスが速くなる。
【0035】
したがって、トリガーレス方式では図４（ａ）、図４（ｂ）の(iii)の形態が好ましい可能性があり、トリガー方式では図４（ｂ）の(i)(ii)の形態が好ましい可能性がある。本実施形態では、車載装置１０で処理が完結される図４（ａ）の形態に基づいて説明するが、図４（ｂ）の(i)～(iii)の形態も採用できる。
【0036】
なお、図４（ｂ）の形態では、ナビゲーションに関する機能もサーバ５０が提供できる。例えば、車両８が現在地を送信するとサーバ５０がナビ画面を作成して車両８に送信し、車両８が２つのＰＯＩを送信するとルートを探索して車両８に送信する。また、電子地図を描画するための地図ＤＢ、道路の構造を表す道路構造ＤＢの少なくとも一部をサーバ５０が車両８に配信してもよい。
【0037】
＜車載装置が有する機能について＞
図５は、車載装置１０が有する機能をブロック状に示す機能ブロック図の一例である。車載装置１０は、画像データ取得部２１、視線方向認識部２２、音声データ取得部２３、音声認識部２４、コマンド検出部２５、施設検索部２６、位置検出部２７、ルート探索部２８、ルート案内部２９、操作受付部３０、及び、ナビ画面作成部３１を有している。
図５は、車載装置１０が有する機能をブロック状に示す機能ブロック図の一例である。車載装置１０は、画像データ取得部２１、視線方向認識部２２、音声データ取得部２３、音声認識部２４、コマンド検出部２５、施設検索部２６、位置検出部２７、ルート探索部２８、ルート案内部２９、操作受付部３０、及び、ナビ画面作成部３１を有している。
【0038】
車載装置１０が有するこれらの各機能は、車載装置１０が有する情報処理装置の一般的な機能（ＣＰＵ、ＲＡＭ、補助記憶装置、入出力Ｉ/Ｆ、ディスプレイ１４、キーボード、タッチパネル、通信装置等）により実現される。例えば、補助記憶装置からＲＡＭに展開されたプログラムをＣＰＵが実行することにより実現される機能又は手段である。
【0039】
また、車載装置１０は補助記憶装置やＲＡＭ等により形成される施設情報ＤＢ３５、道路構造ＤＢ３６、及び、地図ＤＢ３７を有している。まず、これらデータベースについて説明する。
【0040】
【表1】
表１（ａ）は、施設情報ＤＢ３５に記憶されているジャンル情報を模式的に示す。ジャンル情報は各施設のジャンルを索引的に検索できるデータベースであり、表１（ｂ）の施設詳細情報の施設と対応付けられている。また、ジャンル情報には一般的な施設のジャンルが格納されている。このジャンルで施設詳細情報が検索される。したがって、音声認識でジャンルを特定できれば、このジャンルの施設を検索できる。
【0041】
表１（ｂ）は、施設情報ＤＢ３５に記憶されている施設詳細情報を模式的に示す。施設詳細情報は、各施設に関する施設情報を有する。ジャンルごとに、例えば、施設名、店名、住所、電話番号、及び、ジャンル名などが登録されている。施設名はいわばブランド名であり、チェーン店の名称、屋号などである。店名は同じ施設名を区別するための名称であり、ない場合もある。住所は所在を示す。電話番号は連絡先である。ジャンルはこの施設を何らかの属性でグループ分けする際のグループ名であり、表１（ａ）のジャンルと対応付けられている。なお、１つの施設が複数のジャンルに属する場合がある。
【0042】
なお、施設詳細情報には、この他、施設が接しているリンクなどが登録されてよく、表１（ｂ）に示す情報には限られない。
【0043】
【表2】
【0044】
ノードテーブルには、ノードを識別するためのノードＩＤとノードの座標（緯度・経度）、交差点の有無、一時停止の有無等が登録されている。ノードとは道路網表現上の結節点である。ノードは例えば交差点、分岐点、合流点、屈曲点などである。ノードＩＤが分かればノードに繋がっているリンクがリンクテーブルから判明するので、車載装置１０はノードテーブルとリンクテーブルを相互に参照することで道路の構造を辿ることができる。なお、ノードテーブルには、この他、横断歩道の有無、接続されているリンク数などが登録されてよく、表２に示す情報には限られない。
【0045】
また、リンクテーブルにはリンクを識別するためのリンクＩＤ、リンクの始点ノード、リンクの終点ノード、リンク長、道路種別、及び、交通法規などが登録されている。リンクとはノードとノードを結ぶ道路を表し、リンクはノード同士を結ぶ線分となる。道路種別は、例えば一般道、高速道路、専用道路、私道などである。交通法規は、当該リンクで定められている（禁止又は制限されている）車両の運転に関する交通規則又は交通ルールである。なお、リンクテーブルには、この他、車線数、幅員、周囲の施設情報などが登録されてよく、表２に示す情報には限られない。
【0046】
地図ＤＢ３７は、電子地図３０１を描画するための地図データが記憶されている。電子地図３０１に表示される情報には、ベクトルデータやラスターデータで地図を描くためのデータが含まれている。地図データは経度・緯度などが既知のメッシュ状に区切られており、１つ以上のメッシュを結合して電子地図３０１が作成される。電子地図３０１に表示される情報には、都道府県などの区画、緑地や河川、道路や鉄道、記号や注記など多くの表示対象があるため、性質の似たものに分類し各分類ごとに描画できるようになっている。それぞれに分類された表示対象又は表示対象が描画された状態をレイヤーといい、電子地図３０１はいくつかのレイヤーを重ねることで描画される。
【0047】
図５に戻って説明する。画像データ取得部２１はカメラが撮像した画像データを取得する。カメラは車両の乗員の顔（更に詳細には目）を撮像できる位置に取り付けられている。例えば、センターコンソール、ステアリングコラム、メータパネル内、又は、運転席の近くのルーフのうちフロントウィンドウシールドに近い側などである。カメラは運転者の顔を撮像できるように赤外光を照射するとよい。カメラは所定のフレームレートで車両の乗員の顔の撮像を繰り返し行う。
【0048】
画像データ取得部２１は、所定のフレームレートで繰り返し撮像するカメラから画像データを取得する。カメラが撮像する全ての画像データを取得しなくてもよい。画像データは視線方向の検知に使用される他、顔認識による乗員の識別、眠気検知、等に使用される。乗員を監視する仕組みをドライバモニタリングシステムという。
【0049】
視線方向認識部２２は、車両の乗員の顔が写った画像データのうち目の撮像範囲から基準点と動点を検出して、基準点と動点の相対位置に基づいて視線方向を認識する。一例として、基準点に目頭、動点に虹彩を選ぶ方法と、基準点に角膜反射、動点に瞳孔を選ぶ方法とがある。基準点に角膜反射を使用する場合は赤外光などの点光源が照射される。
【0050】
視線方向認識部２２は、画像データから顔部分を特定し、顔部分から眉、鼻孔、目、唇などの特徴的な部品を特定し、これらの配置関係から目の位置を特定する。目の位置が特定されると目頭、虹彩、角膜反射及び瞳孔を検出できる。基準点と動点の相対位置に視線方向が対応付けられたテーブルが予め容易されており、視線方向認識部２２はこのテーブルを参照して視線方向を認識する。視線方向は例えばカメラの撮像素子の中心を原点とする三次元座標系のベクトルで表される。
【0051】
視線方向は画像データごとに送出されるため、視線方向認識部２２はカメラのフレームレートに準じて視線方向を認識する。検出される視線方向はある程度の誤差を有するので、視線方向認識部２２は複数の視線方向の平均を算出して用いてもよい。
【0052】
視線方向認識部２２は、視線方向が右側１１、正面１２、左側１３、又は、ディスプレイ１４のどれを向いているかを判断する。正面１２、左側１３、右側１１、又は、ディスプレイ１４を向いている視線方向の範囲は予め視線方向認識部２２がパラメータとして持っている。例えば、三次元のベクトルで視線方向が表される場合、正面方向をゼロする水平角度と垂直角度に変換する（極座標に変換する）。視線方向の水平角度と垂直角度がそれぞれ右側１１、正面１２、左側１３、又は、ディスプレイ１４に対応付けられた範囲内である場合に、視線方向が右側１１、正面１２、左側１３、又は、ディスプレイ１４を向いていると判断する。視線方向認識部２２は視線方向（右側１１、正面１２、左側１３、又は、ディスプレイ１４）を施設検索部２６に送出する。
【0053】
音声データ取得部２３は、トリガーレス方式で常に、マイク４１が集音した音声をＡ/Ｄ変換により電気信号に変換し音声データとして取得する。音声データは連続データなので、音声データ取得部２３は所定時間分（例えば２０ミリ秒など）の音声データを繰り返し取得する。所定時間は音声認識に有利な時間として設定されている。
【0054】
音声認識部２４は音声データをテキストデータに変換する音声認識を行う。テキストデータへの変換には公知の方法があると共に様々な方法がある。ここでは一例を説明する。まず、音声認識部２４は音声データを周波数スペクトルに変換して雑音に相当する周波数部分を除去するなどの処理を行う。次に、音声データからパターンの認識に役立つ情報として、フォルマント又はＭＦＣＣ（Mel Frequency Cepstrum Coefficient）を抽出する。これにより、音声データから数十次元の特徴ベクトルが得られる。そして、音声認識部２４は、音声の波形（トライフォンと呼ばれる３つの音素が組み合わされた組音素）とその時の音声のテキストデータとを紐付けた音響モデルを特徴ベクトルで検索してテキストデータを得る。テキストデータが一意に決まらない場合も少なくないため、音声認識部２４は、単語と単語のつながり方を確率で表現した言語モデルを使って、確率的に最も確からしいテキストデータを採用する。この方法では単語単位で認識されているため形態素解析は不要になる。文字単位で音声認識が行われる場合、音声認識部２４は形態素解析を行う。
【0055】
また、近年ではディープラーニングを利用した音声認識が一般的になっている。音声データは可変長の時系列データであるため、可変長データをニューラルネットワークで扱えるＲＮＮ（Recurrent Neural Network）と呼ばれる方法が使用される。
【0056】
音声認識部２４が認識したテキストデータはコマンド検出部２５に送出される。コマンド検出部２５はテキストデータに含まれるコマンドを検出して、コマンドに応じた機能（ブロック）を呼び出す。例えば、トリガーレス方式では予めいくつかのコマンドが定義されており、このコマンドがテキストデータに含まれるか否かを監視している。コマンドは、例えば、「近くのコンビニ」、「周辺検索」「近くのガソリンスタンド」「自宅に戻る」「ルート案内」「ルート消去」「地図表示」「オーディオ表示」「ダブルゾーン」「広域表示」「詳細表示」「フロントカメラ」「サイドカメラ」「コーナーカメラ」などである。
【0057】
コマンド検出部２５は、コマンドに応じた処理を実行する。例えば、「近くのコンビニ」、「周辺検索」「近くのガソリンスタンド」は検索に関するコマンドなので、検索要求を生成して、施設検索部２６に送出する。「自宅に戻る」「ルート案内」「ルート消去」はルート探索に関するコマンドなので、出発地と目的地を指定したルート探索要求を生成してルート探索部２８に送出する。「地図表示」「オーディオ表示」「ダブルゾーン」はディスプレイ１４の表示に関するコマンドなので、ナビ画面作成部３１に画面の表示切替を要求する。「広域表示」「詳細表示」は電子地図３０１の縮尺に関するコマンドなので、ナビ画面作成部３１に電子地図３０１の縮尺の変更を要求する。「フロントカメラ」「サイドカメラ」「コーナーカメラ」はカメラの映像の切り替えに関するコマンドなので、車載カメラのどのカメラが撮像した映像をディスプレイ１４に表示するかを切り替える。
【0058】
したがって、コマンド検出部２５は、例えば「近くのコンビニ」というコマンドに対しては、「近く」という距離に関する情報と「コンビニ」というジャンルを含む検索要求を施設検索部２６に送出する。
【0059】
施設検索部２６は、検索要求と視線方向を受け取り、視線方向に基づく方向を検索要素として検索要求に付加して、施設情報ＤＢ３５を検索する。
【0060】
操作受付部３０は、ルート探索のための２つのＰＯＩ（例えば出発地と目的地）の入力、ルート案内の開始、再探索の指示、ナビ画面の拡大・縮尺の指示、及び、表示範囲変更などの指示を車両の乗員から受け付ける。
【0061】
位置検出部２７は、定期的に及び車両の乗員の操作に応じて、ＧＰＳ受信機が行う電波測位により、車両の現在地を緯度、経度、及び標高の座標として検出する。なお、位置検出部２７は、自律航法用センサを使って詳細な位置を推定し、更にマップマッチングにより車両の位置を道路上に補正する。
【0062】
ルート探索部２８は、車両の乗員がルート探索を要求したりルートから車両が外れたりして再探索する場合に、道路構造ＤＢ３６を用いてルートを探索しルート情報を作成する。ルート探索には、リンク長や幅員、渋滞状況をコストに換算して、出発地から目的地までのコストの合計が最も少なくなるルートを選ぶダイクストラ法、ダイクストラ法にヒューリスティックコストを加えて探索するＡ*（エースター）法が知られている。また、決定したルートにおいて隣接するリンクのなす角が所定以上の場合、進行方向の変更が必要であると判断し、ルート情報において、進路変更の手前に案内ポイントを設定する。ルート探索部２８は、ルート探索で生成したルート情報をルート案内部２９、及び、ナビ画面作成部３１に送出する。
【0063】
ルート案内部２９は、現在地（位置情報）とルート情報に基づいてルート案内を行う。すなわち、車両の現在地がルート情報に含まれる案内ポイントに到達すると、曲がり角などを指示する音声データをスピーカ４３から出力する。なお、音声データはＭＰ３などの形式でデータ化されていてもよいし、案内用のテキストデータに基づいて音声合成をおこなって作成してもよい。
【0064】
ナビ画面作成部３１は、例えば車両の現在地の周囲を包含する電子地図３０１であって、ルートが強調表示された電子地図３０１を地図ＤＢ３７の地図データを用いて作成する。ナビ画面作成部３１は、更に車両の現在地を現在地マークなどで表示する。ナビ画面作成部３１は電子地図にメニューボタン等を加えてナビ画面を作成する。また、ナビ画面作成部３１は、大きな交差点など、拡大図が用意されている場所に車両が近づくと地図ＤＢ３７から地図データを取得して交差点等の拡大図を表示する。この他、ＡＶを操作する画面なども作成する。
【0065】
＜右側、正面、左側、又は、ディスプレイと判断される視線方向の一例＞
続いて、図６を用いて右側１１、正面１２、左側１３、又はディスプレイ１４と判断される視線方向について説明する。図６は、右側１１、正面１２、左側１３、又は、ディスプレイ１４と判断される視線方向を説明する図である。図示するように、視線方向の水平角度がφ１～φ２かつ垂直角度がθ１～θ２の間にある場合、視線方向が左側１３であると判断される。正面１２，右側１１、及び、ディスプレイ１４についても同様に、視線方向が水平角度と垂直角度の決まった範囲に入るかどうかにより視線方向が判断される。
続いて、図６を用いて右側１１、正面１２、左側１３、又はディスプレイ１４と判断される視線方向について説明する。図６は、右側１１、正面１２、左側１３、又は、ディスプレイ１４と判断される視線方向を説明する図である。図示するように、視線方向の水平角度がφ１～φ２かつ垂直角度がθ１～θ２の間にある場合、視線方向が左側１３であると判断される。正面１２，右側１１、及び、ディスプレイ１４についても同様に、視線方向が水平角度と垂直角度の決まった範囲に入るかどうかにより視線方向が判断される。
【0066】
なお、このような判断は一例であって、水平角度が閾値１（正面よりやや左側の方向を示す水平角度）よりも左の場合は左側１３と判断し、水平角度が閾値２（正面よりやや右側の方向を示す水平角度）よりも右の場合は右側１１と判断し、それ以外は正面１２と判断してもよい。すなわち、この場合は垂直角度を考慮しない。ただし、左側１３と判断する場合には、垂直角度と閾値３（ディスプレイ１４の上辺を示す垂直角度）と比較してディスプレイ１４を向いているか単に左側１３を向いているかを区別する。
【0067】
＜視線方向の判断のタイミング＞
車両の乗員がコマンドを発言するには一定の時間がかかるが、視線方向は瞬間の値としてフレームレートに応じて繰り返し判断される。一方、コマンドが認識されるためには、車両の乗員がコマンドを発言し終わっている必要がある。
車両の乗員がコマンドを発言するには一定の時間がかかるが、視線方向は瞬間の値としてフレームレートに応じて繰り返し判断される。一方、コマンドが認識されるためには、車両の乗員がコマンドを発言し終わっている必要がある。
【0068】
図７は、コマンドの発言に対する視線方向の判断のタイミングを説明する図の一例である。車両の乗員がコマンドを発言し終わっている必要があるという要請からは、図７（ａ）に示すように、コマンドが認識された直後の視線方向を、施設検索部２６が使用することが考えられる。車両の乗員としては、コマンドの言い終わりに所望の方向を向けばよいので操作しやすい。
【0069】
また、施設を探している車両の乗員は自然にその方向を見ることを考慮すると、図７（ｂ）に示すように、コマンドが認識された時点でなくコマンドの言い始めの時点の視線方向を、施設検索部２６が使用することも有効である。この場合、施設検索部２６は過去の一定時間の視線方向を保持しておき、コマンドの長さ（発言に要する時間）により決まった時刻だけ前の視線方向を施設検索部２６が使用することが考えられる。車両の乗員は実空間の施設を目視して探しながらコマンドを発言するという自然の使い方で施設を検索できる。
【0070】
また、車両の乗員がコマンドを言いながら所望の方向の施設を継続的に探すことを考慮すると、図７（ｃ）に示すように、コマンドが発言されている間の視線方向の平均を施設検索部２６が使用することも有効である。コマンドが発言されている時間は、コマンドの長さにより予め決まっている。車両の乗員はコマンドを言いながらある程度の時間、所望の方向を見ればよいので誤操作を低減できる。
【0071】
なお、車両の乗員が車両を制動することで視線方向がぶれる（大きく変わる）場合がある。この場合、視線方向の信頼性が低下しているので、制動が検出された場合、視線方向認識部２２が視線方向の認識を停止するか、又は、施設検索部２６が視線方向を検索に使用しないことが有効である。なお、車両の乗員が車両を制動したことは前後方向の加速度により検出できる。また、進行方向を変更している場合（右左折していたりＹ字路への進行中）は視線方向がぶれる（大きく変わる）場合があるので、この場合も同様に処理してよい。なお、車両が進行方向を変更していることはヨーレートにより検出できる。
【0072】
＜右側又は左側の施設の検索について＞
続いて、図８、図９を用いて右側又は左側の施設の検索について説明する。まず、図８を用いて、車両の「近く」の施設の検索について説明する。図８は検索範囲の説明に関してディスプレイ１４に表示された電子地図３０１の一例を示す。図８では、現在地マーク３０２とルート３０３が表示されているが、説明の便宜上、地物については省略した。
続いて、図８、図９を用いて右側又は左側の施設の検索について説明する。まず、図８を用いて、車両の「近く」の施設の検索について説明する。図８は検索範囲の説明に関してディスプレイ１４に表示された電子地図３０１の一例を示す。図８では、現在地マーク３０２とルート３０３が表示されているが、説明の便宜上、地物については省略した。
【0073】
電子地図３０１は上記のようにメッシュごとに描画されるので、１つに見える電子地図３０１は複数のメッシュ３０５を有している場合が多い。メッシュ３０５の４つの頂点の座標は既知である。また、スムーズなスクロールを実現するために電子地図３０１よりも大きいバッファ領域３０４が少なくとも１メッシュ分以上、メモリ上に描画されている。
【0074】
図８に示すように目的地までのルート３０３が設定されている場合、ルート３０３から外れることを望まない車両の乗員が多いため、ルート沿い（ルートに面した）の施設が検索される。また、目的地とは逆方向に戻ることは考えにくいので、進行方向の前方の施設が検索される。車両の近くとは、数分で到着できる範囲でもよいし、電子地図３０１に表示されている範囲でもよい。したがって、施設検索部２６は、現在地よりも前方のルート３０３が含まれるメッシュ３０５内に存在する施設であって、現在地から所定距離内の施設を施設情報ＤＢ３５から検索する。ルート沿いに限定するため（ルート３０３に面している施設に限定するため）、施設情報ＤＢ３５に登録されている施設が接しているリンクを利用して絞り込む。
【0075】
目的地までのルート３０３が設定されていない場合、車両が走行中であるか否かによって提供すべき施設が異なると考えられる。車両が走行中である場合、現在走行中の道路をルート３０３と見なして、目的地までのルート３０３が設定されている場合と同様に施設を検索する。車両が走行中でない場合、進行方向が不明なので、現在地から所定距離内の施設を施設情報ＤＢ３５から検索する。例えば、現在地があるメッシュ３０５とこれに隣接した８個のメッシュ３０５から施設を検索する。なお、車両が走行中であるかどうかは車速及び現在の位置情報の少なくとも一方から判断できる。
【0076】
本実施形態の車載装置１０は、視線方向が右側１１又は左側１３の場合、ルート３０３又は走行中の道路の右側又は左側の施設のみに絞り込む。
【0077】
図９は、ルート３０３又は走行中の道路に対し施設が右側か左側かの判断方法を説明する図の一例である。図９（ａ）に示すように、ルート３０３又は走行中の道路の右側と左側に施設３１１，３１２があるとする。まず、施設検索部２６は、図９（ｂ）に示すように、ルート３０３又は走行中の道路を構成するリンクのうち、施設に最寄りのリンク３１３を取り出す。
【0078】
施設３１１と進行方向から見たリンク３１３の始点とを結ぶ直線ｖ１、及び、施設３１１と進行方向から見たリンク３１３の終点とを結ぶ直線ｖ２、を考える。施設３１２についても同様に直線ｖ１，ｖ２を考える。ルート３０３又は走行中の道路に対し右側にある施設３１１の場合、直線ｖ１を直線ｖ２の方向に変更する回転方向は時計回りであり、ルート３０３又は走行中の道路に対し左側にある施設３１２の場合、直線ｖ１を直線ｖ２の方向に変更する回転方向は反時計回りである。
【0079】
２つのベクトルがある場合に時計回りか反時計回りかを判断するには外積を利用する方法がある。しがって、例えば以下のように施設３１１，３１２がルート３０３又は走行中の道路に対し右側か左側かを判断できる。
直線１×直線２が正 → 左側
直線１×直線２が負 → 右側
このように、施設検索部２６は近くの施設を検索して、ルート又は走行中の道路に対し右側又は左側になる施設のみを検索できる（絞り込むことができる）。
直線１×直線２が正 → 左側
直線１×直線２が負 → 右側
このように、施設検索部２６は近くの施設を検索して、ルート又は走行中の道路に対し右側又は左側になる施設のみを検索できる（絞り込むことができる）。
【0080】
なお、視線方向がディスプレイ１４を向いている場合は、電子地図３０１の表示範囲に座標を有する施設を検索すればよい。
【0081】
＜その他の視線方向＞
右側１１、正面１２、左側１３、又はディスプレイ１４以外に、ＨＵＤ（Head Up Display）を車両の乗員が見ているかどうかを判断してもよい。図１０は、ＨＵＤの表示例を示す。図１０に示すＨＵＤには「３００ｍ前方を右折する」ことがアイコンで示されているが、このようにＨＵＤには進行方向が表示される場合がある。
右側１１、正面１２、左側１３、又はディスプレイ１４以外に、ＨＵＤ（Head Up Display）を車両の乗員が見ているかどうかを判断してもよい。図１０は、ＨＵＤの表示例を示す。図１０に示すＨＵＤには「３００ｍ前方を右折する」ことがアイコンで示されているが、このようにＨＵＤには進行方向が表示される場合がある。
【0082】
車両の乗員はＨＵＤを見て進行方向を変更するタイミングを予測するが、進行方向の変更後にどのような施設があるか又は所望の施設があるが知りたい場合がある。そこで、ＨＵＤを見て車両の乗員がコマンドを発言した場合、施設検索部２６は最寄りの案内ポイントで車両が進行方向を変更した後の周辺検索を行うことが有効である。
【0083】
この場合、施設検索部２６は進行方向を変更するノードよりも前方のルート又は走行中の道路を含むメッシュから施設を検索する。この場合はルート又は走行中の道路の両側の施設が検索されるが、車両の乗員が右側又は左側に絞り込みたい場合は視線方向で改めて検索できる。
【0084】
＜動作手順＞
図１１は、車載装置１０が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。
図１１は、車載装置１０が視線方向を検索要素として施設を検索する手順を示すフローチャート図の一例である。
【0085】
ステップＳ１～Ｓ４は並列に実行される。ステップＳ１では画像データ取得部２１がカメラから画像データを取得する（Ｓ１）。視線方向認識部２２は画像データに写った顔画像から視線方向を認識する（Ｓ２）。
【0086】
音声データ取得部２３は常に音声データを取得しており（Ｓ３）、音声認識部２４が音声データをテキストデータに変換する（Ｓ４）。
【0087】
コマンド検出部２５はテキストデータに予め定めたコマンドが含まれるか否かを判断する（Ｓ５）。本実施形態では検索に関するコマンドが検出される。コマンドが検出されない場合（Ｓ５のＮｏ）、処理はステップＳ１に戻る。
【0088】
コマンドが検出された場合（Ｓ５のＹｅｓ）、施設検索部２６は検索要素とするために視線方向を特定する（Ｓ６）。すなわち、言い始め、言い終わり、又は、平均などから視線方向を特定する。また、制動や進行方向の変更があった場合は、制動後や進行方向の変更後の視線方向を無視する。
【0089】
次に、施設検索部２６は検索要求にしたがって例えば近くの施設を検索する（Ｓ７）。施設のジャンルは車両の乗員により指定されている。乗員が明示的に指定しなくてもよく、例えばよく行くジャンルの施設を検索してもよい。なお、視線方向がディスプレイ１４の場合、表示されている電子地図３０１の範囲内で検索しておくことができる。
【0090】
施設検索部２６が特定した視線方向に応じて処理が実行される（Ｓ８）。
・視線方向が左側１３の場合、左側の施設に絞り込む（Ｓ９）。
・視線方向が正面１２の場合、施設の絞り込みは行わない。
・視線方向が右側１１の場合、右側の施設に絞り込む（Ｓ１０）。
・視線方向がディスプレイ１４の場合、電子地図３０１の表示範囲で検索する（Ｓ１１）。この場合、ステップＳ７で検索しておけばステップＳ１１は不要になる。
・視線方向が左側１３の場合、左側の施設に絞り込む（Ｓ９）。
・視線方向が正面１２の場合、施設の絞り込みは行わない。
・視線方向が右側１１の場合、右側の施設に絞り込む（Ｓ１０）。
・視線方向がディスプレイ１４の場合、電子地図３０１の表示範囲で検索する（Ｓ１１）。この場合、ステップＳ７で検索しておけばステップＳ１１は不要になる。
【0091】
ナビ画面作成部３１は検索された施設のアイコン又はピンマークなどを電子地図３０１に表示する（Ｓ１２）。
【0092】
＜まとめ＞
以上説明したように、本実施形態の車載装置１０は、車両の乗員の視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて施設の検索を行うことができる。換言すると、車両の乗員が見ている方向に応じて施設の検索範囲を変更できる。したがって、施設を検索する音声とは別に方向など別の検索要素を指定する音声を発言する必要がないし、長い言葉や複雑な言葉を発言する必要がないので、音声の認識率が低下することもない。
以上説明したように、本実施形態の車載装置１０は、車両の乗員の視線方向を認識して、車両の乗員が見ている方向と音声操作を組み合わせて施設の検索を行うことができる。換言すると、車両の乗員が見ている方向に応じて施設の検索範囲を変更できる。したがって、施設を検索する音声とは別に方向など別の検索要素を指定する音声を発言する必要がないし、長い言葉や複雑な言葉を発言する必要がないので、音声の認識率が低下することもない。
【実施例2】
【0093】
本実施例では、ルート探索において視線方向に応じてルートの探索方法を変更する車載装置１０について説明する。すなわち、ルート探索の検索要素に視線方向を付加する。
【0094】
＜本実施形態のルート探索の概略＞
図１２は、車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。まず、図１２（ｃ）に示すように車両の乗員は運転席から前方を見ている。例えば、車両の乗員が右側１１を見ながら「迂回ルート」と発言した場合、車載装置１０はルート３０３に対し右側の（右折の）迂回ルート３２１だけ探索する。また、左側１３を見ながら発言した場合、ルートに対し左側の（左折の）迂回ルート３２０だけ検索する。
・図１２（ａ）は車両の乗員が左側１３を見ながら「迂回ルート」と発言した場合に探索された迂回ルート３２０を示す図である。ルート３０３の左側に迂回ルート３２０が表示されている。
・図１２（ｂ）は車両の乗員が右側１１を見ながら「迂回ルート」と発言した場合に探索された迂回ルート３２１を示す図である。ルート３０３の右側に迂回ルート３２１が表示されている。
図１２は、車両の乗員の視線方向と探索された迂回ルートの一例を説明する図である。まず、図１２（ｃ）に示すように車両の乗員は運転席から前方を見ている。例えば、車両の乗員が右側１１を見ながら「迂回ルート」と発言した場合、車載装置１０はルート３０３に対し右側の（右折の）迂回ルート３２１だけ探索する。また、左側１３を見ながら発言した場合、ルートに対し左側の（左折の）迂回ルート３２０だけ検索する。
・図１２（ａ）は車両の乗員が左側１３を見ながら「迂回ルート」と発言した場合に探索された迂回ルート３２０を示す図である。ルート３０３の左側に迂回ルート３２０が表示されている。
・図１２（ｂ）は車両の乗員が右側１１を見ながら「迂回ルート」と発言した場合に探索された迂回ルート３２１を示す図である。ルート３０３の右側に迂回ルート３２１が表示されている。
【0095】
例えば、右折レーンが混雑している場合には、ルート３０３の右側の迂回ルートを提案されても車両の乗員は採用しにくい。また、右側のレーンの走行しており左側のレーンが混雑している場合には、ルート３０３の左側の迂回ルートを提案されても採用しにくい。本実施例では、これらの場合、車両の乗員が視線方向を右又は左に向けるだけで、迂回ルート３２０，３２１の探索方向を制御できる。
【0096】
＜車載装置が有する機能について＞
本実施例では、実施例１の図５の機能ブロック図を援用して説明する。しかし、本実施例では視線方向認識部２２が認識した視線方向がルート探索部２８に入力される。ルート探索部２８は、視線方向が入力された場合、視線方向に応じてルート３０３又は走行中の道路に対し右側又は左側の迂回ルートを検索する。処理の流れは以下のようになる。
・例えば、現在地よりも前方で交差点があるノードを起点、現在のルート３０３の混雑が緩和されるノードを終点としてルート探索を行う。あるいは、所定距離前方のノードを終点としてもよい。
・現在のルート３０３に含まれるリンクであって、起点から終点までのリンクのコストを最大値に設定する。
・視線方向が右側１１の場合、ルート３０３に対し左方向に進路変更を伴うリンクのコストを最大値に設定し、視線方向が左側１３の場合、ルート３０３に対し右方向に進路変更を伴うリンクのコストを最大値に設定する。こうすることで、ルート３０３に対し右側又は左側の迂回ルートを探索できる。なお、ルート３０３に対し左方向又は右方向に進路変更を伴うリンクは、ルート３０３が有するリンクとのなす角により判断できる。
本実施例では、実施例１の図５の機能ブロック図を援用して説明する。しかし、本実施例では視線方向認識部２２が認識した視線方向がルート探索部２８に入力される。ルート探索部２８は、視線方向が入力された場合、視線方向に応じてルート３０３又は走行中の道路に対し右側又は左側の迂回ルートを検索する。処理の流れは以下のようになる。
・例えば、現在地よりも前方で交差点があるノードを起点、現在のルート３０３の混雑が緩和されるノードを終点としてルート探索を行う。あるいは、所定距離前方のノードを終点としてもよい。
・現在のルート３０３に含まれるリンクであって、起点から終点までのリンクのコストを最大値に設定する。
・視線方向が右側１１の場合、ルート３０３に対し左方向に進路変更を伴うリンクのコストを最大値に設定し、視線方向が左側１３の場合、ルート３０３に対し右方向に進路変更を伴うリンクのコストを最大値に設定する。こうすることで、ルート３０３に対し右側又は左側の迂回ルートを探索できる。なお、ルート３０３に対し左方向又は右方向に進路変更を伴うリンクは、ルート３０３が有するリンクとのなす角により判断できる。
【0097】
＜動作手順＞
図１３は、車載装置１０が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。なお、図１３の説明では主に図１１との相違を説明する。まず、ステップＳ１１～Ｓ１６はステップＳ１～Ｓ６と同様でよい。
図１３は、車載装置１０が視線方向を検索要素として迂回ルートを探索する手順を示すフローチャート図の一例である。なお、図１３の説明では主に図１１との相違を説明する。まず、ステップＳ１１～Ｓ１６はステップＳ１～Ｓ６と同様でよい。
【0098】
ルート探索に関するコマンドが検出され（Ｓ１５）、視線方向が特定できると（Ｓ１６）、施設検索部２６が特定した視線方向に応じて処理が実行される（Ｓ１７）。
・視線方向が左側１３の場合、ルート探索部２８はルート３０３又は走行中の道路に対し左側の迂回ルートを検索する（Ｓ１８）。
・視線方向が右側１１の場合、ルート探索部２８はルート３０３又は走行中の道路に対し右側の迂回ルートを検索する（Ｓ１９）。
・視線方向が左側１３の場合、ルート探索部２８はルート３０３又は走行中の道路に対し左側の迂回ルートを検索する（Ｓ１８）。
・視線方向が右側１１の場合、ルート探索部２８はルート３０３又は走行中の道路に対し右側の迂回ルートを検索する（Ｓ１９）。
【0099】
ナビ画面作成部３１は迂回ルートが強調された迂回ルートを含む電子地図３０１を作成してディスプレイ１４に表示する（Ｓ２０）。
【0100】
したがって、本実施例の車載装置１０によれば、車両の乗員が視線方向を右又は左に向けるだけで、迂回ルートの探索方向を制御できる。なお、迂回ルートは目的地までのルート３０３が設定されている場合だけでなく、ルート３０３が設定されていなくても探索できる。ルートが設定されていない場合、走行中の道路に対し迂回ルートが探索される。
【実施例3】
【0101】
本実施例では、ディスプレイ１４に表示する映像を視線方向によって切り替える車載装置１０について説明する。
【0102】
＜本実施形態のルート探索の概略＞
まず、図１４に示すように一台の車両には複数のカメラが搭載される場合がある。図１４は車両に搭載されるカメラの配置例を示す。フロントカメラ５１は主に広角カメラでＴ字路や十字路で左右の障害物を撮像するために使用される。右サイドカメラ５４と左サイドカメラ５３は、左サイド又は右サイドの死角を撮像するために使用される。バックカメラ５２は主に後退時に後方を撮像するために使用される。
まず、図１４に示すように一台の車両には複数のカメラが搭載される場合がある。図１４は車両に搭載されるカメラの配置例を示す。フロントカメラ５１は主に広角カメラでＴ字路や十字路で左右の障害物を撮像するために使用される。右サイドカメラ５４と左サイドカメラ５３は、左サイド又は右サイドの死角を撮像するために使用される。バックカメラ５２は主に後退時に後方を撮像するために使用される。
【0103】
例えば、車両の乗員が右側１１を見ながら「サイドカメラ」と発言した場合、車載装置１０は右サイドカメラ５４が撮像する映像をディスプレイ１４に表示する。また、左側１３を見ながら「サイドカメラ」と発言した場合、車載装置１０は左サイドカメラ５３が撮像する映像をディスプレイ１４に表示する。
・車両の乗員が右側１１を見ながら「サイドカメラ」と発言した場合、ディスプレイ１４には映像５５が表示される。映像５５には車両８の右後側方が写っている。
・車両の乗員が左側１３を見ながら「サイドカメラ」と発言した場合、ディスプレイ１４には映像５６が表示される。映像５６には車両８の左後側方が写っている。
・車両の乗員が右側１１を見ながら「サイドカメラ」と発言した場合、ディスプレイ１４には映像５５が表示される。映像５５には車両８の右後側方が写っている。
・車両の乗員が左側１３を見ながら「サイドカメラ」と発言した場合、ディスプレイ１４には映像５６が表示される。映像５６には車両８の左後側方が写っている。
【0104】
道路の左側又は右側に車両を寄せたい場合や狭い道路を走行中に側溝や障害物の有無を確認したい場合があるが、車両の乗員は視線方向を右又は左に向けてサイドカメラと発言するだけで、ディスプレイ１４に表示される映像を右サイドカメラ５４と左サイドカメラ５３が撮像した映像に切り替えることができる。
【0105】
＜車載装置が有する機能について＞
図１５は、車載装置１０が有する機能をブロック状に示す機能ブロック図の一例である。図１５の説明に関して、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
図１５は、車載装置１０が有する機能をブロック状に示す機能ブロック図の一例である。図１５の説明に関して、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【0106】
本実施例の車載装置１０はカメラ切替部３２を有している。カメラ切替部３２には視線方向認識部２２が認識した視線方向が入力される。また、カメラ切替部３２にはナビ画面だけでなく、フロントカメラ５１、バックカメラ５２、左サイドカメラ５３、及び、右サイドカメラ５４の映像が入力される。カメラ切替部３２は、右側という視線方向が入力された場合、右サイドカメラ５４の映像をディスプレイ１４に表示し、左側という視線方向が入力された場合、左サイドカメラ５３の映像をディスプレイ１４に表示する。
【0107】
＜動作手順＞
図１６は、車載装置１０が視線方向に応じてディスプレイ１４に表示する映像を切り替える手順を示すフローチャート図の一例である。なお、図１６の説明では主に図１１との相違を説明する。まず、ステップＳ２１～Ｓ２６はステップＳ１～Ｓ６と同様でよい。
図１６は、車載装置１０が視線方向に応じてディスプレイ１４に表示する映像を切り替える手順を示すフローチャート図の一例である。なお、図１６の説明では主に図１１との相違を説明する。まず、ステップＳ２１～Ｓ２６はステップＳ１～Ｓ６と同様でよい。
【0108】
ルート探索のコマンドが検出され（Ｓ２５）、視線方向が特定できると（Ｓ２６）、視線方向認識部２２が特定した視線方向に応じて処理が実行される（Ｓ２７）。
・視線方向が左側１３の場合、カメラ切替部３２はディスプレイ１４に映像を表示するカメラを左サイドカメラ５３に切り替える（Ｓ２８）。
・視線方向が右側１１の場合、カメラ切替部３２はディスプレイ１４に映像を表示するカメラを右サイドカメラ５４に切り替える（Ｓ２９）。
・視線方向が左側１３の場合、カメラ切替部３２はディスプレイ１４に映像を表示するカメラを左サイドカメラ５３に切り替える（Ｓ２８）。
・視線方向が右側１１の場合、カメラ切替部３２はディスプレイ１４に映像を表示するカメラを右サイドカメラ５４に切り替える（Ｓ２９）。
【0109】
これにより、ディスプレイ１４には左サイドカメラ５３又は右サイドカメラ５４が撮像した映像が表示される（Ｓ３０）。
【0110】
＜まとめ＞
したがって、本実施例の車載装置１０によれば、車両の乗員が視線方向を右又は左に向けて、カメラの映像の切り替えに関するコマンドを発言することで、ディスプレイ１４に映像を表示するカメラを切り替えることができる。
したがって、本実施例の車載装置１０によれば、車両の乗員が視線方向を右又は左に向けて、カメラの映像の切り替えに関するコマンドを発言することで、ディスプレイ１４に映像を表示するカメラを切り替えることができる。
【0111】
なお、本実施形態では、視線方向で左右のサイドカメラの映像を切り替えたが、フロントカメラ５１又はバックカメラ５２が２つあるような場合にはこれらの映像を切り替えることもできる。
【0112】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0113】
例えば、本実施形態ではトリガーレス方式でコマンドを検出しているが、トリガー方式でコマンドを検出してもよい。
【0114】
また、検索される施設はルート沿い又は走行中の道路沿いと限らず、ルート又は走行中の道路よりも右側又は左側にあればよい。
【0115】
また、トリガーレス方式の音声認識では、車載装置１０が有するオーディオビジュアル装置が出力する音声が、運転者の発言と共に集音されてしまうおそれがある。このような不都合に対しては、オーディオビジュアル装置の音声をスピーカ出力とは別に音声認識部に分岐して音声認識することが有効である。マイクから入力された音声データから分岐して入力したオーディオビジュアル装置の音声を除外して、音声認識を行うと、運転者が発言したテキストデータが得られる。
【0116】
また、図５などの構成例は、車載装置１０の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、車載装置１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【0117】
なお、音声認識部２４は音声認識手段の一例であり、視線方向認識部２２は視線方向認識手段の一例であり、コマンド検出部２５はコマンド検出手段の一例であり、施設検索部２６、ルート探索部２８及びカメラ切替部３２はコマンド処理手段の一例である。
【符号の説明】
【0118】
１０ 車載装置
１４ ディスプレイ
４１ カメラ
４２ マイク
４３ スピーカ
１４ ディスプレイ
４１ カメラ
４２ マイク
４３ スピーカ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】