特開 2024-34419 データ処理装置及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024034419

(43)【公開日】2024-03-13

(54)【発明の名称】データ処理装置及びデータ処理方法

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240306BHJP

   G06F 3/01 20060101ALI20240306BHJP

【ＦＩ】

G01C21/36

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022138640

(22)【出願日】2022-08-31

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】松下 祐樹

【テーマコード（参考）】

2F129

5E555

【Ｆターム（参考）】

2F129AA03

2F129BB02

2F129BB20

2F129CC03

2F129CC14

2F129CC15

2F129EE43

2F129EE78

2F129EE87

2F129EE91

2F129FF02

2F129FF15

2F129FF18

2F129FF62

2F129FF69

2F129GG17

2F129GG18

2F129HH02

2F129HH12

5E555AA64

5E555BA23

5E555BA38

5E555BB23

5E555BB38

5E555BC17

5E555BD01

5E555BE10

5E555CA42

5E555CA44

5E555CA45

5E555CB64

5E555CB66

5E555CB82

5E555CC03

5E555FA00

(57)【要約】

【課題】ユーザの指さしの精度に依存することなく、ユーザの意図した対象物を効率よく特定すること。
【解決手段】車両に設置されるデータ処理装置であって、前記車両の車両位置及び車両方向を検出する自車位置検出部と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記乗員状態認識部による認識の結果と前記車両位置とに基づいて、前記乗員が指し示した可能性のある指示領域を推定する推定部と、前記指示領域から前記乗員が指し示した対象物の候補を認識する対象認識部と、前記対象物の候補に関する情報を出力する出力部とを備え、前記推定部は、前記乗員が指し示した方向と前記車両方向との関係に基づいて前記指示領域の大きさを異ならせることを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に設置されるデータ処理装置であって、
前記車両の車両位置及び車両方向を検出する自車位置検出部と、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、
前記乗員状態認識部による認識の結果と前記車両位置とに基づいて、前記乗員が指し示した可能性のある指示領域を推定する推定部と、
前記指示領域から前記乗員が指し示した対象物の候補を認識する対象認識部と、
前記対象物の候補に関する情報を出力する出力部と
を備え、
前記推定部は、前記乗員が指し示した方向と前記車両方向との関係に基づいて前記指示領域の大きさを異ならせることを特徴とするデータ処理装置。

【請求項2】

請求項１に記載のデータ処理装置であって、
前記対象認識部は、前記指示領域に前記対象物の候補を複数認識した場合に、前記複数の候補を前記乗員に提示し、
前記出力部は、前記複数の候補のうち前記乗員から選択された候補に関する情報を出力することを特徴とするデータ処理装置。

【請求項3】

請求項１に記載のデータ処理装置であって、
前記推定部は、前記乗員が指し示した方向が前記車両方向を基準に後方側である場合の前記指示領域の大きさを、前記乗員が指し示した方向が前記車両方向を基準に前方側である場合に比して大きくすることを特徴とするデータ処理装置。

【請求項4】

請求項３に記載のデータ処理装置であって、
前記推定部は、前記乗員が指し示した方向が前記後方側である場合に、前記車両の速度が大きいほど前記指示領域を大きくすることを特徴とするデータ処理装置。

【請求項5】

請求項１に記載のデータ処理装置であって、
前記推定部は、前記乗員が指し示した方向が前記車両方向を基準に右後方側である場合には、右後方側の予め定められた距離以内の路面を前記指示領域とし、前記乗員が指し示した方向が前記車両方向を基準に左後方側である場合には、左後方側の予め定められた距離以内の路面を前記指示領域とすることを特徴とするデータ処理装置。

【請求項6】

請求項５に記載のデータ処理装置であって、
前記推定部は、前記車両の速度が大きいほど前記予め定められた距離を大きくすることを特徴とするデータ処理装置。

【請求項7】

請求項１に記載のデータ処理装置であって、
前記乗員の音声に含まれる単語を認識する音声認識部をさらに備え、
前記対象認識部は、前記単語によって示される特徴を有し、前記指示領域に所在する対象物の候補を認識することを特徴とするデータ処理装置。

【請求項8】

請求項１に記載のデータ処理装置であって、
前記出力部は、前記対象認識部が前記対象物の候補を認識した後、前記車両と前記対象物の候補とが所定の位置関係になったときに撮像した画像を含む映像信号を出力することを特徴とするデータ処理装置。

【請求項9】

車両に設置されるデータ処理装置が、
前記車両の車両位置及び車両方向を検出する自車位置検出ステップと、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識ステップと、
前記乗員状態認識ステップによる認識の結果と前記車両位置とに基づいて、前記乗員が指し示した可能性のある指示領域を推定する推定ステップと、
前記指示領域から前記乗員が指し示した対象物の候補を認識する対象認識ステップと、
前記対象物の候補に関する情報を出力する出力ステップと
を含み、
前記推定ステップは、前記乗員が指し示した方向と前記車両方向との関係に基づいて前記指示領域の大きさを異ならせることを特徴とするデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置及びデータ処理方法に関する。

【背景技術】

【0002】

従来、車両の乗員であるユーザが指し示した対象物を特定する技術がある。例えば、特許文献１には、「ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供する。」、「測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。」との記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－０８００６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、指さした方向の精度が高いことが前提となっており、対象物の候補を正確に一意に絞り込めなければ、ユーザの意図した対象物を特定することが困難であった。
しかし、車両が走行中であれば、走行路線沿いの店舗や行列など、近距離位置を指さしても刻々と車両との相対位置が変わり、ユーザが意図した方向と指さした方向とのずれが生じる場合がある。また、通り過ぎてしまった地点を再び指し示すことも困難である。

【0005】

そこで、本発明では、ユーザの指さしの精度に依存することなく、ユーザの意図した対象物を効率よく特定することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、代表的な本発明のデータ処理装置の一つは、車両に設置されるデータ処理装置であって、前記車両の車両位置及び車両方向を検出する自車位置検出部と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記乗員状態認識部による認識の結果と前記車両位置とに基づいて、前記乗員が指し示した可能性のある指示領域を推定する推定部と、前記指示領域から前記乗員が指し示した対象物の候補を認識する対象認識部と、前記対象物の候補に関する情報を出力する出力部とを備え、前記推定部は、前記乗員が指し示した方向と前記車両方向との関係に基づいて前記指示領域の大きさを異ならせることを特徴とする。

【発明の効果】

【0007】

本発明によれば、車両の乗員が指し示した対象物を効率よく特定することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】実施例１のデータ処理における操作および動作の概要を説明する説明図

【図2】実施例１のデータ処理装置を含む車載システム全体の構成図

【図3】データ処理装置の処理動作を示すフローチャート（その１）

【図4】データ処理装置の処理動作を示すフローチャート（その２）

【図5】対象物の特徴の説明図

【図6】対象物の撮像の具体例についての説明図

【発明を実施するための形態】

【0009】

以下、図面を用いて実施例を説明する。

【実施例0010】

図１は、実施例１のデータ処理における操作および動作の概要を説明する説明図である。図１は、車両の乗員であるユーザが、車外を指さした状態を示す。図２は、実施例１のデータ処理装置２０を含む車載システム全体の構成図である。車両に搭載されたデータ処理装置２０は、車内を撮像する車内カメラ１２と、自車両の周囲を撮像する車外カメラ１１とに接続されている。

【0011】

データ処理装置２０は、車内カメラ１２から画像を取得し、画像を分析して乗員の目の位置と手指の位置を識別し、目の位置と指先を結ぶ直線を指さし方向と判定する。ここで、手指とは、手と指の少なくとも一方を含む意味で用いる。しかし、データ処理装置２０による判定には誤差があり、また、乗員は運転中であるため、乗員の指さし方向自体も必ずしも正確ではない場合もある。つまり、データ処理装置２０が認識した指さし方向と乗員が意図した方向とではずれが生じる場合がある。そのため、データ処理装置２０は、乗員の指さし方向に基づき、乗員が指し示した可能性のある指示領域を設定する。

【0012】

データ処理装置２０は、地図データベース４２を参照し、指示領域の中に所在する物体を、乗員が指し示した対象物の候補とする。また、データ処理装置２０は、乗員の音声を認識し、音声の内容で対象を絞り込む。図１の状態Ａ１では、乗員は手Ｈ１で指さしを行うとともに、音声Ｖ１として「あの行列のお店、なんだろう？」と発言している。

【0013】

データ処理装置２０は、音声Ｖ１から、対象の特徴を示す単語「お店」「行列」を認識し、対象物の候補を絞り込む。この結果、対象物の候補が１つとなったならば、データ処理装置２０は、対象物の候補に関する情報を出力する。図１では、対象物である店舗について予め登録された画像である登録店舗画像と、店舗の名前や紹介文などの店舗情報と、その店舗のイベント情報とを表示部に表示している。対象物の候補が複数であれば、データ処理装置２０は、対象物の簡易な情報（例えば各対象物の登録店舗画像など）を並べて表示し、乗員からの選択操作を受け付け、選択された対象物に関する情報を出力する。

【0014】

このように、データ処理装置２０は、乗員が指し示したと認識した方向に基づいて設定した指示領域と、音声認識の結果とを用いて対象物を認識するのであるが、車両が移動していれば、乗員が対象物を精度よく指し示すことは困難である。また、車両が停止していたとしても、運転者は基本的に運転操作のために前方に注意を払っており、運転操作には無関係な対象物を指し示した方向が正確であるとは限らない。さらに、車両が走行すること、運転者が前方に注目すべきであることを考えると、車両の前方側を指し示したときよりも、車両の後方側を指し示したときの方が精度は低くなる。

【0015】

そこで、データ処理装置２０は、乗員が指し示したと認識した指さし方向と車両方向との関係に基づいて指示領域の大きさを異ならせることで、乗員が指し示した対象物を効率よく特定する。
具体的には、データ処理装置２０は、指さし方向が車両方向を基準に後方側である場合の指示領域の大きさを、指さし方向が前記車両方向を基準に前方側である場合に比して大きくする。
さらに、データ処理装置２０は、指さし方向が前記後方側である場合に、車両の速度が大きいほど指示領域を大きくすることもできる。

【0016】

また、データ処理装置２０は、乗員が指し示した方向が車両方向を基準に右後方側である場合には、右後方側の予め定められた距離以内の路面を指示領域とし、乗員が指し示した方向が車両方向を基準に左後方側である場合には、左後方側の予め定められた距離以内の路面を前記指示領域とすることもできる。さらに、データ処理装置２０は、車両の速度が大きいほど「予め定められた距離」を大きくすることとしてもよい。

【0017】

図２において、データ処理装置２０は、ナビゲーションユニット４０及び速度センサ５１と接続される。ナビゲーションユニット４０は、車両の経路の探索と案内を行うユニットである。ナビゲーションユニット４０は、自車位置検出部４１、地図データベース４２、特徴データベース４３及び記憶部４４を有する。

【0018】

自車位置検出部４１は、例えば人工衛星からの信号を受信し、自車両の車両位置と向き（車両方向）を検出する。地図データベース４２は、道路のデータに加え、建物の位置や名前などのデータを含む。このため、地図データベース４２は、乗員が指し示す対象となり得る対象物の位置を示す対象物データベースとして用いることができる。特徴データベース４３は、対象物の外観の特徴を示すデータを含む。外観の特徴は、高い、赤い、細長いなど、乗員がその建物を形容する際に使用する単語で示される。特徴データベース４３は、地図データベース４２と一体であってもよい。記憶部４４には、乗員が設定した目的地や経路および過去の設定履歴、乗員の指示により登録された地点などの情報が記憶される。

【0019】

データ処理装置２０は、車外カメラ１１、車内カメラ１２、マイクロフォン１３、表示部３１、スピーカ３２、通信部３３に接続されている。車外カメラ１１は、車両の周囲を撮像する撮像装置である。車内カメラ１２は、車室内を撮像する撮像装置であり、車室内の乗員の状態を取得するセンサとして機能する。マイクロフォン１３は、車室内の音を集音する。映像出力部２６は、乗員に対する表示に係る映像信号を表示部３１に出力する。表示部３１は、入力部を備えた構成、例えばタッチパネルディスプレイであってもよい。音声出力部２７は、乗員に対する音声に係る音声信号をスピーカ３２に出力する。通信部３３は、外部のネットワークに接続する無線通信インタフェースである。

【0020】

車内カメラ１２は、乗員の目と手を撮像可能な位置に設置する。例えば、ルームミラー近傍やルームライト近傍などに設置すればよい。

【0021】

データ処理装置２０は、自車位置検出部２１、乗員状態認識部２２、推定部２３，音声認識部２４及び対象認識部２５を有する。データ処理装置２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、乗員状態認識部２２、推定部２３、音声認識部２４及び対象認識部２５に対応する機能を実現すればよい。

【0022】

自車位置検出部２１は、車両の車両位置及び車両方向を検出する。具体的には、ナビゲーションユニット４０の自車位置検出部４１から車両位置及び車両方向を取得してもよい。

【0023】

乗員状態認識部２２は、車内カメラ１２が撮像した画像を取得し、車両の乗員の状態を認識する。乗員状態認識部２２が認識する乗員の状態は、車両の外部を指し示す動作を含む。また、乗員状態認識部２２は、乗員の目の位置と手指の位置を認識する。

【0024】

推定部２３は、乗員状態認識部２２による認識の結果と車両位置とに基づいて、乗員が指し示した可能性のある指示領域を推定する。このとき、推定部２３は、乗員が指し示した方向と車両方向との関係に基づいて指示領域の大きさを異ならせる。

【0025】

一例として、推定部２３は、乗員が指し示した方向（指さし方向）が車両方向を基準に後方側である場合の指示領域の大きさを、指さし方向が車両方向を基準に前方側である場合に比して大きくする。さらに、推定部２３は、指さし方向が後方側である場合に、速度センサ５１の出力を参照し、車両の速度が大きいほど指示領域を大きくすることができる。

【0026】

他の例として、推定部２３は、指さし方向が車両方向を基準に右後方側である場合には、右後方側の予め定められた距離以内の路面を指示領域とし、乗員が指し示した方向が車両方向を基準に左後方側である場合には、左後方側の予め定められた距離以内の路面を指示領域とする。さらに、推定部２３は、速度センサ５１の出力を参照し、車両の速度が大きいほど予め定められた距離を大きくすることができる。

【0027】

車両の前方側と後方側の判別については、任意の基準を用いることができる。例えば、フロントガラスの範囲内であれば前方側、それ以外であれば後方側としてもよい。乗員が車体の側面の窓越しに対象物を指さした場合、その時点で対象物の位置は車両方向に対して側方になるが、車両の走行に伴って対象物は相対的に後方に位置することになる。この点を考慮し、指さし方向を前方と後方に判別する際には、フロントガラスの範囲外を後方側とするのである。

【0028】

音声認識部２４は、乗員の音声に含まれる単語を認識する。単語は、対象の静的な特徴や、動的な特徴を示すものである。静的な特徴とは、例えば、対象の位置、対象の種別（店舗など）、外観などである。動的な特徴とは、乗員の視覚に基づいて認識可能であって、一時的に発生した特徴である。例えば、行列、人混み、イレギュラーな停車、店舗の工事中、店舗の変化（新規オープン、改装）などが動的な特徴に該当する。

【0029】

対象認識部２５は、指示領域から乗員が指し示した対象物の候補を認識する。具体的には、対象認識部２５は、車両位置及び車両方向に基づいて地図データベース４２を参照し、指示領域内に所在する対象物の候補を抽出する。そして、対象認識部２５は、単語によって示される特徴を有することを条件に対象物の候補を絞り込む。

【0030】

絞り込みの結果、対象物の候補が１つとなったならば、表示部３１に接続された映像出力部２６から、対象物の候補に関する情報を表示する信号を表示部３１へ出力する。対象物の候補に関する情報としては、店舗の名前、種別、営業時間、紹介文、イベント情報、登録店舗画像など、任意の情報を用いることができる。これらの情報は、地図データベース４２や特徴データベース４３に登録されたものを用いる。また、通信部３３を介して外部から取得して提供することも可能である。

【0031】

対象物の候補が複数であれば、表示部３１は、対象物の簡易な情報（例えば各対象物の登録店舗画像など）を並べて表示し、乗員からの選択操作を受け付け、選択された対象物に関する情報を出力する。

【0032】

図３は、データ処理装置２０の処理動作を示すフローチャートである。まず、自車位置検出部２１は、ナビゲーションユニット４０から自車位置と自車方向を取得することで、位置の検出を行う（ステップＳ１０１）。

【0033】

乗員状態認識部２２は、車内カメラ１２の撮像結果を用いて乗員の状態を認識し、指さし方向を取得する（ステップＳ１０２）。
推定部２３は、指さし方向が車両の前方側であるか後方側であるかを判定する（ステップＳ１０３）。
前方側であれば、推定部２３は、指さし方向を基準に±１０°の範囲を指示領域として設定する（ステップＳ１０４）。
後方側であれば、推定部２３は、指さし方向を基準に±３０°の範囲を指示領域として設定する（ステップＳ１０５）。

【0034】

ステップＳ１０３～Ｓ１０５の推定ステップの後、対象認識部２５が指示領域から前記乗員が指し示した対象物の候補を認識する（ステップＳ１０６）。この対象物の候補の認識には、音声認識部２４が認識した単語を用いることができる。

【0035】

ステップＳ１０６の後、対象認識部２５は候補が複数であるか単数であるかを判定する（ステップＳ１０７）。候補が複数であるならば、表示部３１は、複数の候補を並べて表示する（ステップＳ１０８）。そして、乗員による選択を受け付ける（ステップＳ１０９）。

【0036】

ステップＳ１０９の後、もしくはステップＳ１０７で候補が単数である場合、表示部３１が候補の情報を出力し（ステップＳ１１０）、処理を終了する。

【0037】

図４は、データ処理装置２０の処理動作を示すフローチャートの変形例である。図４では、図３のステップＳ１０５の動作がステップＳ１０５ａ及びステップＳ１０５ｂに置き換えられている。その他のステップは図３と同様であるので、説明を省略する。

【0038】

ステップＳ１０５ａでは、推定部２３は、速度センサ５１から車速を取得する。その後、推定部２３は、速度に応じた距離範囲の路面を指示領域に設定する（ステップＳ１０５ｂ）。
このように、指示領域は、所定の距離範囲の路面とすることができ、距離範囲は速度に応じて設定することもできる。

【0039】

なお、図４では、所定の距離範囲を速度に応じて変更する例を示したが、図３に示した処理動作において速度を考慮してもよい。
例えば、指さし方向が後方側であり、速度が閾値未満であれば指さし方向を基準に±３０°の範囲を指示領域とし、指さし方向が後方側であり、速度が閾値以上であれば指さし方向を基準に±４５°の範囲を指示領域とする、などである。
また、指さし方向が後方側であり、速度が閾値未満であれば指さし方向を基準に±３０°の範囲を指示領域とし、指さし方向が後方側であり、速度が閾値以上であれば所定の距離範囲の路面としてもよい。

【0040】

次に、対象物の特徴について説明する。図５は、対象物の特徴の説明図である。対象物の特徴には、静的な特徴と動的な特徴が含まれる。静的な特徴には、対象物の位置、対象物の種別（店舗など）、対象物の外観などが含まれる。

【0041】

対象物の位置は、地図データベース４２から取得可能である。
対象物の種別は、地図データベース４２や特徴データベース４３から取得可能である。種別としては、店舗、パン屋、レストランなど、対象物を区分して表現する任意の単語を用いることができる。
対象物の外観は、特徴データベース４３から取得可能である。

【0042】

動的な特徴とは、乗員の視覚に基づいて認識可能であって、一時的に発生した特徴である。例えば、行列、人混み、イレギュラーな停車、店舗の工事中、店舗の変化（新規オープン、改装）などが動的な特徴に該当する。

【0043】

行列は、画像認識によって判別することができる。また、通信部３３を介してインターネットなどにアクセスし、イベント情報を取得して行列の発生を推定してもよい。
人混みに関しても同様に、画像認識による判別やイベント情報による推定が可能である。

【0044】

イレギュラーな停車は、事故や作業などで停車した他車両を発見した状態である。イレギュラーな停車は、通信部３３を介してインターネットなどにアクセスし、事故情報や交通情報を取得して判定することができる。

【0045】

店舗等の工事中は、その時点で工事中の店舗を発見した状態である。店舗等の工事中は、通信部３３を介してインターネットなどにアクセスし、新規店舗情報などを取得して判定することができる。
店舗等の変化は、新規オープンや改装などで、対象物の外観が以前と変化した状態である。店舗等の変化は、通信部３３を介してインターネットなどにアクセスし、新規店舗情報などを取得して判定することができる。

【0046】

次に、対象物の画像表示について説明する。対象物の画像を表示部３１に表示する場合、予め登録された画像を表示してもよいし、車外カメラ１１で撮像した画像を表示してもよい。

【0047】

車外カメラ１１で撮像した画像を表示する場合、乗員が指し示した瞬間の画像を用いれば、乗員が見たものに近い画像を提供できる。しかし、乗員が指し示した瞬間の画像が常に好適とは限らない。特に乗員が前方を指し示しているときは、対象物に対して斜めに撮像することになるため、対象物の正面からの画像よりも情報量が少なくなる傾向がある。

【0048】

そこで、対象認識部２５が対象物の候補を認識した後、車両と対象物の候補とが所定の位置関係になったときに撮像した画像を出力することとしてもよい。
図６は、対象物の撮像の具体例についての説明図である。まず、データ処理装置２０は、乗員が対象物を指し示す動作を認識し、対象物の候補を認識する（ａ）。
その後、データ処理装置２０は、対象物の相対位置を追跡し（ｂ）、対象物が車両の側方に来たタイミング、すなわち、対象物の正面に車両が来たタイミングで車外カメラ１１が撮像した画像を表示部３１に表示する（ｃ）。具体的には、車外カメラ１１による撮像と画像の蓄積を継続して行い、画像処理で対象物の位置を追跡し、対象物の正面に車両が来たタイミングの画像を切り出して表示すればよい。

【0049】

上述してきたように、開示のデータ処理装置２０は、前記車両の車両位置及び車両方向を検出する自車位置検出部２１と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部２２と、前記乗員状態認識部による認識の結果と前記車両位置とに基づいて、前記乗員が指し示した可能性のある指示領域を推定する推定部２３と、前記指示領域から前記乗員が指し示した対象物の候補を認識する対象認識部２５と、前記対象物の候補に関する情報を出力する出力部としての映像出力部２６または音声出力部２７とを備え、前記推定部２３は、前記乗員が指し示した方向と前記車両方向との関係に基づいて前記指示領域の大きさを異ならせることを特徴とする。
この構成及び動作により、ユーザの指さしの精度に依存することなく、ユーザの意図した対象物を効率よく特定することができる。

【0050】

また、前記対象認識部２５は、前記指示領域に前記対象物の候補を複数認識した場合に、前記複数の候補を前記乗員に提示し、前記出力部は、前記複数の候補のうち前記乗員から選択された候補に関する情報を出力する。
このため、十分に絞り込んだ複数の候補から乗員の選択を受け付けて対象を一意に特定することができる。

【0051】

また、前記推定部２３は、前記乗員が指し示した方向が前記車両方向を基準に後方側である場合の前記指示領域の大きさを、前記乗員が指し示した方向が前記車両方向を基準に前方側である場合に比して大きくする。
このとき、前記推定部２３は、前記乗員が指し示した方向が前記後方側である場合に、前記車両の速度が大きいほど前記指示領域を大きくすることができる。
このため、車両が前方に走行し、乗員が基本的に前方に注意を払うこと前提として、効率的に対象物を特定できる。

【0052】

また、前記推定部２３は、前記乗員が指し示した方向が前記車両方向を基準に右後方側である場合には、右後方側の予め定められた距離以内の路面を前記指示領域とし、前記乗員が指し示した方向が前記車両方向を基準に左後方側である場合には、左後方側の予め定められた距離以内の路面を前記指示領域とする。
このとき、前記推定部２３は、前記車両の速度が大きいほど前記予め定められた距離を大きくすることができる。
このため、車両が前方に走行し、乗員が基本的に前方に注意を払うこと前提として、効率的に対象物を特定できる。

【0053】

また、前記乗員の音声に含まれる単語を認識する音声認識部２４をさらに備え、前記対象認識部２５は、前記単語によって示される特徴を有し、前記指示領域に所在する対象物の候補を認識する。
このため、乗員の発話を利用し、効率的に対象物を特定できる。
また、前記単語は、前記乗員の視覚に基づいて認識可能であって、一時的に発生した特徴を示す。
このため、一時的に表れる特徴を利用して、効率的に対象物を特定できる。

【0054】

また、前記出力部としての映像出力部２６は、前記対象認識部が前記対象物の候補を認識した後、前記車両と前記対象物の候補とが所定の位置関係になったときに撮像した画像を含む映像信号を表示部３１に出力する。
このため、対象物について、視認性が良好で、情報量の多い画像を表示できる。

【0055】

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0056】

例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。

【0057】

また、車内カメラ以外の任意のセンサ、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。

【0058】

また、上記実施例では、目と指先の延長線上を乗員が指し示す方向として判定したが、手指の２点を認識し、この２点の延長線上を乗員が指し示す方向として判定してもよい。

【0059】

また、上記実施例では、ナビゲーションユニット４０を利用する場合を示したが、ネットワークで接続した外部のサーバから各種情報を取得してもよい。

【符号の説明】

【0060】

１０：車載システム、１１：車外カメラ、１２：車内カメラ、１３：マイクロフォン、２０：データ処理装置、２１：自車位置検出部、２２：乗員状態認識部、２３：推定部、２４：音声認識部、２５：対象認識部、２６：映像出力部、２７：音声出力部、３１：表示部、３２：スピーカ、３３：通信部、４０：ナビゲーションユニット、４１：自車位置検出部、４２：地図データベース、４３：特徴データベース、４４：記憶部、５１：速度センサ、６０：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】