特開 2024-18785 データ処理システム及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024018785

(43)【公開日】2024-02-08

(54)【発明の名称】データ処理システム及びデータ処理方法

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240201BHJP

   G06F 3/01 20060101ALI20240201BHJP

   G06F 3/0482 20130101ALI20240201BHJP

   G06F 3/16 20060101ALI20240201BHJP

【ＦＩ】

G01C21/36

G06F3/01 570

G06F3/0482

G06F3/16 610

G06F3/16 630

G06F3/16 670

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022122320

(22)【出願日】2022-07-29

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】松下 祐樹

【テーマコード（参考）】

2F129

5E555

【Ｆターム（参考）】

2F129AA03

2F129BB02

2F129CC03

2F129CC13

2F129DD21

2F129DD40

2F129EE02

2F129EE77

2F129FF11

2F129FF12

2F129GG17

2F129GG18

2F129HH02

2F129HH12

2F129HH26

2F129HH27

5E555AA10

5E555AA13

5E555AA46

5E555BA23

5E555BA25

5E555BB23

5E555BB25

5E555BC17

5E555BE10

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555CB66

5E555CC05

5E555DA23

5E555DB16

5E555DB53

5E555DC18

5E555EA23

5E555FA00

(57)【要約】

【課題】車両の乗員が指し示した対象物を効率よく特定すること。
【解決手段】車両の位置を検出する位置検出部と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記乗員が指し示す対象となり得る対象物の位置を示す対象物データベースと、前記対象物の外観の特徴を示す外観特徴データベースと、前記乗員の音声から外観の特徴を示す単語を認識する音声認識部と、前記乗員が指し示した方向と前記音声に含まれる単語とを用いて前記対象物データベースおよび前記外観特徴データベースを検索し、前記乗員が指し示した対象物の候補を抽出する対象認識部と、前記対象物の候補を出力する出力部とを備えたことを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両の位置を検出する位置検出部と、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、
前記乗員が指し示す対象となり得る対象物の位置を示す対象物データベースと、
前記対象物の外観の特徴を示す外観特徴データベースと、
前記乗員の音声から外観の特徴を示す単語を認識する音声認識部と、
前記乗員が指し示した方向と前記音声に含まれる単語とを用いて前記対象物データベースおよび前記外観特徴データベースを検索し、前記乗員が指し示した対象物の候補を抽出する対象認識部と、
前記対象物の候補を出力する出力部と
を備えたことを特徴とするデータ処理システム。

【請求項2】

請求項１に記載のデータ処理システムであって、
前記対象認識部は、
前記位置検出部の検出結果と、対象物データベースに格納された対象物の位置とを用い、前記乗員の視点における前記対象物の相対的な位置関係を推定し、
前記乗員から視認可能であることを条件に前記対象物の候補を抽出すること特徴とするデータ処理システム。

【請求項3】

請求項１に記載のデータ処理システムであって、
前記対象認識部は、前記位置検出部の検出結果と、対象物データベースに格納された対象物の位置とを用い、前記乗員の視点における前記対象物の相対的な位置関係を推定し、前記対象物の相対的な位置関係を相対特徴として判定し、
前記音声認識部は、前記相対特徴をさらに認識し、
前記対象認識部は、前記相対特徴をさらに用いて前記対象物の候補を抽出することを特徴とするデータ処理システム。

【請求項4】

請求項１に記載のデータ処理システムであって、
前記出力部は、複数の対象物の候補を表示し、前記乗員からの選択を受け付けることを特徴とするデータ処理システム。

【請求項5】

請求項１に記載のデータ処理システムであって、
前記出力部は、前記対象物の特徴のうち、前記乗員の音声に含まれていない特徴を示す単語を用いて前記対象物の候補を表現する音声を出力し、前記乗員による確認を求めることを特徴とするデータ処理システム。

【請求項6】

請求項１に記載のデータ処理システムであって、
前記対象物データベースは、前記車両の経路の探索と案内に用いる地図データベースであることを特徴とするデータ処理システム。

【請求項7】

請求項１に記載のデータ処理システムであって、
前記対象認識部を有するサーバと、前記車両とが通信する構成であることを特徴とするデータ処理システム。

【請求項8】

データ処理システムが、
車両の位置を検出する位置検出ステップと、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識ステップと、
前記乗員の音声から外観の特徴を示す単語を認識する音声認識ステップと、
前記乗員が指し示した方向と前記音声に含まれる単語とを用いて前記対象物データベースおよび前記外観特徴データベースを検索し、前記乗員が指し示した対象物の候補を抽出する対象認識ステップと、
前記対象物の候補を出力する出力ステップと
を実行することを特徴とするデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理システム及びデータ処理方法に関する。

【背景技術】

【0002】

従来、車両の乗員であるユーザが指し示した対象物を特定する技術がある。例えば、特許文献１には、「ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供する。」、「測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。」との記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－０８００６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、指さした方向に対象物の候補が複数存在する場合に、ユーザの意図した対象物を特定することが困難であった。特に、遠方を指さした場合には、指さした方向と認識した位置の手前側や奥側、左右にも対象物の候補が存在する可能性がある。対象の物の候補が複数となった場合に、列挙して乗員に提示し、乗員からの選択操作を受ければ、ユーザの意図した対象物を特定できる。しかし、候補の絞り込みが不十分であると、乗員に煩雑な判断や操作を強いることになる。車載の装置では、安全運転を損なう可能性があることから、煩雑な操作を要求するインタフェースを用いるべきではない。

【0005】

そこで、本発明では、車両の乗員が指し示した対象物を効率よく特定することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、代表的な本発明のデータ処理システムの一つは、車両の位置を検出する位置検出部と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記乗員が指し示す対象となり得る対象物の位置を示す対象物データベースと、前記対象物の外観の特徴を示す外観特徴データベースと、前記乗員の音声から外観の特徴を示す単語を認識する音声認識部と、前記乗員が指し示した方向と前記音声に含まれる単語とを用いて前記対象物データベースおよび前記外観特徴データベースを検索し、前記乗員が指し示した対象物の候補を抽出する対象認識部と、前記対象物の候補を出力する出力部とを備えたことを特徴とする。

【発明の効果】

【0007】

本発明によれば、車両の乗員が指し示した対象物を効率よく特定することを目的とする。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】実施例１のデータ処理の概要を説明する説明図

【図2】実施例１のデータ処理装置の構成図

【図3】対象物の候補の決定についての説明図

【図4】データ処理装置の処理手順を示すフローチャート

【図5】対象物の特徴と対話インタフェースについての説明図

【図6】車載装置とサーバとで構成する変形例の説明図

【発明を実施するための形態】

【0009】

以下、実施例を図面を用いて説明する。

【実施例0010】

図１は、実施例１のデータ処理の概要を説明する説明図である。図１は、車両の乗員であるユーザが、車外を指さした状態を示す。車両に搭載されたデータ処理装置１０は、車内を撮像する車内カメラと、自車両の周囲を撮像する車外カメラとを備える。

【0011】

データ処理装置１０は、車内カメラから画像を取得し、画像を分析して乗員の目の位置と手指の位置を識別し、目の位置と指先を結ぶ直線を指さし方向と判定する。ここで、手指とは、手と指の少なくとも一方を含む意味で用いる。しかし、データ処理装置１０による判定には誤差があり、また、乗員は運転中であるため、乗員の指さし方向自体も必ずしも正確ではない場合もある。つまり、データ処理装置１０が認識した指さし方向と乗員が意図した方向とではずれが生じる場合がある。そのため、データ処理装置１０は、乗員の指さし方向を、程度幅を持たせた領域Ｐ１、Ｐ２として判定する。

【0012】

データ処理装置１０は、地図データを参照し、乗員が指し示した方向に所在する対象物を特定する。例えば、乗員が自車両の近くの建物を指し示した場合、指し示した方向に所在する建物を一意に特定できる可能性が高い。乗員が自車両の遠くの建物を指し示した場合であっても、例えば図１の領域Ｐ２が判定された指さし方向であれば、周囲に他の建物がないため、乗員が指し示した建物を一意に特定できる。

【0013】

しかし、例えば乗員の手Ｈ１の指さし方向により判定された特定される領域が領域Ｐ１であると、対象物の候補が多数存在する状態となる。ユーが実際に意図した建物の手前側や奥側、左右にも建物が密集して見えるからである。このように、指さし方向のみでは十分に対象の建物を絞り込めない場合、候補を順次列挙すると、乗員は多数の候補から意図した建物を選択するという煩雑な判断や操作を強いられる。そして、乗員が運転者であれば、判断や操作に時間をかけると安全運転を損なう可能性があり、意図した建物の選択を断念することも考えられる。

【0014】

そこで、データ処理装置１０は、乗員の音声を認識し、指さし方向と音声の内容で対象を絞り込む。図１の状態Ａ１では、乗員は手Ｈ１で領域Ｐ１を指さすとともに、音声Ｖ１として「あの高い建物はなに？」と発言している。

【0015】

データ処理装置１０は、音声Ｖ１から、対象の外観の特徴を示す単語「高い」を認識し、対象物の候補を絞り込む。この結果、状態Ａ２では、対象の候補は、候補Ｔ１～Ｔ３の３つとなっている。

【0016】

データ処理装置１０は、車外カメラで撮像した画像から、候補Ｔ１～Ｔ３の画像を切り出し、表示部に表示する。乗員は、この候補から自らの意図した対象物を選択できる。このように、音声認識を使用して候補を十分に絞り込むことで、乗員が指し示した対象物を効率よく特定可能である。

【0017】

図２は、実施例１のデータ処理装置１０の構成図である。データ処理装置１０は、ナビゲーションユニッ４０トと接続される。ナビゲーションユニット４０は、車両の経路の探索と案内を行うユニットである。ナビゲーションユニット４０は、自車両位置検出部４１、地図データベース４２、外観特徴データベース４３及び記憶部４４を有する。

【0018】

自車両位置検出部４１は、例えば人工衛星からの信号を受信し、自車両の位置を検出する。地図データベース４２は、道路のデータに加え、建物の位置や名前などのデータを含む。このため、地図データベース４２は、乗員が指し示す対象となり得る対象物の位置を示す対象物データベースとして用いることができる。外観特徴データベース４３は、対象物の外観の特徴を示すデータを含む。外観の特徴は、高い、赤い、細長いなど、乗員がその建物を形容する際に使用する単語で示される。外観特徴データベース４３は、地図データベース４２と一体であってもよい。記憶部４４には、乗員が設定した目的地や経路および過去の設定履歴、乗員の指示により登録された地点などの情報が記憶される。

【0019】

データ処理装置１０は、車外カメラ１１、車内カメラ１２、マイクロフォン１３、表示部３１、スピーカ３２、処理部２０を有する。車外カメラ１１は、車両の周囲を撮像する撮像装置である。車内カメラ１２は、車室内を撮像する撮像装置であり、車室内の乗員の状態を取得するセンサとして機能する。マイクロフォン１３は、車室内の音を集音する。表示部３１は、乗員に対する表示出力を行う。表示部３１は、入力部を備えた構成、例えばタッチパネルディスプレイであってもよい。スピーカ３２は、乗員に対する音声出力を行う。

【0020】

車内カメラ１２は、乗員の目と手を撮像可能な位置に設置する。例えば、ルームミラー近傍やルームライト近傍などに設置すればよい。

【0021】

処理部２０は、乗員状態認識部２２、音声認識部２３及び対象認識部２４を有する。処理部２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、乗員状態認識部２２、音声認識部２３及び対象認識部２４に対応する機能を実現すればよい。

【0022】

乗員状態認識部２２は、車内カメラ１２が撮像した画像を取得し、車両の乗員の状態を認識する。乗員状態認識部２２が認識する乗員の状態は、車両の外部を指し示す動作を含む。また、乗員状態認識部２２は、乗員の目の位置と手指の位置を認識する。乗員状態認識部２２は、認識結果を対象認識部２４に出力する。

【0023】

音声認識部２３は、乗員の音声から外観の特徴を示す単語を認識する。また、音声認識部２３は、相対特徴を示す単語も認識する。相対特徴は、建物の相対的な位置関係を示す特徴である。例えば、複数の対象物の候補がある場合に、「右側の」、「手前の」「遠くに見える」など、複数の候補の中で相対的にどのような位置にあるかを表現する単語である。

【0024】

対象認識部２４は、乗員が指し示した方向と音声に含まれる単語とを用いて乗員が指し示した対象物の候補を抽出する。

【0025】

まず、対象認識部２４は、自車位置検出部４１の検出結果と、乗員状態認識部２２が認識した目の位置と、地図データベース４１に格納された対象物の位置とを用い、乗員の視点における対象物の相対的な位置関係を推定する。対象認識部２４は、対象物の相対的な位置関係に基づき、乗員から視認可能であることを条件に対象物の候補を抽出する。例えば、手前の建物で視線がさえぎられて乗員から見えない建物については、対象物の候補としない。

【0026】

対象認識部２４は、乗員が指し示した方向に基づいて抽出した候補群について、音声に含まれる単語による絞り込みを行う。具体的には、対象認識部２４は、外観的な特徴を示す単語と、相対的な特徴を示す単語とを用いて候補を絞り込む。外観的な特徴を示す単語については、音声に含まれる単語と外観特徴データベース４３に登録された単語とを比較すればよい。相対的な特徴については、予め候補群について相対的な位置関係から相対特徴を判定しておき、音声に含まれる単語と比較すればよい。

【0027】

対象認識部２４は、絞り込んだ候補を、表示部３１やスピーカ３２により出力する。すなわち、表示部３１とスピーカ３２は出力部として動作する。

【0028】

表示部３１が複数の候補を出力する場合、表示部３１は、車外カメラ１１で撮影した画像から切り出した複数の候補の画像を並べて表示する。乗員は、表示された画像から自身が意図していた建物を選択する。この選択は、タッチパネルで受け付けてもよいし、表示部３１が表示した候補の画像に対する指さしを認識してよい。なお、表示される候補の画像は、地図データベース４２または外観特徴データベース４３に予め保存された画像であっても良い。

【0029】

スピーカ３２が候補を出力する場合、スピーカ３２は、候補である対象物の特徴のうち、乗員の音声に含まれていない特徴を示す単語を用いて対象物の候補を表現する音声を出力し、乗員による確認を求める。例えば、「高い」と「青い」を外観特徴として有する候補について、「高い」が既に乗員の音声に含まれていれば、スピーカ３２は「青い建物ですか？」との音声を出力して乗員の確認を求める。このとき、複数の候補について、ユーザが意図した可能性の高さを評価して優先順位をつけておき、優先順位の高い候補から確認していくことも可能である。このように、対象物に対応付けた複数の特徴を利用することで、乗員とデータ処理装置１０との対話インタフェースを実現できる。

【0030】

データ処理装置１０は、乗員の選択操作や確認音声によって、乗員が指し示した対象物を一意に特定したならば、その対象物についての情報提供が可能である。また、特定した対象物を目的地として指定し、ナビゲーションユニット４０による経路探索に用いることもできる。

【0031】

図３は、対象物の候補の決定についての説明図である。まず、対象認識部２４は、自車位置と、乗員が指し示した方向である指さし方向と、地図データベース４２とを用い、乗員視点での建物の位置関係を推定する。対象認識部２４は、指さし方向に存在し、乗員から見える建物を候補群として抽出する。すなわち、手前側の建物の陰になって乗員から見えない建物は、候補から除外する。さらに、対象認識部２４は、候補群の建物の相対的な位置関係を示す特徴を判定し、相対特徴として対応する建物に対応付ける。

【0032】

対象認識部２４は、指さし方向で抽出した候補群を、音声認識の結果を用いて絞り込む。具体的には、対象認識部２４は、音声認識の結果と、相対特徴及び外観特徴データベース４３とを用い、音声に含まれている単語が特徴として対応付けられていることを条件に、候補群から候補を絞り込む。対象認識部２４は、絞り込んだ候補を出力する。

【0033】

図４は、データ処理装置１０の処理手順を示すフローチャートである。まず、乗員状態認識部２２が、車内カメラ１２により撮像した画像を用い、乗員による指さしを認識する（ステップＳ１０１）。対象認識部２４は、乗員の目と手の位置から指さし方向を判定する（ステップＳ１０２）。音声認識部２３は、マイクロフォン１３が集音した音声を認識、特徴を示す単語を判定する（ステップＳ１０４）。

【0034】

対象認識部２４は、指さし方向、自車位置、地図データベース４２、外観特徴データベース４３及び音声認識結果を用いて対象物の後方を抽出し（ステップＳ１０５）、抽出した候補を出力することで乗員に提示する（ステップＳ１０６）。そして、複数の候補から乗員が意図した対象を選択する操作を受け付けて（ステップＳ１０７）、処理を終了する。

【0035】

図５は、対象物の特徴と対話インタフェースについての説明図である。図５では、対象物の候補に対し、候補ＩＤ、外観特徴、相対特徴、対象物情報を対応付けている。候補ＩＤは、対象物の候補の識別情報である。外観特徴は、対象物を形容する際に使用される単語である。図５では、候補ＩＤ「Ｔ１」に対し、外観特徴として「東京タワー」、「塔」、「高い」、「赤い」を対応付けている。また、候補ＩＤ「Ｔ２」に対し、外観特徴として「高い」、「途中から色が違う」を対応付けている。また、候補ＩＤ「Ｔ３」に対し、外観特徴として「高い」、「変な形」、「青い」を対応付けている。

【0036】

外観特徴には、一般的に、色や形状を示す単語が含まれる。ここで、「東京タワー」は、建物の名称であるが、外観特徴としても登録されている。東京タワーのように著名で特徴的な形状を有するランドマークは、外観から容易に名称が識別されるため、名称自体が外観特徴としての機能を発揮するからである。
外観特徴は、例えば、地図データベース４２に含まれる対象物について、よく使用される単語を収集し、分析して対応付けておけばよい。

【0037】

図５では、候補ＩＤ「Ｔ１」に対し、相対特徴として「遠くに見える」を対応付けている。また、候補ＩＤ「Ｔ２」に対し、相対特徴として「東京タワーの右側」を対応づけている。また、候補ＩＤ「Ｔ３」に対し、相対特徴として「手前に見える」を対応付けている。このように、相対特徴は、候補群の建物の相対的な位置関係を示す。また、「東京タワーの右側」といった他の候補の外観特徴を利用した表現も可能である。

【0038】

対象物情報は、対象の名称、営業時間、イベントなど、対象物について乗員に提供可能な各種の情報である。

【0039】

これらの特徴を用いた対話の一例を説明する。まず、乗員が指さしをしながら「あの高い建物は何？」と発言する（音声Ｖ１）。データ処理装置１０は、指さし方向と「高い」という単語で対象物を抽出し、候補ＩＤ「Ｔ２」を最も優先度の高い候補と判定する。そして、データ処理装置１０は、「東京タワーの右に見える、途中から色の違う建物ですか？」と発言する。この音声Ｖ１１は、候補ＩＤ「Ｔ２」の外観特徴と相対特徴のうち、乗員が使用した「高い」以外の単語を用いて候補ＩＤ「Ｔ２」を表現して、乗員による確認を求めるものである。

【0040】

音声Ｖ１１に対し、乗員は、「そう、それ」と発言する（音声Ｖ２）。この音声Ｖ２により、候補ＩＤ「Ｔ２」が乗員と意図した対象物であると確定する。そこで、データ処理装置１０は、「ＸＸビルです。ＹＹイベント開催中です。」と発言する（音声Ｖ１２）。この音声Ｖ１２は、候補ＩＤ「Ｔ２」の対象物情報を乗員に提供するものである。乗員は、音声Ｖ１２を確認し、「そのビルを目的地に」と発言する（音声Ｖ３）。この結果、データ処理装置１０は、候補ＩＤ「Ｔ２」の建物を目的地として経路を設定するよう、ナビゲーションユニット４０に通知する。
また図示しないが、乗員は、音声Ｖ１２に対する音声Ｖ３として、「今度行くから、そのビルを登録して」と発言することもできる。その場合は、データ処理装置１０は、候補ＩＤ「Ｔ２」の建物を記憶部４４に地点登録するよう、ナビゲーションユニット４０に通知する。乗員は、後にナビゲーションユニット４０を操作して、登録した候補ＩＤ「Ｔ２」の建物を呼び出して、それを目的地とした経路を設定することができる。

【0041】

これまでの説明では、車両に搭載したデータ処理装置１０がナビゲーションユニット４０の機能を利用してデータ処理システムとして動作する構成を例示した。他の構成として、ナビゲーションユニット４０が有する機能や構成の一部又は全部をデータ処理装置が備えてもよい。また、車載装置とサーバとが通信してデータ処理システムとして動作する構成であってもよい。

【0042】

図６は、車載装置とサーバとで構成する変形例の説明図である。データ処理装置５０は、車載装置であり、車外カメラ１１、車内カメラ１２、マイクロフォン１３、表示部３１、スピーカ３２、乗員状態認識部２２、音声認識部２３、自車位置検出部４１、通信部５２を有する。

【0043】

通信部５２は、ネットワークを介してサーバ６０と通信する。サーバ６０は、地図データ４２、外観特徴データ４３、対象認識部２４を有する。このように、各構成要素がデータ処理装置５０とサーバ６０に分配されているものの、図６に示したシステムは、図２と同様の構成要素を備え、同様に動作する。

【0044】

上述してきたように、開示のデータ処理システムは、車両の位置を検出する位置検出部としての自車位置検出部５１と、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部２２と、前記乗員が指し示す対象となり得る対象物の位置を示す対象物データベース４２と、前記対象物の外観の特徴を示す外観特徴データベース４３と、前記乗員の音声から外観の特徴を示す単語を認識する音声認識部２３と、前記乗員が指し示した方向と前記音声に含まれる単語とを用いて前記対象物データベース４２および前記外観特徴データベース４３を検索し、前記乗員が指し示した対象物の候補を抽出する対象認識部２４と、前記対象物の候補を出力する出力部（表示部３１やスピーカ３２）を備えたことを特徴とする。
このような構成と動作により、データ処理システムは、車両の乗員が指し示した対象物を効率よく特定できる。

【0045】

また、前記対象認識部２４は、前記位置検出部の検出結果と、対象物データベースに格納された対象物の位置とを用い、前記乗員の視点における前記対象物の相対的な位置関係を推定し、前記乗員から視認可能であることを条件に前記対象物の候補を抽出する。
このため、乗員から見えていない対象物を除外し、対象物を効率よく抽出できる。

【0046】

また、前記対象認識部２４は、前記位置検出部の検出結果と、対象物データベースに格納された対象物の位置とを用い、前記乗員の視点における前記対象物の相対的な位置関係を推定し、前記対象物の相対的な位置関係を相対特徴として判定し、前記音声認識部２３は、前記相対特徴をさらに認識し、前記対象認識部２４は、前記相対特徴をさらに用いて前記対象物の候補を抽出する。
このため、対象物の相対的な位置関係についての発話を利用して対象物を絞り込むことができる。

【0047】

また、前記出力部は、複数の対象物の候補を表示し、前記乗員からの選択を受け付ける。このため、十分に絞り込んだ候補から乗員に選択させ、簡易に対象物を特定できる。

【0048】

また、前記出力部は、前記対象物の特徴のうち、前記乗員の音声に含まれていない特徴を示す単語を用いて前記対象物の候補を表現する音声を出力し、前記乗員による確認を求める。
このため、乗員との対話で対象物を特定できる。

【0049】

また、前記対象物データベースとして、前記車両の経路の探索と案内に用いる地図データベースを利用することもできる。
また、前記対象認識部２４を有するサーバと、前記車両とが通信する構成であってもよい。この構成では、車載装置の処理負荷を軽くすることができる。

【0050】

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0051】

例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。

【0052】

また、車内カメラ以外の任意のセンサ、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。

【0053】

また、上記実施例では、目と指先の延長線上を乗員が指し示す方向として判定したが、手指の２点を認識し、この２点の延長線上を乗員が指し示す方向として判定してもよい。

【符号の説明】

【0054】

１０：データ処理装置、１１：車外カメラ、１２：車内カメラ、１３：マイクロフォン、２０：処理部、２２：乗員認識部、２３：音声認識部、２４：対象認識部、３１：表示部、３２：スピーカ、４０：ナビゲーションユニット、４１：自車位置検出部、４２：地図データベース、４３：外観特徴データベース、４４：記憶部、５０：データ処理装置、６０：サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】