特開 2024-82985 データ処理装置及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082985

(43)【公開日】2024-06-20

(54)【発明の名称】データ処理装置及びデータ処理方法

(51)【国際特許分類】

   G01C 21/36 20060101AFI20240613BHJP

【ＦＩ】

G01C21/36

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022197243

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】上村 尚弘

【テーマコード（参考）】

2F129

【Ｆターム（参考）】

2F129AA03

2F129CC03

2F129EE02

2F129EE21

2F129EE34

2F129EE43

2F129EE52

2F129EE78

2F129EE79

2F129EE81

2F129EE90

2F129FF02

2F129FF11

2F129GG17

2F129GG18

2F129HH14

(57)【要約】

【課題】車両乗員に対して好適なフィードバックが実現できる。
【解決手段】開示のデータ処理装置２０は、車両に設置され、車両の乗員が車両の外部を指し示す動作を認識する乗員状態認識部２２と、車両の周囲の状況を取得する周囲状況取得部２１と、乗員状態認識部２２による認識結果と、周囲状況取得部２１による取得結果とに基づいて、乗員が指し示した対象を認識する対象認識部２４と、対象の車両に対する相対方向を判定する相対方向判定部２５と、車両のフロントガラスの上方または下方に車体幅の方向に渡って設置された長尺状の発光部１５の発光態様を制御する発光制御部２７と、を備え、発光制御部２７は、対象認識部２４による認識結果に基づいて、相対方向を識別可能に発光態様を制御し、車両の移動に伴って相対方向が変化したときには当該変化に合わせて発光態様を変化させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に設置されるデータ処理装置であって、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、
前記車両の周囲の状況を取得する周囲状況取得部と、
前記乗員状態認識部による認識結果と、前記周囲状況取得部による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部と、
前記対象の前記車両に対する相対方向を判定する相対方向判定部と、
前記車両のフロントガラスの上方または下方に車体幅の方向に渡って設置された長尺状の発光部の発光態様を制御する発光制御部と、を備え、
前記発光制御部は、前記対象認識部による認識結果に基づいて、前記相対方向を識別可能に前記発光態様を制御し、前記車両の移動に伴って前記相対方向が変化したときには当該変化に合わせて前記発光態様を変化させる
ことを特徴とするデータ処理装置。

【請求項2】

前記車両内に設置されたマイクロフォンが収音した音声から、前記乗員による発話を認識する音声認識部をさらに備え、
前記対象認識部は、前記音声認識部が予め定められた発話を認識したタイミングで、前記乗員が指し示した対象を認識することを特徴とする請求項１に記載のデータ処理装置。

【請求項3】

前記発光制御部は、前記対象の認識から一定時間を経過すると、前記発光部による発光を停止させることを特徴とする請求項１に記載のデータ処理装置。

【請求項4】

前記発光制御部は、前記相対方向が前記車両の後方となったときに、前記発光部による発光を停止させることを特徴とする請求項１に記載のデータ処理装置。

【請求項5】

前記発光態様は、乗員の周辺視野でも認識できる程度の低い解像度で前記発光部の一部を発光させる態様であることを特徴とする請求項１に記載のデータ処理装置。

【請求項6】

フロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部を備える車両に設置されたデータ処理装置が、
前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識ステップと、
前記車両の周囲の状況を取得する周囲状況取得ステップと、
前記乗員状態認識ステップによる認識結果と、前記周囲状況取得ステップによる取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識ステップと、
前記対象の前記車両に対する相対方向を判定する相対方向判定ステップと、
前記発光部の発光態様を制御する発光制御ステップと、を備え、
前記発光制御ステップは、前記対象認識ステップによる認識結果に基づいて、前記相対方向を識別可能に前記発光態様を制御し、前記車両の移動に伴って前記相対方向が変化したときには当該変化に合わせて前記発光態様を変化させる
ことを特徴とするデータ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置及びデータ処理方法に関する。

【背景技術】

【0002】

従来、車両の乗員であるユーザが指し示した対象物を特定する技術がある。例えば、特許文献１には、「ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供する。」、「測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。」との記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７－０８００６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、車両の乗員による指さし動作を車載の装置がどのように認識しているかについてのフィードバックが困難である。例えば、運転者がフロントガラス越しに対象を指し示した場合、車載の装置は、指し示された方向を認識したこと、もしくは指し示された対象を認識したことを運転者にフィードバックとして伝達するインタラクションを成立させることが望ましい。このフィードバックは、運転者による周囲の目視確認を阻害することなく行うことが求められる。

【0005】

本発明では、車両乗員に好適なフィードバックを行うデータ処理装置及びデータ処理方法の提供を目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、代表的な本発明のデータ処理装置の一つは、車両に設置されるデータ処理装置であって、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記車両の周囲の状況を取得する周囲状況取得部と、前記乗員状態認識部による認識結果と、前記周囲状況取得部による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部と、前記対象の前記車両に対する相対方向を判定する相対方向判定部と、前記車両のフロントガラスの上方または下方に車体幅の方向に渡って設置された長尺状の発光部の発光態様を制御する発光制御部と、を備え、前記発光制御部は、前記対象認識部による認識結果に基づいて、前記相対方向を識別可能に前記発光態様を制御し、前記車両の移動に伴って前記相対方向が変化したときには当該変化に合わせて前記発光態様を変化させることを特徴とする。

【発明の効果】

【0007】

本発明によれば、車両乗員に対して好適なフィードバックが実現できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】実施例１のデータ処理における操作および動作の概要を説明する説明図

【図2】実施例１のデータ処理装置を含む車載システム全体の構成図

【図3】発光制御を説明するフローチャート

【図4】発光態様の制御についての説明図

【発明を実施するための形態】

【0009】

以下、実施例を図面を用いて説明する。

【実施例0010】

図１は、実施例１のデータ処理における操作および動作の概要を説明する説明図である。また、図２は、実施例１のデータ処理装置２０を含む車載システム１０全体の構成図である。車両に搭載された車載システム１０は、データ処理装置２０と、車内を撮像する車内カメラ１２と、自車両の周囲を撮像する車外カメラ１１とを備える。車載システム１０は、車両のフロントガラスの下方に、車体幅の方向に渡って設置された長尺状の発光部１５を備える。発光部１５には、例えば、車体幅の方向に渡って複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が配置された発光装置であって、敢えて、乗員の周辺視野でも認識できる程度の低い解像度でその一部のＬＥＤを発光させる発光装置（以下、「低解像度ＬＥＤ」という。）を用いる。

【0011】

データ処理装置２０は、車内カメラ１２から画像を取得し、ユーザである車両の乗員の状態を認識する。例えば、乗員が車外を指さすと、データ処理装置２０は、車内カメラ１２の画像を分析して乗員の目の位置と手指の位置を識別し、目の位置と指先を結ぶ直線を指さし方向と判定する。手指とは、手と指の少なくとも一方を含む意味で用いる。

【0012】

データ処理装置２０は、車外カメラ１１の出力から車両の周囲の状況を取得する。車外カメラ１１は、例えばステレオカメラであり、データ処理装置２０は、車両の周辺の３次元マップデータである空間マップを取得できる。ステレオカメラに代えてＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよいし、ステレオカメラとＬｉＤＡＲを併用してもよい。

【0013】

データ処理装置２０は、指さし方向と空間マップを用いて乗員が指し示した対象を指さし対象として認識する。データ処理装置２０は、指さし対象と自車両に対する相対方向を判定する。データ処理装置２０は、相対方向を示す発光態様で発光部１５を発光させる。データ処理装置２０は、乗員が指さしをやめた後も相対方向を示す発光制御を継続する。データ処理装置２０は、車両の移動に伴って相対方向が変化したときには当該変化に合わせて発光態様を変化させる。

【0014】

図１では、データ処理装置２０は、乗員の手Ｈ１による指さし方向を判定している（Ａ１）。データ処理装置２０は、店舗Ｔ１を指さし対象と認識し、店舗Ｔ１の相対方向を示す表示Ｌ１を発光部１５に表示させる（Ａ２）。データ処理装置２０は、乗員が指さしをやめても相対方向の表示を継続する。データ処理装置２０は、車両が移動して相対方向が変化すると、相対方向の変化に追従して表示Ｌ２を変化させる（Ａ３）。

【0015】

データ処理装置２０は、乗員の指さし行為に対する認識の結果を、相対方向で示すことでフィードバックできる。データ処理装置２０は、相対方向の変化に追従させながら発光を継続するので、認識結果を乗員に分かりやすく通知できる。データ処理装置２０は認識結果をフロントガラスの下方の発光態様の変化として示すので、乗員は車両周辺の直接目視を行いつつ、周辺視野でデータ処理装置２０からのフィードバックを確認できる。

【0016】

図２において、データ処理装置２０は、駆動制御ユニット３０及びナビゲーションユニット４０と接続する。駆動制御ユニット３０は、自車両の加減速と操舵を制御するユニットである。車両のナビゲーションユニット４０は、自車両の位置を特定し、地図データベースを参照して車両の経路の探索と案内を行うユニットである。この地図データベースは、乗員が指し示す対象となり得るものの位置を示す対象物データベースとして用いることができる。

【0017】

データ処理装置２０は、車載システム１０が有する車外カメラ１１、車内カメラ１２、マイクロフォン１３、スピーカー１４、発光部１５に接続されている。車外カメラ１１は、車両の周囲を撮像する撮像装置である。車内カメラ１２は、車室内を撮像する撮像装置であり、車室内の乗員の状態を取得するセンサとして機能する。マイクロフォン１３は、車室内の音を集音する。スピーカー１４は、車室内に設置され、乗員に対する音の出力を行う装置である。発光部１５は、車両のフロントガラスの下方に、車体幅の方向に渡って設置された長尺状の低解像度ＬＥＤである。

【0018】

車外カメラ１１は、例えば乗員の視界を撮像範囲に含む位置に設置する。
車内カメラ１２は、乗員の目と手を撮像可能な位置に設置する。例えば、ルームミラー近傍やルームライト近傍などに設置すればよい。

【0019】

データ処理装置２０は、周囲状況取得部２１、乗員状態認識部２２、音声認識部２３、対象認識部２４、相対方向判定部２５、音声出力部２６及び発光制御部２７を有する。データ処理装置２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、周囲状況取得部２１、乗員状態認識部２２、音声認識部２３、対象認識部２４、相対方向判定部２５、音声出力部２６及び発光制御部２７に対応する機能を実現すればよい。

【0020】

周囲状況取得部２１は、自車両の周囲の状況を取得する。周囲状況取得部２１は、自車両の周囲を撮像する車外カメラ１１の撮像結果から空間マップを得る。周囲状況取得部２１は、ナビゲーションユニット４０により特定された自車両の位置データと周囲の地図データを得る。

【0021】

乗員状態認識部２２は、車内カメラ１２が撮像した画像を取得し、車両の乗員の状態を認識する。乗員状態認識部２２が認識する乗員の状態は、車両の外部を指し示す動作を含む。乗員状態認識部２２は、乗員の目の位置と手指の位置を認識する。乗員状態認識部２２は、乗員の目の位置と手指の位置から指さし方向を認識し、対象認識部２４に出力する。

【0022】

音声認識部２３は、車両内に設置されたマイクロフォン１３が収音した音声から、乗員による発話を認識する。例えば、「あれはなに？」など、乗員が差し示す動作と共に用いる単語を認識すればよい。

【0023】

対象認識部２４は、周囲状況と、指さし方向とを用いて乗員が指し示した対象を認識する。対象認識部２４は、空間マップに指さし方向を重ね合わせ、指さし方向に所在する空間マップ上のオブジェクトを乗員が指し示した対象として認識する。対象認識部２４が対象を認識するタイミングは、乗員状態認識部２２が指さしを認識したときであってもよいし、音声認識部２３が予め定められた発話を認識したタイミングであってもよい。

【0024】

相対方向判定部２５は、対象認識部２４が認識した対象の車両に対する相対方向を判定する。相対方向判定部２５は、対象認識部２４が認識した対象の空間マップにおける位置を相対方向の判定に利用する。相対方向判定部２５は、ナビゲーションユニット４０により特定された自車両の位置データと周囲の地図データを相対方向の判定に利用できる。相対方向判定部２５は、駆動制御ユニット３０から取得した自車両の速度や操舵状態に関するデータを相対方向の判定に利用できる。相対方向判定部２５は、対象が認識された後、車両が移動した場合には、その移動に合わせて相対方向を変化させる。

【0025】

音声出力部２６は、スピーカー１４から音声信号を出力する。音声出力部２６は、対象認識部２４の認識結果に基づいて、予め定められた音声信号をスピーカー１４から出力させる。

【0026】

発光制御部２７は、発光部１５の発光態様を制御する。発光制御部２７は、対象認識部２４による認識結果に基づいて、相対方向を識別可能に発光態様を制御し、車両の移動に伴って相対方向が変化したときには当該変化に合わせて発光態様を変化させる。
発光制御部２７は、所定の終了条件が成立したときに、発光部１５による発光を停止させる。終了条件としては、「対象認識部２４による対象の認識から一定時間の経過」、「相対方向が車両の後方となったとき」等が適用可能である。

【0027】

図３は、データ処理装置２０の処理手順を示すフローチャートである。データ処理装置２０は、図３に示したステップＳ１０１からステップＳ１０７の処理を繰り返し実行する。
ステップＳ１０１（乗員状態認識ステップ） 乗員状態認識部２２は、車内カメラ１２の撮影結果に基づいて乗員の状態を認識し、乗員が指さし動作を行っているか否かを判定する。乗員が指さし動作を行っていないと判定したとき、乗員状態認識部２２は、ステップＳ１０１を繰り返す。乗員が指さし動作を行っていると判定したとき、乗員状態認識部２２は、ステップＳ１０２に進む。

【0028】

ステップＳ１０２（乗員状態認識ステップ） 乗員状態認識部２２は、指さし方向を判定し、ステップＳ１０３に進む。
ステップＳ１０３（周囲状況取得ステップ） 周囲状況取得部２１は、車外カメラ１１の撮像結果から空間マップを取得し、ステップＳ１０４に進む。
ステップＳ１０４（対象認識ステップ） 対象認識部２４は、空間マップと指さし方向とを用いて乗員が指し示した対象を認識し、ステップＳ１０５に進む。
ステップＳ１０５（相対方向判定ステップ） 相対方向判定部２５は、対象認識部２４が認識した対象の車両に対する相対方向を判定し、ステップＳ１０６に進む。
ステップＳ１０６（発光制御ステップ） 発光制御部２７は、発光部１５に対し、相対方向を示す発光制御を行い、発光の終了条件が成立したか否かを判定する。終了条件が不成立であれば、ステップＳ１０５に戻る。終了条件が成立すれば、ステップＳ１０７に進む。
ステップＳ１０７ 発光制御部２７は、発光部１５の発光を終了し、ステップＳ１０１に戻る。

【0029】

図４は、発光態様の制御についての説明図である。
対象認識の開始条件としては、「指さし認識」、「予め登録した単語の音声認識」等を用いることができる。
発光態様の制御の終了条件としては、「対象認識から一定時間経過」、「指さし終了から一定時間経過」、「相対方向が車両の後方となった」、「対象認識結果の利用終了」等を用いることができる。
対象認識結果の用途としては、「対象の情報を提供」、「地点登録、目的地設定」、「自動制御、自動駐車」等を用いることができる。

【0030】

「対象の情報を提供」では、音声出力部２６が対象の情報をスピーカー１４から音声出力する。認識した対象が店舗であれば、音声出力部２６は、名称、種別、営業時間、イベント情報などを示す音声をスピーカー１４から出力する。これらの情報は、予め定めた音声信号として保持しておいてもよいし、テキスト情報から音声情報に適宜転換してもよい。音声出力に限らず、表示出力も可能である。

【0031】

「地点登録、目的地設定」では、対象認識部２４が、ナビゲーションユニット４０に対し、認識した対象の地点登録や目的地設定を要求する。
「自動制御、自動駐車」では、対象認識部２４が、駆動制御ユニット３０に対し、認識した対象の場所を行先とする自動走行の制御や、自動駐車の制御を要求する。

【0032】

上述してきたように、開示のデータ処理装置２０は、車両に設置され、前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部２２と、前記車両の周囲の状況を取得する周囲状況取得部２１と、前記乗員状態認識部２２による認識結果と、前記周囲状況取得部２１による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部２４と、前記対象の前記車両に対する相対方向を判定する相対方向判定部２５と、前記車両のフロントガラスの上方または下方に車体幅の方向に渡って設置された長尺状の発光部１５の発光態様を制御する発光制御部２７と、を備え、前記発光制御部２７は、前記対象認識部２４による認識結果に基づいて、前記相対方向を識別可能に前記発光態様を制御し、前記車両の移動に伴って前記相対方向が変化したときには当該変化に合わせて前記発光態様を変化させる。
この構成及び動作により、データ処理装置２０は、車両乗員に対して好適なフィードバックが実現できる。

【0033】

開示のデータ処理装置２０は、前記車両内に設置されたマイクロフォン１３が収音した音声から、前記乗員による発話を認識する音声認識部２３をさらに備え、前記対象認識部２４は、前記音声認識部２３が予め定められた発話を認識したタイミングで、前記乗員が指し示した対象を認識する。
このためデータ処理装置２０は、乗員が対象を指し示す意図を的確に把握し、対象を認識できる。

【0034】

開示のデータ処理装置２０は、前記車両の車室内に設置されたスピーカー１４から音声信号を出力する音声出力部２６をさらに備え、前記音声出力部２６は、前記対象認識部２４の認識結果に基づいて、予め定められた音声信号を前記スピーカー１４から出力させる。
このため、データ処理装置２０は、認識結果に関する情報を乗員に提供できる。

【0035】

前記発光制御部２７は、一例として、前記対象の認識から一定時間を経過すると、前記発光部による発光を停止させる。
前記発光制御部２７は、一例として、前記相対方向が前記車両の後方となったときに、前記発光部による発光を停止させる。
このように、データ処理装置２０は、状態に応じて適切の発光を停止できる。

【0036】

前記周囲状況取得部２１は、一例として、前記車両の外部に設置されたＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）及び／又はステレオカメラから得た情報に基づいて空間マップを生成する。
このため、データ処理装置２０は、周囲の状況を的確に把握し、対象を認識できる。

【0037】

前記発光部１５は、一例として、低解像度ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。
発光部１５によるフィードバックは、詳細な情報の出力を要しないので、低解像度ＬＥＤが適する。また、低解像度ＬＥＤは、車内インテリアとしても利用できる。
発光部１５としては、このような低解像度ＬＥＤの代わりに、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ）などの高解像度のディスプレイ装置を用いて、その全部または一部にフィードバックを低解像度で表示するようにしても良い。また、ダッシュボードなど、車体幅の方向に渡って設置された車両内装の一部分に光線を投影するプロジェクタを用いても良いし、フロントガラスの一部分を発光させるヘッドアップディスプレイ（ＨＵＤ）を用いても良い。
上記何れの形態の発光部１５であっても、乗員の周辺視野でも認識できる程度の敢えて低い解像度で発光させるので、乗員の視線を発光部１５に注目させることはない。乗員は、フロンガラス前方に視線を向け、安全上の注意を払いながら、発光部１５の状態を認識することができる。

【0038】

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

【0039】

例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。

【0040】

また、車内カメラ以外の任意のセンサ、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。

【0041】

また、上記実施例では、目と指先の延長線上を乗員が指し示す方向として判定したが、手指の２点を認識し、この２点の延長線上を乗員が指し示す方向として判定してもよい。

【符号の説明】

【0042】

１０：車載システム、１１：車外カメラ、１２：車内カメラ、１３：マイクロフォン、１４：スピーカー、１５：発光部、２０：データ処理装置、２１：周囲状況取得部、２２：乗員状態認識部、２３：音声認識部、２４：対象認識部、２５：相対方向判定部、２６：音声出力部、２７：発光制御部、３０：駆動制御ユニット、４０：ナビゲーションユニット

【図1】

【図2】

【図3】

【図4】