特許 7167177 移動している１次オブジェクトの軌道と交差し得る２次オブジェクトの高速検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-28

(45)【発行日】2022-11-08

(54)【発明の名称】移動している１次オブジェクトの軌道と交差し得る２次オブジェクトの高速検出

(51)【国際特許分類】

   G08G 1/16 20060101AFI20221031BHJP

   G06T 7/00 20170101ALI20221031BHJP

【ＦＩ】

G08G1/16 C

G06T7/00 650B

【請求項の数】 12

(21)【出願番号】P 2020550821

(86)(22)【出願日】2019-03-19

(65)【公表番号】

(43)【公表日】2021-11-18

(86)【国際出願番号】 EP2019056866

(87)【国際公開番号】W WO2019180033

(87)【国際公開日】2019-09-26

【審査請求日】2021-05-06

(31)【優先権主張番号】18163096.3

(32)【優先日】2018-03-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(73)【特許権者】

【識別番号】519145230

【氏名又は名称】プロフェセ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100112793

【弁理士】

【氏名又は名称】高橋 佳大

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ミヒャエル プファイファー

(72)【発明者】

【氏名】ヨヘン マルクス

(72)【発明者】

【氏名】オリヴァー ランゲ

(72)【発明者】

【氏名】クリストフ ポッシュ

(72)【発明者】

【氏名】グザヴィエ ラゴルス

(72)【発明者】

【氏名】スピロス ニコライディス

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０１７－１４２７６０（ＪＰ，Ａ）

【文献】特表２０１５－５０７２６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０３６８７１２（ＵＳ，Ａ１）

【文献】特開平０７－２４９１２７（ＪＰ，Ａ）

【文献】特開２００８－０２１０３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

移動している１次オブジェクト（５０）の軌道（５１）と交差する可能性がある動的な２次オブジェクト（５５）を検出するためのシステム（１）であって、イベントベースピクセル（２１）を含む感光領域（２０）を有する視覚センサ（２）を備え、これにより、少なくとも所定の割合だけ、前記視覚センサ（２）のイベントベースピクセル（２１）に入射する光強度が相対変化することにより、前記視覚センサ（２）に、当該イベントベースピクセル（２１）に関連づけられたイベント（２１ａ）を発出させ、前記１次オブジェクト（５０）は、前記視覚センサ（２）を有する、有人又は無人の陸上車両又は航空機であり、前記２次オブジェクト（５５）は、特に、前記視覚センサ（２）の視野に予期されずに入ってくる動的なオブジェクトである、システム（１）において、
前記システム（１）は、弁別モジュール（３）をさらに備え、前記弁別モジュール（３）は、前記視覚センサ（２）からの前記イベント（２１ａ）のストリームと、前記１次オブジェクト（５０）の動きの進行方向及び／又は速度に関する情報（５２）との両方を入力として取得し、かつ、前記情報（５２）に少なくとも部分的に基づいて、前記イベント（２１ａ）のストリームから、前記１次オブジェクト（５０）の動きではなく、前記２次オブジェクト（５５）の動きによって引き起こされる可能性が高いイベント（２１ｂ）を識別するように構成されており、前記弁別モジュール（３）は、所定の時間フレーム内に発出された所定の数を超えるイベント（２１ａ）を発生させる前記視覚センサ（２）の視野（２３）内に、前記２次オブジェクト（５５）の動きによって引き起こされる可能性が高いイベント（２１ｂ）が生じる制限領域（２３ａ）があるとの判定に応じて、当該領域（２３ａ）に関連づけられた前記イベント（２１ａ）を、前記２次オブジェクト（５５）の動きによって引き起こされるイベント（２１ｂ）として識別するようにさらに構成されている、
ことを特徴とするシステム（１）。

【請求項2】

前記弁別モジュール（３）は、前記イベント（２１ａ）のストリームが、前記１次オブジェクト（５０）の動きと一致しない少なくとも１つの特定の方向（２１ｄ）にコヒーレントに移動する前記視覚センサの前記視野（２３）内の位置（Ａ，Ｂ，Ｃ）に関連するイベント（２１ａ）のシーケンス（２１ｃ）を含むとの判定に応じて、前記シーケンス（２１ｃ）内の前記イベント（２１ａ）を、前記２次オブジェクト（５５）の動きによって引き起こされるイベント（２１ｂ）として識別するようにさらに構成されている、
請求項１に記載のシステム（１）。

【請求項3】

前記弁別モジュール（３）は、前記特定の方向（２１ｄ）を前記１次オブジェクト（５０）の前記軌道（５１）と比較し、前記特定の方向（２１ｄ）が前記１次オブジェクト（５０）の前記軌道（５１）と交差する場合にのみ、前記シーケンス（２１ｃ）内の前記イベント（２１ａ）を、前記２次オブジェクト（５５）の動きによって引き起こされるイベント（２１ｂ）として識別するようにさらに構成されている、
請求項２に記載のシステム（１）。

【請求項4】

前記システム（１）は、分類モジュール（４）をさらに備え、前記分類モジュール（４）は、前記弁別モジュール（３）が前記２次オブジェクト（５５）の動きによって引き起こされるイベント（２１ｂ）として識別した前記イベント（２１ａ）から、及び／又は、前記識別されたイベント（２１ｂ）を発生させた前記視覚センサ（２）の前記視野（２３）内の領域（２３ａ，２３ｂ）に関連する画像情報（２２ｂ）から、前記２次オブジェクト（５５）を、いくつかのカテゴリ（４１ａ～４１ｃ）のうちの少なくとも１つに分類するように構成されている、
請求項１乃至３のいずれか一項に記載のシステム（１）。

【請求項5】

前記分類モジュール（４）は、入力情報の学習サンプル及び所望の分類結果（４１ａ～４１ｃ）の対応する学習サンプルを使用して訓練可能であり及び／又は訓練された、人工知能モジュール、コンピュータ視覚モジュール及び／又は統計的分類モジュールを含む、
請求項４に記載のシステム（１）。

【請求項6】

前記人工知能モジュールは、識別されたイベント（２１ｂ）のストリームを入力として直接的に受信するように構成されたスパイキングニューラルネットワークを含む、
請求項５に記載のシステム（１）。

【請求項7】

前記分類モジュール（４）は、前記視覚センサ（２）の前記視野（２３）内の分類された２次オブジェクト（５５）の位置（５５ａ）を判定するように構成された追跡モジュール（６）に通信可能に接続されている、
請求項４乃至６のいずれか一項に記載のシステム（１）。

【請求項8】

前記追跡モジュール（６）は、前記弁別モジュール（３）に通信可能に接続されており、かつ、前記分類された２次オブジェクト（５５）の前記位置（５５ａ）を前記弁別モジュール（３）にフィードバックするように構成されている、
請求項７に記載のシステム（１）。

【請求項9】

前記システム（１）は、警報デバイス（７）をさらに備え、前記警報デバイス（７）は、検出された２次オブジェクト（５５）の存在に応じて、及び／又は、所定のカテゴリ（４１ａ～４１ｃ）に分類された２次オブジェクト（５５）に応じて、前記システム（１）のユーザに可聴である警報及び／又は可視である警報を物理的に発出するように構成されている、
請求項１乃至８のいずれか一項に記載のシステム（１）。

【請求項10】

前記システム（１）は、緩和モジュール（８）をさらに備え、前記緩和モジュール（８）は、１次オブジェクト（５０）として機能する陸上車両又は航空機のパワートレイン、制動システム及び／又はステアリングシステムに通信可能に接続されており、かつ、検出された２次オブジェクト（５５）の存在に応じて、及び／又は、所定のカテゴリ（４１ａ～４１ｃ）に分類された２次オブジェクト（５５）に応じて、前記パワートレイン、前記制動システム及び／又は前記ステアリングシステムを動作させて、１次オブジェクト（５０）として機能する前記車両と前記２次オブジェクト（５５）との衝突を回避するように構成されている、
請求項１乃至９のいずれか一項に記載のシステム（１）。

【請求項11】

個々のピクセル（２１，２２）に分割された感光領域（２０）を含む、請求項１乃至１０のいずれか一項に記載のシステム（１）において使用するための視覚センサ（２）であって、各ピクセル（２１，２２）が、光強度及び／又は光強度の変化を電気信号に変換するように構成された検出器に接続されており、前記ピクセル（２１，２２）の第１の非ゼロ部分が、イベントベースピクセル（２１）として構成されており、これにより、少なくとも所定の割合だけ、イベントベースピクセル（２１）に入射する前記光強度が相対変化することにより、前記視覚センサ（２）に、当該ピクセル（２１）に関連づけられたイベント（２１ａ）を発出させ、前記ピクセル（２１，２２）の第２の非ゼロ部分が、画像ピクセル（２２）として構成されており、これにより、前記視覚センサ（２）は、前記光強度及び／又は前記光強度の変化を前記電気信号に変換して得られた前記画像ピクセル（２２）の強度値（２２ａ）から合成される画像（２２ｂ）を提供する、視覚センサ（２）において、
イベントベースピクセル（２１）のローカル密度と画像ピクセル（２２）のローカル密度との比率が、前記感光領域（２０）の中央部分（２０ａ）から前記感光領域（２０）の境界（２０ｂ，２０ｄ）までの経路上で増加し、前記感光領域（２０）の前記中央部分（２０ａ）は、実質的に画像ピクセル（２２）のみを含む一方、前記感光領域（２０）の境界（２０ｂ，２０ｄ）に隣接する少なくとも１つの境界部分（２０ｃ，２０ｅ）は、実質的にイベントベースピクセル（２１）のみを含む、
ことを特徴とする視覚センサ（２）。

【請求項12】

機械可読命令を含むコンピュータプログラムであって、前記命令は、コンピュータ及び／又は制御ユニットによって実行されるときに、前記コンピュータ及び／又は前記制御ユニットに、請求項１乃至１０のいずれか一項に記載のシステム（１）又は弁別モジュール（３）の機能を与えるためのものであり、又は、前記コンピュータ及び／又は前記制御ユニットに、前記視覚センサ（２）が請求項１１に記載の視覚センサ（２）となるように、前記視覚センサ（２）を動作させるためのものである、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、警告を発し又は衝突回避行動を取ることができるように、移動している１次オブジェクトと衝突し得る２次オブジェクトとを可能な限り早期に検出するためのシステムに関する。

【背景技術】

【0002】

背景技術
過去の交通事故の分析によると、事故の大部分が、単に充分な衝突回避行動のための充分な時間がなかったために発生していることが判明した。もし、あともう少しの時間、多くの場合、１秒未満の時間があれば、事故は、回避することができたはずである。

【0003】

こうした重要な時間を得るために、自動緊急ブレーキアシスタントが開発されている。当該アシスタントにおいては、移動している車両が衝突し得るオブジェクトを、高速にかつ確実に検出する必要がある。車両の不要な緊急ブレーキは、後続の運転者を驚かせ、追突を引き起こし得るため、誤検出は、回避されなければならない。しかし、処理がより複雑になると、時間がかかり過ぎる場合がある。

【0004】

視覚センサを用いた視覚情報の取得においては、時間が幾分節約され得る。従来の視覚センサは、画像フレームを出力する。こうしたセンサを使用した取得可能な検出速度は、１秒あたりのフレームレートの関数であり、かつ、画像データの大量のフローを処理するために使用可能な処理帯域幅の関数である。米国特許出願公開第２０１６／０９６４７７号明細書（ＵＳ２０１６／０９６４７７Ａ１）においては、従来の視覚センサにイベントベースの光検出要素を追加することが提案されている。このようなイベントベースの光検出要素に入射する光強度が所定の相対量を超えて変化するときには常に、センサが、対応するイベントを直ちに発出する。次の画像フレームの取得を待機する必要はない。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許出願公開第２０１６／０９６４７７号明細書（ＵＳ２０１６／０９６４７７Ａ１）

【発明の概要】

【課題を解決するための手段】

【0006】

発明の開示
発明者らは、移動している１次オブジェクトの軌道と交差する可能性がある、動的な２次オブジェクトを検出するためのシステムを開発した。移動している１次オブジェクトは、例えば、通常の乗用車、少なくとも部分的に自動運転の車両、多目的車両、鉄道車両、無人航空機（「ドローン」）、作業若しくは監視を行うために動き回るロボット、又は、いかなる人員も回避すべき危険領域の包囲のもとにある産業用ロボットなどの、有人若しくは無人の陸上車両又は航空機であるものとしてよい。移動している１次オブジェクトはまた、例えば、拡張現実をそのユーザに提供するデバイスなど、人間が装着可能なデバイスであるものとしてもよい。

【0007】

システムは、イベントベースピクセルを含む感光領域を有する視覚センサを備えているため、少なくとも所定の割合だけ、視覚センサのイベントベースピクセルに入射する光強度が相対変化することにより、視覚センサに、当該イベントベースピクセルに関連づけられたイベントを発出させる。

【0008】

システムは、弁別モジュールをさらに備え、当該弁別モジュールは、視覚センサからのイベントのストリームと、１次オブジェクトの動きの進行方向及び／又は速度に関する情報との両方を入力として取得する。当該情報に少なくとも部分的に基づいて、弁別モジュールは、イベントのストリームから、１次オブジェクトの動きではなく、２次オブジェクトの動きによって引き起こされる可能性が高いイベントを識別することができる。

【0009】

１次オブジェクトの動きの進行方向及び／又は速度に関する情報は、任意の適当な手法により取得することができる。例えば、車両においては、他の車両制御システムに使用されている既存の加速度センサからのデータに、ＣＡＮバス又は他のバスを介してアクセスすることができる。また、速度計情報及びステアリング角度も、同様にこうしたバスを介してアクセス可能である。ユーザが装着可能なデバイスにおいては、センサ、例えば、傾斜センサ、加速度計及びＧＰＳを使用するものとしてもよい。

【0010】

発明者らは、１次オブジェクト自体の動きが、多数のイベントを生成させることを発見した。視覚センサの視野内にコントラストリッチな（コントラストが明瞭な）静的なオブジェクトが存在する場合、１次オブジェクトの動きによって、当該オブジェクトは、当該視野内を漂遊し、イベントのストリームをトリガする。しかし、通常の環境下においては、当該静的なオブジェクトは、１次オブジェクトの軌道と交差することはなく、即ち、運転者は通常、このようなオブジェクトに突進することはない。従って、静的なオブジェクトによって引き起こされるイベントは、目前のタスク、即ち、迅速にかつ予測されていない状態で視野に入ってくるオブジェクトを検出することには関連しない。２次オブジェクトの動きによって引き起こされるこうしたイベントを識別することにより、１次オブジェクトの動きによって引き起こされる多数のイベントを安全に無視することが可能となる。従って、データ転送の帯域幅及び処理機能は、より重要なイベントとして識別されたイベントに向けて集中させることができる。さらに、予期されない緊急制動イベントを引き起こし得る誤検出の可能性が低減される。

【0011】

特に有利な実施形態においては、弁別モジュールは、所定の時間フレーム内に発出された所定の数を超えるイベントを発生させる視覚センサの視野内に制限領域が存在するとの判定に応じて、当該領域に関連づけられたイベントを、２次オブジェクトの動きによって引き起こされるイベントとして識別するようにさらに構成される。１次オブジェクトの動きにより、視覚センサの視野全体が移動させられるため、当該動きによって生成されるイベントは、当該視野全体にわたって多少分散されることになる。対照的に、オブジェクトが予期されずに視野に入ってくると、対応するイベントは、小さい領域に集中させられることになる。

【0012】

強くテクスチャ化された静的なオブジェクトは、イベントアクティビティの高い領域を作成し得るが、このようなアクティビティピークは、所与の期間にわたって視野内に留まり、予測可能な軌道上を移動するため、予期されない進入オブジェクトとは区別される。

【0013】

具体的に、さらに特に有利な実施形態においては、弁別モジュールは、イベントのストリームが、１次オブジェクトの動きと一致しない少なくとも１つの特定の方向にコヒーレントに移動する視覚センサの視野内の位置に関連するイベントのシーケンスを含むとの判定に応じて、シーケンス内のイベントを、２次オブジェクトの動きによって引き起こされるイベントとして識別するようにさらに構成される。例えば、路肩に駐車中のコントラストリッチな車両が存在する場合、視野内の対応するイベントの動きは、１次オブジェクトとして機能しかつシステムに適合する車両の動きと一致する。しかし、駐車中の車両の間のスペースを車道へ向かって歩行者が通り抜けると、１次オブジェクトの動きに対して垂直な方向に移動するイベントのシーケンスが生成されることになる。

【0014】

さらに有利な実施形態においては、弁別モジュールは、シーケンス内のイベントが移動する特定の方向と１次オブジェクトの軌道とを比較し、当該特定の方向が１次オブジェクトの軌道と交差する場合にのみ、シーケンス内のイベントを２次オブジェクトの動きによって引き起こされるイベントとして識別するようにさらに構成される。例えば、歩行者が路肩で静止している間に腕を振るだけの場合、又は、道路から歩道に向かって歩いている場合、道路上の１次オブジェクトの軌道と交差する危険はない。従って、当該歩行者の検出においては、緊急制動イベントを許可しない。

【0015】

さらに特に有利な実施形態においては、システムは、分類モジュールをさらに備え、当該分類モジュールは、弁別モジュールが２次オブジェクトの動きによって引き起こされるイベントとして識別されたイベントから、及び／又は、当該識別されたイベントを発生させた視覚センサの視野内の領域に関連する画像情報から、当該２次オブジェクトを、いくつかのカテゴリのうちの少なくとも１つに分類するように構成される。分類モジュールがイベントを直接的に処理する場合、２次オブジェクトの動きによって引き起こされないイベントの選択的な間引きにより、処理すべきイベントの数が大幅に低減される。分類モジュールが、イベントに関連づけられた領域に関する画像情報を処理する場合、当該領域は、視野全体の全体画像のサイズと比較して小さくなるため、処理する必要のある画像情報は、はるかに少なくなる。いずれの手法においても、関連性の低い情報を間引くことにより、分類が高速化され、かつ、誤分類のリスクも低減されるが、そもそも分類されていないものは、誤分類もありえない。

【0016】

さらに特に有利な実施形態においては、分類モジュールは、入力情報の学習サンプル及び所望の分類結果の対応する学習サンプルを使用して、訓練可能であり及び／又は訓練された、人工知能モジュール、コンピュータ視覚モジュール及び／又は統計的分類モジュールを含む。例えば、人工知能モジュールは、ニューラルネットワークを含み得る。システムには、以下の有利な任務の分離がある。即ち、弁別モジュールは、専ら、潜在的に関連する様態で移動する「何か」を検出する責任を負うのに対して、分類モジュールは、専ら当該「何か」が何であるかを判定する責任を負う。このことは、既存の分類モジュールを修正せずに使用することができることを意味し、即ち、弁別モジュールを分類モジュールの前方に追加するだけでよい。訓練可能な分類モジュールに何らかの修正を加えると、モジュールの少なくとも部分的な再訓練が必要になり得る。こうした訓練には、通常、時間及び費用がかかる。例えば、含まれるオブジェクトに関して画像を分類するために使用される分類モジュールは、数十万の訓練画像及び対応する所望の分類結果を用いて訓練される場合がある。また、分類モジュールは、公共交通における使用のための公的な認可を既に保有している場合があるが、何らかの修正により、当該認可が無効となってしまうことがある。ここでの任務の分離により、こうした問題を回避することができ、（弁別モジュールを含む）システム全体の認可も容易になる。

【0017】

好ましくは、人工知能モジュールは、識別されたイベントのストリームを入力として直接的に受信するように構成されたスパイキングニューラルネットワークを含む。このことにより、次の画像フレームが視覚センサによって配信される前に既に、イベントのストリームが分類に充分となり得るため、分類がさらに高速化される。また、イベントのシーケンスとしての２次オブジェクトの表現は、画像情報としての表現と比較して、高度に圧縮されたデータセットであるものとしてよい。

【0018】

分類モジュールがイベントを入力として処理する場合、分類モジュールは、例えば、特定の期間にわたって特定の領域の総てのイベントを処理することができる。イベントは、さらなる情報、例えば、オプティカルフローを提供するために前処理可能であり、又は、平均イベントアクティビティのフレームを作成するために所与の時間にわたって処理可能である。

【0019】

分類モジュールが画像情報を入力として処理する場合、識別されたイベントの位置は、例えば、イベントに対応する画像情報を取得するために、別個の画像センサの座標に変換することができる。こうした変換は、例えば、同一の視覚センサが、従来の画像に寄与する画像ピクセルと、充分に大きい相対強度の変化に応じて直ちにイベントを生成するイベントベースピクセルとの交互混合を含む場合、保存可能である。

【0020】

運転支援システムにおいては、通常、分類モジュールの役割は、弁別モジュールによって潜在的に危険であると識別された２次オブジェクトの正確な性質を判定することである。このことには、実際には危険ではない２次オブジェクト、例えば、無関係の検出、又は、１次オブジェクトの軌道と交差しても害を及ぼさないであろう２次オブジェクト、例えば、水、雪、影若しくは落葉を識別することが含まれる。

【0021】

さらに特に有利な実施形態においては、分類モジュールは、視覚センサの視野内の分類された２次オブジェクトの位置を判定するように構成された追跡モジュールに通信可能に接続される。一旦、オブジェクトが視覚センサの視野に入ると、当該オブジェクトは、所与の時間、そこに留まる。こうしたオブジェクトを何度も検出して分類することに代えて、以前に識別された関連領域の内部及び付近のイベントによって示される移動方向を使用して、経時的にスムーズに追跡することが経済的である。イベントは、位置が変化する瞬間に生成されるため、新しい画像フレームにおいて同一のオブジェクトを探索するのではなく、小さいシフトを実行するだけで済む。追跡はまた、オブジェクト全体ではなく、オブジェクトの一部（例えば、歩行者の脚や腕）に適用することもできる。

【0022】

追跡モジュールは、弁別モジュールに通信可能に接続されているものとしてよく、分類された２次オブジェクトの位置を弁別モジュールにフィードバックするように構成可能である。これにより、分類モジュールを介して得られた情報を再利用して、関連性のより低いイベントの初期の間引きを微調整することが可能となる。例えば、オブジェクトが危険ではないと分類された場合、当該オブジェクトのさらなる動きによって引き起こされる後続の総てのイベントを間引きすることができる。また、関連するオブジェクトは、既に追跡されていれば、もはや弁別モジュールに予期されなかったものとして生じることはない。例えば、オブジェクトの処理においては、突然かつ予期されずに視覚センサの視野に入り得る新しいオブジェクトに最高優先度を与えることができる。なぜなら、こうしたオブジェクトが１次オブジェクトと衝突する可能性が最も高いためである。

【0023】

さらに特に有利な実施形態においては、システムは、警報デバイスをさらに備え、当該警報デバイスは、検出された２次オブジェクトの存在に応じて、及び／又は、所定のカテゴリに分類された２次オブジェクトに応じて、システムのユーザに可聴である警報及び／又は可視である警報を物理的に発出するように構成される。

【0024】

例えば、歩いている人又は車両の運転者に、新しい２次オブジェクトに注意するよう警告するために警報を音響出力することができる。拡張現実を提供するヘッドアップディスプレイ又はその他のデバイスにおいては、２次オブジェクトが検出された視野内の領域を強調表示することができる。２次オブジェクトが分類されている場合、当該分類の結果も、同様に警報に含まれるものとしてよい。

【0025】

さらに特に有利な実施形態においては、システムは、緩和モジュールをさらに備え、当該緩和モジュールは、１次オブジェクトとして機能する陸上車両又は航空機のパワートレイン、制動システム及び／又はステアリングシステムに通信可能に接続される。緩和モジュールは、検出された２次オブジェクトの存在に応じて、及び／又は、所定のカテゴリに分類された２次オブジェクトに応じて、パワートレイン、制動システム及び／又はステアリングシステムを動作させて、１次オブジェクトとして機能する車両と２次オブジェクトとの衝突を回避するように構成される。

【0026】

２次オブジェクトの検出に対するこうした自動応答により、ループから排除することができない人の反応時間を低減することが可能になる。同時に、応答は、検出された２次オブジェクトの具体的なタイプに適当に適応させることができる。例えば、小動物の検出に応じて車両に緊急ブレーキをかけることは、追突を引き起こす危険を回避するには、望ましくない場合がある。しかし、２次オブジェクトが、人間である場合、又は、衝突時に車両にかなりの損傷を起こし得るより大きい動物である場合、車両の緊急ブレーキが許可される場合がある。公共交通機関の車両、例えば、バス又は鉄道車両にも同様の考慮事項が適用され、突然の制動イベント又は回避マヌーバは、立っている乗客の怪我を引き起こし得るため、潜在的な衝突の危険性が評価されなければならない。

【0027】

視覚センサの「視野」及びこうした視野に突然「入ってくる」オブジェクトについて論じる場合、当該用語は、原則として、光が視覚センサに到達し得る領域の物理的寸法に制限されない。むしろ、「視野」は、視覚センサが現在の状況及び条件に基づいてイベント又はオブジェクトを検出する可能性がある領域として、広く解釈されなければならない。例えば、路肩に駐車中の車両があり、当該車両の間を歩行者が歩いている上述した例においては、静的なオブジェクトによって見えなくなっている領域は、視覚センサが当該領域で発生するいずれの事象にも反応しないため、当該状況においては「視野」の一部を形成しない。また、夜間、「視野」は、何らかのイベント又はオブジェクトの登録に充分な照明が利用可能な領域に制限され得る。例えば、定置式の照明装置が装備されていない道路を運転している場合、「視野」は、車両のヘッドライトによって照明されている領域に制限され、当該領域は、ロービーム又はハイビームのどちらがその時点で使用されているかに依存する。例えば、車両が初期的にロービームを使用しており、対向の運転者を眩惑させない状況で後に運転者がハイビームに切り替える場合、ハイビームの増加した範囲によって、新しいオブジェクトが突然可視となり、このため、その瞬間に視覚センサの視野に入ってくることになる。

【0028】

本発明はまた、上述のシステムで使用するための視覚センサの第１の実施形態を提供する。当該視覚センサは、個々のピクセルに分割された感光領域を含み、各ピクセルは、光強度及び／又は光強度の変化を電気信号に変換するように構成された検出器に接続されている。ピクセルの第１の非ゼロ部分はイベントベースピクセルとして構成されているため、少なくとも所定の割合だけ、イベントベースピクセルに入射する光強度が相対変化することにより、視覚センサに、当該ピクセルに関連づけられたイベントを発出させる。ピクセルの第２の非ゼロ部分は画像ピクセルとして構成されているため、視覚センサは、画像ピクセルの強度値から合成される画像を提供する。

【0029】

イベントベースピクセルのローカル密度と画像ピクセルのローカル密度との比率は、感光領域の中央部分からその感光領域の境界への経路上で増加する。

【0030】

発明者らは、このことが、特に陸上交通又は航空交通において車両又はロボットをナビゲートするための、２つのタイプのセンサの利点を最適に組み合わせていることを見出した。大抵の状況においては、感光領域の中央部分に対応する視野の中央領域には、システムに既知のオブジェクトが含まれる。当該オブジェクトについては、その挙動がどのように変化するかを追跡することが望ましい。既知のオブジェクトによって直接的な危険が引き起こされることはないため、可能な最大の速度で取得するよりも、正確な情報を取得することのほうがより重要である。この点において、感光領域の中央部分には、より高い密度の画像ピクセルを設けることが有利である。一方、突然かつ予期されずに視野に入ってくる新しいオブジェクトは、ある時点で視野の境界領域を横断して移動する可能性が極めて高い。従って、視覚センサの感光領域の対応する境界部分に、より多くのイベントベースピクセルを設けることが有利である。イベントベースピクセルにより、少なくとも何らかのオブジェクトの存在を、おおよそ可能な最大の速度で登録することが可能となる。

【0031】

従って、最も好ましくは、感光領域の中央部分は、実質的に画像ピクセルのみを含む一方、感光領域の境界に隣接する少なくとも１つの境界部分は、実質的にイベントベースピクセルのみを含む。

【0032】

実質的に画像ピクセルのみを有する中央部分は、例えば、実質的にイベントベースピクセルのみを有する境界部分に隣接することがあり、この場合には、両者の間に急激な遷移が存在する。ただし、遷移は、段階的であるものとしてもよい。これにより、急激な遷移から生じ得るアーチファクトが低減される。画像ピクセルとイベントベースピクセルとの両方が存在する領域においては、両方のタイプのピクセルを交互配置することができる。

【0033】

本発明はまた、視覚センサの第２の実施形態を提供する。当該実施形態においては、第１の実施形態と比較して、感光領域においては、イベントベースピクセルが一定の比率で画像ピクセルと交互配置される。これにより、イベントの取得と画像の取得との両方が正確に等しい空間解像度で行われるという利点がもたらされる。特に、２次オブジェクトが、その動きによって引き起こされるイベントに基づいて最初に検出され、次いで、当該イベントが生じた領域からの画像情報に基づいて分類される場合、座標変換又はスケーリングは必要ない。

【0034】

システム、特に弁別モジュールの機能の一部又は全部は、ソフトウェアとして実装可能である。また、視覚センサは、どのように動作させられるかに応じて、イベントベースピクセル又は画像ピクセルのいずれかとして機能する個別のピクセルを有することができる。従って、視覚センサの感光領域におけるイベントベースピクセル及び画像ピクセルの分布のパターンも、同様にソフトウェアとして実装することができる。例えば、ソフトウェアは、既存の検出システム用のアドオン、アップデート又はアップグレードとして販売可能である。従って、本発明はまた、機械可読命令を有するコンピュータプログラムに関し、命令は、コンピュータ及び／又は制御ユニットによって実行されるときに、コンピュータ及び／又は制御ユニットに、本発明によって提供されるシステム又は弁別モジュールの機能を与えるためのものであり、又は、コンピュータ及び／又は制御ユニットに、視覚センサが本発明によって提供される視覚センサとなるように、当該視覚センサを動作させるためのものである。本発明はまた、非一時性の記憶媒体、又は、コンピュータプログラムを含むダウンロード製品に関する。

【0035】

以下においては、本発明をさらに改良するさらなる手段を、図面を使用して、本発明の好ましい実施形態の説明と併せてより詳細に説明する。

【0036】

図面は、以下を示している。

【図面の簡単な説明】

【0037】

【図1】システム１の例示的な実施形態の図である。

【図2】２次オブジェクト５５が１次オブジェクト５０の軌道５１と交差し得る例示的な状況の図である。

【図3】２次オブジェクト５５の動きに関連するイベント２１ｂのシーケンス２１ｃの形成の図である。

【図4】感光領域２０の中央部分２０ａと境界部分２０ｃ，２０ｅとの間に急激な遷移を有する、視覚センサ２の第１の実施形態の図である。

【図5】中央部分２０ａと境界部分２０ｃ，２０ｅとの間に段階的な遷移を有する、図４に示される第１の実施形態の変形例の図である。

【図6】一定の比率で交互配置されたイベントベースピクセル２１及び画像ピクセル２２を有する、視覚センサ２の第２の実施形態の図である。

【発明を実施するための形態】

【0038】

好ましい実施形態
図１は、システム１の例示的な実施形態を示している。測定データの物理的収集は、個々のピクセル２１に分割された感光領域２０を有する視覚センサ２によって実行される。イベントベースピクセルに入射する光強度が少なくとも所定の割合だけ変化するときには常に、視覚センサ２は、対応するイベント２１ａを発出する。

【0039】

弁別モジュール３は、視覚センサ２からのイベント２１ａ並びに１次オブジェクト５０の動きの進行方向及び／又は速度に関する情報５２を収集する。当該情報５２は、任意の適当な手段によって、例えば、専用のセンサによって、又は、センサが接続されたバスシステム（例えばＣＡＮバス）を介して車両のいずれかの箇所に既に存在するセンサにアクセスすることによって、取得することができる。

【0040】

弁別モジュール３は、２次オブジェクト５５の動きによって引き起こされる可能性が高いイベント２１ｂ、及び、イベント２１ｂが生じる視覚センサ２の視野２３内の領域２３ａ，２３ｂを識別する。当該情報は、対応する画像情報２２ｂと任意選択的に組み合わせられ、分類モジュール４によって分析されて、２次オブジェクト５５を、ここでは４１ａ乃至４１ｃとラベル付けされたいくつかのカテゴリのうちの少なくとも１つに分類する。例えば、カテゴリ４１ａは、たとえ何があろうと１次オブジェクト５０との衝突から保護しなければならない２次オブジェクト５５、例えば人間を含み得る。カテゴリ４１ｂは、別の事故を引き起こすことにならない場合にのみ１次オブジェクト５０による思い切った衝突回避行動が許可される２次オブジェクト５５、例えば小動物を含み得る。カテゴリ４１ｃは、１次オブジェクト５０によって安全に乗り越えることができる２次オブジェクト５５、例えば、雨や葉を含み得る。

【0041】

弁別モジュール３及び分類モジュール４の一方又は両方によって生成された２次オブジェクト５５に関する情報は、警報デバイス７及び／又は緩和モジュール８に供給可能である。任意選択的に、追跡モジュール６は、既知の２次オブジェクト５５の位置５５ａを判定することができる。位置５５ａは、進行中の検出を支援するために弁別モジュール３に及び／又は警報デバイス７に及び／又は緩和モジュール８に転送可能である。

【0042】

図２は、システム１が純粋に画像ベースの視覚システムよりも早期に２次オブジェクト５５を検出することができる道路のシナリオを示している。１台の車両が１次オブジェクト５０として機能し、運転者及び／又は電子制御ユニットによって操縦されて、軌道５１をたどる。軌道５１は、駐車中の車両９１，９２，９３の間を走行する。駐車中の車両９１，９２間には、わずかな隙間が存在する。当該シナリオにおいて２次オブジェクト５５として機能する歩行者が、当該わずかな隙間からちょうど現れたところである。

【0043】

１次オブジェクト５０は、視野２３を有する視覚センサ２を保有している。当該視野２３は、駐車中の車両９１，９２によって部分的に見えなくなっている。視覚センサ２の視野２３内のいずれかの箇所における光強度が変化するときには常に、イベント２１ａが視覚センサ２によって発出される。

【0044】

２次オブジェクト５５は、視野２３内の位置Ａ，Ｂ，Ｃに対してこうしたイベント２１ａを生じさせる。このこととは別に、１次オブジェクト５０の軌道５１に沿った動きと共に、駐車中の車両９１，９３のコントラストリッチな（コントラストが明瞭な）特徴により、位置Ｄ，Ｅに対してさらにこうしたイベント２１ａが生じる。位置Ａ，Ｂ，Ｃは、領域２３ａ＝２３ｂ内にある。

【0045】

図３は、２次オブジェクト５５の動きによって引き起こされるイベント２１ａのシーケンス２１ｃがどのように形成されるかを示している。

【0046】

図３ａは、視野２３の位置Ａ乃至Ｅに対応するイベントベースピクセル２１に入射する光強度に有意な変化がある場合に発出されるイベント２１ａを示している。位置Ａ乃至Ｅは、図２に示されている。時間ｔは、左から右に進行する。光強度が所定の割合だけ増加すると、「＋」とラベル付けされたイベント２１ａが発出される。光強度が所定の割合だけ減少すると、「－」とラベル付けされたイベント２１ａが発出される。位置Ｄ，Ｅに対応するピクセル２１について図３ａに例示的に示されているように、光強度の進行中の変化がより大きい総量で存在する場合、所定の割合を満たす光強度の相対変化のたびに、新しいイベント２１ａが発出されることになる。従って、光強度の１つの進行中の変化が、２つ以上のイベント２１ａを発生させることもある。

【0047】

原則として、各ピクセル２１から発出されたイベントのストリームは、視覚センサ２上で独立してアクセス可能である。これは、異なるピクセル２１から同時に発生しているイベント２１ａを、同時に読み出して処理することができることを意味する。従って、全体として視覚センサ２によって発出されるイベント２１ａのストリームは、所定の時点に対する複数のイベント２１ａを含み得る。

【0048】

図３ｂにおいては、個々のピクセル２１に関連するイベント２１ａのストリームが、全体として視覚センサ２から発出される単一のイベント２１ａのストリームに組み合わせられている。当該例においては、同時に発生しているイベントは存在しないため、組み合わせられたストリームには、任意の所与の時点の１つのイベントのみが含まれている。図３ｂにおいては、関連する視野内の位置と、さらに、光強度の増加又は減少のどちらに対応するかに依存する「＋」「－」とが、各イベントにラベル付けされている。

【0049】

弁別モジュール３により、広い幅で離間しておりかつ軌道５１に沿った１次オブジェクト５０の移動に応じて、１次オブジェクト５０の軌道５１と一致する方向に移動している、位置Ｄ，Ｅに関連するイベントが、間引きされる。これにより、２次オブジェクト５５の動きによって引き起こされるイベント２１ｂのシーケンス２１ｃが判定される。

【0050】

図４は、システム１で使用可能な視覚センサ２の第１の実施形態を示している。視覚センサ２の感光領域２０は、画像ピクセル２２のみを含む中央部分２０ａを含む。当該中央領域は、感光領域２０の境界２０ｂ，２０ｄにそれぞれ隣接する、２つの境界部分２０ｃ，２０ｅによって取り囲まれている。境界部分２０ｃ，２０ｅは、イベントベースピクセル２１のみを含む。

【0051】

個々のイベントベースピクセル２１は、光強度の適当な変化によってトリガされると、対応するイベント２１ａを発出する。対照的に、総ての画像ピクセル２２からの強度値２２ａは、集合されて画像２２ｂを形成する。個々の画像ピクセル２２への即時のランダムアクセスは不可能であり、視覚センサ２がその次の画像フレーム２２ｂを発出するまで待機する必要がある。

【0052】

図５は、図４に示した視覚センサ２の第１の実施形態の変形例を示している。相違点は、中央部分２０ａと境界部分２０ｃ，２０ｅとの間の遷移が段階的であることである。画像ピクセル２２のみを含む中央部分２０ａから開始し、ピクセルの各列において、イベントベースピクセル２１と画像ピクセル２２とが交互配置される比率は、イベントベースピクセル２１に向かって少しずつ変化している。

【0053】

図６は、視覚センサ２の第２の実施形態を示している。図４，図５に示した第１の実施形態と類似して、イベントベースピクセル２１及び画像ピクセル２２が存在する。各イベントベースピクセル２１は、トリガされるとそれ自体のイベント２１ａを発出し、当該イベント２１ａは、直ちにアクセス可能である。対照的に、個々の画像ピクセル２２の強度値を取得するためには、完全な画像２２ｂを視覚センサ２からダウンロードする必要がある。

【0054】

第１の実施形態と比較すると、相違点は、イベントベースピクセル２１及び画像ピクセル２２が一定の比率で交互配置されていることである。

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】