特許 7562847 道路交通における対象物を検出及び分類する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-27

(45)【発行日】2024-10-07

(54)【発明の名称】道路交通における対象物を検出及び分類する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240930BHJP

   B60W 60/00 20200101ALI20240930BHJP

   B60W 50/00 20060101ALI20240930BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 650Z

B60W60/00

B60W50/00

【請求項の数】 13

(21)【出願番号】P 2023517325

(86)(22)【出願日】2021-07-26

(65)【公表番号】

(43)【公表日】2023-09-28

(86)【国際出願番号】 EP2021070816

(87)【国際公開番号】W WO2022058074

(87)【国際公開日】2022-03-24

【審査請求日】2023-03-31

(31)【優先権主張番号】102020211586.9

(32)【優先日】2020-09-16

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ローベアト ルッツ

(72)【発明者】

【氏名】フランク リンドナー

(72)【発明者】

【氏名】ダニエル フンツデアファー

(72)【発明者】

【氏名】ヨナタン カウシュ

(72)【発明者】

【氏名】リボール ノヴァク

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１８－１７３９４６（ＪＰ，Ａ）

【文献】特開２００９－２４４９４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｂ６０Ｗ １０／００－１０／２８

Ｂ６０Ｗ ３０／００－６０／００

(57)【特許請求の範囲】

【請求項1】

道路交通における少なくとも１つの物体を検出及び分類する方法（１０）であって、当該方法（１０）は、以下のステップ（１１，１２，１３，１４）、即ち、
・センサ（２１）のセンサデータを供給するステップ（１１）と、
・ニューラルネットワーク（２２）を用いて、前記センサデータに基づき少なくとも１つの物体を検出及び分類するステップ（１２）と、
・シンボリック監視アルゴリズム（２３）を用いて、前記センサデータに基づき前記物体を検出及び分類するステップ（１３）と、
・前記ニューラルネットワーク（２２）と前記シンボリック監視アルゴリズム（２３）とが、前記物体の検出及び分類に関して一貫性のある結果をもたらしているか否かについてチェックするステップ（１４）と、
を含み、
所定の個数の一貫性のある結果が生じている場合には、前記物体を検出及び分類されたものとみなす（１７）、方法（１０）。

【請求項2】

前記一貫性のチェックの前に、付加的シンボリック監視アルゴリズム（２７）が、前記ニューラルネットワーク（２２）により検出及び分類された前記物体が、所定の特性を有しているか否かについてチェックする（１５）、
請求項１に記載の方法（１０）。

【請求項3】

前記シンボリック監視アルゴリズム（２３）及び／又は前記付加的シンボリック監視アルゴリズム（２７）は、複数のシンボリックサブアルゴリズム（２４，２５，２６）又は付加的シンボリックサブアルゴリズムを含む、
請求項２に記載の方法（１０）。

【請求項4】

前記センサデータを所定の頻度で供給し、前記一貫性のチェックを所定のタイムインターバルで行う、
請求項１乃至３のいずれか一項に記載の方法（１０）。

【請求項5】

前記ニューラルネットワーク（２２）及び前記シンボリック監視アルゴリズム（２３）の検出及び分類の結果を、メモリ（２８）に格納し、
当該方法（１０）は、以下の付加的なステップ（１６）、即ち、
・所定期間内の複数の一貫性のチェックの結果に関する統計を作成するステップ（１６）
を含む、
請求項１乃至４のいずれか一項に記載の方法（１０）。

【請求項6】

前記統計は、前記ニューラルネットワーク（２２）と前記シンボリック監視アルゴリズム（２３）とにより前記物体がどの程度の頻度で検出されたのか、並びに、前記ニューラルネットワーク（２２）の結果が、検出及び分類に関して前記シンボリック監視アルゴリズム（２３）によりどの程度の頻度で検証されたのかに関する情報を含む、
請求項５に記載の方法（１０）。

【請求項7】

一貫性のあるイベントの前記所定の個数を、前記物体から前記センサ（２１）までの距離に依存して決定する、
請求項１乃至６のいずれか一項に記載の方法（１０）。

【請求項8】

前記センサ（２１）は、画像をセンサデータとして供給するカメラである、
請求項１乃至７のいずれか一項に記載の方法（１０）。

【請求項9】

前記センサ（２１）は、自律走行自動車（４０）の構成部分である、
請求項１乃至８のいずれか一項に記載の方法（１０）。

【請求項10】

検出及び分類されたものとみなされた物体を、前記自律走行自動車（４０）の自動制御に際して考慮する、
請求項９に記載の方法（１０）。

【請求項11】

請求項１乃至１０のいずれか一項に記載の方法（１０）を実施するように構成されたシステム（２０）。

【請求項12】

コンピュータによってコンピュータプログラム（３１）が実行されるときに、請求項１乃至１０のいずれか一項に記載の方法（１０）を前記コンピュータに実施させるための命令（３２）を含むコンピュータプログラム（３１）。

【請求項13】

請求項１２に記載のコンピュータプログラム（３１）が記憶されている機械可読記憶媒体（３０）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、道路交通における少なくとも１つの物体を検出及び分類する方法に関する。

【背景技術】

【0002】

自律走行自動車の制御に際して、交通信号灯の検出は、安全上重要な観点である。たとえば、自律走行自動車の停止を要求する信号が誤って検出されると、制御中に急ブレーキプロセスが導入されるにことになるかもしれず、これによって、たとえば衝突事故に至るおそれがある。これとは逆に、自律走行自動車の停止を要求する信号が識別されない可能性があり、その結果、交通ルールに違反して、やはり事故に至るおそれがある。この理由から、交通信号灯を検出及び分類する方法を、予期されていない又は当を得ていない運転操作を回避し得るように構成することが望ましい。しかも、対応する検出システムは、悪用及び攻撃に対し保護されていなければならない。

【0003】

一般的には、物体の検出を、様々なセンサがそれに関与しているように切り分けて構成することができ、このようにすることによって、第１のセンサの比較的低い信頼性を、第２のセンサの比較的高い信頼性によって補償することができる。しかしながら、道路交通における交通信号灯の検出の場合には、このことは不可能である。その理由は、１つのセンサモダリティだけしか、即ち、カメラだけしか、交通信号灯の信号発生器の色を捉えることができず、この場合にカメラは、交通信号灯のカラー画像を供給する。この理由から必要とされることは、カメラによる交通信号灯の最低限度の検出完全性を保証することである。このことを、たとえば、検出を冗長的な手法により行うことによって達成することができる。

【0004】

カメラの画像において交通信号灯を検出及び分類するために、ニューラルネットワークを用いることが知られている。ニューラルネットワークの利点として挙げられることは、ニューラルネットワークは物体識別確率が高く、ごくわずかな個数の誤った肯定結果しかもたらさないことである。しかしながら、ニューラルネットワークには欠点もある。たとえばこれは、その特性をまだ完全には把握できない技術である。ニューラルネットワークの決定プロセスを、たとえば解析し解釈することはできない。このことから、何によってニューラルネットワークが特定の決定を下すよう促されるのかは、不明なままである。広範囲にわたるデータセットを用いて、ニューラルネットワークをトレーニング及びテストすることができたとしても、それにもかかわらず、トレーニングデータセット及びテストデータセットにおいて十分には表現されていない滅多にない若しくは非典型的な交通シナリオ若しくは交通状況に起因して、又は、画像内のノイズ及び／又はアーチファクトに起因して、ニューラルネットワークが予期しないように振る舞う可能性がある。

【0005】

さらに、ニューラルネットワークは、誤った検出及び／又は分類を引き起こすことが可能な人工的なパターンによる攻撃を受け易い。かかるパターンを、たとえばフィルムに印刷しておき、自動車のフロントガラス及び／又は交通信号灯の信号発生器に貼り付けておくことができる。ただし、パターンを仮想的に生成し、カメラの画像と重ね合わせることも可能である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の課題は、道路交通における少なくとも１つの物体を検出及び分類するための改善された方法を提供すること、この方法を実施するように構成されたシステムを提供すること、コンピュータによってコンピュータプログラムが実行されるときに、この方法をコンピュータに実施させるための命令を含むコンピュータプログラムを提供すること、並びに、このコンピュータプログラムが記憶されている機械可読記憶媒体を提供することである。この課題は、それぞれ独立請求項の特徴を備えた、道路交通における少なくとも１つの物体を検出及び分類する方法、この方法を実施するように構成されたシステム、コンピュータによってコンピュータプログラムが実行されるときに、この方法をコンピュータに実施させるための命令を含むコンピュータプログラム、並びに、このコンピュータプログラムが記憶されている機械可読記憶媒体によって解決される。従属請求項には、有利な実施形態が記載されている。

【課題を解決するための手段】

【0007】

道路交通における少なくとも１つの物体を検出及び分類する方法は、以下のステップを含む。最初にセンサのセンサデータが供給される。ニューラルネットワークを用いて、センサデータに基づき少なくとも１つの物体が検出及び分類される。付加的に冗長的なシンボリック監視アルゴリズムを用いて、センサデータに基づき物体が検出及び分類される。ニューラルネットワークとシンボリック監視アルゴリズムとが、物体の検出及び分類に関して一貫性のある結果をもたらしているか否かについてチェックされる。

【0008】

物体は、たとえば、道路交通における交通誘導のために設けられている、信号発生器を備えた交通信号灯とすることができる。ただし、物体は、標識板、自動車、歩行者、又は、自転車通行者としてもよい。シンボリック監視アルゴリズムは、機械学習のシンボリックアプローチに基づいている。即ち、これは、古典的なルールに基づくアルゴリズムである。シンボリック監視アルゴリズムの場合には、トレーニングされるサンプルが明示的に表現されており、即ち、シンボリック監視アルゴリズムの意思決定の過程を辿ることができる。これとは対照的に、ニューラルネットワークは、非シンボリックアプローチ／サブシンボリックアプローチに基づいており、即ち、トレーニングされるサンプルは、暗黙的に表現されている。

【0009】

この方法は、有利には、物体の冗長的な検出及び分類が行われる点において優れている。ニューラルネットワークは、第１の検出分類経路を成している一方、シンボリック監視アルゴリズムは、第２の検出分類経路を成している。第２の検出分類経路は、ここでは、第１の検出経路に依存することなく構成されている。ニューラルネットワークが付加的に監視されることによって、たとえニューラルネットワークが誤検出及び／又は誤分類し易くても、物体を確実に検出して分類することができる。しかも、第２の検出経路によって以下のことを実現することができる。即ち、ニューラルネットワークを騙すように構成された、トレーニングによりニューラルネットワークに習得させていない人工的なパターンを用いた攻撃（英語：adversarial attacks）を阻止することができる。有利には、高度な信頼性によって、この方法を道路交通における安全性に役立たせることができる。

【0010】

１つの実施形態において、一貫性のチェックの前に、付加的シンボリック監視アルゴリズムが、ニューラルネットワークにより検出及び分類された物体が、所定の特性を有しているか否かについてチェックする。有利には、これによって、ニューラルネットワークの結果が付加的にチェックされる。このことによって、比較的重大でない交通状況において、ニューラルネットワークの検出及び分類の結果を、自律走行自動車の制御のために用いることができるようになる。付加的シンボリック監視アルゴリズムは、ニューラルネットワークによる物体の検出及び分類の結果を含むニューラルネットワークの出力データをチェックするように構成されている。出力データには、検出及び分類された物体の表現が含まれ、この表現は、付加的監視アルゴリズムによって、所定の特性に関してチェックされる。この場合、付加的シンボリック監視アルゴリズムによって、たとえば、出力データ内における物体の幾何学的形状、物体のサイズ及び／又は物体の色が有意に表現されているか否かについてチェックすることができる。選択的又は付加的に、色分布が有意な設定と一致しているか否かについてチェックすることもできる。

【0011】

１つの実施形態において、シンボリック監視アルゴリズム及び／又は付加的シンボリック監視アルゴリズムは、複数のシンボリックサブアルゴリズム又は付加的シンボリックサブアルゴリズムを含み得る。これは、たとえば、明点識別器及び／又は円識別器及び／又はシンボリック分類器とすることができる。

【0012】

１つの実施形態において、センサデータが所定の頻度で供給され、一貫性のチェックが所定のタイムインターバルで行われる。有利には、これによって、方法を交通状況に適合させることができる。たとえば、一貫性チェックは、交通状況に応じて異なるタイムインターバルで行うことができる。たとえば、交差点の直近においては、又は、重大な状況においては、より短いタイムインターバルで一貫性チェックを実施することが必要とされる可能性がある。

【0013】

１つの実施形態において、ニューラルネットワーク及びシンボリック監視アルゴリズムの検出及び分類の結果が、メモリに格納される。方法の１つの付加的なステップにおいて、所定期間内の複数の一貫性のチェックの結果に関する統計が作成される。この時間的な統計は、有利には、物体の検出及び／又は分類の信頼性を高めることができ、それによって、道路交通のより高い安全性のために、この統計を役立たせることができる。これにより、第１の検出分類経路と第２の検出分類経路とが、同様に高性能に構成されている必要はなくなる。一方の検出分類経路をより優れたものにすることができ（たとえば、ニューラルネットワークを有する第１の検出分類経路）、この経路によって、主として自律走行自動車の可用性及び高い快適挙動を実現するのに対し、他方の検出分類経路は、より重大な決定を検証することができる。１つの実施形態において、この統計は、ニューラルネットワークとシンボリック監視アルゴリズムとにより物体がどの程度の頻度で検出されたのか、並びに、ニューラルネットワークの結果が、検出及び分類に関してシンボリック監視アルゴリズムによりどの程度の頻度で検証されたのかに関する情報を含む。

【0014】

１つの実施形態において、所定の個数の一貫性のある結果が生じている場合には、物体が検出及び分類されたものとみなされる。１つの実施形態において、一貫性のあるイベントの所定の個数が、物体からセンサまでの距離に依存して決定される。基本的に当てはまることは、物体がセンサの近傍に位置すればするほど、より正確に検出して正確に分類することができる、ということである。重大な運転操作のためには、両方の検出分類経路において決められた個数の一貫性のある結果が必要である。これに対して、快適な運転操作については、確実な結果をもたらすために１つの検出分類経路で十分であるとすることができる。このアプローチが基礎とする着想は、物体、たとえば交通信号灯の近傍の領域においては、重大な運転操作を導入しなければならない傾向にある、ということである。物体近傍の領域においては、両方の検出分類経路が、物体を高い確率で識別することができる。したがって、この手法によれば、両方の検出分類経路の必然的に異なる検出確率／検出能力が、識別能力及び分類能力を全体として劣化させることが阻止され、このような劣化は、たとえば、物体までの距離が長いときに比較の失敗に起因して生じる場合がある。

【0015】

１つの実施形態において、センサは、センサデータとして画像を供給するカメラである。有利には、カメラによって、物体及び物体の周囲の色を捉えることができるようになり、これによって、たとえば交通信号灯の状態を捕捉することができる。ただし、交通標識、車両、歩行者、自転車通行者、又は、他の交通利用者若しくは物体も、検出及び分類することができる。

【0016】

１つの実施形態において、センサは、自律走行自動車の構成部分である。１つの実施形態において、検出及び分類されたものとみなされた物体は、自律走行自動車の自動制御に際して考慮される。その場合に車両は、分類に基づいて動作させられる。たとえば、横方向制御及び／又は長手方向制御を、この分類に基づいて行うことができる。

【0017】

システムは、少なくとも１つの物体を検出及び分類する方法を実施するように構成されている。コンピュータプログラムは、コンピュータによってこのコンピュータプログラムが実行されるときに、少なくとも１つの物体を検出及び分類する方法を実施するために用いられる命令を含む。このコンピュータプログラムは、機械可読記憶媒体に記憶されている。

【0018】

これまで述べてきた本発明の特徴及び利点は、以下の実施例の説明を参照すれば、より明瞭になりかつより理解し易くなる。それらの実施例について、概略的な図面を参照しながら詳細に説明する。

【図面の簡単な説明】

【0019】

【図1】道路交通における少なくとも１つの物体を検出及び分類する方法を示す図である。

【図2】図１の方法を実施するように構成されたシステムを示す図である。

【図3】コンピュータによってコンピュータプログラムが実行されるときに、このコンピュータに図１の方法を実施させるための命令を含むコンピュータプログラムが記憶されている機械可読記憶媒体を示す図である。

【発明を実施するための形態】

【0020】

図１には、道路交通における少なくとも１つの物体を検出及び分類する方法１０が概略的に示されている。

【0021】

方法１０の第１のステップ１１において、センサのセンサデータが供給される。センサとして、たとえば、画像の形態でセンサデータを供給するカメラを用いることができる。カメラは、たとえば、可視電磁スペクトル内の画像を生成するように構成することができる。選択的に、カメラは、赤外線カメラとして構成することもできる。ただし、センサとして必ずしもカメラを用いなくてもよい。センサは、たとえば、ＬＩＤＡＲシステム（英語：light detection and ranging）としてもよい。センサは、たとえば、自律走行自動車の構成要素とすることができる。ただし、センサは、慣用の自動車の構成要素としてもよい。

【0022】

方法１０の第２のステップ１２において、ニューラルネットワークを用いて、センサデータに基づいて、少なくとも１つの物体が検出及び分類される。たとえば、自律走行自動車の走行中に捉えられた画像をニューラルネットワークに供給することができる。ニューラルネットワークは、たとえば、ディープニューラルネットワーク（英語：deep neuronal network, DNN）として構成することができ、即ち、ニューラルネットワークは、処理を行う多数のニューロン層を有するものとすることができる。ニューラルネットワークは、たとえば、畳み込みネットワーク（英語：convolutional neuronal network, CNN）とすることもできる。ニューラルネットワークは、物体を検出及び分類するようにトレーニングされている。たとえば、ニューラルネットワークは、道路交通における交通誘導のために設けられている交通信号灯を検出及び分類するように、トレーニングすることができる。ニューラルネットワークは、道路標識及び／又は自動車又は建物など他の物体を検出及び分類するように、トレーニングすることができる。ニューラルネットワークのトレーニングは、歩行者及び／又は自転車通行者の検出及び分類の学習も含み得る。方法１０においてどの物体を検出及び分類すべきかに応じて、適当なニューラルネットワークを用いることができる。ニューラルネットワークは、第１の検出分類経路を成している。

【0023】

検出及び分類の結果として、ニューラルネットワークは、検出及び分類された物体の表現を含む出力データを生成する。たとえば、ニューラルネットワークは、検出された物体を矩形のボックス（英語：bounding box）によって取り囲むように設計することができる。ニューラルネットワークは、センサデータにおける色を検出及び分類するように構成することもできる。これによって、ニューラルネットワークは、たとえば交通信号灯の状態を識別することができる。交通信号灯の状態に関する情報は、自律走行自動車の自動制御に際して用いることができる。

【0024】

方法１０の第３のステップ１３を第２のステップ１２と同時に実施することができ、この第３のステップ１３において、付加的にシンボリック監視アルゴリズムを用いて、センサデータに基づき、少なくとも１つの物体が冗長的に検出及び分類される。トレーニングされるサンプルが暗黙的に表現されている非シンボリック学習アプローチ及び／又はサブシンボリック学習アプローチに基づくニューラルネットワークとは異なり、シンボリック監視アルゴリズムは、シンボリックアプローチに基づいている。このケースにおいては、トレーニングされるサンプルが明示的に表現されている。これによって、シンボリック監視アルゴリズムの意思決定の過程を辿ることができ、意思決定の理由を挙げることができる。このことは、ニューラルネットワークの場合には当てはまらない。シンボリック監視アルゴリズムは、第２の冗長的な検出分類経路を成している。

【0025】

方法１０の第４のステップ１４において、ニューラルネットワーク及びシンボリック監視アルゴリズムが、物体の検出及び分類に関して一貫性のある結果をもたらしているか否かについてチェックされる。一貫性のある結果をもたらしている場合には、物体が検出及び分類されたものとみなされる。このケースにおいては、物体に関する情報は、たとえば自律走行自動車の自動制御に際して用いることができる。たとえば、交通信号灯の状態を検出及び分類し、自動制御のために用いることができる。たとえば、所定の個数の一貫性のある結果が生じている場合には、物体を検出及び分類されたものとみなすことができる。ニューラルネットワークが付加的にシンボリック監視アルゴリズムを用いて監視されることによって、物体を確実に検出及び分類することができる。有利には、高度な信頼性によって、この方法を道路交通における安全性に役立たせることができる。

【0026】

方法１０の任意選択的な第５のステップ１５において、一貫性チェックの前に、付加的シンボリック監視アルゴリズムを用いて、ニューラルネットワークによって検出及び分類された物体が所定の特性を有しているか否かについてチェックされる。付加的シンボリック監視アルゴリズムも、同様にシンボリックアプローチに基づいており、古典的にルールに基づいて構成されている。付加的シンボリック監視アルゴリズムは、ニューラルネットワークの出力データにおいて検出及び分類された物体の表現をチェックするように構成されている。この場合、付加的シンボリック監視アルゴリズムによって、たとえば、出力データ内における物体の幾何学的形状、物体のサイズ及び／又は物体の色が有意に表現されているか否かについてチェックすることができる。選択的又は付加的に、たとえば交通信号灯の場合に、色分布が有意な設定と一致しているか否かについてチェックすることもできる。物体が所定の特性を有していなければ、方法１０の１つの実施形態において、物体の検出及び分類が不確実であるとしてマークされる。

【0027】

シンボリック監視アルゴリズム及び／又は付加的シンボリック監視アルゴリズムは、複数のシンボリックサブアルゴリズム又は付加的シンボリックサブアルゴリズムを含み得る。たとえば、シンボリック監視アルゴリズムは、明点識別器を含み得る。明点識別器は、画像内の暗い背景の手前で明るいピクセルを検出及び／又は分類するように構成されている。シンボリック監視アルゴリズムは、選択的に又は付加的に円識別器を含み得る。明点識別器及び円識別器は、たとえば、道路交通における交通信号灯の信号発生器の検出及び分類に適している。さらに別のシンボリックサブアルゴリズムを、たとえば、ニューラルネットワークによって識別された信号状態を、複数の有色ピクセルから生じた状態と比較する目的で、信号発生器内における有色ピクセル数をカウントするように構成することができる。

【0028】

方法１０は、たとえば、センサデータが所定の頻度で供給されるように実施することができる。センサデータは、たとえば１５Ｈｚの頻度で供給することができる。ただし、これは必須ではない。少なくとも１つの物体の検出及び分類のために、センサデータを任意の頻度で供給することができる。付加的に、１つの一貫性チェック又は複数の一貫性チェックを、所定のタイムインターバルで、たとえば４０秒ごとに、行うことができる。ただし、一貫性チェックを、これとは異なるタイムインターバルで行うこともできる。その際に、タイムインターバルを、規則的に又は不規則的に生じさせることができる。一貫性チェックのタイムインターバルを、たとえば、物体からセンサまでの距離に依存して予め規定することができる。

【0029】

ニューラルネットワーク及びシンボリック監視アルゴリズムの検出及び分類の結果を、メモリに格納することができる。方法１０の任意選択的な第６のステップ１６において、所定期間内の複数の一貫性チェックの結果について統計が作成される。この手法を「マージ・アンド・トラック（merge and track）」と称することもできる。それというのも、ニューラルネットワーク及びシンボリック監視アルゴリズムの検出及び分類の結果が、それぞれ所定期間にわたって相互に結合されて記録されるからである。この統計は、たとえば、ニューラルネットワークとシンボリック監視アルゴリズムとにより物体がどの程度の頻度で検出されたのか、並びに、ニューラルネットワークの結果が、検出及び分類に関してシンボリック監視アルゴリズムによりどの程度の頻度で検証されたのかに関する情報を含み得る。このケースにおいても、所定の個数の一貫性のある結果が生じている場合には、物体をたとえば検出及び分類されたものとみなすことができる。物体が検出及び／又は分類されたものとみなされたか否かについて、第７の任意選択的なステップ１７において示すことができる。

【0030】

検出及び分類されたものとみなされた物体を、たとえば、自律走行自動車の自動制御に際して考慮することができる。たとえば、検出時点において赤色フェーズにあった交通信号灯を検出することができる。これに対する応答として、自律走行自動車を停止させることができる。基本的に交通状況に合わせて適当に応答することができるようにする目的で、方法１０の一実施形態において、一貫性のあるイベントの所定の個数を、物体からセンサまでの距離に依存して決定することができる。物体が正確に検出及び分類される確率は、距離が減少するにつれて高くなる。方法１０が自律走行自動車の自動制御に際して用いられる場合には、重大な運転操作のためには、両方の検出分類経路において決められた個数の一貫性のある結果が必要とされる。これに対して、快適な運転操作については、確実な結果をもたらすために１つの検出分類経路で十分であるとすることができる。交通信号灯近傍の領域においては、通常、重大な運転操作を導入しなければならない。物体近傍の領域においては、両方の検出分類経路が、物体を高い確率で識別することができる。したがって、この手法によれば、両方の検出分類経路の必然的に異なる検出確率／検出能力が、識別能力及び分類能力を全体として劣化させることが阻止され、このような劣化は、たとえば、物体までの距離が長いときに比較の失敗に起因して生じる場合がある。

【0031】

図２には、図１の方法１０を実施するように構成されているシステム２０が概略的に示されている。システム２０は、センサ２１を有する。センサ２１は、センサデータを生成して、ニューラルネットワーク２２及びシンボリック監視アルゴリズム２３に供給するように構成されている。シンボリック監視アルゴリズム２３は、明点識別器２４、円識別器２５、及び／又は、シンボリック分類器２６を含み得る。

【0032】

システム２０は、さらに、付加的シンボリック監視アルゴリズム２７を有する。しかしながら、これは。任意選択的な事項にすぎず、省略してもよい。システム２０は、メモリ２８も有し得る。ニューラルネットワーク及びシンボリック監視アルゴリズムが、物体の検出及び分類に関して一貫性のある結果をもたらしているか否かについてチェックするために、システム２０は、比較装置２９を有する。所定期間内の複数の一貫性チェックの結果に関する統計を作成するように、比較装置２９を構成することができる。選択的に、図２には示されていない付加的な評価装置を、統計を作成するように構成することができる。所定の個数の一貫性のある結果がたとえば統計中に存在している場合には、検出及び分類されたものとして物体をマークするように、比較装置２９又は選択的に図２には示されていない表示装置を構成することができる。

【0033】

システム２０は、たとえば、自動車４０、たとえば自律走行自動車４０の構成部分とすることができる。この場合、図２に示されているシステム２０のすべての要素を、自動車４０の構成部分とすることができる。ただし、これは必須ではない。システム２０は、たとえば、一部のみ自動車４０の構成部分とすることができる。たとえば、システム２０のセンサ２１だけが自動車４０の構成部分である、というようにすることができる。

【0034】

図３には、コンピュータによってコンピュータプログラムが実行されるときに、このコンピュータに図１の方法を実施させるための命令３２を含むコンピュータプログラム３１が記憶されている機械可読記憶媒体３０が概略的に示されている。

【図1】

【図2】

【図3】