特表 2024-540032 信号機の距離を特定する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】信号機の距離を特定する装置及び方法

(51)【国際特許分類】

   G08G 1/09 20060101AFI20241024BHJP

   G08G 1/04 20060101ALI20241024BHJP

【ＦＩ】

G08G1/09 D

G08G1/04 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525111

(86)(22)【出願日】2022-11-03

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 EP2022080636

(87)【国際公開番号】W WO2023078974

(87)【国際公開日】2023-05-11

(31)【優先権主張番号】102021128785.5

(32)【優先日】2021-11-05

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】398037767

【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】ランツ・ミヒェル

(72)【発明者】

【氏名】カヴェチ・ラインハルト

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF27

(57)【要約】

【課題】信号灯設備の信号機の距離についての推定値を効率的かつ精確に特定する。
【解決手段】車両１００からの信号機２０１の距離の推定値を特定する装置であって、該装置が、
－車両１００のカメラの画像データに基づき、走行方向における車両１００の前方に配置された信号機２０１の周囲におけるある数量の物体４０１，４０２，４０３，４０４，２０５を認識するように；
－ある数量の物体４０１，４０２，４０３，４０４，２０５のうち少なくとも１つの物体４０１を信号機２０１に割り当てるように；
－割り当てられた物体４０１の車両１００からの距離４１１の個別の推定値を特定するように；及び
－割り当てられた物体４０１の車両１００からの距離４１１の個別の推定値に基づいて信号機２０１の距離の推定値を特定するように
構成されている。

【特許請求の範囲】

【請求項1】

車両（１００）からの信号機（２０１）の距離（３１１）の推定値を特定する装置（１０１）であって、該装置（１０１）が、
－前記車両（１００）のカメラ（１０３）の画像データに基づき、走行方向における前記車両（１００）の前方に配置された前記信号機（２０１）の周囲におけるある数量の物体（４０１，４０２，４０３，４０４，２０５）を認識するように；
－ある数量の前記物体（４０１，４０２，４０３，４０４，２０５）のうち少なくとも１つの物体（４０１）を前記信号機（２０１）に割り当てるように；
－前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の個別の推定値を特定するように；及び
－前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の前記個別の推定値に基づいて前記信号機（２０１）の距離（３１１）の推定値を特定するように
構成されていることを特徴とする装置。

【請求項2】

前記装置（１０１）が、
－前記画像データに基づき、前記車両（１００）からの前記信号機（２０１）の距離（４１１）の個別の推定値を特定するように；及び
－前記車両（１００）からの前記信号機（２０１）の距離（４１１）の前記個別の推定値にも基づいて、前記信号機（２０１）の距離（３１１）の推定値を特定するように
構成されていることを特徴とする請求項１に記載の装置。

【請求項3】

－前記装置（１０１）が、ある数量の前記物体（４０１，４０２，４０３，４０４，２０５）のうち少なくとも１つの物体（４０１）を機械学習された割当ユニットに基づいて前記信号機（２０１）に割り当てるように構成されており、及び
－前記割当ユニットが、特に学習された人工ニューラルネットワークを含んでいる
ことを特徴とする請求項１又は２に記載の装置（１０１）。

【請求項4】

前記装置（１０１）が、画像データに基づくＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ方法に基づき、前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の前記個別の推定値を特定するように構成されていることを特徴とする請求項１～３のいずれか１項に記載の装置（１０１）。

【請求項5】

前記装置（１０１）が、
－前記車両（１００）の１つ又は複数の周囲センサ（１０３）に基づき、特にライダセンサ及び／又はレーダセンサに基づき、前記割り当てられた物体（４０１）についてのセンサデータを特定するように；及び
－前記１つ又は複数の周囲センサ（１０３）の前記センサデータに基づき、前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の前記個別の推定値を特定するように
構成されていることを特徴とする請求項１～４のいずれか１項に記載の装置（１０１）。

【請求項6】

－前記画像データが時間的に連続した画像のシーケンスを含んでおり；
－前記装置（１０１）が、
－画像の前記シーケンスに基づいてオプティカルフローを特定するように；及び
－該オプティカルフローに基づき、前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の前記個別の推定値を特定するように
構成されていることを特徴とする請求項１～５のいずれか１項に記載の装置（１０１）。

【請求項7】

前記装置（１０１）が、
－前記割り当てられた物体（４０１）の前記信号機（２０１）からの距離の個別の推定値を特定するように；及び
－前記割り当てられた物体（４０１）の前記信号機（２０１）からの距離の前記個別の推定値にも基づいて、前記信号機（２０１）の距離（３１１）の推定値を特定するように
構成されていることを特徴とする請求項１～６のいずれか１項に記載の装置。

【請求項8】

前記装置（１０１）が、前記信号機（２０１）の距離（３１１）の前記特定された推定値に依存して前記車両（１００）を自動化して長手方向運転するように構成されていることを特徴とする請求項１～７のいずれか１項に記載の装置（１０１）。

【請求項9】

前記装置（１０１）が、
－画像データに基づき、前記信号機（２０１）の灯火表示状態を特定するように；及び
－前記車両（１００）を前記信号機（２０１）の手前で停止状態へもたらすために、又は自動化されて信号機（２０１）を通過するために、前記灯火表示状態に依存して前記車両（１００）を自動化して減速させるように
構成されていることを特徴とする請求項８に記載の装置（１０１）。

【請求項10】

ある数量の前記物体（４０１，４０２，４０３，４０４，２０５）が、
－前記信号機（２０１）の周囲における路面標示、特に停止線（４０１）；
－前記信号機（２０１）の周囲における交通標識（４０２）；
－前記信号機（２０１）が配置されたジャンクション（４００）において交差する車線（４０３）；
－前記信号機（２０１）において停止している車両（４０４）；及び／又は
－前記信号機（２０１）が固定されたポール（２０５）
のうち１つ又は複数を含んでいることを特徴とする請求項１～９のいずれか１項に記載の装置（１０１）。

【請求項11】

車両（１００）からの信号機（２０１）の距離（３１１）の推定値を特定する方法（５００）であって、該方法（５００）が、
－前記車両（１００）のカメラ（１０３）の画像データに基づき、走行方向における前記車両（１００）の前方に配置された前記信号機（２０１）の周囲におけるある数量の物体（４０１，４０２，４０３，４０４，２０５）を認識すること（５０１）；
－ある数量の前記物体（４０１，４０２，４０３，４０４，２０５）のうち少なくとも１つの物体（４０１）を前記信号機（２０１）に割り当てること（５０２）；
－特に画像データに基づき、前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の個別の推定値を特定すること（５０３）；及び
－前記割り当てられた物体（４０１）の前記車両（１００）からの距離（４１１）の前記個別の推定値に基づいて前記信号機（２０１）の距離（３１１）の推定値を特定すること（５０４）
を含むことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原動機付き車両からの信号機の距離を特定する装置及び対応する方法に関するものである。

【背景技術】

【0002】

車両は、車両の運転（ガイド）時、特に長手方向運転（ガイド）時及び／又は横方向運転（ガイド）時に車両の運転者を支援する１つ又は複数の走行機能を備えることが可能である。車両の長手方向運転を支援する例示的な走行機能は、アダプティブクルーズコントロール（ＡＣＣ）機能であり、当該アダプティブクルーズコントロール機能は、車両を設定された設定（セット）走行速度で、及び／又は車両の前方を走行する先行車両に対して設定された目標距離において長手方向運転するために用いられることが可能である。このとき、走行機能は、自動化された長手方向運転、例えば自動化された減速を信号機においてもたらすために、交通ジャンクション（例えば交差点）における信号機（特に交通信号灯）にも関連して用いられることが可能である。

【0003】

信号機における自動化された長手方向運転においては、例えば、自動化された減速の規模及び／又は自動化された減速のための開始時点あるいは開始位置を設定するために、典型的には信号機の車両からの距離の推定値が特定される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本明細書は、特に信号灯設備における自動化された長手方向運転のための走行機能のクオリティを向上させるために、信号灯設備の信号機の距離についての推定値を効率的かつ精確に特定するという技術的な課題に関するものである。

【課題を解決するための手段】

【0005】

当該課題は、各独立請求項によって解決される。有利な実施形態は、とりわけ従属請求項に記載されている。独立請求項に従属する請求項の追加的な特徴は、独立請求項の特徴なしに、又は独立請求項の特徴の一部との組合せにおいてのみでも、固有の、及び独立請求項の全ての特徴の組合せから独立した発明を形成することができ、当該発明は、独立請求項、分割出願又は後出願の対象に対して行われ得ることを指摘しておく。このことは、独立請求項の特徴のうち１つから独立した発明を形成し得る、明細書に記載された技術的な示唆についても同様に当てはまる。

【0006】

１つの態様によれば、原動機付き車両からの信号機の距離の推定値を特定する装置が記述される。信号機は、走行方向における車両の前方に配置されていることがあり、車両は、（例えば０ｋｍ／ｈより大きな、特に３０ｋｍ／ｈより大きな）所定の速度で信号機へ向けて移動し得る。信号機は、（例えば１つ又は複数の異なる走行方向についての）１つ又は複数の信号機を備えた信号灯設備の一部であり得る。信号機は、交通ジャンクション、特に交差点に配置されていることがあり得る。また、信号機は、典型的には、それぞれ個別に作動又は作動解除されることが可能な１つ又は複数の灯火表示を有している。異なる灯火表示は、異なる色（例えば赤色、黄色又は青色）を有し得る。信号機は、交通信号であり得る。

【0007】

装置は、車両のカメラの画像データに基づき、走行方向における車両の前方に配置された信号機の周囲におけるある数量の物体を認識するように構成されている。また、画像データに基づき、信号機自体も認識されることが可能である。画像データは、時間的に連続した画像のシーケンスを含むことができる。信号機の直接的な周囲における１つ又は複数の物体を識別するために、（例えば（場合によっては機械学習された）画像解析手法を用いて）個々の画像を解析することが可能である。このとき、個々の物体についてそれぞれ物体情報を特定することが可能である。物体についての物体情報は、例えば、（信号機に対して相対的な）物体の位置、物体の寸法（例えば幅及び／又は高さ）及び／又は物体のタイプを含むことができる。

【0008】

物体の例示的なタイプは、信号機の周囲における路面標示、特に停止線、信号機の周囲における交通標識、信号機が配置されたジャンクションにおいて交差する車線、信号機において停止している車両及び／又は信号機が固定された（水平な、又は垂直な）ポールである。

【0009】

例えば、画像データに基づき、対応する数量の物体についての（カメラによって検出された画像と重ね合わされた）ある数量のバウンディングボックスを有する画像を画像のシーケンスから特定することが可能である。このとき、１つバウンディングボックスは、それぞれ１つの物体を包囲し得る。また、物体についてのバウンディングボックスと当該物体についての物体情報とを関連付けることが可能である。

【0010】

また、装置は、ある数量の物体のうち少なくとも１つの物体を信号機に割り当てるように構成されている。このとき、特に、ある数量の物体のうち、信号機に（おそらく）最も近い（ひいては車両から類似した距離をもった）１つ又は複数の物体が割り当てられることが可能である。これに代えて、又はこれに補足して、信号機よりも大きな、及び／又は信号機よりも良好に視認可能な１つ又は複数の物体を割り当てることが可能である。

【0011】

ある数量の物体のうち少なくとも１つの物体は、特に機械学習された割当ユニットを用いて信号機に割り当てられることが可能である。割当ユニットは、学習された人工ニューラルネットワーク（特にいわゆるディープニューラルネットワーク）を含むことができる。

【0012】

割当ユニットは、訓練データに基づいて学習されていることが可能であり、訓練データによって、割当ユニットの目的関数が（統計的に）記述される。ここで、目的関数は、信号機の周囲に配置されたある数量の既知の物体のうち、それぞれ信号機の距離に最も近い距離を有するＮ個の物体を識別するように調整されることが可能である。Ｎは、例えば１、２、３又は４であり得る。

【0013】

訓練データは、複数の訓練データ集合（例えば１０００以上又は１００００以上のデータ集合）を有することができる。このとき、各訓練データ集合は、それぞれ（割当ユニットのための入力としての）入力データと、（対応する入力データについて出力部において割当ユニットによって提供されるべき）目標出力データとを有することが可能である。入力データは、例えば、信号機の周囲における、画像データに基づいて認識されたある数量の物体を含むことができる。目標出力データは、例えば、信号機の距離を特定するために用いられる、ある数量の物体のうち１つ又は複数の物体を表すことが可能である（例えば、なぜなら当該物体は、それぞれ信号機の距離に対する特に類似の距離を有しているためである。）。

【0014】

入力データは、例えば、車両カメラのそれぞれ１つの画像を有することができ、画像には、認識された個別の物体を（例えばそれぞれバウンディングボックスとして）マークすることが可能である。また、個別の物体の物体情報は、入力データとして割当ユニットへ伝達されることが可能である。出力データとして、信号機に割り当てられる、車両カメラの画像におけるある数量の物体のうち１つ又は複数の物体が割当ユニットによって識別されることが可能である。したがって、割当ユニットによって、認識された物体の数量の「割り当てられた」という分類と「割り当てられない」という分類への分類を行うことが可能である。

【0015】

また、装置は、（特に画像データに基づいて）割り当てられた少なくとも１つの物体の車両からの距離の個別の推定値を特定するように構成されている。したがって、割り当てられた各物体について、各物体の距離のそれぞれ１つの個別の推定値を特定することが可能である。このとき、車両からの物体の距離の個別の推定値は、Ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ（多視点画像からの三次元形状復元）方法に基づき、画像データに基づいて、特に画像のシーケンスに基づいて特定されることが可能である。これに代えて、又はこれに補足して、画像のシーケンスに基づいてオプティカルフローを特定することができ、オプティカルフローに基づいて車両からの各物体の距離の個別の推定値を特定することが可能である。

【0016】

したがって、画像データに基づいて、それぞれ個別に割り当てられた物体について、割り当てられた物体の車両からの距離のそれぞれ１つの個別の推定値を特定するために、画像解析手法を用いることが可能である。

【0017】

また、装置は、少なくとも１つの割り当てられた物体の車両からの距離の個別の推定値に基づいて信号機の距離の推定値を特定するように構成されている。

【0018】

上述のように、信号機の直接的な周囲における割り当てられた物体は、好ましく、場合によっては、信号機よりも大きく、及び／又はより良好に視認可能である。その結果として、割り当てられた物体の距離は、車両カメラの画像データに基づいて、典型的には高められた精度で特定されることが可能である。したがって、これに基づき、信号機の距離を高められた精度で特定することが可能である。

【0019】

装置は、（特に画像データに基づいて）車両からの信号機の距離の個別の推定値を特定するように構成されることが可能である。車両からの信号機の距離の個別の推定値は、例えばＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ方法に基づき、画像データに基づいて、特に画像のシーケンスに基づいて特定されることが可能である。これに代えて、又はこれに補足して、オプティカルフローに基づいて車両からの信号機の距離の個別の推定値を特定することが可能である。

【0020】

そして、信号機の距離の推定値は、車両からの信号機の距離の個別の推定値に基づいて（例えば平均化手法及び／又は融合手法に基づいて）特定されることが可能である。したがって、信号機の距離の推定値の精度を更に高めることが可能である。

【0021】

したがって、信号機の周囲における１つ又は複数の物体の距離の個別の推定値及び信号機の距離の個別の推定値を特定することが可能である。個別の推定値は、（機械学習された）融合ユニットに基づき信号機の距離の推定値へ融合されることが可能である。融合ユニットは、例えば学習されたニューラルネットワークを含むことが可能である。学習は、複数の訓練データ集合を有する訓練データに基づいて行われることができ、訓練データによって、融合ユニットの目的関数が（統計的に）記述される。目的関数は、信号機の距離の特に精確な推定値をもたらす個別の推定値の融合であり得る。データ集合（データセット）は、融合ユニットの入力データとして個別の推定値を有することが可能である。また、データ集合は、融合ユニットの出力データとして信号機の距離の推定値を表し、当該推定値は、対応する入力データの個別の推定値に基づき融合ユニットによって提供されることとなっている。

【0022】

装置は、割り当てられた物体の信号機からの距離の個別の推定値を特定するように構成されることが可能である。割り当てられた物体の信号機からの距離の個別の推定値は、例えばＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ方法に基づき、画像データに基づいて特定されることが可能である。これに代えて、又はこれに補足して、オプティカルフローに基づいて割り当てられた物体の信号機からの距離の個別の推定値を特定することが可能である。

【0023】

そして、信号機の距離の推定値は、割り当てられた物体の信号機からの距離の個別の推定値に基づいても特定されることが可能である。したがって、信号機の距離の推定値の精度を更に高めることが可能である。

【0024】

１つ又は複数の割り当てられた物体は、信号機よりも大きな空間的な拡がりを有することが可能である。これは、車両の１つ又は複数の別の周囲センサのセンサデータとの融合を促進することができ、これにより、割り当てられた物体の距離の個別の推定値の精度及び／又は信号機の距離の推定値の精度を更に向上させることが可能である。

【0025】

したがって、装置は、車両の１つ又は複数の別の周囲センサに基づいて、特にライダセンサに基づいて、及び／又はレーダセンサに基づいて、割り当てられた物体についてのセンサデータを特定するように構成されることが可能である。そして、割り当てられた物体の車両からの距離の個別の推定値は、１つ又は複数の周囲センサのセンサデータに基づいて（も）特定されることが可能である。特に、画像データとの１つ又は複数の周囲センサのセンサデータの融合を行うことが可能である。

【0026】

装置は、信号機の距離の特定された推定値に依存して車両を長手方向運転するように構成されることが可能である。このとき、特に、車両の自動化された減速の時点及び／又は規模を、信号機の距離の特定された推定値に依存して特定し、及び／又はもたらすことが可能である。推定値の高められた精度によって、自動化された長手方向運転のクオリティを向上させることが可能である。

【0027】

さらに、装置は、（特に画像データに基づいて）信号機の灯火表示状態（例えば赤色又は青色）を特定するように構成されることが可能である。そして、車両は、信号機の手前で車両を停止状態へ移行させるために、灯火表示状態に依存して（例えば赤色の場合に）自動化して減速されることが可能である。他方で、車両は、（例えば青色の場合には）自動化して信号機を通過することが可能である。信号機の灯火表示状態を考慮することによって、自動化された長手方向運転のクオリティを更に向上させることが可能である。

【0028】

別の一態様によれば、本明細書で記載される装置を含む（道路車両）原動機付き車両（特に自家用車又は貨物自動車又はバス又は自動二輪車）が記載される。

【0029】

別の１つの態様によれば、原動機付き車両からの信号機の距離の推定値を特定する方法が記述される。方法は、車両のカメラの画像データに基づき、走行方向における車両の前方に配置された信号機の周囲におけるある数量の物体を認識すること、及びある数量の物体のうち少なくとも１つの物体を信号機に割り当てることを含む。そのほか、方法は、特に画像データに基づき、割り当てられた物体の車両からの距離の個別の推定値を特定することを含む。また、方法は、割り当てられた物体の車両からの距離の個別の推定値に基づいて信号機の距離の推定値を特定することを含む。

【0030】

別の一態様によれば、ソフトウェア（ＳＷ）プログラムが記載される。ソフトウェアプログラムは、プロセッサにおいて（例えば車両の制御装置において）実行されるように、及びこれにより本明細書で記載される方法を実行するように設置されることが可能である。

【0031】

別の一態様によれば、記憶媒体が記載される。記憶媒体は、プロセッサにおいて実行されるように、及びこれにより本明細書で記載される方法を実行するように設置されるソフトウェアプログラムを含むことが可能である。

【0032】

本明細書に記載される方法、装置及びシステムは、単独でも、また本明細書に記載される他の方法、装置及びシステムとの組合せにおいても用いられることができることに留意すべきである。さらに、本明細書に記載される方法、装置及びシステムの各態様は、様々に互いに組み合わせられることが可能である。特に、請求項の特徴を様々に組み合わせることが可能である。また、カッコ内に示す特徴は、オプションの特徴と理解されるべきである。

【0033】

以下に、実施例に基づいて本発明を詳細に説明する。

【図面の簡単な説明】

【0034】

【図1】車両の例示的な構成要素を示す図である。

【図2】例示的な信号灯設備を示す図である。

【図3】例示的な交通状況を示す図である。

【図4】例示的なジャンクションを示す図である。

【図5】信号灯設備の距離の推定値を特定する例示的な方法のフローチャートである。

【発明を実施するための形態】

【0035】

冒頭で述べたように、本明細書は、走行方向において車両の前方に配置された信号灯設備の距離を効率的かつ精確に特定することに関するものである。ここで、距離は、好ましくは車両のカメラの画像データのみに基づいて特定されるべきである。本明細書で説明される距離は、車両の走行方向に沿った距離を指し得る。これに代えて、又はこれに加えて、２つの実体物間の距離は、両実体物間のそれぞれ最小の距離に指し得る。

【0036】

図１には、車両１００の例示的な構成要素が示されている。車両１００は１つ又は複数の周囲センサ１０３（例えば１つ又は複数の画像カメラ、１つ又は複数のレーダセンサ、１つ又は複数のライダセンサ、１つ又は複数の超音波センサなど）を含んでおり、当該周囲センサは、車両１００の周囲に関する（特に車両１００前方の走行方向における周囲に関する）周囲データを検出するように構成されている。さらに、車両１００は１つ又は複数のアクチュエータ１０２を含んでおり、当該アクチュエータは、車両１００の長手方向運転及び／又は横方向運転に影響を及ぼすように構成されている。例示的なアクチュエータ１０２は、ブレーキ設備、駆動モータ、操舵部などである。

【0037】

車両１００の（制御）装置１０１は、１つ又は複数の周囲センサ１０３のセンサデータに基づき（すなわち周囲データに基づき）、走行機能、特に運転者アシスト機能を提供するように構成されることができる。例えば、センサデータに基づき、車両１００の走行軌道における障害物を検知することが可能である。それに基づき、制御ユニット１０１は、車両１００を自動化して減速させ、これにより車両１００と障害物の衝突を回避するために、１つ又は複数のアクチュエータ１０２（例えばブレーキ設備）を制御することが可能である。

【0038】

特に、車両１００の自動化された長手方向運転に際しては、前方車両のほかに、車両１００が走行する車線あるいは道路における１つ又は複数の信号灯設備を考慮することが可能である。このとき、車両１００が、自動化されて、自体の（計画された）走行方向に関連する赤信号においては交通信号の停止線まで減速をもたらし、及び／又は青信号においては（場合によっては再び）加速するように、特に信号灯設備あるいは交通信号設備の現状を考慮することが可能である。

【0039】

図２には、例示的な信号灯設備２００が示されている。図２に図示された信号灯設備２００は異なる４つの信号機２０１を備えており、当該信号機は、交差点への進入路における異なる位置に配置されている。左側の信号機２０１は、左方への矢印２０２を有しており、これにより、当該信号機２０１は左折者（車）に適用されるものであることを表示する。中央の２つの信号機２０１は、上方への矢印２０２（又は矢印なし）を有しており、これら両信号機２０１が直進に適用されるものであることを表示する。当該両信号機２０１の個々の灯火表示２０３は、信号グループを形成する。さらに、右側の信号機２０１は、右方への矢印２０２を有しており、これにより、当該信号機２０１は右折者（車）に適用されるものであることを表示する。

【0040】

図３には、走行路において信号灯設備２００へ向けて移動する車両１００が例示的に示されている。車両１００の１つ又は複数の周囲センサ１０３は、信号灯設備２００に関してセンサデータ（特に画像データ）を検出するように構成されることが可能である。そして、センサデータは、信号灯設備２００の１つ又は複数の特徴の特色を特定するために解析されることが可能である。特に、センサデータに基づいて、信号灯設備２００のどの信号機２０１が車両１００の（計画された）走行方向に関連するかを特定することが可能である。さらに、関連する信号機２０１の（信号表示）状態（例えば、赤、黄、青のような色）を検出することが可能である。そのほか、車両１００からの信号灯設備２００の距離３１１を特定することが可能である。

【0041】

信号機２０１の認識、分類及び／又は位置決め（位置決定）は、カメラ１０３の画像データに基づいて行われることが可能である。このとき、「Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ」及び／又は一連の画像におけるオプティカルフローの評価に基づく手法を用いることが可能である。また、認識された信号機２０１の時間にわたる追跡は、カルマンフィルタに基づいて行われることが可能である。距離３１１の絶対値を特定するために、信号機２９１の典型的な大きさ（例えば典型的な高さ及び／又は幅）についての経験則（Ｈｅｕｒｉｓｔｉｋｅｎ）を用いることが可能である。ステレオカメラシステムにおいては、ステレオカメラシステムの両カメラ間の視差を（縮小・拡大された）距離推定のために用いることが可能である。

【0042】

上述の手法に基づいて特定される信号灯設備２００の距離３１１の推定値は、特に距離３１１が比較的大きい（例えば８０メートル以上）場合及び／又は走行速度が比較的大きい（例えば７０ｋｍ／ｈ）場合には、比較的大きな不正確性を有し得る。場合によっては、不正確性は、画像データに基づいて認識される信号灯設備２００をデジタル地図に描かれた信号灯設備に一義的に割り当てられることができないか、又は描かれた信号灯設備に誤って割り当てられるほどに大きいことがあり得る。さらに、走行速度が比較的大きい場合には、自動化された長手方向運転における信号機２０１の快適な、及び／又は信頼性のある考慮を可能とするために、典型的には、信号機２０１の比較的大きな認識範囲（例えば２５０メートルまで）が必要となる。その結果として、車両１００の自動化された走行機能のクオリティが影響を受け得る。

【0043】

特定される距離推定値の不正確性についての例示的な原因は以下のものであり得る：
－距離３１１が比較的大きい場合の信号機２０１の灯火表示２０３の画素の比較的低い解像度及び／又は比較的少ない数。これにより、１つだけの画素についての画像評価の偏差が距離推定における比較的大きな影響につながることとなり得る。
－特に信号機２０１がカメラ１０３によって検出される画像の中心点にある場合の比較的小さなオプティカルフロー。
－信号機２０１の大きさについての誤った仮定。
－信号機２０１がしばしば上空の手前で背景として配置されているため、信号機２０１の画像範囲には比較的わずかな基準点のみが配置されている。
－（湿ったフロントガラスの場合、夕闇時又は夜間の）ライトセーバー及び／又はぼやけのような効果による信号機２０１の大きさについての誤った仮定。
－少ない周囲光の状況において、場合によってはアクティブな灯火表示２０３しか認識されることができず、もはや信号機２０１全体が認識されることができない。その結果として、信号機２０１の利用可能な画素の数が更に低減される。

【0044】

図４には、信号灯設備２００を有する例示的なジャンクション（交差点）４００が示されている。このとき、信号灯設備２００は、それぞれ１つ又は複数の灯火表示２０３を有する複数の信号機２０１を含むことができ、灯火表示は、場合によっては異なる走行方向に割り当てられている。車両１００は、ジャンクション４００への進入路４１０にあり、車両１００の周囲についての周囲データを検出するように構成されることが可能である。このとき、周囲データ（特にカメラの画像データ）は、ジャンクション４００、特に交差点への進入路４１０における信号灯設備２００（特に１つ若しくは複数の信号機２０１及び／又は信号灯設備２００の１つ若しくは複数の灯火表示２０３）を表示することが可能である。さらに、車両１００の１つ又は複数の周囲データ１０３によって、特にジャンクション４００における車両１００の周囲における１つ又は複数の別の物体４０１，４０２，４０３，４０４，２０５（特に１つ又は複数のランドマーク）を表示することが可能である。例示的な物体は、以下のものである：
－信号灯設備２００における停止線４０１；
－信号灯設備２００の周囲における交通標識４０２；
－信号灯設備２００の１つ又は複数の信号機２０１が固定されたポール２０５であり、当該ポール２０５は、垂直方向又は水平方向に配置されることが可能である；
－進入路４１０と交差する車線４０３；及び／又は
－信号灯設備２００において停止している車両４０４。

【0045】

（制御）装置１０１は、周囲データに基づき（特に画像データに基づき）認識された物体４０１，４０２，４０３，４０４，２０５のうち１つ又は複数を信号灯設備２００、特に信号機２０１に割り当てるように構成されることができ、信号機について距離３１１の推定値が特定されるべきである。このとき、特に、比較的高い確率で信号灯設備２００の直近にあり、及び／又は比較的高い確率で車両１００に対する類似の離れた距離４１１を有する１つ又は複数の物体を割り当てることが可能である。

【0046】

認識された物体４０１，４０２，４０３，４０４，２０５のうち１つ又は複数の信号灯設備２００への割り当ては、機械学習された割当ユニットに基づいて行われることが可能である。割当ユニットは、例えば、学習された人工ニューラルネットワーク（特にディープニューラルネットワーク）を含むことができる。

【0047】

割当ユニットの学習のために、複数の訓練データ集合（トレーニングデータセット）を有する訓練データ（トレーニングデータ）を用いることが可能である。訓練データ集合は、入力データとして、信号灯設備２００の周囲における物体４０１，４０２，４０３，４０４，２０５のリストを有することが可能である。また、訓練データ集合は、物体４０１，４０２，４０３，４０４，２０５のリストのうちどの物体が信号灯設備２００に割り当てられるべきかという割当ユニットのための目標出力データとして分類を有することが可能である。

【0048】

割当ユニットは、当該割当ユニットが訓練データによって記述される分類態様を有することとなるように、学習アルゴリズムに基づき（例えば逆伝播アルゴリズムに基づいて）学習されることが可能である。

【0049】

場合によっては、周囲カメラ１０３の画像を入力データとして割当ユニットへ伝達することができ、当該画像には、信号灯設備２００の周囲における１つ又は複数の認識された物体４０１，４０２，４０３，４０４，２０５が（例えばそれぞれバウンディングボックスとして）特徴付けられている。そして、１つ又は複数の物体の割当は、出力データとして提供されることが可能である。

【0050】

また、（制御）装置１０１は、認識された信号灯設備２００に割り当てられた１つ又は複数の物体４０１，４０２，４０３，４０４，２０５のそれぞれについての物体距離情報を特定するように構成されることが可能である。このとき、物体４０１についての物体距離情報は、車両１００からの物体４０１の距離４１１の（個別の）推定値を有し得る。距離４１１の（個別の）推定値は、周囲データに基づいて、特に画像データに基づいて特定されることが可能である。このとき、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ解析及び／又はオプティカルフローの解析に基づく上述の手法を用いることが可能である。これに代えて、又はこれに補足して、（例えばライダセンサ及び／又はレーダセンサのような）１つ又は複数の別の周囲センサ１０３を用いることが可能である。したがって、１つ又は複数の別の周囲センサ１０３のセンサデータとの融合を行うことが可能である（これは、特に比較的大きな物体４０１の場合に可能であり、したがって、特に精確な距離推定を可能とする）。

【0051】

したがって、（信号機２０１の距離３１１の個別に特定された（個別の）推定値に加えて）（信号機２０１に割り当てられた）物体４０１，４０２，４０３，４０４，２０５の距離４１１の１つ又は複数の個別に特定された（個別の）推定値を特定することが可能である。そして、距離４１１の個別に特定された複数の個別の推定値に基づき、信号機２０１あるいは信号灯設備２００の距離４１１の全体の推定値をより高い精度で特定することが可能である。この目的のために、例えば、距離４１１の個別の推定値の（重み付けされた）平均値の形成を行うことが可能である。これに代えて、又はこれに補足して、距離の個別の推定値に基づいて距離３１１の全体の推定値を特定するために、（機械学習された）融合ユニットを用いることが可能である。

【0052】

したがって、交差点状況（シーン）への物体の前後状況に基づく認識及び割当を行うことが可能である。この目的のために、ディープラーニング方法を用いることが可能である。このとき、検出され交差点４００として分類された場所に１つ又は複数の信号灯設備２００を含む物体を割り当てることが可能である。

【0053】

割り当てられた物体に基づき、距離測定の融合を行うことが可能である。したがって、距離推定は、（車両１００と物体の間の、及び物体と信号灯設備２００の間の）追加的な基準測定によって補足されることが可能である。（増大した数の画素を有する）比較的大きな物体を考慮することで、及び／又は１つ若しくは複数の別の隣り合う信号機２００を考慮することで、信号機２００の距離３１１の推定値の精度を高めることが可能である。場合によっては画像の縁部に配置された比較的大きな物体の考慮により、距離推定値の特定のために比較的大きなオプティカルフローを使用することが可能となり、これにより、ここでもカルマンフィルタの加速した収束が可能となる。考慮され得る例示的な物体は以下のものである：交通標識４０２（例えば一時停止標識、優先通行標識）及び／又は方向標識；水平方向及び垂直方向のポール２０５；交通ジャンクション４００における他の信号灯設備及び／又は他の信号機２０１；路面標示（例えば停止線４０１）；停止している車両４０４；交差する車線４０３；など。

【0054】

図５には、原動機付き車両１００からの信号機２０１の距離３１１の推定値を特定するための、（場合によってはコンピュータに実装された）例示的な方法５００のフローチャートが示されている。信号機２０１は、１つ又は複数の信号機２０１を有する信号灯設備２００の一部であり得る。信号機２０１は１つ又は複数の灯火表示２０３を備えることが可能であり、当該灯火表示は、それぞれ個別に（光を発するように）作動されることができるか、又は（光を発しないように）非作動とされることができる。

【0055】

方法５００は、車両１００のカメラ１０３の（少なくとも１つの）画像データに基づき、走行方向における車両１００の前方に配置された信号機２０１の周囲におけるある数量の物体４０１，４０２，４０３，４０４，２０５を認識すること５０１を含む。この目的のために、物体を認識するために（例えば画像の時間的なシーケンスを有する）画像データを解析するように形成された物体認識アルゴリズムを応用することが可能である。このとき、物体についてそれぞれ物体情報を特定することが可能である。例示的な物体情報は、物体の位置、物体の大きさ及び／又は物体のタイプを含む。

【0056】

方法５００は、ある数量の物体４０１，４０２，４０３，４０４，２０５のうち少なくとも１つの物体４０１を信号機２０１に割り当てること５０２を更に含む。割り当てること５０２は、画像データに基づいて、及び／又は個々の物体４０１，４０２，４０３，４０４，２０５についての物体情報に基づいて実行されることが可能である。割り当てること５０２は、特に、所定の値よりもわずかだけ（例えば１０％以下だけ）（光）信号機２０１の特定されるべき距離４１１とは異なる、比較的高い確率（例えば５０％以上）をもって車両１００からの距離４１１を有する（場合によっては１つのみの）１つ又は複数の物体４０１が割り当てられるように行われることが可能である。

【0057】

したがって、割り当てる５０２際には、車両１００から信号機２０１とほぼ同様の距離４１１を有するある数量の物体４０１，４０２，４０３，４０４，２０５のうち１つ又は複数の物体４０１を識別することが可能である。このとき、割り当てること５０２は、機械学習された割当ユニットに基づいて実行されることが可能である。

【0058】

方法５００は、特に画像データに基づき、割り当てられた物体４０１の車両１００からの距離４１１の個別の推定値を特定すること５０３を含んでいる。距離推定は、画像の時間的なシーケンスにおけるオプティカルフローに基づいて、及び／又はＳｔｒｕｃｔｕｒｅ－ｆｒｏｍ－Ｍｏｔｉｏｎ方法に基づいて実行されることが可能である。これに代えて、又はこれに補足して、距離推定は、車両１００の１つ又は複数の別の周囲センサ１０３のセンサデータに基づいて実行されることが可能である。特に、ライダセンサ及び／又はレーダセンサのセンサデータとの融合を行うことが可能である。

【0059】

さらに、方法５００は、割り当てられた物体４０１の車両１００からの距離４１１の個別の推定値に基づいて信号機２０１の距離３１１の推定値を特定すること５０４を含んでいる。

【0060】

本明細書で説明する措置によって、前方に位置する信号機２０１の距離を効率的かつ精確に特定することが可能である。これにより、特に信頼性をもち、安定した走行機能、特に自動化された長手方向運転のための走行機能を交通ジャンクション４００において提供することが可能となる。

【0061】

本発明は、示された実施例に限定されているものではない。特に、明細書及び図面は、提案される方法、装置及びシステムの原理のみを説明するものとなっていることに留意すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】