(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-22
(54)【発明の名称】自動車の周囲モニタリングシステム
(51)【国際特許分類】
G06V 10/141 20220101AFI20240214BHJP
B60Q 1/00 20060101ALI20240214BHJP
G06T 7/00 20170101ALI20240214BHJP
G06V 20/56 20220101ALI20240214BHJP
【FI】
G06V10/141
B60Q1/00 C
G06T7/00 650Z
G06V20/56
(21)【出願番号】P 2022552574
(86)(22)【出願日】2021-03-02
(86)【国際出願番号】 EP2021055118
(87)【国際公開番号】W WO2021175814
(87)【国際公開日】2021-09-10
【審査請求日】2022-10-18
(32)【優先日】2020-03-02
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】593045569
【氏名又は名称】ツェットカーヴェー グループ ゲーエムベーハー
(74)【代理人】
【識別番号】100080816
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】ビールヴィプフェル、クリストフ
(72)【発明者】
【氏名】ライター、トーマス
(72)【発明者】
【氏名】ヴァイセンシュタイナー、シュテファン
【審査官】真木 健彦
(56)【参考文献】
【文献】国際公開第2019/225349(WO,A1)
【文献】国際公開第2018/167879(WO,A1)
【文献】米国特許出願公開第2020/0001774(US,A1)
【文献】新垣 洋平,赤外線画像とAFSを利用した視覚補助 特徴点の出現密度を利用した障害物抽出手法の提案,画像ラボ 2006.1,日本,日本工業出版株式会社,2006年01月01日,第17巻 第1号,P.16-21
(58)【調査した分野】(Int.Cl.,DB名)
G06V 10/141
G06V 20/56
G06T 7/00
G06T 1/00
B60Q 1/00
(57)【特許請求の範囲】
【請求項1】
自動車(100)
の周囲をモニタするためのシステムであって、該システムは、
-少なくとも1つの画像認識装置(2)
、但し、前記画像認識装置(2)は、前記周囲の認識領域(E1)を
又は前記認識領域(E1)にある物体を認識するよ
う構成されている、
-少なくとも1つの照明装置(3)、但し、前記少なくとも1つの画像認識装置(2)の認識領域(E1)は部分的に
又は完全
に前記照明装置(3)によって照明可能である、及び、
-少なくとも1つの周囲認識装置(7)、但し、前記周囲認識装置(7)は、前記画像認識装置(2)の認識領域(E1)の少なくとも一部分を
又は前記認識領域(E1)全体
を認識するよう構成されており、前記少なくとも1つの周囲認識装置(7)
は物体を検出するよう構成されている、
を含み、
-前記画像認識装置(2)は、
・前記少なくとも1つの画像認識装置(2)の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置(2)によっ
て正確
に確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
構成されており、
前記システムは、前記認識領域(E1)に物体(OBJ)が存在する場合において、
-前記周囲認識装置(7)が当該物体を検出しかつこの物体が前記画像認識装置(2)によって検出されないとき、又は、
-前記周囲認識装置(7)が当該物体を検出しかつこの物体が前記画像認識装置(2)によって検出されるが、
・前記画像認識装置(2)によって分類されることができないか、又は
・前記画像認識装置(2)によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体(OBJ)の領域における照明強度が増大又は低減されるように前記照明装置(3)を制御するよう、構成されていること
を特徴とする、システム。
【請求項2】
請求項1に記載のシステムにおいて、
前記システムは、前記KOがKO信頼値についての所定の閾値KO
minを下回る場合、物体(OBJ)の領域における照明強度を増大又は低減するよう、構成されていること
を特徴とする、システム。
【請求項3】
請求項1又は2に記載のシステムにおいて、
前記システムは、
前記周囲認識装置(7)
が、
当該周囲認識装置(7)によって認識され、前記照明装置(2)の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
検出された物体の物体タイプ
が正確
に確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、
構成されている場合、
当該システムが、
・前記物体(OBJ)についてのNKOに依存して、又は、
・前記物体(OBJ)についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置(3)を制御するよう、
構成されていること
を特徴とする、システム。
【請求項4】
請求項3に記載のシステムにおいて、
前記システムは、前記KOが前記NKOより小さい場合、前記物体(OBJ)の領域における照明強度を増大又は低減するよう、構成されていること
を特徴とする、システム。
【請求項5】
請求項1~4の何れかに記載のシステムにおいて、
前記システムは、KO及び/又はNKOを求めるための信頼値計算手段(A1、A2)を含むこと
を特徴とする、システム。
【請求項6】
請求項1~5の何れかに記載のシステムにおいて、
前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置(3)を制御する少なくとも1つの制御装置(9)を含むこと
を特徴とする、システム。
【請求項7】
請求項1~6の何れかに記載のシステムにおいて、
前記照明装置(3)は、自動車光分布又は自動車光分布の一部分を生成するよう構成されていること
、
を特徴とする、システム。
【請求項8】
請求項1~7の何れかに記載のシステムにおいて、
前記照明装置(3)は、減光光用光分布を生成するための減光光用ライトモジュール(3)及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール(4)又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むこと
を特徴とする、システム。
【請求項9】
請求項1~
8の何れかに記載のシステムにおいて、
前記周囲認識装置(7)は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むこと
を特徴とする、システム。
【請求項10】
請求項1~
9の何れかに記載のシステムにおいて、
前記画像認識装置(2)は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含むこと
を特徴とする、システム。
【請求項11】
請求項1~
10の何れかに記載のシステムにおいて、
前記画像認識装置(2)は、可視光の波長領域において及び/又は非可視光の波長領
域において作動すること
を特徴とする、システム。
【請求項12】
請求項1~
11の何れかに記載のシステムにおいて、
前記照明装置(3)は、物体(OBJ)を持続的に照明するよう構成されること、又は、
前記照明装置(3)は、前記画像認識装置(2)がアクティブである場合にのみ物体が照明されるよう
、駆動可能であること
、又は、
前記照明装置(3)はフラッシ
ュを物体へ放出するよう構成されること
を特徴とする、システム。
【請求項13】
請求項1~
12の何れかに記載のシステムにおいて、
前記照明装置(3)は、自動車投光装置(10
)又は自動車(100)
の構成要素であること
を特徴とする、システム。
【請求項14】
自動車のため
の自動車投光装置であって、
前記自動車投光装置(10)は請求項1~
13の何れかに記載のシステム(1)を含むこ
と
を特徴とする、自動車投光装置。
【請求項15】
請求項14に記載の自動車投光装置において、
前
記画像
認識装置(2)は前記自動車投光装置(10)の側部の縁領域に配置されていること
を特徴とする、自動車投光装置。
【請求項16】
請求項
14又は15に記載の自動車投光装置を1つ
又は2つ
又は左側と右側に夫々1つ有する自動
車。
【請求項17】
自動車
の周囲をモニタする方法であって、
前記方法を実行するために、請求項1~
13の何れかに記載のシステム、ないしは、少なくとも1つ
の又は2つの
又は左側及び右側に夫々1つの請求項
14又は15に記載の自動車投光装置が使用されること
を特徴とする、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自動車の、とりわけ自律式又は半自律式自動車の、周囲(周辺ないし環境)をモニタするためのシステムであって、
-少なくとも1つの画像認識装置、とりわけ光学式画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域を認識するよう、とりわけ前記認識領域にある物体を認識するよう、構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に、好ましくは完全に、前記照明装置によって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を、好ましくは前記認識領域全体を、認識するよう構成されており、前記少なくとも1つの周囲認識装置はとりわけ物体を検出するよう構成されている、
を含み、
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって、とりわけ正確に、確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”とも称する)をその都度(1つ)求めるよう、
構成されている、システムに関する。
【0002】
本発明は、更に、自動車、とりわけ自律式又は半自律式自動車のための自動車投光装置(前照灯)であって、上記のシステムを含む自動車投光装置に関する。
【背景技術】
【0003】
例えば乗用車のような自動車には、今や、自動車の周囲、例えば走行方向に見て自動車の前方にある領域をモニタすることができる画像認識装置が設けられていることが多い。画像認識装置は例えば物体認識ユニット及び/又はパターン認識ユニットを含むことができ、又は、1つ又は2つ以上のそのようなユニットは画像認識装置に接続されている。これによって、例えば人(歩行者)、及び/又は先行車及び/又は対向車、及び/又は道路標識及び/又は交通標識等は検出されることができる。
【0004】
本書において、概念「検出する(detektieren)」と「分類する(klassifizieren)」(ないし識別する(erkennen))は区別されている。概念「検出する」は、ある装置がその認識領域においてある物体の存在を認識するが(「検出(Detektion)」)、どのような物体であるか、即ちどのようなタイプの物体(人、PKW(乗用車)、LKW(トラック)、自転車、交通標識等)であるか(「分類(Klassifizierung)」)については必ずしも認識しないものとして理解される。ある装置が物体のタイプも同定(特定)できる場合、「分類する(Klassifizieren)」という。ある装置がある物体をある特定の状況において正しく同定(特定)することができる確度(Wahrscheinlichkeit)は(この装置についての)いわゆる信頼値(Konfidenzwert)によって記述される。信頼値は、一方では、具体的状況(例えば明るさ、物体と装置の間の相対速度、物体と装置の間の角度、装置に対する物体の距離等)に依存し、他方では、装置が分類のためにどの程度良好にハードウェア的に及び/又はソフトウェア的に構成されているかに依存する。第1のポイントは事実上影響を受けることがないのに対し、第2の側面は装置の基本コンセプトに及びそのソフトウェア/アルゴリズムがどの程度良好に構成されているないしはトレーニングされているかに依存する。
【0005】
概念「画像認識装置(Bilderfassungseinrichtung)」は、原理的にある物体を検出するだけではなく、当該物体を分類することができるよう構成(適合化)された装置として理解されるものである。
【0006】
「周囲認識装置」は、物体(複数)を分類できる必要なしに、当該物体(複数)を検出するよう構成(適合化)されていることを最小の要件として有するが、分類にも適している周囲認識装置も使用されることができる。
【0007】
従って、周囲認識装置は物体を検出するよう構成(適合化)されるが、物体を分類するようには構成(適合化)されないことも可能である。
【0008】
尤も、周囲認識装置は物体を検出るようかつ物体を分類するよう構成(適合化)されることも可能である。
【0009】
とりわけ半自律式又は自律式車両にも、現代の車両の支援システムにも使用されるような信頼性のある検出及び/又は物体識別を可能にするために、一方では画像認識装置を有し、付加的に更に少なくとも1つの付加的周囲認識装置を有する冒頭に記載したシステムは大きな利点を有する。なぜなら、2つ又は3つ以上の装置による認識領域及び該領域に存在する物体(複数)の認識によって、信頼性は顕著に向上されることができるからである(例えばキーワード「センサフュージョン(Sensorfusion)」)。
【0010】
そのようなシステムでは、とりわけ、例えば1つ又は2つ以上の相応のカメラ又はカメラシステム(光学的及び/又はIR領域)を用いて、光学的な、即ち可視光の領域で、場合によってはIRスペクトルの領域でも作動する装置であることが好ましい画像認識装置が使用される。そのような画像認識装置は物体の分類にも適する。
【0011】
上記の装置によって、運転者支援システムないし自律式車両の現在の及び将来見込まれる一層大きくなる高い要求は多くの環境条件下で良好に満たされることができる。個々のセンサ即ち個々の認識装置は限定された作動領域を有する-複数の(異なる)センサないしセンサ技術を組み合わせることによって、信頼性のある物体検出及び分類が多くの条件下で可能になる。
【0012】
とりわけカメラは、自動運転車両の制御のために及び運転支援システムのためにも極めて重要である。なぜなら、カメラは、物体認識及び分類を一般的に信頼性を以って実行可能にする現実的に唯一のタイプのセンサ装置(認識装置)であるからである。認識の信頼性は、既述のように、信頼値によって決定される。これ(信頼値)は、システムが分類可能な特定の物体が対象となっている(問題になっている)ことを装置が確信している度合い(程度)を記述する。
【先行技術文献】
【特許文献】
【0013】
【文献】US 2020/001774 A1
【文献】DE 10 2013 004271 A1
【発明の概要】
【発明が解決しようとする課題】
【0014】
例えば夜間走行、悪天候状況(雨、霧、雪、波(Gischt))ないし眩惑(ないしグレア:Blendung)(自己眩惑(Eigenblendung)ないし外因眩惑(Fremdblendung))の際には、信頼値が信頼レベルないし閾値(これ以降では信頼性のある物体分類は最早与えられない)を下回るという、とりわけ安全性に関連する、状況が生じ得る。かくして、冒頭に掲げたシステムの利用可能性に関し大きな制限が生じる。なぜなら、物体分類が信頼性を以って与えられない多くの状況が生じ得るからである。
【0015】
本発明の課題は、物体の検出及び分類を改善可能にするための方策を提供することである。
【課題を解決するための手段】
【0016】
この課題は、上記システムが本発明に応じ以下のように構成されていることによって解決される。
即ち、該システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されている。
本発明の第1の視点により、自動車の周囲をモニタするためのシステムが提供される。該システムは、
-少なくとも1つの画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域又は前記認識領域にある物体を認識するよう構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に又は完全に前記照明装置によって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を又は前記認識領域全体を認識するよう構成されており、前記少なくとも1つの周囲認識装置は体を検出するよう構成されている、
を含み、
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって正確に確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
構成されており、
前記システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されていること
を特徴とする(形態1)。
本発明の第2の視点により、自動車のための自動車投光装置が提供される。
前記自動車投光装置は本発明のシステムを含むこと
を特徴とする(形態14)。
本発明の第3の視点により、本発明の自動車投光装置を1つ又は2つ又は左側と右側に夫々1つ有する自動車が提供される(形態16)。
本発明の第4の視点により、自動車の周囲をモニタする方法が提供される。
前記方法を実行するために、本発明のシステム、ないしは、少なくとも1つの又は2つの又は左側及び右側に夫々1つの本発明の自動車投光装置が使用されること
を特徴とする(形態17)。
【発明を実施するための形態】
【0017】
ここに、本発明の好ましい形態を示す。
(形態1)上記本発明の第1の視点参照。
(形態2)形態1のシステムにおいて、
前記システムは、前記KOがKO信頼値についての所定の閾値KOminを下回る場合、物体の領域における照明強度を増大又は低減するよう、構成されていることが好ましい。
(形態3)形態1又は2のシステムにおいて、
前記システムは、
前記周囲認識装置が、
当該周囲認識装置によって認識され、前記照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
検出された物体の物体タイプが正確に確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている場合、
当該システムが、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、
構成されていることが好ましい。
(形態4)形態3のシステムにおいて、
前記システムは、前記KOが前記NKOより小さい場合、前記物体の領域における照明強度を増大又は低減するよう、構成されていることが好ましい。
(形態5)形態1~4の何れかのシステムにおいて、
前記システムは、KO及び/又はNKOを求めるための信頼値計算手段を含むことが好ましい。
(形態6)形態1~5の何れかのシステムにおいて、
前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含むことが好ましい。
(形態7)形態1~6の何れかのシステムにおいて、
前記照明装置は、自動車光分布又は自動車光分布の一部分を生成するよう構成されていることが好ましい。
(形態8)形態1~7の何れかのシステムにおいて、
前記照明装置は、減光光用光分布を生成するための減光光用ライトモジュール及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むことが好ましい。
(形態9)形態1~8の何れかのシステムにおいて、
前記周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むことが好ましい。
(形態10)形態1~9の何れかのシステムにおいて、
前記画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含むことが好ましい。
(形態11)形態1~10の何れかに記載のシステムにおいて、
前記画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域において作動することが好ましい。
(形態12)形態1~11の何れかに記載のシステムにおいて、
前記照明装置は、物体を持続的に照明するよう構成されること、又は、
前記照明装置は、前記画像認識装置がアクティブである場合にのみ物体が照明されるよう、駆動可能であること、又は、
前記照明装置はフラッシュを物体へ放出するよう構成されることが好ましい。
(形態13)形態1~12の何れかのシステムにおいて、
前記照明装置は、自動車投光装置又は自動車の構成要素であることが好ましい。
(形態14)上記本発明の第2の視点参照。
(形態15)形態14の自動車投光装置において、
前記画像認識装置は前記自動車投光装置の側部の縁領域に配置されていることが好ましい。
(形態16)上記本発明の第3の視点参照。
(形態17)上記本発明の第4の視点参照。
【0018】
周辺認識装置と画像認識装置は異なるタイプであることが好ましい。例えば画像認識装置が(場合によっては後置接続される評価電子装置を有する)カメラとして構成される、即ちカメラのタイプである場合、周辺認識装置は他のタイプである、即ちカメラのタイプではない。
【0019】
例えば、本発明に応じ、周辺認識装置によって物体が検出され又は更には分類されることができ、及び、画像認識装置によっては当該物体は検出されず又は検出はされるが分類はされることができない場合、該物体の領域における明るさは、画像認識装置も該物体を検出すること、好ましくは分類することも、とりわけ高い確度(Wahrscheinlichkeit)で正確に分類することもできるよう、適合化される。
【0020】
従って、例えば、光学式画像認識装置(光学センサ)自身は、又は更なるセンサシステム(周辺認識装置)は、物体の分類のために必要な支援を受けるために、例えば高解像度の、光源からの光をより多く(又はより少なく)要求することができる。
【0021】
本発明によって、例えば夜間、悪天候又は眩惑状況の場合でさえも、信頼性のある物体認識(検出)及び分類を達成することができ、以って、システムのより良好な利用可能性を達成することができる。
【0022】
KOがKO信頼値についての所定の閾値KOminを下回る場合、物体の領域における照明強度を増大又は低減するよう構成可能である。例えば、相応の明るさ情報は、光学式画像認識装置の画像情報から得られる。
【0023】
[システムは、]周囲認識装置が、当該周囲認識装置によって認識され、照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、検出された物体の物体タイプが、とりわけ正確に、確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている[場合]、
・該物体についてのNKOに依存して、若しくは、
・該物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
[当該物体の領域における照明強度が増大又は低減されるように照明装置を制御するよう、]
構成されることができる。
【0024】
KOがNKOより小さい場合、物体の領域における照明強度を増大又は低減するよう構成可能である。物体認識の信頼性を顕著に増大するために、少なくとも1つの周囲認識装置が物体を画像認識装置よりも高い信頼性で分類できる場合、明るさは、画像認識装置も物体をより高い信頼性で又は高信頼性で分類できるよう、適合化される。かくして、システム全体の物体認識信頼性は顕著に増大される。
【0025】
本システムはKO及び/又はNKOを求めるための信頼値計算手段を含むことが好ましい。典型的には、信頼値計算手段は、1つ又は2つ以上の実行可能なプログラムの形でハードウェア上で実行される1つ又は2つ以上のアルゴリズムである。1つのアルゴリズムでKOとNKOを求める(計算する)ことは可能であるが、KOとNKOについて夫々1つの専用の又は夫々少なくとも1つの専用のアルゴリズムを用いることも可能である。
【0026】
本システムは、KO、又はNKO、又はKO及びNKOに依存して少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含むことが可能である。
【0027】
信頼値計算手段は、KO及び/又はNKOを計算するために、例えば制御装置上で実行される、例えば1つ又は複数のアルゴリズムとして、例えば制御装置によって又は制御装置において、実現(具現化)されることができる。1つ又は複数のアルゴリズムは独自の(専用の)計算装置上で実行されることも可能である。信頼値計算手段には、少なくとも1つの、とりわけ光学式の、画像認識装置及び/又は少なくとも1つの、好ましくは非光学式の、周囲認識装置から相応の入力データが供給される。これらの装置の測定データは入力データを構成し、信頼値計算手段は、制御装置へ供給される相応の出力データ(KO及び/又はNKO)を供給する。
【0028】
照明装置は自動車光分布(配光パターン)又は自動車光分布の一部分を生成するよう構成されることが可能であり、例えば、照明装置は、減光光(ロービーム)用光分布を生成するための減光光(ロービーム)用ライトモジュール及び/又は遠方光(ハイビーム)用光分布を生成するための遠方光(ハイビーム)用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含むことができる。
【0029】
例えば、照明装置は、個別制御可能な光源(複数)(例えば、複数の光源、例えば複数のLEDによって、複数のセグメント又は多数のピクセルから構成される(1つの)光分布(配光パターン)を生成可能な装置、但し複数の光源は通常は互いに独立に制御可能である)又は高解像度システム(例えば、DLP、レーザスキャナシステム、ミニLEDシステム、マイクロLEDシステム、LCDシステム、LCoSシステム)を使用することができる。これによって、物体の領域における明るさないし照明強度は、他の領域における明るさないし照明強度に影響を及ぼすことなく又は過度に影響を及ぼすことなく、目標を定めて(目的に合致するよう)適合化されることができる。
【0030】
照明装置のために、人間にとって可視的でない光源(例えば、赤外線光源)も、場合により可視的な光源と組み合わせて、使用可能である。
【0031】
例えば、周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラを含む。
【0032】
画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステム、とりわけ光学式カメラ/カメラシステムないし光学式カメラないし光学式カメラシステムを含むことが好ましい。ここで、「光学式(optisch)」とは、このカメラないしこのシステム又はこの装置/機器が可視光の波長範囲で作動することとして理解されるべきものである。
【0033】
画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域、例えばIR領域、において作動することが可能である。
【0034】
照明装置は物体を持続的に照明するよう構成されること、又は、照明装置は画像認識装置がアクティブ(aktiv)である場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動可能であり、好ましくは、画像認識装置と同期されて駆動可能であること、又は、照明装置は(光)フラッシュ(Lichtblitze)、とりわけ時間的に短い(光)フラッシュを物体へ放出(放射)するよう構成されること、が可能である。
【0035】
(光)フラッシュの持続(時間)は、この場合、典型的な態様で、(数)ミリ秒又は(数)マイクロ秒の範囲にある。
【0036】
照明装置は、自動車投光装置(前照灯)の、とりわけ自動車の、構成要素であることが好ましい。
【0037】
上記の課題は、自動車のための、とりわけ自律(自動運転)式又は半自律(半自動運転)式自動車のための、自動車投光装置(前照灯)によっても解決される。該自動車投光装置(前照灯)は上記のシステムを含み、好ましくは、光学式画像検出装置は自動車投光装置(前照灯)の側部の縁領域に配置されている。
【0038】
更に、上記の課題は、上述したような自動車投光装置(前照灯)を1つ、好ましくは2つ、左側と右側に夫々1つ有する自動車によって解決される。好ましくは、少なくとも照明装置は、自動車の自動車投光装置(前照灯)の構成要素である。
【0039】
最後に、上記の課題は、更に、自動車の、とりわけ自律(自動運転)式又は半自律(半自動運転)式自動車の、周囲をモニタする方法によっても解決される。
本方法を実行するために、本発明のシステム、ないしは、少なくとも1つの、又は2つの、とりわけ左側及び右側に夫々1つの本発明の自動車投光装置(前照灯)が使用される。
【0040】
以下において、本発明は図面を用いてより詳細に説明されている。なお、特許請求の範囲に付記した図面参照符号は専ら発明の理解を助けるためのものであり、本発明を図示の態様に限定することは意図していない。
【図面の簡単な説明】
【0041】
【
図1】本発明のシステムの一例を有する自動車の一例。
【実施例】
【0042】
図1は、その前部に2つの自動車投光装置(前照灯)を有する自動車100の一例、例えば自律(自動運転)式又は半自律(半自動運転)式自動車を示す。
図1に示した左側投光装置(前照灯)10の非限定的例には、本発明のシステム1の一例が含まれており、ないしは、そのようなシステム1は投光装置(前照灯)10に少なくとも部分的に組み込まれている。
【0043】
本発明のシステム1は、自動車100の周囲(環境)、とりわけ自動車の前方及び/又は自動車の前方の側方(左側及び/又は右側)にある周囲(環境)のモニタに役立つ。システム1は、図示の例では、画像認識装置2、とりわけ光学式画像認識装置2を含み、画像認識装置2は、周囲の認識領域E1を認識するよう、とりわけ認識領域E1にある物体を認識するよう構成(適合化)されている。
【0044】
画像認識装置2は、好ましくは、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステム、好ましくは光学式のカメラ(複数)/カメラシステム(複数)ないしは1つの光学式カメラ/1つの光学式カメラシステムである。「光学式(optisch)」とは、このカメラないしこのシステム又はこの装置/機器が可視光の波長範囲で作動することとして理解されるべきものである。
【0045】
更に、本システムは照明装置3を含み、少なくとも1つの画像認識装置2の認識領域E1は部分的に、好ましくは完全に、照明装置3によって照明されることができるが、このことは、
図1においては照明領域Bによって模式的に示されている。「照明する(照らす)ことができる(beleuchten kann)」という表現は、この場合、本発明の全体的関連において、照明装置3がスイッチオンされると直ちに、照明領域Bが、
図1に示されているように、認識領域E1を少なくとも部分的に照明する(照らす)こと、又は、照明装置3が光を認識領域E1へ向ける(導く)ことができることを意味する。
【0046】
照明装置3は、好ましくは、自動車光分布(配光パターン)又は自動車光分布の一部を生成するための照明装置であり、照明装置3は、例えば、減光光(ロービーム)用光分布を生成するための減光光(ロービーム)用ライトモジュール及び/又は遠方光(ハイビーム)用光分布を生成するための遠方光(ハイビーム)用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールであるか又はを含む。これに応じて、照明装置3は投光装置(前照灯)10に組み込まれていることが好ましい。
【0047】
例えば、照明装置3のために、(複数の)個別制御可能な光源(例えば、複数の光源、例えば複数のLEDによって、複数のセグメントから又は多数のピクセルから構成されている(1つの)光分布を生成できる装置、但し、光源(複数)は一般的に互いに独立に制御されることができる)又は高解像度システム(例えば、DLP、レーザスキャナシステム、ミニLEDシステム、マイクロLEDシステム、LCDシステム、LCoSシステム)を使用できる。これによって、物体の領域における明るさないし照明強度は、他の領域における明るさないし照明強度に影響を及ぼすことなく又は過度に影響を及ぼすことなく、目標を定めて(目的に合致するよう)適合化されることができる。
【0048】
照明装置3のために、人間にとって可視的でない光源(例えば、赤外線光源)も、場合により可視的な光源と組み合わせて、使用できる。
【0049】
照明装置3は物体OBJを持続的に照明するよう構成(適合化)されること、又は、照明装置3は、画像認識装置2がアクティブである場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動されること、好ましくは、画像認識装置2と同期されて駆動されること、又は、照明装置3は(光)フラッシュ、とりわけ時間的に短いフラッシュを物体へ放出(放射)するよう構成(適合化)されること、が可能である。
【0050】
更に、本システム1は周囲認識装置7を含み、周囲認識装置7は、画像認識装置2の認識領域E1の少なくとも一部分を、好ましくは認識領域全体を、認識するよう構成(適合化)されている。周囲認識装置7の認識領域は
図1では図面参照符号E2で示されている。周囲認識装置7は、例えば、RADAR及び/又はLIDARとして構成されるか又はを含むこと及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含むことが可能である。画像認識装置2は可視光の波長領域で及び/又は非可視光の波長領域で、例えばIR領域で作動することができる。
【0051】
本システム1又は画像認識装置2は、画像認識装置2の認識領域E1に存在する物体OBJが検出されたときに、当該物体をその物体タイプに関して分類するよう、及び、信頼値(Konfidenzwert)即ちいわゆるKO信頼値(以下“KO”と称する)を求める(計算する)よう、構成(適合化)されており、但し、KOは、検出された物体の物体タイプが画像認識装置2によって、とりわけ正確に、確定された確度の大きさ(程度)を表す。
【0052】
種々の(異なる)物体タイプ(複数)は、例えば、PKW、LKW、単スプール又は多スプールの自動二輪(ないし三輪)車(Kraftraeder)、自転車、歩行者等である。
【0053】
従って、KOは、本システムが、検出された物体が特定の物体タイプを有することを確信している度合いを示す。
【0054】
更に、本システム1は、
図1に示されているように、認識領域E1に物体OBJが存在する場合において、
-検出された物体OBJについてのKOに依存して、又は
-周囲認識装置7が物体OBJを検出し、かつ、この物体OBJが、画像認識装置2の認識領域E1に存在するにも拘らず、画像認識装置2によって検出されない場合、又は
-周囲認識装置7が物体を検出し、かつ、この物体が画像認識装置2によって検出されるが、
・画像認識装置2によって分類されることができないか、又は
・KOが所定の閾値を下回る場合、
-或いは、本システム1又は周囲認識装置7が、当該周囲認識装置7によって認識され、照明装置2の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、検出された物体の物体タイプが周囲認識装置7によって、とりわけ正確に、確定されることができる確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、構成されている場合、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
・KO<NKOのとき、
当該物体の領域における照明強度が増大又は低減されるか又は変化されないように照明装置を制御するよう、
構成(適合化)されている。
【0055】
本発明に応じ、例えば、周囲認識装置7によってある物体が検出されるか又は更には分類されることができ、かつ、画像認識装置2によってこの物体は検出されないか又は検出されるが分類されることができない場合、該物体の領域における明るさは、画像認識装置2も物体OBJを検出でき、好ましくは分類もでき、とりわけ大きな確度で正確に分類できるよう適合化され、一般的には増大されるが、例えば眩惑(グレア)がある場合には低減もされる。
【0056】
そのため、画像認識装置2のKOは増大され、とりわけ、その都度の使用の枠内においてかつこの使用の必要な確実性(安全性)の度合い(程度)に応じて画像認識装置2による物体の検出及びとりわけ分類が十分に大きな確度で実行できる程に大きく増大される。
【0057】
例えば、物体OBJの領域における照明強度は、KOがKO信頼値のための所定の閾値KOminを下回る場合、増大又は低減されることが可能である。
【0058】
この所定の閾値KOminの値もまたその都度の使用に依存する。
【0059】
物体OBJの領域における照明強度は、KOがNKOより小さい場合、増大又は低減されることが可能である。物体認識の信頼性を顕著に大きくするために、1つの周囲認識装置7が画像認識装置2よりも高い信頼性で物体OBJを分類できる場合、明るさは、画像認識装置2も物体OBJをより高い信頼性で又は高信頼性で分類できるよう適合化される。かくして、システム1全体の物体認識(識別)信頼性は顕著に増大される。
【0060】
図2は、本発明のシステム1の構成要素、即ち、画像認識装置2、周囲認識装置7及び照明装置3についての概観をもう一度大まかに模式的に示す。
【0061】
好ましくは、本システムは、KO及び/又はNKOを求める(計算する)ための信頼値計算手段A1、A2を含む。典型的には、信頼値計算手段は、1つ又は2つ以上の実行可能なプログラムの形でハードウェア8上で実行される1つ又は2つ以上のアルゴリズムA1、A2である。1つのアルゴリズムでKOとNKOを求める(計算する)ことは可能であるが、KOとNKOについて夫々1つの専用の又は夫々少なくとも1つの専用のアルゴリズムA1、A2を用いることも可能である。
【0062】
更に、本システムは、KOに、又はNKOに、又はKOとNKOに依存して照明装置3を制御するための制御装置9を含むことが可能であり、KO及び/又はNKOは、信頼値計算手段A1、A2又はこれらが実行されるハードウェア8から制御装置9へ伝送される。
【0063】
制御装置9はハードウェア8に組み込まれていること及び/又はハードウェア8上で実現(実行)されることも可能である。
【0064】
図2に模式的に示されているようなシステム1は、例えば、自動車投光装置(前照灯)に完全に組み込まれることが可能であり、及び、例えば、投光装置(前照灯)にいずれにせよ存在するコンポーネントに、即ち例えば照明装置3に、アクセスすることができる。尤も、例えばハードウェア8及び/又は制御装置9は自動車投光装置(前照灯)の構成要素ではなく、自動車の構成要素であることも可能である。代替的に又は付加的に、画像認識装置2及び/又は周囲認識装置7も自動車において自動車投光装置(前照灯)の外部に配されることができる。
【0065】
以下に本発明の可能な態様を付記する。
[付記1]自動車の、とりわけ自律式又は半自律式自動車の、周囲をモニタするためのシステム。該システムは、
-少なくとも1つの画像認識装置、とりわけ光学式画像認識装置、但し、前記画像認識装置は、前記周囲の認識領域を認識するよう、とりわけ前記認識領域にある物体を認識するよう、構成されている、
-少なくとも1つの照明装置、但し、前記少なくとも1つの画像認識装置の認識領域は部分的に、好ましくは完全に、前記照明装置よって照明可能である、及び、
-少なくとも1つの周囲認識装置、但し、前記周囲認識装置は、前記画像認識装置の認識領域の少なくとも一部分を、好ましくは前記認識領域全体を、認識するよう構成されており、前記少なくとも1つの周囲認識装置はとりわけ物体を検出するよう構成されている、
を含む。
-前記画像認識装置は、
・前記少なくとも1つの画像認識装置の検出領域に存在する物体を、この物体が検出されたとき、その物体タイプに関して分類するよう、及び、
・検出された物体の物体タイプが前記画像認識装置によって、とりわけ正確に、確定されることができる確度の大きさを表す信頼値即ちいわゆるKO信頼値(以下“KO”と称する)をその都度(1つ)求めるよう、
構成されている。
前記システムは、前記認識領域に物体が存在する場合において、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装置によって検出されないとき、又は、
-前記周囲認識装置が当該物体を検出しかつこの物体が前記画像認識装によって検出されるが、
・前記画像認識装置によって分類されることができないか、又は
・前記画像認識装置によって分類の際に求められるKOが所定の閾値を下回るとき、
当該物体の領域における照明強度が増大又は低減されるように前記照明装置を制御するよう、構成されている。
[付記2]上記の、とりわけ付記1に記載のシステムにおいて、
前記システムは、前記KOがKO信頼値についての所定の閾値KO
min
を下回る場合、物体の領域における照明強度を増大又は低減するよう、構成されている。
[付記3]上記の、とりわけ付記1又は2に記載のシステムにおいて、
前記周囲認識装置は、
当該周囲認識装置によって認識され、前記照明装置の認識領域に存在しかつ検出された物体をそのタイプに関し分類するよう、及び、
検出された物体の物体タイプが、とりわけ正確に、確定された確度の大きさを表す更なる信頼値即ちいわゆるNKO信頼値(以下“NKO”と称する)を求めるよう、
・前記物体についてのNKOに依存して、又は、
・前記物体についてのKO及びNKOに依存して、又は、
KO<NKOのとき、
構成されている。
[付記4]上記の、とりわけ付記3に記載のシステムにおいて、
前記システムは、前記KOが前記NKOより小さい場合、前記物体の領域における照明強度を増大又は低減するよう、構成されている。
[付記5]上記の、とりわけ付記1~4の何れかに記載のシステムにおいて、
前記システムは、KO及び/又はNKOを求めるための信頼値計算手段を含む。
[付記6]上記の、とりわけ付記1~5の何れかに記載のシステムにおいて、
前記システムは、KO、又はNKO、又はKO及びNKOに依存して前記少なくとも1つの照明装置を制御する少なくとも1つの制御装置を含む。
[付記7]上記の、とりわけ付記1~6の何れかに記載のシステムにおいて、
前記照明装置は、自動車光分布又は自動車光分布の一部分を生成するよう構成されている;
例えば、前記照明装置は、減光光用光分布を生成するための減光光用ライトモジュール及び/又は遠方光用光分布を生成するための遠方光用ライトモジュール又は減光光用光分布と遠方光用光分布を生成するための組み合わせモジュールを含む。
[付記8]上記の、とりわけ付記1~7の何れかに記載のシステムにおいて、
前記周囲認識装置は、RADAR及び/又はLIDAR及び/又は超音波型センサ及び/又はIRカメラ及び/又はTOFカメラ(“Time of Flight”)及び/又はMS(“Multispektral”)カメラ及び/又は熱画像カメラを含む。
[付記9]上記の、とりわけ付記1~8の何れかに記載のシステムにおいて、
前記画像認識装置は、1つ又は2つ以上のカメラないし1つ又は2つ以上のカメラシステムを含む。
[付記10]上記の、とりわけ付記1~9の何れかに記載のシステムにおいて、
前記画像認識装置は、可視光の波長領域において及び/又は非可視光の波長領域、例えばIR領域、において作動する。
[付記11]上記の、とりわけ付記1~10の何れかに記載のシステムにおいて、
前記照明装置は、物体を持続的に照明するよう構成される;又は、
前記照明装置は、前記画像認識装置がアクティブである場合にのみ物体が照明されるよう、例えばクロック制御されて、駆動可能であること、好ましくは、前記画像認識装置と同期されて駆動可能である;又は、
前記照明装置はフラッシュ、とりわけ時間的に短いフラッシュを物体へ放出するよう構成される。
[付記12]上記の、とりわけ付記1~11の何れかに記載のシステムにおいて、
前記照明装置は、自動車投光装置の、とりわけ自動車、構成要素である。
[付記13]自動車のための、とりわけ自律式又は半自律式自動車のための、自動車投光装置。
前記自動車投光装置は上記の、とりわけ付記1~12の何れかに記載のシステムを含む;
好ましくは、前記光学式画像検出装置前記自動車投光装置の側部の縁領域に配置されている。
[付記14]上記の、とりわけ付記13に記載の自動車投光装置を1つ、好ましくは2つ、左側と右側に夫々1つ有する自動車。
好ましくは、少なくとも前記照明装置は、当該自動車の自動車投光装置の構成要素である。
[付記15]自動車の、とりわけ自律式又は半自律式自動車の、周囲をモニタする方法。
前記方法を実行するために、上記の、とりわけ付記1~12の何れかに記載のシステム、ないしは、少なくとも1つの、又は2つの、とりわけ左側及び右側に夫々1つの上記の、とりわけ付記13に記載の自動車投光装置が使用される。