特許 6661748 自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6661748

(24)【登録日】2020年2月14日

(45)【発行日】2020年3月11日

(54)【発明の名称】自動車両の周辺区域内の物体を識別するための方法、運転者支援システム、および自動車両

(51)【国際特許分類】

   G06T 7/215 20170101AFI20200227BHJP

   G08G 1/16 20060101ALI20200227BHJP

   B60Q 1/14 20060101ALI20200227BHJP

   B60Q 1/04 20060101ALI20200227BHJP

   G06T 7/00 20170101ALI20200227BHJP

【ＦＩ】

   G06T7/215

   G08G1/16 C

   B60Q1/14 Z

   B60Q1/04 E

   G06T7/00 650A

【請求項の数】12

【全頁数】13

(21)【出願番号】特願2018-504280(P2018-504280)

(86)(22)【出願日】2016年7月26日

(65)【公表番号】特表2018-524741(P2018-524741A)

(43)【公表日】2018年8月30日

(86)【国際出願番号】EP2016067715

(87)【国際公開番号】WO2017017077

(87)【国際公開日】20170202

【審査請求日】2018年3月1日

(31)【優先権主張番号】102015112289.8

(32)【優先日】2015年7月28日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】508108903

【氏名又は名称】ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100082991

【弁理士】

【氏名又は名称】佐藤 泰和

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100106655

【弁理士】

【氏名又は名称】森 秀行

(72)【発明者】

【氏名】ニコライ、サーゲーブ

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２０１１−１９２２２６（ＪＰ，Ａ）

【文献】 特開２００５−２０９０１９（ＪＰ，Ａ）

【文献】 特開２０１０−２５４１９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｇ １／１６

Ｂ６０Ｑ １／０４

Ｂ６０Ｑ １／１４

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

自動車両（１）の周辺区域（４）内の物体（８）を静止物体として識別するための方法であって、車両側取込装置（３）を用いて前記周辺区域（４）が画像（１２，１４）内に取り込まれ、画像処理装置（５）を用いて、前記取り込まれた画像（１２，１４）のうちの少なくとも１つにおいて前記物体（８）が検出される方法において、
少なくとも１つの取り込まれた第１画像（１２）に基づいて、前記周辺区域（４）内の物体（８）の前記自動車両（１）に対する相対的な第１位置（Ｐ１）であって、取り込まれた前記物体（８）の前記自動車両（１）からの第１の考え得る距離を表す第１位置（Ｐ１）が推定され、前記第１画像（１２）と、少なくとも１つの取り込まれた第２画像（１４）とに基づいて、画像座標（ａ，ｂ）における前記物体（８’，８”）の移動経路（１５）が決定され、前記周辺区域（４）内の前記推定された第１位置（Ｐ１）に由来して前記画像座標（ａ，ｂ）における第１の静止物体を特徴付ける第１移動経路（１６）が決定され、前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、前記特徴付ける第１移動経路（１６）との比較に基づいて、前記取り込まれた物体（８）が静止物体として識別され、
前記少なくとも１つの第１画像（１２）に基づいて、前記周辺区域（４）内の物体（８）の前記自動車両（１）に対する相対的な第２位置（Ｐ２）であって、前記物体（８）の前記自動車両（１）からの第２の考え得る距離を表す第２位置が追加的に推定され、前記周辺区域（４）内の前記推定された第２位置（Ｐ２）に由来して画像座標（ａ，ｂ）における静止物体を特徴付ける第２移動経路（１７）が決定され、前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、前記特徴付ける第１及び第２移動経路（１７）との比較に基づいて、前記取り込まれた物体（８）が識別される
ことを特徴とする方法。

【請求項2】

前記取り込まれた物体（８’，８”）の前記移動経路（１５）が、前記特徴付ける第１および第２移動経路（１６，１７）によって形成される通路（１８）内にある場合に、前記取り込まれた物体（８）が静止物体として識別されることを特徴とする、請求項１記載の方法。

【請求項3】

前記静止物体の特徴である第１高さ（ｈ１）が前記取り込まれた物体（８）について指定され、前記少なくとも１つの第１画像（１２）と、前記物体（８）について指定された前記第１高さ（ｈ１）とに基づいて、前記周辺区域（４）内での前記第１位置（Ｐ１）が決定されると共に、前記静止物体の特徴である第２高さ（ｈ２）が前記取り込まれた物体（８）について指定され、前記少なくとも１つの第１画像（１２）と、前記物体（８）について指定された前記第２高さ（ｈ２）とに基づいて、前記周辺区域（４）内での前記第２位置（Ｐ２）が決定されることを特徴とする、請求項１または請求項２記載の方法。

【請求項4】

車両速度および／または前記自動車両（１）の車両高さ方向軸線回りの角速度が、特徴付ける移動経路（１６，１７）を決定するために取り込まれることを特徴とする、請求項１から請求項３のうちのいずれか一項に記載の方法。

【請求項5】

前記自動車両（１）が平坦な道路（９）上を進行するという想定の下で、特徴付ける移動経路（１６，１７）が決定されることを特徴とする、請求項１から請求項４のうちのいずれか一項に記載の方法。

【請求項6】

前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、前記特徴付ける移動経路（１６，１７）とが比較される際に、予め決められた方向の画像座標（ａ，ｂ）のみが比較されることを特徴とする、請求項１から請求項５のうちのいずれか一項に記載の方法。

【請求項7】

前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、特徴付ける移動経路（１６，１７）とが比較される際に、前記画像座標（ａ，ｂ）として前記予め決められた方向の水平画像座標（ａ）のみが比較されることを特徴とする、請求項６記載の方法。

【請求項8】

現時点で取り込まれた第１画像（１２）に基づいて、前記取り込まれた物体（８）の位置（Ｐ１，Ｐ２）が推定され、現時点よりも前に発生した時点で取り込まれた少なくとも１つの第２画像（１４）に基づいて、前記取り込まれた物体（８’，８”）の前記移動経路（１５）が決定されることを特徴とする、請求項１から請求項７のうちのいずれか一項に記載の方法。

【請求項9】

静止した光反射性物体、特に視線誘導標柱（１３）および／または道路標識としての前記物体（８）が、前記静止物体として識別されることを特徴とする、請求項１から請求項８のうちのいずれか一項に記載の方法。

【請求項10】

前記物体（８）が静止した光反射性物体として識別されている場合には、自動的なフルビーム調節が行われないように、前記自動車両（１）の道路（９）を照らすための当該自動車両（１）のヘッドライト（１１）によって放出される光の調節がブロックされることを特徴とする、請求項９記載の方法。

【請求項11】

自動車両（１）の周辺区域（４）内の物体（８）を静止物体として識別するための、特にフルビーム調節用の運転者支援システム（２）であって、前記周辺区域（４）を画像（１２，１４）内に取り込むための車両側取込装置（３）を有すると共に、前記取り込まれた画像（１２，１４）のうち少なくとも１つにおいて前記物体（８）を認識するための画像処理装置（５）を有している運転者支援システム（２）において、
少なくとも１つの第１画像（１２）に基づいて、前記周辺区域（４）内の物体（８）の前記自動車両（１）に対する相対的な第１位置（Ｐ１）であって、取り込まれた前記物体（８）の前記自動車両（１）からの第１の考え得る距離を表す第１位置（Ｐ１）を推定し、前記第１画像（１２）と、少なくとも１つの取り込まれた第２画像（１４）とに基づいて、画像座標（ａ，ｂ）における前記物体（８’，８”）の移動経路（１５）を決定し、前記周辺区域（４）内の前記推定された第１位置（Ｐ１）に由来して前記画像座標（ａ，ｂ）における静止物体を特徴付ける第１移動経路（１６）を決定し、前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、前記特徴付ける第１移動経路（１６）との比較に基づいて、前記取り込まれた物体（８）を静止物体として識別するように、前記画像処理装置（５）が構成され、
少なくとも１つの第１画像（１２）に基づいて、前記周辺区域（４）内の物体（８）の前記自動車両（１）に対する相対的な第２位置（Ｐ２）であって、前記物体（８）の前記自動車両（１）からの第２の考え得る距離を表す第２位置を推定し、前記周辺区域（４）内の前記推定された第２位置（Ｐ２）に由来して前記画像座標（ａ，ｂ）における静止物体を特徴付ける第２移動経路（１７）を決定し、前記取り込まれた物体（８’，８”）の前記移動経路（１５）と、前記特徴付ける第１及び第２移動経路（１７）との比較に基づいて、前記取り込まれた物体（８）を静止物体として識別するように、前記画像処理装置（５）が構成されている
ことを特徴とする運転者支援システム（２）。

【請求項12】

請求項１１記載の運転者支援システム（２）を有した自動車両（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車両の周辺区域内の物体を静止物体として識別するための方法であって、車両側取込装置を用いて周辺区域が画像内に取り込まれ、画像処理装置を用いて、取り込まれた画像のうち少なくとも１つにおいて物体が検出される方法に関する。本発明は加えて、運転者支援システム、および自動車両に関する。

【背景技術】

【0002】

取込装置（例えば、カメラ）を自動車両に取り付け、それにより自動車両の周辺区域を画像内に取り込むことは、先行技術より既に知られている。例えば画像処理装置を用いて画像内の物体を認識することによって、当該画像から情報を抽出することができる。例えば特許文献１（DE 10 2008 063 328 A1）は、取り込まれた物体に基づいて自動車両の縦揺れ（ピッチ）角の変化を測定することを提案している。

【0003】

前記の情報は、自動車両の運転者支援システム、例えば自動化フルビーム調節システムへともたらすことができる。画像から抽出された情報は、例えば、一方では自動車両の周辺区域（特に、自動車両の道路）ができるだけ照らされるように、他方では他の道路使用者（例えば、対向車両）が眩惑されないように、自動車両によって発せられるフルビームを調節するのに用いることができる。この目的のために、取り込まれた自動車両の周辺区域内の物体は、例えば対向車両がまず第一にそのように認識されるよう、最初に分類ないしは識別される必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】独国特許出願公開第１０２００８０６３３２８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、自動車両の周辺区域内の物体を確実かつ簡単に識別できるようにすることである。

【課題を解決するための手段】

【0006】

この目的は、本発明によれば、各独立請求項に記載された諸特徴を有する方法、運転者支援システム、および自動車両によって達成される。

【0007】

本発明による方法は、自動車両の周辺区域内の物体を静止物体として識別するのに役立つ。その方法内では、車両側取込装置を用いて周辺区域が画像内に取り込まれ、画像処理装置を用いて、取り込まれた画像のうちの少なくとも１つにおいて物体が認識される。さらに、少なくとも１つの取り込まれた第１画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第１位置が推定され、第１画像と、少なくとも１つの取り込まれた第２画像とに基づいて、画像座標における物体の移動経路が決定され、周辺区域内の推定された第１位置に由来して画像座標における静止物体を特徴付ける第１移動経路が決定され、取り込まれた物体の移動経路と、特徴付ける第１移動経路との比較に基づいて、取り込まれた物体が静止物体として識別される。

【0008】

本方法は従って、周辺区域内の物体が静止物体であるか非静止物体であるかの間を区別するのに用いられる。ある物体が本方法を用いて非静止的であるとして識別される場合には、当該物体は動的物体であると想定される。本方法においては、自動車両の推進方向での前方、特に左右前方に位置する周辺区域が、例えば少なくとも１つのカメラを備えた車両側取込装置を用いて画像内に取り込まれる。カメラは特に、ここでは周辺区域を二次元的に取り込むように設計されている。画像処理装置は、少なくとも１つの取り込まれた画像の画像データから、少なくとも１つの取り込まれた画像内での物体の二次元投影を認識し、かくして周辺区域内の物体を認識するように設計されている。

【0009】

本発明によれば今や、周辺区域内の物体（即ち、現実の物体）の自動車両に対する相対的な第１位置が、取り込まれた第１画像に基づいて推定されることへの備えがなされる。第１画像は、その中で画像処理装置により物体の認識された画像とすることができる。周辺区域内における現実の物体の第１位置は、第１画像上での物体の二次元投影に基づいて（例えば、画像上における物体の二次元の幾何学的な計測に基づいて）推定することができる。第１位置は、ここでは特にワールド座標系において決定され、取り込まれた物体の自動車両からの第１の考え得る距離を表す。ワールド座標系は例えば、車両横方向に沿う第１軸と、車両縦方向に沿う第２軸と、車両高さ方向軸線に沿う第３軸とを有した車両座標系とすることができる。物体の自動車両からの距離はかくして、特に取り込まれた画像のみに基づいて決定される。その距離は特に、直接的にではなく計測されるのである。従ってカメラは、特に簡単な設計を有することができ、例えば高価な飛行時間型カメラである必要がないのである。

【0010】

第１画像と、少なくとも第２画像とに基づいて、画像座標における物体（即ち、物体の投影）の移動経路が決定される。画像座標は、ここでは第１の（例えば、水平方向の）画像軸と第２の（例えば、垂直方向の）画像軸とを有した二次元画像座標系において決定される。この場合、第１画像において、画像座標における物体の画像位置（例えば、物体の投影点の画像位置）が決められ、少なくとも１つの第２画像において、画像座標における物体の画像位置（例えば、第２画像における物体の投影点の画像位置）が決められるように、画像座標における移動経路が決定される。２つの画像同士の間における物体の画像位置の変化が、ここでは物体の移動経路を与えるのである。物体の画像位置の変化、即ち記録された各画像における物体の投影の移動は、道路上を進行する自動車両を通じて得られる。自動車両が進行することによって、画像内での物体の画像位置が変化し、かくして少なくとも２つの画像同士の間で物体の画像座標が変化するのである。画像座標における取り込まれた物体の移動経路は、ここでは画像座標における物体の投影の、当面の移動経路（即ち、実際の移動経路）に対応している。逐次記録された２つの画像同士の間の時間は、例えば５０ｍｓから８０ｍｓの間、特に６０ｍｓとすることができる。その結果、物体の画像位置を、例えば６０ｍｓ毎に決定することができる。

【0011】

また、それから画像座標における静止物体を特徴付ける第１移動経路が決定される。特徴付ける第１移動経路はこの場合、物体が推定された第１位置にある静止物体であるときに当該物体の投影の有する、予め決められた第１移動経路に相当する。特徴付ける第１移動経路を決定するために、例えば推定された第１位置にある指定された静止基準物体の画像位置を、少なくとも２つの画像について決定することができる。取り込まれた物体の移動経路と、特徴付ける第１移動経路とは、それぞれ１つの軌道として決定することができ、例えば取り込まれた画像のうちの１つにおいて表すことができる。

【0012】

そして、物体を静止物体として識別するために、当面の移動経路と、予め決められた第１移動経路とを比較することができる。この目的のために、例えば軌道同士の間の距離を画像内で決定することができる。例えば、当面の移動経路が予め決められた第１移動経路と一致する場合や、当面の移動経路が予め決められた第１移動経路から多くとも指定された閾値だけ逸れている場合には、取り込まれた物体を静止物体として識別することができる。但し、当面の移動経路が予め決められた第１移動経路から指定された閾値よりも大きく逸れている場合には、取り込まれた物体は動的物体として識別される。

【0013】

従って、本発明による方法は、取り込まれた周辺区域の画像から、周辺区域内の物体を特に簡単なやり方で分類ないし識別するのに用いることができるのである。

【0014】

また、少なくとも１つの取り込まれた第１画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第２位置が推定されることが好ましく、周辺区域内の推定された第２位置に由来して画像座標における静止物体を特徴付ける第２移動経路が決定され、取り込まれた物体の移動経路と、特徴付ける第２移動経路との比較に基づいて、取り込まれた物体が識別される。換言すれば、物体の自動車両からの第１の考え得る距離に加えて、物体の自動車両からの第２の考え得る距離が推定されるのである。第２の距離もまた、ワールド座標系内で決定される。

【0015】

本発明はこの場合、取込装置によって二次元的に取り込まれた画像に基づいて物体の距離を正確に決定することは不可能であり、特にカメラの軸線に沿って変化し得るものである、という所見に基づいている。そこで、物体の自動車両からの２つの考え得る、妥当と思われる距離が推定されるのである。その結果、ワールド座標での第１位置にある基準物体について決定される、画像座標における特徴付ける第１移動経路に加えて、ワールド座標での第２位置にある基準物体について、画像座標における特徴付ける第２移動経路を決定することが可能となる。特徴付ける第２移動経路はこの場合、物体が推定された第２位置にある静止物体であるときに当該物体の有する、予め決められた第２移動経路に相当する。特徴付ける第２移動経路も同様に、軌道として決定することができ、取り込まれた画像において表すことができる。また、当面の移動経路が、予め決められた第２移動経路と比較される。そして、当面の移動経路が予め決められた第２移動経路と一致する場合や、当面の移動経路が予め決められた第２移動経路から多くとも更に指定された閾値だけ逸れている場合には、取り込まれた物体を静止したものとして識別することができる。予め決められた第２移動経路を決定することによって、また当面の移動経路と予め決められた２つの移動経路との比較によって、取り込まれた物体を静止物体として、特に確実に分類したり識別したりすることができる。

【0016】

取り込まれた物体の移動経路が、特徴付ける第１および第２移動経路によって形成される通路内にある場合に、取り込まれた物体が静止物体として識別されることが特に優先される。換言すれば、取り込まれた物体が静止物体である場合には、画像座標における特徴付ける第１および第２移動経路が、通路（即ち、取り込まれた物体がその中を移動する移動区域）を形成するのである。この場合、公差区域によって通路が拡張されることへの備えをなすこともできる。その結果、取り込まれた物体の移動経路が通路の外側にあるが公差区域内にはある場合であっても、取り込まれた物体が静止物体として識別される。画像のうちの１つにて全ての移動経路を軌道として表すことによって、取り込まれた物体の軌道が通路の範囲内にあるかどうかを、特に簡単なやり方で決定することが可能となる。

【0017】

静止物体の特徴である第１高さが取り込まれた物体について指定され、少なくとも１つの第１画像と、物体について指定された第１高さとに基づいて、周辺区域内での自動車両に対する相対的な第１位置が決定されると共に、静止物体の特徴である第２高さが取り込まれた物体について指定され、少なくとも１つの第２画像と、物体について指定された第２高さとに基づいて、周辺区域内での自動車両に対する相対的な第２位置が決定されれば有利であると証明されている。そして、各二次元画像に基づいてワールド座標における物体の各位置を妥当に推定するために、物体についての異なる２つの妥当な高さが指定される。第１高さはこの場合、例えば所定の静止基準物体が有することのできる最大高さに相当し、第２高さは、所定の静止基準物体が有することのできる最小高さに相当する。最小および最大高さは、例えば画像処理装置のために記憶されることができる。その結果、ワールド座標における物体の位置を、記憶された高さを用いて、少なくとも１つの取り込まれた第１画像に基づいて簡単かつ迅速に決定することができる。従って、物体の自動車両からの距離を、特に当該距離を直接的に計測する必要なく、妥当かつ迅速に決定することができる。かくして、距離計測用の別個のセンサ装置および／または飛行時間型カメラとしてのカメラの構成を不要とすることが可能となる。

【0018】

車両速度および／または自動車両の車両高さ方向軸線回りの角速度が、特徴付ける移動経路を決定するために取り込まれることへの備えがなされてもよい。かくして、車両速度および／または角速度に基づいて、画像の取り込まれる各時点についての推定された第１位置および推定された第２位置に由来して、ワールド座標系内での静止物体の場合における物体の位置（即ち、例えば周辺区域内の基準物体の自動車両に対する相対的な位置）を決定し、その位置を、その時点で取り込まれた画像の対応する画像座標における画像位置へと変換することが可能となる。従って、各画像について、基準物体の画像位置を決定し、かくして取り込まれた物体が静止している場合に画像内の取り込まれた物体が有する所定の画像位置を決定することが可能となる。２つの画像同士の間における所定の画像位置の変化が、所定の移動経路、即ち静止物体を特徴付ける移動経路を与える。

【0019】

また、平坦な道路は、ここでは隆起も窪みも有していない道路である。それは、自動車両が進行中に縦揺れ運動（即ち、車両横方向軸線回りの回動運動）を行わないものと想定されることを意味する。換言すれば、進行中に自動車両の縦揺れ角が変化しないのである。その結果、特徴付ける移動経路を、自動車両の縦揺れ角を取り込もうとする取組みに至る必要なく決定することができるのである。

【0020】

ある実施形態によれば、取り込まれた物体の移動経路と、特徴付ける移動経路との比較中に、予め決められた方向の画像座標のみが比較される。水平方向の画像座標のみが互いに比較されることが好ましい。本発明はここでは、取り込まれた物体が静止物体であっても、取り込まれた物体の垂直方向の画像座標は、隆起を有した平坦でない道路上を自動車両が進行する場合における特徴付ける移動経路の垂直方向の画像座標とは大きく異なるであろう、という所見に基づいている。平坦でない道路のせいで、自動車両は進行中に縦揺れ運動を行い、その結果として取り込まれた物体が画像内で垂直方向に動くように見えるのである。取り込まれた物体の、画像座標におけるこの見かけ上の垂直運動は、取り込まれた物体の投影の各画像位置に基づいて決定される当該物体の移動経路が、２つの特徴付ける移動経路によって形成される通路の外側にあるという結果を生じさせ得る。特徴付ける移動経路は、特に隆起を有していない平坦な道路に沿って自動車両が移動するという想定の下で、明確に決定されるのである。これは、静止物体の見かけ上の垂直運動が、特徴付ける移動経路には反映されないということを意味する。この理由で、取り込まれた物体の移動経路が通路内にあるかどうかについての検査中には、水平方向の画像座標のみが考慮される。垂直方向の画像座標は、考慮されないのである。その結果、（例えば、窪みのせいで）自動車両が縦揺れ運動を行う道路の場合であっても、特に縦揺れ角を別個に取り込む必要なく、物体を静止物体として確実に識別することができる。

【0021】

本発明の発展形においては、現時点で取り込まれた第１画像に基づいて、取り込まれた物体の位置が推定され、現時点よりも前の時点で取り込まれた少なくとも１つの第２画像に基づいて、取り込まれた物体の移動経路決定される。それは、ワールド座標における物体の現在位置が推定され、その現在位置に由来して、取り込まれた物体の既に行われた移動が決定される、ということを意味する。換言すれば、取り込まれた物体の移動経路が遡及的に、即ち記録された画像座標の履歴に基づいて決定されるのである。特徴付ける移動経路も、それにより遡及的に決定され、即ち取り込まれた物体が静止物体であったならば行っていたであろう動きとなる。その結果、物体を静止物体または動的物体として、特に迅速に分類することができるのである。

【0022】

静止した光反射性物体、特に視線誘導標柱または道路標識としての物体が、予め決められた物体として識別されることが好ましい。光反射性物体は、ここでは光を反射する反応性の要素を有した物体を意味するものと理解されたい。そのような要素は、例えば光を反射する反射器（例えば、キャッツアイのようなものなど）であり得る。当該物体は、例えば、一般的に自動車両の道路の側方に設置されて、特に暗所や夜間や視認性に劣るときに自動車両の運転者のための方向付けを容易にする、支線誘導標柱や反射柱であり得る。当該物体はまた、視認性を向上させるために反応的に光を反射する道路標識でもあり得る。反応的に光を反射する物体のせいで、例えば自動車両のヘッドライトによって道路を照らすように発せられた光が、当該物体によって、方向付けられたように、或いは画定されたようにして反射されて自動車両へと戻り、それ故に画像処理装置によって誤って（特に夜間には、光を発している対向車両として）検出される可能性がある。本発明による、物体を静止したものや動的なものとして識別することのできる方法を用いれば、そのような混同が起きるのを防止することが可能となる有利さがある。

【0023】

この場合、少なくとも１つの取り込まれた第１画像および／または第２画像に基づいて、取り込まれた物体が自動車両の方向へ方向付けられたり画定されたりしたように光を発していることが検出されている場合であって、かつ、取り込まれた光を発している物体の移動経路と、静止物体に特徴的な移動経路との比較に基づいて、取り込まれた物体が静止していることが検出されている場合に、当該物体が、静止した光反射性物体、特に視線誘導標柱および／または道路標識として識別されることができる。換言すれば、例えば検出された第１画像に基づいて、物体が自動車両の方向へ方向付けられたように光を発しているかどうかが決定される。また、この画像に基づいて物体の位置を推定することもできる。その後に、取り込まれた発光物体の移動経路を決定することができ、特徴付ける移動経路との比較に基づいて、物体を静止しているものとして識別することができるのである。

【0024】

物体が反応的に光を反射する静止物体として識別された場合には、自動車両の道路を照らすための当該自動車両のヘッドライトによって放出される光の調節がブロックされることが好ましい。換言すれば、取り込まれた物体が対向車両ではなく、例えば支線誘導標柱や道路標識であると見出されている場合には、自動的なフルビーム調節（例えば、減光）は行われない。かくして、自動的なフルビーム調節が不必要に行われるのを防止することが可能となる。

【0025】

本発明は加えて、自動車両の周辺区域内の物体を静止物体として識別するための、特にフルビーム調節用の運転者支援システムに関する。その運転者支援システムは、周辺区域を画像内に取り込むための車両側取込装置（例えば、カメラ）と、取り込まれた画像のうち少なくとも１つにおいて物体を認識するための画像処理装置とを備えている。さらに、画像処理装置は、少なくとも１つの取り込まれた第１画像に基づいて、周辺区域内の物体の自動車両に対する相対的な第１位置を推定し、第１画像と、少なくとも１つの取り込まれた第２画像とに基づいて、画像座標における物体の移動経路を決定し、周辺区域内の推定された第１位置に由来して画像座標における静止物体を特徴付ける第１移動経路を決定し、取り込まれた物体の移動経路と、特徴付ける第１移動経路との比較に基づいて、取り込まれた物体を静止物体として識別するように構成されている。

【0026】

本発明による自動車両は、本発明による運転者支援システムを備える。その自動車両は、特に乗用車として構成される。運転者支援システムはこの場合、例えば自動車両のヘッドライトによって放出される光を調節するようにヘッドライトを制御することができる。

【0027】

本発明による方法に関して導入される好適な諸実施形態は、本発明による運転者支援システムおよび本発明による自動車両に然るべく当て嵌まる。

【0028】

用語「上」、「下」、「前」、「後」、「水平」（ａ方向）、「垂直」（ｂ方向）などは、取り込まれた画像の適切な観測に基づいた位置および向きを示すものである。用語「内」、「外」、「横方向（左右）」、「右」、「左」、「上」、「下」、「車両高さ方向軸線」（ｚ方向）、「車両縦方向軸線」（ｙ方向）、「車両横方向軸線」（ｘ方向）などは、車両の前方に立って車両縦方向軸線の方向に見ていてる観測者に基づいた位置および向きを示すものである。

【0029】

本発明の更なる諸特徴は、特許請求の範囲、図面、および図面の説明から知得することができる。本明細書において前述した諸特徴および特徴同士の組合わせ、並びに、図面の説明でこれから述べることになっている、および／または図面に単独で示される諸特徴および特徴同士の組合わせは、それぞれの場合に示される組合せだけでなく、その他の組合せや、単独でも、本発明の範囲から逸脱することなく用いることができる。かくして、図面には明示も説明もされていないが、説明された構成とは別の特徴同士の組合わせを通じて知得したり実現したりすることのできる本発明の諸構成もまた、包含されたり開示されたりしていると見做すべきものである。従って、当初の文言における独立請求項の全ての特徴を有してはいない諸構成や特徴同士の組合わせもまた、開示されていると見做すべきものである。

【0030】

本発明は以下、好適な実施形態に基づき、添付図面を参照して、より詳細に説明されることとなる。

【図面の簡単な説明】

【0031】

【図1】本発明による自動車両の実施形態を模式的に示す図。

【図2a】車両側取込装置によって記録されていた画像を模式的に示す図。

【図2b】車両側取込装置によって記録されていた画像を模式的に示す図。

【図2c】車両側取込装置によって記録されていた画像を模式的に示す図。

【図3】取り込まれた物体の位置を決定するための実施形態を模式的に示す図。

【発明を実施するための形態】

【0032】

同一の要素や同一の機能を有した要素には、図面において同じ参照符号が与えられる。

【0033】

図１は、運転者支援システム２を有した自動車両１を示している。運転者支援システム２は、少なくとも１つのカメラを備え得る車両側取込装置３を具備している。取込装置３は、自動車両１の周辺区域４を二次元画像１２，１４（図２ａ、図２ｂ、図２ｃ参照）内に取り込む役目をする。取込装置は特に、自動車両１が道路９上を進行する際に（進行方向（ｙ方向）で）自動車両１の前方および左右前方に位置する周辺区域４の画像１２，１４を取り込む。

【0034】

運転者支援システム２は、加えて画像処理装置５を備えている。その画像処理装置５は、取込装置３によって取り込まれた周辺区域４の画像１２，１４を処理して、取り込まれた画像１２，１４から、例えば情報を抽出するように構成されている。運転者支援システム２（特に、フルビーム調節に役立つもの）は、自動車両１のヘッドライト１１から放出される光に調節を加えたり影響を及ぼしたりするために、画像１２，１４から抽出された情報に基づいてヘッドライト１１を制御することができる。また、運転者支援システム２は、道路９上を進行する自動車両１の速度を取り込むための速度センサ６と、自動車両１の車両高さ方向軸線（ｚ方向）回りにおける自動車両１の角速度を取り込むための角速度センサ７とを有することができる。

【0035】

画像処理装置５は、取込装置３によって取り込まれた画像１２，１４のうち少なくとも１つにおいて物体８を認識できるように構成されている。物体８は、周辺区域４内において、自動車両１に対する相対的な位置Ｐ（ｘ，ｙ，ｚ）を有している。その位置Ｐはこの場合、（ここでは車両座標系として規定される）ワールド座標系ｘ，ｙ，ｚ内での位置である。この場合、ワールド座標系のｘ軸は車両横方向に沿って伸び、ｙ軸は車両縦方向に沿って伸び、ｚ軸は車両高さ方向に沿って伸びている。

【0036】

画像処理装置５は、物体８を分類するように、即ち物体８が、周辺区域４内で位置的に固定された静止物体であるか、動的物体であるかを識別するように構成されている。取り込まれた物体８が（例えば、対向車両の形態の）動的物体である場合には、運転者支援システム２の制御装置１０が、例えば自動車両１のヘッドライト１１によって放出される光を減光するようにヘッドライト１１を制御し、かくして対向車両の運転者を眩惑するのを防ぐことができる。但し、このようにしてヘッドライト１１によって放出される光を調節することは、物体８が（例えば、視線誘導標柱１３や道路標識の形態の）静止物体であることを画像処理装置５が検出している場合には、ブロックされる（行わないようにされる）べきである。

【0037】

物体８を静止物体（特に、視線誘導標柱１３）として識別することは、図２ａ、図２ｂ、および図２ｃを参照して説明されることとなる。図２ａは、取込装置３によって第１時点で記録された周辺区域４の画像１２を示している。第１画像１２は、第１時点（特に、現時点）における、周辺区域４の二次元投影としての周辺区域４’と、道路９の二次元投影としての道路９’と、物体８の二次元投影としての物体８’とを示している。物体８’の画像位置Ｐ’が、二次元画像座標系の画像座標ａ，ｂを用いて表示されている。物体８’は、画像１２内で第１画像位置Ｐ’（ａ１，ｂ１）を有している。二次元の第１画像１２に基づいて、自動車両１に対する現実の物体８（図３参照）の第１位置Ｐ１（ｘ１，ｙ１，ｚ１）、即ち物体８の自動車両１からの第１の考え得る距離と、自動車両１に対する現実の物体８の第２位置Ｐ２（ｘ２，ｙ２，ｚ２）、即ち物体８の自動車両１からの第２の考え得る距離とが推定される。各位置Ｐ１，Ｐ２は、ここではワールド座標系（ｘ，ｙ，ｚ）において決定される。

【0038】

図３に示すように、第１位置Ｐ１を決定するため、物体８についての第１の最大高さｈ１が指定され、ないしは想定される。第２位置Ｐ２を決定するためには、物体８についての第２の最小高さｈ２が想定される。そして、画像１２および高さｈ１，ｈ２に基づいて、現実の物体８の考え得る位置Ｐ１，Ｐ２を決定することができる。物体８の実際の位置Ｐ（ｘ，ｙ，ｚ）はこの場合、カメラの軸線２０に沿った２つの位置Ｐ１，Ｐ２同士の間に置かれている。高さｈ１，ｈ２は、ここでは例えば、視線誘導標柱１３の典型的な指定最大高さと典型的な指定最小高さとすることができる。

【0039】

取り込まれた物体８を静止物体として識別するために、物体８’，８”の第１移動経路１５（図２ｃ参照）、即ち、取り込まれた物体８の投影の画像座標ａ，ｂにおける移動経路１５が決定される。この目的のために、例えば第１画像１２における物体８’の画像位置Ｐ’と、第２時点で記録された第２画像１４における物体８”の画像位置Ｐ”（ａ２，ｂ２）とを決定することができる。第２画像１４は、第２時点における、周辺区域４の二次元投影としての周辺区域４”と、道路９の二次元投影としての道路９”と、物体８の二次元投影としての物体８”とを示している。第２時点は、ここでは特に、第１の、現時点よりも前に発生する。画像位置Ｐ’，Ｐ”の変化を、移動経路１５を特徴付ける軌道として決定し、例えば第１画像１２内に描写することができる（図２ｃ参照）。

【0040】

また、第１推定位置Ｐ１および第２推定位置Ｐ２に由来して、静止物体の特徴であるところの、画像座標ａ，ｂにおける移動経路１６，１７が決定される。特徴付ける第１移動経路１６は、ここでは第１推定位置Ｐ１での静止物体の特徴であり、特徴付ける第２移動経路１７は、第２推定位置Ｐ２での静止物体の特徴である。例えば、画像１２，１４内の静止基準物体の画像座標ａ，ｂにおける画像位置を決めることによって、特徴付ける移動経路１６，１７が決定される。この目的のために、第１画像１２内での静止基準物体の各画像位置を得るべく、第１位置Ｐ１および第２位置Ｐ２が画像座標ａ，ｂへと変換される。第２画像１４内での静止基準物体の各画像位置を決定するために、第２の時点で静止基準物体の有している、ワールド座標ｘ，ｙ，ｚにおける静止基準物体の更なる第１位置と、ワールド座標ｘ，ｙ，ｚにおける静止基準物体の更なる第２位置とが、画像座標ａ，ｂへと変換される。更なる第１位置および更なる第２位置は、例えば（速度センサ６および／または角速度センサ７を用いて取り込まれる）自動車両１の速度および／または角速度に基づいて決定することができる。また、特徴付ける移動経路１６，１７は、自動車両１がその上を進行する道路９が平坦であって窪みも隆起も有していない、という想定の下で決定される。移動経路１６，１７（これらは、第１画像１２内の軌道として表すこともできる（図２ｃ参照））は、通路１８を形成する。そして取り込まれた物体８は、取り込まれた物体８’，８”の移動経路１５が通路１８の範囲内にある場合に、静止物体として識別される。

【0041】

図２ｃは、移動経路１５の水平座標ａは通路１８内に位置しているが、移動経路１５の垂直座標ｂはそうではないことを示している。移動経路１５は、ここでは自動車両１が隆起を有した道路９上を進行する際の、その自動車両１に対する物体８’，８”の移動経路を示している。これらの隆起のせいで、自動車両１は、車両横方向軸線回りの縦揺れ運動、即ちｚ軸に沿った縦揺れ運動を行う。当該縦揺れ運動のせいで、物体８’，８”は、画像座標ａ，ｂにおいて高さ方向（ｂ方向）に動くように見えるのである。縦揺れ運動にかかわらず、そして縦揺れ運動を取り込まねばならぬことなく、取り込まれた物体８を静止物体として識別できるようにするために、移動経路１５が通路１８の範囲内にあるかどうかについての検査中には、水平画像座標ａのみが検討され、或いは考慮される。垂直画像座標ｂは考慮されないのである。

【0042】

移動経路１５と、特徴付ける移動経路１６，１７との比較に基づいて、取り込まれた物体８が静止物体として識別される。物体８を視線誘導標柱１３として識別するためには、加えて物体８が自動車両１の方向へ反応的に光を反射するかどうかを検査することが可能である。反応的に光を反射するために、視線誘導標柱１３は反射器１９を有している。画像処理装置５は、例えば第１画像１２に基づいて、物体８’，８”が自動車両１の方向へ光を発していることを検出する。最終的に、画像処理装置５は、移動経路１５，１６，１７に基づいて物体８を静止物体として捕らえ、かくして物体８を視線誘導標柱１３として正確に識別することができるのである。物体８が一旦、視線誘導標柱１３として識別されてしまったならば、制御装置１０は、不必要にフルビームを調節するようヘッドライト１１が制御されるのを防止することができる。

【図1】

【図2a】

【図2b】

【図2c】

【図3】