特許 7041172 自動車用３Ｄ視覚システム、及び３Ｄ視覚システムを制御する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-14

(45)【発行日】2022-03-23

(54)【発明の名称】自動車用３Ｄ視覚システム、及び３Ｄ視覚システムを制御する方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220315BHJP

   H04N 7/18 20060101ALI20220315BHJP

   H04N 5/225 20060101ALI20220315BHJP

【ＦＩ】

H04N5/232 290

H04N7/18 J

H04N5/225 800

【請求項の数】 14

(21)【出願番号】P 2019560202

(86)(22)【出願日】2018-06-01

(65)【公表番号】

(43)【公表日】2020-07-09

(86)【国際出願番号】 EP2018064486

(87)【国際公開番号】W WO2018220184

(87)【国際公開日】2018-12-06

【審査請求日】2019-11-06

(31)【優先権主張番号】17174278.6

(32)【優先日】2017-06-02

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518238850

【氏名又は名称】ヴィオニア スウェーデン エービー

(74)【代理人】

【識別番号】100098143

【弁理士】

【氏名又は名称】飯塚 雄二

(72)【発明者】

【氏名】リンドグレン、リーフ

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１６－００８８４７（ＪＰ，Ａ）

【文献】特開２０１２－２１２４２８（ＪＰ，Ａ）

【文献】特表２０１４－５２１２６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

自動車のための視覚システム（１０）であって、
ステレオ撮像装置（１１）を形成する一対の撮像デバイス（１２ａ，１２ｂ）と、
前記撮像デバイス（１２ａ，１２ｂ）が取り付けられたハウジング部（９６）と、
前記ステレオ撮像装置（１１）によって取り込まれた画像の修正と、修正した画像のステレオマッチングと、ステレオマッチングされた画像から前記自動車の周囲の物体の検出を行うデータ処理デバイス（１４）と、を備え、
前記データ処理デバイス（１４）は、一方の撮像デバイス（１２ａ，１２ｂ）からの画像の部分と他方の撮像デバイス（１２ａ，１２ｂ）の画像の対応する部分との間の垂直シフトを導出可能な垂直シフト情報を計算し、かつ前記垂直シフト情報から前記撮像デバイス（１２ａ，１２ｂ）間の垂直不一致を計算し、
前記データ処理デバイス（１４）が、マトリクス状に配置された複数の画像領域（４９）を含む垂直シフトマップ（４８）を計算すると共に、各画像領域（４９）に、検討中の前記画像領域（４９）の垂直シフト値を割り当て、
前記データ処理デバイス（１４）が、前記垂直シフトマップ（４８）からピッチ角誤差及び／又はロール角誤差の寄与を減算することによって、前記垂直シフトマップ（４８）から残留シフトマップを計算し、かつ前記残留シフトマップから前記垂直不一致を計算することを特徴とする、視覚システム。

【請求項2】

前記垂直不一致が、
－前記撮像デバイス（１２ａ，１２ｂ）間の垂直フロントガラス歪み、
－画像センサ面に対する前記撮像デバイス（１２ａ、１２ｂ）のうちの１つ以上の光軸の傾斜、及び
－前記撮像デバイス（１２ａ，１２ｂ）間の焦点距離差又はドリフト、のうちの１つ以上の現象に起因することを特徴とする、請求項１に記載の視覚システム。

【請求項3】

前記データ処理デバイス（１４）が、一方の撮像デバイスからの修正された画像の画像要素（４３）に対して、他方の撮像デバイスからの対応する修正された画像における最も一致する画像要素（４４’）の探索を実行し、
前記探索が、２次元探索領域を巡回し、前記探索が、前記画像要素（４３）から前記最も一致する画像要素（４４’）への垂直シフトを導出可能な前記垂直シフト情報を生成することを特徴とする、請求項１又は２に記載の視覚システム。

【請求項4】

前記垂直シフト情報が、検討中の前記画像要素（４３）と、検討中の前記画像要素（４３）に対して異なる垂直成分でずれた、他方の撮像デバイスからの対応する画像の複数の画像要素（４４）と、の間の垂直一致度を示す複数の一致関連スコアを含み、垂直マッチングコストキューブ（５２）を生成することを特徴とする、請求項３に記載の視覚システム。

【請求項5】

複数の画像要素が束ねられて、より大きな前記画像領域（４９）にされ、垂直シフトごとに、前記画像領域（４９）内の各画像要素からの前記一致関連スコアが積算されて、サイズが減少した一致コストキューブ（５０）を生成することを特徴とする、請求項４に記載の視覚システム。

【請求項6】

前記画像領域（４９）ごとに最良の一致を与える前記垂直シフトを前記減少したコストキューブ（５０）から決定し、前記垂直シフトマップ（４８）を生成することを特徴とする、請求項５に記載の視覚システム。

【請求項7】

前記垂直シフト情報が、検討中の各画像要素（４３）から前記他方の撮像デバイスからの前記対応する修正された画像内の前記最も一致する画像要素（４４’）へのベクトルを含むことを特徴とする、請求項４又は５に記載の視覚システム。

【請求項8】

前記垂直シフトマップ（４８）が、前記垂直成分から導出されることを特徴とする、請求項４に記載の視覚システム。

【請求項9】

前記探索は、１次元水平探索エンジンを使用して、かつ垂直方向に互いに対して異なる量だけずらした複数の１次元水平探索（４５～４７）を行うことで実行されることを特徴とする、請求項３乃至８のいずれか一項に記載の視覚システム。

【請求項10】

前記探索が、２次元探索エンジンを使用して、特に、光学フロー計算を実行することができるアルゴリズムを使用して、実行されることを特徴とする、請求項３乃至８のいずれか一項に記載の視覚システム。

【請求項11】

前記垂直不一致が、両撮像デバイス（１２ａ，１２ｂ）の画像内で検出された特徴点から計算されることを特徴とする、請求項１乃至１０のいずれか一項に記載の視覚システム。

【請求項12】

前記垂直不一致が、後の修正及び／又はステレオマッチング処理において使用されることを特徴とする、請求項１乃至１１のいずれか一項に記載の視覚システム。

【請求項13】

前記データ処理デバイス（１４）による処理は、運転中にリアルタイムで自動的且つ連続的に実行されることを特徴とする請求項１乃至１２の何れか１項に記載の視覚システム。

【請求項14】

ハウジング部（９６）に取り付けられかつステレオ撮像装置（１１）を形成する一対の撮像デバイス（１２ａ，１２ｂ）を使用する、自動車のための視覚方法であって、
前記ステレオ撮像装置（１１）によって取り込まれた画像の修正と、修正した画像のステレオマッチングと、ステレオマッチングされた画像から前記自動車の周囲の物体を検出することと、を含み、
一方の撮像デバイス（１２ａ，１２ｂ）からの画像の部分と他方の撮像デバイス（１２ａ，１２ｂ）の画像の対応する部分との間の垂直シフトを導出可能な垂直シフト情報を計算することと、
前記垂直シフト情報から前記撮像デバイス（１２ａ，１２ｂ）の１つ以上の、又は前記撮像デバイス（１２ａ，１２ｂ）間の、前記画像の垂直不一致を計算することと、を更に含み、
マトリクス状に配置された複数の画像領域（４９）を含む垂直シフトマップ（４８）を計算すると共に、各画像領域（４９）に、検討中の前記画像領域（４９）の垂直シフト値を割り当て、
前記垂直シフトマップ（４８）からピッチ角誤差及び／又はロール角誤差の寄与を減算することによって、前記垂直シフトマップ（４８）から残留シフトマップを計算し、かつ前記残留シフトマップから前記垂直不一致を計算し、
前記垂直不一致を前記ステレオマッチングにおいて利用することを特徴とする、視覚方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオ撮像装置を形成する一対の撮像デバイスと、撮像デバイスが取り付けられたハウジング部と、ステレオ撮像装置によって取り込まれた画像の修正と修正された画像のステレオマッチングとを実行し、かつステレオマッチング画像から自動車の周囲の物体を検出するように適合されたデータ処理装置と、を備える、自動車用視覚システムに関する。本発明はまた、視覚システムを制御する方法にも関する。

【背景技術】

【0002】

ステレオカメラから視差／奥行き画像を正確に計算するためには、２つのカメラ画像が位置合わせされるように、それらのカメラ画像を最初に再サンプリングするか、又はゆがませ／修正しなければならない。これにより、空間内の任意の物体が、同じ行の左側及び右側のゆがんだ画像の両方に現れる。そして、視差計算は、画像の列に沿った１次元水平探索になる。左画像と右画像との間の水平視差が大きいほど、物体はカメラに近い。

【0003】

従来のステレオカメラ較正は、カメラモジュールごとにレンズの歪み及び焦点距離を推定し、次いでカメラ間のヨー、ピッチ、及びロール角を推定する。しかしながら、このタイプの較正は、較正問題全体を解決しない。フロントガラス歪み、すなわち、フロントガラスがどのようにして光を曲げるかについて、及びレンズ光軸と画像センサ平面との間の傾き、のようなものは、従来の較正によって処理されない。

【0004】

各フロントガラスは、フロントガラスの不完全な製造プロセスに起因して異なっている。例えば、その厚さはフロントガラスにわたって変化し、これは、各フロントガラスにおいて異なるように光を曲げる。したがって、完全なフロントガラスの光学シミュレーションからのみ導出された補償モデルは、車両内のステレオカメラのフロントガラス歪みに伴う問題全体を解決しない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、自動車の運転中のステレオカメラ間の垂直不一致を正確に判定できるようにする視覚システム及び方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、独立請求項の特徴を用いてこの目的を解決する。本発明によれば、一方の撮像デバイスによる画像の部分と他方の撮像デバイスの画像の対応する部分との間の垂直方向のずれ（垂直シフト）を導出可能とする垂直シフト情報を計算し、垂直シフト情報から、１つ以上の撮像デバイスの又は撮像デバイス間の垂直不一致を計算する。

【0007】

本発明は、車両中のステレオカメラにおける左カメラ及び右カメラについて、フロントガラス歪みのような正確な垂直不一致をモデル化して推定することを不要にしている。ステレオ視差を計算するために、左右のカメラ間のフロントガラス歪みの差を推定して補償することは最も重要である。これは、ステレオマッチングにとって、最も重要な点は、フロントガラスの歪み及び他の垂直不一致に関して、左右の画像間の差であるからである。フロントガラス歪みが左右のカメラについてちょうど同じである場合、問題ははるかに小さくなる。

【0008】

左右のカメラ間の水平変位差は、視差マップ内の距離推定誤差として現れるが、これはそれほど深刻ではない。左右のカメラ間の垂直変位差は、ステレオマッチングの１次元探索において、正しくない領域を一致させようとする。これは、結果として得られる視差画像に大きな影響を及ぼし得る。例えば、道路上に塗装されたほぼ水平な傾斜ラインでは、左右のゆがんだ画像間の垂直不一致は、平坦な塗装ラインを地面から飛び出した障害物のように見せ得る非常に大きな視差誤差を引き起こす可能性がある。上記から、本発明にかかる垂直フロントガラス歪みの補償は、水平フロントガラス歪みの補償よりもはるかに重要であるということになる。

【0009】

本発明は、オンラインで動作し、修正された又はゆがんだ画像における垂直不一致を推定及び／又は補償する。垂直不一致は、例えば、焦点距離推定誤差、フロントガラス歪み、及び／又はレンズ光軸と画像センサ面との間の傾きから生じることがある。そして、その結果は、好ましくは、ゆがみ計算を修正してゆがんだ画像内の垂直不一致を低減するのに使用し、ステレオカメラ内のより良好な視差画像をもたらすことができる。本発明は、ピッチ角及び／又はロール角誤差を推定する既存の較正アルゴリズムからのデータを利用することができ、実装に対する費用対効果をもたらす。

【0010】

本発明は、フロントガラス歪みの問題の最も重要な部分を解決する。追加的に又は代替的に、好ましくは、左右のステレオカメラ画像間の垂直不一致、特に、画像センサに対する少なくとも１つの撮像デバイスの光軸の傾きから生じる垂直不一致を引き起こす他の影響を解決することも好ましい。フロントガラス歪み及び／又は光軸傾斜（複数可）に加えて、好ましくは、撮像デバイス間の焦点距離差又はドリフトも、垂直シフト情報から計算される。

【0011】

好ましい実施形態では、本発明は、ピッチ角誤差及び／又はロール角誤差を推定するのに適した新規な較正アルゴリズムを使用する。本明細書では、一方の撮像デバイスからの修正された画像の画像要素について、最も一致する画像要素の探索が、他方の撮像デバイスからの対応する修正された画像内で実行され、この探索は、２次元の探索領域を巡回する。この探索により、画像要素から最も一致する画像要素への垂直シフトが導出可能な垂直シフト情報が生成される。フロントガラス歪み及び／又は光軸傾斜（複数可）は、そのような垂直シフト情報に基づいて、すなわち、そのような垂直シフト情報から直接的又は間接的に、容易に計算することができる。本実施形態では、画像内の任意の特有の特徴点を見つける必要がなく、歪みが生じたフロントガラス及び／又は光軸傾斜（複数可）の判定は、検査済み自動車の環境内の全ての条件下で可能である。その計算は、修正された画像上で実行されるので、それは、計算されるステレオマッチング又は修正で使用されるフロントガラス歪み及び／又は光軸傾斜となる。

【0012】

好ましくは、垂直シフト情報は、検討中の画像要素と、検討中の画像要素に対して異なる垂直成分でずれた他方の撮像デバイスからの対応する画像の複数の画像要素と、の間の垂直一致度を示す複数の一致関連スコアを含み、垂直マッチングコストキューブを生成する。具体的には、１次元水平探索エンジンを使用する場合、各１次元水平探索は、水平一致又はコストタプルを計算し、１次元水平探索において水平位置ごとに１つの一致又はコスト値を計算する。各水平一致度又はコストタプルにおける最小の一致又はコスト値を抽出し、水平探索の実行ごとに１つの一致又はコスト値を含む垂直マッチングコストキューブを生成する。このような垂直一致スコアキューブは、ステレオマッチングに影響を及ぼす垂直フロントガラス歪み成分及び／又は光軸傾斜（複数可）を計算するのに必要な画像の全ての情報を含む。

【0013】

好ましくは、複数の画像要素を束ねて、より大きな画像領域にし、垂直シフトごとに、その画像領域内の各画像要素からのコスト値又は一致関連スコアを合計又は積算して、サイズが減少したマッチングコストキューブを生成する。このアプローチは、大きな垂直マッチングコストキューブと比較して、データ量がはるかに小さいという利点を有する一方で、フロントガラス歪み及び／又は光軸傾斜（複数可）の計算に関する高い精度及び十分な精度をもなお可能にする。換言すれば、多数の画素からの一致スコア又はコスト値を画像領域に組み合わせて、メモリ帯域幅、メモリサイズ、及び処理要件を節約することができる。

【0014】

好ましくは、画像領域ごとに最良の一致を与える垂直シフトを減少したコストキューブから決定し、垂直シフトマップを生成する。このようなシフトマップから、好ましくは、ピッチ及び／又はロール角誤差を計算する。これにより、そのシフトマップからピッチ角誤差及び／又はロール角誤差の寄与を減算することによって、垂直シフトマップから残留シフトマップを計算することが可能になる。このような残留シフトマップから、例えば、フロントガラス歪み、並びに１つ以上の撮像デバイスの焦点距離差又は光軸の傾きのような他の寄与を容易に計算することができる。例えば、フロントガラス歪みの垂直成分は、好ましくは、反対方向を指す左下隅と右下隅におけるシフトマップ又は残留シフトマップへの寄与（そのサイズは隅部に向かって増加する）から推定することができる。焦点距離差又はドリフトは、頂部及び底部上で反対方向を指し、中心から頂部まで及び底部まで増加する、残留シフトマップへの寄与から推定することができる。あるいは、垂直不一致は、最小化関数を使用して、残留シフトマップから全体として計算することができる。

【0015】

シフトマップを使用せずに、垂直一致スコアキューブから、又は減少したコストキューブから垂直不一致を直接計算することも可能である。

【0016】

好ましい実施形態では、探索は、１次元水平探索エンジンを使用して、及び垂直方向に互いに対して異なる量だけずらした複数の１次元水平探索を実行して実行される。換言すれば、既存の１次元ステレオマッチングハードウェア又はソフトウェアエンジンは、例えば、視覚システムで行われる標準的なステレオ計算と時間共有することによって、単純に再使用することができる。例えば、探索は、水平ステレオマッチング処理のアイドルタイムスロットで、及び／又は水平ステレオマッチング処理での交互のタイムスロットで、実行することができる。

【0017】

別の実施形態では、水平ステレオマッチング処理及び探索を同時に実行するために、完全な２次元探索エンジンを使用することができる。特に好適なのは、両方のタスクの根底にある数学的問題が本質的に同じであるので、光学フロー計算に使用される２次元探索エンジンである。このような２次元探索エンジンは、検討中の各画像要素から他方の撮像デバイスからの対応する画像内の最も一致する画像要素へのベクトルの形で垂直シフト情報を生成する。垂直シフトマップは、単純にベクトルの垂直成分をとることによって、これらのベクトルから容易に導出することができる。

【0018】

安定かつ精確な結果を得るために、シフトマップ又は残留シフトマップは、好適な信号処理アルゴリズムを使用してフィルタ処理することができる。統計を改善し、それによって精度を向上させるために、ピッチ及び／又はロール角を推定する前に、いくつかのシフトマップを組み合わせることも可能である。同じ理由で、特にシフトマップの計算前に、一致スコアキューブ又はコストキューブに基づいて更なる処理を行う前に、いくつかの一致スコアキューブ又はコストキューブを組み合わせることが可能である。

【0019】

探索エンジンは、ソフトウェアエンジン又は専用の探索ハードウェアであってもよい。特に、１次元探索エンジンは、水平ステレオマッチングハードウェアブロックによって形成されてもよい。

【0020】

本発明にかかる画像要素は、画素、すなわち、最小の可能な画像要素若しくは映像要素、又は複数の画素から構成された画像領域、例えば、ｐ×ｑ画素の矩形領域（ｐ及びｑは１よりも大きい整数である）とすることができる。

【0021】

代替実施形態では、垂直不一致は、上述のようにシフトマップを使用する代わりに、両方の撮像デバイスの画像内で検出された特有の特徴点から計算することができる。左右の画像内の特徴点を見つけ、それらをマッチングすることは、ステレオカメラ較正を行い、カメラ間のピッチ、ロール、及びヨー角を推定する一般的な方法である。例えば、５点法又は特徴点法として知られる、ピッチ及びロール角を推定するための従来の方法は、例えば、特徴点と呼ばれる５つの特有の点を左右一対の画像で見つけることと、これらの特徴点からピッチ及びロール角誤差を推定することと、を含む。本方法は、両方の画像における特徴点を見つけることを含み、本発明に従って垂直不一致を計算するためにも使用することができる。特徴点の垂直不一致は、本発明の垂直シフト情報を形成する。特徴点は、特に、信号機、交通標識、ポール、木などのような、自動車の環境内の静的物体の特徴的な点であってもよいが、消失点や道路マークの終点などであってもよい。

【0022】

特徴点法では、ピッチ及びロール角が推定されて補償された後の特徴点間の残りの垂直不一致を計算することも可能である。そして、垂直シフトに対するこれらの特徴点の垂直不一致は、経時的にフィルタリングすることができ、その画像位置を考慮した場合に、上述のシフトマップと同様の２Ｄマップを推定することが可能である。ピッチ及びロール角が計算されて補償された後の残りのものを使用する代わりに、特徴点間の垂直不一致を直接使用することも可能である。

【0023】

好ましくは、計算された誤差、具体的には計算された垂直不一致は、後のステレオマッチング処理において使用される。換言すれば、撮像デバイスの任意の不一致は、例えば、フロントガラス歪み、光軸傾斜（複数可）、及び／又は焦点距離差に起因して、駆動中に自動的かつ連続的に補償されることができる。

【図面の簡単な説明】

【0024】

以下では、添付の図面を参照して、好ましい実施形態に基づいて本発明を例解する。それらの図面は以下に示される。

【図1】自動車内のステレオ視覚システムの概略図。

【図2A】それぞれ、撮像デバイスのうちの一方の画像センサ面上の画素における垂直変位及び水平変位。

【図2B】それぞれ、撮像デバイスのうちの一方の画像センサ面上の画素における垂直変位及び水平変位。

【図3A】左右の撮像デバイスのフロントガラスからの垂直変位。

【図3B】左右の撮像デバイスのフロントガラスからの垂直変位。

【図3C】左右の撮像デバイスのフロントガラスからの垂直変位、並びに図３Ｃでは、図３Ａと図３Ｂとの間の差。

【図4】左右一対の画像についての水平ステレオマッチング及び垂直一致。

【図5】コストキューブからのシフトマップの概略的な計算。

【図6】垂直シフトマップ、時間平均残留シフトマップ、及び追加的に空間的にフィルタリングされた残留シフトマップ。

【図7】垂直シフトマップ、時間平均残留シフトマップ、及び追加的に空間的にフィルタリングされた残留シフトマップ。

【図8】垂直シフトマップ、時間平均残留シフトマップ、及び追加的に空間的にフィルタリングされた残留シフトマップ。

【図9】ピッチ角誤差、ロール角誤差、焦点距離ドリフト、フロントガラス歪み、及び光軸傾斜からの（残留）シフトマップへの寄与。

【図10】ピッチ角誤差、ロール角誤差、焦点距離ドリフト、フロントガラス歪み、及び光軸傾斜からの（残留）シフトマップへの寄与。

【図11】ピッチ角誤差、ロール角誤差、焦点距離ドリフト、フロントガラス歪み、及び光軸傾斜からの（残留）シフトマップへの寄与。

【図12】ピッチ角誤差、ロール角誤差、焦点距離ドリフト、フロントガラス歪み、及び光軸傾斜からの（残留）シフトマップへの寄与。

【図13】ピッチ角誤差、ロール角誤差、焦点距離ドリフト、フロントガラス歪み、及び光軸傾斜からの（残留）シフトマップへの寄与。

【図14】ステレオ撮像装置用のカメラハウジング部の斜視図を示す。

【図15】図１４のカメラハウジング部の背面図を示す。

【発明を実施するための形態】

【0025】

視覚システム１０は、自動車内に取り付けられ、自動車の周囲の領域、例えば自動車の前方の領域の画像を取り込むための撮像装置１１を備える。撮像装置１１は、カメラハウジング部９６（図１４及び１５参照）と、カメラハウジング部９６に取り付けられかつステレオ撮像装置１１を形成する複数の光学撮像デバイス１２ａ，１２ｂと、を備える。好ましくは、光学撮像デバイス１２は、可視及び／又は赤外波長範囲内で動作するカメラであり、赤外線は、５ミクロン未満の波長を有する近赤外線及び／又は５ミクロン超の波長を有する遠赤外線をカバーする。カメラハウジング部９６は、カメラモジュール１２を収容するようにそれぞれ適合された１つ以上のレセプタクル９８を備え、自動車のフロントガラスの背後に、その後方ミラーの領域内に取り付けられてもよい。

【0026】

撮像装置１１は、撮像装置１１による画像の取り込みを制御し、撮像装置１１から画像情報を含む電気信号を受信し、左右一対の画像を整列するように修正若しくはゆがめ、かつ／又は視差若しくは奥行き画像を生成するように適合された、プリプロセッサ１３を備えてもよく、それ自体、当該技術分野において既知である。プリプロセッサ１３は、特に、撮像装置１１によって取り込まれた左右の画像の立体視差を計算するように適合された視差計算ブロック１３を備えるか、又はそれを形成する。画像プリプロセッサ１３は、専用のハードウェア回路、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）によって実現されてもよい。あるいは、プリプロセッサ１３、又はその機能の一部は、電子処理デバイス１４内で、又は例えば、ＦＰＧＡ、処理デバイス、ＡＲＭ、及び／若しくはマイクロプロセッサ機能を含むシステムオンチップ（ＳｏＣ）デバイス内で実現され得る。

【0027】

次いで、前処理された画像データは、電子処理デバイス１４に供給され、そこで、更なる画像及びデータ処理が、対応するソフトウェアによって行われる。処理デバイス１４における画像及びデータ処理は、例えば、歩行者、他の車両、自転車乗用者、及び／又は大型動物等、自動車前方の潜在的な物体を識別して好ましくは分類することと、取り込んだ画像内で識別される物体候補の位置を経時的に追跡することと、追跡された物体に関して実行される推定、例えば、推定される衝突確率に応じて、少なくとも１つの運転者支援装置１８を起動させる又は制御することと、を含んでもよい。運転者支援装置１８は、特に、検出物体に関する情報を表示するディスプレイ装置を含み得る。しかし、本発明は、ディスプレイ装置に限定されない。運転者支援装置１８は、加えて又は代替的に、好適な光学的、音響的、及び／又は触覚的信号により運転者に衝突警告を提供するように適合された警告装置、乗員エアバッグ又は安全ベルトテンショナ、歩行者エアバッグ、フードリフターなどの１つ以上の拘束システム、並びに／又は制動又は操舵制御装置などの動的車両制御システム、を含み得る。

【0028】

データ処理デバイス１４は、好ましくは、プログラムされた、又はプログラム可能なデジタルデバイスであり、好ましくは、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（処理デバイス）、又はシステムオンチップ（ＳｏＣ）デバイスを備え、好ましくは、メモリデバイス２５へのアクセスを有するか又はそれを備える。データ処理デバイス１４、前処理デバイス１３、及びメモリデバイス２５は、好ましくは、車載電子制御ユニット（ＥＣＵ）内に設けられ、別個のケーブル又は車両データバスを介して撮像装置１１に接続され得る。別の実施形態では、ＥＣＵ及び撮像デバイス１２のうちの１つ以上を、単一のユニットに統合することができ、ＥＣＵ及び全ての撮像デバイス１２を含むワンボックスソリューションが好ましい場合がある。撮像、画像前処理、画像処理から、運転補助デバイス１８の考えられる起動又は制御までの全てのステップは、運転中にリアルタイムで自動的かつ連続的に実行される。

【0029】

以下、車両フロントガラスに起因する垂直画像歪みについて概して最初に説明する。

【0030】

車両フロントガラスは、ガラスのいくつかの層から作製され、水平方向及び垂直方向の両方に湾曲している。その形状により、理想的に製造されたフロントガラスは、水平方向よりも垂直方向に光を曲げる。これは、図２Ａ及び２Ｂからわかる。これらの図は、一方のカメラ、例えば左カメラ、の画像センサの２次元プロットであり、グレースケールで示されたフロントガラスにおいて変位が生じている。より具体的には、図２Ａ，２Ｂのｘ軸は、ｍｍ単位の実際の水平位置を示す。ｙ軸は、ｍｍ単位の実際の垂直位置を示し、各画素のグレースケール値は、垂直又はＹ変位（図２Ａ）及び水平又はＸ変位（図２Ｂ）を与え、ここで暗色値は大きな変位を示す。垂直変位（図２Ａ）は、左カメラの左下隅で最も高く、この特定のフロントガラス及びカメラの組み合わせの場合、それは、隅部の６つの画素である。この特定のケースでは、水平変位は隅部で最も高く、約０．７画素である。

【0031】

図３Ａ～３Ｃは、完全に製造されたフロントガラスによって左右の画像に導入された垂直変位を比較している。図３Ａ～３Ｃでは、ｘ軸は、ｍｍ単位の実際の水平位置を示し、ｙ軸は、ｍｍ単位での実際の垂直位置を示し、各画素のグレースケール値は、左撮像デバイス１２ａ（図３Ａ）及び右撮像デバイス１２ｂ（図３Ｂ）についての垂直又はＹ変位、並びにＹ変位の右から左を引いた差分（図３Ｃ）を示し、ここで再び暗色値は大きな歪みを示す。フロントガラス歪みの垂直成分が、反対方向を指す左下隅及び右下角におけるＹ変位の右から左を引いた差分に大きく寄与し、それぞれの隅部に向かってサイズが大きくなることが、図３Ｃから明らかである。

【0032】

以下、駆動中の撮像デバイス１２ａ，１２ｂ間の垂直フロントガラス歪みの本発明の計算を例として説明する。以下の手順は、好ましくは、データ処理装置１４において、その前処理セクション１３で行われる。

【0033】

図４は、左カメラ１２ａと撮影された画像４０と、右カメラ１２ｂで撮影された画像４１とを示す。最初に、上述したように、左右の画像を互いに対して修正するか、又はゆがめて、それらを整列させる修正工程を提供する。

【0034】

修正工程の後、修正された左右の画像に対して水平ステレオマッチング工程を行う。この工程は、左右の画像の各画素について最良の水平一致を見つけることと、各画素について視差値を計算することと、を含み、奥行き情報を含む視差画像をもたらす。具体的には、左右の画像の各画素について、典型的には、一方の画像内の各画素４２について、最も良好な水平一致を見つける工程において、この画素の周囲の小画像部分４３を取り上げ、コスト関数、例えば絶対差の和又は二乗差の和を使用して、他方の画像内の対応する小画像部分４４に対して１次元水平探索４５を実行する。

【0035】

図４に示す方法は、修正された左右の画像の画素又は画素の領域についての最良の垂直一致を見つける工程を含む。この工程は、修正された全ての画像に対して、又は処理リソースを節約するために、修正された画像の１つ以上のより小さい部分のみに対して、例えば、画像のｎ番目のラインごとに、又はｍ本のラインのグループのｎ番目のグループごとに実行することができ、ここで、ｎ及びｍは、整数、より大きい１、例えば、ｎ＝２及びｍ＝６４である。更に、この工程は、検討される修正された画像又は修正された画像部分（複数可）の画素ごとに、又は全ての画素のサブセットに対して、例えば、ｎ番目の画素ごとに（ここで、ｎは１より大きい整数であり、例えばｎ＝２である）、実行することができる。

【0036】

典型的には一方の画像４０内の画素４２ごとに、最良の垂直一致を見つける工程では、この画素の周囲の小画像部分４３を取り上げ、コスト関数、例えば絶対差の和又は二乗差の和を使用して、他方の画像４１の２次元探索領域５１内の対応する小画像部分４４に対して探索を実行する。

【0037】

本実施形態では、探索は、１次元水平探索４５，４６，４７を何度も繰り返すことによって実行され、各水平探索は、異なる量だけかつ上向き下向きの両方で、探索４５を中心に垂直方向にずらしたものである。図４では、例えば、水平探索４５に対して、垂直上向きにずらした２つの水平探索４６と垂直下向きにずらした２つの水平探索４７とが実行され、５とおりの水平探索をもたらす。水平探索４５～４７の数は、好ましくは５超、好ましくは少なくとも１０、より好ましくは少なくとも２０、更により好ましくは少なくとも３０（例えば、１６＋１＋１６＝３３）であることを理解されたい。

【0038】

水平探索４５，４６，４７の互いに対する、好ましくは等距離の垂直シフトは、１つ以上の画素分のシフト、又は好ましくはサブ画素シフト、すなわち、画像処理技術によって実行される画素の小部分だけのシフト、であってもよい。垂直サブ画素シフトは、１つ以上の画素分のシフトよりもピッチ及び／又はロール角誤差の判定において、より高い精度を提供する。垂直シフトは、新たな修正又は再サンプリングによって、２つの画像４０，４１のうちの一方に対して実行される。

【0039】

各１次元水平４５，４６，４７探索は、水平一致又はコストタプルを、１次元水平探索において水平位置ごとに１つの一致又はコスト値となるように計算する。次いで、各水平一致又はコストタプルにおける最小の一致又はコスト値を抽出し、各水平探索の実行ごとの１つの一致又はコスト値を含む垂直マッチングコストキューブを生成する。より一般的には、２次元探索で使用されるコスト関数は、検討される個々の画素４３ごとに実行される各水平探索について個々のコスト値を生成する。したがって、検討される画素ごとの個々のコスト値の数は、その画素に対して実行される水平探索の数、例えば、上述の例における３３に等しい。ここでのコスト値は、一致スコアを形成し、コスト値が小さいほど、一致がより良好である。一致の値が高いほど一致が良好であるという一致の値を含んだ、他のタイプの一致スコアが可能である。

【0040】

垂直方向にずらした複数の１次元水平探索を介して効果的に２次元探索を実行する上述の実施形態は、最良の水平一致を実行するための通常の１次元マッチングエンジン又はハードウェアは、最良の垂直一致を見つけるためにも使用されるという利点を有する。したがって、新たな又は適合されたエンジン又はハードウェアは必要としない。水平一致エンジン又はハードウェアは、時間共有を介して最良の垂直一致を見つけるために再使用することができる。例えば、交互のタイムスロットＡ－Ｂ－Ａ－Ｂ－．．．において、水平ステレオマッチング（タイムスロットＡ）と垂直方向にずらした水平探索（タイムスロットＢ）とを、同時に実行する。結果として、１次元マッチングハードウェアを使用して、一方の画像上で異なる水平及び垂直シフトでステレオマッチングハードウェアブロックを複数回実行することによって、２次元探索が実行される。

【0041】

抽出された（垂直）コスト値の組は、（垂直）コストキューブ５２を構築する（図５参照）。ここで、図５のコストキューブ５２の前面は、画像４０，４１サイズを有し、第３の寸法は、実行される垂直シフトの垂直コスト値によって形成される。図３に示される数字は、上記のように画素ごとに計算した１０２４ｐｘ×２８８ｐｘ及び３３個の垂直コスト値を有する画像に関する単なる例を与える。したがって、コストキューブ５２は、３３個のユニットの奥行きであり、ほぼ１０＾７のコスト値を含む。

【0042】

例として、図４の画像要素４４’は、他方の画像の画像要素４３に対して、最小のコスト値、又は最良の垂直一致を有してもよい。最良の垂直一致を提供する、中央の画像要素４４から画像要素４４’への矢印は、画像要素４４’の垂直シフト４５である。１０２４×２８８の垂直シフトマップは、コストキューブ内の画素ごとに、３３個の対応するコスト値のうちの最小値を特定することによって、大コストキューブ５２から抽出することができる。しかしながら、このような大きなシフトマップは、計算的に非常に高価である。

【0043】

本発明を計算的により可能にするために、図５の右側に示される減少したコストキューブ５０は、好ましくは、大コストキューブ５２から計算される。これは、複数の画像要素又は画素を束ねて、ｎ×ｍの画素の複数のより大きな画像領域に入れることによって行われる。ここで、ｎ及びｍは、整数のより大きいものであり、好ましくは少なくとも５、より好ましくは少なくとも１０である。検討される画像領域の数は、好ましくは少なくとも１０であり、かつ／又は、画像内の全画素数の好ましくは少なくとも１０分の１、より好ましくは、少なくとも１００分の１である。実用的な実施形態では、図５に示されるように、１０２４ｐｘ×２８８ｐｘのフル画像は、複数の６４ｐｘ×４８ｐｘの領域内に束ねられて入れられ、これにより、１６×６＝９６個の画像領域がもたらされる。各画像領域について、束ねられた一致スコアタプル（ここでは、３３個の垂直シフトコスト値を含む）、又は束ねられたコストタプルは、例えば、検討中の画像領域に属する大コストキューブ５２のｎ×ｍ個のコストタプル（例えば、６４×４８）の合計又は平均として計算される。これは、例えば１６×６×３３＝３１６８個の（束ねられた）コスト値を有する、はるかにより小さいサイズの減少したコストキューブ５０をもたらす。

【0044】

より小さいコストキューブ５０の大きな利点は、バッファリングされる必要があるデータの量が大幅に低減されることである。１つの垂直シフトに対応する、コストキューブ内の各水平面は、一度に計算することができる。したがって、本実施形態では、大コストキューブ５２の場合に垂直シフトごとに１０２４×２８８個のコスト値を記憶する必要がなく、小さいコストキューブ５０の場合に垂直シフトごとに１６×６個のコスト値のみ（３０００分の１未満である）を記憶すればよい。

【0045】

減少したコストキューブ５０から、シフトマップ４８を計算することが好ましい。減少したコストキューブ５０内の画像要素４９ごとに、対応するコストタプル（ここでは３３個の対応するコスト値のうちの）の最良の一致スコア又は最低のコスト値が決定される。この最良の一致スコア又は最低のコスト値は、左右画像の画像領域間の最良の一致を与える特定の垂直シフトに等しい。各要素４９の垂直シフトは、例えば１６×６個の画像領域４９から構成される２次元シフトマップ４８を生成する。したがって、シフトマップ４８は、最も良好な一致を与える垂直シフトがシフトマップ４８の各要素４９に割り当てられる、２次元マップである。このようなシフトマップ４８の実用例を図６に示す。

【0046】

シフトマップ４８から、最初にピッチ角誤差及びロール角誤差を計算することができる。例えば、ピッチ誤差は、同じ方向、ここでは上向きを指して同じサイズを有するシフトマップへの寄与から推定することができる（図９参照）。ロール誤差は、右側及び左側で反対方向を指して中心から左側及び右側に向かって増加するシフトマップへの寄与から推定することができる（図１０参照）。実際に、上記の純粋なパターンの線形的な組み合わせは、シフトマップ４８において生じる可能性が高い。ピッチ角誤差及びロール角誤差から、好適な処理技術を用いてシフトマップ４８からロール角誤差を抽出することが可能である。シフトマップ４８からのピッチ誤差及びロール誤差の計算についての詳細については、欧州特許出願第１５１９８０１９号を参照する。

【0047】

シフトマップ４８からピッチ誤差及び／又はロール誤差の少なくとも寄与を減算することによって、シフトマップ４８から、残留シフトマップ３０を計算することができる。図６のシフトマップ４８から計算された残留シフトマップ３０を図７に示す。より具体的には、図７は、時間平均シフトマップを示し、ここでは、例えば５分間の駆動にわたって平均化された１６×８の残留シフトマップを示す。時間平均シフトマップ３０は、およそ３秒ごとに計算した。これは、約１００個の単一シフトマップのデータを時間平均のために使用したことを意味する。

【0048】

更に、従来の信号処理を適用して、良好かつ安定な推定を得ることができる。これには、例えば、時間フィルタリング、空間フィルタリング、及び／又は空間補間が挙げられるが、これらに限定されない。例えば、図８は、図７に示すシフトマップ３０を空間的にフィルタリングしたバージョン３０’を示す。

【0049】

残留シフトマップ３０，３０’は、ピッチ角誤差及びロール角誤差以外の他の誤差から生じる垂直不一致を保持し、これは、好適なデータ処理アルゴリズムを使用して、残留シフトマップ３０，３０’から抽出することができる。これらの他の誤差は、例えば、左右のカメラ間の焦点距離、又は焦点距離ドリフト、フロントガラスによって導入される歪みの垂直成分、及び／又は非垂直光軸対画像センサ面からの垂直成分、の誤差とすることができる。

【0050】

例えば、両撮像デバイス１２間の焦点距離差又は焦点距離ドリフトは、頂部側と底部側で反対方向を指しかつ中心から頂部及び底部まで増加する（残留）シフトマップへの寄与から計算することができる（図１１参照）。フロントガラス歪みの垂直成分は、左下隅と右下隅における（残留）シフトマップへの寄与（そのサイズは隅部に向かって増加する）から推定することができる（図１２参照）。１つ以上の光軸の傾きは、（残留）シフトマップからも推定することができる。例えば、純粋に垂直な傾き（画像センサ面内の水平軸を中心とした）は、画像の頂部及び底部のライン上で最も強く、全てが同じ方向を指している中心線に向かって減少する、残留シフトマップへの寄与を与える（図１３参照）。

【0051】

代替的な実施形態では、他の誤差、特にフロントガラス歪みは、シフトマップ４８から直接計算することができる。本実施形態では、残留シフトマップ３０，３０’の計算は必須ではなくいもよい。

【0052】

計算された誤差、特にフロントガラス歪みは、以下の修正及び／又はステレオマッチングにおけるこれらの誤差の補償を可能にするために、前処理セクション１３にフィードバックされることが好ましい。

【0053】

図１４及び１５に関して、カメラハウジング部９６の各レセプタクル９８は、取り付け壁１０１を備えることが好ましい。各取り付け壁１０１には、カメラモジュール１２のピン（図示せず）をレセプタクル９８に挿入するように適合された穴９９を形成することができる。穴９９は、好ましくはねじ１０３が壁１０１の前側からねじ込まれ得る貫通孔である。各取り付け壁１０１には、それぞれのカメラモジュール１２に光が通過することができる開口部１０２が形成されることが好ましい。各取り付け壁１０１は、カメラモジュール１２の対応する表面に当接部を提供するように設計された少なくとも１つの接触面１００を備えることが好ましい。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】