特表 2023-547515 画像および／または画像点を偏位修正する方法、カメラベースのシステムおよび車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-10

(54)【発明の名称】画像および／または画像点を偏位修正する方法、カメラベースのシステムおよび車両

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231102BHJP

   H04N 7/18 20060101ALI20231102BHJP

【ＦＩ】

H04N23/60

H04N7/18 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023526913

(86)(22)【出願日】2021-12-01

(85)【翻訳文提出日】2023-05-02

(86)【国際出願番号】 EP2021083705

(87)【国際公開番号】W WO2022128463

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】20213975.4

(32)【優先日】2020-12-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】ラサルク・アレス

【テーマコード（参考）】

5C054

5C122

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054HA30

5C122DA14

5C122EA01

5C122EA31

5C122FB06

5C122FH11

5C122GE06

5C122GE24

5C122GE27

5C122HA88

5C122HB10

(57)【要約】

本発明は、フロントガラス窓板（６）を有する車両（１４）のカメラベースのシステム（１）の少なくとも１つのカメラ（２）により取得される画像および／または画像点を偏位修正する方法に関する。まず、カメラ（２）を用いてシーンのＲＡＷ画像を取得する。ＲＡＷ画像からＲＡＷ画像データを選択し、ＲＡＷ画像データが、ＲＡＷ画像の全体、ＲＡＷ画像の一部またはＲＡＷ画像の複数のＲＡＷ画像点である。次に、ＲＡＷ画像データとカメラパラメータとに基づいて中間画像データを計算し、中間画像データが、中間画像または複数の中間画像点を備え、中間画像データが、フロントガラス窓板（６）を通してピンホールカメラ（８）により取得されるシーンの画像または画像点に類似する。最後に、シーンの空間における点のセットを計算し、この点のセットは、中間画像の画素または中間画像点に対応する。この計算は、フロントガラス窓板パラメータに基づいてフロントガラス窓板（６）により誘導される光路（７）の平行シフト（１１）を用いて行われる。さらに、本発明は、車両（１４）用カメラベースのシステム（１）および車両（１４）に関する。

【特許請求の範囲】

【請求項1】

フロントガラス窓板（６）を有する車両（１４）のカメラベースのシステム（１）の少なくとも１つのカメラ（２）により取得される画像および／または画像点を偏位修正する方法において：
前記カメラ（２）を用いてシーンのＲＡＷ画像を取得するステップと；
前記ＲＡＷ画像からＲＡＷ画像データを選択するステップであって、前記ＲＡＷ画像データが、前記ＲＡＷ画像の全体、前記ＲＡＷ画像の一部または前記ＲＡＷ画像の複数のＲＡＷ画像点である、ステップと；
前記ＲＡＷ画像データとカメラパラメータとに基づいて中間画像データを計算するステップであって、前記中間画像データが、中間画像または複数の中間画像点を備え、前記中間画像データが、前記フロントガラス窓板（６）を通してピンホールカメラ（８）により取得されるシーンの画像または画像点に類似する、ステップと；
フロントガラス窓板パラメータに基づいて前記フロントガラス窓板（６）により誘導される光路（７）の平行シフト（１１）を用いて、前記中間画像の画素または前記中間画像点に対応する、シーンの空間における点のセットを計算するステップとを備える方法。

【請求項2】

シーンのＲＡＷ画像のシーケンスが前記カメラ（２）を用いて取得され、
前記ＲＡＷ画像点および／または前記中間画像点が追跡され、
空間における前記点のセットが、前記追跡されたＲＡＷ画像点または前記追跡された中間画像点に対応する、請求項１に記載の方法。

【請求項3】

前記フロントガラス窓板パラメータが、前記カメラ（２）近傍の領域における前記フロントガラス窓板（６）の法線ベクトルｎ、前記フロントガラス窓板（６）の厚さｔおよび／または前記フロントガラス窓板（６）の屈折係数νを備える、請求項１または２に記載の方法。

【請求項4】

前記平行シフト（１１）が、前記法線ベクトルｎのスラブシフトσ倍に等しい、請求項３に記載の方法。

【請求項5】

前記スラブシフトσが定数として近似され、特に、前記スラブシフトσがｔ（ν－１）／νに等しい、請求項４に記載の方法。

【請求項6】

前記スラブシフトσが四次方程式ｇ（σ）＝ａ_４σ^４＋ａ_３σ^３＋ａ_２σ^２＋ａ_１σ＋ａ_０の根σ_０として計算され、ここで０≦σ_０≦ｔ，ａ_４＝ν^２，ａ_３＝－２ν^２（ｗ＋ｔ），ａ_２＝（ｖ^２－１）（ｕ^２＋ｔ^２）＋ν^２ｗ（ｗ＋４ｔ），ａ_１＝－２ｔ（ν^２（ｗ^２＋ｕ^２）＋ｔｗ（ν^２－１）－ｕ^２），ａ_０＝（ν^２－１）ｔ^２（ｗ^２＋ｕ^２），ｗ＝ｎ・ｓ，ｕ＝√（ｓ・ｓ－ｗ^２）、ｓはシーンの空間における点の空間点である、請求項４に記載の方法。

【請求項7】

前記スラブシフトσが不動点方程式σ＝φ（σ）の不動点として計算され、ここでφ（σ）＝ｔ（１－１／√（（ν^２－１）（ｕ^２／（ｗ－σ）^２＋１）＋１）），ｗ＝ｎ・ｓ，ｕ＝√（ｓ・ｓ－ｗ^２）、ｓはシーンの空間における点の空間点である、請求項４に記載の方法。

【請求項8】

前記不動点方程式の反復が１回のみまたは２回計算される、請求項７に記載の方法。

【請求項9】

前記カメラ（２）についてまたは前記カメラ（２）に類似する他のカメラについて、前記カメラパラメータの決定が、
前記フロントガラス窓板（６）が存在しない、前記カメラ（２）または前記他のカメラの視野に設けられる既知のパターン（１３）の較正画像を取得することと、
前記較正画像を前記既知のパターン（１３）と比較することと、
前記カメラパラメータを前記比較から決定することとにより行われる、請求項１～８の何れか１項に記載の方法。

【請求項10】

前記フロントガラス窓板（６）についてまたは前記フロントガラス窓板（６）に類似する他のフロントガラス窓板について、前記フロントガラス窓板パラメータの決定が、
前記フロントガラス窓板（６）または前記他のフロントガラス窓板が前記カメラ（２）または前記カメラ（２）に類似する他のカメラの前方に存在し、前記カメラ（２）または前記他のカメラの視野に設けられる既知のパターン（１３）の較正画像を取得することと、
前記較正画像と前記カメラパラメータとに基づいて中間較正画像を計算することであって、前記中間較正画像がピンホールカメラ（８）により前記フロントガラス窓板（６）を通して取得される前記既知のパターン（１３）の画像に類似する、計算することと、
前記中間較正画像を前記既知のパターン（１３）と比較することと、
前記フロントガラス窓板パラメータを前記比較から決定することとにより行われる、請求項１～９の何れか１項に記載の方法。

【請求項11】

前記フロントガラス窓板パラメータが、前記カメラベースのシステム（１）の自動較正に基づいて決定されるかまたは改善される、請求項１～１０の何れか１項に記載の方法。

【請求項12】

前記中間画像の前記画素または前記中間画像点に対応する、シーンの空間における前記点の計算を、バンドル調整により行う、請求項１～１１の何れか１項に記載の方法。

【請求項13】

シーンの空間における前記計算された点のセットを、物体認識、物体追跡および／または先進運転支援システムのために用いる、請求項１～１２の何れか１項に記載の方法。

【請求項14】

車両（１４）用カメラベースのシステム（１）において、前記車両（１４）のフロントガラス窓板（６）の後方に設けられる少なくとも１つのカメラ（２）と、計算ユニット（３）とを備え、前記カメラベースのシステム（１）が、請求項１～１３の何れか１項に記載の方法を実行するように構成されている、カメラベースのシステム。

【請求項15】

フロントガラス窓板（６）と請求項１４に記載のカメラベースのシステム（１）とを備える車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フロントガラス窓板を有する車両のカメラベースのシステムの少なくとも１つのカメラにより取得される画像および／または画像点を偏位修正する方法、車両用カメラベースのシステムおよび車両に関する。

【背景技術】

【0002】

例えば、先進運転支援システム（ＡＤＡＳ）で用いられるコンピュータビジョンは、空間における点を、カメラにより取得される画像の画素または領域に割り当てることができる。ＡＤＡＳにとって、カメラの投影を正確に評価することは、車両の前方の物体との距離を正確に推定するために不可欠である。その一方、後者は、カメラベースの交通安全性応用、例えば、自動制動または自動クルーズコントロールに必須である。

【0003】

車両におけるＡＤＡＳ用途のために、カメラは、一般に、フロントガラス窓板後方のミラーカバーに設けられている。明らかに、これにより、カメラレンズが汚れまたは雨によりブロックされるという問題は解決する。しかし残念ながら、カメラが特定の位置にあることにより、フロントガラス窓板の光学的特性が光学システム全体の投影幾何に導入されることになる。フロントガラス窓板による影響により、光路の挙動は、カメラオプティクス内の同軸配置レンズの挙動と比べて大きく異なる場合がある。その結果、カメラの光学システムはフロントガラス窓板と共に、その前方にフロントガラス窓板が存在しない同じカメラと比べて著しい画像偏差を生じることがある。上記種類の光学的歪曲収差は、カメラ画像のフロントガラス窓板歪曲収差と称される。

【0004】

発生するあらゆるタイプの歪曲収差を含む、光学システムの投影特性の評価の課題は、カメラ較正と称される。一般に、後者のプロセスはパラメータ特性を有する。つまり、パラメータのベクトルによりカスタマイズされる関数族（カメラモデル）が存在し、パラメータの各束縛ベクトルに対して物理的なカメラ装置を記述し、つまり、空間における点がこの特定のカメラによりどのように画像上に投影されるかを記述する。この場合、上記ベクトルはカメラパラメータと称される。

【0005】

通常の場合、ＡＤＡＳにおけるカメラモデルの適用は、投影の逆問題に取り組むものである。つまり、画像において画素位置が与えられる場合、目的は、この特定の画素位置に撮像される、空間における点のセットを推定することである。この場合、カメラ較正は、計算が単純なモデルにより光学システムを記述するために、オプティクスの望ましくない影響を除去するためのツールとして利用される。この単純なモデルはピンホールカメラである一方、このピンホールカメラは本質的に中心投影である。フロントガラス窓板の影響をさらに除去することは、画像偏位修正と称される。特に、ステレオ撮像に関して、偏位修正は、シーンの密な距離マップを効率的に推定するための主要なツールである。ステレオ偏位修正は、２つの異なるカメラのシステムの画像を、２つの光学的に同一のピンホールカメラの並列システムから生じるものとして修正する。そのようなシステムにおいては、対応する物体の点を同じ水平画像線上に見い出だすことができ、これにより、対応する点の検索は大幅に単純化され、その結果、視差計算が大幅に単純化される。

【0006】

フロントガラス窓板歪曲収差の影響を無視することにより、車両前方の特に短い距離にある物体との距離推定を大きく不明瞭化する可能性がある。従って、フロントガラス窓板歪曲収差をモデル化し推定することが不可欠である。

【0007】

一例として、特許文献１には、フロントガラス窓板を有する車両のカメラベースのシステムの少なくとも１つのカメラにより取得される画像を偏位修正する方法が含まれている。カメラベースのシステムは、カメラがフロントガラス窓板を通してボードの較正画像を取得できるように、カメラベースのシステムのカメラの視野において、既知のパターンを有するボードの形態を有する撮像目標を設けることにより較正される。これに基づいて、フロントガラス窓板により導入されるフロントガラス歪曲収差が計算される。次に、カメラを用いて画像が取得され、画像上の位置に投影される、空間における点のセットを、算出されたフロントガラス歪曲収差を用いて計算する。しかし、この方法は、計算がインテンシブであり、カメラとフロントガラス窓板とを１つの光学システムとして取り扱っている。従って、カメラとフロントガラス窓板とのあらゆる組み合わせについて新たに較正を実行する必要がある。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】欧州特許出願公開第３２９３７０１号明細書

【特許文献2】独国特許出願公開第１０２０１８２０４４５１号明細書

【非特許文献】

【0009】

【非特許文献1】Ｒ． Ｈａｒｔｌｅｙ ａｎｄ Ａ． Ｚｉｓｓｅｒｍａｎ， Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｃａｍｂｒｉｄｇｅ， ２ｎｄ ｅｄｉｔｉｏｎ， ２００３

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の課題は、フロントガラス窓板を有する車両のカメラベースのシステムの少なくとも１つのカメラにより取得される画像および／または画像点を偏位修正する方法であって、計算が高速で、フロントガラス窓板の光学的影響とカメラの光学的影響とを分離する方法を提供することである。本発明のさらなる課題は、本方法を実施するように構成される車両用カメラベースのシステムおよびフロントガラス窓板とこのカメラベースのシステムとを備える車両を提供することである。

【課題を解決するための手段】

【0011】

本課題は独立請求項の主題により解決される。実施形態は従属請求項、以下の説明および添付の図により提供される。

【0012】

本発明の第１態様によると、画像および／または画像点を偏位修正する方法が提供される。つまり、本方法は、画像全体の偏位修正および画像のいくつかの画像点、例えば、関心物体に関する画像点、画像における非常に特徴的な物体に関する画像点または、例えば、他の車両もしくは歩行者のバウンディングボックスに関する画像点の偏位修正の両方に適用される。

【0013】

画像または画像点が、フロントガラス窓板を有する車両のカメラベースのシステムの少なくとも１つのカメラにより取得される。カメラベースのシステムが２つ以上のカメラを備えている場合、例えば、ステレオスコピック情報をカメラにより取得してよい。カメラはフロントガラス窓板の後方に設けられており、つまり、フロントガラスはカメラと車両の周囲との間に配置されている。従って、カメラは雨または汚れ等の環境による影響から保護されている。

【0014】

本方法の第１ステップとして、カメラを用いてシーンのＲＡＷ画像を取得する。シーンは、道路、道路標識、建物、歩行者および／または他の車両を含む交通シーンであってよい。フロントガラス窓板はカメラの前方に配置されているため、シーンからの光線は、まず、フロントガラス窓板により偏向し、次に、対物レンズにより画像センサ上に集光される。対物レンズは広角レンズ、例えば、魚眼レンズまたはレクティリニア広角レンズであってよい。画像センサは、例えば、ＣＭＯＳセンサまたはＣＣＤセンサであってよい。

【0015】

次に、ＲＡＷ画像からＲＡＷ画像データを選択し、ＲＡＷ画像データが、ＲＡＷ画像の全体、ＲＡＷ画像の一部またはＲＡＷ画像の複数のＲＡＷ画像点である。ＲＡＷ画像の一部は、特定の関心領域であってよく、ＲＡＷ画像点は、関心物体、画像における非常に特徴的な物体、または、例えば、他の車両もしくは歩行者のバウンディングボックスに関してよい。

【0016】

ＲＡＷ画像データに基づいて中間画像データを計算する。中間画像データが、中間画像または複数の中間画像点を備え、フロントガラス窓板を通してピンホールカメラにより取得されるシーンの画像または画像点に類似する。言い換えれば、対物レンズの影響を中間画像において除去し、ピンホールカメラにより置き換えられる。そのようにするために、中間画像データの計算は、カメラパラメータ、つまり、対物レンズを特徴付けるパラメータにさらに基づく。この計算の詳細は当業者には周知である。本ステップで対物レンズの影響を除去することにより、カメラの光学的影響とフロントガラス窓板の光学的影響とが互いに分離される。従って、異なるカメラが、所定のフロントガラス窓板の後方で用いられる場合、新しいカメラパラメータのみが提供されればよく、既知のカメラパラメータを有するカメラが、異なるフロントガラス窓板の後方に設けられる場合、異なるフロントガラス窓板の影響のみが評価されればよい。

【0017】

本方法の最後のステップとして、シーンの空間における点のセットを計算する。シーンの空間におけるこの点のセットは、中間画像の画素または中間画像点に対応する。つまり、シーンの空間における点とは、フロントガラス窓板を通してピンホールカメラにより投影されると中間画像の画素または中間画像点を生じさせる、空間における点である。シーンの空間における点を計算するために、フロントガラス窓板により誘導される光路の平行シフトを用いる。つまり、フロントガラス窓板の影響は、光路の平行シフトとしてモデル化される。このことは、平面のフロントガラス窓板には正確に適用され、カメラの領域において曲率が僅かでしかないフロントガラス窓板には非常に良好な近似である。この計算はフロントガラス窓板パラメータに基づき、計算が高速である。

【0018】

従って、本方法により、フロントガラス窓板の影響とカメラの影響とを分離し、計算が高速である、少なくとも１つのカメラにより取得される画像および／または画像点の偏位修正が提供される。

【0019】

実施形態によると、シーンのＲＡＷ画像のシーケンスがカメラを用いて取得される。このシーケンスは、特に、シーンの時系列画像である。シーケンスにおいて、シーンにおける物体が移動するに伴いおよび／または車両、従ってカメラが移動するに伴い、シーンは変化する。シーンの変化に伴い、ＲＡＷ画像点および／または中間画像点が追跡される。空間における点のセットも、ＲＡＷ画像のシーケンスと共に変化し、追跡されたＲＡＷ画像点および／または追跡された中間画像点に対応する。ＲＡＷ画像点および／または中間画像点を追跡することにより、この画像点に対応する空間における点の距離を決定してよい。

【0020】

実施形態によると、フロントガラス窓板パラメータが、カメラ近傍の領域におけるフロントガラス窓板の法線ベクトルｎ、フロントガラス窓板の厚さｔおよび／またはフロントガラス窓板の屈折係数νを備える。カメラ近傍の領域は、特に、カメラの視界の中心の周りのフロントガラス窓板の領域である。フロントガラス窓板の法線ベクトルｎ、窓板の厚さｔは、例えば、幾何学的測定により決定されてよい。

【0021】

実施形態によると、平行シフトが、法線ベクトルｎのスラブシフトσ倍に等しい。平行シフトのこの選択は、計算を非常に効果的で高速とし、光路を直接計算することにより示すことができる。

【0022】

実施形態によると、スラブシフトσが定数として近似される。スラブシフトを定数として近似することにより、計算が非常に高速であり、比較的小さい画角について良好な結果が得られる。特に、スラブシフトσがｔ（ν－１）／νに等しく、これは、フロントガラス窓板に対して垂直な光路について正確な解である。

【0023】

実施形態によると、スラブシフトσが四次方程式ｇ（σ）＝ａ_４σ^４＋ａ_３σ^３＋ａ_２σ^２＋ａ_１σ＋ａ_０の根σ_０として計算され、ここで０≦σ_０≦ｔ，ａ_４＝ν^２，ａ_３＝－２ν^２（ｗ＋ｔ），ａ_２＝（ｖ^２－１）（ｕ^２＋ｔ^２）＋ν^２ｗ（ｗ＋４ｔ），ａ_１＝－２ｔ（ν^２（ｗ^２＋ｕ^２）＋ｔｗ（ν^２－１）－ｕ^２），ａ_０＝（ν^２－１）ｔ^２（ｗ^２＋ｕ^２），ｗ＝ｎ・ｓ，ｕ＝√（ｓ・ｓ－ｗ^２）。点ｓは、中間画像の画素または中間画像点に対応すると想定される、シーンの空間における点の空間点である。この四次方程式は、点ｓから、ピンホールカメラのピンホールがあると仮定されている原点までの光路を計算することにより解かれてよい。ｅ_３軸の方向にｎを、ｅ_１－ｅ_３面にｓを有するように座標を回転させると計算が単純化される。四次方程式は、フェラーリの解により正確に解かれてよく、所定値域のσ_０の一意解を持つ。この解は正確であり、最大正確度を提供するが、計算がある程度インテンシブである。

【0024】

実施形態によると、スラブシフトσが不動点方程式σ＝φ（σ）の不動点として計算され、ここでφ（σ）＝ｔ（１－１／√（（ν^２－１）（ｕ^２／（ｗ－σ）^２＋１）＋１）），ｗ＝ｎ・ｓ，ｕ＝√（ｓ・ｓ－ｗ^２）。ここでも、ｓは、中間画像の画素または中間画像点に対応すると想定される、シーンの空間における点の空間点である。この不動点方程式も、点ｓから、ピンホールカメラのピンホールがあると仮定されている原点までの光路を計算することにより解かれてよい。ここでも、ｅ_３軸の方向にｎを、ｅ_１－ｅ_３面にｓを有するように座標を回転させると計算が単純化される。不動点方程式は、実際上、１より小であるｃ＝ｔ／（ｗ－ｔ）のリプシッツ定数を有する、上に有界である収縮であることを示すことができる。従って、不動点方程式は収束し、不動点方程式の有限回の反復により所定の正確度を達成することができる。

【0025】

実施形態によると、不動点方程式の反復が１回のみまたは２回計算される。これにより、スラブシフトσの計算が非常に高速になり、なお非常に良好な正確度が提供される。

【0026】

実施形態によると、カメラについて、カメラパラメータの決定が、フロントガラス窓板が存在しない、カメラの視野に設けられる既知のパターンの較正画像を取得することにより行われる。この既知のパターンは、例えば、チェッカーボードパターンであってよい。次に、較正画像を既知のパターンと比較し、特に、較正画像の点を既知のパターンの点と同定する。この比較に基づいて、カメラパラメータを決定する。カメラパラメータは、このカメラに類似する他のカメラについて上記ステップを実行することにより決定されてもよい。この他のカメラのカメラパラメータは、このカメラのカメラパラメータと非常に類似しており、実際上、略同一であることが期待される。

【0027】

実施形態によると、フロントガラス窓板について、フロントガラス窓板パラメータの決定が、フロントガラス窓板がカメラの前方に存在し、カメラの視野に設けられる既知のパターンの較正画像を取得することにより行われる。この既知のパターンは、例えば、チェッカーボードパターンであってよい。この較正画像とカメラパラメータとに基づいて中間較正画像を計算する。中間較正画像は、ピンホールカメラによりフロントガラス窓板を通して取得される既知のパターンの画像に類似する。言い換えれば、中間較正画像において、カメラ対物レンズの影響が除去される。中間較正画像を既知のパターンと比較し、特に、中間較正画像の点を既知のパターンの点と同定する。この比較に基づいて、フロントガラス窓板パラメータを決定する。光路上のフロントガラス窓板の影響を上記のように計算してよい。フロントガラス窓板パラメータは、このフロントガラス窓板に類似する他のフロントガラス窓板についておよび／またはこのカメラに類似する他のカメラについて上記ステップを実行することにより決定されてもよい。全ての場合において、取得されるフロントガラス窓板パラメータは、このフロントガラス窓板パラメータと非常に類似しており、実際上、略同一であることが期待される。

【0028】

実施形態によると、フロントガラス窓板パラメータが、カメラベースのシステムの自動較正に基づいて決定されるかまたは改善される。この自動較正は、例えば、特許文献２に説明されており、ここでは詳細には説明されない。自動較正は、例えば、フロントガラス窓板後方にカメラを設ける際の僅かな変動について補正してよい。

【0029】

実施形態によると、中間画像の画素または中間画像点に対応する、シーンの空間における点の計算を、バンドル調整により行う。この技術は、例えば、非特許文献１に記載されている。上記のような画像を偏位修正する高速の方法により、空間における点は高速計算される。

【0030】

実施形態によると、シーンの空間における計算された点のセットを、物体認識、物体追跡および／または先進運転支援システムのために用いる。これらは、高速計算と、フロントガラス窓板の影響を考慮に入れることによるさらなる正確度とから、大幅に恩恵を享受する応用例である。

【0031】

本発明の別の態様によると、車両用カメラベースのシステムが提供される。本カメラベースのシステムは、車両のフロントガラス窓板の後方に設けられる少なくとも１つのカメラと、計算ユニットとを備える。このカメラベースのシステムは、上記方法を実行するように構成されているため、高速計算と、フロントガラス窓板の光学的影響とカメラの光学的影響とを分離することとから、恩恵を享受する。

【0032】

本発明のさらに別の態様によると、フロントガラス窓板と上記カメラベースのシステムとを備える車両が提供される。

【0033】

以下に説明される実施形態を参照することにより、本発明のこれらまたは他の態様が明らかになり、解明されるだろう。

【0034】

以下の図面を参照して、本発明の例示的な実施形態を以下に説明する。

【図面の簡単な説明】

【0035】

【図1】図１は、フロントガラス窓板の後方に設けられたカメラベースのシステムの概略図を示す。

【図2】図２は、フロントガラス窓板の後方に設けられたピンホールカメラの概略図を示す。

【図3】図３は、較正セットアップの概略図を示す。

【0036】

図は、概略的な表現に過ぎず、本発明の実施形態を例示するのに役立つに過ぎない。原則的に、同一または同等の要素には同じ参照符号が付されている。

【発明を実施するための形態】

【0037】

図１は、車両用カメラベースのシステム１の概略図を示す。カメラベースのシステム１は、カメラ２と計算ユニット３とを備える。カメラ２は、対物レンズ４と画像センサ５とを備える。対物レンズ４は、例えば、魚眼レンズまたはレクティリニア広角レンズであってよい。画像センサ５は、ＣＭＯＳセンサまたはＣＣＤセンサであってよい。対物レンズ４により取得された光は、画像センサ５により検出される。このようにして取得されたＲＡＷ画像は、その後、計算ユニット３によりさらに処理される。

【0038】

カメラベースのシステム１は、フロントガラス窓板６の後方に設けられている。フロントガラス窓板６は、厚さｔを有し、フロントガラス窓板の法線ベクトルｎにより与えられる向きを有する。フロントガラス窓板６は、屈折率νをさらに有する。

【0039】

また、図１には、シーンの空間における点である空間点ｓが示されている。空間点ｓは、例えば、特定の関心点、または、例えば、歩行者もしくは他の車両のバウンディングボックスの角であってよい。また、空間点ｓから放射し、フロントガラス窓板６により偏向し、対物レンズ４により画像センサ５上に集光される光の光路７が示されている。

【0040】

ＲＡＷ画像またはいくつかのＲＡＷ画像点を偏位修正するために、中間画像データが計算される。この中間画像データは、中間画像または中間画像点を備える。中間画像データは、対物レンズ４の影響を除去することにより計算され、この計算は、カメラパラメータ、特に、対物レンズ４のパラメータに基づく。

【0041】

対物レンズ４の影響を除去することにより、カメラ２の代わりに、図２に示されるようなピンホールカメラ８により取得されるような画像となる。光の光路７は、ピンホールカメラ８のピンホール９を通過し、センサ５で終端する。

【0042】

また、図２には、ピンホール９を通過し、光路７としてセンサ５の同じ点で終端するもう１つの仮想光線１０が示されている。仮想光線１０は、フロントガラス窓板６が存在しないかのように図示されている。

【0043】

フロントガラス窓板６の、ピンホールカメラ８とは反対側には、仮想光線に対する光路７の平行シフト１１が存在する。この平行シフト１１は、法線ベクトルｎのスラブシフトσ倍に等しい。

【0044】

スラブシフトσは、定数として、特に、ｔ（ν－１）／νとして近似されてよい。この近似は、計算が非常に高速である一方、小さい入射角についてのみ正確度が十分である。

【0045】

代替的に、スラブシフトσが四次方程式ｇ（σ）＝ａ_４σ^４＋ａ_３σ^３＋ａ_２σ^２＋ａ_１σ＋ａ_０の根σ_０として計算されてよく、ここで０≦σ_０≦ｔ，ａ_４＝ν^２，ａ_３＝－２ν^２（ｗ＋ｔ），ａ_２＝（ｖ^２－１）（ｕ^２＋ｔ^２）＋ν^２ｗ（ｗ＋４ｔ），ａ_１＝－２ｔ（ν^２（ｗ^２＋ｕ^２）＋ｔｗ（ν^２－１）－ｕ^２），ａ_０＝（ν^２－１）ｔ^２（ｗ^２＋ｕ^２），ｗ＝ｎ・ｓ，ｕ＝√（ｓ・ｓ－ｗ^２）である。この計算により、完全に正確な結果が得られるが、計算が非常にインテンシブである。

【0046】

さらに別の代替として、スラブシフトσが不動点方程式σ＝φ（σ）の不動点として計算されてよく、ここでφ（σ）＝ｔ（１－１／√（（ν^２－１）（ｕ^２／（ｗ－σ）^２＋１）＋１））、ｗ、ｕは上記の通りである。この収束する不動点方程式の１回または２回反復により、非常に正確な結果が得られ、計算が高速である。

【0047】

平行シフト１１が得られると、光路７を追跡することができ、空間における点ｓを、さらに、例えば、バンドル調整またはステレオビジョンを用いて計算してよい。

【0048】

図３は、フロントガラス窓板パラメータを決定するためのセットアップを示す。既知のパターン１３を有するチャート１２が、フロントガラス窓板６とフロントガラス窓板６の後方に設けられているカメラベースのシステム１とを備える車両１４の前方に設けられている。既知のパターン１３の較正画像はカメラベースのシステム１により取得される。既知のカメラパラメータを用いて、中間較正画像が較正画像から計算され、中間較正画像は、フロントガラス窓板６を通してピンホールカメラ８により取得される既知のパターン１３の画像に類似する。その次に、既知のパターン１３の点のセット１５が中間較正画像における画素と同定され、比較される。この比較に基づいて、フロントガラス窓板パラメータが取得される。

【0049】

開示されている実施形態の他の変形について、特許請求される本発明を実施する当業者は、図面、本開示および添付の特許請求の範囲を検討すれば、理解し実現することができる。請求項における「備える」の語は、他の要素またはステップを除外するものではなく、不定冠詞「ａ」または「ａｎ」は、複数を除外するものではない。互いに異なる従属請求項に、ある手段が記載されているという単なる事実は、これらの手段の組み合わせを有利に用いることができないということを示していない。請求項におけるいかなる参照符号も特許請求の範囲を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【国際調査報告】