特許 7464745 単一カメラの較正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】単一カメラの較正

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240402BHJP

   G06T 7/73 20170101ALI20240402BHJP

【ＦＩ】

G06T7/80

G06T7/73

【請求項の数】 14

(21)【出願番号】P 2022557818

(86)(22)【出願日】2021-04-15

(65)【公表番号】

(43)【公表日】2023-05-16

(86)【国際出願番号】 EP2021059754

(87)【国際公開番号】W WO2021213879

(87)【国際公開日】2021-10-28

【審査請求日】2022-09-22

(31)【優先権主張番号】20170748.6

(32)【優先日】2020-04-22

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】パンディ・アビナブ

(72)【発明者】

【氏名】ジェイブド・ナウマン

(72)【発明者】

【氏名】チニョリ・ロドルフォ

(72)【発明者】

【氏名】ビシュノイ・サハーシュ

(72)【発明者】

【氏名】カディロフ・アレクサンダー

(72)【発明者】

【氏名】ジロット・ロバート

【審査官】千葉 久博

(56)【参考文献】

【文献】特表２０１２－５０４８８９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１９７９８２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／０２２８１０１（ＵＳ，Ａ１）

【文献】国際公開第２０１９／２２５６８１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／８０

Ｇ０６Ｔ ７／７３

(57)【特許請求の範囲】

【請求項1】

カメラの外部変数を決定する方法（１００）であって、
カメラを移動すべく開始するステップ（１０２）と、
第１時点にて、第１パッチと前記第１パッチに対して平行な第２パッチとを持つ第１未処理画像と、
第２時点にて、第３パッチと前記第３パッチに対して平行な第４パッチとを持つ第２未処理画像と
を、移動している前記カメラにより撮影するステップ（１０４）であって、前記第１パッチと前記第２パッチとの間の距離が、前記第３パッチと前記第４パッチとの間の距離と同じである、前記撮影するステップ（１０４）と、
前記第１パッチ内の、少なくとも１つの画像特徴の基準位置Ａと、
前記第２パッチ内の、少なくとも１つの画像特徴の基準位置Ｃと、
前記第３パッチ内の、前記第１パッチの前記少なくとも１つの特徴のオフセット位置Ｂと、
前記第４パッチ内の、前記第２パッチの前記少なくとも１つの特徴のオフセット位置Ｄと
を検出するステップ（１０８）と、
前記基準位置Ａ、Ｃと、前記オフセット位置Ｂ、Ｄと、前記第１時点と前記第２時点との間に移動している前記カメラが走行したと決定された距離とに基づいてエピポーラモデルを適用するステップ（１１０）と、
前記エピポーラモデルの出力として前記カメラの外部変数を決定するステップ（１１２）と
を備える、カメラの外部変数を決定する方法（１００）。

【請求項2】

前記カメラの移動は、直線移動、円移動又はその両方であり、
移動している前記カメラが走行した距離が、外部センサと測定データとの少なくとも一方により決定される、請求項１に記載の方法（１００）。

【請求項3】

前記カメラはフィッシュアイカメラであり、
基準位置Ａ、オフセット位置Ｂ、基準位置Ｃ及びオフセット位置Ｄを検出する前記ステップ（１０８）は、対応するパッチを、予め定めた画像フォーマットで、仮想平面内の２次元の地表面画像として得るべく、前記第１パッチ、前記第２パッチ、前記第３パッチ及び前記第４パッチの地表面マッピングを備える、請求項１又は２に記載の方法（１００）。

【請求項4】

前記仮想平面における前記第１パッチと、前記第２パッチと、前記第３パッチと、前記第４パッチとは前処理され、
前記前処理は平均輝度値を減算することと、ガウス窓を適用することとを備え、
前記ガウス窓は画像の中心に最大を、画像の縁に最小を持つ、請求項３に記載の方法（１００）。

【請求項5】

前記第１パッチの前記基準位置Ａに対する前記第３パッチの前記オフセット位置Ｂ及び前記第２パッチの前記基準位置Ｃに対する前記第４パッチの前記オフセット位置Ｄは、位相相関を行うことにより決定される、請求項１から４のいずれか１項に記載の方法（１００）。

【請求項6】

前記位相相関は高速フーリエ変換（ＦＦＴ）を備える、請求項５に記載の方法（１００）。

【請求項7】

前記基準位置Ａ、Ｃ及び前記オフセット位置Ｂ、Ｄは相対的な位置であり、オフセットは勾配に基づく類似度測定を使って決定される、請求項１から６のいずれか１項に記載の方法（１００）。

【請求項8】

前記位置Ａ、Ｂ、Ｃ、Ｄは座標系における位置であり、
前記座標系の原点は前記カメラのレンズと一致し、
基準位置Ａ、オフセット位置Ｂ、基準位置Ｃ及びオフセット位置Ｄを検出する前記ステップ（１０８）は、前記座標系原点から前記基準位置Ａ、Ｃ及び前記オフセット位置Ｂ、Ｄまでの地表面の単位ベクトルを決定することをさらに備える、請求項１から７のいずれか１項に記載の方法（１００）。

【請求項9】

エピポーラモデルを適用する前記ステップ（１１０）は、
第１サブステップにおいて、
前記基準位置Ｂから前記オフセット位置Ｄまでと同じ方向である、前記基準位置Ａから前記オフセット位置Ｃまでの第１方向Ｖと、
前記オフセット位置Ｃから前記オフセット位置Ｄまでと同じ方向である、前記基準位置Ａから前記基準セット位置Ｂまでの第２方向Ｗと
を決定するために前記地表面の単位ベクトルを使うことと、
前記第１方向Ｖ及び前記第２方向Ｗの法線ベクトルＮ＝Ｖ×Ｗを決定することと、
前記原点から前記画像位置Ａ、Ｂ、Ｃ、Ｄにそれぞれ対応する現実の位置Ａ’、Ｂ’、Ｃ’、Ｄ’までのベクトルを決定することにより前記カメラの高さＨを決定することと、
を備える、請求項８に記載の方法（１００）。

【請求項10】

カメラ（２０２）を較正する単一カメラの較正システム（２００）が、
前記カメラ（２０２）が、移動時に、第１時点における第１パッチと前記第１パッチに対して平行な第２パッチとを持つ第１未処理画像と、第２時点における第３パッチと前記第３パッチに対して平行な第４パッチとを持つ第２未処理画像とを撮影するように較正されるべく前記カメラ（２０２）を制御するように構成されるカメラ制御部（２２０）であって、前記第１パッチと前記第２パッチとの間の距離は、前記第３パッチと前記第４パッチとの間の距離と同じである、カメラ制御部（２２０）と、
処理モジュールであって、
前記第１パッチ内の、少なくとも１つの画像特徴の基準位置Ａと、前記第２パッチ内の、少なくとも１つの画像特徴の基準位置Ｃと、前記第３パッチ内の、前記第１パッチの前記少なくとも１つの特徴のオフセット位置Ｂと、前記第４パッチ内の、前記第２パッチの前記少なくとも１つの特徴のオフセット位置Ｄとを検出するように構成され、
前記基準位置Ａ、Ｃと、前記オフセット位置Ｂ、Ｄと、前記第１時点と前記第２時点との間に前記移動カメラが走行した決定距離とに基づいてエピポーラモデルを適用するように構成され、
前記エピポーラモデルの出力として前記カメラの外部変数を決定するように構成された処理モジュールと
を備える、カメラ（２０２）を較正する単一カメラの較正システム（２００）。

【請求項11】

前記カメラ（２０２）を較正する単一カメラの較正システムは前記カメラ制御部により制御されるカメラをさらに備え、前記カメラは車両（３００）に搭載されている、請求項１０に記載の単一カメラの較正システム（２００）。

【請求項12】

請求項１０又は１１に記載のカメラを較正する、単一カメラの較正システム（２００）を備える車両（３００）。

【請求項13】

コンピュータにより実行されると、前記コンピュータに請求項１から９のいずれか１項に記載の方法（１００）を実施させる命令を備える、コンピュータプログラム。

【請求項14】

コンピュータにより実行されると、前記コンピュータに請求項１から９のいずれか１項に記載の方法（１００）を実行させる命令を備える、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されているカメラの外部変数を決定する、単一カメラの較正の方法及びシステム、単一カメラの較正の使用、コンピュータプログラム要素ならびにコンピュータ可読媒体に関する。

【背景技術】

【0002】

車両の後部（リア）カメラの外部変数、例えばピッチ角、ヨー角、ロール角、高さは、従来、所定の目標を使って計算される。較正対象のカメラは、目標の既知の寸法を持つパターンを検出する。得られた画像が外部のソルバー（問題を解くためのアルゴリズム）により処理され、カメラの外部を計算する。良好な結果を得るために、目標は非常によく維持される必要があり、明るい照明を備える良好で実験室のような環境条件が設けられる必要がある。照明のいかなる変化そして目標の検出しやすさが較正の正確な測定に影響を及ぼし、較正には、労力と時間を要するので、高価である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

そのため、カメラを較正する労力と費用を削減する必要があるだろう。

【課題を解決するための手段】

【0004】

本課題は、独立請求項の主題により解決される。
複数の実施形態は、従属請求項、詳細な説明及び添付の図面により提供される。

【0005】

同様に、説明される複数の実施形態は、単一カメラの較正の方法、単一カメラの較正システム、単一カメラの較正の使用、コンピュータプログラム要素及びコンピュータ可読媒体に関する。

【0006】

さらに、方法に関する本発明の全ての実施形態は、記載されているステップの順序で実行されてよいが、これは本方法のステップの唯一かつ必須の順序では必ずしもないことに注意すべきである。本開示の方法は、以下において明示的にその逆と指摘されない限り、開示されているステップの他の順序で、各方法形態から逸脱することなく実行してよい。

【0007】

技術用語はその共通の意味により、使われる。特定の意味が特定の用語に付与される場合、以下、その用語が使われる文脈において用語の定義が与えられる。

【0008】

第１観点によると、カメラの外部変数を決定する方法が提供される。本方法は以下のステップを備える。第１に、カメラの移動を開始させる。第２ステップにおいて、
第１時点における第１パッチと第１パッチに対して平行な第２パッチとを持つ第１未処理画像と、第２時点における第３パッチと第３パッチに対して平行な第４パッチとを持つ第２未処理画像とが撮影され、第１パッチと第２パッチとの間の距離は、第３パッチと第４パッチとの間の距離と同じである。次のステップにおいて、第１パッチにおける少なくとも１つの画像特徴の基準位置Ａと、第２パッチにおける少なくとも１つの画像特徴の基準位置Ｃと、第３パッチにおける第１パッチの少なくとも１つの特徴のオフセット位置Ｂと、第４パッチにおける第２パッチの少なくとも１つの特徴のオフセット位置Ｄとが検出される。次のステップにおいて、基準位置Ａ、Ｃ、オフセット位置Ｂ、Ｄ及び第１時点と第２時点との間に移動カメラが走行した決定距離に基づいてエピポーラモデルが適用される。最後に、エピポーラモデルの出力としてカメラの外部変数が決定される。

【0009】

言い換えると、移動カメラは画像を撮影し、各画像は道路の一部を表す。パッチ１、３は、それぞれ、パッチ２、４に対して平行であるか略平行である。パッチ１、３はカメラ方向に関して左側のパッチであり、第２及び第４パッチは右側に位置する。パッチ１、２を持つ第１画像とパッチ３、４を持つ第２画像は順々に迅速に撮影されてよく、その結果、左側のパッチ、よって画像特徴も部分的に重なり合う。右側のパッチについても同様である。画像は１つのカメラにより撮影されるため、左側と右側のパッチとの間の距離は各画像において略同一である。検出された特徴は、カメラ座標系の各画像上の点を示してよく、それにより４つの点Ａ、Ｂ、Ｃ、Ｄが得られる。ＡとＢの現実の距離と共にこれらの座標はエピポーラモデルへの入力であり、下記において詳細に説明される。この入力により、カメラの移動の方向を幾何的に決定できて、もしくは直線移動及び移動が直線的でない場合には回転を導出できる。さらに、カメラの高さを決定できて、その結果、全ての所望の外部変数を決定できる。

【0010】

「パッチ」の用語は、画像に捉えられた内容について使われる。これはカメラ下の任意の移動するテクスチャ、つまり関心のある領域であってよい。これは、例えば、カメラが車両に搭載されている場合、道路のアスファルト構造体であってよい。

【0011】

１実施形態によると、カメラの移動は直線移動、円移動又はその両方である。非直線移動は、実質的に、直線移動と回転とに分割されるため、現実の（「実際の」）経路は任意の経路であってよい。純粋に直線的な移動において、回転は一切検出されないか、ほぼ検出されない。実際の円状の経路により、直線移動及び回転が得られることになる。

【0012】

１実施形態によると、カメラはフィッシュアイカメラであり、基準位置Ａ、オフセット位置Ｂ、基準位置Ｃ及びオフセット位置Ｄを検出するステップは、第１パッチ、第２パッチ、第３パッチ及び第４パッチの地表面マッピングを備え、それに対応するパッチを、所定の画像フォーマットで仮想平面において２次元の地表面画像として得る。地表面は、それに関連する構成可能な変数、例えば現実世界のメータ単位のパッチの高さ、その投影、つまり画素単位での幅と長さ、及び地表面が車両の前にカメラ基準系からどれだけ離れて配置されているかを決定するずれ（オフセット）を持つ。フィッシュアイカメラ用に球面モデルが使われてもよい。このことは、フィッシュアイ画像における各画素について、点が単位球面に保存されることを意味する。球面は、原点をＯとして軸線ｘ、ｙ、ｚを持つ９０°の座標系を持ち、これは本開示においてはカメラ座標系と称される。地表面マッピングに関して、アルゴリズムは現実の平面表面、例えば路面から２つのパッチを選び出す。例えば１２８×２５６画素を持つ、選び出されたパッチは、現実の平面表面又は路面が投影される仮想平面を示す。

【0013】

１実施形態によると、仮想平面における第１パッチ、第２パッチ、第３パッチ及び第４パッチは前処理され、前処理は平均輝度値を減算することと、ガウス窓を適用することとを備え、ガウス窓は画像の中心に最大を、画像の縁に最小を持つ。

【0014】

つまり、前処理の入力は、所定のフォーマットで仮想平面において道路パッチを持つ地表面画像である。前処理は、４つの地表面画像又は地表面パッチのそれぞれについて、それぞれ行われる。画像の平均輝度値は原画像から減算され、そして得られた画像はガウス窓画像により乗算される。ガウス窓画像は画像の縁近傍の画素を除去し、画像の中心近傍の特徴を強調する。

【0015】

１実施形態によると、第１パッチの基準位置Ａに対する第３パッチのオフセット位置Ｂ及び第２パッチの基準位置Ｃに対する第４パッチのオフセット位置Ｄは、位相相関を行うことにより決定される。

【0016】

１実施形態によると、位相相関は高速フーリエ変換、ＦＦＴを備える。基準位置Ａ、Ｃは画像の自動相関により、もしくは同等に、画像の中心を決定することにより得られてよく、オフセット位置Ｂ、Ｄは、第１パッチを第３パッチと、そして第２パッチを第４パッチと位相相関させることにより決定される。より具体的には、相関は、画像の特徴をフーリエ変換して、それに対応するそのように変換された画像を乗算することにより行われる。基準位置が画像の中心である理由は、画像をずれのない垂下との相関が自動相関に相当し、画像の中心におけるピークが得られるからである。

【0017】

１実施形態によると、基準位置Ａ、Ｃ及びオフセット位置Ｂ、Ｄは相対的な位置であり、オフセットは勾配に基づく類似度測定を使って決定される。言い換えると、位相相関出力（ＦＦＴ）からのオフセットが得られ、第１画像パッチ、つまり第１及び第２パッチ、及び第２画像パッチ、つまり第３及び第４パッチの勾配が計算される。第２画像パッチの勾配はずらされる（シフトされる）。その後、第２及び第１画像パッチの勾配間のドット積が計算される。得られた画像は、画素座標、つまり位置を得るためにぼかされるか、フィルタ処理され、その結果、最も高い類似性を持つ。

【0018】

１実施形態によると、オフセット位置Ｂ及びオフセット位置Ｄを検出するステップは、カメラから基準位置Ａ、Ｃ及びオフセット位置Ｂ、Ｄまでの地表面の単位ベクトルを決定することをさらに備える。この処理段階において、カメラ、つまりカメラ座標系の原点から位置Ａ、Ｂ、Ｃ、Ｄまでの方向のみが既知であることに注意されたい。オフセットは既知である一方、座標系における絶対的な位置は未知である。そのため、原点から位置までのベクトルというよりもむしろ単位ベクトルが決定される。オフセットにより、外部を決定するべく、以下のステップにおいて使われる複数の拘束条件のうちの１つが得られる。

【0019】

１実施形態によると、エピポーラモデルを適用するステップは、
第１サブステップにおいて、基準位置Ｂからオフセット位置Ｄまでと同じ方向である、基準位置Ａからオフセット位置Ｃまでの第１方向Ｖと、オフセット位置Ｃからオフセット位置Ｄまでと同じ方向である、基準位置Ａから基準位置Ｂまでの第２方向Ｗとを決定するために地表面の単位ベクトルを使うことと、
第１方向Ｖ及び第２方向Ｗの法線ベクトルＮ＝Ｖ×Ｗを決定することと、
原点から画像位置Ａ、Ｂ、Ｃ、Ｄにそれぞれ対応する現実の位置Ａ’、Ｂ’、Ｃ’、Ｄ’までのベクトルを決定することによりカメラの高さＨを決定することと、
を備える。

【0020】

さらなる観点によると、カメラを較正する単一カメラの較正システムが提供され、カメラを較正する単一カメラの較正システムは、
カメラが、移動時に、第１時点における第１パッチと第１パッチに対して平行な第２パッチとを持つ第１未処理画像と、第２時点における第３パッチと第３パッチに対して平行な第４パッチとを持つ第２未処理画像とを撮影するように較正されるようにカメラを制御するように構成されるカメラ制御装置であって、第１パッチと第２パッチとの間の距離が、第３パッチと第４パッチとの間の距離と同じである、カメラ制御装置と、
第１パッチにおける少なくとも１つの画像特徴の基準位置Ａと、
第２パッチにおける少なくとも１つの画像特徴の基準位置Ｃと、
第３パッチにおける第１パッチの少なくとも１つの特徴のオフセット位置Ｂと、
第４パッチにおける第２パッチの少なくとも１つの特徴のオフセット位置Ｄと
を検出するように構成され、基準位置Ａ、Ｃ、オフセット位置Ｂ、Ｄ及び第１時点と第２時点との間に移動カメラが走行した決定距離に基づいてエピポーラモデルを適用するように構成され、エピポーラモデルの出力としてカメラの外部変数を決定するように構成される処理モジュールと
を備える。

【0021】

１実施形態によると、システムはカメラ制御部により制御されるカメラをさらに備え、カメラは車両に搭載される。

【0022】

さらなる観点によると、カメラを較正する上記単一カメラの較正システムを備える車両が提供される。

【0023】

さらなる観点によると、車両に搭載されるカメラの外部変数を決定する上記単一カメラの較正システムの使用が記載される。

【0024】

一例において、本方法のステップを実施する手段を備えるデータ処理システム、例えばコンピュータが提供される。データ処理システムは、プログラマブルロジックを持たない回路を備えてよく、又は、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＡＳＩＣ、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）又は当業者に既知である任意の他のプログラマブルロジックデバイスであるか、又はこれを備えてよい。

【0025】

さらなる観点によると、プログラムがコンピュータにより実行されると、コンピュータに本方法のステップを実施させる命令を備えるコンピュータプログラム要素が提供される。コンピュータプログラム要素は、コンピュータプログラムの一部であってよいが、それ自体がプログラム全体であってもよい。例えば、コンピュータプログラム要素は、本発明を達成するために既存のコンピュータプログラムの更新に使われてよい。

【0026】

さらなる観点によると、コンピュータにより実行されると、コンピュータに本方法のステップを実施させる命令を備えるコンピュータ可読媒体が提供される。コンピュータ可読媒体は、記憶媒体、例えばＵＳＢディスク、ＣＤ、ＤＶＤ、データ記憶装置、ハードディスク、埋め込みシステムの集積チップメモリ又は上記プログラム要素を記憶可能な任意の他の媒体として見なされてよい。

【0027】

このようにして、アルゴリズムは、車両がＥＯＬ（ｅｎｄ ｏｆ ｌｉｎｅ）工場、サービスステーション及び通常の運転条件において運転されている際にカメラの外部（変数）を推定するという課題を解決する。アルゴリズムは、例えばリアカメラのＣＡＤ値の形態の、すなわち、Ｘ及びＹ位置と、カメラのｘ、ｙ、ｚ軸を中心とする回転といった、既知の内部（変数）を持つカメラを必要とする。さらに、アルゴリズムは、車両の速度、操舵及びサスペンション信号、上記のその対応する信号を持つカメラにより撮影された画像を必要とする。

【0028】

アルゴリズムは、ランタイムとメモリに関して限られたリソースを持つ埋め込みプラットフォームにおいて実装可能な非常に軽量なアルゴリズムである。単一カメラの較正専用の目標又はパターンを維持する必要はなく、較正のための専用の空間又は環境を設ける必要はない。カメラは、移動画像を撮影できるので、ＥＯＬにおいて運転されている間又はコンベヤベルト上にある際に較正されてよい。アルゴリズムは、４つのカメラを持つサラウンドビューシステムに関連する仕事に合わせて調節されてよい。

【0029】

本発明のこれら及び他の態様は、以下、説明される実施形態から明らかになり、これらに基づいて解明されるだろう。

【0030】

以下、本発明の例示的な実施形態について、図面を参照しながら説明する。

【図面の簡単な説明】

【0031】

【図1】図１は、カメラの外部変数を決定する方法のフロー図を示す。

【図2】図２は、単一カメラの較正システムの概略図を示す。

【図3】図３は、地表面マッピングの説明を示す。

【図4】図４は、エピポール計算の説明を示す。

【図5】図５は、周波数領域スペクトル分析前のパッチ前処理の概略図を示す。

【図6】図６は、周波数領域スペクトル分析及び２つのパッチ間のオフセットを計算するフロー図を示す。

【図7】図７は、パッチのシフトの図を示す。

【図8】図８は、カメラからパッチ上の特徴点までの地表面ベクトルの概略図を示す。

【図9】図９は、仮想タイヤの概略図を示す。

【図10】図１０は、カメラの球面上の２つの点の解釈の図を示す。

【図11】図１１は、地表面に投影された、カメラの球面上の点とカメラの中心の幾何及び張られた平面の法線ベクトルの図を示す。

【図12】図１２は、カメラ移動の図を示す。

【発明を実施するための形態】

【0032】

図は概略的な記載に過ぎず、本発明の実施形態を例示しているに過ぎない。同一又は等価の要素には、原則的に同じ参照符号が付されている。

【0033】

図１は、以下のステップを備える、カメラの外部変数を決定する方法１００のフロー図を示す。第１ステップ１０２において、カメラの移動を開始させる。第２ステップ１０４において、カメラを移動させることにより、２つの未処理画像を順々に２つの異なる場所で撮影する。第１時点における第１パッチと第１パッチに対して平行な第２パッチとを持つ第１未処理画像と、第２時点における第３パッチと第３パッチに対して平行な第４パッチとを持つ第２未処理画像とが撮影され、第１パッチと第２パッチとの間の距離は、第３パッチと第４パッチとの間の距離と同じである。次のステップ１０８において、第１パッチにおける少なくとも１つの画像特徴の基準位置Ａと、第２パッチにおける少なくとも１つの画像特徴の基準位置Ｃと、第３パッチにおける第１パッチの少なくとも１つの特徴のオフセット位置Ｂと、第４パッチにおける第２パッチの少なくとも１つの特徴のオフセット位置Ｄとが検出される。さらなるステップ１１０において、基準位置Ａ、Ｃ、オフセット位置Ｂ、Ｄ及び第１時点と第２時点との間に移動カメラが走行した決定距離に基づいてエピポーラモデルが適用される。最後のステップ１１２において、エピポーラモデルの出力としてカメラの外部変数が決定される。

【0034】

図２は、外部変数を決定するように構成されたシステム２００を示す。システムは、カメラ２０２を制御するカメラ制御部２２０と、処理モジュール２３０とを備える。単一カメラの較正システム２００は、例えば車両に搭載されているカメラの「オンライン」較正のために車両に設けられてよい。カメラ２０２は、有線又は無線でアクセスされてよい。処理モジュール２３０は、地表面マッピングモジュール２０４を備え、未処理画像２０２は、地表面マッピングモジュール２０４に入力され、地表面マッピングモジュール２０４は、未処理画像を所定のフォーマットに変換する。未処理画像は、例えば車両が移動する道路の２つの隣り合うパッチをそれぞれ持つ画像を撮影してよい。地表面マッピングモジュール２０４は、例えば図３に示されているように１ｍ×１．５ｍのサイズを持つ、道路の平面パッチの未処理画像３０２を、画像に又は２５６画素×５１２画素のサイズを持つパッチ３１２に投影し、その結果、パッチの長さに沿って、１／２５６＝０．００３９メートル／画素の解像度が得られる。このステップは、道路の２つのパッチをそれぞれ備える、２つの連続する時点において撮影された２つの画像について行われる。例えば、図３に示されているように、第１画像は、第１時点における、カメラ３２２の光（ｘ）軸に対する左側パッチ３０２及び右側パッチ３０４と、第２時点における、道路のさらなる２つのパッチ（図３においては不図示）とを備える。図３は、本例においては画像を撮影するリアビューカメラ３２２と、車両３００の左側、右側及び前側にさらなるカメラ３２４とを持つ車両３００をさらに示す。また、さらなるカメラは、カメラ３２２と同様の画像を撮影してよいため、これらの画像も上記方法により処理されてよい。

【0035】

各時点（及び短い時間間隔）において、図４に示されているように、後輪の中心は、車両が移動する円周の中心に沿って回転する。提案される方法に関して図２及び４を参照すると、車両エゴモーションモジュール２１０により任意の２つの時点間の以下の変数の値が提供される。これらの変数は、カメラの高さの決定に使われる、エピポール長さ、つまりベクトル長さ４０４と、エピポールにより前方向４０２との決定に使われる、エピポール４０４と前方向４０２との間の角度と、車両の角度、よってカメラ回転の角度４０６である。この角度４０６は、球面画像の回転を補償するべく使われる。車両エゴモーションモジュール２１０の入力、例えば車両速度、ホイール角度、場合によっては、サスペンションデータは、車両センサ２０８により例えばＣＡＮバスを使って提供される。変数の値は、地表面ベクトルモジュール２１２に提供されるが、このことについては後に説明する。

【0036】

図２及び図５を参照すると、オフセット決定モジュール２０６において実行されるさらなる処理ステップにおいて、パッチ、例えば図５のパッチ５０２は、パッチ５０２から平均値を減算し、得られたパッチ５０４をガウス窓５０６により乗算することにより前処理されてよく、これによりパッチ５０４の縁近傍の画素を除去し、画像の中心近傍の特徴に、より高い重みを付けることにより、これら特徴がより顕著になる。ここで得られたパッチ５０８は、ＦＦＴに基づくスペクトル分析用の入力として使われ、これによりオフセットを決定する。

【0037】

ここで図６を参照すると、ＦＦＴを適用することにより、例えば第１時点において撮影された道路の第１左側パッチ６０２の特徴を、第２時点において撮影された道路の第２左側パッチ６０４の特徴に合致させてよい。その結果、第１パッチ６０２と第２パッチ６０４の特徴間の、車両が第１時点と第２時点との間に走行した距離に対応するオフセットが決定されてよい。その処理が、より詳細に図６に示されている。位相相関は、高速フーリエ変換（ＦＦＴ）を使って、前処理画像６０２、６０４を変換することにより行われる。６０６において、それらのスペクトルが乗算され、積が逆変換（ＩＦＦＴ）されることにより、その結果、位相相関画像が６０８で得られる。ＩＦＦＴは、得られたスペクトルに適用され、画素領域の画像が得られると、得られた画像は６１０において調整され、中心をゼロ周波数成分とする。単にこのことは、ずらし（シフト）のない、２つのパッチが位相相関されると、シフトのない結果が画像の中心に配置されることを意味する。予測された検索窓を定義する目標マスクは、６１２、最大相関、つまりシフトされた画素位置を見つけるために適用されてよい。６１２で目標マスクを適用する理由は以下において説明される。位相相関画像におけるピーク画素値は２つのパッチ６０２、６０４間のシフトに関する情報を提供する。画像スケールの変化に応じてかつカメラの搭載位置に応じて、パッチ特徴の性状も変化する可能性がある。その結果、画像を通して複数の不正確な高い相関値が得られる場合がある。これを克服するために、ピーク値は予測され、画素の予想一の近傍におけるピーク値のみが考慮される。このために、目標マスクは計算され、これにより、第１パッチの中心画素の予測位置の周辺において指数関数的に減衰する重みを付ける。上述したように、シフトなしの相関により、画像の中心にピーク画素値が生じる場合があるため、画像の中心は、シフトされたピーク画素値が関連する基準位置である。それにより、位相相関後に中心画素座標をピーク画素値の座標から減算することにより、画素のシフトが得られる。

【0038】

図７を参照すると、２つのパッチ６０２、６０４においてよりはっきり区別できる特徴を考慮に入れるため、さらに勾配に基づく類似度測定が使われる。このために、第１道路パッチ、つまり図７におけるパッチ７０２は、画素の計算されたシフト分だけシフトされる結果、シフトされたパッチ７０４が得られる。このシフトされた第１パッチ７０４は、第３パッチ７０６、つまり同一の、例えば第２時点における左側のパッチと比較される。シフトされた第１パッチ７０４の勾配画像及び第２時点の第３パッチ７０６の勾配画像が得られ、これら２つの勾配画像はガウシアンぼかしフィルタで処理される。最後に、これら２つの勾配画像は乗算される。ピーク値の画素座標は特徴点として考慮され、第３パッチ７０６の画像の中心に関連してよい。つまり、第１パッチの対応する画素座標は、計算された画素のシフトを特徴点から減算することにより、単純に計算できる。

【0039】

上記手順は、２つの異なる時点におけるカメラの左側から、そしてこれらの２つの異なる時点における右側から抽出された２つのパッチについて行われる。これが、４つの特徴点と、図８に示されているように、これら特徴点に関連する本質的に４つのカメラ光線８０１、８０２、８０３、８０４を提供する。カメラ光線は、カメラ基準系における４つの特徴点それぞれに対応する単位ベクトルである。カメラ光線８０１、８０２は互いに対してシフトされた２つのパッチを使ってカメラの左側から計算され、同様に、カメラ光線８０３、８０４は右側から計算される。

【0040】

以下、外部を計算するエピポーラモデルが説明される。このモデルは、全天球カメラにおいてカメラレンズに原点を持つものとして点Ａ、Ｂ、Ｃ、Ｄにてカメラの球面と交差する上記単位ベクトル（複数）に基づいている。

【0041】

ここで紹介されるエピポーラモデル用に全天球カメラは車両に搭載されてよい。「上」方向は、（道路が傾斜している場合においても）路面に対する垂直として定義される。この方向は、原点としてカメラレンズから見た際の球面上のまさに点である。別の重要な方向は前方向である。前方向は、路面の平面において、車両の長軸線と平行であるか、長軸線上に位置しているため、車両が前進する場合、車両が移動する方向と一致する。ここでは、これらの方向を「上方向」及び「前方向」と称する。これらは、全天球カメラにおいて２つのドットにより示される。カメラ高さと共にこれらの２つのドットは、求められる外部変数全てを備える。

【0042】

前方向×上方向のまさにクロス積である、右方向もまた存在する。カメラ座標におけるベクトル列として、上、前及び右の３つのベクトルは、現在のカメラ高さと共に単一カメラの較正アルゴリズムの出力である行列Ｍを備える。行列Ｍは「カメラの回転の行列」と指定されてよい。

【0043】

車両が一定の角度で回転している場合、アッカーマンステアリングモデルが適用され、これによると、車両の現在の速度及び操舵に起因してカメラ位置がどのように移動するかを示すために、図９に示されているように、アッカーマンステアリングモデルが適用される。車両９０２が一定の操舵で回転している場合、４つのタイヤ全てによりどのような円状の軌跡となるかが問われる。アッカーマンステアリングモデルによると、前方車軸の中心のタイヤ９０４が仮想タイヤとして導入される。車両操舵情報は、仮想タイヤ９０４が回転した角度の決定に使われ得る。中心タイヤ、内側タイヤ及び外側タイヤが相異なる円状の軌跡上を動くことを指摘することは重要である。操舵角（δ）である、中心の仮想タイヤが回転した角度は分かっていて、この角度は、ｔａｎ（δ）＝Ｌ／ｒを使う半径情報（ｒ）の計算に使われ得る、ここでＬは前輪の軸線と後輪の軸線との間の距離である。円弧（ｓ）の長さが既知である場合、円方程式ｓ＝ｒδを使うことにより、半径を求めてもよい。

【0044】

以下、エピポーラモデルと、外部の計算用エピポーラモデルの適用について次に説明する。

【0045】

図１０及び図１１は、全天球カメラから見た際の２つの見られる平行な線分の方向をどのようにして決定できるかを示す。図１０は、全天球カメラの２つの点Ａ、Ｂを観測すると、現実の点を決定できないことを示す。Ａの実際の点はＡ’又はＡ’’であるかもしれず、Ｂの現実の点はＢ’又はＢ’’であるかもしれない。線分Ａ’Ｂ’の長さが既知である場合でさえ、点Ａ’又はＢ’を決定できない。

【0046】

その一方、３つの既知の点Ｏ、Ａ、Ｂは、それらを通る平面を定義する。この平面は、この平面における２つのベクトルのクロス積として見出されてよい、法線ベクトルＮ（Ｏ、Ａ、Ｂ）＝ＯＡ×ＯＢであるその直交ベクトルにより定義される。ここで、図１１に示されているように、現実の点Ａ’Ｃ’及びＢ’Ｄ’により定義される２つの平行な線分がある。これらの点は、全天球カメラにおいて、点ＡＣ及びＢＣとして現れる。方向Ａ’Ｃ’はＮ（Ｏ、Ａ、Ｃ）に対して直交である。また、これは（方向Ｂ’Ｄ’と同一であるため）Ｎ（Ｏ、Ｂ、Ｄ）に対して直交である。そのため、現実世界の方向Ａ’Ｃ’はクロス積Ｎ（Ｏ、Ａ、Ｃ）×Ｎ（Ｏ、Ｂ、Ｄ）と平行であり、後者はカメラ座標において利用可能である。

【0047】

（ＡＣ及びＢＤとしてカメラにおいて示される）平行な線分Ａ’Ｃ’及びＢ’Ｄ’は、両者共にベクトルＶ＝（ＯＡ×ＯＣ）×（ＯＢ×ＯＤ）と平行であると結論付けられる。符号は、ベクトルのドット積（・）により確認される。
ＡＣ＞０の場合、ＶとＡ’Ｃ’は同方向を持つ。
ＡＣ＜０の場合、ＶとＡ’Ｃ’は逆方向を持つ。
球面画像において点ＡＣＤＢを持つ平行四辺形Ａ’Ｃ’Ｄ’Ｂ’において、３Ｄ構築を行ってよい。平行線分に関する上記式を使い、平行四辺形の辺の２つの方向を、Ｖ＝（ＯＡ×ＯＣ）×（ＯＢ×ＯＤ）及びＷ＝（ＯＡ×ＯＢ）×（ＯＣ×ＯＤ）として求める。平行四辺形の法線はそれらのクロス積Ｖ×Ｗである。外側の法線Ｎを以下のように定義する。
（Ｖ×Ｗ）・ＯＡ＜０の場合、Ｎ＝Ｖ×Ｗ／ノルム（Ｖ×Ｗ）。
（Ｖ×Ｗ）・ＯＡ＜０の場合、Ｎ＝－Ｖ×Ｗ／ノルム（Ｖ×Ｗ）。

【0048】

ここで、ＯＡをＯＢ、ＯＣ，ＯＤにより置換できる。
平行四辺形の平面へのＯの投影Ｏ’について考えると、Ｏ’Ｏの長さをＨが示す場合、以下のように表すことができる。
ＯＡ’＝ＯＡ＊Ｈ／（－Ｎ・ＯＡ）。
ＯＢ’＝ＯＢ＊Ｈ／（－Ｎ・ＯＢ）。
ＯＣ’＝ＯＣ＊Ｈ／（－Ｎ・ＯＣ）。
ＯＤ’＝ＯＤ＊Ｈ／（－Ｎ・ＯＤ）。

【0049】

そのため、ノルム（Ｂ’Ａ’）＝ノルム（ＯＡ＊Ｈ／（－Ｎ・ＯＡ）－ＯＢ＊Ｈ／（－Ｎ・ＯＢ））。
ここから、Ｈ＝ノルム（Ｂ’Ａ’）／ノルム（ＯＡ＊Ｈ／（－Ｎ・ＯＡ）－ＯＢ＊Ｈ／（－Ｎ・ＯＢ））。

【0050】

よって、平行四辺形の１辺の長さ（本例においては長さＡ’Ｂ’）が分かると、カメラ座標において示される空間における全てのその４つの交点の位置を決定できる。

【0051】

単純な第１シナリオ１において、カメラは回転せずに直線移動する。図１２に示されているように、２つのフレーム間をベクトルＶで移動するように、カメラは回転せずに道路と平行に直線移動する場合を考える。さらに、第１フレームにおける道路上の点Ａ、Ｃが第２フレームにおいてＢ、Ｄとして現れたように２つの点を追跡した場合を考える。カメラをＶだけ移動させる代わりに、カメラは静止している一方で、道路が－Ｖで移動したと仮定してよい。点Ａ、Ｃは道路上の現実の点Ａ’、Ｃ’を示す。この場合、道路は－Ｖだけ移動し、点Ａ’、Ｃ’は新しい場所Ｂ’、Ｄ’において現れ、Ｂ’＝Ａ’－Ｖ及びＤ’＝Ｃ’－Ｖである。点Ｂ’、Ｄ’は全天球カメラにおいてＢ、Ｄとして見られる。点Ａ’、Ｃ’、Ｂ’＝Ａ’－Ｖ、Ｄ’＝Ｃ’－Ｖは図１２に示されている平行四辺形を形成する。

【0052】

ここで、第１シナリオにおいて、車両は回転せずに直線移動し、ベクトルＶは車両の直線移動のベクトルである場合を考える。２つのフレーム間の速度及び時間はＣＡＮデータから既知であるため、Ｖの長さが分かる。それにより、平行四辺形に関して上記のように導出した式を使い、Ｖの方向、法線Ｎ、カメラから道路までの距離Ｈを計算できる。これらの変数はこの単純なシナリオにおいて求められる外部を定義する。

【0053】

第２シナリオにおいて、カメラは既知の軸線に沿って回転し、既知の角度で移動する。このシナリオは、回転を補正する、つまりカメラを後ろに回転させると、前のシナリオに減らせる。カメラは、道路に直交する軸線ＯＺを中心に回転する。この場合、ＯＺはカメラ座標において既知である。２つのフレーム間で生じた既知の回転角を、既知の角度を持つ既知の軸線ＯＺ＿ｉｔｅｒを中心とする回転に関するＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎ回転行列として指定することは、ロドリゲスの公式により説明され、ロドリゲス（ＯＺ＿ｉｔｅｒ＊ＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎ）として計算される。

【0054】

ここで、回転をどのように補償可能か検討する。注意する点として、カメラは実際には湾曲して移動するが、ここでは２つの位置のみが関心の対象となるため、カメラはそれらの間をエピポールベクトルに沿って直線移動すると考えられる。フレーム間のカメラの移動は、２つのステージにおいて説明できる。第１に、回転せずにエピポールベクトルＶに沿って直線移動すること。第２に、その新しい位置において、（ＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎへと）カメラへの回転が適用される。第１移動の後、点Ａ’、Ｃ’はＢ’＝Ａ’－Ｖ、Ｄ’＝Ｃ’－Ｖとなり、まさに上記の例と同じように、４つの点は平行四辺形を形成する。その後、第２移動において、点Ｂ、Ｄはロドリゲス（ＯＺ＿ｉｔｅｒ＊ＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎ）の逆により回転する。このことは、カメラが右側に回転すると可視画像は左側に回転することを考慮することにより理解できる。移動全体と、上記第１及び第２ステップの完了後、球面画像においてＢ＿とＤ＿の点が見える、つまりそれらは計算に利用可能である。その一方、直接利用可能ではない、Ｂ及びＤを得たい。
ＯＢ＝Ｒｏｄｒｉｇｕｅｓ（ＯＺ＊ＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎ）＊ＯＢ＿
ＯＤ＝Ｒｏｄｒｉｇｕｅｓ（ＯＺ＊ＣａｒＡｎｇｌｅＯｆＲｏｔａｔｉｏｎ）＊ＯＤ＿

【0055】

その後、第１シナリオに至るため、エピポールＶを求められ、法線Ｎを計算できて、既知の車両及びカメラのエゴモーションから、エピポールの長さが既知であることを使って、カメラの高さを計算できる。法線Ｎを計算することに注意されたい。全ての条件が厳密に成立する場合、ＮはＯＺに等しいはずである。

【0056】

エピポールＶと前方向との間の角度が既知であるため、Ｎを中心としてＶをその角度へと回転させることにより前方向を見つけられる。Ｎとして上方向と、前方向と、カメラの高さが得られ、よって、外部が得られると結論する。

【0057】

較正処理中に外部変数のより精密な測定を提供する最適な推定器が提案される。カメラの物理的な設置の逸脱が精度に影響するので、較正測定の幅は大きくなる。最適な推定器はサンプル較正の履歴を経時的に取り入れ、サンプル統計値と、組み合わされた誤差解析とを適用することにより、外部サンプルを収束した出力へと反復的に調整する。

【0058】

開示された実施形態に対する他の変形は、当業者により、特許請求される発明を実施する際に、図面、開示内容、及び添付の請求項の精査から理解され、実現され得る。請求項において「備える（ｃｏｍｐｒｉｓｉｎｇ）」の語は、他の構成要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数を排除するものではない。単一のプロセッサ又は他のユニットは請求項に記載の複数のアイテムの機能又はステップを実現してよい。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせを有利に使用できないということを示すものではない。コンピュータプログラムは、他のハードウェアと合わせて、又は他のハードウェアの一部として供給される、光学記憶媒体又はソリッドステート媒体のような適切な媒体において記憶や配布がなされてもよいが、さらに、他の形態で、例えばインターネット、もしくは他の有線又は無線の遠隔通信システムを介して配信されてもよい。請求項における任意の参照符号は、本発明の範囲を限定するものと解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】