特許 6246867 静止標的から走行補正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6246867

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】静止標的から走行補正

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171204BHJP

   G06T 1/00 20060101ALI20171204BHJP

   G06T 7/70 20170101ALI20171204BHJP

   B60R 1/00 20060101ALI20171204BHJP

   B60R 11/02 20060101ALI20171204BHJP

【ＦＩ】

   H04N7/18 J

   G06T1/00 330Z

   G06T7/70 Z

   H04N7/18 K

   B60R1/00 A

   B60R11/02 C

【請求項の数】14

【外国語出願】

【全頁数】17

(21)【出願番号】特願2016-148274(P2016-148274)

(22)【出願日】2016年7月28日

(65)【公開番号】特開2017-34674(P2017-34674A)

(43)【公開日】2017年2月9日

【審査請求日】2016年8月1日

(31)【優先権主張番号】15178814.8

(32)【優先日】2015年7月29日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】リンジュン・ガオ

(72)【発明者】

【氏名】ヘバ・カファジー

(72)【発明者】

【氏名】デイヴ・ウィバリー

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１５−０３５６８５（ＪＰ，Ａ）

【文献】 特開２００６−２５０９１７（ＪＰ，Ａ）

【文献】 特開２０１０−２４４３２６（ＪＰ，Ａ）

【文献】 特開２０１５−０７０５１２（ＪＰ，Ａ）

【文献】 特開２０１３−１１５５４０（ＪＰ，Ａ）

【文献】 特表２００５−５３７５８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

少なくとも一つの車両カメラのカメラ外部パラメータを取得するための方法において、
−一つまたは複数の補正標識を地上表面上に提供すること、
−前記一つまたは複数の補正標識に対応する既定の形状パラメータを、車両のコンピューター読み取り可能な記憶媒体内に記憶すること、
−補正標識画像データを構成する連続動画を構成する画像データを、前記少なくとも一つの車両カメラから受領すること、
−前記画像データ内の標識境界を検知すること、
−当該検知された標識境界を前記既定の形状パラメータと照合すること、
−一つまたは複数の補正標識を認識すること、
−前記少なくとも一つの車両カメラが作動している間に、前記連続動画内の当該認識された一つまたは複数の補正標識を追跡すること、
−前記少なくとも一つの車両カメラの少なくとも一つの外部パラメータを、前記連続動画内の前記一つまたは複数の当該認識された補正標識の位置を用いて取得することを包含する当該方法。

【請求項2】

前記標識境界は、補正標識画像の内部パターンの境界を包含する請求項１に記載の方法。

【請求項3】

補正標識画像の遠近短縮を、検知された標識境界を前記既定の形状パラメータと照合することから取得すること、
前記地上表面に対する前記少なくとも一つの車両カメラの方向を、当該取得された遠近短縮から取得することを包含する請求項１に記載の方法。

【請求項4】

前記地上平面に対する少なくとも一つの車両カメラの方向を、前記少なくとも一つの外部パラメータから取得すること、
第一水平軸の周りの回転を、前記地上平面に対する当該取得されたカメラの方向から取得することを包含する請求項１〜３のいずれか１項に記載の方法。

【請求項5】

前記地上平面に対する少なくとも一つの車両カメラの方向を、前記少なくとも一つの外部パラメータから取得すること、
第二水平軸の周りの回転を、前記地上平面に対する当該取得されたカメラの方向から取得することを包含する請求項１〜４のいずれか１項に記載の方法。

【請求項6】

補正標識画像の形状パラメータの大きさを取得すること、
前記形状パラメータの大きさを、当該対応する記憶された形状パラメータの大きさと比較すること、
前記少なくとも一つの車両カメラの搭載高を、当該大きさの比較から取得することを包含する請求項１〜５のいずれか１項に記載の方法。

【請求項7】

第一補正標識画像の形状パラメータの大きさを、第一車両カメラの画像データから取得すること、
前記第一車両カメラと対応する補正標識との間の距離を取得すること、
第二補正標識画像の形状パラメータの大きさを、第二車両カメラの画像データから取得すること、
前記第一補正標識画像と前記第二補正標識画像とが、同一の補正標識に対応すること、
前記第二車両カメラと前記対応する補正標識との間の距離を取得すること、
車両調整システムに対する前記地上表面上の前記対応する補正標識の位置を、当該最初の距離とその次の距離とを用いて取得すること、
垂直軸の周りの前記第一車両カメラの回転を、前記対応する補正標識の当該計算された位置から取得すること、
垂直軸の周りの前記第二車両カメラの回転を、前記対応する補正標識の当該計算された位置から取得することを包含する請求項１〜６のいずれか１項に記載の方法。

【請求項8】

第一水平軸の周りの前記第一車両カメラの回転を、前記対応する補正標識の当該取得された位置から取得することを包含する請求項７に記載の方法。

【請求項9】

第二水平軸の周りの前記第一車両カメラの回転を、前記対応する補正標識の当該取得された位置から取得することを包含する請求項７又は８に記載の方法。

【請求項10】

前記画像データは、二つ以上の補正標識画像を構成し、
−前記二つ以上の補正標識画像のそれぞれの補正標識画像ごとに、少なくとも一つのカメラの方向を取得すること、
−平均のカメラ方向を、前記少なくとも一つのカメラの当該取得されたカメラの方向の加重平均として計算することを包含する請求項１〜９のいずれか１項に記載の方法。

【請求項11】

一つまたは複数の補正標識が、一つまたは複数の塗面と一つまたは複数の持ち運び可能な板から選択される請求項１〜１０のいずれか１項に記載の方法。

【請求項12】

計算ユニットにおいて、
前記計算ユニットは、
−記憶された一組の補正標識の既定の形状パラメータを有する、コンピューター読み取り可能な記録媒体と、
−補正標識画像データを有する連続動画を構成する画像データを、一台または複数の車両カメラから受領する接続部とを備え、
前記計算ユニットは、
−前記画像データ内の標識境界を検知し、
−当該検知された標識境界を前記既定の形状パラメータと照合し、
−一つまたは複数の補正標識を認識し、
−当該少なくとも一つの車両カメラが作動している間に、前記連続動画内の当該認識された一つまたは複数の補正標識を追跡し、
−前記少なくとも一つの車両カメラの少なくとも１つの外部パラメータを、当該認識された一つまたは複数の連続動画内の補正標識の位置を用いて取得するように稼動する当該計算ユニット。

【請求項13】

請求項１２に記載の計算ユニットと一つまたは複数の車両カメラとを持つキット。

【請求項14】

前記一台または複数の車両カメラは、前記車両の既定の位置に搭載されていて、前記車両の外部を向いていて、
前記計算ユニットが、一つまたは複数の車両カメラに接続されている請求項１３に記載のキットを有する車両。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、車両カメラ、特に地上平面の静的標的を用いた補正に関連する。

【背景技術】

【0002】

ますます乗用車はカメラを搭載している。カメラは車線維持、駐車補助、障害物やその他の物体の検知、緊急ブレーキ、事故やその他事件の再現、渋滞や気象状況のモニター、運転経路、スピード及び車両位置の記録、車両探知及び衝突の回避、交通標識の探知、照明調節、夜間視野その他など、運転手にさまざまな補助を提供する。

【0003】

これらの機能は画像処理を必要とし、カメラの処理ユニット、もしくは車内の専用処理ユニットによって提供される。処理ユニットはさらに画面、インジケーターエンジン制御ユニット、その他さらなる機器に接続している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

車両の周囲を正確に描写するのには、カメラの補正が必要である。このカメラの補正は、焦点距離及びレンズのゆがみのような内部パラメータの補正と、カメラの位置及び方向のような外部パラメータとの補正から成る。

【0005】

特に、本明細書は、単一カメラまたは複数カメラを用いたシステムの外部補正方法を本明細書に従って明示している。この適用による補正方法では以下のものを必要としない。
−車両の正確な配置
−補正するための車静止時間
−必要であれば提供されるが、工場内の広い面積

【0006】

補正方法は工場の内部もしくは外部にて実行される。例えば、補正作業は作業場車庫内でも、あるいは地面に適宜しるしをつけてある専用の場所にておこなうことができる。

【0007】

現行の仕様による補正方法では、以下の状況が得られる。
−補正時間の短縮
−運転条件が柔軟
−表面が平らな限り、地面が独自性を保ち、一方十分正確な調整を行える。

【課題を解決するための手段】

【0008】

本発明の課題は、
少なくとも一つの車両カメラのカメラ外部パラメータを取得するための方法において、
−一つまたは複数の補正標識を地上表面上に提供すること、
−前記一つまたは複数の補正標識に対応する既定の形状パラメータを、車両のコンピューター読み取り可能な記憶媒体内に記憶すること、
−補正標識画像データを構成する連続動画を構成する画像データを、前記少なくとも一つの車両カメラから受領すること、
−前記画像データ内の標識境界を検知すること、
−当該検知された標識境界を前記既定の形状パラメータと照合すること、
−一つまたは複数の補正標識を認識すること、
−前記少なくとも一つの車両カメラが作動している間に、前記連続動画内の当該認識された一つまたは複数の補正標識を追跡すること、
−前記少なくとも一つの車両カメラの少なくとも一つの外部パラメータを、前記連続動画内の前記一つまたは複数の当該認識された補正標識の位置を用いて取得することを包含する当該方法によって解決される。
さらに、本発明の課題は、
計算ユニットにおいて、
前記計算ユニットは、
−記憶された一組の補正標識の既定の形状パラメータを有する、コンピューター読み取り可能な記録媒体と、
−補正標識画像データを有する連続動画を構成する画像データを、一台または複数の車両カメラから受領する接続部とを備え、
前記計算ユニットは、
−前記画像データ内の標識境界を検知し、
−当該検知された標識境界を前記既定の形状パラメータと照合し、
−一つまたは複数の補正標識を認識し、
−当該少なくとも一つの車両カメラが作動している間に、前記連続動画内の当該認識された一つまたは複数の補正標識を追跡し、
−前記少なくとも一つの車両カメラの少なくとも１つの外部パラメータを、当該認識された一つまたは複数の連続動画内の補正標識の位置を用いて取得するように稼動する当該計算ユニットによって解決される。
現行の仕様では、車両は地面に記された一定のパターンや地面に置いた標識の上を走る。車両に搭載されているカメラは、それらの模様を記録する。単一またはそれ以上の計算ユニットがすべてのカメラの適切な外部の範囲（外部パラメータ）を計算する。

【0009】

外部の範囲はカメラ調整システムを世界調整システムに関連する。これは、例えば、回転と変換により行われる。

【0010】

「調整標的」とか「調整標識」ともいわれるパターンは、必ずしもお互いに平行でない。車両が標的に向かって動いている時、一つまたは複数の標的が検知され、認識され、撮影された動画の連続により追跡される。外部カメラ範囲（カメラ外部パラメータ）の計算は、撮影された連続動画の複数のフレームに基づく。

【0011】

主要な実施形態によると、外部カメラ範囲は車両調整システムのｘ、ｙ、及びｚ軸の回転及び車両調整システムの搭載高を含むのだが、それらが同時に最適化され、車両カメラは別々に補正される。特に、４台の車両カメラを使用し得る。

【0012】

本明細書による補正方法の内容は、以下のリストによっても要約できる。
−補正パターンは直線である必要がない
−スピード、操舵、ＧＰＳ位置、その他の車両からのいかなる情報も必要ではない
−内部範囲（内部パラメータ）は計算されない。実際、方法における入力事項の一つである。

【0013】

１．標識の形は既定されており、方法により記録されている。以下の入力のみが必要である。
−カメラからの入力（連続画像）
−カメラ内部データ（それらは製造された時点でカメラ独自のものである）
−予定されるカメラ搭載位置（車両に設置する場所、特にＸとＹの位置）
２．走行中の車両のカメラからの連続画像が使用される。
３．パターンは道路のマークには提供されないが、事前に決められた特定のパターンを用いる。
４．パターンを決めるのに好ましい方法は、パターンを書いておく（工場などのように固定された利用法）、あるいは持ち運びができる板（車庫で使用する場合などのように柔軟性をもたせるため）に書いておくことである。

【0014】

計算ユニットはパターンの、既知の本当のサイズを利用し、サイズとはパターンの外側を指す。さらに、パターンは一種の構造、もしくはチェッカーボードの模様のような一種のパターンから成ることも可能である。

【0015】

特に、現在の使用法は少なくとも一車両カメラの外側のカメラ範囲を得る方法を公開する。

【0016】

単一または複数の規定の補正標識が平らな地面に置かれている。既定の、成形標識のセット、それは補正標識と対応しているのだが、それらが車両のコンピューター読み取り可能な記憶媒体に記憶される。広い意味では、標識の、記憶されたベクトルグラフィックも成形標識として考慮される。成形標識は補正標識を性格づける。例えば、半径は円形標識を意味し、斜めの長さ、あるいは単一の長さは、正方形標識を意味し得る。

【0017】

車両は一つまたは複数の既定の補正標識を超えて運転され、補正標識は一つまたは複数の車両カメラにて撮影される。したがって、他の実践形態では、画像がとらえられる一方、車両は静止したままである。画像データは少なくとも一つの車両カメラから受け取られ、カメラの計算ユニット、及び・または車両の計算ユニットで処理される。現在の方法に関連する画像データは補正標識画像からなる。標識の画像は標識に対応する、または標識の一部に対応するセンサー信号をデジタル表現したものである。

【0018】

補正標識画像となる画像データの一部は、「補正標識画像データ」とも呼ばれる。「画像データ」、「補正標識画像」及び「補正標識画像データ」などの表現は、デジタル化されたセンサーの原画あるいは処理されたデータを指す。中でも、画像処理はゆがみの縮小、上からの撮影、ノイズ削減、センサー要素特性の補正を含むこともある。

【0019】

計算ユニットは、画像データの画像フレームの中の一つまたは複数の補正標識画像 標識画像の境界線を探知し、探知された標識境界線を既定の形状境界線にマッチさせる。計算ユニットは、一つまたは複数の補正標識を認識する。一つの認識では、標識は補正標識の形を認識することによって認識される。標識の形は、補正標識のだいたいの形と記憶された形状の境界線とを比較することによって認識される。

【0020】

連続動画中の認識された補正標識は、少なくとも一つの車両カメラが作動している間に追跡され、少なくとも一つの車両カメラの少なくとも一つの外部範囲は、撮影された動画の順序にある、認識された補正標識の位置を使って判断される。

【0021】

一つの実施形態では、補正標識には光学認証シンボルがついており、それは標識の種類を示す。計算ユニットは、すでに認証シンボルを認識することによって標識の形を認識する。中でも光学認証シンボルは異なった色、数、または形式であるかもしれない。例えば、四角い標識には赤い点がついているかもしれないし、菱面体の標識には青い点もしくは異なった数および・あるいは位置の点がついているかもしれない。あるいは、もしくはそれに加えて、標識の形は標識外側の境界線、標識のパターン、あるいは他の光学的特性によって認識されるかもしれない。

【0022】

ある実施形態では、光学認証シンボルは、標識が整列していることも探知する、例えば標識にＸマークあるいは矢印の形をした光学認証シンボルをつけるとか、チェッカーボードの模様、などの内部的な模様である。

【0023】

特に、得られた外部範囲は回転、または初めの水平軸または車両調整システムのｘ軸付近のピッチ回転とも呼ばれる傾斜を示し、第二水平軸またはロール回転とも呼ばれるｙ軸、垂直軸付近の回転またはヨー回転とも呼ばれるｚ軸付近の回転、及び車両調整システムの搭載高を示す。

【0024】

車両調整システムは架空の長方形の調整システムあるいは関連付けを指し、車両に接続している。水平軸は地上平面と平行で、車両の中心軸に沿って直進し、一方垂直軸は水平軸と直行して上を向いている。

【0025】

車両調整システムの一つの方法では、車両調整システムの水平平面は地上平面と提携しており、ｘ軸は前方軸と平行で、調整原点は前方軸の左端にある。別の方法では、調整原点は物体の中心から地上平面への投影、または幾何学的な中心点から地上平面への投影である。

【0026】

ある特定の実施形態では、その方法は、少なくとも二つの平行な直線的な標識の境界の一つまたは複数の既定の補正標識の一つ目のセットを認識し、少なくとも二つの平行な直線的な標識の境界を一つまたは複数の既定の補正標識の一つの画像に二つ目のセットを認識することに構成される方法である。第二セットの標識の境界は同じまたは異なる標識の画像に対応し得る。

【0027】

計算ユニットは少なくとも一つの車両カメラの地上平面への方向を１セット目と２セット目の標識の境界から得る。

【0028】

二組の平行線は水平にある、二か所の消滅点に向かって進み、そこに二つの消滅点をつなぐ消滅線がある。これがそこで地上平面についてはカメラの傾きを作り出す。この傾きによって、車両調整システムの水平ｘ軸及びｙ軸のまわりの回転が可能になる。

【0029】

別の実施形態によると、垂直へのカメラの傾きは、車両カメラのセンサー表面の標識の画像を遠近的に短縮することで判断される。この実施形態によると、検知された標識境界を既定の形状の範囲（形状パラメータ）とマッチ（照合）し、少なくともひとつの標識の遠近的な画像が得られ、少なくとも一つの車両カメラの地上平面への傾きは、遠近的な短縮によって得られる。

【0030】

その例として、円形標識の標識画像は楕円形に見える。楕円率の度合いと楕円主要軸方向によって、傾きの量と方向が決まる。三角形の標識では、三つの角度はコンピューター読み取り可能記憶媒体に形状範囲として保管されている、三角標識の対応する角度と比較される。そこにカメラの傾きが由来する。同じまたは同様の方法を用いて、多角形の標識の遠近短縮が決定される。例として、多角形は三角形に分解され、三角形の角度または標識境界線の外側の角度は、対応する補正標識の保管されている角度と比較される。

【0031】

正確さを増すために、この予測は補正標識の異なる画像に、及びあるいは連続画像の異なる画像フレーム繰り返し適用され、各予測の加重平均として予測が得られる。予測の正確さが不十分と判断されれば、加重平均におけるゼロの重きがおかれる。

【0032】

ある実施形態では、標識境界線は一つまたは複数の既定の補正標識の内部パターンの一つの境界を形成する。別の実施形態では、標識境界線は外側の境界を形成する。

【0033】

特に、平行標識境界線または遠近短縮は、地上平面への得られたカメラの向きからの第一または第二水平軸周りの回転を決めるのに用いられる。

【0034】

さらに実施形態において、その方法は、一つまたは複数の補正標識の少なくとも一つの補正標識画像において例えば明らかな境界線の長さ、明らかな対角線の長さ、表面積、あるいは主要軸の長さ、など形状範囲の大きさも形成する。形状範囲の大きさ、それは標識の明らかなサイズの計測を提供するが、対応する、保存された形状範囲の大きさと比較され、搭載される少なくとも一台のカメラの高さはそれらの大きさの比較により得られる。

【0035】

特に、形状範囲の大きさあるいは補正標識画像の明らかなサイズは、車両カメラからの標識の距離を判断することを可能にする。例えば上記の方法または別の方法でカメラの垂直に対する傾きαが知られているとき、地上平面に関するカメラの搭載高ｚは、Ｚ＝ｄ＊ｃｏｓ（α）により得られる。

【0036】

別の実施形態においては、その方法は、第一車両カメラから、画像データ、あるいは画像フレーム、一つまたは複数の補正標識の一つの画像の形状範囲の大きさを得ることを形成する。サイズ範囲は画像センサー上の補正標識画像のサイズを示唆するものである。

【0037】

サイズ範囲と保存サイズ範囲を比較することにより、計算ユニットは第一車両カメラと対応する補正標識との距離を得て、それが補正標識画像に対応する。さらに、計算ユニットは補正標識画像の形状範囲の大きさを得る、それは第二車両カメラの画像データあるいは画像フレームからの同じ補正標識に対応する。サイズ範囲を保存サイズ範囲と比較することにより、第二車両カメラと対応する補正標識との距離が得られる。

【0038】

第一の距離と第二の距離を用いることにより、車両調整システムに関して、地上表面の補正標識の位置が得られる。

【0039】

垂直軸の周りの第一車両カメラの回転は、補正標識の得られた位置から得られる。更に、垂直軸の周りの第二車両カメラの回転は、補正標識の得られた位置から得られる。

【0040】

さらなる方法の変更によって、その方法は対応する補正標識の取得した位置によって第一水平軸あるいは第二水平軸の周りに第一あるじは第二車両カメラを回転させることを構成する。

【0041】

外部範囲の予測の加重平均を計算することにより、正確さが向上する。例としては、画像データは二つまたは多数の補正標識画像に構成されるかもしれない。計算ユニットは二つ以上の補正標識画像それぞれに少なくとも一台のカメラの方向を得て、少なくとも一つの計算済みカメラ方向の加重平均として、カメラ方向の平均を計算する。

【0042】

補正標識は様様な方法で提供される。特に、地面に書く方法や、持ち運び可能な板として提供され得る。

【0043】

更なる点として、現行の仕様は、上記の方法を実行するためのコンピュータ−プログラム製品を明らかにし、それは光学媒体、磁気媒体、強誘電性の媒体、あるいはＥＰＲＯＭのＩＣ／ＡＳＩＣのメモリ、等により提供される。さらに、現行の仕様は、コンピューター読み取り可能な保存媒体から成り、コンピュータープログラム製品から成る。

【0044】

更なる面では、現行の仕様は、例えば車両カメラの一つまたは複数の計算ユニット、サラウンドビューカメラに接続する中心計算ユニット、あるいはそれらのコンピューターユニット、あるいはその合計を明らかにする。特に車両カメラは通り表面の下向きの映像を提供する、サラウンビューシステムの一部でもあり得る。

【0045】

計算ユニットは、マイクロプロセッサー、ＩＣまたはＡＳＩＣ，計算上のコンピューター読み取り可能な記録媒体などのような電子計算手段から構成され、既定の補正標識一式の既定の形状範囲を持ち、一台または複数台の車両カメラから画像データを受領するように接続されている。

【0046】

保存された実行可能な指示及び・あるいはデジタル及び・またはアナログデータ処理用の対応する電子部品を提供することによって、計算ユニットは画像データから一つまたは複数の補正標識画像の標識境界線を検知するよう作動し、検知した補正標識を既定の形状範囲にマッチさせる。

【0047】

計算ユニットは連続画像中の一つまたは複数の認証された補正標識を追跡し、少なくとも一台の車両カメラは作動中で、連続動画に撮影された、一つまたは複数の認証された補正標識の位置を使い、少なくとも一台の車両カメラの外部範囲を得る。

【0048】

中でも、外部カメラ範囲は第一水平軸の周りの回転、第二水平軸の周りの回転、車両軸の周りの回転、あるいは車両調整システムのＺ−軸、及び車両調整システムの搭載高から選択できる。

【0049】

さらなる実施形態で、計算ユニットはさらに、補正標識画像に対応する、対応する地上表面の補正標識の方向については、少なくとも一台の車両カメラの相対的方向を得るために作動する。

【0050】

さらに、現行の仕様は、計算ユニットと一台または複数の車両カメラを持つキットと、キットが搭載されている車両を明示する。一台または複数の車両カメラが車両の既定の位置に搭載されており、車両の外部を向いている。計算ユニットは、一台または複数の車両カメラと電気的に接続されている。

【0051】

標識は既定の方向に並べるとか、あるいはお互いに関して、並べ方のパターンを持たなくてよいが、それらは、既定の相対的な方向または並べ方のパターンを持ち、それが特徴の検知とマッチングの際に用いられる。

【0052】

遠近短縮により、標識境界線は他者より画像ピクセルが少ないと予想され、標識境界の方向を得るには適していない。標識が無差別の方向に置かれたとき、標識境界を見つける可能性が高くなるかもしれないが、それは車両カメラについては適切な向きである。更に、パターンは相対的な距離や方向があらかじめ決められていなくてよい場合に、都合よく、手早く並べられる。この特徴は、作業部屋の車庫で行うときに有利で、整備士の時間を節約するのに役立つ。

【0053】

車両が標識を通過すると、それ以降の画像フレームは標識の異なる像を提供する。これは特定の画像フレームの特定の標識の像がカメラ方向あるいは搭載高を判断するのに適切である可能性を高める。

【0054】

異なる形状の標識が画像認識に適切な標識境界線を見つける可能性を高める。例えば、標識は、直線の外側境界線の数、境界線の長さ、及び表面積などについて、多様である。標識のサイズを決めるのにより適している標識もある。標識の形状には、中でも、四角、長方形、菱型、三角、二等辺三角形、直角三角形、及び円がある。通常の多角形及び四つ以上の面がある多角体も標識の形として用いられる。

【0055】

標識の境界は、消滅線を決めるのに使われ、それにより地上平面に関して車両カメラの傾きが得られる。すべての標識が地上平面に並べられるため、標識の境界線を延長すると消滅点に終わり、それらはほぼ同じ消滅線にある。

【0056】

さらなる実施形態では、標識は統一した白色、あるいは他のいずれかの統一色で、パターンが白あるいは黒以外から構成される。２１から２７個の標識がいかなる平坦な表面あるいは専用の補正表面に置かれる。特に、２１から２７個の標識は例えば工場での補正の場合直接地面に書き、あるいは例えば作業場の車庫内で行われるときには、持ち運び可能な板にあらかじめパターンを書いたものでもよい。

【0057】

ある実施形態では、画像評価ユニットは、カメラから地上平面への距離、カメラの垂直軸に対して相対的な方向、水平ｘ−ｙ平面の標識に相対して自動車の向き、及び車のスピードなどの情報から、標識の寸法を予測する。

【0058】

標識が特性の標識として提供されたのであれば、標識は地上表面の物理的な標識として提供される。例えば、テンポラリーの、持ち運び可能なパターンや、使い捨てシール、あるいはペンキや、反射物質あるいは成分の入ったペンキで道路表面に書く方法である。

【0059】

現行の仕様のテーマは、以下の図についてここに詳細に説明される。

【図面の簡単な説明】

【0060】

【図1】サラウンドビューシステムを持つ車両が、地上平面の標識の第一セットを通りすぎるところを示す図である。

【図2】図１の標識セットを示し、図１の車両は第二ポジションにあることを示す図である。

【図3】図１の標識セットを示し、図１の車両は第三ポジションにあることを示す図である。

【図4】サラウンドビューシステムを持つ車両が、標識の第二セットを通りすぎるところを示す図である。

【図5】地上平面への投影を示す図である。

【図6】地上平面への投影の詳細を示す図である。

【図7】図１、または図４の標識を用いて、外部カメラ範囲を決定する手順を示す図である。

【図8】水平カメラ方向を決定する第一手順を示す図である。

【図9】水平カメラ方向を決定する第二手順を示す図である。

【図10】車両の変換を決める手順を示す図である。

【図11】標識のサイズによりカメラの垂直な向きを決める手順を示す図である。

【図12】標識のサイズによりカメラの水平な向きを決める手順を示す図である。

【発明を実施するための形態】

【0061】

次の説明では、本明細書の実施形態の詳細が説明されている。しかし、熟練した者にとっては、そのような実施形態は必要でないと思われるかもしれない。

【0062】

図１から３は車両１０への標識２１−２７の相対的な位置を示し、車両１０は標識２１−２７上を運転し、車両の光学認証システムは一つまたは複数の車両カメラ１２、１３、１４、１５を用いて連続動画を撮影する。

【0063】

図１はサラウンドビューシステム１１を持つ車両１０を示す。サラウンドビューシステム１１は正面図カメラ１２、右横図カメラ１３、左横図カメラ１４、及び後ろ図カメラ１５から構成される。カメラ１２−１５はコントローラーのＣＰＵに接続により示される。車両調整システムＸ’，Ｙ’，Ｚ’は、車両と提携されており、それは図１には示されていない。

【0064】

図１で世界調整システムが座標ｘ、ｙ、ｚにより、車両調整システムが座標Ｘ’，Ｙ’，Ｚ’しており、重力の中心、前軸の中心あるいはそれらの点から地上表面への投影などで車両に設置されている。同様に、世界調整システムＸ，Ｙ，Ｚは例えば時刻ｔ＿０における車両調整システムの位置と方向、などのように、周囲の一点を示す。

【0065】

調整システムの向きと位置は例によって示され、異なっていてもよい。例えば、ｚ軸も図４で示されるように、下向きでもよい。

【0066】

図１は車両１０が補正標識のセットまたは標識２１から２７を通りすぎる時に、それらが地上表面１６に並べられている。矢印５は車両１０の方向と速度を示す。図１の実施形態では、標識２１から２７はそれらの境界２０により示される。標識２１から２５は共通の黒でぬられており、標識２６と２７は白黒模様を構成する。色は反射成分を含んでいてもよい。

【0067】

図１に示されるように、方向５は車両の運転方向で、標識と提携している必要はない。車両と標識との相対的な方向は知られていないとしても、水平面ｘ−ｙのカメラ４台の相対的な方向と垂直ｚ軸に関連してカメラの傾きを定めることは可能である。

【0068】

図４は車両１０が地上表面１６の二つ目の補正標識パターンを通りすぎることを示す。図１の標識と異なり、図４の標識は初めのタイプの標識２８、２９、３１、２１を構成し、それらはチェッカーボード模様の補正模様を持ち、二つ目の標識３０は放射状または星型の補正パターンを持つ。

【0069】

図５と６は下向きの投影あるいは地上平面への投影を示す。

【0070】

図５は横の上昇を示し、右のカメラ１３を用いて地上平面投影を行っている。カメラが地上Ｈの高さに位置されれば、角度θへの投影は地上表面のストレッチＨ＊ｃｏｓ（θ）に対応する。

【0071】

図６はビューポート平面と地上平面を示す。図６は下向きの視野で地上平面はビューポート平面と平行である。一般的に、地上平面はカメラセンサーの平面に関しては傾けることができ、それは像平面とも呼ばれる。図６の下向きの視野は垂直軸に関連するカメラの方向を得て、地上平面と平行になるように像平面を回転させて得られる。

【0072】

ビューポート平面の一点１７はｐ＝（ｕ，ｖ）によって表示され、それに対応する地上平面１６の地点はＰ＝（Ｘ，Ｙ）にて示される。ビューポート平面１７と投影中心Ｃとの距離は“ｆ”にて示される。

【0073】

図１のサラウンドビューシステムでは各カメラの下向きの視野が組み合わされ、車両の周囲の下向きの視野が得られ、それは車両の上に位置し、地上表面と平行に調整されているカメラが撮影して得られるのと同様な下向きの視野である。

【0074】

例として、各カメラの画像を組み合わせるのは、カメラの知っている部分の視野とカメラの知っているあるいは計算されたカメラの方向及び・あるいは各カメラの画像の対応する特徴を認識することにより得られる。

【0075】

図７は外部カメラ範囲のカメラ補正について、補正標識を本明細書にて並べることで行っている。図１と４はそのような並べ方を示す。しかし、補正標識の並べ方は図１と４の実施形態に限られない。

【0076】

外部カメラ範囲の自動的な判断は、補正標識を本明細書により並べることにより、カメラ調整システムを世界調整システムにつなげる。

【0077】

ステップ４０では、カメラから得た画像データが処理される。ステップ４１では、標識境界は、例えばホフ変形の頂点を使い、及びまたは地点を視点が投影されるビューポイントの点（ｕ，ｖ）にユニットの領域をまとめることにおり認識される。標識の認証された境界は、保存された既定の標識の形状範囲と比較される。

【0078】

既定の標識の形状範囲は、コンピューター読み取り可能な記憶媒体に保存され、中でも、車両カメラの外付けメモリとして、あるいは車両カメラにつなげられた計算ユニットのメモリとして、車両カメラの記憶媒体により提供される。

【0079】

ステップ４２では、標識のパターンが認識され、標識がパターンを形成するのであれば、認識されたパターンは既定パターンの保存された形状と比較される。マッチする既定の標識があれば、標識範囲とパターンに対応し、画像の対応する画素数は既定標識の画素数として認識される。

【0080】

ステップ４３では、標識の既定の形状と標識サイズ及び標識パターンを用いて、カメラの搭載高ｚと垂直方向ｘ，ｙ，ｚが決定される。

【0081】

図８から１１はステップ４２を実行する例を示し、図１２はステップ４３を実行する例を示す。

【0082】

図８では、初めの破線５０が水平平面ｘ−ｙの前面カメラ１２のセンサー平面の方向を示し、二つ目の破線５１は水平平面ｘ−ｙの右カメラ１３のセンサー平面の方向を示す。

【0083】

例として、パターン２７の前部左角から前方カメラ１２をつなぐ線は前方カメラのセンサー平面５０に関してα_２の角度で傾斜しており、パターン２７の前部左角から右カメラ１３をつなぐ線は、右カメラのセンサー平面５１に関してα_１の角度で傾斜している。

【0084】

ひとつの実施形態では、センサー平面５０、５１の水平平面での相対的な方向は、角度α_１とα_２と間の差を計算して決定される。この推定は複数のパターンの複数の参照点を用い、平均値を出す、単一の画像フレームからの参照点ではなく、複数の画像フレームからの参照点を用いる、などによって向上する。

【0085】

ひとつの実施形態では、水平平面ｘ−ｙのカメラ１２、１３、１４の絶対方向は参照カメラとの比較により設定され、それは知られている方向である。参照カメラは例えば車両のウインドスクリーンの後ろなど、カメラの方向を変えるような衝撃を受けにくい場所、に設置される。

【0086】

図９は二つめの方法で、パターン２１から２７の直線の方向を用いて、水平平面ｘ−ｙのカメラ１２、１３、１４、１５の方向が決定される。標識境界により直線が提供される、あるいは標識の内部の模様により直線が得られる。

【0087】

例として、パターン２５の右正面の境界は、前方カメラ１２のセンサー平面５０に関してγ_２の角度で傾斜しており、パターン２７の正面の境界は、前方カメラ１２のセンサー平面に関してβ_２の角度で傾斜している。

【0088】

さらに、パターン２７の前方境界は、右カメラ１３のセンサー平面に関してβ_１の角度で傾斜している。図４の例では、標識は平行に並べられ、互いに既定の距離を保っている。既定の平行の並べ方と距離を用いて、カメラの外部カメラ範囲を得られる。この場合、標識の相対的な方向及び・またはそれらの相対的な距離も計算ユニットのコンピューター読み取り可能な記憶媒体に保存されている。

【0089】

図１０は車両１０の変換を決定する方法を示す。例として、パターン２２の前方表面は車両１０の第一位置にδの角度で延長し、車両１０の第二位置にδ’の角、位置ではεの角度で下に現れ、第二位置ではε’の角度で下に現れる。

【0090】

図１０に示される車両１０の直線走行では、パターン２５、２７の境界線はカメラ１２、１３のセンサー平面５０、５１、に関連して同じ角度で下に現れる。

【0091】

車両１０にて得られる動きから外部カメラ範囲の予測が向上させることができ、特にカメラの方向の予測を向上させることができる。

【0092】

図１１は垂直に関連してカメラの傾斜予測の方法を示す。パターン２６の対角は右カメラ１３から見るとω_２の角度で現れ、パターン２５の対角は右カメラ１２から見るとω_１の角度で現れる。パターン２６の対角パターンの明らかな大きさを用いて、カメラ１３とパターン２６の距離が得られる。カメラ１３の既知の上昇ｚを用いて、垂直に対してその下に現れるパターンの角度φはφ＝ａｒｃｓｉｎ（Ｚ／ｄ）として得られる。

【0093】

角度φはパターンからカメラ１３へのつなぎ線とカメラ１３のセンサー平面間の角度と比較される。それにより、垂直あるいは水平に対する右カメラ１３のセンサー平面の傾きが決定される。この予測は、複数の標識の境界線を用い、複数のフレーム、あるいは双方の対角、標識の内部パターンを使用するなど、さらに多くの標識形状範囲を用いるなどにより向上する。

【0094】

特に、センサー平面の傾きは、パターンの角度、形状範囲、複数の画像フレームのパターンの加重平均を計算して得られる。ひとつの実施形態では、正確度の低い予測には少しの重きしかおかない、など予測の正確さにより加重平均の重きを調整する。例えば、傾斜角度の正確さは、通常カメラからより遠く離れて位置する標識に基づく予測は低い。

【0095】

図１２はさらに標識サイズにより水平及び・または垂直カメラ方向のさらなる決定方法を示す。例として、標識２７の前方境界は、前方カメラ１２から見た場合ω_１の角度で延長し、右カメラ１３から見た場合はω_２の角度となる。この前方カメラ及びこの右カメラから標識２７までのそれぞれの距離ｄ_１、ｄ_２は、角度ω_１，ω_２と記憶された当該標識の実際のサイズ及び形状とを入力値として用いて計算される。さらに、距離ｄ_３は車両の既知のカメラ位置を用いて計算される。

【0096】

それにより、三角形の全三角度、それは前方カメラ１２、マーカー２７、及び右カメラ１２によって形成され、がわかる。さらに、前方カメラ１２、右カメラ１３、及び標識２７の上昇もすべて既知である。これにより三次元の三角の方向を決定できる。

【0097】

補正標識のサイズ、三角形の方向を用い、水平及び垂直カメラ方向、あるいは各カメラセンサー平面の方向が得られる。正確さを増すために、この手順は複数の標識、複数のフレーム及び対角、前方後方の境界、など複数のフレームと各標識の形状範囲の間で繰り返される。

【符号の説明】

【0098】

１０ 車両
１１ サラウンドビューシステム
１２ 前方カメラ
１３ 右カメラ
１４ 左カメラ
１５ 後方ビューカメラ
１６ 地上平面
２１−２７ 標識
２８−３２ 標識
４０−４８ 方法の手順
５０ センサー平面
５１ センサー平面
５２ 変換

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】