知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-30
(45)【発行日】2023-04-07
(54)【発明の名称】カメラ較正のための方法、システムおよびコンピュータ可読媒体
(51)【国際特許分類】
G06T 7/80 20170101AFI20230331BHJP
【ＦＩ】
G06T7/80
【請求項の数】
13
(21)【出願番号】P 2019568364
(86)(22)【出願日】2018-07-05
(65)【公表番号】
(43)【公表日】2020-08-27
(86)【国際出願番号】 HU2018000031
(87)【国際公開番号】W WO2019008402
(87)【国際公開日】2019-01-10
【審査請求日】2021-04-27
(31)【優先権主張番号】15/641,491
(32)【優先日】2017-07-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518289852
【氏名又は名称】エーアイモーティブ ケーエフティー．
(74)【代理人】
【識別番号】100082072
【弁理士】
【氏名又は名称】清原 義博
(72)【発明者】
【氏名】フェギベル，ゾルタン
(72)【発明者】
【氏名】バルセギ，クリストフ
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２００８－１９３１８８（ＪＰ，Ａ）
【文献】特開２０１３－２３１９００（ＪＰ，Ａ）
【文献】米国特許第０６７６８５０９（ＵＳ，Ｂ１）
【文献】特開２００８－１２５８８１（ＪＰ，Ａ）
【文献】特開２０１３－０４５２７６（ＪＰ，Ａ）
【文献】岡本 寛也, 外３名，既知パターンを用いた複数魚眼カメラの外部パラメータ推定，ＳＳＩＩ２０１３ 第１９回画像センシングシンポジウム 講演論文集，日本，画像センシング技術研究会，2013年06月12日，pp.IS2-14-1～IS2-14-8
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ３／００ － ３／６０
Ｇ０６Ｔ ５／００ － ５／５０
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｈ０４Ｎ ５／２２２ － ５／２５７
Ｈ０４Ｎ ７／１８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
マルチパターン較正リグ（１５２）を使用することによって、カメラ（２１０、２１１、２１２、２１３、２１４）を較正する方法であって、各パターン（１２３）は反復的であるとともに、較正形状（１２４）を備え、前記方法は、前記カメラ（２１０、２１１、２１２、２１３、２１４）を用いて前記マルチパターン較正リグ（１５２）の画像（１２６）をキャプチャする工程と、
前記画像化された前記較正形状（１２４）の輪郭（１６２）をセグメント化する工程と、
前記形状の類似性を判定する工程と、
前記形状の前記類似性およびそれらの互いからの距離に基づいてコヒーレントな輪郭（１６２）の群（１７２）を構築する工程と、
前記輪郭の群（１７２）に基づいて、前記画像（１２６）内の各パターン（１２３）の位置（１８２）を識別する工程と、を含み、
ここにおいて、
前記形状の前記類似性を判定する工程は、前記輪郭（１６２）の領域の大きさを計算する工程と、１つの輪郭（１６２）の領域の大きさを別の輪郭（１６２）の領域の大きさと比較する工程と、
２つの前記領域の大きさの相対的な差が所定の制限以下である場合、前記領域の大きさは同じであると判定する工程とによりそれらのそれぞれの領域の前記類似性を判定する工程と
、を
含む、方法。
【請求項2】
少なくとも以下の条件が満たされている場合：２つの領域の大きさのより小さい領域の大きさが他の領域の大きさの５０％より大きく、２つの半径のより小さい半径が他の半径の５０％より大きく、前記輪郭（１６２）の最も近い点の距離が前記２つの半径のうちより大きい半径の１５０％未満である場合、それぞれがそのそれぞれの面積およびそれぞれの半径を有する包含円を有する、任意の２つの輪郭（１６２）は同じ群（１７２）に属することを特徴とする、請求項１に記載の方法。
【請求項3】
前記群（１７２）は、その中の輪郭（１６２）の数がそれぞれのパターン（１２３）内の前記較正形状（１２４）の数から１０％を超えて異ならない場合、有効な群（１７２）として受け入れられることを特徴とする、請求項２に記載の方法。
【請求項4】
前記画像（１２６）内の各パターン（１２３）の位置を識別する工程は、前記群のそれぞれに対して凸包を生成する工程と、各パターン（１２３）の前記凸包（１８３）の位置を、前記画像（１２６）内の前記それぞれのパターン（１２３）の位置として識別する工程と、を含むことを特徴とする、請求項３に記載の方法。
【請求項5】
前処理工程は、前記輪郭（１６２）をセグメント化する前に、キャプチャされた画像（１２６）上で実行され、前記前処理工程は、前記画像（１２６）の他の部分から画像化された較正形状（１２４）をセグメント化し、それによって、前記画像の他の部分が１つの２進値を用いて表され、前記画像化された較正形状（１２４）が他の２進値を用いて表される２値画像を生成する工程と、を含むことを特徴とする、請求項１に記載の方法。
【請求項6】
前記前処理工程は、前記画像化された較正形状（１２４）間の接続を切断するための形態学的収縮および膨張、照明における変動を除去するためのしきい値処理、および／または
前記画像化された較正形状（１２４）間の任意の残りの接続を切断するためのブリッジピクセル較正形状（１２４）検出および除去する工程
をさらに含むことを特徴とする、請求項５に記載の方法。
【請求項7】
輪郭フィルタリング工程は、前記輪郭（１６２）をセグメント化した後実行され、前記輪郭フィルタリング工程は、前記輪郭（１６２）の各々に対して形状パラメータを計算する工程、およびその形状パラメータが所定の範囲内である場合、前記輪郭（１６２）を有効な輪郭（１６２）として受け入れる工程を含むことを特徴とする、請求項５に記載の方法。
【請求項8】
各輪郭（１６２）は、領域を包含する境界を含み、前記形状パラメータは、前記輪郭の前記周囲の２乗を前記輪郭の前記面積で除算することによって取得され、前記所定の範囲は、少なくとも２．５～２５の範囲内であることを特徴とする、請求項７に記載の方法。
【請求項9】
前記輪郭（１６２）は面積を有し、前記形状パラメータは前記輪郭（１６２）の前記面積であり、前記所定の範囲は少なくとも１０ピクセルと前記画像（１２６）の全面積の２％との間であることを特徴とする、請求項７に記載の方法。
【請求項10】
前記較正パターン（１２３）は、市松模様または円のグリッドであることを特徴とする、請求項１に記載の方法。
【請求項11】
前記カメラ（２１０、２１１、２１２、２１３、２１４）は車両（２９０）内に配置されていることを特徴とする、請求項１に記載の方法。
【請求項12】
カメラ較正システムであって、少なくとも１つのカメラ（２１０、２１１、２１２、２１３、２１４）とマルチパターン較正リグ（１５２）とを備え、各パターン（１２３）は反復的であるとともに、較正形状（１２４）を備え、前記システムは、前記少なくとも１つのカメラ（２１０、２１１、２１２、２１３、２１４）に接続され、請求項１～１０のいずれかに記載の方法の工程を実行するように適合されたコンピュータデバイスも含むことを特徴とする、カメラ較正システム。
【請求項13】
マルチパターン較正リグ（１５２）を使用してカメラ（２１０、２１１、２１２、２１３、２１４）を較正するための非一時的なコンピュータ可読媒体であって、各パターン（１２３）は反復的であるとともに、較正形状（１２４）を備え、
前記コンピュータ可読媒体は、プロセッサ上で実行される場合、前記プロセッサに請求項１～１０のいずれかに記載の方法の工程を実行させる、前記コンピュータ可読媒体上に格納された命令を含むことを特徴とする非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マルチパターン較正リグを使用することによるカメラ較正のための方法、システムおよびコンピュータ可読媒体に関する。カメラ較正を適用する非限定的な例は、車両の例であり、より具体的には、組み立て中に自律型車両のカメラを較正することである。
【背景技術】
【0002】
最近では、カメラベースのアプリケーションは、セキュリティシステム、交通監視、ロボット工学、自律型車両などの多数の分野において人気を獲得した。カメラ較正は、マシンビジョンベースのアプリケーションを実行する際に不可欠である。カメラ較正は、レンズの歪みによって影響されることなく、３次元（３Ｄ）環境がカメラの２次元（２Ｄ）画像平面上にどのように投影されるかを（数学的におよび正確に）決定するために、カメラパラメータを取得するプロセスである。カメラパラメータは、例えば、焦点距離、スキュー、歪みなどであり得る。典型的には、カメラパラメータは、異なる視界からの較正パターンの複数の画像をキャプチャすることによって決定される。その後、較正パターンにおける特定のキーポイントの投影（例えば、チェッカーボードパターンの場合の内側の角）は、キャプチャされた画像上で検出される。その後、較正パターンの投影されたキーポイントは、カメラを較正するための従来のカメラ較正アルゴリズムによって使用される。例えば、狭い視野のカメラ用のＯｐｅｎＣＶピンホールカメラモデル（＜ｈｔｔｐ：／／ｄｏｃｓ．ｏｐｅｎｃｖ．ｏｒｇ／２．４／ｍｏｄｕｌｅｓ／ｃａｌｉｂ３ｄ／ｄｏｃ／ｃａｍｅｒａ＿ｃａｌｉｂｒａｔｉｏｎ＿ａｎｄ＿３ｄ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．ｈｔｍｌ＞で入手可能な、ＯｐｅｎＣＶ Ｄｅｖ Ｔｅａｍ，２０１６，Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）、カメラ較正用に異なる種類のカメラパラメータを使用する反射屈折カメラおよび魚眼カメラ用のＯＣａｍ－Ｃａｌｉｂモデル（＜ｈｔｔｐｓ：／／ｓｉｔｅｓ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｉｔｅ／ｓｃａｒａｂｏｔｉｘ／ｏｃａｍｃａｌｉｂ－ｔｏｏｌｂｏｘ＞で入手可能な、Ｄａｖｉｄｅ Ｓｃａｒａｍｕｚｚａ，２００６，ＯＣａｍＣａｌｉｂ：Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ）などのさまざまな数学モデルがある。
【0003】
上述のように、最も広く使用されるカメラ較正方法は、較正パターンの複数のビューから取得された画像を処理する。しかしながら、そのような画像のシーケンスのキャプチャには時間がかかりすぎる可能性があり、複雑すぎて大量生産工場に収まらない場合がある。カメラ較正アルゴリズムは、通常、較正パターンの約１０～３０画像を必要とする。写真を撮影した後、複数の画像を取得し、較正パターン（またはカメラ）を複数回適切に再配置するには時間がかかり、カメラ操作者の細心の注意を必要とする。従来のパターン検出アルゴリズムは、キャプチャされた画像内の較正オブジェクトを特定するために、コーナー検出を使用する。これらのパターン検出アルゴリズムは、特定の較正パターンを含む単一のボードのみを検出するように設計されている。さらに、検出が、画像キャプチャプロセス中に存在する照明変動およびノイズに起因して、しばしば失敗する。
【0004】
カメラの較正のために通常使用される較正パターンの一例は、チェッカーボードである。チェッカーボードのコーナーおよびエッジは、２つの最も重要な特徴である。チェッカーボードのコーナーを検出するために使用される一般的な方法には、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓコーナー検出アルゴリズム、最小単値セグメント同化核（ＳＵＳＡＮ）コーナー検出アルゴリズム、Ｘ－コーナー検出アルゴリズムなどがある。ハフ変換は、適切な線のセットを識別し、チェッカーボードパターンを特定するために、エッジ上で使用され得る。チェッカーボードを見つけるための別のアプローチは、特定のサイズのチェッカーボードに対するチェッカーボードの画像内の内部穴の数を計算することに基づいている。モルフォロジー演算は、輪郭を検出するために入力画像上に適用されることができ、階層ツリーが輪郭から構築される。チェッカーボードは、所定の数の穴を有する輪郭が見つけられた場合正しく識別されると見なされる。別の広く使用される較正パターンは楕円であるが、コーナーおよび線は、その場合に存在しない。
【0005】
最小限の人間の介入で動作する自律型車両は、人々および物を運搬するのに使用され得る。典型的には、自律型車両の中には、操作者からの初期入力を必要とするものがあるが、自律型車両のその他の設計は、常に操作者の制御下にある。自律型車両の中には、リモートによって完全に操作され得るものがある。従来の自律型車両は、自律型車両の動作の制御を容易にするために複数のカメラを装備されている。したがって、各カメラは、自律型車両の信頼性の高いかつ安全な動作を確保するために、較正される必要がある。
【0006】
カメラ較正オブジェクト、好ましくはチェッカーボードパターンの画像上の関心点を決定するための方法が、米国特許第６，７６８，５０９Ｂ１号に開示されている。較正形状の輪郭はこの目的のために抽出されるが、既知の方法は複数の較正パターンを用いて較正するのに適していない。
【0007】
マルチカメラシステムの較正は、米国特許出願公開第２０１６／００７３１０１Ａ１号において既に開示されている。開示されたマルチターゲットカメラの較正は、複数のターゲットの１つ以上の画像をキャプチャする複数のカメラを使用することによって達成される。マルチボードターゲットの画像もキャプチャされ得る。しかしながら、１つのチェッカーボードのみの画像が、一度にキャプチャされる。これらの既知の技術には、他のボードとの相対的な位置により個々のボードを識別することによって、マルチボードターゲットの各チェッカーボードをつなぎ合わせることが含まれる。マルチボードターゲットの各チェッカーボードは、個別にキャプチャされ得、その後、他のチェッカーボードがキャプチャされる間は抑制される。次に、チェッカーボード画像は、それらの相対的な位置に基づいて、較正のためにつなぎ合わされ得る。したがって、既知のシステムは、個々のパターン処理の上述の欠陥を排除しない。
【0008】
複数の較正パターンが画像内にキャプチャされ、画像内のこれらのパターンの位置が決定されると、カメラは、既知の手段、例えば、
－Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ（２００９）；Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ；ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２２（１１），ｐｐ．１３３０－１３３４；
－Ｊｅａｎ－Ｙｖｅｓ Ｂｏｕｇｕｅｔ（２０１５）；Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ；ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／；
－Ｓｃａｒａｍｕｚｚａ， Ｄ．， Ｍａｒｔｉｎｅｌｌｉ， Ａ． ａｎｄ Ｓｉｅｇｗａｒｔ， Ｒ．（２００６）；Ａ Ｔｏｏｌｂｏｘ ｆｏｒ Ｅａｓｙ Ｃａｌｉｂｒａｔｉｎｇ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｃａｍｅｒａｓ；Ｐｒｏｃｅｅｄｉｎｇｓ ｔｏ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ ２００６）に開示される既知の手段によって、較正され得る。
－Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ（２００９）；Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ；ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２２（１１），ｐｐ．１３３０－１３３４；
－Ｊｅａｎ－Ｙｖｅｓ Ｂｏｕｇｕｅｔ（２０１５）；Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｏｏｌｂｏｘ ｆｏｒ Ｍａｔｌａｂ；ａｖａｉｌａｂｌｅ ａｔ：ｈｔｔｐ：／／ｗｗｗ．ｖｉｓｉｏｎ．ｃａｌｔｅｃｈ．ｅｄｕ／ｂｏｕｇｕｅｔｊ／ｃａｌｉｂ ｄｏｃ／；
－Ｓｃａｒａｍｕｚｚａ， Ｄ．， Ｍａｒｔｉｎｅｌｌｉ， Ａ． ａｎｄ Ｓｉｅｇｗａｒｔ， Ｒ．（２００６）；Ａ Ｔｏｏｌｂｏｘ ｆｏｒ Ｅａｓｙ Ｃａｌｉｂｒａｔｉｎｇ Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ Ｃａｍｅｒａｓ；Ｐｒｏｃｅｅｄｉｎｇｓ ｔｏ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ ２００６）に開示される既知の手段によって、較正され得る。
【0009】
しかしながら、従来技術は、特に大量生産での組立中の自律型車両に対する、キャプチャ画像における複数パターンのための迅速かつ信頼性の高い位置決定を可能にすることにより、カメラ較正の速度を改善する技術が不足している。従来技術はまた、カメラ較正中のノイズおよび照明変動に対する堅牢性を改善する技術が不足している。
【発明の概要】
【0010】
従来技術における前述の欠陥に対処および改善することが、本発明の目的である。
【0011】
マルチパターン較正リグを使用することにより、特に自律型車両用の少なくとも１つのカメラを較正することが、本発明の目的である。
【0012】
複数のパターン化されたパネルを備える較正ターゲットが提供される。較正ターゲットは、パターン化されたパネルを保持するマルチパネル、より正確には、マルチパターン較正リグである。マルチパターンン較正リグは、少なくとも２つのパターン化されたパネルで保持する支持構造を備える。パターン化されたパネルには、較正形状の任意の種類の繰り返し較正パターンが提供される。この文脈における繰り返しは、パターンが規則的な間隔で配置された同一の形状を含むことを意味する。例えば、チェッカーボードパターンを有するパターン化されたパネルは、黒または白の正方形を有し得、円のグリッドを有するパターン化されたパネルは、黒または白の円などを有し得る。自律型車両に取り付けられたカメラは、マルチパターン較正リグの画像をキャプチャする。したがって、同一および／または異なる反復較正パターンを含む複数のパターン化されたパネルが、単一の入力画像内にキャプチャされる。一例において、較正リグは、自律型車両から、例えば、約１０メートルの距離に配置され得る。
【0013】
カメラによってキャプチャされた入力画像は、入力画像のバックグラウンドから較正形状の画像をセグメント化するために、前処理されることが好ましい。例えば、適応しきい値処理技術は、照明における変動を除去することにより、較正形状をセグメント化するために使用され得る。
【0014】
較正形状はセグメント化され、好ましくは、画像化された較正形状の輪郭を抽出するためにもフィルタリングされる。輪郭の特性に基づいて演繹的要件を満たさない歪んだ輪郭は、除外される。さらに、輪郭は、輪郭の形状、輪郭のサイズなどに基づいてフィルタリングされ得る。例えば、任意の形状の輪郭は、小さな輪郭または大きな輪郭にフィルタリングされ得る。円形の輪郭は、細長い輪郭、部分的に円形の輪郭、または非円形の輪郭などにフィルタリングされ得る。
【0015】
次に、群は、それらの形状および相対距離（コヒーレントな輪郭）に基づいて、輪郭から構築される。群は、反復パターンの演繹的知識に基づいて形成される。好ましくは、形成された群の一連の境界は、入力画像内の各パターン、さらにパターン化されたパネルの位置（言い換えれば、場所）を識別するために出力される。したがって、マルチパターン較正リグの画像内の各パターンの位置は、それぞれの輪郭グループの位置に対応し、それぞれの輪郭グループの位置として識別される。
【0016】
好ましい用途では、較正されるカメラまたは複数のカメラは、本質的に車、トラック、任意の二輪車または四輪車、交通制御用に構成されたクワッドコプターまたはドローンなどの、自律型車両のカメラである。自律型車両は、主として運転手ありまたは運転手なしで、人々および物体を輸送する。すなわち、自動運転車は自律型車両であると理解される。また、いくつかの状況において自動運転しているが、他の状況において人間の運転手によって運転されている車は、この文脈では自律型車両であると理解される。
【0017】
自律型車両はまた、交通渋滞を制御し、歩行者の安全を確保し、自律型車両のナビゲーションパスのくぼみを検出し、誤った車線逸脱について運転手に警告し、本発明に従って運転手が安全かつ効率的に運転することを支援する多くの支援機能を運転手に実行する。
【0018】
したがって、第１の態様によれば、マルチパターン較正リグを使用することによって、カメラを較正する方法であって、各パターンは反復的であるとともに、較正形状を備え、方法は、
－カメラを用いてマルチパターン較正リグの画像をキャプチャする工程と、
－画像化された較正形状の輪郭をセグメント化する工程と、
－それらの形状および互いからのそれらの距離の類似性に基づいてコヒーレントな輪郭の群を構築する工程と、
－輪郭の群に基づいて、画像内の各パターンの位置を識別する工程と、含む方法が提供される。
－カメラを用いてマルチパターン較正リグの画像をキャプチャする工程と、
－画像化された較正形状の輪郭をセグメント化する工程と、
－それらの形状および互いからのそれらの距離の類似性に基づいてコヒーレントな輪郭の群を構築する工程と、
－輪郭の群に基づいて、画像内の各パターンの位置を識別する工程と、含む方法が提供される。
【0019】
好ましくは、形状の類似性を判定する工程は、
－輪郭の領域の大きさを計算する工程と、
－１つの輪郭の領域の大きさを別の輪郭の領域の大きさと比較する工程と、
－領域の大きさのより小さい方の領域の大きさが他の領域の大きさの所定の割合よりも大きい場合、言い換えると、２つの領域の大きさの間の相対的な差異が所定の制限を下回っている場合、領域の大きさは同じであると判定する工程と、により、それらのそれぞれの面積の類似性を判定する工程と、を含む。
－輪郭の領域の大きさを計算する工程と、
－１つの輪郭の領域の大きさを別の輪郭の領域の大きさと比較する工程と、
－領域の大きさのより小さい方の領域の大きさが他の領域の大きさの所定の割合よりも大きい場合、言い換えると、２つの領域の大きさの間の相対的な差異が所定の制限を下回っている場合、領域の大きさは同じであると判定する工程と、により、それらのそれぞれの面積の類似性を判定する工程と、を含む。
【0020】
もちろん、領域の大きさの間の相対的な差異の制限は、所定の用途のための任意の適した方法で定義され得る。領域の大きさの間の相対的な差異に関して所定の制限を適用するこのような方法は、上記の最後の特徴の意味の範囲内であると理解される。これは輪郭の分類のための新規のアプローチであり、我々の経験によれば、従来技術のアプローチよりもはるかに高い効率および堅牢性を有する。
好ましくは、少なくとも以下の条件が満たされている場合：
－２つの領域の大きさのより小さい領域の大きさが他の面積の５０％より大きく、
－２つの半径のより小さい半径が他の半径の５０％より大きく、
－輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である場合、それぞれがそれぞれの領域の大きさおよびそれぞれの半径を有する包含円を有する、任意の２つの輪郭は同じ群に属する。我々の実験は、このような一連の条件がコヒーレントな輪郭を十分かつ適切にグループ化することを示した。状況（例えば、照明、歪み、使用されるパターンのタイプ）に応じて、より狭い条件さえもこの目的を達成するのに適し得るため、そのようなより厳しい条件は上記の範囲内であり、それにより範囲内であると考えられる。もちろん、２つの比較された領域の大きさまたは２つの比較された半径が同じサイズである場合、上記の各条件も満たされる。つまり、等しいサイズの場合、２つのうちのいずれかが「より小さいサイズ」または「より大きいサイズ」として見なされ得る。さらに、上記の特徴における相対的な差異は、他の適切な方法において定義されることができ、任意の適切な所定の制限を有することができる。面積および／または半径および／または距離に関する相対的な差異がグループ化のための所定の基準である場合、技術的解決策は本発明の範囲内である。
好ましくは、少なくとも以下の条件が満たされている場合：
－２つの領域の大きさのより小さい領域の大きさが他の面積の５０％より大きく、
－２つの半径のより小さい半径が他の半径の５０％より大きく、
－輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である場合、それぞれがそれぞれの領域の大きさおよびそれぞれの半径を有する包含円を有する、任意の２つの輪郭は同じ群に属する。我々の実験は、このような一連の条件がコヒーレントな輪郭を十分かつ適切にグループ化することを示した。状況（例えば、照明、歪み、使用されるパターンのタイプ）に応じて、より狭い条件さえもこの目的を達成するのに適し得るため、そのようなより厳しい条件は上記の範囲内であり、それにより範囲内であると考えられる。もちろん、２つの比較された領域の大きさまたは２つの比較された半径が同じサイズである場合、上記の各条件も満たされる。つまり、等しいサイズの場合、２つのうちのいずれかが「より小さいサイズ」または「より大きいサイズ」として見なされ得る。さらに、上記の特徴における相対的な差異は、他の適切な方法において定義されることができ、任意の適切な所定の制限を有することができる。面積および／または半径および／または距離に関する相対的な差異がグループ化のための所定の基準である場合、技術的解決策は本発明の範囲内である。
【0021】
好ましくは、少なくとも以下の条件が満たされている場合：
－２つの面積のより小さい面積が他の面積の５０％より大きく、
－２つの半径のより小さい半径が他の半径の５０％より大きく、
－輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である場合、それぞれがそれぞれの面積およびそれぞれの半径を有する囲み円を有する、任意の２つの輪郭は同じ群に属する。我々の実験は、このような一連の条件がコヒーレントな輪郭を十分かつ適切にグループ化することを示した。状況（例えば、照明、歪み、使用されるパターンのタイプ）に応じて、より狭い条件さえもこの目的を達成するのに適し得るため、そのようなより厳しい条件は上記の範囲内であり、それにより範囲内であると考えられる。もちろん、２つの比較された面積または２つの比較された半径が同じサイズである場合、上記の各条件も満たされる。つまり、等しいサイズの場合、２つのうちのいずれかが「より小さいサイズ」または「より大きいサイズ」として見なされ得る。さらに、上記の特徴における相対的な差異は、他の適切な方法において定義されることができ、任意の適切な所定の制限を有することができる。面積および／または半径および／または距離に関する相対的な差異がグループ化のための所定の基準である場合、技術的解決策は本発明の範囲内である。
－２つの面積のより小さい面積が他の面積の５０％より大きく、
－２つの半径のより小さい半径が他の半径の５０％より大きく、
－輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である場合、それぞれがそれぞれの面積およびそれぞれの半径を有する囲み円を有する、任意の２つの輪郭は同じ群に属する。我々の実験は、このような一連の条件がコヒーレントな輪郭を十分かつ適切にグループ化することを示した。状況（例えば、照明、歪み、使用されるパターンのタイプ）に応じて、より狭い条件さえもこの目的を達成するのに適し得るため、そのようなより厳しい条件は上記の範囲内であり、それにより範囲内であると考えられる。もちろん、２つの比較された面積または２つの比較された半径が同じサイズである場合、上記の各条件も満たされる。つまり、等しいサイズの場合、２つのうちのいずれかが「より小さいサイズ」または「より大きいサイズ」として見なされ得る。さらに、上記の特徴における相対的な差異は、他の適切な方法において定義されることができ、任意の適切な所定の制限を有することができる。面積および／または半径および／または距離に関する相対的な差異がグループ化のための所定の基準である場合、技術的解決策は本発明の範囲内である。
【0022】
第２の態様によれば、少なくとも１つのカメラおよびマルチパターン較正リグを備えるカメラ較正システムが提供され、各パターンは反復的であるとともに、較正形状を備え、システムは少なくとも１つのカメラに接続され、上記方法の工程を実行するように適合されたコンピュータデバイスも含む。コンピュータデバイスは、任意の考えられるタイプであり得、カメラに統合され得るか、別個のユニットであり得るか、またはネットワークなどで配布され得る。
【0023】
第３の態様によれば、マルチパターン較正リグを使用してカメラを較正するための非一時的なコンピュータ可読媒体が提供され、各パターンは反復的であるとともに、較正形状を備え、コンピュータ可読媒体は、プロセッサ上で実行される場合、上記方法の工程を実行する、その上に格納された命令を含む。
【0024】
本発明は相当の利点を有する。本発明は、単一の画像でカメラによってキャプチャされる単一の較正ターゲットのみを必要とする。較正ターゲットの正確な予め定義された位置決めの要件も、較正されているカメラを移動するための回転機械の要件もない。したがって、この方法は、較正ターゲットまたはカメラを再配置または回転させる必要がないため、カメラ較正システムは、位置ずれが少ない傾向にある。さらに、本発明は、較正ターゲットの較正パターンの相対位置および向きの正確な知識を必要としない。画像中にキャプチャされた各較正パターンは、それらのそれぞれの位置および向きに関係なく検出され、処理される。カメラ較正システムは、複数の較正ターゲットを使用する必要なく、カメラの単一の視野内に複数の較正パターンを含めるという点で実質的に柔軟である。したがって、本発明は、例えば、自動車製造業者向けに、生産時間の削減および生産エラーの最小化に役立つ。
【0025】
本発明の好ましい実施形態は、自動車組立工場のコンベヤーベルトシステム上での自律型自動車の組み立てであると考えられる。自律型自動車は、複数の場所、例えば、ヘッドライトまたはテールライトの近く、ドアの取っ手の近く、自律型自動車の屋根の上に設置されたカメラを備える。２つのマルチパターン較正リグは、自律型自動車から約１０メートル離れて配置され得る。一方のマルチパターン較正リグは、自律型自動車の前側に面して配置され、他方のマルチパターン較正リグは、自律型自動車の後側に面して配置される。自律型自動車がコンベアベルトシステム上で組み立てられている間、カメラはマルチパターン較正リグの画像をキャプチャする。画像は、画像内の背景（または他の部分）、例えば、マルチパターン較正リグのパターン化されたパネルに関連しない部分から較正形状をセグメント化するために、前処理されることが好ましい。較正形状の輪郭は、セグメント化およびフィルタリングされ、コヒーレントな輪郭は、それらの形状および／または位置に基づいて一緒にグループ化される。各パターンの位置、ひいては、それぞれのパネルの位置は、輪郭グループに基づいて識別され、それによって自律型自動車の各カメラを較正する。本発明は、組立段階の間に自律型自動車のカメラを時間効率よく較正することを可能にし、それにより大量生産に使用されるのに適したものにする。
【0026】
さらに好ましい実施形態は、従属請求項に記載および定義されている。
【図面の簡単な説明】
【0027】
【図1A】フロー図として、本発明に係る、自律型車両の少なくとも１つのカメラを較正する方法の実施形態１１を示す。
【図1B】画像化されたパターン化パネルをスクリーンショット図として示すコンピュータプログラム製品のユーザインターフェースの実施形態１２を示す。
【図1C】本発明の機能を示す実験に関連する、較正されるカメラによってキャプチャされる入力画像の前処理段階のグラフ表示の実施形態１３を示す。
【図1D】本発明の機能を示す実験に関連する、ブリッジピクセルのグラフ表示を用いた実施形態１４を示す。
【図1E】スクリーンショット図として、本発明に係る、複数のパターン化されたパネルを含むマルチパターン較正リグを示すコンピュータプログラム製品のユーザインターフェースの実施形態１５を示す。
【図1F】スクリーンショット図として、本発明に係る、パターン化されたパネルのフィルタリングされた輪郭を示すコンピュータプログラム製品のユーザインターフェースの実施形態１６を示す。
【図1G】スクリーンショット図として、本発明に係る、輪郭グループを示すコンピュータプログラム製品のユーザインターフェースの実施形態１７を示す。
【図1H】スクリーンショット図として、本発明に係る、マルチパターン較正リグ上の各パターン化されたパネルの識別された位置を示すコンピュータプログラム製品のユーザインターフェースの実施形態１８を示す。
【図2A】ブロック図として、本発明に係るカメラ較正システムの実施形態２０を示す。
【図2B】本発明に係るカメラ較正システムの実施形態２１の概略図を示す。
【図3】スクリーンショット図として、本発明に係る自律型車両のカメラの較正を示すコンピュータプログラム製品のユーザインターフェースの実施形態３０を示す。
【図4A】フロー図として、本発明に係る、マルチパターン較正リグを用いて自律型車両のカメラを較正するためのより精巧な方法の実施形態４０を示す。
【図4B】フロー図として、本発明に係る、マルチパターン較正リグを用いて自律型車両のカメラを較正するためのより精巧な方法の実施形態４０を示す。
【図5】本発明に係る、自律型車両のダッシュボード上に表示される異なるカメラ較正段階を備えたより精巧なカメラ較正システムの別の実施形態５０を示す。
【図6】スクリーンショット図として、本発明に係る、自律型車両の複数のカメラの較正を示すコンピュータプログラム製品のユーザインターフェースの実施形態６０を示す。
【図7A】本発明に係る、複数のパターン化されたパネルを含むマルチパターン較正リグの実施形態７１を示す。
【図7B】スクリーンショット図として、本発明に係る、パターン化されたパネルを含むマルチパターン較正リグを示すコンピュータプログラム製品のユーザインターフェースの実施形態７２を示す。
【図8A】本発明に係る、マルチパターン較正リグの支持構造の実施形態８１を示す。
【図8B】本発明に係る、支持構造のボールジョイントマウントの実施形態８２を示す。
【図8C】本発明に係る、パターン化されたパネルを保持する支持構造のボールジョイントマウントの実施形態８３を示す。
【図9A】本発明に係る、較正パターン９１～９３の異なる実施形態を示す。
【図9B】本発明に係る、較正パターン９１～９３の異なる実施形態を示す。
【図9C】本発明に係る、較正パターン９１～９３の異なる実施形態を示す。
【発明を実施するための形態】
【0028】
本開示は、カメラを較正するための非一時的なコンピュータ可読媒体上のカメラ較正方法、システム、およびコンピュータプログラム製品を提供する。以下では、非限定的な例として、自律型車両の少なくとも１台のカメラの較正が記載される。カメラ較正は、マルチパターン較正リグと、自律型車両に取り付けられた１つ以上のカメラとを備える。マルチパターン較正リグは、自律型車両のカメラを較正するために使用される複数のパターン化されたパネルを備える。実装例では、自動組立工場内のコンベヤーベルトシステム上で自律型車両を組み立てる間、カメラは較正される。較正されるカメラは、パターン化されたパネルを保持するマルチパターン較正リグの画像をキャプチャする。画像は、画像の背景（または他の部分）から較正形状をセグメント化するために前処理されることが好ましい。画像化された較正形状の輪郭がセグメント化される。好ましくは、輪郭も所定のフィルタリング基準に基づいてフィルタリングされる。輪郭は、それらの形状の類似性およびそれらの互いからの距離に基づいてグループ化される。マルチパターン較正リグ上の各パターン（および各パターン化されたパネル）の位置は、輪郭の群に基づいて識別される。本明細書に記載の本発明の原理によれば、工場での用途に適した時間効率的かつ強固なカメラ較正プロセスが達成される。
【0029】
図１Ａは、本発明に係る、自律型車両の少なくとも１つのカメラを較正するための方法の実施形態１１をフロー図として示す。本方法は、本明細書の他の部分において説明されるように、例えば図２Ａ、図２Ｂ、または図５における実施形態２０、２１、または５０と同一または同様のシステムにおいて実施され得る。本方法のエンドユーザは、それぞれ、図１Ｅ、１Ｆ、１Ｇ、１Ｈ、３、６および７Ｂにおける実施形態１５、１６、１７、１８、３０、６０、および７２を用いて開示されたものと同一または同様のユーザインターフェースを使用することができる。
【0030】
自律型車両のカメラを較正する方法は、複数のパターン化されたパネルを含むマルチパターン較正リグを発明的な方法で含む。一例において、マルチパターン較正リグは、少なくとも２つのパターン化されたパネルを備える。パターン化されたパネルには、較正形状を含む較正パターンが設けられる。較正パターンは、明確に定義された繰り返しパターンである。較正形状は、類似の形状および幾何学的に十分に整列されたオブジェクトの結合体を指す場合がある。較正形状は、例えば、正方形、円、楕円などであり得る。一例では、較正パターンは、較正形状として黒い正方形または白い正方形を含むチェッカーボードパターンであり得る。別の例において、較正パターンは、特定の形状、サイズ、または色の円で作製された較正形状を含む円のグリッドであり得る。
【0031】
工程１１０において、カメラはマルチパターン較正リグの画像をキャプチャする。キャプチャされた画像は、カメラの較正を実行するための入力画像として使用され得る。カメラは、例えば、ピンホールカメラ、デジタルカメラ、ビデオカメラ、リモートカメラ、口紅型カメラ、ＣＭＯＳセンサー付きカメラ、ＣＣＤ付きカメラ、短距離カメラ、長距離カメラ、および／または魚眼カメラなどであり得る。一実施形態において、カメラは、マルチパターン較正リグの画像をキャプチャするために、例えば、自律型車両の前面、後面、上面、および／または底面上に配置され得る。例えば、カメラは、ヘッドライトまたはテールライトの近く、車両移動の方向に面するダッシュボード上、自律型車両の屋根またはフード上、自律型車両の運転者に面するダッシュボード、運転者の座席、バックミラーの近く、自律型車両の１つまたは各ドアなどに配置され得る。
【0032】
一実施形態において、複数のマルチパターン較正リグの画像を同時にキャプチャし、すべてのカメラを同時に較正するために、自律型車両における複数の場所に複数のカメラが設置され得る。実装例では、自律型車両を組み立てるために使用されるコンベヤーベルトシステム内の異なる場所に配置された複数のマルチパターン較正リグがあり得る。例えば、マルチパターン較正リグは、カメラを含む自律型車両から約１０メートル離れて配置され得る。
【0033】
任意の工程１１１において、入力画像は、入力画像の背景（または残りの部分）から撮像された較正形状、例えば正方形、円などをセグメント化するために前処理されることが好ましい。画像化が、画像化された較正形状の自動セグメント化をすでに含む場合、そのような前処理は必要ではない。入力画像内の較正形状が識別され、それにより、入力画像の背景（または他の部分）からの較正形状のセグメント化が容易になる。一実施形態において、較正形状は、較正形状の形状および／またはアラインメントの演繹的知識に基づいてクラスター化される。マルチパターン較正リグ内に保持される各パターン化されたパネルの較正パターンは、背景および前景を有する。背景は、前景の周囲に境界線を形成するように伸長する。前景は、予め定義されたジオメトリおよび予め定義された相互の相対位置を持つ類似形状のオブジェクトである較正形状で構成される。例えば、較正パターンが正方形の較正形状を含む場合、前景は正方形の形状によって形成され、背景は正方形の形状の周囲の境界を形成する画像内の他のコンポーネントによって形成される。背景から（または画像の他の残りの部分）からの画像化された較正形状のセグメント化は、好ましくは、背景（または画像の他の残りの部分）が一方の２進値（例えば、黒）で表されるとともに、画像化された較正形状が他方の２進値（例えば、白）によって表される２値画像の生成を含む。
【0034】
工程１１２において、画像化された較正形状の輪郭のセグメント化および任意のフィルタリングも実行される。較正形状を含む前景が背景から一旦セグメント化されると、輪郭の特性が測定されることが好ましい。輪郭の特性は、例えば、領域の大きさ、別の輪郭からの距離、較正形状の推定される囲み半径に基づいて測定される。輪郭特性は、較正形状の演繹的な知識に基づいて輪郭の特性および特徴を画定する。輪郭特性は、例えば、輪郭領域、凸包の輪郭境界、輪郭形状などであり得る。測定された輪郭特性は、輪郭をフィルタリングするために使用される。例えば、輪郭は輪郭の形状が演繹的な知識と比較して円形すぎると測定される場合、輪郭は歪んでいると見なされ、輪郭セットから除外される。
【0035】
工程１１３において、群は、各輪郭の形状および位置（すなわち相対距離）に基づいて、コヒーレントな輪郭から構築される。コヒーレントな輪郭は、マルチパターン較正リグ上に配置される各パターン化されたパネルの較正パターンの演繹的な知識に基づいて、一緒にグループ化される。例えば、２つの輪郭は、輪郭が形状および／またはサイズにおいて類似している場合、輪郭の群に属し、輪郭間の相対的な位置または距離は、両方の輪郭が密接に配置されることを示唆する。
【0036】
実装例では、最近傍探索アルゴリズムが、コヒーレントな輪郭をグループ化するために使用され得る。予め定義された数の画像化された較正形状は、画像化された較正パターンの演繹的な知識に基づいて、較正パターンを構築するために使用される。較正形状の予め定義された数を有する、または予め定義された数の±１０％の公差を有する輪郭の群が最近傍探索アルゴリズムを使用して識別される場合、その群は有効な群、すなわち、較正ターゲットとして判定される。輪郭の群のための境界ポリゴンは、群の凸包を取ることによって計算される。その結果、境界ポリゴンの形状内の凸包は、入力画像内の異なる較正ターゲットを表すために、コヒーレントな輪郭の各セットを囲む。
【0037】
工程１１４において、画像内の各パターンの位置（および各パターン化されたパネルの位置）が輪郭の群に基づいて識別され、これによりマルチパターン較正リグ上のパターン／パネルの位置が計算され得る。輪郭の群の各セットを囲む凸包は、マルチパターン較正リグ上に配置されるパターン化されたパネルによって形成される画像化された較正ターゲットを表す。マルチパターン較正リグ上の各パターン（またはパターン化されたパネル）の位置が、入力画像内で一旦正確に識別されると、すべての必要な情報が既知の較正方法のいずれかに従ってカメラを較正するために存在する。
【0038】
実施形態１１の任意の特徴は、本発明に従う他の実施形態１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0039】
図１Ｂは、スクリーンショット図として、パターン化されたパネル１２２を示すコンピュータプログラム製品のユーザインターフェース１２１の実施形態１２を示す。図示された説明的な実装では、チェッカーボード較正パターン１２３で作製された１つのパターン化されたパネル１２２は、自律型車両のカメラを較正するために使用される。較正パターン１２３は、較正形状１２４、例えば、ホワイトボード１２５上の黒い正方形を含む。較正される自律型車両のカメラは、パターン化されたパネル１２２の画像１２６をキャプチャする。ユーザインターフェース１２１内に示されるキャプチャされた画像１２６は、カメラを較正するための入力画像１２６として使用される。図１Ｂに示されるように、カメラによってキャプチャされた画像１２６は、広いパノラマ画像または半球画像を作成する魚眼歪みを有する。較正パターン１２３の画像１２６は、例えば、遠近効果、パターン化されたパネル１２２の位置および／または鋭角、魚眼カメラのレンズなどに起因して、歪み得る。この例において、入力画像１２６の背景１２７は、ホワイトボード１２５を取り囲む環境とともにホワイトボード１２５を含む。画像１２６の前景１２８は、ホワイトボード１２５上の同様のサイズの画像化された較正形状１２４（すなわち、黒い正方形）によって形成される。較正形状１２４は、魚眼歪みに起因して歪んで見えるが、較正パターン１２３を含む前景１２８は、隣接する各較正形状１２４が形状およびサイズにおいて類似しているため、カメラによって正確にキャプチャされる。
【0040】
実施形態１２の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0041】
図１Ｃは、本発明の機能を示す実験に関連する入力画像１２６の前処理段階のグラフ表示の実施形態１３を示す。画像１３１は、図１Ｂに示されるパターン化されたパネル１２２の一部の拡大図である。一実施形態において、形態学的収縮および膨張操作は、互いに接触する較正形状１２４間の小さな接続を分離するために実行される。画像１３２は、形態学的膨張を使用することにより前処理されたパターン化されたパネル１２２の部分を示す。形態学的収縮および膨張操作は、較正形状１２４から生成された輪郭が破損されないことを保証する。一実施形態において、形態学的操作は、所定のウィンドウサイズで実行される。例えば、小さなカーネルは、隣接する較正形状１２４間のすべての接続を切断しないかもしれないが、大きなカーネルは、入力画像１２６内の小さな較正形状１２４を破壊するかもしれない。
【0042】
一実施形態において、適応しきい値処理は、入力画像１２６の形態学的強調の後に実行される。画像１３３は、適応しきい値処理を使用することにより前処理されたパターン化パネル１２２の部分を示す。一実施形態において、ガウス加重平均アルゴリズムは、入力画像１２６内に存在する照明における変動の影響を除去するために、適応しきい値処理を実行するために使用される。一実施形態において、適応しきい値処理のためのウィンドウサイズは、予め決定されている。ウィンドウサイズは、較正形状１２４内に偽りの穴が現れるのを避けるために、単一の較正形状１２４の最大サイズに従って設定されることが好ましい。
【0043】
一実施形態において、形態学的処理または画像処理処理の別のセットは、スパーおよび／またはブリッジピクセルを除去するために、入力画像１２６に適用される。形態学的操作は、較正形状１２４間の任意の残りの接続を切断するために実行される。画像１３４は、入力画像１２６内に存在する任意のブリッジピクセルを除去した後のパターン化されたパネル１２２の一部を示す。一実施形態において、ピクセルは、ピクセルが隣接ピクセルを１つしか有しない場合、スパーと見なされる。一実施形態において、ピクセルは、ピクセルの周囲に設定されたおよび未設定の隣接ピクセルの遷移が少なくとも４つある場合、ブリッジピクセルと見なされる。
【0044】
実施形態１３の任意の特徴は、本発明に従う他の実施形態１１、１２、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0045】
図１Ｄは、本発明の機能を示す実験に関連する入力画像１２６内に存在するブリッジピクセル１４２のグラフ表示を用いた実施形態１４を示す。ブリッジピクセル１４２は、図１Ｄに示されるように半径を変えることにより定義され得る。一例において、図１Ｄに示されるループ１４３を検討する。ピクセル１４４から時計回りに移動すると、ピクセル１４４の周囲に設定されたおよび未設定の隣接ピクセルの４つの遷移がある。別の例において、図１Ｄに示される別のループ１４５を検討する。ピクセル１４６から時計回りに移動すると、ピクセル１４６の周囲に設定されたおよび未設定の隣接ピクセルの４つの遷移が再びある。したがって、ピクセル１４２は、両方のループに従うブリッジピクセルであるため、画像化された較正形状間の任意の残りの接続を切断するために検出および削除され得る。
【0046】
実施形態１４の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0047】
図１Ｅは、本発明に係る、複数のパターン化されたパネル１５３を保持するマルチパターン較正リグ１５２を示すコンピュータプログラム製品のユーザインターフェース１５１の実施形態１５を示す。実装例では、自律型車両のフード上に配置されたカメラは、自律型車両から約１５メートル離れて配置されたマルチパターン較正リグ１５２の入力画像１５４をキャプチャする。示された例では、マルチパターン較正リグ１５２は、ホワイトボード背景１５７上の較正形状１５６として黒い正方形を含むチェッカーボード較正パターン１５５の１３のパターン化されたパネルを含む。また、左下側にさらにチェッカーボード様パターンがさらにあるが、不完全なターゲットパターンとして、本方法によって無視される。
【0048】
実施形態１５の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0049】
図１Ｆは、スクリーンショット図として、本発明に係る、パターン化されたパネル１５３の輪郭１６２のフィルタリングされたセットを示すコンピュータプログラム製品のユーザインターフェース１６１の実施形態１６を示す。入力画像１５４をキャプチャしている間の輝度特性における変動にもかかわらず、各較正形状１５６は、それぞれの輪郭１６２にフィルタリングされる。各パターン化されたパネル１５３に対応して生成された輪郭１６２は、図１Ｅに示される入力画像１５４に対応して示される。
【0050】
実施形態１６の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0051】
図１Ｇは、スクリーンショット図としての本発明に係る、輪郭グループ１７２を示すコンピュータプログラム製品のユーザインターフェース１７１の実施形態１７を示す。一実施形態において、最近傍探索アルゴリズムが、輪郭群１７２を構築するために使用される。一実施形態において、輪郭１６２は、例えば、較正パターン１５５の幾何学的特性、演繹的な知識などに基づいてグループ化される。輪郭群１７２は、所定数の同様の輪郭１６２を含む群から形成され、左下側におけるチェッカーボード様パターンは除去される。一実施形態において、輪郭１６２間の類似性の測定は、例えば、面積、距離、較正形状１５６の推定される囲み半径などに基づいている。
【0052】
実施形態１７の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0053】
図１Ｈは、スクリーンショット図として、本発明に係る、マルチパターン較正リグ１５２上の各パターン化されたパネル１５３の識別された位置１８２を示すコンピュータプログラム製品のユーザインターフェース１８１の実施形態１８を示す。輪郭群１７２が決定された後、各パターンの位置１８２（および各パターン化されたパネル１５３の位置）は、輪郭群１７２の凸包１８３の位置によって画定される。各パターン化されたパネル１５３の位置１８２は、各パターン化されたパネル１５３の較正パターン１５５の周囲の境界の形状における凸包１８３によって表される。図１Ｈに示されるように、パターン化されたパネル１５３のそれぞれは、ノイズおよび／または照明条件における変化によって引き起こされるいかなる変動にもかかわらず、識別される。
【0054】
実施形態１８の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0055】
図２Ａは、ブロック図として、本発明に係る、カメラ較正システム２００の実施形態２０を示す。カメラ較正システム２００は、複数のパターン化されたパネル１５３を有するマルチパターン較正リグ１５２と、自律型車両内に設置されたカメラ２１０とを備える。一実施形態において、自律型車両は、自律型車両の異なる場所に配置された複数のカメラを備え得るが、簡潔にするために、１つのカメラ２１０のみが図２Ａにおいて示される。図示されるカメラ２１０は、画像キャプチャユニット２２０を有し、前処理ユニット２３０、セグメント化およびフィルタリングユニット２４０、グループ化ユニット２５０、および識別ユニット２６０を有するコンピュータデバイスに接続されている。もちろん、コンピュータデバイスまたはその特定のユニットは、また、ソフトウェアとしてまたはハードウェア／ソフトウェア製品として実装され得、それらはまた、例えば、クラウド上またはネットワーク上で、分散方式で実装され得る。
【0056】
画像キャプチャユニット２２０は、パターン化されたパネル１５３を含むマルチパターン較正リグ１５２の画像をキャプチャするように構成される。キャプチャされた画像は、カメラ２１０の較正を実行するための入力画像１５４として使用される。各パターン化されたパネル１５３は、自律型車両のカメラ２１０を較正するために使用され得るチェッカーボードパターンなどの較正パターン１５５を有する。較正形状１５６、例えば、黒または白の正方形を含む較正パターン１５５は、入力画像１５４の前景を形成する。入力画像１５４中の残りのオブジェクトは背景を形成する。前処理ユニット２３０は、背景から画像化された較正形状１５６をセグメント化するために、画像を前処理する。
【0057】
セグメント化およびフィルタリングユニット２４０は、画像化された較正形状１５６の輪郭１６２をセグメント化およびフィルタリングする。一例において、異なる較正形状１５６に関連付けられた輪郭１６２は、領域の大きさ、境界などによって画定され得る。グループ化ユニット２５０は、それらの形状および／または相対距離に基づいて、コヒーレントな輪郭１６２から群を構築する。一例において、グループ化ユニット２５０は、輪郭群１７２を構築するために最近傍探索アルゴリズムを使用し得る。識別ユニット２６０は、輪郭群１７２に基づいて、画像内のパターンの位置１８２（および、マルチパターン較正リグ１５２上に存在するパターン化されたパネル１５３の位置）を識別する。各輪郭群１７２は、画像内の各パターンの位置１８２を識別するために使用される凸包を用いて表される。
【0058】
本明細書の説明は、カメラ２１０の較正を実行するためのユニット２２０、２３０、２４０、２５０、および２６０を備えるカメラ較正システム２００を参照して提供されるが、別の実施形態において、カメラ較正システム２００は、ユニット２２０、２３０、２４０、２５０、および２６０と協働する処理ユニット（図示せず）によって、またはカメラ２１０の較正を実行するためのスタンドアロン処理ユニット（図示せず）によって実装され得ると理解されるべきである。
【0059】
実施形態２０の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２１、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0060】
図２Ｂは、本発明に係る、カメラ較正システム２００の実施形態２１を示す。カメラ較正システム２００は、複数のカメラ２１１、２１２、２１３、および２１４と、複数のマルチパターン較正リグ１５２－１、１５２－２、１５２－３、および１５２－４とを備える自律型車両２９０を備える。実装例では、自律型車両２９０は、自動車組立工場のコンベヤーベルト系２９２上で組み立てられる。
【0061】
いくつかの実施形態において、カメラ較正システム２００は、通信ネットワーク（図示せず）を介して自律型車両２９０に通信可能に結合されたクラウドサーバネットワーク（図示せず）を備える。入出力デバイスを含むクラウドサーバーネットワークは、通常、モニター（ディスプレイ）、キーボード、マウス、および／またはタッチスクリーンを備える。しかしながら、通常、一度に複数のコンピュータサーバーが使用されているため、一部のコンピュータには、コンピュータ自体のみが組み込まれ、スクリーンおよびキーボードは組み込まれない。これらのタイプのコンピュータは、典型的には、本発明のカメラ較正システム２００によって使用されるクラウドネットワークを実現するために使用される、サーバーファーム内に保存される。クラウドサーバーネットワークは、ＭｉｃｒｏｓｏｆｔおよびＡｍａｚｏｎおよびＨＰ（ヒューレット－パッカード）などの既知のベンダーから個別のソリューションとして購入され得る。クラウドサーバーネットワークは通常、Ｕｎｉｘ、Ｍｉｃｒｏｓｏｆｔ、ｉＯＳ、Ｌｉｎｕｘ（登録商標）または任意の他の既知のオペレーティングシステムを実行し、通常はマイクロプロセッサ、メモリ、ＳＳＤフラッシュまたはハードドライブなどのデータストレージ手段を備える。クラウドアーキテクチャの応答性を改善するために、データは、ＳＳＤ、つまりフラッシュストレージ上に完全または部分的に、優先的に保存される。このコンポーネントは、ＭｉｃｒｏｓｏｆｔまたはＡｍａｚｏｎなどの既存のクラウドプロバイダーから選択／構成されているか、ＭｉｃｒｏｓｏｆｔまたはＡｍａｚｏｎなどの既存のクラウドネットワークオペレーターが、Ｐｕｒｅ Ｓｔｏｒａｇｅ、ＥＭＣ、Ｎｉｍｂｌｅストレージなどのフラッシュベースのクラウドストレージオペレーターにすべてのデータを保存するように構成される。クラウドサーバーネットワークのバックボーンストレージとしてフラッシュを使用することは、マルチパターン較正リグ１５２－１、１５２－２、１５２－３および１５２－４を使用する自律型車両２９０のカメラ２１１、２１２、２１３および２１４を較正するためのカメラ較正システム２００を操作するために必要な、および／または好ましい低減されたレイテンシーに起因するその高コストにもかかわらず好ましい。
【0062】
自律型車両２９０は、本質的に無人車である。他の例において、自律型車両２９０は、トラック、任意の二輪車または四輪車、クワッドコプターまたはドローンなどであり得る。自律車両２９０は、交通における人々および物体を輸送するために使用され得る。本発明によれば、自律型車両２９０は、交通渋滞に合わせて運転を調整し、歩行者の安全を確保し、自律型車両２９０のナビゲーション経路内くぼみを検出し、車線逸脱などについて運転者に警告する点において、運転者を支援することもできる。
【0063】
カメラ２１１、２１２、２１３、および２１４は、例えば、自律型車両２９０の移動の方向に面する自律型車両２９０のフード上および自律型車両２９０の移動の方向に対向する方向に面する自律型車両２９０の屋根上に配置される。各マルチパターン較正リグ１５２－１、１５２－２、１５２－３および１５２－４は、それぞれ自律型車両２９０のカメラ２１１、２１２、２１３および２１４の前に配置され、その結果、マルチパターン較正リグ１５２－１、１５２－２、１５２－３および１５２－４は、それぞれのカメラ２１１、２１２、２１３および２１４に対向し、マルチパターン較正リグ１５２－１、１５２－２、１５２－３および１５２－４のパターン化されたパネル１５３－１、１５３－２、１５３－３および１５３－４は、それぞれのカメラ２１１、２１２、２１３および２１４の視界をカバーする。
【0064】
実施形態２１の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、３０、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0065】
図３は、スクリーンショット図として、本発明に係る、自律型車両２９０のカメラ２１０の較正を示すカメラ較正コンピュータプログラム製品のユーザインターフェース３００の実施形態３０を示す。非一時的なコンピュータ可読媒体内に保存されたカメラ較正コンピュータプログラム製品は、較正形状１５６の繰り返しパターンを含むマルチパターン較正リグ１５２を用いてカメラ２１０を較正するように構成される。一例において、ユーザインターフェース３００は、自律型車両２９０のダッシュボード上に配置された表示画面上に表示される。実施形態３０のユーザインターフェース３００は、それぞれ実施形態２０、２１、および５０の図２Ａ、図２Ｂ、および図５に記載されているものと同一または類似のシステム２００に関する。
【0066】
コンピュータプログラム製品は、自律型車両２９０上またはネットワークホスト上（図示せず）のいずれかの非一時的記憶媒体に格納されるか、または２つの間に分配されるため、いくつかの部分は自律型車両２９０に存在し、コンピュータプログラム製品のいくつかの部分は、ネットワークホスト上に存在する。本発明における本発明における自律型車両２９０とネットワークホストとの間の通信のために使用されるネットワークは、無線インターネットまたは電話ネットワークであり、通常はＵＭＴＳ－（ユニバーサル移動通信システム）、ＧＳＭ（登録商標）－（移動通信のためのグローバルシステム）、ＧＰＲＳ－（汎用パケット無線サービス）、ＣＤＭＡ－（コード分割多重アクセス）、３Ｇ－、４Ｇ－、Ｗｉ－Ｆｉおよび／またはＷＣＤＭＡ（登録商標）（広帯域符号分割多元接続）－ネットワークなどのセルラーネットワークである。コンピュータプログラム製品は、自律型車両２９０のカメラ２１０を較正するように構成されたカメラソフトウェアを備える。実装例では、自律型車両２９０のダッシュボード上に配置されたコンピューティングデバイスは、ユーザがカメラ２１０の較正に関係する異なる段階を見ることを可能にするインストールされたアプリケーションを有するように構成される。アプリケーションユーザインターフェースは、前述のユーザインターフェース３００であり得る。
【0067】
カメラ２１０の較正に関与する異なるステージ３０２、３０４、３０６、および３０８が図３に示されている。ステージ３０２において、カメラ２１０によってキャプチャされた入力画像１５４は、ユーザインターフェース１５１内に示される。入力画像１５４は、較正パターン１５５を含むパターン化されたパネル１５３を保持するマルチパターン較正リグ１５２のものである。入力画像１５４は、入力画像１５４の背景から画像化された較正形状１５６をセグメント化するために前処理される。較正形状１５６は、白いチェッカーボードのパターン化されたパネル１５３上の黒い正方形によって形成される。ステージ３０４において、画像化された較正形状１５６の輪郭１６２は、セグメント化されフィルタリングされる。ステージ３０６において、群１７２は、各輪郭１６２の形状および位置に基づいてコヒーレントな輪郭１６２から構築される。ステージ３０８において、各パターンの位置１８２は、輪郭群１７２に基づいて識別される。一実施形態において、各パターンの位置１８２は、輪郭群１７２を囲む凸包１８３によって識別される。
【0068】
実施形態３０の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、４０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0069】
図４Ａ～４Ｂは、フロー図としての本発明に係る、マルチパターン較正リグ１５２を用いて自律型車両２９０のカメラ２１０を較正するためのより精巧な方法の実施形態４０を示す。本方法は、明細書の他の部分で説明するように、例えば図２Ａ、図２Ｂ、または図５における実施形態２０、２１、または５０と同一または類似のシステムにおいて実施され得る。本方法のエンドユーザは、それぞれ図１Ｅ、１Ｆ、１Ｇ、１Ｈ、３、６、および７Ｂにおける実施形態１５、１６、１７、１８、３０、６０、および７２で開示されたものと同一または類似のユーザインターフェースを使用することができる。
【0070】
工程４０２において、入力画像１５４は、自律型車両２９０のカメラ２１０によってキャプチャされる。入力画像１５４は、マルチパターン較正リグ１５２上に配置された各パターン化されたパネル１５３の画像を含む。工程４０４において、少なくとも２つの較正パターン化されたパネル１５３を保持する支持構造を含むマルチパターン較正リグ１５２が使用される。例４０６において、パターン化されたパネル１５３の較正パターン１５５は、例えば、チェッカーボードパターン、円のグリッドなどであり得る。一例において、入力画像１５４は、グレースケールまたはいくつかの量のノイズと一緒に黒および白の正方形を含むチェッカーボードパターンの２値画像である
【0071】
工程４０８において、入力画像１５４は前処理される。工程４１２において、画像化された較正形状１５６を含む入力画像１５４が入力される。工程４１４において、形態学的処理は、各較正形状１５６のサイズを縮小するために使用される。較正形状１５６のサイズの縮小は、隣接する較正形状１５６間の接続の切断を促進する。工程４１６において、適応しきい値処理などのしきい値処理は、入力画像１５４内に存在する照明における変動を除去するために、実行される。画像化された較正形状１５６は、しきい値処理によってさらにセグメント化される。工程４１８において、さらなる形態学的または画像処理操作の別のセットは、画像化された較正形状１５６間のいかなる残りの接続を除去するために、入力画像１５４に適用される。上述の形態学的処理およびしきい値処理を適用することにより、画像化された各較正形状１５６は、個々の形状として入力画像１５４内で検出される。この例において、較正形状１５６は、パターン化されたパネル１５３上の白い正方形として検出される。
【0072】
図４Ｂに示されるように、工程４２０において、前処理された画像は、輪郭１６２を生成するためにセグメント化され、フィルタリングされる。工程４２２において、セグメント化された較正形状１５６を含む入力画像１５４が使用される。工程４２４において、較正形状１５６の輪郭１６２が抽出される。工程４２６において、輪郭１６２の特性が測定される。工程４２８において、輪郭は、輪郭特性および／または較正形状１５６の演繹的な知識に基づいてフィルタリングされる。一例において、較正形状ノイズの存在は、偽の輪郭および／または歪んだ輪郭を生成する。輪郭は、輪郭特性および／または較正形状１５６の演繹的な知識と一致しない偽の輪郭および／または歪んだ輪郭を除去するために、フィルタリングされる。入力画像１５４上に見られる輪郭のセット１６２を含む画像が、前処理された画像のセグメント化およびフィルタリングに基づいて、生成される。
【0073】
工程４３２において、輪郭群１７２は、コヒーレント輪郭１６２のセットおよび／または対応する較正パターン１５５の演繹的な知識から構築される。工程４３４において、フィルタリングされた輪郭リストは、輪郭群１７２を構築するために使用される。一例において、隣接する輪郭１６２は、大きな歪みが画像内にある場合であっても、類似していると見なされる。一例において、最近傍探索アルゴリズムは、輪郭群１７２を構築するために使用され得る。工程４３６において、輪郭１６２が比較され、輪郭１６２間の類似性が測定される。
【0074】
工程４３８において、コヒーレントな輪郭１６２は、例えば、較正パターン１５５、輪郭特性などの演繹的な知識に基づいてグループ化される。一例において、較正パターン１５５の演繹的な知識は、較正形状１５６の幾何学、較正形状１５６が最終較正パターン１５５を形成するために互いに対してどのように配置されてかを定義する幾何学的レイアウト、カメラのレンズによって引き起こされるいかなる歪みにもかかわらず類似の形状を有する隣接する較正形状１５６の演繹的な知識、較正パターン１５５を構築する較正形状１５６のカウントを含み得る。一例において、輪郭特性は、輪郭１６２の面積、凸包１８３などの輪郭境界などを含み得る。輪郭特性は、複数の輪郭部材１６２間の類似性を比較および測定するために使用される。一実施形態において、類似性の所定の尺度を有する輪郭１６２は、一緒にグループ化される。一実施形態において、群１７２内の輪郭１６２の数は、欠落した較正形状１５６、ノイズに起因する付加的な輪郭１６２などを考慮して判定される。
【0075】
輪郭群１７２の構築例を検討する。輪郭１６２は、画像化された較正形状１５６間の接続を分離した後に処理およびフィルタリングされる。「ｃ」輪郭１６２の境界の長さは「Ｐ（ｃ）」であり、その領域の大きさは「Ａ（ｃ）」である。輪郭１６２の形状パラメータは次のように定義される：
【0076】
【数1】
【0077】
すなわち、形状パラメータは、輪郭の周囲の二乗を輪郭の領域の大きさで除算することによって得られる。
【0078】
一例において、比率Ｒ（ｃ）はスケール不変の尺度である。Ｒ（ｃ）の値は、以下に開示するように、正方形形状の較正形状１５６の場合は１６、円形の較正形状の場合は４πである：
【0079】
【数2】
【0080】
【数3】
【0081】
生成された輪郭１６２は、歪んだ輪郭または不適切な輪郭１６２を除去するために事前にフィルタリングされる。一例において、輪郭１６２は、Ｒ（ｃ）の値が約２．５～２５の範囲内にある場合、フィルタリング中に有効と見なされる。この例において、小さな輪郭１６２の場合、Ｒ（ｃ）の値は、例えば鋭角、遠近効果などによってより歪んでいる可能性があるため、Ｒ（ｃ）のより広い範囲が使用される。上記と組み合わせることもできる別の例において、輪郭１６２は、形状パラメータとしてのＡ（ｃ）の値が入力画像１５４の２％より小さく１０ピクセルより大きい場合、有効と見なされる。したがって、輪郭は、その形状パラメータが所定の範囲内にある場合にのみ有効な輪郭として受け入れられる。
【0082】
さらに、２つの輪郭１６２間の距離は、それらの最も近い点の距離として定義される。輪郭ｃ１６２の囲み半径ｒは、以下の方程式によって計算される：
【0083】
【数4】
【0084】
較正形状の領域の大きさおよび半径の類似度ｓは、以下の方程式によって計算される：
【0085】
【数5】
【0086】
次の場合、２つの輪郭１６２ｃｉおよびｃｊは同じグループに属すると見なされる：
ｓ（Ａ（ｃｉ），Ａ（ｃｊ））０．５
ｓ（ｒ（ｃｉ），ｒ（ｃｊ））０．５
ｄｉｓｔ（ｃｉ，ｃｊ）（１．５・ｍａｘ（ｒ（ｃｉ），ｒ（ｃｊ）
ｓ（Ａ（ｃｉ），Ａ（ｃｊ））０．５
ｓ（ｒ（ｃｉ），ｒ（ｃｊ））０．５
ｄｉｓｔ（ｃｉ，ｃｊ）（１．５・ｍａｘ（ｒ（ｃｉ），ｒ（ｃｊ）
【0087】
すなわち、
― ２つの領域の大きさのうち小さい領域の大きさが、他の領域の大きさの５０％より大きい；
― ２つの半径のうち小さい半径が、他の半径の５０％より大きい；および
― 輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である。
― ２つの領域の大きさのうち小さい領域の大きさが、他の領域の大きさの５０％より大きい；
― ２つの半径のうち小さい半径が、他の半径の５０％より大きい；および
― 輪郭の最も近い点の距離が２つの半径のうちより大きい半径の１５０％未満である。
【0088】
この例において、２つの輪郭１６２の較正形状の領域の大きさおよび半径の類似性ｓは、較正形状のスケールとは無関係であり、２つの輪郭１６２の距離は、較正パターン１５５の特性に依存する。しかしながら、我々の実験は、上記の距離基準は、すべての実際に適用可能な反復較正パターン、例えば図９Ａ～９Ｃで示されたものに適していることを示した。
【0089】
工程４４０において、輪郭群１７２は、入力画像１５４内のパターンの位置１８２を識別する形成された群１７２の境界のセットとして表示される。例えば、輪郭群１７２は、入力画像１５４内の各パターンの位置１８２を識別するために使用される凸包１８３を使用して表示される。工程４４２において、較正ターゲットの位置１８２、すなわちパターンが識別されると、パターンのかコーナーを見つけるのが容易になる。入力画像１５４の残りの部分を除外することにより、入力画像１５４のノイズを低減することができる。
【0090】
実施形態４０の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、５０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0091】
図５は、本発明に係る、自律型車両２９０のダッシュボード５００上に表示される異なるカメラ較正ステージ３０２、３０４、３０６、および３０８を有するより精巧なカメラ較正システム２００の別の実施形態５０を示す。カメラ較正システム２００は、自律型車両２９０に配置された複数のカメラ２１１、２１２、２１３、および２１４と、パターン化されたパネル１５３－１、１５３－２、１５３－３、および１５３－４を含む複数のマルチパターン較正リグ１５２－１、１５２－２、１５２－３、および１５２－４とを含む。
【0092】
簡潔にするために、１台のカメラのみ、例えば２１１の較正に関係するステージ３０２、３０４、３０６、および３０８は、自律型車両２９０のダッシュボード５００上に表示される。ステージ３０２において、カメラ２１１によってキャプチャされた入力画像１５４は、ユーザインターフェース１５１に示される。入力画像１５４は、較正パターン１５５を含むパターン化されたパネル１５３を保持するマルチパターン較正リグ１５２のものである。ステージ３０４において、入力画像１５４は、入力画像１５４の背景１５７から画像化された較正形状１５６をセグメント化するために前処理される。較正形状１５６は、白いチェッカーボードのパターン化されたパネル１５３上の黒い正方形によって形成される。ステージ３０４において、画像化された較正形状１５６の輪郭１６２は、セグメント化されフィルタリングされる。ステージ３０６において、群１７２は、各輪郭１６２の形状および位置に基づいてコヒーレントな輪郭１６２から構築される。ステージ３０８において、マルチパターン較正リグ１５２上に存在する各パターン化されたパネル１５３の位置１８２は、輪郭群１７２に基づいて識別される。一実施形態において、各パターン化されたパネル１５３の位置１８２は、輪郭群１７２を囲む凸包１８３によって識別される。
【0093】
実施形態５０の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、６０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0094】
図６は、スクリーンショット図としての本発明に係る、自律型車両２９０の複数のカメラ２１０、２１１、２１２、２１３、または２１４の較正を示すコンピュータプログラム製品の複数のユーザインターフェース３００、６００の実施形態６０を示す。実装例では、自律型車両２９０のダッシュボード５００は自律型車両２９０のフード上に配置された２つのカメラ（例えば２１１および２１２）に関与する異なるステージ３０２、３０４、３０６、３０８、６０２、６０４、６０６、６０８を表示するための画面５１０を備える。ユーザインターフェース３００は、２つのカメラの一方、例えば２１１の較正に関与するステージ３０２、３０４、３０６、３０８を示す。ユーザインターフェース６００は、他方のカメラ、例えば２１２の較正に関与するステージ６０２、６０４、６０６、６０８を示す。したがって、カメラ較正を担当する技術者は、ユーザインターフェース３００および６００を介して、カメラ較正のすべてのステージ３０２、３０４、３０６、３０８、６０２、６０４、６０６、６０８をリアルタイムで監視することができる。
【0095】
実施形態６０の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、７１、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0096】
図７Ａは、本発明に係る、複数のパターン化されたパネル１５３を含むマルチパターン較正リグ１５２の実施形態７１を図として示す。マルチパターン較正リグ１５２は、較正パターン１５５を用いてパターン化されたパネル１５３を確実に保持するように設計された支持構造７１０を備える。一実施形態において、各パターン化されたパネル１５３は、較正されるカメラの仕様に従ってマルチパターン較正リグ１５２上に配置される。パターン化されたパネル１５３は、凝集、溶接、マウントなどにより、任意の角度、向きなどで支持構造７１０に取り付けられ得る。
【0097】
実施形態７１の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７２、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0098】
図７Ｂは、本発明に係る、パターン化されたパネル１５３を含むマルチパターン較正リグ１５２の画像を示すコンピュータプログラム製品のユーザインターフェース７２０の実施形態７２を示す。
【0099】
実施形態７２の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、８１、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0100】
図８Ａは、本発明に係る、マルチパターン較正リグ１５２の支持構造７１０の実施形態８１を図として示す。一例において、支持構造７１０は、ロッド８２０、ジョイント８１０などで作製される。
【0101】
実施形態８１の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８２、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0102】
図８Ｂは、本発明に係る、支持構造７１０のボールジョイントマウント８２０の実施形態８２を図として示す。ボールジョイントマウント８２０は、支持構造７１０に取り付けられたパターン化されたパネル１５３を保持するように構成される。ボールジョイントマウント８２０は、パターン化されたパネル１５３の角度を調整するために使用され得る。ボールジョイントマウント８２０は、パターン化されたパネル１５３を確実に保持するための取り付け点８２２を含む。
【0103】
実施形態８２の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８３、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0104】
図８Ｃは、本発明に係る、パターン化されたパネル１５３を保持する支持構造７１０のボールジョイントマウント８２０の実施形態８３を図として示す。パターン化されたパネル１５３は、図８Ｃに示されるように、ボールジョイントマウント８２０を使用することにより、支持構造７１０に取り付けられる。パターン化されたパネル１５３は、ボールジョイントマウント８２０を調整することにより許容される任意の位置および／または角度で取り付けられ得る。例えば、パターン化されたパネル１５３は、取り付け点８２２でボールジョイントマウント８２０を介して支持構造７１０に取り付けられる。
【0105】
実施形態８３の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２、９１、９２および／または９３のいずれかと容易に結合または並べ替えられ得る。
【0106】
図９Ａ～９Ｃは、本発明に係る、較正パターン１５５－１、１５５－２、および１５５－３の異なる実施形態９１、９２、および９３を図として示す。マルチパターン較正リグ１５２に取り付けられる各パターン化されたパネル１５３－１、１５３－２、および１５３－３には、反復較正パターン、例えば、１５５－１、１５５－２、または１５５－３が提供される。較正パターン１５５－１、１５５－２、または１５５－３は、例えば、黒または白の正方形を有するチェッカーボードパターン１５５－１または１５５－２、黒または白の円を含む円のグリッド１５５－３であり得る。一例として、図９Ａは、チェッカーボード較正パターン１５５－１を含むパターン化されたパネル１５３－１の実施形態９１を示す。較正パターン１５５－１は、白いボード１５７－１上の較正形状として黒い正方形１５６－１を含む。別の例において、図９Ｂは、チェッカーボード較正パターン１５５－２を含む別のパターン化されたパネル１５３－２の実施形態９２を示す。較正パターン１５５－２は、黒いボード１５７－２上の較正形状として白い正方形１５６－２を含む。別の例において、図９Ｃは、較正パターン１５５－３として円のグリッドを含む別のパターン化されたパネル１５３－３の別の実施形態９３を示す。較正パターン１５５－３は、ホワイトボード１５７－３上の較正形状として黒丸１５６－３を含む。
【0107】
一実施形態において、パターン化されたパネル１５３－１、１５３－２、および１５３－３内の較正パターン１５５－１、１５５－２、および１５５－３の特性は、較正されるカメラ２１０の仕様に基づいて決定される。パターン化されたパネル１５３－１、１５３－２、または１５３－３は、本質的に反復性であり、明らかな特徴、強いコントラスト、容易に検出可能な較正パターン１５５－１、１５５－２、および１５５－３を含む。パターン化されたパネル１５３－１、１５３－２、および１５３－３は、例えば、正方形、円形、楕円形など、任意の形状またはサイズのものであり得る。パターン化されたパネル１５３－１、１５３－２、および１５３－３は、例えば、木材、プラスチックなどで作製され得る。
【0108】
実施形態９１、９２および９３の任意の特徴は、本発明に従う他の実施形態１１、１２、１３、１４、１５、１６、１７、１８、２０、２１、３０、４０、５０、６０、７１、７２、８１、８２および／または８３のいずれかと容易に結合または並べ替えられ得る。
【0109】
本発明は上記で説明されており、大きな利点が実証された。本発明は、自律型車両２９０の組み立て中に、自律型車両２９０のカメラ２１０のより速い較正をもたらす。さらに、較正形状１５６および対応する輪郭１６２は本質的に二次元であり、一方、カメラ較正に典型的に使用されるコーナーおよびエッジ検出技術は本質的に一次元である。したがって、カメラ較正に使用される較正形状１５６および対応する輪郭１６２は、カメラ較正に通常使用される従来使用されているコーナーおよびエッジよりも実質的に安定しており、容易に検出可能である。さらに、カメラ較正システム２００は、ノイズおよび照明条件のさらに、カメラ較正システム２００は、カメラ２１０を較正するために複数のタイプの較正パターン１５５を使用することに柔軟性がある。における変動に対して実質的に耐性がある。さらに、複数のパターン化されたパネル１５３を含むマルチパターン較正リグ１５２の単一画像１５４を使用することによる自律型車両２９０のカメラ２１０の較正は、複数の較正パターン１５５の画像取得に必要な時間を別々に短縮する。したがって、見られるように、時間効率的かつ強固なカメラ較正プロセスが、工場適用のために使用され得る。
【0110】
少なくとも１つのカメラおよびマルチパターン較正リグを備えたカメラマルチパターン較正リグシステムも提供され、各パターンは反復的であるとともに、較正形状を備える。
本システムは、少なくとも１つのカメラに接続され、上記の詳細な本発明の方法工程を実行するように適合されたコンピュータデバイスも備える。
本システムは、少なくとも１つのカメラに接続され、上記の詳細な本発明の方法工程を実行するように適合されたコンピュータデバイスも備える。
【0111】
さらに、非一時的なコンピュータ可読媒体が、マルチパターン較正リグを用いてカメラを較正するために提供され、各パターンは反復的であるとともに、較正形状を含み、コンピュータ可読媒体は、プロセッサ上で実行される場合、上記の詳細な本発明の方法工程を実行する、その上に格納された命令を含む。
【0112】
本発明は、上記の実施形態を参照して上記で説明された。しかしながら、本発明がこれらの実施形態に限定されるものではなく、発明思想および以下の特許請求の範囲の精神および範囲内のすべての可能な実施形態を含むことは明らかである。マルチパターン較正リグは、複数の支持構造で構成でき、任意の数のパターン、パターン化されたパネルを搭載することができる。本発明は、車両だけでなく、あらゆる技術的用途におけるカメラの較正に適している。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図1G】
【図1H】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】