特許 5974762 カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5974762

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20160809BHJP

   H04N 5/232 20060101ALI20160809BHJP

   G06T 7/60 20060101ALI20160809BHJP

   G01B 11/26 20060101ALI20160809BHJP

   G01B 11/02 20060101ALI20160809BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/232 Z

   G06T7/60 150B

   G01B11/26 H

   G01B11/02 H

【請求項の数】3

【全頁数】9

(21)【出願番号】特願2012-205353(P2012-205353)

(22)【出願日】2012年9月19日

(65)【公開番号】特開2014-59792(P2014-59792A)

(43)【公開日】2014年4月3日

【審査請求日】2015年7月29日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100100712

【弁理士】

【氏名又は名称】岩▲崎▼ 幸邦

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】角 省吾

(72)【発明者】

【氏名】菅原 大輔

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００８−０１１１７４（ＪＰ，Ａ）

【文献】 特開２００７−２６１４６３（ＪＰ，Ａ）

【文献】 特開２０１０−２１９６６３（ＪＰ，Ａ）

【文献】 手島 知昭、外４名，“単眼カメラを用いた車両の実時間蛇行検出手法”，電気学会論文誌Ｃ，日本，（社）電気学会，２００９年 ９月 １日，Vol.129, No.9，pp.1714-1723

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５，５／２３２

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ １／００，７／００−７／６０

(57)【特許請求の範囲】

【請求項1】

車両に取り付けられたカメラの取り付け誤差を補正するカメラ取り付け誤差補正装置であって、
車両の周辺に設置されたターゲットマーカーを前記カメラで撮像した撮像画像から前記ターゲットマーカーの第１方向の長さと前記第１方向と直交する第２方向の長さとを検出する長さ検出部と、
前記長さ検出部によって検出された前記ターゲットマーカーの第１方向の長さに基づいて前記カメラの第１方向への回転角の誤差を算出して補正し、前記ターゲットマーカーの第２方向の長さに基づいて前記カメラの第２方向への回転角の誤差を算出して補正する回転角誤差補正部と、
前記回転角誤差補正部によって前記カメラの回転角が補正された後に、前記長さ検出部によって検出された前記ターゲットマーカーの補正後の第１方向の長さと補正後の第２方向の長さとを取得して、前記ターゲットマーカーの第１方向の長さと第２方向の長さとの比率を表す長さ比率を算出する長さ比率算出部と、
前記長さ比率算出部によって算出された前記長さ比率に基づいて、前記カメラの取り付け高さの誤差を算出して補正する高さ誤差補正部と
を備えたことを特徴とするカメラ取り付け誤差補正装置。

【請求項2】

前記カメラは車両側方を撮像するサイドカメラであり、
前記回転角誤差補正部は、前記第１方向を車両と垂直な方向に設定して前記カメラのピッチ角の誤差を補正し、前記第２方向を車両と平行な方向に設定して前記カメラのヨー角の誤差を補正することを特徴とする請求項１に記載のカメラ取り付け誤差補正装置。

【請求項3】

車両に取り付けられたカメラの取り付け誤差を補正するカメラ取り付け誤差補正装置におけるカメラ取り付け誤差補正方法であって、
車両の周辺に設置されたターゲットマーカーを前記カメラで撮像した撮像画像から前記ターゲットマーカーの第１方向の長さと前記第１方向と直交する第２方向の長さとを検出し、
前記ターゲットマーカーの第１方向の長さに基づいて前記カメラの第１方向への回転角の誤差を算出して補正し、前記ターゲットマーカーの第２方向の長さに基づいて前記カメラの第２方向への回転角の誤差を算出して補正し、
前記カメラの回転角が補正された後に前記ターゲットマーカーの補正後の第１方向の長さと補正後の第２方向の長さとを取得して前記ターゲットマーカーの第１方向の長さと第２方向の長さとの比率を表す長さ比率を算出し、
前記長さ比率に基づいて前記カメラの取り付け高さの誤差を算出して補正する
ことを特徴とするカメラ取り付け誤差補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの取り付け位置に生じた誤差を補正するカメラ取り付け誤差補正装置及びその方法に関する。

【背景技術】

【0002】

車両に設置されたカメラの取り付け誤差を補正（キャリブレーション）する技術として、従来では特許文献１が開示されている。この特許文献１のカメラシステムでは、カメラのｘ軸方向のずれ量と、ｙ軸方向のずれ量と、カメラの光軸周りの回転方向におけるずれ量とを検出して、カメラの取り付け誤差の補正を行っていた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１７１６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した従来のカメラシステムでは、カメラのｘ軸方向の誤差と、ｙ軸方向の誤差と、カメラの光軸周りの回転方向における誤差については補正できるが、カメラの高さ方向の誤差については補正することができないという問題点があった。

【0005】

そこで、本発明は、上述した実情に鑑みて提案されたものであり、カメラの高さ方向の誤差を補正することのできるカメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、車両の周辺に設置されたターゲットマーカーをカメラで撮像した撮像画像からターゲットマーカーの第１方向の長さと第１方向と直交する第２方向の長さとを検出する。そして、ターゲットマーカーの第１方向の長さに基づいてカメラの第１方向への回転角の誤差を算出して補正し、ターゲットマーカーの第２方向の長さに基づいてカメラの第２方向への回転角の誤差を算出して補正する。この後にターゲットマーカーの補正後の第１方向の長さと補正後の第２方向の長さとを取得して第１方向の長さと第２方向の長さとの比率を表す長さ比率を算出し、この長さ比率に基づいてカメラの取り付け高さの誤差を算出して補正する。これにより、本発明は上述した課題を解決する。

【発明の効果】

【0007】

本発明によれば、カメラの回転角を補正した後にターゲットマーカーの補正後の第１方向の長さと補正後の第２方向の長さとを検出し、これらに基づいて第１方向の長さと第２方向の長さとの比率を算出してカメラの取り付け高さの誤差を算出する。これにより、本発明ではカメラの高さ方向の誤差を補正することが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の一実施形態に係るカメラ取り付け誤差補正装置を搭載したカメラシステムの構成を示すブロック図である。

【図2】図２は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によるカメラ取り付け誤差補正処理の処理手順を示すフローチャートである。

【図3】図３は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によるターゲットマーカーの座標の検出方法を説明するための図である。

【図4】図４は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によるターゲットマーカーの各方向の長さの算出方法を説明するための図である。

【図5】図５は、本発明の一実施形態に係るカメラ取り付け誤差補正装置によって補正するカメラのピッチ角とヨー角を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明を適用した一実施形態について図面を参照して説明する。

【0010】

［カメラ取り付け誤差補正装置の構成］
図１は、本実施形態に係るカメラ取り付け誤差補正装置を搭載したカメラシステムの構成を示すブロック図である。図１に示すように、カメラシステム１は、自車両の周囲の映像をカメラ３で撮像し、撮像された映像を画像処理ユニット２で画像処理することによって、例えば視点変換などを行った自車両周囲の映像をディスプレイ４に表示するシステムである。

【0011】

カメラシステム１は、車両に搭載されたシステムであり、カメラ３としてはフロントカメラ３ａ、運転席側サイドカメラ３ｂ、リアカメラ３ｃ及び助手席側サイドカメラ３ｄを備えている。また、カメラシステム１は、ＣＡＮを介して、ステアリング角度センサ５とソナーシステム６に接続されている。ステアリング角度センサ５で検出されたステアリング角度は駐車支援を行う際に利用され、ソナーシステム６は車両の四隅に設置されたカメラ補助ソナーによって障害物を感知している。そして、画像処理ユニット２は、本実施形態に係るカメラ取り付け誤差補正装置１０を搭載しており、カメラ３の取り付け誤差を補正する。

【0012】

ここで、本実施形態に係るカメラ取り付け誤差補正装置１０は、長さ検出部１１と、回転角誤差補正部１２と、長さ比率算出部１３と、高さ誤差補正部１４とを備えている。

【0013】

長さ検出部１１は、車両の周辺に設置されたターゲットマーカーをカメラ３で撮像し、撮像画像からターゲットマーカーの第１方向の長さと第１方向と直交する第２方向の長さとを検出する。

【0014】

回転角誤差補正部１２は、ターゲットマーカーの第１方向の長さに基づいてカメラ３の第１方向への回転角の誤差を算出して補正し、ターゲットマーカーの第２方向の長さに基づいてカメラの第２方向への回転角の誤差を算出して補正する。

【0015】

長さ比率算出部１３は、回転角誤差補正部１２によって回転角が補正された後に長さ検出部１１によって検出された補正後の第１方向の長さと補正後の第２方向の長さとを取得する。そして、ターゲットマーカーの第１方向の長さと第２方向の長さとの比率を表す長さ比率を算出する。

【0016】

高さ誤差補正部１４は、長さ比率算出部１３によって算出された長さ比率に基づいて、カメラ３の取り付け高さの誤差を算出して補正する。

【0017】

尚、カメラ取り付け誤差補正装置１０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、長さ検出部１１、回転角誤差補正部１２、長さ比率算出部１３及び高さ誤差補正部１４として動作する。また、本実施形態ではカメラ取り付け誤差補正装置１０を画像処理ユニット２に搭載した場合を一例として説明するが、カメラ取り付け誤差補正装置１０を独立した装置として構成してもよい。

【0018】

［カメラの取り付け誤差補正処理の手順］
次に、本実施形態に係るカメラ取り付け誤差補正装置１０によるカメラ取り付け誤差補正処理の手順を図２のフローチャートを参照して説明する。

【0019】

図２に示すように、まずステップＳ１０１において、車両に取り付けられているカメラ３のうち運転席側サイドカメラ３ｂまたは助手席側サイドカメラ３ｄでターゲットマーカーの画像を撮像する。ただし、本実施形態ではサイドカメラ３ｂ、３ｄで撮像する場合を一例として説明するが、フロントカメラ３ａまたはリアカメラ３ｃで撮像してもよい。

【0020】

次に、長さ検出部１１は、ステップＳ１０２においてカメラ３から伝送された撮像画像を受信し、ステップＳ１０３において撮像画像上に撮像されているターゲットマーカーの四隅の座標を検出する。

【0021】

ここで、図３を参照してターゲットマーカーの四隅の座標の検出方法を説明する。図３に示すように、ターゲットマーカー３１の撮像された撮像画像を碁盤の目状に細分化して座標を割り当てることによって座標化し、ターゲットマーカー３１の四隅Ａ、Ｂ、Ｃ、Ｄが撮像されている位置の座標を検出する。ここでは四隅Ａ、Ｂ、Ｃ、Ｄの座標をそれぞれ図３に示すようにＡ（ｘａ、ｙａ）、Ｂ（ｘｂ、ｙｂ）、Ｃ（ｘｃ、ｙｃ）、Ｄ（ｘｄ、ｙｄ）とする。

【0022】

次に、ステップＳ１０４では、長さ検出部１１が、図４に示すように線分ＡＢ、ＢＣ、ＣＤ、ＤＡの中点Ｅ、Ｆ、Ｇ、Ｈの座標を算出する。

【0023】

中点Ｅ、Ｆ、Ｇ、Ｈの座標は、それぞれ以下の式で算出することができる。

【0024】

Ｅ（ｘｅ、ｙｅ）＝（（ｘａ＋ｘｂ）／２、（ｙａ＋ｙｂ）／２）
Ｆ（ｘｆ、ｙｆ）＝（（ｘｂ＋ｘｃ）／２、（ｙｂ＋ｙｃ）／２）
Ｇ（ｘｇ、ｙｇ）＝（（ｘｃ＋ｘｄ）／２、（ｙｃ＋ｙｄ）／２）
Ｈ（ｘｈ、ｙｈ）＝（（ｘｄ＋ｘａ）／２、（ｙｄ＋ｙａ）／２）
次に、ステップＳ１０５において、長さ検出部１１は、図４に示すように中点Ｅ、Ｆ、Ｇ、Ｈの座標からターゲットマーカーの車両に垂直な方向（第１方向）の長さＬと、ターゲットマーカーの車両に平行な方向（第２方向）の長さＷを、以下の式で算出する。

【0025】

Ｌ＝｜ｙｅ−ｙｇ｜
Ｗ＝｜ｘｈ−ｘｆ｜
こうしてターゲットマーカーの各方向の長さＬ、Ｗが算出されると、ステップＳ１０６において回転角誤差補正部１２がカメラ３の回転角の誤差が補正済みであるか否かを判定する。ここで、現在の処理が１回目の処理で回転角が補正済みでない場合にはステップＳ１０７へ進んで、回転角誤差補正部１２はターゲットマーカーの各方向の長さＬ、Ｗの理想値Ｌ*、Ｗ*を読み出す。理想値Ｌ*、Ｗ*は既知のパラメーターとして予め記憶されており、例えば理想の状態でターゲットマーカーを撮像したマスター画像におけるターゲットマーカーの各方向の長さを理想値Ｌ*、Ｗ*として記憶している。

【0026】

次に、ステップＳ１０８において、回転角誤差補正部１２は、ターゲットマーカーの各方向の長さＬ、Ｗの理想値に対する比率を表した長さ誤差ΔＬ、ΔＷを算出する。長さ誤差ΔＬ、ΔＷは、以下の式で算出することができる。

【0027】

ΔＬ＝Ｌ／Ｌ*
ΔＷ＝Ｗ／Ｗ*
次に、ステップＳ１０９において、回転角誤差補正部１２はカメラ３の車両に垂直な方向の回転角、ここでは図５（ａ）に示すピッチ角であり、このピッチ角の理想値pitch*を読み出す。同様に、カメラ３の車両に平行な方向の回転角、ここでは図５（ｂ）に示すヨー角であり、このヨー角の理想値yaw*を読み出す。理想値pitch*、yaw*は既知のパラメーターとして予め記憶されている。

【0028】

そして、ステップＳ１１０において、回転角誤差補正部１２は、補正すべきピッチ角の値をピッチ角補正値Δpitchとして算出し、同様に補正すべきヨー角の値をヨー角補正値Δyawとして算出する。ピッチ角補正値Δpitch及びヨー角補正値Δyawは、それぞれ以下の式で算出することができる。

【0029】

Δpitch＝pitch*×（１−ΔL）
Δyaw＝yaw*×（１−ΔW）
そして、ステップＳ１１１において、回転角誤差補正部１２は、算出したピッチ角補正値Δpitch及びヨー角補正値Δyawが、それぞれΔpitch＝０、Δyaw＝０となるようにカメラ３の画面補正を実施して、カメラ３の回転角の誤差を補正する。

【0030】

こうして回転角の誤差の補正が完了すると、ステップＳ１０１に戻って再びターゲットマーカーを撮像し、長さ検出部１１によってステップＳ１０２〜１０５の処理が実行される。これにより、長さ検出部１１はターゲットマーカーの補正後の各方向の長さＬ’、Ｗ’を算出する。

【0031】

そして、ステップＳ１０６において、回転角誤差補正部１２がカメラ３の回転角の誤差が補正済みであるか否かを判定し、現在の処理が２回目の処理で補正済みの場合にはステップＳ１１２へ進む。

【0032】

ステップＳ１１２では、長さ比率算出部１３が、ターゲットマーカーの補正後の各方向の長さＬ’、Ｗ’を取得して各方向の長さの比率を表す長さ比率Ｄ’を算出する。長さ比率Ｄ’は
Ｄ’＝Ｗ’／Ｌ’
によって算出することができる。

【0033】

次に、ステップＳ１１３において、高さ誤差補正部１４は、長さ比率Ｄ’の理想値Ｄ*を読み出す。理想値Ｄ*は既知のパラメーターとして予め記憶されており、各方向の長さの理想値Ｌ*、Ｗ*を用いて
Ｄ*＝Ｗ*／Ｌ*
で表すことができる。

【0034】

次に、ステップＳ１１４において、高さ誤差補正部１４は、長さ比率Ｄ’の理想値Ｄ＊に対する比率を表した長さ比率誤差ΔＤを算出する。この長さ比率誤差ΔＤは
ΔＤ＝Ｄ’／Ｄ＊
によって算出することができる。

【0035】

次に、ステップＳ１１５において、高さ誤差補正部１４は、カメラ３の取り付け高さの理想値ｈ＊を読み出す。理想値ｈ*は既知のパラメーターとして予め記憶されている。

【0036】

次に、ステップＳ１１６において、高さ誤差補正部１４は、補正すべきカメラの取り付け高さの誤差を高さ補正値Δｈとして算出する。高さ補正値Δｈは以下の式で算出することができる。

【0037】

Δｈ＝ｈ*×（１−ΔＤ）
そして、ステップＳ１１７において、高さ誤差補正部１４は、算出した高さ補正値ΔｈがΔｈ＝０となるようにカメラ３の画面補正を実施し、カメラ３の取り付け高さの誤差を補正して本実施形態に係るカメラの取り付け誤差補正処理を終了する。

【0038】

尚、上述したカメラの取り付け誤差補正処理では、カメラの取り付け高さの誤差を補正する処理のみについて説明したが、本実施形態に係るカメラ取り付け誤差補正装置１０は、撮像画像から従来の取り付け誤差の補正を行うことも可能である。すなわち、従来でも補正されていたｘ軸方向の誤差、ｙ軸方向の誤差及びカメラの光軸周りの回転方向における誤差を、ターゲットマーカーの撮像画像から補正できることは言うまでもないことである。

【0039】

［実施形態の効果］
以上詳細に説明したように、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、カメラの回転角を補正した後にターゲットマーカーの補正後の各方向の長さＬ’、Ｗ’を検出して長さ比率Ｄ’を算出し、カメラの取り付け高さの誤差を算出して補正する。これにより、従来から補正されていたｘ軸方向の誤差、ｙ軸方向の誤差及びカメラの光軸周りの回転方向における誤差に加えてカメラの高さ方向の誤差を補正することが可能となる。

【0040】

また、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、サイドカメラを用いて第１方向を車両と垂直な方向に設定してカメラのピッチ角の誤差を補正し、第２方向を車両と平行な方向に設定してカメラのヨー角の誤差を補正している。これにより、従来から補正されていたｘ軸方向の誤差、ｙ軸方向の誤差及びカメラの光軸周りの回転方向における誤差に加えてサイドカメラのピッチ角とヨー角の取り付け誤差を補正することができる。

【0041】

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

【符号の説明】

【0042】

１ カメラシステム
２ 画像処理ユニット
３ カメラ
３ａ フロントカメラ
３ｂ 運転席側サイドカメラ
３ｃ リアカメラ
３ｄ 助手席側サイドカメラ
４ ディスプレイ
５ ステアリング角度センサ
６ ソナーシステム
１０ カメラ取り付け誤差補正装置
１１ 長さ検出部
１２ 回転角誤差補正部
１３ 長さ比率算出部
１４ 高さ誤差補正部

【図1】

【図2】

【図3】

【図4】

【図5】