特開 2018-136739 キャリブレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-136739(P2018-136739A)

(43)【公開日】2018年8月30日

(54)【発明の名称】キャリブレーション装置

(51)【国際特許分類】

   G06T 7/80 20170101AFI20180803BHJP

   G06T 1/00 20060101ALI20180803BHJP

   H04N 5/232 20060101ALI20180803BHJP

   H04N 7/18 20060101ALI20180803BHJP

   H04N 17/00 20060101ALI20180803BHJP

   B60R 11/02 20060101ALI20180803BHJP

【ＦＩ】

   G06T7/80

   G06T1/00 330A

   H04N5/232 290

   H04N7/18 J

   H04N17/00 L

   B60R11/02 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】14

(21)【出願番号】特願2017-30791(P2017-30791)

(22)【出願日】2017年2月22日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】齋藤 司

(72)【発明者】

【氏名】川辺 学

【テーマコード（参考）】

3D020

5B057

5C054

5C061

5C122

5L096

【Ｆターム（参考）】

3D020BA20

3D020BC13

3D020BC17

3D020BC19

3D020BE03

5B057AA16

5B057BA17

5B057CA08

5B057CA12

5B057CA16

5B057DA07

5B057DB02

5B057DB09

5B057DC05

5B057DC08

5B057DC36

5C054CC05

5C054FC01

5C054FD03

5C054FE06

5C054HA05

5C054HA30

5C061BB03

5C061BB07

5C061BB11

5C061CC01

5C122DA14

5C122EA64

5C122EA68

5C122FH11

5C122HA79

5C122HB01

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096EA26

5L096FA03

5L096FA12

5L096FA64

5L096FA67

5L096GA10

5L096GA51

5L096HA05

5L096JA18

(57)【要約】

【課題】撮像面内の一軸回りの回転角のパラメータの校正処理を短時間且つ高精度に実現する。
【解決手段】車両に搭載されて前記車両の周辺を撮像するカメラの校正を実施するキャリブレーション装置１１６であって、撮像により時系列的に得られる複数のフレームから、撮像された画像の特徴点を抽出する特徴点抽出部１１７と、車両の舵角を取得する舵角取得部１１９と、舵角取得部１１９で取得された舵角に基づき、車両が直進走行していると判断されるときに、時系列に相前後する一組のフレーム間で特徴点が変位した直線である特徴点系列の長さを算出する特徴点系列算出部１２０と、一組のフレーム間で車両が走行した走行距離と、特徴点系列算出部１２０で算出された特徴点系列の長さとの比が、異なる組のフレーム間で一致するように、撮像面内の一軸回りの回転角のパラメータを校正する回転角校正部１２２と、を有することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に搭載されて前記車両の周辺を撮像するカメラの校正を実施するキャリブレーション装置であって、
前記撮像により時系列的に得られる複数のフレームから、前記撮像された画像の特徴点を抽出する特徴点抽出部と、
前記車両の舵角を取得する舵角取得部と、
前記舵角取得部で取得された舵角に基づき、前記車両が直進走行していると判断されるときに、時系列に相前後する一組のフレーム間で前記特徴点が変位した直線である特徴点系列の長さを算出する特徴点系列算出部と、
前記一組のフレーム間で前記車両が走行した走行距離と、前記特徴点系列算出部で算出された特徴点系列の長さとの比が、異なる組のフレーム間で一致するように、撮像面内の一軸回りの回転角のパラメータを校正する回転角校正部と、
を有することを特徴とするキャリブレーション装置。

【請求項2】

請求項１に記載のキャリブレーション装置において、
前記回転角校正部は、前記カメラの光軸方向が前記車両の前後方向と一致するときに、前記車両の前後方向と垂直な前記車両の上下方向に延びる軸回りの回転角のパラメータを前記一軸回りの回転角のパラメータとして校正することを特徴とするキャリブレーション装置。

【請求項3】

請求項１に記載のキャリブレーション装置において、
前記回転角校正部は、前記カメラの光軸方向が前記車両の上下方向と一致するときに、前記車両の上下方向と垂直な前記車両の左右方向に延びる軸回りの回転角のパラメータを前記一軸回りの回転角のパラメータとして校正することを特徴とするキャリブレーション装置。

【請求項4】

請求項１乃至請求項３の何れか一項に記載のキャリブレーション装置において、
前記車両の走行速度を取得する速度取得部を備え、
前記回転角校正部は、前記速度取得部で取得された走行速度に基づいて、前記走行距離を算出することを特徴とするキャリブレーション装置。

【請求項5】

請求項１乃至請求項４の何れか一項に記載のキャリブレーション装置において、
前記特徴点系列算出部で算出された特徴点系列の数を累積する特徴点系列累積部を備え、
前記回転角校正部は、前記特徴点系列累積部で累積した数が予め定められた必要本数に到達した場合に、前記回転角のパラメータを校正することを特徴とするキャリブレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キャリブレーション装置に関する。

【背景技術】

【0002】

近年、車両に設置されたカメラで撮像された画像を利用して運転手を補助するシステムが多数提案されている。その一例として、車両周囲確認用の俯瞰画像表示システム、車両後進時の予想進路線表示システム、自動駐車システム等がある。

【0003】

上記カメラは設計値に準じた位置・角度で車両に取り付けられるが、その際、位置・角度に誤差が生じ得る。このような誤差を抑制するため、キャリブレーションと呼ばれる校正処理が、カメラの位置・角度等のカメラパラメータに対して行われる。

【0004】

車両の出荷時におけるキャリブレーションは、人が誰も乗っていない空車状態で実施されるのが一般的である。従って、キャリブレーション後の車両の状態が、実際にキャリブレーションを行った空車状態にあるときは、カメラの画像にズレは生じない。

【0005】

しかし、実際にユーザーが車両を使用する際には、乗車する人数や座る場所、荷物の積載状態等が種々に変化する。そして、車両の積載状態が変化すると、車両の姿勢も変化し、それに伴って、地面に対するカメラの据え付け状態も変化する。また、経年劣化によってカメラ姿勢が変化することがある。すなわち、カメラパラメータが変化して誤差が生じる。そのカメラパラメータの誤差によって、カメラで撮像された画像にズレが生じるといった問題があった。

【0006】

このような問題に対し、下記の特許文献１〜３には、車両の走行中にカメラパラメータを校正する方法が開示されている。その方法とは、車両に設置したカメラで撮像された画像から特徴点の抽出及び追跡を行うものである。その方法の基本原理は、フレーム間で特徴点が二次元的に動いたことによる直線状の特徴点系列（校正指標）を用いて、カメラパラメータを補正するものである。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開2011-217233号公報

【特許文献2】特開2014-48803号公報

【特許文献3】国際公開第2012/139636号

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、カメラの光軸に垂直な撮像面内の一軸回りの回転角のパラメータを校正する場合を考える。上記の特許文献１〜３に開示された方法で一軸回りの回転角のパラメータを校正する場合には、車両走行中でのカメラの撮像で得られたフレームのうち、時系列に相前後する一組のフレームを用いて、二本の特徴点系列の長さを求める必要がある。すなわち、一組のフレーム間で、２つの特徴点を同時に抽出し、且つ、その抽出した２つの特徴点を同時に追跡する必要がある。

【0009】

このため、特徴点の抽出及び追跡に要する時間が長くなる結果、一軸回りの回転角のパラメータの校正処理に要する時間が長くなるという問題があった。また、２つの特徴点を同時に抽出し且つ追跡するまでの成功率が極めて低くなる結果、一軸回りの回転角のパラメータの校正処理の精度が低下するという問題があった。

【0010】

本発明は、上記課題に鑑みてなされたもので、撮像面内の一軸回りの回転角のパラメータの校正処理を短時間且つ高精度に実現することができるキャリブレーション装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明に係るキャリブレーション装置は、撮像面内の一軸回りの回転角のパラメータの校正指標となる特徴点系列の長さと、車両の走行距離との比を用いて、撮像面内の一軸回りの回転角のパラメータを校正するものである。

【0012】

すなわち、本発明に係るキャリブレーション装置は、車両に搭載されて前記車両の周辺を撮像するカメラの校正を実施するキャリブレーション装置であって、前記撮像により時系列的に得られる複数のフレームから、前記撮像された画像の特徴点を抽出する特徴点抽出部と、前記車両の舵角を取得する舵角取得部と、前記舵角取得部で取得された舵角に基づき、前記車両が直進走行していると判断されるときに、時系列に相前後する一組のフレーム間で前記特徴点が変位した直線である特徴点系列の長さを算出する特徴点系列算出部と、前記一組のフレーム間で前記車両が走行した走行距離と、前記特徴点系列算出部で算出された特徴点系列の長さとの比が、異なる組のフレーム間で一致するように、撮像面内の一軸回りの回転角のパラメータを校正する回転角校正部と、を有することを特徴とする。

【発明の効果】

【0013】

このように構成された本発明に係るキャリブレーション装置によれば、撮像面内の一軸回りの回転角の校正処理を短時間且つ高精度に実現することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るキャリブレーション装置を搭載したキャリブレーションシステムの概略構成を示すブロック図である。

【図2】本発明の一実施形態に係るキャリブレーション装置の概略構成を示すブロック図である。

【図3】カメラ座標系の一例を示す説明図である。

【図4】キャリブレーション装置で行われる校正処理の流れを示すフローチャートである。

【図5】キャリブレーション装置で行われる校正処理の過程における俯瞰画像の一例を示す図である。

【図6】キャリブレーション装置で行われる校正処理の過程における俯瞰画像の一例を示す図である。

【図7】ヨー角の校正処理を説明するための説明図である。

【発明を実施するための形態】

【0015】

以下、本発明に係るキャリブレーション装置の具体的な実施形態について、図面を参照して説明する。なお、以下では、４台のカメラ１１１〜１１４を使用する場合について説明する。

【0016】

＜キャリブレーションシステムの概略構成＞
図１は、本発明の一実施形態に係るキャリブレーション装置を搭載したキャリブレーションシステムの概略構成を示す。キャリブレーションシステム１００は、前輪が操舵輪である車両１に設置されている。

【0017】

キャリブレーションシステム１００は、主に、４台のカメラ１１１〜１１４と、演算装置１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、表示装置１０４と、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９とを備えている。

【0018】

各カメラ１１１〜１１４は、車両１に搭載され、例えば当該車両１の前後左右に設置される。例えば、前後に設置されるカメラは、ナンバープレート付近の車体に取り付けられ、左右に設置されるカメラは、サイドミラーの下部等に取り付けられる。ここでは、カメラ１１１を車両１の前方、カメラ１１２を車両１の後方、カメラ１１３を車両１の左方、カメラ１１４を車両１の右方に取り付けるものとする。

【0019】

前方カメラ１１１及び後方カメラ１１２は、光軸方向が車両１の前後方向と一致するように取り付けられる。左方カメラ１１３及び右方カメラ１１４は、光軸方向が車両１の上下方向と一致するように取り付けられる。各カメラ１１１〜１１４は、事前に取り決めた既知の設計情報に従って取り付けられるが、実際には取り付け誤差が発生しており、この誤差は未知である。また、各カメラ１１１〜１１４には、車両１の全周囲の画像を取得できるように、広角の魚眼レンズを備えたカメラが採用される。魚眼カメラは広角の画像を取得するために、既知の歪み関数に基づいて画像を歪ませている。各カメラ１１１〜１１４で撮像された４つの画像は、演算装置１０１に出力される。

【0020】

車速センサ１０５と舵角センサ１０６とヨーレートセンサ１０７は、それぞれ、車速、舵角、ヨーレートを検出するセンサであり、各センサで検出されたセンサ情報は演算装置１０１に出力され、演算装置１０１における演算処理で利用される。舵角センサ１０６では、前輪のタイヤ角が舵角として検出される。

【0021】

入力装置１０８は、例えばスイッチやボタン等といった、ユーザーの操作を受け付ける装置である。入力装置１０８は、キャリブレーション機能のオン／オフ、キャリブレーション結果の初期化、キャリブレーション方法の変更等に利用される。ユーザーの操作を介して当該入力装置１０８に入力された各種情報は、演算装置１０１に出力される。

【0022】

通信装置１０９は、不図示の外部機器との通信に使用される装置である。演算装置１０１は、当該通信装置１０９を介して外部機器から各種情報を受信すると共に、演算装置１０１で演算された各種情報を外部機器へ出力する。

【0023】

ＲＡＭ１０２には、演算装置１０１における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が書き込まれる。その書き込まれたデータは、演算装置１０１の演算処理過程で適宜必要に応じて読み出されて演算処理に使用される。また、ＲＡＭ１０２には、各カメラ１１１〜１１４によって撮像された画像データ等も格納される。

【0024】

ＲＯＭ１０３には、例えば、キャリブレーションを実行するプログラムや、プログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。例えば、各カメラ１１１〜１１４の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）、各カメラ１１１〜１１４の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータが格納される。

【0025】

演算装置１０１は、各カメラ１１１〜１１４、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、入力装置１０８、通信装置１０９等から送信される種々の情報を受け取る。その受け取った情報を用いて、演算装置１０１は、プログラム等に基づき計算処理を実施する。

【0026】

演算装置１０１は、例えば、各カメラ１１１〜１１４から入力された画像を視点変換し、上方から地面を見下ろしたような俯瞰画像を生成する。詳細には、魚眼カメラからなる各カメラ１１１〜１１４で撮像された画像について、ＲＯＭ１０３等に事前に格納された既知の歪み関数を用いて画像の歪みを除去した画像を生成する。

【0027】

その歪みを除去した各画像を、ＲＯＭ１０３等に事前に格納された既知のカメラ取り付けに関する設計値等に基づいて、俯瞰視点から見た画像に視点変換する（画像生成装置１１５）。このような視点変換処理は、周知のカメラの幾何変換式を使って、俯瞰画像の特定の画素とそれに対応する各カメラ１１１〜１１４の特定の画素を計算し、その画素の輝度値を俯瞰画像の画素に割り当てることによって実現できる。

【0028】

対応する画素が小数点を含み、該当する画素がない場合は、周知の輝度の補間処理によって周辺画素の中間輝度を割り当てる処理が行われる。また、演算装置１０１は、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、通信装置１０９の出力結果を用いて演算処理を実行したり、入力装置１０８の入力結果に従って動作プログラムの切り替え処理を実行したりする。

【0029】

また、演算装置１０１には、視点変換された俯瞰画像が車両１を真上から見下ろした画像となるように、各カメラ１１１〜１１４のキャリブレーションを実施するキャリブレーション装置１１６が搭載される。キャリブレーション装置１１６の構成については後述する。

【0030】

表示装置１０４は、演算装置１０１の処理結果を受け取り、ディスプレイ等を用いてその処理結果をユーザーに提示する。例えば、ユーザーに対して各カメラ１１１〜１１４の４つの画像を視点変換した俯瞰画像を表示する。また、表示装置１０４は、車両１の後方を撮像するカメラ１１２の画像だけを表示する等、演算装置１０１の出力に従って表示内容を切り替えることもできる。

【0031】

＜キャリブレーション装置の構成＞
図２は、本発明の一実施形態に係るキャリブレーション装置の概略構成を示す。キャリブレーション装置１１６は、車両１に搭載されて車両の周辺を撮像する各カメラ１１１〜１１４の校正を実施する。キャリブレーション装置１１６は、特徴点抽出部１１７と、速度取得部１１８と、舵角取得部１１９と、特徴点系列算出部１２０と、特徴点系列累積部１２１と、カメラパラメータ校正部１２２（回転角校正部）と、を有する。

【0032】

特徴点抽出部１１７は、各カメラ１１１〜１１４の撮像により時系列的に得られる複数のフレームから、その撮像された画像の特徴点を抽出する。速度取得部１１８は、車速センサ１０５で検出された走行速度の検出結果を取得する。舵角取得部１１９は、舵角センサ１０６で検出された舵角の検出結果を取得する。なお、特徴点系列算出部１２０、特徴点系列累積部１２１、カメラパラメータ校正部１２２の詳細は後述する。

【0033】

＜カメラ座標系＞
図３は、カメラ座標系の一例を示す説明図である。以下では、図３を用いて、カメラ座標系（Ｘ，Ｙ，Ｚ）の一例について説明する。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、カメラの光軸方向をＺ軸方向と定義する。図中に網掛けで示した面ＩＳは、カメラの光軸（Ｚ軸）に対して垂直となる撮像面ＩＳを示す。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、その撮像面ＩＳと平行にＸ軸及びＹ軸をとるものとする。

【0034】

図中のピッチングとは、Ｘ軸回りの回転のことをいい、ヨーイングとは、Ｙ軸回りの回転のことをいい、ローリングとは、Ｚ軸回りの回転のことをいう。Ｘ，Ｙ，Ｚ軸の回りの回転角のパラメータを、それぞれ、ピッチ角、ヨー角、ロール角という。

【0035】

前方カメラ１１１及び後方カメラ１１２のように、その光軸方向が車両１の前後方向と一致する場合、その前後方向をＺ軸方向と定義し、その前後方向（Ｚ軸方向）と垂直な車両１の上下方向に延びる軸をＹ軸と定義する。

【0036】

一方、左方カメラ１１３及び右方カメラ１１４のように、その光軸方向が車両１の上下方向と一致する場合、その上下方向をＺ軸方向と定義し、その上下方向（Ｚ軸方向）と垂直な車両１の左右方向に延びる軸をＸ軸と定義する。

【0037】

＜キャリブレーション装置で行われる一連の校正処理の流れ＞
以下、図４に示すフローチャート及び図５〜図７を用いて、キャリブレーション装置で行われる一連の校正処理の流れを説明する。以下では、前方カメラ１１１のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）の校正を前提として記述する。

【0038】

まず、ステップＳ１０１では、カメラパラメータの校正指標となる特徴点系列の長さを取得するために、前方カメラ１１１において、直進走行中の車両１の周辺が撮像される。その撮像により得られたフレームＦは、特徴点抽出部１１７に出力される。特徴点系列とは、車両１が直進走行しているときに、時系列に相前後する一組のフレーム間で特徴点が変位して形成された直線のことをいう。車両１が走行する道路は、特徴点の多い白線や道路標示が存在することが望ましい。

【0039】

ステップＳ１０２では、車速センサ１０５及び舵角センサ１０６において、それぞれ、車速及び舵角が検出される。その検出により得られた車速情報及び舵角情報は、それぞれ、通信プロトコルとしてのCAN（Controller Area Network）等の車載ネットワークを介して、速度取得部１１８及び舵角取得部１１９に出力される。

【0040】

ステップＳ１０３では、特徴点系列算出部１２０において、車両１の走行状態が特徴点系列の長さを得るに適切な走行状態か否かの判断が行われる。車両１の走行速度が安定していない場合、特徴点の追跡が困難なケースが発生し得る。例えば、車両１が急加速や急減速を行った場合、車両１の姿勢が大きく変動する。その変動の影響を受け、前方カメラ１１１の撮像により得られる画像は、特徴点系列の長さを得るに不適切な画像となってしまう。そのため、カメラパラメータ校正部１２２は、舵角取得部１１９で取得された舵角情報に基づいて、車両１が直進走行しているか否かを判断する。

【0041】

車両１が直進走行していると判断されたときは（ステップＳ１０３におけるＹＥＳ）、車両１の走行状態が特徴点系列の長さを得るに適切な走行状態にあるので、ステップＳ１０４に進む。一方、車両１が直進走行していないと判断されたときは（ステップＳ１０３におけるＮＯ）、車両１の走行状態が特徴点系列の長さを得るに不適切な走行状態にあるので、処理はステップＳ１０１に戻る。

【0042】

ステップＳ１０４では、特徴点系列算出部１２０において、第１番目に取得されるフレームＦ１のうち、エッジ強度の高い点が特徴点として抽出される。なお、このような特徴点の抽出技術については、例えばHarrisオペレータを用いた手法で提案されている等、既に周知であるため、詳細な説明は省略する。

【0043】

ステップＳ１０５では、特徴点系列算出部１２０において、特徴点系列の長さが算出される。特徴点系列の長さの算出は、一組のフレームＦ１，Ｆ２間で撮像面ＩＳ上を特徴点がどの地点からどの地点に移動したのかを追跡することで実現される。このような特徴点の追跡技術については、LK(Lucas-Kanade)法で提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では可能な限り特徴点の追跡が継続される。

【0044】

例えば、第１番目のフレームＦ１から抽出した特徴点が、第２番目のフレームＦ２のどの地点に移動したかを追跡する処理が行われた後も、そのフレームＦ２に後続するフレームＦＸ（Ｘ＝３〜Ｎ）において同地点を示す座標値が算出される。勿論、特徴点の追跡の成功率を高めるうえで、特徴点系列の本数はより多いことが望ましい。

【0045】

そのため、ステップＳ１０６では、特徴点系列累積部１２１において、特徴点系列が累積される。前方カメラ１１１の校正は、特徴点系列を２本取得出来れば実現可能である。以下、図５及び図６に基づいて、２本の特徴点系列を取得する例を説明する。

【0046】

図５（Ａ），（Ｂ）に示すように、時系列に相前後する、第３００番目のフレームＦ３００と、第３０１番目のフレームＦ３０１との間で特徴点Ｐ１（道路に描かれている白線ＷＬ１のコーナー）が変位した直線である特徴点系列の長さＤ１（世界座標系におけるユークリッド距離Ｄ１）が１本目の特徴点系列の長さとして取得される。続いて、図６（Ａ），（Ｂ）に示すように、時系列に相前後する、第６００番目のフレームＦ６００と、第６０１番目のフレームＦ６０１との間で特徴点Ｐ２（道路に描かれている白線ＷＬ１のコーナー）が変位した直線である特徴点系列の長さＤ２（世界座標系におけるユークリッド距離Ｄ２）が２本目の特徴点系列の長さとして取得される。

【0047】

ただし、特徴点の抽出結果、特徴点の追跡処理、車速センサ又は舵角センサから取得した情報には誤差が発生する可能性が多分にある。そのため、特徴点、走行速度、舵角を示す情報を多量に累積した方が、誤差を軽減するうえで望ましい。

【0048】

例えば、舗装が不十分で車両１に対して水平ではない道路を車両１が走行中に、特徴点の抽出処理が行われた場合、ピッチ角、ヨー角、ロール角の校正指標としては不十分である。そのため、最終的に算出されるカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に多量の誤差が生じてしまう虞がある。仮に、校正指標として不十分な特徴点系列の長さが算出されたとしても、校正指標として正しい特徴点系列が多量に累積されていれば、校正指標として不十分な特徴点系列に起因して、カメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に生じる誤差の緩和が可能となる。

【0049】

ステップＳ１０７では、カメラパラメータ校正部１２２において、特徴点系列の本数が予め定められた必要本数に到達したか否かの判定が行われる。特徴点系列の本数が必要本数に到達したと判定されたときは（ステップＳ１０７におけるＹＥＳ）、必要な本数分の特徴点系列の累積が完了したので、ステップＳ１０８に進む。一方、特徴点系列の本数が必要本数に未到達と判定されたときは（ステップＳ１０７におけるＮＯ）、必要な本数分の特徴点系列の累積が完了していないので、処理はステップＳ１０１に戻る。

【0050】

ステップＳ１０８では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ピッチ角（図３に示すＸ軸回りの回転角のパラメータ）の校正が行われる。ピッチ角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態ではステップＳ１０７で累積した特徴点系列を用いることとする。

【0051】

特徴点系列を用いたピッチ角の校正方法については、例えば国際公開第2012/139636号等で提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では、俯瞰変換した２本以上の特徴点系列が平行になるように、ピッチ角の校正が行われる。

【0052】

ステップＳ１０９では、カメラパラメータ校正部１２２において、ヨー角（図３に示すＹ軸回りの回転角のパラメータ）の校正が行われる。

【0053】

まず、カメラパラメータ校正部１２２において、第Ｎ番目のフレームＦＮと、第Ｎ＋１番目のフレームＦＮ＋１の同地点を指す特徴点系列が画像座標系から世界座標系に変換される。この変換方法は既に周知である。そのため、詳細な説明は省略するが、本実施形態では、例えば、フレームＦＮの世界座標における特徴座標を（Ｐ_Ｘ１、Ｐ_Ｙ１）とし、フレームＦＮ＋１の世界座標における特徴座標を（Ｐ_Ｘ２、Ｐ_Ｙ２）として、フレームＦＮとフレームＦＮ＋１との間の世界座標系におけるユークリッド距離Ｄが特徴点系列の長さとして以下の式（１）を用いて算出される。

・・・（１）

【0054】

次に、カメラパラメータ校正部１２２において、車両１の走行速度を示す情報を基に、フレームＦＮとフレームＦＮ＋１との間で車両１が走行した走行距離ｄ［ｋｍ］が算出される。フレームＦＮとフレームＦＮ＋１との間の走行距離ｄ［ｋｍ］は、それぞれのフレーム間の走行速度をｖｋ［ｋｍ／］とし、１秒間のフレーム数をｆとすると、以下の式（２）を用いて算出される。なお、走行速度ｖｋは、速度取得部１１８からカメラパラメータ校正部１２２に出力される。

・・・（２）

【0055】

上記式（２）に示すように、フレームＦＮからフレームＦＮ＋１へ移動する際の車両１の走行速度は、それぞれのフレームで取得した走行速度の相加平均値が採用される。

【0056】

例えば、図５に示すように、フレームＦ３００（図５（Ａ））からフレームＦ３０１（図５（Ｂ））へ移動する際の車両１の走行速度は、フレームＦ３００及びフレームＦ３０１のそれぞれで取得した走行速度の相加平均値が採用される。

【0057】

次に、カメラパラメータ校正部１２２において、以下の式（３）に示すように、ユークリッド距離Ｄが走行距離ｄで除算されることにより、累積した全ての特徴点系列を正規化した正規化長さＲが算出される。式（３）に示すように、正規化長さＲは、車両１の走行距離に依存する値となる。

・・・（３）

【0058】

次に、カメラパラメータ校正部１２２において、正規化長さＲが異なる組のフレーム間で一致するように、ヨー角の校正が行われる。具体的には、図５に示す一組のフレームＦ３００，Ｆ３０１間での走行距離をｄ１［ｋｍ］とし、図６に示すフレームＦ６００，Ｆ６０１間での走行距離をｄ２［ｋｍ］とした場合、正規化長さＲ１（＝Ｄ１／ｄ１）と正規化長さＲ２（＝Ｄ２／ｄ２）とが一致するように、ヨー角の校正が行われる。

【0059】

このようなヨー角の校正技術については、ＬＭ法（Levenberg-Marquardt Method）で、提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施形態では、まず、フレームＦＮとフレームＦＮ＋１との間で特徴点系列のＸ座標の相加平均Ｘ_{ＣＥＮＴＥＲ}が算出される。次に、その相加平均Ｘ_{ＣＥＮＴＥＲ}と、正規化長さＲとが、図７に示すような二次元投票空間へ投票される。次に、その投票した主成分が分析され、図７に破線で示すような近似直線が算出される。次に、その算出した近似曲線の傾きが０°に最も近づくときのヨー角が、校正後のヨー角として推定される。

【0060】

ステップＳ１１０では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ロール角（図３に示すＺ軸回りの回転角のパラメータ）の校正が行われる。ロール角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態では、国際公開第2012/139636号で提案されている手法でロール角の校正が行われる。具体的には、ステップＳ１０７で累積した特徴点系列の角度が車両１の進行方向と平行になるときのロール角が前方カメラ１１１のロール角として校正される。

【0061】

ステップＳ１１１では、カメラパラメータ校正部１２２において、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、前方カメラ１１１のカメラ高さの校正が行われる。カメラ高さの校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態では、国際公開第2012/139636号で提案されている手法でカメラ高さの校正が行われる。具体的には、ステップＳ１０９で算出したユークリッド距離Ｄと走行距離ｄとが等しくなるときのカメラ高さが前方カメラ１１１の高さとして算出される。

【0062】

以上説明したように、本実施形態のキャリブレーション装置によれば、一組のフレーム間（フレームＦ３００，Ｆ３０１間又はフレームＦ６００，Ｆ６０１間）で１つの特徴点（特徴点Ｐ１又は特徴点Ｐ２）の抽出及び追跡が行われる。このため、一組のフレーム間（フレームＦ３００，Ｆ３０１間、又は、フレームＦ６００，Ｆ６０１間）で、２つの特徴点Ｐ１，Ｐ２を同時に抽出したり、その抽出した２つの特徴点Ｐ１，Ｐ２を同時に追跡したりする必要がない。

【0063】

つまり、一組のフレーム間で抽出し且つ追跡する特徴点の数は１つで済む。これにより、一組のフレーム間で２つの特徴点を同時に抽出し且つ追跡する場合と比べて、特徴点の抽出及び追跡に要する時間を短くすることができる。従って、ヨー角の校正処理に要する時間を短くすることができる。

【0064】

また、上述のように、一組のフレーム間で抽出し且つ追跡する特徴点の数は１つで済むので、一組のフレーム間で２つの特徴点を同時に抽出し且つ追跡する場合と比べて、抽出及び追跡の成功率を向上できる。このため、ヨー角の校正処理を高精度に実現できる。

【0065】

従って、ヨー角の校正処理を短時間且つ高精度に実現することができる。

【0066】

また、本実施形態のキャリブレーション装置によれば、工場出荷時に行う規定のマーカを使ったキャリブレーションが不要になる。

【0067】

なお、上記の実施形態では、前方カメラ１１１のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）の校正を前提とした。しかし、これに限らない。勿論、後方カメラ１１２、左方カメラ１１３、右方カメラ１１４のカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）を校正しても良い。

【0068】

後方カメラ１１２は、前方カメラ１１１同様、光軸方向（Ｚ軸方向）が車両１の前後方向（走行方向）と一致する。その前後方向（走行方向）と垂直な上下方向（Ｙ軸）の回りの回転角のパラメータ（ヨー角）の校正は、前方カメラ１１１と同様に、車両１の走行距離ｄに依存する正規化長さＲを用いて実現可能である。

【0069】

一方、左方カメラ１１３及び右方カメラ１１４は、前方カメラ１１１及び後方カメラ１１２と異なり、光軸方向（Ｚ軸方向）が車両１の上下方向と一致する。そのため、ピッチ角、ヨー角、ロール角のうち、車両１の走行距離ｄに依存する回転角は、車両１の上下方向と垂直な左右方向（Ｘ軸）の回りのピッチ角となる。従って、そのピッチ角の校正は、前方カメラ１１１におけるヨー角の校正と同様に、特徴点系列の長さＤと、車両１の走行距離ｄとの比を用いて実現可能である。

【0070】

なお、上記の実施形態では、特徴点系列の長さｄを走行距離Ｄで除した正規化長さＲを用いて、ヨー角の校正を行う例を示した。しかし、これに限らない。例えば、特徴点系列の長さｄを車両１の走行速度ｖｋで除した正規化速度を用いて、ヨー角の校正を行っても良い。

【0071】

なお、上記の実施形態では、キャリブレーションシステム１００を、前輪が操舵輪である車両１に設置する例を示した。しかし、これに限らない。例えば、キャリブレーションシステム１００を、後輪が操舵輪である車両に設置しても良い。

【0072】

なお、上記の実施形態では、４台のカメラ１１１〜１１４を使用する例を示した。しかし、これに限らない。カメラの台数は、使用者等の要請に応じて適宜変更できる。

【0073】

なお、上記の実施形態では、車速情報及び舵角情報が、それぞれ、通信プロトコルとしてのCANを介して、速度取得部１１８及び舵角取得部１１９に出力される例を示した。しかし、これに限らない。例えば、車速情報及び舵角情報は、それぞれ、OSI(Open Systems Interconnection)参照モデルの物理層がCANと互換性のあるCAN FD(Controller Area Network With Flexible Data Rate)等を介して、速度取得部１１８及び舵角取得部１１９に出力されても良い。

【0074】

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0075】

１・・・車両
１１１、１１２、１１３、１１４・・・カメラ
１１６・・・キャリブレーション装置
１１７・・・特徴点抽出部
１１８・・・速度取得部
１１９・・・舵角取得部
１２０・・・特徴点系列算出部
１２１・・・特徴点系列累積部
１２２・・・カメラパラメータ校正部（回転角校正部）
Ｄ、Ｄ１、Ｄ２・・・ユークリッド距離（特徴点系列の長さ）
ｄ、ｄ１、ｄ２・・・走行距離
Ｆ、Ｆ１、Ｆ２、Ｆ３００、Ｆ３０１、Ｆ６００、Ｆ６０１・・・フレーム
Ｐ１、Ｐ２・・・特徴点
Ｒ、Ｒ１、Ｒ２・・・正規化長さ
ｖｋ・・・走行速度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】