特開 2020-87210 キャリブレーション装置及びキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-87210(P2020-87210A)

(43)【公開日】2020年6月4日

(54)【発明の名称】キャリブレーション装置及びキャリブレーション方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20200508BHJP

   H04N 7/18 20060101ALI20200508BHJP

   H04N 5/232 20060101ALI20200508BHJP

【ＦＩ】

   G06T7/80

   H04N7/18 J

   H04N7/18 K

   H04N5/232 290

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2018-223970(P2018-223970)

(22)【出願日】2018年11月29日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】橋口 広祐

(72)【発明者】

【氏名】松山 信之

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FD03

5C054HA30

5C122DA14

5C122EA01

5C122FA06

5C122FA18

5C122FH04

5C122FH10

5C122FH11

5C122GE26

5C122HA88

5C122HB01

5C122HB10

5L096BA04

5L096CA05

5L096DA05

5L096FA66

5L096FA70

5L096JA11

(57)【要約】

【課題】路面の特徴点に基づいてカメラパラメータのキャリブレーションを行う際に、路面の傾斜を考慮したキャリブレーションを行うことが可能なキャリブレーション装置及びキャリブレーション方法を提供する。
【解決手段】キャリブレーション装置１１６は、特徴点検出部２０１により検出された特徴点に基づいてカメラパラメータのキャリブレーションを行うキャリブレーション演算部２０５と、前方カメラ１１１から出力される画像信号に基づくキャリブレーション結果に基づいて、車両Ｖの走行方向と交差する方向の路面の傾斜を推定する傾斜推定部とを有し、キャリブレーション演算部２０５は、傾斜推定部２０６により推定された路面の傾斜にも基づいてキャリブレーションを行う。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両の前方に搭載されて路面を含む前記車両の前方を撮像する前方撮像装置、及び前記車両の側方に搭載されて前記路面を含む前記車両の側方を撮像する側方撮像装置を含む撮像装置から出力される画像信号に基づいて前記撮像装置のカメラパラメータのキャリブレーションを行うキャリブレーション装置であって、
異なる時間に撮像される複数の前記画像信号から少なくとも前記路面の幅方向に検出される複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された前記特徴点に基づいてカメラパラメータのキャリブレーションを行うキャリブレーション演算部と、
前記前方撮像装置から出力される前記画像信号に基づくキャリブレーション結果に基づいて、前記車両の走行方向と交差する方向の前記路面の傾斜を推定する傾斜推定部とを有し、
前記キャリブレーション演算部は、前記傾斜推定部により推定された前記路面の傾斜にも基づいてキャリブレーションを行うことを特徴とするキャリブレーション装置。

【請求項2】

前記キャリブレーション演算部は、前記傾斜推定部により推定された前記路面の傾斜にも基づいて前記側方撮像装置のキャリブレーションを行うことを特徴とする請求項１に記載のキャリブレーション装置。

【請求項3】

前記傾斜推定部は、前記キャリブレーション演算部が算出した、前記前方撮像装置のカメラパラメータであるピッチ角及び／またはヨー角に基づいて前記路面の傾斜を推定し、
前記キャリブレーション演算部は、前記傾斜推定部が推定した前記路面の傾斜に基づいて、前記側方撮像装置のカメラパラメータであるピッチ角のキャリブレーションを行う
ことを特徴とする請求項２に記載のキャリブレーション装置。

【請求項4】

前記傾斜推定部は、前記特徴点検出部により前記路面の幅方向に検出された複数の前記特徴点の移動速度における差と前記特徴点間の前記路面の幅方向の距離との関係に基づいて前記路面の傾斜を推定することを特徴とする請求項１〜３のいずれかに記載のキャリブレーション装置。

【請求項5】

車両の前方に搭載されて路面を含む前記車両の前方を撮像する前方撮像装置、及び前記車両の側方に搭載されて前記路面を含む前記車両の側方を撮像する側方撮像装置を含む撮像装置から出力される画像信号に基づいて前記撮像装置のカメラパラメータのキャリブレーションを行うキャリブレーション装置によるキャリブレーション方法であって、
異なる時間に撮像される複数の前記画像信号から少なくとも前記路面の幅方向に検出される複数の特徴点を検出し、
検出した前記特徴点に基づいてカメラパラメータのキャリブレーションを行い、
前記前方撮像装置から出力される前記画像信号に基づくキャリブレーション結果に基づいて、前記車両の走行方向と交差する方向の前記路面の傾斜を推定し、
推定した前記路面の傾斜にも基づいてキャリブレーションを行うことを特徴とするキャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置から出力される画像信号に基づいてこの撮像装置のカメラパラメータのキャリブレーションを行うキャリブレーション装置及びキャリブレーション方法に関するものである。

【背景技術】

【0002】

近年、車両に設置された撮像装置で撮像した画像を利用して、運転手による運転を支援するシステムが提案されている。その一例として、車両周囲確認用の俯瞰画像表示システム、車両後進時の予想進路線表示システム、自動駐車システム等がある。

【0003】

撮像装置は設計値に準じた位置・角度で車両に取り付けられるが、その際、位置・角度に誤差が生じ得る。このような誤差を抑制するため、キャリブレーションと呼ばれる校正処理が撮像装置の位置・角度等のカメラパラメータに対して行われる。

【0004】

車両の出荷時におけるキャリブレーションは、人が誰も乗っていない空車状態で実施されるのが一般的である。従って、キャリブレーション後の車両の状態が、実際にキャリブレーションを行った空車状態にあるときは、撮像装置の画像にズレは生じない。

【0005】

しかし、実際にユーザーが車両を使用する際には、乗車する人数や座る場所、荷物の積載状態等が種々に変化する。そして、車両の積載状態が変化すると、車両の姿勢も変化し、それに伴って、地面に対する撮像装置の据え付け状態も変化する。また、経年劣化によって撮像装置の姿勢が変化することがある。すなわち、カメラパラメータが変化して誤差が生じる。

【0006】

このような問題に対し、特許文献１には、車両の走行中にカメラパラメータを校正する方法が開示されている。その方法とは、車両に設置した撮像装置で撮像された画像から特徴点の抽出及び追跡を行うものである。その方法の基本原理は、フレーム間で特徴点が二次元的に動いたことによる直線状の特徴点系列（校正指標）を用いて、カメラパラメータを補正するものである。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】国際公開第２０１２／１３９６３６号

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、上述した特許文献１に記載の方法では、使用する特徴点が路面ペイントから得られるものなど、全て同じ高さにあることを前提としている。しかしながら、撮像装置から得られる画像に映る特徴点は全て同じ高さにあるとは限らない。一例として、路面には水はけ等の観点から中央から側方に向かうに従って下方に向かう傾斜が付けられていることが多い。

【0009】

このため、例えば車両右側方を撮影する右側方カメラの画像から得られる路面の特徴点は、路面中央から右方に離れるに従って実際にはその高さが低くなっている。従って、右側方カメラの画像から得られる路面の特徴点を全て同じ高さにあるものとしてキャリブレーション動作を行うと、キャリブレーションの精度の向上を図りにくかった。

【0010】

そこで、本発明は、路面の特徴点に基づいてカメラパラメータのキャリブレーションを行う際に、路面の傾斜を考慮したキャリブレーションを行うことが可能なキャリブレーション装置及びキャリブレーション方法を提供することを目的としている。

【課題を解決するための手段】

【0011】

前記目的を達成するために、本発明のキャリブレーション装置は、車両の前方に搭載されて路面を含む車両の前方を撮像する前方撮像装置、及び車両の側方に搭載されて路面を含む前記車両の側方を撮像する側方撮像装置を含む撮像装置から出力される画像信号に基づいて撮像装置のカメラパラメータのキャリブレーションを行うキャリブレーション装置であって、異なる時間に撮像される複数の画像信号から少なくとも路面の幅方向に検出される複数の特徴点を検出する特徴点検出部と、特徴点検出部により検出された特徴点に基づいてカメラパラメータのキャリブレーションを行うキャリブレーション演算部と、前方撮像装置から出力される画像信号に基づくキャリブレーション結果に基づいて、車両の走行方向と交差する方向の路面の傾斜を推定する傾斜推定部とを有し、さらに、キャリブレーション演算部は、傾斜推定部により推定された路面の傾斜にも基づいてキャリブレーションを行うことを特徴とする。

【発明の効果】

【0012】

このように構成された本発明のキャリブレーション装置では、傾斜推定部が、前方撮像装置から出力される画像信号に基づくキャリブレーション結果に基づいて、車両の走行方向と交差する方向の路面の傾斜を推定し、キャリブレーション演算部が、傾斜推定部により推定された路面の傾斜にも基づいてキャリブレーションを行う。

【0013】

このようにすることで、路面の特徴点に基づいてカメラパラメータのキャリブレーションを行う際に、路面の傾斜を考慮したキャリブレーションを行うことが可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態であるキャリブレーション装置が適用されるキャリブレーションシステムの概略構成を示すブロック図である。

【図2】実施の形態であるキャリブレーション装置によりキャリブレーションが行われる撮像装置の配置位置の一例を示す図である。

【図3】実施の形態であるキャリブレーション装置の概略構成を示す機能ブロック図である。

【図4】実施の形態であるキャリブレーション装置の動作の一例を説明するためのフローチャートである。

【図5】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図6】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図7】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図8】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図9】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図10】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図11】路面に設けられた傾斜の一例を示す図である。

【図12】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【図13】実施の形態であるキャリブレーション装置の動作の一例を説明するための図である。

【発明を実施するための形態】

【0015】

（画像処理装置の概略構成）
以下、この発明の実施の形態を図面に基づいて説明する。なお、以下では、４台の撮像装置を使用する場合について説明する。

【0016】

図１は、本発明の実施の形態であるキャリブレーション装置が適用されるキャリブレーションシステムの概略構成を示すブロック図、図２は実施の形態であるキャリブレーション装置によりキャリブレーションが行われる撮像装置の配置位置の一例を示す図である。

【0017】

図１に示すように、キャリブレーションシステム１００は、車両Ｖ（図２参照）に搭載され、同様に車両Ｖに搭載された撮像装置に対してキャリブレーション動作を行う。

【0018】

車両Ｖの前後左右には、図２に示すように複数の小型カメラ（撮像装置）が備えられている。

【0019】

具体的には、車両Ｖのフロントバンパまたはフロントグリルには、車両Ｖの前方に向けて路面を含む車両の前方を撮像する前方カメラ（前方撮像装置）１１１が装着されている。車両Ｖのリアバンパまたはリアガーニッシュには、車両Ｖの後方に向けて路面を含む車両の後方を撮像する後方カメラ１１２が装着されている。車両Ｖの左ドアミラーには、車両Ｖの左側方に向けて路面を含む車両の左側方を撮像する左側方カメラ（側方撮像装置）１１３が装着されている。車両Ｖの右ドアミラーには、車両Ｖの右側方に向けて路面を含む車両の右側方を撮像する右側方カメラ（側方撮像装置）１１４が装着されている。

【0020】

前方カメラ１１１、後方カメラ１１２、左側方カメラ１１３、右側方カメラ１１４には、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、４台のカメラ１１１〜１１４で車両Ｖの周囲の路面を含む領域を漏れなく観測することができる。これらカメラ１１１〜１１４により、車両Ｖの周囲の路面を撮像する撮像装置が構成されている。各カメラ１１１〜１１４で撮像された４つの画像は、画像処理装置１０１（図１参照）に出力される。

【0021】

図１に戻って、キャリブレーションシステム１００は、主に、４台のカメラ１１１〜１１４と、画像処理装置１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、表示装置１０４と、車速センサ１０５と、舵角センサ１０６と、ヨーレートセンサ１０７と、入力装置１０８と、通信装置１０９とを備えている。

【0022】

車速センサ１０５と舵角センサ１０６とヨーレートセンサ１０７は、それぞれ、車速、舵角、ヨーレートを検出するセンサであり、各センサで検出されたセンサ情報は画像処理装置１０１に出力され、画像処理装置１０１における演算処理で利用される。舵角センサ１０６では、前輪のタイヤ角が舵角として検出される。

【0023】

入力装置１０８は、例えばスイッチやボタン等といった、ユーザーの操作を受け付ける装置である。入力装置１０８は、キャリブレーション機能のオン／オフ、キャリブレーション結果の初期化、キャリブレーション方法の変更等に利用される。ユーザーの操作を介して当該入力装置１０８に入力された各種情報は、画像処理装置１０１に出力される。

【0024】

通信装置１０９は、不図示の外部機器との通信に使用される装置である。画像処理装置１０１は、当該通信装置１０９を介して外部機器から各種情報を受信するとともに、画像処理装置１０１で演算された各種情報を外部機器へ出力する。

【0025】

ＲＡＭ１０２には、画像処理装置１０１における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が書き込まれる。その書き込まれたデータは、画像処理装置１０１の演算処理過程で適宜必要に応じて読み出されて演算処理に使用される。また、ＲＡＭ１０２には、各カメラ１１１〜１１４によって撮像された画像データ等も格納される。

【0026】

ＲＯＭ１０３には、例えば、キャリブレーションを実行するプログラムや、プログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。例えば、各カメラ１１１〜１１４の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）、各カメラ１１１〜１１４の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータが格納される。本実施の形態であるキャリブレーションシステム１００は、主に外部パラメータのキャリブレーションを行うものである。

【0027】

画像処理装置１０１は、各カメラ１１１〜１１４、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、入力装置１０８、通信装置１０９等から送信される種々の情報を受け取る。その受け取った情報を用いて、画像処理装置１０１は、プログラム等に基づき画像処理動作を実施する。

【0028】

画像処理装置１０１は、例えば、各カメラ１１１〜１１４から入力された画像を視点変換し、上方から地面を見下ろしたような俯瞰画像を生成する。詳細には、魚眼カメラからなる各カメラ１１１〜１１４で撮像された画像について、ＲＯＭ１０３等に事前に格納された既知の歪み関数を用いて画像の歪みを除去した画像を生成する。

【0029】

その歪みを除去した各画像を、ＲＯＭ１０３等に事前に格納された既知のカメラ取り付けに関する設計値等に基づいて、俯瞰視点から見た画像に視点変換する（画像生成装置１１５）。このような視点変換処理は、周知のカメラの幾何変換式を使って、俯瞰画像の特定の画素とそれに対応する各カメラ１１１〜１１４の特定の画素を計算し、その画素の輝度値を俯瞰画像の画素に割り当てることによって実現できる。

【0030】

対応する画素が小数点を含み、該当する画素がない場合は、周知の輝度の補間処理によって周辺画素の中間輝度を割り当てる処理が行われる。また、画像処理装置１０１は、車速センサ１０５、舵角センサ１０６、ヨーレートセンサ１０７、通信装置１０９の出力結果を用いて演算処理を実行したり、入力装置１０８の入力結果に従って動作プログラムの切り替え処理を実行したりする。

【0031】

また、画像処理装置１０１には、視点変換された俯瞰画像が車両Ｖを真上から見下ろした画像となるように、各カメラ１１１〜１１４のキャリブレーションを実施するキャリブレーション装置１１６が搭載される。キャリブレーション装置１１６の構成については後述する。

【0032】

表示装置１０４は、画像処理装置１０１の処理結果を受け取り、ディスプレイ等を用いてその処理結果をユーザーに提示する。例えば、ユーザーに対して各カメラ１１１〜１１４の４つの画像を視点変換した俯瞰画像を表示する。また、表示装置１０４は、車両Ｖの後方を撮像するカメラ１１２の画像だけを表示する等、画像処理装置１０１の出力に従って表示内容を切り替えることもできる。

【0033】

（キャリブレーション装置の機能構成）
図３は、本実施の形態であるキャリブレーション装置１１６の概略構成を示す機能ブロック図である。

【0034】

本実施の形態であるキャリブレーション装置１１６は、制御部２００及び記憶部２１０を有する。

【0035】

制御部２００は、キャリブレーション装置１１６全体の制御を行う。制御部２００はＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子を有する。

【0036】

キャリブレーション装置１１６の記憶部２１０には図略の制御用プログラムが格納されており、この制御用プログラムがキャリブレーション装置１１６の起動時に制御部２００により実行されて、キャリブレーション装置１１６は図３に示すような機能構成を備えたものとなる。特に、本実施形態のキャリブレーション装置１１６は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

【0037】

制御部２００は、特徴点検出部２０１、特徴点追跡部２０２、特徴点系列作成部２０３、座標変換部２０４、キャリブレーション演算部２０５及び傾斜推定部２０６を有する。

【0038】

特徴点検出部２０１は、カメラ１１１〜１１４から出力される画像信号から特徴点を検出する。言い換えれば、特徴点検出部２０１は、カメラ１１１〜１１４が撮像した画像に対して画像処理を施して特徴点を抽出する。ここでいう特徴点とは、例えば路面に描かれた破線の角、支柱の角、路面標識の角などのエッジの交点、すなわちコーナー特徴点である。コーナー特徴点は、たとえば公知の技術であるハリスオペレータを適用することにより抽出できる。特徴点検出部２０１により抽出された特徴点の情報は特徴点追跡部２０２に送られるとともに、記憶部２１０にも格納される。

【0039】

特徴点追跡部２０２は、時系列的に連続する複数の撮影画像から同一の特徴点を追跡し、特徴点の追跡情報を特徴点系列作成部２０３に出力する。特徴点の追跡情報とは、異なる撮像画像における同一の特徴点を示す情報、例えば撮影画像毎の特徴点の座標を示す情報である。

【0040】

特徴点の追跡には、特徴点検出部２０１から入力される最新の撮影画像における特徴点の情報、記憶部２１０に格納された過去の撮影画像における特徴点の情報、及び、車速センサ１０５から出力される車両Ｖの運動情報（速度履歴）が用いられる。

【0041】

特徴点の追跡には、既知の追跡手法であるＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of SquaredDifference）、ＬＫ（Lucas‐Kanade）法などを用いることができる。

【0042】

特徴点検出部２０１により検出され、特徴点追跡部２０２により追跡される特徴点の一例を図６を参照して説明する。特徴点検出部２０１は、カメラ１１１〜１１４から出力される画像情報を、一例としてカメラ１１１〜１１４の画像生成間隔である２フレーム（１／３０秒毎にフレームが生成されるとすると６６ｍｓ）間隔で検出する。図６（ａ）はＮフレーム（Ｎは自然数）目の撮像画像から特徴点検出部２０１が検出した特徴点Ｃ１、図６（ｂ）はＮ＋２フレーム目の撮像画像から特徴点検出部２０１が検出した特徴点Ｃ２、図６（ｃ）はＮフレーム目の撮像画像から特徴点検出部２０１が検出した特徴点Ｃ３を示す図である。

【0043】

次いで、特徴点追跡部２０２は、特徴点検出部２０１により検出された特徴点のうち、同一の特徴点を追跡し、特徴点の追跡情報を特徴点系列作成部２０３に出力する。図６に示す例では、特徴点Ｃ１、Ｃ２、Ｃ３はいずれも同じ路面標識の同じコーナーについて検出された特徴点である。特徴点追跡部２０２は、これら特徴点Ｃ１〜Ｃ３を同一の特徴点として追跡し、その追跡情報を特徴点系列作成部２０３に出力する。

【0044】

特徴点系列作成部２０３は、特徴点追跡部２０２による追跡が終了したと判定された特徴点について、追跡された一連の特徴点をひとつの特徴点系列としてまとめ、座標変換部２０４に出力する。加えて、特徴点系列作成部２０３は特徴点系列を蓄積し、記憶部２１０に格納する。

【0045】

ここで、特徴点検出部２０１による特徴点の検出結果、特徴点追跡部２０２による特徴点の追跡処理、車速センサ１０５または舵角センサ１０６から取得した情報には誤差が発生する可能性が多分にある。そのため、特徴点、走行速度、舵角を示す情報を多量に累積した方が、誤差を軽減するうえで望ましい。

【0046】

例えば、舗装が不十分で車両Ｖに対して水平ではない道路を車両Ｖが走行中に、特徴点検出部２０１による特徴点の検出処理が行われた場合、ピッチ角、ヨー角、ロール角の校正指標としては不十分である。そのため、キャリブレーション演算部２０５により算出されるカメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に多量の誤差が生じてしまう虞がある。仮に、特徴点系列作成部２０３により、校正指標として不十分な特徴点系列の長さが算出されたとしても、校正指標として正しい特徴点系列が多量に累積されていれば、校正指標として不十分な特徴点系列に起因して、カメラパラメータ（ピッチ角、ヨー角、ロール角、カメラ高さ）に生じる誤差の緩和が可能となる。

【0047】

座標変換部２０４は、特徴点系列作成部２０３から出力されたひとつの特徴点系列を構成するそれぞれの特徴点の座標を、撮影画像における二次元座標からカメラ１１１〜１１４を基準とした三次元座標、すなわち実空間上の座標に変換する。ただし特徴点はすべて路面上に存在すると仮定し、特徴点の高さはゼロであるとの拘束条件を付して座標変換を行う。この座標変換は回転行列を用いた演算により実現される。

【0048】

回転行列の要素は、カメラ１１１〜１１４の内部パラメータ、及び外部パラメータを用いて決定される。内部パラメータ及び外部パラメータはＲＯＭ１０３に格納されている値が使用される。座標変換部２０４により座標変換された、ひとつの特徴点系列を構成するそれぞれの特徴点の座標は、キャリブレーション演算部２０５に出力される。

【0049】

キャリブレーション演算部２０５は、座標変換部２０４により座標変換された特徴点に基づいてカメラパラメータのキャリブレーションを行う。キャリブレーション演算部２０５によるキャリブレーション演算の詳細については後述する。

【0050】

傾斜推定部２０６は、前方カメラ１１１から出力される画像信号に基づくキャリブレーション結果に基づいて、車両Ｖの走行方向と交差する方向の路面の傾斜を推定する。より詳細には、傾斜推定部２０６は、前記キャリブレーション演算部が算出した、前記前方撮像装置のカメラパラメータであるピッチ角及び／またはヨー角に基づいて前記路面の傾斜を推定する。

【0051】

特に、傾斜推定部２０６は、特徴点検出部２０１により路面の幅方向に検出された２つの特徴点の移動速度における差と、当該特徴点間の路面の幅方向の距離との関係に基づいて、路面の傾斜を推定する。

【0052】

そして、キャリブレーション演算部２０５は、傾斜推定部２０６により推定された路面の傾斜にも基づいて、左側方カメラ１１３、右側方カメラ１１４のキャリブレーションを行う。特に、キャリブレーション演算部２０５は、傾斜推定部２０６が推定した路面の傾斜に基づいて、左側方カメラ１１３、右側方カメラ１１４のカメラパラメータであるピッチ角のキャリブレーションを行う。

【0053】

図３に示す、キャリブレーション装置１１６を構成する各部の具体的動作については後に詳述する。

【0054】

（カメラ座標系）
図５は、カメラ座標系の一例を示す説明図である。以下では、図５を用いて、カメラ座標系（Ｘ，Ｙ，Ｚ）の一例について説明する。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、カメラの光軸方向をＺ軸方向と定義する。図中に網掛けで示した面ＩＳは、カメラの光軸（Ｚ軸）に対して垂直となる撮像面ＩＳを示す。このカメラ座標系（Ｘ，Ｙ，Ｚ）では、その撮像面ＩＳと平行にＸ軸及びＹ軸をとるものとする。

【0055】

図中のピッチングとは、Ｘ軸回りの回転のことをいい、ヨーイングとは、Ｙ軸回りの回転のことをいい、ローリングとは、Ｚ軸回りの回転のことをいう。Ｘ，Ｙ，Ｚ軸の回りの回転角のパラメータを、それぞれ、ピッチ角、ヨー角、ロール角という。

【0056】

前方カメラ１１１及び後方カメラ１１２のように、その光軸方向が車両Ｖの前後方向と一致する場合、その前後方向をＺ軸方向と定義し、その前後方向（Ｚ軸方向）と垂直な車両Ｖの上下方向に延びる軸をＹ軸と定義する。

【0057】

一方、左側方カメラ１１３及び右側方カメラ１１４のように、その光軸方向が車両Ｖの上下方向と一致する場合、その上下方向をＺ軸方向と定義し、その上下方向（Ｚ軸方向）と垂直な車両Ｖの左右方向に延びる軸をＸ軸と定義する。

【0058】

（キャリブレーション装置の動作）
次に、本実施の形態であるキャリブレーション装置１１６の動作の一例を図４のフローチャート及び図７〜図１３を参照して説明する。

【0059】

図４はキャリブレーション装置１１６の動作を説明するためのフローチャートである。図４のフローチャートに示す動作は、カメラ１１１〜１１４の撮像動作中に定期的に起動、開始される。

【0060】

まず、ステップＳ１では、カメラ１１１〜１１４から出力される画像信号をキャリブレーション装置１１６が取得する。ステップＳ２では、ステップＳ１で取得した画像信号に基づいて、特徴点検出部２０１がカメラ１１１〜１１４が撮像した画像中の特徴点を抽出する。ステップＳ３では、ステップＳ２において抽出された特徴点の１つを処理対象として、特徴点追跡部２０２が追跡処理を行う。ステップＳ４では、特徴点系列作成部２０３が特徴点系列を累積する。

【0061】

ステップＳ５では、制御部２００が、ステップＳ４において蓄積された特徴点系列が予め定められた必要本数に到達したか否かの判定が行われる。そして、蓄積された特徴点系列が必要本数に到達したと判定されたときは（ステップＳ５においてＹＥＳ）、必要な本数分の特徴点系列の累積が完了したので、ステップＳ６に進む。一方、特徴点系列の本数が必要本数に未到達と判定されたときは（ステップＳ５におけるＮＯ）、必要な本数分の特徴点系列の累積が完了していないので、処理はステップＳ１に戻る。

【0062】

ステップＳ６では、座標変換部２０４が、特徴点系列を構成する特徴点の座標を実空間上の座標に変換する。次いで、キャリブレーション演算部２０５が、座標変換部２０４により座標変換された特徴点に基づいてカメラパラメータのキャリブレーションを行う。

【0063】

本実施の形態であるキャリブレーション装置１１６では、キャリブレーション演算部２０５が、カメラ１１１〜１１４の外部パラメータであるピッチ角、ヨー角、ロール角及び高さ校正を行うことで、外部パラメータのキャリブレーション演算を行う。以下、図７〜図１０を参照して、前方カメラ１１１を例に取ったピッチ角、ヨー角、ロール角及び高さ校正の概要について説明する。

【0064】

まず、キャリブレーション演算部２０５は、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ピッチ角（図５に示すＸ軸回りの回転角のパラメータ）の校正を行う。ピッチ角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施の形態であるキャリブレーション装置１１６では、ステップＳ５で累積した特徴点系列を用いる。

【0065】

特徴点系列を用いたピッチ角の校正方法については、例えば国際公開第2012/139636号等で提案されている等、既に周知である。そのため、詳細な説明は省略するが、本実施の形態であるキャリブレーション演算部２０５では、座標変換部２０４により俯瞰変換された２本以上の特徴点系列が平行になるように、ピッチ角の校正が行われる。

【0066】

前方カメラ１１１のピッチ角がずれている場合、図７（ａ）に示すように、俯瞰変換された画像上において、車両Ｖの進行方向に延在する２本の特徴点系列Ｅ_１、Ｅ_２が平行に投影されない。つまり、特徴点系列Ｅ_１、Ｅ_２と車両Ｖの幅方向に延在する仮想線Ｌとの為す角度θ_１、θ_２が等しくなくなる（θ_１≠θ_２）。そこで、キャリブレーション演算部２０５は、特徴点系列Ｅ_１、Ｅ_２が平行に投影されるようにピッチ角を校正する。つまり、図７（ｂ）に示すように、角度θ_１、θ_２が等しくなる（θ_１＝θ_２）ように、ピッチ角を校正する。

【0067】

次に、キャリブレーション演算部２０５は、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、ヨー角（図５に示すＹ軸回りの回転角のパラメータ）の校正を行う。ヨー角の校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施の形態のキャリブレーション装置１１６では、国際公開第2012/139636号で提案されている手法でヨー角の校正が行われる。具体的には、ステップＳ５で累積した特徴点系列の角度が車両Ｖの進行方向と平行になるときのヨー角が前方カメラ１１１のヨー角として校正される。

【0068】

前方カメラ１１１のヨー角がずれている場合、図８（ａ）に示すように、俯瞰変換された画像上において、車両Ｖの進行方向に延在する２本の特徴点系列Ｅ_１、Ｅ_２が車両Ｖの進行方向に一致しない。つまり、特徴点系列Ｅ_１、Ｅ_２と車両Ｖの幅方向に延在する仮想線Ｌとが垂直に交わらない（θ_１、θ_２ともに９０°ではない）。そこで、キャリブレーション演算部２０５は、特徴点系列Ｅ_１、Ｅ_２が車両Ｖの進行方向に一致するようにピッチ角を校正する。つまり、図８（ｂ）に示すように、角度θ_１、θ_２がともに９０°となるように、ヨー角を校正する。

【0069】

さらに、キャリブレーション演算部２０５は、ロール角（図５に示すＺ軸回りの回転角のパラメータ）の校正を行う。

【0070】

まず、キャリブレーション演算部２０５は、第Ｎ番目のフレームＦＮと、第Ｎ＋２番目のフレームＦＮ＋２の同地点を指す特徴点系列を画像座標系から世界座標系に変換する。この変換方法は既に周知である。そのため、詳細な説明は省略するが、本実施形態では、例えば、フレームＦＮの世界座標における特徴座標を（Ｐ_Ｘ１、Ｐ_Ｙ１）とし、フレームＦＮ＋２の世界座標における特徴座標を（Ｐ_Ｘ２、Ｐ_Ｙ２）として、フレームＦＮとフレームＦＮ＋２との間の世界座標系におけるユークリッド距離Ｄを、特徴点追跡結果の長さ、言い換えれば特徴点系列の長さとして以下の式（１）を用いて算出する。

【数1】

【0071】

次に、キャリブレーション演算部２０５は、車速センサ１０５から得られる車両Ｖの走行速度ｖ_ｋに基づいて、フレームＦＮとフレームＦＮ＋２との間で車両Ｖが走行した走行距離ｄ［ｋｍ］を算出する。フレームＦＮとフレームＦＮ＋２との間の走行距離ｄ［ｋｍ］は、それぞれのフレーム間の走行速度をｖ_ｋ［ｋｍ／ｈ］とし、１秒間のフレーム数をｆとすると、以下の式（２）を用いて算出される。

【数2】

【0072】

上記式（２）に示すように、フレームＦＮからフレームＦＮ＋２へ移動する際の車両Ｖの走行速度は、それぞれのフレームで取得した走行速度の相加平均値が採用される。

【0073】

次に、キャリブレーション演算部２０５は、以下の式（３）に示すように、ユークリッド距離Ｄを走行距離ｄで除算することにより、累積した全ての特徴点系列を正規化した正規化速度ｎｖを算出する。式（３）に示すように、正規化速度ｎｖは、車両Ｖの走行距離に依存する値となる。

【数3】

【0074】

次に、キャリブレーション演算部２０５は、正規化速度ｎｖが異なる特徴点系列で一致するように、ロール角の校正を行う。このようなロール角の校正技術については、ＬＭ法（Levenberg-Marquardt Method）で提案されている等、既に周知である。そのため、詳細な説明は省略する。

【0075】

前方カメラ１１１のピッチ角がずれている場合、図９（ａ）に示すように、俯瞰変換された画像上において、車両Ｖの進行方向に延在する２本の特徴点系列Ｅ_１、Ｅ_２についての正規化速度ｎｖ_１、ｎｖ_２は一致しない（ｎｖ_１≠ｎｖ_２）。そこで、キャリブレーション演算部２０５は、図９（ｂ）に示すように、特徴点系列Ｅ_１、Ｅ_２についての正規化速度ｎｖ_１、ｎｖ_２が一致する（ｎｖ_１＝ｎｖ_２）ようにロール角を校正する。

【0076】

そして、キャリブレーション演算部２０５は、ＲＯＭ１０３に格納されているカメラ取り付け位置・角度の設計値を用いて、前方カメラ１１１のカメラ高さの校正を行う。カメラ高さの校正方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、本実施形態では、国際公開第2012/139636号で提案されている手法でカメラ高さの校正が行われる。具体的には、ロール角校正時に算出した車両Ｖの走行距離ｄと同時刻の特徴点の追跡結果の長さＬが等しくなるときのカメラ高さを前方カメラ１１１の高さとして算出する。

【0077】

前方カメラ１１１の高さがカメラ取り付け位置・角度の設計値からずれている場合、図１０（ａ）に示すように、俯瞰変換された画像上において、車両Ｖの走行距離ｄと特徴点の追跡結果の長さＬとの間には誤差Δが生じる（ｄ≠Ｌ）。そこで、キャリブレーション演算部２０５は、図１０（ｂ）に示すように、車両Ｖの走行距離ｄと特徴点の追跡結果の長さＬとが一致する（ｄ＝Ｌ）ように前方カメラ１１１の高さを校正する。

【0078】

ここで、ステップＳ６においてキャリブレーション演算部２０５により行われるキャリブレーション演算は、使用する特徴点が全て同じ高さにあることを前提としている。言い換えれば、使用する特徴点が全て同一平面上にあることを前提としている。

【0079】

しかしながら、実際の路面は同一平面ではない。一例として、図１１に示すように、路面には雨水排水用の勾配が付けられている。図１１は車両Ｖを後方から見た図であり、車両Ｖは紙面手前から奥に向かって進行している。路面には、その中央から左右に向かって、つまり車両Ｖの走行方向と交差する方向に傾斜する雨水排水用の勾配が付けられている。

【0080】

対向車線側の領域（図中にハッチングで示す）に存在する特徴点は、自車線側の領域に存在する特徴点と比較して低い位置に存在する。このため、右側方カメラ１１４のキャリブレーション演算を、使用する特徴点が全て同一平面上にあることを前提として行うと、ピッチ角校正において対向車線側の特徴点について算出する正規化速度ｎｖが、自車線側の特徴点について算出する正規化速度ｎｖよりも遅くなる。この結果、ピッチ角校正を精度高く行えない可能性がある。

【0081】

一例として、正規化速度ｎｖと右側方カメラ１１４から特徴点までの路面幅方向の距離との関係を求めた結果を図１３に示す。図１３において、縦軸が正規化速度ｎｖ、横軸が特徴点までの距離である。図中、実線Ｂは点列を一次近似した際の直線である。この実線Ｂの傾斜が路面勾配による影響であると考えられる。

【0082】

ここで、カメラ１１１〜１１４は魚眼カメラのような撮像範囲が広いものを用いている。従って、前方カメラ１１１及び後方カメラ１１２が撮像した画像は、自車の走行レーンに加えてその左右のレーンまで含まれている。

【0083】

上述したステップＳ６におけるキャリブレーション演算のうち、ロール角校正及び高さ校正については、キャリブレーション演算の前提とする特徴点系列が路面上を追跡した特徴点系列であることが好ましい。そこで、前方カメラ１１１及び後方カメラ１１２については、レーン認識を行うことで、自車の走行レーン領域に存在する特徴点系列のみを用いてキャリブレーション演算を行っている。

【0084】

一方、このような限定をしていないピッチ角校正及びヨー角校正について、正規化速度ｎｖと前方カメラ１１１、後方カメラ１１２から特徴点までの路面幅方向の距離との関係を求めてみると、図１２に示すようになる。図１２においても、縦軸が正規化速度ｎｖ、横軸が特徴点までの距離である。図中、実線Ｂは点列を一次近似した際の直線である。この実線Ｂの傾斜が路面勾配による影響であると考えられる。

【0085】

そこで、ステップＳ７において、傾斜推定部２０６は、前方カメラ１１１について図１２に示すようなグラフを描画し、さらに、近似直線Ｂを算出し、近似直線Ｂのグラフ上での傾斜角度を求める。そして、ステップＳ８において、キャリブレーション演算部２０５は、ステップＳ７で傾斜推定部２０６が求めた傾斜角度をピッチ角の補正角度として用い、再度ピッチ角校正を行う。

【0086】

なお、ステップＳ７において後方カメラ１１２について図１２に示すようなグラフを描画してもよいが、後方カメラ１１２により撮像された画像から抽出できる特徴点は車両Ｖから遠ざかる方向に進むので、正規化速度ｎｖの算出にブレが生じやすい。このため、前方カメラ１１１について演算を行うことが好ましい。

【0087】

（キャリブレーション装置の効果）
以上のように構成された本実施の形態であるキャリブレーション装置１１６では、傾斜推定部２０６が、前方カメラ１１１から出力される画像信号に基づくキャリブレーション結果に基づいて、車両Ｖの走行方向と交差する方向の路面の傾斜を推定し、キャリブレーション演算部２０５が、傾斜推定部２０６により推定された路面の傾斜にも基づいてキャリブレーションを行っている。

【0088】

従って、キャリブレーション演算部２０５が路面の特徴点に基づいてカメラパラメータのキャリブレーションを行う際に、路面の傾斜を考慮したキャリブレーションを行うことが可能となる。この結果、キャリブレーション演算部２０５によるキャリブレーション演算の精度をより向上させることができる。

【0089】

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

【符号の説明】

【0090】

Ｖ 車両
１００ キャリブレーションシステム
１０１ 画像処理装置
１０５ 車速センサ
１１１ 前方カメラ（前方撮像装置）
１１２ 後方カメラ
１１３ 左側方カメラ（側方撮像装置）
１１４ 右側方カメラ（側方撮像装置）
１１５ 画像生成装置
１１６ キャリブレーション装置
２００ 制御部
２０１ 特徴点検出部
２０２ 特徴点追跡部
２０３ 特徴点系列作成部
２０４ 座標変換部
２０５ キャリブレーション演算部
２０６ 傾斜推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】