特許 7019431 カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-04

(45)【発行日】2022-02-15

(54)【発明の名称】カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220207BHJP

   B60R 99/00 20090101ALI20220207BHJP

   G06T 7/70 20170101ALI20220207BHJP

   G06T 7/80 20170101ALI20220207BHJP

【ＦＩ】

H04N5/232

B60R99/00

G06T7/70 Z

G06T7/80

【請求項の数】 6

(21)【出願番号】P 2018008143

(22)【出願日】2018-01-22

(65)【公開番号】P2019129341

(43)【公開日】2019-08-01

【審査請求日】2020-06-04

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】230121430

【弁護士】

【氏名又は名称】安井 友章

(72)【発明者】

【氏名】白井 英樹

(72)【発明者】

【氏名】柳川 博彦

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１４－０４８８０３（ＪＰ，Ａ）

【文献】特開２０１７－１４３４１７（ＪＰ，Ａ）

【文献】特開２０１０－２２３６１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／８０

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載されたカメラのキャリブレーションを行う装置であって、
キャリブレーション対象の前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローと、キャリブレーション対象の前記カメラとの位置関係が既知の第２のカメラにて撮影したフレーム間における特徴点のフローを抽出するフロー抽出部と、
車両センサ信号を受信する受信部と、
前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するカメラ移動量計算部と、
車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置がキャリブレーション対象の前記カメラにて撮影した特徴点のフローと整合し、かつ、前記第２のカメラのカメラ座標系におけるホモグラフィー行列Ｈｉであって、キャリブレーション対象の前記カメラのカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ間の相対姿勢ΔＲｉおよび相対位置ΔＣｉ、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｉによって変換される特徴点の位置が、前記第２のカメラで撮影した特徴点のフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるカメラパラメータ更新部と、
を備えるカメラキャリブレーション装置。

【請求項2】

キャリブレーション前のカメラ姿勢Ｒ_ｃ０および高さｈ_ｃ０のデータを記憶した記憶部を備え、
前記カメラパラメータ更新部は、カメラ姿勢Ｒ_ｃ０および高さｈ_ｃ０を初期値として、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求め、求めたカメラ姿勢Ｒｃおよび高さｈｃを前記記憶部に記憶する請求項１に記載のカメラキャリブレーション装置。

【請求項3】

前記車両センサ信号に基づいて前記車両が走行した軌跡を求め、当該軌跡およびカメラ姿勢Ｒｃおよび高さｈｃに基づいて前記路面領域を特定し、その路面領域に基づいて路面フローを抽出する請求項１または２に記載のカメラキャリブレーション装置。

【請求項4】

前記カメラで撮影された画像に基づいて、前記カメラのピッチ軸回りの所定の閾値以上の変動を検知するピッチ変動検知部を備え、
前記ピッチ変動検知部にて、所定の閾値以上の変動を検知したときに、当該変動の際に撮影された画像をキャリブレーションの処理から除外する請求項１乃至３のいずれかに記載のカメラキャリブレーション装置。

【請求項5】

車両に搭載されたカメラのキャリブレーションを行う方法であって、
キャリブレーション対象の前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローと、キャリブレーション対象の前記カメラとの位置関係が既知の第２のカメラにて撮影したフレーム間における特徴点のフローを抽出するステップと、
車両センサ信号を受信するステップと、
前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するステップと、
車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置が、キャリブレーション対象の前記カメラにて撮影した特徴点のフレーム間におけるフローと整合し、かつ、前記第２のカメラのカメラ座標系におけるホモグラフィー行列Ｈｉであって、キャリブレーション対象の前記カメラのカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ間の相対姿勢ΔＲｉおよび相対位置ΔＣｉ、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｉによって変換される特徴点の位置が、前記第２のカメラで撮影した特徴点のフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるステップと、
を備えるカメラキャリブレーション方法。

【請求項6】

車両に搭載されたカメラのキャリブレーションを行うためのプログラムであって、コンピュータに、
キャリブレーション対象の前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローと、キャリブレーション対象の前記カメラとの位置関係が既知の第２のカメラにて撮影したフレーム間における特徴点のフローを抽出するステップと、
車両センサ信号を受信するステップと、
前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するステップと、
車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置が、キャリブレーション対象の前記カメラにて撮影した特徴点のフレーム間におけるフローと整合し、かつ、前記第２のカメラのカメラ座標系におけるホモグラフィー行列Ｈｉであって、キャリブレーション対象の前記カメラのカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ間の相対姿勢ΔＲｉおよび相対位置ΔＣｉ、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｉによって変換される特徴点の位置が、前記第２のカメラで撮影した特徴点のフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車に搭載されたカメラの路面に対する高さおよび角度のキャリブレーション方法に関する。

【背景技術】

【0002】

従来から、車両に搭載された複数台のカメラの映像を利用して、車両周辺を上から見たような画像（鳥瞰画像）を提供する技術がある（特許文献１）。複数台のカメラ画像から鳥瞰画像を合成するためには、各カメラと路面の関係（カメラの位置と角度）を知る必要がある。

【0003】

カメラの路面に対する位置や角度の推定（本書では「キャリブレーション」という）方法としては、工場の敷地内に規定のキャリブレーション用のボードや白線などを配置しておき、カメラでそれらを撮影した後に、既知のボードや白線などの位置情報に基づいてキャリブレーションを行う方法があった（特許文献２）。しかし、これらは最初の一度しかキャリブレーションを行わないため、例えば実際の走行時に、乗員や荷物の重みなどによって車両が傾いていたりすると、正しい鳥瞰画像が得られないなどの問題がある。

【0004】

こうした問題を解決するために、走行中にキャリブレーションを行う方法も提案されている（特許文献３）。特許文献３では、カメラに映る路面のフローを入力としてホモグラフィー行列を推定し、それを分解することでカメラ姿勢と高さを推定する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００７－１８３８７７

【文献】特開２０１２－０１５５７６

【文献】特開２０１４－１０１０７５

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献３に記載された方法は、４つ以上の路面上のフロー（対応づけられた特徴点）からホモグラフィー行列を計算し、それをまずフレーム間のカメラ回転行列Ｒｃと移動ベクトルＴｃに分解した後、カメラ姿勢（角度）とカメラ高さを計算する。特許文献３に記載された方法は、フレーム間のカメラ回転行列Ｒｃが単位行列（車両は直進している）であるという制約がある。

【0007】

また、特許文献３に記載された方法では、最初に得られたフレーム間のカメラ回転行列Ｒｃと移動ベクトルＴｃを分解してカメラ姿勢（角度）とカメラ高さを求めるので、ＲｃとＴｃの推定誤差の影響を受けやすく精度の低下が懸念される。

【0008】

本発明は、上記背景に鑑み、カメラ画像に映る路面の動き情報と、車両から得られる車両（カメラ）の移動情報から、カメラの高さおよび角度のキャリブレーションを行う装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明のカメラキャリブレーション装置は、車両に搭載されたカメラのキャリブレーションを行う装置であって、前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するフロー抽出部と、車両センサ信号を受信する受信部と、前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するカメラ移動量計算部と、車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置が前記フロー抽出部にて求めた特徴点のフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるカメラパラメータ更新部とを備える。また、キャリブレーション前のカメラ姿勢Ｒ_ｃ０および高さｈ_ｃ０のデータを記憶した記憶部を備え、前記カメラパラメータ更新部は、カメラ姿勢Ｒ_ｃ０および高さｈ_ｃ０を初期値として、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求め、求めたカメラ姿勢Ｒｃおよび高さｈｃを前記記憶部に記憶してもよい。

【0010】

この構成により、回転運動を含むシーンでも、キャリブレーションを容易に行うことができ、キャリブレーションの適用シーンが拡大する。また、ホモグラフィー行列Ｈｍは、車両座標系におけるカメラ回転量Ｒｖおよび移動量Ｃｖを含む式を用いているので、車両センサ信号から求められる車両座標系におけるカメラ回転量Ｒｖおよび移動量Ｃｖをダイレクトに用いて、計算を行える。

【0011】

本発明のカメラキャリブレーション装置は、車両に搭載されたキャリブレーション対象の前記カメラとの位置関係が既知の第２のカメラにて撮像された画像も用いてキャリブレーションを行ってもよい。具体的には、前記フロー抽出部は、前記第２のカメラにて撮影したフレーム間における特徴点のフローも抽出する。前記カメラパラメータ更新部は、前記第２のカメラのカメラ座標系におけるホモグラフィー行列Ｈｉであって、キャリブレーション対象の前記カメラのカメラ回転量Ｒｖおよび移動量Ｃｖとカメラ間の相対姿勢ΔＲｉおよび相対位置ΔＣｉ、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｉによって変換される特徴点の位置が、前記第２のカメラで撮影した特徴点のフローとも整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求める。

【0012】

この構成により、キャリブレーション対象のカメラだけでなく、第２のカメラに映る特徴点のフローを利用してキャリブレーションができるので、キャリブレーションの精度を向上させることができる。また、一方のカメラで適切に撮影を行なえない場合においても、他方のカメラからの画像に基づいてキャリブレーションを行うことができ、キャリブレーションの適用シーンを拡大することができる。なお、第２のカメラは、複数あってもよい。

【0013】

本発明のカメラキャリブレーション装置は、前記車両センサ信号に基づいて前記車両が走行した軌跡を求め、当該軌跡およびカメラ姿勢Ｒｃおよび高さｈｃに基づいて前記路面領域を特定し、その路面領域に基づいて路面フローを抽出してもよい。

【0014】

自車が走行してきた領域は、すなわち車や人などの障害物、歩道の路側などの段差などが存在しない領域といえる。このように自車が走行してきた軌跡を利用して路面領域を特定する構成により、路面以外の不要な物体から抽出されるフローを回避し、路面に含まれる特徴点のみを正しく抽出し、そのフローを求めることができる。

【0015】

本発明のカメラキャリブレーション装置は、前記カメラで撮影された画像に基づいて、前記カメラのピッチ軸回りの所定の閾値以上の変動を検知するピッチ変動検知部を備え、前記ピッチ変動検知部にて、所定の閾値以上の変動を検知したときに、当該変動の際に撮影された画像をキャリブレーションの処理から除外してもよい。

【0016】

この構成により、例えば、路面に凹凸がある場合や路面が平面でない場合に撮影された画像は、カメラキャリブレーションの処理から除外できるので、精度の向上が期待できる。

【0017】

また、本発明のカメラキャリブレーション装置は、車両に搭載されたカメラのキャリブレーションを行う装置であって、前記カメラにて撮影した画像中の特徴点のフレーム間におけるフローを抽出するフロー抽出部と、車両センサ信号を受信する受信部と、前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するカメラ移動量計算部と、車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖから求まる前記特徴点のフローと、前記フロー抽出部にて求めた特徴点のフローとが整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるカメラパラメータ更新部とを備える。

【0018】

本発明のカメラキャリブレーション方法は、車両に搭載されたカメラのキャリブレーションを行う方法であって、前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、車両センサ信号を受信するステップと、前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するステップと、車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置が、特徴点のフレーム間におけるフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるステップとを備える。

【0019】

本発明のプログラムは、車両に搭載されたカメラのキャリブレーションを行うためのプログラムであって、コンピュータに、前記カメラにて撮影した画像中の路面領域にある特徴点のフレーム間におけるフローを抽出するステップと、車両センサ信号を受信するステップと、前記車両センサ信号から車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖを計算するステップと、車両座標系における前記フレーム間のカメラ回転量Ｒｖおよび移動量Ｃｖと、カメラ姿勢Ｒｃおよび高さｈｃとを用いて表現されたホモグラフィー行列Ｈｍによって変換される特徴点の位置が、特徴点のフレーム間におけるフローと整合するように、カメラ姿勢Ｒｃおよび高さｈｃの最適解を求めるステップとを実行させる。

【発明の効果】

【0020】

本発明によれば、車両センサ信号から求めたフレーム間におけるカメラ回転量Ｒｖおよび移動量Ｃｖを用いて、カメラ姿勢Ｒｃおよび高さｈｃを求めるので、キャリブレーションの精度を向上させることができる。

【図面の簡単な説明】

【0021】

【図1】第１の実施の形態のカメラキャリブレーション装置の構成を示す図である。

【図2】アッカーマンモデルによるカメラ移動量の計算例を示す図である。

【図3】カメラパラメータ更新部によるパラメータ更新処理の原理を示す図である。

【図4】車両座標系とカメラ座標系の違いを説明するための図である。

【図5】車両座標系とカメラ座標系の変換式の導出方法について説明するための図である。

【図6】第１の実施の形態のカメラキャリブレーション装置の動作を示すフローチャートである。

【図7】第２の実施の形態のカメラキャリブレーション装置の構成を示す図である。

【図8】リアカメラ座標系とフロントカメラ座標系の変換式の導出方法について説明するための図である。

【図9】第２の実施の形態のカメラキャリブレーション装置の動作を示すフローチャートである。

【図10】第３の実施の形態のカメラキャリブレーション装置の構成を示す図である。

【図11】第４の実施の形態のカメラキャリブレーション装置の構成を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態のカメラキャリブレーション装置について説明する。
（第１の実施の形態）
図１は、第１の実施の形態のカメラキャリブレーション装置１の構成を示す図である。カメラキャリブレーション装置１は、カメラの姿勢および路面からの高さのキャリブレーションを行う。カメラキャリブレーション装置１は、キャリブレーション対象のリアカメラ２２と接続されており、リアカメラ２２にて撮影された画像を取得する。また、カメラキャリブレーション装置１は、車載エリアネットワーク（ＣＡＮ）２１に接続されており、ＣＡＮ２１から車両センサ信号を受信する。

【0023】

カメラキャリブレーション装置１は、車両センサ信号を受信する受信部１０と、カメラ移動量計算部１１と、路面フロー抽出部１２と、カメラパラメータ更新部１３と、カメラパラメータ記憶部１４とを有している。

【0024】

受信部１０は、車両センサ信号として、ステアリング角度θ_Ｓ、左後輪移動量Ｄ_Ｌ、右後輪移動量Ｄ_Ｒのデータを受信する。カメラ移動量計算部１１は、アッカーマンモデルに基づいて、カメラ移動量と回転角を求める。図２は、アッカーマンモデルによるカメラ移動量の計算例を示す図である。本実施の形態では、説明の便宜上、カメラ移動量計算部１１は、時刻ｔ－１から時刻ｔの間におけるカメラ移動量Ｒｖと回転角Ｃｖを求めるものとする。

【数1】

【0025】

路面フロー抽出部１２は、リアカメラ２２から取得した画像中の路面領域にある特徴点のフローを抽出する。時刻ｔ－１から時刻ｔまでの間に、路面上にある特徴点がどのように移動したかを求める。路面領域にある特徴点は、例えば、アスファルトのテクスチャ（模様）や道路標示のコーナ点等である。

【0026】

カメラパラメータ記憶部１４には、カメラの姿勢および路面からの高さのデータが記憶されている。記憶されているのは、キャリブレーション前のデータである。本実施の形態のカメラキャリブレーション装置１によるキャリブレーションがまだ行われていないときには、出荷時に計測されたカメラの姿勢および高さのデータが記憶されている。

【0027】

カメラパラメータ更新部１３は、カメラパラメータ記憶部１４に記憶されているカメラパラメータを更新する。図３は、カメラパラメータ更新部１３によるパラメータ更新処理の原理を示す図である。図３における点ｕ_past、点ｕ_now及び点ｕ_predは、カメラ画像上の点を示す。点ｕ_pastは時刻ｔ－１における特徴点の位置を示し、点ｕ_nowは時刻ｔにおける特徴点の位置を示している。特徴点が点ｕ_pastが点ｕ_nowに移動したことは、路面フロー抽出部１２による路面フローの抽出結果から分かる。

【0028】

点ｕ_predは、時刻ｔ－１における点ｕ_pastにホモグラフィー行列Ｈ_ｍを適用して求めた特徴点の予測位置を示している。具体的には、次式によって点ｕ_predを求める。

【0029】

【数2】

ここで、ｋ（ ）はＸＹＺ座標系を画像座標系に投影する処理を表し、ｋ^－１（ ）はその逆の処理を表す。

【0030】

ホモグラフィー行列Ｈ_ｍ（３×３行列）は、次の式で表される。

【数3】

ここで、Ｒ_ｍはフレーム間のカメラ回転量（３×３行列）、Ｃ_ｍはフレーム間のカメラ移動量（３×１ベクトル）、ｎ_ｍは路面法線（３×１ベクトル）、ｈ_ｍ（スカラ）は路面からのカメラ高さを表す。ただし、これらはいずれもカメラ座標系で定義された値である。

【0031】

ホモグラフィー行列Ｈ_ｍには、カメラ姿勢および高さのパラメータが含まれている。点ｕ_predと点ｕ_pastとが一致するようなホモグラフィー行列Ｈ_ｍは、正しいカメラ姿勢および高さのパラメータを含んでいるといえる。本実施の形態では、点ｕ_predの点ｕ_pastに対する予測誤差ｅの二乗誤差を最小にするようなホモグラフィー行列Ｈ_ｍの最適解を求め、これによってカメラの姿勢および路面からの高さを求める。

【0032】

図４は、車両座標系とカメラ座標系の違いを説明するための図である。車両座標系は、路面に対して垂直にＹ_ｖ軸が定義され、路面に対して平行にＸ_ｖ軸、Ｚ_ｖ軸が定義される。Ｚ_ｖ軸は車両の進行方向を向いており、Ｘ_ｖ軸はＺ_ｖ軸に対して垂直である。これに対してカメラ座標系は、カメラの光軸にＺ_ｃ軸が定義され、Ｚ_ｃ軸に垂直でかつ車体に対して平行にＸ_ｃ軸が定義され、Ｚ_ｃ軸及びＸ_ｃ軸に対して垂直にＹ_ｃ軸が定義される。

【0033】

車両センサ信号に基づいてアッカーマンモデルで求められるカメラ回転量Ｒ_ｖ、カメラ移動量Ｃ_ｖは車両座標系で定義されているため、これらのパラメータをホモグラフィー行列Ｈ_ｍにそのまま適用することはできない。そこで、本実施の形態のカメラキャリブレーション装置１では、次のように座標系の変換を行うことにより、車両座標系のカメラ回転量Ｒ_ｖ、カメラ移動量Ｃ_ｖをホモグラフィー行列Ｈ_ｍに適用できるように工夫をしている。これにより、車両センサ信号から求まったカメラ回転量Ｒ_ｖ、カメラ移動量Ｃ_ｖをキャリブレーションに用いることができる。

【数4】

上式において、Ｒ_ｃが求めるべきカメラ姿勢のパラメータ（ヨー角、ピッチ角、ロール角）からなる行列（３×３）であり、ｈ_ｃが求めるべき高さのパラメータである。ヨー角θｙ、ピッチ角θp、ロール角θrとしたとき、例えばＲｃは以下の式で表される。

【数5】

【0034】

図５は、上式（５）～（８）の導出方法について説明するための図である。図５は、時刻ｔ－１と時刻ｔにおけるカメラ座標系Ｘ_ｃと車両座標系Ｘ_ｖとを変換する際の変換行列を示す図である。例えば、時刻ｔ－１のカメラ座標系Ｘ_c(t-1)を時刻ｔのカメラ座標系Ｘ_c(t)に変換するには、時刻ｔ－１のカメラ座標系Ｘ_c(t-1)に変換行列Ｔ_ｍを乗じることを示している。

【0035】

時刻ｔのカメラ座標系Ｘ_c(t)を時刻ｔ－１のカメラ座標系Ｘ_c(t-1)で表す際には、図５の右回りと左回りの両方で表現することができ、これを式で表すと、次式のようになる。

【数6】

ここで、

【数7】

であることから、

【数8】

となる。ここで、カメラ座標系と車両座標系の原点は同じであるから（図４参照）、Ｃ_ｃ＝０とすると、上式（５）～（８）が得られる。

【0036】

カメラパラメータ更新部１３は、観測された現在の特徴点と、ホモグラフィー行列による予測位置の二乗誤差を最小にするカメラ姿勢Ｒｃとカメラ高さｈｃを求める。カメラパラメータ更新部１３は、公知のレーベンバーグ・マーカート法（levenberg-marquardt）によって、カメラ姿勢Ｒｃとカメラ高さｈｃの最適解を求める。このとき、カメラ回転量Ｒｖとカメラ移動量Ｃｖについてもカメラ姿勢Ｒｃと高さｈｃと同時に最適化することができる。つまり、アッカーマンモデルで得られたカメラ回転量Ｒｖとカメラ移動量Ｃｖを初期値と利用して、非線形最適化により最適解を求めることができる。これにより、アッカーマンモデルで得られたカメラ回転量Ｒｖとカメラ移動量Ｃｖに誤差が含まれている場合でも、その誤差を低減でき、カメラ姿勢Ｒｃと高さｈｃの精度向上が期待できる。

【0037】

カメラパラメータをｐとして、最小化する誤差Ｅを示すと以下の式になる。

【数9】

式（１３）をパラメータｐで偏微分すると下記の式が得られる。

【数10】

【0038】

パラメータ更新は以下のように行う。

【数11】

【0039】

以上、本実施の形態のカメラキャリブレーション装置１の構成について説明したが、上記したカメラキャリブレーション装置１のハードウェアの例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備えたＥＣＵである。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記したカメラキャリブレーション装置１が実現される。このようなプログラムも本発明の範囲に含まれる。

【0040】

図６は、第１の実施の形態のカメラキャリブレーション装置１の動作を示すフローチャートである。カメラキャリブレーション装置１は、ＣＡＮ２１から車両センサ信号（ステアリング角度θ_Ｓ、左後輪移動量Ｄ_Ｌ、右後輪移動量Ｄ_Ｒのデータ）を受信し（Ｓ１０）、受信した車両センサ信号に基づいて、車両座標系におけるカメラ回転量Ｒｖとカメラ移動量Ｃｖを求める（Ｓ１１）。また、カメラキャリブレーション装置１は、リアカメラ２２からリアカメラ画像を取得する（Ｓ１２）。

【0041】

カメラキャリブレーション装置１は、カメラパラメータ記憶部１４から、キャリブレーション前のリアカメラ２２のカメラ姿勢Ｒ_ｃ０と高さｈ_ｃ０を読み込む（Ｓ１３）。カメラキャリブレーション装置１は、リアカメラ画像に基づいて路面領域にある特徴点のフレーム間におけるフローを抽出する（Ｓ１４）。

【0042】

続いて、カメラキャリブレーション装置１は、ホモグラフィー行列Ｈｍを計算する（Ｓ１５）。ホモグラフィー行列Ｈｍは、上述した式（４）～（８）で表されるので、車両センサ信号から求めたカメラ回転量Ｒｖおよび移動ベクトルＣｖと、カメラパラメータ記憶部１４から読み出したカメラ姿勢Ｒ_ｃ０と高さｈ_ｃ０を用いて、ホモグラフィー行列Ｈｍを計算する。

【0043】

続いて、カメラキャリブレーション装置１は、式（１３）で示した予測誤差および式（１４）で示したヤコビアンを計算し（Ｓ１６）、レーベンバーグ・マーカートＢ法によって、リアカメラ２２の姿勢Ｒｃと高さｈｃを更新する（Ｓ１７）。カメラキャリブレーション装置１は、所定の終了条件を満たしたかどうかを判定する（Ｓ１８）。ここで、終了条件は、例えば、リアカメラ２２の姿勢Ｒｃと高さｈｃの更新回数が所定の繰り返し回数に達したことや、パラメータの更新量が所定の閾値以下になったことである。

【0044】

終了条件を満たしていないと判定された場合には（Ｓ１８でＮＯ）、カメラキャリブレーション装置１は、更新されたリアカメラ２２の姿勢Ｒｃと高さｈｃを用いて、新しいホモグラフィー行列Ｈｍを計算し（Ｓ１５）、上記した処理（Ｓ１６～Ｓ１８）を繰り返す。終了条件を満たしたと判定された場合には（Ｓ１８でＹＥＳ）、リアカメラ２２の姿勢Ｒｃ、高さｈｃをカメラパラメータ記憶部１４に記憶する（Ｓ１９）。

【0045】

本実施の形態のカメラキャリブレーション装置によれば、走行中にカメラのキャリブレーションを行うことができ、乗員や荷物の重量によって車体が傾いている場合等にもカメラの姿勢、路面高さを適切な値に設定できる。これにより、例えば、リアカメラ画像に基づいて俯瞰画像を生成する場合等に、キャリブレーション後のカメラパラメータを用いて、適切な俯瞰画像を生成することができる。

【0046】

（第２の実施の形態）
図７は、第２の実施の形態のカメラキャリブレーション装置２の構成を示す図である。第２の実施の形態のカメラキャリブレーション装置２は、キャリブレーション対象のリアカメラ２２の他に、フロントカメラ２３を備えた車両に適用される。リアカメラ２２とフロントカメラ２３との相対的な位置関係は事前にキャリブレーションされており既知であるとする。第２の実施の形態では、フロントカメラ２３で撮影した映像データをも用いて、リアカメラ２２のキャリブレーションを行う。

【0047】

第２の実施の形態のカメラキャリブレーション装置２の基本的な構成は第１の実施の形態と同じである。本実施の形態においては、路面フロー抽出部１２は、フロントカメラ２３から取得した画像においても路面フローを抽出する。

【0048】

カメラパラメータ更新部１３は、第１の実施の形態で説明したホモグラフィー行列Ｈｍのパラメータに加え、フロントカメラ画像のホモグラフィー行列Ｈｉがフロントカメラ画像から求めた路面フローのデータに整合するような最適解を求める。フロントカメラ画像のホモグラフィー行列Ｈ_ｉは、次の式で表される。

【数12】

ここで、Ｒ_iはフレーム間のカメラ回転量、Ｃ_ｉはフレーム間のカメラ移動量、ｎ_ｉは路面法線、ｈ_ｉは路面からのカメラ高さを表す。ただし、これらはいずれもフロントカメラ座標系で定義された値である。

【0049】

本実施の形態では、次式に示すように、フロントカメラ２３のホモグラフィー行列Ｈｉをリアカメラ２２の車両座標系におけるカメラ回転量Ｒｖおよびカメラ移動量Ｃｖと、カメラ姿勢Ｒｃおよびカメラ高さｈｃを用いて表す。これにより、フロントカメラ画像のホモグラフィー行列Ｈｉを利用して、カメラ姿勢Ｒｃおよびカメラ高さｈｃの最適解を求める。カメラ間の相対姿勢ΔＲｉおよび相対位置ΔＣｉは既知とする。

【数13】

【0050】

図８は、上式（１８）～（２１）の導出方法について説明するための図である。なお、図８では、便宜上、リアカメラ２２を「後カメラ」、フロントカメラ２３を「前カメラ」と表現している。図８は、時刻ｔ－１と時刻ｔにおける前カメラ座標系Ｘ_ｉと後カメラ座標系Ｘ_ｃとを変換する際の変換行列を示す図である。例えば、時刻ｔ－１の前カメラ座標系Ｘ_i(t-1)を時刻ｔ－１の後カメラ座標系Ｘ_c(t-1)に変換するには、時刻ｔ－１の前カメラ座標系Ｘ_i(t-1)に変換行列ΔＴ_ｉを乗じることを示している。

【0051】

時刻ｔの前カメラ座標系Ｘ_i(t)を時刻ｔ－１の前カメラ座標系Ｘ_i(t-1)で表す際には、図８の右回りと左回りの両方で表現することができ、これを式で表すと、次式のようになる。

【数14】

【0052】

ここで、行列Ｔｍは、式（１２）で示すとおりであるから、これを式（２２）のＴｍに代入して整理すると、上記の式（１８）～式（２１）が得られる。

【0053】

カメラパラメータ更新部１３は、リアカメラ画像における予測誤差とフロントカメラ画像における予測誤差を最小にするようなリアカメラ２２のカメラ姿勢Ｒｃおよび高さｈｃの最適解をレーベンバーク・マーカートＢ法で求める。

【0054】

図９は、第２の実施の形態のカメラキャリブレーション装置２の動作を示すフローチャートである。カメラキャリブレーション装置２は、ＣＡＮ２１から車両センサ信号（ステアリング角度θ_Ｓ、左後輪移動量Ｄ_Ｌ、右後輪移動量Ｄ_Ｒのデータ）を受信し（Ｓ１０）、受信した車両センサ信号に基づいて、車両座標系におけるカメラ回転量Ｒｖとカメラ移動量Ｃｖを求める（Ｓ１１）。また、カメラキャリブレーション装置１は、リアカメラ２２からリアカメラ画像を取得すると共に、フロントカメラ２３からフロントカメラ画像を取得する（Ｓ１２）。

【0055】

カメラキャリブレーション装置２は、カメラパラメータ記憶部１４から、キャリブレーション前のリアカメラ２２のカメラ姿勢Ｒ_ｃ０と高さｈ_ｃ０とリアカメラ２２とフロントカメラ２３の相対姿勢ΔＲｉと相対位置ΔＣｉを読み込む（Ｓ１３）。

【0056】

カメラキャリブレーション装置２は、リアカメラ画像に基づいて路面領域にある特徴点のフレーム間におけるフローを抽出する（Ｓ１４ａ）。続いて、カメラキャリブレーション装置１は、ホモグラフィー行列Ｈｍを計算する（Ｓ１５ａ）。ホモグラフィー行列Ｈｍは、上述した式（４）～（８）で表されるので、車両センサ信号から求めたカメラ回転量Ｒｖおよび移動ベクトルＣｖと、カメラパラメータ記憶部１４から読み出したカメラ姿勢Ｒ_ｃ０と高さｈ_ｃ０を用いて、ホモグラフィー行列Ｈｍを計算する。続いて、カメラキャリブレーション装置１は、式（１３）で示した予測誤差および式（１４）で示したヤコビアンを計算する（Ｓ１６ａ）。

【0057】

以上にリアカメラ画像を用いた処理を説明したが、フロントカメラ画像についても上記と同様の処理を行い（Ｓ１４ｂ～Ｓ１６ｂ）、フロントカメラ画像のホモグラフィー行列Ｈｉと予測誤差およびヤコビアンを計算する。

【0058】

続いて、カメラキャリブレーション装置２は、レーベンバーグ・マーカートＢ法によって、リアカメラ２２の姿勢Ｒｃと高さｈｃを更新する（Ｓ１７）。カメラキャリブレーション装置２は、所定の終了条件を満たしたかどうかを判定する（Ｓ１８）。ここで、終了条件は、例えば、リアカメラ２２の姿勢Ｒｃと高さｈｃの更新回数が所定の繰り返し回数に達したことや、パラメータの更新量が所定の閾値以下になったことである。

【0059】

終了条件を満たしていないと判定された場合には（Ｓ１８でＮＯ）、カメラキャリブレーション装置２は、更新されたリアカメラ２２の姿勢Ｒｃと高さｈｃを用いて、新しいホモグラフィー行列Ｈｍ、Ｈｉを計算し（Ｓ１５ａ、Ｓ１５ｂ）、上記した処理（Ｓ１６ａ、Ｓ１６ｂ～Ｓ１８）を繰り返す。終了条件を満たしたと判定された場合には（Ｓ１８でＹＥＳ）、リアカメラ２２の姿勢Ｒｃ、高さｈｃをカメラパラメータ記憶部１４に記憶する（Ｓ１９）。

【0060】

第２の実施の形態のカメラキャリブレーション装置２は、フロントカメラ２３の画像も用いてリアカメラ２２のキャリブレーションを行うので、キャリブレーションの精度を高めることができる。

【0061】

（第３の実施の形態）
図１０は、第３の実施の形態のカメラキャリブレーション装置３の構成を示す図である。第３の実施の形態のカメラキャリブレーション装置３は、第１の実施の形態のカメラキャリブレーション装置１の構成に加え、路面領域特定部１５を備えている。

【0062】

路面領域特定部１５は、カメラ移動量計算部１１にて求められたカメラ回転量Ｒｖとカメラ移動量Ｃｖを用いて、車両が走行してきた軌跡を計算し、求めた軌跡情報と現在のカメラ姿勢Ｒｃと高さｈｃを用いて画像中における路面領域を特定する。Ｒｃとｈｃは最終的な値ではなく誤差を含んでいる可能性があるので、それを考慮した路面領域を設定する。路面領域特定部１５は、特定した路面領域のデータを路面フロー抽出部１２に渡す。路面フロー抽出部１２は、フレーム間の画像情報に加えて、路面領域特定部１５より取得した路面領域のデータを用いて、路面フローを抽出する。

【0063】

このように車両センサ信号に基づいて特定した路面領域のデータを用いることにより、路面に含まれるフローを適切に抽出することができる。

【0064】

（第４の実施の形態）
図１１は、第４の実施の形態のカメラキャリブレーション装置４の構成を示す図である。第４の実施の形態のカメラキャリブレーション装置４は、第１の実施の形態のカメラキャリブレーション装置１の構成に加え、ピッチ変動検知部１６を備えている。

【0065】

ピッチ変動検知部１６は、カメラがピッチ軸（図４でいうＸｃ軸）周りに所定の閾値以上の変動をしたことを検知する機能を有する。所定の閾値は、例えば、単位時間あたりの回転角度で規定される。本実施の形態において、ピッチ変動検知部１６は、カメラパラメータ更新部１３に接続されており、カメラパラメータ更新部１３にて求めたカメラパラメータから、ピッチ変動を検知する。

【0066】

ピッチ変動検知部１６は、ピッチ変動の検知結果をカメラパラメータ更新部１３に入力する。これにより、カメラキャリブレーション装置１は、ピッチ変動検知部１６にてピッチ変動が検知された場合には、その変動が起こったときにフレームの画像をキャリブレーションに利用しない。これにより、路面が平面でない、あるいは、路面に凹凸があるような平面でないシーンを除外してカメラのキャリブレーションを行うので、キャリブレーションの精度を向上させることができる。

【0067】

なお、本実施の形態では、カメラパラメータの推定結果を利用してピッチ変動を検知する例を挙げて説明したが、ピッチ変動を検知する方法は、カメラパラメータの推定結果を利用するだけではなく、例えば、車両センサ信号やカメラ画像に基づいてピッチ変動を検知することとしてもよい。画像を用いる場合、例えば画像全体からフローを検出し、そのフローの収束点（ＦＯＥ）の上下移動があった場合にピッチ変動が検出できる。

【産業上の利用可能性】

【0068】

本発明は、車両に搭載されたカメラのキャリブレーションを行う装置として有用である。

【符号の説明】

【0069】

１～４ カメラキャリブレーション装置
１０ 受信部
１１ カメラ移動量計算部
１２ 路面フロー抽出部
１３ カメラパラメータ抽出部
１４ カメラパラメータ記憶部
１５ 路面領域特定部
１６ ピッチ変動検知部
２１ ＣＡＮ
２２ リアカメラ
２３ フロントカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】