特開 2020-195089 キャリブレーション方法、及びキャリブレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-195089(P2020-195089A)

(43)【公開日】2020年12月3日

(54)【発明の名称】キャリブレーション方法、及びキャリブレーション装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20201106BHJP

   B60R 1/00 20060101ALI20201106BHJP

   H04N 7/18 20060101ALI20201106BHJP

   G06T 7/80 20170101ALI20201106BHJP

【ＦＩ】

   H04N5/232

   B60R1/00 A

   H04N7/18 J

   H04N5/232 290

   G06T7/80

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】19

(21)【出願番号】特願2019-100480(P2019-100480)

(22)【出願日】2019年5月29日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】遠藤 守

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CC05

5C054DA08

5C054EA01

5C054EA05

5C054EA07

5C054FC12

5C054FC14

5C054FC15

5C054FD03

5C054FE13

5C054GB01

5C054HA30

5C122DA14

5C122EA58

5C122FA18

5C122FH04

5C122FH05

5C122FH11

5C122FH20

5C122HA88

5C122HB01

5L096BA04

5L096CA05

5L096EA15

5L096EA16

5L096FA16

5L096FA25

5L096FA64

5L096FA67

5L096FA69

(57)【要約】

【課題】より簡単にカメラのキャリブレーションを実行できる。
【解決手段】カメラ２ごとに、そのカメラ２によって撮影され、指定駐車枠８３の全体が映っているキャリブレーション用映像７０をキャリブレーション用俯瞰映像７２に変換する俯瞰変換部５０と、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３に基づいて、それぞれのカメラのパラメータを推定するパラメータ推定部５６とを備える。パラメータ推定部５６は、各カメラ２のキャリブレーション用俯瞰映像７２における一対の枠線８３Ａのずれ、並びに、それぞれの指定駐車枠８３の間の相対関係に基づいて、各カメラ２のパラメータを推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両のフロント部、リア部、左サイド部、及び右サイド部のそれぞれに設けられたカメラの前記車両への取付に係るパラメータをキャリブレーションするキャリブレーション方法において、
前記カメラごとに、そのカメラによって撮影され、所定の駐車枠の全体が映っているキャリブレーション用映像を取得する第１ステップと、
各カメラのキャリブレーション用映像をキャリブレーション用俯瞰映像に変換する第２ステップと、
各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠に基づいて、それぞれのカメラのパラメータを推定する第３ステップと、を備え、
前記第１ステップでは、
いずれか２つのカメラによって同じタイミングで撮影されている前記キャリブレーション用映像の組を、前記カメラのそれぞれについて取得し、
前記第３ステップでは、
各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠が含む、対向する一対の枠線のずれに基づいて、各カメラのピッチ角、ロール角、及び取付高さに係るパラメータを推定した後、
同じタイミングで撮影されている前記キャリブレーション用映像の組から生成された前記キャリブレーション用俯瞰映像のそれぞれの前記駐車枠の間の相対関係に基づいて、各カメラのヨー角、及び、前記車両の平面視における取付位置に係るパラメータを推定する、
ことを特徴とするキャリブレーション方法。

【請求項2】

前記第３ステップでは、
各カメラの推定後のパラメータのそれぞれを、前記車両と各カメラとの位置関係に基づいて調整する
ことを特徴とする請求項１に記載のキャリブレーション方法。

【請求項3】

前記第３ステップでは、
前記車両のフロント部に設けられたカメラの位置を、前記車両と各カメラの位置関係の基準にする
ことを特徴とする請求項２に記載のキャリブレーション方法。

【請求項4】

前記第１ステップでは、
前記キャリブレーション用俯瞰映像を、
前記駐車枠の外を横切るように前記車両が往復する間、前記カメラの各々が撮影した撮影映像から取得する
ことを特徴とする請求項１から３のいずれかに記載のキャリブレーション方法。

【請求項5】

車両のフロント部、リア部、左サイド部、及び右サイド部のそれぞれに設けられたカメラの前記車両への取付に係るパラメータをキャリブレーションするキャリブレーション装置において、
前記カメラごとに、そのカメラによって撮影され、所定の駐車枠の全体が映っているキャリブレーション用映像を取得する駐車枠映像取得部と、
各カメラのキャリブレーション用映像をキャリブレーション用俯瞰映像に変換する俯瞰変換部と、
各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠に基づいて、それぞれのカメラのパラメータを推定するパラメータ推定部と、を備え、
前記駐車枠映像取得部は、
いずれか２つのカメラによって同じタイミングで撮影されている前記キャリブレーション用映像の組を、前記カメラのそれぞれについて取得し、
前記パラメータ推定部は、
各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠が含む、対向する一対の枠線のずれに基づいて、各カメラのピッチ角、ロール角、及び取付高さに係るパラメータを推定した後、
同じタイミングで撮影されている前記キャリブレーション用映像の組から生成された前記キャリブレーション用俯瞰映像のそれぞれの前記駐車枠の間の相対関係に基づいて、各カメラのヨー角、及び、前記車両の平面視における取付位置に係るパラメータを推定する、
ことを特徴とするキャリブレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、キャリブレーション方法、及びキャリブレーション装置に関する。

【背景技術】

【0002】

車載に搭載された複数のカメラのキャリブレーションを行う技術として特許文献１の技術がある。
特許文献１には、「車両に搭載した複数のカメラを有する撮像部と、各カメラで撮影した画像から駐車枠を示す直線画像を識別し夫々のカメラ画像から駐車枠の特徴点を少なくとも２つ検出する特徴点検出部と、検出した特徴点とその交差する２方向の情報をもとに各カメラの画像を合成して真上からの視点に変換した俯瞰画像を生成する視点変換部と、俯瞰画像から車両と直線画像との境界位置を判別して車両画像の表示枠を決定し、俯瞰画像に対する表示枠の割合及び位置が予め指定した値になるように俯瞰画像を変更する調整部と、変更した俯瞰画像をもとに計算された各カメラの特性を示すカメラパラメータを格納する記憶部とを具備する。」ことが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−１８２２３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術では、カメラのキャリブレーションのために、車両が駐車枠の中に駐車していなければならない、という制約がある。

【0005】

本発明は、より簡単にカメラのキャリブレーションを実行できるキャリブレーション方法、及びキャリブレーション装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、車両のフロント部、リア部、左サイド部、及び右サイド部のそれぞれに設けられたカメラの前記車両への取付に係るパラメータをキャリブレーションするキャリブレーション方法において、前記カメラごとに、そのカメラによって撮影され、所定の駐車枠の全体が映っているキャリブレーション用映像を取得する第１ステップと、各カメラのキャリブレーション用映像をキャリブレーション用俯瞰映像に変換する第２ステップと、各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠に基づいて、それぞれのカメラのパラメータを推定する第３ステップと、を備え、前記第１ステップでは、いずれか２つのカメラによって同じタイミングで撮影されている前記キャリブレーション用映像の組を、前記カメラのそれぞれについて取得し、前記第３ステップでは、各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠が含む、対向する一対の枠線のずれに基づいて、各カメラのピッチ角、ロール角、及び取付高さに係るパラメータを推定した後、同じタイミングで撮影されている前記キャリブレーション用映像の組から生成された前記キャリブレーション用俯瞰映像のそれぞれの前記駐車枠の間の相対関係に基づいて、各カメラのヨー角、及び、前記車両の平面視における取付位置に係るパラメータを推定する、ことを特徴とする。

【0007】

本発明は、上記キャリブレーション方法において、前記第３ステップでは、各カメラの推定後のパラメータのそれぞれを、前記車両と各カメラとの位置関係に基づいて調整することを特徴とする。

【0008】

本発明は、上記キャリブレーション方法において、前記第３ステップでは、前記車両のフロント部に設けられたカメラの位置を、前記車両と各カメラの位置関係の基準にすることを特徴とする。

【0009】

本発明は、上記キャリブレーション方法において、前記第１ステップでは、前記キャリブレーション用俯瞰映像を、前記駐車枠の外を横切るように前記車両が往復する間、前記カメラの各々が撮影した撮影映像から取得することを特徴とする。

【0010】

本発明は、車両のフロント部、リア部、左サイド部、及び右サイド部のそれぞれに設けられたカメラの前記車両への取付に係るパラメータをキャリブレーションするキャリブレーション装置において、前記カメラごとに、そのカメラによって撮影され、所定の駐車枠の全体が映っているキャリブレーション用映像を取得する駐車枠映像取得部と、各カメラのキャリブレーション用映像をキャリブレーション用俯瞰映像に変換する俯瞰変換部と、各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠に基づいて、それぞれのカメラのパラメータを推定するパラメータ推定部と、を備え、前記駐車枠映像取得部は、いずれか２つのカメラによって同じタイミングで撮影されている前記キャリブレーション用映像の組を、前記カメラのそれぞれについて取得し、前記パラメータ推定部は、各カメラのキャリブレーション用俯瞰映像に現れた前記駐車枠が含む、対向する一対の枠線のずれに基づいて、各カメラのピッチ角、ロール角、及び取付高さに係るパラメータを推定した後、同じタイミングで撮影されている前記キャリブレーション用映像の組から生成された前記キャリブレーション用俯瞰映像のそれぞれの前記駐車枠の間の相対関係に基づいて、各カメラのヨー角、及び、前記車両の平面視における取付位置に係るパラメータを推定する、ことを特徴とする。

【発明の効果】

【0011】

本発明によれば、より簡単にカメラのキャリブレーションを実行できる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態に係る車載カメラシステムの機能的構成を示す図である。

【図2】車両へのカメラの設置態様を示す図である。

【図3】トップビュー映像、及び俯瞰映像を模式的に示す図である。

【図4】車両座標系、カメラ座標系、撮影映像座標系、及び瞰映像座標系を示す図である。

【図5】三次元直交座標系におけるピッチ角、ヨー角、及びロール角を示す図である。

【図6】駐車枠の種類を示す図である。

【図7】キャリブレーション処理のフローチャートである。

【図8】キャリブレーション用映像を得るための往復直進走行を示す図である。

【図9】往路又は復路において得られるキャリブレーション用映像を示す図である。

【図10】往路、及び復路の直進走行によって取得されるキャリブレーション用映像を模式図である。

【図11】第１キャリブレーションの動作説明図である。

【図12】第２キャリブレーションの動作説明図である。

【図13】第２キャリブレーションの動作説明図である。

【図14】第３キャリブレーションの動作説明図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る車載カメラシステム１の機能的構成を示す図である。図２は、車両３へのカメラ２の設置態様を示す図である。
車載カメラシステム１は、車両３（図２）に取り付けられているカメラ２が車両３の外部を撮影した撮影映像４に基づいて、車両３の周囲を映した適宜の態様の表示映像５を運転者に向けて表示する車載システムである。かかる車載カメラシステム１は、図１に示すように、撮影部８と、画像処理装置１０と、操作装置１２と、表示装置１４と、を備える。操作装置１２は、ユーザ操作を入力する装置であり、ユーザ操作の入力手法には、操作子の操作入力や、タッチパネルのタッチ操作、音声入力操作といった適宜の手法が用いられる。表示装置１４は、各種の情報、及び上記表示映像５などの映像を表示する装置である。

【0014】

撮影部８は、上記４台のカメラ２を備え、各カメラ２の撮影映像４を画像処理装置１０に出力する。図２に示すように、カメラ２は、車両３のフロント部３Ｆ、リア部３Ｂ、左サイド部３Ｌ、及び右サイド部３Ｒのそれぞれに１台ずつ設置されており、これらのカメラ２によって、車両３の前方ＤＦ、後方ＤＢ、左方ＤＬ、及び右方ＤＲのそれぞれが撮影される。少ない数のカメラ２で車両３の全周囲を隙間無く撮影可能にするために、カメラ２には、画角が比較的広いのもの（例えば超広角の魚眼カメラ）が用いられる。
なお、以下の説明では、必要に応じて、カメラ２の各々をフロントカメラ２Ｆ、リアカメラ２Ｂ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒと称することで互いに区別する。

【0015】

画像処理装置１０は、各カメラ２の撮影映像４を画像処理することで表示映像５を生成し、それを表示装置１４に出力する装置であり、前掲図１に示すように、制御部２０と、画像入力部２２と、ユーザ操作取得部２４と、を備える。
画像処理装置１０は、プログラム実行機能を有した、例えばＥＣＵ（Electronic Control Unit）を備えて構成される。ＥＣＵは、マイクロコントローラを有し、当該マイクロコントローラには、撮影部８や操作装置１２、表示装置１４との間で通信する通信デバイスと、ＣＰＵやＭＰＵなどのプロセッサと、ＲＯＭやＲＡＭなどのメモリデバイスとが実装されている。そして、プロセッサがメモリデバイスに格納されたコンピュータプログラムを実行することで、図１に示す機能ブロックが実現される。

【0016】

制御部２０は、上記プロセッサによって実現されており、画像処理装置１０の各部を制御する機能と、表示装置１４に表示する表示映像５の種類に応じて各カメラ２の撮影映像４を画像処理する機能と、を備えている。
画像入力部２２は、撮影部８が出力する撮影映像４の入力インターフェースとして機能する。また画像入力部２２は、各カメラ２の撮影映像４を一時的に記憶し、それを順次に制御部２０に出力する画像記憶部２３を備える。ユーザ操作取得部２４は、操作装置１２に入力されたユーザ操作を取得し、それを制御部２０に出力する。

【0017】

本実施形態では、表示装置１４が表示する表示映像５の種類には、少なくともトップビュー映像３０（俯瞰合成映像とも呼ばれる）が含まれている。
トップビュー映像３０は、図３に示すように、車両３、及びその周囲を当該車両３の上方に設定した仮想視点Ｆから視た映像である。かかるトップビュー映像３０は、制御部２０によって次のようにして生成される。
すなわち、制御部２０は、カメラ２のそれぞれが撮影した車両３の撮影映像４を仮想視点Ｆから視た俯瞰映像３２に射影変換（視点変換とも言う）し、これらの俯瞰映像３２を仮想視点Ｆを基準に合成することでトップビュー映像３０を生成する。

【0018】

射影変換には、撮影映像４の二次元座標系（以下、「撮影映像座標系Ｍｇ」と言う、図３参照）を、俯瞰映像３２の二次元座標系（以下、「俯瞰映像座標系Ｍｆ」と言う、図３参照）に変換する公知又は周知の座標変換式、或いは、当該座標変換式に基づいて作成された座標変換テーブルが用いられる。
ここで、撮影映像座標系Ｍｇは、それを撮影したカメラ２ごとに設定される三次元座標系（以下、「カメラ座標系Ｍｃ」と言う）に対応する。
具体的には、図４に示すように、カメラ座標系Ｍｃは直交座標系であり、カメラ２の取付位置Ｐを原点とし、例えばＺｃ軸などの１つの座標軸をカメラ２の撮影方向Ｋに合致させて設定される。そして、カメラ座標系Ｍｃにおいて、撮影方向Ｋに垂直な平面の直交座標系が撮影映像座標系Ｍｇに相当している。
一方、車両３には、前掲図２に示すように、車両３の上下方向（高さ方向）をＺｖ軸に合致させて設定した３次元直交座標系（以下、「車両座標系Ｍｖ」という）が設定されており、このＺｖ軸（車両３の高さ方向）に垂直な平面の直交座標系が俯瞰映像座標系Ｍｆに相当している。本実施形態では、車両座標系Ｍｖにおいて、図２に示すように、車両３の一対の前輪４０を結ぶ線をＸｖ軸と定義し、車両３の車幅の中心線をＹｖ軸と定義している。

【0019】

射影変換においては、カメラ２ごとに異なる撮影映像座標系Ｍｇが先ず車両座標系Ｍｖに変換され、次いで俯瞰映像座標系Ｍｆに変換されることで、互いに座標系が異なる各カメラ２の撮影映像４から俯瞰映像３２が生成される。
かかる俯瞰映像３２の生成のために、画像処理装置１０には、前掲図１に示すように、俯瞰変換部５０と、パラメータ記憶部５２と、が備えられている。

【0020】

俯瞰変換部５０は、上述の射影変換を用いて撮影映像４を俯瞰映像３２に変換するものであり、パラメータ記憶部５２は、この射影変換に用いられる各種のパラメータを記憶する。
かかるパラメータには、カメラ座標系Ｍｃを特定するための情報（換言すれば、カメラ２の取付時の姿勢を特定する情報）として、各カメラ２の取付位置Ｐ、及び撮影方向Ｋ（すなわち、カメラ座標系Ｍｃの原点、及び軸方向）が少なくとも含まれる。撮影方向Ｋは、カメラ２が備える撮影光学系の光軸方向に一致し、このカメラ取付時の光軸方向の向きは、カメラ２の取付角度Ａによって一意に特定される。パラメータ記憶部５２には、取付角度Ａが各カメラ２の撮影方向Ｋとして記憶される。また、パラメータ記憶部５２には、各カメラ２のパラメータの値として、個々に独立したカメラ座標系Ｍｃではなく車両座標系Ｍｖを用いて表した値が記憶される。

【0021】

ここで、取付角度Ａ（撮影方向Ｋ）は、図５に示すように、三次元直交座標系では、ピッチ角α、ヨー角β、及びロール角γの３つの回転角度によって一意に特定される。一般に、これらの回転角度のうち、ピッチ角αはＹ軸からＺ軸方向への回転角度と定義され、ヨー角βはＸ軸からＹ軸方向への回転角度と定義され、ロール角γはＸ軸からＺ軸への回転角度と定義される。
しかしながら、本実施形態の車両３においては各カメラ２間で撮影方向Ｋが全く異なるため、前掲図４に示すように、各カメラ２のカメラ座標系Ｍｃの軸方向が車両座標系Ｍｖの軸方向と必ずしも一致してはいない。このため、車両座標系Ｍｖにおいて用いられる上記３つの回転角度が示す回転方向は、各カメラ２を個々のカメラ座標系Ｍｃからみた場合に、カメラ座標系Ｍｃの対応する回転角度とは全く異なる回転方向を示すことになる。

【0022】

そこで、本実施形態では、カメラ２の取付角度Ａを、カメラ座標系Ｍｃからみている場合には、上記３つの回転角度のそれぞれを、図４に示すように、カメラ座標系ピッチ角αｃ、カメラ座標系ヨー角βｃ、及びカメラ座標系ロール角γｃと称し、車両座標系Ｍｖにおける回転角度と区別することにする。
この場合において、図４に示すように、カメラ座標系ピッチ角αｃは、撮影映像４の上下方向（カメラ座標系ＭｃにおけるＹｃ軸からＺｃ軸方向）への回転角度であり、カメラ座標系ヨー角βｃは、撮影映像４の左右方向（カメラ座標系ＭｃにおけるＸｃ軸からＹｃ軸方向）への回転角度である。またカメラ座標系ロール角γｃは撮影映像４の映像面に直交する方向（カメラ座標系ＭｃにおけるＸｃ軸からＺｃ軸方向）への回転角度である。

【0023】

また以下の説明において、必要がある場合、各カメラ２の撮影映像４を前方映像４Ｆ、後方映像４Ｂ、左サイド映像４Ｌ、及び右サイド映像４Ｒと称することで、それぞれを区別する。俯瞰映像３２についても同様に、前方俯瞰映像３２Ｆ、後方俯瞰映像３２Ｂ、左サイド俯瞰映像３２Ｌ、右サイド俯瞰映像３２Ｒと称することで、それぞれを必要に応じて区別する。

【0024】

かかる構成の下、車載カメラシステム１において、例えば運転者などのユーザが操作装置１２を操作してトップビュー映像３０の表示を指示すると、画像処理装置１０の制御部２０が各カメラ２の撮影映像４を、対応するカメラ２のパラメータを用いた射影変換によって俯瞰映像３２に変換し、各俯瞰映像３２を合成してトップビュー映像３０を生成する。
ところで、各カメラ２の取付時には、取付位置Ｐや取付角度Ａのパラメータに、設計値からのずれや誤差を生じることが多々ある。この場合、かかるパラメータを用いて生成された俯瞰映像３２にもずれが生じることで、トップビュー映像３０において、俯瞰映像３２の接合箇所にずれが生じる等の問題がある。

【0025】

そこで本実施形態の画像処理装置１０は、プロセッサがメモリデバイスに格納されたコンピュータプログラムを実行することで、各カメラ２のパラメータ（取付位置Ｐ、及び取付角度Ａ）をキャリブレーションするキャリブレーション装置の機能を実現するように構成されている。
本実施形態のキャリブレーションは、所定の駐車枠８０（図８）が映った撮影映像４をキャリブレーションに用いるものであり、車両３が駐車枠８０の中に駐車していなくとも、車両３が駐車枠８０の外を移動することで、キャリブレーションができるようになっている。

【0026】

画像処理装置１０は、かかるキャリブレーションを実現するために、前掲図１に示すように、駐車枠映像取得部５４と、パラメータ推定部５６と、が制御部２０に更に備えられている。

【0027】

駐車枠映像取得部５４は、キャリブレーションに利用する撮影映像４（以下、「キャリブレーション用映像７０」と言う）を取得し、上述の俯瞰変換部５０に出力する。キャリブレーション用映像７０は、ユーザによって指定された駐車枠８０（以下、「指定駐車枠８３」と言う、図８）の全体が映った撮影映像４である。
俯瞰変換部５０は、キャリブレーション用映像７０を、パラメータ記憶部５２に記憶されているパラメータを用いた射影変換により、キャリブレーション用俯瞰映像７２を生成し、パラメータ推定部５６に出力する。

【0028】

パラメータ推定部５６は、各カメラ２に対応するキャリブレーション用俯瞰映像７２に基づいて、各カメラ２のパラメータの現実値を推定し、その値をパラメータ記憶部５２に更新保存する。これにより、各カメラ２のパラメータがキャリブレーションされる。

【0029】

ここで、本実施形態において、パラメータ推定部５６は、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の正確性に基づいて、各カメラ２のパラメータの現実値を推定する。
具体的には、パラメータ推定部５６は、指定駐車枠８３の全体の現実の平面視寸法形状と、キャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の全体の寸法形状との差がなく、なおかつ、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の間の相対関係（位置や傾き）が適切になるパラメータの値を求めることで、当該パラメータの現実値を推定する。

【0030】

なお、キャリブレーションに用いる駐車枠８０は、図６に示すように、対向する一対の枠線８３Ａを含むものであればよく、矩形枠や、３本線枠、平行枠、斜め枠、Ｔ字枠などを用いることができる。以下では、駐車枠８０が矩形枠である場合を例示する。

【0031】

次いで、画像処理装置１０のキャリブレーション動作について、より詳細に説明する。
図７は、キャリブレーション処理のフローチャートである。このキャリブレーション処理は、上記操作装置１２を通じてユーザ（例えば運転者）によって指示された場合に画像処理装置１０によって実行される。

【0032】

キャリブレーション処理において、画像処理装置１０の制御部２０は、先ず、全てのカメラ２での撮影を開始し（ステップＳ１）、車両３の周囲の映像を表示装置１４に表示する。そして、制御部２０は、表示装置１４などの適宜の出力装置に指示メッセージを出力することで、その映像に映った駐車枠８０の中からキャリブレーションに用いる指定駐車枠８３をユーザに指定させる（ステップＳ２）。このステップＳ２の処理は、車両３が停車しているときに行われる。また指定駐車枠８３は車両３の前方ＤＦに位置するものから指定されるものとする。

【0033】

なお、ステップＳ２において、ある駐車枠８０がユーザに指定された場合に、制御部２０は、その駐車枠８０の輪郭線の鮮明度や形状などを画像処理によって特定し、その特定結果に基づいて、指定駐車枠８３に適切か否かを判定してもよい。判定結果が不適切である場合、制御部２０は、他の駐車枠８０をユーザに指定させるように指示メッセージを出力する。その他にも、ステップＳ２において、表示装置１４への映像表示の際に、不適切な駐車枠８０をユーザが指定しないように、或いは、指定できないように制御部２０が制御してもよい。
かかる処理が実行されることで、不適切な指定駐車枠８３が用いられることによって、キャリブレーションによるパラメータの推定が不正確になったり、推定不能に陥いったりする事態を予め回避できる。

【0034】

指定駐車枠８３が指定されると、制御部２０は、全てのカメラ２からキャリブレーション用映像７０を得るための処理を開始する。車両３が指定駐車枠８３の外を移動する場合、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒのいずれか一方においては、指定駐車枠８３が撮影されない。したがって、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒのそれぞれで指定駐車枠８３が撮影されるようにするために、制御部２０は、指定駐車枠８３の外で車両３を往復移動させることをユーザに指示する。

【0035】

具体的には、制御部２０は、図８示すように、開始位置Ｑａからみて指定駐車枠８３の外を横切った先の適宜の地点に折返位置Ｑｂを設定し、現地地点から折返位置Ｑｂまでの進路を表示装置１４の映像に重ねて表示し、当該進路に沿って車両３を直進させることをユーザに指示する（図７：ステップＳ３）。車両３が折返位置Ｑｂに到達すると、制御部２０は、回転運転や切り返し運転などによって車両３の進行方向を反転させることをユーザに指示する（図７：ステップＳ４）。次いで、制御部２０は、折返位置Ｑｂ（或いは、そのときの現在位置）からみて指定駐車枠８３の外を横切った先の適宜の地点に終了位置Ｑｃを設定し、折返位置Ｑｂから終了位置Ｑｃまでの進路を表示装置１４の映像に重ねて表示し、当該進路に沿って車両３を直進させることをユーザに指示する（図７：ステップＳ５）。
これらの処理により、指定駐車枠８３の外を横切るように車両３が往復移動し、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒのそれぞれで指定駐車枠８３が撮影される。

【0036】

ステップＳ３からステップＳ５において、各カメラ２の画角（撮影範囲）内に指定駐車枠８３を確実に入れるために、開始位置Ｑａ、及び折返位置Ｑｂは、指定駐車枠８３までの距離Ａ１（図８）が第１所定距離以上離れた地点に設定され、また進行経路は、指定駐車枠８３までの距離Ａ２（図８）が第２所定距離以下の箇所に設定される。これら第１所定距離、及び第２所定距離はカメラ２の画角に基づいて決定される。
また、ステップＳ３からステップＳ５において、車両３の現在位置の検出や進路の案内は、車両３が備える自車位置検出装置（例えばＧＰＳやジャイロセンサなど）と、経路案内装置（ナビゲーション装置や自動走行制御装置など）と制御部２０が協働することで実現される。

【0037】

図７に戻り、制御部２０（駐車枠映像取得部５４）は、車両３が往復移動している間に各カメラ２で撮影された撮影映像４からキャリブレーション用映像７０をカメラ２ごとに抽出する（ステップＳ６）。

【0038】

詳述すると、車両３が往路又は復路を直進している間の撮影によって、図９示すように、指定駐車枠８３に対面している側の左サイドカメラ２Ｌ又は右サイドカメラ２Ｒ（図９では左サイドカメラ２Ｌ）と、フロントカメラ２Ｆと、リアカメラ２Ｂと、の３台のカメラ２のそれぞれによって指定駐車枠８３の全体が撮影される。これにより、指定駐車枠８３の全体が映った撮影映像４として、前方映像４Ｆと、後方映像４Ｂと、左サイド映像４Ｌまたは右サイド映像４Ｒ（図９では左サイド映像４Ｌ）と、が得られる。
そして、ステップＳ６では、制御部２０は、これらの撮影映像４の中からキャリブレーション用映像７０として、往路、及び復路ごとに、サイド−フロント映像セットＧ１と、サイド−リア映像セットＧ２とを抽出する。

【0039】

図１０は、往路、及び復路の直進走行によって取得されるキャリブレーション用映像７０を模式図である。
図１０に示すように、サイド−フロント映像セットＧ１は、往路又は復路を車両３が進行している間に、指定駐車枠８３に対面している側の左サイドカメラ２Ｌ又は右サイドカメラ２Ｒと、フロントカメラ２Ｆとのそれぞれによって同じタイミング（図示例ではタイミングＴ１、Ｔ３）で撮影され、かつ、指定駐車枠８３の全体が映っている左サイド映像４Ｌ又は右サイド映像４Ｒと、前方映像４Ｆとの組である。
サイド−リア映像セットＧ２は、往路又は復路を車両３が進行している間に、指定駐車枠８３に対面している側の左サイドカメラ２Ｌ又は右サイドカメラ２Ｒと、リアカメラ２Ｂとのそれぞれによって同じタイミング（図示例ではタイミングＴ２、Ｔ４）で撮影され、かつ、指定駐車枠８３の全体が映っている左サイド映像４Ｌ又は右サイド映像４Ｒと、後方映像４Ｂとの組である。

【0040】

制御部２０は、ステップＳ６において、サイド−フロント映像セットＧ１と、サイド−リア映像セットＧ２とを抽出できない場合（ステップＳ７：Ｎｏ）、ステップＳ２から再度処理を繰り返す。

【0041】

次いで制御部２０は、サイド−フロント映像セットＧ１、及びサイド−リア映像セットＧ２のそれぞれに対し、駐車枠８０を認識する画像認識処理を実行し、それぞれの映像における指定駐車枠８３の位置情報（以下、「指定駐車枠位置情報」と言う）を取得し、ＲＡＭなどのメモリデバイスに保存する（ステップＳ８）。この指定駐車枠位置情報には、例えば、各カメラ２のキャリブレーション用映像７０における指定駐車枠８３の端点の位置などが用いられる。

【0042】

次いで制御部２０（俯瞰変換部５０）は、各カメラ２のパラメータの値をパラメータ記憶部５２から読み出し、各カメラ２のキャリブレーション用映像７０を、対応するカメラ２のパラメータの値を用いて射影変換することで、カメラ２ごとにキャリブレーション用俯瞰映像７２を生成する（ステップＳ９）。

【0043】

次いで制御部２０（パラメータ推定部５６）は、各カメラ２のキャリブレーション用俯瞰映像７２に基づいて、各カメラ２のパラメータの現実値を推定する推定処理を開始する。
具体的には、制御部２０は、指定駐車枠８３の全体の現実の平面視寸法形状と、キャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の全体の寸法形状との差がなく、なおかつ、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の間の相対関係（位置や傾き）が適切になるパラメータの値を求めることで、当該パラメータの現実値を推定する。

【0044】

さらに詳述すると、キャリブレーション用俯瞰映像７２に現れた指定駐車枠８３のうち、対向する一対の枠線８３Ａ（図１１参照）の平行度、一対の枠線８３Ａ同士の長さの差、及び一対の枠線８３Ａの間隔は、上記パラメータの中でも、カメラ座標系ロール角γｃ、カメラ座標系ピッチ角αｃ、及び車両３における取付高さ（車両座標系ＭｖのＺｖ軸）のずれの影響を受ける。

【0045】

また、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３同士の傾きの差は、上記パラメータの中でも、カメラ座標系ヨー角βｃに影響される。

【0046】

さらにまた、同一タイミングで撮影されたキャリブレーション用映像７０から生成された２つのキャリブレーション用俯瞰映像７２において、それぞれに現れた指定駐車枠８３同士の位置の差は、上記パラメータの中でも、車両座標系ＭｖのＸＹ平面におけるカメラ２の取付位置Ｐのずれに影響される。

【0047】

そこで、制御部２０は、図７に示すように、先ず、各キャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の一対の枠線８３Ａに基づいて、各カメラ２のパラメータの現実値を推定する（ステップＳ１０：第１キャリブレーション）。

【0048】

すなわち、制御部２０は、各カメラ２のキャリブレーション用俯瞰映像７２における一対の枠線８３Ａの平行度と現実の平行度との差を無くす（ゼロにする）、取付角度Ａに係るパラメータを求め、そのパラメータの値を現実値として推定する（ステップＳ１０Ａ）。このときの取付角度Ａに係るパラメータは、カメラ２がフロントカメラ２Ｆ及びリアカメラ２Ｂである場合はカメラ座標系ロール角γｃであり、カメラ２が左サイドカメラ２Ｌ及び右サイドカメラ２Ｒである場合はカメラ座標系ピッチ角αｃである。
なお、一般的な駐車枠８０では、一対の枠線８３Ａは互いに平行に描かれているので、ステップＳ１０Ａでは、キャリブレーション用俯瞰映像７２における一対の枠線８３Ａを互いに平行にするパラメータの値を求めてもよい。

【0049】

次いで制御部２０（俯瞰変換部５０）は、ステップＳ１０Ａで推定したパラメータの値を用いて、再度、各カメラ２のキャリブレーション用俯瞰映像７２を生成する（ステップＳ１０Ｂ）。これにより、図１１に示すように、各キャリブレーション用俯瞰映像７２において、一対の枠線８３Ａが現実の平行度で描かれるようになる。

【0050】

次いで制御部２０は、各カメラ２のキャリブレーション用俯瞰映像７２における一対の枠線８３Ａ同士の長さの差を無くす（ゼロにする）、取付角度Ａに係るパラメータを求め、そのパラメータの値を現実値として推定する（ステップＳ１０Ｃ）。このときの取付角度Ａに係るパラメータは、カメラ２がフロントカメラ２Ｆ及びリアカメラ２Ｂである場合はカメラ座標系ピッチ角αｃであり、カメラ２が左サイドカメラ２Ｌ及び右サイドカメラ２Ｒである場合はカメラ座標系ロール角γｃである。

【0051】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１０Ｃで推定したパラメータの値を用いて、再度、各カメラ２のキャリブレーション用俯瞰映像７２を生成する（ステップＳ１０Ｄ）。これにより、図１１に示すように、各キャリブレーション用俯瞰映像７２において、現実に合った長さで一対の枠線８３Ａが描かれる。

【0052】

次いで制御部２０は、各カメラ２の指定駐車枠８３における一対の枠線８３Ａの間隔と、現実の間隔との差を無くす（ゼロにする）、取付位置Ｐに係るパラメータを求め、そのパラメータの値を現実値として推定する（ステップＳ１０Ｅ）。このときの取付位置Ｐに係るパラメータは、カメラ２の取付高さ（車両座標系ＭｖにおけるＺｖ軸の座標値）である。なお、一対の枠線８３Ａの現実の間隔には、一般的な駐車枠の値（固定値）や、撮影映像４に対する画像認識から求めた値、公知または周知の手法を用いて測距した値などを用いることができる。

【0053】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１０Ｅで推定したパラメータの値を用いて、再度、各カメラ２のキャリブレーション用俯瞰映像７２を生成する（ステップＳ１０Ｆ）。これにより、図１１に示すように、各キャリブレーション用俯瞰映像７２において、現実の間隔で一対の枠線８３Ａが描かれる。

【0054】

これらステップＳ１０Ａ〜Ｓ１０Ｆの処理により、各キャリブレーション用俯瞰映像７２において、指定駐車枠８３が現実の枠線８３Ａの寸法形状に照らして正確に描かれるようになる。
ただし、各カメラ２のパラメータのうち、カメラ座標系ヨー角βｃ、及び、車両座標系ＭｖにおけるＸＹ平面内の取付位置Ｐについてはキャリブレーションされていないため、この時点で制御部２０が上記トップビュー映像３０を生成した場合には、俯瞰映像３２の接続箇所にずれが生じる可能性がある。

【0055】

そこで制御部２０は各キャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の互いの相対関係に基づいて、残りのパラメータについても現実値を推定する（ステップＳ１１：第２キャリブレーション）。なお、この処理では、制御部２０は、ステップＳ８において求められている指定駐車枠８３の位置情報に基づいて、各カメラ２のキャリブレーション用俯瞰映像７２の指定駐車枠８３の位置を特定している。

【0056】

すなわち、制御部２０は、往路、及び復路のそれぞれのサイド−フロント映像セットＧ１において、フロントカメラ２Ｆのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の傾きに、左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の傾きを一致させる、取付角度Ａに係るパラメータを求め、その値を現実値として推定する（ステップＳ１１Ａ）。この取付位置Ｐに係るパラメータは、左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのカメラ座標系ヨー角βｃである。

【0057】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１１Ａで推定した左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのカメラ座標系ヨー角βｃを用いて、再度、これら左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２を生成する（ステップＳ１１Ｂ）。
これにより、図１２に示すように、フロントカメラ２Ｆ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２のそれぞれにおいて、そこに現れた指定駐車枠８３の傾きがフロントカメラ２Ｆを基準に揃えられる。
なお、図１２では、動作の理解を容易にするために、異なるタイミングで撮影された指定駐車枠８３が、各カメラ２のキャリブレーション用俯瞰映像７２に一緒に描かれている。

【0058】

次いで制御部２０は、往路、及び復路のそれぞれのサイド−リア映像セットＧ２において、左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の傾きに、リアカメラ２Ｂのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の傾きを一致させる、取付角度Ａに係るパラメータを求め、その値を現実値として推定する（ステップＳ１１Ｃ）。この取付位置Ｐに係るパラメータは、リアカメラ２Ｂのカメラ座標系ヨー角βｃである。

【0059】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１１Ｃで推定したリアカメラ２Ｂのカメラ座標系ヨー角βｃを用いて、再度、当該リアカメラ２Ｂのキャリブレーション用俯瞰映像７２を生成する（ステップＳ１１Ｄ）。これにより、図１２に示すように、フロントカメラ２Ｆ、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、及びリアカメラ２Ｂの全てのキャリブレーション用俯瞰映像７２において、そこに現れた指定駐車枠８３の傾きがフロントカメラ２Ｆを基準に揃えられる。

【0060】

次いで、制御部２０は、往路、又は復路のいずれかのサイド−フロント映像セットＧ１において、フロントカメラ２Ｆのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の位置に、左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の位置を一致させる、当該左サイドカメラ２Ｌ又は右サイドカメラ２Ｒの取付位置Ｐ（ＸＹ座標値）を求め、その値を現実値として推定する（ステップＳ１１Ｅ）。

【0061】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１１Ｅで推定した左サイドカメラ２Ｌ又は右サイドカメラ２Ｒの取付位置Ｐを用いて、再度、これら左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２を生成する（ステップＳ１１Ｆ）。
これにより、図１３に示すように、フロントカメラ２Ｆ、左サイドカメラ２Ｌ、及び右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２のそれぞれにおいて、そこに現れた指定駐車枠８３の位置がフロントカメラ２Ｆを基準に揃えられる。
なお、図１３では、動作の理解を容易にするために、異なるタイミングで撮影された指定駐車枠８３が、各カメラ２のキャリブレーション用俯瞰映像７２に一緒に描かれている。

【0062】

次いで、制御部２０は、往路、又は復路のいずれかのサイド−リア映像セットＧ２において、左サイドカメラ２Ｌ又は右サイドカメラ２Ｒのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の位置に、リアカメラ２Ｂのキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３の位置を一致させる、当該リアカメラ２Ｂの取付位置Ｐ（ＸＹ座標値）を求め、その値を現実値として推定する（ステップＳ１１Ｇ）。これにより、全てのカメラ２の取付位置Ｐ（ＸＹ座標値）がキャリブレーションされる。

【0063】

そして制御部２０（俯瞰変換部５０）は、ステップＳ１１Ｇで推定したリアカメラ２Ｂの取付位置Ｐ（ＸＹ座標値）を用いて、再度、当該リアカメラ２Ｂのキャリブレーション用俯瞰映像７２を生成する（ステップＳ１１Ｈ）。これにより、図１３に示すように、フロントカメラ２Ｆ、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、及びリアカメラ２Ｂの全てのキャリブレーション用俯瞰映像７２において、そこに現れた指定駐車枠８３の位置がフロントカメラ２Ｆを基準に揃えられる。

【0064】

これらステップＳ１１Ａ〜ステップＳ１１Ｈの処理により、各カメラ２のキャリブレーション用俯瞰映像７２のそれぞれの指定駐車枠８３がフロントカメラ２Ｆを基準に互いに一致するようになる。
ただし、ここまでのパラメータの推定は、各カメラ２のカメラ座標系Ｍｃにおいて行われている。したがって、図１４に示すように、各キャリブレーション用俯瞰映像７２の指定駐車枠８３が重なるように各カメラ２のパラメータが推定されても、それらの値は車両座標系Ｍｖからみると、ずれている場合がある。

【0065】

そこで制御部２０は、車両座標系Ｍｖにおけるずれを無くすように各カメラ２のパラメータを調整する（ステップＳ１２：第３キャリブレーション）。かかる調整は、フロントカメラ２Ｆ、及びリアカメラ２Ｂの取付位置Ｐの初期値（キャリブレーション前の値、あるいは設計値）に基づいて行われる。

【0066】

具体的には、制御部２０は、ステップＳ１１までの処理で得られている各カメラ２の間の取付位置Ｐ、及び取付角度Ａの相対関係を維持した状態で、フロントカメラ２Ｆの取付位置Ｐが、その取付位置Ｐの初期値に一致するように、各カメラ２の取付位置Ｐを調整する（ステップＳ１２Ａ）。
各カメラ２のキャリブレーション後の取付位置Ｐの中で、初期値からの変動はフロントカメラ２Ｆの取付位置Ｐが最も小さいため、当該フロントカメラ２Ｆの取付位置Ｐを基準に他のカメラ２の取付位置Ｐを調整することで、各カメラ２のパラメータの誤差を最も抑え、調整後のパラメータの値を現実値に、より近付けることができる。

【0067】

次いで、制御部２０は、フロントカメラ２Ｆとリアカメラ２Ｂの取付位置Ｐが結ぶ線Ｅ（図１４）と、それらの取付位置Ｐの初期値が結ぶ線Ｅｓ（図１４）とが一致するように、各カメラ２の間の取付位置Ｐ、及び取付角度Ａの相対関係を維持した状態で、フロントカメラ２Ｆの取付位置Ｐを中心に回転したときの各カメラ２の取付位置Ｐ、及び取付角度Ａを調整する（ステップＳ１２Ｂ）。

【0068】

ステップＳ１２Ｂで調整された値は、各カメラ２のキャリブレーション用俯瞰映像７２の指定駐車枠８３を現実の指定駐車枠８３に一致させ、各キャリブレーション用俯瞰映像７２の指定駐車枠８３同士のずれも無くし、なおかつ、各カメラ２の取付位置Ｐが車両３（車両座標系Ｍｖ）からみて妥当な値になるものである。すなわち、かかる調整値をトップビュー映像３０の生成時に用いることで、各俯瞰映像３２の接合箇所のずれが抑えられ、高品位な映像が得られることとなる。
制御部２０は、かかる調整値を、各カメラ２の取付位置Ｐ、及び取付角度Ａの現実値、すなわちキャリブレーションされた値として、パラメータ記憶部５２に記憶し、キャリブレーション処理を終了する。

【0069】

本実施形態によれば、次の効果を奏する。

【0070】

本実施形態では、指定駐車枠８３の全体が映っている各カメラ２のキャリブレーション用映像７０がキャリブレーションに用いられている。これにより、指定駐車枠８３の外に車両３が位置した状態で撮影された各カメラ２の撮影映像４からキャリブレーション用映像７０を取得できるので、従来技術のように、キャリブレーションのために車両３を指定駐車枠８３の中に駐車させる必要がなく、より簡単にキャリブレーションを行うことができる。

【0071】

また本実施形態では、制御部２０は、先ず、各カメラ２のキャリブレーション用俯瞰映像７２に現れた指定駐車枠８３が含む、対向する一対の枠線８３Ａのずれに基づいて、各カメラ２のピッチ角α、ロール角γ、及び取付高さＺｖに係るパラメータ（カメラ座標系ピッチ角αｃ、カメラ座標系ロール角γｃ、取付高さＺｖ）を推定する。
その後、制御部２０は、同じタイミングで撮影されているキャリブレーション用映像７０の組から生成されたキャリブレーション用俯瞰映像７２のそれぞれの指定駐車枠８３の間の相対関係に基づいて、各カメラ２のヨー角β、及び、車両３の平面視における取付位置Ｘｖ、Ｙｖに係るパラメータ（カメラ座標系ヨー角βｃ、取付位置Ｘｖ、Ｙｖ）を推定する。
これらの推定により、各カメラ２のキャリブレーション用俯瞰映像７２において指定駐車枠８３が現実の指定駐車枠８３に一致し、かつ、各カメラ２のキャリブレーション用俯瞰映像７２の指定駐車枠８３同士のずれを無くすパラメータを推定できる。
これにより、各カメラ２の俯瞰映像３２を合成した際に、その接続箇所のずれが抑えされる。

【0072】

本実施形態では、制御部２０は、各カメラ２の推定後のパラメータのそれぞれを、車両３と各カメラ２との位置関係に基づいて調整するので、各カメラ２の取付位置Ｐが車両３（車両座標系Ｍｆ）からみて妥当な値に調整され、各カメラ２の俯瞰映像３２の各位置が車両３に見合った位置に調整される。

【0073】

本実施形態では、制御部２０は、車両３のフロント部３Ｆに設けられたフロントカメラ２Ｆの位置を、車両３と各カメラ２の位置関係の基準にして、各カメラ２の推定後のパラメータのそれぞれを調整する。
これにより、各カメラ２のパラメータの誤差を抑え、調整後の値を現実値に、より近付けることができる。

【0074】

本実施形態では、キャリブレーション用映像７０は、指定駐車枠８３の外を横切るように車両３が往復する間にカメラ２の各々が撮影した撮影映像４から取得する。
これにより、往路、及び復路のそれぞれの撮影映像４から効率良く、各キャリブレーション用映像７０を取得できる。さらに指定駐車枠８３が斜め枠（図６）であり、一対の枠線８３Ａが車両３の進行方向に対して傾斜している場合でも、その傾斜がパラメータの推定に与える影響を抑えることができる。

【0075】

なお、上述した実施形態は、あくまでも本発明の一態様の例示であり、本発明の主旨を逸脱しない範囲において任意に変形、及び応用が可能である。

【0076】

キャリブレーション用映像７０は、前掲図１０に示すように、カメラ２ごとに２枚ずつ得られているが、第１キャリブレーション（図７：ステップＳ１０）においては、制御部２０は、パラメータの推定を、カメラ２ごとに１枚のキャリブレーション用映像７０を使って行ってもよい。
また、制御部２０は、カメラ２に対応する２枚のキャリブレーション用映像７０のそれぞれからパラメータの現実値を個別に推定し、両者の推定値の平均を、その処理段階の最終的な値としてもよい。

【0077】

図１に示す機能ブロックは、本願発明を理解容易にするために、車載カメラシステム１の構成要素を主な処理内容に応じて分類して示した概略図である。特に、画像処理装置１０の構成要素は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

【0078】

また、図１に示す画像処理装置１０の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアにより実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

【0079】

また本発明に係るキャリブレーション装置は、車載型の装置に限定されるものではなく、任意のコンピュータを用いて実現できる。

【符号の説明】

【0080】

１ 車載カメラシステム
２ カメラ
３ 車両
４ 撮影映像
１０ 画像処理装置（キャリブレーション装置）
２０ 制御部
２４ ユーザ操作取得部
３０ トップビュー映像
３２ 俯瞰映像
５０ 俯瞰変換部
５２ パラメータ記憶部
５４ 駐車枠映像取得部
５６ パラメータ推定部
７０ キャリブレーション用映像
７２ キャリブレーション用俯瞰映像
８０ 駐車枠
８３ 指定駐車枠
８３Ａ 一対の枠線
Ａ 取付角度
Ｆ 仮想視点
Ｋ 撮影方向
Ｍｃ カメラ座標系
Ｍｆ 俯瞰映像座標系
Ｍｇ 撮影映像座標系
Ｍｖ 車両座標系
Ｐ 取付位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】