知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086569
(43)【公開日】2023-06-22
(54)【発明の名称】キャリブレーション装置およびキャリブレーション方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20230615BHJP
G01B 11/26 20060101ALI20230615BHJP
G06T 7/80 20170101ALI20230615BHJP
G06T 7/00 20170101ALI20230615BHJP
【ＦＩ】
G01B11/00 H
G01B11/26 H
G06T7/80
G06T7/00 650Z
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021201178
(22)【出願日】2021-12-10
(71)【出願人】
【識別番号】000001487
【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】齋藤 司
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA37
2F065BB27
2F065FF04
2F065FF64
2F065FF65
2F065FF67
2F065JJ03
2F065JJ26
2F065MM06
2F065QQ31
2F065SS13
5L096BA04
5L096DA02
5L096FA67
5L096FA69
(57)【要約】
【課題】車両に設けられたカメラのパラメータを容易にキャリブレーションし得るキャリブレーション装置を提供する。
【解決手段】取得部は、規定の位置に設置されたマーカをカメラが撮影可能な第１の地点から、マーカをカメラが撮影可能な第２の地点に車両が移動したときの移動情報を取得し、キャリブレーション部は、移動情報と規定の位置を示す所定の座標系における規定の座標情報と第１の地点でカメラにより取得された第１の画像と第２の地点でカメラにより取得された第２の画像とを用いてカメラのパラメータをキャリブレーションするようにした。
【選択図】図１
【解決手段】取得部は、規定の位置に設置されたマーカをカメラが撮影可能な第１の地点から、マーカをカメラが撮影可能な第２の地点に車両が移動したときの移動情報を取得し、キャリブレーション部は、移動情報と規定の位置を示す所定の座標系における規定の座標情報と第１の地点でカメラにより取得された第１の画像と第２の地点でカメラにより取得された第２の画像とを用いてカメラのパラメータをキャリブレーションするようにした。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両に取り付けられ、前記車両の周囲の画像を取得するカメラのパラメータをキャリブレーションするキャリブレーション装置であって、
前記車両が移動したときの移動情報を取得する取得部と、
前記取得部により取得された移動情報と、前記カメラにより取得された画像とをもとに前記カメラのパラメータをキャリブレーションするキャリブレーション部と、
を備え、
前記取得部は、規定の位置に設置されたマーカを前記カメラが撮影可能な第１の地点から、前記マーカを前記カメラが撮影可能な第２の地点に前記車両が移動したときの移動情報を取得し、
前記キャリブレーション部は、前記移動情報と前記規定の位置を示す所定の座標系における規定の座標情報と前記第１の地点で前記カメラにより取得された第１の画像と前記第２の地点で前記カメラにより取得された第２の画像とを用いて前記カメラのパラメータをキャリブレーションする、
キャリブレーション装置。
前記車両が移動したときの移動情報を取得する取得部と、
前記取得部により取得された移動情報と、前記カメラにより取得された画像とをもとに前記カメラのパラメータをキャリブレーションするキャリブレーション部と、
を備え、
前記取得部は、規定の位置に設置されたマーカを前記カメラが撮影可能な第１の地点から、前記マーカを前記カメラが撮影可能な第２の地点に前記車両が移動したときの移動情報を取得し、
前記キャリブレーション部は、前記移動情報と前記規定の位置を示す所定の座標系における規定の座標情報と前記第１の地点で前記カメラにより取得された第１の画像と前記第２の地点で前記カメラにより取得された第２の画像とを用いて前記カメラのパラメータをキャリブレーションする、
キャリブレーション装置。
【請求項2】
前記所定の座標系は、前記車両外に原点がある座標系であり、
前記キャリブレーション部は、
前記パラメータを用いて前記第１の画像から前記マーカの第１の座標情報を算出し、前記パラメータを用いて前記第２の画像から前記マーカの第２の座標情報を算出し、
前記移動情報に基づいて、前記規定の位置に対応する移動後の規定の位置を示す移動後の規定の座標情報を算出し、
前記移動情報に基づいて、前記第１の座標情報に対応する移動後の第１の座標情報を算出し、
前記移動後の規定の座標情報と前記移動後の第１の座標情報とが一致し、かつ、前記規定の座標情報と前記第２の座標情報とが一致するように、前記カメラのパラメータを最適化する、
請求項１に記載のキャリブレーション装置。
前記キャリブレーション部は、
前記パラメータを用いて前記第１の画像から前記マーカの第１の座標情報を算出し、前記パラメータを用いて前記第２の画像から前記マーカの第２の座標情報を算出し、
前記移動情報に基づいて、前記規定の位置に対応する移動後の規定の位置を示す移動後の規定の座標情報を算出し、
前記移動情報に基づいて、前記第１の座標情報に対応する移動後の第１の座標情報を算出し、
前記移動後の規定の座標情報と前記移動後の第１の座標情報とが一致し、かつ、前記規定の座標情報と前記第２の座標情報とが一致するように、前記カメラのパラメータを最適化する、
請求項１に記載のキャリブレーション装置。
【請求項3】
前記カメラは、前記車両の前後左右に設けられ、
前記マーカには、所定の左マーカおよび所定の右マーカが含まれ、
前記左マーカは、前記車両の前方のカメラと前記車両の後方のカメラとの何れか一方のカメラの撮影範囲と前記車両の左方のカメラの撮影範囲とが重なる共通領域内の規定の左方の位置に設けられ、
前記右マーカは、前記一方のカメラの撮影範囲と前記車両の右方のカメラの撮影範囲とが重なる共通領域内の規定の右方の位置に設けられる、
請求項２に記載のキャリブレーション装置。
前記マーカには、所定の左マーカおよび所定の右マーカが含まれ、
前記左マーカは、前記車両の前方のカメラと前記車両の後方のカメラとの何れか一方のカメラの撮影範囲と前記車両の左方のカメラの撮影範囲とが重なる共通領域内の規定の左方の位置に設けられ、
前記右マーカは、前記一方のカメラの撮影範囲と前記車両の右方のカメラの撮影範囲とが重なる共通領域内の規定の右方の位置に設けられる、
請求項２に記載のキャリブレーション装置。
【請求項4】
前記キャリブレーション部は、
前記第１の地点で前記左方のカメラにより取得された画像から、前記左マーカの前記第１の地点の第１の左方の座標情報を算出し、前記第２の地点で前記左方のカメラにより取得された画像から、前記左マーカの前記第２の地点の第２の左方の座標情報を算出し、
前記第１の地点で前記右方のカメラにより取得された画像から、前記右マーカの前記第１の地点の第１の右方の座標情報を算出し、前記第２の地点で前記右方のカメラにより取得された画像から、前記右マーカの前記第２の地点の第２の右方の座標情報を算出し、
前記移動情報に基づいて、前記規定の左方の位置に対応する移動後の規定の左方の位置を示す移動後の規定の左方の座標情報と、前記規定の右方の位置に対応する移動後の規定の右方の位置を示す移動後の規定の右方の座標情報とを算出し、
前記移動情報に基づいて、前記第１の左方の座標情報に対応する移動後の第１の左方の座標情報と、前記第１の右方の座標情報に対応する移動後の第１の右方の座標情報とを算出し、
前記移動後の規定の左方の座標情報と前記移動後の第１の左方の座標情報とが一致し、かつ、前記規定の左方の位置を示す規定の左方の座標情報と前記第２の左方の座標情報とが一致するように、前記左方のカメラのパラメータを最適化し、
前記移動後の規定の右方の座標情報と前記移動後の第１の右方の座標情報とが一致し、かつ、前記規定の右方の位置を示す規定の右方の座標情報と前記第２の右方の座標情報とが一致するように、前記右方のカメラのパラメータを最適化する、
請求項３に記載のキャリブレーション装置。
前記第１の地点で前記左方のカメラにより取得された画像から、前記左マーカの前記第１の地点の第１の左方の座標情報を算出し、前記第２の地点で前記左方のカメラにより取得された画像から、前記左マーカの前記第２の地点の第２の左方の座標情報を算出し、
前記第１の地点で前記右方のカメラにより取得された画像から、前記右マーカの前記第１の地点の第１の右方の座標情報を算出し、前記第２の地点で前記右方のカメラにより取得された画像から、前記右マーカの前記第２の地点の第２の右方の座標情報を算出し、
前記移動情報に基づいて、前記規定の左方の位置に対応する移動後の規定の左方の位置を示す移動後の規定の左方の座標情報と、前記規定の右方の位置に対応する移動後の規定の右方の位置を示す移動後の規定の右方の座標情報とを算出し、
前記移動情報に基づいて、前記第１の左方の座標情報に対応する移動後の第１の左方の座標情報と、前記第１の右方の座標情報に対応する移動後の第１の右方の座標情報とを算出し、
前記移動後の規定の左方の座標情報と前記移動後の第１の左方の座標情報とが一致し、かつ、前記規定の左方の位置を示す規定の左方の座標情報と前記第２の左方の座標情報とが一致するように、前記左方のカメラのパラメータを最適化し、
前記移動後の規定の右方の座標情報と前記移動後の第１の右方の座標情報とが一致し、かつ、前記規定の右方の位置を示す規定の右方の座標情報と前記第２の右方の座標情報とが一致するように、前記右方のカメラのパラメータを最適化する、
請求項３に記載のキャリブレーション装置。
【請求項5】
前記キャリブレーション部は、
前記第１の地点で前記一方のカメラにより取得された画像から、前記左マーカの前記第１の地点の第１の左方の座標情報を算出し、
前記画像から、前記右マーカの前記第１の地点の第１の右方の座標情報を算出し、
前記移動情報に基づいて、前記第１の左方の座標情報に対応する移動後の第１の左方の座標情報と前記第１の右方の座標情報に対応する移動後の第１の右方の座標情報とを算出し、
前記移動後の規定の左方の座標情報と前記移動後の第１の左方の座標情報とが一致し、かつ、前記移動後の規定の右方の座標情報と前記移動後の第１の右方の座標情報とが一致するように、前記一方のカメラのパラメータを最適化する、
請求項４に記載のキャリブレーション装置。
前記第１の地点で前記一方のカメラにより取得された画像から、前記左マーカの前記第１の地点の第１の左方の座標情報を算出し、
前記画像から、前記右マーカの前記第１の地点の第１の右方の座標情報を算出し、
前記移動情報に基づいて、前記第１の左方の座標情報に対応する移動後の第１の左方の座標情報と前記第１の右方の座標情報に対応する移動後の第１の右方の座標情報とを算出し、
前記移動後の規定の左方の座標情報と前記移動後の第１の左方の座標情報とが一致し、かつ、前記移動後の規定の右方の座標情報と前記移動後の第１の右方の座標情報とが一致するように、前記一方のカメラのパラメータを最適化する、
請求項４に記載のキャリブレーション装置。
【請求項6】
前記キャリブレーション部は、
前記一方のカメラとは異なる他方のカメラにより前記第２の地点で取得された画像から、前記左マーカの前記第２の地点の第２の左方の座標情報を算出し、
前記画像から、前記右マーカの前記第２の地点の第２の右方の座標情報を算出し、
前記規定の左方の座標情報と前記第２の左方の座標情報とが一致し、かつ、前記規定の右方の座標情報と前記第２の右方の座標情報とが一致するように、前記他方のカメラのパラメータを最適化する、
請求項５に記載のキャリブレーション装置。
前記一方のカメラとは異なる他方のカメラにより前記第２の地点で取得された画像から、前記左マーカの前記第２の地点の第２の左方の座標情報を算出し、
前記画像から、前記右マーカの前記第２の地点の第２の右方の座標情報を算出し、
前記規定の左方の座標情報と前記第２の左方の座標情報とが一致し、かつ、前記規定の右方の座標情報と前記第２の右方の座標情報とが一致するように、前記他方のカメラのパラメータを最適化する、
請求項５に記載のキャリブレーション装置。
【請求項7】
前記所定の座標系は、前記車両上に原点がある座標系であり、
前記キャリブレーション部は、
前記パラメータを用いて前記第１の画像から前記マーカの第１の座標情報を算出し、前記パラメータを用いて前記第２の画像から、前記マーカの第２の座標情報を算出し、
前記移動情報に基づいて、前記規定の位置に対応する移動前の規定の位置を示す移動前の規定の座標情報を算出し、
前記規定の座標情報と前記第１の座標情報とが一致し、かつ、前記移動前の規定の座標情報と前記第２の座標情報とが一致するように、前記カメラのパラメータを最適化する、
請求項１に記載のキャリブレーション装置。
前記キャリブレーション部は、
前記パラメータを用いて前記第１の画像から前記マーカの第１の座標情報を算出し、前記パラメータを用いて前記第２の画像から、前記マーカの第２の座標情報を算出し、
前記移動情報に基づいて、前記規定の位置に対応する移動前の規定の位置を示す移動前の規定の座標情報を算出し、
前記規定の座標情報と前記第１の座標情報とが一致し、かつ、前記移動前の規定の座標情報と前記第２の座標情報とが一致するように、前記カメラのパラメータを最適化する、
請求項１に記載のキャリブレーション装置。
【請求項8】
車両に取り付けられ、前記車両の周囲の画像を取得するカメラのパラメータをキャリブレーションするキャリブレーション方法であって、
取得部が、前記車両が移動したときの移動情報を取得することと、
キャリブレーション部が、前記取得部により取得された移動情報と、前記カメラにより取得された画像とをもとに前記カメラのパラメータをキャリブレーションすることと、
を含み、
前記取得部は、規定の位置に設置されたマーカを前記カメラが撮影可能な第１の地点から、前記マーカを前記カメラが撮影可能な第２の地点に前記車両が移動したときの移動情報を取得し、
前記キャリブレーション部は、前記移動情報と前記規定の位置を示す所定の座標系における規定の座標情報と前記第１の地点で前記カメラにより取得された第１の画像と前記第２の地点で前記カメラにより取得された第２の画像とを用いて前記カメラのパラメータをキャリブレーションする、
キャリブレーション方法。
取得部が、前記車両が移動したときの移動情報を取得することと、
キャリブレーション部が、前記取得部により取得された移動情報と、前記カメラにより取得された画像とをもとに前記カメラのパラメータをキャリブレーションすることと、
を含み、
前記取得部は、規定の位置に設置されたマーカを前記カメラが撮影可能な第１の地点から、前記マーカを前記カメラが撮影可能な第２の地点に前記車両が移動したときの移動情報を取得し、
前記キャリブレーション部は、前記移動情報と前記規定の位置を示す所定の座標系における規定の座標情報と前記第１の地点で前記カメラにより取得された第１の画像と前記第２の地点で前記カメラにより取得された第２の画像とを用いて前記カメラのパラメータをキャリブレーションする、
キャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、車両に設けられたカメラのパラメータをキャリブレーションする技術に関する。
【背景技術】
【0002】
現在、提案されている車載カメラのパラメータをキャリブレーションするキャリブレーション装置は、大掛かりな設備を規定の位置に設置しなければならないため、作業者にとって大きな負担になっている。
【0003】
近年、床面に設けるマーカの数を抑制できる車載カメラのキャリブレーション装置が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－０６６５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献に記載の技術では、車両は直進走行しなければならず、少しでも蛇行してしまうと精度低下の原因になってしまう。
【0006】
本発明は、以上の点を考慮してなされたもので、車両に設けられたカメラのパラメータを容易にキャリブレーションし得るキャリブレーション装置等を提案しようとするものである。
【課題を解決するための手段】
【0007】
かかる課題を解決するため本発明においては、車両に取り付けられ、前記車両の周囲の画像を取得するカメラのパラメータをキャリブレーションするキャリブレーション装置であって、前記車両が移動したときの移動情報を取得する取得部と、前記取得部により取得された移動情報と、前記カメラにより取得された画像とをもとに前記カメラのパラメータをキャリブレーションするキャリブレーション部と、を備え、前記取得部は、規定の位置に設置されたマーカを前記カメラが撮影可能な第１の地点から、前記マーカを前記カメラが撮影可能な第２の地点に前記車両が移動したときの移動情報を取得し、前記キャリブレーション部は、前記移動情報と前記規定の位置を示す所定の座標系における規定の座標情報と前記第１の地点で前記カメラにより取得された第１の画像と前記第２の地点で前記カメラにより取得された第２の画像とを用いて前記カメラのパラメータをキャリブレーションするようにした。
【0008】
上記構成では、例えば、マーカが規定の位置に設置され、任意の距離、任意の方向に車両が移動したときの車両の移動情報と、規定の座標情報と、移動前のマーカの画像と、移動後のマーカの画像とが用いられて、車両のカメラのパラメータがキャリブレーションされる。このように、マーカが規定の位置に設置されるといった簡易な構成により、車両のカメラのパラメータをキャリブレーションすることができる。
【発明の効果】
【0009】
本発明によれば、利便性の高いキャリブレーション装置を実現することができる。上記以外の課題、構成、および効果は、以下の実施の形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】第１の実施の形態によるキャリブレーションシステムの一例を示す図である。
【図2】第１の実施の形態によるキャリブレーションシステムに係るハードウェア構成の一例を示す図である。
【図3】第１の実施の形態によるキャリブレーション処理の一例を示す図である。
【図4】第１の実施の形態によるマーカの設置態様の一例を示す図である。
【図5】第１の実施の形態による画像の一例を示す図である。
【図6】第１の実施の形態による基準領域とマーカ領域との一例を示す図である。
【図7】第２の実施の形態による基準領域とマーカ領域との一例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施の形態を詳述する。ただし、本発明は、実施の形態に限定されるものではない。例えば、本発明に係るキャリブレーション装置は、車両のカメラがキャリブレーションマーカ（マーカ）を撮影可能な第１の地点から、当該カメラが当該マーカを撮影可能な第２の地点に車両が移動したときの移動情報を取得する。移動情報には、車両の移動を示す情報として、移動距離、移動向き等の情報が含まれる。また、本キャリブレーション装置は、移動情報と、マーカが設置される所定の座標系における規定の位置を示す規定の座標情報と、第１の地点でカメラにより取得された第１の画像と、第２の地点でカメラにより取得された第２の画像とを用いて、カメラのパラメータをキャリブレーションする。所定の座標系は、車両外に原点が設定される座標系、または、車両上に原点が設定される座標系である。なお、マーカの形状としては、任意の形状を採用できる。車両に複数のカメラが取り付けられている場合に、一度にキャリブレーションされるカメラは、１つであってもよいし、左右のカメラ等、複数のカメラであってもよい。
【0012】
（Ｉ）第１の実施の形態
本実施の形態では、４つの頂点を認識可能な規定サイズのマーカ２つを規定の位置に設置することで、４つのカメラのパラメータをキャリブレーションする方法について説明する。主なステップは、次の通りである。
Ｓｔｅｐ１：
マーカが前方カメラとサイドカメラとの共通領域の規定の位置に設置された場合、前方カメラとサイドカメラとによりカメラ画像が取得される。なお、１つのカメラのパラメータをキャリブレーションする場合は、マーカは、当該カメラの撮影領域に含まれればよく、共通領域に設置される必要はない。
Ｓｔｅｐ２：
マーカがサイドカメラと後方カメラとの共通領域に含まれるまで車両が走行される。なお、１つのカメラのパラメータをキャリブレーションする場合は、マーカは、当該カメラの撮影領域に含まれればよく、共通領域に設置される必要はない。また、走行は、直進である必要はない。
Ｓｔｅｐ３：
サイドカメラと後方カメラによりカメラ画像が取得される。
Ｓｔｅｐ４：
移動前のカメラ画像と移動前のカメラ画像とを用いて４つのカメラのパラメータをキャリブレーションする。なお、Ｓｔｅｐ４では規定の位置は後方に存在するが、前方にも存在すると定義し、規定の位置４つに囲まれているように模擬してキャリブレーションが実行される。
本実施の形態では、４つの頂点を認識可能な規定サイズのマーカ２つを規定の位置に設置することで、４つのカメラのパラメータをキャリブレーションする方法について説明する。主なステップは、次の通りである。
Ｓｔｅｐ１：
マーカが前方カメラとサイドカメラとの共通領域の規定の位置に設置された場合、前方カメラとサイドカメラとによりカメラ画像が取得される。なお、１つのカメラのパラメータをキャリブレーションする場合は、マーカは、当該カメラの撮影領域に含まれればよく、共通領域に設置される必要はない。
Ｓｔｅｐ２：
マーカがサイドカメラと後方カメラとの共通領域に含まれるまで車両が走行される。なお、１つのカメラのパラメータをキャリブレーションする場合は、マーカは、当該カメラの撮影領域に含まれればよく、共通領域に設置される必要はない。また、走行は、直進である必要はない。
Ｓｔｅｐ３：
サイドカメラと後方カメラによりカメラ画像が取得される。
Ｓｔｅｐ４：
移動前のカメラ画像と移動前のカメラ画像とを用いて４つのカメラのパラメータをキャリブレーションする。なお、Ｓｔｅｐ４では規定の位置は後方に存在するが、前方にも存在すると定義し、規定の位置４つに囲まれているように模擬してキャリブレーションが実行される。
【0013】
本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数または順序を限定するものではない。また、構成要素の識別のための番号は、文脈毎に用いられ、１つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
【0014】
次に、本発明の実施の形態を図面に基づいて説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は、単数でも複数でも構わない。
【0015】
なお、以下の説明では、図面において同一要素については、同じ番号を付し、説明を適宜省略する。また、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、カメラを特に区別しないで説明する場合には、「カメラ１０２」と記載し、個々のカメラを区別して説明する場合には、「前方カメラ１０２－１」、「後方カメラ１０２－２」のように記載することがある。
【0016】
図１は、第１の実施の形態によるキャリブレーションシステム１００の一例を示す図である。キャリブレーションシステム１００は、前輪が操舵輪である車両１０１を含んで構成される。車両１０１の前後左右には、カメラ１０２が設けられている。例えば、前方カメラ１０２－１および後方カメラ１０２－２は、ナンバープレート付近の車体に取り付けられ、左方カメラ１０２－３および右方カメラ１０２－４は、サイドミラーの下部等に取り付けられている。
【0017】
カメラ１０２には、車両１０１の全周囲の画像を取得できるように、広角の魚眼レンズを備えた魚眼カメラが採用される。カメラ１０２は、広角の画像を取得するために、既知の歪み関数に基づいて画像を歪ませている。また、カメラ１０２は、車両１０１に対し、理想的には、予め設定されたデフォルトのパラメータを以て車両１０１に設置される。しかしながら、実際には、設置許容差、部品誤差、組立て誤差等の誤差があるため、誤差がなくなるようにカメラ１０２のパラメータが調整（キャリブレーション）される。
【0018】
ここで、キャリブレーションシステム１００では、車両１０１外の任意の地点に原点Ｏが設定される。例えば、カメラ１０２のパラメータをキャリブレーションするための実行指示が入力（キャリブレーション機能がオン）されたときの車両１０１のリアシャフト中心から鉛直下方に下ろした地面上の点が空間座標の原点Ｏとして設定される。カメラ１０２の光軸方向が鉛直方向の下向きの設置姿勢を、カメラ１０２の基準姿勢として決めておくことで、車両１０１に取り付けられるカメラ１０２の設置位置および設置姿勢を特定することができる。以下では、車両１０１が移動しても原点Ｏが移動しない座標系を「世界座標系」と記す。
【0019】
キャリブレーションシステム１００では、キャリブレーションに用いられるマーカを作業者が設置するための世界座標系における規定の位置に当該マーカと同サイズの規定領域１１１が定められている。当該マーカは、矩形状であり、キャリブレーションの際、車両１０１の左前方の左規定領域１１１－１と車両１０１の右前方の右規定領域１１１－２とに設置される。以下では、左規定領域１１１－１の頂点Ｃ１－１（ｘ１，ｙ１，ｚ１）～頂点Ｃ１－４（ｘ４，ｙ４，ｚ４）を示す情報を「左方規定座標情報」と記し、右規定領域１１１－２の頂点Ｃ２－１（ｘ５，ｙ５，ｚ５）～頂点Ｃ２－４（ｘ８，ｙ８，ｚ８）を示す情報を「右方規定座標情報」と記すことがある。なお、各図において、説明の便宜のために頂点に黒丸を示していることがあるが、実際には、黒丸は存在しなくてもよい。
【0020】
図２は、キャリブレーションシステム１００に係るハードウェア構成の一例を示す図である。キャリブレーションシステム１００は、カメラ１０２と、演算装置２１０と、ＲＡＭ（Random Access Memory）２２０と、ＲＯＭ（Read Only Memory）２３０と、表示装置２４０と、車速センサ２５０と、舵角センサ２６０と、ヨーレートセンサ２７０と、入力装置２８０と、通信装置２９０とを備えている。
【0021】
演算装置２１０は、カメラ１０２、車速センサ２５０、舵角センサ２６０、ヨーレートセンサ２７０、入力装置２８０、通信装置２９０等から送信される種々の情報を受け取る。演算装置２１０は、受け取った情報を用いて、プログラム等に基づき演算処理を実行する。
【0022】
ＲＡＭ２２０には、演算装置２１０における演算処理の過程で必要となる数値データ、演算処理の途中結果に対するプログラムの変数等のデータが書き込まれる。書き込まれたデータは、演算装置２１０の演算処理の過程で適宜必要に応じて読み出されて演算処理に使用される。また、ＲＡＭ２２０には、各カメラ１０２によって撮像された画像（画像データ）等も格納される。
【0023】
ＲＯＭ２３０には、キャリブレーションを実行するプログラム、プログラムで必要となる情報等が格納される。例えば、ＲＯＭ２３０には、各カメラ１０２の設置位置および角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）、各カメラ１０２の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のパラメータが格納される。また、例えば、ＲＯＭ２３０には、左方規定座標情報および右方規定座標情報が格納される。
【0024】
表示装置２４０は、演算装置２１０の処理結果を受け取り、ディスプレイ等を用いてその処理結果をユーザに提示する。なお、ユーザは、運転者、同乗者、作業者等である。例えば、ユーザに対してカメラ１０２の画像を視点変換した俯瞰画像を表示する。また、表示装置２４０は、車両１０１の後方を撮像する後方カメラ１０２－２の画像だけを表示する等、演算装置２１０の出力に従って表示内容を切り替えることもできる。
【0025】
車速センサ２５０は、車速を検出するセンサである。舵角センサ２６０は、舵角を検出するセンサである。なお、舵角センサ２６０では、前輪のタイヤ角が舵角として検出される。ヨーレートセンサ２７０は、ヨーレートを検出するセンサである。各センサで検出されたセンサ情報は、演算装置２１０に出力され、演算装置２１０における演算処理で利用される。
【0026】
入力装置２８０は、スイッチ、ボタン等といった、ユーザの操作を受け付ける装置である。入力装置２８０は、キャリブレーション機能のオン／オフ、キャリブレーション結果の初期化、キャリブレーション方法の変更等に利用される。入力装置２８０を介して入力された各種情報は、演算装置２１０に出力される。
【0027】
通信装置２９０は、不図示の外部機器との通信に使用される装置である。演算装置２１０は、通信装置２９０を介して外部機器から各種情報を受信すると共に、演算装置２１０で演算された各種情報を外部機器へ出力する。
【0028】
各カメラ１０２において撮像された画像は、演算装置２１０に出力される。ここで、演算装置２１０は、画像生成装置２１１とキャリブレーション装置２１２とを備える。
【0029】
例えば、画像生成装置２１１は、各カメラ１０２から入力された画像を視点変換し、上方から地面を見下ろしたような俯瞰画像を生成する。より詳細には、画像生成装置２１１は、各カメラ１０２において撮像された画像（車両１０１の周囲の路面が撮像されたスルー画像）について、ＲＯＭ２３０等に格納された内部パラメータを用いて画像の歪みを除去した画像を生成する。画像生成装置２１１は、その歪みを除去した各画像を、ＲＯＭ２３０等に格納された外部パラメータを用いて、俯瞰視点から見た画像に視点変換する。このような視点変換処理は、周知のカメラの幾何変換式を使って、俯瞰画像の特定の画素とそれに対応する各カメラ１０２の特定の画素とを計算し、その画素の輝度値を俯瞰画像の画素に割り当てることによって実現できる。対応する画素が小数点を含み、該当する画素がない場合は、周知の輝度の補間処理によって周辺画素の中間輝度を割り当てる処理が行われる。
【0030】
キャリブレーション装置２１２は、車両１０１の周囲の画像を取得するカメラ１０２のパラメータ（例えば、外部パラメータ）をキャリブレーションする。キャリブレーション装置２１２は、視点変換される俯瞰画像が車両１０１を真上から見下ろした画像となるように、各カメラ１０２のパラメータをキャリブレーションする。キャリブレーション装置２１２は、例えば、ＥＣＵ（Electronic Control Unit）であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ等を含むマイクロコントローラを主体として構成される。キャリブレーション装置２１２の機能（取得部２１３、キャリブレーション部２１４等）は、例えば、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭに読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。なお、キャリブレーション装置２１２の１つの機能は、複数の機能に分けられていてもよいし、複数の機能は、１つの機能にまとめられていてもよい。また、キャリブレーション装置２１２の機能の一部は、別の機能として設けられてもよいし、他の機能に含められていてもよい。
【0031】
取得部２１３は、車両１０１が移動したときの車両１０１の移動情報を取得する。キャリブレーション部２１４は、取得部２１３により取得された移動情報と、カメラ１０２により取得された画像とをもとにカメラ１０２のパラメータをキャリブレーションするキャリブレーション処理を実行する。
【0032】
図３は、キャリブレーション処理の一例を示す図である。以下では、図４～図６を適宜に用いてキャリブレーション処理を説明する。なお、キャリブレーション処理は、マーカ４００が規定領域１１１に設置され、入力装置２８０を介してキャリブレーション機能がオンされた場合に開始する。
【0033】
ここで、図４では、左規定領域１１１－１は、左マーカ４００－１により隠れているが、前方カメラ１０２－１の撮影範囲４０１－１と、左方カメラ１０２－３の撮影範囲４０１－３とに共通する領域（左前共通領域４１１－１）に設けられている。また、右規定領域１１１－２は、右マーカ４００－２により隠れているが、前方カメラ１０２－１の撮影範囲４０１－１と、右方カメラ１０２－４の撮影範囲４０１－４とに共通する領域（右前共通領域４１１－２）に設けられている。なお、撮影範囲４０１は、図４に示す位置、大きさ、および範囲に限るものではない。
【0034】
作業者は、マーカ４００を規定領域１１１に設置した後、入力装置２８０を操作して、カメラ１０２による撮影を指示する。左マーカ４００－１は、左規定領域１１１－１と同じ規定サイズであり、左規定領域１１１－１に重なるように設置される。右マーカ４００－２は、右規定領域１１１－２と同じ規定サイズであり、右規定領域１１１－２に重なるように設置される。
【0035】
Ｓ３０１では、キャリブレーション装置２１２は、前方カメラ１０２－１と、左方カメラ１０２－３および右方カメラ１０２－４（サイドカメラ）とから、マーカ４００が撮像された画像を取得する。図５には、右方カメラ１０２－４から取得される画像５１０の一例が示されている。画像５１０に示すように、右マーカ４００－２は、マーカ画像５１１として撮像されている。
【0036】
続いて、作業者は、後方カメラ１０２－２の撮影範囲４０１－２と、左方カメラ１０２－３の撮影範囲４０１－３とに共通する領域（左後共通領域４１１－３）および後方カメラ１０２－２の撮影範囲４０１－２と、右方カメラ１０２－４の撮影範囲４０１－４とに共通する領域（右後共通領域４１１－４）にマーカ４００が含まれるように車両１０１の移動を開始する。例えば、作業者は、後方カメラ１０２－２の映像と、左方カメラ１０２－３の映像および／または右方カメラ１０２－４の映像とを映しているディスプレイを確認し、これらの映像にマーカ４００が映るまで車両１０１を前方に移動させる。
【0037】
なお、左規定領域１１１－１は、左後共通領域４１１－３に設けられていてもよい。この場合、右規定領域１１１－２は、右後共通領域４１１－４に設けられている。そして、作業者は、前方カメラ１０２－１の映像と、左方カメラ１０２－３の映像および／または右方カメラ１０２－４の映像とを映しているディスプレイを確認し、これらの映像にマーカ４００が映るまで車両１０１を後方に移動させる。
【0038】
つまり、左マーカ４００－１は、車両１０１の前方カメラ１０２－１と車両１０１の後方カメラ１０２－２との何れか一方のカメラ１０２の撮影範囲４０１と車両１０１の左方カメラ１０２－３の撮影範囲４０１－３とが重なる共通領域４１１内の規定の左方の位置に設けられてもよい。この場合、右マーカ４００－２は、上記一方のカメラ１０２の撮影範囲４０１と車両１０１の右方カメラ１０２－４の撮影範囲４０１－４とが重なる共通領域４１１内の規定の右方の位置に設けられる。
上記構成によれば、例えば、規定の左方の位置に左マーカ４００－１を設置し、規定の右方の位置に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の前後左右に設けられたカメラ１０２のパラメータをキャリブレーションすることができる。
上記構成によれば、例えば、規定の左方の位置に左マーカ４００－１を設置し、規定の右方の位置に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の前後左右に設けられたカメラ１０２のパラメータをキャリブレーションすることができる。
【0039】
Ｓ３０２では、キャリブレーション装置２１２は、車両１０１の移動中（車両１０１が停止したことを検出するまで）、センサからセンサ情報を取得する。より具体的には、キャリブレーション装置２１２は、走行開始から停車するまでの車速センサ２５０、舵角センサ２６０、およびヨーレートセンサ２７０の各々のセンサ情報を取得して保存する。
【0040】
Ｓ３０３では、キャリブレーション装置２１２は、左後共通領域４１１－３および右後共通領域４１１－４にマーカ４００が含まれているか否かを判定する。キャリブレーション装置２１２は、マーカ４００が含まれていると判定した場合、Ｓ３０４に処理を移し、マーカ４００が含まれていないと判定した場合、キャリブレーション処理を終了する。
【0041】
Ｓ３０４では、キャリブレーション装置２１２は、後方カメラ１０２－２と、左方カメラ１０２－３および右方カメラ１０２－４（サイドカメラ）とから、マーカ４００が撮像された画像を取得する。図５には、右方カメラ１０２－４から取得される画像５２０の一例が示されている。画像５２０に示すように、右マーカ４００－２は、マーカ画像５２１として撮像されている。
【0042】
Ｓ３０５では、キャリブレーション装置２１２は、Ｓ３０２において取得したセンサ情報から、走行開始から停車まで車両１０１がどの向きへどの程度の距離を走行したかを示す移動情報（車両１０１の移動距離および車両１０１の移動向き）を算出する。
【0043】
Ｓ３０６では、キャリブレーション装置２１２は、模擬規定領域を生成する。ここで、車両１０１の移動後、規定領域１１１は後方に存在するが、キャリブレーション装置２１２は、前方にも規定領域が存在すると定義し、４つの規定領域に囲まれているように模擬してキャリブレーションする。例えば、キャリブレーション装置２１２は、規定領域１１１の各頂点Ｃに移動情報を加算した各位置を頂点とする模擬規定領域（規定領域６００）を生成する。これにより同じタイミングで車両１０１周辺に４つの規定領域が配置されているように定義することができる。キャリブレーション装置２１２は、これらの規定領域を用いてキャリブレーションを実行する。
【0044】
つまり、キャリブレーション装置２１２は、左規定領域１１１－１の４つの頂点Ｃ１に対応する左規定領域６００－１の４つの頂点ＣＤ１（ＣＤ１－１、ＣＤ１－２、ＣＤ１－３、ＣＤ１－４）を算出する。また、キャリブレーション装置２１２は、右規定領域１１１－２の４つの頂点Ｃ２に対応する右規定領域６００－２の４つの頂点ＣＤ２（ＣＤ２－１、ＣＤ２－２、ＣＤ２－３、ＣＤ２－４）を算出する。なお、移動情報が加味された頂点には、添え字「Ｄ」を付している。
【0045】
Ｓ３０７では、キャリブレーション装置２１２は、Ｓ３０１において取得した各画像におけるマーカ４００の各頂点のカメラ座標を世界座標に変換する。
【0046】
例えば、キャリブレーション装置２１２は、画像５１０に矩形検出を行い、マーカ画像５１１の４つ頂点５１２を抽出する。そして、キャリブレーション装置２１２は、４つの頂点５１２の画像５１０上の座標を右方カメラ１０２－４のパラメータを用いて、画像座標から世界座標に変換する。このときの世界座標におけるマーカ領域の４つの頂点Ｐ２を、頂点Ｐ２－１、頂点Ｐ２－２、頂点Ｐ２－３、および頂点Ｐ２－４と記す。そして、キャリブレーション装置２１２は、４つの頂点Ｐ２に移動情報を加算した移動後の右マーカ領域６１１－２の４つの頂点ＰＤ２（頂点ＰＤ２－１、頂点ＰＤ２－２、頂点ＰＤ２－３、頂点ＰＤ２－４）を算出する。
【0047】
また、例えば、キャリブレーション装置２１２は、画像５２０に矩形検出を行い、マーカ画像５２１の４つ頂点５２２を抽出する。そして、キャリブレーション装置２１２は、４つの頂点５２２の画像５２０上の座標を右方カメラ１０２－４のパラメータを用いて、画像座標から世界座標に変換する。このときの世界座標における右マーカ領域６２１－２の４つの頂点Ｑ２を、頂点Ｑ２－１、頂点Ｑ２－２、頂点Ｑ２－３、および頂点Ｑ２－４と記す。
【0048】
なお、キャリブレーション装置２１２は、左方カメラ１０２－３についても上記と同様に処理し、図示は省略する頂点Ｐ１（Ｐ１－１、Ｐ１－２、Ｐ１－３、Ｐ１－４）と、移動後の左マーカ領域６１１－１の頂点ＰＤ１（ＰＤ１－１、ＰＤ１－２、ＰＤ１－３、ＰＤ１－４）と、左マーカ領域６２１－１の頂点Ｑ１（Ｑ１－１、Ｑ１－２、Ｑ１－３、Ｑ１－４）とを算出する。また、図示は省略するが、キャリブレーション装置２１２は、前方カメラ１０２－１についても、左マーカ４００－１に対応する頂点Ｒ１（Ｒ１－１、Ｒ１－２、Ｒ１－３、Ｒ１－４）および頂点ＲＤ１（ＲＤ１－１、ＲＤ１－２、ＲＤ１－３、ＲＤ１－４）と、右マーカ４００－２に対応する頂点Ｒ２（Ｒ２－１、Ｒ２－２、Ｒ２－３、Ｒ２－４）および頂点ＲＤ２（ＲＤ２－１、ＲＤ２－２、ＲＤ２－３、ＲＤ２－４）とを算出する。更に、キャリブレーション装置２１２は、後方カメラ１０２－２についても、左マーカ４００－１に対応する頂点Ｓ１（Ｓ１－１、Ｓ１－２、Ｓ１－３、Ｓ１－４）と、右マーカ４００－２に対応する頂点Ｓ２（Ｓ２－１、Ｓ２－２、Ｓ２－３、Ｓ２－４）とを算出する。
【0049】
Ｓ３０８では、キャリブレーション装置２１２は、前方カメラ１０２－１のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域６００－１の４つの頂点ＣＤ１の各々と、前方カメラ１０２－１で取得された画像から算出された４つの頂点ＲＤ１の各々とが一致し、かつ、右規定領域６００－２の４つの頂点ＣＤ２の各々と、前方カメラ１０２－１で取得された画像から算出された４つの頂点ＲＤ２の各々とが一致するように、前方カメラ１０２－１のパラメータを最適化する。
【0050】
このように、キャリブレーション部２１４は、第１の地点で前方カメラ１０２－１により取得された画像から、左マーカ４００－１の１以上の頂点Ｒ１（第１の左方の座標情報）を算出し、当該画像から、右マーカ４００－２の１以上の頂点Ｒ２（第１の右方の座標情報を算出する。第１の地点は、規定領域１１１に設置されたマーカ４００を前方カメラ１０２－１が撮影可能な車両１０１の地点である。キャリブレーション部２１４は、移動情報に基づいて、左規定領域１１１－１（規定の左方の位置）に対応する移動後の左規定領域６００－１（規定の左方の位置）を示す移動後の頂点ＣＤ１（規定の左方の座標情報）と右規定領域１１１－２（規定の右方の位置）に対応する移動後の右規定領域６００－２（規定の右方の位置）を示す移動後の頂点ＣＤ２（規定の右方の座標情報）とを算出する。キャリブレーション部２１４は、移動情報に基づいて、頂点Ｒ１に対応する移動後の頂点ＲＤ１と頂点Ｒ２に対応する頂点ＲＤ２とを算出する。また、キャリブレーション部２１４は、頂点ＣＤ１と頂点ＲＤ１とが一致し、かつ、頂点ＣＤ２と頂点ＲＤ２とが一致するように、前方カメラ１０２－１のパラメータを最適化する。なお、キャリブレーション部２１４は、頂点Ｃ１と頂点Ｒ１とが一致し、かつ、頂点Ｃ２と頂点Ｒ２とが一致するように、前方カメラ１０２－１のパラメータを最適化してもよい。
上記構成によれば、例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の前方カメラ１０２－１のパラメータをキャリブレーションすることができる。
上記構成によれば、例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の前方カメラ１０２－１のパラメータをキャリブレーションすることができる。
【0051】
Ｓ３０９では、キャリブレーション装置２１２は、後方カメラ１０２－２のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域６００－１の４つの頂点Ｃ１の各々と、後方カメラ１０２－２で取得された画像から算出された４つの頂点Ｓ１の各々とが一致し、かつ、右規定領域６００－２の４つの頂点Ｃ２の各々と、後方カメラ１０２－２で取得された画像から算出された４つの頂点Ｓ２の各々とが一致するように、後方カメラ１０２－２のパラメータを最適化する。
【0052】
このように、キャリブレーション部２１４は、マーカ４００を後方カメラ１０２－２が撮影可能な第２の地点で後方カメラ１０２－２により取得された画像から、左マーカ４００－１の頂点Ｑ１を算出する。キャリブレーション部２１４は、当該画像から、右マーカ４００－２の頂点Ｑ２を算出する。ここで、第２の地点は、左マーカ４００－１が左後共通領域４１１－３に含まれ、かつ、右マーカ４００－２が右後共通領域４１１－４に含まれる車両１０１の地点である。ただし、サイドカメラのパラメータをキャリブレーションしない場合、第２の地点は、左マーカ４００－１および右マーカ４００－２が後方カメラ１０２－２の撮影範囲４０１－２に含まれる車両１０１の地点であってよい。キャリブレーション部２１４は、頂点Ｃ１と頂点Ｑ１とが一致し、かつ、頂点Ｃ２と頂点Ｑ２とが一致するように、後方カメラ１０２－２のパラメータを最適化する。
例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の後方カメラ１０２－２のパラメータをキャリブレーションすることができる。
例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の後方カメラ１０２－２のパラメータをキャリブレーションすることができる。
【0053】
Ｓ３１０では、キャリブレーション装置２１２は、左方カメラ１０２－３のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域６００－１の４つの頂点ＣＤ１の各々と、Ｓ３０１において左方カメラ１０２－３で取得された画像から算出された４つの頂点ＰＤ１の各々とが一致し、かつ、左規定領域１１１－１の４つの頂点Ｃ１の各々と、Ｓ３０４において左方カメラ１０２－３で取得された画像から算出された４つの頂点Ｑ１の各々とが一致するように、左方カメラ１０２－３のパラメータを最適化する。
【0054】
Ｓ３１１では、キャリブレーション装置２１２は、右方カメラ１０２－４のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、右規定領域６００－２の４つの頂点ＣＤ２の各々と、Ｓ３０１において右方カメラ１０２－４で取得された画像から算出された４つの頂点ＰＤ２の各々とが一致し、かつ、右規定領域１１１－２の４つの頂点Ｃ２の各々と、Ｓ３０４において右方カメラ１０２－４で取得された画像から算出された４つの頂点Ｑ２の各々とが一致するように、右方カメラ１０２－４のパラメータを最適化する。
【0055】
なお、Ｓ３０８～Ｓ３１１の最適化には、ＰＳＯ（Particle Swarm Optimization）、ＤＥ（Differential Evolution）等の公知の技術を用いることができる。
【0056】
このように、キャリブレーション部２１４は、Ｓ３０１において左方カメラ１０２－３により取得された画像から、左マーカ４００－１の頂点Ｐ１を算出し、Ｓ３０４において左方カメラ１０２－３により取得された画像から、左マーカ４００－１の頂点Ｑ１を算出する。また、キャリブレーション部２１４は、Ｓ３０１において右方カメラ１０２－４により取得された画像から、右マーカ４００－２の頂点Ｐ２を算出し、Ｓ３０４において右方カメラ１０２－４により取得された画像から、右マーカ４００－２の頂点Ｑ２を算出する。キャリブレーション部２１４は、移動情報に基づいて、左規定領域１１１－１に対応する移動後の左規定領域６００－１を示す移動後の頂点ＣＤ１と、右規定領域１１１－２に対応する移動後の右規定領域６００－２を示す移動後の頂点ＣＤ２とを算出する。キャリブレーション部２１４は、動情報に基づいて、頂点Ｐ１に対応する移動後の頂点ＰＤ１と、頂点Ｐ２に対応する移動後の頂点ＰＤ２とを算出する。キャリブレーション部２１４は、移動後の頂点ＣＤ１と移動後の頂点ＰＤ１とが一致し、かつ、頂点Ｃ１と頂点Ｑ１とが一致するように、左方カメラ１０２－３のパラメータを最適化する。キャリブレーション部２１４は、移動後の頂点ＣＤ２と移動後の頂点ＰＤ２とが一致し、かつ、頂点Ｃ２と頂点Ｑ２とが一致するように、右方カメラ１０２－４のパラメータを最適化する。
上記構成によれば、例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の左方カメラ１０２－３のパラメータと車両１０１の右方カメラ１０２－４のパラメータとを一度にキャリブレーションすることができる。
上記構成によれば、例えば、左規定領域１１１－１に左マーカ４００－１を設置し、右規定領域１１１－２に右マーカ４００－２を設置するといった簡易な構成により、車両１０１の左方カメラ１０２－３のパラメータと車両１０１の右方カメラ１０２－４のパラメータとを一度にキャリブレーションすることができる。
【0057】
以上のように、キャリブレーション部２１４は、第１の地点でカメラ１０２により取得された第１の画像から世界座標系のマーカ４００の第１のマーカ領域を算出し、第２の地点でカメラ１０２により取得された第２の画像から世界座標系のマーカ４００の第２のマーカ領域６２１を算出する。キャリブレーション部２１４は、第１の地点から第２の地点までの車両１０１の移動情報に基づいて、規定領域１１１に対応する移動後の規定領域６００を算出する。キャリブレーション部２１４は、上記移動情報に基づいて、第１のマーカ領域に対応する移動後の第１のマーカ領域６１１を算出する。キャリブレーション部２１４は、移動後の規定領域６００と移動後の第１のマーカ領域６１１とが一致し、かつ、規定領域１１１と第２のマーカ領域６２１とが一致するように、カメラ１０２のパラメータを最適化する。
上記構成では、世界座標系を用いた簡易な構成により、車両１０１の前後左右に設けられた各カメラ１０２のパラメータをキャリブレーションすることができる。
上記構成では、世界座標系を用いた簡易な構成により、車両１０１の前後左右に設けられた各カメラ１０２のパラメータをキャリブレーションすることができる。
【0058】
（ＩＩ）第２の実施の形態
第１の実施の形態では、世界座標系を用いてカメラ１０２のパラメータをキャリブレーションする方法について説明したが、本実施の形態では、車両１０１の移動に応じて原点Ｏが移動する車両座標系を用いてカメラ１０２のパラメータをキャリブレーションする方法について説明する。なお、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を省略する。
第１の実施の形態では、世界座標系を用いてカメラ１０２のパラメータをキャリブレーションする方法について説明したが、本実施の形態では、車両１０１の移動に応じて原点Ｏが移動する車両座標系を用いてカメラ１０２のパラメータをキャリブレーションする方法について説明する。なお、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を省略する。
【0059】
図７に示すように、本実施の形態のキャリブレーションシステム７００では、空間座標の原点Ｏは、車両１０１上の任意の場所に設定される。例えば、原点Ｏは、車両１０１上のフロントシャフト中心点に設定される。キャリブレーションシステム７００におけるキャリブレーション処理は、図３と同様の手順で実施され、異なる処理内容について説明する。
【0060】
Ｓ３０６では、キャリブレーション装置２１２は、模擬規定領域を生成する。ここで、規定領域１１１は、車両座標により定義され、車両１０１と共に移動する。よって、車両１０１の移動後、規定領域１１１は前方に存在するが、キャリブレーション装置２１２は、後方にも規定領域が存在すると定義し、４つの規定領域に囲まれているように模擬してキャリブレーションする。例えば、キャリブレーション装置２１２は、規定領域１１１の各頂点Ｃに移動情報を減算した各位置を頂点とする模擬規定領域（規定領域７１０）を生成する。これにより同じタイミングで車両１０１周辺に４つの規定領域が配置されているように定義することができる。キャリブレーション装置２１２は、これらの規定領域を用いてキャリブレーションを実行する。
【0061】
つまり、キャリブレーション装置２１２は、左規定領域１１１－１の４つの頂点Ｃ１に対応する左規定領域７１０－１の４つの頂点ＣＤ１（ＣＤ１－１、ＣＤ１－２、ＣＤ１－３、ＣＤ１－４）を算出する。また、キャリブレーション装置２１２は、右規定領域１１１－２の４つの頂点Ｃ２に対応する右規定領域７１０－２の４つの頂点ＣＤ２（ＣＤ２－１、ＣＤ２－２、ＣＤ２－３、ＣＤ２－４）を算出する。
【0062】
Ｓ３０７では、キャリブレーション装置２１２は、Ｓ３０１において取得した各画像におけるマーカ４００の各頂点のカメラ座標を車両座標に変換する。
【0063】
例えば、キャリブレーション装置２１２は、画像５１０に矩形検出を行い、マーカ画像５１１の４つ頂点５１２を抽出する。そして、キャリブレーション装置２１２は、４つの頂点５１２の画像５１０上の座標を右方カメラ１０２－４のパラメータを用いて、画像座標から車両座標に変換する。このときの車両座標における右マーカ領域６１１－２の４つの頂点Ｐ２を、頂点Ｐ２－１、頂点Ｐ２－２、頂点Ｐ２－３、および頂点Ｐ２－４と記す。
【0064】
また、例えば、キャリブレーション装置２１２は、画像５２０に矩形検出を行い、マーカ画像５２１の４つ頂点５２２を抽出する。そして、キャリブレーション装置２１２は、４つの頂点５２２の画像５２０上の座標を右方カメラ１０２－４のパラメータを用いて、画像座標から車両座標に変換する。このときの車両座標における右マーカ領域６２１－２の４つの頂点Ｑ２を、頂点Ｑ２－１、頂点Ｑ２－２、頂点Ｑ２－３、および頂点Ｑ２－４と記す。
【0065】
なお、キャリブレーション装置２１２は、左方カメラ１０２－３についても上記と同様に処理し、左マーカ領域６１１－１の頂点Ｐ１（Ｐ１－１、Ｐ１－２、Ｐ１－３、Ｐ１－４）と、左マーカ領域６２１－１の頂点Ｑ１（Ｑ１－１、Ｑ１－２、Ｑ１－３、Ｑ１－４）とを算出する。また、図示は省略するが、キャリブレーション装置２１２は、前方カメラ１０２－１についても、左マーカ４００－１に対応する頂点Ｒ１（Ｒ１－１、Ｒ１－２、Ｒ１－３、Ｒ１－４）と、右マーカ４００－２に対応する頂点Ｒ２（Ｒ２－１、Ｒ２－２、Ｒ２－３、Ｒ２－４）とを算出する。更に、キャリブレーション装置２１２は、後方カメラ１０２－２についても、左マーカ４００－１に対応する頂点Ｓ１（Ｓ１－１、Ｓ１－２、Ｓ１－３、Ｓ１－４）と、右マーカ４００－２に対応する頂点Ｓ２（Ｓ２－１、Ｓ２－２、Ｓ２－３、Ｓ２－４）とを算出する。
【0066】
Ｓ３０８では、キャリブレーション装置２１２は、前方カメラ１０２－１のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域１１１－１の４つの頂点Ｃ１の各々と、前方カメラ１０２－１で取得された画像から算出された４つの頂点Ｒ１の各々とが一致し、かつ、右規定領域１１１－２の４つの頂点Ｃ２の各々と、前方カメラ１０２－１で取得された画像から算出された４つの頂点Ｒ２の各々とが一致するように、前方カメラ１０２－１のパラメータを最適化する。
【0067】
Ｓ３０９では、キャリブレーション装置２１２は、後方カメラ１０２－２のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域７１０－１の４つの頂点ＣＤ１の各々と、後方カメラ１０２－２で取得された画像から算出された４つの頂点Ｓ１の各々とが一致し、かつ、右規定領域７１０－２の４つの頂点ＣＤ２の各々と、後方カメラ１０２－２で取得された画像から算出された４つの頂点Ｓ２の各々とが一致するように、後方カメラ１０２－２のパラメータを最適化する。
【0068】
Ｓ３１０では、キャリブレーション装置２１２は、左方カメラ１０２－３のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、左規定領域１１１－１の４つの頂点Ｃ１の各々と、Ｓ３０１において左方カメラ１０２－３で取得された画像から算出された４つの頂点Ｐ１の各々とが一致し、かつ、左規定領域７１０－１の４つの頂点ＣＤ１の各々と、Ｓ３０４において左方カメラ１０２－３で取得された画像から算出された４つの頂点Ｑ１の各々とが一致するように、左方カメラ１０２－３のパラメータを最適化する。
【0069】
Ｓ３１１では、キャリブレーション装置２１２は、右方カメラ１０２－４のパラメータをキャリブレーションする。より具体的には、キャリブレーション装置２１２は、右規定領域１１１－２の４つの頂点Ｃ２の各々と、Ｓ３０１において右方カメラ１０２－４で取得された画像から算出された４つの頂点Ｐ２の各々とが一致し、かつ、右規定領域７１０－２の４つの頂点ＣＤ２の各々と、Ｓ３０４において右方カメラ１０２－４で取得された画像から算出された４つの頂点Ｑ２の各々とが一致するように、右方カメラ１０２－４のパラメータを最適化する。
【0070】
以上のように、キャリブレーション部２１４は、第１の地点でカメラ１０２により取得されたから車両座標系のマーカ４００の第１のマーカ領域６１１を算出し、第２の地点でカメラ１０２により取得された第２の画像から、車両座標系のマーカ４００の第２のマーカ領域６２１を算出する。キャリブレーション部２１４は、第１の地点から第２の地点までの車両１０１の移動情報に基づいて、規定領域１１１に対応する移動前の規定領域７１０を算出する。キャリブレーション部２１４は、規定領域１１１と第１のマーカ領域６１１とが一致し、かつ、移動前の規定領域７１０と第２のマーカ領域６２１とが一致するように、カメラ１０２のパラメータを最適化する。
上記構成では、車両座標系を用いた簡易な構成により、車両１０１の前後左右に設けられた各カメラ１０２のパラメータをキャリブレーションすることができる。
上記構成では、車両座標系を用いた簡易な構成により、車両１０１の前後左右に設けられた各カメラ１０２のパラメータをキャリブレーションすることができる。
【0071】
（ＩＩＩ）付記
上述の実施の形態には、例えば、以下のような内容が含まれる。
上述の実施の形態には、例えば、以下のような内容が含まれる。
【0072】
上述の実施の形態においては、本発明をキャリブレーション装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
【0073】
また、上述の実施の形態においては、車両１０１に設けられる全てのカメラ１０２のパラメータをキャリブレーションする場合について述べたが、本発明はこれに限らない。例えば、車両１０１に設けられる一部のカメラ１０２のパラメータをキャリブレーションするようにしてもよい。
【0074】
また、上述の実施の形態においては、隣接する２台のカメラ１０２で取得される映像の一部が重畳する場合について述べたが、本発明はこれに限らない。例えば、隣接する２台のカメラ１０２で取得される映像が接するように構成してもよい。この場合、共通領域４１１は存在しないので、車両１０１は、撮影範囲４０１内にマーカ４００が含まれる範囲で移動され、カメラ１０２毎にキャリブレーションが実施される。
【0075】
また、上述の実施の形態においては、マーカおよび規定領域の形状は、矩形状を採用する場合について述べたが、本発明はこれに限らない。例えば、マーカおよび規定領域の形状は、任意の形状を採用することができる。
【0076】
また、上述の実施の形態においては、マーカの頂点および規定領域の頂点をキャリブレーションに用いる場合について述べたが、本発明はこれに限らない。例えば、マーカおよび規定領域に同じ態様で含まれる特徴的な形状（ドットパターン、チェックパターン、縞模様等）をキャリブレーションに用いるようにしてもよい。
【0077】
また、上述の実施の形態において、プログラムの一部またはすべては、プログラムソースから、キャリブレーション装置にインストールされてもよい。プログラムソースは、例えば、ネットワークで接続されたプログラム配布サーバまたはコンピュータが読み取り可能な記録媒体（例えば非一時的な記録媒体）であってもよい。また、上述の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0078】
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0079】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【0080】
「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という形式におけるリストに含まれる項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができると理解されたい。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の形式においてリストされた項目は、（Ａ）、（Ｂ）、（Ｃ）、（ＡおよびＢ）、（ＡおよびＣ）、（ＢおよびＣ）または（Ａ、Ｂ、およびＣ）を意味することができる。
【符号の説明】
【0081】
１０１……車両、１０２……カメラ、１１１……規定領域、４００……マーカ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
