特許 6012982 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6012982

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月25日

(54)【発明の名称】較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20161011BHJP

   H04N 5/232 20060101ALI20161011BHJP

   B60R 1/00 20060101ALI20161011BHJP

   G03B 15/00 20060101ALI20161011BHJP

【ＦＩ】

   H04N5/225 A

   H04N5/225 C

   H04N5/232 Z

   B60R1/00 A

   G03B15/00 P

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2012-39416(P2012-39416)

(22)【出願日】2012年2月24日

(65)【公開番号】特開2013-173452(P2013-173452A)

(43)【公開日】2013年9月5日

【審査請求日】2014年10月15日

(73)【特許権者】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100153017

【弁理士】

【氏名又は名称】大倉 昭人

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】大島 健夫

(72)【発明者】

【氏名】前川 貴志

(72)【発明者】

【氏名】澤田 隆一

(72)【発明者】

【氏名】柳澤 治生

(72)【発明者】

【氏名】櫻井 千夏

(72)【発明者】

【氏名】岩渕 顕徳

(72)【発明者】

【氏名】田水 伸也

(72)【発明者】

【氏名】井上 貴士

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２００１−２４５３２６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１１３６７３（ＷＯ，Ａ１）

【文献】 特開２００５−０１６９７９（ＪＰ，Ａ）

【文献】 国際公開第２００８／０８７７０７（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０３８６８１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｂ６０Ｒ １／００

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項2】

前記較正用オブジェクトの目盛の間隔は、当該較正用オブジェクトの所定回数分の移動操作に対応する量であることを特徴とする、請求項１に記載のカメラ較正装置。

【請求項3】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、所定の幅のマーカーが付された一端調整部および他端調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標の一端および他端が、それぞれ前記一端調整部および他端調整部のマーカーの所定の幅内に収まるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項4】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、一端調整部、および回転軸調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標の端部が前記一端調整部と略一致した後に、前記指標の前記端部を除く部分が前記回転軸調整部と略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項5】

移動体の所定位置に取り付けられ、移動体外部に配された中央部にマーカーを有する指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、マーカー調整部、および回転軸調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標のマーカーが前記マーカー調整部と略一致した後に、前記指標の前記マーカーを除く部分が前記回転軸調整部と略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項6】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、両端調整部、および回転軸を調整するための目盛線を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標が前記目盛線と略平行になった後に、前記指標の両端部がそれぞれ前記両端調整部と略一致するときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項7】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、上線部、下線部、左線部、および右線部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記上線部、下線部、左線部、および右線部をそれぞれ独立して移動させて、前記指標が前記上線部、下線部、左線部、および右線部によって囲まれた領域内に収まるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラ較正装置。

【請求項8】

移動体の所定位置に取り付けられたカメラにより、移動体外部に配された指標を含む画像を撮像するステップと、
前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成するステップと、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置座標を取得し、該位置座標から前記カメラの取り付け位置の較正パラメータを算出するステップと、
を含むことを特徴とするカメラ較正方法。

【請求項9】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラからの撮像画像を利用して、当該カメラのパン角、チルト角およびロール角における取り付け位置のずれを較正する較正処理装置であって、
前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とする較正処理装置。

【請求項10】

移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記移動体内に設けられ、前記重畳画像が表示される表示部と、
前記重畳画像において、前記較正用オブジェクトに対してその表示位置を移動させる指示を行う指示部と、
前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、
を備えることを特徴とするカメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に取り付けられたカメラの取り付け角度を較正する較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法に関するものである。

【背景技術】

【0002】

従来、車両後方にカメラを取り付け、運転者から見えにくい後方の映像を車両内の表示部に表示可能とするカメラシステムが知られている。このようなシステムにおいて、位置情報が既知である物体を撮像したときに想定される想定画像と、実際に該物体をカメラで撮像したときの実画像とのずれ量を調整することにより、カメラの取り付け位置のずれを較正するパラメータを取得する手法が知られている（例えば、特許文献１および２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００−２０９５７７号公報

【特許文献2】特開平１０−１８１４４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

カメラの取り付け位置のずれを較正するパラメータを取得する際には、想定画像と実画像とのずれ量を調整するために、想定画像を移動させて想定画像を実画像に一致させる必要がある。しかし、ユーザが想定画像の移動を指示してからその移動が反映されるまでにはタイムラグがあるため、想定画像の上下左右方向、および回転方向の移動指示が複数回にわたる場合には、較正処理に時間がかかるという問題があった。

【0005】

かかる事情に鑑みてなされた本発明の目的は、カメラを較正する際の操作が簡便となり、較正に要する時間を短縮することが可能な較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部（後述する実施形態ではＣＰＵ１２４）と、を備えることを特徴とする。

【0007】

さらに、本発明に係るカメラ較正装置において、前記較正用オブジェクトの目盛の間隔は、当該較正用オブジェクトの所定回数分の移動操作に対応する量であることを特徴とする。

【0008】

また、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、所定の幅のマーカーが付された一端調整部および他端調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標の一端および他端が、それぞれ前記一端調整部および他端調整部のマーカーの所定の幅内に収まるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0009】

また、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、一端調整部、および回転軸調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標の端部が前記一端調整部と略一致した後に、前記指標の前記端部を除く部分が前記回転軸調整部と略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0010】

また、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された中央部にマーカーを有する指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、マーカー調整部、および回転軸調整部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標のマーカーが前記マーカー調整部と略一致した後に、前記指標の前記マーカーを除く部分が前記回転軸調整部と略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0011】

また、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、両端調整部、および回転軸を調整するための目盛線を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標が前記目盛線と略平行になった後に、前記指標の両端部がそれぞれ前記両端調整部と略一致するときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0012】

また、本発明に係るカメラ較正装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、上線部、下線部、左線部、および右線部を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記上線部、下線部、左線部、および右線部をそれぞれ独立して移動させて、前記指標が前記上線部、下線部、左線部、および右線部によって囲まれた領域内に収まるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係るカメラ較正方法は、移動体の所定位置に取り付けられたカメラにより、移動体外部に配された指標を含む画像を撮像するステップと、前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成するステップと、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置座標を取得し、該位置座標から前記カメラの取り付け位置の較正パラメータを算出するステップと、を含むことを特徴とする。

【0014】

また、上記課題を解決するため、本発明に係る較正処理装置は、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラからの撮像画像を利用して、当該カメラのパン角、チルト角およびロール角における取り付け位置のずれを較正する較正処理装置であって、前記カメラによる撮像画像に対して移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記重畳画像において、前記較正用オブジェクトが移動され、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【0015】

また、上記課題を解決するため、本発明に係るカメラシステムは、移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、前記カメラによる撮像画像に対して、移動量の目安を示すための目盛を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、前記移動体内に設けられ、前記重畳画像が表示される表示部と、前記重畳画像における、前記較正用オブジェクトに対してその表示位置を移動させる指示を行う指示部と、前記指標と前記較正用オブジェクトの全部又は一部が略重なるときの較正用オブジェクトの位置に基づいて、パン角、チルト角およびロール角における前記カメラの取り付け位置のずれを較正するパラメータを算出する演算部と、を備えることを特徴とする。

【発明の効果】

【0016】

本発明によれば、カメラを較正する際の操作が簡便となり、較正に要する時間を短縮することができる。

【図面の簡単な説明】

【0017】

【図1】本発明による一実施形態のカメラシステムを搭載したシステムの構成例を示すブロック図である。

【図2】本発明による一実施形態のカメラシステムにおける表示部に表示される画像の一例を示すブロック図である。

【図3】本発明による一実施形態のカメラシステムにおける指示部の外観図の一例を示すブロック図である。

【図4】本発明による一実施形態のカメラシステムによるカメラ較正動作を示すフローチャートである。

【図5】本発明による一実施形態のカメラシステムによるカメラ較正動作時に表示部に表示される画像を示す図である。

【図6】目盛を有する較正用オブジェクトの例を示す図である。

【図7】所定の幅のマーカーが付された一端調整部および他端調整部を有する較正用オブジェクトの例を示す図である。

【図8】一端調整部および回転軸調整部を有する較正用オブジェクトの例を示す図である。

【図9】指標がマーカーを有する場合の較正用オブジェクトの例を示す図である。

【図10】両端調整部、および回転軸を調整するための目盛線を有する較正用オブジェクトの例を示す図である。

【図11】上線部、下線部、左線部、および右線部を有する較正用オブジェクトの例を示す図である。

【図12】本発明による一実施形態のカメラシステムによるカメラ較正動作時における、ＣＰＵの動作を示すフローチャートである。

【図13】本発明による一実施形態のカメラシステムによるカメラ較正動作における、較正パラメータの算出方法を説明する図である。

【図14】ワールド座標系の回転移動を示す図である。

【図15】本発明による一実施形態のカメラシステムによるカメラ画像を示す図である。

【図16】カメラ座標系における指標の両端の座標を示す図である。

【図17】カメラを取り付けた移動体を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明による一実施形態について、図面を参照して詳細に説明する。

【0019】

図１は、本発明による一実施形態のカメラシステムを移動体（例えば、車両）に搭載したときのシステムの構成例を示すブロック図である。図１に示すように、移動体のシステムは、カメラシステム１と、システム全体の動作を制御するＣＰＵ２と、バス３と、指示部５と、センサ６とを備える。カメラシステム１は、カメラ較正装置１０と、表示部４とを備える。カメラ較正装置１０は、カメラ１１と、較正処理装置１２とを備える。較正処理装置１２は、画像処理部１２１と、画像重畳部１２２と、画像出力部１２３と、ＣＰＵ１２４と、記憶部１２５とを備える。

【0020】

カメラ１１は、ＣＭＯＳ，ＣＣＤなどのイメージセンサを有しており、レンズを通して入射した被写体光を電気信号に変換し、被写体の撮像画像を生成する。カメラ１１は、移動体の所定位置に取り付けられる。図１７は、カメラ１１を取り付けた移動体を示す図である。本実施形態では、図１７に示すように、カメラ１１は移動体１００後方のバンパー４４付近に取り付けられ、移動体１００の後方の映像を撮影する。図中の領域Ａは、カメラ１１によって映像が撮影される領域である。

【0021】

表示部４は、ユーザにより駐車モードが指示された場合には、カメラシステム１によって生成された映像を表示する。駐車モードとは、移動体１００を運転するユーザから見えづらい移動体１００後方の領域Ａ内の映像を表示部４に表示させることによって、駐車を円滑に行えるように手助けするためのモードである。また、移動体１００後方の領域Ａ内の映像に、更に移動体１００が通過する予測軌跡を重畳して表示し、より円滑に駐車を行えるようにすることもできる。

【0022】

また、ユーザによりカメラ較正モードが指示された場合にも、カメラシステム１によって生成された映像を表示する。カメラ較正モードとは、移動体１００後方の領域Ａ内に指標となる物体又は図形を配置し、カメラ１１により得られる指標の映像を利用して、ユーザがカメラ１１の取り付け位置を較正するためのモードである。このカメラ較正モードは、移動体１００の生産ラインで移動体１００にカメラ１１を取り付ける際、あるいは移動体１００に振動が加わるなどの理由によりカメラ１１の位置がずれた際に用いられる。具体的な較正方法については後述する。

【0023】

なお、表示部４は、ユーザによりナビゲーションモードが指示された場合には、ナビゲーションシステムにより得られた目的地までのルート案内図を表示し、テレビモードが指示された場合には、テレビ受信機により得られたテレビ映像を表示することも可能である。

【0024】

指示部５は、表示部４に重畳された較正用オブジェクトの位置を調整するためのユーザインターフェースであり、指示部５を操作することにより、較正用オブジェクトの位置を上下左右方向および回転方向に移動させることができる。指示部５は、ユーザの操作により得られたオブジェクト移動信号を、バス３を介してＣＰＵ１２４に出力する。調整操作が終了したときには、指示部５は、調整終了信号を、バス３を介してＣＰＵ１２４に出力する。

【0025】

センサ６は、車速を検知する車速センサ、シフトレバーの位置を検知するギアセンサ、ステアリングの操舵角を検知する舵角センサを含む。センサ６は、各種センサから得られたセンサ信号を、バス３を介してＣＰＵ１２４およびＣＰＵ２に出力する。

【0026】

記憶部１２５には、既知の値となるカメラ１１の位置座標および指標の位置座標が記憶される。

【0027】

ＣＰＵ１２４は、指示部５により得られたオブジェクト移動信号に基づいて較正用オブジェクトの表示位置を決定し、画像重畳部１２２に重畳指示を行う。また、ＣＰＵ１２４は、指示部５から較正終了の指示を受けたとき、較正終了時の較正用オブジェクトの位置座標を取得するとともに、記憶部１２５に記憶されているカメラ１１の位置座標および指標の位置座標を取得し、これらの位置座標に基づいてカメラ１１の取り付け位置のずれを較正する較正パラメータ（パン角、チルト角、およびロール角）を算出する。また、ＣＰＵ１２４は、センサ６により得られたセンサ信号に基づいて移動体１００の予測軌跡の表示位置を決定し、画像重畳部１２２に重畳指示を行う。

【0028】

画像処理部１２１は、カメラ１１により生成された撮像画像に対してＡ／Ｄ変換、ノイズ低減処理、画像処理などを施してデジタル画像を生成し、画像重畳部１２２に出力する。

【0029】

画像重畳部１２２は、ＣＰＵ１２４からの指示に基づいて、画像処理部１２１により生成されたデジタル画像上の所定の位置に画像を重畳して重畳画像を生成し、画像出力部１２３に出力する。重畳させる画像は、カメラ１１の取り付け位置を較正する際に用いられる較正用オブジェクト、または移動体１００が後退時に自身が通過する予想領域を示し、駐車のサポートに用いられる予測軌跡などである。

【0030】

画像出力部１２３は、画像重畳部１２２により生成された重畳画像を、表示部４の表示デバイスに適したフォーマット（例えば、ＮＴＳＣなど）に変換し、表示部４に出力する。

【0031】

図２は、ユーザにより駐車モードが指示された場合に、表示部４に表示される画像の一例を示す図である。表示部４には、指標４１と、較正用オブジェクト４２とが表示される。また、カメラ１１が図１２に示すようにバンパー４３付近に取り付けられた場合には、バンパー４３の端部も表示される。

【0032】

指標４１は、移動体１００を予め定められた停止位置に正確に停止した場合における移動体１００の後端から所定の距離（例えば、１ｍ）に配置される物体又は図形であり、例えば、長方形状の板、または路面上に描かれた白線である。つまり、カメラ１１の取り付け角度が正確であれば、移動体１００と指標４１との位置関係が特定されているため、カメラ１１により撮影された指標４１は表示部４の画面上必ず特定位置に映ることとなる。もし、指標４１が特定位置からずれた位置に映る場合には、指示部５により、較正用オブジェクト４２を指標４１まで移動させることにより、カメラ１１のカメラ取り付け角度のずれを特定する較正パラメータを取得することができる。

【0033】

図３は、指示部５の外観図の一例を示す図である。図２に示すように、指示部５は、上指示部５１と、左指示部５２と、下指示部５３と、右指示部５４と、左回転部５５と、右回転部５６とを有する。上指示部５１、左指示部５２、下指示部５３、右指示部５４、右回転部５５、及び左回転部５６は車両内の表示部４近傍に設けた機械スイッチであってもよいし、表示部４に重ねて配されるタッチパネル上に表示されるオブジェクトであってもよい。上指示部５１は較正用オブジェクト４２を上方向に移動させる際に用いられ、左指示部５２は較正用オブジェクト４２を左方向に移動させる際に用いられ、下指示部５３は較正用オブジェクト４２を下方向に移動させる際に用いられ、右指示部５４は較正用オブジェクト４２を右方向に移動させる際に用いられ、左回転指示部５５は較正用オブジェクト４２を反時計回り方向に回転移動させる際に用いられ、右回転指示部５６は較正用オブジェクト４２を時計回り方向に回転移動させる際に用いられる。

【0034】

ここで、左指示部５２又は右指示部５４の１回押下に対し例えば０．５度のオフセットを対応づけた場合には、左指示部５２又は右指示部５４を１回押下すると、カメラ１１の撮像方向をパン（左右）方向に０．５度だけ向きを変えるときに生じる撮影画像の移動分量に等しい画素数分だけ、較正用オブジェクト４２を移動させることになる。上下（チルト）方向においても、ロール（回転）方向においても同様である。

【0035】

次に、カメラシステム１によるカメラの較正動作を説明する。図４は、カメラシステム１によるカメラの較正動作を示すフローチャートである。図５は、カメラの較正動作時に表示部４に表示される画像を示す図である。

【0036】

ユーザは、較正用オブジェクト４２を左右方向に移動させ、較正用オブジェクト４２の左右方向の位置を指標４１に合わせる（ステップＳ１０１）。図５（ａ）は、左指示部５２が押下され、較正用オブジェクト４２が左方向に移動した状態を示している。

【0037】

次に、ユーザは、較正用オブジェクト４２を上下方向に移動させ、較正用オブジェクト４２の上下方向の位置を指標４１に合わせる（ステップＳ１０２）。図５（ｂ）は、上指示部５１が押下され、較正用オブジェクト４２が上方向に移動した状態を示している。

【0038】

次に、ユーザは、較正用オブジェクト４２を回転方向に移動させ、較正用オブジェクト４２の回転方向の位置を指標４１に合わせる（ステップＳ１０２）。図５（ｃ）は、左回転指示部５５が押下され、較正用オブジェクト４２が反時計回り方向に回転移動した状態を示している。

【0039】

図２，５に示した較正用オブジェクト４２は、等間隔に付された目盛を有する。目盛は移動量の目安を示すためのものであり、目盛の間隔は当該較正用オブジェクトの所定回数分の移動操作に対応する。例えば、目盛の間隔を、左指示部５２又は右指示部５４を５回押下したときの移動距離とする。目盛を付加することにより、ユーザは、較正用オブジェクト４２の移動量の目安を得ることができる。例えば、指標４１に対して、較正用オブジェクト４２が右方向に約１目盛分だけずれていた場合には、左指示部５２を連続して５回押下することにより、較正用オブジェクト４２を一気に１目盛分左に移動させることができる。ユーザが指示部５による移動指示を行った後に、表示部４上で較正用オブジェクト４２の移動が反映されるまでには、バス３を経由してＣＰＵ１２４に信号を送付した後、ＣＰＵ１２４での各種画像処理が完了して再び表示部４における表示が更新されることを待つ必要があるため多少の時間を要するが、較正用オブジェクト４２の目盛を利用した場合には表示の更新を待たずとも指示部５の押下回数を推定することが出来る。そのため、推定に基づいた押下回数を表示更新を待たずに指示し、早期に意図した較正用オブジェクトの移動を行うことができ、ひいては操作時間を短縮させることが可能となる。これは左右（パン）方向だけではなく、上下（チルト）方向や回転（ロール）についても同様に行うこともできる。例を図６の一部に示す。

【0040】

図６は、目盛を有する較正用オブジェクト４２の他の例を示す図である。図６（ａ）は、較正用オブジェクト４２の目盛を除く部分（主部）に対して、目盛が略水平方向および略垂直方向に付されている。そのため、ユーザは、左右方向および上下方向について移動量の目安を得ることができる。

【0041】

図６（ｂ）は、主部に対して、目盛が水平方向および垂直方向に加え、回転方向にも付されている。そのため、ユーザは、左右方向および上下方向に加え、回転方向についても移動量の目安を得ることができる。図６（ｃ）に示すように、主部に対して、目盛を碁盤目状に付してもよい。また、目盛の形状は線状に限られるものではなく、例えば図６（ｄ）に示すように山型であってもよい。また、図６（ｅ）に示すように、較正用オブジェクト４２を目盛のみとしてもよい。この場合には、左端の目盛から右端の目盛までの長さを指標４１と同一の長さとする。

【0042】

図７は、所定の幅のマーカーが付された一端調整部および他端調整部を有する較正用オブジェクト４２の例を示す図である。図７（ａ）（ｂ）に示すマーカーは、指標４１の一端および他端が、それぞれ一端調整部および他端調整部のマーカーの所定の幅内に収まるまで較正用オブジェクト４２を移動させればよいことを示す。特に図７（ｂ）の場合には大きい「く」の字状のマーカー４つと小さい「く」の字状のマーカー４つとにより構成されており、大きい「く」の字状のマーカーを目安におおまかに指標４１に対する位置決めを行いつつ、小さい「く」の字状のマーカーにより位置決め精度を高める、という２ステップ較正により素早く高精度な指標４１への位置決めを行うことができる。

【0043】

また、図７（ｃ）に示すように、目盛を有する較正用オブジェクト４２の両端にマーカーを付してもよいのは勿論である。この場合には両端のマーカーにより較正用オブジェクト４２自体に多少の短手方向の幅が生じるため、較正用オブジェクト４２が指標４１に対して大きくずれている場合には、この短手方向における幅を見ながら指標４１に対しての位置決めをおおまかに行うことが出来、やはり素早く高精度な指標４１への位置決めを行うことができる。

【0044】

また、図７（ｄ）に示すように、マーカーの数を増やし、外周、中周、内周の３層、各層４つのマーカーを有する多数のマーカーにより構成し、指標４１がマーカーによって囲まれた領域内に収まるまで較正用オブジェクト４２を移動させるようにしてもよい。図７（ｄ）の場合には最も外側の４つのマーカーにておおまかな位置決め、内側のマーカーで高精度の位置決めを行うことができ、ずれ量が大きい場合でも素早く高精度な指標４１への位置決めを行うことができる。

【0045】

較正用オブジェクト４２を指標４１の位置に移動させる際に、両者は完全に重ならなくても較正パラメータを算出することができるが、ユーザにはどの程度の誤差までであれば較正パラメータの算出に影響を与えないかを知る方法はなかった。そこで、マーカーの幅は、許容される誤差量を示す。しかし、図７に示すマーカーが付された較正用オブジェクト４２を使用すれば、指標４１の一端および他端が、それぞれ一端調整部および他端調整部のマーカーの所定の幅内に収まれば操作を終了できるので、調整時間を短縮させることができる。

【0046】

図８は、一端調整部および回転軸調整部を有する較正用オブジェクト４２の例を示す図である。図８（ａ）に示す較正用オブジェクト４２を用いる場合、まず、図８（ａ）中の矢印で示すように、円形の一端調整部を指標４１の一端まで移動させる。図８（ｂ）は、指標４１の端部が較正用オブジェクト４２の一端調整部と略一致した状態を示している。その後、較正用オブジェクト４２を図８（ｂ）中の矢印で示すように回転させ、指標４１の端部を除く部分が較正用オブジェクト４２の回転軸調整部と略重なるまで移動させる。このとき、回転の中心点を一端調整部の中心点とすることで、回転移動によって指標４１と較正用オブジェクト４２とがずれることを防止できる。したがって、回転移動後にさらに較正用オブジェクト４２を上下左右方向に移動させて微調整する必要がなくなり、調整時間を短縮させることができる。

【0047】

なお、本明細書において、指標の一部と校正用オブジェクトの一部が「一致する」とは、両者の面積が異なる場合、一方が他方を含む関係も包含するものとする。また、指標の全部又は一部と校正用オブジェクトの全部又は一部が「重なる」とは、両者の幅が異なる場合、一方が他方を含む関係も包含するものとする。

【0048】

図９は、指標４１がマーカーを有する場合の較正用オブジェクト４２の例を示す図である。指標４１がマーカーを有する場合、図９（ａ）に示すように、マーカー調整部および回転軸調整部を有する較正用オブジェクト４２を使用することができる。まず、図９（ａ）中の矢印で示すように、較正用オブジェクト４２の円形のマーカー調整部を指標４１のマーカーまで移動させる。図９（ｂ）は、指標４１のマーカーが較正用オブジェクト４２のマーカー調整部と略一致した状態を示している。その後、較正用オブジェクト４２を図９（ｂ）中の矢印で示すように回転させ、指標４１のマーカーを除く部分が較正用オブジェクト４２の回転軸調整部と略重なるまで移動させる。このとき、回転の中心点をマーカーの中心点とすることで、回転移動によって指標４１と較正用オブジェクト４２とがずれることを防止できる。したがって、回転移動後にさらに較正用オブジェクト４２を上下左右方向に移動させて微調整する必要がなくなり、調整時間を短縮させることができる。

【0049】

図１０は、両端調整部、および回転軸を調整するための複数の互いに平行な目盛線を有する較正用オブジェクト４２の例を示す図である。図１０（ａ）に示す較正用オブジェクト４２を用いる場合、まず、図１０（ａ）中の矢印で示すように、較正用オブジェクト４２の目盛線のいずれかを指標４１と平行になるまで回転させる。このとき較正用オブジェクト４２も目盛線の回転とともに回転する。図１０（ｂ）は、指標４１が較正用オブジェクト４２の目盛線の一つと略平行になった状態を示している。その後、較正用オブジェクト４２を図１０（ｂ）中の矢印で示すように、指標４１の両端部がそれぞれ較正用オブジェクト４２の両端調整部と略一致するまで左上方向に移動させる。したがって、上下左右方向に移動させた後にさらに較正用オブジェクト４２を回転移動する必要がなくなり、調整時間を短縮させることができる。

【0050】

図１１は、上線部、下線部、左線部、および右線部を有する較正用オブジェクト４２の例を示す図である。図１１（ａ）に示す較正用オブジェクト４２を用いる場合、まず、図１１（ａ）中の矢印で示すように、較正用オブジェクト４２の上線部、下線部、左線部、および右線部を予め四隅に表示させておき、これらをそれぞれ独立して移動させ、指標４１が上線部、下線部、左線部、および右線部によって囲まれた領域内に収まるまで移動させる。図１１（ｂ）は、指標４１が較正用オブジェクト４２の上線部、下線部、左線部、および右線部によって囲まれた領域内に収まった状態を示している。指標４１を、較正用オブジェクト４２の上線部、下線部、左線部、および右線部によって囲まれた領域内に収めることにより、指標４１の２箇所の頂点の位置が定まるため、回転移動が不要となり、調整時間を短縮させることができる。このとき、指標４１の傾斜が右下がりなのか左下がりなのかについてのみ別途指示する必要がある。直接いずれの傾斜状態なのかを入力してもよいし、あるいは指標４１の画面左側寄りの一端を下線部と左線部で指定し、他端を上線部と右線部で指定するよう規定することで特定してもよい。

【0051】

図１２は、カメラ１１の較正動作時における、ＣＰＵ１２４の動作を示すフローチャートである。ＣＰＵ１２４は、指示部５からオブジェクト移動信号を受信すると（ステップＳ２０１−Ｙｅｓ）、画像重畳部１２２に重畳指示を行う（ステップＳ２０２）。ＣＰＵ１２４は、指示部５からオブジェクト移動信号を受信しない場合（ステップＳ２０１−Ｎｏ）、指示部５からの較正終了信号を受信するまでの間、指示部５からの移動指示を受け付ける（ステップＳ２０３−Ｎｏ）。指示部５からの調整終了信号を受信すると（ステップＳ２０３−Ｙｅｓ）、較正パラメータ（パン角、チルト角、およびロール角）を算出する（ステップＳ２０４）。

【0052】

次に、ステップＳ２０４における較正パラメータの算出方法について説明する。図１３は、較正パラメータの算出方法を説明する図であり、移動体１００に設置されるカメラ１１と指標４１の位置関係を示している。指標４１の両端の点をそれぞれＰ_１，Ｐ_２とする。カメラ１１の位置（カメラ座標の原点）は、ワールド座標で（ｔｘ，ｔｙ，ｔｚ）と表される。また、カメラ１１の位置を基準として、カメラ１１から見た相対的な位置関係はカメラ座標系で表現することができる。カメラ座標系は、ワールド座標系に対する平行移動および回転移動で表すことができる。

【0053】

図１４は、ワールド座標系の回転移動を示す図である。図１４（ａ）に示すように、Ｚｗを軸とする回転をパン、図１４（ｂ）に示すようにＹｗを軸とする回転をロール、図１４（c）に示すようにＸｗを軸とする回転をチルトとする。パンの回転角度（パン角）α、ロールの回転角度（ロール角）β、チルトの回転角度（チルト角）γのとき、ワールド座標系の座標（ｘｗ_１，ｙｗ_１，ｚｗ_１）で表される点Ｐ_１は、カメラ座標系では式（１）で表すことができる。

【0054】

【数1】

【0055】

図１５は、カメラ画像における指標４１の座標を示す図である。指標４１の座標は、上述したように較正オブジェクトを移動させることで得られる。指標４１の一端Ｐ_１の位置を、カメラ画像の中心点を原点とする座標で（ｘ_ｉ，ｚ_ｉ）としたとき、カメラ１１のセンサ面上の像高ｈは、センサのピクセルピッチｄを用いて式（２）で表される。

【0056】

【数2】

【0057】

さらに、レンズの入射角θ_iとセンサ面上の像高ｈの関係は、レンズの焦点距離ｆ、およびレンズのディストーションdistを用いて、式（３）で表すことができる。

【0058】

【数3】

【0059】

図１６は、カメラ座標系における指標４１の両端Ｐ_１，Ｐ_２の座標を示す図である。点Ｐ_１に対するカメラ１１の入射角θ_iは、式（４）で表される。

【0060】

【数4】

【0061】

カメラ１１から点Ｐ_１までの距離ｓ、すなわちカメラ座標原点から指標４１の点Ｐ_１までの距離は既知であるので、式（２），（３）から求まる角度θ_iと、式（５）で表される角度φ_iとを用いて、（ｘｃ_１，ｙｃ_１，ｚｃ_１）を式（６），（７），（８）により算出することができる。

【0062】

【数5】

【0063】

同様に、点Ｐ_２についても式（９）の関係が算出される。

【0064】

【数6】

【0065】

指標４１を、移動体１００後端から所定の距離に移動体１００後端と平行になるように配置し、指標４１の厚みを一定とすることにより、以下の式（１０），（１１）が成立する。

【0066】

ｙｗ_１＝ｙｗ_２ （１０）
ｚｗ_１＝ｚｗ_２ （１１）

【0067】

較正点のワールド座標系での座標は既知であるので、較正指示装置により入力した２つの較正点の画像上の座標が決まれば、式（１），（９），（１０），（１１）より、パン角α，ロール角β，およびチルト角γを算出することができる。つまり、式（１０），（１１）の条件を満たすことにより、ＣＰＵ１２４は、２点の較正用オブジェクトの座標を取得すれば、較正パラメータを算出することができる。

【0068】

カメラ１１からの撮像画像は、ＣＰＵ１２４により較正パラメータが算出された後は、当該較正パラメータに対応する量をオフセットさせて出力される。これにより、結果的に画像重畳部１２２は、画像処理部１２１により生成されたデジタル画像上に予測軌跡などの画像を重畳して重畳画像を生成する際に、較正パラメータが算出される以前の重畳位置からオフセットして重畳されることとなるため、例えば駐車時により高精度な車両通過予測軌跡を表示することができる。

【0069】

上述したように、本発明による較正処理装置１２、カメラ較正装置１０、カメラシステム１、およびカメラ較正方法において、較正用オブジェクト４２の第１の態様は、移動量の目安を示すための目盛を有する。較正用オブジェクト４２の第２の態様は、所定の幅のマーカーが付された一端調整部および他端調整部を有する。較正用オブジェクト４２の第３の態様は、一端調整部、および回転軸調整部を有する。較正用オブジェクト４２の第４の態様は、マーカー調整部、および回転軸調整部を有する。較正用オブジェクト４２の第５の態様は、両端調整部、および回転軸を調整するための目盛線を有する。較正用オブジェクト４２の第６の態様は、上線部、下線部、左線部、および右線部を有し、それぞれ独立して移動可能とする。このように較正用オブジェクト４２の形状を工夫したことにより、本発明による較正処理装置１２、カメラ較正装置１０、カメラシステム１、およびカメラ較正方法によれば、カメラ１１を較正する際の操作が簡便となり、較正に要する時間を短縮することができる。

【0070】

上述の実施形態は、代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上述した実施形態では、指標４１の左端と右端の２点の座標を取得するようにしたが、座標の取得位置は、指標４１何の予め決めておいた点とすることができる。

【符号の説明】

【0071】

１ カメラシステム
２ ＣＰＵ
３ バス
４ 表示部
５ 指示部
６ センサ
１０ カメラ較正装置
１１ カメラ
１２ 較正処理装置
１２１ 画像処理部
１２２ 画像重畳部
１２３ 画像出力部
１２４ ＣＰＵ
１２５ 記憶部
４１ 指標
４２ 較正用オブジェクト
４３ バンパー
１００ 移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】