特許 6367584 カメラキャリブレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6367584

(24)【登録日】2018年7月13日

(45)【発行日】2018年8月1日

(54)【発明の名称】カメラキャリブレーション装置

(51)【国際特許分類】

   H04N 17/00 20060101AFI20180723BHJP

   G01B 11/00 20060101ALI20180723BHJP

【ＦＩ】

   H04N17/00 200

   G01B11/00 H

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2014-60581(P2014-60581)

(22)【出願日】2014年3月24日

(65)【公開番号】特開2015-186026(P2015-186026A)

(43)【公開日】2015年10月22日

【審査請求日】2017年2月27日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(74)【代理人】

【識別番号】100082670

【弁理士】

【氏名又は名称】西脇 民雄

(74)【代理人】

【識別番号】100180068

【弁理士】

【氏名又は名称】西脇 怜史

(72)【発明者】

【氏名】新舎 大昌

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２００４−３５４２５７（ＪＰ，Ａ）

【文献】 特開平１１−１３４４８０（ＪＰ，Ａ）

【文献】 特開２００６−３１０８２０（ＪＰ，Ａ）

【文献】 特開２００６−２４２７１４（ＪＰ，Ａ）

【文献】 特開２００２−２８０２８８（ＪＰ，Ａ）

【文献】 特開２０１１−２３９３４９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０１Ｂ １１／００

Ｇ０６Ｔ １／００ −３／００

(57)【特許請求の範囲】

【請求項1】

近赤外光に感度を有する近赤外受光素子を備えた撮像素子と、
前記撮像素子によって画像を生成する撮像部と、
前記近赤外光を透過または反射する複数の視標と、
前記撮像部によって撮像された前記複数の視標を含む画像の中から、前記複数の視標のそれぞれの位置を計測する視標位置計測部と、
前記画像の中の前記複数の視標の位置に基づいて、前記複数の視標が本来観測される位置に映るように、前記画像の幾何学的補正を行う画像補正部と、を有し、
前記画像補正部で補正した前記複数の視標の位置のうち、いずれかの視標の位置が、本来観測される位置から所定値以上ずれたときに、前記画像補正部において、前記画像の幾何学的補正を行うことを特徴とするカメラキャリブレーション装置。

【請求項2】

前記複数の視標は、前記撮像部で撮影された画像の中の、具体的な用途に使用される画像領域の外周よりも外側の領域に映るように配置されることを特徴とする請求項１に記載のカメラキャリブレーション装置。

【請求項3】

前記撮像部は、車両のウインドシールド越しに前記車両の外部を撮影するように設置されて、前記複数の視標は、前記ウインドシールドの外表面上または内表面上に設置されることを特徴とする請求項１または請求項２に記載のカメラキャリブレーション装置。

【請求項4】

前記撮像部は、車両のウインドシールド越しに前記車両の外部を撮影するように設置されて、前記複数の視標は、前記ウインドシールドの内部に埋め込まれていることを特徴とする請求項１または請求項２に記載のカメラキャリブレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、空間内の点の３次元位置と、その点がカメラで撮影されて画像化されたときの、画像上の点の２次元位置とを対応付けることによって、焦点距離などのカメラの内部パラメータと、カメラの設置位置や設置方向に関わる外部パラメータとを決定するカメラキャリブレーション装置に関する。

【背景技術】

【0002】

近年、車両にカメラを設置し、観測された画像の中から、道路領域や先行車両を検出して、車両と道路環境との関係を分析し、安全な運転を補助するＩＴＳシステムが普及しつつある。

【0003】

このようなシステムを実現して、安定した性能を発揮させるためには、一般に、車両に設置したカメラの位置やその取り付け方向といった外部パラメータと、カメラの焦点距離，レンズの歪曲等の内部パラメータを適切にキャリブレーションする必要がある。そのため、様々なキャリブレーション装置が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−１０７３４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば、特許文献１に記載されたキャリブレーション装置は、設置されたターゲット（マーカ）の位置を検出して、その重心位置をマーカの設置位置として算出する構成になっていた。

【0006】

このような従来のキャリブレーション装置にあっては、カメラで観測される複数のマーカ（視標）の位置を計測するために、画像処理によって画像の中に映ったマーカを検出して、その位置を計測していた。その際、周囲の明るさが変動すると、マーカの検出精度が低下する虞があるため、使用する環境によってはキャリブレーションの精度が悪化してしまうという問題があった。

【0007】

本発明は、上記課題に鑑みてなされたもので、キャリブレーションを行う周囲の明るさに影響されずに、安定してマーカ（視標）の位置を計測してキャリブレーションを行うことができるカメラキャリブレーション装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係るカメラキャリブレーション装置は、周囲の明るさの変動によらずに、キャリブレーションに用いる視標の位置を確実に計測するものである。

【0009】

すなわち、本発明に係るカメラキャリブレーション装置は、近赤外光に感度を有する近赤外受光素子を備えた撮像素子と、前記撮像素子によって画像を生成する撮像部と、前記近赤外光を透過または反射する複数の視標と、前記撮像部によって撮像された前記複数の視標を含む画像の中から、前記複数の視標のそれぞれの位置を計測する視標位置計測部と、前記画像の中の前記複数の視標の位置に基づいて、前記複数の視標が本来観測される位置に映るように、前記画像の幾何学的補正を行う画像補正部と、を有することを特徴とする。

【0010】

このように構成された本発明に係るカメラキャリブレーション装置によれば、撮像部を構成する撮像素子が、近赤外光に感度を有する近赤外受光素子を備えるため、この撮像部で、近赤外光を透過または反射する複数の視標を撮影すると、観測される画像の中には、複数の視標が高いコントラストで観測される。したがって、視標位置計測部によって、複数の視標の位置を確実かつ正確に計測することができる。そして、視標位置計測部によって計測された複数の視標の画像上の位置を画像補正部が補正するため、周囲の明るさが変動する場合であっても、照明装置等を用いることなく、周囲の明るさに影響されずに撮像部のキャリブレーションを確実に行うことができる。

【発明の効果】

【0011】

本発明に係るカメラキャリブレーション装置によれば、キャリブレーションを行う周囲の明るさに影響されずに、安定してカメラのキャリブレーションを行うことができる。

【図面の簡単な説明】

【0012】

【図1】本発明の１実施形態である実施例１に係るカメラキャリブレーション装置を車載した状態を示す外観図である。

【図2】（ａ）は実施例１に係るカメラキャリブレーション装置を車両に実装した際に、車両のフロントウインドシールドを正面から見た外観を示す図である。（ｂ）は図５（ａ）を矢印Ｅの方向から見た側面図である。

【図3】実施例１に係るカメラキャリブレーション装置の機能構成を示す機能ブロック図である。

【図4】実施例１における撮像素子の構造について説明する図であり、（ａ）は撮像素子の平面図である。（ｂ）は撮像素子を切断線Ａ−Ａで切った断面図である。

【図5】実施例１における撮像素子を構成する各受光素子の分光感度の概略パターンを示す図である。

【図6】（ａ）は実施例１において視標があるべき位置に撮影された状態を示す画像の一例である。（ｂ）は実施例１において視標が実際に撮影された状態を示す画像の一例である。（ｃ）は実施例１において使用する視標の具体的な例を示す図である。

【図7】図６（ａ）に示す画像と、図６（ｂ）に示す画像を重ね合わせた様子を示す図である。

【図8】（ａ）は図７の結果に基づいて算出される、視標の観測位置の横方向の位置ずれ量を表す図である。（ｂ）は図７の結果に基づいて算出される、視標の観測位置の縦方向の位置ずれ量を表す図である。

【図9】実施例１で行われる処理の全体の流れを示すフローチャートである。

【図10】図９のフローチャートの中で行われるキャリブレーションの流れを示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明に係るカメラキャリブレーション装置の具体的な実施形態について、図面を参照して説明する。

【実施例1】

【0014】

本実施例は、本発明を、車両に設置されたカメラのキャリブレーションを行うカメラキャリブレーション装置に適用したものである。
（カメラキャリブレーション装置の構成の説明）

【0015】

まず、図１を用いて、本発明の一実施形態であるカメラキャリブレーション装置の構成を説明する。図１は、本実施例に係るカメラキャリブレーション装置１０を車両Ｖに実装した様子を示す図である

【0016】

カメラキャリブレーション装置１０は車両Ｖのルームミラー１２の裏側付近に、車両Ｖの外側に向けて設置された撮像部３０と、フロントガラス２０（ウインドシールド）の外表面に貼り付けられた、視標２４ａ，２４ｂ，２４ｃ，２４ｄが印刷または貼り付けられた透明フィルム２２を備えている。

【0017】

撮像部３０は、ＣＣＤやＣＭＯＳ等の撮像素子３２（図３）を有している。なお、撮像素子３２の具体的な構成は後述する。

【0018】

透明フィルム２２は、フロントガラス２０（ウインドシールド）と同様の分光透過特性を有しており、その表面に４つの視標２４ａ，２４ｂ，２４ｃ，２４ｄが描かれている。

【0019】

４つの視標２４ａ，２４ｂ，２４ｃ，２４ｄは同じ大きさを有する必要はないが、近赤外光（例えば７５０〜８５０ｎｍの光）の透過特性が、フロントガラス２０（ウインドシールド）の近赤外光の透過特性とは異なる特性を有している。すなわち、フロントガラス２０の近赤外光の透過率が１００％であるときには、視標２４ａ，２４ｂ，２４ｃ，２４ｄは、ともに近赤外光を遮断する（透過しない）分光透過特性を有しているものとする。そして、この４つの視標２４ａ，２４ｂ，２４ｃ，２４ｄは、全て撮像部３０の撮影視野の中に収まっている。以下、この４つの視標２４ａ，２４ｂ，２４ｃ，２４ｄを総称して、単に視標２４と呼ぶ。視標２４の具体的な形状については後述する。

【0020】

撮像部３０は、具体的には、車両Ｖの外部の様子を録画するドライブレコーダの撮像部、あるいは、車両前方のレーンマーカの位置を検出して、車両Ｖの車線からのはみ出しを警告する車線逸脱警報装置等の各種アプリケーションに用いられる。ただし、本発明の内容は、撮像部３０の具体的用途には何ら制限を与えるものではない。

【0021】

図２（ａ），（ｂ）は、撮像部３０の詳細な取り付け状態を示す図である。図２（ａ）は、車両Ｖを正面から見た図である。フロントガラス２０（ウインドシールド）の外表面には、透明フィルム２２が貼り付けられている。この透明フィルム２２は、撮像部３０の撮像視野を包含する位置に貼り付けられている。そして、この透明フィルム２２には、視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）が、印刷または貼り付けられている。なお、透明フィルム２２は、前述したようにフロントガラス２０と同様の分光透過特性を有しているため、透明フィルム２２を貼り付けたことによる、撮像部３０で撮像された画像への影響はない。

【0022】

なお、この視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）は、近赤外光の透過特性のみがフロントガラス２０（ウインドシールド）と異なるため、運転者が見る限りはその存在を確認することができない。したがって、フロントガラス２０を製造する際に、視標２４をガラスの内部に埋め込んで製造してもよい。そして、この場合には、フロントガラス２０の近赤外光の透過率をほぼ０として、視標２４の近赤外光の透過率をほぼ１００％としてもよい。

【0023】

撮像部３０の撮像視野は、フロントガラス２０（ウインドシールド）の表面上で、透明フィルム２２の内側に、図２（ａ）に示す領域Ｒ１の範囲になるように設定されている。また、撮像部３０を用いるアプリケーションは、領域Ｒ１よりも内側の領域Ｒ２の範囲の画像情報を活用するように設定されている。

【0024】

そして、全ての視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）は、領域Ｒ１の内部で、なおかつ、領域Ｒ２の外周よりも外側の領域に映るような位置に設置されている。

【0025】

図２（ｂ）は、図２（ａ）を矢印Ｅの方向から見た側面図である。図２（ｂ）に示すように、撮像部３０は、車両Ｖのフロントガラス２０（ウインドシールド）の裏面側に、カメラ固定部２６を介して設置されている。そして、撮像部３０はルームミラー１２の裏側付近に位置するように固定されて、車両Ｖの運転者の視界に入らないように設置される。
（カメラキャリブレーション装置の機能構成の説明）

【0026】

図３は、本実施例に係るカメラキャリブレーション装置１０の機能構成を示す機能ブロック図である。

【0027】

カメラキャリブレーション装置１０は、車両Ｖに搭載されて、図３に示すように、フロントガラス２０（ウインドシールド）の内側から車両Ｖの外部を監視する撮像部３０と、画像処理プロセッサ４０と、撮像された画像の中で視標２４が本来観測される位置とキャリブレーションによって得られた補正データを記憶しておく補正データ記憶部６０と、キャリブレーションの開始指示や、撮像部３０で撮像された画像を用いた具体的なアプリケーションを実行するマイコン７０と、からなる。

【0028】

フロントガラス２０（ウインドシールド）には、前述したように、視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）が埋め込まれており、フロントガラス２０は近赤外光をカットする分光透過特性を有し、視標２４は近赤外光を透過する分光透過特性を有しているものとする。

【0029】

撮像部３０は、撮像素子３２と複数の近赤外受光素子３４ａ，３４ｂ，３４ｃ，…を備えている。なお、以後、特に断りのない限り近赤外受光素子３４ａ，３４ｂ，３４ｃ，…を総称して近赤外受光素子３４と呼ぶ。撮像素子３２の詳細な構造については後述する。

【0030】

画像処理プロセッサ４０は、撮像された画像の中から、全ての視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）を検出して、その位置を計測する。また、撮像された画像の中で視標２４が本来観測される位置からずれて観測されたときには、画像の幾何学的な補正を行って、視標２４が所定の位置に観測された画像を生成する。この画像処理プロセッサ４０は、具体的には集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）で構成されている。

【0031】

画像処理プロセッサ４０は、画像入力部４２と、近赤外画像選択部４４と、カラー画像選択部４６と、視標位置計測部４８と、視標位置比較部５０と、画像補正部５２と、を有する。

【0032】

画像入力部４２は、撮像部３０に対して撮像を行うタイミングを指示するとともに、撮像部３０で撮像された出力信号から近赤外信号を分離し、さらに、色信号を生成する。

【0033】

近赤外画像選択部４４は、画像入力部４２で生成された近赤外信号を選択して出力する。

【0034】

カラー画像選択部４６は、画像入力部４２で生成された色信号を選択して出力する。

【0035】

視標位置計測部４８は、近赤外画像選択部４４から出力された近赤外信号の中から、全ての視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）を検出して、その中心位置を計測する。

【0036】

視標位置比較部５０は、視標位置計測部４８で計測された全ての視標２４の中心位置と、視標２４が本来観測される位置とを比較する。なお、視標２４が本来観測される位置は、補正データ記憶部６０の内部に、予め記憶されている。

【0037】

画像補正部５２は、撮像された画像の中に映った視標２４の位置が、本来観測される視標２４の位置からずれていたときに、補正データ記憶部６０に記憶された補正データを用いて、視標２４が本来観測される位置に映るように、画像を幾何学的に補正する。詳しい補正方法については後述する。

【0038】

マイコン７０は、キャリブレーション開始指示部７２と、アプリケーション実行部７４と、を有する。

【0039】

キャリブレーション開始指示部７２は、操作者、あるいはアプリケーションに組み込まれたプログラムの指示を出力して、画像入力部４２に対してキャリブレーションの開始を指示する。

【0040】

アプリケーション実行部７４は、撮像部３０で撮像された画像を活用する、前述した各種アプリケーションを実行する。なお、アプリケーションの内容によって、複雑な画像処理を行う必要がある時や、特に処理の高速化が必要な時には、画像処理プロセッサ４０が利用される。
（撮像素子の構造の説明）

【0041】

次に、撮像素子３２の具体的な構造について、図４（ａ），（ｂ）を用いて説明する。図４（ａ）は、撮像素子３２の各画素に対応する受光素子の上部に設置された色フィルタの配列例を示す図である。図４（ａ）に示すように、撮像素子３２を構成する各受光素子の上部には、色フィルタである、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢが、所謂ベイヤー配列の規則に則って設けられている。そして、緑色フィルタＧの一部が、可視光から近赤外光（例えば８５０ｎｍ）までを透過する近赤外透過フィルタＣに置き換えられている。このうち、近赤外透過フィルタＣが設けられた画素が、前述した近赤外受光素子３４（３４ａ，３４ｂ，３４ｃ，…）であり、図４（ａ）にはその一例として、近赤外受光素子３４ａ〜３４ｄを示している。

【0042】

図４（ｂ）は、図４（ａ）を切断線Ａ−Ａで切断した断面図を示す。図４（ｂ）に示すように、撮像素子３２は、その底部に設けられた受光素子３６の上部に、前述した各フィルタ（Ｒ，Ｇ，Ｂ，Ｃ）が設けられて、さらにその上部に、所定波長以上の赤外線（例えば９００ｎｍ以上）および、可視光領域と近赤外領域の間（例えば６５０〜８３０ｎｍ）を遮断するＩＲカットフィルタ３８が設けられている。
（フィルタの分光感度特性の説明）

【0043】

次に、撮像素子３２に設けられる各フィルタの分光感度特性について、図５を用いて説明する。図５は、図４（ａ）に示した各フィルタの分光感度Ｓを示したものである。赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢは、それぞれの色に対応する波長の光のみを透過する特性を有している。

【0044】

なお、各色フィルタの感度の最大値は、実際にはそれぞれ異なっているが、説明をわかりやすくするため、図５では、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢの感度の最大値が等しくなるように描いている。

【0045】

ここで、近赤外透過フィルタＣは、可視光に加えて近赤外光にも感度を有している。したがって、近赤外透過フィルタＣを備えた近赤外受光素子３４（３４ａ，３４ｂ，３４ｃ，…）は、赤色フィルタＲ，緑色フィルタＧ，青色フィルタＢでは検出できない近赤外光に対しても感度を有している。
（キャリブレーション方法の説明）

【0046】

次に、具体的なキャリブレーションの方法について、図６，図７，図８を用いて説明する。図６（ａ）は、撮像部３０によって、視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）があるべき位置に撮影された状態を示す画像Ｉの一例である。図６（ａ）は、視標２４ａの中心位置が点Ｃ１に観測されて、視標２４ｂの中心位置が点Ｃ２に観測されて、視標２４ｃの中心位置が点Ｃ３に観測されて、視標２４ｄの中心位置が点Ｃ４に観測されることを示している。

【0047】

図６（ｂ）は、撮像部３０によって、視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）が実際に撮影された状態を示す画像Ｉ’の一例である。前述したように、フロントガラス２０（ウインドシールド）（図１）と視標２４は近赤外光の透過率が大きく異なるため、視標２４は画像Ｉ’の中で、周囲と比較して高いコントラストを有して画像化される。なお、このとき、視標２４が周囲と比較して明るく観測されるか、暗く観測されるかは、フロントガラス２０における近赤外光の分光透過率と、視標２４における近赤外光の分光透過率の大小関係による。

【0048】

そして、撮像部３０の取り付け誤差の発生や、車両Ｖの走行中の振動による撮像部３０の位置ずれの発生、また、撮像部３０が備えた光学系を構成するレンズの歪等によって、撮像された画像Ｉ’の中に映る視標２４の位置は、本来観測される位置からずれを生じる。図６（ｂ）は、視標２４ａの中心位置が点Ｄ１に観測されて、視標２４ｂの中心位置が点Ｄ２に観測されて、視標２４ｃの中心位置が点Ｄ３に観測されて、視標２４ｄの中心位置が点Ｄ４に観測されることを示している。

【0049】

なお、視標２４には、例えば、図６（ｃ）に示す形状のマーカを用いる。すなわち、視標２４は、２つの矩形領域が互いを２等分するように直交した十字形状をなしている。各矩形領域は幅ａを有しており、２つの矩形領域が直交した状態で、長さｂの部分が上下左右に突出している。ここで、矩形領域の幅ａは、視標２４を撮像部３０で撮像して画像化したときに、矩形領域の幅ａに対応する部分の長さが、画像上において奇数画素で観測されるように設定するのが望ましい。これは、正確なキャリブレーションを行うためには、画像上に映った視標２４の像の中心位置をできるだけ正確に計測する必要があるためである。

【0050】

そして、視標２４の中心位置を計測するため、使用する視標２４を全て同じ大きさにする必要はない。すなわち、例えば、撮像部３０から遠い位置に配置される視標２４（例えば、図２（ｂ）の視標２４ｃ）は、撮像部３０に近い位置に配置される視標２４（例えば、図２（ｂ）の視標２４ａ）に比べて大きいサイズとするのが望ましい。

【0051】

撮像部３０で撮像された画像Ｉ’の中から、既存の画像処理手法を組み合わせて、視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）を検出する。具体的には、撮像された画像Ｉ’の領域Ｒ１と領域Ｒ２の差分領域に対してエッジ成分を強調して、強調されたエッジ成分に囲まれた領域を検出する。もしくは、画像Ｉ’の領域Ｒ１と領域Ｒ２の差分領域を所定のしきい値で２値化して、領域を検出する。このようにして検出された領域の中から、テンプレートマッチング等の手法によって、十字形状と類似した形状を有する領域のみを選択する。このようにして選択された領域が、視標２４に対応する領域となる。

【0052】

なお、視標２４に対応する領域を検出する方法は、前述した方法に限定されるものではなく、適宜、適切な画像処理方法を組み合わせて適用すればよい。

【0053】

次に、選択された領域の各々について、それぞれの領域の中心位置を計測する。検出された視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）に対応する領域の中心位置を計測するには様々な方法が考えられるが、そのいずれを適用してもよい。例えば、選択された領域の各々に対して、その面積重心位置を算出し、領域の中心位置とすることができる。

【0054】

図７は、画像Ｉの中から視標２４の中心位置を計測した結果と、画像Ｉ’ の中から視標２４の中心位置を計測した結果と、を１枚の画像に合成した様子を示す。

【0055】

すなわち、図７は、点Ｃ１（Ｃ１ｘ，Ｃ１ｙ）の位置に観測されるべき視標２４ａが、実際には点Ｄ１（Ｄ１ｘ，Ｄ１ｙ）の位置に観測されて、矢印Ｐ１で示す位置ずれが生じることを示している。そして、この位置ずれの大きさと方向は、矢印Ｐ１のベクトル成分である（Δｘ１，Δｙ１）で表される。ここで、Δｘ１は横方向の位置ずれ量であり、図７の場合はΔｘ１＝Ｄ１ｘ−Ｃ１ｘである。また、Δｙ１は縦方向の位置ずれ量であり、図７の場合はΔｙ１＝Ｄ１ｙ−Ｃ１ｙである。

【0056】

同様に、図７は、点Ｃ２（Ｃ２ｘ，Ｃ２ｙ）の位置に観測されるべき視標２４ｂが、実際には点Ｄ２（Ｄ２ｘ，Ｄ２ｙ）の位置に観測されて、矢印Ｐ２で示す位置ずれが生じたことを示し、点Ｃ３（Ｃ３ｘ，Ｃ３ｙ）の位置に観測されるべき視標２４ｃが、実際には点Ｄ３（Ｄ３ｘ，Ｄ３ｙ）の位置に観測されて、矢印Ｐ３で示す位置ずれが生じたことを示し、点Ｃ４（Ｃ４ｘ，Ｃ４ｙ）の位置に観測されるべき視標２４ｄが、実際には点Ｄ４（Ｄ４ｘ，Ｄ４ｙ）の位置に観測されて、矢印Ｐ４で示す位置ずれが生じたことを示している。

【0057】

そして、点Ｄ２の位置ずれの大きさと方向は（Δｘ２，Δｙ２）であり、点Ｄ３の位置ずれの大きさと方向は（Δｘ３，Δｙ３）であり、点Ｄ４の位置ずれの大きさと方向は（Δｘ４，Δｙ４）である。それぞれ、前述した（Δｘ１，Δｙ１）と同様にして算出される。

【0058】

このとき、点Ｄ１，Ｄ２，Ｄ３，Ｄ４の位置ずれの大きさが、いずれも所定の値より小さいときには、本来観測されるべき画像が観測されているものと判断してキャリブレーションは実施しなくてもよい。一方、点Ｄ１，Ｄ２，Ｄ３，Ｄ４の位置ずれの大きさが、１か所でも所定の値より大きくなっているときには、以下に説明するキャリブレーションを実施する。

【0059】

なお、キャリブレーションを行うか否かを判断する位置ずれの大きさの所定の値は、アプリケーション実行部７４で実行するアプリケーションの内容に応じて、適宜設定すればよい。

【0060】

図８（ａ）は、図７の結果に基づいて算出される、視標２４の観測位置の横方向の位置ずれ量Δｘを表す図である。

【0061】

すなわち、図８（ａ）は、図７の結果得られた、各視標２４が観測されるものと想定される点Ｃ１，Ｃ２，Ｃ３，Ｃ４（図７）と実際に観測された点Ｄ１，Ｄ２，Ｄ３，Ｄ４（図７）の横方向の位置ずれ量Δｘを示している。

【0062】

具体的には、図８（ａ）は、観測された点Ｄ１，Ｄ２，Ｄ３，Ｄ４の各々に対して、各点の横方向座標ｘを横軸にとり、横方向の位置ずれ量Δｘを縦軸にとってプロットしたものである。

【0063】

さらに、図８（ａ）には、プロットされた各点との残差の総和が最小となる回帰直線Ｌｘを記載している。この回帰直線Ｌｘに基づいて、任意の横方向位置Ｄｉｘにおいて想定される横方向の位置ずれ量Δｘｉを、図８（ａ）に記載したように読み取ることができる。

【0064】

図８（ｂ）は、図７の結果に基づいて算出される、視標２４の観測位置の縦方向の位置ずれ量Δｙを表す図である。

【0065】

すなわち、図８（ｂ）は、各視標２４が観測されるものと想定される点Ｃ１，Ｃ２，Ｃ３，Ｃ４（図７）と実際に観測された点Ｄ１，Ｄ２，Ｄ３，Ｄ４（図７）の縦方向の位置ずれ量Δｙを示している。

【0066】

具体的には、図８（ｂ）は、観測された点Ｄ１，Ｄ２，Ｄ３，Ｄ４の各々に対して、各点の縦方向座標ｙを横軸にとり、縦方向の位置ずれ量Δｙを縦軸にとってプロットしたものである。

【0067】

さらに、図８（ｂ）には、プロットされた各点との残差の総和が最小となる回帰直線Ｌｙを記載している。この回帰直線Ｌｙに基づいて、任意の縦方向位置Ｄｉｙにおいて想定される縦方向の位置ずれ量Δｙｉを、図８（ｂ）に記載したように読み取ることができる。

【0068】

なお、図８（ａ），（ｂ）の説明で、回帰直線Ｌｘ，Ｌｙが得られると記載したが、一般には、回帰曲線が算出される。これは、撮像部３０はレンズ等の非線形性を有する光学素子を含み、一般にその結像位置は非線形の特性を有するためである。どのような曲線を適合させるかは、利用者が適宜判断して決定すればよい。以上、説明した一連の作業によって、撮像部３０のキャリブレーションが行われる。なお、得られた回帰直線Ｌｘ，Ｌｙのデータは、補正データとして補正データ記憶部６０（図３）に記憶される。
（実施例１の処理の流れの説明）

【0069】

次に、本実施例１で行われる処理全体の流れについて、図９，図１０を用いて説明する。図９は、実施例１の処理全体の流れを示すフローチャートであり、図１０は、キャリブレーションの流れを示すフローチャートである。まず、図９のフローチャートについて説明する。

【0070】

（ステップＳ１０）車両Ｖのイグニッションスイッチ（図３に非図示）がＯＮであるか否かを判断する。イグニッションスイッチがＯＮであるときにはステップＳ１２に進み、それ以外のときはステップＳ１０を繰り返す。これは、車両Ｖが走行可能な状態にあるか否かを判断するために行う処理である。

【0071】

（ステップＳ１２）車両Ｖが走行中であるか否かを判断する。車両Ｖが走行中であるときにはステップＳ１６に進み、車両Ｖが停止しているときはステップＳ１４に進む。

【0072】

（ステップＳ１４）図１０の処理が起動されて、撮像部３０（図３）のキャリブレーションが行われる。処理の詳細は後述する。

【0073】

（ステップＳ１６）アプリケーション実行部７４（図３）において、アプリケ―ションを実行する状態になっているか否かを判断する。アプリケ―ションを実行する状態になっているときはステップＳ１８に進み、それ以外のときはステップＳ１４に進む。

【0074】

（ステップＳ１８）図１０の処理が起動されて、撮像部３０（図３）のキャリブレーションが行われる。処理の詳細は後述する。

【0075】

（ステップＳ２０）アプリケーション実行部７４（図３）の指示で、所定のアプリケーションが実行される。なお、ステップＳ１４またはステップＳ１８で実行されたキャリブレーションの結果は、アプリケーションの動作に反映される。

【0076】

（ステップＳ２２）アプリケーションの実行中に、所定のタイミングにおいて図１０の処理が起動されて、撮像部３０（図３）のキャリブレーションが行われる。処理の詳細は後述する。なお、ステップＳ２２で実行されたキャリブレーションの結果は、逐次、アプリケーションの動作に反映される。

【0077】

（ステップＳ２４）図３に図示しない、車両ＶのイグニッションスイッチがＯＮであるか否かを判断する。イグニッションスイッチがＯＮであるときにはステップＳ２６に進み、それ以外のときは、図９の処理を終了する。これは、車両Ｖが運転を終了したか否かを判断するために行う処理である。

【0078】

（ステップＳ２６）アプリケーション実行部７４（図３）からアプリケーションの実行を終了する指示が出させたか否かを判断する。アプリケーションの実行を終了する指示が出されたときは図９の処理を終了し、それ以外のときは、ステップＳ２２に戻る。

【0079】

次に、図１０のフローチャートについて説明する。

【0080】

（ステップＳ４０）キャリブレーション開始指示部７２（図３）からキャリブレーション開始指示が出されたか否かを判断する。キャリブレーション開始指示が出されたときにはステップＳ４２に進み、それ以外のときにはステップＳ４０を繰り返す。

【0081】

（ステップＳ４２）撮像部３０（図３）で近赤外画像を撮像して、近赤外画像選択部４４（図３）を経て視標位置計測部４８（図３）に入力する。

【0082】

（ステップＳ４４）視標位置計測部４８（図３）において、画像に映った全ての視標２４（図３）の検出とその中心位置の計測を行う。

【0083】

（ステップＳ４６）補正データ記憶部６０（図３）に、既に生成された補正データがあるか否かを判断する。補正データがあるときにはステップＳ４８に進み、補正データがないときにはステップＳ５２に進む。

【0084】

（ステップＳ４８）補正データ記憶部６０（図３）から補正データを読み出す。

【0085】

（ステップＳ５０）画像補正部５２（図３）において、撮像部３０（図３）で撮像したカラー画像に対して、ステップＳ４８で読み出した補正データに基づいて画像の補正を行う。

【0086】

（ステップＳ５２）視標位置比較部５０（図３）において、ステップＳ４４で計測した視標位置が、本来観測されるべき位置から所定値以上ずれているか否かを判断する。所定値以上ずれているときは、キャリブレーションが必要と判断してステップＳ５４に進み、それ以外のときは、キャリブレーションを行う必要がないと判断して、メインルーチン（図９）に戻る。

【0087】

（ステップＳ５４）視標位置比較部５０（図３）において、ステップＳ４４で計測した視標位置と、本来観測されるべき視標位置との位置ずれ量Δｘ，Δｙを算出する。

【0088】

（ステップＳ５６）全ての視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）（図３）に対して算出された位置ずれ量Δｘ，Δｙをそれぞれ回帰分析する。そして、回帰直線または回帰曲線を求める。

【0089】

（ステップＳ５８）画像補正部５２（図３）において、撮像部３０（図３）で撮像したカラー画像に対して、ステップＳ５６で行った回帰分析の結果に基づいて画像の補正を行う。

【0090】

（ステップＳ６０）ステップＳ５６で行った回帰分析の結果を、補正データとして補正データ記憶部６０（図３）に記憶して、メインルーチン（図９）に戻る。

【0091】

以上説明したように、このように構成された本発明に係るカメラキャリブレーション装置１０によれば、撮像部３０を構成する撮像素子３２が、近赤外光に感度を有する近赤外受光素子３４（３４ａ，３４ｂ，３４ｃ，…）を備えるため、この撮像部３０で、近赤外光を透過または反射する複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）を撮影すると、観測される画像Ｉ’の中には、複数の視標２４が高いコントラストで観測される。したがって、視標位置計測部４８によって、複数の視標２４の位置を確実かつ正確に計測することができる。そして、画像補正部５２が、計測された複数の視標２４の位置を幾何学的に補正する。そのため、特別な照明等を用いることなく、周囲の明るさに影響されずに、撮像部３０のキャリブレーションを確実に行うことができる。

【0092】

また、このように構成された本発明に係るカメラキャリブレーション装置１０によれば、複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）は、撮像部３０で撮影された画像Ｉ’の中の、具体的な用途に使用される画像領域である領域Ｒ２の外周よりも外側の領域に映るように配置されるため、キャリブレーションを行うために検出する複数の視標２４の検出位置を限定することができる。したがって、撮像部３０のキャリブレーションをより一層確実に行うことができる。

【0093】

そして、このように構成された本発明に係るカメラキャリブレーション装置１０によれば、撮像部３０は、車両Ｖのフロントガラス２０（ウインドシールド）越しに車両Ｖの外部を撮影するように設置されて、複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）は、車両Ｖのフロントガラス２０の内部、外表面上、または、内表面上に設置されるため、撮像部３０のキャリブレーションを行う際に複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）を設置するための広いスペースを準備する必要がない。

【0094】

さらに、このように構成された本発明に係るカメラキャリブレーション装置１０によれば、撮像部３０は、車両Ｖのフロントガラス２０（ウインドシールド）越しに車両Ｖの外部を撮影するように設置されて、複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）は、車両Ｖのフロントガラス２０の内部に埋め込まれているため、車両Ｖが走行している状態であっても、撮像部３０のキャリブレーションを行うことができる。

【0095】

また、このように構成された本発明に係るカメラキャリブレーション装置１０によれば、画像補正部５２で補正した複数の視標２４（２４ａ，２４ｂ，２４ｃ，２４ｄ）の位置のうち、いずれかの視標２４の位置が、本来観測される位置から所定値以上ずれたときに、画像補正部５２において、画像Ｉ’の幾何学的補正を行うため、撮像部３０の具体的な用途（例えば、走行車線の検出）に一切影響を与えることなく、撮像部３０のキャリブレーションを行うことができる。したがって、撮像部３０を具体的なアプリケーションに使用しながら、同時に、撮像部３０のキャリブレーションを行うことができるため、意図しない撮像部３０のずれの発生による、具体的なアプリケーションの性能低下を防止することができる。

【0096】

以上、実施例１では、４つの視標２４ａ，２４ｂ，２４ｃ，２４ｄを用いてキャリブレーションを行う例を説明したが、キャリブレーションに使用する視標は４つに限定されるものではない。すなわち、より多くの視標を用いてキャリブレーションを行うことにより、キャリブレーションの精度をより一層高めることができる。

【0097】

また、実施例１では、車両Ｖのフロントガラス２０（ウインドシールド）越しに車両Ｖの外部を撮影するレイアウトを説明したが、これは、フロントガラス２０に限定されるものではなく、車両Ｖのリアガラスやサイドガラス越しに車両Ｖの外部を撮影するレイアウトであっても、同様に適用することができる。

【0098】

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0099】

１０ カメラキャリブレーション装置
２０ フロントガラス（ウインドシールド）
２２ 透明フィルム
２４，２４ａ，２４ｂ，２４ｃ，２４ｄ 視標
３０ 撮像部
３２ 撮像素子
３４，３４ａ，３４ｂ，３４ｃ 近赤外受光素子
４０ 画像処理プロセッサ
４２ 画像入力部
４４ 近赤外画像選択部
４６ カラー画像選択部
４８ 視標位置計測部
５０ 視標位置比較部
５２ 画像補正部
６０ 補正データ記憶部
７０ マイコン
７２ キャリブレーション開始指示部
７４ アプリケーション実行部
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】