特許 7405710 処理装置及び車載カメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】処理装置及び車載カメラ装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231219BHJP

   G01C 3/00 20060101ALI20231219BHJP

   G01C 3/06 20060101ALI20231219BHJP

   H04N 23/45 20230101ALI20231219BHJP

【ＦＩ】

H04N23/60

G01C3/00 120

G01C3/06 110V

H04N23/45

【請求項の数】 6

(21)【出願番号】P 2020121784

(22)【出願日】2020-07-16

(65)【公開番号】P2022018583

(43)【公開日】2022-01-27

【審査請求日】2023-02-03

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】青木 利幸

(72)【発明者】

【氏名】山崎 和良

(72)【発明者】

【氏名】別井 圭一

(72)【発明者】

【氏名】永崎 健

(72)【発明者】

【氏名】大塚 裕史

(72)【発明者】

【氏名】多田 直也

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１７－６２１９８（ＪＰ，Ａ）

【文献】特開２０１７－３２２８０（ＪＰ，Ａ）

【文献】特開２０１３－１９５７８３（ＪＰ，Ａ）

【文献】特開２０１０－８５１８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０１Ｃ ３／００

Ｇ０１Ｃ ３／０６

Ｈ０４Ｎ ２３／４５

(57)【特許請求の範囲】

【請求項1】

車載カメラからの距離が異なる複数のマーカを撮像した画像及びモデル化された車両の窓のデータから前記車載カメラの設置ずれを取得し、前記設置ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する処理装置であって、
前記設置ずれとは、前記マーカが存在するチャートに対して前記車載カメラが配置されるべき位置に対する位置ずれである、処理装置。

【請求項2】

前記マーカは、上下方向に前記車載カメラからの距離が異なるよう配置されており、
前記処理装置は、前記マーカの間隔及び距離ずれをもとに前記設置ずれを取得し、
前記設置ずれは、前記車両のピッチ角ずれである、請求項１に記載の処理装置。

【請求項3】

前記マーカは、左右方向に前記車載カメラからの距離が異なるよう配置されており、
前記処理装置は、前記マーカの間隔及び距離ずれをもとに、前記設置ずれを取得し、
前記設置ずれは、前記車両のヨー角ずれである、請求項１に記載の処理装置。

【請求項4】

前記処理装置は、画像上の前記マーカの水平方向及び垂直方向の間隔ずれをもとに、前記窓の水平方向及び垂直方向の拡大率を取得する、請求項１に記載の処理装置。

【請求項5】

前記車両の設置ずれを検出する車両設置ずれ検出部を有し、
前記車両の前記設置ずれ及び前記車載カメラの前記設置ずれをもとに、前記車両に対する前記車載カメラの取付ずれを算出して、前記車載カメラの前記設置ずれ及び前記車載カメラの前記取付ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する、請求項１に記載の処理装置。

【請求項6】

請求項１に記載の処理装置を備えた車載カメラ装置であって、
第１のカメラ及び第２のカメラを有し、
前記処理装置は、
前記第１のカメラが前記マーカを撮像した第１の画像及び前記第２のカメラが前記マーカを撮像した第２の画像を取得し、
前記第１の画像及び前記第２の画像から得られたマーカ間隔ずれ及び位置ずれをもとに、前記第１のカメラ及び前記第２のカメラに関する前記窓の拡大率ずれ、オフセットずれ、及び共通の車両設置ずれを取得し、
前記拡大率ずれ、前記オフセットずれ、及び前記共通の車両設置ずれをもとに、前記第１のカメラ及び前記第２のカメラのための補正データを変更する、車載カメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一または複数のカメラ画像を歪のない画像に補正するデータを算出する処理装置及び車載カメラ装置に関する。

【背景技術】

【0002】

特許文献１の従来技術は、第１カメラと第２カメラを有するステレオカメラを車両に設置した後に、フロントガラス（透明体）を介して撮影した第１カメラの画像を校正する第１カメラの補正パラメータを算出する。次に、第１カメラと第２カメラの被写体の視差ずれを校正する第２カメラの補正パラメータを算出することにより、フロントガラスによる画像のずれを除去する。

【0003】

特許文献２の従来技術は、フロントガラス（透明体）を介在したときと、介在しないときに、被写体をステレオカメラで撮影し、画像上の被写体の座標を求め、それらの座標との差をもとに、画像を構成する補正パラメータを算出する。この補正パラメータをもとに、フロントガラスによる画像のずれを除去する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１３２８５５号公報

【文献】特開２０１５－１６９５８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

カメラを取り付けた車両にチャートに対する設置ずれがある場合や、カメラに車両に対する取付ずれがある場合、フロントガラスによる画像のずれとして構成する補正パラメータに、車両の設置ずれ及びカメラの取付ずれによる画像のずれが含まれてしまう。これにより、校正のために撮影した被写体の距離と異なる距離の対象物を撮影したときに、第１カメラと第２カメラの画像上の対象物に垂直方向のずれが発生して、パターン・マッチング処理で対象物の像が正常に一致せず、正確な視差を検出できなくなる。また、第１カメラと第２カメラの画像上の対象物に水平方向のずれが発生して、視差誤差が発生する。このように視差誤差により、対象物の距離が正確に計測できない。

【0006】

本発明の課題は、単眼カメラやステレオカメラを車両に取り付けて、校正のためのマーカを撮影したときに、車両の設置ずれやカメラの取付ずれによるマーカに対するカメラの設置ずれを検出して、この要因による画像のずれの影響を受けないように、ガラスによる画像ずれを校正して、距離を正確に計測する処理装置を提供することである。

【課題を解決するための手段】

【0007】

本発明による処理装置は、車載カメラからの距離が異なる複数のマーカを撮像した画像及びモデル化された車両の窓のデータから前記車載カメラの設置ずれを取得し、前記設置ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する処理装置であって、前記設置ずれとは、前記マーカが存在するチャートに対して前記車載カメラが配置されるべき位置に対する位置ずれである。

【発明の効果】

【0008】

本発明によれば、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両のガラスのモデルの拡大率及びオフセットずれ、距離に依存するマーカとカメラ間位置及び姿勢ずれを検出することができる。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラスによる画像のずれを校正するように、画像を補正するデータを変更することにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。

【図面の簡単な説明】

【0009】

【図1】本発明の処理装置及び車載カメラ装置の実施形態を示す図である。

【図2】マーカの配置領域の例を示す図である。

【図3】本発明の処理装置及び車載カメラ装置の実施形態を示す図である。

【図4】処理装置及び車載カメラ装置の動作を示す図である。

【図5】補正画像上のマーカの位置を示す図である。

【図6】マーカ、ステレオカメラ及び車両の配置を上方から見た例を示す図である。

【図7】マーカ、ステレオカメラ及びガラスの配置を側方から見た例を示す図である。

【図8】ステレオカメラの動作を示す図である。

【図9】２つの撮像系部の補正画像上の視差を算出する例を示す図である。

【図10】図３に示す処理装置及び車載カメラ装置の変形例を示す図である。

【図11】図３に示す処理装置及び車載カメラ装置の変形例を示す図である。

【図12】カメラの動作を示す図である。

【図13】距離計測の対象物が撮影された画像の例を示す図である。

【発明を実施するための形態】

【0010】

（実施形態１）
図１は、本発明の一実施例の形態の画像校正装置の構成を示す図である。図２は、マーカの配置領域の例を示す図である。図３は、本発明の一実施例の形態の画像校正装置のステレオカメラの構成を示す図である。

【0011】

本実施形態の処理装置は、たとえば画像校正装置である。画像校正装置は、フロントガラス１１２を通さない状態で撮影した画像の歪及びずれを補正するための画像補正データを有しており、車両１１１が所定の位置１２１及び所定の姿勢（方向１２２）からずれた位置及び姿勢（方向１２３）に設置される。ステレオカメラ１０４が車両１１１に対して所定の位置及び姿勢（方向１２２）からずれた位置及び姿勢（方向１２４）に取り付けられた状態で、車両１１１の設置ずれ及びステレオカメラ１０４の取付ずれの影響を除去して、フロントガラス１１２による画像ずれを補正するように、画像補正データを変更する。

【0012】

図１及び図３に本発明の画像校正装置の一実施例の構成を示す。ここで、灰色で表示した補正画像記憶部３１６、視差画像記憶部３１７、距離検出部３３０は、画像校正装置に含まれず、立体物の距離を検出するケースで稼働する。これらの動作は後述する。

【0013】

画像校正装置は、複数のマーカ、車両設置ずれ検出部１０５及びステレオカメラ１０４を備える。

【0014】

複数のマーカは、図２に示すように、丸の形状を有している。複数のマーカ２０１は車両の正面に配置され、複数のマーカ２０２、複数のマーカ２０３、複数のマーカ２０４及び複数のマーカ２０５は、複数のマーカ２０１に対してそれぞれ左上の手前、右上の手前、左下の手前及び右下の手前に配置されている。ここで、マーカ２０１、マーカ２０２、マーカ２０３、マーカ２０４及びマーカ２０５は、それぞれ、チャート２０６、チャート２０７、チャート２０８、チャート２０９及びチャート２１０に描かれている。また、マーカ１０１は、マーカ２０１を、マーカ１０２は、マーカ２０２または２０４を、マーカ２０３は、マーカ２０３またはマーカ２０５を表している。マーカ２０１～２０５の配置は、カメラから異なる距離に配置されていれば、図２に示す以外の配置でも構わない。

【0015】

ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）及び演算部などから構成される車両設置ずれ検出部１０５は、設計通り設置したときの車両の表面形状データ（設計値）及び車両の位置（設計位置）を有しており、車両１１１の表面位置（計測値）を計測して、車両１１１の表面形状データの設計値と車両１１１の表面位置の計測値を照合して、車両１１１の設計位置からの位置ずれ及び姿勢ずれを検出する。

【0016】

ステレオカメラ１０４は、車両１１１に取り付けられており、車両１１１のフロントガラス１１２を通して、マーカ２０１～２０５を撮影する。また、ステレオカメラ１０４は、撮像系部３００ａ、撮像系部３００ｂ、及び演算部３１０を備えており、車両位置ずれ検出部１０５と接続している。

【0017】

カメラなどの撮像系部３００ａは、光学素子部３０１ａ、及び撮像素子部３０２ａを備えている。レンズなどの光学素子部３０１ａは、光を屈折させて、撮像素子部３０２ａ上に像を結ぶ。撮像素子などの撮像素子部３０２ａは、光学素子部３０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

【0018】

カメラなどの撮像系部３００ｂは、光学素子部３０１ｂ、及び撮像素子部３０２ｂを備えている。また、撮像系部３００ａと撮像系部３００ｂの焦点距離の設計値は同じである。撮像系部３００ａと撮像系部３００ｂの光軸の方向は、おおむね同じである。レンズなどの光学素子部３０１ｂは、光を屈折させて、撮像素子部３０２ｂ上に像を結ぶ。撮像素子などの撮像素子部３０２ｂは、光学素子部３０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。

【0019】

撮像系部３００ａが撮像した画像は、視差画像を作成するときに基準となる画像であるため、基準画像と呼ぶ。また、撮像系部３００ｂが撮像した画像は、視差画像を作成するときに、基準画像から抽出した領域と一致する領域を探索される画像であり、参照画像と呼ぶ。

【0020】

ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）及びメモリなどの演算部３１０は、撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、同期信号発生部３１４、基準画像取込部３１５ａ、参照画像取込部３１５ｂ、画像校正部３２０、補正画像記憶部３１６、視差画像記憶部３１７、ずれ補正記憶部３１８、及び距離検出部３３０を備えている。

【0021】

メモリなどの撮像画像記憶部３１１は、撮像系部３００ａ及び撮像系部３００ｂから出力される画像を格納する。

【0022】

メモリなどの画像補正情報記憶部３１２は、撮像系部３００ａの画像及び撮像系部３００ｂの画像について、撮影画像（歪がない画像）上の各画素に対応する補正画像（歪がある撮像後の画像）上の２次元座標（画像補正データ）を格納する。画像補正情報記憶部３１２は、事前に、フロントガラス１１２がない状態で求められた撮像系部３００ａ及び撮像系部３００ｂの画像補正データを格納するとともに、画像補正データ変更部が作成した、フロントガラス１１２越しに歪がない画像に補正する画像補正データを格納する。ここで、歪がない画像とは、ピンホールモデルで透視投影を行った画像である。この画像補正データは、撮像後の画像のレンズ歪みや光軸ずれを補正する処理に用いられ、撮像時の画像の歪を表している。

【0023】

メモリなどの校正情報記憶部３１３は、撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置、撮像系部３００ａ及び撮像系部３００ｂにおけるフロントガラス１１２による画像変形モデルのデータ（ガラス変形データ）の設計値及びそのときの補正画像上の各マーカ画像、フロントガラス１１２による画像変形のモデルの水平方向及び垂直方向の拡大率及びオフセットずれ、車両設置の位置ずれ及び姿勢ずれ、カメラ取付の位置ずれ及び姿勢ずれが格納されている。

【0024】

ここで、フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率及びオフセットずれ量、車両設置の位置ずれ及び姿勢ずれ、カメラ取付の位置ずれ及び姿勢ずれは、画像ずれ要因検出部３２２で算出されている。フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率の初期値は１であり、それ以外の初期値はゼロである。ガラス変形データは、フロントガラス１１２を通る前の画像上の各画素に対応したフロントガラス１１２を通った後の画像上の位置の２次元座標である。

【0025】

同期信号発生部３１４は、同期信号を生成し、発信する。

【0026】

基準画像取込部３１５ａは、同期信号発生部３１４の同期信号に合わせて、撮像素子部３０２ａに同期信号及び露光時間の情報を送った後に、撮像素子部３０２ａが生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。

【0027】

参照画像取込部３１５ｂは、同期信号発生部３１４の同期信号に合わせて、撮像素子部３０２ｂに同期信号及び露光時間の情報を送った後に、撮像素子部３０２ｂが生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。

【0028】

画像校正部３２０は、マーカ位置検出部３２１、画像ずれ要因検出部３２２、及び画像補正データ変更部３２３を備えている。

【0029】

マーカ位置検出部３２１は、画像補正情報記憶部３１２に事前に格納されている画像補正データ、フロントガラス１１２による画像変形データの設計値をもとに、フロントガラス１１２越しの撮影画像を補正する画像補正データを算出して、その画像補正データを用いて、撮像系部３００ａ及び撮像系部３００ｂの撮影画像を補正する。マーカ位置検出部３２１は、次に、パターン・マッチング処理を行い、校正情報記憶部３１３に格納されているマーカ画像と、それらの補正画像上のマーカ像に一致させて、補正画像上のマーカ位置(検出位置)を検出する。

【0030】

画像ずれ要因検出部３２２は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカの３次元位置、撮像系部３００ａ及び撮像系部３００ｂのガラス変形データの設計値をもとに、車両１１１にずれがないように設置して、フロントガラス１１２による画像ずれが設計値通りである場合の補正画像上のマーカ位置（設計位置）を算出する。

【0031】

さらに、画像ずれ要因検出部３２２は、補正画像上のマーカ２０１～２０５の検出位置及び設計位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存することを利用して、フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率及びオフセットずれ、カメラ設置ずれを算出する。ここで、カメラ設置ずれはマーカ２０１～２０５とステレオカメラ１０４との間の位置ずれ及び姿勢ずれ（設計箇所からのずれ）である。次に、車両設置ずれ検出部１０５が検出した車両設置ずれ、画像ずれ要因検出部３２２が算出したカメラ設置ずれをもとに、カメラ取付ずれを算出する。ここで、カメラ取付ずれは、車両１１１にステレオカメラ１０４を取り付けたときの車両１１１に対するステレオカメラ１０４の位置ずれ及び姿勢ずれ（設計箇所からのずれ）である。

【0032】

画像補正データ変更部３２３は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置を読み込む。

【0033】

また、画像補正データ変更部３２３は、画像ずれ要因検出部３２２が検出したカメラ設置ずれ、カメラ取付ずれ、フロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれを用いて、カメラ設置ずれによる画像ずれを表すカメラ設置ずれデータ、カメラ取付方向ずれによる画像ずれを表すカメラ取付方向ずれデータ、フロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれがあるときのガラスずれデータを算出する。

【0034】

また、画像補正データ変更部３２３は、２次元線形補間を用いて、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（撮像時の画像の歪を表す）による変換を画素ごとに順次行う。これにより、画像補正データ変更部３２３は、カメラ設置ずれによる画素ずれを除去するとともに、車両１１１の進行方向を向いたときのフロントガラス１１２越しの画像補正データを基準画像及び参照画像について算出して、これらの画像補正データを画像補正情報記憶部３１２に格納する。

【0035】

メモリなどの補正画像記憶部３１６は、画像補正部３３１が撮像系部３００ａ及び撮像系部３００ｂの画像補正データを用いて、それぞれの撮影画像を補正した補正画像を格納する。メモリなどの視差画像記憶部３１７は、視差画像を格納する。メモリなどのずれ補正情報記憶部３１８は、基準画像及び参照画像における縦エッジと横エッジの両方がある領域の位置の時系列データ、消失点位置の設計値、消失点位置データ（検出値）、カメラ取付ずれによる水平方向及び垂直方向の画像ずれを格納する。

【0036】

距離検出部３３０は、画像補正部３３１、視差算出部３３２、認識部３３３、及びカメラ取付ずれ検出部３３４を備える。

【0037】

画像補正部３３１は、画像補正情報記憶部３１２から読み込んだ基準画像及び参照画像の画像補正データを用いて、撮像画像記憶部３１１から読み込んだ撮影時の基準画像及び参照画像を、歪のない画像に変換する。これらの補正後の基準画像及び参照画像を補正画像記憶部３１６に格納する。

【0038】

視差算出部３３２は、補正画像記憶部３１６から補正後の基準画像及び参照画像を読み込み、補正後の基準画像上から抽出した所定のサイズの領域（基準領域と呼ぶことにする）に対応する補正後の参照画像上の同じ高さにある領域を探索する。視差算出部３３２は、基準領域と一致する参照画像上の領域（参照領域と呼ぶことにする）の位置と、基準領域の位置の差すなわち視差を算出する。各基準領域について視差を算出することにより、視差画像を算出する。

【0039】

認識部３３３は、視差画像記憶部３１７から視差画像を読み込み、視差、撮像系部３００ａと撮像系部３００ｂの焦点の距離（基線長）、焦点距離及びの１画素のサイズをもとに、撮像系部３００ａ及び撮像系部３００ｂの光軸方向にステレオカメラ１０４から画像上の対象物までの距離を算出する。認識部３３３は、各領域について距離を算出することにより、距離画像を算出する。

【0040】

認識部３３３は、次に、補正画像記憶部３１６から補正後の基準画像を読み込み、補正後の基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、ステレオカメラ１０４に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、ステレオカメラ１０４に対する３次元の相対位置座標系は、撮像系部３００ａの入射瞳中心を原点として、撮像系部１００ａに対して右方向にｘ座標、下方向にｙ座標、光軸方向にｚ座標をとる。また、認識部３３３は、ステレオカメラ１０４と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。

【0041】

カメラ取付ずれ検出部３３４は、補正画像記憶部３１６から読み込んだ前回と今回の補正後の基準画像について、水平方向及び垂直方向のエッジ画像を作成して、縦エッジ（垂直方向のエッジ）と横エッジ（水平方向のエッジ）を両方含む領域を検出する。次に、カメラ取付ずれ検出部３３４は、パターン・マッチング処理を行い、今回の補正後の基準画像上の領域に対応する前回の補正後の基準画像上の領域を探索して、縦エッジと横エッジの両方を含む領域の位置の時系列データを求める。

【0042】

さらに、カメラ取付ずれ検出部３３４は、上記領域の位置の時系列データの近似曲線を複数求め、それらの交点をもとに、基準画像上の消失点の位置（検出値）を検出する。カメラ取付ずれ検出部３３４は、基準画像上の消失点の位置の検出値と設計値の差をカメラ取付ずれとして、ずれ補正情報記憶部３１８に格納する。最後に、カメラ取付ずれ検出部３３４は、画像補正情報記憶部３１２からを読み込んだ基準画像の画像補正データを、カメラ取付ずれだけ補正して、画像補正情報記憶部３１２に格納する。参照画像について、同様の処理を行う。

【0043】

図１～図３に示す本実施形態のステレオカメラ１０４の一実施例の動作手順を、図４を用いて説明する。

【0044】

ステップ４０１：同期信号発生部３１４は、同期信号を生成して、基準画像取込部３１５ａ及び参照画像取込部３１５ｂに送る。

【0045】

基準画像取込部３１５ａは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ａに同期信号及び露光時間の情報を送る。撮像素子部３０２ａは、基準画像取込部３１５ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部３１５ａに画像を送る。基準画像取込部３１５ａは、撮像素子部３０２ａから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。

【0046】

参照画像取込部３１５ｂは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ｂに同期信号及び露光時間の情報を送る。撮像素子部３０２ｂは、参照画像取込部３１５ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部３１５ｂに画像を送る。参照画像取込部３１５ｂは、撮像素子部３０２ｂから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。

【0047】

ステップ４０２：マーカ位置検出部３２１は、撮像画像記憶部３１１から撮像時の基準画像及び参照画像を、画像補正情報記憶部３１２から、事前に格納されている基準画像及び参照画像の画像補正データを、校正情報記憶部３１３から、事前に格納されている基準画像及び参照画像のガラス変形データを、それぞれ読み込む。

【0048】

フロントガラス１１２を通さないときの基準画像の画像補正テーブル（Ｆ１２ｘ、Ｆ１２ｙ）を式（１）及び（２）に示す。ここで、（Ｘ１、Ｙ１）は撮影画像（光学素子を通った後）上の位置、（Ｘ２、Ｙ２）はフロントガラス１１２を通さないときの補正画像（光学素子を通る前）上の位置である。

【0049】

Ｘ１＝Ｆ１２ｘ（Ｘ２、Ｙ２） ・・・（１）
Ｙ１＝Ｆ１２ｙ（Ｘ２、Ｙ２） ・・・（２）

【0050】

式（３）及び（４）を用いて、ガラス変形データ（Ｇｘ、Ｇｙ）をもとに、フロントガラス１１２を通す前の補正後の基準画像上の位置（Ｘ３、Ｙ３）に対応するフロントガラス１１２を通った後の補正後の基準画像上の位置（Ｘ２、Ｙ２）を算出する。

【0051】

Ｘ２＝Ｇｘ（Ｘ３、Ｙ３） ・・・（３）
Ｙ２＝Ｇｙ（Ｘ３、Ｙ３） ・・・（４）

【0052】

フロントガラス１１２を通った後の補正後の基準画像上の位置（Ｘ２、Ｙ２）は実数である。そのため、位置（Ｘ２、Ｙ２）の近傍にある値が整数となる４つの位置に対して、式（１）及び（２）を用いて、フロントガラス１１２を通った後の補正後（光学素子を通る前）の基準画像上の位置に対応する撮影後（光学素子を通った後）の基準画像上の位置を求め、２次元線形補間を行う。これにより、フロントガラス１１２越しの補正後の基準画像上の位置（Ｘ３、Ｙ３）に対応する撮影後の基準画像上の位置を算出する。この処理を各画素について行い、撮影画像をフロントガラス１１２越しの補正画像に変換するための画像補正データ（式（５）及び（６））を算出する。

【0053】

Ｘ１＝Ｆ１３ｘ（Ｘ３、Ｙ３） ・・・（５）
Ｙ１＝Ｆ１３ｙ（Ｘ３、Ｙ３） ・・・（６）

【0054】

この画像補正データを用いて、撮影後の基準画像の位置（Ｘ１、Ｙ１）の周辺４画素の輝度値に２次元線形補間を実施することにより、画像補正後の基準画像の画素（Ｘ３、Ｙ３）の輝度値を算出する。補正後の基準画像の各画素について上記の手順を実施して、設計通りのフロントガラス１１２である場合の補正後の基準画像の輝度値を算出する。

【0055】

マーカ位置検出部３２１は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置を読み込む。マーカ位置検出部３２１は、さらに、これらのパラメータの値をもとに、ステレオカメラ１０４に設置ずれがなく、フロントガラス１１２を通さず、光学素子のゆがみがないときの補正画像上のマーカ位置（設計位置）を算出する。

【0056】

次に、マーカ位置検出部３２１は、校正情報記憶部３１３に格納されている各マーカ画像を読み込み、マーカ位置の設計の付近における画像補正後の基準画像の輝度値とマーカ画像の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。マーカ位置検出部３２１は、マーカ２０１～２０５の設計位置の付近でＳＡＤが最も小さい位置を求める。

【0057】

マーカ位置検出部３２１は、ＳＡＤが最も小さい位置の左右の画素のＳＡＤをもとに、等角直線フィッティングを行い、画像補正後の基準画像とマーカ画像が最も一致する位置のサブピクセルを算出する。マーカ位置検出部３２１は、ＳＡＤが最も小さい水平方向の位置にこのサブピクセルを加算することにより、マーカ２０１～２０５の水平方向の位置を算出する。

【0058】

次に、マーカ位置検出部３２１は、ＳＡＤが最も小さい位置の上下の画素のＳＡＤをもとに、等角直線フィッティングを行い、画像補正後の基準画像とマーカ画像が最も一致する位置のサブピクセルを算出する。ＳＡＤが最も小さい垂直方向の位置にこのサブピクセルを加算することにより、マーカ２０１～２０５の垂直方向の位置を算出する。同様に、他のマーカ２０１～２０５についても同様の処理を行い、補正後の基準画像上のマーカ２０１～２０５の位置を算出する。以上の処理で検出したマーカ２０１～２０５の位置を検出位置と呼ぶことにする。また、このマーカ２０１～２０５の検出位置は図５において補正画像５０１上のマーカ５０２及びマーカ５０４に相当する。

【0059】

参照画像についても、以上の画像補正及びマーカ位置検出の処理を行う。

【0060】

ステップ４０３：画像ずれ要因検出部３２２は、校正情報記憶部３１３から撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置、撮像系部３００ａ及び撮像系部３００ｂのガラス変形データの設計値を読み込む。これらの情報をもとに、画像ずれ要因検出部３２２は、車両１１１にずれがないように設置して、フロントガラス１１２による画像ずれが設計値通りである場合の補正画像上のマーカ２０１～２０５の位置（設計位置）を算出する。このマーカ２０１～２０５の設計位置は図５において補正画像５０１上のマーカ５０３及びマーカ５０５に相当する。

【0061】

画像ずれ要因検出部３２２は、上記のように算出した補正画像上のマーカ２０１～２０５の設計位置と、ステップ４０２で検出したマーカ２０１～２０５の検出位置をもとに、下記のように、フロントガラス１１２の拡大率及びカメラ設置ずれなどを推定していく。ここでは、ステレオカメラ１０４からの距離が異なるマーカ２０１～２０５の位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存することを利用する。

【0062】

ステップ４０３：画像ずれ要因検出部３２２は、ステップ４０２で求めた補正画像上のマーカ２０１～２０５の設計位置及び検出位置をもとに、下記のように、フロントガラス１１２の拡大率及びカメラ設置ずれなどを推定していく。ここでは、ステレオカメラ１０４からの距離が異なるマーカ２０１～２０５の位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存することを利用する。

【0063】

まず、基準画像について、画像ずれ要因検出部３２２は、補正画像におけるチャート２０６上のマーカ２０１の検出位置及び設計位置について、水平方向及び垂直方向に隣り合うマーカ２０１の間隔の平均を算出する。同様にチャート２０７～２１０上のマーカ２０２～２０５の検出位置及び設計位置の間隔の平均を算出する。そこで、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存することを利用する。これにより、式（７）から式（１０）を用いて、フロントガラス１１２による水平方向及び垂直方向の拡大率Mgh、Mgv、ステレオカメラ１０４とマーカ２０１間距離dLcを算出する。ここで、遠いマーカはマーカ２０１、近いマーカはマーカ２０２～２０５である。

【0064】

Mgh = Mifh Minh (Lf - Ln) / (Minh Lf - Mifh Ln) ・・・（７）
Mgv = Mifv Minv (Lf - Ln) / (Minv Lf - Mifv Ln) ・・・（８）
Mifh = Wifh / Wdfh ・・・（９）
Mifv = Wifv / Wdfv ・・・（１０）
Minh = Winh / Wdnh ・・・（１１）
Minv = Winv / Wdnv ・・・（１２）
dLc = (dLch + dLcv) / 2 ・・・（１３）
dLch = (Mifh - Minh) Lf Ln / (Minh Lf - Mifh Ln) ・・・（１４）
dLcv = (Mifv - Minv) Lf Ln / (Minv Lf - Mifv Ln) ・・・（１５）
・遠いマーカ２０１とステレオカメラ１０４との距離の設計値：Lf
・近いマーカ２０２～２０５とステレオカメラ１０４との距離の設計値：Ln
・マーカ２０１～２０５とステレオカメラ１０４との距離ずれ：dLc
・フロントガラス１１２による水平方向の拡大率：Mgh
・フロントガラス１１２による垂直方向の拡大率：Mgv
・補正画像上の遠いマーカ２０１の設計位置の水平方向の間隔の平均：Wdfh
・補正画像上の近いマーカ２０２～２０５の設計位置の水平方向の間隔の平均：Wdnh
・補正画像上の遠いマーカ２０１の設計位置の垂直方向の間隔の平均：Wdfv
・補正画像上の近いマーカ２０２～２０５の設計位置の垂直方向の間隔の平均：Wdnv
・補正画像上の遠いマーカ２０１の検出位置の水平方向の間隔の平均：Wifh
・補正画像上の近いマーカ２０２～２０５の検出位置の水平方向の間隔の平均：Winh
・補正画像上の遠いマーカ２０１の設計位置の検出方向の間隔の平均：Wifv
・補正画像上の近いマーカ２０２～２０５の検出位置の垂直方向の間隔の平均：Winv
・補正画像上の遠いマーカ２０１の間隔の水平方向の拡大率：Mifh
・補正画像上の近いマーカ２０２～２０５の間隔の水平方向の拡大率：Minh
・補正画像上の遠いマーカ２０１の間隔の垂直方向の拡大率：Mifv
・補正画像上の近いマーカ２０２～２０５の間隔の垂直方向の拡大率：Minv

【0065】

マーカ２０２に近い位置にあるチャート２０６上のマーカ２０１を遠いマーカとして、マーカ２０２を近いマーカとして、式（１３）～（１５）を用いて、画像上の左上にあるマーカ２０２とステレオカメラ１０４との間の距離ずれdLcluを算出する。同様の計算を行い、マーカ２０３～２０５とステレオカメラ１０４との間の距離ずれdLcru（画像上の右上）、dLcld（画像上の左下）、dLclu（画像上の右下）を算出する。図６に示すように、ステレオカメラ１０４の光軸方向６０１に垂直な水平方向の線６０２及び線６０３に対する左右のマーカ間の距離ずれをともに、マーカとステレオカメラ１０４との間のヨー角ずれを算出できる。そこで、式（１６）～式（１８）を用いて、マーカとステレオカメラ１０４との間のヨー角ずれdψcを算出する。

【0066】

dψc = atan((dLcl - dLcr) / Llr) ・・・（１６）
dLcl = (dLcul + dLcdl) / 2 ・・・（１７）
dLcr = (dLcur + dLcdr) / 2 ・・・（１８）
・左側のマーカ２０２及び２０４の距離ずれの平均dLcl
・右側のマーカ２０３及び２０５の距離ずれの平均dLcr
・左側と右側のマーカ間の距離の設計値の平均Llr

【0067】

図７に示すように、ステレオカメラ１０４の光軸方向７０３に垂直な垂直方向の線７０４及び線７０５に対する上下のマーカ間の距離ずれをともに、マーカとステレオカメラ１０４間のピッチ角ずれを算出できる。そこで、式（１９）～式（２１）を用いて、マーカとステレオカメラ１０４間のピッチ角ずれdφcを算出する。

【0068】

dφc = atan((dLcd - dLcu) / Lud) ・・・（１９）
dLcu = (dLcul + dLcur) / 2 ・・・（２０）
dLcd = (dLcdl + dLcdr) / 2 ・・・（２１）
・上側のマーカ２０２及び２０３とステレオカメラ間の距離ずれの平均：dLcu
・下側のマーカ２０４及び２０５とステレオカメラ間の距離ずれの平均：dLcd
・上側と下側のマーカ間の距離の設計値の平均：Lud

【0069】

マーカとステレオカメラ１０４との間のロール角ずれは、補正画像上の光軸位置（あるいは中心位置）を中心に、マーカの検出位置と設計位置の回転ずれに相当する。そこで、補正画像上の式（２２）を用いて、ロール角ずれdθcを算出する。

【0070】

dθc = - atan[Σ{(Vi - Vo)(Ud - Uo) - (Ui - Uo)(Vd - vo)} / Σ{(Ui - Uo)(Ud - Uo) + (Vi - Vo)(Vd - Vo)}] ・・・（２２）
・マーカ２０１～２０５の各検出位置：(Ui、 Vi)
・マーカ２０１～２０５の各設計位置：(Ud、 Vd)
・補正画像上の光軸位置（中心位置）：(Uo、 Vo)

【0071】

マーカとステレオカメラ１０４間の水平方向及び垂直方向の位置ずれは、ステレオカメラ１０４とマーカとの間の距離に依存するが、フロントガラス１１２によるオフセットずれはステレオカメラ１０４とマーカとの間の距離に依存しない。このことを利用して、式（２３）～式（２６）を用いて、フロントガラス１１２による水平方向及び主直方向のオフセットずれdUg及びdVg、マーカとステレオカメラ１０４間の水平方向及び垂直方向の位置ずれdXc及びdYcを算出する。ここで、遠いマーカはマーカ２０１に、近いマーカはマーカ２０２～２０５に相当する。

【0072】

dXc = (dUin - dUif) c Lf Ln / {f (Lf - Ln)} ・・・（２３）
dYc = (dVin - dVif) c Lf Ln / {f (Lf - Ln)} ・・・（２４）
dUg = (dUin Ln - dUif Lf) / (Lf - Ln) ・・・（２５）
dVg = (dVin Ln - dVif Lf) / (Lf - Ln) ・・・（２６）
・レンズの焦点距離：f
・撮像素子の画素ピッチ：c
・補正画像上の遠いマーカの水平方向の検出位置と設計位置の差の平均：dUif
・補正画像上の近いマーカの水平方向の検出位置と設計位置の差の平均：dUin
・補正画像上の遠いマーカの垂直方向の検出位置と設計位置の差の平均：dVif
・補正画像上の遠いマーカの垂直方向の検出位置と設計位置の差の平均：dVin

【0073】

基準画像で実施した上記の処理を、参照画像についても実施する。

【0074】

基準画像と参照画像を用いて、算出したステレオカメラ１０４とマーカ間の水平方向及び垂直方向の位置ずれ、距離ずれ、ピッチ角ずれ、ヨー角ずれ、ロール角ずれの平均を算出する。これらをステレオカメラ１０４の設置ずれとする。また、以上の算出により、基準画像及び参照画像のフロントガラス１１２による水平方向及び垂直方向の拡大率及びオフセットずれが求められる。

【0075】

ステップ４０４：車両設置ずれ検出部１０５は、車両１１１にレーザー光を照射して、その反射光の受光時間をもとに車両１１１の表面の複数箇所までの距離及び受光角度を検出する。それらの距離及び受光角度をもとに、車両１１１の表面の複数箇所の検出位置に変換する。

【0076】

車両設置ずれ検出部１０５は、設計通り設置したときの車両１１１の表面形状データ及び車両１１１の位置（設計位置）及び姿勢（設計姿勢）を有しており、これらのデータをもとに、車両１１１の表面の複数箇所の設計位置を算出する。

【0077】

車両１１１の表面の各箇所の検出位置に最も近い設計位置を探索して、その設計位置を検出位置の対応点と設定する。車両１１１の表面の各箇所の検出位置(Xvm、 Yvm、 Zvm)及び設計位置(Xvd、 Yvd、 Zvd)をもとに、式（２７）～式（３２）を用いて、車両１１１の位置ずれ(dXv、 dYv、 dLv)及び姿勢ずれ(dφv、 dψv、 dθv)を算出する。

【0078】

dXv = Σ(Xvd - Xvm) / Nm ・・・（２７）
dYv = Σ(Yvd - Yvm) / Nm ・・・（２８）
dLv = Σ(Zvd - Zvm) / Nm ・・・（２９）
dφv = - atan[Σ{(Zvm - Zo)(Yvd - Yvo) - (Yvm - Yvo)(Zvd - Zvo)} / Σ{(Yvm - Yvo)(Yvd - Yvo) + (Zvm - Zvo)(Zvd - Zvo)}] ・・・（３０）
dψv = - atan[Σ{(Xvm - Xo)(Zvd - Zvo) - (Zvm - Zvo)(Xvd - Xvo)} / Σ{(Zvm - Zvo)(Zvd - Zvo) + (Xvm - Xvo)(Xvd - Xvo)}] ・・・（３１）
dθv = - atan[Σ{(Yvm - Yo)(Xvd - Xvo) - (Xvm - Xvo)(Yvd - Yvo)} / Σ{(Xvm - Xvo)(Xvd - Xvo) + (Yvm - Yvo)(Yvd - Yvo)}] ・・・（３２）
・計測点の数Nm
・車両１１１の回転中心(Xvo、 Yvo、 Zvo)

【0079】

上記のように算出した車両１１１の位置ずれ及び姿勢ずれを、車両１１１の設計位置及び設計姿勢に加算して、車両１１１の表面形状データをもとに、再び、車両１１１の表面の複数箇所の設計位置を算出する。そして、車両１１１の表面の各箇所の検出位置に最も近い設計位置を探索して、その設計位置を検出位置の対応点と設定して、式（２７）～式（３２）を用いて、車両１１１の位置ずれ及び姿勢ずれを算出する処理を繰り返す。式（２７）～式（３２）で算出したずれの値が所定の閾値よりも小さい場合、処理を終了して、それまでのそれらのずれを加算した値を車両設置の位置ずれ及び姿勢ずれとする。

【0080】

ステップ４０５：カメラ取付ずれ検出部３３４は、式（３３）～式（３８）を用いて、カメラ設置の位置ずれ及び姿勢ずれから車両設置の位置ずれ及び姿勢ずれを引くことにより、カメラ取付の位置ずれ(dXa、 dYa、 dLa)及び姿勢ずれ(dφa、 dψa、 dθa)を算出する。

【0081】

dXa = dXc - dXv ・・・（３３）
dYa = dYc - dYv ・・・（３４）
dZa = dZc - dZv ・・・（３５）
dφa = dφc - dφv ・・・（３６）
dψa = dψc - dψv ・・・（３７）
dθa = dθc - dθv ・・・（３８）

【0082】

ステップ４０６：画像補正データ変更部３２３は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカの３次元位置を読み込む。画像補正データ変更部３２３は、これらのパラメータの値をもとに、ステレオカメラ１０４に設置ずれがなく、フロントガラス１１２を通さず、光学素子の歪がないときの補正画像上のマーカ位置（設計位置）を算出する。

【0083】

画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したステレオカメラ１０４の設置の位置ずれ及び姿勢ずれをもとに、フロントガラス１１２を通さないときの補正画像上のマーカ位置を算出する。画像補正データ変更部３２３は、これらの２つの補正画像上のマーカ位置の変化をもとに、カメラ設置ずれによる画像ずれを表すカメラ設置ずれデータを作成する。

【0084】

次に、画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したステレオカメラ１０４設置の位置ずれ及び姿勢ずれがある状態から、車両１１１の進行方向に対するカメラの取付方向のずれだけがない（除去された）ときの補正画像上のマーカ位置を算出する。そして、画像補正データ変更部３２３は、ステレオカメラ設置ずれがあるときと、そこから車両１１１の進行方向に対するカメラの取付方向ずれをなくしたときの補正画像上のマーカ位置をもとに、カメラ取付方向ずれデータを算出する。

【0085】

画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したフロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれがあるときのガラスずれデータを算出する。画像補正データ変更部３２３は、ステップ４０２に示すような２次元線形補間を用いて、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を画素ごとに順次行う。

【0086】

これにより、画像補正データ変更部３２３は、カメラ設置ずれによる画素ずれを除去するとともに、車両１１１の進行方向を向いたときのフロントガラス１１２越しの画像補正データを基準画像及び参照画像について算出する。画像補正データ変更部３２３は、これらの画像補正データを画像補正情報記憶部３１２に格納する。

【0087】

図３に示す本実施形態のステレオカメラ１０４は、車両１１１が走行している間、図８に示す動作を行うことにより、作成した画像補正データを用いて、立体物の距離を検出するとともに、カメラ取付ずれを検出して、画像補正データを変更する。

【0088】

ステップ８０１：同期信号発生部３１４は、同期信号を生成して、基準画像取込部３１５ａ及び参照画像取込部３１５ｂに送る。

【0089】

基準画像取込部３１５ａは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ａに同期信号及び露光時間の情報を送る。撮像素子部３０２ａは、基準画像取込部３１５ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部３１５ａに画像を送る。基準画像取込部３１５ａは、撮像素子部３０２ａから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。

【0090】

参照画像取込部３１５ｂは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ｂに同期信号及び露光時間の情報を送る。撮像素子部３０２ｂは、参照画像取込部３１５ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部３１５ｂに画像を送る。参照画像取込部３１５ｂは、撮像素子部３０２ｂから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。

【0091】

ステップ８０２：画像補正部３３１は、撮像画像記憶部３１１から撮像後の基準画像及び参照画像を読み込む。画像補正部３３１は、画像補正情報記憶部３１２から基準画像及び参照画像の画像補正データを読み込む。

【0092】

式（３９）及び式（４０）を用いて、補正後の基準画像上の各画素に対応する撮像後の画像上の座標（Ｆｘ（Ｘ４、Ｙ４）、Ｆｙ（Ｘ４、Ｙ４））をもとに、補正後の基準画像の画素（Ｘ４、Ｙ４）に対応する撮像後の基準画像の位置（Ｘ１、Ｙ１）を算出する。

【0093】

Ｘ１＝Ｆｘ（Ｘ４、Ｙ４） ・・・（３９）
Ｙ１＝Ｆｙ（Ｘ４、Ｙ４） ・・・（４０）

【0094】

基準画像の位置（Ｘ１、Ｙ１）の周辺４画素の輝度値を、２次元線形補間を実施することにより、補正後の基準画像の画素（Ｘ４、Ｙ４）の輝度値を算出する。補正後の基準画像の各画素について上記の手順を実施して、補正後の基準画像の輝度値を算出する。また、参照画像についても上記の手順を実施して、参照画像の補正画像の輝度値を算出する。補正後の基準画像及び参照画像を補正画像記憶部３１６に格納する。

【0095】

ステップ８０３：視差算出部３３２は、補正画像記憶部３１６から基準画像及び参照画像の補正画像を読み込む。視差算出部３３２は、図９に示すように、補正後の基準画像９０１の所定のサイズの領域９０３（基準領域と呼ぶことにする）を抽出する。視差算出部３３２は、補正後の参照画像９０２で基準領域９０３と同じ対象物が写っている領域の画像を以下のパターン・マッチングで探索する。

【0096】

視差算出部３３２は、基準画像９０３と同じ高さにある参照画像９０２の所定のサイズの領域９０４（参照領域）を抽出して、基準領域９０３の輝度値と参照領域９０４の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。視差算出部３３２は、基準領域９０３と同じ高さにある参照画像９０２上の各参照領域９０４についてＳＡＤを算出して、ＳＡＤが最も小さい値の参照領域９０５を探索する。視差算出部３３２は、参照領域９０５のＳＡＤ及び参照領域９０５から１画素の左右隣の参照領域のＳＡＤを用いて、等角直線フィッティングを行い、基準領域９０３と最も一致する参照画像上の参照領域９０５のサブピクセルを算出する。視差算出部３３２は、基準領域９０３と参照領域９０５の位置の差にサブピクセルを加算することにより、補正後の基準画像９０１上の基準領域９０３の視差を算出する。

【0097】

視差算出部３３２は、このような処理を画像補正後の基準画像９０１上の全ての領域について実施して、基準画像９０１の全体での視差を算出する。視差算出部３３２は、このようにして算出した視差画像を視差画像記憶部３１７に格納する。

【0098】

ステップ８０４：認識部３３３は、視差画像記憶部３１７から視差画像を読み込む。

【0099】

認識部３３３は、式（４１）を用いて、視差画像上の領域におけるステレオカメラ１０４との光軸方向の距離Ｌを算出する。ここで、ｆは撮像系部３００ａ及び撮像系部３００ｂの焦点距離の設計値、Ｂは撮像系部３００ａと撮像系部３００ｂの主点間の距離（基線長）、ｄは視差、ｃは撮像素子部３０２ａ及び撮像素子部３０２ｂの画素ピッチである。

【0100】

Ｌ＝ｆ×Ｂ／（ｄ×ｃ） ・・・（４１）

【0101】

認識部３３３は、この処理を視差画像の全ての領域について実施して、視差画像全体におけるステレオカメラ１０４との光軸方向の距離を算出して、距離画像を作成する。

【0102】

認識部３３３は、式（４２）～式（４４）を用いて、距離画像上の領域における３次元位置を算出する。ここで、３次元座標系は、ステレオカメラ１０４の撮像系部３００ａの光学素子部３０１ａの主点から垂直に下した路面上の点を原点として、右方向にＸ座標を、上方向にＹ座標を、進行方向にＺ座標をとる。また、（Ｕ、Ｖ）は、距離画像上の各位置、（Ｕ０、Ｖ０）は、基準画像上の光軸位置、Ｈは路面からのステレオカメラ１０４の取付高さである。

【0103】

Ｘ＝Ｌ×ｃ×（Ｕ－Ｕ０）／ｆ ・・・（４２）
Ｙ＝Ｈ＋Ｌ×ｃ×（Ｖ－Ｖ０）／ｆ ・・・（４３）
Ｚ＝Ｌ ・・・（４４）

【0104】

認識部３３３は、この処理を視差画像の全ての領域について実施して、視差画像全体で３次元位置を算出する。

【0105】

認識部３３３は、距離画像上で距離の比率が処理の閾値以内であり、隣接する領域を検出して、その領域の面積が閾値以上であり、それらの領域の路面からの高さ（Ｙ座標）が閾値以上である場合、立体物であると推定する。

【0106】

ステップ８０５：カメラ取付ずれ検出部３３４は、補正画像記憶部３１６から、前回及び今回の処理で作成した補正後の基準画像を読み込む。カメラ取付ずれ検出部３３４は、前回と今回の補正後の基準画像について、水平方向及び垂直方向のエッジ画像を作成する。カメラ取付ずれ検出部３３４は、これらのエッジ画像上の所定のサイズの領域内に縦エッジと横エッジが両方存在する領域を検出する。カメラ取付ずれ検出部３３４は、パターン・マッチング処理を用いて、この領域に一致する前回の補正後の基準画像上の領域を探索する。

【0107】

カメラ取付ずれ検出部３３４は、前回と今回の補正画像上に一致するエッジを検出した場合、前回と今回のエッジ位置を検出して、ずれ補正情報記憶部３１８に、検出した前回のエッジ位置と一致するエッジ位置に今回のエッジ位置を追加して、格納する。カメラ取付ずれ検出部３３４は、前回と今回の補正画像上に一致するエッジがない場合、今回のエッジ位置を新たにずれ補正情報記憶部３１８に格納する。このように、カメラ取付ずれ検出部３３４は、エッジの時系列位置を格納していく。

【0108】

カメラ取付ずれ検出部３３４は、あるエッジ位置の時系列データの数が所定の閾値以上である場合、エッジ一致の時系列データを結んだ近似直線を求める。カメラ取付ずれ検出部３３４は、縦エッジと横エッジの両方を含む各領域についてこの処理を実施する。カメラ取付ずれ検出部３３４は、これらの近似直線の組合せごとの画像上の交点の位置を求めて、それらの交点の位置を平均する。

【0109】

カメラ取付ずれ検出部３３４は、交点の位置の平均値が設計上の消失点位置から閾値以内の距離である場合、直進していると判定して、交点の位置の平均値を消失点位置として、消失点位置データの数を一つ増やして、ずれ補正情報記憶部３１８に格納する。カメラ取付ずれ検出部３３４は、交点の位置の平均値が設計上の消失点位置から閾値以上の距離である場合、旋回中であると判定して、その消失点位置データが正しく検出されていないと判定して、破棄する。

【0110】

カメラ取付ずれ検出部３３４は、ずれ補正情報記憶部３１８に格納されている消失点位置データの数が所定の閾値以上である場合、ずれ補正情報記憶部３１８に格納されている消失点位置データを平均して、消失点位置の検出値を求め、消失点位置の検出値と設計値の差を、カメラ取付ずれによる水平方向及び垂直方向の画像ずれとする。

【0111】

カメラ取付ずれ検出部３３４は、参照画像について、上記の処理を行う。基準画像及び参照画像におけるカメラ取付ずれによる水平方向及び垂直方向の画像ずれの平均を算出して、ずれ補正情報記憶部３１８に格納する。

【0112】

ステップ８０６：カメラ取付ずれ検出部３３４は、画像補正情報記憶部３１２から基準画像の画像補正データを、ずれ補正情報記憶部３１８からカメラ取付ずれによる水平方向及び垂直方向の画像ずれを読み込む。カメラ取付ずれ検出部３３４は、ステップ４０２に示すような２次元線形補間を用いて、基準画像の画像補正データによる変換、カメラ取付ずれによる水平方向及び垂直方向の画像ずれを補正する変換を各画素ごとに順次行う。これにより、カメラ取付ずれ検出部３３４は、カメラ取付ずれを除去する画像補正データを算出する。

【0113】

カメラ取付ずれ検出部３３４は、参照画像について、上記の処理を行う。カメラ取付ずれ検出部３３４は、このように算出した基準画像及び参照画像の画像補正データを画像補正情報記憶部３１２に格納する。

【0114】

車両１１１にステレオカメラ１０４を取り付けるときに、車両設置ずれやステレオカメラ取付ずれがあると、フロントガラス１１２による画像ずれと区別できない。すると、車両設置ずれやステレオカメラ取付ずれによる画像ずれがフロントガラス１１２による画像ずれに含まれ、変更された画像補正データに誤差が発生する。そして、マーカと異なる距離にある対象物の補正後の基準画像と参照画像に水平方向及び垂直方向の画像ずれが発生する。そして、この垂直方向の画像ずれにより、パターン・マッチング処理で基準画像と参照画像の領域が一致せず、正常に視差を算出できなくなる。また、仮に垂直ずれが補正されたとしても、水平方向の画像ずれにより、視差誤差が発生する。

【0115】

本実施形態によれば、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両１１１のガラスのモデルの拡大率及びオフセットずれ、距離に存するマーカとカメラ間位置及び姿勢ずれを検出する。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラス１１２による画像のずれを校正するように、画像を補正するデータを変更する。これにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。

【0116】

図３に示す本実施形態によれば、車両１１１が走行する間、図８に示す動作手順のステップ８０５及びステップ８０６において、カメラ取付ずれ検出部３３４が、補正画像上の消失点位置（検出位置）を検出する。そして、カメラ取付ずれ検出部３３４が、消失点の設計位置の差をもとに、カメラ取付ずれによる水平方向及び垂直方向の画像ずれとして、それらを補正するように、画像補正データを変更する。これにより、経年的に発生するステレオカメラ１０４の設置ずれや変形などによる補正ずれを補正できる。

【0117】

なお、本発明の処理装置及び車載カメラ装置は、上述の実施形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の処理装置及び車載カメラ装置の実施形態の変形例について説明する。

【0118】

（変形例１－１）（画像校正の処理を計算部で実施する実施形態）
図１及び図１０に本発明の処理装置及び車載カメラ装置の一実施形態の構成を示す。本変形例は、図１及び図３に示す処理装置及び車載カメラ装置の一実施形態において、ステレオカメラ１０４から校正情報記憶部３１３、画像校正部３２０を外して、新たに追加した計算部１０６（１０００）に校正情報記憶部３１３、画像校正部３２０が備えられている。

【0119】

計算部１０６（１０００）はステレオカメラ１０４及び車両設置ずれ検出部１０５と接続されている。各部の動作は、図１及び図３に示す処理装置及び車載カメラ装置の実施形態と同様である。このように、ステレオカメラ１０４から校正情報記憶部３１３、画像校正部３２０を外すことにより、画像校正処理を行う実行ファイルをステレオカメラ１０４から除去でき、ステレオカメラ１０４内で使用するメモリ量を削減できる。また、新たに追加した計算部１０６（１０００）は、車両１１１に取り付ける工程に専用に設置されるものであり、計算部１０６（１０００）の演算処理能力はステレオカメラ１０４よりも速い。このため、画像校正処理にかかる時間を短縮でき、時間当たりに画像を校正できる台数を増加できる。

【0120】

（変形例１－２）（カメラ設置ずれのみの検出）
本変形例は、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、車両設置ずれ検出部１０５を削除する。また、図４に示す動作手順におけるステップ４０４及びステップ４０５を実施しない。さらに、ステップ４０６において、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を各画素ごとに順次行う代わりに、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を各画素ごとに順次行う。

【0121】

これにより、車両設置ずれ検出部１０５を備えなくても、車両設置ずれによるステレオカメラ１０４の設置ずれによる補正誤差を画像補正データから除去できる。この変形例では、ステレオカメラ取付ずれによる画像上の消失点位置に誤差が生じるが、図８に示す動作手順のステップ８０５及びステップ８０６において、カメラ取付ずれを検出して、それによる画像ずれを補正する画像補正データを算出することにより、ステレオカメラ取付ずれによる画像ずれを補正できる。

【0122】

（変形例１－３）（マーカ中心の位置を検出する実施形態）
本変形例では、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、校正情報記憶部３１３は、補正画像上の各マーカ画像を格納しない。また、ステップ４０２で、マーカ画像を用いて、パターン・マッチング処理を行い、特徴点位置を検出する代わりに、画像補正後の基準画像及び参照画像において、所定の輝度値以下の画素を１とし、それ以外の画素を０と設定する二値化処理を行い、二値化した画像上の各マーカの重心位置を算出することにより、マーカの位置を検出する。これにより、マーカ画像を予め作成して、記憶させる作業を低減できる。

【0123】

（変形例１－４）（単眼カメラの画像校正装置）
本変形例では、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、図１に示すステレオカメラ１０４を単眼カメラ１０４に変更して、図３に示すステレオカメラの代わりに、図１１に示す単眼カメラを備え、図８に示す走行時の動作手順の代わりに、図１２に示す動作手順を行うとともに、図４及び図１２に示す動作手順において、各部は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する処理を行う。

【0124】

図１及び図１１に本発明の画像校正装置の一実施例の構成を示す。ここで、灰色で表示した補正画像記憶部３１６、距離検出部３３０は、本実施形態に含まれず、立体物の距離を検出するケースで稼働する。これらの動作を後述する。

【0125】

単眼カメラは、車両１１１に取り付けられており、車両１１１のフロントガラス１１２を通して、マーカ２０１～２０５を撮影する。また、単眼カメラは、撮像系部１０００と演算部２１０を備えており、車両設置ずれ検出部１０５と接続している。

【0126】

カメラなどの撮像系部１０００は、光学素子部１００１と撮像素子部１００２を備えている。レンズなどの光学素子部１００１は、光を屈折させて、撮像素子部１００２上に像を結ぶ。撮像素子などの撮像素子部１００２は、光学素子部１００１により屈折した光の像を受光し、その光の強さに応じた画像を生成する。

【0127】

ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）及びメモリなどの演算部３１０は、撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、補正画像記憶部３１６、ずれ補正記憶部３１８、画像取込部１０１５、画像校正部３２０、距離検出部１０３０を備えている。

【0128】

距離検出部１０３０は、画像補正部３３１、認識部１０３２、立体物距離検出部１０３３、カメラ取付ずれ検出部３３４を備えている。

【0129】

メモリなどの撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、補正画像記憶部３１６、ずれ補正記憶部３１８は、撮像系部３００ａ及び撮像系部３００ｂの情報の代わりに、撮像系部１０００の情報を記憶する。

【0130】

画像取込部１０１５は、撮像素子部１００２が生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。

【0131】

マーカ位置検出部３２１、画像ずれ要因検出部３２２、画像補正データ変更部３２３、画像補正部３３１、カメラ取付ずれ検出部３３４は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する同様の処理を行う。

【0132】

認識部１０３２は、画像補正部３３１が補正した画像における各領域で車両１１１の特徴量を算出して、車両１１１の特徴と一致する領域を検出する。また、認識部１０３２は、補正後の画像における各領域で歩行者の特徴量を算出して、歩行者の特徴と一致する領域を検出する。

【0133】

立体物距離検出部１０３３は、車両１１１の領域及び歩行者の領域の下部の位置を、路面と接する位置として、路面と接する位置をもとに、車両１１１及び歩行者の距離を算出する。

【0134】

図１及び図１１に示す本変形例は、図４に示す動作手順で動作する。ここで、ステップ４０１では、下記の処理を行うとともに、マーカ位置検出部３２１、画像ずれ要因検出部３２２、画像補正データ変更部３２３は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する処理を行うことにより、カメラ設置ずれ、車両設置ずれ、カメラ取付ずれ、フロントガラス１１２の水平方向及び垂直方向の拡大率を検出する。

【0135】

ステップ４０１：画像取込部１０１５は、撮像素子部１００２に撮像信号及び露光時間の情報を送る。撮像素子部１００２は、画像取込部１０１５からの撮像信号及び露光時間の情報を受け取った直後に、光学素子部１００１により屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、画像取込部１０１５に画像を送る。画像取込部１０１５は、撮像素子部１００２から画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。

【0136】

図１及び図１１に示す本変形例の単眼カメラの実施形態は、図８に示す動作手順の代わりに、図１２に示す動作手順を行うことにより、立体物の距離を検出するとともに、カメラ取付ずれを検出して、画像補正データを変更する。ここで、ステップ８０１では、同期信号発生部を使わない変形例１－４のステップ４０１（上述）と同じ処理を行う。また、ステップ８０２及びステップ８０５～８０６では、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する同様の処理を行うため、それらのステップの説明を省略して、ステップ１１０３及びステップ１１０４のみの説明を示す。

【0137】

ステップ１１０３：認識部１０３２は、補正画像記憶部３１６に格納されている補正後の画像を読み込む。補正後の画像１２０１における各領域で車両１１１の特徴量を算出して、図１３に示すように、車両１１１の特徴と一致する領域１２０２を検出する。また、認識部１０３２は、補正後の画像１２０１における各領域で歩行者の特徴量を算出して、歩行者の特徴と一致する領域１２０３を検出する。

【0138】

ステップ１１０４：立体物距離検出部１０３４は、車両１１１の領域１２０２及び歩行者の領域１２０３の下部の位置を、路面と接する位置として、路面と接する位置をもとに、車両１１１及び歩行者の距離を算出する。

【0139】

車両１１１に単眼カメラを取り付けるときに、車両設置ずれや単眼カメラ取付ずれがあると、フロントガラス１１２による画像ずれと区別できず、車両設置ずれや単眼カメラ取付ずれによる画像ずれがフロントガラス１１２による画像ずれに含まれ、変更された画像補正データに誤差が発生して、マーカと異なる距離にある対象物の補正後の画像に水平方向及び垂直方向の画像ずれが発生して、この垂直方向の画像ずれにより、それらの距離に誤差が発生する。

【0140】

変形例１－４では、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両１１１のフロントガラス１１２のモデルの拡大率及びオフセットずれ、距離に存するマーカとカメラ間位置及び姿勢ずれを検出する。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラス１１２による画像のずれを校正するように、画像を補正するデータを変更することにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。

【0141】

なお、変形例１－４の単眼カメラは、上術の実施形態に限定されるものではなく、変形例１－１～変形例１－３に示すように、様々に変形して適用することができ、同様の効果が得られる。

【0142】

以上、図面を用いて本開示に係る処理装置及び車載カメラ装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。

【符号の説明】

【0143】

１０１…マーカ、１０２…マーカ、１０３…マーカ、１０４…ステレオカメラ、１０５…車両設置ずれ検出部、１０６…計算部、１１１…車両、１１２…フロントガラス、１２１…所定の車両の位置、１２２…所定の車両の姿勢（方向）、１２３…車両の姿勢（方向）、１２４…ステレオカメラの姿勢（方向）、２０１…マーカ、２０２…マーカ、２０３…マーカ、２０４…マーカ、２０５…マーカ、２０６…チャート、２０７…チャート、２０８…チャート、２０９…チャート、２１０…チャート、３００ｂ…撮像系部、３０１ａ…光学素子部、３０１ｂ…光学素子部、３０２ａ…撮像素子部、３０２ｂ…撮像素子部、３１０…演算部、３１１…撮像画像記憶部、３１２…画像補正情報記憶部、３１３…校正情報記憶部、３１４…同期信号発生部、３１５ａ…基準画像取込部、３１５ｂ…参照画像取込部、３１６…補正画像記憶部、３１７…視差画像記憶部、３１８…ずれ補正情報記憶部、３２０…画像校正部、３２１…マーカ位置検出部、３２２…画像ずれ要因検出部、３２３…画像補正データ変更部、３３０…距離検出部、３３１…画像補正部、３３２…視差算出部、３３３…認識部、３３４…カメラ取付ずれ検出部、５０１…補正画像、５０２…マーカの検出位置、５０３…マーカの設計位置、５０４…マーカの検出位置、マーカの設計位置、６０１…光軸方向、６０２…光軸方向に垂直な水平方向の線、６０３…光軸方向に垂直な水平方向の線、７０１…マーカ、７０２…マーカ、７０３…光軸方向、７０４…光軸方向に垂直な垂直方向の線、７０５…光軸方向に垂直な垂直方向の線、９０１…補正後の基準画像、９０２…補正後の参照画像、９０３…基準領域、９０４…参照領域、９０５…基準領域に最も一致する参照領域、１０００…計算部、１０００…撮像系部、１００１…光学素子部、１００２…撮像素子部、画像取得部…１０１５、１０３０…距離検出部、１０３２…認識部、１０３３…立体物距離検出部、１２０１…補正画像、１２０２…車両、１２０３…歩行者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】