特許 6204844 車両のステレオカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6204844

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】車両のステレオカメラシステム

(51)【国際特許分類】

   G01C 3/06 20060101AFI20170914BHJP

   G08G 1/16 20060101ALI20170914BHJP

   G01B 11/00 20060101ALI20170914BHJP

   G01C 3/00 20060101ALI20170914BHJP

   B60R 11/02 20060101ALI20170914BHJP

【ＦＩ】

   G01C3/06 110V

   G08G1/16 C

   G01B11/00 H

   G01C3/00 120

   B60R11/02 C

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2014-17118(P2014-17118)

(22)【出願日】2014年1月31日

(65)【公開番号】特開2015-143657(P2015-143657A)

(43)【公開日】2015年8月6日

【審査請求日】2016年10月6日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【弁理士】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】福間 健太

【審査官】 藤田 憲二

(56)【参考文献】

【文献】 特開２００１−０９１２４７（ＪＰ，Ａ）

【文献】 特開２０１１−１１３３３０（ＪＰ，Ａ）

【文献】 特開２００８−２１６１７７（ＪＰ，Ａ）

【文献】 独国特許出願公開第１０２０１２００９９７５（ＤＥ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００，３／０６

Ｂ６０Ｒ １１／０２

Ｇ０１Ｂ １１／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車外環境を撮影して距離画像を生成する車両のステレオカメラシステムにおいて、
フロントウィンドウガラスを介して車外の一方の基準画像を撮像する第１のカメラと、
上記フロントウィンドウガラスを介して車外の他方の比較画像を撮像する第２のカメラと、
上記基準画像と上記比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データを算出する距離データ算出手段と、
上記距離データが算出された画像領域上の位置と対応付けて上記距離画像を算出する距離画像算出手段と、
上記距離画像に上記フロントウィンドウガラスの評価領域を予め設定する評価領域設定手段と、
上記フロントウィンドウガラスの評価領域内における各距離データを基に、上記フロントウィンドウガラスの異常を判定するフロントウィンドウガラス異常判定手段と、
を備えたことを特徴とする車両のステレオカメラシステム。

【請求項2】

上記フロントウィンドウガラス異常判定手段は、上記フロントウィンドウガラスの評価領域内で距離の算出ができない距離無効データの総数が予め設定しておいた閾値を超える場合に上記フロントウィンドウガラスが異常と判定することを特徴とする請求項１記載の車両のステレオカメラシステム。

【請求項3】

上記フロントウィンドウガラス異常判定手段は、上記基準画像と上記比較画像の少なくとも一方の画像の上記フロントウィンドウガラスの評価領域内で、該領域内の画像を構成する画素ブロック領域内のそれぞれ隣接する画素との輝度差が少ない画素ブロックの合計が予め設定しておいた閾値を下回る場合に上記フロントウィンドウガラスが異常と判定することを特徴とする請求項１記載の車両のステレオカメラシステム。

【請求項4】

上記第１のカメラと上記第２のカメラが搭載される仕様の車両は、上記フロントウィンドウガラスがカメラ視界を遮ること無く形成され、上記第１のカメラと上記第２のカメラが搭載されない仕様の車両は、上記フロントウィンドウガラスにカメラ視界を遮る部位を有して形成されるものであって、上記フロントウィンドウガラスの評価領域は、上記カメラ視界を遮る部位に予め設定されることを特徴とする請求項１乃至請求項３の何れか一つに記載の車両のステレオカメラシステム。

【請求項5】

上記フロントウィンドウガラス異常判定手段が上記フロントウィンドウガラスの異常と判定するのは、カメラ撮影を遮蔽する遮蔽部分を有するフロントウィンドウガラスの誤組み付けと、カメラ撮影を遮蔽する遮蔽物が上記フロントウィンドウガラス上に設けられた異常であることを特徴とする請求項１乃至請求項４の何れか一つに記載の車両のステレオカメラシステム。

【請求項6】

上記フロントウィンドウガラス異常判定手段で上記フロントウィンドウガラスの異常が無いことが判定された後に、上記距離データ算出手段で算出する距離データの信頼性の判定を実行することを特徴とする請求項１乃至請求項５の何れか一つに記載の車両のステレオカメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車外環境を車内から撮像して認識する車両のステレオカメラシステムに関する。

【背景技術】

【0002】

近年、車両の外部環境をステレオカメラにより撮像して認識し、認識したデータを用い、ドライバの運転を支援したり、安全性を向上する様々な制御が開発され実用化されている。このため、ステレオカメラで精度良くデータを検出するために、様々な技術が提案されている。例えば、特開２００１−９１２４７号公報（以下、特許文献１）では、ステレオカメラの撮像方向に配置されていると共に輝度パターンが描かれたテストチャートを、ステレオカメラで撮影することによって一対の撮像画像を得て、これらの撮像画像からステレオマッチングにより距離データを算出し、撮像画像に映し出されたテストチャートに関する距離データを評価サンプルとし、この評価サンプルの距離値と出現度数との関係を示したヒストグラムを生成し、この生成されたヒストグラムの特性を、ステレオカメラとテストチャートとの間の距離に基づいて評価することにより、算出された距離データの信頼性を判定する距離データの検査装置の技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−９１２４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ステレオカメラ搭載車用のフロントウィンドウガラスの黒セラミック部はステレオカメラの画角に入らないように設計されており、一般車用フロントウィンドウガラスのものと形状が異なっている。このため、ライン作業時にステレオカメラ搭載車に対して誤って一般車用フロントウィンドウガラスが組み付けられた場合、カメラに黒セラミック部が映り込み、ステレオカメラの光学系初期調整や機能に支障をもたらす可能性がある。すなわち、上述の特許文献１に開示される検査装置の光学系初期調整では、フロントウィンドウガラスの組み付けが正しい前提で調整を行っているため、検査結果が不良となってしまう。検査結果が不良となった場合、それがフロントウィンドウガラス誤組み付けによるものなのか、それともステレオカメラの調整精度の悪化によるものなのか区別がつかないため、ライン作業者の次対応に影響・遅延が発生するという課題がある。

【0005】

本発明は上記事情に鑑みてなされたもので、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能な車両のステレオカメラシステムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様による車両のステレオカメラシステムは、車外環境を撮影して距離画像を生成する車両のステレオカメラシステムにおいて、フロントウィンドウガラスを介して車外の一方の基準画像を撮像する第１のカメラと、上記フロントウィンドウガラスを介して車外の他方の比較画像を撮像する第２のカメラと、上記基準画像と上記比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データを算出する距離データ算出手段と、上記距離データが算出された画像領域上の位置と対応付けて上記距離画像を算出する距離画像算出手段と、上記距離画像に上記フロントウィンドウガラスの評価領域を予め設定する評価領域設定手段と、上記フロントウィンドウガラスの評価領域内における各距離データを基に、上記フロントウィンドウガラスの異常を判定するフロントウィンドウガラス異常判定手段とを備えた。

【発明の効果】

【0007】

本発明による車両のステレオカメラシステムによれば、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の第１形態に係るステレオカメラシステムのブロック図である。

【図2】本発明の実施の第１形態に係るステレオカメラシステムによる検査手順のフローチャートである。

【図3】本発明の実施の第１形態に係るテストチャートの配置位置と車両との関係を示す図で、図３（ａ）は車両左側面から視た位置の説明図で、図３（ｂ）は車両上面から視た位置の説明図である。

【図4】本発明の実施の第１形態に係るテストチャートの一例の説明図である。

【図5】本発明の実施の第１形態に係るステレオカメラから車両前方を撮影する場合の各被写体の説明図である。

【図6】本発明の実施の第１形態に係る距離画像中に設定される評価領域の説明図である。

【図7】本発明の実施の第１形態に係る距離データのヒストグラムを示す説明図である。

【図8】本発明の実施の第２形態に係るステレオカメラシステムによる検査手順のフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。図１乃至図７は本発明の実施の形態を示し、本実施の形態では、車外の景色（前方景色）を撮影するステレオカメラは、車室内のルームミラーの近傍に、車幅方向に所定の間隔を有して取り付けられており、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。

【0010】

図１に示すように、基準画像データを得るための第１のカメラであるメインカメラ１は、車両の進行方向に向かって右側に取り付けられている。一方、比較画像を得るための第２のカメラであるサブカメラ２は、進行方向に向かって左側に取り付けられている。

【0011】

カメラ対１，２の同期が取れている状態において、各カメラ１，２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）において画像の明るさバランスが調整される。アナログインターフェース３から出力されたアナログ画像は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。そして、デジタル化された各画像に対して、補正回路５によりアフィン変換等の補正が行われる。

【0012】

このような画像処理を経て、メインカメラ１の出力信号から、基準画像データ（輝度データ）が生成される。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。基準画像データおよび比較画像データは、画像データメモリ７に格納される。

【0013】

ステレオ演算回路６は、基準画像データと比較画像データとに基づいて視差を算出する。視差は、基準画像中のある画素サイズをもつブロック領域に注目した場合に、注目画素ブロック領域（相関元）の輝度特性と相関を有する対象画素ブロック領域（相関先）を比較画像中で探索することにより算出する（ステレオマッチング）。周知のとおり、ステレオ画像に映し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。従って、比較画像中で探索を行う場合、注目画素ブロック領域のｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上で対象画素ブロック領域を一画素ずつシフトしながら、注目画素ブロック領域との相関を評価する。

【0014】

２つの画素ブロック領域の相関は、例えば、以下の（１）式に示す、シティブロック距離ＣＢを算出することにより評価することができる。（１）式中において、ｐ１ijは一方の画素ブロック領域のｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロック領域のｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック領域全体における総和であって、その差が小さいほど両画素ブロック領域の相関が大きいことを意味している。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）
基本的には、エピポーラライン上に存在する画素毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる対象画素ブロック領域が注目画素ブロック領域の相関先と判断される。このようにして特定された相関先と注目画素ブロック領域との間のずれ量が視差となる。

【0015】

また、ステレオ演算回路６は、画素ブロック領域の水平方向の輝度エッジ（輝度変化量）の有無、同一エピポーラライン上において算出されたシティブロック距離ＣＢの最大値／最小値との関係等を評価する。そして、距離データとしての信頼性を確保するために、これらの評価結果に基づいて算出された視差にフィルタリング処理を施し、有効とされた視差ｄ（以下、「有効視差」という）のみを出力する。また、シティブロック距離を算出するためのハード構成やフィルタリング処理の詳細については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された有効視差ｄは距離データメモリ８に格納される。

【0016】

なお、以下の説明で用いられている「距離データ」という用語は距離データメモリ８に格納された有効視差ｄを意味している。また、「距離画像」という用語は、画像領域全体における距離データの出力状態を示したもの、換言すれば、各距離データｄをそれが算出された画像領域上の位置と対応づけた概念的な画像を意味している。このように、ステレオ演算回路６は距離データ算出手段として設けられ、距離データメモリ８は距離画像算出手段として設けられている。

【0017】

マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、道路形状（白線）や車両前方の立体物（走行車）等を認識する。これらの認識は、画像データメモリ７中に記憶された画像データと距離データメモリ８に格納された距離データｄ（有効視差）とに基づいて行われる。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。そして、これらの認識結果に基づいて、前方のカーブや立体物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置１１を作動させてドライバに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御が実行される。

【0018】

検査装置１４は、製品の検査工程時においてのみ接続される外付けの装置である。マイクロコンピュータ９に検査装置１４が接続され、検査装置１４によって検査の開始が指示されると、マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである検査部１３）は予めプログラムされた検査ルーチンを実行する。検査部１３は、図２に示す、フローチャートにしたがって検査サンプルにおける距離の出力状況を自動的に検査する。

【0019】

図２は、本発明の実施の第１形態に係るステレオカメラシステムによる検査手順のフローチャートを示す。

【0020】

まず、検査者は、ステレオカメラシステムの検査を始めるにあたり、所定のパターンを有するテストチャートを車両前方の所定位置に配置しておく。

【0021】

図３は、テストチャートの配置位置と車両との関係を示す図である。また、図４は、この検査で用いられるテストチャートの一例を示した図である。

【0022】

このテストチャート２１は、所定の輝度階調（例えば、１６階調のグレースケール）を有する輝度ブロックをランダムに（すなわち、輝度変化に規則性がないように）配置したランダムパターンである。また、一輝度のブロックあたりの大きさは、ステレオマッチングの際の精度を確保する大きさに設定されている。

【0023】

図３（ａ）、図３（ｂ）に示すように、テストチャート２１は、車長方向（Ｚ軸方向）に関してステレオカメラの取り付け位置からＺ１の距離で、車高方向（Ｙ軸方向）に関して地面から十字交点ＣまでがＹ１の高さで、且つ、テストチャート２１の平面が車幅方向（Ｘ軸方向）に対して平行になるように配置されている。

【0024】

このような状態でテストチャート２１をカメラ１，２で撮像すると、フロントウィンドウガラスにカメラ視界を遮るものの無い、ステレオカメラシステム搭載仕様車の場合には、図５に示すように、撮像画像にテストチャート２１が映し出される。

【0025】

一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、メインカメラ１からの基準画像は、例えば、図５中、ＬＲのラインよりも上の領域が黒くなり、サブカメラ２からの比較画像は、例えば、図５中、ＬＬのラインよりも上の領域が黒くなる画像が得られることになる。尚、図５中の符号ＰＲはメインカメラ１の無限遠点、ＰＬはサブカメラ２の無限遠点を示す。

【0026】

そして、検査者が検査装置１４を操作して検査の開始を指示すると、マイクロコンピュータ９（すなわち検査部１３）は、まずステップ（以下、「Ｓ」と略称）１０１においてシステムの初期化を行った後、Ｓ１０２に進み、１フレーム分の距離画像をサンプリングする。

【0027】

次に、１０３に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe1を設定する。このフロントウィンドウガラス評価用領域Ｔe1は、ステレオカメラシステムが非搭載車用（一般車用）のガラスが組み付けられた場合に黒セラミック等のステレオカメラの画角を妨げる遮蔽部分内となる領域（すなわち、図５中のＴe1の領域）を予め求めておき設定される。

【0028】

次いで、Ｓ１０４に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe1中の距離データｄを抽出し、これらの距離データから距離無効データをカウントし、この総数ＮＤを算出する。

【0029】

図６に、距離画像中のフロントウィンドウガラス評価用領域Ｔe1を示す。フロントウィンドウガラス評価用領域Ｔe1には、フロントウィンドウガラスが正規のステレオカメラシステム搭載仕様車の場合には、前方のテストチャート２１の輝度パターンが映し出され、このフロントウィンドウガラス評価用領域Ｔe1内に存在する画素ブロックについて算出された距離データｄが映し出されている。このため、図６に示すように、フロントウィンドウガラス評価用領域Ｔe1は、距離画像の周縁部分を除いた領域に設定されている。画像の周縁部分を除いた理由は、ステレオカメラのレンズ歪み等の影響により、周縁部分では誤差を含んだ距離データｄが算出されやすいからである。理論的には、評価サンプルであるすべての距離データｄの値は、ステレオカメラからテストチャート２１までの距離（視差）になる。

【0030】

一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、フロントウィンドウガラス評価用領域Ｔe1には、テストチャート２１が写らず、黒セラミック等の遮蔽部分が映り、ブロック領域内の画素間の輝度差も少なく、ステレオマッチング処理ができず距離データｄを求めることができず、フロントウィンドウガラス評価用領域Ｔe1の各画素ブロックには距離無効データのみが記録されることになる。フロントウィンドウガラスに（紙部材等の）何等かの遮蔽物が有る場合も、同様に、距離無効データのみが記録されることになる。このＳ１０４は、この距離無効データをカウントし、その総数ＮＤを算出するのである。

【0031】

次に、Ｓ１０５に進み、距離無効データの総数ＮＤと予め実験・計算等により設定しておいた閾値Ｎｃとを比較して、距離無効データの総数ＮＤが閾値Ｎｃ以上（ＮＤ≧Ｎｃ）の場合、Ｓ１０６に進み、検査装置１４は、検査者に対してフロントウィンドウガラスが異常（紙等の何等かの遮蔽物が有る異常も含む）である旨を報知する。これにより、検査者は、ステレオカメラ仕様車用に一般車用のフロントウィンドウガラスを組み付けた場合のようなフロントウィンドウガラスの誤組み付けを修正することが素早くでき、また、フロントウィンドウガラスがステレオカメラ仕様車用のものであっても、紙等の何等かの遮蔽物を取り除き、再検査を行うことでステレオカメラシステムの精度を良好に保つことができる。

【0032】

前述のＳ１０５で、距離無効データの総数ＮＤが閾値Ｎｃよりも少ない場合（ＮＤ＜Ｎｃの場合）、フロントウィンドウガラスに異常が無いと判断し、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定を実行する。

【0033】

Ｓ１０７では、距離画像中にヒストグラム生成のための評価領域Ｒ１を設定する。尚、本実施の第１形態では、ヒストグラム生成のための評価領域Ｒ１は、前述のフロントウィンドウガラス評価用領域Ｔe1と同一の領域に設定するものとする。

【0034】

次いで、Ｓ１０８に進み、評価領域Ｒ１中の距離データｄが抽出される。前述の如く、この評価領域Ｒ１には、テストチャート２１の輝度パターンが映し出されている。そして、対象となる評価サンプルは、この領域Ｒ１内に存在する画素ブロックについて算出された距離データｄ、すなわち、テストチャート２１が有する輝度パターンに関する距離データｄである。図６は、距離画像中に設定された評価領域Ｒ１を示した図である。同図に示したように、評価領域Ｒ１は、距離画像の周縁部分を除いた領域に設定されている。画像の周縁部分を除いた理由は、ステレオカメラのレンズ歪み等の影響により、周縁部分では誤差を含んだ距離データｄが算出されやすいからである。理論的には、評価サンプルであるすべての距離データｄの値は、ステレオカメラからテストチャート２１までの距離（視差）になる。

【0035】

次に、Ｓ１０９に進んで、検査部１３は、評価範囲Ｒ１内に存在する距離データｄ、すなわち評価サンプルの個数をカウントし、その総数Ｎを算出する。この総数Ｎは、最大で評価領域Ｒ１内の画素ブロックの数だけ算出され得るが、ステレオ演算回路６によるフィルタリング処理によって、通常は、それよりも少なくなる（有効視差数相当になる）。

【0036】

次いで、Ｓ１１０に進み、Ｓ１０９で特定された評価サンプルに基づいて、評価領域Ｒ１における距離データの値とその出現度数との関係を示したヒストグラムが生成される。図７は、１フレームの距離画像における視差のヒストグラムを示した図である。正常な状態におけるヒストグラムの特性として、テストチャート２１までの距離Ｚ１において急峻かつ大きなピークが出現する。

【0037】

次に、Ｓ１１１に進み、所定の適正範囲内ＲＮＧ１内に含まれる距離データｄの数がカウントされ、その総数Ｍが算出される。適正範囲ＲＮＧ１は、テストチャートまでの距離Ｚ１を基準に設定されている。このレンジは、算出された距離の適否を判断する基準となるものであり、検査精度の要求レベルに応じて設定される。

【0038】

次いで、Ｓ１１２に進み、評価サンプルの総数Ｎと適正範囲ＲＮＧ１内の評価サンプル数Ｍとに基づいて適正率ｒ（ｒ＝Ｍ／Ｎ）が算出される。適正率ｒは、適正範囲ＲＮＧ１内の評価サンプル数が、評価サンプル総数に占める割合を示している。従って、評価サンプルの距離値が距離Ｚ１に収束しているほど適正率ｒは大きくなり、逆に、距離値がばらつくほど適正率ｒは小さくなる。

【0039】

そして、Ｓ１１３に進み、適正率ｒと予め実験・計算等により設定しておいた判定閾値ｒthと比較し、適正率ｒが判定閾値ｒth未満（ｒ＜ｒth）の場合、算出された距離データｄが異常であると判定して、Ｓ１１４に進んで、検査部１３における検査結果を受けて、検査装置１４は、検査者に対してカメラシステムの検査結果が異常である旨を報知する。

【0040】

逆に、適正率ｒが判定閾値ｒth以上（ｒ≧ｒth）の場合、信頼できる距離データｄが算出されていると判定して、Ｓ１１５に進み、検査部１３における検査結果を受けて、検査装置１４は検査者に対して検査結果が正常である旨を報知する。このように、検査部１３は、評価領域設定手段、フロントウィンドウガラス異常判定手段として設けられている。

【0041】

このように、本発明の実施の第１形態によれば、車外環境を撮影して距離画像を生成する車両のステレオカメラシステムにおいて、車外をメインカメラ１で撮像した基準画像とサブカメラ２で撮像した比較画像とのステレオマッチング処理を行って画素毎の視差を基に距離データｄを算出し、距離データｄが算出された画像領域上の位置と対応付けて距離画像を算出し、距離画像にフロントウィンドウガラス評価用領域Ｔe1を予め設定し、フロントウィンドウガラス評価用領域Ｔe1内における各距離データｄの距離無効データの総数ＮＤが予め設定した閾値以上となる場合に、フロントウィンドウガラスの異常（ステレオカメラシステムが非搭載車用（一般車用）のガラスの誤組み付け、及び、フロントウィンドウガラスに（紙部材等の）何等かの遮蔽物が有る異常）を判定する。一方、フロントウィンドウガラスが正常と判定された場合に、ステレオカメラシステムで算出する距離データの信頼性の判定を実行する。このため、特に、検査のための設備等を追加することなく、フロントウィンドウガラスの異常（フロントウィンドウガラス上に何等かの遮蔽物が載った異常も含む）とステレオカメラの調整精度の異常を明確に分離して対処することができ、フロントウィンドウガラス異常修正やステレオカメラ調整の作業効率を向上させることが可能となる。

【0042】

尚、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定は、他の、公知の手法を用いることも可能である。また、本実施の第１形態では、距離画像中に設定するフロントウィンドウガラス評価用領域Ｔe1とヒストグラム生成のための評価領域Ｒ１とを同じ位置に設定するようにしているが、同じ位置に設定しなくとも良い。例えば、車種やフロントウィンドウガラスの仕様が異なれば、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分の位置も異なるため、フロントウィンドウガラス評価用領域Ｔe1は、その車種、フロントウィンドウガラスの仕様に合わせ、より高い位置に設定するようにしても良い。更に、メインカメラ１とサブカメラ２の少なくとも一方のみを遮蔽する遮蔽部分の位置に設けても、距離データは、無効距離データとして抽出されるため、このような位置に設定するようにしても良い。

【0043】

次に、図８は、本発明の実施の第２形態に係るステレオカメラシステムによる検査手順のフローチャートを示す。この第２形態は、距離画像中に設定したフロントウィンドウガラス評価用領域を構成するメインカメラ１からの基準画像の注目画素ブロック領域内のそれぞれ隣接する画素との輝度差が少ない画素ブロックの合計が予め実験・計算等により設定しておいた閾値を下回る場合にフロントウィンドウガラスの異常と判定するようにしたことが前記第１形態と異なり、他の構成作用は第１形態と同様であるので説明は省略する。

【0044】

すなわち、図８のＳ１０２で、１フレーム分の距離画像をサンプリングした後、Ｓ２０１に進み、距離画像中にフロントウィンドウガラス評価用領域Ｔe2を設定する。このフロントウィンドウガラス評価用領域Ｔe2も前記第１形態のフロントウィンドウガラス評価用領域Ｔe1と同様に、ステレオカメラシステムが非搭載車用（一般車用）のガラスが組み付けられた場合に黒セラミック等のステレオカメラの画角を妨げる遮蔽部分内となる領域（すなわち、図５中のＴe2の領域）を予め求めておき設定される。

【0045】

次いで、Ｓ２０２に進み、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差が少ない画素ブロックの合計ＳＬを算出する。

【0046】

図６に、距離画像中のフロントウィンドウガラス評価用領域Ｔe2を示す。フロントウィンドウガラス評価用領域Ｔe2には、フロントウィンドウガラスが正規のステレオカメラシステム搭載仕様車の場合には、前方のテストチャート２１の輝度パターンが映し出され、画素間の輝度差が大きい画像が得られるため、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差が少ない画素ブロック数は少なくなり、フロントウィンドウガラス評価用領域Ｔe2中の輝度差の少ない画素ブロックの合計ＳＬは、これらの合計となる。

【0047】

一方、フロントウィンドウガラスがステレオカメラシステムが非搭載車用（一般車用）のガラスであって、黒セラミック等のステレオカメラの画角を妨げる遮蔽部分が設けられたフロントウィンドウガラスの場合には、フロントウィンドウガラス評価用領域Ｔe1には、テストチャート２１が写らず、黒セラミック等の遮蔽部分が映り、画素ブロック領域内の画素間の輝度差も少なくなり、フロントウィンドウガラス評価用領域Ｔe2中の輝度差の少ない画素ブロックの合計ＳＬは、これらの合計となる。

【0048】

そして、Ｓ２０３に進み、輝度差の少ない画素ブロックの合計ＳＬと予め実験・計算等により設定しておいた閾値Ｓｃとを比較する。この比較の結果、輝度差の少ない画素ブロックの合計ＳＬが閾値Ｓｃ以下（ＳＬ≦Ｓｃ）の場合は、Ｓ２０４に進み、検査装置１４は、検査者に対してフロントウィンドウガラスが異常（紙等の何等かの遮蔽物が有る異常も含む）である旨を報知する。これにより、検査者は、ステレオカメラ仕様車用に一般車用のフロントウィンドウガラスを組み付けた場合のようなフロントウィンドウガラスの誤組み付けを修正することが素早くでき、また、フロントウィンドウガラスがステレオカメラ仕様車用のものであっても、紙等の何等かの遮蔽物を取り除き、ステレオカメラシステムの精度を良好に保つことができる。

【0049】

逆に、前述のＳ２０３で、輝度差の少ない画素ブロックの合計ＳＬが閾値Ｓｃより大きい場合（ＳＬ＞Ｓｃの場合）は、フロントウィンドウガラスに異常が無いと判断し、Ｓ１０７以降のステレオカメラシステムの距離データの信頼性の判定を実行する。

【0050】

このように、本実施の第２形態によっても、前述の第１形態と同様の効果を得ることができる。尚、本実施の第２形態では、メインカメラ１のフロントウィンドウガラス評価用領域Ｔe2中の画素ブロック領域内の各隣接する画素間の輝度差の少ない画素ブロックの合計ＳＬを算出するようにしているが、サブカメラ２からの比較画像に対しても同様の処理を行うことによりフロントウィンドウガラスの異常を検出するようにしても良い。また、本実施の第２形態のフロントウィンドウガラス評価用領域Ｔe2は、前述の第１形態のフロントウィンドウガラス評価用領域Ｔe1とヒストグラム生成のための評価領域Ｒ１とを同じ位置に設定するようにしているが、同じ位置に設定しなくとも良い。また、本実施の第１、第２形態では、車両前方の環境をフロントウィンドウガラス越しに撮影するステレオカメラに対して適用した例で説明したが、車両後方等の環境をリヤウィンドウガラス越しに撮影するステレオカメラに対しても適用できることは言うまでも無い。

【符号の説明】

【0051】

１ メインカメラ（第１のカメラ）
２ サブカメラ（第２のカメラ）
３ アナログインターフェース
４ Ａ／Ｄコンバータ
５ 補正回路
６ ステレオ演算回路
７ 画像データメモリ（距離データ算出手段）
８ 距離データメモリ（距離画像算出手段）
９ マイクロコンピュータ
１０ 認識部
１１ 警報装置
１２ 制御装置
１３ 検査部（評価領域設定手段、フロントウィンドウガラス異常判定手段）
１４ 検査装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】