5951785 画像処理装置及び車両前方監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5951785

(24)【登録日】2016年6月17日

(45)【発行日】2016年7月13日

(54)【発明の名称】画像処理装置及び車両前方監視装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20160630BHJP

   B60R 21/00 20060101ALI20160630BHJP

【ＦＩ】

   G01C3/06 110V

   B60R21/00 624C

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2014-539827(P2014-539827)

(86)(22)【出願日】2013年10月3日

(86)【国際出願番号】JP2013076979

(87)【国際公開番号】WO2014054752

(87)【国際公開日】20140410

【審査請求日】2015年3月24日

(31)【優先権主張番号】特願2012-221832(P2012-221832)

(32)【優先日】2012年10月4日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプス電気株式会社

(74)【代理人】

【識別番号】100085453

【弁理士】

【氏名又は名称】野▲崎▼ 照夫

(74)【代理人】

【識別番号】100120204

【弁理士】

【氏名又は名称】平山 巌

(74)【代理人】

【識別番号】100108006

【弁理士】

【氏名又は名称】松下 昌弘

(74)【代理人】

【識別番号】100135183

【弁理士】

【氏名又は名称】大窪 克之

(72)【発明者】

【氏名】山下 龍麿

【審査官】 居島 一仁

(56)【参考文献】

【文献】 特開２０１１−２０３２３８（ＪＰ，Ａ）

【文献】 特開２００９−１４６２１７（ＪＰ，Ａ）

【文献】 特開２０１０−０８６２６８（ＪＰ，Ａ）

【文献】 特表２００７−５０６０７４（ＪＰ，Ａ）

【文献】 特開２００８−１１６３０９（ＪＰ，Ａ）

【文献】 特開２００７−１３９５６４（ＪＰ，Ａ）

【文献】 特開２００９−１３９９９５（ＪＰ，Ａ）

【文献】 特開２０１２−０３２３４９（ＪＰ，Ａ）

【文献】 特開２０１１−０１３０６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００−３／３２

Ｇ０６Ｑ５０／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

相対的に画角が広いレンズを介して集光した可視光及び近赤外光を受光することで、車両前方を可視光及び近赤外光で撮像可能な第１の撮像手段と、
相対的に画角が狭いレンズを介して集光した遠赤外光を受光することで、同じく車両前方において、前記第１の撮像手段の視野と共通領域を含む視野範囲を遠赤外光で撮像可能な第２の撮像手段と、
前記第１の撮像手段によって撮像された第１の画像情報及び前記第２の撮像手段によって撮像された第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、
前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得し、さらに前記第１の画像から前記第２の画像との共通領域に対応する白黒の第３の画像を切り出し、前記第１の画像によって前記対象物の色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われる画像処理部と、
前記第３の画像に含まれる前記対象物の特徴点を抽出し、ステレオ測距対象物として前記対象物を画像認識し、前記特徴点に対応する対応点を前記第２の画像から探し、前記第３の画像の特徴点と前記第２の画像の対応点から前記対象物までの距離を推定する処理が行われる距離推定処理部と、を備え、
抽出された前記特徴点が前記第２および第３の画像の範囲から外れた後も、前記第１の画像において前記色特徴対象物として前記対象物を認識し続け、必要に応じて車両の乗員に前記対象物の情報を通知することを特徴とする画像処理装置。

【請求項2】

前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、
前記画像処理部において、前記第１の画像情報及び前記第２の画像情報に対して、前記座標変換表を用いた平行化処理が行われていることを特徴とする請求項１に記載の画像処理装置。

【請求項4】

車両に請求項１ないし請求項３のいずれかに記載の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知する車両前方監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識した対象物までの距離が推定できる画像処理装置及び車両前方監視装置に関する。

【背景技術】

【0002】

車両にカメラを搭載して車両前方を監視し、前方の車両や障害物を画像情報から抽出し、それらに衝突する前に警告を発したり、危険回避操作としてブレーキを作動させたりする車両前方監視装置が知られている。

【0003】

画像情報を基に車両前方の対象物との距離を推定する装置では、ステレオカメラと呼ばれる一対の撮像手段によって撮像した画像情報を基に、三角測量の原理を応用して対象物までの距離を算出している。

【0004】

ステレオカメラを用いた距離算出の精度は、画像位置の相対的な変化を検出する精度に依存しているので、遠方の対象物に対して推定可能な距離は、撮像された画像情報の量と撮像手段の光学特性とで制約される。このため、時速１００ｋｍ程度の走行時に適用される車両前方監視装置は、カメラの焦点距離を長くして視野範囲を狭めることによって精度を確保した遠距離用のカメラが用いられた。

【0005】

一方、低速走行時においては、車両の斜め前方まで認識できることが必要である。また高速走行中において、斜め前方から自車両の直前に割り込んできた他車両を検出するような場合には、広い視野範囲の画像情報を確保しておく必要があった。このため、カメラの焦点距離を短くして視野範囲を確保した近距離用のカメラが用いられた。

【0006】

特許文献１には、近距離用のＣＣＤカメラと遠距離用のＣＣＤカメラとをそれぞれステレオカメラとして持ち、どちらかのステレオカメラの画像処理を状況に応じて切替える構造の車外監視装置が開示されている。

【0007】

図１３は、特許文献１に記載の車外監視装置を備える車両２００の正面図である。図１３に示すように、遠距離用のＣＣＤカメラ２０１、２０２と近距離用のＣＣＤカメラ２１１、２１２との合計４台のカメラが搭載されている、遠距離用又は近距離用のどちらかの画像がステレオ画像処理装置に入力されて、左右画像上の位置のずれ量が決定され、対象物までの距離が算出される。

【0008】

特許文献２には、近距離撮影用カメラのレンズと遠距離撮影用カメラのレンズとをそれぞれステレオカメラのレンズとして持ち、それぞれが撮像する画像を別々の撮像領域（撮像面）に形成させた構造の撮像装置が開示されている。近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを組み合わせて車両近傍から遠方まで、距離測定に適した鮮明な画像情報を得られるとともに、それらの画像を切り替えることなく取得できる。

【0009】

このことから、遠距離撮影用ステレオカメラの作動中である高速走行中において、斜め前方から自車両の直前に他車両等が割り込んで来たような場合でも、近距離撮影用ステレオカメラの画像情報によって割り込み車両を検出し、直ちに警告や危険回避操作に繋げることができる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開平５−２６５５４７号公報

【特許文献2】特開２０１０−２７１１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、遠距離撮影用カメラは、夜間の街灯が少ない道路においても撮像できる要求があり、いわゆる暗視が可能なものが必要である。そのため、赤外光フィルタを用いて赤外光波長帯による画像を撮像するカメラ、または、赤外カットフィルタを用いずに可視光波長帯及び赤外光波長帯による画像を撮像するカメラが使用される。上記従来技術の構造においては、近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを用いることから、少なくともレンズが４つ必要となる。

【0012】

また、これらの暗視用カメラの画像は、可視光波長帯のカラー画像ではないため、物体の色が取得できないものであった。そのため、色情報の認識ができなかった。色情報の認識を行うためには、赤外光波長帯による画像を撮像する一対のステレオカメラに加えて、可視光波長帯による画像を撮像するカメラを用意して、車外監視装置（車両前方監視装置）を構成する必要があり、必要な画像処理装置が高価となってしまう。

【0013】

本発明は、上記課題を解決するためのものであり、特に、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供するものである。

【課題を解決するための手段】

【0014】

本発明の画像処理装置は、相対的に画角が広いレンズを介して集光した可視光及び近赤外光を受光することで、車両前方を可視光及び近赤外光で撮像可能な第１の撮像手段と、相対的に画角が狭いレンズを介して集光した遠赤外光を受光することで、同じく車両前方において、前記第１の撮像手段の視野と共通領域を含む視野範囲を遠赤外光で撮像可能な第２の撮像手段と、前記第１の撮像手段によって撮像された第１の画像情報及び前記第２の撮像手段によって撮像された第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得し、さらに前記第１の画像から前記第２の画像との共通領域に対応する白黒の第３の画像を切り出し、前記第１の画像によって前記対象物の色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われる画像処理部と、前記第３の画像に含まれる前記対象物の特徴点を抽出し、ステレオ測距対象物として前記対象物を画像認識し、前記特徴点に対応する対応点を前記第２の画像から探し、前記第３の画像の特徴点と前記第２の画像の対応点から前記対象物までの距離を推定する処理が行われる距離推定処理部と、を備え、抽出された前記特徴点が前記第２および第３の画像の範囲から外れた後も、前記第１の画像において前記色特徴対象物として前記対象物を認識し続け、必要に応じて車両の乗員に前記対象物の情報を通知することを特徴とする。

【0015】

第１の撮像手段は、相対的に画角が広いレンズを介して集光した可視光及び近赤外光を受光することで第１の画像情報を撮像できる。第２の撮像手段は、相対的に画角が狭いレンズを介して集光した遠赤外光を受光することで、第１の撮像手段の視野と共通領域を含む視野範囲で第２の画像情報を撮像できる。これにより、画像処理装置は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

【0017】

また、可視光及び近赤外光で第１の画像を取得するので、第１の画像に含まれる物体の色特徴を検知して対象物を画像認識することができるとともに、第１の画像と第２の画像との赤外光波長帯でのステレオカメラとしての画像を取得できる。こうすれば、可視光の光量が少ない夜間やトンネル内であっても、赤外光による画像で補うことができ、暗視のステレオ測距性能が向上する。

【0019】

また、第２の画像として遠赤外光での画像を取得するので、夜間に人体を検知する感度が、さらに向上する。

【0021】

また、車両前方の近距離に位置する信号や標識を視野内に捉えて、信号や標識を色特徴によって検知することができる。第１の撮像手段は視野範囲が広いので、第１の画像には第２の画像と視野範囲が共通する共通領域も撮像可能であり、共通領域に対応させた第３の画像を切り出すことができる。第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。

【0022】

前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることが好ましい。第１の撮像手段と第２の撮像手段とが同一基板に配置されているので、使用場所に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要である。

【0023】

前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、前記画像処理部において、前記第１の画像情報及び前記第２の画像情報に対して、前記座標変換表を用いた平行化処理が行われていることが好ましい。こうすれば、第１の撮像手段及び第２の撮像手段が理想的な平行姿勢にない状態で取得される画像情報を平行姿勢で取得される画像に補正することができる。この平行化処理による画像補正は、あらかじめ作成しておいた座標変換表を用いて行うので、画像データの画素数が多くても、高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。

【0024】

さらに、本発明の車両前方監視装置は、上記の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知するという特徴を有する。

【発明の効果】

【0026】

本発明によれば、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

【0027】

したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。

【図面の簡単な説明】

【0028】

【図1】本発明の第１実施形態における画像処理装置を示すブロック図である。

【図2】第１実施形態の画像処理装置が搭載された車両の模式正面図である。

【図3】第１実施形態の画像処理装置が搭載された車両を上から見た俯瞰図である。

【図4】第１の画像情報の画像補正を示す説明図であり、図４（ａ）は画像情報を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。

【図5】第１実施形態における画像処理手順について説明するフローチャートである。

【図6】第１の撮像手段で取得された第１の画像及び第３の画像を示す説明図である。

【図7】第１の撮像手段で取得された第１の画像及び第２の撮像手段で取得された第２の画像を示す説明図である。

【図8】可視光フィルタと赤外光フィルタの分光特性の説明図である。

【図9】可視光の画像例である。

【図10】近赤外光の画像例である。

【図11】遠赤外光の画像例である。

【図12】第２実施形態の画像処理装置を備えた車両前方監視装置のブロック図である。

【図13】従来の車外監視装置を備える車両の正面図である。

【発明を実施するための形態】

【0029】

［第１実施形態］
以下に第１実施形態における画像処理装置１について説明する。

【0030】

図１は、第１実施形態における画像処理装置１を示すブロック図である。画像処理装置１は、カメラユニット３０と画像認識手段４０と制御手段５０とを備え、車両前方を撮像するように車両に搭載される。制御手段５０は、カメラユニット３０と画像認識手段（画像認識ユニット）４０とに電源を供給するとともに、制御信号を出力して、それぞれの状態を制御している。

【0031】

カメラユニット３０は、広角レンズ１１と第１の撮像素子１２とを有して、第１の画像情報を得る第１の撮像手段１０、望遠レンズ２１と第２の撮像素子２２とを有して、第２の画像情報を得る第２の撮像手段２０、及び、第１の撮像手段１０と第２の撮像手段２０とに接続された画像出力部３１、を備えている。画像出力部３１は、第１の画像情報及び第２の画像情報を所定の時間間隔で繰り返し取得するとともに画像認識手段４０に出力する電子回路である。

【0032】

画像認識手段（画像認識ユニット）４０は、第１の画像情報及び第２の画像情報を基に対象物を認識するため、画像入力部４１、画像処理部４２、距離推定処理部４３、及び、表示用画像出力部４４、を有している。画像入力部４１には、画像出力部３１から送信された画像情報が入力され、画像処理部４２では、取得した画像情報を補正して第１の画像及び第２の画像を取得し、第１の画像から第３の画像を切り出す処理を行う。また、画像処理部４２は、距離推定処理部４３に送るステレオ画像データと表示用画像出力部４４に送る表示用画像データとを出力する。

【0033】

距離推定処理部４３では、画像処理部４２で補正された第１の画像から切り出された第３の画像と、画像処理部４２で補正された第２の画像と、を基に、共通に含まれるステレオ測距対象物を認識して、ステレオ測距対象物までの距離を推定する処理が行われる。

【0034】

表示用画像出力部４４では、ユーザが視認しやすいように調整して表示用画像を出力する。また、距離推定処理部４３で認識されたステレオ測距対象物を強調し、推定された距離を表示する処理を行う。

【0035】

図２は、本実施形態の画像処理装置１が搭載された車両の模式正面図である。車両の前方から見て、フロントガラス越しにカメラユニット３０が装着されていることを視認できる。このカメラユニット３０は広角レンズ１１及び望遠レンズ２１からなり、広角レンズ１１と望遠レンズ２１とは車両の同一高さ、且つ、左右方向に位置するとともに、車両前方の方向にレンズの光軸が向いている。カメラユニット３０は、光学的な調整が容易にできるように、１枚のカメラユニット基板（図示しない）に、画像出力部３１とともに、第１の撮像手段１０と第２の撮像手段２０とが組み込まれている。また、カメラユニット３０とは分離されて、画像認識手段４０が車両内部に配置されている。

【0036】

本実施形態の画像処理装置１は車両に搭載されているので、表示用画像出力部４４から出力される表示用画像は、車両の運転席前方側に配置された表示手段６０により視認される。表示手段６０は、例えば液晶表示装置であり、カーナビゲーション装置やオーディオ装置の表示画面を利用することができる。また、運転用のステアリング近傍や運転席前方のフロントガラスに表示手段６０を専用に設けてもよい。なお、使用する表示手段６０の表示特性に合わせて、表示用画像出力部４４でダイナミックレンジや階調を補正しておくことが好ましい。

【0037】

次に、本実施形態の画像処理装置１の撮像手段について説明する。

【0038】

本実施形態において、第１の撮像手段１０は、広角レンズ１１と第１の撮像素子１２とを有し、可視光を集光可能に構成されている。一方、第２の撮像手段２０は、望遠レンズ２１と第２の撮像素子２２とを有し、赤外光を集光可能に構成されている。

【0039】

図３は、本実施形態の画像処理装置１が搭載された車両を上から見た俯瞰図である。模式的に、第１の撮像手段１０の水平方向の画角（水平画角Ａ１）及び第２の撮像手段２０の水平方向の画角（水平画角Ａ２）を表わしている。

【0040】

第１の撮像手段１０に用いた第１の撮像素子１２は、画素数が多く、カラー撮影用の可視光フィルタを備えている。透過する波長が赤色の領域、緑色の領域、及び青色の領域のＲＧＢフィルタである。例えば、第１の撮像素子１２には、ビデオカメラに搭載されている固体撮像素子を使用することができる。例えば、水平１９２０×垂直１０８０のカラー画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ１として４０度の視野範囲を撮像できるように広角レンズ１１が選択された。

【0041】

一方、第２の撮像手段２０に用いた第２の撮像素子２２は、標準的なＶＧＡと呼ばれる画素数で、且つ、赤外光を透過する赤外光フィルタを備えている。例えば、水平６４０×垂直４８０の白黒画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ２として２０度の視野範囲を撮像できるように望遠レンズ２１が選択された。図３に示すように、第２の撮像手段２０の視野範囲は、第１の撮像手段１０の視野範囲内にある。

【0042】

＜画像処理手順＞
次に、本実施形態における画像処理手順について説明する。画像処理装置１において、画像認識手段（画像認識ユニット）４０は、第１の撮像手段１０と第２の撮像手段２０との相対的な取り付け姿勢に影響されず、カメラ実姿勢に含まれる取り付け誤差の影響を除去する平行化処理（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行う。このとき、歪み除去処理も同時に行う。

【0043】

一般的に、ステレオカメラを構成する左右の撮像手段の理想配置状態は、左右の撮像手段が完全に同一な平行姿勢で固定された状態である。そのため、ステレオカメラを用いた距離算出処理は、平行姿勢において撮影された左右の画像ペアを対象としている。

【0044】

ステレオカメラの理想的な相対取り付け姿勢（平行姿勢）とは，カメラ座標系Ｘ軸（カメラ右方向）が基線と平行であり、且つ、カメラの光軸（カメラ座標系Ｚ軸）が平行な姿勢のことである。ステレオカメラにおける基線とは、左右のレンズ中心を結ぶ直線である。画像情報の平行化処理は、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと変換を行うことで達成される。ここで、カメラ座標系とは、カメラが持つ座標系であり、画像中心を原点として，右方向がＸ軸のプラス方向，下方向がＹ軸のプラス方向，カメラの正面向きがＺ軸のプラス方向となるものを表す。

【0045】

画像処理装置１においては、カメラユニット３０に第１の撮像手段１０と第２の撮像手段２０とが組み込まれて、取り付けの位置や傾きに対する機構的な調整が行われて固定される。この後、白と黒の方形が交互に配列されたチェッカーボードを撮像して取得された画像情報によって、第１の撮像手段１０に対する第２の撮像手段２０の光学的な相対位置データを取得する。すなわち、両レンズの光軸（カメラ座標系Ｚ軸）方向の相対位置、光軸（カメラ座標系Ｚ軸）に直交する平面（カメラ座標系Ｘ軸及びＹ軸の平面）上での上下左右位置、及び第１の撮像手段１０に対する第２の撮像手段２０のロール・ピッチ・ヨーが把握される。

【0046】

こうして得られた相対位置データは、画像処理部４２にあらかじめ記録され、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと校正する変換を行う平行化処理に適用される。

【0047】

このとき、少なくとも、第１の撮像手段１０で撮像された画像情報の歪み除去処理も同時に行う。すなわち、撮像手段がレンズに固有の像高特性を有しているため、画像データ上のＸＹ座標と実空間での位置のＸＹ座標とが一致するように変換を行う。上記のチェッカーボードのＸＹ座標データが分かっているので、チェッカーボードを撮像した画像情報から歪み除去処理用のデータを取得することができる。第１の撮像手段１０は第２の撮像手段２０より広い視野範囲を有するので、撮像された画像情報は広角レンズ１１に特有の中央が大きく写り、周辺が歪んでいる画像である。この歪みをもったままであると、第３の画像を第２の画像と比較することが複雑になる。このため、撮像された画像情報に対して歪み除去処理をおこなって、歪みの無い状態の第１の画像に変換する。図４は、チェッカーボードを撮像した第１の画像の画像補正を示す説明図である。図４（ａ）は画像を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。第２の撮像手段２０で撮像された画像情報の歪み除去処理も同様に行うことが可能である。こうすれば、第１の撮像手段１０及び第２の撮像手段２０がそれぞれ固有のレンズ特性を有し、理想的な平行姿勢にない状態であっても、理想的な画像に補正することができる。

【0048】

本実施形態においては、これらの画像補正を、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）と呼ばれる変換手法によって行う。これは、撮像した画像情報における各画素の座標を、歪みの無い場合に撮像されるべき座標位置に配置し直すもので、あらかじめ座標変換表を作成しておく手法である。本実施形態では、チェッカーボードを撮像した画像情報から座標変換表を作成しておき、画像処理部４２の座標変換表記憶部４５に、あらかじめ座標変換表が記憶されている。画像処理部４２において、座標変換表記憶部４５に記憶されている第１の画像情報用の座標変換表を用いて、第１の画像情報に対して平行化処理及び歪み除去処理が行われ、第１の画像を取得する。同様に、第２の画像情報に対して第２の画像情報用の座標変換表を用いて、平行化処理及び歪み除去処理が行われ、第２の画像を取得する。なお、一方の画像情報を基準にすれば、平行化処理については他方の画像情報のみ行えばよい。一般的に、これらの画像補正は、画像情報の各画素に対して計算式を用いた計算により行うことができる。しかしながら、画素数が増加すると、計算量が膨大になるため、処理速度が低下する問題を有していた。本実施形態では、この歪み除去処理をあらかじめ記憶された座標変換表を用いて行うので、数式による演算処理が不要で、画像データの画素数が多くても高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。

【0049】

図５は、第１実施形態における画像処理手順について説明するフローチャートである。画像認識手段４０における画像処理手順として、ステップＳＴ１では、第１の撮像手段１０と第２の撮像手段２０とが撮像した画像情報が、画像処理部４２に入力され、画像情報が取得される。ステップＳＴ２では、上述した画像補正を行い、第１の画像情報を補正して第１の画像、及び、第２の画像情報を補正して第２の画像が取得される。

【0050】

さらに、ステップＳＴ３では、取得された第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出し、第３の画像が取得される。第１の撮像手段１０で撮像された第１の画像は、水平画角４０度なので視野範囲が広く、第２の撮像手段２０で撮像された第２の画像との共通領域を含んでいる。裏返して言えば、第２の撮像手段２０で撮像された第２の画像は、水平画角２０度なので、第１の画像に比べて視野範囲が狭く、且つ、第１の画像と共通領域を有する。そのため、第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出すことができる。

【0051】

ステップＳＴ２で第１の画像を補正するとともに、ステップＳＴ３で第１の画像から第３の画像を切り出す画像処理は、画像処理部４２で行われる。このとき、切り出された第３の画像に対して、グレイスケール画像に変換される。

【0052】

次に、距離推定処理部４３において、共通領域に対応させた第３の画像に含まれる対象物の特徴点を抽出して、特徴点に関係付けされたステレオ測距対象物を認識し、画像処理装置の撮像位置からステレオ測距対象物までの距離を推定する処理が行われる。ステップＳＴ４では、第３の画像に含まれる対象物の特徴点が抽出され、第３の画像に映っている特徴点について、対応する第２の画像が探索される。第３の画像に映っている特徴点に対応する第２の画像の対応点が探索されると、ステップＳＴ５で、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量が計測される。第３の画像に含まれる対象物の特徴点と第２の画像に含まれる対応点に関係付けされたステレオ測距対象物に対して、画像位置のずれ量により、三角測量の原理で距離が算出される。この処理は、ステップＳＴ６で画像処理が終了されるまで、次のタイミングで撮像された画像情報に対して同様に繰り返される。

【0053】

図６は、第１の画像及び第２の画像を示す説明図である。なお、第１の画像と第２の画像とを比較しやすくするため、一般的な可視光の白黒画像を用いて説明する。この図６において、車両から信号までの距離は仮に５０ｍ程度としている。図６（ａ）は、第１の撮像手段１０で撮像された第１の画像及び第３の画像（Ｆ領域の画像）を示す説明図である。ここで、第１の画像は元々カラー画像であり、第３の画像は白黒の濃淡画像である。図６（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。上述した補正処理が行われた後の画像イメージで示している。図６（ａ）においては、第２の画像との共通領域に対応して、第１の画像からＦ領域の画像を切り出す画像処理が行われている。車両前方の遠方にある信号は、第２の画像及び第３の画像に共通に含まれている。

【0054】

図７は、第１の画像及び第２の画像を示す説明図である。図６と同様に、可視光の画像を用いて比較しやすくしている。この図７において、車両から信号までの距離は仮に１５ｍ程度としている。図７（ａ）は、第１の撮像手段１０で撮像された第１の画像を示す説明図である。図７（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。図７（ａ）では、車両前方の信号が第１の画像に含まれていることが分かる。しかし、図７（ｂ）では、信号が第２の画像に含まれていない。つまり、図６にて表した信号までの距離が５０ｍの場合では、第１の撮像手段１０及び第２の撮像手段２０の双方で信号の認識ができていたが、信号までの距離が１５ｍまで近づいた図７においては、第１の撮像手段１０のみでしか信号の認識を行うことができない。これは第１の撮像手段１０の視野範囲が広いためであるが、画像処理装置１は、車両前方に近づいたときの信号等、視野範囲の周辺にある対象物を、第１の画像を用いることにより認識し続けることができる。

【0055】

また、図６に示す信号のように第３の画像及び第２の画像に共通する対象物として認識され、左右画像における対象物の画像位置の相対的なずれ量が計測され、画像位置のずれ量により、距離が推定される。いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を継続追尾する。これにより、第２の撮像手段２０の視野範囲から逸脱した後も、第１の画像にて特徴点の画像位置が経時変化する様子を基に対象物までの距離を推定できる。したがって、第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。

【0056】

さらに、第１の撮像素子１２がカラー撮影用の撮像素子なので、カラー画像である第１の画像によって、対象物の色特徴を検知することが可能である。この場合は、画像処理部４２において、第１の画像に含まれる色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する処理が行われる。このため、第１の画像によって可視光での色特徴を抽出した対象物に対して、素早い認識ができる。第３の画像及び第２の画像の共通するステレオ測距対象物として認識された特徴点の色特徴を検知して、対象物を認識させ続けることができる。また、第１の画像によって可視光での色特徴に関係付けされた色特徴対象物に対して、第３の画像及び第２の画像の共通するステレオ測距対象物と同一であれば、該対象物までの距離を推定できる。

【0057】

図７（ａ）で追尾された信号の色特徴を認識していれば、赤信号から青信号に変化したときに、色特徴の変化として認識して、表示用画像に色変化したことを出力したり、合図音を鳴らしたりすることができる。

【0058】

したがって、車両に搭載されて車両前方を撮像する画像処理装置１に好適である。画像処理装置１では、第１の撮像手段１０と第２の撮像手段２０とが車両前方を撮像するように搭載される。第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、第２の画像が車両前方における第２の遠距離画像であって、第２の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすることができる。第１の撮像素子１２が広角レンズ１１で焦点深度が相対的に深いので、第１の画像には遠方の対象物も撮像可能である。車両前方の近距離に位置する信号や標識を視野内に捉えているので、信号の自動認識や標識の自動認識が可能である。

【0059】

また、１枚のカメラユニット基板に第１の撮像手段１０と第２の撮像手段２０とが配置されて組み込まれたカメラユニット３０を、車両のフロントガラスを通して車両前方を撮像するように配置すれば、車両への取り付けが容易である。さらに、左右のカメラが別体の配置に比べて、第１の撮像手段１０と第２の撮像手段２０とが同一基板に配置されているので、車両に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要であるという効果を奏する。小型のカメラユニット３０では、左右のレンズ間隔（基線長）は６５ｍｍ程度にされた。一方、より遠距離での距離推定精度を確保したい場合は、横長にして、基線長を３００ｍｍ程度にすればよい。

【0060】

本実施形態では、第１の撮像手段１０と第２の撮像手段２０とは、それぞれ１つのレンズだけを用いるので、レンズは２つだけである。また、撮像素子の撮像面は、多数の画素の集合体であり、測定精度を向上させるためには、画素の数を増やす必要があるが、４つのレンズに対応する必要はない。撮像素子の画素数の増加は撮像面の大型化だけでなく、画素数に対応する電子情報処理量の増加やそれに必要な処理速度の高速化など、システム規模にも影響する。したがって、一対のステレオカメラに相当する画像を取得するだけの画像処理装置１は、撮像素子の画素数が最小限であり、システムとしても安価である。

【0061】

以下、本実施形態としたことによる効果について説明する。

【0062】

第１の撮像手段１０は可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段２０は、第１の撮像手段１０の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置１は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置１の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。

【0063】

以上の説明では、第１の撮像素子１２が可視光フィルタを備えているカラー撮影用の撮像素子であるとしたが、実際には、近赤外光にも感度を有している撮像素子を用いて、第１の撮像手段１０を、近赤外光を集光可能とし、可視光と近赤外光とで第１の画像情報を撮像する。

【0064】

第１の撮像素子１２では、可視光フィルタに加えて、赤外光フィルタを用意して、可視光フィルタでは遮断される赤外光を撮像する画素を配置しておけばよい。図８は、可視光フィルタと赤外光フィルタの分光特性の説明図である。それぞれ、透過する波長が赤色の領域、緑色の領域、及び青色の領域のＲＧＢフィルタと、波長が７００ｎｍ以上の近赤外光を透過して、６８０ｎｍ以下の可視光を反射又は吸収するＩＲフィルタである。こうすれば、第１の撮像手段１０は可視光及び近赤外光で第１の画像情報を撮像できる。

【0065】

図９に可視光の画像例を示す。図１０には図９と同時に撮影された近赤外光の画像例を示す。図９では遠方や側方の視野が暗く視認しにくい画像であるが、図１０では遠方や側方の視野も明るく、「暗視」と呼んでいる画像が得られている。したがって、可視光の光量が少ない夜間やトンネル内であっても、赤外光で取得された画像で補うことができ、暗視のステレオ測距性能が向上する。

【0066】

第２の撮像素子２２は赤外光波長帯の画像を取得するための赤外フィルタを備え、赤外光に感度を有している。なお、赤外フィルタを用いず、全波長帯の感度をカットせずに画像を取得してもよいが、可視光波長帯の画像を含む場合には、赤外光波長帯の画像に特有のコントラストが得られなくなるので、使用目的に応じて赤外フィルタを備えるようにすることが好ましい。

【0067】

第２の撮像素子２２は遠赤外光を検知する遠赤外撮像素子である。図１１には、図９と同時に撮影された遠赤外光の画像例を示す。図９や図１０に比べて、より遠方の視野が視認されやすくなっていることが分かる。また、第２の画像として遠赤外光での画像を取得すると、遠赤外光を発する人体も明るく視認されるので、夜間に人体を検知する感度が、さらに向上する。

【0068】

なお、ステレオ測距に必要な画像情報に余分な周辺画像データを含まない画像処理であることから、処理速度が速いという副次的効果を奏する。

【0069】

画像処理装置１は車両に搭載する以外に、防犯用カメラや自走型ロボット等に使用することができる。

【0070】

［第２実施形態］
本発明の第２実施形態における画像処理装置２について説明する。

【0071】

図１２は、第２実施形態の画像処理装置２を備えた車両前方監視装置１００のブロック図である。第１実施形態の画像処理装置１と共通するところは、同じ符号をつけて説明は省略する。

【0072】

第２実施形態において、画像処理装置２では、距離推定処理部４３から表示用画像出力部４４に表示用の情報を渡すことに加えて、推定された対象物までの距離をもって、乗員に前方情報を報知する車両制御用の情報を警告判定部７０に渡している。

【0073】

警告判定部７０では、距離推定処理部４３で車両前方の対象物までの距離が推定された距離データと、表示用画像出力部４４で認識された対象物の継続追尾データと、をもとに警告を行う判定がなされる。例えば、前方の先行車両や障害物に衝突する前に警告を発する警告手段７１に警報を出力したり、危険回避操作手段７２に危険回避操作として車両のブレーキを作動させたりする指令を出力したりする。

【0074】

なお、第１実施形態の画像処理装置１と同様に、表示用画像出力部４４から、カーナビゲーション装置等の表示画面を利用した表示手段６０に表示データを出力させてもよい。

【0075】

以下、本実施形態としたことによる効果について説明する。

【0076】

第１の撮像手段１０は車両前方における可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段２０は第１の画像の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置２は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置２の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、画像処理装置２を備えた車両前方監視装置１００は、車両前方の遠距離に位置するステレオ測距対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。また、色特徴対象物を画像認識することによって、信号の自動認識や標識の自動認識が可能となる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。

【0077】

例えば、信号や標識を認識できるので、警告手段７１で音声や警告を発する運転補助に利用することが可能である。また、運転者が赤信号や規制標識を認知していない場合に警告手段７１での警告や危険回避操作手段７２でのブレーキ操作ができる。

【0078】

さらに、第１の画像が視野範囲の広い近距離画像であれば、車線検知が可能であり、蛇行検知、警告、制御も可能である。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定でき、さらに、広い視野範囲の画像による警告、制御が可能である。

【0079】

さらに、いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を、表示用画像出力部４４に送られた表示用画像データの視野範囲で継続追尾することができる。

【0080】

以上のように、本実施形態の画像処理装置２は、可視光波長帯での第１の画像と、第１の画像と共通領域を有する赤外光波長帯での第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる対象物を特徴点の抽出によってステレオ測距対象物として認識でき、該ステレオ測距対象物までの距離を推定できる。また、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。よって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。

【0081】

したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。

【0082】

本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。例えば次のように変形して実施することができ、これらの実施形態も本発明の技術的範囲に属する。

【0084】

画像処理装置に無線通信手段を設けて、表示手段６０を有する遠隔操作装置に無線通信するようにしてもよい。

【0085】

あるいは、画像処理装置に表示手段６０が一体に設けられていてもよい。

【符号の説明】

【0086】

１、２ 画像処理装置
１０ 第１の撮像手段
１１ 広角レンズ
１２ 第１の撮像素子
２０ 第２の撮像手段
２１ 望遠レンズ
２２ 第２の撮像素子
３０ カメラユニット
３１ 画像出力部
４０ 画像認識手段（画像認識ユニット）
４１ 画像入力部
４２ 画像処理部
４３ 距離推定処理部
４４ 表示用画像出力部
４５ 座標変換表記憶部
５０ 制御手段
６０ 表示手段
７０ 警告判定部
７１ 警告手段
７２ 危険回避操作手段
１００ 車両前方監視装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】