特開 2024-100166 車載カメラシステム、及び、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100166

(43)【公開日】2024-07-26

(54)【発明の名称】車載カメラシステム、及び、画像処理方法

(51)【国際特許分類】

   G06T 7/55 20170101AFI20240719BHJP

   G06T 7/70 20170101ALI20240719BHJP

   G06T 7/00 20170101ALI20240719BHJP

   G06T 7/254 20170101ALI20240719BHJP

   H04N 7/18 20060101ALI20240719BHJP

   H04N 23/90 20230101ALI20240719BHJP

   H04N 23/60 20230101ALI20240719BHJP

【ＦＩ】

G06T7/55

G06T7/70 Z

G06T7/00 650A

G06T7/254 A

H04N7/18 J

H04N23/90

H04N23/60 500

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023003960

(22)【出願日】2023-01-13

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】的野 春樹

(72)【発明者】

【氏名】入江 耕太

(72)【発明者】

【氏名】城戸 英彰

【テーマコード（参考）】

5C054

5C122

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FD01

5C054HA30

5C122DA14

5C122EA01

5C122EA68

5C122FA18

5C122FH06

5C122FH07

5C122FH11

5C122FH12

5C122FH14

5C122FH16

5C122GE06

5C122GE23

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5L096AA02

5L096AA06

5L096AA09

5L096BA04

5L096CA04

5L096CA05

5L096EA03

5L096FA09

5L096FA32

5L096FA64

5L096FA66

5L096FA67

5L096FA69

(57)【要約】

【課題】ボケの影響を低減した画像処理方法を提供する。
【解決手段】撮像領域の少なくとも一部が重複した重複撮像領域を有するように配置された複数のカメラによって撮影された複数の画像を取得する画像取得部と、自車両の姿勢の変化に基づいて、カメラ毎の姿勢変化を算出する代表距離算出部と、前記複数のカメラによって撮像された複数の画像の前記重複撮像領域における特徴点の位置の変化量を求める移動量演算部と、前記特徴点の位置の変化量に基づいて画像を縮小し、前記縮小された縮小画像を用いて、前記重複撮像領域における三次元情報を取得する三次元情報取得部と、を備える画像処理システム。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像領域の少なくとも一部が重複した重複撮像領域を有するように配置された複数のカメラによって撮影された複数の画像を取得する画像取得部と、
自車両の姿勢の変化に基づいて、カメラ毎の姿勢変化を算出する代表距離算出部と、
前記複数のカメラによって撮像された複数の画像の前記重複撮像領域における特徴点の位置の変化量を求める移動量演算部と、
前記特徴点の位置の変化量に基づいて画像を縮小し、前記縮小された縮小画像を用いて、前記重複撮像領域における三次元情報を取得する三次元情報取得部と、を備える画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記移動量演算部は、自車両の姿勢の変化に基づいて、前記複数のカメラによって撮像された画像のうち路面が撮像される路面候補領域における特徴点の位置の変化量を求めること、を特徴とする画像処理システム。

【請求項3】

請求項２に記載の画像処理システムにおいて、
前記代表距離算出部は、前記複数のカメラのうち少なくとも二つのカメラによって撮影された画像を用いて前記自車両の姿勢を推定する車両姿勢推定部を有し、
前記移動量演算部は、前記車両姿勢推定部による推定結果を用いて、前記路面候補領域を定め、前記定められた路面候補領域に含まれる特徴点の移動量を求めること、を特徴とする画像処理システム。

【請求項4】

請求項１に記載の画像処理システムにおいて、
前記代表距離算出部は、前記複数のカメラのうち少なくとも一つのカメラにより撮像された画像における消失点の位置を求める消失点位置特定部を有し、
前記移動量演算部は、あるタイミングで撮影された画像の消失点の位置と当該画像の次のタイミングで撮影された画像の消失点の位置の差に基づいて、前記複数のカメラにより撮像された画像における特徴点の移動量を求めること、を特徴とする画像処理システム。

【請求項5】

請求項１に記載の画像処理システムにおいて、
前記移動量演算部は、前記複数のカメラの各々によって撮像された複数の画像毎に前記特徴点の移動量を求め、
前記三次元情報取得部は、前記複数の画像毎に求められた前記特徴点の移動量の少なくとも一つに基づいて縮小率を計算し、前記計算された縮小率を用いて前記複数の画像を縮小する画像縮小部を有すること、を特徴とする画像処理システム。

【請求項6】

請求項５に記載の画像処理システムにおいて、
前記画像縮小部は、前記複数の画像のうち前記特徴点の移動量が大きい画像における前記特徴点の移動量に基づいて、前記縮小率を計算すること、を特徴とする画像処理システム。

【請求項7】

請求項５に記載の画像処理システムにおいて、
前記画像縮小部は、前記計算された縮小率が所定の最低縮小率より小さい場合、当該最低縮小率を用いて前記複数の画像を縮小すること、を特徴とする画像処理システム。

【請求項8】

画像処理システムが実行する画像処理方法であって、
前記画像処理システムは、所定の演算処理を実行する演算装置と、前記演算装置がアクセス可能な記憶装置を有し、
前記画像処理方法は、
前記演算装置が、撮像領域の少なくとも一部が重複した重複撮像領域を有するように配置された複数のカメラによって撮影された複数の画像を取得する画像取得手順と、
前記演算装置が、自車両の姿勢の変化に基づいて、カメラ毎の姿勢変化を算出する代表距離算出手順と、
前記演算装置が、前記複数のカメラによって撮像された複数の画像の前記重複撮像領域における特徴点の位置の変化量を求める移動量演算手順と、
前記演算装置が、前記特徴点の位置の変化量に基づいて画像を縮小し、前記縮小された縮小画像を用いて、前記重複撮像領域における三次元情報を取得する三次元情報取得手順と、を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラを使用して自車両の外界を認識する、車載カメラシステム、及び、画像処理方法に関する。

【背景技術】

【0002】

運転支援システムや自動運転システムの技術要素として、ＡＣＣ（Adaptive Cruise Control）や、ＡＥＢＳ（Advanced Emergency Braking System）や、ＬＫＡＳ（Lane Keeping Assist System）などの車両制御技術が知られている。これらの車両制御技術を実現するために、車載カメラで撮像した画像に基づいて自車両周辺の物標（例えば、他車両、歩行者、サイクリスト、交通信号機、交通標識、白線、障害物など）を常時認識し、追跡することで、先行車に追従走行したり、緊急ブレーキを動作したり、走行車線をはみ出さないよう操舵制御したりする技術が知られている。また、自車両の前後だけでなく側方も監視するために複数のカメラを配置して、これらの複数のカメラが撮影した画像を用いて自動駐車を可能にする車両も普及しつつある。

【0003】

車両制御の精度を向上するためには、カメラが鮮明な画像を撮影する必要があり、撮影パラメータの調整が必要になる。すなわち、走行中の車両から撮影した画像は、露光時間に物体が移動する距離分のブレが生じ、ボケた画像が撮影される。

【0004】

車載カメラの露光時間を制御する従来技術して、特許文献１が知られている。同文献の要約書には、課題として「車両の走行状態に配慮して、車両周辺の画像を撮像して表示する。」と記載されており、解決手段として「車載カメラ制御装置は、車載カメラが搭載された車両の車速を取得する車速取得手段と、車速取得手段で取得した車速に応じて、車載カメラの露光時間を変更するカメラ制御手段とを備える。」と記載されている。また、同文献の段落００３６には「車両が高速に移動しているときは、鮮明な画像ではないものの、リアルタイムに車両周辺の画像を表示することができる。」との記載がある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８－１７４０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

前述したような、ボケた画像を用いると、ステレオマッチング処理に使用されるマッチングウィンドウを広くする必要があり、計算コストが増大し、視差測距精度が低下する問題がある。

【0007】

また、特許文献１の露光時間制御は、自車両周辺の画像をリアルタイム表示するために、車速に応じて車載カメラの露光時間を一律に変更するものであるが、この露光時間制御によっては、高速移動時に鮮明な画像を取得できないという問題がある。従って、特許文献１に記載された技術で撮像された画像を使用すると、自車両周辺の物標を正確に認識できず、ＡＣＣ、ＡＥＢＳ、ＬＫＡＳ等で適切な車両制御ができない可能性がある。

【0008】

そこで、本発明では、ボケの影響を低減して、ＡＣＣ、ＡＥＢＳ、ＬＫＡＳ等の車両制御に必要とされる、正確な三次元情報と物標認識情報を、車速の影響を受けることなく取得できる車載カメラシステム、及び、画像処理方法の提供を目的とする。

【課題を解決するための手段】

【0009】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、撮像領域の少なくとも一部が重複した重複撮像領域を有するように配置された複数のカメラによって撮影された複数の画像を取得する画像取得部と、自車両の姿勢の変化に基づいて、カメラ毎の姿勢変化を算出する代表距離算出部と、前記複数のカメラによって撮像された複数の画像の前記重複撮像領域における特徴点の位置の変化量を求める移動量演算部と、前記特徴点の位置の変化量に基づいて画像を縮小し、前記縮小された縮小画像を用いて、前記重複撮像領域における三次元情報を取得する三次元情報取得部と、を備える画像処理システムである。

【発明の効果】

【0010】

本発明の一態様によれば、露光時間における車両の移動によるボケの影響を低減できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例の車載カメラシステムの機能ブロック図である。

【図2】本発明の実施例のカメラの視野領域とステレオ視領域の関係を例示する図である。

【図3】本発明の実施例の車載カメラシステムが実行する処理のフローチャートである。

【図4】本発明の実施例のカメラ群が撮影した画像における消失点を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施例に係る車載カメラシステム１００について、図面を参照して説明する。

【0013】

図１は、車載カメラシステム１００の機能ブロック図である。この車載カメラシステム１００は、自車両１に搭載されており、画像取得部２０と、代表距離算出部３０と、画素毎の移動量演算部１０６と、三次元情報取得部４０とを有する。以下順に説明する。

【0014】

＜画像取得部２０＞
画像取得部２０は、カメラ群１０１と、露光制御部１０２で構成される。

【0015】

カメラ群１０１は、自車両周辺を撮像して撮像データＰを出力するセンサであり、本実施例の自車両１には、車外全周を撮像できるように複数のカメラ２１～２６が設置されている。なお、カメラ群１０１の各カメラは、撮像範囲の少なくとも一部が他カメラの撮像範囲と重複するように設置されている。

【0016】

図２は、自車両１の上面図に、カメラ群１０１の各カメラの視野領域Ｃと、ステレオ視領域Ｖの関係を例示する図である。

【0017】

本実施例のカメラ群１０１は、実線で示す前方の視野領域Ｃ２１を撮像する前方カメラ２１と、一点鎖線で示す右前の視野領域Ｃ２２を撮像する右前カメラ２２と、破線で示す右後の視野領域Ｃ２３を撮像する右後カメラ２３と、実線で示す後方の視野領域Ｃ２４を撮像する後方カメラ２４と、一点鎖線で示す左後の視野領域Ｃ２５を撮像する左後カメラ２５と、破線で示す左前の視野領域Ｃ２６を撮像する左前カメラ２６が設置されており、これら六つのカメラによって構成され、車外全周を撮像できる。

【0018】

複数の視野領域Ｃが重複する領域では、同一物体を複数の視線方向から撮像（ステレオ撮像）でき、周知のステレオマッチング技術を用いれば、撮像物（自車両周辺の移動体、静止物、路面など）の三次元情報を取得できる。そのため、視野領域Ｃが重複する領域を、ステレオ視領域Ｖと称する。

【0019】

なお、図２では、前後左右のステレオ視領域Ｖ１～Ｖ４を例示しているが、ステレオ視領域Ｖの数や方向はこの例に限定されない。また、図２は、各カメラの視野領域Ｃを単純化して図示したものであり、各カメラの実際の撮像可能距離は、図示する大小関係である必要はない。一例を挙げれば、各カメラの実際の撮像可能距離は、前方カメラ２１と後方カメラ２４が２００ｍ程度であり、その他のカメラが５０ｍ程度である。この場合、ステレオ視領域Ｖの撮像可能距離は、５０ｍ程度となる。

【0020】

露光制御部１０２は、カメラ群１０１の明るさを調整する。後術するステレオマッチング技術において精度よく距離を測定するためには、カメラ間で同一の明るさになるように調整する必要がある。露光制御部１０２は、各カメラからの画像Ｐから輝度の平均値を算出し、計算された輝度の平均値を用いて中間の階調に収まるようにＣＭＯＳセンサの露光時間を決定して、ＣＭＯＳセンサの露光時間を制御する。各カメラで明るさが異なる場合、自車両１の進行路を撮影するカメラの露光調整を優先して、当該カメラの明るさが中間値になるように調整するとよい。これによって、自車両１が衝突する可能性がある障害物の発見を優先できる。

【0021】

カメラの露光方法には各カメラの露光時間を、カメラモジュール内で完結したシステムと、外部から露光時間を設定できるシステムがある。カメラモジュール内で完結するシステムは、部品の独立性が高まり多目的用途にカメラを流用する場合や、カメラを別の種類のカメラに変更することが容易になる利点がある。しかし、ステレオマッチングを考慮した最適な露光に調整するような細かい制御が困難である。例えば、露光時間を長くすると、撮影された画像がボケて、ステレオマッチング処理による正しい距離の算出が困難になる。

【0022】

周知のステレオマッチングの技術について説明する。ステレオマッチングの技術では、複数の位置にカメラを配置して同一対象物を複数の異なる視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。２台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式１で表される。

【0023】

【数1】

【0024】

数式１において、Ｚ［ｍｍ］は対象物体までの距離、ｆ［ｍｍ］は焦点距離、ｗ［ｍｍ／ｐｘ］は画素ピッチ、Ｂ［ｍｍ］はカメラ間の距離（基線長）、Ｄ［ｐｘ］は視差を表す。

【0025】

視差を算出するにあたっては、複数の位置から撮像された画像を水平に並べ、左画像内の特定の点に対応する点が右画像内で撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。平行化とは、画像の縦方向の位置合わせであり、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。

【0026】

平行化された左右の画像をブロック毎に左右の一致する位置を探索して画素毎の距離を算出できる。この距離データから平面を推定して、平面上の点群を除去し、残った点群のうち距離が近いものをグルーピングすることで、障害物を検出できる。また、落下物のような小さな障害物は、進行路上の道路をなだらかな平面であると仮定し、当該平面において段差になっている位置によって検出できる。

【0027】

ここで、左右の一致する位置を探索際の前提条件として、左右の画像が同じように撮影されている必要がある。また、探索ブロックには十分にユニークな模様があることが前提である。切り取られたブロックにユニークな模様がないと、画像内を探索しても、類似する場所が多数見つかり、左右画像から同一箇所を正しく特定できない。自動車の走行中は、画面内を映像が流れるように移動するため、本来ＣＭＯＳセンサの１画素に集光される光が、複数の画素に跨って撮影されることがある。これは、露光時間とカメラからの対象物までの距離、そして、対象物とカメラの相対的な移動速度によって決まる。

【0028】

探索ブロック内に十分ユニークな模様が得られないときは、探索ブロックのサイズを大きくしてより広い領域において左右画像を照合して正しい場所を特定できる。しかし、ブロックサイズを大きくすると処理する画像のサイズが大きくなり処理コストが増加する。そこで、ブロック内に十分ユニークな模様が含まれる広い領域を、ユニークな模様が残るサイズまで縮小する機構を設けることで、計算コストを抑えつつ照合位置を特定する精度を維持できる。

【0029】

＜代表距離算出部３０＞
代表距離算出部３０は、消失点位置特定部１０３と、車両姿勢推定部１０４と、カメラ姿勢算出部１０５で構成される。

【0030】

消失点位置特定部１０３は、カメラ群１０１の少なくとも一つのカメラから画像を取得し、過去１フレームの画像Ｐを保持し、現フレームの画像Ｐと各画素の位置を既知のオプティカルフロー技術によって画素毎の移動ベクトルを求め、移動ベクトルの各線分が交わる交点（消失点）を求めて、交点座標を出力する。本実施例では画像の特徴点として、消失点を用いる。消失点は、図４に示すように、透視図法において、視点を通る直線と平行な直線の交点であり、路面を延長した路面候補領域の端部を構成する水平線上に検出される。

【0031】

車両姿勢推定部１０４は、消失点位置特定部１０３が出力する交点座標と、自車両１にカメラが取り付けられた初期の消失点位置と、消失点位置の初期位置からの変化量を算出する。そして、カメラのレンズ焦点距離と、ＣＭＯＳセンサのピクセルサイズが既知の場合、消失点位置の変化量から自車両１の路面に対する傾きを示す角度の変化を算出する。

【0032】

カメラ姿勢算出部１０５は、カメラ群１０１の一つのカメラが撮影した画像Ｐから求めた自車両１と路面の角度関係の変化からカメラ毎の姿勢変化を算出する。例えば、自車と路面の関係において進行方向の軸が垂直方向に１度ずれた場合、光軸が水平となるように自車両１に取り付けられているカメラは、光軸が１度だけ垂直方向にずれた状態となる。

【0033】

＜画素毎の移動量演算部１０６＞
画素毎の移動量演算部１０６は、各カメラが撮影した画像のうち、ステレオマッチングされる画像ペアの各画像中の画素毎の移動量を計算する。画素毎の移動量は、画像中の全画素について計算してもよいが、特徴点のみについて計算してもよい。画素毎の移動量演算部１０６は、例えば、画像上で消失点の位置より下方を路面候補領域に定めるとよい。そして、画素毎の移動量演算部１０６は、定められた路面候補領域に含まれる特徴点の位置の変化（移動量）を計算する。特徴点には、例えば、路面に表示された白線の角など、特徴点の周囲で色彩やコントラストの変化が大きい点を用いるとよい。

【0034】

＜三次元情報取得部４０＞
三次元情報取得部４０は、画像の重複領域に対して、画素毎に距離を算出する機能ブロックであり、画像校正部１０７と、縮小部１０８と、ブロックマッチング部１０９と、距離算出部１１０で構成される。

【0035】

画像校正部１０７は、予め校正チャートを撮影した結果から、カメラの内部パラメータ（例えば露光時間）及び外部パラメータ（例えばカメラの取り付け位置）を求めておき、これらの内部パラメータ及び外部パラメータに基づいて画像を校正する。例えば、画像のペアを平行化する。

【0036】

画素毎の移動量演算部１０６で、露光時間内にＣＭＯＳセンサ上の何画素に跨って撮像されるかが求められているため、縮小部１０８は、跨っている画素が１ピクセル以下になるように縮小倍率を決定し縮小する。画素毎の移動量が、１画像内で大きな乖離がある場合、異なる縮小倍率の２以上の画像を生成してもよい。倍率の異なる複数の縮小画像を生成すると、可能な限り解像度を維持できるため、画像の分解能を維持でき、画像の劣化を抑制できる。しかし、画像を保持するために多くのメモリの記憶領域が必要になり、縮小処理を複数回実行する計算コストが必要となる。

【0037】

ブロックマッチング部１０９は、画像校正、縮小後の画像ペアに対してＳＡＤ（sum of absolute difference）をコスト関数にしたマッチング処理を行う。本実施例では、コスト関数としてＳＡＤを用いるが、他のコスト関数を用いるマッチング処理でもよい。

【0038】

距離算出部１１０は、前述した数式１を用いて距離を算出する。

【0039】

車載カメラシステム１００は、例えば、車載電子制御装置に実装される場合、演算装置、記憶装置、及び通信インターフェースを有するコンピュータによって構成される。演算装置は、記憶装置に格納されたプログラムを実行するプロセッサ（例えばマイコン）である。演算装置が、所定のプログラムを実行することによって、車載カメラシステム１００の各機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域及び揮発性記憶領域を含む。不揮発性記憶領域は、演算装置が実行するプログラムを格納するプログラム領域と、演算装置がプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、演算装置がプログラム実行時に使用するデータを格納する。通信インターフェースは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。

【0040】

図３は、車載カメラシステム１００が実行する処理のフローチャートである。

【0041】

消失点位置特定部１０３は、カメラ群１０１の少なくとも一つのカメラＡから画像を取得する。例えば、カメラＡで時刻（Ｔ－１）に撮影された画像Ａ’と、最新（時刻Ｔ）の画像Ａから特徴点となる物標（例えば、図４に示す路面上に表示される左右の白線）を検出して、その交点である消失点の座標を算出する（Ｓ３０１）。

【0042】

次に、車両姿勢推定部１０４は、カメラＡによって時刻Ｔ－１に撮影された画像Ａ’と、時刻Ｔに撮影された画像Ａにおける消失点の位置の変化量を算出する（Ｓ３０２）。

【0043】

次に、カメラ姿勢算出部１０５は、カメラＡの消失点位置の変化量と、処理対象のカメラＢの取付位置の情報、カメラＢと路面の位置関係の補正量を計算する（Ｓ３０３）。例えば、ステップＳ３０２で計算されたカメラＡの消失点位置の変化量と、カメラＡの取付位置の情報（取付位置、光軸方向）から、車両座標系における消失点の位置変化量が計算される。そして、車両座標系における消失点の位置変化量と、カメラＢの取付位置の情報（取付位置、光軸方向）から、カメラＢ座標系における消失点の位置変化量、すなわち、カメラＢと路面の位置関係の補正量が計算される。

【0044】

次に、画素毎の移動量演算部１０６は、計算されたカメラＢと路面の位置関係の補正量を用いて、カメラＢによって時刻Ｔ－１に撮影された画像と、時刻Ｔに撮影された画像における特徴点の位置の変化量から、路面が平坦で障害物がない空間と仮定した場合の各画素のカメラからの距離を算出する（Ｓ３０４）。

【0045】

次に、画素毎の移動量演算部１０６は、ステップＳ３０４で計算された各画素の距離と車速から、特徴点の実際の位置の相対移動速度を計算し、移動速度とカメラＢの露光時間から、画像上の各画素の移動量（ボケ量）を算出する（Ｓ３０５）。

【0046】

次に、画像校正部１０７は、カメラの内部パラメータ及び外部パラメータに基づいて画像を校正し、画像に生じている歪を補正する（Ｓ３０６）。

【0047】

次に、縮小部１０８は、複数の画像毎に求められた特徴点の移動量の縮小率を計算する（Ｓ３０７）。すなわち、縮小部１０８は、複数の画像毎に求められた特徴点の移動量の少なくとも一つに基づいて縮小率を決定し、望ましくは、特徴点の移動量が大きい画像における特徴点の移動量を用いて、前記縮小率を決定するとよい。縮小部１０８は、全画素で一つの最大値から縮小率を計算してもよいが、注目領域（ＲＯＩ）毎の最大値に基づいて縮小率を計算してもよい。この場合、注目領域は、認識された物の全領域や、画像を分けた複数の分割領域（例えば、遠方領域と近傍領域）などを採用できる。縮小率の計算において、車両の主たる移動方向である横（水平）方向の移動量が用いられるが、縦（垂直）方向の移動量が用いて縮小率を計算してもよい。また、撮像領域内の縮小率と、画像の移動量から計算される縮小率を比較して、計算された縮小率を修正してもよい。すなわち、縮小率の最低値を定めておき、計算された縮小率が最低縮小率より小さい場合、最低縮小率を採用してもよい。

【0048】

次に、縮小部１０８は、ステップＳ３０７で計算された縮小率を用いて、カメラ群１０１の各カメラが撮影した画像を縮小する（Ｓ３０８）。

【0049】

次に、ブロックマッチング部１０９は、重複領域が撮影されたペア画像をマッチングする（Ｓ３０９）。

【0050】

次に、距離算出部１１０は、ステップＳ３０９におけるマッチング結果を用いて、距離を算出する（Ｓ３１０）。

【0051】

なお、本実施例の車載カメラシステム１００は、消失点位置特定部１０３を設けなくてもよい。消失点位置特定部１０３を設けない場合、自車両１周辺が常に水平平面と仮定して、露光時間により画素毎の移動量を演算するとよい。消失点を求める計算コストが削減できるが、自車両１の姿勢変化が大きい場合には精度が劣化する場合がある。

【0052】

前述の実施例では、消失点位置特定部１０３は、カメラ群１０１の一つのカメラから取得した画像を用いて消失点を求めたが、カメラ群１０１の全てのカメラから取得した画像を用いて消失点を求めてもよい。カメラ群１０１と代表距離算出部３０が一体となった構成では、計算リソースに余裕があることから、カメラ群１０１の各カメラから取得した画像を用いて消失点を求めるとよく、カメラ毎に処理を切り替える複雑性を排除できる。

【0053】

以上の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【0054】

以上に説明したように、本発明の実施例によると、撮像領域の少なくとも一部が重複した重複撮像領域を有するように配置された複数のカメラ２１～２６によって撮影された複数の画像を取得する画像取得部２０と、自車両１の姿勢の変化に基づいて、カメラ毎の姿勢変化を算出する代表距離算出部３０と、複数のカメラによって撮像された複数の画像の重複撮像領域における特徴点の位置の変化量を求める画素毎の移動量演算部１０６と、特徴点の位置の変化量に基づいて画像を縮小し、縮小された縮小画像を用いて、重複撮像領域における三次元情報を取得する三次元情報取得部４０とを備えるので、露光時間における車両の移動によるボケの影響を低減できる。すなわち、算出された画像内移動量に応じて縮小処理の後に、マッチング処理を行うことで、マッチングウィンドゥを小さくでき、画像が露光時間によってボケる領域を把握できる。このため、ボケが発生した状況における精度が最も維持される状態の計算コストを動的に変更でき、視差による測距コストを低減し、測距精度を向上できる。また、ボケ量に応じて計算コストを抑制でき、低コストなマイコンで複数のアプリケーションを実行できる。

【0055】

また、移動量演算部１０６は、自車両１の姿勢の変化に基づいて、複数のカメラ２１～２６によって撮像された画像のうち路面が撮像される路面候補領域における特徴点の位置の変化量を求めるので、路面候補領域を正確に求められ、物体までの正確な距離を算出できる。

【0056】

また、代表距離算出部３０は、複数のカメラ２１～２６のうち少なくとも二つのカメラによって撮影された画像を用いて自車両１の姿勢を推定する車両姿勢推定部１０４を有し、移動量演算部１０６は、車両姿勢推定部１０４による推定結果を用いて、路面候補領域を定め、定められた路面候補領域に含まれる特徴点の移動量を求めるので、特徴点の移動量を正確に求めることができる。

【0057】

また、代表距離算出部３０は、前記複数のカメラのうち少なくとも一つのカメラにより撮像された画像における消失点の位置を求める消失点位置特定部１０３を有し、移動量演算部１０６は、あるタイミングで撮影された画像の消失点の位置と当該画像の次のタイミングで撮影された画像の消失点の位置の差に基づいて、複数のカメラ２１～２６により撮像された画像における特徴点の移動量を求める。すなわち、一つのカメラの使用によって、計算量を低減できる。例えば、前方監視用カメラによる３次元空間の計測結果から車両姿勢を推定した結果を使用することで、前方監視用カメラと周辺監視用カメラが両方搭載されたシステムにおいて、車両姿勢推定処理を重複することなく実行できるため、計算量を低減することができる。

【0058】

また、複数のカメラで消失点位置特定部１０３を有する場合として、例えば、前方のカメラと後方のカメラにより撮像された画像のそれぞれで消失点位置を特定することで、車両のピッチングによって車両前方が上側にずれて、車両後方は下側にずれるといった車両の動きを観測することができる。この場合、姿勢が変化していないときの前方の撮像画像と後方の撮像画像との消失点の検出値の差は、この撮像システムの消失点位置の検出誤差として利用することができるため、誤差を考慮した車両姿勢推定処理をすることができ、消失点位置を安定化して算出することができる。

【0059】

また、移動量演算部１０６は、複数のカメラ２１～２６の各々によって撮像された複数の画像毎に特徴点の移動量を求め、三次元情報取得部４０は、複数の画像毎に求められた特徴点の移動量の少なくとも一つに基づいて、複数の画像の縮小率を決定する画像縮小部１０７を有するので、注目領域の特徴量で縮小率を決定でき、物体までの正確な距離を算出できる。

【0060】

また、画像縮小部１０７は、複数の画像のうち特徴点の移動量が大きい画像における特徴点の移動量に基づいて、縮小率を決定するので、また、画素毎の移動量が大きい方に縮小倍率を合わせることで、計算量を抑えつつ精度を担保できる最適な方法を提供できる。

【0061】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

【0062】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0063】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

【0064】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0065】

１ 自車両
２０ 画像取得部
２１ 前方カメラ
２２ 右前カメラ
２３ 右後カメラ
２４ 後方カメラ
２５ 左後カメラ
２６ 左前カメラ
３０ 代表距離算出部
４０ 三次元情報取得部
１００ 車載カメラシステム
１０１ カメラ群
１０２ 露光制御部
１０３ 消失点位置特定部
１０４ 車両姿勢推定部
１０５ カメラ姿勢算出部
１０６ 画素毎の移動量演算部
１０７ 画像校正部
１０８ 縮小部
１０９ ブロックマッチング部
１１０ 距離算出部
Ｃ、Ｃ１１、Ｃ２２、Ｃ２３、Ｃ２４、Ｃ２５、Ｃ２６ 視野領域
Ｖ、Ｖ１、Ｖ２、Ｖ３、Ｖ４ ステレオ視領域

【図1】

【図2】

【図3】

【図4】