特許 7256623 車両用ステレオカメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-04

(45)【発行日】2023-04-12

(54)【発明の名称】車両用ステレオカメラ装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20230405BHJP

   G06T 7/593 20170101ALI20230405BHJP

   G06T 7/00 20170101ALI20230405BHJP

   G06T 1/00 20060101ALI20230405BHJP

【ＦＩ】

G01C3/06 110V

G06T7/593

G06T7/00 650Z

G06T1/00 330Z

【請求項の数】 1

(21)【出願番号】P 2018182787

(22)【出願日】2018-09-27

(65)【公開番号】P2020051943

(43)【公開日】2020-04-02

【審査請求日】2021-08-25

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】皆川 雅俊

(72)【発明者】

【氏名】由川 輝

(72)【発明者】

【氏名】吉村 礁太

(72)【発明者】

【氏名】▲高▼▲橋▼ 一輝

(72)【発明者】

【氏名】茂木 啓輔

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１１－２０３２３８（ＪＰ，Ａ）

【文献】特開２０１０－１９１６３７（ＪＰ，Ａ）

【文献】国際公開第２０１６／０６３５４５（ＷＯ，Ａ１）

【文献】特開２０１６－１３１２８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／００－３／３２

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自車両の走行情報を取得する走行情報取得手段と、
前記自車両に所定基線長で配置されて前記自車両の外方を撮像する少なくとも４台のカメラを有する撮像手段と、
前記カメラから入力される複数のステレオ画像から前記自車両の走行環境を認識する走行環境認識手段と、
を備える車両用ステレオカメラ装置において、
前記走行環境認識手段は、前記自車両が走行する区画線を検出し、前記区画線に基づいて前記複数のステレオ画像を左区画線からさらに左側の第１の領域、区画線間の第２の領域および右区画線からさらに右側の第３の領域に区分して切り出し、前記第１の領域の第１のステレオ画像、前記第２の領域の第２のステレオ画像および前記第３の領域の第３のステレオ画像を演算処理し、
前記第１のステレオ画像、前記第２のステレオ画像および前記第３のステレオ画像のそれぞれから前記走行環境認識手段が特化して検出する検出対象は、前記自車両が走行する片側車線数に応じて異なることを特徴とする車両用ステレオカメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラから２つのカメラの視差によりステレオ画像を得るようにした車両用ステレオカメラ装置に関する。

【背景技術】

【0002】

車両に左右一対のステレオカメラを搭載し、このステレオカメラにより自車両前方の走行環境を撮像することで、先行車や各種障害物を認識すると共に、自車両と対象物との距離を計測する車両用ステレオカメラ装置が知られている。

【0003】

このような車両用ステレオカメラ装置は、例えば、特許文献１に開示されている。この特許文献１に記載の車両用ステレオカメラ装置は、室内に４つのカメラを設けて、基線長の長い側の一対のステレオカメラを使って遠方を撮像し、基線長の短い側の一対のステレオカメラを使って撮像して、対象物との距離などを計測して車両制御に用いる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平７－１９２１９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のように4つのカメラを有する車両用ステレオカメラ装置は、検出対象の情報量が多くなり、物体検出、距離検出などの画像認識を行う際の演算処理性能が低下するという課題があった。そのため、従来のような４つのカメラを有するステレオカメラ装置では、自車が走行する周辺環境、対象物などの認識に遅れが生じる虞がある。

【0006】

そこで、本発明は、上記事情に鑑み、その目的とするところは物体検出、距離検出などの画像認識を行う際の演算処理性能を高め、自車が走行する周辺環境、対象物などの認識性能が向上する車両用ステレオカメラ装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様の車両用ステレオカメラ装置は、自車両の走行情報を取得する走行情報取得手段と、前記自車両に所定基線長で配置されて前記自車両の外方を撮像する少なくとも４台のカメラを有する撮像手段と、前記カメラから入力される複数のステレオ画像から前記自車両の走行環境を認識する走行環境認識手段と、を備える車両用ステレオカメラ装置において、前記走行環境認識手段は、前記自車両が走行する区画線を検出し、前記区画線に基づいて前記複数のステレオ画像を左区画線からさらに左側の第１の領域、区画線間の第２の領域および右区画線からさらに右側の第３の領域に区分して切り出し、前記第１の領域の第１のステレオ画像、前記第２の領域の第２のステレオ画像および前記第３の領域の第３のステレオ画像を演算処理し、前記第１のステレオ画像、前記第２のステレオ画像および前記第３のステレオ画像のそれぞれから前記走行環境認識手段 が特化して検出する検出対象は、前記自車両が走行する片側車線数に応じて異なる。

【発明の効果】

【0008】

本発明によれば、物体検出、距離検出などの画像認識を行う際の演算処理性能を高め、自車が走行する周辺環境、対象物などの認識性能が向上する車両用ステレオカメラ装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】車両用ステレオカメラ装置を備える自動運転支援システムの構成を示す機能ブロック図

【図2】ステレオカメラ装置を搭載する車両の正面図

【図3】第１カメラと第２カメラのステレオ画像領域を示す模式図

【図4】第２カメラと第３カメラのステレオ画像領域を示す模式図

【図5】第３カメラと第４カメラのステレオ画像領域を示す模式図

【図6】第２カメラと第３カメラのでは取得できないステレオ画像領域を示す模式図

【図7】４台のカメラの組み合わせによるステレオ画像の取得領域を示す説明図

【図8】カメラ画像処理ルーチンを示すフローチャート

【図9】走行道路状態に応じた第１～第３のステレオ画像で認識する対象物を示す図表

【図10】片側１車線の道路を走行する状態を示す図

【図11】片側２車線の道路の第１走行車線を走行する状態を示す図

【図12】片側２車線の道路の第２走行車線（追越車線）を走行する状態を示す図

【図13】片側３車線の道路の第２走行車線を走行する状態を示す図

【発明を実施するための形態】

【0010】

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す自動運転支援システムは、自車両Ｍ（図２参照）に搭載されている。この自動運転支援システム１は、自車位置を検出するロケータユニット１１、自車両Ｍ前方の走行環境を認識するステレオカメラ装置２１を有している。このロケータユニット１１、及びステレオカメラ装置２１は一方が不調を来した場合には、他方のユニットで自動運転支援を一時的に継続させる冗長系が構築されている。また、自動運転支援システム１は、ロケータユニット１１とステレオカメラ装置２１とで現在走行中の道路形状が同一か否かを常時監視し、同一の場合に自動運転支援を継続させる。

【0011】

ロケータユニット１１は道路地図上の自車両Ｍの位置（自車位置）を推定すると共に、この自車位置の前方の道路地図データを取得する。一方、ステレオカメラ装置２１は自車両Ｍの走行車線の左右を区画する区画線の中央の道路曲率を求めると共に、この左右区画線の中央を基準とする自車両Ｍの車幅方向の横位置偏差を検出する。更に、このステレオカメラ装置２１は、自車両Ｍの前方の先行車、直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）などの移動体を含む立体物、信号現示（点灯色）、道路標識などを認識する。

【0012】

ロケータユニット１１は、地図ロケータ演算部１２と記憶手段としての高精度道路地図データベース１６とを有している。この地図ロケータ演算部１２、後述する前方走行環境認識部２４、及び自動運転制御ユニット２５は、ＣＰＵ，ＲＡＭ，ＲＯＭ、不揮発性記憶部などを備える周知のマイクロコンピュータ、及びその周辺機器で構成されており、ＲＯＭにはＣＰＵで実行するプログラムやデータテーブルなどの固定データなどが予め記憶されている。

【0013】

この地図ロケータ演算部１２の入力側に、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)受信機１３、及び自律走行センサ１４が接続されている。ＧＮＳＳ受信機１３は複数の測位衛星から発信される測位信号を受信する。また、自律走行センサ１４は、トンネル内走行などＧＮＳＳ衛生からの受信感度が低く測位信号を有効に受信することのできない環境において、自律走行を可能にするもので、車速センサ、ヨーレートセンサ、及び前後加速度センサなどで構成されている。すなわち、地図ロケータ演算部１２は、車速センサで検出した車速、ヨーレートセンサで検出したヨーレート（ヨー角速度）、及び前後加速度センサで検出した前後加速度などに基づき移動距離と方位からローカライゼーションを行う。

【0014】

この地図ロケータ演算部１２は、自車位置を推定する機能として自車位置推定演算部１２ａ、推定した自車位置を道路地図上にマップマッチングして自車両Ｍの現在地を特定し、その周辺の環境情報を含む道路地図情報を取得する地図情報取得部１２ｂ、自車両Ｍの目標とする進行路（目標進行路）を設定する目標進行路設定演算部１２ｃを備えている。

【0015】

また、高精度道路地図データベース１６はＨＤＤなどの大容量記憶媒体であり、高精度な周知の道路地図情報（ローカルダイナミックマップ）が記憶されている。この高精度道路地図情報は、基板とする最下層の静的情報階層上に、自動走行をサポートするために必要な付加的地図情報が重畳された階層構造をなしている。

【0016】

上述した地図情報取得部１２ｂは、この高精度道路地図データベース１６に格納されている道路地図情報から現在地及び前方の道路地図情報を取得する。この道路地図情報には周辺環境情報が含まれている。この周辺環境情報としては、道路の種別（一般道路、高速道路など）、道路形状、左右区画線、道路標識、停止線、交差点、信号機などの静的な位置情報のみならず、渋滞情報や事故或いは工事による通行規制などの動的な位置情報も含まれている。

【0017】

そして、例えば運転者Ｄが自動運転に際してセットした目的地に基づき、上述した自車位置推定演算部１２ａで推定した自車位置（現在地）から目的地までのルート地図情報を、この道路地図情報から取得し、取得したルート地図情報（ルート地図上の車線データ及びその周辺情報）を自車位置推定演算部１２ａへ送信する。

【0018】

自車位置推定演算部１２ａは、ＧＮＳＳ受信機１３で受信した測位信号に基づき自車両Ｍの位置座標を取得し、この位置座標をルート地図情報上にマップマッチングして、道路地図上の自車位置（現在地）を推定すると共に走行車線を特定し、ルート地図情報に記憶されている走行車線の道路形状を取得し、逐次記憶させる。

【0019】

更に、自車位置推定演算部１２ａは、トンネル内走行などのようにＧＮＳＳ受信機１３の感度低下により測位衛星からの有効な測位信号を受信することができない環境では、自律航法に切換え、自律走行センサ１４によりローカライゼーションを行う。

【0020】

目標進行路設定演算部１２ｃは、先ず、地図情報取得部１２ｂでマップマッチングした現在位置を基準に自車両Ｍを区画線に沿って自動走行させるための目標進行路を設定する。また、運転者が目的地を入力している場合は、現在地と目的地とを結ぶ走行ルートに沿って目標進行路が設定される。この目標進行路は、自車両Ｍの前方、数百メートル～数キロ先まで設定され、走行時において逐次更新される。この目標進行路設定演算部１２ｃで設定した目標進行路は車両制御ユニット２６で読込まれる。

【0021】

一方、ステレオカメラ装置２１は、自車両Ｍの前方を撮像する撮像手段としてのカメラ部２２、画像処理ユニット（ＩＰＵ）２３および走行環境認識手段としての前方走行環境認識部２４を備えている。カメラ部２２は、同一仕様の第１～第４カメラ２２ａ～２２ｄを備えており、図２に示すように、自車両Ｍの車室内前部のフロントガラスに近接する上部であって横方向同列の位置に固定されている。

【0022】

これら第１～第４カメラ２２ａは、いずれかの２つが一対となるステレオカメラが構成される。具体的には、第１カメラ２２ａは、第２カメラ２２ｂおよび第４カメラ２２ｄとステレオカメラが構成される。また、第２カメラ２２ｂは、上記第１カメラ２２ａの他、第３カメラ２２ｃともステレオカメラが構成される。

【0023】

そして、第３カメラ２２ｃは、上記第２カメラ２２ｂの他、第４カメラ２２ｄともステレオカメラが構成される。さらに、第４カメラ２２ｄは、上記第１カメラ２２ａおよび上記第３カメラ２２ｃとステレオカメラが構成される。

【0024】

助手席側の位置において対となる第１カメラ２２ａと第２カメラｂは、所定の基線長Ｌ１が設定され、主に前方右側の物体に対する距離のステレオ画像を取得するためのものである。また、中央側で対となる第２カメラ２２ｂと第３カメラ２２ｃは、車幅方向中央を挟んで左右対称な位置に配設されており、所定の基線長Ｌ２が設定されて、主に前方中央側の物体に対する距離のステレオ画像を取得するためのものである。

【0025】

さらに、運転席側の位置で対となる第３カメラ２２ｃと第４カメラｄは、所定の基線長Ｌ３が設定され、主に前方左側の物体に対する距離のステレオ画像を取得するためのものである。なお、両側の２つの組合せの第１カメラ２２ａと第４カメラ２２ｄは、車幅方向中央を挟んで運転席側と助手席側の比較的離間した左右対称な位置に配設され、所定の基線長Ｌ４に設定され、第２カメラ２２ｂと第３カメラ２２ｃと同様に、予備として前方中央側の物体に対する距離のステレオ画像を取得するためのものである。

【0026】

なお、本実施形態のステレオ画像とは、一対のカメラで撮像した左右画像のうち距離画像を取得できる領域を云う。また、上記３つの基線長Ｌ１～Ｌ３は、同じ長さ（Ｌ１＝Ｌ２＝Ｌ３）でもよいし、基線長Ｌ１と基線長Ｌ３が同じで、基線長Ｌ２のみ異なる長さ（Ｌ１＝Ｌ３≠Ｌ２）でもよい。

【0027】

そして、これら第１～第４カメラ２２ａ～２２ｄで撮像した複数の画像がＩＰＵ２３で所定に画像処理されて、前方走行環境認識部２４へ出力される。なお、距離を計測するために取得するステレオ画像は、上記組み合わせに限定されず、第１～第４カメラ２２ａ～２２ｄの中から、いずれか２つの画像を選択することで任意に取得することもできる。

【0028】

前方走行環境認識部２４は、ＩＰＵ２３から送信された複数のステレオ画像に基づき、左右区画線を認識する。なお、ステレオ画像に基づく左右区画線を認識する処理は、既に知られている技術であるため、ここでの詳細な説明は省略する。

【0029】

そして、前方走行環境認識部２４は、認識した左右区画線に基づき、複数のステレオ画像において必要な画像領域を特定して区分けし、その他の不必要な画像領域をマスキング処理する。

【0030】

なお、前方走行環境認識部２４は、マスキングされて切り出された複数のステレオ画像に基づき、自車両Ｍが走行する進行路（自車進行路）の道路形状、自車両Ｍの前方を走行する先行車の有無、自車両Ｍの直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）などの移動体を含む立体物、信号現示（点灯色）、道路標識などを認識する。

【0031】

そして、カメラの焦点距離、カメラ間の基線長、同一対象物の視差から、三角測量の原理を用いて当該対象物までの距離を算出する。なお、ステレオ画像に基づく対象物の認識、及び当該対象物までの距離の求め方は既に知られている技術であるため、ここでの詳細な説明は省略する。

【0032】

自動運転制御ユニット２５は、入力側に地図ロケータ演算部１２の目標進行路設定演算部１２ｃ、ステレオカメラ装置２１の前方走行環境認識部２４が接続されている。また、この自動運転制御ユニット２５の出力側に、自車両Ｍを目標進行路に沿って走行させる操舵制御部３１、強制ブレーキにより自車両Ｍを減速させるブレーキ制御部３２、自車両Ｍの車速を制御する加減速制御部３３、及び警報装置３４が接続されている。

【0033】

自動運転制御ユニット２５は、操舵制御部３１、ブレーキ制御部３２、加減速制御部３３を所定に制御して、ＧＮＳＳ受信機１３で受信した自車位置を示す測位信号に基づき、自車両Ｍを目標進行路設定演算部１２ｃで設定した道路地図上の目標進行路に沿って自動走行させる。その際、前方走行環境認識部２４で認識した前方走行環境に基づき、周知の追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）、及び車線維持制御（ＡＬＫ：Active Lane Keep）を行い、先行車が検出された場合は先行車に追従し、先行車が検出されない場合は制限速度内で走行させる。更に、自車両Ｍの直前を横切ろうとする移動体を検出した場合は、ブレーキ制御部３２を作動させて自車両Ｍを停車させる。

【0034】

ここで、カメラ部２２の第１～第４カメラ２２ａ～２２ｄの組合によって、得られる撮像領域について説明する。
図３に示すように、第１カメラ２２ａおよび第２カメラ２２ｂの組合せでは、それぞれが取得する画像から車両左前方領域のステレオ画像ＩＬを得ることができる。また、図４に示すように、第２カメラ２２ｂおよび第３カメラ２２ｃの組合せでは、それぞれが取得する画像から車両前方中央領域のステレオ画像ＩＣを得ることができる。さらに、図５に示すように、第３カメラ２２ｃおよび第４カメラ２２ｄの組合せでは、それぞれが取得する画像から車両右前方領域のステレオ画像ＩＲを得ることができる。

【0035】

なお、図６に示すように、第１カメラ２２ａおよび第２カメラ２２ｂのステレオ画像ＩＬでは、第２カメラ２２ｂおよび第３カメラ２２ｃのステレオ画像ＩＣでは得られない左側前方領域のステレオ画像ＩＬａを得ることができる。

【0036】

一方、第３カメラ２２ｃおよび第４カメラ２２ｄのステレオ画像ＩＲでは、第２カメラ２２ｂおよび第３カメラ２２ｃのステレオ画像ＩＣでは得られない右側前方領域のステレオ画像ＩＣａを得ることができる。

【0037】

即ち、第１～第４カメラ２２ａ～２２ｄにより、第２カメラ２２ｂおよび第３カメラ２２ｃのみでは得られない左側前方領域および右側前方領域における、より広範囲のステレオ画像を得ることができる。

【0038】

ところで、上述したように、カメラ部２２の第１～第４カメラ２２ａ～２２ｄの組み合わせによって、ここでは３つの前方領域のステレオ画像ＩＬ，ＩＣ，ＩＲを得ることができる。しかし、これら３つのステレオ画像ＩＬ，ＩＣ，ＩＲは、カメラ部２２の第１～第４カメラ２２ａ～２２ｄの画角に応じて重複する不要なステレオ画像の領域がある。

【0039】

そのため、上述した前方走行環境認識部２４は、３つのステレオ画像ＩＬ，ＩＣ，ＩＲから区画線を認識して、この区画線に基づき、重ならない３つの領域のステレオ画像を自動運転制御ユニット２５へ出力する。

【0040】

具体的には、図７に示すように、第１カメラ２２ａおよび第２カメラ２２ｂのステレオ画像ＩＬのうち、右区画線よりも右側領域となる第１のステレオ画像Ｉ、第２カメラ２２ｂおよび第３カメラ２２ｃのステレオ画像ＩＣのうち、左右の区画線間の中央領域となる第２のステレオ画像ＩＩ、および第３カメラ２２ｃおよび第４カメラ２２ｄのステレオ画像ＩＲのうち、左区画線よりも左側領域となる第３のステレオ画像ＩＩＩの３つの領域を特定する。

【0041】

そして、前方走行環境認識部２４は、第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩ以外の領域をマスキング処理して、第１～第３のステレオ画像Ｉ，ＩＩ，ＩＩＩに基づき、上述したように、自車両Ｍが走行する進行路（自車進行路）の道路形状、自車両Ｍの前方を走行する先行車の有無、自車両Ｍの直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）などの移動体を含む立体物、信号現示（点灯色）、道路標識などを認識して、自動運転制御ユニット２５へ出力する。

【0042】

ここで、画像処理ルーチンについて具体的に説明する。
図８に示すように、先ず、ステップＳ１では、自車両Ｍの走行状態情報を読込む。走行状態情報は自律走行センサ１４を構成する車速センサで検出した車速、ヨーレートセンサで検出したヨーレート（ヨー角速度）、及び前後加速度センサで検出した前後加速度である。

【0043】

次に、ステップＳ２では、地図ロケータ演算部１２の地図情報取得部１２ｂで取得した自車両Ｍの現在地周辺、及び前方周辺の周辺環境情報を読込む。この周辺環境情報には、上述したように静的な位置情報と動的な位置情報とが含まれている。従って、自律走行センサ１４及び地図ロケータ演算部１２は、本発明の走行情報取得手段としての機能を備えている。

【0044】

そして、ステップＳ３では、ステレオ画像を読み込む。ここでは、第１～第４カメラ２２ａ～２２ｄで撮影された４つの画像がＩＰＵ２３で所定に画像処理された複数のステレオ画像が前方走行環境認識部２４へ入力される。

【0045】

次に、ステップＳ４では、左右区画線を認識する。ここでは、前方走行環境認識部２４により複数のステレオ画像から自車両Ｍが走行している道路の左右区画線が認識される。一例として、画像上の輝度の変化量などから左右区画線のエッジ点を検出して左右区画線を特定する。なお、区画線とは、例えば、白線、黄色線、多重線などの道路上に延在して、自車走行レーンを区画する線の総称である。また、検出する線は、実線、破線などを問わないものである。

【0046】

そして、ステップＳ５では、ステレオ画像の領域を特定する。ここでは、前方走行環境認識部２４が第１～第４カメラ２２ａ～２２ｄで撮影された３つのステレオ画像ＩＬ，ＩＣ，ＩＲを認識した左右区画線に基づき、マスキング処理して第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩを切り出す。

【0047】

次に、ステップＳ６では、ステレオ画像の領域を合成する。ここでは、前方走行環境認識部２４により切り出した第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩを合成する。この合成されたステレオ画像に基づき、自車両Ｍが走行する進行路（自車進行路）の道路形状、前方を走行する先行車の有無、直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）などの移動体を含む立体物、信号現示（点灯色）、道路標識などを認識する。なお、第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩを合成せず、３つの領域毎の認識を行ってもよい。

【0048】

その後、ステップＳ７へ進み、ステレオ画像のステレオマッチング処理を行う。このステレオマッチング処理は周知であるため、ここでの説明は省略する。そして、ステップＳ８へ進み、ステレオ画像を前方走行環境認識部２４へ送信してルーチンを抜ける。

【0049】

なお、前方走行環境認識部２４は、ＩＰＵ２３から送信されたステレオ画像を読み込んで合成した画像（ステレオ画像）からその視差に基づいて両画像中の同一対象物を認識すると共に、その距離データ（自車両Ｍから対象物までの距離）を、三角測量の原理を利用して算出し、これらを前方走行環境情報として認識する。一方、単眼画像からは対象物を認識すると共に、今回認識した対象物と、前回の演算時に認識した同一対象物との大きさの変化から当該対象物までの距離を算出し、これらを前方走行環境情報として認識する。

【0050】

自動運転制御ユニット２５は、前方走行環境認識部２４で認識した前方走行環境情報に基づき、自車両Ｍを左右区画線の中央に沿って走行させるべく操舵制御部３１へ制御信号を送信する。また、直前を走行する先行車などを認識した場合は、当該先行車に対して所定車間距離を開けて走行させるべく、ブレーキ制御部３２及び加減速制御部３３へ制御信号を送信する。

【0051】

なお、上記ステップＳ７のステレオマッチング処理において、失陥などによりカメラにより不一致画像が検出された場合は、失陥ありと判定して、その失陥しているカメラを特定して、ステレオ画像を取得するために一対を構成する第１～第４カメラ２２ａ～２２ｄのいずれかの組合せを切り換える制御を行ってもよい。

【0052】

このように、本実施形態では、４台の第１～第４カメラ２２ａ～２２ｄで撮像した４つの画像から３つのステレオ画像ＩＬ，ＩＣ，ＩＲの重複する領域をマスキング処理して、第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩを切り出して合成する。

【0053】

これにより、ステレオ画像の不要な領域に対する演算処理を行わなくてよく、認識すべき領域（第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩ）が限られるので検出対象の演算処理が軽減される。

【0054】

即ち、本実施の形態では、4つのカメラの検出対象の情報量を軽減でき、物体検出、距離検出などの画像認識を行う際の演算処理性能を向上させることができ、自車が走行する周辺環境、対象物などの認識する処理速度を向上させることができる。

【0055】

ここで、それぞれのステレオカメラで画像処理された領域（第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩ）による周辺環境、対象物などの認識について図９～図１３に基づいて例示する。なお、ここでは左側通行規制の道路を例示しており、右側通行規制の道路の場合は左右を反対に読み替えて適用する。

【0056】

［片側１車線］
図９および図１０に示すように、片側１車線の道路おいて、第１カメラ２２ａと第２カメラ２２ｂによる左前方の第１のステレオ画像Ｉからは、左側路側物、標識などの検出に特化する。また、第２カメラ２２ｂと第３カメラ２２ｃによる前方中央の第２のステレオ画像ＩＩからは、先行車Ｐ１、路上物、区画線などの検出に特化する。さらに、第３カメラ２２ｃと第４カメラ２２ｄによる右前方の第３のステレオ画像ＩＩＩからは、対向車Ｐ２などの検出に特化する。

【0057】

［片側２車線以上の走行車線］
図９および図１１に示すように、ここでは片側２車線の道路おいて、第１走行車線を自車両Ｍが走行している場合、左前方の第１のステレオ画像Ｉからは、左側路側物、標識などの検出に特化する。また、前方中央の第２のステレオ画像ＩＩからは、先行車Ｐ１、路上物、区画線などの検出に特化する。さらに、右前方の第３のステレオ画像ＩＩＩからは、右隣接車線（追越車線）に走行する車両Ｐ３などの検出に特化する。

【0058】

［片側２車線以上の追越車線など］
図９および図１２に示すように、ここでは片側２車線の道路おいて、追越車線を自車両Ｍが走行している場合、左前方の第１のステレオ画像Ｉからは、隣接車線に走行する車両Ｐ４、左区画線などの検出に特化する。また、前方中央の第２のステレオ画像ＩＩからは、先行車Ｐ１、路上物、区画線などの検出に特化する。さらに、右前方の第３のステレオ画像ＩＩＩからは、対向車Ｐ２などの検出に特化する。

【0059】

［片側3車線以上の第２走行車線など］
図９および図１３に示すように、ここでは片側３車線の道路おいて、ここでは第２走行車線を自車両Ｍが走行している場合、左前方の第１のステレオ画像Ｉからは、隣接車線に走行する車両Ｐ４、左区画線などの検出に特化する。また、前方中央の第２のステレオ画像ＩＩからは、先行車Ｐ１、路上物、区画線などの検出に特化する。さらに、右前方の第３のステレオ画像ＩＩＩからは、右隣接車線（追越車線）に走行する車両Ｐ３などの検出に特化する。

【0060】

なお、片側何車線の道路か、自車がどの車線を走行しているかなどの認識は、地図ロケータ、ＧＰＳ・検出画像(左右白線）などから判断するものである。

【0061】

このような第１～第3のステレオ画像Ｉ，ＩＩ，ＩＩＩの３つの領域を区分けして、各領域で認識する周辺環境、対象物などを特定した検出結果が走行制御に用いられる。これにより、画像認識を行う際の演算処理性能を向上させることができる。

【0062】

なお、中低速時（例えば、１０～４０Ｋｍ／ｈ程度）では、第２カメラ２２ｂと第３カメラ２２ｃのステレオ画像から先行車、路上物、区画線などの検出に特化させ、自動車専用道路を走行する高速走行時（例えば、８０ｋｍ以上）では第１カメラ２２ａと第４カメラ２２ｄのステレオ画像から先行車、路上物、区画線などの検出に特化させるようにしてもよい。

【0063】

以上に説明したように、本実施の形態の車両用ステレオカメラ装置は、物体検出、距離検出などの画像認識を行う際の演算処理性能を高め、自車が走行する周辺環境、対象物などの認識性能が向上する。

【0064】

なお、本発明は、上述した実施形態に限るものではなく、例えばカメラ部２２は５台以上のカメラで構成されていても良く、それらの中の一対のカメラの組み合わせにより、撮像領域を設定するようにしても良い。さらに、カメラ部２２は自車両Ｍの前方のみならず、後方を含む外方の走行環境を撮像するものであれば良い。従って、カメラ部２２を自車両Ｍのリヤガラスの室内側に配置して後方の走行環境を撮像しても良く、この場合、前方走行環境認識部２４は、後方走行環境認識部２４と読み替えて適用するものである。

【符号の説明】

【0065】

１…自動運転支援システム
１１…ロケータユニット
１２…地図ロケータ演算部
１２ａ…自車位置推定演算部
１２ｂ…地図情報取得部
１２ｃ…目標進行路設定演算部
１３…受信機
１４…自律走行センサ
１６…高精度道路地図データベース
２１…ステレオカメラ装置
２２…カメラ部
２２ａ-２２ｄ…第１～第４カメラ
２４…前方走行環境認識部
２５…自動運転制御ユニット
２６…車両制御ユニット
３１…操舵制御部
３２…ブレーキ制御部
３３…加減速制御部
３４…警報装置
Ｉ，ＩＩ，ＩＩＩ…第１～第３のステレオ画像
ＩＬ，ＩＣ，ＩＲ…ステレオ画像
Ｌ１～Ｌ４…基線長
Ｍ…自車両
Ｐ１…先行車
Ｐ２…対向車
Ｐ３，Ｐ４…車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】