特許 7202123 車両用ステレオカメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-27

(45)【発行日】2023-01-11

(54)【発明の名称】車両用ステレオカメラ装置

(51)【国際特許分類】

   G01C 3/06 20060101AFI20221228BHJP

   B60R 1/20 20220101ALI20221228BHJP

【ＦＩ】

G01C3/06 110V

B60R1/20

【請求項の数】 6

(21)【出願番号】P 2018184742

(22)【出願日】2018-09-28

(65)【公開番号】P2020052018

(43)【公開日】2020-04-02

【審査請求日】2021-08-25

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】吉村 礁太

(72)【発明者】

【氏名】皆川 雅俊

(72)【発明者】

【氏名】由川 輝

(72)【発明者】

【氏名】茂木 啓輔

(72)【発明者】

【氏名】▲高▼▲橋▼ 一輝

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開平０７－２２５８９２（ＪＰ，Ａ）

【文献】特開平１１－１０８６６０（ＪＰ，Ａ）

【文献】特開２００８－１９６８９１（ＪＰ，Ａ）

【文献】特開２０１８－１１５８７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／００－３／３２

Ｂ６０Ｒ １／００

(57)【特許請求の範囲】

【請求項1】

自車両の走行情報を取得する走行情報取得手段と、
前記自車両に所定基線長で配置されて前記自車両の外方を撮像する、少なくとも遠距離用の一対のカメラと近距離用の一対のカメラとを有する撮像手段と、
前記走行情報取得手段で取得した前記走行情報に基づき、前記撮像手段の前記遠距離用の一対のカメラと前記近距離用の一対のカメラとの一方を選択し、選択した該一対のカメラによる撮像領域のステレオ画像を取得するカメラ画像選択手段と、
前記カメラ画像選択手段で選択した前記遠距離用の一対のカメラと前記近距離用の一対のカメラとの一方からのステレオ画像に基づいて前記自車両の外方の走行環境を認識する走行環境認識手段と
を有する車両用ステレオカメラ装置において、
前記カメラ画像選択手段は、
選択した前記一対のカメラから取得したステレオ画像をステレオマッチング処理して画像が失陥しているか否かを調べるカメラ失陥判定手段と、
前記カメラ失陥判定手段で画像が失陥していると判定した場合、選択したのは前記遠距離用の一対のカメラか前記近距離用の一対のカメラかを調べ、該遠距離用の一対のカメラの一方が失陥していると判定した場合は失陥しているカメラに対する代替カメラを、選択した前記一対のカメラ以外のカメラから選択して該代替カメラと前記一対のカメラ内の正常なカメラとによる代替撮像領域のステレオ画像を取得し、前記近距離用の一対のカメラの一方が失陥していると判定した場合は該近距離用の一対のカメラの正常なカメラにより撮像した画像を単眼画像として取得する代替画像取得手段と
を備えることを特徴とする車両用ステレオカメラ装置。

【請求項2】

前記走行情報取得手段で取得する前記走行情報は、前記自車両の走行状態情報であることを特徴とする請求項１記載の車両用ステレオカメラ装置。

【請求項3】

前記走行情報取得手段で取得する前記走行情報は、前記自車両周辺の環境情報である
ことを特徴とする請求項１記載の車両用ステレオカメラ装置。

【請求項4】

前記走行情報取得手段で取得する前記走行情報は、前記自車両の走行状態情報と前記自車両周辺の環境情報との双方である
ことを特徴とする請求項１記載の車両用ステレオカメラ装置。

【請求項5】

前記代替画像取得手段は、前記カメラ失陥判定手段で画像が失陥していると判定した場合、選択した前記一対のカメラが別々に含まれる他の組合わせを新たに一対ずつ選択し、該各一対のカメラから取得したステレオ画像をそれぞれステレオマッチング処理して画像が失陥しているカメラを特定する
ことを特徴とする請求項１～４の何れか１項に記載の車両用ステレオカメラ装置。

【請求項6】

前記代替画像取得手段は、前記撮像領域に最も近い撮像領域を前記代替撮像領域として設定する
ことを特徴とする請求項１～５の何れか１項に記載の車両用ステレオカメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラから２つのカメラを選択してステレオ画像を得るようにした車両用ステレオカメラ装置に関する。

【背景技術】

【0002】

車両に左右一対のステレオカメラを搭載し、このステレオカメラにより自車両前方の走行環境を撮像することで、先行車や各種障害物を認識すると共に、自車両と対象物との距離を計測するステレオカメラ装置が知られている。

【0003】

又、特許文献１（特開平１１－３９５９６号公報）には、車両に遠距離用ステレオカメラと近距離用ステレオカメラとを搭載し、両ステレオカメラで取得した走行環境情報に基づき、常時、近距離から遠距離までの広い範囲で対象物を認識すると共に、自車両との距離を求めるようにした技術が開示されている。

【0004】

又、特許文献２（特開２０１３－６１３１７号公報）には、３台のカメラを所定間隔で配設し、低速の場合は基線長の最も短い２台のカメラを選択し、中速の場合は中間の基線長を有する２台のカメラを選択し、高速のときは最も基線長の長い２台のカメラを選択して、ステレオ画像を得るようにした技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平１１－３９５９６号公報

【文献】特開２０１３－６１３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、車両の走行環境は、晴天のみならず雨天、積雪等の悪天候もあり、フロントガラスには雨滴、雪等が付着する。又、晴天であっても泥はね、鳥の糞等の付着でフロントガラスが汚れる場合がある。上述した各特許文献に記載されているように、各カメラがフロントガラスの車室側に配置されており、フロントガラスの汚れによりカメラの視界が妨げられた場合、当該カメラによる画像は失陥する。又、カメラレンズが汚れている場合も視界が妨げられるため画像が失陥する。更に、カメラ自体の不調によっても画像の失陥は生じる。

【0007】

一対のカメラによってステレオ画像を取得している場合、一方のカメラの画像が失陥すると、他方のカメラでは画像が取得されており、対象物を認識することができたとしても、対象物までの距離を計測することのできるステレオ画像を取得することができなくなる。

【0008】

その結果、ステレオ画像に基づいて、周知の追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）、及び車線維持制御（ＡＬＫ：Active Lane Keep）等の運転支援制御を行っている場合は、一方のカメラによる画像が失陥することで運転支援が解除されてしまう。又、自動運転において、地図ロケータと車載カメラとで冗長系が構成されている場合、一方のカメラ画像の失陥によって冗長性が確保できなくなるため、自動運転が解除されてしまう。

【0009】

一方のカメラの失陥によって運転支援制御や自動運転が直ちに解除されてしまうことは、運転者を慌てさせることとなるばかりでなく、運転者に違和感を与えてしまう不都合がある。

【0010】

例えば、特許文献１に開示されているように、遠距離用ステレオカメラと近距離用ステレオカメラとが備えられており、一方のステレオカメラの片側のカメラ画像が失陥した場合には、他方のステレオカメラによって失陥したステレオカメラを代用することも考えられる。

【0011】

しかし、近距離用ステレオカメラの機能を遠距離用ステレオカメラで代用した場合、低速、中速での走行において充分な対応を図ることができない。逆に、遠距離用ステレオカメラの機能を近距離用ステレオカメラで代用した場合、高速での走行において充分な対応を図ることができない不具合がある。

【0012】

本発明は、上記事情に鑑み、少なくとも４台のカメラの１台が失陥した際に、他のカメラでそれを代用しても、走行状態を著しく損なうことがなく、運転支援制御や自動運転を継続させ、或いは運転者に運転をスムーズに引き継がせることが可能で、運転者に与える違和感を軽減させることのできる車両用ステレオカメラ装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明は、自車両の走行情報を取得する走行情報取得手段と、前記自車両に所定基線長で配置されて前記自車両の外方を撮像する、少なくとも遠距離用の一対のカメラと近距離用の一対のカメラとを有する撮像手段と、前記走行情報取得手段で取得した前記走行情報に基づき、前記撮像手段の前記遠距離用の一対のカメラと前記近距離用の一対のカメラとの一方を選択し、選択した該一対のカメラによる撮像領域のステレオ画像を取得するカメラ画像選択手段と、前記カメラ画像選択手段で選択した前記遠距離用の一対のカメラと前記近距離用の一対のカメラとの一方からのステレオ画像に基づいて前記自車両の外方の走行環境を認識する走行環境認識手段とを有する車両用ステレオカメラ装置において、前記カメラ画像選択手段は、選択した前記一対のカメラから取得したステレオ画像をステレオマッチング処理して画像が失陥しているか否かを調べるカメラ失陥判定手段と、前記カメラ失陥判定手段で画像が失陥していると判定した場合、選択したのは前記遠距離用の一対のカメラか前記近距離用の一対のカメラかを調べ、該遠距離用の一対のカメラの一方が失陥していると判定した場合は失陥しているカメラに対する代替カメラを、選択した前記一対のカメラ以外のカメラから選択して該代替カメラと前記一対のカメラ内の正常なカメラとによる代替撮像領域のステレオ画像を取得し、前記近距離用の一対のカメラの一方が失陥していると判定した場合は該近距離用の一対のカメラの正常なカメラにより撮像した画像を単眼画像として取得する代替画像取得手段とを備える。

【発明の効果】

【0014】

本発明によれば、少なくとも遠距離用の一対のカメラと近距離用の一対のカメラとの一方を選択し、選択した一対のカメラから取得したステレオ画像をステレオマッチング処理して画像が失陥しているか否かを調べ、画像が失陥していると判定した場合、選択したのは遠距離用の一対のカメラか近距離用の一対のカメラかを調べ、遠距離用の一対のカメラの一方が失陥していると判定した場合は失陥しているカメラに対する代替カメラを、選択した一対のカメラ以外のカメラから選択し、この代替カメラと一対のカメラ内の正常なカメラとによる代替撮像領域のステレオ画像を取得するようにしたので、失陥したカメラを他のカメラでそれを代用しても、走行状態を著しく損なうことがなく、運転支援制御、自動運転を継続させ、或いは運転者に運転をスムーズに引き継がせることが可能となる。その結果、運転者に与える違和感を軽減させることができる。

【図面の簡単な説明】

【0015】

【図1】車両用ステレオカメラ装置を備える自動運転支援システムの構成を示す機能ブロック図

【図2】ステレオカメラ装置を搭載する車両の正面図

【図3】カメラ画像選択処理ルーチンを示すフローチャート（その１）

【図4】カメラ画像選択処理ルーチンを示すフローチャート（その２）

【図5】ステレオ画像の取得領域を示す俯瞰図

【図6】４台のカメラの組合わせによるステレオ画像の取得領域を示す説明図

【図7】両端のカメラを用いて遠距離領域のステレオ画像を取得する状態を示す説明図

【図8】左端のカメラと中央右側のカメラとを用いて中距離左領域のステレオ画像を取得する状態を示す説明図

【図9】右端のカメラと中央左側のカメラとを用いて中距離右領域のステレオ画像を取得する状態を示す説明図

【図10】左端のカメラと中央左側のカメラとを用いて近距離左領域のステレオ画像を取得する状態を示す説明図

【図11】中央左右のカメラを用いて近距離中央領域のステレオ画像を取得する状態を示す説明図

【図12】右端のカメラと中央右側のカメラとを用いて近距離右領域のステレオ画像を取得する状態を示す説明図

【図13】ステレオ画像を取得する前方認識領域と使用するカメラの組合わせを示す図表

【図14】特定のカメラが失陥した場合に代用する前方認識領域、及び代替単眼カメラの組合わせを示す図表

【図15】失陥したステレオ画像の撮像領域と失陥したカメラを特定するために取得するステレオ画像の撮像領域との関係を示す図表

【発明を実施するための形態】

【0016】

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す自動運転支援システムは、自車両Ｍ（図２参照）に搭載されている。この自動運転支援システム１は、自車位置を検出するロケータユニット１１、自車両Ｍ前方の走行環境を認識するステレオカメラ装置２１を有している。このロケータユニット１１、及びステレオカメラ装置２１は一方が不調を来した場合には、他方のユニットで自動運転支援を一時的に継続させる冗長系が構築されている。又、自動運転支援システム１は、ロケータユニット１１とステレオカメラ装置２１とで現在走行中の道路形状が同一か否かを常時監視し、同一の場合に自動運転支援を継続させる。

【0017】

ロケータユニット１１は道路地図上の自車両Ｍの位置（自車位置）を推定すると共に、この自車位置の前方の道路地図データを取得する。一方、ステレオカメラ装置２１は自車両Ｍの走行車線の左右を区画する区画線の中央の道路曲率を求めると共に、この左右区画線の中央を基準とする自車両Ｍの車幅方向の横位置偏差を検出する。更に、このステレオカメラ装置２１は、自車両Ｍの前方の先行車、直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）等の移動体を含む立体物、信号現示（点灯色）、道路標識等を認識する。

【0018】

ロケータユニット１１は、地図ロケータ演算部１２と記憶手段としての高精度道路地図データベース１６とを有している。この地図ロケータ演算部１２、後述する前方走行環境認識部２５、及び自動運転制御ユニット２６は、ＣＰＵ，ＲＡＭ，ＲＯＭ、不揮発性記憶部等を備える周知のマイクロコンピュータ、及びその周辺機器で構成されており、ＲＯＭにはＣＰＵで実行するプログラムやデータテーブル等の固定データ等が予め記憶されている。

【0019】

この地図ロケータ演算部１２の入力側に、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)受信機１３、及び自律走行センサ１４が接続されている。ＧＮＳＳ受信機１３は複数の測位衛星から発信される測位信号を受信する。又、自律走行センサ１４は、トンネル内走行等ＧＮＳＳ衛生からの受信感度が低く測位信号を有効に受信することのできない環境において、自律走行を可能にするもので、車速センサ、ヨーレートセンサ、及び前後加速度センサ等で構成されている。すなわち、地図ロケータ演算部１２は、車速センサで検出した車速、ヨーレートセンサで検出したヨーレート（ヨー角速度）、及び前後加速度センサで検出した前後加速度等に基づき移動距離と方位からローカライゼーションを行う。

【0020】

この地図ロケータ演算部１２は、自車位置を推定する機能として自車位置推定演算部１２ａ、推定した自車位置を道路地図上にマップマッチングして自車両Ｍの現在地を特定し、その周辺の環境情報を含む道路地図情報を取得する地図情報取得部１２ｂ、自車両Ｍの目標とする進行路（目標進行路）を設定する目標進行路設定演算部１２ｃを備えている。

【0021】

又、高精度道路地図データベース１６はＨＤＤ等の大容量記憶媒体であり、高精度な周知の道路地図情報（ローカルダイナミックマップ）が記憶されている。この高精度道路地図情報は、基盤とする最下層の静的情報階層上に、自動走行をサポートするために必要な付加的地図情報が重畳された階層構造をなしている。

【0022】

上述した地図情報取得部１２ｂは、この高精度道路地図データベース１６に格納されている道路地図情報から現在地及び前方の道路地図情報を取得する。この道路地図情報には周辺環境情報が含まれている。この周辺環境情報としては、道路の種別（一般道路、高速道路等）、道路形状、左右区画線、道路標識、停止線、交差点、信号機等の静的な位置情報のみならず、渋滞情報や事故或いは工事による通行規制等の動的な位置情報も含まれている。

【0023】

そして、例えば運転者が自動運転に際してセットした目的地に基づき、上述した自車位置推定演算部１２ａで推定した自車位置（現在地）から目的地までのルート地図情報を、この道路地図情報から取得し、取得したルート地図情報（ルート地図上の車線データ及びその周辺情報）を自車位置推定演算部１２ａへ送信する。

【0024】

自車位置推定演算部１２ａは、ＧＮＳＳ受信機１３で受信した測位信号に基づき自車両Ｍの位置座標を取得し、この位置座標をルート地図情報上にマップマッチングして、道路地図上の自車位置（現在地）を推定すると共に走行車線を特定し、ルート地図情報に記憶されている走行車線の道路形状を取得し、逐次記憶させる。

【0025】

更に、自車位置推定演算部１２ａは、トンネル内走行等のようにＧＮＳＳ受信機１３の感度低下により測位衛星からの有効な測位信号を受信することができない環境では、自律航法に切換え、自律走行センサ１４によりローカライゼーションを行う。

【0026】

目標進行路設定演算部１２ｃは、先ず、地図情報取得部１２ｂでマップマッチングした現在位置を基準に自車両Ｍを区画線に沿って自動走行させるための目標進行路を設定する。又、運転者が目的地を入力している場合は、現在地と目的地とを結ぶ走行ルートに沿って目標進行路が設定される。この目標進行路は、自車両Ｍの前方、数百メートル～数キロ先まで設定され、走行時において逐次更新される。この目標進行路設定演算部１２ｃで設定した目標進行路は車両制御ユニット２６で読込まれる。

【0027】

一方、ステレオカメラ装置２１は、自車両Ｍの前方を撮像する撮像手段としてのカメラ部２２、画像処理ユニット（ＩＰＵ）２３、カメラ画像選択手段としてのカメラ画像選択部２４、及び走行環境認識手段としての前方走行環境認識部２５を備えている。カメラ部２２は、同一仕様の第１～第４カメラ２２ａ～２２ｄを備えており、図２に示すように、自車両Ｍの車室内前部のフロントガラスに近接する上部であって横方向同列の位置に固定されている。ここで、第２カメラ２２ｂ，第３カメラ２２ｃで近距離用ステレオカメラが構成されており、又、第１カメラ２２ａ，第４カメラ２２ｄで遠距離用ステレオカメラが構成されている。

【0028】

第２カメラ２２ｂと第３カメラ２２ｃとは車幅方向中央を挟んで左右対称な位置に配設されており、近距離基線長Ｌｓは比較的近距離のステレオ画像（図５の撮像領域Ｖ）を取得できる値に設定されている。尚、本実施形態のステレオ画像とは、一対のカメラで撮像した左右画像のうち距離画像を取得できる領域を云う。

【0029】

一方、第１カメラ２２ａと第４カメラ２２ｄは、車幅方向中央を挟んで運転席側と助手席側の比較的離間した左右対称な位置に配設され、遠距離のステレオ画像（図５の撮像領域Ｉ）を取得できる遠距離基線長Ｌｌに設定されている。そして、この各カメラ２２ａ～２２ｄで撮像した画像がＩＰＵ２３で所定に画像処理されて、カメラ画像選択部２４へ出力される。距離を計測するために取得するステレオ画像は、近距離用ステレオカメラ２２ｂ，２２ｃ、遠距離用ステレオカメラ２２ａ，２２ｄの組合わせに限定されず、第１～第４カメラ２２ａ～２２ｄの中から一対のカメラの画像を選択することで任意に取得することができる。

【0030】

カメラ画像選択部２４は、ＩＰＵ２３から送信される各カメラ２２ａ～２２ｄで撮像した画像の中から、自車両Ｍの走行状態、及び走行環境に基づき、ステレオ画像による距離の計測を必要とする前方認識領域に対応する一対のカメラを特定する。そして、この一対のカメラで撮像した画像（ステレオ画像）を前方走行環境認識部２５へ送信する。

【0031】

前方走行環境認識部２５は、カメラ画像選択部２４から送信されたステレオ画像（一対のカメラで撮像した画像）に基づき、左右区画線、自車両Ｍが走行する進行路（自車進行路）の道路形状、自車両Ｍの前方を走行する先行車の有無、自車両Ｍの直前を横切ろうとする歩行者や二輪車（自転車、自動二輪車）等の移動体を含む立体物、信号現示（点灯色）、道路標識等を認識する。そして、カメラの焦点距離、カメラ間の基線長、同一対象物の視差から、三角測量の原理を用いて当該対象物までの距離を算出する。尚、ステレオ画像に基づく対象物の認識、及び当該対象物までの距離の求め方は既に知られている技術であるため、ここでの詳細な説明は省略する。

【0032】

自動運転制御ユニット２６は、入力側に地図ロケータ演算部１２の目標進行路設定演算部１２ｃ、ステレオカメラ装置２１の前方走行環境認識部２５が接続されている。又、この自動運転制御ユニット２６の出力側に、自車両Ｍを目標進行路に沿って走行させる操舵制御部３１、強制ブレーキにより自車両Ｍを減速させるブレーキ制御部３２、自車両Ｍの車速を制御する加減速制御部３３、及び警報装置３４が接続されている。

【0033】

自動運転制御ユニット２６は、操舵制御部３１、ブレーキ制御部３２、加減速制御部３３を所定に制御して、ＧＮＳＳ受信機１３で受信した自車位置を示す測位信号に基づき、自車両Ｍを目標進行路設定演算部１２ｃで設定した道路地図上の目標進行路に沿って自動走行させる。その際、前方走行環境認識部２５で認識した前方走行環境に基づき、周知の追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）、及び車線維持制御（ＡＬＫ：Active Lane Keep）を行い、先行車が検出された場合は先行車に追従し、先行車が検出されない場合は制限速度内で走行させる。更に、自車両Ｍの直前を横切ろうとする移動体を検出した場合は、ブレーキ制御部３２を作動させて自車両Ｍを停車させる。

【0034】

ところで、図６に示すように、カメラ部２２の第１～第４カメラ２２ａ～２２ｄの組合わせによって、第１撮像領域～第６撮像領域のステレオ画像（距離画像）を得ることができる。尚、選択する一対のカメラとステレオ画像により得られる前方撮像領域との関係を図１３に示す。

【0035】

そして、基線長を短くすれば近距離の対象物までの距離を精度良く求めることができる。基線長を長くすれば遠距離の対象物までの距離を精度良く求めることができる。

【0036】

従って、図７に示すように、最も長い遠距離基線長Ｌｌを有する第１カメラ２２ａと第２カメラ２２ｄとによる第１撮像領域Ｉは、高速道路での高速走行時における遠距離の立体物の検出や、直進路が続く一般道路での区画線の検出等に適している。

【0037】

又、図８に示すように、第１カメラ２２ａと第３カメラ２２ｃとによる第２撮像領域IIは、自車両Ｍの左側にやや偏倚した中距離での対象物を精度良く検出することができるため、左カーブ走行中における区画線の検出に適している。一方、図９に示すように、第２カメラ２２ｂと第４カメラ２２ｄとによる第３撮像領域IIIは、自車両Ｍの右側にやや偏倚した中距離での対象物を精度良く検出することができるため、右カーブ走行中における区画線の検出に適している。

【0038】

更に、図１０に示すように、第１カメラ２２ａと第２カメラ２２ｂとによる第４撮像領域IVは、自車両Ｍの左側にやや偏倚した近距離での対象物を精度良く検出することができる。そのため、一般道路を低速走行している際、或いは停車状態から発進するに際し、左方向から自車両Ｍの直前を横切ろうとする移動体（歩行者、二輪車等）の検出に適している。

【0039】

又、図１１に示すように、最も短い近距離基線長Ｌｓを有する第２カメラ２２ｂと第３カメラ２２ｃとによる第５撮像領域Ｖは、通常走行時における近距離の立体物、区画線等の検出に適している。更に、図１２に示すように、第３カメラ２２ｃと第４カメラ２２ｄとによる第６撮像領域VIは、自車両Ｍの右側にやや偏倚した近距離での対象物を精度良く検出することができる。そのため、一般道路を低速走行している際、或いは停車状態から発進するに際し、右方向から自車両Ｍの直前を横切ろうとする移動体（歩行者、二輪車等）の検出に適している。

【0040】

ところで、本実施形態のようにカメラ部２２がフロントガラスの車室内側に近接した状態で配置されている場合、フロントガラスに雨滴、雪、泥はね、鳥の糞等が付着して汚れた場合、各カメラ２２ａ～２２ｄの視界が妨げられる。一対のカメラで撮像した画像から対象物までの距離を算出しようとする場合、一方のカメラの視界が妨げられると、対象物までの距離を求めることはできない。同様に、一方のカメラが不調となった場合も対象物までの距離を求めることはできない。

【0041】

そのため、上述したカメラ画像選択部２４は、視界の妨げにより、或いは不調によりカメラの画像が失陥した場合、先ず、失陥しているカメラを特定し、これに対応する代替カメラを選択し、正常なカメラと代替カメラとで撮像された画像を前方走行環境認識部２５へ出力する。

【0042】

カメラ画像選択部２４によるカメラ画像選択処理は、具体的には、図３、図４に示すカメラ画像選択処理ルーチンに従って実行される。このルーチンでは、先ず、ステップＳ１，Ｓ２で、自車両Ｍの走行情報を取得する。すなわち、ステップＳ１では、自車両Ｍの走行状態情報を読込む。走行状態情報は自律走行センサ１４を構成する車速センサで検出した車速、ヨーレートセンサで検出したヨーレート（ヨー角速度）、及び前後加速度センサで検出した前後加速度である。

【0043】

又、ステップＳ２では、地図ロケータ演算部１２の地図情報取得部１２ｂで取得した自車両Ｍの現在地周辺、及び前方周辺の周辺環境情報を読込む。この周辺環境情報には、上述したように静的な位置情報と動的な位置情報とが含まれている。従って、自律走行センサ１４及び地図ロケータ演算部１２は、本発明の走行情報取得手段としての機能を備えている。

【0044】

そして、ステップＳ３で、自車両Ｍの走行状態情報、及び自車両Ｍが走行している道路及びその周辺の環境情報に基づき、必要なステレオ画像を取得する撮像領域を選択する。例えば、周辺環境情報で高速道路の走行と判定され渋滞情報もなく、車速が高速（例えば、８０[Km/h]以上）の場合は、最も長い遠距離基線長Ｌｌの遠距離用ステレオカメラ２２ａ，２２ｄによる第１撮像領域Ｉ（図５、図７）を選択する。一方、高速道路を走行中であっても、車速が中低速（例えば、１０～４０[Km/h]程度）のノロノロ運転、或いは直前の先行車Ｐを追従走行している場合は、最も短い近距離基線長Ｌｓの近距離用ステレオカメラ２２ｂ，２２ｃによる第５撮像領域（図５、図１１参照）を選択する。尚、他の好適な例は既述したので省略する。

【0045】

このように、走行状態、及び走行環境に応じて、第１～第４カメラ２２ａ～２２ｄ中から２つのカメラを選択することで、図６～図１２に示すように第１～第６撮像領域Ｉ～ＶＩにてステレオ画像を得ることができる。尚、上述したステップＳ３では、自車両Ｍの走行状態情報と周辺の環境情報との一方に基づいて撮像領域を選択するようにしても良い。

【0046】

その後、ステップＳ４へ進み、選択した撮像領域に対応する一対のカメラで撮像したステレオ画像を取得し、ステップＳ５へ進み、ステレオ画像のステレオマッチング処理を行う。このステレオマッチング処理は周知であるため、ここでの説明は省略する。

【0047】

その後、ステップＳ６へ進み、ステレオ画像のマッチング処理において、左右画像で対応する区画の画像に不一致画像があるか否かを調べる。尚、ステップＳ５，Ｓ６での処理が、本発明のカメラ失陥判定手段に対応している。

【0048】

そして、不一致画像が検出されない場合は、正常と判定し、ステップＳ７へ進み、今回のステレオ画像を前方走行環境認識部２５へ送信してルーチンを抜ける。一方、ステップＳ６において不一致画像が検出された場合は失陥と判定し、ステップＳ８へジャンプする。

【0049】

ステップＳ８へ進むと失陥しているカメラを特定する。ステレオカメラ（一対のカメラ）では、カメラ自体の故障であれば、カメラ画像選択部２４に画像信号が送信されないため、故障しているカメラを簡単に特定することができる。しかし、フロントガラスやカメラレンズの汚れ等により一部がマスクされた状態で撮像された場合、或いはフロントガラスに付着した雨滴によりボヤけた状態で撮像された場合、両カメラで撮像したステレオ画像を比較しても、何れのカメラに失陥が発生しているかを判別することができない。

【0050】

従って、ステップＳ８では、上述のステップＳ３で選択したカメラを含む他の組合わせを、一対ずつ選択し、それぞれに対して上述のステップＳ５と同様にステレオマッチングし、失陥しているカメラを特定する。すなわち、図１３に示すように、第１カメラ２２ａが失陥した場合、第１、第２、第４撮像領域Ｉ，II，IVのステレオ画像を取得することができない。第２カメラ２２ｂが失陥した場合、第３～第５撮像領域III～Ｖのステレオ画像を取得することができない。第３カメラ２２ｃが失陥した場合、第２、第５、第６撮像領域II，Ｖ，VIのステレオ画像を取得することができない。又、第４カメラ２２ｄが失陥した場合、第１、第３、第６撮像領域Ｉ，III，VIのステレオ画像を取得することができない。

【0051】

そのため、一対のカメラによるステレオ画像に失陥を検出した場合、先ず、この一対のカメラの一方と他カメラとの組合わせからステレオ画像を個別に取得する。そして、取得した各ステレオ画像に対してステレオマッチング処理を行い、何れの一対のカメラ（ステレオカメラ）で不一致画像が検出されたかを調べることで、失陥しているカメラを特定する。この場合、遠距離よりも近距離の画像の方が鮮明であるため、なるべく近距離側の撮像領域の組合わせを選択する。

【0052】

具体的な組合わせを図１５に示す。すなわち、第１撮像領域Ｉのステレオ画像が失陥した場合は、第４、第６撮像領域IV,VIのステレオ画像を取得してステレオマッチング処理を行い、第１，第４カメラ２２ａ，２２ｄの何れが失陥したかを特定する。又、第２撮像領域IIのステレオ画像が失陥した場合は、第４、第５撮像領域IV，Ｖのステレオ画像を取得してステレオマッチング処理を行い、第１，第３カメラ２２ａ，２２ｃの何れが失陥したかを特定する。更に、第３撮像領域IIIのステレオ画像が失陥した場合は、第５、第６撮像領域Ｖ，VIのステレオ画像を取得してステレオマッチング処理を行い、第２、第４カメラ２２ｂ，２２ｄの何れが失陥したかを特定する。

【0053】

一方、第４撮像領域IVのステレオ画像が失陥した場合は、第２、第５撮像領域II，Ｖのステレオ画像を取得してステレオマッチング処理を行い、第１、第２カメラ２２ａ，２２ｂの何れが失陥したかを特定する。更に、第５撮像領域Ｖのステレオ画像が失陥した場合は、第４、第６撮像領域IV,VIのステレオ画像を取得してステレオマッチング処理を行い、第２、第３カメラ２２ｂ，２２ｃの何れが失陥したかを特定する。又、第６撮像領域VIのステレオ画像が失陥した場合は、第３、第５撮像領域III，Ｖのステレオ画像を取得してステレオマッチング処理を行い、第３、第４カメラ２２ｃ，２２ｄの何れが失陥したかを特定する。

【0054】

そして、ステップＳ８において失陥したカメラを特定した後、ステップＳ９へ進み、失陥したカメラに代えて適用するカメラによる代替撮像領域、及び代替単眼カメラを設定する。図１４に示すように、正常時の撮像領域にて使用する一対のカメラの一方が失陥した場合、遠距離側の第１～第３撮像領域Ｉ～IIIでは当該撮像領域に最も近い撮像領域を代替撮像領域として選択する。これに対し、近距離側の第４～第６撮像領域IV～VIを撮像するカメラが失陥した場合、代替撮像領域では、直前の先行車や自車両Ｍの直前を横切ろうとする移動体（歩行者、二輪車等）までの距離を認識することができなくなる。

【0055】

そのため、第４～第６撮像領域IV～VIにおいて、一方のカメラが失陥した場合は処理を中断（ＨＡＬＴ）させるようにしても良いが、以下の説明では、失陥していない側のカメラを代替単眼カメラとして選択する態様で説明する。従って、この場合、送信する画像は単眼画像となる。

【0056】

［第１撮像領域Ｉ］
第１カメラ２２ａが失陥した場合、第１撮像領域Ｉに最も近く、且つ第４カメラ２２ｄを使用する第３撮像領域IIIを代替撮像領域として選択する。又、第４カメラ２２ｄが失陥した場合は、第１撮像領域Ｉに最も近く、且つ第１カメラ２２ａを使用する第２撮像領域IIを代替撮像領域として選択する。

【0057】

［第２撮像領域II］
第１カメラ２２ａが失陥した場合、第２撮像領域IIに最も近く、且つ第３カメラ２２ｃを使用する第５撮像領域Ｖを代替撮像領域として選択する。又、第３カメラ２２ｃが失陥した場合は、第２撮像領域IIに最も近く、且つ第１カメラ２２ａを使用する第４撮像領域IVを代替撮像領域として選択する。

【0058】

［第３撮像領域III］
第２カメラ２２ｂが失陥した場合、第３撮像領域IIIに最も近く、且つ第４カメラ２２ｄを使用する第４撮像領域IVを代替撮像領域として選択する。又、第４カメラ２２ｄが失陥した場合は、第３撮像領域IIIに最も近く、且つ第２カメラ２２ｂを使用する第５撮像領域Ｖを代替撮像領域として選択する。

【0059】

［第４撮像領域IV］
第１カメラ２２ａが失陥した場合、正常な第２カメラ２２ｂを代替単眼カメラとして選択する。逆に、第２カメラ２２ｂが失陥した場合は、第１カメラ２２ａを代替単眼カメラとして選択する。

【0060】

［第５撮像領域Ｖ］
第２カメラ２２ｂが失陥した場合、正常な第３カメラ２２ｃを代替単眼カメラとして選択する。逆に、第３カメラ２２ｃが失陥した場合は、第２カメラ２２ｂを代替単眼カメラとして選択する。

【0061】

［第６撮像領域ＶＩ］
第３カメラ２２ｃが失陥した場合、正常な第４カメラ２２ｄを代替単眼カメラとして選択する。逆に、第４カメラ２２ｄが失陥した場合は、第３カメラ２２ｃを代替単眼カメラとして選択する。

【0062】

次いで、ステップＳ１０ヘ進み、選択したのは代替撮像領域か代替単眼カメラかを調べ、代替撮像領域の場合はステップＳ１１へ進む。又、代替単眼カメラの場合はステップＳ１２へジャンプする。

【0063】

ステップＳ１１へ進むと、選択した代替撮像領域に対応する一対のカメラで撮像したステレオ画像を取得してステップＳ１３へ進む。又、ステップＳ１２へ進むと、選択した代替の単眼カメラで撮像した単眼画像を取得してステップＳ１３へ進む。尚、ステップＳ８～Ｓ１２での処理が、本発明の代替画像取得手段に対応している。

【0064】

その後、ステップＳ１１或いはステップＳ１２からステップＳ１３へ進むと、今回のステレオ画像、或いは単眼画像を、失陥したステレオ画像に代えて前方走行環境認識部２５へ送信してルーチンを抜ける。尚、カメラの失陥が一時的なものであれば、当該失陥が回復した場合、ステップＳ６からステップＳ７へ進み、ステップＳ４で取得したステレオ画像を送信する。

【0065】

前方走行環境認識部２５は、カメラ画像選択部２４から送信されたステレオ画像、或いは単眼画像を読込む。そして、ステレオ画像からその視差に基づいて両画像中の同一対象物を認識すると共に、その距離データ（自車両Ｍから対象物までの距離）を、三角測量の原理を利用して算出し、これらを前方走行環境情報として認識する。一方、単眼画像からは対象物を認識すると共に、今回認識した対象物と、前回の演算時に認識した同一対象物との大きさの変化から当該対象物までの距離を算出し、これらを前方走行環境情報として認識する。

【0066】

自動運転制御ユニット２６は、前方走行環境認識部２５で認識した前方走行環境情報に基づき、自車両Ｍを左右区画線の中央に沿って走行させるべく操舵制御部３１へ制御信号を送信する。又、直前を走行する先行車Ｐを認識した場合は、当該先行車Ｐに対して所定車間距離を開けて走行させるべく、ブレーキ制御部３２及び加減速制御部３３へ制御信号を送信する。

【0067】

又、ステレオカメラ装置２１のカメラ画像選択部２４においてカメラの失陥が検出された場合は、警報装置３４からその旨を運転者に報知し、自動運転支援の継続が困難になった場合には運転者に運転を引き継がせることができるように準備させる。又、失陥が回復した場合には、その旨を運転者に報知する。

【0068】

このように、本実施形態では、４台のカメラ２２ａ～２２ｄ中、１台のカメラが失陥したことにより、当該カメラを含む一対のカメラで撮像する特定の撮像領域のステレオ画像に基づく対象物までの距離情報が継続的に継続できなくなった場合であっても、正常なカメラを含む最も近い撮像領域を代替撮像領域として設定し、この代替撮像領域で撮像したステレオ画像に基づいて前方走行環境を認識するようにしたので、失陥したカメラを他のカメラで代用しても走行状態を著しく損なうことがなく、運転支援制御、自動運転支援を継続させることができる。これにより、自動運転支援が困難と判断された場合であっても、運転者に運転をスムーズに引き継がせることが可能となり、運転者に与える違和感を軽減させることができる。

【0069】

又、一対のカメラの何れが失陥しているかを、当該一対のカメラの一方を含む他の撮像領域を撮像したステレオ画像に基づいて特定するようにしたので、走行中に失陥しているカメラを特定することができる。従って、自車両Ｍを停車させて失陥したカメラを調べる必要がなく高い利便性を得ることができる。更に、走行中に失陥から回復した場合は自動運転支援を継続させることができるため、より高い利便性を得ることができる。

【0070】

尚、本発明は、上述した実施形態に限るものではなく、例えばカメラ部２２は５台以上のカメラで構成されていても良く、それらの中の一対のカメラの組合わせにより、撮像領域を設定するようにしても良い。又、カメラ部２２は自車両Ｍの前方のみならず、後方を含む外方の走行環境を撮像するものであれば良い。従って、カメラ部２２を自車両Ｍのリヤガラスの室内側に配置して後方の走行環境を撮像しても良く、この場合、前方走行環境認識部２５は、後方走行環境認識部２５と読み替えて適用する。

【符号の説明】

【0071】

１…自動運転支援システム、
１１…ロケータユニット、
１２…地図ロケータ演算部、
１２ａ…自車位置推定演算部、
１２ｂ…地図情報取得部、
１２ｃ…目標進行路設定演算部、
１３…ＧＮＳＳ受信機、
１４…自律走行センサ、
１６…高精度道路地図データベース、
２１…ステレオカメラ装置、
２２…カメラ部、
２２ａ～２２ｄ…第１～第４カメラ、
２４…カメラ画像選択部、
２５…前方走行環境認識部、
２６…自動運転制御ユニット、
２６…車両制御ユニット、
２６…自動運転制御ユニット、
３１…操舵制御部、
３２…ブレーキ制御部、
３３…加減速制御部、
３４…警報装置、
Ｌｌ…遠距離基線長、
Ｌｓ…近距離基線長、
Ｍ…自車両、
Ｐ…先行車、
Ｉ～VI…第１～第６撮像領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】