特許 6240475 車外環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6240475

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】車外環境認識装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20171120BHJP

   G08G 1/09 20060101ALI20171120BHJP

   B60R 21/00 20060101ALI20171120BHJP

   G06T 1/00 20060101ALI20171120BHJP

【ＦＩ】

   G08G1/16 C

   G08G1/09 D

   B60R21/00 624C

   G06T1/00 330A

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2013-229621(P2013-229621)

(22)【出願日】2013年11月5日

(65)【公開番号】特開2015-90546(P2015-90546A)

(43)【公開日】2015年5月11日

【審査請求日】2016年8月4日

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110000936

【氏名又は名称】特許業務法人青海特許事務所

(72)【発明者】

【氏名】木戸 辰之輔

【審査官】 中尾 麗

(56)【参考文献】

【文献】 特開２００４−１６３３５３（ＪＰ，Ａ）

【文献】 特開２００７−０８５７７７（ＪＰ，Ａ）

【文献】 特開２００５−２０２７６１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

車外環境を撮像した画像を取得する画像取得部と、
前記画像から１または複数の信号機を特定する信号機特定部と、
前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、
自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、
前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、
を備え、
前記対象信号機特定部は、
前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から複数の信号機が特定された場合に、該複数の信号機の奥行き方向の距離が等しいとみなされる範囲内であれば、該複数の信号機を対象信号機として特定することを特徴とする車外環境認識装置。

【請求項2】

車外環境を撮像した画像を取得する画像取得部と、
前記画像から１または複数の信号機を特定する信号機特定部と、
前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、
自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、
前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、
を備え、
前記対象信号機特定部は、
前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から３以上の信号機が特定された場合に、隣接する信号機間の距離が等間隔であるとみなされる範囲内であれば、該３以上の信号機のうちの１の信号機を対象信号機として特定することを特徴とする車外環境認識装置。

【請求項3】

車外環境を撮像した画像を取得する画像取得部と、
前記画像から１または複数の信号機を特定する信号機特定部と、
前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、
自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、
前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、
を備え、
前記対象信号機特定部は、
前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から複数の信号機が特定された場合に、該複数の信号機の高さが等しいとみなされる範囲内であれば、該複数の信号機を対象信号機として特定することを特徴とする車外環境認識装置。

【請求項4】

車外環境を撮像した画像を取得する画像取得部と、
前記画像から１または複数の信号機を特定する信号機特定部と、
前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、
自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、
前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、
を備え、
前記対象信号機特定部は、
前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から１または複数の信号機が特定された場合に、該信号機の横幅が、前記一般道路に設置された信号機の横幅よりも大きな値に設定された所定の範囲内であれば、該信号機を対象信号機として特定することを特徴とする車外環境認識装置。

【請求項5】

車外環境を撮像した画像を取得する画像取得部と、
前記画像から１または複数の信号機を特定する信号機特定部と、
前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、
自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、
前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、
を備え、
前記対象信号機特定部は、
前記走行道路が前記一般道路であると判定された場合であって、前記画像から１または複数の信号機が特定された場合に、該信号機の横幅が、前記自動車専用道路に設置された信号機の横幅よりも小さな値に設定された所定の範囲内であれば、該信号機を対象信号機として特定することを特徴とする車外環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御入力となる信号機を特定する車外環境認識装置に関する。

【背景技術】

【0002】

従来、自車両の前方に位置する車両や信号機等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、信号機の信号色を認識しつつ、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

【0003】

このような特定物は、自車両前方の車外環境を撮像した画像から、その輝度や距離に基づいて抽出される。例えば、車外のカラー画像を撮像し、隣接する画素同士をグループ化して、距離、大きさ、高さ、および、自車両の進行路に対する位置等に基づいて信号機等の光源を認識する技術が知られている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３３４９０６０号公報

【特許文献2】特開２０１０−２２４９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来における信号機を特定する手法では、道路に設置された信号機を道路の種類に応じて特定していない。したがって、例えば、自車両が自動車専用道路を走行している場合に、自動車専用道路以外の一般道路に設置された信号機を誤って検出するなど、自車両が走行する道路に対応する信号機を精度よく検出することができないといった問題があった。

【0006】

本発明は、このような課題に鑑み、自車両が走行する道路に対応した信号機を精度よく特定することが可能な車外環境認識装置を提供することを目的としている。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の車外環境認識装置は、車外環境を撮像した画像を取得する画像取得部と、前記画像から１または複数の信号機を特定する信号機特定部と、前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、を備え、前記対象信号機特定部は、前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から複数の信号機が特定された場合に、該複数の信号機の奥行き方向の距離が等しいとみなされる範囲内であれば、該複数の信号機を対象信号機として特定する。

【0009】

また、上記課題を解決するために、本発明の車外環境認識装置は、車外環境を撮像した画像を取得する画像取得部と、前記画像から１または複数の信号機を特定する信号機特定部と、前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、を備え、前記対象信号機特定部は、前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から３以上の信号機が特定された場合に、隣接する信号機間の距離が等間隔であるとみなされる範囲内であれば、該３以上の信号機のうちの１の信号機を対象信号機として特定する。

【0010】

また、上記課題を解決するために、本発明の車外環境認識装置は、車外環境を撮像した画像を取得する画像取得部と、前記画像から１または複数の信号機を特定する信号機特定部と、前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、を備え、前記対象信号機特定部は、前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から複数の信号機が特定された場合に、該複数の信号機の高さが等しいとみなされる範囲内であれば、該複数の信号機を対象信号機として特定する。

【0011】

また、上記課題を解決するために、本発明の車外環境認識装置は、車外環境を撮像した画像を取得する画像取得部と、前記画像から１または複数の信号機を特定する信号機特定部と、前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、を備え、前記対象信号機特定部は、前記走行道路が前記自動車専用道路であると判定された場合であって、前記画像から１または複数の信号機が特定された場合に、該信号機の横幅が、前記一般道路に設置された信号機の横幅よりも大きな値に設定された所定の範囲内であれば、該信号機を対象信号機として特定する。

【0012】

また、上記課題を解決するために、本発明の車外環境認識装置は、車外環境を撮像した画像を取得する画像取得部と、前記画像から１または複数の信号機を特定する信号機特定部と、前記画像から特定された信号機の３次元位置を導出する３次元位置情報生成部と、自車両が走行する走行道路が、自動車のみが走行可能な自動車専用道路、または、該自動車専用道路以外の一般道路のどちらであるかを特定する道路特定部と、前記画像から特定された信号機の３次元位置と、前記走行道路が前記自動車専用道路または前記一般道路のどちらであるかに応じて参照される特定条件と、に基づいて、該画像から特定された１または複数の信号機のなかから、対象信号機を特定する対象信号機特定部と、を備え、前記対象信号機特定部は、前記走行道路が前記一般道路であると判定された場合であって、前記画像から１または複数の信号機が特定された場合に、該信号機の横幅が、前記自動車専用道路に設置された信号機の横幅よりも小さな値に設定された所定の範囲内であれば、該信号機を対象信号機として特定する。

【発明の効果】

【0013】

本発明によれば、自車両が走行する道路に対応した信号機を精度よく特定することが可能となる。

【図面の簡単な説明】

【0014】

【図1】環境認識システムの接続関係を示したブロック図である。

【図2】車外環境認識装置の概略的な機能を示した機能ブロック図である。

【図3】車外環境認識処理手順を示したフローチャートである。

【図4】輝度画像と距離画像を説明するための説明図である。

【図5】信号機特定部の動作を説明するための説明図である。

【図6】自動車専用道路に設置された信号機を示した概略図である。

【発明を実施するための形態】

【0015】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

【0016】

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

【0017】

このような車外環境を認識する車外環境認識装置を搭載した車両では、車両前方に位置する信号機の信号色によって自車両の走行状態を制御することも考えられる。例えば、ＡＣＣでの走行中に前方の信号機の信号色が赤色であれば、車両を制動して停止状態に移行させること等が考えられる。

【0018】

しかし、従来の信号機を特定する手法においては、道路に設置された信号機を、自車両が走行する道路の種類に応じて特定していない。したがって、例えば、自動車のみが走行可能な自動車専用道路を自車両が走行している場合に、自動車専用道路以外の一般道路に設置された信号機を誤って検出するなど、自車両が走行する道路に対応する信号機を精度よく検出することができないといった問題があった。そこで、本実施形態では、自車両が走行する道路に対応した信号機を精度よく特定することが可能な車外環境認識装置を提供する。

【0019】

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

【0020】

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像と呼び、後述する距離画像と区別する。

【0021】

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

【0022】

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

【0023】

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

【0024】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

【0025】

以下、車外環境認識装置１２０に構成について詳述する。ここでは、本実施形態に特徴的な、自車両１が走行する道路（以下、これを走行道路とも呼ぶ）の種類（自動車専用道路、一般道路）ごとの信号機の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

【0026】

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

【0027】

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

【0028】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置情報生成部１６２、対象物特定部１６４、道路特定部１６６、対象信号機特定部１６８としても機能する。また、対象物特定部１６４は、信号機特定部１７０、料金所特定部１７２としても機能する。

【0029】

図３は、車外環境認識処理手順を示したフローチャートである。以下、中央制御部１５４の機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、道路特定処理、制御対象信号機特定処理、走行制御処理といった順に詳細な動作を、図３に示すフローチャートにしたがって説明する。

【0030】

（画像処理：ステップＳ１００）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像した輝度画像の画面横方向を示し、「垂直」は、撮像した輝度画像の画面縦方向を示す。

【0031】

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

【0032】

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を距離画像という。

【0033】

図４は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図４（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図４（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

【0034】

３次元位置情報生成部１６２（図２参照）は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置情報生成部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

【0035】

（対象物特定処理：ステップＳ１０２）
対象物特定部１６４は、輝度画像２１０に基づく輝度および距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）がいずれの対象物に対応するかを特定する。

【0036】

対象物特定部１６４は、特定すべき対象物に応じて、様々な特定部として機能する。例えば、本実施形態においては、自車両１の前方に位置する１または複数の信号機と、信号機それぞれにおいて発光している信号色（赤色信号色、黄色信号色、青色信号色）を特定する。

【0037】

図５は、信号機特定部１７０の動作を説明するための説明図である。ここでは、信号機特定部１７０による信号機の赤色信号色の特定処理を例に挙げて、その特定手順を説明する。まず、信号機特定部１７０は、輝度画像２１０における任意の対象部位の輝度が、対象物（赤色信号色）の輝度範囲（例えば、基準値を輝度（Ｒ）として、輝度（Ｇ）は基準値（Ｒ）の０．５倍以下、輝度（Ｂ）は基準値（Ｒ）の０．３８倍以下）に含まれるか否か判定する。そして、対象となる輝度範囲に含まれれば、その対象部位に当該対象物を示す識別番号を付す。ここでは、図５の拡大図に示すように、対象物（赤色信号色）に対応する対象部位に識別番号「１」を付している。

【0038】

次に、信号機特定部１７０は、任意の対象部位を基点として、その対象部位と、水平距離の差分および高さの差分（さらに奥行距離の差分を含めてもよい）が予め定められた所定範囲内にある、同一の対象物に対応するとみなされた（同一の識別番号が付された）対象部位をグループ化し、その対象部位も一体的な対象部位群とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、信号機特定部１７０は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分および高さの差分が所定範囲内にある、対象物（赤色信号色）が等しい対象部位をグループ化する。結果的に、同一の識別番号が付された対象部位同士の距離が所定範囲内であれば、それら全ての対象部位がグループ化されることとなる。ここでは、図５の拡大図に示すように、識別番号「１」が付された対象部位同士のグループ化された対象部位群２２０となる。

【0039】

続いて、信号機特定部１７０は、グループ化した対象部位群２２０が、その対象物に関連付けられた高さ範囲（例えば、４．５〜７．０ｍ）、幅範囲（例えば、走行道路に拘わらない包括的な０．２５〜０．４５ｍ）、形状（例えば、円形状）等、所定の条件が成立しているか否か判定する。ここで、形状に関しては、予め対象物に関連付けられたテンプレートを参照してその形が比較され（パターンマッチング）、所定値以上の相関があることで条件が成立していると判定される。そして、所定の条件が成立していれば、そのグループ化された対象部位群２２０を対象物（赤色信号色）として決定する。また、ここでは、対象物として赤色信号色を特定する例を挙げたが、信号機特定部１７０が黄色信号色や青色信号色等も特定できることは言うまでもない。

【0040】

また、対象部位群２２０が、その対象物特有の特徴を有する場合、その特徴を条件に対象物として決定されてもよい。例えば、信号機の発光体がＬＥＤ（Light Emitting Diode）で構成されている場合、その発光体は、人の目では把握できない周期（例えば１００Ｈｚ）で点滅している。したがって、信号機特定部１７０は、ＬＥＤの点滅タイミングと非同期に取得した輝度画像２１０の対象部位の輝度の時間方向の変化に基づいて対象物（赤色信号色）を決定することもできる。

【0041】

料金所特定部１７２は、信号機特定部１７０が特定した信号機（信号色）に基づいて料金所を特定する。ここで、料金所に設置された信号機は、奥行距離が等しい位置に複数存在し、隣接する信号機の水平方向の間隔が５ｍ以下であり、複数の信号機の信号色が異なることが多い。つまり、自車両１からほぼ同じ距離に複数の信号機が特定され、それらの水平方向の間隔が５ｍ以内であり、それらが異なる信号色である場合、特定された信号機は料金所に設置された信号機であると特定することができる。

【0042】

具体的には、料金所特定部１７２は、信号機特定部１７０が特定した信号機を、３次元位置情報生成部１６２で導出された奥行距離に応じて距離グループに区分する。例えば３０ｍ〜１５０ｍを１０ｍ区分の距離グループとし、各信号機を区分する。なお３０ｍ以下、及び１５０ｍ以上の信号機については、既に判定されているものであったり、遠すぎるものとして除外される。

【0043】

そして、料金所特定部１７２は、信号機が区分された距離グループのうちで、奥行距離が最も短い距離グループに区分された信号機の水平方向の間隔が５ｍ以下であり、異なる信号色の場合に、その信号機が料金所に設置された信号機であるとして、料金所を特定する。

【0044】

なお、料金所には信号機の上部に料金所を示す標識が設けられていることが多い。そこで、料金所特定部１７２は、信号機特定部１７０が特定した信号機の周辺に、信号機と奥行距離が等しいとみなされる物体が特定され、その物体が料金所を示す標識がある場合に料金所として特定してもよい。具体的には、信号機の周辺に、一般ゲートの緑、ＥＴＣゲートの紫、閉鎖中ゲートの白のいずれかの色を一定以上の割合で含んでいれば、当該物体は料金所を示す標識であるとすればよい。

【0045】

（道路特定処理：ステップＳ１０４）
道路特定部１６６は、走行道路が自動車専用道路または自動車専用道路以外の一般道路のどちらであるかを特定する。ここで、一般的には、車両が一般道路から自動車専用道路に進入する際には料金所を一度通過する。また、自動車専用道路の管理区間の境界においても車両は料金所を通過するが、自動車専用道路から一般道路に進入する際には料金所を通過する場合としない場合とがある。そこで、道路特定部１６６は、走行道路が一般道路であり、料金所を一度通過したと判定すると、走行道路が自動車専用道路に変わったと判断し、その後、料金所を通過したと判定しても、走行道路が自動車専用道路であると判断し続ける。そして、道路特定部１６６は、走行道路が自動車専用道路であり、走行道路に設置された信号機が、一般道路に設置された信号機であると判定した場合に、はじめて、走行道路が一般道路に変わったと判断する。

【0046】

具体的には、道路特定部１６６は、料金所特定部１７２で料金所が特定された場合、輝度画像２１０における中央の所定領域（自車両１が走行するとされる車両帯に相当する領域）で料金所が特定されたか否かによって、自車両１の前方に料金所があるか否かを判定する。その結果、道路特定部１６６は、自車両１の前方に料金所があると判定した場合、料金所判定回数を１増加させる。一方、道路特定部１６６は、自車両１の前方に料金所がないと判定した場合、料金所判定回数を増減させない。なお、この料金所判定回数は、初期値が０に設定されている。

【0047】

そして、道路特定部１６６は、料金所判定回数が０である場合には、走行道路が一般道路であると判定する。また、道路特定部１６６は、料金所判定回数が０以外、すなわち１以上である場合には、走行道路が自動車専用道路であると判定する。

【0048】

道路特定部１６６は、走行道路が自動車専用道路であると判定した後、信号機特定部１７０によって輝度画像２１０における中央の所定領域で特定された信号機が一般道路に設置された信号機であるか否かを判定する。そして、道路特定部１６６は、信号機特定部１７０で信号機が一般道路に設置された信号機であると判定した場合には、走行道路が一般道路であると判定するとともに、料金所判定回数を０にリセットする。なお、一般道路および自動車専用道路に設置された信号機はその大きさが異なるため、一般道路に設置された信号機であるか否かは、信号機の大きさにより判定することができる。

【0049】

このように、道路特定部１６６は、料金所特定部１７２で特定された料金所、および、信号機特定部１７０で特定された信号機に基づいて、走行道路の種類を特定するようにしたが、走行道路を特定する方法については他の方法を用いてもよい。例えば、道路の破線中央線を認識し、白線の長さ、自車両１と先行車両の速度差の推移、大気圧などを用いて一般道路および自動車専用道路を判定してもよい。また、カメラで撮像された画像から、一般道路特有の特定物、自動車専用道路特有の特定物を特定し、特定された特定物に基づいて一般道路および自動車専用道路を判定してもよい。さらに、ＥＴＣと連動させて料金所の入口か出口かがわかる場合、それを契機に判定してもよい。

【0050】

（制御対象信号機特定処理：ステップＳ１０６、Ｓ１０８、Ｓ１１０）
図６は、自動車専用道路に設置された信号機を示した概略図である。図６に示すように、自動車専用道路３００には、トンネル侵入口３０２の手前に、トンネルへの進入の可否を示す、走行帯の車線数に応じた１または複数の信号機３０４（３０４ａ、３０４ｂ、３０４ｃ）が設置されている場合がある。なお、自動車専用道路３００は、一般的に複数車線の走行帯が設けられているので、信号機３０４が設定される場合、信号機３０４もその走行帯に対応して複数設置される。また、複数の信号機３０４が設置されている場合には、複数の信号機３０４が並んで設置される。すなわち、複数の信号機３０４は、高さおよび奥行距離がほぼ等しく、３以上の信号機３０４が設置される場合には水平方向に等間隔に設置される。さらに、複数の信号機３０４は、トンネルへの信号の可否を示しているため、同色の信号色で点灯または点滅することが多い。

【0051】

これに対して、一般道路には、進行方向に対して１または複数の信号機が例えば交差点などに設置されているが、複数の信号機が設置されている場合には、少なくとも奥行距離が交差点の前後であるなど異なった距離にそれぞれ設置されていることが一般的である。

【0052】

また、自動車専用道路３００に設置される信号機３０４は、車両の高速走行に対応して視認性を確保するために、一般道路に設置される信号機よりも発光部分が大きくなっている。例えば、自動車専用道路３００に設置される信号機３０４は、発光部分の幅が３００ｍｍ〜４５０ｍｍであり、一般道路に設置される信号機は、発光部分の幅が２５０ｍｍ〜３５０ｍｍである。

【0053】

このように、自動車専用道路３００に設置される信号機３０４と、一般道路に設置される信号機とは、設置条件および発光部分の大きさが異なる。そこで、対象信号機特定部１６８は、信号機の３次元位置と、走行道路が自動車専用道路３００または一般道路のどちらであるかに応じて参照される特定条件とに基づいて、信号機特定部１７０で特定した１または複数の信号機のなかから、走行道路に対応する信号機を対象信号機として特定する。つまり、対象信号機特定部１６８は、走行道路が自動車専用道路３００である場合には、自動車専用道路３００に設置された信号機３０４を特定するための判定条件（自動車専用道路用判定条件）に基づいて、信号機特定部１７０で特定した１または複数の信号機のなかから対象信号機を特定する。また、走行道路が一般道路である場合には、一般道路に設置された信号機を特定するための判定条件（一般道路用判定条件）に基づいて、信号機特定部１７０で特定した１または複数の信号機のなかから対象信号機を特定する。

【0054】

ここで、自動車専用道路用判定条件としては、発光部分の幅が３００ｍｍ〜４５０ｍｍの範囲内であり、複数の信号機３０４の高さの差分ｄｊが等しい高さとみなされる範囲内であり、複数の信号機３０４の奥行距離の差分ｄｚが等しい奥行距離とみなされる範囲内であり、かつ、複数の信号機３０４の水平方向の間隔ｉ（ｉ１、ｉ２）が等しいとみなされる範囲内であることが判定条件として設定される。なお、信号機３０４が３未満（２以下）しか特定されていない場合には、水平方向の間隔ｉについては判断条件から除外される。また、一般道路用判定条件としては、発光部分の幅が２５０ｍｍ〜３５０ｍｍの範囲内であることが判定条件として設定される。

【0055】

対象信号機特定部１６８は、信号機特定部１７０で信号機が特定された場合、道路特定部１６６で判定された走行道路が自動車専用道路３００または一般道路であるかを判定する（ステップＳ１０６、図３参照）。そして、対象信号機特定部１６８は、走行道路が自動車専用道路３００である場合（ステップＳ１０６においてＹＥＳ）、信号機特定部１７０で特定された信号機について３次元位置情報生成部１６２で導出された３次元位置と、自動車専用道路用判定条件とに基づいて、当該信号機が自動車専用道路３００に設置された信号機３０４であるかを判定する（ステップＳ１０８）。

【0056】

より具体的には、対象信号機特定部１６８は、信号機特定部１７０で複数の信号機が特定された場合、これら信号機の高さの差分ｄｊを導出し、導出した高さの差分ｄｊが等しい高さとみなされる範囲内であるかを判定する。また、対象信号機特定部１６８は、信号機特定部１７０で複数の信号機が特定された場合、これら信号機の奥行距離の差分ｄｚを導出し、導出した奥行距離の差分ｄｚが等しい奥行距離とみなされる範囲内であるかを判定する。さらに、対象信号機特定部１６８は、信号機特定部１７０で３以上の信号機が特定された場合、これら信号機の水平方向の間隔ｉを導出し、導出した水平方向の間隔ｉが等しいとみなされる範囲内であるかを判定する。さらに、対象信号機特定部１６８は、信号機特定部１７０で信号機が特定された場合、信号機の横幅を導出し、導出した横幅が３００ｍｍ〜４５０ｍｍの範囲内であるかを判定する。

【0057】

そして、対象信号機特定部１６８は、自動車専用道路用判定条件の全てを満たす信号機を特定すると、その信号機を自動車専用道路３００に設置された制御対象の対象信号機として特定する。なお、対象信号機特定部１６８は、自動車専用道路用判定条件の全てを満たす信号機を複数特定した場合、これら信号機のうちの、輝度画像２１０におけるもっとも中央に位置する信号機を対象信号機として特定する。ただし、自動車専用道路３００においては、複数の信号機が設置されている場合、これら信号機は全て同色に点灯または点滅していることが多い。そのため、自動車専用道路用判定条件の全てを満たす信号機を複数特定した場合であって、これら信号機が全て同色である場合には、そのうちのいずれか１を対象信号機と特定してもよい。

【0058】

また、対象信号機特定部１６８は、走行道路が一般道路である場合（ステップＳ１０６においてＮＯ）、信号機特定部１７０で特定され、３次元位置情報生成部１６２で導出された信号機の横幅と、一般道路用判定条件とに基づいて、当該信号機が一般道路に設置された信号機であるか判定する（ステップＳ１１０）。具体的には、対象信号機特定部１６８は、信号機特定部１７０で信号機が特定された場合、信号機の横幅を導出し、導出した横幅が２５０ｍｍ〜３５０ｍｍの範囲内であるかを判定する。そして、信号機の横幅が範囲内であると、これら信号機のうちの、輝度画像２１０におけるもっとも中央に位置する信号機を対象信号機として特定する。

【0059】

そして、中央制御部１５４では、対象信号機が特定されたかを判定し（ステップＳ１１２）、その結果として、対象信号機が特定されていない場合には（ステップＳ１１２においてＮＯ）、そのまま車外環境認識処理を終了する。一方、対象信号機が特定された場合には（ステップＳ１１２においてＹＥＳ）、車外環境認識装置１２０では、特定した対象信号機の信号色によって自車両１の走行状態が制御される（ステップＳ１１４）。例えば、最も自車両１に近い信号機群における信号機の信号色が赤色なら、その赤色に基づいて自車両１が制動され、信号色が青色なら次に自車両１に近い信号機群における信号機の信号色が参照され、その信号色に基づく制御が実行される。

【0060】

以上、説明したように、本実施形態の車外環境認識装置１２０では、信号機特定部１７０により信号機が特定された場合には、走行道路が自動車専用道路３００または一般道路であるかに応じた特定条件に基づいて、走行道路に設置された信号機を対象信号として特定する。これにより、例えば、自動車専用道路３００および一般道路が並行して設けられている場合であっても、走行道路に応じた特定条件に基づいて、走行道路に対応する信号機のみを対象信号機として特定することができるので、走行道路に応じた信号機を精度よく特定することができる。特に、自動車専用道路３００に応じた自動車専用道路用判定条件に基づいて対象信号機を特定する場合には、自動車専用道路に設置される信号機の配置条件を考慮して対象信号機を特定することができるので、より短時間で、かつ精度よく対象信号機を特定することができる。

【0061】

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【0062】

例えば、上述した実施形態においては、自動車専用道路用判定条件としては、発光部分の幅が３００ｍｍ〜４５０ｍｍの範囲内であり、複数の信号機３０４の高さの差分ｄｊが等しい高さとみなされる範囲内であり、複数の信号機３０４の奥行距離の差分ｄｚが等しい奥行距離とみなされる範囲内であり、かつ、複数の信号機３０４の水平方向の間隔ｉ（ｉ１、ｉ２）が等しいとみなされる範囲内であることが判定条件として設定するようにした。しかしながら、自動車専用道路用判定条件としては、これら複数の判定条件のうちの少なくとも１の判定条件を用いて対象信号機を特定してもよく、また、複数の判定条件のなかから、任意の判定条件を組み合わせて対象信号機を特定してもよい。

【0063】

また、上述した車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【産業上の利用可能性】

【0064】

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の走行する道路に対応する信号機を特定する車外環境認識装置に利用することができる。

【符号の説明】

【0065】

１ 自車両
１２０ 車外環境認識装置
１６０ 画像処理部（画像取得部）
１６２ ３次元位置情報生成部
１６４ 対象物特定部
１６６ 道路特定部
１６８ 対象信号機特定部
１７０ 信号機特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】