特許 7616023 灯火状態認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】灯火状態認識装置

(51)【国際特許分類】

   G08G 1/09 20060101AFI20250109BHJP

   G06T 7/00 20170101ALI20250109BHJP

【ＦＩ】

G08G1/09 D

G06T7/00 650Z

【請求項の数】 3

(21)【出願番号】P 2021182956

(22)【出願日】2021-11-10

(65)【公開番号】P2023070699

(43)【公開日】2023-05-22

【審査請求日】2024-03-20

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】馮 遠超

(72)【発明者】

【氏名】伊藤 宏晃

【審査官】貞光 大樹

(56)【参考文献】

【文献】特開２０２０－６７７０３（ＪＰ，Ａ）

【文献】特開２０２１－２２１３４（ＪＰ，Ａ）

【文献】特開２０１５－１２５７０９（ＪＰ，Ａ）

【文献】特開２０２１－１７２０３（ＪＰ，Ａ）

【文献】特開２００９－４３０６８（ＪＰ，Ａ）

【文献】特開２０２１－２２７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／００２２２４５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － １／１６

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

自車両の前方の矢灯火付き信号機の灯火状態を認識する灯火状態認識装置であって、
前記自車両の前方カメラの撮像画像に基づいて、一定時間のサイクル毎に前記撮像画像上の信号機を認識する信号機認識部と、
前記信号機認識部により前記信号機が認識された場合に、前記撮像画像上で前記矢灯火付き信号機の矢灯火が点灯しているか否かを判定する矢灯火判定部と、
前記矢灯火判定部により前記矢灯火が点灯していると判定された場合、前記前方カメラの撮像画像上に前記矢灯火付き信号機を含む見切れ判定エリアを設定する見切れ判定エリア設定部と、
前記見切れ判定エリアの設定後、前記サイクル毎に前記見切れ判定エリア内に前記矢灯火が存在するか否かを判定する矢灯火見切れ判定部と、
前記矢灯火見切れ判定部により前記見切れ判定エリア内に前記矢灯火が存在すると判定された次の前記サイクルにおいて前記見切れ判定エリア内に前記矢灯火が存在しないと判定された場合に、前記矢灯火が存在すると判定された一つ前の前記サイクルにおける前記矢灯火の点灯状態が予め設定された第一設定時間継続すると認識する灯火状態認識部と、
を備え、
前記灯火状態認識部は、過去の前記矢灯火付き信号機の前記灯火状態の変化に基づいて、前記矢灯火付き信号機の灯火状態の切り替わりのタイミングを把握し、前記矢灯火付き信号機における前記矢灯火が点灯されていると判定されてから前記矢灯火の前記灯火状態の切り替わりのタイミングより遅いタイミングで前記見切れ判定エリア内に前記矢灯火が存在しないと判定された場合には、前記見切れ判定エリア内に前記矢灯火が存在すると判定された次の前記サイクルにおいて前記見切れ判定エリア内に前記矢灯火が存在しないと判定されたときであっても、前記矢灯火の点灯状態が継続するとの認識を行わない、灯火状態認識装置。

【請求項2】

前記見切れ判定エリアの設定後、前記サイクル毎に前記見切れ判定エリア内に前記矢灯火付き信号機の主灯火が存在するか否かを判定する主灯火見切れ判定部を更に備え、
前記灯火状態認識部は、前記主灯火見切れ判定部により前記見切れ判定エリア内に前記主灯火が存在すると判定された次の前記サイクルにおいて前記見切れ判定エリア内に前記主灯火が存在しないと判定された場合に、前記主灯火が存在すると判定された一つ前の前記サイクルにおける前記主灯火の点灯状態が予め設定された第二設定時間継続すると認識する、請求項１に記載の灯火状態認識装置。

【請求項3】

前記見切れ判定エリア設定部は、過去の前記サイクルにおける前記撮像画像上の前記矢灯火付き信号機の位置に基づいて、次の前記サイクルにおける前記撮像画像上の前記矢灯火付き信号機の予測位置を算出し、前記撮像画像上の前記矢灯火付き信号機の予測位置を含むように前記見切れ判定エリアを設定する、請求項１又は２に記載の灯火状態認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、灯火状態認識装置に関する。

【背景技術】

【0002】

従来、灯火状態判定装置に関する技術文献として、特開２０２１－００２２７５号公報が知られている。この公報には、カメラで撮像された信号機の灯火部分において予め決まっている灯火部分の灯火パターンと撮像された信号機の信号検出情報とを比較することで、車両の周囲の信号機の認識精度を高める信号機認識システムが示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－００２２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、矢灯火付き信号機における点灯状態の矢灯火は主灯火と比べてカメラによる認識がしにくい。自車両及び信号機の距離やカメラの画角の関係により手前側の矢灯火が見切れて主灯火のみを認識してしまうと、信号機の灯火状態を誤って認識してしまうと言う問題がある。

【課題を解決するための手段】

【0005】

本発明の一態様は、自車両の前方の矢灯火付き信号機の灯火状態を認識する灯火状態認識装置であって、自車両の前方カメラの撮像画像に基づいて、一定時間のサイクル毎に撮像画像上の信号機を認識する信号機認識部と、信号機認識部により信号機が認識された場合に、撮像画像上で矢灯火付き信号機の矢灯火が点灯しているか否かを判定する矢灯火判定部と、矢灯火判定部により矢灯火が点灯していると判定された場合、前方カメラの撮像画像上に矢灯火付き信号機を含む見切れ判定エリアを設定する見切れ判定エリア設定部と、見切れ判定エリアの設定後、サイクル毎に見切れ判定エリア内に矢灯火が存在するか否かを判定する矢灯火見切れ判定部と、矢灯火見切れ判定部により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第一設定時間継続すると認識する灯火状態認識部と、を備え、過去の矢灯火付き信号機の灯火状態の変化に基づいて、矢灯火付き信号機の灯火状態の切り替わりのタイミングを把握し、矢灯火付き信号機における矢灯火が点灯されていると判定されてから矢灯火の灯火状態の切り替わりのタイミングより遅いタイミングで見切れ判定エリア内に矢灯火が存在しないと判定された場合には、見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定されたときであっても、矢灯火の点灯状態が継続するとの認識を行わない。

【0006】

本発明の一態様に係る灯火状態認識装置によれば、矢灯火見切れ判定部により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第一設定時間継続すると認識するので、矢灯火が見切れたとしても矢灯火の点灯状態の認識を継続することができる。

【0007】

本発明の一態様に係る灯火状態認識装置において、見切れ判定エリアの設定後、サイクル毎に見切れ判定エリア内に矢灯火付き信号機の主灯火が存在するか否かを判定する主灯火見切れ判定部を更に備え、灯火状態認識部は、主灯火見切れ判定部により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第二設定時間継続すると認識してもよい。
この灯火状態認識装置によれば、主灯火見切れ判定部により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第二設定時間継続するので、主灯火が見切れたとしても矢灯火の点灯状態の認識を継続することができる。

【0008】

本発明の一態様に係る灯火状態認識装置において、見切れ判定エリア設定部は、過去のサイクルにおける撮像画像上の矢灯火付き信号機の位置に基づいて、次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出し、撮像画像上の矢灯火付き信号機の予測位置を含むように見切れ判定エリアを設定してもよい。
この灯火状態認識装置によれば、過去のサイクルにおける撮像画像上の矢灯火付き信号機の位置に基づいて、次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出し、撮像画像上の矢灯火付き信号機の予測位置を含むように見切れ判定エリアを設定するので、見切れ判定エリアをより適切な位置に設定することができる。

【発明の効果】

【0009】

本発明の一態様によれば、矢灯火付き信号機において点灯状態の矢灯火が見切れたときに矢灯火の点灯状態の認識を継続できる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る灯火状態認識装置を示すブロック図である。

【図2】見切れ判定エリアの設定を説明するための図である。

【図3】見切れ判定エリア設定処理の一例を示すフローチャートである。

【図4】（ａ）矢灯火見切れ処理の一例を示すフローチャートである。（ｂ）主灯火見切れ処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して説明する。

【0012】

図１に示す運転支援装置（灯火状態認識装置）１００は、乗用車などの車両（自車両）に搭載され、運転者による自車両の運転を支援する装置である。運転支援装置１００は、自車両の前方の信号機の灯火状態に応じて運転者に対する運転支援を行う。信号機の灯火状態には、車両の通過を許可する通過許可状態（例えば青信号）、車両の通過を禁止する通過禁止状態（例えば赤信号）、通過許可状態から通過禁止状態に遷移する信号遷移状態（例えば黄信号）が含まれる。信号遷移状態は、必ずしも信号機の灯火状態に含まれる必要はない。矢灯火付き信号機の灯火状態には、矢灯火の灯火状態も含まれる。

【0013】

［運転支援装置（灯火状態認識装置）の構成］
以下、運転支援装置１００の構成について図面を参照して説明する。図１に示すように、運転支援装置１００は、装置を統括的に管理する運転支援ＥＣＵ[Electronic Control Unit]１０を備えている。運転支援ＥＣＵ１０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random Access Memory]などを有する電子制御ユニットである。運転支援ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＣＰＵで実行することにより各種の機能を実現する。運転支援ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。

【0014】

運転支援ＥＣＵ１０は、前方カメラ１、アクチュエータ２、及びＨＭＩ［Human Machine Interface］３と接続されている。前方カメラ１は、自車両の前方を撮像するためのカメラである。前方カメラ１は、例えば自車両のフロントガラスの裏側に設けられている。前方カメラ１は、自車両の前方の撮像画像を運転支援ＥＣＵ１０へ送信する。前方カメラ１は、単眼カメラであってもよく、ステレオカメラであってもよい。

【0015】

アクチュエータ２は、自車両の制御に用いられるデバイスである。アクチュエータ２は、駆動アクチュエータ及びブレーキアクチュエータを少なくとも含む。アクチュエータ２は、操舵アクチュエータを含んでもよい。駆動アクチュエータは、運転支援ＥＣＵ１０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、自車両の駆動力を制御する。なお、自車両がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに運転支援ＥＣＵ１０からの制御信号が入力されて当該駆動力が制御される。自車両が電気自動車である場合には、動力源としてのモータに運転支援ＥＣＵ１０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２を構成する。

【0016】

ブレーキアクチュエータは、運転支援ＥＣＵ１０からの制御信号に応じてブレーキシステムを制御し、自車両の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を運転支援ＥＣＵ１０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自車両の操舵トルクを制御する。

【0017】

ＨＭＩ３は、運転支援装置１００と運転者との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ３は、例えば、ディスプレイ、スピーカ等を備えている。ＨＭＩ３は、運転支援ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力及びスピーカからの音声出力を行う。ディスプレイは、ＨＵＤ［Head Up Display］であってもよく、インストルメントパネルに設けられるマルチインフォメーションディスプレイであってもよい。

【0018】

次に、運転支援ＥＣＵ１０の機能的構成について説明する。図１に示すように、運転支援ＥＣＵ１０は、信号機認識部１１、矢灯火判定部１２、見切れ判定エリア設定部１３、矢灯火見切れ判定部１４、主灯火見切れ判定部１５、灯火状態認識部１６、灯火状態記憶部１７、及び運転支援部１８を有している。なお、以下で説明する運転支援ＥＣＵ１０の機能の一部は、自車両と通信可能なサーバにおいて実行される態様であってもよい。

【0019】

信号機認識部１１は、前方カメラ１の撮像画像に基づいて、自車両の前方の信号機を認識する。信号機認識部１１は、撮像画像上の信号機の筐体を認識する。信号機認識部１１は、一定時間のサイクル毎に撮像画像上の信号機の筐体の認識を繰り返す。サイクルは、例えば運転支援ＥＣＵ１０の処理サイクルである。信号機認識部１１のサイクルは、前方カメラ１の撮像画像に関する信号の送信タイミングに対応してもよい。

【0020】

信号機認識部１１による信号機の認識方法は特に限定されず、エッジ抽出処理、ノイズ除去処理、パターンマッチング、特徴抽出からのディープラーニングなどの画像処理により撮像画像中の信号機の筐体を認識することができる。以下、説明で用いる画像処理には、エッジ抽出処理、ノイズ除去処理、パターンマッチング、ディープラーニングのうち少なくとも一つが含まれる。

【0021】

信号機認識部１１は、信号機の筐体の形状から矢灯火付き信号機であることを認識してもよい。信号機認識部１１は、信号機の存在を認識できればよく、筐体の認識に限定されない。信号機認識部１１は、主灯火の点灯状態を検出してもよい。

【0022】

また、信号機認識部１１は、撮像画像上における信号機の追跡を行う。信号機認識部１１は、過去のサイクルにおける撮像画像上の信号機の位置を現在のサイクルにおける撮像画像上の信号機の位置と比較して信号機を追跡することで、信号機の同一性を把握する。

【0023】

信号機認識部１１は、自車両の前方の信号機が自車両を対象とする信号機であるか否かを判定してもよい。自車両を対象とする信号機とは、自車両の走行する車線に対応する信号機である。自車両は、自車両を対象とする信号機の灯火状態に応じて進行や停止を判断する必要がある。信号機認識部１１は、例えば前方カメラ１の撮像画像に基づいて、自車両の走行する車線と当該車線に対応する信号機を認識することで、自車両の前方の信号機が自車両を対象とする信号機であるか否かを判定する。

【0024】

矢灯火判定部１２は、撮像画像上で矢灯火付き信号機の矢灯火が点灯しているか否かを判定する。矢灯火判定部１２は、画像処理により矢灯火が点灯しているか否かを判定する。矢灯火判定部１２は、自車両の前方の信号機が矢灯火付き信号機である場合にのみ矢灯火の判定を行ってもよく、全ての信号機に対して矢灯火の判定を行ってもよい。

【0025】

見切れ判定エリア設定部１３は、矢灯火判定部１２により矢灯火が点灯していると判定された場合、前方カメラ１の撮像画像上に矢灯火付き信号機を含む見切れ判定エリアを設定する。見切れ判定エリアは、矢灯火付き信号機における矢灯火や主灯火の見切れを判定するためのエリアである。見切れ判定エリアは、矢灯火付き信号機を含むように撮像画像上に設定される。見切れ判定エリアは、複数のサイクルを跨いで撮像画像上に設定される。

【0026】

図２は、見切れ判定エリアの設定を説明するための図である。図２に、前方カメラ１の撮像画像Ｇ、交差点Ｐ、交差点Ｐの手前の矢灯火付き信号機Ｔ１、交差点Ｐの奥の矢灯火付き信号機Ｔ２、矢灯火付き信号機Ｔ１の主灯火Ｍ、矢灯火付き信号機Ｔ１の矢灯火Ｙ、及び見切れ判定エリアＣを示す。見切れ判定エリア設定部１３は、一例として、図２に示す状況において、撮像画像Ｇの左上で矢灯火付き信号機Ｔ１を含む位置に見切れ判定エリアＣを設定する。

【0027】

見切れ判定エリア設定部１３は、撮像画像上で矢灯火付き信号機を中心とする一定範囲のエリアを見切れ判定エリアとして設定してもよい。見切れ判定エリア設定部１３は、信号機の筐体の上端、下端、右端、左端からそれぞれ一定距離離れた位置に矩形枠状の見切れ判定エリアの各辺が位置するように見切れ判定エリアを設定してもよい。

【0028】

見切れ判定エリア設定部１３は、過去のサイクルにおける撮像画像上の矢灯火付き信号機の位置に基づいて、次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出し、撮像画像上の矢灯火付き信号機の予測位置を含むように見切れ判定エリアを設定してもよい。過去のサイクルにおける撮像画像上の矢灯火付き信号機の位置は、少なくとも一つ前のサイクルにおける撮像画像上の矢灯火付き信号機の位置を含んでいればよい。

【0029】

見切れ判定エリア設定部１３は、自車両の進行による撮像画像上の信号機の位置変化を踏まえて次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出する。見切れ判定エリア設定部１３は、自車両の車速を踏まえて次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出してもよい。見切れ判定エリア設定部１３は、自車両のヨーレート又は操舵角を踏まえて次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出してもよい。見切れ判定エリア設定部１３は、矢灯火付き信号機の予測位置を含むように見切れ判定エリアを設定する。見切れ判定エリア設定部１３は、例えば矢灯火付き信号機の予測位置を中心とする一定範囲を見切れ判定エリアとして設定してもよい。

【0030】

見切れ判定エリア設定部１３は、過去の統計データを踏まえ、自車両の地図上の位置と撮像画像上の見切れ判定エリアの位置とを関連付けたデータテーブルを有し、データテーブルを用いて自車両の地図上の位置から撮像画像上の見切れ判定エリアの位置を決めてもよい。

【0031】

矢灯火見切れ判定部１４は、見切れ判定エリアの設定後、サイクル毎に見切れ判定エリア内に矢灯火が存在するか否かを判定する。矢灯火見切れ判定部１４は、撮像画像上で見切れ判定エリア内の画像処理を行うことにより見切れ判定エリア内に矢灯火が存在するか否かを判定する。

【0032】

主灯火見切れ判定部１５は、見切れ判定エリアの設定後、サイクル毎に見切れ判定エリア内に主灯火が存在するか否かを判定する。主灯火見切れ判定部１５は、撮像画像上で見切れ判定エリア内の画像処理を行うことにより見切れ判定エリア内に主灯火が存在するか否かを判定する。

【0033】

主灯火見切れ判定部１５は、矢灯火見切れ判定部１４により見切れ判定エリア内に矢灯火が存在しないと判定された場合にのみ主灯火の見切れ判定を実行してもよい。主灯火と比べて矢灯火の方がカメラによる認識が困難であることから、矢灯火から先に見切れが発生することが知られている。

【0034】

灯火状態認識部１６は、信号機の灯火状態を認識する。灯火状態認識部１６は、矢灯火付き信号機においては矢灯火判定部１２による矢灯火の判定結果を含む灯火状態を認識する。灯火状態認識部１６は、後述する灯火状態記憶部１７に記憶された過去のサイクルにおける信号機の灯火状態と、現在のサイクルにおける信号機の灯火状態とを比較して灯火状態の追跡を行ってもよい。

【0035】

灯火状態認識部１６は、矢灯火見切れ判定部１４により見切れ判定エリア内に矢灯火が存在しないと判定された場合、矢灯火が存在すると判定されたときの矢灯火付き信号機の点灯状態が一定時間継続するとして点灯状態の認識を行う。

【0036】

具体的に、灯火状態認識部１６は、矢灯火見切れ判定部１４により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第一設定時間継続すると認識する。第一設定時間は、１秒でもよく、１．８秒でもよく、２．５秒でもよく、３秒でもよい。第一設定時間は、上述したサイクルを用いてカウントされてもよい。第一設定時間のカウント開始は、例えば見切れ判定エリア内に矢灯火が存在しないと判定されたときである。

【0037】

同様に、灯火状態認識部１６は、主灯火見切れ判定部１５により見切れ判定エリア内に主灯火が存在しないと判定された場合、主灯火が存在すると判定されたときの矢灯火付き信号機の点灯状態が一定時間継続するとして点灯状態の認識を行う。

【0038】

具体的に、灯火状態認識部１６は、主灯火見切れ判定部１５により見切れ判定エリア内に主灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に主灯火が存在しないと判定された場合に、主灯火が存在すると判定された一つ前のサイクルにおける主灯火の点灯状態が予め設定された第二設定時間継続すると認識する。第二設定時間は、１秒でもよく、１．８秒でもよく、２．５秒でもよく、３秒でもよい。第二設定時間は、上述したサイクルを用いてカウントされてもよい。第二設定時間のカウント開始は、例えば見切れ判定エリア内に主灯火が存在しないと判定されたときである。第二設定時間は、第一設定時間と同じ時間であってもよく、第一設定時間より短い時間であってもよい。

【0039】

灯火状態記憶部１７は、灯火状態認識部１６の認識した信号機の灯火状態を記憶する。灯火状態記憶部１７は、サイクルごとに信号機の灯火状態を記憶する。灯火状態記憶部１７は、例えば予め決められたサイクル数の分だけ過去の信号機の灯火状態の記憶を保持する。灯火状態記憶部１７は、撮像画像上の信号機の筐体の位置を記憶してもよい。

【0040】

運転支援部１８は、自車両の運転者を支援する運転支援を実行する。運転支援部１８は、灯火状態認識部１６の認識した自車両を対象とする信号機の灯火状態に応じて各種の運転支援を実行する。運転支援には、運転者に対する注意喚起が含まれてもよく、車両の自動減速制御が含まれてもよい。

【0041】

運転支援部１８は、例えば信号機の灯火状態が通過禁止状態又は信号遷移状態である場合に、運転者に対して信号機の灯火状態を伝えるための注意喚起を行う。運転支援部１８は、ＨＭＩ３に制御信号を送信することにより注意喚起を実行する。注意喚起は、例えばブザー音の出力である。注意喚起は、音声出力であってもよく、インストルメントパネルのマルチインフォメーションディスプレイにおける画像表示であってもよい。注意喚起は、ＨＵＤによる自車両のフロントガラスへの投影表示であってもよい。

【0042】

運転支援部１８は、信号機の灯火状態が通過禁止状態である場合に、自車両の自動減速制御を行ってもよい。運転支援部１８は、アクチュエータ２のブレーキアクチュエータに制御信号を送信することにより自動減速制御を実行する。運転支援部１８は、自車両が信号機に到達する前に一定速度以下となるように自動減速制御を行う。

【0043】

［運転支援装置（灯火状態認識装置）の処理］
次に、運転支援装置１００の処理について図面を参照して説明する。図３は、見切れ判定エリア設定処理の一例を示すフローチャートである。

【0044】

図３に示すように、運転支援装置１００の運転支援ＥＣＵ１０は、Ｓ１０として、信号機認識部１１により自車両の前方の信号機の筐体を認識する。信号機認識部１１は、前方カメラ１の撮像画像に基づいて、信号機の筐体の認識を行う。

【0045】

Ｓ１１において、運転支援ＥＣＵ１０は、信号機認識部１１により自車両の前方の信号機が自車両を対象とする信号機であるか否かを判定する。信号機認識部１１は、例えば前方カメラ１の撮像画像に基づいて、自車両の走行する車線と当該車線に対応する信号機を認識することで、自車両の前方の信号機が自車両を対象とする信号機であるか否かを判定する。運転支援ＥＣＵ１０は、自車両を対象とする信号機であると判定した場合（Ｓ１１：ＹＥＳ）、Ｓ１２に移行する。運転支援ＥＣＵ１０は、自車両を対象とする信号機であると判定しなかった場合（Ｓ１１：ＮＯ）、今回の見切れ判定エリア設定処理を終了する。

【0046】

Ｓ１２において、運転支援ＥＣＵ１０は、灯火状態認識部１６により信号機の灯火状態を認識する。灯火状態認識部１６は、前方カメラ１の撮像画像に基づいて、画像処理により信号機の点灯状態を認識する。その後、Ｓ１３において、運転支援ＥＣＵ１０は、灯火状態記憶部１７により信号機の灯火状態を記憶する。

【0047】

Ｓ１４において、運転支援ＥＣＵ１０は、矢灯火判定部１２により撮像画像上で矢灯火付き信号機の矢灯火が点灯しているか否かを判定する。運転支援ＥＣＵ１０は、撮像画像上で矢灯火付き信号機の矢灯火が点灯していると判定した場合（Ｓ１４：ＹＥＳ）、Ｓ１５に移行する。運転支援ＥＣＵ１０は、撮像画像上で矢灯火付き信号機の矢灯火が点灯していると判定しなかった場合（Ｓ１４：ＮＯ）、今回の見切れ判定エリア設定処理を終了する。なお、信号機が矢灯火付き信号機ではなかった場合も、矢灯火が点灯していると判定されない。

【0048】

Ｓ１５において、運転支援ＥＣＵ１０は、見切れ判定エリア設定部１３により前方カメラ１の撮像画像上に矢灯火付き信号機を含む見切れ判定エリアを設定する。見切れ判定エリア設定部１３は、例えば撮像画像上で矢灯火付き信号機を中心とする一定範囲のエリアを見切れ判定エリアとして設定する。その後、運転支援ＥＣＵ１０は、今回の見切れ判定エリア設定処理を終了する。

【0049】

図４（ａ）は、矢灯火見切れ処理の一例を示すフローチャートである。矢灯火見切れ処理は、図３の見切れ判定エリア設定処理において見切れ判定エリアが設定された場合に実行される。

【0050】

図４（ａ）に示すように、運転支援ＥＣＵ１０は、Ｓ２０として、矢灯火見切れ判定部１４により見切れ判定エリア内に矢灯火が存在するか否かを判定する。矢灯火見切れ判定部１４は、撮像画像上で見切れ判定エリア内の画像処理を行うことにより見切れ判定エリア内に矢灯火が存在するか否かを判定する。運転支援ＥＣＵ１０は、見切れ判定エリア内に矢灯火が存在しないと判定された場合（Ｓ２０：ＹＥＳ）、Ｓ２１に移行する。運転支援ＥＣＵ１０は、見切れ判定エリア内に矢灯火が存在しないと判定されなかった場合（Ｓ２０：ＮＯ）、今回の矢灯火見切れ処理を終了する。その後、運転支援ＥＣＵ１０は、一定時間の経過後に、再びＳ２０から処理を繰り返す。

【0051】

Ｓ２１において、運転支援ＥＣＵ１０は、灯火状態認識部１６により一つ前のサイクルにおける矢灯火の点灯状態が第一設定時間継続すると認識する。灯火状態認識部１６は、矢灯火を検出できなくても、矢灯火の点灯状態が第一設定時間継続するものとして信号機の灯火状態を認識する。その後、運転支援ＥＣＵ１０は、今回の矢灯火見切れ処理を終了する。

【0052】

図４（ｂ）は、主灯火見切れ処理の一例を示すフローチャートである。主灯火見切れ処理は、図３の見切れ判定エリア設定処理において見切れ判定エリアが設定された場合に実行される。

【0053】

図４（ｂ）に示すように、運転支援ＥＣＵ１０は、Ｓ３０として、主灯火見切れ判定部１５により見切れ判定エリア内に主灯火が存在するか否かを判定する。主灯火見切れ判定部１５は、撮像画像上で見切れ判定エリア内の画像処理を行うことにより見切れ判定エリア内に主灯火が存在するか否かを判定する。運転支援ＥＣＵ１０は、見切れ判定エリア内に主灯火が存在しないと判定された場合（Ｓ３０：ＹＥＳ）、Ｓ３１に移行する。運転支援ＥＣＵ１０は、見切れ判定エリア内に主灯火が存在しないと判定されなかった場合（Ｓ３０：ＮＯ）、今回の主灯火見切れ処理を終了する。その後、運転支援ＥＣＵ１０は、一定時間の経過後に、再びＳ３０から処理を繰り返す。

【0054】

Ｓ３１において、運転支援ＥＣＵ１０は、灯火状態認識部１６により一つ前のサイクルにおける主灯火の点灯状態が第二設定時間継続すると認識する。灯火状態認識部１６は、主灯火を検出できなくても、主灯火の点灯状態が第二設定時間継続するものとして信号機の灯火状態を認識する。その後、運転支援ＥＣＵ１０は、今回の主灯火見切れ処理を終了する。

【0055】

以上説明した本実施形態に係る運転支援装置（灯火状態認識装置）１００によれば、矢灯火見切れ判定部１４により見切れ判定エリア内に矢灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に矢灯火が存在しないと判定された場合に、矢灯火が存在すると判定された一つ前のサイクルにおける矢灯火の点灯状態が予め設定された第一設定時間継続すると認識するので、矢灯火が見切れたとしても矢灯火の点灯状態の認識を継続することができる。このため、運転支援装置１００は、矢灯火の見切れにより誤った運転支援を実行することを避けることができる。

【0056】

また、運転支援装置１００によれば、主灯火見切れ判定部１５により見切れ判定エリア内に主灯火が存在すると判定された次のサイクルにおいて見切れ判定エリア内に主灯火が存在しないと判定された場合に、主灯火が存在すると判定された一つ前のサイクルにおける主灯火の点灯状態が予め設定された第二設定時間継続するので、主灯火が見切れたとしても矢灯火の点灯状態の認識を継続することができる。

【0057】

更に、運転支援装置１００によれば、過去のサイクルにおける撮像画像上の矢灯火付き信号機の位置に基づいて、次のサイクルにおける撮像画像上の矢灯火付き信号機の予測位置を算出し、撮像画像上の矢灯火付き信号機の予測位置を含むように見切れ判定エリアを設定することで、見切れ判定エリアをより適切な位置に設定することも可能になる。

【0058】

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

【0059】

灯火状態認識装置は、必ずしも運転支援装置１００の一部である必要はない。灯火状態認識装置は、運転支援装置とは独立した別の装置であってもよい。灯火状態認識装置は、必ずしも主灯火の見切れ判定を行う必要はない。この場合には、ＥＣＵは主灯火見切れ判定部１５を有する必要はない。

【0060】

灯火状態認識部１６は、過去の矢灯火付き信号機の灯火状態の変化に基づいて、矢灯火付き信号機の灯火状態の切り替わりのタイミングを把握してもよい。或いは、矢灯火付き信号機の灯火状態の切り替わりのタイミングを一定時間として把握していてもよい。灯火状態認識部１６は、当該矢灯火付き信号機における矢灯火の点灯状態を認識してから（矢灯火判定部１２により矢灯火が点灯していると判定してから）、灯火状態の切り替わりのタイミングより早いタイミングで見切れ判定エリア内に矢灯火が存在しないと判定されたときにのみ、矢灯火の見切れが生じたと判定してもよい。すなわち、灯火状態認識部１６は、矢灯火付き信号機の灯火状態の切り替わりのタイミングと同じ又は遅いタイミングで見切れ判定エリア内に矢灯火が存在しないと判定された場合には、灯火状態の切り替わりで矢灯火が消灯した可能性があるため、矢灯火の点灯状態の認識を継続しなくてもよい。

【符号の説明】

【0061】

１…前方カメラ、１０…運転支援ＥＣＵ、１１…信号機認識部、１２…矢灯火判定部、１３…判定エリア設定部、１４…矢灯火見切れ判定部、１５…主灯火見切れ判定部、１６…灯火状態認識部、１００…運転支援装置（灯火状態認識装置）、Ｃ…見切れ判定エリア、Ｇ…撮像画像、Ｍ…主灯火、Ｔ１，Ｔ２…矢灯火付き信号機、Ｙ…矢灯火。

【図1】

【図2】

【図3】

【図4】