特開 2024-130649 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130649

(43)【公開日】2024-09-30

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06V 10/56 20220101AFI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06V 20/58 20220101ALI20240920BHJP

   G08G 1/09 20060101ALI20240920BHJP

【ＦＩ】

G06V10/56

G06T7/00 300F

G06T7/00 650Z

G06V20/58

G08G1/09 D

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023040498

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】木下 翔太

(72)【発明者】

【氏名】垣田 直士

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】西島 康崇

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181BB20

5H181CC04

5H181FF27

5L096AA02

5L096AA06

5L096BA04

5L096GA38

5L096GA40

5L096GA55

5L096JA11

(57)【要約】

【課題】信号機の灯火色の検出精度を向上させること。
【解決手段】実施形態に係る画像処理装置は、カメラ画像から信号機の灯火色を判定するコントローラを有する。コントローラは、上記信号機が有する各灯火器の配置に対応する上記信号機の各灯火状態における色成分の配置パターンを、上記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、上記カメラ画像に対する画像認識によって上記信号機が存在する信号領域を抽出し、上記信号領域から上記複数種類のパターンフィルタを介して上記色成分ごとの上記配置パターンに対する特徴量を示す複数の特徴マップを生成し、上記複数の特徴マップに基づいて上記信号機の灯火色を判定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

カメラ画像から信号機の灯火色を判定するコントローラを有し、
前記コントローラは、
前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、
前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出し、
前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成し、
前記複数の特徴マップに基づいて前記信号機の灯火色を判定する、
画像処理装置。

【請求項2】

前記パターンフィルタは、
前記信号領域において前記信号機の青色灯火器の位置に対応する前記色成分を検出する前記検出部である第１検出部と、
前記信号領域において前記信号機の黄色灯火器の位置に対応する前記色成分を検出する前記検出部である第２検出部と、
前記信号領域において前記信号機の赤色灯火器の位置に対応する前記色成分を検出する前記検出部である第３検出部と、
を有し、
前記コントローラは、
前記第１検出部、前記第２検出部および前記第３検出部が、前記第１検出部と前記第２検出部との間、および、前記第２検出部と前記第３検出部との間に予め決められた前記間隔を空けて前記信号機の長手方向に沿って並ぶように前記パターンフィルタを設定する、
請求項１に記載の画像処理装置。

【請求項3】

前記パターンフィルタは、
前記信号機の青色灯火時、黄色灯火時、赤色灯火時および無灯火時である前記各灯火状態にそれぞれ対応する４種類と、該４種類それぞれについてＳスケール、ＭスケールおよびＬスケールの３種類の前記間隔を有する計１２種類が設定され、
前記コントローラは、
１２種類の前記パターンフィルタによって１２の前記特徴マップを生成する、
請求項２に記載の画像処理装置。

【請求項4】

前記コントローラは、
生成した１２の前記特徴マップのうち、前記間隔の異なる前記パターンフィルタによる前記特徴マップを重ね合わせて１つの前記特徴マップとし、前記各灯火状態にそれぞれ対応する４つの前記特徴マップに基づいて前記信号機の灯火色を判定する、
請求項３に記載の画像処理装置。

【請求項5】

前記特徴量は、
前記配置パターンに該当する前記色成分の抽出量であって、
前記コントローラは、
前記特徴マップにおける青色成分、黄色成分および赤色成分の抽出量のいずれかが予め決められた値以上である場合に、前記青色成分、前記黄色成分および前記赤色成分のうち抽出量が最大の前記色成分に対応する色を前記信号機の灯火色と判定する、
請求項４に記載の画像処理装置。

【請求項6】

前記コントローラは、
前記青色成分、前記黄色成分および前記赤色成分の抽出量のいずれもが予め決められた値未満である場合に、前記特徴マップにおける無灯火色成分の抽出量が予め決められた値以上であるならば、前記信号機が無灯火であると判定する、
請求項５に記載の画像処理装置。

【請求項7】

前記コントローラは、
前記信号領域を２５×２５画素分の領域として抽出し、
前記第１検出部、前記第２検出部および前記第３検出部がそれぞれ、３×３画素分の領域の前記色成分を検出するように前記パターンフィルタを設定し、
前記Ｓスケールの前記間隔が１画素分となり、前記Ｍスケールの前記間隔が３画素分となり、前記Ｌスケールの前記間隔が５画素分となるように前記パターンフィルタを設定する、
請求項３に記載の画像処理装置。

【請求項8】

カメラ画像から信号機の灯火色を判定する画像処理装置が実行する画像処理方法であって、
前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定することと、
前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出することと、
前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成することと、
前記複数の特徴マップに基づいて前記信号機の灯火色を判定することと、
を含む、画像処理方法。

【請求項9】

前記パターンフィルタは、
前記信号領域において前記信号機の青色灯火器の位置に対応する前記色成分を検出する前記検出部である第１検出部と、
前記信号領域において前記信号機の黄色灯火器の位置に対応する前記色成分を検出する前記検出部である第２検出部と、
前記信号領域において前記信号機の赤色灯火器の位置に対応する前記色成分を検出する前記検出部である第３検出部と、
を有し、
前記第１検出部、前記第２検出部および前記第３検出部が、前記第１検出部と前記第２検出部との間、および、前記第２検出部と前記第３検出部との間に予め決められた間隔を空けて前記信号機の長手方向に沿って並ぶように前記パターンフィルタを設定すること、
をさらに含む、請求項８に記載の画像処理方法。

【請求項10】

前記パターンフィルタは、
前記信号機の青色灯火時、黄色灯火時、赤色灯火時および無灯火時である前記各灯火状態にそれぞれ対応する４種類と、該４種類それぞれについてＳスケール、ＭスケールおよびＬスケールの３種類の前記間隔を有する計１２種類が設定され、
１２種類の前記パターンフィルタによって１２の前記特徴マップを生成すること、
をさらに含む、請求項９に記載の画像処理方法。

【請求項11】

生成した１２の前記特徴マップのうち、前記間隔の異なる前記パターンフィルタによる前記特徴マップを重ね合わせて１つの前記特徴マップとし、前記各灯火状態にそれぞれ対応する４つの前記特徴マップに基づいて前記信号機の灯火色を判定すること、
をさらに含む、請求項１０に記載の画像処理方法。

【請求項12】

カメラ画像から信号機の灯火色を判定するコンピュータに、
前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定すること、
前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出すること、
前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成すること、
前記複数の特徴マップに基づいて前記信号機の灯火色を判定すること、
を実行させる、プログラム。

【請求項13】

前記パターンフィルタは、
前記信号領域において前記信号機の青色灯火器の位置に対応する前記色成分を検出する前記検出部である第１検出部と、
前記信号領域において前記信号機の黄色灯火器の位置に対応する前記色成分を検出する前記検出部である第２検出部と、
前記信号領域において前記信号機の赤色灯火器の位置に対応する前記色成分を検出する前記検出部である第３検出部と、
を有し、
前記第１検出部、前記第２検出部および前記第３検出部が、前記第１検出部と前記第２検出部との間、および、前記第２検出部と前記第３検出部との間に予め決められた間隔を空けて前記信号機の長手方向に沿って並ぶように前記パターンフィルタを設定すること、
をさらに前記コンピュータに実行させる、請求項１２に記載のプログラム。

【請求項14】

前記パターンフィルタは、
前記信号機の青色灯火時、黄色灯火時、赤色灯火時および無灯火時である前記各灯火状態にそれぞれ対応する４種類と、該４種類それぞれについてＳスケール、ＭスケールおよびＬスケールの３種類の前記間隔を有する計１２種類が設定され、
１２種類の前記パターンフィルタによって１２の前記特徴マップを生成すること、
をさらに前記コンピュータに実行させる、請求項１３に記載のプログラム。

【請求項15】

生成した１２の前記特徴マップのうち、前記間隔の異なる前記パターンフィルタによる前記特徴マップを重ね合わせて１つの前記特徴マップとし、前記各灯火状態にそれぞれ対応する４つの前記特徴マップに基づいて前記信号機の灯火色を判定すること、
をさらに前記コンピュータに実行させる、請求項１４に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、車両からのカメラ画像に対するテンプレートマッチングにより、信号機および信号機の灯火色を検出する技術が提案されている（例えば、特許文献１参照）。

【0003】

この技術では、地図データベースから抽出した車両前方にある信号機との距離に基づき、テンプレートの大きさを調整しつつカメラ画像から信号機を検出する。また、この技術では、検出した信号機における３つの円状の領域のうち、最も輝度レベルが高い領域に対応する灯火器の色を灯火色として検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－００４２５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術では、灯火色を判定するに際して上述の３つの円状の領域の輝度レベルのみを比較している。このため、上述した従来技術を用いた場合、強い日差しや、信号機の周囲にある照明や強反射物、外乱等の影響で、灯火していない灯火器に対応する領域が最も輝度レベルが高いと判定された場合、信号機の灯火色を誤検出してしまうおそれがある。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、信号機の灯火色の検出精度を向上させることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る画像処理装置は、カメラ画像から信号機の灯火色を判定するコントローラを有する。前記コントローラは、前記信号機が有する各灯火器の配置に対応する前記信号機の各灯火状態における色成分の配置パターンを、前記色成分を検出する検出部間の間隔が異なる複数種類のパターンフィルタとして設定し、前記カメラ画像に対する画像認識によって前記信号機が存在する信号領域を抽出し、前記信号領域から前記複数種類のパターンフィルタを介して前記色成分ごとの前記配置パターンに対する特徴量を示す複数の特徴マップを生成し、前記複数の特徴マップに基づいて前記信号機の灯火色を判定する。

【発明の効果】

【0008】

実施形態の一態様によれば、信号機の灯火色の検出精度を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る画像処理方法の概要説明図（その１）である。

【図2】図２は、実施形態に係る灯火色パターンフィルタの構成例を示す図である。

【図3】図３は、実施形態に係る画像処理方法の概要説明図（その２）である。

【図4】図４は、灯火色パターンフィルタにおける各検出部の間隔によって灯火色が誤判定されるおそれがある場合の説明図である。

【図5】図５は、スケール別の灯火色パターンフィルタの構成例を示す図である。

【図6】図６は、実施形態に係る画像処理方法の概要説明図（その３）である。

【図7】図７は、実施形態に係る画像処理装置の構成例を示す図である。

【図8】図８は、変形例に係る画像処理装置の構成例を示す図である。

【図9】図９は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その１）である。

【図10】図１０は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その２）である。

【図11】図１１は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャート（その３）である。

【図12】図１２は、特徴マップ生成処理の説明図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0011】

また、以下では、実施形態に係る画像処理装置１０が、車両に搭載される車載装置であるものとする。画像処理装置１０は、カメラ画像の画像認識によって、画像中の対象物や対象物の状態を検出可能に設けられた装置である。本実施形態では、検出する対象物が信号機３００であるものとする。また、検出する対象物の状態が信号機３００の灯火状態であるものとする。灯火状態は、信号機３００の青色灯火、黄色灯火、赤色灯火、無灯火のいずれかの状態を指す。

【0012】

また、以下では、「所定」との表現は、「予め決められた」と読み替えてもよい。

【0013】

まず、実施形態に係る画像処理方法の概要について、図１～図６を用いて説明する。図１は、実施形態に係る画像処理方法の概要説明図（その１）である。図２は、実施形態に係る灯火色パターンフィルタ５００の構成例を示す図である。図３は、実施形態に係る画像処理方法の概要説明図（その２）である。図４は、灯火色パターンフィルタ５００における各検出部５０１，５０２，５０３の間隔ｉによって灯火色が誤判定されるおそれがある場合の説明図である。図５は、スケール別の灯火色パターンフィルタ５００の構成例を示す図である。図６は、実施形態に係る画像処理方法の概要説明図（その３）である。

【0014】

画像処理装置１０は、信号機３００の灯火状態を検出し、検出結果に基づいて例えば車両の信号無視判定を行う。かかる情報処理は、画像処理装置１０が備えるコントローラ１２（図７参照）が実行する。

【0015】

図１に示すように、コントローラ１２は、カメラ画像を入力とし、画像中から信号機３００が存在する矩形領域を抽出する（ステップＳ１）。ステップＳ１は、公知技術である。ステップＳ１では、コントローラ１２は、機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデル等を使用して、画像中から信号機３００が存在する矩形領域を抽出する。なお、以下では、かかる矩形領域を「信号領域ＳＲ」と呼ぶ。

【0016】

つづいて、コントローラ１２は、信号領域ＳＲを入力として信号機３００の灯火状態を判定する（ステップＳ２）。ステップＳ２では、コントローラ１２は、信号領域ＳＲを画像解析し、信号機３００が青色灯火、黄色灯火、赤色灯火、無灯火のいずれの灯火状態にあるかを判定する。

【0017】

次に、コントローラ１２は、カメラ画像のフレーム間の差異により信号機３００が走行する車両に対して相対的にどのように動くかを推定する動き推定を行う（ステップＳ３）。そして、コントローラ１２は、ステップＳ２での灯火状態判定結果と、ステップＳ３での動き推定結果とに基づいて信号無視に該当するか否かを判定し（ステップＳ４）、その判定結果を出力する。

【0018】

本実施形態に係る画像処理方法は、破線の矩形で囲まれたステップＳ２において適用される。本実施形態に係る画像処理方法では、ステップＳ２で、コントローラ１２が公知技術である色抽出フィルタを用いて信号領域ＳＲから信号機３００の各灯火色に対応する各色成分を抽出する。そして、コントローラ１２が、抽出した各色成分に対して実施形態に係る灯火色パターンフィルタ５００（図２参照）を適用し、信号機３００の各灯火状態における色成分の配置パターンに対する各色成分の特徴量を示す特徴マップ７００（図６参照）を生成する。そして、コントローラ１２が、特徴マップ７００の示す各色成分の抽出量に基づいて信号機３００の灯火色を判定する。

【0019】

実施形態に係る灯火色パターンフィルタ５００は、信号機３００が有する各灯火器の配置に対応する信号機３００の各灯火状態における色成分の配置パターンを表すようにコントローラ１２によって設定されるフィルタである。

【0020】

具体的には、図２に示すように、灯火色パターンフィルタ５００は、第１検出部５０１と、第２検出部５０２と、第３検出部５０３とを有する。第１検出部５０１は、信号領域ＳＲにおいて信号機３００の青色灯火器３０１の位置に対応する色成分を検出する検出部である。第２検出部５０２は、信号領域ＳＲにおいて信号機３００の黄色灯火器３０２の位置に対応する色成分を検出する検出部である。第３検出部５０３は、信号領域ＳＲにおいて信号機３００の赤色灯火器３０３の位置に対応する色成分を検出する検出部である。

【0021】

各検出部５０１，５０２，５０３は、図２に示すように、例えば３×３画素（ｐｘ）分の領域の色成分を検出するように設定される。

【0022】

また、灯火色パターンフィルタ５００は、第１検出部５０１、第２検出部５０２および第３検出部５０３が、予め決められた間隔ｉを空けて信号機３００の長手方向に沿って並ぶように設定される。これにより、少なくとも３灯式の信号機３００の各灯火状態における色成分の配置パターンを網羅した灯火色パターンフィルタ５００の設定が可能となる。

【0023】

そして、灯火色パターンフィルタ５００は、第１検出部５０１、第２検出部５０２および第３検出部５０３のうちの少なくとも２つが無灯火色（例えば、黒色）成分を検出し、残りの１つが各灯火色（青色、黄色または赤色）成分あるいは無灯火色成分を検出する。図２には、灯火色パターンフィルタ５００が、信号機３００において青色灯火器３０１の灯火する青色灯火時における色成分の配置パターンを示す青色パターンフィルタである場合の例を示している。

【0024】

なお、以下では、青色パターンフィルタを適宜「青色パターンフィルタ５００－Ｂ」と呼び、黄色パターンフィルタを適宜「黄色パターンフィルタ５００－Ｙ」と呼ぶ。また、赤色パターンフィルタを適宜「赤色パターンフィルタ５００－Ｒ」と呼び、無灯火色パターンフィルタを適宜「無灯火色パターンフィルタ５００－Ｎ」と呼ぶ。

【0025】

そして、図３に示すように、実施形態に係る画像処理方法では、コントローラ１２が、ステップＳ１で抽出した信号領域ＳＲに対し、灯火色パターンフィルタ５００を適用する。このとき、コントローラ１２は、青色、黄色、赤色、無灯火色の各パターンフィルタ５００－Ｂ，５００－Ｙ，５００－Ｒ，５００－Ｎをそれぞれ信号領域ＳＲに対し適用する。その結果、信号機３００の色成分の配置パターンが例えば青色パターンに該当すると判定されれば、コントローラ１２は信号機３００を青色灯火であると判定する。

【0026】

ところで、コントローラ１２は、ステップＳ１において、図３に示すように信号領域ＳＲが例えば２５×２５画素の常に同じ形状、同じサイズの画像となるようにカメラ画像からサンプリングすることによって信号領域ＳＲを抽出する。ただし、路面の勾配や車載カメラの取り付け角度等によって車載カメラと信号機３００との距離には誤差が生じるため、信号領域ＳＲにおける信号機３００は、常に同じサイズとはならないことが想定される。

【0027】

このため、図４の左図に示すように、例えば信号機３００が通常よりも大きく検出された場合、コントローラ１２は、上述の間隔ｉが一定の青色パターンフィルタ５００－Ｂを用いていると、青色灯火にも関わらず青色パターンに該当しないと判定するおそれがある。図４の左図の例の場合、少なくとも第３検出部５０３は、黄色灯火器３０２と赤色灯火器３０３との間の色成分を検出してしまい、青色灯火時における赤色灯火器３０３の無灯火色を検出できないおそれがあるためである。

【0028】

また、図４の右図に示すように、信号機３００が通常よりも小さく検出された場合についても同様に、コントローラ１２は、間隔ｉが一定の青色パターンフィルタ５００－Ｂを用いていると、青色灯火にも関わらず青色パターンに該当しないと判定するおそれがある。図４の右図の例の場合、少なくとも第３検出部５０３は、信号機３００の背景の色成分を検出してしまい、青色灯火時における赤色灯火器３０３の無灯火色を検出できないためである。また、第２検出部５０２も、黄色灯火器３０２と赤色灯火器３０３との間の色成分を検出してしまい、青色灯火時における黄色灯火器３０２の無灯火色を検出できないおそれがあるためである。なお、図４では青色パターンフィルタ５００－Ｂを例に挙げているが、他の灯火色の各パターンフィルタ５００－Ｙ，５００－Ｒ，５００－Ｎについても同様である。

【0029】

そこで、実施形態に係る画像処理方法では、各パターンフィルタ５００－Ｂ，５００－Ｙ，５００－Ｒ，５００－Ｎのそれぞれにつき、間隔ｉの異なる複数のスケールの灯火色パターンフィルタ５００を設けることとした。

【0030】

具体的には、図５に示すように、コントローラ１２は、各パターンフィルタ５００－Ｂ，５００－Ｙ，５００－Ｒ，５００－Ｎのそれぞれにつき、間隔ｉの異なる例えば３種類を設定する。Ｓ（small）スケールフィルタは、間隔ｉが例えば１画素分に設定される。Ｍ（medium）スケールフィルタは、間隔ｉが例えば３画素分に設定される。Ｌ（large）スケールフィルタは、間隔ｉが例えば５画素分に設定される。コントローラ１２は、信号領域ＳＲに対し、信号機３００の灯火色に対応する各色成分のそれぞれにつき、これら間隔ｉの異なる各スケールフィルタをそれぞれ適用する。

【0031】

これにより、２５×２５画素で抽出される信号領域ＳＲにおいて信号機３００が常に同じサイズとはならない場合であっても、信号機３００のサイズの変化および信号領域ＳＲのサイズに応じつつ上記配置パターンに該当するか否かの判定が可能となる。

【0032】

なお、以下では、青色パターンフィルタ５００－ＢのうちのＳスケールフィルタに対し符号「５００－ＢＳ」を付し、Ｍスケールフィルタに対し符号「５００－ＢＭ」を付し、Ｌスケールフィルタに対し符号「５００－ＢＬ」を付す。また、Ｓスケールフィルタ５００－ＢＳによって生成される特徴マップ７００に適宜「－ＢＳ」を付し、Ｍスケールフィルタ５００－ＢＭによって生成される特徴マップ７００に適宜「－ＢＭ」を付す。同様に、Ｌスケールフィルタ５００－ＢＬによって生成される特徴マップ７００に適宜「－ＢＬ」を付す。

【0033】

また、黄色パターンフィルタ５００－ＹのうちのＳスケールフィルタに対し符号「５００－ＹＳ」を付し、Ｍスケールフィルタに対し符号「５００－ＹＭ」を付し、Ｌスケールフィルタに対し符号「５００－ＹＬ」を付す。また、Ｓスケールフィルタ５００－ＹＳによって生成される特徴マップ７００に適宜「－ＹＳ」を付し、Ｍスケールフィルタ５００－ＹＭによって生成される特徴マップ７００に適宜「－ＹＭ」を付す。同様に、Ｌスケールフィルタ５００－ＹＬによって生成される特徴マップ７００に適宜「－ＹＬ」を付す。

【0034】

また、赤色パターンフィルタ５００－ＲのうちのＳスケールフィルタに対し符号「５００－ＲＳ」を付し、Ｍスケールフィルタに対し符号「５００－ＲＭ」を付し、Ｌスケールフィルタに対し符号「５００－ＲＬ」を付す。また、Ｓスケールフィルタ５００－ＲＳによって生成される特徴マップ７００に適宜「－ＲＳ」を付し、Ｍスケールフィルタ５００－ＲＭによって生成される特徴マップ７００に適宜「－ＲＭ」を付す。同様に、Ｌスケールフィルタ５００－ＲＬによって生成される特徴マップ７００に適宜「－ＲＬ」を付す。

【0035】

また、無灯火色パターンフィルタ５００－ＮのうちのＳスケールフィルタに対し符号「５００－ＮＳ」を付し、Ｍスケールフィルタに対し符号「５００－ＮＭ」を付し、Ｌスケールフィルタに対し符号「５００－ＮＬ」を付す。また、Ｓスケールフィルタ５００－ＮＳによって生成される特徴マップ７００に適宜「－ＮＳ」を付し、Ｍスケールフィルタ５００－ＮＭによって生成される特徴マップ７００に適宜「－ＮＭ」を付す。同様に、Ｌスケールフィルタ５００－ＮＬによって生成される特徴マップ７００に適宜「－ＮＬ」を付す。

【0036】

これまでの説明をまとめると、図６に示すように、実施形態に係る画像処理方法では、コントローラ１２は信号領域ＳＲに対し、既存技術である色抽出フィルタＣＦを適用して信号機３００の各灯火色に対応する各色成分を抽出する。ここに言う各色成分は、青色、黄色、赤色、無灯火色の４種類の色成分である。

【0037】

そのうえで、実施形態に係る画像処理方法では、コントローラ１２は抽出した各色成分に対して灯火色パターンフィルタ５００を適用することによって、各色の特徴マップ７００を生成する。図６に示すように青色の場合、コントローラ１２は色抽出フィルタＣＦによって抽出された青色成分（厳密にはさらに無灯火色成分）に対し、青色のＳスケールフィルタ５００－ＢＳ、Ｍスケールフィルタ５００－ＢＭ、Ｌスケールフィルタ５００－ＢＬを適用する。

【0038】

これにより、コントローラ１２は、Ｓスケールフィルタ５００－ＢＳ、Ｍスケールフィルタ５００－ＢＭ、Ｌスケールフィルタ５００－ＢＬのそれぞれに応じた３つのスケール別の特徴マップ７００－ＢＳ，７００－ＢＭ，７００－ＢＬを生成する。上述したように、特徴マップ７００は、信号機３００の各灯火状態における色成分の配置パターンに対する各色成分の特徴量を示すものである。ここに言う特徴量は、例えば信号機３００の各灯火状態における色成分の配置パターンに該当する色成分の抽出量である。特徴マップ生成処理の詳細については、図１２を用いた説明で後述する。

【0039】

そして、コントローラ１２は、３つのスケール別の特徴マップ７００－ＢＳ，７００－ＢＭ，７００－ＢＬをマージする（重ね合わせる）ことによって、青色の特徴マップ７００－Ｂを生成する。

【0040】

なお、図示は略しているが、青色以外の他の色についても同様である。黄色の場合、コントローラ１２は、抽出された各色成分のうちの黄色成分（厳密にはさらに無灯火色成分）に対し、黄色のＳスケールフィルタ５００－ＹＳ、Ｍスケールフィルタ５００－ＹＭ、Ｌスケールフィルタ５００－ＹＬを適用する。これにより、コントローラ１２は、３つのスケール別の特徴マップ７００－ＹＳ，７００－ＹＭ，７００－ＹＬを生成し、これらをマージして黄色の特徴マップ７００－Ｙを生成する。

【0041】

赤色の場合、コントローラ１２は、抽出された各色成分のうちの赤色成分（厳密にはさらに無灯火色成分）に対し、赤色のＳスケールフィルタ５００－ＲＳ、Ｍスケールフィルタ５００－ＲＭ、Ｌスケールフィルタ５００－ＲＬを適用する。これにより、コントローラ１２は、３つのスケール別の特徴マップ７００－ＲＳ，７００－ＲＭ，７００－ＲＬを生成し、これらをマージして赤色の特徴マップ７００－Ｒを生成する。

【0042】

無灯火色の場合、コントローラ１２は、抽出された各色成分のうちの無灯火色成分に対し、無灯火色のＳスケールフィルタ５００－ＮＳ、Ｍスケールフィルタ５００－ＮＭ、Ｌスケールフィルタ５００－ＮＬを適用する。これにより、コントローラ１２は、３つのスケール別の特徴マップ７００－ＮＳ，７００－ＮＭ，７００－ＮＬを生成し、これらをマージして無灯火色の特徴マップ７００－Ｎを生成する。

【0043】

すなわち、コントローラ１２は、スケール別を含めると１２の特徴マップ７００を生成し、１２のうちのスケール別分をマージすることによって、各色成分に対応する４つの特徴マップ７００にする。

【0044】

コントローラ１２は、スケール別を含む１２の特徴マップ７００を生成することにより、信号領域ＳＲにおける信号機３００が常に同じサイズとならない場合であっても、抽出した各色成分の配置が上記配置パターンに該当するか否かを判定することが可能となる。

【0045】

また、コントローラ１２は、１２の特徴マップ７００のうちのスケール別分をマージする。これにより、コントローラ１２は、信号領域ＳＲにおける信号機３００が常に同じサイズとならない場合であっても、抽出した各色成分の配置が上記配置パターンに該当するか否かを容易に判定することが可能となる。また、このマージにより、コントローラ１２は、ＳスケールとＭスケールの間の中間的なスケールの信号機３００の色成分の配置パターンについても検出可能な特徴マップ７００を生成することができる。同じく、コントローラ１２は、ＭスケールとＬスケールの間の中間的なスケールの信号機３００の色成分の配置パターンについても検出可能な特徴マップ７００を生成することができる。

【0046】

そして、コントローラ１２は、スケール別分をマージした後の４つの特徴マップ７００に基づいて灯火色を判定する。具体的には、コントローラ１２は、特徴マップ７００－Ｂ，７００－Ｙ，７００－Ｒにおいて、青色成分、黄色成分、赤色成分の抽出量のいずれかが所定値以上である場合、抽出量が最大の色成分に対応する色を信号機３００の灯火色と判定する。抽出量は、各色成分に該当するとして各特徴マップ７００にマッピングされた画素の数である。これにより、コントローラ１２は、信号機３００の各灯火状態における色成分の配置パターンに該当するとして抽出された色成分のうち、抽出量が最大のものを灯火色と判定することができる。すなわち、コントローラ１２は、１つの灯火器の輝度レベル等のみによらず、予め設定された複数の灯火器の位置に応じた色成分の配置パターンに基づく判定を行うことで、信号機３００の灯火色を精度よく検出することが可能となる。

【0047】

また、コントローラ１２は、青色成分、黄色成分、赤色成分の抽出量のいずれもが所定値未満である場合、特徴マップ７００－Ｎにおいて無灯火色成分の抽出量が所定値以上ならば、信号機３００が無灯火であると判定する。これにより、コントローラ１２は、１つの灯火器の輝度レベル等のみによっては検出できない信号機３００が無灯火である状態を、予め設定された複数の灯火器の位置に応じた色成分の配置パターンに基づく判定を行うことで検出することが可能となる。

【0048】

このように、実施形態に係る画像処理方法では、コントローラ１２が、信号機３００の有する各灯火器３０１，３０２，３０３の配置に対応する信号機３００の各灯火状態における色成分の配置パターンを、上記色成分を検出する検出部間の間隔ｉが異なる複数種類の灯火色パターンフィルタ５００として設定する。また、コントローラ１２が、カメラ画像に対する画像認識によって信号機３００が存在する信号領域ＳＲを抽出する。また、コントローラ１２が、信号領域ＳＲから複数種類の灯火色パターンフィルタ５００を介して上記色成分ごとの上記配置パターンに対する特徴量を示す複数の特徴マップ７００を生成し、複数の特徴マップに基づいて信号機３００の灯火色を判定する。

【0049】

これにより、コントローラ１２は、信号機３００の各灯火状態における色成分の配置パターンに該当する色成分を抽出することができる。したがって、コントローラ１２は、各灯火器３０１，３０２，３０３の配置に対応する色成分による灯火色の判定を行うことができるので、例えば１つの灯火器の輝度レベルによってのみ灯火色を判定する場合に比べて、誤判定が起きることを抑制することができる。すなわち、実施形態に係る画像処理方法によれば、信号機３００の灯火色の検出精度を向上させることができる。

【0050】

以下、上述した実施形態に係る画像処理方法を適用した画像処理装置１０の構成例について、より具体的に説明する。

【0051】

図７は、実施形態に係る画像処理装置１０の構成例を示す図である。図７に示すように、画像処理装置１０は、記憶部１１と、コントローラ１２とを備える。また、画像処理装置１０は、カメラ３と、出力部５とが接続される。

【0052】

カメラ３は、車両に搭載され、車両の前方を撮像可能に設けられる。なお、カメラ３は、車両の前方に限らず、車両の全周囲を撮像可能な３６０度カメラであってもよい。

【0053】

出力部５は、画像処理装置１０からの出力情報を提示する出力デバイスである。出力部５は、ディスプレイやスピーカ等によって実現される。

【0054】

画像処理装置１０は、車両に搭載されるコンピュータである。画像処理装置１０は、少なくとも、図１を用いて説明したステップＳ１～Ｓ４の情報処理を実行する。

【0055】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１１は、コントローラ１２が実行する実施形態に係るプログラムを記憶する。また、記憶部１１は、コントローラ１２が実行する情報処理において用いられる各種の情報を記憶する。

【0056】

記憶部１１は、例えば画像認識用のＡＩ（Artificial Intelligence）モデルを記憶する。また、記憶部１１は、色抽出フィルタＣＦの設定情報および灯火色パターンフィルタ５００の設定情報を記憶する。

【0057】

コントローラ１２は、いわゆるプロセッサに相当する。コントローラ１２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro Processing Unit）や、ＧＰＵ（Graphics Processing Unit）等によって実現される。コントローラ１２は、記憶部１１に記憶されている実施形態に係るプログラムを読み込んでＲＡＭを作業領域として実行する。コントローラ１２は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することもできる。

【0058】

コントローラ１２は、図９～図１１の各フローチャートに示す処理手順による情報処理を実行する。図９～図１１を用いた説明は後述する。

【0059】

なお、図７に示すように、カメラ３、出力部５および画像処理装置１０は、ドライブレコーダ１として実現することができる。この場合、カメラ３は、ドライブレコーダ１に搭載されるカメラユニットによって実現される。出力部５は、ドライブレコーダ１に搭載されるディスプレイやスピーカによって実現される。画像処理装置１０は、ドライブレコーダ１に搭載されるマイコンによって実現される。

【0060】

図７に示す構成例は一例であり、この他にも変形例を挙げることができる。図８は、変形例に係る画像処理装置１０の構成例を示す図である。図８に示すように、画像処理装置１０は、画像処理ＥＣＵ（Electronic Control Unit）９として実現することができる。この場合、カメラ３は、例えばドライブレコーダ１に搭載されるカメラユニットによって実現される。カメラ３は、ドライブレコーダ１以外の車載カメラユニットによって実現されてもよい。出力部５は、車両に搭載される車載出力装置７である車載ディスプレイや車載スピーカによって実現される。

【0061】

図８の例の場合、カメラ３および出力部５は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して画像処理装置１０と接続される。カメラ３および出力部５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により画像処理装置１０と接続されてもよい。

【0062】

次に、画像処理装置１０のコントローラ１２が実行する情報処理の処理手順について、図９～図１１を用いて説明する。図９は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャート（その１）である。図１０は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャート（その２）である。図１１は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャート（その３）である。

【0063】

コントローラ１２は、図１に示した信号無視判定を行うにあたり、図９に示すように、カメラ３からカメラ画像を取得する（ステップＳ１０１）。つづいて、コントローラ１２は、取得したカメラ画像から信号機３００が存在する信号領域ＳＲを抽出する（ステップＳ１０２）。

【0064】

つづいて、コントローラ１２は、抽出した信号領域ＳＲに基づいて信号機３００の灯火状態を判定する「灯火状態判定処理」を実行する（ステップＳ１０３）。

【0065】

この「灯火状態判定処理」では、図１０に示すように、コントローラ１２は、信号領域ＳＲに対して色抽出フィルタＣＦを適用し、色抽出フィルタＣＦにより信号領域ＳＲから各色成分を抽出する（ステップＳ２０１）。

【0066】

そして、コントローラ１２は、どの色成分かにより処理を分ける（ステップＳ２０２）。色成分が青の場合（ステップＳ２０２，青）、コントローラ１２は、青色パターンのＳスケールフィルタ５００－ＢＳにより特徴マップ７００－ＢＳを生成する（ステップＳ２０３）。

【0067】

また、コントローラ１２は、青色パターンのＭスケールフィルタ５００－ＢＭにより特徴マップ７００－ＢＭを生成する（ステップＳ２０４）。また、コントローラ１２は、青色パターンのＬスケールフィルタ５００－ＢＬにより特徴マップ７００－ＢＬを生成する（ステップＳ２０５）。ステップＳ２０３～Ｓ２０５の順番は任意でよい。また、ステップＳ２０３～Ｓ２０５は、並列に実行されてもよい。

【0068】

ここで、特徴マップ生成処理について、図１２を用いて具体的に説明する。図１２は、特徴マップ生成処理の説明図である。図１２では、コントローラ１２が、青色パターンフィルタ５００－Ｂを用いて青色の特徴マップ７００－Ｂを生成する場合を例に挙げる。他の色については、各色に応じた色成分および灯火色パターンフィルタ５００を用いればよい。また、図１２に示す例は、スケールの違いを問わない。

【0069】

青色の特徴マップ７００－Ｂを生成する場合、図１２に示すように、コントローラ１２は、色抽出フィルタＣＦによって抽出された各色成分のうち、青色成分および無灯火色成分を入力とする。そして、コントローラ１２は、信号領域ＳＲに対応する２５×２５画素において青色成分に該当するとして抽出された各画素について、注目画素を１つずつずらしながら青色パターンフィルタ５００－Ｂによる走査を行う。あわせて、コントローラ１２は、無灯火色成分についても同期して青色パターンフィルタ５００－Ｂによる走査を行う。なお、コントローラ１２は、青色成分および無灯火色成分を重ね合わせたうえで青色パターンフィルタ５００－Ｂを適用してもよい。

【0070】

そして、コントローラ１２は、注目画素に対して第１検出部５０１に相当する領域に６画素以上の青色成分がある場合に第２検出部５０２および第３検出部５０３に相当する領域にそれぞれ６画素以上の無灯火色成分があるか否かを判定する。

【0071】

そして、コントローラ１２は、第２検出部５０２および第３検出部５０３に相当する領域にそれぞれ６画素以上の無灯火色成分がある場合、青色の特徴マップ７００－Ｂの注目画素に該当する位置に青色成分をマッピングする。注目画素をずらしながらこれを繰り返すことにより、コントローラ１２は、信号機３００の青色灯火時における各色成分の配置パターンに該当する青色成分のみを検出した青色の特徴マップ７００－Ｂを生成することができる。

【0072】

図１０の説明に戻る。そして、コントローラ１２は、青色パターンのスケール別の特徴マップ７００－ＢＳ，７００－ＢＭ，７００－ＢＬをマージする（ステップＳ２０６）。これにより、コントローラ１２は、青色の特徴マップ７００－Ｂを生成する。

【0073】

また、色成分が黄の場合（ステップＳ２０２，黄）、コントローラ１２は、黄色パターンのＳスケールフィルタ５００－ＹＳにより特徴マップ７００－ＹＳを生成する（ステップＳ２０７）。

【0074】

また、コントローラ１２は、黄色パターンのＭスケールフィルタ５００－ＹＭにより特徴マップ７００－ＹＭを生成する（ステップＳ２０８）。また、コントローラ１２は、黄色パターンのＬスケールフィルタ５００－ＹＬにより特徴マップ７００－ＹＬを生成する（ステップＳ２０９）。ステップＳ２０７～Ｓ２０９の順番は任意でよい。また、ステップＳ２０７～Ｓ２０９は、並列に実行されてもよい。

【0075】

そして、コントローラ１２は、黄色パターンのスケール別の特徴マップ７００－ＹＳ，７００－ＹＭ，７００－ＹＬをマージする（ステップＳ２１０）。これにより、コントローラ１２は、黄色の特徴マップ７００－Ｙを生成する。

【0076】

また、色成分が赤の場合（ステップＳ２０２，赤）、コントローラ１２は、赤色パターンのＳスケールフィルタ５００－ＲＳにより特徴マップ７００－ＲＳを生成する（ステップＳ２１１）。

【0077】

また、コントローラ１２は、赤色パターンのＭスケールフィルタ５００－ＲＭにより特徴マップ７００－ＲＭを生成する（ステップＳ２１２）。また、コントローラ１２は、赤色パターンのＬスケールフィルタ５００－ＲＬにより特徴マップ７００－ＲＬを生成する（ステップＳ２１３）。ステップＳ２１１～Ｓ２１３の順番は任意でよい。また、ステップＳ２１１～Ｓ２１３は、並列に実行されてもよい。

【0078】

そして、コントローラ１２は、赤色パターンのスケール別の特徴マップ７００－ＲＳ，７００－ＲＭ，７００－ＲＬをマージする（ステップＳ２１４）。これにより、コントローラ１２は、赤色の特徴マップ７００－Ｒを生成する。

【0079】

また、色成分が無灯火色の場合（ステップＳ２０２，無灯火色）、コントローラ１２は、無灯火色パターンのＳスケールフィルタ５００－ＮＳにより特徴マップ７００－ＮＳを生成する（ステップＳ２１５）。

【0080】

また、コントローラ１２は、無灯火色パターンのＭスケールフィルタ５００－ＮＭにより特徴マップ７００－ＮＭを生成する（ステップＳ２１６）。また、コントローラ１２は、無灯火色パターンのＬスケールフィルタ５００－ＮＬにより特徴マップ７００－ＮＬを生成する（ステップＳ２１７）。ステップＳ２１５～Ｓ２１７の順番は任意でよい。また、ステップＳ２１５～Ｓ２１７は、並列に実行されてもよい。

【0081】

そして、コントローラ１２は、無灯火色パターンのスケール別の特徴マップ７００－ＮＳ，７００－ＮＭ，７００－ＮＬをマージする（ステップＳ２１８）。これにより、コントローラ１２は、無灯火色の特徴マップ７００－Ｎを生成する。

【0082】

つづいて、図１１に示すように、コントローラ１２は、４つの特徴マップ７００－Ｂ，７００－Ｙ，７００－Ｒ，７００－Ｎに基づき、青色、黄色、赤色の抽出量のいずれかが所定値以上であるか否かを判定する（ステップＳ２１９）。

【0083】

青色、黄色、赤色の抽出量のいずれかが所定値以上である場合（ステップＳ２１９，Ｙｅｓ）、コントローラ１２は、抽出量が最大の色を灯火色と判定する（ステップＳ２２０）。青色、黄色、赤色の抽出量のいずれもが所定値未満である場合（ステップＳ２１９，Ｎｏ）、コントローラ１２は、無灯火色の抽出量が所定値以上であるか否かを判定する（ステップＳ２２１）。

【0084】

無灯火色の抽出量が所定値以上である場合（ステップ２２１，Ｙｅｓ）、コントローラ１２は、信号機３００は無灯火であると判定する（ステップＳ２２２）。無灯火色の抽出量が所定値未満である場合（ステップ２２１，Ｎｏ）、コントローラ１２は、判定不可と判定する（ステップＳ２２３）。

【0085】

つづいて、コントローラ１２は、灯火状態判定処理の結果をリターンする（ステップＳ２２４）。そして、コントローラ１２は、灯火状態判定処理を終了する。

【0086】

図９の説明に戻る。ステップＳ１０３を終了すると、コントローラ１２は、車両に対する信号機３００の動きを推定する（ステップＳ１０４）。コントローラ１２は、上述したように例えばカメラ画像のフレーム間の差異により信号機３００が走行する車両に対して相対的にどのように動くかを推定する。

【0087】

つづいて、コントローラ１２は、ステップ１０３の灯火状態判定処理の結果とステップ１０４の動きの推定結果とに基づいて信号無視を判定する（ステップＳ１０５）。

【0088】

ステップＳ１０５にてコントローラ１２は、例えば車両の進行方向における通行の優先権の有無を提示する信号機３００が赤色灯火の状態にあるにも関わらず、車両が予め決められた時間以上および速度以上で通行を続けた場合、車両が信号無視をしたと判定する。

【0089】

そして、コントローラ１２は、出力部５へステップＳ１０５での判定結果を出力し（ステップＳ１０６）、処理を終了する。

【0090】

なお、図示は略しているが、コントローラ１２は、カメラ画像のフレーム間における判定結果の安定度に基づいて出力部５へ出力を行うようにしてもよい。一例として、コントローラ１２は、フレーム間において同じ判定結果が連続するなど安定度が高いと見なせる場合に、出力部５への出力を行うようにしてもよい。これにより、外乱等の影響を受けにくい安定した判定結果の出力が可能となる。

【0091】

上述してきたように、実施形態に係る画像処理装置１０は、カメラ画像から信号機３００の灯火色を判定するコントローラ１２を有する。また、コントローラ１２は、信号機３００が有する各灯火器３０１，３０２，３０３の配置に対応する信号機３００の各灯火状態における色成分の配置パターンを、上記色成分を検出する検出部間の間隔ｉが異なる複数種類の灯火色パターンフィルタ５００（「パターンフィルタ」の一例に相当）として設定する。また、コントローラ１２は、上記カメラ画像に対する画像認識によって信号機３００が存在する信号領域ＳＲを抽出する。また、コントローラ１２は、信号領域ＳＲから複数種類の灯火色パターンフィルタ５００を介して上記色成分ごとの上記配置パターンに対する特徴量を示す複数の特徴マップ７００を生成し、複数の特徴マップ７００に基づいて信号機３００の灯火色を判定する。これにより、コントローラ１２は、信号機３００の各灯火状態における色成分の配置パターンに該当する色成分を抽出することができる。したがって、コントローラ１２は、各灯火器３０１，３０２，３０３の配置に対応する色成分による灯火色の判定を行うことができるので、例えば１つの灯火器の輝度レベルによってのみ灯火色を判定する場合に比べて、誤判定が起きることを抑制することができる。すなわち、実施形態に係る画像処理方法によれば、信号機３００の灯火色の検出精度を向上させることができる。

【0092】

なお、上述した実施形態では、灯火色パターンフィルタ５００は、Ｓスケール、ＭスケールおよびＬスケールの３種類のスケールを有することとしたが一例であって、スケールの種類を３種類に限定するものではない。

【0093】

また、上述した実施形態では、灯火色パターンフィルタ５００は、信号機３００の各灯火状態に対応する青色、黄色、赤色、無灯火色の４種類の色成分ごとに設定されることとしたが一例であって、色成分は４種類に限定されない。例えば信号機３００の各灯火状態に対応する色成分は、矢印式の信号機３００の矢印色を含んでもよい。この場合、灯火色パターンフィルタ５００は、矢印灯火器の位置に対応する色成分の配置パターンを含むものとなる。

【0094】

また、上述した実施形態では、信号領域ＳＲが２５×２５画素分の矩形領域である例を挙げたが、一例であり、信号領域ＳＲのサイズおよび形状を限定するものではない。信号領域ＳＲを構成する画素数は画像処理装置１０の処理能力等に応じて適宜変更可能である。また、信号領域ＳＲは、矩形領域として正方形でなくともよい。

【0095】

また、上述した実施形態では、各検出部５０１，５０２，５０３が、例えば３×３画素分の領域の色成分を検出するように設定される例を挙げたが、各検出部５０１，５０２，５０３のサイズを限定するものではない。各検出部５０１，５０２，５０３のサイズは、例えば信号領域ＳＲを構成する画素数の変更に応じて適宜変更可能である。また、上述した特徴マップ生成処理における６画素以上との条件は、各検出部５０１，５０２，５０３のサイズの変更に応じて適宜変更可能である。

【0096】

また、上述した間隔ｉは、スケールの種類や、信号領域ＳＲを構成する画素数や、各検出部５０１，５０２，５０３のサイズ等に応じて適宜変更可能である。また、上述した実施形態では、信号領域ＳＲは矩形領域であるとしたが、信号領域ＳＲは矩形領域に限らなくともよい。

【0097】

また、上述した実施形態では、画像認識に基づいて信号機３００の灯火状態、動きおよび信号無視を判定することとしたが、無論、車両に搭載された各種センサのセンサデータを適宜組み合わせてもよい。例えば、車両の挙動は、ステアリングセンサや加速度センサのセンサ値を利用して推定してもよい。自車速度は、速度センサのセンサ値を利用して取得してもよい。

【0098】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0099】

１ ドライブレコーダ
３ カメラ
５ 出力部
７ 車載出力装置
９ 画像処理ＥＣＵ
１０ 画像処理装置
１１ 記憶部
１２ コントローラ
３００ 信号機
３０１ 青色灯火器
３０２ 黄色灯火器
３０３ 赤色灯火器
５００ 灯火色パターンフィルタ
５０１ 第１検出部
５０２ 第２検出部
５０３ 第３検出部
７００ 特徴マップ
ＣＦ 色抽出フィルタ
ｉ 間隔

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】