特開 2024-130946 画像処理装置、画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130946

(43)【公開日】2024-09-30

(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

   G06T 7/90 20170101ALI20240920BHJP

   G06V 10/56 20220101ALI20240920BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/90 D

G06V10/56

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023040923

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】西島 康崇

(72)【発明者】

【氏名】垣田 直士

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】木下 翔太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA04

5L096FA16

5L096FA32

5L096FA64

5L096FA67

5L096FA69

5L096GA28

5L096GA40

5L096GA51

5L096GA55

5L096HA04

5L096HA11

(57)【要約】

【課題】強い光があたる信号機の発光状態を判定すること。
【解決手段】本発明に係る画像処理装置は、カメラ画像から信号機の発光状態を判定するコントローラを備える。コントローラは、信号機の各灯火器の各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、カメラ画像から発光領域と無発光領域とを抽出し、抽出した発光領域と、無発光領域との輝度および彩度の相対比較の結果に応じて信号機の発光状態を判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

カメラ画像から信号機の発光状態を判定するコントローラを備え、
前記コントローラは、
前記信号機の各灯火器の各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、前記カメラ画像から発光領域と無発光領域とを抽出し、
抽出した前記発光領域と前記無発光領域との輝度および彩度の相対比較の結果に応じて前記信号機の発光状態を判定する、
画像処理装置。

【請求項2】

前記コントローラは、
前記信号機の各灯火器の各色成分にそれぞれ対応する前記検出フィルタを用い、
前記検出フィルタは、
抽出した前記発光領域の色成分に応じて位置が決定される領域を前記無発光領域として抽出する、
請求項１に記載の画像処理装置。

【請求項3】

前記コントローラは、
前記カメラ画像にＹＵＶ形式で色空間調整を行い、色空間調整後の前記発光領域と色空間調整後の前記無発光領域との平均輝度および平均彩度の相対比較の結果、それぞれに一定以上の差がある場合に、前記発光領域を発光中の灯火器として判定する、
請求項１に記載の画像処理装置。

【請求項4】

前記コントローラは、
前記発光領域が予め固定された条件を満たす場合に、前記発光領域を発光中の灯火器として判定する、
請求項１に記載の画像処理装置。

【請求項5】

前記コントローラは、
前記発光領域において前記検出フィルタに対応する前記色成分の画素数が予め固定された閾値を超える場合に、前記発光領域を発光中の灯火器として判定する、
請求項４に記載の画像処理装置。

【請求項6】

前記コントローラは、
前記無発光領域が予め固定された条件を満たす場合に、前記無発光領域を消灯中の灯火器として判定する、
請求項１に記載の画像処理装置。

【請求項7】

前記コントローラは、
前記無発光領域における色の平均値が予め固定された範囲内である場合に、前記無発光領域を消灯中の灯火器として判定する、
請求項６に記載の画像処理装置。

【請求項8】

前記コントローラは、
前記カメラ画像における複数のフレームの情報に基づいて前記発光状態を判定する、
請求項１に記載の画像処理装置。

【請求項9】

コンピュータがカメラ画像から信号機の発光状態を判定する画像処理方法であって、
前記信号機の各灯火の各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、前記カメラ画像から発光領域と、無発光領域とを抽出することと、
抽出した前記発光領域と、前記無発光領域との輝度および彩度の相対比較の結果に応じて前記信号機の発光状態を判定することと、
を含む、画像処理方法。

【請求項10】

前記発光領域が予め固定された条件を満たす場合に、前記発光領域を発光中の灯火器として判定すること
を含む、請求項９に記載の画像処理方法。

【請求項11】

前記無発光領域が予め固定された条件を満たす場合に、前記無発光領域を消灯中の灯火器として判定すること
を含む、請求項９に記載の画像処理方法。

【請求項12】

カメラ画像から信号機の発光状態を判定する画像処理プログラムであって、
前記信号機の各灯火器に対応する各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、前記カメラ画像から発光領域と、無発光領域とを抽出することと、
抽出した前記発光領域と、前記無発光領域との輝度および彩度の相対比較の結果に応じて前記信号機の発光状態を判定することと、
をコンピュータに実行させる、画像処理プログラム。

【請求項13】

前記発光領域が予め固定された条件を満たす場合に、前記発光領域を発光中の灯火器として判定すること
をコンピュータに実行させる、請求項１２に記載の画像処理プログラム。

【請求項14】

前記無発光領域が予め固定された条件を満たす場合に、前記無発光領域を消灯中の灯火器として判定すること
をコンピュータに実行させる、請求項１２に記載の画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

従来、カメラ画像から信号機の発光状態を判定する画像処理装置が提案されている（例えば、特許文献１参照）。特許文献１には、カメラ画像から信号機に関する注目領域を特定し、注目領域から点灯中の灯火器および消灯中の灯火器を検出し、信号機の発光状態を判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－２２１３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、直射日光等の強い光があたる信号機の発光状態を判定できないおそれがある。具体的には、引用文献１に記載の技術では、注目領域において黒色領域を消灯中の灯火器として検出するが、強い光によって信号機が照らされると消灯中の灯火器が明るくなってしまい、消灯中の灯火器を黒色領域の検出条件では検出できないおそれがある。

【0005】

本発明は、上記に鑑みてなされたものであって、強い光があたる信号機の発光状態を判定することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、カメラ画像から信号機の発光状態を判定するコントローラを備え、前記コントローラは、前記信号機の各灯火器に対応する各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、前記カメラ画像から発光領域と無発光領域を抽出し、抽出した前記発光領域と前記無発光領域との輝度および彩度の相対比較の結果に応じて前記信号機の発光状態を判定する。

【発明の効果】

【0007】

本発明によれば、強い光があたる信号機の発光状態を判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、画像処理方法の概要説明図である。

【図2】図２は、画像処理方法の処理フローを示す図である。

【図3】図３は、画像処理装置の構成例を示すブロック図である。

【図4】図４は、仮想矩形領域生成処理の説明図（その１）である。

【図5】図５は、仮想矩形領域生成処理の説明図（その２）である。

【図6】図６は、仮想矩形領域生成処理の説明図（その３）である。

【図7】図７は、信号画像生成処理の説明図である。

【図8】図８は、色特徴量抽出処理の説明図（その１）である。

【図9】図９は、色特徴量抽出処理の説明図（その２）である。

【図10】図１０は、検出フィルタの一例を示す図である。

【図11】図１１は、発光領域および無発光領域の相対比較の説明図（その１）である。

【図12】図１２は、発光領域および無発光領域の相対比較の説明図（その２）である。

【図13】図１３は、画像処理装置が実行する処理手順を示すフローチャートである。

【図14】図１４は、発光状態判定処理の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0010】

また、以下では、実施形態に係る画像処理装置１０が、図４等に示す車両Ｖに搭載される車載装置であるものとする。画像処理装置１０は、信号無視判定装置やドライブレコーダ等、車両Ｖに搭載されたカメラ３のカメラ画像に基づいて、画像中の対象物を検知可能な装置である。本実施形態では、かかる対象物が、信号機３００であるものとする。

【0011】

なお、画像処理装置１０は、車載装置に限定されるものではなく、スマートフォンやパソコン等の可搬性の端末装置であってもよく、ネットワークを通じて各カメラで撮影されたカメラ画像を取得するサーバ装置であってもよい。また、カメラ３は、ドライブレコーダに限定されるものではなく、スマートフォン等のカメラや、防犯カメラなどといった各種カメラを含むようにしてもよい。また、画像処理装置１０は、ＡＲ（Augment Reality）ゴーグル等の各種ウェラブルデバイスであってもよい。

【0012】

まず、実施形態に係る画像処理方法の概要について、図１および図２を用いて説明する。図１は、画像処理方法の概要説明図である。図２は、画像処理方法の処理フローを示す図である。なお、図１の上図では、信号機に直射日光があたらない場合の処理例を示し、図１の下図には、信号機に直射日光があたる場合の処理例を示している。

【0013】

既に述べた通り、カメラ３のカメラ画像を用いて信号機３００の発光状態を判定する場合、画像中の信号機３００そのものを検知することが必要となる。かかる場合、たとえば深層学習等の機械学習のアルゴリズムを用いて、検知対象となる信号機３００をバウンディングボックスと呼ばれる矩形領域として抽出する。

【0014】

抽出された矩形領域内について、画像解析によって信号機３００の発光状態が判定される。この際、矩形領域から各色成分を閾値に基づいて抽出した色抽出マップに基づいて信号機３００の発光状態が判定される。なお、各色成分は、青、黄、赤、黒の各色を含む。

【0015】

この際、黒の色成分は、色抽出マップにおいて消灯中の灯火器を特定するために用いられる。図１の上図に示すように、信号機３００が青色の灯火器が発光している状態（青信号）では、黄色の灯火器と赤色の灯火器はそれぞれ発光していない。

【0016】

そのため、信号機３００が青信号である場合（青色の灯火器が発光、黄色および赤色の灯火器が消灯している場合）の色抽出マップは、左から「青色」、「黒色」、「黒色」の配列となる。そして、色抽出マップにおける各色の配列と、信号機の灯火器の配置パターンとを比較し、双方が一致する場合、信号機３００を青信号として検知することができる。

【0017】

これに対し、図１の下図に示すように、信号機３００に直射日光があたる場合、消灯中の灯火器が明るくなってしまい、矩形領域ＢＢから消灯中の灯火器が「黒色」として抽出されず、青色のみが抽出されるおそれがある。その結果、本来、信号機３００が青信号であっても、配置パターンの不一致によって青信号として検知できずに、信号機３００の発光状態を判定することができない。このように、色抽出マップを生成する際に、カメラ画像から黒色を予め固定された閾値に基づいて抽出する場合、光の強さによって黒色を抽出することができない場合がある。

【0018】

このような課題に対し、実施形態に係る画像処理方法は、強い光があたる信号機３００の発光状態を判定する技術である。具体的には、実施形態に係る画像処理方法は、カメラ画像から発光領域と無発光領域を抽出し、抽出した発光領域と無発光領域との輝度および彩度の相対比較の結果に応じて信号機の発光状態を判定する。

【0019】

まず、実施形態に係る画像処理方法の詳細な説明に先立って、実施形態に係る画像処理方法を実行する画像処理装置１０の制御部１２がカメラ画像に対して行う各種処理の流れについて図２を用いて説明する。

【0020】

図２に示すように、制御部１２は、カメラ３の撮像したカメラ画像を入力とし、矩形領域の抽出（ステップＳ１）、色判定（ステップＳ２）、動き推定（ステップＳ３）および信号無視判定（ステップＳ４）を行い、信号無視判定の判定結果を出力する。

【0021】

ステップＳ１では、制御部１２は、機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデル等を使用して、画像中の信号機３００を矩形領域ＢＢとして抽出する。

【0022】

ステップＳ２では、制御部１２は、色抽出マップの作成、発光領域および無発光領域の抽出、発光領域および無発光領域に対する各種処理を実行し、信号機３００の発光状態を判定する。なお、ステップＳ２の色判定に関する処理が実施形態に係る画像処理方法の主となる処理に対応する。

【0023】

また、制御部１２は、ステップＳ３では、画像認識された信号機３００の軌跡に基づいて、車両Ｖの動きを推定する。また、制御部１２は、ステップＳ３では、ステップＳ２の色判定の結果およびステップＳ３の動き推定の結果から車両Ｖが信号無視を行ったか否かを判定する。

【0024】

次に、図３を用いて、実施形態に係る画像処理方法を適用した画像処理装置１０の構成例について、より具体的に説明する。図３は、実施形態に係る画像処理装置１０の構成例を示すブロック図である。図３に示すように、画像処理装置１０は、記憶部１１と、制御部１２とを備える。また、画像処理装置１０は、カメラ３と、出力部５とが接続される。

【0025】

カメラ３は、車両Ｖに搭載され、車両Ｖの前方を撮像可能に設けられる。なお、カメラ３は、たとえば車両Ｖの全周囲を撮像可能な３６０度カメラであってもよい。

【0026】

出力部５は、データを出力するための出力デバイスである。出力部５は、ディスプレイやスピーカ等によって実現される。なお、出力部５は、画像処理装置１０が出力するデータに基づく情報処理を実行する外部装置であってもよい。

【0027】

カメラ３および出力部５は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して画像処理装置１０と接続される。なお、カメラ３および出力部５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により画像処理装置１０と接続されてもよい。

【0028】

画像処理装置１０は、車両Ｖに搭載されるコンピュータであり、たとえば信号無視判定装置である。画像処理装置１０は、図２を用いて説明したステップＳ１～Ｓ４を実行する。

【0029】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現される。記憶部１１は、画像認識ＡＩ、処理パラメータ情報等を記憶する。

【0030】

画像認識ＡＩは、画像認識用のＡＩ（Artificial Intelligence）モデルであり、機械学習のアルゴリズムを用いて学習されたＤＮＮモデル等である。画像認識ＡＩは、カメラ３のカメラ画像が入力された場合に、かかるカメラ画像に含まれる各種の信号機３００を検知する。

【0031】

処理パラメータ情報は、信号機３００の発光状態を判定する際に利用される各種のパラメータに関する情報である。なお、処理パラメータ情報の具体例については、図８等を用いて後述する。

【0032】

制御部１２は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている実施形態に係る画像処理プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0033】

制御部１２は、カメラ３によって撮影されたカメラ画像から信号機３００の発光状態を判定するための各種処理を実行する。制御部１２は、カメラ３によって撮像されたカメラ画像を取得し、カメラ画像を読み込んだ画像認識ＡＩへ入力し、画像認識ＡＩから出力される画像認識結果を取得する。画像認識結果は、矩形領域ＢＢとして抽出された信号機３００を含む。

【0034】

つづいて、制御部１２は、画像認識結果に基づいて、矩形生成処理を実行する。ここで、制御部１２が実行する仮想矩形領域生成処理について、図４～図６を用いてより具体的に説明する。図４は、仮想矩形領域生成処理の説明図（その１）である。また、図５は、仮想矩形領域生成処理の説明図（その２）である。また、図６は、仮想矩形領域生成処理の説明図（その３）である。

【0035】

制御部１２は、矩形領域ＢＢの中心座標をワールド座標に変換し、ワールド座標を実空間上の信号機３００の中心点と捉え、かかる中心点から実空間上の上下方向と左右方向に決まった幅を持った矩形を仮想矩形領域として生成する。

【0036】

制御部１２は、まず図４に示すように、信号機３００の高さはある程度同じであると仮定したうえで、矩形領域ＢＢの中心を示すカメラ座標を、カメラパラメータを用い、信号機３００の高さを想定した仮想的な平面（以下、「仮想平面」という）上のワールド座標へ変換する。

【0037】

具体的には、制御部１２は、車両Ｖのカメラ３から撮像した画像２０１における信号機３００の位置を示す矩形領域ＢＢを基に、時系列空間における同じ高さの仮想平面に車両Ｖの位置を投影した位置を示す仮想車両位置を算出する。

【0038】

そして、制御部１２は、鉛直方向の軸を含む互いに直交する３つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想平面における信号機３００の座標を、ワールド座標として算出する。

【0039】

図４に示すように、実空間における位置は、Ｘ軸、Ｙ軸、Ｚ軸の座標値によって表される。Ｘ軸、Ｙ軸、Ｚ軸は互いに直交する。Ｚ軸は、鉛直方向の軸である。Ｙ軸は、図４における車両Ｖの進行方向と平行である。Ｘ軸は、Ｚ軸およびＹ軸と直交する。

【0040】

ここで、矩形領域ＢＢの中心を中心点２２１とする。制御部１２は、カメラパラメータを用いて画像２０１における中心点２２１の２次元座標（カメラ座標）を、３次元のワールド座標に変換する。そして、かかるワールド座標における中心点２２１までの距離を、車両Ｖから信号機３００までの距離（Ｄｉｓｔ）として算出する。

【0041】

カメラパラメータには、カメラ３の内部パラメータおよび外部パラメータが含まれる。内部パラメータには、ドットピッチ、焦点距離、ディストーション（仰角像高ＴＢＬ）等が含まれる。外部パラメータには、カメラ３の撮影位置のＸ軸、Ｙ軸、Ｚ軸の座標値、および、カメラ３の姿勢を表す値（ＰＡＮ，ＲＯＬＬ，ＴＩＬＴ）が含まれる。

【0042】

また、カメラパラメータとは別のパラメータとして、制御部１２は、予め定められた信号機３００の路面からの高さを参照する。信号機３００の高さは、たとえば５．０ｍ～５．５ｍの範囲において定められる。

【0043】

このように、ワールド座標への変換を行うことによって、単眼カメラで安価に信号機３００までの距離を算出できるという利点がある。

【0044】

そして、制御部１２は、ワールド座標を実空間上の信号機３００の中心点と捉え、かかる中心点から実空間上の上下方向と左右方向に決まった幅を持った矩形を仮想矩形領域ＶＢとして生成する。

【0045】

これにより、図５に示すように、矩形領域ＢＢの場合、近い信号機３００の矩形領域ＢＢ１は大きく、遠い信号機３００の矩形領域ＢＢ２は小さくなるが、仮想矩形領域ＶＢの場合、信号機３００の遠近に関わらず仮想矩形領域ＶＢ１，ＶＢ２のサイズは同じとなる。

【0046】

制御部１２は、実空間上の標準的な信号機３００のサイズ（１２５０ｍｍ×４５０ｍｍなど）を基準として仮想矩形領域ＶＢのサイズを決定する。本実施形態では、制御部１２は、横型信号機と縦型信号機の両方を判定対象とするため、図６に示すように、実空間上の信号機３００の長辺（つまり１２５０ｍｍなど）を１辺とした正方形を基準形として仮想矩形領域ＶＢを生成する。また、同図に示すように、制御部１２は、入力される矩形領域ＢＢのサイズや位置のバラつきに対応するため、上述の基準形を予め決められた拡張率（たとえば、１．１倍など）で拡張したものを使用する。

【0047】

つづいて、制御部１２は、信号画像を生成する。図７は、信号画像生成処理の説明図である。制御部１２は、仮想矩形領域ＶＢに対応する信号画像を生成する。既に述べた通り、制御部１２は、仮想矩形領域ＶＢを常に同じサイズの画像（２５×２５ピクセルなど）としてサンプリングし、各サンプリング点に対応するカメラ画像上の画素を参照することで、信号画像を生成する。

【0048】

カメラ画像上の画素の参照は、上記したカメラ座標からワールド座標への変換の逆変換を実施する。サンプリング方向については、図７に示すように、横型信号機は左上から右下に走査し、縦型信号機は左下から右上に走査する。すなわち、制御部１２は、カメラ画像中の信号機３００の長手方向に沿ってカメラ画像の画素が順次走査されるサンプリング方向でサンプリングすることによって信号画像を生成する。これにより、サンプリング後の信号画像は、横型信号機であっても縦型信号機であっても、画像内のスケール感、向きなどを含め、同じ見え方となる。

【0049】

したがって、判定対象とする信号機３００について、カメラ画像中でのサイズや位置、縦横方向に関わらず、常に同じサイズ感の画像情報として取り扱うことができ、処理コストの抑制に資することができる。

【0050】

さらに、信号画像のサイズを小さく（すなわち、実空間上のサンプリング間隔を大きく）することで、後段の各処理における処理コストを下げることができる。

【0051】

つづいて、制御部１２が実行する色調整処理について説明する。制御部１２は、後段の色特徴量抽出処理に合わせて、生成された信号画像を予め決められた色空間に調整する。本実施形態では、制御部１２は、ＹＵＶ形式による色空間調整を行う。

【0052】

制御部１２は、ＹＵＶ形式の他、ＨＳＶ形式による色空間調整を行うことができる。なお、ＹＵＶ形式は、色表現がＵとＶの直交座標系であり、矩形表現のため色の分離が難しいケースがあるが、処理コストは低いという特性がある。一方、ＨＳＶ形式は、色表現がＨとＳの極座標系であり、扇形表現のためＹＵＶ形式に比べて色の分離は易しいが、処理コストは高いという特性がある。

【0053】

本実施形態では、処理コストを重視し、ＹＵＶ形式を採用するが、画像処理装置１０の演算リソースが許容可能であるなど、処理コストに応じて、適宜ＨＳＶ形式やその他の形式を選択することは可能である。

【0054】

つづいて、制御部１２が実行する色抽出マップの生成処理について説明する。図８は、色特徴量抽出処理の説明図（その１）である。また、図９は、色特徴量抽出処理の説明図（その２）である。

【0055】

制御部１２は、色空間調整後の信号画像を入力とし、予め決められたＹＵＶ閾値が示す信号機３００の各色成分の該当条件を満たす画素に、各色成分に対応する色フラグを立てて色抽出マップを生成する。

【0056】

具体的には、処理パラメータ情報には、図８に示すように、信号機３００の青、黄、赤、矢印、黒の各色成分についての該当条件が、予め決められたＹ，Ｕ，Ｖの下限および上限によって規定されている。

【0057】

制御部１２は、色空間調整後の信号画像において、信号機３００の各色成分につき、かかる該当条件を満たす画素を抽出する。そして、制御部１２は、抽出した画素につき、該当する色成分に対応する色フラグを立てる。

【0058】

すると、図９に示すように、青信号であれば信号画像においては少なくとも、青成分の該当条件を満たす各画素が抽出され、青信号色フラグが立てられる。また、黄信号であれば信号画像においては少なくとも、黄成分の該当条件を満たす各画素が抽出され、黄信号色フラグが立てられる。また、赤信号であれば信号画像においては少なくとも、赤成分の該当条件を満たす各画素が抽出され、赤信号色フラグが立てられる。また、矢印信号であれば信号画像においては少なくとも、矢印信号色フラグが立てられることとなる。また、すべての灯火が消灯中の無発光信号であれば、黒成分の該当条件を満たす各画素が抽出され、無発光色フラグが立てられる。

【0059】

また、信号機３００のいずれの発光状態においても、黒成分の該当条件を満たす各画素が抽出されて、無発光信号色フラグが立てられる場合もある。なお、上述の通り、直射日光があたる信号機３００では、黒色分が検出されず、無発光信号色フラグが立たない場合もある。そのため、制御部１２は、色抽出マップの生成段階で黒成分を抽出しないようにしてもよい。

【0060】

次に、制御部１２が実行する発光領域および無発光領域の抽出処理について説明する。制御部１２は、信号機３００の各灯火器の各色成分にそれぞれ対応する検出フィルタを用いて、生成した色抽出マップから発光領域および無発光領域を抽出する。図１０は、検出フィルタの一例を示す図である。

【0061】

図１０に示すように、検出フィルタは、発光領域の色成分に応じて位置が決定される領域を無発光領域として抽出するフィルタであり、信号機３００の各灯火器の配列を表している。各検出フィルタにおいて、発光領域および無発光領域は、それぞれ３×３ピクセルであり、各領域は一定の距離（例えば３ピクセル）離れている。

【0062】

図１０に示すように、青信号の検出フィルタは、左から青色の発光領域、無発光領域、無発光領域の順で発光領域と無発光領域の位置関係を規定している。また、黄信号の検出フィルタは、左から無発光領域、黄色の発光領域、無発光領域の順で発光領域と無発光領域の位置関係を規定している。また、赤信号の検出フィルタは、左から無発光領域、無発光領域、赤色の発光領域の順で発光領域と無発光領域の位置関係を規定している。また、矢印信号の検出フィルタは、赤信号の検出フィルタと同様に発光領域および無発光領域を規定しつつ、赤色の発光領域の下側にさらに矢印色の発光領域を規定している。

【0063】

このように、制御部１２は、信号機３００の各発光状態にそれぞれ対応する検出フィルタを用いることで、色抽出マップを生成する際に抽出可能な点灯中の灯火器を基準として消灯中の灯火器に関する探索エリアを無発光領域として抽出することができる。

【0064】

これにより、制御部１２は、信号機３００に強い光があたる場合に、色抽出マップにおいて抽出されない消灯中の灯火器が写る領域を推測することができる。

【0065】

制御部１２は、各色成分の検出フィルタをそれぞれ用いたフィルタリングによって信号画像から発光領域および無発光領域を抽出する。そして、制御部１２は、抽出した発光領域および無発光領域が下記（１）～（４）の条件を満たす場合に、判定対象となるピクセル（以下、判定対象ピクセルと記載）がフラグの色で発光する発光面として検出する。
（１）発光領域および無発光領域で平均輝度を比較し、一定以上の差があること。
（２）発光領域および無発光領域で平均彩度を比較し、一定以上の差があること。
（３）発光領域において色成分の画素数が予め固定された閾値を超えること。
（４）無発光領域の色の平均値が予め固定された範囲に収まること。

【0066】

条件（１）および条件（２）は、発光領域および無発光領域の相対評価に関する条件であり、条件（３）および条件（４）は、発光領域および無発光領域の絶対評価に関する条件である。

【0067】

制御部１２は、相対評価および絶対評価を組み合わせることによって、信号機３００の発光状態を精度よく判定することができる。まず、条件（１）～（４）のうち、条件（１）および条件（２）について説明する。

【0068】

図１１および図１２は、発光領域および無発光領域の相対比較の具体例を示す図である。図１１に示すように、制御部１２は、発光領域および無発光領域の平均輝度を比較する。制御部１２は、発光領域および無発光領域のうち、下側に位置する対象領域ＴＡの平均輝度を比較する。

【0069】

制御部１２は、発光領域の平均輝度に対して、各無発光領域の平均輝度が一定数以上であるか否かを判定する。制御部１２は、発光領域の平均輝度と、各無発光領域の平均輝度の差分ｄｌ１、ｄｌ２がそれぞれ閾値を超えているか否かを判定する。

【0070】

さらに、条件（２）について、制御部１２は、図１２に示すように、発光領域および無発光領域の平均彩度を比較する。制御部１２は、発光領域の平均彩度に対して、各無発光領域の平均彩度が一定数以上であるか否かを判定する。制御部１２は、発光領域の平均彩度と、各無発光領域の平均彩度の差分ｄｓ１、ｄｓ２がそれぞれ閾値を超えているか否かを判定する。

【0071】

制御部１２は、これら相対比較の結果、発光領域の平均輝度に対して各無発光領域の平均輝度が一定数以上であり、かつ、発光領域の平均彩度に対して各無発光領域の平均彩度が一定数以上であることを条件に、発光領域の判定対象ピクセルを発光面として検出する。

【0072】

また、制御部１２は、これら相対比較の結果、平均輝度および平均彩度のいずれかの条件を満たさない場合には、発光領域の判定対象ピクセルを発光面として検出しない。

【0073】

ここで、信号機３００にあたる光の強さによって発光領域の平均輝度が上昇すれば、無発光領域の平均輝度も相対的に上昇する。そのため、制御部１２は、発光領域および無発光領域の平均輝度を比較することで、無発光信号色フラグ（図９参照）として検知できない信号機３００の消灯中の灯火器を検出することができる。

【0074】

また、条件（２）において、制御部１２は、発光領域および無発光領域の平均彩度を比較する。これは、発光中の灯火器の方が自ら発光しているため、信号機３００に強い光があたった状態であっても消灯中の灯火器に比べてより鮮やかに見えるためである。

【0075】

制御部１２は、発光領域および無発光領域の平均輝度に加え、平均彩度を比較することで、平均輝度だけでは捕捉できない点灯中の灯火器と消灯中の灯火器の特徴の差を捉えることができる。

【0076】

このように、制御部１２は、発光領域および無発光領域を相対比較することで、無発光領域を消灯中の灯火器として検知するための閾値を動的に変化させる。より詳しくは、発光領域の平均輝度が高くなるにつれて、無発光領域に対する平均輝度の閾値が高くなり、発光領域の平均彩度が高くなるにつれて、無発光領域に対する平均彩度の閾値が高くなる。

【0077】

このように、制御部１２は、発光領域および無発光領域を相対比較することによって、無発光信号色フラグとして検知できない消灯中の灯火器を精度よく検知することができる。

【0078】

つづいて、条件（３）および条件（４）について説明する。制御部１２は、条件（３）および条件（４）については発光領域および無発光領域それぞれについて予め固定された条件を満たすか否かを判定する。

【0079】

条件（３）において、発光領域に対して固定された条件は、発光領域において検出された色成分の画素数が閾値を超えるか否かであり、条件（４）において、無発光領域に対して固定された条件は、無発光領域における色の平均値が予め固定された範囲内である。

【0080】

制御部１２は、発光領域から判定対象ピクセルと同じ色の画素数をカウントし、閾値を超えていれば、条件（３）を満たすと判定し、閾値を超えていなければ、条件（３）を満たしてないと判定する。

【0081】

また、制御部１２は、無発光領域における色の平均値が予め固定された範囲内であるか否かを判定し、平均値が範囲内であれば、条件（４）を満たすと判定し、範囲外であれば、条件（４）を満たしてないと判定する。制御部１２は、無発光領域に含まれる各画素のＹＵＶに関する各パラメータの平均値を算出し、算出した平均値が範囲内か範囲外かを判定する。

【0082】

条件（３）において、制御部１２は、発光領域について判定対象ピクセルと同じ色の画素数をカウントすることで、ノイズである判定対象ピクセルを排除することができる。また、条件（４）において、制御部１２は、無発光領域における色の平均値を見ることによって、消灯中の灯火器ではない領域を消灯中の灯火器とする誤検知を抑制することができる。

【0083】

つまり、制御部１２は、発光領域および無発光領域に対してそれぞれ絶対評価を行うことで、信号機３００を精度よく検出することができる。

【0084】

制御部１２は、色抽出マップに対して条件（１）～（４）の判定を行い、すべての条件を満たした場合に、判定対象ピクセルが対応するフラグの色で発光している発光面として検知する。すなわち、制御部１２は、発光領域が発光中の灯火器に関する条件を満たし、無発光領域が消灯中の灯火器に関する条件を満たす場合、判定対象ピクセルを発光面として検知する。

【0085】

そして、制御部１２は、すべての判定対象ピクセルに対して判定処理を終えた後に、発光面として検知された最も多い色成分の灯火器が発光していると判定する。これにより、制御部１２は、たまたま条件を満たした判定対象ピクセルをノイズとして排除することができるので、信号機３００の発光状態に関する誤判定を抑制することができる。

【0086】

この際、制御部１２は、複数のフレームの情報に基づいて信号機３００の発光状態を判定するようにしてもよい。たとえば、制御部１２は、複数のフレームで連続して同一の発光状態であると判定した場合に、発光状態を確定させる。

【0087】

また、制御部１２は、複数のフレームにおける発光状態の推移から発光状態の判定を行うようにしてもよい。通常、信号機は、青信号から黄信号など規則性をもって発光状態が変化する。制御部１２は、信号機の規則性にあわせて判定した発光状態が推移しているか否かに応じて発光状態の判定を確定させる。

【0088】

このように、制御部１２は、複数のフレームの情報を用い、発光状態を判定することによって、発光状態の判定を精度よく行うことが可能となる。

【0089】

つづいて、図２に示したステップＳ３の動き判定およびステップＳ４の信号無視判定に関する処理について説明する。動き判定において、制御部１２は、画像認識された各物体の軌跡に基づいて車両Ｖの挙動を推定する。

【0090】

信号無視判定において、まず、制御部１２は、画像認識された信号機３００、および、信号機３００までの距離に基づいて、車両Ｖに対する相対的な信号機３００の軌跡を推定する。また、制御部１２は、推定された車両Ｖの挙動、信号機３００の軌跡、ならびに、信号機３００の発光状態に基づいて、車両Ｖが信号無視をしたか否かを判定する。

【0091】

制御部１２は、車両Ｖの進行方向における通行の優先権の有無を提示する信号機３００が赤信号であるにも関わらず、車両Ｖが予め定められた時間以上および速度以上で通行を続けた場合、車両Ｖが信号無視をしたと判定する。そして、制御部１２は、判定した判定結果を出力部５へ出力する。

【0092】

なお、画像処理装置１０がドライブレコーダの機能の一部を構成する場合、制御部１２は、車両Ｖが信号無視をしたとの判定結果をイベントとして通知し、ドライブレコーダにイベント録画を行わせてもよい。

【0093】

次に、実施形態に係る画像処理装置１０が実行する処理手順について、図１３および図１４を用いて説明する。図１３は、画像処理装置１０が実行する処理手順を示すフローチャートである。なお、図１３に示す処理手順は、車両Ｖが起動中の間、制御部１２によって繰り返される。

【0094】

図１３に示すように、画像処理装置１０の制御部１２は、カメラ３からカメラ画像を取得する（ステップＳ１０１）。そして、制御部１２は、取得したカメラ画像に対する画像認識によって信号機３００の矩形領域ＢＢを抽出する（ステップＳ１０２）。

【0095】

そして、制御部１２は、矩形領域ＢＢに基づいて仮想矩形領域ＶＢを生成し（ステップＳ１０３）、仮想矩形領域ＶＢに基づいて信号画像を生成する（ステップＳ１０４）。

【0096】

そして、制御部１２は、生成された信号画像を予め決められた色空間に調整し（ステップＳ１０５）、色空間調整後の信号画像から色抽出マップを生成する（ステップＳ１０６）。色抽出マップの生成は、信号機３００の青、黄、赤、矢印、黒の各色成分についての該当条件を満たすピクセルに対して各色成分のフラグを立てることで行われる。

【0097】

制御部１２は、生成した色抽出マップに基づいて信号機３００の発光状態の判定処理を実行する（ステップＳ１０７）。なお、発光状態の判定処理の処理手順については、図１４を用いて説明する。その後、制御部１２は、判定結果を出力し（ステップＳ１０８）、処理を終了する。

【0098】

次に、図１４を用いて、画像処理装置１０が実行する発光状態の判定処理に関する処理手順について説明する。図１４は、発光状態判定処理の処理手順を示すフローチャートである。

【0099】

図１４に示すように、まず、制御部１２は、色抽出マップから発光領域および無発光領域を抽出する（ステップＳ１１１）。発光領域および無発光領域の抽出は、各検出フィルタ（図１０参照）で色抽出マップ上を走査することで行われる。

【0100】

つづいて、制御部１２は、上記条件（１）、条件（２）に基づき、発光領域と無発光領域の輝度、彩度の相対評価を行う（ステップＳ１１２）。相対評価は、発光領域および無発光領域の平均輝度の差が一定数以上であるか否か、および、発光領域および無発光領域の平均彩度の差が一定数以上であるか否かを判定することで行われる。

【0101】

つづいて、制御部１２は、上記条件（３）、条件（４）に基づき、発光領域、無発光領域に対してそれぞれ絶対評価を行う（ステップＳ１１３）。絶対評価は、発光領域の色成分の画素数をカウントし、閾値を超えているか否か、および、無発光領域の色の平均値が範囲内か否かを判定することで行われる。

【0102】

ステップＳ１１３までの処理結果に基づいて、制御部１２は、上記条件（１）～（４）のすべての条件を満たしたか否かを判定する（ステップＳ１１４）。制御部１２は、すべての条件を満たすと判定した場合（ステップＳ１１４；Ｙｅｓ）、判定対象ピクセルを発光面として判定する（ステップＳ１１５）。

【0103】

また、制御部１２は、いずれかの条件を満たさないと判定した場合（ステップＳ１１４；Ｎｏ）、ステップＳ１１６の処理へ移行する。つづいて、制御部１２は、すべての判定対象ピクセルに対する評価が終了したか否かを判定する（ステップＳ１１６）。

【0104】

制御部１２は、すべての判定対象ピクセルに対する評価が終了した場合（ステップＳ１１６；Ｙｅｓ）、ステップＳ１１７の処理へ進み、すべての判定対象ピクセルに対して評価が終了していない場合（ステップＳ１１６；Ｎｏ）、ステップＳ１１１の処理へ移行する。なお、この際、制御部１２は、ステップＳ１１１では、評価が終わっていない判定対象ピクセルに対して処理を開始する。

【0105】

つづいて、制御部１２は、色成分ごとに発光面数をカウントし（ステップＳ１１７）、最も発光面数が多い色成分で信号機３００が発光中と判定する（ステップＳ１１８）。そして、制御部１２は、処理を終了する。

【0106】

上述してきたように、実施形態に係る画像処理装置１０は、カメラ画像から信号機の発光状態を判定するコントローラを備え、コントローラは、信号機の各灯火器の各色成分を予め決定された閾値に基づいて検出する検出フィルタによって、カメラ画像から信号機の発光領域と無発光領域とを抽出し、抽出した発光領域と、無発光領域との輝度および彩度の相対比較の結果に応じて信号機の発光状態を判定する。

【0107】

このように、実施形態に係る画像処理装置１０は、発光領域および無発光領域の相対比較を行うことによって、カメラ画像から消灯中の灯火器を検知することができるので、強い光があたる信号機の発光状態を判定することができる。

【0108】

なお、上述した実施形態では、画像認識に基づいて信号機３００の発光状態および信号無視を判定することとしたが、車両Ｖに搭載された各種センサのセンサデータを適宜組み合わせてもよい。車両Ｖの挙動は、ステアリングセンサや加速度センサのセンサ値を利用して推定してもよいし、自車速度は、速度センサのセンサ値を利用して取得してもよい。

【0109】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0110】

３ カメラ
５ 出力部
１０ 画像処理装置
１１ 記憶部
１２ 制御部
３００ 信号機
Ｖ 車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】