特開 2023-115677 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023115677

(43)【公開日】2023-08-21

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230814BHJP

   G06T 7/90 20170101ALI20230814BHJP

   G08G 1/09 20060101ALI20230814BHJP

【ＦＩ】

G06T7/00 650Z

G06T7/90 C

G08G1/09 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022018033

(22)【出願日】2022-02-08

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】三澤 雅史

(72)【発明者】

【氏名】三野 敦

(72)【発明者】

【氏名】河野 貴

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5L096BA04

5L096CA02

5L096FA05

5L096FA26

5L096FA62

5L096GA41

5L096JA11

(57)【要約】

【課題】低コストに信号機の発光状態の判定精度を向上させること。
【解決手段】実施形態に係る画像処理装置は、車両に搭載される画像処理装置であって、制御部を有する。制御部は、カメラ画像に対する画像認識によって信号機として抽出された矩形領域の中心座標を実空間上の仮想平面へ投影する。また、制御部は、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域に対し、かかる仮想矩形領域のサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成する。また、制御部は、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から上記信号機の発光状態を示す各色成分に該当する画素を抽出する。また、制御部は、抽出された各画素の位置関係に基づいて上記信号機の発光状態を判定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両に搭載される画像処理装置であって、制御部を有し、
前記制御部は、
カメラ画像に対する画像認識によって信号機として抽出された矩形領域の中心座標を実空間上の仮想平面へ投影し、
投影された前記中心座標を中心とする決められたサイズの仮想矩形領域に対し、該仮想矩形領域のサンプリング点に対応する前記カメラ画像の画素をサンプリングすることによって信号画像を生成し、
前記信号画像に予め決められた色空間調整を行い、該色空間調整後の前記信号画像から前記信号機の発光状態を示す各色成分に該当する画素を抽出し、
抽出された各画素の位置関係に基づいて前記信号機の発光状態を判定する、
画像処理装置。

【請求項2】

前記制御部は、
実空間上の標準的な前記信号機の長辺を１辺とした正方形を基準形として、前記仮想矩形領域を生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、
前記基準形を予め決められた拡張率で拡張した前記仮想矩形領域を生成する、
請求項２に記載の画像処理装置。

【請求項4】

前記制御部は、
前記信号機の長手方向に沿って前記カメラ画像の画素が順次走査されるサンプリング方向でサンプリングすることによって前記信号画像を生成する、
請求項１、２または３に記載の画像処理装置。

【請求項5】

前記制御部は、
前記色空間調整後の前記信号画像から、前記色空間調整の色表現形式における予め決められた閾値が示す前記信号機の各色成分の該当条件を満たす画素を抽出する、
請求項１～４のいずれか一つに記載の画像処理装置。

【請求項6】

前記制御部は、
前記色表現形式としてＹＵＶ形式を用いる、
請求項５に記載の画像処理装置。

【請求項7】

前記制御部は、
前記信号機の赤成分の該当条件を満たす各画素の重心より下方の決められた範囲内において、矢印信号の色成分の該当条件を満たす画素の位置を前記矢印信号の位置と推定する、
請求項５または６に記載の画像処理装置。

【請求項8】

前記制御部は、
前記信号機の各色成分に該当するとして抽出された各画素の位置関係に基づいて前記信号機の発光状態を判定するに際し、色成分ごとの各画素が予め決められた範囲内に集まっているか否かを判定し、集まっていれば色成分ごとの領域フラグを立て、前記信号画像内において立てた前記領域フラグそれぞれの総和に基づいて前記信号機の発光状態を判定する、
請求項１～７のいずれか一つに記載の画像処理装置。

【請求項9】

車両に搭載される画像処理装置が実行する画像処理方法であって、
カメラ画像に対する画像認識によって信号機として抽出された矩形領域の中心座標を実空間上の仮想平面へ投影することと、
投影された前記中心座標を中心とする決められたサイズの仮想矩形領域に対し、該仮想矩形領域のサンプリング点に対応する前記カメラ画像の画素をサンプリングすることによって信号画像を生成することと、
前記信号画像に予め決められた色空間調整を行い、該色空間調整後の前記信号画像から前記信号機の発光状態を示す各色成分に該当する画素を抽出することと、
抽出された各画素の位置関係に基づいて前記信号機の発光状態を判定することと、
を含む、画像処理方法。

【請求項10】

カメラ画像に対する画像認識によって信号機として抽出された矩形領域の中心座標を実空間上の仮想平面へ投影すること、
投影された前記中心座標を中心とする決められたサイズの仮想矩形領域に対し、該仮想矩形領域のサンプリング点に対応する前記カメラ画像の画素をサンプリングすることによって信号画像を生成すること、
前記信号画像に予め決められた色空間調整を行い、該色空間調整後の前記信号画像から前記信号機の発光状態を示す各色成分に該当する画素を抽出すること、
抽出された各画素の位置関係に基づいて前記信号機の発光状態を判定すること、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、たとえば光ビーコンによる受信情報やカメラの撮像画像から検知される信号機の青や、黄、赤などの発光状態と、ブレーキなどの車両の操作状況とに基づいて、自車両が信号無視をしたか否かを判定する技術が提案されている（たとえば、特許文献１参照）。

【0003】

こうした技術において、カメラの撮像画像を用いて信号機の発光状態を判定する場合、画像中の信号機そのものを検知することが必要となる。かかる場合、たとえば深層学習等の機械学習のアルゴリズムを用いて、検知対象となる信号機をバウンディングボックスと呼ばれる矩形領域として抽出する手法が知られている。

【0004】

抽出された矩形領域内においては、発光領域の形状（円形、楕円形）が検出される。そして、たとえば検出された形状の矩形領域内における位置を特定することで、信号機の発光色を判定することができる。一例として、発光領域が矩形領域内の左寄りの位置にあれば、青信号と判定することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２－０６９０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来技術には、低コストに信号機の発光状態の判定精度を向上させるうえで、さらなる改善の余地がある。

【0007】

たとえば、前述の発光領域の形状を検出するにあたり、「円形」を検出する標準的な手法としてハフ変換が存在するが、処理コストが高いことが知られており、車載装置など、演算リソースが限られた環境下では、実施が難しいという問題がある。

【0008】

また、矩形領域そのものの抽出位置の精度が低い場合、かかる矩形領域内における発光領域の位置だけで信号機の発光状態を判定すると、誤判定してしまう可能性がある。

【0009】

実施形態の一態様は、上記に鑑みてなされたものであって、低コストに信号機の発光状態の判定精度を向上させることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

実施形態の一態様に係る画像処理装置は、車両に搭載される画像処理装置であって、制御部を有する。前記制御部は、カメラ画像に対する画像認識によって信号機として抽出された矩形領域の中心座標を実空間上の仮想平面へ投影する。また、前記制御部は、投影された前記中心座標を中心とする決められたサイズの仮想矩形領域に対し、該仮想矩形領域のサンプリング点に対応する前記カメラ画像の画素をサンプリングすることによって信号画像を生成する。また、前記制御部は、前記信号画像に予め決められた色空間調整を行い、該色空間調整後の前記信号画像から前記信号機の発光状態を示す各色成分に該当する画素を抽出する。また、前記制御部は、抽出された各画素の位置関係に基づいて前記信号機の発光状態を判定する。

【発明の効果】

【0011】

実施形態の一態様によれば、低コストに信号機の発光状態の判定精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施形態に係る画像処理方法の概要説明図（その１）である。

【図2】図２は、実施形態に係る画像処理方法の概要説明図（その２）である。

【図3】図３は、実施形態に係る画像処理装置の構成例を示すブロック図である。

【図4】図４は、仮想矩形領域生成処理の説明図（その１）である。

【図5】図５は、仮想矩形領域生成処理の説明図（その２）である。

【図6】図６は、仮想矩形領域生成処理の説明図（その３）である。

【図7】図７は、信号画像生成処理の説明図である。

【図8】図８は、色空間調整処理の説明図である。

【図9】図９は、色特徴量抽出処理の説明図（その１）である。

【図10】図１０は、色特徴量抽出処理の説明図（その２）である。

【図11】図１１は、位置特徴量抽出処理の説明図（その１）である。

【図12】図１２は、位置特徴量抽出処理の説明図（その２）である。

【図13】図１３は、位置特徴量抽出処理の説明図（その３）である。

【図14】図１４は、位置特徴量抽出処理の説明図（その４）である。

【図15】図１５は、位置特徴量抽出処理の説明図（その５）である。

【図16】図１６は、判定処理の説明図（その１）である。

【図17】図１７は、判定処理の説明図（その２）である。

【図18】図１８は、判定処理の説明図（その３）である。

【図19】図１９は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0014】

また、以下では、実施形態に係る画像処理装置１０が、車両Ｖに搭載される車載装置であるものとする。画像処理装置１０は、たとえば信号無視判定装置やドライブレコーダ等、車両Ｖに搭載されたカメラ３の撮像画像に基づいて、画像中の対象物を検知可能な装置である。本実施形態では、かかる対象物が、信号機３００であるものとする。

【0015】

まず、実施形態に係る画像処理方法の概要について、図１および図２を用いて説明する。図１は、実施形態に係る画像処理方法の概要説明図（その１）である。また、図２は、実施形態に係る画像処理方法の概要説明図（その２）である。

【0016】

既に述べた通り、カメラ３の撮像画像を用いて信号機３００の発光状態を判定する場合、画像中の信号機３００そのものを検知することが必要となる。かかる場合、たとえば深層学習等の機械学習のアルゴリズムを用いて、検知対象となる信号機３００をバウンディングボックスと呼ばれる矩形領域として抽出する。

【0017】

抽出された矩形領域内においては、発光領域の形状が検出される。そして、たとえば検出された形状の矩形領域内における位置を特定することで、信号機３００の発光色を判定することができる。

【0018】

一例として、図１の左図に示すように、矩形領域ＢＢ１内の左寄り付近で発光領域を検出した場合、青信号と正判定することができる。

【0019】

ここで、発光領域の形状を検出するにあたり、「円形」を検出する標準的な手法としてハフ変換が存在するが、処理コストが高いことが知られており、車載装置など、演算リソースが限られた環境下では、実施が難しいという問題がある。

【0020】

また、矩形領域そのものの抽出位置の精度が低い場合、かかる矩形領域内における発光領域の位置だけで信号機３００の発光状態を判定すると、誤判定してしまう可能性がある。

【0021】

一例として、図１の右図に示すように、信号機３００に対して左側にずれた位置で抽出された矩形領域ＢＢ２内の中央付近で発光領域を検出した場合、実際には青信号であるにも関わらず、黄信号と誤判定してしまう可能性がある。

【0022】

そこで、実施形態に係る画像処理方法では、画像処理装置１０の制御部１２（図３参照）が、カメラ画像に対する画像認識によって信号機３００として抽出された矩形領域ＢＢの中心座標を実空間上の仮想平面へ投影し、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域ＶＢに対し、かかる仮想矩形領域ＶＢのサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成し、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から信号機３００の発光状態を示す各色成分に該当する画素を抽出し、抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定することとした。

【0023】

具体的には、図２に示すように、制御部１２は、カメラ３の撮像したカメラ画像を入力とし、矩形領域の抽出（ステップＳ１）、仮想矩形領域の生成（ステップＳ２）、信号画像の生成（ステップＳ３）、色空間調整（ステップＳ４）を実行する。そして、制御部１２は、色空間調整後の信号画像に基づいて、第１特徴量の抽出（ステップＳ５）、第２特徴量の抽出（ステップＳ６）、発光状態の判定（ステップＳ７）を実行し、判定結果を出力する。第１特徴量は、色の特徴量である。第２特徴量は位置の特徴量である。

【0024】

破線の矩形の外にあるステップＳ１は、既存技術である。ステップＳ１では、制御部１２は、機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデル等を使用して、画像中の信号機３００を矩形領域ＢＢとして抽出する。

【0025】

また、制御部１２は、ステップＳ２では、矩形領域ＢＢの中心座標をワールド座標に変換する。ワールド座標は信号の高さ（たとえば５ｍ）の仮想平面上に投影された点である。このワールド座標を実空間上の信号機３００の中心点と捉え、かかる中心点から実空間上の上下方向と左右方向に決まった幅を持った矩形を「仮想矩形領域」として生成する。ステップＳ２の具体例については、図４～図６を用いた説明で後述する。

【0026】

また、制御部１２は、ステップＳ３では、仮想矩形領域に対応する信号画像を生成する。制御部１２は、仮想矩形領域を決まったサイズの画像（２５×２５ピクセルなど）としてサンプリングし、各サンプリング点に対応するカメラ画像上の画素を参照することで、信号画像を生成する。信号画像のサイズは常に同じなので、近い信号機３００と遠い信号機３００とで、スケール感を含む見え方は同じになる。ステップＳ２とステップＳ３を実行することで、判定対象とする信号機３００について、カメラ画像中でのサイズや位置、縦横方向に関わらず、常に同じサイズ感の画像情報として取り扱うことができる。これにより、処理コストの抑制に資することができる。ステップＳ３の具体例については、図７を用いた説明で後述する。

【0027】

また、制御部１２は、ステップＳ４では、後段のステップＳ５の第１特徴量の抽出に合わせて、信号画像を予め決められた色空間に調整（変換）する。本実施形態では、いわゆるＹＵＶ形式による色空間調整を行うが、色情報の表現形式を限定するものではない。たとえば、ＨＳＶ形式による色空間調整を行ってもよい。ＹＵＶ形式、ＨＳＶ形式をそれぞれ用いた場合の特性の違い等については、図８を用いた説明で後述する。

【0028】

また、制御部１２は、ステップＳ５では、色空間調整後の信号画像を入力とし、予め決められたＹＵＶ閾値（下限、上限）が示す信号機３００の各色成分（青、黄、赤、矢印、黒の各色）の該当条件を満たす画素に、各色成分に対応する色のフラグ（以下、適宜「色フラグ」という）を立てて、色情報として抽出する。ステップＳ５の具体例については、図９および図１０を用いた説明で後述する。

【0029】

なお、ここに言う「フラグ」は、画像処理上の各画素の状態を示す真理値およびそれに相当する値を格納する領域を指し、本実施形態では、フラグを「立てる」とは、フラグに「真値」に相当する値を格納することを言う。一方、フラグを「下げる」とは、フラグに「偽値」に相当する値を格納することを言う。「立てる」は、「オンにする」と言い換えてもよい。「下げる」は、「オフにする」と言い換えてもよい。

【0030】

また、制御部１２は、ステップＳ６では、色フラグを組み合わせて、色フラグの互いが特定の位置関係にある場合に、その画素に位置のフラグ（以下、適宜「位置フラグ」という）を立てて、位置情報として抽出する。ステップＳ６の具体例については、図１１～図１５を用いた説明で後述する。

【0031】

そして、制御部１２は、ステップＳ７では、ステップＳ６の処理結果に基づいて信号機３００の発光状態の判定を行う。制御部１２は、かかる判定に際し、まず、それぞれの位置フラグについて予め決められた範囲内に集まっているか否かを判定し、集まっていればこれに応じ領域のフラグ（以下、適宜「領域フラグ」という）を立てる。そして、制御部１２は、それぞれの領域フラグについて、信号画像内における総和を算出し、かかる総和に基づいて信号機３００の発光状態を判定する。領域フラグに基づく領域単位での判定を行うことで、スパイク状ノイズによる誤判定を抑制することができる。ステップＳ７の具体例については、図１６～図１８を用いた説明で後述する。

【0032】

上述したように、実施形態に係る画像処理方法は、車両Ｖに搭載される画像処理装置１０が実行する画像処理方法であって、カメラ画像に対する画像認識によって信号機３００として抽出された矩形領域ＢＢの中心座標を実空間上の仮想平面へ投影することと、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域ＶＢに対し、かかる仮想矩形領域ＶＢのサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成することと、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から信号機３００の発光状態を示す各色成分に該当する画素を抽出することと、抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定することと、を含む。

【0033】

したがって、実施形態に係る画像処理方法によれば、低コストに信号機３００の発光状態の判定精度を向上させることができる。

【0034】

以下、上述した実施形態に係る画像処理方法を適用した画像処理装置１０の構成例について、より具体的に説明する。

【0035】

図３は、実施形態に係る画像処理装置１０の構成例を示すブロック図である。なお、図３では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0036】

換言すれば、図３に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0037】

また、図３を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

【0038】

図３に示すように、画像処理装置１０は、記憶部１１と、制御部１２とを備える。また、画像処理装置１０は、カメラ３と、出力部５とが接続される。

【0039】

カメラ３は、車両Ｖに搭載され、車両Ｖの前方を撮像可能に設けられる。なお、カメラ３は、たとえば車両Ｖの全周囲を撮像可能な３６０度カメラであってもよい。

【0040】

出力部５は、データを出力するための出力デバイスである。出力部５は、たとえば、ディスプレイやスピーカ等によって実現される。なお、出力部５は、画像処理装置１０が出力するデータに基づく情報処理を実行する外部装置であってもよい。

【0041】

カメラ３および出力部５は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して画像処理装置１０と接続される。なお、カメラ３および出力部５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により画像処理装置１０と接続されてもよい。

【0042】

画像処理装置１０は、車両Ｖに搭載されるコンピュータであり、上述したように、たとえば信号無視判定装置である。画像処理装置１０は、少なくとも、図２を用いて説明したステップＳ１～Ｓ７を実行する。

【0043】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現され、図３の例では、画像認識ＡＩ１１ａと、処理パラメータ情報１１ｂとを記憶する。

【0044】

画像認識ＡＩ１１ａは、画像認識用のＡＩ（Artificial Intelligence）モデルである。具体的には、画像認識ＡＩ１１ａは、機械学習のアルゴリズムを用いて学習されたＤＮＮモデル等である。画像認識ＡＩ１１ａは、後述する画像認識部１２ａにＤＮＮモデルとして読み込まれた後、画像認識部１２ａにカメラ３の撮像画像が入力された場合に、かかる画像に含まれる各種の物体を検知可能に設けられる。本実施形態では、画像認識ＡＩ１１ａは、少なくとも物体として信号機３００を検知可能に設けられる。

【0045】

処理パラメータ情報１１ｂは、後述する仮想矩形領域生成部１２ｂ、信号画像生成部１２ｃ、色空間調整部１２ｄ、色特徴量抽出部１２ｅ、位置特徴量抽出部１２ｆ、判定部１２ｇが実行する各処理において用いられる各種のパラメータに関する情報である。

【0046】

処理パラメータ情報１１ｂは、前述の各種のフラグを含む。フラグは、レジスタによって実現されてもよいし、プログラム上の変数によって表現されてもよい。また、フラグの格納値は、「０」か「１」に限らなくともよい。したがって、フラグの大きさは、１ビットに限らなくともよい。

【0047】

制御部１２は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0048】

制御部１２は、画像認識部１２ａと、仮想矩形領域生成部１２ｂと、信号画像生成部１２ｃと、色空間調整部１２ｄと、色特徴量抽出部１２ｅと、位置特徴量抽出部１２ｆと、判定部１２ｇとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0049】

画像認識部１２ａは、カメラ３によって撮像された撮像画像を取得し、かかる撮像画像を読み込んだ画像認識ＡＩ１１ａへ入力する。また、画像認識部１２ａは、撮像画像を入力した結果、画像認識ＡＩ１１ａから出力される画像認識結果を取得し、取得した画像認識結果を仮想矩形領域生成部１２ｂへ出力する。画像認識結果は、矩形領域ＢＢとして抽出された信号機３００を含む。すなわち、画像認識部１２ａは、上述したステップＳ１を実行する。なお、カメラ３は、動画像を撮像する。これに応じ、画像認識部１２ａは、動画像の各フレームから矩形領域ＢＢを抽出する。

【0050】

仮想矩形領域生成部１２ｂは、上述したステップＳ２を実行する。ここで、仮想矩形領域生成部１２ｂが実行する仮想矩形領域生成処理について、図４～図６を用いてより具体的に説明する。図４は、仮想矩形領域生成処理の説明図（その１）である。また、図５は、仮想矩形領域生成処理の説明図（その２）である。また、図６は、仮想矩形領域生成処理の説明図（その３）である。

【0051】

仮想矩形領域生成部１２ｂは、矩形領域ＢＢの中心座標をワールド座標に変換し、ワールド座標を実空間上の信号機３００の中心点と捉え、かかる中心点から実空間上の上下方向と左右方向に決まった幅を持った矩形を仮想矩形領域として生成する。

【0052】

仮想矩形領域生成部１２ｂは、まず図４に示すように、信号機３００の高さはある程度同じであると仮定したうえで、矩形領域ＢＢの中心を示すカメラ座標を、カメラパラメータを用い、信号機３００の高さを想定した仮想的な平面（以下、「仮想平面」という）上のワールド座標へ変換する。

【0053】

具体的には、仮想矩形領域生成部１２ｂは、車両Ｖのカメラ３から撮像した画像２０１における信号機３００の位置を示す矩形領域ＢＢを基に、時系列空間における同じ高さの仮想平面に車両Ｖの位置を投影した位置を示す仮想車両位置を算出する。

【0054】

そして、仮想矩形領域生成部１２ｂは、鉛直方向の軸を含む互いに直交する３つの軸で表される座標系において、鉛直方向の軸の座標値を固定することで得られる仮想平面における信号機３００の座標を、ワールド座標として算出する。

【0055】

図４に示すように、実空間における位置は、Ｘ軸、Ｙ軸、Ｚ軸の座標値によって表される。Ｘ軸、Ｙ軸、Ｚ軸は互いに直交する。Ｚ軸は、鉛直方向の軸である。Ｙ軸は、図４における車両Ｖの進行方向と平行である。Ｘ軸は、Ｚ軸およびＹ軸と直交する。

【0056】

ここで、矩形領域ＢＢの中心を中心点２２１とする。仮想矩形領域生成部１２ｂは、カメラパラメータを用いて画像２０１における中心点２２１の２次元座標（カメラ座標）を、３次元のワールド座標に変換する。そして、かかるワールド座標における中心点２２１までの距離を、車両Ｖから信号機３００までの距離（Ｄｉｓｔ）として算出する。

【0057】

カメラパラメータには、カメラ３の内部パラメータおよび外部パラメータが含まれる。内部パラメータには、ドットピッチ、焦点距離、ディストーション（仰角像高ＴＢＬ）等が含まれる。外部パラメータには、カメラ３の撮影位置のＸ軸、Ｙ軸、Ｚ軸の座標値、および、カメラ３の姿勢を表す値（ＰＡＮ，ＲＯＬＬ，ＴＩＬＴ）が含まれる。

【0058】

また、カメラパラメータとは別のパラメータとして、仮想矩形領域生成部１２ｂは、予め定められた信号機３００の路面からの高さを参照する。信号機３００の高さは、たとえば５．０ｍ～５．５ｍの範囲において定められる。

【0059】

なお、カメラパラメータおよび信号機３００の高さは、たとえば前述の処理パラメータ情報１１ｂに格納されている。

【0060】

このように、ワールド座標への変換を行うことによって、単眼カメラで安価に信号機３００までの距離を算出できるという利点がある。

【0061】

そして、仮想矩形領域生成部１２ｂは、ワールド座標を実空間上の信号機３００の中心点と捉え、かかる中心点から実空間上の上下方向と左右方向に決まった幅を持った矩形を仮想矩形領域ＶＢとして生成する。

【0062】

これにより、図５に示すように、矩形領域ＢＢの場合、近い信号機３００の矩形領域ＢＢ１は大きく、遠い信号機３００の矩形領域ＢＢ２は小さくなるが、仮想矩形領域ＶＢの場合、信号機３００の遠近に関わらず仮想矩形領域ＶＢ１，ＶＢ２のサイズは同じとなる。

【0063】

仮想矩形領域生成部１２ｂは、実空間上の標準的な信号機３００のサイズ（１２５０ｍｍ×４５０ｍｍなど）を基準として仮想矩形領域ＶＢのサイズを決定する。本実施形態では、仮想矩形領域生成部１２ｂは、横型信号機と縦型信号機の両方を判定対象とするため、図６に示すように、実空間上の信号機３００の長辺（つまり１２５０ｍｍなど）を１辺とした正方形を基準形として仮想矩形領域ＶＢを生成する。また、同図に示すように、仮想矩形領域生成部１２ｂは、入力される矩形領域ＢＢのサイズや位置のバラつきに対応するため、上述の基準形を予め決められた拡張率（たとえば、１．１倍など）で拡張したものを使用する。

【0064】

図３の説明に戻る。信号画像生成部１２ｃは、上述したステップＳ３を実行する。ここで、信号画像生成部１２ｃが実行する信号画像生成処理について、図７を用いてより具体的に説明する。図７は、信号画像生成処理の説明図である。

【0065】

信号画像生成部１２ｃは、仮想矩形領域ＶＢに対応する信号画像を生成する。既に述べた通り、信号画像生成部１２ｃは、仮想矩形領域ＶＢを常に同じサイズの画像（２５×２５ｐｉｘｅｌなど）としてサンプリングし、各サンプリング点に対応するカメラ画像上の画素を参照することで、信号画像を生成する。

【0066】

カメラ画像上の画素の参照は、上記したカメラ座標からワールド座標への変換の逆変換を実施する。サンプリング方向については、図７に示すように、横型信号機は左上から右下に走査し、縦型信号機は左下から右上に走査する。すなわち、信号画像生成部１２ｃは、カメラ画像中の信号機３００の長手方向に沿ってカメラ画像の画素が順次走査されるサンプリング方向でサンプリングすることによって信号画像を生成する。これにより、同図に示すように、サンプリング後の信号画像は、横型信号機であっても縦型信号機であっても、画像内のスケール感、向きなどを含め、同じ見え方となる。

【0067】

したがって、判定対象とする信号機３００について、カメラ画像中でのサイズや位置、縦横方向に関わらず、常に同じサイズ感の画像情報として取り扱うことができ、処理コストの抑制に資することができる。

【0068】

なお、さらに、たとえば信号画像のサイズを小さく（すなわち、実空間上のサンプリング間隔を大きく）することで、後段の各処理における処理コストを下げることができる。

【0069】

図３の説明に戻る。色空間調整部１２ｄは、上述したステップＳ４を実行する。ここで、色空間調整部１２ｄが実行する色空間調整処理について、図８を用いて補足しつつ説明する。図８は、色空間調整処理の説明図である。

【0070】

色空間調整部１２ｄは、後段の色特徴量抽出部１２ｅによる色特徴量抽出処理に合わせて、生成された信号画像を予め決められた色空間に調整する。本実施形態では、色空間調整部１２ｄは、既に述べた通りＹＵＶ形式による色空間調整を行う。

【0071】

図８に示すように、色空間調整部１２ｄは、ＹＵＶ形式の他、ＨＳＶ形式による色空間調整を行うことができる。なお、同図に示すように、ＹＵＶ形式は、色表現がＵとＶの直交座標系であり、矩形表現のため色の分離が難しいケースがあるが、処理コストは低いという特性がある。一方、ＨＳＶ形式は、色表現がＨとＳの極座標系であり、扇形表現のためＹＵＶ形式に比べて色の分離は易しいが、処理コストは高いという特性がある。

【0072】

本実施形態では、処理コストを重視し、ＹＵＶ形式を採用するが、画像処理装置１０の演算リソースが許容可能であるなど、処理コストに応じて、適宜ＨＳＶ形式やその他の形式を選択することは可能である。

【0073】

図３の説明に戻る。色特徴量抽出部１２ｅは、上述したステップＳ５を実行する。ここで、色特徴量抽出部１２ｅが実行する色特徴量抽出処理について、図９および図１０を用いてより具体的に説明する。図９は、色特徴量抽出処理の説明図（その１）である。また、図１０は、色特徴量抽出処理の説明図（その２）である。

【0074】

色特徴量抽出部１２ｅは、色空間調整後の信号画像を入力とし、予め決められたＹＵＶ閾値が示す信号機３００の各色成分の該当条件を満たす画素に、各色成分に対応する色フラグを立てて色情報として抽出する。

【0075】

具体的には、たとえば処理パラメータ情報１１ｂには、図９に示すように、信号機３００の青、黄、赤、矢印、黒の各色成分についての該当条件が、予め決められたＹ，Ｕ，Ｖの下限および上限によって規定されている。

【0076】

色特徴量抽出部１２ｅは、色空間調整後の信号画像において、信号機３００の各色成分につき、かかる該当条件を満たす画素を抽出する。そして、色特徴量抽出部１２ｅは、抽出した画素につき、該当する色成分に対応する色フラグを立てる。

【0077】

すると、図１０に示すように、たとえば青信号であれば信号画像においては少なくとも、青成分の該当条件を満たす各画素と、黒成分の該当条件を満たす各画素とが抽出され、前者には青信号色フラグが立てられ、後者には無発光信号色フラグが立てられることとなる。

【0078】

同様に、たとえば黄信号であれば信号画像においては少なくとも、黄成分の該当条件を満たす各画素と、黒成分の該当条件を満たす各画素とが抽出され、前者には黄信号色フラグが立てられ、後者には無発光信号色フラグが立てられることとなる。

【0079】

同様に、たとえば赤信号であれば信号画像においては少なくとも、赤成分の該当条件を満たす各画素と、黒成分の該当条件を満たす各画素とが抽出され、前者には赤信号色フラグが立てられ、後者には無発光信号色フラグが立てられることとなる。

【0080】

同様に、たとえば矢印信号であれば信号画像においては少なくとも、赤成分の該当条件を満たす各画素と、矢印成分の該当条件を満たす各画素とが抽出され、前者には赤信号色フラグが立てられ、後者には矢印信号色フラグが立てられることとなる。

【0081】

同様に、たとえば無発光信号であれば信号画像においては少なくとも、黒成分の該当条件を満たす各画素が抽出され、これらには無発光信号色フラグが立てられることとなる。

【0082】

図３の説明に戻る。位置特徴量抽出部１２ｆは、上述したステップＳ６を実行する。ここで、位置特徴量抽出部１２ｆが実行する位置特徴量抽出処理について、図１１～図１５を用いてより具体的に説明する。

【0083】

図１１は、位置特徴量抽出処理の説明図（その１）である。また、図１２は、位置特徴量抽出処理の説明図（その２）である。また、図１３は、位置特徴量抽出処理の説明図（その３）である。また、図１４は、位置特徴量抽出処理の説明図（その４）である。また、図１５は、位置特徴量抽出処理の説明図（その５）である。

【0084】

位置特徴量抽出部１２ｆは、位置特徴量抽出部１２ｆによって抽出された色フラグを組み合わせて、色フラグの互いが特定の位置関係にある場合に、その画素に位置フラグを立てて位置情報として抽出する。

【0085】

図１１に示すように、位置特徴量抽出部１２ｆは、青信号色フラグが示す青成分の右方に無発光信号色フラグが示す黒成分があり、また、さらに右方に黒成分があれば、青信号と推定し、かかる青信号色フラグの立った各画素に青信号位置フラグを立てる。

【0086】

また、図１２に示すように、位置特徴量抽出部１２ｆは、黄信号色フラグが示す黄成分の右方に黒成分があり、また、左方に黒成分があれば、黄信号と推定し、かかる黄信号色フラグの立った各画素に黄信号位置フラグを立てる。

【0087】

また、図１３に示すように、位置特徴量抽出部１２ｆは、赤信号色フラグが示す赤成分の左方に黒成分があり、また、さらに左方に黒成分があれば、赤信号と推定し、かかる赤信号色フラグの立った各画素に赤信号位置フラグを立てる。

【0088】

また、図１４に示すように、位置特徴量抽出部１２ｆは、無発光信号色フラグが示す黒成分の右方に黒成分があり、また、さらに右方に黒成分があれば、無発光信号と推定し、かかる無発光信号色フラグの立った各画素に無発光信号位置フラグを立てる。

【0089】

また、図１５に示すように、位置特徴量抽出部１２ｆは、矢印信号については、図１３で抽出した赤信号位置フラグの集まりの重心より下方の決められた範囲内に矢印信号色フラグが示す矢印成分があれば、矢印信号の位置と推定し、かかる矢印信号色フラグの立った各画素に矢印信号位置フラグを立てる。

【0090】

図３の説明に戻る。判定部１２ｇは、上述したステップＳ７を実行する。ここで、判定部１２ｇが実行する判定処理について、図１６～図１８を用いてより具体的に説明する。

【0091】

図１６は、判定処理の説明図（その１）である。また、図１７は、判定処理の説明図（その２）である。また、図１８は、判定処理の説明図（その３）である。なお、図１７は、判定部１２ｇが実行する第１判定処理の処理手順を示すフローチャート、図１８は、判定部１２ｇが実行する第２判定処理の処理手順を示すフローチャートとなっている。

【0092】

判定部１２ｇは、位置特徴量抽出部１２ｆによる位置情報の抽出結果に基づいて信号機３００の発光状態の判定を行う。

【0093】

判定部１２ｇは、信号機３００の発光状態の判定に際し、まず、それぞれの位置フラグについて予め決められた範囲内に集まっているか否かを判定し、集まっていればこれに応じ領域フラグを立てる。

【0094】

判定部１２ｇは、図１６に示すように、青信号位置フラグ、黄信号位置フラグ、赤信号値フラグおよび矢印信号位置フラグについては、信号画像のたとえば２×２ピクセルずつを確認範囲として、確認範囲におけるフラグ数が３以上であれば各信号領域フラグを立てる。

【0095】

また、判定部１２ｇは、無発光信号位置フラグについては、信号画像のたとえば３×３ピクセルずつを確認範囲として、確認範囲におけるフラグ数が６以上であれば無発光信号領域フラグを立てる。

【0096】

そして、判定部１２ｇは、それぞれの領域フラグについて信号画像内の総和を算出し、かかる総和に基づいて信号機３００の発光状態を判定する。

【0097】

具体的には、判定部１２ｇは、青信号、黄信号、赤信号および無発光信号については、図１７に示すように、青信号領域フラグ、黄信号領域フラグまたは赤信号領域フラグの各総和のいずれかが予め定められた値（ここでは、たとえば１）以上であるか否かを判定する（ステップＳ１１）。

【0098】

ここで、青信号領域フラグ、黄信号領域フラグまたは赤信号領域フラグの各総和のいずれかが１以上である場合（ステップＳ１１，Ｙｅｓ）、判定部１２ｇは、青信号領域フラグ、黄信号領域フラグまたは赤信号領域フラグのうち、総和が最大のフラグに該当する発光状態（青信号、黄信号または赤信号）を判定結果とし（ステップＳ１２）、第１判定処理を終了する。

【0099】

また、判定部１２ｇは、青信号領域フラグ、黄信号領域フラグまたは赤信号領域フラグの各総和のいずれもが１未満である場合（ステップＳ１１，Ｎｏ）、無発光信号領域フラグの総和が予め定められた値（ここでは、たとえば２）以上であるか否かを判定する（ステップＳ１３）。

【0100】

ここで、無発光信号領域フラグの総和が２以上である場合（ステップＳ１３，Ｙｅｓ）、判定部１２ｇは、無発光信号と判定し（ステップＳ１４）、第１判定処理を終了する。また、判定部１２ｇは、無発光信号領域フラグの総和が２未満である場合（ステップＳ１３，Ｎｏ）、判定不可と判定し（ステップＳ１５）、第１判定処理を終了する。

【0101】

また、判定部１２ｇは、矢印信号については、図１７の第１判定処理とは独立に、図１８に示すように、矢印信号領域フラグの総和が予め定められた値（ここでは、たとえば１）以上であるか否かを判定する（ステップＳ２１）。

【0102】

ここで、矢印信号領域フラグの総和が１以上である場合（ステップＳ２１，Ｙｅｓ）、判定部１２ｇは、矢印信号フラグを立て（ステップＳ２２）、第２判定処理を終了する。また、判定部１２ｇは、矢印信号領域フラグの総和が１未満である場合（ステップＳ２１，Ｎｏ）、矢印信号フラグを立てず（ステップＳ２３）、第２判定処理を終了する。

【0103】

図３の説明に戻る。そして、判定部１２ｇは、第１判定処理および第２判定処理の判定結果を出力部５へ出力する。なお、判定部１２ｇは、画像処理装置１０が信号無視判定装置であれば、画像認識部１２ａの画像認識結果、ならびに、第１判定処理および第２判定処理の判定結果に基づいて、車両Ｖが信号無視をしたか否かを判定する。

【0104】

かかる場合、判定部１２ｇは、たとえば画像認識部１２ａによって画像認識された各物体の軌跡に基づいて車両Ｖの挙動を推定する。また、判定部１２ｇは、画像認識された信号機３００、および、仮想矩形領域生成部１２ｂによって算出された信号機３００までの距離に基づいて、車両Ｖに対する相対的な信号機３００の軌跡を推定する。

【0105】

また、判定部１２ｇは、推定された車両Ｖの挙動、信号機３００の軌跡、ならびに、第１判定処理および第２判定処理の判定結果である信号機３００の発光状態に基づいて、車両Ｖが信号無視をしたか否かを判定する。

【0106】

たとえば、判定部１２ｇは、車両Ｖの進行方向における通行の優先権の有無を提示する信号機３００が赤信号であるにも関わらず、車両Ｖが予め定められた時間以上および速度以上で通行を続けた場合、車両Ｖが信号無視をしたと判定する。そして、判定部１２ｇは、判定した判定結果を出力部５へ出力する。

【0107】

なお、画像処理装置１０がドライブレコーダの機能の一部を構成する場合、判定部１２ｇは、車両Ｖが信号無視をしたとの判定結果をイベントとして通知し、ドライブレコーダにイベント録画を行わせてもよい。

【0108】

次に、実施形態に係る画像処理装置１０が実行する処理手順について、図１９を用いて説明する。図１９は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。なお、図１９に示す処理手順は、たとえば車両Ｖが起動中の間、繰り返される。

【0109】

図１９に示すように、画像処理装置１０の制御部１２は、カメラ３からカメラ画像を取得する（ステップＳ１０１）。そして、制御部１２は、取得したカメラ画像に対する画像認識によって信号機３００の矩形領域ＢＢを抽出する（ステップＳ１０２）。

【0110】

そして、制御部１２は、矩形領域ＢＢに基づいて仮想矩形領域ＶＢを生成し（ステップＳ１０３）、仮想矩形領域ＶＢに基づいて信号画像を生成する（ステップＳ１０４）。

【0111】

そして、制御部１２は、生成された信号画像を予め決められた色空間に調整し（ステップＳ１０５）、色空間調整後の信号画像から第１特徴量（色）を抽出する（ステップＳ１０６）。

【0112】

そして、制御部１２は、抽出された第１特徴量に基づいて第２特徴量（位置）を抽出する（ステップＳ１０７）。そして、制御部１２は、抽出された第２特徴量に基づいて、図１７および図１８に示した信号機３００の発光状態の判定処理を実行する（ステップＳ１０８）そして、制御部１２は、判定結果を出力し（ステップＳ１０９）、処理を終了する。

【0113】

上述してきたように、実施形態に係る画像処理装置１０は、車両Ｖに搭載される画像処理装置であって、制御部１２を有する。制御部１２は、カメラ画像に対する画像認識によって信号機３００として抽出された矩形領域ＢＢの中心座標を実空間上の仮想平面へ投影する。また、制御部１２は、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域ＶＢに対し、かかる仮想矩形領域ＶＢのサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成する。また、制御部１２は、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から信号機３００の発光状態を示す各色成分に該当する画素を抽出する。また、制御部１２は、抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定する。

【0114】

したがって、実施形態に係る画像処理装置１０によれば、低コストに信号機３００の発光状態の判定精度を向上させることができる。

【0115】

また、制御部１２は、実空間上の標準的な信号機３００の長辺を１辺とした正方形を基準形として、仮想矩形領域ＶＢを生成する。

【0116】

したがって、実施形態に係る画像処理装置１０によれば、横型信号機と縦型信号機の両方を判定対象とすることができる。

【0117】

また、制御部１２は、上記基準形を予め決められた拡張率で拡張した仮想矩形領域ＶＢを生成する。

【0118】

したがって、実施形態に係る画像処理装置１０によれば、入力される矩形領域ＢＢのサイズや位置のバラつきに対応することができる。

【0119】

また、制御部１２は、信号機３００の長手方向に沿って上記カメラ画像の画素が順次走査されるサンプリング方向でサンプリングすることによって上記信号画像を生成する。

【0120】

したがって、実施形態に係る画像処理装置１０によれば、サンプリング後の信号画像は、横型信号機であっても縦型信号機であっても、画像内のスケール感、向きなどを含め、同じ見え方となる。これにより、判定対象とする信号機３００について、カメラ画像中でのサイズや位置、縦横方向に関わらず、常に同じサイズ感の画像情報として取り扱うことができ、処理コストの抑制に資することができる。

【0121】

また、制御部１２は、上記色空間調整後の上記信号画像から、上記色空間調整の色表現形式における予め決められた閾値が示す信号機３００の各色成分の該当条件を満たす画素を抽出する。

【0122】

したがって、実施形態に係る画像処理装置１０によれば、色空間調整の色表現形式に応じて、信号機３００の各色成分の該当条件を満たす画素を抽出することが可能となる。

【0123】

また、制御部１２は、上記色表現形式としてＹＵＶ形式を用いる。

【0124】

したがって、実施形態に係る画像処理装置１０によれば、車載装置など、演算リソースが限られた環境下でも実施可能な、処理コストを抑えた画像処理を行うことができる。

【0125】

また、制御部１２は、信号機３００の赤成分の該当条件を満たす各画素の重心より下方の決められた範囲内において、矢印信号の色成分の該当条件を満たす画素の位置を上記矢印信号の位置と推定する。

【0126】

したがって、実施形態に係る画像処理装置１０によれば、赤成分の該当条件を満たす各画素の重心位置との相対的な位置関係により、矢印信号の位置を推定することができる。

【0127】

また、制御部１２は、信号機３００の各色成分に該当するとして抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定するに際し、色成分ごとの各画素が予め決められた範囲内に集まっているか否かを判定し、集まっていれば色成分ごとの領域フラグを立て、上記信号画像内において立てた上記領域フラグそれぞれの総和に基づいて信号機３００の発光状態を判定する。

【0128】

したがって、実施形態に係る画像処理装置１０によれば、スパイク状ノイズによる誤判定を抑制することができる。

【0129】

また、実施形態に係る画像処理方法は、車両Ｖに搭載される画像処理装置１０が実行する画像処理方法であって、カメラ画像に対する画像認識によって信号機３００として抽出された矩形領域ＢＢの中心座標を実空間上の仮想平面へ投影することを含む。また、実施形態に係る画像処理方法は、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域ＶＢに対し、かかる仮想矩形領域ＶＢのサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成することを含む。また、実施形態に係る画像処理方法は、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から信号機３００の発光状態を示す各色成分に該当する画素を抽出することを含む。また、実施形態に係る画像処理方法は、抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定することを含む。

【0130】

したがって、実施形態に係る画像処理方法によれば、低コストに信号機３００の発光状態の判定精度を向上させることができる。

【0131】

また、実施形態に係るプログラムは、カメラ画像に対する画像認識によって信号機３００として抽出された矩形領域ＢＢの中心座標を実空間上の仮想平面へ投影することを画像処理装置１０（「コンピュータ」の一例に相当）に実行させる。また、実施形態に係るプログラムは、投影された上記中心座標を中心とする決められたサイズの仮想矩形領域ＶＢに対し、かかる仮想矩形領域ＶＢのサンプリング点に対応する上記カメラ画像の画素をサンプリングすることによって信号画像を生成することを画像処理装置１０に実行させる。また、実施形態に係るプログラムは、上記信号画像に予め決められた色空間調整を行い、かかる色空間調整後の上記信号画像から信号機３００の発光状態を示す各色成分に該当する画素を抽出することを画像処理装置１０に実行させる。また、実施形態に係るプログラムは、抽出された各画素の位置関係に基づいて信号機３００の発光状態を判定することを画像処理装置１０に実行させる。

【0132】

したがって、実施形態に係るプログラムによれば、低コストに信号機３００の発光状態の判定精度を向上させることができる。

【0133】

なお、上述した実施形態では、画像認識に基づいて信号機３００の発光状態および信号無視を判定することとしたが、無論、車両Ｖに搭載された各種センサのセンサデータを適宜組み合わせてもよい。たとえば、車両Ｖの挙動は、ステアリングセンサや加速度センサのセンサ値を利用して推定してもよいし、自車速度は、速度センサのセンサ値を利用して取得してもよい。

【0134】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0135】

３ カメラ
５ 出力部
１０ 画像処理装置
１１ 記憶部
１１ａ 画像認識ＡＩ
１１ｂ 処理パラメータ情報
１２ 制御部
１２ａ 画像認識部
１２ｂ 仮想矩形領域生成部
１２ｃ 信号画像生成部
１２ｄ 色空間調整部
１２ｅ 色特徴量抽出部
１２ｆ 位置特徴量抽出部
１２ｇ 判定部
ＢＢ 矩形領域
Ｖ 車両
ＶＢ 仮想矩形領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】