特開 2023-114568 画像処理装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114568

(43)【公開日】2023-08-18

(54)【発明の名称】画像処理装置、画像処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230810BHJP

   G08G 1/16 20060101ALI20230810BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/16 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022016952

(22)【出願日】2022-02-07

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村角 周樹

(72)【発明者】

【氏名】松本 裕生

(72)【発明者】

【氏名】三澤 雅史

(72)【発明者】

【氏名】河野 貴

(72)【発明者】

【氏名】三野 敦

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181FF10

5H181FF27

5H181LL01

5H181LL14

5L096BA04

5L096EA03

5L096FA18

5L096FA69

5L096FA70

5L096GA51

5L096JA11

(57)【要約】

【課題】画像認識による信号機の検知精度を向上させること。
【解決手段】実施形態に係る画像処理装置は、車両に搭載される画像処理装置であって、制御部を有する。制御部は、カメラ画像に対する画像認識によって信号機として検知された矩形領域の縦横比に基づいて、当該矩形領域が少なくとも三灯式の上記信号機の検知領域であるか否かを判定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

車両に搭載される画像処理装置であって、制御部を有し、
前記制御部は、
カメラ画像に対する画像認識によって信号機として検知された矩形領域の縦横比に基づいて、当該矩形領域が少なくとも三灯式の前記信号機の検知領域であるか否かを判定する、
画像処理装置。

【請求項2】

前記制御部は、
前記矩形領域の縦横比の値が予め決められた範囲内の値である場合に、当該矩形領域が前記信号機の検知領域であると判定する、
請求項１に記載の画像処理装置。

【請求項3】

前記制御部は、
前記矩形領域の縦横比の値が１．０の近似値ではない場合に、当該矩形領域が前記信号機の検知領域であると判定する、
請求項２に記載の画像処理装置。

【請求項4】

前記制御部は、
前記矩形領域の縦横比の値が１．０の近似値である場合に、当該矩形領域が前記信号機の検知領域ではないと判定する、
請求項２または３に記載の画像処理装置。

【請求項5】

前記制御部は、
前記矩形領域を予め決められた比率で拡張する、
請求項１～４のいずれか一つに記載の画像処理装置。

【請求項6】

前記制御部は、
前記矩形領域において抽出される決まった形状の特徴量が閾値を満たさない場合に、前記矩形領域を拡張する、
請求項５に記載の画像処理装置。

【請求項7】

前記制御部は、
前記画像認識によって検知される前記矩形領域における発光領域の位置に基づいて、前記矩形領域を位置補正または拡張する、
請求項５または６に記載の画像処理装置。

【請求項8】

前記制御部は、
前記信号機の種別ごとに個別に決められた前記比率で、前記画像認識によって検知された前記種別に応じて前記矩形領域を拡張する、
請求項５、６または７に記載の画像処理装置。

【請求項9】

車両に搭載される画像処理装置が実行する画像処理方法であって、
カメラ画像に対する画像認識によって信号機として検知された矩形領域の縦横比に基づいて、当該矩形領域が少なくとも三灯式の前記信号機の検知領域であるか否かを判定すること、
を含む、画像処理方法。

【請求項10】

カメラ画像に対する画像認識によって信号機として検知された矩形領域の縦横比に基づいて、当該矩形領域が少なくとも三灯式の前記信号機の検知領域であるか否かを判定すること、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、たとえば光ビーコンによる受信情報やカメラの撮像画像から検知される信号機の青や、黄、赤などの発光状態と、ブレーキなどの車両の操作状況とに基づいて、自車両が信号無視をしたか否かを判定する技術が提案されている（たとえば、特許文献１参照）。

【0003】

こうした技術において、カメラの撮像画像を用いて信号機の発光状態を判定する場合、画像中の信号機そのものを検知することが必要となる。かかる場合、たとえば深層学習等の機械学習のアルゴリズムを用いて、検知対象となる信号機をバウンディングボックスと呼ばれる矩形領域として抽出する画像認識手法が知られている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－０６９０５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術には、画像認識による信号機の検知精度を向上させるうえで、さらなる改善の余地がある。

【0006】

たとえば、上述した画像認識手法を用いた場合、信号機そのものは検知できているものの、推定される信号機の位置、すなわち矩形領域の抽出位置にズレが生じてしまうことがある。また、標識などの信号機以外の物体を信号機として誤検知してしまうこともある。

【0007】

実施形態の一態様は、上記に鑑みてなされたものであって、画像認識による信号機の検知精度を向上させることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

実施形態の一態様に係る画像処理装置は、車両に搭載される画像処理装置であって、制御部を有する。前記制御部は、カメラ画像に対する画像認識によって信号機として検知された矩形領域の縦横比に基づいて、当該矩形領域が少なくとも三灯式の前記信号機の検知領域であるか否かを判定する。

【発明の効果】

【0009】

実施形態の一態様によれば、画像認識による信号機の検知精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る画像処理方法の概要説明図（その１）である。

【図2】図２は、実施形態に係る画像処理方法の概要説明図（その２）である。

【図3】図３は、実施形態に係る画像処理方法の概要説明図（その３）である。

【図4】図４は、実施形態に係る画像処理方法の概要説明図（その４）である。

【図5】図５は、実施形態に係る画像処理方法の概要説明図（その５）である。

【図6】図６は、実施形態に係る画像処理装置の構成例を示すブロック図である。

【図7】図７は、実施形態に係る画像認識ＡＩの説明図である。

【図8】図８は、補正処理の補足説明図（その１）である。

【図9】図９は、補正処理の補足説明図（その２）である。

【図10】図１０は、実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0012】

また、以下では、実施形態に係る画像処理装置１０が、車両に搭載される車載装置であるものとする。画像処理装置１０は、たとえば信号無視判定装置やドライブレコーダ等、車両に搭載されたカメラ３の撮像画像に基づいて、画像中の対象物を検知可能な装置である。本実施形態では、かかる対象物が、少なくとも信号機３００であるものとする。

【0013】

まず、実施形態に係る画像処理方法の概要について、図１～図５を用いて説明する。図１は、実施形態に係る画像処理方法の概要説明図（その１）である。また、図２は、実施形態に係る画像処理方法の概要説明図（その２）である。また、図３は、実施形態に係る画像処理方法の概要説明図（その３）である。また、図４は、実施形態に係る画像処理方法の概要説明図（その４）である。また、図５は、実施形態に係る画像処理方法の概要説明図（その５）である。

【0014】

既に述べた通り、カメラ３の撮像画像を用いて信号機３００の発光状態を判定する場合、画像中の信号機３００そのものを検知することが必要となる。かかる場合、たとえば深層学習等の機械学習のアルゴリズムを用いて、検知対象となる信号機３００をバウンディングボックスと呼ばれる矩形領域として抽出する。

【0015】

ただし、かかる画像認識手法を用いた場合、（１）信号機３００そのものは検知できているものの、推定される信号機３００の位置、すなわち矩形領域ＢＢの抽出位置にズレが生じてしまうことがある。また、（２）標識などの信号機３００以外の物体を信号機３００として誤検知してしまうこともある。

【0016】

図１の左図には、信号機３００の検知領域である矩形領域ＢＢ１にズレがない場合を、同図の中央図および右図には、矩形領域ＢＢ２，ＢＢ３にズレがある場合を、それぞれ示している。また、図２には、標識５００を信号機３００の矩形領域ＢＢ４として誤検知した場合を示している。こうした事象は、機械学習のアルゴリズムを用いて学習されたＤＮＮ（Deep Neural Network）モデル等による画像認識が、未知の画像中の対象物を、当該対象物が何であるかを示す確からしさ（確度）に基づいて検知することなどに起因する。

【0017】

そこで、実施形態に係る画像処理方法では、画像処理装置１０の制御部１２（図６参照）が、カメラ画像に対する画像認識によって信号機３００として検知された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定することとした。また、制御部１２がさらに、矩形領域ＢＢを予め決められた比率で拡張することとした。また、制御部１２がさらに、上記画像認識によって検知される矩形領域ＢＢにおける発光領域の位置に基づいて、矩形領域ＢＢを位置補正または拡張することとした。

【0018】

具体的には、図３に示すように、制御部１２は、信号機３００として抽出された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定する。同図に示すように、制御部１２は、「縦横比の値≠１．０」である場合に、信号機３００の検知領域であると判定する。信号機３００は三灯式である場合、横型または縦型に関わらず、長辺と短辺の長さに必ず差が生じることから、矩形領域ＢＢの縦横比の値は１．０にならないためである。「縦横比の値≠１．０」は、縦横比の値が１．０の近似値ではないと言い換えてもよい。

【0019】

一方、制御部１２は、矩形領域ＢＢの「縦横比の値≒１．０」である場合に、信号機３００の検知領域ではないと判定し、当該矩形領域ＢＢを誤検知であるとして、信号機３００に関する画像処理対象から除外する。これにより、上記（２）の問題を解消することができる。なお、「縦横比の値≒１．０」は、縦横比の値が１．０の近似値であると言い換えてもよい。

【0020】

また、制御部１２は、矩形領域ＢＢの位置ズレを空間的に補正する。図４に示すように、制御部１２は、信号機３００として抽出された矩形領域ＢＢを予め決められた比率で拡張することで、矩形領域ＢＢの位置ズレを空間的に補正する。

【0021】

信号機３００の矩形領域ＢＢは、同図の左図に示すように、必ずしも信号機３００全体を取り囲んで抽出されるとは限らない。そこで、同図の右図に示すように、矩形領域ＢＢを予め決められた比率で拡張することで、位置ズレが生じている場合でも、信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。これにより、上記（１）の問題を解消することができる。

【0022】

なお、制御部１２は、矩形領域ＢＢを一律に拡張してもよいし、決められた条件を満たす場合に、矩形領域ＢＢを拡張してもよい。決められた条件を満たす場合とは、一例として、矩形領域ＢＢにおいて抽出される決まった形状、たとえば円形が３つという特徴の特徴量が予め決められた閾値に満たない場合などである。かかる場合、円形が３つという信号機３００の発光部の特徴量が不足していることから、矩形領域ＢＢに位置ズレが生じていることが推測される。

【0023】

また、上述したＤＮＮモデル等の学習モデルは、信号機３００の青発光や、黄発光、赤発光といった各発光状態を示す画像を予め学習することで、信号機３００の発光状態を検知することが可能である。そして、制御部１２は、かかる発光状態に基づいて矩形領域ＢＢの位置ズレを空間的に補正することができる。

【0024】

図５に示すように、制御部１２は、たとえば信号機３００の青発光を矩形領域ＢＢの中央付近で検知した場合、矩形領域ＢＢが左側にズレていると推測できることから、かかる矩形領域ＢＢを右側へ位置補正（図中の矩形領域ＢＢ１参照）または拡張（図中の矩形領域ＢＢ２参照）する。これにより、位置ズレが生じている場合でも、図４に示したのと同様に、信号機３００全体を取り囲むように矩形領域ＢＢを補正することができ、上記（１）の問題を解消することができる。

【0025】

上述したように、実施形態に係る画像処理方法は、車両に搭載される画像処理装置１０が実行する画像処理方法であって、カメラ画像に対する画像認識によって信号機３００として検知された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定することを含む。また、実施形態に係る画像処理方法は、矩形領域ＢＢを予め決められた比率で拡張することをさらに含む。また、実施形態に係る画像処理方法は、上記画像認識によって検知される矩形領域ＢＢにおける発光領域の位置に基づいて、矩形領域ＢＢを位置補正または拡張することをさらに含む。

【0026】

したがって、実施形態に係る画像処理方法によれば、画像認識による信号機３００の検知精度を向上させることができる。

【0027】

以下、上述した実施形態に係る画像処理方法を適用した画像処理装置１０の構成例について、より具体的に説明する。

【0028】

図６は、実施形態に係る画像処理装置１０の構成例を示すブロック図である。なお、図６では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0029】

換言すれば、図６に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0030】

また、図６を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、説明を省略する場合がある。

【0031】

図６に示すように、画像処理装置１０は、記憶部１１と、制御部１２とを備える。また、画像処理装置１０は、カメラ３と、出力部５とが接続される。

【0032】

カメラ３は、車両に搭載され、車両の前方を撮像可能に設けられる。なお、カメラ３は、たとえば車両の全周囲を撮像可能な３６０度カメラであってもよい。

【0033】

出力部５は、データを出力するための出力デバイスである。出力部５は、たとえば、ディスプレイやスピーカ等によって実現される。なお、出力部５は、画像処理装置１０が出力するデータに基づく情報処理を実行する外部装置であってもよい。

【0034】

カメラ３および出力部５は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して画像処理装置１０と接続される。なお、カメラ３および出力部５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、Ｗｉ－Ｆｉ（登録商標）、ＵＷＢ（Ultra Wide Band）等を介して無線により画像処理装置１０と接続されてもよい。

【0035】

画像処理装置１０は、車両に搭載されるコンピュータであり、上述したように、たとえば信号無視判定装置である。画像処理装置１０は、少なくとも、図３～図５を用いて説明した画像処理を実行する。

【0036】

記憶部１１は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の記憶デバイスによって実現され、図６の例では、画像認識ＡＩ１１ａと、処理パラメータ情報１１ｂとを記憶する。

【0037】

画像認識ＡＩ１１ａは、画像認識用のＡＩ（Artificial Intelligence）モデルである。具体的には、画像認識ＡＩ１１ａは、機械学習のアルゴリズムを用いて学習されたＤＮＮモデル等である。画像認識ＡＩ１１ａは、後述する画像認識部１２ａにＤＮＮモデルとして読み込まれた後、画像認識部１２ａにカメラ３の撮像画像が入力された場合に、かかる画像に含まれる各種の物体を検知可能に設けられる。また、画像認識ＡＩ１１ａはさらに、物体として信号機３００が検知された場合に、かかる信号機３００の発光状態を検知可能に設けられる。

【0038】

ここで、図７は、実施形態に係る画像認識ＡＩ１１ａの説明図である。図７に示すように、画像認識ＡＩ１１ａは、図示略のＧＰＵ（Graphics Processing Unit）やＡＩプラットフォームを含む学習装置７００において、三灯式の通常の信号機、各種の矢印式信号機、予告信号機といった多様な信号機３００の画像を学習データとして、これら信号機３００を検知可能に予め学習される。

【0039】

そして、画像認識ＡＩ１１ａは、画像処理装置１０において前述の画像認識部１２ａにＤＮＮモデルとして読み込まれた後、画像認識部１２ａにカメラ３の撮像画像が入力された場合には、かかる撮像画像中における信号機３００およびその発光状態を検知する。

【0040】

図６の説明に戻る。処理パラメータ情報１１ｂは、後述する除外部１２ｂ、補正部１２ｃ、判定部１２ｄが実行する各処理において用いられる各種のパラメータに関する情報であり、各種の閾値や前述の矩形領域ＢＢを拡張する比率等を含む。

【0041】

制御部１２は、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている実施形態に係るプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0042】

制御部１２は、画像認識部１２ａと、除外部１２ｂと、補正部１２ｃと、判定部１２ｄとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0043】

画像認識部１２ａは、カメラ３によって撮像された撮像画像を取得し、かかる撮像画像を読み込んだ画像認識ＡＩ１１ａへ入力する。また、画像認識部１２ａは、撮像画像を入力した結果、画像認識ＡＩ１１ａから出力される画像認識結果を取得し、取得した画像認識結果を除外部１２ｂへ出力する。画像認識結果は、信号機３００として抽出された矩形領域ＢＢを含む。なお、カメラ３は、動画像を撮像する。これに応じ、画像認識部１２ａは、動画像の各フレームから矩形領域ＢＢを抽出する。

【0044】

除外部１２ｂは、図３を用いて説明した除外処理を実行する。すなわち、除外部１２ｂは、信号機３００として抽出された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが信号機３００の検知領域であるか否かを判定する。除外部１２ｂは、縦横比の値≠１．０である場合に、信号機３００の検知領域であると判定する。また、除外部１２ｂは、縦横比の値≒１．０である場合に、信号機３００の検知領域ではないと判定し、当該矩形領域ＢＢを誤検知であるとして、信号機３００に関する画像処理対象から除外する。

【0045】

補正部１２ｃは、図４および図５を用いて説明した補正処理を実行する。すなわち、補正部１２ｃは、矩形領域ＢＢの位置ズレを空間的に補正する。このとき、補正部１２ｃは、信号機３００として抽出された矩形領域ＢＢを予め決められた比率で拡張することで、矩形領域ＢＢの位置ズレを空間的に補正する。

【0046】

また、補正部１２ｃはさらに、画像認識部１２ａによって検知された信号機３００の発光状態に基づいて矩形領域ＢＢの位置ズレを空間的に補正する。かかる場合、補正部１２ｃは、矩形領域ＢＢにおける信号機３００の発光領域の位置に基づいて、矩形領域ＢＢを位置補正または拡張する。

【0047】

ここで、図８は、補正処理の補足説明図（その１）である。また、図９は、補正処理の補足説明図（その２）である。前述の矩形領域ＢＢを拡張する比率は、三灯式の通常の信号機、矢印式信号機、予告信号機といった信号機３００の種別ごとに個別に決められていてよい。

【0048】

これにより、矢印式信号機については、図８に示すように、矢印部までも含めた信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。また、予告信号機については、図９に示すように、「予告信号」との表記部までも含めた信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。

【0049】

図６の説明に戻る。判定部１２ｄは、画像認識部１２ａの画像認識結果、除外部１２ｂの除外結果および補正部１２ｃの補正結果に基づいて、車両が信号無視をしたか否かを判定する。

【0050】

判定部１２ｄは、たとえば画像認識された各物体の軌跡に基づいて車両の挙動を推定する。また、判定部１２ｄは、画像認識され、矩形領域ＢＢが除外および補正された信号機３００に基づいて、車両に対する相対的な信号機３００の軌跡を推定する。

【0051】

また、判定部１２ｄは、画像認識部１２ａによって検知された信号機３００の発光状態を取得する。また、判定部１２ｄは、推定された車両の挙動、信号機３００の軌跡、および、信号機３００の発光状態に基づいて、車両が信号無視をしたか否かを判定する。

【0052】

たとえば、判定部１２ｄは、車両の進行方向における通行の優先権の有無を提示する信号機３００が赤信号であるにも関わらず、車両が予め定められた時間以上および速度以上で通行を続けた場合、車両が信号無視をしたと判定する。また、判定部１２ｄは、判定した判定結果を出力部５へ出力する。

【0053】

なお、画像処理装置１０がドライブレコーダの機能の一部を構成する場合、判定部１２ｄは、車両が信号無視をしたとの判定結果をイベントとして通知し、ドライブレコーダにイベント録画を行わせてもよい。

【0054】

次に、実施形態に係る画像処理装置１０が実行する処理手順について、図１０を用いて説明する。図１０は、実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。なお、図１０に示す処理手順は、たとえば車両が起動中の間、繰り返される。

【0055】

図１０に示すように、画像処理装置１０の制御部１２は、カメラ３からカメラ画像を取得する（ステップＳ１０１）。そして、制御部１２は、取得したカメラ画像を画像認識する（ステップＳ１０２）。

【0056】

そして、制御部１２は、画像認識の結果、信号機３００として検知された矩形領域ＢＢがあるか否かを判定する（ステップＳ１０３）。ここで、該当する矩形領域ＢＢがない場合（ステップＳ１０３，Ｎｏ）、処理を終了する。

【0057】

該当する矩形領域ＢＢがある場合（ステップＳ１０３，Ｙｅｓ）、制御部１２は、該当の矩形領域ＢＢの縦横比の値≠１．０であるか否かを判定する（ステップＳ１０４）。ここで、縦横比の値≠１．０である場合（ステップＳ１０４，Ｙｅｓ）、制御部１２は、該当の矩形領域ＢＢを予め決められた比率で拡張する（ステップＳ１０５）。

【0058】

そして、制御部１２は、該当の矩形領域ＢＢにおける発光領域の位置に基づいて矩形領域ＢＢを位置補正または拡張する（ステップＳ１０６）。そして、制御部１２は、信号機３００として検知された矩形領域ＢＢがさらにあるか否かを判定する（ステップＳ１０７）。

【0059】

矩形領域ＢＢがさらにある場合（ステップＳ１０７，Ｙｅｓ）、制御部１２は、ステップＳ１０４からの処理を繰り返す。矩形領域ＢＢがさらにない場合（ステップＳ１０７，Ｎｏ）、処理を終了する。

【0060】

また、ステップＳ１０４で矩形領域ＢＢの縦横比の値≠１．０でない場合（ステップＳ１０４，Ｎｏ）、制御部１２は、該当の矩形領域ＢＢを除外し（ステップＳ１０８）、ステップＳ１０７へ遷移する。

【0061】

上述してきたように、実施形態に係る画像処理装置１０は、車両に搭載される画像処理装置であって、制御部１２を有する。制御部１２は、カメラ画像に対する画像認識によって信号機３００として検知された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定する。

【0062】

したがって、実施形態に係る画像処理装置１０によれば、画像認識による信号機３００の検知精度を向上させることができる。

【0063】

また、制御部１２は、矩形領域ＢＢの縦横比の値が予め決められた範囲内の値である場合に、当該矩形領域ＢＢが信号機３００の検知領域であると判定する。

【0064】

したがって、実施形態に係る画像処理装置１０によれば、信号機３００として検知された矩形領域ＢＢの縦横比の値が予め決められた範囲内の値であれば、信号機３００の検知領域であると判定することで、画像認識による信号機３００の検知精度を向上させることができる。

【0065】

また、制御部１２は、矩形領域ＢＢの縦横比の値が１．０の近似値ではない場合に、当該矩形領域ＢＢが信号機３００の検知領域であると判定する。

【0066】

したがって、実施形態に係る画像処理装置１０によれば、少なくとも三灯式の通常の信号機３００の検知領域を誤りなく検知領域であると判定することで、画像認識による信号機３００の検知精度を向上させることができる。

【0067】

また、制御部１２は、矩形領域ＢＢの縦横比の値が１．０の近似値である場合に、当該矩形領域ＢＢが信号機３００の検知領域ではないと判定する。

【0068】

したがって、実施形態に係る画像処理装置１０によれば、標識５００等を信号機３００として誤判定してしまうことを防ぐことができる。

【0069】

また、制御部１２は、矩形領域ＢＢを予め決められた比率で拡張する。

【0070】

したがって、実施形態に係る画像処理装置１０によれば、矩形領域ＢＢの位置ズレを補正することができる。

【0071】

また、制御部１２は、矩形領域ＢＢにおいて抽出される決まった形状の特徴量が閾値を満たさない場合に、矩形領域ＢＢを拡張する。

【0072】

したがって、実施形態に係る画像処理装置１０によれば、たとえば円形が３つという信号機３００の発光部の特徴量の不足により、矩形領域ＢＢに位置ズレが生じていることが推測される場合に、矩形領域ＢＢを拡張することができる。

【0073】

また、制御部１２は、上記画像認識によって検知される矩形領域ＢＢにおける発光領域の位置に基づいて、矩形領域ＢＢを位置補正または拡張する。

【0074】

したがって、実施形態に係る画像処理装置１０によれば、位置ズレが生じている場合でも、矩形領域ＢＢにおける発光領域の位置に基づいて、信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。

【0075】

また、制御部１２は、信号機３００の種別ごとに個別に決められた上記比率で、上記画像認識によって検知された上記種別に応じて矩形領域ＢＢを拡張する。

【0076】

したがって、実施形態に係る画像処理装置１０によれば、たとえば矢印式信号機については、図８に示したように、矢印部までも含めた信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。また、予告信号機については、図９に示したように、「予告信号」との表記部までも含めた信号機３００全体を取り囲むように矩形領域ＢＢを補正することができる。

【0077】

また、実施形態に係る画像処理方法は、車両に搭載される画像処理装置１０が実行する画像処理方法であって、カメラ画像に対する画像認識によって信号機３００として検知された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定することを含む。

【0078】

したがって、実施形態に係る画像処理方法によれば、画像認識による信号機３００の検知精度を向上させることができる。

【0079】

また、実施形態に係るプログラムは、カメラ画像に対する画像認識によって信号機３００として検知された矩形領域ＢＢの縦横比に基づいて、当該矩形領域ＢＢが少なくとも三灯式の信号機３００の検知領域であるか否かを判定することを画像処理装置１０（「コンピュータ」の一例に相当）に実行させる。

【0080】

したがって、実施形態に係るプログラムによれば、画像認識による信号機３００の検知精度を向上させることができる。

【0081】

なお、上述した実施形態では、画像認識に基づいて信号機３００の発光状態および信号無視を判定することとしたが、無論、車両に搭載された各種センサのセンサデータを適宜組み合わせてもよい。たとえば、車両の挙動は、ステアリングセンサや加速度センサのセンサ値を利用して推定してもよいし、自車速度は、速度センサのセンサ値を利用して取得してもよい。

【0082】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0083】

３ カメラ
５ 出力部
１０ 画像処理装置
１１ 記憶部
１１ａ 画像認識ＡＩ
１１ｂ 処理パラメータ情報
１２ 制御部
１２ａ 画像認識部
１２ｂ 除外部
１２ｃ 補正部
１２ｄ 判定部
ＢＢ 検知領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】