特許 7379523 画像認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】画像認識装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231107BHJP

   G06V 20/58 20220101ALI20231107BHJP

【ＦＩ】

G06T7/00 C

G06T7/00 650B

G06V20/58

【請求項の数】 3

(21)【出願番号】P 2021554138

(86)(22)【出願日】2020-09-08

(86)【国際出願番号】 JP2020033886

(87)【国際公開番号】W WO2021084915

(87)【国際公開日】2021-05-06

【審査請求日】2022-04-06

(31)【優先権主張番号】P 2019196340

(32)【優先日】2019-10-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】牛場 郭介

(72)【発明者】

【氏名】鴇 亮輔

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１９－１２４５３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ２０／５８

(57)【特許請求の範囲】

【請求項1】

撮像部によって撮像された画像上の立体物の認識を行う画像認識装置であって、
前記画像上に設定された立体物の検知領域に対して、
前記立体物の距離情報または視差情報を任意の規則に基づいて数値変換して正規化する正規化処理部と、
前記正規化処理部によって数値変換された距離情報または視差情報と、前記画像の画像情報とを用いて、前記立体物の種別を特定する認識処理を行う認識処理部と、を備えることを特徴とする画像認識装置。

【請求項2】

撮像部によって撮像された画像上の立体物の認識を行う画像認識装置であって、
前記画像上に設定された立体物の検知領域に対して、前記立体物の距離情報または視差情報から各画素または各距離または各視差に対応する重みを生成する重み生成処理部と、
前記重み生成処理部で得られた重み情報に基づいて、前記画像上に設定された立体物の検知領域に対して、前記立体物の距離情報または視差情報を数値変換して正規化する正規化処理部と、
前記正規化処理部によって数値変換された距離情報または視差情報と、前記画像の画像情報とを用いて、前記立体物の種別を特定する認識処理を行う認識処理部と、を備えることを特徴とする画像認識装置。

【請求項3】

請求項２に記載の画像認識装置において、
前記認識処理部は、前記正規化処理部によって数値変換された距離情報または視差情報と、前記重み生成処理部によって生成された重み情報と、前記画像の画像情報とを用いて、前記立体物の種別を特定する認識処理を行うことを特徴とする画像認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識装置に関する。

【背景技術】

【0002】

近年、運転支援や自動運転などに必要な画像認識装置に対する性能向上への要求が高まっている。例えば、歩行者に対する衝突安全機能では、自動車アセスメントにおいて夜間歩行者への衝突安全試験が追加されるなど、性能向上が求められている。この性能向上を実現するために、立体物に対する高い認識性能が必要になる。

【0003】

特許文献１には、見かけ上ある移動立体物と他の立体物が重なっている状況において、立体物を内包する所定の領域の内部の特徴点を追跡することで領域の内部に存在する歩行者などの移動立体物を検知する認識装置が提案されている。

【0004】

また、特許文献２には、機械学習を用いた手法が提案されており、光学カメラで撮影された映像と、ステレオマッチングやレーダーなどから得た距離の情報を組み合わせて認識を行うことも提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１４２７６０号公報

【文献】特開２０１９－０２８５２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の装置では、対象の認識には光学カメラで撮影されたテクスチャ情報などを用いており、壁や看板に描かれた写真などや、自然物の組み合わせによって発生する類似シルエットで誤認識が発生している。これは、光学カメラの画像とそれに対応した距離画像を用いて認識処理を行う場合、画素と距離とそれらをまとめた領域の情報が膨大となりすぎて、現実的なコストでは実現できないためである。

【0007】

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、コスト増加を抑制しつつ、立体物を的確に検知し、認識性能を向上させることのできる画像認識装置を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決する本発明の画像認識装置は、撮像部によって撮像された画像上の立体物の認識を行う画像認識装置であって、前記画像上に設定された立体物の検知領域に対して、前記立体物の距離情報または視差情報を数値変換し、数値変換された距離情報または視差情報と前記画像の画像情報とを組み合わせて、前記立体物の種別を特定する認識処理を行うことを特徴とする。

【発明の効果】

【0009】

本発明によれば、コスト増加を抑制しつつ、立体物を的確に検知し、認識性能を向上させることのできる画像認識装置を提供できる。

【0010】

上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0011】

【図1】画像認識装置の全体構成を示すブロック図である。

【図2】画像認識装置の動作を示すフローチャートである。

【図3】立体物検知処理により画像上に設定された立体物の検知領域を示す図である。

【図4】立体物認識処理にかかわる画像認識装置の機能ブロック構成（実施例１）を示すブロック図である。

【図5】立体物認識処理の詳細（実施例１）を示すフローチャートである。

【図6】立体物認識処理にかかわる画像認識装置の機能ブロック構成（実施例２）を示すブロック図である。

【図7】立体物認識処理の詳細（実施例２）を示すフローチャートである。

【図8】立体物認識処理にかかわる画像認識装置の機能ブロック構成（実施例３）を示すブロック図である。

【図9】立体物認識処理の詳細（実施例３）を示すフローチャートである。

【図10】重み情報を用いて輝度画像から背景エッジを除去した背景除去エッジ画像を作成する手順を示す概略図である。

【図11】他例の画像認識装置における動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を用いて説明する。なお、各図において同じ機能を有する部分には同じ符号を付して繰り返し説明は省略する場合がある。

【0013】

（画像認識装置の構成） 図１は、本実施形態にかかわる画像認識装置１００の全体構成を示すブロック図である。画像認識装置１００は、車両（以下、自車両ということがある）に搭載され、車両前方の左右に横並びで配置された左カメラ（撮像部）１０１と右カメラ（撮像部）１０２（以下、単にカメラ１０１、１０２ということがある）を備える。カメラ１０１、１０２は、ステレオカメラを構成し、例えば、歩行者、車両、信号、標識、白線、車のテールランプ、ヘッドライトなどの車両前方の立体物を撮像する。画像認識装置１００は、カメラ１０１、１０２で撮像された車両前方の画像の情報（画像情報）に基づいて車外環境を認識する処理装置１１０を備える。そして、車両（自車両）は、画像認識装置１００による認識結果に基づいて、ブレーキ、ステアリングなどを制御する。

【0014】

画像認識装置１００の処理装置１１０は、カメラ１０１、１０２で撮像した画像を画像入力インタフェース１０３より取り込む。画像入力インタフェース１０３より取り込まれた画像情報は、内部バス１０９を介して画像処理部１０４へ送られる。そして、演算処理部１０５で処理され、処理途中の結果や最終結果の画像情報などは記憶部１０６に記憶される。

【0015】

画像処理部１０４は、左カメラ１０１の撮像素子から得られる第１の画像（以下、左画像ということがある）と、右カメラ１０２の撮像素子から得られる第２の画像（以下、右画像ということがある）とを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを画像情報として記憶部１０６に記憶する。更に、画像処理部１０４は、第１の画像と第２の画像との間で、相互に対応する箇所を計算して、視差情報を求め、画像上の各画素に対応する距離情報として、これを記憶部１０６に記憶する。画像処理部１０４は、内部バス１０９を介して演算処理部１０５、ＣＡＮインタフェース１０７、制御処理部１０８に接続されている。

【0016】

演算処理部１０５は、記憶部１０６に蓄えられた画像情報および距離情報（視差情報）を使い、車両周辺の環境を把握するために、立体物の認識を行う。立体物の認識結果や中間的な処理結果の一部が、記憶部１０６に記憶される。演算処理部１０５は、撮像した画像に対して立体物の認識を行った後に、認識結果を用いて車両制御の計算を行う。車両制御の計算の結果として得られた車両の制御方針や、認識結果の一部は、ＣＡＮインタフェース１０７を介して、車載ネットワークＣＡＮ１１１に伝えられ、これにより車両の制御が行われる。

【0017】

制御処理部１０８は、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかなどを監視し、異常動作を防止する。画像処理部１０４、演算処理部１０５、および制御処理部１０８は、単一または複数のコンピュータユニットにより構成してもよい。

【0018】

（画像認識装置の動作） 図２は、画像認識装置１００の動作を示すフローチャートである。

【0019】

Ｓ２０１、Ｓ２０２では、画像認識装置１００に備えられた左カメラ１０１と右カメラ１０２とにより画像が撮像され、撮像された画像情報１２１、１２２のそれぞれについて、撮像素子が持つ固有の特性を吸収するための補正などの画像処理Ｓ２０３を行う。画像処理Ｓ２０３の処理結果は画像バッファ１６１に蓄えられる。画像バッファ１６１は、図１の記憶部１０６に設けられる。

【0020】

次に、視差処理Ｓ２０４が行われる。具体的には、画像処理Ｓ２０３で補正された２つの画像を使って、画像同士の照合を行い、これにより左カメラ１０１、右カメラ１０２で得た画像の視差情報を得る。左右画像の視差により、立体物の画像上のある着目点が、三角測量の原理によって、立体物までの距離として求められる。視差処理Ｓ２０４の処理結果は視差バッファ１６２に蓄えられる。視差バッファ１６２は、図１の記憶部１０６に設けられる。また、視差バッファ１６２に記録される情報は、距離情報に変換したのちに後段の処理に用いてもよい。

【0021】

画像処理Ｓ２０３および視差処理Ｓ２０４は、図１の画像処理部１０４で行われ、最終的に得られた画像情報、および視差情報は、記憶部１０６に蓄えられる。

【0022】

そして、次の立体物検知処理Ｓ２０５では、視差処理Ｓ２０４により左右画像の各画素の視差または距離が得られた視差情報を用いて、３次元空間上の立体物を検知する。図３は、立体物検知処理Ｓ２０５により画像上に設定された立体物の検知領域（立体物領域ともいう）を示す図である。図３には、立体物検知処理Ｓ２０５の結果、画像上において、カメラ１０１、１０２によって検知された歩行者の検知領域３０１と車両の検知領域３０２が示されている。これらの検知領域３０１、３０２は、画像上において歩行者または車両が存在する領域を示しており、図３に示すように矩形であっても、視差や距離から得られる不定形の領域であってもよい。後段の処理において計算機での扱いを容易にするため、一般的には矩形として扱われる。本実施形態では以下、検知領域は矩形として扱い、立体物の一例として主に歩行者を用いて説明する。

【0023】

次に、立体物認識処理Ｓ２０６では、立体物検知処理Ｓ２０５により画像上に設定された検知領域に対して立体物の種別を特定する認識処理を行う。立体物認識処理Ｓ２０６による認識対象の立体物は、例えば、歩行者、車両、信号、標識、白線、車のテールランプやヘッドライトなどであり、これらの何れであるかその種別が特定される。この立体物認識処理Ｓ２０６は、画像バッファ１６１に記録された画像情報と、視差バッファ１６２に記録された視差情報とを用いて行われる。しかし、視差バッファ１６２の情報は、対象物と背景の関係が無限に存在するために誤認識の原因となる場合がある。これは、ミリ波などのレーダーと、カメラなどの画像センサとを組み合わせた場合でも同様である。この問題を解決した立体物認識処理Ｓ２０６の詳細については後述する。

【0024】

次に、車両制御処理Ｓ２０７では、立体物認識処理Ｓ２０６での立体物の認識結果と、自車両の状態（速度、舵角など）とを勘案して、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などを行う制御を定め、あるいは、認識した立体物に対する回避制御を定め、その結果を自動制御情報として、ＣＡＮインタフェース１０７を介して出力する（Ｓ２０８）。

【0025】

立体物検知処理Ｓ２０５、立体物認識処理Ｓ２０６、および車両制御処理Ｓ２０７は、図１の演算処理部１０５で行われる。

【0026】

なお、図２のフローチャート、および後述の図５などのフローチャートで示したプログラムを、ＣＰＵ、メモリなどを備えたコンピュータにより実行することができる。全部の処理、または一部の処理をハードロジック回路により実現してもよい。更に、このプログラムは、予め画像認識装置１００の記憶媒体に格納して提供することができる。あるいは、独立した記憶媒体にプログラムを格納して提供したり、ネットワーク回線によりプログラムを画像認識装置１００の記憶媒体に記録して格納することもできる。データ信号（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給してもよい。

【0027】

＜立体物認識処理（実施例１）＞ 図４は、立体物認識処理Ｓ２０６にかかわる画像認識装置１００の機能ブロック構成（実施例１）を示すブロック図である。図５は、立体物認識処理Ｓ２０６の詳細（実施例１）を示すフローチャートである。本例において、前述の図２の立体物認識処理Ｓ２０６、すなわち、図５に示すフローチャートは、図４に示すように、演算処理部１０５に備えられた、視差バッファ１６２の情報に対して正規化を行う正規化処理部４０１と、正規化処理部４０１を通過した視差バッファ１６２の情報と、画像バッファ１６１の情報を合わせて認識を行う認識処理部４０２によって実施される。以下、順に各処理部の処理を説明する。なお、これらの処理ではステレオカメラを前提に説明する。

【0028】

［正規化処理部］ 正規化処理部４０１では、視差バッファ１６２が持つ情報のうち、立体物検知処理Ｓ２０５で取得された検知領域に対応する視差について正規化を行う（図５：Ｓ５０１）。正規化処理Ｓ５０１では、例えば下記の式（１）に基づいて、各視差の値s_iを正規化後の値S_iに数値変換する。
（数１）

ここでs_maxとs_minは例えば正規化前の視差値の最大値、最小値であり、S_maxとS_minは正規後の最大値と最小値である。S_maxとS_minは立体物認識処理Ｓ２０６で用いる情報のフォーマットに合わせて任意に定めるものとする。例えばS_max=1、S_min=0である。また、s_maxとs_minも立体物認識処理Ｓ２０６で用いる情報のフォーマットに合わせて任意に定めてもよい。例えばステレオカメラにおいては、センサ特性から輝度値が小さな領域付近のシグナル/ノイズ比が悪い場合や、輝度値が飽和する領域の分解能が安定しない場合などに引きずられる形で視差や距離の精度が悪くなることが考えられる。このような場合、元の画素情報やセンサ特性などからs_maxとs_minを任意の値に設定したり、１割繰り上げまたは切り下げのように一定の変換式に基づいて変換して用いてよい。また、元画像の精度に依らずとも、レーダーセンサなどの場合は領域内の誤計測発生率などに基づいて、外れ値を除外したs_maxとs_minを用いることなども考えられる。

【0029】

また、正規化処理Ｓ５０１に用いる式は、下記の式（２）のように定めてもよい。
（数２）

ここでs_avrは検知領域の視差値の平均値である。上記のように、正規化に用いる手法は立体物認識処理Ｓ２０６で用いる情報のフォーマットに合わせて任意に定めるものとする。

【0030】

なお、ここでは、検知領域に対応する視差情報を任意の規則に基づいて数値変換して正規化しているが、検知領域に対応する距離情報を数値変換して正規化してもよいことは勿論である。

【0031】

［認識処理部］ 認識処理部４０２では、画像バッファ１６１の情報と視差バッファ１６２の正規化情報（正規化処理後の視差情報または距離情報）を組み合わせて認識処理を行う（図５：Ｓ５０２）。認識処理Ｓ５０２は、例えば画像バッファ１６１にある輝度画像と、あらかじめ定められたパターンとを正規化相関などを用いて比較するパターンマッチングや、機械学習を用いて作成した識別器による判定などが用いられる。視差バッファ１６２の正規化情報を組み合わせる場合、例えば、輝度画像のパターンマッチング結果と正規化視差情報のパターンマッチング結果の平均値を最終的な判定値とするなどの手法や、輝度画像と正規化視差情報の差分を特徴量として機械学習によって作成された識別器によって識別する手法などを用いる。

【0032】

パターンマッチングで対象の認識をする場合を例にすると、前述の正規化処理を行わない場合、認識対象である前景と背景の組み合わせは膨大な数となる。例えば前景の認識対象である歩行者が10ｍの位置にいる場合と、背景がその後ろ20ｍに壁として存在する場合、また同じく歩行者が10ｍの位置にいて、背景がその後ろ40ｍにいる場合では、視差または距離の情報が異なる。これらのパターンマッチングを行う場合、それぞれに対応したテンプレートを持つ必要があるが、前景の位置と背景の位置は有限ながらも無数に存在するため、その組み合わせをすべてテンプレートとして有することは現実的ではない。また、機械学習を用いた統計処理を行う場合であっても、前景と背景の組み合わせをすべて収集するのは現実的ではない。このため、現実的な情報量に落とし込める（所定範囲に圧縮できる）前述の正規化処理が有効となる。

【0033】

＜立体物認識処理（実施例２）＞ 図６は、立体物認識処理Ｓ２０６にかかわる画像認識装置１００の機能ブロック構成（実施例２）を示すブロック図である。図７は、立体物認識処理Ｓ２０６の詳細（実施例２）を示すフローチャートである。本例において、前述の図２の立体物認識処理Ｓ２０６、すなわち、図７に示すフローチャートは、図６に示すように、演算処理部１０５に備えられた、視差バッファ１６２の情報（視差情報）から画像バッファ１６１の画像の各画素に対応する重みを作成する重み生成処理部６０１、重み生成処理部６０１で作成した重み情報と、画像バッファ情報１６１の情報を合わせて認識を行う認識処理部６０２によって実施される。

【0034】

［重み生成処理部］ 重み生成処理部６０１は、視差バッファ１６２の情報から、画像バッファ１６１の画像（立体物検知処理Ｓ２０５で取得された検知領域に対応した画像）の各画素に対応する重みを生成する（図７：Ｓ７０１）。立体物検知処理Ｓ２０５によって得られる検知領域には、前景部分となる認識対象のほかに、背景部分が含まれる。この時、前景部分となる認識対象と背景部分を同一に扱った場合、誤認識の原因になる。そこで、重み生成処理Ｓ７０１では、視差情報を用いて重みを作成する。重みは、例えば視差の値s_iの平均値s_avrに対して、任意のしきい値s_thを定めたとき、以下の式（３）を満たす視差値s_iを持つ画素を1、それ以外を0とするような重みを与える。
（数３）

【0035】

この重みは、例えば画像バッファ１６１から得られる輝度情報をマスクするのに用いる。重み生成処理部６０１は、平均値s_avrの代わりに中央値を用いてもよいし、しきい値s_thを定める代わりに、検知領域内の視差の分散や標準偏差から外れた値を求めることもできる。例えば標準偏差の3σ範囲内に含まれない画素を0、それ以外を1とするような重みを与える。この重みは設計者が最大最小（言い換えれば、範囲）を任意に定め、その間を線形に割り当てたり任意の関数に従って割り当てたりしてよい。また、重みは例えば検知領域内の視差値s_iからヒストグラムを作成し、ヒストグラムに生成される前景と背景の山のどちらかを選ぶ形で作成することができる。例えば、認識対象である前景に対応する視差値s_iを持つ画素を1、それ以外を0とするような重みを与える。

【0036】

なお、ここでは、立体物検知処理Ｓ２０５で取得された検知領域に対して、立体物の視差情報から各画素に対応する重みを（数値変換により）生成しているが、立体物の距離情報から各画素に対応する重みを（数値変換により）生成してもよいし、各画素の代わりに、（各画素に対応する）各距離または各視差に対応する重みを生成してもよいことは勿論である。

【0037】

［認識処理部］ 認識処理部６０２では、画像バッファ１６１の画像情報と、重み生成処理部６０１で作成した重み情報を用いて認識処理を行う（図７：Ｓ７０２）。認識処理Ｓ７０２は、例えば画像バッファ１６１にある輝度画像に対して重みをかけた値と、あらかじめ定められたパターンとを正規化相関などを用いて比較するパターンマッチングなどの手法や、輝度画像と重みの積を特徴量とする識別器によって識別する手法を用いる。また、認識処理部６０２は、前記画像情報や重み情報に合わせて、視差バッファ１６２から得られる視差情報や距離情報を組み合わせて認識に用いることができる。例えば、輝度画像と視差画像それぞれに対して重みによるマスクを行ったうえで、マスク後の前記２種類とその差分を特徴とするような識別器によって識別する手法などを用いる。

【0038】

パターンマッチングで対象の認識をする場合を例にすると、前景と背景の組み合わせによって発生するパターン形状は膨大な数に上る。このため、前景と背景の組み合わせによって対象を誤認識することが考えられる。前述の重み生成処理による重み情報を用いることで、認識した前景だけの情報を用いて処理を行うことが可能になるため、誤認識を抑制する効果がある。これは、機械学習を用いる場合の正認識の向上、誤認識の低減にも同様に効果がある。

【0039】

＜立体物認識処理（実施例３）＞ 図８は、立体物認識処理Ｓ２０６にかかわる画像認識装置１００の機能ブロック構成（実施例３）を示すブロック図である。図９は、立体物認識処理Ｓ２０６の詳細（実施例３）を示すフローチャートである。本例において、前述の図２の立体物認識処理Ｓ２０６、すなわち、図９に示すフローチャートは、図８に示すように、演算処理部１０５に備えられた、重み生成処理部８０１と、正規化処理部８０２と、認識処理部８０３によって実施される。

【0040】

［重み生成処理部］ 重み生成処理部８０１は、図６および図７に基づき説明した重み生成処理部６０１と同様に、視差バッファ１６２の情報から、画像バッファ１６１の画像（立体物検知処理Ｓ２０５で取得された検知領域に対応した画像）の各画素に対応する重みを生成する（図９：Ｓ９０１）。重み生成処理Ｓ９０１では、例えば視差の中央値から任意のしきい値s_thの範囲に入る値を1、それ以外を0とする重みを作成する。

【0041】

［正規化処理部］ 正規化処理部８０２は、重み生成処理部８０１で作成された重みに基づいて、立体物検知処理Ｓ２０５で取得された検知領域に対応する視差情報を正規化する（図９：Ｓ９０２）。正規化処理Ｓ９０２では、例えば2値の重み0または1が得られている時、重み1となっている視差の最大値と最小値をs_maxとs_minとし、以下の式（４）に基づいて各視差の正規化を行う。
（数４）

ここで、S_maxを上回るS_i、S_minを下回るS_iが得られるような場合、その正規化結果に無効値と判断できるような値を加えてもよい。例えば有限な正数値を扱うことを前提としたシステムにおいて、マイナス値が入ってきた場合に無効値とするような例外処理が考えられる。

【0042】

なお、ここでは、立体物検知処理Ｓ２０５で取得された検知領域に対して、立体物の視差情報から各画素に対応する重みを（数値変換により）生成しているが、立体物の距離情報から各画素に対応する重みを（数値変換により）生成してもよいし、各画素の代わりに、（各画素に対応する）各距離または各視差に対応する重みを生成してもよいことは勿論である。また、検知領域に対応する視差情報を数値変換して正規化しているが、検知領域に対応する距離情報を数値変換して正規化してもよいことは勿論である。

【0043】

［認識処理部］ 認識処理部８０３では、画像バッファ１６１の画像情報と、正規化処理部８０２で作成した視差情報（正規化処理後の視差情報）を用いて認識を行う（図９：Ｓ９０３）。また、認識処理部８０３は、前記画像情報や正規化情報に合わせて、重み生成処理部８０１で作成した重み情報を組み合わせて認識に用いることができる。例えば、図１０に示す輝度画像からエッジ抽出を用いて作成したエッジ画像１００１と、重み情報１００２を掛け合わせて、背景エッジを除去したエッジ画像（背景除去エッジ画像）１００３を作成する。
この背景除去エッジ画像１００３と、正規化した視差画像を用いて認識を行う。認識処理Ｓ９０３は、例えば正規化相関のようなパターンマッチング技術を用いてもよい。また、２種類情報の積や差分を入力とする識別器を用いてもよい。

【0044】

例えば機械学習によって識別機を作成し、これを用いて対象の認識処理を行う場合、正規化処理のみでは、背景部分の特徴の影響を受ける。また、重み生成処理のみでは、前景部分の距離などによって、認識性能に差が発生してしまう。そこで、重み生成処理と正規化処理を合わせて行うことにより、前景と背景の組み合わせに影響を受けず、かつ前景の距離にも影響を受けずに認識することが可能となり、認識性能の向上につながる。

【0045】

前述のように、前記視差情報は、すべて距離情報に置き換えることができる。

【0046】

（変形例） 本実施形態では、一対のカメラ１０１、１０２から構成されるステレオカメラを用いた画像認識装置１００で説明した。しかし、ステレオカメラを用いない画像認識装置１００Ａを用いて実現してもよい。

【0047】

図１１は、画像認識装置１００Ａにおける動作を示すフローチャートである。図１１において、図２に示した画像認識装置１００における動作と同一の箇所には同一の符号を付してその説明を省略する。

【0048】

図１１に示すように、画像認識装置１００Ａは、撮像部としての光学カメラ（以下、単にカメラという）１１０１とレーダーセンサ１１０２を備えている。これにより、立体物を検知する。Ｓ２１１では、カメラ１１０１により画像が撮像され、撮像された画像情報について、撮像素子が持つ固有の特性を吸収するための補正などの画像処理Ｓ２０３を行う。画像処理Ｓ２０３の処理結果は画像バッファ１６１に蓄えられる。また、Ｓ２１２では、レーダーセンサ１１０２により、センサ情報としての立体物までの距離が得られる。
立体物検知処理Ｓ２１３では、立体物までの距離に基づいて、３次元空間上の立体物を検知する。検知に用いた距離情報は距離バッファ１６３に蓄えられる。距離バッファ１６３は、例えば図１の記憶部１０６に設けられる。また、立体物検知処理Ｓ２１３では、後段処理の必要に応じて画像と距離の対応付けを行う。立体物認識処理Ｓ２１４では、上述の画像認識装置１００と略同様にして（ここでは、立体物の距離情報を使用して）、立体物検知処理Ｓ２１３により画像上に設定された検知領域に対して立体物の種別を特定する認識処理を行う。

【0049】

レーダーセンサ１１０２から出力される立体物までの距離を入力とする立体物検知処理Ｓ２１３は、距離計測に用いるレーダーセンサ１１０２のセンサ特性を考慮した検知処理を行う必要はあるが、検知領域を決定した後の処理は、画像認識装置１００で説明したステレオカメラによる構成と同様にできる。また、画像認識装置１００Ａは、画像処理Ｓ２０３において複数の画像を必要としない。

【0050】

（作用効果） 以上で説明した本実施形態の画像認識装置１００、１００Ａは、撮像部としてのカメラ１０１、１０２、１１０１によって撮像された画像上に設定された立体物の検知領域に対して、立体物の距離情報または視差情報を数値変換し、数値変換された距離情報または視差情報と画像の画像情報とを組み合わせて、立体物の種別を特定する認識処理を行う。

【0051】

詳しくは、認識処理を行うに当たって、カメラ１０１、１０２、１１０１から得られた各画素の情報と、それに対応する距離または視差の情報について、認識対象となる立体物の距離情報または視差情報を正規化する（図４、５）、あるいは認識対象以外の距離情報または視差情報をマスクする、もしくは画素情報と距離情報または視差情報の重みを変える（図６、７）、あるいはそれらを組み合わせる（図８、９）ことによって、画素情報と距離情報または視差情報を組み合わせた認識を実現する。

【0052】

以上で説明した実施形態によれば、次の作用効果が得られる。

【0053】

すなわち、本実施形態の画像認識装置１００、１００Ａは、カメラ１０１、１０２、１１０１によって撮像された画像上に設定された立体物の検知領域３０１、３０２に対して、正認識率を向上させることができる。また、その他の背景立体物について認識対象である歩行者や車両といった物体として誤認識することを抑制することができる。特に前景と背景の組み合わせによって発生する認識対象と類似した形状（画像上の見え）によって、対象を誤認識することを抑制する効果がある。したがって、本実施形態によれば、コスト増加を抑制しつつ、立体物を的確に検知し、認識性能を向上させることができる。

【0054】

なお、上述した実施形態では、２つのカメラから構成されるステレオカメラまたは単眼カメラを用いたが、カメラは３つ以上使用してもよい。また、車両前方を撮像する（言い換えれば、車両前方の画像を取得する）前方カメラを例示したが、車両後方や車両側方を撮像する後方カメラや側方カメラを使用してもよいことは当然である。

【0055】

本発明は、上記した実施形態に限定されるものではなく、本発明の特徴を損なわない限り、本発明の技術思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上述の実施形態と変形例を組み合わせた構成としてもよい。

【0056】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0057】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0058】

１００、１００Ａ 画像認識装置１０１、１０２ カメラ（撮像部）１０３ 画像入力インタフェース１０４ 画像処理部１０５ 演算処理部１０６ 記憶部１０７ ＣＡＮインタフェース１０８ 制御処理部１０９ 内部バス１１０ 処理装置１１１ 車載ネットワークＣＡＮ１６１ 画像バッファ１６２ 視差バッファ１６３ 距離バッファ４０１ 正規化処理部（実施例１）４０２ 認識処理部（実施例１）６０１ 重み生成処理部（実施例２）６０２ 認識処理部（実施例２）８０１ 重み生成処理部（実施例３）８０２ 正規化処理部（実施例３）８０３ 認識処理部（実施例３）１１０１ 光学カメラ（撮像部）１１０２ レーダーセンサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】