特許 7192312 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-12

(45)【発行日】2022-12-20

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

   H04N 7/18 20060101ALI20221213BHJP

   B60R 21/0134 20060101ALI20221213BHJP

【ＦＩ】

G06T7/00 300F

G06T7/00 650A

H04N7/18 J

B60R21/0134 311

【請求項の数】 6

(21)【出願番号】P 2018163185

(22)【出願日】2018-08-31

(65)【公開番号】P2020035334

(43)【公開日】2020-03-05

【審査請求日】2021-03-18

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】榊原 佑太

(72)【発明者】

【氏名】清水 修一

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２００７－１５６６２６（ＪＰ，Ａ）

【文献】特開２００９－２７６９１０（ＪＰ，Ａ）

【文献】特開２０１０－１６０７７０（ＪＰ，Ａ）

【文献】特開２０１０－０２０４０４（ＪＰ，Ａ）

【文献】特開２００９－１９３１４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ ２１／００ －２１／１３

２１／３４ －２１／３８

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像装置（１０）により取得された撮像画像（１００）を取得するように構成された画像取得部（Ｓ２１０）と、
前記画像取得部により取得された前記撮像画像中の物標が存在すると推定される範囲を物標範囲として設定するように構成された範囲設定部（Ｓ１１０，Ｓ３１０）と、
前記範囲設定部により設定された前記物標範囲の少なくとも一部において、前記撮像画像での水平方向に沿って前記物標の輪郭部分を表す点であるエッジ点として検出するように構成されたエッジ検出部（Ｓ３４０）と、
前記エッジ検出部により算出された前記エッジ点の個数を前記撮像画像における鉛直方向に加算することによって得られる数値であるエッジ度を、前記撮像画像の水平方向に沿って配置した分布であるエッジ分布を算出するように構成された分布算出部（Ｓ３７０）と、
前記物標の種類ごとにあらかじめ当該物標の少なくとも一部対応付けられた前記エッジ分布の代表パターンである分布パターンを少なくとも１つ記憶するように構成された分布パターンメモリ（６４）と、
前記分布算出部により算出された前記エッジ分布と、前記分布パターンメモリに記憶された少なくとも１つの前記分布パターンそれぞれとの類似度に応じて前記物標範囲は当該分布パターンに対応する前記物標を表しているものであるか否かを判定するように構成された物標判定部（Ｓ３８０）と、
を備える、画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記分布パターンメモリは、前記分布パターンとして、歩行者以外の物標である物体を表すパターンである物体パターンを含むように記憶する、画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記範囲設定部は、歩行者を表すと推定される前記物標範囲を推定範囲として設定するように構成され、
前記物標判定部により、前記推定のうち、前記物体を表していると判定された推定範囲以外の推定範囲を、歩行者を表す範囲であると確定するように構成された歩行者判定部（Ｓ１３０，Ｓ４００）を更に備える、画像処理装置。

【請求項4】

請求項２又は請求項３に記載の画像処理装置であって、
前記物体パターンには、道路上に設置される柱状体であるポールを表すパターンであるポールパターンが含まれる、画像処理装置。

【請求項5】

請求項１から請求項４までのいずれか１項に記載の画像処理装置であって、
前記エッジ分布おける前記エッジ度のピークの数に基づいて、前記物標の判定を行う、画像処理装置。

【請求項6】

請求項１から請求項５までのいずれか１項に記載の画像処理装置であって、
前記エッジ点として、前記水平方向に隣接する画素と画素との輝度差の絶対値があらかじめ決められた輝度の閾値である輝度閾値以上である点を用いる、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置に関する。

【背景技術】

【0002】

特許文献１には、パターンマッチングにより歩行者などの物標の認識を行う技術が記載されている。当該パターンマッチングによれば、画像のあらかじめ決められた大きさの領域を抜き出し、抜き出された領域である対象領域を格子状のセルに分割する。そして、格子状に分割されたセルごとに、輝度勾配の方向をヒストグラム化した特徴量であるＨＯＧ特徴量を算出する。さらに、当該セルごとのＨＯＧ特徴量と、あらかじめ記憶され、認識しようとする物標の部分に対応したパターンである照合パターンのＨＯＧ特徴量とを照合する。照合によりＨＯＧ特徴量が一致する場合、セルは照合パターンが表す物標の部分を表すものであると判定される。そして、画像中の当該セルを含む範囲に当該照合パターンと対応した物標の部分を含む物標が存在すると判定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－８１８２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、人の脚を含む対象領域と標識の支柱を含む対象領域とのそれぞれについて、上記ＨＯＧ特徴量を用いたパターンマッチングを行った場合、人の脚も標識の支柱も地面に対して水平方向に輝度勾配を有するため、輝度勾配の方向をヒストグラム化したＨＯＧ特徴量は類似することとなる。

【0005】

その結果、ＨＯＧ特徴量を用いたパターンマッチングでは、人の脚を含む対象領域と標識の支柱を含む対象領域とを区別することができず、例えば、標識の支柱を含む対象領域を人の脚を含む対象領域であると認識し、歩行者を認識する認識精度が低下する可能性がある。

【0006】

本開示の１つの局面は、物標の認識精度を向上させる技術を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様は、画像処理装置であって、画像取得部（Ｓ２１０）と、範囲設定部（Ｓ１１０，Ｓ３１０）と、エッジ検出部（Ｓ３４０）と、分布算出部（Ｓ３７０）と、分布パターンメモリ（６４）と、物標判定部（Ｓ３８０）と、を備える。画像取得部は、車両に搭載された撮像装置（１０）により取得された撮像画像（１００）を取得するように構成される。範囲設定部は、画像取得部により取得された撮像画像中の物標が存在すると推定される範囲を物標範囲として設定するように構成される。エッジ検出部は、範囲設定部により設定された物標範囲の少なくとも一部において、当該画像での水平方向に沿って物標の輪郭部分を表す点であるエッジ点として検出するように構成される。分布算出部は、エッジ検出部により算出されたエッジ点の個数を当該画像における鉛直方向に加算することによって得られる数値であるエッジ度を、当該画像における水平方向に沿って配置した分布であるエッジ分布を算出するように構成される。分布パターンメモリは、物標の種類ごとにあらかじめ対応付けられたエッジ分布の代表パターンである分布パターンを少なくとも１つ記憶するように構成される。物標判定部は、分布算出部により算出されたエッジ分布と、分布パターンメモリに記憶された少なくとも１つの分布パターンそれぞれとの類似度に応じて物標範囲は当該分布パターンに対応する物標を表しているものであるか否かを判定するように構成される。

【0008】

ＨＯＧ特徴量を用いたパターンマッチングでは、照合を行う対象領域を複数のセルに分割し、分割した各セル単位で照合結果を合計することにより、対象領域の全体が対象となる物標と一致するか否かを判定する。そのため、分割した各セル単位の一部が照合を行う物標と一致度が高い場合、その一致度が高いセルの結果が対象領域全体の結果に影響を与えるため、全体として照合を行う物標と一致すると判定される可能性がある。

【0009】

上述した構成によれば、分布算出部は、画像における鉛直方向に加算することによって得られる数値であるエッジ度を、当該画像における水平方向に沿って配置した分布であるエッジ分布を算出する。これにより、少なくとも鉛直方向に対して、セル単位で判定する場合に比べ、より広い範囲におけるエッジ分布が算出され、算出されたエッジ分布をあらかじめ決められた分布パターンと比較することで、物標を認識する。

【0010】

セル単位で判定する場合よりも広い範囲での検出結果を元に比較することができるため、セルに相当する一部の一致度が高い場合にも、全体に与える影響を抑えることができる。
これにより、物標範囲が表している物標を認識する精度を向上させることができる。

【0011】

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

【図面の簡単な説明】

【0012】

【図1】画像認識システムの構成を示すブロック図である。

【図2】歩行者認識処理のフローチャートである。

【図3】推定処理のフローチャートである。

【図4】認識処理のフローチャートである。

【図5】撮像映像と撮像画像中の推定範囲及び注目範囲の例を表した線図である。

【図6】第一注目範囲の画像を表した図である。

【図7】第一注目範囲のエッジ画像を表した図である。

【図8】第一注目範囲のエッジ分布を表した図である。

【図9】第三注目範囲の画像を表した図である。

【図10】第三注目範囲のエッジ画像を表した図である。

【図11】第三注目範囲のエッジ分布を表した図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す画像認識システム１は、車両に搭載され、カメラモジュール１０、制御装置２０、ブレーキアクチュエータ３０、表示装置４０、スピーカ５０及び画像処理装置６０を備える。以下では、画像認識システム１が搭載される車両を自車という。

【0014】

カメラモジュール１０は、例えば、カラー画像を出力するＣＣＤカメラのカメラモジュールである。カメラモジュール１０は、例えば自車の前方を撮像するために自車の車室内に設けられる。

【0015】

また、カメラモジュール１０は自車の前方を撮像するものに限定されず、自車の周囲を撮像するものであればよく、カメラモジュール１０が設置される位置は車室内でなくてもよい。

【0016】

ブレーキアクチュエータ３０は自車の制動力を調整するアクチュエータである。
表示装置４０は自車の車室内に設置され、表示装置４０が有する表示画面に画像等を表示する装置である。

【0017】

スピーカ５０は、自車の車室内に設置され、音声を出力する装置である。
制御装置２０は、画像処理装置６０により出力される歩行者認識の結果に応じて、ブレーキアクチュエータ３０、表示装置４０又はスピーカ５０の制御を行う。

【0018】

ブレーキアクチュエータ３０の制御とは、例えば自車の位置を基準としてあらかじめ決められた範囲内に歩行者が存在すると判定した場合に、自車の制動力を増大させるブレーキの制御をいう。

【0019】

表示装置４０の制御とは、例えば表示装置４０に自車の周囲の撮像画像を表示している場合に、撮像画像中に歩行者が存在すると判定された範囲である歩行者範囲が存在する場合に、その範囲を強調して表示する制御をいう。なお、表示装置４０の制御は、強調表示を行う制御に限られず、自車の運転者に注意を促す表示を行う制御であればよい。また、撮像画像中に存在する物体が存在すると判定された範囲である物体範囲が存在する場合に、その範囲を強調して表示してもよい。この場合、歩行者範囲の表示と物体範囲の表示とを異なる表示態様で表示してもよい。

【0020】

スピーカ５０の制御とは、例えばカメラモジュール１０により撮像された自車の周囲に歩行者が存在すると判定された場合に、警報音などを発し、自車のドライバに報知する制御をいう。

【0021】

なお、制御装置２０は、ブレーキアクチュエータ３０の制御、表示装置４０の制御、スピーカ５０の制御のうち何れか一つの制御のみを行ってもよく、複数の制御を行ってもよい。

【0022】

画像処理装置６０は、ＣＰＵ６１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、処理メモリ６２）と、を有するマイクロコンピュータ、照合パターンメモリ６３及び分布パターンメモリ６４を備える。画像処理装置６０の各機能は、ＣＰＵ６１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、処理メモリ６２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置６０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

【0023】

画像処理装置６０が備える各機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。

【0024】

なお、画像処理装置６０は、自車のイグニッションスイッチがオンである間、自車から電力の供給を受ける。また、画像処理装置６０は、制御装置２０に対し検出結果を出力する処理を行う。ここでいう検出結果とは、例えば歩行者が存在するか否かを含み、検出された歩行者の位置の情報などを含んでもよい。

【0025】

また、照合パターンメモリ６３は、照合パターンを記憶するメモリである。照合パターンは、歩行者の一部分に対応する矩形状のパターンであり、あらかじめ決められたＨＯＧ特徴量を表す。ＨＯＧ特徴量は、輝度勾配の勾配方向ごとに輝度勾配の勾配強度を表したヒストグラムである。

【0026】

分布パターンメモリ６４は、分布パターンを記憶するメモリである。分布パターンは、物標の種類ごとにあらかじめ設定される物標の少なくとも一部のエッジ分布の代表的なパターンである。エッジ分布は、エッジ度を撮像画像における水平方向に沿って配置した分布である。エッジ度は、撮像画像における鉛直方向に沿って、エッジ点の個数を加算することにより算出される値である。

【0027】

すなわち、分布パターンは、撮像画像において検出された物標の一部のエッジ分布と比較するために、あらかじめ物標の種類ごとに記憶されるエッジ分布の代表的なパターンである。

【0028】

さらに、分布パターンには、物体パターンが含まれる。物体パターンは歩行者以外の物標である物体の少なくとも一部を表す分布パターンである。物体パターンには、例えば、道路上に立設される柱状体であるポールの一部を表した物体パターンであるポールパターンが含まれる。

【0029】

なお、カメラモジュール１０が撮像装置に相当する。
［２．処理］
次に、ＣＰＵ６１が実行する歩行者認識処理について、図２のフローチャートを用いて説明する。なお、歩行者認識装置は、画像処理装置６０の電源がオンである間、繰り返し実行される。

【0030】

Ｓ１１０で、ＣＰＵ６１は、推定処理を行う。ここでいう推定処理の詳細は後述するが、カメラモジュール１０により撮像された撮像画像中に存在する物標を表した範囲である物標範囲のうち歩行者であると推定される範囲を推定範囲として抽出する処理をいう。なお、推定範囲が撮像画像中に複数存在する場合には、撮像画像中に存在する複数の推定範囲を抽出する。

【0031】

Ｓ１２０で、ＣＰＵ６１は、Ｓ１１０の推定処理により、撮像画像中に推定範囲が存在するか否か、すなわち、推定処理により推定範囲が１つ以上抽出されたか否かを判定する。
ＣＰＵ６１は、Ｓ１２０で、推定範囲が存在すると判定された場合、すなわち、推定範囲が１つ以上抽出されたと判定された場合にはＳ１３０に処理を移行する。

【0032】

一方、ＣＰＵ６１は、Ｓ１２０で、推定範囲が存在しないと判定された場合、すなわち、推定範囲が１つも抽出されていない場合には、歩行者認識処理を終了する。
Ｓ１３０で、ＣＰＵ６１は、認識処理を行う。ここでいう認識処理の詳細は後述するが、認識処理は、Ｓ１１０により抽出された推定範囲のそれぞれを、歩行者を表しているものである歩行者範囲であるか、歩行者以外を表しているものである物体範囲であるかを判定し、歩行者範囲及び物体範囲を出力する処理である。

【0033】

Ｓ１１０が範囲設定部としての処理に相当する。
＜推定処理＞
次に、ＣＰＵ６１が歩行者認識処理のＳ１１０で実行する推定処理の詳細について図３を用いて説明する。

【0034】

Ｓ２１０で、ＣＰＵ６１は、カメラモジュール１０により撮像された撮像画像を取得する。
Ｓ２２０で、ＣＰＵ６１は、Ｓ２１０で取得した撮像画像をあらかじめ設定された画素数を有する矩形状のセルに分割し、セルごとにＨＯＧ特徴量を算出する。ここで、設定されるセルの画素数は例えば１６画素×１６画素の範囲が設定される。

【0035】

なお、ＨＯＧ特徴量は、以下のようにして求められる。すなわち、セルの横座標をｘ、縦座標をｙ、座標（ｘ，ｙ）での輝度をＬ（ｘ，ｙ）で表すものとして、まず、各セルの輝度勾配の大きさを表す勾配強度ｍ（ｘ，ｙ）及び各分割領域の輝度勾配の方向を表す勾配方向θ（ｘ，ｙ）を算出する。

【0036】

そして、０°～１８０°までをｍ方向に分割し、勾配方向が同じ方向であると見なすことができる分割領域の勾配強度を合計したものを、その方向の勾配強度とする輝度勾配ヒストグラムを作成する。この輝度ヒストグラムによって表されるｍ次元の値がＨＯＧ特徴量である。

【0037】

Ｓ２３０で、ＣＰＵ６１は、Ｓ２１０で取得された撮像画像に対して、後述するＳ２４０で選択されていない照合パターンである未照合パターンが存在するか否かを判定する。
ＣＰＵ６１は、未照合パターンが存在すると判定した場合、Ｓ２４０に処理を移行する。

【0038】

Ｓ２４０からＳ２７０までの処理により、撮像画像中の領域と照合パターンメモリ６３に記憶された各照合パターンとを照合し、撮像画像中に存在する歩行者を表す推定範囲を抽出する。

【0039】

Ｓ２４０で、ＣＰＵ６１は、未照合パターンのうちから一つの照合パターンを選択する。
Ｓ２５０で、ＣＰＵ６１は、探査領域について設定された複数の探査サイズのうち、後述するＳ２６０で選択されていない未選択の探査サイズ（以下、未選択サイズという）が存在するか否かを判定する。ここで、探査領域とは、ｎを自然数としてｎセル×ｎセルで表される矩形の領域である。探査領域の大きさは、撮像画像に映り込む探査の対象となる物標の大きさに応じて複数種類が設定される。

【0040】

ＣＰＵ６１は、Ｓ２５０で未選択サイズが存在しないと判定した場合には、Ｓ２３０に戻り、以降の処理を行う。すなわち、照合パターンを変更してＳ２６０からＳ２７０までの処理を繰り返し実行する。

【0041】

一方、ＣＰＵ６１は、Ｓ２５０で未選択サイズが存在すると判定した場合には、Ｓ２６０に処理を移行する。
Ｓ２６０で、ＣＰＵ６１は、未選択サイズのうち、いずれか一つの探査サイズを選択する。以下では、Ｓ２６０で選択された探査サイズを選択サイズともいう。

【0042】

Ｓ２７０で、ＣＰＵ６１は、推定範囲の抽出を行う。推定範囲の抽出は具体的には以下のように行われる。すなわち、選択サイズの探査領域を１セルずつずらしながら撮像画像の全体を走査する。このとき、探査領域に含まれる全てのセルのＨＯＧ特徴量を合計したものを、探査領域のＨＯＧ特徴量として、探査領域のＨＯＧ特徴量と照合パターンのＨＯＧ特徴量とを比較して類似度を算出する。類似度が大きい探査領域の位置を、照合パターンが表す歩行者が存在する可能性がある推定範囲として抽出する。

【0043】

ＣＰＵ６１は、撮像画像全体を走査し終わるとＳ２５０に処理を移行する。すなわち、ＣＰＵ６１は、選択サイズを変更して同様の処理を繰り返し実行する。
先のＳ２３０で未照合パターンがないと判定された場合は、推定処理を終了する。

【0044】

なお、Ｓ２１０が画像取得部としての処理に相当する。
＜認識処理＞
次に、ＣＰＵ６１が歩行者認識処理のＳ１３０で実行する認識処理の詳細について図４を用いて説明する。

【0045】

Ｓ３１０で、ＣＰＵ６１は、推定処理のＳ２７０で抽出されたすべての推定範囲を取得する。ここで推定範囲は上述したとおり、物標範囲のうち歩行者であると推定される範囲である。

【0046】

Ｓ３２０からＳ４００までの処理において、推定範囲のそれぞれの少なくとも一部である注目範囲が物体パターンと一致するか否かを判定することにより、推定範囲が歩行者を表すか、歩行者以外の物標である物体を表すか否かを判定する。

【0047】

Ｓ３２０で、ＣＰＵ６１は、すべての推定範囲のうち、後述するＳ３３０で選択されていない推定範囲である未処理範囲が存在するか否かを判定する。
ＣＰＵ６１は、未処理範囲が存在すると判定した場合、Ｓ３３０に処理を移行する。

【0048】

Ｓ３３０で、ＣＰＵ６１は、未処理範囲のうちから一つの推定範囲を選択し、選択範囲とする。
Ｓ３４０で、ＣＰＵ６１は、Ｓ３３０で選択された範囲の水平方向に隣接する画素と画素との輝度差の絶対値があらかじめ決められた輝度の閾値である輝度閾値以上である点をエッジ点として検出する。なお、輝度閾値は、物標の輪郭部分が有する輝度差に相当する大きさの値が設定される。

【0049】

Ｓ３５０で、ＣＰＵ６１は、分布パターンのうち、後述するＳ３６０で呼び出されていない未呼出パターンが存在するか否かを判定する。
Ｓ３６０で、ＣＰＵ６１は、分布パターンメモリ６４に記憶されている物体パターンのうちの一つを呼び出す。なお、Ｓ３６０で呼び出される物体パターンは、Ｓ３３０で選択された推定範囲に対してまだ呼び出されていない物体パターンのうちから呼び出される。

【0050】

Ｓ３７０で、ＣＰＵ６１は、Ｓ３３０で選択された範囲である選択範囲の少なくとも一部を構成するあらかじめ決められた範囲である注目範囲において鉛直方向に配置された画素列の境界ごとに、Ｓ３４０で検出されたエッジ点の個数をエッジ度として算出する。そして、算出したエッジ度を画素列の境界の位置に対応して水平方向に並べることにより得られる分布をエッジ分布として導出する。

【0051】

注目範囲は、選択範囲においてＳ３６０で呼び出される物体パターンに対応した範囲が設定される。ここで物体パターンに対応して設定される注目範囲は、物体パターンが表す物標の一部が、歩行者の一部と認識されやすい範囲があらかじめ設定される。

【0052】

Ｓ３８０で、ＣＰＵ６１は、Ｓ３６０で呼び出した物体パターンである呼出パターンと、Ｓ３７０で算出したエッジ分布とが一致するか否かを判定する。
ここで、呼出パターンとエッジ分布との一致とは、完全一致に限定されるものではなく、類似度があらかじめ決められた閾値以上であれば、一致すると判定されてもよい。また、類似度は、呼出パターンが有する分布の特徴と、エッジ分布が有する分布の特徴とを比較することにより行われてもよい。ここで分布の特徴とは、例えば、ピークの数、分布の広がり具合、ピークの位置等が例として挙げられる。ここで、ピークとは、例えば、エッジ度が最大となる部分又は極大となる部分をいう。分布の広がりとは、例えばピークの半値幅が用いられてもよい。分布の類似は、例えば、エッジ分布と分布パターンとで、エッジ度のピークの数が一致し、エッジ度の分布の広がりが類似していれば一致とみなしてもよい。

【0053】

ＣＰＵ６１は、Ｓ３８０でエッジ分布と呼出パターンとが一致すると判定した場合には、Ｓ３９０に処理を移行する。
Ｓ３９０で、ＣＰＵ６１は、Ｓ３３０で選択された選択範囲が物体を表す物体範囲であると認識し、Ｓ３２０に戻り以降の処理を実行する。

【0054】

一方、ＣＰＵ６１は、Ｓ３８０でエッジ分布と呼出パターンとが不一致であると判定した場合には、Ｓ３５０に処理を移行する。
Ｓ３５０に戻り、未呼出パターンが存在しないと判定した場合には、Ｓ４００に処理を移行する。

【0055】

Ｓ４００で、ＣＰＵ６１は、Ｓ３３０で選択された選択範囲が歩行者を表す歩行者範囲であると認識し、Ｓ３２０に戻り以降の処理を実行する。
このようにＳ３５０からＳ４００までの処理により、Ｓ３３０で選択された選択範囲の一部である注目範囲と物体の一部を表すパターンである物体パターンとが比較され、選択範囲が物体を表すものであるか判定される。

【0056】

先のＳ３２０で未処理範囲が存在しないと判定された場合は、Ｓ４１０に処理を移行する。
Ｓ４１０で、ＣＰＵ６１は、歩行者範囲及び物体範囲を出力し、推定処理を終了する。

【0057】

上記認識処理により、ＣＰＵ６１は、推定範囲のうち、物体範囲以外の推定範囲を、歩行者範囲として出力する。
なお、Ｓ３１０が範囲設定部としての処理に相当し、Ｓ３６０が範囲抽出部としての処理に相当し、Ｓ３４０及びＳ３７０がエッジ検出部としての処理に相当し、Ｓ３７０が分布算出部としての処理に相当する。また、Ｓ３８０が物標判定部としての処理に相当し、Ｓ４００が歩行者判定部としての処理に相当する。

【0058】

［３．動作例］
上記歩行者認識処理が行われた際の画像処理の例を、図を用いて説明する。
図５に示すように、例えば、撮像画像として、静止している歩行者である第一歩行者１０１、自車の前方を横切るように歩いている第二歩行者１０２及びポール１０３が画像中に含まれる撮像画像１００を例とする。なお、撮像画像１００は、図５に示すような画像に限定されず、自車の周囲を撮像した種々の画像であってもよい。

【0059】

撮像画像１００について歩行者認識処理のＳ１１０で推定処理が実行されると、例えば、図５中の第一推定範囲１０１ａ、第二推定範囲１０２ａ及び第三推定範囲１０３ａが推定範囲として抽出される。

【0060】

ここで、ＨＯＧ特徴量で推定範囲を抽出する際、第一歩行者１０１、第二歩行者１０２だけでなくポール１０３も推定範囲として抽出される可能性がある。
推定範囲の一部である注目範囲に含まれるポールの棒状形状は人間の脚部分と同様、画像に対して鉛直方向に長手方向となる形状を有しており、画像に対して水平方向に輝度勾配を有する。このため、ポールの棒状形状を人間の脚部分であるとして認識する可能性があるからである。

【0061】

すなわち、ＨＯＧ特徴量の比較により歩行者を検出した場合、歩行者だけでなくポールのような道路に設置された立体物も抽出される可能性がある。
次に、Ｓ１３０で各推定範囲について認識処理が実行される。認識処理において、Ｓ３３０で第一推定範囲１０１ａが選択されると、第一推定範囲１０１ａに対して物体パターンとの照合が行われる。

【0062】

Ｓ３６０で物体パターンの呼出が実行される。Ｓ３４０で、選択範囲についてエッジ点の検出がなされる。
エッジ点の検出は以下のようになされる。すなわち、図６に示すような選択範囲に対して、図７に示すようなエッジ画像が作成される。ここでいうエッジ画像とは、水平方向の輝度差の絶対値があらかじめ決められた輝度閾値以上の点であるエッジ点を表した画像をいう。なお、図７において白く表した複数の点Ｐｅ１がエッジ点を表している。

【0063】

図７に示したエッジ画像を用いてエッジ点の個数を、鉛直方向に沿って加算することにより、選択範囲の画素列の境界ごとのエッジ度を算出する。算出したエッジ点の個数を画像に対して水平方向に沿って画素列の境界ごとに並べることにより、図８に示すような注目範囲の画素列の境界ごとのエッジ度を表したエッジ分布が導出される。

【0064】

Ｓ３８０で、Ｓ３７０で導出されたエッジ分布が呼出パターンであるポールの一部を表した物体パターンと一致するか否かを判定する。ポールの物体パターンの特徴として、例えば、エッジ分布のエッジ度のピークが二本であることが記憶されていると、Ｓ３７０で導出されたエッジ分布は、ピークの本数が三本以上存在するため、ポールを表した物体パターンとは一致しないと判断される。

【0065】

以上のように第一推定範囲１０１ａの一部である第一注目範囲１０１ｂは、物体パターンのいずれとも一致しないと判断されると、歩行者を表した範囲であると認識される。
第二推定範囲１０２ａについても第一推定範囲１０１ａの場合と同様に第二注目範囲１０２ｂにおいて、物体パターンとの照合が行われ、歩行者を表した範囲であるか否かが判断される。

【0066】

一方、認識処理において、Ｓ３３０で第三推定範囲１０３ａが選択されると、第一推定範囲１０１ａの場合と同様に第三注目範囲１０３ｂにおいて物体パターンとの照合が行われる。

【0067】

ここで、Ｓ３４０でのエッジ点の検出により、第三推定範囲１０３ａの一部を構成する図９に示すような第三注目範囲１０３ｂに対して図１０に示すようなエッジ点を表す点Ｐｅ２を含むエッジ画像が得られる。図１０に示したエッジ画像を用いて、第一注目範囲１０１ｂの場合と同様、エッジ分布を求めると、図１１に示すように画素列の境界ごとのエッジ度を表したエッジ分布が導出される。

【0068】

Ｓ３８０で、Ｓ３７０で導出されたエッジ分布が呼出パターンであるポールの一部を表した物体パターンと一致するか否かを判定する。ポールの物体パターンの特徴として、同様に、エッジ分布のエッジ度のピークが二本であることが記憶されていると、Ｓ３７０で導出されたエッジ分布は、ピークの本数が二本存在するため、ポールを表した物体パターンの特徴と一致すると判断される。

【0069】

これにより第三推定範囲１０３ａは、ポールを表した物体パターンと一致すると判断され、物体を表した物体範囲であると認識される。
そして、撮像画像１００中のすべての推定範囲である第一推定範囲１０１ａ、第二推定範囲１０２ａ及び第三推定範囲１０３ａに対して、認識処理がなされたと判定されると、Ｓ４１０でＳ第一推定範囲１０１ａ及び第二推定範囲１０２ａが歩行者範囲であり、第三推定範囲１０３ａが物体範囲であることを表す認識結果が出力される。

【0070】

［４．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１）上記実施形態によれば、セル中の物標の輪郭の位置を表すエッジ度の分布であるエッジ分布と、あらかじめ決められた物標の輪郭の位置を表すエッジ度の分布である分布パターンとが比較される。このため、セルと照合パターンとのＨＯＧ特徴量が比較された場合に比べ、物標における輪郭の位置も判定材料として、物標が判定される。

【0071】

これにより、物標範囲が表している物標を認識する精度を向上させることができる。
例えば、上記ＨＯＧ特徴量を用いたパターンマッチングでは識別できない歩行者とポールといった物標であっても、上記実施形態によれば、それぞれの物標を識別することができる。

【0072】

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0073】

（１）推定処理においてＨＯＧ特徴量が一致するか否かによって歩行者であるか否かを推定したが、推定処理において歩行者であるか否かを推定するために使用される特徴量はＨＯＧ特徴量に限定されるものではなく、歩行者であることを表すセルごとの特徴に対応した特徴量であればよい。また、推定処理は、図３に示すような方法により行われるとしたが、このような方法に限定されるものではなく、歩行者を表すと推定される範囲である推定範囲が抽出されれば、他の周知のテンプレートマッチングなどの方法により行われてもよい。

【0074】

（２）上記実施形態では、推定処理により推定範囲を抽出した後に、認識範囲を行うが、推定範囲の抽出を省略してもよい。この場合、撮像画像を取得し、取得した撮像範囲のうち、任意の範囲を推定範囲として順次抽出し、認識処理を行ってもよい。

【0075】

（３）上記実施形態では、物体パターンの例として道路に設置されるポールの一部の分布パターンを挙げたが、歩行者として認識されやすい物体であれば、ポールの一部に限られず、樹木の輪郭形状など、他の物体の一部を表すパターンが記憶されていてもよい。

【0076】

（４）また、物体パターンの例として歩行者の脚部分と認識される物体の一部を例として挙げたが、歩行者として認識されやすい部分であれば、脚部分に限られず、頭部などと誤認識されるような物体の部分を物体パターンとして有していてもよい。また、注目範囲と比較される分布パターンは、頭部の輪郭形状に対応した分布パターンが設定されてもよい。具体的には、例えば水平方向に沿って中央のエッジ度が高く、周囲のエッジ度が低いという分布パターンが設定されてもよい。

【0077】

（５）上記実施形態では、エッジ度は、選択範囲において鉛直方向に配置された画素列の境界ごとに、エッジ点の個数を算出することにより得られるが、エッジ度は、このような方法により算出されるものに限定されるものではなく、例えば、エッジ点の輝度差をエッジ点ごとに乗算した上で加算することによりエッジ度を算出してもよい。また、エッジ度の算出は、画像の輝度値に対してソーベルフィルタを用いることにより得られた値を鉛直方向に配置された画素列の境界ごとに足し合わせることにより算出されてもよい。

【0078】

（６）上記実施形態では、歩行者認識処理において、撮像画像中に推定範囲が存在しない場合、歩行者認識処理を終了するが、このような処理に限定されるものではない。例えば、撮像画像中に歩行者が存在しないと推定される旨を報知する処理を行ってもよい。

【0079】

（７）さらに、物体パターンは分布パターンメモリ６４に記憶されるとしたが、分布パターンメモリ６４に記憶される物体パターンは更新されてもよい。例えば、推定処理において歩行者であると認識されたが、認識処理により歩行者でないと判定された物体の一部を選択し、選択された物体の一部を物体パターンとして分布パターンメモリ６４に追加するような構成を有してもよい。

【0080】

（８）更に、物標を検出するセンサ又はソナーを有してもよい。また、当該センサ又はソナーにより検出された物標の範囲を推定範囲として抽出し、認識処理が実行されてもよい。

【0081】

（９）また、自車の移動した方向や自車の移動量を検出するセンサを備えていてもよい。当該センサにより検出した自車の移動した方向及び移動量から、画像中の物標の移動量を算出し、移動に伴って移動した物標を検出してもよい。

【0082】

（１０）さらに、カメラモジュールは、例えば、広角レンズを有するカメラモジュールであってもよい。この場合、画像処理装置は、画像を取得する際に、広角画像を通常の画像に変換する変換部を有してもいい。なお、通常の画像とは、広角レンズなどにより撮像された画像ではなく、通常の人間の眼で視認する場合と同様の画像をいう。

【0083】

（１１）上記実施形態では、分布パターンは物体を表す物体パターンを含むが、さらに、歩行者を表す歩行者パターンを記憶していてもよい。
（１２）また、上記実施形態では、認識処理において物体パターンを順に呼び出し、呼び出していない物体パターンが存在しなくなった場合に、当該推定範囲が歩行者を表していると認識するが、認識処理はこのようなステップに限定されるものではない。例えば、反対に、歩行者パターンを順に呼び出して、呼び出していない歩行者パターンが存在しなくなった場合に推定範囲は物体を表すと認識してもよい。

【0084】

（１４）また、物体パターン及び歩行者パターンの両方とも呼び出し、呼び出したパターンのうち、一致度が高かったものを、選択範囲が表す物標の一部であると認識してもよい。

【0085】

（１５）上記実施形態では、認識処理は歩行者認識に用いられるが、このような処理に限定されるものではない。例えば、歩行者以外の物標の認識に用いられてもよい。また、推定処理が行われなくてもよい。推定処理が実行されない場合、撮像画像中のあらかじめ決められた範囲を順次推定範囲又は注目範囲として抽出してもよい。

【0086】

（１６）上記実施形態では、認識処理で、歩行者範囲及び物体範囲を出力する。しかし、認識結果として、歩行者範囲及び物体範囲の両方を含むものでなくてもよい。例えば、認識結果として物体範囲を出力することなく、歩行者範囲を出力してもよい。

【0087】

（１７）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【0088】

（１８）上述した画像処理装置の他、当該画像処理装置を構成要素とするシステム、当該画像処理装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。

【符号の説明】

【0089】

１…画像認識システム、１０…カメラモジュール、２０…制御装置、３０…ブレーキアクチュエータ、４０…表示装置、５０…スピーカ、６０…画像処理装置、６１…ＣＰＵ、６２…処理メモリ、６３…照合パターンメモリ、６４…分布パターンメモリ、１００…撮像画像、１０１…第一歩行者、１０１ａ…第一推定範囲、１０１ｂ…第一注目範囲、１０２…第二歩行者、１０２ａ…第二推定範囲、１０２ｂ…第二注目範囲、１０３…ポール、１０３ａ…第三推定範囲、１０３ｂ…第三注目範囲。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】