特開 2022-156732 物体検知装置、物体検知方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022156732

(43)【公開日】2022-10-14

(54)【発明の名称】物体検知装置、物体検知方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221006BHJP

   G08G 1/04 20060101ALI20221006BHJP

   G08G 1/16 20060101ALI20221006BHJP

【ＦＩ】

G06T7/00 650Z

G08G1/04 D

G08G1/16 C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021060571

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】安井 裕司

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181LL01

5H181LL07

5H181LL08

5H181LL09

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096EA03

5L096FA16

5L096FA18

5L096FA32

5L096FA69

5L096GA19

5L096GA51

5L096KA04

(57)【要約】

【課題】処理負荷を軽減しつつ検知精度を高く維持することができる物体検知装置、物体検知方法、およびプログラムを提供すること。
【解決手段】路上を撮像した撮像画像を取得する取得部と、前記撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部と、一以上の部分領域セットを定義する定義部であって、前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである、定義部と、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出する抽出部と、を備える物体検知装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

路上を撮像した撮像画像を取得する取得部と、
前記撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部と、
一以上の部分領域セットを定義する定義部であって、前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである、定義部と、
前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出する抽出部と、
を備える物体検知装置。

【請求項2】

前記定義部は、複数の前記部分領域セットの間で前記部分領域内の画素数が互いに異なるように、複数の前記部分領域セットを定義し、
前記抽出部は、前記集計値を複数の前記部分領域セット間で画素ごとに加算することで前記着目箇所を抽出する、
請求項１記載の物体検知装置。

【請求項3】

前記抽出部は、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、上下、左右、および斜めに隣接する他の前記部分領域との間の特徴量の差異を集計して前記集計値を導出する、
請求項１または２記載の物体検知装置。

【請求項4】

前記抽出部は、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、更に、上下に隣接する前記部分領域同士の特徴量の差異、左右に隣接する前記部分領域同士の特徴量の差異、および斜めに隣接する前記部分領域同士の特徴量の差異を、前記集計値に加える、
請求項３記載の物体検知装置。

【請求項5】

前記撮像画像における前記着目箇所に対して高解像度処理を行って、路上の物体が、移動体が接触を回避すべき物体か否かを判別する高解像度処理部を更に備える、
請求項１から４のうちいずれか１項記載の物体検知装置。

【請求項6】

コンピュータを用いて実行される物体検知方法であって、
路上を撮像した撮像画像を取得することと、
前記撮像画像の画質を低下させた低解像度画像を生成することと、
一以上の部分領域セットを定義することと、
前記一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を備え、
前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の前記部分領域を切り出すことで定義されるものである、
物体検知方法。

【請求項7】

コンピュータにより実行されるプログラムであって、前記コンピュータに、
移動体の進行方向の少なくとも路上を撮像した撮像画像を取得することと、
前記撮像画像の画質を低下させた低解像度画像を生成することと、
一以上の部分領域セットを定義することと、
前記一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行させ、
前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の前記部分領域を切り出すことで定義されるものである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検知装置、物体検知方法、およびプログラムに関する。

【背景技術】

【0002】

従来、撮影により得た道路上等の監視エリアにおける物体の領域をブロックに分割し、ブロック毎に局所特徴量を抽出し、抽出された局所特徴量に基づいて障害物の有無を判定する走行障害検知システムの発明が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１２４９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、処理負荷が過大になったり、精度が十分でなかったりする場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、処理負荷を軽減しつつ物体検知を行うことができる物体検知装置、物体検知方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

この発明に係る物体検知装置、物体検知方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る物体検知装置は、路上を撮像した撮像画像を取得する取得部と、前記撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部と、一以上の部分領域セットを定義する定義部であって、前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである、定義部と、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出する抽出部と、を備える。

【0007】

（２）：上記（１）の態様において、前記定義部は、複数の前記部分領域セットの間で前記部分領域内の画素数が互いに異なるように複数の前記部分領域セットを定義するものであり、前記抽出部は、前記集計値を複数の前記部分領域セット間で画素ごとに加算することで前記着目箇所を抽出するものである。

【0008】

（３）：上記（１）または（２）の態様において、前記抽出部は、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、上下、左右、および斜めに隣接する他の前記部分領域との間の特徴量の差異を集計して前記集計値を導出するものである。

【0009】

（４）：上記（３）の態様において、前記抽出部は、前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、更に、上下に隣接する前記部分領域同士の特徴量の差異、左右に隣接する前記部分領域同士の特徴量の差異、および斜めに隣接する前記部分領域同士の特徴量の差異を、前記集計値に加えるものである。

【0010】

（５）：上記（１）から（４）のいずれかの態様において、前記撮像画像における前記着目箇所に対して高解像度処理を行って、路上の物体が、移動体が接触を回避すべき物体か否かを判別する高解像度処理部を更に備えるものである。

【0011】

（６）：本発明の他の態様に係る物体検知方法は、コンピュータを用いて実行される物体検知方法であって、路上を撮像した撮像画像を取得することと、前記撮像画像の画質を低下させた低解像度画像を生成することと、一以上の部分領域セットを定義することと、前記一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を備え、前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである。

【0012】

（７）：本発明の他の態様に係るプログラムは、コンピュータにより実行されるプログラムであって、前記コンピュータに、路上を撮像した撮像画像を取得することと、前記撮像画像の画質を低下させた低解像度画像を生成することと、一以上の部分領域セットを定義することと、前記一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行させ、前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである。

【発明の効果】

【0013】

上記（１）～（７）の態様によれば、処理負荷を軽減しつつ物体検知を行うことができる。
上記（２）の態様によれば、更に、着目箇所に映された物体の大きさのバラつきに対する検出性能のロバスト性を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】物体検知装置１００の構成と周辺機器の一例を示す図である。

【図2】物体検知装置１００の各部の機能を模式的に示す図である。

【図3】マスク領域決定部１３０、グリッド定義部１４０、および抽出部１５０の処理について説明するための図である。

【図4】特徴量差異計算部１５２、集計部１５４、および第１加算部１５６の処理について説明するための図である。

【図5】周辺グリッドの定義例を示す図である。

【図6】比較先グリッドと比較元グリッドを選択する規則の一例を示す図である。

【図7】比較先グリッドと比較元グリッドを選択する規則の他の一例を示す図である。

【図8】第１加算部１５６および第２加算部１５８の処理について説明するための図である。

【発明を実施するための形態】

【0015】

以下、図面を参照し、本発明の物体検知装置、物体検知方法、およびプログラムの実施形態について説明する。物体検知装置は、例えば、移動体に搭載される。移動体とは、例えば、四輪車両や二輪車両、マイクロモビリティ、ロボットの自ら移動するもの、或いは、自ら移動する移動体に載置され、または人によって運ばれることで移動するスマートフォンなどの可搬型装置である。以下の説明において移動体は四輪車両であるものとし、移動体のことを「車両」と称して説明を行う。物体検知装置は、移動体に搭載されるものに限らず、定点観測用カメラやスマートフォンのカメラによって撮像された撮像画像に基づいて以下に説明する処理を行うものであってもよい。

【0016】

図１は、物体検知装置１００の構成と周辺機器の一例を示す図である。物体検知装置１００は、カメラ１０、走行制御装置２００、報知装置２１０などと通信する。

【0017】

カメラ１０は、車両のフロントガラスの裏面等に取り付けられ、車両の進行方向の少なくとも路上を撮像し、撮像画像を物体検知装置１００に出力する。なお、カメラ１０と物体検知装置１００の間には、センサフュージョン装置などが介在してもよいが、これについて説明を省略する。

【0018】

走行制御装置２００は、例えば、車両を自律的に走行させる自動運転制御装置、車間距離制御や自動ブレーキ制御、自動車線変更制御などを行う運転支援装置などである。報知装置２１０は、車両の乗員に対して情報を出力するためのスピーカ、バイブレータ、発光装置、表示装置などである。

【0019】

物体検知装置１００は、例えば、取得部１１０と、低解像度画像生成部１２０と、グリッド定義部１４０と、抽出部１５０と、高解像度処理部１７０とを備える。抽出部１５０は、特徴量差異計算部１５２と、集計部１５４と、第１加算部１５６と、第２加算部１５８と、着目箇所抽出部１６０とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

【0020】

図２は、物体検知装置１００の各部の機能を模式的に示す図である。以下、図２も参照しながら物体検知装置１００の各部について説明する。取得部１１０は、カメラ１０から撮像画像を取得する。取得部１１０は、取得した撮像画像（のデータ）をＲＡＭ（Random Access Memory）などのワーキングメモリに格納する。

【0021】

低解像度画像生成部１２０は、撮像画像に対して間引き処理などを行って、撮像画像よりも画質を低下させた低解像度画像を生成する。低解像度画像は、例えば、撮像画像よりも画素数が少ない画像である。

【0022】

マスク領域決定部１３０は、グリッド定義部１４０以下の構成が処理対象としないマスク領域を決定する。詳しくは後述する。

【0023】

グリッド定義部１４０は、低解像度画像において、複数の部分領域セットを定義する。複数の部分領域セットのそれぞれは、低解像度画像から複数の部分領域（以下、グリッド）を切り出すことで定義されるものである。部分領域は、例えば、矩形形状で隙間なく設定される。グリッド定義部１４０は、複数の部分領域セットの間でグリッド内の画素数が互いに異なるように複数の部分領域セットを定義する。以下、複数の部分領域セットのことを、第１部分領域セットＰＡ１、第２部分領域セットＰＡ２、…第ｋ部分領域セットＰＡｋと称する場合がある。グリッド定義部１４０の詳細な機能については後述する。

【0024】

抽出部１５０は、複数の部分領域セットのそれぞれに含まれるグリッドについて、周辺グリッドとの間の特徴量の差異を集計した集計値を導出し、集計値を複数の部分領域セット間で加算して、着目箇所（図では周囲との不連続箇所）を抽出する。抽出部１５０の各部の詳細な機能については後述する。

【0025】

高解像度処理部１７０は、撮像画像における着目箇所に対応する部分を切り出し（図中、同期切り出し）、これに対して高解像度処理を行って、路上の物体が、車両が接触を回避すべき物体か否かを判別する。高解像度処理部１７０は、例えば、画像から路面標示（車両が接触を回避すべき物体でないものの一例）と落下物（車両が接触を回避すべき物体の一例）を認識する学習済モデルを用いて、着目箇所に映された画像が路面標示であるか落下物であるか、それとも不明である（未学習の物体である）かを判別する。この際に、高解像度処理部１７０は、撮像画像における着目箇所の中でさらに路面標示や落下物に相当すると認識される部分に絞り込んで処理を行ってよい。

【0026】

図３は、マスク領域決定部１３０、グリッド定義部１４０、および抽出部１５０の処理について説明するための図である。マスク領域決定部１３０は、例えば、低解像度画像において左右方向のエッジ点を抽出し、直線状に並ぶエッジ点を連ねて道路区画線や路肩等（白線、走路境界）の画像における位置を検出する。そして、左右の道路区画線等で挟まれ、画像の手前側の左右方向に関する中心点を含む領域を、車両の走路として検出する。次に、マスク領域決定部１３０は、車両の走路以外の部分（道路区画線等が遠方側で交わる消失点よりも上側、および道路区画線よりも左右の端部よりの部分）をマスク領域に決定する。グリッド定義部１４０および抽出部１５０は、マスク領域を除外して処理を行う。

【0027】

グリッド定義部１４０は、前述したようにグリッドの画素数が最も大きい第１部分領域セットＰＡ１、グリッドの画素数が次に大きい第２部分領域セットＰＡ２、以下順に、グリッドの画素数が最も少ない第ｋ部分領域セットＰＡｋまで部分領域セットを定義する。「定義する」とは、低解像度画像に対してグリッドの境界線を決定することである。

【0028】

以下、特徴量差異計算部１５２、集計部１５４、および第１加算部１５６の処理について説明する。図４～図７を用いて説明するこれらの機能部の処理は、まず部分領域セットを一つ選択し、選択した部分領域セットの中で一つずつ着目グリッドを選択した上で行われる。そして、選択した部分領域セットの全てのグリッドを着目グリッドに選択して処理が終わると、次の部分領域セットを選択して同様に処理が行われる。全ての部分領域セットについて処理が終わると、第２加算部１５８が部分領域セット間で集計値（後述する第２集計値Ｖ２）を加算して一枚の画像である抽出対象データＰＴを生成し、着目箇所抽出部１６０に渡す。

【0029】

図４は、特徴量差異計算部１５２、集計部１５４、および第１加算部１５６の処理について説明するための図である。特徴量差異計算部１５２は、比較先グリッドと比較元グリッドとの画素ごと特徴量の差分を計算する。特徴量は、例えば、Ｒ、Ｇ、Ｂの成分ごとの輝度値であり、Ｒ、Ｇ、Ｂのセットが一つの画素であるものとする。比較先グリッド、比較元グリッドは、着目グリッドおよび周辺グリッドの中から選択される。図５は、周辺グリッドの定義例を示す図である。図示するように、着目グリッドの上下左右斜め方向に隣接するグリッド２～９が、周辺グリッドとして定義される。周辺グリッド（周辺部分領域）の選び方はこれに限らず、上下左右のグリッドを周辺グリッドとして選択してもよいし、他の規則で周辺グリッドを選択してもよい。

【0030】

比較先グリッドと比較元グリッドは、例えば、図６に示す組み合わせの中で順番に選択される。図６は、比較先グリッドと比較元グリッドを選択する規則の一例を示す図である。比較先グリッドは着目グリッドであり、比較元グリッドはグリッド２～９から順番に選択される。比較先グリッドと比較元グリッドの関係は逆でもよい。そして、集計部１５４は、画素ごと特徴量の差分の合計を求め、グリッド内の画素数ｎで除算して第１集計値Ｖ１を算出する。第１集計値Ｖ１は、着目グリッドがマスク領域に該当する場合にはゼロに置換されて出力される。つまり、特徴量差異計算部１５２、集計部１５４、および第１加算部１５６は、グリッド１を比較先グリッド、グリッド３を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド８を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド５を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド６を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド２を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド４を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド７を比較元グリッドとして処理を行い、グリッド１を比較先グリッド、グリッド９を比較元グリッドとして処理を行うことを、並行して、或いは順次実行する。

【0031】

比較先グリッドと比較元グリッドは、図７に示す組み合わせの中で順番に選択されてもよい。図７は、比較先グリッドと比較元グリッドを選択する規則の他の一例を示す図である。比較先グリッドと比較元グリッドの組み合わせは、着目グリッドと周辺グリッドの組み合わせに限らず、周辺グリッド同士の組み合わせ（特に、上グリッドと下グリッド、左グリッドと右グリッド、左上グリッドと右下グリッド、右上グリッドと左下グリッドの組み合わせ）を含んでもよい。

【0032】

より具体的に、特徴量の差分の計算手法について説明する。特徴量の差分の計算手法としては、例えば以下のパターン１～パターン４が考えられる。以下の説明において、比較先グリッドと比較元グリッドのそれぞれにおける画素の識別番号をｉで表す（ｉ＝１～ｋ；ｋは比較先グリッドと比較元グリッドのそれぞれの画素数）。

【0033】

（パターン１）
特徴量差異計算部１５２は、例えば、比較先グリッドと比較元グリッドの双方における同じ位置の画素同士の、Ｒ成分の輝度の差分ΔＲｉ、Ｇ成分の輝度の差分ΔＧｉ、Ｂ成分の輝度の差分ΔＢｉを計算する（前述した通りｉ＝１～ｋ）。そして、各画素特徴量Ｐｐｉ＝ΔＲｉ^２＋ΔＧｉ^２＋ΔＢｉ^２を画素ごとに求め、各画素特徴量Ｐｐｉの最大値または平均値を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

【0034】

（パターン２）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素のＲ成分の輝度の統計値（平均値、中央値、最頻値などをいう）Ｒａａ、Ｇ成分の輝度の統計値（同）Ｇａａ、Ｂ成分の輝度の統計値（同）Ｂａａを算出し、比較元グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａｂ、Ｇ成分の輝度の統計値（同）Ｇａｂ、Ｂ成分の輝度の統計値（同）Ｂａｂを算出し、それらの差分ΔＲａ（＝Ｒａａ－Ｒａｂ）、ΔＧａ（＝Ｇａａ－Ｇａｂ）、ΔＢａ（＝Ｂａａ－Ｂａｂ）を求める。そして、輝度の差分の二乗和であるΔＲａ^２＋ΔＧａ^２＋ΔＢａ^２、或いは輝度の差分の二乗の最大値Ｍａｘ（ΔＲａ^２，ΔＧａ^２，ΔＢａ^２）を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

【0035】

（パターン３）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素ｉについて、Ｒ成分とＢ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第１指標値Ｗ１ａｉ（＝（Ｒ－Ｂ）／（Ｒ＋Ｇ＋Ｂ））と、Ｒ成分とＧ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第２指標値Ｗ２ａｉ（＝（Ｒ－Ｇ）／（Ｒ＋Ｇ＋Ｂ））とを算出する。また、特徴量差異計算部１５２は、例えば、比較元グリッドにおける各画素ｉについて、Ｒ成分とＢ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第１指標値Ｗ１ｂｉ（＝（Ｒ－Ｂ）／（Ｒ＋Ｇ＋Ｂ））と、Ｒ成分とＧ成分の輝度の差分をＲ、Ｇ、Ｂ各成分の輝度の和で除算した第２指標値Ｗ２ｂｉ（＝（Ｒ－Ｇ）／（Ｒ＋Ｇ＋Ｂ））とを算出する。次に、特徴量差異計算部１５２は、各画素特徴量Ｐｐｉ＝（Ｗ１ａｉ－Ｗ１ｂｉ）^２＋（Ｗ２ａｉ－Ｗ２ｂｉ）^２を算出する。そして、特徴量差異計算部１５２は、各画素特徴量Ｐｐｉの最大値または平均値を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。なお、第１指標値と第２指標値の二つを組み合わせることで、各画素におけるＲＧＢ成分のバランスを表現することができる。上記と同じ考え方で、例えば、Ｒ、Ｇ、Ｂのそれぞれの成分の輝度を１２０度ずつずらしたベクトルの大きさと定義し、ベクトル和を第１指標値および第２指標値の組み合わせと同じように使用してもよい。

【0036】

（パターン４）
特徴量差異計算部１５２は、例えば、比較先グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａａ、Ｇ成分の輝度の統計値（同）Ｇａａ、Ｂ成分の輝度の統計値（同）Ｂａａを算出し、比較元グリッドにおける各画素のＲ成分の輝度の統計値（同）Ｒａｂ、Ｇ成分の輝度の統計値（同）Ｇａｂ、Ｂ成分の輝度の統計値（同）Ｂａｂを算出する。次に、特徴量差異計算部１５２は、比較先グリッドについて、Ｒ成分の輝度の統計値ＲａａとＢ成分の輝度の統計値Ｂａａの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第３指標値Ｗ３ａ（＝（Ｒａａ－Ｂａａ）／（Ｒａａ＋Ｇａａ＋Ｂａａ））と、Ｒ成分の輝度の統計値ＲａａとＧ成分の輝度の統計値Ｇａａの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第４指標値Ｗ４ａ（＝（Ｒａａ－Ｇａａ）／（Ｒａａ＋Ｇａａ＋Ｂａａ））を算出する。同様に、特徴量差異計算部１５２は、比較元グリッドについて、Ｒ成分の輝度の統計値ＲａｂとＢ成分の輝度の統計値Ｂａｂの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第３指標値Ｗ３ｂ（＝（Ｒａｂ－Ｂａｂ）／（Ｒａｂ＋Ｇａｂ＋Ｂａｂ）と、Ｒ成分の輝度の統計値ＲａｂとＧ成分の輝度の統計値Ｇａｂの差分を、Ｒ、Ｇ、Ｂ各成分の輝度の統計値の和で除算した第４指標値Ｗ４ｂ（＝（Ｒａｂ－Ｇａｂ）／（Ｒａｂ＋Ｇａｂ＋Ｂａｂ））を算出する。そして、特徴量差異計算部１５２は、比較先グリッドの第３指標値Ｗ３ａと比較元グリッドの第３指標値Ｗ３ｂの差分ΔＷ３と、比較先グリッドの第４指標値Ｗ４ａと比較元グリッドの第４指標値Ｗ４ｂの差分ΔＷ４とを求め、それらの二乗和であるΔＷ３^２＋ΔＷ４^２、または二乗の最大値Ｍａｘ（ΔＷ３^２，ΔＷ４^２）を、比較先グリッドと比較元グリッドの特徴量の差分として算出する。

【0037】

なお、特徴量差異計算部１５２は、処理対象の画像が白黒画像であれば、単に輝度値の差分を比較先グリッドと比較元グリッドの特徴量の差分として算出してもよい、また、処理対象の画像がＲＧＢ画像である場合も、ＲＧＢ画像を白黒画像に変換して軌道値の差分を比較先グリッドと比較元グリッドの特徴量の差分として算出してもよい。

【0038】

図４に戻り、第１加算部１５６は、着目グリッドに対応して求められた第１集計値Ｖ１を加算して第２集計値Ｖ２を算出する。第２集計値Ｖ２は、特許請求の範囲における「集計値」の一例である。着目グリッドを変えながら第２集計値Ｖ２を求める処理が完了すると、部分領域セットごとに、全てのグリッドに第２集計値Ｖ２が設定されたデータが生成される。

【0039】

第２加算部１５８は、全てのグリッドに第２集計値Ｖ２が設定されたデータが生成されると、これらを部分領域セット間で加算して抽出対象データＰＴを生成する。図８は、第１加算部１５６および第２加算部１５８の処理について説明するための図である。図中、最も小さい矩形が低解像度画像の一つの画素である。ここでは、説明を簡略化するために、第１部分領域セットＰＡ１、第２部分領域セットＰＡ２、第３部分領域セットＰＡ３の３つが存在するものとし、そのサイズも実際よりかなり小さいものとしている。また、第２集計値Ｖ２は、ゼロから１の間の値になるように、いずれかの段階で正規化されているものとする。図示する例において、第１部分領域セットＰＡ１は、１６画素で構成される第１グリッドの集合であり、第２部分領域セットＰＡ２は、９画素で構成される第２グリッドの集合であり、第３部分領域セットＰＡ３は、４画素で構成される第３グリッドの集合である。第２集計値Ｖ２は、複数の画素を束ねたグリッドに対して設定されるため、第２加算部１５８は、グリッドに設定された第２集計値Ｖ２を、グリッド内の全ての画素に展開した上で、部分領域セット間で画素同士の画素値を加算して抽出対象データＰＴを生成する。なお、画素とグリッドが一対一に対応する部分領域セットがあってもよく、その場合、第２集計値Ｖ２を画素ごとに展開する必要が無い。なお、グリッドのサイズとして１６画素、９画素、４画素がある例を示したが、特徴量の差分の計算手法として上記のパターン２またはパターン４を採用する場合、グリッドのサイズは、４画素、１６画素、６４画素というように一辺の画素数を２のべき乗とした方が、統計値の演算負荷を低減することができる。

【0040】

着目箇所抽出部１６０は、処理対象データＰＴのうち、集計値の加算値が閾値以上となる一まとまりの部分を包含する外接矩形を、着目箇所として抽出する。

【0041】

高解像度処理部１７０は、前述したように、着目箇所の位置だけを撮像画像に当てはめて得られる領域に対して高解像度処理を行って、路上の物体が、車両が接触を回避すべき物体か否かを判別する。

【0042】

高解像度処理部１７０の判別結果は、走行制御装置２００および／または報知装置２１０に出力させる。走行制御装置２００は、「落下物」と判別された物体（実際は画像上の領域）と車両の接触を回避するために、自動ブレーキ制御、自動操舵制御などを行う。報知装置２１０は、「落下物」と判別された物体（同上）と車両とのＴＴＣ（Time To Collision）が閾値未満となったときに種々の方法で警報を出力する。

【0043】

以上説明した実施形態によれば、車両の進行方向の少なくとも路上を撮像した撮像画像を取得する取得部１１０と、撮像画像の画質を低下させた低解像度画像を生成する低解像度画像生成部１２０と、一以上の部分領域セットを定義するグリッド定義部１４０と、一以上の部分領域セットのそれぞれに含まれる部分領域について、周辺の部分領域との間の特徴量の差異を集計した集計値を導出し、集計値に基づいて着目箇所を抽出する抽出部１５０と、を備えることにより、処理負荷を軽減しつつ検知精度を高く維持することができる。

【0044】

仮に、特徴量差異計算部１５２や集計部１５４が行う処理を、撮像画像そのままに対して実行するものとした場合、画素数が多くなると処理負荷が増大し、落下物の接近に対して走行制御装置２００や報知装置２１０の動作が間に合わなくなることが懸念される。この点について実施形態の物体検知装置１００では、低解像度画像を生成してから処理を行うことで処理負荷を軽減しつつ物体の検知を行うことができる。

【0045】

更に、実施形態によれば、グリッド定義部１４０が、複数の部分領域セットの間でグリッド内の画素数が互いに異なるように、複数の部分領域セットを定義し、抽出部１５０が、集計値を複数の部分領域セット間で画素ごとに加算することで着目箇所を抽出するため、落下物の大きさのバラつきに対する検出性能のロバスト性を向上させることができる。単に低解像度画像で処理を行った場合、画質を低下させたことにより落下物の存在が認識できないレベルになってしまうことが懸念されるが、実施形態によれば、上記の工夫によって、いずれかのサイズのグリッドで落下物が特徴量として現れることが期待できるからである。以上より、実施形態の物体検知装置１００によれば、処理負荷を軽減しつつ検知精度を高く維持することができる。

【0046】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
路上を撮像した撮像画像を取得することと、
前記撮像画像の画質を低下させた低解像度画像を生成することと、
一以上の部分領域セットを定義することと、
前記一以上の部分領域セットのそれぞれに含まれる前記部分領域について、周辺の前記部分領域との間の特徴量の差異を集計した集計値を導出し、前記集計値に基づいて着目箇所を抽出することと、を実行し、
前記一以上の部分領域セットのそれぞれは前記低解像度画像から複数の部分領域を切り出すことで定義されるものである、
ように構成されている、物体検知装置。

【0047】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0048】

１０ カメラ
１００ 物体検知装置
１１０ 取得部
１２０ 低解像度画像生成部
１３０ マスク領域決定部
１４０ グリッド定義部
１５０ 抽出部
１５２ 特徴量差異計算部
１５４ 集計部
１５６ 第１加算部
１５８ 第２加算部
１６０ 着目箇所抽出部
１７０ 高解像度処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】