特許 6831883 車両検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6831883

(24)【登録日】2021年2月2日

(45)【発行日】2021年2月17日

(54)【発明の名称】車両検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210208BHJP

【ＦＩ】

   G06T7/00 650B

   G06T7/00 300F

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2019-160291(P2019-160291)

(22)【出願日】2019年9月3日

(65)【公開番号】特開2020-95683(P2020-95683A)

(43)【公開日】2020年6月18日

【審査請求日】2019年9月3日

(31)【優先権主張番号】特願2018-228083(P2018-228083)

(32)【優先日】2018年12月5日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】特許業務法人つばさ国際特許事務所

(72)【発明者】

【氏名】小甲 啓隆

【審査官】 武田 広太郎

(56)【参考文献】

【文献】 特開２００７−１４０９３８（ＪＰ，Ａ）

【文献】 特開２０１７−０５４３８６（ＪＰ，Ａ）

【文献】 特開２００３−３０９８４４（ＪＰ，Ａ）

【文献】 特開２０１６−０３８６７８（ＪＰ，Ａ）

【文献】 Chun-Rong Huang et al，Wheelchair Detection Using Cascaded Decision Tree，IEEE Transactions on Information Technology in Biomedicine，米国，IEEE，２００９年１２月１５日，Volume: 14 , Issue: 2 , March 2010，292 - 300，ＵＲＬ，https://ieeexplore.ieee.org/document/5353620

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像中の注目領域を切り出す領域切り出し部と、
前記注目領域を複数の分割領域に分割し、前記複数の分割領域のそれぞれの特徴量を算出した後に合成することによって、前記注目領域全体の合成特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された前記合成特徴量に基づいて、車両のタイヤではないと類推される前記注目領域を棄却するフィルタリングを行う特徴量識別部と、
前記画像中の水平方向に対する前記注目領域の傾き角を算出する角度算出部と
を備え、
前記特徴量算出部は、前記角度算出部によって算出された前記傾き角に応じて、前記複数の分割領域のそれぞれの特徴量を合成する順番を変更する
車両検出装置。

【請求項2】

前記注目領域に対して左方向および右方向のそれぞれの外側領域の代表距離の値を２つずつ取得し、前記左方向および前記右方向のそれぞれの前記外側領域について前記代表距離の平均値を求め、次に、前記注目領域の奥行値と前記代表距離の平均値との差の絶対値を求め、その差の絶対値が所定の第１の閾値以上、または所定の第２の閾値未満の場合に、前記車両のタイヤではないと類推し、前記注目領域を棄却するフィルタリングを行う代表距離フィルタ部、をさらに備える
請求項１に記載の車両検出装置。

【請求項3】

前記注目領域を矩形領域となるように調整する領域調整部、をさらに備える
請求項１または２に記載の車両検出装置。

【請求項4】

前記注目領域内の色情報に基づいて、前記車両のタイヤではないと類推される前記注目領域を棄却するフィルタリングを行う色情報フィルタ部、をさらに備える
請求項１ないし３のいずれか１つに記載の車両検出装置。

【請求項5】

画像中の注目領域を切り出す領域切り出し部と、
前記画像中の水平方向に対する前記注目領域の傾き角を算出する角度算出部と、
前記角度算出部によって算出された前記傾き角に応じて、前記注目領域が自車両に対して正対している場合と傾いている場合とでフィルタリング処理に用いるパラメータを変更して、車両のタイヤではないと類推される前記注目領域を棄却するフィルタリングを行うフィルタ部と
を備える
車両検出装置。

【請求項6】

画像中の注目領域を切り出す領域切り出し部と、
前記注目領域に対して左方向および右方向のそれぞれの外側領域の代表距離の値を２つずつ取得し、前記左方向および前記右方向のそれぞれの前記外側領域について前記代表距離の平均値を求め、次に、前記注目領域の奥行値と前記代表距離の平均値との差の絶対値を求め、その差の絶対値が所定の第１の閾値以上、または所定の第２の閾値未満の場合に、車両のタイヤではないと類推し、前記注目領域を棄却するフィルタリングを行う代表距離フィルタ部と
を備える
車両検出装置。

【請求項7】

画像中の注目領域を切り出す領域切り出し部と、
前記注目領域内の色情報に基づいて、車両のタイヤではないと類推される前記注目領域を棄却するフィルタリングを行う色情報フィルタ部と
を備える
車両検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両のタイヤ検出を行う車両検出装置に関する。

【背景技術】

【0002】

画像中の立体物が車両であるか否かを検出する車両検出装置がある。また、車両のタイヤ検出を行うタイヤ検出装置がある（特許文献１〜３参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−１３４９６１号公報

【特許文献2】特開２０１３−２３２０８０号公報

【特許文献3】特開２０１７−５４３８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

画像処理のアルゴリズムでは機械学習に基づく車両検出アルゴリズムが数多く提案されているものの、車両の形状は多種多様であるため学習コストがかかり、車両検出のための識別器には計算コストがかかる。

【0005】

効率的に車両を検出することを可能にする車両検出装置を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る第１の車両検出装置は、画像中の注目領域を切り出す領域切り出し部と、注目領域を複数の分割領域に分割し、複数の分割領域のそれぞれの特徴量を算出した後に合成することによって、注目領域全体の合成特徴量を算出する特徴量算出部と、特徴量算出部によって算出された合成特徴量に基づいて、車両のタイヤではないと類推される注目領域を棄却するフィルタリングを行う特徴量識別部と、画像中の水平方向に対する注目領域の傾き角を算出する角度算出部とを備え、特徴量算出部は、角度算出部によって算出された傾き角に応じて、複数の分割領域のそれぞれの特徴量を合成する順番を変更する。

【0007】

本開示の一実施の形態に係る第２の車両検出装置は、画像中の注目領域を切り出す領域切り出し部と、画像中の水平方向に対する注目領域の傾き角を算出する角度算出部と、角度算出部によって算出された傾き角に応じて、注目領域が自車両に対して正対している場合と傾いている場合とでフィルタリング処理に用いるパラメータを変更して、車両のタイヤではないと類推される注目領域を棄却するフィルタリングを行うフィルタ部とを備える。

【0008】

本開示の一実施の形態に係る第３の車両検出装置は、画像中の注目領域を切り出す領域切り出し部と、注目領域に対して左方向および右方向のそれぞれの外側領域の代表距離の値を２つずつ取得し、左方向および右方向のそれぞれの外側領域について代表距離の平均値を求め、次に、注目領域の奥行値と代表距離の平均値との差の絶対値を求め、その差の絶対値が所定の第１の閾値以上、または所定の第２の閾値未満の場合に、車両のタイヤではないと類推し、注目領域を棄却するフィルタリングを行う代表距離フィルタ部とを備える。

【0009】

本開示の一実施の形態に係る第４の車両検出装置は、画像中の注目領域を切り出す領域切り出し部と、注目領域内の色情報に基づいて、車両のタイヤではないと類推される注目領域を棄却するフィルタリングを行う色情報フィルタ部とを備える。

【発明の効果】

【0010】

本開示の一実施の形態に係る車両検出装置によれば、画像中の注目領域に基づく車両のタイヤ検出の処理を最適化するようにしたので、車両のタイヤ検出を効率的に行うことが可能となる結果、効率的に車両を検出することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本開示の第１の実施の形態に係る車両検出装置を備える車外環境認識システムの一構成例を概略的に示す構成図である。

【図2】車外環境認識装置の一構成例を概略的に示すブロック図である。

【図3】車両検出部によるタイヤ検出処理の流れの一例を示すフローチャートである。

【図4】検出対象の車両およびタイヤが自車両に対し正対している画像の一例を示す説明図である。

【図5】検出対象の車両およびタイヤが自車両に対し斜め方向に傾いている画像の一例を示す説明図である。

【図6】画像から特定された代表距離の一例を示す説明図である。

【図7】画像から切り出された注目領域の一例を示す説明図である。

【図8】注目領域の傾き角とフィルタリングに用いるパラメータとの関係の一例を概略的に示す説明図である。

【図9】注目領域の傾き角が所定範囲内にある場合の空間フィルタ部によるフィルタリングの一例を概略的に示す説明図である。

【図10】注目領域の傾き角が所定閾値以上にある場合の空間フィルタ部によるフィルタリングの一例を概略的に示す説明図である。

【図11】代表距離フィルタ部によるフィルタリングの一例を概略的に示す説明図である。

【図12】代表距離フィルタ部によるフィルタリングの一例を概略的に示す説明図である。

【図13】領域調整部による領域調整処理の一例を概略的に示す説明図である。

【図14】領域調整部による領域調整処理の一例を概略的に示す説明図である。

【図15】領域調整部による領域調整処理の一例を概略的に示す説明図である。

【図16】Ｈａａｒ−ｌｉｋｅフィルタ部によるフィルタリングの一例を概略的に示す説明図である。

【図17】画像から切り出されたタイヤ以外の立体物の一例を示す説明図である。

【図18】画像から切り出されたタイヤの一例を示す説明図である。

【図19】ＹＵＶ色空間の一例を示す説明図である。

【図20】注目領域の傾き方向の一例を示す説明図である。

【図21】注目領域が傾いていない場合の特徴量算出部による特徴量算出処理の一例を概略的に示す説明図である。

【図22】注目領域が傾いていない場合において、特徴量算出部によって算出された合成特徴量の一例を概略的に示す説明図である。

【図23】注目領域の傾き方向が＋方向である場合の特徴量算出部による特徴量算出処理の一例を概略的に示す説明図である。

【図24】注目領域の傾き方向が−方向である場合の特徴量算出部による特徴量算出処理の一例を概略的に示す説明図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１．０ 概要
１．１ 構成
１．２ 動作
１．３ 効果
２．その他の実施の形態

【0013】

＜１．第１の実施の形態＞
［１．０ 概要］
本実施の形態は、タイヤを検出することによって車両を検出する技術に関する。

【0014】

近年、自車両に搭載した車載カメラによって車外環境を撮像し、撮像した画像に基づいて先行車両等の立体物を特定する技術が開発されている。これにより、特定された立体物との衝突を回避する衝突防止機能や、先行車両との車間距離を所定の距離に保つ（ＡＣＣ：Adaptive Cruise Control）を搭載した車両が普及しつつある。

【0015】

さらに、画像中の立体物が車両であるか否かを検出する技術として、機械学習に基づく車両検出アルゴリズムが数多く提案されている。しかしながら、車両の形状は多種多様であるため学習コストがかかり、車両検出のための識別器には計算コストがかかる。一方、タイヤはどの車両であっても類似した形状であるため、車両そのものを検出する場合に比べ、機械学習に基づく検出器を容易に生成でき、またその検出器による計算量は軽量である。

【0016】

ここで、タイヤ検出を行う場合、タイヤの傾きに応じた検出処理を行うことが望ましい。

【0017】

図４は、検出対象の車両およびタイヤが自車両に対して正対している画像の一例を示している。図５は、検出対象の車両およびタイヤが自車両に対して斜め方向に傾いている画像の一例を示している。図４および図５において、四角形で囲った領域部分（例えば、領域６０１、領域６０２、領域６０３、領域６０４）が、立体物として特定されている。

【0018】

例えば図４の領域６０２で特定されているような、自車両に対して正対している車両と、例えば図５の領域６０４で特定されているような、自車両に対して側方に存在する車両とでは、タイヤを示す画像部分に傾きが生じ、画像上でのタイヤの形状が異なる。このため、タイヤ検出の処理を、例えば図４の領域６０２で特定されているような、自車両に対して正対している車両のタイヤ検出に最適化した場合、例えば図５の領域６０４で特定されているような、自車両に対し側方に存在する車両のタイヤ検出の検出性能が低下する。

【0019】

本実施の形態では、車両のタイヤ検出を効率的に行い、効率的に車両を検出することが可能となる技術を提供する。また、傾きに応じたタイヤの検出処理を行うことが可能となる技術を提供する。

【0020】

［１．１ 構成］
（車外環境認識システム１００）
図１は、本開示の第１の実施の形態に係る車両検出装置を備える車外環境認識システム１００の一構成例を概略的に示している。

【0021】

自車両１は、車外環境認識システム１００を備えている。車外環境認識システム１００は、２つの撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを備えている。また、自車両１は、ステアリングホイール１３２と、アクセルペダル１３４と、ブレーキペダル１３６と、操舵機構１４２と、駆動機構１４４と、制動機構１４６とを備えている。

【0022】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、およびブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、および制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、および制動機構１４６を制御する。

【0023】

２つの撮像装置１１０はそれぞれ、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像を生成する。輝度画像としては、例えばカラー値で表されるカラー画像を生成する。カラー値は、例えば１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる数値群である。また、カラー値は、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群であってもよい。

【0024】

撮像装置１１０は、自車両１の進行方向側において、例えば、２つの撮像装置１１０のそれぞれの光軸が略平行になるように、略水平方向に離隔して配置されている。２つの撮像装置１１０はそれぞれ、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレームごと（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪、車両のタイヤ等、その一部として特定できる物も含む。

【0025】

車外環境認識装置１２０は、２つの撮像装置１１０のそれぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、いわゆるパターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引くことにより得られた分散値の類似度をとるＺＮＣＣ（Zero-mean Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

【0026】

ただし、車外環境認識装置１２０では、検出分解能単位であるブロックごとに視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

【0027】

また、車外環境認識装置１２０は、輝度画像に基づく輝度値（カラー値）、および、距離画像に基づいて算出された、自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１の前方の検出領域における対象物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像におけるブロックごとの視差情報を、いわゆるステレオ法を用いて３次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

【0028】

（車外環境認識装置１２０）
次に、車外環境認識装置１２０の構成について詳述する。ここでは、主として、本実施の形態に特徴的なタイヤ検出に関する処理を行う部分について詳細に説明する。

【0029】

図２は、車外環境認識装置１２０の一構成例を概略的に示している。

【0030】

図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ（インタフェース）部１５０と、データ保持部１５２と、中央制御部１５４とを備えている。

【0031】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインタフェースである。データ保持部１５２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、以下に示す中央制御部１５４内の各部の処理に必要な様々な情報を保持する。

【0032】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ（Read Only Memory）、およびワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成されている。中央制御部１５４は、システムバス１５６を通じて、Ｉ／Ｆ部１５０、およびデータ保持部１５２等を制御する。

【0033】

中央制御部１５４は、車両検出部１６０を有している。また、中央制御部１５４は、既知の技術により路面モデルを生成し、距離画像および輝度画像上での路面（道路表面）領域を特定する路面特定部を含んでいる。

【0034】

車両検出部１６０は、タイヤ検出を行うことによって車両を検出する。車両検出部１６０は、領域切り出し部１６１と、角度算出部１６２と、空間フィルタ部１６３と、代表距離フィルタ部１６４と、領域調整部１６５と、Ｈａａｒ−ｌｉｋｅフィルタ部１６６と、色情報フィルタ部１６７と、特徴量算出部１６８と、特徴量識別部１６９と、タイヤ判定部１７０とを含んでいる。

【0035】

車両検出部１６０は、本開示の一実施の形態に係る車両検出装置の一具体例に相当する。空間フィルタ部１６３、代表距離フィルタ部１６４、Ｈａａｒ−ｌｉｋｅフィルタ部１６６、色情報フィルタ部１６７、特徴量算出部１６８、および特徴量識別部１６９のうち少なくとも１つが、本開示の一実施の形態に係るフィルタ部の一具体例に相当する。

【0036】

領域切り出し部１６１は、上述の距離画像に基づいて算出された、自車両１との相対距離を含む実空間における３次元空間上の位置情報を参照して、輝度画像中の注目領域（ＲＯＩ：Region of Interest）を切り出す領域切り出し処理を行う。

【0037】

角度算出部１６２は、上述の３次元空間上の位置情報を参照して、領域切り出し部１６１によって切り出された注目領域の水平方向に対する３次元空間上の傾き角を算出する。

【0038】

空間フィルタ部１６３は、上述の３次元空間上の位置情報を参照して、注目領域の実空間上での、サイズ、距離、および横位置の値に基づく注目領域のフィルタリングを行う。また、空間フィルタ部１６３は、輝度画像上での注目領域のサイズの値に基づく注目領域のフィルタリングを行う。

【0039】

代表距離フィルタ部１６４は、上述の３次元空間上の位置情報を参照して、注目領域に対して左方向および右方向のそれぞれの外側領域の代表距離の値を取得し、取得した外側領域の代表距離の値に基づいて、注目領域のフィルタリングを行う。

【0040】

領域調整部１６５は、上述の３次元空間上の位置情報を参照して、輝度画像上での注目領域を矩形領域となるように調整する。

【0041】

Ｈａａｒ−ｌｉｋｅフィルタ部１６６は、Ｈａａｒ−ｌｉｋｅフィルタを用いて、輝度画像上での注目領域のフィルタリングを行う。

【0042】

色情報フィルタ部１６７は、輝度画像上での注目領域内の色情報に基づいて、注目領域のフィルタリングを行う。

【0043】

特徴量算出部１６８は、輝度画像上での注目領域を複数の分割領域に分割し、複数の分割領域のそれぞれの特徴量を算出した後に合成（結合）することによって、注目領域全体の合成特徴量を算出する。特徴量算出部１６８は、角度算出部１６２によって算出された傾き角に応じて、複数の分割領域のそれぞれの特徴量を合成する順番を変更する。特徴量算出部１６８は、特徴量として、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量を算出する。

【0044】

特徴量識別部１６９は、特徴量算出部１６８によって算出された合成特徴量に基づいて、注目領域のフィルタリングを行う。特徴量識別部１６９は、識別器を含む。識別器は、例えばＳＶＭ（Support Vector Machine）を用いることができる。

【0045】

タイヤ判定部１７０は、特徴量識別部１６９によってフィルタリングされた後の注目領域に車両のタイヤが含まれていると判定する。

【0046】

［１．２ 動作］
次に、本実施の形態に特徴的なタイヤ検出に関する処理を行う車両検出部１６０による動作について詳細に説明する。

【0047】

図３は、車両検出部１６０によるタイヤ検出処理の流れの一例を示している。

【0048】

まず、車両検出部１６０は、領域切り出し部１６１によって、上述の３次元空間上の位置情報を参照して注目領域（ＲＯＩ）の切り出し処理を行う（ステップＳ１１）。次に、車両検出部１６０は、角度算出部１６２によって、上述の３次元空間上の位置情報を参照して、領域切り出し部１６１によって切り出された注目領域の水平方向に対する３次元空間上の傾き角を求める（ステップＳ１２）。以降、車両検出部１６０では、角度算出部１６２によって算出された傾き角に応じたフィルタリング処理を行う。

【0049】

次に、車両検出部１６０は、空間フィルタ部１６３によって、上述の３次元空間上の位置情報を参照して、注目領域の実空間上での、サイズ、距離、および横位置の値に基づく注目領域のフィルタリングを行う。また、車両検出部１６０は、空間フィルタ部１６３によって、輝度画像上での注目領域のサイズの値に基づく注目領域のフィルタリングを行う（ステップＳ１３）。

【0050】

次に、車両検出部１６０は、代表距離フィルタ部１６４によって、上述の３次元空間上の位置情報を参照して、注目領域よりも左右外側にある代表距離の値を用いて、注目領域のフィルタリングを行う（ステップＳ１４）。次に、車両検出部１６０は、領域調整部１６５によって、上述の３次元空間上の位置情報を参照して、輝度画像上での注目領域を矩形領域となるように調整する（ステップＳ１５）。

【0051】

次に、車両検出部１６０は、Ｈａａｒ−ｌｉｋｅフィルタ部１６６によって、Ｈａａｒ−ｌｉｋｅフィルタを用いて、輝度画像上での注目領域のフィルタリングを行う（ステップＳ１６）。次に、車両検出部１６０は、色情報フィルタ部１６７によって、輝度画像上での注目領域内の色情報に基づいて、注目領域のフィルタリングを行う（ステップＳ１７）。

【0052】

次に、車両検出部１６０は、特徴量算出部１６８によって、輝度画像上での注目領域を複数の分割領域に分割し、複数の分割領域のそれぞれの特徴量を算出した後に合成（結合）することによって、注目領域全体の合成特徴量を算出する。次に、車両検出部１６０は、特徴量識別部１６９の識別器（ＳＶＭ）によって、合成特徴量に基づいて注目領域のフィルタリングを行うフィルタリングを行う（ステップＳ１８）。

【0053】

最後に、車両検出部１６０は、タイヤ判定部１７０によって、特徴量識別部１６９によるフィルタリング後に残った注目領域をタイヤと判定する（ステップＳ１９）。

【0054】

車両検出部１６０は、タイヤ判定部１７０によってタイヤと判定された注目領域を含む立体物を車両と判定する。

【0055】

以下、上述の各ステップの処理の具体例を説明する。

【0056】

・領域切り出し部１６１による処理（ステップＳ１１）
図６は、３次元空間上の位置情報を参照して特定された距離画像または輝度画像上における代表距離３００の一例を示している。図７は、距離画像または輝度画像から切り出された注目領域４０１，４０２，…，４０ｎの一例を示している。

【0057】

領域切り出し部１６１は、まず、例えば距離画像または輝度画像の左端から右端に向けて、水平位置ごとの代表距離を算出する。具体的には、領域切り出し部１６１は、まず、例えば距離画像または輝度画像を水平方向に対して複数の短冊形状の分割領域に分割する。各分割領域は、水平方向に所定数の画素幅を持つ垂直方向に延在する領域である。続いて、領域切り出し部１６１は、分割領域ごとに、３次元空間上の位置情報に基づき、例えば道路表面より上方に位置する全ての画素ブロックを対象に、相対距離に関するヒストグラムを生成する。領域切り出し部１６１は、そのヒストグラムに基づいて、最も頻度の高い、ピークに相当する相対距離を特定する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。領域切り出し部１６１は、このピークに相当する相対距離を分割領域ごと（水平位置ごと）の代表距離とする。これにより、図６において、黒い太線で示したような代表距離３００が複数、算出される。

【0058】

次に、領域切り出し部１６１は、図７に示したように、例えば距離画像または輝度画像の左端から右端に向けて、順次、水平位置ごとの２つの代表距離を組み合わせることによって、注目領域を切り出す。図７において、例えば、注目領域４０１は、代表距離３００と、代表距離３００に対して１番目に隣接する代表距離３０１とを組み合わせることによって切り出された領域を示す。図７において、例えば、注目領域４０２は代表距離３００と、代表距離３００に対して２番目に隣接する代表距離３０２とを組み合わせることによって切り出された領域を示す。図７において、例えば、注目領域４０ｎは代表距離３００と、代表距離３００に対してｎ番目に隣接する代表距離３０ｎとを組み合わせることによって切り出された領域を示す。このようにして、領域切り出し部１６１は、複数の注目領域を切り出す処理を行うが、図３のステップＳ１２以降の処理は、複数の注目領域のそれぞれに対して行われる。

【0059】

・角度算出部１６２による処理（ステップＳ１２）
図８は、領域切り出し部１６１によって切り出された注目領域の傾き角と、ステップＳ１３以降で行うフィルタ処理に用いるパラメータとの関係の一例を概略的に示している。図８において、Ｚは撮像装置１１０に対して３次元空間上の奥行き方向、Ｘは３次元空間上の水平方向を示す。以降の他の同類の図においても同様である。
なお、注目領域の傾き角は、画像に着目すると「距離画像において、水平方向に沿った注目領域の奥行き方向の距離の変化率」に相当する。また、注目領域の傾き角は、実空間に着目すると「実空間における、車両の水平方向に沿った注目領域に対応する対象の撮像装置１１０からの距離の変化率」に相当する。

【0060】

角度算出部１６２は、上述の３次元空間上の位置情報を参照して、領域切り出し部１６１によって切り出された注目領域の水平方向に対する３次元空間上の傾き角を算出する。図８において、例えばＲＯＩ１は、水平方向に対する３次元空間上の傾き角が０度である注目領域を模式的に示している。傾き角が０度であることは、例えば、注目領域に含まれる立体物が図４の領域６０２に含まれる立体物のように、自車両１に対して正対していることに相当する。

【0061】

また、図８において、例えばＲＯＩ２は、例えば水平方向に対する３次元空間上の傾き角が８０度以上９０度未満である注目領域を模式的に示している。例えばＲＯＩ３は、水平方向に対する３次元空間上の傾き角が９０度である注目領域を模式的に示している。傾き角が８０度以上９０度未満であることは、例えば、注目領域に含まれる立体物が図４の領域６０４に含まれる立体物のように、自車両１に対して斜め方向に傾いていることに相当する。

【0062】

立体物としてのタイヤが自車両１に対し正対している場合と傾いている場合とで見え方が大きく異なるため、車両検出部１６０は、図３のステップＳ１３以降では傾き角に応じた、注目領域のフィルタリング処理を行う。図３のステップＳ１３以降では、傾き角に応じて、例えばフィルタリング処理に用いるパラメータを変更する。

【0063】

車両検出部１６０は、例えば傾き角が０〜４５度の範囲では、パラメータセット１を用いたフィルタリング処理を行う。また、例えば傾き角が８０度以上の範囲では、パラメータセット１とは異なるパラメータセット２を用いたフィルタリング処理を行う。また、車両検出部１６０は、傾き角が上記以外の範囲であった場合、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を棄却する。

【0064】

・空間フィルタ部１６３による処理（ステップＳ１３）
図９は、注目領域の傾き角が所定範囲内（例えば０〜４５度の範囲内）にある場合の空間フィルタ部１６３によるフィルタリングの一例を概略的に示している。

【0065】

注目領域の傾き角が例えば０〜４５度の範囲内にある場合、以下のいずれかの条件から外れるものは、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を棄却する。
・注目領域の実空間上での奥行６０ｍ以内
・注目領域の実空間上での注目領域の横幅１．８ｍ以内
・注目領域の輝度画像上でのサイズが１０ｐｘ（ピクセル）以上

【0066】

図１０は、注目領域の傾き角が所定閾値以上（例えば８０度以上）にある場合の空間フィルタ部１６３によるフィルタリングの一例を概略的に示している。

【0067】

注目領域の傾き角が例えば８０度以上である場合、以下のいずれかの条件から外れるものは、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を棄却する。
・注目領域の実空間上での奥行３０ｍ以内
・注目領域の位置が実空間上で左右±４ｍ以内
・注目領域の横幅１．８ｍ以内
・注目領域の輝度画像上でのサイズが１０ｐｘ（ピクセル）以上

【0068】

・代表距離フィルタ部１６４による処理（ステップＳ１４）
図１１および図１２は、代表距離フィルタ部１６４によるフィルタリングの一例を概略的に示している。図１１は、立体物が車両のタイヤではない場合の注目領域７００の例を示している。図１２は、立体物が車両のタイヤの場合の注目領域８００の例を示している。図１１において、７００Ｌは注目領域７００の左端、７００Ｒは注目領域７００の右端、７０１Ｌは注目領域７００の左外側領域の代表距離、７０１Ｒは注目領域７００の右外側領域の代表距離を示す。図１２において、８００Ｌは注目領域８００の左端、８００Ｒは注目領域８００の右端、８０１Ｌは注目領域８００の左外側領域の代表距離、８０１Ｒは注目領域８００の右外側領域の代表距離を示す。

【0069】

代表距離フィルタ部１６４は、上述の３次元空間上の位置情報を参照して、注目領域に対して左方向および右方向のそれぞれの外側領域（図１１、図１２参照）の代表距離の値を２つずつ取得し、左方向および右方向のそれぞれの外側領域について代表距離の平均値を求める。次に、代表距離フィルタ部１６４は、注目領域の奥行値（注目領域の左端と右端との平均値）と、上述の左方向および右方向のそれぞれの外側領域についての代表距離の平均値との差の絶対値を求める。代表距離フィルタ部１６４は、その差の絶対値が、所定の第１の閾値以上、または所定の第２の閾値未満の場合、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を棄却する。代表距離フィルタ部１６４は、この判断に用いる閾値を、上述の傾き角に応じて変更する（切り替える）。

【0070】

・領域調整部１６５による処理（ステップＳ１５）
図１３ないし図１５は、領域調整部１６５による注目領域の領域調整処理の一例を概略的に示している。

【0071】

領域調整部１６５は、まず、図１３に示したように、距離画像および輝度画像において、注目領域の左端の代表距離の位置を下方向へ延在した直線と路面モデルが示す平面との交点を求める。そして、その交点の垂直方向の位置を求める（図１３の点Ａ）。同様に、距離画像および輝度画像において、注目領域の右端の代表距離の位置を下方向へ延在した直線と路面モデルが示す平面との交点を求める。そして、その交点の垂直方向の位置を求める（図１３の点Ｂ）。

【0072】

次に、領域調整部１６５は、点Ａ，Ｂの３次元空間上の距離ｄ［ｍｍ］を求め、距離画像および輝度画像において、点Ａ，Ｂから鉛直方向へｄ［ｍｍ］伸ばした点Ｃ，Ｄを求める（図１４）。このようにして、図１５に示したように、点Ａ，Ｂ，Ｃ，Ｄを頂点とする平行四辺形２０１を得る。領域調整部１６５は、平行四辺形２０１を内包する矩形領域２０２を注目領域とする。

【0073】

・Ｈａａｒ−ｌｉｋｅフィルタ部１６６による処理（ステップＳ１６）
図１６は、Ｈａａｒ−ｌｉｋｅフィルタ部１６６によるフィルタリングの一例を概略的に示している。

【0074】

Ｈａａｒ−ｌｉｋｅフィルタ部１６６は、注目領域に対し、この例では、図１６に示したようなＨａａｒ−ｌｉｋｅフィルタを適用する。具体的には、注目領域における中心部と外周部の平均輝度値差を求める。外周部の範囲は、例えば最外周位置から２０％の範囲とする。タイヤであれば中心部は白く、外周部は黒いはずなので、その差は一定の特徴が表れる。Ｈａａｒ−ｌｉｋｅフィルタ部１６６は、タイヤとは異なる特徴が表れた場合、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を棄却する。Ｈａａｒ−ｌｉｋｅフィルタ部１６６は、Ｈａａｒ−ｌｉｋｅフィルタに用いるパラメータ等を、上述の傾き角に応じて変更する（切り替える）。また、Ｈａａｒ−ｌｉｋｅフィルタ部１６６は、外周部の範囲の割合（％）を、上述の傾き角に応じて変更してもよい。なお、この例では、図１６に示したパターンを用いたが、これに限定されるものではなく、車両のタイヤを識別可能な様々なパターンを用いることができる。

【0075】

・色情報フィルタ部１６７による処理（ステップＳ１７）
以下では、輝度画像のカラー値が輝度（Ｙ）と２つの色差（ＵＶ）情報で表される場合を説明する。

【0076】

図１７は、輝度画像から切り出されたタイヤ以外の立体物の一例を示している。図１８は、輝度画像から切り出されたタイヤの一例を示している。図１９は、ＹＵＶ色空間の一例を示している。

【0077】

タイヤは基本的に白と黒の２色であるため、Ｕ，Ｖの値は０である。そのため、注目領域内のＵ，Ｖの値の分散は０である。また、西日などが当たった場合、画像全体がオレンジがかる。すなわち、Ｕ，Ｖの値に一定のバイアスがかかるものの、その分散値は０か非常に小さい。そこで、色情報フィルタ部１６７は、例えば、注目領域内の画素のＹＵＶ値を取得する。色情報フィルタ部１６７は、例えば、ＵとＶの値の注目領域内の分散を調べ、分散値が閾値以上であれば、注目領域によって特定される立体物は車両のタイヤではないと類推されるので、注目領域を破棄する。

【0078】

色情報フィルタ部１６７は、フィルタに用いる閾値等を、上述の傾き角に応じて変更する（切り替える）。

【0079】

・特徴量算出部１６８、および特徴量識別部１６９による処理（ステップＳ１８）
図２０は、注目領域の傾き方向の一例を示している。図２０に示したように、傾き角が水平方向に対して９０度未満の場合を傾き方向が＋、傾き角が水平方向に対して９０度を超える場合を傾き方向が−（マイナス）とする。

【0080】

（傾き角が０度の場合）
図２１は、注目領域が傾いていない場合（傾き角が０度）の特徴量算出部１６８による特徴量算出処理の一例を概略的に示している。図２２は、注目領域が傾いていない場合において、特徴量算出部１６８によって算出された合成特徴量の一例を概略的に示している。

【0081】

特徴量算出部１６８は、輝度画像上での注目領域を複数の分割領域に分割する。例えば、図２１に示したように第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４に分割する。なお、分割数は４つに限られるものではない。

【0082】

次に、特徴量算出部１６８は、複数の分割領域のそれぞれの特徴量を算出する。特徴量としては、例えばＨＯＧ特徴量を算出する。図２１では、各分割領域について８次元の勾配ベクトルのＨＯＧ特徴量を算出した例を示す。なお、算出する次元の数は８次元に限定されるものではない。

【0083】

次に、特徴量算出部１６８は、図２２に示したように、第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４の特徴量をそのままの順に合成（結合）することによって、注目領域全体の合成特徴量を算出する。これにより、全体として例えば３２次元のＨＯＧ特徴量が得られる。

【0084】

特徴量識別部１６９は、特徴量算出部１６８によって算出された合成特徴量に基づいて、例えばＳＶＭを用いたフィルタリングを行う。

【0085】

（傾き方向が＋の場合）
図２３は、注目領域の傾き方向が＋方向である場合の特徴量算出部１６８による特徴量算出処理の一例を概略的に示している。

【0086】

傾き方向が＋方向である場合、図２３に示したように、特徴量算出部１６８は上述の傾き角が０度の場合と同様の手順で、例えば第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４の特徴量を算出する。なお、図２３では、各分割領域について９次元の勾配ベクトルのＨＯＧ特徴量を算出した例を示す。なお、算出する次元の数は９次元に限定されるものではない。

【0087】

傾き方向が＋方向である場合、図２３に示したように、特徴量算出部１６８は上述の傾き角が０度の場合と同様の手順で、第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４の特徴量をそのままの順に合成（結合）することによって、注目領域全体の合成特徴量を算出する。これにより、全体として例えば３６次元のＨＯＧ特徴量が得られる。

【0088】

特徴量識別部１６９は、特徴量算出部１６８によって算出された合成特徴量に基づいて、例えばＳＶＭを用いたフィルタリングを行う。

【0089】

（傾き方向が−の場合）
図２４は、注目領域の傾き方向が−方向である場合の特徴量算出部１６８による特徴量算出処理の一例を概略的に示している。

【0090】

傾き方向が−方向である場合、図２４に示したように、特徴量算出部１６８は上述の傾き角が０度の場合と同様の手順で、例えば第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４の特徴量を算出する。なお、図２４では、各分割領域について９次元の勾配ベクトルのＨＯＧ特徴量を算出した例を示す。なお、算出する次元の数は９次元に限定されるものではない。

【0091】

次に、特徴量算出部１６８は、図２４に示したように、第１分割領域５０１、第２分割領域５０２、第３分割領域５０３、および第４分割領域５０４の特徴量の並べ替えを行った上で、合成（結合）することによって、注目領域全体の合成特徴量を算出する。これにより、全体として例えば３６次元のＨＯＧ特徴量が得られる。

【0092】

特徴量識別部１６９は、特徴量算出部１６８によって算出された合成特徴量に基づいて、例えばＳＶＭを用いたフィルタリングを行う。

【0093】

以上のように、傾き方向に応じて、分割領域の特徴量の並べ替えを行って注目領域全体の合成特徴量を算出する。これにより、傾き方向が＋方向であるか−方向であるかに関わらず、同一のＳＶＭを用いたフィルタリングが可能となる。これにより、フィルタリング性能向上の効果が得られる。

【0094】

［１．３ 効果］
以上説明したように、第１の実施の形態に係る車両検出装置によれば、画像中の注目領域に基づく車両のタイヤ検出の処理を最適化するようにしたので、車両のタイヤ検出を効率的に行うことが可能となる結果、効率的に車両を検出することが可能となる。

【0095】

第１の実施の形態に係る車両検出装置によれば、自車両１に対し正対したタイヤのみならず、側面に現れたタイヤを効率的に検出することが可能となる。

【0096】

＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

【0097】

上記実施の形態において、コンピュータを車外環境認識装置１２０として機能させるプログラムは、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体によって提供されてもよい。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0098】

上記実施の形態において、車両検出部１６０による処理は、必ずしも図３のフローチャートに示した順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【0099】

また、上記実施の形態において、中央制御部１５４は、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成される場合に限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、１または複数の中央処理装置、ＦＰＧＡ、ＡＳＩＣにより構成されるようにしてもよい。

【符号の説明】

【0100】

１…自車両、１００…車外環境認識システム、１１０…撮像装置、１２０…車外環境認識装置、１３０…車両制御装置、１３２…ステアリングホイール、１３４…アクセルペダル、１３６…ブレーキペダル、１４２…操舵機構、１４４…駆動機構、１４６…制動機構、１５０…Ｉ／Ｆ部、１５２…データ保持部、１５４…中央制御部、１５６…システムバス、１６０…車両検出部、１６１…領域切り出し部、１６２…角度算出部、１６３…空間フィルタ部、１６４…代表距離フィルタ部、１６５…領域調整部、１６６…Ｈａａｒ−ｌｉｋｅフィルタ部、１６７…色情報フィルタ部、１６８…特徴量算出部（ＨＯＧ）、１６９…特徴量識別部（ＳＶＭ）、１７０…タイヤ判定部、２０１…平行四辺形、２０２…矩形領域、３００，３０１，３０２，…，３０ｎ…代表距離、４０１，４０２，…，４０ｎ…注目領域（ＲＯＩ）、５０１…第１分割領域、５０２…第２分割領域、５０３…第３分割領域、５０４…第４分割領域、６０１，６０２，６０３，６０４…領域、７００…注目領域（ＲＯＩ）、７００Ｌ…注目領域左端、７００Ｒ…注目領域右端、７０１Ｌ…左外側領域の代表距離、７０１Ｒ…右外側領域の代表距離、８００…注目領域（ＲＯＩ）、８００Ｌ…注目領域左端、８００Ｒ…注目領域右端、８０１Ｌ…左外側領域の代表距離、８０１Ｒ…右外側領域の代表距離。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】