特許 7229032 車外物体検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-02-16

(45)【発行日】2023-02-27

(54)【発明の名称】車外物体検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230217BHJP

   G08G 1/16 20060101ALI20230217BHJP

【ＦＩ】

G06T7/00 650B

G08G1/16 C

【請求項の数】 6

(21)【出願番号】P 2019016833

(22)【出願日】2019-02-01

(65)【公開番号】P2020126304

(43)【公開日】2020-08-20

【審査請求日】2021-09-24

(73)【特許権者】

【識別番号】000005348

【氏名又は名称】株式会社ＳＵＢＡＲＵ

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】小甲 啓隆

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１４－１５４０６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車外を撮影することによって得られた画像中に、車外の検出対象物を検出するための注目領域の左端位置と右端位置とを設定する左右領域設定部と、
前記注目領域の実空間上の距離を、前記検出対象物の実空間上での距離として算出する距離算出部と、
前記注目領域の前記画像中の前記左端位置と前記右端位置とを、前記検出対象物の実空間上での距離に応じた所定の閾値以上となるように移動させる左右領域移動部と、
前記左右領域移動部による移動後の前記注目領域に対して前記検出対象物の検出処理を行う検出処理部と
を備える
車外物体検出装置。

【請求項2】

前記左右領域移動部は、前記検出対象物の実空間上での距離と前記所定の閾値との関係を示す閾値情報に基づいて、前記左端位置と前記右端位置との移動に用いる前記所定の閾値を決定する
請求項１に記載の車外物体検出装置。

【請求項3】

前記閾値情報は、前記検出対象物の種類ごとに異なる情報である
請求項２に記載の車外物体検出装置。

【請求項4】

前記閾値情報は、天候に応じた情報である
請求項２または３に記載の車外物体検出装置。

【請求項5】

前記左右領域移動部は、前記注目領域の実空間上での横幅が所定の範囲内となるように前記画像中の前記左端位置と前記右端位置とを移動させる
請求項１ないし４のいずれか１つに記載の車外物体検出装置。

【請求項6】

前記画像中の代表距離に基づいて、前記注目領域の前記画像中の上端位置と下端位置とを設定する上下領域設定部、をさらに備える
請求項１ないし５のいずれか１つに記載の車外物体検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車外の物体検出を行う車外物体検出装置に関する。

【背景技術】

【0002】

近年、自車両に搭載した車載カメラによって車外環境を撮像し、撮像した画像に基づいて、検出対象物として車外の車両や歩行者等を検出する技術が開発されている（特許文献１～２参照）。また、画像中に検出対象物を検出するための注目領域（ＲＯＩ：Region of Interest）を設定し、注目領域に対して検出対象物の検出処理を行う技術がある。この際、例えば、あらかじめ注目領域の大きさを定めておき、画像上で注目領域を移動させて、移動後の注目領域に対して順次、検出処理を行う方法がある（Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－６２９１０号公報

【文献】特開２０１７－２０７２７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般的なＷｉｎｄｏｗ Ｓｌｉｄｉｎｇ法では、カメラの解像度が向上するほどより多くの注目領域が生成され、結果的に検出に要する処理時間が肥大化する。

【0005】

効率的に車外の物体を検出することを可能にする車外物体検出装置を提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る車外物体検出装置は、車外を撮影することによって得られた画像中に、車外の検出対象物を検出するための注目領域の左端位置と右端位置とを設定する左右領域設定部と、注目領域の実空間上の距離を、検出対象物の実空間上での距離として算出する距離算出部と、注目領域の画像中の左端位置と右端位置とを、検出対象物の実空間上での距離に応じた所定の閾値以上となるように移動させる左右領域移動部と、左右領域移動部による移動後の注目領域に対して検出対象物の検出処理を行う検出処理部とを備える。

【発明の効果】

【0007】

本開示の一実施の形態に係る車外物体検出装置によれば、検出対象物を検出するための注目領域の設定の最適化を行うようにしたので、効率的に車外の物体を検出することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本開示の第１の実施の形態に係る車外物体検出装置を備える車外環境認識システムの一構成例を概略的に示す構成図である。

【図2】車外環境認識装置の一構成例を概略的に示すブロック図である。

【図3】自車両に対して検出対象物が相対的に遠距離にある場合の画像の一例を示す説明図である。

【図4】自車両に対して検出対象物が相対的に近距離にある場合の画像の一例を示す説明図である。

【図5】車外物体検出部による注目領域の決定処理の流れの一例を示すフローチャートである。

【図6】注目領域の右端の閾値の一例を示す説明図である。

【図7】注目領域の左端の閾値の一例を示す説明図である。

【図8】上下領域設定部による注目領域の上端位置と下端位置との決定処理の一例を概略的に示す説明図である。

【図9】上下領域設定部による注目領域の上端位置と下端位置との決定処理の一例を概略的に示す説明図である。

【図10】上下領域設定部による注目領域の上端位置と下端位置との決定処理の一例を概略的に示す説明図である。

【図11】左右領域設定部による注目領域の設定処理および左右領域移動部による注目領域の右端位置の移動処理の一例を概略的に示す説明図である。

【図12】左右領域設定部による注目領域の設定処理および左右領域移動部による注目領域の左端位置の移動処理の一例を概略的に示す説明図である。

【図13】検出対象物の距離と所定の閾値（左端および右端の閾値）との関係の一例を示す説明図である。

【図14】検出対象物の距離と所定の閾値（左端および右端の閾値）との関係の第１の変形例を示す説明図である。

【図15】検出対象物の距離と所定の閾値（左端および右端の閾値）との関係の第２の変形例を示す説明図である。

【図16】Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法の概要を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１．０ 概要
１．１ 構成
１．２ 動作
１．３ 効果
２．その他の実施の形態

【0010】

＜１．第１の実施の形態＞
［１．０ 概要］
近年、自車両に搭載した車載カメラによって車外環境を撮像し、撮像した画像に基づいて、検出対象物として車外の車両や歩行者等を検出する技術が開発されている。例えばタイヤを検出することによって車両を検出する技術が開発されている。これにより、検出された車両等との衝突を回避する衝突防止機能や、先行車両との車間距離を所定の距離に保つＡＣＣ（Adaptive Cruise Control）を搭載した車両が普及しつつある。このような技術に用いられる物体検出装置では、ハードウェア性能の要求から処理時間が限られている。また、検出に用いられるカメラの解像度は近年ますます向上している。

【0011】

物体検出を行う技術には、あらかじめ画像中に検出対象物を検出するための注目領域の位置および大きさを定めておき、その注目領域に対し検出処理をする実施する方法がある。また、特定の大きさの注目領域を画面上でスライド（移動）させて、移動後の注目領域に対して順次、検出処理を行うＷｉｎｄｏｗ Ｓｌｉｄｉｎｇ法と呼ばれる技術がある。

【0012】

図１６に、Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法の概要を示す。図１６には、検出対象物が車両のタイヤである例を示す。図１６に示したように、例えばタイヤの検出に適した大きさの注目領域８００を１画素ずつ移動させ、移動後の注目領域８００に対して順次、検出処理を行う。なお、図１６では単純に水平方向に注目領域８００を移動させていく例を示している。この場合、注目領域の左端８００Ｌと注目領域の右端８００Ｒとが１画素単位で移動するように注目領域８００が生成される。このような方法では、カメラの解像度が向上するほどより多くの注目領域８００が生成され、結果的に検出に要する処理時間が肥大化する。

【0013】

この問題を解決するために、移動量を所定画素（例えば１画素）ずつ飛ばして注目領域８００を生成する等の方法が考えられる。しかしながら、画像中の検出対象物の検出精度は、検出対象物の実空間上での距離に応じて異なってくるので、注目領域８００を単純にあらかじめ決められた所定画素ずつ移動させる方法では、検出精度および検出効率の低下を招く。

【0014】

例えば、図３は、自車両に対して検出対象物が相対的に遠距離（実空間上で４０ｍ先）にある場合の画像の一例を示している。図４は、自車両に対して検出対象物が相対的に近距離（実空間上で２０ｍ先）にある場合の画像の一例を示している。

【0015】

図３では、画像中において、例えば実空間上で４０ｍ先にある検出対象物の例を示している。図３では、例えば、画像中の８ｐｉｘ（ピクセル、画素）は実空間上で２０ｃｍに相当する。一方、図４では、画像中において、例えば実空間上で２０ｍ先にある検出対象物の例を示している。図４では、例えば、画像中の８画素は実空間上で１０ｃｍに相当する。

【0016】

図３および図４から分かるように、例えば遠距離にある検出対象物は注目領域が１画素ずれただけでも見え方が大きく異なるのに対し、近距離にある検出対象物は注目領域が１画素ずれたとしても見え方は遠距離の場合に比べて大きく変化しない。そのため、Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法を用いる場合、近距離の検出対象物に対しては注目領域の移動量を大きくしても物体検出が可能となる。Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法によって、例えば車両のタイヤを検出する場合において、注目領域を１画素ずつずらしながら４０ｍ先のタイヤが検出できる性能があったとき、２０ｍ先のタイヤを見つけるには２画素ずつずらしながらでも検出可能である。

【0017】

そこで、本実施の形態では、Ｗｉｎｄｏｗ Ｓｌｉｄｉｎｇ法を用いて物体検出を行う際に、注目領域の移動量を検出対象物の距離に応じて最適化する。これにより、効率的に車外の物体を検出することを可能にする。

【0018】

［１．１ 構成］
（車外環境認識システム１００）
図１は、本開示の第１の実施の形態に係る車外物体検出装置を備える車外環境認識システム１００の一構成例を概略的に示している。

【0019】

自車両１は、車外環境認識システム１００を備えている。車外環境認識システム１００は、２つの撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを備えている。また、自車両１は、ステアリングホイール１３２と、アクセルペダル１３４と、ブレーキペダル１３６と、操舵機構１４２と、駆動機構１４４と、制動機構１４６とを備えている。

【0020】

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、およびブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、および制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、および制動機構１４６を制御する。

【0021】

２つの撮像装置１１０はそれぞれ、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像を生成する。輝度画像としては、例えばカラー値で表されるカラー画像を生成する。カラー値は、例えば１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる数値群である。また、カラー値は、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群であってもよい。

【0022】

撮像装置１１０は、自車両１の進行方向側において、例えば、２つの撮像装置１１０のそれぞれの光軸が略平行になるように、略水平方向に離隔して配置されている。２つの撮像装置１１０はそれぞれ、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレームごと（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪、車両のタイヤ等、その一部として特定できる物も含む。

【0023】

車外環境認識装置１２０は、２つの撮像装置１１０のそれぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、いわゆるパターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引くことにより得られた分散値の類似度をとるＺＮＣＣ（Zero-mean Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

【0024】

ただし、車外環境認識装置１２０では、検出分解能単位であるブロックごとに視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

【0025】

また、車外環境認識装置１２０は、輝度画像に基づく輝度値（カラー値）、および、距離画像に基づいて算出された、自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１の前方の検出領域における対象物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像におけるブロックごとの視差情報を、いわゆるステレオ法を用いて３次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

【0026】

（車外環境認識装置１２０）
次に、車外環境認識装置１２０の構成について詳述する。ここでは、主として、本実施の形態に特徴的な車外物体検出に関する処理を行う部分について詳細に説明する。

【0027】

図２は、車外環境認識装置１２０の一構成例を概略的に示している。

【0028】

図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ（インタフェース）部１５０と、データ保持部１５２と、中央制御部１５４とを備えている。

【0029】

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインタフェースである。データ保持部１５２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、以下に示す中央制御部１５４内の各部の処理に必要な様々な情報を保持する。

【0030】

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ（Read Only Memory）、およびワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成されている。中央制御部１５４は、システムバス１５６を通じて、Ｉ／Ｆ部１５０、およびデータ保持部１５２等を制御する。

【0031】

中央制御部１５４は、車外物体検出部１６０を有している。また、中央制御部１５４は、既知の技術により路面モデルを生成し、距離画像および輝度画像上での路面（道路表面）領域を特定する路面特定部を含んでいる。

【0032】

車外物体検出部１６０は、検出対象物として種々の車外物体を検出する。検出対象物は、自転車、歩行者、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪、車両のタイヤ等、その一部として特定できる物も含む。車外物体検出部１６０は、例えば、タイヤ検出を行うことによって検出対象物として車両を検出する。車外物体検出部１６０は、本開示の一実施の形態に係る車外物体検出装置の一具体例に相当する。

【0033】

車外物体検出部１６０は、左右領域設定部１６１と、左右領域移動部１６２と、上下領域設定部１６３と、検出処理部１６４とを含んでいる。

【0034】

左右領域設定部１６１は、画像中に、検出対象物を検出するための注目領域の左端位置と右端位置とを設定する。

【0035】

左右領域移動部１６２は、注目領域の左端位置と右端位置とを、検出対象物の距離に応じた所定の閾値以上となるように移動させる。また、左右領域移動部１６２は、注目領域の横幅Ｗが所定の範囲内となるように左端位置と右端位置とを移動させる。左右領域移動部１６２は、後述する図１３ないし図１５に示すように、検出対象物の距離と所定の閾値との関係を示す閾値情報に基づいて、左端位置と右端位置との移動に用いる所定の閾値を決定する。

【0036】

ここで、閾値情報は、検出対象物の種類ごとに異なる情報であってもよい。例えば、閾値情報は、後述する図１４および図１５に示すように、検出対象物が車両である場合と人である場合とで異なる情報であってもよい。また、閾値情報は、天候等に応じた情報であってもよい。例えば、閾値情報は、後述する図１４および図１５に示すように、日中、夜間、雨、および霧等に応じた異なる情報であってもよい。閾値情報は、例えばデータ保持部１５２が保持する。

【0037】

上下領域設定部１６３は、画像中の代表距離に基づいて、後述する図８ないし図１０に示すように、注目領域の上端位置と下端位置とを設定する。この際、上下領域設定部１６３は、３次元空間上の位置情報を参照して、輝度画像上での注目領域を矩形領域となるように調整する。

【0038】

検出処理部１６４は、左右領域移動部による移動後の注目領域に対して検出対象物の検出処理を行う。検出処理の具体的な方法は、既知の技術を用いることができる。

【0039】

［１．２ 動作］
次に、本実施の形態に特徴的な車外物体の検出に関する処理を行う車外物体検出部１６０による動作について詳細に説明する。

【0040】

（注目領域の左端および右端の設定）
図５は、車外物体検出部１６０による注目領域の決定処理の流れの一例を示している。図６は、注目領域の右端の閾値の一例を示している。図７は、注目領域の左端の閾値の一例を示している。図１１は、左右領域設定部１６１による注目領域の設定処理および左右領域移動部１６２による注目領域の右端位置の移動処理の一例を概略的に示している。図１２は、左右領域設定部１６１による注目領域の設定処理および左右領域移動部１６２による注目領域の左端位置の移動処理の一例を概略的に示している。

【0041】

図５において、まず、車外物体検出部１６０は、左右領域設定部１６１によって、注目領域の左端位置（左端座標）ｘＬをａに設定する（ステップＳ１１）。次に、車外物体検出部１６０は、左右領域設定部１６１によって、パラメータｉの値として１をセットし、パラメータｉ’の値として無効値（例えば－∞）をセットする（ステップＳ１２）。次に、車外物体検出部１６０は、左右領域設定部１６１によって、注目領域の右端位置（右端座標）ｘＲをａ＋ｉに設定する（ステップＳ１３）。これにより、例えば、図１１の（Ａ）、図１２の（Ａ）に示したように注目領域が設定される。

【0042】

次に、車外物体検出部１６０は、左右領域移動部１６２によって、注目領域の横幅Ｗ（ｍｍ）が閾値（最小値）Ｗａ（ｍｍ）未満であるか否かを判断する（ステップＳ１４）。注目領域の横幅Ｗが閾値Ｗａ未満ではないと判断された場合（ステップＳ１４：Ｎ）には、次に、車外物体検出部１６０は、左右領域移動部１６２によって、注目領域の横幅Ｗが閾値（最大値）Ｗｂ（ｍｍ）以上であるか否かを判断する（ステップＳ１５）。注目領域の横幅Ｗが閾値Ｗｂ以上ではないと判断された場合（ステップＳ１５：Ｎ）には、次に、車外物体検出部１６０は、検出処理部１６４によって、注目領域に対して検出対象物の検出処理を実施する（ステップＳ１６）。その後、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータｉ’の値をｉにセットする（ステップＳ１７）。なお、横幅Ｗ、閾値Ｗａ，Ｗｂの値は、実空間上の値（実距離）である。

【0043】

注目領域の横幅Ｗが閾値Ｗａ未満であると判断された場合（ステップＳ１４：Ｙ）、およびステップＳ１７による処理後には、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータｉの値をｉ＋１にセットする（ステップＳ１８）。次に、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータｉの値とパラメータｉ’の値とが注目領域の右端の閾値ＴＲ（ｍｍ）以上、離れているか否かを判断する（ステップＳ１９）。パラメータｉの値とパラメータｉ’の値とが注目領域の右端の閾値ＴＲ以上、離れていないと判断された場合（ステップＳ１９：Ｎ）には、車外物体検出部１６０は、ステップＳ１８の処理に戻る。パラメータｉの値とパラメータｉ’の値とが注目領域の右端の閾値ＴＲ以上、離れていると判断された場合（ステップＳ１９：Ｙ）には、車外物体検出部１６０は、ステップＳ１３の処理に進む。なお、右端の閾値ＴＲの値は、実空間上の値（実距離）である。以上の処理により、注目領域の右端に関して、例えば図１１の（Ｂ）に示したように注目領域が設定される。また、図６に模式的に示したように、注目領域２１０の右端２１０Ｒが閾値ＴＲ以上となるように設定される。なお、図１１の（Ｂ）には、図５のステップＳ１４，Ｓ１５，Ｓ１９の判断処理を模式的に示す。

【0044】

また、注目領域の横幅Ｗが閾値Ｗｂ以上であると判断された場合（ステップＳ１５：Ｙ）には、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータａ’の値をａにセットする（ステップＳ２０）。次に、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータａの値をａ＋１にセットする（ステップＳ２１）。次に、車外物体検出部１６０は、左右領域移動部１６２によって、パラメータａ’の値とパラメータａの値とが注目領域の左端の閾値ＴＬ（ｍｍ）以上、離れているか否かを判断する（ステップＳ２２）。パラメータａ’の値とパラメータａの値とが注目領域の左端の閾値ＴＬ以上、離れていないと判断された場合（ステップＳ２２：Ｎ）には、車外物体検出部１６０は、ステップＳ２１の処理に戻る。パラメータａ’の値とパラメータａの値とが注目領域の左端の閾値ＴＬ以上、離れていると判断された場合（ステップＳ２２：Ｙ）には、車外物体検出部１６０は、ステップＳ１１の処理に進む。なお、左端の閾値ＴＬの値は、実空間上の値（実距離）である。左端の閾値ＴＬの値と右端の閾値ＴＲの値は、同じ値であってもよい。以上の処理により、注目領域の左端に関して、例えば図１２の（Ｂ）に示したように注目領域が設定される。また、図７に模式的に示したように、注目領域２１０の左端２１０Ｌが閾値ＴＬ以上となるように設定される。なお、図１２の（Ｂ）には、図５のステップＳ１４，Ｓ１５，Ｓ２２の判断処理を模式的に示す。

【0045】

（注目領域の上端および下端の設定）
図８～図１０は、上下領域設定部１６３による注目領域の上端位置と下端位置との決定処理の一例を概略的に示している。

【0046】

上述のように注目領域の左端位置および右端位置を設定した後（図５のステップＳ１６の検出処理を行う前）に、車外物体検出部１６０は、上下領域設定部１６３によって、注目領域の上端位置と下端位置とを設定する。

【0047】

上下領域設定部１６３は、３次元空間上の位置情報を参照して、注目領域の左端位置および右端位置における代表距離を算出する。また、上下領域設定部１６３は、３次元空間上の位置情報を参照して、図１０に示したように、輝度画像上での注目領域を矩形領域となるように調整する。

【0048】

上下領域設定部１６３は、まず、例えば距離画像または輝度画像の左端から右端に向けて、水平位置ごとの代表距離を算出する。具体的には、上下領域設定部１６３は、まず、例えば距離画像または輝度画像を水平方向に対して複数の短冊形状の分割領域に分割する。各分割領域は、水平方向に所定数の画素幅を持つ垂直方向に延在する領域である。続いて、上下領域設定部１６３は、分割領域ごとに、３次元空間上の位置情報に基づき、例えば道路表面より上方に位置する全ての画素ブロックを対象に、相対距離に関するヒストグラムを生成する。上下領域設定部１６３は、そのヒストグラムに基づいて、最も頻度の高い、ピークに相当する相対距離を特定する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。上下領域設定部１６３は、このピークに相当する相対距離を分割領域ごと（水平位置ごと）の代表距離とする。これにより、図８および図９において、黒い太線で示したような代表距離２２０が複数、算出される。

【0049】

上下領域設定部１６３は、まず、図８に示したように、距離画像および輝度画像において、注目領域の左端の代表距離の位置を下方向へ延在した直線と路面モデルが示す平面との交点を求める。そして、その交点の垂直方向の位置を求める（図８の点Ａ）。同様に、距離画像および輝度画像において、注目領域の右端の代表距離の位置を下方向へ延在した直線と路面モデルが示す平面との交点を求める。そして、その交点の垂直方向の位置を求める（図８の点Ｂ）。

【0050】

次に、上下領域設定部１６３は、点Ａ，Ｂの３次元空間上の距離ｄ［ｍｍ］を求め、距離画像および輝度画像において、点Ａ，Ｂから鉛直方向へｄ［ｍｍ］伸ばした点Ｃ，Ｄを求める（図９）。このようにして、図１０に示したように、点Ａ，Ｂ，Ｃ，Ｄを頂点とする平行四辺形２０１を得る。上下領域設定部１６３は、平行四辺形２０１を内包する矩形領域２０２を注目領域とする。すなわち、矩形領域２０２の上端が注目領域の上端となり、矩形領域２０２の下端が注目領域の下端となる。

【0051】

（検出対象物の距離と所定の閾値との関係）
図１３は、検出対象物の距離と注目領域の左端および右端を設定する際に用いる所定の閾値（左端の閾値ＴＬおよび右端の閾値ＴＲ）との関係の一例を示している。なお、左端の閾値ＴＬの値と右端の閾値ＴＲの値は、同じ値であってもよい。以下、左端の閾値ＴＬと右端の閾値ＴＲとをまとめて、所定の閾値として説明する。なお、図１３において、検出対象物の距離の値と所定の閾値の値は、実空間上の値である。

【0052】

遠方に検出対象物がある場合、大気の状態（砂埃、雨等）やハードウェアの性能（レンズのＭＴＦ特性等）により、より密に注目領域を生成し識別することで、検出処理を行った際に未検出となるような事態を低減できる。そこで、左右領域移動部１６２は、注目領域の左端および右端を決定する際に用いる所定の閾値を、検出対象物の距離に応じて変更する。具体的には、図１３に示すように検出対象物の距離と所定の閾値との関係を表す非線形データを閾値情報としてデータ保持部１５２（図２）に保持しておき、左右領域移動部１６２は、距離に応じてこのデータを参照することで、実際に用いる注目領域の所定の閾値を決定する。

【0053】

図１４は、検出対象物の距離と所定の閾値との関係の第１の変形例を示している。図１５は、検出対象物の距離と所定の閾値（左端および右端の閾値）との関係の第２の変形例を示している。なお、図１４および図１５において、検出対象物の距離の値と所定の閾値の値は、実空間上の値である。図１４は検出対象物が車両である場合、図１５は検出対象物が人である場合の例を示す。

【0054】

図１４および図１５に示すように、注目領域の左端および右端を設定する際に用いる所定の閾値は、検出対象物の種類ごとに異なる情報、例えば検出対象物が車両である場合と人である場合とで異なる情報であってもよい。また、図１４および図１５に示すように、閾値情報は、日中（ｄａｙ）、夜間（ｎｉｇｈｔ）、雨（ｒａｉｎｙ）、および霧（ｆｏｇ）等に応じた異なる情報であってもよい。

【0055】

［１．３ 効果］
以上説明したように、第１の実施の形態に係る車外物体検出装置によれば、検出対象物を検出するための注目領域の設定の最適化を行うようにしたので、効率的に車外の物体を検出することが可能となる。

【0056】

＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

【0057】

上記実施の形態において、コンピュータを車外環境認識装置１２０として機能させるプログラムは、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体によって提供されてもよい。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

【0058】

上記実施の形態において、車外物体検出部１６０による処理は、必ずしも図５のフローチャートに示した順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

【0059】

また、上記実施の形態において、中央制御部１５４は、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成される場合に限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、１または複数の中央処理装置、ＦＰＧＡ、ＡＳＩＣにより構成されるようにしてもよい。

【0060】

また、上記実施の形態においては、２つの撮像装置１１０を用いたステレオ法により検出対象物の距離情報を取得するようにしたが、距離情報の取得方法はこれに限らない。例えばレーダを用いて距離情報を取得するようにしてもよい。

【符号の説明】

【0061】

１…自車両、１００…車外環境認識システム、１１０…撮像装置、１２０…車外環境認識装置、１３０…車両制御装置、１３２…ステアリングホイール、１３４…アクセルペダル、１３６…ブレーキペダル、１４２…操舵機構、１４４…駆動機構、１４６…制動機構、１５０…Ｉ／Ｆ部、１５２…データ保持部、１５４…中央制御部、１５６…システムバス、１６０…車外物体検出部、１６１…左右領域設定部、１６２…左右領域移動部、１６３…上下領域設定部、１６４…検出処理部、２０１…平行四辺形、２０２…矩形領域、２１０…注目領域（ＲＯＩ）、２１０Ｌ…注目領域の左端、２１０Ｒ…注目領域の右端、２２０…代表距離、ＴＬ…左端の閾値、ＴＲ…右端の閾値、ｘＬ…左端位置（左端座標）、ｘＲ…右端位置（右端座標）、Ｗ…注目領域の横幅、Ｗａ…注目領域の横幅の閾値（最小値）、Ｗｂ…注目領域の横幅の閾値（最大値）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】