特許 6496585 物体認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6496585

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】物体認識装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20190325BHJP

   B60R 99/00 20090101ALI20190325BHJP

   B60R 21/00 20060101ALI20190325BHJP

【ＦＩ】

   G08G1/16 C

   B60R99/00 310

   B60R21/00 991

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2015-60304(P2015-60304)

(22)【出願日】2015年3月24日

(65)【公開番号】特開2016-181072(P2016-181072A)

(43)【公開日】2016年10月13日

【審査請求日】2017年9月20日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】宇田川 玲

(72)【発明者】

【氏名】内田 吉孝

(72)【発明者】

【氏名】中村 浩之

(72)【発明者】

【氏名】志磨 健

(72)【発明者】

【氏名】村松 彰二

【審査官】 白石 剛史

(56)【参考文献】

【文献】 特開２０１１−１００３３８（ＪＰ，Ａ）

【文献】 特開２０１３−２０５２７６（ＪＰ，Ａ）

【文献】 特開２０１３−０９２９９４（ＪＰ，Ａ）

【文献】 特開２０１０−１７６５４０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｂ６０Ｒ ９９／００

(57)【特許請求の範囲】

【請求項1】

車両外部の情報を取得する車両外部情報取得部と、
前記情報に基づいて車両外部に存在する物体を検出する物体検出部と、
前記物体検出部で検出された物体に対する認識処理を行う認識処理部と、
前記物体検出部での検出結果に基づいて前記認識処理部における処理負荷を算出する処理負荷算出部と、
前記処理負荷に基づいて前記車両の制御内容を決定し、決定した制御内容に従って前記車両を制御するための車両制御情報を出力する車両制御内容決定部と、を備え、
前記処理負荷は、前記認識処理に要する処理時間であり、
前記車両制御内容決定部は、前記車両の速度が前記処理時間に対応する速度に従って制御されるように前記車両制御情報を出力する物体認識装置。

【請求項2】

前記検出結果は、前記物体検出部で検出された物体の大きさ、数、種別の少なくとも一つである請求項１に記載の物体認識装置。

【請求項3】

前記車両外部情報取得部は、撮像装置によって撮影された画像を取得するように構成され、
前記処理負荷は、前記画像中の前記物体に対して設定される処理領域の大きさに応じて決定される請求項１に記載の物体認識装置。

【請求項4】

前記車両制御内容決定部は、前記認識処理に許容される許容処理負荷を記憶し、前記処理負荷が前記許容処理負荷に収まるように前記車両の制御内容を決定し、
前記許容処理負荷は、前記物体との距離及び相対速度の少なくとも一つに基づいて算出される請求項３に記載の物体認識装置。

【請求項5】

前記処理負荷算出部は、前記認識処理の対象となる物体が複数検出された場合、前記認識処理の対象となる物体毎の処理負荷を合計して前記処理負荷を算出する請求項１に記載の物体認識装置。

【請求項6】

前記物体検出部は、車両外部に存在する物体が複数検出された場合、最も相対速度が大きい物体を少なくとも前記認識処理の対象となる物体として検出する請求項１に記載の物体認識装置。

【請求項7】

前記物体検出部は、前記物体が複数存在する場合、最も距離が近い物体を少なくとも前記認識処理の対象となる物体として検出する請求項１に記載の物体認識装置。

【請求項8】

車両の挙動情報を取得するセンサ出力取得部を備え、
前記物体検出部は、前記車両の挙動情報を用いて前記車両の移動をキャンセルし、車両外部に存在する物体を検出する請求項１に記載の物体認識装置。

【請求項9】

前記車両制御内容決定部は、前記車両の速度が前記処理時間に対応する速度よりも低い場合、前記車両の速度を変更しないようにする請求項１に記載の物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体認識装置に関するものである。

【背景技術】

【0002】

近年、車両にカメラを搭載し、そのカメラで車両の周辺を観測し、観測された画像の中から、障害物を検知して車両制御を行う装置が研究開発されている。例えば、特許文献１では、検知した障害物の信頼度に応じて異なる衝突回避方法を選択する技術が示されている。

【0003】

具体的には、この特許文献１の装置は、認識を行うことができた時間の長さに基づいて信頼度を算出し、この信頼度に応じて車両制御内容を決定している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１８３８６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１の装置では、認識結果自体の信頼度を向上させることはできないという問題がある。例えば検出される物体の数や位置などによっては、認識処理の時間が十分に確保できず、認識結果の信頼度が低下してしまう。

【0006】

そこで、本発明は、物体の認識結果の信頼度自体を向上させることができる物体認識装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明による物体認識装置は、車両外部の情報を取得する車両外部情報取得部と、前記情報に基づいて車両外部に存在する物体を検出する物体検出部と、前記物体検出部で検出された物体に対する認識処理を行う認識処理部と、前記物体検出部での検出結果に基づいて前記認識処理部における処理負荷を算出する処理負荷算出部と、前記処理負荷に基づいて前記車両の制御内容を決定し、決定した制御内容に従って前記車両を制御するための車両制御情報を出力する車両制御内容決定部と、を備え、前記処理負荷は、前記認識処理に要する処理時間であり、前記車両制御内容決定部は、前記車両の速度が前記処理時間に対応する速度に従って制御されるように前記車両制御情報を出力する。

【発明の効果】

【0008】

本発明によれば、物体の認識結果の信頼度自体を向上させることができる。これにより、ことによって適切な車両制御を実現することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施例１の物体認識装置のブロック図である。

【図2】実施例１の物体認識装置の詳細なブロック図である。

【図3】実施例１の画像処理部のブロック図である。

【図4】実施例１の物体検出部を説明するブロック図であり、（Ａ）は初期検知部の処理を示し、（Ｂ）は処理領域算出部の処理を示す。

【図5】実施例１の処理負荷算出部の処理内容を説明する図であり、（Ａ）は移動体の処理時間リストを示し、（Ｂ）は処理時間と車速とのリストを示す。

【図6】実施例１の物体認識装置のフロー図である。

【図7】実施例２の物体認識装置のブロック図である。

【図8】実施例２の画像処理部のブロック図である。

【図9】実施例３の物体検知部の処理内容を説明する図であり、（Ａ）は、物体距離情報取得部が取得した各物体又は各処理領域までの距離を示し、（Ｂ）は、認識処理の対象となる物体又は処理領域を選択する処理を示す。

【図10】実施例３の物体検知部の処理内容を説明する図であり、（Ａ）は、接近速度／時間取得部が取得した各物体の接近速度を示し、（Ｂ）は、認識処理の対象となる物体又は処理領域を選択する処理を示す。

【図11】実施例３の処理負荷算出部の処理内容を説明する図であり、（Ａ）は移動体の処理時間リストを示し、（Ｂ）は処理時間と車速とのリストを示す。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照して説明する。

【実施例1】

【0011】

本実施例は、例えば図１及び図２に示すように構成された物体認識装置に適用される。

【0012】

この物体認識装置は、自動車の安全性向上のため、車両状態及び周辺環境に応じて適切な制御を行うものである。これによって、物体認識装置は、例えば車両周辺の物体の位置と自車の運転状態をもとに安全に走行可能な制御を行う事ができる。

【0013】

この物体認識装置は、機能的には図１に示すように、車両外部の情報を取得する車両外部情報取得部としての画像取得部１０２と、前記情報に基づいて車両外部に存在する物体を検出する物体検出部１０３と、前記物体検出部１０３で検出された物体に対する認識処理を行う認識処理部１０４と、前記物体検出部１０３での検出結果に基づいて前記認識処理部１０４における処理負荷を算出する処理負荷算出部１０５と、前記処理負荷に基づいて前記車両の制御内容を決定する車両制御内容決定部１０６と、を備える。物体検出部１０３と認識処理部１０４とは、画像処理部１０７とも称することができる。

【0014】

また、この物体認識装置は、車両の挙動情報（例えば、車速関連情報や操舵情報）をセンシングするセンサ部１０８と、センサの出力データを取得するセンサ出力取得部１０９とを備えている。具体的には、車速関連情報とは速度や加速度の情報であり、操舵情報とは操舵角の角速度である。

【0015】

画像取得部１０２は、車両外部の情報として、撮像装置１０１によって撮影された画像を取得する。但し、車両外部情報取得部は、画像取得部１０２に限定されるものではなく、レーダやソナー、ミリ波等を用いて車両外部の情報を取得するものであってもよい。また、処理負荷算出部１０５で演算される処理負荷は、認識処理に要する時間によって表わされる。

【0016】

この物体認識装置をより具体的なブロック図で表わしたものが図２である。

【0017】

撮像装置１０１は、光学系（レンズ）や撮像素子などを有する。撮像装置１０１は、レンズが光軸方向の光を集め、撮像素子は光の強度に合わせてデジタル信号に変換して、画像を生成し、その画像を画像取得部１１１に出力する。撮像装置１０１は、具体的には、一つ以上のカメラモジュールからなり、周辺環境の画像を出力する。

【0018】

センサ部１０８は、車速センサやジャイロなどを有し、速度及び角速度を計測する。このセンサ部１０８は、具体的には１つ以上のセンサモジュールからなり、センサ情報を出力する。

【0019】

処理装置２０１は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）３０１、演算部３０２、センサ部１０８の信号を一時的に蓄える機能を有する入力バッファ３０３、撮像装置１０１の信号を一時的に蓄える機能を有する入力バッファ３０４、各種信号を記憶する記憶部３０５、出力を一時的に蓄える出力バッファ３０６を備えている。

【0020】

さらに、演算部３０２は、画像取得部１０２、センサ出力取得部１０９、画像処理部１０７、処理負荷算出部１０５、車両制御内容決定部１０６を備えている。

【0021】

画像取得部１０２は、撮像装置１０１からの画像を取得する。この画像取得１０２は、画像データを一旦入力バッファ３０３から記憶部３０５へ格納し、ＣＰＵ３０１の制御に従い、所定の処理タイミングで画像データを読み出す。

【0022】

センサ出力取得部１０９は、センサ部１０２からの速度及び角速度のセンサ情報を取得する。このセンサ出力取得部１０９は、簡単な数値演算機能を有し、例えば、ＣＰＵ３０１の制御に従って、取得したセンサ情報を元に所定の時刻における自車の総移動距離を計算し、センサデータとして出力することができる。

【0023】

画像処理部１０７は、画像取得部１０２が取得した画像データと、センサ出力取得部１０９が取得したセンサデータを用いて画像中の物体を検知する。この画像処理部１０７は、図３に示すように、車両外部の情報に基づいて車両外部に存在する物体を検出する物体検出部１０３と、物体検出部１０３で検出された物体に対する認識処理を行う認識処理部１０４とを備えている。

【0024】

物体検出部１０３は、車両外部に存在する物体の大きさ、数、種別の少なくとも一つを検出する。具体的には、物体検出部１０３は、画像データを解析して初期検知データを算出する初期検知部４０１と、初期検知データをもとに処理領域を算出する処理領域算出部４０２とを備える。

【0025】

初期検知部４０１は、画像データを入力とし、物体検知で一般的に用いられている特徴量を初期検知データとして出力する。初期検知部４０１は、例えば、輝度、エッジ強度、エッジ角度、ハフ変換を算出し初期検知データとして出力する。さらに、初期検知部４０１は、この特徴量を解析し、ヒストグラム処理、線検知、円検知を実施し初期検知データとして出力する。この処理は、画素ごとに実施するが、画像データを所定の単位に区切り、その単位ごとに実施してもよい。この場合、その単位に含まれる画素の輝度値の合計値、平均値、分散、標準偏差等を出力する。初期検知部４０１は、以上の算出した初期検知データを、画像取得部１０２が取得した画像データと、センサ出力取得部１０９が取得したセンサデータと対応づけて、記憶部３０５に保存する。

【0026】

処理領域算出部４０２は、初期検知データを元に算出した処理領域を出力する。処理理領域算出部４０２が処理領域として設定する条件は検知する対象と検知する方法によって異なる。処理領域算出部４０２は、例えば、画素のエッジ強度が所定値以内であり、画像データを所定の大きさに区切り、前記画素を含む１単位における輝度値の平均値が所定値以内となる位置を処理領域Ａとして出力する。また、処理領域算出部４０２は、線検知により検知された線のうち所定の方向と輝度値を有する線の位置を、別の処理領域Ｂとして出力する。処理領域算出部４０２はこれらの処理領域を所定の検知アプリと対応づけて記憶部３０５に保存する。

【0027】

認識処理部１０４は、オプティカルフローで移動体を検知する移動体検知部４０３と、画像データを視点変換して物体を検知しやすくする映像変換部４０４と、映像変換部が変換した結果を用いて立体物を物体として検知する立体物検知部４０５と、を有する。

【0028】

移動体検知部４０３は、画像取得部１０２が取得した複数の画像データと、センサ出力取得部１０９が取得したセンサデータを組み合わせて計算したオプティカルフローの値を元に移動体を検知する。自車が移動することによって移動体以外のフローも発生する場合には、センサデータに含まれる自車挙動を用いて自車移動によるフローをキャンセルすることができる。この結果、移動体のみのフローが得られる。得たフローを幾何的な関係とフローの時系列変化を用いてグループ化し、移動体として検知する。

【0029】

移動体検知部４０３は、グループ化した移動体のフローのベクトルと、移動体の接地位置から、その移動体の相対的な移動速度を算出する。移動体検知部４０３は、この相対的な移動速度とセンサデータから得た自車の車速を組み合わせて算出した絶対的な移動速度と、移動体の接地位置を一組として出力する。オプティカルフローを用いた物体検知の技術は公知であるため、これ以上詳しく述べない。移動体検知部４０３は、処理領域算出部４０２が出力した処理領域内のみを処理することで、処理時間を低減することができる。

【0030】

映像変換部４０４は、画像取得部１０２で取得した画像を、地面を基準面とした座標に変換する処理を行って、自車両を真上から見下ろしたような映像である俯瞰画像を出力する。座標変換はカメラパラメタを元に作成した座標変換テーブルを用いて行う。カメラパラメタは、焦点距離、画素ピッチ、レンズ歪、車両におけるカメラの取付位置及び姿勢である。このカメラパラメタを用いて、映像変換部４０４は、自車両から所定の距離までの範囲の映像を座標変換して俯瞰画像として出力することができる。この俯瞰画像は後述する立体物検知部４０５が立体物を検知する際に用いられる。

【0031】

立体物検知部４０５は、映像変換部４０４が出力した複数枚の画像と、センサ出力取得部１０９が出力したセンサ情報を用いて、立体物の有無が認識できた領域である立体物存在領域と、その領域までの距離を出力する。

【0032】

この立体物検知部４０５は、例えば、第一の画像をセンサ情報に従って並行移動又は回転移動して、その移動した第一の画像から第二の画像を減算して、差分画像を出力する。第一の画像の路面パタンと第二の画像の路面パタンが重なるように第一の画像を並行移動又は回転移動して減算処理を行うことで、路面では差分が小さくなり、それ以外である立体物存在領域では差分が大きくなる。立体物検知部４０５は、この差分画像に対してラベリング処理を行い、ラベル画像を出力し、ラベルごとに統計情報を出力する。

【0033】

ラベリング処理は、この差分画像に含まれる各画素について近傍点との濃淡差を計算し、その濃淡差の大きさが所定の範囲内だった場合、同じ番号を各領域固有の番号として与えラベル画像として出力する処理である。差分画像の濃淡値が所定値より低い部分は路面又は不明領域として扱う。

【0034】

立体物検知部４０５は、このラベル画像を立体物領域として出力する。立体物検知部４０５は、このラベリング画像に統計情報（各ラベルの面積、外接矩形の幾何情報、重心位置）を付加して出力する。

【0035】

さらに、立体物検知部４０５は、この立体物領域の履歴情報からマッチング処理を行う。このマッチングの結果から視差画像を生成し、それぞれの立体物領域までの距離を計算し、出力する。立体物検知部４０５は、処理領域算出部４０２が出力した処理領域内のみを処理することで、処理時間を低減することができる。

【0036】

本実施例の処理負荷算出部１０５は、認識処理の対象となる物体が複数検出された場合、認識処理の対象となる物体毎の処理負荷を合計して処理負荷を算出する。

【0037】

具体的には、処理負荷算出部１０５は、記憶部から読み出したデータを元に画像出力とセンサデータを処理するのに要する時間を物体認識処理時間として出力する。ここで、処理負荷は、画像中の前記物体に対して設定される処理領域の大きさに応じて決定される。処理負荷算出部１０５は記憶部に記憶された処理領域に対応づけられた検知アプリの固有番号を読み出し、その固有番号と対応する処理時間リストを読み出す。この処理時間リストは、例えば、処理領域の大きさと処理時間が記述されているリストである（図５（Ａ）参照）。

【0038】

また、処理負荷算出部１０５は、記憶部３０５に記録された処理領域をキーとして処理時間リストを走査することで、検知アプリを実行した場合の処理時間を得ることができる。処理負荷算出部１０５は、記憶部３０５に記憶された全ての処理領域に対して処理時間を算出し、記憶部３０５へ記憶する。処理負荷算出部１０５は、記憶された全ての処理時間をもとに、物体認識処理時間を出力する。この物体認識処理時間は、必要な検知アプリが全て実行完了するために必要な時間であるため、例えば、記憶された処理時間の和（線形和）で表わす。

【0039】

車両制御内容決定部１０６は、記憶部に記憶された挙動変換リストを参照して、処理負荷算出部１０５が算出した処理時間を車両挙動へ変換して出力する。この挙動変換リストは、例えば、処理時間と車速が記述されているリストであり、具体的には車速を出力する。この車両制御内容決定部１０６が出力する車両挙動は、車速に限定されず、操舵情報やウィンカー操作等であってもよい。

【0040】

制御部２０３は、車両制御内容決定部１０６が出力した車両制御内容に従った制御を実行する。

【0041】

このように、物体認識装置は、撮像装置１０１で撮像した映像とセンサ部１０８で計測したセンサ出力を入力として、物体検知を行うのに必要な処理時間を算出し、その処理時間を元に車両挙動を制御部２０３へ入力するので、安全性を確保するのに必要な物体認識の精度を犠牲にすることなく実行する事ができる。

【0042】

この物体認識装置の動作を、図４を用いて説明する。初期検知部４０１は画像取得部１０２が取得した画像を入力として、エッジペア、エッジ方向、幾何情報等の特徴量を算出する。算出する特徴量は検出したい物体の特性によって適切に選択する必要がある。

【0043】

図４（Ａ）は、自車両が移動している際にフロントカメラを用いて人物と車両を検出する場合を例に初期検知を実行している例である。初期検知を実行した結果を元に、処理領域算出部４０２は、移動体検知部４０３と立体物検知部４０５で用いる処理領域を算出する。図４（Ｂ）は、処理領域算出部４０２が、初期検知の結果から、歩行者検知の処理領域１つと立体物検知の処理領域２つを算出した例である。処理負荷算出部１０５は、この処理領域から処理時間を算出する。

【0044】

図５（Ａ）は、処理負荷算出部１０５が移動体検知と立体物検知の処理時間リストを参照して、それぞれの処理時間を算出した例である。処理負荷算出部１０５は、算出した処理時間を加算して合計値を出力する。この例では、検知された移動体Ａ、立体物Ｂ、立体物Ｃのそれぞれに要する処理時間を合計して、処理時間を２０＋３０＋５０＝１００ｍｓと算出する。車両制御内容決定部１０６は、この処理時間の合計値を車両挙動に変換して出力する。

【0045】

図５（Ｂ）は、車両制御内容決定部１０６が、車両挙動変換リストを参照して、処理時間を車速へ変換する例である。この例では、処理時間１００ｍｓに対応する車速は、１２ｋｍ／ｈである。最後に、車両制御内容決定部１０６は、算出した車速を出力する。

【0046】

次に、物体認識装置の動作手順を、図６を用いて説明する。

【0047】

ステップ７０１において、撮像装置１０１は車両周辺を撮影してその撮影画像を出力する。ステップ７０２において、センサ部１０８は速度及び角速度を計測する。ステップ７０３において、画像取得部１０２は、撮像装置１０１から画像を取得して記憶部３０５に送信する。ステップ７０４において、センサ出力取得部１０９は、センサ部１０８からの速度及び角速度の情報を取得して、記憶部３０５に送信する。ステップ７０５において、初期検知部４０１は、画像データを入力とし、物体検知で一般的に用いられている特徴量を初期検知データとして出力する。ステップ７０６において、処理領域算出部４０２は、初期検知データを元に算出した処理領域を出力する。

【0048】

ステップ７０７において、処理負荷算出部１０５は、記憶部３０５から読み出したデータを元に画像出力とセンサデータを処理するのに要する時間を物体検知処理時間として出力する。ステップ７０８において、車両制御内容決定部１０６は、処理負荷算出部１０５が算出した処理時間を、記憶部に予め記憶されている挙動変換リストを参照して、車両挙動へ変換し、車両挙動を出力する。ステップ７０９において、制御部２０３は、車両制御内容決定部１０６が出力した車両挙動に従った制御を実行する。

【0049】

ステップ７１０において、移動体検知部４０３は、画像取得部１０２が取得した複数の画像データと、センサ出力取得部１０９が取得したセンサデータを組み合わせて計算したオプティカルフローの値を元に移動体を検知する。ステップ７１１において、映像変換部４０４は、画像取得部１０２で取得した画像を、地面を基準面とした座標への変換を行って、自車両を真上から見下ろしたような映像である俯瞰画像を出力する。ステップ７１２において、立体物検知部４０５は、映像変換部４０４が出力した複数枚の画像と、センサ出力取得部１０９が出力したセンサ情報を用いて、立体物の有無が認識できた領域として立体物存在領域とその領域までの距離を出力する。

【0050】

この物体認識装置によれば、画像認識アプリが物体検知の処理を完了するのに必要な時間を算出して、その結果に応じた車両制御を行うことができる。即ち、この物体認識装置によれば、物体の認識処理を行う時間を確保できるように車両制御内容を決定するため、物体の認識結果の信頼度自体を向上させることができる。

【実施例2】

【0051】

次に、実施例２の物体認識装置について図７を用いて説明する。本実施例の物体認識装置は、車両制御内容決定部１０６が許容処理負荷算出部１０６ａを有する。物体認識装置は、認識処理に許容される許容処理負荷を記憶し、処理負荷が許容処理負荷に収まるように車両の制御内容を決定するものである。以下の説明では、実施例１と共通する部分に関しては、説明を割愛する。

【0052】

許容処理負荷は、物体との距離及び相対速度の少なくとも一つに基づいて算出される。なお、許容処理負荷の算出方法は、物体検知の手法、車両挙動、用途等によって変更しても良い。

【0053】

車両制御内容決定部１０６は、処理許容時間と処理必要時間を比較して、処理許容時間が処理必要時間より長かった場合、車両挙動を変更しないという情報を出力する。

【0054】

以上のように、本実施例の物体認識装置は、現在の車両挙動から物体検知を行うのに許容される処理許容時間を算出し、その処理許容時間とその処理時間を比較して、処理許容時間が処理時間より大きい場合に車両挙動を変更しないことで、不要な車両挙動の変更を低減することができる。

【実施例3】

【0055】

次に、実施例３の物体認識装置について図８を用いて説明する。本実施例の物体認識装置は、認識処理部１０４が認識処理する対象物体を所定の条件で選定するものである。即ち、本実施例の物体認識装置は、検知された全ての物体に対する認識処理の負荷を演算するのではなく、特に処理の優先度が高い物体（例えば、最も近い物体、最も相対速度が大きい物体など）に対する認識処理の負荷を演算する。これによって、認識処理の対象物体を必要性の高いものに絞ることにより、処理負荷を過大に算出するのを抑制し、車両外部の状況により適した車両制御が可能となる。実施例１又は２と共通する部分に関しては、説明を割愛する。

【0056】

本実施例では、物体検出部１０３は、車両外部に存在する物体が複数検出された場合、最も相対速度が大きい物体を少なくとも認識処理の対象となる物体として検出する。また、物体検出部１０３は、物体が複数存在する場合、最も距離が近い物体を少なくとも認識処理の対象となる物体として検出する。物体検出部１０３の検知結果は、認識処理部１０４及び処理負荷算出部１０５に出力される。

【0057】

具体的には、本実施例の物体検出部１０３は、図８のように、物体までの距離を取得する物体距離情報取得部４０６と、取得した物体までの距離と自車の車両挙動をもとに物体の接近速度と接近時間を算出する接近速度／時間取得部４０７と、をさらに備える。

【0058】

物体距離情報取得部４０６は、記憶部３０５に記憶されている物体の位置情報を元に現在必要な物体の距離情報を取得する。具体的には、物体距離情報取得部４０６は、過去の物体の位置情報と現在の車両挙動の情報から、現在の物体の位置情報を推定することで、現在必要な物体の距離情報を取得する。

【0059】

また、接近速度／時間取得部４０７は、記憶部３０５に記憶されている物体の接近速度又は接近時間を取得する。記憶部３０５に物体の相対速度が記憶されている場合には、これを接近速度として取得する。一方、記憶部に移動体検知部４０３で最終的に得られた物体の絶対的な移動速度が記憶されている場合には、この絶対的な移動速度に最新時点での自車両の車速を足すことにより、相対速度を求めるものであってもよい。

【0060】

また、本実施例の認識処理部１０４は、物体距離算出部４０８と、接近速度／時間算出部４０９とを備える。物体距離算出部４０８は、立体物検知部４０５で行ったマッチング処理によって生成された視差画像を用いて、物体までの距離を計算し、出力する。そして、計算された距離は、記憶部３０５に記憶される。

【0061】

接近速度／時間算出部４０９は、物体距離算出部４０８で算出した距離情報と現在の自車の車速を組み合わせることで物体の接近速度と接近時間を算出する。なお、接近速度／時間算出部４０９は、物体の位置情報だけでなく、物体の移動速度を取得して物体の接近速度と接近時間を算出する。そして、算出された接近速度と接近時間は、記憶部３０５に記憶される。

【0062】

この物体認識装置の動作を、図８を用いて説明する。なお、本実施例の初期検知及び処理領域算出は、図４（Ａ）、（Ｂ）で説明したものと共通であるため、説明を省略する。

【0063】

図９（Ａ）は、物体距離情報取得部４０６が、各物体又は各処理領域までの距離を取得した例である。物体検知部１０３は、図９（Ｂ）に示すように、物体距離取得部４０６が取得した距離をもとにして、自車位置から所定の範囲（例えば３ｍ）以内にある物体又は処理領域を選択する。

【0064】

図１０（Ａ）は、接近速度／時間取得部４０７が、それぞれの処理領域内に位置する物体の接近速度を取得した例である。物体検知部１０３は、図１０（Ｂ）に示すように、接近速度／時間算出部４０９が算出した移動速度をもとに最も接近する物体を選択する。

【0065】

図１１（Ａ）は処理負荷算出部１０５が、移動体検知と立体物検知の処理時間リストを参照して、それぞれの処理時間を算出した例である。処理負荷算出部１０５は、図９（Ｂ）での判断および図１０（Ｂ）での判断に基づいて選択された物体を参考に処理時間を算出する。この例では、両方の条件に合致する物体の処理時間を算出する。処理負荷算出部は、算出した処理時間を加算して合計値を出力する。この例では、移動体Ａと、立体物Ｃが認識処理対象となるため、処理時間は、２０＋３０＝５０ｍｓとなる。

【0066】

車両制御内容決定部１０６は、処理時間を車両挙動に変換して出力する。図１１（Ａ）、（Ｂ）は、車両制御内容決定部１０６が、車両挙動変換リストを参照して、処理時間を車速へ変換する例である。最後に車両制御内容決定部１０６は、算出した車速を出力する。車両制御内容決定部１０６は、現在の車速と処理時間を変換して得た車速を比較して、現在の車速の方が低速なら車速を変更しない。この例では現在の車速が２０ｋｍ／ｈ、処理時間を変換して得た車速が４８ｋｍ／ｈなので、車速を変更しない。

【0067】

この物体認識装置によれば、処理許容時間を算出する際に、物体までの距離を取得し、その距離と現在の車両挙動を組み合わせて物体と自車の接近速度／時間を算出することで、物体が移動物体の場合により安全な制御を行う事ができる。

【0068】

なお、本発明に係る物体認識装置は、上記実施形態で説明されたものに限定されず、本発明の範囲内で適宜変更可能である。

【0069】

例えば、処理負荷は、処理領域の大きさに応じて決定されるものを説明したが、これに限られず、物体認識装置が認識した物体の個数に基づいて決定されるものであってもよい。この場合でも、物体の個数が多ければ、少ない場合に比べて処理負荷が大きいと簡易的に判断することができる。このようにすれば、簡易な判断によって、物体検出部での処理負荷自体を抑制することができる。

【符号の説明】

【0070】

１０１…撮像装置、１０２…画像取得部、１０３…物体検出部、１０４…認識処理部、１０５…処理負荷算出部、１０６…車両制御内容決定部、１０６ａ…許容処理負荷算出部、１０７…画像処理部、１０８…センサ部、１０９…センサ出力取得部、２０１…処理装置、３０１…ＣＰＵ、３０２…演算部、３０３…入力バッファ、３０４…入力バッファ、３０５…記憶部、３０６…出力バッファ、４０１…初期検知部、４０２…処理領域算出部、４０３…移動体検知部、４０４…映像変換部、４０５…立体物検知部、４０６…物体距離情報取得部、４０７…接近速度／時間取得部、４０８…物体距離算出部、４０９…接近速度／時間算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】