特許 6972797 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972797

(24)【登録日】2021年11月8日

(45)【発行日】2021年11月24日

(54)【発明の名称】情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/215 20170101AFI20211111BHJP

   G06T 1/00 20060101ALI20211111BHJP

   G06T 7/593 20170101ALI20211111BHJP

【ＦＩ】

   G06T7/215

   G06T1/00 315

   G06T7/593

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2017-171531(P2017-171531)

(22)【出願日】2017年9月6日

(65)【公開番号】特開2018-88233(P2018-88233A)

(43)【公開日】2018年6月7日

【審査請求日】2020年7月7日

(31)【優先権主張番号】特願2016-228222(P2016-228222)

(32)【優先日】2016年11月24日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】渡邊 元気

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１４−２１１８４６（ＪＰ，Ａ）

【文献】 特開２０１１−１８０６８４（ＪＰ，Ａ）

【文献】 特開２００８−１９７７３３（ＪＰ，Ａ）

【文献】 特開２００４−４６６４７（ＪＰ，Ａ）

【文献】 特開平８−６３６０２（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０２４３３６（ＷＯ，Ａ１）

【文献】 高木聖和, 外2名，“レーザレーダによる歩行者認識技術”，デンソーテクニカルレビュー，株式会社デンソー，2007年05月18日，第12巻, 第1号，p.35-39

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２１５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得する取得部と、
前記取得部により以前に取得された前記情報における所定の物体の位置に基づき、前記取得部により今回取得された前記情報における前記所定の物体の位置を予測する予測部と、
今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出する抽出部と、を備え、
前記所定の物体の位置に応じた前記所定の条件を前記複数の物体が満たすことは、前記予測部により算出された前記所定の物体の位置から、前記所定の物体の種別に応じた所定の距離以内に前記複数の物体が位置することである、
情報処理装置。

【請求項2】

複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得する取得部と、
前記取得部により以前に取得された前記情報における所定の物体の位置に基づき、前記取得部により今回取得された前記情報における前記所定の物体の位置を予測する予測部と、
今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出する抽出部と、を備え、
前記所定の物体の位置に応じた前記所定の条件を前記複数の物体が満たすことは、今回の前記情報において、前記縦方向及び前記横方向で、前記所定の物体が存在する領域と、前記複数の物体の各々が存在する領域との重なり度が、所定の閾値以上であることである、
情報処理装置。

【請求項3】

前記抽出部は、前記複数の物体のうち、前記所定の物体の画像との類似度が最も高い物体を、前記所定の物体と同一の物体として抽出する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記抽出部は、前記類似度と、前記予測部により予測された所定の物体の位置から、今回の前記情報における前記複数の物体の各々の位置までの距離とに基づいて、前記複数の物体のうち、前記所定の物体と同一の物体を抽出する、
請求項１乃至３のいずれか一項に記載の情報処理装置。

【請求項5】

前記抽出部は、前記取得部により以降に取得された前記情報において、今回の前記情報における前記複数の物体のうち、前記所定の物体と同一の物体でないと判定した物体の位置に応じた所定の条件を満たす物体の情報が存在する場合、前記所定の物体の画像と、当該物体の画像との類似度に基づいて、前記所定の物体と同一の物体を抽出する、
請求項１乃至４のいずれか一項に記載の情報処理装置。

【請求項6】

複数の撮像部と、
前記複数の撮像部で各々撮影された複数の画像に基づき、前記情報を生成する生成部と、
請求項１乃至５のいずれか一項に記載の情報処理装置と、
を備える撮像装置。

【請求項7】

請求項６に記載の撮像装置と、
前記抽出部により抽出された前記所定の物体のデータに基づいて、移動体の制御を行う制御部と、
を備え、
前記複数の撮像部は、前記移動体に搭載され、前記移動体の前方を撮像する、機器制御システム。

【請求項8】

前記請求項７に記載の機器制御システムを備え、
前記制御部により制御される移動体。

【請求項9】

コンピュータが、
複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得するステップと、
以前に取得された前記情報における所定の物体の位置に基づき、今回取得された前記情報における前記所定の物体の位置を予測するステップと、
今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出するステップと、を実行し、
前記所定の物体の位置に応じた前記所定の条件を前記複数の物体が満たすことは、前記予測部により算出された前記所定の物体の位置から、前記所定の物体の種別に応じた所定の距離以内に前記複数の物体が位置することである、
情報処理方法。

【請求項10】

コンピュータに、
複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得するステップと、
以前に取得された前記情報における所定の物体の位置に基づき、今回取得された前記情報における前記所定の物体の位置を予測するステップと、
今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出するステップと、を実行させ、
前記所定の物体の位置に応じた前記所定の条件を前記複数の物体が満たすことは、前記予測部により算出された前記所定の物体の位置から、前記所定の物体の種別に応じた所定の距離以内に前記複数の物体が位置することである、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。

【0003】

自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ステレオカメラの画像を用いた測定が実用化されている（例えば、特許文献１参照）。

【0004】

このステレオカメラの画像を用いた測定では、あるフレームの視差画像で自車両よりも前方にある車両等の物体を検出した後、それ以降のフレームの視差画像において、当該物体をトラッキング（追跡）する技術が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術には、例えば、周囲の照度変化等による誤差や、物体の移動速度や移動方向の変化等によって、以前のフレームにて検出された一の物体と、今回のフレームにて検出された他の物体を、同一の物体であると誤判定される場合があるという問題がある。また、例えば、歩行者が交差したり、同様の色や形状の複数台の車両が並走している場合等においても、以前のフレームにて検出された一の物体と、今回のフレームにて検出された他の物体を、同一の物体であると誤判定される場合があるという問題がある。

【0006】

そこで、精度の高いトラッキングを継続できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

複数の時点における、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得する取得部と、前記取得部により以前に取得された前記情報における所定の物体の位置に基づき、前記取得部により今回取得された前記情報における前記所定の物体の位置を予測する予測部と、今回の前記情報から、前記所定の物体の位置に応じた所定の条件を満たす複数の物体を抽出し、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、今回の前記情報における前記複数の物体のうち、以前の前記情報における前記所定の物体と同一の物体を抽出する抽出部と、を備え、前記所定の物体の位置に応じた前記所定の条件を前記複数の物体が満たすことは、前記予測部により算出された前記所定の物体の位置から、前記所定の物体の種別に応じた所定の距離以内に前記複数の物体が位置することである、情報処理装置。

【発明の効果】

【0008】

開示の技術によれば、精度の高いトラッキングを継続することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る機器制御システムの構成を示す図である。

【図2】実施形態に係る撮像ユニット及び画像解析ユニットの構成を示す図である。

【図3】三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。

【図4】機器制御システムの機能ブロック図の一例を示す図である。

【図5】視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。

【図6】一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。

【図7】基準画像の一例を模式的に表した画像例を示す図である。

【図8】画像例に対応するＵマップを示す図である。

【図9】Ｕマップに対応するリアルＵマップを示す図である。

【図10】Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。

【図11】孤立領域検出処理の一例を示すフローチャートである。

【図12】孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。

【図13】矩形領域に対応する走査範囲を設定した視差画像を示す図である。

【図14】走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

【図15】視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。

【図16】オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。

【図17】オブジェクトトラッキング処理の一例を示すフローチャートである。

【図18】オブジェクトトラッキング処理の詳細な一例を示すフローチャートである。

【図19】対象オブジェクトのオブジェクトタイプに応じた実距離の範囲について説明する図である。

【図20】オブジェクトトラッキング処理の詳細な他の一例を示すフローチャートである。

【図21】重なり度について説明する図である。

【発明を実施するための形態】

【0010】

以下、実施形態に係る画像処理装置を有する機器制御システムについて説明する。

【0011】

〈機器制御システムの構成〉
図１は、実施形態に係る機器制御システムの構成を示す図である。

【0012】

この機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の複数の撮像画像データ（フレーム）から、自車両前方の物体を検知して追跡し、その追跡結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。

【0013】

撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。

【0014】

画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。

【0015】

画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。なお、表示モニタ１０３はなくともよい。車両走行制御ユニット１０４は、画像解析ユニット１０２による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。

【0016】

〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
図２は、実施形態に係る撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。

【0017】

撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。

【0018】

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。

【0019】

ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

【0020】

図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。

【0021】

図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。

【0022】

処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（物体）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

【0023】

なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。

【0024】

〈物体検出処理〉
次に、図４を参照し、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う機能について説明する。図４は、機器制御システム１の機能ブロック図の一例を示す図である。以下、本実施形態における物体検出処理について説明する。

【0025】

ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂからは輝度画像データが出力される。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。

【0026】

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …式〔１〕
《視差画像生成処理》
次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差画像情報。「検出対象物の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報」の一例。）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

【0027】

《Ｖマップ生成処理》
次に、Ｖマップ生成部１３４において、視差画像生成部１３２から視差画像データを取得し、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。

【0028】

具体的に説明すると、Ｖマップ生成部１３４は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。

【0029】

図５は視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図５Ａは視差画像の視差値分布の一例を示す図であり、図５Ｂは、図５Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。

【0030】

図５Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３４は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図５Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

【0031】

図６は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図６Ａが撮影画像であり、図６ＢがＶマップである。即ち、図６Ａに示すような撮影画像から図６Ｂに示すＶマップが生成される。

【0032】

図６Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図６Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。

【0033】

《路面形状検出処理》
次に、本実施形態では、Ｖマップ生成部１３４が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３５において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。

【0034】

図６Ａに示す画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点（路面５０１）は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。

【0035】

撮像部１１０Ａでは自車前方領域を撮像するため、その撮像画像の内容は、図６Ｂに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点（路面５０１）は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。なお、路面の推定により路面の高さが求められるため、当該路面上の物体の高さを求めることができる。これは、公知の方法により算出できる。例えば、推定した路面を表す直線式を求め、視差値ｄ＝０のときの対応するｙ座標ｙ０を路面の高さとする。そして、例えば、視差値がｄでｙ座標がｙ'である場合、ｙ'−ｙ０が視差値ｄのときの路面からの高さを示す。上述の座標（ｄ，ｙ'）の路面からの高さＨは、Ｈ＝（ｚ×（ｙ'−ｙ０））／ｆという演算式で求めることができる。なお、この演算式における「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））、「ｆ」は撮像部１０ａ、１０ｂの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、ＢＦは、撮像部１０ａ、１０ｂの基線長Ｂと焦点距離ｆを乗じた値、ｏｆｆｓｅｔは無限遠のオブジェクトを撮影したときの視差である。

【0036】

《Ｕマップ生成処理》
次に、Ｕマップ生成部１３７は、Ｕマップ（U-disparity map）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。

【0037】

頻度Ｕマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１３７では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

【0038】

また、高さＵマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。

【0039】

図７は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図８は、図７の画像例に対応するＵマップである。ここで、図８Ａは頻度Ｕマップであり、図８Ｂは高さＵマップである。

【0040】

図７に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図８Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図８Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

【0041】

また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。

【0042】

《リアルＵマップ生成処理》
次に、リアルＵマップ生成部１３８について説明する。リアルＵマップ生成部１３８では、リアルＵマップ（Real U-disparity map）（「分布データ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。

【0043】

リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。

【0044】

リアルＵマップ生成部１３８は、リアル頻度Ｕマップ生成処理において、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１３８は、Ｕマップ生成部１３７と同様に、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１３８は、Ｕマップ生成部１３７が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。

【0045】

図９は、図８Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。

【0046】

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。

【0047】

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。

【0048】

横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図１０を用いて説明する。

【0049】

カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。

【0050】

カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。

【0051】

また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。

【0052】

図８Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。

【0053】

リアルＵマップには、縦横の長さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。

【0054】

Ｕマップにおける縦方向の長さは、測定可能な最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、測定可能な最短のＺに応じて、ｄの最大値は決定される。また、視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に所定値を乗じて小数部分を四捨五入して整数化した視差値を使用する。

【0055】

測定可能な最短のＺが１／２になると、ｄは２倍になるので，それだけＵマップのデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど画素を間引いてデータを圧縮し、Ｕマップよりもデータ量を削減する。
そのため、ラベリングによるオブジェクト検出を高速に行うことができる。

【0056】

《孤立領域検出》
次に、孤立領域検出部１３９が行う孤立領域検出処理について説明する。図１１は、孤立領域検出処理の一例を示すフローチャートである。孤立領域検出部１３９では、まずリアルＵマップ生成部１３８で生成されたリアル頻度Ｕマップの情報の平滑化を行う（ステップＳ１１１）。

【0057】

これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図９に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（リアル頻度Ｕマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。

【0058】

次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。

【0059】

この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。

【0060】

二値化後の島を検出する方法はラベリングを用いる。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。

【0061】

検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。

【0062】

上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

【0063】

《視差画像の対応領域検出、及びオブジェクト領域抽出》
次に、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１について説明する。図１２は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図１３は、図１２における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図１４は、図１３における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

【0064】

孤立領域検出部１３９によりオブジェクト候補領域として決定された孤立領域について、図１２に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１４０は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

【0065】

視差画像の対応領域検出部１４０は、孤立領域検出部１３９から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図１３に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。

【0066】

次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１３９で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインをオブジェクト候補ラインとする。

【0067】

次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

【0068】

次に、オブジェクト領域抽出部１４１は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図１４に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。

【0069】

図１５は、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。

【0070】

次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。

【0071】

次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。

【0072】

オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。

【0073】

それにより、識別対象物（オブジェクト、物体）を認識することができる。

【0074】

《オブジェクトタイプ分類》
次に、オブジェクトタイプ分類部１４２について説明する。

【0075】

前記オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の高さ（ｙomax−ｙomin）から、下記の式〔２〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax−ｙomin）の単位と同じ単位に変換した値である。

【0076】

Ｈo＝ｚo×（ｙomax−ｙomin）／ｆ …式〔２〕
同様に、オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の幅（ｘomax−ｘomin）から、下記の式〔３〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。

【0077】

Ｗo＝ｚo×（ｘomax−ｘomin）／ｆ …式〔３〕
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔４〕より計算することができる。

【0078】

Ｄo＝ＢＦ×｛（１／（ｄmin−offset）−１／（ｄmax−offset）｝ …式〔４〕
オブジェクトタイプ分類部１４２は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図１６に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。図１６の例では、例えば、幅が１１００ｍｍ未満、高さが２５０ｍｍ未満、かつ奥行きが１０００ｍｍを超えていれば、「オートバイ、自転車」と判定される。また、幅が１１００ｍｍ未満、高さが２５０ｍｍ未満、かつ奥行きが１０００ｍｍ以下であれば、「歩行者」と判定される。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車またはオートバイなのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。

【0079】

《３次元位置決定》
次に、３次元位置決定部１４３の処理について説明する。３次元位置決定部１４３は、自車両１００に対する識別対象物（オブジェクト）の相対的な３次元の位置を決定する。

【0080】

３次元位置決定部１４３は、検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離に基づいて、オブジェクトの３次元座標（実空間）における中心位置を、例えば以下の式により算出する。

【0081】

視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向の中心位置Ｘoおよび高さ方向の中心Ｙo位置は、下記の式〔５〕及び式〔６〕より計算できる。

【0082】

Ｘo＝Ｚ×（region_centerＸ−image_centerＸ）／ｆ …式〔５〕
Ｙo＝Ｚ×（region_centerＹ−image_centerＹ）／ｆ …式〔６〕
《オブジェクトトラッキング》
次に、オブジェクトトラッキング部１４４について説明する。オブジェクトトラッキング部１４４は、以前（過去）のフレームから検出されたオブジェクト（物体）を、今回（現在）のフレームにおいてトラッキング（追跡）する処理を実行する。

【0083】

オブジェクトトラッキング部１４４は、予測部１４４１、及び抽出部１４４２を有する。

【0084】

予測部１４４１は、以前のフレームに基づいて検出された所定の物体の位置に基づき、今回のフレームにおける当該所定の物体の位置を予測する。具体的には、予測部１４４１は、以前の複数のフレームの各オブジェクトの位置を用いて、当該オブジェクトと自車両１００との相対的な移動速度及び移動方向を特定し、この移動速度及び移動方向に基づいて、今回のフレームの視差画像に対する各オブジェクトの位置を予測する。なお、この物体追跡処理には、公知の技術を適用可能である。

【0085】

抽出部１４４２は、今回のフレームから、予測部１４４１により予測された位置に関する条件を満たす複数の物体を抽出する。また、抽出部１４４２は、当該複数の物体の各画像と、当該所定の物体の画像との類似度に基づいて、当該複数の物体のうち、当該所定の物体と同一の物体を抽出する。

【0086】

次に、図１７を参照し、オブジェクトトラッキング部１４４によるオブジェクトトラッキング処理について説明する。図１７は、オブジェクトトラッキング処理の一例を示すフローチャートである。なお、図１７では、オブジェクト領域抽出部１４１により抽出された各オブジェクトのうちの一のオブジェクト（対象オブジェクト）についての処理を説明する。そのため、図１７の処理は、オブジェクト領域抽出部１４１により抽出された各オブジェクトに対して行われる。

【0087】

ステップＳ２０１において、オブジェクトトラッキング部１４４の予測部１４４１は、３次元位置決定部１４３により以前の複数のフレームに基づいて決定された対象オブジェクトの位置に基づき、今回のフレームに対する対象オブジェクトの位置を予測する。例えば、予測部１４４１は、前々回のフレームにおける対象オブジェクトの位置と、前回のフレームにおける対象オブジェクトの位置との差分を、自車両に対する相対速度とする。そして、前回のフレームにおける対象オブジェクトの位置から、当該相対速度の分だけ移動させた位置を、今回のフレームにおける対象オブジェクトの位置であると予測する。すなわち、例えば、相対速度がリアルＵマップ上で横方向（Ｘ軸方向）に１ｍ／フレーム、奥行き方向（Ｙ軸方向）に２ｍ／フレームの場合、横方向に１ｍ、奥行き方向に２ｍ移動させた位置が、今回のフレームにおける対象オブジェクトの位置であると予測される。なお、ステップＳ２０１における位置の予測は、他の公知技術を用いてもよい。

【0088】

続いて、オブジェクトトラッキング部１４４の抽出部１４４２は、ステップＳ２０１で対象オブジェクトについて予測した位置と、今回のフレームに基づいて検出された位置とが、所定の条件を満たす１以上のオブジェクトを抽出する（ステップＳ２０２）。なお、当該所定の条件を満たすか否かの閾値は、例えば設定に応じて変更できるようにしてもよい。また、抽出部１４４２は、例えば今回のフレームに基づいて検出されたオブジェクトの数が所定数以上の場合や、追跡しているオブジェクトの数が所定数以上の場合に、当該所定の条件が満たされにくくなるように、当該閾値を変更してもよい。これにより、例えば、障害物等が比較的多く検出される道路を走行している場合に、今回のフレームで検出された一の物体を、以前のフレームで検出された他の物体と同一であると誤判定される可能性を低減できる。

【0089】

続いて、オブジェクトトラッキング部１４４の抽出部１４４２は、対象オブジェクトの特徴と、抽出した各オブジェクトの特徴とに基づいて、抽出した各オブジェクトのうち、対象オブジェクトと一致するオブジェクトを抽出する（ステップＳ２０３）。これにより、複数のフレームにおいて、同一の物体は、同一の物体として把握される。

【0090】

ステップＳ２０３において、オブジェクトの特徴として、例えば画像の特徴量が用いられてもよい。この場合、例えば、高次局所自己相関特徴抽出法（ＨＬＡＣ：Higher-order Local AutoCorrelation）や、ＨＯＧ(Histogram of Oriented Gradient)等の公知の方法を用いて、画像の特徴量が算出されてもよい。

【0091】

ＨＬＡＣは、画像の濃淡を表す関数g(x, y)の自己相関をＮ次に拡張し、g(x, y)g(x+a1, y+b1)‥g(x+aN, y+bN)の変位ai, biを、参照画素(x, y)周辺の局所領域に限定して、画像の特徴を抽出する方法である。相関の次数を二次まで（３点相関）、変位を３×３画素の局所領域に限定すると、白黒２値画像の場合は、２５次元のパターンとなり、この２５次元のパターンで示される画素値を画像の特徴量とする。

【0092】

ＨＯＧは、入力画像から計算したエッジ画像に対して、各ブロック領域ごとの方位ヒストグラムを特徴量として計算する方法である。

【0093】

抽出部１４４２は、以前のフレームにおける対象オブジェクトの画像の特徴量と、抽出した各オブジェクトの画像の特徴量とをそれぞれ比較することにより、画像間の類似度を算出する。例えば、ＨＬＡＣ等を用いて算出した２つの画像の２５次元の各特徴量間のユークリッド距離を、２つの画像間の類似度として算出する。そして、抽出部１４４２は、例えば、類似度が最も高いオブジェクトを、今回のフレームにおける対象オブジェクトであると判定する。

【0094】

なお、オブジェクトの特徴として、画像の特徴量のみならず、オブジェクトの位置も用いてもよい。例えば、画像の特徴量が対象オブジェクトに近く、かつ、オブジェクトの位置が予測された位置に近い程、値が高くなるスコアを用いてもよい。

【0095】

また、オブジェクトの特徴として、視差画像または基準画像におけるオブジェクトの領域の重なり度も用いてもよい。例えば、画像の特徴量が対象オブジェクトに近く、オブジェクトの位置が予測された位置に近く、かつ、視差画像または基準画像におけるオブジェクトの領域の重なり度が高い程、値が高くなるスコアを用いてもよい。

【0096】

次に、図１８を参照し、図１７のオブジェクトトラッキング処理のより詳細な例について説明する。図１８は、オブジェクトトラッキング処理の詳細な一例を示すフローチャートである。

【0097】

ステップＳ２００１において、予測部１４４１は、３次元位置決定部１４３により以前の複数のフレームに基づいて決定された対象オブジェクトの１以上の候補の位置に基づき、今回のフレームに対する対象オブジェクトの１以上の候補の各々の位置（予測位置）を予測する。なお、対象オブジェクトの候補については後述する。

【0098】

続いて、抽出部１４４２は、オブジェクトタイプ分類部１４２により判定された、対象オブジェクトのオブジェクトタイプを取得する（ステップＳ２００２）。

【0099】

続いて、抽出部１４４２は、ステップＳ２００１で対象オブジェクトの１以上の候補の各々について予測した位置から、対象オブジェクトのオブジェクトタイプに応じた実距離の範囲内に、今回のフレームに基づいて検出されたオブジェクトが複数存在するか否かを判定する（ステップＳ２００３）。ここで、オブジェクトタイプに応じた範囲は、例えば、オブジェクトタイプが「歩行者」等であれば予測位置を中心とする半径２ｍ以内、「小型車」等であれば予測位置を中心とする半径３ｍ以内の範囲とされてもよい。図１９は、対象オブジェクトのオブジェクトタイプに応じた実距離の範囲について説明する図である。図１９（Ａ）では、対象オブジェクトのオブジェクトタイプが「歩行者」等である場合の、予測位置９０１ａからの実距離の範囲９０２ａの例を示す。図１９（Ｂ）では、対象オブジェクトのオブジェクトタイプが「小型車」等である場合の、予測位置９０１ｂからの実距離の範囲９０２ｂの例を示す。このように、自車両に対する相対速度が比較的大きいと考えられるオブジェクトタイプの場合、予測位置からの実距離の範囲が比較的大きく設定される。

【0100】

複数存在しない場合（ステップＳ２００３でＮＯ）、処理を終了する。この場合、範囲内に存在する１のオブジェクトが、対象オブジェクトと一致するオブジェクトであると判定され、以降のフレームにおいて追跡されてもよい。

【0101】

複数存在する場合（ステップＳ２００３でＹＥＳ）、抽出部１４４２は、当該複数のオブジェクトの各々について、対象オブジェクトとの画像の類似度を算出する（ステップＳ２００４）。なお、対象オブジェクトの画像は、以前の複数のフレームの輝度画像または視差画像における対象オブジェクトの領域の画像の平均値を用いてもよい。または、対象オブジェクトが追跡対象とされた際の画像を用いてもよい。

【0102】

続いて、抽出部１４４２は、当該複数のオブジェクトのうち、対象オブジェクトとの画像の類似度が最も高いオブジェクトを、対象オブジェクトと一致するオブジェクトであると判定する（ステップＳ２００５）。

【0103】

続いて、抽出部１４４２は、当該複数のオブジェクトのうち、対象オブジェクトとの画像の類似度が高い順に、所定数以下のオブジェクトを、対象オブジェクトと一致するオブジェクトの候補として選択する（ステップＳ２００６）。
これにより、以降のフレームにおいて、対象オブジェクトと一致するオブジェクトの候補についても、ステップＳ２００５で対象オブジェクトと一致すると判定されたオブジェクトと同様に、対象オブジェクトであるか否かの判定対象とされる。そのため、今回のフレームにおいて例えば一時的な光の反射や、一時的に何らかの物体の影に入ったこと等により、画像の類似度が低く算出され、別のオブジェクトが対象オブジェクトとして追跡された場合でも、以降のフレームにおいて、対象オブジェクトを正しく検出できる。

【0104】

＜変形例＞
次に、図２０を参照し、図１７のオブジェクトトラッキング処理のより詳細な他の例について説明する。図２０は、オブジェクトトラッキング処理の詳細な他の一例を示すフローチャートである。

【0105】

ステップＳ３００１において、予測部１４４１は、３次元位置決定部１４３により以前の複数のフレームに基づいて決定された対象オブジェクトの位置に基づき、今回のフレームに対する対象オブジェクトの位置を予測する。

【0106】

続いて、抽出部１４４２は、ステップＳ３００１で算出した予測位置に基づいて、今回のフレームに対して予想される対象オブジェクトの視差画像内の領域を算出する（ステップＳ３００２）。例えば、抽出部１４４２は、上述した視差画像の対応領域検出部１４０と同様の処理により、対象オブジェクトの視差画像内の領域を算出する。

【0107】

続いて、抽出部１４４２は、ステップＳ３００２で算出した今回のフレームに対して予想される対象オブジェクトの視差画像内の領域と、オブジェクト領域抽出部１４１により抽出された、今回のフレームにおける各オブジェクトのオブジェクト領域との重なり度をそれぞれ算出する（ステップＳ３００３）。

【0108】

ここで、重なり度は、２つの領域の一致度を示す値であり、例えば、今回のフレームに対して予想される対象オブジェクトの視差画像内の領域の面積をＬ、今回のフレームにおける一のオブジェクトのオブジェクト領域の面積をＫとし、当該２つの領域が重なる領域の面積をＭとした場合に、Ｋ及びＬに対するＭの割合としてもよい。この場合、重なり度Ｗは、例えば、下記の式〔７〕より計算できる。

【0109】

Ｗ＝Ｍ／｛（Ｋ＋Ｌ）／２｝ …式〔７〕
図２１は、重なり度について説明する図である。図２１では、今回のフレームに対して予想される対象オブジェクトの視差画像内の領域９１１と、今回のフレームにおける各オブジェクト９１２ａ、９１２ｂのオブジェクト領域９１３ａ、９１３ｂとが重なる領域９１４ａ、９１４ｂの例が示されている。

【0110】

続いて、抽出部１４４２は、今回のフレームにおける各オブジェクトのうち、当該重なり度が第１の閾値以上であるオブジェクトが存在するか否かを判定する（ステップＳ３００４）。

【0111】

当該重なり度が第１の閾値以上であるオブジェクトが存在する場合（ステップＳ３００４でＹＥＳ）、抽出部１４４２は、当該オブジェクトを、対象オブジェクトと一致するオブジェクトであると判定し（ステップＳ３００５）、処理を終了する。

【0112】

当該重なり度が第１の閾値以上であるオブジェクトが存在しない場合（ステップＳ３００４でＮＯ）、抽出部１４４２は、今回のフレームにおける各オブジェクトのうち、当該重なり度が第１の閾値よりも低い第２の閾値以上である１以上のオブジェクトを抽出する（ステップＳ３００６）。なお、第２の閾値以上であるオブジェクトが存在しない場合、処理を終了してもよい。この場合、例えば、以降の所定数のフレームにおいて、対象オブジェクトと一致するオブジェクトが検出できない場合、対象オブジェクトをトラッキングの対象から除外してもよい。

【0113】

続いて、抽出部１４４２は、ステップＳ３００６で抽出した１以上のオブジェクトの各々について、対象オブジェクトとの画像の類似度を算出する（ステップＳ３００７）。

【0114】

続いて、抽出部１４４２は、当該１以上のオブジェクトのうち、対象オブジェクトとの画像の類似度が所定値以上であり、かつ、ステップＳ３００３で算出した重なり度が最も高いオブジェクトを、対象オブジェクトと一致するオブジェクトであると判定する（ステップＳ３００８）。なお、抽出部１４４２は、ステップＳ３００８において、例えば、当該１以上のオブジェクトのうち、画像の類似度に、重なり度に応じた重み係数を乗算した値が最も高いオブジェクトを、対象オブジェクトと一致するオブジェクトであると判定してもよい。これにより、重なり度が一定以上のオブジェクトがなく、対象オブジェクトが検出できない状況であったとしても、条件を緩めてオブジェクトの候補を抽出したうえで、異なる条件により対象オブジェクトを検出するため、精度の高いトラッキングを継続できる。

【0115】

なお、図１８と同様に、今回のフレームで選択した対象オブジェクトと一致するオブジェクトの候補を選択し、当該候補についても、以降のフレームにおいて、ステップＳ３００５またはステップＳ３００８で対象オブジェクトと一致すると判定されたオブジェクトと同様に、対象オブジェクトであるか否かの判定対象としてもよい。この場合、例えば、対象オブジェクトとの画像の類似度が所定値以上であり、かつ、ステップＳ３００３で算出した重なり度が高い順に、所定数以下のオブジェクトを、対象オブジェクトと一致するオブジェクトの候補として選択されてもよい。

【0116】

＜まとめ＞
上述した実施形態によれば、以前のフレームで検出された所定の物体について、今回における当該所定の物体の予測位置が算出される。そして、当該予想位置に応じた条件を満たす複数の物体のうち、前記複数の物体の各画像と、前記所定の物体の画像との類似度に基づいて、前記所定の物体と同一の物体が抽出される。それにより、精度の高いトラッキングを継続できる。

【0117】

なお、距離の値（距離値）と視差値は等価に扱えることから、本実施形態においては距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

【0118】

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。また、上述した各実施形態の一部又は全部を組み合わせることも可能である。

【0119】

例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部の少なくとも一部の処理を行う機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

【0120】

また、上述の実施の形態では、機器制御システム１が自車両１００としての自動車に搭載される例について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体に搭載されるものとしてもよい。

【0121】

また、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、このプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、このプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【符号の説明】

【0122】

１ 機器制御システム
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（「情報処理装置」の一例）
１０３ 表示モニタ
１０４ 車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ 撮像部
１２０ 処理ハードウェア部
１３２ 視差画像生成部
１３４ Ｖマップ生成部（「取得部」の一例）
１３５ 路面形状検出部
１３７ Ｕマップ生成部
１３８ リアルＵマップ生成部
１３９ 孤立領域検出部
１４０ 視差画像の対応領域検出部
１４１ オブジェクト領域抽出部
１４２ オブジェクトタイプ分類部
１４３ ３次元位置決定部（「算出部」の一例）
１４４ オブジェクトトラッキング部
１４４１ 予測部
１４４２ 抽出部
２ 撮像装置

【先行技術文献】

【特許文献】

【0123】

【特許文献1】特開２００９−１２２７８６号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】