特許 6972798 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972798

(24)【登録日】2021年11月8日

(45)【発行日】2021年11月24日

(54)【発明の名称】情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/285 20170101AFI20211111BHJP

   G08G 1/16 20060101ALI20211111BHJP

   G06T 7/00 20170101ALI20211111BHJP

【ＦＩ】

   G06T7/285

   G08G1/16 C

   G06T7/00 650B

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2017-171533(P2017-171533)

(22)【出願日】2017年9月6日

(65)【公開番号】特開2018-88234(P2018-88234A)

(43)【公開日】2018年6月7日

【審査請求日】2020年7月7日

(31)【優先権主張番号】特願2016-226692(P2016-226692)

(32)【優先日】2016年11月22日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】渡邊 元気

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１４−１４６２６７（ＪＰ，Ａ）

【文献】 特開２０１１−２４３１５５（ＪＰ，Ａ）

【文献】 特開２００９−１９３２４１（ＪＰ，Ａ）

【文献】 特開２００６−３３８６１１（ＪＰ，Ａ）

【文献】 国際公開第２０１５／１７０７７６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２８５

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得する取得部と、
前記取得部により取得された前記情報に基づき、前記物体の種別を判定する判定部と、
前記判定部により判定された前記物体の種別に応じた方法により物体の横方向の位置を決定する決定部と、
前記物体の縦方向の位置、前記物体の奥行き方向の位置及び前記決定部により決定された前記物体の横方向の位置に基づいて前記物体を追跡する追跡部と、を備え、
前記決定部は、前記判定部により判定された前記物体の種別が第一の種別である場合には、前記物体の重心の位置を用いた第一の方法により前記物体の横方向の位置を決定する情報処理装置。

【請求項2】

前記決定部は、前記判定部により判定された前記物体の種別が第二の種別である場合には、前記第一の方法とは異なる第二の方法により前記物体の横方向の位置を決定する
請求項１記載の情報処理装置。

【請求項3】

前記決定部は、前記判定部により判定された前記物体の種別が第二の種別である場合には、前記物体の前記横方向における両端の中心の位置を前記物体の横方向の位置と決定する
請求項２記載の情報処理装置。

【請求項4】

前記決定部は、前記情報における前記物体の横方向の各位置に対応する奥行方向の位置の情報の数に基づいて、前記物体の前記横方向における重心の位置を決定する
請求項２または３に記載の情報処理装置。

【請求項5】

複数の撮像部と、
前記複数の撮像部で各々撮影された複数の画像に基づき、前記情報を生成する生成部と、
請求項１乃至４のいずれか一項に記載の情報処理装置と、
を備える撮像装置。

【請求項6】

請求項５に記載の撮像装置と、
前記追跡部により追跡されている前記物体のデータに基づいて、移動体の制御を行う制御部と、
を備え、
前記複数の撮像部は、前記移動体に搭載され、前記移動体の前方を撮像する、機器制御システム。

【請求項7】

前記請求項６に記載の機器制御システムを備え、
前記制御部により制御される移動体。

【請求項8】

コンピュータが、
物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得するステップと、
前記取得された情報に基づき、前記物体の種別を判定するステップと、
前記判定された前記物体の種別に応じた方法により前記物体の横方向の位置を決定するステップと、
前記物体の縦方向の位置、前記物体の奥行き方向の位置及び前記決定された前記物体の横方向の位置に基づいて前記物体を追跡するステップと、を実行し、
前記決定するステップは、前記判定するステップにより判定された前記物体の種別が第一の種別である場合には、前記物体の重心の位置を用いた第一の方法により前記物体の横方向の位置を決定する、情報処理方法。

【請求項9】

コンピュータに、
物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得するステップと、
前記取得された情報に基づき、前記物体の種別を判定するステップと、
前記判定された前記物体の種別に応じた方法により前記物体の横方向の位置を決定するステップと、
前記物体の縦方向の位置、前記物体の奥行き方向の位置及び前記決定された前記物体の横方向の位置に基づいて前記物体を追跡するステップと、を実行させ、
前記決定するステップは、前記判定するステップにより判定された前記物体の種別が第一の種別である場合には、前記物体の重心の位置を用いた第一の方法により前記物体の横方向の位置を決定する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。

【0003】

自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ステレオカメラの画像を用いた測定が実用化されている。

【0004】

このステレオカメラの画像を用いた測定では、あるフレームの視差画像で自車両よりも前方にある車両等の物体を検出した後、それ以降のフレームの視差画像において、当該物体をトラッキング（追跡）する技術が知られている（例えば、特許文献１参照）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来技術では、例えば人が急に手を広げる等の動作をした場合、前回のフレームから検出された人等の物体の位置と、今回のフレームから検出された手を広げた当該人等の物体の位置との差が比較的大きくなる。この場合、同一の物体として追跡できなくなる場合がある。

【0006】

そこで、精度の高いトラッキングを継続できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

情報処理装置において、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報を取得する取得部と、前記取得部により取得された前記情報に基づき、前記物体の種別を判定する判定部と、前記判定部により判定された前記物体の種別に応じた方法により前記物体の横方向の位置を決定する決定部と、前記物体の縦方向の位置、前記物体の奥行き方向の位置及び前記決定部により決定された前記物体の横方向の位置に基づいて前記物体を追跡する追跡部と、を備え、前記決定部は、前記判定部により判定された前記物体の種別が第一の種別である場合には、前記物体の重心の位置を用いた第一の方法により前記物体の横方向の位置を決定する。

【発明の効果】

【0008】

開示の技術によれば、精度の高いトラッキングを継続することが可能となる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る機器制御システムの構成を示す図である。

【図2】実施形態に係る撮像ユニット及び画像解析ユニットの構成を示す図である。

【図3】三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。

【図4】機器制御システムの機能ブロック図の一例を示す図である。

【図5】視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。

【図6】一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。

【図7】基準画像の一例を模式的に表した画像例を示す図である。

【図8】画像例に対応するＵマップを示す図である。

【図9】Ｕマップに対応するリアルＵマップを示す図である。

【図10】Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。

【図11】孤立領域検出処理の一例を示すフローチャートである。

【図12】孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。

【図13】矩形領域に対応する走査範囲を設定した視差画像を示す図である。

【図14】走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

【図15】視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。

【図16】オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。

【図17】３次元位置決定処理の一例を示す図である。

【図18】車両等のオブジェクトの位置を算出する方法について説明する図である。

【図19】歩行者、オートバイ、または自転車であるオブジェクトの位置を算出する方法について説明する図である。

【発明を実施するための形態】

【0010】

以下、実施形態に係る画像処理装置を有する機器制御システムについて説明する。

【0011】

〈機器制御システムの構成〉
図１は、実施形態に係る機器制御システムの構成を示す図である。

【0012】

この機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の複数の撮像画像データ（フレーム）から、自車両前方の物体を検知して追跡し、その追跡結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。

【0013】

撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。

【0014】

画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。

【0015】

画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。なお、表示モニタ１０３はなくともよい。車両走行制御ユニット１０４は、画像解析ユニット１０２による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。

【0016】

〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
図２は、実施形態に係る撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。

【0017】

撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。

【0018】

また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。

【0019】

ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。

【0020】

図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。

【0021】

図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。

【0022】

処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（物体）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。

【0023】

なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。

【0024】

〈物体検出処理〉
次に、図４を参照し、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う機能について説明する。図４は、機器制御システム１の機能ブロック図の一例を示す図である。以下、本実施形態における物体検出処理について説明する。

【0025】

ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂからは輝度画像データが出力される。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。

【0026】

Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …式〔１〕
《視差画像生成処理》
次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差画像情報。「検出対象物の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報」の一例。）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

【0027】

《Ｖマップ生成処理》
次に、Ｖマップ生成部１３４において、視差画像生成部１３２から視差画像データを取得し、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。

【0028】

具体的に説明すると、Ｖマップ生成部１３４は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。

【0029】

図５は視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図５Ａは視差画像の視差値分布の一例を示す図であり、図５Ｂは、図５Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。

【0030】

図５Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３４は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図５Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。

【0031】

図６は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図６Ａが撮影画像であり、図６ＢがＶマップである。即ち、図６Ａに示すような撮影画像から図６Ｂに示すＶマップが生成される。

【0032】

図６Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図６Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。

【0033】

《路面形状検出処理》
次に、本実施形態では、Ｖマップ生成部１３４が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３５において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。

【0034】

図６Ａに示す画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点（路面５０１）は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。

【0035】

撮像部１１０Ａでは自車前方領域を撮像するため、その撮像画像の内容は、図６Ｂに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点（路面５０１）は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。なお、路面の推定により路面の高さが求められるため、当該路面上の物体の高さを求めることができる。これは、公知の方法により算出できる。例えば、推定した路面を表す直線式を求め、視差値ｄ＝０のときの対応するｙ座標ｙ０を路面の高さとする。そして、例えば、視差値がｄでｙ座標がｙ'である場合、ｙ'−ｙ０が視差値ｄのときの路面からの高さを示す。上述の座標（ｄ，ｙ'）の路面からの高さＨは、Ｈ＝（ｚ×（ｙ'−ｙ０））／ｆという演算式で求めることができる。なお、この演算式における「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））、「ｆ」は撮像部１０ａ、１０ｂの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、ＢＦは、撮像部１０ａ、１０ｂの基線長Ｂと焦点距離ｆを乗じた値、ｏｆｆｓｅｔは無限遠のオブジェクトを撮影したときの視差である。

【0036】

《Ｕマップ生成処理》
次に、Ｕマップ生成部１３７は、Ｕマップ（U-disparity map）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。

【0037】

頻度Ｕマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１３７では、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。

【0038】

また、高さＵマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。

【0039】

図７は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図８は、図７の画像例に対応するＵマップである。ここで、図８Ａは頻度Ｕマップであり、図８Ｂは高さＵマップである。

【0040】

図７に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図８Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図８Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。

【0041】

また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。

【0042】

《リアルＵマップ生成処理》
次に、リアルＵマップ生成部１３８について説明する。リアルＵマップ生成部１３８では、リアルＵマップ（Real U-disparity map）（「分布データ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。

【0043】

リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離相当の単位に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。なお、ここにいうリアルＵマップは、実空間を俯瞰的にとらえた俯瞰画像（鳥瞰画像）ということもできる。

【0044】

リアルＵマップ生成部１３８は、リアル頻度Ｕマップ生成処理において、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１３８は、Ｕマップ生成部１３７と同様に、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１３８は、Ｕマップ生成部１３７が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。

【0045】

図９は、図８Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。

【0046】

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。

【0047】

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。

【0048】

横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図１０を用いて説明する。

【0049】

カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。

【0050】

カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。

【0051】

また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。

【0052】

図８Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。

【0053】

リアルＵマップには、縦横の長さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。

【0054】

Ｕマップにおける縦方向の長さは、測定可能な最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、測定可能な最短のＺに応じて、ｄの最大値は決定される。また、視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に所定値を乗じて小数部分を四捨五入して整数化した視差値を使用する。

【0055】

測定可能な最短のＺが１／２になると、ｄは２倍になるので，それだけＵマップのデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど画素を間引いてデータを圧縮し、Ｕマップよりもデータ量を削減する。
そのため、ラベリングによるオブジェクト検出を高速に行うことができる。

【0056】

《孤立領域検出》
次に、孤立領域検出部１３９が行う孤立領域検出処理について説明する。図１１は、孤立領域検出処理の一例を示すフローチャートである。孤立領域検出部１３９では、まずリアルＵマップ生成部１３８で生成されたリアル頻度Ｕマップの情報の平滑化を行う（ステップＳ１１１）。

【0057】

これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図９に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（リアル頻度Ｕマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。

【0058】

次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。

【0059】

この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。

【0060】

二値化後の島を検出する方法はラベリングを用いる。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。

【0061】

検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。

【0062】

上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。

【0063】

《視差画像の対応領域検出、及びオブジェクト領域抽出》
次に、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１について説明する。図１２は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図１３は、図１２における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図１４は、図１３における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。

【0064】

孤立領域検出部１３９によりオブジェクト候補領域として決定された孤立領域について、図１２に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１４０は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。

【0065】

視差画像の対応領域検出部１４０は、孤立領域検出部１３９から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図１３に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。

【0066】

次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１３９で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインをオブジェクト候補ラインとする。

【0067】

次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。

【0068】

次に、オブジェクト領域抽出部１４１は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図１４に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。

【0069】

図１５は、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。

【0070】

次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。

【0071】

次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。

【0072】

オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。

【0073】

それにより、識別対象物（オブジェクト、物体）を認識することができる。

【0074】

《オブジェクトタイプ分類》
次に、オブジェクトタイプ分類部１４２について説明する。

【0075】

前記オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の高さ（ｙomax−ｙomin）から、下記の式〔２〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax−ｙomin）の単位と同じ単位に変換した値である。

【0076】

Ｈo＝ｚo×（ｙomax−ｙomin）／ｆ …式〔２〕
同様に、オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の幅（ｘomax−ｘomin）から、下記の式〔３〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。

【0077】

Ｗo＝ｚo×（ｘomax−ｘomin）／ｆ …式〔３〕
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔４〕より計算することができる。

【0078】

Ｄo＝ＢＦ×｛（１／（ｄmin−offset）−１／（ｄmax−offset）｝ …式〔４〕
オブジェクトタイプ分類部１４２は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図１６に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。図１６の例では、例えば、幅が１１００ｍｍ未満、高さが２５０ｍｍ未満、かつ奥行きが１０００ｍｍを超えていれば、「オートバイ、自転車」と判定される。また、幅が１１００ｍｍ未満、高さが２５０ｍｍ未満、かつ奥行きが１０００ｍｍ以下であれば、「歩行者」と判定される。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車またはオートバイなのか、小型車なのか、トラックなのか等を区別して認識することが可能となる。なお、上述の方法は一例であり、本発明においては、オブジェクトタイプの分類やオブジェクトの位置が特定できれば、種々の方法を利用することができる。

【0079】

《３次元位置決定》
次に、図１７を参照し、３次元位置決定部１４３の処理について説明する。３次元位置決定部１４３は、自車両１００に対する識別対象物（オブジェクト）の相対的な３次元の位置を決定する。

【0080】

図１７は、３次元位置決定処理の一例を示す図である。なお、図１７では、オブジェクト領域抽出部１４１により抽出された各オブジェクトのうちの一のオブジェクト（対象オブジェクト）についての処理を説明する。そのため、３次元位置決定部１４３は、図１７の処理を、オブジェクト領域抽出部１４１により抽出された各オブジェクトに対して行う。

【0081】

ステップＳ２０１において、３次元位置決定部１４３は、対象オブジェクトのオブジェクトタイプが、剛体ではない種別（「第一の種別」の一例。）であるか否かを判定する。なお、剛体とは、変形しない物体であり、剛体である種別とは、例えば「小型車」、「普通車」、「トラック」等である。また、剛体ではない種別とは、例えば、「歩行者」、「オートバイ、自転車」等である。なお、オートバイや自転車自体は剛体であるが、オートバイや自転車の運転者が剛体ではないため、剛体ではない種別と判定される。

【0082】

オブジェクトタイプが剛体である種別（「第二の種別」の一例。）であれば（ステップＳ２０１でＮＯ）、３次元位置決定部１４３は、対象オブジェクトの中心の位置を算出する（ステップＳ２０２）。３次元位置決定部１４３は、検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離に基づいて、オブジェクトの３次元座標における中心位置を、例えば以下の式により算出する。

【0083】

視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向の中心位置Ｘoおよび高さ方向の中心Ｙo位置は、下記の式〔５〕及び式〔６〕より計算できる。

【0084】

Ｘo＝Ｚ×（region_centerＸ−image_centerＸ）／ｆ …式〔５〕
Ｙo＝Ｚ×（region_centerＹ−image_centerＹ）／ｆ …式〔６〕
続いて、３次元位置決定部１４３は、対象オブジェクトの中心の位置を、対象オブジェクトの位置として決定し（ステップＳ２０３）、処理を終了する。

【0085】

図１８は、車両等のオブジェクトの位置を算出する方法について説明する図である。オブジェクトタイプが「歩行者」、または「オートバイ、自転車」でない場合、３次元位置決定部１４３は、例えばオブジェクト領域の中心の位置９０１ａ、９０１ｂ、９０１ｃを、対象オブジェクトの位置とする。これにより、後述する対象オブジェクトの重心の位置９００ａ、９００ｂ、９００ｃを対象オブジェクトの位置とする方法と比較して、ノイズ等の影響を低減することができる。

【0086】

一方、オブジェクトタイプが「歩行者」、または「オートバイ、自転車」であれば（ステップＳ２０１でＹＥＳ）、３次元位置決定部１４３は、対象オブジェクトの重心の位置を算出する（ステップＳ２０４）。これにより、オブジェクトタイプに応じた方法で、対象オブジェクトの横方向の位置を決定することができる。すなわち、オブジェクトタイプが、剛体ではない種別の場合、オブジェクトの横方向における重心の位置が、当該オブジェクトの横方向の位置と決定される。また、オブジェクトタイプが、剛体である種別の場合、オブジェクトの横方向における両端の中心の位置が、当該オブジェクトの横方向の位置と決定される。

【0087】

図１９は、歩行者、オートバイ、または自転車であるオブジェクトの位置を算出する方法について説明する図である。図１９（Ａ）では、歩行者が腕を閉じている場合の重心の位置９１０ａを示している。図１９（Ｂ）では、歩行者が腕を開いている場合の重心の位置９１０ｂを示している。

【0088】

ステップＳ２０４において、３次元位置決定部１４３は、視差画像において、対象オブジェクトの対応領域（例えば、図１３の第１検出島対応領域走査範囲４８１、または第２検出島対応領域走査範囲４８２）を探索範囲とする。そして、当該探索範囲において、当該オブジェクトの視差を示す画素の数を、横方向（ｘ方向）の各位置毎に合計する。例えば、当該オブジェクトの最小視差値から最大視差値内の視差値ｄを有する画素の数を、横方向（ｘ方向）の各位置毎に合計する。そして、３次元位置決定部１４３は、当該合計した数が最も多い横方向の位置を、対象オブジェクトの横方向の位置とする。なお、対象オブジェクトの縦方向の位置は、横方向の重心の位置と同様に求めてもよいし、縦方向の中心の位置としてもよい。

【0089】

続いて、３次元位置決定部１４３は、対象オブジェクトの重心の位置を、対象オブジェクトの位置とし（ステップＳ２０５）、処理を終了する。

【0090】

＜重心の位置の算出方法の変形例＞
ステップＳ２０４において、例えば以下のように重心の位置を算出してもよい。

【0091】

３次元位置決定部１４３は、上述の探索範囲において、当該オブジェクトの視差を示す画素の高さが最も高さが高い横方向の位置を、対象オブジェクトの横方向の重心の位置としてもよい。これは、歩行者、自転車等において、最も高い位置に人の頭があると考えられるためである。

【0092】

または、３次元位置決定部１４３は、基準画像を画像認識することにより人の頭を認識し、認識した人の頭の横方向の位置を、対象オブジェクトの横方向の重心の位置としてもよい。人の頭の認識方法としては、公知の種々の方法が適用可能である。

【0093】

または、３次元位置決定部１４３は、視差画像にける探索範囲に基づいて算出する代わりに、オブジェクト領域抽出部１４１により抽出されたオブジェクト領域に対応するリアルＵマップ上の孤立領域に基づいて、対象オブジェクトの重心の位置を算出してもよい。この場合、３次元位置決定部１４３は、例えば、孤立領域において、各Ｘ座標の位置毎に、Ｙ軸に沿って視差頻度の合計値を算出する。そして、３次元位置決定部１４３は、当該合計値が最も多いＸ座標を、対象オブジェクトの横方向の重心の位置とする。

【0094】

《オブジェクトトラッキング》
次に、オブジェクトトラッキング部１４４について説明する。オブジェクトトラッキング部１４４は、以前（過去）のフレームの視差画像から検出されたオブジェクト（物体）をトラッキング（追跡）する処理を実行する。

【0095】

オブジェクトトラッキング部１４４は、３次元位置決定部１４３により、以前の複数のフレームの視差画像に基づいて決定された、各オブジェクトの位置に基づき、今回のフレームの視差画像に対する各オブジェクトの位置を予測する。具体的には、オブジェクトトラッキング部１４４は、以前の複数のフレームの各オブジェクトの位置を用いて当該オブジェクトと自車両１００との相対的な移動速度及び移動方向を特定し、この移動速度及び移動方向に基づいて、今回のフレームの視差画像に対する各オブジェクトの位置を予測する。この物体追跡処理には、周知の技術が適用可能である。しかし、移動速度及び移動方向を用いて物体追跡処理を行う場合、剛体でない人等の物体が、例えば手を広げることにより当該物体を検出した位置がフレーム間で変動すれば、それに伴って当該物体が移動したとみなされてしまい、誤った物体追跡処理が発生してしまう。これを、前述のように重心位置を採用することにより防止する。一方で、剛体である物体については、オブジェクト領域に基づいた位置を採用することで、ノイズ等の影響を低減できるようになる。

【0096】

そして、オブジェクトトラッキング部１４４は、以前のフレームの視差画像におけるオブジェクトの領域の視差画像と、予測位置に対する今回のフレームの視差画像における領域の視差画像との類似度に基づいて、オブジェクトの追跡を継続する。これにより、複数のフレームにおいて、同一の物体は、同一の物体として把握される。

【0097】

オブジェクトトラッキング部１４４は、例えば日光の反射や、暗い等により、物体の視差が十分に測定できていない場合、または、歩行者、及び当該歩行者に隣接する物体が一つの物体であると誤判定された場合、当該物体の位置を推定する。この場合、オブジェクトトラッキング部１４４は、以前の複数のフレームにおける当該物体の自車両１００との相対的な移動速度及び移動方向に基づいて、今回のフレームの視差画像におけるオブジェクト領域を推定する。そして、オブジェクトトラッキング部１４４は、当該物体が人等の剛体でない物体である場合は、重心の位置を求めるため、以前の複数のフレームにおける当該物体のオブジェクト領域の横方向の右端の位置と重心の位置、及び左端の位置と重心の位置の比を算出する。そして、オブジェクトトラッキング部１４４は、今回のフレームの視差画像において推定されたオブジェクト領域の横方向を当該比で分割した位置を、今回のフレームの視差画像におけるオブジェクトの重心の位置と推定する。

【0098】

例えば、以前の複数のフレームにおける当該物体のオブジェクト領域の横方向の右端の位置と重心の位置、及び左端の位置と重心の位置の比の平均が２対１の場合、今回のフレームの視差画像において推定されたオブジェクト領域の横方向を２対１に分割した位置が、今回のフレームの視差画像におけるオブジェクトの重心の位置と推定される。

【0099】

＜まとめ＞
従来、歩行者や自転車の運転手等の人が手を横方向に急に広げた場合、物体の横方向における両端の中心の位置が急激に変化するため、追跡できなくなる場合がある。
また、例えば以前の複数のフレームにおける物体の位置に基づいて、今回のフレームにおける当該物体の位置を予測して追跡する場合、歩行者や自転車の運転手等の人が手を横方向に急に広げると、手を広げた先が当該人の移動方向と誤認識されて、位置の予測精度が低下する場合がある。

【0100】

上述した実施形態によれば、物体の種別に応じて、視差画像における物体の位置を決定する。それにより、精度の高いトラッキングを継続できる。

【0101】

なお、距離の値（距離値）と視差値は等価に扱えることから、本実施形態においては距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

【0102】

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

【0103】

例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部の少なくとも一部の処理を行う機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

【0104】

また、上述の実施の形態では、機器制御システム１が自車両１００としての自動車に搭載される例について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体に搭載されるものとしてもよい。

【0105】

また、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、このプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、このプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【符号の説明】

【0106】

１ 機器制御システム
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（「情報処理装置」の一例）
１０３ 表示モニタ
１０４ 車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ 撮像部
１２０ 処理ハードウェア部
１３２ 視差画像生成部（「生成部」の一例）
１３４ Ｖマップ生成部（「取得部」の一例）
１３５ 路面形状検出部
１３７ Ｕマップ生成部
１３８ リアルＵマップ生成部
１３９ 孤立領域検出部
１４０ 視差画像の対応領域検出部
１４１ オブジェクト領域抽出部
１４２ オブジェクトタイプ分類部（「判定部」の一例）
１４３ ３次元位置決定部（「決定部」の一例）
１４４ オブジェクトトラッキング部（「追跡部」の一例）
２ 撮像装置

【先行技術文献】

【特許文献】

【0107】

【特許文献1】特開平１０−２８３４６２号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】