特許 6114572 対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6114572

(24)【登録日】2017年3月24日

(45)【発行日】2017年4月12日

(54)【発明の名称】対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170403BHJP

   G06T 1/00 20060101ALI20170403BHJP

   G05D 1/02 20060101ALI20170403BHJP

   G08G 1/16 20060101ALI20170403BHJP

   B60R 21/00 20060101ALI20170403BHJP

【ＦＩ】

   G06T7/00 250

   G06T1/00 330A

   G06T1/00 315

   G05D1/02 K

   G08G1/16 C

   B60R21/00 624C

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2013-35753(P2013-35753)

(22)【出願日】2013年2月26日

(65)【公開番号】特開2014-164564(P2014-164564A)

(43)【公開日】2014年9月8日

【審査請求日】2015年10月14日

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100093056

【弁理士】

【氏名又は名称】杉谷 勉

(74)【代理人】

【識別番号】100142930

【弁理士】

【氏名又は名称】戸高 弘幸

(74)【代理人】

【識別番号】100175020

【弁理士】

【氏名又は名称】杉谷 知彦

(74)【代理人】

【識別番号】100180596

【弁理士】

【氏名又は名称】栗原 要

(72)【発明者】

【氏名】加畑 俊之介

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開平１１−０３８１４１（ＪＰ，Ａ）

【文献】 特開２０１０−２２４９１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０６Ｔ １／００

Ｂ６０Ｒ ２１／００

Ｇ０５Ｄ １／０２

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

前方の画像を撮影する撮影ステップと、
前記画像を基に視差画像を作成する視差画像作成ステップと、
前記視差画像を基に距離情報を抽出する距離情報抽出ステップと、
前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割ステップと、
前記画像または前記視差画像において、前記クラスタの中から前記クラスタの大きさを基に撮影された対象物の横方向の存在領域を判定する横方向対象物領域判定ステップと、
前記画像または前記視差画像において、撮影された対象物の縦方向の存在領域を判定する縦方向対象物領域判定ステップと、
を備え、
前記横ラインは少なくとも２つ以上有し、
前記対象物縦方向領域判定ステップは、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが無い場合、前記画像または前記視差画像の上限を前記対象物の存在領域の上限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが有る場合、前記最も上の横ラインよりも１本上の横ラインを前記対象物の存在領域の上限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが無い場合、前記画像または前記視差画像の下限を前記対象物の存在領域の下限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが有る場合、前記最も下の横ラインの１本下の横ラインを対象物の存在領域の下限とする
対象物領域推定方法。

【請求項2】

前方の画像を撮影する画像センサと、
前記画像を基に視差画像を作成する視差画像作成部と、
前記視差画像を基に距離情報を抽出する距離情報抽出部と、
前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割部と、
前記クラスタの中から前記クラスタの大きさを基に対象物の横方向の存在領域を判定する横方向対象物領域判定部と、
前記画像または前記視差画像において、撮影された対象物の縦方向の存在領域を判定する縦方向対象物領域判定部と、
を備え、
前記横ラインは少なくとも２つ以上有し、
前記縦方向対象物領域判定部は、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが無い場合、前記画像または前記視差画像の上限を前記対象物の存在領域の上限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが有る場合、前記最も上の横ラインよりも１本上の横ラインを前記対象物の存在領域の上限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが無い場合、前記画像または前記視差画像の下限を前記対象物の存在領域の下限とし、
前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが有る場合、前記最も下の横ラインの１本下の横ラインを対象物の存在領域の下限とする
対象物領域推定装置。

【請求項3】

請求項２に記載の対象物領域推定装置において、
前記クラスタの大きさは前記クラスタの幅である
対象物領域推定装置。

【請求項4】

請求項２に記載の対象物領域推定装置において、
前記クラスタ分割部は、前記画像または前記視差画像において予め定められた縦ライン上の前記距離情報を基に、前記縦ライン上の画素を複数のクラスタに分割し、
前記対象物領域判定部は、前記クラスタの中から前記横ライン上の前記クラスタの幅と前記縦ライン上の前記クラスタの高さとを基に対象物の存在領域を判定する
対象物領域推定装置。

【請求項5】

請求項２から４のいずれか１つに記載の対象物領域推定装置と、
前記対象物領域推定装置により推定された対象物領域において対象物を検出する対象物検出部とを
備えた対象物検出装置。

【請求項6】

請求項５に記載の対象物検出装置において、
前記対象物は人である対象物検出装置。

【請求項7】

請求項５または６に記載の対象物検出装置を備えた車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像センサを用いて対象物の存在領域を推定する対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両に関する。

【背景技術】

【0002】

従来、ゴルフ場内の走路を走行するゴルフカートには自動走行機能を有しているものがある。自動走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面に超音波センサを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。超音波センサにより障害物が検出されると、ゴルフカートは減速または停止の制御が実施される（特許文献１参照）。

【0003】

また、障害物として特に人を検出する場合、画像処理にて人を検出する方法がある。人を検出する場合、検出対象となる人は画像の様々な位置に様々な大きさで存在するので、画像内を様々な位置にて様々な大きさで人の存在を判定する必要がある。そこで、画像モデルとして抽象化された矩形領域を用いて画像全体をスキャンすることで、人が存在しそうな領域を検出する。この矩形領域は様々な大きさのものを用いる。これにより、人が存在しそうな領域を検出することができる。

【0004】

図１７および図１８は、障害物や人などの対象物の領域を検出する方法を示す説明図である。画像Ｉｍに対して検出窓Ｗ１、Ｗ２をそれぞれスキャンすることで対象物が存在しそうな領域を検出する。検出窓において直接ＨＯＧ（Histograms of Oriented Gradients）特徴を求めて対象物を検出する方法と、検出窓をテンプレートマッチングとして用いて対象物の存在領域を推定した後に、該当する領域にてＨＯＧ（Histograms of Oriented Gradients）特徴を求めて対象物を検出する方法とがある（特許文献２参照）。

【0005】

（１）特許文献１の技術
特許文献１に記載のゴルフカートには自動走行装置が搭載されている。これにより、走路上に設けられた誘導線に沿って走路を自動走行することができる。また、超音波センサを用いて障害物までの距離を計測し、その距離に応じて障害物の有無を判定することが記載されている。

【0006】

（２）特許文献２の技術
特許文献２には物体の検出装置および検出方法が記載されている。画像フレームの左から右に向けて、しかも上から下へ、画像モデルである矩形領域を順次スキャンすることで、人が存在しそうな領域を検出する。この検出領域のＨＯＧ特徴量を計算することで、人であるかどうかの判定をすることが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００３−５８３２号公報

【特許文献2】特開２０１１−２４８５２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、画像全体を様々な大きさの矩形領域でスキャンすることは大きな演算負荷であり、多くの演算時間を必要とする。特に、処理能力が低い演算装置で判定処理を実施する場合、より多くの処理時間を必要とする。この結果、障害物や人などの対象物を検出するのに多大な時間が経過してしまい、対象物を検出した後の処理に支障をきたし、システム全体としての機能が損なわれる問題がある。

【0009】

本発明は、このような事情に鑑みてなされたものであって、対象物の存在領域を簡易に推定できる対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明に係る第１の発明は、前方の画像を撮影する撮影ステップと、前記画像を基に視差画像を作成する視差画像作成ステップと、前記視差画像を基に距離情報を抽出する距離情報抽出ステップと、前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割ステップと、前記画像または前記視差画像において、前記クラスタの中から前記クラスタの大きさを基に撮影された対象物の横方向の存在領域を判定する横方向対象物領域判定ステップと、前記画像または前記視差画像において、撮影された対象物の縦方向の存在領域を判定する縦方向対象物領域判定ステップと、を備え、前記横ラインは少なくとも２つ以上有し、前記対象物縦方向領域判定ステップは、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが無い場合、前記画像または前記視差画像の上限を前記対象物の存在領域の上限とし、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが有る場合、前記最も上の横ラインよりも１本上の横ラインを前記対象物の存在領域の上限とし、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが無い場合、前記画像または前記視差画像の下限を前記対象物の存在領域の下限とし、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが有る場合、前記最も下の横ラインの１本下の横ラインを対象物の存在領域の下限とする対象物領域推定方法である。

【0011】

第１の発明によれば、撮影ステップにより前方の画像を撮影する。視差画像作成ステップでは、撮影された画像を基に視差画像を作成する。距離情報抽出ステップでは、作成された視差画像を基に距離情報を抽出する。クラスタ分割ステップでは、画像または視差画像において予め定められた横ライン上の距離情報を基に、横ライン上の画素を複数のクラスタに分割する。横方向対象物領域判定ステップでは、クラスタの中からクラスタの大きさを基に対象物の横方向の存在領域を判定する。

【0012】

対象物領域を推定するのに、予め定められたライン上の距離情報だけを用いるので、演算負荷の軽減および演算速度の向上をすることができる。また、クラスタ分割することで画素のグルーピングを簡易に行うことができ、対象物の大きさとの比較を容易にすることができる。

【0013】

また、本発明に係る第２の発明は、前方の画像を撮影する画像センサと、前記画像を基に視差画像を作成する視差画像作成部と、前記視差画像を基に距離情報を抽出する距離情報抽出部と、前記画像または前記視差画像において予め定められた横ライン上の前記距離情報を基に、前記横ライン上の画素を複数のクラスタに分割するクラスタ分割部と、前記クラスタの中から前記クラスタの大きさを基に対象物の横方向の存在領域を判定する横方向対象物領域判定部と、前記画像または前記視差画像において、撮影された対象物の縦方向の存在領域を判定する縦方向対象物領域判定部と、を備え、前記横ラインは少なくとも２つ以上有し、前記縦方向対象物領域判定部は、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが無い場合、前記画像または前記視差画像の上限を前記対象物の存在領域の上限とし、 前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も上の横ラインよりも上に別の横ラインが有る場合、前記最も上の横ラインよりも１本上の横ラインを前記対象物の存在領域の上限とし、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが無い場合、前記画像または前記視差画像の下限を前記対象物の存在領域の下限とし、前記画像または前記視差画像において、予め定められた範囲内の大きさのクラスタを有する最も下の横ラインよりも下に別の横ラインが有る場合、前記最も下の横ラインの１本下の横ラインを対象物の存在領域の下限とする対象物領域推定装置である。

【0014】

第２の発明によれば、画像センサにより前方の画像を撮影する。視差画像作成部は、撮影された画像を基に視差画像を作成する。距離情報抽出部は、作成された視差画像を基に距離情報を抽出する。クラスタ分割部は、画像または視差画像において予め定められた横ライン上の距離情報を基に、横ライン上の画素を複数のクラスタに分割する。横方向対象物領域判定部は、クラスタの中からクラスタの大きさを基に対象物の横方向の存在領域を判定する。

【0015】

対象物領域を推定するのに、予め定められたライン上の距離情報だけを用いるので、演算負荷の軽減および演算速度の向上をすることができる。また、クラスタ分割することで画素のグルーピングを簡易に行うことができ、対象物の大きさとの比較を容易にすることができる。

【0016】

また、前記クラスタの大きさは前記クラスタの幅であることが好ましい。対象物の幅の大きさはある程度決められた上限を有するので、クラスタの幅を基準とすることで精度良く対象物の存在領域を推定することができる。

【0017】

また、前記クラスタ分割部は、前記画像または前記視差画像において予め定められた縦ライン上の前記距離情報を基に、前記縦ライン上の画素を複数のクラスタに分割し、前記対象物領域判定部は、前記クラスタの中から前記横ライン上の前記クラスタの幅と前記縦ライン上の前記クラスタの高さとを基に対象物の存在領域を判定することが好ましい。

【0018】

クラスタ分割部は、予め定められた横ライン上の画素のクラスタ分割に加えて、予め定められた縦ライン上の距離情報を基に、縦ライン上の画素のクラスタ分割も行う。対象物領域判定部は、分割されたクラスタの中から、横ライン上のクラスタの幅と縦ライン上のクラスタの高さとを基に対象物の存在領域を判定する。横ラインにおけるクラスタの幅に加えて、縦ラインにおけるクラスタの高さによっても対象物領域を推定するので、推定精度を向上させることができる。また、横ライン単独の場合に比べて、対象物がライン上に有る頻度が上がるので、対象物との距離が離れていても対象物領域を推定しやすくなる。

【0019】

また、前記横ラインを複数個有し、前記対象物領域判定部は、前記視差画像上における予め定められた範囲内の大きさのクラスタを有する横ラインの座標および予め定められた範囲内の大きさのクラスタを有さない横ラインの座標を基に対象物の存在領域を判定してもよい。横ラインを複数個備えることで、より対象物の存在領域の推定範囲を制限することができる。視差画像上における予め定められた範囲内の大きさのクラスタを有する横ラインと予め定められた範囲内の大きさのクラスタを有さない横ラインとの位置関係により、横方向および縦方向の対象物領域を推定することができる。

【0020】

また、本発明に係る対象物検出装置は、上記対象物領域推定装置と、対象物領域推定装置により推定された対象物領域において対象物を検出する対象物検出部とを備える。上記対象物領域推定装置を備えるので、対象物領域を推定することができる。この推定された対象物領域内だけで対象物を検出すればよいので、スキャン領域を制限することができ、対象物の検出時間を短縮することができる。

【0021】

また、前記対象物は人でもよい。人のように形状のバラツキや動きのある対象物に対しても、精度良く領域を推定することができ検出することができる。

【0022】

また、本発明に係る車両は、上記対象物検出装置を備える車両である。上記対象物検出装置を備えるので、対象物を高速に検出することができるので、対象物との接触回避を向上することができる。

【発明の効果】

【0023】

本発明によれば、対象物の存在領域の簡易に推定できる対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両を提供することができる。

【図面の簡単な説明】

【0024】

【図1】実施例１に係る車両の前面図である。

【図2】実施例１に係る車両の構成を示すブロック図である。

【図3】実施例１に係る対象物検出装置の構成を示すブロック図である。

【図4】実施例１に係るステレオカメラと距離情報の向きとの関係を示す説明図である。

【図5】実施例１に係る視差画像と予め設定されたラインとの関係を示す説明図である。

【図6】実施例１に係る前方距離情報の可視化グラフである。

【図7】実施例１に係るクラスタ分割された前方距離情報の可視化グラフである。

【図8】実施例１に係る保管されている距離情報を示す説明図である。

【図9】実施例１に係る対象物検出の流れを示すフローチャートである。

【図10】実施例１に係る制限されたスキャン領域を示す説明図である。

【図11】実施例２に係る対象物検出装置の構成を示すブロック図である。

【図12】実施例２に係る縦方向のスキャン領域制限を示す説明図である。

【図13】実施例２に係る縦方向のスキャン領域制限を示す説明図である。

【図14】実施例２に係る対象物検出の流れを示すフローチャートである。

【図15】実施例２に係る制限されたスキャン領域を示す説明図である。

【図16】変形例に係る縦および横方向のスキャン領域制限を示す説明図である。

【図17】従来例に係る対象物領域の検出方法を示す説明図である。

【図18】従来例に係る対象物領域の検出方法を示す説明図である。

【発明を実施するための形態】

【実施例1】

【0025】

以下、図面を参照して本発明の実施例１を説明する。本発明における車両の実施形態として、自動走行するゴルフカートを挙げる。車両はゴルフカートに限られず、工場や果樹園で走行する無人搬送車も含まれる。また、車両は４輪車に限られず、３輪車でもよいし、モノレール型でもよい。なお、以下の説明で、前後および左右とは車両１の前進する方向を基準としている。

【0026】

１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自動または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自動走行することができる。車両１の前面中央部にステレオカメラ３が設けられている。

【0027】

また、車両１には、車両１の前方の対象物を検出する対象物検出装置５と、車両１が誘導線に沿って自動走行するのを制御する自動走行制御部７と、対象物検出装置５が対象物を検出すると運転者および周囲に警告を発生する警告出力部８と、対象物の検出により減速または停止の制御をする車速制御部９と、車輪を駆動し、車速制御部９により回転数が制御される駆動モータ１１とが設けられている。本実施例において、車両１は駆動モータ１１で駆動されるがこれに限らず、エンジンにより駆動されてもよい。

【0028】

２．対象物検出装置の構成
次に図３を参照して車両１に備えられた対象物検出装置５の構成を説明する。図３は、対象物検出装置の構成を示すブロック図である。

【0029】

対象物検出装置５は、対象物領域推定装置１３と対象物を検出する対象物検出部１５とを備える。対象物領域推定装置１３は、撮影した画像に対して対象物が存在すると推定される領域を検出する。これにより、対象物の検出のためのスキャン領域を制限することができる。対象物検出部１５は、画像中の制限された領域をスキャンして対象物を検出する。

【0030】

対象物領域推定装置１３は、車両１の前方の画像を撮影するステレオカメラ３と、ステレオカメラ３により撮影された画像を一時的に保管する画像バッファ１７と、ステレオカメラ３により撮影された画像を基に視差画像を作成する視差画像作成部１９と、作成された視差画像から各画素の距離情報を抽出する距離情報抽出部２１と、抽出された距離情報を保管する距離情報バッファ２３と、抽出された距離情報を基に視差画像における画素をクラスタ分割するクラスタ分割部２５と、分割された各クラスタを基に、対象物が存在する領域を判定する対象物領域判定部２７と、対象物が存在すると判定された領域をスキャン領域として設定するスキャン領域設定部２９とを備える。視差画像作成部１９、距離情報抽出部２１、クラスタ分割部２５、対象物領域判定部２７、スキャン領域設定部２９、および、対象物検出部１５はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。次にそれぞれの構成部について順に説明する。

【0031】

ステレオカメラ３は、２個の画像センサ３ａ、３ｂで構成される。なお、ステレオカメラ３は、２個以上の画像センサで構成されてもよい。左画像センサ３ａおよび右画像センサ３ｂはＣＣＤやＣＭＯＳなど一般的な可視光センサである。左画像センサ３ａ、右画像センサ３ｂは予め定められた幾何条件の下で設置されている。実施例１では、左画像センサ３ａ、右画像センサ３ｂは水平方向に一定距離を保たれて設置されている。すなわち、左画像センサ３ａおよび右画像センサ３ｂはそれぞれ平行ステレオの位置関係で配置されている。左画像センサ３ａ、右画像センサ３ｂは、それぞれ撮影された画像の各行の位置が一致するように、すなわち、エピポーラ線が一致するように、予めカメラキャリブレーションが実施されている。左画像センサ３ａで撮影された画像を左眼画像とし、右画像センサ３ｂで撮影された画像を右眼画像とする。実施例１では左画像センサ３ａを基準カメラとし、左眼画像を基準画像とする。なお、右眼画像を基準画像としてもよい。

【0032】

画像バッファ１７は、ステレオカメラ３から送られる画像、すなわち、画像センサ３ａ、３ｂから送られる各画像を一時的に保管する。画像センサ３ａ、３ｂの保管された各画像は順に視差画像作成部１９へ出力される。画像バッファ１７は、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などを用いる。

【0033】

視差画像作成部１９は、入力される各画像から視差画像を作成する。実施例１では、画像バッファ１７に保管されている左眼画像および右眼画像を基に視差画像を作成する。視差画像は例えば、ステレオマッチングにより作成することができる。ステレオマッチングとして面積相関法を用いる。面積相関法は、注目画素を中心に一定の大きさのウィンドウ単位で各画像の一致度を計算し、最も一致度が高くなるようにステレオマッチングする。さらに、一致度が最も高い状態における注目画素の視差を算出する。ここでの視差は複数画像間の画素のズレ量を示す。実施例１において、視差は、左眼画像に対する右眼画像の横方向の画素のズレ量である。ステレオマッチングの方法は、他にも、ＳＡＤ（Sum of absolute differences）や、Census transformが挙げられる。なお、視差画像上のＸ座標およびＹ座標は基準画像上のＸ座標およびＹ座標と同じである。

【0034】

距離情報抽出部２１は、視差画像を基に、予め設定された横ライン上の各画素が表示する被写体までの実空間上の距離を抽出する。視差画像から距離を抽出する方法は、従来から利用されている平行ステレオ法を用いる。すなわち、２台の画像センサ３ａ、３ｂ間の距離（ステレオカメラ３の基線長）Ｔ、および、２台の画像センサ３ａ、３ｂの焦点距離ｆと視差画像を用いることで、視差画像および基準画像の各画素に対応した距離情報を算出することができる。

【0035】

視差画像上の座標（Ｘ_Ｃ、Ｙ_Ｃ）に対する距離情報は以下の式にて求めることができる。
ｄ＝ｎｐ ・・・（１）
Ｚ_Ｄ＝ｆＴ／ｄ ・・・（２）
Ｘ_Ｄ＝Ｚ_Ｄ（Ｘ_Ｃ−ｎｐ）ｆ ・・・（３）
Ｙ_Ｄ＝Ｚ_Ｄ・Ｙ_Ｃ／ｆ ・・・（４）
ここで、（Ｘ_Ｃ、Ｙ_Ｃ）は視差画像の中央を原点とした視差画像における座標であり、（Ｘ_Ｄ，Ｙ_Ｄ，Ｚ_Ｄ）は、視差画像の座標（Ｘ_Ｃ、Ｙ_Ｃ）に対応する距離情報である。また、ｄは視差距離であり、ｎは視差画素数であり、ｐは画像センサ３ａ、３ｂの画素ピッチである。ステレオカメラ３と距離情報（Ｘ_Ｄ，Ｙ_Ｄ，Ｚ_Ｄ）の方向が図４に図示されている。ステレオカメラ３の横方向にＸ_Ｄ軸が設けられ、ステレオカメラ３の縦方向にＹ_Ｄ軸が設けられ、ステレオカメラ３の前方向（奥行き方向）にＺ_Ｄ軸が設けられている。演算された各距離情報は視差画像および基準画像の各画素に対応して距離情報バッファ２３に保管される。

【0036】

図５を参照して説明する。図５は視差画像と予め設定されたラインとの関係を示す説明図である。ラインＬ１は視差画像上においてＹ_ＣＬ１のＹ座標を有し、ラインＬ２は視差画像上においてＹ_ＣＬ２のＹ座標を有し、ラインＬ３は視差画像上においてＹ_ＣＬ３のＹ座標を有する。このように、各ラインＬ１〜Ｌ３のＹ座標は予め設定されている。距離情報抽出部２１はこれら各ラインＬ１〜Ｌ３上の画素に対応する距離情報を抽出する。すなわち、視差画像において、Ｙ座標がＹ_ＣＬ１、Ｙ_ＣＬ２、Ｙ_ＣＬ３の画素に対応する距離情報を抽出する。例えば、ラインＬ１上の抽出された奥行き方向の可視化された距離情報が図６に示されている。なお、実施例１ではラインを３本設定しているが、ラインは１本でもよいし、その他複数本設定してもよい。なお、距離情報抽出部２１は、各ラインＬ１〜Ｌ３上の画素の距離情報を優先的に抽出し、その後で視差画像における他の画素の距離情報を抽出する。

【0037】

クラスタ分割部２５は、視差画像において予め定められた横方向のライン上の画素と対応する距離情報を基に、ライン上の各画素を設定された個数のクラスタ（塊）に分割する。クラスタ分割の方法は従来からあるウォード（Ward）法を採用する。ウォード法以外の方法を用いてクラスタ分割してもよい。実施例１では、奥行き方向（Ｚ_Ｄ軸）の距離情報および横方向（Ｘ_Ｄ軸）の距離情報を基に、４個のクラスタに分割する。しかしながら、分割するクラスタの個数は４個に限らず適切に設定してもよい。これにより、ライン上の各画素が奥行き距離および横向き距離に応じてクラスタ分割されるので、互いの距離が近い画素群が１個のクラスタとしてグループ化される。

【0038】

図７には、クラスタ分割された奥行き方向の距離情報のグラフが示されている。ラインＬ１上の各画素がＣＬ１〜ＣＬ４の４個のクラスタに分割されている。なお、実施例１では、車両１に最も近いクラスタにクラスタ番号ＣＬ１が設定され、距離が離れるにつれ、クラスタ番号ＣＬ_ＮＯが順に振り分けられている。分割されたクラスタに対応するクラスタ番号ＣＬ_ＮＯ（ＣＬ１〜ＣＬ４）は、各画素のＸ座標と関連づけて距離情報バッファ２３に格納される。

【0039】

距離情報バッファ２３は、視差画像および基準画像の画素と対応付けられた各距離情報を保管する。図８には、予め定めらた各ラインＬ１〜Ｌ３のＸ座標と各距離情報との関連が示されている。すなわち、各ラインＬ１〜Ｌ３における、基準画像（視差画像）上のＸ座標値、Ｙ座標値、および、横方向距離Ｘ_Ｄ、縦方向距離Ｙ_Ｄ、奥行き方向距離Ｚ_Ｄ、および、クラスタ番号ＣＬ_ＮＯとが関連付けられて保管されている。距離情報バッファ２３として、例えば、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などが挙げられる。

【0040】

対象物領域判定部２７は、奥行き距離が最も小さいクラスタから順に各クラスタが対象物であるかどうかを判定する。各クラスタのクラスタ幅が予め定められた閾値の範囲内であれば対象物であると判定する。ここで、クラスタ幅とは、分割された各クラスタが有する実際の横方向の距離情報における最小値と最大値との幅である。例えば、図７のクラスタＣＬ１における最小値はＸ_Ｄ１であり最大値はＸ_Ｄ２であるので、クラスタＣＬ１の幅は（Ｘ_Ｄ２−Ｘ_Ｄ１）である。このように、対象物領域判定部２７は、各クラスタのクラスタ幅を算出し、各クラスタ幅が予め定められた設定範囲内かどうかを判定する。対象物として人を検出する場合、例えば、設定範囲を１ｍ以下に設定すればよい。

【0041】

スキャン領域設定部２９は、対象物であると判定されたクラスタの横方向の視差画像（基準画像）上の最大値座標および最小値座標をスキャン領域の最大値座標および最小値座標に設定する。これにより、対象物を検出する横方向のスキャン領域が制限される。

【0042】

対象物検出部１５は、画像バッファ１７から基準画像を取得し、スキャン領域設定部からスキャン領域座標を取得する。対象物検出部１５は、設定されたスキャン領域において、基準画像内を複数の大きさの検出窓をラスタスキャンさせて、対象物を検出する。対象物は、障害物であってもよいし、人であってもよい。人を検出する場合、ＨＯＧ特徴を用いて検出することができる。ＨＯＧ特徴を用いる場合、スキャン領域のみ距離情報を抽出すればよいので、画像全体の距離情報を抽出するのに比べて大幅に演算量を低減することができる。

【0043】

次に、実施例１における対象物検出の動作を図９を用いて説明する。図９は対象物検出の処理手順を示すフローチャートである。

【0044】

車両１の前面に設けられたステレオカメラ３により前方の画像を撮影する（ステップＳ０１）。撮影された左眼画像および右眼画像は画像バッファ１７に格納する。次に、画像バッファ１７に格納されている画像を基に、視差画像作成部１９が視差画像を作成する（ステップＳ０２）。次に、距離情報抽出部２１は、作成された視差画像において予め定められた高さ（Ｙ_ＣＬ１、Ｙ_ＣＬ２、Ｙ_ＣＬ３座標）のラインＬ１、Ｌ２、Ｌ３上の画素における横（Ｘ_Ｄ）方向、縦（Ｙ_Ｄ）方向、および、奥行き（Ｚ_Ｄ）方向の距離情報を抽出する（ステップＳ０３）。

【0045】

抽出された距離情報は距離情報バッファ２３へ格納される。また、抽出された距離情報を基に、クラスタ分割部２５は各ラインＬ１〜Ｌ３上の画素をクラスタ分割する（ステップＳ０４）。クラスタ分割されて振り分けられたクラスタ番号ＣＬ_ＮＯは、対応する視差画像上の画素のＸ座標およびその他の距離情報と関連付けて距離情報バッファ２３に格納される。

【0046】

次に、対象物領域判定部２７は、分割された各クラスタの横方向の実距離であるクラスタ幅を算出する。（ステップＳ０５）。さらに、対象物領域判定部２７は、予め設定された範囲内の幅のクラスタが有るかどうかを判定する（ステップＳ０６）。設定範囲内の幅のクラスタが無い場合（ステップＳ０６のＮｏ）、この撮影フレームでの処理を終えて、次の撮影フレームの処理に移る。

【0047】

予め設定された範囲内の幅のクラスタが有る場合（ステップＳ０６のＹｅｓ）、スキャン領域設定部２９は、この設定範囲内の幅であるクラスタの視差画像におけるＸ座標の最小値および最大値をそれぞれ、横方向スキャン領域の最小値および最大値として設定する（ステップＳ０７）。すなわち、設定範囲内の幅であるクラスタが対象物の存在する領域であると推定することができる。なお、複数のクラスタにおいてクラスタ幅が設定範囲内であると判定された場合、これら複数のクラスタの中で、ステレオカメラ３に最も近いクラスタの最小値および最大値を横方向スキャン領域の最小値および最大値として設定する。

【0048】

次に、対象物検出部１５は、横方向に制限されたスキャン領域Ａｒ１内（図１０参照）で対象物をＨＯＧ特徴量などを用いて対象物を検出する（ステップＳ０８）。ＨＯＧ特徴量を用いる場合、横方向に制限されたスキャン領域Ａｒ１内のみ距離情報抽出部２１にて距離情報を抽出して対象物を検出する。なお、対象物が検出されると、スピーカ等で構成される警告出力部８から操縦者および周囲に対して警報を発する。また、対象物が検出されると、車速制御部９が減速の制御およびブレーキ制動を実施し、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。

【0049】

このように、実施例１によれば、対象物の存在領域を簡易に推定することができる。対象物の存在領域の推定は、距離情報抽出部２１により抽出された実際の距離情報を基に推定されるので、推定精度を向上させることができる。また、予め設定されたライン上だけ距離情報の抽出をすれば対象物の存在領域の有無を判定することができるので、対象物の領域推定を高速にすることができる。

【0050】

また、対象物を検出するスキャン領域が制限されるので、対象物を検出する時間を短縮することができる。これにより、対象物を検出するフレームレートを上げることができ、より短い時間間隔で対象物を検出することができる。

【実施例2】

【0051】

次に、図１１を参照して実施例２に係る対象物検出装置について説明する。図１１は実施例２における対象物検出装置の構成を示すブロック図である。実施例２において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両および対象物検出装置の構成は実施例１と同様である。

【0052】

実施例２の特徴は、対象物の存在領域の推定を縦方向においても実施する点である。実施例１では対象物の存在領域の推定を横方向にのみ限定していたが、実施例２では横方向に加えて縦方向にも推定する。これにより、縦方向にもスキャン領域を制限することができる。

【0053】

実施例２における対象物領域推定装置１３’は、実施例１における対象物領域推定装置１３’に縦方向対象物領域判定部２８が追加された構成である。なお、実施例２における横方向対象物領域判定部２７’は実施例１における対象物領域判定部２７と同じ構成であり、同じ機能を有する。また、実施例２においては、視差画像上で距離情報が抽出される予め決められたラインは２本以上設定されている。

【0054】

縦方向対象物領域判定部２８は、設定範囲内の幅のクラスタを有さないラインのＹ座標をスキャン領域の最大Ｙ座標値または最小Ｙ座標値の候補として判定する。初期設定では、スキャン領域の最大Ｙ座標値は視差画像（基準画像）の最大Ｙ座標であるＹ_Ｃｍａｘに設定されている。また、スキャン領域の最小Ｙ座標値は視差画像（基準画像）の最小Ｙ座標であるＹ_Ｃｍｉｎに設定されている。

【0055】

設定範囲内の幅のクラスタを有さないラインのＹ座標値が、設定範囲内の幅のクラスタを有するラインのＹ座標値よりも大きい場合、設定範囲内の幅のクラスタを有さないラインのＹ座標値をスキャン領域の最大Ｙ座標値として更新する。また、設定範囲内の幅のクラスタを有さないラインのＹ座標値が、設定範囲内の幅のクラスタを有するラインのＹ座標値よりも小さい場合、設定範囲内の幅のクラスタを有さないラインのＹ座標値をスキャン領域の最小Ｙ座標値として更新する。

【0056】

図１２、１３を参照して、縦方向の対象物の領域判定をさらに説明する。図１２は、１本のライン上で設定範囲の幅のクラスタが検出された場合であり、図１３は複数本のラインで設定範囲の幅のクラスタが検出された場合である。視差画像上にラインＬ１〜Ｌ３の３本のラインが設定されている。図１２では、横方向対象物領域判定部２７により、ラインＬ１上のクラスタＣＬ１の幅が設定範囲内であると判定され、他のクラスタは設定範囲内では無いと判定される。この場合、対象物Ｏｂ１は、設定範囲の幅のクラスタが検出されたラインＬ１の１本上に位置するラインＬ２と、ラインＬ１の１本下に位置するラインＬ３の間に存在すると推定することができる。そこで、縦方向のスキャン領域の最大値をラインＬ２のＹ座標であるＹ_ＣＬ２と更新し、縦方向のスキャン領域の最小値をラインＬ３のＹ座標であるＹ_ＣＬ３と更新することで、縦方向のスキャン領域を制限することができる。

【0057】

図１３では、横方向対象物領域判定部２７により、ラインＬ１上のクラスタＣＬ５およびラインＬ２上のクラスタＣＬ６の幅が設定範囲内であると判定され、他のクラスタは設定範囲内では無いと判定される。この場合、ラインＬ２よりも上方に別のラインは位置していないので、視差画像の上縁の座標であるＹ_ＣｍａｘからラインＬ１の１本下に位置するラインＬ３の間に対象物Ｏｂ２が存在すると推定することができる。そこで、縦方向のスキャン領域の最大値は初期設定値であるＹ_Ｃｍａｘとし、縦方向のスキャン領域の最小値をラインＬ３のＹ座標であるＹ_ＣＬ３と更新することで、縦方向のスキャン領域を制限することができる。

【0058】

なお、ラインＬ１およびラインＬ３上に設定範囲内の幅のクラスタが検出された場合、縦方向のスキャン領域の最大値をラインＬ２のＹ座標であるＹ_ＣＬ２と設定し、縦方向のスキャン領域の最小値を初期設定値であるＹ_Ｃｍｉｎとすることで、縦方向のスキャン領域を制限することができる。

【0059】

スキャン領域設定部２９’は、実施例１と同様にスキャン領域を横方向に制限するのに加えて、縦方向にも制限して設定する。すなわち、クラスタの幅に基づいて横方向の制限が行われ、各ラインのＹ座標、基準画像（視差画像）の最大Ｙ座標Ｙ_Ｃｍａｘおよび最小Ｙ座標Ｙ_Ｃｍｉｎに基づいて縦方向の制限が行われる。なお、縦方向対象物領域判定部２８により、縦方向の対象物領域が判定されなかった場合は、初期設定値通り、基準画像の最大Ｙ座標Ｙ_Ｃｍａｘおよび最小Ｙ座標Ｙ_Ｃｍｉｎをスキャン領域の最大Ｙ座標値および最小Ｙ座標値とする。

【0060】

次に、実施例２における対象物検出の動作を図１４を用いて説明する。図１４は対象物検出の処理手順を示すフローチャートである。

【0061】

ステップＳ０１〜ステップＳ０７まで実施例１と同様であるので、説明を省略する。ステップＳ０７の次に、縦方向対象物領域判定部２８は、全てのラインが設定範囲内の幅のクラスタを有するか否かの判定をする（ステップＳ０９）。全てのラインが設定範囲内の幅のクラスタを有する場合（ステップＳ０９のＹｅｓ）、縦方向のスキャン領域の設定は、基準画像の予め設定されている最大Ｙ座標Ｙ_Ｃｍａｘと最小Ｙ座標Ｙ_Ｃｍｉｎを設定する（ステップＳ１０）。すなわち、縦方向のスキャン領域に関して、実質的には制限をかけていない。

【0062】

また、ステップＳ０９にて、全てのラインが設定範囲内の幅のクラスタを有さない場合（ステップＳ０９のＮｏ）、設定範囲内の幅のクラスタを有さないラインのＹ座標が設定範囲内の幅のクラスタを有するラインのＹ座標よりも大きいか判定する（ステップＳ１１）。

【0063】

設定範囲内の幅のクラスタを有するラインのＹ座標よりも、設定範囲内の幅のクラスタを有さないラインのＹ座標が大きい場合（ステップＳ１１のＹｅｓ）、さらに、設定範囲内の幅のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値よりも小さいか判定する（ステップＳ１２）。設定範囲内の幅のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値よりも小さい場合（ステップＳ１２のＹｅｓ）、このラインのＹ座標値をスキャン領域のＹ最大値座標として更新する（ステップＳ１３）。設定範囲内のクラスタの無いラインのＹ座標がスキャン領域のＹ最大値以上の場合（ステップＳ１２のＮｏ）、何も処理をすることなく次の処理に移る。

【0064】

設定範囲内の幅のクラスタを有さないラインのＹ座標が、設定範囲内のクラスタを有するラインのＹ座標よりも小さい場合（ステップＳ１１のＮｏ）、さらに、設定範囲内の幅のクラスタを有さないラインのＹ座標がスキャン領域のＹ最小値よりも大きいか判定する（ステップＳ１４）。設定範囲内の幅のクラスタを有さないラインのＹ座標がスキャン領域のＹ最小値よりも大きい場合（ステップＳ１４のＹｅｓ）、このラインのＹ座標値をスキャン領域のＹ最小値座標として更新する（ステップＳ１５）。

【0065】

設定範囲内の幅のクラスタを有さないラインのＹ座標が、スキャン領域のＹ最小値以下の場合（ステップＳ１４のＮｏ）、何も処理をすることなく次の処理に移る。このようにして設定されたスキャン領域のＹ最大値座標およびＹ最小値座標を用いて、スキャン領域設定部２９が縦方向のスキャン領域を設定する（ステップＳ１０）。これら、横方向および縦方向において制限されたスキャン領域内で、実施例１と同様に対象物検出部１５が対象物を検出する（ステップＳ０８）。なお、次の撮影フレームの処理に移る際に、スキャン領域のＹ最大値座標およびＹ最小値座標が初期値に戻される。

【0066】

このように、実施例２によれば、視差画像上において横方向に加えて縦方向にも対象物領域を推定する。これにより、図１５に示すように、対象物検出のスキャン領域を縦方向にも制限することができ、対象物検出の時間をより短縮することができる。

【0067】

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

【0068】

（１）上記実施例において、クラスタ分割するラインＬ１〜Ｌ３は横方向のラインであった。これに限られず、横方向のラインに加えて、図１６に示すように、縦方向のラインを有し、縦方向のラインにおいてもクラスタ分割して対象物領域の推定をしてもよい。この場合、クラスタ分割部２５は、視差画像上に予め設定された縦方向のライン上の画素を、各画素の距離情報を基に複数個のクラスタに分割する。対象物領域判定部２７は、分割されたクラスタの中から横ライン上のクラスタの幅と、縦ライン上のクラスタの高さとを基に対象物の存在領域を判定する。例えば、図１６においては、クラスタＣＬ７の実空間での高さが予め設定された縦方向の設定範囲内であれば対象物領域と判定し、設定範囲内でなければ対象物領域ではないと判定する。対象物領域と判定すると、クラスタＣＬ７の最大値座標および最小値座標をそれぞれ、スキャン領域のＹ最大値座標およびＹ最小値座標として設定する。これにより、スキャン領域を縦方向にも制限することができる。

【0069】

（２）上記実施例において、対象物の領域を推定するのに、クラスタ幅を基準としていた。これに限られず、クラスタ幅に加えて、クラスタの奥行き方向の長さも基準として対象物の領域を推定してもよい。

【0070】

（３）上記実施例において、ステレオカメラ３を採用して視差画像を作成し、ステレオマッチングを実施することで距離情報を取得していた。これに限られず、距離情報を、例えば、レーダースキャナにより取得してもよい。この場合、単眼の画像センサにより取得された画像とレーダースキャナにより取得された距離情報とを予め対応づけされている必要がある。

【0071】

（４）上記実施例において、対象物検出装置は車両に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。

【符号の説明】

【0072】

１ … 車両
３ … ステレオカメラ
３ａ … 左画像センサ
３ｂ … 右画像センサ
５、５’ … 対象物検出装置
１３、１３’ … 対象物領域推定装置
１５ … 対象物検出部
１９ … 視差画像作成部
２１ … 距離情報抽出部
２５ … クラスタ分割部
２７ … 対象物領域判定部
２９ … スキャン領域設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】