特許 6385745 鉱山用作業車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6385745

(24)【登録日】2018年8月17日

(45)【発行日】2018年9月5日

(54)【発明の名称】鉱山用作業車両

(51)【国際特許分類】

   G06T 1/00 20060101AFI20180827BHJP

   G08G 1/16 20060101ALI20180827BHJP

   B60R 21/00 20060101ALI20180827BHJP

【ＦＩ】

   G06T1/00 315

   G08G1/16 C

   B60R21/00 991

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2014-149182(P2014-149182)

(22)【出願日】2014年7月22日

(65)【公開番号】特開2016-24685(P2016-24685A)

(43)【公開日】2016年2月8日

【審査請求日】2017年2月8日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】特許業務法人 武和国際特許事務所

(72)【発明者】

【氏名】日永田 佑介

(72)【発明者】

【氏名】石本 英史

(72)【発明者】

【氏名】中 拓久哉

(72)【発明者】

【氏名】渡邊 淳

【審査官】 鍬 利孝

(56)【参考文献】

【文献】 特開２００９−２７６９０６（ＪＰ，Ａ）

【文献】 特開平１０−１４３６５９（ＪＰ，Ａ）

【文献】 欧州特許出願公開第２２９３５８８（ＥＰ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−１／４０，３／００−９／４０

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｒ ２１／００−２１／０１７

(57)【特許請求の範囲】

【請求項1】

走行方向前方の画像情報が取得可能な第１および第２のカメラを備えたステレオカメラ装置と、
前記第１のカメラにて取得された二次元の画像情報の中の局所領域が前記第２のカメラにて取得された二次元の画像情報内のいずれの位置に対応するかを、注目画素ごとに走査する処理を行い、対応する局所領域が、前記第２のカメラで取得される画像情報内で検出されない場合に、当該注目画素に対し対応点が無いことを示す規定値を設定し、前記規定値が設定された画素によって占められる領域を、差分無領域として特定する差分無領域特定部と、
前記画像情報中の差分無領域の画素数が所定値より大きい場合に、前記差分無領域を障害物が存在する可能性の高い障害物領域と特定する障害物領域特定部と、
を備えたことを特徴とする鉱山用作業車両。

【請求項2】

請求項１の鉱山用作業車両において、
前記第１および第２のカメラにて取得した画像情報に基づき、前記画像情報中の路面領域を特定する路面領域特定部と、
前記画像情報中の前記差分無領域が前記路面領域に接している場合に、前記差分無領域を砂埃領域と特定する砂埃領域特定部と、を備え、
前記障害物領域特定部は、前記画像情報中の砂埃領域の画素数が所定値より大きい場合に、前記砂埃領域を障害物領域と特定する
ことを特徴とする鉱山用作業車両。

【請求項3】

請求項２の鉱山用作業車両において、
前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、
前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した前記画像情報中の前記障害物領域の位置および画素数とに基づき、前記障害物の種類、大きさ、および位置を識別する障害物識別部と、
を備えたことを特徴とする鉱山用作業車両。

【請求項4】

請求項３の鉱山用作業車両において、
前記障害物検出部は、レーダと、前記レーダにて計測した計測情報に基づき、前記画像情報中の路面領域上に存在する障害物を検出するレーダ障害物検出部とを有する
ことを特徴とする鉱山用作業車両。

【請求項5】

請求項２の鉱山用作業車両において、
前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、
前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した画像情報中の前記障害物領域の位置および画素数とに基づき、前記差分無領域が車両の走行にて発生した砂埃か否かを判別する砂埃判別部と、
を備えたことを特徴とする鉱山用作業車両。

【請求項6】

請求項１の鉱山用作業車両において、
画像情報を表示するための表示装置と、
前記第１および第２のカメラのいずれか一方にて取得した画像情報を前記表示装置に表示させ、かつ前記障害物領域特定部にて特定した前記障害物領域を、前記表示装置に表示させた画像中に表示する画像制御部と、
を備えたことを特徴とする鉱山用作業車両。

【請求項7】

請求項１の鉱山用作業車両において、
荷台と、
前記荷台に積まれた積荷の質量を検出する積荷質量検出部と、
走行速度を検出する速度検出部と、
前記第１および第２のカメラにて取得した画像情報に基づき、前記画像情報中の前記差分無領域までの距離を算出する距離算出部と、を備え、
前記障害物領域特定部は、前記積荷質量検出部にて検出した積荷の質量、前記速度検出部にて検出した走行速度、および前記距離算出部にて算出した前記差分無領域までの距離に応じて、前記所定値を変化させる
ことを特徴とする鉱山用作業車両。

【請求項8】

請求項１の鉱山用作業車両において、
前記障害物領域特定部は、前記画像情報中の差分無領域の画素数が前記所定値より小さい場合に、前記第１および第２のカメラにて取得した画像情報から前記障害物領域を特定する
ことを特徴とする鉱山用作業車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばオフロードダンプトラック等の鉱山用作業車両に関する。

【背景技術】

【0002】

一般に、鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの建設機械が用いられている。特に、鉱山に用いられるダンプトラックは、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。

【0003】

ところが、ダンプトラックを走行させる鉱山の走行路はオフロードで悪路が多いため、一般の舗装された道路に比べ、土壁や他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、ダンプトラックが障害物と接触して停止した場合には、後続するダンプトラックの走行を妨げ、鉱山の運行を長時間に亘って停止させてしまう。よって、土砂を効率良く採掘現場の外に大量に運搬するためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせる必要がある。

【0004】

前方車両や障害物を検出するためのシステムとしては、ミリ波レーダ、レーザセンサまたはステレオカメラ等を用いた障害物検出装置が用いられている。これらのうち、ステレオカメラは、三次元の画像情報を取得でき、取得した画像情報から三次元形状を計測できるため、走行路面および障害物を区別できる。

【0005】

ところが、鉱山の走行路がオフロードであることから、ダンプトラックが走行路を走行した際に、前方車両を目視にて確認できない程度の濃い砂埃を走行路上に撒き上げてしまう場合が想定される。そして、この巻上げた砂埃によって、ステレオカメラにて取得した画像情報中から、検出対象である他車両等の障害物の一部または全部が隠れてしまう。この場合には、障害物を検出するために必要となる画像情報が得られず、障害物を検出できないおそれがある。

【0006】

この種の砂埃を考慮した画像処理装置が、例えば特許文献１に開示されている。この特許文献１においては、カメラにて取得した画像情報中の各画素の輝度に基づいて、画像情報中の、砂埃等の塵埃領域を検出し、この検出した塵埃領域内の輝度差が減少して見えにくくなった人等を画像処理にてディスプレイ上に見えやすく表示している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３−２２２２５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

鉱山の走行路を走行するダンプトラックが走行時に巻上げる砂埃は、自然発生する砂埃に比べ濃度が高く、上記特許文献１に係る画像処理装置を用いた場合には、カメラにて取得した画像情報中の砂埃領域を検出できるものの、この砂埃領域内の輝度差が減少している部分を特定できず、砂埃の先に障害物が存在する可能性の高い領域を精度良く特定することが容易ではない。

【0009】

本発明は、上述した従来技術における実状からなされたもので、その目的は、オフロード環境下において、砂埃の先に障害物が存在する可能性の高い領域を検出することができる鉱山用作業車両を提供することにある。

【課題を解決するための手段】

【0010】

この目的を達成するために、本発明に係る鉱山用作業車両は、走行方向前方の画像情報が取得可能な第１および第２のカメラを備えたステレオカメラ装置と、前記第１のカメラにて取得された二次元の画像情報の中の局所領域が前記第２のカメラにて取得された二次元の画像情報内のいずれの位置に対応するかを、注目画素ごとに走査する処理を行い、対応する局所領域が、前記第２のカメラで取得される画像情報内で検出されない場合に、当該注目画素に対し対応点が無いことを示す規定値を設定し、前記規定値が設定された画素によって占められる領域を、差分無領域として特定する差分無領域特定部と、前記画像情報中の差分無領域の画素数が所定値より大きい場合に、前記差分無領域を障害物が存在する可能性の高い障害物領域と特定する障害物領域特定部と、を備えたことを特徴とする。

【0011】

一般に、砂埃は、ステレオカメラ装置の第１および第２のカメラの画像情報間に差分のない領域となる。そこで本発明は、例えば鉱山用作業車両の走行時に後方に撒き上げた砂埃によって、当該鉱山用作業車両が隠れてしまい、この鉱山用作業車両の後方を走行する鉱山用作業車両から視覚的に確認できない場合であっても、この砂埃が発生している領域を、ステレオカメラ装置の第１および第２カメラにて取得した二次元の各画像情報を比較し、これら画像情報間の差分の無い領域にて特定できる。また、鉱山用作業車両が走行時に撒き上げる砂埃は、自然発生した砂埃に比べ、濃度が高くかつ鉱山用作業車両の大きさよりも発生範囲が広い。よって、第１および第２のカメラにて取得した画像情報間の差分無領域の画素数が所定値より大きい場合においては、その差分無領域を障害物、特に鉱山用作業車両が存在する可能性の高い障害物領域と特定できる。よって、砂埃の先に障害物が存在する可能性の高い領域を検出できる。

【0012】

また本発明は、上記発明において、前記第１および第２のカメラにて取得した画像情報に基づき、前記画像情報中の路面領域を特定する路面領域特定部と、前記画像情報中の前記差分無領域が前記路面領域に接している場合に、前記差分無領域を砂埃領域と特定する砂埃領域特定部とを備え、前記障害物領域特定部は、前記画像情報中の砂埃領域の画素数が所定値より大きい場合に、前記砂埃領域を障害物領域と特定することを特徴としている。

【0013】

一般に、画像情報中の路面領域に差分無領域が接している場合は、前方を走行する障害物、例えば鉱山用作業車両が走行時に撒き上げた砂埃の可能性が高い。そこで本発明は、差分無領域が路面領域に接している場合に砂埃領域と特定することにより、前方に位置する障害物を隠す砂埃領域を特定でき、この砂埃領域の先に障害物が存在する可能性の高い領域をより精度良く検出できる。

【0014】

また本発明は、上記発明において、前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した前記画像情報中の前記障害物領域の位置および画素数とに基づき、前記障害物の種類、大きさ、および位置を識別する障害物識別部と、を備えたことを特徴としている。

【0015】

このように構成した本発明は、障害物検出部にて路面領域上の障害物情報を検出し、障害物領域特定部にて特定した画像情報中の障害物領域の位置および画素数に、障害物検出部にて検出した路面領域上の障害物情報を加えることにより、障害物の種類、大きさ、及び位置を識別することができる。

【0016】

また本発明は、上記発明において、前記障害物検出部は、レーダと、前記レーダにて計測した計測情報に基づき、前記画像情報中の路面領域上に存在する障害物を検出するレーダ障害物検出部とを有することを特徴としている。

【0017】

このように構成した本発明は、レーダを用いることにより、砂埃によって隠れた障害物の位置を砂埃越しに検出できる。よって、レーダにて計測した計測情報に基づき、画像情報中の路面領域上に存在する障害物を検出して障害物検出部による障害物情報とすることにより、この障害物検出部による路面領域上の障害物情報の検出をより精度良くできる。

【0018】

また本発明は、上記発明において、前記画像情報中の前記路面領域上に存在する障害物を検出する障害物検出部と、前記障害物検出部にて検出した障害物情報と、前記障害物領域特定部にて特定した画像情報中の前記障害物領域の位置および画素数とに基づき、前記差分無領域が車両の走行にて発生した砂埃か否かを判別する砂埃判別部と、を備えたことを特徴としている。

【0019】

車両による走行にて発生した砂埃か否かは、画像情報中の路面領域と障害物領域との位置関係やその大きさ、すなわち画素数によって判別できる。そこで本発明は、障害物検出部にて検出した障害物情報と、障害物領域特定部にて特定した画像情報中の障害物領域の位置および画素数とに基づき、差分無領域が車両による走行にて発生した砂埃か否かを判別することにより、差分無領域に相当する砂埃の原因を精度良く特定できる。よって、車両を覆い隠す砂埃をより精度良く特定できるため、車両が存在する可能性の高い領域をより精度良く検出できる。

【0020】

また本発明は、上記発明において、画像情報を表示するための表示装置と、前記第１および第２のカメラのいずれか一方にて取得した画像情報を前記表示装置に表示させ、かつ前記障害物領域特定部にて特定した前記障害物領域を、前記表示装置に表示させた画像中に表示する画像制御部と、を備えたことを特徴としている。

【0021】

このように構成した本発明は、第１および第２のカメラのいずれか一方にて取得した画像情報を表示装置に表示させるとともに、障害物領域特定部にて特定した障害物領域を、表示装置に表示させた画像中に表示することにより、砂埃が発生している位置および画素数に加え、その砂埃によって隠れている障害物が存在する可能性の高い領域を確認できる。

【0022】

また本発明は、上記発明において、荷台と、前記荷台に積まれた積荷の質量を検出する積荷質量検出部と、走行速度を検出する速度検出部と、前記第１および第２のカメラにて取得した画像情報に基づき、前記画像情報中の前記差分無領域までの距離を算出する距離算出部と、を備え、前記障害物領域特定部は、前記積荷質量検出部にて検出した積荷の質量、前記速度検出部にて検出した走行速度、および前記距離算出部にて算出した前記差分無領域までの距離に応じて、前記所定値を変化させることを特徴としている。

【0023】

鉱山においては、複数台の鉱山用作業車両が所定の車間をあけて走行しており、前方を走行する他車両の状態は、自車両の状態から判断できる場合が多い。そして、鉱山用作業車両の荷台に積まれた積荷の質量、走行速度、および障害物までの距離の変化に伴い、第１および第２のカメラにて取得される画像情報中の砂埃の画素数が相対的に変化してしまう。そこで、積荷質量検出部にて検出した積荷の質量、速度検出部にて検出した走行速度、および距離算出部にて算出した差分無領域までの距離に応じて、障害物領域特定部が障害物領域と特定する際の所定値を変化させることにより、この障害物領域特定部による障害物領域の特定をより精度良くできる。

【0024】

また本発明は、上記発明において、前記障害物領域特定部は、前記画像情報中の差分無領域の画素数が前記所定値より小さい場合に、前記第１および第２のカメラにて取得した画像情報から前記障害物領域を特定することを特徴としている。

【0025】

このように構成した本発明は、画像情報中の差分無領域の画素数が所定値より小さい場合は、障害物を隠すような砂埃でなく、前方の障害物は第１および第２のカメラにて取得した画像情報から特定できる。そこで本発明は、画像情報中の差分無領域の画素数が所定値より小さい場合においては、第１および第２のカメラにて取得した画像情報から障害物領域を特定する。この結果、画像情報中の差分無領域の画素数の大きさに関わらず障害物領域を特定できる。

【発明の効果】

【0026】

本発明は、ステレオカメラ装置の第１および第２カメラにて取得した二次元の各画像情報を比較し、これら画像情報間の差分無領域により、砂埃が発生している領域を特定できる。また、鉱山用作業車両の走行時に生じる砂埃は、鉱山用作業車両の大きさよりも発生範囲が広いため、差分無領域の画素数が所定値より大きければ、その差分無領域を障害物が存在する可能性の高い障害物領域と特定でき、砂埃の先に障害物が存在する可能性の高い領域を検出できる。そして、前述した以外の課題、構成および効果は、以下の実施形態の説明より明らかにされる。

【図面の簡単な説明】

【0027】

【図1】本発明の第１実施形態に係る鉱山用作業車両にて砂埃越しに前方を走行する他の鉱山用作業車両を検出している状況を示す概略図である。

【図2】上記鉱山用作業車両が用いられる鉱山システムを示す概略図である。

【図3】上記鉱山用作業車両の駆動構成を示す概略図である。

【図4】上記鉱山用作業車両に搭載した障害物検出システムを示す概略図である。

【図5】上記ステレオカメラ装置の第１および第２のカメラにて撮像したカメラ取得画像を示す図で、（ａ）は第１のカメラのカメラ取得画像、（ｂ）は第２のカメラのカメラ取得画像である。

【図6】図５（ａ）および図５（ｂ）に示す二次元のカメラ取得画像から算出された視差画像を示す図である。

【図7】上記障害物検出システムの表示装置の表示画像を示す概略図である。

【図8】上記障害物検出システムによる処理を示すフローチャートである。

【図9】上記障害物検出システムの第１のカメラで取得したカメラ取得画像中の所定の物体が、第２のカメラで取得したカメラ取得画像のどの位置に撮像されるかの特定方法を示す説明図である。

【図10】上記障害物検出システムにて作成した砂埃検出用画像を示す図である。

【図11】上記障害物検出システムによる砂埃幅の検出方法を示す説明図である。

【図12】上記障害物検出システムの砂埃位置検出部にて検出した砂埃幅の閾値の変換テーブルを示す表である。

【図13】本発明の第２実施形態に係る鉱山用作業車両を示す概略図である。

【図14】上記鉱山用作業車両に搭載した障害物検出システムを示す概略図である。

【図15】上記障害物検出システムによる処理を示すフローチャートである。

【発明を実施するための形態】

【0028】

以下、本発明に係る鉱山用作業車両に用いた障害物検出システムを実施するための形態を図に基づいて説明する。

【0029】

［第１実施形態］
本第１実施形態は、ステレオカメラ装置１１を用いた実施形態である。図１は、本発明の第１実施形態に係る鉱山用作業車両の一例であるオフロードダンプトラックとして、建設機械向けの車両１である鉱山用ダンプトラックにて、砂埃Ｄ越しに前方を走行する他車両１Ａを検出している状況を示す概略図である。図２は、車両１が用いられる鉱山システムを示す概略図である。図３は、車両１の駆動構成を示す概略図である。図４は、車両１に搭載した障害物検出システム１０を示す概略図である。

【0030】

図５は、車両１のステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて取得したカメラ取得画像ａ，ｂを示す図で、（ａ）はカメラ１１ａのカメラ取得画像ａ、（ｂ）はカメラ１１ｂのカメラ取得画像ｂである。図６は、図５（ａ）および図５（ｂ）に示す二次元のカメラ画像情報ａ，ｂから画像情報取得部１２にて算出した視差画像ＤＩを示す図である。そして、視差画像ＤＩ中の物体の色情報を有し肉眼で見たままのような画像をアピアランス・イメージと呼ぶ。アピアランス・イメージには視差画像中の各画素に対応した色情報が含まれる。図７は、障害物検出システム１０のディスプレイ１９の表示画像を示す概略図である。

【0031】

車両１は、図２に示すように、鉱山に予め設けられたオフロード環境下の走行路（搬送路）である路面Ｒを走行する。この車両１は、オペレータにて走行制御される有人走行式である。鉱山には、同一機種の複数の車両１が走行しており、図１に示すように、車両１の前方を、この車両１と同一構成の他車両１Ａが所定の走行間隔（車間）をあけて走行している。また、鉱山には、車両１，１Ａとの間で所定の情報を送受信するための情報センタ３が設置され、車両１に土砂等の積載物を積載させるための油圧ショベル４等が用いられている。路面Ｒは、障害物検出システム１０による障害物の検出エリアであって、図５（ａ）、図５（ｂ）および図６に示すように、その幅方向の両側に路肩Ｓが設けられている。各路肩Ｓは、盛土や、油圧ショベル４等にて鉱山を切土して形成された崖である切削面等にて設けられている。これら盛土および切削面は、予め定めた所定の高さ以上、例えば１．５ｍ以上の高さに形成されている。

【0032】

車両１は、図１に示すように、車両本体１ａと、車両本体１ａの前側上方に設けられた運転席１ｂと、車両本体１ａ上に起伏可能に設けられた作業部としての荷台１ｃと、車両本体１ａを走行可能に支持する左右の前輪１ｄおよび後輪１ｅとを備えている。車両本体１ａの前側のデッキ１ｆ上には、車両本体１ａの周囲、特に走行方向前方である外界環境を検出するためのステレオカメラ装置１１が取り付けられている。車両１は、ステレオカメラ装置１１にて認識した路面Ｒ上の障害物、特に先行して前方を走行する他車両１Ａを検出する。デッキ１ｆ上の前側角部には、ＧＰＳ装置１ｇが取り付けられている。ＧＰＳ装置１ｇは、車両本体１ａの走行位置を検出するための位置検出部である。

【0033】

ステレオカメラ装置１１は、車両１の走行方向前方の画像情報が所得可能な一対のカメラ１１ａ，１１ｂを備え、これら２台の第１および第２のカメラ１１ａ，１１ｂを用いて外界の立体的な三次元の画像情報を取得する。この三次元画像情報には、２台のカメラ１１ａ，１１ｂにて検出した図５（ａ）および図５（ｂ）に示す二次元のカメラ取得画像ａ，ｂの差分から算出される撮像対象までの距離情報を有した視差画像ＤＩと、アピアランス・イメージが含まれる。アピアランス・イメージは、視差画像ＤＩ中の各画素に対応した色情報を有する。

【0034】

ステレオカメラ装置１１は、車両本体１ａの前側の左右方向の中央部である中心位置に、左右のカメラ１１ａ，１１ｂ間の中心が位置するように取り付けられている。各カメラ１１ａ，１１ｂの焦点距離やレンズの歪みなどの内部パラメータ、および互いの位置関係および車体への設置位置を示す外部パラメータは、互いに同期されている。各カメラ１１ａ，１１ｂは、各光軸が平行となるように車両１前方に向けられ、図５（ａ）および図５（ｂ）に示すように、これら各カメラ１１ａ，１１ｂの撮像領域１１ｃ，１１ｄの一部が重なり合うように設置されている。

【0035】

車両１は、図３に示すように、走行駆動装置５を備えている。走行駆動装置５は、動力源であるエンジン５ａと、エンジン５ａにて駆動される発電機５ｂと、発電機５ｂにて発電された電力が供給される電力制御装置５ｃと、後輪１ｅを駆動させるための走行モータ５ｄとを有している。走行モータ５ｄへの供給電力は、電力制御装置５ｃから制御される。電力制御装置５ｃは、車両１に搭載されたコントローラ６にて制御される。

【0036】

コントローラ６は、電力制御装置５ｃを介して、車両本体１ａを操舵するためのステアリングモータ５ｅや、車両本体１ａを制動させるための、例えばリターダブレーキ等のブレーキ装置５ｆ等の駆動を制御する車載コントローラである。車両本体１ａには、情報センタ３との間で所定の信号を無線送信するための通信可能な車載無線装置５ｇが搭載されている。コントローラ６は、少なくとも車両１が走行する走行エリアに関する地図情報が予め記憶された記憶部６ａを備えている。記憶部６ａに記憶されている地図情報には、車両１が走行する路面Ｒおよび路肩Ｓに関する情報も含まれる。

【0037】

さらに、車両本体１ａには、例えば前輪１ｄ等の所定の車輪の回転速度を検出するための車速センサ５ｈや、荷台１ｃに積まれた積荷の質量、すなわち荷重を検出するための荷重センサ５ｉが取り付けられている。車速センサ５ｈは、前輪１ｄの回転速度情報を取得してコントローラ６へ出力し、このコントローラ６にて車両１の走行速度が算出される。荷重センサ５ｉは、例えば前輪１ｄおよび後輪１ｅを支えるサスペンション（図示せず）に取り付けられ、荷台１ｃに積まれた積荷の質量変化に基づくサスペンションの変位量を検出する。荷重センサ５ｉは、検出した変位量をコントローラ６へ出力し、この変位量に基づいて荷台１ｃに積まれた積荷の質量がコントローラ６にて検出される。

【0038】

＜障害物検出システム＞
障害物検出システム１０は、コントローラ６による処理にて実行され、路面Ｒ上に発生した砂埃Ｄによって隠れた障害物、例えば前方を走行する他車両１Ａを認識するための障害物認識装置である。コントローラ６は、障害物検出システム１０として、路面Ｒ上の、例えば他車両１Ａ以外の、作業車、岩石、鉱物、土砂等の障害物を検出するための画像解析装置としてのステレオカメラシステムでもある。

【0039】

具体的に、障害物検出システム１０は、ステレオカメラ装置１１を備えた画像情報取得部１２と、距離算出部１３と、走行路認識部１４と、砂埃検出部１５と、砂埃位置検出部１６と、車両存在領域検出部１７と、画像制御部１８と、表示装置としてのディスプレイ１９とを備えている。これら画像情報取得部１２、距離算出部１３、走行路認識部１４、砂埃検出部１５、砂埃位置検出部１６、車両存在領域検出部１７および画像制御部１８よる各処理は、コントローラ６にて行われる。

【0040】

画像情報取得部１２は、各カメラ１１ａ，１１ｂにて検出される画像情報として、図５（ａ）および図５（ｂ）に示すカメラ取得画像ａ，ｂと、これら図５（ａ）および図５（ｂ）に示す各カメラ取得画像ａ，ｂの見え方の違いに基づき算出した視差画像ＤＩとを得る。視差画像ＤＩは、各カメラ取得画像ａ，ｂのどちらかを基準として作成し、例えば図５（ａ）のカメラ取得画像ａを基準に視差画像ＤＩを作成する場合は、図５（ａ)で撮像された物体の位置が図５（ｂ）のカメラ取得画像ｂでどこに位置するかを探索する。このとき、これらカメラ取得画像ａ，ｂ間における位置の差異は、近い物体ほど大きく、遠い物体ほど小さくなる。この差異に基づき、各カメラ１１ａ，１１ｂで撮影した物体の立体的な位置を取得する。この技術は、一般的にステレオマッチングと呼ばれている。

【0041】

視差画像ＤＩは、カメラ１１ａにて取得したカメラ取得画像ａ中の各領域と、カメラ１１ｂにて取得したカメラ取得画像ｂ中の各領域との対応付けを行い、これらカメラ取得画像ａ，ｂ中の対象物がステレオカメラ装置１１から見てどの位置にあるかで求められる。よって、視差画像ＤＩは、カメラ１１ａ，１１ｂにて取得した二次元画像上の各画素の距離を求めたものである。

【0042】

さらに、画像情報取得部１２は、カメラ１１ａにて取得した二次元のカメラ取得画像ａと、カメラ１１ｂにて取得した二次元のカメラ取得画像ｂとを比較し、これらカメラ取得画像ａ，ｂ間の差分、すなわち視差の無い領域を差分無領域（視差無領域）として特定する差分無領域特定部である。画像情報取得部１２は、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて三次元距離情報である三次元画像情報（三次元点群）を取得する。なお、三次元点群は、検出した画像中の各点（画素）が、（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）の情報を有する点列情報である。画像情報取得部１２は、障害物検出システム１０の電源をオンオフさせるためのスイッチ（図示せず）がオンされた場合に、初期化処理として、各カメラ１１ａ，１１ｂにてアピアランス・イメージを取得可能としつつ、各カメラ１１ａ，１１ｂのキャリブレーション（較正）データ等を読み込む。

【0043】

距離算出部１３は、画像情報取得部１２にて検出した三次元画像情報、特に視差画像ＤＩ情報に基づいて、アピアランス・イメージ中の各点、すなわち視差画像ＤＩ中の各画素における撮像対象までの距離情報を取得する。よって、距離算出部１３は、視差画像ＤＩ中の各画素の距離情報に基づいて、自車両１から砂埃発生位置Ｐまでの距離を算出する。

【0044】

走行路認識部１４は、画像情報取得部１２にて求めた視差画像ＤＩに対し、路面Ｒが平面で構成されている過程に基づき、視差画像ＤＩ中の平面領域を算出し、自車両１の位置と、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂの取付位置および取付角度との相対的な位置関係に基づいて、その平面領域を、路面Ｒを構成する主平面とする。さらに、走行路認識部１４は、路面領域特定部であって、カメラ１１ａ，１１ｂにて取得したカメラ取得画像ａ，ｂに基づき、視差画像ＤＩ中の主平面を特定し、この主平面を路面領域と特定する。

【0045】

砂埃検出部１５は、画像情報取得部１２にて求めた視差画像ＤＩから、カメラ１１ａ，１１ｂの前方、すなわち車両１の先方に存在する砂埃Ｄの有無を検出する。砂埃位置検出部１６は、砂埃Ｄがどの地点に生じているかを探索して検出する。具体的に、砂埃位置検出部１６は、視差画像ＤＩ中の、砂埃検出部１５にて検出した砂埃領域が、走行路認識部１４にて特定した路面領域に隣接する画素を検索し、この砂埃領域が隣接する路面領域のうちの、最も自車両１に近い位置の画素を砂埃発生位置Ｐとして検出する。すなわち、砂埃位置検出部１６は、砂埃領域特定部であって、砂埃領域が路面領域に隣接している場合に、その砂埃領域を砂埃発生位置Ｐと特定する。

【0046】

車両存在領域検出部１７は、砂埃位置検出部１６にて検出した砂埃発生位置Ｐを、先行する他車両１Ａが存在する可能性のある領域として検出する。すなわち、車両存在領域検出部１７は、障害物領域特定部であって、視差画像ＤＩ中の視差無領域の位置および画素数に基づき、この視差無領域中の障害物、特に他車両１Ａが存在する可能性の高い障害物領域である車両可能性領域Ｊを特定する。

【0047】

画像制御部１８は、図７に示すように、ステレオカメラ装置１１のいずれか一方、例えばカメラ１１ａにて取得したカメラ取得画像ａ、すなわちアピアランス・イメージをディスプレイ１９に出力して表示させるとともに、このディスプレイ１９に表示させた画像中に、車両存在領域検出部１７にて検出した車両可能性領域Ｊの範囲、すなわち位置および大きさを、例えば矩形状の枠等として重畳させて表示させる。ディスプレイ１９は、例えば液晶表示装置等の視覚提示装置であり、車両１の運転席１ｂに設置されている。具体的に、ディスプレイ１９は、運転席１ｂに座って車両１の走行等を操作するオペレータが見やすい位置に取り付けられている。

【0048】

＜動作＞
次に、上記第１実施形態に係る障害物検出システム１０の処理について、図８を参照して説明する。図８は、車両１に搭載された障害物検出システム１０による処理を示すフローチャートである。図９は、ステレオカメラ装置１１の左側に位置するカメラ１１ａで撮影したカメラ取得画像ａ中の特定の物体が、右側に位置するカメラ１１ｂで撮影したカメラ取得画像ｂのどの位置に撮像されるかの特定方法を示す説明図である。図１０は、障害物検出システム１０にて作成した砂埃検出用画像ＳＩを示す図である。図１１は、障害物検出システム１０による砂埃幅Ｅの検出方法を示す説明図である。図１２は、障害物検出システム１０の砂埃位置検出部１６にて検出した砂埃幅Ｅの閾値の変換テーブルを示す表である。

【0049】

障害物検出システム１０の電源がスイッチにてオンされると、画像情報取得部１２の初期化処理が行われる（ステップＳ０１、以下単に「Ｓ０１」等と示す。）。Ｓ０１の初期化処理では、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて、図５（ａ）および図５（ｂ）に示すカメラ取得画像ａ，ｂを取得可能とし、これら各カメラ１１ａ，１１ｂのキャリブレーションデータ等の調整用データを読み込み、これら各カメラ１１ａ，１１ｂにて検出するカメラ取得画像ａ，ｂから、図６に示す視差画像ＤＩを算出可能とする。

【0050】

ここで、カメラ取得画像ａに撮像されている特定の物体が、カメラ取得画像ｂのどの位置に撮像されているかを特定する方法について、図９を参照して説明する。図９は、カメラ取得画像ａ，ｂの座標系に関し、横方向をｕ軸とし、縦方向をｖ軸としている。カメラ取得画像ａにおいて、ｕｖ座標で、位置（ｕ１，ｖ１）、（ｕ１，ｖ２）、（ｕ２，ｖ１）および（ｕ２，ｖ２)で囲まれた矩形領域Ｂを設定する。

【0051】

次いで、カメラ取得画像ｂにおいて、位置（Ｕ，ｖ１）、（Ｕ，ｖ２）、（Ｕ＋（ｕ２−ｕ１），ｖ１）および（Ｕ＋（ｕ２−ｕ１），ｖ２）で囲まれた領域を、Ｕの値をｕ＝０からｕ＝ｕ３まで増加させ、このカメラ取得画像ｂの右方向へ矩形領域Ｂ１の位置まで走査する。この走査の際に、矩形領域Ｂ２内の画像と、矩形領域Ｂ１内の画像との相関値を比較し、カメラ取得画像ａの矩形領域Ｂと相関性が最も高いカメラ取得画像ｂの矩形領域Ｂ２の位置（ｕ４，ｖ１）、（ｕ４，ｖ２）、（ｕ４＋（ｕ２−ｕ１），ｖ１）および（ｕ４＋（ｕ２−ｕ１），ｖ２）に、矩形領域Ｂに撮像されている物体と同一の物体が撮像されているとする。また、これら矩形領域Ｂ内の各画素と、矩形領域Ｂ２内の各画素が対応しているとする。

【0052】

カメラ取得画像ｂの矩形領域Ｂ１を走査した際において、相関値がある一定以上の値になる矩形領域が存在しない場合は、カメラ取得画像ａの矩形領域Ｂに対応するカメラ取得画像ｂ内の対応点をなしとする。対応点がない場合は、距離情報を算出できず、視差画像ＤＩ中の対応画素にゼロ（０）を設定する。例えば、視覚的な特徴が疎な物体までの視差の算出を試みた場合に、視差値がゼロ（０）の画素が生じやすい。

【0053】

鉱山において、車両１の走行に伴い濃度の高い砂埃が生じた場合、各カメラ１１ａ，１１ｂにて取得したカメラ取得画像ａ，ｂ中の砂埃Ｄを撮影した領域の画素値は、略一定となる。このため、カメラ取得画像ａの矩形領域Ｂに対応するカメラ取得画像ｂ内の対応点を取得できない場合が多い。そして、砂埃Ｄが発生した領域は、視差画像ＤＩ中の画素値がゼロ（０）の領域に内包される。

【0054】

この後、画像情報取得部１２により、各カメラ１１ａ，１１ｂにて、図５（ａ）および図５（ｂ）に示すカメラ取得画像ａ，ｂが取得され（Ｓ０２）、これらカメラ取得画像ａ，ｂに基づき、図６に示す視差画像ＤＩが算出される（Ｓ０３）。この視差画像ＤＩにおいては、この視差画像ＤＩ中の各画素に対し、これらカメラ１１ａ，１１ｂにて取得した二次元のカメラ取得画像ａ，ｂを比較し、これらカメラ取得画像ａ上の各画素の画素値と、カメラ取得画像ｂ上の各画素の画素値との差分、すなわち視差値が付与され、これら視差値を踏まえた画像情報が、視差画像ＤＩの各画素に加えられている。

【0055】

次いで、Ｓ０３にて算出した視差画像ＤＩから、走行路認識部１４において、視差画像ＤＩ中の路面領域を算出する処理が実行される。走行路認識部１４は、Ｓ０３にて算出した視差画像Ｄ１に対し、路面Ｒが平面で構成されている過程に基づき、例えばＲＡＮＳＡＣ（RANdom Sampling Consensus）や、ハフ変換（Hough Transform）等を用いて、視差画像ＤＩ中の平面領域を算出する。そして、この平面領域のうち、車両１とステレオカメラ装置１１の各カメラ１１ａ，１１ｂとの相対的な位置関係に基づいて、車両１が走行している平面領域を、路面Ｒに相当する主平面とする。さらに、この主平面と、この主平面に隣接している領域のうちの、予め設定した所定の閾値よりも小さな差分を有する領域とを算出して、路面Ｒに相当する路面領域と推定する（Ｓ０４）。

【0056】

さらに、主平面と、この主平面に隣接している領域との各画素における画素値の差分を算出し、これら各画素における画素値の差分が予め定めた閾値以下の場合に、路面Ｒに相当する路面領域と推定する処理を繰り返す。この閾値は、車両１の走行特性等に基づいて設定され、例えば車両１の走行時に前輪１ｄまたは後輪１ｅのいずれかが、路面Ｒ上の走行に影響のない凹凸を乗り越えた場合でも車両１の走行に影響のない程度の値に設定している。

【0057】

次いで、Ｓ０３にて算出した視差画像ＤＩから、車両１の前方の路面Ｒ上に砂埃Ｄが発生しているか否かを砂埃検出部１５にて検出する（Ｓ０５）。Ｓ０５においては、まず、Ｓ０３にて算出した視差画像ＤＩに、Ｓ０４にて推定した路面領域を重畳させ、図１０に示す砂埃検出用画像ＳＩを作成する。このとき、この砂埃検出用画像ＳＩ上の路面領域を構成する各画素の画素値は、砂埃検出用画像ＳＩ中から砂埃Ｄを発生しているか否かの検出対象とならない、すなわち使用しない値とする。なお、この路面領域を構成する各画素を、路面領域画素Ｇ１と呼ぶ。

【0058】

この後、砂埃検出用画像ＳＩ上の路面領域画素Ｇ１の探索を実行し、路面領域画素Ｇ１を発見した場合に、その発見した路面領域画素Ｇ１に隣接する各画素の視差値を探索する。このとき、視差値がゼロ（０）の画素、すなわち視差無領域に含まれる画素を発見した場合に、その画素を砂埃領域画素Ｇ２とする。砂埃領域画素Ｇ２を発見した場合は、この発見した砂埃領域画素Ｇ２に隣接する砂埃検出用画像ＳＩ中の画素の視差値を探索する。

【0059】

ただし、砂埃検出部１５による砂埃領域画素Ｇ２の検出においては、砂埃Ｄが発生している可能性の高い領域に加え、例えば空等の視差値がゼロ（０）の領域の画素を検索するおそれがある。このため、視差画像ＤＩにおける路面領域画素Ｇ１上の、予め定めた所定の閾値（砂埃領域画素検索範囲）以上の高さについては検索しない。Ｓ０５での砂埃領域画素Ｇ２の探索の結果、このＳ０５において砂埃領域画素Ｇ２の個数が、予め定めた所定の閾値以上になった場合に、砂埃有りと判定する（Ｓ０６／ＹＥＳ）。

【0060】

Ｓ０６にて砂埃有りと判定した（ＹＥＳの）場合、砂埃位置検出部１６にて、視差画像ＤＩ中のどの地点、すなわちどの位置に砂埃Ｄが生じているか否かを探索する（Ｓ０７）。このとき、視差画像ＤＩ中の各砂埃領域画素Ｇ２は、視差値がそれぞれゼロ（０）であるため、これら砂埃領域画素Ｇ２に基づいて車両１からの距離を算出できず、車両１から砂埃Ｄまでの距離を視差画像ＤＩから直接算出できない。そこで、Ｓ０７においては、砂埃領域画素Ｇ２に隣接している路面領域画素Ｇ１の位置を砂埃発生位置Ｐとして検出する。具体的には、Ｓ０５にて検出した砂埃領域画素Ｇ２のうちの、下方向に路面領域画素Ｇ１が隣接する砂埃領域画素Ｇ２を探索する。そして、下方向に路面領域画素Ｇ１が隣接する砂埃領域画素Ｇ２のうち、最も車両１の近く、すなわち最も下方向に位置する砂埃領域画素Ｇ２を砂埃発生位置Ｐとする。

【0061】

この後、砂埃位置検出部１６にて、視差画像ＤＩ中の砂埃領域の幅、すなわち砂埃幅Ｅを検出する（Ｓ０８）。Ｓ０８においては、視差画像ＤＩ中の互いに隣接している砂埃領域画素Ｇ２を探索していき、これら互いに隣接する砂埃領域画素Ｇ２のうちの、視差画像ＤＩ中の最も左端に位置する砂埃領域画素Ｇ２と、最も右端に位置する砂埃領域画素Ｇ２とを探索し、これら左端に位置する砂埃領域画素Ｇ２と、右端に位置する砂埃領域画素Ｇ２との水平方向（ｕ軸方向）の差、すなわち、これら左右端の砂埃領域画素Ｇ２間の距離を砂埃幅Ｅとして検出する。

【0062】

この検出した砂埃幅Ｅと、予め設定した所定の閾値とを比較し、砂埃幅Ｅが閾値より大きい場合（Ｓ０９／ＹＥＳ）、砂埃Ｄにて隠れた範囲、すなわち砂埃隠蔽範囲である砂埃隠蔽領域を、先行する他車両１Ａが存在する可能性が高い領域と判定する（Ｓ１０）。

【0063】

この閾値は、検出対象である他車両１Ａの横幅寸法と同程度に設定しておく。なお、砂埃位置検出部１６にて検出される砂埃幅Ｅは、車両１から砂埃Ｄまでの距離に応じて変化する。そこで、この閾値は、図１１に示すように、検出対象とした視差画像ＤＩ中における自車両１の位置（車両想定位置Ｆ）から、Ｓ０７にて検出した砂埃発生位置Ｐまでの車間距離Ｌに応じて変化させる。ここで、車両想定位置Ｆは、視差画像ＤＩ中に含まれない死角領域Ｈ内となる場合、カメラ１１ａ，１１ｂの取付位置および取付角度に基づき、視差画像ＤＩより下方の所定位置と設定される。

【0064】

さらに、鉱山の路面Ｒにおいては、図１に示すように、同一車種の複数台の車両１，１Ａが所定の車間をあけ、同一の走行速度および積荷状態、すなわち走行状態で走行している場合が多い。このため、閾値は、路面Ｒから砂埃Ｄの立ち上がり位置を判断基準とし、予め定めた変換テーブルに基づいて、図１２に示すように、荷重センサ５ｉによる検出によって自車両１の荷台１ｃに積荷を積んだ状態、すなわち積荷状態と検出した場合は、自車両１の荷台１ｃに積荷を積んでいない場合、すなわち空荷状態の場合に比べ、走行時に発生する砂埃Ｄがより濃くなり、砂埃発生位置Ｐから車両１までの距離が長くなることから、視差画像ＤＩ中の砂埃領域の大きさも小さくなるため、閾値を小さく設定する。

【0065】

また、車速センサ５ｈによる検出によって自車両１の車速が高くなるに連れて、先方を走行する他車両１Ａの車速も同様に高くなることから、この他車両１Ａが走行時に撒き上げる砂埃Ｄが濃くなり、かつその範囲が大きくなるため、閾値を大きく設定する。さらに、距離算出部１３にて算出した自車両１から砂埃発生位置Ｐまでの車間距離Ｌが長くなるに連れて、砂埃発生位置Ｐが車両１からより遠くなり、視差画像ＤＩ中の砂埃領域の大きさが小さくなるため、閾値を小さく設定する。

【0066】

この後、Ｓ１０にて判定した砂埃隠蔽領域に基づき、Ｓ０７にて検出した砂埃発生位置Ｐを、先行する他車両１Ａが存在する可能性が高い領域（車両可能性領域Ｊ）と、車両存在領域検出部１７にて認定して出力し、画像制御部１８にて、ディスプレイ１９に表示されているカメラ取得画像ａ中に、車両可能性領域Ｊを重畳させて表示する（Ｓ１１）。

【0067】

一方、Ｓ０５において砂埃領域画素Ｇ２の個数が、予め定めた所定の閾値より小さく砂埃Ｄなしと判定した場合（Ｓ０６／ＮＯ）は、そもそも砂埃Ｄが発生しておらず砂埃Ｄの先に他車両１Ａが存在する可能性はない。また、砂埃位置検出部１６にて検出した砂埃幅Ｅが、閾値以下の場合（Ｓ０９／ＮＯ）は、砂埃Ｄの発生の原因が、先行して走行する他車両１Ａである可能性が極めて低い。このため、Ｓ０６にて砂埃Ｄなしと判定した（ＮＯの）場合、およびＳ０９にて砂埃幅Ｅが閾値以下（ＮＯ）の場合は、車両存在領域検出部１７にて、Ｓ０３にて算出した視差画像ＤＩから、先行して走行する他車両１Ａの検出を行う（Ｓ１２）。

【0068】

Ｓ１２による他車両１Ａの検出の後、Ｓ１１へ進み、Ｓ１２にて検出した他車両１Ａに関する車両情報を、車両存在領域検出部１７にて車両可能性領域Ｊとして出力し、画像制御部１８にて、ディスプレイ１９に表示されている画像中に、車両可能性領域Ｊを重畳させて表示する。なお、上記Ｓ０１〜Ｓ１２の処理は、例えば、１秒当たり３０フレーム程度の、予め定めた所定フレームで繰り返して行われる。

【0069】

＜作用効果＞
鉱山においては、前方を走行する他車両１Ａが走行時に後方に砂埃Ｄを撒き上げると、この撒き上げられた砂埃Ｄによって他車両１Ａが隠れてしまい、この他車両１Ａを追従して走行する自車両１から他車両１Ａを視覚的に確認できない場合がある。さらに、砂埃Ｄが発生している領域は、略真っ白な領域となり、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて取得した二次元のカメラ取得画像ａ，ｂを比較して視差画像ＤＩを取得する場合に、視差値のない視差無領域となる。

【0070】

そこで、上記第１実施形態に係る障害物検出システム１０においては、路面Ｒ上の砂埃Ｄが発生している領域を、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて取得した二次元のカメラ取得画像ａ，ｂを比較し、これらカメラ取得画像ａ，ｂ間の視差無領域にて特定する。

【0071】

また、車両１Ａが走行時に撒き上げる砂埃Ｄは、自然発生した砂埃に比べ、濃度が高くかつ車両１Ａの大きさよりも発生範囲が広い。そこで、各カメラ１１ａ，１１ｂにて取得したカメラ取得画像ａ，ｂ間の視差無領域が所定の閾値より大きい場合に、その視差無領域を、他車両１Ａが存在する可能性の高い車両可能性領域Ｊと特定する。

【0072】

以上により、砂埃Ｄが発生し、前方を走行する他車両１Ａが砂埃Ｄによって隠れている場合であっても、他車両１Ａが存在する可能性のある領域を検出できる。よって、前方を走行する他車両１Ａや、路面Ｒ上の車両１Ａを早期に検知できるため、前方を走行する他車両１Ａの追従走行や回避走行を行わせることが可能となり、信頼性の高い車両１にできる。

【0073】

さらに、車両１Ａが走行時に発生する砂埃Ｄは、路面Ｒ上に発生する。このため、視差画像ＤＩ中の路面領域に視差無領域が接している場合は、前方を走行する他車両１Ａが走行時に撒き上げた砂埃Ｄの可能性が高い。そこで、視差無領域が路面領域に接している場合に、その視差無領域を砂埃領域と特定することにより、前方を走行する他車両１Ａを覆い隠す砂埃領域を適切に特定でき、この砂埃領域によって隠れた他車両１Ａを適切に検出できる。

【0074】

また、図７に示すように、カメラ１１ａにて取得したカメラ取得画像ａ、すなわちアピアランス・イメージをディスプレイ１９に表示させるとともに、このディスプレイ１９に表示させた画像中に、前方を走行する他車両１Ａが存在する可能性の高い車両可能性領域Ｊを重畳させて表示させるようにしている。この結果、このディスプレイ１９を、車両１を運転するオペレータが確認することによって、走行方向前方の砂埃Ｄが発生している位置および範囲に加え、その砂埃Ｄによって隠れている他車両１Ａが存在する可能性の高い領域を容易に確認できるため、有人走行式の車両１においても、前方を走行する他車両１Ａとの車間距離をより適切に維持することが可能となり、この他車両１Ａへの接触をより適切に防止できる。

【0075】

さらに、鉱山は、図１に示すように、同一車種の複数台の車両１，１Ａが所定の走行間隔をあけ、同一の走行状態で走行している場合が多いため、Ｓ０９において、砂埃幅Ｅを対比する閾値を、自車両１が積荷状態の場合は空荷状態の場合に比べて小さく設定し、自車両１の車速が高くなるに連れて大きく設定する。さらに、自車両１から砂埃発生位置Ｐまでの車間距離Ｌが長くなるに連れて、閾値を小さく設定する。この結果、前方を走行する他車両１Ａの走行状態や、他車両１Ａまでの走行間隔に応じた砂埃Ｄの検出が可能となるため、砂埃Ｄによって隠れている他車両１が存在する可能性の高い領域をより精度良く検出でき、この他車両１Ａとの走行間隔をより適切に維持することが可能となる。

【0076】

さらに、Ｓ０６で砂埃Ｄなしと判定した（ＮＯの）場合は、そもそも砂埃Ｄが発生しておらず砂埃Ｄの先に他車両１Ａが存在する可能性はない。また、Ｓ０９で砂埃幅Ｅが閾値以下（ＮＯ）の場合は、先行する他車両１Ａの走行時に発生した砂埃の可能性が極めて低い。さらに、これら場合においては、前方を走行する他車両１Ａは、カメラ取得画像ａ，ｂ中に撮影されており、視差画像ＤＩから特定できる。よって、Ｓ０６で砂埃Ｄなしと判定した場合、およびＳ０９で砂埃幅Ｅが閾値以下の場合は、Ｓ０３にて算出した視差画像ＤＩから、先行して走行する他車両１Ａの検出を行うこととする。この結果、視差画像ＤＩ中の視差無領域の大きさに関わらず、前方を走行する他車両１Ａが存在する可能性の高い領域を特定できる。

【0077】

［第２実施形態］
図１３は、本発明の第２実施形態に係る車両１を示す概略図である。図１４は、車両１に搭載した障害物検出システム１０Ａを示す概略図である。本第２実施形態が前述した第１実施形態と異なるのは、第１実施形態に対し、第２実施形態は、レーダ計測システム２１、砂埃判定部２２および車両認識部２３を備えた点である。なお、本第２実施形態において、第１実施形態と同一又は対応する部分には同一符号を付している。

【0078】

＜構成＞
本第２実施形態において、レーダ計測システム２１は、障害物検出システム１０Ａに備えられ、砂埃Ｄ越しに障害物の有無を検出する障害物検出部である。レーダ計測システム２１は、走行路認識部１４にて認識した路面領域上にある障害物を検出するもので、レーダ計測情報取得部２１ａと、レーダ障害物検出部２１ｂとを有している。レーダ計測情報取得部２１ａは、例えばミリ波レーダ等の砂埃を透過し、この砂埃の先の障害物を検出可能なレーザであり、このレーザにて走査する領域であるセンシング領域内に存在する障害物の位置情報をレーダ計測情報としてレーダ障害物検出部２１ｂに出力する。

【0079】

レーダ障害物検出部２１ｂは、レーダ計測情報取得部２１ａにて取得したレーダ計測情報と、走行路認識部１４にて推定した視差画像ＤＩ中の路面領域情報に基づいて、車両１の走行を阻害するおそれのある障害物、例えば他車両１Ａの位置を検出し、この検出した障害物の位置情報を、車両認識部２３に出力する。砂埃判定部２２は、レーダ障害物検出部２１ｂが検出した障害物の位置情報と砂埃位置検出部１６が検出した砂埃発生位置Ｐおよび砂埃Ｄの画素数に基づいて、砂埃検出部１５が検出した砂埃領域が、前方を走行する他車両１Ａによる走行で発生した砂埃か否かを判別する。

【0080】

車両認識部２３は、障害物識別部であって、車両存在領域検出部１７にて検出した視差画像ＤＩ中の車両可能性領域Ｊと、レーダ障害物検出部２１ｂにて検出した障害物の位置とを比較し、前方を走行する他車両１Ａの種類、大きさ、および位置を識別する。すなわち、車両認識部２３は、車両可能性領域Ｊの位置および画素数と、レーダ計測情報中の障害物の位置とに基づき他車両１Ａを識別する。さらに、車両認識部２３は、識別した他車両１Ａの種類、大きさおよび位置に関する車両情報を、例えば画像制御部１８へ出力する。

【0081】

＜動作＞
次に、上記第２実施形態に係る障害物検出システム１０Ａの処理について、図１５を参照して説明する。図１５は、障害物検出システム１０Ａによる処理を示すフローチャートである。ここで、障害物検出システム１０Ａの処理は、上記第１実施形態に係る障害物検出システム１０の処理のうち、番号が等しいステップは同一である。

【0082】

Ｓ０４の後、レーダ計測情報取得部２１ａにて、レーダ計測情報を取得する（Ｓ２１）。次いで、レーダ障害物検出部２１ｂは、取得したレーダ計測情報中のセンシング領域内にある障害物の位置情報と、Ｓ０４にて推定した視差画像ＤＩ中の路面領域情報とに基づき、車両１の走行を阻害するおそれのある障害物、すなわち他車両１Ａの位置を検出し、この検出した障害物の位置情報を車両認識部２３へ出力する（Ｓ２２）。

【0083】

さらに、Ｓ１０の後、レーダ障害物検出部２１ｂにて検出した障害物の位置情報を参照し（Ｓ２３）、Ｓ１０にて判定した砂埃隠蔽領域付近に障害物が存在する否かを砂埃判定部２２にて判定する（Ｓ２４）。Ｓ２４にて砂埃隠蔽領域付近に障害物が存在すると判定した（ＹＥＳの）場合は、前方を走行する他車両１Ａが存在する判定となり、レーダ障害物検出部２１ｂにて検出した障害物の位置情報と、Ｓ０７にて検出した砂埃発生位置Ｐ情報とを、車両情報として車両認識部２３へ出力する（Ｓ１１）。

【0084】

一方、Ｓ２４にて砂埃隠蔽領域付近に障害物が存在しないと判定した（ＮＯの）場合は、検出した砂埃隠蔽領域が自然発生よる砂埃と判定し（Ｓ２５）、障害物検出システム１０Ａによる処理を終了する。この結果、自然発生による砂埃を、車両１Ａの走行時に発生する砂埃Ｄと区別でき、砂埃Ｄによって隠れた車両１Ａを誤認識する可能性を低減できる。

【0085】

さらに、Ｓ１２の後においては、Ｓ１２にて検出した視差画像ＤＩ中の他車両１Ａの車両認識位置について、レーダ障害物検出部２１ｂにて検出したレーダ計測情報中の障害物の位置情報を参照して他車両１Ａを検出し（Ｓ２６）、この検出した他車両１Ａの車両情報を、例えば画像制御部１８へ出力する（Ｓ１１）。

【0086】

＜作用効果＞
以上により、本第２実施形態に係る障害物検出システム１０Ａにおいては、上記第１実施形態にて奏し得る作用効果に加え、車両存在領域認識部１７にて他車両１Ａの位置や大きさを特定できない場合であっても、レーダ計測情報取得部２１ａにて路面領域上の障害物の位置を検出し、車両存在領域検出部１７にて検出した視差画像ＤＩ中の車両可能性領域Ｊの位置および画素数に、レーダ障害物検出部２１ｂにて検出した障害物の位置情報を加えることにより、車両認識部２３にて、前方を走行する他車両１Ａの種類、大きさ、及び位置を識別できる。

【0087】

特に、レーダ計測情報取得部２１ａとしてレーダを用いることにより、レーザにて走査するセンシング領域内に存在する障害物の位置情報を正確に検出できるから、砂埃Ｄによって隠れた他車両１Ａを適切に検出できる。よって、レーダ計測情報取得部２１ａにて計測したレーダ計測情報に基づき、レーダ障害物検出部２１ｂにて、視差画像ＤＩ中の路面領域上に存在する障害物を検出し、この検出した障害物の位置情報を用いることにより、車両認識部２３による路面領域上の障害物情報の検出をより精度良くできる。

【0088】

さらに、車両１Ａによる走行にて発生した砂埃か否かは、視差画像ＤＩ中の路面領域と砂埃領域との位置関係やその大きさ、すなわち画素数によって判別できる。このため、車両存在領域検出部１７にて検出した視差画像ＤＩ中の車両可能性領域Ｊの位置および画素数と、レーダ障害物検出部２１ｂにて検出した障害物の位置情報とに基づき、砂埃検出部１５にて検出した砂埃領域が、前方を走行する他車両１Ａの走行にて発生した砂埃Ｄか否かを砂埃判定部２２にて判別できる。よって、砂埃領域に相当する砂埃Ｄの発生原因を精度良く特定できる。よって、車両１Ａを覆い隠す砂埃Ｄをより精度良く特定できるため、車両１Ａが存在する可能性の高い領域をより精度良く検出できる。

【0089】

［その他］
なお、本発明は前述した実施形態に限定されるものではなく、様々な変形態様が含まれる。例えば、前述した実施形態は、本発明を分りやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0090】

さらに、上記各実施形態においては、鉱山用のダンプトラックを例として車両１を説明したが、例えば、油圧ショベル４、散水車、グレーダ、ブルドーザ、ロードローダ、パトロールカー等の作業車の他、鉱山に設けられた路面Ｒを走行する鉱山用作業車両についても、本発明に係る障害物検出システム１０，１０Ａを搭載することもできる。

【0091】

また、有人走行式の車両１のみならず、情報センタ３からの操作信号に応じて、自律走行可能な無人走行式の車両１であってもよい。この場合には、障害物検出システム１０，１０Ａにて検出した車両情報を車両１から情報センタ３へ送信し、情報センタ３にて認識する車両情報と比較等し、この情報センタ３にて管制する複数台の車両１，１Ａの運行をより精度良く管理できる。

【0092】

また、上記各実施形態に係る障害物検出システム１０，１０Ａとしては、例えば、前方を走行する他車両１Ａのほか、鉱山の路面Ｒを走行する散水車、グレーダ、パトロールカー等の他車両を検出する車両検出システム等としてもよく、さらには、例えば落下した積載物や、崩れた土砂、落石等の車両１，１Ａ以外の障害物を検出するシステムとしてもよい。

【0093】

またさらに、上記各実施形態においては、障害物検出システム１０，１０Ａによるすべての処理を車両１に搭載したコントローラ６で行う構成としたが、車載無線装置５ｇ等を用いて所定の情報の送受信を行うようにし、コントローラ６のうちの少なくともいずれかの処理を、情報センタ３等の車両１以外の場所で行う構成とすることもできる。

【符号の説明】

【0094】

１，１Ａ 車両（鉱山用作業車両）
１ｃ 荷台
５ｈ 車速センサ（速度検出部）
５ｉ 荷重センサ（積荷質量検出部）
６ コントローラ
１０ 障害物検出システム
１１ ステレオカメラ装置
１１ａ カメラ（第１のカメラ）
１１ｂ カメラ（第２のカメラ）
１２ 画像情報取得部（差分無領域特定部）
１３ 距離算出部
１４ 走行路認識部（路面領域特定部）
１５ 砂埃検出部
１６ 砂埃位置検出部
１７ 車両存在領域検出部（障害物領域特定部）
１８ 画像制御部
１９ ディスプレイ（表示装置）
２１ レーダ計測システム（障害物検出部）
２１ａ レーダ計測情報取得部（レーダ）
２１ｂ レーダ障害物検出部
２２ 砂埃判定部
２３ 車両認識部（障害物識別部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】