(58)【調査した分野】(Int.Cl.,DB名)
前記車体部に設けられており、前記車体部の全周範囲に存在する物体を検出可能な複数のレーダ装置を備える、請求項1又は請求項2に記載の、鉱山で用いられるダンプトラック。
【発明を実施するための形態】
【0013】
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。以下の説明において、前、後、左及び右は、運転席に着座したオペレータを基準とする用語である。車幅方向は、左右方向と同義である。
【0014】
<ダンプトラック>
図1は、本実施形態に係るダンプトラックを示す斜視図である。
図2は、本実施形態に係るダンプトラックが有するキャブの構造を示す図である。本実施形態において、ダンプトラック(オフハイウェイトラックともいう)1は、鉱山での作業等に用いられる自走式の超大型の車両である。ダンプトラック1は、車体部2と、キャブ3と、ベッセル4と、前輪5と、後輪6とを含む。車体部2は、アッパデッキ2b及び前後方向に沿って配置されたフレーム2fを含む。また、ダンプトラック1は、自身の周囲を監視して、その結果を表示する周辺監視システムを有する。周辺監視システムの詳細は後述する。
【0015】
本実施形態において、ダンプトラック1は、ディーゼルエンジン等の内燃機関が発電機を駆動することによって発生した電力で電動機を駆動し、後輪6を駆動する。このように、ダンプトラック1は、いわゆる電気駆動方式であるが、ダンプトラック1の駆動方式はこれに限定されるものではない。例えば、ダンプトラック1は、内燃機関の動力を、トランスミッションを介して後輪6へ伝達し、これを駆動するものであってもよいし、架線からトロリーを介して供給された電力で電動機を駆動し、この電動機によって後輪6を駆動するものであってもよい。
【0016】
フレーム2fは、内燃機関及び発電機等の動力発生機構とその補機類とを支持している。フレーム2fの前部には、左右の前輪5(
図1では右前輪のみを示している)が支持されている。フレーム2fの後部には、左右の後輪6(
図1では右後輪のみを示している)が支持されている。前輪5及び後輪6は、直径が2m(メートル)〜4m(メートル)程度である。フレーム2fは、ロアデッキ2aと、アッパデッキ2bとを有する。このように、鉱山で用いられるダンプトラック1は、ロアデッキ2aとアッパデッキ2bとを有する二重デッキ構造となっている。
【0017】
ロアデッキ2aは、フレーム2fの前面の下部に取り付けられる。アッパデッキ2bは、ロアデッキ2aの上方に配置されている。ロアデッキ2aの下方には、例えば、キャブ3への乗降用に用いられる可動式のラダー2cが配置されている。ロアデッキ2aとアッパデッキ2bとの間には、両者の間を行き来するための斜めラダー2dが配置されている。また、ロアデッキ2aとアッパデッキ2bとの間には、ラジエーターが配置されている。アッパデッキ2bの上には、柵状の手すり2eが配置されている。本実施形態において、ラダー2c及び斜めラダー2dは、アッパデッキ2b及びロアデッキ2aの一部であるものとする。
【0018】
図1に示すように、キャブ(運転室)3は、アッパデッキ2b上に配置されている。キャブ3は、アッパデッキ2b上において、車幅方向の中央よりも車幅方向における一方側にずらされて配置されている。具体的には、キャブ3は、アッパデッキ2b上において車幅方向の中央よりも左側に配置されている。
図2に示すように、キャブ3は、複数本(本実施形態では4本)の支柱3a、3b、3c、3dを含むROPS(Roll-Over Protection System:転倒時保護構造)を備えている。ROPSは、万一ダンプトラック1が転倒した場合、キャブ3内のオペレータを保護する。ダンプトラック1の運転者は、車体部2の左側の路肩を容易に確認できる状態で走行するが、車体部2の周囲を確認するためには、頭を大きく動かす必要がある。また、アッパデッキ2bには、ダンプトラック1の周囲を確認するために、図示しないサイドミラーが複数設けられている。これらのサイドミラーは、キャブ3から離れた位置に配置されているので、運転者は、サイドミラーを用いて車体部2の周辺を確認する場合にも、頭を大きく動かす必要がある。
【0019】
図2に示すように、キャブ3内には、運転席31、ハンドル32、ダッシュカバー33、無線装置34、ラジオ受信機35、リターダ36、シフトレバー37、トレーナー席38、
図2には示していない監視制御装置としてのコントローラ(図詳細は後述する)、モニタ50、アクセルペダル及びブレーキペダル等が設けられている。なお、
図2には示していないコントローラとモニタ50とは、後述する周辺監視システム10の一部である。
【0020】
図1に示すベッセル4は、砕石等の積荷を積載するための容器である。ベッセル4の底面の後部は、回転ピンを介してフレーム2fの後部に回動可能に連結されている。ベッセル4は、油圧シリンダ等のアクチュエータによって、積載姿勢と起立姿勢とを取ることができる。積載姿勢は、
図1に示すように、ベッセル4の前部がキャブ3の上部に位置する姿勢である。起立姿勢は、積荷を排出する姿勢であり、ベッセル4が後方かつ下方へ向かって傾斜した状態となる姿勢である。ベッセル4の前部が上方に回動することによってベッセル4は積載姿勢から起立姿勢に変化する。ベッセル4は、前方に鍔部4Fを有している。鍔部4Fは、キャブ3の上方まで延出してキャブ3を覆っている。キャブ3の上方に延出した鍔部4Fは、砕石等の衝突からキャブ3を保護する。
【0021】
<周辺監視システム>
図3は、本実施形態に係る周辺監視システムを示す図である。
図4は、本実施形態に係る周辺監視システムが有する撮像装置を搭載したダンプトラックの斜視図である。
図5は、複数の撮像装置によって撮像される領域及び複数の撮像装置によって撮像された画像の情報に基づいて生成された俯瞰画像を示す模式図である。
図5に示す、複数の撮像装置によって撮像される領域は、地面を基準とした領域である。周辺監視システム10は、複数(本実施形態では6台)の撮像装置11、12、13、14、15、16と、複数(本実施形態では8台)のレーダ装置21、22、23、24、25、26、27、28と、モニタ50と、監視制御装置としてのコントローラ100とを有している。なお、本実施形態において、周辺監視システム10には、レーダ装置21、22、23、24、25、26、27、28は必ずしも必要ではない。
【0022】
<撮像装置>
撮像装置11、12、13、14、15、16は、ダンプトラック1に取り付けられる。撮像装置11、12、13、14、15、16は、例えば、CCD(Charge Coupled Device)を用いたカメラである。撮像装置11、12、13、14、15、16は、ダンプトラック1の周囲を撮像し、画像情報として出力する。以下において、適宜、撮像装置11を第1撮像装置11、撮像装置12を第2撮像装置12、撮像装置13を第3撮像装置13、撮像装置14を第4撮像装置14、撮像装置15を第5撮像装置15、撮像装置16を第6撮像装置16という。また、これらを区別する必要がない場合、適宜、撮像装置11〜16という。
【0023】
図4に示すように、6台の撮像装置11〜16は、ダンプトラック1の周囲360度の範囲における画像を撮像するために、ダンプトラック1の外周部分にそれぞれ取り付けられている。本実施形態において、それぞれの撮像装置11〜16は、左右方向において120度(左右60度ずつ)、高さ方向において96度の視野範囲を有しているが、このような視野範囲に限定されるものではない。
【0024】
図4に示すように、第1撮像装置11は、ダンプトラック1の前面に取り付けられる。具体的には、第1撮像装置11は、斜めラダー2dの上端部、より具体的には、最上段の踊り場部分の下部に配置される。第1撮像装置11は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の前方に向かって固定されている。
図5に示すように、第1撮像装置11は、ダンプトラック1の周囲に存在する領域のうち第1領域11Cを撮像して画像情報としての第1画像情報を出力する。第1領域11Cは、ダンプトラック1の車体部2の前方に広がる領域である。
【0025】
図4に示すように、第2撮像装置12は、ダンプトラック1の前面における一方の側部に取り付けられる。具体的には、第2撮像装置12は、アッパデッキ2bの前面の右側部に配置される。第2撮像装置12は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め前方に向かって固定されている。
図5に示すように、第2撮像装置12は、ダンプトラック1の周囲に存在する領域のうち第2領域12Cを撮像して画像情報としての第2画像情報を出力する。第2領域12Cは、ダンプトラック1の車体部2の右斜め前方に広がる領域である。
【0026】
図4に示すように、第3撮像装置13は、ダンプトラック1の前面における他方の側部に取り付けられる。具体的には、第3撮像装置13は、アッパデッキ2bの前面の左側部に配置される。そして、第3撮像装置13は、ダンプトラック1の幅方向中央を通る軸に対して第2撮像装置12と左右対称となるように配置される。第3撮像装置13は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の左斜め前方に向かって固定されている。
図5に示すように、第3撮像装置13は、ダンプトラック1の周囲に存在する領域のうち第3領域13Cを撮像して画像情報としての第3画像情報を出力する。第3領域13Cは、ダンプトラック1の車体部2の左斜め前方に広がる領域である。
【0027】
図4に示すように、第4撮像装置14は、ダンプトラック1の一方の側面に取り付けられる。具体的には、第4撮像装置14は、アッパデッキ2bの右側面の前部に配置される。第4撮像装置14は、アッパデッキ2bに取り付けられたブラケットを介して、ダンプトラック1の右斜め後方に向かって固定されている。
図5に示すように、第4撮像装置14は、ダンプトラック1の周囲に存在する領域のうち第4領域14Cを撮像して画像情報としての第4画像情報を出力する。第4領域14Cは、ダンプトラック1の車体部2の右斜め後方に広がる領域である。
【0028】
図4に示すように、第5撮像装置15は、ダンプトラック1の他方の側面に取り付けられる。具体的には、第5撮像装置15は、アッパデッキ2bの左側面の前部に配置される。そして、第5撮像装置15は、ダンプトラック1の幅方向中央を通る軸に対して第4撮像装置14と左右対称となるように配置される。
図5に示すように、第5撮像装置15は、ダンプトラック1の周囲に存在する領域のうち第5領域15Cを撮像して画像情報としての第5画像情報を出力する。第5領域15Cは、ダンプトラック1の車体部2の左斜め後方に広がる領域である。
【0029】
図4に示すように、第6撮像装置16は、ダンプトラック1の後部に取り付けられる。具体的には、第6撮像装置16は、フレーム2fの後端であって、2個の後輪6、6を連結するアクスルハウジングの上方、かつベッセル4の回動軸付近に配置される。第6撮像装置16は、左右のフレーム2fを連結するクロスバーに取り付けられたブラケットを介して、ダンプトラック1の後方に向かって固定されている。
図5に示すように、第6撮像装置16は、ダンプトラック1の周囲に存在する領域のうち第6領域16Cを撮像して画像情報としての第6画像情報を出力する。第6領域16Cは、ダンプトラック1の車体部2の後方に広がる領域である。
【0030】
上述した6台の撮像装置11〜16を用いることにより、本実施形態に係る周辺監視システム10は、
図5の中央に示すように、ダンプトラック1の全周360度の画像を撮像し、その画像情報を取得することができる。6台の撮像装置11〜16は、それぞれが撮像した画像情報としての第1画像情報〜第6画像情報を、
図3に示すコントローラ100に送信する。
【0031】
第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15は、比較的高い位置にあるアッパデッキ2bに設けられている。このため、コントローラ100は、第1撮像装置11〜第5撮像装置15によって上方から地面を見下ろすような画像を得ることができ、また、地面に存在する車両等の対象物を広範囲に撮像することができる。また、コントローラ100は、第1撮像装置11〜第6撮像装置16が取得した第1画像情報〜第6画像情報から俯瞰画像200を生成する際に視点変換を実行した場合であっても、これらのうち第1画像情報〜第5画像情報は上方から撮像されて得られた情報なので、立体物の変形の程度を抑制することができる。
【0032】
<レーダ装置>
図6は、レーダ装置の配置を示す斜視図である。本実施形態において、レーダ装置21、22、23、24、25、26、27、28(以下、適宜レーダ装置21〜28という)は、方位±80度(左右40度)、検出距離が最大15m以上のUWB(Ultra Wide Band)レーダ(超広域帯レーダ)である。レーダ装置21〜28は、ダンプトラック1の周囲に存在する対象物とダンプトラック1との相対的な位置(相対位置)を検出する。それぞれのレーダ装置21〜28は、撮像装置11〜16と同様に、ダンプトラック1の外周部分に取り付けられる。
【0033】
レーダ装置21(適宜第1レーダ装置21という)は、
図6に示すように、地上から1m程度の高さに配置されているロアデッキ2aにおける車体部2の正面、かつ車体部2の幅方向中心よりもやや右側に配置されている。第1レーダ装置21の検出範囲は、ダンプトラック1の車体部2の前方から左斜め前方に広がる範囲となる。
【0034】
レーダ装置22(適宜第2レーダ装置22という)は、
図6に示すように、ロアデッキ2aにおける車体部2の正面、かつ車体部2の幅方向中心よりもやや左側に配置されている。すなわち、第2レーダ装置22は、第1レーダ装置21の左側に、第1レーダ装置21と隣接して配置されている。第1レーダ装置21の検出範囲は、ダンプトラック1の車体部2の前方から右斜め前方に広がる範囲となる。
【0035】
レーダ装置23(適宜第3レーダ装置23という)は、
図6に示すように、ロアデッキ2aの右側面前端部付近に配置されている。第3レーダ装置23の検出範囲は、ダンプトラック1の車体部2の右斜め前方から右方に広がる範囲となる。
【0036】
レーダ装置24(適宜第4レーダ装置24という)は、
図6に示すように、車体部2の側部におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における右側端部近傍に配置されている。第4レーダ装置24の検出範囲は、ダンプトラック1の車体部2の右方から後方に広がる範囲となる。
【0037】
レーダ装置25(適宜第5レーダ装置25という)は、
図6に示すように、ベッセル4の下方であって、ダンプトラック1の左右の後輪6に駆動力を伝達するアクスルの上方に配置されている。第5レーダ装置25の検出範囲は、ダンプトラック1の車体部2の右斜め後方から後方に向かって広がる範囲となる。
【0038】
レーダ装置26(適宜第6レーダ装置26という)は、
図6に示すように、第5レーダ装置25と同様に、アクスルの上方であって、第5レーダ装置25の右側に隣接して配置されている。第6レーダ装置26の検出範囲は、第5レーダ装置25の検知範囲と交差するように、ダンプトラック1の車体部2の左斜め後方から後方に向かって広がる範囲となる。
【0039】
レーダ装置27(適宜第7レーダ装置27という)は、
図6に示すように、車体部2の側面におけるロアデッキ2aとアッパデッキ2bとの中間の高さ位置における左側端部近傍、すなわち、車体部2の幅方向中心軸に対して第4レーダ装置24と左右対称の位置に配置されている。第7レーダ装置27の検出範囲は、ダンプトラック1の車体部2の左方から後方に広がる範囲となる。
【0040】
レーダ装置28(適宜第1レーダ装置28という)は、
図6に示すように、ロアデッキ2aの左側面における前端部近傍、すなわち、車体部2の幅方向中心軸に対して第3レーダ装置23と左右対称の位置に配置されている。第8レーダ装置28の検出範囲は、ダンプトラック1の車体部2の左斜め前方から左方に広がる範囲となる。
【0041】
8台のレーダ装置21〜28は、ダンプトラック1の周囲360度全周を検出範囲として、対象物とダンプトラック1との相対位置を検出することができる。8台のレーダ装置21〜28は、それぞれ検出した対象物とダンプトラック1との相対位置を示す相対位置情報をコントローラ100に送信する。このように、複数(8台)のレーダ装置21〜28は、車体部2に設けられて、車体部2の全周範囲に存在する物体を検出可能である。
【0042】
<コントローラ>
コントローラ100は、撮像装置11〜16及びレーダ装置21〜28を用いて、ダンプトラック1の周囲における対象物の有無を俯瞰画像200上に表示し、必要に応じて対象物の存在をオペレータに報知する。コントローラ100は、
図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120、表示制御部130、モニタ画像生成部140、対象物情報収集部210及び対象物処理部220を有している。
【0043】
俯瞰画像合成部110は、
図3に示すように、撮像装置11〜16に接続されている。俯瞰画像合成部110は、それぞれの撮像装置11〜16が撮像し、生成した複数の画像情報(第1画像情報〜第5画像情報)を受信する。そして、俯瞰画像合成部110は、受信した複数の画像情報に対応した画像を合成して、ダンプトラック1の全周囲を含む俯瞰画像200を生成する。具体的には、俯瞰画像合成部110は、複数の画像情報をそれぞれ座標変換することによって、複数の画像を所定の投影面上に投影させた俯瞰画像200を示す俯瞰画像情報を生成する。
【0044】
カメラ画像切替・視点変換部120は、
図3に示すように、撮像装置11〜16に接続されており、レーダ装置21〜28による障害物検出の結果等に応じて、俯瞰画像200とともにモニタ50の画面に表示される各撮像装置11〜16による撮像画像を切り替える。また、カメラ画像切替・視点変換部120は、各撮像装置11〜16によって取得された画像情報を、上方無限遠からの視点からの画像情報に変換する。
【0045】
表示制御部130は、
図3に示すように、カメラ画像切替・視点変換部120、モニタ画像生成部140及び対象物処理部220に接続されている。表示制御部130は、各撮像装置11〜16によって取得された画像情報を合成して形成される俯瞰画像200中にレーダ装置21〜28によって取得された対象物の位置情報を合成して表示させるための対象物位置情報を、カメラ画像切替・視点変換部120及びモニタ画像生成部140に対して送信する。
【0046】
モニタ画像生成部140は、
図3に示すように、俯瞰画像合成部110、カメラ画像切替・視点変換部120及び表示制御部130に接続されている。モニタ画像生成部140は、撮像装置11〜16及びレーダ装置21〜28によって取得されたダンプトラック1の全周囲における画像情報と対象物位置情報とに基づいて、俯瞰画像200に対象物の位置を含む画像を生成する。この画像は、モニタ50に表示される。
【0047】
対象物情報収集部210は、
図3に示すように、レーダ装置21〜28と対象物処理部220とに接続されている。対象物情報収集部210は、レーダ装置21〜28からそれぞれの検出範囲における対象物検出結果を受信し、対象物処理部220へ送信する。
【0048】
対象物処理部220は、
図3に示すように、対象物情報収集部210と表示制御部130とに接続されている。対象物処理部220は、対象物情報収集部210から受信した対象物の位置情報を、表示制御部130へ送信する。
【0049】
本実施形態において、
図4に示すように、撮像装置11〜16がアッパデッキ2bの正面及び側面並びにベッセル4の下方に配置されている。そして、コントローラ100は、撮像装置11〜16が撮像し、取得した第1画像情報〜第6画像情報を合成して、
図5に示すような俯瞰画像200を生成して、キャブ3内における運転席31の前方に配置されるモニタ50に表示させる。このとき、モニタ50は、コントローラ100の制御に応じて、俯瞰画像200等の画像を表示する。俯瞰画像200は、撮像装置11〜16が撮像した第1領域11C〜第6領域16Cに対応する第1画像情報〜第6画像情報をコントローラ100が合成することによって得られる。周辺監視システム10は、このような俯瞰画像200をモニタ50に表示する。このため、ダンプトラック1のオペレータは、モニタ50に表示された俯瞰画像200を視認するだけで、ダンプトラック1の周囲360度の全範囲を監視することができる。次に、俯瞰画像について説明する。
【0050】
<俯瞰画像>
図7は、仮想投影面VPを用いた画像変換の手法を示す図である。コントローラ100は、複数の第1画像情報〜第6画像情報によって示される複数の画像に基づいて、ダンプトラック1の周囲の俯瞰画像200を作成する。具体的には、コントローラ100は、所定の変換情報を用いて第1画像情報〜第6画像情報の座標変換を実行する。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。本実施形態において、入力画像は、撮像装置11〜16によって撮像された画像であり、第1画像情報〜第6画像情報に対応する画像である。出力画像は、モニタ50に表示される俯瞰画像200である。
【0051】
コントローラ100は、変換情報を用いて、撮像装置11〜16によって撮像された画像を、ダンプトラック1の上方に位置する所定の仮想視点から見た画像に変換する。具体的には、
図7に示すように、撮像装置11〜16によって撮像された画像は、所定の仮想投影面VPに投影されることにより、ダンプトラック1の上方に位置する仮想視点VIPから見た画像に変換される。変換情報は、この仮想投影面VPを表している。変換後の画像がモニタ50に表示される俯瞰画像である。コントローラ100は、複数の撮像装置11〜16から取得した複数の第1画像情報〜第6画像情報を所定の仮想投影面VPに投影して合成することにより、ダンプトラック1の周囲の俯瞰画像200を作成する。
【0052】
図5に示すように、それぞれの撮像装置11〜16が撮像したダンプトラック1の周囲の領域は、第1重複領域OA1〜第6重複領域OA6において重複している。コントローラ100は、俯瞰画像200において、それぞれの第1重複領域OA1〜第6重複領域OA6において互いに隣接する2個の撮像装置11〜16からの第1画像情報〜第6画像情報に対応する画像を重ねて表示する。
【0053】
具体的には、コントローラ100は、第1重複領域OA1では、第1撮像装置11からの第1画像情報の画像と、第2撮像装置12からの第2画像情報の画像とを重ねて表示する。また、コントローラ100は、第2重複領域OA2では、第1撮像装置11からの第1画像情報の画像と、第3撮像装置13からの第3画像情報の画像とを重ねて表示する。また、コントローラ100は、第3重複領域OA3では、第2撮像装置12からの第2画像情報の画像と、第4撮像装置14からの第4画像情報の画像とを重ねて表示する。また、コントローラ100は、第4重複領域OA4では、第3撮像装置13からの第3画像情報の画像と、第5撮像装置15からの第5画像情報の画像とを重ねて表示する。また、コントローラ100は、第5重複領域OA5では、第4撮像装置14からの第4画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。また、コントローラ100は、第6重複領域OA6では、第5撮像装置15からの第5画像情報の画像と、第6撮像装置16からの第6画像情報の画像とを重ねて表示する。
【0054】
このように、第1重複領域OA1〜第6重複領域OA6において、2個の画像情報を重ねて合成する場合には、第1画像情報〜第6画像情報の値に合成比率を乗じた値が加算される。合成比率は、第1画像情報〜第6画像情報に対応した値であり、コントローラ100が記憶している。例えば、第1画像情報の合成比率が0.5であり、第2画像情報の合成比率が0.5である等、第1画像情報〜第6画像情報毎に合成比率が定められている。合成比率が用いられることにより、第1重複領域OA1〜第6重複領域OA6において複数の画像情報が平均化されて表示される。その結果、色及びコントラストの急激な変化が抑えられ、コントローラ100は、自然な俯瞰画像200を作成することができる。コントローラ100は、上述のように合成された俯瞰画像を示す合成画像情報を生成して、モニタ50に出力する。
【0055】
図8は、ダンプトラックとその周囲に存在する車両との関係を示す平面図である。
図9は、ダンプトラックとその周囲に存在する車両との関係を示す正面図である。鉱山で用いられるダンプトラック1は、積載量が80t(トン)〜400t(トン)程度、全長Lが8m(メートル)〜15m(メートル)程度、幅Wが5m(メートル)〜10m(メートル)程度、全高Haが5m(メートル)〜8m(メートル)程度と非常に大きい車両である。このため、太陽の方向によって、ダンプトラック1の周囲には影ができる領域が発生する(
図3、
図4のSAで示す領域、以下において、適宜影領域SAという)。影領域SAは、太陽の高度にもよるが、ダンプトラック1は特に全高Haが大きいため、場合によってはダンプトラック1の外側に向かって10m(メートル)を超える場合もある。
【0056】
鉱山では、例えば、ダンプトラック1のオペレータが乗車してダンプトラック1まで移動するために用いる乗用車又は鉱山を巡回する乗用車又は小型トラック等の車両(サービスカー)300が用いられる。車両300は、乗用車又は小型トラックであるため、全長Lcは5m(メートル)程度、幅Wcは2m(メートル)程度、全高Hcは2m(メートル)程度である。このように、車両300は、ダンプトラック1と比較すると大幅に小さい。上述したように、影領域SAは、ダンプトラック1の外側に向かって10m(メートル)を超える程度の大きさなので、影領域SAに車両300が進入すると、影領域SA内に車両300が完全に隠れてしまうことがある。
【0057】
一般に、影の領域内といっても、通常は乱反射等である程度の照度はあるが、ダンプトラック1の影領域SAは非常に大きいため、乱反射等による光が非常に少なくなり、結果として影領域SA内の照度が低くなる。これは、このため、影領域SA内に存在する車両300を撮像装置11〜16で撮像することによって得られた俯瞰画像200は、明暗(白黒)のコントラスト差が大きくなる(例えば、数万ルクス以上)。その結果、影領域SA内の車両300は、俯瞰画像200の暗い(黒い)部分に埋もれてしまって俯瞰画像200に表示されなくなる可能性がある。その結果、ダンプトラック1のオペレータは、ダンプトラック1に接近している車両300を認識できない可能性がある。特に、
図3に示すように、ダンプトラック1の幅方向中心軸に対してアッパデッキ2b上のキャブ3とは反対側又はダンプトラック1の後方に車両300が存在するような場合、キャブ3に搭乗するオペレータの死角に車両300が存在することになる。したがって、オペレータの死角に存在する車両300を俯瞰画像200によって確実に視認できるようにする必要がある。
【0058】
鉱山においては、ダンプトラック1が存在する場所には車両300も存在する可能性が高い。また、ダンプトラック1は、自身が影領域SAを作りながら鉱山内を移動するので、影領域SAの場所も時々刻々として変化する。さらに、ダンプトラック1は、ベッセル4を昇降させることにより全高が変化するため、影領域SAの範囲も大きく変化する。このため、鉱山で用いられるダンプトラック1においては、俯瞰画像200によってダンプトラック1の周囲の状況を、明暗のコントラスト差が大きい環境においても確実に把握できるようにする必要がある。
【0059】
また、赤道直下又は赤道近傍のような日差しが非常に強い場所では日向と日陰との照度差が非常に大きいため、俯瞰画像200の明暗(白黒)のコントラスト差は、このような場所でより顕著に表れて、影領域SA内の車両300はより見えにくくなる。鉱山は、赤道直下又は赤道近傍に比較的多く存在するため、鉱山で使用されるダンプトラック1に用いられる周辺監視システム10において、ダンプトラック1の周囲に存在する車両300を俯瞰画像200によって視認できるようにする要請は大きい。
【0060】
ダンプトラック1の周囲に存在する車両300を俯瞰画像200によって視認できるようにするため、本実施形態において、撮像装置11〜16にはワイドダイナミックレンジ(WDR:Wide Dynamic Range)カメラを用いる。ワイドダイナミックレンジカメラは、明るい部分を視認できるレベルに保ちながら、暗い部分を明るく補正し、全体をくまなく視認できるように調整可能な機能を有したカメラである。
【0061】
図2に示す第1撮像装置11は、車体部2の前方を撮像可能なカメラであり前方ワイドダイナミックレンジカメラに相当する。第2撮像装置12は、車体部2の側方(右側方)かつ斜め前方を撮像可能なカメラであり、第1側方ワイドダイナミックレンジカメラ(第1右側方ワイドダイナミックレンジカメラ)に相当する。第2撮像装置12は、車体部2の側方(左側方)かつ斜め前方を撮像可能なカメラであり、第1側方ワイドダイナミックレンジカメラ(第1左側方ワイドダイナミックレンジカメラ)に相当する。第4撮像装置14は、車体部2の側方(右側方)かつ斜め後方を撮像可能なカメラであり、第2側方ワイドダイナミックレンジカメラ(第2右側方ワイドダイナミックレンジカメラ)に相当する。第5撮像装置15は、車体部2の側方(左側方)かつ斜め後方を撮像可能なカメラであり、第2側方ワイドダイナミックレンジカメラ(第2左側方ワイドダイナミックレンジカメラ)に相当する。第6撮像装置16は、車体部2の広報を撮像可能なカメラであり後方ワイドダイナミックレンジカメラに相当する。
【0062】
図10は、ワイドダイナミックレンジカメラを適用した撮像装置の一例を示す図である。撮像装置11〜16は、CCD等の撮像素子60と、DSP(Digital Signal Processor)61と、デコーダ(ビデオデコーダ)62と、輝度ダイナミックレンジ補正部63と、エンコーダ(ビデオエンコーダ)64とを含む。輝度ダイナミックレンジ補正部63及びエンコーダ64は、例えば、画像処理IC(Integrated Circuit)64によって実現される。
【0063】
撮像素子60によって撮像された画像の情報は、AD(Analog Digital)コンバータによってディジタル信号に変換されてからDSP61に入力される。DSP61は、入力された画像の情報のディジタル信号を処理した後、デコーダ62に出力する。デコーダ62は、DSP61から入力された処理後の信号をデコードしてから輝度ダイナミックレンジ補正部63に出力する。輝度ダイナミックレンジ補正部63は、入力された画像の信号に対して、輝度補正、より具体的には、ハイダイナミックレンジ(High Dynamic Range)合成処理を施す。ハイダイナミックレンジ合成処理とは、非常に大きなコントラストの元画像、すなわち撮像素子60が撮像した現実の画像を、1000:1程度のコントラストになるように、コントラストを落とした画像に変換する処理である。輝度ダイナミックレンジ補正部63は、ハイダイナミックレンジ合成処理を施した画像の信号を、エンコーダ64に出力する。エンコーダ64は、入力された信号をエンコードしてコントローラ100に出力する。撮像装置11〜16から出力される信号、すなわち、エンコーダ64から出力される信号が、第1画像情報〜第6画像情報である。
【0064】
撮像装置11〜16にワイドダイナミックレンジカメラを用いることにより、撮像装置11〜16は、明るい部分を視認できるレベルに保ちながら、ダンプトラック1の影になった部分のような暗い部分を明るく補正できる。このため、撮像装置11〜16が撮像した画像は、黒潰れ及び白飛びが起きにくくなり、全体としてより分かりやすい画像となる。したがって、撮像装置11〜16を備える周辺監視システム10は、ダンプトラック1の影領域SAに存在する車両300等の対象物が視認しやすくなった俯瞰画像200をモニタ50に表示することができる。このように、周辺監視システム10は、撮像装置11〜16が撮像した画像を用いてダンプトラック1の周辺を監視するにあたって、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を画像(この例では俯瞰画像200)に表示することができる。その結果、ダンプトラック1のオペレータは、ダンプトラック1の周囲、特に影領域SAに存在する車両300等の対象物を環境によらず、確実に視認することができる。
【0065】
このように、周辺監視システム10は、明暗のコントラスト差が大きい環境においても、ダンプトラック1の周囲の対象物を確実に表示する俯瞰画像200を生成することができるので、オペレータの死角に存在する車両300を俯瞰画像200によって確実に視認できるようにすることができる。したがって、周辺監視システム10は、上述したような、鉱山で用いられる非常に大型のダンプトラック1の周辺を監視する際に非常に有効である。すなわち、周辺監視システム10は、非常に大きい影領域SAを形成する場合があり、かつ影領域SAを自身で作りながら移動し、さらにベッセル4の昇降によって影領域SAが大きく変化し、また、死角となる領域が大きいダンプトラック1において、ダンプトラック1の周囲の対象物を確実に表示する俯瞰画像200を生成して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。また、周辺監視システム10は、赤道直下のような日向と日陰との照度差が非常に大きくなるような場所で稼働するダンプトラック1に対して、ダンプトラック1のオペレータにダンプトラック1の周囲の正確な情報を提供できる。
【0066】
なお、第6撮像装置16は、ベッセル4の下方かつ2個の後輪6、6を連結するアクスルハウジングの上方に配置されている。このように、第6撮像装置16は、ダンプトラック1の車体部2の内部側に配置されている。また、ベッセル4は、ダンプトラック1の後方に向かって張り出しているので、ベッセル4の下方には影ができやすい。すなわち、第6撮像装置16は、影領域SAが発生しやすい位置に配置されている。このため、第6撮像装置16は、影領域SAを撮像する機会が非常に多い。したがって、ダンプトラック1は、少なくとも第6撮像装置16を備えるとともに、これにワイドダイナミックレンジカメラを用いることが好ましい。
【0067】
<それぞれの撮像装置の撮像範囲>
図2に示すように、ダンプトラック1は、第1撮像装置11、第2撮像装置12、第3撮像装置13、第4撮像装置14及び第5撮像装置15をアッパデッキ2bに配置し、第6撮像装置16をフレーム2fの後端であってベッセル4の下方に配置している。特に、第2撮像装置12と第3撮像装置13とは、ダンプトラック1の車体部2の左右斜め前方から左右側方までを撮像可能な領域としてカバーしている。また、第4撮像装置14と第5撮像装置15とは、ダンプトラック1の車体部2の左右側方から左右斜め後方までを撮像可能な領域としてカバーしている。このようにすることで、コントローラ100は、第1撮像装置11及び第6撮像装置16によって撮像され、取得された第1画像情報及び第6画像情報と合わせて、ダンプトラック1の全周囲をカバーした俯瞰画像200を生成して、ダンプトラック1の周辺を監視することができる。
【0068】
また、本実施形態では、
図5に示すように、それぞれの撮像装置11〜16が撮像可能な領域である第1領域11C〜第6領域16Cが、互いの隣接部分において重複するように、互いに隣接する撮像装置11〜16が配置されている。コントローラ100は、それぞれの撮像装置11〜16が撮像可能な第1領域11C〜第6領域16Cの重複した部分において接続線を設けることで、ダンプトラック1の平面上における360度全周囲の監視が可能となる。なお、俯瞰画像200において、互いに隣接する第1領域11C〜第6領域16Cを接続する接続線は、第1領域11C〜第6領域16Cの重複範囲内における任意の位置に設定することができる。次に、撮像装置11〜16の高さ方向における撮像範囲について説明する。
【0069】
図11〜
図13は、本実施形態に係る周辺監視システムが有する撮像装置の高さ方向における撮像範囲を説明するための図である。
図14〜
図16は、ダンプトラックの周囲を車両が移動した場合を示す図である。
図13には、ダンプトラック1の全周における各撮像装置11〜16による3次元の撮像範囲が示されている。この例においては、ダンプトラック1の周囲における所定距離の範囲内における各撮像装置11〜16の高さ方向における撮像範囲が示されている。
【0070】
ダンプトラック1の周辺(例えば、ダンプトラック1の周辺10m(メートル)の範囲内)に存在する対象物(例えば、車両)を確実に俯瞰画像200に表示させるためには、例えば、
図11に示すように、車両300の一部が撮像装置11の撮像範囲320内に含まれるように、撮像装置11が配置されていればよい。他の撮像装置12〜16についても同様である。
図11に示す例において、ダンプトラック1の前方における撮像範囲の周辺付近に車両300が存在した場合、
図11に示す状態では、車両300の屋根301は、第1撮像装置11の撮像範囲320から外れてしまっている。このため、第1撮像装置11は、車両300の窓302から下方を撮像する結果、この撮像された画像情報に基づいて作成された俯瞰画像200は、車両300の窓302よりも下方が表示される。その結果、このような俯瞰画像200を見たダンプトラック1のオペレータは、車両300の高さ方向における一部のみが表示されているため、車両300を認識できない可能性がある。
【0071】
そこで、本実施形態において、ダンプトラック1は、自身の周辺に存在する対象物(例えば、車両300)の全体を俯瞰画像200に表示できるように、高さ方向においてアッパデッキ2bの高さ(例えば、3m(メートル))の半分以上(例えば、1.5m(メートル)以上)の撮像範囲を確保できるように、それぞれの撮像装置11〜16が配置されている。すなわち、鉱山で用いられるダンプトラック1のような超大型の車両の場合、キャブ3内のオペレータから見てキャブ3が設置されたアッパデッキ2bよりも下方に存在する車両300等の対象物を視認することが困難である。このため、ダンプトラック1の周囲に存在する対象物を周辺監視システム10によって確認できるようにするためには、地上からアッパデッキ2bよりも低い位置に存在する対象物をダンプトラック1の全周囲において確実に認識できるようにする必要がある。
【0072】
本実施形態において、撮像装置11〜16のうち隣接する撮像装置によって撮像され、取得された画像情報を合成して得られた俯瞰画像200の境界部分(又は重複部分)においては、隣接する撮像装置それぞれの水平方向における全撮像範囲において、少なくとも一方の撮像範囲の高さHsが、対象物(例えば、車両300)の全体を含む大きさ以上となるように配置される。そして、本実施形態においては、隣接する2台の撮像装置のうち少なくとも一方は、高さ方向における撮像範囲が、アッパデッキ2bの高さの半分以上の高さとなるように配置される。その結果、
図12に示すように、アッパデッキ2bよりも低い位置に存在する対象物を、それぞれの撮像装置11〜16のうち互いに隣接する撮像装置のうちの一方の撮像範囲とすることができるので、俯瞰画像200に確実に対象物の全体を表示することができる。
【0073】
具体的には、
図14〜
図16に示すように、ダンプトラック1の周囲において、対象物としての車両300が各撮像装置11〜16の撮像範囲の境界部分を跨ぐように、例えば、第3領域13Cから第1領域11Cへ移動した場合であっても、周辺監視システム10は、車両300の全体を俯瞰画像200に表示することができる。なお、それぞれの撮像装置11〜16が取得した第1画像情報〜第6画像情報を合成して俯瞰画像200を生成する場合には、第1画像情報〜第6画像情報に対応する画像の境界部分について、重複部分を平均化して表示するアルファブレンディングの技術を用いることが好ましい。このようにすることで、第1画像情報〜第6画像情報に対応する画像の境界部分を跨ぐように対象物が移動した場合でも、俯瞰画像200の境界部分において対象物が消失してしまうことを回避することができる。
【0074】
<変形例>
上述した例において、周辺監視システム10は、撮像装置11〜16が撮像し、取得した画像情報に基づいて俯瞰画像200を生成したが、周辺監視システム10は、このような形態には限定されない。上述したように、ダンプトラック1は、後方は最も視界が悪く、ベッセル4の昇降によって影領域SAの範囲が大きく変化する。周辺監視システム10は、例えば、ダンプトラック1のベッセル4の下方に配置される第6撮像装置16のみを用いるとともに、第6撮像装置16にハイダイナミックレンジカメラを用いて、ダンプトラック1の後方のみを監視してもよい。すなわち、ダンプトラック1のバックモニタとしてハイダイナミックレンジカメラの第6撮像装置16を用いるようにしてもよい。このようにすれば、明暗のコントラスト差が大きい環境においても、周辺監視システム10は、ダンプトラック1の後方に存在する車両その他の対象物を表示した画像を生成し、これをモニタ50に表示させることができる。
【0075】
なお、ダンプトラック1の全周を監視する場合、6台の撮像装置11〜16を用い、かつこれらすべてにワイドダイナミックレンジカメラを用いることが好ましい。このようにすることで、明暗のコントラスト差が大きい環境においても、ダンプトラック1の全周にわたってその周辺に存在する車両その他の対象物を表示した俯瞰画像2を得ることができる。
【0076】
以上、本実施形態及びその変形例を説明したが、上述した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、上述した構成要素は適宜組み合わせることが可能である。また、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。本実施形態及びその変形例に係るダンプトラックは、自身が作り出す影により、影の部分と日が当たっている部分とで明暗のコントラスト差が大きくなるものであればよい。このため、上述した実施形態及びその変形例では、鉱山で用いられるダンプトラックを例として説明したが、ダンプトラックは鉱山で用いられるものに限定されず、例えば、ダム等の建設現場で用いられるものであってもよい。