(58)【調査した分野】(Int.Cl.,DB名)
前記方向目安情報は、前記上部旋回体の旋回中心から直線状に延びる基準方向目安情報から周方向両側にそれぞれ所定距離をおいて平行配置される平行配置方向目安情報を有することを特徴とする請求項1または2に記載の作業機械の周辺監視装置。
【発明を実施するための形態】
【0015】
以下、添付図面を参照して本発明を実施するための形態について説明する。
【0016】
[油圧ショベルの全体構成]
まず、
図1は、本発明の実施の形態である作業機械の周辺監視装置が搭載される油圧ショベルの全体構成を示す側面図である。この油圧ショベル1は、作業機械の一例として示した、鉱山などで使用されるマイニングショベルなどの大型油圧ショベルである。油圧ショベル1は、自走可能な下部走行体2と、下部走行体2上に旋回自在に設置された上部旋回体3と、上部旋回体3の前部中央に屈曲起伏自在に動作する作業機4とを備える。
【0017】
作業機4は、ブーム4a、アーム4b、バケット4c、ブームシリンダ4d,アームシリンダ4e、及びバケットシリンダ4fを有する。ブーム4aの基端部は、上部旋回体3に回転可能に連結される。ブーム4aの先端部は、アーム4bの基端部に回転可能に連結される。アーム4bの先端部は、バケット4cに回転可能に連結される。ブームシリンダ4d、アームシリンダ4e、及びバケットシリンダ4fは、油圧ポンプから吐出された作動油によって駆動する油圧シリンダである。ブームシリンダ4dは、ブーム4aを動作させる。アームシリンダ4eは、アーム4bを動作させる。バケットシリンダ4fは、リンク部材を介してバケット4cに連結され、バケット4cを動作させる。バケットシリンダ4fのシリンダロッドが伸縮動作することによってバケット4cが動作する。なお、
図1では、バケット4cの開口が旋回中心に向いたバックホウとして機能するが、バケット4cの開口を旋回中心から外側に向けたフロントショベルとして機能させてもよい。
【0018】
上部旋回体3の前部左側部分には、キャブベース5を介して運転室6が設置される。上部旋回体3の後部には、パワーコンテナ7が搭載される。パワーコンテナ7内には、エンジン、油圧ポンプ、ラジエータ、オイルクーラなどが収容されている。上部旋回体3の後端部には、カウンタウェイト8が装着される。上部旋回体3の左側部には、キャブベース5の後方に位置するように昇降ラダー9が配置される。昇降ラダー9は、上部旋回体3に対する運転者や整備作業者の昇降を支援する。
【0019】
[運転席]
図2は、運転室6の内部配置を示す図である。
図2に示すように、操作レバー11,12は、運転室6内のオペレータシート10の左右に配置される。操作レバー11は、オペレータがオペレータシート10に着座した時に左手側に配置される。操作レバー11は上部旋回体3の旋回動作とアーム4bの動作に対応しており、操作レバー11を左右に操作すると上部旋回体3が左右に旋回し、操作レバー11を上下に操作するとアーム4bが前後方向に回動する。操作レバー12はブーム4aの動作とバケット4cの動作に対応しており、操作レバー12を左右に操作するとバケット4cが掘削・排土方向に回動し、操作レバー12を上下に操作するとブーム4aが上下方向に回動する。尚、操作レバー11,12の操作と、どの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
【0020】
走行レバー13は、操作に応じて下部走行体2の左側の履帯の前進後進を行うことができる。また、走行レバー14は、操作に応じて下部走行体2の右履帯の前進後進を行うことができる。走行レバー13、14を同時に操作すれば左右の履帯が同時に駆動し、油圧ショベル1全体を前進後進することができる。
【0021】
また、運転室6の左前のフレームには、周辺監視モニタ15とモニタ16とブザー17とが配置される。周辺監視モニタ15は、タッチパネルで形成される入出力装置であり、少なくとも、複数のカメラによって取得された油圧ショベル1の周囲状況を俯瞰画像及び単カメラ画像として表示することができる。モニタ16は、液晶表示部とキー入力部とを有した入出力装置である。モニタ16は、エンジンや油圧ポンプなどの状態を含む各種情報を表示することができる。例えば、モニタ16は、エンジン水温、油温、燃焼の残量、機器の異常などを示す警告情報などを表示することができる。ブザー17は、複数のレーダによって障害物が検出された場合に、発報する。なお、障害物が検出された場合、この障害物の情報は、上述した周辺監視モニタ15の画像上にも表示される。
【0022】
[制御系の全体構成]
図3は、油圧ショベル1の制御系全体の構成を示すブロック図である。
図3に示すように、周辺監視コントローラ40は、車内ネットワークの一つであるCAN41に接続される。CAN41には、通信コントローラ42、モニタコントローラ43、エンジンコントローラ44、ポンプコントローラ45等が接続される。また、周辺監視コントローラ40には、複数のカメラC1〜C7からなるカメラ群C、複数のレーダR1〜R8からなるレーダ群R、周辺監視モニタ15、及びブザー17が接続される。
【0023】
周辺監視コントローラ40は、周辺監視制御を行う。周辺監視コントローラ40は、画像処理部51、障害物処理部52、表示制御部53を有する。さらに画像処理部51は、俯瞰画像生成部54及び画像合成部55を有する。
【0024】
俯瞰画像生成部54は、各カメラC1〜C7から得られた画像をもとに俯瞰画像61を生成する。
図4に示すように、俯瞰画像生成部54は、各カメラC1〜C7から得られた画像P1〜P7を上方視点画像に変換する。すなわち、俯瞰画像生成部54は、油圧ショベル1の上方に位置する所定の仮想視点から見た画像に変換する。具体的に、俯瞰画像生成部54は、油圧ショベル1の上方の仮想視点から地表面レベルGLに対応する所定の仮想投影面に投影する画像変換を行う。その後、俯瞰画像生成部54は、俯瞰画像を表示するフレームの各領域E1〜E7に対応する変換画像P11〜P17を切り出し、各変換画像P11〜P17をフレーム内で合成する。俯瞰画像生成部54が生成する俯瞰画像61には、油圧ショベル1の平面図に対応する画像Pが予め貼り付けられている。
【0025】
一方、障害物処理部52は、レーダR1〜R8の情報をもとに障害物を検出する。障害物処理部52は、障害物を検出した場合、ブザー17を鳴動して報知するとともに、検出した障害物の大きさや位置などの障害物情報を画像合成部55に出力する。画像合成部55には、上述した俯瞰画像61と各カメラC1〜C7が撮像した画像(単カメラ画像62)とが入力される。画像合成部55は、障害物処理部52から障害物情報が入力された場合、上述した俯瞰画像61及び単カメラ画像62に障害物情報を合成した画像を生成する。例えば、
図4の領域E4における障害物情報A1を俯瞰画像61に合成する。
【0026】
表示制御部53は、画像合成部55から入力された俯瞰画像61及びカメラC1〜C7が撮像した画像のうち選択された単カメラ画像62を周辺監視モニタ15に表示する制御を行う。
【0027】
モニタコントローラ43は、モニタ16に接続される。モニタコントローラ43は、CAN41を介して各種センサから送信された情報や、モニタ16を介して入力された情報といった各種情報の入出力制御を行う。モニタ16は、上述したように、例えば、エンジン水温、油温、燃料の残量、機器の異常などを示す警告情報などを表示することができる。
【0028】
[カメラの構成と配置]
つぎに、
図5及び
図6を参照して、各カメラC1〜C7の構成と配置とについて説明する。すべてのカメラC1〜C7は、上部旋回体3に取り付けられてもよい。例えば、各カメラC1〜C7は、左右方向において120度(左右60度ずつ)、高さ方向において96度の視野範囲を有する。カメラとしてCCD(Charge-Coupled Device)カメラを用いることができる。また、各カメラC1〜C7は、ワイドダイナミックレンジ(Wide Dynamic Range)機能を有してもよい。
【0029】
図5及び
図6に示すように、具体的に、カメラC1は、上部旋回体3の運転室6下部であるキャブベース5の前面に設けられて上部旋回体3の前方を撮像する。カメラC2は、上部旋回体3の右側前方下部に設けられて上部旋回体3の右前方を撮像する。カメラC3は、上部旋回体3の右側側面下部に設けられて上部旋回体3の右後方を撮像する。カメラC4は、上部旋回体3の後方に配置されるカウンタウェイト8の後方下部中央に設けられて上部旋回体3の後方を撮像する。カメラC5は、上部旋回体3の左側側面下部に設けられて上部旋回体3の左後方を撮像する。カメラC6は、キャブベース5の上部左側面に設けられて上部旋回体3の左前方を撮像する。カメラC7は、パワーコンテナ7の下部に設けられ、パワーコンテナ7及びカウンタウェイト8の下部領域を撮像する。隣合うカメラC1〜C7の撮像範囲はオーバーラップしているため、油圧ショベルの近接位置の外周360度を撮像することができる。
【0030】
[レーダの構成と配置]
つぎに、
図7及び
図8を参照して、各レーダR1〜R8の構成と配置とについて説明する。すべてのレーダR1〜R8は、上部旋回体3に設けられてもよい。各レーダR1〜R8は、油圧ショベル1の周囲に存在する障害物と油圧ショベル1との相対的な位置(相対位置)と方向とを検出する。例えば、レーダR1〜R8は、
図7及び
図8に示すように、油圧ショベル1の外周部分に取り付けられる。また、各レーダR1〜R8は、方位(水平)方向80度(±40度)、上下(垂直)方向16度(±8度)の検出角度を有し、検出距離が最大15m以上のUWB(Ultra Wide Band:超広帯域)レーダである。
【0031】
図7及び
図8に示すように、具体的に、レーダR1は、上部旋回体3の前部下方左端に設けられて上部旋回体3の左前方の障害物を検出する。レーダR2は、上部旋回体3の前部下方右端に設けられて上部旋回体3の右前方の障害物を検出する。また、レーダR1,R2は、バケット4c等の作業機4を検出しないよう、その設置向きが調整されており、レーダR1,R2の検出領域はオーバーラップしていない。レーダR3は、上部旋回体3の右側方下部に設けられて上部旋回体3の右後方の障害物を検出する。レーダR4は、上部旋回体3の右側側方下部に設けられて上部旋回体3の右前方の障害物を検出する。ここで、レーダR3は、レーダR4に隣接するとともに、レーダR4の位置に対して前方に配置される。そして、レーダR3,R4は、互いに交差するようにレーダ信号を照射することによって、上部旋回体3の右側方全面の障害物を検出する。また、レーダR5は、上部旋回体3のカウンタウェイト8の下部に設けられて上部旋回体3の左後方の障害物を検出する。レーダR6は、カウンタウェイト8の下部に設けられて上部旋回体3の右後方の障害物を検出する。ここで、レーダR5は、レーダR6に隣接するとともに、レーダR6の位置に対して右側に配置される。そして、レーダR5,R6は、互いに交差するようにレーダ信号を照射することによって、上部旋回体3の後方全面の障害物を検出する。また、レーダR8は、上部旋回体3の左側方下部に設けられて上部旋回体3の左前方の障害物を検出する。レーダR7は、上部旋回体3の左側側方下部に設けられて上部旋回体3の左後方の障害物を検出する。ここで、レーダR8は、レーダR7に隣接するとともに、レーダR7の位置に対して後方に配置される。そして、レーダR8,R7は、互いに交差するようにレーダ信号を照射することによって、上部旋回体3の左側方全面の障害物を検出する。
【0032】
[周辺監視モニタの手動画像切替処理]
図9に示した周辺監視モニタ15は、キーオンしたときに最初に表示される初期画面の例である。
図9では、周辺監視モニタ15の上部領域に俯瞰画像61が表示され、下部領域に単カメラ画像62が表示されている。また、周辺監視モニタ15の右下には、アイコンI1,I2が表示されている。表示されている単カメラ画像62は、カメラC4によって撮像された上部旋回体3の後方画像である。アイコンI1は、単カメラ画像62が表示する7つの画像位置を示すものである。
図9に示した単カメラ画像62は、後方画像であるため、上部旋回体3の後方位置に対応するアイコンI1の下側領域が塗りつぶされて表示されている。なお、
図9に示した俯瞰画像61及び単カメラ画像62では、上部旋回体3の後方にダンプトラックTRが存在している。
図9では、ダンプトラックTRが、作業機4が配置される前方から180度の位置であって、外側を向き停車していることがわかる。さらに、俯瞰画像61及び単カメラ画像62には、後述する上部旋回体3からの距離及び方向を示す目安情報Dが表示されている。また、アイコンI2(目安表示設定部)は、このアイコンを選択することによって、目安情報Dの表示、非表示を切り替えるものである。
【0033】
[目安情報の表示]
次に、俯瞰画像61及び単カメラ画像62に表示される目安情報Dについて説明する。
図10は、目安情報Dの概念を示す図である。
図10に示すように、目安情報Dは、距離目安情報D1と方向目安情報D2とを有する。なお、目安情報Dは、例えば地表面レベルGLの位置情報である。そうすることにより、後述する単カメラ画像62において、油圧ショベルの周辺にある障害物との位置関係がより判別しやすくなる。
【0034】
距離目安情報D1は、上部旋回体3の旋回中心CTから距離を示す情報であり、第1距離目安情報D11、第2距離目安情報D12、第3距離目安情報D13を有する。第1距離目安情報D11は、上部旋回体3の旋回中心CTから左右前後方向への距離が上部旋回体3の後部に設けられたカウンタウェイト8端部までの距離を示す情報である。すなわち、第1距離目安情報D11よりも内側の領域に障害物があった場合、油圧ショベル1が旋回する際に衝突する可能性がある領域であることを意味する。
【0035】
また、第2距離目安情報D12は、第1距離目安情報D11からさらに半径方向に対して所定距離d1だけ大きくし、ダンプトラックTRなどの外部の作業車両の近接を禁止する距離を示す情報である。この所定距離d1は、例えば、油圧ショベル1が、停止しているダンプトラックTRに向かって走行レバー13,14を操作して走行している場合、第2距離目安情報D12よりも内側にダンプトラックTRが入ったと判断してから走行レバー13,14の操作を中断して第1距離目安情報D11の内側にダンプトラックTRが入らずに安全に停止できる距離である。所定距離d1は、例えば、2mである。そのため、第2距離目安情報D12は、その領域内に障害物が侵入してきた場合に障害物処理部52が障害物を検知しブザー等の警報を発するよう設定することが好ましい。
【0036】
さらに、第3距離目安情報D13は、第2距離目安情報D12からさらに半径方向に対して所定距離d2分、大きくした距離を示す情報である。具体的に、第3距離目安情報D13は、作業機4を最大に伸ばした状態における作業機4の旋回領域の限界を示す情報である。換言すれば、第2距離目安情報D12と第3距離目安情報D13との間の領域は、作業機4による作業領域であると言える。この場合、第2距離目安情報D12と第3距離目安情報D13との間に位置するダンプトラックTRが存在しても、ブザー17の鳴動による発報を行わないようにしてもよい。
【0037】
一方、方向目安情報D2は、上部旋回体3の旋回中心CTから、上部旋回体3の前後左右方向を示す情報であり、前基準方向目安情報D21、左基準方向目安情報D22、後基準方向目安情報D23、右基準方向目安情報D24を有する。方向目安情報D2は、上部旋回体3の前後左右方向の周囲に向けて旋回中心CTから直線状に延び、第1距離目安情報D11と第3距離目安情報D13との各交点を結ぶ直線である。
【0038】
距離目安情報D1についてより詳細に説明する。第1距離目安情報D11は、前基準方向目安情報D21、左基準方向目安情報D22、後基準方向目安情報D23、右基準方向目安情報D24との交差部に、それら目安情報D21〜D24に対してそれぞれ垂直に伸びた4つの直線部101を有する。この直線部101はいずれも所定長さd3の長さを有する。直線部101は、旋回中心CTからそれぞれ前後左右方向に等間隔離れた位置に設けられる。この所定長さd3は、油圧ショベル1の上部旋回体の左右幅方向長さと一致している。同様にして、第2距離目安情報D12及び第3距離目安情報D13のそれぞれは、同じ所定長さd3の長さをもつ直線部102,103を有する。
【0039】
そして、第1距離目安情報D11は、4つの直線部101の各端部間を、それぞれ旋回中心CTを中心とする同一円によって結合し、4つの円弧部111が形成されている。同様にして、第2距離目安情報D12は、4つの直線部102の各端部間を、それぞれ旋回中心CTを中心とする同一円によって結合し、4つの円弧部112が形成されている。また、第3距離目安情報D13は、4つの直線部103の各端部間を、それぞれ旋回中心CTを中心とする同一円によって結合し、4つの円弧部113が形成されている。
【0040】
方向目安情報D21,D22,D23,D24に加えて、直線部101〜103の各端部を結んだ、平行配置方向目安情報201,202を設けてもよい。平行配置方向目安情報201,202は、前基準方向目安情報D21、左基準方向目安情報D22、後基準方向目安情報D23、右基準方向目安情報D24に対して平行に2つ配置される。したがって、上部旋回体3の前後左右方向に対して所定長さd3を有する帯状部分が形成される。
【0041】
[目安情報の変形例の表示形態]
図11は、上述した平行配置方向目安情報201,202が表示された俯瞰画像61及び単カメラ画像62の表示例を示す図である。なお、
図11において、方向目安情報D2´を構成する方向目安情報D21´,D22´,D23´,D24´は、方向目安情報D21,D22,D23,D24に平行配置方向目安情報201,202を加えたものである。
図11では、ダンプトラックTRが、作業機4が配置される前方から180度の位置であって、外側を向き、第2距離目安情報D12の外側に位置していることがわかる。また、距離目安情報D1の直線部101〜103と平行配置方向目安情報201,202とにより線を格子状に表示することができるので、ダンプトラックTR等の作業車両の方向やその向き(
図10に記載されているダンプトラックTRのように、油圧ショベルに対し横向きや縦向きに停車する場合には、ダンプトラックの側面や背面と直線部101〜103とを比較することにより、ダンプトラックTRが斜めに停車していないか確認することができる)、油圧ショベルとの距離を容易に認識することができる。さらに、上記の一部領域は格子状に表示されているが、他の領域は円弧状の線が表示されているため、俯瞰画像全体が煩雑とならずに画像内の距離間を把握しやすい。
【0042】
なお、上述した目安情報Dを構成する第1距離目安情報D11、第2距離目安情報D12、第3距離目安情報D13は、距離に応じた色表示や異なる線種表示とすることが好ましい。例えば、第1距離目安情報D11を赤色の点線表示、第2距離目安情報D12を黄色の点線表示、第3距離目安情報D13を白色、緑色または青色の点線表示としてもよい。また、方向目安情報D2も同様である。例えば、第1距離目安情報D11と第2距離目安情報D12との間の方向目安情報D2を、第2距離目安情報D12と同じ黄色の点線表示とし、第2距離目安情報D12と第3距離目安情報D13との間の方向目安情報D2を、第3距離目安情報D13と同じ緑色または青色の点線表示とすることが好ましい。また、目安情報Dは、線でなく、マークを配列したものであってもよい。
【0043】
[目安線の表示による効果]
図12は、上述した目安情報Dを用いた場合における作業の一例を示す図である。
図12に示すように、上述した目安情報Dを用いると、上部旋回体3の前後左右方向に対する旋回中心CTからの方向と全周に対する距離とを把握しやすくなる。具体的には、距離目安情報D1を表示することにより、障害物がどの程度油圧ショベル1に近づいているか把握することができると共に、直線部101〜103を有することにより、ダンプトラックTRが油圧ショベルに対し横向きや縦向きに停車する場合に、ダンプトラックの側面や背面と直線部101〜103とを比較することにより、ダンプトラックTRが斜めに停車していないか確認することができる。
【0044】
また、方向目安情報D2を表示することにより、ダンプトラックTRを、作業機4が配置される前方から左90度、右90度、180度に配置する際に、ベッセルの中央部と油圧ショベル1の左90度、右90度、180度とを容易に一致させることができる。そうすることにより、油圧ショベル1によるダンプトラックTRへの土砂の積み込み作業を効率的に行うことができる(ダンプトラックTRの位置が
図12に記載されている位置からずれている場合には、積み込み作業の効率が低下する)。そして、ダンプトラックTRを、上部旋回体3の前後左右方向で、第2距離目安情報D12と第3距離目安情報D13との間の領域に配置しようとする場合、オペレータは、俯瞰画像61あるいは単カメラ画像62を監視しながら、方向目安情報D2で方向を認識しつつ、第2距離目安情報D12の直線部102の適切な位置にダンプトラックTRが到達したときにホーンを鳴らすことによって、ダンプトラックTRのオペレータに、直線部102と平行な向きで近づいたことを知らせて停止させることができる。これによって、ダンプトラックTRを直線部102に対して適切な位置関係で配置することができる。特に、ダンプトラックTRのベッセルの位置を適切な位置に配置誘導することができる。
【0045】
そして、このようなダンプトラックTRを配置することによって、90度ローディング、180度ローディング、両サイドローディングなどの作業を行うことができる。ダンプトラックTRの直線部102に対する横付けは、ダンプトラックTRの後端であってもよいし、側部であってもよい。
【0046】
上述した実施の形態では、旋回中心CTを中心として目安情報Dを表示するようにしていたが、これに限らず、
図13に示すように、上部旋回体3上の任意の点Gを中心として目安情報Dを表示するようにしてもよい。
【0047】
また、上述した実施の形態では、方向目安線情報D2を破線や直線で表示していたが、これに限らず、
図14に示すように、方向目安線情報D2と距離目安線情報D1とが交差する位置に、点を表示した方向目安線情報D3(D31〜D34)を表示してもよい。また、
図15に示すように、方向目安線情報D2と距離目安線情報D1の1つ(距離目安線情報D13)とが交差する位置に、点を表示した方向目安線情報D4(D41〜D44)を表示してもよい。
【0048】
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、モニタ16とは別に、周辺監視モニタ15を設けていたが、本発明はこれに限られず、モニタ16上に俯瞰画像61や単カメラ画像62を表示するように構成してもよい。また、周辺監視モニタ15をタッチパネルディスプレイとして構成していたが、タッチセンサを内蔵しない通常のディスプレイを用いてもよい。
【0049】
前記実施形態では、周辺監視モニタ15上に俯瞰画像61と、単カメラ画像62を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像のみや単カメラ画像のみを周辺監視モニタ15上に表示するように構成してもよい。
【0050】
また、前記実施形態では、タッチパネルディスプレイ60におけるカメラ61〜67で撮像された画像が表示される領域には、カメラ61〜67の内いずれかのカメラで撮像した画像しか表示されないよう構成していたが、同時に二つ以上の画像を表示できるように構成してもよい。
【0051】
また、上述した実施の形態では、上部旋回体3の外周にカメラを7台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
【0052】
さらに、上述した実施の形態では、周辺監視装置は、レーダとカメラが協働するように構成していたが、これに限らず、カメラ単独で周辺監視装置を構成してもよい。
【0053】
加えて、上述の実施形態では、距離目安情報D1と方向目安情報D2とを同時に表示する形態のみ開示しているが、距離目安情報D1のみ、もしくは方向目安情報D2のみ表示するように構成してもよい。
【0054】
また、鉱山などで使用されるマイニング用油圧ショベルに基づいて説明したが、建設現場において用いられる油圧ショベルにて本発明を適用してもよい。
【0055】
また、上述した実施の形態では、作業機械の運転席6に周辺監視モニタ15やブザー17を設けた構成で説明したが、その他の場所、例えば、作業機械の遠隔操作を行うための
図16に示した遠隔操作席300や、鉱山内にある、複数の作業機械を全体的に管理・統制する管制室内に設けてもよい。また、
図16に示した遠隔操作用モニタ301を周辺監視モニタとして用いてもよい。さらに、
図17に示すように、周辺監視モニタ15やブザー17を携帯端末302に設け、オペレータが携帯端末302に表示された俯瞰画像などを見るようにしてもよい。ここで、遠隔操作席300や管制室において周辺監視モニタ15に俯瞰画像を表示する場合や、携帯端末302を周辺監視モニタ15やブザー17として用いる場合には、作業機械と、遠隔操作席300・管制室・携帯端末302等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。