(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-26
(45)【発行日】2024-09-03
(54)【発明の名称】建設機械
(51)【国際特許分類】
E02F 9/20 20060101AFI20240827BHJP
E02F 9/24 20060101ALI20240827BHJP
H04N 7/18 20060101ALI20240827BHJP
【FI】
E02F9/20 C
E02F9/24 B
H04N7/18 J
(21)【出願番号】P 2021061723
(22)【出願日】2021-03-31
【審査請求日】2023-12-12
(73)【特許権者】
【識別番号】000005522
【氏名又は名称】日立建機株式会社
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】西岡 直哉
(72)【発明者】
【氏名】武内 弘樹
(72)【発明者】
【氏名】小林 敬弘
【審査官】柿原 巧弥
(56)【参考文献】
【文献】国際公開第2019/189030(WO,A1)
【文献】特開2016-065449(JP,A)
【文献】特開2021-028444(JP,A)
【文献】特開2019-173467(JP,A)
【文献】特開2013-121056(JP,A)
【文献】特開2014-062387(JP,A)
【文献】特開2003-105807(JP,A)
【文献】米国特許出願公開第2016/0305094(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/20
E02F 9/24
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
走行体と,
前記走行体の上部に旋回可能に取り付けられた旋回体と,
前記旋回体に取り付けられた作業装置と,
作業領域を前記旋回体を基準にして設定する作業領域設定装置と,
前記走行体,前記旋回体及び前記作業装置のうち少なくともいずれか1つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において,
モニタと,
前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと,
前記旋回体と前記走行体の相対角度を検出する角度センサとを備え,
前記コントローラは,前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し,前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に,前記作業領域設定装置による前記作業領域の設定後は,前記モニタに表示されている前記合成画像上の前記境界線の位置を,前記角度センサにより検出された前記相対角度に基づいて補正する
ことを特徴とする建設機械。
【請求項2】
請求項1の建設機械において,
前記コントローラは,前記旋回体の旋回中心を中心にして前記境界線を前記相対角度の分だけ前記相対角度が生じた方向と反対側に回転させることで前記モニタにおける前記境界線の位置を補正する
ことを特徴とする建設機械。
【請求項3】
請求項1の建設機械において,
前記走行体の動作の有無を検出する動作センサを備え,
前記コントローラは,前記動作センサによって前記走行体が動作することが検出された場合には,前記モニタに前記作業領域の再設定を促す旨を表示する
ことを特徴とする建設機械。
【請求項4】
請求項1の建設機械において,
前記複数のカメラは,それぞれ,前記旋回体の左側,右側,及び後側を撮影しており,
前記コントローラは,前記複数のカメラによって撮影された前記旋回体の左側,右側,及び後側の撮影画像に基づいて前記合成画像を生成し,前記合成画像において前記撮影画像が存在しない前記旋回体の前側の領域に表示される前記境界線を前記モニタ上で強調表示する
ことを特徴とする建設機械。
【請求項5】
請求項1の建設機械において,
前記コントローラは,前記旋回体の幅方向と直交し前記旋回体の旋回中心を通過する直線上において,所定の位置から前記境界線までの距離を演算し,前記モニタに表示させる
ことを特徴とする建設機械。
【請求項6】
請求項1の建設機械において,
前記コントローラは,前記相対角度に基づいて前記合成画像上における前記走行体の画像の位置を補正した前記モニタに前記走行体の画像を表示させる
ことを特徴とする建設機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,複数のカメラ画像を建設機械を中心とする俯瞰画像に変換してモニタに表示できる建設機械に関する。
【背景技術】
【0002】
近年,建設機械には,さらなる安全性が求められており,安全補助システムの搭載が注目されている。安全補助システムの1つとしてとして,領域制限システムがある。このシステムは,フロント作業装置や旋回体などに取り付けた姿勢センサにより車体の姿勢をモニタリングし,事前に決めた作業領域から車体がはみ出ないようにフロント作業装置や旋回体や走行体を制御(領域制限制御とも言う)してそれらの動作を制限するものである。ただし,作業領域の境界をオペレータが目視することは不可能である。そこで,領域制限システム使用時に作業領域の境界と建設機械の位置関係をオペレータが把握するために,建設機械のキャブ内に搭載されたモニタが利用されることがある。
【0003】
作業領域の境界を表示する技術ではないものの,上部旋回体からの距離を示す線(ガイドライン)をモニタに表示するものがある。例えば特許文献1には,上部旋回体に取り付けた複数のカメラ(撮像手段)の画像を合成して俯瞰画像(各カメラの画像をショベルの接地面に投影して合成した画像)を生成し,その俯瞰画像上において上部旋回体から所定の距離にガイドラインを表示するモニタ(表示手段)を備えたショベルが開示されている。つまり,特許文献1のガイドラインは上部旋回体を基準に設定されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1を参考にして,上部旋回体を基準にして俯瞰画像上にガイドラインに代えて作業領域の境界線を設定した場合には,上部旋回体を旋回させたときにその旋回動作に伴って境界線もモニタ上で回転してしまう。つまり,モニタ画面上の境界と実際の境界が異なってしまい,モニタ画面上の境界が意味をなさない
本発明は上記事情に鑑みてなされたものであり,その目的は俯瞰画像上に作業領域の境界線を設定した場合に旋回動作を行っても作業領域の境界を正しい位置に表示できる建設機械を提供することにある。
【課題を解決するための手段】
【0006】
本願は上記課題を解決する手段を複数含んでいるが,その一例を挙げるならば,走行体と,前記走行体の上部に旋回可能に取り付けられた旋回体と,前記旋回体に取り付けられた作業装置と,作業領域を前記旋回体を基準にして設定する作業領域設定装置と,前記走行体,前記旋回体及び前記作業装置のうち少なくともいずれか1つが前記作業領域から逸脱することを防止するコントローラとを備えた建設機械において,モニタと,前記旋回体に取り付けられ前記旋回体の周囲の画像を撮影する複数のカメラと,前記旋回体と前記走行体の相対角度を検出する角度センサとを備え,前記コントローラは,前記複数のカメラの撮影画像に基づいて前記旋回体を真上から見た合成画像を生成し,前記作業領域設定装置により設定された前記作業領域の境界線を前記合成画像と重ねて前記モニタに表示させると共に,前記作業領域設定装置による前記作業領域の設定後は,前記モニタに表示されている前記合成画像上の前記境界線の位置を,前記角度センサにより検出された前記相対角度に基づいて補正する。
【発明の効果】
【0007】
本発明によれば,旋回体を旋回させても作業領域の境界線が旋回体と走行体の相対角度に基づいてモニタ画像上における境界線の位置が補正されるので,オペレータは建設機械と境界線の位置関係を正確に把握できる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係る油圧ショベル1の側面図である。
【
図3】
図1の油圧ショベル1に搭載された油圧制御システムのシステム構成図である。
【
図5】モニタ110の表示画面の一例を示す図である。
【
図6】3つのカメラ71,72,73の撮像画像が重複する重複領域11の説明図である。
【
図7】旋回体3と走行体4の相対角度φが0の位置と相対角度φの正負を説明した図である。
【
図8】旋回体3と走行体4の相対角度φが初期角度φ0から変更された場合におけるモニタ画像の一例を示す図である。
【
図9】モニタ110に表示される画面の一例を示す図である。
【
図10】モニタ110に表示される画面の他の一例を示す図である。
【
図11】メインコントローラ34が実行する処理(主にモニタ110の画面制御)のフローチャートである。
【発明を実施するための形態】
【0009】
以下,本発明の実施の形態について図面を用いて説明する。
【0010】
<対象装置>
図1は,本発明の実施形態に係る油圧ショベル(建設機械)1の側面図であり,
図2はその上面図である。油圧ショベル1は,走行体4と,その上部に取り付けられた旋回体3と,複数のフロント部材20,21,22を連結して構成され旋回体3に回動可能に取り付けられた多関節型のフロント作業装置2とを備えている。
【0011】
旋回体3は,走行体4に対して左右方向に旋回可能に取り付けられており,旋回油圧モータ(図示せず)によって旋回駆動される。
【0012】
旋回体3には,
図2の上面図に示すように,油圧ショベル1の周囲の画像(映像)を撮影するカメラとして,左側方カメラ71,右側方カメラ72,後方カメラ73が設置されている。左側方カメラ71は,旋回体3の左側方領域S1(
図6参照)の画像を撮影するためのもので,旋回体3の左側方に設置されている。右側方カメラ72は,旋回体3の右側方領域S2(
図6参照)の画像を撮影するためのもので,旋回体3の右側方に設置されている。後方カメラ73は,旋回体3の後方領域S3(
図6参照)の画像を撮影するためのもので,旋回体3の後方に設置されている。各カメラ71,72,73は油圧ショベル1の接地面における旋回体3の近傍を撮影するために所定の俯角θ(
図1参照)を付けて設置されている。なお,本実施形態では存在しないが,旋回体3の前方領域の画像を撮影するカメラとして,旋回体3の前方の例えばブーム20の真下に前方カメラを設置しても良い。詳細は後述するが,メインコントローラ34は,3台のカメラ71,72,73が撮影した画像(撮影画像)に基づいて旋回体3を真上から見た1つの合成画像を生成し,当該合成画像上に作業領域の境界線(後述)を生成する。なお,メインコントローラ34は,3台のカメラ71,72,73が撮影した画像に基づいて油圧ショベル1の周囲に存在する障害物(移動体)を検出する障害物検出処理を実行可能に構成しても良い。
【0013】
フロント作業装置2は,基端側が旋回体3に回動可能に連結されたブーム20と,基端側がブーム20の先端側に回動可能に連結されたアーム21と,基端側がアーム21の先端側に回動可能に連結されたバケット22と,先端側がブーム20に連結され,基端側が旋回体3に連結されたブームシリンダ20Aと,先端側がアーム21に連結され,基端側がブーム20に連結されたアームシリンダ21Aと,先端側がバケット22に回動可能に連結された第1リンク部材22Bと,先端側が第1リンク部材22Bの基端側に回動可動に連結された第2リンク部材22Cと,2つのリンク部材22B,22Cの連結部とアーム21との間に掛け渡されたバケットシリンダ22Aを備えている。これらの油圧シリンダ20A,21A,22Aはそれぞれ連結部分を中心に,上下方向に回動可能に構成されている。
【0014】
ブームシリンダ20A,アームシリンダ21A,バケットシリンダ22Aは,油圧ポンプ36b(
図3参照)から吐出される作動油を給排することによりそれぞれ伸縮可能な構造となっており,伸縮することによりそれぞれブーム20,アーム21,バケット22を回動(動作)させることができる。バケット22は,グラップル,ブレーカ,リッパ,マグネット等の図示しないアタッチメントに任意に交換可能である。
【0015】
ブーム20にはブーム20の姿勢を検出するための慣性計測ユニットセンサ(以下,IMUセンサと称する)(ブーム)20Sが取り付けられており,アーム21にはアーム21の姿勢を検出するためのIMUセンサ(アーム)21Sが取り付けられている。第2リンク部材22Cには,バケット22の姿勢を検出するためのIMUセンサ(バケット)22Sが取り付けられている。IMUセンサ(ブーム)20S,IMUセンサ(アーム)21S,IMUセンサ(バケット)22Sは,それぞれ角速度センサと加速度センサから構成されており,各フロント部材20,21,22の傾斜角度,角速度及び加速度の検出が可能である。本稿では,3つのフロント部材20,21,22の姿勢をそれぞれ検出するこれら3つのIMUセンサ20S,21S,22Sを第3姿勢センサと称することがある。
【0016】
旋回体3はメインフレーム31を有する。メインフレーム31上には,旋回体3の傾斜角度を検出するためのIMUセンサ(旋回体)30Sと,オペレータが搭乗する運転室32と,油圧ショベル1内の複数の油圧アクチュエータの駆動制御を司るメインコントローラ(駆動制御用コントローラ)34と,エンジン36a及びエンジン36aによって駆動される油圧ポンプ36bを有する原動装置36と,メインコントローラ34からの信号に応じて油圧ポンプ36bから油圧アクチュエータ(例えば,油圧シリンダ20A,21A,22A)に供給される作動油(油圧)の流量及び流通方向を制御する複数の方向切替弁35bを有する油圧制御装置35と,作業中の油圧ショベル1のバランスをとるための重りであり旋回体3における後側に位置するカウンタウェイト37と,旋回体3を左右方向のいずれかに旋回駆動する旋回用モータ38とが搭載されている。
【0017】
IMUセンサ(旋回体)30Sは,加速度センサと角速度センサから構成されており,旋回体3の水平面に対する傾き(傾斜角)や,角速度及び加速度を検出することができる。本稿では,旋回体3の姿勢を検出するIMUセンサ30Sを第1姿勢センサと称することがある。
【0018】
運転室32には,オペレータが操作を入力するための操作入力装置33と,走行体4,旋回体3及びフロント作業装置2のうち少なくとも1つの逸脱が防止される作業領域の境界線の位置(言い換えると,走行体4,旋回体3及びフロント作業装置2のうち少なくとも1つの侵入が禁止される稼働制限領域の境界線の位置)をメインコントローラ34に記憶させるための装置である作業領域設定装置100と,作業領域の境界線の位置を含め,油圧ショベル1に関する各種情報が表示されるモニタ(表示装置)110とが備えられている。作業領域の境界線は,例えば旋回体3を基準に設定された2次元座標系(車体座標系)上に設定できる。すなわち,例えば旋回体3の前後方向,左右方向を座標軸とする座標系に設定できる。なお,
図1に示した例では,作業領域設定装置100とモニタ110を兼用する装置としてタッチパネルを有するタブレット端末(タブレットコンピュータ)を利用しており,その関係で1つのシンボルに2つの符号100,110が付されている。なお,作業領域設定装置100としては,タブレット端末に代えて,入力デバイスを含むコントローラ(メモリとプロセッサを備えるコンピュータ)を利用しても良い。
【0019】
操作入力装置33は,オペレータの操作に応じてフロント作業装置2(ブーム20,アーム21,バケット22)の回動動作と旋回体3の旋回動作を指示するための2本の操作レバー33a(図示は1本にまとめている)と,オペレータの操作に応じて走行体4に係る左右の履帯45の走行動作を指示するための2本の走行操作レバー33c(図示は1本にまとめている)と,各操作レバー33a,33cが倒された量(操作量)を検出する複数の操作センサ33b(図示は1つにまとめている)により構成されている。複数の操作センサ33bは,オペレータが4本の操作レバー33a,33cのそれぞれを倒す量を検出することで,オペレータが各フロント部材20,21,22,旋回体3及び走行体4に要求する動作速度を電気信号(操作信号)に変換してメインコントローラ34に出力する。なお,操作入力装置33(操作レバー33a,33c)は,操作量に応じた圧力に調整された作動油を操作信号として出力する油圧パイロット方式によるものでもよい。その場合には,操作センサ33bとして圧力センサを利用して,当該圧力センサで検出した信号をメインコントローラ34に出力して操作量を検出する。
【0020】
油圧制御装置35は,メインコントローラ34から出力される動作指令値(指令電流)に応じた圧力の作動油(パイロット圧)を発生させる複数の電磁制御弁35aと,対応する電磁制御弁35aから出力される作動油(パイロット圧)によって駆動され,油圧ショベル1に搭載された複数の油圧アクチュエータに供給される作動油の流量と流通方向をそれぞれ制御する複数の方向切替弁35bとから構成される。コントローラ34から出力される動作指令値は,操作レバー33a,33cに入力されるオペレータ操作を基に生成されるが,後述する領域制限制御が機能している場合には,その条件に従ってオペレータ操作の無い油圧アクチュエータに関する動作指令値(停止指令値も含む)も生成され得る。メインコントローラ34から電磁制御弁35aに対して動作指令値を出力すると,それに対応する方向切替弁35bが動作して,当該方向切替弁35bに対応する油圧アクチュエータ(例えば,油圧シリンダ20A,21A,22A)が動作する。油圧アクチュエータには,上記に含まれないアタッチメントや機器を駆動するものも含めてもよい。
【0021】
原動装置36は,エンジン(原動機)36aと,エンジン36aによって駆動される少なくとも1台の油圧ポンプ36bとから構成され,油圧シリンダ20A,21A,22Aと,2つの走行用モータ41と,旋回用モータ38とを駆動するために必要な圧油(作動油)を供給する。原動装置36はこの構成に限らず,電動ポンプなどの他の動力源を用いても良い。
【0022】
旋回角度センサ40Sは,旋回体3と走行体4の相対角度φを検出するセンサ(第2姿勢センサ)であり,当該相対角度φを検出できるように油圧ショベル1に搭載されている。旋回角度センサ40Sとしては望ましくはポテンショメータが利用可能である。
【0023】
走行体4は,トラックフレーム40と,トラックフレーム40に取り付けられた左右の履帯45L,45R((
図2参照)以下,履帯45と総称することがある)と,トラックフレーム40を周回するように左右の履帯45のそれぞれを駆動する左右の走行用モータ41とを備えている。オペレータは2本の走行操作レバー33cを適宜操作することにより,左右の走行油圧モータ(油圧アクチュエータ)41の回転速度を調整することで油圧ショベル1を走行させることができる。走行体4は,履帯45を備えたものに限定されることなく,走行輪や脚(アウトリガー)を備えたものであってもよい。
【0024】
<システム構成>
図3は本実施形態の油圧ショベル1に搭載された油圧制御システムのシステム構成図である。なお,上記で既に説明した部分については適宜説明を省略することがある。
【0025】
この図に示すように,メインコントローラ34は,作業領域設定装置100と,モニタ110と,複数の操作センサ33bと,IMUセンサ30S(第1姿勢センサ)と,複数のIMUセンサ20S,21S,22S(第3姿勢センサ)と,旋回角度センサ40S(第2姿勢センサ)と,3つのカメラ71,72,73と,複数の電磁制御弁35aと電気的に接続されており,これらと通信可能に構成されている。
【0026】
作業領域設定装置100は,オペレータが設定した作業領域59(稼働制限領域61)の境界線60(
図5参照)の位置データをメインコントローラ34に出力する。作業領域59の境界線60は,例えば旋回体3に設定した車体座標系に設定可能である。作業領域59の境界線60の位置データは,作業領域設定装置100を介してオペレータが直接入力しても良いし,地理座標系や現場座標系等の上に予め作成しておいた設計データを作業領域設定装置100を介して適宜座標変換を加えて入力しても良い。
図5に示すように,作業領域59は,油圧ショベル1に対して任意の位置に設定することができる。また,作業領域59の形状としては任意の形状を選択でき,例えば多角形や曲線であっても良い。作業領域設定装置100によって作業領域59の境界線60を旋回体3を基準にして設定しても良い。
【0027】
なお,作業領域設定装置100は,予め設定した作業領域59の境界線60の位置データの記憶機能を具備していれば良く,例えば半導体メモリ等の記憶装置にも代替可能である。そのため作業領域59の境界線60の位置データを例えばメインコントローラ34内の記憶装置や油圧ショベルに搭載された記憶装置に記憶した場合には省略可能である。
【0028】
モニタ110は,3つのカメラ71,72,73の撮影画像に基づいて生成された旋回体3を真上から見た合成画像701上に,作業領域59の境界線60の位置や,旋回体3や走行体4の姿勢(フロント作業装置2やバケット22の姿勢も含んでも良い)などの情報を表示可能な表示装置である。
図5はモニタ110の表示画面の一例を示す図である。合成画像(俯瞰映像)701とは,例えば油圧ショベル1の旋回中心に基準点を設定し,作業現場を当該基準点の真上(すなわち油圧ショベル1の真上)の位置から見たときに得られる平面図に相当する映像のことを示し,本実施の形態では3つのカメラ71,72,73の映像を変換及び合成することで作成される。
図5の合成画像701の中心には旋回体3及び走行体4の上面図を模式的に示した画像である旋回体アイコン703及び走行体アイコン704が配置されている。旋回体アイコン703と走行体アイコン704の姿勢は実際の旋回体3と走行体4の姿勢に一致する。なお,本実施形態では,モニタ画面上の旋回体アイコン703の位置は固定されているため,旋回角度センサ40Sによって検出される実際の旋回体3と走行体4の相対角度φに応じて走行体アイコン704が旋回体3の旋回中心を中心にして回転するように表示される(
図7参照)。
【0029】
モニタ110には,旋回体3の幅方向(左右方向)と直交し旋回体3の旋回中心を通過する直線58上において,所定の位置から境界線60までの距離を演算し,当該距離を距離表示部65に表示しても良い。当該所定の位置としては,例えば,1)旋回中心,2)当該直線58上において最も境界線60に近い旋回体3上の点,3)当該直線58上において最も境界線60に近い走行体4上の点(例えば前端)等がある。
図5の距離表示部65に表示された「1.8m」は直線58における走行体4の前端から境界線60までの距離L1である。なお,図中のL2は旋回体3の前端から境界線60までの距離を示している。これらの距離は,旋回体3や走行体4の寸法データや相対角度φと,境界線60の位置データなどからメインコントローラ34により演算できる。
【0030】
また,作業領域59の外側は,走行体4,旋回体3及びフロント作業装置2のうち少なくとも1つの侵入が禁止される稼働制限領域61である。境界線60は作業領域59と稼働制限領域61の境界となる。
【0031】
メインコントローラ34は,油圧ショベル1に関する各種制御を司るコントローラである。本実施形態のメインコントローラ34が実行可能な特徴的な制御は2つある。
【0032】
第1に,メインコントローラ34は,作業領域59(
図5参照)の境界線60を超えて走行体4,旋回体3,フロント作業装置2の少なくともいずれか1つが作業領域59を逸脱しないように(稼働制限領域61に侵入しないように)該当する油圧アクチュエータ20A,21A,22A,38,41の目標速度ベクトル(例えば,当該目標速度ベクトルは,走行体4,旋回体3又はフロント作業装置2と当該境界線60との距離が小さくなるほど小さくなるように演算され,当該距離が所定の値(例えばゼロ)に達した場合には当該目標速度ベクトルとしてゼロが演算される)を演算し,その演算した目標速度ベクトルに従って走行体4,旋回体3又はフロント作業装置2が動作するように該当する油圧アクチュエータ20A,21A,22A,38,41を制御するため動作指令値を演算及び出力することで領域制限制御を実行できる。すなわちこの領域制限制御によれば,例えばフロント作業装置2が稼働制限領域61の近傍に位置する状態でオペレータがアームクラウド操作を入力しても,フロント作業装置2が稼働制限領域61の外側(すなわち作業領域59内)に継続して位置するようにフロント作業装置2が半自動的に制御されるため(例えば,稼働制限領域61に近づくとフロント作業装置2が半自動的に停止する),オペレータの技量に依らずフロント作業装置2の稼働制限領域61内への侵入(すなわち作業領域59からの逸脱)を確実に防止できる。
【0033】
第2に,メインコントローラ34は,旋回角度センサ40Sの出力に基づいて走行体4と旋回体3の相対角度φを演算し,その相対角度φに基づいてモニタ110の画面上の境界線60の表示位置を補正する処理を実行できる。これにより旋回体3を基準に境界線60の位置を定義した場合に旋回体3を旋回させた際にも,境界線60の位置をモニタ画面上に正確に表示できる
<操作入力装置>
一般に油圧ショベルでは操作レバー33a,33cが倒された量(傾倒量)が大きいほど,各油圧アクチュエータ20A,21A,22A,38,41の動作速度が速くなるように設定されており,オペレータは操作レバー33a,33cを倒す量を変更することにより,各油圧アクチュエータ20A,21A,22A,38,41の動作速度を変更して油圧ショベル1を動作させる。
【0034】
操作センサ33bには,ブーム20,アーム21,バケット22(ブームシリンダ20A,アームシリンダ21A,バケットシリンダ22A)及び旋回体3(旋回用モータ38)に対する操作レバー33aの操作量(傾倒量)を電気的に検出するセンサが含まれており,操作センサ33bの検出信号に基づいて,オペレータが要求するブームシリンダ20A,アームシリンダ21A,バケットシリンダ22A,旋回体3の動作速度をそれぞれ検出することができる。また,操作センサ33bには,走行用モータ41に対する操作レバー33cの操作量(傾倒量)を電気的に検出するセンサが含まれており,操作センサ33bの検出信号に基づいて,オペレータが要求する走行体4の動作速度を検出することができる。操作センサとしては,操作レバー33a,33cが倒された量を直接検出するものに限らず,操作レバー33a,33cの操作によって出力される作動油の圧力(操作パイロット圧)を検出する方式であってもよい。
【0035】
<姿勢センサ>
メインコントローラ34に接続されている姿勢センサとしては,旋回体3の姿勢を検出するためのIMUセンサ30S(第1姿勢センサ)と,フロント作業装置2の姿勢を検出するための3つのIMUセンサ20S,21S,22S(第3姿勢センサ)と,旋回体3と走行体4の相対角度φを検出するための旋回角度センサ40S(第2姿勢センサ)とがある。このうちIMUセンサ(旋回体)30S,IMUセンサ(ブーム)20S,IMUセンサ(アーム)21S,IMUセンサ(バケット)22Sは,それぞれ角速度センサと加速度センサと傾斜角センサとして機能し得る。これらのIMUセンサによりそれぞれの設置位置における角速度と加速度データと傾斜角データを得ることができる。ブーム20,アーム21,バケット22,ブームシリンダ20A,アームシリンダ21A,バケットシリンダ22A,第1リンク部材22B,第2リンク部材22C,および旋回体3は,それぞれ回動(旋回)できるように取り付けられているので,各部の寸法と機械的なリンク関係とから,ブーム20,アーム21,バケット22,および旋回体3の車体座標系における姿勢や位置を算出することができる。なお,ここで示した姿勢及び位置の検出方法は一例であり,フロント作業装置2の各部の相対角度を直接計測するものや,ブームシリンダ20A,アームシリンダ21A,バケットシリンダ22Aのストロークを検出して油圧ショベル1の各部の姿勢及び位置を算出してもよい。
【0036】
<メインコントローラ>
図4はメインコントローラ34の構成図である。メインコントローラ34は,例えば図示しないCPU(Central Processing Unit)と,CPUによる処理を実行するための各種プログラムを格納するROM(Read Only Memory)やHDD(Hard Disc Drive)などの記憶装置と,CPUがプログラムを実行する際の作業領域となるRAM(Random Access Memory)とを含むハードウェアを用いて構成されている。このように記憶装置に格納されたプログラムを実行することで,姿勢演算部710,作業領域演算部720,表示補正部730,合成画像生成部910,画像合成処理部930,動作指令部310として機能する。次に各部が行う処理の詳細について説明する。
【0037】
<姿勢演算部710>
姿勢演算部710は,旋回角度センサ40S(第2姿勢センサ)から出力される検出信号に基づいて旋回体3と走行体4の相対角度φを演算する。演算された相対角度φは表示補正部730に出力される。
【0038】
また,姿勢演算部710は,IMUセンサ(ブーム)20S,IMUセンサ(アーム)21S,IMUセンサ(バケット)22S,IMUセンサ(旋回体)30Sから得られる加速度信号と角速度信号を検出し,ブーム20,アーム21,バケット22,および旋回体3の姿勢(傾斜角度)をそれぞれ演算する。この姿勢の演算結果に各フロント部材20,21,22の寸法を加味すればフロント作業装置2の位置も演算できる。3つのIMUセンサ20S,21S,22S(第3姿勢センサ)から演算できるブーム20,アーム21及びバケット22の姿勢からは車体座標系におけるフロント作業装置2の位置を演算できる。
【0039】
<作業領域演算部720>
作業領域演算部720は,作業領域設定装置100から入力される作業領域59の位置データに基づいて作業領域59の境界線60の位置を演算する。ここで演算される境界線60の位置は,作業領域設定装置100を介して作業領域59が設定されたときの旋回体3の位置を基準とした境界線60の位置であり,以下では作業領域59が設定されたときの旋回体3に係る位置を「初期位置」と称することがある。例えば,
図5のように走行体4の前方向と旋回体3の前方向が一致した姿勢(相対角度φ=0の姿勢)で作業領域59が設定された場合には,そのときの旋回体3の姿勢を基準にして作業領域59が設定される。初期位置における旋回体3と走行体4の相対角度φを初期角度φ0と定義すると,作業領域演算部720は初期角度φ0を表示補正部730に出力する。
【0040】
<合成画像生成部910>
合成画像生成部910は,3つのカメラ71,72,73から出力される3つの撮像画像から1枚の合成画像(俯瞰画像)701を生成する部分である。
図6に示すように,3つのカメラ71,72,73は,それぞれ,隣り合う2つのカメラによる撮像画像が重複する重複領域11が形成されるように配置されている。
【0041】
合成画像生成部910は,各カメラ71,72,73の撮像画像を,各カメラ71,72,73の設置位置と画角等の関係から油圧ショベル1の接地面に投影して合成画像701を生成する。そのため,各カメラ71,72,73は
図1に示すように水平方向に対して所定の俯角θだけ傾けて設置される。これにより油圧ショベル1の接地面が撮像画像内に含まれることになる。2つの撮像画像が重なる重複領域11は,それぞれ合成画像701の生成時に欠落部分がないように既知の手法を用いて画像境界処理を行う。合成画像701の中央部には旋回体3を真上から見下ろした旋回体アイコン703が配置される。これにより油圧ショベル1及びその周囲の状況を画像を切り替えることなく1画面でモニタ110に表示できる。
【0042】
<表示補正部730>
表示補正部730は,作業領域演算部720から出力された初期角度φ0と,姿勢演算部710から出力された相対角度φとに基づいて,旋回体3と走行体4の相対角度φが初期角度φ0から変更されているか否か(すなわち「相対角度φ-初期角度φ0=Δφ≠0」が成立して差分が生じているか否か)を判定する。旋回体3と走行体4の相対角度φが初期角度φ0から変更されている場合(旋回体3が初期位置から旋回した場合)には,表示補正部730は,モニタ画面上における作業領域59の境界線60と走行体アイコン704の位置(回転角度)の補正を行う。具体的には,表示補正部730は,旋回体3の旋回中心回りに境界線60と走行体アイコン704を当該差分が生じた方向と逆方向に回転させる(つまり,-Δφだけ回転させる)。一方,相対角度φが初期角度φ0から変更されていない場合(Δφ=0の場合)には,これらの補正を行わない(すなわち境界線60と走行体4の位置は初期位置のまま保持される)。このように初期角度φ0からの相対角度φの変化の有無は,境界線60と走行体4の位置の補正の有無に一致する。
【0043】
なお,旋回体3の旋回中心を点Csとすると,相対角度φが0の位置と相対角度φの正負は
図7のように決めることができる。すなわち,
図7のように走行体4の前進方向とフロント作業装置2が伸びる方向が一致した状態の旋回体3と走行体4の相対角度φを0度とする。旋回体3が右方向に旋回した場合の相対角度φの符号を正とし,左方向に旋回した場合の符号を負とする。なお,括弧内の数値は相対角度φが負の場合の角度を示す。
【0044】
<画像合成処理部930>
画像合成処理部930は,合成画像生成部910で生成された旋回体アイコン703を含む合成画像701の上に,表示補正部730で補正された境界線60と走行体アイコン704を表示して画像の合成処理を行う。ただし,操作センサ33bを介して走行体4の走行が検出された場合には,これらに
図10のメッセージ75(後述)が追加されることがある。ここで合成処理が行われた画像はモニタ110の画面上に表示される。なお,合成画像701(モニタ110の画面)上における境界線60の位置の補正は,モニタ110への境界線60の表示後に行っても良いし,モニタ110への境界線60の表示前や表示と同時に行っても良い。また,合成画像701上における境界線60の位置の補正の実行は,作業領域設定装置100による作業領域59の設定後に行っても良い。
【0045】
図8は旋回体3と走行体4の相対角度φが初期角度φ0から変更された場合におけるモニタ画像の一例を示す図である。旋回体3が旋回した場合には,この図に示すようにその旋回角度に応じて境界線60と走行体アイコン704の位置が補正される。これにより旋回体3に旋回操作を加えた場合にも,モニタ画面上の正しい位置に境界線60と走行体アイコン704を表示できる。
【0046】
<動作指令部310>
動作指令部310は,フロント作業装置2,旋回体3又は走行体4と境界線60との最短距離dと,操作センサ33bの出力とに基づいて,該当する油圧アクチュエータ20A,21A,22A,38,41に係る電磁制御弁35aの駆動に必要な動作指令値を演算する。最短距離dは,表示補正部730から出力される境界線60の位置(初期位置または補正位置)に基づいて演算される。すなわち,相対角度φが初期角度φ0から変化した場合には境界線60の補正位置に基づいて演算され,相対角度φが初期角度φ0で保持されている場合には境界線60の初期位置に基づいて演算される。
【0047】
動作指令部310は,油圧ショベル1が稼働している間(または領域制限制御が有効とされている間),フロント作業装置2,旋回体3又は走行体4と境界線60との最短距離dが所定値(閾値)よりも小さいか否かを判定する。当該最短距離dが当該所定値よりも小さくなった場合には,動作指令部310は,操作センサ33bから出力に関わらず,フロント作業装置2,旋回体3又は走行体4が停止するために,該当する油圧アクチュエータ20A,21A,22A,38,41の目標動作速度をゼロに設定する。そして,動作指令部310は,当該目標動作速度に従って各電磁制御弁35aの駆動に必要な動作指令値を生成し,生成した動作指令値を対応する電磁制御弁35aに出力することで,対応する方向切替弁(コントロールバルブ)35bを駆動する。これによりフロント作業装置2,旋回体3又は走行体4が境界線60に接近した場合には当該装置2,3,4の動作が停止され,当該装置2,3,4が作業領域59から逸脱することが防止される。
【0048】
なお,各装置2,3,4と境界線60の距離dが所定値以上の場合には,操作センサ33bの出力に従って,該当する油圧アクチュエータ20A,21A,22A,38,41の目標速度が演算され,オペレータの操作に即して各装置2,3,4が動作する。
【0049】
<モニタ110>
モニタ110は,
図5や
図8に示したように作業領域59の境界線60と油圧ショベル(建設機械)1の位置関係を画面に表示する。
【0050】
図9はモニタ110に表示される画面の一例を示す図である。この例では,3つのカメラ71,72,73によって撮影された旋回体3の左側,右側,及び後側の撮影画像に基づいて合成画像701を生成し,その合成画像701において撮影画像が存在しない旋回体3の前側の領域705に表示される境界線62を強調表示している。強調表示の方法としては,線種の変更,線の色変更,線の太さ変更などがある。
図9の例では領域705の境界線62の線種を二重線に変更している。
【0051】
図10はモニタ110に表示される画面の他の一例を示す図である。例えば操作センサ33bによって走行操作レバー33cに対するオペレータ操作が検出され走行体4が動作することが検出された場合には,メインコントローラ34はオペレータに作業領域設定装置100を介した作業領域59の再設定を促すメッセージ75をモニタ110に表示する。
【0052】
<メインコントローラの制御手順>
図11は,
図4でメインコントローラ34内に示した各部のうち主にモニタ110の画面制御の流れの一例を説明したメインコントローラ34が実行する処理のフローチャートである。以下では,
図4に示したメインコントローラ34内の各部を主語として各処理(ステップS100-S200)を説明する場合があるが,各処理を実行するハードウェアはメインコントローラ34である。また,各部の処理の詳細な説明は上記の各部の説明箇所に記載されていることがある。
【0053】
メインコントローラ34は,油圧ショベル1の運転室32に搭乗したオペレータがキーオン操作を行うと
図11に示した処理を開始する。まずS100において,作業領域演算部720は,オペレータによる作業領域設定装置100の操作に基づいて,旋回体3を基準にして作業領域59の境界線60を設定する。旋回体3を基準とした境界線60の設定方法としては,例えば,旋回体3に設定された座標系(車体座標系)上に境界線60を設定するものがある。
【0054】
S110では,作業領域演算部720は,S100で境界線60が設定されたときの旋回体3と走行体4の相対角度φを旋回角度センサ40Sを利用して検出し,その相対角度を初期相対角度φ0としてメインコントローラ34内の記憶装置に記憶する。
【0055】
S120では,画像合成処理部930は,操作センサ33bのうち走行操作レバー33cの操作を検出する操作センサの出力に基づいて走行体4の走行の有無を判定する。走行操作レバー33cの操作が検出された場合(すなわち走行体4の走行が検出された場合)にはS190に進み,走行操作レバー33cの操作が検出されなかった場合にはS130に進む。
【0056】
S190では,画像合成処理部930は,モニタ110にメッセージ75(
図10参照)を表示し,オペレータに作業領域59(境界線60)の再設定を促して処理を終了する。
【0057】
S130では,姿勢演算部710は,旋回体3と走行体4の相対角度φを検出して表示補正部730に出力する。
【0058】
S140では,表示補正部730は,S110の初期相対角度φ0を記憶装置から読み出し,これをS130で検出された相対角度φから減じることでΔφを演算する。
【0059】
S150では,表示補正部730はΔφがゼロかどうかを判定し,Δφ≠0の場合にはS160に進み,Δφ=0の場合には境界線60と走行体アイコン704の位置の補正は行わずにS200に進む。
【0060】
S160では,表示補正部730は,境界線60と走行体アイコン704を旋回中心Csを基準に-Δφだけ回転して補正する。
【0061】
S170では,画像合成処理部930は,合成画像生成部910で生成された合成画像701と旋回体アイコン703の上に,S160で補正した境界線60と走行体アイコン704を表示してモニタ110の画面に表示される画像を生成し,S180に進む。
【0062】
S200では,画像合成処理部930は,合成画像生成部910で生成された合成画像701と旋回体アイコン703の上に,補正前の境界線60と走行体アイコン704を表示してモニタ110の画面に表示される画像を生成し,S180に進む。
【0063】
S180では,メインコントローラ34は,運転室32に搭乗したオペレータからキーオフ操作が入力されたか否かを判定する。キーオフ操作の入力がない場合にはS120に戻り,キーオフ操作の入力があった場合には処理を終了する。
【0064】
<効果>
(1)上記のように構成した油圧ショベル1には,旋回体3を走行体4の相対角度φを検出する旋回角度センサ40Sと,旋回角度センサ40Sによって検出される相対角度φに基づいてモニタ画面上の合成画像701上における作業領域59の境界線60の位置を補正するメインコントローラ34とが備えられている。これにより旋回体3を旋回させても,旋回角度センサ40Sによって検出される相対角度φに基づいて境界線60のモニタ画面上の位置が補正されるので,オペレータは油圧ショベル1と境界線60の位置関係をモニタ画面上で正確に把握できる。
【0065】
なお,作業領域59の境界線60は油圧ショベル1の障害物(例えば建物の壁)の外形に沿って設定されることが多く,例えば走行体4の走行動作により油圧ショベル1が初期位置から移動した場合には境界線60と当該障害物の外形とのズレがモニタ画面上で視認できる。当該ズレはオペレータがモニタ画面を見る度に違和感となるため,その違和感によりオペレータに作業領域59の再設定を促すことができる。
【0066】
(2)境界線60の具体的な補正方法として,本実施形態のメインコントローラ34は,旋回体3の旋回中心Csを中心にして境界線60をΔφ分だけ逆回転させることでモニタ110における境界線60の位置を補正している。これによりオペレータは旋回操作後も油圧ショベル1と境界線60の位置関係をモニタ画面上で正確に把握できる。
【0067】
(3)上記の油圧ショベル1は,走行体4の動作の有無を検出する動作センサとして走行操作レバー33cの操作センサ33bを備えており,メインコントローラ34は,当該操作センサ33bによって走行体4が動作することが検出された場合には,モニタ110に作業領域59の再設定を促すメッセージ75を表示する(
図10参照)。これにより走行後は作業領域59の再設定勧告をオペレータに確実に通知でき,作業領域59の再設定が速やかに行われることが期待できる。
【0068】
なお,走行体4の動作センサとしては,操作センサ33bの他に,走行用モータ41の速度センサや,油圧ショベル1の位置を計測する衛星測位システム(例えばGNSS)などを利用しても良い。また,オペレータに作業領域59の再設定を促す手段はモニタ110に限らず,その他の報知装置を介した方法も可能である。例えば,スピーカー(音声出力装置)から音声を出力しても良いし,ランプ(警告灯)を点灯/点滅させても良い。
【0069】
(4)上記の油圧ショベル1は,旋回体3の左側,右側,及び後側を撮影する3つのカメラ71,72,73を備えており,メインコントローラ34は,当該の3つのカメラ71,72,73によって撮影された旋回体3の左側,右側,及び後側の撮影画像に基づいて合成画像701を生成し,合成画像701において撮影画像が存在しない旋回体3の前側の領域705に表示される境界線62をモニタ上で強調表示することとした(
図9参照)。旋回体3の前側の領域705は,カメラの撮影画像が存在しないため,作業領域59の境界線までの距離の把握が合成画像701上の他の領域に比較して一般的に困難である。しかし,このように境界線62を強調表示すれば,領域705における距離把握に必要なオペレータの注意を喚起できる。
【0070】
(5)上記の油圧ショベル1において,メインコントローラ34は,旋回体3の幅方向と直交し旋回体3の旋回中心を通過する直線58上において,所定の位置(例えば,運転室32の前窓)から作業領域59の境界線60までの距離を演算してモニタ110に表示させている(
図5参照)。これによりオペレータが境界線60までの距離を客観的に把握することができる。特に,カメラの撮影画像が存在しない旋回体3の前側の領域705における境界線60までの距離を表示した場合には,合成画像701上の物体との対比に基づく距離把握が難しい領域705における境界線60までの距離をオペレータに正確に伝達できる。
【0071】
(6)上記の油圧ショベル1において,メインコントローラ34は,旋回角度センサ40Sによって検出される相対角度φに基づいてモニタ画面上の合成画像701上における走行体4の画像(走行体アイコン)704の位置を補正し,その補正した画像704をモニタ110に表示させている(
図8-10参照)。これによりオペレータがモニタ110を見た際に旋回体3と走行体4との相対的な位置関係を一目で把握できる。
【0072】
<その他>
上記では旋回体3を基準にして作業領域59の境界線60を設定したが,走行体4を基準にして作業領域59の境界線60を設定しても良い。
【0073】
なお,本発明は,上記の実施の形態に限定されるものではなく,その要旨を逸脱しない範囲内の様々な変形例が含まれる。例えば,本発明は,上記の実施の形態で説明した全ての構成を備えるものに限定されず,その構成の一部を削除したものも含まれる。また,ある実施の形態に係る構成の一部を,他の実施の形態に係る構成に追加又は置換することが可能である。
【0074】
また,上記のメインコントローラ34に係る各構成や当該各構成の機能及び実行処理等は,それらの一部又は全部をハードウェア(例えば各機能を実行するロジックを集積回路で設計する等)で実現しても良い。また,上記のメインコントローラ34に係る構成は,演算処理装置(例えばCPU)によって読み出し・実行されることで当該メインコントローラ34の構成に係る各機能が実現されるプログラム(ソフトウェア)としてもよい。当該プログラムに係る情報は,例えば,半導体メモリ(フラッシュメモリ,SSD等),磁気記憶装置(ハードディスクドライブ等)及び記録媒体(磁気ディスク,光ディスク等)等に記憶することができる。
【0075】
また,上記の各実施の形態の説明では,制御線や情報線は,当該実施の形態の説明に必要であると解されるものを示したが,必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。
【符号の説明】
【0076】
1…油圧ショベル(建設機械),2…フロント作業装置,3…旋回体,4…走行体,20…ブーム,20A…ブームシリンダ,20S…IMUセンサ(ブーム),21…アーム,21A…アームシリンダ,21S…IMUセンサ(アーム),22…バケット,22A…バケットシリンダ,22B…第1リンク部材,22C…第2リンク部材,22S…IMUセンサ(バケット),30S…IMUセンサ(旋回体),32…運転室,33a…操作レバー,33b…操作センサ,33c…走行操作レバー,34…メインコントローラ,35a…電磁制御弁,35b…方向切替弁(コントロールバルブ),36a…エンジン(原動機),36b…油圧ポンプ,37…カウンタウェイト,38…旋回用モータ,40S…旋回角度センサ,41…走行用モータ,45…履帯,58…直線,59…作業領域,60…境界線,61…稼働制限領域,65…距離表示部,71…左側方カメラ,72…右側方カメラ,73…後方カメラ,75…メッセージ,100…作業領域設定装置,110…モニタ,701…合成画像(俯瞰映像),703…旋回体アイコン,704…走行体アイコン,705…カメラ画像の無い領域,710…姿勢演算部,720…作業領域演算部,730…表示補正部,910…合成画像生成部,930…画像合成処理部