(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-20
(45)【発行日】2022-07-28
(54)【発明の名称】システムおよび方法
(51)【国際特許分類】
E02F 9/26 20060101AFI20220721BHJP
B60R 1/00 20220101ALI20220721BHJP
【ＦＩ】
E02F9/26 A
B60R1/00
【請求項の数】
12
(21)【出願番号】P 2021100921
(22)【出願日】2021-06-17
(62)【分割の表示】P 2020078339の分割
【原出願日】2016-03-09
(65)【公開番号】P2021139290
(43)【公開日】2021-09-16
【審査請求日】2021-06-17
(31)【優先権主張番号】P 2015074059
(32)【優先日】2015-03-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110000637
【氏名又は名称】特許業務法人樹之下知的財産事務所
(72)【発明者】
【氏名】町田 正臣
(72)【発明者】
【氏名】栗原 毅
【審査官】彦田 克文
(56)【参考文献】
【文献】特開２０１３－２５３４０２（ＪＰ，Ａ）
【文献】特開２０１３－２３９８７３（ＪＰ，Ａ）
【文献】特開２０１２－７４９２９（ＪＰ，Ａ）
【文献】特開２０１４－６４２０９（ＪＰ，Ａ）
【文献】国際公開第２０１５／１２２２４５（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ０２Ｆ ９／２６
Ｂ６０Ｒ １／００
(57)【特許請求の範囲】
【請求項1】
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とするシステム。
【請求項2】
請求項１に記載のシステムにおいて、前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかを判定する操作判定部を備え、
前記作業機表示処理部は、前記操作判定部で前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかの動作がなされたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とするシステム。
【請求項3】
請求項１または請求項２に記載のシステムにおいて、前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とするシステム。
【請求項4】
請求項１または請求項２に記載のシステムにおいて、前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記作業機の少なくとも一部に加え、前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とするシステム。
【請求項5】
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、前記油圧ショベルの周辺を監視する周辺監視レーダーと、
前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とするシステム。
【請求項6】
請求項５に記載のシステムにおいて、前記周辺監視レーダーからの信号に基づいて前記油圧ショベルの周辺の障害物の有無を判定するレーダー状態判定部を備え、
前記作業機表示処理部は、前記レーダー状態判定部で障害物が検出されたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とするシステム。
【請求項7】
請求項５または請求項６に記載のシステムにおいて、前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とするシステム。
【請求項8】
請求項５または請求項６に記載のシステムにおいて、前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記障害物が検出された場合、前記作業機の少なくとも一部に加え、前記障害物の位置に近い前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とするシステム。
【請求項9】
請求項１乃至請求項８のいずれか一項に記載のシステムにおいて、前記油圧ショベルに設けられる表示手段を備えることを特徴とするシステム。
【請求項10】
請求項１乃至請求項８のいずれか一項に記載のシステムにおいて、前記油圧ショベルとの間で通信を行う通信手段と、
遠隔操作席、管制室、及び遠隔操作用の携帯端末のいずれかに設けられる表示手段とを備えることを特徴とするシステム。
【請求項11】
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする方法。
【請求項12】
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、レーダーで前記油圧ショベルの周辺を監視する工程と、
複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムおよび方法に関する。
【背景技術】
【0002】
鉱山作業などに用いられる油圧ショベル等の作業機械は、一般の建設現場等で用いられる作業機械よりも格段に大きく、作業機械の大きさに応じた大容量のバケット等を用いて掘削作業等の効率化を図っている。
このような作業機を備えた作業機械の１つである油圧ショベルは、通常、上部旋回体の前方左上部に操縦席が設けられている。
このような作業機を備えた作業機械の１つである油圧ショベルは、通常、上部旋回体の前方左上部に操縦席が設けられている。
【0003】
操縦席の設置位置は、上部旋回体の前方近接下方位置や右側方、後方等の領域に対する視界性が悪いため、操縦席の近傍に多くのミラーを設置しているが、これらのミラー自体も小さいため、作業者は、旋回操作時、障害物に上部旋回体の後方にあるカウンターウェイト周辺部分や前方の作業機（ブーム、アーム、バケット等）部分を衝突させないよう注意する必要があり、作業者への負担が過大になるという問題がある。
このため、従来、作業機械の車体に複数のカメラを取り付け、各カメラで撮像された画像から俯瞰画像を生成し、操縦席内部に設けられたモニターにより、操縦者が上部旋回体の周囲の状況を確認しながら、上部旋回体の旋回操作を行う技術が知られている（例えば、特許文献１参照）。
このため、従来、作業機械の車体に複数のカメラを取り付け、各カメラで撮像された画像から俯瞰画像を生成し、操縦席内部に設けられたモニターにより、操縦者が上部旋回体の周囲の状況を確認しながら、上部旋回体の旋回操作を行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－２５３４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような俯瞰画像では、モニター上に表示された俯瞰画像のどの向きが作業機の作業方向なのか判別しにくいため、モニター上に作業機がどこにあるかをすぐに判別できる画像が要望されている。
一方、特許文献１に記載の技術では、油圧ショベルの向きと俯瞰画像の位置関係を作業者に認識しやすくするため、各カメラで撮像して生成された俯瞰画像上に、油圧ショベルの画像データを重畳させている。しかし、この油圧ショベルの画像データには前方に突き出した作業機部分まで表示されているため、作業機の下方にある障害物等をモニター上で判別しにくいという問題がある。
一方、特許文献１に記載の技術では、油圧ショベルの向きと俯瞰画像の位置関係を作業者に認識しやすくするため、各カメラで撮像して生成された俯瞰画像上に、油圧ショベルの画像データを重畳させている。しかし、この油圧ショベルの画像データには前方に突き出した作業機部分まで表示されているため、作業機の下方にある障害物等をモニター上で判別しにくいという問題がある。
【0006】
本発明の目的は、作業機の下方にある障害物等を容易に確認することができ、かつ作業機の作業方向を容易に判別することのできるシステムおよび方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の第１の態様に係るシステムは、
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、
前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とする。
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、
前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とする。
【0008】
本発明の第１の態様によれば、作業機表示処理部を備えていることにより、上方視点画像の作業機の少なくとも一部を非表示とすることができるため、作業機の下方領域を俯瞰画像上に表示させることができ、作業者が作業機の下の障害物等を容易に判別することができる。
また、作業機表示処理部を機能させないことにより、俯瞰画像上に作業機の部分を表示させることもできるため、作業者が俯瞰画像と作業機の位置関係や方向を知りたい場合に、作業機の位置や作業方向を容易に判別することができる。
また、作業機表示処理部を機能させないことにより、俯瞰画像上に作業機の部分を表示させることもできるため、作業者が俯瞰画像と作業機の位置関係や方向を知りたい場合に、作業機の位置や作業方向を容易に判別することができる。
【0009】
本発明の第２の態様に係るシステムは、第１の態様において、
前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかを判定する操作判定部を備え、
前記作業機表示処理部は、前記操作判定部で前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかの動作がなされたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とする。
第２の態様によれば、作業者が作業機を操作又は作業機械の走行操作をしたときに、上方視点画像の作業機の少なくとも一部を非表示とするので、作業機の下方の状態を確認しながら、安全に作業機を操作することができる。
加えて、操作判定部で作業機の操作及び作業機械の走行操作の少なくともいずれかの操作がなされた、又は、作業機の停止操作及び作業機械の走行操作の少なくともいずれかの停止操作がなされたと判定されたら、作業機表示処理部が、作業機及び作業機械の少なくともいずれかの一部を表示した状態とするので、作業者は、現在作業機械がどの方向に向いているのかを直ちに確認することができる。
前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかを判定する操作判定部を備え、
前記作業機表示処理部は、前記操作判定部で前記作業機の動作及び前記油圧ショベルの走行動作の少なくともいずれかの動作がなされたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とする。
第２の態様によれば、作業者が作業機を操作又は作業機械の走行操作をしたときに、上方視点画像の作業機の少なくとも一部を非表示とするので、作業機の下方の状態を確認しながら、安全に作業機を操作することができる。
加えて、操作判定部で作業機の操作及び作業機械の走行操作の少なくともいずれかの操作がなされた、又は、作業機の停止操作及び作業機械の走行操作の少なくともいずれかの停止操作がなされたと判定されたら、作業機表示処理部が、作業機及び作業機械の少なくともいずれかの一部を表示した状態とするので、作業者は、現在作業機械がどの方向に向いているのかを直ちに確認することができる。
【0010】
本発明の第３の態様に係るシステムは、第１の態様または第２の態様において、
前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とする。
第３の態様によれば、作業機等が非表示中であっても作業機部分の外縁線が表示されるので、作業者は上方視点画像で作業機等が非表示中とされていても、作業機械がどの方向に向いているかを確認することができる。
前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とする。
第３の態様によれば、作業機等が非表示中であっても作業機部分の外縁線が表示されるので、作業者は上方視点画像で作業機等が非表示中とされていても、作業機械がどの方向に向いているかを確認することができる。
【0011】
本発明の第４の態様に係るシステムは、第１の態様または第２の態様において、
前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記作業機の少なくとも一部に加え、前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とする。
第４の態様によれば、作業機の下方に加え、作業機械の本体の下方領域を俯瞰画像上に表示させることができ、作業者が作業機械の下の障害物等を容易に判別することができる。
前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記作業機の少なくとも一部に加え、前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とする。
第４の態様によれば、作業機の下方に加え、作業機械の本体の下方領域を俯瞰画像上に表示させることができ、作業者が作業機械の下の障害物等を容易に判別することができる。
【0012】
本発明の第５の態様に係るシステムは、
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、
前記油圧ショベルの周辺を監視する周辺監視レーダーと、
前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とする。
バケットを含む作業機を備えた油圧ショベルの周辺を監視するためのシステムであって、
前記油圧ショベルの周辺を監視する周辺監視レーダーと、
前記油圧ショベルの周囲を撮像する複数のカメラと、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する作業機表示処理部と、
前記俯瞰画像生成部で生成された俯瞰画像に、前記作業機表示処理部で切り替えられた前記油圧ショベルの上方視点画像を重畳させる画像重畳部とを備えることを特徴とする。
【0013】
本発明の第６の態様に係るシステムは、第５の態様において、
前記周辺監視レーダーからの信号に基づいて前記油圧ショベルの周辺の障害物の有無を判定するレーダー状態判定部を備え、
前記作業機表示処理部は、前記レーダー状態判定部で障害物が検出されたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とする。
第６の態様によれば、レータ状態判定部により、障害物が検出されたら、当該障害物の位置に近い作業機の少なくとも一部を非表示、透過表示とされるため、作業者は上方視点画像において、容易に障害物を確認することができる。
前記周辺監視レーダーからの信号に基づいて前記油圧ショベルの周辺の障害物の有無を判定するレーダー状態判定部を備え、
前記作業機表示処理部は、前記レーダー状態判定部で障害物が検出されたと判定されたら、前記油圧ショベルの上方視点画像を前記第１状態から前記第２状態に切り替えて表示することを特徴とする。
第６の態様によれば、レータ状態判定部により、障害物が検出されたら、当該障害物の位置に近い作業機の少なくとも一部を非表示、透過表示とされるため、作業者は上方視点画像において、容易に障害物を確認することができる。
【0014】
本発明の第７の態様に係るシステムは、第５の態様または第６の態様において、
前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とする。
前記作業機表示処理部は、前記油圧ショベルの上方視点画像を重畳した俯瞰画像に前記油圧ショベルの上方視点画像の作業機部分の外縁線を表示することを特徴とする。
【0015】
本発明の第８の態様に係るシステムは、第５の態様または第６の態様において、
前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記障害物が検出された場合、前記作業機の少なくとも一部に加え、前記障害物の位置に近い前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とする。
前記複数のカメラのうち、少なくとも１つのカメラは、前記油圧ショベルの本体の下方を撮像可能とされ、
前記作業機表示処理部は、前記障害物が検出された場合、前記作業機の少なくとも一部に加え、前記障害物の位置に近い前記油圧ショベルの本体部分の少なくとも一部を非表示として前記第２状態を表示することを特徴とする。
【0016】
本発明の第９の態様に係るシステムは、第１態様乃至第８の態様のいずれか１つの態様において、
前記油圧ショベルに設けられる表示手段を備えることを特徴とする。
前記油圧ショベルに設けられる表示手段を備えることを特徴とする。
【0017】
本発明の第１０の態様に係るシステムは、第１態様乃至第８の態様のいずれか１つの態様において、
前記油圧ショベルとの間で通信を行う通信手段と、
遠隔操作席、管制室、及び遠隔操作用の携帯端末のいずれかに設けられる表示手段とを備えることを特徴とする。
前記油圧ショベルとの間で通信を行う通信手段と、
遠隔操作席、管制室、及び遠隔操作用の携帯端末のいずれかに設けられる表示手段とを備えることを特徴とする。
【0018】
本発明の第１１の態様に係る方法は、
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、
複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする。
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、
複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする。
【0019】
本発明の第１２の態様に係る方法は、
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、
レーダーで前記油圧ショベルの周辺を監視する工程と、
複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする。
バケットを含む作業機を備えた油圧ショベルの周辺を監視するための方法であって、
レーダーで前記油圧ショベルの周辺を監視する工程と、
複数のカメラで前記油圧ショベルの周囲を撮像する工程と、
前記複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する工程と、
前記油圧ショベルの上方視点画像を、前記バケットを含む前記作業機を表示した状態にする第１状態と、検出された障害物の位置に近い前記作業機の少なくとも一部を非表示とする第２状態との間で切り替えて表示する工程と、
前記生成された俯瞰画像に、前記切り替えられた前記油圧ショベルの上方視点画像を重畳させる工程とを備えることを特徴とする。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態に係る上部旋回体を備えた作業機械の側面図。
【図2】前記実施形態における上部旋回体を備えた作業機械の背面図。
【図3】前記実施形態における上部旋回体を備えた作業機械の平面図。
【図4】前記実施形態における上部旋回体を備えた作業機械のキャブ内部の構造を示す正面図。
【図5】前記実施形態における周辺監視装置の構造を示すブロック図。
【図6】前記実施形態における周辺監視装置の制御手段の機能ブロック図。
【図7】前記実施形態における俯瞰画像の生成を説明するための模式図。
【図8】前記実施形態における画像重畳部で重畳する作業機械の上方視点画像を表す模式図。
【図9】前記実施形態における作業機械の上方視点画像の作業機を作業機表示処理部で非表示とした状態を表す模式図。
【図10】前記実施形態における作業機械の上方視点画像の作業機の一部を作業機表示処理部で非表示とした状態を表す模式図。
【図11】前記実施形態における作業機械の上方視点画像の作業機を作業機表示処理部で透過表示とした状態を表す模式図。
【図12】前記実施形態における作業機械の上方視点画像のカウンターウェイトをカウンターウェイト表示処理部で非表示とした状態を表す模式図。
【図13】前記実施形態における周辺監視装置の表示手段に表示された画像を示す模式図。
【図14】前記実施形態の作用を説明するためのフローチャート。
【図15】前記実施形態における作業機表示処理及びカウンターウェイト表示処理を行った画像を表す模式図。
【図16】前記実施形態の変形となる遠隔操作席の構造を示す正面図。
【図17】前記実施形態の変形となる携帯端末を利用した遠隔操作の状態を示す側面図。
【発明を実施するための形態】
【0021】
［１］作業機械の全体構成
図１乃至図３には、本発明の実施形態に係る作業機を備えた作業機械としての油圧ショベル１が示され、図１は油圧ショベル１の側面図、図２は油圧ショベル１の背面図、図３は油圧ショベル１の平面図である。
この油圧ショベル１は、鉱山等の作業現場で用いられる大型の作業機械であり、下部走行体２と、上部旋回体３と、作業機４と、キャブ５とを備える。尚、以下の説明では、上部旋回体３の作業機４が設けられる部分を前部、前部に対して旋回中心Ｏを介した反対側を後部といい、これを基準に左側面、右側面を規定する。
図１乃至図３には、本発明の実施形態に係る作業機を備えた作業機械としての油圧ショベル１が示され、図１は油圧ショベル１の側面図、図２は油圧ショベル１の背面図、図３は油圧ショベル１の平面図である。
この油圧ショベル１は、鉱山等の作業現場で用いられる大型の作業機械であり、下部走行体２と、上部旋回体３と、作業機４と、キャブ５とを備える。尚、以下の説明では、上部旋回体３の作業機４が設けられる部分を前部、前部に対して旋回中心Ｏを介した反対側を後部といい、これを基準に左側面、右側面を規定する。
【0022】
下部走行体２は、鋼製フレーム２１と、鋼製フレーム２１の側面に設けられる一対の走行装置２２を備える。
走行装置２２は、鋼製フレーム２１の走行方向後端に、回転自在に設けられる駆動輪２３と、走行方向前端に設けられる遊動輪２４と、駆動輪２３及び遊動輪２４に巻回される履帯２５とを備える。尚、図示を略したが、駆動輪２３及び遊動輪２４の間には、複数の下部転輪及び上部転輪が鋼製フレーム２１に回転自在に設けられ、履帯２５を支持している。
走行装置２２は、鋼製フレーム２１の走行方向後端に、回転自在に設けられる駆動輪２３と、走行方向前端に設けられる遊動輪２４と、駆動輪２３及び遊動輪２４に巻回される履帯２５とを備える。尚、図示を略したが、駆動輪２３及び遊動輪２４の間には、複数の下部転輪及び上部転輪が鋼製フレーム２１に回転自在に設けられ、履帯２５を支持している。
【0023】
上部旋回体３は、下部走行体２上に旋回自在に設けられ、内部に図示しないエンジン及びエンジンによって駆動される油圧ポンプ等の油圧回路が収容される。上部旋回体３の旋回中心を介した後端部には、カウンターウェイト３１が収容されている。そして、上部旋回体３の後部であってカウンターウェイト３１よりも前方の領域には、パワーコンテナ３０が搭載される。パワーコンテナ３０内には、エンジン、油圧ポンプラジエータ、オイルクーラ等が収容されている。
上部旋回体３の左方向側面には、昇降ラダー３２が上部旋回体３に上下に摺動自在に設けられ、上部旋回体３の上面外縁に沿ってハンドレール３３が設けられ、ハンドレール３３に囲まれた部分がキャットウォーク３４とされる。作業者は、昇降ラダー３２を下降させ、キャットウォーク３４に登り、キャットウォーク３４を歩いてキャブ５の背面側から乗車する。
上部旋回体３の左方向側面には、昇降ラダー３２が上部旋回体３に上下に摺動自在に設けられ、上部旋回体３の上面外縁に沿ってハンドレール３３が設けられ、ハンドレール３３に囲まれた部分がキャットウォーク３４とされる。作業者は、昇降ラダー３２を下降させ、キャットウォーク３４に登り、キャットウォーク３４を歩いてキャブ５の背面側から乗車する。
【0024】
作業機４は、上部旋回体３の前端部に設けられ、ブーム４１と、アーム４２と、バケット４３とを備える。
ブーム４１は、基端が上部旋回体３に上下に回動自在に接続され、上部旋回体３に設けられたブームシリンダ４４によって上下に回動する。
アーム４２は、基端がブーム４１の先端に回動自在に接続され、ブーム４１に設けられたアームシリンダ４５によって上下に回動する。
バケット４３は、基端がアーム４２の先端に回動自在に接続され、アーム４２に設けられたバケットシリンダ４６によって回動する。
ブーム４１は、基端が上部旋回体３に上下に回動自在に接続され、上部旋回体３に設けられたブームシリンダ４４によって上下に回動する。
アーム４２は、基端がブーム４１の先端に回動自在に接続され、ブーム４１に設けられたアームシリンダ４５によって上下に回動する。
バケット４３は、基端がアーム４２の先端に回動自在に接続され、アーム４２に設けられたバケットシリンダ４６によって回動する。
【0025】
キャブ５は、上部旋回体３の上面の作業機４が設けられた前方左側に設けられ、ボックス体から構成され、ボックス体の各側面にはガラス窓５１が形成されている。キャブ５に乗車した作業者は、ガラス窓５１から外部周辺を監視しながら、掘削作業等を行う。
しかしながら、油圧ショベル１は、キャブ５が高い位置にあるため、上部旋回体３の下部周辺の視界が十分に確保できないという問題がある。
しかしながら、油圧ショベル１は、キャブ５が高い位置にあるため、上部旋回体３の下部周辺の視界が十分に確保できないという問題がある。
【0026】
このため、上部旋回体３の外周面には、後述する周辺監視装置６を構成するカメラ６１～６７が複数設けられている。具体的には、上部旋回体３の上部前方左側には、左前面カメラ６１が設けられ、上部前面右側コーナーには、右前面カメラ６２が設けられている。
また、上部旋回体３の左側面には、前部左側面カメラ６３及び後部左側面カメラ６４が設けられ、後部右側面には、右側面カメラ６５が設けられている。尚、後部左側面カメラ６４は、上部旋回体３の旋回中心Ｏよりも後部側に設けられている。
さらに、上部旋回体３の上部後方中央には、後方カメラ６６が設けられ、上部旋回体３の後部に位置するパワーコンテナ３０の下面には、下部カメラ６７が設けられている。
また、上部旋回体３の左側面には、前部左側面カメラ６３及び後部左側面カメラ６４が設けられ、後部右側面には、右側面カメラ６５が設けられている。尚、後部左側面カメラ６４は、上部旋回体３の旋回中心Ｏよりも後部側に設けられている。
さらに、上部旋回体３の上部後方中央には、後方カメラ６６が設けられ、上部旋回体３の後部に位置するパワーコンテナ３０の下面には、下部カメラ６７が設けられている。
【0027】
カメラ６１～６６は、例えば広角レンズを使用しており、隣合うカメラ６１～６６の撮像範囲がオーバーラップしているため、油圧ショベル１の近接位置の外周３６０度を撮像することができる。尚、カメラ６１及びカメラ６２は、作業機４の下方を撮像範囲としている。
【0028】
下部カメラ６７は、例えば広角レンズを使用しており、上部旋回体の後部領域、例えばパワーコンテナ３０およびカウンターウェイト３１の下部、及び下部後方を撮像することができる。
また、図１乃至図３では図示を略したが、上部旋回体３の各側面には周辺監視レーダーが設けられており、障害物が接近するとキャブ５内に設けられたブザー等により作業者に警告を発するようになっている。具体的には、周辺監視レーダーは、上部旋回体３の前面及び背面に各１台、側面には左右それぞれ３台設けられている。
また、図１乃至図３では図示を略したが、上部旋回体３の各側面には周辺監視レーダーが設けられており、障害物が接近するとキャブ５内に設けられたブザー等により作業者に警告を発するようになっている。具体的には、周辺監視レーダーは、上部旋回体３の前面及び背面に各１台、側面には左右それぞれ３台設けられている。
【0029】
［２］キャブ５内の構造
図４には、キャブ５内の構造が示されている。キャブ５内の中央には、座席シート５２が設けられ、座席シート５２の前方には、一対の走行レバー５３が設けられている。
座席シート５２の左側には、エンジン回転数の調整等を行うための操作スイッチパネル５５が設けられている。
図４には、キャブ５内の構造が示されている。キャブ５内の中央には、座席シート５２が設けられ、座席シート５２の前方には、一対の走行レバー５３が設けられている。
座席シート５２の左側には、エンジン回転数の調整等を行うための操作スイッチパネル５５が設けられている。
【0030】
座席シート５２の左右には、左操作レバー５６及び右操作レバー５７が設けられている。左操作レバー５６は上部旋回体の旋回動作とアーム４２の動作に対応しており、左操作レバー５６を左右に操作すると上部旋回体３が左右に旋回し、左操作レバー５６を上下に操作するとアーム４２が前後方向に回動する。右操作レバー５７はブーム４１の動作とバケット４３の動作に対応しており、右操作レバー５７を左右に操作するとバケット４３が掘削・排土方向に回動し、右操作レバー５７を上下に操作するとブーム４１が上下方向に回動する。尚、操作レバー５６、５７の操作とどの作業機が動作するかの組み合わせは、本実施形態のものには限られない。
また、右操作レバー５７のさらに右側には、ロックレバー５８が設けられており、ロックレバー５８を操作すると、油圧ポンプ等の油圧回路の流路を遮断させ、作業機４の動作を停止させる。
また、右操作レバー５７のさらに右側には、ロックレバー５８が設けられており、ロックレバー５８を操作すると、油圧ポンプ等の油圧回路の流路を遮断させ、作業機４の動作を停止させる。
【0031】
座席シート５２の左前方には、モニター５９が設けられ、このモニター５９には、エンジン水温、油圧回路の作動油温、燃料油残量等の油圧ショベル１の種々の稼働状態が表示される。
モニター５９の上には、表示手段としてのタッチパネルディスプレイ６０が設けられている。このタッチパネルディスプレイ６０には、前述したカメラ６１～６７で撮像された画像が表示される領域と、全てのカメラ６１～６７で撮像された画像を合成して生成される俯瞰画像が表示される領域とを有している。
モニター５９の上には、表示手段としてのタッチパネルディスプレイ６０が設けられている。このタッチパネルディスプレイ６０には、前述したカメラ６１～６７で撮像された画像が表示される領域と、全てのカメラ６１～６７で撮像された画像を合成して生成される俯瞰画像が表示される領域とを有している。
【0032】
［３］周辺監視装置６の構成
図５には、本実施形態に係る周辺監視装置６のブロック図が示されている。周辺監視装置６は、前述したタッチパネルディスプレイ６０、カメラ６１～６７、８台の周辺監視レーダー６８、レーダーアラーム６９、エラーアラーム７０、及びコントローラ７１を備える。
カメラ６１～６７で撮像された画像信号は、ＮＴＳＣ形式の画像信号としてコントローラ７１に入力される。
図５には、本実施形態に係る周辺監視装置６のブロック図が示されている。周辺監視装置６は、前述したタッチパネルディスプレイ６０、カメラ６１～６７、８台の周辺監視レーダー６８、レーダーアラーム６９、エラーアラーム７０、及びコントローラ７１を備える。
カメラ６１～６７で撮像された画像信号は、ＮＴＳＣ形式の画像信号としてコントローラ７１に入力される。
【0033】
また、コントローラ７１には、ＣＡＮ（Controller Area Network）を介して、エンジ
ンや、油圧回路の制御を行うメカニカルコントローラ３５からのセンサ信号が入力される。メカニカルコントローラ３５は、温度センサで検出されたエンジン水温、作動油温度等のセンサ信号や、圧力センサで検出されたポンプ圧力のセンサ信号を、コントローラ７１に出力する。また、メカニカルコントローラ３５は、作業機操作や旋回操作を行う左操作レバー５６及び右操作レバー５７の傾倒状態に応じたＰＰＣ（Pressure Proportional Control）圧（パイロット圧）を圧力センサで検出し、検出されたセンサ信号を、ＣＡＮを介してコントローラ７１に出力する。
さらに、コントローラ７１には、上部旋回体３の外周面に設けられた周辺監視レーダー６８で検出されたセンサ信号がＣＡＮを介して入力される。
ンや、油圧回路の制御を行うメカニカルコントローラ３５からのセンサ信号が入力される。メカニカルコントローラ３５は、温度センサで検出されたエンジン水温、作動油温度等のセンサ信号や、圧力センサで検出されたポンプ圧力のセンサ信号を、コントローラ７１に出力する。また、メカニカルコントローラ３５は、作業機操作や旋回操作を行う左操作レバー５６及び右操作レバー５７の傾倒状態に応じたＰＰＣ（Pressure Proportional Control）圧（パイロット圧）を圧力センサで検出し、検出されたセンサ信号を、ＣＡＮを介してコントローラ７１に出力する。
さらに、コントローラ７１には、上部旋回体３の外周面に設けられた周辺監視レーダー６８で検出されたセンサ信号がＣＡＮを介して入力される。
【0034】
コントローラ７１は、カメラ６１～６７で撮像された画像信号や、メカニカルコントローラ３５から入力される各種センサ信号、さらには周辺監視レーダー６８から入力されるセンサ信号に基づいて、ＲＧＢ形式の画像信号をタッチパネルディスプレイ６０に出力し、タッチパネルディスプレイ６０上に各種情報を表示させる。
また、コントローラ７１は、周辺監視レーダー６８で検出されたセンサ信号に基づいてレーダーアラーム６９を制御し、障害物が発見されたら、レーダーアラーム６９を発呼させる。さらに、コントローラ７１は、メカニカルコントローラ３５を介したエンジン、油圧回路等からのセンサ信号に基づいてエラーアラーム７０を制御し、エラー信号が検出されたら、エラーアラーム７０を発呼させる。
これにより、コントローラ７１は、障害物が接近していることや、エンジンや、油圧回路等に異常が発生していることを、キャブ５内の作業者に報知し、注意を促すことができる。
また、コントローラ７１は、周辺監視レーダー６８で検出されたセンサ信号に基づいてレーダーアラーム６９を制御し、障害物が発見されたら、レーダーアラーム６９を発呼させる。さらに、コントローラ７１は、メカニカルコントローラ３５を介したエンジン、油圧回路等からのセンサ信号に基づいてエラーアラーム７０を制御し、エラー信号が検出されたら、エラーアラーム７０を発呼させる。
これにより、コントローラ７１は、障害物が接近していることや、エンジンや、油圧回路等に異常が発生していることを、キャブ５内の作業者に報知し、注意を促すことができる。
【0035】
図６には、前述したコントローラ７１の機能ブロック図が示されている。
コントローラ７１は、俯瞰画像生成部７２、画像重畳部７３、作業機表示処理部７４、操作判定部としてのレバー操作判定部７５、レーダー状態判定部７６、及びパネル操作判定部７７を備える。
コントローラ７１は、俯瞰画像生成部７２、画像重畳部７３、作業機表示処理部７４、操作判定部としてのレバー操作判定部７５、レーダー状態判定部７６、及びパネル操作判定部７７を備える。
【0036】
俯瞰画像生成部７２は、カメラ６１～６７で撮像された画像に基づいて、油圧ショベル１の周囲の俯瞰画像を生成する部分である。具体的には、図示を略したコントローラ７１の記憶部に記憶された変換情報を用いて画像データの座標変換を行う。変換情報は、入力画像の各画素の位置座標と出力画像の各画素の位置座標との対応を示す情報である。
ここで、入力画像は、各カメラ６１～６７によって撮像された各画像である。また、出力画像は、タッチパネルディスプレイ６０上に表示される俯瞰画像である。
俯瞰画像生成部７２は、変換情報を用いて、カメラ６１～６７によって撮像された各画像のそれぞれを、油圧ショベル１の上方に位置する所定の仮想視点から見た上方視点画像に変換する。
ここで、入力画像は、各カメラ６１～６７によって撮像された各画像である。また、出力画像は、タッチパネルディスプレイ６０上に表示される俯瞰画像である。
俯瞰画像生成部７２は、変換情報を用いて、カメラ６１～６７によって撮像された各画像のそれぞれを、油圧ショベル１の上方に位置する所定の仮想視点から見た上方視点画像に変換する。
【0037】
具体的には、図７に示すように、カメラ６１によって撮像された画像は、所定の仮想投影面ＧＬ上に投影されることにより、油圧ショベル１の上方に位置する仮想視点６１Ａから見た画像に変換される。変換情報は、この仮想投影面ＧＬを表しており、カメラ６１で斜め上方から撮像された対象ＯＢの寸法Ｌ１が仮想投影面ＧＬ上では、寸法Ｌ２に変換される。
俯瞰画像生成部７２は、６台のカメラ６１～６７で撮像された各画像データを所定の仮想投影面ＧＬに投影して上方視点画像に変換した上で、変換後の各画像データを合成することにより、一つの油圧ショベル１の周囲の俯瞰画像を作成する。
また、俯瞰画像生成部７２は、下部カメラ６７で撮像された画像も上部旋回体３の後部領域の直下の画像として、生成した俯瞰画像に合成する。
俯瞰画像生成部７２は、６台のカメラ６１～６７で撮像された各画像データを所定の仮想投影面ＧＬに投影して上方視点画像に変換した上で、変換後の各画像データを合成することにより、一つの油圧ショベル１の周囲の俯瞰画像を作成する。
また、俯瞰画像生成部７２は、下部カメラ６７で撮像された画像も上部旋回体３の後部領域の直下の画像として、生成した俯瞰画像に合成する。
【0038】
画像重畳部７３は、図８に示されるような油圧ショベル１の上方視点画像ＧＡを記憶部に有し、俯瞰画像生成部７２で生成された俯瞰画像の中央部に重畳させ、タッチパネルディスプレイ６０に俯瞰画像を表示させる。
作業機表示処理部７４は、タッチパネルディスプレイ６０のスイッチ操作や、作業機４の操作レバー５６、５７の操作状態によって、油圧ショベル１の上方視点画像ＧＡの作業機の部分画像の表示、非表示処理を行う部分である。
具体的には、作業機表示処理部７４は、図９に示されるように、作業機の部分画像ＧＢ（図８参照）を完全に非表示にする。図９における作業機の表示領域と非表示領域の境界は、上部旋回体の前方端面から突き出た領域を非表示にした例であるが、非表示領域の決定方法はこれに限られない。
尚、作業機表示処理部７４は、これに限らず、図１０に示されるように、作業機の部分画像ＧＢを作業機の一部を非表示にしたり、図１１に示されるように、作業機の部分画像ＧＢを半透過表示としてもよい。そのように表示することで、俯瞰画像と上部旋回体３の向きの関係が容易に判別できるようになる。
作業機表示処理部７４は、タッチパネルディスプレイ６０のスイッチ操作や、作業機４の操作レバー５６、５７の操作状態によって、油圧ショベル１の上方視点画像ＧＡの作業機の部分画像の表示、非表示処理を行う部分である。
具体的には、作業機表示処理部７４は、図９に示されるように、作業機の部分画像ＧＢ（図８参照）を完全に非表示にする。図９における作業機の表示領域と非表示領域の境界は、上部旋回体の前方端面から突き出た領域を非表示にした例であるが、非表示領域の決定方法はこれに限られない。
尚、作業機表示処理部７４は、これに限らず、図１０に示されるように、作業機の部分画像ＧＢを作業機の一部を非表示にしたり、図１１に示されるように、作業機の部分画像ＧＢを半透過表示としてもよい。そのように表示することで、俯瞰画像と上部旋回体３の向きの関係が容易に判別できるようになる。
【0039】
また、作業機表示処理部７４は、タッチパネルディスプレイ６０のスイッチ操作や、作業機４の操作レバー５６、５７の操作状態によって、油圧ショベル１の上方視点画像の上部旋回体３の後部領域の表示、非表示処理を行ってもよい。
具体的には、作業機表示処理部７４は、図１２に示されるように、上部旋回体３の後部領域の部分画像ＧＣ（図８参照）を非表示にする。尚、図示を略したが、作業機４の部分画像処理と同様に、一部非表示や半透過表示とすることもできる。
また、上部旋回体３の後部領域を例示したが、作業機械の本体における後部領域以外の領域、もしくは油圧ショベル１の本体部分の全領域を非表示や透過表示させてもよい。
具体的には、作業機表示処理部７４は、図１２に示されるように、上部旋回体３の後部領域の部分画像ＧＣ（図８参照）を非表示にする。尚、図示を略したが、作業機４の部分画像処理と同様に、一部非表示や半透過表示とすることもできる。
また、上部旋回体３の後部領域を例示したが、作業機械の本体における後部領域以外の領域、もしくは油圧ショベル１の本体部分の全領域を非表示や透過表示させてもよい。
【0040】
レバー操作判定部７５は、メカニカルコントローラ３５から出力された操作レバー５６、５７のＰＰＣ圧に基づいて、作業機４が操作されているか否かを判定し、判定結果を、作業機表示処理部７４に出力する。また、レバー操作判定部７５は、走行レバー５３の操作状態も判定しており、走行レバー５３が操作されて油圧ショベル１が走行しているか否かについても判定し、判定結果を作業機表示処理部７４に出力する。
【0041】
レーダー状態判定部７６は、周辺監視レーダー６８で障害物が接近しているか否かを判定し、障害物が接近している検出された場合、周辺監視レーダー６８から作業機表示処理部７４に信号を出力し、その障害物が存在する位置に近い作業機もしくは油圧ショベル１の本体部分の一部領域を非表示や透過表示させてもよい。
パネル操作判定部７７は、タッチパネルディスプレイ６０上に表示されたスイッチを作業者が触れることにより、作業機の部分画像ＧＢや上部旋回体３の後部領域の部分画像ＧＣを非表示とするか否かを判定し、判定結果を、作業機表示処理部７４に出力する。
パネル操作判定部７７は、タッチパネルディスプレイ６０上に表示されたスイッチを作業者が触れることにより、作業機の部分画像ＧＢや上部旋回体３の後部領域の部分画像ＧＣを非表示とするか否かを判定し、判定結果を、作業機表示処理部７４に出力する。
【0042】
図１３には、タッチパネルディスプレイ６０上で表示される表示画像Ｇ１が示されている。表示画像Ｇ１は、俯瞰画像生成部７２が生成した俯瞰画像Ｇ２と、カメラ６１～６７の内いずれかのカメラで撮像した画像である単カメラ画像Ｇ３と、単カメラ画像がカメラ６１～６７の内いずれかのカメラで撮像したものであるかを示す表示位置画像Ｇ４とを備える。また、スイッチＳＷ１を操作すると、作業機の部分画像ＧＢ、上部旋回体３の後部領域の部分画像ＧＣの表示、非表示を切り替えることができる。一例であるが、スイッチＳＷ１を操作することによって、（１）作業機の部分画像ＧＢおよび上部旋回体の後部領域の部分画像ＧＣが共に表示状態、（２）上部旋回体の後部領域の部分画像ＧＣのみ非表示状態、（３）作業機の部分画像ＧＢのみ非表示状態、（４）作業機の部分画像ＧＢおよび上部旋回体の後部領域の部分画像ＧＣが共に非表示状態、をサイクリックに切り替えることができる。
俯瞰画像Ｇ２は、俯瞰画像生成部７２で生成された俯瞰画像に、油圧ショベル１の上方視点画像ＧＡを重畳させることにより構成される。
俯瞰画像Ｇ２は、俯瞰画像生成部７２で生成された俯瞰画像に、油圧ショベル１の上方視点画像ＧＡを重畳させることにより構成される。
【0043】
単カメラ画像Ｇ３は、カメラ６１～６７のいずれかで撮像された画像を表示する。単カメラ画像Ｇ３の角隅には、スイッチＳＷ２が重畳表示され、作業者がスイッチＳＷ２に触れると、俯瞰画像Ｇ２が縮小し、単カメラ画像Ｇ３が拡大表示される。
表示位置画像Ｇ４は、単カメラ画像Ｇ３に表示されている画像がどこのカメラ６１～６７であるかを示す画像であり、中央部の四角形が油圧ショベルを表しており単カメラ画像Ｇ３に表示されている画像のカメラ６１～６７の位置を色つきで表示する。これにより、作業者は、現在どこのカメラ６１～６７の画像が表示されているかを認識することができる。
表示位置画像Ｇ４は、単カメラ画像Ｇ３に表示されている画像がどこのカメラ６１～６７であるかを示す画像であり、中央部の四角形が油圧ショベルを表しており単カメラ画像Ｇ３に表示されている画像のカメラ６１～６７の位置を色つきで表示する。これにより、作業者は、現在どこのカメラ６１～６７の画像が表示されているかを認識することができる。
【0044】
［４］実施形態の作用及び効果
次に、本実施形態の作用を、図１４に示されるフローチャートに基づいて説明する。
まず、俯瞰画像生成部７２は、カメラ６１～６７によって取り込まれた画像データに基づいて、上述したような手順により俯瞰画像Ｇ２を生成する（ステップＳ１）。
次に、作業機表示処理部７４は、タッチパネルディスプレイ６０上での俯瞰画像Ｇ２の表示中、作業機４が操作されたか、障害物が検知されたか、タッチパネルディスプレイ６０のスイッチＳＷ１が操作されたか否か等を監視し、非表示処理を実施すべきか判定する（ステップＳ２）。
非表示処理が必要ないと判定された場合は、作業機表示処理部７４は、図８が示すような作業機械および作業機全体を表示する上方視点画像ＧＡを呼出し、画像重畳部７３に当該画像を送る（ステップＳ３）。
次に、本実施形態の作用を、図１４に示されるフローチャートに基づいて説明する。
まず、俯瞰画像生成部７２は、カメラ６１～６７によって取り込まれた画像データに基づいて、上述したような手順により俯瞰画像Ｇ２を生成する（ステップＳ１）。
次に、作業機表示処理部７４は、タッチパネルディスプレイ６０上での俯瞰画像Ｇ２の表示中、作業機４が操作されたか、障害物が検知されたか、タッチパネルディスプレイ６０のスイッチＳＷ１が操作されたか否か等を監視し、非表示処理を実施すべきか判定する（ステップＳ２）。
非表示処理が必要ないと判定された場合は、作業機表示処理部７４は、図８が示すような作業機械および作業機全体を表示する上方視点画像ＧＡを呼出し、画像重畳部７３に当該画像を送る（ステップＳ３）。
【0045】
一方、レバー操作判定部７５により作業機４が操作されたか、レーダー状態判定部７６により障害物が検知されたか、パネル操作判定部７７によりタッチパネルディスプレイ６０のスイッチＳＷ１の操作が検知されたかのいずれかで、非表示処理が必要と判定されたら、作業機表示処理部７４は、上方視点画像ＧＡのうち、作業機の部分画像ＧＢや上部旋回体３の後部領域の部分画像ＧＣの非表示の上方視点画像ＧＡを呼出し、画像重畳部７３に当該画像を送る（ステップＳ４）。
次に、画像重畳部７３は、作業機表示処理部７４で生成された俯瞰画像に上方視点画像ＧＡを重畳させる（ステップＳ５）。
そして、俯瞰画像生成部７２は、上方視点画像ＧＡが重畳された画像を、タッチパネルディスプレイ６０上に俯瞰画像Ｇ２として表示させる（ステップＳ６）。例えば、作業機部分及び上部旋回体３の後部領域部分を非表示処理した場合、図１５に示されるように、作業機４の部分画像ＧＢ、及び上部旋回体３の後部領域の部分画像ＧＣが非表示となった油圧ショベル１の上方視点画像ＧＤを、俯瞰画像生成部７２で生成された俯瞰画像Ｇ２に重畳させ、タッチパネルディスプレイ６０上に表示させている。図１５では、作業機４の部分画像ＧＢ、及び上部旋回体の後部領域の部分画像ＧＣが共に非表示となった状態を示しているが、作業機４の部分画像ＧＢのみが非表示となった状態、もしくは上部旋回体の後部領域の部分画像ＧＣのみが非表示となった状態も表示させることができる。
また、図１５に記載されているように、油圧ショベル１の本体部分の外縁を示す外縁線ＧＥや、作業機部分の外縁を示す外縁線ＧＦを俯瞰画像Ｇ２上に表示するようにしてもよい。作業機４の部分画像ＧＢや上部旋回体の後部領域が非表示となっていることから上部旋回体の向きが判別しにくくなっていたとしても、このような外縁線を表示することにより、上部旋回体の向きと俯瞰画像の位置関係が判別しやすくなる。
次に、画像重畳部７３は、作業機表示処理部７４で生成された俯瞰画像に上方視点画像ＧＡを重畳させる（ステップＳ５）。
そして、俯瞰画像生成部７２は、上方視点画像ＧＡが重畳された画像を、タッチパネルディスプレイ６０上に俯瞰画像Ｇ２として表示させる（ステップＳ６）。例えば、作業機部分及び上部旋回体３の後部領域部分を非表示処理した場合、図１５に示されるように、作業機４の部分画像ＧＢ、及び上部旋回体３の後部領域の部分画像ＧＣが非表示となった油圧ショベル１の上方視点画像ＧＤを、俯瞰画像生成部７２で生成された俯瞰画像Ｇ２に重畳させ、タッチパネルディスプレイ６０上に表示させている。図１５では、作業機４の部分画像ＧＢ、及び上部旋回体の後部領域の部分画像ＧＣが共に非表示となった状態を示しているが、作業機４の部分画像ＧＢのみが非表示となった状態、もしくは上部旋回体の後部領域の部分画像ＧＣのみが非表示となった状態も表示させることができる。
また、図１５に記載されているように、油圧ショベル１の本体部分の外縁を示す外縁線ＧＥや、作業機部分の外縁を示す外縁線ＧＦを俯瞰画像Ｇ２上に表示するようにしてもよい。作業機４の部分画像ＧＢや上部旋回体の後部領域が非表示となっていることから上部旋回体の向きが判別しにくくなっていたとしても、このような外縁線を表示することにより、上部旋回体の向きと俯瞰画像の位置関係が判別しやすくなる。
【0046】
このような本実施形態によれば、以下のような効果がある。
作業機表示処理部７４を備えていることにより、上方視点画像ＧＡの作業機４の部分画像ＧＢや上部旋回体３の後部領域の部分画像ＧＣを非表示とすることができるので、作業機４の下方や上部旋回体３の後部領域の下方を俯瞰画像Ｇ２上に表示させることができ、作業者が作業機４の下方や上部旋回体３の後部領域の下方の障害物等を容易に判別することができる。
また、作業機表示処理部７４を機能させないことにより、俯瞰画像Ｇ２上に作業機４や上部旋回体３の後部領域を表示させることができるため、作業者が作業機４の作業方向を容易に判別することができる。
レバー操作判定部７５を備えていることにより、作業者が操作レバー５６、５７を操作して作業機４を操作したときに、上方視点画像ＧＡの作業機４の少なくとも非表示とすることができるので、作業機４の下方の状態を確認しながら、安全に作業機４を操作することができる。レーダー状態判定部７６を備えていることにより、障害物が接近している場合であっても、その近傍の作業機や作業機械本体の一部領域を非表示とすることができるので、確実に障害物を発見することができる。
作業機表示処理部７４を備えていることにより、上方視点画像ＧＡの作業機４の部分画像ＧＢや上部旋回体３の後部領域の部分画像ＧＣを非表示とすることができるので、作業機４の下方や上部旋回体３の後部領域の下方を俯瞰画像Ｇ２上に表示させることができ、作業者が作業機４の下方や上部旋回体３の後部領域の下方の障害物等を容易に判別することができる。
また、作業機表示処理部７４を機能させないことにより、俯瞰画像Ｇ２上に作業機４や上部旋回体３の後部領域を表示させることができるため、作業者が作業機４の作業方向を容易に判別することができる。
レバー操作判定部７５を備えていることにより、作業者が操作レバー５６、５７を操作して作業機４を操作したときに、上方視点画像ＧＡの作業機４の少なくとも非表示とすることができるので、作業機４の下方の状態を確認しながら、安全に作業機４を操作することができる。レーダー状態判定部７６を備えていることにより、障害物が接近している場合であっても、その近傍の作業機や作業機械本体の一部領域を非表示とすることができるので、確実に障害物を発見することができる。
【0047】
［５］実施形態の変形
尚、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、モニター５９とは別に、表示手段としてタッチパネルディスプレイ６０を設けていたが、本発明はこれに限られず、モニター５９上に俯瞰画像Ｇ２を表示するように構成してもよい。また、タッチパネルディスプレイ６０の代わりにタッチセンサを内蔵しない通常のディスプレイを用いてもよい。
前記実施形態では、タッチパネルディスプレイ６０上に俯瞰画像Ｇ２と、単カメラ画像Ｇ３を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像Ｇ２のみをタッチパネルディスプレイ６０上に表示するように構成してもよい。
尚、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記実施形態では、モニター５９とは別に、表示手段としてタッチパネルディスプレイ６０を設けていたが、本発明はこれに限られず、モニター５９上に俯瞰画像Ｇ２を表示するように構成してもよい。また、タッチパネルディスプレイ６０の代わりにタッチセンサを内蔵しない通常のディスプレイを用いてもよい。
前記実施形態では、タッチパネルディスプレイ６０上に俯瞰画像Ｇ２と、単カメラ画像Ｇ３を同時表示させるように構成していたが、本発明はこれに限られず、俯瞰画像Ｇ２のみをタッチパネルディスプレイ６０上に表示するように構成してもよい。
【0048】
前記実施形態では、上部旋回体３の外周にカメラ６１～６７を７台設けていたが、これよりも少ないカメラの台数で周辺監視装置を構成してもよく、さらにはこれよりも多くのカメラの台数で周辺監視装置を構成してもよい。
前記実施形態では、周辺監視装置６は、周辺監視レーダー６８と、カメラ６１～６７が協働するように構成していたが、これに限らず、カメラ６１～６７単独で周辺監視装置を構成してもよい。
また、前記実施形態では、作業機４以外に非表示にする領域として、上部旋回体３の後部領域を例示したが、作業機械の本体における上部旋回体３の後部領域以外の領域、もしくは油圧ショベル１の本体部分の全領域を非表示や透過表示させてもよい。
また、前記実施形態では、旋回動作をレバーの操作信号により判定するよう構成していたが、それ以外の方法、例えば、旋回動作に伴う油圧の変化を検知すること等により判定するよう構成してもよい。
また、前記実施形態では、コントローラ７１にはＣＡＮを介してメカニカルコントローラ３５からのセンサ信号等が入力されていたが、それ以外の手段でセンサ信号を入力してもよい。
前記実施形態では、油圧ショベル１に本発明を適用していたが、これに限らず、ホイールローダーや、ブルドーザー等その他の作業機械に本発明を適用してもよい。
前記実施形態では、周辺監視装置６は、周辺監視レーダー６８と、カメラ６１～６７が協働するように構成していたが、これに限らず、カメラ６１～６７単独で周辺監視装置を構成してもよい。
また、前記実施形態では、作業機４以外に非表示にする領域として、上部旋回体３の後部領域を例示したが、作業機械の本体における上部旋回体３の後部領域以外の領域、もしくは油圧ショベル１の本体部分の全領域を非表示や透過表示させてもよい。
また、前記実施形態では、旋回動作をレバーの操作信号により判定するよう構成していたが、それ以外の方法、例えば、旋回動作に伴う油圧の変化を検知すること等により判定するよう構成してもよい。
また、前記実施形態では、コントローラ７１にはＣＡＮを介してメカニカルコントローラ３５からのセンサ信号等が入力されていたが、それ以外の手段でセンサ信号を入力してもよい。
前記実施形態では、油圧ショベル１に本発明を適用していたが、これに限らず、ホイールローダーや、ブルドーザー等その他の作業機械に本発明を適用してもよい。
【0049】
また、前記実施形態では、油圧ショベル１のキャブ５にタッチパネルディスプレイ６０を設けた構成で説明したが、本発明はこれに限られない。
その他の場所、例えば、図１６に示されるように、油圧ショベル１の遠隔操作を行うた遠隔操作席１００や、鉱山内にある複数の作業機械を全体的に管理・統制する管制室にタッチパネルディスプレイ６０を設け、このタッチパネルディスプレイ６０上に周辺監視装置の画像を表示させるようにしてもよい。
さらに、図１６に記載された遠隔操作用モニター１０１を、タッチパネルディスプレイ６０のように俯瞰画像を表示させる表示手段として用いてもよい。
さらに、図１７に示されるように、タッチパネルディスプレイが携帯端末１０２に設けられ、作業者Ｐが、携帯端末１０２に表示された俯瞰画像を見られる構成であってもよい。
ここで、遠隔操作席１００や管制室においてタッチパネルディスプレイ６０に俯瞰画像を表示する場合や、携帯端末１０２にタッチパネルディスプレイを設ける場合には、油圧ショベル１と、遠隔操作席１００・管制室・携帯端末１０２等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
その他、本発明の目的を達成できる範囲で他の構成としてもよい。
その他の場所、例えば、図１６に示されるように、油圧ショベル１の遠隔操作を行うた遠隔操作席１００や、鉱山内にある複数の作業機械を全体的に管理・統制する管制室にタッチパネルディスプレイ６０を設け、このタッチパネルディスプレイ６０上に周辺監視装置の画像を表示させるようにしてもよい。
さらに、図１６に記載された遠隔操作用モニター１０１を、タッチパネルディスプレイ６０のように俯瞰画像を表示させる表示手段として用いてもよい。
さらに、図１７に示されるように、タッチパネルディスプレイが携帯端末１０２に設けられ、作業者Ｐが、携帯端末１０２に表示された俯瞰画像を見られる構成であってもよい。
ここで、遠隔操作席１００や管制室においてタッチパネルディスプレイ６０に俯瞰画像を表示する場合や、携帯端末１０２にタッチパネルディスプレイを設ける場合には、油圧ショベル１と、遠隔操作席１００・管制室・携帯端末１０２等のそれぞれに何らかの通信手段を設け、俯瞰画像等の情報の送受信を行う構成であってもよい。
その他、本発明の目的を達成できる範囲で他の構成としてもよい。
【符号の説明】
【0050】
１…油圧ショベル、２…下部走行体、２１…鋼製フレーム、２２…走行装置、２３…駆動輪、２４…遊動輪、２５…履帯、３…上部旋回体、３０…パワーコンテナ、３１…カウンターウェイト、３２…昇降ラダー、３３…ハンドレール、３４…キャットウォーク、３５…メカニカルコントローラ、４…作業機、４１…ブーム、４２…アーム、４３…バケット、４４…ブームシリンダ、４５…アームシリンダ、４６…バケットシリンダ、５…キャブ、５１…ガラス窓、５２…座席シート、５３…走行レバー、５５…操作スイッチパネル、５６…左操作レバー、５７…右操作レバー、５８…ロックレバー、５９…モニター、６…周辺監視装置、６０…タッチパネルディスプレイ、６１…左前面カメラ、６１Ａ…仮想視点、６２…右前面カメラ、６３…前部左側面カメラ、６４…後部左側面カメラ、６５…右側面カメラ、６６…後方カメラ、６７…下部カメラ、６８…周辺監視レーダー、６９…レーダーアラーム、７０…エラーアラーム、７１…コントローラ、７２…俯瞰画像生成部、７３…画像重畳部、７４…作業機表示処理部、７５…レバー操作判定部、７６…レーダー状態判定部、７７…パネル操作判定部、１００…遠隔操作席、１０１…遠隔操作用モニター、１０２…携帯端末、Ｇ１…表示画像、Ｇ２…俯瞰画像、Ｇ３…単カメラ画像、Ｇ４…表示位置画像、ＧＡ…上方視点画像、ＧＢ…作業機の部分画像、ＧＣ…上部旋回体の後部領域の部分画像、ＧＤ…上方視点画像、ＧＥ…作業機械本体の外縁線、ＧＦ…作業機の外縁線、ＧＬ…仮想投影面、Ｌ１、Ｌ２…寸法、Ｏ…旋回中心、ＯＢ…対象、ＳＷ１…スイッチ、ＳＷ２…スイッチ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】