(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
次に、添付の図面を参照しながら、本発明の限定的でない例示の実施形態について説明する。
【0010】
図1は、本発明のある実施形態であるショベルの支援装置を適用したショベルを示している。ショベルの下部走行体1には、旋回機構2を介して上部旋回体3が搭載される。上部旋回体3にはブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。
【0011】
ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
【0012】
また、ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、アーム5の先端部分にはケット角度センサS3が取り付けられている。更に、旋回機構2と上部旋回体3の対向位置には、旋回角度センサS4が取り付けられている。
【0013】
ブーム角度センサS1は、アタッチメント位置姿勢検出センサの1つであり、ブーム4の回動角度を検出する。本実施形態ではブーム角度センサS1としてロータリエンコーダを用いており、上部旋回体3とブーム4とを連結するブームフートピン回りのブーム4の回動角度を検出する。
【0014】
アーム角度センサS2は、アタッチメント位置姿勢検出センサの1つであり、アーム5の回動角度を検出する。本実施形態ではアーム角度センサS2としてロータリエンコーダを用いており、ブーム4とアーム5とを連結する連結ピン回りのアーム5の回動角度を検出する。
【0015】
バケット角度センサS3は、アタッチメント位置姿勢検出センサの1つであり、バケット6の回動角度を検出する。本実施形態ではバケット角度センサS3として、対応する油圧シリンダのストローク量を検出するストロークセンサを用いており、バケット6の水平面に対する傾斜角度を検出する。
【0016】
なお、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、上記したストロークセンサの他にも、加速度センサ、可変抵抗器を利用したポテンショメータ、水平面に対する傾斜を検出する加速度センサ等の種々のセンサを用いることが可能である。
【0017】
旋回角度センサS4は、下部走行体1に対する旋回機構2の旋回の旋回角度情報を取得する装置である。本実施形態では旋回角度センサS4として一対の測距センサを用いており、下部走行体1に対する上部旋回体3の相対的な旋回位置を検出する。
【0018】
上部旋回体3は、運転室10、エンジン11、全地球航法衛星システム18等が搭載されている。また、運転室10内には、コントローラ30及び眼鏡状態検出センサS5が搭載される。
【0019】
エンジン11は、ショベルの駆動源である。本実施形態では、内燃機関としてディーゼルエンジンを用いている。このエンジン11の出力軸は、メインポンプ14及びパイロットポンプ15の入力軸に接続されている。
【0020】
全地球航法衛星システム18(Global Navigation Satellite Systems:以下、GNSSという)は、上部旋回体3の上部位置に搭載されている。上部旋回体3には、図示しないGNSSアンテナが設けられている。GNSS18は、複数の人工衛星から送信される電波をGNSSアンテナで検出し、検出信号をコントローラ30に送信する。
【0021】
コントローラ30は、ショベルの駆動制御を行う制御装置である。本実施形態では、コントローラ30は、CPU及びメモリ30aを含む演算処理装置で構成される。そして、コントローラ30の各種機能は、CPUがメモリ30aに格納されたプログラムを実行することで実現される。
【0022】
ショベルの支援装置は、操作者が頭部に装着する頭部搭載型表示装置として構成される。本実施形態では、頭部搭載型表示装置として透過型スクリーンが取り付けられた眼鏡D1(以下、透過型スクリーン眼鏡D1という)を用いている。
【0023】
眼鏡状態検出センサS5は、透過型スクリーン眼鏡D1の位置を検出する眼鏡位置検出センサS5−1として機能すると共に、透過型スクリーン眼鏡D1の向きを検出する眼鏡向き検出センサとしても機能する(
図6参照)。
【0024】
本実施形態では、眼鏡状態検出センサS5としてCCDカメラを用いている。この眼鏡状態検出センサS5は運転室10内を撮像し、画像情報をコントローラ30に対して出力する。
【0025】
コントローラ30は、眼鏡状態検出センサS5が出力する画像情報に基づき、透過型スクリーン眼鏡D1上の少なくとも2つの特徴点の位置を導き出し、これに基づき透過型スクリーン眼鏡D1の位置及び姿勢を導き出す。
【0026】
なお、眼鏡状態検出センサS5は、赤外線カメラであってもよい。この場合、コントローラ30は、眼鏡状態検出センサS5が出力する画像情報に基づいて操作者の両目の瞳孔の位置を検出して操作者の頭部の位置及び姿勢を導き出す。
【0027】
図2は、
図1のショベルの駆動系の構成例を示すブロック図である。
図2において、機械的動力系は二重線、高圧油圧ラインは太実線、パイロットラインは破線、電気駆動・制御系は細実線でそれぞれ示している。
【0028】
ショベルの駆動系は、エンジン11、レギュレータ13、メインポンプ14、パイロットポンプ15、コントロールバルブ17、操作装置26、圧力センサ29a,29b、及びコントローラ30を有している。
【0029】
このエンジン11は、エンジンコントロールユニット74(以下、ECUという)により駆動制御される。
【0030】
メインポンプ14は、高圧油圧ライン16を介して作動油をコントロールバルブ17に供給する。このメインポンプ14としては、斜板式可変容量型油圧ポンプを用いることができる。
【0031】
レギュレータ13は、メインポンプ14の吐出量を制御するための装置である。このレギュレータ13は、メインポンプ14の吐出圧、又はコントローラ30からの制御信号等に応じてメインポンプ14の斜板傾転角を調節する。これによりメインポンプ14は、レギュレータ13により吐出量が制御される。
【0032】
パイロットポンプ15は、パイロットライン25を介して各種油圧制御機器に作動油を供給する。パイロットポンプ15は、例えば固定容量型油圧ポンプを用いることができる。
【0033】
コントロールバルブ17は、ショベルにおける油圧システムを制御する油圧制御装置である。このコントロールバルブ17は、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左側走行用油圧モータ1A、右側走行用油圧モータ1B、旋回用油圧モータ2Aの内の1又は複数のものに対し、メインポンプ14から吐出される作動油を選択的に供給する。
【0034】
操作装置26は、各種シリンダ7〜9、走行用油圧モータ1A,1B、及び旋回用油圧モータ2Aを含む各種操作対象の操作に用いる装置である。
【0035】
本実施形態では、操作装置26は、ブーム4の上げ下げ、アーム5の開閉、バケット6の開閉、上部旋回体3の旋回を操作するための左右一対のレバーと、下部走行体1の走行を操作するペダルとを含む。この操作装置26は、油圧ライン27を介してコントロールバルブ17に接続されている。
【0036】
また操作装置26は、油圧ライン28を介して圧力センサ29a,29bに接続されている。圧力センサ29a,29bは、操作装置26の操作内容を圧力の形で検出するセンサであり、検出値をコントローラ30に対して出力する。
【0037】
なお、操作装置26の操作内容の検出は、各種操作レバーの傾きを検出する傾きセンサ等、圧力センサ以外の他のセンサを用いて行う構成としてもよい。
【0038】
コントローラ30は、ショベルを制御するための制御装置である。本実施形態では、コントローラ30はCPU、RAM、ROM等を備えたコンピュータで構成される。また、コントローラ30は、各種機能要素に対応するプログラムをROMから読み出してRAMにロードし、各種機能要素に対応する処理をCPUに実行させる。
【0039】
また、コントローラ30は、圧力センサ29a,29bの出力に基づいて操作装置26のそれぞれの操作内容(例えば、レバー操作の有無、レバー操作方向、レバー操作量等である。)を検出する。
【0040】
更にコントローラ30は、各種センサS1〜S5及びGNSS18から供給される信号等に基づき、ショベルの運転支援処理を行う。なお、このショベルの運転支援処理については、説明の便宜上後述するものとする。
【0041】
図3は、
図1のショベルに搭載される電気系の構成例を示す図である。
【0042】
前記のようにエンジン11は、ECU74により制御される。ECU74からは、エンジン11の状態を示す各種データがコントローラ30に常時送信される。コントローラ30は、一時記憶部(メモリ)30aにこのデータを蓄積する。
【0043】
また、コントローラ30には以下のように各種のデータが供給される。
【0044】
水温センサ11cからは、冷却水温のデータがコントローラ30に供給される。メインポンプ14のレギュレータ13からは、斜板角度を示すデータがコントローラ30に供給される。吐出圧力センサ14bからは、メインポンプ14の吐出圧力を示すデータがコントローラ30に供給される。
【0045】
また、メインポンプ14が吸入する作動油が貯蔵されたタンクとメインポンプ14との間の管路14−1には、油温センサ14cが設けられている。この油温センサ14cからは、管路14−1を流れる作動油の温度データがコントローラ30に供給される。
【0046】
還元剤タンク50に設けられた尿素水残量センサ50aからは、還元剤収容量を示すデータがコントローラ30に供給される。燃料タンク55に設けられた燃料残量センサ55aからは、燃料の残量状態を示すデータがコントローラ30に供給される。
【0047】
操作装置26は圧力センサ29a、29bを有しており、操作レバー26A〜26Cを操作した際にコントロールバルブ17に送られるパイロット圧は圧力センサ29a、29bで検出される。この圧力センサ29a、29bで検出されたパイロット圧を示すデータもコントローラ30に供給される。
【0048】
また本実施形態に係るショベルは、運転室10内にエンジン回転数調整ダイヤル75を有している。エンジン回転数調整ダイヤル75は、エンジンの回転数を調整するためのダイヤルであり、例えばエンジン回転数を4段階で切り換えできるよう構成されている。
【0049】
具体的には、エンジン回転数調整ダイヤル75はSPモード、Hモード、Aモード、及びアイドリングモードの4段階でエンジン回転数の切り換えができるよう構成されている。このエンジン回転数調整ダイヤル75からは、エンジン回転数の設定状態を示すデータがコントローラ30に常時供給される。
【0050】
なお、SPモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Hモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、二番目に高いエンジン回転数を利用する。Aモードは、燃費を優先させながら低騒音でショベルを稼働させたい場合に選択される回転数モードであり、三番目に高いエンジン回転数を利用する。アイドリングモードは、エンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。そして、エンジン11は、エンジン回転数調整ダイヤル75で設定された回転数モードのエンジン回転数で一定に回転数制御される。
【0051】
更にGNSS18からは、前記のようにGNSSアンテナで検出された検出信号がコントローラ30に供給される。
【0052】
次に、
図4を参照し、操作者の目の位置を基準とする第1座標系(以下の説明において、この座標を操作者視点座標ということがある)と上部旋回体3上の一点を基準とする第2座標系(以下の説明において、この座標をショベル中心座標ということがある)との関係について説明する。
図4は、操作者視点座標とショベル中心座標との関係を示す図である。
【0053】
本実施形態では、第1座標系である操作者視点座標は、透過型スクリーン眼鏡D1を着用する操作者の目の位置R1を原点とする3次元直交座標系である。この目の位置R1を原点とする3次元直交座標系は、眼鏡の前後方向に伸びるU軸、眼鏡の幅方向に伸びるV軸、及び、U軸とV軸に直交するW軸を有する。
【0054】
なお、片眼(左目)式眼鏡ディスプレイの場合、操作者の目の位置R1としては、例えば操作者の左目の位置が採用される。また、両眼式眼鏡ディスプレイの場合、操作者の目の位置R1としては、例えば、操作者の左右の目の中間点が採用される。
【0055】
また、第2座標系であるショベル中心座標は、上部旋回体3上の点R2を原点とする3次元直交座標系であり、掘削アタッチメントの前後方向に伸びるX軸、掘削アタッチメントの幅方向に伸びるY軸、及び、X軸とY軸に直交するZ軸を有する。なお
図4では、点R2は旋回軸上の点であり、XY平面は水平面であり、Z軸は鉛直軸である。
【0056】
本実施形態では、ブーム角度センサS1は、ブーム角度θ1をコントローラ30に対して出力する。ブーム角度θ1は、XZ平面において、ブームフートピン位置P1とアーム連結ピン位置P2とを結ぶ線分のX軸(水平線)に対する角度である。
【0057】
また、アーム角度センサS2は、アーム角度θ2をコントローラ30に対して出力する。アーム角度θ2は、XZ平面において、アーム連結ピン位置P2とバケット連結ピン位置P3とを結ぶ線分のX軸(水平線)に対する角度である。
【0058】
また、バケット角度センサS3は、バケット角度θ3をコントローラ30に対して出力する。バケット角度θ3は、XZ平面において、バケット連結ピン位置P3とバケット爪先位置P4とを結ぶ線分のX軸(水平線)に対する角度である。
【0059】
旋回角度センサS4は、下部走行体1に対する旋回機構2の旋回の旋回角度情報を取得する装置である。本実施形態では旋回角度センサS4として一対の測距センサを用いており、下部走行体1に対する上部旋回体3の相対的な旋回位置を検出する。
【0060】
また、眼鏡状態検出センサS5は、運転室10内を撮像することで取得した画像情報をコントローラ30に対して出力する。コントローラ30は、眼鏡状態検出センサS5が出力する画像情報に各種画像処理を施し、操作者の目の位置R1(即ち、操作者視点座標の原点となる位置)のショベル中心座標系における座標を導き出す。
【0061】
一般に操作者視点座標の原点R1とショベル中心座標の原点R2は、
図4に示すように異なっている。しかしながら、上記のように操作者視点座標の原点R1のショベル中心座標系における座標が求められることにより、操作者視点座標上の座標点(U,V,W)と、これに対応するショベル中心座標上の座標点(X,Y,Z)との座標変換を行うことが可能になる。
【0062】
この操作者視点座標とショベル中心座標との間の座標変換について、透過型スクリーン眼鏡D1に操作対象位置を表示する場合を例に挙げて説明する。
【0063】
ここで操作対象位置とは、例えばバケット爪先位置或いはバケット背面位置をいう。バケット6で掘削作業を行う場合には、操作者はバケット6のバケット爪先位置を基準に作業を行う。よって掘削作業を行う場合には、バケット爪先位置が操作対象位置となる。
【0064】
また、バケット6の背面を用いて均し作業を行う場合には、操作者はバケット6のバケット背面位置を基準に作業を行う。よって掘削作業を行う場合には、バケット背面位置が操作対象位置となる。以下の説明では、バケット爪先位置を操作対象位置とした例について説明する。
【0065】
いま、バケット爪先位置P4のショベル中心座標における座標を(X4,Y4,Z4)とする。このバケット爪先位置P4の座標(X4,Y4,Z4)は、上部旋回体3の旋回やブーム4,アーム5,バケット6の駆動により変動する。しかしながら、バケット爪先位置P4のショベル中心座標における座標(X4,Y4,Z4)は、各センサS1〜S4の出力に基づき演算することができる。
【0066】
このようにしてショベル中心座標におけるバケット爪先位置P4の座標(X4,Y4,Z4)が求められると、これを透過型スクリーン眼鏡D1に表示させるため、ショベル中心座標における座標(X4,Y4,Z4)を操作者視点座標の座標(U4,V4,W4)に座標変換する処理を行う。
【0067】
しかしながら、操作者視点座標の原点R1及び各直交座標軸U,V,W軸は、ショベル中心座標の原点R2及び各直交座標軸X,Y,Z軸と常に一致しているものではない。
【0068】
即ち、操作者視点座標は透過型スクリーン眼鏡D1を着用する操作者の目の位置R1を原点するものであるため、例えば操作者が向きを変えること等により操作者視点座標とショベル中心座標との間にずれが発生する。よって、ショベル中心座標と操作者視点座標との間で座標変換を行う場合には、このずれを座標変換に反映させる必要がある。
【0069】
操作者が向きを変えた場合、操作者の目の向きも変化する。つまり、操作者がショベルの前方を向いている場合には、U軸はX軸と同じ向きをしているが、操作者が向きを変えると、U軸はX軸とは異なる向きになる。ここで、操作者が向きを変えることにより発生するショベル中心座標と操作者視点座標の位置と向きのずれは、眼鏡状態検出センサS5により検出することができる。
【0070】
いま、ショベル中心座標と操作者視点座標が一致していた時を想定し、この時のショベル中心座標における操作者視点座標の原点R1の座標を(X
R1,Y
R1,Z
R1)とする。そして、操作者が向きを変えることにより、原点R1のショベル中心座標における座標が(X
R1+ΔX,Y
R1+ΔY,Z
R1+ΔZ)になったとする。この場合、原点R1のX軸方向のずれ量は+ΔXであり、Y軸方向のずれ量は+ΔYであり、Z軸方向のずれ量は+ΔZである。
【0071】
よって、操作者視点座標におけるバケット爪先位置P4も同様に、操作者が中心位置を変える前よりも、同じ量だけ変化させる必要がある。このため、この各位置のずれ量+ΔX,+ΔY,+ΔZを用い、中心位置を変える前の操作者視点座標におけるバケット爪先位置P4の座標(U4,V4,W4)は、中心位置を変えた後には、操作者視点座標における(U4−ΔX,U4―ΔY,U4―ΔZ)の座標点へ変更され、新たなバケット爪先位置P4'として表示装置に表示されることになる。
【0072】
そして、このようにして求められたずれを反映した操作者視点座標におけるバケット爪先位置P4'の座標(U4',V4',W4')に基づき、透過型スクリーン眼鏡D1にバケット爪先位置P4の表示を行う。
【0073】
これにより、操作者がショベルの向きとは異なる方向を向いても、透過型スクリーン眼鏡D1における画面は、操作者の向きに対応した表示にすることができる。
【0074】
図5は、透過型スクリーン眼鏡D1を拡大して示している。透過型スクリーン眼鏡D1は、運転室10内で操作者Aが着用するショベルの支援装置としての表示装置である。この透過型スクリーン眼鏡D1は、操作者Aが着用するヘルメット37に取り付けられている。よって、操作者はヘルメット37を着用することにより、透過型スクリーン眼鏡D1も同時に装着することができる。
【0075】
一般にショベルの操作者は、ヘルメット37の着用が義務付けられている。よって、着用が義務付けられたヘルメット37に透過型スクリーン眼鏡D1を設けることにより、操作者はヘルメット37の着用と透過型スクリーン眼鏡D1の着用を同時に行うことができ、操作者の便宜を図ることができる。
【0076】
透過型スクリーン眼鏡D1は、透過型スクリーン装置が設けられている。この透過型スクリーン装置としては、透過型の液晶ディスプレイ装置を用いることができる。この透過型スクリーン眼鏡D1は、コントローラ30からの信号を無線で受信し、各種情報を透過型スクリーン装置上に表示する。
【0077】
なお、透過型スクリーン眼鏡D1は、非透過型ディスプレイ装置であってもよい。この場合には、透過型スクリーン眼鏡D1に前方を撮像するカメラを搭載し、そのカメラが撮像した画像を非透過型ディスプレイ装置に表示させる必要がある。
【0078】
また透過型スクリーン眼鏡D1は、操作者Aの片側の眼のみに透過型スクリーン装置が配置される片眼式のものであってもよく、また操作者Aの両側の眼に透過型スクリーン装置が配置される両眼式のものであってもよい。
【0079】
また透過型スクリーン眼鏡D1は、ヘルメット37と別体とされた構成であってもよく、更に透過型スクリーン眼鏡D1はコントローラ30に有線接続された構成であってもよい。
【0080】
次に、
図6を参照し、コントローラ30の構成例について説明する。なお、
図6はコントローラ30の構成例を示すブロック図である。
【0081】
本実施形態では、コントローラ30は、各種角度センサS1〜S4、眼鏡状態検出センサS5、GNSS18等の出力を受け、透過型スクリーン眼鏡D1に対してバケット6の奥行認識表示処理、実際の作業状態と作業目標範囲との関係を示す表示処理等を行う。
【0082】
コントローラ30は、設計面情報格納部31、地図情報格納部32、ショベルの位置座標更新部33、ショベル中心座標演算部34、及び操作者視点座標演算部35を含んでいる。
【0083】
設計面情報格納部31は、ショベルにより作業を行う作業対象における目標形状を示す設計面が格納されている。この設計面には、丁張り(トンボ)等の作業に必要な各種情報が含まれることとしてもよい。
【0084】
また地図情報格納部32は、ショベルにより作業を行う作業対象を含む地図が格納されている。この設計面情報格納部31及び地図情報格納部32は、コントローラ30に設けられたメモリ30aにより構成される。
【0085】
この設計面情報格納部31及び地図情報格納部32に格納されている設計面情報及び地図情報は、GNSS18が有する座標に対応して入力されている。
【0086】
ショベルの位置座標更新部33は、GNSS18から送られていく検出信号に基づきショベルの現在の位置座標を逐次更新する。ショベルは、作業に伴い作業対象内で移動する。ショベルの位置座標更新部33を設けることにより、ショベルが移動してもショベルの位置を即時に得ることができる。
【0087】
GNSS18から得られるショベルの位置情報は、GNSSアンテナの配設位置における経度、緯度、高度等の情報である。ショベルの位置座標更新部33は、このGNSS18から得られる位置情報に基づき、ショベル中心座標系の原点座標(X
0,Y
0,Z
0)を逐次演算する。よって、ショベル中心座標系の原点座標(X
0,Y
0,Z
0)は逐次更新されるため、ショベル中心座標(X,Y,Z)を操作者視点座標(U,V,W)に変換した際の精度を高めることができる。
【0088】
またショベル中心座標演算部34は、旋回角度センサS4の検出器により、ショベルの向き(X軸)を特定することができる。またショベル中心座標演算部34は、設計面情報格納部31に格納されている設計面情報をショベル中心座標に対応した情報となるよう変換処理を行う。またショベル中心座標演算部34は、地図情報格納部32に格納されている地図情報をショベル中心座標に対応した情報となるよう変換処理を行う。これにより、設計面情報及び地図情報をショベル中心座標系上で表示させることが可能になる。
【0089】
またショベル中心座標演算部34は、ブーム角度センサS1,アーム角度センサS2,及びバケット角度センサS3で検出されたブーム4,アーム5,バケット6の各角度θ1〜θ3が入力される。これによりショベル中心座標演算部34は、バケット6のXZ平面におけるショベル中心座標(X
B,Z
B)を演算する。
【0090】
このようにして、ショベル中心座標演算部34は、ショベル中心座標における設計面情報、地図情報、及び、バケット先端位置を演算し、演算結果を操作者視点座標演算部35へ出力する。
【0091】
操作者視点座標演算部35は、前記のように眼鏡状態検出センサS5で取得した画像情報に基づき操作者の目の位置R1のショベル中心座標系における座標における設計面情報、地図情報、及び、バケット先端位置を演算し、演算結果を透過型スクリーン眼鏡D1(
図6では表示装置D1と示す)へ出力する。
【0092】
このようにして、現在の透過型スクリーン眼鏡D1の状態に応じた、作業目標となる設計面情報、地図情報、及び各種センサS1〜S5から演算されるバケット6の操作対象位置等を透過型スクリーン眼鏡D1に重複して表示することが可能になる。
【0093】
また、ショベル中心座標演算部34は、設計面情報だけでなく、バケット爪先位置P4の軌跡により、バケット6による掘削の都度更新される更新地形情報も算出することができる。その結果、透過型スクリーン眼鏡D1には、設計面情報、バケット6による掘削の都度更新される更新地形情報、及び、バケット爪先位置P4が重複表示できる。
【0094】
次に、
図7A〜
図7Eを参照し、透過型スクリーン眼鏡D1を着用した操作者が作業時に見る光景の一例について説明する。
【0095】
まず、
図7A及び
図7Bに示す光景について説明する。
【0096】
図7Aに示す光景では、透過型スクリーン眼鏡D1に設計面情報格納部31に格納されている設計面情報から作業対象となる地表面上の作業対象領域OAと、作業対象の作業目標となる設計面PAが表示されている。よって操作者は、透過型スクリーン眼鏡D1を透過して見える実際の作業現場の様子と、透過型スクリーン眼鏡D1に表示された作業対象領域OAと設計面PAとを重ね合わせて見ることになる。この透過型スクリーン眼鏡D1に表示される作業対象領域OA及び設計面PAは、実際の運転室10のピラーやレバー等よりも手前に表示される。
【0097】
この作業対象領域OAと設計面PAは、設計面情報格納部31に格納されている設計面情報から求められる。なお
図7A及び
図7Bでは、作業対象領域OAは実線で、また設計面PAは破線で示されている。
【0098】
また本実施形態では、ショベル中心座標演算部34で求められるバケット6の操作者視点座標系における座標(U4,V4,W4)と、地図情報格納部32に格納された地図情報に基づき、透過型スクリーン眼鏡D1にバケット6の先端部から鉛直下方に伸びる鉛直線分LL(図中、一点鎖線で示す)を表示する構成としている。また、透過型スクリーン眼鏡D1の鉛直線分LLと地表(ここでは、作業対象領域OA)が接する位置に、奥行表示M(本実施形態では、▲印)を透過型スクリーン眼鏡D1に表示する構成としている。
【0099】
一方、
図7Bに示す光景では、透過型スクリーン眼鏡D1にバケット6の影BSが表示されている。バケット6の影BSは、バケット6の先端部から鉛直下方の地表(ここでは、作業対象領域OA)の位置に表示されるよう構成されている。
【0100】
また、奥行表示M、影BSは、バケット6の先端部から鉛直下方の設計面(PA)に対応する位置を表示するようにしてもよい。
【0101】
本実施形態では、バケット6の影となる画像データは、予めメモリ30aに格納されている。また、バケット6の影BSの表示位置は、
図7Aの鉛直線分LL及び奥行表示Mと同様に、ショベル中心座標演算部34で求められるバケット6のショベル中心座標系における座標(X
E,Y
E,Z
E)と、地図情報格納部32に格納された地図情報に基づき演算することができる。
【0102】
またバケット6は、作業に伴い移動する。作業に伴いバケット6が奥行方向に移動しても、操作者視点座標演算部35はショベル中心座標演算部34の出力に応じてバケット6の位置を示すショベル中心座標を逐次演算し更新する。よって鉛直線分LL,奥行表示M,及びバケット6の影BSの位置は、バケット6の移動に伴い奥行方向に移動する。
【0103】
また、上部旋回体3が旋回した場合には、操作者が見る光景は移動する。具体的には、
図7Aに示す状態において上部旋回体3が図中右方向に回転すると、相対的に操作者が見ている光景は図中左側に移動することになる。
【0104】
この際、上部旋回体3の旋回角度は旋回角度センサS4により検出されるため、この旋回角度データに基づき作業対象領域OA及び設計面PAの座標は逐次更新される。よって、作業対象領域OA及び設計面PAは、操作者が見ている光景と一体的に左側に移動するよう透過型スクリーン眼鏡D1に表示することができる。
【0105】
図7A及び
図7Bに示す光景が見えることにより、操作者は奥行方(
図4におけるX方向)に対するバケット6の位置を正確に認識することができる。よって、狭所作業や奥行方向に物体(例えば、建設物)がある場合でも、操作者は作業対象位置を継続的に見ながら奥行方向におけるバケット6の位置を正確に把握できる。これにより、奥行方向に物体が存在しても、これにバケット6を衝突させることなく安全かつ確実な作業を行うことが可能になる。
【0106】
次に、
図7Cに示す光景について説明する。
図7Cは、掘削作業を開始する前の状態を示す光景である。
【0107】
図7Cに示される光景においても、
図7Aに示される光景と同様に、透過型スクリーン眼鏡D1には作業対象領域OA、設計面PA、鉛直線分LL、及び奥行表示Mが表示されている。よって操作者は、透過型スクリーン眼鏡D1を透過して見える実際の光景と、透過型スクリーン眼鏡D1に表示された内容を重ね合わせて見ることになる。
【0108】
しかしながら、
図7Aに示す光景では作業対象領域OA及び設計面PAが、その外周位置のみ表示されていたのに対し、
図7に示す光景では作業対象領域OA及び設計面PAが格子状に表示されており、より作業を行いやすい表示となっている。
【0109】
また、
図7Cでは地表面上の作業対象領域OAを実線で表示し、設計面PAを破線で表示した例を示している。しかしながら、透過型スクリーン眼鏡D1がカラーディスプレイであった場合には、作業対象領域OAと設計面PAを色分け表示することも可能である。
【0110】
例えば、作業対象領域OAを緑色で表示し、目標面となる設計面PAを青色で表示することとしてもよい。また、鉛直線分LL及び奥行表示Mは、赤色表示することとしてもよい。
【0111】
なお、作業対象領域OA,設計面PA,鉛直線分LL,及び奥行表示Mの表示色等の表示形態はこれらに限定されるものではない。また、作業対象領域OAの表示は、作業の開始後は、更新地形情報に基づいて、地形の形状の変化を更新地形形状として表示してもよい。この場合、緑色表示の形状が更新される地形形状に対応して変化する。
【0113】
図7Dは、設計面PAで示す位置まで適正に掘削処理が行われた時の光景を示している。この場合、透過型スクリーン眼鏡D1に示される設計面PAの画像と、透過型スクリーン眼鏡D1を透過して見える実際に掘削した作業対象面(以下、掘削面という)の光景は一致している。本実施形態では、設計面PAに対して実際の掘削面(更新地形形状)が許容範囲内に入っている場合、更新地形形状が緑色から青色へ変化する構成としている。
【0114】
ここで、掘削面と設計面PAとが一致しているかどうかの判断は、バケット6の先端位置を演算することにより求めている。
【0115】
具体的には、ブーム4、アーム5、及びバケット6の寸法は既知であり、また
図6に示されるようにブーム角度センサS1,アーム角度センサS2,及びバケット角度センサS3からはブーム4、アーム5、及びバケット6の角度情報が供給される。よって、ショベル中心座標におけるバケット6の先端部の座標(X
B,Y
B,Z
B)は求めることができる。
【0116】
また設計面PAは設計面情報格納部31に設計面情報して格納されており、この設計面情報はショベル中心座標演算部34においてショベル中心座標に変換される。よって、バケット6の先端部の座標(X
B,Y
B,Z
B)と、ショベル中心座標に変換された設計面PA(設計面情報)とを比較することにより、実際に掘削された掘削面(更新地形形状)が設計面PAに対して許容範囲内に入っているかを、作業対象位置を直接見ながら判断することができる。
【0117】
図7Eは、設計面PAで示す位置まで適正に掘削処理が行われなかった時の光景を示している。本実施形態では、図中7Eに太線で示した領域(過掘削領域Gという)が設計面PAに対する許容範囲を超えて掘削を行った領域である。この過掘削領域Gは、透過型スクリーン眼鏡D1に赤色表示されるよう構成されている。つまり、更新地形形状が、赤色で表示される。
【0118】
このように透過型スクリーン眼鏡D1に対し、設計面PAを超えて掘削を行った過掘削領域Gを、適正に掘削処理が行われた領域と過掘削領域Gとを色別して表示することにより、操作者に対して作業状況を分かり易く確実に知らせることができる。
【0119】
次に、
図8A及び
図8Bに示す光景について説明する。
【0120】
図8A、
図8B、及び
図9は、透過型スクリーン眼鏡D1に対して鉛直線分LL,奥行表示M,作業対象領域OA,設計面PAに加え、更にエンジンの稼働情報表示OPDを表示するよう構成したものである。
【0121】
図3を用いて説明したように,コントローラ30にはエンジン11の稼働状態、及びブーム4,アーム5,バケット6等のアタッチメントの稼働状態を示す各種データが供給される。
図8A及び
図8Bに示す実施形態では、コントローラ30に供給されるエンジン11の稼働状態を示す各種データの内、燃料残量データを稼働情報表示OPDとして透過型スクリーン眼鏡D1に表示する構成としている。
【0122】
また
図9に示す実施形態では、アタッチメントの稼働状態を示す各種データの内、各角度検出センサS1〜S3で検出される検出データに基づき演算されるバケット高さデータを、稼働情報表示OPDとして透過型スクリーン眼鏡D1に表示する構成としている。
【0123】
しかしながら、透過型スクリーン眼鏡D1に表示する稼働情報表示OPDは、燃料残量データ及びバケット高さデータに限定されるものではなく、冷却水温データ、作動油温度データ、尿素水残量データ等の他のデータを表示する構成としてもよい。また、データの表示個数も単数でもよく、また複数のデータを表示する構成としてもよい。
【0124】
図8A及び
図8Bに示す実施形態では、透過型スクリーン眼鏡D1に対して鉛直線分LL,奥行表示M,作業対象領域OA,設計面PA等の作業情報に加え、燃料残量データが稼働情報表示OPDとして表示される。よって、操作者は作業位置から視線を離すことなくエンジンの稼働状態(本実施形態では燃料残量データ)を知ることができるため、作業性の向上を図ることができる。
【0125】
図9に示す実施形態では、透過型スクリーン眼鏡D1に対して鉛直線分LL,奥行表示M,作業対象領域OA,設計面PA等の作業情報に加え、バケット高さデータが稼働情報表示OPDとして表示される。
【0126】
この稼働情報表示OPDは、高さを示す目盛がゲージとして表示されており、現在のバケット6の高さが矢印表示(図では、▲で示す)されるよう構成されている。
図9に示す例では、バケット6の高さが、目盛が示す最高位置よりも高い位置に移動しているため、目盛の最高位置に矢印が表示されている。
【0127】
また、高さを示す目盛の内、地表面の高さを示す目盛を他の目盛に対して太く表示した構成としている。作業者は、このバケット6の高さを示す稼働情報表示OPDを見ながら作業を行うことにより、バケット6を用いた掘削等の作業を容易かつ正確に行うことが可能になる。
【0128】
この稼働情報表示OPDは、操作者が透過型スクリーン眼鏡D1を透過して見るバケット6の位置の近傍に表示されるよう構成されている。前記のように、バケット6のショベル中心座標(X
B,Y
B,Z
B)は既知であるため、これを操作者視点座標演算部35で座標変換することにより、透過型スクリーン眼鏡D1のディスプレイ上のバケット6の遠近状態に対応させた状態でバケット6の位置を算出することができる。よって、透過型スクリーン眼鏡D1上のバケット6の近傍位置に、稼働情報表示OPDを表示することができる。
【0129】
また本実施形態では、透過型スクリーン眼鏡D1に表示される稼働情報表示OPDの焦点を、操作者と操作対象位置となるバケット6の位置(例えば、バケット爪先位置)との遠近距離に対応して調整する構成としている。
図8A及び
図9は、操作者に対して(換言すると運転室10に対して)バケット6が離れた状態を示している。
【0130】
バケット6が操作者から離れた状態では、操作者にとってバケット6は遠くに見える。つまり、バケット6が運転室10から遠いところにある状態では、操作者の焦点が遠くにあるため、稼働情報表示OPDも遠いところにある如く表示が調整される。このため、操作者がバケット6を観察する焦点で、稼働情報表示OPDの内容を確認することができる。
【0131】
これに対して
図8Bは、操作者に対してバケット6が近付いた状態を示している。バケット6が運転室10に近いところにある状態では、操作者の焦点が近くにあるため、稼働情報表示OPDも近いところにある如く表示が調整される。このため、操作者がバケット6を観察する焦点で、稼働情報表示OPDの内容を確認することができる。
【0132】
このように、操作者が最も注視する位置であるバケット6の遠近位置に対応して稼働情報表示OPDを表示させることにより、作業対象位置から焦点を変えることなく稼働情報表示OPDを確認することができる。これにより、稼働情報表示OPDの視認性を高めることができる。
図8〜
図9においても、焦点がずれるところは薄い線で記載している。
【0133】
次に、丁張り80(以下、トンボという)を用いた作業に本発明を適用した例について説明する。
【0134】
トンボ80は、作業対象位置に打ち込まれることにより、例えばショベルにより盛り土を行う場合、盛り土の所定高さを示すものである。本実施形態で用いるトンボ80は、盛り土を行う所定高さ(以下、基準高さという)を発信する発信装置が組み込まれている。この発信装置の種類は特に限定されるものではないが、例えばレーザ光を基準高さ位置で放射状に発射するレーザ発射装置を用いることができる。
【0135】
図10は、本実施形態で使用するコントローラ30を示している。なお、
図10において
図6に示した構成と対応する構成については同一符号を付し、適宜その説明を省略するものとする。
【0136】
本実施形態では設計面情報格納部31に代えてトンボ位置検出センサ82を設け、このトンボ位置検出センサ82が出力するトンボ高さ情報をショベル中心座標演算部34に供給するよう構成している。
【0137】
トンボ位置検出センサ82は、例えばトンボ80が上記のようにレーザ光を基準高さ位置で放射状に発射する構成である場合には、このレーザ光を受光してその高さを検出するよう構成されている。
【0138】
トンボ位置検出センサ82は上部旋回体3に設けられており、ショベル中心座標系上における座標は既知である。よって、丁張り80から発信される基準高さの信号をトンボ位置検出センサ82が受信することにより、ショベル中心座標演算部34においてショベル中心座標上における基準高さの座標(Z方向の座標)を求めることができる。
【0139】
操作者視点座標演算部35では、このショベル中心座標上における基準高さの座標を操作者視点座標に変換し、
図11に示すように、作業対象領域OAの上部に高さ基準線SHを透過型スクリーン眼鏡D1に表示する。
【0140】
図11は、本実施形態において操作者が見る光景を示している。同図に示すように透過型スクリーン眼鏡D1には作業対象上に高さ基準線SHが線として表示されるため、操作者は作業対象位置から視線を外すことなく高さ基準線SHを確認することができ、盛り土作業の作業性を高めることができる。
【0141】
なお、高さ基準線SH及び作業対象領域OAを表示する際、高さ基準線SHの表示色と作業対象領域OAの表示色を異なる色としてもよい。
【0142】
次に、
図12に示す光景について説明する。
【0143】
本実施形態では、鉛直線分LLを利用して盛り土を行う際の基準高さを表示するようにしたものである。具体的には、鉛直線分LLの基準高さ位置に基準高さマークSHMを表示している。また、地表から基準高さマークSHMまでの距離(H1で示す)及び基準高さマークSHMからバケット6の先端部までの距離(H2で示す)も合わせて透過型スクリーン眼鏡D1に表示する構成している。
【0144】
基準高さは、
図6に示すようにコントローラ30が設計面情報格納部31を有している場合には設計面情報から、また
図10及び
図11に示すように丁張り80及びトンボ位置検出センサ82を有している場合には、トンボ位置検出センサ82から供給される信号に基づき求めることができる。
【0145】
本実施形態では、鉛直線分LLを利用して基準高さマークSHMを簡易表示することができる。また透過型スクリーン眼鏡D1における表示領域が小さいため、狭所作業を行う場合に有効である。
【0146】
上記した実施形態では、GNSSをショベルにのみ搭載した例を示した。しかしながら、GNSSを透過型スクリーン眼鏡D1にも搭載することは可能である。
図13は、透過型スクリーン眼鏡D1にGNSSを搭載した場合におけるショベル搭載コントローラ30、及び眼鏡内臓コントローラ40の構成を示す機能ブロック図である。なお、
図13において、
図6に示した構成と対応する構成については、同一符号を付してその説明を省略する。
【0147】
本実施形態では、コントローラ30にバケット先端位置演算部36が設けられている。このバケット先端位置演算部36は、各種角度センサS1〜S4、及びショベルに設けられたショベル用GNSS18等の出力を受け、ショベル用GNSS18が有するGNSS座標(以下、この座標をショベル用GNSS座標ということがある)におけるバケット6の先端部の座標を演算する。
【0148】
演算されたショベル用GNSS座標におけるバケット先端部の座標は、操作者視点座標演算部44に送られる。操作者視点座標演算部44は、眼鏡内臓コントローラ40内に設けられている。
【0149】
眼鏡内臓コントローラ40は、メモリ40a、眼鏡状態取得装置としての眼鏡用GNSS41、眼鏡向き検出部42、更に、眼鏡位置・向き更新部43、及び操作者視点座標演算部44を含んでいる。この眼鏡内臓コントローラ40は、透過型スクリーン眼鏡D1に対してバケット6の奥行認識表示処理、実際の作業状態と作業目標範囲との関係を示す表示処理、及び稼働情報表示OPDの表示処理等を行う。
【0150】
設計面情報格納部31及び地図情報格納部32は、眼鏡内臓コントローラ40に設けられたメモリ40aにより構成されている。この設計面情報格納部31及び地図情報格納部32に格納されている設計面情報及び地図情報は、眼鏡位置・向き更新部43に供給される。
【0151】
眼鏡用GNSS41は、透過型スクリーン眼鏡D1に内蔵されている。この眼鏡用GNSS41で検出された検出信号は、眼鏡位置・向き更新部43に送信される。
【0152】
また眼鏡向き検出部42は、透過型スクリーン眼鏡D1の向きを検出するものである。この眼鏡向き検出部42も、透過型スクリーン眼鏡D1に内蔵されている。眼鏡向き検出部42で検出された透過型スクリーン眼鏡D1の向きの検出信号は、眼鏡位置・向き更新部43に送信される。
【0153】
眼鏡位置・向き更新部43は、設計面情報格納部31及び地図情報格納部32の設計面情報及び地図情報を眼鏡用GNSS41の有するGNSS座標(以下、この座標を眼鏡用GNSS座標ということがある)に変換し、仮想空間を形成する。
【0154】
また眼鏡位置・向き更新部43は、眼鏡用GNSS41から送信される検出信号に基づき、眼鏡用GNSS座標としての透過型スクリーン眼鏡D1の現在位置を演算する。更に眼鏡位置・向き更新部43は、眼鏡向き検出部42から送信される検出信号に基づき、眼鏡用GNSS座標としての透過型スクリーン眼鏡D1の向きを演算する。
【0155】
これにより、眼鏡用GNSSが有する座標において、透過型スクリーン眼鏡D1の位置と向きが特定でき、よって例えばショベルや操作者の挙動により、実際の透過型スクリーン眼鏡D1の位置・向きが変化しても、それに対応して仮想空間内で透過型スクリーン眼鏡D1の位置及び向きを変化させることができる。
【0156】
上記のように、眼鏡位置・向き更新部43の演算処理により、眼鏡用GNSS座標としての透過型スクリーン眼鏡D1の位置及び向きが特定されると、この透過型スクリーン眼鏡D1の位置及び向きの情報は、操作者視点座標演算部44に送信される。
【0157】
操作者視点座標演算部44は、バケット先端位置演算部36から送信されるショベル用GNSS座標におけるバケット先端部の座標を、透過型スクリーン眼鏡D1を着用する操作者の目の位置R1を原点とする操作者視点座標に変換する処理を行う。
【0158】
また操作者視点座標演算部44は、眼鏡位置・向き更新部43から送信される眼鏡用GNSS座標における設計面情報、地図情報、透過型スクリーン眼鏡D1の現在位置及び向き情報を操作者視点座標に変換する処理を行う。
【0159】
このようにして、設計面情報格納部31に格納された設計面情報、地図情報格納部32に格納された地図情報、及び各種センサS1〜S5から演算されるバケット6の位置情報等を透過型スクリーン眼鏡D1に重複して表示することが可能になる。
【0160】
本実施形態のように眼鏡用GNSSを透過型スクリーン眼鏡D1に搭載することにより、非常に簡単な構成で透過型スクリーン眼鏡D1に設計面情報、地図情報、及びバケット6の位置情報等を表示することが可能となる。
【0161】
以上、本発明の好ましい実施形態について詳述したが、本発明は上記した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能なものである。