IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友建機株式会社の特許一覧

<>
  • 特開-ショベル、及びショベルの表示装置 図1
  • 特開-ショベル、及びショベルの表示装置 図2
  • 特開-ショベル、及びショベルの表示装置 図3
  • 特開-ショベル、及びショベルの表示装置 図4
  • 特開-ショベル、及びショベルの表示装置 図5
  • 特開-ショベル、及びショベルの表示装置 図6
  • 特開-ショベル、及びショベルの表示装置 図7
  • 特開-ショベル、及びショベルの表示装置 図8
  • 特開-ショベル、及びショベルの表示装置 図9
  • 特開-ショベル、及びショベルの表示装置 図10
  • 特開-ショベル、及びショベルの表示装置 図11
  • 特開-ショベル、及びショベルの表示装置 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025007070
(43)【公開日】2025-01-17
(54)【発明の名称】ショベル、及びショベルの表示装置
(51)【国際特許分類】
   E02F 9/26 20060101AFI20250109BHJP
   H04N 7/18 20060101ALI20250109BHJP
【FI】
E02F9/26 A
H04N7/18 J
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023108230
(22)【出願日】2023-06-30
(71)【出願人】
【識別番号】502246528
【氏名又は名称】住友建機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】松橋 唯希
【テーマコード(参考)】
2D015
5C054
【Fターム(参考)】
2D015HA03
5C054CA04
5C054CC02
5C054EA01
5C054EA05
5C054FC15
5C054FD03
5C054FD07
5C054FE12
5C054FE18
5C054FE22
5C054FE23
5C054FF03
5C054HA30
(57)【要約】
【課題】安全性を向上させる。
【解決手段】実施形態の一態様に係るショベルは、撮像装置により撮像された画像情報に基づいた第1の画面を表示装置に表示した後、第1の操作装置からの第1の操作に従って、前記第1の画面から、前記画像情報に基づいた第2の画面に切り替えて表示し、第2の操作装置からの第2の操作を受け付けた場合に、前記第1の画面に戻る制御を行うように構成されている制御部を、備える。
【選択図】図3
【特許請求の範囲】
【請求項1】
撮像装置により撮像された画像情報に基づいた第1の画面を表示装置に表示した後、
第1の操作装置からの第1の操作に従って、前記第1の画面から、前記画像情報に基づいた第2の画面に切り替えて表示し、
第2の操作装置からの第2の操作を受け付けた場合に、前記第1の画面に戻る制御を行うように構成されている制御部を、
備えるショベル。
【請求項2】
前記第2の操作は、前記第2の画面を前記第1の画面に戻すための操作と異なる、
請求項1に記載のショベル。
【請求項3】
前記第1の操作装置は、前記表示装置に設けられたタッチパネルセンサであり、
前記第2の画面を前記第1の画面に戻すための操作は、前記表示装置に対する第1のジェスチャ操作である、
請求項2に記載のショベル。
【請求項4】
前記第1の操作は、前記表示装置に対する第2のジェスチャ操作である、
請求項3に記載のショベル。
【請求項5】
前記第2の操作装置は、前記ショベルを動作させるための操作レバー、前記ショベルを走行させるための走行操作装置、又は前記ショベルの動作をロックするか否かを切り替えるゲートロックレバーである、
請求項1に記載のショベル。
【請求項6】
前記制御部は、前記第1の操作装置からの前記第1の操作を受け付けた場合、前記ショベルの動作をロックする制御を行い、
前記第2の操作として、前記ゲートロックレバーにより前記ロックを解除するための操作を受け付ける、
請求項5に記載のショベル。
【請求項7】
前記第2の操作は、前記操作レバーによる前記ショベルのアタッチメント又は上部旋回体を動作させるための操作、又は、前記走行操作装置による前記ショベルの走行を開始させるための操作である、
請求項5に記載のショベル。
【請求項8】
前記第1の操作は、前記第1の画面に表わされている前記画像情報の拡大若しくは縮小させるための操作であり、又は、前記第1の画面に表わされている、仮想的な3次元空間に投影された前記画像情報に対して視点を変更させるための操作である、
請求項1乃至7のいずれか一つに記載のショベル。
【請求項9】
前記第1の画面には、前記仮想的な3次元空間の上方に存在する視点から、前記仮想的な3次元空間に投影された前記画像情報を参照した俯瞰画像が表されている、
請求項8に記載のショベル。
【請求項10】
当該ショベルに設けられた撮像装置により撮像された画像情報に基づいた第1の画面を表示した後、
第1の操作装置からの第1の操作に従って、前記第1の画面から、前記画像情報に基づいた第2の画面に切り替えて表示し、
第2の操作装置からの第2の操作を受け付けた場合に、前記第1の画面に戻る制御を行うように構成されている制御部を、
備えるショベルの表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ショベル、及びショベルの表示装置に関する。
【背景技術】
【0002】
従来から、ショベルには、各種の情報を表示する表示装置が設けられている。近年、ショベルの周囲を確認するために、撮像装置で撮像された画像情報を用いて周辺の状況を表示する技術が提案されている(特許文献1参照)。これにより、ショベルの操作者は、ショベルの周囲の状況を認識できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-183638号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載された技術においては、周辺の状況の表示の切り替えについては考慮されていない。つまり、画像情報を用いて周辺の状況の表示を行う際、当該状況に応じて操作者が確認すべき箇所が異なる。このため、状況に応じて画像情報に基づいた表示が切り替わるのが好ましい。
【0005】
上述に鑑み、ショベルの状況に応じて、撮像装置の画像情報に基づいた表示を切り替えることで、操作者によるショベルの周辺の把握を容易にして、安全性を向上させる。
【課題を解決するための手段】
【0006】
本発明の一態様に係るショベルは、撮像装置により撮像された画像情報に基づいた第1の画面を表示装置に表示した後、第1の操作装置からの第1の操作に従って、前記第1の画面から、前記画像情報に基づいた第2の画面に切り替えて表示し、第2の操作装置からの第2の操作を受け付けた場合に、前記第1の画面に戻る制御を行うように構成されている制御部を、備える。
【発明の効果】
【0007】
本発明の一態様によれば、操作者によるショベルの周辺の把握を容易にして、安全性を向上させる。
【図面の簡単な説明】
【0008】
図1図1は、第1の実施形態に係るショベル(掘削機)を示す側面図である。
図2図2は、第1の実施形態に係るショベルの駆動制御系の構成例を示す図である。
図3図3は、第1の実施形態に係るショベルのショベルコントローラ内の機能ブロックを例示した図である。
図4図4は、第1の実施形態に係る表示制御部により表示装置に表示される画面の一例について説明する。
図5図5は、第1の実施形態に係る表示制御部によって画像表示領域に表示された後方画像BMの変化を示した図である。
図6図6は、本変形例に係るショベルコントローラにおける表示画面の制御を示したフローチャートである。
図7図7は、第2の実施形態に係る作業機械としてのショベルの側面図である。
図8図8は、第2の実施形態に係るショベルのショベルコントローラ内の機能ブロックを例示した図である。
図9図9は、第2の実施形態に係る三次元空間処理部による処理を示した概念図である。
図10図10は、第2の実施形態に係る表示制御部により表示装置に表示される画面の一例について説明する。
図11図11は、第2の実施形態に係る表示制御部によって俯瞰画像表示領域に表示された俯瞰画像の変化を示した図である。
図12図12は、第3の実施形態に係る遠隔操作システムの一例を示す概要図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0010】
(第1の実施形態)
まず、図1を参照して、本実施形態に係るショベル100の概要について説明する。図1は、第1の実施形態に係る作業機械としてのショベル100の側面図である。ショベル100の下部走行体1には旋回機構2を介して上部旋回体3が旋回可能に搭載される。上部旋回体3にはブーム4が取り付けられる。ブーム4の先端にはアーム5が取り付けられ、アーム5の先端にはエンドアタッチメントとしてのバケット6が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
【0011】
ブーム4、アーム5、及びバケット6は、アタッチメントの一例である掘削アタッチメントATを構成し、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9によりそれぞれ油圧駆動される。
【0012】
ブーム4にはブーム角度センサS1が取り付けられ、アーム5にはアーム角度センサS2が取り付けられ、バケット6にはバケット角度センサS3が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
【0013】
ブーム角度センサS1はブーム4の回動角度を検出する。本実施形態では、ブーム角度センサS1は加速度センサであり、上部旋回体3に対するブーム4の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム4を最も下げたときに最小角度となり、ブーム4を上げるにつれて大きくなる。
【0014】
アーム角度センサS2はアーム5の回動角度を検出する。本実施形態では、アーム角度センサS2は加速度センサであり、ブーム4に対するアーム5の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム5を最も閉じたときに最小角度となり、アーム5を開くにつれて大きくなる。
【0015】
バケット角度センサS3はバケット6の回動角度を検出する。本実施形態では、バケット角度センサS3は加速度センサであり、アーム5に対するバケット6の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット6を最も閉じたときに最小角度となり、バケット6を開くにつれて大きくなる。
【0016】
ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。
【0017】
上部旋回体3には、運転室としてのキャビン10が設けられ、且つ、エンジン11等の駆動源が搭載されている。また、上部旋回体3には、旋回用油圧モータ、ショベルコントローラ30、撮像装置S6等が取り付けられている。旋回用油圧モータは旋回用電動発電機であってもよい。
【0018】
エンジン11は、ショベル100の駆動源である。本実施形態では、エンジン11は、ディーゼルエンジンである。エンジン11の出力軸は、メインポンプ14(図2参照)及びパイロットポンプ15(図2参照)のそれぞれの入力軸に連結されている。
【0019】
駆動源はエンジン11に限定されず、モータでもよい。ショベル100は、駆動源として、エンジン及びモータを備えていてもよい。ショベル100は、エンジンのみで駆動されるものでもよく、エンジン及びモータにより駆動されるハイブリッドタイプのものでもよく、モータのみにより駆動される電気ショベル(電気式の作業機械)でもよい。
【0020】
上部旋回体3には、運転室としてのキャビン10、機体傾斜センサS4、旋回角速度センサS5、撮像装置S6、測位装置S7、及び通信装置T1等が搭載されている。
【0021】
機体傾斜センサS4は、所定の平面に対する上部旋回体3の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサS4は、水平面に関する上部旋回体3の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体3の前後軸及び左右軸は、例えば、互いに直交してショベル100の旋回軸上の一点であるショベル中心点を通る。
【0022】
旋回角速度センサS5は、上部旋回体3の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサS5は、ジャイロセンサである。旋回角速度センサS5は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサS5は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
【0023】
撮像装置S6は、ショベル100の周囲を撮像するように構成されている。撮像装置S6は、例えば、単眼カメラ、ステレオカメラ、距離画像カメラ、赤外線カメラ、LiDAR等である。撮像装置S6は、上部旋回体3の上面の後端に取り付けられた後方カメラS6B、上部旋回体3の上面の左端に取り付けられた左カメラS6L、及び上部旋回体3の上面の右端に取り付けられた右カメラS6Rを含む。
【0024】
後方カメラS6B、左カメラS6L及び右カメラS6Rはいずれも、光軸が斜め下方を向くように、且つ、上部旋回体3の一部が撮像範囲に含まれるように上部旋回体3に取り付けられている。後方カメラS6B、左カメラS6L、及び右カメラS6Rのそれぞれの撮像範囲は、例えば、平面視で約180度の視野角を有する。
【0025】
測位装置S7は、ショベル100の位置に関する情報を取得するように構成されている。本実施形態では、測位装置S7は、基準座標系におけるショベル100の位置及び向きを測定するように構成されている。具体的には、測位装置S7は、電子コンパスを組み込んだGNSS受信機であり、ショベル100の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル100の向きを測定する。本実施形態に係る基準座標系とは、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、X軸をグリニッジ子午線と赤道との交点の方向に、Y軸を東経90度の方向に、そして、Z軸を北極の方向にとる三次元直交XYZ座標系である。
【0026】
キャビン10内には、ショベルコントローラ30が設置される。また、キャビン10内には、運転席、表示装置DI、及び操作装置26等が設置されている。
【0027】
表示装置DIの表面にはタッチパネルセンサS8が設けられている。タッチパネルセンサS8は、操作者によって表示装置DIに対して行われた操作を示す信号を、ショベルコントローラ30に送信する
【0028】
ショベルコントローラ30は、各種演算を実行する演算装置である。ショベルコントローラ30は、例えば、キャビン10内に設けられ、ショベル100の駆動制御を行う。ショベルコントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ30は、CPU(Central Processing Unit)、RAM(Random Access Memory)等のメモリ装置、ROM(Read Only Memory)等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ30は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをCPU上で実行することにより各種機能を実現する。
【0029】
通信装置T1は、ショベル100の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置T1は、(無線通信網を含む)通信回線を介し、通信装置T1とショベル100の外部にある機器との間の通信を制御するように構成されている。通信装置T1は、例えば、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation)等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。
【0030】
また、通信装置T1は、例えば、外部のGNSS(Global Navigation Satellite System)測量システムとショベル100との間の無線通信を制御する。
【0031】
[ショベルの駆動制御系]
図2は、図1のショベル100の駆動制御系の構成例を示す図である。図2において、機械的動力伝達系は二重線、作動油ラインは太実線、パイロットラインは破線、電気駆動・制御系は点線でそれぞれ示される。
【0032】
本実施形態に係るショベル100の駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、パイロットポンプ15と、コントロールバルブユニット17を含む。また、本実施形態に係るショベル100の油圧駆動系は、上述の如く、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6のそれぞれを油圧駆動する走行用油圧モータ1L,1R、旋回用油圧モータ2A、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等の油圧アクチュエータを含む。
【0033】
エンジン11は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体3の後部に搭載される。具体的には、エンジン11は、後述するショベルコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。
【0034】
エンジン11は、エンジンコントロールユニット(以下、ECUと称す)74に接続されている。ECU74は、エンジン11における燃料噴射量、燃料噴射タイミング、ブースト圧等を、制御する。さらに、ECU74は、エンジン11の状態を示す各種データをショベルコントローラ30に送信する。
【0035】
レギュレータ13は、メインポンプ14の吐出量を制御する。例えば、レギュレータ13は、ショベルコントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(傾転角)を調節する。メインポンプ14は、レギュレータ13により1回転当たり吐出量(押し退け容積)が制御される。
【0036】
メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット17に作動油を供給する。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ30による制御下で、レギュレータ13により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量(吐出圧)が制御される。
【0037】
パイロットポンプ15は、パイロット圧生成装置の一例であり、パイロットライン25を介して油圧制御装置に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ15は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ14によって実現されてもよい。すなわち、メインポンプ14は、作動油ラインを介して作動油をコントロールバルブユニット17に供給する機能に加え、パイロットライン25を介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ15は、省略されてもよい。
【0038】
コントロールバルブユニット17は、メインポンプ14から受け入れた作動油を1又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット17は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット17は、1又は複数の油圧アクチュエータに対し、メインポンプ14から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ7、アームシリンダ8、バケットシリンダ9、左側走行用油圧モータ1L、右側走行用油圧モータ1R、及び旋回用油圧モータ2Aを含む。
【0039】
パイロットポンプ15は、パイロットライン25及びゲートロック弁50を介して操作装置26に接続されている。操作装置26は、例えば、左操作レバー、右操作レバー、及び走行操作装置を含む。走行操作装置は、例えば、走行レバー及び走行ペダルを含む。操作装置26のそれぞれは、油圧式操作装置であり、パイロットライン25からゲートロック弁50を介してコントロールバルブユニット17内にある対応するスプール弁のパイロットポートに接続されている。但し、操作装置26は、電気式操作装置であってもよい。電気式操作装置を適用した場合には、ショベルコントローラ30は、特定の操作装置26に対する操作が行われていない場合であっても、その特定の操作装置26に対応する油圧アクチュエータを動作させることができる。これにより、例えば、ショベル100の遠隔操作を実現できる。
【0040】
操作センサ29は、操作装置26の操作内容を圧力として検出する。操作センサ29は、検出値をショベルコントローラ30に対して出力する。操作装置26の操作内容は、電気的に検出されてもよい。
【0041】
ゲートロックレバーDLは、操作装置26の有効状態と無効状態とを切り替えできるように構成されている。操作装置26の有効状態は、操作者が操作装置26を操作した場合に、当該操作に対応する油圧アクチュエータが動作する状態を示している。操作装置26の無効状態は、操作者が操作装置26を操作した場合であっても当該操作に対応する油圧アクチュエータが動作しない状態を示している。
【0042】
ゲートロックレバーDLは、運転席の左側前端部に設けられている。操作者は、ゲートロックレバーDLを引き上げてロック解除状態DLU(実線で示された状態)にすることで操作装置26を有効状態にできる。また、ゲートロックレバーDLを押し下げてロック状態DLL(点線で示された状態)にすることで操作装置26を無効状態にできる。
【0043】
ゲートロックスイッチS9は、ゲートロック弁50を作動させる信号を出力する装置である。本実施形態では、ゲートロックスイッチS9は、ゲートロックレバーDLによって状態が切り替わるように構成されている。例えば、ゲートロックスイッチS9は、ゲートロックレバーDLがロック解除状態DLUのときにロック解除信号を出力し、ゲートロックレバーDLがロック状態DLLのときにロック信号を出力するように構成されている。ロック解除信号、ロック信号は電流信号であってもよいし、電圧信号であってもよい。ロック解除信号、ロック信号は、ショベルコントローラ30が出力する場合もある。
【0044】
ゲートロック弁50は、操作装置26とパイロットポンプ15とを接続するパイロットライン25の連通・遮断を切り替える電磁弁である。本実施形態では、ロック解除信号を受けたときにパイロットライン25を連通させ、ロック解除信号を受けていないときにパイロットライン25を遮断する。ロック信号を受けたときにパイロットライン25を遮断する構成であってもよい。
【0045】
ゲートロックリレー51は、ゲートロックスイッチS9と、ゲートロック弁50と、を接続する電路E1の連通・遮断を切り替える。ゲートロックリレー51は、例えば、接触子、バネ、コイル等で構成される電磁継電器である。ゲートロックリレー51は、MOSFET、トランジスタ、サイリスタ等の半導体スイッチング素子で構成されていてもよい。
【0046】
ゲートロックリレー51は、電路E1aを介してゲートロックスイッチS9に接続されている。さらには、ショベルコントローラ30は、電路E1bを介してゲートロックスイッチS9にも接続されている。つまり、ゲートロックスイッチS9からのロック解除信号又はロック信号は、ショベルコントローラ30も受信できる。さらに、ゲートロックリレー51は、電路E2を介してショベルコントローラ30に接続されている。
【0047】
ゲートロックリレー51は、ショベルコントローラ30から電路E2を介して電流が流れるか否かに応じて、電路E1の導通状態と遮断状態とを切り替える。
【0048】
本実施形態では、ショベルコントローラ30は、例えば、(図示しない)シートベルトスイッチからの信号でシートベルトが装着されていると判定された場合、及び、(図示しない)シート着座スイッチが着座信号で操作者が着座していると判定された場合等に、電路E2を介して電流が流して、電路E1(電路E1a及び電路E1bを含む)を導通状態としてもよい。
【0049】
電路E1の導通状態に、ゲートロックリレー51は、ゲートロックスイッチS9又はショベルコントローラ30からの信号(例えば、ロック解除信号、ロック信号等)をゲートロック弁50に伝達できる。
【0050】
<<ショベルの機能ブロック>>
ショベル100のショベルコントローラ30内の各機能ブロックについて説明する。図3は、ショベル100のショベルコントローラ30内の機能ブロックを例示した図である。なお、ショベルコントローラ30内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、CPUにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。図3に示されるように、ショベルコントローラ30は、プログラムを実現することで、取得部301と、操作処理部302と、表示制御部303と、を備える。
【0051】
取得部301は、ショベル100に設けられた各種検出装置からの信号を取得する。例えば、取得部301は、ブーム角度センサS1、アーム角度センサS2、及びバケット角度センサS3の検出結果を取得する。また、取得部301は、画像情報、位置情報を取得する。
【0052】
画像情報は、撮像装置S6により撮像された情報とする。位置情報は、測位装置S7により測定された基準座標系におけるショベル100の位置及び向きを示した情報とする。
【0053】
また、取得部301は、操作センサ29から、操作装置26によって行われた操作を示した情報を取得する。また、取得部301は、ゲートロックスイッチS9から、ロック解除信号、又はロック信号を取得する。
【0054】
また、取得部301は、タッチパネルセンサS8から、表示装置DIに対して行われた操作を示した操作信号を取得する。
【0055】
操作処理部302は、取得部301が操作装置26の操作方向及び操作量の検出値を示した操作信号を取得した場合、当該操作信号に対応する駆動制御を特定する。
【0056】
また、操作処理部302は、タッチパネルセンサS8から操作信号を取得した場合に、取得した操作信号に対応する処理を特定する。例えば、タッチパネルセンサS8から、ピンチイン操作、ピンチアウト操作、ダブルタップ操作、タップ操作、又は、スワイプ操作等を受け付けた場合に、当該操作に対する処理を特定する。操作に対応する処理は、例えば、画面の拡大処理、画面の縮小処理等とする。
【0057】
表示制御部303は、表示装置DIに対して画面を表示する制御を行う。
【0058】
図4は、表示制御部303により表示装置DIに表示される画面の一例について説明する。図4は、表示装置DIに表示される画面の一例を示す図である。
【0059】
表示装置DIの表示画面41は、上部表示領域41Aと、メイン表示領域41Bと、下部表示領域41Cとを含む。上部表示領域41Aは、表示画面41のうち上側の一部に配置される。下部表示領域41Cは、表示画面41のうち下側の一部に配置される。メイン表示領域41Bは、表示画面41の中央部に配置される。メイン表示領域41Bは、上部表示領域41Aと、下部表示領域41Cとの間に配置されている。メイン表示領域41Bの面積は、例えば、上部表示領域41Aと下部表示領域41Cとの合計の面積よりも大きい。
【0060】
上部表示領域41Aは、日時表示領域41a、運転モード表示領域41b、アタッチメント表示領域41c、燃費表示領域41d、エンジン制御状態表示領域41e、冷却水温表示領域41g、燃料残量表示領域41h、回転数モード表示領域41i、尿素水残量表示領域41j、作動油温表示領域41kを含む。
【0061】
メイン表示領域41Bは、画像表示領域41nを含む。画像表示領域41nは、俯瞰画像表示領域41n1、後方画像表示領域41n2、及び右方画像表示領域41n3を含む。これらの画像表示領域41n1、41n2、41n3は、表示画面41の大部分を占める。画像表示領域41n1、41n2、41n3は、上部表示領域41Aよりも下側に配置されている。
【0062】
下部表示領域41Cは、エンジン稼働時間表示領域41f、エアコン運転状態表示領域41m、及びメニュー表示領域41pを含む。
【0063】
日時表示領域41aは、現在の日時を表示する領域である。運転モード表示領域41bは、現在の走行モードを表示する領域である。アタッチメント表示領域41cは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域41dは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域41d1、瞬間燃費を表示する瞬間燃費表示領域41d2を含む。
【0064】
エンジン稼働時間表示領域41fは、エンジン11の累積稼働時間を表示する領域である。冷却水温表示領域41gは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域41hは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。尿素水残量表示領域41jは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域41kは、作動油タンク内の作動油の温度状態を表示する領域である。
【0065】
エアコン運転状態表示領域41mは、現在の吹出口の位置を表示する吹出口表示領域41m1、エアコンの現在の運転モードを表示する運転モード表示領域41m2、現在の設定温度を表示する温度表示領域41m3、及び現在の設定風量を表示する風量表示領域41m4を含む。
【0066】
画像表示領域41nは、撮像装置S6が撮像した画像を表示する領域である。画像表示領域41nは、俯瞰画像FV、後方画像BM、及び右方画像RMを表示している。俯瞰画像FVは、表示制御部303によって生成される仮想視点画像であり、後方カメラS6B、左カメラS6L、及び右カメラS6Rのそれぞれが取得した画像に基づいて生成される。また、俯瞰画像FVの中央部分には、ショベル100に対応するショベル図形GEが配置されている。ショベル100とショベル100の周囲に存在する物体との位置関係を操作者により直感的に把握させるためである。
【0067】
後方画像BMは、ショベル100の後方の空間を映し出す画像であり、カウンタウェイトの画像GCを含む。後方画像BMは、表示制御部303によって生成される実視点画像であり、後方カメラS6Bが取得した画像に基づいて生成される。
【0068】
右方画像RMは、ショベル100の右方の空間を映し出す画像であり、ショベル100右側フレームの画像RFを含む。右方画像RMは、表示制御部303によって生成される実視点画像であり、右カメラS6Rが取得した画像に基づいて生成される。
【0069】
表示装置DIは、俯瞰画像表示領域41n1に俯瞰画像FVを表示し、後方画像表示領域41n2に後方画像BMを表示し、右方画像表示領域41n3に右方画像RMを表示する。
【0070】
メニュー表示領域41pは、タブ41p1~41p7を有する。図4の例では、表示画面41の最下部に、タブ41p1~41p7が左右に互いに間隔を空けて配置されている。タブ41p1~41p7には、各種情報を表示するためのアイコンが表示される。
【0071】
タブ41p1には、メニュー詳細項目を表示するためのメニュー詳細項目アイコンが表示されている。操作者によりタブ41p1が選択されると、タブ41p2~41p7に表示されているアイコンがメニュー詳細項目に関連付けされたアイコンに切り換わる。
【0072】
タブ41p4には、デジタル水準器に関する情報を表示するためのアイコンが表示されている。操作者によりタブ41p4が選択されると、後方画像BM及び右方画像RMがデジタル水準器に関する情報を示す画面に切り換わる。但し、後方画像BM及び右方画像RMに重畳したり、後方画像BMが縮小したりしてデジタル水準器に関する情報を示す画面が表示されてもよい。また、俯瞰画像FVがデジタル水準器に関する情報を示す画面に切り換わってもよく、俯瞰画像FVに重畳したり、俯瞰画像FVが縮小したりしてデジタル水準器に関する情報を示す画面が表示されてもよい。
【0073】
タブ41p6には、情報化施工に関する情報を表示するためのアイコンが表示されている。操作者によりタブ41p6が選択されると、後方画像BM及び右方画像RMが情報化施工に関する情報を示す画面に切り換わる。但し、後方画像BM及び右方画像RMに重畳したり、後方画像BM及び右方画像RMが縮小したりして情報化施工に関する情報を示す画面が表示されてもよい。また、俯瞰画像FVが情報化施工に関する情報を示す画面に切り換わってもよく、俯瞰画像FVに重畳したり、俯瞰画像FVが縮小したりして情報化施工に関する情報を示す画面が表示されてもよい。情報化施工とは、ショベル100による施工において、外部の装置と通信等を行うことで、現在の状況に応じた施工を行うための技術とする。その際に、ショベル100による半自動制御又は自律制御等を行ってもよい。
【0074】
タブ41p7には、クレーンモードに関する情報を表示するためのアイコンが表示されている。操作者によりタブ41p7が選択されると、後方画像BMがクレーンモードに関する情報を示す画面に切り換わる。但し、後方画像BMに重畳したり、後方画像BMが縮小したりしてクレーンモードに関する情報を示す画面が表示されてもよい。また、俯瞰画像FVがクレーンモードに関する情報を示す画面に切り換わってもよく、俯瞰画像FVに重畳したり、俯瞰画像FVが縮小したりしてクレーンモードに関する情報を示す画面が表示されてもよい。
【0075】
タブ41p2、41p3、41p5には、アイコンが表示されていない。このため、操作者によりタブ41p2、41p3、41p5が操作されても、表示画面41に表示される画像に変化は生じない。
【0076】
なお、タブ41p1~41p7に表示されるアイコンは上記した例に限定されるものではなく、他の情報を表示するためのアイコンが表示されていてもよい。
【0077】
タッチパネルセンサS8は、表示画面41に対するジェスチャ操作を検知する。そして、操作処理部302は、検知されたジェスチャ操作に対応する処理を特定する。そして、表示制御部303は、特定された処理に応じて表示画面を更新する。
【0078】
例えば、表示制御部303は、後方画像BM又は右方画像RMに対するジェスチャ操作に応じて、後方画像BM又は右方画像RMに対する拡大処理及び縮小処理を行うことができる。
【0079】
図5は、本実施形態に係る表示制御部303によって画像表示領域41n2に表示された後方画像BMの変化を示した図である。図5で示される表示画面は、画像表示領域41n2以外は、図4と同様とする。
【0080】
図5(A)に示されるように、表示制御部303が表示する表示画面(第1の画面の一例)の画像表示領域41n2には、後方画像BM1が表示されている。そして、画像表示領域41n2に対してピンチアウト操作1511を受け付けた場合に、操作処理部302は、当該ピンチアウト操作1511が、画像表示領域41n2に表された後方画像BM1に対する拡大処理であることを特定する。
【0081】
そして、表示制御部303は、タッチパネルセンサS8(第1の操作装置の一例)からのピンチアウト操作(第1の操作の一例)1511に従って、図5(A)に示した後方画像BM1から、図5(B)に示した後方画像BM2が表された画面に切り替えて表示する。なお、本実施形態では、後方画像BM1を含む画面(第1の画面の一例)から、後方画像BM2を含む画面(第2の画面の一例)に切り替えるためのジェスチャ操作(第1の操作の一例)が、ピンチアウト操作の場合について説明するが、表示態様を切り替えるための操作をピンチアウト操作に制限するものではなく、予め設定されたジェスチャ操作であればよい。
【0082】
このように、操作者が、後方画像BM又は右方画像RMを参照して見づらいと判断した場合に、後方画像BM又は右方画像RMを拡大させるためのジェスチャ操作を行う。当該操作に従って、後方画像BM又は右方画像RMが拡大された画面が表示される。操作者は、後方画像BM又は右方画像RMで撮像された領域に存在する人又は物体の検知が容易になる。
【0083】
図5(B)で示されたように、後方画像BM2が表示されている場合、画像表示領域41n2に対してピンチイン操作(第1のジェスチャ操作の一例)1512を受け付けた場合に、操作処理部302は、ピンチイン操作1512が、画像表示領域41n2に表された後方画像BM1に対する縮小処理であることを特定する。そして、図5(A)に示されるように、表示制御部303は、画像表示領域41n2に元の後方画像BM1を表示できる。
【0084】
図5(B)で示された後方画像BM2は、操作者に指定された領域を拡大した画像であり、ショベル100の後方を広範囲に表した画像ではない。換言すれば、操作者は、後方画像BM1では写っている人1521の挙動を認識できない場合でも、後方画像BM2を参照することで、人1522の詳細を認識できる。つまり、操作者は、当該人1521の挙動を認識できるので、ショベル100を動作させてもよいか否かを判断できる。動作させてもよいと判断した後、操作者が、拡大処理された後方画像BM2が表示画面に写った状態で、ショベル100を走行させるための操作を行う可能性がある。
【0085】
ところで、ショベル100の動作を行う際には、ショベル100を中心として所定の半径(例えば12m)内に存在する人を所定のサイズ(例えば10mm)以上に表示される方が好ましい。さらには、ショベル100の後方の周囲の状況を認識するために、ショベル100の後方について所定の角度(45度)以上の範囲が画面に写るのが好ましい。
【0086】
換言すれば、図5(B)で示された後方画像BM2が表示された状態で、ショベル100を動作させた場合、操作者は、ショベル100の後方の状況を把握できない可能性がある。
【0087】
そこで、本実施形態においては、操作装置26(第2の操作装置の一例)に対して操作1513が行われた際に、操作処理部302は、当該操作がショベル100を駆動させる操作であると判定した場合に、表示制御部303は、操作者がショベル100の周囲を認識できる画面に戻す制御を行う。
【0088】
具体的には、表示制御部303は、画像表示領域41n2に表された画像が拡大又は縮小されている時に、操作装置26からのショベル100を駆動させる操作を受け付けた場合に、図5(A)で示された後方画像BM1を含む表示画面に戻す制御を行う。
【0089】
操作装置26(第2の操作装置の一例)に対する操作(第2の操作の一例)1513は、ショベル100を駆動させる操作であればよく、例えば、操作レバーによるブーム4の下げ又は上げるための操作、アーム5又はバケット6の開き又は閉じるための操作でもよい。また、操作レバーによる、ショベル100の上部旋回体3を旋回させるための操作でもよい。さらには、操作装置26(第2の操作装置の一例)に対する操作(第2の操作の一例)1513は、走行操作装置によるショベル100の走行を開始させるための操作でもよい。さらには、操作装置26(第2の操作装置の一例)に対する操作(第2の操作の一例)1513は、ショベル100に設けられた予備バルブを介して接続されたアタッチメント等の操作でもよい。
【0090】
換言すれば、操作装置26を構成する、左操作レバー、右操作レバー、走行レバー、及び走行ペダルのうちいずれか一つに対する操作であればよい。本実施形態においては、左操作レバー、右操作レバー、走行レバー、及び走行ペダルのうちいずれか一つに対する操作が行われた場合に、後方画像BM1を含む表示画面に戻す制御が行われるので、操作者はショベル100の動作に合わせて、周囲の状況を把握できる。したがって、安全性の向上を実現できる。
【0091】
つまり、本実施形態に係る表示制御部303は、図5(B)で示された後方画像BM2を含む表示画面が表示された状態から、図5(A)で示された後方画像BM1を含む表示画面に戻すための操作(例えばジェスチャ操作)と異なる、予め設定された操作(第2の操作の一例)を受け付けた場合であっても、図5(A)で示された後方画像BM1を含む表示画面に戻す制御を行う。このように、予め設定された操作を行った場合には、後方画像BM1を含む表示画面に戻すための操作以外の操作でも、後方画像BM1を含む表示画面に戻す制御が行われる。つまり、ショベル100を動作させる際に、操作者が、図5(A)で示された後方画像BM1を含む表示画面に戻すための操作を行わなくてよいので、作業時間を短縮できる。
【0092】
本実施形態では、図5(B)で示された後方画像BM2を含む表示画面が表示された状態から、図5(A)で示された後方画像BM1を含む表示画面が表示された状態に戻すための操作が、ピンチイン操作である場合について説明した。しかしながら、表示画面を戻すための操作は、タッチパネルセンサS8に対するピンチイン操作に制限するものではなく、例えば、ダブルタップ操作を含んでもよいし、予め定められたジェスチャ操作であればよい。
【0093】
図5に示される例では、タッチパネルセンサS8が受け付けた操作に従って後方画像BMを拡大した場合について説明した。しかしながら、本実施形態では、拡大した場合に限って表示画面を戻す制御を行う例に制限するものではない。例えば、画像を縮小した場合に、ショベル100を駆動させる操作を受け付けた場合に、表示画面を戻す制御を行ってもよい。
【0094】
本実施形態では、表示画面に対する操作を受け付けるための操作装置が、タッチパネルセンサS8の場合について説明した。しかしながら、本実施形態は、表示画面に示された画像の拡大又は縮小するための操作装置を、タッチパネルセンサS8に制限するものではない。例えば、表示装置DIを操作するためのボタン等が設けられた操作装置を用いてもよい。
【0095】
本実施形態では、ショベルコントローラ30が、撮像装置S6が撮像した画像情報に対して拡大処理又は縮小処理した画像を、画面に表示する例について説明した。しかしながら、本実施形態は、表示される画像を変更する際に、画像に対して拡大処理又は縮小処理を行う手法に制限するものではない。例えば、撮像装置S6の各々にズーム機能及び回転機構を設けることで、ショベルコントローラ30が、操作者の操作に応じて、撮像装置S6のズーム機能及び回転機能を制御することで、当該操作に応じた画像が撮像されるように制御してもよい。
【0096】
本実施形態に係るショベルコントローラ30では、操作装置26から操作が行われた場合に、表示画面を戻す制御を行うことで、周囲の状況の確認が容易になるので、安全性の向上を実現できる。
【0097】
(第1の実施形態の変形例1)
上述した実施形態においては、操作装置26(第2の操作装置の一例)に対して操作が行われた場合に、表示制御部303が、表示画面を戻す制御を行う例について説明した。しかしながら、上述した実施形態は、表示画面を戻す制御を、操作装置26(第2の操作装置の一例)に対して操作が行われた場合に制限するものではない。そこで、変形例ではゲートロックレバーDLによるロックの有無を制御する場合について説明する。
【0098】
図6は、本変形例に係るショベルコントローラ30における表示画面の制御を示したフローチャートである。図6に示される処理手順においては、ショベル100の操作者が搭乗し、ゲートロックレバーDLを引き上げてロック解除状態DLU(実線で示された状態)にされているが、ショベル100の動作は行われていない状態とする。
【0099】
図6に示されるように、表示制御部303は、後方画像BM及び右方画像RMを含む画面を表示する(S1601)。
【0100】
操作処理部302は、後方画像BM又は右方画像RMに対して受け付けた(タッチパネルセンサS8を介した)ジェスチャ操作で指示された処理が、拡大処理又は縮小処理であることを特定する(S1602)。
【0101】
操作処理部302は、拡大処理又は縮小処理であることを特定した際に、ゲートロック弁50に対してロック信号を出力する(S1603)。これにより、パイロットライン25が遮断されるので、操作装置26に対する操作が行われた場合でもショベル100の動作が抑制される。
【0102】
表示制御部303は、拡大処理又は縮小処理された画像(後方画像BM又は右方画像RM)を含む画面を表示する(S1604)。操作者は、操作に応じて処理された当該画像を参照することで、ショベル100の周囲の確認が容易になる。
【0103】
そして、操作処理部302は、取得部301が取得した信号に基づいて、ゲートロックレバーDLを再びロック解除状態DLUに入れ直す操作を受け付けたか否かを判定する(S1605)。
【0104】
操作処理部302が、ロック解除状態DLUにする操作を受け付けていないと判定した場合(S1605:NO)、操作処理部302は、取得部301が取得した信号に基づいて、操作装置26の操作を受け付けたか否かを判定する(S1606)。操作装置26の操作を受け付けていないと判定した場合(S1606:NO)、再びS1605から処理を行う。
【0105】
一方、操作処理部302が、操作装置26の操作を受け付けたと判定した場合(S1606:NO)、表示制御部303は、ゲートロックレバーDLをロック解除状態DLUに入れ直す操作を促す表示を行う(S1607)。当該表示は、例えばポップアップ表示等でもよい。
【0106】
S1605において、操作処理部302は、ロック解除状態DLUにする操作を受け付けたと判定した場合(S1605:YES)、操作処理部302は、ゲートロック弁50に対してロック解除信号を出力する(S1608)。
【0107】
さらに、表示制御部303は、後方画像BM及び右方画像RMが元(の拡大率)に戻された画像を表示する(S1609)。
【0108】
本変形例では、後方画像BM又は右方画像RMが、拡大又は縮小された場合に、ロックしてパイロットライン25を遮断することで、ショベル100の動作を抑制する。そして、ロック解除された際に、後方画像BM及び右方画像RMが元に戻されるので、操作者は、後方画像BM及び右方画像RMが元に戻された状態、換言すればショベル100の周囲を把握できる状態で、ショベル100を動作できる。
【0109】
本変形例では、後方画像BM又は右方画像RMが、拡大又は縮小された場合に、ロックしてパイロットライン25を遮断することで、ショベル100の動作を抑制し、ロック解除された際に、後方画像BM及び右方画像RMが元に戻される例について説明した。しかしながら、ゲートロックレバーDLの操作を当該制御に制限するものではない。例えば、縮小又は拡大された場合にロックした後、後方画像BM又は右方画像RMの表示が、操作者からの操作によって元に戻るまで、ゲートロックレバーDLの操作が行われてもロック状態を維持してもよい。そして、操作者からの操作で、後方画像BM又は右方画像RMの表示が元に戻った後、ショベルコントローラ30は、ゲートロックスイッチS9からゲートロック弁50に対してロック解除信号に送信されるように制御する。当該制御としては、例えば、ショベルコントローラ30は、電路E1の導通状態と遮断状態とを切り替える制御によって実現する。さらに、ロックした後に、操作処理部302が、操作装置26の操作を受け付けた場合、表示制御部303は、視点を元に戻す操作を促す表示を行ってもよい。
【0110】
なお、本変形例は、ロック解除する手法を、操作者が再びゲートロックレバーDLを操作してロックを解除する手法に制限するものではない。例えば、ゲートロックレバーDLと別に、(図示しない)解除スイッチが設けられてもよい。操作者によって解除スイッチが押下された場合に、ショベルコントローラ30が、ロック解除信号を、ゲートロック弁50に送信するように制御されてもよい。本変形例が上述した制御を行うことで、第1の実施形態と同様の効果を奏することができる。
【0111】
(第1の実施形態の変形例2)
上述した実施形態及び変形例においては、操作装置26又はゲートロックレバーDLに対して操作が行われた場合に、表示制御部303が、表示画面を戻す制御を行う例について説明した。しかしながら、上述した実施形態は、表示画面を戻す制御を、操作装置26又はゲートロックレバーDLに対して操作が行われた場合に制限するものではない。そこで、変形例2では人を検知した場合に制御する場合について説明する。
【0112】
本変形例では、まず、表示制御部303が、拡大処理又は縮小処理された画像(後方画像BM又は右方画像RM)を含む画面を表示する。そして、ショベルコントローラ30が、撮像装置S6が撮像した画像情報から、人を検知した場合に、後方画像BM及び右方画像RMが元(の拡大率)に戻された画像を表示する。
【0113】
本変形例では、上述した制御を行うことで、操作者は、ショベル100の周囲に存在する人を認識した上で、ショベル100を動作させることができるので、安全性の向上を実現できる。
【0114】
(第2の実施形態)
上述した実施形態又は変形例においては、拡大又は縮小された画像(後方画像BM又は右方画像RM)を、ショベルを動作させる際に元に戻す例について説明した。しかしながら、上述した実施形態又は変形例は、元に戻す画像を、後方画像BM又は右方画像RMに制限するものではない。第2の実施形態においては、仮想3次元空間を任意の視点から表示した画像を、ショベルを動作させる際に元に戻す例について説明する。
【0115】
まず、図7を参照して、本実施形態に係るショベル100(100A)の概要について説明する。図7は、第2の実施形態に係る作業機械としてのショベル100Aの側面図である。図7に示されるショベル100Aは、4個の撮像装置S6が設けられている。具体的には、第1の実施形態で示した後方カメラS6B、左カメラS6L及び右カメラS6Rに加えて、前方カメラS6Fが設けられている。ショベル100Aは、前方カメラS6Fが設けられている以外は、第1の実施形態で示したショベル100と同様として説明を省略する。
【0116】
前方カメラS6Fは、例えば、キャビン10の上面の前端に取り付けられている。前方カメラS6Fは、光軸が斜め下方を向くように、且つ、キャビン10の一部が撮像範囲に含まれるように取り付けられている。前方カメラS6Fの撮像範囲は、例えば、平面視で約180度の視野角を有する。
【0117】
<<ショベルの機能ブロック>>
ショベル100Aのショベルコントローラ30A内の各機能ブロックについて説明する。図8は、ショベル100Aのショベルコントローラ30A内の機能ブロックを例示した図である。なお、ショベルコントローラ30A内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、CPUにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。図8に示されるように、ショベルコントローラ30Aは、プログラムを実現することで、取得部301と、操作処理部302と、三次元空間処理部801と、表示制御部802と、を備える。本実施形態のショベルコントローラ30Aは、第1の実施形態で示したショベルコントローラ30と比べて、三次元空間処理部801が追加された上で、表示制御部303と処理が異なる表示制御部802が設けられている。
【0118】
三次元空間処理部801は、表示装置DIに表示させるための仮想的な3次元空間に関する処理を行う。次に、三次元空間処理部801による処理について説明する。
【0119】
図9は、本実施形態に係る三次元空間処理部801による処理を示した概念図である。図9に示されるように、三次元空間処理部801は、仮想投影面1900を保持する。仮想投影面1900は、図示しない記憶部に記憶されるデータとする。仮想投影面1900を有する3次元空間の点は、座標(X,Y,Z)により定められる。
【0120】
仮想投影面1900は、例えば、地面に沿った底面1901と、底面1901から立ち上がった側面1902と、を有する。底面1901は、ショベル100Aが設置している地面(設置面)に対応している。側面1902は、底面1901の外周からZ軸方向(高さ方向)に立ち上ると共に、外周が広がるように構成された曲面とする。図9に示される例では、底面1901の中心位置近傍にショベル100Aを示す3次元モデル1910が設置されている。そして、図9に示される例では、3次元モデル1910の周囲を取り囲むように側面1902が設けられている。ショベル100Aを示す3次元モデル1910は、ショベル100Aの現在の形状を示したモデルとする。なお、本実施形態は、仮想投影面の一例を示したもので、仮想投影面の形状を図9で示した形状に制限するものではない。例えば、仮想投影面は、円筒形状であってもよい。
【0121】
そして、三次元空間処理部801は、前方カメラS6Fが撮像した画像情報1921、右カメラS6Rが撮像した画像情報1922、後方カメラS6Bが撮像した画像情報1923、及び左カメラS6Lが撮像した画像情報1924を、仮想投影面1900の側面1902に投影する。
【0122】
そして、三次元空間処理部801は、画像情報1921~1924が投影された仮想投影面1950及び3次元モデル1910を含む3次元空間に対して、視点1951から参照した俯瞰画像を生成する。図9に示されるように、視点1951は、3次元モデル1910の中心から上方(+Z軸方向)に位置する。そして、視点1951からの視点方向は、下(-Z軸)方向となる。このように、俯瞰画像は、上記の仮想的な3次元空間に投影された画像情報1921~1924を、視点1951から参照した画像となる。
【0123】
本実施形態においては、視点及び視点方向を、操作者からの操作に応じて切り替え可能とする。そして、視点1951又は視点方向が切り替えられた場合、三次元空間処理部801は、切り替えられた視点及び視点方向に応じた画像を生成する。具体的な画像については後述する。
【0124】
表示制御部802は、表示装置DIに対して画面を表示する制御を行う。本実施形態に係る表示制御部802は、画面を表示する際に、三次元空間処理部801により生成された画像を用いる。
【0125】
次に、三次元空間処理部801により生成された俯瞰画像を表示する画面について説明する。図10は、本実施形態に係る表示装置DIに表示される画面の一例を示す図である。図10に示される画面は、図4に示される画面と同一の構成については、同一の符号を割り当て、説明を省略する。
【0126】
図10に示される画面では、メイン表示領域41Bに、画像表示領域41n'を含んでいる。画像表示領域41n'は、俯瞰画像表示領域41n1'、後方画像表示領域41n2、及び右方画像表示領域41n3を含んでいる。
【0127】
俯瞰画像表示領域41n1'には、俯瞰画像FV'を表示している。俯瞰画像FV'は、上述したように三次元空間処理部801により生成される仮想視点画像である。また、俯瞰画像FV'の中央部分には、3次元モデル1910の上面図形が配置されている。
【0128】
本実施形態に係るタッチパネルセンサS8は、俯瞰画像表示領域41n1'に表示されている俯瞰画像FV'に対して、表示態様(例えば視点)を変更するジェスチャ操作を検知できる。そして、操作処理部302は、検知されたジェスチャ操作に対応する処理を特定する。そして、表示制御部802は、特定された処理に応じて表示画面を更新する。本実施形態では、ジェスチャ操作に対応する処理として、仮想投影面1950及び3次元モデル1910を含む3次元空間における視点の変更処理が含まれる。
【0129】
本実施形態では、視点を仮想投影面1950から遠ざけることで、俯瞰画像FV'の縮小処理を実現でき、視点を仮想投影面1950に近づけることで、俯瞰画像FV'の拡大処理を実現できる。さらに、視点の位置の変更と共に、視点方向を変更してもよい。
【0130】
図11は、本実施形態に係る表示制御部802によって俯瞰画像表示領域41n1'に表示されている俯瞰画像FV'の変化を示した図である。図11で示される表示画面は、俯瞰画像表示領域41n1'以外は、図10と同様とする。
【0131】
図11(A)に示されるように、表示制御部802が表示する表示画面(第1の画面の一例)の俯瞰画像表示領域41n1'には、俯瞰画像FV1'が表示されている。そして、俯瞰画像表示領域41n1'に対して視点を変更するためのスワイプ操作(第1の操作の一例)2111を受け付けた場合に、操作処理部302は、当該スワイプ操作2111を、俯瞰画像表示領域41n1'に表された俯瞰画像FV1'に対する視点の変更として特定する。本実施形態では、視点を変更するためのジェスチャ操作として、俯瞰画像表示領域41n1'に対するスワイプ操作2111を用いた例とする。なお、本実施形態は、視点を変更するためのジェスチャ操作(第2のジェスチャ操作の一例)を、スワイプ操作に制限するものではなく、例えば、ピンチイン操作、又はピンチアウト操作等でもよい。
【0132】
そして、図11(B)に示されるように、表示制御部802は、タッチパネルセンサS8(第1の操作装置の一例)に対するスワイプ操作2111に従って、図11(A)に示した俯瞰画像FV1'を含む画面から、俯瞰画像FV2'を含む画面に切り替えて表示する。
【0133】
図11(B)で示されたように、俯瞰画像FV2'が表示されている場合、画像表示領域41n1に対してスワイプ操作2111を受け付けた場合に、操作処理部302は、画像表示領域41n1に表された俯瞰画像FV2'に対する視点の変更として特定する。そして、図11(A)に示されるように、表示制御部802は、視点の変更の結果として、画像表示領域41n1に元の俯瞰画像FV1'を表示してもよい。
【0134】
図11(B)で示された俯瞰画像FV2'は、操作者の操作に従って視点が変更された画像であるため、ショベル100Aの周辺表示において、死角が生じている可能性がある。
【0135】
そこで、本実施形態においては、操作装置26(第2の操作装置の一例)に対して操作2112が行われた場合に、操作処理部302は、当該操作に対応する駆動制御を特定する。
【0136】
表示制御部802は、画像表示領域41n1に、俯瞰画像として定められた視点と異なる視点からの画像を表示している時に、操作装置26からのショベル100Aを駆動させる操作を受け付けた場合に、図11(A)で示された俯瞰画像FV1'を含む表示画面に戻す制御を行う。
【0137】
本実施形態では、表示画面に対する操作を受け付けるための操作装置が、タッチパネルセンサS8の場合について説明した。しかしながら、本実施形態は、視点を変更する操作を行うための操作装置を、タッチパネルセンサS8に制限するものではない。例えば、表示装置DIを操作するためのボタン等が設けられた操作装置を用いてもよい。
【0138】
本実施形態では、仮想的な3次元空間に投影された画像情報を、視点から参照した画像情報を表示した際に、操作者の操作に応じて視点を変更できるので、操作者は、周囲の状況を確認が容易になるので、利便性の向上を実現できる。さらに、操作装置26からの操作を受け付けた場合に、俯瞰画像FV1'を含む表示画面に戻す制御が行われるので、上述した実施形態と同様の効果を奏することができる。
【0139】
(第2の実施形態の変形例)
上述した第2の実施形態においては、操作装置26(第2の操作装置の一例)に対して操作が行われた場合に、表示制御部802が、俯瞰画像FV1'を含む画面に戻す制御を行う例について説明した。しかしながら、上述した実施形態は、俯瞰画像FV1'を含む画面に戻す制御を、操作装置26(第2の操作装置の一例)に対して操作が行われた場合に制限するものではない。例えば、ショベルコントローラ30は、俯瞰画像FV1'に対して視点を変更する操作が行われた場合にロック状態とし、ゲートロックレバーDLによってロック解除状態DLUに入れ直す操作が行われた場合に、ロック解除状態になるように制御してもよい。具体的な手順は、第1の実施形態の変形例1と同様として説明を省略する。
【0140】
(第3の実施形態)
上述した実施形態においては、ショベルのキャビン内に設けられた表示装置が表示した画面に対してジェスチャ操作を受け付けた際の場合の制御について説明した。しかしながら、上述した実施形態及び変形例は、ショベルのキャビン内に設けられた表示装置が表示した画面に対してジェスチャ操作を受け付けた際に制限するものではない。そこで、第3の実施形態では、ショベルを操作するための遠隔操作システムに適用された場合について説明する。
【0141】
図12を参照して、第3の実施形態に係る遠隔操作システムSYSの概要を説明する。図12は、第3の実施形態に係る遠隔操作システムSYSの一例を示す概要図である。
【0142】
<遠隔操作システムを構成する機器>
図12に示すように、第3の実施形態に係る遠隔操作システムSYSは、ショベル100Bと、遠隔操作室RCと、を含んでいる。ショベル100Bの構成は、第2の実施形態のショベル100Aと同様の構成を備えているものとして、説明を省略する。
【0143】
ショベル100B、及び遠隔操作室RCは、通信回線NTを介してデータの送受信を可能に接続されている。
【0144】
ショベル100Bの無線通信が可能とする。そして、ショベル100Bは、通信回線NTに接続された機器(例えば、遠隔操作室RC)との間でデータの送受信を可能とする。
【0145】
そして、ショベル100Bは、作業現場に関する情報を、遠隔操作室RCに送信できる。これにより、遠隔操作室RCは、ショベル100Bからの情報に応じて、作業現場を確認できる。なお、本実施形態は、作業現場の測定を行う装置を、ショベル100Bに制限するものではなく、作業現場上を飛行するドローン、定点カメラ、又はユーザが所持可能な撮像装置など、他の態様の装置であってもよい。
【0146】
例えば、ショベル100Bには撮像装置S6が設けられている。ショベル100Bは、撮像装置S6による作業現場の撮像結果を示した撮像情報を、遠隔操作室RCに送信する。
【0147】
遠隔操作システムSYSに含まれるショベル100Bは、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムSYSは、複数台のショベル100Bを通じて、遠隔操作室RCに作業現場に関する情報提供を行うことができる。
【0148】
<遠隔操作室の構成例>
遠隔操作室RCは、操作者にショベル100Bを操作させるために様々な情報を表示するショベルの表示装置の一例であって、通信装置T2、遠隔コントローラR30、操作装置R26、操作センサR29、及び表示装置RDIを備えている。また、遠隔操作室RCには、ショベル100Bを遠隔操作する操作者OPが座る操作席DSが設置されている。
【0149】
通信装置T2は、ショベル100Bに取り付けられた通信装置T1との間で通信を制御するように構成されている。
【0150】
遠隔コントローラR30は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラR30は、CPU及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラR30の各種機能は、CPUがメモリに格納されたプログラムを実行することで実現される。
【0151】
表示装置RDIは、遠隔操作室RCにいる操作者OPがショベル100Bの周囲を視認するために、ショベル100Bから送信された情報に基づいた画面を表示する。表示装置RDIは、操作者が遠隔操作室RCにいるにもかかわらず、ショベル100Bの周囲を含む作業現場の状況を確認できる。
【0152】
また、表示装置RDIには、タッチパネルセンサRS8が設けられてもよい。これにより、表示装置RDIに対するジェスチャ操作を検出できる。
【0153】
操作装置R26(操作部の一例)には、操作センサR29が接続されている。操作センサR29は、操作装置R26の操作内容を検出する。操作センサR29は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサR29は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサR29は、検出した操作装置R26の操作内容に関する情報を遠隔コントローラR30に対して出力する。遠隔コントローラR30は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル100Bに向けて送信する。操作センサR29は、操作信号を生成するように構成されていてもよい。この場合、操作センサR29は、遠隔コントローラR30を経由せずに、操作信号を通信装置T2に出力してもよい。これにより、遠隔操作室RCから、ショベル100Bの遠隔操作を実現できる。
【0154】
表示装置RDIには、上述した実施形態と同様の表示画面を表示する。そして、遠隔コントローラR30は、表示装置RDIに表示された画面に対してジェスチャ操作を、タッチパネルセンサRS8を介して受け付ける。これにより、表示装置RDIに表示された画面を変更できる。これにより、遠隔コントローラR30は、例えば、図5又は図11で示した画面の切り替えを実現できる。
【0155】
そして、ジェスチャ操作によって表示装置RDIに表示された画面の表示内容が変更された場合に、遠隔コントローラR30が、操作センサR29からショベル100Bを駆動させる旨を示した操作信号を受け付けた場合に、表示装置RDIに表示された画面を元に戻す制御を行う。元に戻された画面の例は、図5及び図11で示したので説明を省略する。
【0156】
本実施形態は、ショベル100Bの表示装置が遠隔操作室RCの場合について説明した。しかしながら、本実施形態は、ショベル100Bの表示装置を、遠隔操作室RCに制限するものではない。例えば、ショベル100Bの表示装置が、PC、タブレット端末などの携帯通信端末等であってもよい。
【0157】
<作用>
上述した実施形態及び変形例においては、ショベル、又は、遠隔操作システムの遠隔操作室において、操作装置、又はゲートロックレバーからの操作を受け付けた場合に、表示装置に表示されている画面を元に戻す制御を行うことで、ショベル100が動作する際には、操作者が操作する前の画面を表示させることができる。操作者が操作する前の画面は、ショベル100を動作させる際に、ショベル100の周囲を確認できるように設定された画面である。このため、ショベル100の動作時には、予め定められた視界性要件を満たした画面を表示できる。視界性要件とは、例えば、ショベル100を中心として所定の半径(例えば12m)内に存在する人を所定のサイズ(例えば10mm)以上に表示され、且つ、ショベル100の後方について所定の角度(45度)について全て画面に写る等とする。これにより、操作者が、ショベル100を動作させる際に、ショベル100の周囲の状況を適切に認識できるので、安全性の向上を実現できる。
【0158】
上述した実施形態及び変形例においては、作業機械の一例としてショベルを用いた場合について説明した。しかしながら、実施形態及び変形例で示した構成は、作業機械としてショベルに適用させる例に制限するものではなく、例えば、クレーン、フォークリフト等に適用してもよい。
【0159】
以上、ショベル、及びショベルの表示装置の一例を示した実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
【符号の説明】
【0160】
100 ショベル
1 下部走行体
2 旋回機構
3 上部旋回体
4 ブーム
5 アーム
6 バケット
26 操作装置
29 操作センサ
S6 撮像装置
S7 測位装置
S8 タッチパネルセンサ
S9 ゲートロックスイッチ
T1 通信装置
DI 表示装置
DL ゲートロックレバー
30 ショベルコントローラ
301 取得部
302 操作処理部
303、802 表示制御部
801 三次元空間処理部
RC 遠隔操作室
T2 通信装置
RDI 表示装置
R26 操作装置
R29 操作センサ
R30 遠隔コントローラ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12