特開 2023-174148 作業機械の表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023174148

(43)【公開日】2023-12-07

(54)【発明の名称】作業機械の表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の表示方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20231130BHJP

   E02F 3/84 20060101ALI20231130BHJP

   E02F 9/20 20060101ALI20231130BHJP

   H04N 7/18 20060101ALI20231130BHJP

【ＦＩ】

E02F9/26 B

E02F3/84 A

E02F9/20 N

H04N7/18 J

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022086846

(22)【出願日】2022-05-27

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高濱 和久

(72)【発明者】

【氏名】津村 総一

【テーマコード（参考）】

2D003

2D015

5C054

【Ｆターム（参考）】

2D003AA02

2D003AA05

2D003AB04

2D003AC05

2D003BA02

2D003BA04

2D003BA06

2D003BB04

2D003CA02

2D003DA02

2D003DA04

2D003DB04

2D003DB05

2D003FA02

2D015HA03

2D015HB04

2D015HB05

5C054AA02

5C054CA04

5C054CC02

5C054DA07

5C054FD01

5C054FE14

5C054FE17

5C054HA29

(57)【要約】

【課題】作業効率の低下を抑制すること。
【解決手段】作業機械の表示システムは、作業機械の車体に連結されたリッパ作業機の作業対象の３次元データを取得する３次元データ取得部と、作業対象の画像を示す作業対象画像を取得する画像データ取得部と、３次元データとリッパ作業機のシャンクに設けられたリッパ刃先の初期位置とリッパポイントの移動経路とに基づいて、作業対象においてリッパポイントが接触する接触位置を算出する接触位置算出部と、接触位置を示す接触位置画像を生成する接触位置画像生成部と、作業対象画像と接触位置画像とを合成して、表示装置に表示させる表示制御部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

作業機械の車体に連結されたリッパ作業機の作業対象の３次元データを取得する３次元データ取得部と、
前記作業対象の画像を示す作業対象画像を取得する画像データ取得部と、
前記３次元データと前記リッパ作業機のシャンクに設けられたリッパポイントの初期位置と前記リッパポイントの移動経路とに基づいて、前記作業対象において前記リッパポイントが接触する接触位置を算出する接触位置算出部と、
前記接触位置を示す接触位置画像を生成する接触位置画像生成部と、
前記作業対象画像と前記接触位置画像とを合成して、表示装置に表示させる表示制御部と、を備える、
作業機械の表示システム。

【請求項2】

前記表示制御部は、前記リッパポイントが前記作業対象に接触する前に、前記作業対象画像と前記接触位置画像とを合成して、前記表示装置に表示させる、
請求項１に記載の作業機械の表示システム。

【請求項3】

前記作業対象画像と前記接触位置画像とを合成することは、前記作業対象画像に前記接触位置画像を重畳させることを含む、
請求項２に記載の作業機械の表示システム。

【請求項4】

前記初期位置を決定する初期位置決定部を備え、
前記初期位置決定部は、予め定められた前記リッパ作業機の初期姿勢に基づいて、前記初期位置を決定する、
請求項１に記載の作業機械の表示システム。

【請求項5】

前記初期位置を決定する初期位置決定部を備え、
前記初期位置決定部は、前記リッパ作業機の初期姿勢を検出する姿勢センサの検出データに基づいて、前記初期位置を決定する、
請求項１に記載の作業機械の表示システム。

【請求項6】

前記姿勢センサの検出データに基づいて、前記シャンクの少なくとも一部と前記作業対象との間に表示される案内画像を生成する案内画像生成部を備え、
前記表示制御部は、前記作業対象画像と前記案内画像とを合成して、前記表示装置に表示させる、
請求項５に記載の作業機械の表示システム。

【請求項7】

前記接触位置算出部は、予め導出された前記移動経路に基づいて、前記接触位置を算出する、
請求項１に記載の作業機械の表示システム。

【請求項8】

前記リッパ作業機は、前記車体に連結され前記リッパポイントを含むシャンクを上下方向に移動させるリフトシリンダと、前記車体に連結され前記リッパポイントを前後方向に移動させるチルトシリンダと、前記車体と前記シャンクとを連結するリッパアームと、を有し、
前記移動経路は、前記リッパ作業機の構造に基づいて予め導出される、
請求項７に記載の作業機械の表示システム。

【請求項9】

前記３次元データ取得部により取得された前記作業機械が作業する作業現場の３次元データに基づいて、前記作業現場の３次元マップデータを生成するマップデータ生成部と、
前記マップデータ生成部により生成された前記３次元マップデータを記憶するマップデータ記憶部と、を備え、
前記３次元マップデータは、前記作業対象の３次元データを含み、
前記接触位置算出部は、前記マップデータ記憶部に記憶されている前記３次元マップデータに基づいて、前記接触位置を算出する、
請求項１に記載の作業機械の表示システム。

【請求項10】

請求項１から請求項９のいずれか一項に記載の作業機械の表示システムを備え、
前記表示装置は、前記作業機械が作業する作業現場から離れた遠隔地に配置される、
作業機械の遠隔操作システム。

【請求項11】

請求項１から請求項９のいずれか一項に記載の作業機械の表示システムを備える、
作業機械。

【請求項12】

作業機械の車体に連結されたリッパ作業機の作業対象の３次元データを取得することと、
前記作業対象の画像を示す作業対象画像を取得することと、
前記３次元データと前記リッパ作業機のシャンクに設けられたリッパポイントの初期位置と前記リッパポイントの移動経路とに基づいて、前記作業対象において前記リッパポイントが接触する接触位置を算出することと、
前記接触位置を示す接触位置画像を生成することと、
前記作業対象画像と前記接触位置画像とを合成して、表示装置に表示させることと、を含む、
作業機械の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の表示システム、作業機械の遠隔操作システム、作業機械、及び作業機械の表示方法に関する。

【背景技術】

【0002】

作業機械の表示システムに係る技術分野において、特許文献１に開示されているような表示システムが知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１９７０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械の遠隔操作において、操作者が作業機械と作業対象との相対位置を認識することが困難になると、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。

【0005】

本開示は、作業効率の低下を抑制することを目的とする。

【課題を解決するための手段】

【0006】

本開示に従えば、作業機械の車体に連結されたリッパ作業機の作業対象の３次元データを取得する３次元データ取得部と、作業対象の画像を示す作業対象画像を取得する画像データ取得部と、３次元データとリッパ作業機のシャンクに設けられたリッパポイントの初期位置とリッパポイントの移動経路とに基づいて、作業対象においてリッパポイントが接触する接触位置を算出する接触位置算出部と、接触位置を示す接触位置画像を生成する接触位置画像生成部と、作業対象画像と接触位置画像とを合成して、表示装置に表示させる表示制御部と、を備える、作業機械の表示システムが提供される。

【発明の効果】

【0007】

本開示によれば、作業効率の低下が抑制される。

【図面の簡単な説明】

【0008】

【図1】図１は、第１実施形態に係る作業機械の遠隔操作システムを示す模式図である。

【図2】図２は、第１実施形態に係る作業機械を示す側面図である。

【図3】図３は、第１実施形態に係る作業機械を示す背面図である。

【図4】図４は、第１実施形態に係る表示システムを含む遠隔操作システムを示すブロック図である。

【図5】図５は、第１実施形態に係る接触位置の算出方法を説明するための図である。

【図6】図６は、第１実施形態に係る接触位置の算出方法を説明するための図である。

【図7】図７は、第１実施形態に係る表示装置に表示される表示データの一例を示す図である。

【図8】図８は、第１実施形態に係る３次元マップデータの生成方法を示すフローチャートである。

【図9】図９は、第１実施形態に係るリッパ作業機の作業における表示方法を示すフローチャートである。

【図10】図１０は、第１実施形態に係る表示装置に表示される作業対象画像及び接触位置画像を示す図である。

【図11】図１１は、第１実施形態の変形例に係る接触位置画像を示す図である。

【図12】図１２は、第１実施形態の変形例に係る接触位置画像を示す図である。

【図13】図１３は、第１実施形態の変形例に係る接触位置画像を示す図である。

【図14】図１４は、第２実施形態に係る表示システムを含む遠隔操作システムを示すブロック図である。

【図15】図１５は、第２実施形態に係る表示装置に表示される作業対象画像及び接触位置画像を示す図である。

【図16】図１６は、第２実施形態の変形例に係る接触位置画像を示す図である。

【図17】図１７は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示は実施形態に限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0010】

実施形態においては、「左」、「右」、「前」、「後」、「上」、及び「下」の用語を用いて各部の位置関係について説明する。これらの用語は、作業機械１０の中心を基準とした相対位置又は方向を示す。

【0011】

［第１実施形態］
第１実施形態について説明する。

【0012】

＜遠隔操作システム＞
図１は、本実施形態に係る作業機械１０の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場で作業する作業機械１０を遠隔操作する。

【0013】

遠隔操作システム１００の少なくとも一部は、遠隔操作室２００に配置される。遠隔操作室２００は、作業現場から離れた遠隔地に設置される。遠隔操作システム１００は、遠隔操作装置１４０と、表示装置１２０と、コントローラ１１０とを備える。

【0014】

遠隔操作装置１４０は、遠隔操作室２００に配置される。遠隔操作装置１４０は、遠隔操作室２００において操作者に操作される。操作者は、リッパ作業機１１を上下前後に動作させる操作信号を生成するための操作をする。操作者は、走行体３を前進方向、後進方向に走行させる操作信号を生成するための操作をする。操作者は、掘削ブレード２を上下方向に動作させるためにリフトシリンダ６を動作させる操作信号を生成するための操作をする。操作者は、掘削ブレードの傾きを変えるためにチルトシリンダ５を動作させる操作信号を生成するための操作をする。操作者は、操縦シート１５０に着座した状態で、遠隔操作装置１４０を操作することができる。

【0015】

表示装置１２０は、遠隔操作室２００に配置される。表示装置１２０は、作業現場の画像を表示する。遠隔操作室２００の操作者は、表示装置１２０を介して作業現場の状況を視認することができる。

【0016】

操作者は、表示装置１２０に表示される作業現場の画像を見ながら、遠隔操作装置１４０を操作する。作業機械１０は、遠隔操作装置１４０によって遠隔操作される。

【0017】

コントローラ１１０は、遠隔操作室２００に配置される。コントローラ１１０は、コンピュータシステムを含む。

【0018】

作業機械１０は、コントローラ８０を備える。コントローラ８０は、コンピュータシステムを含む。

【0019】

コントローラ１１０とコントローラ８０とは、通信システム４００を介して通信する。通信システム４００として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、又は衛星通信網が例示される。通信システム４００は、通信されるデータを中継する中継局を含んでもよい。

【0020】

＜作業機械＞
図２は、本実施形態に係る作業機械１０を示す側面図である。図３は、本実施形態に係る作業機械１０を示す背面図である。本実施形態においては、作業機械１０がブルドーザであることとする。以下の説明において、作業機械１０を適宜、ブルドーザ１０、と称する。

【0021】

図２及び図３に示すように、ブルドーザ１０は、車体１と、掘削作業機２０と、走行体３と、リッパ作業機１１と、位置センサ３０と、３次元センサ４０と、カメラ５０と、コントローラ８０とを備える。

【0022】

車体１は、キャブ９とエンジン室８とを有する。キャブ９は、車体１の上部且つ後部に配置される。エンジン室８は、キャブ９の前方に配置される。エンジン室８にエンジン２１が収容される。エンジン２１は、ブルドーザ１０の駆動源である。エンジン２１の上方にエンジンフード２２が配置される。車体１の後部に燃料タンク２６が配置される。燃料タンク２６は、キャブ９の後方に配置される。燃料タンク２６の内部に燃料が貯留される。燃料タンク２６からエンジン２１に燃料が供給される。

【0023】

燃料タンク２６の上方に作業台２３が配置される。作業台２３は、キャブ９の後方に配置される。作業台２３にガードレール２４が取り付けられる。作業者は、作業台２３において作業を実施することができる。作業者が実施する作業として、キャブ９の窓の清掃、又は燃料タンク２６のフィルタ交換が例示される。

【0024】

掘削作業機２０は、作業対象の掘削作業又は整地作業を実施する。掘削作業機２０は、車体１に連結される。掘削作業機２０の少なくとも一部は、車体１の前方に配置される。掘削作業機２０は、掘削ブレード２と、フレーム４と、チルトシリンダ５と、リフトシリンダ６とを有する。

【0025】

掘削ブレード２は、車体１の前方に配置される。掘削ブレード２は、切刃２Ｃを有する。フレーム４は、掘削ブレード２を支持する。フレーム４の一端部は、回動機構を介して掘削ブレード２の背面に連結される。フレーム４の他端部は、回動機構を介して走行体３の側部に接続される。フレーム４は、掘削ブレード２の背面の左部に連結される第１のフレーム４と、掘削ブレード２の背面の右部に連結される第２のフレーム４とを含む。

【0026】

チルトシリンダ５及びリフトシリンダ６のそれぞれは、掘削ブレード２を動作させる。チルトシリンダ５は、掘削ブレード２をチルト動作させるために駆動する。リフトシリンダ６は、掘削ブレード２を上下動作させるために駆動する。チルトシリンダ５の一端部は、回動機構を介して掘削ブレード２の背面に連結される。チルトシリンダ５の他端部は、フレーム４の上面に接続される。チルトシリンダ５が伸縮することにより、掘削ブレード２のチルト角が変化する。リフトシリンダ６の一端部は、回動機構を介して掘削ブレード２の背面に連結される。リフトシリンダ６の中間部は、車体１の側部に接続される。リフトシリンダ６が伸縮することにより、掘削ブレード２が上下方向に移動する。

【0027】

走行体３は、車体１を支持して走行する。走行体３は、一対の履帯３Ｃを有する。履帯３Ｃが回転することにより、ブルドーザ１０が走行する。

【0028】

リッパ作業機１１は、作業対象の切削又は破砕のリッピング作業を実施する。例えば、岩石等の砕石作業がある。リッパ作業機１１は、車体１に連結される。リッパ作業機１１の少なくとも一部は、車体１の後方に配置される。リッパ作業機１１は、シャンク１２と、リッパポイント１３と、リッパアーム１４と、チルトシリンダ１５と、リフトシリンダ１６と、ビーム１７とを有する。

【0029】

シャンク１２は、車体１の後方に配置される。シャンク１２は、リッパポイント１３を有する。リッパポイント１３は、リッパの刃先位置を含むシャンク１２の先端部（下端部）に設けられる。リッパアーム１４は、シャンク１２を支持する。リッパアーム１４は、車体１とシャンク１２とを連結する。リッパアーム１４の一端部は、回動機構を介して車体１の後部に連結される。リッパアーム１４の他端部は、ビーム１７に連結される。ビーム１７は、リッパアーム１４に回動可能に連結される。シャンク１２は、ビーム１７を介してリッパアーム１４に連結される。

【0030】

チルトシリンダ１５及びリフトシリンダ１６のそれぞれは、シャンク１２を動作させる。チルトシリンダ１５及びリフトシリンダ１６のそれぞれは、車体１に連結される。チルトシリンダ１５は、シャンク１２をチルト動作させるために駆動する。リフトシリンダ６は、シャンク１２を上下動作させるために駆動する。チルトシリンダ１５の一端部は、回動機構を介してビーム１７に連結される。チルトシリンダ５の他端部は、車体１の後部に連結される。チルトシリンダ１５が伸縮することにより、シャンク１２のチルト角が変化する。チルトシリンダ１５は、リッパポイント１３を前後方向に移動させる。リフトシリンダ１６の一端部は、回動機構を介してビーム１７に連結される。リフトシリンダ１６の他端部は、車体１の後部に連結される。リフトシリンダ１６が伸縮することにより、シャンク１２が上下方向に移動する。リフトシリンダ１６は、リッパポイント１３を含むシャンク１２を上下方向に移動させる。

【0031】

リッパ作業機１１は、リッパポイント１３を作業対象に突き刺す。走行体３が停止中にリッパポイント１３を作業対象に接触させ、リッパポイント１３が作業対象に突き刺された状態で走行体３が走行することにより、作業対象が切削又は破砕される。走行体３が走行中に、リッパ作業機１１を上下前後方向に移動させながら、作業対象に接触させ、作業対象を突き刺した状態で走行し切削又は破砕させる。

【0032】

位置センサ３０は、ブルドーザ１０の位置を検出する。位置センサ３０は、全地球的衛星測位システム（Global Navigation Satellite System：ＧＮＳＳ）を利用して、グローバル座標系におけるブルドーザ１０の位置を検出する。位置センサ３０は、車体１に設けられたＧＮＳＳ受信機を含む。

【0033】

３次元センサ４０は、検出対象の表面までの距離を検出する。３次元センサ４０は、検出対象の表面の複数の検出点のそれぞれとの相対距離を検出することにより、検出対象の表面の３次元データを検出する。３次元データは、複数の検出点からなる点群データを含む。３次元データは、３次元センサ４０と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。３次元センサ４０は、検出対象の３次元形状を示す３次元データを検出する。３次元センサ４０として、レーザ光を射出することにより検出対象を検出するレーザセンサ（ＬＩＤＡＲ：Light Detection and Ranging）が例示される。なお、３次元センサ４０は、赤外光を射出することにより検出対象を検出する赤外線センサ又は電波を射出することにより検出対象を検出するレーダセンサ（ＲＡＤＡＲ：Radio Detection and Ranging）でもよい。なお、３次元センサ４０は、ステレオカメラのような３次元カメラでもよい。

【0034】

３次元センサ４０は、ブルドーザ１０の作業現場の３次元データを検出する。作業現場の３次元データは、作業現場の地形（地表の形状）の３次元データを含む。作業現場の３次元データは、リッパ作業機１１の作業対象の３次元データを含む。

【0035】

カメラ５０は、撮像対象を撮像する。カメラ５０は、単眼カメラのような２次元カメラである。カメラ５０は、可視光カメラでもよいし、赤外線カメラでもよい。カメラ５０により取得される画像は、動画でもよいし静止画でもよい。３次元センサ４０がステレオカメラである場合、ステレオカメラをカメラ５０としてもよい。

【0036】

カメラ５０は、ブルドーザ１０の作業現場を撮像して、作業現場の画像を取得する。作業現場の画像は、作業現場の地形（地表の形状）の画像を含む。作業現場の画像は、リッパ作業機１１の作業対象の画像を含む。作業現場の画像は、リッパ作業機１１の少なくとも一部の画像を含む。

【0037】

３次元センサ４０は、ブルドーザ１０に複数配置される。本実施形態において、３次元センサ４０は、ブルドーザ１０に４つ配置される。３次元センサ４０は、第１の３次元センサ４１と、第２の３次元センサ４２と、第３の３次元センサ４３と、第４の３次元センサ４４とを含む。

【0038】

カメラ５０は、ブルドーザ１０に複数配置される。本実施形態において、カメラ５０は、ブルドーザ１０に４つ配置される。カメラ５０は、第１のカメラ５１と、第２のカメラ５２と、第３のカメラ５３と、第４のカメラ５４とを含む。

【0039】

３次元センサ４１は、車体１の前方の検出対象を検出する。カメラ５１は、車体１の前方の撮像対象を撮像する。３次元センサ４１の検出範囲とカメラ５１の撮像範囲の少なくとも一部とは、重複する。３次元センサ４１とカメラ５１とは、相互に隣接するように配置されてもよいし、離れた位置に配置されてもよい。本実施形態において、３次元センサ４１は、エンジンフード２２から上方に突出する支持部材７に支持される。カメラ５１は、車体１の車幅中央に位置し、キャブ９の上方に設置される。

【0040】

３次元センサ４２は、車体１の後方の検出対象を検出する。カメラ５２は、車体１の後方の撮像対象を撮像する。３次元センサ４２の検出範囲とカメラ５２の撮像範囲の少なくとも一部とは、重複する。３次元センサ４２とカメラ５２とは、相互に隣接するように配置される。本実施形態において、３次元センサ４２及びカメラ５２は、キャブ９の後部に配置される。

【0041】

３次元センサ４３は、リッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を検出する。３次元センサ４３は、少なくともリッパポイント１３及びリッパポイント１３が突き刺さる作業対象を検出する。カメラ５３は、リッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を撮像する。カメラ５３は、少なくともリッパポイント１３及びリッパポイント１３が突き刺さる作業対象を撮像する。３次元センサ４３とカメラ５３とは、相互に隣接するように配置される。本実施形態において、３次元センサ４３及びカメラ５３は、車体１の後部に配置される。３次元センサ４３及びカメラ５３は、左右方向において車体１の中央部に配置される。

【0042】

３次元センサ４４は、リッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を検出する。３次元センサ４４は、少なくともリッパポイント１３及びリッパポイント１３が突き刺さる作業対象を検出する。カメラ５４は、リッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を撮像する。カメラ５４は、少なくともリッパポイント１３及びリッパポイント１３が突き刺さる作業対象を撮像する。３次元センサ４４の検出範囲とカメラ５４の撮像範囲の少なくとも一部とは、重複する。３次元センサ４４とカメラ５４とは、相互に隣接するように配置される。３次元センサ４４は、３次元センサ４３とは異なる方向からリッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を検出する。カメラ５４は、カメラ５３とは異なる方向からリッパ作業機１１の少なくとも一部及びリッパ作業機１１の作業対象を検出する。本実施形態において、３次元センサ４４及びカメラ５４は、車体１の左部の後部に配置される。

【0043】

＜表示システム＞
図４は、本実施形態に係る表示システム３００を含む遠隔操作システム１００を示すブロック図である。図４に示すように、遠隔操作システム１００は、遠隔操作室２００に配置される通信装置４０１と、通信装置４０１に接続されるコントローラ１１０と、コントローラ１１０に接続される遠隔操作装置１４０と、コントローラ１１０に接続される表示装置１２０とを備える。また、遠隔操作システム１００は、ブルドーザ１０に配置される通信装置４０２と、通信装置４０２に接続されるコントローラ８０と、コントローラ８０に接続される位置センサ３０と、コントローラ８０に接続される３次元センサ４０と、コントローラ８０に接続されるカメラ５０と、コントローラ８０により制御される走行体３と、コントローラ８０により制御される掘削作業機２０と、コントローラ８０により制御されるリッパ作業機１１とを有する。

【0044】

なお、図４に示す例では、遠隔操作装置１４０の接続先と表示装置１２０の接続先が共通のコントローラ１１０になっているが、別々のコントローラでもよい。同様に車載側のコントローラ８０についても、位置センサ３０、３次元センサ４０、及びカメラ５０に接続されるコントローラと、走行体３、掘削作業機２０、及びリッパ作業機１１を制御するコントローラとが、別々のコントローラでもよい。

【0045】

コントローラ８０は、走行体制御部８１と、掘削作業機制御部８２と、リッパ作業機制御部８３と、位置データ送信部８４と、３次元データ送信部８５と、画像データ送信部８６とを有する。

【0046】

走行体制御部８１は、コントローラ１１０から送信された遠隔操作装置１４０の操作信号を受信する。走行体制御部８１は、遠隔操作装置１４０の操作信号に基づいて、走行体３を制御する制御信号を出力する。

【0047】

掘削作業機制御部８２は、コントローラ１１０から送信された遠隔操作装置１４０の操作信号を受信する。掘削作業機制御部８２は、遠隔操作装置１４０の操作信号に基づいて、掘削作業機２０を制御する制御信号を出力する。掘削作業機２０を制御する制御信号は、チルトシリンダ５及びリフトシリンダ６を制御する制御信号を含む。

【0048】

リッパ作業機制御部８３は、コントローラ１１０から送信された遠隔操作装置１４０の操作信号を受信する。リッパ作業機制御部８３は、遠隔操作装置１４０の操作信号に基づいて、リッパ作業機１１を制御する制御信号を出力する。リッパ作業機１１を制御する制御信号は、チルトシリンダ１５及びリフトシリンダ１６を制御する制御信号を含む。

【0049】

位置データ送信部８４は、１つ又は複数の位置センサ３０により検出されたブルドーザ１０の位置をコントローラ１１０に送信する。

【0050】

３次元データ送信部８５は、３次元センサ４０により検出された３次元データをコントローラ１１０に送信する。

【0051】

画像データ送信部８６は、カメラ５０により撮像された画像をコントローラ１１０に送信する。

【0052】

通信装置４０２は、通信システム４００を介して通信装置４０１と通信する。通信装置４０２は、通信装置４０１を介してコントローラ１１０から送信された遠隔操作装置１４０の操作信号を受信して、コントローラ８０に出力する。通信装置４０２は、位置データ送信部８４から受信した位置、３次元データ送信部８５から受信した３次元データ、及び画像データ送信部８６から受信した画像を遠隔地の通信装置４０１に送信する。

【0053】

通信装置４０１は、通信システム４００を介して通信装置４０２と通信する。通信装置４０１は、遠隔操作装置１４０が操作されることにより生成された操作信号を通信装置４０２に送信する。通信装置４０１は、通信装置４０２を介してコントローラ８０から送信された位置データ、３次元データ、及び画像を受信して、コントローラ１１０に出力する。

【0054】

コントローラ１１０は、操作信号送信部１０１と、位置データ取得部１０２と、３次元データ取得部１０３と、画像データ取得部１０４と、初期位置決定部１０５と、接触位置算出部１０６と、接触位置画像生成部１０７と、マップデータ生成部１０８と、表示制御部１０９と、マップデータ記憶部１１１とを有する。

【0055】

なお、マップデータ生成部１０８は、車載側のコントローラ８０に搭載されてもよい。

【0056】

操作信号送信部１０１は、ブルドーザ１０を遠隔操作する操作信号を送信する。遠隔操作装置１４０が操作者に操作されることにより、ブルドーザ１０を遠隔操作する操作信号が生成される。操作信号送信部１０１は、遠隔操作装置１４０の操作信号をコントローラ８０に送信する。

【0057】

位置データ取得部１０２は、位置センサ３０により検出されたブルドーザ１０の位置をコントローラ８０から取得する。

【0058】

３次元データ取得部１０３は、３次元センサ４０により検出されたリッパ作業機１１の作業対象の３次元データをコントローラ８０から取得する。３次元データは、作業開始前に過去に取得したデータでもよいし、ドローン等で事前に取得した３次元データでもよい。

【0059】

画像データ取得部１０４は、カメラ５０により撮像されたリッパ作業機１１の作業対象の画像を示す作業対象画像をコントローラ８０から取得する。

【0060】

初期位置決定部１０５は、リッパ作業機１１のシャンク１２に設けられたリッパポイント１３の初期位置を決定する。リッパポイント１３の初期位置は、リッパポイント１３の先端部１３Ｔの初期位置を含む。本実施形態において、初期位置決定部１０５は、予め定められたリッパ作業機１１の初期姿勢に基づいて、リッパポイント１３の初期位置を決定する。本実施形態において、リッパ作業機１１の初期姿勢は、リフトシリンダ１６の可動範囲においてリフトシリンダ１６が最も伸び、チルトシリンダ１５の可動範囲においてチルトシリンダ１５が最も縮んだときの姿勢に定められる。すなわち、本実施形態において、リッパ作業機１１の初期姿勢は、リッパポイント１３の可動範囲においてリッパポイント１３の先端部１３Ｔが最も上方且つ最も後方に配置されたときの姿勢に定められる。以下の説明において、リッパ作業機１１の初期姿勢を適宜、最大チルトバック姿勢、と称する。

【0061】

接触位置算出部１０６は、作業対象の３次元データと、初期位置決定部１０５により決定されたリッパポイント１３の初期位置と、リッパポイント１３の先端部１３Ｔの移動経路とに基づいて、作業対象においてリッパポイント１３の先端部１３Ｔが接触する接触位置を算出する。

【0062】

図５及び図６のそれぞれは、本実施形態に係る接触位置Ｒｐの算出方法を説明するための図である。図５は、走行体３の接地面が接触する地表と作業対象ＯＢとが実質的に同一平面内に配置されている例を示す。図６は、走行体３の接地面が接触する地表に対して作業対象ＯＢが傾斜している例を示す。図５及び図６のそれぞれにおいて、３次元センサ４０は、ブルドーザ１０に規定されるローカル座標系における作業対象ＯＢの３次元データを検出することができる。

【0063】

リッパポイント１３を作業対象ＯＢに突き刺すリッパ作業を実施する場合、操作者は、リッパ作業機１１を最大チルトバック姿勢にした後、チルトシリンダ１５が伸縮せずリフトシリンダ１６が縮むように遠隔操作装置１４０を操作する場合が多い。すなわち、リッパ作業におけるリッパ作業機１１の動作は、概ね定型化されている。

【0064】

リッパ作業機制御部８３は、遠隔操作装置１４０の操作信号に基づいて、リッパ作業機１１が最大チルトバック姿勢の状態から、チルトシリンダ１５を駆動させることなくリフトシリンダ１６を縮める。リッパ作業機１１が最大チルトバック姿勢の状態からリフトシリンダ１６が縮まることにより、リッパポイント１３が下方に移動して、作業対象ＯＢに接近する。

【0065】

リッパ作業機１１が最大チルトバック姿勢の状態からリッパポイント１３が作業対象ＯＢに突き刺さるまでのリッパポイント１３の先端部１３Ｔの移動経路Ｔｒは、リッパ作業機１１の構造に基づいて予め導出することができる。半円弧の軌跡や楕円形の軌跡である移動経路Ｔｒを通って、リッパポイント１３が作業対象に接触する。上述のように、リッパ作業におけるリッパ作業機１１の動作が概ね定型化されている。リッパポイント１３を作業対象ＯＢに突き刺すリッパ作業においては、リッパ作業機１１が最大チルトバック姿勢の状態からリフトシリンダ１６が駆動されるので、接触位置算出部１０６は、リッパ作業機１１の構造に基づいて、移動経路Ｔｒを予め導出することができる。接触位置算出部１０６は、作業対象ＯＢの表面の３次元データと、先端部１３Ｔの初期位置と、予め導出された先端部１３Ｔの移動経路Ｔｒとに基づいて、作業対象ＯＢの表面におけるリッパポイント１３の先端部１３Ｔの接触位置Ｒｐを算出することができる。

【0066】

接触位置画像生成部１０７は、接触位置算出部１０６により算出された接触位置Ｒｐを示す接触位置画像を生成する。

【0067】

マップデータ生成部１０８は、ブルドーザ１０が作業する作業現場の３次元マップデータを生成する。３次元マップデータは、作業対象ＯＢの３次元データを含む。マップデータ生成部１０８は、位置データ取得部１０２により取得されたブルドーザ１０の位置と、３次元データ取得部１０３により取得された作業現場の３次元データとに基づいて、作業現場の３次元マップデータを生成することができる。マップデータ生成部１０８において生成された３次元マップデータは、マップデータ記憶部１１１に記憶される。

【0068】

本実施形態において、接触位置算出部１０６は、マップデータ記憶部１１１に記憶されている３次元マップデータに基づいて、接触位置Ｒｐを算出する。なお、接触位置算出部１０６は、３次元データ取得部１０３により取得された作業対象ＯＢの３次元データに基づいて、接触位置Ｒｐを算出してもよい。

【0069】

表示制御部１０９は、作業対象画像と接触位置画像とを合成して、表示装置１２０に表示させる。

【0070】

＜表示装置の表示例＞
図７は、本実施形態に係る表示装置１２０に表示される表示データの一例を示す図である。

【0071】

表示制御部１０９は、表示装置１２０に複数の分割表示画面を設定する。図７に示すように、表示装置１２０には、複数の分割表示画面として、前方表示画面１２１と、後方表示画面１２２と、第１リッパ表示画面１２３と、第２リッパ表示画面１２４とが設定される。前方表示画面１２１には、カメラ５１により撮像された画像が表示される。後方表示画面１２２には、カメラ５２により撮像された画像が表示される。第１リッパ表示画面１２３には、カメラ５３により撮像された画像が表示される。第２リッパ表示画面１２４には、カメラ５４により撮像された画像が表示される。

【0072】

また、表示制御部１０９は、表示装置１２０の一部に、アイコン１３１、傾斜計１３２、及び傾斜インジケータ１３３を表示させる。傾斜計１３２及び傾斜インジケータ１３３は、水平面に対するブルドーザ１０のピッチ角及びロール角を表示する。

【0073】

＜３次元マップデータ＞
図８は、本実施形態に係る３次元マップデータの生成方法を示すフローチャートである。本実施形態においては、リッパ作業機１１のリッパ作業が実施される前に、作業現場の３次元マップデータが生成される。

【0074】

ブルドーザ１０は、作業現場を走行する。ブルドーザ１０が作業現場を走行するときのブルドーザ１０の位置は、位置センサ３０により検出される。３次元センサ４０は、ブルドーザ１０が作業現場を走行するときに、ブルドーザ１０の周辺の作業現場の３次元データを検出する。３次元データ取得部１０３は、作業現場の３次元データを３次元センサ４０から取得する。位置データ取得部１０２は、３次元データが検出されたときのブルドーザ１０の位置を位置センサ３０から取得する（ステップＳＡ１）。

【0075】

マップデータ生成部１０８は、位置データ取得部１０２により取得されたブルドーザ１０の位置と、３次元データ取得部１０３により取得された作業現場の３次元データとに基づいて、作業現場の３次元マップデータを生成する（ステップＳＡ２）。

【0076】

３次元センサ４０により検出される３次元データは、３次元センサ４０と検出対象に規定される複数の検出点のそれぞれとの相対距離及び相対位置を含む。３次元データは、ブルドーザ１０のローカル座標系において規定される。ブルドーザ１０の位置は、グローバル座標系において規定される。そのため、マップデータ生成部１０８は、ブルドーザ１０の位置と３次元データ取得部１０３により取得された作業現場の３次元データとに基づいて、グローバル座標系において規定される３次元マップデータを生成することができる。また、マップデータ生成部１０８は、座標変換することにより、ローカル座標系において規定される３次元マップデータを生成することもできる。

【0077】

マップデータ記憶部１１１は、ステップＳＡ２において生成された３次元マップデータを記憶する（ステップＳＡ３）。

【0078】

マップデータ記憶部１１１に記憶される３次元マップデータは、作業現場の全部の３次元マップデータでもよいし、作業現場の一部の３次元マップデータでもよい。

【0079】

＜表示方法＞
図９は、本実施形態に係るリッパ作業機１１の作業における表示方法を示すフローチャートである。

【0080】

リッパ作業機１１のリッパ作業を開始する場合、３次元データ取得部１０３は、マップデータ記憶部１１１に記憶されている３次元マップデータから、リッパ作業機１１の作業対象ＯＢの３次元データを取得する。３次元データ取得部１０３は、リッパ作業が開始されるときの位置センサ３０の検出データに基づいて、マップデータ記憶部１１１に記憶されている作業現場の３次元マップデータから、リッパ作業機１１の作業対象ＯＢの３次元データを抽出することができる。また、リッパ作業を開始する場合、画像データ取得部１０４は、少なくともカメラ５３から画像データを取得する。カメラ５３により撮像される画像は、少なくともリッパポイント１３の画像及びリッパ作業機１１の作業対象ＯＢの画像を含む（ステップＳＢ１）。

【0081】

初期位置決定部１０５は、予め定められた最大チルトバック姿勢に基づいて、リッパポイント１３の先端部１３Ｔの初期位置を決定する（ステップＳＢ２）。

【0082】

接触位置算出部１０６は、ステップＳＢ１において取得された作業対象ＯＢの３次元データと、ステップＳＢ２において決定されたリッパポイント１３の先端部１３Ｔの初期位置と、リッパ作業機１１の構造に基づいて予め導出されるリッパポイント１３の先端部１３Ｔの移動経路Ｔｒとに基づいて、作業対象ＯＢにおいてリッパポイント１３の先端部１３Ｔが接触する接触位置Ｒｐを算出する（ステップＳＢ４）。

【0083】

接触位置画像生成部１０７は、接触位置Ｒｐを示す接触位置画像を生成する（ステップＳＢ４）。

【0084】

表示制御部１０９は、作業対象画像と接触位置画像とを合成して、表示装置１２０に表示させる（ステップＳＢ５）。

【0085】

図１０は、本実施形態に係る表示装置１２０に表示される作業対象画像及び接触位置画像６１を示す図である。図１０に示すように、表示制御部１０９は、リッパ作業機１１を示す作業機画像と、作業対象ＯＢを示す作業対象画像と、接触位置Ｒｐを示す接触位置画像６１とを合成して、表示装置１２０に表示させる。

【0086】

表示制御部１０９は、リッパポイント１３が作業対象ＯＢに接触する前に、作業機画像と作業対象画像と接触位置画像６１とを合成して、表示装置１２０に表示させる。作業対象画像と接触位置画像６１とを合成することは、作業対象画像に接触位置画像６１を重畳させることを含む。接触位置画像６１は、作業対象ＯＢの表面に沿うように表示される。

【0087】

本実施形態において、接触位置画像６１は、左右方向に延びるように線状に表示される。左右方向における接触位置画像６１の寸法は、例えばリッパポイント１３の寸法と等しくてもよい。

【0088】

なお、本実施形態において、表示制御部１０９は、作業対象ＯＢの表面に沿った格子画像６５を表示装置１２０に表示させる。格子画像６５は、複数の第１線画像６６と、複数の第２線画像６７とを含む。複数の第１線画像６６は、左右方向に間隔をあけて表示される。複数の第２線画像６７は、前後方向に間隔をあけて表示される。第１線画像６６と第２線画像６７とは、交差する。

【0089】

＜効果＞
以上説明したように、本実施形態において、ブルドーザ１０の表示システム３００は、ブルドーザ１０の車体１に連結されたリッパ作業機１１の作業対象ＯＢの３次元データを取得する３次元データ取得部１０３と、作業対象ＯＢの画像を示す作業対象画像を取得する画像データ取得部１０４と、３次元データとリッパ作業機１１のシャンク１２に設けられたリッパポイント１３の初期位置とリッパポイント１３の移動経路Ｔｒとに基づいて、作業対象ＯＢにおいてリッパポイント１３が接触する接触位置Ｒｐを算出する接触位置算出部１０６と、接触位置Ｒｐを示す接触位置画像６１を生成する接触位置画像生成部１０７と、作業対象画像と接触位置画像６１とを合成して、表示装置１２０に表示させる表示制御部１０９と、を備える。

【0090】

本実施形態によれば、リッパポイント１３が作業対象ＯＢに接触する前に、作業対象ＯＢにおいてリッパポイント１３が接触する接触位置Ｒｐが算出され、接触位置Ｒｐを示す接触位置画像６１が作業対象画像に重畳された状態で表示装置１２０に表示されるので、ブルドーザ１０を遠隔操作する操作者は、リッパポイント１３が作業対象ＯＢに接触する前に、作業対象ＯＢに対する接触位置画像６１の接触位置を見ることで、リッパポイント１３が接触する位置を認識できる。またリッパポイント１３と接触位置画像６１の接触する位置の間隔を見ることで、リッパポイント１３と作業対象ＯＢとの相対位置を認識することができる。これにより、作業効率の低下が抑制される。

【0091】

本実施形態において、表示システム３００は、リッパポイント１３の初期位置を決定する初期位置決定部１０５を備える。初期位置決定部１０５は、予め定められたリッパ作業機１１の初期姿勢に基づいて、リッパポイント１３の初期位置を決定する。

【0092】

リッパポイント１３を作業対象ＯＢに突き刺すリッパ作業においては、リッパ作業機１１が初期姿勢として最大チルトバック姿勢になるように操作される場合が多い。初期位置決定部１０５は、予め定められたリッパ作業機１１の最大チルトバック姿勢に基づいて、リッパポイント１３の初期位置を決定することができる。例えばリッパ作業機１１の初期姿勢を検出するための姿勢センサをブルドーザ１０に設けることなく、リッパポイント１３の初期位置が決定される。

【0093】

本実施形態において、接触位置算出部１０６は、予め導出された移動経路Ｔｒに基づいて、接触位置Ｒｐを算出する。

【0094】

リッパ作業においては、リッパ作業機１１が最大チルトバック姿勢になるように操作された後、チルトシリンダ１５が駆動されず、リフトシリンダ１６が駆動される場合が多い。そのため、移動経路Ｔｒは、リッパ作業機１１の構造に基づいて、予め導出可能である。接触位置算出部１０６は、予め導出された移動経路Ｔｒに基づいて、接触位置Ｒｐを算出することができる。

【0095】

本実施形態において、マップデータ生成部１０８により作業現場の３次元マップデータが生成される。接触位置算出部１０６は、マップデータ記憶部１１１に記憶されている３次元マップデータから作業対象ＯＢの３次元データを抽出して、接触位置Ｒｐを算出する。これにより、接触位置算出部１０６は、接触位置Ｒｐを適正に算出することができる。リッパ作業において、３次元センサ４０からリアルタイムに送信された３次元データに基づいて接触位置Ｒｐを算出する場合、通信システム４００の遅延が生じると、接触位置算出部１０６は、接触位置Ｒｐを適正に算出することが困難になる可能性がある。作業現場の３次元マップデータがリッパ作業の開始前に予め生成され、リッパ作業においては、マップデータ記憶部１１１に記憶されている３次元マップデータから作業対象ＯＢの３次元データが抽出されることにより、接触位置算出部１０６は、接触位置Ｒｐを適正に算出することができる。

【0096】

なお、通信システム４００の遅延の原因として、車体の急な方向転換、車体直下の地形情報をセンサで取得できないこと、車体が前進時、車体の前側カメラや前側センサで取得したデータをリッパ側のデータとして用いること等が例示される。

【0097】

＜変形例＞
図１１は、本実施形態の変形例に係る接触位置画像６１Ｂを示す図である。図１１に示すように、接触位置画像６１Ｂは、先端部１３Ｔの接触位置Ｒｐを示すように点状に表示されてもよい。表示形態は点状によらず、丸印、十字印、楕円形状など任意の形状でよい。

【0098】

図１２は、本実施形態の変形例に係る接触位置画像６１Ｃを示す図である。図１２に示す例において、リッパ作業機１１Ｂは、左右方向に配置された複数のリッパポイント１３を有する。図１２に示す例において、リッパポイント１３は、左右方向に間隔をあけて３つ配置される。接触位置画像６１Ｃは、複数の先端部１３Ｔの接触位置Ｒｐのそれぞれを繋ぐように線状に表示されてもよい。

【0099】

図１３は、本実施形態の変形例に係る接触位置画像６１Ｄを示す図である。図１３に示す例において、リッパ作業機１１Ｂは、左右方向に配置された複数のリッパポイント１３を有する。図１３に示す例において、リッパポイント１３は、左右方向に間隔をあけて３つ配置される。接触位置画像６１Ｄは、複数の先端部１３Ｔの接触位置Ｒｐのそれぞれを示すように点状に表示されてもよい。表示形態は点状によらず、丸印、十字印、楕円形状など任意の形状でよい。

【0100】

［第２実施形態］
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その構成要素の説明を簡略又は省略する。

【0101】

図１４は、本実施形態に係る表示システム３００を含む遠隔操作システム１００を示すブロック図である。本実施形態において、ブルドーザ１０に姿勢センサ３１が設けられる。姿勢センサ３１は、リッパ作業機１１の姿勢を検出する。姿勢センサ３１は、リッパ作業機１１の初期姿勢を検出することができる。姿勢センサ３１として、チルトシリンダ１５及びリフトシリンダ１６のそれぞれに設けられたストロークセンサが例示される。チルトシリンダ１５に設けられたストロークセンサは、チルトシリンダ１５の伸縮量を示す第１ストローク長を検出する。リフトシリンダ１６に設けられたストロークセンサは、リフトシリンダ１６の伸縮量を示す第２ストローク長を検出する。なお、姿勢センサ３１は、例えばシャンク１２に設けられた慣性計測装置（ＩＭＵ：Inertial Measurement Unit）でもよい。

【0102】

コントローラ８０は、姿勢センサ３１の検出データをコントローラ１１０に送信する姿勢データ送信部８７を有する。姿勢データ送信部８７は、姿勢センサ３１により検出されたリッパ作業機１１の初期姿勢を示す初期姿勢データをコントローラ１１０に送信する。初期姿勢は最大チルトバック姿勢であってもよいし、リッピング作業時のリッパポイント１３でもあってもよい。

【0103】

本実施形態において、リッパ姿勢を計測できるセンサが搭載されており、センサからリッパポイント１３の位置が確認できる。よって、初期姿勢は段落００５８の最大チルトバック姿勢に関わらずリッピング作業中のリッパポイント１３でもよい。

【0104】

本実施形態において、初期位置決定部１０５は、リッパ作業機１１の初期姿勢を検出する姿勢センサ３１の検出データに基づいて、リッパポイント１３の初期位置を決定する。接触位置算出部１０６は、作業対象ＯＢの３次元データと、姿勢センサ３１の検出データに基づいて決定されたリッパポイント１３の初期位置と、リッパ作業機１１の構造及びリフトシリンダ１６の伸縮動作から導出されるリッパポイント１３の移動経路Ｔｒとに基づいて、作業対象ＯＢにおいてリッパポイント１３が接触する接触位置Ｒｐを算出する。

【0105】

本実施形態において、コントローラ１１０は、姿勢センサ３１の検出データに基づいて、シャンク１２の少なくとも一部と作業対象ＯＢとの間に表示される案内画像６２を生成する案内画像生成部１１２を有する。案内画像６２は、作業対象とリッパポイント１３を結ぶ線画像である。案内画像６２の線分は、リッパポイントから作業対象に対し鉛直方向に延びた線でも良いし、リッパポイントの接線方向でありリッパポイント１３と作業対象面に向けた線でも良い。表示制御部１０９は、作業対象画像と案内画像と接触位置画像を合成して、表示装置１２０に表示させる。

【0106】

図１５は、本実施形態に係る表示装置１２０に表示される作業対象画像及び接触位置画像６１を示す図である。図１５に示すように、案内画像生成部１１２は、第１の案内画像６２と、第２の案内画像６３とを生成する。案内画像６２及び案内画像６３のそれぞれは、線状である。案内画像６２の少なくとも一部は、リッパポイント１３の右端部と作業対象ＯＢの表面にあるリッパ刃先が接触する位置との間に表示される。案内画像６３の少なくとも一部は、リッパポイント１３の左端部と作業対象ＯＢの表面にあるリッパ刃先が接触する位置との間に表示される。

【0107】

本実施形態において、接触位置画像６１は、左右方向に延びるように線状に表示される。左右方向における接触位置画像６１の寸法は、リッパポイント１３の寸法と等しい。案内画像６２は、リッパポイント１３の右端部と接触位置画像６１の右端部とを繋ぐように表示される。案内画像６３は、リッパポイント１３の左端部と接触位置画像６１の左端部とを繋ぐように表示される。

【0108】

リッパポイント１３の位置に基づいて、表示装置１２０において、案内画像６２及び案内画像６３のそれぞれが変化する。リッパポイント１３が作業対象ＯＢに接近すると、案内画像６２及び案内画像６３のそれぞれが短くなる。リッパポイント１３が作業対象ＯＢから離隔すると、案内画像６２及び案内画像６３のそれぞれが長くなる。本実施形態において、リッパ作業機１１の姿勢が姿勢センサ３１により検出される。案内画像生成部１１２は、姿勢センサ３１の検出データと作業対象ＯＢの３次元データとに基づいて、リッパポイント１３と作業対象ＯＢとの相対位置を算出することができる。案内画像生成部１１２は、作業対象ＯＢに対するリッパポイント１３の位置に基づいて、案内画像６２がリッパポイント１３の右端部と接触位置画像６１の右端部とを繋ぎ続けるように、案内画像６２の長さを変化させることができる。同様に、案内画像生成部１１２は、作業対象ＯＢに対するリッパポイント１３の位置に基づいて、案内画像６３がリッパポイント１３の左端部と接触位置画像６１の右端部とを繋ぎ続けるように、案内画像６３の長さを変化させることができる。

【0109】

＜効果＞
以上説明したように、本実施形態において、リッパ作業機１１の初期姿勢を検出する姿勢センサ３１が設けられる。初期位置決定部１０５は、姿勢センサ３１の検出データに基づいて、リッパポイント１３の初期位置を決定する。これにより、リッパ作業機１１が最大チルトバック姿勢に操作されなくても、初期位置決定部１０５は、姿勢センサ３１により検出されたリッパ作業機１１の初期姿勢に基づいて、リッパポイント１３の初期位置を決定することができる。

【0110】

本実施形態において、案内画像生成部１１２は、姿勢センサ３１の検出データに基づいて、案内画像６２及び案内画像６３を生成する。案内画像生成部１１２は、姿勢センサ３１の検出データと作業対象ＯＢの３次元データとに基づいて、リッパポイント１３と作業対象ＯＢとの相対位置を算出することができる。案内画像生成部１１２は、作業対象ＯＢに対するリッパポイント１３の位置に基づいて、案内画像６２及び案内画像６３を変化させることができる。

【0111】

＜変形例＞
図１６は、本実施形態の変形例に係る接触位置画像６１Ｃを示す図である。図１２に示した例と同様、リッパ作業機１１Ｂは、左右方向に配置された複数のリッパポイント１３を有する。接触位置画像６１Ｃは、複数の先端部１３Ｔの接触位置Ｒｐのそれぞれを繋ぐように線状に表示される。案内画像６２Ｃは、複数のリッパポイント１３のうち最も右側に配置されるリッパポイント１３の右端部と接触位置画像６１Ｃの右端部とを繋ぐように表示される。案内画像６３Ｃは、複数のリッパポイント１３のうち最も左側に配置されるリッパポイント１３の左端部と接触位置画像６１Ｃの左端部とを繋ぐように表示される。

【0112】

［コンピュータシステム］
図１７は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述のコントローラ１１０及びコントローラ８０のそれぞれは、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインタフェース１００４とを有する。上述のコントローラ１１０及びコントローラ８０のそれぞれの機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0113】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、ブルドーザ１０の車体１に連結されたリッパ作業機１１の作業対象ＯＢの３次元データを取得することと、作業対象ＯＢの画像を示す作業対象画像を取得することと、３次元データとリッパ作業機１１のシャンク１２に設けられたリッパポイント１３の初期位置とリッパポイント１３の移動経路Ｔｒとに基づいて、作業対象ＯＢにおいてリッパポイント１３が接触する接触位置Ｒｐを算出することと、接触位置Ｒｐを示す接触位置画像６１を生成することと、作業対象画像と接触位置画像６１とを合成して、表示装置１２０に表示させることと、を実行することができる。

【0114】

［その他の実施形態］
上述の実施形態においては、作業現場の３次元マップデータがリッパ作業の開始前に予め生成され、リッパ作業において３次元マップデータから作業対象ＯＢの３次元データが抽出され、抽出された作業対象ＯＢの３次元データに基づいて、接触位置Ｒｐが算出されることとした。接触位置Ｒｐの算出において、３次元マップデータが使用されなくてもよい。接触位置算出部１０６は、リッパ作業において３次元センサ４０によりリアルタイムに検出された作業対象ＯＢの３次元データに基づいて、接触位置Ｒｐを算出してもよい。

【0115】

上述の実施形態においては、表示システム３００が遠隔操作システム１００に適用されることとした。表示システム３００は、遠隔操作システム１００に適用されなくてもよく、ブルドーザ１０に搭載されてもよい。例えば、表示装置１２０がブルドーザ１０のキャブ９に配置され、上述の実施形態において説明したコントローラ１１０の機能がブルドーザ１０のコントローラ８０に設けられてもよい。ブルドーザ１０は、キャブ９に搭乗した操作者によって操作されてもよい。

【符号の説明】

【0116】

１…車体、２…掘削ブレード、２Ｃ…切刃、３…走行体、３Ｃ…履帯、４…フレーム、５…チルトシリンダ、６…リフトシリンダ、７…支持部材、８…エンジン室、９…キャブ、１０…ブルドーザ（作業機械）、１１…リッパ作業機、１１Ｂ…リッパ作業機、１２…シャンク、１３…リッパポイント、１３Ｔ…先端部、１４…リッパアーム、１５…チルトシリンダ、１６…リフトシリンダ、１７…ビーム、２０…掘削作業機、２１…エンジン、２２…エンジンフード、２３…作業台、２４…ガードレール、２６…燃料タンク、３０…位置センサ、３１…姿勢センサ、４０…３次元センサ、４１…３次元センサ、４２…３次元センサ、４３…３次元センサ、４４…３次元センサ、５０…カメラ、５１…カメラ、５２…カメラ、５３…カメラ、５４…カメラ、６１…接触位置画像、６１Ｂ…接触位置画像、６１Ｃ…接触位置画像、６２…案内画像、６２Ｃ…案内画像、６３…案内画像、６３Ｃ…案内画像、６５…格子画像、６６…第１線画像、６７…第２線画像、８０…コントローラ、８１…走行体制御部、８２…掘削作業機制御部、８３…リッパ作業機制御部、８４…位置データ送信部、８５…３次元データ送信部、８６…画像データ送信部、８７…姿勢データ送信部、１００…遠隔操作システム、１０１…操作信号送信部、１０２…位置データ取得部、１０３…３次元データ取得部、１０４…画像データ取得部、１０５…初期位置決定部、１０６…接触位置算出部、１０７…接触位置画像生成部、１０８…マップデータ生成部、１０９…表示制御部、１１０…コントローラ、１１１…マップデータ記憶部、１１２…案内画像生成部、１２０…表示装置、１２１…前方表示画面、１２２…後方表示画面、１２３…第１リッパ表示画面、１２４…第２リッパ表示画面、１３１…アイコン、１３２…傾斜計、１３３…傾斜インジケータ、１４０…遠隔操作装置、１５０…操縦シート、２００…遠隔操作室、３００…表示システム、４００…通信システム、４０１…通信装置、４０２…通信装置、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インタフェース、ＯＢ…作業対象、Ｒｐ…接触位置、Ｔｒ…移動経路。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】