(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-20
(45)【発行日】2022-06-28
(54)【発明の名称】作業機械の制御装置及び作業機械の制御方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20220621BHJP
B60R 1/20 20220101ALI20220621BHJP
E02F 9/26 20060101ALI20220621BHJP
【FI】
H04N7/18 J
B60R1/20
E02F9/26 B
(21)【出願番号】P 2019142212
(22)【出願日】2019-08-01
(62)【分割の表示】P 2017545974の分割
【原出願日】2017-06-28
【審査請求日】2019-08-01
【審判番号】
【審判請求日】2021-06-22
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】黒木 良介
(72)【発明者】
【氏名】小出 敏裕
【合議体】
【審判長】五十嵐 努
【審判官】千葉 輝久
【審判官】渡辺 努
(56)【参考文献】
【文献】特開2015-188428(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N7/18
E02F9/24-9/26
B60R1/00
A01B63/00
(57)【特許請求の範囲】
【請求項1】
少なくとも作業機械が備える作業機を作動させる較正時に、前記作業機械に設けられたカメラで取得した画像データによって前記較正時の作業機械の周辺の状況を示す周辺表示データを、前記較正に使用される較正表示データとともに
並べて同一画面上に表示の出力する表示制御部を備える、
作業機械の制御装置。
【請求項2】
前記較正表示データは、前記作業機の操作を運転手に促すガイダンス表示データを含む、
請求項1に記載の作業機械の制御装置。
【請求項3】
前記周辺表示データは、前記作業機械の周辺の俯瞰画像を含む、
請求項1又は請求項2に記載の作業機械の制御装置。
【請求項4】
前記表示制御部は、前記較正が終了するまで、前記周辺表示データの表示を維持させるための表示データを出力する、
請求項1から請求項3のいずれか一項に記載の作業機械の制御装置。
【請求項5】
前記表示制御部は、前記較正が終了し、かつ、前記作業機械の作動のために操作される操作装置が中立状態になるまで、前記周辺表示データの表示を維持させるための表示データを出力する、
請求項4に記載の作業機械の制御装置。
【請求項6】
前記表示制御部は、前記周辺表示データを含まないメインメニュー画面を表示している場合において、前記操作装置の中立状態が否であると判定された場合、前記周辺表示データと少なくとも燃料の残量データとを含む標準画面に遷移させるための表示データを出力する、
請求項5に記載の作業機械の制御装置。
【請求項7】
前記較正は、IMUを調整することを含む、
請求項1から請求項6のいずれか一項に記載の作業機械の制御装置。
【請求項8】
少なくとも作業機械が備える作業機を作動させる較正時に、前記作業機械に設けられたカメラで取得した画像データによって前記較正時の作業機械の周辺の状況を示す周辺表示データを、前記較正に使用される較正表示データとともに
並べて同一画面上に表示の出力することを含む、
作業機械の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の制御装置及び作業機械の制御方法に関する。
【背景技術】
【0002】
作業機械に係る技術分野において、作業機械の周辺の状況を示す表示データを生成して作業機械の運転室に設けられている表示装置に表示させる技術が知られている。特許文献1には作業機械の俯瞰画像をモニタに表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業機械の周辺の状況を示す表示データが表示装置に表示されることにより、作業機械の作業時において、運転者は作業機械の周辺の状況を視認することができる。作業機械の較正時においても、作業機械の少なくとも一部を作動させる場合、作業機械の周辺の状況を運転者に視認させることができる技術が要望される。
【0005】
本発明の態様は、作業機械の較正時において作業機械の周辺の状況を視認させることができる作業機械の表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の態様に従えば、作業機械に設けられているカメラで取得された画像データに基づいて作業機械の周辺の状況を示す周辺表示データと作業機械の較正に使用される較正表示データとを含む較正画面を表示させる表示制御部を備える作業機械の表示装置が提供される。
【発明の効果】
【0007】
本発明の態様によれば、作業機械の較正時において作業機械の周辺の状況を視認させることができる作業機械の表示装置が提供される。
【図面の簡単な説明】
【0008】
【
図1】
図1は、本実施形態に係る作業機械の一例を示す斜視図である。
【
図2】
図2は、本実施形態に係る作業機械の運転室の一例を示す図である。
【
図3】
図3は、本実施形態に係る上部旋回体の一例を模式的に示す図である。
【
図4】
図4は、本実施形態に係る表示装置の一例を示す機能ブロック図である。
【
図5】
図5は、本実施形態に係る較正画面と標準画面とメインメニュー画面との画面遷移の一例を示す図である。
【
図6】
図6は、本実施形態に係る俯瞰画像生成方法の一例を説明するための模式図である。
【
図7】
図7は、本実施形態に係る標準画面の一例を示す図である。
【
図8】
図8は、本実施形態に係る較正画面の一例を示す図である。
【
図9】
図9は、本実施形態に係る較正画面の一例を示す図である。
【
図10】
図10は、本実施形態に係る較正画面の一例を示す図である。
【
図11】
図11は、本実施形態に係る表示装置の表示方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
【0010】
[作業機械]
図1は、本実施形態に係る作業機械1の一例を示す斜視図である。本実施形態においては、作業機械1が油圧ショベルであることとする。以下の説明においては、作業機械1を適宜、油圧ショベル1、と称する。
【0011】
図1に示すように、油圧ショベル1は、下部走行体2と、下部走行体2に支持される上部旋回体3と、上部旋回体3に支持される作業機4と、作業機4を駆動する油圧シリンダ5とを備える。
【0012】
下部走行体2は、上部旋回体3を支持した状態で走行可能である。下部走行体2は、一対の履帯を有する。履帯が回転することにより、下部走行体2が走行する。
【0013】
上部旋回体3は、下部走行体2に支持された状態で旋回軸RXを中心に旋回可能である。上部旋回体3は、油圧ショベル1の運転者が搭乗する運転室6を有する。運転者が着座する運転シート9が運転室6に設けられる。
【0014】
作業機4は、上部旋回体3に連結されるブーム4Aと、ブーム4Aに連結されるアーム4Bと、アーム4Bに連結されるバケット4Cとを含む。油圧シリンダ5は、ブーム4Aを駆動するブームシリンダ5Aと、アーム4Bを駆動するアームシリンダ5Bと、バケット4Cを駆動するバケットシリンダ5Cとを含む。
【0015】
ブーム4Aは、ブーム回転軸AXを中心に回転可能に上部旋回体3に支持される。アーム4Bは、アーム回転軸BXを中心に回転可能にブーム4Aに支持される。バケット4Cは、バケット回転軸CXを中心に回転可能にアーム4Bに支持される。
【0016】
ブーム回転軸AXと、アーム回転軸BXと、バケット回転軸CXとは、平行である。ブーム回転軸AX、アーム回転軸BX、及びバケット回転軸CXと、旋回軸RXと平行な軸とは、直交する。以下の説明においては、旋回軸RXと平行な方向を適宜、上下方向、と称し、ブーム回転軸AX、アーム回転軸BX、及びバケット回転軸CXと平行な方向を適宜、左右方向、と称し、ブーム回転軸AX、アーム回転軸BX、及びバケット回転軸CXと旋回軸RXとの両方と直交する方向を適宜、前後方向、と称する。運転シート9に着座した運転者を基準として作業機4が存在する方向が前方であり、前方の逆方向が後方である。運転シート9に着座した運転者を基準として左右方向の一方が右方であり、右方の逆方向が左方である。下部走行体2の接地面から離れる方向が上方であり、上方の逆方向が下方である。
【0017】
上部旋回体3は、パワーコンテナ7と、カウンタウェイト8とを有する。パワーコンテナ7及びカウンタウェイト8は、上部旋回体3の後部に配置される。カウンタウェイト8は、パワーコンテナ7の後方に配置される。パワーコンテナ7は、エンジン、油圧ポンプ、ラジエータ、及びオイルクーラを収容する。
【0018】
運転室6は、上部旋回体3の前部に配置される。運転室6は、作業機4の左方に配置される。作業機4のブーム4Aは、運転室6の右方に配置される。
【0019】
油圧ショベル1は、情報化施工を実施可能なICT(Information and Communication Technology)油圧ショベルである。油圧ショベル1は、作業機4の3次元位置データを検出して、作業機4の3次元位置データ及び施工対象の3次元設計面に基づいて、作業機4を制御する。上部旋回体3には、グローバル座標系で規定される上部旋回体3の位置を検出する絶対位置検出器と、上部旋回体3の姿勢を検出する慣性計測装置(IMU:Inertial Measurement Unit)とが搭載されている。絶対位置検出器は、油圧ショベル1に2つ搭載される。絶対位置検出器は、全地球航法衛星システム(GNSS:Global Navigation Satellite System)を使って上部旋回体3の位置及び方位を検出する。作業機4には、上部旋回体3とバケット4Cとの相対位置を検出するための相対位置検出器が設けられている。相対位置検出器は、油圧シリンダ5のストロークを検出するストロークセンサ及び作業機4の角度を検出する角度センサの少なくとも一方を含む。絶対位置検出器の検出データと慣性計測装置の計測データと相対位置検出器の検出データとに基づいて、グローバル座標系で規定されるバケット4Cの3次元位置データが検出される。施工対象の3次元設計面は、グローバル座標系で規定される。油圧ショベル1は、バケット4Cの3次元位置データと施工対象の3次元設計面とを照合して、バケット4Cが3次元設計面を超えずに3次元設計面に沿って移動するように、作業機4を制御することができる。
【0020】
[運転室]
図2は、本実施形態に係る油圧ショベル1の運転室6の一例を示す図である。
図2に示すように、油圧ショベル1の運転者が着座する運転シート9が運転室6に設けられる。
【0021】
また、油圧ショベル1の少なくとも一部の作動のために操作される操作装置10が運転室6に設けられる。操作装置10は、運転シート9に着座した運転者に操作される。油圧ショベル1の作動は、下部走行体2の作動、上部旋回体3の作動、及び作業機4の作動の少なくとも一つを含む。
【0022】
下部走行体2の作動は、左側の履帯の前進動作及び後進動作の少なくとも一方を含む。また、下部走行体2の作動は、右側の履帯の前進動作及び後進動作の少なくとも一方を含む。
【0023】
上部旋回体3の作動は、上部旋回体3の左旋回及び右旋回の少なくとも一方を含む。
【0024】
作業機4の作動は、ブーム4Aの上げ動作及び下げ動作の少なくとも一方を含む。また、作業機4の作動は、アーム4Bのダンプ動作及び掘削動作の少なくとも一方を含む。また、作業機4の作動は、バケット4Cの掘削動作及びダンプ動作の少なくとも一方を含む。
【0025】
操作装置10は、上部旋回体3及び作業機4の作動のために操作される左作業レバー11及び右作業レバー12と、下部走行体2の作動のために操作される左走行レバー13及び右走行レバー14とを含む。
【0026】
左作業レバー11は、運転シート9の左方に配置される。右作業レバー12は、運転シート9の右方に配置される。左作業レバー11が前後方向に操作されることにより、アーム4Bがダンプ動作又は掘削動作する。左作業レバー11が左右方向に操作されることにより、上部旋回体3が左旋回又は右旋回する。右作業レバー12が左右方向に操作されることにより、バケット4Cが掘削動作又はダンプ動作する。右作業レバー12が前後方向に操作されることにより、ブーム4Aが下げ動作又は上げ動作する。なお、左操作レバー11が前後方向に操作されたときに上部旋回体3が右旋回又は左旋回し、左作業レバー11が左右方向に操作されたときにアーム4Bがダンプ動作又は掘削動作してもよい。
【0027】
左走行レバー13及び右走行レバー14は、運転シート9の前方に配置される。左走行レバー13は、右走行レバー14の左方に配置される。左走行レバー13が前後方向に操作されることにより、下部走行体2の左側の履帯が前進動作又は後進動作する。右走行レバー14が前後方向に操作されることにより、下部走行体2の右側の履帯が前進動作又は後進動作する。
【0028】
左作業レバー11が中立位置に配置されるとき、アーム4Bは、作動せずに停止する。また、左作業レバー11が中立位置に配置されるとき、上部旋回体3は、作動せずに停止する。
【0029】
右作業レバー12が中立位置に配置されるとき、バケット4Cは、作動せずに停止する。また、右作業レバー12が中立位置に配置されるとき、ブーム4Aは、作動せずに停止する。
【0030】
左走行レバー13が中立位置に配置されるとき、下部走行体2の左側の履帯は、作動せずに停止する。
【0031】
右走行レバー14が中立位置に配置されるとき、下部走行体2の右側の履帯は、作動せずに停止する。
【0032】
以下の説明においては、左作業レバー11が中立位置に配置される状態を適宜、左作業レバー11の中立状態、と称する。左作業レバー11が中立位置に配置されず、左方向、右方向、前方向、及び後方向の少なくとも一つの方向に操作されている状態を適宜、左作業レバー11の操作状態、と称する。
【0033】
以下の説明においては、右作業レバー12が中立位置に配置される状態を適宜、右作業レバー12の中立状態、と称する。右作業レバー12が中立位置に配置されず、左方向、右方向、前方向、及び後方向の少なくとも一つの方向に操作されている状態を適宜、右作業レバー12の操作状態、と称する。
【0034】
以下の説明においては、左走行レバー13が中立位置に配置される状態を適宜、左走行レバー13の中立状態、と称する。左走行レバー13が中立位置に配置されず、前方向及び後方向の少なくとも一つの方向に操作されている状態を適宜、左走行レバー13の操作状態、と称する。
【0035】
以下の説明においては、右走行レバー14が中立位置に配置される状態を適宜、右走行レバー14の中立状態、と称する。右走行レバー14が中立位置に配置されず、前方向及び後方向の少なくとも一つの方向に操作されている状態を適宜、右走行レバー14の操作状態、と称する。
【0036】
以下の説明においては、左作業レバー11、右作業レバー12、左走行レバー13、及び右走行レバー14の全てが中立状態である状態を適宜、操作装置10の中立状態、と称する。左作業レバー11、右作業レバー12、左走行レバー13、及び右走行レバー14の少なくとも一つが操作状態である状態を適宜、操作装置10の操作状態、と称する。
【0037】
操作装置10が中立状態であるとき、下部走行体2、上部旋回体3、及び作業機4の全ての作動が停止する。操作装置10が操作状態であるとき、下部走行体2、上部旋回体3、及び作業機4の少なくとも一部が作動する。
【0038】
油圧ショベル1は、運転室6に設けられる表示装置20を備える。表示装置20は、運転シート9の右前方に配置される。表示装置20は、表示部21と、操作部22と、制御装置23とを有する。
【0039】
表示部21は、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)のようなフラットパネルディスプレイを含む。
【0040】
操作部22は、運転者に操作される複数のスイッチを含む。操作部22に設けられるスイッチは、特定の機能が割り当てられるファンクションスイッチ、及び油圧ショベル1の作業モードを設定する作業モード設定スイッチを含む。
【0041】
油圧ショベル1の作業モードは、油圧ショベル1のエンジンの出力トルクを規定する。作業モードは、出力トルクが大きく作業性に優れたパワーモード(Pモード)と、出力トルクが小さく燃費に優れたエコモード(Eモード)とを含む。運転者は、作業モード設定スイッチを操作して、Pモード及びEモードのいずれか一方の作業モードを選択することができる。
【0042】
なお、操作部22のスイッチは、ファンクションスイッチ及び作業モード設定スイッチに限定されない。また、操作部22は、表示部21の表示画面に設けられるタッチセンサを含んでもよい。すなわち、表示部21が、操作部22の機能を有するタッチパネルを含んでもよい。
【0043】
[カメラ]
図3は、本実施形態に係る上部旋回体3の一例を模式的に示す図である。油圧ショベル1は、複数のカメラ30を含むカメラシステム300を備える。複数のカメラ30は、上部旋回体3に設けられる。カメラ30は、撮影対象の映像を取得する。
図3に示すように、カメラ30は、上部旋回体3の後部に設けられるカメラ31と、上部旋回体3の右部に設けられるカメラ32及びカメラ33と、上部旋回体3の左部に設けられるカメラ34とを含む。
【0044】
カメラ31は、上部旋回体3の後方を撮影する。カメラ32及びカメラ33は、上部旋回体3の右方を撮影する。カメラ32は、上部旋回体3の右後方を撮影する。カメラ33は、上部旋回体3の右前方を撮影する。カメラ34は、上部旋回体3の左方を撮影する。複数のカメラ30(31,32,33,34)のそれぞれは、光学系と、イメージセンサとを有する。イメージセンサは、CCD(Couple Charged Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
【0045】
[表示装置]
図4は、本実施形態に係る表示装置20の一例を示す機能ブロック図である。表示装置20は、表示部21と、操作部22と、制御装置23とを有する。なお、表示部21と操作部22とは別体でもよい。表示部21と制御装置23とは別体でもよい。
【0046】
制御装置23は、コンピュータシステムを含む。制御装置23は、CPU(Central Processing Unit)のようなプロセッサを含む演算処理装置41と、RAM(Random Access Memory)のような揮発性メモリ及びROM(Read Only Memory)のような不揮発性メモリを含む記憶装置42と、入出力インターフェース43とを有する。
【0047】
入出力インターフェース43は、カメラシステム300及び操作装置10のそれぞれと接続される。カメラシステム300は、複数のカメラ30(31,32,33,34)を含む。操作装置10は、左作業レバー11、右作業レバー12、左走行レバー13、及び右走行レバー14を含む。
【0048】
演算処理装置41は、画像データ取得部51と、周辺表示データ生成部52と、較正表示データ取得部53と、操作データ取得部54と、判定部55と、表示制御部56とを有する。
【0049】
画像データ取得部51は、油圧ショベル1に設けられている複数のカメラ30(31,32,33,34)から画像データを取得する。画像データ取得部51は、カメラ31から油圧ショベル1の後方の状況を示す画像データを取得する。画像データ取得部51は、カメラ32及びカメラ33から油圧ショベル1の右方の状況を示す画像データを取得する。画像データ取得部51は、カメラ34から油圧ショベル1の左方の状況を示す画像データを取得する。
【0050】
周辺表示データ生成部52は、油圧ショベル1に設けられている複数のカメラ30で取得された画像データに基づいて、油圧ショベル1の周辺の状況を示す周辺表示データSaを生成する。周辺表示データ生成部52は、複数のカメラ30で撮影された画像データを画像データ取得部51から取得して、表示部21に表示させる周辺表示データSaを生成する。周辺表示データSaは、第1周辺表示データSa1と第2周辺表示データSa2とを含む。本実施形態において、第1周辺表示データSa1は、複数のカメラ30で取得された画像データに基づいて生成された油圧ショベル1の周辺の俯瞰画像を含む。第2周辺表示データSa2は、複数のカメラ30のうち1つのカメラ30で取得された画像データに基づいて生成された単カメラ画像を含む。周辺表示データ生成部52は、複数のカメラ30で取得された画像データに基づいて、表示部21に表示させる俯瞰画像Sa1を生成する。周辺表示データ生成部52は、1つのカメラ30で取得された画像データに基づいて、表示部21に表示させる単カメラ画像Sa2を生成する。
【0051】
較正表示データ取得部53は、油圧ショベル1の較正(キャリブレーション)に使用される較正表示データSbを取得する。油圧ショベル1は、ICT油圧ショベルであり、油圧ショベル1の較正は、例えば、油圧シリンダ5の油圧バルブのスプールの移動量と油圧シリンダ5の作動開始との相関を導出する処理である。記憶装置42は、較正表示データSbを記憶する較正表示データ記憶部57を有する。較正表示データSbは、文字データ及び画像データの少なくとも一方を含む。較正表示データ取得部53は、較正表示データ記憶部57から、表示部21に表示させる較正表示データSbを取得する。
【0052】
操作データ取得部54は、操作装置10から操作データを取得する。操作装置10が中立状態のとき、操作装置10が中立状態であることを示す操作データが制御装置23に出力される。操作装置10が操作状態のとき、操作装置10が操作状態であることを示す操作データが制御装置23に出力される。操作データ取得部54は、操作装置10が中立状態であることを示す操作データ及び操作状態であることを示す操作データの少なくとも一方を操作装置10から取得する。
【0053】
判定部55は、操作データ取得部54で取得された操作データに基づいて、操作装置10が中立状態であるか否かを判定する。判定部55は、操作装置10が中立状態であるか否かを判定した結果を示す判定信号を出力する。操作装置10が中立状態であると判定したとき、判定部55は、操作装置10が中立状態であることを示す判定信号を出力する。操作装置10が操作状態であると判定したとき、判定部55は、操作装置10が操作状態であることを示す判定信号を出力する。
【0054】
表示制御部56は、表示部21に表示させる表示データを出力する。表示制御部56は、油圧ショベル1の較正に使用される較正表示データSbと周辺表示データSaとを含む較正画面Aを表示部21に表示させる。表示制御部56は、表示部21の同一の画面上において、周辺表示データSaと較正表示データSbとを並べて表示させる。また、表示制御部56は、第1周辺表示データである俯瞰画像Sa1と第2周辺表示データである単カメラ画像Sa2とを含む標準画面Bを表示部21に表示させる。標準画面Bは、較正表示データSbを含まない。また、表示制御部56は、メインメニュー画面Cを表示部21に表示させる。
【0055】
[較正画面と標準画面とメインメニュー画面との画面遷移]
図5は、本実施形態に係る較正画面Aと標準画面Bとメインメニュー画面Cとの画面遷移の一例を示す図である。表示部21は、油圧ショベル1の較正時において較正画面Aを表示する。表示部21は、油圧ショベル1の作業時において標準画面Bを表示する。表示部21は、メインメニュー画面Cを表示する。
【0056】
標準画面Bは、油圧ショベル1の作業時に表示される。標準画面Bは、油圧ショベル1のキースイッチがオンされた後に最初に表示される初期画面である。標準画面Bは、較正表示データSbを含まずに周辺表示データSaを含む。すなわち、標準画面Bにおいて、較正表示データSbは表示されず、周辺表示データSaが表示される。
【0057】
周辺表示データSaは、周辺表示データ生成部52において生成される。
図5に示すように、標準画面Bは、複数のカメラ30で取得された画像データを上方視点に変換して合成することにより生成される油圧ショベル1の周辺の俯瞰画像Sa1と、1つのカメラ30で取得された油圧ショベル1の周辺の一部の画像データである単カメラ画像Sa2とを含む。
【0058】
俯瞰画像Sa1は、複数のカメラ30(31,32,33,34)のそれぞれで取得された単カメラ画像Sa2を上方視点に変化して合成することにより生成される。周辺表示データ生成部52は、複数のカメラ30のそれぞれで取得された単カメラ画像Sa2に基づいて、油圧ショベル1の周辺の俯瞰画像Sa1を生成する。
【0059】
単カメラ画像Sa2は、カメラ31で取得された油圧ショベル1の後方の状況を示す後方単カメラ画像、カメラ32及びカメラ33の少なくとも一方で取得された油圧ショベル1の右方の状況を示す右方単カメラ画像、及びカメラ34で取得された油圧ショベル1の左方の状況を示す左方単カメラ画像の少なくとも一つを含む。
【0060】
メインメニュー画面Cは、油圧ショベル1の各種設定又は状況確認のための複数のメニューを表示する。
図5に示すように、メインメニュー画面Cは、周辺表示データを含まない。メインメニュー画面Cは、較正を実施するためのメニューを含む。メインメニュー画面Cは、油圧ショベル1の運転者によって操作される。運転者により「較正」が選択及び決定されると、油圧ショベル1の較正のメニューが表示部21に表示される。また、
図5に示す例では、メニューとして「設定」及び「情報」が表示部21に表示される。運転者により「設定」が選択及び決定されると、油圧ショベル1に搭載されている機器の設定のメニューが表示部21に表示される。例えば、表示部21の表示形態を設定するためのメニューが表示部21に表示される。「情報」が選択及び決定されると、油圧ショベル1に搭載されている機器の情報のメニューが表示部21に表示される。例えば、上述の絶対位置検出器の検出信号又は相対位置検出器の検出信号をモニタするためのメニューが表示部21に表示される。なお、メインメニュー画面Cに表示されるメニューは、
図5に示す例に限定されない。また、メインメニュー画面Cは、複数存在していてもよい。例えば、運転者により、第1のメインメニュー画面Cが表示されている状態から第2のメインメニュー画面Cが表示される状態に変更されてもよい。
【0061】
較正画面Aは、油圧ショベル1の較正時に表示される。上述のように、油圧ショベル1は、ICT油圧ショベルであり、作業機4の3次元位置データ及び施工対象の3次元設計面に基づいて、作業機4を制御する。作業機4の制御のために、油圧ショベル1においては、例えば油圧シリンダ5の油圧バルブのスプールの移動量と油圧シリンダ5の作動開始との相関を導出する処理である較正が実施される。較正は、定期的に又は必要に応じて実施される。表示装置20は、油圧ショベル1の較正時において、表示部21に較正画面Aを表示する。
【0062】
較正画面Aは、油圧ショベル1の周辺の状況を示す周辺表示データSaと、油圧ショベル1の較正に使用される較正表示データSbとを含む。較正画面Aにおいて、周辺表示データSaは、較正表示データSbと並べて表示される。
【0063】
較正表示データSbは、油圧ショベル1の較正のメニューを示すメニュー表示データSb1と、油圧ショベル1の作動を促すガイダンス表示データSb2とを含む。ガイダンス表示データSb2は、油圧ショベル1の少なくとも一部の作動のために操作される操作装置10の操作を促す。較正画面Aは、メニュー表示データSb1が表示される第1較正画面A1と、ガイダンス表示データSb2と周辺表示データSaとが表示される第2較正画面A2とを含む。
【0064】
第1較正画面A1において、周辺表示データSaは表示されず、メニュー表示データSb1が表示される。表示制御部56は、メニュー表示データSb1を表示部21に表示させるとき、周辺表示データSaを表示部21に表示させない。すなわち、メニュー表示データSb1が表示されるとき、周辺表示データSaは表示部21に表示されない。
【0065】
第2較正画面A2において、周辺表示データSaは、ガイダンス表示データSb2と共に表示される。表示制御部56は、ガイダンス表示データSb2を表示部21に表示させるとき、ガイダンス表示データSb2と周辺表示データSaとを並べて表示部21に表示させる。すなわち、ガイダンス表示データSb2が表示部21に表示されるとき、周辺表示データSaがガイダンス表示データSb2と共に表示部21に表示される。
【0066】
標準画面Bが表示されている状態において、操作装置10が中立状態のときに操作部22が操作されることにより、表示部21は、標準画面Bからメインメニュー画面Cに遷移する。
【0067】
メインメニュー画面Cが表示されている状態において、操作装置10が中立状態のときに操作部22が操作されメインメニュー画面Cに表示されているメニューのうち「較正」が選択及び決定されることにより、表示部21は、メインメニュー画面Cから第1較正画面A1に遷移する。
【0068】
第1較正画面A1が表示されている状態において、操作装置10が中立状態のときに操作部22が操作され第1較正画面A1に表示されている複数の較正のメニューのうちいずれかの較正のメニューが選択及び決定されることにより、表示部21は、第1較正画面A1から第2較正画面A2に遷移する。
【0069】
第2較正画面A2が表示されている状態において、較正が終了し、操作装置10が中立状態であるとき、表示部21は、第2較正画面A2から第1較正画面A1に遷移する。
【0070】
第1較正画面A1が表示されている状態において、全ての較正が終了し、操作装置10が中立状態であるとき、表示部21は、第1較正画面A1からメインメニュー画面Cに遷移する。
【0071】
メインメニュー画面Cが表示されている状態において、操作装置10が操作され操作装置10が操作状態になったとき、表示部21は、メインメニュー画面Cから標準画面Bに遷移する。
【0072】
[俯瞰画像生成方法]
図6は、本実施形態に係る俯瞰画像生成方法の一例を説明するための模式図である。
図6に示すように、周辺表示データ生成部52は、複数のカメラ30(31,32,33,34)で取得された画像データに基づいて、油圧ショベル1の周辺の俯瞰画像Sa1を生成する。
【0073】
図6に示すように、周辺表示データ生成部52は、カメラ31,32,33,34で取得された画像データP1,P2,P3,P4を、油圧ショベル1の上方の仮想視点から見た上方視点画像を示す変換画像データP11,P12,P13,P14に変換する。
【0074】
周辺表示データ生成部52は、変換画像データP11,P12,P13,P14から、俯瞰画像Sa1を表示するフレーム領域E1,E2,E3,E4に対応する部分を切り出す。周辺表示データ生成部52は、切り出した変換画像データP11,P12,P13,P14を合成する。これにより、油圧ショベル1の周辺の俯瞰画像Sa1が生成される。また、周辺表示データ生成部52は、俯瞰画像Sa1にキャラクタ画像PSを付加する。キャラクタ画像PSは、油圧ショベル1を上方から見た画像に相当する。キャラクタ画像PSにより、油圧ショベル1と油圧ショベル1の周辺との位置関係が明確化される。
【0075】
なお、運転室6の前方及び左前方のフレーム領域E0に俯瞰画像Sa1は生成されない。運転シート9に着座した運転者は、運転室6の前方及び左前方の状況を直接視認することができる。そのため、油圧ショベル1には、運転室6の前方及び左前方の状況を示す画像データを取得するカメラ30は設けられない。これにより、油圧ショベル1に設けられるカメラ30の数を少なくすることができる。なお、運転室6の前方及び左前方の状況を示す画像データを取得するカメラ30が設けられ、フレーム領域E0において俯瞰画像Sa1が生成されてもよい。
【0076】
[標準画面]
図7は、本実施形態に係る標準画面Bの一例を示す図である。
図7に示すように、標準画面Bは、較正表示データSbを表示せずに、周辺表示データ生成部52で生成された周辺表示データSaを表示する。
【0077】
標準画面Bは、第1周辺表示データである俯瞰画像Sa1と、俯瞰画像Sa1と共に表示される第2周辺表示データである単カメラ画像Sa2とを含む。表示制御部56は、標準画面Bにおいて、表示部21の表示画面の第1領域21Aに俯瞰画像Sa1を表示させ、表示部21の表示画面の第2領域21Bに単カメラ画像Sa2を表示させる。
【0078】
第1領域21A及び第2領域21Bは、表示部21の表示画面の上下方向において表示画面の中央部に設定される。第1領域21Aは、第2領域21Bの左方に設定される。すなわち、俯瞰画像Sa1と単カメラ画像Sa2とは、表示部21の表示画面の上下方向において表示画面の中央部に表示され、左右方向において並べて表示される。
【0079】
図7に示す例において、第2領域21Bに表示される単カメラ画像Sa2は、カメラ31で取得された油圧ショベル1の後方の状況を示す後方単カメラ画像である。なお、第2領域21Bに表示される単カメラ画像Sa2は、カメラ32及びカメラ33の少なくとも一方で取得された油圧ショベル1の右方の状況を示す右方単カメラ画像でもよいし、カメラ34で取得された油圧ショベル1の左方の状況を示す左方単カメラ画像でもよい。
【0080】
また、俯瞰画像Sa1及び単カメラ画像Sa2のそれぞれは、上部旋回体3の旋回軸RXからの距離及び方向の目安を示す目安線Dを含む。
【0081】
表示部21の表示画面において、単カメラ画像Sa2の右上方に単カメラ画像位置アイコン60が表示される。単カメラ画像位置アイコン60は、第2領域21Bに表示される単カメラ画像Sa2の油圧ショベル1からの方向を示す。
図7に示す例において、単カメラ画像位置アイコン60は、単カメラ画像Sa2がカメラ31によって撮像された後方単カメラ画像であることを示す識別領域を有する。識別領域は、ハッチングでもよいし、周囲とは異なる色でもよい。
【0082】
標準画面Bは、油圧ショベル1の状態を示す表示データを含む。油圧ショベル1の状態を示す表示データは、例えば、エンジンの冷却水の温度を示す水温データ、及び燃料の残量のレベルを示す残量データを含む。
図7に示す例において、標準画面Bは、表示部21の表示画面の下左部に表示されエンジンの冷却水の温度を示すエンジン水温ゲージG1、表示部21の下中央部に表示され油圧機器の作動油の温度を示す油温ゲージG2、及び燃料の残量のレベルを示す燃料レベルゲージG3を含む。
【0083】
操作部22は、表示部21の表示画面の下方に配置される複数のファンクションスイッチF1,F2,F3,F4,F5,F6を有する。ファンクションスイッチF1,F2,F3,F4,F5,F6に特定の機能が割り当てられる。表示部21の表示画面の下部に複数のアイコンが表示される。アイコンは、ファンクションスイッチF1,F2,F3,F4,F5,F6の直上に表示される。ファンクションスイッチF1,F2,F3,F4,F5,F6が運転者により操作されると、直上に表示されるアイコンに対応する特定の機能の操作信号が生成される。
【0084】
図7に示す例において、表示部21の表示画面の下部に複数のアイコンI1,I2,I3が表示される。ファンクションスイッチF3の直上にアイコンI1が表示される。ファンクションスイッチF4の直上にアイコンI2が表示される。ファンクションスイッチF6の直上にアイコンI3が表示される。
【0085】
アイコンI1は、表示部21の表示画面における単カメラ画像Sa2の表示領域を、第2領域21Bから表示部21の表示画面の全ての領域に切り換えるアイコンである。ファンクションスイッチF3が操作されることにより、第2領域21Bに表示されている単カメラ画像Sa2は、表示部21の表示画面の全ての領域において表示される。このように、ファンクションスイッチF3は、単カメラ画像Sa2をウインドウ表示からフルスクリーン表示に切り換える。
【0086】
アイコンI2は、第2領域21Bに表示される単カメラ画像Sa2を切り換えるアイコンである。ファンクションスイッチF4が操作されることにより、第2領域21Bにおいて表示される単カメラ画像Sa2が、後方単カメラ画像、右方単カメラ画像、及び左方単カメラ画像のいずれか一つに切り換えられる。
【0087】
アイコンI3は、標準画面Bをメインメニュー画面Cに切り換えるアイコンである。標準画面Bが表示部21に表示されている状態で、操作部22のファンクションスイッチF6が操作されることにより、メインメニュー画面Cが表示部21に表示される。
【0088】
また、
図7に示す例では、表示部21の表示画面の上部に複数のアイコンI4,I5が表示される。アイコンI4は、サービスメータの値を示す。アイコンI5は、設定された作業モードを示す。
図7に示す例では、アイコンI5は、作業モードとしてPモードが設定されていることを示す「P」の文字を含む。なお、作業モードとしてEモードが設定された場合、アイコンI5として「E」の文字が表示される。
【0089】
[較正画面]
図8、
図9、及び
図10は、本実施形態に係る較正画面Aの一例を示す図である。
図8は、メニュー表示データSb1を含む第1較正画面A1の一例を示す。
図9及び
図10は、ガイダンス表示データSb2を含む第2較正画面A2の一例を示す。
【0090】
図8に示すように、第1較正画面A1は、周辺表示データSaを表示せずに、較正表示データSbであるメニュー表示データSb1を表示する。表示制御部56は、メニュー表示データSb1の表示において周辺表示データSaを表示部21に表示させない。
図8に示す例においては、油圧ショベル1の較正のメニューとして、「IMU調整」、「バケット操作調整」、「ブーム操作調整」、及び「セミオート調整」が表示部21に表示される。運転者は、操作部22を操作して、表示部21に表示されている複数の較正のメニューからいずれかの較正のメニューを選択することができる。選択された較正のメニューに基づいて、油圧ショベル1の較正が実施される。
【0091】
図8に示す例においては、ファンクションスイッチF1,F2,F3,F4,F5,F6のそれぞれの直上にアイコンIa,Ib,Ic,Id,Ie,Ifが表示される。ファンクションスイッチF1,F2,F3,F4が操作されることにより、選択される較正のメニューが上下方向及び左右方向に切り換わる。運転者は、ファンクションスイッチF1,F2,F3,F4を操作して、較正のメニューを選択する。ファンクションスイッチF5が操作されることにより、表示部21は、第1較正画面A1から第1較正画面A1の前の画面であるメインメニュー画面Cに戻る。ファンクションスイッチF6が操作されることにより、選択された較正のメニューが決定される。
【0092】
なお、
図8に示す例において、表示部21の表示画面の左部には、第1較正画面A1のスクロール量を示すインジケータG4が表示される。
【0093】
図9は、第1較正画面A1において、油圧ショベル1の較正のメニューの一つである「IMU調整」が選択及び決定されたときの第2較正画面A2の一例を示す。第1較正画面A1において「IMU調整」が選択及び決定されることにより、表示制御部56は、表示部21を第1較正画面A1から第2較正画面A2に遷移させる。油圧ショベル1には、上部旋回体3の姿勢を検出する慣性計測装置(IMU)が搭載されている。「IMU調整」が選択及び決定されることにより、慣性計測装置の較正が実施される。
【0094】
図9に示すように、第2較正画面A2は、周辺表示データSaである俯瞰画像Sa1と、較正表示データSbであるガイダンス表示データSb2とを表示する。俯瞰画像Sa1とガイダンス表示データSb2とは並べて表示される。表示制御部56は、第2較正画面A2において、表示部21の表示画面の第1領域21Aに俯瞰画像Sa1を表示させ、表示部21の表示画面の第2領域21Bにガイダンス表示データSb2を表示させる。
【0095】
ファンクションスイッチF3の直上にアイコンI6が表示される。ファンクションスイッチF5の直上にアイコンI7が表示される。アイコンI6は、「NEXT」の文字データを含む。ファンクションスイッチF3が操作されることにより、表示部21は、第2較正画面A2から第2較正画面A2の次の画面に遷移する。ファンクションスイッチF5が操作されることにより、表示部21は、第2較正画面A2から第2較正画面A2の前の画面である第1較正画面A1に戻る。
【0096】
図7及び
図9に示すように、標準画面B及び第2較正画面A2のそれぞれにおいて、第1領域21Aに俯瞰画像Sa1が表示される。標準画面Bにおいて、第2領域21Bに単カメラ画像Sa2が表示される。第2較正画面A2において、第2領域21Bにガイダンス表示データSb2が表示される。
【0097】
「IMU調整」においては、作業機4に特定の姿勢が要求される。
図9に示すように、ガイダンス表示データSb2は、作業機4Gを有する油圧ショベル1Gのガイダンス画像70を含む。ガイダンス表示データSb2は、作業機4が特定の姿勢になるように操作装置10を操作することを運転者に促す。運転者は、ガイダンス表示データSb2を見ながら、作業機4がガイダンス画像70の作業機4Gで示される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作する。運転者は、ガイダンス画像70を見ながら、作業機4が「IMU調整」において要求される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作することができる。
【0098】
また、ガイダンス表示データSb2は、「IMU調整」において運転者に特定の操作を指示するガイダンス文字80を含む。ガイダンス文字80として「安定した路盤上で図の姿勢にした後、10秒待ってからNEXTを押して下さい」が表示部21に表示される。運転者は、ガイダンス文字80を見ながら、「IMU調整」において要求される特定の操作を実施することができる。
【0099】
運転者は、下部走行体2の作動を停止し、上部旋回体3の作動を停止した状態で、作業機4がガイダンス画像70で示される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作する。作業機4が特定の姿勢に調整され、10秒間が経過した後、運転者は、「NEXT」の文字データを含むアイコンI6の直下のファンクションスイッチF3を操作する。ファンクションスイッチF3が操作され、規定時間が経過することにより、「IMU調整」が終了する。「IMU調整」が終了すると、表示部21は、第2較正画面A2から第1較正画面A1に遷移する。
【0100】
図10は、第1較正画面A1において、油圧ショベル1の較正のメニューの一つである「ブーム操作調整」が選択及び決定されたときの第2較正画面A2の一例を示す。「ブーム操作調整」が選択及び決定されることにより、表示制御部56は、表示部21を第1較正画面A1から第2較正画面A2に遷移させる。油圧ショベル1においては、油圧シリンダ5に出力される指令信号と作業機4の3次元位置データとの較正が実施される。「ブーム操作調整」が選択及び決定されることにより、ブームシリンダ5Aに出力される指令信号とブーム4Aの3次元位置データとの較正が実施される。
【0101】
図10に示すように、第2較正画面A2は、周辺表示データSaである俯瞰画像Sa1と、較正表示データSbであるガイダンス表示データSb2とを表示する。俯瞰画像Sa1とガイダンス表示データSb2とは並べて表示される。表示制御部56は、第2較正画面A2において、表示部21の表示画面の第1領域21Aに俯瞰画像Sa1を表示させ、表示部21の表示画面の第2領域21Bにガイダンス表示データSb2を表示させる。
【0102】
図7及び
図10に示すように、標準画面B及び第2較正画面A2のそれぞれにおいて、第1領域21Aに俯瞰画像Sa1が表示される。標準画面Bにおいて、第2領域21Bに単カメラ画像Sa2が表示される。第2較正画面A2において、第2領域21Bにガイダンス表示データSb2が表示される。
【0103】
「ブーム操作調整」において、作業機4に特定の姿勢が要求される。
図10に示すように、ガイダンス表示データSb2は、作業機4Gを有する油圧ショベル1Gのガイダンス画像70を含む。ガイダンス表示データSb2は、作業機4が特定の姿勢になるように操作装置10を操作することを運転者に促す。運転者は、ガイダンス表示データSb2を見ながら、実際の作業機4がガイダンス画像70の作業機4Gで示される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作する。運転者は、ガイダンス画像70を見ながら、作業機4が「ブーム操作調整」において要求される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作することができる。
【0104】
また、ガイダンス表示データSb2は、「ブーム操作調整」において運転者に特定の操作を指示するガイダンス文字80を含む。ガイダンス文字80として「アーム垂直姿勢(下図参照)にし、NEXTを押して下さい」が表示部21に表示される。運転者は、ガイダンス文字80を見ながら、「ブーム操作調整」において要求される特定の操作を実施することができる。
【0105】
運転者は、下部走行体2の作動を停止し、上部旋回体3の作動を停止した状態で、作業機4がガイダンス画像70で示される特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作する。作業機4が特定の姿勢に調整された後、運転者は、「NEXT」の文字を含むアイコンI6の直下のファンクションスイッチF3を操作する。ファンクションスイッチF3が操作され、規定時間が経過することにより、「ブーム操作調整」が終了する。「ブーム操作調整」が終了すると、表示部21は、第2較正画面A2から第1較正画面A1に遷移する。
【0106】
以上、
図9及び
図10を参照しながら、油圧ショベル1の較正のメニューのうち「IMU調整」及び「ブーム操作調整」について説明した。
図8に示したように、油圧ショベル1の較正のメニューには「IMU調整」及び「ブーム操作調整」のみならず、「バケット操作調整」及び「セミオート調整」がある。これら較正のメニューごとにガイダンス表示データSb2を含む第2較正画面A2が表示される。運転者は、第1較正画面A1に表示されるメニューの較正を順次実施する。全ての較正のメニューの較正が終了すると、表示部21は、メインメニュー画面Cに戻る。表示部21がメインメニュー画面Cに戻った後、操作装置10が操作されて操作状態になることにより、表示部21は、標準画面Bを表示する。
【0107】
[表示方法]
図11は、本実施形態に係る表示装置20の表示方法の一例を示すフローチャートである。運転室6に搭乗した運転者は、キースイッチをオンにする(ステップS10)。これにより、油圧ショベル1が起動する。表示制御部56は、初期画面として、
図7を参照して説明した標準画面Bを表示部21に表示させる(ステップS20)。標準画面Bは、油圧ショベル1の周辺の俯瞰画像Sa1と、単カメラ画像Sa2とを含む。
【0108】
運転者は、操作装置10を中立状態にした状態で、操作部22のファンクションスイッチF6を操作する。
図7に示したように、ファンクションスイッチF6の直上には、標準画面Bをメインメニュー画面Cに切り換えるアイコンI3が表示されている。運転者は、メインメニュー画面Cを表示部21に表示させるために、操作装置10を中立状態にした状態で、操作部22のファンクションスイッチF6を操作する。
【0109】
操作装置10の操作データは、操作データ取得部54に出力される。判定部55は、操作データに基づいて、操作装置10が中立状態か否かを判定する(ステップS25)。
【0110】
ステップS25において、操作装置10が中立状態でないと判定したとき(ステップS25:No)、判定部55は、操作装置10が操作状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が操作状態であることを示す判定信号を判定部55から取得したとき、表示部21にメインメニュー画面Cを表示させず、標準画面Bを表示させる(ステップS20)。すなわち、表示制御部56は、較正画面Aを表示している場合において、操作装置10の中立状態が否であると判定部55により判定された場合、較正画面Aの表示を維持する。操作装置10が中立状態でない場合、表示部21は、標準画面Bからメインメニュー画面Cに遷移しない。
【0111】
ステップS25において、操作装置10が中立状態であると判定したとき(ステップS25:Yes)、判定部55は、操作装置10が中立状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が中立状態であることを示す判定信号を判定部55から取得し、ファンクションスイッチF6が操作されることにより生成された操作信号を取得したとき、表示部21にメインメニュー画面Cを表示させる(ステップS30)。すなわち、操作装置10が中立状態である場合、表示部21は、標準画面Bからメインメニュー画面Cに遷移する。
【0112】
図5を参照して説明したように、メインメニュー画面Cにおいて、較正を実施するためのメニューが表示される。較正を実施するとき、運転者は、操作装置10を中立状態にした状態で、ファンクションスイッチを操作して、メインメニュー画面Cに表示される複数のメニューのうち「較正」を選択及び決定する。操作装置10が中立状態において、較正を実施するためのメニューが選択及び決定されると、第1較正画面A1が表示部21に表示される。運転者は、第1較正画面A1を表示部21に表示させるために、操作装置10を中立状態にした状態で、メインメニュー画面Cに表示される複数のメニューのうち「較正」を選択及び決定する。
【0113】
操作装置10の操作データは、操作データ取得部54に出力される。判定部55は、操作データに基づいて、操作装置10が中立状態か否かを判定する(ステップS35)。
【0114】
ステップS35において、操作装置10が中立状態でないと判定したとき(ステップS35:No)、判定部55は、操作装置10が操作状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が操作状態であることを示す判定信号を判定部55から取得したとき、表示制御部56は、表示部21に第1較正画面A1を表示させず、標準画面Bを表示させる(ステップS20)。すなわち、表示制御部56は、メインメニュー画面Cを表示している場合において、操作装置10の中立状態が否であると判定部55により判定された場合、標準画面Bに遷移させる。このように、操作装置10が中立状態でない場合、表示部21は、メインメニュー画面Cから第1較正画面A1に遷移せず、メインメニュー画面Cから標準画面Bに遷移する。
【0115】
ステップS35において、操作装置10が中立状態であると判定したとき(ステップS35:Yes)、判定部55は、操作装置10が中立状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が中立状態であることを示す判定信号を判定部55から取得し、較正を実施するためのメニューが選択及び決定されることにより生成された操作信号を取得したとき、
図8を参照して説明した第1較正画面A1を表示部21に表示させる(ステップS40)。すなわち、操作装置10が中立状態である場合、表示部21は、メインメニュー画面Cから第1較正画面A1に遷移する。
【0116】
このように、表示制御部56は、判定部55において操作装置10が中立状態であると判定されたときに、表示部21をメインメニュー画面Cから第1較正画面A1に遷移させる。表示制御部56は、判定部55において操作装置10が操作状態であると判定されたとき、ファンクションスイッチが操作されても、表示部21をメインメニュー画面Cから第1較正画面A1に遷移させずに、標準画面Bに遷移させる。表示制御部56は、操作装置10が中立状態であると判定されたときに、周辺表示データSaを表示させずに、メニュー表示データSb1を表示部21に表示させる。表示制御部56は、操作装置10が操作状態であると判定されたときに、メニュー表示データSb1を表示部21に表示させずに、周辺表示データSaを表示させる。
【0117】
メインメニュー画面Cが表示部21に表示されているときに操作装置10が操作され操作状態であると判定されたとき、表示制御部56は、表示部21をメインメニュー画面Cから標準画面Bに遷移させる。メインメニュー画面Cは、周辺表示データSaを含まない。一方、標準画面Bは、周辺表示データSaを含む。すなわち、表示制御部56は、周辺表示データSaを表示部21に表示させていない状態(メインメニュー画面Cを表示部21に表示させる状態)において、操作装置10が操作されて中立状態から操作状態に変化したと判定されたときに、周辺表示データSaを表示部21に表示させない状態から、周辺表示データSaを表示部21に表示させる状態(標準画面Bを表示部21に表示させる状態)に遷移させる。
【0118】
第1較正画面A1は、較正のメニューを示すメニュー表示データSb1を含む。運転者は、操作装置10を中立状態にした状態で、操作部22のファンクションスイッチを操作して、較正のメニューの中からいずれかの較正のメニューを選択及び決定する。操作装置10が中立状態において、例えば「IMU調整」が選択及び決定されると、
図9を参照して説明した第2較正画面A2が表示部21に表示される。運転者は、第2較正画面A2を表示部21に表示させるために、操作装置10を中立状態にした状態で、第1較正画面A1に表示される複数のメニューのうち「IMU調整」を実施するためのメニューを選択及び決定する。
【0119】
操作装置10の操作データは、操作データ取得部54に出力される。判定部55は、操作データに基づいて、操作装置10が中立状態か否かを判定する(ステップS45)。
【0120】
ステップS45において、操作装置10が中立状態でないと判定したとき(ステップS45:No)、判定部55は、操作装置10が操作状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が操作状態であることを示す判定信号を判定部55から取得したとき、表示部21に第2較正画面A2を表示させず、標準画面Bを表示させる(ステップS20)。すなわち、操作装置10が中立状態でない場合、表示部21は、第1較正画面A1から第2較正画面A2に遷移せず、第1較正画面A1から標準画面Bに遷移する。
【0121】
ステップS45において、操作装置10が中立状態であると判定したとき(ステップS45:Yes)、判定部55は、操作装置10が中立状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が中立状態であることを示す判定信号を判定部55から取得し、「IMU調整」を実施するためのメニューが選択及び決定されることにより生成された操作信号を取得したとき、
図9を参照して説明した第2較正画面A2を表示部21に表示させる(ステップS50)。すなわち、操作装置10が中立状態である場合、表示部21は、第1較正画面A1から第2較正画面A2に遷移する。
【0122】
このように、表示制御部56は、判定部55において操作装置10が中立状態であると判定されたときに、表示部21を第1較正画面A1から第2較正画面A2に遷移させる。表示制御部56は、判定部55において操作装置10が操作状態であると判定されたとき、「IMU調整」を実施するためのメニューが選択及び決定されても、表示部21を第1較正画面A1から第2較正画面A2に遷移させずに、標準画面Bに遷移させる。表示制御部56は、操作装置10が中立状態であると判定されたときに、周辺表示データSaを表示させずに、メニュー表示データSb1を表示部21に表示させる。表示制御部56は、操作装置10が操作状態であると判定されたときに、メニュー表示データSb1を表示部21に表示させずに、周辺表示データSaを表示させる。
【0123】
第1較正画面A1が表示部21に表示されているときに操作装置10が操作されて操作状態であると判定されたとき、表示制御部56は、表示部21を第1較正画面A1から標準画面Bに遷移させる。第1較正画面A1は、周辺表示データSaを含まない。一方、標準画面Bは、周辺表示データSaを含む。すなわち、表示制御部56は、周辺表示データSaを表示部21に表示させていない状態(第1較正画面A1を表示部21に表示させる状態)において、操作装置10が操作されて中立状態から操作状態に変化したと判定されたときに、周辺表示データSaを表示部21に表示させない状態から、周辺表示データSaを表示部21に表示させる状態(標準画面Bを表示部21に表示させる状態)に遷移させる。
【0124】
第2較正画面A2は、操作装置10の操作を促すガイダンス表示データSb2を含む。運転者は、下部走行体2の作動を停止し、上部旋回体3の作動を停止した状態で、ガイダンス表示データSb2のガイダンス画像70を見ながら、作業機4が特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作して、作業機4を作動させる。
【0125】
ガイダンス表示データSb2と共に、油圧ショベル1の周辺の俯瞰画像Sa1が表示部21に表示される。そのため、運転者は、油圧ショベル1の周辺の状況を視認しながら、作業機4が特定の姿勢になるように、操作装置10を操作して、作業機4を作動させることができる。
【0126】
また、
図9を参照して説明したように、ガイダンス文字80として「安定した路盤上で図の姿勢にした後、10秒待ってからNEXTを押して下さい」が表示部21に表示される。運転者は、作業機4が特定の姿勢に調整された後、ガイダンス文字80に従って、作業機4が特定の姿勢に調整されてから10秒間が経過した後に、ファンクションスイッチF3を操作する。
図9を参照して説明したように、ファンクションスイッチF3の直上には、「NEXT」のアイコンI6が表示されている。ファンクションスイッチF3が操作されることにより、較正(IMU調整)が実施される(ステップS60)。
【0127】
ファンクションスイッチF3が操作され、規定時間が経過することにより、「IMU調整」が終了する。「IMU調整」が終了すると、制御装置23は、較正のメニューが全て終了したか否かを判定する(ステップS70)。
【0128】
ステップS70において、較正のメニューが全て終了していないと判定され(ステップS70:No)、操作装置10が中立状態であると判定されたとき(ステップS35:Yes)、表示制御部56は、
図8を参照して説明した第1較正画面A1を表示部21に表示させる(ステップS40)。
【0129】
運転者は、操作装置10を中立状態にした状態で、操作部22のファンクションスイッチを操作して、複数の較正のメニューからいずれかの較正のメニューを選択及び決定する。操作装置10が中立状態であると判定され(ステップS45:Yes)、例えば「ブーム操作調整」が選択及び決定されることにより、表示制御部56は、
図10を参照して説明した第2較正画面A2を表示部21に表示させる(ステップS50)。
【0130】
運転者は、下部走行体2の作動を停止し、上部旋回体3の作動を停止した状態で、ガイダンス表示データSb2のガイダンス画像70を見ながら、作業機4が特定の姿勢になるように、操作装置10の左作業レバー11及び右作業レバー12を操作して、作業機4を作動させる。
【0131】
運転者は、ガイダンス表示データSb2と共に表示されている俯瞰画像Sa1を見ながら左作業レバー11及び右作業レバー12を操作して、作業機4が特定の姿勢になるように作業機4を作動させることができる。
【0132】
図10を参照して説明したように、ガイダンス文字80として「アーム垂直姿勢(下図参照)にし、NEXTを押して下さい」が表示部21に表示される。運転者は、作業機4が特定の姿勢に調整された後、ガイダンス文字80に従って、ファンクションスイッチF3を操作する。
図10を参照して説明したように、ファンクションスイッチF3の直上には、「NEXT」のアイコンI6が表示されている。ファンクションスイッチF3が操作されることにより、較正(ブーム操作調整)が実施される(ステップS60)。
【0133】
ファンクションスイッチF3が操作され、規定時間が経過することにより、「ブーム操作調整」が終了する。「ブーム操作調整」が終了すると、制御装置23は、較正のメニューが全て終了したか否かを判定する(ステップS70)。
【0134】
以下、全ての較正のメニューが終了するまで、ステップS35からステップS70の処理が繰り返される。較正のメニューが全て終了したと判定されたとき(ステップS70:Yes)、表示制御部56は、メインメニュー画面Cを表示部21に表示させる(ステップS80)。
【0135】
メインメニュー画面Cが表示部21に表示された後、作業を開始するために、操作装置10が操作され操作装置10が操作状態になったとき、表示部21は、メインメニュー画面Cから標準画面Bに遷移する。操作装置10の操作データは、操作データ取得部54に出力される。判定部55は、操作データに基づいて、操作装置10が中立状態か否かを判定する(ステップS85)。
【0136】
ステップS85において、操作装置10が操作され操作装置10が操作状態であると判定したとき(ステップS85:No)、判定部55は、操作装置10が操作状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が操作状態であることを示す判定信号を判定部55から取得したとき、
図7を参照して説明した標準画面Bを表示部21に表示させる(ステップS90)。すなわち、操作装置10が操作状態である場合、表示部21は、メインメニュー画面Cから標準画面Bに遷移する。
【0137】
ステップS85において、操作装置10が操作されず操作装置10が中立状態であると判定したとき(ステップS85:Yes)、判定部55は、操作装置10が中立状態であることを示す判定信号を表示制御部56に出力する。表示制御部56は、操作装置10が中立状態であることを示す判定信号を判定部55から取得したとき、表示部21に標準画面Bを表示させず、メインメニュー画面Cを表示させる(ステップS80)。すなわち、操作装置10が操作状態でない場合、表示部21は、メインメニュー画面Cから標準画面Bに遷移しない。操作装置10が操作状態でない場合、メインメニュー画面Cの表示が維持される。
【0138】
[効果]
以上説明したように、本実施形態によれば、油圧ショベル1に設けられている複数のカメラ30で取得された画像データに基づいて油圧ショベル1の周辺の状況を示す周辺表示データSaが生成される。また、油圧ショベル1の較正に使用される較正表示データSbが生成される。較正表示データSbを含む較正画面Aにおいては、較正表示データSbと周辺表示データSaとが同一画面上に表示される。これにより、油圧ショベル1の較正時において作業機4が作動するとき、表示装置20は、油圧ショベル1の周辺の状況を運転者に視認させることができる。
【0139】
油圧ショベル1の較正時において、運転シート9に着座している運転者は、パワーコンテナ7及びカウンタウェイト8に視線を遮られる可能性がある。また、運転室6の右方においてブーム4Aが上下方向に移動する。運転シート9に着座している運転者は、ブーム4Aに視線を遮られる可能性がある。
【0140】
本実施形態においては、油圧ショベル1の作業時及び較正時の両方において、油圧ショベル1の周辺の状況を示す表示データが表示装置20に表示される。表示装置20は、少なくとも油圧ショベル1の後方の状況を示す表示データ、及び油圧ショベル1の右方の状況を示す表示データを表示する。油圧ショベル1の周辺の状況を示す表示データが表示装置20に表示されることにより、油圧ショベル1の作業時及び較正時の両方において、油圧ショベル1の運転者は、油圧ショベル1の周辺の状況を容易に視認することができる。
【0141】
本実施形態においては、較正画面Aが表示されている状態において、操作装置10が操作されても、較正画面Aから標準画面Bに遷移せずに、較正画面Aにおいて、ガイダンス表示データSb2とともに周辺表示データSaが表示される。これにより、油圧ショベル1の較正において、運転者は、表示部21に表示されている較正画面Aの周辺表示データSaを見ながら、操作装置10を操作して、作業機4を作動させることができる。
【0142】
また、油圧ショベル1の作業時及び較正時の両方において、操作装置10が操作状態のとき、表示制御部56は、少なくとも油圧ショベル1の後方の状況及び右方の状況を示す周辺表示データSaを表示部21に表示させる。操作装置10が操作状態であり、下部走行体2、上部旋回体3、及び作業機4の少なくとも一部が作動するとき、運転者は、油圧ショベル1の周辺の状況を視認する必要がある。操作装置10が操作状態のとき、すなわち、下部走行体2、上部旋回体3、及び作業機4の少なくとも一部が作動するとき、周辺表示データSaが表示部21に必ず表示される。そのため、運転者は、下部走行体2、上部旋回体3、及び作業機4の少なくとも一部が作動するとき、油圧ショベル1の周辺の状況を視認することができる。
【0143】
また、較正表示データSbは、較正のメニューを示すメニュー表示データSb1と、油圧ショベル1の作動を促すガイダンス表示データSb2とを含む。表示制御部56は、ガイダンス表示データSb2の表示において、周辺表示データSaである俯瞰画像Sa1をガイダンス表示データSb2と並べて表示させる。一方、表示制御部56は、メニュー表示データSb1の表示において、周辺表示データSaを表示させずにメニュー表示データSb1を表示させる。
【0144】
また、表示制御部56は、判定部55において操作装置10が中立状態であると判定されたときに、周辺表示データSaを含まずにメニュー表示データSb1を含む第1較正画面A1を表示部21に表示させる。表示制御部56は、判定部55において操作装置10が操作状態であると判定されたときに、メニュー表示データSb1を含む第1較正画面A1を表示部21に表示させずに、周辺表示データSaを含む標準画面Bを表示部21に表示させる。操作装置10が中立状態のとき、表示制御部56は、ファンクションスイッチの操作に基づいて、表示部21をメインメニュー画面Cから第1較正画面A1に遷移させる。操作装置10が操作状態のとき、表示制御部56は、ファンクションスイッチが操作されても、表示部21をメインメニュー画面Cから第1較正画面A1に遷移させずに、標準画面Bに遷移させる。操作装置10が中立状態であり、油圧ショベル1が作動していないとき、周辺表示データSaが表示部21に表示されなくてもよい。そのため、操作装置10が中立状態のとき、表示制御部56は、第1較正画面A1において、メニュー表示データSb1を表示部21に表示させ、周辺表示データSaを表示部21に表示させない。これにより、表示制御部56は、表示部21の表示画面の広い領域を使って、メニュー表示データSb1を表示させることができる。表示部21の表示画面の広い領域にメニュー表示データSb1が表示されるので、運転者は、メニュー表示データSb1を見易くなる。一方、操作装置10が操作状態であり、油圧ショベル1が作動するとき、周辺表示データSaが表示部21に表示される必要がある。そのため、操作装置10が操作状態のとき、表示制御部56は、周辺表示データSaを含む標準画面Bを表示部21に表示させる。これにより、運転者は、油圧ショベル1が作動するとき、油圧ショベル1の周辺の状況を視認することができる。
【0145】
また、第2較正画面A2に表示される周辺表示データSaは、油圧ショベル1の周辺の俯瞰画像Sa1を含む。これにより、運転者は、俯瞰画像Sa1を見て、油圧ショベル1の後方の状況及び右方の状況を一括して視認することができる。
【0146】
また、標準画面Bは、俯瞰画像Sa1及び俯瞰画像Sa1と同一画面上に表示される単カメラ画像Sa2を含む。すなわち、標準画面Bに表示される周辺表示データSaは、異なる表示形態で表示される第1周辺表示データと第2周辺表示データとを含む。油圧ショベル1の周辺の状況が異なる複数の表示形態で表示部21に表示されることにより、運転者は、油圧ショベル1の周辺の状況をより効果的に視認することができる。
【0147】
また、標準画面B及び第2較正画面A2のそれぞれにおいて、第1領域21Aに俯瞰画像Sa1が表示される。標準画面Bにおいて、第2領域21Bに単カメラ画像Sa2が表示され、第2較正画面A2において、第2領域21Bにガイダンス表示データSb2が表示される。表示部21が標準画面Bから第2較正画面A2に遷移したとき、第2領域21Bは、単カメラ画像Sa2からガイダンス表示データSb2に変更される。表示部21が標準画面Bから第2較正画面A2に遷移したとき、第1領域21Aにおいて俯瞰画像Sa1が表示され続ける。作業機4を作動させるとき、俯瞰画像Sa1が第1領域21Aに表示され続ける。そのため、運転者は、作業機4を作動させるとき、油圧ショベル1の周辺の状況を常に視認することができる。
【0148】
なお、上述の実施形態においては、周辺表示データSaが、俯瞰画像である第1周辺表示データSa1と、単カメラ画像である第2周辺表示データSa2とを含む概念であることとした。周辺表示データSaは、第1周辺表示データSa1のみを含む概念でもよいし、第2周辺表示データSa2のみを含む概念でもよいし、第1周辺表示データSa1及び第2周辺表示データSa2の両方を含む概念でもよい。例えば、標準画面Bが、油圧ショベル1の後方の状況を示す後方単カメラ画像と、油圧ショベル1の右方の状況を示す右方単カメラ画像とを少なくとも含んでもよい。これにより、運転者は、後方単カメラ画像及び右方単カメラ画像を見て、油圧ショベル1の後方の状況及び右方の状況を視認することができる。
【0149】
なお、上述の実施形態において、較正画面Aが、同一の画面に表示されるガイダンス表示データSb2と単カメラ画像Sa2とを含んでもよい。ガイダンス表示データSb2と同一の画面に表示される単カメラ画像Sa2は、後方単カメラ画像及び右方単カメラ画像の両方を含んでもよい。また、較正画面Aが、同一の画面に表示されるガイダンス表示データSb2と俯瞰画像Sa1と単カメラ画像Sa2との組み合わせを含んでもよい。すなわち、較正画面Aは、較正表示データSbとともに、俯瞰画像Sa1のみを表示してもよいし、単カメラ画像Sb2のみを表示してもよいし、俯瞰画像Sa1と単カメラ画像Sb2との両方を表示してもよい。
【0150】
なお、上述の実施形態においては、カメラシステム300は、4つのカメラ30(31,32,33,34)を有することとした。カメラ30の数は、3つでもよいし、5つ以上の任意の数でもよい。また、カメラシステム300のカメラ30は、1つでもよい。
【0151】
なお、上述の実施形態においては、操作装置10が作業レバー(左作業レバー11、右作業レバー12、左走行レバー13、及び右走行レバー14)を含むこととした。操作装置10は、運転者の足によって操作されるペダルを含んでもよい。作業レバー及びペダルの全てが中立状態である状態を操作装置10の中立状態とし、作業レバー及びペダルの少なくとも一部が操作状態である状態を操作装置10の操作状態としてもよい。
【0152】
なお、上述の実施形態においては、油圧ショベル1の運転者が表示装置20の操作部22を操作して、較正画面A及び標準画面Bの少なくとも一方を表示部21に表示させることとした。油圧ショベル1の保守者(サービスマン)が表示装置20の操作部22を操作して、較正画面A及び標準画面Bの少なくとも一方を表示部21に表示させたり、油圧ショベル1の較正を実施したりしてもよい。
【0153】
なお、上述の実施形態においては、表示装置20が油圧ショベル1の運転室6に配置されることとした。表示装置20は油圧ショベル1の遠隔操作を行う遠隔操作室に配置されてもよいし、作業現場の複数の油圧ショベル1を管理する管制室に配置されてもよい。遠隔操作室又は管制室に表示装置20が設けられる場合、カメラ30で取得された画像データは、無線通信システムを介して表示装置20に送信されてもよい。
【0154】
また、上述の実施形態において、表示部21と制御装置23とが別体でもよい。例えば、表示部21を有する表示装置20と、周辺表示データSaと較正表示データSbとを含む較正画面Aを表示装置20の表示部21に表示させる表示制御部56を有する制御装置23とを備える表示システムが構築され、それら表示装置20と制御装置23とが別体で設けられてもよい。例えば、表示装置20が油圧ショベル1の運転室に設けられ、制御装置23が油圧ショベル1の外部に設けられてもよい。制御装置23が設けられる油圧ショベル1の外部は、遠隔操作室でもよいし管制室でもよい。また、表示装置20と表示装置20とは別体の制御装置23とが油圧ショベル1の運転室に設けられてもよい。操作部22は、表示装置20に設けられてもよいし、例えば運転室内のコンソール等の他の場所に設けられてもよい。また、表示部21や制御装置23は、例えばスマートフォン又はタブレット型コンピュータのような携帯型コンピュータでもよい。
【0155】
なお、上述の実施形態においては、油圧ショベル1が、バケット4Cの3次元位置データと施工対象の3次元設計面とを照合して作業機4を制御するICT油圧ショベルであることとした。油圧ショベル1は、上述のICT油圧ショベルに限られず、メインメニュー画面や較正画面を有する通常の油圧ショベルでもよい。
【0156】
また、作業機械1は、例えば、ダンプトラック、ブルドーザ、及びホイールローダの少なくとも一つでもよい。
【符号の説明】
【0157】
1…油圧ショベル(作業機械)、1G…油圧ショベル、2…下部走行体、3…上部旋回体、4…作業機、4A…ブーム、4B…アーム、4C…バケット、4G…作業機、5…油圧シリンダ、5A…ブームシリンダ、5B…アームシリンダ、5C…バケットシリンダ、6…運転室、7…パワーコンテナ、8…カウンタウェイト、9…運転シート、10…操作装置、11…左作業レバー、12…右作業レバー、13…左走行レバー、14…右走行レバー、20…表示装置、21…表示部、21A…第1領域、21B…第2領域、22…操作部、23…制御装置、30…カメラ、31…カメラ、32…カメラ、33…カメラ、34…カメラ、41…演算処理装置、42…記憶装置、43…入出力インターフェース、51…画像データ取得部、52…周辺表示データ生成部、53…較正表示データ取得部、54…操作データ取得部、55…判定部、56…表示制御部、57…較正表示データ記憶部、60…単カメラ画像位置アイコン、70…ガイダンス画像、80…ガイダンス文字、300…カメラシステム、A…較正画面、A1…第1較正画面、A2…第2較正画面、B…標準画面、D…目安線、E0…フレーム領域、E1…フレーム領域、E2…フレーム領域、E3…フレーム領域、E4…フレーム領域、F1…ファンクションスイッチ、F2…ファンクションスイッチ、F3…ファンクションスイッチ、F4…ファンクションスイッチ、F5…ファンクションスイッチ、F6…ファンクションスイッチ、G1…エンジン水温ゲージ、G2…油温ゲージ、G3…燃料レベルゲージ、G4…インジケータ、Ia…アイコン、Ib…アイコン、Ic…アイコン、Id…アイコン、Ie…アイコン、If…アイコン、I1…アイコン、I2…アイコン、I3…アイコン、I4…アイコン、I5…アイコン、I6…アイコン、I7…アイコン、PS…キャラクタ画像、P1…画像データ、P2…画像データ、P3…画像データ、P4…画像データ、P11…変換画像データ、P12…変換画像データ、P13…変換画像データ、P14…変換画像データ、Sa…周辺表示データ、Sa1…俯瞰画像、Sa2…単カメラ画像、Sb…較正表示データ、Sb1…メニュー表示データ、Sb2…ガイダンス表示データ。