特開2023-183700作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183700
(43)【公開日】2023-12-28
(54)【発明の名称】作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
(51)【国際特許分類】
E02F 9/26 20060101AFI20231221BHJP
B60R 11/02 20060101ALI20231221BHJP
H04N 7/18 20060101ALI20231221BHJP
【ＦＩ】
E02F9/26 A
B60R11/02 C
H04N7/18 J
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022097349
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】720001060
【氏名又は名称】ヤンマーホールディングス株式会社
(74)【代理人】
【識別番号】100167302
【弁理士】
【氏名又は名称】種村 一幸
(74)【代理人】
【識別番号】100135817
【弁理士】
【氏名又は名称】華山 浩伸
(74)【代理人】
【識別番号】100167830
【弁理士】
【氏名又は名称】仲石 晴樹
(72)【発明者】
【氏名】田村 一樹
(72)【発明者】
【氏名】川口 大輔
(72)【発明者】
【氏名】須賀 亮介
【テーマコード（参考）】
2D015
3D020
5C054
【Ｆターム（参考）】
2D015HA03
3D020BA04
3D020BA20
3D020BB07
3D020BC03
3D020BC13
3D020BE03
5C054CA04
5C054CC02
5C054FD03
5C054FE02
5C054FE14
5C054FE17
5C054HA30
(57)【要約】
【課題】操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供する。
【解決手段】作業機械の制御方法は、作業機械に関連する情報を含む表示画面を表示装置に表示させることと、切替操作部が操作されると、表示装置に表示させる表示画面を、複数の画面間で切替パターンに従って切り替えることと、を有する。ここで、制御方法は、切替パターンを、作業機械の動作状態に応じて変更することを更に有する。
【選択図】図９
【解決手段】作業機械の制御方法は、作業機械に関連する情報を含む表示画面を表示装置に表示させることと、切替操作部が操作されると、表示装置に表示させる表示画面を、複数の画面間で切替パターンに従って切り替えることと、を有する。ここで、制御方法は、切替パターンを、作業機械の動作状態に応じて変更することを更に有する。
【選択図】図９
【特許請求の範囲】
【請求項1】
作業機械に関連する情報を含む表示画面を表示装置に表示させることと、
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
作業機械の制御方法。
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
作業機械の制御方法。
【請求項2】
前記切替パターンの変更は、切替対象となる前記複数の画面の数の変更を含む、
請求項１に記載の作業機械の制御方法。
請求項１に記載の作業機械の制御方法。
【請求項3】
前記切替パターンの変更は、切替先となる前記画面の変更を含む、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項4】
前記動作状態が第１状態にある場合、切替対象となる前記複数の画面は、前記作業機械の周囲の監視エリアの撮像画像を含む１又は複数のカメラ画面と、前記撮像画像を含まない基本画面と、を含む、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項5】
前記動作状態が第２状態にある場合、切替対象となる前記複数の画面は、それぞれ前記作業機械の周囲の監視エリアの撮像画像を含む複数のカメラ画面を含む、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項6】
前記複数のカメラ画面は、互いに前記撮像画像の表示態様が異なる、
請求項４に記載の作業機械の制御方法。
請求項４に記載の作業機械の制御方法。
【請求項7】
前記複数のカメラ画面は、前記撮像画像に加えて前記作業機械の稼働状態に関する稼働情報を含む第１カメラ画面と、前記稼働情報を含まない第２カメラ画面と、を含む、
請求項４に記載の作業機械の制御方法。
請求項４に記載の作業機械の制御方法。
【請求項8】
前記撮像画像の表示態様は、前記切替操作部の特定の操作によって更に変更可能である、
請求項４に記載の作業機械の制御方法。
請求項４に記載の作業機械の制御方法。
【請求項9】
前記切替操作部は、単一の操作スイッチである、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項10】
前記作業機械に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項11】
前記動作状態は、カットオフレバーの操作状態と、前記作業機械の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む、
請求項１又は２に記載の作業機械の制御方法。
請求項１又は２に記載の作業機械の制御方法。
【請求項12】
請求項１又は２に記載の作業機械の制御方法を、
１以上のプロセッサに実行させるための作業機械用制御プログラム。
１以上のプロセッサに実行させるための作業機械用制御プログラム。
【請求項13】
作業機械に関連する情報を含む表示画面を表示装置に表示させる表示処理部と、
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替える切替処理部と、を備え、
前記切替処理部は、前記切替パターンを、前記作業機械の動作状態に応じて変更する、
作業機械用制御システム。
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替える切替処理部と、を備え、
前記切替処理部は、前記切替パターンを、前記作業機械の動作状態に応じて変更する、
作業機械用制御システム。
【請求項14】
請求項１３に記載の作業機械用制御システムと、
前記表示装置が搭載される機体と、を備える、
作業機械。
前記表示装置が搭載される機体と、を備える、
作業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械に用いられる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械に関する。
【背景技術】
【0002】
関連技術として、下部走行体と、上部旋回体と、上部旋回体に搭載される複数の撮像装置と、運転室に搭載される表示装置と、を備える作業機械（建設機械）が知られている（例えば、特許文献１参照）。関連技術に係る作業機械では、表示装置には、運転状態に関する運転情報と、複数の撮像装置により撮像された撮像画像の少なくとも１つ以上を含む画像と、が同時に表示される。そして、単一の切替スイッチの操作に応じて、運転情報の表示位置、及び表示する撮像画像の少なくとも一方が切り替えられる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】ＷＯ２０１５／１６３３８１Ａ１
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記関連技術では、単一の切替スイッチの操作が押される度に表示画面は決まった順番で切り替わるので、オペレータが見たい画面に切り替わるまで何度も切替スイッチを押す必要がある等、オペレータによっては操作性が悪いと感じる場面がある。
【0005】
本発明の目的は、操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係る作業機械の制御方法は、作業機械に関連する情報を含む表示画面を表示装置に表示させることと、切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する。
【0007】
本発明の一態様に係る作業機械用制御プログラムは、前記作業機械の制御方法を、１以上のプロセッサに実行させるためのプログラムである。
【0008】
本発明の一態様に係る作業機械用制御システムは、表示処理部と、切替処理部と、を備える。前記表示処理部は、作業機械に関連する情報を含む表示画面を表示装置に表示させる。前記切替処理部は、切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替える。前記切替処理部は、前記切替パターンを、前記作業機械の動作状態に応じて変更する。
【0009】
本発明の一態様に係る作業機械は、前記作業機械用制御システムと、前記表示装置が搭載される機体と、を備える。
【発明の効果】
【0010】
本発明によれば、操作性の向上を図ることができる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することができる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。
【0013】
（実施形態１）
［１］全体構成
本実施形態に係る作業機械３は、図１に示すように、走行部３１と、旋回部３２と、作業部３３と、を機体３０に備えている。また、作業機械３は、図２に示すように、作業機械用制御システム１（以下、単に「制御システム１」ともいう）を更に備えている。その他、機体３０は、表示装置２及び操作装置３５等を更に備えている。
［１］全体構成
本実施形態に係る作業機械３は、図１に示すように、走行部３１と、旋回部３２と、作業部３３と、を機体３０に備えている。また、作業機械３は、図２に示すように、作業機械用制御システム１（以下、単に「制御システム１」ともいう）を更に備えている。その他、機体３０は、表示装置２及び操作装置３５等を更に備えている。
【0014】
本開示でいう「作業機械」は、各種の作業用の機械を意味し、一例として、バックホー（油圧ショベル、ミニショベル等を含む）、ホイルローダー及びキャリア等の作業車両である。作業機械３は、少なくとも吊り作業を含む１つ以上の作業を実行可能に構成された作業部３３を備えている。作業機械３は、「車両」に限らず、例えば、作業用船舶、ドローン又はマルチコプター等の作業飛翔体等であってもよい。さらに、作業機械３は建設機械（建機）に限らず、例えば、田植機、トラクタ又はコンバイン等の農業機械（農機）であってもよい。本実施形態では、特に断りが無い限り、作業機械３が吊り機能付き（クレーン機能付き）のバックホーであって、吊り作業の他に、掘削作業、整地作業、溝掘削作業又は積込作業等を作業として実行可能である場合を例に挙げて説明する。
【0015】
また、本実施形態では、説明の便宜上、作業機械３が使用可能な状態での鉛直方向を上下方向Ｄ１と定義する。さらに、旋回部３２の非旋回状態において、作業機械３（の運転部３２１）に搭乗したユーザ（オペレータ）から見た方向を基準として、前後方向Ｄ２及び左右方向Ｄ３を定義する。言い換えれば、本実施形態で用いられる各方向は、いずれも作業機械３の機体３０を基準として規定される方向であって、作業機械３の前進時に機体３０が移動する方向が「前方」、作業機械３の後退時に機体３０が移動する方向が「後方」となる。同様に、作業機械３の右旋回時に機体３０の前端部が移動する方向が「右方」、作業機械３の左旋回時に機体３０の前端部が移動する方向が「左方」となる。ただし、これらの方向は、作業機械３の使用方向（使用時の方向）を限定する趣旨ではない。
【0016】
作業機械３は、動力源となるエンジンを備えている。作業機械３においては、例えば、エンジンによって油圧ポンプ４１（図２参照）が駆動され、油圧ポンプ４１から機体３０の各部の油圧アクチュエータ（油圧モータ４３及び油圧シリンダ４４等を含む）に作動油が供給されることで、機体３０が駆動する。また、作業機械３は、例えば、機体３０の運転部３２１に搭乗したユーザ（オペレータ）が、操作装置３５の操作レバー等を操作することにより制御される。
【0017】
本実施形態では、上述したように作業機械３が乗用タイプのバックホーである場合を想定しているので、作業部３３は、運転部３２１に搭乗したユーザ（オペレータ）の操作に従って駆動され、掘削作業等の作業を実行する。ユーザが搭乗する運転部３２１は、旋回部３２に設けられている。
【0018】
ここで、機体３０の運転部３２１には、表示装置２及び操作装置３５が搭載されており、ユーザは、表示装置２に表示される作業機械３に関連する種々の情報を見ながら、操作装置３５を操作可能である。一例として、表示装置２の表示画面に、冷却水温及び作動油温等の作業機械３の稼働状態に関する情報が表示されることで、ユーザは、操作装置３５の操作に必要な作業機械３の稼働状態に関する情報を、表示装置２で確認することができる。
【0019】
走行部３１は、走行機能を有し、地面を走行（旋回を含む）可能に構成されている。走行部３１は、例えば、左右一対のクローラ３１１及びブレード３１２等を有している。走行部３１は、クローラ３１１を駆動するための走行用の油圧モータ４３（油圧アクチュエータ）等を更に有する。
【0020】
旋回部３２は、走行部３１の上方に位置し、走行部３１に対して、鉛直方向に沿った回転軸を中心に旋回可能に構成されている。旋回部３２は、旋回用の油圧モータ（油圧アクチュエータ）等を有している。旋回部３２には、運転部３２１の他、エンジン及び油圧ポンプ４１等が搭載されている。さらに、旋回部３２の前端部には、作業部３３が取り付けられるブームブラケット３２２が設けられている。
【0021】
作業部３３は、吊り作業を含む作業を実行可能に構成されている。作業部３３は、旋回部３２のブームブラケット３２２に支持されており、作業を実行する。作業部３３は、バケット３３１、ブーム３３２及びアーム３３３等を有している。作業部３３は、各部を駆動するための油圧アクチュエータ（油圧シリンダ４４及び油圧モータ等を含む）を更に有する。
【0022】
バケット３３１は、作業機械３の機体３０に取り付けられるアタッチメント（作業具）の一種であって、複数種類のアタッチメントの中から作業の内容に応じて選択される任意の器具からなる。バケット３３１は、一例として、機体３０に対して取り外し可能に取り付けられ、作業の内容に応じて交換される。作業機械３用のアタッチメントとしては、例えば、バケット３３１の他に、ブレーカ、オーガ、クラッシャ、フォーク、フォーククロー、鉄骨カッタ、アスファルト切削機、草刈機、リッパ、マルチャ、チルトローテータ及びタンパ等の種々の器具がある。作業部３３は、駆動装置からの動力により、バケット３３１を駆動することで作業を実行する。
【0023】
ブーム３３２は、旋回部３２のブームブラケット３２２にて、回転可能に支持されている。具体的には、ブーム３３２は、ブームブラケット３２２にて、水平方向に沿った回転軸を中心に回転可能に支持されている。ブーム３３２は、ブームブラケット３２２に支持される基端部から上方に延びる形状を有している。アーム３３３は、ブーム３３２の先端に連結されている。アーム３３３は、ブーム３３２に対して、水平方向に沿った回転軸を中心に回転可能に支持されている。アーム３３３の先端には、バケット３３１が取り付けられる。
【0024】
作業部３３は、動力源としてのエンジンからの動力を受けて動作する。具体的には、エンジンによって油圧ポンプ４１が駆動され、作業部３３の油圧アクチュエータ（油圧シリンダ４４等）に油圧ポンプ４１から作動油が供給されることで、作業部３３の各部（バケット３３１、ブーム３３２及びアーム３３３）が動作する。
【0025】
本実施形態では特に、作業部３３は、ブーム３３２及びアーム３３３が個別に回転可能に構成された多関節型の構造を有している。つまり、ブーム３３２及びアーム３３３の各々が、水平方向に沿った回転軸を中心に回転することにより、例えば、ブーム３３２及びアーム３３３を含む多関節型の作業部３３は、全体として伸ばしたり、折りたたんだりする動作が可能である。
【0026】
走行部３１及び旋回部３２の各々についても、作業部３３と同様に、動力源としてのエンジンからの動力を受けて動作する。つまり、走行部３１の油圧モータ４３及び旋回部３２の油圧モータ等に、油圧ポンプ４１から作動油が供給されることで、旋回部３２及び走行部３１が動作する。
【0027】
エンジンは、上述したように各部に動力を供給する動力源として機能する。ここで、エンジンは、油圧ポンプ４１等と共に旋回部３２に搭載されている。本実施形態では一例として、エンジンはディーゼルエンジンである。エンジンは、燃料タンクから燃料（ここでは軽油）が供給されることにより駆動する。
【0028】
操作装置３５は、機体３０の運転部３２１に配置されており、ユーザ（オペレータ）による操作入力を受け付けるためのユーザインターフェースである。本実施形態では一例として、操作装置３５は、一対の操作レバーを含んでいる。操作装置３５は、走行部３１、旋回部３２及び作業部３３の各々の操作に用いられる。そのため、例えば、ユーザ（オペレータ）が操作装置３５を操作することで、機体３０の各部の油圧アクチュエータ（油圧モータ４３及び油圧シリンダ４４等を含む）に供給される動力等が制御され、走行部３１、旋回部３２及び作業部３３の各々の動作が制御される。
【0029】
ここで、機体３０には、機体３０の周辺を撮像するカメラ等、作業機械３の周囲の監視エリアＡ１（図３参照）における検知対象物Ｏｂ１（図３参照）を検知するための各種のセンサ類（カメラを含む）が備わっている。本実施形態では一例として、図３に示すように、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３を含む複数（ここでは３つ）のカメラが、機体３０の旋回部３２に搭載されている。左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３は、制御システム１に接続されており、各々で撮像された画像を制御システム１に出力する。図３は、作業機械３を上方から見た平面図であって、作業機械３の周囲に設定された監視エリアＡ１、検知対象物Ｏｂ１、並びに作業機械３の機体３０（左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３を含む）を模式的に表している。
【0030】
左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３は、それぞれ旋回部３２の運転部３２１に搭乗したオペレータから見て、左方、右方及び後方となる監視エリアＡ１を撮像できるように、運転部３２１を基準に左方、右方及び後方に向けて設置される。つまり、監視エリアＡ１は、図３に示すように、複数（ここでは３つ）の小エリアＡ１１，Ａ１２，Ａ１３を含み、左方カメラ３４１は、このうち運転部３２１に搭乗したオペレータから見て左方となる小エリアＡ１１（左方エリア）を撮像する。同様に、右方カメラ３４２は、運転部３２１に搭乗したオペレータから見て右方となる小エリアＡ１２（右方エリア）を撮像し、後方カメラ３４３は、運転部３２１に搭乗したオペレータから見て後方となる小エリアＡ１３（後方エリア）を撮像する。これにより、オペレータにとって死角となりやすい、側方（左方及び右方）並びに後方を、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３でカバーすることが可能となる。
【0031】
図２では、本実施形態に係る作業機械３の油圧回路及び電気回路（電気的な接続関係）を模式的に示す。図２では、実線が高圧の（作動油用の）油路、点線が低圧の（パイロット油用の）油路、一点鎖線の矢印が電気信号の経路を示す。さらに、カットオフレバー３５０とカットオフスイッチ３５３との間の太線（実線）は、カットオフレバー３５０とカットオフスイッチ３５３との間の物理的な連結を示す。
【0032】
図２に示すように、作業機械３は、油圧ポンプ４１、油圧モータ４３（図２では図示を省略）及び油圧シリンダ４４に加えて、パイロットポンプ４２、リモコン弁４５、制御弁４６及び方向切換弁（コントロールバルブ）４７等を備えている。作業機械３は、カットオフレバー３５０、カットオフリレー３５２、カットオフスイッチ３５３及び音出力部３６等を更に備えている。
【0033】
エンジンにより駆動される油圧ポンプ４１からの作動油は、走行部３１の油圧モータ４３、旋回部３２の油圧モータ、及び作業部３３の油圧シリンダ４４等に供給される。これにより、油圧モータ４３及び油圧シリンダ４４等の油圧アクチュエータが駆動される。
【0034】
油圧モータ４３及び油圧シリンダ４４等の油圧アクチュエータには、油圧ポンプ４１からの作動油の方向及び流量を切換可能なパイロット式の方向切換弁４７が設けられている。方向切換弁４７は、パイロットポンプ４２から入力指令となるパイロット油が供給されて駆動される。
【0035】
ここで、例えば、作業部３３の油圧シリンダ４４に対応する方向切換弁４７へのパイロット油の供給路には、リモコン弁４５が設けられている。リモコン弁４５は、操作装置３５（の操作レバー）の操作に応じて作業部３３の作業操作指令を出力する。作業操作指令は、作業部３３の展開動作及び縮小動作等を指示する。また、リモコン弁４５と、パイロットポンプ４２との間には、電磁式の制御弁４６（電磁弁）が挿入されている。制御弁４６は、カットオフリレー３５２及びカットオフスイッチ３５３を介して電源３５１に接続されており、電源３５１からの供給電流に応じて動作する。
【0036】
同様に、走行部３１の油圧モータ４３に対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作装置３５（の操作レバー）の操作に応じて走行部３１の走行操作指令を出力する。走行操作指令は、走行部３１の走行動作（前進又は後退等）を指示する。さらに、旋回部３２の油圧モータに対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作装置３５（の操作レバー）の操作に応じて旋回部３２の旋回操作指令を出力する。旋回操作指令は、旋回部３２の旋回動作（左旋回又は右旋回等）を指示する。そして、これらのリモコン弁と、パイロットポンプ４２との間にも、電磁式の制御弁４６（電磁弁）が挿入されている。制御弁４６は、カットオフリレー３５２及びカットオフスイッチ３５３を介して電源３５１に接続されており、電源３５１からの供給電流に応じて動作する。
【0037】
制御弁４６は、通電状態、つまり電流が供給されている状態で、パイロットポンプ４２からリモコン弁４５へのパイロット油の流路を開放し、非通電状態、つまり供給電流が遮断されている状態で、パイロット油の流路を遮断する。そのため、制御弁４６への供給電流が遮断されることで、リモコン弁４５に対応する油圧アクチュエータが駆動不能となり、操作装置３５（の操作レバー）の操作によらずに、油圧アクチュエータの出力が強制的に停止する。
【0038】
ここで、カットオフリレー３５２は、制御システム１に接続されており、制御システム１からの制御信号（電気信号）に応じてオン／オフが切り替わる。カットオフスイッチ３５３は、カットオフレバー３５０の操作に応じてオン／オフが切り替わる。したがって、カットオフリレー３５２とカットオフスイッチ３５３との両方がオンのとき、制御弁４６は通電状態となり、パイロットポンプ４２からリモコン弁４５へのパイロット油の流路が開放されるので、操作装置３５の操作に応じて油圧アクチュエータが駆動する。これに対して、カットオフリレー３５２とカットオフスイッチ３５３との少なくとも一方がオフの状態では、制御弁４６は非通電状態となり、パイロット油の流路が遮断されるので、油圧アクチュエータが駆動不能となる。
【0039】
例えば、旋回部３２の油圧モータに対応するリモコン弁とパイロットポンプ４２との間に挿入された制御弁４６につながるカットオフリレー３５２とカットオフスイッチ３５３との少なくとも一方がオフの状態では、旋回部３２の油圧モータが駆動不能となる。この状態では、操作装置３５の操作によらずに、油圧アクチュエータ（旋回部３２の油圧モータ）の出力が強制的に停止するため、旋回部３２の旋回動作が禁止されることになる。
【0040】
より詳細には、カットオフスイッチ３５３は、「無効操作部」の一例であるカットオフレバー３５０に連動している。カットオフレバー３５０は、機体３０の運転部３２１に配置されており、ユーザ（オペレータ）による操作入力を受け付ける。本実施形態では一例として、カットオフレバー３５０は上下方向Ｄ１に沿って操作可能である。カットオフレバー３５０が可動範囲の上端位置である「上げ位置」にあればカットオフスイッチ３５３は「オフ」であり、カットオフレバー３５０が可動範囲の下端位置である「下げ位置」にあればカットオフスイッチ３５３は「オン」である。そして、カットオフスイッチ３５３がオフの状態では、カットオフバルブである制御弁４６にて油圧回路を強制的に遮断する。
【0041】
したがって、カットオフリレー３５２がオンの状態において、カットオフレバー３５０が「下げ位置」にあれば、操作装置３５の操作に対応する作業機械３の制御を有効とする「有効状態」となり、操作装置３５の操作に応じて作業機械３が動作する。一方、カットオフレバー３５０が「上げ位置」にあれば、操作装置３５の操作に対応する作業機械３の制御を無効とする「無効状態」となり、操作装置３５の操作に応じた作業機械３の動作が行われない。そのため、カットオフレバー３５０が「上げ位置」にあれば、走行部３１、旋回部３２及び作業部３３の全てについて、強制的に操作不能な状態とされる。そして、操作装置３５の操作を有効にするには、ユーザ（オペレータ）は、カットオフレバー３５０を「下げ位置」に操作する必要がある。カットオフレバー３５０は、このように作業機械３の動作をロックする際に操作されるレバーであって、ゲート（式）ロックレバーと同義である。
【0042】
このように、本実施形態に係る作業機械３では、操作装置３５の操作に対応する作業機械の制御を有効とする有効状態と無効とする無効状態とが、無効操作部（カットオフレバー３５０）の操作状態に応じて切り替わる。そのため、例えば、オペレータが作業機械３に乗降する際のように、作業機械３の周囲に人が存在する場面では、無効操作部（カットオフレバー３５０）の操作によって「無効状態」にすることで、作業機械３の動作を強制的に停止（禁止）することができる。
【0043】
制御システム１は、ＣＰＵ（Central Processing Unit）等の１以上のプロセッサと、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の１以上のメモリとを有するコンピュータシステムを主構成とし、種々の処理（情報処理）を実行する。本実施形態では、制御システム１は、作業機械３全体の制御を行う統合コントローラであって、例えば、電子制御ユニット（ＥＣＵ：Electronic Control Unit）からなる。ただし、制御システム１は、統合コントローラと別に設けられていてもよい。制御システム１について詳しくは「［２］制御システムの構成」の欄で説明する。
【0044】
表示装置２は、機体３０の運転部３２１に配置されており、ユーザ（オペレータ）による操作入力を受け付け、ユーザに種々の情報を出力するためのユーザインターフェースである。表示装置２は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。これにより、ユーザ（オペレータ）は、表示装置２に表示される表示画面Ｄｐ１（図４参照）を視認でき、また、必要に応じて表示装置２を操作することが可能である。
【0045】
表示装置２は、図２に示すように、制御部２１と、操作部２２と、表示部２３と、を備えている。表示装置２は、制御システム１と通信可能に構成されており、制御システム１との間でデータの授受が可能である。本実施形態では一例として、表示装置２は作業機械３に用いられる専用のデバイスである。
【0046】
制御部２１は、制御システム１からのデータに従って、表示装置２を制御する。具体的には、制御部２１は、操作部２２で受け付けたユーザの操作に応じた電気信号を出力したり、制御システム１で生成される表示画面Ｄｐ１を表示部２３に表示したりする。
【0047】
操作部２２は、表示部２３に表示される表示画面Ｄｐ１に対するユーザ（オペレータ）による操作入力を受け付けるためのユーザインターフェースである。操作部２２は、例えば、ユーザＵ１（図４参照）の操作に応じた電気信号を出力することにより、ユーザＵ１による各種の操作を受け付ける。本実施形態では一例として、操作部２２は、図４に示すように、機械式の複数（ここでは６つ）の押釦スイッチ２２１～２２６を含む。これら複数の押釦スイッチ２２１～２２６は、表示部２３の表示領域の周縁に沿うように、表示領域に近接して（図４の例では下方に）配置されている。これら複数の押釦スイッチ２２１～２２６は、後述する表示画面Ｄｐ１に表示される項目に対応付けられており、複数の押釦スイッチ２２１～２２６のいずれかが操作されることにより、表示画面Ｄｐ１のいずれかの項目が操作（選択）される。
【0048】
また、操作部２２は、タッチパネル及び操作ダイヤル等を含んでいてもよい。この場合においても、操作部２２に対する操作により、表示画面Ｄｐ１のいずれかの項目が操作（選択）されることになる。
【0049】
表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような、ユーザＵ１（オペレータ）に情報を提示するためのユーザインターフェースである。表示部２３は、ユーザに対して各種の情報を表示により提示する。本実施形態では一例として、表示部２３は、バックライト付きのフルカラーの液晶ディスプレイであって、図４に示すように、横方向に長い「横長」の表示領域を有している。
【0050】
表示装置２は、作業機械３を操作するユーザＵ１（オペレータ）に向けて表示画面Ｄｐ１にて種々の情報を提示する。つまり、作業機械３を操作するユーザＵ１は、表示装置２に表示される表示画面Ｄｐ１を見ることで、作業機械３に関連する種々の情報を視覚的に得ることが可能である。一例として、表示装置２に、燃料の残量、冷却水温及び作動油温等の作業機械３の稼働状態に関する情報が表示されることで、ユーザＵ１は、作業機械３の操作に必要な作業機械３の稼働状態に関する情報を、表示装置２で確認することができる。また、表示装置２は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３にて撮像される作業機械３の周辺画像（監視エリアＡ１の撮像画像）についても、表示画面Ｄｐ１に表示することができる。これにより、ユーザＵ１（オペレータ）は、作業機械３を操作する際に、例えば、運転部３２１からの死角となりやすい作業機械３の側方及び後方等の状況を、表示装置２に表示される表示画面Ｄｐ１にて確認することができる。これら作業機械３の稼働状態に関する情報、及び監視エリアＡ１の撮像画像は、いずれも作業機械３に関連する情報の一種である。
【0051】
さらに、作業機械３は、ユーザＵ１（オペレータ）に対して音（音声を含む）を出力する音出力部３６（図２参照）を備えている。音出力部３６は、ブザー又はスピーカ等を含み、電気信号を受けて音を出力する。音出力部３６は、制御システム１に接続されており、制御システム１からの音制御信号に応じて、ビープ音又は音声等の音を出力する。本実施形態では、音出力部３６は、表示装置２と同様に機体３０の運転部３２１に設けられている。音出力部３６は、表示装置２と一体に設けられていてもよい。
【0052】
また、機体３０は、上述した構成に加えて、通信端末、燃料タンク及びバッテリ等を更に備えている。さらには、機体３０には、燃料の残量センサ、冷却水温センサ、作動油温センサ、エンジンの回転数を計測する回転数計、及び稼働時間を計測するアワーメータ等、機体３０の稼働状態を監視するためのセンサ類が備わっている。その他、カットオフレバー３５０及びスタータキースイッチ等の状態等を検出するセンサも、機体３０に備わっている。
【0053】
［２］制御システムの構成
次に、本実施形態に係る制御システム１の構成について、図２を参照して説明する。制御システム１は、表示装置２を制御することにより、表示装置２に表示画面Ｄｐ１を表示させる。本実施形態では、表示装置２は、上述したように作業機械３の機体３０に搭載されている。制御システム１は、作業機械３の構成要素であって、機体３０等と共に作業機械３を構成する。言い換えれば、本実施形態に係る作業機械３は、少なくとも制御システム１と、表示装置２が搭載される機体３０（走行部３１、旋回部３２及び作業部３３を含む）と、を備えている。
次に、本実施形態に係る制御システム１の構成について、図２を参照して説明する。制御システム１は、表示装置２を制御することにより、表示装置２に表示画面Ｄｐ１を表示させる。本実施形態では、表示装置２は、上述したように作業機械３の機体３０に搭載されている。制御システム１は、作業機械３の構成要素であって、機体３０等と共に作業機械３を構成する。言い換えれば、本実施形態に係る作業機械３は、少なくとも制御システム１と、表示装置２が搭載される機体３０（走行部３１、旋回部３２及び作業部３３を含む）と、を備えている。
【0054】
本開示でいう表示画面Ｄｐ１等の「画面」は、表示装置２にて表示される映像（画像）を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、制御システム１は、例えば、冷却水温及び作動油温等の作業機械３の稼働状態に関する情報を表す図像等を含む表示画面Ｄｐ１を、表示装置２に表示させることが可能である。ここで、表示画面Ｄｐ１が動画等を含む場合には、表示画面Ｄｐ１は一定の映像ではなく、刻一刻と変化する映像を含む。
【0055】
制御システム１は、図２に示すように、表示処理部１１と、牽制処理部１２と、切替処理部１３と、データ取得部１４と、検知部１５と、選択処理部１６と、監視処理部１７と、を備えている。本実施形態では一例として、制御システム１は１以上のプロセッサを有するコンピュータシステムを主構成とするので、１以上のプロセッサが作業機械用制御プログラムを実行することにより、これら複数の機能部（表示処理部１１等）が実現される。制御システム１に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、１つの筐体に設けられていてもよい。
【0056】
制御システム１は、機体３０の各部に設けられたデバイスと通信可能に構成されている。つまり、制御システム１には、少なくとも表示装置２、音出力部３６、カットオフリレー３５２、カットオフスイッチ３５３、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３等が接続されている。これにより、制御システム１は、表示装置２及び音出力部３６等を制御したり、カットオフリレー３５２を制御して制御弁４６を制御したり、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３等の撮像画像を取得したり、カットオフスイッチ３５３から電気信号（カットオフ信号）を取得したりすることが可能である。ここで、制御システム１は、各種の情報（データ）の授受を、各デバイスと直接的に行ってもよいし、中継器等を介して間接的に行ってもよい。
【0057】
データ取得部１４は、作業機械３の周囲の監視エリアＡ１の撮像画像を取得するデータ取得処理を実行する。本実施形態では、データ取得部１４は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の出力を、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３から定期的又は不定期に取得する。つまり、データ取得部１４は、作業機械３の周囲の監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の画像データ（撮像画像）を取得する。
【0058】
さらに、データ取得部１４は、データ取得処理により、燃料の残量センサ、冷却水温センサ及び作動油温センサの出力（センサ信号）、並びにその他のセンサ類の出力等を、定期的又は不定期に取得可能である。つまり、データ取得部１４は、燃料の残量、エンジンの冷却水の温度（冷却水温）及び作動油の温度（作動油温）を示すデータを含む、種々のセンサの検出結果（検出値）を取得する。データ取得部１４は、各種センサ（カメラを含む）からのデータを、各種センサから直接的に取得してもよいし、電子制御ユニット等を介して間接的に取得してもよい。データ取得部１４で取得されたデータは、例えば、メモリ等に記憶される。
【0059】
検知部１５は、作業機械３の周囲の監視エリアＡ１における検知対象物Ｏｂ１を検知する。つまり、検知部１５は、監視エリアＡ１における検知対象物Ｏｂ１の存否（有無）を判断し、監視エリアＡ１に検知対象物Ｏｂ１が存在するか否かを表す検知結果を出力する。本実施形態では一例として、検知対象物Ｏｂ１は「人」である。つまり、作業機械３が移動し、又は作業機械３の周囲の「人」が移動した結果、作業機械３の周囲の監視エリアＡ１に「人」が侵入した場合、検知部１５は当該「人」を検知対象物Ｏｂ１として検知する。監視エリアＡ１に複数の検知対象物Ｏｂ１が存在する場合には、検知部１５は、検知対象物Ｏｂ１の数（人数）も含めて検知してもよい。
【0060】
本実施形態では、検知部１５は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の出力（画像データ）に基づいて、監視エリアＡ１における検知対象物Ｏｂ１を検知する。具体的には、検知部１５は、データ取得部１４で取得された画像データに対して、画像処理を施すことにより、画像中の特徴量を抽出し、当該特徴量に基づいて、画像に検知対象物Ｏｂ１（本実施形態では「人」）が写り込んでいるか否かを判断する。ここで、画像に検知対象物Ｏｂ１が写り込んでいる場合、検知部１５は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３のいずれで撮像された画像に検知対象物Ｏｂ１が写り込んでいるかを判断する。つまり、検知部１５は、左方カメラ３４１で撮像される小エリアＡ１１、右方カメラ３４２で撮像される小エリアＡ１２、及び後方カメラ３４３で撮像される小エリアＡ１３のいずれに検知対象物Ｏｂ１が存在するかを区別して、検知対象物Ｏｂ１の検知を行う。
【0061】
牽制処理部１２は、検知部１５の検知結果に基づいて、作業機械３の動作を牽制する牽制処理を実行する。本実施形態では、検知部１５の検知結果が、監視エリアＡ１に検知対象物Ｏｂ１（ここでは人）の存在を示す結果である場合に、牽制処理部１２は牽制処理を実行する。本開示でいう「牽制処理」は、作業機械３の動作に関し、何かしら抑制する方向に作用する処理を意味する。一例として、牽制処理は、作業機械３を操作するユーザＵ１（オペレータ）に対して、音又は光（表示を含む）により警告を行うことで、作業機械３の動作を間接的に牽制する処理を含む。さらに、牽制処理は、作業機械３の走行部３１、旋回部３２及び作業部３３等を制御することで、作業機械３の動作を直接的に牽制する処理を含む。
【0062】
本実施形態では、牽制処理部１２は、音出力処理部１２１と、制限処理部１２２と、を含んでいる。
【0063】
音出力処理部１２１は、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、音出力部３６を制御することにより、音出力部３６から報知音を出力させる。すなわち、本実施形態では、牽制処理は、報知音を出力する音出力処理を含む。報知音は、単なるビープ音であってもよいし、「ご注意ください」等の音声であってもよい。さらに、報知音は、検知部１５の検知結果（機体３０から検知対象物Ｏｂ１までの距離等）に応じて変化してもよい。これにより、作業機械３を操作するユーザＵ１（オペレータ）に対して、報知音による警告を行うことで、作業機械３の動作を間接的に牽制できるので、作業機械３の操作の自由度が高い。つまり、ユーザＵ１が検知対象物Ｏｂ１に注意して作業機械３を操作することで、検知対象物Ｏｂ１との接触を回避しつつも作業機械３の動作を継続することができる。
【0064】
制限処理部１２２は、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、カットオフリレー３５２を制御することにより、カットオフリレー３５２をオフにする。これにより、カットオフリレー３５２を介して電源３５１に接続されている制御弁４６が非通電状態となり、制御弁４６に対応する油圧アクチュエータの出力が強制的に停止する。すなわち、本実施形態では、牽制処理は、作業機械３の動作を制限する制限処理を含む。本開示でいう「制限処理」は、作業機械３の動作に関し、何かしら制限する方向に作用する処理を意味する。一例として、制限処理は、走行部３１の走行動作を禁止する（走行動作不能とする）処理、旋回部３２の旋回動作を禁止する（旋回動作不能とする）処理、及び作業部３３の動作を禁止する（作業不能とする）処理等を含む。これにより、ユーザＵ１（オペレータ）の操作によらずに、作業機械３の動作を強制的に制限することができる。つまり、作業機械３が動作することによる機体３０と検知対象物Ｏｂ１との接触を回避できる。
【0065】
ここで、制限処理部１２２が実行する制限処理は、少なくとも旋回部３２の旋回動作を制限する処理を含む。具体的に、制限処理部１２２は、旋回部３２の油圧モータに対応する制御弁４６につながるカットオフリレー３５２を制御可能に構成されており、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、当該カットオフリレー３５２をオフにする。これにより、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合においては、旋回部３２の油圧モータが駆動不能となり、旋回部３２の旋回動作中であれば旋回部３２が緊急停止し、旋回部３２の旋回動作中でなければ旋回部３２の旋回動作が禁止される。すなわち、本実施形態では、作業機械３は、走行部３１と、走行部３１に対して旋回可能な旋回部３２と、を備える。制限処理は、少なくとも旋回部３２の旋回動作を制限する。これにより、ユーザＵ１（オペレータ）の死角となる監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、旋回部３２が旋回することによる機体３０と検知対象物Ｏｂ１との接触を回避できる。
【0066】
選択処理部１６は、複数の動作モードから、１つの動作モードを選択する選択処理を実行可能に構成されている。ここでいう複数の動作モードには、少なくともクレーンモード及び別モードが含まれている。クレーンモードは、作業部３３に吊り作業を実行させる動作モードである。別モードは、作業部３３に吊り作業とは別の作業を実行させる動作モードである。本実施形態では一例として、別モードは、作業部３３に掘削作業を実行させる掘削モードを含む。つまり、本実施形態では、選択処理部１６は、作業機械３（の作業部３３）の動作モードを、吊り作業用のクレーンモードと、掘削作業用の掘削モード（別モード）とを含む複数の動作モードの中から択一的に選択する。
【0067】
本実施形態では一例として、動作モードの切り替えは、ユーザ（オペレータ）が表示装置２を操作することによって行われる。つまり、ユーザが、クレーンモードを選択するように表示装置２の操作部２２を操作すると、選択処理部１６は、この操作を受けて、作業機械３の動作モードをクレーンモードに切り替える。一方、ユーザが、掘削モードを選択するように表示装置２の操作部２２を操作すると、選択処理部１６は、この操作を受けて、作業機械３の動作モードを掘削モードに切り替える。このように、選択処理部１６は、操作部２２の操作に応じて、動作モードを択一的に選択する。
【0068】
監視処理部１７は、作業機械３の動作状態を監視する監視処理を実行する。本開示でいう作業機械３の「動作状態」は、作業機械３の動作に係る状態であって、その時々で変化し得る状態を意味する。監視処理部１７は、このような作業機械３の動作状態を常時、監視している。本実施形態では一例として、監視処理部１７は、カットオフレバー３５０の操作状態と、作業機械３の動作モードがクレーンモードであるか否かと、の両方を作業機械３の動作状態として監視する。つまり、作業機械３の動作状態は、基本的に、ユーザ（オペレータ）の操作に従って変化する動作状態を含む。
【0069】
具体的に、監視処理部１７は、カットオフスイッチ３５３のオン／オフを監視することで、無効操作部としてのカットオフレバー３５０の操作状態を監視する。例えば、カットオフスイッチ３５３がオフであれば、監視処理部１７は、カットオフレバー３５０が「上げ位置」にあって「無効状態」にあることを検知する。一方、カットオフスイッチ３５３がオンであれば、監視処理部１７は、カットオフレバー３５０が「下げ位置」にあって「有効状態」にあることを検知する。
【0070】
さらに、監視処理部１７は、選択処理部１６にて選択中の動作モードを監視することで、作業機械３の動作モードがクレーンモードであるか否かを監視する。例えば、選択処理部１６にてクレーンモードが選択中であれば、監視処理部１７は、作業機械３の動作モードがクレーンモードであることを検知する。一方、選択処理部１６にて掘削モードが選択中であれば、監視処理部１７は、作業機械３の動作モードがクレーンモードでないことを検知する。
【0071】
表示処理部１１は、作業機械３に関連する情報を含む表示画面Ｄｐ１を表示装置２に表示させる表示処理を実行する。具体的には、表示処理部１１は、データ取得部１４で取得されるデータ等に基づいて表示画面Ｄｐ１を生成し、表示装置２を制御することによって、表示画面Ｄｐ１を表示装置２の表示部２３に表示させる。さらに、表示処理部１１は、表示装置２の操作部２２が受け付けた操作に応じて動作する。
【0072】
ここで、表示画面Ｄｐ１に含まれる作業機械３に関連する情報は、例えば、燃料の残量、冷却水温、作動油温、及び吊り作業時の吊り下げ重量等の、作業機械３の稼働状態に関する稼働情報を含む。つまり、表示処理部１１は、作業機械３の稼働状態に関する稼働情報を含む表示画面Ｄｐ１を、表示装置２に表示させることができる。さらに、表示画面Ｄｐ１に含まれる作業機械３に関連する情報は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３で撮像される撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３（図６参照）を表示画面Ｄｐ１に表示させる。つまり、表示処理部１１は、作業機械３の周囲の監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む表示画面Ｄｐ１を、表示装置２に表示させることができる。
【0073】
切替処理部１３は、表示装置２に表示させる表示画面Ｄｐ１を切り替える切替処理を実行する。つまり、表示処理部１１により表示装置２に表示される表示画面Ｄｐ１は、固定的ではなく、複数の画面間で切替処理部１３によって切り替えられる。本実施形態では、切替処理部１３は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１（図５参照）と、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含むカメラ画面Ｄｐ１２（図６参照）とを含む複数の画面間で、表示装置２に表示される表示画面Ｄｐ１を切り替える。言い換えれば、切替処理部１３は、基本画面Ｄｐ１１及びカメラ画面Ｄｐ１２を含む複数の画面の中から、表示装置２に表示画面Ｄｐ１として表示させる画面を択一的に選択する。
【0074】
本実施形態では、切替処理部１３は、切替操作部（例えば押釦スイッチ２２４）が操作されると、表示装置２に表示させる表示画面Ｄｐ１を、複数の画面間で切替パターンに従って切り替える。ここで、切替処理部１３は、切替パターンを、作業機械３の動作状態に応じて変更する。つまり、監視処理部１７で監視されている作業機械３の動作状態（カットオフレバー３５０の操作状態、及び作業機械３の動作モードがクレーンモードであるか否かを含む）によって、切替操作部の操作時における表示画面Ｄｐ１の切替パターンが変更される。したがって、同じように切替操作部が操作されたとしても、作業機械３の動作状態が異なれば、切替処理部１３は、表示装置２に表示される表示画面Ｄｐ１を異なる切替パターンに従って切り替える。
【0075】
さらに、本実施形態では、切替処理部１３は、第１切替処理及び第２切替処理の少なくとも一方を実行する。第１切替処理は、有効状態から無効状態への切り替えに伴い、表示装置２に表示させる表示画面Ｄｐ１を、作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含むカメラ画面Ｄｐ１２から、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１に切り替える処理である。第２切替処理は、無効状態から有効状態への切り替えに伴い、表示装置２に表示させる表示画面Ｄｐ１を、基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替える処理である。つまり、監視処理部１７で監視されている無効操作部としてのカットオフレバー３５０の操作状態によって、切替処理部１３が表示画面Ｄｐ１の切り替えを行う。したがって、ユーザ（オペレータ）が無効操作部としてのカットオフレバー３５０を操作するだけで、切替処理部１３は、表示装置２に表示される表示画面Ｄｐ１を切り替えることができる。
【0076】
ところで、検知部１５は、制御システム１に必須の構成ではない。例えば、制御システム１は、外部の検知部の検知結果を取得し、当該検知結果に基づいて牽制処理部１２が牽制処理を実行するように構成されていてもよい。
【0077】
【0078】
本実施形態に係る制御方法は、コンピュータシステムを主構成とする制御システム１にて実行されるので、言い換えれば、作業機械用制御プログラム（以下、単に「制御プログラム」という）にて具現化される。つまり、本実施形態に係る制御プログラムは、制御方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような制御プログラムは、例えば、制御システム１及び表示装置２によって協働して実行されてもよい。
【0079】
ここで、制御システム１は、制御プログラムを実行させるための予め設定された特定の開始操作が行われた場合に、制御方法に係る下記の各種処理を実行する。開始操作は、例えば、作業機械３のエンジンの起動操作等である。一方、制御システム１は、予め設定された特定の終了操作が行われた場合に、制御方法に係る下記の各種処理を終了する。終了操作は、例えば、作業機械３のエンジンの停止操作等である。
【0080】
［３．１］表示画面
ここではまず、本実施形態に係る制御方法によって表示装置２の表示部２３に表示される表示画面Ｄｐ１の構成について説明する。図５等の表示装置２の表示部２３に表示される表示画面Ｄｐ１を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置２に表示される訳ではない。
ここではまず、本実施形態に係る制御方法によって表示装置２の表示部２３に表示される表示画面Ｄｐ１の構成について説明する。図５等の表示装置２の表示部２３に表示される表示画面Ｄｐ１を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置２に表示される訳ではない。
【0081】
図５に示す表示画面Ｄｐ１は、上述したように作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１であって、制御方法によって最初に表示される画面である。この基本画面Ｄｐ１１は、作業機械３における表示装置２の操作の起点となるホーム画面であり、作業機械３の稼働中に、まずは表示装置２に表示されることになる基本的な表示画面Ｄｐ１である。表示画面Ｄｐ１は、基本画面Ｄｐ１１から、操作部２２に対する操作に従って、カメラ画面Ｄｐ１２、メニュー画面Ｄｐ１３（図１４参照）、クレーン画面、モード画面及びＰＴＯ画面等を含む様々な表示画面Ｄｐ１への切り替え（遷移）が可能である。
【0082】
表示画面Ｄｐ１としての基本画面Ｄｐ１１は、図５に示すように、第１領域Ｒ１と、第２領域Ｒ２と、を含む。基本画面Ｄｐ１１は、第３領域Ｒ３、第４領域Ｒ４、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８、第９領域Ｒ９及び第１０領域Ｒ１０を更に含む。
【0083】
具体的には、基本画面Ｄｐ１１は、縦方向（上下方向）に４つの領域に分割されている。そして、上から３つの領域は、それぞれ更に横方向（左右方向）に３つの領域に分割されている。これにより、基本画面Ｄｐ１１は、計１０個の領域に分割される。そして、上から２段目の領域は、左から順に、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３となる。最下段の領域は第４領域Ｒ４となる。さらに、上から３段目の領域は、左から順に、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７となり、最上段の領域は、左から順に、第８領域Ｒ８、第９領域Ｒ９、第１０領域Ｒ１０となる。縦方向のサイズは、縦方向に分割された４つの領域の中では、上から２段目の領域（第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３）が最も広い。横方向のサイズは、横方向に分割された３つの領域の中では、真ん中の領域（第２領域Ｒ２、第６領域Ｒ６、第９領域Ｒ９）が最も広い。
【0084】
ただし、これらの各領域の配置及びサイズは一例に過ぎず、適宜変更可能である。また、各領域が境界線によって明確に分割されていることは必須ではない。例えば、図５の例でも、第２領域Ｒ２と第３領域Ｒ３とは境界線によって明確に分割されているのに対して、第１領域Ｒ１と第２領域Ｒ２との間には境界線は存在しない。もちろん、第１領域Ｒ１と第２領域Ｒ２とが境界線によって明確に分割されていてもよい。
【0085】
第１領域Ｒ１は、縦方向に長い矩形状の領域である。第１領域Ｒ１には、例えば、エンジンの燃料（例えば軽油）の残量に関する残量情報Ｇ１が表示される。表示処理部１１は、残量センサの出力（センサ信号）等に基づいて、表示画面Ｄｐ１中の残量情報Ｇ１を生成する。
【0086】
第２領域Ｒ２は、横方向に長い矩形状の領域である。第２領域Ｒ２には、冷却水温情報Ｇ３及び作動油温情報Ｇ２が表示されている。冷却水温情報Ｇ３及び作動油温情報Ｇ２は、いずれも作業機械３に関連する情報であって、特に作業機械３の稼働状態に関する情報である。表示処理部１１は、データ取得部１４で取得した冷却水温センサの出力（センサ信号）に基づいて、基本画面Ｄｐ１１中の冷却水温情報Ｇ３を生成する。同様に、表示処理部１１は、データ取得部１４で取得した作動油温センサの出力（センサ信号）に基づいて、基本画面Ｄｐ１１中の作動油温情報Ｇ２を生成する。
【0087】
このように、本実施形態では、表示画面Ｄｐ１に含まれる作業機械３に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む。表示装置２の表示画面Ｄｐ１に、燃料の残量、冷却水温及び作動油温等の情報が表示されることで、ユーザ（オペレータ）は、操作装置３５の操作に必要な作業機械３の稼働状態に関する情報を、表示装置２で確認することができる。
【0088】
第３領域Ｒ３は、縦方向に長い矩形状の領域である。第３領域Ｒ３には、作業機械３の各部の稼働状態に応じた図像（アイコン）Ｉｍ１が表示される。第３領域Ｒ３には、複数の図像Ｉｍ１を表示可能であって、個々の図像Ｉｍ１のデザイン（絵柄）によって、例えば、バッテリ、シートベルト、冷却水温、作動油温等の、いずれの状態を表すかを示す。ここで、各図像Ｉｍ１は、例えば、表示色又はサイズ等の表示態様によって、稼働状態を示す。表示処理部１１は、作業機械３の各部の稼働状態を検知する種々のセンサ（冷却水温センサ及び作動油温センサを含む）の出力を用いて、作業機械３の各部の状態を判断する。そして、表示処理部１１は、いずれかの部位で異常値が検知された場合には、その部位の図像Ｉｍ１の表示色等の表示態様を変化させる等により、警告表示を行う。
【0089】
第４領域Ｒ４は、表示画面Ｄｐ１の全幅にわたって延びる帯状の領域である。第４領域Ｒ４には、表示画面Ｄｐ１に対する操作のための各項目が表示される。図５では一例として、第４領域Ｒ４には、「メニュー」、「クレーン」、「モード」、「カメラ」、「ＰＴＯ」、「切替」の６つの項目が、この順で左から並べて配置されている。これら６つの項目には、その真下に位置する操作部２２の６つの押釦スイッチ２２１～２２６がそれぞれ対応付けられている。例えば、「メニュー」の項目には押釦スイッチ２２１が、「クレーン」の項目には押釦スイッチ２２２が、それぞれ対応付けられている。そのため、例えば、「カメラ」の項目に対応する押釦スイッチ２２４がユーザＵ１（図４参照）により操作されると、「カメラ」の項目が操作（選択）されることになる。
【0090】
さらに、本実施形態では、操作部２２の操作ダイヤル（又はカーソルキー）等の操作にも対応するように、第４領域Ｒ４においては、いずれかの項目がハイライト表示される。図５の例では「メニュー」の項目がハイライト表示されており、操作ダイヤル（又はカーソルキー）等の操作により、ハイライト表示される項目が切り替わる。ユーザＵ１においては、所望の項目をハイライト表示させた状態で決定ボタンを操作することにより、所望の項目を選択することが可能である。そのため、例えば、「カメラ」の項目にハイライト表示を移動させた状態で決定ボタンが操作されると、「カメラ」の項目が操作（選択）されることになる。また、操作部２２がタッチパネルを含む場合には、ユーザＵ１は、表示画面Ｄｐ１上の所望の項目をタッチする操作により、所望の項目を選択することが可能である。
【0091】
第５領域Ｒ５には、種々のセンサ（冷却水温センサ及び作動油温センサを含む）にて異常値が検知されていることを示す、警告表示用の図像（アイコン）が表示される。第６領域Ｒ６には、例えば、作業機械３において稼働中の作業部３３に関する情報が表示される。具体的には、作業機械３の動作モードがクレーンモードにあるときには、吊り作業における現在の荷重、及び定格荷重等の作業機情報Ｇ４が、第６領域Ｒ６に表示される。第７領域Ｒ７には、例えば、エンジンの回転数等、作業機械３の稼働状態に関する情報が表示される。第８領域Ｒ８には、例えば、現在時刻が表示される。第９領域Ｒ９には、例えば、現在表示されている表示画面Ｄｐ１が属する項目を示す情報が表示される。第１０領域Ｒ１０には、例えば、作業機械３の稼働時間（アワーメータ）に関する情報が表示される。
【0092】
本実施形態では、上述したように、切替処理部１３が、基本画面Ｄｐ１１と、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含むカメラ画面Ｄｐ１２と、を含む複数の画面間で、表示装置２に表示させる表示画面Ｄｐ１を切り替える。つまり、表示装置２に表示される表示画面Ｄｐ１は、切替処理部１３によって、上述した基本画面Ｄｐ１１から、図６又は図７に示すようなカメラ画面Ｄｐ１２へと切替可能である。
【0093】
本実施形態では、表示装置２に表示されるカメラ画面Ｄｐ１２として、第１カメラ画面Ｄｐ１２１（図６参照）と第２カメラ画面Ｄｐ１２２（図７参照）とを含む複数のカメラ画面Ｄｐ１２が用意されている。第１カメラ画面Ｄｐ１２１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に加えて作業機械３の稼働状態に関する稼働情報（残量情報Ｇ１等）を含むカメラ画面Ｄｐ１２であるのに対し、第２カメラ画面Ｄｐ１２２は稼働情報（残量情報Ｇ１等）を含まないカメラ画面Ｄｐ１２である。
【0094】
図６に示す第１カメラ画面Ｄｐ１２１は、図５に示す基本画面Ｄｐ１１から、第２領域Ｒ２の表示内容のみが変更された画面である。つまり、第２領域Ｒ２以外の表示に関しては、第１カメラ画面Ｄｐ１２１と基本画面Ｄｐ１１とで同じである。本実施形態に係る制御方法では、一例として、第１カメラ画面Ｄｐ１２１の大部分を占める第２領域Ｒ２に、監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３等を表示する。そのため、第１カメラ画面Ｄｐ１２１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に加えて、第１領域Ｒ１の残量情報Ｇ１、第６領域Ｒ６の作業機情報Ｇ４及び第７領域Ｒ７のエンジンの回転数等、作業機械３の稼働状態に関する稼働情報を含んでいる。
【0095】
撮像画像Ｉｍ１１は、左方カメラ３４１で撮像される運転部３２１の左方となる小エリアＡ１１の画像であって、撮像画像Ｉｍ１２は、右方カメラ３４２で撮像される運転部３２１の右方となる小エリアＡ１２の画像である。撮像画像Ｉｍ１３は、後方カメラ３４３で撮像される運転部３２１の後方となる小エリアＡ１３の画像である。表示処理部１１は、データ取得部１４で取得される撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３をリアルタイムで表示させる。本実施形態では、これら撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３は、機体３０を上方から見たときの位置関係に対応するように、撮像画像Ｉｍ１１が第２領域Ｒ２の左上方、撮像画像Ｉｍ１２が第２領域Ｒ２の右上方、撮像画像Ｉｍ１３が第２領域Ｒ２の中央下方に表示される。さらに、第２領域Ｒ２の中央部には、情報から見た機体３０を模したアイコンＩｍ１０が表示されている。アイコンＩｍ１０は、機体３０から見た左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の撮像範囲（小エリアＡ１１，Ａ１２，Ａ１３）の位置関係を、模式的に表している。
【0096】
図７に示す第２カメラ画面Ｄｐ１２２は、第１カメラ画面Ｄｐ１２１に比較して、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が表示される第２領域Ｒ２を拡大した画面である。図７の例では、第２カメラ画面Ｄｐ１２２は、第２領域Ｒ２及び第３領域Ｒ３の２つの領域のみを含み、画面の大半が第２領域Ｒ２となり、画面の右端部のみが第３領域Ｒ３となる。つまり、第２カメラ画面Ｄｐ１２２においては、第１領域Ｒ１、及び第４領域Ｒ４～第１０領域Ｒ１０が非表示となり、中央エリアから、第１カメラ画面Ｄｐ１２１では第１領域Ｒ１等が表示される周辺エリアにかけて、第２領域Ｒ２が拡大表示される。
【0097】
そのため、第２カメラ画面Ｄｐ１２２では、第１カメラ画面Ｄｐ１２１に比較して、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が拡大表示されることになり、視認性に優れた表示態様で撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が表示される。一方で、第２カメラ画面Ｄｐ１２２は、第１カメラ画面Ｄｐ１２１とは異なり、第１領域Ｒ１の残量情報Ｇ１、第６領域Ｒ６の作業機情報Ｇ４及び第７領域Ｒ７のエンジンの回転数等、作業機械３の稼働状態に関する稼働情報を含まない。
【0098】
また、本実施形態では、図８に示すように、カメラ画面Ｄｐ１２は、検知部１５の検知結果を表す検知オブジェクトＩ１，Ｉ２を含んでいる。図８では、表示画面Ｄｐ１（カメラ画面Ｄｐ１２）のうち第２領域Ｒ２のみを示し、第２領域Ｒ２以外の領域の図示を省略する。検知オブジェクトＩ１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のうち、検知対象物Ｏｂ１が含まれる撮像画像を強調表示する帯状（枠状）の図像である。検知オブジェクトＩ２は、運転部３２１から見て検知対象物Ｏｂ１が存在する方向を示す図像である。図８の例では、左方カメラ３４１で撮像される運転部３２１の左方となる小エリアＡ１１に検知対象物Ｏｂ１（ここでは「人」）が存在する場合を想定している。そのため、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のうち撮像画像Ｉｍ１１が検知オブジェクトＩ１にて強調表示され、かつ撮像画像Ｉｍ１１の下方に運転部３２１の左方に検知対象物Ｏｂ１が存在することを示す検知オブジェクトＩ２が表示されている。このような検知オブジェクトＩ１，Ｉ２は、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２のいずれも表示される。
【0099】
検知オブジェクトＩ１，Ｉ２の表示態様は、監視エリアＡ１における検知対象物Ｏｂ１の位置によって変更されることが好ましい。例えば、検知オブジェクトＩ１，Ｉ２の表示色、サイズ、又は表示パターン（点滅パターン等を含む）等の表示態様が、監視エリアＡ１における検知対象物Ｏｂ１の位置によって変更される。例えば、検知対象物Ｏｂ１が機体３０に近いほど、検知オブジェクトＩ１，Ｉ２の表示態様が目立つ表示色に変更され、一例として、検知対象物Ｏｂ１が機体３０に近づくと、検知オブジェクトＩ１，Ｉ２の表示色が黄色から赤色に変化する。
【0100】
このように、カメラ画面Ｄｐ１２には、監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が表示されるだけでなく、監視エリアＡ１における検知対象物Ｏｂ１の検知結果についても検知オブジェクトＩ１，Ｉ２として表示される。そのため、オペレータ（ユーザＵ１）は、カメラ画面Ｄｐ１２を見ることで、監視エリアＡ１における検知対象物Ｏｂ１の有無（存否）を容易に確認できる。
【0101】
要するに、本実施形態に係る制御方法では、カメラ画面Ｄｐ１２は、監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む。これにより、オペレータ（ユーザＵ１）は、運転部３２１からの死角となりやすい作業機械３の側方及び後方等の状況を、表示装置２に表示されるカメラ画面Ｄｐ１２にて確認することができる。したがって、検知オブジェクトＩ１，Ｉ２だけが表示される構成に比較して、監視エリアＡ１内に検知対象物Ｏｂ１が存在する場合、検知対象物Ｏｂ１の状況をカメラ画面Ｄｐ１２にて詳細に把握しやすくなる。
【0102】
【0103】
図９は、カットオフレバー３５０が「上げ位置」にあることで、操作装置３５の操作に対応する作業機械３の制御が無効となる「無効状態」にある場合における、表示画面Ｄｐ１の切替処理を模式的に表している。一方、図１０は、「下げ位置」にあることで、操作装置３５の操作に対応する作業機械３の制御が有効となる「有効状態」にある場合における、表示画面Ｄｐ１の切替処理を模式的に表している。
【0104】
図９及び図１０において、実線で示す矢印Ｆ１～Ｆ５は、切替操作部の一例である押釦スイッチ２２４が操作されたときの表示画面Ｄｐ１の切り替わり（遷移）を示し、一点鎖線で示す矢印Ｆ１１～Ｆ１３は、無効操作部の一例であるカットオフレバー３５０が操作されたときの表示画面Ｄｐ１の切り替わり（遷移）を示す。さらに、図９における破線で示す矢印Ｆ６は、作業機械３の動作モードがクレーンモードである場合において、押釦スイッチ２２４が操作されたときの表示画面Ｄｐ１の切り替わり（遷移）を示す。つまり、図９及び図１０において、矢印Ｆ６以外の矢印Ｆ１～Ｆ５は、作業機械３の動作モードがクレーンモードにない場合、つまり掘削モード等の別モードにある場合に、押釦スイッチ２２４が操作されたときの表示画面Ｄｐ１の切り替わりを示す。一方、矢印Ｆ１１～Ｆ１３は、作業機械３の動作モードにかかわらず、カットオフレバー３５０が操作されたときの表示画面Ｄｐ１の切り替わりを示す。
【0105】
図９及び図１０に示すように、切替処理部１３は、表示装置２に表示される表示画面Ｄｐ１を、基本画面Ｄｐ１１、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２を含む複数の画面間において、切替操作部又は無効操作部に対するユーザ（オペレータ）の操作に応じて切り替える。本実施形態では一例として、切替操作部は、表示画面Ｄｐ１の第４領域Ｒ４の「カメラ」の項目に対応する押釦スイッチ２２４であり、無効操作部は、カットオフレバー３５０である。ここで、カットオフレバー３５０の操作状態として、カットオフレバー３５０が「上げ位置」にある「無効状態」か、カットオフレバー３５０が「下げ位置」にある「有効状態」かが、カットオフスイッチ３５３のオン／オフに基づいて監視処理部１７で常時監視される。
【0106】
まず、カットオフレバー３５０が「上げ位置」にある「無効状態」における切替処理について説明する。「無効状態」においては、図９に示すように、基本画面Ｄｐ１１が表示されている状態で、押釦スイッチ２２４（切替操作部）が押操作されると、表示装置２に表示される表示画面Ｄｐ１は基本画面Ｄｐ１１から第１カメラ画面Ｄｐ１２１に切り替わる（矢印Ｆ１）。
【0107】
ここで、作業機械３の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、第１カメラ画面Ｄｐ１２１が表示されている状態で、押釦スイッチ２２４が押操作されると、表示装置２に表示される表示画面Ｄｐ１は第１カメラ画面Ｄｐ１２１から第２カメラ画面Ｄｐ１２２に切り替わる（矢印Ｆ２）。さらに、第２カメラ画面Ｄｐ１２２が表示されている状態で、押釦スイッチ２２４が押操作されると、表示装置２に表示される表示画面Ｄｐ１は第２カメラ画面Ｄｐ１２２から基本画面Ｄｐ１１に切り替わる（矢印Ｆ３）。
【0108】
一方、作業機械３の動作モードがクレーンモードにあれば、第１カメラ画面Ｄｐ１２１が表示されている状態で、押釦スイッチ２２４が押操作されると、表示装置２に表示される表示画面Ｄｐ１は第１カメラ画面Ｄｐ１２１から基本画面Ｄｐ１１に切り替わる（矢印Ｆ６）。つまり、作業機械３の動作モードがクレーンモードにあれば、カメラ画面Ｄｐ１２として表示されるのは第１カメラ画面Ｄｐ１２１のみとなり、第１カメラ画面Ｄｐ１２１からの切替先は、第２カメラ画面Ｄｐ１２２ではなく基本画面Ｄｐ１１となる。
【0109】
このように、カットオフレバー３５０が「上げ位置」にある「無効状態」においては、切替操作部（押釦スイッチ２２４）が操作される度に、表示画面Ｄｐ１は、基本的には、基本画面Ｄｐ１１、第１カメラ画面Ｄｐ１２１、第２カメラ画面Ｄｐ１２２の３画面間で、この順で循環するように切り替わる。したがって、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が小さく表示される第１カメラ画面Ｄｐ１２１、及び撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が大きく表示される第２カメラ画面Ｄｐ１２２のうちの任意の画面を、表示装置２に表示させることができる。一方で、作業機械３の動作モードがクレーンモードにある場合には、第２カメラ画面Ｄｐ１２２は表示されず、切替操作部（押釦スイッチ２２４）が操作される度に、表示画面Ｄｐ１は、基本画面Ｄｐ１１及び第１カメラ画面Ｄｐ１２１の２画面間で交互に切り替わる。
【0110】
そして、作業機械３の動作モードがクレーンモードにある場合、カメラ画面Ｄｐ１２としては、作業機情報Ｇ４等の稼働情報を含まない第２カメラ画面Ｄｐ１２２ではなく、作業機情報Ｇ４等の稼働情報を含む第１カメラ画面Ｄｐ１２１のみが表示される。したがって、作業機械３がクレーンモードにあって吊り作業を行う際には、吊り作業における現在の荷重、及び定格荷重等の作業機情報Ｇ４を常時表示することができ、作業性が向上する。
【0111】
また、カットオフレバー３５０が「上げ位置」にある「無効状態」において、基本画面Ｄｐ１１が表示されている状態で、カットオフレバー３５０が「下げ位置」に操作されると、表示装置２に表示される表示画面Ｄｐ１は基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替わる（矢印Ｆ１１）。つまり、基本画面Ｄｐ１１が表示されている状態で、カットオフレバー３５０が「上げ位置」から「下げ位置」に操作されて「有効状態」に切り替わると、表示画面Ｄｐ１は、自動的に、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１から、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含むカメラ画面Ｄｐ１２に切り替わる。
【0112】
本実施形態では一例として、カットオフレバー３５０が「下げ位置」に操作されることに伴って表示装置２に表示されるカメラ画面Ｄｐ１２は、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２のうち第１カメラ画面Ｄｐ１２１である。ただし、この例に限らず、カットオフレバー３５０が「下げ位置」に操作されることに伴って表示装置２に表示されるカメラ画面Ｄｐ１２は、第２カメラ画面Ｄｐ１２２であってもよい。なお、そもそも第１カメラ画面Ｄｐ１２１又は第２カメラ画面Ｄｐ１２２が表示されている状態で、カットオフレバー３５０が「上げ位置」から「下げ位置」に操作されても、表示画面Ｄｐ１の切り替えは行われない。
【0113】
次に、カットオフレバー３５０が「下げ位置」にある「有効状態」における切替処理について説明する。「有効状態」において、作業機械３の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、第１カメラ画面Ｄｐ１２１が表示されている状態で、押釦スイッチ２２４が押操作されると、図１０に示すように、表示装置２に表示される表示画面Ｄｐ１は第１カメラ画面Ｄｐ１２１から第２カメラ画面Ｄｐ１２２に切り替わる（矢印Ｆ４）。さらに、第２カメラ画面Ｄｐ１２２が表示されている状態で、押釦スイッチ２２４が押操作されると、表示装置２に表示される表示画面Ｄｐ１は第２カメラ画面Ｄｐ１２２から第１カメラ画面Ｄｐ１２１に切り替わる（矢印Ｆ５）。
【0114】
一方、作業機械３の動作モードがクレーンモードにあれば、第１カメラ画面Ｄｐ１２１が表示されている状態で、押釦スイッチ２２４が押操作されても、表示装置２に表示される表示画面Ｄｐ１は第１カメラ画面Ｄｐ１２１から切り替わらない。つまり、作業機械３の動作モードがクレーンモードにあれば、カメラ画面Ｄｐ１２として表示されるのは、第１カメラ画面Ｄｐ１２１のみとなる。
【0115】
このように、カットオフレバー３５０が「下げ位置」にある「有効状態」においては、切替操作部（押釦スイッチ２２４）が操作される度に、表示画面Ｄｐ１は、基本的には、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２の２画面間で交互に切り替わる。したがって、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が小さく表示される第１カメラ画面Ｄｐ１２１、及び撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３が大きく表示される第２カメラ画面Ｄｐ１２２のうちの任意の画面を、表示装置２に表示させることができる。一方で、作業機械３の動作モードがクレーンモードにある場合には、第２カメラ画面Ｄｐ１２２は表示されず、切替操作部（押釦スイッチ２２４）が操作されても、表示画面Ｄｐ１は第１カメラ画面Ｄｐ１２１から切り替わらない。
【0116】
そして、作業機械３の動作モードがクレーンモードにある場合、カメラ画面Ｄｐ１２としては、作業機情報Ｇ４等の稼働情報を含まない第２カメラ画面Ｄｐ１２２ではなく、作業機情報Ｇ４等の稼働情報を含む第１カメラ画面Ｄｐ１２１のみが表示される。したがって、作業機械３がクレーンモードにあって吊り作業を行う際には、吊り作業における現在の荷重、及び定格荷重等の作業機情報Ｇ４を常時表示することができ、作業性が向上する。
【0117】
また、カットオフレバー３５０が「下げ位置」にある「有効状態」において、カメラ画面Ｄｐ１２（第１カメラ画面Ｄｐ１２１又は第２カメラ画面Ｄｐ１２２）が表示されている状態で、カットオフレバー３５０が「上げ位置」に操作されると、表示装置２に表示される表示画面Ｄｐ１はカメラ画面Ｄｐ１２から基本画面Ｄｐ１１に切り替わる（矢印Ｆ１２，Ｆ１３）。つまり、カメラ画面Ｄｐ１２が表示されている状態で、カットオフレバー３５０が「下げ位置」から「上げ位置」に操作されて「無効状態」に切り替わると、表示画面Ｄｐ１は、自動的に、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含むカメラ画面Ｄｐ１２から、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１に切り替わる。
【0118】
以上説明したように、本実施形態に係る制御方法は、作業機械３に関連する情報を含む表示画面Ｄｐ１を表示装置２に表示させることと、切替操作部が操作されると、表示装置２に表示させる表示画面Ｄｐ１を、複数の画面間で切替パターンに従って切り替えることと、を有する。ここで、制御方法は、切替パターンを、作業機械３の動作状態に応じて変更することを更に有する。本開示でいう「切替パターン」は、切替操作部（押釦スイッチ２２４）の操作に応じた切替処理に際して用いられるルールであって、表示画面Ｄｐ１の切替対象、切替先及び切替順（遷移する順番）等を含む。すなわち、切替パターンに従って切替処理が行われる結果、上述した図９及び図１０のような表示画面Ｄｐ１の切り替えが実現される。
【0119】
このような切替パターンは、不変ではなく、作業機械３の動作状態に応じて変更される。例えば、カットオフレバー３５０が「上げ位置」にある状態（図９参照）と、カットオフレバー３５０が「下げ位置」にある状態（図１０参照）とでは、異なる切替パターンが適用されるので、同じように切替操作部（押釦スイッチ２２４）が操作されても、表示画面Ｄｐ１の切り替わる順番等が異なる。その結果、表示画面Ｄｐ１の切り替わる順番等が柔軟に変化し、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
【0120】
ここで、作業機械３の動作状態は、カットオフレバー３５０の操作状態と、作業機械３の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む。本実施形態では特に、動作状態は、カットオフレバー３５０の操作状態と、作業機械３の動作モードがクレーンモードであるか否かと、の両方を含む。そのため、動作状態は、カットオフレバー３５０の操作状態（「上げ位置」か「下げ位置」か）と、作業機械３の動作モードがクレーンモードであるか否かと、のいずれかが変化すれば、それに応じて切替パターンも柔軟に変化する。そして、これらの動作状態は、作業機械３の操作に対して要求される安全への配慮の程度が異なる動作状態である。したがって、オペレータの操作に伴う切替パターンの変更がなされることになり、操作性の更なる向上を図ることができる。
【0121】
また、本実施形態では、切替操作部は、単一の操作スイッチ（例えば押釦スイッチ２２４）である。そのため、複数の操作スイッチが設けられる場合に比べて、オペレータにとって切替操作部の操作が簡単になる。にもかかわらず、切替パターンが作業機械３の動作状態に応じて変更されることで、操作性の向上を図ることができる。
【0122】
また、切替パターンの変更は、切替対象となる複数の画面の数の変更を含む。例えば、カットオフレバー３５０が「上げ位置」にある「無効状態」において、作業機械３の動作モードがクレーンモード以外であれば、切替操作部の操作に応じて、表示画面Ｄｐ１は３画面間で切り替わる。これに対し、カットオフレバー３５０が「上げ位置」にある「無効状態」において、作業機械３の動作モードがクレーンモードにある場合には、切替操作部の操作に応じて、表示画面Ｄｐ１は２画面間で交互に切り替わる。このように、切替パターンによって切替対象となる画面の数が変わることで、より柔軟な表示画面Ｄｐ１の切り替えを実現可能である。
【0123】
また、切替パターンの変更は、切替先となる画面の変更を含む。例えば、カットオフレバー３５０が「上げ位置」にある「無効状態」において、作業機械３の動作モードがクレーンモード以外であれば、切替操作部の操作に応じた第１カメラ画面Ｄｐ１２１からの切替先は第２カメラ画面Ｄｐ１２２である。これに対し、カットオフレバー３５０が「上げ位置」にある「無効状態」において、作業機械３の動作モードがクレーンモードにある場合には、切替操作部の操作に応じた第１カメラ画面Ｄｐ１２１からの切替先は基本画面Ｄｐ１１である。このように、切替パターンによって切替先となる画面が変わることで、より柔軟な表示画面Ｄｐ１の切り替えを実現可能である。
【0124】
また、作業機械３の動作状態が第１状態にある場合、切替対象となる複数の画面は、１又は複数のカメラ画面Ｄｐ１２と、基本画面Ｄｐ１１と、を含む。１又は複数のカメラ画面Ｄｐ１２は、作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む画面である。基本画面Ｄｐ１１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない画像である。本実施形態では、カットオフレバー３５０が「上げ位置」にある「無効状態」が、「第１状態」の一例である。つまり、カットオフレバー３５０が「上げ位置」にある「無効状態」においては、表示画面Ｄｐ１は、複数のカメラ画面Ｄｐ１２と、基本画面Ｄｐ１１と、を含む複数の画面間で切り替えられる。したがって、例えば「無効状態」のように監視エリアＡ１の状況を確認する必要性が低い場合には、表示画面Ｄｐ１を、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない基本画面Ｄｐ１１に切り替えることで、必要な情報を効率的に表示できる。
【0125】
また、作業機械３の動作状態が第２状態にある場合、切替対象となる複数の画面は、それぞれ作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む複数のカメラ画面Ｄｐ１２を含む。本実施形態では、カットオフレバー３５０が「下げ位置」にある「有効状態」が、「第２状態」の一例である。つまり、カットオフレバー３５０が「下げ位置」にある「有効状態」においては、表示画面Ｄｐ１は、複数のカメラ画面Ｄｐ１２（第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２）間で切り替えられる。したがって、例えば「有効状態」のように監視エリアＡ１の状況を確認する必要性が高い場合には、表示画面Ｄｐ１を、複数のカメラ画面Ｄｐ１２のうちの任意のカメラ画面Ｄｐ１２に切り替えることで、必要な情報を効率的に表示できる。
【0126】
ここで、複数のカメラ画面Ｄｐ１２は、互いに撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の表示態様が異なる。本開示でいう「表示態様」は、（オブジェクトの）表示色、サイズ（大きさ、線の太さ等を含む）、形状、動作状態（アニメーション、回転／静止等を含む）若しくは表示パターン（点滅パターン等を含む）等、又はこれらの組み合わせを含む。一例として、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２のように、複数のカメラ画面Ｄｐ１２においては、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のサイズ（大きさ）が異なっている。したがって、表示画面Ｄｐ１を、複数のカメラ画面Ｄｐ１２のうち、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の表示態様が適切なカメラ画面Ｄｐ１２に切り替えることで、必要な情報を効率的に表示できる。
【0127】
また、以上説明したように、本実施形態に係る制御方法は、操作装置３５の操作に対応する作業機械３の制御を有効とする有効状態と無効とする無効状態とが、無効操作部の操作状態に応じて切り替わる作業機械３に用いられる。この制御方法は、作業機械３に関連する情報を含む表示画面Ｄｐ１を表示装置２に表示させることと、第１切替処理及び第２切替処理の少なくとも一方を実行することと、を有する。ここで、第１切替処理は、有効状態から無効状態への切り替えに伴い、表示装置２に表示させる表示画面Ｄｐ１を、カメラ画面Ｄｐ１２から、基本画面Ｄｐ１１に切り替える処理である。カメラ画面Ｄｐ１２は、作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む画面である。基本画面Ｄｐ１１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含まない画面である。第２切替処理は、無効状態から有効状態への切り替えに伴い、表示装置２に表示させる表示画面Ｄｐ１を、基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替える処理である。
【0128】
このように、表示画面Ｄｐ１は、切替操作部（押釦スイッチ２２４）の操作によらずとも、無効操作部（カットオフレバー３５０）が操作されて「有効状態」と「無効状態」とが切り替えられるに際して、自動的に切り替えられる。例えば、カットオフレバー３５０が「上げ位置」にある状態（図９参照）において、カットオフレバー３５０が「下げ位置」に操作されて「有効状態」に切り替わると、第２切替処理により、表示画面Ｄｐ１は基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替わる（矢印Ｆ１１）。同様に、カットオフレバー３５０が「下げ位置」にある状態（図１０参照）において、カットオフレバー３５０が「上げ位置」に操作されて「無効状態」に切り替わると、第１切替処理により、表示画面Ｄｐ１はカメラ画面Ｄｐ１２から基本画面Ｄｐ１１に切り替わる（矢印Ｆ１２，Ｆ１３）。その結果、無効操作部（カットオフレバー３５０）が操作に連動して表示画面Ｄｐ１が自動的に切り替わり、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
【0129】
ここで、表示装置２に表示させるカメラ画面Ｄｐ１２は、それぞれ撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を含む複数の候補画面のうちの一の候補画面である。本実施形態では、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２が、複数の候補画面の一例である。つまり、表示装置２に表示されるカメラ画面Ｄｐ１２は、不変ではなく、複数の候補画面から選択される一の候補画面であるので、その時々に応じたカメラ画面Ｄｐ１２を表示させることができる。
【0130】
複数の候補画面は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に加えて作業機械３の稼働状態に関する稼働情報（残量情報Ｇ１等）を含む第１カメラ画面Ｄｐ１２１と、稼働情報（残量情報Ｇ１等）を含まない第２カメラ画面Ｄｐ１２２と、を含む。したがって、第２切替処理によって自動的に表示されるカメラ画面Ｄｐ１２として、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２を含む複数の候補画像の中から適切に選択することが可能である。
【0131】
［３．３］全体処理
次に、制御方法の切替処理に係る全体の流れについて、図１１を参照して説明する。図１１は、作業機械３の動作モードが掘削モード等、クレーンモード以外の別モードにあるときの、制御方法に係る処理の一例を示すフローチャートである。
次に、制御方法の切替処理に係る全体の流れについて、図１１を参照して説明する。図１１は、作業機械３の動作モードが掘削モード等、クレーンモード以外の別モードにあるときの、制御方法に係る処理の一例を示すフローチャートである。
【0132】
図１１に示すように、制御システム１の監視処理部１７は、カットオフレバー３５０が「上げ位置」にある「無効状態」か、カットオフレバー３５０が「下げ位置」にある「有効状態」かを、カットオフスイッチ３５３のオン／オフに基づいて監視する（Ｓ１）。カットオフスイッチ３５３がオフであれば、監視処理部１７は、カットオフレバー３５０が「上げ位置」にある「無効状態」と判定し（Ｓ１：Ｙｅｓ）、制御システム１は処理をステップＳ２に移行させる。一方、カットオフスイッチ３５３がオンであれば、監視処理部１７は、カットオフレバー３５０が「下げ位置」にある「有効状態」と判定し（Ｓ１：Ｎｏ）、制御システム１は処理をステップＳ６に移行させる。
【0133】
ステップＳ２では、制御システム１の切替処理部１３は、表示処理部１１に基本画面Ｄｐ１１を表示させる。そして、次のステップＳ３では、制御システム１の切替処理部１３は、切替操作部としての押釦スイッチ２２４（図１１では「カメラボタン」と表記）の操作状態を監視する。押釦スイッチ２２４が押操作された場合（Ｓ３：Ｙｅｓ）、制御システム１は処理をステップＳ４に移行させる。一方、押釦スイッチ２２４が押操作されなければ（Ｓ３：Ｎｏ）、制御システム１は処理をステップＳ５に移行させる。
【0134】
ステップＳ４では、制御システム１の切替処理部１３は、表示装置２に表示される表示画面Ｄｐ１を、基本画面Ｄｐ１１、第１カメラ画面Ｄｐ１２１、第２カメラ画面Ｄｐ１２２、基本画面Ｄｐ１１の順で切り替える。これにより、表示装置２に表示される表示画面Ｄｐ１は、押釦スイッチ２２４が押操作される度に（Ｓ３：Ｙｅｓ）、図９に示す矢印Ｆ１～Ｆ３の切替パターンに従って順番に切り替わることになる。
【0135】
ステップＳ５では、制御システム１の監視処理部１７は、カットオフレバー３５０が「上げ位置」から「下げ位置」に操作されたか否かを、カットオフスイッチ３５３のオン／オフに基づいて監視する。カットオフスイッチ３５３がオフからオンになると、監視処理部１７は、カットオフレバー３５０が「下げ位置」に操作されたと判定し（Ｓ５：Ｙｅｓ）、制御システム１は処理をステップＳ６に移行させる。一方、カットオフスイッチ３５３がオフのままであれば、監視処理部１７は、カットオフレバー３５０が「上げ位置」にある「無効状態」と判定し（Ｓ５：Ｎｏ）、制御システム１は処理をステップＳ３に移行させる。
【0136】
ステップＳ６では、制御システム１の切替処理部１３は、表示処理部１１に第１カメラ画面Ｄｐ１２１を表示させる。そして、次のステップＳ７では、制御システム１の切替処理部１３は、切替操作部としての押釦スイッチ２２４の操作状態を監視する。押釦スイッチ２２４が押操作された場合（Ｓ７：Ｙｅｓ）、制御システム１は処理をステップＳ８に移行させる。一方、押釦スイッチ２２４が押操作されなければ（Ｓ７：Ｎｏ）、制御システム１は処理をステップＳ９に移行させる。
【0137】
ステップＳ８では、制御システム１の切替処理部１３は、表示装置２に表示される表示画面Ｄｐ１を、第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２間で交互に切り替える。これにより、表示装置２に表示される表示画面Ｄｐ１は、押釦スイッチ２２４が押操作される度に（Ｓ７：Ｙｅｓ）、図１０に示す矢印Ｆ４，Ｆ５の切替パターンに従って順番に切り替わることになる。
【0138】
ステップＳ９では、制御システム１の監視処理部１７は、カットオフレバー３５０が「下げ位置」から「上げ位置」に操作されたか否かを、カットオフスイッチ３５３のオン／オフに基づいて監視する。カットオフスイッチ３５３がオンからオフになると、監視処理部１７は、カットオフレバー３５０が「上げ位置」に操作されたと判定し（Ｓ９：Ｙｅｓ）、制御システム１は処理をステップＳ２に移行させる。一方、カットオフスイッチ３５３がオンのままであれば、監視処理部１７は、カットオフレバー３５０が「下げ位置」にある「有効状態」と判定し（Ｓ９：Ｎｏ）、制御システム１は処理をステップＳ７に移行させる。
【0139】
制御システム１は、上記ステップＳ１～Ｓ９の処理を繰り返し実行する。ただし、図１１に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。
【0140】
［３．４］その他の処理
本実施形態では、カメラ画面Ｄｐ１２における撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の表示態様は、切替操作部の特定の操作によって更に変更可能である。ここでいう「特定の操作」は、一例として、切替操作部としての押釦スイッチ２２４に対する予め定められた操作であって、例えば、押釦スイッチ２２４を所定時間押し続ける「長押し」、及び押釦スイッチ２２４を連続で２回押す「２回押し」等を含む。
本実施形態では、カメラ画面Ｄｐ１２における撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の表示態様は、切替操作部の特定の操作によって更に変更可能である。ここでいう「特定の操作」は、一例として、切替操作部としての押釦スイッチ２２４に対する予め定められた操作であって、例えば、押釦スイッチ２２４を所定時間押し続ける「長押し」、及び押釦スイッチ２２４を連続で２回押す「２回押し」等を含む。
【0141】
すなわち、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の表示態様は、切替操作部（押釦スイッチ２２４）が操作されることで第１カメラ画面Ｄｐ１２１と第２カメラ画面Ｄｐ１２２とが切り替わる際だけでなく、切替操作部の特定の操作によっても変更される。切替操作部の特定の操作に応じて変更される表示態様として、例えば、図１２及び図１３に示すような表示態様がある。図１３では、カメラ画面Ｄｐ１２のうち第２領域Ｒ２のみを示し、第２領域Ｒ２以外の領域の図示を省略する。
【0142】
【0143】
図１３の上段の例（二画面表示）では、第２領域Ｒ２に、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３（図６参照）のうち、右方カメラ３４２で撮像される撮像画像Ｉｍ１２及び後方カメラ３４３で撮像される撮像画像Ｉｍ１３の二画面が表示される。この例では、撮像画像Ｉｍ１２及び撮像画像Ｉｍ１３は、第２領域Ｒ２に左右方向に並べて配置されており、これら撮像画像Ｉｍ１２，Ｉｍ１３の下方にアイコンＩｍ１０が表示される。アイコンＩｍ１０は、機体３０から見た右方カメラ３４２及び後方カメラ３４３の撮像範囲（小エリアＡ１２，Ａ１３）の位置関係を、模式的に表している。
【0144】
図１３の下段の例（俯瞰表示）では、第２領域Ｒ２に、監視エリアＡ１の俯瞰画像Ｉｍ１００が表示される。俯瞰画像Ｉｍ１００は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を、座標変換して合成することによって生成される撮像画像の一種である。このような俯瞰画像Ｉｍ１００においても、検知オブジェクトＩ１は、検知対象物Ｏｂ１が存在する小エリアを強調表示する帯状（枠状）の図像である。俯瞰画像Ｉｍ１００は、撮像画像がアニメーションに合成された画像であってもよい。
【0145】
切替処理部１３は、切替操作部としての押釦スイッチ２２４に対する特定の操作（例えば「長押し」）がされる度に、カメラ画面Ｄｐ１２（第１カメラ画面Ｄｐ１２１及び第２カメラ画面Ｄｐ１２２）における第２領域Ｒ２の撮像画像の表示態様を、上述した三画面表示（図６参照）、一画面表示、二画面表示、俯瞰表示の順番で切り替える。これにより、ユーザは、撮像画像の任意の表示態様を選択することができ、撮像画像の視認性が向上する。
【0146】
さらに別の機能として、本実施形態に係る制御方法では、基本画面Ｄｐ１１及びカメラ画面Ｄｐ１２以外の別画面を表示装置２に表示中に、無効操作部が操作された場合には、当該操作に応じた第１切替処理及び第２切替処理の少なくとも一方の処理を、別画面の表示終了後に実行する。
【0147】
例えば、無効操作部としてのカットオフレバー３５０が「上げ位置」に操作されると、第１切替処理により、表示画面Ｄｐ１はカメラ画面Ｄｐ１２から基本画面Ｄｐ１１に切り替わる。しかし、カットオフレバー３５０が操作されるタイミングで、表示画面Ｄｐ１が、例えば、メニュー画面Ｄｐ１３のような別画面であると、すぐには表示画面Ｄｐ１の切り替えは行われない。この場合、別画面（メニュー画面Ｄｐ１３）の表示終了後に、カットオフレバー３５０が「上げ位置」に操作されたことに伴う第１切替処理により、表示画面Ｄｐ１が基本画面Ｄｐ１１に切り替わる。そのため、この場合、表示画面Ｄｐ１は、図１４に示すように、第１カメラ画面Ｄｐ１２１、メニュー画面Ｄｐ１３、基本画面Ｄｐ１１の順で切り替わることになる（矢印Ｆ７，Ｆ８）。つまり、第１切替処理において、表示画面Ｄｐ１は、カメラ画面Ｄｐ１２から、別画面（ここではメニュー画面Ｄｐ１３）を経て、基本画面Ｄｐ１１に切り替わる。
【0148】
同様に、無効操作部としてのカットオフレバー３５０が「下げ位置」に操作されると、第２切替処理により、表示画面Ｄｐ１は基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替わる。しかし、カットオフレバー３５０が操作されるタイミングで、表示画面Ｄｐ１が、例えば、メニュー画面Ｄｐ１３のような別画面であると、すぐには表示画面Ｄｐ１の切り替えは行われない。この場合、別画面（メニュー画面Ｄｐ１３）の表示終了後に、カットオフレバー３５０が「下げ位置」に操作されたことに伴う第２切替処理により、表示画面Ｄｐ１がカメラ画面Ｄｐ１２に切り替わる。そのため、この場合、表示画面Ｄｐ１は、図１４に示すように、基本画面Ｄｐ１１、メニュー画面Ｄｐ１３、第１カメラ画面Ｄｐ１２１の順で切り替わることになる（矢印Ｆ９，Ｆ１０）。つまり、第２切替処理において、表示画面Ｄｐ１は、基本画面Ｄｐ１１から、別画面（ここではメニュー画面Ｄｐ１３）を経て、カメラ画面Ｄｐ１２に切り替わる。
【0149】
このように、別画面を表示中においては、別画面の表示を優先しつつ、別画面の表示終了後には、第１切替処理又は第２切替処理により、無効操作部としてのカットオフレバー３５０の操作状態に応じた、表示画面Ｄｐ１の切り替えが行われる。したがって、別画面を表示中に、表示画面Ｄｐ１が勝手に切り替わることによる使い勝手の低下を抑制できる。
【0150】
ここで、本実施形態に係る制御方法では、別画面の表示中に復帰条件を満たすと、表示装置２に表示させる表示画面Ｄｐ１を、別画面から基本画面Ｄｐ１１又はカメラ画面Ｄｐ１２に切り替える。すなわち、上述したようなメニュー画面Ｄｐ１３等の別画面の表示は、復帰条件を満たすことによって終了する。これにより、別画面から基本画面Ｄｐ１１又はカメラ画面Ｄｐ１２への切り替えが容易になる。
【0151】
本実施形態では、復帰条件は、別画面の表示開始から復帰時間が経過することを含む。つまり、メニュー画面Ｄｐ１３等の別画面の表示開始から、例えば１分程度の復帰時間が経過すると、復帰条件を満たすことになり、別画面の表示が自動的に終了する。これにより、別画面から基本画面Ｄｐ１１又はカメラ画面Ｄｐ１２への切り替えが容易になる。ただし、復帰条件は、復帰時間に限らず、例えば、操作部２２の操作等であってもよい。
【0152】
［４］変形例
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0153】
本開示における制御システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての１以上のプロセッサ及び１以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。また、制御システム１に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。
【0154】
また、制御システム１の少なくとも一部の機能が、１つの筐体内に集約されていることは制御システム１に必須の構成ではなく、制御システム１の構成要素は、複数の筐体に分散して設けられていてもよい。反対に、実施形態１において、複数の装置（例えば制御システム１及び表示装置２）に分散されている機能が、１つの筐体内に集約されていてもよい。さらに、制御システム１の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【0155】
また、作業機械３の動力源は、ディーゼルエンジンに限らず、例えば、ディーゼルエンジン以外のエンジンであってもよいし、モータ（電動機）、又はエンジンとモータ（電動機）とを含むハイブリッド式の動力源であってもよい。
【0156】
また、表示装置２は、専用のデバイスに限らず、例えば、ラップトップコンピュータ、タブレット端末又はスマートフォン等の汎用端末であってもよい。さらに、表示部２３は、液晶ディスプレイ又は有機ＥＬディスプレイのように、表示画面を直接的に表示する態様に限らず、例えば、プロジェクタのように、投影により表示画面を表示する構成であってもよい。
【0157】
また、操作部２２の情報の入力の態様として、押釦スイッチ、タッチパネル及び操作ダイヤル以外の態様を採用してもよい。例えば、操作部２２は、キーボード、マウス等のポインティングディバイス、音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。
【0158】
特に、切替操作部についても、操作部２２の押釦スイッチ２２４に限らず、例えば、専用のメカニカルスイッチ、タッチパネル又は音声入力等の適宜の操作手段であってもよい。さらに、切替操作部が単一の操作スイッチであることも必須ではなく、切替操作部は、複数の操作スイッチを含んでもよい。
【0159】
また、制限処理部１２２が実行する制限処理は、作業機械３の動作を制限する処理であればよく、作業機械３の動作（旋回動作等）を禁止する（動作不能とする）処理に限らない。制限処理は、例えば、作業機械３の動作（旋回動作等）の速度を減速する処理、作業機械３の動作範囲（旋回角度等）を狭める処理、又は作業機械３の動作の許容エリアを制限する処理等であってもよい。
【0160】
また、そもそも牽制処理部１２による牽制処理に係る機能は必須ではなく、牽制処理部１２は適宜省略可能である。この場合、検知部１５についても省略可能である。検知部１５が省略される場合でも、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３で撮像される監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３は、表示画面Ｄｐ１（カメラ画面Ｄｐ１２）に表示される。
【0161】
また、作業機械３の周囲の監視エリアＡ１における検知対象物Ｏｂ１を検知するためのセンサは、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３に限らず、１つ、２つ又は４つ以上のカメラ（イメージセンサ）を含んでもよい。さらに、例えば、全天球カメラ（３６０度カメラ）のように作業機械３から見て全方位を撮像可能なカメラにて、監視エリアＡ１における検知対象物Ｏｂ１を検知してもよい。また、監視エリアＡ１における検知対象物Ｏｂ１を検知するためのセンサは、カメラに加えて又は代えて、たとえば、人感センサ、ソナーセンサ、レーダ又はＬｉＤＡＲ（Light Detection and Ranging）等のセンサを含んでもよい。ここで、監視エリアＡ１における検知対象物Ｏｂ１を検知するセンサは、光又は音が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するＴＯＦ（Time Of Flight）方式により、検知対象物Ｏｂ１までの距離を測定する３次元センサであってもよい。
【0162】
また、検知対象物Ｏｂ１は、「人」に加えて又は代えて、車両等の移動体（他の作業機械を含む）、壁及び柱等の構造物、植物、動物、段差、溝、若しくはその他の障害物を含んでいてもよい。
【0163】
また、作業機械３の動作モードについて、クレーンモードと別モード（掘削モード等）との切り替えは、ユーザ（オペレータ）の操作によらず、例えば、バケット３３１に対するフックの格納状態等に応じて、自動的に行われてもよい。すなわち、バケット３３１を用いた掘削作業等を行う場合には、フックが邪魔にならないよう、フックは、バケットリンクに収容される。一方、吊り作業を行う場合には、ユーザ（オペレータ）がフックをバケットリンクから引き出す。そこで、例えば、バケットリンクにフックの格納状態を検知する格納センサを設け、選択処理部１６は、格納センサの出力を受けて、動作モードをクレーンモードと掘削モードとの間で自動的に切り替えるように構成されてもよい。この場合、ユーザが、バケットリンクからフックを引き出すようにフックを操作すると、選択処理部１６は、このときの格納センサの出力を受けて、動作モードをクレーンモードに切り替える。
【0164】
また、切替パターンの変更が、切替対象となる複数の画面の数の変更を含むことは必須でない。切替パターンの変更が、切替先となる画面の変更を含むことも必須でない。さらに、動作状態が第１状態にある場合、切替対象となる複数の画面が、１又は複数のカメラ画面Ｄｐ１２と、基本画面Ｄｐ１１と、を含むことは必須でない。動作状態が第２状態にある場合、切替対象となる複数の画面が、複数のカメラ画面Ｄｐ１２を含むことも必須でない。ここで、複数のカメラ画面Ｄｐ１２において、互いに撮像画像の表示態様が異なることも必須でない。複数のカメラ画面Ｄｐ１２（複数の候補画面）が、第１カメラ画面Ｄｐ１２１と第２カメラ画面Ｄｐ１２２とを含むことは必須でない。撮像画像の表示態様が、切替操作部の特定の操作によって更に変更可能であることも必須でない。
【0165】
作業機械３に関連する情報が、燃料の残量、冷却水温及び作動油温の少なくとも一つを含むことは必須でない。動作状態が、カットオフレバー３５０の操作状態と、作業機械３の動作モードがクレーンモードであるか否かと、の少なくとも一方を含むことも必須でない。
【0166】
また、別画面を表示中に、無効操作部が操作された場合に、当該操作に応じた第１切替処理及び第２切替処理の少なくとも一方の処理を、別画面の表示終了後に実行することも必須でない。さらに、別画面の表示中に復帰条件を満たすと表示画面Ｄｐ１を基本画面Ｄｐ１１又はカメラ画面Ｄｐ１２に切り替えることも必須ではない。また、表示装置２に表示させるカメラ画面Ｄｐ１２が、複数の候補画面のうちの一の候補画面であることは必須でない。
【0167】
（実施形態２）
本実施形態に係る作業機械３は、切替操作部が省略されている点で、実施形態１に係る作業機械３と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態に係る作業機械３は、切替操作部が省略されている点で、実施形態１に係る作業機械３と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。
【0168】
本実施形態では、制御システム１の切替処理部１３は、基本的に、無効操作部としてのカットオフレバー３５０の操作に応じて、表示画面Ｄｐ１の切り替えを行う。図１５において、一点鎖線で示す矢印Ｆ２１～Ｆ２４は、無効操作部の一例であるカットオフレバー３５０が操作されたときの表示画面Ｄｐ１の切り替わり（遷移）を示す。
【0169】
まず、カットオフレバー３５０が「上げ位置」にある「無効状態」において、基本画面Ｄｐ１１が表示されている状態で、カットオフレバー３５０が「下げ位置」に操作されると、表示装置２に表示される表示画面Ｄｐ１は、第２切替処理により、基本画面Ｄｐ１１からカメラ画面Ｄｐ１２に切り替わる（矢印Ｆ２１，Ｆ２２）。このとき、作業機械３の動作モードがクレーンモードにあれば、表示画面Ｄｐ１は、基本画面Ｄｐ１１から第１カメラ画面Ｄｐ１２１に切り替わる（矢印Ｆ２１）。一方、作業機械３の動作モードが掘削モード等、クレーンモード以外の別モードにあれば、表示画面Ｄｐ１は、基本画面Ｄｐ１１から第２カメラ画面Ｄｐ１２２に切り替わる（矢印Ｆ２２）。
【0170】
このように、本実施形態では、第２切替処理では、表示装置２に表示させる表示画面Ｄｐ１を、基本画面Ｄｐ１１から、複数の候補画面のうち切替パターンに従って選択される一の候補画面に切り替える。このときの「切替パターン」についても、作業機械３の動作状態（例えば動作モード）に応じて変更されることが好ましい。その結果、無効操作部としてのカットオフレバー３５０が同じように操作された場合であっても、その時々において適切なカメラ画面Ｄｐ１２に切り替えることが可能である。
【0171】
これに対して、カットオフレバー３５０が「下げ位置」にある「有効状態」において、カメラ画面Ｄｐ１２（第１カメラ画面Ｄｐ１２１又は第２カメラ画面Ｄｐ１２２）が表示されている状態で、カットオフレバー３５０が「上げ位置」に操作されると、表示装置２に表示される表示画面Ｄｐ１は、第１切替処理により、カメラ画面Ｄｐ１２から基本画面Ｄｐ１１に切り替わる（矢印Ｆ２３，Ｆ２４）。このとき、作業機械３の動作モードがクレーンモードにあるか否かによらず、表示画面Ｄｐ１は、基本画面Ｄｐ１１に切り替わる。
【0172】
以上説明したように、切替操作部が無くても、無効操作部としてのカットオフレバー３５０の操作に応じて、表示画面Ｄｐ１の切り替えが行われる。その結果、無効操作部（カットオフレバー３５０）が操作に連動して表示画面Ｄｐ１が自動的に切り替わり、例えば、オペレータが見たい画面に比較的簡単に到達することができる等、操作性の向上を図ることができる、という利点がある。
【0173】
また、本実施形態においても、切替処理部１３は、第１カメラ画面Ｄｐ１２１と第２カメラ画面Ｄｐ１２２とを切替可能に構成されることが好ましい。例えば、所定の切替条件を満たすと、切替処理部１３は、第１カメラ画面Ｄｐ１２１から第２カメラ画面Ｄｐ１２２、又は第２カメラ画面Ｄｐ１２２から第１カメラ画面Ｄｐ１２１へと、表示画面Ｄｐ１を切り替える。一例として、メニュー画面Ｄｐ１３（図１４参照）等の別画面から復帰する、又は作業機械３の操作が一定時間行われないこと等の切替条件を満たすと、表示画面Ｄｐ１は、第１カメラ画面Ｄｐ１２１から第２カメラ画面Ｄｐ１２２に切り替わる（矢印Ｆ３１）。一方、第２カメラ画面Ｄｐ１２２において、操作部２２等に対して特定の操作がされること等の切替条件を満たすと、表示画面Ｄｐ１は、第２カメラ画面Ｄｐ１２２から第１カメラ画面Ｄｐ１２１に切り替わる（矢印Ｆ３２）。
【0174】
実施形態２に係る構成は、実施形態１で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。
【0175】
〔発明の付記〕
以下、上述の実施形態から抽出される発明の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
以下、上述の実施形態から抽出される発明の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。
【0176】
＜付記１＞
作業機械に関連する情報を含む表示画面を表示装置に表示させることと、
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
作業機械の制御方法。
作業機械に関連する情報を含む表示画面を表示装置に表示させることと、
切替操作部が操作されると、前記表示装置に表示させる前記表示画面を、複数の画面間で切替パターンに従って切り替えることと、
前記切替パターンを、前記作業機械の動作状態に応じて変更することと、を有する、
作業機械の制御方法。
【0177】
＜付記２＞
前記切替パターンの変更は、切替対象となる前記複数の画面の数の変更を含む、
付記１に記載の作業機械の制御方法。
前記切替パターンの変更は、切替対象となる前記複数の画面の数の変更を含む、
付記１に記載の作業機械の制御方法。
【0178】
＜付記３＞
前記切替パターンの変更は、切替先となる前記画面の変更を含む、
付記１又は２に記載の作業機械の制御方法。
前記切替パターンの変更は、切替先となる前記画面の変更を含む、
付記１又は２に記載の作業機械の制御方法。
【0179】
＜付記４＞
前記動作状態が第１状態にある場合、切替対象となる前記複数の画面は、前記作業機械の周囲の監視エリアの撮像画像を含む１又は複数のカメラ画面と、前記撮像画像を含まない基本画面と、を含む、
付記１～３のいずれかに記載の作業機械の制御方法。
前記動作状態が第１状態にある場合、切替対象となる前記複数の画面は、前記作業機械の周囲の監視エリアの撮像画像を含む１又は複数のカメラ画面と、前記撮像画像を含まない基本画面と、を含む、
付記１～３のいずれかに記載の作業機械の制御方法。
【0180】
＜付記５＞
前記動作状態が第２状態にある場合、切替対象となる前記複数の画面は、それぞれ前記作業機械の周囲の監視エリアの撮像画像を含む複数のカメラ画面を含む、
付記１～４のいずれかに記載の作業機械の制御方法。
前記動作状態が第２状態にある場合、切替対象となる前記複数の画面は、それぞれ前記作業機械の周囲の監視エリアの撮像画像を含む複数のカメラ画面を含む、
付記１～４のいずれかに記載の作業機械の制御方法。
【0181】
＜付記６＞
前記複数のカメラ画面は、互いに前記撮像画像の表示態様が異なる、
付記４又は５に記載の作業機械の制御方法。
前記複数のカメラ画面は、互いに前記撮像画像の表示態様が異なる、
付記４又は５に記載の作業機械の制御方法。
【0182】
＜付記７＞
前記複数のカメラ画面は、前記撮像画像に加えて前記作業機械の稼働状態に関する稼働情報を含む第１カメラ画面と、前記稼働情報を含まない第２カメラ画面と、を含む、
付記４～６のいずれかに記載の作業機械の制御方法。
前記複数のカメラ画面は、前記撮像画像に加えて前記作業機械の稼働状態に関する稼働情報を含む第１カメラ画面と、前記稼働情報を含まない第２カメラ画面と、を含む、
付記４～６のいずれかに記載の作業機械の制御方法。
【0183】
＜付記８＞
前記撮像画像の表示態様は、前記切替操作部の特定の操作によって更に変更可能である、
付記４～７のいずれかに記載の作業機械の制御方法。
前記撮像画像の表示態様は、前記切替操作部の特定の操作によって更に変更可能である、
付記４～７のいずれかに記載の作業機械の制御方法。
【0184】
＜付記９＞
前記切替操作部は、単一の操作スイッチである、
付記１～８のいずれかに記載の作業機械の制御方法。
前記切替操作部は、単一の操作スイッチである、
付記１～８のいずれかに記載の作業機械の制御方法。
【0185】
＜付記１０＞
前記作業機械に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む、
付記１～９のいずれかに記載の作業機械の制御方法。
前記作業機械に関連する情報は、燃料の残量、冷却水温及び作動油温の少なくとも一つを含む、
付記１～９のいずれかに記載の作業機械の制御方法。
【0186】
＜付記１１＞
前記動作状態は、カットオフレバーの操作状態と、前記作業機械の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む、
付記１～１０のいずれかに記載の作業機械の制御方法。
前記動作状態は、カットオフレバーの操作状態と、前記作業機械の動作モードがクレーンモードであるか否かと、の少なくとも一方を含む、
付記１～１０のいずれかに記載の作業機械の制御方法。
【0187】
＜付記１２＞
付記１～１１のいずれかに記載の作業機械の制御方法を、
１以上のプロセッサに実行させるための作業機械用制御プログラム。
付記１～１１のいずれかに記載の作業機械の制御方法を、
１以上のプロセッサに実行させるための作業機械用制御プログラム。
【符号の説明】
【0188】
１ 作業機械用制御システム
２ 表示装置
３ 作業機械
１１ 表示処理部
１３ 切替処理部
３０ 機体
２２４ 押釦スイッチ（切替操作部）
３５０ カットオフレバー
Ａ１ 監視エリア
Ｄｐ１ 表示画面
Ｄｐ１１ 基本画面
Ｄｐ１２ カメラ画面
Ｄｐ１２１ 第１カメラ画面
Ｄｐ１２２ 第２カメラ画面
Ｇ１ 残量情報（稼働情報）
Ｇ４ 作業機情報（稼働情報）
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３ 撮像画像
Ｉｍ１００ 俯瞰画像（撮像画像）
２ 表示装置
３ 作業機械
１１ 表示処理部
１３ 切替処理部
３０ 機体
２２４ 押釦スイッチ（切替操作部）
３５０ カットオフレバー
Ａ１ 監視エリア
Ｄｐ１ 表示画面
Ｄｐ１１ 基本画面
Ｄｐ１２ カメラ画面
Ｄｐ１２１ 第１カメラ画面
Ｄｐ１２２ 第２カメラ画面
Ｇ１ 残量情報（稼働情報）
Ｇ４ 作業機情報（稼働情報）
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３ 撮像画像
Ｉｍ１００ 俯瞰画像（撮像画像）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
