特開 2024-42407 作業機械の表示システム、作業機械、及び作業機械の表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042407

(43)【公開日】2024-03-28

(54)【発明の名称】作業機械の表示システム、作業機械、及び作業機械の表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240321BHJP

   E02F 9/26 20060101ALI20240321BHJP

   E02F 9/24 20060101ALI20240321BHJP

   B60R 1/27 20220101ALI20240321BHJP

   B60R 1/20 20220101ALI20240321BHJP

   G06F 3/14 20060101ALI20240321BHJP

   G06F 3/01 20060101ALI20240321BHJP

【ＦＩ】

H04N7/18 J

E02F9/26 B

E02F9/24 B

B60R1/27

B60R1/20 100

G06F3/14 350B

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022147097

(22)【出願日】2022-09-15

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村上 舜

(72)【発明者】

【氏名】古賀 亮介

(72)【発明者】

【氏名】柴田 剛宏

(72)【発明者】

【氏名】高橋 優樹

【テーマコード（参考）】

2D015

5B069

5C054

5E555

【Ｆターム（参考）】

2D015GA03

2D015GB06

2D015GB07

2D015HA03

2D015HB07

5B069AA19

5B069CA06

5B069CA13

5C054CA04

5C054CC02

5C054FD03

5C054FD07

5C054FE14

5C054FE17

5C054HA30

5E555AA58

5E555AA64

5E555BA23

5E555BB23

5E555BC08

5E555CA46

5E555CB80

5E555CC01

5E555DB03

5E555DC13

5E555DC27

5E555DD08

5E555FA00

(57)【要約】

【課題】作業機械の周辺のカメラ画像を表示する領域にメッセージウィンドウが表示される場合、適切に画像を表示すること。
【解決手段】作業機械の表示システム１は、油圧ショベルの周辺を撮影したカメラ画像を表示する表示部１１と、カメラ画像を表示部１１に表示させる表示部コントローラ２０と、油圧ショベルに関する所定のイベントが発生した際に、イベントの内容を示すメッセージウィンドウ画像を生成するメッセージウィンドウ画像生成部２４とを備え、表示部コントローラ２０は、油圧ショベルに関する所定のイベントが発生した際に、カメラ画像を表示するカメラ画像領域にイベントの内容を示すメッセージウィンドウ画像を表示させ、カメラ画像を縮小させて表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

作業機械の周辺を撮影したカメラ画像を表示する表示部と、
前記カメラ画像を表示部に表示させる表示制御部と、
前記作業機械に関する所定のイベントが発生した際に、前記イベントの内容を示すメッセージウィンドウ画像を生成するメッセージウィンドウ画像生成部と、
を備え、
前記表示制御部は、前記作業機械に関する所定のイベントが発生した際に、前記カメラ画像を表示するカメラ画像領域に前記イベントの内容を示すメッセージウィンドウ画像を表示させ、前記カメラ画像を縮小させて表示する、
作業機械の表示システム。

【請求項2】

前記表示制御部は、表示された前記メッセージウィンドウ画像の面積に合わせて、前記カメラ画像を縮小させる割合を決定する、
請求項１に記載の作業機械の表示システム。

【請求項3】

前記カメラ画像は、前記作業機械の周辺の俯瞰カメラ画像及び単カメラ画像であり、
前記表示制御部は、前記カメラ画像領域に前記メッセージウィンドウ画像が表示される場合、前記単カメラ画像を縮小させて表示する、
請求項１に記載の作業機械の表示システム。

【請求項4】

オペレータの指示により前記単カメラ画像を表示する単カメラ画像領域に前記作業機械の状態を示すゲージ画像を生成するゲージ画像生成部、
を備え、
前記表示制御部は、前記単カメラ画像領域に前記メッセージウィンドウ画像又は前記ゲージ画像が表示される場合、前記単カメラ画像を縮小させて表示する、
請求項３に記載の作業機械の表示システム。

【請求項5】

前記カメラ画像から、前記作業機械の周辺に存在する人又は他の作業機械を含む対象物が存在するか否かを判定する判定部、
を備え、
前記判定部は、前記メッセージウィンドウ画像又は前記ゲージ画像が表示される領域に、前記対象物が表示されているか否かを判定し、
前記表示制御部は、前記単カメラ画像領域に前記メッセージウィンドウ画像又は前記ゲージ画像が表示され、前記メッセージウィンドウ画像又は前記ゲージ画像が表示される領域に、前記対象物が表示されていると判定される場合、前記単カメラ画像を縮小させて表示する、
請求項４に記載の作業機械の表示システム。

【請求項6】

前記表示制御部は、前記メッセージウィンドウ画像がオペレータに対するガイダンスを示す内容である場合、前記メッセージウィンドウ画像を表示してから所定期間経過後に、前記メッセージウィンドウ画像の表示を停止して、前記単カメラ画像の縮小を解除する、
請求項３に記載の作業機械の表示システム。

【請求項7】

前記表示制御部は、前記メッセージウィンドウ画像が前記作業機械の異常を示す内容である場合、前記作業機械の異常が解消されたとき、前記メッセージウィンドウ画像の表示を停止して、前記単カメラ画像の縮小を解除する、
請求項３に記載の作業機械の表示システム。

【請求項8】

請求項１から請求項４のいずれか一項に記載の作業機械の表示システムと、
作業機と、
を備える、作業機械。

【請求項9】

作業機械に関する所定のイベントが発生した際に、前記作業機械の周辺を撮影したカメラ画像を表示するカメラ画像領域に表示させるメッセージウィンドウ画像を生成することと、
前記カメラ画像を表示させ、前記カメラ画像領域に前記メッセージウィンドウ画像が表示される場合、前記カメラ画像を縮小させることと、
を含む作業機械の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の表示システム、作業機械、及び作業機械の表示方法に関する。

【背景技術】

【0002】

特許文献１に示すように、ショベル等の作業機械は、エンジン水温、燃料残量、稼働時間等の作業機械に関する情報を表示したり、作業機械の周辺の画像を表示したりする表示部を運転室に備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０４２６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械に関する各種イベントが発生した場合、イベントに関するメッセージをメッセージウィンドウとして表示することがある。表示部の表示領域は限られている。メッセージウィンドウをカメラ画像が表示される領域に重畳して表示する場合、メッセージウィンドウ画像によってカメラ画像の表示内容が隠れてしまう。これにより、オペレータに適切に情報が伝わらなくなる可能性が考えられる。

【課題を解決するための手段】

【0005】

本開示に従えば、作業機械の周辺を撮影したカメラ画像を表示する表示部と、前記カメラ画像を表示部に表示させる表示制御部と、前記作業機械に関する所定のイベントが発生した際に、前記イベントの内容を示すメッセージウィンドウ画像を生成するメッセージウィンドウ画像生成部と、を備え、前記表示制御部は、前記作業機械に関する所定のイベントが発生した際に、前記カメラ画像を表示するカメラ画像領域に前記イベントの内容を示すメッセージウィンドウ画像を表示させ、前記カメラ画像を縮小させて表示する、作業機械の表示システムが提供される。

【0006】

本開示に従えば、上記の作業機械の表示システムと、作業機とを備える作業機械が提供される。

【0007】

本開示に従えば、作業機械に関する所定のイベントが発生した際に、前記作業機械の周辺を撮影したカメラ画像を表示するカメラ画像領域に表示させるメッセージウィンドウ画像を生成することと、前記カメラ画像を表示させ、前記カメラ画像領域に前記メッセージウィンドウ画像が表示される場合、前記カメラ画像を縮小させることと、を含む作業機械の表示方法が提供される。

【発明の効果】

【0008】

本開示によれば、作業機械の周辺のカメラ画像を表示する領域にメッセージウィンドウが表示される場合、適切に画像を表示することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る作業機械の表示システムを示すブロック図である。

【図2】図２は、表示部の表示例の一例を示す図である。

【図3】図３は、表示部の表示例の他の例を示す図である。

【図4】図４は、表示部の表示例の他の例を示す図である。

【図5】図５は、表示部に表示された単カメラ画像の表示例の一例を示す図である。

【図6】図６は、表示部に表示された単カメラ画像の表示例の他の例を示す図である。

【図7】図７は、実施形態に係る作業機械の表示方法を示すフローチャートである。

【図8】図８は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0011】

［実施形態］
＜作業機械の表示システム＞
実施形態では、作業機械が油圧ショベルである場合を一例として説明する。油圧ショベルは、作業機と、作業機械の表示システム１を備える。作業機械の表示システム１は、表示装置１０と、カメラシステム３０とを備える。

【0012】

カメラシステム３０は、油圧ショベルの周辺を撮影する。カメラシステム３０は、油圧ショベルの上部旋回体に設けられる。カメラシステム３０は、撮像対象の画像を取得する。カメラシステム３０は、油圧ショベルの周辺に存在する人又は他の油圧ショベル等の作業機械を含む対象物を検出する検出部として機能する。カメラシステム３０は、油圧ショベルの周辺に複数配置される。実施形態では、カメラシステム３０は、カメラ３１、カメラ３２、カメラ３３及びカメラ３４を含む。

【0013】

カメラ３１は、例えば、上部旋回体３の後部に設けられる後カメラである。カメラ３１は、上部旋回体３の後方領域を撮像する。カメラ３２は、例えば、上部旋回体３の右部に設けられる右後カメラである。カメラ３２は、上部旋回体３の右後方領域を撮像する。カメラ３３は、例えば、上部旋回体３の右部に設けられる右前カメラである。カメラ３３は、上部旋回体３の右前方領域を撮像する。カメラ３４は、例えば、上部旋回体３の左部に設けられる左後カメラである。カメラ３４は、上部旋回体３の左後方領域を撮像する。カメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれは、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

【0014】

なお、カメラ３４は、上部旋回体３の左側方領域及び左後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、カメラ３２は、上部旋回体３の右側方領域及び右後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、カメラ３３は、上部旋回体３の右前方領域及び右側方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。また、カメラシステム３０は、上部旋回体３の左後方、後方、右後方、及び右前方を撮像するが、これに限定されない。

【0015】

＜表示装置＞
表示装置１０は、作業機械の周辺の画像を表示するモニタである。表示装置１０は、例えば、周辺監視用のモニタである。表示装置１０は、表示部１１と、表示制御部である表示部コントローラ２０とを備える。表示部コントローラ２０は、表示装置１０と分離されたコントローラでもよい。

【0016】

表示部１１は、油圧ショベルの周辺を撮影したカメラ画像等を表示する。表示部１１は、液晶ディスプレイ又は有機ＥＬディスプレイ（ＥＬ：Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）のようなフラットパネルディスプレイを含む。表示部１１は、タッチパネル式であってもよい。

【0017】

カメラ画像は、油圧ショベルの周辺の俯瞰カメラ画像１０１及び単カメラ画像１０２の一方又は両方を含む。実施形態では、カメラ画像は、油圧ショベルの周辺の俯瞰カメラ画像１０１及び単カメラ画像１０２である。

【0018】

俯瞰カメラ画像１０１とは、カメラシステム３０のそれぞれで取得された複数の画像データを油圧ショベルの上方視点に変換して合成することによって生成される画像である。俯瞰カメラ画像１０１には、油圧ショベルを上方から見た画像が中心部に表示される。

【0019】

単カメラ画像１０２とは、カメラシステム３０のうち１つのカメラで取得された油圧ショベルの周辺の一部の画像である。単カメラ画像１０２は、カメラ３１で取得された油圧ショベルの後方の状況を示す後方単カメラ画像、カメラ３２で取得された油圧ショベルの右後方の状況を示す右後方単カメラ画像、カメラ３３で取得された油圧ショベルの右前方の状況を示す右前方単カメラ画像、及びカメラ３４で取得された油圧ショベルの左後方の状況を示す左後方単カメラ画像の少なくとも一つを含む。

【0020】

＜表示部コントローラ＞
表示部コントローラ２０は、コンピュータシステムを含む。表示部コントローラ２０は、インターフェース部２１と、単カメラ画像生成部２２と、俯瞰カメラ画像生成部２３と、メッセージウィンドウ画像生成部２４と、ゲージ画像生成部２５と、画像出力部２９とを有する。

【0021】

インターフェース部２１は、油圧ショベルが備える他のハードウェアとの通信を行う。実施形態では、インターフェース部２１は、カメラシステム３０から画像データを取得する。インターフェース部２１は、カメラシステム３０のカメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれと接続される。実施形態では、インターフェース部２１は、カメラ３１から油圧ショベルの後方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３２から油圧ショベルの右後方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３３から油圧ショベルの右前方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３４から油圧ショベルの左後方の状況を示す画像データを取得する。

【0022】

インターフェース部２１は、作業機械のコントローラから作業機械の異常の検知を示す情報を取得する。インターフェース部２１は、作業機械のコントローラからイベントの発生を示す情報を取得する。インターフェース部２１は、作業機械のコントローラからエンジン水温、燃料残量、稼働時間等を示す情報を取得する。

【0023】

単カメラ画像生成部２２は、インターフェース部２１によって取得された画像データに基づいて、油圧ショベルの周辺の状況を示す単カメラ画像１０２を生成する。より詳しくは、単カメラ画像生成部２２は、カメラシステム３０のうち１つのカメラで取得された画像データに基づいて、単カメラ画像１０２を生成する。

【0024】

俯瞰カメラ画像生成部２３は、インターフェース部２１によって取得された画像データに基づいて、油圧ショベルの周辺の状況を示す俯瞰カメラ画像１０１を生成する。より詳しくは、俯瞰カメラ画像生成部２３は、カメラシステム３０のそれぞれで取得された画像データに基づいて、油圧ショベルの周辺の俯瞰カメラ画像１０１を生成する。俯瞰カメラ画像生成部２３は、カメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれで取得された画像データを、油圧ショベルの上方の仮想視点から見た上方視点画像にそれぞれに変換する。俯瞰カメラ画像生成部２３は、それぞれの上方視点画像から、俯瞰カメラ画像１０１を表示するフレーム領域に対応する部分を切り出す。俯瞰カメラ画像生成部２３は、上方視点画像を合成して油圧ショベルの周辺の俯瞰カメラ画像１０１を生成する。

【0025】

メッセージウィンドウ画像生成部２４は、油圧ショベルに関する所定のイベントが発生した際に、油圧ショベルの周辺を撮影したカメラ画像を表示するカメラ画像領域に表示させるメッセージウィンドウ画像１０４を生成する。

【0026】

メッセージウィンドウ画像１０４は、例えば、オペレータに対するガイダンスを示す内容である。メッセージウィンドウ画像１０４は、例えば、油圧ショベルの異常を示す内容である。

【0027】

ゲージ画像生成部２５は、油圧ショベルの状態を示すゲージ情報を示す画像を生成する。より詳しくは、ゲージ画像生成部２５は、オペレータの指示により単カメラ画像１０２を表示する単カメラ画像１０２領域に、油圧ショベルの状態を示すゲージ情報を示すゲージ画像１０３を生成する。

【0028】

ゲージ画像１０３は、油圧ショベルの状態を示すゲージ情報を示す画像である。ゲージ画像１０３は、例えば、エンジン水温、燃料残量、稼働時間等を示すゲージの画像である。

【0029】

画像出力部２９は、表示部１１に油圧ショベルの周辺の状況を示す表示データを表示させる。表示データは、カメラ画像、メッセージウィンドウ画像１０４、及び、ゲージ画像１０３を含む。実施形態において、画像出力部２９は、少なくとも油圧ショベルの周辺の俯瞰カメラ画像１０１、単カメラ画像１０２を表示部１１に表示させる。

【0030】

画像出力部２９は、油圧ショベルの周辺を撮影したカメラ画像を表示部１１に表示させる。画像出力部２９は、表示部１１のカメラ画像領域にメッセージウィンドウが表示される場合、カメラ画像を縮小して表示部１１に表示させる。

【0031】

実施形態では、画像出力部２９は、表示部１１に表示されたメッセージウィンドウ画像１０４の画面における面積に合わせて、カメラ画像を縮小させる割合を決定してもよい。画像出力部２９は、メッセージウィンドウ画像１０４が表示されていない状態でカメラ画像が表示される領域のうち、メッセージウィンドウ画像１０４が表示される領域を除いた領域と同じ形状及び大きさに縮小したカメラ画像を表示部１１に表示させる。

【0032】

実施形態では、画像出力部２９は、カメラ画像領域にメッセージウィンドウが表示される場合、単カメラ画像１０２を縮小させて表示部１１に表示させてもよい。より詳しくは、画像出力部２９は、単カメラ画像１０２領域にメッセージウィンドウが表示される場合、単カメラ画像１０２を縮小させて表示部１１に表示させてもよい。

【0033】

実施形態では、画像出力部２９は、カメラ画像領域にメッセージウィンドウ、又はゲージ情報が表示される場合、単カメラ画像１０２を縮小させて表示部１１に表示させてもよい。より詳しくは、画像出力部２９は、単カメラ画像１０２領域にメッセージウィンドウ又はゲージ情報が表示される場合、単カメラ画像１０２を縮小させて表示部１１に表示させてもよい。

【0034】

実施形態では、画像出力部２９は、メッセージウィンドウ画像１０４がオペレータに対するガイダンスを示す内容である場合、メッセージウィンドウ画像１０４を表示してから所定期間経過後に、単カメラ画像１０２の縮小を解除して表示部１１に表示させてもよい。

【0035】

実施形態では、画像出力部２９は、メッセージウィンドウ画像１０４が油圧ショベルの異常を示す内容である場合、異常が解消されたとき、メッセージウィンドウ画像１０４の表示を停止して、単カメラ画像１０２の縮小を解除して表示部１１に表示させてもよい。

【0036】

画像出力部２９は、油圧ショベルに関する所定のイベントが発生した際に、油圧ショベルの周辺を撮影したカメラ画像領域にメッセージウィンドウ画像１０４を表示させる。

【0037】

油圧ショベルに関する所定のイベントとは、例えば、油圧ショベルの各種異常の検知を検知したこと、又は、オペレータに対するガイダンスを要する状態を検知したことである。

【0038】

画像出力部２９は、オペレータの指示により単カメラ画像１０２領域に、油圧ショベルの状態を示すゲージ情報を示すゲージ画像１０３を表示させる。

【0039】

図２は、表示部の表示例の一例を示す図である。図２は、メッセージウィンドウ画像１０４（図３参照）が表示されていない状態である通常状態の表示部１１の表示の一例である。図２に示す例では、表示部１１には、俯瞰カメラ画像１０１、単カメラ画像１０２、ゲージ画像１０３、上部画像１１１、側方画像１１２及び下部画像１１３が表示されている。上部画像１１１、側方画像１１２及び下部画像１１３は、油圧ショベルの稼働状態を示す情報などがアイコン画像などで表示されている。

【0040】

図３は、表示部の表示例の他の例を示す図である。図３に示す例では、図２において単カメラ画像１０２が表示される領域の上部に、メッセージウィンドウ画像１０４が表示されている。単カメラ画像１０２は、縮小されて表示されている。図２に示すように、メッセージウィンドウ画像１０４が表示されていない状態で単カメラ画像１０２が表示される領域のうち、図３に示すメッセージウィンドウ画像１０４が表示される領域を除いた領域に合わせて、単カメラ画像１０２が縮小されている。

【0041】

図４は、表示部の表示例の他の例を示す図である。図４に示す例では、図２において単カメラ画像１０２が表示される領域の右側部に、ゲージ画像１０５が表示されている。単カメラ画像１０２は、縮小されて表示されている。図２に示すように、ゲージ画像１０５が表示されていない状態で単カメラ画像１０２が表示される領域のうち、図４に示すゲージ画像１０５が表示される領域を除いた領域に合わせて、単カメラ画像１０２が縮小されている。

【0042】

図２ないし図４に示す例では、ゲージ画像１０３が単カメラ画像１０２の下方に常時表示されている。図５、図６に示すように、ゲージ画像１０３は、オペレータがゲージ画像１０３を表示するためのスワイプ操作を行ったときに表示されるようにしてもよい。図５は、表示部に表示された単カメラ画像１０２の表示例の一例を示す図である。図６は、表示部に表示された単カメラ画像１０２の表示例の他の例を示す図である。図５、図６は、表示部１１の下方のみを示す図である。図５に示す例では、ゲージ画像１０３を表示するためのスワイプ操作をガイドするガイド画像１０６が表示されている。ガイド画像１０６は、下方から上方に向かう矢印に沿って、スワイプ操作を行うことをガイドする。オペレータによって、ガイド画像１０６に沿ってスワイプ操作が行われると、図６に示すように、ゲージ画像１０３が表示される。ガイド画像１０６は、表示されなくてもよい。

【0043】

＜表示方法＞
図７は、実施形態に係る作業機械の表示方法を示すフローチャートである。油圧ショベルがキーオンされると、作業機械の表示システム１が起動する。作業機械の表示システム１が起動すると、カメラシステム３０によって常時撮影が行われる。

【0044】

表示部コントローラ２０は、インターフェース部２１によって、カメラシステム３０が撮影したカメラ画像を取得する（ステップＳＴ１１）。表示部コントローラ２０は、インターフェース部２１によって、カメラシステム３０のカメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれから画像データを取得する。

【0045】

表示部コントローラ２０は、単カメラ画像生成部２２によって、単カメラ画像１０２を生成する（ステップＳＴ１２）。表示部コントローラ２０は、単カメラ画像生成部２２によって、カメラシステム３０のうち１つのカメラで取得された画像データに基づいて、単カメラ画像１０２を生成する。表示部コントローラ２０は、画像出力部２９によって、生成した単カメラ画像１０２を表示部１１に表示させる。

【0046】

表示部コントローラ２０は、俯瞰カメラ画像生成部２３によって、俯瞰カメラ画像１０１を生成する（ステップＳＴ１３）表示部コントローラ２０は、俯瞰カメラ画像生成部２３によって、カメラシステム３０のそれぞれで取得された画像データに基づいて、油圧ショベルの周辺の俯瞰カメラ画像１０１を生成する。表示部コントローラ２０は、画像出力部２９によって、生成した俯瞰カメラ画像１０１を表示部１１に表示させる。

【0047】

表示部コントローラ２０は、イベントが発生したか、又は、ゲージ表示指示がされたか否かを判定する（ステップＳＴ１４）。表示部コントローラ２０は、イベントが発生した、又は、ゲージ表示指示がされたと判定する場合（ステップＳＴ１４でＹｅｓ）、ステップＳＴ１５へ進む。表示部コントローラ２０は、イベントが発生しておらず、かつ、ゲージ表示指示がされていないと判定する場合（ステップＳＴ１４でＮｏ）、ステップＳＴ１４の処理を再度実行する。

【0048】

表示部コントローラ２０は、単カメラ画像１０２を縮小する（ステップＳＴ１５）。表示部コントローラ２０は、画像出力部２９によって、メッセージウィンドウ画像１０４が表示されていない状態でカメラ画像が表示される領域のうち、メッセージウィンドウ画像１０４が表示される領域を除いた領域と同じ形状及び大きさに縮小したカメラ画像を表示部１１に表示させる。

【0049】

表示部コントローラ２０は、所定期間が経過したか、又は、メッセージウィンドウ又はゲージ表示の取り消しがされたかを判定する（ステップＳＴ１６）。表示部コントローラ２０は、画像出力部２９によって、メッセージウィンドウ画像１０４を表示してから所定期間が経過したか否かを判定する。表示部コントローラ２０は、表示部１１に表示された操作ボタン又は操作メニューなどの操作部に対して、メッセージウィンドウ画像１０４の表示の取り消し操作、ゲージ画像１０３の表示の取り消し操作、又は、ゲージ画像１０５の表示の取り消し操作が行われたか否かを判定する。表示部コントローラ２０は、所定期間が経過した場合、又は、メッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５の表示の取り消しがされた場合（ステップＳＴ１６でＹｅｓ）、ステップＳＴ１７へ進む。表示部コントローラ２０は、所定期間が経過していない場合、かつ、メッセージウィンドウ画像１０４、ゲージ画像１０３及びゲージ画像１０５の表示の取り消しがされていない場合（ステップＳＴ１６でＮｏ）、ステップＳＴ１６の処理を再度実行する。

【0050】

所定期間が経過した場合、又は、メッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５の表示の取り消しがされた場合（ステップＳＴ１６でＹｅｓ）、表示部コントローラ２０は、単カメラ画像１０２の縮小を停止する（ステップＳＴ１７）。

【0051】

上記の処理を作業機械の表示システム１の起動中、繰り返し実行することで、油圧ショベルの表示装置１０にカメラ画像を含めた画像を表示する。

【0052】

＜コンピュータシステム＞
図８は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の表示部コントローラ２０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の表示部コントローラ２０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0053】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、油圧ショベルに関する所定のイベントが発生した際に、油圧ショベルの周辺を撮影したカメラ画像領域に表示させるメッセージウィンドウ画像１０４を生成することと、油圧ショベルの周辺を撮影したカメラ画像を表示させ、カメラ画像領域にメッセージウィンドウが表示される場合、カメラ画像を縮小させること、を実行させることができる。

【0054】

＜効果＞
以上説明したように、実施形態では、油圧ショベルに関する所定のイベントが発生した際に、カメラ画像を表示するカメラ画像領域にイベントの内容を示すメッセージウィンドウ画像１０４を表示させ、カメラ画像を縮小させて表示する。このように、実施形態によれば、油圧ショベルの周辺のカメラ画像領域にメッセージウィンドウ画像１０４が表示される場合、カメラ画像の一部を切り出すことなく、適切に画像を表示することができる。実施形態は、オペレータに適切に情報を伝えることができる。

【0055】

実施形態では、カメラ画像領域にメッセージウィンドウ画像１０４が表示される場合、メッセージウィンドウ画像１０４の面積に合わせて、カメラ画像を縮小させる割合を決定する。

【0056】

実施形態では、カメラ画像領域にメッセージウィンドウ画像１０４が表示される場合、単カメラ画像１０２を縮小させて表示する。実施形態では、俯瞰カメラ画像１０１は縮小されないので、油圧ショベルの周辺を確認しやすい表示を維持できる。

【0057】

実施形態では、単カメラ画像１０２領域にメッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５が表示される場合、単カメラ画像１０２を縮小させて表示する。実施形態によれば、単カメラ画像１０２領域にメッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５が表示される場合、俯瞰カメラ画像１０１及び単カメラ画像１０２の一部を切り出すことなく、適切に画像を表示することができる。

【0058】

実施形態では、メッセージウィンドウ画像１０４を表示してから所定期間経過後に、メッセージウィンドウ画像１０４の表示を停止して、単カメラ画像１０２の縮小を解除する。実施形態によれば、メッセージウィンドウ画像１０４の表示の必要性が低くなったときに、メッセージウィンドウ画像１０４の表示を停止して、単カメラ画像１０２を元の大きさに戻すことができる。実施形態によれば、単カメラ画像１０２の縮小及び縮小の解除を適切に制御できる。

【0059】

実施形態では、メッセージウィンドウ画像１０４が油圧ショベルの異常を示す内容である場合、異常が解消されたとき、メッセージウィンドウ画像１０４の表示を停止して、単カメラ画像１０２の縮小を解除する。実施形態によれば、異常が解消されたときに、メッセージウィンドウ画像１０４の表示を停止して、単カメラ画像１０２を元の大きさに戻すことができる。実施形態によれば、単カメラ画像１０２の縮小及び縮小の解除を適切に制御できる。

【0060】

上述の実施形態において、油圧ショベルは、鉱山などで使用されるマイニング用油圧ショベルでもよいし、建設現場において用いられる油圧ショベルでもよい。また、ダンプトラックや、ホイールローダや他の作業機械用の表示システムに適用可能である。

【0061】

［変形例］
カメラ画像に油圧ショベルの周辺に存在する人又は他の油圧ショベル等の作業機械を含む対象物が表示されているか否かによって、単カメラ画像１０２を縮小するかどうかを変えてもよい。表示部コントローラ２０は、さらに判定部を備える。

【0062】

判定部は、カメラ画像から、油圧ショベルの周辺に存在する人又は他の油圧ショベル等の作業機械を含む対象物が存在するか否かを判定する。判定部は、カメラ画像にそのままメッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５を重ねて表示させた通常状態の表示において、メッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５が表示される領域に、対象物が表示されているか否かを判定する。より詳しくは、判定部は、インターフェース部２１によって取得された画像データに基づいて、油圧ショベルの周辺に対象物が存在するか否かを判定する。判定部は、インターフェース部２１によって取得された画像データを画像処理することによって、油圧ショベルの周辺における人の存否を判定する。画像処理は、画像データから対象物の特徴量を抽出する処理を含む。判定部は、画像データから抽出した特徴量と、特徴量記憶部に記憶された対象物の特徴量とを照合して、メッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５が表示される領域に対象物が存在するか否かを判定する。

【0063】

表示部コントローラ２０は、単カメラ画像１０２領域にメッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５が表示されており、メッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５が表示される領域に対象物が表示されていると判定される場合、単カメラ画像１０２を縮小させて表示する。表示部コントローラ２０は、メッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５が表示される領域に対象物が表示されていないと判定される場合、単カメラ画像１０２の大きさを維持させて、単カメラ画像１０２領域にメッセージウィンドウ、ゲージ画像１０３又はゲージ画像１０５を重ねて表示させる。

【0064】

＜効果＞
変形例によれば、単カメラ画像１０２領域にメッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５が表示され、メッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５が表示される領域に、対象物が表示されていると判定される場合、単カメラ画像１０２を縮小させて表示する。変形によれば、適切に単カメラ画像１０２を縮小させることができる。

【0065】

［変形例］
上述の実施形態において、表示部コントローラ２０は、俯瞰カメラ画像１０１領域にメッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５を表示させ、俯瞰カメラ画像１０１領域を縮小させて表示させてもよい。この場合、単カメラ画像１０２を縮小することなく、カメラ画像領域にメッセージウィンドウ画像１０４、ゲージ画像１０３又はゲージ画像１０５を表示させることができる。

【符号の説明】

【0066】

１…表示システム、１０…表示装置、１１…表示部、２０…表示部コントローラ（表示制御部）、２１…インターフェース部、２２…単カメラ画像生成部、２３…俯瞰カメラ画像生成部、２４…メッセージウィンドウ画像生成部、２５…ゲージ画像生成部、２９…画像出力部、３０…カメラシステム、３１…カメラ、３２…カメラ、３３…カメラ、３４…カメラ、１０１…俯瞰カメラ画像１０１領域、１０２…単カメラ画像、１０３…ゲージ画像、１０４…メッセージウィンドウ画像、１０５…ゲージ画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】