特開 2022-170068 表示制御装置、表示制御方法および作業機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022170068

(43)【公開日】2022-11-10

(54)【発明の名称】表示制御装置、表示制御方法および作業機械

(51)【国際特許分類】

   E02F 9/26 20060101AFI20221102BHJP

   H04N 7/18 20060101ALI20221102BHJP

   B60R 1/00 20220101ALI20221102BHJP

【ＦＩ】

E02F9/26 A

H04N7/18 J

B60R1/00 A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021075949

(22)【出願日】2021-04-28

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】江口 太郎

(72)【発明者】

【氏名】中沢 浩一

【テーマコード（参考）】

2D015

5C054

【Ｆターム（参考）】

2D015HA03

5C054CA04

5C054CC02

5C054FD03

5C054FE14

5C054FE18

5C054HA30

(57)【要約】

【課題】作業機械の運転に伴う着目範囲を運転者が容易に把握することができる表示制御装置、表示制御方法および作業機械を提供する。
【解決手段】本開示の一態様は、下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の俯瞰画像を生成する俯瞰画像生成部と、前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、前記表示画像を出力する表示画像出力部とを備える表示制御装置である。
【選択図】図４

【特許請求の範囲】

【請求項1】

下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成する俯瞰画像生成部と、
前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、
前記表示画像を出力する表示画像出力部と
を備える表示制御装置。

【請求項2】

前記着目範囲画像は、前記下部走行体を操作する操作装置に対する前進または後進の所定の指示操作に対応する向きを示す情報を表す
請求項１に記載の表示制御装置。

【請求項3】

前記着目範囲画像は、前記走行着目範囲に対応する長さと前記指示操作に対応する向きを示す矢印を表す画像と、前記作業機械の旋回中心で前記矢印と交差して前記旋回着目範囲に対応する長さを示す線分を表す画像とを含む
請求項２に記載の表示制御装置。

【請求項4】

前記１または複数の撮像画像に基づき前記下部走行体の進行方向に対応する進行方向画像を生成する進行方向画像生成部をさらに備え、
前記表示画像出力部は、前記表示画像とともに、前記進行方向画像を出力する
請求項１から３のいずれか１項に記載の表示制御装置。

【請求項5】

下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成するステップと、
前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成するステップと、
前記表示画像を出力するステップと
を含む表示制御方法。

【請求項6】

下部走行体と、
前記下部走行体に旋回可能に支持された上部旋回体と、
前記上部旋回体に設置された１または複数の撮像装置と、
表示制御装置と
を備え、
前記表示制御装置が、
前記１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記上部旋回体と前記下部走行体の周囲の俯瞰画像を生成する俯瞰画像生成部と、
前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、
前記表示画像を出力する表示画像出力部と
を有する
作業機械。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御装置、表示制御方法および作業機械に関する。

【背景技術】

【0002】

特許文献１に記載されている作業機械の視野補助装置では、運転室内に設けられた表示用モニタに次のような表示画像が表示される。すなわち、特許文献１に記載されている表示画像は、作業機械を上方から見た外観画像と、機体の周囲の俯瞰合成カメラ画像と、複数のカメラ画像とによって構成される。また、外観画像は、作業機械の機種毎に予め設定されたビットマップ画像により構成され、旋回体を表す旋回体画像を含む。また、旋回体を表す旋回体画像上に、走行体を表す走行体画像が重ねて表示される。なお、外観画像は固定画像であるのに対し、走行体画像は、旋回体の旋回に伴い旋回中心を中心に回転する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－５９６５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されている作業機械の視野補助装置によれば、運転者に対して好適な視野情報を提供することができ、進行方向の状況を常に運転者が認識することができる。しかしながら、周囲の障害物等に対して、作業機械の上部旋回体を旋回した場合に着目すべき範囲や、下部走行体によって作業機械を前後進させた場合に着目すべき範囲を運転者が容易に把握することができないという課題があった。

【0005】

本開示は、上記事情に鑑みてなされたものであり、作業機械の運転に伴って着目すべき範囲を運転者が容易に把握することができる表示制御装置、表示制御方法および作業機械を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本開示の一態様は、下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成する俯瞰画像生成部と、前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、前記表示画像を出力する表示画像出力部とを備える表示制御装置である。

【発明の効果】

【0007】

本開示の各態様によれば、作業機械の運転に伴って着目すべき範囲を運転者が容易に把握することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る作業機械の構成を示す概略図である。

【図2】実施形態に係る作業機械が備える複数のカメラの撮像範囲を模式的に示す平面図である。

【図3】実施形態に係る運転室の内部の構成を示す図である。

【図4】表示制御システムの構成を示す概略ブロック図である。

【図5】実施形態に係る表示画面の例を示す図である。

【図6】実施形態に係る表示画面の例を示す図である。

【図7】実施形態に係る表示画面の例を示す図である。

【図8】実施形態に係る表示制御装置の動作を示すフローチャートである。

【図9】実施形態に係る表示画面の他の例を示す図である。

【図10】実施形態に係る表示画面の他の例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して本開示の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

【0010】

図１は、実施形態に係る作業機械１００の構成を示す概略図である。図２は、実施形態に係る作業機械１００が備える複数のカメラ（撮像装置）１２１Ａ～１２１Ｄの撮像範囲を模式的に示す平面図である。図３は、実施形態に係る運転室１４０の内部の構成を示す図である。図４は、表示制御システム６０の構成例を示す概略ブロック図である。図５～図７は、実施形態に係る表示画面の例を示す図である。図８は、実施形態に係る表示制御装置６１の動作例を示すフローチャートである。図９～図１０は、 実施形態に係る表示画面の他の例を示す図である。

【0011】

図１に示すように、本実施形態においては、作業機械１００にローカル座標系を設定し、ローカル座標系を参照しながら各部の位置関係について説明する。ローカル座標系において、作業機械１００（上部旋回体１２０）の左右方向（車幅方向）に延伸する第１軸をｘ軸とし、作業機械１００の前後方向に延伸する第２軸をｙ軸とし、作業機械１００の上下方向に延伸する第３軸をｚ軸とする。ｘ軸とｙ軸とは直交する。ｙ軸とｚ軸とは直交する。ｚ軸とｘ軸とは直交する。ｘ軸の矢印方向は左方向であり、反対方向は右方向である。ｙ軸の矢印方向は前方向であり、反対方向は後方向である。ｚ軸の矢印方向は上方向であり、反対方向は下方向である。

【0012】

（作業機械１００の構成例）
図１は、実施形態に係る作業機械１００の構成例を示す。作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。実施形態に係る作業機械１００は、一例として油圧ショベルである。作業機械１００は、下部走行体１１０、上部旋回体１２０、および作業機１３０を備える。上部旋回体１２０は、運転室１４０と、表示制御装置６１を搭載している。

【0013】

下部走行体１１０は、作業機械１００を走行可能に支持する。下部走行体１１０は、例えば左右一対の履帯１１０ａ（左履帯１１０ａとも称する）および履帯１１０ｂ（右履帯１１０ｂとも称する）を備える。

【0014】

上部旋回体１２０は、下部走行体１１０に旋回中心ｃの回りに旋回可能に支持される。作業機１３０は、油圧により駆動する。作業機１３０は、上部旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータ（運転者）が搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、上部旋回体１２０の左前部に設けられる。ここで、上部旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、上部旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0015】

なお、左右それぞれの履帯１１０ａおよび１１０ｂは、駆動輪を独立して駆動（前進および後進）させることができる。左履帯１１０ａと右履帯１１０ｂを同時に前進させれば下部走行体１１０は前進し、左履帯１１０ａと右履帯１１０ｂを同時に後進させれば下部走行体１１０は後進する。また、一方の履帯の駆動輪と、他方の履帯の駆動輪を互いに逆向きに駆動、例えば右履帯１１０ｂを前進させると同時に左履帯１１０ａを後進させると、下部走行体１１０は、旋回中心を中心に回転することができる。このような旋回方法は超信地旋回と呼ばれる。

【0016】

なお、下部走行体１１０を超信地旋回させた際の旋回中心と、上部旋回体１２０の旋回中心ｃを、一致させるように構成してもよいし、異ならせてもよい。特許請求の範囲に記載された「旋回中心」は、超信地旋回させた際の旋回中心と、上部旋回体１２０の旋回中心ｃのどちらであってもよい。

【0017】

また、作業機械１００は、旋回角センサ１６０を備える。旋回角センサ１６０は、下部走行体１１０に対する上部旋回体１２０の所定の基準角度からの旋回角を計測する。旋回角センサ１６０は、上部旋回体１２０と下部走行体１１０との相対的な位置関係を把握するために用いられる。旋回角センサ１６０は、例えば、ロータリーポテンショメータ、ロータリエンコーダ等を用いて構成することができる。

【0018】

（カメラの構成例）
上部旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ（前方カメラ１２１Ａ、左側方カメラ１２１Ｂ、後方カメラ１２１Ｃおよび右側方カメラ１２１Ｄ）が設けられる。なお、図１に示す例において前方カメラ１２１Ａは、運転室１４０内に設けられている。また、前方カメラ１２１Ａ、左側方カメラ１２１Ｂ、後方カメラ１２１Ｃおよび右側方カメラ１２１Ｄを総称する場合、複数のカメラ１２１Ａ～１２１Ｄと称する。図２は、実施形態に係る作業機械１００が備える複数のカメラ１２１Ａ～１２１Ｄの撮像範囲を模式的に示す。

【0019】

具体的には、上部旋回体１２０には、上部旋回体１２０の周囲のうち前方領域Ｒａを撮像する前方カメラ１２１Ａ、上部旋回体１２０の周囲のうち左側方領域Ｒｂを撮像する左側方カメラ１２１Ｂ、上部旋回体１２０の周囲のうち後方領域Ｒｃを撮像する後方カメラ１２１Ｃ、上部旋回体１２０の周囲の右側方領域Ｒｄを撮像する右側方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１Ａ～１２１Ｄの撮像範囲の一部は、互いに重複していてもよいし、重複していなくてもよい。また、複数のカメラ１２１Ａ～１２１Ｄに代えて、あるいは、複数のカメラ１２１Ａ～１２１Ｄとともに、例えば１台の全方位カメラ等を用いてもよい。

【0020】

複数のカメラ１２１Ａ～１２１Ｄの撮像範囲は、図２に示す例に限られない。例えば、運転室１４０から視認可能な左前方領域の撮影を省略してもよい。複数のカメラ１２１Ａ～１２１Ｄの数および撮像範囲は、図１および図２に示す例と異なっていてよい。

【0021】

（作業機１３０の構成例）
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。

【0022】

ブーム１３１の基端部は、上部旋回体１２０にブームピン１３１Ｐを介して取り付けられる。アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。

【0023】

ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、上部旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。

【0024】

アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。

【0025】

バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。

【0026】

（運転室１４０の構成例）
図３は、実施形態に係る運転室１４０の内部の構成例を示す。運転室１４０内には、運転席１４１、操作装置１４２、および表示入力装置１４５が設けられる。

【0027】

操作装置１４２は、オペレータの手動操作によって下部走行体１１０、上部旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。

【0028】

左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。

【0029】

左操作レバー１４２ＬＯは、上部旋回体１２０の旋回動作、および、アーム１３２の掘削／ダンプ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２がダンプ動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が掘削動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、上部旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、上部旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に上部旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が掘削動作またはダンプ動作してもよい。

【0030】

右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、および、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。

【0031】

左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。

【0032】

左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、下部走行体１１０の左履帯１１０ａの回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左履帯１１０ａは前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左履帯１１０ａは後進方向に回転する。

【0033】

右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、下部走行体１１０の右履帯１１０ｂの回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右履帯１１０ｂは前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右履帯１１０ｂは後進方向に回転する。

【0034】

表示入力装置１４５は、作業機械１００が有する複数の機能に係る情報を表示したり、各種指示操作を入力したりする装置である。表示入力装置１４５は、ディスプレイ１４５Ｄを備える。ディスプレイ１４５Ｄは、例えばタッチパネル等から構成される。

【0035】

（表示制御システム６０の構成例）
図４は、実施形態に係る表示制御システム６０の構成例を示す。表示制御システム６０は、表示制御装置６１と、複数のカメラ１２１Ａ～１２１Ｄと、操作装置１４２と、旋回角センサ１６０と、表示入力装置１４５とを備える。

【0036】

表示入力装置１４５は、表示ディスプレイ１４５Ｄを構成するハードウェアとハードウェアを制御するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、表示部１４５Ａと選択部１４５Ｂとを備える。表示部１４５Ａは、表示制御装置６１からの指示に応じて表示ディスプレイ１４５Ｄに指示された画像を表示する。選択部１４５Ｂは、例えば表示ディスプレイ１４５Ｄに対するオペレータの入力操作に応じて、後述する十字線の表示ありと無しの設定を選択する。

【0037】

表示制御装置６１は、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）等のコンピュータと、コンピュータの周辺回路や周辺装置等のハードウェアを用いて構成することができる。そして、表示制御装置６１は、ハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、入出力部６２、俯瞰画像生成部６３、上部旋回体画像重畳部６４、目安線重畳部６５、十字線重畳部６６、進行方向画像生成部６７および表示画像出力部６８を備える。

【0038】

なお、表示制御装置６１や表示入力装置１４５は、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を用いて構成されていてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0039】

また、例えば、ディスプレイ１４５Ｄと操作装置１４２は作業機械１００と遠隔に設けられた遠隔操作室に設けられた構成としてもよい。

【0040】

入出力部６２は、所定の周期で繰り返し、複数のカメラ１２１Ａ～１２１Ｄが撮像した撮像画像を示す画送信号を入力したり、操作装置１４２の操作情報を入力したり、旋回角センサ１６０が計測した旋回角を示す信号を入力したり、表示入力装置１４５の選択部１４５Ｂに対する入力操作信号を入力したりする。

【0041】

俯瞰画像生成部６３は、複数のカメラ１２１Ａ～１２１Ｄで撮像された画像に基づいて、作業機械１００の周囲を上方から見ているかのように表示する俯瞰画像（図５の俯瞰画像Ｇ２０を参照）を生成する。具体的には、所定の記憶部に記憶された変換情報を用いて画像データの座標変換を行い、複数のカメラ１２１Ａ～１２１Ｄによって撮像された画像を、作業機械１００の上方に位置する仮想視点から所定の仮想投影面上に投影される画像、すなわち上方視点画像に変換する。俯瞰画像生成部６３は、４台のカメラ１２１Ａ～１２１Ｄで撮像された各画像データをそれぞれ上方視点画像に変換した上で、変換後の各画像データを合成することにより、一つの作業機械１００の周囲を俯瞰できる俯瞰画像を生成する。俯瞰画像生成部６３は、例えば旋回中心ｃを基準として、周囲の画像を合成する。その際、俯瞰画像生成部６３は、常に運転室１４０の前方が画像の上方向となるように俯瞰画像を生成する。本実施形態において、俯瞰画像生成部６３は、下部走行体１１０と下部走行体１１０に旋回可能に支持された上部旋回体１２０とを備える作業機械１００の上部旋回体１２０に設置された１または複数のカメラ（撮像装置）１２１Ａ～１２１Ｄが撮像した１または複数の撮像画像に基づき、作業機械１００の周囲の俯瞰画像を生成する。

【0042】

上部旋回体画像重畳部６４は、例えば、図５に示すように、俯瞰画像生成部６３が生成した俯瞰画像Ｇ２０に対して、予め用意された上部旋回体１２０および作業機１３０の上面画像ＩＭ１を重畳する。図５は、表示ディスプレイ１４５Ｄの表示例（表示画面１４５１）を示す。表示画面１４５１は、表示画像Ｇ２１と、進行方向画像Ｇ２２を含む。表示画像Ｇ２１では、俯瞰画像Ｇ２０に対して、上面画像ＩＭ１と、目安線画像ｍ１およびｍ２と、十字線画像Ｌ１と、旋回中心画像ｃ１とが重畳されている。上部旋回体画像重畳部６４は、俯瞰画像生成部６３で生成された俯瞰画像Ｇ２０の中央部に作業機械１００の上面画像ＩＭ１を重畳させる。そうすることにより、図５に示す表示画像Ｇ２１を見たオペレータは、俯瞰画像Ｇ２０中に表示された周囲の障害物等と作業機械１００との位置関係や距離感の把握が容易になる。なお、俯瞰画像Ｇ２０は、履帯１１０ａおよび１１０ｂの実際の撮像画像を含む。

【0043】

目安線重畳部６５は、上部旋回体１２０の旋回に伴う旋回着目範囲を表す画像である目安線画像ｍ１およびｍ２を生成して、俯瞰画像Ｇ２０に対して重畳する。目安線重畳部６５は、例えば、目安線画像ｍ１およびｍ２（角が丸い矩形）を半透明の状態で俯瞰画像Ｇ２０に対して重畳する。目安線画像ｍ１および目安線画像ｍ２は、例えば色が異なる。目安線画像ｍ１は、例えば、上部旋回体１２０が旋回する場合の外縁（最外部の軌跡）に対応する画像である。目安線画像ｍ１は、上部旋回体１２０が旋回した場合に目安線画像ｍ１が示す範囲内に障害物等があったとき、接触、干渉、衝突等が発生するおそれが範囲外と比較して高く、オペレータが気をつけて見るべき範囲（旋回着目範囲）を表す画像である。なお、本実施形態において「着目」とは、気をつけて見ること、特に目をつけること等を意味し、例えば、「注意」、「留意」、「警戒」、「用心」等の文言に読み替えてもよい。目安線画像ｍ２は、目安線画像ｍ１から一定の距離（例えば２～３ｍ）、上部旋回体１２０から離間した範囲を表す画像である。例えば、目安線画像ｍ１は、旋回に伴って着目すべき範囲を示し、目安線画像ｍ２は、目安線画像ｍ１が示す範囲よりは注意の程度は低いものの旋回に伴って着目すべき範囲を示す。なお、目安線画像ｍ１が示す範囲と目安線画像ｍ２が示す範囲は、例えば、障害物等の自動検知による自動制御による停止制御範囲とその外側の減速制御範囲に対応する各範囲としたり、警告範囲とその外側の注意範囲としたり、停止判定範囲とその外側の減速判定範囲に対応する各範囲としたりしてもよい。

【0044】

十字線重畳部６６は、旋回角センサ１６０が計測した旋回角に基づき、十字線画像Ｌ１と旋回中心ｃを表す画像である旋回中心画像ｃ１を生成して、俯瞰画像Ｇ２０に対して重畳する。十字線重畳部６６は、例えば、十字線画像Ｌ１を半透明の状態で俯瞰画像Ｇ２０に対して重畳する。旋回中心画像ｃ１は、旋回中心ｃを表す所定の形状を有する画像であって、例えば半透明あるいは非半透明の特定色の丸印等である。十字線画像Ｌ１は、下部走行体１１０の前後進に伴う走行着目範囲と、上部旋回体１２０の旋回に伴う旋回着目範囲とを表す画像（着目範囲画像）である。下部走行体１１０の前後進に伴う走行着目範囲は、下部走行体１１０を前進または後進させた場合（あるいは前進または後進させながら上部旋回体１２０を旋回させた場合）に、十字線画像Ｌ１が示す方向（前進方向または後進方向）で、十字線画像Ｌ１が示す範囲（幅と長さ）内に障害物等があったとき、接触等が発生するおそれが範囲外と比較して高く、オペレータが気をつけて見るべき範囲である。図５に示す例では、十字線画像Ｌ１は、矢印画像Ｌ１１と、線分画像Ｌ１２を含む。あるいは、十字線画像Ｌ１は、矢印画像Ｌ１１と、線分画像Ｌ１２と、旋回中心画像ｃ１とを含む。なお、十字線重畳部６６は、選択部１４５Ｂによる選択操作に従って、十字線画像Ｌ１を重畳したり、重畳を停止したりする。

【0045】

矢印画像Ｌ１１は、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴと右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴとを同時に前方に倒したときに、下部走行体１１０が走行する向きを、矢印の向きで示す。矢印画像Ｌ１１は、また、矢印の長さで、走行着目範囲の長さの目安を表す。線分画像Ｌ１２は、作業機械１００の旋回中心ｃで矢印画像Ｌ１１の矢印と交差して旋回着目範囲に対応する長さを示す線分を表す。図５に示す例では、矢印画像Ｌ１１と線分画像Ｌ１２は、旋回画像ｃ１の位置で直交し、矢印画像Ｌ１１が目安画像ｍ２に接する長さを有し、線分画像Ｌ１２が目安画像ｍ１に接する長さを有する。

【0046】

なお、図６は、図５に示す状態から、下部走行体１１０を右方向に４５度旋回させた状態の表示画像Ｇ２１ａを示す。また、図７は、図５に示す状態から、下部走行体１１０を右方向に９０度旋回させた状態の表示画像Ｇ２１ｂを示す。

【0047】

本実施形態において十字線重畳部６６（重畳部）は、上部旋回体１２０の旋回に伴う旋回着目範囲と下部走行体１１０の前後進に伴う走行着目範囲とを表す十字線画像Ｌ１（着目範囲画像）を俯瞰画像Ｇ２０に重畳した表示画像Ｇ２１を生成する。また、十字線画像Ｌ１は、下部走行体１１０を操作する操作装置１４２に対する前進または後進の所定の指示操作（作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴと右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴとを同時に前方に倒す操作）に対応する向きを示す情報（十字線画像Ｌ１の矢印の向き）を表す。また、十字線画像Ｌ１は、走行着目範囲に対応する長さと上記所定の指示操作に対応する向きを示す矢印を表す画像（矢印画像Ｌ１１）と、作業機械１００の旋回中心ｃで矢印（矢印画像Ｌ１１が表す矢印）と交差して旋回着目範囲に対応する長さを示す線分を表す画像（線分画像Ｌ１２）とを含む。

【0048】

進行方向画像生成部６７は、例えば操作装置１４２に対して前進または後進を指示する所定の指示操作が行われた場合、１または複数のカメラ１２１Ａ～１２１Ｄの撮像画像に基づき下部走行体１１０の進行方向に対応する進行方向画像を生成する。図５に示す進行方向画像Ｇ２２は、表示画像Ｇ２１に表示された状態の作業機械１００において前進を指示する指示操作が操作装置１４２に対して行われたときに表示される画像である。この場合、進行方向画像Ｇ２２は、例えば、前方カメラ１２１Ａの撮像画像である。進行方向画像生成部６７は、例えば、進行方向が前後左右の場合、カメラ１２１Ａ～１２１Ｄの撮像画像の一つを選択して進行方向画像としたり、カメラ１２１Ａ～１２１Ｄの撮像画像を合成した画像から進行方向に対応する画像を切り出して進行方向画像としたりすることができる。なお、進行方向画像生成部６７は、例えば操作装置１４２に対して前進または後進を指示する所定の指示操作が行われていない場合、１または複数のカメラ１２１Ａ～１２１Ｄの撮像画像に基づき下部走行体１１０の前進方向に対応する進行方向画像を生成してもよい。

【0049】

表示画像出力部６８は、表示画像と進行方向画像を、表示部１４５Ａに対して表示の指示とともに出力する。

【0050】

（表示制御装置６１の動作例）
図８と図５を参照して、図４に示す表示制御装置６１の動作例について説明する。図８に示す処理は、所定の周期で繰り返し実行される。図８に示す処理が開始されると、まず、俯瞰画像生成部６３が俯瞰画像Ｇ２０を生成する（Ｓ１）。次に、上部旋回体画像重畳部６４が上面画像ＩＭ１を俯瞰画像Ｇ２０に重畳する（Ｓ２）。次に、目安線重畳部６５が、上面画像ＩＭ１が重畳された俯瞰画像Ｇ２０に、目安線画像ｍ１と目安線画像ｍ２を重畳する（Ｓ３）。次に、十字線重畳部６６が、上面画像ＩＭ１と目安線画像ｍ１と目安線画像ｍ２が重畳された俯瞰画像Ｇ２０に、十字線画像Ｌ１と旋回中心画像ｃ１を重畳する（これが表示画像Ｇ２１）（Ｓ４）。次に、進行方向画像生成部６７が、進行方向画像Ｇ２２を生成する（Ｓ５）。次に、表示画像出力部６８が、表示画像Ｇ２１と進行方向画像Ｇ２２を表示部１４５Ａに出力し、表示ディスプレイ１４５Ｄに表示画像Ｇ２１と進行方向画像Ｇ２２を表示させる（Ｓ６）。

【0051】

（作用・効果）
本実施形態によれば、作業機械１００の運転（走行および旋回）に伴う着目範囲をオペレータ（運転者）が容易に把握することができる。

【0052】

（変形例）
次に図９と図１０を参照して、図５に示す表示画像Ｇ２１の変形例（表示画像Ｇ２１ｃと表示画像Ｇ２１ｄ）について説明する。図９に示す表示画像Ｇ２１ｃは、図５に示す表示画像Ｇ２１に対して次の点が異なる。すなわち、図９に示す表示画像Ｇ２１ｃは、図５に示す目安画像ｍ１と目安画像ｍ２を含まず、目安画像ｍ３を含んでいる。目安画像ｍ３は、目安画像ｍ１内の領域（図９で網掛けして示す領域Ｒｍ１）のすべてと、矢印画像Ｌ１１とを含む領域を示す。この場合、目安画像ｍ３は、上部旋回体１２０の旋回に伴う旋回着目範囲と下部走行体１１０の前後進に伴う走行着目範囲とを含んでいる。すなわち、図９に示す表示画像Ｇ２１ｃで、十字画像Ｌ１が単独で着目範囲画像であるとともに、目安画像ｍ３も単独で着目範囲画像である。

【0053】

一方、図１０に示す表示画像Ｇ２１ｄは、図５に示す表示画像Ｇ２１に対して次の点が異なる。すなわち、図１０に示す表示画像Ｇ２１ｄは、図５に示す目安画像ｍ１と目安画像ｍ２と十字画像Ｌ１１を含まず、目安画像ｍ４を含んでいる。目安画像ｍ４は、図９に示す目安画像ｍ３と同一形状の領域を示す。ただし、目安画像ｍ３と異なり、目安画像ｍ４は、上半分の目安画像ｍ４ａと下半分の目安画像ｍ４ｂの表示態様を変化させることで、下部走行体１１０の方向の向きを表している。表示態様の変化は、色の違い、点滅表示の周期の違い、破線の太さの違い等である。この場合、目安画像ｍ４は単独で着目範囲画像であるとともに、下部走行体１１０を操作する操作装置１４２に対する前進または後進の所定の指示操作に対応する向きを示している。この場合、目安線重畳部６５は、十字線重畳部６６と同様、「重畳部」に対応する。

【0054】

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0055】

例えば、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。

【0056】

また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。

【符号の説明】

【0057】

１００…作業機械 １１０…下部走行体 １２０…上部旋回体 １２１Ａ～１２１Ｄ…カメラ ６１…表示制御装置 ６２…入出力部 ６３…俯瞰画像生成部 ６４…上部旋回体画像重畳部 ６５…目安線重畳部 ６６…十字線重畳部 ６７…進行方向画像生成部 ６８…表示画像出力部 Ｌ１…十字画像 ｍ１、ｍ２、ｍ３、ｍ４…目安画像 Ｇ２０…俯瞰画像 Ｇ２１…表示画像 Ｇ２２…進行方向画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】