(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117787
(43)【公開日】2024-08-29
(54)【発明の名称】作業機械の表示システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20240822BHJP
H04N 7/18 20060101ALI20240822BHJP
G06F 3/0482 20130101ALI20240822BHJP
【ＦＩ】
E02F9/26 A
H04N7/18 J
G06F3/0482
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2024095252
(22)【出願日】2024-06-12
(62)【分割の表示】P 2019167454の分割
【原出願日】2019-09-13
(71)【出願人】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】杉村 俊輔
(72)【発明者】
【氏名】柴田 剛宏
(57)【要約】
【課題】作業機械の周辺の状況をオペレータに視認させる。
【解決手段】画像取得部は、作業機械の周囲が写る撮像画像を取得する。表示制御部は、撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、表示部の遷移後の画面に周囲画像を含む表示画像を表示するための表示信号を生成する。
【選択図】図６
【解決手段】画像取得部は、作業機械の周囲が写る撮像画像を取得する。表示制御部は、撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、表示部の遷移後の画面に周囲画像を含む表示画像を表示するための表示信号を生成する。
【選択図】図６
【特許請求の範囲】
【請求項1】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
【請求項2】
前記作業機械が稼働状態になってから非稼働状態なるまでの間、前記表示信号によって表示される表示画像には、前記周囲画像が含まれる
請求項１に記載の作業機械の表示システム。
請求項１に記載の作業機械の表示システム。
【請求項3】
前記表示制御部は、前記作業機械が非稼働状態になったときに、前記周囲画像を含む表示画像から、前記周囲画像が含まれない表示画像を表示するための表示信号を生成する 請求項１または請求項２に記載の作業機械の表示システム。
【請求項4】
前記作業機械の表示システムは、サービスメニュー画像を含む画像を表示するための表示システムであって、
前記表示制御部は、前記サービスメニュー画像を表示する画面に遷移するための信号を受け付けた場合、前記表示部の遷移後の画面に前記サービスメニュー画像と前記周囲画像とが含まれる前記表示画像を表示するための表示信号を生成する
請求項１から請求項３の何れか１項に記載の作業機械の表示システム。
前記表示制御部は、前記サービスメニュー画像を表示する画面に遷移するための信号を受け付けた場合、前記表示部の遷移後の画面に前記サービスメニュー画像と前記周囲画像とが含まれる前記表示画像を表示するための表示信号を生成する
請求項１から請求項３の何れか１項に記載の作業機械の表示システム。
【請求項5】
前記表示制御部は、前記遷移信号を受け付けた場合、前記表示部の遷移後の画面に表示サイズを変更した前記周囲画像を含む表示画像を表示するための表示信号を生成する
請求項１から請求項４の何れか１項に記載の作業機械の表示システム。
請求項１から請求項４の何れか１項に記載の作業機械の表示システム。
【請求項6】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得するステップと、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成するステップと、
を備える作業機械の表示方法。
作業機械の周囲が写る撮像画像を取得するステップと、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成するステップと、
を備える作業機械の表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械の表示システムおよび作業機械の表示方法に関する。
【背景技術】
【0002】
特許文献１には、作業機械の較正時において作業機械の周辺の状況をオペレータに視認させるための技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１７／１９１８５３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１によれば、作業機械の周辺の状況を示す表示データが表示装置に表示されることで、較正作業時において、オペレータは作業機械の周辺の状況を視認することができる。ところで、作業機械の表示装置は、メニュー画面等の作業機械が有する機能に係る情報を表示するために表示する画面に切り替えることができる。しかしながら、切換え後の画面には、機能に係る情報が表示装置の全体に表示され、作業機械の周辺の状況を示す表示データは表示されない。作業機械の少なくとも一部が操作可能な状態にある場合、オペレータは、表示装置に任意の機能に係る情報を表示させた状態のときに、作業機械を作業しようとする可能性がある。
本開示の目的は、作業機械の周辺の状況をオペレータに視認させる作業機械の表示システムおよび作業機械の表示方法を提供することにある。
本開示の目的は、作業機械の周辺の状況をオペレータに視認させる作業機械の表示システムおよび作業機械の表示方法を提供することにある。
【課題を解決するための手段】
【0005】
本発明の第１の態様によれば、作業機械の表示システムは、作業機械の周囲が写る撮像画像を取得する画像取得部と、前記撮像画像に基づく周囲画像が前記表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、を備える。
【発明の効果】
【0006】
上記態様のうち少なくとも１つの態様によれば、作業機械の周辺の状況をオペレータに視認させることができる。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る作業機械の構成を示す概略図である。
【図2】第１の実施形態に係る作業機械が備える複数のカメラの撮像範囲を示す図である。
【図3】第１の実施形態に係る運転室の内部の構成を示す図である。
【図4】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【図5】第１の実施形態に係る制御装置の表示制御処理を示すフローチャートである。
【図6】第１の実施形態に係るディスプレイに表示される画面の遷移を示す画面遷移図である。
【図7】第２の実施形態に係る制御装置の表示制御処理を示すフローチャートである。
【図8】第２の実施形態に係るディスプレイに表示される画面の遷移を示す画面遷移図である。
【図9】他の実施形態に係るディスプレイに表示される画面の遷移を示す画面遷移図である。
【発明を実施するための形態】
【0008】
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
以下、図面を参照しながら実施形態について詳しく説明する。
【0009】
《作業機械の構成》
図１は、第１の実施形態に係る作業機械の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右１対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。 ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
図１は、第１の実施形態に係る作業機械の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右１対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。 ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
【0010】
《旋回体の構成》
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械が備える複数のカメラの撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方範囲Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方範囲Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方範囲Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方範囲Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方範囲Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業機械が備える複数のカメラの撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方範囲Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方範囲Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方範囲Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方範囲Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方範囲Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
【0011】
なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。
【0012】
《作業機の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６を備える。
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６を備える。
【0013】
ブーム１３１の基端部は、旋回体１２０にブームピンＰ１を介して取り付けられる。 アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンＰ２を介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。
【0014】
ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
【0015】
《運転室の構成》
図３は、第１の実施形態に係る運転室の内部の構成を示す図である。
運転室１４０内には、運転席１４１、エンジンキーシリンダ１４１１（プライマリスイッチ）、セカンダリスイッチ１４１２、操作装置１４２および制御装置１４３が設けられる。
図３は、第１の実施形態に係る運転室の内部の構成を示す図である。
運転室１４０内には、運転席１４１、エンジンキーシリンダ１４１１（プライマリスイッチ）、セカンダリスイッチ１４１２、操作装置１４２および制御装置１４３が設けられる。
【0016】
エンジンキーシリンダ１４１１は、エンジンキーの挿入を受け入れ、挿入されたエンジンキーが第１方向に回転されることにより、図示しないエンジンが駆動する。また、エンジンの駆動中に、エンジンキーシリンダ１４１１に挿入されたエンジンキーが第１方向と逆の第２方向に回転されることにより、エンジンが停止する。
セカンダリスイッチ１４１２は、運転席１４１の下部に設けられる。セカンダリスイッチ１４１２は、緊急時にエンジンを停止させるためのスイッチである。エンジンの駆動中にセカンダリスイッチ１４１２が押下されると、エンジンが停止する。
セカンダリスイッチ１４１２は、運転席１４１の下部に設けられる。セカンダリスイッチ１４１２は、緊急時にエンジンを停止させるためのスイッチである。エンジンの駆動中にセカンダリスイッチ１４１２が押下されると、エンジンが停止する。
【0017】
操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるためのインタフェースである。操作装置１４２は、左操作レバー１４２１、右操作レバー１４２２、左フットペダル１４２３、右フットペダル１４２４、左走行レバー１４２５、右走行レバー１４２６を備える。
【0018】
左操作レバー１４２１は、運転席１４１の左側に設けられる。右操作レバー１４２２は、運転席１４１の右側に設けられる。
【0019】
左操作レバー１４２１は、旋回体１２０の旋回動作、及び、アーム１３２の引き／押し動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２１を前方に倒すと、アーム１３２が押し動作する。また、作業機械１００のオペレータが左操作レバー１４２１を後方に倒すと、アーム１３２が引き動作する。また、作業機械１００のオペレータが左操作レバー１４２１を右方向に倒すと、旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２１を左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２１を前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２１が左右方向に倒した場合にアーム１３２が引き動作または押し動作してもよい。
【0020】
右操作レバー１４２２は、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２２を前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２２を後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２２を右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２２を左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２２を前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２２を左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。
【0021】
左フットペダル１４２３は、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２４は、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２５は、左フットペダル１４２３に軸支され、左走行レバー１４２５の傾斜と左フットペダル１４２３の押し下げが連動するように構成される。右走行レバー１４２６は、右フットペダル１４２４に軸支され、右走行レバー１４２６の傾斜と右フットペダル１４２４の押し下げが連動するように構成される。
【0022】
左フットペダル１４２３および左走行レバー１４２５は、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を前方に倒すと、左側履帯は前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を後方に倒すと、左側履帯は後進方向に回転する。
【0023】
右フットペダル１４２４および右走行レバー１４２６は、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を前方に倒すと、右側履帯は前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を後方に倒すと、右側履帯は後進方向に回転する。
【0024】
制御装置１４３は、入出力装置であり、作業機械１００が有する複数の機能に係る情報を表示するディスプレイ１４３１を備える。制御装置１４３は、表示システムの一例である。また、ディスプレイ１４３１は、表示部の一例である。第１の実施形態に係る制御装置１４３の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。また、第１の実施形態に係る制御装置１４３は、ディスプレイ１４３１と一体に設けられるが、他の実施形態においては、ディスプレイ１４３１が制御装置１４３と別個に設けられていてもよい。
【0025】
《制御装置の構成》
図４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。
図４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。
【0026】
ディスプレイ１４３１は、インタフェース２７０を介してプロセッサ２１０に接続される。
ストレージ２５０は、一時的でない有形の記憶媒体である。ストレージ２５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイに表示させるためのアイコン、ユーザメニュー画像、サービスメニュー画像、および機能画像を含む複数の画像が予め記憶されている。
ストレージ２５０は、一時的でない有形の記憶媒体である。ストレージ２５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイに表示させるためのアイコン、ユーザメニュー画像、サービスメニュー画像、および機能画像を含む複数の画像が予め記憶されている。
【0027】
プログラムは、制御装置１４３に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４３は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【0028】
プロセッサ２１０は、プログラムを実行することで、画像取得部２１１、俯瞰画像生成部２１２、表示画像生成部２１３、入力部２１４、選択部２１５、表示制御部２１６、機能実行部２１７、車両状態監視部２１８として機能する。また、プロセッサ２１０は、プログラムを実行することで、ストレージ２５０に記憶されている複数の画像をメインメモリ２３０に読み出しておいてもよい。
【0029】
画像取得部２１１は、複数のカメラ１２１から撮像画像を取得する。
俯瞰画像生成部２１２は、画像取得部２１１が取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像を生成する。俯瞰画像生成部２１２は、変形後のそれぞれの撮像画像の一部を切り出して、切り出した撮像画像を合成することで、俯瞰画像を生成してもよい。俯瞰画像生成部２１２が生成する俯瞰画像の中央には、作業機械１００を上方から平面視した画像が予め貼り付けられている。俯瞰画像は、作業機械１００の周囲が写る周囲画像の一例である。
俯瞰画像生成部２１２は、画像取得部２１１が取得した複数の撮像画像を変形し、合成することで、作業機械１００を中心として、現場を上方から平面視した俯瞰画像を生成する。俯瞰画像生成部２１２は、変形後のそれぞれの撮像画像の一部を切り出して、切り出した撮像画像を合成することで、俯瞰画像を生成してもよい。俯瞰画像生成部２１２が生成する俯瞰画像の中央には、作業機械１００を上方から平面視した画像が予め貼り付けられている。俯瞰画像は、作業機械１００の周囲が写る周囲画像の一例である。
【0030】
表示画像生成部２１３は、作業機械１００が有する複数の機能のそれぞれについて、当該機能を実現するための情報を表す表示画像を生成する。作業機械１００が有する機能の例としては、ユーザメニューの表示機能、燃料残量やクーラント温度などの車両情報の表示機能、作業機械１００のパワーモードを調整する機能などが挙げられる。
表示画像生成部２１３が生成する各機能に係る表示画像には、俯瞰画像生成部２１２が生成した俯瞰画像、および当該機能を実現するための機能画像とが含まれる。
表示画像生成部２１３が生成する各機能に係る表示画像には、俯瞰画像生成部２１２が生成した俯瞰画像、および当該機能を実現するための機能画像とが含まれる。
【0031】
入力部２１４は、利用者によるハードキーの押下によって発生する入力信号を受け付ける。
選択部２１５は、入力部２１４が受け付けた入力信号に基づいて、作業機械１００が有する複数の機能のうち利用者によって選択されたものを特定する。すなわち、選択部２１５は、作業機械１００が有する複数の機能のうち何れか１つの選択を受け付ける。また、選択部２１５は、作業機械１００のディスプレイ１４３１に表示する画面を遷移させるための遷移信号を受け付ける遷移受付部の一例である。
選択部２１５は、入力部２１４が受け付けた入力信号に基づいて、作業機械１００が有する複数の機能のうち利用者によって選択されたものを特定する。すなわち、選択部２１５は、作業機械１００が有する複数の機能のうち何れか１つの選択を受け付ける。また、選択部２１５は、作業機械１００のディスプレイ１４３１に表示する画面を遷移させるための遷移信号を受け付ける遷移受付部の一例である。
【0032】
表示制御部２１６は、表示画像生成部２１３が生成する表示画像のうち、選択部２１５が特定した機能に係る表示画像を表示するための表示信号を生成し、ディスプレイ１４３１に出力する。
機能実行部２１７は、選択部２１５が特定した機能を実行する。
機能実行部２１７は、選択部２１５が特定した機能を実行する。
【0033】
車両状態監視部２１８は、エンジンの稼働状態を含む車両状態を監視する。例えば、セカンダリスイッチ１４１２が押下されたことによりエンジンが停止した場合、車両状態監視部２１８は、エンジンの停止を検出する。
【0034】
【0035】
エンジンキーシリンダ１４１１にエンジンキーが挿入され、第１方向に回転されると、エンジンが駆動し、また制御装置１４３が起動する。制御装置１４３が起動すると、ディスプレイ１４３１には、図６に示すように、作業機械１００が起動中であることを表す表示画像Ｄ０が表示される。表示画像Ｄ０の表示中は、制御装置１４３が起動を完了しておらず、俯瞰画像を生成することができない。そのため、当該表示画像Ｄ０には、俯瞰画像が含まれない。なお、制御装置１４３の起動が完了するまで、作業機械１００は非稼働状態となる。
【0036】
制御装置１４３の起動が完了すると、図５に示す表示制御処理を実行する。まず画像取得部２１１は、複数のカメラ１２１から撮像画像を取得する（ステップＳ１）。次に、俯瞰画像生成部２１２は、ステップＳ１で取得した複数の撮像画像を変形し、合成することで、俯瞰画像を生成する（ステップＳ２）。次に、表示画像生成部２１３は、ステップＳ１で取得した撮像画像の１つ（単カメラ画像Ｇ１２）と、ステップＳ３で生成した俯瞰画像Ｇ１１とを含むデフォルトの表示画像Ｄ１を生成する（ステップＳ３）。例えば、図６の表示画像Ｄ１には、単カメラ画像Ｇ１２として、右後方カメラ１２１Ｃが撮像した画像が配置される。
【0037】
図６に示すように、制御装置１４３は、ディスプレイ１４３１の直下にハードキーである６つのファンクションキーＦ１－Ｆ６を備えている。表示画像Ｄ１の下部のうち、ファンクションキーＦ６に対応する部分には、アイコンＧ１３が配置される。アイコンＧ１３は、ユーザメニューの表示機能を示すアイコンである。すなわち、アイコンＧ１３は、ファンクションキーＦ６の押下によりユーザメニューの表示機能を実行することを表している。アイコンＧ１３は、予めストレージ２５０またはメインメモリ２３０に記憶されている。
【0038】
表示制御部２１６は、ステップＳ３で生成した表示画像Ｄ１を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ４）。これにより、制御装置１４３の起動が完了し、作業機械１００が稼働状態になると、ディスプレイ１４３１には、俯瞰画像を含む表示画像が表示される。
【0039】
次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、押下されたファンクションキーがユーザメニューの表示機能を示すファンクションキーＦ６であるか否かを判定する（ステップＳ５）。ファンクションキーＦ６が押下されていない場合（ステップＳ５：ＮＯ）、制御装置１４３は処理をステップＳ１に戻し、表示画像Ｄ１の生成および表示を続ける。他方、ファンクションキーＦ６が押下された場合（ステップＳ５：ＹＥＳ）、選択部２１５は、ユーザメニューの表示機能の選択を受け付ける（ステップＳ６）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、ユーザメニューの表示画面への遷移信号として受け付ける。
【0040】
次に、表示画像生成部２１３は、ステップＳ３で生成した俯瞰画像Ｇ２１と、予め記憶されたユーザメニュー画像Ｇ２２とを含む表示画像Ｄ２（表示画像Ｄ２Ａ、表示画像Ｄ２Ｂ）を生成する（ステップＳ７）。ユーザメニュー画像Ｇ２２は、ユーザメニューの表示機能を実現するための機能画像である。ユーザメニュー画像Ｇ２２には、作業機械１００の複数の機能のリストが含まれ、当該リストにおける複数の項目のうち１つはフォーカス状態となっている。フォーカス状態の項目は他の項目と異なる色に設定される。ユーザメニュー画像Ｇ２２は、リストの種類を示す複数のタブが表示される。すなわち、表示画像Ｄ２Ａ、表示画像Ｄ２Ｂに示すように、ユーザメニュー画像Ｇ２２にはフォーカスを有するタブによって異なるリストが配置される。また、表示画像Ｄ２の下部のファンクションキーＦ１－Ｆ６に対応する部分には、それぞれアイコンＧ２３－Ｇ２８が配置される。アイコンＧ２３－Ｇ２８は、予めストレージ２５０またはメインメモリ２３０に記憶されている。
【0041】
アイコンＧ２３は、左移動を示すアイコンである。すなわち、アイコンＧ２３は、ファンクションキーＦ１の押下によりユーザメニューのタブのフォーカスが左へ移動することを表している。
アイコンＧ２４は、右移動を示すアイコンである。すなわち、アイコンＧ２４は、ファンクションキーＦ２の押下によりユーザメニューのタブのフォーカスが右へ移動することを表している。
アイコンＧ２５は、下移動を示すアイコンである。すなわち、アイコンＧ２５は、ファンクションキーＦ３の押下によりユーザメニューのフォーカスが下へ移動することを表している。
アイコンＧ２６は、上移動を示すアイコンである。すなわち、アイコンＧ２６は、ファンクションキーＦ４の押下によりユーザメニューのフォーカスが上へ移動することを表している。
アイコンＧ２７は、１つ前の画面への遷移を示すアイコンである。すなわち、アイコンＧ２７は、ファンクションキーＦ５の押下によりユーザメニューの表示機能を取り消し、１つ前の画面を表示させることを表している。
アイコンＧ２８は、決定を示すアイコンである。すなわち、アイコンＧ２８は、ファンクションキーＦ６の押下によりユーザメニューにおいてフォーカスを有する機能が選択され、当該機能に係る表示画面を表示させることを表している。
アイコンＧ２４は、右移動を示すアイコンである。すなわち、アイコンＧ２４は、ファンクションキーＦ２の押下によりユーザメニューのタブのフォーカスが右へ移動することを表している。
アイコンＧ２５は、下移動を示すアイコンである。すなわち、アイコンＧ２５は、ファンクションキーＦ３の押下によりユーザメニューのフォーカスが下へ移動することを表している。
アイコンＧ２６は、上移動を示すアイコンである。すなわち、アイコンＧ２６は、ファンクションキーＦ４の押下によりユーザメニューのフォーカスが上へ移動することを表している。
アイコンＧ２７は、１つ前の画面への遷移を示すアイコンである。すなわち、アイコンＧ２７は、ファンクションキーＦ５の押下によりユーザメニューの表示機能を取り消し、１つ前の画面を表示させることを表している。
アイコンＧ２８は、決定を示すアイコンである。すなわち、アイコンＧ２８は、ファンクションキーＦ６の押下によりユーザメニューにおいてフォーカスを有する機能が選択され、当該機能に係る表示画面を表示させることを表している。
【0042】
表示制御部２１６は、ステップＳ７で生成した表示画像Ｄ２を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ８）。ディスプレイ１４３１には、俯瞰画像を含む表示画像Ｄ２が表示される。なお、このとき、作業機械１００は稼働状態にある。
【0043】
次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、押下されたファンクションキーが左右移動を示すファンクションキーＦ１またはＦ２であるか、上下移動を示すファンクションキーＦ３またはＦ４であるか、１つ前の画面への遷移を示すファンクションキーＦ５であるか、決定を示すファンクションキーＦ６であるかを判定する（ステップＳ９）。
【0044】
上下移動を示すファンクションキーＦ３またはＦ４が押下された場合（ステップＳ９：上下移動）、表示制御部２１６は、押下されたファンクションキーに基づいてフォーカスを有する項目を変更し、ステップＳ７に処理を戻して表示画像Ｄ２を更新する。
左右移動を示すファンクションキーＦ１またはＦ２が押下された場合（ステップＳ９：左右移動）、表示画像生成部２１３は、押下されたファンクションキーに基づいて、ストレージ２５０またはメインメモリ２３０からタブの切り替え後のユーザメニュー画像Ｇ２２を取得する（ステップＳ１０）。そして、制御装置１４３は、ステップＳ７に処理を戻して、表示画像Ｄ２を更新する。例えば、図６に示す表示画像Ｄ２Ａが表示されているときに、ファンクションキーＦ２が押下されると、表示画像生成部２１３は、表示画像Ｄ２Ｂを生成する。
左右移動を示すファンクションキーＦ１またはＦ２が押下された場合（ステップＳ９：左右移動）、表示画像生成部２１３は、押下されたファンクションキーに基づいて、ストレージ２５０またはメインメモリ２３０からタブの切り替え後のユーザメニュー画像Ｇ２２を取得する（ステップＳ１０）。そして、制御装置１４３は、ステップＳ７に処理を戻して、表示画像Ｄ２を更新する。例えば、図６に示す表示画像Ｄ２Ａが表示されているときに、ファンクションキーＦ２が押下されると、表示画像生成部２１３は、表示画像Ｄ２Ｂを生成する。
【0045】
ファンクションキーＦ５が押下された場合（ステップＳ９：前画面）、制御装置１４３は処理をステップＳ１に戻し、ディスプレイ１４３１に表示画像Ｄ１を表示させる。
ファンクションキーＦ６が押下された場合（ステップＳ９：決定）、選択部２１５は、複数の機能のうちフォーカスを有する項目に係る機能の選択を受け付ける（ステップＳ１１）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、機能画像の表示画面への遷移信号として受け付ける。
ファンクションキーＦ６が押下された場合（ステップＳ９：決定）、選択部２１５は、複数の機能のうちフォーカスを有する項目に係る機能の選択を受け付ける（ステップＳ１１）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、機能画像の表示画面への遷移信号として受け付ける。
【0046】
次に、機能実行部２１７は、ストレージ２５０またはメインメモリ２３０からステップＳ１１において選択された機能を実現するための機能画像Ｇ３２を取得する（ステップＳ１２）。例えば、選択された機能が作業機械１００のパワーモードを調整する機能である場合、機能実行部２１７は、パワーモードを調整するための機能画像を取得する。また例えば、選択された機能が作業機械１００のアタッチメント設定機能である場合、機能実行部２１７は、作業機械１００に備えるアタッチメントに使用する油の流量を設定するための機能画像を取得する。これにより、アタッチメントのパワーを変更することができる。
【0047】
次に、表示画像生成部２１３は、ステップＳ２で生成した俯瞰画像Ｇ３１と、ステップＳ１２において取得された機能画像Ｇ３２とを含む表示画像Ｄ３を生成する（ステップＳ１３）。図６に示す例では、表示画像Ｄ３の下部のファンクションキーＦ１－Ｆ６に対応する部分には、それぞれアイコンＧ３３－Ｇ３６が配置される。アイコンＧ３３－Ｇ３６は、予めストレージ２５０またはメインメモリ２３０に記憶されている。
【0048】
アイコンＧ３３は、下移動を示すアイコンである。アイコンＧ３４は、上移動を示すアイコンである。アイコンＧ３５は、１つ前の画面への遷移を示すアイコンである。アイコンＧ３６は、決定を示すアイコンである。なお、選択された機能によって、表示画像Ｄ３に配置されるアイコンの種類および数は異なっていてもよい。他方、少なくとも表示画像Ｄ３には１つ前の画面への遷移を示すアイコンが配置される。
【0049】
表示制御部２１６は、ステップＳ１４で生成した表示画像Ｄ３を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ１４）。ディスプレイ１４３１には、俯瞰画像を含む表示画像Ｄ３が表示される。なお、このとき、作業機械１００は稼働状態にある。
【0050】
次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、１つ前の画面への遷移を示すファンクションキーＦ５であるか、他のファンクションキーＦ１－Ｆ４およびＦ６の何れかであるかを判定する（ステップＳ１５）。
【0051】
ファンクションキーＦ１－Ｆ４およびＦ６の何れかが押下された場合（ステップＳ１５：その他）、機能実行部２１７は、押下されたファンクションキーに基づいてステップＳ１１において選択された機能を実行し（ステップＳ１６）、処理を終了する。その後、制御装置１４３は、改めて図５に示す表示制御処理を実行し、ディスプレイ１４３１に表示画像Ｄ１を表示させる。
【0052】
他方、ファンクションキーＦ５が押下された場合（ステップＳ１５：前画面）、ステップＳ７に処理を戻し、ディスプレイ１４３１に１つ前の画面である表示画像Ｄ２を表示させる。すなわち、１つ前の画面が表示画像Ｄ２Ａであれば、表示画像Ｄ２Ａが再度表示され、１つ前の画面が表示画像Ｄ２Ｂであれば、表示画像Ｄ２Ｂが再度表示される。
【0053】
なお、図５に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態において、ショートカットボタンなどによって表示画像Ｄ２を介さずに機能を選択できる場合、制御装置１４３はステップＳ６－１０を実行しなくてもよい。また、表示画像Ｄ３の表示自体が機能の実行に相当する場合、制御装置１４３はステップＳ１６を実行しなくてもよい。
【0054】
なお、制御装置１４３の車両状態監視部２１８が、セカンダリスイッチ１４１２の押下によるエンジンの停止を検出すると、表示制御部２１６は、割り込み処理によってエンジンキーのオフを促す停止表示画面を表示させる表示信号をディスプレイ１４３１に出力する。当該表示信号には俯瞰画像が含まれない。なお、セカンダリスイッチ１４１２の押下によるエンジンの停止中は、作業機械１００が非稼働状態となる。
【0055】
《作用・効果》
このように、第１の実施形態に係る制御装置１４３は、俯瞰画像がディスプレイ１４３１に表示されているときに遷移信号を受け付けた場合、遷移後の画面にも俯瞰画像を含む表示画像を表示させる。これにより、制御装置１４３は、オペレータの操作によって画面が遷移されても、ディスプレイ１４３１に俯瞰画像を常に表示させておくことができる。これにより、制御装置１４３は、作業機械の周辺の状況をオペレータに視認させることができる。
このように、第１の実施形態に係る制御装置１４３は、俯瞰画像がディスプレイ１４３１に表示されているときに遷移信号を受け付けた場合、遷移後の画面にも俯瞰画像を含む表示画像を表示させる。これにより、制御装置１４３は、オペレータの操作によって画面が遷移されても、ディスプレイ１４３１に俯瞰画像を常に表示させておくことができる。これにより、制御装置１４３は、作業機械の周辺の状況をオペレータに視認させることができる。
【0056】
また、第１の実施形態に係る制御装置１４３は、作業機械１００が稼働状態になってから非稼働状態なるまでの間、表示信号によってディスプレイ１４３１に表示される表示画像には、図６に示すように周囲画像が含まれる。これにより、オペレータが作業機械１００の少なくとも一部を操作可能である間、ディスプレイ１４３１に俯瞰画像を常に表示させておくことができる。
【0057】
また、第１の実施形態に係る制御装置１４３は、セカンダリスイッチ１４１２の押下などによって作業機械１００が非稼働状態になったときに、俯瞰画像が含まれない表示画像を表示するための表示信号を生成する。これにより、制御装置１４３は、オペレータに対し、俯瞰画像の有無によって作業機械１００が操作可能か否かを提示することができる。すなわち、オペレータは、俯瞰画像の有無によって作業機械１００が操作可能か否かを直感的に認識することができる。
【0058】
また、第１の実施形態においては、作業機械１００の複数の機能には、ユーザメニューの表示機能を含み、表示画像Ｄ２には俯瞰画像が含まれる。これにより、制御装置１４３は、表示画像Ｄ２の表示時にもディスプレイ１４３１に俯瞰画像を表示させておくことができる。
【0059】
また、第１の実施形態においては、俯瞰画像Ｇ１１、俯瞰画像Ｇ２１、俯瞰画像Ｇ３１は、いずれも同じ位置に表示されている。従って、画面の遷移によらず、俯瞰画像の表示位置が一定のため、オペレータは、画面の遷移の前後において、違和感なく作業機械１００の周囲を確認することができる。
【0060】
また、第１の実施形態においては、ユーザメニュー画像Ｇ２２や機能画像Ｇ３２を含む表示画像には、表示画像Ｄ１に表示されていたエンジン水温、燃料残量、エンジンの稼働時間を表示するサービスメータが表示されていない。このように画面の遷移後には、オペレータに必要な情報のみ表示することによって、表示が煩雑になることを抑制することができる。
【0061】
〈第２の実施形態〉
第１の実施形態に係る制御装置１４３は、作業機械１００の稼働中における表示画像に俯瞰画像を含める。これに対し、第２の実施形態に係る制御装置１４３は、作業機械１００の稼働中における表示画像に単カメラ画像を含める。単カメラ画像は、作業機械１００の周囲が写る周囲画像の一例である。
第２の実施形態に係る制御装置１４３は、俯瞰画像生成部２１２を備えなくてよい。
第１の実施形態に係る制御装置１４３は、作業機械１００の稼働中における表示画像に俯瞰画像を含める。これに対し、第２の実施形態に係る制御装置１４３は、作業機械１００の稼働中における表示画像に単カメラ画像を含める。単カメラ画像は、作業機械１００の周囲が写る周囲画像の一例である。
第２の実施形態に係る制御装置１４３は、俯瞰画像生成部２１２を備えなくてよい。
【0062】
図７は、第２の実施形態に係る制御装置の表示制御処理を示すフローチャートである。図８は、第２の実施形態に係るディスプレイに表示される画面の遷移を示す画面遷移図である。
エンジンキーシリンダ１４１１にエンジンキーが挿入され、第１方向に回転されると、エンジンが駆動し、また制御装置１４３が起動する。制御装置１４３が起動すると、ディスプレイ１４３１には、図６に示すように、作業機械１００が起動中であることを表す表示画像Ｄ０が表示される。
エンジンキーシリンダ１４１１にエンジンキーが挿入され、第１方向に回転されると、エンジンが駆動し、また制御装置１４３が起動する。制御装置１４３が起動すると、ディスプレイ１４３１には、図６に示すように、作業機械１００が起動中であることを表す表示画像Ｄ０が表示される。
【0063】
制御装置１４３の起動が完了すると、図７に示す表示制御処理を実行する。まず画像取得部２１１は、複数のカメラ１２１から撮像画像を取得する（ステップＳ１０１）。次に、表示画像生成部２１３は、ステップＳ１０１で取得した撮像画像の２つ（単カメラ画像Ｇ５１、Ｇ５２）を含むデフォルトの表示画像Ｄ５を生成する（ステップＳ１０２）。例えば、図８の表示画像Ｄ５には、単カメラ画像Ｇ５１として、右前方カメラ１２１Ｄが撮像した画像が、単カメラ画像Ｇ５２として、右後方カメラ１２１Ｃが撮像した画像が配置される。表示画像Ｄ５の下部のうち、ファンクションキーＦ６に対応する部分には、アイコンＧ５３が配置される。アイコンＧ５３は、ユーザメニューの表示機能を示すアイコンである。アイコンＧ５３は、予めストレージ２５０またはメインメモリ２３０に記憶されている。
【0064】
表示制御部２１６は、ステップＳ１０２で生成した表示画像Ｄ５を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ１０３）。これにより、制御装置１４３の起動が完了し、作業機械１００が稼働状態になると、ディスプレイ１４３１には、単カメラ画像を含む表示画像が表示される。
【0065】
次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、押下されたファンクションキーがユーザメニューの表示機能を示すファンクションキーＦ６であるか否かを判定する（ステップＳ１０４）。ファンクションキーＦ６が押下されていない場合（ステップＳ１０４：ＮＯ）、制御装置１４３は処理をステップＳ１０１に戻し、表示画像Ｄ５の生成および表示を続ける。他方、ファンクションキーＦ６が押下された場合（ステップＳ１０４：ＹＥＳ）、選択部２１５は、ユーザメニューの表示機能の選択を受け付ける（ステップＳ１０５）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、ユーザメニューの表示画面への遷移信号として受け付ける。
【0066】
次に、表示画像生成部２１３は、ステップＳ１０１で取得した単カメラ画像Ｇ６１、Ｇ６２と、予め記憶されたユーザメニュー画像Ｇ６３とを含む表示画像Ｄ６（表示画像Ｄ６Ａ、表示画像Ｄ６Ｂ）を生成する（ステップＳ１０６）。表示画像Ｄ６の下部のファンクションキーＦ１－Ｆ６に対応する部分には、それぞれアイコンＧ６４－Ｇ６９が表示される。アイコンＧ６４－Ｇ６９は、予めストレージ２５０またはメインメモリ２３０に記憶されている。
【0067】
表示制御部２１６は、ステップＳ１０６で生成した表示画像Ｄ６を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ１０７）。ディスプレイ１４３１には、単カメラ画像を含む表示画像Ｄ６が表示される。なお、このとき、作業機械１００は稼働状態にある。
【0068】
次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、押下されたファンクションキーが左右移動を示すファンクションキーＦ１またはＦ２であるか、上下移動を示すファンクションキーＦ３またはＦ４であるか、１つ前の画面への遷移を示すファンクションキーＦ５であるか、決定を示すファンクションキーＦ６であるかを判定する（ステップＳ１０８）。
【0069】
上下移動を示すファンクションキーＦ３またはＦ４が押下された場合（ステップＳ１０８：上下移動）、表示制御部２１６は、押下されたファンクションキーに基づいてフォーカスを有する項目を変更し、ステップＳ１０６に処理を戻して表示画像Ｄ６を更新する。 左右移動を示すファンクションキーＦ１またはＦ２が押下された場合（ステップＳ１０８：左右移動）、表示画像生成部２１３は、押下されたファンクションキーに基づいて、ストレージ２５０またはメインメモリ２３０からタブの切り替え後のユーザメニュー画像Ｇ６３を取得する（ステップＳ１０９）。そして、制御装置１４３は、ステップＳ１０６に処理を戻して、表示画像Ｄ６を更新する。例えば、図８に示す表示画像Ｄ６Ａが表示されているときに、ファンクションキーＦ２が押下されると、表示画像生成部２１３は、表示画像Ｄ６Ｂを生成する。
【0070】
ファンクションキーＦ５が押下された場合（ステップＳ１０８：前画面）、制御装置１４３は処理をステップＳ１０１に戻し、ディスプレイ１４３１に表示画像Ｄ５を表示させる。
ファンクションキーＦ６が押下された場合（ステップＳ１０８：決定）、選択部２１５は、複数の機能のうちフォーカスを有する項目に係る機能の選択を受け付ける（ステップＳ１１０）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、機能画像の表示画面への遷移信号として受け付ける。
ファンクションキーＦ６が押下された場合（ステップＳ１０８：決定）、選択部２１５は、複数の機能のうちフォーカスを有する項目に係る機能の選択を受け付ける（ステップＳ１１０）。すなわち、選択部２１５は、ファンクションキーＦ６の押下によって発生する信号を、機能画像の表示画面への遷移信号として受け付ける。
【0071】
次に、機能実行部２１７は、ストレージ２５０またはメインメモリ２３０からステップＳ１１０において選択された機能を実現するための機能画像Ｇ７２を取得する（ステップＳ１１１）。次に、表示画像生成部２１３は、ステップＳ１０１で取得した単カメラ画像Ｇ７１、Ｇ７２と、ステップＳ１１１において取得された機能画像Ｇ７３とを含む表示画像Ｄ７を生成する（ステップＳ１１２）。図６に示す例では、表示画像Ｄ７の下部のファンクションキーＦ３－Ｆ６に対応する部分には、それぞれアイコンＧ７４－Ｇ７６が配置される。
【0072】
表示制御部２１６は、ステップＳ１１２で生成した表示画像Ｄ７を表示するための表示信号をディスプレイ１４３１に出力する（ステップＳ１１３）。次に、入力部２１４が利用者によるファンクションキーの押下の有無を検出すると、選択部２１５は、１つ前の画面への遷移を示すファンクションキーＦ５であるか、他のファンクションキーＦ３、Ｆ４およびＦ６の何れかであるかを判定する（ステップＳ１１４）。
【0073】
ファンクションキーＦ３、Ｆ４およびＦ６の何れかが押下された場合（ステップＳ１１４：その他）、機能実行部２１７は、押下されたファンクションキーに基づいてステップＳ１１０において選択された機能を実行し（ステップＳ１１５）、処理を終了する。その後、制御装置１４３は、改めて図７に示す表示制御処理を実行し、ディスプレイ１４３１に表示画像Ｄ５を表示させる。
【0074】
他方、ファンクションキーＦ５が押下された場合（ステップＳ１１４：前画面）、ステップＳ１０６に処理を戻し、ディスプレイ１４３１に１つ前の画面である表示画像Ｄ６を表示させる。すなわち、１つ前の画面が表示画像Ｄ６Ａであれば、表示画像Ｄ６Ａが再度表示され、１つ前の画面が表示画像Ｄ６Ｂであれば、表示画像Ｄ６Ｂが再度表示される。
【0075】
なお、図７に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態において、ショートカットボタンなどによって表示画像Ｄ６を介さずに機能を選択できる場合、制御装置１４３はステップＳ１０５－１０９を実行しなくてもよい。また、表示画像Ｄ７の表示自体が機能の実行に相当する場合、制御装置１４３はステップＳ１１５を実行しなくてもよい。
【0076】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
【0077】
上述した実施形態では、作業機械１００は、油圧ショベルとして説明したが、他の実施形態においては、ダンプトラック、ホイールローダなど種々の作業機械に適用可能である。例えば、ダンプトラックや、ホイールローダや他の作業機械用の表示システムに適用可能である。
【0078】
また、上述した実施形態では、単カメラ画像Ｇ１２に代えて、ユーザメニュー画像を表示するものとして説明したが、他の実施形態においては、俯瞰画像と、単カメラ画像とをともに、ユーザメニュー画像を表示するようにしてもよい。すなわち、俯瞰画像生成部２１２は、ユーザメニューおよび単カメラ画像とともに表示できるように、縮小した俯瞰画像を生成する。また、表示画像生成部２１３は、ユーザメニューおよび俯瞰画像とともに表示できるように、縮小した単カメラ画像を生成する。すなわち、表示制御部２１６は、遷移信号を受け付けた場合、遷移後の画面に表示サイズを変更した周囲画像を含む表示画像を表示するための表示信号を生成する。
【0079】
また、上述した実施形態では、１台の制御装置１４３が作業機械１００に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部の構成を他の制御装置に配置し、２台以上の制御装置からなる表示システムによって実現されてもよい。なお、上述の実施形態に示す１台の制御装置１４３も、表示システムの一例である。
【0080】
また、上述した実施形態に係る制御装置１４３は、作業機械１００に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部、または全部の構成が作業機械１００の外部に設置されてもよい。例えば、他の実施形態においては、制御装置１４３は、遠隔操作に係る作業機械１００を制御するものであってもよい。この場合、制御装置１４３は、遠隔操作室に配置される表示装置に、上述の画面の表示をさせる。
【0081】
また上述した実施形態に係る制御装置１４３は、左前方範囲Ｒｅを撮像する左前方カメラを備えないが、他の実施形態においては左前方範囲Ｒｅを撮像する左前方カメラを備えてもよい。この場合、制御装置１４３は、作業機械１００の周囲の全周が写る俯瞰画像を生成することができる。
【0082】
上述した実施形態に係る制御装置１４３はディスプレイ１４３１を有し、当該ディスプレイ１４３１に表示画像を表示させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、ディスプレイ１４３１を備えないものであって、制御装置１４３と別体のディスプレイ１４３１に表示画像を表示させる信号を送信するものであってよい。なお、制御装置１４３とは別体のディスプレイ１４３１と、上述した制御装置１４３の構成の一部ずつを備える２台以上の制御装置とからなる表示システムから実現されてもよい。
【0083】
上述した実施形態に係る制御装置１４３はセカンダリスイッチ１４１２の押下などによって作業機械１００が非稼働状態になったときに、俯瞰画像および単カメラ画像が含まれない表示画像を表示するための表示信号を生成するが、他の実施形態においてはこれに限られない。例えば、セカンダリスイッチ１４１２の押下などによって作業機械１００が非稼働状態になったときにも、俯瞰画像または単カメラ画像を含む表示画像を表示するための表示信号を生成するようにしてもよい。
【0084】
上述した実施形態に係る制御装置１４３では、オペレータ等による操作を受け付けるための機能の表示（例えば、ユーザメニュー画像や機能画像など）の際に俯瞰画像または単カメラ画像を含む表示画像をディスプレイ１４３１に表示するが、他の実施形態においては、これに限られない。例えば、他の実施形態においては、制御装置１４３は、サービスマンによる操作を受け付けるためのサービスメニューなどの表示の際に、俯瞰画像または単カメラ画像を含む表示画像をディスプレイ１４３１に表示してもよい。
【0085】
図９は、他の実施形態に係るディスプレイに表示される画面の遷移を示す画面遷移図である。制御装置１４３の起動後、俯瞰画像Ｇ１１を含むデフォルトの表示画像Ｄ１を表示し、俯瞰画像や単カメラ画像などの作業機械１００の周囲画像と、サービスメニュー画像Ｇ９２とを含む表示画像Ｄ８を表示するようにしてもよい。表示画像Ｄ８は、制御装置１４３の起動後に表示画像が表示されている際、例えばデフォルトの表示画像Ｄ１が表示されている際に、ディスプレイ１４３１の所定の操作によって表示される。表示画像Ｄ２などのメニュー画像が表示されている際に、ディスプレイ１４３１の所定の操作によって表示されるようにしてもよい。
【0086】
このように、制御装置１４３が、作業機械１００の周囲画像と、サービスメニュー画像Ｇ９２とを含む表示画像Ｄ８を表示することで、サービスマンは、作業機械１００の各種履歴の確認や、設定を行っている際に、作業機械１００の周囲の状況を確認できるため、周囲の安全を確認後に作業機械１００を動作させることができる。
【0087】
また、上述した実施形態では、ディスプレイ１４３１が作業機械１００に設置されるものとして説明したが、他の実施形態においては、ディスプレイ１４３１が作業機械１００の外に設置されるものであってもよい。例えば、作業現場から離れた地点にディスプレイ１４３１を設け、制御装置１４３は、ディスプレイ１４３１に表示画像を表示させる信号をインターネットなどのネットワークを介して送信するものであってよい。
【符号の説明】
【0088】
１００…作業機械 １２１…カメラ １４０…運転室 １４１…運転席 １４１１…エンジンキーシリンダ １４１２…セカンダリスイッチ １４３…制御装置 ２１１…画像取得部 ２１２…俯瞰画像生成部 ２１３…表示画像生成部 ２１４…入力部 ２１５…選択部 ２１６…表示制御部 ２１７…機能実行部 ２１８…車両状態監視部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2024-07-11
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得する画像取得部と、
緊急時にエンジンを停止させるための緊急停止スイッチと、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
作業機械の周囲が写る撮像画像を取得する画像取得部と、
緊急時にエンジンを停止させるための緊急停止スイッチと、
前記撮像画像に基づく周囲画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
【請求項2】
前記表示制御部は、前記緊急停止スイッチが押下され、前記作業機械が非稼動状態になったときにおいても、前記周囲画像を含む表示画像を表示するための表示信号を生成する、
請求項１に記載の作業機械の表示システム。
請求項１に記載の作業機械の表示システム。
【請求項3】
前記表示制御部は、前記緊急停止スイッチが押下され、前記作業機械が非稼動状態になったとき、前記周囲画像が含まれない表示画像を表示するための表示信号を生成する、
請求項１に記載の作業機械の表示システム。
請求項１に記載の作業機械の表示システム。
【請求項4】
前記表示制御部は、エンジンの停止を示す表示画面を表示するための表示信号を生成する、
請求項３に記載の作業機械の表示システム。
請求項３に記載の作業機械の表示システム。
【請求項5】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記作業機械の外部に設置される表示部と、
前記撮像画像に基づく周囲画像が前記表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記作業機械の外部に設置される表示部と、
前記撮像画像に基づく周囲画像が前記表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
【請求項6】
前記作業機械を遠隔操作する制御部と、を備え、
前記表示部は、前記作業機械の遠隔操作室に設置され、
前記表示制御部は、前記遠隔操作室に設置される前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する、
請求項５に記載の作業機械の表示システム。
前記表示部は、前記作業機械の遠隔操作室に設置され、
前記表示制御部は、前記遠隔操作室に設置される前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する、
請求項５に記載の作業機械の表示システム。
【請求項7】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく俯瞰画像が表示部に表示されているときに、サービスメニュー画像を表示する画面に遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記俯瞰画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく俯瞰画像が表示部に表示されているときに、サービスメニュー画像を表示する画面に遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記俯瞰画像を含む表示画像を表示するための表示信号を生成する表示制御部と、
を備える作業機械の表示システム。
【請求項8】
作業機械の表示システムであって、
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく周囲画像、及び車両情報を示す画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、を備え、
前記遷移後の画面に、前記車両情報を示す画像が含まれない、
作業機械の表示システム。
作業機械の周囲が写る撮像画像を取得する画像取得部と、
前記撮像画像に基づく周囲画像、及び車両情報を示す画像が表示部に表示されているときに、画面を遷移させるための遷移信号を受け付けた場合、前記表示部の遷移後の画面に前記周囲画像を含む表示画像を表示するための表示信号を生成する表示制御部と、を備え、
前記遷移後の画面に、前記車両情報を示す画像が含まれない、
作業機械の表示システム。
【請求項9】
前記車両情報は、エンジンの稼働時間を示すサービスメータである、
請求項８に記載の作業機械の表示システム。
請求項８に記載の作業機械の表示システム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本開示は、作業機械の表示システムに関する。