特開 2024-42408 作業機械の表示システム、作業機械、及び作業機械の表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042408

(43)【公開日】2024-03-28

(54)【発明の名称】作業機械の表示システム、作業機械、及び作業機械の表示方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240321BHJP

   E02F 9/26 20060101ALI20240321BHJP

   B60R 1/27 20220101ALI20240321BHJP

   B60R 1/20 20220101ALI20240321BHJP

   G06F 3/14 20060101ALI20240321BHJP

【ＦＩ】

H04N7/18 J

E02F9/26 B

B60R1/27

B60R1/20 100

G06F3/14 400

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022147098

(22)【出願日】2022-09-15

(71)【出願人】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】村上 舜

(72)【発明者】

【氏名】古賀 亮介

(72)【発明者】

【氏名】柴田 剛宏

(72)【発明者】

【氏名】高橋 優樹

【テーマコード（参考）】

2D015

5B069

5C054

【Ｆターム（参考）】

2D015HA03

5B069AA12

5B069BB16

5C054CA04

5C054CC02

5C054FD03

5C054FD07

5C054FE14

5C054FE17

5C054HA30

(57)【要約】

【課題】作業機械の表示部において、カメラ画像のフレームレートが低下する可能性を低減すること。
【解決手段】作業機械の表示システムは、油圧ショベルの周辺を撮影したカメラ画像を表示する表示部１１と、表示部１１にカメラ画像を表示させるカメラタスク部２２と、表示部１１に表示するデータの演算または表示部の通信の処理を行う第１タスク部２３と、カメラタスク部２２と第１タスク部２３の処理の優先順位を制御するタスク制御部２９と、を備え、タスク制御部２９は、第１タスク部２３よりカメラタスク部２２の処理の優先順位を高くして、カメラ画像のフレームレートを所定レート以上に維持する。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業機械の周辺を撮影したカメラ画像を表示する表示部と、
前記表示部に前記カメラ画像を表示させるカメラタスク部と、
前記表示部に表示するデータの演算または前記表示部の通信の処理を行う第１タスク部と、
前記カメラタスク部と前記第１タスク部の処理の優先順位を制御するタスク制御部と、
を備え、
前記タスク制御部は、前記第１タスク部より前記カメラタスク部の処理の優先順位を高くして、前記カメラ画像のフレームレートを所定レート以上に維持する、
作業機械の表示システム。

【請求項2】

ＧＰＵとの間で命令を通信する第２タスク部、
を備え、
前記タスク制御部は、前記カメラタスク部より前記第２タスク部の処理の優先順位を高くする、
請求項１に記載の作業機械の表示システム。

【請求項3】

前記第１タスク部は、ロジックタスク部と、ＧＵＩタスク部とを備え、
前記ロジックタスク部は、前記表示部に表示するデータの演算または前記表示部の通信の処理を行い、
前記ＧＵＩタスク部は、前記表示部に前記作業機械に関する情報を表示させる、
請求項１に記載の作業機械の表示システム。

【請求項4】

前記第２タスク部は、ＧＰＵブリッジタスク部を備え、
前記ＧＰＵブリッジタスク部は、前記ＧＰＵとの間で通信を行う、
請求項２に記載の作業機械の表示システム。

【請求項5】

前記カメラ画像は、前記作業機械の周辺の俯瞰カメラ画像及び単カメラ画像であり、
請求項１に記載の作業機械の表示システム。

【請求項6】

前記表示部は、前記作業機械の周辺の俯瞰カメラ画像、単カメラ画像、及び前記作業機械に関する情報を表示する、
請求項１に記載の作業機械の表示システム。

【請求項7】

請求項１から請求項６のいずれか一項に記載の作業機械の表示システムと、
作業機と、
を備える、作業機械。

【請求項8】

作業機械の周辺を撮影したカメラ画像を表示する表示部と、
前記表示部に前記カメラ画像を表示させるカメラタスク部と、
前記表示部に表示するデータの演算または前記表示部の通信の処理を行う第１タスク部と、
前記カメラタスク部と前記第１タスク部の処理の優先順位を制御するタスク制御部と、
を備える作業機械の表示方法であって、
前記第１タスク部より前記カメラタスク部の処理の優先順位を高くして、前記カメラ画像のフレームレートを所定レート以上に維持する、
作業機械の表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の表示システム、作業機械、及び作業機械の表示方法に関する。

【背景技術】

【0002】

特許文献１に示すように、ショベル等の作業機械は、エンジン水温、燃料残量、稼働時間等の作業機械に関する情報を表示したり、作業機械の周辺の画像を表示したりする表示部を運転室に備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０４２６３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

表示部に表示をさせるための処理を行う表示制御部は、作業機械の周辺の画像を表示させるための処理、作業機械が備える他のハードウェアとの通信を行う処理、カメラ画像以外の表示の処理等、複数の処理を行っている。これにより、表示制御部における処理の負荷が重くなった場合に、カメラ画像のフレームレートが低下する可能性が考えられる。

【課題を解決するための手段】

【0005】

本開示に従えば、作業機械の周辺を撮影したカメラ画像を表示する表示部と、前記表示部に前記カメラ画像を表示させるカメラタスク部と、前記表示部に表示するデータの演算または前記表示部の通信の処理を行う第１タスク部と、前記カメラタスク部と前記第１タスク部の処理の優先順位を制御するタスク制御部と、を備え、前記タスク制御部は、前記第１タスク部より前記カメラタスク部の処理の優先順位を高くして、前記カメラ画像のフレームレートを所定レート以上に維持する、作業機械の表示システムが提供される。

【0006】

本開示に従えば、上記の作業機械の表示システムと、作業機と、を備える作業機械が提供される。

【0007】

本開示に従えば、作業機械の周辺を撮影したカメラ画像を表示する表示部と、前記表示部に前記カメラ画像を表示させるカメラタスク部と、前記表示部に表示するデータの演算または前記表示部の通信の処理を行う第１タスク部と、前記カメラタスク部と前記第１タスク部の処理の優先順位を制御するタスク制御部と、を備える作業機械の表示方法であって、前記第１タスク部より前記カメラタスク部の処理の優先順位を高くして、前記カメラ画像のフレームレートを所定レート以上に維持する、作業機械の表示方法が提供される。

【発明の効果】

【0008】

本開示によれば、作業機械の表示部において、カメラ画像のフレームレートが低下する可能性を低減することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る作業機械の表示システムを示すブロック図である。

【図2】図２は、表示部の表示例の一例を示す図である。

【図3】図３は、表示部コントローラにおけるタスクの優先順位を示す図である。

【図4】図４は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0011】

［実施形態］
＜作業機械の表示システム＞
実施形態では、作業機械が油圧ショベルである場合を一例として説明する。油圧ショベルは、作業機と、作業機械の表示システム１を備える。作業機械の表示システム１は、表示装置１０と、カメラシステム３０とを備える。

【0012】

カメラシステム３０は、油圧ショベルの周辺を撮影する。カメラシステム３０は、油圧ショベルの上部旋回体に設けられる。カメラシステム３０は、撮像対象の画像を取得する。カメラシステム３０は、油圧ショベルの周辺に存在する人又は他の油圧ショベル等の作業機械を含む対象物を検出する検出部として機能する。カメラシステム３０は、油圧ショベルの周辺に複数配置される。実施形態では、カメラシステム３０は、カメラ３１、カメラ３２、カメラ３３及びカメラ３４を含む。

【0013】

カメラ３１は、例えば、上部旋回体３の後部に設けられる後カメラである。カメラ３１は、上部旋回体３の後方領域を撮像する。カメラ３２は、例えば、上部旋回体３の右部に設けられる右後カメラである。カメラ３２は、上部旋回体３の右後方領域を撮像する。カメラ３３は、例えば、上部旋回体３の右部に設けられる右前カメラである。カメラ３３は、上部旋回体３の右前方領域を撮像する。カメラ３４は、例えば、上部旋回体３の左部に設けられる左後カメラである。カメラ３４は、上部旋回体３の左後方領域を撮像する。カメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれは、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

【0014】

なお、カメラ３４は、上部旋回体３の左側方領域及び左後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、カメラ３２は、上部旋回体３の右側方領域及び右後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、カメラ３３は、上部旋回体３の右前方領域及び右側方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。また、カメラシステム３０は、上部旋回体３の左後方、後方、右後方、及び右前方を撮像するが、これに限定されない。

【0015】

＜表示装置＞
表示装置１０は、作業機械の周辺の画像を表示するモニタである。表示装置１０は、例えば、周辺監視用のモニタである。表示装置１０は、表示部１１と、表示制御部である表示部コントローラ２０とを備える。表示部コントローラ２０は、表示装置１０と分離されたコントローラでもよい。

【0016】

表示部１１は、油圧ショベルの周辺を撮影したカメラ画像等を表示する。より詳しくは、表示部１１は、油圧ショベルの周囲の俯瞰カメラ画像、単カメラ画像、及び油圧ショベルに関する情報を表示する。表示部１１は、液晶ディスプレイ又は有機ＥＬディスプレイ（ＥＬ：Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）のようなフラットパネルディスプレイを含む。表示部１１は、タッチパネル式であってもよい。

【0017】

カメラ画像は、油圧ショベルの周辺の俯瞰カメラ画像１０１及び単カメラ画像１０２の一方又は両方を含む。実施形態では、カメラ画像は、油圧ショベルの周辺の俯瞰カメラ画像１０１及び単カメラ画像１０２である。

【0018】

俯瞰カメラ画像１０１とは、カメラシステム３０のそれぞれで取得された複数の画像データを油圧ショベルの上方視点に変換して合成することによって生成される画像である。俯瞰カメラ画像１０１には、油圧ショベルを上方から見た画像が中心部に表示される。

【0019】

単カメラ画像１０２とは、カメラシステム３０のうち１つのカメラで取得された油圧ショベルの周辺の一部の画像である。単カメラ画像１０２は、カメラ３１で取得された油圧ショベルの後方の状況を示す後方単カメラ画像、カメラ３２で取得された油圧ショベルの右後方の状況を示す右後方単カメラ画像、カメラ３３で取得された油圧ショベルの右前方の状況を示す右前方単カメラ画像、及びカメラ３４で取得された油圧ショベルの左後方の状況を示す左後方単カメラ画像の少なくとも一つを含む。

【0020】

＜表示部コントローラ＞
表示部コントローラ２０は、複数の処理を行う油圧ショベルの表示制御部である。表示部コントローラ２０は、表示部１１に表示をさせるための処理を行う。表示部コントローラ２０は、コンピュータシステムを含む。表示部コントローラ２０は、インターフェース部２１と、カメラタスク部２２と、第１タスク部２３と、第２タスク部２６と、タスク制御部２９とを有する。

【0021】

インターフェース部２１は、油圧ショベルが備える他のハードウェアとの通信を行う。実施形態では、インターフェース部２１は、カメラシステム３０から画像データを取得する。インターフェース部２１は、カメラシステム３０のカメラ３１、カメラ３２、カメラ３３及びカメラ３４のそれぞれと接続される。実施形態では、インターフェース部２１は、カメラ３１から油圧ショベルの後方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３２から油圧ショベルの右後方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３３から油圧ショベルの右前方の状況を示す画像データを取得する。インターフェース部２１は、カメラ３４から油圧ショベルの左後方の状況を示す画像データを取得する。

【0022】

インターフェース部２１は、作業機械のコントローラからイベントの発生を示す情報を取得する。

【0023】

インターフェース部２１は、作業機械のコントローラからエンジン水温、燃料残量、稼働時間等を示す情報を取得する。

【0024】

カメラタスク部２２は、表示部１１にカメラ画像を表示するタスクである。カメラタスク部２２は、第１タスク部２３より、処理の優先順位が高い。カメラタスク部２２は、例えば、インターフェース部２１によって取得された画像データから、単カメラ画像を生成して表示するタスクを含む。カメラタスク部２２は、例えば、インターフェース部２１によって取得された画像データから、油圧ショベルの周辺の状況を示す俯瞰カメラ画像を生成して表示するタスクを含む。カメラタスク部２２は、垂直同期信号（Ｖｓｙｎｃ：Vertical Sync）が入力される。

【0025】

第１タスク部２３は、表示部１１に表示するデータの演算または表示装置１０の通信の処理を行う。第１タスク部２３は、カメラタスク部２２より処理の優先順位が低い。実施形態では、第１タスク部２３は、ロジックタスク部２４と、ＧＵＩタスク部２５とを備える。

【0026】

ロジックタスク部２４は、表示部１１に表示するデータの演算するタスク、表示装置１０の通信を行うタスク、及び、カメラ画像以外のデータを加工するタスクを含む。ロジックタスク部２４は、例えば、インターフェース部２１によって、作業機械からイベントの発生を示す情報を受信するタスクを含む。ロジックタスク部２４は、例えば、インターフェース部２１によって、作業機械からイベントの発生を示す情報を受信するタスクを含む。ロジックタスク部２４は、周期的に実行される。

【0027】

ＧＵＩタスク部２５は、表示部１１に油圧ショベルに関する情報を表示させるタスクである。ＧＵＩタスク部２５は、カメラ画像以外の画像を加工して表示するタスクである。ＧＵＩタスク部２５は、例えば、メッセージウィンドウ画像を加工して表示するタスクを含む。ＧＵＩタスク部２５は、例えば、ゲージ画像を加工して表示するタスクを含む。ＧＵＩタスク部２５は、カメラタスク部２２からの指令によって実行される。

【0028】

メッセージウィンドウ画像は、例えば、オペレータに対するガイダンスを示す内容である。メッセージウィンドウ画像は、例えば、油圧ショベルの異常を示す内容である。

【0029】

ゲージ画像は、油圧ショベルの状態を示すゲージ情報を示す画像である。ゲージ画像は、例えば、エンジン水温、燃料残量、稼働時間等を示すゲージの画像である。

【0030】

第２タスク部２６は、ＧＰＵとの間で命令を通信する。第２タスク部２６は、カメラタスク部２２より処理の優先順位が高い。実施形態では、第２タスク部２６は、ＧＰＵ（Graphics Processing Unit）ブリッジタスク部２７を備える。

【0031】

ＧＰＵブリッジタスク部２７は、ＧＰＵとの間で命令を通信するタスクである。ＧＰＵブリッジタスク部２７は、ＧＰＵから命令を受信する。ＧＰＵブリッジタスク部２７は、ＧＰＵへ命令を送信する。ＧＰＵブリッジタスク部２７は、カメラタスク部２２及びＧＵＩタスク部２５において画像が生成されるたびに、ＧＰＵへ画像の更新指令を送信する。ＧＰＵブリッジタスク部２７は、ＧＰＵからの命令を待機する。

【0032】

タスク制御部２９は、カメラタスク部２２と第１タスク部２３の処理の優先順位を制御する。タスク制御部２９は、第１タスク部２３よりカメラタスク部２２の処理の優先順位を高くして、カメラ画像のフレームレートを所定レート以上に維持する。

【0033】

実施形態では、タスク制御部２９は、カメラタスク部２２と第１タスク部２３と第２タスク部２６との処理の優先順位を制御する。タスク制御部２９は、カメラタスク部２２より第２タスク部２６の処理の優先順位を高くする。タスク制御部２９は、タスクの優先順位が高い順に、第２タスク部２６、カメラタスク部２２、第１タスク部２３となるように制御する。

【0034】

図２は、表示部の表示例の一例を示す図である。図２は、メッセージウィンドウ等が表示されていない状態である通常状態の表示部１１の表示の一例である。図２に示す例では、表示部１１には、俯瞰カメラ画像１０１、単カメラ画像１０２、ゲージ画像１０３、上部画像１１１、側方画像１１２及び下部画像１１３が表示されている。上部画像１１１、側方画像１１２及び下部画像１１３は、図示していないが、油圧ショベルの稼働状態を示す情報などがアイコン画像などで表示されている。

【0035】

＜タスク制御方法＞
図３は、表示部コントローラにおけるタスクの優先順位を示す図である。油圧ショベルがキーオンされると、作業機械の表示システム１が起動する。作業機械の表示システム１が起動すると、表示部１１に常時画像が表示される。

【0036】

図３に示すように、実施形態では、ＧＰＵブリッジタスク部２７、カメラタスク部２２、ロジックタスク部２４、ＧＵＩタスク部２５の順で処理が優先される。より詳しくは、ＧＰＵブリッジタスク部２７は、カメラタスク部２２より処理が優先される。カメラタスク部２２は、ロジックタスク部２４より処理が優先される。ロジックタスク部２４は、ＧＵＩタスク部２５より処理が優先される。

【0037】

カメラタスク部２２は、カメラ画像の表示更新が終了すると、ＧＵＩタスク部２５における待ち状態を解除する。

【0038】

＜コンピュータシステム＞
図４は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の表示部コントローラ２０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４と、ＧＰＵ（Graphics Processing Unit）１００５とを有する。上述の表示部コントローラ２０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0039】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、油圧ショベルの周囲を撮影したカメラ画像を表示する表示部１１と、表示部１１にカメラ画像を表示させるカメラタスク部２２と、表示部１１に表示するデータの演算または通信の処理を行う第１タスク部２３と、カメラタスク部２２と第１タスク部２３の処理の優先順位を制御するタスク制御部２９と、を備える作業機械の表示方法であって、第１タスク部２３よりカメラタスク部２２の処理の優先順位を高くして、カメラ画像のフレームレートを所定レート以上に維持すること、を実行させることができる。

【0040】

＜効果＞
以上説明したように、実施形態は、複数の処理を行う作業機械の表示制御部において、第１タスク部２３よりカメラタスク部２２の処理の優先順位を高くして、カメラ画像のフレームレートを所定レート以上に維持することができる。実施形態によれば、作業機械の周辺の俯瞰カメラ画像及び単カメラ画像のフレームレートが所定以下にならないようにすることができる。

【0041】

実施形態は、表示部１１に表示をさせるための処理を行う表示部コントローラ２０において、油圧ショベルの周辺の画像を表示させるための処理、油圧ショベルが備える他のハードウェアとの通信を行う処理、カメラ画像以外の表示の処理など、複数の処理を行っている。実施形態によれば、処理の負荷が重くなった場合でも、カメラ画像のフレームレートが低下してしまう可能性を低減することができる。

【0042】

上述の実施形態において、油圧ショベルは、鉱山などで使用されるマイニング用油圧ショベルでもよいし、建設現場において用いられる油圧ショベルでもよい。また、ダンプトラックや、ホイールローダや他の作業機械用の表示システムに適用可能である。

【符号の説明】

【0043】

１…表示システム、１０…表示装置、１１…表示部、２０…表示部コントローラ（表示制御部）、２１…インターフェース部、２２…カメラタスク部、２３…第１タスク部、２４…ロジックタスク部、２５…ＧＵＩタスク部、２６…第２タスク部、２７…ＧＰＵブリッジタスク部、２９…タスク制御部、３０…カメラシステム、３１…カメラ、３２…カメラ、３３…カメラ、３４…カメラ。

【図1】

【図2】

【図3】

【図4】