特許 7620590 作業機械及び遠隔操作型作業機械システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-15

(45)【発行日】2025-01-23

(54)【発明の名称】作業機械及び遠隔操作型作業機械システム

(51)【国際特許分類】

   E02F 9/20 20060101AFI20250116BHJP

【ＦＩ】

E02F9/20 Z

【請求項の数】 4

(21)【出願番号】P 2022058424

(22)【出願日】2022-03-31

(65)【公開番号】P2023149698

(43)【公開日】2023-10-13

【審査請求日】2024-06-24

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】齋藤 哲平

(72)【発明者】

【氏名】成川 理優

(72)【発明者】

【氏名】小谷 匡士

(72)【発明者】

【氏名】伊東 英明

(72)【発明者】

【氏名】佐藤 慧

(72)【発明者】

【氏名】石本 英史

【審査官】荒井 良子

(56)【参考文献】

【文献】特開２０１７－０４３９２４（ＪＰ，Ａ）

【文献】特開２０１８－１０６６７６（ＪＰ，Ａ）

【文献】特開２０２０－２００６５９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２０

(57)【特許請求の範囲】

【請求項1】

作業装置と、前記作業装置及びその周囲の映像を撮影する撮影装置と、前記撮影装置で撮影された映像を映像データとして通信装置を介して遠隔操作装置へ送信すると共に、前記遠隔操作装置から前記通信装置を介して受信した操作信号に応じて前記作業装置の動作を制御する制御装置と、を備えた作業機械において、
前記制御装置は、
前記遠隔操作装置から、前記通信装置を介して前記遠隔操作装置との間の通信品質の評価結果を受信し、前記操作信号に基づいて、前記作業装置の動作状況を判定し、前記通信品質の評価結果及び前記作業装置の動作状況に基づいて、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に、前記複数の映像領域データのそれぞれに対するデータ低減量を設定し、当該設定された前記複数の映像領域データごとのデータ低減量に基づいて低減された送信用の映像データを生成し、当該送信用の映像データを前記通信装置を介して前記遠隔操作装置に送信しており、
更に、前記撮影装置で撮影された映像の処理若しくは移動体検知センサの検知によって前記作業機械の周囲に存在する移動体を検知し、前記作業機械の周囲に前記移動体が存在することを検知した場合、前記映像データを、前記映像のうちの前記移動体及びその周囲を含む主の映像領域に対応する主映像領域データと他の映像領域に対応する副映像領域データとに分割すると共に、前記主映像領域データより前記副映像領域データのデータ低減量又は低減率を大きくするか、若しくは前記主映像領域データのデータ量より前記副映像領域データのデータ量の方が小さくなるようにデータ低減を行うことを特徴とする作業機械。

【請求項2】

走行体と、前記走行体に対して旋回可能に支持された旋回体と、作業装置と、前記作業装置及びその周囲の映像を撮影する撮影装置と、前記撮影装置で撮影された映像を映像データとして通信装置を介して遠隔操作装置へ送信すると共に、前記遠隔操作装置から前記通信装置を介して受信した操作信号に応じて前記走行体、前記旋回体、及び前記作業装置の動作を制御する制御装置と、を備えた作業機械において、
前記制御装置は、
前記遠隔操作装置から、前記通信装置を介して前記遠隔操作装置との間の通信品質の評価結果を受信し、前記操作信号に基づいて、前記作業装置の動作状況を判定し、前記通信品質の評価結果及び前記作業装置の動作状況に基づいて、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に、前記複数の映像領域データのそれぞれに対するデータ低減量を設定し、当該設定された前記複数の映像領域データごとのデータ低減量に基づいて低減された送信用の映像データを生成し、当該送信用の映像データを前記通信装置を介して前記遠隔操作装置に送信しており、
更に、前記操作信号に基づいて前記走行体及び前記旋回体の動作状況を判定し、前記通信品質が低いことを示す評価結果を受信し、かつ前記旋回体が動作していると判定した場合、前記映像データを、前記映像のうちの前記作業装置の移動先を含む主の映像領域に対応する主映像領域データと他の映像領域に対応する副映像領域データとに分割すると共に、前記主映像領域データより前記副映像領域データのデータ低減量又は低減率を大きくするか、若しくは前記主映像領域データのデータ量より前記副映像領域データのデータ量の方が小さくなるようにデータ低減を行っており、
更に、前記作業機械の動作パターンを学習して記憶し、前記作業機械の動作パターンを用いて、現在の前記作業機械の動作又は前記作業機械の周囲における移動体の存在から、将来の前記作業装置の動作及び前記旋回体の動作のうちの少なくとも一方を予測し、予測された前記作業装置の動作及び前記旋回体の動作のうちの少なくとも一方に応じて、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に前記複数の映像領域データのそれぞれに対するデータ低減量を設定することを特徴とする作業機械。

【請求項3】

請求項１又は２に記載の作業機械において、
前記制御装置は、
前記通信品質が低いことを示す評価結果を受信し、かつ前記作業装置が動作していると判定した場合、前記映像データを、前記映像のうちの前記作業装置の先端及びその周囲を含む主の映像領域に対応する主映像領域データと他の映像領域に対応する副映像領域データとに分割すると共に、前記主映像領域データより前記副映像領域データの低減量又は低減率を大きくするか、若しくは前記主映像領域データのデータ量より前記副映像領域データのデータ量方が小さくなるようにデータ低減を行うことを特徴とする作業機械。

【請求項4】

請求項３に記載の作業機械において、
前記制御装置は、前記作業装置を含む映像領域を基準として前記作業装置の移動方向側の映像領域がその反対方向側の映像領域より大きくなるように、前記主の映像領域の形状を設定することを特徴とする作業機械。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作可能な作業機械、及び遠隔操作型作業機械システムに関する。

【背景技術】

【0002】

特許文献１は、遠隔操作可能な作業機械と、作業機械から離れた場所に配置され、作業機械を遠隔操作する遠隔操作装置とを備えた遠隔操作型の作業機械システムを開示する。作業機械は、走行可能な走行体と、走行体の上側に旋回可能に設けられた旋回体と、旋回体の前側に連結された多関節型の作業装置と、旋回体の前方の映像を撮影する撮影装置と、制御装置とを備える。遠隔操作装置は、映像を表示する表示装置と、操作者の操作に応じて操作信号を生成する操作装置と、制御装置とを備える。

【0003】

作業機械の制御装置は、撮影装置で撮影された映像を映像データとして遠隔操作装置へ送信する。遠隔操作装置の制御装置は、作業機械から受信した映像データに対応する映像を表示装置に表示させる。遠隔操作装置の制御装置は、操作装置で生成された操作信号を作業機械へ送信する。作業機械の制御装置は、遠隔操作装置から受信した操作信号に応じて、走行体、旋回体、及び作業装置の動作を制御する。

【0004】

作業機械と遠隔操作装置の間の通信回線としてインターネット等を利用すると、他の通信回線の影響を受けて、通信品質（詳細には、通信速度、遅延時間、パケットロスなどの通信性能によって決まるもの）が低下し、通信遅延が発生する可能性がある。映像データは、操作信号と比べ、データ量が多いから、通信遅延が発生しやすい。

【0005】

特許文献１の作業機械の制御装置は、遠隔操作装置へ映像データを送信した時刻と、遠隔操作装置から返送された映像データを受信した時刻とに基づき、映像データの通信遅延時間を算出する。そして、遠隔操作装置から受信した操作信号が示す動作量に、映像データの通信遅延時間に応じたゲインを乗算して、作業機械の動作を制限する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－０６８３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

操作者は、遠隔操作装置の表示装置で表示された作業機械の周囲の映像を見ながら、操作装置を用いて作業機械を遠隔操作する。そのため、作業機械と遠隔操作装置の間の通信の品質が低下し、映像の表示遅延が生じた場合に、操作装置の操作も遅れることになり、作業機械の生産性が低下する。特許文献１では、映像の表示遅延が生じた場合に、映像の遅延を改善せず、作業機械の動作を制限するから、作業機械の生産性が更に低下する。

【0008】

通信品質の低下が生じた場合に、通信品質の低下を抑えるため、映像データのデータ量（すなわち、通信量）を低減することが考えられる。しかし、映像データの全体に対して均一にデータ量を低減すれば、すなわち、映像データの全体に対して均一に解像度を低減すれば、作業機械の動作に必要でない映像領域だけでなく、作業機械の動作に必要な映像領域も見えにくくなり、作業機械の生産性が低下する。

【0009】

本発明は、上記事柄に鑑みてなされたものであり、その目的は、作業機械と遠隔操作装置との間の通信品質が低下した場合でも遠隔操作装置において作業機械の動作状況及び作業状況を正確に把握することができ、作業機械の生産性の低下を抑えることができる作業機械及び遠隔操作型作業機械システムを提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するために、代表的な本発明は、作業装置と、前記作業装置及びその周囲の映像を撮影する撮影装置と、前記撮影装置で撮影された映像を映像データとして通信装置を介して遠隔操作装置へ送信すると共に、前記遠隔操作装置から前記通信装置を介して受信した操作信号に応じて前記作業装置の動作を制御する制御装置と、を備えた作業機械において、前記制御装置は、前記遠隔操作装置から、前記通信装置を介して前記遠隔操作装置との間の通信品質の評価結果を受信し、前記操作信号に基づいて、前記作業装置の動作状況を判定し、前記通信品質の評価結果及び前記作業装置の動作状況に基づいて、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に、前記複数の映像領域データのそれぞれに対するデータ低減量を設定し、当該設定された前記複数の映像領域データごとのデータ低減量に基づいて低減された送信用の映像データを生成し、当該送信用の映像データを前記通信装置を介して前記遠隔操作装置に送信しており、更に、前記撮影装置で撮影された映像の処理若しくは移動体検知センサの検知によって前記作業機械の周囲に存在する移動体を検知し、前記作業機械の周囲に前記移動体が存在することを検知した場合、前記映像データを、前記映像のうちの前記移動体及びその周囲を含む主の映像領域に対応する主映像領域データと他の映像領域に対応する副映像領域データとに分割すると共に、前記主映像領域データより前記副映像領域データのデータ低減量又は低減率を大きくするか、若しくは前記主映像領域データのデータ量より前記副映像領域データのデータ量の方が小さくなるようにデータ低減を行う。

【発明の効果】

【0011】

本発明によれば、作業機械と遠隔操作装置との間の通信品質が低下した場合でも、例えば、遠隔操作装置に表示可能な映像領域のうちの作業に直結するような領域の映像品質を犠牲にすることなく、リアルタイムかつ高品質な映像を遠隔操作装置に表示させることができ、操作や作業の遅延、ひいては作業機械の生産性の低下を抑えることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第１の実施形態における遠隔操作型のショベルシステムの構成を表す概略図である。

【図2】本発明の第１の実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。

【図3】本発明の第１の実施形態における遠隔操作装置の制御装置の機能的構成を関連機器と共に表すブロック図である。

【図4】本発明の第１の実施形態におけるショベルの制御装置の映像データ圧縮処理の手順を表すフローチャートである。

【図5】本発明の第１の実施形態におけるショベルの制御装置の映像データ圧縮処理の具体例を説明するための図である。

【図6】本発明の一変形例におけるショベルの制御装置の映像データ圧縮処理の具体例を説明するための図である。

【図7】本発明の第２の実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。

【図8】本発明の第３の実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。

【発明を実施するための形態】

【0013】

本発明の第１の実施形態を、図面を参照しつつ説明する。本実施形態では、作業機械として、鉱山等で稼動する大型のショベルを例にとっている。

【0014】

図１は、本実施形態における遠隔操作型のショベルシステムの構成を表す概略図である。図２は、本実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。図３は、本実施形態における遠隔操作装置の制御装置の機能的構成を関連機器と共に表すブロック図である。

【0015】

本実施形態のショベルシステム１００は、遠隔操作可能なショベル１と、ショベル１から離れた場所に配置され、ショベル１の外部に設けられてショベル１を遠隔操作によって操作するように構成された遠隔操作装置２とを備える。

【0016】

ショベル１は、走行可能な走行体３と、走行体３の上側に旋回可能に設けられた旋回体４と、旋回体４の前側（図１の左側）に設けられた多関節型の作業装置５とを備える。走行体３は、走行モータ（図示せず）の回転によって走行し、旋回体４は、旋回モータ（図示せず）の回転によって旋回する。

【0017】

作業装置５は、旋回体４に回動可能に連結されたブーム６と、ブーム６の先端部に回動可能に連結されたアーム７と、アーム７の先端部に回動可能に連結されたバケット８（作業具）とを備える。ブーム６は、ブームシリンダ９の伸縮によって回動し、アーム７は、アームシリンダ１０の伸縮によって回動し、バケット８は、バケットシリンダ１１の伸縮によって回動する。

【0018】

ショベル１は、複数の油圧アクチュエータ（詳細には、上述した走行モータ、旋回モータ、ブームシリンダ９、アームシリンダ１０、及びバケットシリンダ１１）を駆動する駆動装置１２（図２参照）を備える。駆動装置１２は、例えば、エンジンと、エンジンによって駆動される油圧ポンプ及びパイロットポンプと、油圧ポンプから複数の油圧アクチュエータへの圧油の流れを制御する複数の制御弁と、パイロットポンプの吐出圧を元圧として、複数の制御弁を操作するパイロット圧を生成する複数の電磁比例弁とを備える。

【0019】

ショベル１は、作業装置５及びその周囲の映像を撮影する撮影装置１３と、旋回体４の旋回角、ブーム６の回動角、アーム７の回動角、及びバケット８の回動角をそれぞれ検出する複数の角度センサ１４（図２参照）と、遠隔操作装置２との通信を行うための通信装置１５と、制御装置１６とを備える。

【0020】

撮影装置１３は、本実施形態においては５つのカメラで構成されているが、その一部の図示を省略している。第１のカメラは、旋回体４の前方かつ中位の高さを撮影し、第２のカメラは、旋回体４の前方かつ上位の高さを撮影し、第３のカメラは、旋回体４の前方かつ下位の高さを撮影する。第１～第３のカメラは、作業装置５及びその近傍の映像を撮影する。第４のカメラは、旋回体４の左側かつ前方を撮影し、作業装置５から左側に離れた所定の場所の映像を撮影する。第５のカメラは、旋回体４の右側かつ前方を撮影し、作業装置５から右側に離れた所定の場所の映像を撮影する。なお、撮影装置１３は、例えば１つの広角カメラで構成されてもよい。

【0021】

制御装置１６は、プログラムに従って処理を実行するプロセッサと、プログラムやデータを記憶するメモリ等を有する。制御装置１６は、機能的構成として、操作信号受信部１７、駆動制御部１８、通信品質受信部１９、動作認識部２０、圧縮設定部２１、映像データ圧縮部２２、及び映像データ送信部２３を有する。

【0022】

制御装置１６の操作信号受信部１７は、通信装置１５を介し遠隔操作装置２からの操作信号（詳細には、走行体３の走行、旋回体４の旋回、ブーム６の回動、アーム７の回動、又はバケット８の回動を指示する操作信号）を受信する。制御装置１６の駆動制御部１８は、操作信号受信部１７で受信された操作信号に応じて駆動装置１２（詳細には、対応する電磁比例弁）を制御する。これにより、走行体３の走行、旋回体４の旋回、ブーム６の回動、アーム７の回動、又はバケット８の回動を行わせる。

【0023】

制御装置１６の通信品質受信部１９は、通信装置１５を介し遠隔操作装置２からの通信品質の評価値（評価結果）を受信する。制御装置１６の動作認識部２０は、複数の角度センサ１４の検出結果に基づき、作業装置５の動作（詳細には、ブーム６、アーム７、及びバケット８の位置やバケット８の移動方向）及び旋回体４の動作（詳細には、旋回体４の旋回方向）を認識する。制御装置１６の圧縮設定部２１は、通信品質受信部１９で受信された通信品質の評価値と動作認識部２０で認識された作業装置５又は旋回体４の動作に基づいて、撮影装置１３で撮影された映像を示すデータ（以下、映像データと称する）の圧縮率などを設定する（詳細は後述）。

【0024】

制御装置１６の映像データ圧縮部２２は、圧縮設定部２１で設定された圧縮率などに基づいて、映像データを圧縮することにより、送信用の映像データを生成する。制御装置１６の映像データ送信部２３は、映像データ圧縮部２２で生成された送信用の映像データを、通信装置１５を介し遠隔操作装置２へ送信する。

【0025】

遠隔操作装置２は、映像を含め、種々の情報を表示する表示装置２４を備える。表示装置２４は、例えば、ショベル１の撮影装置１３を構成する５つのカメラにそれぞれ対応し、５つのカメラで撮影された映像をそれぞれ表示する５つの表示画面２５Ａ，２５Ｂ，２５Ｃ，２５Ｄ，２５Ｅを有する。

【0026】

遠隔操作装置２は、操作者の操作に応じて操作信号を生成する操作装置２６を備える。操作装置２６は、操作者が操作可能な複数の操作部材（例えば操作レバー及び操作ペダル）と、複数の操作部材の操作方向及び操作量に対応する操作信号を生成する複数のポテンショメータとを有する。これにより、ショベル１の走行体３の走行、旋回体４の旋回、ブーム６の回動、アーム７の回動、又はバケット８の回動を指示する操作信号を生成する。

【0027】

遠隔操作装置２は、ショベル１との通信を行うための通信装置２７と、制御装置２８とを備える。制御装置２８は、プログラムに従って処理を実行するプロセッサと、プログラムやデータを記憶するメモリ等を有する。制御装置２８は、機能的構成として、映像データ受信部２９、表示制御部３０、通信品質評価部３１、通信品質送信部３２、操作信号送信部３３を有する。

【0028】

制御装置２８の映像データ受信部２９は、通信装置２７を介しショベル１からの映像データを受信する。制御装置２８の表示制御部３０は、映像データ受信部２９で受信された映像データに対応する映像を表示装置２４に表示させる。

【0029】

本実施形態においては、遠隔操作装置２における制御装置２８の通信品質評価部３１は、映像データ受信部２９で受信された映像データに基づいて、ショベル１と遠隔操作装置２との間の通信の品質を評価する。詳しく説明すると、通信品質評価部３１は、例えば映像データの送信周期（固定値）と受信周期（変動値）との差により、映像データの通信にかかる遅延時間を算出する。そして、映像データの通信遅延時間やパケットロスに基づいて、通信品質の評価値（詳細には、通信品質が低いほど、小さくなる数値）を算出する。制御装置２８の通信品質送信部３２は、通信品質評価部３１で算出された通信品質の評価値を、通信装置２７を介しショベル１へ送信する。

【0030】

次に、ショベル１の制御装置１６の映像データの圧縮処理の詳細について、図４を用いて説明する。図４は、本実施形態におけるショベルの制御装置の映像データ圧縮処理の手順を表すフローチャートである。

【0031】

ステップＳ１にて、制御装置１６の通信品質受信部１９は、通信装置１５を介し遠隔操作装置２からの通信品質の評価値を受信する。ステップＳ２にて、制御装置１６の圧縮設定部２１は、通信品質受信部１９で受信された通信品質の評価値が予め設定された閾値未満であるかどうかを判定する。

【0032】

通信品質の評価値が閾値以上である場合（言い換えれば、通信品質が低下していない場合）、ステップＳ３に移る。ステップＳ３にて、制御装置１６の圧縮設定部２１は、映像データの全体のデータ量が標準値になるように、標準の圧縮率を設定する。また、制御装置１６の映像データ圧縮部２２は、標準の圧縮率にて、撮影装置１３で撮影された映像（本実施形態では、５つのカメラで撮影された映像Ａ１～Ａ５）を示す映像データの全体に対して均一に圧縮して送信用の映像データを生成する。そして、映像データ送信部２３は、当該圧縮された送信用の映像データを送信する。

【0033】

一方、通信品質の評価値が閾値未満である場合（言い換えれば、通信品質が低下している場合）、ステップＳ４に移る。ステップＳ４にて、制御装置１６の圧縮設定部２１は、通信品質の評価値が低くなるほど、映像データの全体のデータ低減量（詳細には、上記標準値から減らす量）を多くするように設定する。すなわち、圧縮設定部２１は、通信品質の評価値が低くなるほど、映像データの圧縮率を大きくするように設定する。また、ステップＳ５にて、動作認識部２０は、作業装置５の動作又は旋回体４の動作が認識されたかどうかを判定する。

【0034】

作業装置５の動作及び旋回体４の動作が認識されない場合、ステップＳ３に移る。ステップＳ３にて、制御装置１６の映像データ圧縮部２２は、ステップＳ４で設定された圧縮率にて、撮影装置１３で撮影された映像の全体を均一に圧縮し、映像データ送信部２３は、圧縮された映像を送信する。

【0035】

一方、ステップＳ５において作業装置５の動作又は旋回体４の動作が認識された場合、ステップＳ６に移る。ステップＳ６にて、制御装置１６の圧縮設定部２１は、映像を複数の映像領域に分割する（区画する）と共に、複数の映像領域に対応する複数の映像データ（以下、映像領域データと称する）のそれぞれに対し、データ低減の優先順位を設定する。その後、ステップＳ７にて、圧縮設定部２１は、ステップＳ４で設定された映像データの全体のデータ低減量となるように、ステップＳ６で設定されたデータ低減の優先順位に基づいて、複数の映像領域データのデータ低減量又は低減率をそれぞれ設定する。すなわち、圧縮設定部２１は、作業装置５の動作状況及び遠隔操作装置２との通信状況に基づいて、表示装置２４に表示させる映像データのデータ低減量（圧縮率）を、映像の映像領域単位で個別に設定する。

【0036】

詳しく説明すると、制御装置１６の圧縮設定部２１は、今回又は前回の作業装置５の動作の認識により、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データのうち、作業装置５のバケット８が現れる映像データを選択する。例えば図５で示すように、選択された映像Ａ１に対応する映像データを、作業装置５のバケット８及びその周囲を示す主の映像領域Ｒ１に対応する主映像領域データと、作業装置５のブーム６を示す映像領域Ｒ２に対応する映像領域データと、他の映像領域Ｒ３に対応する副映像領域データと、に分割する。

【0037】

また、残りの映像Ａ２～Ａ５に対応する映像データについては、例えば映像Ａ１に対応する映像データと同様である。すなわち、例えば、作業装置５のブーム６が現れていなければ、映像Ａ１の映像領域Ｒ３に対応する映像領域データと同様の扱いとする。そして、データ低減の優先順位の１番目は映像Ａ１の映像領域Ｒ２に対応する映像領域データ、２番目は映像Ａ１の映像領域Ｒ３に対応する映像領域データ及び映像Ａ２～Ａ５に対応する映像領域データ、３番目は映像Ａ１の映像領域Ｒ１に対応する映像領域データと設定する。そして、ステップＳ４で設定された映像データの全体のデータ低減量となるように、前述したデータ低減の優先順位に基づいて、映像Ａ１の映像領域Ｒ１，Ｒ２，Ｒ３及び映像Ａ２～Ａ５に対応する映像領域データのデータ低減量をそれぞれ設定する。

【0038】

そして、ステップＳ７にて、制御装置１６の映像データ圧縮部２２は、ステップＳ６で設定された映像領域ごとの映像データである映像領域データのデータ低減量にて、撮影装置１３で撮影された映像を不均一に圧縮した送信用の映像データを生成する。映像データ送信部２３は、当該圧縮された送信用の映像データを送信する。

【0039】

以上のように本実施形態においては、ショベル１と遠隔操作装置２の間の通信の品質が低下したときに、映像データの全体のデータ量を低減する。これにより、通信の品質の低下を抑えることができる。そのため、作業状況の把握に直結する映像の表示遅延を防止し、これに伴う操作装置２６の操作の遅れを抑えて、ショベル１の生産性の低下を抑えることができる。

【0040】

また、本実施形態においては、作業装置５の動作又は旋回体４の動作に応じて、作業装置５のバケット８及びその周囲を示す主の映像領域Ｒ１と他の映像領域を含む複数の映像領域に映像を分割すると共に、主の映像領域Ｒ１に対応する映像領域データである主映像領域データと、他の映像領域に対応する副映像領域データとを生成する。そして、主映像領域データより副映像領域データを優先するようにデータ削減の優先順位を設定する。例えば、主映像領域データより副映像領域データの低減量又は低減率を大きくするか、若しくは主映像領域データのデータ量より副映像領域データのデータ量方が大きくなるようにデータ低減を行う。これにより、表示装置２４で表示された映像のうち、主の映像領域Ｒ１の解像度の低下を抑える。すなわち、ショベル１の動作に必要な領域を自動的に抽出して、その解像度の低下を抑えることができる。したがって、ショベル１の生産性の低下を抑えることができる。

【0041】

なお、第１の実施形態において、ショベル１の制御装置１６は、図５で示すように、バケット８の注視すべき部分（詳細には、バケット８の開口及び爪）の中心を楕円形の中心点として、主の映像領域Ｒ１を楕円形の領域として設定する場合を例にとって説明したが、これに限られない。制御装置１６は、図６（ａ）又は図６（ｂ）で示すように、バケット８の注視すべき部分の中心を楕円形の焦点として、主の映像領域Ｒ１を楕円形の領域に設定してもよい。すなわち、図６（ａ）で示すように、バケット８が下側に移動するとき、バケット８の領域を基準としてその移動方向側の領域がその反対方向側の領域より大きくなるように主の映像領域Ｒ１の形状および範囲を設定してもよい。また、図６（ｂ）で示すように、バケット８が左側に移動するとき、バケット８の領域を基準としてその左側の領域が右側の領域より大きくなるような形状に主の映像領域Ｒ１を設定してもよい。

【0042】

また、第１の実施形態において、ショベル１の制御装置１６は、旋回体４の動作が認識されたときに、作業装置５の動作が認識されたときと同様、作業装置５のバケット８及びその周囲を示す主の映像領域Ｒ１と他の映像領域を含む複数の映像領域に映像を分割し、それぞれの映像領域に対応する映像領域データごとに（例えば主映像領域データ及び副映像領域データとでデータ低減率を変えて）圧縮処理を行う場合を例にとって説明したが、これに限られない。

【0043】

例えば、制御装置１６は、旋回体４の動作が認識されたときに、作業装置５の移動先を示す主の映像領域と他の映像領域を含む複数の映像領域に映像を分割し、このように分割された映像領域に対応する映像領域データ（それぞれ主映像領域データ及び副映像領域データ）に対して圧縮処理を行ってもよい。すなわち、例えば旋回体４の左旋回に伴って作業装置５が左側に移動するとき、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データを、映像Ａ４（主の映像領域）に対応する主映像領域データと、他の映像Ａ１－Ａ３，Ａ５（他の映像領域）に対応する副映像領域データとに分割し、映像Ａ４に対応する主映像領域データより映像Ａ１－Ａ３，Ａ５に対応する副映像領域データを優先して圧縮するようにデータ削減の優先順位を設定してもよい。また、例えば旋回体４の右旋回に伴って作業装置５が右側に移動するとき、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データを、映像Ａ５（主の映像領域）に対応する主映像領域データと、他の映像Ａ１－Ａ４（他の映像領域）に対応する副映像領域データとに分割し、映像Ａ５に対応する主映像領域データより映像Ａ１－Ａ４に対応する副映像領域データを優先するようにデータ削減の優先順位を設定してもよい。

【0044】

本発明の第２の実施形態を、図７を用いて説明する。図７は、本実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。なお、本実施形態において、第１の実施形態と同等の部分は同一の符号を付し、適宜、説明を省略する。

【0045】

本実施形態のショベル１の制御装置１６Ａは、第１の実施形態の制御装置１６と同様、操作信号受信部１７、駆動制御部１８、通信品質受信部１９、動作認識部２０、圧縮設定部２１、映像データ圧縮部２２、及び映像データ送信部２３を有する。

【0046】

制御装置１６Ａは、移動体検知部３４を更に有する。制御装置１６Ａの移動体検知部３４は、撮影装置１３で撮影された映像の処理（若しくは、移動体検知センサ３５の検知）により、ショベル１の周囲に存在するダンプトラック（移動体）を検知する。

【0047】

制御装置１６Ａの圧縮設定部２１は、通信品質の評価値が閾値未満である場合、映像データの全体のデータ低減量を設定する。そして、移動体検知部３４でダンプトラックが検知された場合、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データのうち、ダンプトラックが現れる映像データを選択する。例えば、選択された映像Ａ４に対応する映像データを、ダンプトラック及びその周囲を示す主の映像領域に対応する主映像領域データと、他の映像領域に対応する副映像領域データと、に分割する。

【0048】

また、残りの映像Ａ１～Ａ３，Ａ５に対応する映像データについては、例えば映像Ａ４に対応する映像データと同様である。すなわち、例えば、ダンプトラックが現れていなければ、映像Ａ４の他の映像領域に対応する映像領域データと同様の扱いとする。そして、データ低減の優先順位の１番目は映像Ａ４の他の映像領域に対応する映像領域データ及び映像Ａ１～Ａ３，Ａ５に対応する映像領域データ、２番目は映像Ａ４の主の映像領域に対応する映像領域データと設定する。そして、設定された映像データの全体のデータ低減量となるように、前述したデータ低減の優先順位に基づいて、映像Ａ４の主の映像領域、他の映像領域，及び映像Ａ１～Ａ３，Ａ５に対応する映像領域データのデータ低減量をそれぞれ設定する。

【0049】

以上のように構成された本実施形態においても、第１の実施形態と同様、ショベル１と遠隔操作装置２の間の通信の品質の低下を抑えつつ、ショベル１の生産性の低下を抑えることができる。

【0050】

本発明の第３の実施形態を、図８を用いて説明する。図８は、本実施形態におけるショベルの制御装置の機能的構成を関連機器と共に表すブロック図である。なお、本実施形態において、第１及び第２の実施形態と同等の部分は同一の符号を付し、適宜、説明を省略する。

【0051】

本実施形態のショベル１の制御装置１６Ｂは、第２の実施形態の制御装置１６Ａと同様、操作信号受信部１７、駆動制御部１８、通信品質受信部１９、圧縮設定部２１、映像データ圧縮部２２、映像データ送信部２３、及び移動体検知部３４を有する。

【0052】

制御装置１６Ｂは、第２の実施形態の制御装置１６Ａの動作認識部２０に代えて、動作予測部３６を有する。制御装置１６Ｂの動作予測部３６は、動作認識部２０と同様、複数の角度センサの検出結果から作業装置５の動作及び旋回体４の動作を認識する。そして、作業装置５の動作又は旋回体４の動作の推移や、移動体検知部３４によるダンプトラックの検知の有無により、ショベル１の各作業に係わるショベルの動作パターンを学習して記憶する。そして、前述した動作パターンを用いて、現在のショベルの動作若しくは現在の車両の検知から、将来のショベルの動作を予測する。

【0053】

具体例として、ショベル１の積込作業に係わるショベルの動作パターンを用いて説明する。この動作パターンでは、まず、例えばショベル１の作業装置５から左側又は右側に離れた所定の場所に、ダンプトラックが現れる。その後、ショベル１の旋回体４がダンプトラックに向かうように旋回する。その後、ショベル１の作業装置５が動作する。

【0054】

制御装置１６Ｂの動作予測部３６は、移動体検知部３４でダンプトラックが検知された場合、ショベル１の旋回体４がダンプトラックに向かうように旋回することを予測する。制御装置１６Ｂの圧縮設定部２１は、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データのうち、ダンプトラックが現れる映像データを選択する。例えば、選択された映像Ａ４に対応する映像データを、ダンプトラック及びその周囲を示す主の映像領域に対応する主映像領域データと、他の映像領域に対応する副映像領域データと、に分割する。また、５つのカメラで撮影された映像Ａ１～Ａ５に対応する映像データのうち、作業装置５のバケット８が現れる映像データを選択する。例えば、選択された映像Ａ１に対応する映像データを、作業装置５のバケット８及びその周囲を示す主の映像領域Ｒ１に対応する主映像領域データと、作業装置５のブーム６を示す映像領域Ｒ２に対応する映像領域データと、他の映像領域Ｒ３に対応する副映像領域データと、に分割する（上述の図５又は図６（ｂ）参照）。

【0055】

また、残りの映像Ａ２，Ａ３，Ａ５に対応する映像データについては、例えば映像Ａ１に対応する映像データと同様である。すなわち、例えば、作業装置５のブーム６が現れていなければ、映像Ａ１の映像領域Ｒ３に対応する映像領域データと同様の扱いとする。そして、データ低減の優先順位の１番目は映像Ａ１の映像領域Ｒ２に対応する映像領域データ、２番目は映像Ａ１の映像領域Ｒ３に対応する映像領域データ、映像Ａ４の他の映像領域に対応する映像領域データ、及び映像Ａ２，Ａ３，Ａ５に対応する映像領域データ、３番目は映像Ａ１の映像領域Ｒ１に対応する映像領域データ及び映像Ａ４の主の映像領域に対応する映像領域データと設定する。そして、通信品質の低下に応じて設定された映像データの全体のデータ低減量となるように、前述したデータ低減の優先順位に基づいて、映像Ａ１の映像領域Ｒ１，Ｒ２，Ｒ３、映像Ａ４の主の映像領域及び他の映像領域、並びに映像Ａ２，Ａ３，Ａ５に対応する映像領域データのデータ低減量をそれぞれ設定する。

【0056】

以上のように構成された本実施形態においても、第１の実施形態と同様、ショベル１と遠隔操作装置２の間の通信の品質の低下を抑えつつ、ショベル１の生産性の低下を抑えることができる。

【0057】

なお、第１～第３の実施形態において、ショベル１は、作業装置５の動作に係わる状態量を検出するセンサとして、ブーム６の回動角、アーム７の回動角、及びバケット８の回動角をそれぞれ検出する複数の角度センサ１４を備えた場合を例にとって説明したが、これに限られない。ショベル１は、例えば、ブーム６の傾斜角、アーム７の傾斜角、及びバケット８の傾斜角をそれぞれ検出する複数の慣性計測装置を備えてもよい。そして、複数の慣性計測装置の検出結果に基づき、作業装置５の動作を認識してもよい。

【0058】

また、第１～第３の実施形態において、ショベル１の制御装置１６は、複数の角度センサ１４の検出結果に基づき、作業装置５の動作及び旋回体４の動作を認識する場合を例にとって説明したが、これに限られない。遠隔操作装置２から受信した操作信号に基づき、作業装置５の動作及び旋回体４の動作を認識してもよい。

【0059】

なお、以上においては、作業機械が大型のショベルである場合を例にとって説明したが、これに限られない。例えば、中型又は小型のショベルであってもよいし、ショベル以外の他の作業機械（詳細には、クレーン車等）であってもよい。

【0060】

第１の発明は、作業装置、前記作業装置及びその周囲の映像を撮影する撮影装置、並びに前記撮影装置で撮影された映像を映像データとして第１の通信装置を介して送信すると共に、前記第１の通信装置を介して受信した操作信号に応じて前記作業装置の動作を制御する第１の制御装置を備えた作業機械と、種々の情報を表示する表示装置、操作者の操作に応じて前記操作信号を生成する操作装置、並びに前記作業機械から第２の通信装置を介して受信した前記映像データに対応する映像を前記表示装置に表示させると共に、前記操作装置で生成された前記操作信号を前記第２の通信装置を介して前記作業機械へ送信する第２の制御装置を備えた遠隔操作装置と、を備えた遠隔操作型作業機械システムにおいて、前記遠隔操作装置の前記第２の制御装置は、前記作業機械との通信の品質を評価し、当該評価結果を前記作業機械に送信し、前記作業機械の前記第１の制御装置は、前記操作信号に基づいて、前記作業装置の動作状況を判定し、前記遠隔操作装置から、前記作業機械と前記遠隔操作装置の間の通信品質が低下していることを示す評価結果を受信し、かつ前記作業装置が動作していると判定した場合、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に、前記複数の映像領域データのそれぞれに対するデータ低減量を設定し、当該設定された前記複数の映像領域データごとのデータ低減量に基づいて低減された送信用の映像データを生成し、当該送信用の映像データを前記遠隔操作装置に送信する。

【0061】

第２の発明は、作業装置、前記作業装置及びその周囲の映像を撮影する撮影装置、並びに前記撮影装置で撮影された映像を映像データとして第１の通信装置を介して送信すると共に、前記第１の通信装置を介して受信した操作信号に応じて前記作業装置の動作を制御する第１の制御装置を備えた作業機械と、種々の情報を表示する表示装置、操作者の操作に応じて前記操作信号を生成する操作装置、並びに前記作業機械から第２の通信装置を介して受信した前記映像データに対応する映像を前記表示装置に表示させると共に、前記操作装置で生成された前記操作信号を前記第２の通信装置を介して前記作業機械へ送信する第２の制御装置を備えた遠隔操作装置と、を備えた遠隔操作型作業機械システムにおいて、前記遠隔操作装置の前記第２の制御装置は、前記作業機械との通信の品質を評価し、当該評価結果を前記作業機械に送信し、前記作業機械の前記第１の制御装置は、前記操作信号に基づいて、前記作業装置の動作状況を判定し、前記遠隔操作装置から、前記作業機械と前記遠隔操作装置の間の通信品質が低下していることを示す評価結果を受信し、かつ前記作業装置が動作していると判定した場合、前記映像データを前記映像の複数の映像領域に対応する複数の映像領域データに分割すると共に、前記複数の映像領域データのそれぞれに対するデータ低減量を設定し、当該設定された前記複数の映像領域データごとのデータ低減量に基づいて低減された送信用の映像データを生成し、当該送信用の映像データを前記遠隔操作装置に送信する。

【0062】

上記第１又は第２の発明によれば、作業機械と遠隔操作装置との間の通信品質が低下した場合でも、例えば、遠隔操作装置に表示可能な映像領域のうちの作業に直結するような領域の映像品質を犠牲にすることなく、リアルタイムかつ高品質な映像を遠隔操作装置に表示させることができ、操作や作業の遅延、ひいては作業機械の生産性の低下を抑えることができる。

【符号の説明】

【0063】

１ ショベル（作業機械）
２ 遠隔操作装置
３ 走行体
４ 旋回体
５ 作業装置
８ バケット（作業具）
１３ 撮影装置
１５ 通信装置
１６，１６Ａ，１６Ｂ 制御装置
２４ 表示装置
２６ 操作装置
２７ 通信装置
２８ 制御装置
３５ 移動体検知センサ
１００ ショベルシステム（作業機械システム）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】