特許 7491046 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-20

(45)【発行日】2024-05-28

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240521BHJP

   E02F 9/26 20060101ALI20240521BHJP

【ＦＩ】

H04N7/18 J

E02F9/26 A

【請求項の数】 5

(21)【出願番号】P 2020086362

(22)【出願日】2020-05-15

(65)【公開番号】P2021180468

(43)【公開日】2021-11-18

【審査請求日】2023-02-06

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】羽馬 涼太

(72)【発明者】

【氏名】藤原 裕介

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

(72)【発明者】

【氏名】佐伯 誠司

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０２０／０４４８３４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０９０９８５（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１５５８７８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０９５８３０（ＷＯ，Ａ１）

【文献】特開２００６－２８２０３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｅ０２Ｆ ９／００－９／１８

Ｅ０２Ｆ ９／２４－９／２８

(57)【特許請求の範囲】

【請求項1】

遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知要素と、
前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測要素と、
前記画像予測要素により前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第１指定画像領域を除く第２指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮要素と、
を備えている
ことを備えていることを特徴とする画像処理装置。

【請求項2】

請求項１記載の画像処理装置において、
前記画像予測要素が、入力画像としての前記撮像画像データに応じた一のフレームの撮像画像に対して、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様とに基づき、前記遠隔操作装置における前記作業機械の遠隔操作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第１遅れ時間、または、前記作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第２遅れ時間だけ後の撮像画像を予測画像として予測し、かつ、
前記入力画像と当該予測画像の差分が符号化された際のデータ量が前記閾値を超えるか否かを予測する
ことを特徴とする画像処理装置。

【請求項3】

請求項１または２記載の画像処理装置において、
前記画像圧縮要素が、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、前記撮像画像の一部を構成する前記第１指定画像領域を指定する
ことを特徴とする画像処理装置。

【請求項4】

請求項３に記載の画像処理装置において、
前記画像圧縮要素が、前記作業機械の乗員室の内部に配置されている前記撮像装置により撮像された、前記乗員室を画定する窓枠を通じて前記乗員室の外部の様子を示す前記撮像画像において、前記窓枠により少なくとも部分的に画定されている画像領域を前記第１指定画像領域として指定する
ことを特徴とする画像処理装置。

【請求項5】

遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知工程と、
前記状態検知工程において検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測工程と、
前記画像予測工程において前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第１指定画像領域を除く第２指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮工程と、を含む
ことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理技術に関する。

【背景技術】

【0002】

現場の建設機械は無線ネットワークで接続されており、移動や旋回など車両本体が大きく動く場合、建設機械の動作に伴って、建設機械に付随するアンテナの向きや位置が変化する。これにより、無線基地局と建設機械の間の電波伝搬環境が変化し、瞬時的に回線容量が減少することによって、データの欠落が生じる可能性がある。データの欠落は、モニタ画像の視認性を低下させ、遠隔操作時の作業効率を低下させる。

【0003】

そこで、建設機械の遠隔操作に際して、通信環境の変化に対して強靭な通信が可能となり、映像の乱れを削減し、操作時の作業効率を向上させるための技術が提案されている（例えば、特許文献１参照）。具体的には、映像エンコーダにより映像データが圧縮されて生成された第１データと、建設機械において駆動されているアクチュエータに応じて設定される補正データ生成率とから第２データが生成される。「補正データ生成率」は、第１データに対する補正データの割合である。「補正データ」とは、第１データを用いて補正のために生成されるデータである。そして、第１データおよび第２データを合わせた第３データが建設機械から操縦装置に送信され、当該操縦装置のモニタにより第３データが復号化されたうえで表示される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０２１３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、油圧ショベル等の作業機械の作業アタッチメントが速く動作する場合など、作業機械およびその環境の様子を表わす動画像のフレーム間の差分が大きくなる状況では、映像エンコーダによる圧縮後の動画像データの量が一時的に多くなる。このため、回線容量の低下が生じていない場合であっても圧縮後の動画像データ量が過多となり、遠隔操作装置の画像出力装置に出力される動画像の不連続などが生じる可能性がある。

【0006】

そこで、本発明は、動画像のフレーム間の差分が大きくなる状況であっても、遠隔操作装置の画像出力装置に出力される動画像の連続性の向上を図りうる装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の画像処理装置は、
遠隔操作装置による作業機械の遠隔操作態様または前記作業機械の動作態様を検知するための状態検知要素と、
前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、撮像装置により撮像された前記作業機械およびその環境の撮像画像を表わす撮像画像のデータ量が閾値を超えるか否かを予測する画像予測要素と、
前記画像予測要素により前記撮像画像のデータ量が前記閾値を超えると予測されたことを要件として、前記撮像画像のうち第１指定画像領域を除く第２指定画像領域の指定周波数を超える高周波成分を除去する画像圧縮要素と、
を備えている。

【0008】

当該構成の画像処理装置によれば、遠隔操作装置による作業機械の遠隔操作態様または当該作業機械の動作態様の検知結果に鑑みて、撮像画像のデータ量が閾値を超えると予測される場合、撮像画像の第１指定画像領域を除く第２指定画像領域の指定周波数を超える高周波成分が除去される。これにより、撮像画像のデータ量の低減が図られるとともに、遠隔操作装置の画像出力装置に出力される画像の第１指定画像領域のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。

【0009】

本発明の画像処理装置において、
前記画像予測要素が、入力画像としての前記撮像画像データに応じた一のフレームの撮像画像に対して、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様とに基づき、前記遠隔操作装置における前記作業機械の遠隔操作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第１遅れ時間、または、前記作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第２遅れ時間だけ後の撮像画像を予測画像として予測し、かつ、
当該入力画像と当該予測画像の差分が符号化された際のデータ量が前記閾値を超えるか否かを予測することが好ましい。

【0010】

当該構成の画像処理装置によれば、遠隔操作装置における作業機械の遠隔操作態様が、当該作業機械の動作態様に反映されるまでの第１遅れ時間、および／または、作業機械の動作態様が当該作業機械およびその環境の様子を示す撮像画像に反映されるまでの第２遅れ時間が勘案されることにより、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが予測される。そして、当該符号化された際のデータ量が閾値を超えると予測される場合、前記のように、撮像画像の第１指定画像領域を除く第２指定画像領域の指定周波数を超える高周波成分が除去される。これにより、撮像画像のデータ量の低減が図られるとともに、遠隔操作装置の画像出力装置に出力される画像の第１指定画像領域のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。

【0011】

本発明の画像処理装置において、
前記画像圧縮要素が、前記状態検知要素により検知された前記遠隔操作装置による前記作業機械の遠隔操作態様または前記作業機械の動作態様に基づき、前記撮像画像の一部を構成する前記第１指定画像領域を指定することが好ましい。

【0012】

当該構成の画像処理装置によれば、フレーム間の差分が閾値を超えると予測される、すなわち、遠隔操作装置による作業機械の遠隔操作態様または作業機械の動作態様に鑑みて動きまたは変位量が比較的大きいと予測される物体（例えば、作業機械の一部または作業機械の周囲にある物体）が包含されるように撮像画像において第１指定画像領域が指定されうる。これにより、遠隔操作装置を構成する画像出力装置に出力される、動きまたは変位量が比較的大きいと予測される物体の視認性の向上、ひいては当該視認結果に基づく遠隔操作装置による作業機械の遠隔操作がオペレータにとって容易になる。

【0013】

本発明の画像処理装置において、
前記画像圧縮要素が、前記作業機械の乗員室の内部に配置されている前記撮像装置により撮像された、前記乗員室を画定する窓枠を通じて前記乗員室の外部の様子を示す前記撮像画像において、前記窓枠により少なくとも部分的に画定されている画像領域を前記第１指定画像領域として指定することが好ましい。

【0014】

当該構成の画像処理装置によれば、遠隔操作装置を構成する画像出力装置に出力される撮像画像において、乗員室を画定する窓枠により少なくとも部分的に画定されている画像領域に対してオペレータの注意が集中する蓋然性が高いことに鑑みて、当該オペレータの操作の円滑の観点から適当に遠隔操作装置の画像出力装置に出力される画像の連続性の向上が図られる。

【図面の簡単な説明】

【0015】

【図1】遠隔操作支援システムおよび画像処理装置の構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】遠隔操作支援装置の第１機能に関する説明図。

【図5】遠隔操作支援装置の第２機能に関する説明図。

【図6A】撮像画像のデータ量の圧縮に関する説明図。

【図6B】撮像画像のデータ量の圧縮に関する説明図。

【図7】環境画像の表示態様に関する説明図。

【図8A】撮像画像のデータ量の低減前の時間変化態様に関する説明図。

【図8B】撮像画像のデータ量の低減後の時間変化態様に関する説明図。

【図9】第１および第２指定画像領域の指定態様に関する説明図。

【図10】第１および第２指定画像領域の指定態様に関する説明図。

【図11】撮像画像に指定対象物体が含まれる場合の第１および第２指定画像領域の指定態様に関する説明図。

【発明を実施するための形態】

【0016】

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0017】

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0018】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0019】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

【0020】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0021】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0022】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0023】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0024】

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0025】

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0026】

音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

【0027】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0028】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

【0029】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

【0030】

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0031】

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0032】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0033】

（機能）
前記構成の遠隔操作支援システムの基本機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0034】

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

【0035】

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0036】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。ここで、画像処理装置３０により、詳細については後述される画像処理が実行される（図４／ＳＴＥＰ３００）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該画像処理が施された撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。

【0037】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。画像処理装置３０が遠隔操作支援サーバ１０により構成されている場合、撮像画像データが画像処理装置３０により画像処理されることにより環境画像データが生成されてもよい。

【0038】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。

【0039】

これにより、例えば、図７に示されているように、キャブ４２４を画定する、右窓枠Ｑ１、上窓枠Ｑ２、左窓枠Ｑ３および下窓枠Ｑ４により構成されている窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる環境画像が画像出力装置２２１に出力される。

【0040】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

【0041】

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

【0042】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0043】

前記構成の画像処理装置３０の画像処理機能（図４／ＳＴＥＰ３００参照）の詳細について図５に示されているフローチャートを用いて説明する。

【0044】

画像処理装置３０において、状態検知要素３１により、作業機械４０に搭載されている各種センサの出力信号に基づき、当該作業機械４０の動作態様が認識または検知される（図５／ＳＴＥＰ３０２）。これに代えて、状態検知要素３１により、遠隔操作装置２０との通信に基づき、遠隔操作機構２１１の操作態様が認識されてもよい（図４／ＳＴＥＰ２１６参照）。

【0045】

画像予測要素３２により、作業機械４０の動作態様に基づき、フレーム間予測を用いて前記撮像画像を符号化したときのデータ量が閾値を超えるか否かが判定される（図５／ＳＴＥＰ３０４）。入力画像としての一のフレームの撮像画像に対して、予測画像としての第２遅れ時間τ２だけ後の他のフレームの撮像画像が作業機械４０の動作態様に基づいて予測され、かつ、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが判定される。第２遅れ時間τ２は、作業機械４０の動作態様が当該作業機械４０およびその環境の様子を示す撮像画像に反映されるまでの遅れ時間である。

【0046】

入力画像としての一のフレームの撮像画像に対して、予測画像としての第１遅れ時間τ１だけ後の他のフレームの撮像画像が作業機械４０の動作態様に基づいて予測され、かつ、当該入力画像と当該予測画像の差分が符号化された際のデータ量が閾値を超えるか否かが判定されてもよい。第１遅れ時間τ１は、遠隔操作装置２０における作業機械４０の遠隔操作態様が当該作業機械４０およびその環境の様子を示す撮像画像に反映されるまでの遅れ時間である。

【0047】

例えば、下部走行体４１０に対して上部旋回体４２０が旋回する場合、バケット４４５（作業部）で掬い上げた土砂を篩い落とす際に小刻みに当該バケット４４５が動く場合、および、作業機械４０が下部走行体４１０の動作により移動している際に上部旋回体４２０が大きく振動する場合、入力画像と予測画像の差分が大きくなる。これらの場合、例えば図８Ａに示されているように、時刻ｔ１から時刻ｔ２までの期間において、当該差分が符号化された際のデータ量（実線参照）が閾値（破線参照）を超える場合がある。時刻ｔ１において撮像画像のデータ量が閾値を超えることは、第２遅れ時間τ２（または第１遅れ時間τ１）だけ前の時刻における作業機械４０の動作態様（または遠隔操作機構２１１の操作態様）に基づいて予測されうる。

【0048】

閾値は、作業機械４０、遠隔操作支援サーバ１０および遠隔操作装置２０の間の撮像画像データの通信速度の高低、通信速度の安定性および／または通信料金に基づいて適応的にまたはあらかじめ設定されてもよい。

【0049】

当該判定結果が否定的である場合（図５／ＳＴＥＰ３０４‥Ｎｏ）、該判定結果が否定的である場合（図５／ＳＴＥＰ３０４‥ＮＯ）、画像圧縮要素３４により、撮像画像データが通常通り圧縮される（図５／ＳＴＥＰ３０８）。
具体的には、図６Ａに示されるように、実機撮像装置４１２により撮像された撮像画像に対して、パラメータ変更処理と、フレーム間予測による符号化処理を行う。

【0050】

パラメータ変更処理は、撮像画像のデータ量を低減させる処理である。例えば、解像度を下げる（隣接する画素との平均化処理）、輝度を上げる（全画素を一様に白色に近づける）、輝度を下げる（全画素を一様に黒色に近づける）、コントラストを下げる、といった処理が行われる。

【0051】

フレーム間予測は、入力画像に対して予測画像を作成し当該入力画像と当該予測画像の差分を符号化する処理である。

【0052】

その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ３０４‥ＹＥＳ）、画像圧縮要素３４により、撮像画像のデータ量が閾値以下になるように、当該撮像画像データが加工かつ圧縮される（図５／ＳＴＥＰ３０６）。

【0053】

具体的には、図６Ｂに示されるように、実機撮像装置４１２により撮像された撮像画像に対して、パラメータ変更処理と、高周波成分除去処理と、フレーム間予測による符号化処理を行う。パラメータ変更処理として、隣接する画素の平均化処理により解像度が下げられてもよい（例えば、解像度が３８４０＊２１６０から１９２０＊１０８０に変更される）。パラメータ変更処理として、全画素の輝度が一律に指定値だけ増加されてもよい。全画素が一様に白一色に近付くことで圧縮しやすくなる。パラメータ変更処理として、全画素の輝度が一律に指定値だけ低減されてもよい。全画素が一様に黒一色に近付くことで圧縮しやすくなる。パラメータ変更処理として、全画素のコントラストに一律に所定値１／Ｘが掛けられることにより、コントラストが低下されてもよい。パラメータ変更処理とフレーム間予測による符号化処理については図６Ａに示される通常通りの圧縮処理と同様である。

【0054】

高周波成分除去処理をするにあたって、まず、状態検知要素３１により検知された作業機械４０の動作態様に基づき、画像圧縮要素３４により撮像画像の一部を構成する第１指定画像領域が指定される。例えば、作業機構４４０を動かしてバケット４４５により瓦礫等をある箇所からすくって他の箇所に置くという動作態様である場合、図８に示されているように、上窓枠Ｑ２および下窓枠Ｑ４のそれぞれにより上下部分が画定された略矩形状の境界線Ｃにより囲まれている、作業機構４４０の少なくとも一部および瓦礫または土砂の山ｏｂｊを含む画像領域が第１指定画像領域Ａ１として指定される。撮像画像における第１指定領域Ａ１の占有面積は、撮像画像のデータ量の閾値の超過量が大きくなるほど小さく設定されうる。

【0055】

また、作業機構４４０を動かすことに加えて上部旋回体４２０を下部走行体４１０に対して左右に交互に旋回させながらバケット４４５により瓦礫等をある箇所からすくって他の箇所に置くという動作態様である場合、図１０に示されているように、窓枠全体により全部が画定された境界線Ｃにより囲まれている、作業機構４４０の少なくとも一部および瓦礫または土砂の山ｏｂｊを含む図９よりも広い画像領域が第１指定画像領域Ａ１として指定されてもよい。

【0056】

さらに、上部旋回体４２０を下部走行体４１０に対して左方向に旋回させるという動作態様である場合、窓枠の内側の少なくとも一部の画像領域に加えて、左窓枠Ｑ３の左側の画像領域が第１指定画像領域Ａ１として指定されてもよい。同様に、上部旋回体４２０を下部走行体４１０に対して右方向に旋回させるという動作態様である場合、窓枠の内側の少なくとも一部の画像領域に加えて、右窓枠Ｑ４の右側の画像領域が第１指定画像領域Ａ１として指定されてもよい。

【0057】

図１１に示されているように、撮像画像において左窓枠Ｑ３の左側などにトラックまたは作業員などの指定対象物体ｏｂｊ２が抽出された場合、当該指定対象物体ｏｂｊ２を囲む境界線Ｃ２の内側の画像領域が第１指定領域Ａ１２として指定されてもよい。図１１においては、図９と同様に、上窓枠Ｑ２および下窓枠Ｑ４のそれぞれにより上下部分が画定された略矩形状の境界線Ｃ１により囲まれている、作業機構４４０の少なくとも一部および瓦礫または土砂の山ｏｂｊ１を含む画像領域が第１指定画像領域Ａ１１として指定されている。

【0058】

そして、撮像画像の第１指定画像領域Ａ１を除く第２指定画像領域Ａ２の指定周波数を超える高周波成分が除去される。この際、例えば、ＤＳＴ（離散コサイン変換）、すなわち、画像を８×８ピクセルの領域に分割し、各分割領域において空間周波数変換したうえで、情報量の少ない高周波成分を除去する手法が用いられる。これにより、第１指定画像領域Ａ１におけるコントラストは明確である一方、第２指定画像領域Ａ２におけるコントラストが不明確な（ぼやけている）環境画像が、遠隔操作装置２０において画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４、図９、図１０および図１１参照）。

【0059】

（効果）
当該構成の遠隔操作支援システムを構成する画像処理装置３０によれば、作業機械４０の動作態様の検知結果に鑑みて、撮像画像のデータ量が閾値を超えると予測される場合、撮像画像の第１指定画像領域Ａ１を除く第２指定画像領域Ａ２の指定周波数を超える高周波成分が除去される（図５／ＳＴＥＰ３０４‥ＹＥＳ→ＳＴＥＰ３０６、図９、図１０および図１１参照）。これにより、例えば、図８Ｂに示されているように、時刻ｔ１から時刻ｔ２までの期間においても撮像画像のデータ量（実線参照）が閾値以下となるように、当該データ量の低減が図られる。そして、遠隔操作装置２０の画像出力装置２２１に出力される環境画像の第１指定画像領域Ａ１のフレーム間の連続性、ひいてはオペレータによる視認性の向上が図られる。

【符号の説明】

【0060】

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、３０‥画像処理装置、３１‥状態検知要素、３２‥画像予測要素、３４‥画像圧縮要素、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】