特開 2022-144491 撮像機能制御システムおよび撮像機能制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022144491

(43)【公開日】2022-10-03

(54)【発明の名称】撮像機能制御システムおよび撮像機能制御方法

(51)【国際特許分類】

   E02F 9/20 20060101AFI20220926BHJP

   E02F 9/26 20060101ALI20220926BHJP

   H04N 7/18 20060101ALI20220926BHJP

   H04N 5/232 20060101ALI20220926BHJP

   H04N 5/222 20060101ALI20220926BHJP

【ＦＩ】

E02F9/20 N

E02F9/26 B

H04N7/18 J

H04N7/18 E

H04N5/232 030

H04N5/222 100

H04N5/232 990

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021045532

(22)【出願日】2021-03-19

(71)【出願人】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】特許業務法人創成国際特許事務所

(72)【発明者】

【氏名】石田 大輝

(72)【発明者】

【氏名】羽馬 涼太

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【テーマコード（参考）】

2D003

2D015

5C054

5C122

【Ｆターム（参考）】

2D003AA01

2D003AB04

2D003AC06

2D003BA01

2D003BA04

2D003BB04

2D003CA02

2D003CA10

2D003DA04

2D003DB04

2D003DB05

2D003FA02

2D015HA03

2D015HB04

2D015HB05

5C054CA04

5C054CC02

5C054CF06

5C054CF07

5C054CG02

5C054CG07

5C054CG08

5C054EA01

5C054EA05

5C054EA07

5C054FF02

5C054GB01

5C054HA30

5C122DA14

5C122EA44

5C122EA47

5C122EA66

5C122GD01

5C122GD06

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】作業機械の状態に鑑みて、当該作業機械に搭載されている実機撮像装置の撮像機能を適当な形態で制御することにより、オペレータにとっての作業機械の周囲の様子を把握する利便性の向上を図りうるシステム等を提供する。
【解決手段】第１状態では第２状態と比較して、実機撮像装置４１２のスイング機能が制限される。作業機械４０が第１状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが初期姿勢φ₀に制限される。その一方、作業機械４０が第２状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが直前の操作停止時における姿勢φのままである。
【選択図】図６

【特許請求の範囲】

【請求項1】

入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御するシステムであって、
前記入力インターフェースを通じたスイング操作の態様に応じて、前記実機撮像装置の撮像機能としてのスイング機能を制御する撮像機能制御要素を備え、
前記撮像機能制御要素が、前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態よりも、前記実機撮像装置の撮像機能としてのスイング機能を制限する
撮像機能制御システム。

【請求項2】

請求項１に記載の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に前記実機撮像装置の姿勢をスイング機能の発揮により所定の初期姿勢に復帰させる一方、前記第２状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に前記実機撮像装置の姿勢をそのままに維持させる
撮像機能制御システム。

【請求項3】

請求項１に記載の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に、前記実機撮像装置の姿勢が所定の初期姿勢に復帰するまでの間、前記実機撮像装置を通じて取得された撮像画像を前記出力インターフェースに断続的に出力させる、または、前記スイング操作の停止時の撮像画像を前記出力インターフェースに継続的に出力させる
撮像機能制御システム。

【請求項4】

請求項１に記載の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が入力された際に、前記実機撮像装置の姿勢をスイング機能の発揮により所定の使用姿勢にする
撮像機能制御システム。

【請求項5】

入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御する方法であって、
演算処理装置が実行する工程として、前記入力インターフェースを通じたスイング操作の態様に応じて、前記実機撮像装置の撮像機能としてのスイング機能を制御する撮像制御処理を含み、
前記撮像制御処理が、前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態よりも、前記実機撮像装置の撮像機能としてのスイング機能を制限する工程
を含んでいる撮像機能制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、油圧ショベル等の作業機械に搭載されている実機撮像装置の撮像機能を制御する技術に関する。

【背景技術】

【0002】

オペレータが作業機械の作業状況を表わす遠隔画像を参照しながら、遠隔操作装置を用いて作業機械を操作する技術が提案されている（例えば、特許文献１参照）。オペレータが作業機械を遠隔操作する場合、オペレータが作業機械（実機）に搭乗したうえで実機操作する場合と比較して、当該オペレータにとっては作業機械の周囲の様子を把握する際の感覚が異なる。このため、オペレータとしては実機操作時と同様に、視線の先を様々に変化させて作業機械の周囲の様子を確認するため、当該作業機械に搭載されている実機撮像装置の向きを変化するようにシステムが構成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０２１３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、実機撮像装置のスイング機能の自由度が過度に高いまたは低い場合、当該実機撮像装置を通じて取得された撮像画像の変化態様が作業機械のカメラの表示倍率を大きくした設定を解除するのを失念してしまったりカメラの表示倍率が最小（初期）表示倍率に戻り切らなかったりすると、周囲の状況の把握に支障が生じてしまい、作業を行うのに必要な周囲の状況の把握が不十分となる。

【0005】

そこで、本発明は、作業機械の状態に鑑みて、当該作業機械に搭載されている実機撮像装置の撮像機能を適当な形態で制御することにより、オペレータにとっての作業機械の周囲の様子を把握する利便性の向上を図りうるシステム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の撮像機能制御システムは、
入力インターフェースを通じた操作に応じて動作が制御される作業機械に搭載され、出力インターフェースに出力される撮像画像を取得するための実機撮像装置による撮像機能を制御するシステムであって、
前記入力インターフェースを通じたスイング操作の態様に応じて、前記実機撮像装置の撮像機能としてのスイング機能を制御する撮像機能制御要素を備え、
前記撮像機能制御要素が、前記作業機械が操作されうる状態または前記作業機械が作業している状態である第１状態では、前記作業機械の操作されえない状態または前記作業機械が作業を停止している状態である第２状態よりも、前記実機撮像装置の撮像機能としてのスイング機能を制限する。

【0007】

当該構成の撮像機能制御システムによれば、第１状態では第２状態と比較して、実機撮像装置のスイング機能が制限される。「スイング機能」とは、パン機能およびチルト機能のうち少なくとも一方の機能を意味する。すなわち、第１状態では第２状態と比較して、実機撮像装置がパン機能およびチルト機能の両方を有している場合には当該両方の機能のうち少なくともいずれか一方の機能が制限され、実機撮像装置がパン機能およびチルト機能のうちいずれか一方の機能のみを有している場合には当該一方の機能が制限される。この結果、出力インターフェースに映り込む実空間領域の変化量が抑制される分だけ、第１状態においてオペレータの注意が散漫になって入力インターフェースを通じた作業機械の操作に支障が生じる事態が回避されうる。

【0008】

前記構成の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に前記実機撮像装置の姿勢をスイング機能の発揮により所定の初期姿勢に復帰させる一方、前記第２状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に前記実機撮像装置の姿勢をそのままに維持させる
ことが好ましい。

【0009】

当該構成の撮像機能制御システムによれば、第１状態においてスイング操作が停止された場合、実機撮像装置の姿勢が初期姿勢に戻される。この結果、実機撮像装置のスイング操作停止時の姿勢に応じた実空間領域の様子をオペレータに把握させた後、当該オペレータによる入力インターフェースを通じたスイング操作を要せずに、実機撮像装置の初期姿勢に応じた実空間領域の様子をオペレータに把握させることができる。その一方、第２状態においてスイング操作が停止された場合、実機撮像装置の姿勢がそのまま維持される。この結果、作業機械の操作を停止している期間においてオペレータによる入力インターフェースを通じた任意のスイング操作態様に応じて実機撮像装置にスイング機能を発揮させ、当該実機撮像装置を通じて取得された撮像画像に映り込んでいる実空間領域の様子をオペレータに把握させることができる。

【0010】

前記構成の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が停止された際に、前記実機撮像装置の姿勢が所定の初期姿勢に復帰するまでの間、前記実機撮像装置を通じて取得された撮像画像を前記出力インターフェースに断続的に出力させる、または、前記スイング操作の停止時の撮像画像を前記出力インターフェースに継続的に出力させる
ことが好ましい。

【0011】

当該構成の撮像機能制御システムによれば
第１状態において、入力インターフェースを通じたスイング操作が停止された場合、実機撮像装置の姿勢が初期姿勢に戻される際の撮像画像が出力インターフェースを通じて断続的に出力される（または操作停止時の撮像画像を継続的に出力させる）。この結果、スイング操作が停止されているにもかかわらず撮像画像が変化することへのオペレータの違和感が軽減されうる。

【0012】

前記構成の撮像機能制御システムにおいて、
前記撮像機能制御要素が、前記第１状態において、前記入力インターフェースを通じた前記スイング操作が入力された際に、前記実機撮像装置の姿勢をスイング機能の発揮により所定の使用姿勢にする
ことが好ましい。

【0013】

当該構成の撮像機能制御システムによれば、
第１状態において、入力インターフェースを通じたスイング操作の操作量の大きさに関わらず実機撮像装置の姿勢を所定の使用姿勢にすることができる。これにより、作業機械による作業と並行して行うスイング操作を容易にすることができる。

【図面の簡単な説明】

【0014】

【図1】遠隔操作支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】遠隔操作支援システム（撮像機能制御システム）の機能に関する説明図。

【図5】作業環境画像に関する説明図。

【図6】実機撮像装置のスイング機能の制御態様に関する説明図。

【図7】他の実施形態における遠隔操作支援システム（撮像機能制御システム）の機能に関する説明図。

【発明を実施するための形態】

【0015】

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0016】

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。本実施形態では、遠隔操作支援サーバ１０が「撮像機能制御システム」を構成し、第２支援処理要素１２２が「撮像機能制御要素」を構成する。

【0017】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0018】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

【0019】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0020】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0021】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0022】

左側操作レバー２１１１および右側操作レバー２１１２のそれぞれのオペレータにより把持される箇所には、後述するように実機撮像装置４１２のパン角度およびチルト角度のそれぞれを調節するためのパンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれが設けられている。左側操作レバー２１１１および右側操作レバー２１１２のうち一方のみに、パンスイッチＳＷ１およびチルトイッチＳＷ２の両方が設けられていてもよい。パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれは、一定条件下でアクチュエータまたはばねなどの付勢要素によりその操作姿勢が初期操作姿勢に復帰されるように構成されている。実機撮像装置４１２がスイング機能としてパン機能およびチルト機能のうち一方しか有していない場合、パンスイッチＳＷ１およびチルトイッチＳＷ２のうち一方が省略されてもよい。

【0023】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0024】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0025】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0026】

音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

【0027】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0028】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

【0029】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

【0030】

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0031】

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0032】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0033】

（機能）
前記構成の遠隔操作支援システムおよび撮像機能制御システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0034】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。

【0035】

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0036】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００により実機撮像装置４１２を通じて撮像画像が取得され、かつ、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１０）。

【0037】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

【0038】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

【0039】

これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる環境画像が遠隔画像出力装置２２１に出力される。

【0040】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１のスイング操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該スイング操作態様に応じたスイング指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１４）。スイング操作態様は、左側操作レバー２１１１および右側操作レバー２１１２のそれぞれの把持箇所に設けられた、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢により特定される（図２参照）。スイッチＳＷ１、ＳＷ２は、例えば、操作姿勢（操作量）を検出することができるスライドスイッチやレバー型スイッチであって、スチッチの一方側と他方側への操作量を検出するとともに、操作がなされない場合に中立位置になる。

【0041】

パンスイッチＳＷ１の操作姿勢範囲［θ_p1，θ_p2］における任意の操作姿勢θ_pに応じて、実機撮像装置４１２のパン角度φ_pをパン角度範囲［φ_p1，φ_p2］におけるパン角度ｆ_p（θp）に制御するためのスイング指令が生成される。関数ｆ_pは、例えば、関係式（０１）により定義されている。

【0042】

ｆ_p（θ_p）＝｛（φ_p2－φ_p1）／（θ_p2－θ_p1）｝（θ_p－θ_p1）＋φ_p1 ‥（０１）。

【0043】

チルトイッチＳＷ２の操作姿勢範囲［θ_t1，θ_t2］における任意の操作姿勢θtに応じて、実機撮像装置４１２のチルト角度φ_tをチルト角度範囲［φ_t1，φ_t2］におけるチルト角度ｆ_t（θ_t）に制御するためのスイング指令が生成される。関数ｆ_tは、例えば、関係式（０２）により定義されている。

【0044】

ｆ_t（θ_t）＝｛（φ_t2－φ_t1）／（θ_t2－θ_t1）｝（θ_t－θ_t1）＋φ_t1 ‥（０２）。

【0045】

遠隔操作支援サーバ１０において、スイング指令が受信された場合、第２支援処理要素１２２（撮像機能制御要素）により、当該スイング指令が作業機械４０に対して送信される（図４／Ｃ１２）。

【0046】

作業機械４０において、実機無線通信機器４２２を通じて通常スイング指令が受信された場合（図４／Ｃ４２）、実機制御装置４００により実機撮像装置４１２のスイング機能（正確には実機撮像装置４１２が有するパン駆動機構および／またはチルト駆動機構）が制御され、そのパン角度φ_pおよび／またはチルト角度φ_tが調節される（図４／ＳＴＥＰ４１２）。

【0047】

これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。例えば、実機撮像装置４１２のパン角度φ_pの制御により光軸方向が作業機械４０の前方から左斜め前方に変化する場合、環境画像に映り込んでいる実空間領域が作業機械４０の前方領域から左斜め前方領域に変化する。また、実機撮像装置４１２のチルト角度φ_tの制御により光軸方向が前方水平方向から前方斜め下方に変化する場合、環境画像に映り込んでいる実空間領域がそれまでよりも下方の領域に変化する。

【0048】

遠隔操作装置２０において、遠隔制御装置２００により、スイング操作の停止の有無が判定される（図４／ＳＴＥＰ２１６）。例えば、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢の変化量が閾値以下になった状態（パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれが操作されていない状態）が指定期間にわたって継続したか否かに応じて、スイング操作が停止されたか否かが判定される。

【0049】

当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１６‥ＹＥＳ）、遠隔制御装置２００により、スイング停止指令が遠隔操作支援サーバ１００に対して送信される（図４／ＳＴＥＰ２１８）。その一方、当該判定結果が否定的である場合（図４／ＳＴＥＰ２１６‥ＮＯ）、スイング停止指令が生成されることはなく後続の処理が実行される。

【0050】

遠隔操作支援サーバ１０において、スイング停止指令が受信された場合（図４／Ｃ１４）、第２支援処理要素１２２により、作業機械４０との通信結果に基づき、当該作業機械４０の状態が判定される（図４／ＳＴＥＰ１２０）。「第１状態」は、作業機械４０が操作されうる状態（または作業機械４０が作業している状態）である。「第２状態」は、作業機械４０が操作されえない状態（または作業機械４０が作業を停止している状態）である。例えば、作業機械４０の実機操作機構４１１を構成する油圧遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。また、遠隔入力インターフェースとして油圧遮断レバーを模した遠隔油圧遮断レバーが所定姿勢にあるか否かに応じて、当該作業機械４０の第１状態および第２状態が判別されてもよい。

【0051】

作業機械４０が第１状態にあると判定された場合（図４／ＳＴＥＰ１２０‥１）、第２支援処理要素１２２により、初期姿勢復帰指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１２４）。その一方、作業機械４０が第２状態にあると判定された場合（図４／ＳＴＥＰ１２０‥２）、初期姿勢復帰指令が生成されることはなく後続の処理が実行される。

【0052】

作業機械４０において、実機無線通信機器４２２を通じて初期姿勢復帰指令が受信された場合（図４／Ｃ４４）、実機制御装置４００により実機撮像装置４１２のスイング機能が制御され、そのパン角度φ_pおよび／またはチルト角度φ_tが初期角度または初期姿勢に調節される（図４／ＳＴＥＰ４１４）。

【0053】

例えば、図６に示されているように、時刻ｔ＝ｔ_sにおいてスイング操作が開始され、時刻ｔ＝ｔ₀においてスイング操作が停止され、時刻ｔ＝ｔ₁においてスイング操作が再開され、時刻ｔ＝ｔ₂においてスイング操作が停止された場合について考える。

【0054】

この場合、作業機械４０の状態が第１状態であれば、図６に一点鎖線で示されているように、実機撮像装置４１２の姿勢φ＝（φ_p、φ_t）が、時刻ｔ＝ｔ₀において初期姿勢φ₀に復帰し、時刻ｔ＝ｔ₁からパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作態様に応じて変化した後で時刻ｔ＝ｔ₂において再び初期姿勢φ₀に復帰するように制御される。このため、オペレータは時刻ｔ＝ｔ₁におけるパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作開始により、実機撮像装置４１２の姿勢φを初期姿勢φ₀から調節することになる。実機撮像装置４１２の姿勢φが初期姿勢φ₀に復帰することに応じて、パンスイッチＳＷ１およびチルトイッチＳＷ２のそれぞれの操作姿勢θが初期操作姿勢θ₀に復帰するように、第２支援処理要素１２２により、遠隔操作装置２０に対して初期姿勢復帰指令が送信されてもよい。

【0055】

その一方、作業機械４０の状態が第２状態であれば、図６に二点鎖線で示されているように、実機撮像装置４１２の姿勢φ＝（φ_p、φ_t）が、時刻ｔ＝ｔ₀においてそのままの姿勢φ（ｔ₁）に維持され、時刻ｔ＝ｔ₁からパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作態様に応じて変化した後で時刻ｔ＝ｔ₂においてそのままの姿勢φ（ｔ₂）に維持されるように制御される。このため、オペレータは時刻ｔ＝ｔ₁におけるパンスイッチＳＷ１および／またはチルトイッチＳＷ２の操作再開により、実機撮像装置４１２の姿勢φを直前の操作停止時の姿勢φ（ｔ₀）から調節することになる。

【0056】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２０）。

【0057】

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１６）。

【0058】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４６）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0059】

（作用効果）
当該構成の遠隔操作支援システムを構成する撮像機能制御システムによれば、第１状態では第２状態と比較して、実機撮像装置４１２のスイング機能が制限される（図４／ＳＴＥＰ１２０‥１→ＳＴＥＰ１２４→Ｃ４４→ＳＴＥＰ４１４、図６参照）。

【0060】

詳細には、作業機械４０が第１状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが初期姿勢φ₀に制限される。この結果、実機撮像装置のスイング操作停止時の姿勢に応じた実空間領域の様子をオペレータに把握させた後、当該オペレータによる遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じたスイング操作を要せずに、実機撮像装置の初期姿勢に応じた実空間領域の様子をオペレータに把握させることができる。

【0061】

その一方、作業機械４０が第２状態にある場合、パンスイッチＳＷ１およびチルトイッチＳＷ２の操作停止後、操作再開時の実機撮像装置４１２の姿勢φが直前の操作停止時における姿勢φのままである。この結果、作業機械４０の操作を停止している期間においてオペレータによる遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じた任意のスイング操作態様に応じて実機撮像装置４１２にスイング機能を発揮させ、当該実機撮像装置４１２を通じて取得された撮像画像に映り込んでいる実空間領域の様子をオペレータに把握させることができる。

【0062】

（本発明の他の実施形態）
前記実施形態では、遠隔操作支援サーバ１０により撮像機能制御システムが構成され、かつ、第２支援処理要素１２２により撮像機能制御要素が構成されていたが、他の実施形態として、作業機械４０および／または遠隔操作装置２０により撮像機能制御システムが構成され、かつ、実機制御装置４００および／または遠隔制御装置２００により撮像機能制御要素が構成されていてもよい。

【0063】

前記実施形態では、第２状態と比較して第１状態のほうが、遠隔操作装置２０におけるスイング操作再開時の実機撮像装置４１２の姿勢φが制限されるという形態でスイング機能が制限されたが、他の実施形態として、実機撮像装置４１２の姿勢φの調節幅および／または変化速度が制限されるという形態でスイング機能が制限されてもよい。

【0064】

この場合、図４に示されているフローチャートに代えて図７に示されているフローチャートにしたがって一連の処理が実行されてもよい。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図７において図４と共通する処理については同一符号を用いるとともにその説明を省略する。

【0065】

遠隔操作支援サーバ１０において、スイング指令が受信された場合（図７／Ｃ１３）、第２支援処理要素１２２により、作業機械４０との通信結果に基づき、当該作業機械４０の状態が判定される（図７／ＳＴＥＰ１２０）。作業機械４０が「第１状態」にあると判定された場合（図７／ＳＴＥＰ１２０‥２）、第２支援処理要素１２２により、第１スイング指令が作業機械４０に対して送信される（図７／ＳＴＥＰ１２１）。その一方、作業機械４０が「第２状態」にあると判定された場合（図７／ＳＴＥＰ１２０‥２）、第２支援処理要素１２２により、第２スイング指令が作業機械４０に対して送信される（図７／ＳＴＥＰ１２２）。

【0066】

作業機械４０において、実機無線通信機器４２２を通じて第２スイング指令が受信された場合（図７／Ｃ４２）、実機制御装置４００により実機撮像装置４１２のスイング機能が、パンスイッチＳＷ１および／またはチルトスイッチＳＷ２の操作態様に応じて通常態様で制御され、そのパン角度φ_pおよび／またはチルト角度φ_tが調節される（図７／ＳＴＥＰ４１２）。その一方、作業機械４０において、実機無線通信機器４２２を通じて第１スイング指令が受信された場合（図７／Ｃ４１）、実機制御装置４００により実機撮像装置４１２のスイング機能が、パンスイッチＳＷ１および／またはチルトスイッチＳＷ２の操作態様に応じているものの、通常態様よりも制限的な態様で制御される（図７／ＳＴＥＰ４１１）。この際、作業機械４０が第１状態である場合と比較して、実機撮像装置４１２の姿勢φの調節幅および／または変化速度が制限されるという形態でスイング機能が制限される。

【0067】

第１状態において、スイング操作が停止された際に（図６の時刻ｔ＝ｔ₀およびｔ＝ｔ₂参照）、実機撮像装置４１２の姿勢φが所定の初期姿勢φ₀に復帰するまでの間、実機撮像装置４１２を通じて取得された撮像画像または環境画像を遠隔出力インターフェース２２に断続的に出力させ、または、スイング操作の停止時の撮像画像を遠隔出力インターフェース２２に継続的に出力させてもよい。この結果、スイング操作が停止されているにもかかわらず撮像画像または環境画像が変化することへのオペレータの違和感が軽減されうる。

【0068】

第１状態において、遠隔入力インターフェース２１（パンスイッチＳＷ１および／またはチルトイッチＳＷ２）を通じたスイング操作が入力された際に、実機撮像装置４１２の位置および／または姿勢がスイング機能の発揮により所定の使用位置および／または使用姿勢に制御されてもよい。これにより、作業機械４０による作業と並行して、オペレータがスイング操作を容易に行うことができる。

【符号の説明】

【0069】

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素（撮像機能制御要素）、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）、ＳＷ１‥パンスイッチ、ＳＷ２‥チルトスイッチ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】