特許 7639431 遠隔操作支援サーバおよび遠隔操作支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-25

(45)【発行日】2025-03-05

(54)【発明の名称】遠隔操作支援サーバおよび遠隔操作支援システム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20250226BHJP

   B66C 13/40 20060101ALI20250226BHJP

   G06F 3/01 20060101ALI20250226BHJP

   E02F 9/26 20060101ALI20250226BHJP

【ＦＩ】

G06F3/0481

B66C13/40 A

G06F3/01 510

E02F9/26 B

【請求項の数】 11

(21)【出願番号】P 2021045675

(22)【出願日】2021-03-19

(65)【公開番号】P2022144601

(43)【公開日】2022-10-03

【審査請求日】2023-11-21

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】森田 有輝

(72)【発明者】

【氏名】大谷 真輝

(72)【発明者】

【氏名】澤田 祐介

(72)【発明者】

【氏名】上村 佑介

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】石川 亮

(56)【参考文献】

【文献】国際公開第２０１６／１７４９７７（ＷＯ，Ａ１）

【文献】特開２０２０－２００６５９（ＪＰ，Ａ）

【文献】特開２０１３－１０９６８７（ＪＰ，Ａ）

【文献】特開２００８－２９４７２４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｂ６６Ｃ １３／４０

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記遠隔操作装置と遠隔操作支援サーバとにより構成され、
前記遠隔操作装置は、
前記作業機械に搭載されている姿勢変更機能を有する実機撮像装置が取得する当該作業機械の環境を表わす撮像画像に応じた作業環境画像を表示する遠隔画像出力装置と、
前記遠隔操作装置を構成する遠隔出力インターフェースと、を備え、
前記遠隔操作支援サーバは、前記実機撮像装置の前記姿勢変更機能の制御態様に基づいて前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する演算処理装置を備え、
前記遠隔出力インターフェースを通じて前記演算処理装置により認識された前記実空間領域の未来の変化態様を表わす予告が出力される
遠隔操作支援システム。

【請求項2】

請求項１に記載の遠隔操作支援システムにおいて、
前記演算処理装置は、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、
前記遠隔出力インターフェースを通じて出力される前記予告の出力箇所が前記演算処理装置により認識された前記実空間領域の未来の変位態様にしたがって変位される
遠隔操作支援システム。

【請求項3】

遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記遠隔操作装置と遠隔操作支援サーバとにより構成され、
前記遠隔操作装置は、
前記作業機械に搭載されている実機撮像装置が取得する当該作業機械の環境を表わす撮像画像に応じた作業環境画像を表示する遠隔画像出力装置と、
前記遠隔操作装置を構成する遠隔出力インターフェースと、を備え、
前記遠隔操作支援サーバは、前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する演算処理装置を備え、
前記遠隔出力インターフェースを通じて前記演算処理装置により認識された前記実空間領域の未来の変化態様を表わす予告が出力され、前記実空間領域の未来の変位態様にしたがって前記予告の出力箇所が変位される
遠隔操作支援システム。

【請求項4】

請求項２または３に記載の遠隔操作支援システムにおいて、
前記演算処理装置は、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、
前記遠隔出力インターフェースを通じて出力される前記予告の出力箇所が前記実空間領域の未来の変位態様にしたがって変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記予告の出力箇所が変位される
遠隔操作支援システム。

【請求項5】

請求項２～４のうちいずれか１項に記載の遠隔操作支援システムにおいて、
前記遠隔出力インターフェースを構成しており、前記予告としての音響を発する仮想音源を変位させる遠隔音響出力装置を備える
遠隔操作支援システム。

【請求項6】

請求項２～５のうちいずれか１項に記載の遠隔操作支援システムにおいて、
前記演算処理装置は、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
遠隔操作支援システム。

【請求項7】

請求項１～６のうちいずれか１項に記載の遠隔操作支援システムにおいて、
前記演算処理装置は、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
遠隔操作支援システム。

【請求項8】

請求項１～７のうちいずれか１項に記載の遠隔操作支援システムにおいて、
前記遠隔出力インターフェースを通じて出力される前記予告の出力態様は、前記演算処理装置により認識された前記実空間領域の未来の変化態様としての当該実空間領域の未来の拡縮態様にしたがって変化される
遠隔操作支援システム。

【請求項9】

請求項８に記載の遠隔操作支援システムにおいて、
前記遠隔出力インターフェースを構成し、前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる遠隔音響出力装置を備える
遠隔操作支援システム。

【請求項10】

遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
前記作業機械に搭載されている姿勢変更機能を有する実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第１支援処理要素と、
前記第１支援処理要素により前記実機撮像装置の前記姿勢変更機能の制御態様に基づいて前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、
前記実空間領域の未来の変化態様を表わす予告を出力させる第２支援処理要素と、
を備えている遠隔操作支援サーバ。

【請求項11】

遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作支援サーバであっ
て、
前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第１支援処理要素と、
前記第１支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させ、前記実空間領域の未来の変位態様にしたがって出力箇所を変位させる第２支援処理要素と、
を備えている遠隔操作支援サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の状態を作業者に報知する技術に関する。

【背景技術】

【0002】

安全性の向上と作業効率の向上を実現させたクレーンを提供する観点から、カメラが撮影した画像における被写体（例えばサブフック）を追従し、当該被写体を含んだ箇所を切り出して表示装置に表示する技術が提案されている（例えば、特許文献１参照）。

【0003】

作業機械の周囲に存在する障害物に関して過不足の無い適切な警報を発する観点から、作業機械（油圧ショベル）の姿勢および動作の情報に基づいて当該作業機械の運転席からの死角領域を算出し、当該死角領域と、障害物と作業機械との位置関係に基づいて障害物に対する視認レベルを決定し、当該視認レベルに応じて警報レベルを補正する技術が提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１５６５３３号公報

【文献】特許第６５８１１３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、作業機械が遠隔操作される場合、当該作業機械に搭載されている実機撮像装置により取得され、オペレータに対して提供される画像範囲が対象物の追従等のために急に変化した際、当該オペレータに不安などの心理的負担を増大させてしまう可能性がある。

【0006】

そこで、本発明は、作業機械に搭載されている実機撮像装置により取得される画像範囲を変化させる際、当該作業機械を遠隔操作するオペレータの心理的負担の軽減を図ることができるシステム等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の遠隔操作支援サーバは、
遠隔操作装置を用いた作業機械の遠隔操作を支援するためのサーバであって、
前記作業機械に搭載されている実機撮像装置を通じて当該作業機械の環境を表わす撮像画像を取得し、前記撮像画像に応じた作業環境画像を、前記遠隔操作装置を構成する遠隔画像出力装置に表示させる第１支援処理要素と、
前記第１支援処理要素により前記遠隔画像出力装置に表示されている前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識し、前記遠隔操作装置を構成する遠隔出力インターフェースに、前記実空間領域の未来の変化態様を表わす予告を出力させる第２支援処理要素と、
を備えている。

【0008】

当該構成の遠隔操作支援サーバによれば、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔操作装置を構成する遠隔出力インターフェースに出力される。例えば、実機撮像装置の光軸方向および／または撮影倍率のほか、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変化しうる。そして、当該予告に接したオペレータに、作業環境画像に映り込んでいる実空間領域の未来の変化態様を事前に把握させることができる。このため、その直後に当該予告通りの態様にしたがって、遠隔画像出力装置に表示されている作業環境画像に映り込んでいる実空間領域の空間占有態様が変化した際の当該オペレータの心理的負担の軽減が図られる。

【0009】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記作業機械に搭載されている実機周辺監視装置により検知された指定状態に応じて、前記作業環境画像に映り込んでいる実空間領域の未来の変化態様を認識する
ことが好ましい。

【0010】

当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することに加えて、作業機械が指定状態にあることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。

【0011】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識し、前記実空間領域の未来の変位態様にしたがって、前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる
ことが好ましい。

【0012】

当該構成の遠隔操作支援サーバによれば、出力箇所が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる。例えば、実機撮像装置の光軸方向の変化、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。

【0013】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様をさらに認識し、前記実空間領域の未来の変位態様にしたがって前記遠隔出力インターフェースにより構成される前記予告の出力箇所を変位させる前または後に、前記実空間領域の未来の拡縮態様にしたがって前記遠隔出力インターフェースに前記予告の出力箇所を変位させる
ことが好ましい。

【0014】

当該構成の遠隔操作支援サーバによれば、出力箇所が２段階にわたり変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において第１変位態様にしたがって変位することおよび第２変位態様にしたがって拡縮されることを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位し、かつ、拡縮された際の当該オペレータの心理的負担の軽減が図られる。

【0015】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響を発する仮想音源を変位させる
ことが好ましい。

【0016】

当該構成の遠隔操作支援サーバによれば、仮想音源が変位する形態の予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位すること（さらには拡縮されること）を事前に把握させることができる。例えば、仮想音源が右（左、上、下）に変位した場合、作業環境画像に映り込む実空間領域が直後に右（左、上、下）に変位することをオペレータに把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。

【0017】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記作業機械に搭載されている複数の前記実機撮像装置のうち一の実機撮像装置から他の実機撮像装置への切り替え態様に応じて、前記実空間領域の未来の変化態様として当該実空間領域の未来の変位態様を認識する
ことが好ましい。

【0018】

当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が、実機撮像装置の切り替えに由来して当該出力態様の変化に応じて変化することを事前に把握させることができる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。

【0019】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記実空間領域の未来の変化態様として当該実空間領域の未来の拡縮態様を認識し、前記実空間領域の未来の拡縮態様にしたがって、前記遠隔出力インターフェースに前記予告の出力態様を変化させる
ことが好ましい。

【0020】

当該構成の遠隔操作支援サーバによれば、出力態様が変化する予告に接したオペレータに、作業環境画像に映り込む実空間領域の未来における拡縮態様が当該出力態様の変化に応じて変化することを事前に把握させることができる。例えば、実機撮像装置の撮影倍率、複数の実機撮像装置のうち作業環境画像に対応する一の実機撮像装置の切り替え、第１支援処理要素による画像処理などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。

【0021】

前記構成の遠隔操作支援サーバにおいて、
前記第２支援処理要素が、前記遠隔出力インターフェースを構成する遠隔音響出力装置に前記予告としての音響の音圧の高低および周波数の高低のうち少なくとも一方を変化させる
ことが好ましい。

【0022】

当該構成の遠隔操作支援サーバによれば、音圧の高低および／または周波数の高低が変化する音響としての予告に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変化態様に応じて拡縮されることを事前に把握させることができる。例えば、音圧が徐々に高くなる場合、実空間領域が縮小することをオペレータに事前に把握させることができる。一方、音圧が徐々に低くなる場合、実空間領域が拡大することをオペレータに事前に把握させることができる。この際、予告は視覚ではなく聴覚を通じてオペレータに伝えられるため、当該オペレータの作業環境画像に対する視覚的注意を散漫させる事態が回避される。このため、当該予告通りに遠隔画像出力装置に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。

【図面の簡単な説明】

【0023】

【図1】遠隔操作支援システムの構成に関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】第１実施形態の遠隔操作支援システムの機能に関する説明図。

【図5】作業環境画像に関する説明図。

【図6】仮想音源の第１変位態様に関する説明図。

【図7】仮想音源の第２変位態様に関する説明図。

【図8】第２実施形態の遠隔操作支援システムの機能に関する説明図。

【発明を実施するための形態】

【0024】

（ 遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援サーバ１０と、遠隔操作装置２０と、遠隔操作装置２０を通じて遠隔操作可能な作業機械４０と、により構成されている。遠隔操作装置２０および作業機械４０のうち一方のみが、遠隔操作支援システムの構成要素であってもよい。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２ ０ の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0025】

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0026】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0027】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

【0028】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0029】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0030】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0031】

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0032】

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

【0033】

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0034】

遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。遠隔音響出力装置２２２は、シートＳｔの周りで位置の変位が可能な音響である仮想音源Ｖ_ssを実現する。

【0035】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、画像処理装置３０を備えている。画像処理装置３０は、状態検知要素３１と、画像予測要素３２と、画像圧縮要素３４と、を備えている。実機制御装置４００および画像処理装置３０の構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0036】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

【0037】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機周辺監視装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機周辺監視装置４１４は、基本姿勢（例えば、光軸が前方に向けられている姿勢）の実機撮像装置４１２では撮像できない実空間領域（例えば、キャブ４２４の右側領域、左側領域および／もしくは後方領域および／または死角領域）における対象物体（例えば、作業員、他の作業機械および／または車両など）の存在を検知するための測距センサ等により構成されている。

【0038】

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0039】

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0040】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0041】

（機能）
前記構成の遠隔操作支援システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

【0042】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。

【0043】

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

【0044】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００により実機撮像装置４１２を通じて撮像画像が取得され、かつ、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１０）。

【0045】

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。

【0046】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

【0047】

これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる作業環境画像が遠隔画像出力装置２２１（特に、中央遠隔画像出力装置２２１０）に出力される。

【0048】

作業機械４０において、実機制御装置４００により、当該作業機械４０が指定状態にあるか否かが判定される（図４／ＳＴＥＰ４１１）。この際、当該指定状態が、あらかじめ定められた異なる複数の指定状態のうちいずれの指定状態に該当するかが判定されてもよい。「指定状態」は、作業機械４０が指定状態になったことに応じて実機制御装置４００が実機撮像装置４１２にそのパン機能および／またはチルト機能、ならびに、ズーム機能を発揮させるようにあらかじめ設定またはプログラムされている状態である。

【0049】

例えば、実機周辺監視装置４１４により、通常姿勢にある実機撮像装置４１２の死角領域で対象物体の存在が検知された状態が指定状態として定義されていてもよい。キャブ４２４の左側領域は通常姿勢にある実機撮像装置４１２の死角領域であり、当該左側領域に対象物体の存在が検知された場合、実機撮像装置４１２のパン機能によりその光軸が左方向に向けられ、必要に応じてチルト機能によりその光軸が下方（または上方）に向けられる。同様に、キャブ４２４の右側領域は通常姿勢にある実機撮像装置４１２の死角領域であり、当該右側領域に対象物体の存在が検知された場合、実機撮像装置４１２のパン機能によりその光軸が右方向に向けられ、必要に応じてチルト機能によりその光軸が下方（または上方）に向けられる。

【0050】

例えば、実機撮像装置４１２の撮像対象となる実空間領域において指定種類の対象物体の存在が検知された状態が指定状態として定義されていてもよい。第１指定種類の対象物体（例えば、作業員等の人間）の存在が検知された場合、実機撮像装置４１２のズームイン機能により、当該対象物体が含まれている画像領域の表示倍率が増大される。第２指定種類の対象物体（例えば、他の作業機械）の存在が検知された場合、実機撮像装置４１２のズームアウト機能により、当該対象物体が含まれている画像領域の表示倍率が低減される。実機撮像装置４１２のズーム機能とともに、撮像画像における対象物体の位置を調節するためにパン機能および／またはチルト機能が制御されてもよい。

【0051】

例えば、実機撮像装置４１２の撮像対象となる実空間領域において対象物体の変位量および／変位速度が所定値以上であることが検知された状態が指定状態として定義されていてもよい。対象物体（例えば、バケット４４５）の変位量が所定値を超えた場合、実機撮像装置４１２のパン機能および／またはチルト機能により、当該対象物体に追従するように当該実機撮像装置４１２の光軸の向きが変更される。

【0052】

作業機械４０が指定状態にあると判定された場合（図４／ＳＴＥＰ４１１‥ＹＥＳ）、実機制御装置４００により、当該指定状態に応じた実機撮像装置４１２の姿勢変更機能（パン機能および／またはチルト機能）ならびに／またはズーム機能の制御態様が認識され、かつ、実機無線通信機器４２２を通じて当該認識結果が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ４１２）。指定状態（の種類）および実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様との対応関係は、実機制御装置４００を構成する記憶装置またはデータベース１０２に格納されていてもよい。

【0053】

作業機械４０が指定状態にないと判定された場合（図４／ＳＴＥＰ４１１‥ＮＯ）、実機撮像装置４１２のズーム機能等の制御態様が認識されることはなく後続の処理が実行される。

【0054】

遠隔操作支援サーバ１０において、実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が受信された場合（図４／Ｃ１２）、第２支援処理要素１２２により、撮像画像（ひいては作業環境画像）に映り込む実空間領域の変化態様が認識されたうえで、作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。実機撮像装置４１２のパン機能により光軸の向きが左右に変化する場合、撮像画像に映り込む実空間領域が同様に左右に変位することが認識される。実機撮像装置４１２のチルト機能により光軸の向きが上下に変化する場合、撮像画像に映り込む実空間領域が同様に上下に変位することが認識される。実機撮像装置４１２のズームイン機能によりズーム倍率が増大する場合、撮像画像に映り込む実空間領域が縮小されることが認識される。実機撮像装置４１２のズームアウト機能によりズーム倍率が低減する場合、撮像画像に映り込む実空間領域が拡大されることが認識される。

【0055】

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて実空間領域の変化態様が受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、遠隔出力インターフェース２２０を通じて当該変化態様を表わす予告が出力される（図４／ＳＴＥＰ２１４）。

【0056】

これにより、例えば、撮像画像に映り込んでいる実空間領域が左方向に変位することが当該実空間領域の変化態様として認識された場合、図６に示されているように、遠隔音響出力装置２２２により実現される仮想音源Ｖ_ssが左方向（実空間領域の変位方向と同じ方向）に変位するように制御される。この場合、仮想音源Ｖ_ssの変位に加えてまたは代えて、図６に示されているように、画像出力装置２２１に左向き（実空間領域の変位方向と同じ向き）の矢印状の図形またはアイコンＡ１が出力されてもよい。また、指定のアイコンが遠隔画像出力装置２１１において仮想音源Ｖ_ssと同一方向に動かされるように出力されてもよい。

【0057】

また、例えば、撮像画像に映り込んでいる実空間領域が縮小されることが当該実空間領域の変化態様として認識された場合、図７に示されているように、遠隔音響出力装置２２２により実現される仮想音源Ｖ_ssが定位された状態で音響が徐々に強くなるように、かつ／または、音響の周波数が徐々に高くなるように制御される。この場合、仮想音源Ｖ_ssの強弱および／または周波数の高低に加えてまたは代えて、図７に示されているように、画像出力装置２２１にズームインにより拡大される画像領域Ｓおよび／または当該画像領域Ｓの外側に向かう矢印状の図形またはアイコンＡ２が出力されてもよい。また、指定のアイコンが遠隔画像出力装置２１１において実空間領域または画像領域の拡縮に応じて拡縮されるように出力されてもよい。

【0058】

これとは逆に、撮像画像に映り込んでいる実空間領域が拡大されることが当該実空間領域の変化態様として認識された場合、遠隔音響出力装置２２２により実現される仮想音源Ｖ_ssが定位された状態で音響が徐々に弱くなるように、かつ／または、音響の周波数が徐々に低くなるように制御される。この場合、仮想音源Ｖ_ssの強弱および／または周波数の高低に加えてまたは代えて、画像出力装置２２１にズームアウトにより縮小される画像領域および／または当該画像領域の内側に向かう矢印状の図形またはアイコンが出力されてもよい。

【0059】

その後、遠隔制御装置２００により、遠隔出力インターフェース２２０を通じて予告が出力されたことを示す予告出力済通知が、遠隔無線通信機器２２４を通じて遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１６）。

【0060】

遠隔操作支援サーバ１０において、予告出力済通知が受信された場合、第２支援処理要素１２２により、当該予告出力済通知が作業機械４０に対して送信される（図４／Ｃ１４）。

【0061】

作業機械４０において、実機無線通信機器４２２を通じて予告出力済通知が受信された場合（図４／Ｃ４４）、実機制御装置４００により、指定状態に応じた形態で実機撮像装置４１２の姿勢変更機能および／またはズーム機能が制御される（図４／ＳＴＥＰ４１４）。

【0062】

これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される作業環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。

【0063】

例えば、実機撮像装置４１２のパン機能の制御により光軸方向が作業機械４０の前方から左斜め前方に変化する場合、作業環境画像に映り込んでいる実空間領域が作業機械４０の前方領域から左斜め前方領域に変化する。また、実機撮像装置４１２のチルト機能の制御により光軸方向が前方水平方向から前方斜め下方に変化する場合、作業環境画像に映り込んでいる実空間領域がそれまでよりも下方の領域に変化する。

【0064】

例えば、実機撮像装置４１２のズームイン機能が制御されてズーム倍率が増大されることにより、作業環境画像に映り込んでいる実空間領域が縮小される（または画像領域が拡大される）。また、実機撮像装置４１２のズームアウト機能が制御されてズーム倍率が低減されることにより、作業環境画像に映り込んでいる実空間領域が拡大される（または画像領域が縮小される）。

【0065】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２２０）。

【0066】

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１６）。

【0067】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４６）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0068】

（作用効果）
当該構成の遠隔操作支援システムによれば、遠隔画像出力装置２２１に表示されている作業環境画像に映り込んでいる実空間領域の未来の変化態様を表わす予告が遠隔出力インターフェース２２０に出力される。

【0069】

具体的には、実空間領域の変位態様に応じて変位する仮想音源Ｖ_ssおよび／または実空間領域の変位態様を表わす矢印状のアイコン画像Ａ１に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該変位態様にしたがって変位することを事前に把握させることができる（図６参照）。例えば、実機撮像装置４１２の光軸方向の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が変位しうる（図５参照）。このため、当該予告通りに遠隔画像出力装置２２１に表示されている作業環境画像に映り込む実空間領域が変位した際の当該オペレータの心理的負担の軽減が図られる。

【0070】

さらに、実空間領域の拡縮態様に応じて強弱および／または周波数の高低が変化する音響を発する仮想音源Ｖ_ssおよび／または実空間領域の拡縮態様を表わす矢印状のアイコン画像Ａ２に接したオペレータに、作業環境画像に映り込む実空間領域が未来において当該拡縮態様にしたがって拡縮されることを事前に把握させることができる（図７参照）。例えば、実機撮像装置４１２の撮影倍率の変化などに応じて、作業環境画像に映り込んでいる実空間領域の空間占有態様が拡大または縮小されうる。このため、当該予告通りに遠隔画像出力装置２２１に表示されている作業環境画像に映り込む実空間領域が拡大または縮小された際の当該オペレータの心理的負担の軽減が図られる。

【0071】

（本発明の他の実施形態）
前記実施形態では、遠隔操作支援サーバ１０により第１支援処理要素１２１および第２支援処理要素１２２が構成されていたが、他の実施形態として、作業機械４０および／または遠隔操作装置２０により第１支援処理要素１２１および／または第２支援処理要素１２２が構成されていてもよい。

【0072】

前記実施形態では、作業機械４０が指定状態であることが認識されたことに応じて、実機制御装置４００により当該指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されたが（図４／ＳＴＥＰ４１１‥ＹＥＳ→ＳＴＥＰ４１２参照）、他の実施形態として、遠隔操作支援サーバ１０または第２支援処理要素１２２により指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されてもよい。

【0073】

この場合、図４に示されているフローチャートに代えて図８に示されているフローチャートにしたがって一連の処理が実行されてもよい。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図８において図４と共通する処理については同一符号を用いるとともにその説明を省略する。

【0074】

作業機械４０が指定状態にあると判定された場合（図８／ＳＴＥＰ４１１‥ＹＥＳ）、実機制御装置４００により、当該指定状態が実機無線通信機器４２２を通じて遠隔操作支援サーバ１０に対して送信される（図８／ＳＴＥＰ４１３）。

【0075】

遠隔操作支援サーバ１０において、指定状態が受信された場合（図８／Ｃ１３）、第２支援処理要素１２２により、当該指定状態に応じた実機撮像装置４１２の姿勢変更機能（パン機能および／またはチルト機能）ならびに／またはズーム機能の制御態様が認識される（図８／ＳＴＥＰ１１１）。さらに、第２支援処理要素１２２により、実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様に応じた、撮像画像（ひいては作業環境画像）に映り込む実空間領域の変化態様が認識されたうえで、作業機械４０に対して送信される（図８／ＳＴＥＰ１１２）。

【0076】

その後、遠隔操作支援サーバ１０において、遠隔操作装置２０から予告出力済通知が受信された場合（図８／Ｃ１５）、第２支援処理要素１２２により、指定状態に応じた形態で実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御指令が生成され、かつ、作業機械４０に対して送信される（図８／ＳＴＥＰ１１４）。

【0077】

作業機械４０において、実機無線通信機器４２２を通じて制御指令が受信された場合（図８／Ｃ４４）、実機制御装置４００により、当該制御指令にしたがって実機撮像装置４１２の姿勢変更機能および／またはズーム機能が制御される（図８／ＳＴＥＰ４１４）。

【0078】

これにより、実機撮像装置４１２を通じて取得される撮像画像、ひいては遠隔画像出力装置２２１において出力される作業環境画像に映り込んでいる実空間領域が変化する（図４／ＳＴＥＰ４１０→‥→ＳＴＥＰ２１２、図５参照）。

【0079】

前記実施形態では、作業機械４０が指定状態であることが認識されたことに応じて、実機制御装置４００により当該指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されたが（図４／ＳＴＥＰ４１１‥ＹＥＳ→ＳＴＥＰ４１２参照）、他の実施形態として、遠隔操作装置２０または遠隔制御装置２００により指定状態に応じた実機撮像装置４１２の姿勢変更機能および／またはズーム機能の制御態様が認識されてもよい。

【0080】

前記実施形態では、実機撮像装置４１２のパン機能および／またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、異なる撮像領域を有する複数の実機撮像装置が作業機械４０に搭載され、作業環境画像の基礎となる撮像画像を取得する実機撮像装置が、一の実機撮像装置から他の実機撮像措置に切り替えられることにより、作業環境画像に映り込む実空間領域が不連続的に変位してもよい。例えば、一の実機撮像装置が、実機周辺監視装置４１４により対象物体が検知された実空間領域を撮像領域とする他の実機撮像装置に切り替えられてもよい。この場合も、遠隔出力インターフェース２２０により出力される予告によって、遠隔画像出力装置２２１に出力されている作業環境画像が不連続的に変位または変化した場合でもオペレータにかかる心理的負担の軽減が図られる。

【0081】

前記実施形態では、実機撮像装置４１２のパン機能および／またはチルト機能により、撮像画像およびこれに応じた作業環境画像に映り込む実空間領域が連続的に変位したが、他の実施形態として、第１支援処理要素１２１による作業環境画像の生成時における画像処理によって、作業環境画像に映り込む実空間領域が変位してもよく、かつ／または、拡縮されてもよい。この場合も、遠隔出力インターフェース２２０により出力される予告によって、遠隔画像出力装置２２１に出力されている作業環境画像が変位した場合および／または拡縮された場合でもオペレータにかかる心理的負担の軽減が図られる。

【0082】

前記実施形態では、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖ_ｓｓから発せられる音響の強弱（音圧の高低）および／または周波数の高低により予告された（図７参照）。他の実施形態として、実機撮像装置４１２がパン機能のみを有しており、パン角度の変更が仮想音源Ｖ_ｓｓの左右への変位により予告される前後において（図６参照）、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖ_ｓｓの上下への変位により予告されてもよい。同様に、他の実施形態として、実機撮像装置４１２がチルト機能のみを有しており、チルト角度の変更が仮想音源Ｖ_ｓｓの上下への変位により予告される前後において、実機撮像装置４１２のズームインおよびズームアウトが、仮想音源Ｖ_ｓｓの左右への変位により予告されてもよい。

【符号の説明】

【0083】

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】