特許 7444094 遠隔操作支援システムおよび遠隔操作支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】遠隔操作支援システムおよび遠隔操作支援方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240228BHJP

   H04N 7/18 20060101ALI20240228BHJP

【ＦＩ】

E02F9/26 B

H04N7/18 J

【請求項の数】 4

(21)【出願番号】P 2021017122

(22)【出願日】2021-02-05

(65)【公開番号】P2022120309

(43)【公開日】2022-08-18

【審査請求日】2023-11-21

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】110000800

【氏名又は名称】デロイトトーマツ弁理士法人

(72)【発明者】

【氏名】大谷 真輝

(72)【発明者】

【氏名】上村 佑介

(72)【発明者】

【氏名】佐伯 誠司

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

【審査官】五十幡 直子

(56)【参考文献】

【文献】特開２０１９－５４４６４（ＪＰ，Ａ）

【文献】特開２０２０－１３１３６５（ＪＰ，Ａ）

【文献】特開２０２０－２７１７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８８３８９（ＷＯ，Ａ１）

【文献】特開２０２０－１６０７７７（ＪＰ，Ａ）

【文献】特開２０２０－１８３６９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２０

Ｅ０２Ｆ ９／２６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記作業機械に搭載されている撮像装置を通じて取得された、前記作業機械に搭載され、かつ、実空間において前記撮像装置による撮像範囲と重複する測距範囲を有する測距装置に付されたマーカを含む撮像画像に基づき、前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢を認識する第１支援処理要素と、
前記第１支援処理要素により認識された前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢に基づき、前記遠隔操作装置を構成する遠隔出力インターフェースに出力される、前記測距装置により取得された測距画像に含まれる情報が前記撮像画像に組み込まれた環境画像を生成する第２支援処理要素と、
を備えている遠隔操作支援システム。

【請求項2】

請求項１に記載の遠隔操作支援システムにおいて、
前記第１支援処理要素は、前記撮像画像における前記マーカのサイズおよび表示位置に応じて前記撮像装置を基準とする前記測距装置の相対位置を認識する 遠隔操作支援システム。

【請求項3】

請求項１または２に記載の遠隔操作支援システムにおいて、
前記測距装置に付されたマーカは複数であり、
前記第１支援処理要素は、複数の前記マーカに応じて前記撮像装置を基準とする前記測距装置の相対姿勢を認識する
遠隔操作支援システム。

【請求項4】

遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援方法であって、って、
前記作業機械に搭載されている撮像装置を通じて取得された、前記作業機械に搭載され、かつ、実空間において前記撮像装置による撮像範囲と重複する測距範囲を有する測距装置に付されたマーカを含む撮像画像に基づき、前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢を認識する第１支援処理ステップと、
前記第１支援処理ステップにおいて認識された前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢に基づき、前記遠隔操作装置を構成する遠隔出力インターフェースに出力される、前記測距装置により取得された測距画像に含まれる情報が前記撮像画像に組み込まれた環境画像を生成する第２支援処理ステップと、
を含んでいる遠隔操作支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作装置により油圧ショベル等の作業機械を遠隔操作する技術に関する。

【背景技術】

【0002】

遠隔ショベルにおいて、距離検出装置が求めた距離の情報から旋回体の旋回中心軸を中心とする円弧の画像を生成し、カメラで撮影した画像と合成した合成画像を表示装置に表示する技術が提案されている（例えば、特許文献１参照）。カメラで撮影した２次元映像だと奥行感・地形の凹凸がわからないので、従来技術では、ＬＩＤＡＲ等の距センサで取得した地形情報をカメラ映像に重畳させ、奥行感や地面の凹凸情報をオペレータに認識できるようにしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７９４１９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、カメラで取得される画像データと、ＬＩＤＡＲで取得される距離情報とがずれた状態で合成されると有用性が低い情報しか生成されない。このため、画像データと距離情報とを的確に合成する技術が必要とされている。

【0005】

そこで、本発明は、作業機械に搭載されている撮像装置を通じて取得された撮像画像と、同じ作業機械に搭載されている測距装置を通じて取得された測距画像に含まれる測距情報と、が的確に複合された環境画像を生成することができる技術的手法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の遠隔操作支援サーバは、
遠隔操作装置による作業機械の遠隔操作を支援するための遠隔操作支援システムであって、
前記作業機械に搭載されている撮像装置を通じて取得された、前記作業機械に搭載され、かつ、実空間において前記撮像装置による撮像範囲と重複する測距範囲を有する測距装置に付されたマーカを含む撮像画像に基づき、前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢を認識する第１支援処理要素と、
前記第１支援処理要素により認識された前記撮像装置を基準とする前記測距装置の相対位置および相対姿勢に基づき、前記遠隔操作装置を構成する遠隔出力インターフェースに出力される、前記測距装置により取得された測距画像に含まれる情報が前記撮像画像に組み込まれた環境画像を生成する第２支援処理要素と、
を備えている。

【0007】

当該構成の遠隔操作支援システムによれば、作業機械に搭載されている撮像装置を通じて取得された撮像画像、ひいては同じく作業機械に搭載されている測距装置に付されたマーカの映り込み態様に基づき、撮像装置を基準とした測距装置の相対位置および相対姿勢が認識される。撮像装置を基準とした測距装置の相対位置および相対姿勢、ひいては撮像画像座標系および測距画像座標系の座標変換態様に基づき、測距画像に含まれる距離情報が撮像画像に組み込まれた環境画像が生成される。この環境画像が遠隔操作装置を構成する遠隔出力インターフェースに出力されることにより、当該環境画像に接したオペレータに撮像画像（２次元画像）に映り込んでいる物体の３次元実空間における位置（または位置および姿勢）を的確に認識させることができる。

【0008】

また、本発明の遠隔操作支援システムにおいて、前記第１支援処理要素は、前記撮像画像における前記マーカのサイズに応じて前記撮像装置を基準とする前記測距装置の相対位置を認識する。

【0009】

当該構成の遠隔操作支援システムによれば、撮像画像（２次元画像）に映り込んでいるマーカのサイズおよび表示位置に応じて撮像装置を基準とした測距装置の相対位置が認識される。これにより、マーカの映り込み態様に基づいて撮像装置を基準とした測距装置の相対位置が認識される。

【0010】

また、本発明の遠隔操作支援システムにおいて、前記測距装置に付されたマーカは複数であり、前記第１支援処理要素は、複数の前記マーカに応じて前記撮像装置を基準とする前記測距装置の相対姿勢を認識する。

【0011】

当該構成の遠隔操作支援サーバによれば、撮像画像（２次元画像）に映り込んでいる複数のマーカに応じて撮像装置を基準とする前記測距装置の相対姿勢を認識する。これにより、マーカの映り込み態様に基づいて撮像装置を基準とした測距装置の相対姿勢が認識される。

【図面の簡単な説明】

【0012】

【図1】本発明の遠隔操作支援システムに関する説明図。

【図2】遠隔操作装置の構成に関する説明図。

【図3】作業機械の構成に関する説明図。

【図4】操作支援システムの機能に関する説明図。

【図5】撮像画像に関する説明図。

【図6】撮像画像座標系および測距画像座標系の相対位置・姿勢に関する説明図。

【図7】環境画像に関する説明図。

【発明を実施するための形態】

【0013】

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援複合システムは、遠隔操作支援サーバ１０（遠隔操作支援システムを構成する。）と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

【0014】

本発明の構成要素が情報を「認識する」とは、当該情報を受信すること、当該情報を記憶装置から読み出すこと、当該情報をデータベースから検索すること、当該情報を測定すること、受信等された基礎情報に基づき、当該情報を決定、判定、推定または予測すること、当該情報を記憶装置に保存することなど、後続する演算処理において当該情報を利用可能な状態にするためのあらゆる演算処理を包含する概念である。

【0015】

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

【0016】

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0017】

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、音響出力装置２２２と、遠隔無線通信機器２２２と、を備えている。

【0018】

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

【0019】

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

【0020】

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

【0021】

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

【0022】

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度δ１（例えば、１２０°≦δ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度δ２（例えば、１２０°≦δ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度δ１およびδ２は同じであっても相違していてもよい。

【0023】

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

【0024】

画像出力装置２２１を構成する画像出力装置の個数は任意に変更されてもよい。例えば、画像出力装置２２１がシートＳｔを前方において囲むように湾曲面状または屈曲面状の１個の画像出力装置により構成されていてもよい。画像出力装置２２１がシートＳｔを前方において囲むように横方向に連続して配置された４枚以上の平面状の画像出力装置により構成されていてもよい。

【0025】

音響出力装置２２２は、スピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

【0026】

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

【0027】

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

【0028】

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置Ｓ１と、測距装置Ｓ２と、を備えている。作業機械４０は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている測位装置を備えていてもよい。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置Ｓ１は、キャブ４２４の内部空間に配置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む作業環境または作業機械４０の周囲の様子を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測距装置Ｓ２は、キャブ４２４の内部空間に配置され、フロントウィンドウ越しに作業機械４０の周囲にある地面等の物体までの距離を測定する。

【0029】

実機撮像装置Ｓ１は、キャブ４２４の内部空間後部（例えば、シートのヘッドレストの付近またはその後方）に配置されている。このため、図５に示されているように、撮像装置Ｓ１を通じて取得される撮像画像には、キャブ４２４の内部空間に配置されている実機操作機構４１１を構成する操作レバーおよびシートの一部など、キャブ４２４の内部空間が映り込んでいる。測距装置Ｓ２は、キャブ４２４の内部空間において実機撮像装置Ｓ１の撮像範囲に含まれる位置（例えば、キャブ４２４の内部空間前部または撮像装置Ｓ１よりも前方またはフロントウィンドウ寄りの位置）に配置されている。

【0030】

実機撮像装置Ｓ１の位置および姿勢が作業機械４０に対して固定されていてもよいが、駆動機構により実機撮像装置Ｓ１の位置および／または姿勢が作業機械４０に対して下辺に調節されてもよい。

【0031】

このため、図５に示されているように、撮像装置Ｓ１を通じて取得される撮像画像には、測距装置Ｓ２および当該測距装置Ｓ２に付された３つのマーカＭ０、Ｍ１およびＭ２が映り込んでいる。
マーカＭ０は、例えば、測距装置Ｓ２のハウジングの背面上部に配置されている。マーカＭ１およびＭ２は、例えば、測距装置Ｓ２のハウジングの背面下部または当該ハウジングを支持するフレームまたはブラケットの背面に横方向に離間して配置されている。マーカＭ０、Ｍ１、Ｍ２の平均座標値は測距装置Ｓ２の背面に位置する。また、３つのマーカＭ０、Ｍ１、Ｍ２のうちのいずれか一つ（例えばＭ０）が測距装置Ｓ２の背面に位置するように配置されてもよい。

【0032】

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

【0033】

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

【0034】

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

【0035】

（機能）
前記構成の遠隔操作支援システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。受信されたデータは、データベース１０２および／または不揮発性もしくは揮発性のメモリにより構成されている記憶装置に格納される。

【0036】

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

【0037】

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１１０）。

【0038】

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置Ｓ１を通じて撮像画像を取得し、かつ、測距装置Ｓ２を通じて測距画像を取得する（図４／ＳＴＥＰ４１０）。ここで、実機制御装置４００またはこれを構成する画像処理装置により、撮像画像および／または測距画像を対象として、画像データ量を低下させるため、および／またはノイズを除去するための画像処理が実行されてもよい。実機制御装置４００により、実機無線通信機器４２２を通じて、撮像画像に応じた撮像画像データおよび測距画像に応じた測距画像データが遠隔操作サーバ１０に対して送信される（図４／ＳＴＥＰ４１２）。

【0039】

遠隔操作支援サーバ１０において、撮像画像データおよび測距画像データが受信された場合（図４／Ｃ１１２）、図５に示されているように、測距装置Ｓ２に付されたマーカＭ０、Ｍ１およびＭ２が含まれている撮像画像に基づき、第１支援処理要素１２１により、実機撮像装置Ｓ１を基準とした測距装置Ｓ２の相対位置および相対姿勢が認識される（図４／ＳＴＥＰ１１１）。これは、図６に示されている撮像装置座標系Ｃ（Ｓ１）＝（Ｘ１，Ｙ１，Ｚ１）および測距装置座標系Ｃ（Ｓ２）＝（Ｘ２，Ｙ２，Ｚ２）の間の座標変換行列またはこれに相当するクォータニオンを求めることと同義である。撮像装置座標系Ｃ（Ｓ１）のＸ１軸は撮像装置Ｓ１の光軸と一致するように定義されている。Ｙ１－Ｚ１平面座標系が撮像画像座標系を構成する。測距装置座標系Ｃ（Ｓ２）のＸ２軸は測距装置Ｓ２の光軸と一致するように定義されている。Ｙ２－Ｚ２平面座標系が測距画像座標系を構成する。

【0040】

実機撮像装置Ｓ１を基準とした測距装置Ｓ２の相対位置を求めることは、図６に示されている撮像装置座標系Ｃ（Ｓ１）の原点Ｏ１から測距装置座標系Ｃ（Ｓ２）の原点Ｏ２まで延びるベクトルＲを求めることと同義である。例えば、図５に示されている撮像画像におけるマーカＭ０、Ｍ１およびＭ２それぞれのサイズに基づき、撮像装置座標系Ｃ（Ｓ１）の原点Ｏ１からマーカＭ０、Ｍ１およびＭ２（の中心または重心）までのそれぞれの長さ（ノルム）が定められる。マーカＭ０、Ｍ１およびＭ２のサイズが大きいほど、原点Ｏ１から各マーカの長さは短いという幾何学的関係が利用される。また、前工程で定められる長さと図５に示されている撮像画像におけるマーカＭ０、Ｍ１およびＭ２の撮像画像上の表示位置とから、各マーカＭ０、Ｍ１およびＭ２の撮像装置座標系Ｃ（Ｓ１）における座標値が定められる。撮像装置座標系Ｃ（Ｓ１）においてマーカがＸ１軸上の任意点からＹ1軸方向およびＸ１軸方向にずれるほど前工程で定められる長さが大きくなる（撮像画像上のマーカのサイズが小さくなる）という幾何学的関係が利用される。

【0041】

また、撮像画像におけるマーカＭ０、Ｍ１およびＭ２の平均座標値に基づき、図６に示されている撮像装置座標系Ｃ（Ｓ１）におけるベクトルＲが定められる。ベクトルＲは、ベクトルＲの長さ、方位角θ１および仰角φ１で示すこともできる。図６に示されているベクトルＲ１は、ベクトルＲがＸ１－Ｙ１平面に投影された結果を模式的に表わしており、ベクトルＲ１がＸ１軸に対してなす角度が当該方位角θ１に相当する。同様にして、ベクトルＲ２は、ベクトルＲがＹ１－Ｚ１平面に投影された結果を模式的に表わしており、ベクトルＲ２がＹ１軸に対してなす角度が当該仰角φ１に相当する。ベクトルＲの長さ、方位角θ１および仰角φ１に基づき、撮像装置座標系Ｃ（Ｓ１）および測距装置座標系Ｃ（Ｓ２）の間の並進行列が定められる。また、３つのマーカＭ０、Ｍ１、Ｍ２のうちのいずれか一つ（例えばＭ０）が測距装置Ｓ２の背面に位置するように配置されている場合には、原点Ｏ１からマーカＭ０で延びるベクトルがベクトルＲに相当する。また、３つのマーカＭ０、Ｍ１、Ｍ２に対する相対的な位置関係を考慮してベクトルＲが定められてもよい。

【0042】

実機撮像装置Ｓ１を基準とした測距装置Ｓ２の相対姿勢を求めることは、図６に示されている撮像装置座標系Ｃ（Ｓ１）が、その原点Ｏ１を測距装置座標系Ｃ（Ｓ２）の原点Ｏ２に一致させるように並進された結果としての座標系Ｃ（Ｓ１）を基準とした、測距装置座標系Ｃ（Ｓ２）の方位角θ２および仰角φ２を求めることと同義である。例えば、マーカＭ０,マーカＭ１およびマーカＭ２がＹ２‐Ｚ２平面に位置することから、３マーカの座標からＹ２‐Ｚ２平面を特定し、Ｘ２軸はＹ２‐Ｚ２平面に対して垂直又は垂直から方位角θ２および仰角φ２にオフセットした方向の軸であって、原点Ｏ２を通る軸がＸ２軸として特定される。当該オフセット量は、３つのマーカＭ０、Ｍ１、Ｍ２を取り付けた測距装置Ｓ２を特定の平面に設定した際の光軸の傾き量を予め確認しておくことにより設定される。

【0043】

また、Ｘ２軸を特定する別の方法として、図５に示されている撮像画像において、複数のマーカとして、例えば、マーカＭ１とマーカＭ２が横並びに配置されている場合、マーカＭ１とマーカＭ２との間隔に基づき、図６に示されている方位角θ２が求められる。当該間隔が小さいほど方位角θ２が大きくなるという幾何学的関係が用いられる。図５に示されている撮像画像におけるマーカＭ０とマーカＭ１およびマーカＭ２のうち一方または両方との間隔または平均間隔に基づき、図６に示されている仰角φ２が求められる。当該間隔が小さいほど仰角φ２が大きくなるという幾何学的関係が用いられる。方位角θ２および仰角φ２に基づき、撮像装置座標系Ｃ（Ｓ１）および測距装置座標系Ｃ（Ｓ２）の間の回転行列が定められる。

【0044】

作業機械４０またはキャブ４２４の内部空間における実機撮像装置Ｓ１および測距装置Ｓ２の位置および姿勢が不変である場合、ＳＴＥＰ１１１の処理は初期においてのみ実行され、その後は省略されてもよい。

【0045】

第１支援処理要素１２１により認識された実機撮像装置Ｓ１を基準とした測距装置Ｓ２の相対位置および相対姿勢に基づき、第２支援処理要素１２２により、撮像画像に測距画像に含まれている距離情報が組み合わせられた環境画像が生成される（図４／ＳＴＥＰ１１２）。具体的には、測距画像座標系（Ｙ２，Ｚ２）の各画素における画素値である物体までの距離が、撮像画像座標系（Ｙ１，Ｚ１）の各画素に対して割り当てられる。この際、測距画像座標系（Ｙ２，Ｚ２）の各画素の座標値が、前記のようにして求められた並進行列および回転行列が用いられることにより、撮像画像座標系（Ｙ１，Ｚ１）の座標値に座標変換される。実機撮像装置Ｓ１および測距装置Ｓ２のそれぞれの解像度の相違等により、一般的に、当該座標変換後の測距画像座標系（Ｙ２，Ｚ２）の各画素の座標値は、撮像画像座標系（Ｙ１，Ｚ１）の各画素の座標値に一致しない。このため、適当な補間方法にしたがって、測距画像座標系（Ｙ２，Ｚ２）の各画素の画素値が撮像画像座標系（Ｙ１，Ｚ１）の各画素（すべての画素でなくてもよい。）に対して割り当てられる。これにより、撮像画像に映り込んでいる物体の複数箇所のそれぞれの、撮像装置Ｓ１を基準とした実空間位置、ひいては当該物体の表面の凹凸等の形状が推定される。

【0046】

これらの結果として、例えば、図７に示されているように、撮像画像に含まれている物体としての地面の上に、測距画像に含まれている距離情報に応じた網目状の線図が重畳された環境画像が生成される。当該網目状の線図のうち緯線図の延在態様は、測距画像において縦座標値を固定したままで横座標値を右（または左）方向に変化させた際の、画素値（測距装置Ｓ２から物体までの距離）の変化態様に応じて定まる。当該網目状の線図のうち経線図の延在態様は、測距画像において横座標値を固定したままで縦座標値を上（または下）方向に変化させた際の、画素値（測距装置Ｓ２から物体までの距離）の変化態様に応じて定まる。

【0047】

第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１４）。

【0048】

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。これにより、図７に示されているような画像が、キャブ４２４のフロントウィンドウ越しに映る混んでいるような環境画像が画像出力装置２２１に出力される。

【0049】

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

【0050】

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１４）。

【0051】

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

【0052】

（効果）
当該構成の遠隔操作支援システムによれば、作業機械４０に搭載されている撮像装置Ｓ１を通じて取得された撮像画像、ひいては同じく作業機械４０に搭載されている測距装置Ｓ２に付されたマーカＭ０、Ｍ１およびＭ２の映り込み態様に基づき、撮像装置Ｓ１を基準とした測距装置Ｓ２の相対位置および相対姿勢が認識される（図４／ＳＴＥＰ１１１、図５および図６参照）。撮像装置Ｓ１を基準とした測距装置Ｓ２の相対位置および相対姿勢、ひいては撮像画像座標系および測距画像座標系の座標変換態様に基づき、測距画像に含まれる距離情報が撮像画像に組み込まれた環境画像が生成される（図４／ＳＴＥＰ１１２および図７参照）。

【0053】

この環境画像が遠隔操作装置２０を構成する遠隔出力インターフェース２２０に出力されることにより、当該環境画像に接したオペレータに撮像画像（２次元画像）に映り込んでいる物体の３次元実空間における位置（または位置および姿勢）を的確に認識させることができる。

【0054】

（本発明の他の実施形態）
遠隔支援処理サーバ１０の少なくとも一部の機能要素が、遠隔操作装置２０および／または作業機械４０により構成されていてもよい。例えば、第１支援処理要素１２１が、第１演算処理装置としての遠隔制御装置２００および／または実機制御装置４００により構成されていてもよい。第２支援処理要素１２２が、第２演算処理装置としての遠隔制御装置２００および／または実機制御装置４００により構成されていてもよい。遠隔操作支援サーバ１０の機能要素が遠隔操作装置２０に搭載されている場合、前記実施形態における無線通信に代えて、当該遠隔操作装置２０に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。同様に、遠隔操作支援サーバ１０の機能要素が作業機械４０に搭載されている場合、前記実施形態における無線通信に代えて、当該作業機械４０に搭載されている有線ネットワークを通じた有線通信によって情報が通信されてもよい。

【0055】

例えば、図４／ＳＴＥＰ１１２およびＳＴＥＰ１１４、または、図４／Ｃ１１２、ＳＴＥＰ１１１、ＳＴＥＰ１１２およびＳＴＥＰ１１４により表わされる機能要素が、遠隔制御装置２００により構成されていてもよい。図４／Ｃ１１２およびＳＴＥＰ１１１、または、図４／Ｃ１１２、ＳＴＥＰ１１１、ＳＴＥＰ１１２およびＳＴＥＰ１１１４により表わされる機能要素が、実機制御装置４００により構成されていてもよい。

【0056】

マーカの個数は４以上であってもよい。複数のマーカＭ０、Ｍ１およびＭ２は合同、相似または非相似であってもよい。複数のマーカＭ０、Ｍ１およびＭ２のそれぞれの形状は、円形、楕円形、三角形、正方形、矩形、台形、正六角形等の多角形および星形など、様々な形状の中から選択されてもよい。また、マーカには二次元コード（ＱＲコード（登録商標））を付与しておき、撮像画像から二次元コードを抽出することでマーカを特定してもよい。図６に示されている撮像装置座標系Ｃ（Ｓ１）における測距装置座標系Ｃ（Ｓ２）の姿勢が既知である場合、ベクトルＲを求める観点から、マーカの個数は１または２であってもよい。図６に示されている撮像装置座標系Ｃ（Ｓ１）における測距装置座標系Ｃ（Ｓ２）の方位角θ２または仰角φ２が既知である場合、マーカの個数は２であってもよく、仰角φ２または方位角θ２を前記のように幾何学的関係から定めるために当該２個のマーカが縦方向または横方向に離間して配置されていてもよい。２個のマーカが縦方向および横方向のそれぞれにずれて配置されるように測距装置Ｓ２に対して付されていてもよい。

【0057】

撮像装置Ｓ１を基準とした測距装置Ｓ２の相対姿勢としては、ねじれの要素が含まれてもよい。例えば、図５に示されている撮像画像におけるマーカＭ０、Ｍ１およびＭ２の撮像画像上の相対的な表示位置が、右回り又は左回りにずれている場合には、測距装置Ｓ２が右回り又は左回りにずれて設置されている。第１支援処理要素１２１によりこのようなねじれを考慮した相対姿勢が認識されてもよい。

【0058】

前記実施形態では、マーカＭ０、Ｍ１、Ｍ２の平均座標値又は３つのマーカＭ０、Ｍ１、Ｍ２のうちのいずれか一つ（例えばＭ０）測距装置Ｓ２の背面に位置するように配置されていたが、他の実施形態として、マーカＭ０、Ｍ１、Ｍ２に対する測距装置Ｓ２の背面の相対的な位置を予め確認しておくことにより設定してもよい。３つのマーカＭ０、Ｍ１、Ｍ２の配置位置の自由度が向上する。

【0059】

前記実施形態では、作業機械４０において撮像装置Ｓ１および測距装置Ｓ２がともにキャブ４２４の内部空間に配置されていたが、他の実施形態として、撮像装置Ｓ１の撮像範囲に測距装置Ｓ２に付されたマーカＭ０、Ｍ１およびＭ２が映り込み、かつ、実空間において撮像装置Ｓ１の撮像範囲と測距装置Ｓ２の測距範囲とが重複していることを条件として、作業機械４０において撮像装置Ｓ１および測距装置Ｓ２が異なる形態で配置されていてもよい。例えば、撮像装置Ｓ１が前方に向けられてキャブ４２４の内部空間に配置される一方、測距装置Ｓ２が前方に向けられてキャブ４２４の前方に配置されていてもよい。。

【符号の説明】

【0060】

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット（作業部）、Ｓ１‥実機撮像装置、Ｓ２‥測距装置、Ｍ０、Ｍ１、Ｍ２‥マーカ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】