(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022164075
(43)【公開日】2022-10-27
(54)【発明の名称】遠隔制御システム
(51)【国際特許分類】
H04Q 9/00 20060101AFI20221020BHJP
H04N 7/18 20060101ALI20221020BHJP
【ＦＩ】
H04Q9/00 301B
H04N7/18 J
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021069316
(22)【出願日】2021-04-15
(71)【出願人】
【識別番号】000206211
【氏名又は名称】大成建設株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】木下 勇人
(72)【発明者】
【氏名】渡辺 正嘉
(72)【発明者】
【氏名】加藤 崇
【テーマコード（参考）】
5C054
5K048
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FA07
5C054FD02
5C054HA29
5K048AA04
5K048BA21
5K048BA42
5K048BA48
5K048EB02
5K048EB15
5K048FB05
5K048FB15
5K048HA01
5K048HA02
(57)【要約】
【課題】遠隔制御における作業機械の後方確認が容易となる遠隔制御システムを提供する。
【解決手段】遠隔制御システム１は、作業機械２を遠隔操作するための遠隔操作装置２１と、魚眼レンズを備え、作業機械２の運転室に設けられる前方ステレオカメラ１１と、作業機械２の後方を撮影する後方カメラ１２と、角度センサを備え、前方ステレオカメラ１１および後方カメラ１２によって撮影した映像を表示するヘッドマウントディスプレイ２２と、を有し、前方ステレオカメラ１１が撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、ヘッドマウントディスプレイ２２に両眼視差を再現して表示し、後方カメラ１２が撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示することを特徴とする。
【選択図】図１
【解決手段】遠隔制御システム１は、作業機械２を遠隔操作するための遠隔操作装置２１と、魚眼レンズを備え、作業機械２の運転室に設けられる前方ステレオカメラ１１と、作業機械２の後方を撮影する後方カメラ１２と、角度センサを備え、前方ステレオカメラ１１および後方カメラ１２によって撮影した映像を表示するヘッドマウントディスプレイ２２と、を有し、前方ステレオカメラ１１が撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、ヘッドマウントディスプレイ２２に両眼視差を再現して表示し、後方カメラ１２が撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示することを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業機械を遠隔操作するための遠隔操作装置と、
魚眼レンズを備え、前記作業機械の運転室に設けられる前方ステレオカメラと、
前記作業機械の後方を撮影する後方カメラと、
角度センサを備え、前記前方ステレオカメラおよび前記後方カメラによって撮影した映像を表示するヘッドマウントディスプレイと、を有し、
前記前方ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示し、
前記後方カメラが撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示することを特徴とする遠隔制御システム。
魚眼レンズを備え、前記作業機械の運転室に設けられる前方ステレオカメラと、
前記作業機械の後方を撮影する後方カメラと、
角度センサを備え、前記前方ステレオカメラおよび前記後方カメラによって撮影した映像を表示するヘッドマウントディスプレイと、を有し、
前記前方ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示し、
前記後方カメラが撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示することを特徴とする遠隔制御システム。
【請求項2】
前記後方カメラは、魚眼レンズを備え、
前記前方ステレオカメラが備える魚眼レンズは、円周魚眼レンズであり、
前記後方カメラが備える魚眼レンズは、対角魚眼レンズである、
ことを特徴とする請求項１に記載の遠隔制御システム。
前記前方ステレオカメラが備える魚眼レンズは、円周魚眼レンズであり、
前記後方カメラが備える魚眼レンズは、対角魚眼レンズである、
ことを特徴とする請求項１に記載の遠隔制御システム。
【請求項3】
前記操作者の頭の向きによらずに前記魚眼映像に対する前記後方カメラ映像の位置を固定して表示する、ことを特徴とする請求項１または請求項２に記載の遠隔制御システム。
【請求項4】
前記後方カメラは、前記作業機械が備える後方確認用のミラーに代えてまたは当該ミラーに近接して設置されており、
前記補正映像の前記後方確認用のミラーに対応する部分に前記魚眼映像を表示する、ことを特徴とする請求項３に記載の遠隔制御システム。
前記補正映像の前記後方確認用のミラーに対応する部分に前記魚眼映像を表示する、ことを特徴とする請求項３に記載の遠隔制御システム。
【請求項5】
前記操作者の頭の向きに応じて前記魚眼映像に対する前記後方カメラ映像の位置を移動させ、前記補正映像に対する前記後方カメラ映像の位置を固定して表示する、
ことを特徴とする請求項１または請求項２に記載の遠隔制御システム。
ことを特徴とする請求項１または請求項２に記載の遠隔制御システム。
【請求項6】
前記補正映像の縁部付近に前記魚眼映像を表示する、ことを特徴とする請求項５に記載の遠隔制御システム。
【請求項7】
前記魚眼映像に対する前記後方カメラ映像の位置を固定して表示することと、前記魚眼映像に対する前記後方カメラ映像の位置を移動させて表示することを選択可能である、
ことを特徴とする請求項１または請求項２に記載の遠隔制御システム。
ことを特徴とする請求項１または請求項２に記載の遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔制御システムに関する。
【背景技術】
【0002】
地震、洪水、土砂崩れ等による災害復旧工事において、有人の作業機械による作業により二次災害のおそれがある場合に、遠隔操作した無人の作業機械による作業が行われる場合がある。例えば、特許文献１には、作業機械に設置した２台の魚眼カメラ映像を、遠隔操縦室にいるオペレータが装着したヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）に両眼視差を再現して表示する遠隔制御システムが記載されている。
特許文献１に記載される遠隔制御システムによれば、両眼視差があるため、単眼カメラでは得られない奥行感や遠近感が得られる。また、魚眼レンズを用いているために視界が広範囲であり、さらに、ヘッドマウントディスプレイの方向と映像方向とが同期しているため、ヘッドマウントディスプレイを装着した頭を左右に振ることで、見たい方向の映像を見ることができる。
特許文献１に記載される遠隔制御システムによれば、両眼視差があるため、単眼カメラでは得られない奥行感や遠近感が得られる。また、魚眼レンズを用いているために視界が広範囲であり、さらに、ヘッドマウントディスプレイの方向と映像方向とが同期しているため、ヘッドマウントディスプレイを装着した頭を左右に振ることで、見たい方向の映像を見ることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１２１１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来のシステムでは、作業機械の遠隔制御において後方確認を行うことが必ずしも簡単ではなかった。魚眼レンズを用いたカメラであっても、前方の上下左右１８０度までしか撮影できず、作業機械の後方は魚眼レンズを用いたカメラの撮影範囲外になるので、作業機械の後方を撮影することができない。また、後方の一般的な確認方法としては、後方確認用のミラー（バックミラーやサイドミラーなど）による状況把握方法があるが、上記システムのカメラは運転席に設置され、作業機械の後方確認用のミラーも撮影範囲内にあるため、上記のシステムにおいても魚眼レンズで撮影した映像の中の当該ミラーを確認することが可能である。ここで、後方確認用のミラーは、作業の邪魔にならないように正面から少し外れた場所に設置されるのが一般的である。そして、魚眼レンズを用いて撮影した映像は、外周部ほど解像度が低下する。その為、魚眼レンズを用いて撮影した映像越しでの後方確認用のミラーの後方映像は、画質が低く後方確認のための映像としては不十分である。
このような観点から、本発明は、遠隔制御における作業機械の後方確認が容易となる遠隔制御システムを提供する。
このような観点から、本発明は、遠隔制御における作業機械の後方確認が容易となる遠隔制御システムを提供する。
【課題を解決するための手段】
【0005】
本発明に係る遠隔制御システムは、作業機械を遠隔操作するための遠隔操作装置と、魚眼レンズを備え、前記作業機械の運転室に設けられる前方ステレオカメラと、前記作業機械の後方を撮影する後方カメラと、角度センサを備え、前記前方ステレオカメラおよび前記後方カメラによって撮影した映像を表示するヘッドマウントディスプレイとを有する。
前記前方ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示する。前記後方カメラが撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示する。
後方カメラ映像を補正映像に重ねて表示するとは、補正映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像を補正映像に含めて表示するとは、補正映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。
前記後方カメラは、魚眼レンズを備えてもよい。また、前記前方ステレオカメラが備える魚眼レンズは、円周魚眼レンズであり、前記後方カメラが備える魚眼レンズは、対角魚眼レンズであってもよい。
本発明に係る遠隔制御システムでは、操作者は、後方カメラ映像を介して作業機械の後方の状況を容易に確認することができる。なお、後方カメラ映像は、前方ステレオカメラで撮影した映像の歪みを補正した後の補正映像に重ねてまたは含めて表示されるので、当該歪み補正が後方カメラ映像の画質に影響を及ぼすことはなく、したがって、後方確認のための映像として十分な画質を持たせることができる。
前記前方ステレオカメラが撮像する広範囲の魚眼映像から、前記角度センサが検知した操作者の頭の向きに応じて所望方向の部分映像を抽出し、該部分映像の歪みを補正した補正映像を、前記ヘッドマウントディスプレイに両眼視差を再現して表示する。前記後方カメラが撮像する後方カメラ映像を前記補正映像に重ねてまたは含めて表示する。
後方カメラ映像を補正映像に重ねて表示するとは、補正映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像を補正映像に含めて表示するとは、補正映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。
前記後方カメラは、魚眼レンズを備えてもよい。また、前記前方ステレオカメラが備える魚眼レンズは、円周魚眼レンズであり、前記後方カメラが備える魚眼レンズは、対角魚眼レンズであってもよい。
本発明に係る遠隔制御システムでは、操作者は、後方カメラ映像を介して作業機械の後方の状況を容易に確認することができる。なお、後方カメラ映像は、前方ステレオカメラで撮影した映像の歪みを補正した後の補正映像に重ねてまたは含めて表示されるので、当該歪み補正が後方カメラ映像の画質に影響を及ぼすことはなく、したがって、後方確認のための映像として十分な画質を持たせることができる。
【0006】
前記操作者の頭の向きによらずに前記魚眼映像に対する前記後方カメラ映像の位置を固定して表示してもよい。その場合、前記後方カメラは、前記作業機械が備える後方確認用のミラーに代えてまたは当該ミラーに近接して設置し、前記補正映像の前記後方確認用のミラーに対応する部分に前記魚眼映像を表示するのがよい。
このようにすると、魚眼映像の中で作業を行うために重要な正面部分を後方カメラ映像によって邪魔をされることがない。また、操作者は、作業機械に搭乗した場合と同等の後方確認が可能であるので、遠隔操作でありながら作業機械に実際に搭乗している状態により近い状況で操作を行える。また、作業機械の正面方向が分かりやすいという利点もある。
前記操作者の頭の向きに応じて前記魚眼映像に対する前記後方カメラ映像の位置を移動させ、前記補正映像に対する前記後方カメラ映像の位置を固定して表示してもよい。その場合、前記補正映像の縁部付近に前記魚眼映像を表示するのがよい。
このようにすると、操作者の頭の向きに関わらずに後方カメラ映像が常に表示される（つまり、操作者の視界から後方カメラ映像が外れることがない）。また、後方カメラ映像の位置を移動させることができるので、魚眼映像の中で視認できない部分が発生しない。
なお、前記魚眼映像に対する前記後方カメラ映像の位置を固定して表示することと、前記魚眼映像に対する前記後方カメラ映像の位置を移動させて表示することを選択可能であってもよい。
このようにすると、操作者が作業の状況に応じて表示方法を選択できるので、遠隔制御がより容易となる。
このようにすると、魚眼映像の中で作業を行うために重要な正面部分を後方カメラ映像によって邪魔をされることがない。また、操作者は、作業機械に搭乗した場合と同等の後方確認が可能であるので、遠隔操作でありながら作業機械に実際に搭乗している状態により近い状況で操作を行える。また、作業機械の正面方向が分かりやすいという利点もある。
前記操作者の頭の向きに応じて前記魚眼映像に対する前記後方カメラ映像の位置を移動させ、前記補正映像に対する前記後方カメラ映像の位置を固定して表示してもよい。その場合、前記補正映像の縁部付近に前記魚眼映像を表示するのがよい。
このようにすると、操作者の頭の向きに関わらずに後方カメラ映像が常に表示される（つまり、操作者の視界から後方カメラ映像が外れることがない）。また、後方カメラ映像の位置を移動させることができるので、魚眼映像の中で視認できない部分が発生しない。
なお、前記魚眼映像に対する前記後方カメラ映像の位置を固定して表示することと、前記魚眼映像に対する前記後方カメラ映像の位置を移動させて表示することを選択可能であってもよい。
このようにすると、操作者が作業の状況に応じて表示方法を選択できるので、遠隔制御がより容易となる。
【発明の効果】
【0007】
本発明によれば、遠隔制御における作業機械の後方確認が容易である。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係る遠隔制御システムの概略構成図である。
【図2】本発明の実施形態に係る遠隔制御システムが備えるカメラの撮像範囲を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。
【図3】魚眼レンズを用いて撮影した映像の歪み補正を説明するための図であり、（ａ）は被写体の一例であり、（ｂ）は魚眼レンズでの取得画像のイメージ図であり、（ｃ）は歪み補正画像のイメージ図であり、（ｄ）は歪み補正前のイメージセンサ格子を示しており、（ｅ）は歪み補正後のイメージセンサ格子を示している。
【図4】魚眼レンズの種類を説明するための図であり、（ａ）は対角魚眼レンズを説明するための図であり、（ｂ）は円周魚眼レンズを説明するための図である。
【図5】ワイプ位置固定方式を説明するための図である。図５（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図５（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図５（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
【図6】ワイプ位置追従方式を説明するための図である。図６（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図６（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図６（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
【図7】ヘッドマウントディスプレイの姿勢制御を説明するための図である。
【図8】ヨー方向の回転による座標変換を説明するための図である。
【図9】ワイプ位置追従方式でのステレオカメラ映像の位置座標の設定を説明するための図であり、（ａ）はステレオカメラ映像の設定例であり、（ｂ）は基準方向（ｘ軸に対して「０度」の方向）を向いた状態を示し、（ｃ）は左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた状態を示している。
【図10】後方カメラ映像（ワイプ）に対する位置座標の設定および回転動作後の位置座標の算出を説明するための図であり、（ａ）は後方カメラのワイプの設定例であり、（ｂ）は基準方向（ｘ軸に対して「０度」の方向）を向いた状態を示し、（ｃ）は左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた状態を示している。
【発明を実施するための形態】
【0009】
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0010】
＜実施形態に係る遠隔制御システムの構成＞
図１を参照して、実施形態に係る遠隔制御システム１の構成について説明する。図１は、遠隔制御システム１の概略構成図である。遠隔制御システム１は、作業機械２を遠隔操作するためのシステムである。遠隔制御システム１は、作業機械２を用いる様々な場面で使用することができ、遠隔操作を行う対象の作業機械２の種類や作業機械２を用いて行う作業などは特に限定されない。
図１に示すように、遠隔制御システム１は、主に、作業機械２に搭載される装置類１０と、操作室内に設けられる装置類２０とで構成される。作業機械２は、例えば平常時には作業員が搭乗して操作することが可能なもの（運転室などを有するもの）を、遠隔操作可能に改造したものであってよい。作業機械２は、例えば建設機械の一種である油圧ショベル（バックホウ）、振動ローラ、ブルドーザ、ダンプトラック、クレーンなどである。
作業機械側の装置類１０は、前方ステレオカメラ１１と、少なくとも一つ以上（図１では二つ）の後方カメラ１２とを含んで構成される。操作室側の装置類２０は、遠隔操作装置２１と、ヘッドマウントディスプレイ２２と、処理装置２３とを含んで構成される。なお、作業機械側の装置類１０の説明における「前後」、「上下」、「左右」は、図１の矢印に従う。当該方向は、作業機械２に搭乗した作業員（つまり、遠隔操作する操作者）に対応するものである。
遠隔制御システム１は、前方ステレオカメラ１１が撮像する広範囲の魚眼映像から、ヘッドマウントディスプレイ２２の角度センサが検知した操作者の頭の向きや動きに応じて操作者が所望する領域の部分映像を抽出し、この部分映像の歪みを補正した補正映像をヘッドマウントディスプレイ２２に投影する。また、遠隔制御システム１は、後方カメラ１２が撮影した後方カメラ映像を小窓形式（ワイプ）によって補正映像に重ねてまたは含めて表示することを特徴とする。後方カメラ映像を補正映像に重ねて表示するとは、補正映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像を補正映像に含めて表示するとは、補正映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。なお、補正映像と後方カメラ映像との関連性を明確にするという意味では、補正映像の領域内に後方カメラ映像を配置するのが望ましい。
図１を参照して、実施形態に係る遠隔制御システム１の構成について説明する。図１は、遠隔制御システム１の概略構成図である。遠隔制御システム１は、作業機械２を遠隔操作するためのシステムである。遠隔制御システム１は、作業機械２を用いる様々な場面で使用することができ、遠隔操作を行う対象の作業機械２の種類や作業機械２を用いて行う作業などは特に限定されない。
図１に示すように、遠隔制御システム１は、主に、作業機械２に搭載される装置類１０と、操作室内に設けられる装置類２０とで構成される。作業機械２は、例えば平常時には作業員が搭乗して操作することが可能なもの（運転室などを有するもの）を、遠隔操作可能に改造したものであってよい。作業機械２は、例えば建設機械の一種である油圧ショベル（バックホウ）、振動ローラ、ブルドーザ、ダンプトラック、クレーンなどである。
作業機械側の装置類１０は、前方ステレオカメラ１１と、少なくとも一つ以上（図１では二つ）の後方カメラ１２とを含んで構成される。操作室側の装置類２０は、遠隔操作装置２１と、ヘッドマウントディスプレイ２２と、処理装置２３とを含んで構成される。なお、作業機械側の装置類１０の説明における「前後」、「上下」、「左右」は、図１の矢印に従う。当該方向は、作業機械２に搭乗した作業員（つまり、遠隔操作する操作者）に対応するものである。
遠隔制御システム１は、前方ステレオカメラ１１が撮像する広範囲の魚眼映像から、ヘッドマウントディスプレイ２２の角度センサが検知した操作者の頭の向きや動きに応じて操作者が所望する領域の部分映像を抽出し、この部分映像の歪みを補正した補正映像をヘッドマウントディスプレイ２２に投影する。また、遠隔制御システム１は、後方カメラ１２が撮影した後方カメラ映像を小窓形式（ワイプ）によって補正映像に重ねてまたは含めて表示することを特徴とする。後方カメラ映像を補正映像に重ねて表示するとは、補正映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像を補正映像に含めて表示するとは、補正映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。なお、補正映像と後方カメラ映像との関連性を明確にするという意味では、補正映像の領域内に後方カメラ映像を配置するのが望ましい。
【0011】
（作業機械側の装置類）
図１を参照して、作業機械側の装置類１０について説明する。前方ステレオカメラ１１は、左右に並べられた二つのカメラ１１ａを備える。前方ステレオカメラ１１は、例えば作業機械２の運転室に設置され、作業機械２の遠隔操作に用いる映像を撮影する。前方ステレオカメラ１１が備える二つのカメラ１１ａ，１１ａは、平常時において搭乗する操作者の左右の目に相当する。カメラ１１ａは、作業現場の状況を認識できる解像度を有しており、また、遠隔操作に支障をきたさない程度のフレームレートであるものがよい。カメラ１１ａは、例えば４Ｋ解像度以上のビデオカメラであるのがよい。
前方ステレオカメラ１１を構成する各々のカメラ１１ａは、魚眼レンズを備える。魚眼レンズは、超広角の範囲（例えば、１８０°）の撮影を可能にするレンズである。前方ステレオカメラ１１の撮像範囲Ｋ１を図２に示す。図２は、遠隔制御システム１が備えるカメラの撮像範囲を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。前方ステレオカメラ１１は、超広角の撮像範囲Ｋ１を魚眼映像で常時撮像している。魚眼映像は、広範囲の領域を映し出すことができるが、周辺部に行くほど歪みが大きくなる。本実施形態では、この常時撮像している魚眼映像から、操作者の頭の方向に対応する部分映像を抽出し、この部分映像から歪みのない補正映像の作成を行う。なお、他の方法によって補正映像の作成を行うこともできる。補正映像を作成する画像処理は、操作室内に設置された処理装置２３で行うことが好ましい。画像処理を、操作室内に設置された処理装置２３で行うことにより、画像処理の高速化、作業機械２に設置する装置構成の簡略化、ヘッドマウントディスプレイ２２の軽量化を実現することができる。
図１を参照して、作業機械側の装置類１０について説明する。前方ステレオカメラ１１は、左右に並べられた二つのカメラ１１ａを備える。前方ステレオカメラ１１は、例えば作業機械２の運転室に設置され、作業機械２の遠隔操作に用いる映像を撮影する。前方ステレオカメラ１１が備える二つのカメラ１１ａ，１１ａは、平常時において搭乗する操作者の左右の目に相当する。カメラ１１ａは、作業現場の状況を認識できる解像度を有しており、また、遠隔操作に支障をきたさない程度のフレームレートであるものがよい。カメラ１１ａは、例えば４Ｋ解像度以上のビデオカメラであるのがよい。
前方ステレオカメラ１１を構成する各々のカメラ１１ａは、魚眼レンズを備える。魚眼レンズは、超広角の範囲（例えば、１８０°）の撮影を可能にするレンズである。前方ステレオカメラ１１の撮像範囲Ｋ１を図２に示す。図２は、遠隔制御システム１が備えるカメラの撮像範囲を説明するための図であり、（ａ）は平面図、（ｂ）は側面図である。前方ステレオカメラ１１は、超広角の撮像範囲Ｋ１を魚眼映像で常時撮像している。魚眼映像は、広範囲の領域を映し出すことができるが、周辺部に行くほど歪みが大きくなる。本実施形態では、この常時撮像している魚眼映像から、操作者の頭の方向に対応する部分映像を抽出し、この部分映像から歪みのない補正映像の作成を行う。なお、他の方法によって補正映像の作成を行うこともできる。補正映像を作成する画像処理は、操作室内に設置された処理装置２３で行うことが好ましい。画像処理を、操作室内に設置された処理装置２３で行うことにより、画像処理の高速化、作業機械２に設置する装置構成の簡略化、ヘッドマウントディスプレイ２２の軽量化を実現することができる。
【0012】
図３を参照して、魚眼レンズを用いて撮影した映像の歪み補正について説明する。図３は、魚眼レンズを用いて撮影した映像の歪み補正を説明するための図であり、（ａ）は被写体の一例であり、（ｂ）は魚眼レンズでの取得画像のイメージ図であり、（ｃ）は歪み補正画像のイメージ図であり、（ｄ）は歪み補正前のイメージセンサ格子を示しており、（ｅ）は歪み補正後のイメージセンサ格子を示している。
ここでは説明を容易にするために、被写体として市松模様（碁盤目状の格子の目を色違いに並べた模様）を想定する（図３（ａ）参照）。魚眼レンズを備えるカメラ（魚眼カメラ）で図３（ａ）に示す被写体を撮影した場合、図３（ｂ）に示すように取得画像では直線が湾曲して取得される。その為、ヘッドマウントディスプレイ上に表示する際に歪みを補正する必要があり、歪み補正を行うことで図３（ｃ）に示すように被写体が魚眼レンズによって歪む前の状態となる。
一方、図３（ｄ）に示すようにカメラのイメージセンサは格子状になっており、魚眼カメラ取得画像の歪んだ被写体を補正すると、イメージセンサのドットごとに補正がかかる。図３（ｄ）では、中央部のドットに符号Ｄ１を付し、端部のドットに符号Ｄ２を付している。図３（ｅ）に示すように、歪み補正した画像では、イメージセンサのドットの歪み量は中央部では少なく、端部では大きくなる。つまり、歪み補正した画像では、中央部でのドット密度は大きく、端部でのドット密度は小さくなる。その為、ヘッドマウントディスプレイでの見え方としては、表示される画像の中央部に比べて端部へ行くほど解像度が低くなる。
ここでは説明を容易にするために、被写体として市松模様（碁盤目状の格子の目を色違いに並べた模様）を想定する（図３（ａ）参照）。魚眼レンズを備えるカメラ（魚眼カメラ）で図３（ａ）に示す被写体を撮影した場合、図３（ｂ）に示すように取得画像では直線が湾曲して取得される。その為、ヘッドマウントディスプレイ上に表示する際に歪みを補正する必要があり、歪み補正を行うことで図３（ｃ）に示すように被写体が魚眼レンズによって歪む前の状態となる。
一方、図３（ｄ）に示すようにカメラのイメージセンサは格子状になっており、魚眼カメラ取得画像の歪んだ被写体を補正すると、イメージセンサのドットごとに補正がかかる。図３（ｄ）では、中央部のドットに符号Ｄ１を付し、端部のドットに符号Ｄ２を付している。図３（ｅ）に示すように、歪み補正した画像では、イメージセンサのドットの歪み量は中央部では少なく、端部では大きくなる。つまり、歪み補正した画像では、中央部でのドット密度は大きく、端部でのドット密度は小さくなる。その為、ヘッドマウントディスプレイでの見え方としては、表示される画像の中央部に比べて端部へ行くほど解像度が低くなる。
【0013】
後方カメラ１２は、作業機械２の後方確認のために用いる映像を撮影する。後方カメラ１２は、後方確認に必要な映像を撮影可能な位置に設置されればよく、例えば後方確認用のミラーに代えてまたは当該ミラーに近接して設置されるのがよい。図２（ａ）に示すように、本実施形態では、後方カメラ１２がサイドミラーの位置に後向きで設置されている。後方カメラ１２は、運転席の左右のフレームに固定されている。図２（ａ）に示すように、右側の後方カメラ１２Ｒは、主に作業機械２の右後方を撮像範囲Ｋ２とする。一方、左側の後方カメラ１２Ｌは、主に作業機械２の左後方を撮像範囲Ｋ２とする。後方確認を行うのは作業機械２の後進時や旋回時が主となるため、後方カメラ１２は、作業機械２の履帯を撮影できる角度で取り付けられるのがよい（図２（ｂ）参照）。
なお、後方カメラ１２は、魚眼レンズを備えていてもよい。魚眼レンズには「対角魚眼レンズ」と「円周魚眼レンズ」の２種類があることが知られている。図４を参照して、魚眼レンズの種類の違いを説明する。図４は、魚眼レンズの種類を説明するための図であり、（ａ）は対角魚眼レンズを説明するための図であり、（ｂ）は円周魚眼レンズを説明するための図である。
図４（ａ）に示すように、対角魚眼レンズでは、イメージサークルの直径がカメラセンサーの対角線となる。対角魚眼レンズでは、被写体が大きく映る（構成ピクセル数が多い＝画質が良い）が、カットされる部分が多くなるので広範囲を見るのには適さない。一方、図４（ｂ）に示すように、円周魚眼レンズでは、被写体が小さく映る（構成ピクセル数が少ない＝画質が荒い）が、カットされる部分がないので広範囲を見るのに適している。
作業機械２の操作（特に、建設機械の操作）においては、上下左右に広い視野角を持たせるのが望ましいので、遠隔制御システム１の前方ステレオカメラ１１では円周魚眼レンズを使用するのが望ましい。一方、後方確認にはそれほど広い視野角を要求されないので、より画質の良い対角魚眼レンズを使用するのが望ましい。
なお、後方カメラ１２は、魚眼レンズを備えていてもよい。魚眼レンズには「対角魚眼レンズ」と「円周魚眼レンズ」の２種類があることが知られている。図４を参照して、魚眼レンズの種類の違いを説明する。図４は、魚眼レンズの種類を説明するための図であり、（ａ）は対角魚眼レンズを説明するための図であり、（ｂ）は円周魚眼レンズを説明するための図である。
図４（ａ）に示すように、対角魚眼レンズでは、イメージサークルの直径がカメラセンサーの対角線となる。対角魚眼レンズでは、被写体が大きく映る（構成ピクセル数が多い＝画質が良い）が、カットされる部分が多くなるので広範囲を見るのには適さない。一方、図４（ｂ）に示すように、円周魚眼レンズでは、被写体が小さく映る（構成ピクセル数が少ない＝画質が荒い）が、カットされる部分がないので広範囲を見るのに適している。
作業機械２の操作（特に、建設機械の操作）においては、上下左右に広い視野角を持たせるのが望ましいので、遠隔制御システム１の前方ステレオカメラ１１では円周魚眼レンズを使用するのが望ましい。一方、後方確認にはそれほど広い視野角を要求されないので、より画質の良い対角魚眼レンズを使用するのが望ましい。
【0014】
（操作室側の装置類）
図１を参照して、操作室側の装置類２０について説明する。遠隔操作装置２１は、作業機械２を遠隔操作するための装置である。図１では遠隔操作装置２１としてジョイステック型のコントローラを例示しているが、遠隔操作装置２１はこれに限定されるものではない。遠隔操作装置２１はフットペダルなどを含んでいてもよい。遠隔操作装置２１は、操作者によって入力された作業機械２の操作情報を、例えば処理装置２３を介して作業機械２に送信する。
ヘッドマウントディスプレイ２２は、前方ステレオカメラ１１が撮影した映像（「ステレオカメラ映像」や「魚眼映像」と呼ぶ場合がある）や後方カメラ１２が撮影した映像（「後方カメラ映像」と呼ぶ場合がある）を表示する。前方ステレオカメラ１１や後方カメラ１２が撮影した映像は、例えば処理装置２３を介してヘッドマウントディスプレイ２２に送信される。
ヘッドマウントディスプレイ２２は、操作室内の操作者に装着される。ヘッドマウントディスプレイ２２には、前方ステレオカメラ１１を構成する二つのカメラ１１ａ，１１ａからの映像が、ヘッドマウントディスプレイ２２の左眼部分と右眼部分とに両眼視差を再現して投影される。つまり、前方ステレオカメラ１１は、二個の魚眼レンズにより対象物を異なる角度から撮像しており、操作者は、両眼視差を再現した奥行き感のある画像（３Ｄ画像）を見ることができる。すなわち、遠隔制御システム１により、作業機械２の運転室からの視界をほぼリアルタイムで忠実にヘッドマウントディスプレイ２２に投影することができる。操作者は、奥行き感のある映像をほぼリアルタイムで見ながら作業することができるため、作業機械２を正確に操作することができる。
また、ヘッドマウントディスプレイ２２には、後方カメラ１２からの映像（後方カメラ映像）が表示される。後方カメラ映像は、ステレオカメラ映像に重ねてまたはステレオカメラ映像の一部に含めて表示される。後方カメラ映像をステレオカメラ映像に重ねて表示するとは、ステレオカメラ映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像をステレオカメラ映像に含めて表示するとは、ステレオカメラ映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。なお、ステレオカメラ映像と後方カメラ映像との関連性を明確にするという意味では、ステレオカメラ映像の領域内に後方カメラ映像を配置するのが望ましい。後方カメラ映像の表示方法は後記する。
図１を参照して、操作室側の装置類２０について説明する。遠隔操作装置２１は、作業機械２を遠隔操作するための装置である。図１では遠隔操作装置２１としてジョイステック型のコントローラを例示しているが、遠隔操作装置２１はこれに限定されるものではない。遠隔操作装置２１はフットペダルなどを含んでいてもよい。遠隔操作装置２１は、操作者によって入力された作業機械２の操作情報を、例えば処理装置２３を介して作業機械２に送信する。
ヘッドマウントディスプレイ２２は、前方ステレオカメラ１１が撮影した映像（「ステレオカメラ映像」や「魚眼映像」と呼ぶ場合がある）や後方カメラ１２が撮影した映像（「後方カメラ映像」と呼ぶ場合がある）を表示する。前方ステレオカメラ１１や後方カメラ１２が撮影した映像は、例えば処理装置２３を介してヘッドマウントディスプレイ２２に送信される。
ヘッドマウントディスプレイ２２は、操作室内の操作者に装着される。ヘッドマウントディスプレイ２２には、前方ステレオカメラ１１を構成する二つのカメラ１１ａ，１１ａからの映像が、ヘッドマウントディスプレイ２２の左眼部分と右眼部分とに両眼視差を再現して投影される。つまり、前方ステレオカメラ１１は、二個の魚眼レンズにより対象物を異なる角度から撮像しており、操作者は、両眼視差を再現した奥行き感のある画像（３Ｄ画像）を見ることができる。すなわち、遠隔制御システム１により、作業機械２の運転室からの視界をほぼリアルタイムで忠実にヘッドマウントディスプレイ２２に投影することができる。操作者は、奥行き感のある映像をほぼリアルタイムで見ながら作業することができるため、作業機械２を正確に操作することができる。
また、ヘッドマウントディスプレイ２２には、後方カメラ１２からの映像（後方カメラ映像）が表示される。後方カメラ映像は、ステレオカメラ映像に重ねてまたはステレオカメラ映像の一部に含めて表示される。後方カメラ映像をステレオカメラ映像に重ねて表示するとは、ステレオカメラ映像のデータが存在する領域に後方カメラ映像を表示することである。後方カメラ映像をステレオカメラ映像に含めて表示するとは、ステレオカメラ映像のデータが存在しない領域（切り抜いた部分や欄外）に後方カメラ映像を表示することである。なお、ステレオカメラ映像と後方カメラ映像との関連性を明確にするという意味では、ステレオカメラ映像の領域内に後方カメラ映像を配置するのが望ましい。後方カメラ映像の表示方法は後記する。
【0015】
ヘッドマウントディスプレイ２２は、図示しない角度センサやジャイロセンサ等を備えており、角度センサやジャイロセンサ等によって操作者の頭の向き、動き等を感知する。感知した操作者の頭の向きや動き等は、ヘッドマウントディスプレイ２２に投影する映像との連動に用いられる。なお、ヘッドマウントディスプレイ２２が有するセンサの種類や数は、ヘッドマウントディスプレイ２２を装着する操作者と投影する映像とを連動させることができるものであれば特に限定されない。
処理装置２３は、遠隔制御システム１を統括制御するコンピュータである。処理装置２３は、例えば、作業機械２側で撮影した映像をヘッドマウントディスプレイ２２に表示する映像表示に関する機能や、遠隔操作装置２１を介して入力された操作情報によって作業機械２を制御する遠隔操作に関する機能を備える。処理装置２３が備えるこれらの機能は、例えばＣＰＵ（Central Processing Unit）が図示しないＲＯＭ（Read Only Memory）等から所定のプログラムを読み出して実行することにより実現される。処理装置２３は、例えばＵＳＢ（Universal Serial Bus）やＤｉｓｐｌａｙＰｏｒｔなどによって、遠隔操作装置２１、ヘッドマウントディスプレイ２２に接続されており、無線通信を介して作業機械側の装置類１０と通信する。なお、処理装置２３の配置場所は操作室に限定されず、操作室以外の場所に配置することもできる。また、処理装置２３の一部の機能を作業機械２が備えるコンピュータが有するように構成することも可能である。
処理装置２３は、遠隔制御システム１を統括制御するコンピュータである。処理装置２３は、例えば、作業機械２側で撮影した映像をヘッドマウントディスプレイ２２に表示する映像表示に関する機能や、遠隔操作装置２１を介して入力された操作情報によって作業機械２を制御する遠隔操作に関する機能を備える。処理装置２３が備えるこれらの機能は、例えばＣＰＵ（Central Processing Unit）が図示しないＲＯＭ（Read Only Memory）等から所定のプログラムを読み出して実行することにより実現される。処理装置２３は、例えばＵＳＢ（Universal Serial Bus）やＤｉｓｐｌａｙＰｏｒｔなどによって、遠隔操作装置２１、ヘッドマウントディスプレイ２２に接続されており、無線通信を介して作業機械側の装置類１０と通信する。なお、処理装置２３の配置場所は操作室に限定されず、操作室以外の場所に配置することもできる。また、処理装置２３の一部の機能を作業機械２が備えるコンピュータが有するように構成することも可能である。
【0016】
＜ヘッドマウントディスプレイによる各映像の表示方法＞
ヘッドマウントディスプレイ２２は、後方カメラ映像を小窓形式（ワイプ）で表示する。後方カメラ映像は、ステレオカメラ映像の邪魔にならない部分に表示する。後方カメラ映像は、ステレオカメラ映像との関係で位置が固定されていてもよいし（例えば、正面を向いた状態での上部などに表示させる）、ステレオカメラ映像との関係で位置が固定されていなくてもよい（例えば、ヘッドマウントディスプレイ２２を装着した頭の動きに合わせて追従するように移動させ、どの方向を向いたとしても操作者の視界の同じ位置に表示させる）。前者の方式を「ワイプ位置固定方式」と呼び、後者の方式を「ワイプ位置追従方式」と呼ぶことにする。後方カメラ映像の表示方式は、操作者の好みに合わせて選択可能にするのがよい。
ヘッドマウントディスプレイ２２は、後方カメラ映像を小窓形式（ワイプ）で表示する。後方カメラ映像は、ステレオカメラ映像の邪魔にならない部分に表示する。後方カメラ映像は、ステレオカメラ映像との関係で位置が固定されていてもよいし（例えば、正面を向いた状態での上部などに表示させる）、ステレオカメラ映像との関係で位置が固定されていなくてもよい（例えば、ヘッドマウントディスプレイ２２を装着した頭の動きに合わせて追従するように移動させ、どの方向を向いたとしても操作者の視界の同じ位置に表示させる）。前者の方式を「ワイプ位置固定方式」と呼び、後者の方式を「ワイプ位置追従方式」と呼ぶことにする。後方カメラ映像の表示方式は、操作者の好みに合わせて選択可能にするのがよい。
【0017】
図５および図６を参照して、ヘッドマウントディスプレイによる映像の表示方法（「ワイプ位置固定方式」と「ワイプ位置追従方式」）について説明する。
（ワイプ位置固定方式）
図５は、ワイプ位置固定方式を説明するための図である。図５（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図５（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図５（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
図５に示す符号Ｅはステレオカメラ映像（魚眼映像）を示し、符号ＷＲは右側の後方カメラ映像を映したワイプを示し、符号ＷＬは左側の後方カメラ映像を映したワイプを示している。
ワイプ位置固定方式では、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬの位置が固定されている。その為、図５（ｂ），（ｄ），（ｆ）に示すように、操作者が向く方向を変更した場合であっても、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬは移動しない。したがって、ステレオカメラ映像Ｅの中で重要な正面部分をワイプＷＲ，ＷＬで邪魔されることがない。ただし、操作者の向く方向によっては後方カメラ１２のワイプＷＲ，ＷＬが視界から外れることがある（図５（ｆ）参照）。
（ワイプ位置固定方式）
図５は、ワイプ位置固定方式を説明するための図である。図５（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図５（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図５（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
図５に示す符号Ｅはステレオカメラ映像（魚眼映像）を示し、符号ＷＲは右側の後方カメラ映像を映したワイプを示し、符号ＷＬは左側の後方カメラ映像を映したワイプを示している。
ワイプ位置固定方式では、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬの位置が固定されている。その為、図５（ｂ），（ｄ），（ｆ）に示すように、操作者が向く方向を変更した場合であっても、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬは移動しない。したがって、ステレオカメラ映像Ｅの中で重要な正面部分をワイプＷＲ，ＷＬで邪魔されることがない。ただし、操作者の向く方向によっては後方カメラ１２のワイプＷＲ，ＷＬが視界から外れることがある（図５（ｆ）参照）。
【0018】
（ワイプ位置追従方式）
図６は、ワイプ位置追従方式を説明するための図である。図６（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図６（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図６（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
図６に示す符号Ｅはステレオカメラ映像（魚眼映像）を示し、符号ＷＲは右側の後方カメラ映像を映したワイプを示し、符号ＷＬは左側の後方カメラ映像を映したワイプを示している。
ワイプ位置追従方式では、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬの位置が固定されていない。その為、図６（ｂ），（ｄ），（ｆ）に示すように、操作者が向く方向を変更した場合に頭の動きに合わせて後方カメラ１２のワイプＷＲ，ＷＬが追従して移動する。したがって、操作者の向く方向によらず後方カメラ１２のワイプＷＲ，ＷＬが視界から外れることがない。また、後方カメラ映像の位置を移動させることができるので、ステレオカメラ映像Ｅの中で視認できない部分が発生しない。
図６は、ワイプ位置追従方式を説明するための図である。図６（ａ）は操作者が正面方向を向いた状態で見る映像のイメージであり、（ｂ）は当該状態での各映像の位置関係を説明するための図である。図６（ｃ）は操作者が上方向を向いた状態で見る映像のイメージであり、（ｄ）は当該状態での各映像の位置関係を説明するための図である。図６（ｅ）は操作者が左方向を向いた状態で見る映像のイメージであり、（ｆ）は当該状態での各映像の位置関係を説明するための図である。
図６に示す符号Ｅはステレオカメラ映像（魚眼映像）を示し、符号ＷＲは右側の後方カメラ映像を映したワイプを示し、符号ＷＬは左側の後方カメラ映像を映したワイプを示している。
ワイプ位置追従方式では、ステレオカメラ映像Ｅに対して後方カメラ１２のワイプＷＲ，ＷＬの位置が固定されていない。その為、図６（ｂ），（ｄ），（ｆ）に示すように、操作者が向く方向を変更した場合に頭の動きに合わせて後方カメラ１２のワイプＷＲ，ＷＬが追従して移動する。したがって、操作者の向く方向によらず後方カメラ１２のワイプＷＲ，ＷＬが視界から外れることがない。また、後方カメラ映像の位置を移動させることができるので、ステレオカメラ映像Ｅの中で視認できない部分が発生しない。
【0019】
＜後方カメラ映像の設定方法＞
図７ないし図１０を参照して、ワイプ位置固定方式およびワイプ位置追従方式での後方カメラ映像の設置方法について説明する。
ヘッドマウントディスプレイ２２は、加速度センサや地磁気センサ等を備えるため、図７に示すように３軸回転（ロール・ピッチ・ヨー）を検知して自身の姿勢情報を認識可能である（3DoF 制御）。図７は、ヘッドマウントディスプレイ２２の姿勢制御を説明するための図である。
（ワイプ位置固定方式）
ワイプ位置固定方式では、ステレオカメラ映像（魚眼映像）、後方カメラ映像ともに座標に定数を与え固定座標とする。これにより、ヘッドマウントディスプレイ２２（操作者の頭）を動かしても各映像位置は変化しない。
図７ないし図１０を参照して、ワイプ位置固定方式およびワイプ位置追従方式での後方カメラ映像の設置方法について説明する。
ヘッドマウントディスプレイ２２は、加速度センサや地磁気センサ等を備えるため、図７に示すように３軸回転（ロール・ピッチ・ヨー）を検知して自身の姿勢情報を認識可能である（3DoF 制御）。図７は、ヘッドマウントディスプレイ２２の姿勢制御を説明するための図である。
（ワイプ位置固定方式）
ワイプ位置固定方式では、ステレオカメラ映像（魚眼映像）、後方カメラ映像ともに座標に定数を与え固定座標とする。これにより、ヘッドマウントディスプレイ２２（操作者の頭）を動かしても各映像位置は変化しない。
【0020】
（ワイプ位置追従方式）
ワイプ位置追従方式では、ステレオカメラ映像（魚眼映像）には座標に定数を与え固定座標とするが、後方カメラ映像には、座標にヘッドマウントディスプレイ２２の角度情報を含んだ変数を与える。すなわち、後方カメラ映像は、固定座標としない。例えば、後方カメラ映像の位置座標にヘッドマウントディスプレイ２２の姿勢情報を変数として組み込むことで、ヘッドマウントディスプレイ２２を動かして視認方向を変化させても常に後方カメラ映像が表示されるようにする。
ここでは、説明を簡単にするために、二次元座標を用いてヨー方向の回転におけるワイプ位置追従方式の制御を説明する（図８参照）。図８は、ヨー方向の回転による座標変換を説明するための図である。図８に示す二次元座標平面上において、ある点Ｐ（ｘ，ｙ）を原点Ｏを中心に反時計回りにθだけ回転させた新たな点Ｐの座標（Ｘ，Ｙ）は、以下の式で表すことができる。
・Ｘ＝ｘｃｏｓθ－ｙｓｉｎθ
・Ｙ＝ｘｓｉｎθ＋ｙｃｏｓθ
ワイプ位置追従方式では、ステレオカメラ映像（魚眼映像）には座標に定数を与え固定座標とするが、後方カメラ映像には、座標にヘッドマウントディスプレイ２２の角度情報を含んだ変数を与える。すなわち、後方カメラ映像は、固定座標としない。例えば、後方カメラ映像の位置座標にヘッドマウントディスプレイ２２の姿勢情報を変数として組み込むことで、ヘッドマウントディスプレイ２２を動かして視認方向を変化させても常に後方カメラ映像が表示されるようにする。
ここでは、説明を簡単にするために、二次元座標を用いてヨー方向の回転におけるワイプ位置追従方式の制御を説明する（図８参照）。図８は、ヨー方向の回転による座標変換を説明するための図である。図８に示す二次元座標平面上において、ある点Ｐ（ｘ，ｙ）を原点Ｏを中心に反時計回りにθだけ回転させた新たな点Ｐの座標（Ｘ，Ｙ）は、以下の式で表すことができる。
・Ｘ＝ｘｃｏｓθ－ｙｓｉｎθ
・Ｙ＝ｘｓｉｎθ＋ｙｃｏｓθ
【0021】
図９を参照して、ステレオカメラ映像Ｅ（魚眼映像）に対する位置座標の設定について説明する。図９は、ステレオカメラ映像Ｅの位置座標の設定を説明するための図であり、（ａ）はステレオカメラ映像Ｅの設定例であり、（ｂ）は基準方向（ｘ軸に対して「０度」の方向）を向いた状態を示し、（ｃ）は左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた状態を示している。
図９（ａ）に示すように、視点位置を原点とする座標系で、原点を中心とする半径Ｒの半球を設定し、この半球の内側にステレオカメラ映像Ｅを配置する。操作者が基準方向（ｘ軸に対して「０度」の方向）を向いた場合での視認範囲は、例えば図９（ｂ）に示す通りである。操作者がステレオカメラ映像Ｅの左側を見ようとして、図９（ｃ）に示すようにヘッドマウントディスプレイ２２を反時計回りに回転させて視認方向を変えても、ステレオカメラ映像Ｅは動かずに設定時の状態のままである。
図９（ａ）に示すように、視点位置を原点とする座標系で、原点を中心とする半径Ｒの半球を設定し、この半球の内側にステレオカメラ映像Ｅを配置する。操作者が基準方向（ｘ軸に対して「０度」の方向）を向いた場合での視認範囲は、例えば図９（ｂ）に示す通りである。操作者がステレオカメラ映像Ｅの左側を見ようとして、図９（ｃ）に示すようにヘッドマウントディスプレイ２２を反時計回りに回転させて視認方向を変えても、ステレオカメラ映像Ｅは動かずに設定時の状態のままである。
【0022】
次に、図１０を参照して、後方カメラ映像（ワイプＷ）に対する位置座標の設定および回転動作後の位置座標の算出について説明する。図１０は、後方カメラ映像（ワイプＷ）に対する位置座標の設定および回転動作後の位置座標の算出を説明するための図であり、（ａ）は後方カメラ１２のワイプＷの設定例であり、（ｂ）は基準方向（ｘ軸に対して「０度」の方向）を向いた状態を示し、（ｃ）は左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた状態を示している。
図１０（ａ）に示すように、視点位置を原点とする座標系で、後方カメラ映像のワイプＷの位置座標Ｐを「ＨＭＤ回転角関数」として設定する。なお、ステレオカメラ映像Ｅの位置座標設定は、図９で説明した通りである。ヘッドマウントディスプレイ２２のｚ軸周りの回転角を「θ」とし、ワイプ位置座標をＰ（ｘｃｏｓθ－ｙｓｉｎθ，ｘｓｉｎθ＋ｙｃｏｓθ）とする（上述した座標返還式を参照）。そうすると、操作者が基準方向（ｘ軸に対して「０度」の方向）を向いた場合でのワイプＷの位置座標Ｐは、次の通りである。
・ワイプＷの位置座標Ｐ（ｘｃｏｓ０°－ｙｓｉｎ０°，ｘｓｉｎ０°＋ｙｃｏｓ０°）＝（ｘ，ｙ）
また、操作者が左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた場合でのワイプＷの位置座標Ｐは、次の通りである。
・ワイプＷの位置座標Ｐ（ｘｃｏｓ４５°－ｙｓｉｎ４５°，ｘｓｉｎ４５°＋ｙｃｏｓ４５°）＝（（ｘ－ｙ）／√２，（ｘ＋ｙ）／√２）
このようにして、ヘッドマウントディスプレイ２２を反時計回りに回転させて視認方向を変えた場合に、ワイプＷの位置を「ＨＭＤ回転角関数」によって算出し、視認方向の変化に追従して後方カメラ映像のワイプＷを動かすようにする。
図１０（ａ）に示すように、視点位置を原点とする座標系で、後方カメラ映像のワイプＷの位置座標Ｐを「ＨＭＤ回転角関数」として設定する。なお、ステレオカメラ映像Ｅの位置座標設定は、図９で説明した通りである。ヘッドマウントディスプレイ２２のｚ軸周りの回転角を「θ」とし、ワイプ位置座標をＰ（ｘｃｏｓθ－ｙｓｉｎθ，ｘｓｉｎθ＋ｙｃｏｓθ）とする（上述した座標返還式を参照）。そうすると、操作者が基準方向（ｘ軸に対して「０度」の方向）を向いた場合でのワイプＷの位置座標Ｐは、次の通りである。
・ワイプＷの位置座標Ｐ（ｘｃｏｓ０°－ｙｓｉｎ０°，ｘｓｉｎ０°＋ｙｃｏｓ０°）＝（ｘ，ｙ）
また、操作者が左斜め前（ｘ軸に対して反時計回りに「４５度」回転した方向）を向いた場合でのワイプＷの位置座標Ｐは、次の通りである。
・ワイプＷの位置座標Ｐ（ｘｃｏｓ４５°－ｙｓｉｎ４５°，ｘｓｉｎ４５°＋ｙｃｏｓ４５°）＝（（ｘ－ｙ）／√２，（ｘ＋ｙ）／√２）
このようにして、ヘッドマウントディスプレイ２２を反時計回りに回転させて視認方向を変えた場合に、ワイプＷの位置を「ＨＭＤ回転角関数」によって算出し、視認方向の変化に追従して後方カメラ映像のワイプＷを動かすようにする。
【0023】
ここまで説明したように、本実施形態に係る遠隔制御システム１によれば、操作者は、後方カメラ映像を介して作業機械２の後方の状況を容易に確認することができる。なお、後方カメラ映像は、前方ステレオカメラ１１で撮影した映像の歪みを補正した後の補正映像に重ねてまたは含めて表示されるので、当該歪み補正が後方カメラ映像の画質に影響を及ぼすことはない。つまり、当該歪み補正によって後方カメラ映像の画質が低下することがなく、後方確認のための映像として十分な画質を持たせることができる。
また、本実施形態のワイプ位置固定方式では、ステレオカメラ映像Ｅ（魚眼映像）の中で作業を行うために重要な正面部分を後方カメラ映像（ワイプＷ）によって邪魔をされることがない。また、操作者は、作業機械２に搭乗した場合と同等の後方確認が可能であるので、遠隔操作でありながら作業機械２に実際に搭乗している状態により近い状況で操作を行える。また、作業機械２の正面方向が分かりやすいという利点もある。
また、本実施形態のワイプ位置追従方式では、操作者の頭の向きに関わらずに後方カメラ映像（ワイプＷ）が常に表示される（つまり、操作者の視界から後方カメラ映像が外れることがない）。また、後方カメラ映像の位置を移動させることができるので、ステレオカメラ映像Ｅ（魚眼映像）の中で視認できない部分が発生しない。
なお、ワイプ位置固定方式とワイプ位置追従方式を選択できるようにしてもよい。このようにすると、操作者が作業の状況に応じて表示方法を選択できるので、遠隔制御がより容易となる。
また、本実施形態のワイプ位置固定方式では、ステレオカメラ映像Ｅ（魚眼映像）の中で作業を行うために重要な正面部分を後方カメラ映像（ワイプＷ）によって邪魔をされることがない。また、操作者は、作業機械２に搭乗した場合と同等の後方確認が可能であるので、遠隔操作でありながら作業機械２に実際に搭乗している状態により近い状況で操作を行える。また、作業機械２の正面方向が分かりやすいという利点もある。
また、本実施形態のワイプ位置追従方式では、操作者の頭の向きに関わらずに後方カメラ映像（ワイプＷ）が常に表示される（つまり、操作者の視界から後方カメラ映像が外れることがない）。また、後方カメラ映像の位置を移動させることができるので、ステレオカメラ映像Ｅ（魚眼映像）の中で視認できない部分が発生しない。
なお、ワイプ位置固定方式とワイプ位置追従方式を選択できるようにしてもよい。このようにすると、操作者が作業の状況に応じて表示方法を選択できるので、遠隔制御がより容易となる。
【0024】
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
本実施形態では、後方カメラ１２がサイドミラーの位置に後向きで設置し、後方カメラ画像をステレオカメラ映像（魚眼映像）のサイドミラーの位置に表示させていた。しかしながら、後方カメラ１２の設置位置および後方カメラ画像の表示場所は、実施形態で説明したものに限定されない。例えば、作業機械２の後部に後向きで設置し、後方カメラ画像をステレオカメラ映像（魚眼映像）のバックミラーの位置に表示させてもよい。
本実施形態では、後方カメラ１２がサイドミラーの位置に後向きで設置し、後方カメラ画像をステレオカメラ映像（魚眼映像）のサイドミラーの位置に表示させていた。しかしながら、後方カメラ１２の設置位置および後方カメラ画像の表示場所は、実施形態で説明したものに限定されない。例えば、作業機械２の後部に後向きで設置し、後方カメラ画像をステレオカメラ映像（魚眼映像）のバックミラーの位置に表示させてもよい。
【符号の説明】
【0025】
１ 遠隔制御システム
２ 作業機械
１１ 前方ステレオカメラ
１２，１２Ｌ，１２Ｒ 後方カメラ
２１ 遠隔操作装置
２２ ヘッドマウントディスプレイ
２３ 処理装置
Ｋ１，Ｋ２ 撮像範囲
Ｅ ステレオカメラ映像（魚眼映像）
Ｗ，ＷＬ，ＷＲ ワイプ
２ 作業機械
１１ 前方ステレオカメラ
１２，１２Ｌ，１２Ｒ 後方カメラ
２１ 遠隔操作装置
２２ ヘッドマウントディスプレイ
２３ 処理装置
Ｋ１，Ｋ２ 撮像範囲
Ｅ ステレオカメラ映像（魚眼映像）
Ｗ，ＷＬ，ＷＲ ワイプ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】