ホーム > 特許ランキング > 住友重機械工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024065875
(43)【公開日】2024-05-15
(54)【発明の名称】ショベルの遠隔制御システム
(51)【国際特許分類】
E02F 9/26 20060101AFI20240508BHJP
【ＦＩ】
E02F9/26 B
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022174948
(22)【出願日】2022-10-31
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】呉 春男
【テーマコード（参考）】
2D015
【Ｆターム（参考）】
2D015HA03
(57)【要約】
【課題】作業効率の向上を実現する。
【解決手段】ショベルの遠隔制御システムは、ショベルが作業している周囲に存在する被写体の３次元形状を示した３次元情報に基づいて、被写体を立体視表示する表示装置と、操作者から受け付けた操作に基づいて、ショベルを制御するための制御情報をショベルに送信する通信装置と、を備える。
【選択図】図６
【解決手段】ショベルの遠隔制御システムは、ショベルが作業している周囲に存在する被写体の３次元形状を示した３次元情報に基づいて、被写体を立体視表示する表示装置と、操作者から受け付けた操作に基づいて、ショベルを制御するための制御情報をショベルに送信する通信装置と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
ショベルが作業している周囲に存在する被写体の３次元形状を示した３次元情報に基づいて、前記被写体を立体視表示する表示装置と、
操作者から受け付けた操作に基づいて、前記ショベルを制御するための制御情報を前記ショベルに送信する通信装置と、
を備えるショベルの遠隔制御システム。
操作者から受け付けた操作に基づいて、前記ショベルを制御するための制御情報を前記ショベルに送信する通信装置と、
を備えるショベルの遠隔制御システム。
【請求項2】
前記３次元情報に基づいて、前記操作者の右目と左目との視差が表された第１画像と第２画像とを生成するように構成されている制御装置を、さらに備え、
前記表示装置は、前記第１画像と前記第２画像とを用いて前記表示装置に前記被写体を立体視表示する、
請求項１に記載のショベルの遠隔制御システム。
前記表示装置は、前記第１画像と前記第２画像とを用いて前記表示装置に前記被写体を立体視表示する、
請求項１に記載のショベルの遠隔制御システム。
【請求項3】
前記操作者を撮像範囲に含む撮像装置をさらに備え、
前記制御装置は、前記撮像装置によって撮像された画像に基づいて前記操作者の視線を認識し、認識結果に基づいて前記第１画像と前記第２画像とを生成するように構成されている、
請求項２に記載のショベルの遠隔制御システム。
前記制御装置は、前記撮像装置によって撮像された画像に基づいて前記操作者の視線を認識し、認識結果に基づいて前記第１画像と前記第２画像とを生成するように構成されている、
請求項２に記載のショベルの遠隔制御システム。
【請求項4】
前記表示装置は、前記操作者の目に対応する複数の観察位置の各々に対して出力される画像を分離させるための構造体を有する光学素子が、画像出力側の表面に設けられている、
請求項１乃至３のいずれか一つに記載のショベルの遠隔制御システム。
請求項１乃至３のいずれか一つに記載のショベルの遠隔制御システム。
【請求項5】
前記通信装置は、前記ショベル又は前記周囲に存在する装置から、前記被写体の３次元形状の検出結果を示した測定情報を受信し、
前記表示装置は、前記測定情報で示されている前記被写体の前記３次元情報に基づいて、前記被写体を立体視表示する、
請求項１乃至３のいずれか一つに記載のショベルの遠隔制御システム。
前記表示装置は、前記測定情報で示されている前記被写体の前記３次元情報に基づいて、前記被写体を立体視表示する、
請求項１乃至３のいずれか一つに記載のショベルの遠隔制御システム。
【請求項6】
前記ショベルによって施工された後の前記被写体の前記３次元形状を示した施工情報を記憶する施工情報記憶部を、さらに備え、
前記表示装置は、前記施工情報で示されている前記被写体の前記３次元情報に基づいて、施工された後の前記被写体を立体視表示する、
請求項５に記載のショベルの遠隔制御システム。
前記表示装置は、前記施工情報で示されている前記被写体の前記３次元情報に基づいて、施工された後の前記被写体を立体視表示する、
請求項５に記載のショベルの遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ショベルの遠隔制御システムに関する。
【背景技術】
【0002】
従来、油圧ショベルなどの作業機械の遠隔操作を支援する遠隔操作システムが知られている。この遠隔操作システムは、例えば、作業現場にある作業機械等に取り付けられたカメラ等で撮像された画像が、遠隔操作室に設置された表示装置に表示されるように構成されている。これにより、操作者は、ショベルの周囲の状況を把握できる。
【0003】
例えば、特許文献１には、ＨＭＤ（Head Mounted Display）を用いて周囲の状況を確認する技術が提案されている。特許文献１には、ユーザが頭部にＨＭＤを装着して、当該ＨＭＤに表示される周囲画像を参照することで、ショベルの周囲の状況を確認し、ショベルの遠隔操作を可能にしている。ＨＭＤに表示される周囲画像が、ＨＭＤの向きに応じて変化することで、操作者はショベルの周囲の状況を把握できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－４６７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載された技術のように、操作者が作業機械の遠隔操作を行う際に、ＨＭＤを用いてショベルの周囲の状況を認識する場合に、ＨＭＤの向きに応じて表示される周囲画像を変えたとしても、奥行方向における物体までの距離及び物体の大きさを操作者が把握するのが難しい場合がある。また、操作者がＨＭＤを装着した場合、当該ＨＭＤの重さ等のために操作者の作業負担が大きくなるという問題がある。
【0006】
上述に鑑み、遠隔操作で作業機械を操作している操作者に対して、作業負担を大きくせずに、作業現場の状況を３次元的に認識できる技術を提供する。
【課題を解決するための手段】
【0007】
本発明の一態様に係るショベルの遠隔制御システムは、ショベルが作業している周囲に存在する被写体の３次元形状を示した３次元情報に基づいて、被写体を立体視表示する表示装置と、操作者から受け付けた操作に基づいて、ショベルを制御するための制御情報をショベルに送信する通信装置と、を備える。
【発明の効果】
【0008】
本発明の一態様によれば、作業現場の状況を３次元的に認識できるので作業効率の向上を実現する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0011】
（第１の実施形態）
まず、図１を参照して、第１の実施形態に係る遠隔操作システム（遠隔制御システムの一例）ＳＹＳの概要を説明する。図１は、第１の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。
まず、図１を参照して、第１の実施形態に係る遠隔操作システム（遠隔制御システムの一例）ＳＹＳの概要を説明する。図１は、第１の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。
【0012】
＜遠隔操作システムを構成する機器＞
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、定点計測装置４００と、遠隔操作室ＲＣと、を含んでいる。
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、定点計測装置４００と、遠隔操作室ＲＣと、を含んでいる。
【0013】
定点計測装置４００は、ショベル１００が作業を行う作業現場に設けられている。遠隔操作室ＲＣは、ショベル１００を遠隔操作するために設けられている。
【0014】
ショベル１００、定点計測装置４００、及び遠隔操作室ＲＣは、通信回線ＮＷを介してデータの送受信を可能に接続されている。
【0015】
ショベル１００及び定点計測装置４００は、作業現場に関する情報を、遠隔操作室ＲＣに送信する。これにより、遠隔操作室ＲＣは、ショベル１００及び定点計測装置４００からの検出結果に応じて、作業現場を多角的に確認できる。なお、本実施形態は、作業現場の測定を行う装置を、ショベル１００及び定点計測装置４００に制限するものではなく、作業現場上を飛行するドローン、又はユーザが所持可能な空間認識装置など、他の態様の装置であってもよい。
【0016】
ショベル１００及び定点計測装置４００は、作業現場に存在する物体の位置及び形状を３次元的に認識可能なセンサが設けられている。例えば、ショベル１００には（後述する）空間認識装置Ｓ７が設けられ、定点計測装置４００には（後述する）空間認識装置Ｓ１１が設けられている。したがって、ショベル１００、及び定点計測装置４００は、作業現場の３次元的に測定した結果を、遠隔操作室ＲＣに送信できる。
【0017】
空間認識装置Ｓ７、Ｓ１１は、作業現場を撮像するためにＬＩＤＡＲを用いてもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、撮像装置と、ミリ波レーダなどの測距装置と、を組み合わせてもよい。
【0018】
遠隔操作システムＳＹＳに含まれる定点計測装置４００は、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台の定点計測装置４００を通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。
【0019】
遠隔操作システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。これにより、遠隔操作システムＳＹＳは、複数台のショベル１００を通じて、遠隔操作室ＲＣに作業現場に関する情報提供を行うことができる。
【0020】
＜遠隔操作室の構成例＞
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、撮像装置Ｃ１、及び表示装置Ｄ１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラ４０、操作装置４２、操作センサ４３、撮像装置Ｃ１、及び表示装置Ｄ１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
【0021】
通信装置Ｔ２は、ショベル１００に取り付けられた通信装置Ｔ１、及び定点計測装置４００に取り付けられた通信装置Ｔ３との間で通信を制御するように構成されている。
【0022】
撮像装置Ｃ１は、操作席ＤＳに座っている操作者ＯＰを撮影するために設けられている。撮像装置Ｃ１によって撮像された画像情報は、操作者ＯＰの目の位置を検出するために用いられる。
【0023】
遠隔コントローラ４０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラ４０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラ４０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
【0024】
表示装置Ｄ１は、立体視表示が可能なディスプレイとする。表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００、及び定点計測装置４００の各々から送信された情報に基づいた画面を立体視表示する。なお、具体的な表示装置Ｄ１の構成については後述する。
【0025】
操作装置４２（操作部の一例）には、操作装置４２の操作内容を検出するための操作センサ４３が設置されている。操作センサ４３は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサ４３は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサ４３は、検出した操作装置４２の操作内容に関する情報を遠隔コントローラ４０に対して出力する。遠隔コントローラ４０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサ４３は、操作信号を生成するように構成されていてもよい。この場合、操作センサ４３は、遠隔コントローラ４０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作室ＲＣから、ショベル１００の遠隔操作を実現できる。
【0026】
＜ショベルの構成＞
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る掘削機としてのショベル１００の側面図である。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
次に、図２を参照して、本実施形態に係るショベル１００の概要について説明する。図２は、第１の実施形態に係る掘削機としてのショベル１００の側面図である。ショベル１００の下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載される。上部旋回体３にはブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられる。エンドアタッチメントは、法面用バケット又は浚渫用バケット等であってもよい。
【0027】
ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられる。掘削アタッチメントには、バケットチルト機構が設けられていてもよい。
【0028】
ブーム角度センサＳ１はブーム４の回動角度を検出する。本実施形態では、ブーム角度センサＳ１は加速度センサであり、上部旋回体３に対するブーム４の回動角度であるブーム角度を検出できる。ブーム角度は、例えば、ブーム４を最も下げたときに最小角度となり、ブーム４を上げるにつれて大きくなる。
【0029】
アーム角度センサＳ２はアーム５の回動角度を検出する。本実施形態では、アーム角度センサＳ２は加速度センサであり、ブーム４に対するアーム５の回動角度であるアーム角度を検出できる。アーム角度は、例えば、アーム５を最も閉じたときに最小角度となり、アーム５を開くにつれて大きくなる。
【0030】
バケット角度センサＳ３はバケット６の回動角度を検出する。本実施形態では、バケット角度センサＳ３は加速度センサであり、アーム５に対するバケット６の回動角度であるバケット角度を検出できる。バケット角度は、例えば、バケット６を最も閉じたときに最小角度となり、バケット６を開くにつれて大きくなる。
【0031】
ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、又は、連結ピン回りの回動角度を検出するロータリエンコーダ等であってもよい。ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３は、掘削アタッチメントの姿勢を検出する姿勢センサを構成する。
【0032】
上部旋回体３には、運転室としてのキャビン１０、エンジン１１、機体傾斜センサＳ４、旋回角速度センサＳ５、撮像装置Ｓ６、空間認識装置Ｓ７、測位装置Ｓ８、及び通信装置Ｔ１等が搭載されている。
【0033】
キャビン１０内には、ショベルコントローラ３０が設置される。また、キャビン１０内には、運転席及び操作装置等が設置されている。
【0034】
ショベルコントローラ３０は、各種演算を実行する演算装置である。ショベルコントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。ショベルコントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、ショベルコントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。ショベルコントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。
【0035】
エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。
【0036】
機体傾斜センサＳ４は、所定の平面に対する上部旋回体３の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサＳ４は、水平面に関する上部旋回体３の前後軸回りの傾斜角及び左右軸回りの傾斜角を検出する加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、互いに直交してショベル１００の旋回軸上の一点であるショベル中心点を通る。
【0037】
旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、レゾルバ又はロータリエンコーダ等であってもよい。旋回角速度センサＳ５は、旋回速度を検出してもよい。旋回速度は、旋回角速度から算出されてもよい。
【0038】
撮像装置Ｓ６はショベル１００の周辺の画像を取得するように構成されている。本実施形態では、撮像装置Ｓ６は、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及びショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。
【0039】
撮像装置Ｓ６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置ＤＩに出力してもよい。
【0040】
前カメラＳ６Ｆは、例えば、キャビン１０の屋根に取り付けられている。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられている。右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられている。後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。
【0041】
本実施形態は、撮像装置Ｓ６を上述した配置に設けることで、ショベル１００の周辺に存在する物体を撮像できる。
【0042】
空間認識装置Ｓ７は、ショベル１００の周囲の空間の状態を認識するように構成されている。空間認識装置Ｓ７は、ショベル１００の後方の空間の検知を行う後方空間認識装置Ｓ７Ｂ、ショベル１００の左方の空間の検知を行う左方空間認識装置Ｓ７Ｌ、ショベル１００の右方の空間の検知を行う右方空間認識装置Ｓ７Ｒ、及び、ショベル１００の前方の空間の検知を行う前方空間認識装置Ｓ７Ｆを含む。
【0043】
空間認識装置Ｓ７は、ショベル１００の周辺に存在する物体を検出するためにＬＩＤＡＲを用いてもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、距離画像カメラ、又はミリ波レーダなどの測距装置を用いてもよい。空間認識装置Ｓ７としてミリ波レーダ等が利用される場合には、空間認識装置Ｓ７から多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。
【0044】
後方空間認識装置Ｓ７Ｂは、上部旋回体３の上面の後端に取り付けられる。左方空間認識装置Ｓ７Ｌは、上部旋回体３の上面の左端に取り付けられる。右方空間認識装置Ｓ７Ｒは、上部旋回体３の上面の右端に取り付けられる。前方空間認識装置Ｓ７Ｆは、キャビン１０の上面の前端に取り付けられる。
【0045】
空間認識装置Ｓ７は、ショベル１００の周囲に設定された所定領域内の所定物体を検知するように構成されていてもよい。例えば、空間認識装置Ｓ７は、人と人以外の物体とを区別しながら人を検知できるように構成された人検知機能を有していてもよい。
【0046】
測位装置Ｓ８は、ショベル１００の位置に関する情報を取得するように構成されている。本実施形態では、測位装置Ｓ８は、基準座標系におけるショベル１００の位置及び向きを測定するように構成されている。具体的には、測位装置Ｓ８は、電子コンパスを組み込んだＧＮＳＳ受信機であり、ショベル１００の現在位置の緯度、経度、及び高度を測定し、且つ、ショベル１００の向きを測定する。本実施形態に係る基準座標系とは、例えば、世界測地系である。世界測地系は、地球の重心に原点をおき、Ｘ軸をグリニッジ子午線と赤道との交点の方向に、Ｙ軸を東経９０度の方向に、そして、Ｚ軸を北極の方向にとる三次元直交ＸＹＺ座標系である。
【0047】
通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。
【0048】
また、通信装置Ｔ１は、例えば、外部のＧＮＳＳ（Global Navigation Satellite System）測量システムとショベル１００との間の無線通信を制御する。
【0049】
【0050】
本実施形態に係るショベル１００の駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブユニット１７を含む。また、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６のそれぞれを油圧駆動する走行油圧モータ１Ｌ，１Ｒ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。
【0051】
エンジン１１は、油圧駆動系におけるメイン動力源であり、例えば、上部旋回体３の後部に搭載される。具体的には、エンジン１１は、後述するショベルコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。
【0052】
レギュレータ１３は、メインポンプ１４の吐出量を制御する。例えば、レギュレータ１３は、ショベルコントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。レギュレータ１３は、例えば、後述の如く、レギュレータ１３Ｌ，１３Ｒを含む。
【0053】
メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブユニット１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、ショベルコントローラ３０による制御下で、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。メインポンプ１４は、例えば、後述の如く、メインポンプ１４Ｌ，１４Ｒを含む。
【0054】
コントロールバルブユニット１７は、ショベル１００における油圧システムを制御する油圧制御装置である。本実施形態では、コントロールバルブユニット１７は、制御弁１７１～１７６を含む。制御弁１７５は制御弁１７５Ｌ及び制御弁１７５Ｒを含み、制御弁１７６は制御弁１７６Ｌ及び制御弁１７６Ｒを含む。コントロールバルブユニット１７は、制御弁１７１～１７６を通じ、メインポンプ１４が吐出する作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。制御弁１７１～１７６は、例えば、メインポンプ１４から油圧アクチュエータに流れる作動油の流量、及び、油圧アクチュエータから作動油タンクに流れる作動油の流量を制御する。油圧アクチュエータは、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行油圧モータ１Ｌ、１Ｒ、及び旋回油圧モータ２Ａを含む。より具体的には、制御弁１７１は、左走行油圧モータ１Ｌに対応し、制御弁１７２は、右走行油圧モータ１Ｒに対応し、制御弁１７３は、旋回油圧モータ２Ａに対応する。また、制御弁１７４は、バケットシリンダ９に対応し、制御弁１７５は、ブームシリンダ７に対応し、制御弁１７６は、アームシリンダ８に対応する。また、制御弁１７５は、例えば、後述の如く、制御弁１７５Ｌ，１７５Ｒを含み、制御弁１７６は、例えば、後述の如く、制御弁１７６Ｌ，１７６Ｒを含む。制御弁１７１～１７６の詳細は、後述する。
【0055】
パイロットポンプ１５は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、作動油ラインを介して作動油をコントロールバルブユニット１７に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ１５は、省略されてもよい。
【0056】
操作装置２６は、操作者がアクチュエータの操作のために用いる装置である。アクチュエータは、油圧アクチュエータ及び電動アクチュエータの少なくとも一方を含む。
【0057】
吐出圧センサ２８は、メインポンプ１４の吐出圧を検出するように構成されている。本実施形態では、吐出圧センサ２８は、検出した値をショベルコントローラ３０に対して出力する。吐出圧センサ２８は、例えば、後述の如く、吐出圧センサ２８Ｌ，２８Ｒを含む。
【0058】
操作センサ２９は、操作装置２６を用いた操作者の操作内容を検出するように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。本実施形態では、ショベルコントローラ３０は、操作センサ２９の出力に応じて比例弁３１の開口面積を制御する。そして、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給する。パイロットポートのそれぞれに供給される作動油の圧力（パイロット圧）は、原則として、油圧アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量に応じた圧力である。このように、操作装置２６は、パイロットポンプ１５が吐出する作動油を、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給できるように構成されている。
【0059】
マシンコントロール用制御弁として機能する比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、ショベルコントローラ３０が出力する制御指令に応じて動作する。そのため、ショベルコントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の制御弁のパイロットポートに供給できる。比例弁３１は、例えば、後述の如く、比例弁３１ＡＬ，３１ＡＲ，３１ＢＬ，３１ＢＲ，３１ＣＬ，３１ＣＲを含む。
【0060】
この構成により、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われていない場合であっても、その特定の操作装置２６に対応する油圧アクチュエータを動作させることができる。
【0061】
例えば、ショベルコントローラ３０は、操作者等の所定操作により予め設定される作業モード等に基づき、目標回転数を設定し、エンジン１１を一定回転させる駆動制御を行う。
【0062】
また、例えば、ショベルコントローラ３０は、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。
【0063】
また、例えば、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作をガイド（案内）するマシンガイダンス機能に関する制御を行う。また、ショベルコントローラ３０は、例えば、操作者による操作装置２６を通じたショベル１００の手動操作を自動的に支援するマシンコントロール機能に関する制御を行う。
【0064】
なお、ショベルコントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、ショベルコントローラ３０の機能は、複数のコントローラにより分散される態様で実現されてもよい。例えば、マシンガイダンス機能及びマシンコントロール機能は、専用のコントローラ（制御装置）により実現されてもよい。
【0065】
［ショベルの油圧システム］
次に、図４を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
次に、図４を参照して、本実施形態に係るショベル１００の油圧システムについて説明する。
【0066】
図４は、本実施形態に係るショベル１００の油圧システムの構成の一例を概略的に示す図である。
【0067】
【0068】
当該油圧回路により実現される油圧システムは、エンジン１１により駆動されるメインポンプ１４Ｌ，１４Ｒのそれぞれから、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒ、パラレル油路Ｃ２Ｌ，Ｃ２Ｒを経て作動油タンクまで作動油を循環させる。
【0069】
センタバイパス油路Ｃ１Ｌは、メインポンプ１４Ｌを起点として、コントロールバルブユニット１７内に配置される制御弁１７１，１７３，１７５Ｌ，１７６Ｌを順に通過し、作動油タンクに至る。
【0070】
センタバイパス油路Ｃ１Ｒは、メインポンプ１４Ｒを起点として、コントロールバルブユニット１７内に配置される制御弁１７２，１７４，１７５Ｒ，１７６Ｒを順に通過し、作動油タンクに至る。
【0071】
制御弁１７１は、メインポンプ１４Ｌから吐出される作動油を走行油圧モータ１Ｌへ供給し、且つ、走行油圧モータ１Ｌが吐出する作動油を作動油タンクに排出させるスプール弁である。
【0072】
制御弁１７２は、メインポンプ１４Ｒから吐出される作動油を走行油圧モータ１Ｒへ供給し、且つ、走行油圧モータ１Ｒが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0073】
制御弁１７３は、メインポンプ１４Ｌから吐出される作動油を旋回油圧モータ２Ａへ供給し、且つ、旋回油圧モータ２Ａが吐出する作動油を作動油タンクへ排出させるスプール弁である。
【0074】
制御弁１７４は、メインポンプ１４Ｒから吐出される作動油をバケットシリンダ９へ供給し、且つ、バケットシリンダ９内の作動油を作動油タンクへ排出させるスプール弁である。
【0075】
制御弁１７５Ｌ，１７５Ｒは、それぞれ、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をブームシリンダ７へ供給し、且つ、ブームシリンダ７内の作動油を作動油タンクへ排出させるスプール弁である。
【0076】
制御弁１７６Ｌ，１７６Ｒは、メインポンプ１４Ｌ，１４Ｒが吐出する作動油をアームシリンダ８へ供給し、且つ、アームシリンダ８内の作動油を作動油タンクへ排出させる。
【0077】
制御弁１７１，１７２，１７３，１７４，１７５Ｌ，１７５Ｒ，１７６Ｌ，１７６Ｒは、それぞれ、パイロットポートに作用するパイロット圧に応じて、油圧アクチュエータに給排される作動油の流量を調整したり、流れる方向を切り換えたりする。
【0078】
パラレル油路Ｃ２Ｌは、センタバイパス油路Ｃ１Ｌと並列的に、制御弁１７１，１７３，１７５Ｌ，１７６Ｌにメインポンプ１４Ｌの作動油を供給する。具体的には、パラレル油路Ｃ２Ｌは、制御弁１７１の上流側でセンタバイパス油路Ｃ１Ｌから分岐し、制御弁１７１，１７３，１７５Ｌ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｌの作動油を供給可能に構成される。これにより、パラレル油路Ｃ２Ｌは、制御弁１７１，１７３，１７５Ｌの何れかによってセンタバイパス油路Ｃ１Ｌを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0079】
パラレル油路Ｃ２Ｒは、センタバイパス油路Ｃ１Ｒと並列的に、制御弁１７２，１７４，１７５Ｒ，１７６Ｒにメインポンプ１４Ｒの作動油を供給する。具体的には、パラレル油路Ｃ２Ｒは、制御弁１７２の上流側でセンタバイパス油路Ｃ１Ｒから分岐し、制御弁１７２，１７４，１７５Ｒ，１７６Ｒのそれぞれに並列してメインポンプ１４Ｒの作動油を供給可能に構成される。パラレル油路Ｃ２Ｒは、制御弁１７２，１７４，１７５Ｒの何れかによってセンタバイパス油路Ｃ１Ｒを通る作動油の流れが制限或いは遮断された場合に、より下流の制御弁に作動油を供給できる。
【0080】
レギュレータ１３Ｌ，１３Ｒは、それぞれ、ショベルコントローラ３０による制御下で、メインポンプ１４Ｌ，１４Ｒの斜板の傾転角を調節することによって、メインポンプ１４Ｌ，１４Ｒの吐出量を調節する。
【0081】
吐出圧センサ２８Ｌは、メインポンプ１４Ｌの吐出圧を検出し、検出された吐出圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。吐出圧センサ２８Ｒについても同様である。これにより、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することができる。
【0082】
センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒには、最も下流にある制御弁１７６Ｌ，１７６Ｒのそれぞれと作動油タンクとの間には、ネガティブコントロール絞り（以下、「ネガコン絞り」）１８Ｌ，１８Ｒが設けられる。これにより、メインポンプ１４Ｌ，１４Ｒにより吐出された作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒで制限される。そして、ネガコン絞り１８Ｌ，１８Ｒは、レギュレータ１３Ｌ，１３Ｒを制御するための制御圧（以下、「ネガコン圧」）を発生させる。
【0083】
ネガコン圧センサ１９Ｌ，１９Ｒは、ネガコン圧を検出し、検出されたネガコン圧に対応する検出信号は、ショベルコントローラ３０に取り込まれる。
【0084】
ショベルコントローラ３０は、吐出圧センサ２８Ｌ，２８Ｒにより検出されるメインポンプ１４Ｌ，１４Ｒの吐出圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御し、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、メインポンプ１４Ｌの吐出圧の増大に応じて、レギュレータ１３Ｌを制御し、メインポンプ１４Ｌの斜板傾転角を調節することにより、吐出量を減少させてよい。レギュレータ１３Ｒについても同様である。これにより、ショベルコントローラ３０は、吐出圧と吐出量との積で表されるメインポンプ１４Ｌ，１４Ｒの吸収馬力がエンジン１１の出力馬力を超えないように、メインポンプ１４Ｌ，１４Ｒの全馬力制御を行うことができる。
【0085】
また、ショベルコントローラ３０は、ネガコン圧センサ１９Ｌ，１９Ｒにより検出されるネガコン圧に応じて、レギュレータ１３Ｌ，１３Ｒを制御することにより、メインポンプ１４Ｌ，１４Ｒの吐出量を調節してよい。例えば、ショベルコントローラ３０は、ネガコン圧が大きいほどメインポンプ１４Ｌ，１４Ｒの吐出量を減少させ、ネガコン圧が小さいほどメインポンプ１４Ｌ，１４Ｒの吐出量を増大させる。
【0086】
具体的には、ショベル１００における油圧アクチュエータが何れも操作されていない待機状態（図３に示す状態）の場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、センタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通ってネガコン絞り１８Ｌ，１８Ｒに至る。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒの上流で発生するネガコン圧を増大させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を許容最小吐出量まで減少させ、吐出した作動油がセンタバイパス油路Ｃ１Ｌ，Ｃ１Ｒを通過する際の圧力損失（ポンピングロス）を抑制する。
【0087】
一方、何れかの油圧アクチュエータが操作装置２６を通じて操作された場合、メインポンプ１４Ｌ，１４Ｒから吐出される作動油は、操作対象の油圧アクチュエータに対応する制御弁を介して、操作対象の油圧アクチュエータに流れ込む。そして、メインポンプ１４Ｌ，１４Ｒから吐出される作動油の流れは、ネガコン絞り１８Ｌ，１８Ｒに至る量を減少或いは消失させ、ネガコン絞り１８Ｌ，１８Ｒの上流で発生するネガコン圧を低下させる。その結果、ショベルコントローラ３０は、メインポンプ１４Ｌ，１４Ｒの吐出量を増大させ、操作対象の油圧アクチュエータに十分な作動油を循環させ、操作対象の油圧アクチュエータを確実に駆動させることができる。
【0088】
操作装置２６は、左操作レバー２６Ｌ、右操作レバー２６Ｒ及び走行レバー２６Ｄを含む。走行レバー２６Ｄは、左走行レバー２６ＤＬ及び右走行レバー２６ＤＲを含む。
【0089】
左操作レバー２６Ｌは、旋回操作とアーム５の操作に用いられる。左操作レバー２６Ｌが、前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７６のパイロットポートに導入させる。また、左操作レバー２６Ｌが、左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７３のパイロットポートに導入させる。
【0090】
具体的には、左操作レバー２６Ｌは、アーム閉じ方向に操作された場合に、制御弁１７６Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの左側パイロットポートに作動油を導入させる。また、左操作レバー２６Ｌは、アーム開き方向に操作された場合には、制御弁１７６Ｌの左側パイロットポートに作動油を導入させ、且つ、制御弁１７６Ｒの右側パイロットポートに作動油を導入させる。また、左操作レバー２６Ｌは、左旋回方向に操作された場合に、制御弁１７３の左側パイロットポートに作動油を導入させ、右旋回方向に操作された場合に、制御弁１７３の右側パイロットポートに作動油を導入させる。
【0091】
右操作レバー２６Ｒは、ブーム４の操作とバケット６の操作に用いられる。右操作レバー２６Ｒは、前後方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７５のパイロットポートに導入させる。また、左右方向に操作された場合、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７４のパイロットポートに導入させる。
【0092】
具体的には、右操作レバー２６Ｒは、ブーム下げ方向に操作された場合に、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、右操作レバー２６Ｒは、ブーム上げ方向に操作された場合には、制御弁１７５Ｌの右側パイロットポートに作動油を導入させ、且つ、制御弁１７５Ｒの左側パイロットポートに作動油を導入させる。また、右操作レバー２６Ｒは、バケット閉じ方向に操作された場合に、制御弁１７４の右側パイロットポートに作動油を導入させ、バケット開き方向に操作された場合に、制御弁１７４の左側パイロットポートに作動油を導入させる。
【0093】
以下では、左右方向に操作される左操作レバー２６Ｌは、「旋回操作レバー」と称され、前後方向に操作される左操作レバー２６Ｌは、「アーム操作レバー」と称される場合がある。また、左右方向に操作される右操作レバー２６Ｒは、「バケット操作レバー」と称され、前後方向に操作される右操作レバー２６Ｒは、「ブーム操作レバー」と称される場合がある。
【0094】
左走行レバー２６ＤＬは、左クローラ１ＣＬの操作に用いられる。左走行ペダルと連動するように構成されていてもよい。左走行レバー２６ＤＬは、前後方向に操作されると、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７１のパイロットポートに導入させる。右走行レバー２６ＤＲは、右クローラ１ＣＲの操作に用いられる。右走行ペダルと連動するように構成されていてもよい。右走行レバー２６ＤＲは、前後方向に操作されると、パイロットポンプ１５が吐出する作動油を利用し、レバー操作量に応じた制御圧を制御弁１７２のパイロットポートに導入させる。
【0095】
操作センサ２９は、操作者による操作装置２６の操作の内容を検出できるように構成されている。本実施形態では、操作センサ２９は、アクチュエータのそれぞれに対応する操作装置２６の操作方向及び操作量を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0096】
操作センサ２９は、操作センサ２９ＬＡ、２９ＬＢ、２９ＲＡ、２９ＲＢ、２９ＤＬ、２９ＤＲを含む。操作センサ２９ＬＡは、操作者による左操作レバー２６Ｌに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作の内容は、例えば、レバー操作方向、レバー操作量（レバー操作角度）等である。
【0097】
同様に、操作センサ２９ＬＢは、操作者による左操作レバー２６Ｌに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＡは、操作者による右操作レバー２６Ｒに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＲＢは、操作者による右操作レバー２６Ｒに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＤＬは、操作者による左走行レバー２６ＤＬに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。操作センサ２９ＤＲは、操作者による右走行レバー２６ＤＲに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0098】
ショベルコントローラ３０は、操作センサ２９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。また、ショベルコントローラ３０は、絞り１８の上流に設けられた制御圧センサ１９の出力を受信し、必要に応じてレギュレータ１３に対して制御指令を出力し、メインポンプ１４の吐出量を変化させる。絞り１８は左絞り１８Ｌ及び右絞り１８Ｒを含み、制御圧センサ１９はネガコン圧センサ１９Ｌ、１９Ｒを含む。
【0099】
［ショベルのマシンコントロール機能に関する構成の詳細］
次に、図５を参照して、ショベル１００のマシンコントロール機能に関する構成の詳細について説明する。
次に、図５を参照して、ショベル１００のマシンコントロール機能に関する構成の詳細について説明する。
【0100】
図５は、油圧システムの一部を抜き出した図である。具体的には、図５（Ａ）は、アームシリンダ８の操作に関する油圧システム部分を抜き出した図であり、図５（Ｂ）は、ブームシリンダ７の操作に関する油圧システム部分を抜き出した図である。図５（Ｃ）は、バケットシリンダ９の操作に関する油圧システム部分を抜き出した図であり、図５（Ｄ）は、旋回油圧モータ２Ａの操作に関する油圧システム部分を抜き出した図である。
【0101】
図５に示すように、油圧システムは、比例弁３１を含む。比例弁３１は、比例弁３１ＡＬ～３１ＤＬ及び３１ＡＲ～３１ＤＲを含む。
【0102】
比例弁３１は、マシンコントロール用制御弁として機能する。比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の対応する制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、ショベルコントローラ３０が出力する制御指令に応じて動作する。そのため、ショベルコントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の対応する制御弁のパイロットポートに供給できる。そして、ショベルコントローラ３０は、比例弁３１が生成するパイロット圧を、対応する制御弁のパイロットポートに作用させることができる。
【0103】
この構成により、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われていない場合であっても、その特定の操作装置２６に対応する油圧アクチュエータを動作させることができる。また、ショベルコントローラ３０は、特定の操作装置２６に対する操作が行われている場合であっても、その特定の操作装置２６に対応する油圧アクチュエータの動作を強制的に停止させることができる。
【0104】
例えば、図５（Ａ）に示すように、左操作レバー２６Ｌは、アーム５を操作するために用いられる。具体的には、左操作レバー２６Ｌは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７６のパイロットポートに作用させる。より具体的には、左操作レバー２６Ｌは、アーム閉じ方向（後方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７６Ｌの右側パイロットポートと制御弁１７６Ｒの左側パイロットポートに作用させる。また、左操作レバー２６Ｌは、アーム開き方向（前方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７６Ｌの左側パイロットポートと制御弁１７６Ｒの右側パイロットポートに作用させる。
【0105】
操作装置２６にはスイッチＳＷが設けられている。本実施形態では、スイッチＳＷは、スイッチＳＷ１及びスイッチＳＷ２を含む。スイッチＳＷ１は、左操作レバー２６Ｌの先端に設けられた押しボタンスイッチである。操作者は、スイッチＳＷ１を押しながら左操作レバー２６Ｌを操作できる。スイッチＳＷ１は、右操作レバー２６Ｒに設けられていてもよく、キャビン１０内の他の位置に設けられていてもよい。スイッチＳＷ２は、左走行レバー２６ＤＬの先端に設けられた押しボタンスイッチである。操作者は、スイッチＳＷ２を押しながら左走行レバー２６ＤＬを操作できる。スイッチＳＷ２は、右走行レバー２６ＤＲに設けられていてもよく、キャビン１０内の他の位置に設けられていてもよい。
【0106】
操作センサ２９ＬＡは、操作者による左操作レバー２６Ｌに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0107】
比例弁３１ＡＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＡＬを介して制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＡＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＡＲを介して制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＡＬは、制御弁１７６Ｌ及び制御弁１７６Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＡＲは、制御弁１７６Ｌ及び制御弁１７６Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0108】
この構成により、ショベルコントローラ３０は、操作者によるアーム閉じ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＬを介し、制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるアーム閉じ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＬを介し、制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるアーム閉じ操作に応じ、或いは、操作者によるアーム閉じ操作とは無関係に、アーム５を閉じることができる。
【0109】
また、ショベルコントローラ３０は、操作者によるアーム開き操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＲを介し、制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるアーム開き操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＡＲを介し、制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるアーム開き操作に応じ、或いは、操作者によるアーム開き操作とは無関係に、アーム５を開くことができる。
【0110】
また、この構成により、ショベルコントローラ３０は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、制御弁１７６の閉じ側のパイロットポート（制御弁１７６Ｌの左側パイロットポート及び制御弁１７６Ｒの右側パイロットポート）に作用するパイロット圧を減圧し、アーム５の閉じ動作を強制的に停止させることができる。操作者によるアーム開き操作が行われているときにアーム５の開き動作を強制的に停止させる場合についても同様である。
【0111】
ショベルコントローラ３０は、操作者によるアーム閉じ操作が行われている場合であっても、必要に応じて、比例弁３１ＡＲを制御し、制御弁１７６の閉じ側のパイロットポートの反対側にある、制御弁１７６の開き側のパイロットポート（制御弁１７６Ｌの右側パイロットポート及び制御弁１７６Ｒの左側パイロットポート）に作用するパイロット圧を増大させ、制御弁１７６を強制的に中立位置に戻すことで、アーム５の閉じ動作を強制的に停止させてもよい。操作者によるアーム開き操作が行われている場合にアーム５の開き動作を強制的に停止させる場合についても同様である。
【0112】
また、以下の図５（Ｂ）～図５（Ｄ）を参照しながらの説明を省略するが、操作者によるブーム上げ操作又はブーム下げ操作が行われている場合にブーム４の動作を強制的に停止させる場合、操作者によるバケット閉じ操作又はバケット開き操作が行われている場合にバケット６の動作を強制的に停止させる場合、及び、操作者による旋回操作が行われている場合に上部旋回体３の旋回動作を強制的に停止させる場合についても同様である。
【0113】
また、操作者による走行操作が行われている場合に下部走行体１の走行動作を強制的に停止させる場合についても同様である。
【0114】
また、図５（Ｂ）に示すように、右操作レバー２６Ｒは、ブーム４を操作するために用いられる。具体的には、右操作レバー２６Ｒは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７５のパイロットポートに作用させる。より具体的には、右操作レバー２６Ｒは、ブーム上げ方向（後方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７５Ｌの右側パイロットポートと制御弁１７５Ｒの左側パイロットポートに作用させる。また、右操作レバー２６Ｒは、ブーム下げ方向（前方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７５Ｒの右側パイロットポートに作用させる。
【0115】
操作センサ２９ＲＡは、操作者による右操作レバー２６Ｒに対する前後方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0116】
比例弁３１ＢＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＢＬを介して制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＢＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＢＲを介して制御弁１７５Ｒの右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＢＬは、制御弁１７５Ｌ及び制御弁１７５Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。また、比例弁３１ＢＲは、制御弁１７５Ｒを任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0117】
この構成により、ショベルコントローラ３０は、操作者によるブーム上げ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＬを介し、制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるブーム上げ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＬを介し、制御弁１７５Ｌの右側パイロットポート及び制御弁１７５Ｒの左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるブーム上げ操作に応じ、或いは、操作者によるブーム上げ操作とは無関係に、ブーム４を上げることができる。
【0118】
また、ショベルコントローラ３０は、操作者によるブーム下げ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＲを介し、制御弁１７５Ｒの右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるブーム下げ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＢＲを介し、制御弁１７５Ｒの右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるブーム下げ操作に応じ、或いは、操作者によるブーム下げ操作とは無関係に、ブーム４を下げることができる。
【0119】
また、図５（Ｃ）に示すように、右操作レバー２６Ｒは、バケット６を操作するためにも用いられる。具体的には、右操作レバー２６Ｒは、パイロットポンプ１５が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁１７４のパイロットポートに作用させる。より具体的には、右操作レバー２６Ｒは、バケット閉じ方向（左方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７４の左側パイロットポートに作用させる。また、右操作レバー２６Ｒは、バケット開き方向（右方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７４の右側パイロットポートに作用させる。
【0120】
操作センサ２９ＲＢは、操作者による右操作レバー２６Ｒに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0121】
比例弁３１ＣＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＣＬを介して制御弁１７４の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＣＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＣＲを介して制御弁１７４の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＣＬは、制御弁１７４を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＣＲは、制御弁１７４を任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0122】
この構成により、ショベルコントローラ３０は、操作者によるバケット閉じ操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＬを介し、制御弁１７４の左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるバケット閉じ操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＬを介し、制御弁１７４の左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるバケット閉じ操作に応じ、或いは、操作者によるバケット閉じ操作とは無関係に、バケット６を閉じることができる。
【0123】
また、ショベルコントローラ３０は、操作者によるバケット開き操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＲを介し、制御弁１７４の右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者によるバケット開き操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＣＲを介し、制御弁１７４の右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者によるバケット開き操作に応じ、或いは、操作者によるバケット開き操作とは無関係に、バケット６を開くことができる。
【0124】
また、図５（Ｄ）に示すように、左操作レバー２６Ｌは、旋回機構２を操作するためにも用いられる。具体的には、左操作レバー２６Ｌは、パイロットポンプ１５が吐出する作動油を利用し、左右方向への操作に応じたパイロット圧を制御弁１７３のパイロットポートに作用させる。より具体的には、左操作レバー２６Ｌは、左旋回方向（左方向）に操作された場合に、操作量に応じたパイロット圧を制御弁１７３の左側パイロットポートに作用させる。また、左操作レバー２６Ｌは、右旋回方向（右方向）に操作された場合には、操作量に応じたパイロット圧を制御弁１７３の右側パイロットポートに作用させる。
【0125】
操作センサ２９ＬＢは、操作者による左操作レバー２６Ｌに対する左右方向への操作の内容を検出し、検出した値をショベルコントローラ３０に対して出力する。
【0126】
比例弁３１ＤＬは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＤＬを介して制御弁１７３の左側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＤＲは、ショベルコントローラ３０が出力する制御指令（電流指令）に応じて動作する。そして、パイロットポンプ１５から比例弁３１ＤＲを介して制御弁１７３の右側パイロットポートに導入される作動油によるパイロット圧を調整する。比例弁３１ＤＬは、制御弁１７３を任意の弁位置で停止できるようにパイロット圧を調整可能である。同様に、比例弁３１ＤＲは、制御弁１７３を任意の弁位置で停止できるようにパイロット圧を調整可能である。
【0127】
この構成により、ショベルコントローラ３０は、操作者による左旋回操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＬを介し、制御弁１７３の左側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者による左旋回操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＬを介し、制御弁１７３の左側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者による左旋回操作に応じ、或いは、操作者による左旋回操作とは無関係に、旋回機構２を左旋回させることができる。
【0128】
また、ショベルコントローラ３０は、操作者による右旋回操作に応じ、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＲを介し、制御弁１７３の右側パイロットポートに供給できる。また、ショベルコントローラ３０は、操作者による右旋回操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１ＤＲを介し、制御弁１７３の右側パイロットポートに供給できる。すなわち、ショベルコントローラ３０は、操作者による右旋回操作に応じ、或いは、操作者による右旋回操作とは無関係に、旋回機構２を右旋回させることができる。
【0129】
また、左走行レバー２６ＤＬは、左クローラ１ＣＬを操作するために用いられる。具体的には、左走行レバー２６ＤＬは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７１のパイロットポートに作用させる。操作センサ２９ＤＬは、操作者による左走行レバー２６ＤＬに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ３０に出力する。これにより、ショベルコントローラ３０が電流指令に応じて動作する。
【0130】
そして、ショベルコントローラ３０は、上述した構成と同様に、パイロットポンプ１５が吐出する作動油を、（図示しない）比例弁を介し、制御弁１７１の左側パイロットポートに供給できる。すなわち、左クローラ１ＣＬを前進させることができる。また、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、（図示しない）比例弁を介し、制御弁１７１の右側パイロットポートに供給できる。すなわち、左クローラ１ＣＬを後進させることができる。
【0131】
また、右走行レバー２６ＤＲは、右クローラ１ＣＲを操作するために用いられる。具体的には、右走行レバー２６ＤＲは、パイロットポンプ１５が吐出する作動油を利用し、前後方向への操作に応じたパイロット圧を制御弁１７２のパイロットポートに作用させる。操作センサ２９ＤＲは、操作者による右走行レバー２６ＤＲに対する前後方向への操作の内容を電気的に検出し、検出した値を示す電流指令をショベルコントローラ３０に対して出力する。これにより、ショベルコントローラ３０が電流指令に応じて動作する。
【0132】
そして、ショベルコントローラ３０は、上述した構成と同様に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、制御弁１７２の右側パイロットポートに供給できる。すなわち、右クローラ１ＣＲを前進させることができる。また、ショベルコントローラ３０は、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、制御弁１７２の左側パイロットポートに供給できる。すなわち、右クローラ１ＣＲを後進させることができる。
【0133】
また、ショベル１００は、バケットチルト機構を自動的に動作させる構成を備えていてもよい。この場合、バケットチルト機構を構成するバケットチルトシリンダに関する油圧システム部分は、ブームシリンダ７の操作に関する油圧システム部分等と同じように構成されてもよい。
【0134】
また、操作装置２６の形態として電気式操作レバーに関する説明を記載したが、電気式操作レバーではなく油圧式操作レバーが採用されてもよい。この場合、油圧式操作レバーのレバー操作量は、圧力センサによって圧力の形で検出されてショベルコントローラ３０へ入力されてもよい。また、油圧式操作レバーとしての操作装置２６と各制御弁のパイロットポートとの間には電磁弁が配置されてもよい。電磁弁は、ショベルコントローラ３０からの電気信号に応じて動作するように構成される。この構成により、油圧式操作レバーとしての操作装置２６を用いた手動操作が行われると、操作装置２６は、レバー操作量に応じてパイロット圧を増減させることで各制御弁を移動させることができる。また、各制御弁は電磁スプール弁で構成されていてもよい。この場合、電磁スプール弁は、電気式操作レバーのレバー操作量に対応するショベルコントローラ３０からの電気信号に応じて動作する。
【0135】
＜遠隔操作システムのブロック構成＞
図６は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置４００、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
図６は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図６に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置４００、及び、ショベル１００の各々のブロック構成を示している。なお、ショベル１００のハードウェア構成については上述した通りなので、説明を省略する。
【0136】
＜定点計測装置の構成＞
定点計測装置４００は、通信装置Ｔ３と、位置情報記憶部４５０と、撮像装置Ｃ３と、空間認識装置Ｓ１１と、コントローラ４４０とを含む。
定点計測装置４００は、通信装置Ｔ３と、位置情報記憶部４５０と、撮像装置Ｃ３と、空間認識装置Ｓ１１と、コントローラ４４０とを含む。
【0137】
通信装置Ｔ３は、通信回線ＮＷを通じて、遠隔操作室ＲＣ等の外部と通信を行うためのインターフェースである。通信装置Ｔ３は、通信回線ＮＷと接続可能な装置であればよく、例えば、ＬＴＥ、４Ｇ、５Ｇ等の移動体通信規格に対応する移動体通信モジュールであってよい。
【0138】
位置情報記憶部４５０は、定点計測装置４００の位置情報を記憶している。位置情報は、例えば、ＧＮＳＳで取得する位置情報と同様の基準座標系で表現されている。基準座標系は、例えば、上述した世界測地系である。
【0139】
撮像装置Ｃ３は、ショベル１００が作業している作業現場の画像を取得するように構成されている。撮像装置Ｃ３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有する単眼カメラである。
【0140】
空間認識装置Ｓ１１は、ショベル１００が作業している作業現場に存在する物体を検出するためにＬＩＤＡＲを用いる。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。例えば、ステレオカメラを用いてもよいし、距離画像カメラ、又はミリ波レーダなどの測距装置を用いてもよい。空間認識装置Ｓ１１としてミリ波レーダ等が利用される場合には、空間認識装置Ｓ１１から多数の信号（レーザ光等）を物体に向けて発信し、その反射信号を受信することで、反射信号から物体の距離及び方向を導き出してもよい。
【0141】
コントローラ４４０は、定点計測装置４００に関する制御を行う。コントローラ４４０は、例えば、任意のハードウェア、又は、任意のハードウェア及びソフトウェアの組み合わせ等によりその機能が実現されてよい。コントローラ４４０は、例えば、ＣＰＵ等のプロセッサ装置、ＲＡＭ等のメモリ装置（主記憶装置）、及びＲＯＭ等の補助記憶装置等を含むコンピュータを中心に構成されてよい。例えば、コントローラ４４０は、補助記憶装置にインストールされるプログラムをメモリ装置にロードし、ＣＰＵ上で実行することにより各種機能を実現する。
【0142】
＜遠隔操作室ＲＣの構成＞
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、撮像装置Ｃ１と、記憶装置４１と、操作センサ４３と、表示装置Ｄ１と、を含む。通信装置Ｔ２、及び操作センサ４３は、上述したので説明を省略する。本実施形態に係る遠隔操作室ＲＣにおいては、操作者ＯＰに対して、作業現場の現在の状況の立体視表示を行う。そこで、立体視表示を行うための手法について説明する。
遠隔操作室ＲＣは、遠隔コントローラ４０と、通信装置Ｔ２と、撮像装置Ｃ１と、記憶装置４１と、操作センサ４３と、表示装置Ｄ１と、を含む。通信装置Ｔ２、及び操作センサ４３は、上述したので説明を省略する。本実施形態に係る遠隔操作室ＲＣにおいては、操作者ＯＰに対して、作業現場の現在の状況の立体視表示を行う。そこで、立体視表示を行うための手法について説明する。
【0143】
次に、遠隔操作室ＲＣについて説明する。図７は、遠隔操作室ＲＣの配置例を示す図である。遠隔操作室ＲＣには、操作席ＤＳを基準に、複数の操作装置４２が設けられている。
【0144】
本実施形態では、表示装置Ｄ１は、図７に示すように、縦３段、横３列の９つのモニタで構成されるマルチディスプレイである。具体的には、表示装置Ｄ１は、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃ、左モニタＤ１ｄ、右モニタＤ１ｅ、左上モニタＤ１ｆ、右上モニタＤ１ｇ、左下モニタＤ１ｈ、及び右下モニタＤ１ｉを含む。
【0145】
本実施形態では、表示装置Ｄ１の上方に撮像装置Ｃ１が設けられている。撮像装置Ｃ１は、操作席ＤＳに座っている操作者ＯＰの顔が撮像範囲に含まれるように設けられている。
【0146】
本実施形態に係る遠隔コントローラ４０は、撮像装置Ｃ１により撮像された画像情報に基づいて、操作者ＯＰの右目及び左目の位置を含めた顔認証を行うとともに、操作者ＯＰの視線認識を行う。遠隔コントローラ４０は、水平方向や垂直方向のみならず、奥行方向に関しても右目及び左目の位置をリアルタイムに算出してもよい。
【0147】
そして、遠隔コントローラ４０は、右目及び左目の位置に基づいて、右目及び左目の各々にそれぞれ異なる画面が見えるように画像の出力制御を行う。次に、右目及び左目の各々にそれぞれ異なる画面を出力可能な表示装置Ｄ１について説明する。
【0148】
図８は、本実施形態に係る表示装置Ｄ１の構成と、操作者ＯＰの視線と、を示した説明図である。
【0149】
図８に示されるように、表示装置Ｄ１は、Ｙ軸正方向に、照明部Ｄ１３、表示部Ｄ１２、光学素子Ｄ１１の順に設けられている。これにより、表示装置Ｄ１は、３次元で表された情報（例えば、後述する３次元形状マップ）に基づいて、当該情報に表されている被写体の立体視表示を実現する。
【0150】
照明部Ｄ１３は、表示部Ｄ１２側（Ｙ軸正方向）に、光源と、光源から照射された光を拡散させるための部材と、を含むように構成されている。これにより、照明部Ｄ１３は、表示部Ｄ１２のＹ軸負方向側に面に向かって拡散光を照射する。
【0151】
表示部Ｄ１２は、二次元画像を表示するための表示領域を有する。表示領域には、水平方向と垂直方向との各々について等間隔に画素が配置されている。表示部Ｄ１２は、液晶表示パネル、例えば、ＩＰＳ方式のカラー液晶表示パネルを用いる。
【0152】
光学素子Ｄ１１は、レンチキュラーレンズから成る構造体が複数配置されている。光学素子Ｄ１１の構造体は、表示部Ｄ１２の画像出力側の表面に構成されている。構造体は、表示部Ｄ１２に表示された画像が、水平方向に間隔を空けて並ぶ複数の観察位置（例えば、操作者の右目及び左目に対応する観察位置）の各々に対して出力される画像が分離されるように設けられている。
【0153】
具体的には、表示部Ｄ１２の表示領域におけるＸ軸方向の画素の間隔と、光学素子Ｄ１１の構造とは、運転席に座っている操作者ＯＰの右目と左目において好ましい立体視表示が可能な条件を満たすように設定されている。
【0154】
なお、本実施形態においては、立体視表示の一例として、視差を考慮して右目及び左目に別々の光線を入射させるためにレンチキュラーレンズを用いた手法について説明する。しかしながら、本実施形態は、裸眼の立体視表示の一例を示したものであって、他の手法を用いてもよい。右目及び左目の視差を用いて２次元の画像を立体視表示させる手法であればよく、レンチキュラーレンズを用いた手法以外としては、例えば、遮蔽板を設けることで、両目の視差を生成するパララックスバリア方式を用いてもよい。
【0155】
さらには、右目及び左目の視差を用いて２次元の画像を立体視表示させる手法に制限するものではなく、画像を３次元的に描画するディスプレイを用いてもよい。
【0156】
そして、図８に示される例では、遠隔コントローラ４０は、右目用表示画像及び左目用表示画像を生成した後、右目用表示画像及び左目用表示画像に基づいた立体視表示を行う。つまり、本実施形態では、右目用表示画像（第１画像の一例）は、操作者ＯＰの右目にのみ表示される画像であり、左目用表示画像（第２画像の一例）は、操作者ＯＰの左目にのみ表示される画像とする。本実施形態では、右目用表示画像及び左目用表示画像を用意することで、右目と左目の視差に基づいた立体視表示を実現する。
【0157】
視線認識結果によって、図８の操作者ＯＰ１の右目及び左目を検出した場合、遠隔コントローラ４０は、光学素子Ｄ１１を介することで、操作者ＯＰ１の左目に左目用表示画像を出力し、操作者ＯＰ１の右目に右目用表示画像を出力するように制御を行う。例えば、遠隔コントローラ４０は、光学素子Ｄ１１を介して左目の視線ＥＹＬ＿１の方向に出力される画素に、左目用表示画像の画素を割り当て、光学素子Ｄ１１を介して右目の視線ＥＹＲ＿１の方向に出力される画素に、右目用表示画像の画素を割り当てる。表示部Ｄ１２の表示領域に存在する他の画素も同様に、光学素子Ｄ１１を介して出力される方向に応じて、左目用表示画像又は右目用表示画像が割り当てられる。これにより、視差に基づいた立体視表示を実現できる。
【0158】
本実施形態では、操作者ＯＰの視線認識結果に応じて表示の切り替えを行う。さらには、操作者ＯＰの頭の位置等が変化した場合も同様に表示の切り替えを行う。
【0159】
視線認識結果によって、図８の操作者ＯＰ２の右目及び左目を検出した場合、遠隔コントローラ４０は、光学素子Ｄ１１を介することで、操作者ＯＰ２の左目に左目用表示画像が出力され、操作者ＯＰ２の右目に右目用表示画像が出力されるように表示を切り替える。具体的には、遠隔コントローラ４０は、光学素子Ｄ１１を介して左目の視線ＥＹＬ＿２の方向に出力される画素に、左目用表示画像の画素を割り当て、光学素子Ｄ１１を介して右目の視線ＥＹＲ＿２の方向に出力される画素に、右目用表示画像の画素を割り当てる。表示部Ｄ１２の表示領域に存在する他の画素も同様に、光学素子Ｄ１１を介して出力される方向に応じて、左目用表示画像又は右目用表示画像が割り当てられる。これにより、操作者の視線をリアルタイムに検出し、検出結果に応じて表示を切り替えることで、操作者は立体視表示による作業現場を違和感なく認識できる。
【0160】
図６に戻り、遠隔操作室ＲＣの記憶装置４１は、読み書き可能な不揮発性の記憶媒体とする。記憶装置４１は、施工情報記憶部４１１と、作業現場情報記憶部４１２と、を備える。
【0161】
施工情報記憶部４１１は、ショベル１００が作業現場で作業を行うための施工情報を記憶する。施工情報とは、作業現場に存在する土砂等の施工後の形状を表した３次元データとする。施工情報は、施工後の物体（被写体の一例）の３次元形状及び位置を、上述した基準座標系で表現されている。
【0162】
作業現場情報記憶部４１２は、ショベル１００及び定点計測装置４００による測定情報に基づいて生成された仮想的な作業現場空間の３次元形状を表現した作業現場情報を記憶する。当該作業現場情報は、作業現場の現在の物体の３次元的形状及び位置を、上述した基準座標系で保持している。
【0163】
次に、定点計測装置４００のコントローラ４４０、ショベル１００のショベルコントローラ３０、及び遠隔操作室ＲＣの遠隔コントローラ４０の各々の機能ブロックについて説明する。
【0164】
＜＜定点計測装置の機能ブロック＞＞
定点計測装置４００のコントローラ４４０内の各機能ブロックについて説明する。コントローラ４４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
定点計測装置４００のコントローラ４４０内の各機能ブロックについて説明する。コントローラ４４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。
【0165】
送信制御部４４１は、撮像装置Ｃ３による画像情報と、空間認識装置Ｓ１１による測定情報と、位置情報記憶部４５０に記憶されている位置情報と、を対応付けて遠隔操作室ＲＣに送信する。送信制御部４４１による画像情報及び測定情報の送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、操作者ＯＰが周囲の環境の変化を認識できる時間間隔とする。例えば、送信制御部４４１は、撮像装置Ｃ３が撮像を行う毎（例えば１秒未満）、又は、空間認識装置Ｓ１１が測定を行う毎（例えば１秒未満）に送信してもよい。
【0166】
＜＜ショベルの機能ブロック＞＞
ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。ショベルコントローラ３０は、プログラムを実現することで、ショベル状態特定部３０１と、送信制御部３０２と、受信制御部３０３と、アクチュエータ駆動部３０４と、を備える。
ショベル１００のショベルコントローラ３０内の各機能ブロックについて説明する。ショベルコントローラ３０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。ショベルコントローラ３０は、プログラムを実現することで、ショベル状態特定部３０１と、送信制御部３０２と、受信制御部３０３と、アクチュエータ駆動部３０４と、を備える。
【0167】
ショベル状態特定部３０１は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向き、及びショベル１００のアタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を含む。ショベル１００の位置は、例えば、ショベル１００の基準座標系における位置（ショベル１００基準点の緯度、経度、及び高度）である。ショベル状態特定部３０１は、測位装置Ｓ８の出力に基づいてショベル１００の位置及び向きを特定する。
【0168】
アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）は、角度センサ（ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３）の検出結果、及びブーム４アーム５及びバケット６の各々のサイズから特定できる。
【0169】
送信制御部３０２は、通信装置Ｔ１を介して、様々な情報を、遠隔操作室ＲＣに送信するための制御を行う。例えば、送信制御部３０２は、撮像装置Ｓ６が撮像した画像情報、空間認識装置Ｓ７に検出された測定情報、ショベル１００の位置及び向きを示した位置情報、並びに、アタッチメントの状態を示す状態情報を、遠隔操作室ＲＣに送信する制御を行う。送信制御部３０２による送信は、所定時間毎に行われる。所定時間は、任意の時間でよいが、ショベル１００の作業によって変化した状況を認識できる時間間隔とする。例えば、送信制御部３０２は、上記の情報を、１秒間隔で送信してもよい。
【0170】
受信制御部３０３は、通信装置Ｔ１を介して、様々な情報を、遠隔操作室ＲＣから受信するための制御を行う。例えば、受信制御部３０３は、遠隔操作室ＲＣから、ショベル１００の動作を制御するための制御信号を受信する。
【0171】
アクチュエータ駆動部３０４は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３０４は、遠隔操作室ＲＣから送信されてくる制御信号に基づき、比例弁３１に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。
【0172】
作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
【0173】
＜＜遠隔操作室の機能ブロック＞＞
遠隔操作室ＲＣの遠隔コントローラ４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。遠隔コントローラ４０は、プログラムを実現することで、受信制御部４０１と、操作者状態特定部４０２と、作業現場空間生成部４０３と、表示画面生成部４０４と、表示制御部４０５と、信号生成部４０６と、送信制御部４０７と、を備える。
遠隔操作室ＲＣの遠隔コントローラ４０内の各機能ブロックについて説明する。遠隔コントローラ４０内の各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部または一部を、任意の単位で機能的または物理的に分散・統合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部または任意の一部が、ＣＰＵにて実行されるプログラムにより実現される。または各機能ブロックをワイヤードロジックによるハードウェアとして実現してもよい。遠隔コントローラ４０は、プログラムを実現することで、受信制御部４０１と、操作者状態特定部４０２と、作業現場空間生成部４０３と、表示画面生成部４０４と、表示制御部４０５と、信号生成部４０６と、送信制御部４０７と、を備える。
【0174】
受信制御部４０１は、通信装置Ｔ２を介して、様々な情報を、定点計測装置４００及びショベル１００の各々から受信するための制御を行う。
【0175】
例えば、受信制御部４０１は、定点計測装置４００（ショベル１００の周辺に存在する装置の一例）から、画像情報、測定情報及び位置情報を受信する。
【0176】
他の例としては、受信制御部４０１は、ショベル１００から、画像情報、測定情報、位置情報、及び状態情報を受信する。画像情報は、撮像装置Ｓ６により撮像された情報とする。測定情報は、空間認識装置Ｓ７により測定された情報とする。位置情報は、測位装置Ｓ８により測定された基準座標系におけるショベル１００の位置及び向きを示した情報とする。状態情報は、アタッチメントの状態（例えば、ブーム４、アーム５、及びバケット６の位置）を示した情報とする。
【0177】
操作者状態特定部４０２は、撮像装置Ｃ１により撮像された画像情報に基づいて、操作者ＯＰの状態を特定する。例えば、操作者状態特定部４０２は、操作者ＯＰの頭の位置を特定すると共に、目、顔の輪郭などの顔特徴点を抽出する。そして、操作者状態特定部４０２は、当該特徴点の上方から頭の３次元形状モデルを推定することで、撮像装置Ｃ１から頭までの距離、及び頭の回転方向を算出する。
【0178】
さらには、操作者状態特定部４０２は、頭の３次元形状モデルにおける目の位置、黒目の位置から、操作者ＯＰの視線（方向）を認識する。
【0179】
作業現場空間生成部４０３は、定点計測装置４００から受信した撮像情報、測定情報及び位置情報、並びに、ショベル１００から受信した撮像情報、測定情報、位置情報、及び状態情報に基づいて、作業現場の３次元形状を表した仮想的な作業現場空間を生成する。
【0180】
測定情報は、撮影地点（例えば、定点計測装置４００又はショベル）を基準とした作業現場の物体までの距離を示した測定結果である。つまり、測定情報及び位置情報から、位置情報で示された位置からの物体までの距離を認識できる。したがって、作業現場空間生成部４０３は、作業現場に配置されている複数の定点計測装置４００及びショベル１００の各々からの位置情報及び測定情報から、作業現場に存在する物体の位置及び物体の形状が表された３次元形状マップを生成できる。
【0181】
さらに、本実施形態に係る受信制御部４０１は、画像情報も受信している。撮像情報は、撮影地点（例えば、定点計測装置４００又はショベル）を基準とした作業現場の物体の色又は形状が表されている。そこで、作業現場空間生成部４０３は、３次元形状マップに、撮像情報で示された色又は形状を張り合わせることで、作業現場の色が表された３次元形状マップを生成できる。
【0182】
さらに、受信制御部４０１は、ショベル１００の位置を示した位置情報及び状態情報も受信している。そこで、作業現場空間生成部４０３は、３次元形状マップに、位置情報で示される位置に、状態情報で示される状態で、ショベル１００の３次元モデルを配置する。当該配置を行うために、作業現場空間生成部４０３は、ショベル１００の３次元モデルを予め保持している。
【0183】
さらに、作業現場空間生成部４０３は、施工情報記憶部４１１に記憶された施工情報を、３次元形状マップの生成に用いてもよい。
【0184】
表示画面生成部４０４は、作業現場空間生成部４０３により生成された３次元形状マップに基づいて、右目用表示画像と左目用表示画像とを生成する。
【0185】
右目用表示画像（第１画像の一例）は、３次元形状マップに配置される右目の位置を視点として、当該右目の視線方向に基づいて生成される。同様に、左目用表示画像（第２画像の一例）は、３次元形状マップに配置される左目の位置を視点して、当該左目の視線方向に基づいて生成される。換言すれば、右目用表示画像及び左目用表示画像は、操作者ＩＰの右目と左目との視差が表された画像となる。
【0186】
右目用表示画像及び左目用表示画像は、３次元形状マップにおいて、右目及び左目に対応する視点を設定することで生成される。例えば、３次元形状マップに配置されたショベル１００の３次元モデルの運転席が存在する空間に、右目及び左目に対応する視点を設定してもよい。
【0187】
右目用表示画像及び左目用表示画像を生成するための視点は、運転席を基準とした位置に制限するものではなく、操作者ＯＰの操作に応じて切り替えられてもよい。これにより、操作者ＯＰは、運転席からでは確認できない作業現場の状況を確認できる。
【0188】
表示制御部４０５は、右目用表示画像と左目用表示画像とを用いることで、表示装置Ｄ１に、作業現場に存在する物体（被写体の一例）を立体視表示する。このように、表示制御部４０５は、ショベル１００が作業している周囲に存在する物体の３次元形状を示した３次元形状マップ（３次元情報の一例）に基づいて、表示装置Ｄ１に当該物体の立体視表示を行うことができる。なお、本実施形態は、立体視表示を行うために用いる情報を、３次元形状マップに制限するものではなく、作業現場に存在する物体の３次元形状が表された情報であればよい。例えば、ショベル１００の撮像装置Ｓ６が撮像した画像情報を、当該ショベル１００の空間認識装置Ｓ７で検出された測定情報に基づいて、物体の位置関係を立体的に加工した情報を用いてもよい。
【0189】
本実施形態に係る表示制御部４０５は、操作者状態特定部４０２により特定された右目の位置に、光学素子Ｄ１１を介して右目用表示画像が出力されるように制御を行い、操作者状態特定部４０２により特定された左目の位置に、光学素子Ｄ１１を介して左目用表示画像が出力されるように制御を行う。なお、制御手法は、従来と同様の手法を用いればよいものとして説明を省略する。
【0190】
信号生成部４０６は、操作センサ４３が受け付けた操作内容に基づいて、ショベル１００の各構成（例えば、ブーム４、アーム５、バケット６、上部旋回体３及び下部走行体１のうちいずれか一つ以上）を動作させるための制御信号（制御情報の一例）を生成する。なお、本実施形態においては、操作内容に基づいて生成される制御信号は、ショベル１００の半自動制御を行うための制御信号であってもよい。
【0191】
送信制御部４０７は、信号生成部４０６により生成された制御信号を、ショベル１００に送信するための制御を行う。これにより、通信装置Ｔ２は、操作者から受け付けた操作に基づいて、ショベル１００を制御するための制御信号をショベル１００に送信する。したがって、ショベル１００は、遠隔操作室ＲＣからの操作に基づいた制御を行うことができる。
【0192】
＜作業現場の３次元形状マップの説明＞
次に、立体視表示を行うための３次元形状マップについて説明する。図９は、作業現場空間生成部４０３により生成された３次元形状マップを説明するための概念図である。
次に、立体視表示を行うための３次元形状マップについて説明する。図９は、作業現場空間生成部４０３により生成された３次元形状マップを説明するための概念図である。
【0193】
図９で示される仮想的な作業現場空間１９０１の３次元形状マップは、作業現場情報記憶部４１２に記憶された情報、換言すれば、ショベル及び定点計測装置４００から受信した情報に基づいて生成されたものである。受信した情報としては、例えば、測定情報、画像情報、及び位置情報が含まれている。
【0194】
さらには、仮想的な作業現場空間１９０１の３次元形状マップは、施工情報記憶部４１１に記憶された施工情報に基づいた３次元形状を追加してもよい。
【0195】
図９に示される例では、作業現場空間１９０１には、傾斜面１９０３が存在している。そして、施工情報では法面１９０４を施工するように示されている。このように、本実施形態に係る３次元形状マップは、現在の作業現場の３次元形状と、施工情報の３次元形状と、が重畳して表されている。現在の作業現場の３次元形状と、施工情報の３次元形状と、が存在する場合、現在の作業現場の３次元形状に対して所定の透過率で透過処理を行ってもよい。これにより、当該３次元マップが表示された場合に、操作者ＯＰは、作業現場の３次元形状の奥に、施工情報で示される３次元形状を確認できる。
【0196】
さらに、本実施形態に係る作業現場空間生成部４０３は、作業現場空間１９０１の３次元形状マップ上に、ショベル１００の３次元形状を示した（図示しない）３次元モデルを配置する。ショベル１００の３次元モデルは、受信した状態情報に基づいたショベル１００の現在の状況（例えば、ブーム４、アーム５、バケット６の位置）が表されている。
【0197】
作業現場空間生成部４０３は、ショベル１００の各構成のサイズ、並びに、状態情報に含まれている、ブーム４の回動角度、アーム５の回動角度、及びバケット６の回動角度に基づいて、ショベル１００の機体座標系１９１２における、バケット６の位置１９０２を示した位置座標Ｐ（ｘL,ｙL,ｚL）を特定できる。
【0198】
作業現場空間生成部４０３は、ショベル１００から、測位装置Ｓ８により取得されたショベル１００の位置情報（向きを含む）を受信している。位置情報（向きを含む）は、ショベル１００の基準座標系１９１１における位置及び向き、換言すれば、基準座標系１９１１と機体座標系１９１２との間の相対的な位置関係が示されている。そこで、作業現場空間生成部４０３は、基準座標系１９１１と機体座標系１９１２との間の相対的な位置に基づいて、基準座標系１９１１におけるバケット６の位置１９０２を示した位置座標Ｐ（ｘG,ｙG,ｚG）を特定できる。
【0199】
そして、作業現場空間生成部４０３は、特定された位置１９０２にバケットが配置されたショベル１００の３次元モデルを、３次元形状マップに配置する。そして、当該３次元形状マップが、遠隔操作室ＲＣの表示装置Ｄ１に立体視表示される。
【0200】
＜遠隔操作室の表示画面の説明＞
図１０は、本実施形態に係る表示制御部４０５が表示する画面例を示した図である。右目用表示画像及び左目用表示画像が、撮像装置Ｃ１によって検出された、操作席ＤＳに座っている（図示しない）操作者ＯＰの右目及び左目の位置に基づいて出力される。
図１０は、本実施形態に係る表示制御部４０５が表示する画面例を示した図である。右目用表示画像及び左目用表示画像が、撮像装置Ｃ１によって検出された、操作席ＤＳに座っている（図示しない）操作者ＯＰの右目及び左目の位置に基づいて出力される。
【0201】
図１０に表示される画面は、３次元形状マップ上に配置された、ショベル１００の３次元モデルの運転席として定められた右目及び左目の各々に対応する視点から、３次元形状マップを参照した状況を立体視表示した画面とする。
【0202】
また、図１０に示す例は、ショベル１００の３次元モデルのアームを示す画像２００１が表示される。当該ショベル１００の３次元モデルのアーム及びバケットは、受信した状態情報で示されるアタッチメントの状態に応じて動作する。
【0203】
画像２００２には、３次元形状マップの傾斜面と、施工情報の法面と、を含まれている。３次元形状マップの傾斜面は所定の透過率で透過する。これにより、操作者ＯＰは、立体視表示によって、画像２００２の奥行き方向において傾斜面、施工された後の法面（被写体の一例）の位置関係を認識できる。
【0204】
このように、表示制御部４０５は、３次元形状マップに基づいて、表示装置Ｄ１に、測定情報に含まれている物体（被写体の一例）の立体視表示を実現している。さらに、表示制御部４０５は、施工情報で示されている物体（被写体の一例）の３次元形状に基づいて、施工された後の物体の立体視表示を実現している。施工後の物体の３次元形状が、現在の作業現場に重ねて表示されているので、操作者ＯＰは、どの程度掘削すればよいのか認識できる。
【0205】
表示装置Ｄ１には、画像Ｇ１０が表示されている。図１０は、明瞭化のため、画像Ｇ１０の拡大図を左上に示している。画像Ｇ１０は、ショベル１００の周辺を表した俯瞰画像である。画像Ｇ１１は、ショベル１００の３次元モデルを俯瞰で示している。画像Ｇ１２は、作業対象となる地面の範囲を示す図形である。より具体的には、画像Ｇ１２は、画像Ｇ１２ａ～画像Ｇ１２ｃを含む。画像Ｇ１２ａは、掘削が完了した範囲を表し、画像Ｇ１２ｂは、掘削が行われている範囲を表し、画像Ｇ１２ｃは、掘削が行われていない範囲を表す。これにより、操作者ＯＰは、掘削すべき範囲を認識できる。
【0206】
上述の構成により、遠隔操作システムＳＹＳは、遠隔操作室ＲＣにいる操作者ＯＰが、遠隔地にあるショベル１００を遠隔操作できるようにする。その際に、遠隔操作システムＳＹＳは、ショベル１００に取り付けられた撮像装置Ｃ１により検出された操作者ＯＰの右目及び左目の位置に基づいて生成される右目用表示画像及び左目用表示画像を出力することで、操作者ＯＰに対する立体視表示を実現できる。これにより、操作者ＯＰは、遠隔操作室ＲＣからの操作であっても作業現場の状況を立体的に認識できる。つまり、操作者ＯＰは、作業現場の奥行き方向における位置関係を認識できるので、操作負担を軽減できる。
【0207】
本実施形態では、操作者ＯＰの目の位置及び顔の向きに基づいて、表示装置Ｄ１に表示される画像の内容を変化させるように構成されていてもよい。画像の内容を変化させる手法は、現在周知の手法を用いてもよい。
【0208】
＜作用＞
上述した実施形態においては、遠隔操作室ＲＣで、作業現場の状況を確認できるので、作業機械（例えば、ショベル１００）の遠隔操作が可能となる。
上述した実施形態においては、遠隔操作室ＲＣで、作業現場の状況を確認できるので、作業機械（例えば、ショベル１００）の遠隔操作が可能となる。
【0209】
上述した実施形態においては、３次元形状マップに基づいて、表示装置Ｄ１に物体を立体視表示するよう構成されているので、遠隔操作室ＲＣでは、操作者ＯＰは、作業現場の周囲の状況を水平方向、垂直方向、及び奥行き方向において物体の位置関係を認識できるので、物体の位置関係を考慮した作業が容易になる。したがって、作業効率の向上を実現できる。
【0210】
上述した実施形態においては、右目用表示画像と左目用表示画像とを生成し、右目用表示画像が操作者ＯＰの右目に出力されるように制御され、左目用表示画像が操作者ＯＰの左目に出力されるように制御されている。これにより、操作者ＯＰが裸眼の場合でも立体視表示を行うことができる。したがって、操作者ＯＰの負担の軽減を実現できる。
【0211】
上述した実施形態においては、撮像装置Ｃ１によって撮像された画像情報に基づいて操作者ＯＰの視線を認識し、認識結果に基づいて右目用表示画像と左目用表示画像とを生成する。このため、操作者ＯＰが動いた場合に、動きに対応した右目用表示画像と左目用表示画像とが生成される。したがって、操作者ＯＰに対して違和感の少ない立体視表示を提供できるので、操作時の快適性を向上させることができる。
【0212】
以上、作業機械の一例としてショベルを用いた場合の実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
【0213】
つまり、上述した遠隔操作システムは、遠隔制御システムの一例として、作業機械の操作を行うシステムに適用した場合について説明したが、他の態様のシステムに適用してもよい。このように、遠隔地において、作業機械を制御するシステムであれば適用できる。
【符号の説明】
【0214】
ＳＹＳ 遠隔操作システム
１００ ショベル
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
Ｓ１ ブーム角度センサ
Ｓ２ アーム角度センサ
Ｓ３ バケット角度センサ
Ｓ４ 機体傾斜センサ
Ｓ５ 旋回角速度センサ
Ｓ６ 撮像装置
Ｓ７ 空間認識装置
Ｓ８ 測位装置
Ｔ１ 通信装置
３０ ショベルコントローラ
３０１ ショベル状態特定部
３０２ 送信制御部
３０３ 受信制御部
３０４ アクチュエータ駆動部
４００ 定点計測装置
Ｔ３ 通信装置
４５０ 位置情報記憶部
Ｃ３ 撮像装置
Ｓ１１ 空間認識装置
４４０ コントローラ
４４１ 送信制御部
ＲＣ 遠隔操作室
Ｄ１ 表示装置
Ｃ１ 撮像装置
Ｔ２ 通信装置
４１ 記憶装置
４２ 操作装置
４３ 操作センサ
４０１ 受信制御部
４０２ 操作者状態特定部
４０３ 作業現場空間生成部
４０４ 表示画面生成部
４０５ 表示制御部
４０６ 信号生成部
４０７ 送信制御部
１００ ショベル
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
Ｓ１ ブーム角度センサ
Ｓ２ アーム角度センサ
Ｓ３ バケット角度センサ
Ｓ４ 機体傾斜センサ
Ｓ５ 旋回角速度センサ
Ｓ６ 撮像装置
Ｓ７ 空間認識装置
Ｓ８ 測位装置
Ｔ１ 通信装置
３０ ショベルコントローラ
３０１ ショベル状態特定部
３０２ 送信制御部
３０３ 受信制御部
３０４ アクチュエータ駆動部
４００ 定点計測装置
Ｔ３ 通信装置
４５０ 位置情報記憶部
Ｃ３ 撮像装置
Ｓ１１ 空間認識装置
４４０ コントローラ
４４１ 送信制御部
ＲＣ 遠隔操作室
Ｄ１ 表示装置
Ｃ１ 撮像装置
Ｔ２ 通信装置
４１ 記憶装置
４２ 操作装置
４３ 操作センサ
４０１ 受信制御部
４０２ 操作者状態特定部
４０３ 作業現場空間生成部
４０４ 表示画面生成部
４０５ 表示制御部
４０６ 信号生成部
４０７ 送信制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】