ホーム > 特許ランキング > 住友重機械工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159065
(43)【公開日】2024-11-08
(54)【発明の名称】作業機械の情報処理システム
(51)【国際特許分類】
E02F 9/24 20060101AFI20241031BHJP
E02F 9/26 20060101ALI20241031BHJP
E02F 9/20 20060101ALI20241031BHJP
【ＦＩ】
E02F9/24 B
E02F9/26 B
E02F9/20 N
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023074813
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】山本 泰広
【テーマコード（参考）】
2D003
2D015
【Ｆターム（参考）】
2D003AA01
2D003BA04
2D003CA02
2D003DA04
2D003DB03
2D003DB04
2D003DB05
2D015GA03
2D015GB06
2D015GB07
2D015HA03
2D015HB00
(57)【要約】
【課題】安全性の向上を実現する。
【解決手段】本開示の一態様に係る作業機械の情報処理システムは、作業現場で作業を行う作業機械と、前記作業現場を撮像するために前記作業機械と別に設けられた撮像装置と、前記撮像装置により前記作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した前記画像情報に基づいた処理を行うように構成されている制御装置と、を備える。
【選択図】図５
【解決手段】本開示の一態様に係る作業機械の情報処理システムは、作業現場で作業を行う作業機械と、前記作業現場を撮像するために前記作業機械と別に設けられた撮像装置と、前記撮像装置により前記作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した前記画像情報に基づいた処理を行うように構成されている制御装置と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
作業現場で作業を行う作業機械と、
前記作業現場を撮像するために前記作業機械と別に設けられた撮像装置と、
前記撮像装置により前記作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した前記画像情報に基づいた処理を行うように構成されている制御装置と、
を備える作業機械の情報処理システム。
前記作業現場を撮像するために前記作業機械と別に設けられた撮像装置と、
前記撮像装置により前記作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した前記画像情報に基づいた処理を行うように構成されている制御装置と、
を備える作業機械の情報処理システム。
【請求項2】
前記制御装置は、操作装置から信号を受け付け、受け付けた当該信号に基づいて前記作業機械を操作するための操作信号を、前記作業機械に送信するように構成されている、
請求項１に記載の作業機械の情報処理システム。
請求項１に記載の作業機械の情報処理システム。
【請求項3】
前記制御装置は、前記画像情報を表示装置に表示するように構成されている、
請求項１又は２に記載の作業機械の情報処理システム。
請求項１又は２に記載の作業機械の情報処理システム。
【請求項4】
前記制御装置は、操作装置から受け付けた操作に従って、撮像する範囲を変更するための制御信号を前記撮像装置に送信するように構成され、
前記撮像装置は、前記制御信号に基づいて撮像領域を変更可能に構成されている、
請求項３に記載の作業機械の情報処理システム。
前記撮像装置は、前記制御信号に基づいて撮像領域を変更可能に構成されている、
請求項３に記載の作業機械の情報処理システム。
【請求項5】
前記制御装置は、前記画像情報に基づいて前記作業機械の周囲に物体が存在するか否かを検出し、検出結果を出力する、又は、検出結果に基づいた操作信号を前記作業機械に送信するように構成されている、
請求項１に記載の作業機械の情報処理システム。
請求項１に記載の作業機械の情報処理システム。
【請求項6】
前記撮像装置は、前記作業機械より高い位置から、前記作業機械を俯瞰できるように設けられている、
請求項１に記載の作業機械の情報処理システム。
請求項１に記載の作業機械の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の情報処理システムに関する。
【背景技術】
【0002】
従来、作業機械に設けられた撮像装置によって、当該作業機械の周囲の状況を把握する技術が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８３６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、作業機械に設けられた撮像装置では、作業機械から死角に存在する物体等を把握するのが難しい場合がある。
【0005】
上述に鑑み、作業機械と別に設けられた撮像装置によって、作業機械の周囲を撮像した画像情報を用いることで、作業機械の周囲の状況の把握を容易にして、安全性の向上を実現する。
【課題を解決するための手段】
【0006】
本発明の一態様に係る作業機械の情報処理システムは、作業現場で作業を行う作業機械と、前記作業現場を撮像するために前記作業機械と別に設けられた撮像装置と、前記撮像装置により前記作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した前記画像情報に基づいた処理を行うように構成されている制御装置と、を備える。
【発明の効果】
【0007】
本発明の一態様によれば、作業機械と別に設けられた撮像装置により撮像された画像情報を用いることで、安全性の向上を実現する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。また、以下で説明する実施形態は、発明を限定するものではなく例示であって、実施形態に記述される全ての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。なお、各図面において同一の又は対応する構成には同一の又は対応する符号を付し、説明を省略することがある。
【0010】
（第１の実施形態）
まず、図１を参照して、第１の実施形態に係る遠隔操作システム（作業機械の情報処理システムの一例）ＳＹＳの概要を説明する。図１は、第１の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。
まず、図１を参照して、第１の実施形態に係る遠隔操作システム（作業機械の情報処理システムの一例）ＳＹＳの概要を説明する。図１は、第１の実施形態に係る遠隔操作システムＳＹＳの一例を示す概要図である。
【0011】
＜遠隔操作システムを構成する機器＞
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、定点計測装置（撮像装置の一例）Ｃ１１、Ｃ１２と、遠隔操作室ＲＣと、を含んでいる。
図１に示すように、第１の実施形態に係る遠隔操作システムＳＹＳは、ショベル１００と、定点計測装置（撮像装置の一例）Ｃ１１、Ｃ１２と、遠隔操作室ＲＣと、を含んでいる。
【0012】
ショベル１００は、作業現場で作業を行う作業機械の一例であって、無線通信が可能とする。そして、ショベル１００は、通信ネットワークＮＴに接続された機器（例えば、遠隔操作室ＲＣ）との間でデータの送受信を可能とする。定点計測装置Ｃ１１、Ｃ１２は、通信ネットワークＮＴに接続された機器（例えば、遠隔操作室ＲＣ）との間でデータの送受信を可能とする。
【0013】
ショベル１００、及び定点計測装置Ｃ１１、Ｃ１２は、ショベル１００が作業を行う作業現場に存在する。ショベル１００、及び定点計測装置（撮像装置の一例）Ｃ１１、Ｃ１２は、作業現場に関する情報を、遠隔操作室ＲＣに送信する。これにより、遠隔操作室ＲＣは、複数種類の装置からの検出結果に応じて、作業現場を多角的に確認することができる。
【0014】
定点計測装置Ｃ１１、Ｃ１２は、作業現場を撮影するために、ショベル１００と別に作業現場に設けられた撮像装置の一例である。本実施形態では、作業現場に２台の定点計測装置Ｃ１１、Ｃ１２を設けた例について説明するが、作業現場に設けられる定点計測装置の数を制限するものではなく、１台、又は３台以上であってもよい。
【0015】
本実施形態においては、作業現場に存在するショベル１００を定点計測装置Ｃ１１、Ｃ１２のうちいずれか一方が少なくとも撮影できるように設けられている。定点計測装置Ｃ１１、Ｃ１２は、撮影された画像情報を、遠隔操作室ＲＣに送信する。定点計測装置Ｃ１１、Ｃ１２が撮像した画像情報のうちいずれか一つには、ショベル１００を含んだ周囲の状況が写っている。このため、遠隔操作室ＲＣでは、ショベル１００を含む周囲の状況を認識できる。
【0016】
本実施形態に係る定点計測装置Ｃ１１、Ｃ１２は、ショベル１００の上部旋回体３よりも高い位置から撮像を行うように設けられている。これにより、定点計測装置Ｃ１１、Ｃ１２は、ショベル１００を挟んで反対側の状況も撮影することが可能となる。なお、本実施形態は、定点計測装置Ｃ１１、Ｃ１２の高さを制限するものではなく、例えば、ショベル１００より低くなるように設けられてもよい。
【0017】
なお、本実施形態は、作業現場を撮像するためにショベル１００と別に設けられた撮像装置の一例として定点計測装置Ｃ１１、Ｃ１２を用いた例を示したものである。ショベル１００と別に設けられた撮像装置は、定点計測装置Ｃ１１、Ｃ１２以外であってもよく、例えば、既に作業現場に設けられていた周辺監視装置等でもよい。
【0018】
定点計測装置Ｃ１１、Ｃ１２は、物体までの距離を検出可能なステレオカメラであってもよい。さらに、定点計測装置Ｃ１１、Ｃ１２の近傍に、作業現場の状況を検出するためにＬＩＤＡＲ（Light Detection and Ranging）を設置してもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。他の例としては、ＬＩＤＡＲの代わりにミリ波レーダなどの測距装置を組み合わせてもよい。ＬＩＤＡＲによってショベル１００の周辺の物体の形状を点群データとして認識してもよい。
【0019】
遠隔操作システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。
【0020】
＜遠隔操作室の構成例＞
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラＲ３０、操作装置Ｒ２６、操作センサＲ２９、及び表示装置Ｄ１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
遠隔操作室ＲＣには、通信装置Ｔ２、遠隔コントローラＲ３０、操作装置Ｒ２６、操作センサＲ２９、及び表示装置Ｄ１を備えている。また、遠隔操作室ＲＣには、ショベル１００を遠隔操作する操作者ＯＰが座る操作席ＤＳが設置されている。
【0021】
【0022】
遠隔コントローラＲ３０は、各種演算を実行する演算装置である。本実施形態では、遠隔コントローラＲ３０は、ＣＰＵ及びメモリを含むマイクロコンピュータで構成されている。そして、遠隔コントローラＲ３０の各種機能は、ＣＰＵがメモリに格納されたプログラムを実行することで実現される。
【0023】
表示装置Ｄ１は、遠隔操作室ＲＣにいる操作者ＯＰがショベル１００の周囲を視認するために、ショベル１００、定点計測装置Ｃ１１、Ｃ１２の各々から送信された情報に基づいた画面を表示する。表示装置Ｄ１は、操作者が遠隔操作室ＲＣにいるにもかかわらず、ショベル１００の周囲を含む作業現場の状況を確認できる。
【0024】
操作装置Ｒ２６には、操作装置Ｒ２６の操作内容を検出するための操作センサＲ２９が設置されている。操作センサＲ２９は、例えば、操作レバーの傾斜角度を検出する傾斜センサ、又は、操作レバーの揺動軸回りの揺動角度を検出する角度センサ等である。操作センサＲ２９は、圧力センサ、電流センサ、電圧センサ、又は距離センサ等の他のセンサで構成されていてもよい。操作センサＲ２９は、検出した操作装置Ｒ２６の操作内容に関する情報を遠隔コントローラＲ３０に対して出力する。遠隔コントローラＲ３０は、受信した情報に基づいて操作信号を生成し、生成した操作信号をショベル１００に向けて送信する。操作センサＲ２９は、操作信号を生成するように構成されていてもよい。この場合、操作センサＲ２９は、遠隔コントローラＲ３０を経由せずに、操作信号を通信装置Ｔ２に出力してもよい。これにより、遠隔操作室ＲＣから、ショベル１００の遠隔操作を実現できる。
【0025】
＜ショベルの構成＞
図２は、実施形態に係る作業機械としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。
図２は、実施形態に係る作業機械としてのショベル１００を示している。ショベル１００の下部走行体１には、旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。
【0026】
ブーム４、アーム５、及びバケット６は、アタッチメントの一例である掘削アタッチメントを構成している。ブーム４はブームシリンダ７により駆動され、アーム５はアームシリンダ８により駆動され、バケット６はバケットシリンダ９により駆動される。
【0027】
ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケットリンクにはバケット角度センサＳ３が取り付けられている。上部旋回体３には、旋回角速度センサＳ５が取り付けられている。
【0028】
ブーム角度センサＳ１は、姿勢検出センサの１つであり、ブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は、ブームシリンダ７のストローク量を検出するストロークセンサであり、ブームシリンダ７のストローク量に基づいて上部旋回体３とブーム４とを連結するブームフートピン回りのブーム４の回動角度を導き出す。
【0029】
アーム角度センサＳ２は、姿勢検出センサの１つであり、アーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は、アームシリンダ８のストローク量を検出するストロークセンサであり、アームシリンダ８のストローク量に基づいてブーム４とアーム５とを連結する連結ピン回りのアーム５の回動角度を導き出す。
【0030】
バケット角度センサＳ３は、姿勢検出センサの１つであり、バケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は、バケットシリンダ９のストローク量を検出するストロークセンサであり、バケットシリンダ９のストローク量に基づいてアーム５とバケット６とを連結する連結ピン回りのバケット６の回動角度を導き出す。
【0031】
なお、ブーム角度センサＳ１、アーム角度センサＳ２、及びバケット角度センサＳ３のそれぞれは、ロータリエンコーダ、加速度センサ、ポテンショメータ（可変抵抗器）、傾斜センサ、又は、慣性計測装置等であってもよい。慣性計測装置は、例えば、加速度センサとジャイロセンサとの組み合わせで構成されていてもよい。
【0032】
機体傾斜センサＳ４は、水平面に対する機体（上部旋回体３或いは下部走行体１）の傾斜状態を検出する。機体傾斜センサＳ４は、例えば、上部旋回体３に取り付けられ、ショベル１００（即ち、上部旋回体３）の前後方向及び左右方向の２軸回りの傾斜角度（以下、「前後傾斜角」及び「左右傾斜角」）を検出する。機体傾斜センサＳ４は、例えば、ロータリエンコーダ、加速度センサ、６軸センサ、ＩＭＵ等を含んでよい。機体傾斜センサＳ４による傾斜角度（前後傾斜角及び左右傾斜角）に対応する検出信号は、コントローラ３０に取り込まれる。
【0033】
旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、旋回角速度に基づいて旋回角度を算出するように構成されていてもよい。旋回角速度センサＳ５は、ロータリエンコーダ等の他のセンサで構成されていてもよい。
【0034】
上部旋回体３には、運転室としてのキャビン１０、エンジン１１、測位装置ＰＳ、撮像装置Ｓ６、及び通信装置Ｔ１等が搭載されている。また、キャビン１０内には、コントローラ３０が搭載されている。また、キャビン１０内には、運転席及び操作装置等が設置されている。
【0035】
エンジン１１は、ショベル１００の駆動源である。本実施形態では、エンジン１１は、ディーゼルエンジンである。エンジン１１の出力軸は、メインポンプ１４及びパイロットポンプ１５のそれぞれの入力軸に連結されている。
【0036】
測位装置ＰＳは、ショベル１００の位置を測定するように構成されている。本実施形態では、測位装置ＰＳは、ＧＮＳＳ（Global Navigation Satellite System）コンパスであり、上部旋回体３の位置及び向きを測定できるように構成されている。
【0037】
撮像装置Ｓ６は、ショベル１００（作業機械の一例）が作業している作業領域（ショベル１００の周囲）を撮像するように構成されている。本実施形態では、撮像装置Ｓ６は、上部旋回体３の上面後端に取り付けられた後カメラＳ６Ｂ、キャビン１０の上面前端に取り付けられた前カメラＳ６Ｆ、上部旋回体３の上面左端に取り付けられた左カメラＳ６Ｌ、及び、上部旋回体３の上面右端に取り付けられた右カメラＳ６Ｒを含む。撮像装置Ｓ６は、キャビン１０内の所定位置に設置された全天球カメラであってもよい。所定位置は、例えば、キャビン１０内に設置された運転席に着座する操作者の目の位置に対応する位置である。
【0038】
また、撮像装置Ｓ６は、物体までの距離を検出可能なステレオカメラであってもよい。さらに、撮像装置Ｓ６の近傍に、作業現場の状況を検出するためにＬＩＤＡＲ（Light Detection and Ranging）を設置してもよい。ＬＩＤＡＲは、例えば、監視範囲内にある１００万点以上の点とＬＩＤＡＲとの間の距離を測定する。なお、本実施形態は、ＬＩＤＡＲを用いる手法に制限するものではなく、物体との間の距離を計測可能な空間認識装置であればよい。他の例としては、ＬＩＤＡＲの代わりにミリ波レーダなどの測距装置を組み合わせてもよい。
【0039】
通信装置Ｔ１は、ショベル１００の外部にある機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、無線通信網を介し、通信装置Ｔ１とショベル１００の外部にある機器との間の無線通信を制御するように構成されている。通信装置Ｔ１は、例えば、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation）等の移動体通信規格に対応する移動体通信モジュールや衛星通信網に接続するための衛星通信モジュール等を含む。
【0040】
コントローラ３０は、各種演算を実行する演算装置である。コントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００の駆動制御を行う。コントローラ３０は、その機能が任意のハードウェア、ソフトウェア、或いは、その組み合わせにより実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインターフェース装置等を含むマイクロコンピュータを中心に構成される。コントローラ３０は、例えば、不揮発性の補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより各種機能を実現する。
【0041】
図３は、図２のショベル１００の駆動系の構成例を示すブロック図である。図３において、機械的動力伝達ラインは二重線、作動油ラインは太実線、パイロットラインは破線、電気制御ラインは点線でそれぞれ示されている。
【0042】
ショベル１００の駆動系は、エンジン１１、レギュレータ１３、メインポンプ１４、パイロットポンプ１５、コントロールバルブユニット１７、コントローラ３０、及び比例弁３１等で構成されている。エンジン１１は、エンジンコントロールユニット７４により駆動制御される。
【0043】
メインポンプ１４は、作動油ライン１６を介して作動油をコントロールバルブユニット１７に供給する。本実施形態では、メインポンプ１４は、斜板式可変容量型油圧ポンプである。
【0044】
レギュレータ１３は、メインポンプ１４の吐出量を制御するように構成されている。本実施形態では、レギュレータ１３は、メインポンプ１４の吐出圧又はコントローラ３０からの制御信号等に応じてメインポンプ１４の斜板傾転角を調節するように構成されている。メインポンプ１４は、レギュレータ１３により１回転当たり吐出量（押し退け容積）が制御される。
【0045】
パイロットポンプ１５は、パイロット圧生成装置の一例であり、パイロットラインを介して油圧制御機器に作動油を供給できるように構成されている。本実施形態では、パイロットポンプ１５は、固定容量型油圧ポンプである。但し、パイロット圧生成装置は、メインポンプ１４によって実現されてもよい。すなわち、メインポンプ１４は、作動油ラインを介して作動油をコントロールバルブユニット１７に供給する機能に加え、パイロットラインを介して各種油圧制御機器に作動油を供給する機能を備えていてもよい。この場合、パイロットポンプ１５は、省略されてもよい。
【0046】
コントロールバルブユニット１７は、メインポンプ１４から受け入れた作動油を１又は複数の油圧アクチュエータに選択的に供給できるように構成されている。本実施形態では、コントロールバルブユニット１７は、複数の油圧アクチュエータに対応する複数の制御弁を含む。そして、コントロールバルブユニット１７は、１又は複数の油圧アクチュエータに対し、メインポンプ１４から吐出される作動油を選択的に供給できるように構成されている。油圧アクチュエータは、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、左側走行用油圧モータ１Ｌ、右側走行用油圧モータ１Ｒ、及び旋回用油圧モータ２Ａを含む。
【0047】
コントローラ３０は、通信装置Ｔ１を通じて受信する操作信号に基づき、比例弁３１を制御するように構成されている。本実施形態では、操作信号は、遠隔操作室ＲＣから送信されてくる。操作信号は、キャビン１０内に設けられた操作装置によって生成されてもよい。
【0048】
マシンコントロール用制御弁として機能する比例弁３１は、パイロットポンプ１５とコントロールバルブユニット１７内の制御弁のパイロットポートとを接続する管路に配置され、その管路の流路面積を変更できるように構成されている。本実施形態では、比例弁３１は、コントローラ３０が出力する制御指令に応じて動作する。そのため、コントローラ３０は、操作者による操作装置２６の操作とは無関係に、パイロットポンプ１５が吐出する作動油を、比例弁３１を介し、コントロールバルブユニット１７内の制御弁のパイロットポートに供給できる。
【0049】
本実施形態では、コントローラ３０は、比例弁３１に含まれる複数の電磁弁のそれぞれの開口面積を個別に制御することで、各制御弁のパイロットポートに作用するパイロット圧を制御することができる。そのため、コントローラ３０は、各油圧アクチュエータに流入する作動油の流量、及び、各油圧アクチュエータから流出する作動油の流量を制御することができ、ひいては、各油圧アクチュエータの動きを制御することができる。
【0050】
このようにして、コントローラ３０は、遠隔操作室ＲＣ等の外部からの操作信号に応じ、ブーム４の上げ下げ、アーム５の開閉、バケット６の開閉、上部旋回体３の旋回、及び下部走行体１の走行等を実現できる。
【0051】
図４は、図１のショベルに搭載される電気系の構成例を示す図である。エンジン１１は、図４に示すように、エンジンコントロールユニット７４に接続されている。エンジンコントロールユニット７４からは、エンジン１１の状態を示す各種データがコントローラ３０に送信される。なお、遠隔操作室ＲＣは、図１と同様のため、説明を省略する。
【0052】
バッテリ７０は、ショベル１００に搭載されている各種電気負荷に電力を供給するように構成されている。オルタネータ１１ａ（発電機）、スタータ１１ｂ、コントローラ３０、及び電装品７２等は、バッテリ７０に蓄えられた電力で動作するように構成されている。スタータ１１ｂは、バッテリ７０に蓄えられた電力で駆動され、エンジン１１を始動させるように構成されている。また、バッテリ７０は、オルタネータ１１ａが発電した電力で充電されるように構成されている。
【0053】
水温センサ１１ｃは、エンジン冷却水の温度に関するデータをコントローラ３０に送信する。レギュレータ１３は、斜板傾転角に関するデータをコントローラ３０に送信する。吐出圧センサ１４ｂは、メインポンプ１４の吐出圧に関するデータをコントローラ３０に送信する。測位装置ＰＳは、ショベル１００の位置に関するデータをコントローラ３０に送信する。
【0054】
メインポンプ１４が吸入する作動油が貯蔵された作動油タンクとメインポンプ１４との間の管路１４－１には、油温センサ１４ｃが設けられている。油温センサ１４ｃは、管路１４－１を流れる作動油の温度に関するデータをコントローラ３０に送信する。
【0055】
尿素水タンク２１に設けられた尿素水残量センサ２１ａは、尿素水の残量に関するデータをコントローラ３０に送信する。燃料タンク２２に設けられた燃料残量センサ２２ａは、燃料の残量に関するデータをコントローラ３０に送信する。
【0056】
通信装置Ｔ１は、無線通信を介し、遠隔操作室ＲＣに設置された通信装置Ｔ２との間で情報を送受信するように構成されている。本実施形態では、通信装置Ｔ１と通信装置Ｔ２とは、第５世代移動通信回線（５Ｇ回線）、ＬＴＥ回線、又は衛星回線等を介して情報を送受信するように構成されている。
【0057】
＜遠隔操作システムのブロック構成＞
図５は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図５に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置Ｃ１１、Ｃ１２、及び、ショベル１００の各々のブロック構成を示している。
図５は、本実施形態に係る遠隔操作システムＳＹＳの構成例を示す機能ブロック図である。図５に示される例では、遠隔操作システムＳＹＳに含まれる、遠隔操作室ＲＣ、定点計測装置Ｃ１１、Ｃ１２、及び、ショベル１００の各々のブロック構成を示している。
【0058】
ショベル１００は、測位装置ＰＳ、コントローラ３０、比例弁３１、撮像装置Ｓ６、及び通信装置Ｔ１を備えている。遠隔操作室ＲＣには、操作センサＲ２９、遠隔コントローラＲ３０、表示装置Ｄ１、及び通信装置Ｔ２を備えている。定点計測装置Ｃ１１、Ｃ１２は、コントローラＣ３０、撮像装置Ｓ１６、回転機構Ｚ１、及び通信装置Ｔ３を備えている。
【0059】
ショベル１００に搭載されているコントローラ３０が有する機能について説明する。コントローラ３０は、図５に示されるように、機能ブロックとして、通信制御部３０１と、ショベル状態特定部３０２と、アクチュエータ駆動部３０３と、を有する。
【0060】
通信制御部３０１は、通信装置Ｔ１を用いて外部の装置との間で情報の送信制御及び受信制御を行う。例えば、通信制御部３０１は、通信装置Ｔ１を用いて、遠隔コントローラＲ３０から操作信号を受信する制御を行う。他の例としては、通信制御部３０１は、通信装置Ｔ１を用いて、撮像装置Ｓ６が撮像した画像情報を、遠隔コントローラＲ３０に送信する制御を行う。
【0061】
ショベル状態特定部３０２は、ショベル１００の状態を特定するように構成されている。本実施形態では、ショベル１００の状態は、ショベル１００の位置と向きを含む。ショベル１００の位置は、例えば、ショベル１００の世界座標系における位置（ショベル１００基準点の緯度、経度、及び高度）である。ショベル状態特定部３０２は、測位装置ＰＳの出力に基づいてショベル１００の位置及び向きを特定する。
【0062】
そして、通信制御部３０１は、特定されたショベル１００の位置及び向きを示す情報を、通信装置Ｔ１を用いて遠隔操作室ＲＣに送信する制御を行う。
【0063】
アクチュエータ駆動部３０３は、ショベル１００に搭載されているアクチュエータを駆動するように構成されている。本実施形態では、アクチュエータ駆動部３０３は、通信制御部３０１が受信制御した遠隔コントローラＲ３０からの操作信号に基づき、比例弁３１に含まれる複数の電磁弁のそれぞれに対する作動信号を生成して出力する。
【0064】
作動信号を受けた各電磁弁は、コントロールバルブユニット１７における対応する制御弁のパイロットポートに作用するパイロット圧を増減させる。その結果、各制御弁に対応する油圧アクチュエータは、制御弁のストローク量に応じた速度で動作する。
【0065】
本実施形態においては、通信制御部３０１は、遠隔操作室ＲＣにショベル１００の周囲の状況を伝えるために、撮像装置Ｓ６によって撮像された画像情報を送信する。これにより、遠隔操作室ＲＣの操作者ＯＰは、ショベル１００を基準とした周囲の状況を認識できる。
【0066】
しかしながら、撮像装置Ｓ６によって撮像された画像情報では、ショベル１００から見て死角にある物体を認識できない場合がある。また、遠隔操作室ＲＣの操作者ＯＰは、撮像装置Ｓ６によって撮像された画像情報と比べて、ショベル１００を俯瞰して画像情報の方が、ショベル１００の周囲の状況を認識しやすい場合がある。そこで、本実施形態では、定点計測装置Ｃ１１、Ｃ１２を作業現場に設置している。
【0067】
次に、定点計測装置Ｃ１１、Ｃ１２に搭載されているコントローラＣ３０が有する機能について説明する。コントローラＣ３０は、図５に示されるように、機能ブロックとして、通信制御部２３０１と、制御部２３０２と、を有し、撮像装置Ｓ１６によって撮像された画像情報を、遠隔操作室ＲＣに送信するための処理を行う。
【0068】
通信制御部２３０１は、通信装置Ｔ３を用いて外部の装置との間で情報の送信制御及び受信制御を行う。例えば、通信制御部２３０１は、通信装置Ｔ３を用いて、遠隔コントローラＲ３０から信号を受信する制御を行う。他の例としては、通信制御部３０１は、通信装置Ｔ３を用いて、撮像装置Ｓ１６が撮像した画像情報を、遠隔コントローラＲ３０に送信する制御を行う。
【0069】
制御部２３０２は、撮像装置Ｓ１６のズーム機構Ｓ１６Ｚ、及び回転機構Ｚ１の制御を行う。制御部２３０２は、ズーム機構Ｓ１６Ｚを制御することで、撮像装置Ｓ１６による撮像領域を調整できる。また、制御部２３０２は、回転機構Ｚ１を制御することで、撮像装置Ｓ１６の撮影方向（撮像装置Ｓ１６の光軸方向）を調整できる。
【0070】
本実施形態に係る制御部２３０２は、遠隔操作室ＲＣから送信された信号に基づいて、ズーム機構Ｓ１６Ｚ、及び回転機構Ｚ１の制御を行ってもよい。さらには、制御部２３０２は、撮像装置Ｓ１６が撮像した画像情報に基づいて、ショベル１００の位置を検知し、当該ショベル１００の移動に追従するように、ズーム機構Ｓ１６Ｚ、及び回転機構Ｚ１の制御を行ってもよい。なお、当該ショベル１００の移動に追従するような制御手法は、例えば連続して撮像された画像情報を用いて物体のトラッキング処理を行う等、周知の手法を問わず、あらゆる手法を用いてよい。
【0071】
次に、遠隔操作室ＲＣに設置されている遠隔コントローラＲ３０が有する機能について説明する。遠隔コントローラＲ３０は、ショベル１００を遠隔操作するように構成されている。
【0072】
遠隔コントローラＲ３０（制御装置の一例）は、定点計測装置Ｃ１１、Ｃ１２によりショベル１００を含み且つ当該ショベル１００の周囲を撮像した画像情報を通信ネットワークＮＴを介して受信し、受信した画像情報に基づいた処理を行うように構成されている。本実施形態では、受信した画像情報に基づいた処理の一例として、当該画像情報の表示、及び、当該画像情報に基づいた物体検出を行う例について説明する。なお、本実施形態は、受信した画像情報に基づいた処理を、画像情報の表示、及び、画像情報に基づいた物体検出に制限するものではなく、他の処理であってもよい。
【0073】
また、遠隔コントローラＲ３０は、機能ブロックとして、表示制御部１３０１と、判定部１３０２と、距離算出部１３０３と、物体検出部１３０４と、通信制御部１３０５と、操作信号生成部１３０６と、を有する。
【0074】
通信制御部１３０５は、通信装置Ｔ２を用いて外部の装置との間で情報の送信制御及び受信制御を行う。例えば、通信制御部１３０５は、通信装置Ｔ２を用いて、ショベル１００から画像情報を受信する制御を行う。他の例としては、通信制御部１３０５は、通信装置Ｔ２を用いて、定点計測装置Ｃ１１、Ｃ１２から画像情報を受信する制御を行う。
【0075】
表示制御部１３０１は、表示装置Ｄ１に情報を表示する制御を行う。例えば、表示制御部１３０１は、ショベル１００から受信した画像情報、及び、定点計測装置Ｃ１１、Ｃ１２から受信した画像情報のうちいずれか一つ以上を、表示装置Ｄ１に表示する制御を行う。
【0076】
物体検出部１３０４は、ショベル１００から受信した画像情報、及び、定点計測装置Ｃ１１、Ｃ１２から受信した画像情報に写っている物体を検出する。例えば、物体検出部１３０４は、画像情報に写っている物体の輪郭を抽出することで、画像情報に写っている物体を検出してもよい。さらに、物体検出部１３０４は、物体の形状と、物体の種類とを対応付けたデータベースに基づいて、検出された物体の種類を特定してもよい。
【0077】
距離算出部１３０３は、ショベル１００から、物体検出部１３０４により検出された物体までの距離を算出する。距離の算出手法はどのような手法を用いてもよい。撮像装置近傍にＬＩＤＡＲが設けられている場合には、距離算出部１３０３は、ＬＩＤＡＲが検出した物体までの距離を取得してもよい。さらには、複数の画像情報を用いて物体までの距離を算出してもよい。当該手法については後述する。
【0078】
判定部１３０２は、距離算出部１３０３により算出された物体とショベル１００との間の距離に基づいて、警告を出すか否かを判定する。警告を出す基準としては、任意の基準であってもよく、例えば、ショベル１００を基準に所定の範囲内に物体が存在か否かに基づいて判定してもよいし、ショベル１００の移動する方向に物体が存在するか否かを判定してもよいし、ショベル１００が旋回する場合にアタッチメントが移動する範囲等に物体が存在するか否かに基づいて判定してもよい。
【0079】
そして、表示制御部１３０１は、判定部１３０２により警告を出すと判定された場合に、警告情報を表示装置Ｄ１に表示してもよい。その際に、検出された物体について囲み又は色付け等で、操作者ＯＰが確認を容易にしてもよい。
【0080】
操作信号生成部１３０６は、操作信号を生成するように構成されている。本実施形態では、操作信号生成部１３０６は、操作装置Ｒ２６が受け付けた操作に対応する信号を、操作センサＲ２９から受信し、受信した信号に基づいてショベル１００を操作するための操作信号を生成するように構成されている。
【0081】
通信制御部１３０５は、通信装置Ｔ３を用いて、操作信号生成部１３０６により生成された操作信号を、ショベル１００に送信する制御を行う。
【0082】
＜遠隔操作室の外観＞
次に、遠隔操作室ＲＣについて説明する。図６は、遠隔操作室ＲＣの配置例を示す図である。遠隔操作室ＲＣには、操作席ＤＳを基準に、複数の操作装置Ｒ２６が設けられている。
次に、遠隔操作室ＲＣについて説明する。図６は、遠隔操作室ＲＣの配置例を示す図である。遠隔操作室ＲＣには、操作席ＤＳを基準に、複数の操作装置Ｒ２６が設けられている。
【0083】
本実施形態では、表示装置Ｄ１は、図６に示すように、縦３段、横１列の３つのモニタで構成されるマルチディスプレイである。具体的には、表示装置Ｄ１は、中央モニタＤ１ａ、上モニタＤ１ｂ、下モニタＤ１ｃを含む。
【0084】
そして、表示装置Ｄ１は、表示制御部１３０１によって、受信した画像情報を表示する。操作者ＯＰは、操作装置Ｒ２６を介して、ショベル１００の操作に加えて、表示する画像情報を切り替える（例えば、視点の移動させる）ための操作を行うことができる。
【0085】
＜遠隔操作室の表示画面例＞
次に、表示装置Ｄ１に表示される画面例について説明する。図７は、本実施形態に係る表示装置Ｄ１に表示される画面例を示した図である。図７に示される例では、上モニタＤ１ｂと中央モニタＤ１ａとに表示される画面例を示しており、下モニタＤ１ｃに表示される画面については省略する。
次に、表示装置Ｄ１に表示される画面例について説明する。図７は、本実施形態に係る表示装置Ｄ１に表示される画面例を示した図である。図７に示される例では、上モニタＤ１ｂと中央モニタＤ１ａとに表示される画面例を示しており、下モニタＤ１ｃに表示される画面については省略する。
【0086】
中央モニタＤ１ａには、ショベル１００から受信した画像情報が表示される。当該撮像画像は、撮像装置Ｓ６により撮像されている。具体的には、中央モニタＤ１ａの表示領域７０１には、前カメラＳ６Ｆで撮影された画像情報が表示され、表示領域７０２には、左カメラＳ６Ｌで撮影された画像情報が表示され、表示領域７０３には、後カメラＳ６Ｂで撮影された画像情報が表示され、表示領域７０４には、右カメラＳ６Ｒで撮影された画像情報が表示される。これにより、操作者ＯＰは、ショベル１００からの視点によってショベル１００の周囲の状況を確認できるので安全性の向上を実現できる。
【0087】
上モニタＤ１ｂには、定点計測装置Ｃ１１、Ｃ１２のうちいずれか一つで撮像された画像情報が表示される。つまり、上モニタＤ１ｂには、ショベル１００を含み且つショベル１００の周囲を撮像された画像情報が表示される。当該画像情報は、ショベル１００より高い位置から撮影されている。このため、操作者ＯＰは、当該画像情報を視認した際に、ショベル１００を俯瞰した視点からショベル１００の周囲の状況を容易に把握できる。
【0088】
つまり、本実施形態に係る遠隔操作室ＲＣの操作者ＯＰは、ショベル１００を操作する際に、ショベル１００からの視点に加えて、ショベル１００の上方から俯瞰した視点からの周囲の状況を確認できる。ショベル１００の状況によっては、ショベル１００からの視点よりも、ショベル１００の上方から俯瞰した視点の方が、ショベル１００の状況を把握することが容易な場合がある。
【0089】
例えば、図７の表示領域７０３を参照した場合、操作者は、ショベル１００の後方に障害物７１１が存在することを認識できるが、当該障害物７１１までの距離を把握しにくい場合もある。
【0090】
これに対して、本実施形態においては、上モニタＤ１ｂに、定点計測装置Ｃ１１、Ｃ１２のうちいずれか一つで撮像された、ショベル１００を含めた周囲の状況を俯瞰的に表した画像情報が表示される。操作者ＯＰは、当該画面を参照した場合に、ショベル１００と、障害物７１１と、の間の距離を直観的に把握できる。つまり、ショベル１００の周囲の状況を把握するのが容易になるので、安全性の向上を実現できる。このように、操作者ＯＰは、障害物７１１を含めた周囲の状況を把握し、ショベル１００の周囲の状況の視認性の向上を実現できる。
【0091】
＜定点計測装置の配置＞
次に定点計測装置Ｃ１１、Ｃ１２の配置例について説明する。図８は、定点計測装置Ｃ１１とショベル１００との配置関係を例示した図である。図８に示されるように、定点計測装置Ｃ１１は、ショベル１００と比べて高い位置から、ショベル１００を俯瞰できるように設けられている。定点計測装置Ｃ１１の画角は、ショベル１００を含めた周囲が撮像できればよく、例えば、６０°～１２０℃の間であってもよい。これにより、定点計測装置Ｃ１１は、ショベル１００と共に障害物８０１及びショベルと反対側の状況も撮像できる。
次に定点計測装置Ｃ１１、Ｃ１２の配置例について説明する。図８は、定点計測装置Ｃ１１とショベル１００との配置関係を例示した図である。図８に示されるように、定点計測装置Ｃ１１は、ショベル１００と比べて高い位置から、ショベル１００を俯瞰できるように設けられている。定点計測装置Ｃ１１の画角は、ショベル１００を含めた周囲が撮像できればよく、例えば、６０°～１２０℃の間であってもよい。これにより、定点計測装置Ｃ１１は、ショベル１００と共に障害物８０１及びショベルと反対側の状況も撮像できる。
【0092】
また、定点計測装置Ｃ１１は、回転機構Ｚ１を備え、支柱を基準に水平方向に回転してもよい。例えば、定点計測装置Ｃ１１は、中心近傍にショベル１００が来るように回転機構Ｚ１で回転してもよい。定点計測装置Ｃ１１のコントローラＣ３０は、画像情報から検出されたショベル１００の位置に応じて（ショベル１００を追従するように）回転機構Ｚ１の回転制御を行ってもよいし、ショベル１００から受信した信号に基づいて回転機構Ｚ１の回転制御を行ってもよい。
【0093】
さらに、定点計測装置Ｃ１１の撮像装置Ｓ１６内にズーム機構Ｓ１６Ｚが設けられている。これにより、定点計測装置Ｃ１１のコントローラＣ３０は、撮像範囲を調整できる。例えば、コントローラＣ３０は、遠隔操作室ＲＣから受信した信号に基づいてズーム機構Ｓ１６Ｚの制御を行ってもよい。
【0094】
図８では、定点計測装置Ｃ１１の場合について説明したが、定点計測装置Ｃ１２等も同様の構成を備えているものとして説明を省略する。つまり、作業現場を定点計測装置Ｃ１１、Ｃ１２で撮像可能とすることで、ショベル１００が作業現場のどの位置にいても、操作者ＯＰは、上モニタＤ１ｂを参照することで、ショベル１００の周囲について俯瞰的な視点から状況を確認できる。したがって、ショベル１００を高い位置から客観的な視点で周囲を確認できるので、ショベル１００と周囲の物体との距離を直観的に把握できるので、安全性の向上を実現できる。
【0095】
＜物体の位置の検出＞
本実施形態に係る遠隔コントローラＲ３０は、定点計測装置Ｃ１１、Ｃ１２で撮像された画像情報に基づいて、ショベル１００の周囲に物体が存在するか否かの検出を行う。さらには、ショベル１００と物体との間の距離の算出も行う。そこで、本実施形態に係る距離の算出手法の一例について説明する。
本実施形態に係る遠隔コントローラＲ３０は、定点計測装置Ｃ１１、Ｃ１２で撮像された画像情報に基づいて、ショベル１００の周囲に物体が存在するか否かの検出を行う。さらには、ショベル１００と物体との間の距離の算出も行う。そこで、本実施形態に係る距離の算出手法の一例について説明する。
【0096】
図９は、ショベル１００と障害物８０１との間の距離の算出手法を例示した図である。図９に示される例では、遠隔コントローラＲ３０が、定点計測装置Ｃ１１の撮像装置Ｓ１６が撮像した画像情報と、ショベル１００の後カメラＳ６Ｂが撮像した画像情報と、に基づいて、ショベル１００と障害物８０１との間の距離を算出する。
【0097】
本実施形態に係る遠隔コントローラＲ３０の物体検出部１３０４は、定点計測装置Ｃ１１から受信した画像情報から、障害物８０１を検出すると共に、後カメラＳ６Ｂが撮像した画像情報から、障害物８０１を検出する。また、物体検出部１３０４は、定点計測装置Ｃ１１から受信した画像情報から、ショベル１００を検出している。
【0098】
距離算出部１３０３は、通信制御部１３０５を介して、定点計測装置Ｃ１１から、世界座標系における定点計測装置Ｃ１１の位置及び向きを示した情報を取得している。また、距離算出部１３０３は、通信制御部１３０５を介して、ショベル１００から、世界座標系におけるショベル１００の位置及び向きを示した情報を取得している。また、距離算出部１３０３は、ショベル１００の後カメラＳ６Ｂが取り付けられている位置及び高さを予め認識している。
【0099】
これにより、距離算出部１３０３は、定点計測装置Ｃ１１の撮像装置Ｓ１６と、後カメラＳ６Ｂと、の間の距離ｄ１を認識できる。そして、距離算出部１３０３は、定点計測装置Ｃ１１から受信した画像情報に写っているショベル１００と障害物８０１との位置関係に基づいて、定点計測装置Ｃ１１を基準としてショベル１００が存在する方向と、障害物８０１が存在する方向との角度θ１を把握できる。さらに、距離算出部１３０３は、ショベル１００から受信した後カメラＳ６Ｂの画像情報に写っている障害物８０１の位置、及び、世界座標系におけるショベル１００と定点計測装置Ｃ１１との位置関係から、後カメラＳ６Ｂを基準として定点計測装置Ｃ１１の撮像装置Ｓ１６が存在する方向と、障害物８０１が存在する方向との角度θ２を把握できる。
【0100】
従って、距離算出部１３０３は、三角測量方式によって、ショベル１００と障害物８０１との間の距離ｄ２を算出できる。さらに、距離算出部１３０３は、当該手法によって、障害物８０１の表面の特徴点ごとに距離を算出することで、障害物８０１の形状及び高さ等を認識してもよい。
【0101】
これにより、判定部１３０２は、障害物８０１がショベル１００に近いか否か、ショベル１００が旋回した場合に、アタッチメントが障害物８０１に接触するか否か等を判定することができる。
【0102】
そして、表示制御部１３０１は、判定部１３０２の判定結果による警告情報を、表示装置Ｄ１に表示する。
【0103】
このように、本実施形態に係る遠隔コントローラＲ３０は、定点計測装置Ｃ１１、Ｃ１２の撮像装置Ｓ１６が撮像した画像情報に基づいてショベル１００の周囲に物体が存在するか否かを検出し、検出結果を示した警告情報を出力する。これにより、操作者ＯＰは、ショベル１００を動作させる際に、ショベル１００が障害物等に接触するか否かを認識できるので、安全性の向上を実現できる。
【0104】
なお、本実施形態は、警告情報の出力に制限するものではなく、遠隔コントローラＲ３０は、検出した物体にショベル１００が接触しないように検出結果に基づいた操作信号をショベル１００に送信してもよい。当該操作信号としては、例えば、緊急停止信号等とする。これにより、ショベル１００が物体に接触するのを抑制して、安全性の向上を実現できる。
【0105】
さらには、遠隔コントローラＲ３０は、判定部１３０２による判定結果に応じて、通信制御部１３０５が操作信号の送信を許可するか否かを制御してもよい。例えば、ショベル１００が移動するための操作が行われた場合に、判定部１３０２により移動方向に物体が存在しないと判定された場合に、通信制御部１３０５が操作信号の送信を許可してもよい。このように、本実施形態では、定点計測装置Ｃ１１、Ｃ１２の画像情報に基づいて、ショベル１００に対す遠隔操作が安全であることを確認された場合に、当該遠隔操作を示す操作信号の送信を可能としてもよい。
【0106】
このように、本実施形態では、ショベル１００に設けられた撮像装置Ｓ６と、定点計測装置Ｃ１１、Ｃ１２との検出結果を用いることで、複数視点でショベル１００の周囲の状況を確認できるので、例えば一方の視点では死角に存在する物体でも他方の視点で当該物体の検出等を行うことができるので、安全性の向上を実現できる。
【0107】
＜拡大表示＞
次に、表示装置Ｄ１に表示される画面に対する操作について説明する。図１０は、本実施形態に係る表示装置Ｄ１に表示される画面の操作に応じた切り替え例を示した図である。図１０（ａ）に示される例では、上モニタＤ１ｂに表示される初期画面の例を示している。
次に、表示装置Ｄ１に表示される画面に対する操作について説明する。図１０は、本実施形態に係る表示装置Ｄ１に表示される画面の操作に応じた切り替え例を示した図である。図１０（ａ）に示される例では、上モニタＤ１ｂに表示される初期画面の例を示している。
【0108】
そして、遠隔操作室ＲＣでは、操作者ＯＰは、上モニタＤ１ｂに表示される画面に対して、拡大操作又は縮小操作を行うことができる。そして、遠隔コントローラＲ３０の通信制御部１３０５は、通信装置Ｔ２を用いて、遠隔操作室ＲＣに設けられた（図示しない）入力装置から受け付けた操作に従って、定点計測装置Ｃ１１、Ｃ１２に対して拡大又は縮小操作信号を送信する。
【0109】
定点計測装置Ｃ１１、Ｃ１２のコントローラＣ３０の制御部２３０２は、受信した拡大又は縮小操作信号に基づいて、撮像装置Ｓ１６のズーム機構Ｓ１６Ｚを制御する。このように、定点計測装置Ｃ１１、Ｃ１２は、ズーム機構Ｓ１６Ｚを備えることで、撮像領域を変更可能に構成されている。
【0110】
その後、コントローラＣ３０の通信制御部２３０１は、ズーム機構Ｓ１６Ｚの制御が行われた後に撮像装置Ｓ１６が撮像した画像情報を、通信装置Ｔ３を用いて遠隔コントローラＲ３０に送信する。
【0111】
図１０（ｂ）は、拡大操作を行った後に、定点計測装置Ｃ１１から送信された画像情報に基づいて、上モニタＤ１ｂに表示される画面の例を示している。
【0112】
また、図１０（ｂ）で示される拡大操作を行う際に、定点計測装置Ｃ１１の撮像方向を調整する操作を行ってもよい。これにより、コントローラＣ３０は、当該操作を示す操作信号を受信した際に、回転機構Ｚ１による撮像装置Ｓ１６の回転動作、又は、撮像装置Ｓ１６の首振り動作（上下方向に撮像装置Ｓ１６の傾き調整動作）を制御する。
【0113】
これにより、操作者ＯＰの興味のある領域について拡大表示を行うことができる。図１０（ｂ）は、操作者ＯＰの拡大操作によって、ショベル１００の近傍に存在する障害物７１１の周辺が表された画面である。つまり、操作者ＯＰは、操作装置に対する操作によって、表示装置Ｄ１に表示される領域の拡大又は変更を行うことができるので、ショベル１００の周囲の状況の把握が容易になる。したがって、安全性の向上を実現できる。
【0114】
さらに、他の検知装置と組み合わせてもよい。例えば作業現場の出入口に検知装置を備えることが考えられる。そして、定点計測装置Ｃ１１、Ｃ１２のコントローラＣ３０の制御部２３０２は、当該検知装置で人又はトラック等を検知する旨を示した信号を受信した場合に、出入り口が写っている領域が拡大されるように制御する。そして、定点計測装置Ｃ１１、Ｃ１２のコントローラＣ３０の制御部２３０２は、出入り口が写っている領域が拡大された画像情報を、遠隔コントローラＲ３０に送信する。これにより、遠隔コントローラＲ３０の操作者ＯＰは、出入り口などの周囲の状況を考慮して、作業を行うことができるので、作業効率の向上を実現できる。
【0115】
本実施形態においては、ショベル１００と別に設けられた定点計測装置Ｃ１１により撮像された画像情報を、表示装置Ｄ１に表示する。したがって、表示装置Ｄ１は、ショベル１００の撮像装置Ｓ６では撮像できない領域を表示できる。したがって、安全性の向上を実現できる。
【0116】
なお、本実施形態は、画像情報の拡大縮小を、ズーム機構Ｓ１６Ｚ等を用いた手法に制限するものではない。例えば、コントローラＣ３０が、撮像装置Ｓ１６により撮像された画像情報の一部の領域を切り取り、拡大する、いわゆるデジタルズーム等を用いてもよい。
【0117】
＜処理手順＞
次に、遠隔操作室ＲＣの表示装置Ｄ１に情報を表示するまでの処理について説明する。図１１は、本実施形態に係るショベルの遠隔操作システムにおける表示装置Ｄ１に情報を表示するための処理を示したシーケンス図である。
次に、遠隔操作室ＲＣの表示装置Ｄ１に情報を表示するまでの処理について説明する。図１１は、本実施形態に係るショベルの遠隔操作システムにおける表示装置Ｄ１に情報を表示するための処理を示したシーケンス図である。
【0118】
まず、ショベル１００の撮像装置Ｓ６は、ショベル１００の周囲を撮像し、画像情報を生成する（Ｓ１１０１）。
【0119】
そして、ショベル１００の通信制御部３０１は、撮像装置Ｓ６により撮像された画像情報を、遠隔操作室ＲＣに送信する（Ｓ１１０２）。
【0120】
一方、定点計測装置Ｃ１１、Ｃ１２の撮像装置Ｓ１６は、ショベル１００の周囲を撮像し、画像情報を生成する（Ｓ１１１１）。
【0121】
そして、定点計測装置Ｃ１１、Ｃ１２の通信制御部２３０１は、撮像装置Ｓ１６により撮像された画像情報を、遠隔操作室ＲＣに送信する（Ｓ１１１２）。
【0122】
遠隔操作室ＲＣの遠隔コントローラＲ３０の表示制御部１３０１は、受信した（ショベル１００、及び、定点計測装置Ｃ１１若しくは定点計測装置Ｃ１２）画像情報を、表示装置Ｄ１に表示する（Ｓ１１２１）。
【0123】
遠隔操作室ＲＣの遠隔コントローラＲ３０の物体検出部１３０４は、ショベル１００及び定点計測装置Ｃ１１、Ｃ１２から受信した画像情報に基づいて、ショベル１００の周囲に存在する物体の検出する（Ｓ１１２２）。
【0124】
遠隔操作室ＲＣの遠隔コントローラＲ３０の距離算出部１３０３は、ショベル１００及び定点計測装置Ｃ１１、Ｃ１２から受信した画像情報に基づいて、検出した物体とショベル１００との間の距離を算出する（Ｓ１１２３）。
【0125】
そして、判定部１３０２は、検出した物体とショベル１００との間の距離に基づいて、警告情報を出す必要があるか否かを判定する。警告情報を出す基準としては、物体とショベル１００との間が所定の基準距離より短い場合、又は、ショベル１００の旋回が開始した場合にショベルのアタッチメントが物体に接触する可能性ある場合等とする。
【0126】
遠隔コントローラＲ３０の表示制御部１３０１は、判定部１３０２によって警告情報を出す必要があると判定された場合に、操作者ＯＰに注意を促すための警告情報を、表示装置Ｄ１に表示する（Ｓ１１２４）。
【0127】
本実施形態においては、上述した処理を行うことで、表示装置Ｄ１に、ショベル１００の周囲の状況と、警告情報と、が表示される。これにより、操作者ＯＰは、周囲の状況を把握することが容易になり、安全性の向上を実現できる。
【0128】
本実施形態においては、ショベル１００の位置に応じて、定点計測装置Ｃ１１、Ｃ１２のうちいずれか一方の画像情報が、表示装置Ｄ１に表示される。表示装置Ｄ１に表示される画像情報の切り替えについて説明する。
【0129】
図１２は、本実施形態に係る表示装置Ｄ１に表示される画像情報が切り替わる際のショベル１００の移動を説明する図である。図１２に示される例では、定点計測装置Ｃ１１の撮像範囲１２１１と、定点計測装置Ｃ１２の撮像範囲１２１２と、が示されている。
【0130】
本実施形態においては、遠隔コントローラＲ３０が、世界座標系における、定点計測装置Ｃ１１の撮像範囲１２１１と、定点計測装置Ｃ１２の撮像範囲１２１２と、を記憶している。
【0131】
これにより、ショベル１００が撮像範囲１２１１に存在する場合には、表示装置Ｄ１には、定点計測装置Ｃ１１が撮像した画像情報が表示される。
【0132】
ショベル１００が矢印方向１２０１に移動する際に、遠隔コントローラＲ３０は、ショベル１００から送信される情報（ショベル１００の位置及び向き）から、撮像範囲１２１１から撮像範囲１２１２に移ることを認識できる。
【0133】
そして、表示制御部１３０１は、ショベル１００が撮像範囲１２１１から撮像範囲１２１２に移るタイミングで、表示装置Ｄ１に表示される画像情報を、定点計測装置Ｃ１１から受信した画像情報から、定点計測装置Ｃ１１から受信した画像情報に、切り替える。
【0134】
これにより、ショベル１００の位置にかかわらず、表示装置Ｄ１には、定点計測装置Ｃ１１、Ｃ１２で撮像された、ショベル１００の周囲の状況を俯瞰的に表した画像情報が表示される。これにより、操作者ＯＰは、ショベル１００の周囲の状況の確認が容易になる。
【0135】
上述した実施形態では、定点計測装置Ｃ１１、Ｃ１２が画像情報を遠隔操作室ＲＣに送信する例について説明した。しかしながら、本実施形態は、定点計測装置Ｃ１１、Ｃ１２により撮像された画像情報の送信先を、遠隔操作室ＲＣに制限するものではない。例えば、定点計測装置Ｃ１１、Ｃ１２により撮像された画像情報の送信先を、ショベル１００にしてもよい。さらには、作業現場の管理を、管理センターの管理装置で行う場合、定点計測装置Ｃ１１、Ｃ１２は、画像情報を管理装置に送信してもよい。これにより、管理センターは、作業現場におけるショベルの周囲の状況を把握できる。
【0136】
また、本実施形態では、定点計測装置Ｃ１１、Ｃ１２が撮像した画像情報のうちいずれか一方を表示する例について説明した。しかしながら、本実施形態は、定点計測装置Ｃ１１、Ｃ１２が撮像した画像情報のうちいずれか一方を表示する手法に制限するものではない。例えば、遠隔コントローラＲ３０は、定点計測装置Ｃ１１、Ｃ１２が撮像した画像情報を合成し、合成した画像情報を表示装置Ｄ１に表示してもよい。
【0137】
また、ショベル１００と定点計測装置Ｃ１１、Ｃ１２とを含んだ周囲の位置関係を表示装置Ｄ１に表示してもよい。図１３は、上モニタＤ１ｂに表示される画面の例を示した図である。図１３に示される画面では、上モニタＤ１ｂに定点計測装置Ｃ１１により撮像された画像情報と共に、ショベル１００と定点計測装置Ｃ１１、Ｃ１２とを含んだ周囲の位置関係を表示領域１３１１が表される。
【0138】
表示領域１３１１には、ショベル１００と定点計測装置Ｃ１１、Ｃ１２と、が上方から見た際のイメージとして表される。アイコン１００Ｉは、ショベル１００を示し、アイコン７１１Ｉは、障害物７１１のアイコンを示し、アイコンＣ１１Ｉは、定点計測装置Ｃ１１を示し、アイコンＣ１２Ｉは、定点計測装置Ｃ１２を示している。また、表示領域１３１１においては、定点計測装置Ｃ１１、Ｃ１２の各々の撮像範囲１２１１、１２１２を表してもよい。例えば、アイコンＣ１１Ｉから伸びる点線１２１１Ｉは、撮像範囲１２１１を示し、アイコンＣ１２Ｉから伸びる点線１２１２Ｉは、撮像範囲１２１２を示している。
【0139】
表示領域１３１１の上方向は、前カメラＳ６Ｆの撮像方向とする。つまり、前カメラＳ６Ｆの撮像方向（ショベル１００の上部旋回体３の前方向）が、表示領域１３１１の上方向になるように表される。これにより、ショベル１００の上部旋回体３が旋回した場合に、表示制御部１３０１は、当該旋回に併せて表示領域１３１１を回転させる表示を行う。
【0140】
また、表示制御部１３０１は、操作者ＯＰから受け付けた拡大操作又は縮小操作に応じて、表示領域１３１１の拡大表示又は縮小表示を行ってもよい。さらには、表示制御部１３０１は、操作者ＯＰから受け付けた範囲の設定に応じて、表示領域１３１１として表示される範囲（換言すれば、表示されるショベル１００の周囲の広さ）を設定してもよい。
【0141】
（変形例１）
上述した実施形態においては、遠隔操作室ＲＣからショベル１００を操作する場合について説明した。しかしながら、上述した実施形態は、遠隔操作室ＲＣからショベル１００を操作する手法に制限するものではない。
上述した実施形態においては、遠隔操作室ＲＣからショベル１００を操作する場合について説明した。しかしながら、上述した実施形態は、遠隔操作室ＲＣからショベル１００を操作する手法に制限するものではない。
【0142】
例えば、定点計測装置Ｃ１１、Ｃ１２が、画像情報をショベル１００に送信し、ショベル１００のキャビン１０の表示装置に、受信した画像情報を表示してもよい。また、ショベル１００のコントローラ３０が、定点計測装置Ｃ１１、Ｃ１２から受信した画像情報に基づいて障害物の検出結果を示した警告情報を表示してもよい。ショベル１００で操作する場合に、ショベル１００の周囲の状況を俯瞰的に認識できるので、安全性の向上を実現できる。
【0143】
（第２の実施形態）
上述した実施形態は、作業機械がショベルの場合について説明した。しかしながら、本実施形態においては、作業機械の一例として、クレーンを用いてもよい。そこで、本実施形態においては、作業機械としてクローラクレーンを用いた場合について説明する。
上述した実施形態は、作業機械がショベルの場合について説明した。しかしながら、本実施形態においては、作業機械の一例として、クレーンを用いてもよい。そこで、本実施形態においては、作業機械としてクローラクレーンを用いた場合について説明する。
【0144】
図１４は、本実施形態に係る処理システムに含まれる、クローラクレーンと、定点計測装置との一例を示す側面図である。
【0145】
クローラクレーン１００Ｂは、下部走行体１Ｂと、旋回機構２Ｂを介して旋回自在に下部走行体１に搭載される上部旋回体３Ｂと、アタッチメントＡＴと、マスト５Ｂと、バックストップ６Ｂと、フックＨＫと、カウンタウェイト９Ｂと、キャビン１０Ｂとを備える。
【0146】
下部走行体１Ｂは、例えば、左右一対の（図示しない）クローラを含む。下部走行体１Ｂは、それぞれのクローラが左側の（図示しない）走行油圧モータ及び右側の（図示しない）走行油圧モータで油圧駆動されることにより、クローラクレーン１００Ｂを走行させる。
【0147】
上部旋回体３Ｂは、旋回機構２Ｂが油圧駆動されることにより、下部走行体１Ｂに対して旋回する。
【0148】
アタッチメントＡＴ（作業装置の一例）は、ブーム４Ｂと、主巻ロープ７Ｂとを含む。
【0149】
ブーム４Ｂは、上部旋回体３Ｂの前部中央に起伏可能に取り付けられる。ブーム４Ｂの先端部から主巻ロープ７Ｂが垂下され、主巻ロープ７Ｂの先端には、フックＨＫが取り付けられる。即ち、ブーム４Ｂの先端には、主巻ロープ７Ｂを介してフックＨＫが取り付けられる。
【0150】
主巻ロープ７Ｂは、その基端が、ブーム４Ｂの基端と先端との間の後面部分に取り付けられる主巻ウインチ７Ｂａに取り付けられ、その先端がフックＨＫに取り付けられる。主巻ロープ７Ｂは、（図示しない）主巻油圧モータで油圧駆動される主巻ウインチ７Ｂａにより巻き取り及び巻き出しが行われることにより、フックＨＫを上下させることができる。
【0151】
マスト５Ｂは、上部旋回体３Ｂのブーム４Ｂの基端部よりも若干後方において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。マスト５Ｂの先端部は、ペンダントロープ５Ｂａを介してブーム４Ｂの先端部と接続され、油圧駆動されるブーム起伏ウインチ５Ｂｃによるブーム起伏ロープ５Ｂｂの巻き取り及び巻き出しにより、マスト５Ｂを介してブーム４Ｂが起伏する。
【0152】
バックストップ６Ｂは、その基端がブーム４Ｂの基端よりも後方の上部旋回体３Ｂの部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられ、その先端がブーム４Ｂの基端と先端との間の後面部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。バックストップ６Ｂは、ブーム４Ｂの起伏動作に応じて伸縮し、例えば、ブーム４Ｂが略直立状態の場合にブーム４Ｂを後方から支える機能を有する。
【0153】
フックＨＫは、主巻ロープ７Ｂの先端に取り付けられ、吊り荷を吊り下げるために用いられる。
【0154】
カウンタウェイト９Ｂは、上部旋回体３Ｂの後端部に設けられ、ブーム４Ｂ及び吊り荷ＳＬの重量との重量バランスを取る機能を有する。
【0155】
キャビン１０Ｂは、例えば、上部旋回体３Ｂの右前端部に取り付けられる。キャビン１０Ｂの内部には、操縦席や各種アクチュエータを操作する操作装置が設けられる。
【0156】
撮像装置Ｓ２６は、カウンタウェイト９Ｂの上面部に設けられ、クローラクレーン１００Ｂの周囲の監視を行う。この場合、クローラクレーン１００Ｂは、例えば、後述の撮像装置Ｓ２６の出力に基づくクローラクレーン１００Ｂの周辺の画像情報を外部装置に送信し、画像情報は、外部装置（例えば遠隔操作室、又は管理装置）に設けられる表示装置に表示されてよい。
【0157】
なお、本実施形態は、クローラクレーン１００Ｂに配置される撮像装置Ｓ２６の位置を図１４に示される例に制限するものではない。撮像装置Ｓ２６Ｌ、Ｓ２６Ｒは、カウンタウェイト９Ｂの上以外に設けてもよく、例えば、上部旋回体３Ｂの上に設けられてもよい。撮像装置Ｓ２６Ｂも、カウンタウェイト９Ｂの上以外に設けてもよく、例えば、カウンタウェイト９Ｂの最下部に設けてもよい。これによりカウンタウェイト９Ｂの個数の変化に応じた撮像装置Ｓ２６の設置負担を軽減できる。
【0158】
撮像装置Ｓ２６は、カウンタウェイト９Ｂの上面部に設けられ、クローラクレーン１００Ｂに相対的に近い領域から相対的に遠い領域に亘るクローラクレーン１００Ｂの周囲を撮像し、画像情報を取得する。撮像装置Ｓ２６は、後カメラＳ２６Ｂ，左カメラＳ２６Ｌ，右カメラＳ２６Ｒ、前カメラＳ２６Ｆを含む。クローラクレーン１００Ｂに搭載される撮像装置Ｓ２６は、上述したショベル１００に搭載される撮像装置Ｓ６と同様として説明を省略する。
【0159】
後カメラＳ２６Ｂ、左カメラＳ２６Ｌ、及び右カメラＳ２６Ｒは、それぞれ、カウンタウェイト９Ｂの後端上部、左端上部、及び、右端上部に取り付けられ、クローラクレーン１００Ｂの後方、左側方、及び、右側方を撮像する。
【0160】
また、クローラクレーン１００Ｂには、前方に存在する物体を検出するために、前カメラＳ２６Ｆを設けられている。前カメラＳ２６Ｆを取り付ける位置は任意の位置でよく、例えば、カウンタウェイト９Ｂの上面でもよいし、クローラクレーン１００Ｂの上部旋回体３Ｂの前側近傍でもよい。前カメラＳ２６Ｆは、クローラクレーン１００Ｂの前方を撮像する。
【0161】
また、後カメラＳ２６Ｂは、カウンタウェイト９Ｂの後方の検出範囲、例えば、左後方から右後方に亘る水平方向（即ち、クローラクレーン１００Ｂから見た周方向）の検出範囲を撮像する。また、左カメラＳ２６Ｌは、例えば、カウンタウェイト９Ｂの左側方の検出範囲、例えば、カウンタウェイト９Ｂの左前方から左後方に亘る水平方向（クローラクレーン１００Ｂから見た周方向）の検出範囲を撮像する。また、右カメラＳ２６Ｒは、例えば、カウンタウェイト９Ｂの右側方の検出範囲、例えば、カウンタウェイト９Ｂの右前方から右後方に亘る水平方向（クローラクレーン１００Ｂから見た周方向）の検出範囲を撮像する。前カメラＳ２６Ｆは、クローラクレーン１００Ｂの上部旋回体３Ｂの前方の検出範囲、例えば、左前方から右前方に亘る水平方向（即ち、クローラクレーン１００Ｂから見た周方向）の検出範囲を撮像する。また、撮像装置Ｓ２６は、上部旋回体３Ｂの上部において、光軸が斜め下方に向くように取り付けられ、クローラクレーン１００Ｂの近傍の地面からクローラクレーン１００Ｂの遠方までを含む上下方向の検出範囲を撮像する。
【0162】
撮像装置Ｓ２６は、例えば、クローラクレーン１００Ｂの起動（即ち、キースイッチＯＮ）から停止（即ち、キースイッチＯＦＦ）までの間で、所定周期（例えば、１／３０秒）ごとに画像情報を生成する。撮像装置Ｓ２６により生成された画像情報は、コントローラ３０に取り込まれる。また、撮像装置Ｓ２６から出力される３次元画像情報は、コントローラ３０から通信装置Ｔ１を通じて、外部の装置（例えば遠隔操作室ＲＣ）に送信される。
【0163】
図１４に示されるように、本実施形態においては、クローラクレーン１００Ｂが吊り荷を吊り上げる作業領域の周辺を撮像するために、定点計測装置Ｃ２１が配置されている。
【0164】
図１４に示されるように、定点計測装置Ｃ２１は、クローラクレーン１００Ｂが吊り荷を吊り上げた状態と比べて高い位置から撮影を行っている。定点計測装置Ｃ２１の画角は、クローラクレーン１００Ｂを含めた周囲が撮像できればよく、例えば、６０°～１２０℃の間であってもよい。
【0165】
また、定点計測装置Ｃ２１は、回転機構Ｚ２１を備え、支柱を基準に水平方向に回転してもよい。例えば、定点計測装置Ｃ２１は、フックＨＫ又はフックＨＫに吊り上げられた吊り荷を中心に撮影できるように回転機構Ｚ１で回転してもよい。定点計測装置Ｃ２１の（図示しない）コントローラは、画像情報から検出されたフックＨＫ又は吊り荷の位置に応じて（吊り荷を追従するように）回転機構Ｚ２１の回転制御を行ってもよいし、受信した信号に基づいて回転機構Ｚ２１の回転制御を行ってもよい。
【0166】
さらに、定点計測装置Ｃ２１の撮像装置内にズーム機構が設けられ、撮像範囲を調整可能にしてもよい。
【0167】
クローラクレーン１００Ｂの操作は、キャビン１０Ｂ内の操作室で行ってもよいし、上述した実施形態と同様に遠隔操作室ＲＣで行ってもよい。
【0168】
そして、本実施形態においては、キャビン１０Ｂ内の操作室又は遠隔操作室ＲＣの表示装置に、撮像装置Ｓ２６に撮像された画像情報と共に、定点計測装置Ｃ２１に撮像された画像情報が表示される。
【0169】
表示装置には、定点計測装置Ｃ２１に撮像された画像情報には、クローラクレーン１００Ｂの一部（例えば、フックＨＫ）と共に、クローラクレーン１００Ｂの周辺の状況が写っている。このため、定点計測装置Ｃ２１に撮像された画像情報が表示された際に、操作者は、クローラクレーン１００Ｂを周辺の状況を認識できる。
【0170】
本実施形態では、作業機械の一例として、クレーンの一態様であるクローラクレーン１００Ｂを含む処理システムについて説明した。しかしながら、本実施形態では、処理システムに含まれるクレーンを、クローラクレーンに制限するものではない。例えば、ジブクレーン、及び引込クレーンのうちいずれか一つ以上に適用してもよい。つまり、港湾埠頭、造船所などにジブクレーン、又は、引込クレーンのうちいずれか一つ以上が設けられた際に、ジブクレーン、又は、引込クレーンを含む周囲の状況を確認できるように、定点計測装置を別途設けてもよい。そして、ジブクレーン、又は、引込クレーンを操作する際に、定点計測装置で撮像された画像情報を参照してもよいし、定点計測装置で撮像された画像情報に基づいた警告に注意して操作を行ってもよい。
【0171】
さらには、橋形クレーン、及び門形クレーンのうちいずれか一つ以上に適用してもよい。そして、橋形クレーン又は門形クレーンが設けられた際に、橋形クレーン又は門形クレーンを含む周囲の状況を確認できるように、定点計測装置を別途設けてもよい。また、橋形クレーン又は門形クレーンが走行レール上を移動した場合でも、定点計測装置が、橋形クレーン又は門形クレーンを含む領域を撮像できるように、回転機構又はズーム機構を備えていてもよい。そして、橋形クレーン又は門形クレーンを操作する際に、定点計測装置で撮像された画像情報を参照してもよいし、定点計測装置で撮像された画像情報に基づいた警告に注意して操作を行ってもよい。
【0172】
さらには、天井クレーンに適用してもよい。天井クレーンが屋内に設けられた場合に、定点計測装置が当該屋内に設けられてもよい。そして、天井クレーンが移動した場合でも、定点計測装置が、天井クレーンを含む領域を撮像できるように、回転機構又はズーム機構を備えていてもよい。そして、天井クレーンを操作する際に、定点計測装置で撮像された画像情報を参照してもよいし、定点計測装置で撮像された画像情報に基づいた警告に注意して操作を行ってもよい。
【0173】
このように、定点計測装置による撮像範囲には、作業機械の一部が少なくとも含まれていればよい。本実施形態では、上述した構成を備えることで、作業機械がクレーンの場合でも、第１の実施形態と同様の効果を得られる。
【0174】
（第３の実施形態）
上述した実施形態は、作業機械がショベル又はクレーンの場合について説明した。しかしながら、上述した実施形態は、作業機械を、ショベル又はクレーンなどの作業機械に制限するものではない。そこで、本実施形態においては、作業機械の一例として、アンローダを用いた場合について説明する。
上述した実施形態は、作業機械がショベル又はクレーンの場合について説明した。しかしながら、上述した実施形態は、作業機械を、ショベル又はクレーンなどの作業機械に制限するものではない。そこで、本実施形態においては、作業機械の一例として、アンローダを用いた場合について説明する。
【0175】
＜連続アンローダの構成＞
図１５は、本実施形態に係る処理システムに含まれる、連続アンローダと、定点計測装置との一例を示す側面図である。
図１５は、本実施形態に係る処理システムに含まれる、連続アンローダと、定点計測装置との一例を示す側面図である。
【0176】
図１５に示すように、連続アンローダ１００Ｃ（作業機械の一例）は、いわゆるバケットエレベータ式であり、岸壁ＱＹに設けられ、岸壁ＱＹに接岸された船舶ＳＰの船倉ＨＤ内のバラ荷Ｍを、連続的に陸上に搬出（荷揚げ）する。バラ荷は、例えば、石炭、コークス、鉄鉱石等である。
【0177】
岸壁ＱＹは、例えば、鉄筋コンクリートにより構築され、その岸壁ＱＹには、その延びる方向、即ち、接岸される船舶ＳＰの長手方向に対して、平行に２本のレール５３が設置される。連続アンローダ１００Ｃは、２本のレール５３上を移動可能に構成され、所定の位置で停止した状態で、船舶ＳＰからの荷揚げが行われる。
【0178】
連続アンローダ１００Ｃは、走行部５１と、旋回フレーム５５と、ブーム５７と、バケットエレベータ５９と、運転室６６を備える。
【0179】
走行部５１は、岸壁ＱＹの２本のレール５３上を移動可能に構成される。
【0180】
旋回フレーム５５は、走行部５１の上に旋回可能に搭載される。
【0181】
ブーム５７は、旋回フレーム５５から岸壁ＱＹから船舶ＳＰが接岸する海上の部分まで前方に延び出すように設けられ、旋回フレーム５５に対して起伏可能に構成される。具体的には、ブーム５７は、旋回フレーム５５との間に取り付けられるシリンダ６５の伸縮に応じて、上下に起伏することができる。
【0182】
バケットエレベータ５９は、ブーム５７の先端において、下方向に、即ち、船舶ＳＰ（船倉ＨＤ）に向かって延び出すように設けられる。バケットエレベータ５９は、その先端部に掻き取り部６１を有し、掻き取り部６１により掻き取られるバラ荷を（図示しない）バケットにより上方に搬送し、陸上に荷揚げする。
【0183】
掻き取り部６１は、エレベータ本体６４を基準にして、その前後方向への傾斜角度を変化させることができる。例えば、船倉ＨＤの開口部ＯＰＥ直下のバラ荷を掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して略前後方向の傾斜がない状態で利用される。一方、船倉ＨＤの開口部ＯＰＥよりも内壁側に存在するバラ荷を掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して前方に傾斜させた状態の状態で利用される。
【0184】
旋回フレーム５５とバケットエレベータ５９との間には、平行リンク５８が設けられ、平行リンク５８の作用により、バケットエレベータ５９は、ブーム５７の起伏角度に依らず、鉛直状態を保持可能なように構成される。また、バケットエレベータ５９は、ブーム５７の上下への起伏に応じて、上下方向に移動することができる。また、旋回フレーム５５には、ブーム５７と反対側の後方に延びるリンクを介してカウンタウェイト６３が支持されると共に、カウンタウェイト６３とブーム５７との間を接続するようにバランシングレバー６２が設けられる。これにより、バケットエレベータ５９とカウンタウェイト６３との間で荷重バランスを取ることができる。
【0185】
運転室６６は、旋回フレーム５５の前部（即ち、ブーム５７が延び出す方向の箇所）に設けられ、オペレータが搭乗し、連続アンローダ１００Ｃの操作を行うために用いられる。
【0186】
運転室６６には、例えば、制御装置１１０が搭載される。また、運転室６６には、表示装置１４０と、入力装置１５０が設けられる。制御装置１１０には、定点計測装置Ｃ３１から画像情報を受信してもよい。そして、制御装置１１０は、受信した画像情報を用いて、上述した実施形態で示した遠隔コントローラＲ３０と同様の処理を行ってもよい。
【0187】
連続アンローダ１００Ｃによるバラ荷の荷揚げ作業が行われる場合、運転室６６にオペレータが配置されるのに加えて、船倉ＨＤの内部にバラ荷の状況をオペレータに連絡する作業員が配置される。そして、運転室６６のオペレータと、船倉ＨＤの作業員との協働により連続アンローダ１００Ｃによるバラ荷の荷揚げ作業が行われる。
【0188】
運転室６６のオペレータは、表示装置１４０に表示される、船倉ＨＤの開口部ＯＰＥやその内部の状況を表す画像情報、及び作業員からの船倉ＨＤの内部の状況の連絡内容を確認しながら、連続アンローダ１００Ｃを操作することができる。
【0189】
バケットエレベータ５９は、上下方向の延びるように設けられるエレベータ本体６４と、バケットエレベータ５９の上部５９ａと下部（掻き取り部６１）との間で周回動作を行う（図示しない）チェーンバケットとを含む。チェーンバケットは、一対のローラーチェーンと、一対のローラーチェーンに吊り下げるように支持される複数のバケットとを含む。ローラーチェーンは、エレベータ本体６４に対して、矢印Ｗの方向に周回運動する。これにより、チェーンバケットは、バケットエレベータ５９の上部５９ａと掻き取り部６１との間を周回移動しながら循環する。
【0190】
バケットは、掻き取り部６１において、開口部からその内部にバラ荷を掻き取る。バラ荷を掻き取り収容したバケットは、ローラーチェーンの上昇に合わせて、その開口部を上に向けた姿勢で上昇する。バケットエレベータ５９の上部５９ａに到着したバケットの内部のバラ荷は、排出用シュートからバケットエレベータ５９の外周部に設けられる回転フィーダ８７に送られる。
【0191】
回転フィーダ８７は、排出用シュートを通じてバケットから送られるバラ荷をブーム５７に設けられるブームコンベヤ８９に搬送する。
【0192】
ブームコンベヤ８９は、ブーム５７の内部に配置される。バケットエレベータ５９の回転フィーダ８７のバラ荷は、ブームコンベヤ８９に乗り換えて、旋回フレーム５５に向かって搬送される。旋回フレーム５５側において、ブームコンベヤ８９の端部には、ホッパが設けられ、ブームコンベヤ８９により搬送されるバラ荷は、ホッパを通じて、ベルトコンベヤ９３に供給される。
【0193】
ベルトコンベヤ９３は、走行部５１に設けられる。ベルトコンベヤ９３は、バラ荷を地上ベルトコンベヤ９５に搬送する。これにより、バラ荷は、地上ベルトコンベヤ９５を通じて、地上設備９９に搬出される。
【0194】
また、連続アンローダ１００Ｃには、撮像装置Ｓ３６Ａ、Ｓ３６Ｂ、Ｓ３６Ｃ、Ｓ３６Ｄが設けられている。撮像装置Ｓ３６Ａ、Ｓ３６Ｂ、Ｓ３６Ｃ、Ｓ３６Ｄの撮像方向は下方向である。これにより、船倉ＨＤの開口部ＯＰＥ直下のバラ荷の状況を確認できる。しかしながら、連続アンローダ１００Ｃは大きいため、バラ荷以外の周辺の状況を確認できるほうが好ましい。撮像装置Ｓ３６Ａ、Ｓ３６Ｂ、Ｓ３６Ｃ、Ｓ３６Ｄで撮像された画像情報は、制御装置１１０に送信してもよい。これにより、制御装置１１０が、表示装置１２０に受信した画像情報を表示してもよい。
【0195】
本実施形態に係る処理システムでは、連続アンローダ１００Ｃの他に、定点計測装置Ｃ３１が設けられている。
【0196】
図１５に示されるように、本実施形態においては、連続アンローダ１００Ｃの周辺を撮像するために、定点計測装置Ｃ３１が配置されている。
【0197】
図１５に示されるように、定点計測装置Ｃ３１は、船倉ＨＤの開口部ＯＰＥと比べて高い位置から撮影を行っている。定点計測装置Ｃ３１の画角は、連続アンローダ１００Ｃによって搬送されるバラ荷を含めた周囲が撮像できればよく、例えば、６０°～１２０℃の間であってもよい。
【0198】
定点計測装置Ｃ３１の撮像装置内にズーム機構が設けられ、撮像範囲を調整可能にしてもよい。これにより、定点計測装置Ｃ３１は、船倉ＨＤの内部の状況を撮像してもよい。
【0199】
連続アンローダ１００Ｃの操作は、運転室６６で行ってもよいし、上述した実施形態で示した遠隔操作室ＲＣで行ってもよい。
【0200】
そして、本実施形態においては、運転室６６の表示装置１４０又は遠隔操作室ＲＣの表示装置Ｄ１に、撮像装置Ｓ３６Ａ、Ｓ３６Ｂ、Ｓ３６Ｃ、Ｓ３６Ｄで撮像された画像情報、及び、定点計測装置Ｃ３１に撮像された画像情報が表示される。
【0201】
定点計測装置Ｃ３１に撮像された画像情報には、船倉ＨＤの開口部ＯＰＥ内部の状況、バラ荷の運搬状況、又は、連続アンローダ１００Ｃの周囲の状況が写っている。このため、定点計測装置Ｃ３１に撮像された画像情報が表示された際に、操作者は、連続アンローダ１００Ｃに関する様々な状況を認識できる。
【0202】
つまり、本実施形態においては、オペレータが、連続アンローダ１００Ｃを操作する際に、撮像装置Ｓ３６Ａ、Ｓ３６Ｂ、Ｓ３６Ｃ、Ｓ３６Ｄにより撮像された画像情報と、定点計測装置Ｃ３１により撮像された画像情報と、を参照することで、連続アンローダ１００Ｃの作業状況と、連続アンローダ１００Ｃの周囲の状況と、を確認できる。これにより、安全性の向上を実現できる。
【0203】
本実施形態では、作業機械が、連続アンローダ１００Ｃの場合について説明した。つまり、本実施形態で示される連続アンローダのような大規模な搬送に用いる構成を作業機械としてもよい。他の作業機械の例としては、スタッカ、又はリクレーマに適用してもよいし、ベルトコンベヤ装置に適用してもよい。さらには、海の中等で作業を行うための作業船に適用してもよい。
【0204】
また、上述した実施形態は、定点計測装置を備える手法に制限するものではなく、既に、湾港又は工場などの作業現場に既に設けられている監視装置等を撮像装置として流用し、当該監視装置等で撮像された画像情報を、上述した作業機械のコントローラ、遠隔操作室のコントローラ、又は管理装置等に送信することで実現してもよい。
【0205】
＜作用＞
上述した実施形態及び変形例においては、定点計測装置（撮像装置の一例）により作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した画像情報に基づいた処理を行うように構成されているので、作業機械とは別の視点から作業機械の周囲を撮像した画像情報に基づいて、作業機械の周囲の状況を確認できるので、安全性の向上を実現できる。
上述した実施形態及び変形例においては、定点計測装置（撮像装置の一例）により作業機械を含み且つ当該作業機械の周囲を撮像した画像情報をネットワークを介して受信し、受信した画像情報に基づいた処理を行うように構成されているので、作業機械とは別の視点から作業機械の周囲を撮像した画像情報に基づいて、作業機械の周囲の状況を確認できるので、安全性の向上を実現できる。
【0206】
例えば、遠隔操作室ＲＣの操作者ＯＰは、作業機械と別の視点からの作業機械の周囲の状況を認識できるので、作業機械からの死角に存在する物体等を考慮して、操作を行うことができるので、安全性の向上を実現できる。
【0207】
以上、作業機械の一例としてショベル、クローラクレーン、連続アンローダ等を用いた場合の実施形態について説明したが、本発明は上記実施形態等に限定されない。特許請求の範囲に記載された範疇内において、各種の変更、修正、置換、付加、削除、および組み合わせが可能である。それらについても当然に本発明の技術的範囲に属する。
【0208】
つまり、上述した実施形態では、作業機械の情報処理システムの一例として、作業機械の遠隔操作又は操作を行うシステムに適用した場合について説明したが、他の態様のシステムに適用してもよい。
【符号の説明】
【0209】
１００ ショベル
１００Ｂ クローラクレーン
１００Ｃ 連続アンローダ
Ｃ１１、Ｃ１２ 定点計測装置
Ｔ１、Ｔ２、Ｔ３ 通信装置
Ｓ６、Ｓ２６、Ｓ３６ 撮像装置
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
３０ コントローラ
ＲＣ 遠隔操作室
Ｒ２６ 操作装置
Ｒ２９ 操作センサ
Ｒ３０ 遠隔コントローラ
１３０１ 表示制御部
１３０２ 判定部
１３０３ 距離算出部
１３０４ 物体検出部
１３０５ 通信制御部
１３０６ 操作信号生成部
Ｄ１ 表示装置
１００Ｂ クローラクレーン
１００Ｃ 連続アンローダ
Ｃ１１、Ｃ１２ 定点計測装置
Ｔ１、Ｔ２、Ｔ３ 通信装置
Ｓ６、Ｓ２６、Ｓ３６ 撮像装置
１ 下部走行体
２ 旋回機構
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１１ エンジン
３０ コントローラ
ＲＣ 遠隔操作室
Ｒ２６ 操作装置
Ｒ２９ 操作センサ
Ｒ３０ 遠隔コントローラ
１３０１ 表示制御部
１３０２ 判定部
１３０３ 距離算出部
１３０４ 物体検出部
１３０５ 通信制御部
１３０６ 操作信号生成部
Ｄ１ 表示装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】