(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】作業機械の遠隔操作支援システム
(51)【国際特許分類】
E02F 9/24 20060101AFI20231212BHJP
E02F 9/26 20060101ALI20231212BHJP
E02F 9/20 20060101ALI20231212BHJP
【FI】
E02F9/24 B
E02F9/26 B
E02F9/20 N
(21)【出願番号】P 2019223255
(22)【出願日】2019-12-10
【審査請求日】2022-07-25
(73)【特許権者】
【識別番号】000246273
【氏名又は名称】コベルコ建機株式会社
(74)【代理人】
【識別番号】110000800
【氏名又は名称】デロイトトーマツ弁理士法人
(72)【発明者】
【氏名】廣瀬 龍一
(72)【発明者】
【氏名】佐々木 均
(72)【発明者】
【氏名】佐伯 誠司
(72)【発明者】
【氏名】山▲崎▼ 洋一郎
【審査官】荒井 良子
(56)【参考文献】
【文献】特開2017-080845(JP,A)
【文献】特開2015-226094(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
E02F 9/24
E02F 9/26
E02F 9/20
(57)【特許請求の範囲】
【請求項1】
オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記オペレータの周囲を撮像する撮像装置と、
前記撮像装置が撮像した撮像画像を画像解析することにより前記撮像画像に含まれる前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有する
ことを特徴とする遠隔操作支援システム。
【請求項2】
請求項
1に記載の遠隔操作支援システムであって、
前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行う
ことを特徴とする遠隔操作支援システム。
【請求項3】
請求項
1に記載の遠隔操作支援システムであって、
前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行う
ことを特徴とする遠隔操作支援システム。
【請求項4】
オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有し、
前記遠隔操作装置は、前記遠隔操作において前記オペレータにより入力された操作量が前記作業機械へ伝達される遠隔操作機構を備え、
前記支援制御部は、前記支障判定部が前記遠隔操作に支障が出る可能性が高いと判定した場合、前記操作量の前記作業機械への伝達を停止する
ことを特徴とする遠隔操作支援システム。
【請求項5】
オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムであって、
前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、
前記移動体が属する属性を取得する属性取得部と、
前記距離取得部が検出した距離と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、
前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有し、
前記遠隔操作装置は、前記遠隔操作において前記オペレータにより入力された操作量が前記作業機械へ伝達される遠隔操作機構を備え、
前記支援制御部は、前記支障判定部が前記遠隔操作に支障が出る可能性が低いと判定した場合、前記操作量に制限をかけて前記作業機械へ伝達する
ことを特徴とする遠隔操作支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の遠隔操作を支援する遠隔操作支援システムに関する。
【背景技術】
【0002】
遠隔操作される建設機械の作業範囲などの所定範囲内への侵入移動体の侵入を検出する侵入移動体検出装置が開示されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1においては、遠隔操作される建設機械の作業範囲などの所定範囲内への侵入する移動体Mの侵入を検出する侵入移動体検出装置が開示されている。
【0005】
ところで、作業機械を遠隔操作するオペレータに対して、第三者が干渉してくる場合がある。当該第三者がオペレータに干渉してくる場合には、オペレータは操作を中断することが求められる。
【0006】
そこで、本発明は、作業機械を遠隔操作するオペレータを支援するために用いられる遠隔操作支援システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するために用いられる遠隔操作支援システムに関する。
【0008】
本発明は、前記遠隔操作装置の所定箇所に設けられ、移動体までの距離に関する情報を取得する距離取得部と、前記移動体が属する属性を取得する属性取得部と、前記距離取得部が取得した距離に関する情報と、前記属性取得部が取得した属性と、に基づいて、前記遠隔操作に支障が出る可能性の高低を判定する支障判定部と、前記支障判定部の判定結果に応じた遠隔操作の支援をするための制御を行う支援制御部と、を有することを特徴とする。
【0009】
本発明に係る遠隔操作支援システムは、作業機械を遠隔操作するオペレータを支援するために用いられる。本発明によれば、支障判定部は、距離取得部が検出した距離に関する情報と、属性取得部が取得した属性とに基づいて、遠隔操作に支障が出る可能性の高低を判定する。そして、支援制御部が前記判定結果に応じた制御を行うので、オペレータは、作業機械の遠隔操作の支援を受けることができる。
【0010】
本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、前記作業機械の動作を停止させる制御を行うことが好ましい。
【0011】
本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が高いと判定した場合、支援制御部は、作業機械の動作を停止させる制御を行う。これにより、オペレータが遠隔操作を中断する前に作業機械の動作を停止させることができる。
【0012】
遠隔操作に支障が出る可能性が高いと判定された場合には作業機械の動作が確実に停止され、そのように判定されない場合には作業機械の動作が継続されるので、オペレータの作業性を確保することができる。
【0013】
本発明において、前記支援制御部は、前記支障判定部において、前記オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合、前記作業機械の動作を減速させる制御を行うことが好ましい。
【0014】
本発明によれば、支障判定部において、オペレータが行う遠隔操作に支障が出る可能性が低いと判定した場合には、支援制御部は、作業機械の動作を減速させる制御を行う。これにより、オペレータの操作が必要以上に慎重なることを抑止し、作業性が悪くなりすぎることを防止することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施形態としての遠隔操作支援システムのブロック図。
【
図2】本発明の一実施形態としての遠隔制御装置の図。
【
図4】本発明の一実施形態としての遠隔操作支援システムのフローチャート図。
【
図5】本発明の他の実施形態としての遠隔操作支援システムのブロック図。
【発明を実施するための形態】
【0016】
図1に示されている本発明の一実施形態としての遠隔操作支援システムSは、少なくとも遠隔操作装置20、遠隔操作装置20が備える遠隔制御装置200により構成されている。なお、遠隔操作装置20及び遠隔制御装置200の詳細については、後述する。
【0017】
また、遠隔制御装置200は、クラウド上のサーバ30に備えられていてもよい。なお、サーバ30の詳細については、後述する。また、遠隔操作支援システムSは、さらに、遠隔操作装置20によって、遠隔操作される作業機械40を含む概念としてもよい。
【0018】
ここで、遠隔操作とは、オペレータOPが、作業機械40に搭乗せずに、作業機械40と離れた位置から作業機械を操作する概念である。本発明において、オペレータOPは、遠隔操作装置20を使用して、作業機械40と離れた位置から当該作業機械40を操作することができる。
【0019】
遠隔操作装置20は、遠隔制御装置200と、遠隔入力インターフェース210と、遠隔出力インターフェース220と、距離検出装置230と、遠隔操作撮像装置240、属性データベース250と、を備えている。
【0020】
遠隔制御装置200は、距離取得部201と、属性取得部202と、支障判定部203と、支援制御部204と、を備えている。また、遠隔制御装置200は、演算処理装置(シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア)により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0021】
距離取得部201は、オペレータOPからオペレータOPの周辺に位置する移動体Mまでの距離に関する情報を取得する。オペレータOPから移動体Mまでの距離は、距離検出装置230によって、検出される。なお、距離検出装置230の詳細については、後述する。
【0022】
属性取得部202は、属性データベース250から、移動体Mが属する属性を取得する。例えば、属性取得部202は、遠隔操作撮像装置240が撮像した撮像画像を、公知の技術を用いて、画像解析をすることにより、その撮像画像に含まれる移動体Mの大きさ、形状を認識することができる。また、属性取得部202は、属性データベース250に予め記憶された移動体Mの候補の中から、その移動体Mに最も類似する属性(例えば、形状)を有する移動体M候補を抽出する。また、属性取得部202は、抽出された移動体Mの候補が有する属性を参照し、その移動体Mが属する属性を取得する。なお、遠隔操作撮像装置240及び属性データベース250の詳細については、後述する。
【0023】
属性とは、少なくとも移動体Mの活性度に関する情報を含む概念である。また、属性の概念として、移動体Mの種類、氏名、年齢、性別及び移動体Mの特徴を表す情報を含んでもよい。移動体Mの活性度に関する情報とは、その移動体Mが動物であるから活性度が高いという情報、その移動体Mが人間であるから活性度が動物より低いという情報、その移動体Mが子供であるから活性度が成人より高いという情報、その移動体Mが動物であり、複数存在するから、単体で存在する場合よりも活性度が高いという情報等である。勿論、属性は、移動体Mの画像データを含んでもよい。例えば、移動体Mにおける顔写真の画像データである。
【0024】
また、移動体Mの活性度に関する情報とは、その移動体Mの性格に関する情報を含む。例えば、その移動体Mは、いたずらが好きな性格なので活性度が高く、オペレータOPにいたずらをして、作業機械40の遠隔操作に支障をきたす可能性が高いという情報である。この例は一例に過ぎず、その移動体Mは、そのオペレータOPと不仲なので、そのオペレータとの関係において活性度が高く、そのオペレータOPが行う遠隔操作の邪魔をして、その遠隔操作に支障をきたす可能性が高いという情報でもよいし、その移動体Mは、おとなしい性格なので活性度が低く、そのオペレータOPが行う遠隔操作の邪魔をすることなく、作業機械の遠隔操作に支障をきたす可能性が低いという情報でもよい。
【0025】
勿論、移動体Mの特徴を表す情報は、その移動体Mは犬なので、いつオペレータに飛び掛かるか不明であるから、作業機械40の遠隔操作に支障をきたす可能性が高いという情報でもよい。
【0026】
支障判定部203は、距離取得部201にて取得されたオペレータOPから移動体Mまでの距離に関する情報と、属性取得部202にて取得された移動体Mの属性に関する情報と、に基づき、属性データベース250に記憶されたテーブルを参照して、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性の高低を判定する。
【0027】
また、支障判定部203が行う判定の他の例として、移動体Mの時系列に関する情報に基づいて、判定を行う例が挙げられる。
【0028】
例えば、この場合、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータOPに接近している場合、支障判定部203は、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0029】
他方、所定の時刻に関する時刻情報と、その時刻における移動体の位置に関する位置情報と、を取得し、移動体がオペレータOPに遠ざかっている場合、支障判定部203は、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
【0030】
勿論、支障判定部203は、距離取得部201にて取得されたオペレータOPから移動体Mまでの距離に関する情報と、属性取得部202にて取得された移動体Mの属性に関する情報と、に基づき、属性データベース250に記憶された関数を用いて移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性の高低を算出することにより、判定をしてもよい。なお、この場合に用いられる関数は、Xを主変数、Yを従変数とする関数を用いてYが入力されたXの値に基づいて、出力される関数である。勿論、この関数は、判定を行うための関数の一例に過ぎない。
【0031】
また、前記テーブル等は、後述する属性データベース250に記憶されている。
【0032】
例えば、支障判定部203は、オペレータOPから移動体Mまでの距離が短ければ短いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0033】
他方、支障判定部203は、オペレータOPから移動体Mまでの距離が遠ければ遠いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
【0034】
また、例えば、支障判定部203は、移動体MがオペレータOPに接近する速度が速ければ速いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0035】
また、例えば、支障判定部203は、移動体MがオペレータOPに接近する速度が遅ければ遅いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が低いと判定する。勿論、支障判定部203は、移動体MがオペレータOPに遠ざかれば遠ざかるほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
【0036】
また、例えば、支障判定部203は、移動体Mの活性度が高ければ高いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0037】
他方、支障判定部203は、移動体Mの活性度が低ければ低いほど、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が低いと判定する。
【0038】
具体的には、支障判定部203は、移動体Mがオペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定するための危険閾値を10と設定し、その危険指標値が10以上となる場合、移動体MがオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。なお、危険指標値は、テーブルや関数を用いて、予め設定されている。
【0039】
ここで、オペレータのペット(犬)が、オペレータの後方1メートルにいる場合について説明する。この場合、距離取得部201にて取得されたオペレータOPから移動体Mまでの距離は1メートルであるから、予め設定されたテーブルに照らして、危険指標値は5であると判定する。また、属性取得部202にて取得された移動体Mは、ペットの犬であり、活性度は人間より高いので、予め設定されたテーブルに照らして、危険指標値は5であると判定する。なお、危険指標値は、テーブルや関数を用いて、予め設定されている。
【0040】
そうすると、危険指標値は合わせて10になるので、危険閾値の10に達し、支障判定部203は、その犬がオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0041】
一方、オペレータに対して操作の指導を行う指導者が、オペレータの後方1メートルにいる場合について説明する。この場合、距離取得部201にて取得されたオペレータOPから移動体Mまでの距離は1メートルであるから、予め設定されたテーブルに照らして、危険指標値は5であると判定する。また、属性取得部202にて取得された移動体Mは、オペレータOPの指導者であり活性度が低いので、予め設定されたテーブルに照らして、危険指標値は0であると判定する。
【0042】
そうすると、危険指標値は合わせても5にしかならないので、支障判定部203は、その指導者がオペレータOPの行う遠隔操作に対して支障をきたす可能性は低いと判定する。
【0043】
支障判定部203における判定の他の例として、以下の例が挙げられる。
例えば、移動体Mが属性データベース250に予め記憶されていない不審者の場合であって、属性取得部202が、属性データベース250に記憶されたテーブルに照らして、から、移動体M(不審者)が属する属性を取得することができなかった場合、その移動体M(不審者)の危険指標値は10であると判定する。なお、属性データベース250については、後述する。
【0044】
そうすると、オペレータOPからその移動体M(不審者)までの距離に関わらず、危険指標値は10になり、危険閾値の10に達するので、支障判定部203は、その移動体M(不審者)がオペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0045】
遠隔入力インターフェース210は、後述する遠隔操作機構211を備えている
【0046】
遠隔操作機構211には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー(走行レバー)は、作業機械40の下部走行体450を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部又は下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー(旋回レバー)は、作業機械40の旋回機構430を構成する油圧式の旋回モーターを動かすために操作される。ブーム用操作装置の操作レバー(ブームレバー)は、作業機械40のブームシリンダ442を動かすために操作される。
【0047】
遠隔操作機構211を構成する各操作レバーは、例えば、
図2に示されているように、オペレータが着座するためのシートStの周囲に配置されている。シートStの前方に左右のクローラに応じた左右一対の走行レバー2110が、左右横並びに配置されている。右側操作レバー2111は、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能する。左側操作レバー2112は、前後方向に操作された場合に旋回レバーとして機能する。なお、レバーパターンは、オペレータの操作指示により任意に変更されてもよい。
【0048】
支援制御部204は、CPUと、RAMと、ROMと、フラッシュメモリと、を備えたコンピュータユニット等によって構成されている。
【0049】
支援制御部204のROMには、当該コンピュータユニットを支援制御部204として機能させるためのプログラムが記憶されている。すなわち、CPUがROMに記憶されたプログラムを実行することにより、当該コンピュータユニットは、支援制御部204として機能する。
【0050】
例えば、支援制御部204は、支障判定部203の判定結果に応じて、作業機械40の動作を制御する機能を有する。より具体的には、支障判定部203が、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合(例えば、危険指標値が10以上の場合)、支援制御部204は、作業機械40のエンジンのトルク、操作レバー及びブレーキ等を制御することにより、作業機械40の動作に対する停止、減速等を実行する。
【0051】
支援制御部204は、オペレータの行う遠隔操作に対して支障をきたす可能性が高いと判定した場合、例えば、オペレータOPの操作により遠隔操作機構211に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量の作業機械40への伝達を停止するとともに、作業機械40で動作しているアクチュエータを自動停止させる。
【0052】
また、支援制御部204は、オペレータの行う遠隔操作に対して支障をきたす可能性が低いと判定した場合、例えば、オペレータOPの操作により遠隔操作機構211に入力される走行用操作装置、旋回用操作装置、ブーム用操作装置、アーム用操作装置、バケット用操作装置等の操作量に制限(操作量の最大値に制限)をかけて作業機械40への伝達することで、作業機械40で動作しているアクチュエータを自動減速させる。
【0053】
また、支援制御部204は、オペレータの行う遠隔操作に対して支障をきたす可能性の高低に関わらず検出した移動体Mに関する情報をオペレータOPに報知する制御を行う。報知制御は、例えば、遠隔出力インターフェース220の画像出力装置221に移動体Mが検出されたことに関する表示がされる。当該表示と同時に属性データベース250に記憶されている情報の表示が行われてもよく、警報音が付随して鳴るようにしてもよい。また、移動体Mの属性や距離に応じて報知内容を変更してもよい。なお、作業機械40については、後述する。
【0054】
遠隔出力インターフェース220は、後述する画像出力装置221及び遠隔無線通信機器222を備えている
【0055】
画像出力装置221は、例えば
図2に示されているように、遠隔操作装置20に設けられオペレータOPが着座するシートStの右斜め前方、前方及び左斜め前方のそれぞれに配置された右斜め前方画像出力装置2211、前方画像出力装置2212及び左斜め前方画像出力装置2213により構成されている。当該画像出力装置2211~2213は、スピーカー(音声出力装置)(不示図)を備えていてもよい。
【0056】
遠隔無線通信機器222は、作業機械40と、遠隔操作装置20と、の通信が確立された状態において、公知の技術を用いて、作業機械40と、遠隔操作装置20と、が互いに無線通信を実行する機能を有する。
【0057】
距離検出装置230は、距離検出装置230から出力されるオペレータOPから移動体Mまでの距離を検出することができる装置であればよい。例えば、距離検出装置230は、TOF(Time Of Flight)センサである。この例は一例に過ぎず、距離検出装置230は、近接センサでもよいし、ステレオカメラでもよい。
【0058】
また、距離検出装置230は、距離検出装置230から移動体Mまでの距離を検出するエリアである検出エリア(検出距離、検出幅)を適宜設定可能である。
【0059】
また、距離検出装置230は、遠隔操作装置20の所定箇所に設けられる。勿論、距離検出装置230は、遠隔操作装置20に1個だけ設けてもよいし、複数個設けてもよい。
【0060】
例えば、距離検出装置230は、シートStに距離検出装置230を設け、距離検出装置230の向きは、オペレータOPの後方に向ける。そして、シートStに着座したオペレータOPの背後から当該オペレータOPに近づいてくる移動体M(不審者)までの距離を検出する。勿論、距離検出装置230の向きは、当該オペレータOPから移動体Mまでの距離を測ることができる方向であればよい。
【0061】
すなわち、距離検出装置230は、シートStの位置を基準として、オペレータOPから移動体Mまでの距離を検出する。
【0062】
なお、距離検出装置230は、オペレータOPから遠隔操作装置20が設置されている遠隔操作室(図示せず)の壁面までの距離が短い場合、距離検出装置230を当該壁面に向ける必要はない。
【0063】
例えば、シートStの背もたれからシートStの右方向にある壁面までの距離が10cmである場合、距離検出装置230の検出エリアについては、オペレータの右方向を除外して設定する。
【0064】
すなわち、シートStから壁面までの距離が短く、移動体MがオペレータOPの右方向からオペレータOPに近づくことができない場合、距離検出装置230は、その検出エリアから、オペレータOPの右方向のエリアを予め検出エリアから除外する。
【0065】
換言すると、距離検出装置230は、オペレータOPの右方向からオペレータOPに近づいてくる移動体Mについては、オペレータOPまでの距離を検出しない。
【0066】
遠隔操作撮像装置240は、オペレータOPの周囲を撮像する機能を有する。特に、遠隔操作撮像装置240は、オペレータOPの後方及び左右方向を撮像する機能を有することが好ましい。例えば、遠隔操作撮像装置240は、オペレータOPの背後から不審者が、当該オペレータOPに接近してきた場合、当該不審者を撮像する。勿論、遠隔操作装置20が遠隔操作室の室内に設置されている場合、遠隔操作撮像装置240は、常時、遠隔操作室のドアを撮像し、不審者が入ってくるか否かを監視する監視カメラであってもよい。なお、遠隔操作撮像装置240は、オペレータOPを必ずしも撮像する必要はなく、例えば、シートStを除外したエリアが検出エリアとして設定される。
【0067】
例えば、遠隔操作撮像装置240は、ビデオカメラであり、画像出力装置221の上方に設置され、オペレータOPの後方を撮像する。勿論、遠隔操作撮像装置240は、天頂カメラでもよい。この場合、遠隔操作撮像装置240は、遠隔操作室の天井に設置され、オペレータOPの周囲360°を撮像する。勿論、遠隔操作撮像装置240は、ステレオカメラでもよい。この場合、遠隔操作撮像装置240は、オペレータOPから移動体M(不審者)までの距離を検出することができるので、距離検出装置230としての機能を兼ねることができる。
【0068】
属性データベース250は、移動体Mの候補及び当該移動体Mの属性(情報)を記憶することができる記憶装置であればよい。例えば、記憶装置は、HDD(Hard Disk Drive)である。また、記憶装置は、SD(登録商標)メモリカード(Secure Digitalメモリカード)、CF(Compact Flash)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ(登録商標)ディスク、DVD(Digital Versatile Disk)といった可搬記憶媒体であってもよい。
【0069】
また、属性データベース250は、移動体の活性度に関する情報と、その移動体についての危険指標値と、が関連付けられたテーブルが記憶されている。このテーブルに予め各移動体の活性度に関する危険指標が設定されている。
【0070】
勿論、属性データベース250は、移動体の活性度に関する情報に基づいて、その移動体の危険指標値を算出するための関数を記憶していてもよい。その関数の例として、Xを主変数、Yを従変数とする関数を用いてYが入力されたXの値に基づいて、出力される関数が挙げられる。勿論、この関数は、判定を行うための関数の一例に過ぎない。
【0071】
作業機械40は、例えば、施工現場において稼働可能な作業機械である。作業機械40は、土砂を押土又は掘削を実施可能な建設機械、及び土砂を運搬可能な運搬車両の少なくとも一方を含む。建設機械は、バケットを有する油圧ショベル及びブレードを有するブルドーザの少なくとも一方を含む。運搬車両は、ベッセルを有するダンプトラック等を含む。なお、建設機械は、解体機、クレーン、ホイールローダ、モータグレーダ等でもよい。
【0072】
作業機械40は、構成要素として、実機制御装置400と、実機入力インターフェース410と、実機出力インターフェース420と、旋回機構430と、作動機構(作業アタッチメント)440と、下部走行体450と、上部旋回体460と、運転室470と、機械室480と、を備えている(
図3)。勿論、必要に応じて、これらの構成が全て必要となるわけではない。
【0073】
実機制御装置400は、演算処理装置(シングルコアプロセッサ又はマルチコアプロセッサ若しくはこれを構成するプロセッサコア)により構成され、メモリ等の記憶装置から必要なデータ及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。
【0074】
例えば、実機制御装置400は、前記演算処理を行い、作業機械40における動作(走行、旋回、起伏、把持、破砕、切断、吸着、巻取り、掘削等)の停止及び減速のうち少なくとも一方に関する制御を行う。
【0075】
実機入力インターフェース410は、実機操作機構411と、作業現場撮像装置412と、を備えている。
【0076】
実機操作機構411は、運転室470の内部に配置された運転室内シートの周囲に遠隔操作機構211と同様に配置された複数の実機操作レバー(不図示)を備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバー(不図示)を動かす駆動機構、又はロボットが、運転室470に設けられている。なお、運転室470については、後述する。
【0077】
作業現場撮像装置412は、例えば、運転室470の内部に設置され、運転室470のフロントウィンドウ越しに作動機構440の少なくとも一部を含む環境を撮像する。
【0078】
実機出力インターフェース420は、実機無線通信機器421を備えている。
【0079】
実機無線通信機器421は、作業機械40と、遠隔操作装置20と、の通信が確立された状態において、公知の技術を用いて、作業機械40と、遠隔操作装置20と、が互いに無線通信を実行する機能を有する。
【0080】
旋回機構430は、下部走行体450のロアフレーム451と上部旋回体460のアッパーフレーム461との間に配置されている。旋回機構430は、旋回軸線aを軸線として、ロアフレーム451に対してアッパーフレーム461を水平軸回りに旋回可能に連結している。
【0081】
作動機構としての作業アタッチメント440は、上部旋回体460に起伏可能に装着されているブーム441と、ブーム441の先端に回動可能に連結されているアーム443と、アーム443の先端に回動可能に連結されている先端アタッチメント445と、を備えている。例えば、作業機械40が、掘削作業を行う場合、先端アタッチメント445は、バケットである。また、例えば、作業機械40が、解体作業を行う場合、先端アタッチメント445は、破砕装置である。作業アタッチメント440には、伸縮可能な油圧シリンダにより構成されているブームシリンダ442、アームシリンダ444及び先端シリンダ446が装着されている。
【0082】
下部走行体450は、ロアフレーム451と、ロアフレーム451の両側に設けられた一対のクローラ452と、を備えている。クローラ452は、油圧アクチュエータである走行用油圧モータ(不示図)によって駆動される。
【0083】
なお、下部走行体450は、ロアフレーム451と、クローラ452と、によって構成された走行体に限定されるものではなく、旋回機構430及び作業アタッチメント440を搭載可能であり、走行可能なものであればよい。例えば、走行体は、車輪で移動する走行体、又は、脚式の走行体であってもよい。また、作業機械が水上で使用されるものである場合には、走行体は、台船等であってもよい。
【0084】
上部旋回体460は、アッパーフレーム461を備えており、アッパーフレーム461には、作業アタッチメント440、運転室470、及び機械室480が設けられている。
【0085】
運転室470は、遠隔操作レバーの操作態様に応じた信号を受信し、当該信号受信に基づいて、実機操作レバーを動かす駆動機構、又はロボットが、設けられている。また、運転室470には、作業機械40に実搭乗する運転者が作業機械40の動作(走行、旋回、起伏、把持、破砕、吸着、巻取り、掘削等)、上部旋回体460の旋回、及び、下部走行体450の移動を操作するための実機操作レバー(不図示)等、作業機械40を操作するための各種機器(例えば、非常停止スイッチ、モニター等)が設けられていてもよい。
【0086】
機械室480には、油タンク(不示図)及び油圧回路装置(不示図)が収容されている。
【0087】
前記構成の遠隔操作支援システムSの機能について、
図4に示されているフローチャートを参照して、説明する。
【0088】
STEP1において、距離取得部201は、所定位置(例えば、オペレータOPが着座するシートSt)から移動体M(不審者)までの距離に関する情報を取得する。
【0089】
STEP2において、STEP1にて取得した距離が基準値以下であるかを判定する。
【0090】
STEP3(STEP2においてYESと判定された場合)において、属性取得部202は、属性データベース250から、移動体Mが属する属性を取得する。また、STEP2においてNOと判定された場合、STEP6に進む。
【0091】
STEP4において、支障判定部203は、移動体Mの属性が遠隔操作に支障が出るものかを判定する。具体的には、距離取得部201が取得した距離と、属性取得部202が取得した属性とに基づいて危険指標値を演算し、当該支障が出る可能性の高低を判定する。
【0092】
STEP5(STEP4においてYESと判定された場合)において、支援制御部204は、作業機械40の動作を停止又は減速させるための制御を行う。特に、当該支障が出る可能性の高い場合には作業機械40の動作を停止させ、当該支障が出る可能性は低いが可能性としてある場合には作業機械40の動作を減速させる。また、当該支障が出る可能性ない場合(STEP2においてNOと判定された場合)、STEP6に進む。
【0093】
最後に、STEP6において、移動体Mの存在をオペレータOPに報知するための制御を行う。上記フローチャートの一部は、オペレータが支障判定部203の判定結果に応じた遠隔操作の支援を受けることができる態様において、変更されてもよい。
【0094】
(本発明の他の実施形態)
前記実施形態において、距離取得部201が取得した距離に関する情報と、属性取得部202が取得した属性と、に基づいて、遠隔操作に支障が出る可能性の高低を判定する例を説明したが、そのような例に限定されない。
【0095】
例えば、まず、距離取得部201が検出した距離に基づいて、前記遠隔操作に支障が出る可能性の高低を判定し、その後、属性取得部202が取得した属性に基づいて、前記遠隔操作に支障が出る可能性の大小を判定することによっても、遠隔操作の支援をするための制御を行うことができる。すなわち、遠隔操作に支障が出る可能性の高低を判定する判定部を2以上有してもよい。このようなケースにも、本発明に係る遠隔操作支援システムを適用することができる。
【0096】
前記実施形態において、属性取得部202は、属性データベース250から、移動体Mの属性を取得する例を説明したが、そのような例に限定されない。例えば、移動体Mがペット(犬等)である場合、ペットの首に首輪を付け、その首輪にそのペットを識別するための識別子を付し、その識別子をリーダーで読み込むことにより、属性取得部202が、移動体Mの属性を取得することとしてもよい。例えば、識別子はQRコード(登録商標)であり、そのQRコード(登録商標)にそのペットを識別するための情報を保持させ、そのQRコード(登録商標)をコードリーダーで読み取ることにより、属性取得部202が、移動体Mの属性を取得することとしてもよい。
【0097】
勿論、ペットの首に首輪が付けられている場合、その首輪にICタグ(RFID)を付し、そのICタグ(RFID)に、そのペットを識別するための情報を保持させ、そのICタグをICタグリーダー(RFIDリーダー)で読み取ることにより、属性取得部202が、ペットの属性を取得することとしてもよい。
【0098】
なお、識別子の他の例として、ICコード、バーコード、マトリックスバーコード、データマトリックスコード、専用コード、トライアングルコード、数字バーコード、英数字バーコード、2次元バーコード、シンボル、図形、手書き文字、文字、数字、英数字、象形文字、絵文字、音節表記文字、表語文字、及びこれらの組み合わせからなる群等が挙げられる。
【0099】
なお、識別子を読み取る装置として、コードリーダー等が挙げられる。また、文字等(ペット名)を直接読み取る場合は、公知の技術(OCR等)を用いてその文字(ペット名)を読み取ることができる。
【0100】
前記実施形態において、移動体Mの存在数が1である場合における支障判定部203の例を説明したが、そのような例に限定されない。
【0101】
例えば、移動体Mが複数存在する場合、支障判定部203は、各移動体Mについて、支障をきたす可能性を判定する。
【0102】
また、例えば、移動体Mが複数存在する場合の危険閾値を10と予め設定し、支障判定部203は、移動体Mが複数いるという情報を取得した時点で、それぞれの移動体Mが支障をきたす可能性が高いと判定してもよい。ここで、オペレータOPと、複数存在する移動体Mのそれぞれとの距離は問わない。
【0103】
具体的には、支障判定部203は、ペット(犬)がオペレータOPの後方に2匹いるという情報を取得した時点で、それぞれの犬が支障をきたす可能性が高いと判定してもよい。ここで、オペレータOPと、各犬との距離が10メートルであっても、犬がオペレータOPの後方に2匹いるので、それぞれの犬が、オペレータOPの行う遠隔操作に対して支障をきたす可能性が高いと判定する。
【0104】
また、例えば、移動体Mが一つも存在しない場合、支障判定部203は、支障をきたす可能性を判定する必要がない。ここで、移動体Mは一つも存在しないので危険指標値は0となり、移動体Mが支障をきたす可能性がないと判定することができる。この場合は作業機械の動作を停止させたり、減速させたりしない。
【0105】
前記実施形態において、移動体MがオペレータOPの指導者であり、その指導者がオペレータOPの後方1メートルにいる場合における支障判定部203の例を説明したが、そのような例に限定されない。
【0106】
移動体Mが、オペレータOPと不仲の同僚であり、その同僚が、オペレータOPの右方向1メートルに存在する場合について説明する。この場合、属性データベース250には、オペレータOPとその同僚との関係性が不仲であるという情報が予め記憶されている。また、属性データベース250には、その同僚の危険指標値は0であるという情報と、そのオペレータOPが遠隔操作を行っている際におけるその同僚の危険指標値は5であるという情報が予め記憶されている。
【0107】
この場合、支障判定部203は、距離取得部201にて取得されたオペレータOPから移動体Mまでの距離は1メートルであるから、危険指標値は5であると判定する。また、属性取得部202は、そのオペレータOPが遠隔操作を行っている際におけるその同僚の危険指標値は5であるという情報を取得する。そうすると、危険指標値は合わせて10になるので、支障判定部203は、その同僚がオペレータOPの行う遠隔操作に対して支障をきたす可能性は大きいと判定する。
【0108】
前記実施形態において、遠隔制御装置200が、遠隔操作装置20に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、遠隔制御装置200をサーバ30に備えてもよい(
図5)。この場合、遠隔操作装置20と、サーバ30と、作業機械40とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。この場合、属性データベース250は、サーバ30に備えてられてもよいし、遠隔制御装置200に備えられてもよい。
【0109】
前記実施形態において、遠隔制御装置200が、遠隔操作装置20に含まれる例を示したが、そのような例に限定されない。例えば、遠隔制御装置200は、作業機械40に実装してもよい(不示図)。
【0110】
前記実施形態において、属性データベース250が、遠隔操作装置20に含まれる例を示したが、そのような例に限定されない。例えば、クラウド技術を用いて、属性データベース250をサーバ30に備えてもよい。この場合、遠隔操作装置20と、サーバ30と、作業機械40とが、ネットワークを介して接続され、ネットワークを介した遠隔操作が可能となる。勿論、サーバ30とは異なる他のサーバ(不示図)が、属性データベース250を備えていてもよい。
【0111】
前記実施形態において、属性データベース250が、遠隔操作装置20に含まれる例を示したが、そのような例に限定されない。例えば、属性データベース250は、作業機械40に実装してもよい(不示図)。
【符号の説明】
【0112】
S‥遠隔操作支援システム、20‥遠隔操作装置、30‥サーバ、40‥作業機械、200‥遠隔制御装置、201‥距離取得部、202‥属性取得部、203‥支障判定部、204‥支援制御部、250‥属性データベース。