IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友重機械工業株式会社の特許一覧

<>
  • 特開-作業機械、遠隔操作支援装置 図1
  • 特開-作業機械、遠隔操作支援装置 図2
  • 特開-作業機械、遠隔操作支援装置 図3
  • 特開-作業機械、遠隔操作支援装置 図4
  • 特開-作業機械、遠隔操作支援装置 図5
  • 特開-作業機械、遠隔操作支援装置 図6
  • 特開-作業機械、遠隔操作支援装置 図7
  • 特開-作業機械、遠隔操作支援装置 図8
  • 特開-作業機械、遠隔操作支援装置 図9
  • 特開-作業機械、遠隔操作支援装置 図10
  • 特開-作業機械、遠隔操作支援装置 図11
  • 特開-作業機械、遠隔操作支援装置 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024094591
(43)【公開日】2024-07-10
(54)【発明の名称】作業機械、遠隔操作支援装置
(51)【国際特許分類】
   E02F 9/26 20060101AFI20240703BHJP
   E02F 9/24 20060101ALI20240703BHJP
   E02F 9/20 20060101ALI20240703BHJP
【FI】
E02F9/26 A
E02F9/24 J
E02F9/20 H
E02F9/20 Q
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022211228
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】平手 奨二
(72)【発明者】
【氏名】本田 圭二
(72)【発明者】
【氏名】佐野 裕介
【テーマコード(参考)】
2D003
2D015
【Fターム(参考)】
2D003AA01
2D003BA04
2D003BA07
2D003BB09
2D003DA04
2D003DB08
2D003DC01
2D003FA02
2D015EA02
2D015EB01
2D015GA03
2D015GB01
2D015HA03
2D015HB00
(57)【要約】
【課題】作業機械に搭乗するオペレータによる操作と、作業機械の外部のオペレータによる遠隔操作との双方が可能な場合に、一方のオペレータが他方のオペレータによる作業機械の操作状況を把握可能な技術を提供する。
【解決手段】本開示の一実施形態に係るショベル100は、遠隔操作の入力に応じて、油圧アクチュエータHAが動作している場合に、ショベル100が遠隔操作されている旨をキャビン10のオペレータOP1に通知する。また、本開示の他の実施形態に係る遠隔操作支援装置200は、キャビン10の操作装置26に対する入力によって油圧アクチュエータHAが操作されている場合に、ショベル100が操作装置26に対する入力によって操作されていることを遠隔操作の入力を行うオペレータOP2に通知する。
【選択図】図8
【特許請求の範囲】
【請求項1】
アクチュエータと、
運転席と、
前記運転席の第1のオペレータが前記アクチュエータの操作を行うための入力を行う操作装置と、
作業機械の外部からの遠隔操作の入力と、前記操作装置に対する入力との何れか一方に応じて、前記アクチュエータを動作させる制御部と、
前記遠隔操作の入力に応じて、前記アクチュエータが動作している場合に、作業機械が遠隔操作されている旨を前記第1のオペレータに通知すること、及び前記遠隔操作の入力に応じて前記アクチュエータが動作する可能性がある場合に、作業機械が遠隔操作される可能性がある旨を前記第1のオペレータに通知することの少なくとも一方を行う通知部と、を備える、
作業機械。
【請求項2】
前記通知部は、前記作業機械が遠隔操作されているか否か、及び前記作業機械が遠隔操作される可能性があるか否かの少なくとも一方を前記第1のオペレータに通知する、
請求項1に記載の作業機械。
【請求項3】
前記通知部は、第2のオペレータが前記遠隔操作の入力を行うことが可能な所定の場所にいる場合に、その旨を前記第1のオペレータに通知を行う、
請求項1又は2に記載の作業機械。
【請求項4】
前記通知部は、前記所定の場所に前記第2のオペレータがいるか否かを前記第1のオペレータに通知する、
請求項3に記載の作業機械。
【請求項5】
前記通知部は、前記第1のオペレータから視認可能な箇所に配置され、前記所定の場所の現在の撮像画像を表示する、
請求項4に記載の作業機械。
【請求項6】
作業機械の運転席付近に設けられる操作装置に対する入力、及び前記作業機械の外部からの遠隔操作の入力の何れか一方に応じて、アクチュエータが操作される前記作業機械と通信を行うための通信部と、
前記操作装置に対する入力によって前記アクチュエータが操作されている場合に、前記作業機械が前記操作装置に対する入力によって操作されていることを前記遠隔操作の入力を行う第3のオペレータに通知すること、及び前記操作装置に対する入力によって前記アクチュエータが操作される可能性がある場合に、前記作業機械が前記操作装置に対する入力によって操作される可能性があることを前記第3のオペレータに通知することの少なくとも一方を行う通知部と、を備える、
遠隔操作支援装置。
【請求項7】
前記通知部は、前記作業機械が前記操作装置に対する入力によって操作されているか否か、及び前記作業機械が前記操作装置に対する入力によって操作される可能性があるか否かを前記第3のオペレータに通知する、
請求項6に記載の遠隔操作支援装置。
【請求項8】
前記通知部は、前記運転席に第4のオペレータがいる場合に、その旨を前記第3のオペレータに通知する、
請求項6又は7に記載の遠隔操作支援装置。
【請求項9】
前記通知部は、前記運転席に第4のオペレータがいるか否かを前記第3のオペレータに通知する、
請求項8に記載の遠隔操作支援装置。
【請求項10】
前記通知部は、前記第3のオペレータから視認可能な箇所に配置され、前記運転席の現在の撮像画像を表示する、
請求項9に記載の遠隔操作支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械等に関する。
【背景技術】
【0002】
例えば、自身に搭乗するオペレータによる操作と、自身の外部のオペレータによる遠隔操作との双方が可能な作業機械(例えば、ショベル)が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-182529号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば、作業機械の運転席のオペレータと、作業機械の外部のオペレータとの双方が作業機械を操作可能な場合、一方のオペレータが予期しない状況で、他方のオペレータの操作によって、作業機械が動作する可能性がある。その結果、一方のオペレータの予期しない作業機械の動作が発生し、例えば、一方のオペレータが作業機械の深刻な故障状態等と誤認しパニック状態に陥る可能性がある。
【0005】
そこで、上記課題に鑑み、作業機械に搭乗するオペレータによる操作と、作業機械の外部のオペレータによる遠隔操作との双方が可能な場合に、一方のオペレータが他方のオペレータによる作業機械の操作状況を把握可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本開示の一実施形態では、
アクチュエータと、
運転席と、
前記運転席の第1のオペレータが前記アクチュエータの操作を行うための入力を行う操作装置と、
作業機械の外部からの遠隔操作の入力と、前記操作装置に対する入力との何れか一方に応じて、前記アクチュエータを動作させる制御部と、
前記遠隔操作の入力に応じて、前記アクチュエータが動作している場合に、作業機械が遠隔操作されている旨を前記第1のオペレータに通知すること、及び前記遠隔操作の入力に応じて前記アクチュエータが動作する可能性がある場合に、作業機械が遠隔操作される可能性がある旨を前記第1のオペレータに通知することの少なくとも一方を行う通知部と、を備える、
作業機械が提供される。
【0007】
また、本開示の他の実施形態では、
作業機械の運転席付近に設けられる操作装置に対する入力、及び前記作業機械の外部からの遠隔操作の入力の何れか一方に応じて、アクチュエータが操作される前記作業機械と通信を行うための通信部と、
前記操作装置に対する入力によって前記アクチュエータが操作されている場合に、前記作業機械が前記操作装置に対する入力によって操作されていることを前記遠隔操作の入力を行う第3のオペレータに通知すること、及び前記操作装置に対する入力によって前記アクチュエータが操作される可能性がある場合に、前記作業機械が前記操作装置に対する入力によって操作される可能性があることを前記第3のオペレータに通知することの少なくとも一方を行う通知部と、を備える、
遠隔操作支援装置が提供される。
【発明の効果】
【0008】
上述の実施形態によれば、作業機械に搭乗するオペレータによる操作と、作業機械の外部のオペレータによる遠隔操作との双方が可能な場合に、一方のオペレータが他方のオペレータによる作業機械の操作状況を把握することができる。
【図面の簡単な説明】
【0009】
図1】遠隔操作支援システムの一例を示す図である。
図2】ショベルの一例を示す側面図である。
図3】ショベルの一例を示す上面図である。
図4】キャビンの内部の一例を模式的に示す図である。
図5】遠隔操作室の内部の一例を模式的に示す図である。
図6】ショベルのハードウェア構成の一例を示す図である。
図7】遠隔操作支援装置のハードウェア構成の一例を示す図である。
図8】遠隔操作支援システムにおけるショベルの操作に関する機能構成の一例を示す図である。
図9】ショベルの遠隔操作の実施状況に関する通知処理の第1例を概略的に示すフローチャートである。
図10】ショベルの遠隔操作の実施状況に関する通知処理の第2例を概略的に示すフローチャートである。
図11】ショベルの通常操作の実施状況に関する通知処理の第1例を概略的に示すフローチャートである。
図12】ショベルの通常操作の実施状況に関する通知処理の第2例を概略的に示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して実施形態について説明する。
【0011】
[遠隔操作支援システムの概要]
図1図5を参照して、本実施形態に係る遠隔操作支援システムSYSの概要について説明をする。
【0012】
図1は、遠隔操作支援システムSYSの一例を示す図である。図2は、ショベル100の一例を示す側面図である。図3は、ショベル100の一例を示す上面図である。図4は、キャビン10の内部の一例を模式的に示す図である。図5は、遠隔操作室RCRの内部の一例を模式的に示す図である。以下、ショベル100の上面視でアタッチメントATが延び出す方向(図2の上方向)を"前"と規定して、ショベル100における方向、或いは、ショベル100から見た方向を説明する場合がある。
【0013】
図1に示すように、遠隔操作支援システムSYSは、ショベル100と、遠隔操作支援装置200とを含む。
【0014】
遠隔操作支援システムSYSは、遠隔操作支援装置200を用いて、ショベル100の外部のオペレータによるショベル100の遠隔操作を支援する。
【0015】
尚、遠隔操作支援システムSYSは、ショベル100とは異なる他の作業機械の外部のオペレータによるショベル100の遠隔操作を支援してもよい。例えば、他の作業機械は、クローラクレーンやブルドーザ等である。
【0016】
<ショベルの概要>
図2図3に示すように、ショベル100は、下部走行体1と、上部旋回体3と、ブーム4、アーム5、及び、バケット6を含むアタッチメントATと、キャビン10とを備える。
【0017】
下部走行体1は、クローラ1Cを用いて、ショベル100を走行させる。クローラ1Cは、左側のクローラ1CL及び右側のクローラ1CRを含む。クローラ1CLは、走行油圧モータ1MLで油圧駆動される。同様に、クローラ1CLは、走行油圧モータ1MRで油圧駆動される。これにより、下部走行体1は、自走することができる。
【0018】
上部旋回体3は、旋回機構2を介して下部走行体1に旋回可能(旋回自在)に搭載される。例えば、上部旋回体3は、旋回油圧モータ2Mで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
【0019】
ブーム4は、左右方向に沿う回転軸を中心として俯仰可能なように、上部旋回体3の前部中央に取り付けられる。アーム5は、左右方向に沿う回転軸を中心として回転可能なように、ブーム4の先端に取り付けられる。バケット6は、左右方向に沿う回転軸を中心として回転可能なように、アーム5の先端に取り付けられる。
【0020】
バケット6は、エンドアタッチメントの一例であり、例えば、掘削作業や法面作業や整地作業等に用いられる。
【0021】
バケット6は、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
【0022】
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0023】
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室である。キャビン10は、例えば、上部旋回体3の前部左側に搭載される。
【0024】
また、ショベル100は、通信装置60を含む。これにより、ショベル100は、所定の通信回線NWを通じて、遠隔操作支援装置200と相互に通信を行うことができる。例えば、ショベル100は、自身が取得する或いは生成する各種情報を遠隔操作支援装置200に送信し共有する。また、ショベル100は、通信回線NWを通じて、遠隔操作支援装置200で行われる、自身の遠隔操作に関する操作入力の内容を表す信号(以下、「遠隔操作信号」)を受信してもよい。
【0025】
通信回線NWは、例えば、作業現場のローカルネットワーク(LAN:Local Area Network)を含む。また、通信回線NWは、広域ネットワーク(WAN:Wide Area Network)を含んでもよい。広域ネットワークには、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等が含まれる。また、通信回線NWは、例えば、WiFiやブルートゥース(登録商標)等の無線通信規格に基づく近距離通信回線が含まれてもよい。
【0026】
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右の一対のクローラ1CL,1CR)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させることができる。
【0027】
例えば、図4に示すように、キャビン10の内部において、オペレータOP1は、運転席ST1に着座する。そして、オペレータOP1は、前方ウィンドウFWD、左方ウィンドウLWD、及び右方ウィンドウRWDを通じてショベル100の周囲を確認しながら、操作装置26を用いて、ショベル100を操作する。
【0028】
また、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成される。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン10のオペレータによる、操作装置26を用いたショベル100の操作、及びショベル100の外部のオペレータによるショベル100の遠隔操作の少なくとも一方が含まれる前提で説明を進める。
【0029】
また、ショベル100は、オペレータの操作に基づく半自動運転機能を有してもよい。半自動運転機能は、操作支援型のマシンコントロール(MC:Machine Control)機能とも称される。半自動運転機能は、オペレータの操作に応じて、操作対象の被駆動要素(アクチュエータ)に連動させるように、他の被駆動要素(アクチュエータ)を自動で動作させる機能である。
【0030】
<遠隔操作支援装置の概要>
遠隔操作支援装置200は、通信回線NWを通じて、ショベル100と通信可能に接続され、ショベル100の外部のオペレータによるショベル100の遠隔操作を支援する。
【0031】
例えば、遠隔操作には、遠隔操作支援装置200で行われるショベル100の被駆動要素(アクチュエータ)の操作に関する入力によって、ショベル100が操作される態様が含まれる。
【0032】
また、遠隔操作には、ショベル100の周囲の人(例えば、作業者)のショベル100に対する外部からの音声入力やジェスチャ入力等によって、ショベル100が操作される態様が含まれてもよい。具体的には、ショベル100は、自身に搭載される音声入力装置(例えば、マイクロフォン)やジェスチャ入力装置(例えば、撮像装置)等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル100は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を駆動してもよい。
【0033】
遠隔操作支援装置200は、例えば、ショベル100の作業を外部から管理する管理センタ等の作業現場の外部の施設に設けられる。この場合、例えば、図5に示すように、遠隔操作支援装置200が設置される施設には、ショベル100の外部のオペレータOP2がショベル100の遠隔操作を行うための運転席ST2を含む遠隔操作室RCRが設けられる。遠隔操作室RCRには、例えば、操作装置207A、及び表示装置208A~208Cが設けられる。そして、ショベル100の外部のオペレータOP2は、運転席ST2に着座し、表示装置208A~208Cに表示される、ショベル100の周辺のリアルタイムの画像を確認しながら、操作装置207Aを用いて、ショベル100の遠隔操作を行う。
【0034】
また、遠隔操作支援装置200は、可搬型の操作端末であってもよく、この場合、オペレータは、ショベル100の周辺からショベル100の作業状況を直接確認しながらショベル100の遠隔操作を行うことができる。
【0035】
例えば、ショベル100は、自身に搭載される通信装置60を通じて、自身に搭載される撮像装置40が出力する撮像画像に基づくショベル100の前方を含む周辺の様子を表す画像(以下、「周辺画像」)を遠隔操作支援装置200に送信する。また、ショベル100は、通信装置60を通じて、撮像装置40が出力する撮像画像を遠隔操作支援装置200に送信し、遠隔操作支援装置200は、ショベル100から受信する撮像画像を加工することで周辺画像を生成してもよい。そして、遠隔操作支援装置200は、ショベル100の前方を含む周辺の様子を表す周辺画像を自身の表示装置208(例えば、表示装置208A~208C)に表示させてよい。また、ショベル100のキャビン10の内部の出力装置50(表示装置50A)に表示される各種の情報画像(情報画面)は、同様に、遠隔操作支援装置200の表示装置208に表示されてもよい。これにより、遠隔操作支援装置200を利用するオペレータは、例えば、表示装置208に表示されるショベル100の周辺の様子を表す画像や情報画面等の表示内容を確認しながら、ショベル100を遠隔操作することができる。
【0036】
[遠隔操作支援システムSYSのハードウェア構成]
次に、図1図5に加えて、図6図7を参照して、遠隔操作支援システムSYSのハードウェア構成について説明する。
【0037】
<ショベルのハードウェア構成>
図6は、ショベル100のハードウェア構成の一例を示すブロック図である。
【0038】
尚、図6では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。
【0039】
ショベル100は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。
【0040】
≪油圧駆動系≫
図6に示すように、ショベル100の油圧駆動系は、上述の如く、下部走行体1(左右のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータHAを含む。また、本実施形態に係るショベル100の油圧駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブ17とを含む。
【0041】
油圧アクチュエータHAには、走行油圧モータ1ML,1MR、旋回油圧モータ2M、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
【0042】
尚、ショベル100は、油圧アクチュエータHAの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。
【0043】
エンジン11は、ショベル100の原動機であり、油圧駆動系におけるメイン動力源である。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、上部旋回体3の後部に搭載される。エンジン11は、例えば、後述するコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。
【0044】
尚、エンジン11に代えて、或いは、加えて、他の原動機(例えば、電動機)等がショベル100に搭載されてもよい。
【0045】
レギュレータ13は、コントローラ30の制御下で、メインポンプ14の吐出量を制御(調節)する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(以下、「傾転角」)を調節する。
【0046】
メインポンプ14は、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30の制御下で、レギュレータ13により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。
【0047】
コントロールバルブ17は、オペレータの操作装置26に対する操作や遠隔操作の内容、或いは、自動運転機能に対応する操作指令に応じて、油圧アクチュエータHAを駆動する。コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載される。コントロールバルブ17は、上述の如く、高圧油圧ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。コントロールバルブ17は、メインポンプ14から油圧アクチュエータHAのそれぞれに供給される作動油の流量と流れる方向を制御する方向切換弁17A~17Fを含む。
【0048】
方向切換弁17Aは、ブームシリンダ7に供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Aは、ブームシリンダ7を速度可変で伸縮させることができる。方向切換弁17Aは、例えば、スプール弁である。
【0049】
方向切換弁17Bは、アームシリンダ8に供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Bは、アームシリンダ8を速度可変で伸縮させることができる。方向切換弁17Bは、例えば、スプール弁である。
【0050】
方向切換弁17Cは、バケットシリンダ9に供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Cは、バケットシリンダ9を速度可変で伸縮させることができる。方向切換弁17Cは、例えば、スプール弁である。
【0051】
方向切換弁17Dは、走行油圧モータ1MLに供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Dは、走行油圧モータ1MLを速度可変で両方向に回転させることができる。方向切換弁17Dは、例えば、スプール弁である。
【0052】
方向切換弁17Eは、走行油圧モータ1MRに供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Eは、走行油圧モータ1MRを速度可変で両方向に回転させることができる。方向切換弁17Eは、例えば、スプール弁である。
【0053】
方向切換弁17Fは、旋回油圧モータ2Mに供給する作動油の流量及び流れる方向を制御する。これにより、方向切換弁17Fは、旋回油圧モータ2Mを速度可変で両方向に回転させることができる。方向切換弁17Fは、例えば、スプール弁である。
【0054】
≪操作系≫
図6に示すように、ショベル100の操作系は、パイロットポンプ15と、操作装置26と、油圧制御弁31とを含む。
【0055】
パイロットポンプ15は、パイロットライン25を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ15は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
【0056】
尚、パイロットポンプ15は、省略されてもよい。この場合、メインポンプ14から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。
【0057】
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置26は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータHAの操作を行うために用いられ、その結果として、油圧アクチュエータHAの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置26は、それぞれの被駆動要素(油圧アクチュエータHA)を操作するためのペダル装置やレバー装置を含む。
【0058】
例えば、図6に示すように、操作装置26は、電気式である。具体的には、操作装置26は、操作内容に応じた電気信号(以下、「操作信号」)を出力し、操作信号は、コントローラ30に取り込まれる。そして、コントローラ30は、操作信号の内容に応じた操作指令、つまり、操作装置26に対する操作内容に応じた操作指令(制御信号)を油圧制御弁31に出力する。これにより、油圧制御弁31からコントロールバルブ17に操作装置26の操作内容に応じたパイロット圧が入力され、コントロールバルブ17は、操作装置26の操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。
【0059】
また、コントロールバルブ17に内蔵される、それぞれの油圧アクチュエータHAを駆動する方向切換弁17A~17Fは、電磁ソレノイド式であってもよい。この場合、操作装置26から出力される操作信号がコントロールバルブ17に(即ち、電磁ソレノイド式の方向切換弁に)直接入力されてもよい。
【0060】
尚、操作装置26は、油圧パイロット式であってもよい。具体的には、操作装置26は、パイロットラインを通じてパイロットポンプ15から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットラインに出力する。そして、二次側のパイロットラインは、コントロールバルブ17に接続される。これにより、コントロールバルブ17には、操作装置26における各種被駆動要素(油圧アクチュエータHA)に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ17は、オペレータ等による操作装置26に対する操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。この場合、操作装置26の操作状態に関する情報を取得可能な操作状態センサが設けられ、操作状態センサの出力は、コントローラ30に取り込まれる。これにより、コントローラ30は、操作装置26の操作状態を把握することができる。操作状態センサは、例えば、操作装置26の二次側のパイロットラインのパイロット圧(操作圧)に関する情報を取得する圧力センサである。
【0061】
また、上述の如く、油圧アクチュエータHAの一部又は全部は電動アクチュエータに置換されてもよい。この場合、例えば、コントローラ30は、操作装置26の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた操作指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、操作装置26から電動アクチュエータ或いはドライバ等に操作信号が入力されることにより、電動アクチュエータが操作装置26で操作可能に構成されてもよい。
【0062】
油圧制御弁31は、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の動作方向(例えば、ブーム4の上げ方向及び下げ方向)ごとに設けられる。例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等を駆動するための複動式の油圧アクチュエータHAごとに、2つの油圧制御弁31が設けられる。具体的には、ブーム4、アーム5、バケット6、クローラ1CL、クローラ1CR、及び上部旋回体3のそれぞれに対応する油圧制御弁31A~31Fが設けられてよい(図8参照)。そして、油圧制御弁31A~31Fは、それぞれ、2つ設けられる。油圧制御弁31は、例えば、パイロットポンプ15とコントロールバルブ17との間のパイロットラインに設けられ、その流路面積(即ち、作動油が通流可能な断面積)を変更可能に構成されてよい。これにより、油圧制御弁31は、一次側のパイロットラインを通じて供給されるパイロットポンプ15の作動油を利用して、所定のパイロット圧を二次側のパイロットラインに出力することができる。そのため、油圧制御弁31は、コントローラ30からの操作指令に応じた所定のパイロット圧をコントロールバルブ17に作用させることができる。よって、例えば、コントローラ30は、油圧制御弁31から操作装置26の操作内容(操作信号)に応じたパイロット圧を直接的にコントロールバルブ17に供給させ、オペレータの操作に基づくショベル100の動作を実現することができる。
【0063】
また、コントローラ30は、油圧制御弁31を制御し、ショベル100の半自動運転機能を実現してもよい。具体的には、コントローラ30は、油圧制御弁31から半自動運転機能に対応する操作指令を油圧制御弁31に出力する。これにより、コントローラ30は、半自動運転機能によるショベル100の動作を実現することができる。
【0064】
また、コントローラ30は、油圧制御弁31を制御し、ショベル100の遠隔操作を実現してもよい。具体的には、コントローラ30は、通信装置60によって、遠隔操作支援装置200から受信される遠隔操作信号で指定される遠隔操作の内容に対応する操作指令を油圧制御弁31に出力する。これにより、コントローラ30は、油圧制御弁31から遠隔操作の内容に対応するパイロット圧をコントロールバルブ17に供給させ、外部のオペレータによる遠隔操作に基づくショベル100の動作を実現することができる。
【0065】
尚、操作装置26が油圧パイロット式である場合、操作装置26及び油圧制御弁31とコントロールバルブ17との間のパイロットラインには、シャトル弁が設けられてもよい。シャトル弁は、2つの入口ポートと1つの出口ポートを有し、2つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁は、油圧制御弁31と同様に、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の動作方向ごとに設けられる。例えば、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等を駆動するための複動式の油圧アクチュエータHAごとに、2つのシャトル弁が設けられる。シャトル弁の2つの入口ポートのうちの一方が操作装置26(具体的には、操作装置26に含まれる上述のレバー装置やペダル装置)の二次側のパイロットラインに接続され、他方が油圧制御弁31の二次側のパイロットラインに接続される。シャトル弁の出口ポートは、パイロットラインを通じて、コントロールバルブ17の対応する方向切換弁のパイロットポートに接続される。対応する方向切換弁とは、シャトル弁の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータHAを駆動する方向切換弁である。そのため、これらのシャトル弁は、それぞれ、操作装置26の二次側のパイロットラインのパイロット圧と油圧制御弁31の二次側のパイロットラインのパイロット圧のうちの高い方を、対応する方向切換弁のパイロットポートに作用させることができる。つまり、コントローラ30は、操作装置26の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁31から出力させることで、オペレータの操作装置26に対する操作に依らず、対応する方向切換弁を制御することができる。よって、コントローラ30は、オペレータの操作装置26に対する操作状態に依らず、被駆動要素(下部走行体1、上部旋回体3、ブーム4、アーム5、バケット6)の動作を制御し、半自動運転機能や遠隔操作機能を実現することができる。
【0066】
また、操作装置26が油圧パイロット式である場合、シャトル弁に加えて、操作装置26とシャトル弁との間のパイロットラインに減圧弁が設けられてもよい。減圧弁は、例えば、コントローラ30から入力される制御信号に応じて動作し、その流路面積を変更可能なように構成される。これにより、コントローラ30は、オペレータにより操作装置26が操作されている場合に、操作装置26から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ30は、操作装置26が操作されている場合であっても、操作装置26の操作に対応する油圧アクチュエータHAの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ30は、例えば、操作装置26が操作されている場合であっても、操作装置26から出力されるパイロット圧を減圧弁で減圧させ、油圧制御弁31から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ30は、油圧制御弁31及び減圧弁を制御することで、例えば、操作装置26の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ17内の方向切換弁のパイロットポートに確実に作用させることができる。よって、コントローラ30は、例えば、油圧制御弁31に加えて、減圧弁を制御することで、ショベル100の半自動運転機能や遠隔操作機能をより適切に実現することができる。
【0067】
≪ユーザインタフェース系≫
図6に示すように、ショベル100のユーザインタフェース系は、操作装置26と、出力装置50と、入力装置52とを含む。
【0068】
出力装置50は、ショベル100のユーザ(例えば、キャビン10のオペレータや外部の遠隔操作のオペレータ)やショベル100の周辺の人(例えば、作業者や作業車両の運転者)等に向けて各種情報を出力する。
【0069】
例えば、出力装置50は、視覚的な方法で各種情報を出力する照明機器や表示装置50A等を含む。照明機器は、例えば、警告灯(インジケータランプ)等である。表示装置50Aは、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。例えば、図2図3に示すように、照明機器や表示装置50Aは、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置50Aは、上部旋回体3の側面等に設けられ、ショベル100の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。
【0070】
また、出力装置50は、聴覚的な方法で各種情報を出力する音出力装置50Bを含んでもよい。音出力装置50Bには、例えば、ブザーやスピーカ等が含まれる。音出力装置50Bは、例えば、キャビン10の内部及び外部の少なくとも一方に設けられ、キャビン10の内部のオペレータやショベル100の周囲の人(作業者等)に聴覚的な方法で各種情報を出力する。
【0071】
また、出力装置50は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。
【0072】
入力装置52は、ショベル100のユーザからの各種入力を受け付け、受け付けられた入力に対応する信号は、コントローラ30に取り込まれる。例えば、図2図3に示すように、入力装置52は、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等からの入力を受け付ける。また、入力装置52は、例えば、上部旋回体3の側面等に設けられ、ショベル100の周辺の作業者等からの入力を受け付けてもよい。
【0073】
例えば、入力装置52は、ユーザからの機械的な操作による入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置26(レバー装置)に設けられるノブスイッチ等が含まれてよい。
【0074】
また、入力装置52は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。
【0075】
また、入力装置52は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。
【0076】
また、入力装置52は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。
【0077】
≪通信系≫
図6に示すように、本実施形態に係るショベル100の通信系は、通信装置60を含む。
【0078】
通信装置60は、外部の通信回線NWに接続し、ショベル100と別に設けられる装置と通信を行う。ショベル100と別に設けられる装置には、ショベル100の外部にある装置の他、ショベル100のユーザによってキャビン10に持ち込まれる可搬型の端末装置(携帯端末)が含まれてもよい。通信装置60は、例えば、4G(4th Generation)や5G(5th Generation)等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置60は、例えば、衛星通信モジュールを含んでもよい。また、通信装置60は、例えば、WiFi通信モジュールやブルートゥース(登録商標)通信モジュール等を含んでもよい。また、通信装置60は、接続可能な通信回線NWが複数ある場合、通信回線NWの種類に合わせて、複数の通信装置60を含んでもよい。
【0079】
例えば、通信装置60は、作業現場に構築される局所的な通信回線を通じて、作業現場内の遠隔操作支援装置200等の外部装置と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な5G(いわゆるローカル5G)による移動体通信回線やWiFi6によるローカルネットワークである。
【0080】
また、通信装置60は、作業現場を含む広域の通信回線、即ち、広域ネットワークを通じて、作業現場の外部にある遠隔操作支援装置200等の外部装置と通信を行ってもよい。
【0081】
≪制御系≫
図6に示すように、ショベル100の制御系は、コントローラ30を含む。また、本実施形態に係るショベル100の制御系は、撮像装置40と、撮像装置45と、センサS1~S6とを含む。
【0082】
コントローラ30は、ショベル100に関する各種制御を行う。
【0083】
コントローラ30の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図6に示すように、コントローラ30は、バスB1で接続される、補助記憶装置30A、メモリ装置30B、CPU(Central Processing Unit)30C、及びインタフェース装置30Dを含む。
【0084】
補助記憶装置30Aは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置30Aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリ等である。
【0085】
メモリ装置30Bは、例えば、プログラムの起動指示があった場合に、補助記憶装置30AのプログラムをCPU30Cが読み込み可能なようにロードする。メモリ装置30Bは、例えば、SRAM(Static Random Access Memory)である。
【0086】
CPU30Cは、例えば、メモリ装置30Bにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ30の各種機能を実現する。
【0087】
インタフェース装置30Dは、例えば、ショベル100の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置30Dは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでもよい。
【0088】
また、インタフェース装置30Dは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン10の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、SDメモリカードやUSB(Universal Serial Bus)メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ30の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ30の補助記憶装置30Aにインストールされうる。また、プログラムは、通信装置60を通じて、ショベル100の外部の他のコンピュータからダウンロードされ、補助記憶装置30Aにインストールされてもよい。
【0089】
尚、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、ショベル100に搭載される複数のコントローラにより分散して実現されてもよい。
【0090】
撮像装置40は、ショベル100の周辺の様子を表す画像を取得する。また、撮像装置40は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲(画角)内におけるショベル100の周辺の物体の位置及び外形を表す三次元データ(以下、単に「物体の三次元データ」)を取得(生成)してもよい。ショベル100の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。
【0091】
例えば、図2図3に示すように、撮像装置40は、上部旋回体3の前方を撮像する前方カメラ40Fを含む。また、撮像装置40は、上部旋回体3の後方を撮像する後方カメラ40Bや上部旋回体3の左方を撮像する左方カメラ40Lや上部旋回体3の右方を撮像する右方カメラ40R等を含んでもよい。これにより、撮像装置40は、ショベル100の上面視において、ショベル100を中心とする全周、即ち360度の角度方向に亘る範囲を撮像することができる。また、オペレータは、表示装置50Aや遠隔操作支援装置200の表示装置208を通じて、左方カメラ40L、右方カメラ40R、及び後方カメラ40Bの撮像画像に基づく周辺画像を視認し、上部旋回体3の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作支援装置200の表示装置208を通じて、前方カメラ40Fに基づく周辺画像を視認することで、バケット6を含むアタッチメントATの動作を確認しながら、ショベル100を遠隔操作することができる。
【0092】
撮像装置40は、例えば、単眼カメラである。また、撮像装置40は、例えば、ステレオカメラ、TOF(Time Of Flight)カメラ等(以下、包括的に「3Dカメラ」)のように、二次元の画像に加えて、距離(深度)に関するデータを取得可能であってもよい。
【0093】
撮像装置40の出力データ(例えば、画像データやショベル100の周辺の物体の三次元データ等)は、一対一の通信線や車載ネットワークを通じて、コントローラ30に取り込まれる。これにより、例えば、コントローラ30は、撮像装置40の出力データに基づき、ショベル100の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ30は、撮像装置40の出力データに基づき、ショベル100の周辺環境を判断することができる。また、例えば、コントローラ30は、撮像装置40(前方カメラ)の出力データに基づき、撮像画像に映るアタッチメントATの姿勢状態を判断することができる。また、例えば、コントローラ30は、撮像装置40の出力データに基づき、ショベル100の周辺の物体を基準として、ショベル100の機体(上部旋回体3)の姿勢状態を判断することができる。
【0094】
尚、撮像装置40の用途によっては、前方カメラ40F、後方カメラ40B、左方カメラ40L、及び右方カメラ40Rのうちの一部が省略されてもよい。また、ショベル100の周辺で外部のオペレータがショベル100や作業対象の地面を直接視認しながら遠隔操作を行うことが可能な場合、撮像装置40は省略されてもよい。
【0095】
また、撮像装置40に代えて、或いは、加えて、距離センサが上部旋回体3に設けられてもよい。距離センサは、例えば、上部旋回体3の上部に取り付けられ、ショベル100を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル100の周辺の物体の三次元データ(例えば、点群の座標情報のデータ)を取得(生成)してもよい。距離センサは、例えば、LIDAR(Light Detection and Ranging)である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。
【0096】
撮像装置45は、キャビン10の内部に設けられ、キャビン10の内部の様子を撮像する。例えば、図3に示すように、撮像装置45は、撮像範囲に運転席のオペレータOP1を含むように、レンズを運転席に向けて配置される。撮像装置45の出力は、コントローラ30に取り込まれる。
【0097】
尚、撮像装置45に代えて、或いは、加えて、距離センサがキャビン10の内部に設けられてもよい。この場合、距離センサは、運転席のオペレータOP1をセンシング範囲に含むように配置されてよい。
【0098】
センサS1は、ブーム4に取り付けられ、ブーム4の姿勢状態を測定する。センサS1は、ブーム4の姿勢状態を表す測定データを出力する。ブーム4の姿勢状態は、例えば、ブーム4の上部旋回体3との連結部に相当する基端の回転軸回りの姿勢角度(以下、「ブーム角度」)である。センサS1は、例えば、ロータリポテンショメータ、ロータリエンコーダ、加速度センサ、角加速度センサ、6軸センサ、IMU(Inertial Measurement Unit:慣性計測装置)等を含む。以下、センサS2~S4についても同様であってよい。また、センサS1は、ブームシリンダ7の伸縮位置を検出するシリンダセンサを含んでもよい。以下、センサS2,S3についても同様であってよい。センサS1の出力(ブーム4の姿勢状態を表す測定データ)は、コントローラ30に取り込まれる。これにより、コントローラ30は、ブーム4の姿勢状態を把握することができる。
【0099】
センサS2は、アーム5に取り付けられ、アーム5の姿勢状態を測定する。センサS2は、アーム5の姿勢状態を表す測定データを出力する。アーム5の姿勢状態は、例えば、アーム5のブーム4との連結部に相当する基端の回転軸回りの姿勢角度(以下、「アーム角度」)である。センサS2の出力(アーム5の姿勢状態を表す測定データ)は、コントローラ30に取り込まれる。これにより、コントローラ30は、アーム5の姿勢状態を把握することができる。
【0100】
センサS3は、バケット6に取り付けられ、バケット6の姿勢状態を測定する。センサS3は、バケット6の姿勢状態を表す測定データを出力する。バケット6の姿勢状態は、例えば、バケット6のアーム5との連結部に相当する基端の回転軸回りの姿勢角度(以下、バケット角度」)である。センサS3の出力(バケット6の姿勢状態を表す測定データ)は、コントローラ30に取り込まれる。これにより、コントローラ30は、バケット6の姿勢状態を把握することができる。
【0101】
センサS4は、ショベル100の機体(例えば、上部旋回体3)の姿勢状態を測定する。センサS4は、ショベル100の機体の姿勢状態を表す測定データを出力する。ショベル100の機体の姿勢状態は、例えば、所定の基準面(例えば、水平面)に対する機体の傾斜状態である。例えば、センサS4は、上部旋回体3に取り付けられ、ショベル100の前後方向及び左右方向の2軸回りの傾斜角度(以下、「前後傾斜角」及び「左右傾斜角」)を測定する。センサS4の出力(ショベル100の機体の姿勢状態を表す測定データ)は、コントローラ30に取り込まれる。これにより、コントローラ30は、機体(上部旋回体3)の姿勢状態(傾斜状態)を把握することができる。
【0102】
センサS5は、上部旋回体3に取り付けられ、上部旋回体3の旋回状態を測定する。センサS5は、上部旋回体3の旋回状態を表す測定データを出力する。センサS5は、例えば、上部旋回体3の旋回角速度や旋回角度を測定する。センサS5は、例えば、ジャイロセンサ、レゾルバ、ロータリエンコーダ等を含む。センサS5の出力(上部旋回体3の旋回状態を表す測定データ)は、コントローラ30に取り込まれる。これにより、コントローラ30は、上部旋回体3の旋回角度等の旋回状態を把握することができる。
【0103】
例えば、コントローラ30は、センサS1~S5の出力に基づき、アタッチメントATの先端(バケット6)の位置を把握(推定)することができる。そのため、コントローラ30は、アタッチメントATの先端の位置を把握しながら、ショベル100の自動運転機能による動作を制御することができる。
【0104】
尚、センサS4に3軸回りの角速度を検出可能なジャイロセンサ、6軸センサ、IMU等が含まれる場合、センサS4の検出信号に基づき上部旋回体3の旋回状態(例えば、旋回角速度)が検出されてもよい。この場合、センサS5は、省略されてもよい。
【0105】
センサS6は、ショベル100の位置を測定する。センサS6は、ワールド(グローバル)座標で位置を測定してもよいし、作業現場でのローカル座標で位置を測定してもよい。前者の場合、センサS6は、例えば、GNSS(Global Navigation Satellite System)センサである。後者の場合、センサS6は、作業現場の位置の基準となる機器と通信を行い、基準に対する位置に対応する信号を出力可能な送受信機である。センサS6の出力は、コントローラ30に取り込まれる。
【0106】
尚、ショベル100に半自動運転機能が搭載されない場合、センサS1~S6は省略されてもよい。
【0107】
<遠隔操作支援装置のハードウェア構成>
図7は、遠隔操作支援装置200のハードウェア構成の一例を示すブロック図である。
【0108】
遠隔操作支援装置200の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図7に示すように、遠隔操作支援装置200は、外部インタフェース201、補助記憶装置202、メモリ装置203、CPU204、撮像装置205、通信インタフェース206、入力装置207、表示装置208、及び音出力装置209を含む。これらは、バスB2で接続される。
【0109】
外部インタフェース201は、記録媒体201Aからデータの読み取りや記録媒体201Aへのデータの書き込みのためのインタフェースとして機能する。記録媒体201Aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、SDメモリカード、USBメモリ等が含まれる。これにより、遠隔操作支援装置200は、記録媒体201Aを通じて、処理で利用する各種データを読み込み、補助記憶装置202に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
【0110】
尚、遠隔操作支援装置200は、通信インタフェース206を通じて、外部装置から処理で利用する各種データやプログラムを取得してもよい。
【0111】
補助記憶装置202は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置202は、例えば、HDD(Hard Disc Drive)やSSD(Solid State Disc)やフラッシュメモリ等を含む。
【0112】
メモリ装置203は、プログラムの起動指示があった場合に、補助記憶装置202からプログラムを読み出して格納する。メモリ装置203は、例えば、DRAM(Dynamic Random Access Memory)やSRAMを含む。
【0113】
CPU204は、補助記憶装置202からメモリ装置203にロードされた各種プログラムを実行し、プログラムに従って遠隔操作支援装置200に関する各種機能を実現する。
【0114】
撮像装置205は、ショベル100の外部の遠隔操作を行うオペレータの様子を撮像する。
【0115】
例えば、図5に示すように、撮像装置205は、遠隔操作室RCRに配置され、撮像範囲に運転席のオペレータOP2を含むように、レンズを運転席に向けて配置される。また、遠隔操作支援装置200が携帯端末である場合、撮像装置205は、遠隔操作支援装置200(携帯端末)の筐体内に組み込まれ、レンズが表示装置208の近傍で筐体の外部に露出するように配置される。
【0116】
尚、撮像装置205に代えて、或いは、加えて、距離センサが設けられてもよい。
【0117】
通信インタフェース206は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、遠隔操作支援装置200は、通信インタフェース206を通じて、例えば、ショベル100等の外部機器と通信することができる。また、通信インタフェース206は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
【0118】
入力装置207は、ユーザから各種入力を受け付ける。例えば、入力装置207には、ショベル100の遠隔操作を行うための遠隔操作用の操作装置207Aが含まれる。
【0119】
入力装置207は、例えば、ユーザからの機械的な操作入力を受け付ける形態の入力装置(以下、「操作入力装置」)を含む。遠隔操作用の操作装置は、操作入力装置であってよい。操作入力装置は、例えば、ボタン、トグル、レバー、キーボード、マウス、表示装置208に実装されるタッチパネル、表示装置208とは別に設けられるタッチパッド等を含む。
【0120】
また、入力装置207は、ユーザからの音声入力を受付可能な音声入力装置を含んでもよい。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
【0121】
また、入力装置207は、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含んでもよい。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
【0122】
また、入力装置207は、ユーザからの生体入力を受付可能な生体入力装置を含んでもよい。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
【0123】
表示装置208は、遠隔操作支援装置200のユーザに向けて、情報画面や操作画面を表示する。表示装置208は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。例えば、表示装置208は、遠隔操作室RCRに設置される、表示装置208A~208Cを含む。
【0124】
音出力装置209は、遠隔操作支援装置200のユーザに向けて、音によって各種情報を伝える。音出力装置209は、例えば、ブザー、アラーム、スピーカ等である。
【0125】
[ショベルの操作に関する機能構成]
次に、図1図7に加えて、図8を参照して、遠隔操作支援システムSYSにおけるショベル100の操作に関する機能構成について説明する。
【0126】
図8は、遠隔操作支援システムSYSにおけるショベル100の操作に関する機能構成の一例を示す機能ブロック図である。
【0127】
<ショベルの機能構成>
図8に示すように、ショベル100のコントローラ30は、機能部として、ショベル操作切換部301と、操作権切換部302と、操作指令生成部303と、操作状況通知部304と、遠隔操作可能性通知部305と、通常操作可能性通知部306とを含む。
【0128】
ショベル操作切換部301は、キャビン10に搭乗するオペレータによりショベル100の操作(以下、「通常操作」)が行われる状態と、ショベル100の外部のオペレータによりショベル100の遠隔操作が行われる状態とを選択的に切り換える。具体的には、ショベル操作切換部301は、ショベル100の操作を行う権限(以下、「操作権」)がキャビン10のオペレータとショベル100の外部のオペレータとのどちらにあるかによって、通常操作の状態と遠隔操作の状態とを切り換える。
【0129】
ショベル操作切換部301は、キャビン10のオペレータに操作権がある場合、操作装置26に対する入力によるショベル100の操作(通常操作)を許可し、ショベル100の外部のオペレータによるショベル100の操作(遠隔操作)を禁止する。具体的には、ショベル操作切換部301は、キャビン10のオペレータに操作権がある場合、操作装置26に対する入力に対応する操作信号を操作指令生成部303に出力し、遠隔操作信号が入力されても、遠隔操作信号を操作指令生成部303に出力しない。一方、ショベル操作切換部301は、ショベル100の外部のオペレータに操作権がある場合、遠隔操作の入力に対応する遠隔操作信号を操作指令生成部303に出力し、操作装置26から操作信号が入力されても、操作信号を操作指令生成部303に出力しない。これにより、ショベル操作切換部301は、操作装置26に対する入力と、遠隔操作の入力とが同時に行われる場合であっても、予め規定されるルールに沿って、何れか一方の入力に応じて、ショベル100を動作させることができる。
【0130】
操作権切換部302は、キャビン10のオペレータに操作権がある状態と、ショベル100の外部のオペレータに操作権がある状態とを選択的に切り換える。
【0131】
例えば、操作権切換部302は、ショベル100の起動時において、ショベル100の操作権を所定の初期状態に設定する。所定の初期状態は、例えば、キャビン10のオペレータと、ショベル100の外部のオペレータとのうち、予め登録される優先権を有する何れか一方のオペレータに操作権が付与される状態である。優先権は、固定であってもよいし、ショベル100の管理者等によって、変更が可能であってもよい。また、所定の初期状態は、ショベル100のオペレータと、ショベル100の外部のオペレータとのうち、ショベル100を起動させた一方のオペレータに操作権が付与される状態であってもよい。例えば、キャビン10のオペレータは、キャビン10の内部でキースイッチをオンすることによりショベル100を起動させることができる。また、例えば、ショベル100の外部のオペレータは、入力装置207を用いて、所定の入力を行い、遠隔操作支援装置200からショベル100に起動指令を送信させることによって、ショベル100を起動させることができる。
【0132】
また、操作権切換部302は、キャビン10のオペレータと、ショベル100の外部のオペレータとのうちの操作権を有する一方のオペレータからの要求の入力に応じて、操作権を他方のオペレータに切り換えてもよい。この際、操作権を有するオペレータからの要求の入力に応じて、他方のオペレータに対する操作権の切り換えの許可の確認を取った上で、他方のオペレータに切り換えてもよい。この場合、操作権切換部302は、キャビン10の内部の表示装置50Aや遠隔操作支援装置200の表示装置208を通じて、他方のオペレータに操作権の切り換えの許可の確認を依頼してよい。そして、操作権切換部302は、キャビン10の内部の入力装置52や遠隔操作支援装置200の入力装置207により受け付けられる他のオペレータからの許可の確認の入力に応じて、オペレータの操作権の切り換えを行ってよい。
【0133】
また、操作権切換部302は、キャビン10のオペレータと、ショベル100の外部のオペレータとのうちの操作権を有さず且つ優先権を有する一方のオペレータからの要求の入力に応じて、ショベル100の操作権をその一方のオペレータに切り換えてもよい。
【0134】
操作指令生成部303は、ショベル操作切換部301から出力される信号、即ち、操作装置26に対する入力に対応する操作信号、又は遠隔操作の入力に対応する遠隔操作信号に応じて、油圧制御弁31A~31Fに対する操作指令を出力する。これにより、ショベル100は、操作装置26に対する入力や遠隔操作の入力に応じて、被駆動要素(油圧アクチュエータHA)を動作させることができる。
【0135】
具体的には、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、ブーム4(ブームシリンダ7)に関する操作の内容に応じて、ブームシリンダ7に対応する油圧制御弁31Aに対する操作指令を生成し出力する。
【0136】
また、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、アーム5(アームシリンダ8)に関する操作の内容に応じて、アームシリンダ8に対応する油圧制御弁31Bに対する操作指令を生成し出力する。
【0137】
また、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、バケット6(バケットシリンダ9)に関する操作の内容に応じて、バケットシリンダ9に対応する油圧制御弁31Cに対する操作指令を生成し出力する。
【0138】
また、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、クローラ1CL(走行油圧モータ1ML)に関する操作の内容に応じて、走行油圧モータ1MLに対応する油圧制御弁31Dに対する操作指令を生成し出力する。
【0139】
また、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、クローラ1CR(走行油圧モータ1MR)に関する操作の内容に応じて、走行油圧モータ1MRに対応する油圧制御弁31Eに対する操作指令を生成し出力する。
【0140】
また、操作指令生成部303は、操作信号或いは遠隔操作信号で指定される、上部旋回体3(旋回油圧モータ2M)に関する操作の内容に応じて、旋回油圧モータ2Mに対応する油圧制御弁31Fに対する操作指令を生成し出力する。
【0141】
操作状況通知部304は、ショベル100のオペレータに対して、ショベル100の操作状況に関する通知を行う。具体的には、操作状況通知部304は、ショベル100が通常操作されているか遠隔操作されているかをショベル100のオペレータに通知する。
【0142】
例えば、操作状況通知部304は、キャビン10のオペレータに対して、出力装置50を通じて、ショベル100の外部のオペレータによるショベル100の遠隔操作が行われているか否かを通知する。これにより、キャビン10のオペレータは、ショベル100の遠隔操作が現在行われているかどうかを把握することができる。
【0143】
また、例えば、操作状況通知部304は、ショベル100の外部のオペレータに対して、遠隔操作支援装置200を通じて、キャビン10のオペレータによるショベル100の通常操作が行われているか否かを通知する。具体的には、操作状況通知部304は、キャビン10のオペレータによるショベル100の通常操作が行われているか否かを表す通知信号を、通信装置60を通じて、遠隔操作支援装置200に送信する。これにより、遠隔操作支援装置200を使用する、ショベル100の外部のオペレータは、ショベル100の通常操作が現在行われているか否かを把握することができる。
【0144】
遠隔操作可能性通知部305は、キャビン10のオペレータに対して、出力装置50を通じて、ショベル100の遠隔操作が行われる可能性の有無を通知する。これにより、キャビン10のオペレータは、ショベル100の遠隔操作が行われる可能性があるか否かを把握することができる。
【0145】
例えば、遠隔操作可能性通知部305は、遠隔操作支援装置200から受信される、ショベル100の遠隔操作が行われる可能性の有無を表す通知信号に基づき、キャビン10のオペレータに対して、ショベル100の遠隔操作が行われる可能性の有無を通知する。
【0146】
また、遠隔操作可能性通知部305は、遠隔操作支援装置200から受信される、撮像装置205のリアルタイムの撮像画像に基づき、ショベル100の遠隔操作が行われる可能性の有無を判定し、判定結果をキャビン10のオペレータに通知してもよい。
【0147】
また、遠隔操作可能性通知部305は、遠隔操作支援装置200から受信される、撮像装置205のリアルタイムの撮像画像を表示装置50Aに表示させてもよい。キャビン10のオペレータは、撮像装置205のリアルタイムの撮像画像におけるオペレータの有無やオペレータの様子等からショベル100の遠隔操作が行われる可能性があるか否かを判断可能だからである。
【0148】
尚、コントローラ30は、操作状況通知部304及び遠隔操作可能性通知部305のうちの何れか一方のみを含んでもよい。
【0149】
通常操作可能性通知部306は、ショベル100の外部のオペレータに対して、ショベル100の通常操作が行われる可能性の有無に関する通知を行う。具体的には、通常操作可能性通知部306は、通信装置60を通じて、ショベル100の通常操作が行われる可能性の有無に関する通知信号を遠隔操作支援装置200に送信する。これにより、ショベル100の外部のオペレータは、遠隔操作支援装置200の表示装置208や音出力装置209等を通じて、ショベル100の通常操作が行われる可能性があるか否かを把握することができる。
【0150】
例えば、通常操作可能性通知部306は、撮像装置45の撮像画像に基づき、キャビン10の内部のオペレータの有無やオペレータの様子等を認識することにより、ショベル100の通常操作が行われる可能性の有無を判定する。そして、通常操作可能性通知部306は、通信装置60を通じて、判定結果を含む通知信号を遠隔操作支援装置200に送信する。
【0151】
また、通常操作可能性通知部306は、通信装置60を通じて、撮像装置45のリアルタイムの撮像画像を含む通知信号を遠隔操作支援装置200に送信してもよい。例えば、遠隔操作支援装置200は、撮像装置45のリアルタイムの撮像画像に基づき、キャビン10の内部のオペレータの有無やオペレータの様子等を認識することにより、ショベル100の通常操作の可能性の有無を判定することができるからである。また、例えば、撮像装置45のショベル100の外部のオペレータは、撮像装置45のリアルタイムの撮像画像におけるオペレータの有無やオペレータの様子等からショベル100のオペレータの様子を判断可能だからである。
【0152】
尚、後述の如く、遠隔操作支援装置200に、操作状況通知部2002及び通常操作可能性通知部2003のうちの操作状況通知部2002のみが含まれる場合、通常操作可能性通知部306は省略される。
【0153】
このように、コントローラ30は、ショベル100が遠隔操作されている場合や遠隔操作がされる可能性がある場合に、出力装置50を通じて、キャビン10のオペレータに対して、その旨を通知することができる。これにより、キャビン10のオペレータは、ショベル100の外部のオペレータによるショベル100の操作状況を適切に把握することができる。そのため、コントローラ30は、キャビン10のオペレータの予期しないタイミングで、ショベル100の外部のオペレータによるショベル100の遠隔操作に伴うショベル100の動作が生じるような事態を抑制することができる。
【0154】
<遠隔操作支援装置の機能構成>
図8に示すように、遠隔操作支援装置200は、機能部として、遠隔操作支援部2001と、操作状況通知部2002と、通常操作可能性通知部2003と、遠隔操作可能性通知部2004とを含む。
【0155】
遠隔操作支援部2001は、操作装置207Aに対する入力に応じて、遠隔操作信号を通信インタフェース206からショベル100に送信する。
【0156】
尚、ショベル100に対する直接のジェスチャ入力等のように、遠隔操作支援装置200を利用せずに遠隔操作の入力がされる場合、遠隔操作支援部2001は省略される。
【0157】
操作状況通知部2002は、遠隔操作支援装置200を利用する、ショベル100の外部のオペレータに対して、表示装置208や音出力装置209を通じて、キャビン10のオペレータによるショベル100の通常操作が行われているか否かを通知する。具体的には、操作状況通知部2002は、ショベル100(操作状況通知部304)から通信インタフェース206を通じて受信される通知信号に基づき、キャビン10のオペレータによるショベル100の通常操作が行われているか否かを通知することができる。
【0158】
通常操作可能性通知部2003は、遠隔操作支援装置200を利用する、ショベル100の外部のオペレータに対して、表示装置208や音出力装置209を通じて、ショベル100の通常操作が行われる可能性があるか否かを通知する。これにより、ショベル100の外部のオペレータは、遠隔操作支援装置200を通じて、ショベル100の通常操作が行われる可能性があるか否かを把握することができる。具体的には、通常操作可能性通知部2003は、ショベル100(通常操作可能性通知部306)から通信インタフェース206を通じて受信される通知信号に基づき、ショベル100の通常操作が行われる可能性があるか否かを通知することができる。
【0159】
例えば、通常操作可能性通知部2003は、ショベル100から通信インタフェース206を通じて受信される通知信号に含まれる、上述の判定結果に基づき、ショベル100の通常操作が行われる可能性があるか否かを通知する。
【0160】
また、通常操作可能性通知部2003は、ショベル100から通信インタフェース206を通じて受信される通知信号に含まれる、撮像装置45のリアルタイムの撮像画像に基づき、ショベル100の通常操作が行われる可能性の有無を判定してもよい。
【0161】
また、通常操作可能性通知部2003は、ショベル100から通信インタフェース206を通じて受信される通知信号に含まれる、撮像装置45のリアルタイムの撮像画像を表示装置208に表示させてもよい。ショベル100の外部のオペレータは、撮像装置45のリアルタイムの撮像画像におけるオペレータの有無やオペレータの様子等からショベル100の通常操作が行われる可能性があるか否かを判断可能だからである。
【0162】
尚、遠隔操作支援装置200は、操作状況通知部2002及び通常操作可能性通知部2003のうちの何れか一方のみを含んでもよい。
【0163】
遠隔操作可能性通知部2004は、キャビン10のオペレータに対して、ショベル100の遠隔操作が行われる可能性の有無に関する通知を行う。具体的には、遠隔操作可能性通知部2004は、通信インタフェース206を通じて、ショベル100の遠隔操作が行われる可能性の有無に関する通知信号をショベル100に送信する。これにより、キャビン10のオペレータは、ショベル100の出力装置50を通じて、ショベル100の遠隔操作が行われる可能性があるか否かを把握することができる。
【0164】
例えば、遠隔操作可能性通知部2004は、撮像装置205の撮像画像に基づき、撮像画像内のオペレータの有無やオペレータの様子等を認識することにより、ショベル100の遠隔操作が行われる可能性の有無を判定する。そして、遠隔操作可能性通知部2004は、通信インタフェース206を通じて、判定結果を含む通知信号をショベル100に送信する。
【0165】
また、遠隔操作可能性通知部2004は、通信インタフェース206を通じて、撮像装置205のリアルタイムの撮像画像を含む通知信号をショベル100に送信してもよい。
【0166】
尚、上述の如く、コントローラ30に、操作状況通知部304及び遠隔操作可能性通知部305のうちの操作状況通知部304のみが含まれる場合、遠隔操作可能性通知部2004は、省略される。
【0167】
このように、遠隔操作支援装置200は、ショベル100が通常操作されている場合や通常操作がされる可能性がある場合に、出力装置50を通じて、ショベル100の外部のオペレータに対して、その旨を通知することができる。これにより、ショベル100の外部のオペレータは、キャビン10のオペレータによるショベル100の操作状況を適切に把握することができる。そのため、遠隔操作支援装置200は、ショベル100の外部のオペレータの予期しないタイミングで、キャビン10のオペレータによるショベル100の通常操作に伴うショベル100の動作が生じるような事態を抑制することができる。
【0168】
[ショベルの遠隔操作の実施状況に関する通知処理]
次に、図9図10を参照して、コントローラ30により実行される、ショベル100の遠隔操作の実施状況に関する通知処理について説明する。
【0169】
<第1例>
図9は、ショベル100の遠隔操作の実施状況に関する通知処理の第1例を概略的に示すフローチャートである。
【0170】
本例では、コントローラ30が操作状況通知部304及び遠隔操作可能性通知部305のうちの操作状況通知部304のみを含む場合を前提として説明を行う。
【0171】
本フローチャートは、例えば、ショベル100の起動から停止までの稼働中において、所定の処理周期ごとに繰り返し実行される。以下、図10のフローチャートについても同様であってよい。
【0172】
図9に示すように、ステップS102にて、コントローラ30は、キャビン10にオペレータが搭乗中であるか否かを判定する。
【0173】
コントローラ30は、任意の方法で、キャビン10にオペレータが搭乗中であるか否かを判定してよい。例えば、コントローラ30は、撮像装置45の撮像画像に基づき、キャビン10にオペレータが搭乗中であるか否かを判定する。また、コントローラ30は、運転席近傍に設けられるゲートバーが運転席とキャビン10の入口との間をオペレータが通行可能な状態であるか否かによって、キャビン10にオペレータが搭乗中であるか否かを判定してもよい。
【0174】
コントローラ30は、キャビン10にオペレータが搭乗中である場合、ステップS104に進み、それ以外の場合、今回のフローチャートを終了する。
【0175】
尚、ステップS102の処理は、省略されてもよい。後述のステップS202についても同様であってよい。
【0176】
ステップS104にて、操作状況通知部304は、ショベル100の遠隔操作が行われているか否かを判定する。操作状況通知部304は、ショベル100の遠隔操作が行われている場合、ステップS106に進み、それ以外の場合、ステップS108に進む。
【0177】
ステップS106にて、操作状況通知部304は、キャビン10の出力装置50を通じて、ショベル100の遠隔操作が行われている旨の通知を出力する。
【0178】
一方、ステップS108にて、操作状況通知部304は、キャビン10の出力装置50を通じて、ショベル100の遠隔操作が行われていない旨の通知を出力する。
【0179】
ステップS106或いはステップS108の処理が完了すると、今回のフローチャートの処理を終了する。
【0180】
尚、ステップS108の処理は、省略されてもよい。
【0181】
このように、本例では、コントローラ30は、ショベル100の遠隔操作が行われている場合に、キャビン10のオペレータに対して、ショベル100の遠隔操作が行われている旨を通知することができる。
【0182】
<第2例>
図10は、ショベル100の遠隔操作の実施状況に関する通知処理の第2例を概略的に示すフローチャートである。
【0183】
本例では、コントローラ30が操作状況通知部304及び遠隔操作可能性通知部305の双方を含む場合を前提として説明を行う。
【0184】
図10に示すように、ステップS202,S204は、図9のステップS102,S104の処理と同じであるため、説明を省略する。
【0185】
ステップS204にて、操作状況通知部304は、ショベル100の遠隔操作が行われている場合、ステップS206に進み、それ以外の場合、ステップS208に進む。
【0186】
ステップS206は、図9のステップS106の処理と同じであるため、説明を省略する。
【0187】
一方、ステップS208にて、遠隔操作可能性通知部305は、遠隔操作支援装置200(遠隔操作可能性通知部2004)からの通知信号に基づき、ショベル100の外部のオペレータによりショベル100の遠隔操作が可能な状態にあるか否かを判定する。例えば、遠隔操作可能性通知部305は、遠隔操作室RCR(運転席ST2付近)にオペレータが在室しているか否かによって、ショベル100の外部のオペレータがショベル100の遠隔操作を可能な状態にあるか否かを判定する。
【0188】
遠隔操作可能性通知部305は、ショベル100の外部のオペレータがショベル100の遠隔操作を可能な状態にある場合、ステップS210に進み、それ以外の場合、ステップS212に進む。
【0189】
ステップS210にて、遠隔操作可能性通知部305は、キャビン10の出力装置50を通じて、ショベル100の外部のオペレータによるショベル100の遠隔操作の可能性がある旨の通知を出力する。例えば、上述の如く、遠隔操作室RCRにオペレータが在室しているか否かを判定する場合、遠隔操作可能性通知部305は、キャビン10の出力装置50を通じて、遠隔操作室RCRにオペレータが在室中である旨の通知を出力する。
【0190】
一方、ステップS212にて、遠隔操作可能性通知部305は、キャビン10の出力装置50を通じて、ショベル100の外部のオペレータによるショベル100の遠隔操作の可能性がない旨の通知を出力する。例えば、上述の如く、遠隔操作室RCRにオペレータが在室しているか否かを判定する場合、遠隔操作可能性通知部305は、キャビン10の出力装置50を通じて、遠隔操作室RCRにオペレータが不在である旨の通知を出力する。
【0191】
ステップS206、ステップS210、或いはステップS212の処理が完了すると、コントローラ30は、今回のフローチャートの処理を終了する。
【0192】
尚、ステップS212の処理は、省略されてもよい。
【0193】
このように、本例では、コントローラ30は、ショベル100の遠隔操作が行われておらず且つショベル100の遠隔操作が行われる可能性がある場合に、キャビン10のオペレータに対して、ショベル100の遠隔操作が行われる可能性がある旨を通知することができる。
【0194】
<他の例>
上述の如く、コントローラ30は、操作状況通知部304及び遠隔操作可能性通知部305のうちの遠隔操作可能性通知部305のみを含んでもよい。
【0195】
この場合、コントローラ30は、図10のステップS204,S206の処理を省略し、ステップS202の判定結果がYESの場合、ステップS208に進むようにすることで、ショベル100の遠隔操作の実施状況に関する処理を実現できる。
【0196】
このように、本例では、コントローラ30は、ショベル100の遠隔操作が行われている場合も含めて、ショベル100の遠隔操作が行われる可能性がある状況である場合に、キャビン10のオペレータに対して、ショベル100の遠隔操作が行われる可能性がある旨を通知することができる。
【0197】
[ショベルの通知操作の実施状況に関する通知処理]
次に、図11図12を参照して、遠隔操作支援装置200により実行される、ショベル100の通常操作の実施状況に関する通知処理について説明する。
【0198】
<第1例>
図11は、ショベル100の通常操作の実施状況に関する通知処理の第1例を概略的に示すフローチャートである。
【0199】
本例では、遠隔操作支援装置200が操作状況通知部2002及び通常操作可能性通知部2003のうちの操作状況通知部2002のみを含む場合を前提として説明を行う。
【0200】
本フローチャートは、例えば、遠隔操作支援装置200の起動から停止までの稼働中で、且つ、ショベル100の起動から停止までの稼働中において、所定の処理周期ごとに繰り返し実行される。以下、図12のフローチャートについても同様であってよい。
【0201】
図11に示すように、ステップS302にて、遠隔操作支援装置200は、撮像装置205の最新の撮像画像にオペレータが映っているか否かを判定する。例えば、遠隔操作支援装置200は、撮像装置205の最新の撮像画像の中の所定の画像領域に人の所定の部位が所定の大きさで含まれるように認識可能な場合に、オペレータが映っていると判定する。所定の画像領域は、例えば、撮像装置205が遠隔操作室RCRに設置される場合、運転席ST2の付近を表す撮像範囲に対応する画像領域である。また、所定の画像領域は、例えば、可搬型の遠隔操作支援装置200の筐体に撮像装置205が組み込まれる場合、撮像装置205の撮像画像の中の表示装置208を視認するオペレータの顔が含まれる画像領域に対応する。
【0202】
遠隔操作支援装置200は、撮像装置205の最新の撮像画像にオペレータが映っている場合、ステップS304に進み、それ以外の場合、今回のフローチャートの処理を終了する。
【0203】
尚、ステップS302の処理は、省略されてもよい。後述のステップS402についても同様であってよい。
【0204】
ステップS304にて、操作状況通知部2002は、キャビン10のオペレータによりショベル100が通常操作されているか否かを判定する。操作状況通知部2002は、キャビン10のオペレータによりショベル100が通常操作されている場合、ステップS306に進み、それ以外の場合、ステップS308に進む。
【0205】
ステップS306にて、操作状況通知部2002は、表示装置208や音出力装置209を通じて、キャビン10のオペレータによりショベル100が通常操作されている旨の通知を出力する。
【0206】
一方、ステップS308にて、操作状況通知部2002は、表示装置208や音出力装置209を通じて、キャビン10のオペレータによりショベル100が通常操作されていない旨の通知を出力する。
【0207】
ステップS306或いはステップS308の処理が完了すると、遠隔操作支援装置200は、今回のフローチャートの処理を終了する。
【0208】
尚、ステップS308の処理は、省略されてもよい。
【0209】
このように、本例では、遠隔操作支援装置200は、ショベル100の通常操作が行われている場合に、ショベル100の外部のオペレータに対して、ショベル100の通常操作が行われている旨を通知することができる。
【0210】
<第2例>
図12は、ショベル100の通常操作の実施状況に関する通知処理の第2例を概略的に示すフローチャートである。
【0211】
本例では、遠隔操作支援装置200が操作状況通知部2002及び通常操作可能性通知部2003の双方を含む場合を前提として説明を行う。
【0212】
図12に示すように、ステップS402,S404は、図11のステップS302,S304の処理と同じであるため、説明を省略する。
【0213】
ステップS404にて、操作状況通知部2002は、キャビン10のオペレータによりショベル100の通常操作が行われている場合、ステップS406に進み、それ以外の場合、ステップS408に進む。
【0214】
ステップS406は、図11のステップS306の処理と同じであるため、説明を省略する。
【0215】
一方、ステップS408にて、通常操作可能性通知部2003は、ショベル100(通常操作可能性通知部306)からの通知信号に基づき、キャビン10のオペレータによりショベル100の通常操作が可能な状態か否かを判定する。例えば、通常操作可能性通知部2003は、キャビン10にオペレータ(人)が搭乗しているか否かによって、ショベル100の通常操作が可能な状態にあるか否かを判定する。
【0216】
通常操作可能性通知部2003は、キャビン10のオペレータによりショベル100の通常操作が可能な状態である場合、ステップS410に進み、それ以外の場合、ステップS412に進む。
【0217】
ステップS410にて、通常操作可能性通知部2003は、表示装置208や音出力装置209を通じて、キャビン10のオペレータによるショベル100の通常操作の可能性がある旨の通知を出力する。例えば、上述の如く、キャビン10にオペレータが搭乗しているか否かを判定する場合、通常操作可能性通知部2003は、表示装置208や音出力装置209を通じて、キャビン10にオペレータが搭乗中である旨の通知を出力する。
【0218】
一方、ステップS412にて、通常操作可能性通知部2003は、表示装置208や音出力装置209を通じて、キャビン10のオペレータによるショベル100の通常操作の可能性がない旨の通知を出力する。例えば、上述の如く、キャビン10にオペレータが搭乗しているか否かを判定する場合、通常操作可能性通知部2003は、表示装置208や音出力装置209を通じて、キャビン10にオペレータが不在である旨の通知を出力する。
【0219】
ステップS406、ステップS410、或いはステップS412の処理が完了すると、遠隔操作支援装置200は、今回のフローチャートの処理を終了する。
【0220】
尚、ステップS412の処理は、省略されてもよい。
【0221】
このように、本例では、コントローラ30は、ショベル100の通常操作が行われておらず且つショベル100の通常操作が行われる可能性がある場合に、ショベル100の外部のオペレータに対して、ショベル100の通常操作が行われる可能性がある旨を通知することができる。
【0222】
<他の例>
上述の如く、遠隔操作支援装置200は、操作状況通知部2002及び通常操作可能性通知部2003のうちの通常操作可能性通知部2003のみを含んでもよい。
【0223】
この場合、遠隔操作支援装置200は、図12のステップS404,S406の処理を省略し、ステップS402の判定結果がYESの場合、ステップS408に進むようにすることで、ショベル100の通常操作の実施状況に関する処理を実現できる。
【0224】
このように、本例では、遠隔操作支援装置200は、ショベル100の通常操作が行われている場合も含めて、ショベル100の通常操作が行われる可能性がある状況である場合に、ショベル100の外部のオペレータに対して、ショベル100の通常操作が行われる可能性がある旨を通知することができる。
【0225】
[作用]
次に、本実施形態に係るショベル、及び遠隔操作支援装置の作用について説明する。
【0226】
第1のオペレータが作業機械に搭乗し、作業機械の操作をしている状態で、或いは、操作しようとしている状態で、作業機械の外部の第2のオペレータによって当該作業機械が遠隔操作される場合がありうる。
【0227】
例えば、作業機械に搭乗する第1のオペレータが作業機械の外部の第2のオペレータから作業機械の操作方法についての訓練を受ける場合がある。この場合、第1のオペレータが主に作業機械の操作を行いつつ、第2のオペレータが手本の操作を行うときがある。
【0228】
また、例えば、あるタイミングで、作業機械に搭乗する第1のオペレータから作業機械の外部の第2のオペレータに作業機械の操作を交代する場合がある。
【0229】
このような場合に、第1のオペレータが作業機械の操作を行うつもりの状況で、第1のオペレータと第2のオペレータとの意思の疎通に問題が生じると、第2のオペレータが操作権を取得し、作業機械の操作を開始してしまう可能性がある。すると、第1のオペレータの予期しないタイミングで、第2のオペレータの操作によって作業機械が動作をし、第1のオペレータは、作業機械の深刻な故障状態等と誤認しパニック状態に陥る可能性がある。
【0230】
これに対して、本実施形態では、作業機械は、アクチュエータと、運転席と、操作装置と、制御部と、通知部と、を備える。作業機械は、例えば、上述のショベル100である。アクチュエータは、例えば、上述の油圧アクチュエータHAである。運転席は、例えば、上述の運転席ST1である。操作装置は、例えば、上述の操作装置26である。制御部は、例えば、上述のコントローラ30である。通知部は、例えば、上述の出力装置50である。具体的には、操作装置には、運転席の第1のオペレータがアクチュエータの操作を行うための入力を行う。第1のオペレータは、例えば、上述のオペレータOP1である。また、制御部は、作業機械の外部からの遠隔操作の入力と、操作装置に対する入力との何れか一方に応じて、アクチュエータを動作させる。そして、通知部は、遠隔操作の入力に応じて、アクチュエータが動作している場合に、作業機械が遠隔操作されている旨を第1のオペレータに通知すること、及び遠隔操作の入力に応じてアクチュエータが動作する可能性がある場合に、作業機械が遠隔操作される可能性がある旨を第1のオペレータに通知することの少なくとも一方を行う。
【0231】
これにより、作業機械は、自身に搭乗している第1のオペレータに対して、作業機械が遠隔操作中であることを通知することができる。また、作業機械は、自身に搭乗している第1のオペレータに対して、遠隔操作される可能性があることを通知することができる。そのため、作業機械は、自身に搭乗している第1のオペレータに対して、作業機械の外部の第2のオペレータによる作業機械の操作状況を適切に把握させることができる。よって、作業機械は、第1のオペレータの予期しないタイミングで、第2のオペレータの操作に伴う作業機械の動作が発生するような事態を抑制することができる。
【0232】
また、本実施形態では、通知部は、作業機械が遠隔操作されているか否か、及び作業機械が遠隔操作される可能性があるか否かの少なくとも一方を第1のオペレータに通知してもよい。
【0233】
これにより、作業機械は、自身が遠隔操作されている場合だけでなく、遠隔操作がされていない場合もその旨を通知することができる。また、作業機械は、自身が遠隔操作される可能性がある場合だけでなく、その可能性がない場合もその旨を通知することができる。そのため、作業機械は、自身に搭乗している第1のオペレータに対して、作業機械の外部の第2のオペレータによる作業機械の操作状況をより適切に把握させることができる。
【0234】
また、本実施形態では、通知部は、第2のオペレータが遠隔操作の入力を行うことが可能な所定の場所にいる場合に、その旨を第1のオペレータに通知を行ってもよい。第2のオペレータは、例えば、上述のオペレータOP2である。所定の場所は、上述の遠隔操作室RCRの運転席ST2付近である。また、所定の場所は、例えば、上述の可搬型の遠隔操作支援装置200に対して、表示装置208を視認可能な場所である。
【0235】
これにより、作業機械は、自身に搭乗する第1のオペレータに対して、第2のオペレータが遠隔操作の入力を行うことが可能な状態にあることを把握させることができる。
【0236】
また、本実施形態では、通知部は、上記の所定の場所に第2のオペレータがいるか否かを第1のオペレータに通知してもよい。
【0237】
これにより、作業機械は、自身に搭乗する第1のオペレータに対して、第2のオペレータが遠隔操作の入力を行うことが可能な場合だけでなく、不可能な場合についても通知することができる。そのため、作業機械は、自身に搭乗している第1のオペレータに対して、作業機械の外部の第2のオペレータによる作業機械の操作状況をより適切に把握させることができる。
【0238】
また、本実施形態では、通知部は、第1のオペレータから視認可能な箇所に配置され、上記の所定の場所の現在の撮像画像を表示してもよい。
【0239】
これにより、作業機械は、所定の場所の現在の撮像画像を以て、第2のオペレータが遠隔操作の入力を行うことが可能な状態にあるか否かを把握させることができる。
【0240】
また、上記と同様、作業機械は、自身の外部の第3のオペレータ、自身の遠隔操作をしている状態で、或いは、操作しようとしている状態で、自身に搭乗する第4のオペレータによって操作される場合がありうる。
【0241】
例えば、作業機械に搭乗する第4のオペレータが作業機械の外部の第3のオペレータから作業機械の操作方法についての訓練を受ける場合がある。この場合、第4のオペレータが主に作業機械の操作を行いつつ、第3のオペレータが手本の操作を行うときがある。
【0242】
また、例えば、あるタイミングで、作業機械の外部の第3のオペレータから作業機械に搭乗する第4のオペレータに作業機械の操作を交代する場合がある。
【0243】
このような場合に、第3のオペレータが作業機械の遠隔操作を行うつもりの状況で、第3のオペレータと第4のオペレータとの意思の疎通に問題が生じると、第4のオペレータが操作権を取得し、作業機械の操作を開始してしまう可能性がある。すると、第3のオペレータの予期しないタイミングで、第4のオペレータの操作によって作業機械が動作をし、第3のオペレータは、作業機械の深刻な故障状態等と誤認しパニック状態に陥る可能性がある。
【0244】
これに対して、本実施形態では、遠隔操作支援装置は、通信部と、通知部と、を備える。遠隔操作支援装置は、例えば、上述の遠隔操作支援装置200である。通信部は、例えば、上述の通信インタフェース206である。通知部は、例えば、上述の表示装置208や音出力装置209である。具体的には、通信部は、作業機械の運転席付近に設けられる操作装置に対する入力、及び作業機械の外部からの遠隔操作の入力の何れか一方に応じて、アクチュエータが操作される作業機械と通信を行うために設けられる。作業機械は、例えば、上述のショベル100である。操作装置は、例えば、上述の操作装置26である。アクチュエータは、例えば、上述の油圧アクチュエータHAである。そして、通知部は、操作装置に対する入力によってアクチュエータが操作されている場合に、作業機械が操作装置に対する入力によって操作されていることを遠隔操作の入力を行う第3のオペレータに通知すること、及び操作装置に対する入力によってアクチュエータが操作される可能性がある場合に、作業機械が操作装置に対する入力によって操作される可能性があることを第3のオペレータに通知することの少なくとも一方を行う。第3のオペレータは、例えば、上述のオペレータOP2である。
【0245】
これにより、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、作業機械に搭乗中の第4のオペレータによって、作業機械が操作されていることを通知することができる。また、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、作業機械に搭乗中の第4のオペレータによって、作業機械が操作される可能性があることを通知することができる。そのため、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、作業機械に搭乗する第4のオペレータによる作業機械の操作状況を適切に把握させることができる。よって、遠隔操作支援装置は、第3のオペレータの予期しないタイミングで、第4のオペレータの操作に伴う作業機械の動作が発生するような事態を抑制することができる。
【0246】
また、本実施形態では、通知部は、作業機械が操作装置に対する入力によって操作されているか否か、及び作業機械が操作装置に対する入力によって操作される可能性があるか否かを第3のオペレータに通知してもよい。
【0247】
これにより、遠隔操作支援装置は、作業機械が第4のオペレータによる操作がされている場合だけでなく、第4のオペレータによる操作がされていない場合もその旨を通知することができる。また、作業機械は、作業機械が第4のオペレータによる操作がされる可能性がある場合だけでなく、その可能性がない場合もその旨を通知することができる。そのため、遠隔操作支援装置は、作業機械の外部の第2のオペレータに対して、作業機械に搭乗する第4のオペレータによる作業機械の操作状況をより適切に把握させることができる。
【0248】
また、本実施形態では、通知部は、運転席に第4のオペレータがいる場合に、その旨を第3のオペレータに通知してもよい。運転席は、例えば、上述の運転席ST1である。第4のオペレータは、例えば、オペレータOP1である。
【0249】
これにより、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、第4のオペレータが運転席にいることを通知することによって、第4のオペレータによる作業機械の操作がされる可能な状態にあることを把握させることができる。
【0250】
また、本実施形態では、通知部は、運転席に第4のオペレータがいるか否かを第3のオペレータに通知してもよい。
【0251】
これにより、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、第4のオペレータが操作装置に対する入力を行うことが可能な場合だけでなく、不可能な場合についても通知することができる。そのため、遠隔操作支援装置は、作業機械の外部の第3のオペレータに対して、作業機械に搭乗する第4オペレータによる作業機械の操作状況をより適切に把握させることができる。
【0252】
また、本実施形態では、通知部は、第3のオペレータから視認可能な箇所に配置され、運転席の現在の撮像画像を表示してもよい。
【0253】
これにより、遠隔操作支援装置は、作業機械の運転席の現在の撮像画像を以て、第4のオペレータが操作装置に対する入力を行うことが可能な状態にあるか否かを把握させることができる。
【0254】
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0255】
1 下部走行体
1C クローラ
1CL,1CR クローラ
1ML,1MR 走行油圧モータ
2M 旋回油圧モータ
3 上部旋回体
4 ブーム
5 アーム
6 バケット
7 ブームシリンダ
8 アームシリンダ
9 バケットシリンダ
10 キャビン
17 コントロールバルブ
26 操作装置
30 コントローラ
40 撮像装置
40B 後方カメラ
40F 前方カメラ
40L 左方カメラ
40R 右方カメラ
45 撮像装置
50 出力装置
50A 表示装置
50B 音出力装置
52 入力装置
60 通信装置
100 ショベル
200 遠隔操作支援装置
205 撮像装置
206 通信インタフェース
207 入力装置
207A 操作装置
208 表示装置
208A 表示装置
208B 表示装置
208C 表示装置
209 音出力装置
301 ショベル操作切換部
302 操作権切換部
303 操作指令生成部
304 操作状況通知部
305 遠隔操作可能性通知部
306 通常操作可能性通知部
2001 遠隔操作支援部
2002 操作状況通知部
2003 通常操作可能性通知部
2004 遠隔操作可能性通知部
AT アタッチメント
HA 油圧アクチュエータ
NW 通信回線
OP1 オペレータ
OP2 オペレータ
RCR 遠隔操作室
ST1 運転席
ST2 運転席
SYS 遠隔操作支援システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12