(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024068294
(43)【公開日】2024-05-20
(54)【発明の名称】作業機械の制御システム
(51)【国際特許分類】
E02F 9/20 20060101AFI20240513BHJP
E02F 9/24 20060101ALI20240513BHJP
【FI】
E02F9/20 N
E02F9/24 B
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022178625
(22)【出願日】2022-11-08
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】山本 泰広
【テーマコード(参考)】
2D003
2D015
【Fターム(参考)】
2D003AA01
2D003BA07
2D015GA03
2D015GB02
2D015GB06
2D015GB07
(57)【要約】
【課題】作業機械について適正な運用を行う。
【解決手段】作業機械の制御システム1000は、作業機械100と、当該作業機械100を遠隔操作する遠隔操作装置400と、遠隔操作装置400とは別に、作業機械100の動作を制限する端末300とを備える。この制御システム1000は、遠隔操作装置400により遠隔操作が行われる場合でも、遠隔操作装置400とは別の構成である端末300が作業機械100の動作制限Bを行うことができ、作業機械100を安全の観点化からより適正に運用する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
作業機械と、
当該作業機械を遠隔操作する遠隔操作装置と、
前記遠隔操作装置とは別に、前記作業機械の動作を制限する端末と、
を備える作業機械の制御システム。
【請求項2】
前記端末は、前記作業機械の動作の制限状態を解除する手段を有する
請求項1に記載の作業機械の制御システム。
【請求項3】
前記端末は、前記作業機械の動作速度を制限する又は前記作業機械の動作速度を漸減させて停止させる
請求項1に記載の作業機械の制御システム。
【請求項4】
複数の前記作業機械を有し、
前記端末は、前記複数の作業機械の動作を制限する
請求項1に記載の作業機械の制御システム。
【請求項5】
前記作業機械に関するログを記録するログ記録装置を有する
請求項1に記載の作業機械の制御システム。
【請求項6】
前記端末は、前記遠隔操作装置のオペレータに対する意思伝達手段を備える
請求項1に記載の作業機械の制御システム。
【請求項7】
前記端末は、前記意思伝達手段による意思伝達後に前記作業機械の動作の制限が可能となる
請求項6に記載の作業機械の制御システム。
【請求項8】
前記遠隔操作装置が、前記端末による前記作業機械の動作の制限の実施状態を提示する提示手段を備える
請求項1に記載の作業機械の制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業機械の制御システムに関する。
【背景技術】
【0002】
ショベル等の作業機械は、周囲で作業を行う作業員が信号発信機を携行し、安全確保の観点から、信号発信機から信号を発信して作業機械の搭乗者に通知を行ったり、旋回動作を制限する制御を行ったりしていた(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術は、作業機械に搭乗して操縦しているオペレータの支援を前提としており、遠隔操作が行われる作業機械の安全確保については考慮されていなかった。
本発明は、上記事情に鑑みてなされたもので、遠隔操作が行われる作業機械の安全面を考慮してより適正に運用することを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る作業機械の制御システムは、
作業機械と、
当該作業機械を遠隔操作する遠隔操作装置と、
前記遠隔操作装置とは別に、前記作業機械の動作を制限する端末と、
を備える構成である。
【発明の効果】
【0006】
本発明によれば、遠隔操作が行われる作業機械をより適正に運用することができる。
【図面の簡単な説明】
【0007】
【
図1】本実施形態に係るショベルの制御システムの概略構成を示すブロック図である。
【
図3】
図3(A)はショベルの座標系を示す説明図、
図3(B)は遠隔操作装置における遠隔操作座標系を示す説明図である。
【
図4】携行端末の概略構成を示すブロック図である。
【
図5】待機画面を表示した携行端末の正面図である。
【
図6】動作制限処理を実行する過程で表示される入力画面の一例である。
【
図7】動作制限処理を実行する過程で表示される入力画面の一例である。
【
図8】動作制限処理を実行する過程で表示される入力画面の一例である。
【
図9】遠隔操作装置の画像表示装置に表示される状態報知画面の一例である。
【
図10】一台のショベルに対する動作制限処理の開始から動作制限解除までの処理を示したフローチャートである。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
本実施形態では、作業機械としてのショベルの制御システムについて例示する。
図1は、ショベルの制御システム1000の概略構成を示すブロック図である。
この図に示すように、ショベル100は、管理装置200、遠隔操作装置400及び携行端末300とネットワークNWを通じて通信可能である。さらに、ショベル100を無人状態として遠隔操作装置400から操作することが可能である。
上記制御システム1000は、ショベル100、遠隔操作装置400、携行端末300を複数有する構成としてもよい。
【0009】
[ショベルの構成]
図2は、本実施形態に係るショベル100の側面図である。
図示のように、ショベル100は、下部走行体1と、旋回機構2を介して旋回可能に下部走行体1に搭載される上部旋回体3と、アタッチメント11としてのブーム4、アーム5及びバケット6と、オペレータが搭乗する運転席としてのキャビン10とを備える。アタッチメント11は、作業要素(例えば、バケット、クラッシャー、クレーン装置等)が設けられていれば、これに限られない。
【0010】
下部走行体1は、例えば、左右一対のクローラを含み、それぞれのクローラが走行油圧モータ(不図示)で油圧駆動されることにより、ショベル100を走行させる。
上部旋回体3は、旋回油圧モータ或いは電動機(共に不図示)等で駆動されることにより、下部走行体1に対して旋回する。
【0011】
ブーム4は、上部旋回体3の前部中央に俯仰可能に枢着され、ブーム4の先端には、アーム5が上下回動可能に枢着され、アーム5の先端には、バケット6が上下回動可能に枢着される。ブーム4、アーム5及びバケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9により油圧駆動される。
キャビン10は、例えば上部旋回体3の前部左側に搭載される。ショベル100は、コントローラ30の制御の下でアクチュエータを動作させ、下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等の被駆動要素を駆動する。
【0012】
ショベル100は、
図1に示すように、上記構成のほか、撮像装置40と、距離センサ41と、動作・姿勢状態センサ42と、位置センサ43と、方位センサ44と、操作装置45と、画像表示装置50と、音声出力装置60と、通信機器80と、コントローラ30と、記憶部46とを備える。
なお、ショベル100は、後述する遠隔操作装置400によって操作することができる。このため、ショベル100を、キャビン10、操作装置45、画像表示装置50及び音声出力装置60を搭載しない構成として、遠隔でのみ操作可能に構成してもよい。
【0013】
撮像装置40は、ショベル100の周辺を撮影してその画像をコントローラ30に出力する。撮像装置40は、例えば、ショベル100の前方を撮影する前方カメラ、後方を撮影する後方カメラ、左方を撮影する左方カメラ、右方を撮影する右方カメラを含む。各撮像装置40は、光軸が斜め下方に向くように設置され、ショベル100近傍の地面からショベル100の遠方までを含む上下方向の撮像範囲(画角)を有する。
【0014】
距離センサ41は、ショベル100の周辺の物体までの距離を測定してその情報(二次元又は三次元の距離情報)を取得する測距手段であり、取得した情報をコントローラ30に出力する。距離センサ41は、例えば、撮像装置40に対応してショベル100の前方、後方、左方、右方の4方の計測が可能なように設けられている。
【0015】
動作・姿勢状態センサ42は、ショベル100の動作状態や姿勢状態を検出するセンサであり、検出結果をコントローラ30に出力する。動作・姿勢状態センサ42は、ブーム角度センサと、アーム角度センサと、バケット角度センサと、三軸慣性センサ(IMU:Inertial Measurement Unit)と、旋回角度センサと、加速度センサとを含む。
これらのセンサは、ブーム等のシリンダのストロークセンサ、ロータリーエンコーダ等の回転情報を取得するセンサで構成されてもよく、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
ブーム角度センサは、上部旋回体3に対する所定角度を基準とするブーム4の回動角度(以下、「ブーム角度」と称する)を検出する。
アーム角度センサは、ブーム4を基準とするアーム5の回動角度(以下、「アーム角度」と称する)を検出する。
バケット角度センサは、アーム5を基準とするバケット6の回動角度(以下、「バケット角度」と称する)を検出する。
IMUは、ブーム4、アーム5の各々と上部旋回体3(アタッチメント11以外の箇所)に取り付けられている。そして、所定の三軸に沿ったブーム4、アーム5及び上部旋回体3の加速度、及び、所定の三軸廻りのブーム4、アーム5及び上部旋回体3の角加速度を検出する。また、上部旋回体3に設けられたIMUは、絶対的な水平面に対する上部旋回体3の傾斜角度を検出する。
旋回角度センサは、上部旋回体3の所定の角度方向を基準とする旋回角度を検出する。ただし、これに限られず、上部旋回体3に設けられたGNSSやIMUセンサに基づいて旋回角度が検出されてもよい。
加速度センサは、上部旋回体3の旋回軸から離れた位置に取り付けられ、上部旋回体3の当該位置における加速度を検出する。これにより、加速度センサの検出結果に基づき、上部旋回体3が旋回しているのか、或いは、下部走行体1が走行しているのか等が判別されうる。
【0016】
位置センサ43は、作業機械の位置情報を取得する位置情報取得部として機能し、例えば、上部旋回体3に装備される。
位置センサ43は、ショベル100の位置(現在位置)の情報を取得するセンサであり、本実施形態ではGNSS(Global Navigation Satellite System)受信機である。位置センサ43は、ショベル100の位置の情報を含む信号をGNSS衛星から受信し、取得したショベル100の位置情報をコントローラ30に出力する。なお、位置センサ43は、ショベル100の位置の情報を取得できるものであればGNSS受信機でなくともよく、例えばGNSS以外の衛星測位システムを利用するものであってもよい。また、位置センサ43は、下部走行体1に設けられていてもよい。
【0017】
方位センサ44は、上部旋回体3に設けられ、上部旋回体3が向いている方位(方向)の情報を取得するセンサであり、例えば地磁気センサである。方位センサ44は、上部旋回体3の方位の情報を取得して、コントローラ30に出力する。なお、方位センサ44は、上部旋回体3の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。例えばGNSS受信機を2つ設け、その位置情報の差異から方位情報を取得してもよい。
【0018】
操作装置45は、キャビン10の操縦席付近に設けられ、オペレータが各動作要素(下部走行体1、上部旋回体3、ブーム4、アーム5及びバケット6等)の操作を行う操作手段である。換言すれば、操作装置45は、各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。操作装置45は、例えばレバーやペダル、各種ボタン等を含み、これらの操作内容に応じた操作信号をコントローラ30に出力する。
また、操作装置45は、撮像装置40、距離センサ41、動作・姿勢状態センサ42、位置センサ43、画像表示装置50、音声出力装置60、通信機器80等の操作を行う操作手段でもあり、これら各部に対する操作指令をコントローラ30に出力する。
【0019】
画像表示装置50は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種画像情報を表示する。画像表示装置50は、例えば、LCD(liquid crystal display)、有機EL(Electro luminescence)ディスプレイ、無機ELディスプレイなどの表示パネルであり、操作装置45の少なくとも一部を兼ねるタッチパネル式であってもよい。
【0020】
音声出力装置60は、キャビン10内の操縦席の周辺に設けられ、コントローラ30による制御の下、オペレータに通知する各種音声情報を出力する。音声出力装置60は、例えば、スピーカやブザー等である。
【0021】
記憶部46は、各種のデータ等の情報を書き込み及び読み出し可能に記憶する不揮発性メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶素子又は記憶デバイスである。
【0022】
通信機器80は、所定の無線通信規格に基づき、所定の通信ネットワークNWを通じて、遠隔の外部機器である管理装置200、遠隔操作装置400、携行端末300、他のショベル100等と各種情報を送受信する通信デバイスである。通信ネットワークNWには、例えば、基地局を末端とする移動体通信網、上空の通信衛星を利用する衛星通信網、WiFiやブルートゥース(登録商標)等のプロトコルに準拠する近距離通信網、インターネット通信網等を含んでもよい。
【0023】
コントローラ30は、ショベル100各部の動作を制御してショベル100の駆動制御を行う制御装置である。コントローラ30は、キャビン10内に搭載される。コントローラ30は、その機能が任意のハードウェア、ソフトウェア、或いはその組み合わせにより実現されてよい。コントローラ30は、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ30は、これらの他にも、例えばFPGAやASICなどを含んで構成されてもよい。
【0024】
また、コントローラ30は、EEPROM(Electrically Erasable Programmable Read-Only Memory)等の内部メモリに規定される記憶領域を含む。
この記憶領域部には、ショベル100の各部を動作させるための各種プログラムや各種データ等を格納するほか、コントローラ30の作業領域としても機能する。
【0025】
また、ショベル100のコントローラ30は、所定の通信ネットワークNWを通じて、外部の管理装置200、遠隔操作装置400、携行端末300と相互に通信を行うことができる。コントローラ30は、通信により、管理装置200に対して相互に情報の送受信を行う。また、コントローラ30は、通信により、遠隔操作装置400又は携行端末300からの指令に従って、ショベル100の各構成の動作制御を実行する。
【0026】
また、コントローラ30は、ショベル100のキャビン10の操縦席に座るオペレータから見た視界画像である実画像データを生成する。実画像データは、遠隔操作装置400に送信するが、画像表示装置50に表示することもできる。
なお、実画像データの生成は、コントローラ30ではなく、管理装置200や遠隔操作装置400等、ショベル100以外の構成が行ってもよい。
【0027】
ここで、ショベル100の座標系について
図3(A)に基づいて説明する。以下、ショベル100の座標系をショベル座標系という。
ショベル座標系は、上部旋回体3上の基準点O1を原点とする3次元XYZ直交座標系であり、上部旋回体3の前後方向に平行に伸びるX軸、上部旋回体3の左右方向に平行に伸びるY軸、及び、X軸とY軸に直交するZ軸を有する。
図3(A)の例では、原点O1は上部旋回体3の旋回軸上にあり、高さは任意の値に設定することができる。
図3(A)の例では、ショベル100が水平面上に位置する場合、X軸とY軸は水平となり、Z軸は鉛直方向となる。
【0028】
所定の視点E1は、ショベル100のキャビン10の操縦席に座るオペレータの目の位置を想定した固定位置である。
コントローラ30は、視点E1からの視界の実画像データを生成する。実画像データは、撮像装置40の前方カメラによる撮像画像データを視点E1から見た撮像画像データに変換する処理によって生成される。
なお、視点E1からの視界の実画像をより広範囲で表示する場合には、前方カメラだけでなく、左方カメラ、右方カメラの撮像画像データも利用してもよい。その場合、各カメラの撮像画像データを視点E1からの撮像画像データに変換し、前方カメラの変換後の撮像画像データと合成して一つの実画像データを生成する。
そして、コントローラ30は、実画像データを通信機器80とネットワークNWを通じて遠隔操作装置400に送信する。
【0029】
[管理装置]
管理装置200(情報処理装置の一例)は、ショベル100と地理的に離れた位置に配置される。管理装置200は、例えば、ショベル100が作業する作業現場外に設けられる管理センタ等に設置され、一又は複数のサーバコンピュータ等を中心に構成されるサーバ装置である。この場合、サーバ装置は、制御システム1000を運用する事業者或いは当該事業者に関連する関連事業者が運営する自社サーバであってもよいし、レンタルサーバであってもよい。また、このサーバ装置は、いわゆるクラウドサーバであってもよい。また、管理装置200は、ショベル100の作業現場内の管理事務所等に配置されるサーバ装置(いわゆるエッジサーバ)であってもよいし、定置型或いは携帯型の汎用のコンピュータ端末であってもよい。
また、ネットワークNWを通じて繋がっている外部のクラウドにより管理装置200としての機能の提供を受けてもよい。
【0030】
管理装置200は、上述の如く、通信ネットワークNWを通じて、ショベル100、遠隔操作装置400、携行端末300と相互に通信を行うことができる。これにより、管理装置200は、ショベル100からアップロードされる各種情報、ショベル100に関するログを受信し、記憶(蓄積)しておくことができる。即ち、管理装置200は、ログ記録装置として機能する。
【0031】
管理装置200は、制御部210と記憶部220を備える。制御部210は、記憶部220に予め記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行する。
記憶部220は、各種のデータ及びログ221を記憶するとともに、制御部210の作業領域としても機能する。
【0032】
管理装置200が記録するログ221は、例えば、ショベル100を特定する固有の識別子、オペレータの氏名(遠隔操作が行われている場合には遠隔操作を行っているオペレータ)、ショベル100の各種動作が実行されたときの動作記録、ショベル100が保有する各種のセンサによる検出情報、ログ記録時の時刻、ショベル100の現在位置等である。
また、ショベル100は、携行端末300からの指令により動作制限が行われる場合があるが、動作制限が実行されたショベルの識別子、オペレータの氏名(遠隔操作が行われている場合には遠隔操作を行っているオペレータ)、実行の日時、実行時のショベル100の位置、通話記録等もログ221として記録される。
【0033】
[遠隔操作装置]
遠隔操作装置400は、ショベル100の遠隔操作を行う操作入力装置であり、一台の遠隔操作装置400が一台のショベル100に対応して遠隔操作を行う。
遠隔操作装置400は、
図1に示すように、遠隔操作を行うオペレータOPが座る運転席DSと、ショベル100の操縦及びその他の操作を行う操作装置404と、キャビン10からの視界の画像を表示する画像表示装置403とを備える。
さらに、遠隔操作装置400は、各種の処理を行うコントローラ410と、記憶部402と、通信機器401と、音声出力装置405と、マイクロフォン406とを備えている。
【0034】
操作装置404は、ショベル100の操作装置45と同じ構成からなり、ショベル100の各動作要素を駆動するそれぞれの油圧アクチュエータの操作を行う操作手段である。
操作装置404から出力されるショベル100に対する操作指令は、通信機器401及びネットワークNWを通じてショベル100のコントローラ30に送信される。そして、コントローラ30は、操作装置404からの操作指令に基づいてショベル100の各部の動作制御を実行する。
【0035】
画像表示装置403は、運転席DSの正面に設けられ、ショベル100のキャビン10から見える視界画像を表示するLCD、有機ELディスプレイ、無機ELディスプレイなどの表示パネルである。
なお、画像表示装置は、ヘッドマウントディスプレイから構成することも可能である。
記憶部402は、各種のデータ等の情報を書き込み及び読み出し可能に記憶する不揮発性メモリ、HDD、SSD等の記憶素子又は記憶デバイスである。
通信機器401は、所定の無線通信規格に基づき、所定の通信ネットワークNWを通じて管理装置200、ショベル100、携行端末300と各種情報を送受信する通信デバイスである。
【0036】
音声出力装置405は、オペレータOPに通知する各種音声情報の出力や、後述する携行端末300を携行する作業者Lとの音声通話に利用される。音声出力装置405は、例えば、スピーカである。
マイクロフォン406は、オペレータOPの発声を検出する。マイクロフォン406は、携行端末300を携行する作業者Lとの音声通話に利用される。
【0037】
コントローラ410は、ショベル100のコントローラ30を通じてショベル100の各部の動作を制御してショベル100の駆動制御を行う制御装置である。コントローラ410は、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成され、これらの他にも、例えばFPGAやASICなどを含んで構成されてもよい。
【0038】
また、コントローラ410は、ショベル100のコントローラ30から受信する実画像データに基づいて、キャビン10からの視界画像を画像表示装置403に表示させる。
【0039】
ここで、コントローラ410が画像表示装置403に表示させる視界画像について説明する。
図3(B)は遠隔操作装置400における所定の位置を原点O2とする遠隔操作座標系を示す説明図である。
遠隔操作座標系は、3次元UVW直交座標系であり、運転席DSの前後方向に平行に伸びるU軸、運転席DSの左右方向に平行に伸びるV軸、及び、U軸とV軸に直交するW軸を有する。
ショベル座標系のX軸は遠隔操作座標系のU軸に対応し、Y軸は遠隔操作座標系のV軸に対応し、Z軸は遠隔操作座標系のW軸に対応している。
【0040】
本実施形態では、遠隔操作座標系における各三次元座標の各位置と、ショベル座標系における三次元座標の各位置とは、一対一の関係で予め対応付けられている。そのため、遠隔操作装置400におけるオペレータOPの目の位置である視点E1の遠隔操作座標系の三次元座標が決まれば、ショベル座標系における視点E1の三次元座標は一意に決まる。なお、オペレータOPの視点E1の位置は、運転席DSに座るオペレータOPの左目と右目の位置をカメラの撮像により検出してその中点から視点E1を求めてもよい。
【0041】
コントローラ410は、上記遠隔操作装置400におけるオペレータOPの視点E1のショベル座標系における三次元座標と、先に説明したショベル100に定められた視点E1の三次元座標とのズレ量を算出する。
そして、コントローラ410は、ショベル100の視点E1からの視界画像を示す実画像データを遠隔操作装置400におけるオペレータOPの視点E1から見た視界画像となるように、視点の変換処理を実行する。
そして、ショベル100からの実画像データに対して、視点の変換処理を行った画像を画像表示装置403に表示する。
【0042】
また、画像表示装置としてヘッドマウントディスプレイを利用する場合には、運転席DSとヘッドマウントディスプレイにGNSS受信機等の位置センサを搭載する。また、ヘッドマウントディスプレイには、その向きを検出する方位センサ、その姿勢を検出するIMU等の姿勢センサを搭載する。これにより、遠隔操作座標系におけるヘッドマウントディスプレイの位置、向き及び姿勢から運転席DSに座るオペレータOPの視点E1を検出して、オペレータOPの視点E1をショベル座標系に変換する。そして、ショベル100の視点E1からの視界画像を示す実画像データをオペレータOPの視点E1から見た視界画像となるように視点の変換処理を実行して、ヘッドマウントディスプレイに表示する。
【0043】
以上により、遠隔操作装置400のオペレータOPは、視覚的に、あたかも、ショベル100のキャビン10で操縦を行っているように、遠隔操作を行うことができる。
【0044】
なお、遠隔操作装置400におけるオペレータOPの視点E1のショベル座標系における三次元座標とショベル100に定められた視点E1の三次元座標とのズレ量が小さい場合には、ショベル100からの実画像データに基づく視界画像をそのまま画像表示装置403に表示させてもよい。
【0045】
[携行端末]
図4は携行端末300の概略構成を示すブロック図である。
携行端末300は、ショベル100の外部から緊急的にショベル100の動作を制限する端末として機能する。
携行端末300は、複数台のショベル100にも個別に動作を制限する指令を送ることができる。
携行端末300は、ショベル100のコントローラ30に対して動作制限指令を送信可能な端末であればよく、可搬性を有することが好ましい。例えば、スマートフォン、タブレット、携行型のPC(パーソナルコンピュータ)等を利用することができる。
ここでは、携行端末300としてスマートフォンを利用する場合を例示する。
【0046】
図4に示すように、携行端末300は、画像表示装置301、入力装置302、位置センサ303、方位センサ304、姿勢センサ305、音声出力装置306、マイクロフォン307、記憶部308、通信機器309、コントローラ310とを備える。
【0047】
画像表示装置301は、LCD、有機ELディスプレイ、無機ELディスプレイなどの表示パネルを有し、当該表示パネルの表示画面上に入力画面を表示する。
入力装置302は、画像表示装置301の表面に設けられ、指又は入力ペンの接触又は接近位置を検出する透明のセンサである。当該センサは、感圧式、静電容量方式、電磁誘導方式等、いずれの方式であってもよい。
【0048】
画像表示装置301は、コントローラ310の制御により、その表示面に対する指又は入力ペンの接触又は接近によって各種の入力を行うための入力画面を表示する。そして、入力装置302が入力画面に対する指又は入力ペンの接触又は接近位置を検出することで、コントローラ310は、作業者Lから入力された内容を認識することができる。
【0049】
位置センサ303は、携行端末300の現在位置の情報を取得するセンサであり、例えば、GNSS受信機である。位置センサ303は、携行端末300の位置の情報を含む信号をGNSS衛星から受信し、取得した携行端末300の位置情報をコントローラ310に出力する。なお、位置センサ303は、携行端末300の位置の情報を取得できるものであればGNSS受信機でなくともよく、例えば、GNSS以外の衛星測位システムを利用するものであってもよい。
【0050】
方位センサ304は、携行端末300の筐体内に設けられ、携行端末300が向いている方位(方向)の情報を取得するセンサであり、例えば地磁気センサである。方位センサ304は、携行端末300の方位の情報を取得して、コントローラ310に出力する。なお、方位センサ304は、携行端末300の方位の情報を取得できればよく、そのセンサ種別等は特に限定されない。
【0051】
姿勢センサ305は、携行端末300の姿勢状態を検出するセンサであり、検出結果をコントローラ310に出力する。姿勢センサ305は、三軸慣性センサ(IMU:Inertial Measurement Unit)と、旋回角度センサと、加速度センサとを含む。これらのセンサは、IMUで取得される加速度(速度、位置も含んでもよい)により代替されてもよい。
【0052】
音声出力装置306は、携行端末300を携行する作業者Lが遠隔操作装置400のオペレータOPと音声通話を行う際に利用される。音声出力装置306は、例えば、スピーカである。
マイクロフォン307は、作業者Lの発声を検出する。マイクロフォン307は、作業者LがオペレータOPとの音声通話を行う際に利用される。
音声出力装置306とマイクロフォン307は、遠隔操作装置400のオペレータOPに対する意思伝達手段に相当する。なお、意思伝達手段は、音声通話に限らず、文字情報の送受信手段であってもよい。また、最小限の意思伝達を行う手段(例えば、イエスとノーをランプ表示等で行う等)であってもよい。遠隔操作装置400側も同じである。
【0053】
記憶部308は、各種のプログラム、データ等の情報を書き込み及び読み出し可能に記憶する不揮発性メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶素子又は記憶デバイスである。
【0054】
通信機器309は、所定の無線通信規格に基づき、通信ネットワークNWを通じて、遠隔の外部機器である管理装置200、遠隔操作装置400、ショベル100等と各種情報を送受信する通信デバイスである。
【0055】
コントローラ310は、例えば、CPU,RAM,ROM,I/O等を含むマイクロコンピュータを中心に構成される。コントローラ310は、これらの他にも、例えばFPGAやASICなどを含んで構成されてもよい。
また、コントローラ310は、EEPROM等の内部メモリに規定される記憶領域を含む。
【0056】
コントローラ310は、上述した各構成との協働によりショベル100に対する動作制限処理を実行する。
動作制限処理の内容について、
図5~
図10に基づいて説明する。
図5は動作制限処理の実行の前後で表示される待機画面G1を表示した携行端末300の正面図、
図6~
図8は動作制限処理を実行する過程で表示される各種の入力画面G2~G4を示し、
図10は後述するショベル100Aに対する動作制限処理のフローチャートである。
【0057】
コントローラ310は、動作制限処理を実行する際に、通信ネットワークNWを通じて接続可能な複数の中から選択された一台のショベル100に対し、又は、一括的に全てのショベル100に対し、動作制限指令を送信することができる。
ここでは、三台のショベル100を動作制限処理の対象とする場合を例示するが、対象とする台数はこれに限定されない。なお、便宜上、三台のショベル100をそれぞれショベル100A,100B,100Cと区別して説明する場合がある。
【0058】
また、動作制限指令によって各ショベル100のコントローラ30に実行させる動作制限は、後述する複数のパターンを有し、その中から一つのパターンを事前に選択設定しておくことができる。
動作制限のパターンとしては、ショベル100の即時停止、動作速度を制限する速度制限、動作速度の漸減による緩慢な停止の三つが挙げられる。なお、これらのパターンに限定されず、より多くの動作制限のパターンを用意してもよい。
また、動作制限の対象は、ショベル100の全ての動作とする場合と、走行、旋回又はアタッチメント11の動作のいずれか一つ又は複数の組み合わせとする場合とを選択することができる。これらの選択も事前に設定しておくことができる。
【0059】
コントローラ310は、動作制限処理の実行前には、画像表示装置301に待機画面G1を常態的に表示させる。
この待機画面G1には、携行端末300に登録されている複数のショベル100A~100Cに対して個別に動作制限を実行させる実行ボタンB1~B3と、各ショベル100A~100Cに対する動作制限を解除する解除ボタンB4~B6と、携行端末300に登録されている全てのショベル100A~100Cに対して一括的に動作制限を実行させる一括実行ボタンB7と、各ショベル100A~100Cの所在を示す矢印Y1~Y3とが表示される。
【0060】
待機画面G1において、矢印Y1~Y3は、ショベル100A~100Cに個別に対応して、携行端末300から見て各ショベル100A~100Cの存在する方向を常に指し示すことができる。
矢印Y1~Y3は、対応するショベル100A~100Cのそれぞれの実行ボタンB1~B3の上隣りに表示される。
携行端末300と各ショベル100A~100Cは、いずれも、位置センサ303,43を備えている。このため、コントローラ310は、各ショベル100A~100Cのコントローラ30に対して位置センサ43の検出した現在位置情報を要求し取得する。これにより、コントローラ310は、携行端末300と各ショベル100A~100Cとの相対的な位置関係を把握することができる。
さらに、携行端末300は、方位センサ304と姿勢センサ305とを備えているので、画像表示装置301の表示面が、現在、いずれの方向を向いており、いずれの方向に傾斜しているかを検出することができる。
従って、携行端末300から各ショベル100A~100Cに向けたベクトルを画像表示装置301の表示面上に投影することで、矢印Y1~Y3の各々を対応するショベル100A~100Cの位置する方向に向けて表示することができる。
作業者Lは、動作制限を行う必要があると判断したショベル100を目視により確認した場合に、当該ショベル100が位置する方向と向きが一致する矢印が矢印Y1~Y3のいずれであるかを特定することができる。
さらに、動作制限すべきショベル100の動作制限を実行させるのが実行ボタンB1~B3のいずれであるかを即座に判断することができる。
【0061】
待機画面G1において、入力装置302により実行ボタンB1~B3のいずれかに対するタッチ操作(指又は入力ペンの接触又は接近)が検出されると、コントローラ310は、選択されたショベル100のコントローラ30に対して動作制限指令を送信する準備段階に移行する。
さらに、この準備段階から実際に動作制限指令が送信されるまでには、さらにもう一段階の工程が必要となる。
【0062】
また、既に動作制限指令の送信が行われたいずれかのショベル100について、解除ボタンB4~B6に対するタッチ操作が検出されると、コントローラ310は、対応するショベル100のコントローラ30に対して解除指令を送信する準備段階に移行する。
この場合も、この準備段階から実際に解除指令が送信されるまでには、さらにもう一段階の工程が必要となる。
なお、待機画面G1には、各ショベル100A~100Cに対して個別に動作制限を解除する解除ボタンB4~B6しか設けられていない。但し、待機画面G1に、登録されている全てのショベル100に対して、一括的に動作制限を解除する一括解除ボタンを設けてもよい。
【0063】
ここで、待機画面G1により、ショベル100A(機体Aとする)が選択されて動作制限指令の送信が行われ、さらに解除されるまでの処理の流れを
図10のフローチャートに基づいて説明する。
【0064】
入力装置302により実行ボタンB1に対するタッチ操作が検出されると、コントローラ310は、ショベル100Aの遠隔操作装置400に対して通話接続を要求する(ステップS1)。
これに対して、遠隔操作装置400側での通信回線の接続の不調等によって通話を行う回線が接続できなかった場合には、コントローラ310は、ステップS7に処理を進める。
また、通話を行う回線が接続できた場合には、コントローラ310は、画像表示装置301に
図6に示す入力画面G2をホップアップ画面で表示させる(ステップS3)。入力画面G2は、通話接続状態画面である。
【0065】
この入力画面G2には、ショベル100Aを遠隔操作するオペレータOPとの通話が可能である状態を示すメッセージと、通話回線の切断を入力する通話終了ボタンB11とが表示される。
携行端末300を携行している作業者Lは、音声出力装置306及びマイクロフォン307を通じて、例えば、ショベル100Aの動作制限を実行する判断に至った経緯をオペレータOPに説明したり、オペレータOPからショベル100Aの異常の有無やその発生原因等の説明を受けたりすることができる。
【0066】
次いで、コントローラ310は、入力画面G2の通話終了ボタンB11に対するタッチ操作が検出されるまで、通話の終了の有無を繰り返し判定する(ステップS5)。
そして、通話終了ボタンB11に対するタッチ操作が検出されると、コントローラ310は、画像表示装置301に
図7に示す入力画面G3をホップアップ画面で表示させる(ステップS7)。
また、ステップS1において、ショベル100Aに対する回線が接続できなかった場合にも、入力画面G3の表示が行われる。入力画面G3は、ショベル100Aの動作制限実行の最終確認画面である。
【0067】
この入力画面G3には、ショベル100Aに対する動作制限指令の送信の決定を確認するメッセージと、送信の決定を示す確定ボタンB21(「YES」の表記)と、送信を取り止める取り消しボタンB22(「NO」の表記)とが表示される。
このように、動作制限処理では、原則として、オペレータOPとの通話という工程を経ることで、ショベル100Aに対する動作制限指令の送信が可能となる。
これにより、不要な動作制限の実行を抑制している。
【0068】
コントローラ310は、入力画面G3の取り消しボタンB22に対するタッチ操作が検出されると、動作制限を実行することなく動作制限処理を終了する。
一方、確定ボタンB21に対するタッチ操作が検出されると、コントローラ310は、ショベル100Aのコントローラ30に対して、動作制限指令を送信する(ステップS9)。
【0069】
ショベル100Aのコントローラ30は、動作制限指令を受信すると、現在実行中の遠隔操作装置400等からの動作指令をキャンセルして動作制限指令に従う。即ち、動作制限指令の内容の設定に応じて、ショベル100Aの全体動作又は走行、旋回又はアタッチメント11のいずれかの動作について、即時停止、速度制限又は緩慢な停止のいずれかを実行する。
【0070】
さらに、コントローラ310は、ショベル100Aに対する動作制限実行の動作記録、動作制限の内容、ショベル100Aの識別子、通話記録、ショベル100Aの現在位置等の情報を管理装置200に送信する(ステップS11)。管理装置200では、これを受信して、管理装置200が保有するショベル100Aの情報及び受信時刻と共にログ221として記録する。
【0071】
ショベル100Aに対する動作制限指令が送信されると、コントローラ310は、画像表示装置301を待機画面G1の表示状態に戻す。このとき、待機画面G1の実行ボタンB1は、ショベル100Aの動作制限が実行中であることが分かるように、動作制限が解除されるまでの間、他の実行ボタンB2,B3と異なる色彩とする、点滅状態とする等、視覚的に区別可能に表示することが好ましい。
【0072】
そして、ショベル100Aに対する動作制限指令の解除の有無を判定する(ステップS13)。即ち、コントローラ310は、待機画面G1の解除ボタンB4に対するタッチ操作の検出に基づく動作制限指令の解除の有無を繰り返し判定する。
【0073】
そして、解除ボタンB4に対するタッチ操作が検出されると、コントローラ310は、画像表示装置301に
図8に示す入力画面G4をホップアップ画面で表示させる。入力画面G4は、ショベル100Aの動作制限の解除の確認画面である。
この入力画面G4には、ショベル100Aに対する動作制限指令の解除の決定を確認するメッセージと、解除の決定を示す確定ボタンB31(「YES」の表記)と、解除の取り消しを示す取消ボタンB32(「NO」の表記)と、オペレータOPとの通話を実行する通話ボタンB33とが表示される。
【0074】
コントローラ310は、入力画面G4の表示状態において、取消ボタンB32に対するタッチ操作の有無を判定する(ステップS15)。
そして、取消ボタンB32に対するタッチ操作が検出されると、コントローラ310は、ステップS13に処理を戻して、画像表示装置301を待機画面G1の表示状態に戻す。
【0075】
また、取消ボタンB32に対するタッチ操作が検出されない場合には、コントローラ310は、通話ボタンB33に対するタッチ操作の有無を判定する(ステップS17)。
そして、通話ボタンB33に対するタッチ操作が検出されない場合には、ステップS25に処理を進める。
【0076】
一方、通話ボタンB33に対するタッチ操作が検出されると、コントローラ310は、ショベル100Aの遠隔操作装置400に対して通話接続を要求する(ステップS19)。
この要求に対して、通話を行う回線が接続できなかった場合には、コントローラ310は、ステップS25に処理を進める。
また、通話を行う回線が接続できた場合には、コントローラ310は、画像表示装置301に、通話接続状態画面である入力画面G2(
図6)をホップアップ画面で表示させる(ステップS21)。
【0077】
作業者Lは、音声出力装置306及びマイクロフォン307を通じて、オペレータOPに対して、ショベル100Aの異常からの回復の状況やショベル100Aの動作制限の解除の是非を確認することができる。
【0078】
次いで、コントローラ310は、入力画面G2の通話終了ボタンB11に対するタッチ操作が検出されるまで、通話の終了の有無を繰り返し判定する(ステップS23)。
そして、通話終了ボタンB11に対するタッチ操作が検出されると、コントローラ310は、画像表示装置301を入力画面G4(
図8)の表示状態に戻してステップS25に処理を進める。
【0079】
ステップS25では、コントローラ310は、解除の決定を示す確定ボタンB31に対するタッチ操作の有無を判定する。
そして、確定ボタンB31に対するタッチ操作が検出されない場合には、ステップS15に処理を戻して、再び、取消ボタンB32に対するタッチ操作の有無を判定する。
【0080】
一方、確定ボタンB31に対するタッチ操作が検出されると、コントローラ310は、ショベル100Aのコントローラ30に対して、動作制限解除指令を送信して(ステップS27)、動作制限処理を終了する。
【0081】
これにより、ショベル100Aのコントローラ30は、動作制限が解除され、遠隔操作装置400等からの動作指令に従って、ショベル100Aの動作を再開する。
また、このとき、コントローラ310は、ショベル100Aに対する動作制限の解除、ショベル100Aの識別子、通話記録、ショベル100Aの現在位置等の情報を管理装置200に送信してもよい。管理装置200は、この場合も、管理装置200が保有するショベル100Aの情報及び受信時刻と共にログ221として記録してもよい。
【0082】
また、コントローラ310は、ショベル100Aの動作制限指令の送信から動作制限解除指令の送信までの間、ショベル100Aの遠隔操作装置400に対して、周期的に繰り返して、ショベル100Aが動作制限の実施状態であることを伝える状態情報を送信する。
これに対して、ショベル100Aの遠隔操作装置400のコントローラ410は、コントローラ310からの状態情報を受信すると、画像表示装置403に
図9に示す状態報知画面G5を表示させる。状態報知画面G5は、ショベル100Aが動作制限の実施中であることをオペレータOPに提示する画面である。即ち、コントローラ410は、画像表示装置403を利用してショベル100の動作の制限の実施状態を提示する提示手段として機能する。
【0083】
この状態報知画面G5には、ショベル100Aが動作制限中であることを示すメッセージと、携行端末300の作業者Lとの通話を提案するメッセージと、通話の実行を指示する通話ボタンB41(「YES」の表記)と、通話を終了させる終了ボタンB42(「NO」の表記)とが表示される。
通話ボタンB41に対する操作が検出されると、コントローラ410は、携行端末300に対して通話接続を要求して回線を接続する。また、終了ボタンB42に対する操作が検出されると、コントローラ410は、携行端末300との回線接続を終了する。
【0084】
ショベル100Aの遠隔操作装置400は、通信回線の接続の不調等が発生した場合に、ショベル100Aの遠隔操作が正常に行われず、ショベル100Aの挙動に異常を生じる場合がある。そして、その場合に、携行端末300から動作制限の指令によりショベル100Aの動作制限が実施される場合がある。
その場合、遠隔操作装置400のオペレータOPは、通信回線の接続の不調によって、携行端末300との通話もできず、一時的に、ショベル100Aが動作制限状態にあることも把握できない状態になる場合が生じ得る。
これに対して、携行端末300のコントローラ310が、遠隔操作装置400に周期的に繰り返して状態情報を送信することにより、通信回線の接続が一時的にでも回復したときに遠隔操作装置400側に状態情報を受信させることができる。
従って、遠隔操作装置400のオペレータOPは、速やかにショベル100Aの状況を把握することができ、動作制限からの復帰も円滑に進めることが可能となる。
【0085】
なお、
図10では、ショベル100Aに対する動作制限処理の開始から動作制限解除までの処理を示したが、他のショベル100B,100Cについても同じ処理が行われる。
また、ショベル100A~100Cのいずれかに対して動作制限処理を実施している間に、他のショベル100A~100Cに対して動作制限処理を実施する必要が生じる場合もあり得る。
その場合でも、入力画面G2~G4は、画像表示装置301の表示範囲全体を占有しないポップアップ画面で表示されるので、入力画面G2~G4の外側をタッチ操作することで、待機画面G1を表示させることができる。従って、実行ボタンB1~B3をタッチ操作することで、速やかに、他のショベル100A~100Cについても並行して動作制限処理を実行させることが可能である。
【0086】
また、待機画面G1における一括実行ボタンB7は、他の実行ボタンB1~B3に比べて緊急性が高い場合の使用が想定されている。
従って、一括実行ボタンB7のタッチ操作が検出された場合には、コントローラ310は、全ショベル100に対して通話の工程を経ることなく速やかに動作制限指令を送信する。また、コントローラ310は、同時に、管理装置200に対して、各ショベル100の所定の情報を送信してログ221の記録を行わせる。
【0087】
また、一括実行ボタンB7による全ショベル100の動作制限実施後の解除については、待機画面G1の各解除ボタンB4~B6によって個別に行われる。各解除ボタンB4~B6のタッチ操作後の処理は、前述した
図10のフローチャートにおけるステップS13以降の処理と同じである。
【0088】
[発明の実施形態の技術的効果]
以上のように、ショベルの制御システム1000は、遠隔操作装置400とは別に、ショベル100の動作を制限する携行端末300を備えているので、遠隔操作が行われるショベル100の場合でも、安定的に動作制限を行うことができ、安全面を考慮してより適正にショベル100を運用することが可能となる。
【0089】
また、携行端末300は、ショベル100の動作の制限状態を解除する手段としての解除ボタンB4~B6を有するので、動作制限が実施されたショベル100の動作制限状態を速やかに解除することができ、作業の再開を容易且つ円滑に行うことができる。
【0090】
また、携行端末300は、ショベル100の動作制限として、動作速度の制限や動作速度の漸減による緩慢な停止を行うことができる。このため、ショベル100の急停止を行った場合にかえって姿勢や動作の不安定性を生じるおそれがある場合に、これらを抑制することが可能となる。
【0091】
また、制御システム1000が、複数のショベル100を有し、携行端末300は、複数のショベル100の動作を制限することができるので、多くのショベル100が作業を行う規模の大きな現場等であっても、安全面を考慮してより適正に各ショベル100を運用することが可能となる。
【0092】
また、制御システム1000が、ショベル100に関するログを記録する管理装置200を有するので、ショベル100の動作制限の実施等を含む作業状況を記録として残すことができる。従って、ショベル100の作業状況の確認や分析等に有効な資料を取得することが可能となる。
【0093】
また、携行端末300は、遠隔操作装置400のオペレータOPに対する意思伝達手段として、音声出力装置306及びマイクロフォン307を備えている。
このため、携行端末300を携行する作業者Lと遠隔操作装置400のオペレータOPとの間で、状況説明や質疑応答を行うことができ、相互の状況のより正確な把握を実現することができる。
【0094】
また、携行端末300は、音声出力装置306及びマイクロフォン307による意思伝達後にショベル100の動作の制限が可能となるように動作制限処理が行われる。
このため、意思伝達による相互の状況把握が行われてからショベル100の動作制限が行われる。これにより、状況からして不要であった動作制限の頻度を低減することができ、作業効率を損なわずに、安全面を考慮してより適正にショベル100を運用することが可能となる。
【0095】
また、遠隔操作装置400のコントローラ410は、画像表示装置403を、携行端末300によるショベル100の動作の制限の実施状態を提示する提示手段として機能させる。このため、遠隔操作装置400のオペレータOPに、速やかにショベル100Aの動作制限の実施状況を把握させることができ、動作制限からの復帰も円滑に進めることが可能となる。
【0096】
[その他]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られない。
例えば、制御システム1000として、携行端末300が複数台のショベル100に対して動作制限を行う構成を例示したが、携行端末300は一台のショベル100を動作制限の対象とする構成としてもよい。
この場合、待機画面G1の実行ボタンB1~B3及び解除ボタンB4~B6をいずれも一つのみとして、一括実行ボタンB7は省略することができる。
【0097】
また、コントローラ310が実行する動作制限処理では、各ショベル100A~100Cに対して個々に動作制限を行う場合に、オペレータOPとの通話回線を接続し、さらに、通話の可能な状態を脱してから、動作制限指令を送信する構成としている。
しかしながら、実行ボタンB1~B3によって動作制限を実施する場合に、通話回線接続及び通話の工程を省略して、即座に、動作制限指令を送信する構成としてもよい。
その場合、緊急性が高い場合であっても即座にショベル100A~100Cの動作制限を実行させることが可能となる。
【0098】
また、ショベル100の動作制限については、即時停止、速度制限、緩慢な停止等の複数のパターンを事前に選択設定することを可能としたが、これに限定されない。例えば、待機画面G1に全てのパターンを実行させるボタンを表示し、各パターンの動作制限をその場で選択して実行可能としてもよい。
【0099】
また、上記制御システム1000では、携行端末300がショベル100に対して動作制限指令を送信する構成を例示したが、これに限定されない。例えば、携行端末300は、遠隔操作装置400からショベル100に送信している各種の動作指令を無効化させることで実質的な動作制限を行う構成としてもよい。
【0100】
また、上記制御システム1000では、携行端末300がネットワークNWを通じて複数のショベル100に対する動作制限指令を送信している。
しかしながら、携行端末300と各ショベル100との間での通信は、これに限定されない。例えば、携行端末300と各ショベル100との間での通信を指向性のある光線(レーザ光、LED光等)で行ってもよい。
その場合、複数台のショベル100のいずれか一台に対して動作制限指令を送信する際に、光線の照射方向を目的とするショベル100に向けて通信を行えばよく、ボタンの選択等により目的とするショベル100を選択する手間を低減すると共に迅速な処理を行うことが可能となる。
また、各ショベル100ごとにボタンを用意する必要がなく、携行端末300の構成の簡易化を図ることが可能となる。
【0101】
また、携行端末は、動作制限を実行させる手段として、アナログボタンやアナログスイッチを有する端末を使用してもよい。さらに、その場合、アナログボタン又はアナログスイッチの数を最小限としてもよい。例えば、一台のショベル100のみを対象として、動作制限の実行ボタン(又はスイッチ)と解除ボタン(又はスイッチ)とを一つずつ有する端末で構成してもよい。
さらに、実行ボタン(又はスイッチ)と解除ボタン(又はスイッチ)を共用可能な一つのボタン(又はスイッチ)のみを有する構成とし、ボタン(又はスイッチ)を使用するたびに実行ボタン(又はスイッチ)と解除ボタン(又はスイッチ)の機能が入れ替わる構成としてもよい。
【0102】
また、本発明に係る制御システムは、ショベルに限定されず、作業機械全般(建設機械も含む)に適用可能である。例えば、本発明に係る制御システムは、ホイールローダ、ブルドーザ、モータグレーダ、スキッドステアローダ、コンパクトトラックローダ、自走式クレーン等の作業機械を対象とすることができる。さらに、制御システムには、複数種類の作業機械が混在する構成としてもよい。
その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。
【符号の説明】
【0103】
30 コントローラ
100,100A,100B,100C ショベル
200 管理装置(ログ記録装置)
221 ログ
300 携行端末(端末)
301 画像表示装置
302 入力装置
306 音声出力装置(意思伝達手段)
307 マイクロフォン(意思伝達手段)
310 コントローラ
400 遠隔操作装置
403 画像表示装置
404 操作装置
405 音声出力装置
406 マイクロフォン
410 コントローラ(提示手段)
1000 制御システム
B1~B3 実行ボタン
B4~B6 解除ボタン(解除する手段)
B7 一括実行ボタン
G1 待機画面
G2~G4 入力画面
G5 状態報知画面
L 作業者
OP オペレータ