(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024148092
(43)【公開日】2024-10-17
(54)【発明の名称】制御システム、および作業機械
(51)【国際特許分類】
G06Q 50/08 20120101AFI20241009BHJP
E02F 9/24 20060101ALI20241009BHJP
【FI】
G06Q50/08
E02F9/24 B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023061014
(22)【出願日】2023-04-04
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】綾戸 裕一
【テーマコード(参考)】
2D015
5L049
5L050
【Fターム(参考)】
2D015GA03
2D015GB02
5L049CC07
5L050CC07
(57)【要約】
【課題】作業機械が動作制限を受けた場合に、ユーザが容易に状況を把握することを可能とする。
【解決手段】制御システムSYSは、作業機械100の動作を制限する。制御システムSYSは、作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部191と、動作制限のトリガを生成した作業者を識別するように構成された動作制限トリガ識別部192と、作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部194と、連絡先を、作業機械100を操作または管理する制御管理主体者200の機器201に送信するように構成された現場情報送受信部195と、を含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
作業機械の動作を制限する制御システムであって、
作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部と、
前記動作制限のトリガを生成した前記作業者を識別するように構成された動作制限トリガ識別部と、
前記作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部と、
前記連絡先を、前記作業機械を操作または管理する制御管理主体者の機器に送信するように構成された現場情報送受信部と、を含む、
制御システム。
【請求項2】
前記動作制限トリガ識別部は、前記動作制限のトリガの情報に基づき前記作業者の端末、および/または前記動作制限のトリガの種類を識別し、
前記連絡先決定部は、前記動作制限トリガ識別部が識別した前記作業者の端末を前記連絡先に決定する、
請求項1に記載の制御システム。
【請求項3】
前記連絡先決定部は、前記動作制限トリガ識別部が前記作業者の端末を識別不能である場合に、前記動作制限のトリガの種類に基づき前記連絡先を決定する、
請求項2に記載の制御システム。
【請求項4】
前記作業機械は、前記作業者を含む当該作業機械の外界の状態を検出可能な外界センサを有し、
前記動作制限のトリガの種類は、前記外界センサにより検出した前記作業者のジェスチャ、および/または前記作業者のキーワード発声を含む、
請求項2に記載の制御システム。
【請求項5】
前記動作制限トリガ識別部は、前記外界センサによる前記動作制限のトリガを生成した前記作業者の位置を検出した情報、および前記作業者の端末の位置情報に基づき、前記動作制限のトリガを生成した前記作業者を識別する、
請求項4に記載の制御システム。
【請求項6】
前記動作制限トリガ取得部の前記動作制限のトリガの取得に基づき、前記作業機械の動作状態を取得するように構成された動作状態取得部を有し、
前記連絡先決定部は、前記動作状態取得部が取得した前記作業機械の動作状態に基づき前記連絡先を変更する、
請求項1乃至5のいずれか1項に記載の制御システム。
【請求項7】
前記動作制限を行った前記作業機械の機体情報を取得する機体情報取得部を有し、
前記現場情報送受信部は、前記連絡先と共に、前記機体情報取得部が取得した機体情報を、前記制御管理主体者の機器に送信する、
請求項1乃至5のいずれか1項に記載の制御システム。
【請求項8】
一の前記動作制限のトリガに基づき前記連絡先を決定して前記制御管理主体者の機器に当該連絡先を連絡した場合に、
前記連絡先決定部は、前記動作制限トリガ取得部が他の作業者から前記動作制限のトリガを取得しても、前記連絡先を決定しない、
請求項1乃至5のいずれか1項に記載の制御システム。
【請求項9】
前記作業者は、前記作業機械の操作または管理と異なる作業に従事する者、前記作業機械の操作または管理を行っていない前記制御管理主体者、および非常停止ボタンを操作可能な者のうちいずれかである、
請求項1乃至5のいずれか1項に記載の制御システム。
【請求項10】
動作制限を実行可能な作業機械であって、
作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部と、
前記動作制限のトリガを生成した前記作業者を識別するように構成された動作制限トリガ識別部と、
前記作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部と、
前記連絡先を、前記作業機械を操作または管理する制御管理主体者の機器に送信するように構成された現場情報送受信部と、を含む、
作業機械。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御システム、および作業機械に関する。
【背景技術】
【0002】
作業機械の使用中において、例えば、作業機械またはその周囲の作業者に危険等が生じる可能性がある場合に、緊急停止等のように作業機械の動作を制限する技術が知られている。例えば、特許文献1には、自律走行中の作業車両に用いられる遠隔制御システムにおいて、緊急停止用リモコンにより、作業車両のオペレータ(ユーザ)以外の作業者が、作業車両を緊急停止できる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、作業機械のユーザ以外の作業者が作業機械の動作制限を行った場合、作業機械のユーザは、作業機械を動作制限した状況が分からないまま、作業機械の動作制限を受ける可能性がある。このため、作業機械がユーザ以外の作業者に動作制限を受けた場合には、その理由を知っている作業者と、ユーザとが早期に連絡を取り合うことが望ましい。
【0005】
本開示は、作業機械が動作制限を受けた場合に、ユーザが容易に状況を把握することができる制御システム、および作業機械を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様によれば、作業機械の動作を制限する制御システムであって、前記作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部と、前記動作制限のトリガを生成した前記作業者を識別するように構成された動作制限トリガ識別部と、前記作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部と、前記連絡先を、前記作業機械を操作または管理する制御管理主体者の機器に送信するように構成された現場情報送受信部と、を含む、制御システムが提供される。
【発明の効果】
【0007】
一態様に係る制御システム、および作業機械は、動作制限の作業機械のユーザが容易に状況を把握することができる。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る制御システムを適用した作業機械およびその周囲の状態を示す概略説明図である。
【
図2】作業機械の制御部のハードウェアを示すブロック図である。
【
図3】
図3(A)は、トリガ元作業者が動作制限を行う第1状況を示す概略図である。
図3(B)は、トリガ元作業者が動作制限を行う第2状況を示す概略図である。
図3(C)は、トリガ元作業者が動作制限を行う第3状況を示す概略図である。
図3(D)は、トリガ元作業者が動作制限を行う第4状況を示す概略図である。
【
図4】第1実施形態に係る制御システムの動作制限における処理を示すブロック図である。
【
図5】トリガ元作業者、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。
【
図6】
図6(A)は、動作制限の第1処理フローを示すフローチャートである。
図6(B)は、動作制限の第2処理フローを示すフローチャートである。
【
図7】
図7(A)は、動作制限の第3処理フローを示すフローチャートである。
図7(B)は、動作制限の第4処理フローを示すフローチャートである。
【
図8】
図8は、動作制限の第5処理フローを示すフローチャートである。
【
図9】第1変形例に係るトリガ元作業者、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。
【
図10】
図10(A)は、動作制限の第6処理フローを示すフローチャートである。
図10(B)は、動作制限の第7処理フローを示すフローチャートである。
【
図11】第2変形例に係る制御システムの動作制限における処理を示すブロック図である。
【
図12】動作制限の第8処理フローを示すフローチャートである。
【
図13】第2実施形態に係る制御システムの動作制限における処理を示すブロック図である。
【
図14】第2実施形態に係るトリガ元作業者、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。
【
図15】動作制限の第9処理フローを示すフローチャートである。
【
図16】第3実施形態に係る制御システムの動作制限における処理を示すブロック図である。
【
図17】動作制限の第10処理フローを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して本開示を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【0010】
図1は、実施形態に係る制御システムSYSを適用した作業機械100およびその周囲の状態を示す概略説明図である。
図1に示すように、実施形態に係る制御システムSYSは、作業機械100を操作する作業者とは別の作業者により作業機械100の動作制限を行うことが可能なシステムに構成される。なお、制御システムSYSに適用される作業機械100は、
図1の例ではショベルであるが、これに限定されない。例えば、作業機械100は、クレーン等の建設工事に使用される機械、アスファルトフィニッシャ等の道路工事に使用される機械、フォークリフト等の搬送用の機械等であってもよい。
【0011】
また、作業機械100は、当該作業機械100に作業者が搭乗して操作を行う搭乗操作タイプ、作業機械100から離れた遠隔操作室RCで作業者が操作を行う遠隔操作タイプ、および作業機械100を自動運転(自律運転)させる自動運転タイプのうちいずれでもよい。作業機械100を自動運転させる場合も、自動運転の設定、開始指示、終了指示、動作内容の管理等を行う管理者が必要となる。以下では、制御システムSYSの作業機械100を主体的に制御および/または管理する作業者(ユーザ)について、制御管理主体者200という。
【0012】
図1では、発明の理解の容易化のため、制御管理主体者200として、作業機械100に搭乗する搭乗オペレータ210、遠隔操作室RCにて操作を行う遠隔オペレータ220、自動運転管理者230を全て図示している。しかしながら、制御管理主体者200は少なくとも1人いればよいことは勿論である。例えば、搭乗オペレータ210が作業機械100を操作する場合に、遠隔オペレータ220および自動運転管理者230はいなくてよい。あるいは、搭乗オペレータ210が作業機械100に搭乗する場合でも、作業機械100を自動運転してよく、この場合、自動運転管理者230が自動運転の管理を行ってもよい。また、搭乗オペレータ210や遠隔オペレータ220が自動運転管理者230になってもよい。
【0013】
制御システムSYSの運転支援は、作業機械100の全ての動作を制御部180により制御するパターン、作業機械100の一部の動作を制御部180により制御するパターン、作業機械100の危険時のみに制御部180が動作を制御するパターン等があげられる。あるいは、作業機械100の運転支援には、搭乗オペレータ210や遠隔オペレータ220に、作業内容、操作手順、作業対象位置、作業状況、エラー等を案内するだけの支援も含まれる。
【0014】
また、動作制限の運転支援とは、作業機械100が通常の操作で行う動作に対して、制御部180の制御下に作業機械100の動作を緊急に停止または抑制することをいう。この動作制限としては、電源オフ、運転停止、走行停止、作業部の動作停止、旋回体の旋回停止、走行速度の低下、作業部の動作速度の低下、旋回体の旋回速度の低下、作業部の可動範囲の狭小化、機体の旋回範囲の狭小化等のうち1以上を行うことがあげられる。
【0015】
制御システムSYSにおける制御管理主体者200と別の作業者とは、制御管理主体者200の関連者であり、例えば、作業現場の作業機械100の周囲で作業機械100の操作および/または管理と異なる作業に従事する1人以上の人間をいう。この別の作業者は、制御管理主体者200の操作とは別に、作業機械100の動作制限を実行させることが可能であり、言い換えれば、動作制限のトリガを生成可能な者である。以下の説明では、この別の作業者をトリガ元作業者300ともいう。
【0016】
具体的には、制御システムSYSは、作業機械100と、1以上の制御管理主体者200が視認および操作する機器201と、1以上のトリガ元作業者300が所持する端末301と、を含んで構成される。
【0017】
制御管理主体者200の機器201は、作業機械100を操作または制御する複数種類のタイプに応じて適宜の構成が適用される。例えば、搭乗オペレータ210により作業機械100を操作する搭乗操作タイプの場合、作業機械100のキャビン110内に設置される各種の構成(後述する操作部111、モニタ112、スピーカ113等)が、制御管理主体者200の機器201に相当する。
【0018】
また例えば、遠隔オペレータ220により作業機械100を操作する遠隔操作タイプの場合、遠隔操作室RC内に設置される各種の構成が機器201に相当することになる。例えば、遠隔操作室RCは、遠隔オペレータ220が操作するための操作部221、および作業機械100の外部環境を表示するモニタ222等を有する。また、遠隔操作室RCは、遠隔操作室RC自体の制御および作業機械100への指令を行う遠隔コントローラ223と、およびネットワークNETを介して作業機械100と通信を行う通信装置224と、を備える。つまり、遠隔操作室RCの操作部221、モニタ222、遠隔コントローラ223および通信装置224が、制御管理主体者200の機器201となる。
【0019】
一方、自動運転管理者230により作業機械100を自律的に動作させる自動運転操作を行う場合、自動運転管理者230が所持する操作端末231が機器201に相当することになる。操作端末231は、例えば、自動運転管理者230が所持(携帯)するタブレット型端末、PC(ラップトップコンピュータ等)、スマートフォンまたはウェアラブル型端末等があげられる。また、操作端末231は、自動運転管理者230を、他者の端末301との間で通話可能な構成であることが好ましい。この場合、操作端末231は、作業現場の専用回線を構築可能なアプリケーション(ソフトウェハ)をインストールしておくことがあげられる。
【0020】
一方、トリガ元作業者300が所持(携帯)する端末301は、他者との間で通話可能なデバイスであることが好ましく、例えば、スマートフォンを含む通話端末があげられる。また、トリガ元作業者300の端末301には、トリガ元作業者300が所持して押下可能な非常停止ボタン351を含んでよい。
図1では、トリガ元作業者320が通話端末321を所持し、トリガ元作業者330が通話端末331を所持し、トリガ元作業者340が通話端末341を所持し、トリガ元作業者350が非常停止ボタン351を所持する例を示している。
【0021】
一方、トリガ元作業者310は、操作端末231を有しており、自動運転管理者230(制御管理主体者200)になり得る作業者である。例えば、作業機械100が搭乗オペレータ210により操作される場合、操作端末231を所持する作業者は、トリガ元作業者310となり、この操作端末231を端末301として使用できる。
【0022】
制御システムSYSに適用される
図1の作業機械100(ショベル)は、例えば、下部走行体101と、旋回機構102を介して下部走行体101に旋回自在に搭載される上部旋回体103と、作業部であるアタッチメントATと、キャビン110と、を含む。また、作業機械100は、当該作業機械100の状態を監視すると共に、作業機械100の動作を制御するための制御部180を、上部旋回体103内に備える。
【0023】
下部走行体101は、左右一対のクローラを含み、各クローラのそれぞれに搭載される走行用の油圧モータの駆動下に、作業機械100を走行させる。上部旋回体103は、旋回機構102内の旋回用の油圧モータの駆動に基づき、下部走行体101と相対的に旋回する。
【0024】
アタッチメントATは、ブーム104、アーム105、およびバケット106を含む。ブーム104は、上部旋回体103の前部の左右方向の中央に俯仰動可能に取り付けられる。ブーム104の先端には、アーム105が左右方向の軸を中心に回転可能に取り付けられる。アーム105の先端には、バケット106が左右方向の軸を中心に回転可能に取り付けられる。ブーム104、アーム105、およびバケット106は、それぞれ、油圧アクチュエータとしてのブームシリンダ、アームシリンダおよびバケットシリンダ(共に不図示)により油圧駆動される。なお、作業機械100における各種の油圧アクチュエータの一部または全部が、電動アクチュエータに置換されてもよい。
【0025】
バケット106は、エンドアタッチメントの一例である。バケット106は、例えば、掘削作業等に用いられる。また、アーム105の先端には、作業内容等に応じて、バケット106の代わりに他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケットであってもよく、あるいは攪拌機、ブレーカ、グラップル等のバケット以外の部材であってもよい。
【0026】
また、キャビン110は、搭乗オペレータ210が搭乗して作業機械100の操作を行う運転室である。キャビン110は、例えば、上部旋回体103の前部左側に搭載され、左側面に乗降口が設けられる。
【0027】
キャビン110内には、搭乗オペレータ210が着座するシート(不図示)と、搭乗オペレータ210が操作する機器201である操作部111と、搭乗オペレータ210に作業機械100の状態を報知するモニタ112およびスピーカ113とが設けられている。
【0028】
作業機械100の操作部111は、例えば、複数のスイッチ、ダイヤルを有するコンソール、搭乗オペレータ210の手により操作される複数のレバー、搭乗オペレータ210の足により操作される複数のペダル等があげられる。また、操作部111は、制御部180の操作を行うためのタッチパネル、キーボード、マウス等を含んでよい。
【0029】
さらに、作業機械100は、当該作業機械100の外部環境(外界)の情報を取得して、制御部180に送信する外界センサ170を有する。外界センサ170としては、例えば、作業機械100の外部を撮像するカメラ(単眼、複眼)、外部の音を受信するマイクがあげられる。また、外界センサ170は、超音波センサ、ミリ波レーダ、LiDAR、距離画像センサ、赤外線センサ等を適用してもよく、複数種類のセンサを組み合わせて構成されてもよい。
【0030】
図2は、作業機械100の制御部180のハードウェアを示すブロック図である。
図2に示すように、作業機械100の制御部180は、1以上のプロセッサ181、メモリ182、入出力インタフェース183および通信インタフェース184を有するコンピュータに構成される。プロセッサ181、メモリ182、入出力インタフェース183、通信インタフェース184は、制御部180の基板に設けられたバス185を介して相互に通信可能に接続されている。
【0031】
プロセッサ181は、CPU、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、複数のディスクリート半導体からなる回路等のうち1つまたは複数を組み合わせたものである。メモリ182は、揮発性または不揮発性の半導体メモリ等により構成され、プロセッサ181が実行する命令および各種データ等を記憶する。なお、メモリ182は、プロセッサ181に内蔵される内蔵メモリを含んでもよい。
【0032】
入出力インタフェース183は、作業機械100の各構成(操作部111、モニタ112、スピーカ113、および外界センサ170等)と制御部180との間で信号を送受信する。これにより、制御部180は、作業機械100の状態の監視、作業機械100の制御等を行う。
【0033】
通信インタフェース184は、無線通信(または有線通信)により、制御システムSYSにおいて作業機械100の外部に設けられる構成との間で情報を送受信する。作業機械100の外部において情報を送受信する構成としては、例えば、遠隔操作室RC、作業者の各種のデバイス(操作端末231、通話端末321、331、341、非常停止ボタン351等)があげられる。また、通信インタフェース184は、図示しない他のコンピュータ(他の作業機械100の制御部180や管理サーバ等)に対して情報通信可能に接続されてもよい。
【0034】
ここで、作業機械100は、通常時の動作の他に、緊急時の危険回避を目的として上記した動作制限を実行することができる。例えば、制御管理主体者200である搭乗オペレータ210が動作制限を行う場合は、キャビン110内に設けられたゲートロックレバーを操作することにより、作業機械100の油圧回路を遮断して作業機械100の動作制限を行う。
【0035】
ただし、作業機械100の作業中には、制御管理主体者200以外の作業者が動作制限を行いたい場合がある。制御システムSYSは、この制御管理主体者200以外の作業者(トリガ元作業者300)により作業機械100の動作制限を可能としている。以下、トリガ元作業者300が動作制限を行う例について、
図3を参照しながら説明する。
【0036】
図3(A)は、トリガ元作業者300が動作制限を行う第1状況を示す概略図である。
図3(B)は、トリガ元作業者300が動作制限を行う第2状況を示す概略図である。
図3(C)は、トリガ元作業者300が動作制限を行う第3状況を示す概略図である。
図3(D)は、トリガ元作業者300が動作制限を行う第4状況を示す概略図である。
【0037】
図3(A)に示す第1状況では、搭乗オペレータ210が作業機械100を操作しているパターンを想定している。そして、作業機械100の周囲には、1人以上のトリガ元作業者300となり得る作業者が存在している。例えば、作業機械100の周囲の作業者のうち1人は、作業機械100の搭乗オペレータ210(または外界センサ170)の死角に位置している。この作業者は、作業中に作業機械100が近づいてきた時等に、作業機械100の動作制限のトリガを生成する。
【0038】
動作制限のトリガの一例としては、作業者が操作端末231(
図1参照)を所持している場合、操作端末231における端末用停止ボタンをオン操作することがあげられる。動作制限のトリガの他の例としては、作業者が通話端末321(
図1参照)を所持している場合、通話端末321のマイクを介して動作制限のキーワードを発声することがあげられる。この場合のキーワードは、任意に設定可能であり、例えば、「危ない」、「ストップ」等の文言があげられる。通話端末321は、キーワード発声を認識する場合に、併せて音量を検出して音量が閾値以上となることを条件としてもよい。
【0039】
また、動作制限のトリガの他の例としては、外界センサ170のカメラにより作業者の動作制限のジェスチャを撮像することがあげられる。この場合のジェスチャも、任意に設定し得ることは勿論である。さらに、動作制限のトリガの他の例としては、外界センサ170のマイクにより作業者の動作制限のキーワード発声を受信することがあげられる。あるいは、動作制限のトリガの他の例としては、作業者が非常停止ボタン351を押下することがあげられる。
【0040】
作業機械100の制御部180は、作業者が生成した動作制限のトリガの取得に基づき、作業機械100の動作制限を直ちに実施する。ただし、作業機械100の搭乗オペレータ210は、動作制限の操作をしていないにもかかわらず、作業機械100が自動的に動作制限モードに入ったことを認識することになる。このため、実施形態に係る制御システムSYSは、搭乗オペレータ210と、動作制限のトリガを生成したトリガ元作業者300(あるいは近くにいる作業者)との間で、連絡を取り合せる処理を行う。この構成については後に詳述する。
【0041】
図3(B)に示す第2状況では、遠隔操作室RCから遠隔オペレータ220が作業機械100を遠隔操作しているパターンを想定している。この作業機械100の周囲には、1人以上のトリガ元作業者300となり得る作業者が存在している。例えば、作業機械100の周囲の作業者のうち1人は、作業機械100の外界センサ170の死角に位置している。この作業者は、作業中に作業機械100が近づいてきた時等に、作業機械100の動作制限のトリガを生成する。
【0042】
制御部180は、作業者が生成した動作制限のトリガの取得に基づき、作業機械100の動作制限を直ちに実施する。ただし、遠隔オペレータ220は、動作制限の操作をしていないにもかかわらず、遠隔操作している作業機械100が自動的に動作制限モードに入ったことを認識することになる。よってこの場合も、制御システムSYSは、遠隔オペレータ220と、動作制限のトリガを生成したトリガ元作業者300(あるいは近くにいる作業者)との間で、連絡を取り合せる処理を行う。
【0043】
図3(C)に示す第3状況では、自動運転管理者230の管理下に作業機械100が自動運転を行っているパターンを想定している。この作業機械100の周囲には、1人以上のトリガ元作業者300となり得る作業者が存在している。例えば、作業機械100の周囲の作業者のうち1人は、作業機械100の外界センサ170の死角に位置している。この作業者は、作業中に作業機械100が近づいてきた時等に、作業機械100の動作制限のトリガを生成する。
【0044】
制御部180は、作業者が生成した動作制限のトリガの受信に基づき、作業機械100の動作制限を直ちに実施する。ただし、自動運転管理者230は、動作制限の操作をしていないにもかかわらず、遠隔操作している作業機械100が自動的に動作制限モードに入ったことを認識することになる。よってこの場合も、制御システムSYSは、自動運転管理者230と、動作制限のトリガを生成したトリガ元作業者300(あるいは近くにいる作業者)との間で、連絡を取り合せる処理を行う。
【0045】
図3(D)に示す第4状況では、作業機械100の周囲の作業者が、当該作業機械100をメンテナンス(点検、修理等)しているパターンを想定している。この際、メンテナンスを行うトリガ元作業者300は、動作制限のトリガを生成することで、作業機械100を動作制限した状態としている。これにより作業機械100を安全に点検できる。
【0046】
ただし、トリガ元作業者300の点検中に、例えば作業機械100から離れた位置ある遠隔オペレータ220は、作業機械100が動作制限モードに入っている理由が分からない可能性がある。よってこの場合も、制御システムSYSは、遠隔オペレータ220と、メンテナンスを行うトリガ元作業者300(あるいは近くにいる作業者)との間で、連絡を取り合せる処理を行う。なお、
図3(D)では、制御管理主体者200として遠隔オペレータ220を例示しているが、制御管理主体者200は、搭乗オペレータ210や自動運転管理者230であってもよい。
【0047】
制御システムSYSは、上記した制御管理主体者200とトリガ元作業者300とを繋げる(連絡をとり合わせる)処理を行うため、作業機械100の制御部180を使用する。以下、制御システムSYSの動作制限時の構成について説明する。
【0048】
図4は、第1実施形態に係る制御システムSYSの動作制限における処理を示すブロック図である。制御部180は、メモリ182に記憶されたプログラムをプロセッサ181が実行することで、
図4に示すような機能ブロックを制御部180内に構築する。
【0049】
具体的には、制御部180の内部には、動作制限トリガ取得部191、動作制限トリガ識別部192、動作制限制御部193、連絡先決定部194および現場情報送受信部195が形成される。
【0050】
動作制限トリガ取得部191は、トリガ元作業者300から動作制限のトリガを取得し、当該動作制限のトリガをメモリ182に記憶すると共に、動作制限トリガ識別部192に送信する。例えば、動作制限トリガ取得部191は、操作端末231、通話端末321、または非常停止ボタン351の動作制限のトリガの情報を、通信インタフェース184を介して受信する。操作端末231、通話端末321、非常停止ボタン351のトリガの情報には、その端末を特定可能な識別情報が含まれる。これにより、制御部180は、トリガ元作業者300の一部を認識することが可能となる。また例えば、動作制限トリガ取得部191は、トリガ元作業者300のジェスチャや音声(キーワード)を、外界センサ170を介して取得する。
【0051】
動作制限トリガ識別部192は、動作制限トリガ取得部191が取得したトリガの情報に基づき、トリガ元作業者300およびトリガの種類を識別する。なお、トリガの種類とは、上記したように、操作端末231の端末用停止ボタンの押下、通話端末321へのキーワード発声、作業機械100のカメラによるジェスチャ認識、作業機械100のマイクによるキーワード発声の認識、非常停止ボタン351の押下等のトリガの生成パターンのことである。
【0052】
以下、動作制限トリガ識別部192によるトリガ元作業者300およびトリガの種類を識別する例について、
図5を参照しながら説明する。
図5は、トリガ元作業者300、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。なお、
図5では、トリガ元作業者300として、作業者A(トリガ元作業者310)、作業者B(トリガ元作業者320)、作業者C(トリガ元作業者330)、作業者D(トリガ元作業者340)、作業者E(トリガ元作業者350)を示している。作業者Aは、操作端末A(操作端末231)を所持している。作業者Bは、通話端末B(通話端末321)を所持している。作業者Cは、通話端末C(通話端末331)を所持している。作業者Dは、通話端末D(通話端末341)を所持している。作業者Eは、非常停止ボタン351を所持している。ただし、非常停止ボタン351は、作業者Eが定常的に持ち運ぶだけでなく、複数の作業者が操作可能な位置に配備されてよい。
【0053】
動作制限のトリガの情報が操作端末A(操作端末231)から受信したものである場合、動作制限トリガ識別部192は、動作制限のトリガを生成した作業者として、操作端末231の作業者A(トリガ元作業者310)を識別できる。またこの際のトリガの種類として、操作端末231の端末用停止ボタンのオン操作であることを識別できる。
【0054】
動作制限のトリガの情報が通話端末B(通話端末321)から受信したものである場合、動作制限トリガ識別部192は、動作制限のトリガを生成した作業者として、通話端末321の作業者B(トリガ元作業者320)を識別できる。またこの際のトリガの種類として、通話端末321のマイクに作業者Bがキーワード発声を入力したものであることを識別できる。
【0055】
また、動作制限トリガ識別部192は、トリガの種類として、作業機械100の外界センサ170のカメラから作業者のジェスチャを認識できる。ただしこの場合、動作制限トリガ識別部192は、トリガ元作業者300について識別不能となる。ジェスチャを行った作業者が、どの端末301を所持しているのか分からないためである。
【0056】
さらに、動作制限トリガ識別部192は、トリガの種類として、作業機械100の外界センサ170のマイクからキーワードの音声を認識できる。ただしこの場合も、動作制限トリガ識別部192は、トリガ元作業者300について識別不能となる。キーワード発声した作業者が、どの端末301を所持しているのか分からないためである。
【0057】
あるいは、動作制限トリガ識別部192は、トリガの種類として、非常停止ボタン351が押されたことを認識できる。ただしこの場合も、動作制限トリガ識別部192は、トリガ元作業者300について識別不能となる。非常停止ボタン351は、上記したように複数の作業者が操作可能な位置に配備される、あるいは作業状況等によって作業者を変えて所持されることがあるからである。
【0058】
図4に戻り、動作制限制御部193は、動作制限トリガ識別部192による動作制限のトリガの識別(動作制限指令)に基づき、作業機械100の各種の構成を制御して作業機械100の動作制限を行う。作業機械100の動作制限は、作業機械100の動作を停止する他に、上記した種々の制限内容があげられる。なお、動作制限制御部193は、動作制限のトリガの種類に基づき制限内容を変えてもよい。例えば、非常停止ボタン351の押下の場合は、作業機械100全体の動作を停止し、ジェスチャの場合は上部旋回体103の旋回およびアタッチメントATの動作を停止すること等があげられる。
【0059】
また、連絡先決定部194は、動作制限トリガ識別部192で識別したトリガ元作業者300および/またはトリガの種類に基づき、制御管理主体者200が連絡する連絡先を決定する。さらに、現場情報送受信部195は、連絡先決定部194が決定した連絡先の情報を、作業機械100を操作または管理している制御管理主体者200の機器201に送信する。
【0060】
連絡先決定部194は、
図5に示すように、トリガ元作業者300の識別結果(識別可能、識別不能)、および識別されたトリガ元作業者300に応じて適宜の連絡先を決定する。制御部180は、予め作業者が所持する通話可能な端末301を複数登録しており、連絡先決定部194は、登録された端末301の連絡先を読み出して、連絡先を決定する。あるいは、制御システムSYSは、動作制限のトリガの情報自体に連絡先を含ませることで、このトリガの情報から連絡先を読み出して決定してもよい。
図5の例では連絡先として、トリガ元作業者300が通話可能に所持している操作端末A(操作端末231)、通話端末B(通話端末321)、通話端末C(通話端末331)、通話端末D(通話端末331)があげられる。
【0061】
例えば、作業者A(トリガ元作業者310)が動作制限のトリガを生成した場合、連絡先決定部194は、操作端末A(操作端末231)を最も優先順位が高い第1連絡先に決定する。また、連絡先決定部194は、第1連絡先の他に、優先順位が段々と下がる第2連絡先、第3連絡先、第4連絡先を決定してもよい。
図5の例では、第2連絡先として通話端末B(通話端末321)、第3連絡先として通話端末C(通話端末331)、第4連絡先として通話端末D(通話端末341)を設定している。このように、複数の連絡先を決定して送信することで、制御管理主体者200は、トリガ元作業者300と連絡が取り易くなる。
【0062】
また例えば、作業者B(トリガ元作業者320)が動作制限のトリガを生成した場合、連絡先決定部194は、通話端末B(通話端末321)を第1連絡先に決定する。さらに例えば、連絡先決定部194は、第2連絡先として操作端末A(操作端末231)、第3連絡先として通話端末C(通話端末331)、第4連絡先として通話端末D(通話端末341)を設定してもよい。
【0063】
一方、トリガ元作業者300が識別不能な場合、連絡先決定部194は、予め定めた連絡先のルール(順位)に沿って、連絡先を決定してよい。
図5の例では、連絡先決定部194は、外界センサ170のカメラやマイクに基づく動作制限でトリガ元作業者300が識別不能な場合に、操作端末A(操作端末231)を第1連絡先に決定する。さらに、連絡先決定部194は、第2連絡先として通話端末B(通話端末321)、第3連絡先として通話端末C(通話端末331)、第4連絡先として通話端末D(通話端末341)を設定してもよい。
【0064】
また例えば、非常停止ボタン351によりトリガ元作業者300が識別不能な場合、連絡先決定部194は、上記と別の順位(または同じ順位)に沿って連絡先を決定してよい。一例として、連絡先決定部194は、非常停止ボタン351に対して最も近くにいる可能性が高い作業者の通話端末D(通話端末341)を第1連絡先に決定する。また
図5の例では、第2連絡先として通話端末C(通話端末331)、第2連絡先として通話端末B(通話端末321)、第4連絡先として操作端末A(操作端末231)を設定している。
【0065】
図4に戻り、制御管理主体者200の機器201は、作業機械100の動作制限時に現場情報送受信部195から連絡先の情報を受信すると、表示部(モニタ112、モニタ222、操作端末231)に連絡先の情報を表示する。また、機器201は、連絡先の情報を受信すると、第1連絡先に対して通話を自動的に開始する(通話回線を自動的に開くように発信する)構成であるとよい。これにより、制御管理主体者200は、トリガ元作業者300との間で迅速に連絡を取り合うことができる。
【0066】
さらに、制御管理主体者200は、第1連絡先に連絡しても通話回線が開かない場合、次の優先順位である第2連絡先に対して通話を自動的に開始してもよい。以下、第2連絡先の次の優先順位である第3連絡先、および第3連絡先の次の優先順位である第4連絡先に対しても同様の処理を行うことができる。
【0067】
第1実施形態に係る制御システムSYSは、基本的には以上のように構成されるものであり、以下、制御システムSYSが動作制限を行う際の処理フロー(制御方法)について、
図6(A)~
図8を参照して説明していく。
図6(A)は、動作制限の第1処理フローを示すフローチャートである。
図6(B)は、動作制限の第2処理フローを示すフローチャートである。
図7(A)は、動作制限の第3処理フローを示すフローチャートである。
図7(B)は、動作制限の第4処理フローを示すフローチャートである。
図8は、動作制限の第5処理フローを示すフローチャートである。
【0068】
図6(A)に示す第1処理フローでは、作業者A(トリガ元作業者310:自動運転管理者230)の操作端末A(操作端末231)により動作制限のトリガを生成した場合について説明する。この場合、制御管理主体者200は、作業機械100の搭乗オペレータ210、または遠隔操作室RCの遠隔オペレータ220となる。
【0069】
制御方法において、まず、動作制限トリガ取得部191は、操作端末A(操作端末231)から動作制限のトリガの情報を受信する(ステップS11)。すなわち、作業者A(トリガ元作業者310)により操作端末Aの端末用停止ボタンが押されることで、操作端末Aは、動作制限のトリガの情報を作業機械100に送信する。作業機械100は、制御部180の通信インタフェース184を介してこの動作制限のトリガの情報を受信する。
【0070】
動作制限トリガ識別部192は、動作制限トリガ取得部191により動作制限のトリガが取得されると、トリガ元作業者300およびトリガの種類を識別する(ステップS12)。これにより、制御部180は、動作制限のトリガを生成した端末301が操作端末A(操作端末231)であることを認識する。
【0071】
そして、動作制限制御部193は、動作制限トリガ識別部192から動作制限指令を受けることで、作業機械100の動作制限を実行する(ステップS13)。例えば、動作制限制御部193は、作業機械100の動作を直ちに停止することで、作業機械100または作業者にかかる危険を回避することが可能となる。なお、動作制限制御部193は、作業機械100の停止において各構成の動作をソフトランディングさせてもよい。
【0072】
ここで、作業機械100の搭乗オペレータ210または遠隔オペレータ220は、操作中に状況を知らずに、動作制限モードに移行することになる。このため、連絡先決定部194は、動作制限トリガ識別部192が識別したトリガ元作業者300およびトリガの種類に基づき、第1連絡先として操作端末A(操作端末231)を設定する(ステップS14)。さらに、連絡先決定部194は、トリガ元作業者300およびトリガの種類に基づき
図5に示すような第2連絡先~第4連絡先を設定する。
【0073】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS15)。
【0074】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部(モニタ112、222)に表示すると共に、操作端末A(操作端末231)との通話を自動的に開始する(ステップS16)。これにより、制御管理主体者200は、動作制限のトリガを生成した作業者A(トリガ元作業者310)と迅速に連絡を取り合うことができ、動作制限の状況把握をスムーズに行うことが可能となる。
【0075】
次に
図6(B)に示す第2処理フローについて説明する。第2処理フローでは、作業者B(トリガ元作業者320)の通話端末B(通話端末321)により動作制限のトリガを生成した場合について説明する。なお、この場合の制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれでもよい。
【0076】
制御方法において、まず、動作制限トリガ取得部191は、通話端末B(通話端末321)から動作制限のトリガの情報を受信する(ステップS21)。すなわち、作業者B(トリガ元作業者320)が通話端末321のマイクに対して動作制限のキーワードを発声することで、通話端末321は、動作制限のトリガの情報を作業機械100に送信する。作業機械100は、制御部180の通信インタフェース184を介してこの動作制限のトリガの情報を受信する。
【0077】
動作制限トリガ識別部192は、動作制限トリガ取得部191により動作制限のトリガが取得されると、トリガ元作業者300およびトリガの種類を識別する(ステップS22)。これにより、制御部180は、動作制限のトリガを生成した端末301が通話端末B(通話端末321)であることを認識する。
【0078】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS23)。
【0079】
一方、連絡先決定部194は、動作制限トリガ識別部192が識別したトリガ元作業者300およびトリガの種類に基づき、第1連絡先として通話端末B(通話端末321)を設定する(ステップS24)。さらに、連絡先決定部194は、トリガ元作業者300およびトリガの種類に基づき
図5に示すような第2連絡先~第4連絡先を設定する。
【0080】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS25)。
【0081】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部(モニタ112、222、操作端末231)に表示すると共に、通話端末B(通話端末321)との通話を自動的に開始する(ステップS26)。これにより、制御管理主体者200は、動作制限のトリガを生成した作業者B(トリガ元作業者320)と迅速に連絡を取り合うことができる。
【0082】
次に
図7(A)に示す第3処理フローについて説明する。第3処理フローでは、作業者C(トリガ元作業者330)がジェスチャにより動作制限のトリガを生成した場合について説明する。なお、この場合の制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれであってもよい。
【0083】
制御方法において、まず、動作制限トリガ取得部191は、外界センサ170のカメラから動作制限のトリガの情報を取得する(ステップS31)。すなわち、制御部180は、作業者C(トリガ元作業者330)をカメラにより撮像して適宜の画像処理を施すことで、作業者Cのジェスチャを抽出する。そして、動作制限トリガ取得部191は、抽出したジェスチャと、予め設定されている参照ジェスチャとを照合して一致した場合に、作業者Cの動作制限のトリガを認識する。
【0084】
動作制限トリガ識別部192は、動作制限トリガ取得部191により動作制限のトリガを取得すると、トリガの種類を識別する一方で、トリガ元作業者300について識別不能と判断する(ステップS32)。
【0085】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS33)。
【0086】
一方、連絡先決定部194は、動作制限トリガ識別部192の識別不能の判断および予め設定されているルール(順位)に基づき、第1連絡先として操作端末A(操作端末231)を設定する(ステップS34)。さらに連絡先決定部194は、ルールに基づき
図5に示すような第2連絡先~第4連絡先を設定する。
【0087】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS35)。
【0088】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、操作端末A(操作端末231)との通話を自動的に開始する(ステップS36)。これにより例えば、制御管理主体者200は、トリガを生成した作業者C(トリガ元作業者330)ではないものの、作業全体を管理している作業者Aと迅速に連絡を取り合うことができる。
【0089】
次に
図7(B)に示す第4処理フローについて説明する。第4処理フローでは、作業者D(トリガ元作業者340)のキーワード発声により動作制限のトリガを生成した場合について説明する。なお、この場合の制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれであってもよい。
【0090】
制御方法において、まず、動作制限トリガ取得部191は、外界センサ170のマイクから動作制限のトリガの情報を取得する(ステップS41)。すなわち、制御部180は、作業者D(トリガ元作業者340)が動作制限のキーワードを発声した音声情報をマイクにより受信して適宜の音声処理を施す。そして、動作制限トリガ取得部191は、抽出したキーワードと、予め設定されている参照キーワードとを照合して一致した場合に、作業者Dの動作制限のトリガを認識する。
【0091】
なお、第4処理フローにおいてステップS42~ステップS46は、上記の第3処理フローのステップS32~S36と同様である。このため、具体的な説明については省略する。
【0092】
次に
図8(B)に示す第5処理フローについて説明する。第5処理フローでは、作業者E(トリガ元作業者350)が非常停止ボタン351により動作制限のトリガを生成した場合について説明する。なお、この場合の制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれであってもよい。
【0093】
制御方法において、まず、動作制限トリガ取得部191は、通信インタフェース184を介して非常停止ボタン351から動作制限のトリガの情報を取得する(ステップS51)。
【0094】
動作制限トリガ識別部192は、動作制限のトリガを取得すると、トリガの種類を識別する一方で、トリガ元作業者300について識別不能と判断する(ステップS52)。上記したように、非常停止ボタン351は、作業者E以外でも押せるようになっているためである。
【0095】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS53)。
【0096】
連絡先決定部194は、動作制限トリガ識別部192の識別不能の判断、および非常停止ボタン351の押下において設定されているルール(順位)に基づき、第1連絡先として通話端末D(通話端末341)を設定する(ステップS54)。さらに連絡先決定部194は、ルールに基づき
図5に示すような第2連絡先~第4連絡先を設定する。
【0097】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS55)。
【0098】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、通話端末D(通話端末341)との通話を自動的に開始する(ステップS56)。これにより例えば、制御管理主体者200は、作業者E(トリガ元作業者340)ではないものの、非常停止ボタン351に近い位置で作業している作業者Dと迅速に連絡を取り合うことができる。
【0099】
以上のように、第1実施形態に係る制御システムSYSは、作業機械100の制御管理主体者200以外の作業者(トリガ元作業者300)が動作制限をかけた場合に、連絡すべきトリガ元作業者300をスムーズに設定できる。この結果、機器201を介して連絡先を取得した制御管理主体者200は、動作制限のトリガを生成した本人または本人の近くにいる者、あるいは作業の管理している者と連絡を取ることで、動作制限の状況を迅速かつ正確に把握することができる。
【0100】
なお、制御システムSYSは、上記の実施形態に限定されず、種々の変形例をとり得る。例えば、上記の実施形態では、制御管理主体者200に連絡先を送信する機器201として、作業機械100、遠隔操作室RC、操作端末231を例示した。しかしながら、機器201は、これに限定されず、例えば、制御管理主体者200が所持する端末であってもよい。また、機器201は、制御管理主体者200が通話可能な構成(マイク、スピーカ)を有するもの限定されず、連絡先を報知する機能のみを持つものでよい。制御管理主体者200は、連絡先の報知に基づいて、自身が所持する通話端末により通話を行うことができる。
【0101】
また上記の実施形態では、作業機械100の制御部180が、動作制限トリガ取得部191、動作制限トリガ識別部192、連絡先決定部194および現場情報送受信部195を有する構成とした。しかしながら、これらの機能部の一部または全部は、別のコンピュータにより実行されてもよい。別のコンピュータとしては、遠隔操作室RCの遠隔コントローラ223や操作端末231があげられる。また制御システムSYSは、作業を管理する管理サーバ(不図示)を別に用意し、この管理サーバが動作制限トリガ取得部191、動作制限トリガ識別部192、連絡先決定部194および現場情報送受信部195の一部または全部を有する構成でもよい。
【0102】
また、制御システムSYSは、一定の期間の間に、別々の作業者によって複数の動作制限のトリガが生成された場合に、複数の動作制限のトリガの各々に対応せずに連絡先を絞って制御管理主体者200に送信してもよい。この場合、作業機械100や作業者に対して生じる危険について、同じ危険が認められて各作業者が動作制限のトリガを生成したと考えられるからである。例えば、制御部180は、一(最初)の動作制限のトリガに基づき連絡先を決定して制御管理主体者200の機器201に当該連絡先を連絡したとする。この場合、連絡先決定部194は、動作制限トリガ取得部191が他の作業者から動作制限のトリガを取得しても、連絡先を決定せずに、連絡先を送信する動作を停止するとよい。これにより、2番目以降の動作制限のトリガを無視でき、制御管理主体者200が種々の連絡先の受信により混乱することを防ぐことができる。なお、制御部180は、複数の動作制限のトリガを取得した場合に、複数の動作制限のトリガの生成位置をマーク情報としてモニタ112に表示してもよい。
【0103】
さらに、制御システムSYSの制御部180は、動作制限を生成した1以上の作業者の位置を示す俯瞰画像の情報を、制御管理主体者200の機器201に送信してもよい。あるいは、制御システムSYSの制御部180は、動作制限を生成した作業者のメッセージを取得して、制御管理主体者200の機器201に送信してもよい。
【0104】
またさらに、識別したトリガ元作業者300の連絡先を制御管理主体者200の機器201に送信して、機器201が通話を試みても通話できなかった場合、動作制限トリガ識別部192は、識別不能と判断し、ルールに沿って別の連絡先を再送する構成でもよい。あるいは、トリガ元作業者300が識別不能の場合等において、制御部180は、車外のマイクやスピーカを用いて、周囲の作業者との通話を行ってもよい。
【0105】
図9は、第1変形例に係るトリガ元作業者300、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。
図9に示すように、制御システムSYSは、作業者のジェスチャによる動作制限のトリガの生成において、端末位置情報および外界センサ170を利用した位置検出により、ジェスチャの作業者C(トリガ元作業者330)を識別してもよい。
【0106】
例えば、トリガ元作業者330の通話端末331は、GPSを利用して端末位置を測位しており、この端末位置情報を作業機械100の制御部180に定期的に送信しておく。そして、制御部180は、トリガ元作業者330のジェスチャを認識した際に、外界センサ170の複眼カメラ、ミリ波レーダまたはLiDAR等によりこのトリガ元作業者330の位置を検出する。トリガ元作業者330の位置検出は、作業機械100の位置情報に対する距離および方位に基づき算出してもよい。制御部180は、端末位置情報とジェスチャのトリガ元作業者330の位置検出情報とを照合することで、複数の作業者のうちジェスチャを行ったトリガ元作業者330を識別できる。
【0107】
ジェスチャの作業者C(トリガ元作業者330)を識別した場合、制御部180の連絡先決定部194は、識別したトリガ元作業者330の通話端末C(通話端末331)を第1連絡先に決定できる。したがって、作業機械100から制御管理主体者200の機器201に第1連絡先として通話端末331を送信することで、制御管理主体者200は、トリガ元作業者330とスムーズに連絡を取り合うことができる。
【0108】
また、制御システムSYSは、音声認識による動作制限のトリガについて、端末位置情報および外界センサ170のマイクを利用した音源定位により、ジェスチャの作業者D(トリガ元作業者340)を識別してもよい。
【0109】
例えば、トリガ元作業者340の通話端末341は、GPSを利用して端末位置を測位しており、この端末位置情報を作業機械100に定期的に送信しておく。そして、作業機械100の制御部180は、トリガ元作業者340のキーワード発声を認識した際に、外界センサ170の複数のマイクを用いて周知の音源定位方法によりトリガ元作業者340の位置を検出する。制御部180は、端末位置情報とキーワード発声のトリガ元作業者340の位置検出情報とを照合することで、複数の作業者のうちキーワード発声したトリガ元作業者340を識別できる。
【0110】
以下、第1変形例に係る制御システムSYSの制御方法について、
図10(A)および
図10(B)を参照しながら説明する。
図10(A)は、動作制限の第6処理フローを示すフローチャートである。
図10(B)は、動作制限の第7処理フローを示すフローチャートである。
【0111】
図10(A)に示す第6処理フローでは、作業者C(トリガ元作業者330)がジェスチャにより動作制限のトリガを生成し、かつ外界センサ170により作業者Cの位置を検出する場合について説明する。なお、制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれでもよい。
【0112】
制御方法において、まず、動作制限トリガ取得部191は、外界センサ170のカメラから動作制限のトリガの情報を取得する(ステップS61)。すなわち、制御部180は、作業者C(トリガ元作業者330)をカメラにより撮像して適宜の画像処理を施すことで、作業者Cのジェスチャを抽出する。そして、動作制限トリガ取得部191は、抽出したジェスチャと、予め設定されている参照ジェスチャとを照合して一致した場合に、作業者Cの動作制限のトリガを認識する。
【0113】
動作制限トリガ識別部192は、動作制限のトリガの取得時における各作業者の端末位置情報を取得すると共に、外界センサ170が検出した作業者C(トリガ元作業者330)の位置検出情報を取得する(ステップS62)。これにより、動作制限トリガ識別部192は、端末位置情報と作業者Cの位置検出情報に基づき、作業者Cの通話端末C(通話端末331)を識別できる(ステップS63)。
【0114】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS64)。
【0115】
連絡先決定部194は、動作制限トリガ識別部192による作業者C(トリガ元作業者330)の識別に基づき、第1連絡先として通話端末C(通話端末331)を設定する(ステップS65)。さらに連絡先決定部194は、ルールに基づき
図9に示すような第2連絡先~第4連絡先を設定する。
【0116】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS66)。
【0117】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、通話端末C(通話端末331)との通話を自動的に開始する(ステップS67)。これにより例えば、制御管理主体者200は、作業者C(トリガ元作業者330)と迅速に連絡を取り合うことができる。
【0118】
次に、
図10(B)に示す第7処理フローについて説明する。第7処理フローでは、作業者D(トリガ元作業者340)がキーワード発声により動作制限のトリガを生成し、かつ作業者Cの位置を検出する場合について説明する。なお、制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれでもよい。
【0119】
制御方法において、まず、動作制限トリガ取得部191は、外界センサ170のマイクから動作制限のトリガの情報を取得する(ステップS71)。すなわち、制御部180は、作業者D(トリガ元作業者340)のキーワード発声を複数のマイクにより受信する。そして、動作制限トリガ取得部191は、抽出したキーワードと、予め設定されている参照キーワードとを照合して一致した場合に、作業者Dの動作制限のトリガを認識する。
【0120】
動作制限トリガ識別部192は、動作制限のトリガの受信時における各作業者の端末位置情報を取得すると共に、外界センサ170の複数のマイクにより作業者D(トリガ元作業者340)の音源定位を行う(ステップS72)。これにより、動作制限トリガ識別部192は、端末位置情報と作業者Dの音源定位に基づき、作業者Dを識別できる(ステップS73)。
【0121】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS74)。
【0122】
連絡先決定部194は、動作制限トリガ識別部192による作業者D(トリガ元作業者340)の識別に基づき、第1連絡先として通話端末D(通話端末341)を設定する(ステップS75)。さらに連絡先決定部194は、ルールに基づき
図9に示すような第2連絡先~第4連絡先を設定する。
【0123】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS76)。
【0124】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、通話端末D(通話端末341)との通話を自動的に開始する(ステップS77)。これにより例えば、制御管理主体者200は、作業者D(トリガ元作業者340)と迅速に連絡を取り合うことができる。
【0125】
なお、制御部180は、複数の端末301の端末位置情報を定期的に取得することで、端末位置情報に基づき、連絡先を変更してもよい。例えば、連絡先決定部194は、端末位置情報に基づき、作業機械100から遠い端末301については優先順位を下げて、別の端末301を優先する処理を行ってもよい。
【0126】
図11は、第2変形例に係る制御システムSYSの動作制限における処理を示すブロック図である。第2変形例では、例えば作業機械100のメンテナンス(点検や修理)において、トリガ元作業者300が作業機械100を予め動作制限した状態を想定している。なお、この場合のトリガ元作業者300は、操作端末A(操作端末231)を所持する作業者A(トリガ元作業者310)でもよく、通話端末B~D(通話端末321、331、341)を所持する作業者B~D(トリガ元作業者320、330、340)でもよい。あるいは、非常停止ボタン351を所持する作業者E(トリガ元作業者350)でもよい。
【0127】
トリガ元作業者300は、作業機械100のメンテナンスの前に、作業機械100を動作制限することで、メンテナンスを安全に行うことができる。制御部180の動作制限トリガ取得部191がトリガ元作業者300の動作制限のトリガを取得すると、動作制限トリガ識別部192は、トリガ元作業者300およびトリガの種類を識別する。そして、動作制限制御部193は、作業機械100の動作制限を制御する。連絡先決定部194は、動作制限トリガ識別部192の識別情報に基づきトリガ元作業者300の連絡先を予め決定しておく。
【0128】
制御管理主体者200は、例えば、トリガ元作業者300による作業機械100のメンテナンスを知らないことで、作業機械100を動作させようとすることがある。しかしながら、作業機械100は、動作制限モードとなっているため、操作に応じて動作しないことになる。なお、この場合の制御管理主体者200としては主に遠隔オペレータ220があげられるが、搭乗オペレータ210や自動運転管理者230の場合もあり得る。
【0129】
そのため、第2変形例に係る制御システムSYSでは、作業機械100の動作制限時に、制御管理主体者200による操作が行われた場合に、機器201からその操作状態の情報を制御部180に送信する。そして、制御部180の現場情報送受信部195は、機器201からの操作状態の情報を受信すると、予め決定されたトリガ元作業者300の連絡先を機器201に送信する。これにより、制御管理主体者200とメンテナンスにより動作制限を行ったトリガ元作業者300とがスムーズに連絡を取り合い、制御管理主体者200は、状況を迅速に把握することができる。
【0130】
図12は、動作制限の第8処理フローを示すフローチャートである。第8処理フローでは、上記したように、作業機械100のメンテナンスのために動作制限のトリガを事前に生成した場合について説明する。
【0131】
制御方法において、動作制限トリガ取得部191は、例えば、操作端末A(操作端末231)から動作制限のトリガの情報を受信する(ステップS81)。すなわち、作業機械100は、点検(メンテナンス)を行う作業者A(トリガ元作業者310)により、動作制限がなされる。
【0132】
動作制限トリガ識別部192は、動作制限のトリガを受信すると、トリガ元作業者300およびトリガの種類を識別する(ステップS82)。これにより、制御部180は動作制限のトリガを生成した者の端末301が、操作端末A(操作端末231)であることを認識できる。
【0133】
そして、動作制限制御部193は、作業機械100の動作制限を実行する(ステップS83)。作業者A(トリガ元作業者310)は、作業機械100の動作制限の状態で点検を行う。
【0134】
また、連絡先決定部194は、動作制限トリガ識別部192が識別したトリガ元作業者300およびトリガの種類に基づき、第1連絡先として操作端末A(操作端末231)を予め設定しておく(ステップS84)。
【0135】
そして、作業者A(トリガ元作業者310)の点検中に、制御管理主体者200が作業機械100の操作を行うことで、制御管理主体者200の機器201から作業機械100に操作状態の情報を送信する。制御部180は、この機器201の操作状態の情報を取得する(ステップS85)。
【0136】
この操作状態の情報の取得に基づき、現場情報送受信部195は、連絡先決定部194が予め設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS86)。
【0137】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、操作端末A(操作端末231)との通話を自動的に開始する(ステップS87)。これにより、制御管理主体者200は、点検を行っている作業者A(トリガ元作業者310)と迅速に連絡を取り合うことができ、状況をスムーズに把握することが可能となる。
【0138】
〔第2実施形態〕
図13は、第2実施形態に係る制御システムSYSαの動作制限における処理を示すブロック図である。
図14は、第2実施形態に係るトリガ元作業者300、トリガの種類、識別結果、および識別結果に基づく連絡先を例示する表である。第2実施形態に係る制御システムSYSαは、動作制限において作業機械100の動作状態の情報に基づき、トリガ元作業者300に対する連絡先を決定(変更)する点で、第1実施形態に係る制御システムSYSと異なる。
【0139】
具体的には、作業機械100の制御部180は、動作制限における機能ブロックとして、動作状態取得部196を別に有する。動作状態取得部196は、作業機械100の動作状態として、例えば、
図14に示すように、作業機械100のアイドリング、バケット操作中、停止中、走行中等の動作状態を取得する。作業機械100の動作状態は、作業機械100の外界センサ170を用いる他に、作業機械100の複数種類の内部センサ(不図示)の情報を取得するとよい。これにより、作業機械100の動作状態を良好に認識可能となり、トリガ元作業者300の連絡先を適切に変更することが可能となる。
【0140】
例えば、連絡先決定部194は、作業機械100の操作中の場合には必ず操作端末A(操作端末231)と通話を行う、作業機械100の停止中の場合には必ず通話端末B(通話端末331)と通話を行う等のルールを設定しておく。これにより、連絡先決定部194は、作業機械100の動作状態を受信した場合に、ルールに基づいて連絡先を適切に変更することができる。
【0141】
図15は、動作制限の第9処理フローを示すフローチャートである。以下、第2実施形態に係る制御システムSYSαの制御方法(第9処理フロー)について説明する。なお
図15では、作業者C(トリガ元作業者330)がジェスチャにより動作制限のトリガを生成し、かつ作業者Cの位置を検出する場合について説明する。この場合の制御管理主体者200は、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220および自動運転管理者230のうちいずれでもよい。
【0142】
第9処理フローにおいて、ステップS91~ステップS94までは、第6処理フローのステップS61~ステップS64までの処理フローと同様である。このため、具体的な説明については省略する。
【0143】
ステップS95において、動作状態取得部196は、作業機械100の動作状態(バケット操作)の情報を取得する。これにより、制御部180は、作業機械100がどのような状態なのかを認識可能となる。
【0144】
そして、連絡先決定部194は、この作業機械100の動作状態を用いて
図14に示すようなルールに従って、第1連絡先として操作端末A(操作端末231)を設定する(ステップS96)。さらに連絡先決定部194は、ルールに基づき
図14に示すような第2連絡先~第4連絡先を設定する。
【0145】
現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報を制御管理主体者200の機器201に送信する(ステップS97)。
【0146】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、操作端末A(操作端末231)との通話を自動的に開始する(ステップS98)。これにより例えば、制御管理主体者200は、作業者A(トリガ元作業者310)と迅速に連絡を取り合うことができる。
【0147】
〔第3実施形態〕
図16は、第3実施形態に係る制御システムSYSβの動作制限における処理を示すブロック図である。
図16に示すように、第3実施形態に係る制御システムSYSβは、作業機械100の動作制限の実施時に、トリガ元作業者300の連絡先と共に、作業機械100の機体情報を制御管理主体者200に送信する点で、上記の制御システムSYS、SYSαと異なる。
【0148】
具体的には、動作制限における機能ブロックとして、機体情報取得部197を別に有する。機体情報取得部197は、動作制限の作業機械100の機体状態の情報として、例えば、外界センサ170で検出した周辺監視映像、地面の傾き等、または作業機械100の内部センサにより検出した機体の姿勢、バケットの中身の重量等の情報を取得する。なお、機体情報取得部197は、通常時には、制御管理主体者200に表示していない情報を機体情報に含ませてもよい。
【0149】
現場情報送受信部195は、トリガ元作業者300の連絡先と共にこの機体情報取得部197が取得した機体情報を、制御管理主体者200の機器201に送信する。これにより、制御管理主体者200は、動作制限を行っている作業機械100の機体情報を良好に把握することができる。例えば、作業機械100は、動作制限時にソフトランディングして停止状態となる。この場合、制御管理主体者200は、どのような状態で動作制限となったか把握できない可能性がある。このため、機体情報を機器201に送信することで、制御管理主体者200は、作業機械100の動作制限の状態をスムーズに把握することが可能となる。
【0150】
図17は、動作制限の第10処理フローを示すフローチャートである。以下、第3実施形態に係る制御システムSYSβの制御方法(第10処理フロー)について説明する。なお
図15では、作業者A(トリガ元作業者310)が操作端末A(操作端末231)より動作制限のトリガを生成した場合について説明する。制御管理主体者200は、例えば、作業機械100の搭乗オペレータ210、遠隔操作室RCの遠隔オペレータ220である。
【0151】
第10処理フローにおいて、ステップS101~ステップS103までは、第1処理フローのステップS11~ステップS13までの処理フローと同様である。このため、具体的な説明については省略する。
【0152】
ステップS104において、機体情報取得部197は、作業機械100の機体情報を取得する。
【0153】
一方、連絡先決定部194は、トリガ元作業者300の識別結果に基づき、第1連絡先として操作端末A(操作端末231)を設定する(ステップS105)。
【0154】
そして、現場情報送受信部195は、連絡先決定部194が設定した連絡先の情報、および機体情報取得部197が取得した作業機械100の機体情報を制御管理主体者200の機器201に送信する(ステップS106)。
【0155】
制御管理主体者200の機器201は、現場情報送受信部195から連絡先の情報を受信した場合に、連絡先を表示部に表示すると共に、操作端末A(操作端末231)との通話を自動的に開始する(ステップS107)。これにより例えば、制御管理主体者200は、作業者A(トリガ元作業者310)と迅速に連絡を取り合うことができる。
【0156】
また、機器201は、機体情報を表示部に表示する(ステップS108)。これにより、制御管理主体者200は、作業機械100の動作制限の状態を良好に認識することができる。
【0157】
以上の実施形態で説明した本開示の技術的思想および効果について以下に記載する。
【0158】
本開示の第1の態様は、作業機械100の動作を制限する制御システムSYS、SYSα、SYSβであって、作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部191と、動作制限のトリガを生成した作業者を識別するように構成された動作制限トリガ識別部192と、作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部194と、連絡先を、作業機械100を操作または管理する制御管理主体者200の機器201に送信するように構成された現場情報送受信部195と、を含む。
【0159】
上記によれば、制御システムSYS、SYSα、SYSβは、制御管理主体者200(ユーザ)以外の作業者により作業機械100が動作制限を受けた場合に、制御管理主体者200は、容易に状況を把握することができる。すなわち、制御管理主体者200は、機器201において動作制限のトリガに応じた適切な連絡先を受信できる。よって、制御管理主体者200は、取得した連絡先と通話することで、状況をスムーズに把握することができる。
【0160】
また、動作制限トリガ識別部192は、動作制限のトリガの情報に基づき作業者の端末301、および/または動作制限のトリガの種類を識別し、連絡先決定部194は、動作制限トリガ識別部192が識別した作業者の端末301を連絡先に決定する。これにより、制御管理主体者200は、より精度よく決定された連絡先を取得することができる。
【0161】
また、連絡先決定部194は、動作制限トリガ識別部192が作業者の端末301を識別不能である場合に、動作制限のトリガの種類に基づき連絡先を決定する。これにより、制御管理主体者200は、動作制限のトリガ元作業者300が識別できない場合でも、連絡先に基づき状況の把握を行うことが可能となる。
【0162】
また、作業機械100は、作業者を含む当該作業機械100の外界の状態を検出可能な外界センサ170を有し、動作制限のトリガの種類は、外界センサ170により検出した作業者のジェスチャ、および/または作業者のキーワード発声を含む。これにより、作業機械100は、端末301を持たない作業者でも、動作制限を容易に実行させることができ、運用コストを低減できる。
【0163】
また、動作制限トリガ識別部192は、外界センサ170による動作制限のトリガを生成した作業者の位置を検出した情報、および作業者の端末301の位置情報に基づき、動作制限のトリガを生成した作業者を識別する。これにより、制御管理主体者200は、ジェスチャやキーワード発声により動作制限を行った作業者にも、スムーズに連絡を取ることができる。
【0164】
また、動作制限トリガ取得部191の動作制限のトリガの取得に基づき、作業機械100の動作状態を取得するように構成された動作状態取得部196を有し、連絡先決定部194は、動作状態取得部196が取得した作業機械100の動作状態に基づき連絡先を変更する。これにより、制御管理主体者200は、作業機械100の動作状態に応じて適切な作業者に対して状況を確認できる。
【0165】
また、動作制限を行った作業機械100の機体情報を取得する機体情報取得部197を有し、現場情報送受信部195は、連絡先と共に、機体情報取得部197が取得した機体情報を、制御管理主体者200の機器201に送信する。制御管理主体者200は、この機体情報に基づき作業機械100の状態を知ることで、動作制限の解除後の操作をスムーズに開始できる
【0166】
また、一の動作制限のトリガに基づき連絡先を決定して制御管理主体者200の機器201に当該連絡先を連絡した場合に、連絡先決定部194は、動作制限トリガ取得部191が他の作業者から動作制限のトリガを取得しても、連絡先を決定しない。これにより、制御管理主体者200は、複数の連絡先により混乱することなく、適宜の作業者に連絡をとることができる。
【0167】
また、作業者(トリガ元作業者310)は、作業機械100の操作または管理と異なる作業に従事する者、作業機械100の操作または管理を行っていない制御管理主体者200、および非常停止ボタン351を操作可能な者のうちいずれかである。これにより、作業現場の作業者は、作業機械100の動作制限をスムーズに行うことができる。
【0168】
また、本開示の第2の態様は、動作制限を実行可能な作業機械100であって、作業者が生成した動作制限のトリガの情報を取得するように構成された動作制限トリガ取得部191と、動作制限のトリガを生成した作業者を識別するように構成された動作制限トリガ識別部192と、作業者の識別結果に基づき、連絡先を決定するように構成された連絡先決定部194と、連絡先を、作業機械100を操作または管理する制御管理主体者200の機器201に送信するように構成された現場情報送受信部195と、を含む。この場合でも、作業機械100は、動作制限を受けた場合に、制御管理主体者200(ユーザ)に容易に状況を把握させることができる。
【0169】
今回開示された実施形態に係る制御システムおよび作業機械は、すべての点において例示であって制限的なものではない。実施形態は、添付の請求の範囲およびその主旨を逸脱することなく、様々な形態で変形および改良が可能である。上記複数の実施形態に記載された事項は、矛盾しない範囲で他の構成も取り得ることができ、また、矛盾しない範囲で組み合わせることができる。
【符号の説明】
【0170】
100 作業機械
170 外界センサ
191 動作制限トリガ取得部
192 動作制限トリガ識別部
194 連絡先決定部
195 現場情報送受信部
196 動作状態取得部
197 機体情報取得部
200 制御管理主体者
201 機器
301 端末
SYS、SYSα、SYSβ 制御システム