IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 住友重機械工業株式会社の特許一覧

<>
  • 特開-作業機械、電子機器 図1
  • 特開-作業機械、電子機器 図2
  • 特開-作業機械、電子機器 図3
  • 特開-作業機械、電子機器 図4
  • 特開-作業機械、電子機器 図5
  • 特開-作業機械、電子機器 図6
  • 特開-作業機械、電子機器 図7
  • 特開-作業機械、電子機器 図8
  • 特開-作業機械、電子機器 図9
  • 特開-作業機械、電子機器 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023131366
(43)【公開日】2023-09-22
(54)【発明の名称】作業機械、電子機器
(51)【国際特許分類】
   E02F 9/20 20060101AFI20230914BHJP
   E02F 9/26 20060101ALI20230914BHJP
   G06T 7/00 20170101ALI20230914BHJP
   G06T 7/20 20170101ALI20230914BHJP
   G06V 40/20 20220101ALI20230914BHJP
   G06F 3/01 20060101ALI20230914BHJP
【FI】
E02F9/20 N
E02F9/26 A
G06T7/00 510A
G06T7/20 300A
G06V40/20
G06F3/01 570
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022036078
(22)【出願日】2022-03-09
(71)【出願人】
【識別番号】000002107
【氏名又は名称】住友重機械工業株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】綾戸 裕一
【テーマコード(参考)】
2D003
2D015
5B043
5E555
5L096
【Fターム(参考)】
2D003AA01
2D003AB01
2D003AB02
2D003AB03
2D003AB04
2D003BA03
2D003BA04
2D003BA07
2D003DA04
2D003DB02
2D003DB05
2D015HA03
5B043AA04
5B043AA09
5B043BA05
5B043EA02
5B043EA05
5B043FA09
5B043GA05
5B043GA11
5E555AA16
5E555AA53
5E555BA23
5E555BB23
5E555BC16
5E555CA42
5E555CA46
5E555CB66
5E555FA00
5L096CA02
5L096HA03
5L096HA05
5L096JA13
(57)【要約】
【課題】機器の安全性やセキュリティ性をより適切に確保することが可能な技術を提供する。
【解決手段】本開示の一実施形態に係るショベル100は、ショベル100の周辺の物体に関する情報を取得する撮像装置40と、撮像装置40の出力に基づき、ショベル100の周辺の人のジェスチャを認識するジェスチャ認識部303と、ジェスチャ認識部303によりショベル100の周辺の人の第1のジェスチャが認識され、且つ、その後、ジェスチャ認識部303により同じ人の第2のジェスチャが認識される場合、その人を認証する認証部304と、を備える。
【選択図】図8
【特許請求の範囲】
【請求項1】
作業機械の周辺、又はキャビンの内部の物体に関する情報を取得する第1のセンサと、
前記第1のセンサの出力に基づき、作業機械の周辺、又は前記キャビンの内部の人のジェスチャを認識する認識部と、
前記認識部により作業機械の周辺の人の第1のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第2のジェスチャが認識される場合、その人を認証する認証部と、を備える、
作業機械。
【請求項2】
前記第2のジェスチャは、作業機械の周辺、又は前記キャビンの内部に存在する他の人が行っている動作とは異なるジェスチャである、
請求項1に記載の作業機械。
【請求項3】
前記第1のジェスチャには、作業機械の周辺の人が作業機械に接近する動作が含まれる、
請求項1又は2に記載の作業機械。
【請求項4】
作業機械の周辺の物体に関する情報を取得する第2のセンサと、
前記第2のセンサの出力に基づき、作業機械の周辺の人を検知する検知部と、
前記検知部により作業機械の周辺の所定範囲内で人が検知される場合、所定の安全機能を作動させる第1の制御部と、を備え、
前記第1の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動を禁止する、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動を緩和する、又は、前記認証部により認証された人が前記検知部により検知された場合の前記所定の安全機能の作動条件を緩和する、
請求項1乃至3の何れか一項に記載の作業機械。
【請求項5】
前記所定の安全機能は、前記所定範囲内で人が検知されたことを報知する報知機能を含み、
前記第1の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記報知機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行う、
請求項4に記載の作業機械。
【請求項6】
前記所定の安全機能は、作業機械のオペレータ及び作業機械の周辺の少なくとも一方への第1の報知機能、及び前記検知部により検知された人への第2の報知機能を含み、
前記第1の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記第1の報知機能及び前記第2の報知機能のうちの前記第2の報知機能のみの禁止、作動の緩和、又は作動条件の緩和を行う、
請求項5に記載の作業機械。
【請求項7】
前記所定の報知機能は、作業機械の動作を制限する動作制限機能を含み、
前記第1の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記動作制限機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行う、
請求項4乃至6の何れか一項に記載の作業機械。
【請求項8】
下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられるアタッチメントと、を備え、
前記動作制限機能は、前記上部旋回体の動作を制限する第1の動作制限機能と、前記アタッチメントの動作を制限する第2の動作制限機能とを含み、
前記第1の制御部は、前記認証部により認証された人が前記検知部により検知された場合の前記第1の動作制限機能及び前記第2の動作制限機能のうちの前記第2の動作制限機能のみの禁止、作動の緩和、又は作動条件の緩和を行う、
請求項7に記載の作業機械。
【請求項9】
作業機械のユーザが所持する端末装置と通信可能な通信装置を備え、
前記認識部は、前記第1のジェスチャが認識された場合、前記通信装置を通じて、前記第2のジェスチャを要求する信号を端末装置に送信する、
請求項1乃至8の何れか一項に記載の作業機械。
【請求項10】
前記端末装置からの信号に応じて、その動作がリモート操作される、
請求項9に記載の作業機械。
【請求項11】
作業機械へのアクセス又は操作に対して所定のセキュリティ機能を作動させる第2の制御部を備え、
前記第2の制御部は、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動を禁止する、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動を緩和する、又は、前記認証部により認証されている人の作業機械へのアクセス又は操作に対する前記所定のセキュリティ機能の作動条件を緩和する、
請求項1乃至10の何れか一項に記載の作業機械。
【請求項12】
電子機器の周辺の物体に関する情報を取得する第1のセンサと、
前記第1のセンサの出力に基づき、電子機器の周辺の人のジェスチャを認識する認識部と、
前記認識部により電子機器の周辺の人の第1のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第2のジェスチャが認識される場合、その人を認証する認証部と、を備える、
電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業機械等に関する。
【背景技術】
【0002】
従来、外部からの人のジェスチャによって各種の機器を操作可能な技術が知られている(例えば、特許文献1参照)。
【0003】
特許文献1では、周辺の作業者を認識し、その作業者からの所定のジェスチャによって操作可能に構成されるショベルが開示されている。これにより、ユーザの利便性を向上させることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2020/032267号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、例えば、複数の人が機器により認識されると、特定の操作者とは異なる人からの所定のジェスチャが認識され、その人の意思とは関係なく、機器が動作してしまう可能性がある。また、例えば、偶然、所定のジェスチャで操作可能であることを知り得た悪意の第三者により、ジェスチャによる操作機能を悪用される可能性もある。
【0006】
そこで、上記課題に鑑み、機器の安全性やセキュリティ性をより適切に確保することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本開示の一実施形態では、
作業機械の周辺、又はキャビンの内部の物体に関する情報を取得する第1のセンサと、
前記第1のセンサの出力に基づき、作業機械の周辺、又は前記キャビンの内部の人のジェスチャを認識する認識部と、
前記認識部により作業機械の周辺の人の第1のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第2のジェスチャが認識される場合、その人を認証する認証部と、を備える、
作業機械が提供される。
【0008】
また、本開示の他の実施形態では、
電子機器の周辺の物体に関する情報を取得する第1のセンサと、
前記第1のセンサの出力に基づき、電子機器の周辺の人のジェスチャを認識する認識部と、
前記認識部により電子機器の周辺の人の第1のジェスチャが認識され、且つ、その後、前記認識部により同じ人の第2のジェスチャが認識される場合、その人を認証する認証部と、を備える、
電子機器が提供される。
【発明の効果】
【0009】
上述の実施形態によれば、機器の安全性やセキュリティ性をより適切に確保することができる。
【図面の簡単な説明】
【0010】
図1】ショベルの遠隔操作システムの一例を示す図である。
図2】ショベルの一例を示す上面図である。
図3】作業機械の他の例を示す図である。
図4】ショベルのハードウェア構成の一例を示すブロック図である。
図5】遠隔操作支援装置のハードウェア構成の一例を示すブロック図である。
図6】ショベルの周辺監視機能に関する機能構成の一例を示す機能ブロック図である。
図7】ショベルの周辺の人(遠隔操作のオペレータ)の認証処理の一例を概略的に示すフローチャートである。
図8】ショベルのセキュリティシステムの一例を示す図である。
図9】ショベルのハードウェア構成の他の例を示すブロック図である。
図10】ショベルのセキュリティ機能に関する構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して実施形態について説明する。
【0012】
[遠隔操作システムの概要]
まず、図1図3を参照して、本実施形態に係るショベル100の遠隔操作システムSYS1の概要について説明をする。
【0013】
図1は、ショベル100の遠隔操作システムSYS1の一例を示す図である。図1において、ショベル100は、左側面図が示される。図2は、ショベル100の一例を示す上面図である。図3は、作業機械の他の例を示す図である。
【0014】
図1に示すように、遠隔操作システムSYS1は、ショベル100と、遠隔操作支援装置200とを含む。
【0015】
遠隔操作システムSYS1は、遠隔操作支援装置200を用いて、ユーザによるショベル100の遠隔操作(リモート操作)を実現する。以下、遠隔操作支援装置200を用いて、ショベル100の遠隔操作を行うユーザを便宜的に「遠隔操作のオペレータ」と称する場合がある。
【0016】
ショベル100は、遠隔操作の対象の作業機械である。
【0017】
尚、遠隔操作システムSYS1における遠隔操作の対象は、ショベル100とは異なる他の作業機械であってもよい。例えば、図3に示すように、遠隔操作システムSYS1は、遠隔操作の対象として、クローラクレーン300を含んでもよい。後述のセキュリティシステムSYS2におけるセキュリティ性の確保の対象の作業機械についても同様であってよい。
【0018】
図1図2に示すように、ショベル100は、下部走行体1と、上部旋回体3と、ブーム4、アーム5、及び、バケット6を含むアタッチメントATと、キャビン10とを備える。
【0019】
下部走行体1は、例えば、左側のクローラ1CL及び右側のクローラ1CRを含み、クローラ1CL,1CRがそれぞれに対応する走行油圧モータ1Mで油圧駆動されることにより、自走する。
【0020】
上部旋回体3は、旋回機構2を介して下部走行体1に旋回可能に搭載される。例えば、上部旋回体3は、旋回油圧モータ2Mで旋回機構2が油圧駆動されることにより、下部走行体1に対して旋回する。
【0021】
ブーム4は、左右方向の回転軸を中心として俯仰可能なように、上部旋回体3の前部中央に取り付けられる。アーム5は、左右方向の回転軸を中心として回転可能なように、ブーム4の先端に取り付けられる。バケット6は、左右方向の回転軸を中心として回転可能なように、アーム5の先端に取り付けられる。
【0022】
バケット6は、エンドアタッチメントの一例であり、ショベル100の作業内容に応じて、適宜交換可能な態様で、アーム5の先端に取り付けられている。つまり、アーム5の先端には、バケット6に代えて、バケット6とは異なる種類のバケット、例えば、相対的に大きい大型バケット、法面用バケット、浚渫用バケット等が取り付けられてもよい。また、アーム5の先端には、バケット以外の種類のエンドアタッチメント、例えば、攪拌機、ブレーカ、クラッシャー等が取り付けられてもよい。また、アーム5と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが設けられてもよい。
【0023】
ブーム4、アーム5、及び、バケット6は、それぞれ、ブームシリンダ7、アームシリンダ8、及び、バケットシリンダ9により油圧駆動される。
【0024】
キャビン10は、オペレータが搭乗し、ショベル100を操作するための操縦室であり、例えば、上部旋回体3の前部左側に搭載される。
【0025】
ショベル100は、上述の如く、遠隔操作支援装置200からの遠隔操作が可能に構成される。具体的には、ショベル100は、遠隔操作支援装置200から受信される、遠隔操作のオペレータの操作内容に応じて、下部走行体1(即ち、左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。ショベル100が遠隔操作される場合、キャビン10の内部は、無人状態であってもよい。
【0026】
また、ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させることが可能に構成されてもよい。以下、遠隔操作のオペレータの操作、及びキャビン10のオペレータの操作を包括的に「オペレータの操作」と称する場合がある。
【0027】
尚、ショベル100の遠隔操作のみが可能な場合、キャビン10は省略されてもよい。
【0028】
遠隔操作支援装置200は、ユーザ(遠隔操作のオペレータ)からのショベル100の操作に関する入力を受け付け、その操作内容を表す信号(以下、「遠隔操作信号」)をショベル100に送信することで、ショベル100の遠隔操作を支援する。
【0029】
遠隔操作支援装置200は、例えば、ユーザが形態可能な可搬型の端末装置(即ち、携帯端末)である。これにより、ショベル100の作業現場において、ユーザは、ショベル100及びショベル100の作業対象の場所を視認しながら、遠隔操作支援装置200を用いて、ショベル100を遠隔操作することができる。
【0030】
遠隔操作支援装置200は、ショベル100の遠隔操作に専用の携帯端末であってもよいし、例えば、スマートフォンやタブレット端末等の汎用の携帯端末であってもよい。後者の場合、ショベル100と連携して動作可能な専用のアプリケーションが予めインストールされていてもよい。
【0031】
[遠隔操作システムのハードウェア構成]
次に、図1図2に加えて、図4図5を参照して、遠隔操作システムSYS1のハードウェア構成について説明する。
【0032】
<ショベルのハードウェア構成>
図4は、ショベル100のハードウェア構成の一例を示す図である。
【0033】
尚、図4では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。
【0034】
≪油圧駆動系≫
図4に示すように、ショベル100の油圧駆動系は、上述の如く、下部走行体1(左右のクローラ1C)、上部旋回体3、及びアタッチメントAT等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータHAを含む。また、本実施形態に係るショベル100の油圧駆動系は、エンジン11と、レギュレータ13と、メインポンプ14と、コントロールバルブ17とを含む。
【0035】
油圧アクチュエータHAには、走行油圧モータ1ML,1MR、旋回油圧モータ2M、ブームシリンダ7、アームシリンダ8、及びバケットシリンダ9等が含まれる。
【0036】
尚、ショベル100は、油圧アクチュエータHAの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル100は、ハイブリッドショベルや電動ショベルであってもよい。
【0037】
エンジン11は、ショベル100の原動機であり、油圧駆動系におけるメイン動力源である。エンジン11は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン11は、例えば、上部旋回体3の後部に搭載される。エンジン11は、後述するコントローラ30による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ14及びパイロットポンプ15を駆動する。
【0038】
尚、エンジン11に代えて、或いは、加えて、他の原動機(例えば、電動機)等がショベル100に搭載されてもよい。
【0039】
レギュレータ13は、コントローラ30の制御下で、メインポンプ14の吐出量を制御(調節)する。例えば、レギュレータ13は、コントローラ30からの制御指令に応じて、メインポンプ14の斜板の角度(以下、「傾転角」)を調節する。
【0040】
メインポンプ14は、高圧油圧ラインを通じてコントロールバルブ17に作動油を供給する。メインポンプ14は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。メインポンプ14は、上述の如く、エンジン11により駆動される。メインポンプ14は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ30の制御下で、レギュレータ13により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量や吐出圧が制御される。
【0041】
コントロールバルブ17は、オペレータの操作装置26に対する操作や遠隔操作の内容に応じて、油圧アクチュエータHAの制御を行う油圧制御装置である。コントロールバルブ17は、例えば、上部旋回体3の中央部に搭載される。コントロールバルブ17は、上述の如く、高圧油圧ラインを介してメインポンプ14と接続され、メインポンプ14から供給される作動油を、オペレータの操作に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ17は、メインポンプ14から油圧アクチュエータHAのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁(「方向切換弁」とも称する)を含む。
【0042】
≪操作系≫
図4に示すように、ショベル100の操作系は、パイロットポンプ15と、操作装置26と、油圧制御弁31と、シャトル弁32と、油圧制御弁33とを含む。
【0043】
パイロットポンプ15は、パイロットライン25を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ15は、例えば、エンジン11と同様、上部旋回体3の後部に搭載される。パイロットポンプ15は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン11により駆動される。
【0044】
尚、パイロットポンプ15は、省略されてもよい。この場合、メインポンプ14から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給されてよい。
【0045】
操作装置26は、キャビン10の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。具体的には、操作装置26は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータHAの操作を行うために用いられ、その結果として、油圧アクチュエータHAの駆動対象の被駆動要素のオペレータによる操作を実現することができる。操作装置26は、それぞれの被駆動要素(油圧アクチュエータHA)を操作するためのペダル装置やレバー装置を含む。
【0046】
例えば、図4に示すように、操作装置26は、油圧パイロット式である。具体的には、操作装置26は、パイロットライン25及びそこから分岐するパイロットライン25Aを通じてパイロットポンプ15から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン27Aに出力する。パイロットライン27Aは、シャトル弁32の一方の入口ポートに接続され、シャトル弁32の出口ポートに接続されるパイロットライン27を介して、コントロールバルブ17に接続される。これにより、コントロールバルブ17には、シャトル弁32を介して、操作装置26における各種被駆動要素(油圧アクチュエータHA)に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ17は、オペレータ等による操作装置26に対する操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。
【0047】
尚、操作装置26は、電気式であってもよい。この場合、パイロットライン27A、シャトル弁32、及び油圧制御弁33は省略される。具体的には、操作装置26は、操作内容に応じた電気信号(以下、「操作信号」)を出力し、操作信号は、コントローラ30に取り込まれる。そして、コントローラ30は、操作信号の内容に応じた制御指令、つまり、操作装置26に対する操作内容に応じた制御信号を油圧制御弁31に出力する。これにより、油圧制御弁31からコントロールバルブ17に操作装置26の操作内容に応じたパイロット圧が入力され、コントロールバルブ17は、操作装置26の操作内容に応じて、それぞれの油圧アクチュエータHAを駆動することができる。また、コントロールバルブ17に内蔵される、それぞれの油圧アクチュエータHAを駆動する制御弁(方向切換弁)は、電磁ソレノイド式であってもよい。この場合、操作装置26から出力される操作信号がコントロールバルブ17に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、上述の如く、油圧アクチュエータHAの一部又は全部は電動アクチュエータに置換されてもよい。この場合、コントローラ30は、操作装置26の操作内容や遠隔操作信号で規定される遠隔操作の内容に応じた制御指令を電動アクチュエータ或いは電動アクチュエータを駆動するドライバ等に出力してよい。また、ショベル100の遠隔操作が可能であることから、操作装置26は省略されてもよい。
【0048】
油圧制御弁31は、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の駆動方向(例えば、ブーム4の上げ方向及び下げ方向)ごとに設けられる。つまり、複動式である油圧アクチュエータHAごとに、2つの油圧制御弁31が設けられる。油圧制御弁31は、例えば、パイロットポンプ15とコントロールバルブ17との間のパイロットライン25Bに設けられ、その流路面積(即ち、作動油が通流可能な断面積)を変更可能に構成されてよい。これにより、油圧制御弁31は、パイロットライン25Bを通じて供給されるパイロットポンプ15の作動油を利用して、所定のパイロット圧を二次側のパイロットライン27Bに出力することができる。そのため、図4に示すように、油圧制御弁31は、パイロットライン27Bとパイロットライン27の間のシャトル弁32を通じて、間接的に、コントローラ30からの制御信号に応じた所定のパイロット圧をコントロールバルブ17に作用させることができる。そのため、コントローラ30は、油圧制御弁31から電気式の操作装置26の操作内容に応じたパイロット圧をコントロールバルブ17に供給させ、オペレータの操作に基づくショベル100の動作を実現することができる。
【0049】
また、コントローラ30は、油圧制御弁31を制御し、ショベル100の遠隔操作を実現することができる。具体的には、コントローラ30は、通信装置60によって、遠隔操作支援装置200から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁31に出力する。これにより、コントローラ30は、油圧制御弁31から遠隔操作の内容に対応するパイロット圧をコントロールバルブ17に供給させ、オペレータの遠隔操作に基づくショベル100の動作を実現することができる。
【0050】
シャトル弁32は、2つの入口ポートと1つの出口ポートを有し、2つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁32は、操作装置26の操作対象の被駆動要素(油圧アクチュエータHA)ごと且つ被駆動要素(油圧アクチュエータHA)の駆動方向ごとに設けられる。シャトル弁32の2つの入口ポートのうちの一方が操作装置26(具体的には、操作装置26に含まれる上述のレバー装置やペダル装置)の二次側のパイロットライン27Aに接続され、他方が油圧制御弁31の二次側のパイロットライン27Bに接続される。シャトル弁32の出口ポートは、パイロットライン27を通じて、コントロールバルブ17の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁32の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁32は、それぞれ、操作装置26の二次側のパイロットライン27Aのパイロット圧と油圧制御弁31の二次側のパイロットライン27Bのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ30は、操作装置26の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁31から出力させることで、オペレータの操作装置26に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ30は、オペレータの操作装置26に対する操作状態に依らず、被駆動要素(下部走行体1、上部旋回体3、アタッチメントAT)の動作を制御し、ショベル100の遠隔操作機能を実現することができる。
【0051】
油圧制御弁33は、操作装置26とシャトル弁32とを接続するパイロットライン27Aに設けられる。油圧制御弁33は、例えば、その流路面積を変更可能なように構成される。油圧制御弁33は、コントローラ30から入力される制御信号に応じて動作する。これにより、コントローラ30は、オペレータにより操作装置26が操作されている場合に、操作装置26から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ30は、操作装置26が操作されている場合であっても、操作装置26の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ30は、例えば、操作装置26が操作されている場合であっても、操作装置26から出力されるパイロット圧を減圧させ、油圧制御弁31から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ30は、油圧制御弁31及び油圧制御弁33を制御することで、例えば、操作装置26の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ17内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ30は、例えば、油圧制御弁31に加えて、油圧制御弁33を制御することで、ショベル100の遠隔操作機能をより適切に実現することができる。
【0052】
≪ユーザインタフェース系≫
図4に示すように、ショベル100のユーザインタフェース系は、操作装置26と、出力装置50と、入力装置52とを含む。
【0053】
出力装置50は、ショベル100のユーザ(例えば、キャビン10のオペレータや外部の遠隔操作のオペレータ)やショベル100の周辺の人(例えば、作業者や作業車両の運転者)等に向けて各種情報を出力する。
【0054】
例えば、出力装置50は、視覚的な方法で各種情報を出力する照明機器や表示装置等を含む。照明機器は、例えば、警告灯等である。表示装置は、例えば、液晶ディスプレイや有機ELディスプレイ等である。例えば、図2に示すように、出力装置50としての照明機器や表示装置は、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置は、例えば、上部旋回体3の側面等に設けられ、ショベル100の周囲の遠隔操作のオペレータや作業者等に視覚的な方法で各種情報を出力してもよい。
【0055】
また、例えば、出力装置50は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン10の内部及び外部の少なくとも一方に設けられ、キャビン10の内部のオペレータやショベル100の周囲の人(遠隔操作のオペレータや作業者等)に聴覚的な方法で各種情報を出力してよい。
【0056】
また、例えば、出力装置50は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。
【0057】
入力装置52は、ショベル100のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ30に取り込まれる。入力装置52は、例えば、キャビン10の内部に設けられ、キャビン10の内部のオペレータ等からの入力を受け付ける。また、入力装置52は、例えば、上部旋回体3の側面等に設けられ、ショベル100の周辺の作業者等からの入力を受け付けてもよい。
【0058】
例えば、入力装置52は、操作入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置26(レバー装置)に設けられるノブスイッチ等が含まれてよい。
【0059】
また、例えば、入力装置52は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。
【0060】
また、例えば、入力装置52は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。
【0061】
また、例えば、入力装置52は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。
【0062】
≪通信系≫
図4に示すように、本実施形態に係るショベル100の通信系は、通信装置60を含む。
【0063】
通信装置60は、外部の通信回線に接続し、ショベル100と別に設けられる装置と通信を行う。ショベル100と別に設けられる装置には、ショベル100の外部にある装置の他、ショベル100のユーザによってキャビン10に持ち込まれる可搬型の端末装置(携帯端末)が含まれてもよい。通信装置60は、例えば、4G(4th Generation)や5G(5th Generation)等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置60は、例えば、衛星通信モジュールを含んでもよい。また、通信装置60は、例えば、WiFi通信モジュールやブルートゥース(登録商標)通信モジュール等を含んでもよい。また、通信装置60は、接続対象の通信回線に合わせて、複数の通信装置を含んでもよい。
【0064】
例えば、通信装置60は、ショベル100の作業現場における局所的な通信回線や近距離通信回線等を通じて、遠隔操作支援装置200と通信を行う。局所的な通信回線は、例えば、作業現場に構築される局所的な5G(いわゆるローカル5G)による移動体通信回線やWiFi6によるローカルネットワーク(LAN:Local Area Network)である。
【0065】
≪制御系≫
図4に示すように、ショベル100の制御系は、コントローラ30を含む。また、ショベル100の制御系は、操作圧センサ29と、撮像装置40とを含む。
【0066】
コントローラ30は、ショベル100に関する各種制御を行う。
【0067】
コントローラ30の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図4に示すように、コントローラ30は、バスB1で接続される、補助記憶装置30A、メモリ装置30B、CPU30C、及びインタフェース装置30Dを含む。
【0068】
補助記憶装置30Aは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置30Aは、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)やフラッシュメモリ等である。
【0069】
メモリ装置30Bは、例えば、プログラムの起動指示があった場合に、補助記憶装置30AのプログラムをCPU30Cが読み込み可能なようにロードする。メモリ装置30Bは、例えば、SRAM(Static Random Access Memory)である。
【0070】
CPU30Cは、例えば、メモリ装置30Bにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ30の各種機能を実現する。
【0071】
インタフェース装置30Dは、例えば、ショベル100の内部の通信回線に接続するための通信インタフェースとして機能する。インタフェース装置30Dは、接続する通信回線の種類に合わせて、複数の異なる種類の通信インタフェースを含んでよい。
【0072】
また、インタフェース装置30Dは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのための外部インタフェースとして機能する。記録媒体は、例えば、キャビン10の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、SDメモリカードやUSB(Universal Serial Bus)メモリ等の汎用の記録媒体であってもよい。これにより、コントローラ30の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供され、コントローラ30の補助記憶装置30Aにインストールされうる。また、プログラムは、通信装置60を通じて、ショベル100の外部の他のコンピュータからダウンロードされ、補助記憶装置30Aにインストールされてもよい。
【0073】
尚、コントローラ30の機能の一部は、他のコントローラ(制御装置)により実現されてもよい。即ち、コントローラ30の機能は、複数のコントローラにより分散して実現される態様であってもよい。
【0074】
操作圧センサ29は、油圧パイロット式の操作装置26の二次側(パイロットライン27A)のパイロット圧、即ち、操作装置26におけるそれぞれの被駆動要素(油圧アクチュエータ)の操作状態に対応するパイロット圧を検出する。操作圧センサ29による操作装置26におけるそれぞれの被駆動要素(油圧アクチュエータHA)に関する操作状態に対応するパイロット圧の検出信号は、コントローラ30に取り込まれる。
【0075】
尚、操作装置26が電気式である場合やショベル100が遠隔操作のみを対象とし、操作装置26自体が省略される場合、操作圧センサ29は省略される。
【0076】
撮像装置40は、ショベル100の周辺の画像を取得する。また、撮像装置40は、取得した画像及び後述の距離に関するデータに基づき、撮像範囲(画角)内におけるショベル100の周辺の物体の位置及び外形を表す三次元データ(以下、単に「物体の三次元データ」)を取得(生成)してもよい。ショベル100の周辺の物体の三次元データは、例えば、物体の表面を表す点群の座標情報のデータや距離画像データ等である。
【0077】
例えば、図2に示すように、撮像装置40は、上部旋回体3の前方を撮像するカメラ40F、上部旋回体3の後方を撮像するカメラ40B、上部旋回体3の左方を撮像するカメラ40L、及び上部旋回体3の右方を撮像するカメラ40Rを含む。これにより、撮像装置40は、ショベル100の上面視において、ショベル100を中心とする全周、即ち360度の角度方向に亘る範囲を撮像することができる。また、オペレータは、出力装置50や遠隔操作支援装置200を通じて、カメラ40B,40L,40Rの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体3の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作支援装置200を通じて、カメラ40Fの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、上部旋回体3の前方の様子を確認することができる。そのため、オペレータは、バケット6を含むアタッチメントATの動作を自身の作業現場での位置とは異なる視点から確認しながら、ショベル100を遠隔操作することができる。以下、カメラ40F,40B,40L,40Rを包括的に、或いは、個別に、「カメラ40X」と称する場合がある。
【0078】
カメラ40Xは、例えば、単眼カメラである。また、カメラ40Xは、例えば、ステレオカメラ、TOF(Time Of Flight)カメラ等(以下、包括的に「3Dカメラ」)のように、二次元の画像に加えて、距離(深度)に関するデータを取得可能であってもよい。
【0079】
撮像装置40(カメラ40X)の出力データ(例えば、画像データやショベル100の周辺の物体の三次元データ等)は、一対一の通信線や車載ネットワークを通じて、コントローラ30に取り込まれる。これにより、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺の物体に関する監視を行うことができる。また、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺環境を判断することができる。また、例えば、コントローラ30は、カメラ40X(カメラ40F)の出力データに基づき、撮像画像に映るアタッチメントATの姿勢状態を判断することができる。また、例えば、コントローラ30は、カメラ40Xの出力データに基づき、ショベル100の周辺の物体を基準として、ショベル100の機体(上部旋回体3)の姿勢状態を判断することができる。
【0080】
尚、カメラ40F,40B,40L,40Rのうちの一部が省略されてもよい。また、撮像装置40(カメラ40X)に代えて、或いは、加えて、距離センサが上部旋回体3に設けられてもよい。距離センサは、例えば、上部旋回体3の上部に取り付けられ、ショベル100を基準とする周辺の物体の距離及び方向に関するデータを取得する。また、距離センサは、取得したデータに基づき、センシング範囲内におけるショベル100の周辺の物体の三次元データ(例えば、点群の座標情報のデータ)を取得(生成)してもよい。距離センサは、例えば、LIDAR(Light Detection and Ranging)である。また、例えば、距離センサは、例えば、ミリ波レーダや超音波センサや赤外線センサ等であってもよい。
【0081】
<遠隔操作支援装置のハードウェア構成>
図5は、遠隔操作支援装置200のハードウェア構成の一例を示す図である。
【0082】
遠隔操作支援装置200の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図5に示すように、遠隔操作支援装置200は、バスB2で接続される、外部インタフェース201、補助記憶装置202、メモリ装置203、CPU204、通信インタフェース206、入力装置207、及び表示装置208を含む。
【0083】
外部インタフェース201は、記録媒体201Aからデータの読み取りや記録媒体201Aへのデータの書き込みのためのインタフェースとして機能する。記録媒体201Aには、例えば、フレキシブルディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、SDメモリカード、USBメモリ等が含まれる。これにより、遠隔操作支援装置200は、記録媒体201Aを通じて、処理で利用する各種データを読み込み、補助記憶装置202に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。
【0084】
尚、遠隔操作支援装置200は、通信インタフェース206を通じて、外部装置から各種データやプログラムを取得してもよい。
【0085】
補助記憶装置202は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置202は、例えば、HDD(Hard Disc Drive)やSSD(Solid State Drive)やフラッシュメモリ等を含む。
【0086】
メモリ装置203は、プログラムの起動指示があった場合に、補助記憶装置202からプログラムを読み出して格納する。メモリ装置203は、例えば、DRAM(Dynamic Random Access Memory)やSRAMを含む。
【0087】
CPU204は、補助記憶装置202からメモリ装置203にロードされた各種プログラムを実行し、プログラムに従って遠隔操作支援装置200に関する各種機能を実現する。
【0088】
通信インタフェース206は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、遠隔操作支援装置200は、通信インタフェース206を通じて、例えば、ショベル100等の外部機器と通信することができる。また、通信インタフェース206は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。
【0089】
入力装置207は、ユーザから各種入力を受け付ける。例えば、入力装置207には、オペレータが遠隔操作を行うための入力装置、即ち、遠隔操作用の操作装置が含まれる。
【0090】
入力装置207は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置208に実装されるタッチパネル、表示装置208とは別に設けられるタッチパッド等を含む。
【0091】
また、入力装置207は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。
【0092】
また、入力装置207は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。
【0093】
また、入力装置207は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。
【0094】
表示装置208は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置208には、上述の遠隔操作用表示装置が含まれる。表示装置208は、例えば、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイ等である。
【0095】
[ショベルの周辺監視機能に関する機能構成]
次に、図6を参照して、ショベル100の周辺監視機能に関する機能構成について説明する。
【0096】
図6は、ショベル100の周辺監視機能に関する機能構成の一例を示すブロック図である。
【0097】
コントローラ30は、物体検知部301と、位置推定部302と、ジェスチャ認識部303と、認証部304と、追跡部305と、安全制御部306とを含む。
【0098】
物体検知部301は、ショベル100の周辺の監視対象の障害物(以下、単に「監視物体」)を検知する。具体的には、物体検知部301は、所定の処理周期ごとに、ショベル100の周辺の監視物体を検知するための処理を行ってよい。監視物体には、例えば、作業者等の人が含まれる。また、監視物体には、例えば、他の作業機械や作業車両等が含まれてもよい。監視物体には、例えば、電柱、柵、三角コーン等の作業現場の特定の定置型の物体が含まれてもよい。また、監視物体には、例えば、溝、穴等の作業現場の特定の地形形状が含まれてもよい。
【0099】
物体検知部301は、例えば、ショベル100の撮像装置40(第2のセンサの一例)や距離センサ(第2のセンサの一例)の出力データ(撮像画像)に基づき、既知の方法を用いて、ショベル100の周辺の監視物体を検知する。また、撮像装置40及び距離センサの双方がショベル100に搭載される場合、物体検知部301は、撮像装置40及び距離センサの出力データに対してセンサフュージョンの技術を適用して、ショベル100の周辺の物体を検知してもよい。
【0100】
位置推定部302は、物体検知部301により検知された監視物体のショベル100から見た実際に存在する位置(以下、「実在位置」)を推定する。具体的には、位置推定部302は、物体検知部301により監視物体が検知されると、その監視物体の実在位置を推定する処理を行ってよい。また、物体検知部301により複数の監視物体が検知されている場合、位置推定部302は、複数の監視物体のそれぞれの実在位置を推定してよい。
【0101】
例えば、位置推定部302は、カメラ40Xの画像の中の検知された監視物体に相当する部分領域の位置及び大きさに基づき、検知された監視物体の実在位置を特定する。また、位置推定部302は、カメラ40Xが3Dカメラである場合、カメラ40Xの画像の中の検知された監視物体に相当する部分領域(画素群)の自機を基準とする座標情報に基づき、検知された監視物体の実在位置を推定してもよい。また、カメラ40X及び距離センサの双方がショベル100に搭載される場合、位置推定部302は、カメラ40X及び距離センサの出力データについて、センサフュージョンの技術を適用することにより、3Dカメラの場合と同様の方法で、検知された監視物体の実在位置を推定してもよい。また、位置推定部302は、距離センサの出力データから生成された自機の周辺の物体の三次元データの中の検知された監視物体の部分の座標情報に基づき、検知された監視物体の実在位置を推定してもよい。
【0102】
ジェスチャ認識部303(認識部の一例)は、撮像装置40(第1のセンサの一例)の出力データに基づき、ショベル100の周辺の人が行っている所定のジェスチャを認識する。また、ジェスチャ認識部303は、距離センサ(第1のセンサの一例)の出力データ(例えば、点群データ)に基づき、ショベル100の周辺の人が行っている所定のジェスチャを認識してもよい。所定のジェスチャには、例えば、所定の身振りや手振りを含まれる。また、所定のジェスチャには、人の移動等の人の動作全般が含まれてもよい。
【0103】
認証部304は、ショベル100の周辺の特定の人を認証する。特定の人は、例えば、ショベル100の周辺で遠隔操作支援装置200を用いてショベル100の遠隔操作を行うオペレータやショベル100の作業現場の管理者や監督者等である。これにより、コントローラ30は、ショベル100の周辺の人について、認証済みの特定の人とそれ以外の人とを区別して周辺監視機能に関する制御を行うことができる(図7参照)。
【0104】
具体的には、認証部304は、ジェスチャ認識部303により所定のジェスチャが認識される場合にその所定のジェスチャを行う人の認証を行う。認証部304は、位置推定部302の場合と同様の方法で、所定のジェスチャを行う人の実在位置を推定し、認証済みの人の位置情報を出力する。詳細は、後述する(図7参照)。
【0105】
追跡部305は、認証部304により認証済みの人の実在位置を追跡する。これにより、コントローラ30は、物体検知部301により検知されている人の中から、認証部304により認証済みの人を判別することができる。
【0106】
例えば、追跡部305は、認証部304により特定の人の認証が完了すると、認証部304により認証済みの人の位置情報と、位置推定部302により推定されたショベル100の周辺の物体の位置情報及びその物体の種別とを比較する。追跡部305は、その比較結果に基づき、物体検知部301により検知されている物体の中から認証済みの人を特定する。そして、追跡部305は、所定の処理周期ごとの物体検知部301の検知結果、及び位置推定部302の推定結果に基づき、認証部304により認証済みの人の実在位置を追跡する。
【0107】
安全制御部306(第1の制御部の一例)は、ショベル100の機能安全に関する制御を行う。
【0108】
安全制御部306は、例えば、物体検知部301によって、ショベル100(自機)の周辺の所定範囲内で監視物体が検知される場合に、安全機能を作動させる。具体的には、安全制御部306は、位置推定部302により特定される、監視物体の実在位置がショベル100の周辺の所定範囲内である場合に、安全機能を作動させてよい。
【0109】
安全機能には、例えば、キャビン10の内部、キャビン10の外部、及びショベル100の遠隔のオペレータの少なくとも一つに対する警報等を出力し、監視物体の検知を報知する報知機能が含まれてよい。これにより、キャビン10の内部のオペレータ、ショベル100の周辺の作業者、ショベル100の遠隔操作を行うオペレータに対して、ショベル100の周辺の監視エリア内に監視物体が存在していることに関する注意を促すことができる。以下、キャビン10の内部(オペレータ等)への報知機能を「内部報知機能」、ショベル100の外部(作業者等)への報知機能を「外部報知機能」、及びショベル100の遠隔操作を行うオペレータへの報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。
【0110】
また、安全機能には、例えば、操作装置26の操作や遠隔操作に対するショベル100の動作を制限する動作制限機能が含まれてよい。これにより、ショベル100の動作を強制的に制限し、ショベル100と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置26の操作や遠隔操作に対するショベル100の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置26の操作や遠隔操作の有無に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。
【0111】
安全制御部306は、例えば、物体検知部301によって、ショベル100の周辺の所定範囲(以下、「報知範囲」)で監視物体が検知される場合に、報知機能を作動させる。報知範囲は、例えば、ショベル100の所定の部位からの距離Dが閾値Dth1以下の範囲である。ショベル100の所定の部位は、例えば、上部旋回体3である。また、ショベル100の所定の部位は、例えば、アタッチメントATの先端部のバケット6やフックであってもよい。閾値Dth1は、ショベル100の所定の部位から見た方向に依らず一定であってもよいし、ショベル100の所定の部位から見た方向によって変化してもよい。
【0112】
安全制御部306は、例えば、出力装置50(音出力装置)を制御することにより、キャビン10の内部及び外部の少なくとも一方に対する音(即ち、聴覚的な方法)による内部報知機能や外部報知機能を作動させる。このとき、安全制御部306は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。
【0113】
また、安全制御部306は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部306は、キャビン10の内部の出力装置50(表示装置)を制御することにより、出力装置50に周辺画像と共に、監視物体が検知されていることを表す画像を表示させてよい。また、安全制御部306は、キャビン10の内部の出力装置50(表示装置)に表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部306は、キャビン10の内部の出力装置50に表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、出力装置50は、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部306は、キャビン10の内部の警告灯や照明装置等を用いて、監視物体が検知されていることをキャビン10の内部のオペレータ等に対して報知してもよい。
【0114】
また、安全制御部306は、例えば、上部旋回体3のハウス部の側面等に設けられる出力装置50(例えば、前照灯等の照明装置や表示装置)を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部306は、例えば、作業現場の作業者、監督者、管理者等のショベル100の周辺の人が所持する端末装置(携帯端末)に報知機能の作動を示す指令信号を送信することにより、外部報知機能を作動させてもよい。作業現場の作業者、監督者、管理者等が所持する端末装置は、例えば、スマートフォンやタブレット端末等の汎用の携帯端末である。また、作業現場の作業者、監督者、管理者等が所持する端末装置は、ウェアラブル端末であってもよい。ウェアラブル端末は、例えば、スマートグラスである。また、安全制御部306は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ30は、オペレータやショベル100の周辺の作業者及び監督者等に対して、ショベル100の周辺の相対的に近い場所に監視物体(例えば、作業者等の人)が存在することを認識させることができる。そのため、コントローラ30は、オペレータに対して、ショベル100の周辺の安全状況の確認を促したり、監視エリア内の作業者等に対して、監視エリアからの退避を促したりすることができる。
【0115】
また、安全制御部306は、例えば、通信装置60を通じて、報知機能の作動を示す指令信号を遠隔操作支援装置200に送信することにより、遠隔報知機能を作動させてもよい。この場合、遠隔操作支援装置200は、ショベル100から指令信号を受信すると、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、ショベル100の遠隔操作を行うオペレータは、外部報知機能による警報に加え、遠隔操作支援装置200を通じた遠隔報知機能による警報によって、ショベル100の周辺の報知範囲内に監視物体が進入したことを把握することができる。
【0116】
尚、安全制御部306の遠隔報知機能は、遠隔操作支援装置200に移管されてもよい。この場合、遠隔操作支援装置200は、ショベル100から物体検知部301による監視物体の検知状況や位置推定部302による監視物体の実在位置の特定結果に関する情報を受信する。そして、遠隔操作支援装置200は、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、遠隔報知機能を作動させる。
【0117】
また、安全制御部306は、報知範囲内で検知されている監視物体と、上部旋回体3との位置関係に応じて、報知態様(即ち、報知の仕方)を異ならせてもよい。
【0118】
例えば、安全制御部306は、物体検知部301により報知範囲内で検知された監視物体がショベル100の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報(以下、「注意レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部306は、物体検知部301により報知範囲内で検知された監視物体がショベル100の所定の部位に対して相対的に近い位置に存在する場合、監視物体がショベル100の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報(以下、「警戒レベルの警報」)を出力してよい。以下、報知範囲のうちのショベル100の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。
【0119】
この場合、安全制御部306は、注意レベルの警報と警戒レベルの警報との間で、出力装置50(音出力装置)から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部306は、注意レベルの警報と警戒レベルの警報との間で、出力装置50(表示装置)に表示される監視物体が検知されていることを表す画像や、出力装置50に表示される周辺画像上の監視物体或いは監視物体の位置を強調させる画像(例えば、枠やマーカ等)の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ30は、出力装置50から出力される報知音(警報音)や出力装置50に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体のショベル100の所定の部位に対する接近度を把握させることができる。
【0120】
安全制御部306は、報知機能の作動開始後、物体検知部301により検知されていた監視物体が報知範囲内で検知されなくなった場合、報知機能を停止させてよい。また、安全制御部306は、報知機能の作動開始後、入力装置52を通じて、報知機能の作動を解除する所定の入力が受け付けられた場合に、報知機能を停止させてもよい。
【0121】
また、安全制御部306は、例えば、物体検知部301によりショベル100の周辺の所定範囲(以下、「動作制限範囲」)内で監視物体が検知される場合に、動作制限機能を作動させる。動作制限範囲は、例えば、上述の報知範囲と同じに設定される。また、動作制限範囲は、例えば、報知範囲よりもその外縁がショベル100の所定の部位に相対的に近くなるような範囲に設定されてもよい。これにより、安全制御部306は、例えば、監視物体が外側から報知範囲に進入すると、まず、報知機能を作動させ、その後に、監視物体が内側の動作制限範囲に進入すると、更に、動作制限機能を作動させることができる。そのため、コントローラ30は、監視物体の監視エリア内での内側への移動に合わせて、段階的に、報知機能及び動作制限機能を作動させることができる。
【0122】
具体的には、安全制御部306は、ショベル100の所定の部位からの距離Dが閾値Dth2(≦Dth1)以内の動作制限範囲内で監視物体が検知されると、動作制限機能を作動させてよい。閾値Dth2は、ショベル100の所定の部位から見た方向に依らず一定であってもよいし、ショベル100の所定の部位から見た方向によって変化してもよい。
【0123】
また、動作制限範囲には、操作装置26の操作や遠隔操作に対するショベル100の動作速度を通常よりも遅くする動作減速範囲、及び操作装置26の操作や遠隔操作の有無に関わらず、ショベル100の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、動作制限範囲のうちのショベル100の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。
【0124】
安全制御部306は、油圧制御弁31を制御することにより、ショベル100の動作を制限する動作制限機能を作動させる。この場合、安全制御部306は、全ての被駆動要素(即ち、対応する油圧アクチュエータ)の動作を制限してもよいし、一部の被駆動要素(油圧アクチュエータ)の動作を制限してもよい。これにより、コントローラ30は、ショベル100の周辺に監視物体が存在する場合に、ショベル100の動作を減速させたり、停止させたりすることができる。そのため、コントローラ30は、ショベル100の周辺の監視物体とショベル100や吊り荷との接触の発生を抑制することができる。また、安全制御部306は、パイロットライン25の最上流の電磁切換弁25V(図10参照)を制御し、パイロットライン25を遮断することにより、動作制限機能(動作停止機能)を作動させてもよい。
【0125】
また、安全制御部306は、動作制限機能の作動開始後、物体検知部301により検知されていた監視物体が動作制限範囲内で検知されなくなった場合、動作制限機能を停止させてよい。また、安全制御部306は、動作制限機能の作動開始後、入力装置52を通じて、動作制限機能の作動を解除する所定の入力が受け付けられた場合に、動作制限機能を停止させてもよい。入力装置52に対する報知機能の作動解除のための入力の内容と、動作制限機能の作動解除のための入力の内容とは、同じであってもよいし、異なっていてもよい。
【0126】
また、安全制御部306は、物体検知部301により検知されている物体のうち、認証部304により認証済みの人と、それ以外の物体とで、安全機能の作動に関する制御を異ならせてもよい。
【0127】
例えば、安全制御部306は、認証部304により認証済みの人の場合、それ以外の物体の場合とは異なり、安全機能の作動を禁止(解除)する。これにより、例えば、認証部304により認証済みの遠隔操作のオペレータは、報知機能や動作制限機能の作動を考慮することなく、ショベル100に近づき、ショベル100の状況やショベル100の作業対象の地面の状況等を確認することができる。
【0128】
尚、その遠隔操作が一時的に停止されれば、基本的に、ショベル100が動作することはない。そのため、遠隔操作のオペレータがショベル100にある程度近づいても、ショベル100の安全性の低下は限定的である。
【0129】
また、安全制御部306は、安全機能のうちの一部のみを禁止(解除)してもよい。
【0130】
例えば、安全制御部306は、報知機能を禁止(解除)する一方、動作制限機能を継続させる。これにより、動作制限機能によって、遠隔操作によるショベル100の動作を減速させたり、遠隔操作を禁止し、ショベル100の動作を停止させたりすることができ、ショベル100の安全性をより向上させることができる。
【0131】
また、安全制御部306は、動作制限機能の一部の機能のみを禁止(解除)し、残りの機能を継続してもよい。具体的には、安全制御部306は、複数の被駆動要素の動作制限機能のうちの一部の被駆動要素の動作制限機能のみを禁止し、残りの被駆動要素の動作制限機能を継続させてもよい。例えば、安全制御部306は、認証部304により認証済みの人のショベル100に対する位置(方向)に応じて、被駆動要素ごとの動作制限機能を禁止するか継続させるかを判断する。具体的には、安全制御部306は、認証部304により認証済みの人の場合、上部旋回体3の動作制限機能を継続し、下部走行体1やアタッチメントAT(ブーム4、アーム5、及びバケット6)の動作制限機能をその人の位置に応じて禁止するか判断してよい。上部旋回体3が旋回すると、ショベル100から見てどの方向の存在する人とでも接近する可能がある一方、下部走行体1やアタッチメントATの動作する方向は決まっており、人の位置によっては、動作させても安全性の低下は限定的だからである。これにより、例えば、上部旋回体3の側方から接近する認証済みの人に対して、上部旋回体3の動作制限機能を継続させ、ショベル100の安全性を維持しつつ、アタッチメントATの動作制限を禁止し、ショベル100の作業効率の低下を抑制することができる。
【0132】
また、安全制御部306は、報知機能の一部の機能のみを禁止(解除)し、残りの機能を継続させてもよい。具体的には、安全制御部306は、報知機能のうちの認証済みの人を対象とする報知機能を禁止し、その他の人を対象とする報知機能を継続させてもよい。例えば、認証済みの人(例えば、作業現場の作業者、監督者、管理者等)の所持する携帯端末を通じた報知機能が禁止(解除)され、警報音が無音とされる一方、他の人の所持する携帯端末を通じた報知機能が継続される。
【0133】
また、安全制御部306は、認証部304により認証済みの人の場合、それ以外の物体の場合よりもショベル100の安全機能の作動を緩和(制限)してもよい。例えば、安全制御部306は、認証部304により認証済みの人について、聴覚的な報知機能を作動させる際に、出力される警報音の注意喚起のレベルを下げる方向に緩和する。例えば、音高や音圧を下がることによって、注意喚起のレベルを下げることができる。また、例えば、安全制御部306は、認証部304により認証済みの人について、動作制限機能を作動させる際に、ショベル100の動作の制限度を緩和する。例えば、通常、動作停止機能を作動させる状況で、動作減速機能を作動させたり、動作減速機能の減速度合いを小さくしたりすることにより、ショベル100の動作の制限度を緩和することができる。これにより、例えば、認証部304により認証済みの遠隔操作のオペレータがショベル100の状況やショベル100の作業対象の地面の状況等を近くで確認する必要がある場合であっても、ショベル100の作業効率の低下を抑制することができる。
【0134】
また、安全機能を禁止(解除)する場合と同様、安全制御部306は、安全機能のうちの一部のみの作動を緩和してもよい。
【0135】
また、安全制御部306は、認証部304により認証済みの人の場合、それ以外の物体の場合よりもショベル100の作動条件を緩和してもよい。具体的には、安全制御部306は、認証部304により認証済みの人の場合、報知範囲や動作制限範囲の外縁がショベル100の所定の部位により近づく方向に緩和されてよい。これにより、例えば、認証部304により認証済みの人がショベル100へある程度近づいても安全機能を作動しにくくすることができる。そのため、例えば、認証部304により認証済みの遠隔操作のオペレータがショベル100の状況やショベル100の作業対象の地面の状況等を近くで確認する必要がある場合であっても、ショベル100の作業効率の低下を抑制することができる。
【0136】
また、安全機能を禁止(解除)する場合と同様、安全制御部306は、安全機能のうちの一部の作業条件のみを緩和してもよい。
【0137】
また、安全制御部306は、認証部304により認証済みの人が存在する場合、出力装置50を通じて、認証済みの人に関する情報を通知してもよい。これにより、コントローラ30は、出力装置50を通じて、認証済みの人の存在をキャビン10のオペレータに通知することができる。そのため、例えば、安全制御部306は、認証部304により認証済みの人の存在やその人の位置情報を出力装置50(表示装置)に表示させる。また、安全制御部306は、認証済みの人に対する安全機能の解除状況や緩和状況に関する情報を出力装置50に表示させてもよい。
【0138】
同様に、安全制御部306は、認証部304により認証済みの人が存在する場合、表示装置208や遠隔操作支援装置200の音出力装置を通じて、認証済みの人に関する情報を遠隔操作のオペレータに通知してもよい。また、遠隔操作のオペレータ自身が認証済みである場合、遠隔操作のオペレータに関する情報と、他の認証済みの人に関する情報とを区別可能なように、遠隔操作のオペレータに通知されてもよい。
【0139】
同様に、安全制御部306は、作業現場の作業者、監督者、管理者等が所持する端末装置の表示装置や音出力装置を通じて、認証済みの人に関する情報を作業現場の作業者、監督者、管理者等通知してもよい。また、端末装置を所持する者が認証済みである場合、認証済みの端末装置の所持者に関する情報と、他の認証済みの人に関する情報とを区別可能なように、端末装置を所持する者(作業現場の作業者、監督者、管理者等)に通知されてもよい。
【0140】
また、安全制御部306は、入力装置52や入力装置207に対するオペレータ等による所定の入力に応じて、その機能がON(有効)/OFF(無効)の間で切り替えられてもよい。
【0141】
[ショベルの周辺の人の認証処理]
次に、ショベル100の周辺の人、特に、遠隔操作のオペレータの認証処理について説明する。
【0142】
図7は、ショベル100の周辺の人(遠隔操作のオペレータ)の認証処理の一例を概略的に示すフローチャートである。
【0143】
図7のフローチャートは、例えば、ショベル100の起動から停止までの間のショベル100の稼働中に所定の処理間隔で繰り返し実行される。また、図7のフローチャートは、ショベル100の稼働中において、安全制御部306の機能がON(有効)である場合に、所定の処理間隔で繰り返し実行されてもよい。
【0144】
図7に示すように、ステップS102にて、ジェスチャ認識部303は、撮像装置40の出力(撮像画像)に基づき、ショベル100の周辺の人の所定のジェスチャを認識する処理を行う。
【0145】
コントローラ30は、ステップS102の処理が完了すると、ステップS104に進む。
【0146】
ステップS104にて、認証部304は、ジェスチャ認識部303により認証のリクエストを表すジェスチャ(第1のジェスチャの一例)が認識されたか否かを判定する。
【0147】
認証のリクエストを表すジェスチャは、例えば、予め規定されており、コントローラ30の補助記憶装置30A等に予め登録される。また、認証のリクエストを表すジェスチャには、ショベル100に接近する動作が含まれてもよい。これにより、ショベル100の周辺で作業中の作業者等が偶然に認証のリクエストを表すジェスチャに類似する動作を行っても、その動作が認証のリクエストを表すジェスチャとして認識される可能性を低くすることができる。例えば、ジェスチャ認識部303は、位置推定部302により推定される実在位置の履歴に基づき、対象の物体がショベル100に接近する動作を行っているかどうかを判定することができる。
【0148】
認証部304は、ジェスチャ認識部303により認証のリクエストを表すジェスチャが認識された場合、ステップS106に進み、それ以外の場合、今回のフローチャートの処理を終了する。
【0149】
ステップS106にて、認証部304は、通信装置60を通じて、ショベル100の周辺の所定の端末装置に向けて、認証用のジェスチャ(第2のジェスチャの一例)の実行を要求するリクエスト信号をショベル100の周辺に送信する。
【0150】
所定の端末装置は、ショベル100と所定の通信回線を通じて通信可能な端末装置である。所定の端末装置には、例えば、遠隔操作支援装置200やショベル100の作業現場の作業者、監督者、管理者等が所持する端末装置等が含まれる。例えば、コントローラ30は、通信装置60を用いて、WiFiやブルートゥース等の近距離通信の通信規格に基づくペアリングを所定の端末と予め実施することで、所定の端末装置にリクエスト信号を送信することができる。
【0151】
例えば、所定の端末装置は、リクエスト信号を受信すると、画面表示等の視覚的な方法や音声出力等の聴覚的な方法で認証用のジェスチャを促す通知を行う。これにより、例えば、遠隔操作のオペレータは、第1段階のジェスチャ(認証のリクエストを表すジェスチャ)がショベル100側で認識されたことを把握し、通知に沿って、第2段階のジェスチャ(認証用のジェスチャ)を実行することができる。
【0152】
コントローラ30は、ステップS106の処理が完了すると、ステップS108に進む。
【0153】
尚、ステップS106の処理は省略されてもよい。この場合、コントローラ30は、上部旋回体3の側面等に設けられる出力装置50(例えば、表示装置や照明装置)を通じて、認証のリクエストを表すジェスチャが認識済みであることと通知したり、認証用のジェスチャの実行を促したりしてもよい。
【0154】
ステップS108にて、ジェスチャ認識部303は、撮像装置40の出力(撮像画像)に基づき、ショベル100の周辺の人の所定のジェスチャを認識する処理を行う。
【0155】
コントローラ30は、ステップS108の処理が完了すると、ステップS110に進む。
【0156】
ステップS110にて、認証部304は、ジェスチャ認識部303により認証のリクエストを表すジェスチャと同じ人により行われる認証用のジェスチャが認識されたか否かを判定する。
【0157】
認証用のジェスチャは、例えば、ショベル100の周辺の人が行っている動作(ジェスチャ)とは異なる任意のジェスチャである。また、認証用のジェスチャは、予め規定されており、コントローラ30の補助記憶装置30A等に予め登録されていてもよい。
【0158】
例えば、ジェスチャ認識部303は、物体検知部301の検知結果及び位置推定部302の推定結果の履歴と、認証用のジェスチャが認識された撮像画像上の位置等とに基づき、認識されたジェスチャが同じ人によって実施されたか否かを判定することができる。
【0159】
認証部304は、ジェスチャ認識部303により認証のリクエストを表すジェスチャと同じ人により行われる認証用のジェスチャが認識されない場合、ステップS112に進み、認識された場合、ステップS114に進む。
【0160】
ステップS112にて、認証部304は、ジェスチャ認識部303により認証リクエストのジェスチャが認識された時点以降で設定される起算点からタイムアウトに相当する時間が経過したか否かを判定する。起算点は、例えば、ステップS104の処理の完了時であってもよいし、ステップS106の処理の完了時であってもよい。認証部304は、タイムアウトに相当する時間が経過していない場合、ステップS108に戻り、タイムアウトに相当する時間が経過している場合、今回のフローチャートの処理を終了する。
【0161】
一方、ステップS114にて、認証部304は、ジェスチャ認識部303により認識された認証用のジェスチャを行った人の認証を完了し、認証済みの人の実在位置を表す位置情報を出力する。これにより、追跡部305は、認証済みの人の実在位置を追跡することができる。
【0162】
コントローラ30は、ステップS114の処理が完了すると、今回のフローチャートの処理を終了する。
【0163】
このように、コントローラ30は、ショベル100の周辺の特定の人によって実施される、2段階のジェスチャを認識することにより、その特定の人を認証することができる。
【0164】
これにより、例えば、特定の人を画像で認識し認証する場合等よりも負荷の低い処理によって特定の人を認証することができる。また、例えば、1段階のジェスチャの認識のみで特定の人が認証される場合に比して、偶然のジェスチャによって人が認証され、ショベル100の安全性が低下するような事態を抑制することができる。
【0165】
[ショベルのセキュリティシステムの概要]
次に、図8を参照して、ショベル100のセキュリティシステムSYS2の概要について説明する。
【0166】
以下、ショベル100について、上述の遠隔操作システムSYS1とは異なる部分を中心に説明し、遠隔操作システムSYS1の場合と同じ或いは対応する内容については説明を省略する場合がある。
【0167】
図8は、ショベル100のセキュリティシステムSYS2の一例を示す図である。
【0168】
セキュリティシステムSYS2は、ショベル100と、端末装置400とを含む。
【0169】
セキュリティシステムSYS2は、ショベル100のセキュリティ性を確保する。ショベル100と相互に通信可能な端末装置400を所持する人を認証し、人が認証された状態でのショベル100へのアクセスやショベル100に関する操作を許可する。ショベル100へのアクセスには、例えば、ショベル100のキャビン10へのアクセスや上部旋回体3の内部へのアクセスを含む。キャビン10へのアクセスには、例えば、キャビン10のドアの解錠や開扉等が含まれる。上部旋回体3の内部へのアクセスには、エンジン室、ラジエータ室、ポンプ室等にアクセスするために上部旋回体3の側面や上面に設けられるドアの解錠や開扉が含まれる。また、ショベル100へのアクセスには、例えば、端末装置400等の所定の端末を利用した、ショベル100のコントローラ30等への電気的なアクセスを含む。ショベル100に関する操作には、例えば、原動機(エンジン11)の始動操作等のショベル100の起動のための操作、ショベル100の被駆動要素(アクチュエータ)の操作(操作装置26の操作)等が含まれる。また、セキュリティシステムSYS2は、認証済みの人とそれ以外の人を区別して、認証済みの人によるショベル100へのアクセスやショベル100の操作を許可してもよい。一方、セキュリティシステムSYS2は、人が認証されていない状態でのショベル100へのアクセスやショベル100への操作を抑制するように動作する。また、セキュリティシステムSYS2は、認証済みでない人によるショベル100へのアクセスやショベル100への操作を抑制するように動作してもよい。
【0170】
ショベル100は、セキュリティシステムSYS2によるセキュリティ性の確保の対象の作業機械である。
【0171】
ショベル100は、キャビン10に搭乗するオペレータの操作に応じて、下部走行体1(即ち、左右のクローラ一対のクローラ1C)、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素を動作させる。
【0172】
また、上述の遠隔操作システムSYS1の場合と同様、ショベル100は、キャビン10に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベル100の外部から遠隔操作(リモート操作)が可能に構成されてもよい。
【0173】
遠隔操作には、例えば、上述の遠隔操作システムSYS1の場合のように、遠隔操作支援装置200で行われるショベル100のアクチュエータに関する操作入力によって、ショベル100が操作される態様が含まれる(図1参照)。但し、上述の遠隔操作システムSYS1の場合と異なり、遠隔操作支援装置200は、ショベル100とはある程度離れた場所、例えば、ショベル100の作業を作業現場の外部から管理する管理センタ等に設けられてもよい。
【0174】
具体的には、ショベル100は、例えば、通信装置60を通じて、撮像装置40が出力する撮像画像に基づくショベル100の前方を含む周辺の様子を表す画像(周辺画像)を遠隔操作支援装置200に送信してよい。そして、遠隔操作支援装置200は、ショベル100から受信される画像(周辺画像)を表示装置208に表示させてよい。また、ショベル100のキャビン10の内部の出力装置50(表示装置)に表示される各種の情報画像(情報画面)は、同様に、遠隔操作支援装置200の表示装置208にも表示されてよい。これにより、遠隔操作支援装置200を利用するオペレータは、例えば、表示装置208に表示されるショベル100の周辺の様子を表す画像や情報画面等の表示内容を確認することができる。そのため、遠隔操作支援装置200を利用するオペレータは、ショベル100の作業を直接的に視認できない場所からショベル100を遠隔操作することができる。
【0175】
また、ショベル100は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル100は、下部走行体1、上部旋回体3、ブーム4、アーム5、及びバケット6等の被駆動要素の少なくとも一部を自動で動作させる機能(「自動運転機能」或いは「MC(Machine Control:マシンコントロール)機能」)を実現することができる。
【0176】
自動運転機能には、例えば、オペレータの操作装置26に対する操作や遠隔操作に応じて、操作対象の被駆動要素(アクチュエータ)以外の被駆動要素(アクチュエータ)を自動で動作させる機能(「半自動運機能」或いは「操作支援型MC機能」)が含まれる。また、自動運転機能には、オペレータの操作装置26に対する操作や遠隔操作がない前提で、複数の被駆動要素(アクチュエータ)の少なくとも一部を自動で動作させる機能(「完全自動運転機能」或いは「全自動型MC機能」)が含まれてよい。ショベル100において、完全自動運転機能が有効な場合、キャビン10の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素(アクチュエータ)の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル100が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素(アクチュエータ)の動作内容が決定される態様(「自律運転機能」)が含まれてもよい。
【0177】
また、ショベル100が自動運転機能を有する場合、ショベル100の作業が遠隔監視されてもよい。この場合、遠隔操作支援装置200と同様の機能を有する遠隔監視支援装置が設けられてもよい。これにより、遠隔監視支援装置をユーザである監視者は、遠隔監視支援装置の表示装置に表示される周辺画像を確認しながら、ショベル100の自動運転機能による作業の状況を監視することができる。また、例えば、監視者は、安全性の観点から必要と判断した場合、遠隔監視支援装置の入力装置を用いて、所定の入力を行うことによって、ショベル100の自動運転機能に介入し緊急停止させることができる。
【0178】
端末装置400は、ショベル100のユーザが所持する可搬型の端末装置、即ち、携帯端末である。
【0179】
端末装置400は、上述の認証を受けるための専用の携帯端末であってもよいし、例えば、スマートフォンやタブレット端末等の汎用の携帯端末であってもよい。後者の場合、ショベル100と連携して動作可能な専用のアプリケーションが予めインストールされていてもよい。
【0180】
[セキュリティシステムのハードウェア構成]
次に、図8に加えて、図9を参照して、セキュリティシステムSYS2のハードウェア構成について説明する。
【0181】
尚、端末装置400のハードウェア構成は、遠隔操作支援装置200(図5)と同様であるため、図示及び説明を省略する。
【0182】
図9は、ショベル100のハードウェア構成の他の例を示すブロック図である。
【0183】
図9に示すように、ショベル100の制御系は、コントローラ30を含む。また、ショベル100の制御系は、操作圧センサ29と、撮像装置40と、撮像装置70とを含む。
【0184】
撮像装置70は、キャビン10の内部に設けられ、キャビン10の内部の様子を表す画像を取得する。
【0185】
例えば、撮像装置70は、単眼カメラである。また、撮像装置70は、3Dカメラであってもよい。
【0186】
尚、撮像装置40及び撮像装置70の少なくとも一方が省略されてもよい。
【0187】
[ショベルのセキュリティ機能に関する機能構成]
次に、図10を参照して、ショベル100のセキュリティ機能に関する機能構成について説明する。
【0188】
図10は、ショベル100のセキュリティ機能に関する機能構成の一例を示すブロック図である。
【0189】
図10に示すように、コントローラ30は、ジェスチャ認識部303と、認証部304と、セキュリティ制御部307とを含む。
【0190】
ジェスチャ認識部303は、撮像装置40の出力データに基づき、ショベル100の周辺の人が行っている所定のジェスチャを認識する。また、ジェスチャ認識部303は、撮像装置70(第1のセンサの一例)に基づき、ショベル100の内部の人が行っている所定のジェスチャを認識してもよい。
【0191】
認証部304は、周辺監視機能に利用される場合と同様、ショベル100の周辺の特定の人を認証する。また、認証部304は、ショベル100のキャビン10の内部の人を認証してもよい。特定の人は、ショベル100の正規のユーザである。ショベル100の正規のユーザは、例えば、ショベル100のオーナ、ショベル100のオペレータ、ショベル100のメンテナンスを行うサービスマン等である。
【0192】
具体的には、認証部304は、上述の如く、ジェスチャ認識部303により所定のジェスチャが認識される場合にその所定のジェスチャを行う人の認証を行う。より具体的には、認証部304は、ジェスチャ認識部303と連動し、上述の図7と同様の認証処理を実行することにより、ショベル100の周辺の特定の人を認証してよい。この場合、ステップS106の処理で既出の「所定の端末装置」には、端末装置400が含まれる。
【0193】
また、認証部304は、撮像装置70の出力データ(撮像画像)に基づき、ショベル100のキャビン10の内部の人が行っている所定のジェスチャを認識することにより、その所定のジェスチャを行う人の認証を行う。より具体的には、認証部304は、ジェスチャ認識部303と連動し、上述の図7と同様の認証処理を実行することにより、ショベル100の内部の特定の人を認証してよい。
【0194】
また、認証部304は、所定のジェスチャによる人の認証に加えて、他の方法による認証を行ってもよい。この場合、所定のジェスチャによる認証を便宜的に「第1認証」と称し、他の方法による認証を「第2認証」と称する場合がある。
【0195】
セキュリティ制御部307(第2の制御部の一例)は、ショベル100のセキュリティ性の確保に関する制御を行う。具体的には、セキュリティ制御部307は、認証部304による認証が済んでいない状態で、ショベル100へのアクセスやショベル100に関する操作が行われると、セキュリティ機能を作動させる。
【0196】
セキュリティ機能には、例えば、出力装置50を通じて、ショベル100の周辺にセキュリティ性の低下、つまり、ショベル100の盗難等の可能性を報知する報知機能が含まれる。また、セキュリティ機能には、通信装置60を通じて、ショベル100の周辺にセキュリティ性の低下、つまり、ショベル100の盗難等の可能性を所定の外部装置に報知する報知機能が含まれてもよい。所定の外部装置は、例えば、ショベル100のユーザの所持する端末装置やショベル100を外部から管理する管理センタのサーバ装置等である。
【0197】
また、例えば、セキュリティ機能には、各種の操作の有無に関わらず、ショベル100の起動操作を無効にし、ショベル100の起動不可の状態にする機能(以下、「起動無効機能」)が含まれる。
【0198】
また、例えば、セキュリティ機能には、各種の操作の有無に関わらず、パイロットライン25の最上流の電磁切換弁25Vを強制的に遮断状態に維持し、ショベル100を動作停止状態に維持する動作停止機能が含まれる。
【0199】
また、セキュリティ制御部307は、認証部304により認証が済んだ状態で、セキュリティ機能の作動を禁止し、ショベル100へのアクセスやショベル100に関する操作を許可する。
【0200】
また、認証部304により第1認証及び第2認証が行われる場合、セキュリティ制御部307は、認証部304により第1認証が済んだ状態で、セキュリティ機能の作動を緩和してもよい。そして、認証部304は、第2の認証が更に済んだ状態で、セキュリティ機能の作動を禁止し、ショベル100へのアクセスやショベル100に関する操作を全て許可する。例えば、セキュリティ制御部307は、認証部304により第1認証が済んだ状態で、報知機能を禁止する一方、起動無効機能や動作停止機能を作動させる態様で、セキュリティ機能の作動を緩和する。
【0201】
また、認証部304により第1認証及び第2認証が行われる場合、セキュリティ制御部307は、認証部304により第1認証が済んだ状態で、セキュリティ機能の作動条件を緩和してもよい。そして、認証部304は、第2の認証が更に済んだ状態で、例えば、セキュリティ制御部307は、セキュリティ機能の作動を禁止し、ショベル100へのアクセスやショベル100に関する操作を全て許可する。例えば、セキュリティ制御部307は、認証部304により第1認証が済んだ状態で、ショベル100のキャビン10等へのアクセスを許可する一方、ショベル100に関する操作を禁止する態様でセキュリティ機能の作動条件を緩和する。
【0202】
このように、遠隔操作システムSYS1の場合と同様、コントローラ30は、ショベル100の周辺の特定の人によって実施される、2段階のジェスチャを認識することにより、その特定の人を認証することができる。
【0203】
これにより、例えば、特定の人を画像で認識し認証する場合等よりも負荷の低い処理によって特定の人を認証することができる。また、例えば、1段階のジェスチャの認識のみで特定の人が認証される場合に比して、偶然のジェスチャによって人が認証され、ショベル100のセキュリティ性が低下するような事態を抑制することができる。
【0204】
[作用]
次に、本実施形態に係る作業機械(ショベル100)の作用について説明する。
【0205】
本実施形態では、作業機械(例えば、ショベル100)は、第1のセンサ(例えば、撮像装置40や距離センサや撮像装置70)と、認識部(例えば、ジェスチャ認識部303)と、認証部(例えば、認証部304)とを備える。具体的には、第1のセンサは、作業機械の周辺、或いは、キャビン(例えば、キャビン10)の内部の物体に関する情報を取得する。認識部は、第1のセンサの出力に基づき、作業機械の周辺、或いは、キャビンの内部の人のジェスチャを認識する。そして、認証部は、認識部により作業機械の周辺、或いは、キャビン10の内部の人の第1のジェスチャが認識され、且つ、その後、認識部により同じ人の第2のジェスチャが認識される場合、その人を認証する。
【0206】
例えば、所定のジェスチャによって作業機械の操作が可能な場合、特定の操作者とは異なる人の所定のジェスチャが作業機械で認識され、その人の意思とは関係なく、機器が動作してしまう可能性がある。また、例えば、偶然、所定のジェスチャで操作可能であることを知り得た悪意の第三者により、ジェスチャによる操作機能を悪用される可能性もある。
【0207】
これに対して、本実施形態では、作業機械(例えば、コントローラ30)は、2段階でジェスチャによる人の認証を行うことができる。そのため、例えば、偶然に、第1のジェスチャの認識がされてしまっても、第2のジェスチャが更に必要なことから、第1のジェスチャを行った人の意思とは関係なく動作してしまうような事態を抑制できる。また、例えば、第1のジェスチャ及び第2のジェスチャの何れか一方の情報が情漏洩したとしても、他方のジェスチャが必要なことから、ジェスチャによる操作機能を悪用されるような事態を抑制できる。そのため、作業機械の安全性やセキュリティ性をより適切に確保することができる。
【0208】
また、本実施形態では、第2のジェスチャは、作業機械の周辺、或いは、キャビン10の内部に存在する他の人が行っている動作とは異なるジェスチャであってもよい。
【0209】
これにより、複数のユーザが同時に認証されてしまうような事態を抑制することができる。また、例えば、認証を受けたい作業機械のユーザは、予め規定される第1のジェスチャのみを覚えておけばよいことから、ユーザの利便性を向上させることができる。
【0210】
また、本実施形態では、第1のジェスチャには、作業機械の周辺の人が作業機械に接近する動作が含まれてもよい。
【0211】
これにより、例えば、作業機械の周辺で作業を行っている多数の作業者が存在するような状況であっても、認証を受ける意思のある人の第1のジェスチャを確実に認識することができる。
【0212】
また、本実施形態では、作業機械は、第2のセンサ(例えば、撮像装置40や距離センサ)と、検知部(例えば、物体検知部301)と、第1の制御部(例えば、安全制御部306)とを備えてもよい。具体的には、第2のセンサは、作業機械の周辺の物体に関する情報を取得してよい。第2のセンサは、第1のセンサが作業機械の周辺の物体に関する情報を取得する場合、第1のセンサと同じであってもよいし、異なっていてもよい。また、検知部は、第2のセンサの出力に基づき、作業機械の周辺の人を検知してよい。また、第1の制御部は、検知部により作業機械の周辺の所定範囲内で人が検知される場合、所定の安全機能を作動させてよい。そして、第1の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動を禁止してよい。また、第1の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動を緩和してもよい。また、第1の制御部は、認証部により認証された人が検知部により検知された場合の所定の安全機能の作動条件を緩和してもよい。
【0213】
これにより、例えば、作業機械の周辺の遠隔操作のオペレータや監督者等は、ジェスチャによる認証を受けることで、作業機械の安全機能の作動による作業効率の低下を抑制しつつ、作業機械の近くで作業状況等を確認することができる。そのため、作業機械の周辺の遠隔操作のオペレータや監督者等の利便性を向上させることができる。
【0214】
また、本実施形態では、所定の安全機能は、作業機械の所定範囲内で人が検知されたことを報知する報知機能を含んでもよい。そして、第1の制御部は、認証部により認証された人が検知部により検知された場合の報知機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行ってもよい。
【0215】
これにより、作業機械の周辺の遠隔操作のオペレータや監督者等の利便性と、作業機械の安全性との両立をより適切に図ることができる。
【0216】
また、本実施形態では、報知機能は、作業機械のオペレータ及び作業機械の周辺の少なくとも一方への第1の報知機能、及び検知部により検知された人への第2の報知機能を含んでもよい。そして、第1の制御部は、認証部により認証された人が検知部により検知された場合の第1の報知機能及び第2の報知機能のうちの第2の報知機能のみの禁止、作動の緩和、又は作動条件の緩和を行ってもよい。
【0217】
これにより、第2の報知機能の禁止等によって、作業機械の周辺の遠隔操作のオペレータや監督者等の認証を受けた人の利便性を向上させつつ、第1の報知機能の継続によって、作業機械の安全性の確保をより適切に図ることができる。
【0218】
また、本実施形態では、所定の安全機能は、作業機械の動作を制限する動作制限機能を含んでもよい。そして、第1の制御部は、認証部により認証された人が検知部により検知された場合の動作制限機能のうちの一部の機能の禁止、作動の緩和、又は作動条件の緩和を行ってもよい。
【0219】
これにより、作業機械の作業効率と、作業機械の安全性との両立をより適切に図ることができる。
【0220】
また、本実施形態では、作業機械は、下部走行体(例えば、下部走行体1)と、下部走行体に旋回自在に搭載される上部旋回体(例えば、上部旋回体3)と、上部旋回体に取り付けられるアタッチメント(例えば、アタッチメントAT)と、を備えてもよい。また、動作制限機能は、上部旋回体の動作を制限する第1の動作制限機能と、アタッチメントの動作を制限する第2の動作制限機能とを含んでもよい。そして、第1の制御部は、認証部により認証された人が検知部により検知された場合の第1の動作制限機能及び第2の動作制限機能のうちの第2の動作制限機能のみの禁止、作動の緩和、又は作動条件の緩和を行ってよい。
【0221】
これにより、第2の動作制限機能の禁止等によって、作業機械の作業を継続させ、作業機械の作業効率の低下を抑制しつつ、第1の動作制限機能の継続によって、作業機械の安全性の確保をより適切に図ることができる。
【0222】
また、本実施形態では、作業機械は、通信装置(例えば、通信装置60)を備えてもよい。具体的には、通信装置は、作業機械のユーザが所持する端末装置(例えば、遠隔操作支援装置200や端末装置400)と通信可能に構成されてよい。そして、認識部は、第1のジェスチャが認識された場合、通信装置を通じて、第2のジェスチャを要求する信号を端末装置に送信してもよい。
【0223】
これにより、作業機械のユーザは、第2のジェスチャの実行タイミングをより適切に把握することができる。
【0224】
また、本実施形態では、作業機械は、端末装置(例えば、遠隔操作支援装置200)からの信号に応じて、その動作がリモート操作されてもよい。
【0225】
これにより、作業機械の周辺において、端末装置を用いて作業機械を遠隔操作するオペレータは、作業機械の安全機能の作動による作業効率の低下を抑制しつつ、作業機械に接近することができる。そのため、作業機械の作業状況や作業機械の状況等をより適切に確認することができる。よって、遠隔操作のオペレータは、より適切に作業機械の遠隔操作をより適切に行うことができる。
【0226】
また、本実施形態では、作業機械は、第2の制御部(例えば、セキュリティ制御部307)を備えてもよい。具体的には、第2の制御部は、作業機械へのアクセス或いは操作に対して所定のセキュリティ機能を作動させてよい。そして、第2の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動を禁止してよい。また、第2の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動を緩和してもよい。また、第2の制御部は、認証部により認証されている人の作業機械へのアクセス或いは操作に対する所定のセキュリティ機能の作動条件を緩和してもよい。
【0227】
これにより、例えば、作業機械のユーザは、ジェスチャによる認証によって、セキュリティ機能を解除したり、緩和したりすることができる。そのため、作業機械のセキュリティ性を確保しつつ、作業機械のユーザの利便性を向上させることができる。
【0228】
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。
【0229】
例えば、ショベル100の撮像装置40,70や距離センサと同様のハードウェア、及びショベル100の認証部304と同様の機能は、利用する人の認証が必要な各種の機器に搭載されてもよい。各種の機器には、電子機器、産業機械、自動車等が含まれる。電子機器には、例えば、端末装置、サーバ装置等の情報処理装置が含まれる。
【符号の説明】
【0230】
1 下部走行体
1C クローラ
1M,1ML,1MR 走行油圧モータ
2 旋回機構
2M 旋回油圧モータ
3 上部旋回体
4 ブーム
5 アーム
6 バケット
7 ブームシリンダ
8 アームシリンダ
9 バケットシリンダ
10 キャビン
11 エンジン
13 レギュレータ
14 メインポンプ
15 パイロットポンプ
17 コントロールバルブ
25V 電磁切換弁
26 操作装置
30 コントローラ
31 油圧制御弁
40 撮像装置
40B,40F,40L,40R カメラ
50 出力装置
52 入力装置
60 通信装置
70 撮像装置
100 ショベル
200 遠隔操作支援装置
300 クローラクレーン
301 物体検知部
302 位置推定部
303 ジェスチャ認識部
304 認証部
305 追跡部
306 安全制御部
307 セキュリティ制御部
400 端末装置
AT アタッチメント
HA 油圧アクチュエータ
SYS1 遠隔操作システム
SYS2 セキュリティシステム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10