特許 7479156 作業機械、情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-25

(45)【発行日】2024-05-08

(54)【発明の名称】作業機械、情報処理装置

(51)【国際特許分類】

   E02F 9/24 20060101AFI20240426BHJP

   E02F 9/26 20060101ALI20240426BHJP

   H04N 7/18 20060101ALI20240426BHJP

   G08B 21/02 20060101ALI20240426BHJP

   G08B 25/00 20060101ALI20240426BHJP

【ＦＩ】

E02F9/24 B

E02F9/26 A

H04N7/18 J

G08B21/02

G08B25/00 510M

【請求項の数】 16

(21)【出願番号】P 2020013811

(22)【出願日】2020-01-30

(65)【公開番号】P2021120515

(43)【公開日】2021-08-19

【審査請求日】2022-07-13

【前置審査】

(73)【特許権者】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】相澤 晋

【審査官】亀谷 英樹

(56)【参考文献】

【文献】特開平１０－０７２８５１（ＪＰ，Ａ）

【文献】国際公開第２０１８／００８５４２（ＷＯ，Ａ１）

【文献】特開２０１５－１８４９０３（ＪＰ，Ａ）

【文献】国際公開第２０１９／１１１８５９（ＷＯ，Ａ１）

【文献】特開２０１９－０６０２２８（ＪＰ，Ａ）

【文献】特開２０１７－１５８０３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０００３７２５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２１５５４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２４

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２０－９／２２

Ｅ０２Ｆ ３／４２－３／４３

Ｅ０２Ｆ ３／８４－３／８５

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １９／００－２１／２４

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

作業機械の周囲の物体に関する情報を取得する取得部と、
前記取得部により取得される情報に基づき、作業機械の周囲で特定の種類の物体を検出する検出部と、
前記検出部により前記特定の種類の物体が検出される場合、オペレータに対して警報を出力する警報出力部と、
作業機械の周囲における前記取得部による情報の取得範囲の中に、作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、オペレータに対して、作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
作業機械。

【請求項2】

前記通知部は、前記取得範囲の中に、前記領域がある場合、作業機械の周囲の前記領域を前記オペレータに通知する、
請求項１に記載の作業機械。

【請求項3】

複数の前記取得部を備え、
複数の前記取得部は、作業機械の周囲の物体に関する第１の情報を取得する第１の取得部と、作業機械の周囲の物体に関する、前記第１の情報と異なる第２の情報を取得する第２の取得部と、を含み、
前記検出部は、前記第１の情報に基づき、前記特定の種類の物体を検出すると共に、前記第２の情報に基づき前記特定の種類の物体を検出し、
前記通知部は、作業機械の周囲における前記第１の取得部による前記第１の情報の前記取得範囲の中に、前記検出部が前記第１の情報に基づき前記特定の種類の物体を検出できる精度が所定基準に対して相対的に低い前記領域があること、及び作業機械の周囲における前記第２の取得部による前記第２の情報の前記取得範囲の中に、前記検出部が前記第２の情報に基づき前記特定の種類の物体を検出できる精度が所定基準に対して相対的に低い前記領域があることのうちの少なくとも一方が成立する場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項１又は２に記載の作業機械。

【請求項4】

前記取得部により取得される情報が前記特定の種類の物体を表している度合いを示す評価値を算出する算出部を備え、
前記通知部は、前記警報が出力されておらず、且つ、前記取得範囲の中で前記取得部により前記評価値が所定基準に対して相対的に高い情報が取得される場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項１乃至３の何れか一項に記載の作業機械。

【請求項5】

前記検出部は、前記取得部により取得される情報に基づき、前記情報における前記特定の種類の物体の特徴を表す特徴量を算出し、前記特徴量に基づき、前記特定の種類の物体を検出し、
前記算出部は、前記特徴量に基づき、前記評価値を算出する、
請求項４に記載の作業機械。

【請求項6】

前記取得部は、作業機械の周囲の様子を表す撮像画像を取得するカメラであり、
前記算出部は、同じ前記撮像画像に含まれる複数の部分画像ごとに、前記評価値を算出し、
前記通知部は、前記警報が出力されておらず、且つ、前記複数の部分画像の中に前記評価値が所定基準に対して相対的に高い部分画像がある場合に、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項４又は５に記載の作業機械。

【請求項7】

前記通知部は、前記複数の部分画像の中に前記評価値が所定基準に対して相対的に高い部分画像があり、且つ、前記複数の部分画像を含む前記撮像画像の中で前記評価値が所定基準に対して相対的に高い部分画像の集まりの占める面積が所定基準に対して相対的に大きい場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項６に記載の作業機械。

【請求項8】

前記通知部は、表示部を含み、
前記表示部は、前記取得範囲の中に前記領域がある場合、作業機械の周囲の様子を表す画像情報を表示すると共に、前記画像情報の中の前記領域に対応する画像領域を強調して表示する、
請求項１乃至７の何れか一項に記載の作業機械。

【請求項9】

前記表示部は、前記取得範囲の中に前記領域がある場合、作業機械の周囲の様子を表す前記画像情報を表示すると共に、所定期間だけ、定期的に、又は、前記特定の種類の物体が検出されるときに、前記画像領域を強調して表示する、
請求項８に記載の作業機械。

【請求項10】

前記通知部は、音声出力部を含み、
前記音声出力部は、前記取得範囲の中に前記領域がある場合、前記画像領域に対応する作業機械の周囲の前記領域では、前記精度が所定基準に対して相対的に低いことを表す音声情報を出力する、
請求項８又は９に記載の作業機械。

【請求項11】

前記音声出力部は、前記取得範囲の中に前記領域がある場合、所定回数だけ、又は、定期的に、前記音声情報を出力する、
請求項１０に記載の作業機械。

【請求項12】

前記警報出力部は、前記領域で前記検出部により前記特定の種類の物体が検出される場合、前記オペレータに対して相対的に高い警戒度を表す第１の警報、及び相対的に低い警戒度を表す第２の警報のうちの前記第１の警報を出力する、
請求項１乃至１１の何れか一項に記載の作業機械。

【請求項13】

作業機械の起動時に、前記取得範囲の中に前記領域があるか否かを判定し、作業機械の前記取得部が取り付けられる部位の動作、及び作業機械の移動の少なくとも一つが生じた場合に、前記取得範囲の中に前記領域があるか否かを判定する判定部を備え、
前記通知部は、前記判定部により前記取得範囲の中に前記領域があると判定される場合、前記オペレータに対して、作業機械の周囲の前記領域に関する通知を行う、
請求項１乃至１２の何れか一項に記載の作業機械。

【請求項14】

前記警報出力部は、前記特定の種類の物体が検出されなくなった場合、又は、前記警報を解除する所定の入力が受け付けられた場合に、前記警報を解除し、
前記判定部は、前記警報が出力されている状態で、作業機械の前記取得部が取り付けられる部位の動作、及び作業機械の移動の少なくとも一つが生じた場合、前記警報が解除されたときに、前記取得範囲の中に前記領域があるか否かを判定する、
請求項１３に記載の作業機械。

【請求項15】

前記判定部は、作業機械の前記部位の動作、及び作業機械の移動の少なくとも一方の単位時間当たりの発生回数が所定基準に対して相対的に高い場合、定期的に、前記取得範囲の中に前記領域があるか否かを判定する、
請求項１３又は１４に記載の作業機械。

【請求項16】

作業機械に関する遠隔操作を受け付ける操作部と、
前記操作部により受け付けられる遠隔操作の内容を前記作業機械に送信する通信部と、
前記作業機械の取得部によって取得される前記作業機械の周囲の物体に関する情報に基づき、前記作業機械の検出部によって前記作業機械の周囲で特定の種類の物体が検出される場合、遠隔操作を行うオペレータに対して警報を出力する警報出力部と、
前記作業機械の周囲における前記取得部による情報の取得範囲の中に、前記作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、前記オペレータに対して、前記作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械等に関する。

【背景技術】

【0002】

例えば、ショベル等の作業機械の周囲の近接する範囲内に作業者等の監視対象の物体が検出される場合、警報を出力させる技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－０６０２２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、作業機械の周囲の環境等によっては、監視エリアの少なくとも一部において、監視対象の物体の検出精度が低下し、監視対象の物体の誤検出や見逃しが発生してしまう場合がある。例えば、作業機械の周囲の画像情報に基づき、監視対象の物体が検出される場合、背景の物体の見え方が監視対象の物体の特徴と類似している場合、背景の物体が監視対象の物体と誤検出（誤認識）されてしまう可能性がある。また、背景の物体の色と監視対象の物体の色とが類似している場合、背景の物体に監視対象の物体が同化し、監視対象が検出（認識）されない可能性がある。

【0005】

そこで、上記課題に鑑み、作業機械の安全性をより向上させることが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本開示の一実施形態では、
作業機械の周囲の物体に関する情報を取得する取得部と、
前記取得部により取得される情報に基づき、作業機械の周囲で特定の種類の物体を検出する検出部と、
前記検出部により前記特定の種類の物体が検出される場合、オペレータに対して警報を出力する警報出力部と、
作業機械の周囲における前記取得部による情報の取得範囲の中に、作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、オペレータに対して、作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
作業機械が提供される。

【0007】

また、本開示の他の実施形態では、
作業機械に関する遠隔操作を受け付ける操作部と、
前記操作部により受け付けられる遠隔操作の内容を前記作業機械に送信する通信部と、
前記作業機械の取得部によって取得される前記作業機械の周囲の物体に関する情報に基づき、前記作業機械の検出部によって前記作業機械の周囲で特定の種類の物体が検出される場合、遠隔操作を行うオペレータに対して警報を出力する警報出力部と、
前記作業機械の周囲における前記取得部による情報の取得範囲の中に、前記作業機械の周囲に存在する、前記特定の種類の物体が存在すると仮定したときの前記取得部から見た背景に相当する他の物体の影響によって前記検出部が前記特定の種類の物体を検出することができる精度が所定基準に対して相対的に低い領域がある場合、前記オペレータに対して、前記作業機械の周囲の前記領域に関する通知を行う通知部と、を備える、
情報処理装置が提供される。

【発明の効果】

【0008】

上述の実施形態によれば、作業機械の安全性をより向上させることが可能な技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】ショベル管理システムの一例を示す概要図である。

【図2】ショベルの一例を示す上面図である。

【図3】ショベル管理システムの構成の一例を示すブロック図である。

【図4】ショベル管理システムの構成の他の例を示すフロック図である。

【図5】コントローラによる検出精度通知処理の一例を概略的に示すフローチャートである。

【図6】コントローラによる検出精度判定処理の一例を概略的に示すフローチャートである。

【図7】コントローラによる検出精度判定処理を具体的に説明する図である。

【図8】コントローラによる検出精度判定処理を具体的に説明する図である。

【図9】コントローラによる検出精度判定処理を具体的に説明する図である。

【図10】表示装置に表示される低検出精度通知画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して発明を実施するための形態について説明する。

【0011】

［ショベル管理システムの概要］
最初に、図１、図２を参照して、本実施形態に係るショベル管理システムＳＹＳの概要について説明する。

【0012】

図１は、本実施形態に係るショベル管理システムＳＹＳの一例を示す概要図である。図２は、本実施形態に係るショベル１００の一例を示す上面図である。

【0013】

図１に示すように、ショベル管理システムＳＹＳは、ショベル１００と、管理装置２００とを含む。

【0014】

＜ショベルの概要＞
図１、図２に示すように、本実施形態に係るショベル１００（作業機械の一例）は、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、アタッチメント（作業機）を構成するブーム４、アーム５、及び、バケット６と、キャビン１０とを備える。

【0015】

下部走行体１は、左右一対のクローラ１Ｃが左右の走行油圧モータ１Ｍでそれぞれ油圧駆動されることにより、ショベル１００を走行させる。即ち、クローラ１Ｃは、左側のクローラ１ＣＬ及び右側のクローラ１ＣＲを含み、走行油圧モータ１Ｍは、左側の走行油圧モータ１ＭＬ、及び右側の走行油圧モータ１ＭＲを含む。

【0016】

上部旋回体３は、旋回油圧モータ２Ａで駆動されることにより、下部走行体１に対して旋回する。

【0017】

ブーム４は、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４の先端には、アーム５が上下回動可能に取り付けられ、アーム５の先端には、エンドアタッチメントとしてのバケット６が上下回動可能に取り付けられる。ブーム４、アーム５、及びバケット６は、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、バケット６は、エンドアタッチメントの一例であり、アーム５の先端には、作業内容等に応じて、バケット６の代わりに、他のエンドアタッチメント、例えば、法面用バケット、浚渫用バケット、ブレーカ等が取り付けられてもよい。

【0018】

尚、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の少なくとも一部は、油圧アクチュエータに代えて、電動アクチュエータにより駆動されてもよい。例えば、上部旋回体３は、旋回油圧モータ２Ａの代わりに、電動機により電気駆動されてもよい。

【0019】

キャビン１０は、オペレータが搭乗する運転室であり、上部旋回体３の前部左側に搭載される。

【0020】

また、本実施形態に係るショベル１００は、通信装置Ｔ１を備え、所定の通信回線ＮＷを通じて、管理装置２００と通信可能に接続される。所定の通信回線には、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等が含まれうる。また、通信回線ＮＷは、ブルートゥース（登録商標）やＷｉＦｉ等の近距離の無線通信規格に基づく無線通信回線であってもよい。これにより、ショベル１００は、自機で取得される情報を管理装置２００に送信（アップロード）することができる。

【0021】

ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、下部走行体１（クローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を動作させる。

【0022】

また、ショベル１００は、キャビン１０に搭乗するオペレータによって操作可能に構成されるのに代えて、或いは、加えて、ショベルの外部から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータの操作装置２６に対する操作、及び外部のオペレータの遠隔操作の少なくとも一方が含まれる前提で説明を進める。

【0023】

遠隔操作には、例えば、所定の外部装置で行われるショベル１００のアクチュエータに関する操作入力によって、ショベル１００が操作される態様が含まれる。所定の外部装置は、例えば、管理装置２００である。この場合、ショベル１００は、例えば、後述の撮像装置４０が出力する画像情報（撮像画像）を管理装置２００に送信し、画像情報は、管理装置２００に設けられる後述の表示装置２３０Ａに表示されてよい。また、ショベル１００のキャビン１０の内部の表示装置５０に表示される各種の情報画像（情報画面）は、同様に、管理装置２００の表示装置２３０Ａにも表示されてよい。これにより、管理装置２００のオペレータは、例えば、表示装置２３０Ａに表示されるショベル１００の周囲の様子を表す撮像画像や情報画面等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、後述の通信装置Ｔ１により管理装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、油圧アクチュエータを動作させ、下部走行体１（クローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

【0024】

また、遠隔操作には、例えば、ショベル１００の周囲の人（例えば、作業者）のショベル１００に対する外部からの音声入力やジェスチャ入力等によって、ショベル１００が操作される態様が含まれてよい。具体的には、ショベル１００は、ショベル１００（自機）に搭載される音声入力装置（例えば、マイクロフォン）やジェスチャ入力装置（例えば、撮像装置）等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベル１００は、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１（クローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

【0025】

また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１（クローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素の少なくとも一部を自動で動作させる機能（いわゆる「自動運転機能」或いは「マシンコントロール機能」）を実現する。

【0026】

自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作に応じて、操作対象の被駆動要素（油圧アクチュエータ）以外の被駆動要素（油圧アクチュエータ）を自動で動作させる機能（いわゆる「半自動運機能」）が含まれてよい。また、自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能（いわゆる「完全自動運転機能」）が含まれてよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される態様（いわゆる「自律運転機能」）が含まれてもよい。

【0027】

＜管理装置の概要＞
管理装置２００（情報処理装置の一例）は、所定の通信回線ＮＷを通じて、ショベル１００と通信可能に接続され、ショベル１００から受信される各種情報に基づき、ショベル１００の状態や運用等に関する管理（監視）を行う。また、管理装置２００は、ショベル１００の遠隔操作を支援する。

【0028】

管理装置２００は、例えば、ショベル１００の作業現場の外部の管理センタに設置されるクラウドサーバである。また、管理装置２００は、例えば、ショベル１００に相対的に近い場所（例えば、作業現場内の管理事務所や、作業現場に相対的に近い無線基地局や局舎等）に設置されるエッジサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に設置（定置）される端末装置（例えば、デスクトップ型のコンピュータ端末）であってもよい。また、管理装置２００は、ショベル１００の管理者等が携帯可能な携帯端末（例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等）であってもよい。

【0029】

［ショベル管理システムの構成］
次に、図１、図２に加えて、図３、図４を参照して、本実施形態に係るショベル管理システムＳＹＳの具体的な構成について説明する。

【0030】

図３、図４は、それぞれ、本実施形態に係るショベル管理システムＳＹＳの構成の一例及び他の例を概略的に示すブロック図である。図３、図４は、互いに、管理装置２００の構成が同じであり、ショベル１００の構成のみが異なる。

【0031】

尚、図３、図４において、機械的動力ライン、作動油ライン、パイロットライン、及び電気信号ラインは、それぞれ、二重線、太い実線、細い実線、破線、及び点線で示されている。

【0032】

＜ショベルの構成＞
図３、図４に示すように、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等の油圧アクチュエータを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

【0033】

エンジン１１は、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載され、コントローラ３０の直接或いは間接の制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

【0034】

レギュレータ１３は、メインポンプ１４の吐出量を調整する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（傾転角）を調節する。

【0035】

メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載され、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることでピストンのストローク長が調整され、吐出流量が制御される。

【0036】

コントロールバルブ１７は、オペレータの操作に応じて、油圧駆動系の制御を行う油圧制御装置である。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、メインポンプ１４から供給される作動油を、操作装置２６に対する操作や遠隔操作の内容に応じて、複数の油圧アクチュエータに選択的に供給する。コントロールバルブ１７は、メインポンプ１４から複数の油圧アクチュエータのそれぞれに供給される作動油の流量及び流れる方向を制御する複数の制御弁（方向切換弁とも称する）を含む。

【0037】

複数の制御弁（方向切換弁）は、それぞれ、例えば、メインポンプ１４から供給される作動油を対応する油圧アクチュエータへ供給し、且つ、対応する油圧アクチュエータが吐出する作動油を作動油タンクへ排出させるスプール弁である。具体的には、それぞれの制御弁は、スプールが中立位置から相反する二方向に移動可能に構成され、スプールの移動方向によって、油圧アクチュエータの作動油の流れの方向、即ち、油圧アクチュエータの動作方向が決定されてよい。

【0038】

図３、図４に示すように、本実施形態に係るショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、コントローラ３０と、油圧制御弁３１とを含む。また、図３に示すように、本実施形態に係るショベル１００の操作系は、操作装置２６が油圧パイロット式である場合、シャトル弁３２と、油圧制御弁３３とを含む。

【0039】

パイロットポンプ１５は、例えば、上部旋回体３の後部に搭載され、パイロットライン２５を介して操作装置２６等の各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

【0040】

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータがショベル１００の複数の被駆動要素のそれぞれの操作を行うために用いられる。複数の被駆動要素には、例えば、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等が含まれる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する複数の油圧アクチュエータの操作を行うために用いられる。複数の油圧アクチュエータには、例えば、上述の如く、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。

【0041】

操作装置２６は、例えば、下部走行体１の左右一対のクローラ（走行油圧モータ１ＭＬ，１ＭＲ）、ブーム４（ブームシリンダ７）、アーム５（アームシリンダ８）、バケット６（バケットシリンダ９）、及び上部旋回体３（旋回油圧モータ２Ａ）のそれぞれを操作するレバー装置を含む。

【0042】

図３に示すように、操作装置２６は、例えば、その操作内容に対応するパイロット圧を有する作動油を出力する油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用して、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種の被駆動要素（即ち、油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等の操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。

【0043】

また、図４に示すように、操作装置２６は、例えば、電気式である。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。

【0044】

また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式のスプール弁であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。

【0045】

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータ）ごとに設けられる。即ち、油圧制御弁３１は、例えば、クローラ１ＣＬ（走行油圧モータ１ＭＬ）、クローラ１ＣＲ（走行油圧モータ１ＭＲ）、上部旋回体３（旋回油圧モータ２Ａ）、ブーム４（ブームシリンダ７）、アーム５（アームシリンダ８）、及びバケット６（バケットシリンダ９）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられる。油圧制御弁３１は、例えば、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図３に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図４に示すように、図３の場合と異なり、パイロットライン２７Ａ及びシャトル弁３２が省略され、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。よって、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。

【0046】

より具体的には、油圧制御弁３１は、例えば、複数の被駆動要素（油圧アクチュエータ）ごとに、二つ設けられる。二つの油圧制御弁３１は、シャトル弁３２及びパイロットライン２７を介して、スプールを第１の方向及び第２の方向に移動させるための制御弁（方向切換弁）の二つのパイロットポートのそれぞれに接続される。これにより、コントローラ３０は、二つの油圧制御弁３１の何れか一方に制御信号を出力することで、操作対象の油圧アクチュエータを所望の方向に動作させることができる。以下、スプールの第１の方向の移動は、油圧アクチュエータ（被駆動要素）の第１の方向の操作、及び油圧アクチュエータ（被駆動要素）の第１の方向の動作に対応する前提で説明を進める。スプールの第２の方向の移動についても同様である。また、制御弁（方向切換弁）のスプールを第１の方向及び第２の方向に移動させるためのパイロット圧が供給されるそれぞれのパイロットポートを「第１のパイロットポート」及び「第２のパイロットポート」と称する場合がある。

【0047】

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現する。具体的には、コントローラ３０は、管理装置２００から受信される遠隔操作信号等で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。

【0048】

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、自動運転機能を実現してもよい。具体的には、コントローラ３０は、操作装置２６に対する操作や遠隔操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づくショベル１００の動作を実現することができる。

【0049】

図３に示すように、シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータ）ごとに設けられる。即ち、シャトル弁３２は、例えば、クローラ１ＣＬ（走行油圧モータ１ＭＬ）、クローラ１ＣＲ（走行油圧モータ１ＭＲ）、上部旋回体３（旋回油圧モータ２Ａ）、ブーム４（ブームシリンダ７）、アーム５（アームシリンダ８）、及びバケット６（バケットシリンダ９）ごとに設けられる。シャトル弁３２は、２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置の操作対象である油圧アクチュエータを駆動する制御弁を表す。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６（レバー装置）の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（クローラ１ＣＬ，１ＣＲ、上部旋回体３、ブーム４、アーム５、及びバケット６）の動作を制御し、ショベル１００の自動運転機能や遠隔操作機能等を実現することができる。

【0050】

より具体的には、シャトル弁３２は、例えば、複数の被駆動要素（油圧アクチュエータ）ごとに、二つ設けられる。二つのシャトル弁３２の一方の入口ポートは、レバー装置の相反する第１の方向及び第２の方向の操作に対応する二つのパイロットライン２７Ａのそれぞれに接続される。二つのシャトル弁３２の他方の入口ポートは、上述の如く、二つの油圧制御弁３１の二次側のパイロットライン２７Ｂにそれぞれ接続される。そして、二つのシャトル弁３２の出口ポートは、パイロットライン２７を通じて、制御弁の第１のパイロットポート及び第２のパイロットポートのそれぞれに接続される。これにより、二つのシャトル弁３２の何れか一方から制御弁の第１のパイロットポート及び第２のパイロットポートの何れかにパイロット圧が供給され、操作対象の油圧アクチュエータを所望の方向（第１の方向或いは第２の方向）に動作させることができる。

【0051】

図３に示すように、油圧制御弁３３は、操作装置２６（レバー装置）とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更できるように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の自動運転機能や遠隔操作機能等をより適切に実現することができる。

【0052】

より具体的には、油圧制御弁３３は、例えば、複数の被駆動要素（油圧アクチュエータ）ごとに、二つ設けられる。二つの油圧制御弁３３は、レバー装置の相反する第１の方向及び第２の方向の操作に対応する二つのパイロットライン２７Ａのそれぞれに設けられる。これにより、二つの油圧制御弁３３は、レバー装置が相反する第１の方向及び第２の方向のどちらに操作された場合であっても、対応するパイロットライン２７Ａのパイロット圧を減圧させることができる。

【0053】

尚、油圧制御弁３３は、省略されてもよい。また、コントローラ３０は、油圧制御弁３３の有無に依らず、オペレータの操作に基づく被駆動要素（油圧アクチュエータ）の第１の方向の動作を抑制或いは停止させるため、当該油圧アクチュエータの第２の方向の動作に対応する油圧制御弁３１を制御してもよい。これにより、当該油圧制御弁３１からシャトル弁３２を介して、当該油圧アクチュエータに対応する制御弁の第２のパイロットポートにパイロット圧が供給される。そのため、オペレータの操作に応じて制御弁の第１のパイロットポートに作用するパイロット圧に対抗する形で、当該制御弁の第２のパイロットポートにパイロット圧を作用させることができる。よって、制御弁のスプールを中立状態に近づけ、油圧アクチュエータの動作を抑制することができる。同様に、油圧制御弁３３の有無に依らず、オペレータの操作に基づく被駆動要素（油圧アクチュエータ）の第２の方向の動作を抑制或いは停止させるため、当該油圧アクチュエータの第１の方向の動作に対応する油圧制御弁３１を制御してもよい。また、例えば、図４のパイロットライン２７Ｂに、図３の油圧制御弁３３が設けられてもよい。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、油圧制御弁３１から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、油圧制御弁３１から操作装置２６の操作内容に対応するパイロット圧が出力されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。

【0054】

図３、図４に示すように、本実施形態に係るショベル１００の制御系は、コントローラ３０と、撮像装置４０と、周辺物体情報取得装置４５と、表示装置５０と、音出力装置５２と、入力装置５４と、通信装置Ｔ１とを含む。また、図３に示すように、本実施形態に係るショベル１００の制御系は、操作装置２６が油圧パイロット式である場合、操作圧センサ２９を含む。

【0055】

コントローラ３０は、例えば、キャビン１０内に設けられ、ショベル１００に関する各種制御を行う。コントローラ３０は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び外部との入出力に関するインタフェース装置等を含むコンピュータを中心に構成される。また、コントローラ３０は、例えば、ＣＰＵと連動する、ＧＰＵ（Graphics Processing Unit），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）等の高速演算回路を含んでもよい。コントローラ３０は、例えば、補助記憶装置にインストールされる各種プログラムをＣＰＵ上で実行することにより実現される機能部として、遠隔操作制御部３０１と、物体検出部３０２と、安全制御部３０３と、評価値算出部３０４と、検出精度判定部３０５と、低検出精度通知部３０６とを含む。

【0056】

撮像装置４０は、上部旋回体３の上部に取り付けられ、ショベル１００に相対的に近い領域から相対的に遠い領域に亘るショベル１００の周囲を撮像し、撮像画像を取得する。撮像装置４０は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを含む。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に或いは個別に「カメラ４０Ｘ」と称する場合がある。

【0057】

カメラ４０Ｆ、カメラ４０Ｂ、カメラ４０Ｌ、及びカメラ４０Ｒは、それぞれ、上部旋回体３の前端上部、後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体３の前方、後方、左側方、及び、右側方を撮像する。例えば、カメラ４０Ｘは、非常に広い画角を有する単眼カメラ（即ち、広角カメラ）である。また、例えば、カメラ４０Ｘは、ステレオカメラや距離画像カメラやデプスカメラ等であってもよい。カメラ４０Ｆは、上部旋回体３の前方の撮像範囲、例えば、左前方から右前方に亘る水平方向（即ち、ショベル１００から見た周方向）の撮像範囲を撮像する。また、カメラ４０Ｂは、上部旋回体３の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向（即ち、ショベル１００から見た周方向）の撮像範囲を撮像する。また、カメラ４０Ｌは、例えば、上部旋回体３の左側方の撮像範囲、例えば、上部旋回体３の左前方から左後方に亘る水平方向（ショベル１００から見た周方向）の撮像範囲を撮像する。また、カメラ４０Ｒは、例えば、上部旋回体３の右側方の撮像範囲、例えば、上部旋回体３の右前方から右後方に亘る水平方向（ショベル１００から見た周方向）の撮像範囲を撮像する。また、カメラ４０Ｘは、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベル１００の近傍の地面からショベル１００の遠方までを含む上下方向の撮像範囲を撮像する。

【0058】

カメラ４０Ｘは、例えば、ショベル１００の起動（即ち、キースイッチＯＮ）から停止（即ち、キースイッチＯＦＦ）までの間で、所定周期（例えば、１／３０秒）ごとに、撮像画像を出力する。カメラ４０Ｘから出力される撮像画像は、コントローラ３０に取り込まれる。また、カメラ４０Ｘから出力される撮像画像は、コントローラ３０から通信装置Ｔ１を通じて、管理装置２００に送信（アップロード）されてもよい。

【0059】

周辺物体情報取得装置４５は、上部旋回体３の上部に取り付けられ、ショベル１００の周辺の物体に関する情報を取得する。周辺物体情報取得装置４５は、センサ４５ＢＬ，４５ＢＲ，４５Ｌ，４５Ｒを含む。以下、センサ４５ＢＬ，４５ＢＲ，４５Ｌ，４５Ｒを包括的に或いは個別に「センサ４５Ｘ」と称する場合がある。

【0060】

センサ４５ＢＬ、センサ４５ＢＲ、センサ４５Ｌ、及びセンサ４５Ｒは、それぞれ、上部旋回体３の左寄りの後端上部、右寄りの後端上部、左端上部、及び、右端上部に取り付けられ、上部旋回体３の左後方、右後方、左側方、及び、右側方の状況に関する情報を取得する。例えば、センサ４５Ｘは、ＬＩＤＡＲ（Light Detection and Ranging）である。また、例えば、センサ４５Ｘは、例えば、ミリ波レーダや超音波センサ等であってもよい。以下、センサ４５ＸがＬＩＤＡＲである場合を中心に説明を進める。

【0061】

センサ４５Ｘは、例えば、ある方向に赤外線を照射する共に、その方向の物体からの反射光を受光することにより、ショベル１００の周辺の物体に関する情報、具体的には、受光される反射光に関する情報（以下、「受光情報」）を取得する。センサ４５Ｘは、例えば、走査型のＬＩＤＡＲであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、センサ４５Ｘは、発光モジュールから赤外線を三次元の広範囲に照射し、反射光（赤外線）を三次元距離画像素子で撮像する、いわゆるフラッシュ型ＬＩＤＡＲであってもよい。

【0062】

受光情報には、赤外線の照射方向ごとの赤外線の照射から反射光が受光されるまでの時間（ＴＯＦ：Time Of Flight）に関する情報（以下、「ＴＯＦ情報」）、及び赤外線の照射方向ごとの受光される反射光の強度に関する情報（以下、「受光強度情報」）が含まれる。

【0063】

センサ４５ＢＬは、上部旋回体３の左後方の照射範囲、例えば、上部旋回体３の左後方から後方に亘る水平方向（即ち、ショベル１００から見た周方向）の照射範囲に赤外線を照射可能に構成される。また、センサ４５ＢＲは、上部旋回体３の右後方の照射範囲、例えば、上部旋回体３の右後方から後方に亘る水平方向（ショベル１００から見た周方向）の照射範囲に赤外線を照射可能に構成される。また、センサ４５Ｌは、上部旋回体３の左側方の照射範囲、例えば、上部旋回体３の左前方から左後方に亘る水平方向（ショベル１００から見た周方向）の照射範囲に赤外線を照射可能に構成される。また、センサ４５Ｒは、上部旋回体３の右側方の照射範囲、例えば、上部旋回体３の右前方から右後方に亘る照射範囲に赤外線を照射可能に構成される。また、センサ４５Ｘは、上部旋回体３の上部において、光軸（即ち、赤外線の照射方向の基準軸）が斜め下方に向くように取り付けられ、ショベル１００に相対的に近い地面の部分を中心とする上下方向の赤外線の照射範囲を有する。

【0064】

センサ４５Ｘは、それぞれ、ショベル１００の起動から停止までの間で、所定周期ごとに、受光情報を出力する。センサ４５Ｘから出力される受光情報は、コントローラ３０に取り込まれる。

【0065】

表示装置５０は、キャビン１０内の着座したオペレータから視認し易い場所に設けられ、コントローラ３０の制御下で、各種情報画像を表示する。表示装置５０は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。これにより、表示装置５０は、視覚的な情報をオペレータに通知することができる。

【0066】

表示装置５０は、例えば、撮像装置４０の撮像画像に基づき、ショベル１００の周囲の様子を表す画像（以下、「周囲画像」）を表示する。周囲画像は、撮像装置４０により撮像されたショベル１００の周囲の画像情報そのものであってもよいし、当該画像情報に対して既知の画像処理（例えば、視点変換処理）が施されることで生成される加工画像であってもよい。また、周囲画像には、例えば、上部旋回体３の左側方、右側方、及び後方のうちの少なくとも一つ様子が含まれる。これにより、キャビン１０のオペレータは、表示装置５０の周囲画像を確認することによって、ショベル１００の通常の作業時に死角になり易い領域（以下、「死角領域」）である、上部旋回体３の左側方、右側方、及び後方の安全確認を行うことができる。

【0067】

音出力装置５２は、キャビン１０の内部に設けられ、コントローラ３０の制御下で、音を出力する。音出力装置５２は、例えば、ブザーやスピーカ等である。これにより、音出力装置５２は、出力する音の内容（音色、音圧、音のパターン、音声の内容等）によって、聴覚的な情報をオペレータに通知することができる。

【0068】

入力装置５４は、キャビン１０内の着座したオペレータから手が届く範囲に設けられ、オペレータからの各種の入力を受け付け、入力に応じた信号をコントローラ３０に出力する。例えば、入力装置５４は、オペレータからの操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、表示装置５０のディスプレイに実装されるタッチパネルを含んでよい。また、操作入力装置は、例えば、表示装置５０の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル等を含んでよい。また、操作入力装置は、例えば、操作装置２６（レバー装置）の先端に設けられるノブスイッチを含んでよい。また、例えば、入力装置５４は、オペレータの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、マイクロフォンを含む。ジェスチャ入力装置は、例えば、キャビン１０内のオペレータを撮像する撮像装置を含む。入力装置５４に対する入力内容に対応する信号は、コントローラ３０に取り込まれる。

【0069】

通信装置Ｔ１は、通信回線ＮＷを通じて、外部装置（例えば、管理装置２００）との間で通信を行う。通信装置Ｔ１は、例えば、基地局を末端とする移動体通信網に接続する移動体通信モジュールである。また、通信装置Ｔ１は、例えば、通信衛星を利用する衛星通信網に接続する衛星通信モジュールであってもよい。また、通信装置Ｔ１は、近距離通信を行うＷｉＦｉ通信モジュールやブルートゥース通信モジュールであってもよい。

【0070】

操作圧センサ２９は、操作装置２６の操作内容に対応する二次側のパイロット圧（操作圧）を検出する。操作圧センサ２９の出力は、コントローラ３０に取り込まれる。これにより、コントローラ３０は、操作装置２６の操作内容を取得できる。

【0071】

遠隔操作制御部３０１は、ショベル１００の遠隔操作に関する制御を行う。具体的には、遠隔操作制御部３０１は、上述の如く、通信装置Ｔ１により管理装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に応じて、油圧制御弁３１或いは油圧制御弁３１，３３を制御し、ショベル１００の遠隔操作を実現させる。

【0072】

物体検出部３０２は、撮像装置４０や周辺物体情報取得装置４５の出力に基づき、ショベル１００の周囲の近接する監視エリア内における監視対象の物体（以下、単に「監視対象」）を検出する。監視対象には、例えば、ショベル１００の周囲で作業する作業者や作業現場の監督者等の人が含まれる。また、監視対象には、例えば、作業現場に仮置きされた資材、作業現場の仮設事務所等の定置された移動しない障害物やトラックを含む車両等の移動する障害物等、人以外の任意の障害物が含まれうる。

【0073】

物体検出部３０２は、例えば、撮像装置４０の出力、即ち、撮像装置４０で撮像された撮像画像に基づき、ショベル１００（上部旋回体３）の周囲の所定の監視エリア（以下、便宜的に「第１監視エリア」）において、監視対象を検出する。

【0074】

物体検出部３０２は、ショベル１００から見た水平方向（以下、単に「水平方向」）、つまり、ショベル１００が作業している（下部走行体１が接地している）平面（以下、「作業平面」）に沿う方向に延在する第１監視エリア内において、監視対象を検出してよい。具体的には、物体検出部３０２は、ショベル１００（上部旋回体３）からの水平方向の距離Ｄが所定距離Ｄｔｈ１（例えば、５メートル）以内の第１監視エリア内で、監視対象を検出してよい。

【0075】

例えば、物体検出部３０２は、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視対象を認識する。具体的には、物体検出部３０２は、例えば、撮像画像に含まれる画素ごとに、対象の画素を含む監視対象の大きさに相当する程度の部分画像を切り出し、部分画像の局所画像特徴量を取得する。局所画像特徴量は、例えば、ＨＯＧ（Histograms of Oriented Gradients）やＳＩＦＴ（Scaled Invariance Feature Transform）等を含む。そして、物体検出部３０２は、監視対象を含む画像と当該画像の局所画像特徴量との組み合わせによる複数の教師データにより学習済みの識別器を用いて、取得した局所画像特徴量に基づき、部分画像に監視対象が含まれるか否かを判定してよい。

【0076】

また、物体検出部３０２は、既知の各種手法を適用することにより、単眼の撮像装置４０の撮像画像に映っている、認識された監視対象（人）が存在する位置（例えば、足元位置）（以下、「実在位置」）を判定（推定）する。

【0077】

例えば、物体検出部３０２は、認識された監視対象の撮像画像上における大きさ（例えば、撮像画像上の高さ方向の大きさ）に基づき、ショベル１００から見た水平方向の距離（以下、「水平距離」）を推定する。認識された監視対象の撮像画像上における大きさは、監視対象がショベル１００から離れるほど小さくなる相関関係があるからである。具体的には、監視対象には、想定される大きさの範囲（例えば、想定される人の身長の範囲）があるため、想定された大きさの範囲に含まれる当該監視対象のショベル１００から見た水平距離と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、物体検出部３０２は、例えば、コントローラ３０の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視対象の大きさとショベル１００から見た水平距離との相関関係を表すマップや変換式等に基づき、監視対象のショベル１００からの水平距離を推定することができる。また、物体検出部３０２は、撮像画像上の横方向（左右方向）の位置に応じて、ショベル１００（カメラ４０Ｘ）から見た監視対象の存在する方向を推定することができる。

【0078】

また、例えば、物体検出部３０２は、監視対象がショベル１００（具体的には、下部走行体１）と同じ平面上に存在する前提の下、撮像画像を当該平面上への射影変換（ホモグラフィ）等によって、その実在位置（例えば、足元位置）を推定することができる。この場合、撮像画像を構成するある部分（ある点）は、ショベル１００と同じ平面上のある位置に対応づけられる。

【0079】

また、物体検出部３０２は、例えば、周辺物体情報取得装置４５の出力（即ち、受光情報）に基づき、ショベル１００（上部旋回体３）の周辺の所定の監視エリア（以下、便宜的に「第２監視エリア」）において、監視対象を検出する。

【0080】

物体検出部３０２は、水平方向、つまり、作業平面に沿う方向に延在する第２監視エリア内において、監視対象を検出してよい。具体的には、物体検出部３０２は、ショベル１００（上部旋回体３）からの水平方向の距離Ｄが所定距離Ｄｔｈ２以内の第２監視エリア内で、監視対象を検出してもよい。所定距離Ｄｔｈ１，Ｄｔｈ２は、同じであってもよいし、異なっていてもよい。即ち、第１監視エリアと第２監視エリアとは同じであってもよいし、異なっていてもよい。例えば、第１監視エリアは、ショベル１００から相対的に遠方の範囲を含み、第２監視エリアは、第１監視エリアよりもショベル１００に近い範囲に限定される態様であってよい。

【0081】

例えば、物体検出部３０２は、周辺物体情報取得装置４５から取り込まれる受光情報のうちのＴＯＦ情報に基づき、周囲の物体の存在及びその位置を認識する。また、物体検出部３０２は、複数の照射方向からの受光される反射光に対応する受光情報（ＴＯＦ情報）に基づき、物体の形状や物体の大きさ等を認識することにより、周囲の物体の種別を認識し、その物体が監視対象に該当するか否かを判別してよい。また、物体検出部３０２は、受光情報のうちの受光強度情報に基づき、周囲の物体の再帰反射性や反射率を認識することにより、物体の種別を認識し、その物体が監視対象に該当するか否かを判別してもよい。

【0082】

以下、撮像装置４０（カメラ４０Ｘ）や周辺物体情報取得装置４５等を含む、物体検出部３０２により監視対象を検出するために用いられるショベル１００の周囲の物体に関する情報を取得する装置を「情報源」と称する場合がある。

【0083】

また、物体検出部３０２は、例えば、ショベル１００が遠隔操作されている状態で、監視エリア内の監視対象を検出した場合、通信装置Ｔ１を通じて、監視エリア内で監視対象が検出されたことを表す信号（以下、「監視対象検出信号」）を管理装置２００に送信する。これにより、管理装置２００は、ショベル１００の周囲の監視エリア内に監視対象が存在することを認識することができる。

【0084】

また、物体検出部３０２の機能は、入力装置５４に対するオペレータ等のユーザによる所定の操作に応じて、ＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。この場合、撮像装置４０の出力に基づき監視対象を検出する機能、及び周辺物体情報取得装置４５の出力に基づき監視対象を検出する機能ごとに、ＯＮ（有効）／ＯＦＦ（無効）が切り替え可能な態様であってもよい。

【0085】

尚、物体検出部３０２は、撮像装置４０及び周辺物体情報取得装置４５の何れか一方の出力だけに基づき、ショベル１００の周囲の監視エリア内の監視対象を検出してもよい。また、物体検出部３０２が撮像装置４０の出力だけに基づき、ショベル１００の周囲の監視エリア内の監視対象を検出する場合、周辺物体情報取得装置４５は省略されてもよい。

【0086】

安全制御部３０３は、ショベル１００の安全機能に関する制御を行う。具体的には、安全制御部３０３は、ショベル１００とその周囲の物体との接触を回避するための安全機能に関する制御を行う。

【0087】

安全制御部３０３は、例えば、物体検出部３０２により監視エリア内で監視対象が検出される場合に、所定の安全機能（以下、便宜的に「第１の安全機能」）を作動させる。

【0088】

第１の安全機能には、例えば、キャビン１０の内部及び外部の少なくとも一方に警報を出力する等し、監視対象が検出されていることをキャビン１０内のオペレータ等やショベル１００の周囲の作業者等に報知する機能（以下、「報知機能」）が含まれる。

【0089】

安全制御部３０３は、例えば、物体検出部３０２により監視エリアに含まれる所定の範囲（以下、「報知範囲」）で監視対象が検出される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル１００に相対的に近くなるように設定されてもよい。これにより、キャビン１０の内部のオペレータ等やショベル１００の周囲の作業者等に対して、ショベル１００の周囲の所定範囲内に監視対象が存在していること認識させることができる。

【0090】

安全制御部３０３は、例えば、音出力装置５２を制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による報知機能を作動させる。これにより、音出力装置５２は、コントローラ３０の制御下で、聴覚的な報知機能を実現させることができる。このとき、安全制御部３０３は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声情報の内容等を異ならせてもよい。

【0091】

また、安全制御部３０３は、例えば、表示装置５０を制御することにより、キャビン１０の内部に対する画像情報の表示による報知機能を作動させる。具体的には、安全制御部３０３は、表示装置５０に表示されている周囲画像上に、監視対象が検出されていることを表す画像を表示させてよい。また、安全制御部３０３は、表示装置５０に表示される周囲画像に映っている監視対象や、検出された監視対象のショベル１００から見た位置に対応する周囲画像上の位置を強調させてもよい。より具体的には、安全制御部３０３は、周囲画像上に映っている監視対象を囲む枠を重畳して表示させたり、検出された監視対象の実在位置に対応する周囲画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置５０は、コントローラ３０の制御下で、オペレータに対する視覚的な報知機能を実現することができる。

【0092】

また、安全制御部３０３は、例えば、上部旋回体３のハウス部等に設けられる前照灯や外部用の表示装置を制御することにより、ショベル１００の周囲の作業者や監督者等に視覚的な方法による報知機能を作動させてもよい。また、安全制御部３０３は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法でキャビン１０内のオペレータに対する報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータやショベル１００の周囲の作業者及び監督者等に対して、ショベル１００の周囲に監視対象（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、ショベル１００の周囲の安全確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。

【0093】

また、安全制御部３０３は、報知範囲内で検出されている監視対象と、ショベル１００との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。

【0094】

例えば、安全制御部３０３は、物体検出部３０２により報知範囲内で検出された監視対象が相対的にショベル１００から遠い位置に存在する場合、オペレータ等に監視対象への注意を促す程度の相対的に警戒度が低い警報（以下、「低警戒レベルの警報」）を出力してよい。一方、安全制御部３０３は、物体検出部３０２により報知範囲内で検出された監視対象が相対的にショベル１００から近い位置に存在する場合、監視対象がショベル１００に接近し危険度が高まっていることを知らせる相対的に警戒度が高い警報（以下、「高警戒レベルの警報」）を出力してよい。

【0095】

この場合、安全制御部３０３は、注意レベルの警報と警戒レベルの警報との間で、音出力装置５２から出力される音の音高、音圧、音色、吹鳴周期、音声情報の内容等を異ならせてよい。また、安全制御部３０３は、低警戒レベルの警報と高警戒レベルの警報との間で、表示装置５０に表示される周囲画像上に表示される監視対象が検出されていることを表す画像や、監視対象或いは監視対象の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、音出力装置５２から出力される報知音（警報音）や表示装置５０に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視対象のショベル１００に対する接近度を把握させることができる。

【0096】

また、第１の安全機能には、例えば、被駆動要素（油圧アクチュエータ）の操作（例えば、操作装置２６の操作や遠隔操作）に対するショベル１００の動作を制限或いは禁止する機能（以下、「動作制限機能」）が含まれてよい。動作制限機能には、油圧アクチュエータの操作に対するショベル１００の動作速度を通常よりも遅くする動作減速機能、及び油圧アクチュエータの操作に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止機能の少なくとも一方が含まれる。

【0097】

安全制御部３０３は、例えば、物体検出部３０２により監視エリアに含まれる所定範囲（以下、「動作制限範囲」）内で監視対象が検出される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁がショベル１００に相対的に近くなるように設定されてもよい。また、動作制限範囲には、油圧アクチュエータの操作に対するショベル１００の動作速度を通常よりも遅くする動作減速範囲、及びアクチュエータの操作に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。これにより、コントローラ３０は、ショベル１００の周囲に監視対象が存在する場合に、ショベル１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、ショベル１００の周囲の監視対象とショベル１００との接触を抑制することができる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちのショベル１００に近接する範囲であり、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。

【0098】

安全制御部３０３は、例えば、操作装置２６が油圧パイロット式である場合、パイロットライン２５に設けられる所定の油圧制御弁を制御することにより、動作制限機能を作動させてよい。具体的には、安全制御部３０３は、当該油圧制御弁を用いて、パイロットライン２５のパイロット圧を減圧させることにより、動作減速機能を作動させてよい。また、安全制御部３０３は、当該油圧制御弁を用いて、パイロットライン２５を非連通状態にさせることにより、動作停止機能を作動させてよい。

【0099】

また、安全制御部３０３は、例えば、操作装置２６が電気式である場合、操作装置２６（レバー装置）の操作や遠隔操作の内容に応じて、コントローラ３０から油圧制御弁３１に出力される制御信号を調整することにより、動作制限機能を作動させてもよい。具体的には、安全制御部３０３は、操作内容よりも油圧アクチュエータの動作速度が相対的に低くなるような制御信号を油圧制御弁３１に出力することにより、動作減速機能を作動させてよい。また、安全制御部３０３は、制御信号自体を油圧制御弁３１に出力しないようにすることにより、動作停止機能を作動させてよい。

【0100】

また、安全制御部３０３は、例えば、油圧制御弁３３を制御することにより、動作制限機能を作動させてもよい。具体的には、安全制御部３０３は、油圧制御弁３３を用いて、操作装置２６（レバー装置）の二次側のパイロットライン２７Ｂのパイロット圧を減圧させることにより、動作減速機能を作動させてよい。また、安全制御部３０３は、油圧制御弁３３を用いて、パイロットライン２７Ｂを被連通状態にさせることで、動作停止機能を作動させてよい。

【0101】

また、安全制御部３０３は、例えば、被駆動要素（油圧アクチュエータ）ごとに設けられる上述の二つの油圧制御弁３１のうちの油圧アクチュエータの操作方向と反対方向の油圧アクチュエータの動作に対応する油圧制御弁３１を制御することにより、動作制限機能を作動させてもよい。具体的には、安全制御部３０３は、オペレータの操作に応じて制御弁の第１のパイロットポートに作用するパイロット圧に対抗する形で、油圧制御弁３１から制御弁の第２のパイロットポートにパイロット圧を作用させることにより、動作制限機能を作動させてよい。同様に、安全制御部３０３は、オペレータの操作に応じて制御弁の第２のパイロットポートに作用するパイロット圧に対抗する形で、油圧制御弁３１から制御弁の第１のパイロットポートにパイロット圧を作用させることにより、動作制限機能を作動させてよい。

【0102】

また、安全制御部３０３は、例えば、エンジン１１を停止させることにより、動作制限機能（動作停止機能）を作動させてもよい。

【0103】

また、安全制御部３０３は、撮像装置４０の出力（撮像画像）に基づき監視対象が検出される場合と、周辺物体情報取得装置４５の出力に基づき監視対象が検出される場合とで、第１の安全機能に関する制御態様を異ならせてもよい。

【0104】

例えば、安全制御部３０３は、物体検出部３０２によって、撮像装置４０の出力から監視対象が検出される場合、第１の安全機能のうちの報知機能及び安全確認機能だけを作動させる。つまり、安全制御部３０３は、物体検出部３０２によって、撮像装置４０の出力から監視対象が検出される場合、監視対象とショベル１００との距離等に関係なく、動作制限機能を作動させない。具体的には、安全制御部３０３は、物体検出部３０２によって、撮像装置４０の撮像画像から報知範囲（以下、便宜的に「第１報知範囲」）内で監視対象が検出される場合、報知機能及び安全確認機能を作動させ、撮像装置４０の撮像画像からの監視対象の検出に対応する動作制限範囲（以下、便宜的に「第１動作制限範囲」）は、設定されない。

【0105】

一方、安全制御部３０３は、物体検出部３０２によって、周辺物体情報取得装置４５の出力から動作制限範囲（以下、便宜的に「第２動作制限範囲」）で監視対象が検出される場合に、安全確認機能及び動作制限機能を作動させる。また、安全制御部３０３は、物体検出部３０２によって、周辺物体情報取得装置４５の出力から報知範囲（以下、便宜的に「第２報知範囲」）で監視対象が検出される場合に、報知機能を作動させてもよい。第１報知範囲及び第２報知範囲は、同じであってもよいし、異なっていてもよい。

【0106】

例えば、監視対象に関する検出精度が相対的に低いにも関わらず、その検出結果に基づき、動作制限機能が作動すると、報知機能が作動する場合より、オペレータに違和感を与えたり、ショベル１００の作業効率を低下させたりする可能性が高くなる。

【0107】

これに対して、本例では、コントローラ３０は、撮像装置４０及び周辺物体情報取得装置４５のうち、周辺物体情報取得装置４５の出力から監視対象が検出される場合だけ、動作制限機能の作動を許容する。撮像装置４０の撮像画像に対する画像認識で監視対象が検出される場合よりも、周辺物体情報取得装置４５の受光情報から監視対象が検出される場合の方が、相対的に検出精度が高くなる傾向にあるからである。これにより、コントローラ３０は、オペレータに与える違和感やショベル１００の作業効率の低下等を抑制しつつ、ショベル１００の安全性を向上させることができる。

【0108】

また、安全制御部３０３は、例えば、第１の安全機能を作動させた後、物体検出部３０２により監視対象が検出されなくなった場合に、第１の安全機能の作動を解除し、第１の安全機能を停止させる。また、安全制御部３０３は、例えば、第１の安全機能を作動させた後、入力装置５４を通じて、オペレータからの第１の安全機能の解除を要求する所定の入力が受け付けられる場合に、第１の安全機能を解除し、第１の安全機能を停止させてもよい。

【0109】

評価値算出部３０４は、警報が出力されていない状態、即ち、監視対象が検出されていない状態で、情報源で取得されるショベル１００の周囲の物体に関する情報が監視対象を表している度合いを示す評価値（以下、単に「評価値」）を算出する。情報源は、例えば、上述の如く、撮像装置４０（カメラ４０Ｘ）やセンサ４５Ｘ等を含む。具体的には、評価値算出部３０４は、ショベル１００の周囲の情報源による情報の取得範囲（以下、「情報取得範囲」）に含まれる複数の位置（以下、「評価位置」）ごとに、その評価位置に対応する情報源の情報の評価値を算出してよい。情報取得範囲は、ショベル１００（上部旋回体３）に搭載される情報源を基準として、上下方向及び左右方向の角度範囲（例えば、カメラ４０Ｘの画角やセンサ４５Ｘの赤外線レーザの照射方向の角度範囲）に基づき規定される。例えば、情報源による情報取得範囲は、情報源から見て、この角度範囲内に含まれるショベル１００の周囲の領域に相当する。

【0110】

例えば、評価値算出部３０４は、複数の評価位置に対応する、カメラ４０Ｘの撮像画像に含まれる複数の部分画像（例えば、画素）ごとに、対象の部分画像を含む形で設定される評価用画像が監視対象（例えば、人）を表している度合いを示す評価値を算出する。この場合、評価用画像は、例えば、撮像画像の部分画像上に監視対象が存在すると仮定したときの監視対象の大きさに合わせるように設定され、評価値算出部３０４は、評価用画像の局所画像特徴量に基づき評価値を算出してよい。また、評価値算出部３０４は、複数の評価位置に対応する、センサ４５Ｘによる赤外線レーザの複数の照射方向ごとに、照射方向から得られる受光情報が監視対象を表している度合いを示す評価値を算出する。この場合、評価値算出部３０４は、例えば、受光情報に含まれる受光強度情報に基づき、評価値を算出してよい。

【0111】

検出精度判定部３０５は、物体検出部３０２による監視対象の検出精度が相対的に低い領域（以下、「低検出精度領域」）がショベル１００の周囲にあるか否かを判定する。低検出精度領域には、例えば、カメラ４０Ｘの撮像画像やセンサ４５Ｘの受光情報に含まれる背景に相当する物体（以下、「背景物体」）の特徴と監視対象の特徴とが類似し、背景物体が監視対象の物体と誤検出（誤認識）されてしまう可能性がある領域が含まれる。また、低検出精度領域には、カメラ４０Ｘの撮像画像やセンサ４５Ｘの受光情報に含まれる背景物体の特徴と監視対象の特徴とが類似し、背景物体の中に監視対象の物体が同化することで、監視対象が検出（認識）されない可能性がある領域が含まれる。検出精度判定部３０５は、例えば、物体検出部３０２による撮像装置４０（カメラ４０Ｘ）の画像情報に基づく監視対象の検出精度が相対的に低い低検出精度領域がショベル１００の周囲にあるか否かを判定してよい。また、検出精度判定部３０５は、例えば、物体検出部３０２によるセンサ４５Ｘの受光情報に基づく監視対象の検出精度が相対的に低い低検出精度領域がショベル１００の周囲にあるか否かを判定する。また、監視対象の種類が複数ある場合、検出精度判定部３０５は、例えば、複数の種類の監視対象ごとに、低検出精度領域がショベル１００の周囲にあるか否かを判定してよい。

【0112】

検出精度判定部３０５は、ショベル１００の起動（例えば、キースイッチのＯＮ）時に上記の処理（以下、「検出精度判定処理」）を行う。また、検出精度判定部３０５は、撮像装置４０（カメラ４０Ｘ）や周辺物体情報取得装置４５（センサ４５Ｘ）等から見たショベル１００の周囲の環境に変化が生じた場合、又は、生じる可能性がある場合に、上記の処理を行う。

【0113】

検出精度判定部３０５の検出精度判定処理の詳細は後述する（図５～図９参照）。

【0114】

低検出精度通知部３０６は、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定される場合、ショベル１００の周囲の低検出精度領域に関する通知をオペレータに対して出力する。低検出精度通知部３０６は、例えば、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定される場合、低検出精度領域がショベル１００の周囲に存在することをオペレータに通知する。また、低検出精度通知部３０６は、例えば、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定される場合、ショベル１００の周囲の低検出精度領域をオペレータに通知（教示）してよい。

【0115】

具体的には、低検出精度通知部３０６は、表示装置５０を制御し、ショベル１００の周囲に低検出精度領域が存在することを示す情報や、ショベル１００の周囲の低検出精度領域を特定する情報等を表示装置５０に表示させてよい。また、低検出精度通知部３０６は、音出力装置５２を制御し、ショベル１００の周囲に低検出精度領域が存在することを示す音や、ショベル１００の周囲の低検出精度領域を特定する音声情報等を音出力装置５２から出力させてもよい。

【0116】

また、ショベル１００が遠隔操作されている場合、低検出精度通知部３０６は、通信装置Ｔ１を制御し、ショベル１００の周囲に低検出精度領域が存在することを示す情報や、ショベル１００の周囲の低検出精度領域を特定する情報等を含む信号（以下、「低検出精度通知信号」）を管理装置２００に送信してよい。これにより、コントローラ３０は、管理装置２００を通じて、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲に低検出精度領域が存在することを通知することができる。

【0117】

低検出精度領域が存在することやその低検出精度領域自体のオペレータへの通知方法の詳細は、後述する（図１０参照）。

【0118】

また、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定される場合、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にないと判定される場合に比して、安全制御部３０３の制御態様が変更されてもよい。

【0119】

安全制御部３０３は、例えば、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定されていない状態で、物体検出部３０２により監視対象が検出される場合、相対的に低い警戒度を表す警報（低警戒レベルの警報）を出力してよい。一方、安全制御部３０３は、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定されている状態で、物体検出部３０２により監視対象が検出される場合、相対的に高い警戒度を表す警報（高警戒レベルの警報）を出力してよい。

【0120】

これにより、ショベル１００は、ショベル１００の周囲に低検出精度領域が存在し、監視対象の誤検出や見逃しや生じやすい状況下で、オペレータに対して、ショベル１００の周囲に対するより高い警戒を促すことができる。

【0121】

また、安全制御部３０３は、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定されている状態で、物体検出部３０２により低検出精度領域で監視対象が検出される場合に限定して、相対的に警戒度の高い警報（高警戒レベルの警報）を出力してもよい。

【0122】

これにより、ショベル１００の安全性を向上させつつ、相対的に警戒度の高い警報が出力されることによるオペレータに対する負荷を抑制することができる。

【0123】

また、安全制御部３０３は、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定されている状態で、物体検出部３０２により低検出精度領域で監視対象が検出される場合に、報知機能の作動を禁止し、警報を出力しないようにしてもよい。上述の如く、低検出精度通知部３０６によって、オペレータに対して、低検出精度領域の具体的な場所が通知されることで、低検出精度領域の監視をオペレータに任せることが可能だからである。この場合、物体検出部３０２により低検出精度領域で監視対象が検出されても、報知機能が作動しない旨が前もってオペレータに通知されることが望ましい。

【0124】

＜管理装置の構成＞
管理装置２００は、制御装置２１０と、通信装置２２０と、出力装置２３０と、入力装置２４０とを含む。

【0125】

制御装置２１０は、管理装置２００に関する各種制御を行う。制御装置２１０は、その機能が任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、制御装置２１０は、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の不揮発性の補助記憶装置、及び外部との入出力に関するインタフェース装置等を含むコンピュータを中心に構成される。また、制御装置２１０は、例えば、ＣＰＵと連動する、ＧＰＵ，ＡＳＩＣ，ＦＰＧＡ等の高速演算回路を含んでもよい。制御装置２１０は、例えば、補助記憶装置にインストールされるプログラムをＣＰＵ上で実行することにより実現される機能部として、遠隔操作支援部２１０１と、安全制御部２１０２と、低検出精度通知部２１０３とを含む。

【0126】

通信装置２２０は、通信回線ＮＷを通じて、外部装置（例えば、ショベル１００）との間で通信を行う。通信装置２２０は、例えば、モデムやＯＮＵ（Optical Network Unit）である。また、通信装置２２０は、例えば、基地局を末端とする移動体通信網に接続する移動体通信モジュールであってもよい。また、通信装置Ｔ１は、例えば、通信衛星を利用する衛星通信網に接続する衛星通信モジュールであってもよい。また、通信装置Ｔ１は、例えば、近距離通信を行うＷｉＦｉ通信モジュールやブルートゥース通信モジュールであってもよい。

【0127】

出力装置２３０は、制御装置２１０の制御下で、管理装置２００の管理者、作業者、遠隔操作を行うオペレータ等に向けて各種情報を出力する。

【0128】

出力装置２３０は、例えば、管理装置２００の管理者や作業者に向けて、管理装置２００に関する各種情報（例えば、ショベル１００から受信される各種情報等）を視覚的に出力する表示装置を含む。表示装置は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。

【0129】

また、出力装置２３０は、例えば、管理装置２００の管理者や作業者に向けて、管理装置２００に関する各種情報を聴覚的に出力する音出力装置を含む。音出力装置は、例えば、ブザーやスピーカ等である。

【0130】

また、出力装置２３０は、ショベル１００の遠隔操作を行うオペレータにより用いられる表示装置２３０Ａを含む。

【0131】

表示装置２３０Ａは、制御装置２１０の制御下で、ショベル１００の遠隔操作を支援する各種情報画像を表示する。表示装置２３０Ａは、例えば、ショベル１００の周囲の様子を表す周囲画像を表示する。周囲画像には、ショベル１００の前方の様子を表す画像情報の他、ショベル１００の表示装置５０の場合と同様、ショベル１００の左側方、右側方、及び後方の少なくとも一つの様子を表す画像情報が含まれる。

【0132】

入力装置２４０は、管理装置２００の管理者、作業者、遠隔操作を行うオペレータ等のユーザからの入力を受け付け、受け付けられる入力内容を制御装置２１０に出力する。

【0133】

入力装置２４０は、例えば、管理装置２００の管理者や作業者等の操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、キーボード、マウス、タッチパネル等を含む。

【0134】

また、入力装置２４０は、例えば、管理装置２００の管理者や作業者等の音声入力を受け付ける音声入力装置やジェスチャ入力等を受け付けるジェスチャ入力装置を含んでもよい。音声入力装置は、例えば、マイクロフォンを含む。また、ジェスチャ入力装置は、例えば、管理装置２００の管理者や作業者等により行われるジェスチャを撮像する撮像装置を含む。

【0135】

また、入力装置２４０は、例えば、ショベル１００の遠隔操作を行うオペレータにより用いられる操作装置２４０Ａを含む。

【0136】

操作装置２４０Ａ（操作部の一例）は、ショベル１００の複数の被駆動要素、即ち、油圧アクチュエータを遠隔操作するために用いられる。操作装置２４０Ａは、ショベル１００の操作装置２６と同じ形態、即ち、レバー装置を中心に構成されてよい。操作装置２４０Ａ（レバー装置）は、その操作内容、即ち、遠隔操作の内容に対応する電気信号（以下、「遠隔操作信号」）を出力し、遠隔操作信号は、制御装置２１０に取り込まれる。

【0137】

遠隔操作支援部２１０１は、管理装置２００のオペレータによるショベル１００の遠隔操作を支援する。

【0138】

遠隔操作支援部２１０１は、例えば、通信装置２２０によりショベル１００から受信される撮像装置４０（カメラ４０Ｘ）の撮像画像に基づき、表示装置２３０Ａにショベル１００の周囲の様子を表す周囲画像を表示させる。これにより、管理装置２００のオペレータは、表示装置２３０Ａに表示されるショベル１００の周囲の様子を確認しながら、ショベル１００の遠隔操作を行うことができる。

【0139】

尚、表示装置２３０Ａに表示される周囲画像が加工画像である場合、撮像装置４０の撮像画像に代えて、ショベル１００で生成された加工画像がショベル１００から管理装置２００に送信されてもよい。

【0140】

また、遠隔操作支援部２１０１は、例えば、操作装置２４０Ａから入力される、遠隔操作の内容を表す遠隔操作信号を、通信装置２２０（通信部の一例）を通じてショベル１００に送信する。これにより、操作装置２４０Ａの操作内容をショベル１００の動作に反映させ、ショベル１００の遠隔操作を実現することができる。

【0141】

安全制御部２１０２は、ショベル１００の安全機能に関する制御を行う。具体的には、安全制御部２１０２は、安全制御部３０３の場合と同様、ショベル１００とその周囲の物体との接触を回避するための安全機能に関する制御を行う。

【0142】

安全制御部３０３は、例えば、通信装置２２０によりショベル１００から監視対象検出信号が受信される場合、即ち、物体検出部３０２により監視エリア内で監視対象が検出される場合に、所定の安全機能（以下、便宜的に「第２の安全機能」）を作動させる。

【0143】

第２の安全機能には、例えば、第１の安全機能の場合と同様に、警報を出力する等し、監視対象が検出されていることをショベル１００の遠隔操作を行うオペレータに報知する報知機能が含まれる。

【0144】

安全制御部２１０２は、例えば、安全制御部３０３の場合と同様、物体検出部３０２により監視エリアに含まれる報知範囲で監視対象が検出される場合に、報知機能を作動させる。

【0145】

安全制御部２１０２は、例えば、安全制御部３０３の場合と同様に、出力装置２３０に含まれる音出力装置を制御することにより、音による報知機能を作動させる。これにより、出力装置２３０は、制御装置２１０の制御下で、聴覚的な報知機能を実現することができる。

【0146】

また、安全制御部２１０２は、例えば、安全制御部３０３の場合と同様に、出力装置２３０に含まれる表示装置を制御することにより、画像情報の表示による報知機能を作動させる。これにより、出力装置２３０は、制御装置２１０の制御下で、オペレータに対する視覚的な報知機能を実現することができる。

【0147】

低検出精度通知部２１０３は、通信装置２２０によりショベル１００から低検出精度通知信号が受信される場合、低検出精度領域がショベル１００の周囲に存在することをオペレータに通知する。また、低検出精度通知部３０６は、検出精度判定部３０５により監視対象の検出精度が相対的に低い領域がショベル１００の周囲にあると判定される場合、ショベル１００の周囲の監視対象の検出精度が相対的に低い領域をオペレータに通知（教示）してもよい。

【0148】

低検出精度通知部２１０３は、出力装置２３０に含まれる表示装置を制御し、ショベル１００の周囲に低検出精度領域が存在することを示す情報や、ショベル１００の周囲の低検出精度領域を特定する情報等を表示装置に表示させてよい。また、低検出精度通知部２１０３は、出力装置２３０に含まれる音出力装置を制御し、ショベル１００の周囲に低検出精度領域が存在することを示す音や、ショベル１００の周囲の低検出精度領域を特定する音声情報等を音出力装置から出力させてもよい。低検出精度領域が存在することやその低検出精度領域自体のオペレータへの通知方法の詳細は、後述する（図１０参照）。

【0149】

［オペレータに対する低検出精度領域の通知に関する制御処理］
次に、図５を参照して、ショベル１００のコントローラ３０によるオペレータに対する低検出精度領域の通知に関する制御処理（以下、「低検出精度領域通知処理」）の具体例について説明する。

【0150】

図５は、コントローラ３０による低検出精度領域通知処理の一例を概略的に示すフローチャートである。本フローチャートは、ショベル１００の起動から停止（例えば、キースイッチのＯＦＦ）までの間で、所定の時間間隔ごとに繰り返し実行される。

【0151】

図５に示すように、ステップＳ１０２にて、コントローラ３０は、ショベル１００の起動からの上部旋回体３の旋回動作、及びショベル１００の移動動作（即ち、下部走行体１の走行動作）の少なくとも一方が生じる頻度が相対的に多いか否かを判定する。頻度は、例えば、単位時間あたりの発生回数である。コントローラ３０は、例えば、ショベル１００の起動からの上部旋回体３の旋回動作、及び下部走行体１の走行動作の少なくとも一方が生じる頻度が所定閾値以上であるか否かを判定してよい。コントローラ３０は、ショベル１００の起動からの上部旋回体３の旋回動作、及び下部走行体１の走行動作の少なくとも一方が生じる頻度が相対的に多くない（少ない）場合、ステップＳ１０４に進み、相対的に多い場合、ステップＳ１０８に進む。

【0152】

ステップＳ１０４にて、コントローラ３０は、上部旋回体３の旋回動作及び下部走行体１の走行動作の少なくとも一方が行われているか否かを判定する。コントローラ３０は、上部旋回体３の旋回動作及び下部走行体１の走行動作の少なくとも一方が行われている場合、ステップＳ１０６に進み、何れの動作も行われていない場合、今回のフローチャートの処理を終了する。

【0153】

ステップＳ１０６にて、コントローラ３０は、上部旋回体３の旋回動作及び下部走行体１の走行動作が停止したか否か判定する。コントローラ３０は、例えば、上部旋回体３の旋回動作及び下部走行体１の走行動作の双方が停止している状態が一定時間（例えば、１０秒）以上継続している場合に、上部旋回体３の旋回動作及び下部走行体１の走行動作が停止したと判定してよい。コントローラ３０は、上部旋回体３の旋回動作及び下部走行体１の走行動作の双方が停止している場合、ステップＳ１１０に進み、それ以外の場合、上部旋回体３の旋回動作及び下部走行体１の走行動作の双方が停止するまで、ステップＳ１０６の処理を繰り返す。

【0154】

一方、ステップＳ１０８にて、コントローラ３０は、前回の検出精度判定処理（例えば、その完了）から所定時間（例えば、数分）が経過したか否かを判定する。コントローラ３０は、前回の検出精度判定処理から所定時間が経過している場合、ステップＳ１１０に進み、所定時間が経過していない場合、今回のフローチャートの処理を終了する。

【0155】

ステップＳ１１０にて、コントローラ３０（安全制御部３０３）は、表示装置５０や音出力装置５２を通じて、監視対象の検出に基づく警報を出力しているか否かを判定する。コントローラ３０は、警報を出力していない場合、ステップＳ１１２に進み、警報を出力している場合、警報を解除し、警報を停止した状態になるまで、ステップＳ１１０の処理を繰り返す。

【0156】

ステップＳ１１２にて、コントローラ３０（検出精度判定部３０５）は、検出精度判定処理を行う。コントローラ３０は、ステップＳ１１２の処理が完了すると、ステップＳ１１４に進む。

【0157】

ステップＳ１１４にて、コントローラ３０（検出精度判定部３０５）は、ショベル１００の周囲に低検出精度領域があるか否かを判定する。この場合、低検出精度領域は、例えば、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度の少なくとも一方の検出精度が相対的に低い領域であってよい。また、低検出精度領域は、例えば、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度の双方が相対的に低い領域であってもよい。また、低検出精度領域は、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域であってもよい。

【0158】

コントローラ３０は、ショベル１００の周囲に低検出精度領域がある場合、ステップＳ１１６に進み、ショベル１００の周囲に低検出精度領域がない場合、ステップＳ１１８に進む。

【0159】

ステップＳ１１６にて、コントローラ３０（低検出精度通知部３０６）は、ショベル１００の周囲の低検出精度領域に関する通知をオペレータに向けて出力する。具体的には、コントローラ３０は、上述の如く、表示装置５０や音出力装置５２を通じて、キャビン１０のオペレータにショベル１００の周囲の低検出精度領域に関する通知を出力してよい。また、コントローラ３０は、ショベル１００が遠隔操作されている場合、通信装置Ｔ１を通じて、管理装置２００に低検出精度通知信号を送信してよい。これにより、コントローラ３０は、管理装置２００（低検出精度通知部２１０３）を通じて、ショベル１００の遠隔操作を行うオペレータにショベル１００の周囲の低検出精度領域に関する通知を出力することができる。

【0160】

コントローラ３０は、ステップＳ１１６の処理が完了すると、今回のフローチャートの処理を完了する。

【0161】

このように、本実施形態では、表示装置５０や音出力装置５２（以下、「表示装置５０等」）（警報出力部の一例）は、撮像装置４０（取得部の一例）により取得される画像情報や周辺物体情報取得装置４５（センサ４５Ｘ）（取得部の一例）により取得される受光情報に基づき、ショベル１００の周囲で監視対象が検出される場合、コントローラ３０の制御下で、オペレータに対して警報を出力する。そして、表示装置５０等（通知部の一例）は、低検出精度領域がショベル１００の周囲にある場合、コントローラ３０の制御下で、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0162】

同様に、本実施形態では、ショベル１００が遠隔操作されている状態で、出力装置２３０（警報出力部の一例）は、ショベル１００で取得される撮像装置４０の撮像画像やセンサ４５Ｘの受光情報等に基づき、ショベル１００の周囲で監視対象が検出される場合、制御装置２１０の制御下で、ショベル１００の遠隔操作を行うオペレータに対して警報を出力する。そして、出力装置２３０（通知部の一例）は、ショベル１００の周囲に低検出精度領域がある場合、制御装置２１０の制御下で、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0163】

これにより、ショベル１００や管理装置２００は、物体検出部３０２による監視対象の誤検出や見逃しが発生しやすい状況であることをオペレータに認識させることができる。そのため、ショベル１００や管理装置２００は、オペレータがショベル１００の周囲の状況により高い注意を払うように警戒を促すことができる。よって、ショベル１００の物体検出部３０２による監視対象を検出する機能を、オペレータによるショベル１００の周囲の状況に対する相対的に高い警戒の意識で補完し、ショベル１００の安全性を向上させることができる。

【0164】

また、本実施形態では、表示装置５０等は、ショベル１００の周囲に低検出精度領域がある場合、ショベル１００の周囲の低検出精度領域をオペレータに通知してよい。

【0165】

同様に、本実施形態では、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０は、ショベル１００の周囲に低検出精度領域がある場合、制御装置２１０の制御下で、ショベル１００の周囲の低検出精度領域を、ショベル１００の遠隔操作を行うオペレータに通知してよい。

【0166】

これにより、ショベル１００や管理装置２００は、物体検出部３０２による監視対象の誤検出や見逃し等が発生し易い低検出精度領域の場所を教示することができる。そのため、ショベル１００や管理装置２００は、低検出精度領域に対する重点的な警戒をオペレータに促すことができる。よって、ショベル１００の安全性を更に向上させることができる。

【0167】

また、本実施形態では、表示装置５０等は、撮像装置４０（第１の取得部の一例）の撮像画像（第１の情報の一例）に基づく監視対象の検出精度、及びセンサ４５Ｘ（第２の取得部の一例）の受光情報（第２の情報の一例）に基づく監視対象の検出精度のうちの少なくとも一方の検出精度が相対的に低い領域がショベル１００の周囲にある場合、コントローラ３０の制御下で、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行ってよい。

【0168】

同様に、本実施形態では、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０は、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度のうちの少なくとも一方の検出精度が相対的に低い領域がショベル１００の周囲にある場合、制御装置２１０の制御下で、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行ってよい。

【0169】

これにより、ショベル１００や管理装置２００は、複数の情報源からの何れか一つの情報に基づく監視対象の検出精度が相対的に低い領域がある場合、他の情報に基づく監視対象の検出精度が相対的に高くても、低検出精度領域に関する情報をオペレータに通知することができる。そのため、ショベル１００や管理装置２００は、監視対象の検出精度が少しでも低下すると、オペレータに対して、ショベル１００の周囲の状況に対する高い注意を促すことができる。よって、ショベル１００の安全性を更に向上させることができる。

【0170】

また、本実施形態では、表示装置５０等は、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域がショベル１００の周囲にある場合、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行ってよい。

【0171】

同様に、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０は、撮像装置４０の撮像画像に基づく監視対象の検出精度、及びセンサ４５Ｘの受光情報に基づく監視対象の検出精度のうちの通常時に相対的に高い一方の検出精度が相対的に低い領域がショベル１００の周囲にある場合、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行ってよい。

【0172】

これにより、ショベル１００や管理装置２００は、複数の情報源のそれぞれからの情報のうちの通常時に相対的に高い検出精度が得られる情報源の情報に基づく監視対象の検出精度が相対的に低い領域が生じると、他の情報に基づく監視対象の検出精度が相対的に高い状態でも、低検出精度領域に関する情報をオペレータに通知することができる。そのため、ショベル１００や管理装置２００は、監視対象の検出精度が少しでも低下すると、オペレータに対して、ショベル１００の周囲の状況に対する高い注意を促すことができる。よって、ショベル１００の安全性を更に向上させることができる。

【0173】

また、本実施形態では、検出精度判定部３０５（判定部の一例）は、上部旋回体３の旋回動作、及びショベル１００の移動（下部走行体１の走行動作）の少なくとも一つが生じた場合に、ショベル１００の周囲に低検出精度領域があるか否かを判定する。そして、表示装置５０等は、検出精度判定部３０５により低検出精度領域がショベル１００の周囲にあると判定される場合、コントローラ３０の制御下で、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行ってよい。

【0174】

これにより、ショベル１００は、上部旋回体３の旋回動作や下部走行体１の走行動作が発生し、撮像装置４０やセンサ４５Ｘから見たショベル１００の周囲の状況が変化するたびに、ショベル１００の周囲の低検出精度領域の有無等を確認することができる。そのため、ショベル１００は、撮像装置４０やセンサ４５Ｘから見たショベル１００の周囲の状況の変化に合わせて、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行うことができる。よって、ショベル１００の安全性を更に向上させることができる。

【0175】

また、本実施形態では、表示装置５０等は、監視対象が検出されなくなった場合、或いは、入力装置５４を通じて、警報を解除する所定の入力が受け付けられた場合に、監視対象の検出に基づく警報を解除する。そして、検出精度判定部３０５は、警報が出力されている状態で、上部旋回体３の旋回動作、及びショベル１００の移動（下部走行体１の走行動作）の少なくとも一つが生じた場合、警報が解除されたときに、ショベル１００の周囲に検出精度が相対的に低い領域があるか否かを判定してよい。

【0176】

これにより、ショベル１００は、監視対象が存在しないと判断可能な状況になってから、ショベル１００の周囲に低検出精度領域があるか否かの判定を行うことができる。そのため、ショベル１００は、より適切に、ショベル１００の周囲の低検出精度領域の有無等を確認することができる。

【0177】

また、本実施形態では、検出精度判定部３０５は、上部旋回体３の旋回動作、及びショベル１００の移動（下部走行体１の走行動作）の少なくとも一方が生じている頻度が相対的に高い場合、定期的に（所定時間ごとに）、ショベル１００の周囲に低検出精度領域があるか否かを判定してよい。

【0178】

これにより、ショベル１００は、撮像装置４０やセンサ４５Ｘから見たショベル１００の周囲の状況が変化する頻度が高い状況で、ショベル１００の周囲に低検出精度領域があるか否かの判定を行う頻度が相対的に高くなるような事態を抑制することができる。そのため、ショベル１００は、コントローラ３０の処理負荷の上昇を抑制することができる。

【0179】

［コントローラによる検出精度判定処理］
次に、図６～図９を参照して、コントローラ３０による検出精度判定処理の詳細について説明する。

【0180】

図６は、コントローラ３０による検出精度判定処理（即ち、図５のステップＳ１１２の処理）の一例を概略的に示すフローチャートであり、図７～図９は、それぞれ、コントローラ３０による検出精度判定処理を説明する図である。具体的には、図７～図９は、それぞれ、撮像装置４０（カメラ４０Ｘ）の撮像画像に基づく監視対象の検出精度に関する検出精度判定処理を説明する図である。

【0181】

図６に示すように、ステップＳ２０２にて、評価値算出部３０４は、ショベル１００の周囲の情報取得範囲内の複数の評価位置ごとに、その位置に対応する情報源の情報の監視対象らしさを表す評価値を算出する。コントローラ３０は、ステップＳ２０２の処理が完了すると、ステップＳ２０４に進む。

【0182】

例えば、図７に示すように、評価値算出部３０４は、撮像画像ＩＭＧ１の複数の部分画像ごとに、対象の部分画像を含む評価用画像を規定するための矩形の評価枠（例えば、評価枠７１０，７２０，７３０，７４０）を設定する。この場合、撮像画像ＩＭＧ１の上下方向で下よりに映っている物体ほど、ショベル１００（カメラ４０Ｘ）に近い物体を表しているため、評価枠の大きさは、対象の部分画像が下よりにあるほど大きくなるように規定される。評価値算出部３０４は、評価枠で区分される評価用画像の評価値を算出すると、右に隣接する部分画像に対応する分だけ評価枠を右に移動させ、次の評価用画像の評価値を算出する形で、左端の部分画像から右端の部分画像まで対応する評価用画像の評価値を算出してよい（図中の矢印参照）。

【0183】

図６に戻り、ステップＳ２０４にて、評価値算出部３０４は、ステップＳ２０２の算出結果に基づき、情報源の情報取得範囲全体の評価位置と評価値とを関連付けたデータを生成する。ステップＳ２０４の処理が完了すると、ステップＳ２０６に進む。

【0184】

例えば、図８に示すように、撮像画像ＩＭＧ１の複数の部分画像ごとに評価値の高低を色で関連付けて視覚化したデータ（ヒートマップ画像ＩＭＧ２）を生成する。本例では、評価値が相対的に高い部分画像（画素）に淡い色が設定され、評価値が相対的に低い部分画像（画素）に濃い色が設定されている。

【0185】

図６に戻り、ステップＳ２０６にて、検出精度判定部３０５は、評価値が相対的に高い互いに隣接する評価位置の集まりを抽出する。コントローラ３０は、ステップＳ２０６の処理が完了すると、ステップＳ２０８に進む。

【0186】

ステップＳ２０８にて、検出精度判定部３０５は、抽出した評価位置の集まりごとに、評価位置の集まりが相対的に広い範囲に及んでいるか否かを判定する。検出精度判定部３０５は、例えば、評価対象の集まりが監視対象の大きさに相当する範囲より広い範囲に及んでいるか否かを判定する。検出精度判定部３０５は、相対的に広い範囲に及んでいる評価位置の集まりが少なくとも一つある場合、ショベル１００の周囲に低検出精度領域があると判定し、ステップＳ２１０に進む。一方、検出精度判定部３０５は、相対的に広い範囲に及んでいる評価位置の集まりが一つもない場合、ショベル１００の周囲に低検出精度領域がないと判定し、今回のフローチャートの処理を終了する。

【0187】

尚、ステップＳ２０８では、評価値が相対的に高い互いに隣接する評価位置の集まりが抽出されたか否かが判定されてもよい。この場合、検出精度判定部３０５は、評価値が相対的に高い互いに隣接する評価位置の集まりが抽出された場合、その範囲に依らず、ショベル１００の周囲に低検出精度領域があると判定する。また、ステップＳ２０６が省略され、ステップＳ２０８では、複数の評価位置の中に、評価値が相対的に高い評価位置が存在するか否かが判定されてもよい。この場合、検出精度判定部３０５は、評価値が相対的に高い評価位置が存在する場合に、ショベル１００の周囲に低検出精度領域があると判定する。

【0188】

ステップＳ２１０にて、検出精度判定部３０５は、相対的に広い範囲に及んでいる評価位置の集まりに相当する領域を低検出精度領域に設定する。コントローラ３０は、ステップＳ２１０の処理が完了すると、今回のフローチャートの処理を終了する。

【0189】

例えば、図９に示すように、検出精度判定部３０５は、ヒートマップ画像ＩＭＧ２の中で、相対的に高い評価値に対応する色（本例では、相対的に淡い色）の部分画像の集まりに相当する画像領域を抽出してよい（ステップＳ２０６）。検出精度判定部３０５は、抽出した画像領域ごとにその面積が監視対象の大きさに相当する所定閾値を超えているか否かを判定してよい（ステップＳ２０８）。そして、検出精度判定部３０５は、ヒートマップ画像ＩＭＧ２の中で、相対的に高い評価値に対応する色で、且つ、面積が所定閾値を超えている画像領域（例えば、画像領域９１０，９２０，９３０）を低検出精度領域に設定してよい（ステップＳ２１０）。

【0190】

このように、本実施形態では、評価値算出部３０４（算出部の一例）は、警報が出力されていない状態で、情報源から取得される情報が監視対象を表している度合いを示す評価値を算出する。そして、表示装置５０等は、情報源により評価値が相対的に高い情報が取得される領域がショベル１００の周囲にある場合、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0191】

同様に、ショベル１００が遠隔操作される状態で、管理装置２００の出力装置２３０は、情報源により評価値が相対的に高い情報が取得される領域がショベル１００の周囲にある場合、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0192】

例えば、監視対象でないショベル１００の周囲の背景物体に関して、監視対象であることを表している度合いが相対的に高い情報が情報源により取得されると、物体検出部３０２が背景物体を監視対象と誤認識してしまう可能性がある。また、監視対象でないショベル１００の周囲の背景物体に関して、監視対象であることを表している度合いが相対的に高い情報が情報源により取得されると、背景物体の中に監視対象が同化し、物体検出部３０２が監視対象を検出できず、見逃してしまう可能性がある。

【0193】

これに対して、本例では、ショベル１００や管理装置２００は、情報源により評価値が相対的に高い情報が取得される領域を低検出精度領域と判断し、オペレータに低検出精度領域に関する通知を行うことができる。

【0194】

また、本実施形態では、評価値算出部３０４は、警報が出力されていない状態で、撮像装置４０の撮像画像に含まれる複数の部分画像ごとに、評価値を算出する。そして、表示装置５０等は、複数の部分画像の中に評価値が相対的に高い部分画像がある場合に、コントローラ３０の制御下で、オペレータに対して、作業機械の周囲の検出精度が相対的に低い領域に関する通知を行う。

【0195】

同様に、ショベル１００が遠隔操作される状態で、管理装置２００の出力装置２３０は、複数の部分画像の中に評価値が相対的に高い部分画像がある場合に、制御装置２１０の制御下で、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0196】

これにより、ショベル１００や管理装置２００は、具体的に、撮像装置４０（カメラ４０Ｘ）の撮像画像に基づく検出精度が相対的に低い低検出精度領域に関する通知を行うことができる。

【0197】

また、本実施形態では、表示装置５０等は、撮像装置４０（カメラ４０Ｘ）の撮像画像の複数の部分画像の中に評価値が相対的に高い部分画像があり、且つ、撮像画像の中の評価値が相対的に高い部分画像の集まりの占める面積が所定基準を超えている場合、オペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0198】

同様に、ショベル１００が遠隔操作される状態で、管理装置２００の出力装置２３０は、撮像装置４０（カメラ４０Ｘ）の撮像画像の複数の部分画像の中に評価値が相対的に高い部分画像があり、且つ、撮像画像の中の評価値が相対的に高い部分画像の集まりの占める面積が所定基準を超えている場合、ショベル１００の遠隔操作を行うオペレータに対して、ショベル１００の周囲の低検出精度領域に関する通知を行う。

【0199】

これにより、ショベル１００や管理装置２００は、実際に監視対象と誤認されたり、監視対象を同化させたりする程度の大きさの画像領域（部分画像の集まり）を低検出精度領域と判断し、オペレータに対して、低検出精度領域に関する通知を行うことができる。

【0200】

［オペレータに対する低検出精度領域に関する通知方法］
次に、図１０を参照して、低検出精度領域に関する通知方法の詳細を説明する。

【0201】

図１０は、低検出精度領域に関する通知方法の一例を示す図である。具体的には、図１０は、表示装置５０に表示される低検出精度領域に関する通知画面（以下、「低検出精度通知画面」）の一例を示す図である。

【0202】

図１０に示すように、表示装置５０には、コントローラ３０の制御下で、撮像装置４０（カメラ４０Ｘ）の撮像画像ＩＭＧ１が表示される。また、表示装置５０には、コントローラ３０の制御下で、撮像画像ＩＭＧ１に重畳して、ショベル１００の周囲の低検出精度領域に対応する画像領域を表す枠１０１０，１０２０，１０３０が表示される。枠１０１０，１０２０，１０３０は、それぞれ、図９の画像領域９１０，９２０，９３０に対応している。これにより、表示装置５０は、撮像装置４０（カメラ４０Ｘ）の撮像画像上において、ショベル１００の周囲の低検出精度領域に対応する画像領域を強調して表示させることができる。そのため、キャビン１０のオペレータは、ショベル１００の周囲の低検出精度領域の存在や、その具体的な場所を視覚的に認識することができる。

【0203】

また、枠１０１０，１０２０，１０３０以外の方法で、ショベル１００の周囲の低検出精度領域を強調してもよい。例えば、表示装置５０は、コントローラ３０の制御下で、低検出精度領域に対応する画像領域に他の種類のマーカを表示させたり、低検出精度領域に対応する画像領域の輝度を他の画像領域より高くしたりしてよい。

【0204】

例えば、枠１０１０，１０２０，１０３０は、検出精度判定部３０５による判定結果が出力されてから次回の判定結果が出力される（即ち、判定結果が更新される）までの間で、常時表示されてよい。また、枠１０１０，１０２０，１０３０が表示されるタイミングは、限定されてもよい。これにより、コントローラ３０は、オペレータにショベル１００の周囲の低検出精度領域への注意を促しつつ、枠１０１０，１０２０，１０３０が表示されることによりオペレータが感じる煩わしさを抑制することができる。例えば、枠１０１０，１０２０，１０３０は、検出精度判定部３０５による判定結果が出力されてから所定期間（例えば、数分間）だけ表示される態様であってもよい。また、例えば、枠１０１０，１０２０，１０３０は、検出精度判定部３０５により判定結果が出力されてから次回の判定結果が出力されるまでの間で、定期的に、表示される状態と表示されない状態とが切り換えられてもよい。また、例えば、枠１０１０，１０２０，１０３０は、検出精度判定部３０５により判定結果が出力されてから次回の判定結果が出力されるまでの間で、物体検出部３０２により監視対象が検出された場合に、表示される態様であってもよい。例えば、監視対象が実際に検出されている場合、検出された監視対象が低検出精度領域に移動してしまうと、監視対象が検出されずに、警報が解除されてしまう可能性があるからである。

【0205】

また、表示装置５０には、コントローラ３０の制御下で、撮像画像ＩＭＧ１に重畳して、ポップアップウィンドウ１０４０が表示される。具体的には、ポップアップウィンドウ１０４０は、撮像画像ＩＭＧ１の下端部に重畳して表示される。

【0206】

ポップアップウィンドウ１０４０には、低検出精度領域に関する通知を表す文字情報が含まれる。具体的には、ポップアップウィンドウ１０４０には、枠１０１０，１０２０，１０３０に対応する低検出精度領域では、監視対象の検出精度が相対的に低いことを表す文字情報（警告文）が含まれる。本例では、ポップアップウィンドウ１０４０には、"枠の範囲では検出機能が正常動作しない可能性があります。ご注意ください"という警告文が表示されている。これにより、コントローラ３０は、オペレータに対して、ショベル１００の周囲（低検出精度領域）により注意を払うように促すことができる。

【0207】

例えば、ポップアップウィンドウ１０４０は、検出精度判定部３０５による判定結果が出力されてから次回の判定結果が出力される（即ち、判定結果が更新される）までの間で、常時表示されてよい。また、枠１０１０，１０２０，１０３０の場合と同様、ポップアップウィンドウ１０４０が表示されるタイミングは、限定されてもよい。

【0208】

また、上述の如く、表示装置５０に代えて、或いは、加えて、音出力装置５２を通じて、低検出精度領域に関する通知を行ってもよい。例えば、音出力装置５２は、ポップアップウィンドウ１０４０に含まれる文字情報に対応する音声情報を出力してもよい。

【0209】

例えば、ポップアップウィンドウ１０４０に含まれる文字情報に対応する音声情報は、検出精度判定部３０５による判定結果が出力されてから次回の判定結果が出力されるまでの間で、繰り返し継続して（連続して）出力されてよい。また、ポップアップウィンドウ１０４０に含まれる文字情報に対応する音声情報が出力される回数は、制限されてもよい。例えば、ポップアップウィンドウ１０４０に含まれる文字情報に対応する音声情報は、検出精度判定部３０５による判定結果が出力されてから次回の判定結果が出力されるまでの間で、所定の間隔を開けて、定期的に出力されてもよい。また、例えば、ポップアップウィンドウ１０４０に含まれる文字情報に対応する音声情報は、検出精度判定部３０５による判定結果が出力されてから所定回数（例えば、１回）だけ出力される態様であってもよい。これにより、コントローラ３０は、オペレータにショベル１００の周囲の低検出精度領域への注意を促しつつ、音声情報が出力されることによりオペレータが感じる煩わしさを抑制することができる。

【0210】

また、管理装置２００においても、制御装置２１０の制御下で、出力装置２３０を通じて、同様の方法で、低検出精度領域に関する通知が行われてよい。

【0211】

このように、本実施形態では、表示装置５０（表示部の一例）は、ショベル１００の周囲に低検出精度領域がある場合、ショベル１００の周囲の様子を表す周囲画像を表示すると共に、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。

【0212】

同様に、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０（表示装置）は、ショベル１００の周囲に低検出精度領域がある場合、ショベル１００の周囲の様子を表す周囲画像を表示すると共に、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。

【0213】

これにより、ショベル１００や管理装置２００は、オペレータに対して、視覚的にショベル１００の周囲の低検出精度領域を通知することができる。

【0214】

また、本実施形態では、表示装置５０は、ショベル１００の周囲に低検出精度領域がある場合、ショベル１００の周囲の様子を表す周囲画像を表示すると共に、所定期間だけ、定期的に、或いは、監視対象が検出されるときに、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。

【0215】

同様に、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０（表示装置）は、ショベル１００の周囲に低検出精度領域がある場合、ショベル１００の周囲の様子を表す周囲画像を表示すると共に、所定期間だけ、定期的に、或いは、監視対象が検出されるときに、周囲画像の中の低検出精度領域に対応する画像領域を強調して表示してよい。

【0216】

これにより、ショベル１００や管理装置２００は、ショベル１００の周囲の低検出精度領域を通知するための視覚情報が表示される回数や時間等を制限することができる。そのため、ショベル１００や管理装置２００は、オペレータが感じる煩わしさを抑制しながら、ショベル１００の安全性を向上させることができる。

【0217】

また、本実施形態では、音出力装置５２（音声出力部の一例）は、ショベル１００の周囲に低検出精度領域がある場合、周囲画像の中の強調されている画像領域に対応する作業機械の周囲の領域では、監視対象の検出精度が相対的に低いことを表す音声情報を出力してよい。

【0218】

同様に、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０（音出力装置）は、ショベル１００の周囲に低検出精度領域がある場合、周囲画像の中の強調されている画像領域に対応する作業機械の周囲の領域では、監視対象の検出精度が相対的に低いことを表す音声情報を出力してよい。

【0219】

これにより、ショベル１００や管理装置２００は、視覚情報に加えて、音声情報によって、ショベル１００の周囲の低検出精度領域に関する情報をオペレータに通知することができる。

【0220】

また、本実施形態では、音出力装置５２は、ショベル１００の周囲に低検出精度領域がある場合、所定回数だけ、又は、定期的に、音声情報を出力してよい。

【0221】

同様に、ショベル１００が遠隔操作されている状態で、管理装置２００の出力装置２３０（音出力装置）は、ショベル１００の周囲に低検出精度領域がある場合、所定回数だけ、又は、定期的に、音声情報を出力してよい。

【0222】

これにより、ショベル１００や管理装置２００は、音声情報が出力される時間や回数を制限することができる。そのため、ショベル１００や管理装置２００は、オペレータが感じる煩わしさを抑制しながら、ショベル１００の安全性を向上させることができる。

【0223】

［変形・変更］
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0224】

例えば、上述した実施形態では、ショベル１００の周囲の低検出精度領域に対する注意や安全確認を促す機能を説明したが、ショベル１００以外の他の作業機械に同様の機能が採用されてもよい。他の作業機械には、例えば、ブルドーザ、ホイルローダ、移動式クレーン等が含まれてよい。

【符号の説明】

【0225】

１ 下部走行体
３ 上部旋回体
３０ コントローラ
４０ 撮像装置（取得部）
４０Ｂ，４０Ｆ，４０Ｌ，４０Ｒ カメラ
４５ 周辺物体情報取得装置（取得部）
４５ＢＬ，４５ＢＲ，４５Ｌ，４５Ｒ センサ
５０ 表示装置（警報出力部、通知部）
５２ 音出力装置（警報出力部、通知部）
５４ 入力装置
１００ ショベル（作業機械）
２００ 管理装置（情報処理装置）
２１０ 制御装置
２２０ 通信装置
２３０ 出力装置（通知部、警報出力部）
２３０Ａ 表示装置
２４０ 入力装置
２４０Ａ 操作装置
３０１ 遠隔操作制御部
３０２ 物体検出部
３０３ 安全制御部
３０４ 評価値算出部（算出部）
３０５ 検出精度判定部（判定部）
３０６ 低検出精度通知部
２１０１ 遠隔操作支援部
２１０２ 安全制御部
２１０３ 低検出精度通知部
Ｔ１ 通信装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】