特許 6972692 作業機械の周囲監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6972692

(24)【登録日】2021年11月8日

(45)【発行日】2021年11月24日

(54)【発明の名称】作業機械の周囲監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20211111BHJP

   E02F 9/26 20060101ALI20211111BHJP

   B60R 1/00 20060101ALI20211111BHJP

【ＦＩ】

   H04N7/18 D

   E02F9/26 A

   B60R1/00 A

   H04N7/18 J

【請求項の数】5

【全頁数】15

(21)【出願番号】特願2017-119333(P2017-119333)

(22)【出願日】2017年6月19日

(65)【公開番号】特開2019-4399(P2019-4399A)

(43)【公開日】2019年1月10日

【審査請求日】2020年1月14日

(73)【特許権者】

【識別番号】000246273

【氏名又は名称】コベルコ建機株式会社

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100109058

【弁理士】

【氏名又は名称】村松 敏郎

(72)【発明者】

【氏名】山▲崎▼ 洋一郎

(72)【発明者】

【氏名】藤野 裕介

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 特開２０１６−１８１１１９（ＪＰ，Ａ）

【文献】 特開２００２−０８７１９０（ＪＰ，Ａ）

【文献】 特開２００３−３３３５９０（ＪＰ，Ａ）

【文献】 特開２０１２−２０３６７７（ＪＰ，Ａ）

【文献】 特開２００３−１０５８０７（ＪＰ，Ａ）

【文献】 特開２００８−０３３４３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｅ０２Ｆ ９／２４−９／２６

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／００

(57)【特許請求の範囲】

【請求項1】

作業機械から離れた位置に配置され、前記作業機械が作業する作業領域のうち、少なくとも前記作業機械及び前記作業機械の周囲を撮影する撮影装置と、
前記作業機械に配置され、前記撮影装置によって撮影された画像のうち、少なくとも前記作業機械及び前記作業機械の周囲を表示する表示装置とを備え、
前記作業領域に複数の作業機械が存在する場合、
前記撮影装置は、少なくとも前記複数の作業機械と当該複数の作業機械の各々の周囲とを含めて前記作業領域を撮影し、
前記複数の作業機械の各々に配置された前記表示装置は、一の前記撮影装置によって撮影された前記作業領域の画像のうち、少なくとも当該表示装置が配置されている作業機械及び当該表示装置が配置されている当該作業機械の周囲を表示する、作業機械の周囲監視システム。

【請求項2】

請求項１に記載の作業機械の周囲監視システムであって、さらに、
前記撮影装置によって撮影された画像に基づいて処理を行う処理装置を備え、
前記処理装置は、
前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する表示範囲選択部を含み、
前記表示装置は、
前記表示範囲選択部によって選択された範囲の画像を表示する、作業機械の周囲監視システム。

【請求項3】

請求項２に記載の作業機械の周囲監視システムであって、
前記表示範囲選択部は、少なくとも前記作業機械及び前記作業機械の後方の領域を含むように、前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する、作業機械の周囲監視システム。

【請求項4】

請求項２又は３に記載の作業機械の周囲監視システムであって、
前記処理装置は、さらに、
前記撮影装置によって撮影された画像のうち、前記表示範囲選択部によって選択された範囲の画像に基づいて、前記作業機械の周囲に存在する障害物と前記作業機械との位置関係を把握する位置関係把握部と、
前記位置関係把握部によって把握された前記障害物と前記作業機械との位置関係に基づいて、前記作業機械の動作を制御する動作制御部を含む、作業機械の周囲監視システム。

【請求項5】

作業機械から離れた位置に配置され、前記作業機械が作業する作業領域のうち、少なくとも前記作業機械及び前記作業機械の周囲を撮影する撮影装置と、
前記作業機械に配置され、前記撮影装置によって撮影された画像のうち、少なくとも前記作業機械及び前記作業機械の周囲を表示する表示装置と、
前記撮影装置によって撮影された画像に基づいて処理を行う処理装置と
を備え、
前記処理装置は、
前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する表示範囲選択部と、
前記撮影装置によって撮影された画像のうち、前記表示範囲選択部によって選択された範囲の画像に基づいて、前記作業機械の周囲に存在する障害物と前記作業機械との位置関係を把握する位置関係把握部と、
前記位置関係把握部によって把握された前記障害物と前記作業機械との位置関係に基づいて、前記作業機械の動作を制御する動作制御部と
を含み、
前記表示装置は、前記表示範囲選択部によって選択された範囲の画像を表示する、作業機械の周囲監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の周囲を監視するシステムに関する。

【背景技術】

【0002】

従来から、油圧ショベル等の作業機械が知られている。このような作業機械の周囲には、運転席に着座しているオペレータから見難くなる領域が存在する。当該領域に障害物が存在すると、オペレータは当該障害物を直接視認することができない。

【0003】

下記の特許文献１は、作業機械の周囲に存在する障害物を認識しやすくするための周囲監視装置を開示している。この周囲監視装置は、作業車両の動作に応じて選択された視点位置と、ＧＰＳ受信機からの信号に基づく作業車両の位置と、予め保持しておいた周囲地形に関する三次元データとに基づいて、上記視点位置から見た三次元地形画像を生成するとともに、当該三次元地形画像に対して上記視点位置に対応する作業車両及び移動障害物のアイコン画像を重畳することで三次元表示画像を生成し、当該三次元表示画像を作業車両の表示装置に表示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−２１９８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の作業車両の周囲監視装置は、作業車両の動作が変わるごとに、三次元表示画像を新たに生成しなければならない。また、作業車両及び移動障害物をアイコン画像として表示するので、作業車両と移動障害物との大凡の位置関係しか把握することができない。

【0006】

本発明の目的は、作業機械の周囲を容易に且つ的確に把握することができる作業機械の周囲監視システムを提供することである。

【課題を解決するための手段】

【0007】

本願の発明者は、上記の目的を達成するための方策について検討した。そして、作業機械から離れた位置で、作業機械及びその周囲を撮影し、それによって得られる画像を用いることにより、作業機械のオペレータに対してより的確な情報を提供することができるとの知見を得るに至った。本発明は、このような知見に基づいて完成されたものである。

【0008】

本発明による作業機械の周囲監視システムは、作業機械から離れた位置に配置され、前記作業機械が作業する作業領域のうち、少なくとも前記作業機械及び前記作業機械の周囲を撮影する撮影装置と、前記作業機械に配置され、前記撮影装置によって撮影された画像のうち、少なくとも前記作業機械及び前記作業機械の周囲を表示する表示装置とを備え、前記作業領域に複数の作業機械が存在する場合、前記撮影装置は、少なくとも前記複数の作業機械と当該複数の作業機械の各々の周囲とを含めて前記作業領域を撮影し、前記複数の作業機械の各々に配置された前記表示装置は、一の前記撮影装置によって撮影された前記作業領域の画像のうち、少なくとも当該表示装置が配置されている作業機械及び当該表示装置が配置されている当該作業機械の周囲を表示する。

【0009】

上記作業機械の周囲監視システムにおいては、作業機械から離れて配置された撮影装置による実際の撮影画像の少なくとも一部が、作業機械に配置された表示装置に表示される。そのため、作業機械のオペレータは、自身が操作する作業機械の表示装置に表示されている撮影画像により、自身が操作する作業機械及びその周囲の状況を客観的に見ることができる。その結果、オペレータは、自身が操作する作業機械の周囲の状況を容易に且つ的確に把握することができる。

【0010】

上記作業機械の周囲監視システムは、好ましくは、さらに、前記撮影装置によって撮影された画像に基づいて処理を行う処理装置を備え、前記処理装置は、前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する表示範囲選択部を含み、前記表示装置は、前記表示範囲選択部によって選択された範囲の画像を表示する。

【0011】

この場合、表示範囲選択部によって選択される表示範囲を適当に設定することにより、作業機械のオペレータが当該作業機械及びその周囲の状況を把握するのに必要な情報だけを表示装置に表示することができる。そのため、オペレータが作業機械及びその周囲の状況を把握するときの負担を軽減することができる。

【0012】

上記作業機械の周囲監視システムにおいて、好ましくは、前記表示範囲選択部は、少なくとも前記作業機械及び前記作業機械の後方の領域を含むように、前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する。

【0013】

この場合、作業機械のオペレータによる目視が困難な作業機械の後方の状況を表示装置に表示することができる。そのため、オペレータは、自身が操作する作業機械の後方の状況を容易に且つ的確に把握することができる。

【0014】

上記作業機械の周囲監視システムにおいて、好ましくは、前記処理装置は、さらに、前記撮影装置によって撮影された画像のうち、前記表示範囲選択部によって選択された範囲の画像に基づいて、前記作業機械の周囲に存在する障害物と前記作業機械との位置関係を把握する位置関係把握部と、前記位置関係把握部によって把握された前記障害物と前記作業機械との位置関係に基づいて、前記作業機械の動作を制御する動作制御部を含む。

【0015】

この場合、作業機械と障害物との位置関係に応じた動作を行わせることができる。そのため、例えば、作業機械が障害物と接触しそうな状態であれば、障害物との接触を回避するための動作を作業機械に行わせることができる。
本発明による作業機械の周囲監視システムは、作業機械から離れた位置に配置され、前記作業機械が作業する作業領域のうち、少なくとも前記作業機械及び前記作業機械の周囲を撮影する撮影装置と、前記作業機械に配置され、前記撮影装置によって撮影された画像のうち、少なくとも前記作業機械及び前記作業機械の周囲を表示する表示装置と、前記撮影装置によって撮影された画像に基づいて処理を行う処理装置とを備え、前記処理装置は、前記撮影装置によって撮影された画像から前記表示装置に表示する範囲を選択する表示範囲選択部と、前記撮影装置によって撮影された画像のうち、前記表示範囲選択部によって選択された範囲の画像に基づいて、前記作業機械の周囲に存在する障害物と前記作業機械との位置関係を把握する位置関係把握部と、前記位置関係把握部によって把握された前記障害物と前記作業機械との位置関係に基づいて、前記作業機械の動作を制御する動作制御部とを含み、前記表示装置は、前記表示範囲選択部によって選択された範囲の画像を表示する。

【発明の効果】

【0016】

本発明による作業機械の周囲監視システムによれば、作業機械の周囲を容易に且つ的確に把握することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態による作業機械の周囲監視システムによって監視される作業機械の作業領域を示す説明図である。

【図2】本発明の実施の形態による作業機械の周囲監視システムの概略構成を示すブロック図である。

【図3】図２に示す作業機械の周囲監視システムが備える画像処理装置の制御装置によって実行される監視制御を示すフローチャートである。

【図4】図３における表示範囲選択処理を示すフローチャートである。

【図5】図３における位置関係把握処理を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、添付図面を参照しながら、本発明の実施の形態について詳述する。

【0019】

図１及び図２を参照しながら、本発明の実施の形態による作業機械の周囲監視システム１０について説明する。図１は、周囲監視システム１０によって監視される作業機械ＷＭの作業領域ＷＳを示す説明図である。図２は、周囲監視システム１０の概略構成を示すブロック図である。図２では、便宜上、１つの作業機械ＷＭしか図示していない。作業機械ＷＭは、例えば、油圧ショベルである。

【0020】

周囲監視システム１０は、作業領域ＷＳに存在する複数（図１に示す例では、３つ）の作業機械ＷＭの各々の周囲を監視するためのシステムである。周囲監視システム１０は、カメラ１２と、画像処理装置１４と、制御装置１６と、表示装置１８と、動作制御装置２０と、稼働情報サーバ２２とを備える。ここで、制御装置１６、表示装置１８及び動作制御装置２０は、作業機械ＷＭに設けられている。

【0021】

図１及び図２を参照しながら、カメラ１２について説明する。カメラ１２は、例えば、ステレオカメラである。カメラ１２は、作業領域ＷＳに設けられた支柱１２１に配置されている（図１参照）。カメラ１２は、作業領域ＷＳに存在する複数の作業機械ＷＭと、複数の作業機械ＷＭの各々の周囲とを含むように、作業領域ＷＳを撮影する。

【0022】

図２を参照しながら、処理装置の一部を構成する画像処理装置１４について説明する。画像処理装置１４は、カメラ１２によって撮影された画像に基づく処理を実行する。

【0023】

画像処理装置１４は、例えば、中央演算処理装置が記憶装置に記憶されているプログラムを読み出して、所定の処理を行うことで実現される。なお、画像処理装置１４の少なくとも一部を、ＡＳＩＣ等の集積回路によって実現してもよい。

【0024】

画像処理装置１４は、表示範囲選択部１４１と、位置関係把握部１４２とを含む。以下、これらについて説明する。

【0025】

表示範囲選択部１４１は、カメラ１２によって撮影された画像から表示装置１８に表示する範囲を選択する。その方法は、例えば、以下のとおりである。

【0026】

表示範囲選択部１４１は、先ず、稼働情報サーバ２２から送信されてきた作業機械ＷＭの位置情報及び識別符号と、画像処理装置１４が予め記憶しているカメラ１２の設置位置情報、設置方向情報及び画角情報とを用いて、カメラ１２の撮影範囲に含まれる作業機械ＷＭを特定し、カメラ１２によって撮影された画像に含まれる複数の作業機械ＷＭのなかから１つの作業機械ＷＭを選択する。なお、カメラ１２がＧＰＳ受信機、方位センサ及び角度センサを備えている場合には、ＧＰＳ受信機で受信した位置情報と、方位センサ及び角度センサから取得した設置方向情報と、カメラ１２が予め記憶している画角情報とを、画像処理装置１４がカメラ１２から取得するようにしてもよい。続いて、表示範囲選択部１４１は、選択した作業機械ＷＭとその周囲とが含まれるような範囲をカメラ１２によって撮影された画像から選択する。表示範囲選択部１４１は、このような選択処理を複数の作業機械ＷＭの全てについて行う。なお、表示範囲選択部１４１が選択する範囲は、好ましくは、作業機械ＷＭの後方の領域を含む。

【0027】

このようにして選択した範囲の画像を表示するための信号（選択画像表示信号）を、表示範囲選択部１４１が生成する。表示範囲選択部１４１は、生成した選択画像表示信号を、作業機械ＷＭに配置された制御装置１６に送信する。選択画像表示信号は、例えば、無線によって送信される。

【0028】

位置関係把握部１４２は、作業機械ＷＭの周囲に存在する障害物と作業機械ＷＭとの位置関係を把握する。ここで、障害物は、作業機械ＷＭの安全な動作を妨げるものであれば、特に限定されない。障害物は、例えば、他の作業機械ＷＭである。

【0029】

位置関係把握部１４２は、例えば、以下の方法により、作業機械ＷＭの周囲に存在する障害物と作業機械ＷＭとの位置関係を把握する。

【0030】

位置関係把握部１４２は、先ず、表示範囲選択部１４１が選択した範囲の画像に基づいて、作業機械の周囲に障害物が存在するか否かを判定する。障害物が存在するのであれば、位置関係把握部１４２は、障害物から作業機械ＷＭまでの距離を算出する。続いて、位置関係把握部１４２は、算出した距離が所定の基準距離よりも短いか否かを判定する。所定の基準距離は、例えば、作業機械ＷＭが障害物と接触するのを回避するための動作を行うときの基準となる距離である。

【0031】

このようにして把握された障害物と作業機械ＷＭとの位置関係に基づいて、位置関係把握部１４２は、作業機械ＷＭの動作を制御するための信号（動作制御信号）を生成する。動作制御信号は、作業機械ＷＭの動作速度を減速する減速信号であってもよいし、作業機械ＷＭの動作を停止する停止信号であってもよい。

【0032】

位置関係把握部１４２は、生成した動作制御信号を、作業機械ＷＭに配置された制御装置１６に送信する。動作制御信号は、例えば、無線によって送信される。

【0033】

図２を参照しながら、処理装置の一部を構成する制御装置１６について説明する。制御装置１６は、作業機械ＷＭに配置されている。制御装置１６は、作業機械ＷＭの動きや、作業機械ＷＭが備える各種の装置の動作を制御する。

【0034】

制御装置１６は、例えば、中央演算処理装置が記憶装置に記憶されているプログラムを読み出して、所定の処理を行うことで実現される。なお、制御装置１６の少なくとも一部を、ＡＳＩＣ等の集積回路によって実現してもよい。

【0035】

制御装置１６は、表示制御部１６１と、動作制御部１６２と、情報送信部１６３とを含む。以下、これらについて説明する。

【0036】

表示制御部１６１は、画像処理装置１４から送信されてきた選択画像表示信号に基づいて、作業機械ＷＭに配置されている表示装置１８に画像を表示する。ここで、表示装置１８は、例えば、作業機械ＷＭのキャブ内であって、作業機械ＷＭのオペレータが視認可能な位置に配置されている。表示装置１８に表示される画像は、作業機械ＷＭとその周囲を含む画像である。表示装置１８は、例えば、液晶表示装置である。

【0037】

動作制御部１６２は、画像表示装置１４から送信されてきた動作制御信号に基づいて、作業機械ＷＭに設けられた油圧回路が備える動作制御装置２０の動作を制御する。動作制御装置２０は、例えば、油圧回路が備えるコントロールバルブを含む。動作制御装置２０の動作により、油圧回路が備えるアクチュエータの動作が制御される。その結果、作業機械ＷＭの動作が制御され、例えば、作業機械ＷＭが障害物と接触するのを回避するための動作が行われる。

【0038】

情報送信部１６３は、作業機械ＷＭに設けられたＧＰＳ受信装置２４によって受信された作業機械ＷＭの位置情報を、稼働情報サーバ２２に送信する。これに加えて、情報送信部１６３は、当該情報送信部１６３を備える作業機械ＷＭに付与された識別符号を、稼働情報サーバ２２に送信する。

【0039】

図２を参照しながら、処理装置の一部を構成する稼働情報サーバ２２について説明する。稼働情報サーバ２２は、複数の作業機械ＷＭの各々から送信されてきた作業機械ＷＭの位置情報及び識別符号を格納する。稼働情報サーバ２２は、作業機械ＷＭの位置情報及び識別符号を画像処理装置１４に送信する。

【0040】

図３を参照しながら、処理装置の一部を構成する画像処理装置１４が実行する監視制御について説明する。図３は、画像処理装置１４が実行する監視制御を示すフローチャートである。

【0041】

先ず、画像処理装置１４は、ステップＳ１１において、カメラ１２によって撮影された画像を取得する。カメラ１２によって撮影された画像を取得する処理は、例えば、画像処理装置１４がカメラ１２に要求信号を送信し、当該要求信号を受信したカメラ１２が当該要求信号を受信したときの画像を画像処理装置１４に送信することで行ってもよい。或いは、カメラ１２による撮影が行われているときには、上記の要求信号を送信しなくても、カメラ１２から画像が送られてくるようにしてもよい。

【0042】

続いて、画像処理装置１４は、ステップＳ１２において、複数の作業機械ＷＭの各々の位置情報及び識別符号を取得する。複数の作業機械ＷＭの各々の位置情報及び識別符号を取得する処理は、例えば、画像処理装置１４が稼働情報サーバ２２に要求信号を送信し、当該要求信号を受信した稼働情報サーバ２２が当該要求信号を受信したときの複数の作業機械ＷＭの各々の位置情報及び識別符号を画像処理装置１４に送信することで行ってもよい。或いは、カメラ１２による撮影が行われているときには、上記の要求信号を送信しなくても、稼働情報サーバ２２から複数の作業機械ＷＭの各々の位置情報及び識別符号が送られてくるようにしてもよい。

【0043】

続いて、画像処理装置１４（具体的には、表示範囲選択部１４１）は、ステップＳ１３において、表示範囲選択処理を実行する。この処理は、カメラ１２によって撮影された画像から複数の作業機械ＷＭの各々が有する表示装置１８に表示する範囲を選択するものである。

【0044】

図４を参照しながら、表示範囲選択処理について説明する。図４は、表示範囲選択処理を示すフローチャートである。

【0045】

先ず、画像処理装置１４は、ステップＳ１３１において、複数の作業機械ＷＭのなかから１つの作業機械ＷＭを選択する。

【0046】

続いて、画像処理装置１４は、ステップＳ１３２において、ステップＳ１３１で選択した作業機械ＷＭの位置情報及び識別符号（ステップＳ１２で取得した位置情報及び識別符号）を参照して、カメラ１２によって撮影された画像での当該選択した作業機械ＷＭの位置を特定する。

【0047】

続いて、画像処理装置１４は、ステップＳ１３３において、カメラ１２によって撮影された画像から当該選択した作業機械ＷＭ及びその周囲を含む範囲を選択する。

【0048】

続いて、画像処理装置１４は、ステップＳ１３４において、複数の作業機械ＷＭの全てを選択したか否かを判定する。全ての作業機械ＷＭを選択していない場合（ステップＳ１３４：ＮＯ）、画像処理装置１４は、ステップＳ１３１以降の処理を繰り返す。一方、全ての作業機械ＷＭを選択している場合（ステップＳ１３４：ＹＥＳ）、画像処理装置１４は、表示範囲選択処理を終了する。

【0049】

再び、図３を参照しながら、説明する。上記表示範囲選択処理が終了した後、画像処理装置１４（具体的には、位置関係把握部１４２）は、ステップＳ１４において、位置関係把握処理を実行する。この処理は、ステップＳ１３で選択した範囲の画像に基づいて、作業機械ＷＭと障害物との位置関係を把握するものである。

【0050】

図５を参照しながら、位置関係把握処理について説明する。図５は、位置関係把握処理を示すフローチャートである。

【0051】

先ず、画像処理装置１４は、ステップＳ１４１において、ステップＳ１３で選択した範囲の画像に障害物が含まれているか否かを判定する。例えば、障害物が他の作業機械ＷＭである場合には、当該他の作業機械ＷＭの位置情報及び識別符号を利用して、障害物が存在するか否かを判定する。

【0052】

障害物が含まれていない場合（ステップＳ１４１：ＮＯ）には、画像処理装置１４は、位置関係把握処理を終了する。一方、障害物が含まれている場合（ステップＳ１４１：ＹＥＳ）には、画像処理装置１４は、ステップＳ１４２において、ステップＳ１３で選択した範囲の画像に含まれる距離情報に基づいて、作業機械ＷＭから障害物までの距離を測定する。

【0053】

続いて、画像処理装置１４は、ステップＳ１４３において、ステップＳ１４２で測定した距離（作業機械ＷＭから障害物までの距離）が所定の基準距離よりも短いか否かを判定する。

【0054】

ステップＳ１４２で測定した距離が所定の基準距離以上である場合（ステップＳ１４３：ＮＯ）、画像処理装置１４は、位置関係把握処理を終了する。一方、ステップＳ１４２で測定した距離が所定の基準距離よりも短い場合（ステップＳ１４３：ＹＥＳ）には、画像処理装置１４は、作業機械ＷＭが障害物と接触する可能性があると判定し、ステップＳ１４４において、作業機械ＷＭが障害物と接触するのを回避するための動作制御信号を生成する。

【0055】

続いて、画像処理装置１４は、ステップＳ１４５において、ステップＳ１４４で生成した動作制御信号を、作業機械ＷＭに送信する。動作制御信号を受信した作業機械ＷＭの制御装置１６（具体的には、動作制御部１６２）は、受信した動作制御信号に基づいて、動作制御装置２０の動作を制御する。これにより、作業機械ＷＭが障害物と接触するのを回避するための動作が行われる。

【0056】

上記のように、動作制御信号を送信した後、画像処理装置１４は、位置関係把握処理を終了する。

【0057】

再び、図３を参照しながら、説明する。上記位置関係把握処理が終了した後、画像処理装置１４は、ステップＳ１５において、表示装置１８が表示する画像のデータを複数の作業機械ＷＭの各々に送信する。複数の作業機械ＷＭの各々が有する制御装置１６（具体的には、表示制御部１６１）は、受信した画像のデータに基づいて、表示装置１８に画像を表示する。

【0058】

上記のように、表示装置１８が表示する画像のデータを複数の作業機械ＷＭの各々に送信した後、画像処理装置１４は、監視制御を終了する。

【0059】

周囲監視システム１０においては、カメラ１２によって撮影された画像の少なくとも一部が表示装置１８に表示される。そのため、作業機械ＷＭのオペレータは、自身が操作する作業機械ＷＭの表示装置１８に表示されている画像により、自身が操作する作業機械ＷＭ及びその周囲の状況を客観的に見ることができる。その結果、作業機械ＷＭのオペレータは、自身が操作する作業機械ＷＭの周囲の状況を容易に且つ的確に把握することができる。

【0060】

周囲監視システム１０においては、カメラ１２で撮影された画像から表示装置１８に表示される範囲を選択している。そのため、オペレータが作業機械ＷＭの周囲の状況を把握するのに必要な情報だけを表示装置１８に表示することができる。その結果、オペレータが作業機械ＷＭ及びその周囲の状況を把握するときの負担を軽減することができる。

【0061】

周囲監視システム１０においては、オペレータによる目視が困難な作業機械ＷＭの後方の領域が表示装置１８に表示される。そのため、オペレータは、自身が操作する作業機械ＷＭの後方の状況を容易に且つ的確に把握することができる。

【0062】

周囲監視システム１０においては、作業機械ＷＭから障害物までの距離に応じた動作を作業機械ＷＭに行わせることができる。そのため、例えば、作業機械ＷＭが障害物に接触するおそれがある場合には、障害物との接触を回避するための動作を作業機械ＷＭに行わせることができる。

【0063】

周囲監視システム１０においては、画像処理装置１４が複数の作業機械ＷＭから離れて設けられている。そのため、複数の作業機械ＷＭの各々が有する表示装置１８に表示される画像を単一の制御装置１４によって生成することができる。

【0064】

以上、本発明の実施の形態について詳述してきたが、これはあくまでも例示であって、上記実施の形態は、本発明の趣旨を逸脱しない範囲内で適宜変形して実施することができる。

【0065】

上記実施の形態において、位置関係把握部１４２は、動作制御信号の代わりに、障害物と作業機械ＷＭとの位置関係を示す信号（位置関係信号）を制御装置１６に送信してもよい。この場合、制御装置１６が備える動作制御部１６２は、位置関係把握部１４２から送信されてきた位置関係信号に基づいて、作業機械ＷＭの動きを制御すればよい。

【0066】

上記実施の形態では、作業機械ＷＭと障害物との位置関係により、作業機械ＷＭの動作を制御していたが、作業機械ＷＭの動作を制御する代わりに、或いは、作業機械ＷＭの動作を制御するとともに、作業機械ＷＭのオペレータに警告をしてもよい。当該警告は、例えば、視覚によるものであってもよいし、聴覚によるものであってもよい。

【0067】

上記実施の形態において、作業機械ＷＭは、オペレータによる操作状況に関する情報を稼働情報サーバ２２に送信してもよい。この場合、稼働情報サーバ２２がオペレータによる操作状況に関する情報を画像処理装置１４に送信すれば、画像処理装置１４が、オペレータによる操作状況に関する情報も考慮して、作業機械ＷＭが障害物と接触するのを回避するための動作制御信号を生成することができる。なお、作業機械の操作状況に関する情報は、例えば、作業機械のキャブ内に設けられた操作装置の操作状況を示す情報である。

【0068】

以上、本発明の実施の形態及びその応用例について詳述してきたが、これらはあくまでも例示であって、本発明は、上述の実施の形態及びその応用例によって、何等、限定されない。

【0069】

本発明において、作業機械は、所定の作業を行うことができるものであれば、特に限定されない。作業機械は、例えば、自走式の作業機械である。自走式の作業機械は、例えば、下部走行体と上部旋回体とを備える。作業機械は、例えば、油圧式の作業機械である。油圧式の作業機械は、例えば、油圧ショベルである。

【0070】

本発明において、作業機械は、有人運転されるものであってもよいし、無人運転されるものであってもよい。

【0071】

本発明において、作業領域に存在する作業機械は、１台であってもよいし、複数台であってもよい。

【0072】

本発明において、作業領域は、作業機械が作業する領域であれば、特に限定されない。

【0073】

本発明において、撮影装置が配置される位置は、少なくとも作業機械とその周囲を撮影することができる位置であれば、特に限定されない。撮影装置は、好ましくは、地面から離れた位置に配置される。これにより、少なくとも作業機械とその周囲を容易に撮影することができる。

【0074】

本発明において、撮影装置は、１つであってもよいし、複数であってもよい。

【0075】

本発明において、撮影装置は、所定の位置に固定された状態で配置されていてもよいし、移動可能に配置されていてもよい。

【0076】

本発明において、撮影装置は、少なくとも作業機械とその周囲を撮影することができるものであれば、特に限定されない。撮影装置は、例えば、ステレオカメラである。ステレオカメラによって撮影された画像は距離情報を含む。そのため、撮影装置が撮影した画像から作業機械の位置を容易に特定することができる。

【0077】

本発明において、撮影装置が撮影する画像は、少なくとも作業機械とその周囲を含む画像であれば、特に限定されない。撮影装置が撮影する画像は、作業領域の全体を含んでいなくてもよい。

【0078】

本発明において、撮影装置が撮影する画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

【0079】

本発明において、撮影装置が撮影する画像は、好ましくは、作業領域に存在する全ての作業機械と、これらの作業機械の各々の周囲とを含む。これにより、作業領域に存在する全ての作業機械の周囲を一度に撮影することができる。

【0080】

本発明において、撮影装置が撮影する領域は、作業領域に存在する作業機械の数や位置等に応じて、適宜、変更してもよい。例えば、作業領域に存在する作業機械が１台だけである場合には、当該１台の作業機械及びその周囲だけを撮影するようにしてもよい。

【0081】

本発明において、撮影装置が撮影する作業機械の周囲は、好ましくは、作業機械の後方の領域を含む。これにより、作業機械のオペレータによる目視が困難な領域の状況を、オペレータに認識させることができる。

【0082】

本発明において、撮影装置が作業機械を撮影する方向は、特に限定されない。

【0083】

本発明において、撮影装置が撮影を開始するタイミングは、特に限定されない。撮影装置が撮影を開始するタイミングは、例えば、作業領域に存在する作業機械の駆動源が始動したときである。作業領域に複数の作業機械が存在するのであれば、少なくとも１つの作業機械の駆動源が始動したときに、撮影装置による撮影を開始すればよい。

【0084】

本発明において、撮影装置が撮影を終了するタイミングは、特に限定されない。撮影装置が撮影を終了するタイミングは、例えば、作業領域に存在する全ての作業機械の駆動源が停止したときである。

【0085】

本発明において、表示装置に表示される画像は、少なくとも作業機械とその周囲を含む画像であれば、特に限定されない。表示装置に表示される画像は、撮影装置が撮影した画像そのものであってもよいし、撮影装置が撮影した画像の一部であってもよい。撮影装置によって撮影された画像そのものを表示装置が表示する場合、例えば、オペレータが表示装置を操作することにより、オペレータが操作している作業機械とその周囲を拡大して表示するようにしてもよい。

【0086】

本発明において、表示装置に表示される画像は、静止画であってもよいし、動画であってもよい。表示装置に表示される画像が静止画である場合、表示装置は、例えば、表示する静止画を定期的（例えば、１秒ごと）に更新する。表示装置に表示される画像が動画である場合、当該動画は、音声を含んでいてもよいし、音声を含んでいなくてもよい。

【0087】

本発明において、表示装置に表示される画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

【0088】

本発明において、表示装置に表示される画像は、撮影装置によって撮影された画像から選択された範囲をそのまま表示する画像であってもよいし、撮影装置によって撮影された画像から選択された範囲の画像に対して何らかの加工を行った画像であってもよい。画像を加工する態様は、特に限定されない。例えば、画像に含まれる作業機械及び障害物の少なくとも一方を強調するような加工であってもよい。このような加工は、例えば、作業機械及び障害物の少なくとも一方を他とは異なる色に着色することで実現される。

【0089】

本発明において、表示装置が配置される位置は、作業機械のオペレータによる視認が可能な位置であれば、特に限定されない。表示装置は、例えば、作業機械のオペレータが着座する運転席の近傍に配置される。

【0090】

本発明において、処理装置は、撮影装置によって撮影された画像に基づいて処理を行うものであれば、特に限定されない。処理装置は、例えば、中央演算処理装置が記憶装置に記憶されているプログラムを読み出して、所定の処理を行うことで実現される。なお、処理装置の少なくとも一部を、ＡＳＩＣ等の集積回路によって実現してもよい。

【0091】

本発明において、処理装置が配置される位置は、特に限定されない。処理装置は、作業機械から離れた位置に配置されていてもよいし、作業機械に配置されていてもよい。処理装置は、その一部が作業機械から離れた位置に配置され、残りの一部が作業機械に配置されていてもよい。

【0092】

本発明において、表示範囲選択部が撮影装置によって撮影された画像から表示装置に表示する範囲を選択する態様は、特に限定されない。表示装置は、例えば、撮影装置によって撮影された画像に含まれる作業機械を選択し、当該選択した作業機械とその周囲を含むような範囲を表示装置に表示する範囲として選択すればよい。

【0093】

本発明において、表示範囲選択部が選択した範囲において作業機械の周囲が占める割合は、特に限定されない。表示範囲選択部が選択する範囲は、例えば、作業機械の周囲に障害物が存在するか否かにより、適宜、変更してもよい。

【0094】

本発明において、障害物とは、作業機械の安全な動作を妨げるものであれば、特に限定されない。障害物は、例えば、他の作業機械であってもよいし、人であってもよいし、作業領域に存在する構造物であってもよい。

【0095】

本発明において、表示範囲選択部は、障害物が作業領域に存在する場合には、少なくとも作業機械の周囲に存在する障害物と作業機械との位置関係が判るように、撮影装置によって撮影された画像から表示装置に表示する範囲を選択するようにしてもよい。

【0096】

本発明において、位置関係把握部が作業機械の周囲に存在する障害物と作業機械との位置関係を把握する態様は、特に限定されない。例えば、位置関係把握部は、障害物から作業機械までの距離を算出し、当該距離と所定の基準距離との関係に基づいて、障害物と作業機械との位置関係を把握する。所定の基準距離は、例えば、障害物から作業機械までの距離が当該基準距離よりも短い場合には、作業機械が障害物と接触するのを回避するための動作を行うときの基準となる距離である。

【0097】

本発明において、動作制御部が作業機械の動作を制御する態様は、作業機械そのものの動きを制御する態様だけでなく、作業機械が備える装置の動作を制御する態様を含む。作業機械そのものの動きを制御する態様は、例えば、作業機械が障害物に接触するのを回避するための動作を行うようにすることを含む。作業機械そのものの動きを制御する態様は、例えば、作業機械が上部旋回体及び下部走行体を備える場合、上部旋回体及び下部走行体の少なくとも一方の動作を制御する態様を含む。作業機械が備える装置の動作を制御する態様は、当該装置を用いて、障害物の存在を作業機械のオペレータに報知する態様を含む。作業機械が備える装置の動作を制御する態様は、例えば、作業機械に配置された表示装置の動作を制御する態様を含む。

【符号の説明】

【0098】

１０ 周囲監視システム
１２ カメラ
１４ 画像処理装置
１４１ 制御装置
１４１１ 表示範囲選択部
１４１２ 位置関係把握部
１６ 制御装置
１８ 表示装置
２２ 稼働情報サーバ
ＷＭ 作業機械
ＷＳ 作業領域

【図1】

【図2】

【図3】

【図4】

【図5】