特許 5667638 作業機械の周辺監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5667638

(24)【登録日】2014年12月19日

(45)【発行日】2015年2月12日

(54)【発明の名称】作業機械の周辺監視装置

(51)【国際特許分類】

   E02F 9/24 20060101AFI20150122BHJP

   E02F 9/26 20060101ALI20150122BHJP

   H04N 7/18 20060101ALI20150122BHJP

【ＦＩ】

   E02F9/24 H

   E02F9/26 A

   H04N7/18 J

【請求項の数】5

【全頁数】23

(21)【出願番号】特願2012-539546(P2012-539546)

(86)(22)【出願日】2010年10月22日

(86)【国際出願番号】JP2010068718

(87)【国際公開番号】WO2012053105

(87)【国際公開日】20120426

【審査請求日】2013年4月11日

(73)【特許権者】

【識別番号】000005522

【氏名又は名称】日立建機株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】特許業務法人開知国際特許事務所

(74)【代理人】

【識別番号】100077816

【弁理士】

【氏名又は名称】春日 讓

(74)【代理人】

【識別番号】100156524

【弁理士】

【氏名又は名称】猪野木 雄一

(72)【発明者】

【氏名】小沼 知恵子

(72)【発明者】

【氏名】弓場 竜

(72)【発明者】

【氏名】石本 英史

【審査官】 石川 信也

(56)【参考文献】

【文献】 特開２００９−１２１０５３（ＪＰ，Ａ）

【文献】 特開２０１０−１９８５１９（ＪＰ，Ａ）

【文献】 特開２００８−２４８６１３（ＪＰ，Ａ）

【文献】 特開２０１０−０５９６５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｅ０２Ｆ ９／２４

Ｅ０２Ｆ ９／２６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

作業機械周辺の画像を撮影する撮影手段と、
前記作業機械周辺の障害物の存在を検出する障害物検出手段と、
当該検出された障害物の作業機に対する相対位置を算出する位置算出手段と、
前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて、前記作業機械の周囲における危険範囲を算出する危険範囲算出手段と、
前記算出した危険範囲内に障害物が存在するか否かを前記算出した障害物の位置に基づいて判定する判定手段と、
前記判定手段で前記危険範囲内に存在すると判定された障害物に対して、当該障害物の種別、位置及び高さのうち少なくとも１つに基づいて接触危険度を設定する危険度設定手段と、
前記危険度設定手段で最も高い接触危険度が設定された障害物の上方に設定した視点から当該最も高い接触危険度が設定された障害物および前記作業機械を仮想カメラで見た画像を、前記撮影手段により撮影された画像に基づいて作成する画像作成手段と、
当該作成した画像を表示する表示手段とを備えることを特徴とする作業機械の周辺監視装置。

【請求項2】

請求項１に記載の作業機械の周辺監視装置において、
前記危険度設定手段は、さらに、前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて接触危険度を設定することを特徴とする作業機械の周辺監視装置。

【請求項3】

請求項２に記載の作業機械の周辺監視装置において、
前記作業機械は、走行体と、当該走行体の上部に旋回可能に取り付けられた旋回体と、当該旋回体に取り付けられたフロント作業装置とを備え、
前記危険度設定手段は、さらに、同じ種別の障害物の中で、前記旋回方向において前記フロント作業装置に最も近い位置に存在する障害物に最も高い接触危険度を設定することを特徴とする作業機械の周辺監視装置。

【請求項4】

請求項１〜３のいずれかに記載の作業機械の周辺監視装置において、
前記画像作成手段は、前記作成した画像において、前記危険度設定手段で最も高い接触危険度を設定された前記障害物の上に警告表示を重畳的に描画することを特徴とする作業機械の周辺監視装置。

【請求項5】

請求項１〜３のいずれかに記載の作業機械の周辺監視装置において、
前記画像作成手段は、前記危険度設定手段で最も高い接触危険度を設定された前記障害物の種別が人である場合には、前記作成した画像において、当該障害物の上に人を示す画像を重畳的に描画することを特徴とする作業機械の周辺監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は作業機械周囲の障害物を監視する周辺監視装置に関する。

【背景技術】

【0002】

油圧ショベル等の作業機械の周辺監視装置は、作業機械の周辺をカメラ等で監視して、作業時に作業機械の周囲に存在する人及び物（障害物）との接触を防止するためのものである。この種の技術には、オペレータが作業機械と周囲の障害物との位置関係を容易に把握することを図った技術として、作業時の作業機械の姿勢及びその作業範囲を描画した画像と、カメラで撮影した作業機械周辺の画像を作業機械の上方視点からの俯瞰画像に変換した画像と、カメラ等の検出手段で適宜検出した障害物を描画した画像とを、表示装置に重畳的に表示する技術がある（特開２００８−２４８６１３号公報等参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２４８６１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記文献に係る技術は、表示装置に重畳的に表示される画像をオペレータが見ることで障害物の有無及び作業機械と障害物との位置関係を容易に把握できる点で優れている。ところで、複数の障害物が作業機械の周囲に表示された場合には、その中のどの障害物が接触の可能性が最も高いかを判断する必要が生じることもある。このような場合には、オペレータ自身がその判断を行わなければならならず、その判断作業が必然的に通常作業（掘削作業）の間に介入することになる。したがって、このような状況で作業機械が利用されることを想定すると、上記技術は作業機械による作業効率を向上させる観点から改善する余地がある。

【0005】

本発明の目的は、最も危険な障害物の作業機械に対する位置を瞬時に把握することができる作業機械の周辺監視装置を提供することにある。

【課題を解決するための手段】

【0006】

本発明は、上記目的を達成するために、作業機械周辺の画像を撮影する撮影手段と、前記作業機械周辺の障害物の存在を検出する障害物検出手段と、当該検出された障害物の作業機に対する相対位置を算出する位置算出手段と、前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて、前記作業機械の周囲における危険範囲を算出する危険範囲算出手段と、前記算出した危険範囲内に障害物が存在するか否かを前記算出した障害物の位置に基づいて判定する判定手段と、前記判定手段で前記危険範囲内に存在すると判定された障害物に対して、当該障害物の種別、位置及び高さのうち少なくとも１つに基づいて接触危険度を設定する危険度設定手段と、前記危険度設定手段で最も高い接触危険度が設定された障害物の上方に設定した視点から当該最も高い接触危険度が設定された障害物および前記作業機械を仮想カメラで見た画像を、前記撮影手段により撮影された画像に基づいて作成する画像作成手段と、当該作成した画像を表示する表示手段とを備えるものとする。

【発明の効果】

【0007】

本発明によれば、最も危険な障害物の作業機械に対する位置がオペレータに瞬時に把握されるので、作業機械による作業効率が向上する。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る作業機械の一例である油圧ショベルの外観図。

【図2】本発明の実施の形態に係る作業機械の周辺監視装置の全体構成図。

【図3】本発明の実施の形態における画像作成部６００の構成図。

【図4】障害物検出部４００で利用される障害物の存在を検出する装置として、カメラ１３ａを用いた場合と、ミリ波レーダ１４ａを用いた場合の検知範囲の説明図。

【図5】本発明の実施の形態に係る油圧ショベルの周囲における障害物（人／物）と油圧ショベルの位置関係を示す説明図。

【図6】本発明の実施の形態に係る障害物検出部４００で行われる処理のフローチャート。

【図7】本発明の実施の形態に係る位置算出部５００で行われる処理のフローチャート。

【図8】Ｓ５２０において障害物とカメラ１３の距離を算出する際のフローチャート。

【図9】本発明の実施の形態に係る危険範囲算出部７００で行われる処理のフローチャート。

【図10】上部旋回体１ｄが右旋回した場合における危険範囲の算出例の説明図。

【図11】上部旋回体１ｄが左旋回した場合における危険範囲の算出例の説明図。

【図12】下部走行体１ｅが後進した場合における危険範囲の算出例の説明図。

【図13】本発明の実施の形態に係る判定部８００で行われる処理のフローチャート。

【図14】本発明の実施の形態に係る危険度設定部２０００で行われる処理のフローチャート。

【図15】危険度設定部２０００において行われる危険度設定処理に関する第１の説明図。

【図16】危険度設定部２０００において行われる危険度設定処理に関する第２の説明図。

【図17】危険度設定部２０００において行われる危険度設定処理に関する第３の説明図。

【図18】画像作成部６００における俯瞰画像作成部６１０で行われる処理のフローチャート。

【図19】画像作成部６００における俯瞰視点決定部２１００（俯瞰位置決定部２１３０及び俯瞰高さ決定部２１４０）で行われる処理のフローチャート。

【図20】俯瞰視点決定部２１００における俯瞰視点を決定する例の概念図。

【図21】画像作成部６００における監視画像作成部６２０が作成する監視画像の第１の例を示す図。

【図22】画像作成部６００における監視画像作成部６２０が作成する監視画像の第２の例を示す図。

【図23】画像作成部６００における監視画像作成部６２０が作成する監視画像の第３の例を示す図。

【図24】画像作成部６００における監視画像作成部６２０が作成する監視画像の第４の例を示す図。

【図25】画像作成部６００における監視画像作成部６２０が作成する監視画像の第５の例を示す図。

【図26】画像作成部６００における監視画像作成部６２０が作成する監視画像の第６の例を示す図。

【図27】本発明の実施の形態における表示装置１３００の表示画面の例を示す図。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態を図面を用いて説明する。図１は本発明の実施の形態に係る作業機械の一例である油圧ショベルの外観図である。この図に示す油圧ショベルは、垂直方向にそれぞれ回動するブーム１ａ，アーム１ｂ及びバケット１ｃからなる多関節型のフロント作業装置１Ａと、上部旋回体１ｄ及び下部走行体１ｅからなる車体１Ｂと、運転室１ｆ内に設置された表示装置１３００を備えている。

【0010】

運転室１ｆは上部旋回体１ｄに備えられている。フロント作業装置１Ａのブーム１ａの基端は上部旋回体１ｄの前部に支持されている。ブーム１ａ、アーム１ｂ、バケット１ｃ、上部旋回体１ｄ及び下部走行体１ｅは、それぞれ、ブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ（図示せず）及び左右の走行モータ３ｅ，３ｆ（図示せず）の各アクチュエータによりそれぞれ駆動される。また、ブーム１ａ、アーム１ｂ、バケット１ｃ及び上部旋回体１ｄは、それぞれの回動角（θ１，θ２，θ３，θ４）を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄを備えている。

【0011】

上部旋回体１ｄには、油圧ショベル周囲の画像を撮影する後方カメラ１３ａ、右側方カメラ１３ｂ及び左側方１３ｃ（撮影手段）が設置されている。後方カメラ１３ａは、上部旋回体１ｄの後方の画像を撮影するためのもので、上部旋回体１ｄの後方に設置されている。右側方カメラ１３ｂは、上部旋回体１ｄの右側方の画像を撮影するためのもので、上部旋回体１ｄの右側方に設置されている。左側方カメラ１３ｃは、上部旋回体１ｄの左側方の画像を撮影するためのもので、上部旋回体１ｄの左側方に設置されている。

【0012】

図２は本発明の実施の形態に係る作業機械の周辺監視装置の全体構成図である。なお、先の図と同じ部分には同じ符号を付して説明は省略する（後の図も同様とする）。この図に示す周辺監視装置は、カメラ１３ａ，１３ｂ，１３ｃと、障害物検出部４００と、位置算出部５００と、危険範囲算出部７００と、判定部８００と、危険度設定部２０００と、画像作成部６００と、表示装置１３００と、各部が行う処理を実行するＣＰＵ等の処理装置（図示せず）と、各部で行われる処理内容や処理結果が記憶されるメモリ等の記憶装置（図示せず）を備えている。

【0013】

障害物検出部４００は、カメラ１３ａ，１３ｂ，１３ｃで撮影した画像を利用して油圧ショベル周辺の障害物の存在を検出する部分であり、位置算出部５００は、障害物検出部４００で検出された障害物の油圧ショベルに対する相対位置を算出する部分である。

【0014】

危険範囲算出部７００は、油圧ショベルの姿勢及び動作のうち少なくとも１つに基づいて、油圧ショベルの周囲における危険範囲を算出する部分である。ここで、油圧ショベルの姿勢（上部旋回体１ｄの旋回角度及びフロント作業装置１Ａの姿勢等）は、角度検出器８ａ，８ｂ，８ｃ，８ｄによって検出された検出角度θ１，θ２，θ３，θ４から算出することができる。また、油圧ショベルの動作は、運転室１ｆ内に設置された操作装置（操作レバー）３０からブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ（図示せず）及び左右の走行モータ３ｅ，３ｆに出力される操作信号（油圧信号又は電気信号）や、角角度検出器８ａ，８ｂ，８ｃ，８ｄによる検出角度θ１，θ２，θ３，θ４の時間変化から算出することができる。

【0015】

判定部８００は、危険範囲算出部７００で算出された危険範囲内に障害物が存在するか否かを位置算出部５００で算出された障害物の位置に基づいて判定する部分である。ここで、「危険範囲内」とは危険範囲の内側（油圧ショベル側）と危険範囲上の領域を示すこととし、「危険範囲外」とは危険範囲上を除く危険範囲の外側の領域を示すこととする。

【0016】

危険度設定手段２０００は、判定部８００で危険範囲内に存在すると判定された障害物に対して、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像から得られる当該障害物の種別（人／物）、位置及び高さのうち少なくとも１つに基づいて接触危険度（単に危険度と称することもある）を設定する部分である。

【0017】

画像作成部６００は、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像を油圧ショベルを中心とする俯瞰画像に変換し、危険度設定部２０００で最も高い接触危険度を設定された障害物の上方から当該俯瞰画像を俯瞰した画像（監視画像）を作成する部分である。画像作成部６００によって作成される監視画像には、俯瞰画像上における油圧ショベルと危険範囲算出部７００で算出された危険範囲のすべてが含まれる。

【0018】

図３は本発明の実施の形態における画像作成部６００の構成図である。この図に示すように、画像作成部６００は、俯瞰画像作成部６１０と、俯瞰視点決定部２１００と、監視画像作成部６２０を備えている。

【0019】

俯瞰画像作成部６１０は、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像を油圧ショベルを中心とする俯瞰画像に変換する部分である。ここで、俯瞰画像とは、油圧ショベルを中心とした作業地を当該油圧ショベルの真上の位置から見たときに得られる平面図に相当する画像のことを示し、本実施の形態では３つのカメラ１３ａ，１３ｂ，１３ｃの画像を変換及び合成することで作成される。カメラで撮影した画像を俯瞰画像に変換する方法は、例えば、後述する方法や、特開２００６−４８４５１号公報に記載されている方法等が利用可能である。

【0020】

俯瞰視点決定部２１００は、俯瞰画像作成部６１０で作成した俯瞰画像を仮想カメラ（図示せず）で俯瞰する視点（俯瞰視点）を決定する部分であり、俯瞰位置決定部２１３０と、俯瞰高さ決定部２１４０を備えている。俯瞰位置決定部２１３０は、俯瞰視点の水平面上の位置を決定する部分であり、本実施の形態では、危険度設定部２０００で最も高い接触危険度を設定された障害物の水平面位置を俯瞰位置とする。俯瞰高さ決定部２１４０は、俯瞰視点の高さ位置を決定する部分であり、本実施の形態では、仮想カメラに撮影される画像内に少なくとも油圧ショベルと危険範囲算出部７００で算出された危険範囲が含まれるように俯瞰高さを決定している。なお、このように俯瞰高さ（仮想カメラの高さ）を調節する代わりに又は併せて、仮想カメラの画像に油圧ショベルと危険範囲が含まれるように当該仮想カメラの焦点距離（画角）を調節しても良い。

【0021】

監視画像作成部６２０は、俯瞰画像作成部６１０で作成された俯瞰画像を俯瞰視点決定部２１００で決定した俯瞰視点から仮想カメラで撮影することで監視画像を作成する部分である。監視画像作成部６２０は、作成した監視画像上に適宜必要な画像を合成して表示する処理も行う。例えば、監視画像は、油圧ショベルに対する障害物の位置関係がオペレータに容易に把握されるように、俯瞰画像の中心に油圧ショベルを模した図形（模擬作業機械図）を表示することが好ましい。模擬作業機械図を表示する方法としては、俯瞰画像の中央に油圧ショベルのイラストや３次元モデルを表示するものがある。なお、その際、オペレータによる状況把握をさらに容易にするために、当該模擬作業機械図に実際の油圧ショベルの姿勢や動作を反映させることが好ましい。

【0022】

さらに、オペレータの視認性を向上させるために、最も接触危険度が高い障害物が人である場合には、当該障害物の上に警告表示を重畳的に描画することが好ましい。警告表示としては、例えば、図形（星形の図形等）や文字（「危険」等）があり、これらに対して監視画像中において目立つ彩色を施すことが好ましい。また、俯瞰画像に変換すると画像が適宜拡大縮小されて障害物の種別が判別し難くなる傾向が強い。そのため、最も接触危険度が高い障害物が人である場合には、オペレータの視認性を向上させるために、当該障害物の上に人を示す画像を重畳的に描画しても良い。その際、人を示す画像としては、例えば、人のイラストや写真等がある。なお、これらに対しても、監視画像中において目立つ彩色を施すことが好ましい。

【0023】

図２に戻り、表示装置１３００は、画像作成部６００で作成した画像を表示する部分であり、図１に示したように運転室１ｆ内に設置されている。なお、表示装置１３００は、油圧ショベルの運転室１ｆにおいてオペレータ（運転員）が目視確認容易な位置に設置することが好ましい。

【0024】

なお、周辺監視装置は、画像処理が可能なコンピュータと表示装置、または、画像処理専用装置と表示装置で構成しても良い。

【0025】

ところで、油圧ショベルにおいて、障害物検出部４００における障害物検出性能を向上させる観点からは、ミリ波レーダのような距離センサを設置する代わりに、上記のカメラ１３ａ，１３ｂ，１３ｃを上部旋回体１ｄに設置することが好ましい。例えば、本実施の形態の油圧ショベルにおいて、図１に示すように、上部旋回体１ｄの後方から障害物までの距離を計測するミリ波レーダ１４ａを後方カメラ１３ａの下方に設置し、上部旋回体１ｄの右側方から障害物までの距離を計測するミリ波レーダ１４ｂを右側方カメラ１３ｂの下方に設置し、上部旋回体１ｄの左側方から障害物までの距離を計測するミリ波レーダ１４ｃを左側方カメラ１３ｃの下方に設置したとし、障害物の検出にカメラ１３を用いた場合とミリ波レーダ１４を用いた場合とで比較する。

【0026】

図４は障害物検出部４００で利用される障害物の存在を検出する装置として、カメラ１３ａを用いた場合と、ミリ波レーダ１４ａを用いた場合の検知範囲の説明図である。ミリ波レーダ１４ａは、水平方向のスキャン２１が可能であり、垂直方向のスキャンは困難である。ここで、一般的な油圧ショベルの下部走行体１ｅの高さは１.０ｍ以上あるため、ミリ波レーダ１４ａの設置高は１.０ｍより高い位置に設置せざるを得ない。そのため、ミリ波レーダ１４ａの直下に設置高さより低い障害物（例えば、座っている人１５ａ（高さ０.８ｍ程度））がある場合には、当該障害物はミリ波レーダ１４ａの死角になり検知不可能になる。一方、車体１Ｂの最上部にカメラ１３ａをその真下が撮影可能なような俯角で設置すると、水平方向と垂直方向の撮影２０ａが可能となるので、座っている人１５ａも撮影でき、ミリ波レーダ１４ａのような死角は発生しない。したがって、本実施の形態のようにカメラ１３ａ，１３ｂ，１３ｃを用いると、障害物の検出性能が向上し安全性も高まる。なお、カメラ１３ａ，１３ｂ，１３ｃに加えて、ミリ波レーダ１４ａ，１４ｂ，１４ｃを設置すると、検出性能がさらに向上することは言うまでもない。

【0027】

次に上記のように構成される油圧ショベルの周辺監視装置を図５に示す環境で動作させた場合について説明する。図５は本発明の実施の形態に係る油圧ショベルの周囲における障害物（人／物）と油圧ショベルの位置関係を示す説明図である。この図において、上部旋回体１ｄの後方にはカメラ１３ａとミリ波レーダ１４ａが、右側方にはカメラ１３ｂとミリ波レーダ１４ｂ（図示せず）が、左側方にはカメラ１３ｃとミリ波レーダ１４ｃが設置されている。また、オペレータから見え難い方向である上部旋回体１ｄの後方には、作業員１５ａ，１５ｂと、土嚢１６、カラーコーン１７及びポールサイドコーン１９が存在し、右側方に作業員１５ｃ，１５ｄが存在し、左側方に作業員１５ｅが存在している。

【0028】

図６は本発明の実施の形態に係る障害物検出部４００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、障害物検出部４００は、まず、カメラ１３が撮影した画像を入力し（Ｓ４０１）、直前又はｎフレーム前におけるカメラ１３からの入力画像や、障害物が無い状態を別途撮影した画像等を背景画像として入力する（Ｓ４０２）。そして、Ｓ４０１の入力画像とＳ４０２の背景画像を用いて画素毎の差分画像を作成し（Ｓ４０３）、その作成した差分画像において輝度が所定の閾値（７〜１５程度）未満の部分を０とし、それ以上の部分を１以上にする２値化処理を行って障害物の変化領域を抽出する（Ｓ４０４）。

【0029】

次にＳ４０４において抽出した変化領域に面積が所定の閾値以上の部分が有るか否かを判定する（Ｓ４０５）。ここで利用される閾値は、カメラ１３から離れた障害物ほど小さく撮影されることを鑑みて、カメラ１３からの距離の増加に伴って減少するように設定することが好ましい。Ｓ４０５において変化領域に面積が閾値以上の部分がある場合には、障害物領域が存在すると判定して（Ｓ４０６）Ｓ４０８に進み、閾値未満の部分しかない場合には障害物は存在しないと判定して（Ｓ４０７）Ｓ４０１以降の処理を繰り返す。

【0030】

Ｓ４０８では障害物領域は複数存在するか否かをチェックする。Ｓ４０８で、障害物領域の個数が１個であると判定された場合には障害物領域の個数を１個（ｎ＝１）とする（Ｓ４０９）。そして、ｋを１に設定して（Ｓ４１１）、当該障害物領域に対する外接矩形の左上座標と右下座標を記憶装置に格納し（Ｓ４１３）、Ｓ４０１以降の処理を繰り返す。

【0031】

一方、Ｓ４０８において障害物領域が複数存在すると判定された場合には当該障害物領域の個数を複数個（ｎ）とする（Ｓ４１０）。そして、ｋを１に設定して（Ｓ４１２）、１番目の障害物領域に対する外接矩形の左上座標と右下座標を記憶装置に格納し（Ｓ４１３）、すべての障害物領域に対して座標を格納したか否か、すなわちｋがｎに達したか否かをチェックする（Ｓ４１４）。Ｓ４１４でｋがｎに達していない場合には、ｋを１つ進めて（Ｓ４１５）Ｓ４１３に戻り、以降は障害物領域の個数分だけＳ４１３→Ｓ４１４→Ｓ４１５の処理を繰り返す。上記の処理により、油圧ショベル周辺の障害物の存在を検出することができる。

【0032】

図７は本発明の実施の形態に係る位置算出部５００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、位置算出部５００は、障害物検出部４００によって抽出された領域（抽出領域）に外接矩形が存在するか否か、すなわち、障害物検出部４００によって記憶装置に外接矩形の座標が格納されているか否かをチェックする（Ｓ５０１）。

【0033】

Ｓ５０１において、抽出領域に外径矩形が存在する場合にはＳ５０２に進み、外接矩形が存在しない場合には外接矩形が存在するまでチェックし続ける。抽出領域に外径矩形が存在する場合には、外接矩形における下辺の中点の座標（画素）を、障害物の位置算出時の基点とし（Ｓ５０２）、当該障害物のカメラ１３からの距離を算出する（Ｓ５２０）。

【0034】

図８はＳ５２０において障害物とカメラ１３の距離を算出する際のフローチャートである。

【0035】

ところで、カメラ（イメージセンサ）からの距離を算出する原理として、実際の地上３Ｄ座標とカメラ画像処理画面などのカメラ画面座標系の変換モデルとして最も一般的な手法はピンホールカメラモデルである。この手法では、地上３Ｄ座標に対して移動と回転変換を行ってカメラ３Ｄ座標を算出し、更に、その算出したカメラ３Ｄ座標に投影変換を行うことでカメラ画像２Ｄ座標を算出できる。すなわち、地上３Ｄ座標系とカメラ位置パラメータを組み合わせたものに、側写角パラメータ、俯角パラメータ及び回転角パラメータに関する回転行列を掛けるとカメラ３Ｄ座標系が得られる。そして当該カメラ３Ｄ座標系とスケールパラメータを組み合わせて射影変換を行うとカメラ画面２Ｄ座標系になる。ここで利用される、カメラパラメータとしては、（１）カメラ位置パラメータ（カメラレンズ中心すなわち視点の地上３Ｄ座標）、（２）俯角パラメータ、（３）側写角パラメータ、（４）回転角パラメータ、（５）スケールパラメータがある。このうち、（１）カメラ位置パラメータ、（２）俯角パラメータ及び（３）側写角パラメータはカメラの設置仕様データから計算できる。（４）回転角パラメータは、（２）俯角パラメータ及び（３）側写角パラメータに従属的なパラメータなので変換内部で算出できる。（５）スケールパラメータはズーム率に従属するパラメータである。したがって、各カメラパラメータは、実際にカメラを設置した後に既知の大きさの物体を使いキャリブレーションを行うことで算出でき、これを用いることでカメラ画像の距離が算出できる。

【0036】

Ｓ５２０では、上記の原理により地上３Ｄ座標系からカメラ画面２Ｄ座標系への変換を行って、障害物のカメラ１３からの距離を算出している。位置算出部５００は、まず、地上３Ｄ座標から移動と回転変換を行ってカメラ３Ｄ座標変換の変換行列を算出し（Ｓ５２１）、カメラ３Ｄ座標から投影変換を行ってカメラ画面２Ｄ座標変換の変換行列を算出する（Ｓ５２２）。次に、ステップ５２２で作成した変換行列を用いてカメラ画面２Ｄ座標の画像を作成し（Ｓ５２３）、カメラ内部パラメータを用いたキャリブレーションにより、２Ｄ画像の画素における距離を計算する（Ｓ５２４）。そして、Ｓ５０２で決定した害物領域の基点（外接矩形における下辺の中点）からカメラ１３までの距離を算出し（Ｓ５２５）、Ｓ５０３に進む。

【0037】

図６に戻り、Ｓ５０３では、外接矩形がカメラ１３の近くの領域に位置するか否か、すなわち、Ｓ５２０で算出した距離が所定の閾値以下であるかをチェックする。Ｓ５２０で算出した距離が閾値以下の場合、外接矩形がカメラ１３の近くの領域に位置すると判定し、抽出領域は障害物の一部分であると推定して当該障害物の特徴を抽出する（Ｓ５０４）。具体的には、Ｓ５０６において、当該抽出領域にヘルメットの特徴である円形が存在するか否かをチェックする。Ｓ５０６において、円形が存在すると判定された場合には、当該抽出領域はヘルメットを着用している作業員（人）であると決定し（Ｓ５１０）、円形が存在しないと判定された場合には当該抽出領域は物であると決定する（Ｓ５１１）。

【0038】

一方、Ｓ５０３において、Ｓ５２０で算出した距離が閾値より大きい場合には、抽出領域には障害物の全体が撮影されていると推定して、当該障害物の特徴を抽出する（Ｓ５０５）。具体的には、Ｓ５０７において、抽出領域の縦横比は人が立った状態のものに近いか、または、抽出領域を頭部、胴体部及び下部に３分割してそれぞれの輪郭形状や色等を抽出し人の頭部、胴体部及び下部の特徴があるか否かを判定する。即ち、縦横比は縦長か否か、または、抽出領域の頭部に扇型の輪郭が現れているか、胴体部のうち肩部に斜め輪郭が胴体部に縦輪郭が現れているか、下部に逆Ｖ字の輪郭や縦輪郭が現れているか否かをチェックする。Ｓ５０７において、抽出領域にこれらの特徴が複数現れている場合には、当該抽出領域は人であると決定し（Ｓ５０８）、これら特徴が１個以下しか存在しない場合には物であると決定する（Ｓ５０９）。Ｓ５０８〜Ｓ５１１において抽出領域の種別（人／もの）の選別が終了したら、全ての抽出領域の距離算出及び種別決定は終了したか否かをチェックし（Ｓ５１２）、終了していない場合にはＳ５０１に戻り、Ｓ５０１以降の処理を繰り返す。上記の処理により、障害物検出部４００で検出された障害物の油圧ショベルに対する相対位置を算出することができる。なお、上記において、ステップ５０３で判定した結果に応じて、その後の種別判別処理（Ｓ５０６，５０７）において上記と異なる手法を適用してもよい。

【0039】

図９は本発明の実施の形態に係る危険範囲算出部７００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、危険範囲算出部７００は、まず、ブーム１ａの回動角を検出する角度検出器８ａの出力θ１を取込み、アーム１ｂの回動角を検出する角度検出器８ｂの出力θ２を取込み、バケット１ｃの回動角を検出する角度検出器８ｃの出力θ３を取込み、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取込む（Ｓ７０１）。次に、Ｓ７０１における出力θ１、出力θ２、出力θ３、出力θ４から、バケット１ｃの先端座標と高さを算出し（Ｓ７０２）、フロント作業装置１Ａの大きさ（長さ）と下部走行体１ｅからの上部旋回体１ｄの旋回方向を算出することで（Ｓ７０３）、油圧ショベルの姿勢を算出する。

【0040】

次に、危険範囲算出部７００は、操作装置３０から出力される操作信号を取込み（Ｓ７０４）、取り込んだ操作信号に基づいて油圧ショベルの動作（ブーム１ａ、アーム１ｂ及びバケット１ｃの移動方向、上部旋回体１ｄの旋回方向、下部走行体１ｅの移動方向等）を算出する（Ｓ７０５）。

【0041】

次に、危険範囲算出部７００は、ショベル仕様記憶部７０６に記憶された油圧ショベルのサイズ（上部旋回体１ｄのサイズ等）を取り込み（Ｓ７０７）、Ｓ７０３で算出された油圧ショベルの姿勢及びＳ７０５で算出された油圧ショベルの動作及びＳ７０７で取り込まれた油圧ショベルのサイズに基づいて、油圧ショベルの周囲における危険範囲を算出する（Ｓ７０８）。危険範囲の算出が終了したらＳ７０１に戻り、以降の処理を繰り返す。

【0042】

上記の処理により油圧ショベルの周囲における危険範囲を算出することができる。また、上記Ｓ７０１〜Ｓ７０８の一連の処理は、油圧ショベルの稼動中に時々刻々変化するデータを取り込んで行われるものである。そのため、油圧ショベルの姿勢及び動作に連動して危険範囲が算出されるので、監視区域を最適にすることができる。また、後述するように危険度設定部２０００では、障害物が危険範囲内に有るか危険範囲外に有るかに応じて接触危険度を変更しているので、真に必要なときにだけ警告を表示することができる。例えば、危険範囲内に障害物がある場合に限って警告表示をするようにすれば、油圧ショベルの動作が制限される場面が抑制されるので作業効率を向上できる。なお、上記では、油圧ショベルの状態と危険範囲の連動性を向上させる観点から、油圧ショベルの姿勢及び動作の両方に基づいて危険範囲を算出したが、油圧ショベルの姿勢及び動作のいずれか一方に基づいて危険範囲を算出しても良い。また、上記に加え、各角度検出器８による検出角度θの時間変化、すなわち移動速度を鑑みて危険範囲を算出しても良い。

【0043】

図１０〜図１２は危険範囲算出部７００で算出される危険範囲の例を示す。ここでは、便宜上、後方カメラ１３ａ、右側方カメラ１３ｂ、左側方カメラ１３ｃが撮影した画像を変換して得た俯瞰画像（後述）を油圧ショベルの真上から見たときの画像９１１を利用して説明する。

【0044】

図１０は上部旋回体１ｄが右旋回した場合における危険範囲の算出例の説明図である。いま、上部旋回体１ｄ（油圧ショベル）が右旋回９１２すると、これに連動してフロント作業装置１Ａも右方向へ移動する。危険範囲算出部７００は、この動作状態に基づいて油圧ショベル周囲の危険範囲を算出する。具体的には、油圧ショベルの動作に連動して、旋回方向である右方向の範囲が広く、旋回方向と異なる後方や左方向の範囲が狭い危険範囲９１３が算出される。このように危険範囲は油圧ショベルの動作と連動して算出されるため、周辺監視装置による監視区域が最適となる。

【0045】

図１１は上部旋回体１ｄが左旋回した場合における危険範囲の算出例の説明図である。上部旋回体１ｄが左旋回９１５すると、これに連動してフロント作業装置１Ａも左方向へ移動する。危険範囲算出部７００は、この動作状態に基づいて油圧ショベル周囲の危険範囲を算出する。具体的には、油圧ショベルの動作に連動して、旋回方向である左方向の範囲が広く、旋回方向と異なる後方や右方向の範囲が狭い危険範囲９１６が算出される。

【0046】

図１２は下部走行体１ｅが後進した場合における危険範囲の算出例の説明図である。下部走行体１ｅが後進９１７すると、これに連動して上部旋回体１ｄも後進する。危険範囲算出部７００は、ステップ７０７で取り込んだ油圧ショベルのサイズ（横幅）等を利用して、この動作状態に基づいた危険範囲を算出する。具体的には、移動方向である油圧ショベルの後ろ側において油圧ショベルの横幅と同じ幅を有する危険範囲９１８が算出される。

【0047】

図１３は本発明の実施の形態に係る判定部８００で行われる処理のフローチャートである。周辺監視装置において、周辺監視処理が開始されると、判定部８００は、危険範囲算出部７００が算出した危険範囲内に障害物検出部４００で検出された障害物が存在するか否かを、位置算出部５００で算出した当該障害物の位置に基づいて判定する（Ｓ８０１，８０２）。Ｓ８０２において、危険範囲内に存在すると判定された場合はその結果を記憶装置に記憶し（Ｓ８０３）、危険範囲外に存在すると判定された場合には同様にその結果を記憶装置に記憶する（Ｓ８０４）。このように記憶された判定結果は、他の処理（例えば、危険度設定部２０００）で利用される。記憶装置への書き込みが完了したら、すべての障害物について時間毎にＳ８０１の判定を繰り返し行う。この処理により各障害物が危険範囲内に存在するか否かを判別することができる。

【0048】

図１４は本発明の実施の形態に係る危険度設定部２０００で行われる処理のフローチャートである。周辺監視装置において、周辺監視処理が開始されると、危険度設定部２０００は、まず、判定部８００の判定結果に基づいて危険範囲内に障害物が存在するか否かをチェックする（Ｓ２０５１）。Ｓ２０５１において、危険範囲内に障害物が存在しないと判定された場合には接触危険度を設定することなく（危険度を０とする）（Ｓ２０７１）、処理を終了する。一方、Ｓ２０５１において、危険範囲内に障害物が存在すると判定された場合には、Ｓ２０５２以下の処理において、カメラ１３の画像から得られる各障害物の種別、位置及び高さに基づいて、危険範囲内に存在する各障害物に対して接触危険度を設定していく。

【0049】

Ｓ２０５２では、危険度設定部２０００は、危険範囲内に存在する障害物のうち接触危険度が設定されていないものについて、当該障害物は人か否かをチェックする。Ｓ２０５２で障害物が人ではないと判定した場合には（すなわち、障害物は物）、当該障害物の高さを所定の高さ（例えば、２００ｃｍ）に設定し（Ｓ２０７３）、Ｓ２０６３に進む。

【0050】

一方、Ｓ２０５２で障害物が人であると判定した場合には、障害物検出部４００によって格納された抽出領域の外接矩形の左上座標と右下座標に基づいて、当該外接矩形の形状が縦長か否かまたは隣り合う２辺が同等の長さか否か判定する（Ｓ２０５３）。Ｓ２０５３で縦長または同等の長さであると判定された場合には、抽出領域には立っている人が含まれると推定し、その高さを設定値（例えば１８０ｃｍ）に設定し（Ｓ２０５４）、Ｓ２０５６に進む。一方、Ｓ２０５３で縦長または同等の長さでないと判定された場合には、抽出領域にはかがんでいる人が含まれると推定し、その高さを設定値（例えば８０ｃｍ）に設定し（Ｓ２０５５）、Ｓ２０５６に進む。

【0051】

Ｓ２０５６では、操作装置の操作信号又は角度検出器８ｄの検出角度θ４の時間変化等に基づいて、油圧ショベルの動作は旋回（右旋回及び左旋回）又は後進か否かを判定する。Ｓ２０５６で旋回も後進もしない場合には、接触危険度を２に設定し（Ｓ２０５７）、Ｓ２０７０に進む。一方、Ｓ２０５６において、油圧ショベルが旋回又は後進すると判定された場合には、Ｓ２０５８に進む。

【0052】

Ｓ２０５８では、危険範囲内の他の障害物と比較して、当該障害物が油圧ショベルの動作方向に最も近い位置に存在する人であるか否かを判定する。具体的には、Ｓ２０５８において油圧ショベルが旋回すると判定された場合には、まず、油圧ショベルの旋回中心を中心とする円の半径を０からバケット先端にまで至るまで徐々に大きくすることで複数の同心円を描く。そして、接触危険度を設定する対象となっている障害物が、当該複数の同心円上の旋回方向においてフロント作業装置１Ａから最も近い位置に存在する人であるか否かを判定する。また、Ｓ２０５８において油圧ショベルが後進すると判定された場合には、接触危険度を設定する対象となっている障害物が、油圧ショベルの後ろ側において最も近い位置に存在する人であるか否かを判定する。このＳ２０５８において、障害物が油圧ショベルの動作方向に最も近い人であると判定された場合には、接触危険度を５に設定し（Ｓ２０５９）、Ｓ２０７０に進む。すなわち、Ｓ２０５９では、危険範囲内に存在する種別が人である障害物の中で、フロント作業装置１Ａの旋回方向又は油圧ショベルの後進方向において当該フロント作業装置１Ａ又は油圧ショベルに最も近い位置に存在する人（障害物）に最も高い接触危険度を設定している。一方、Ｓ２０５８において、油圧ショベルの動作方向に最も近い人ではないと判定された場合には、Ｓ２０６０に進む。

【0053】

Ｓ２０６０では、バケット１ｃの先端の高さはＳ２０５４，２０５５で設定した障害物の高さ以下か否かチェックする。バケット１ｃの高さがＳ２０５４，２０５５の高さ以下の場合には、接触危険度を４に設定し（Ｓ２０６２）、Ｓ２０７０に進む。一方、Ｓ２０６０において、バケット１ｃの高さがＳ２０５４，２０５５の高さよりも高い場合には、接触危険度を３に設定し（Ｓ２０６１）、Ｓ２０７０に進む。

【0054】

Ｓ２０６３では、操作装置の操作信号又は角度検出器８ｄの検出角度θ４の時間変化等に基づいて、油圧ショベルの動作が旋回（右旋回及び左旋回）又は後進か否かを判定する。Ｓ２０６３で旋回も後進もしない場合には、接触危険度を１に設定し（Ｓ２０６４）、Ｓ２０７０に進む。一方、Ｓ２０６３において、油圧ショベルが旋回又は後進すると判定された場合には、Ｓ２０６５に進む。

【0055】

Ｓ２０６５では、危険範囲内の他の障害物と比較して、当該障害物が油圧ショベルの動作方向に最も近い位置に存在する物であるか否かを判定する。その判定の具体的方法は、Ｓ２０５８で説明したものと同様である。Ｓ２０６５において、障害物が油圧ショベルの動作方向に最も近い物であると判定された場合には、接触危険度を４に設定し（Ｓ２０６６）、Ｓ２０７０に進む。すなわち、Ｓ２０６６では、危険範囲内に存在する種別が物である障害物の中で、フロント作業装置１Ａの旋回方向又は油圧ショベルの後進方向において当該フロント作業装置１Ａ又は油圧ショベルに最も近い位置に存在する物（障害物）に最も高い接触危険度を設定している。一方、Ｓ２０６５において、油圧ショベルの動作方向に最も近い物ではないと判定された場合には、Ｓ２０６７に進む。

【0056】

Ｓ２０６７では、バケット１ｃの先端の高さはＳ２０７３で設定した障害物の高さ以下か否かチェックする。バケット１ｃの高さがＳ２０７３の高さ以下の場合には、接触危険度を３に設定し（Ｓ２０６９）、Ｓ２０７０に進む。一方、Ｓ２０６７において、バケット１ｃの高さがＳ２０７３の高さよりも高い場合には、接触危険度を２に設定し（Ｓ２０６８）、Ｓ２０７０に進む。

【0057】

Ｓ２０７０では、危険度設定部２０００は、危険範囲内の全障害物に対して接触危険度を設定したか否かをチェックする。ここで、危険範囲内にまだ接触危険度を設定していない障害物が存在する場合にはＳ２０５２に戻り、Ｓ２０５２以降の処理を繰り返す。Ｓ２０７０において全部の障害物に対して接触危険度が設定されていると判定された場合には処理を一旦終了する。なお、危険範囲の更新や障害物が新しく検出された場合等には、適宜上記一連の危険度設定処理を再度実行する。この処理により危険範囲内に存在する全障害物について接触危険度を設定することができる。このとき、油圧ショベルの旋回や後進時に危険範囲内に人が存在する場合には、最も高い接触危険度（５）を当該人に設定することができる。

【0058】

なお、上記の例では、障害物の種別（人か／物か）と、位置（危険範囲内か／油圧ショベルに近いか）と、高さ（バケット１ｃ先端より低いか）に基づいて接触危険度を設定したが、これらのうち少なくとも１つに基づいて接触危険度を各障害物に設定しても良い。

【0059】

図１５は危険度設定部２０００において行われる危険度設定処理に関する第１の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３内に物１６，１７と、人１５ａ，１５ｂが存在し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示し、バケット１ｃの先端の高さは１５０ｃｍとする。

【0060】

この図に示す場合は、危険範囲９１３外に存在する物１８と人１５ｃに対しては、Ｓ２０５１，２０７１の処理に従って接触危険度は設定されない。そして、バケット１ｃの先端の高さは１５０ｃｍであるので、危険範囲９１３内に存在する物１６については、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９４の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０６５，２０６６の処理に従って接触危険度として４が設定される。また、物１７については、Ｓ２０６７，２０６９の処理に従って接触危険度として３が設定される。さらに、人１５ｂについては、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９４の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０５８，２０５９の処理に従って接触危険度として５が設定され、人１５ｃについては、Ｓ２０６０，２０６１の処理に従って接触危険度として３が設定される。すなわち、この図のなかで最も接触危険度が高いのは人１５ｂとなる。

【0061】

図１６は危険度設定部２０００において行われる危険度設定処理に関する第２の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３内に物１６，１７が存在し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示し、バケット１ｃの先端の高さは１５０ｃｍとする。

【0062】

この図に示す場合は、図１５の場合と同様に、危険範囲９１３外に存在する物１８と人１５ｃに対しては、Ｓ２０５１，２０７１の処理に従って接触危険度は設定されない。そして、バケット１ｃの先端の高さは１５０ｃｍであるので、危険範囲９１３内に存在する物１６については、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９８の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０６５，２０６６の処理に従って接触危険度として４が設定される。また、物１７については、Ｓ２０６７，２０６９の処理に従って接触危険度として３が設定される。すなわち、この図のなかで最も接触危険度が高いのは物１６となる。

【0063】

図１７は危険度設定部２０００において行われる危険度設定処理に関する第３の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示す。この図に示す場合は、すべての障害物１８，１５ｃが危険範囲９１３の外に存在しているので、各障害物に接触危険度として０が設定される。すなわち、この場合には、接触危険度が設定される障害物は存在しない。

【0064】

次に本発明の実施の形態に係る画像作成部６００で行われる処理について説明する。図１８は画像作成部６００における俯瞰画像作成部６１０で行われる処理のフローチャートである。俯瞰画像作成部６１０は、まず、地上３Ｄ座標をカメラ３Ｄ座標に変換する変換行列を算出する（Ｓ５２１）。そして、カメラ３Ｄ座標をカメラ画面２Ｄ座標に変換する変換行列を算出する（Ｓ５２２）。さらに、これら変換行列を用いてカメラ１３の画像からカメラ画面２Ｄ座標の画像（俯瞰画像）を作成する（Ｓ５２３）。そして、Ｓ５２１，５２２，５２３の処理を行って作成した俯瞰画像を、油圧ショベルを模した図形（模擬作業機械図）の周囲に配置し、Ｓ５２１に戻ってＳ５２１以降の処理を繰り返す。本実施の形態では、後方カメラ１３ａの俯瞰画像を模擬作業機械図の後方に配置し、右側方カメラ１３ｂの俯瞰画像を模擬作業機械図の右側方に配置し、左側方カメラ１３ｃの俯瞰画像を模擬作業機械図の左側方に配置することで、油圧ショベル周囲の俯瞰画像を作成している。

【0065】

図１９は画像作成部６００における俯瞰視点決定部２１００（俯瞰位置決定部２１３０及び俯瞰高さ決定部２１４０）で行われる処理のフローチャートである。俯瞰位置決定部２１３０は、危険度設定部２０００で危険範囲内の各障害物に危険度が設定されたら、各障害物の接触危険度の値をチェックする（Ｓ２１３１）。Ｓ２１３１において、各障害物の接触危険度が１〜５以外の場合（すなわち０の場合）には、俯瞰視点の水平面位置を油圧ショベルの中心部に決定し（Ｓ２１３２）、Ｓ２１４２に進む。一方、Ｓ２１３１において各障害物の接触危険度に１〜５が含まれる場合には、その中で最も接触危険度の高い障害物の水平面位置を俯瞰視点の水平面位置として決定し（Ｓ２１３３）、Ｓ２１４３に進む。

【0066】

Ｓ２１４２では、俯瞰高さ決定部２１４０が、俯瞰視点の高さは、油圧ショベルの中心部（旋回中心）の上方から油圧ショベルを見下ろしたときに危険範囲を表示できるように設定した値（設定値）に設定し、当該俯瞰視点の水平位置及び高さ位置を記憶装置に格納して処理を終了する。

【0067】

一方、Ｓ２１４３では、油圧ショベルの中心部とＳ２１３３で利用した最も接触危険度の高い障害物の基点（Ｓ５０２参照）との距離（絶対値）を算出し、その算出値に比例して俯瞰視点の高さ（例えば、障害物高さの２〜３倍）を算出する（Ｓ２１４４）。Ｓ２１４４においてＳ２１４３で算出した値に乗じる比例定数は、最も接触危険度の高い障害物の上方から油圧ショベルの中心部を見下ろしたときに危険範囲を表示できるように設定すれば良い。このように俯瞰視点の高さを算出したら、Ｓ２１３３で決定した俯瞰視点の水平位置とＳ２１４４で決定した高さ位置を記憶装置に格納して処理を終了する。

【0068】

上記の処理により、接触危険度が設定されている場合には、危険度設定部２０００で設定した各障害物の接触危険度のうち、最も接触危険度の高い障害物の上方に油圧ショベル及び危険範囲を見込む俯瞰視点が設定され、また、接触危険度が設定されていない場合には、油圧ショベルの上方から油圧ショベル及び危険範囲を見込む俯瞰視点が設定される。

【0069】

図２０は俯瞰視点決定部２１００における俯瞰視点を決定する例の概念図である。この図は、人１５ｄに最も高い接触危険度が設定された場合を示し、まず、Ｓ２１３３において、人１５ｄの水平位置２１５２が俯瞰視点の水平位置として決定される。そして、Ｓ２１４３において、油圧ショベルの中心部２１５１と水平位置２１５２の差（絶対値）を算出し、その算出値に当該算出値の大きさに応じた比例定数を乗じ、俯瞰視点の高さ２１５３を決定する。これにより、監視画像作成部６２０が監視画像を作成する際の俯瞰視点（仮想カメラ）の位置を決定することができる。

【0070】

図２１は画像作成部６００における監視画像作成部６２０が作成する監視画像の第１の例を示す図である。この図に示す場面で油圧ショベルを右旋回６１２させると、これに連動してフロント作業装置１Ａも右側方向へ移動する。これにより、危険度設定部２０００において、危険範囲内９１３においてフロント作業装置１Ａの右側に存在する人１５ｃの接触危険度が最も高い値である５に設定される。そして、俯瞰視点決定部２１００は人１５ｃの上部に俯瞰視点を決定し、監視画像作成部６２０は当該俯瞰視点から仮想カメラで油圧ショベル及び危険範囲を見たときの画像を監視画像６２１として作成する。このように作成された監視画像６２１には、油圧ショベルと接触危険度が最も高い障害物が表示されることになるので、特別な判断作業を行わなくてもオペレータはどの障害物が接触の可能性が最も高いか及び当該障害物は油圧ショベルに対してどの位置に存在するかを瞬時に把握することができる。特に、このように監視画像を作成すると、油圧ショベルの動作方向（旋回方向である右側方向）を大きく表示することができ、また、当該動作方向に存在する最も危険な障害物（人１５ｃ）を大きく表示できる。したがって、本実施の形態によれば、最も危険な障害物の油圧ショベルに対する位置がオペレータに瞬時に把握されるので、油圧ショベルによる作業効率を向上させることができる。

【0071】

図２２は画像作成部６００における監視画像作成部６２０が作成する監視画像の第２の例を示す図である。この図に示す場面で下部走行体１ｅを後進６１７させると、これに連動してフロント作業装置１Ａ及び上部旋回体１ｄも後進する。これにより、危険度設定部２０００において、危険範囲内９１７において下部走行体１ｅの後方に存在する人１５ａの接触危険度が最も高い値である５に設定される。そして、俯瞰視点決定部２１００は人１５ａの上部に俯瞰視点を決定し、監視画像作成部６２０は当該俯瞰視点から油圧ショベル及び危険範囲を見たときの画像を監視画像６２１として作成する。したがって、この場合も、最も危険な障害物の油圧ショベルに対する位置がオペレータに瞬時に把握されるので、油圧ショベルによる作業効率を向上させることができる。

【0072】

図２３は画像作成部６００における監視画像作成部６２０が作成する監視画像の第３の例を示す図である。この図に示すように、監視画像作成部６２０は、どの障害物が最も危険であるかということについてのオペレータの視認性を向上させるために、危険度設定部２０００で最も高い接触危険度を設定された障害物（人１５ｃ）の上に警告表示６３１を重畳的に描画している。なお、この図の例では、警告表示として略星型の図形を人１５ｃの上に表示している。

【0073】

さらに、この図の例では、バケット１ｃの先端がどの程度の高さで障害物と接触するかという点を監視画像から容易に把握可能にするために、右旋回を続行するとバケット１ｃの先端が接触すると推定される部分に警告表示６３１を重畳的に表示している。すなわち、図２３の例では、人１５ｃの頭部に警告表示６３１が表示されている。このように接触部分に警告表示６３１を表示する際には、危険度設定部２０００で行われる処理のうちＳ２０５４，２０５５，２０７３で設定した障害物高さと、角度検出器８ａ〜８ｄの出力θ１〜θ４を利用して算出したバケット１ｃの先端高さとを比較すれば良い。そして、例えば、（１）障害物高さの上半分にバケット１ｃが接触する可能性があると推定される場合には当該障害物の上部（人のときは頭部）に警告表示６３１を表示し、（２）障害物高さの下半分に接触する可能性があると推定される場合には当該障害物の下部（人のときは胴体部）に警告表示６３１を表示すれば良い。図２４は、画像作成部６００における監視画像作成部６２０が作成する監視画像の第４の例を示す図であり、人１５ｃの胴体部に警告表示６３２を表示した場合の監視画像６２１を示している。

【0074】

図２５は画像作成部６００における監視画像作成部６２０が作成する監視画像の第５の例を示す図である。この図に示すように、監視画像作成部６２０は、危険度設定部２０００で最も高い接触危険度を設定された障害物の種別が人である場合には、当該最も高い接触危険度を設定された障害物（人１５ｃ）の上に人を表す画像６４５を監視画像６２１に重畳的に描画している。この図２５の例では、人を表す表示６４５として、カメラ１３の画像を俯瞰変換しないまま人１５ｃを抽出した画像（写真）を人１５ｃの上に表示している。

【0075】

俯瞰画像のみを利用して監視画像を作成すると、カメラ１３から遠い位置に存在する部分ほど拡大表示されるので、物体がゆがんで表示されることが多い（例えば、人については頭部に行くほど拡大表示される）。そのため、カメラ１３から遠くに存在する障害物については、俯瞰画像に変換する際に生じるゆがみに起因する違和感によって視認性に欠けることがある。そこで上記のように人を表す画像６４５を監視画像に重畳的に描画すると、監視画像上において、人がどこに存在するかを瞬時に把握することができる。

【0076】

なお、その際、外接矩形内の領域６４４に存在する人１５ｃの視認性をさらに向上させる観点から、カメラ１３が撮影した画像内には存在しないオペレータに視認容易な目立つ色で描画することが好ましい。さらに、先の例で示したように、警告表示として、「危険」という文字６４１及び最も接触危険度の高い障害物を示す矢印６４３等を重畳的に表示したり、略星型の図形６４２を文字６４１の近くに重畳的に表示したりして、さらに視認性を高めても良い。

【0077】

図２６は画像作成部６００における監視画像作成部６２０が作成する監視画像の第６の例を示す図である。図２５では人を表す画像としてカメラ１３の画像６４５を利用したが、この図の例では、当該人を表す画像として、人の上半身を３次元的に表現したイラスト６５５を利用している点で異なる。このように他の表現方法を利用しても、監視画像上において、人がどこに存在するかを瞬時に把握することができる。なお、図２５の例と同様に、警告表示として文字６５１、略星型の図形６５２及び矢印６５３等を重畳的に表示することでさらに視認性を高めても良い。

【0078】

図２７は本発明の実施の形態における表示装置１３００の表示画面の例を示す図である。この図に示す表示画面には、画像作成部６００で作成された監視画像が表示される主表示部１００５と、主表示部１００５に表示される監視画像を所定の時間にわたって録画するための録画開始ボタン１００１と、監視画像を拡大表示するための拡大表示ボタン１００３と、拡大表示ボタン１００３による拡大を戻す標準表示ボタン１００４を備えている。なお、この図に示す監視画像には、人を表す画像として、人の全身を３次元的に表現したイラスト６６５が表示されている。また、先の図２５，２６の例と同様に、警告表示として、「危険」という文字６６１、略星型の図形６６２及び最も接触危険度の高い障害物を示す矢印６６３等をさらに重畳的に表示している。

【0079】

このように録画開始ボタン１００１を設けると、接触可能性のある障害物（人１５ｃ）が存在する場合等、必要に応じて主表示部１００５に表示される監視画像を録画することができる。これにより、万が一事故が発生したときにその原因究明等にその録画データを用いることができる。なお、録画開始ボタン１００１を用いることなく、主表示部１００５に警告表示が表示された時に監視画像を自動的に録画するように設定しても良い。また、監視画像の拡大表示についても、拡大表示ボタン１００３を操作して手動で拡大表示しても良いし、警告表示が表示される場合に自動的に拡大表示しても良い。

【符号の説明】

【0080】

１Ａ フロント作業装置
１Ｂ 車体
１ａ ブーム
１ｂ アーム
１ｃ バケット
１ｄ 上部旋回体
１ｅ 下部走行体
１ｆ 運転室
３ａ〜３c 油圧アクチュエータ
３e 走行モータ
８ａ，８ｂ，８ｃ，８ｄ 角度検出器
１３ａ，１３ｂ，１３ｃ カメラ（イメージセンサ）
１４ａ，１４ｂ，１４ｃ ミリ波レーダ
１５ａ，１５ｂ，１５ｃ，１５ｄ，１５ｅ 障害物（人）
１６，１７ 障害物（物）
３０ 操作装置
４００ 障害物検出部
５００ 位置算出部
６００ 画像作成部
６１０ 俯瞰画像作成部
６２０ 監視画像作成部
７００ 危険範囲算出部
８００ 判定部
１３００ 表示装置
２０００ 危険度設定部
２１００ 俯瞰視点決定部
２１３０ 俯瞰位置決定部
２１４０ 俯瞰高さ決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】