特許 7481139 作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-30

(45)【発行日】2024-05-10

(54)【発明の名称】作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240501BHJP

   E02F 9/24 20060101ALI20240501BHJP

   H04N 7/18 20060101ALI20240501BHJP

   G08B 25/00 20060101ALI20240501BHJP

   G08B 21/00 20060101ALI20240501BHJP

【ＦＩ】

E02F9/26 B

E02F9/24 B

H04N7/18 J

G08B25/00 510M

G08B21/00 U

【請求項の数】 9

(21)【出願番号】P 2020049548

(22)【出願日】2020-03-19

(65)【公開番号】P2021147895

(43)【公開日】2021-09-27

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】江口 太郎

(72)【発明者】

【氏名】中沢 浩一

(72)【発明者】

【氏名】栗原 毅

(72)【発明者】

【氏名】下屋 芳之

【審査官】松本 泰典

(56)【参考文献】

【文献】特開２０１０－１９８５１９（ＪＰ，Ａ）

【文献】特開２０１１－１７０６６３（ＪＰ，Ａ）

【文献】特開２０１７－１４５５６４（ＪＰ，Ａ）

【文献】特開２００９－１９３４９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１２２２１８（ＵＳ，Ａ１）

【文献】特開２０１９－１５７４９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０２Ｆ ９／２６

Ｅ０２Ｆ ９／２４

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

作業機械の周辺の人を検出する検出部と、
警報を出力する警報部と、
前記作業機械の周辺に人が存在するか否かを判定する判定部と、
前記検出部が検出した前記人の身体の状態を判定する状態判定部と、
前記判定部の判定結果及び前記状態判定部の判定結果に基づいて、前記警報部による警報の出力を制御する警報制御部と、
を備え、
前記警報部は、前記作業機械の運転室の内側に向けて警報を出力する内側警報部と、前記作業機械の前記運転室の外側の異なる方向に向けて警報を出力する複数の外側警報部とを含み、
前記警報制御部は、前記判定部の判定結果及び前記状態判定部の判定結果に基づいて、前記作業機械の周辺に規定される警報範囲の内側に人が存在する場合、前記内側警報部から警報を出力し、さらに、前記警報範囲の内側に存在する前記人が前記作業機械を認識している状態ではないと判定した場合、複数の前記外側警報部のうち、前記作業機械を認識している状態ではないと判定された前記人が検出された方向に向けて警報を出力する前記外側警報部による警報を出力する、
作業機械の周辺監視システム。

【請求項2】

前記状態判定部は、前記人の両眼、片眼、顔部、胴体又は下肢が前記作業機械を向いていることが認識された場合、前記人が着用している眼鏡、マスク、衣服の前身頃又は靴のつま先部が認識された場合、の少なくともいずれかの条件を満たす場合に、前記人が前記作業機械を認識している状態であると判定する、
請求項１に記載の作業機械の周辺監視システム。

【請求項3】

前記警報制御部は、
前記状態判定部によって、前記警報範囲の内側に存在する前記人が前記作業機械を認識していると判定した場合、前記外側警報部の出力を抑制する、
請求項１又は２に記載の作業機械の周辺監視システム。

【請求項4】

前記検出部は、前記作業機械の周辺を撮影するカメラであり、
前記状態判定部は、前記カメラが撮影した画像に基づいて、人の身体の状態を判定する、
請求項１に記載の作業機械の周辺監視システム。

【請求項5】

前記検出部は、前記作業機械の周辺に複数配置され、
前記警報部は、前記検出部の周辺に配置される、
請求項１から請求項４のいずれか一項に記載の作業機械の周辺監視システム。

【請求項6】

前記状態判定部は、前記人が前記作業機械を向いていると判定した後、前記人が前記作業機械を継続して向いていると判定する、
請求項１から請求項５のいずれか一項に記載の作業機械の周辺監視システム。

【請求項7】

前記状態判定部は、前記人が前記作業機械を継続して向いていると判定している場合において、前記人と前記作業機械との相対的な位置関係が変化した場合、前記人が前記作業機械を継続して向いていると判定することを終了する、
請求項６に記載の作業機械の周辺監視システム。

【請求項8】

請求項１から請求項７のいずれか一項に記載の作業機械の周辺監視システムを備える、
作業機械。

【請求項9】

作業機械の運転室の内側に向けて警報を出力する内側警報部と、前記作業機械の前記運転室の外側の異なる方向に向けて警報を出力する複数の外側警報部とを含む、作業機械の周辺監視方法であって、
作業機械の周辺の人を検出することと、
前記作業機械の周辺に人が存在するか否かを判定することと、
検出した前記人の身体の状態を判定することと、
前記作業機械の周辺の人の存在の判定結果及び検出した前記人の身体の状態の判定結果に基づいて、前記作業機械の周辺に規定される警報範囲の内側に人が存在する場合、前記内側警報部から警報を出力し、さらに、前記警報範囲の内側に存在する前記人が前記作業機械を認識している状態ではないと判定した場合、複数の前記外側警報部のうち、前記作業機械を認識している状態ではないと判定された前記人が検出された方向に向けて警報を出力する前記外側警報部による警報を出力すること、
を含む、作業機械の周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械の周辺監視システム、作業機械、及び作業機械の周辺監視方法に関する。

【背景技術】

【0002】

作業機械に係る技術分野において、特許文献１に開示されているような、周辺監視装置を備える作業機械が知られている。特許文献１において、作業機械の運転室に周辺監視モニタが配置される。周辺監視モニタの表示部は、作業機械の周辺の俯瞰画像を表示する。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１６／１５９０１２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

周辺監視装置は、作業機械の周辺に、人が存在する場合、警報を出力する。これにより、作業機械の周辺の人が、作業機械の存在を認識している場合でも、警報が出力される。作業機械の周辺に人が存在する場合、人の状態に応じて、警報を出力したり、出力を抑制したりすることが好ましい。

【課題を解決するための手段】

【0005】

本開示に従えば、作業機械の周辺の人を検出する検出部と、警報を出力する警報部と、前記検出部が検出した前記人の身体の状態を判定する状態判定部と、前記状態判定部の判定結果に基づいて、前記警報部による警報の出力を制御する警報制御部と、を備える作業機械の周辺監視システムが提供される。

【発明の効果】

【0006】

本開示によれば、作業機械の周辺に人が存在する場合、人の状態に応じて、警報の出力を制御することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る作業機械を示す斜視図である。

【図2】図２は、実施形態に係る作業機械の運転室を示す図である。

【図3】図３は、実施形態に係る上部旋回体を模式的に示す図である。

【図4】図４は、実施形態に係る検出範囲及び警報範囲を説明する概略図である。

【図5】図５は、実施形態に係る周辺監視装置を示す機能ブロック図である。

【図6】図６は、実施形態に係る表示部の俯瞰画像の表示例の一例を示す図である。

【図7】図７は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。

【図8】図８は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。

【図9】図９は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。

【図10】図１０は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。

【図11】図１１は、実施形態に係る表示部の俯瞰画像の表示例の他の例を示す図である。

【図12】図１２は、実施形態に係る表示部の単カメラ画像の表示例の一例を示す図である。

【図13】図１３は、実施形態に係る表示部の単カメラ画像の表示例の他の例を示す図である。

【図14】図１４は、実施形態に係る周辺監視方法を示すフローチャートである。

【図15】図１５は、実施形態に係るコンピュータシステムを示すブロック図である。

【発明を実施するための形態】

【0008】

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

【0009】

［作業機械］
図１は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１は、油圧ショベルとする。以下の説明においては、作業機械１を適宜、油圧ショベル１と称する。油圧ショベル１は、下部走行体２と、下部走行体２に支持される上部旋回体３と、上部旋回体３に支持される作業機４と、作業機４を駆動する油圧シリンダ５とを備える。

【0010】

下部走行体２は、上部旋回体３を支持した状態で走行可能である。下部走行体２は、一対の履帯を有する。履帯が回転することによって、下部走行体２が走行する。

【0011】

上部旋回体３は、下部走行体２に支持された状態で、下部走行体２に対して旋回軸ＲＸを中心に旋回可能である。上部旋回体３は、油圧ショベル１の運転者が搭乗する運転室６を有する。運転室６には、運転者が着座する運転シート９が設けられる。

【0012】

作業機４は、上部旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃとを含む。油圧シリンダ５は、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。

【0013】

ブーム４Ａは、ブーム回転軸ＡＸを中心に回転可能に上部旋回体３に支持される。アーム４Ｂは、アーム回転軸ＢＸを中心に回転可能にブーム４Ａに支持される。バケット４Ｃは、バケット回転軸ＣＸを中心に回転可能にアーム４Ｂに支持される。

【0014】

ブーム回転軸ＡＸと、アーム回転軸ＢＸと、バケット回転軸ＣＸとは、平行である。ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと、旋回軸ＲＸと平行な軸とは、直交する。以下の説明においては、旋回軸ＲＸと平行な方向を適宜、上下方向、と称し、ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと平行な方向を適宜、左右方向、と称し、ブーム回転軸ＡＸ、アーム回転軸ＢＸ、及びバケット回転軸ＣＸと旋回軸ＲＸとの両方と直交する方向を適宜、前後方向、と称する。運転シート９に着座した運転者を基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。運転シート９に着座した運転者を基準として左右方向の一方が右方であり、右方の逆方向が左方である。下部走行体２の接地面から離れる方向が上方であり、上方の逆方向が下方である。

【0015】

運転室６は、上部旋回体３の前方に配置される。運転室６は、作業機４の左方に配置される。作業機４のブーム４Ａは、運転室６の右方に配置される。

【0016】

［運転室］
図２は、実施形態に係る油圧ショベル１の運転室６を示す図である。油圧ショベル１は、運転室６に配置される操作部１０を備える。操作部１０は、油圧ショベル１の少なくとも一部の作動のために操作される。操作部１０は、運転シート９に着座した運転者によって操作される。油圧ショベル１の作動は、下部走行体２の作動、上部旋回体３の作動、及び作業機４の作動の少なくとも一つを含む。

【0017】

操作部１０は、上部旋回体３及び作業機４の作動のために操作される左作業レバー１１及び右作業レバー１２と、下部走行体２の作動のために操作される左走行レバー１３及び右走行レバー１４と、左フットペダル１５及び右フットペダル１６とを含む。

【0018】

左作業レバー１１は、運転シート９の左方に配置される。左作業レバー１１が前後方向に操作されることによって、アーム４Ｂがダンプ動作又は掘削動作する。左作業レバー１１が左右方向に操作されることによって、上部旋回体３が左旋回又は右旋回する。右作業レバー１２は、運転シート９の右方に配置される。右作業レバー１２が左右方向に操作されることによって、バケット４Ｃが掘削動作又はダンプ動作する。右作業レバー１２が前後方向に操作されることによって、ブーム４Ａが下げ動作又は上げ動作する。

【0019】

左走行レバー１３及び右走行レバー１４は、運転シート９の前方に配置される。左走行レバー１３は、右走行レバー１４の左方に配置される。左走行レバー１３が前後方向に操作されることによって、下部走行体２の左側の履帯が前進動作又は後進動作する。右走行レバー１４が前後方向に操作されることによって、下部走行体２の右側の履帯が前進動作又は後進動作する。

【0020】

左フットペダル１５及び右フットペダル１６は、運転シート９の前方に配置される。左フットペダル１５は、右フットペダル１６の左方に配置される。左フットペダル１５は、左走行レバー１３と連動する。右フットペダル１６は、右走行レバー１４と連動する。左フットペダル１５及び右フットペダル１６が操作されることによって、下部走行体２が前進動作又は後進動作されてもよい。

【0021】

油圧ショベル１は、運転室６に配置される周辺監視モニタ２０を備える。周辺監視モニタ２０は、運転シート９の右前方に配置される。周辺監視モニタ２０は、表示部２１と、操作部２２と、制御部２３と、警報部である内側警報部２４を有する。

【0022】

表示部２１は、油圧ショベル１の周辺の状況を示す周辺画像データを表示する。表示部２１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。

【0023】

周辺画像データは、油圧ショベル１の周辺の俯瞰画像ＰＤａ及び単カメラ画像ＰＤｂの一方又は両方を含む。

【0024】

俯瞰画像ＰＤａとは、検出部である複数のカメラ３０のそれぞれで取得された複数の画像データを上方視点に変換して合成することによって生成される画像である。俯瞰画像ＰＤａには、油圧ショベル１を示すシンボル画像１Ｓが表示される。シンボル画像１Ｓは、油圧ショベル１を上方から見た画像に相当する。シンボル画像１Ｓによって、油圧ショベル１と油圧ショベル１の周辺との位置関係が明確になる。

【0025】

単カメラ画像ＰＤｂとは、複数のカメラ３０のうち１つのカメラ３０で取得された油圧ショベル１の周辺の一部の画像である。単カメラ画像ＰＤｂは、後カメラ３１で取得された油圧ショベル１の後方の状況を示す後方単カメラ画像ＰＤｂ、右後カメラ３２で取得された油圧ショベル１の右後方の状況を示す右後方単カメラ画像ＰＤｂ、右前カメラ３３で取得された油圧ショベル１の右前方の状況を示す右前方単カメラ画像ＰＤｂ、及び左後カメラ３４で取得された油圧ショベル１の左後方の状況を示す左後方単カメラ画像ＰＤｂの少なくとも一つを含む。

【0026】

操作部２２は、運転者によって操作される複数のスイッチを含む。操作部２２は、運転者によって操作されることによって、操作指令を出力する。

【0027】

制御部２３は、コンピュータシステムを含む。

【0028】

内側警報部２４は、作業機械１の運転室６の内側に向けて警報を出力する。実施形態では、内側警報部２４は、ブザーであり、運転室６の内側に向けてブザーを出力する。

【0029】

警報とは、人が検出されたときに出力される出力情報である。実施形態において、警報は、内側警報部２４又は後述する外側警報部６０から出力されるブザーであるものとして説明するが、これに限定されない。警報は、表示部２１に表示されるメッセージやシンボル表示、油圧ショベル１に設けられたパトライト（登録商標）、又は、運転室６に設けられた表示ランプやＬＥＤ等による警告灯でもよい。パトライトである場合、運転室６の運転者に加えて、油圧ショベル１の周辺の者に注意を報知することができる。

【0030】

［カメラ］
図３は、実施形態に係る上部旋回体３を模式的に示す図である。油圧ショベル１は、複数のカメラ３０を含むカメラシステム３００を備える。複数のカメラ３０は、上部旋回体３に設けられる。カメラ３０は、撮像対象の画像を取得する。カメラ３０は、作業機械１の周辺の人を検出する検出部として機能する。カメラ３０は、作業機械１の周囲に複数配置される。実施形態では、カメラ３０は、上部旋回体３の後部に設けられる後カメラ３１と、上部旋回体３の右部に設けられる右後カメラ３２及び右前カメラ３３と、上部旋回体３の左部に設けられる左後カメラ３４とを含む。

【0031】

後カメラ３１は、上部旋回体３の後方領域を撮像する。右後カメラ３２は、上部旋回体３の右後方領域を撮像する。右前カメラ３３は、上部旋回体３の右前方領域を撮像する。左後カメラ３４は、上部旋回体３の左後方領域を撮像する。複数のカメラ３０（３１、３２、３３、３４）のそれぞれは、光学系と、イメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

【0032】

なお、左後カメラ３４は、上部旋回体３の左側方領域及び左後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、右後カメラ３２は、上部旋回体３の右側方領域及び右後方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。同様に、右前カメラ３３は、上部旋回体３の右前方領域及び右側方領域の範囲を撮像するものであるが、そのどちらか一方を撮像するものであってもよい。また、カメラ３０は、上部旋回体３の左後方、後方、右後方、及び右前方を撮像するが、これに限定されない。例えば、カメラ３０の数は、図３に示す例と異なってもよい。例えば、カメラ３０の撮像範囲は、図３に示す例と異なってもよい。

【0033】

実施形態において、運転室６の前方及び左前方を撮影するカメラは存在しない。運転シート９に着座した運転者は、運転室６の前方及び左前方の状況を直接視認できるためである。これにより、油圧ショベル１に設けられるカメラ３０の数が抑制される。なお、運転室６の前方及び左前方の状況を示す画像データを取得するカメラ３０は、設けられてもよい。

【0034】

図４は、実施形態に係る検出範囲Ａ及び警報範囲Ｂを説明する概略図である。カメラ３０は、人を検出可能な検出範囲Ａを有する。検出範囲Ａは、カメラ３０の撮像可能範囲である視野範囲を含む。カメラ３０によって取得された画像データが制御部２３によって画像処理される。画像データは、画像処理されて、カメラ３０の検出範囲Ａに人が存在するか否かが判定される。

【0035】

［外側警報ユニット］
油圧ショベル１は、警報部である複数の外側警報部６０を含む外側警報ユニット６００を備える。複数の外側警報部６０は、上部旋回体３に設けられる。複数の外側警報部６０は、カメラ３０の周辺に設けられる。複数の外側警報部６０は、作業機械１の周辺の異なる方向に向けて警報を出力する。複数の外側警報部６０は、作業機械１の運転室６の外側に向けて警報を出力する。実施形態では、複数の外側警報部６０は、ブザーであり、運転室６の外側に向けてブザーを出力する。実施形態では、外側警報部６０は、上部旋回体３の後部に設けられる外側警報部６１と、上部旋回体３の右部に設けられる外側警報部６２と、上部旋回体３の左部に設けられる外側警報部６４とを含む。外側警報部６１は、後カメラ３１の周辺に配置される。外側警報部６１は、作業機械１の後方に向けて警報を出力する。外側警報部６２は、右後カメラ３２及び右前カメラ３３の周辺に配置される。外側警報部６２は、右後方、右側方、及び右前方に向けて警報を出力する。外側警報部６４は、左後カメラ３４の周辺に配置される。外側警報部６４は、左後方及び左側方に向けて警報を出力する。

【0036】

［周辺監視装置］
図５は、実施形態に係る周辺監視装置１００を示す機能ブロック図である。油圧ショベル１は、周辺監視装置１００を備える。周辺監視装置１００は、油圧ショベル１の周辺を監視する。周辺監視装置１００は、周辺監視モニタ２０と、カメラシステム３００と、外部警報ユニット６００を備える。周辺監視モニタ２０は、表示部２１と、操作部２２と、制御部２３と、内側警報部２４とを有する。カメラシステム３００は、複数のカメラ３０（３１、３２、３３、３４）を有する。外部警報ユニット６００は、複数の外側警報部６０（６１、６２、６３、６４）を有する。なお、周辺監視装置１００は、表示部２１と、操作部２２とを備えない構成としてよい。また、周辺監視装置１００は、外部警報ユニット６００と内側警報部２４のうち、どちらか一方のみ備える構成としてよい。

【0037】

制御部２３は、コンピュータシステムを含む。制御部２３は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理部４１と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶部４２と、入出力インターフェース４３とを有する。

【0038】

演算処理部４１は、画像データ取得部５１と、表示データ生成部５２と、人判定部５３と、状態判定部５４と、表示制御部５５と、警報制御部５６とを有する。

【0039】

記憶部４２は、演算処理部４１における処理で使用する各種データなどを記憶する。実施形態では、記憶部４２は、人の特徴量を記憶する特徴量記憶部５７と、警報範囲Ｂ（図４参照）を記憶する警報範囲記憶部５８とを有する。

【0040】

特徴量は、人の輪郭、人の色などを含み、人の外観を特定する情報である。

【0041】

図４を用いて、警報範囲Ｂについて説明する。警報範囲Ｂは、人の存在によって警報の出力が要求される範囲である。警報範囲Ｂは、油圧ショベル１を囲むように設定される。人が警報範囲Ｂの内側に存在する場合、警報が出力される。人が警報範囲Ｂの外側に存在する場合、警報は出力されない。警報範囲Ｂは、検出範囲Ａよりも小さい。警報範囲Ｂは、検出範囲Ａの範囲と同じ、又は検出範囲Ａより広くてもよい。

【0042】

実施形態において、警報範囲Ｂは、第１警報範囲Ｂａと、第２警報範囲Ｂｂとを含む。第２警報範囲Ｂｂは、油圧ショベル１を囲むように設定される。油圧ショベル１は、第２警報範囲Ｂｂの内側に配置される。第２警報範囲Ｂｂは、第１警報範囲Ｂａの内側に規定される。第２警報範囲Ｂｂは、第１警報範囲Ｂａよりも小さい。警報範囲Ｂは、１つでもよいし複数でもよい。

【0043】

実施形態において、第１警報範囲Ｂａ及び第２警報範囲Ｂｂのそれぞれは、矩形状である。第１警報範囲Ｂａの前端部と第２警報範囲Ｂｂの前端部とは一致する。第１警報範囲Ｂａの後端部は、第２警報範囲Ｂｂの後端部よりも後方に規定される。第１警報範囲Ｂａの左端部は、第２警報範囲Ｂｂの左端部よりも左方に規定される。第１警報範囲Ｂａの右端部は、第２警報範囲Ｂｂの右端部よりも右方に規定される。

【0044】

人が警報範囲Ｂの内側に存在する場合、警報が出力される。人が警報範囲Ｂの内側に存在しない場合、警報の出力が停止される。人が第２警報範囲Ｂｂの内側に存在する場合、さらに作業機械１の車体の動作を制限してもよい。例えば、作業機械１が走行動作前又は旋回動作前においては、走行又は旋回動作の禁止制御である発進ロックを実施してよい。また、作業機械１が走行中であれば、下部走行体２の走行の停止や減速してもよい。また、旋回中であれば、上部旋回体３の旋回動作の停止や減速してもよい。また、作業機１などその他の車体の動作を抑制してもよい。

【0045】

入出力インターフェース４３は、カメラシステム３００、外部警報ユニット６００、表示部２１、操作部２２、及び内側警報部２４のそれぞれと接続される。

【0046】

画像データ取得部５１は、カメラシステム３００から画像データを取得する。画像データ取得部５１は、後カメラ３１から油圧ショベル１の後方の状況を示す画像データを取得する。画像データ取得部５１は、右後カメラ３２から油圧ショベル１の右後方の状況を示す画像データを取得する。画像データ取得部５１は、右前カメラ３３から油圧ショベル１の右前方の状況を示す画像データを取得する。画像データ取得部５１は、左後カメラ３４から油圧ショベル１の左後方の状況を示す画像データを取得する。

【0047】

表示データ生成部５２は、画像データ取得部５１によって取得された画像データに基づいて、油圧ショベル１の周辺の状況を示す周辺表示データを生成する。周辺表示データは、油圧ショベル１の周辺の俯瞰画像ＰＤａと、油圧ショベル１の周辺の単カメラ画像ＰＤｂとを含む。より詳しくは、表示データ生成部５２は、複数のカメラ３０のそれぞれで取得された画像データに基づいて、油圧ショベル１の周辺の俯瞰画像ＰＤａを生成する。表示データ生成部５２は、複数のカメラ３０のうち１つのカメラ３０で取得された画像データに基づいて、単カメラ画像ＰＤｂを生成する。

【0048】

表示データ生成部５２は、後カメラ３１、右後カメラ３２、右前カメラ３３、及び左後カメラ３４のそれぞれで取得された画像データを、油圧ショベル１の上方の仮想視点から見た上方視点画像を示す変換画像データにそれぞれに変換する。表示データ生成部５２は、変換画像データから、俯瞰画像ＰＤａを表示するフレーム領域に対応する部分を切り出す。表示データ生成部５２は、切り出した変換画像データを合成する。これによって、油圧ショベル１の周辺の俯瞰画像ＰＤａが生成される。また、表示データ生成部５２は、俯瞰画像ＰＤａに油圧ショベル１を示すシンボル画像１Ｓを合成する。シンボル画像１Ｓは、油圧ショベル１を上方から見た画像に相当する。シンボル画像１Ｓによって、油圧ショベル１と油圧ショベル１の周辺との相対的な位置関係が明確化される。

【0049】

実施形態では、運転室６の前方及び左前方の俯瞰画像は生成されない。運転室６の前方及び左前方の状況を示す画像データを取得するカメラ３０を設けて、運転室６の前方及び左前方の俯瞰画像を生成してもよい。

【0050】

人判定部５３は、画像データ取得部５１によって取得された画像データに基づいて、油圧ショベル１の周辺に人が存在するか否かを判定する。人判定部５３は、画像データ取得部５１によって取得された画像データを画像処理することによって、警報範囲Ｂにおける人の存否を判定する。画像処理は、画像データから人の特徴量を抽出する処理を含む。人判定部５３は、画像データから抽出した特徴量と、特徴量記憶部５７に記憶された特徴量とを照合して、油圧ショベル１の周辺、言い換えると、警報範囲Ｂの内側に人が存在するか否かを判定する。さらに、人判定部５３は、検出した人の作業機１に対する向きも合わせて認識してもよい。

【0051】

さらに、人判定部５３は、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のうち、どの範囲に人が存在するかを判定する。人判定部５３は、画像データにおいて特徴量が抽出された位置と、警報範囲記憶部５８に記憶された警報範囲Ｂとを照合して、特徴量が抽出された位置が、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のいずれの範囲であるかを判定する。

【0052】

さらにまた、人判定部５３は、図４に示す、検出範囲Ａ１、検出範囲Ａ２、検出範囲Ａ３、又は、検出範囲Ａ４のうち、どの検出範囲に人が存在するかを判定する。検出範囲Ａ１は、検出範囲Ａのうち右前方の範囲である。検出範囲Ａ１は、右前カメラ３３の撮像範囲と重なる。人判定部５３は、右前カメラ３３の撮像画像データから認識された人は、検出範囲Ａ１に存在すると判定する。検出範囲Ａ２は、検出範囲Ａのうち右後方の範囲である。検出範囲Ａ２は、右後カメラ３２の撮像範囲と重なる。人判定部５３は、右後カメラ３２の撮像画像データから認識された人は、検出範囲Ａ２に存在すると判定する。検出範囲Ａ３は、検出範囲Ａのうち後方の範囲である。検出範囲Ａ３は、後カメラ３１の撮像範囲と重なる。人判定部５３は、後カメラ３１の撮像画像データから認識された人は、検出範囲Ａ３に存在すると判定する。検出範囲Ａ４は、検出範囲Ａのうち左側方及び左後方の範囲である。検出範囲Ａ４は、左後カメラ３４の撮像範囲と重なる。人判定部５３は、左後カメラ３４の撮像画像データから認識された人は、検出範囲Ａ４に存在すると判定する。

【0053】

状態判定部５４は、人判定部５３が警報範囲Ｂの内側に人が存在すると判定した場合、画像データ取得部５１によって取得された画像データに基づいて、人の状態が、警報を出力する状態であるか否かを判定する。

【0054】

人の状態とは、人の身体の状態を示す。身体の状態とは、人の向きを示す。なお、人の向きは、人の身体の前部の向きでもよいし、人の身体の一部の向きでもよい。人の身体の一部の向きは、例えば、人の両眼又は片目の向き、人の顔部の向き、人の胴体又は下肢の向き、人が着用している眼鏡又はマスクなどの向き、又は、人の衣服の前身頃または靴のつま先部の向きなどである。

【0055】

また、状態判定部５４は、人判定部５３が警報範囲Ｂの内側に人が存在すると判定した場合、画像データ取得部５１によって取得された画像データに基づいて、人の状態が、警報を抑制する状態であるか否かを判定する。警報を抑制する状態とは、人が作業機械１を向いている状態、言い換えると、人が作業機械１を認識している状態である。

【0056】

状態判定部５４は、例えば、画像データ取得部５１によって取得された画像データに画像処理を行って、人の両眼又は片眼が作業機械１を向いていることが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の顔部が作業機械１を向いていることが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の胴体又は下肢が作業機械１を向いていることが検出された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人が着用している眼鏡又はマスクが認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、例えば、画像データに画像処理を行って、人の衣服の前身頃又は靴のつま先部が認識された場合、人が作業機械１を認識している状態であると判定する。状態判定部５４は、これらの条件を複数組み合わせて作業機械１を認識しているか否かを判定してもよい。状態判定部５４は、油圧ショベル１の周辺に複数の人が存在する場合、すべての人について、作業機械１を認識しているか否かを判定する。人の状態とは、身体の状態を含み、身体の状態は、人の向きを含み、人の向きは、身体の前部の向きでも、一部の向きでもよい。

【0057】

状態判定部５４は、一度、人が作業機械１を認識していると判定した後、人が作業機械１を継続して認識していると判定してもよい。また、状態判定部５４は、一度、人が作業機械１を認識していると判定した後、所定期間経過前は、人が作業機械１を継続して認識していると判定し、所定期間経過後は、人が作業機械１を継続して認識していると判定することを終了してもよい。この場合、所定時間経過前に、人が作業機械１を認識していると判定した場合は、所定時間を延ばすようにしてもよい。なお、所定時間経過前に、作業機械１を認識されていると判定される人は、異なる人であってもよい。

【0058】

また、状態判定部５４は、一度、人が作業機械１を認識していると判定した後、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したり、人が移動したり、人の顔部又は身体の向きがかわるなどした場合、人が作業機械１を継続して認識していると判定してもよい。また、状態判定部５４は、人が作業機械１を継続して認識していると判定している場合において、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したり、人が移動しり、人の顔部または身体の向きが変わるなどした場合、人が作業機械１を継続して認識していると判定することを終了してもよい。例えば、左作業レバー１１、右作業レバー１２、左走行レバー１３、右走行レバー１４の操作情報をもとに、車体位置が変化、旋回角度が変化したことを判定することができる。

【0059】

表示制御部５５は、表示部２１に油圧ショベル１の周辺の状況を示す周辺画像データを表示させる。表示データは、周辺画像データを含む。周辺画像データは、俯瞰画像ＰＤａ及び単カメラ画像ＰＤｂを含む。実施形態において、表示制御部５５は、少なくとも油圧ショベル１の周辺の俯瞰画像ＰＤａを表示部２１に表示させる。

【0060】

警報制御部５６は、警報を制御する。より詳しくは、警報制御部５６は、警報を出力させる作動指令、警報の出力を停止させる停止指令、及び警報の出力を抑制する抑制指令のいずれかを出力する。

【0061】

作動指令が出力されることによって、警報が出力される。例えば、警報が内側警報部２４及び外側警報部６０のブザーである場合、作動指令が出力されることによって、内側警報部２４及び外側警報部６０のブザーが出力される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、作動指令が出力されることによって、表示制御部５５の制御によって、表示部２１にメッセージや、シンボルが出力される。

【0062】

停止指令が出力されることによって、警報の出力が停止される。例えば、警報が内側警報部２４である場合、停止指令が出力されることによって、内側警報部２４のブザーが停止される。例えば、警報が外側警報部６０のブザーである場合、停止指令が出力されることによって、外側警報部６０のブザーが停止される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、停止指令が出力されることによって、表示制御部５５の制御によって、表示部２１にメッセージや、シンボルが出力されない。

【0063】

抑制指令が出力されることによって、警報の出力が抑制される。例えば、警報が内側警報部２４である場合、抑制指令が出力されることによって、内側警報部２４からブザーが出力されない、又は、音量が低減される。例えば、警報が外側警報部６０である場合、抑制指令が出力されることによって、外側警報部６０からブザーが出力されない、又は、音量が低減される。例えば、警報が表示部２１のメッセージやシンボルの表示である場合、抑制命令が出力されることによって、表示部２１にメッセージや、シンボルが出力されない、又は、表示の大きさが小さくなる。

【0064】

警報制御部５６は、人判定部５３の判定結果及び状態判定部５４の判定結果の少なくともどちらかに基づいて、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力を制御する。より詳しくは、警報制御部５６は、作業機械１の周辺の人の有無に応じて、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力と出力の停止とを制御する。警報制御部５６は、さらに状態判定部５４の判定結果に応じて、人が作業機械１を向いている場合、内側警報部２４及び外側警報部６０の少なくともどちらか一方による警報の出力を抑制する。

【0065】

例えば、警報制御部５６は、人判定部５３によって、人が第２警報範囲Ｂｂの内側に存在すると判定された場合である「ケース１」の場合、内側警報部２４及び外側警報部６０から警報を出力する。

【0066】

例えば、警報制御部５６は、人判定部５３によって、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在すると判定された場合である「ケース２」の場合、内側警報部２４及び外側警報部６０から警報を出力する。さらに、外側警報部６０からの警報の出力は、次のようにして、検出範囲ごとに制御される。

【0067】

例えば、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲のすべての人の状態が、警報を抑制する状態であると判定された場合である「ケース３」の場合、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０からの警報の出力を抑制する。より詳しくは、警報制御部５６は、状態判定部５４の判定結果に基づいて、検出範囲について、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在し、その検出範囲のすべての人が作業機械１を認識している状態であると判定された場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を抑制する。

【0068】

例えば、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲の一人以上の人の状態が、警報を抑制する状態ではないと判定された場合である「ケース４」の場合、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０から警報を出力する。より詳しくは、警報制御部５６は、状態判定部５４の判定結果に基づいて、検出範囲について、人が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側に存在し、その検出範囲の一人以上の人が作業機械１を認識している状態ではないと判定された場合、その検出範囲を向いて配置された外側警報部６０から警報を通常通り出力する。

【0069】

例えば、警報制御部５６は、「ケース２」の場合であって、人判定部５３によって、検出範囲について、その検出範囲に人が存在しないと判定された場合である「ケース５」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を停止する。

【0070】

例えば、警報制御部５６は、人判定部５３によって、人が警報範囲Ｂに存在しないと判定された場合である「ケース６」の場合、内側警報部２４からの警報の出力を停止する。

【0071】

図６は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の一例を示す図である。図６に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態ではないと判定される。「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。

【0072】

図７は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図７に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース３」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６３からの警報の出力が抑制される。

【0073】

図８は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図８に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ２が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１と、作業機械１を認識していない人Ｍ２とが存在する。「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。

【0074】

図９は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図９に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ３に存在し、人Ｍ２が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ３が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ４に存在し、人Ｍ３が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１が存在し、検出範囲Ａ３に、作業機械１を認識している人Ｍ２が存在し、検出範囲Ａ４に、作業機械１を認識していない人Ｍ３が存在する。「ケース３」、「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６１、外側警報部６２からの警報の出力が抑制され、外側警報部６４からは、警報が出力される。

【0075】

図１０は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図１０に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ２が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ２が作業機械１を認識している状態ではないと判定される。状態判定部５４によって、人Ｍ３が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ３に存在し、人Ｍ３が作業機械１を認識している状態であると判定される。状態判定部５４によって、人Ｍ４が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ４に存在し、人Ｍ４が作業機械１を認識している状態ではないと判定される。この例では、検出範囲Ａ２に、作業機械１を認識している人Ｍ１と、作業機械１を認識していない人Ｍ２とが存在し、検出範囲Ａ３に、作業機械１を認識している人Ｍ２が存在し、検出範囲Ａ４に、作業機械１を認識していない人Ｍ３が存在する。「ケース３」、「ケース４」の場合である。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６１からの警報の出力が抑制され、外側警報部６２、外側警報部６４からは、警報が出力される。

【0076】

図１１は、実施形態に係る表示部２１の俯瞰画像ＰＤａの表示例の他の例を示す図である。図１１に示す俯瞰画像ＰＤａが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第２警報範囲Ｂｂの内側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース１」の場合である。この場合、この例では、人Ｍ１は、作業機械１を認識しているが、第２警報範囲Ｂｂの内側に存在し、作業機械１との距離が近いので、警報を抑制せずに出力する。この場合、警報制御部５６によって、外側警報部６２を含む、すべての外側警報部６０から、警報が出力される。

【0077】

図１２は、実施形態に係る表示部２１の単カメラ画像ＰＤｂの表示例の一例を示す図である。図１２に示す、右後カメラ３２の単カメラ画像ＰＤｂが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態であると判定される。「ケース３」の場合である。人Ｍ１の位置は、例えば、画像の高さ方向に占める人Ｍ１の高さ、又は、画像における人Ｍ１の表示位置によって、判定可能である。人Ｍ１の位置は、例えば、ステレオカメラで撮影された画像に基づいて、判定してもよい。他の単カメラ画像ＰＤｂには、人が表示されていないものとする。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、外側警報部６０のうち外側警報部６３からの警報の出力が抑制される。

【0078】

図１３は、実施形態に係る表示部２１の単カメラ画像の表示例の他の例を示す図である。図１３に示す、右後カメラ３２の単カメラ画像ＰＤｂが表示部２１に表示されている状態では、状態判定部５４によって、人Ｍ１が第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、かつ、検出範囲Ａ２に存在し、人Ｍ１が作業機械１を認識している状態ではないと判定される。「ケース４」の場合である。他の単カメラ画像ＰＤｂには、人が表示されていないものとする。この場合、警報制御部５６によって、状態判定部５４の判定結果に基づいて、すべての外側警報部６０又は検出範囲Ａ２に対応する外側警報部６３から警報を出力する。

【0079】

［周辺監視方法］
図１４は、実施形態に係る周辺監視方法を示すフローチャートである。油圧ショベル１がキーオンされると、周辺監視装置１００が起動する。周辺監視装置１００が起動した直後においては、周辺監視装置１００は、油圧ショベル１の周辺の人の存在によって警報が出力される。

【0080】

カメラ３０は、油圧ショベル１の周辺を撮像する。画像データ取得部５１は、カメラ３０から画像データを取得する（ステップＳＰ１）。

【0081】

表示データ生成部５２は、周辺画像データを生成する。表示データ生成部５２は、複数のカメラ３０が撮影した画像データから俯瞰画像ＰＤａを生成する（ステップＳＰ２）。

【0082】

表示制御部５５は、俯瞰画像ＰＤａを表示部２１に表示させる（ステップＳＰ３）。

【0083】

なお、ステップＳＰ２において単カメラ画像ＰＤｂを生成し、ステップＳＰ３において単カメラ画像ＰＤｂを表示するようにしてもよい。または、ステップＳＰ２で俯瞰カメラ画像ＰＤａ及び単カメラ画像ＰＤｂを生成し、ステップＳＰ３で俯瞰カメラ画像ＰＤａ及び単カメラ画像ＰＤｂを表示するようにしてもよい。

【0084】

人判定部５３は、警報範囲Ｂに人が存在するか否かを判定する（ステップＳＰ４）。より詳しくは、人判定部５３は、画像データから抽出した特徴量と、特徴量記憶部５７に記憶された特徴量とを照合して、警報範囲Ｂに人が存在するか否かを判定する。さらに、人判定部５３は、第１警報範囲Ｂａの外側、第１警報範囲Ｂａの内側かつ第２警報範囲Ｂｂの外側、又は、第２警報範囲Ｂｂの内側のうち、どの範囲に人が存在するかを判定する。さらにまた、人判定部５３は、検出範囲Ａ１、検出範囲Ａ２、検出範囲Ａ３、又は、検出範囲Ａ４のうち、どの範囲に人が存在するかを判定する。

【0085】

人判定部５３によって警報範囲Ｂに人が存在すると判定された場合（ステップＳＰ４でＹｅｓ）、検出範囲ごとに、ステップＳ５ないしステップＳＰ７の処理が実行される。人判定部５３によって警報範囲Ｂに人が存在しないと判定された場合（ステップＳＰ４でＮｏ）、ステップＳＰ７へ進む。

【0086】

人判定部５３によって警報範囲Ｂに人が存在すると判定された場合（ステップＳＰ４でＹｅｓ）、状態判定部５４は、警報を出力する状態であるか否かを判定する（ステップＳＰ５）。より詳しくは、状態判定部５４は、人の顔部又は身体の向きなどに基づいて、人の状態が、人が作業機械１を認識している状態であるか否かを判定する。状態判定部５４は、警報範囲Ｂに複数の人が存在する場合、すべての人について、作業機械１を認識しているか否かを判定する。状態判定部５４によって警報を出力する状態であると判定された場合（ステップＳＰ５でＹｅｓ）、ステップＳＰ６へ進む。状態判定部５４によって警報を出力する状態ではないと判定された場合（ステップＳＰ５でＮｏ）、ステップＳＰ７へ進む。

【0087】

状態判定部５４によって警報を出力する状態であると判定された場合（ステップＳＰ５でＹｅｓ）、警報制御部５６によって警報を出力させる作動指令を出力する（ステップＳＰ６）。警報制御部５６は、作業範囲Ｂに作業機械１を認識していない人が存在する場合、警報を出力する。例えば、警報制御部５６は、人判定部５３によって、人が第２警報範囲Ｂｂの内側に存在すると判定された場合である「ケース１」の場合、内側警報部２４及び外側警報部６０から警報を出力する。または、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲の一人以上の人の状態が、警報を抑制する状態ではないと判定された場合である「ケース４」の場合、その検出範囲を向いて配置された外側警報部６０から警報を出力する。

【0088】

状態判定部５４によって警報を出力する状態ではないと判定された場合（ステップＳＰ５でＮｏ）、警報制御部５６は、警報の出力を停止させる停止指令を出力する（ステップＳＰ７）。ここで、警報を出力する状態ではないとは、警報を出力しないこと、出力を抑制することとを含む。また、停止指令とは、警報の出力を抑制する抑制指令を含む。警報制御部５６は、作業範囲Ｂに人が存在しない場合、または、作業範囲Ｂに作業機械１を認識している人のみが存在する場合（すべての人が作業機械１を認識している場合）、警報の出力を抑制する。例えば、状態判定部５４によって警報を抑制する状態であると判定された場合には、警報制御部５６によって警報の出力を抑制する抑制指令を出力する。より詳しくは、警報制御部５６は、「ケース２」の場合であって、状態判定部５４によって、検出範囲について、その検出範囲のすべての人の状態が、警報を抑制する状態であると判定された場合である「ケース３」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を抑制し、その検出範囲を向いて配置された外側警報部６０からの警報を出力しない。

【0089】

また、人が第２警報範囲Ｂｂの内側に存在する場合、作業機械１の車体の動作を制限するようにしてもよい。

【0090】

上記の処理を繰り返し実行することで、周辺監視装置１００は、油圧ショベル１の周辺監視を行う。これにより、例えば、警報制御部５６は、「ケース２」の場合であって、人判定部５３によって、検出範囲について、その検出範囲に人が存在しないと判定された場合である「ケース５」の場合、その検出範囲を向いて配置された外側警報部６０からの警報の出力を停止する。警報制御部５６は、人判定部５３によって、警報範囲Ｂに人が存在しないと判定された場合である「ケース６」の場合、内側警報部２４からの警報の出力を停止する。

【0091】

なお、図１４に示すフローチャートは一例であり、他の実施形態においては、必ずしもすべてのステップを実行しなくてもよい。例えば、周辺監視装置１００は、ステップＳＰ２、ステップＳＰ３を実行しなくてもよい。

【0092】

［コンピュータシステム］
図１５は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御部２３は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御部２３の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、コンピュータプログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

【0093】

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺の人を検出することと、警報を出力することと、検出した人の状態を判定することと、作業機械１の周辺の人の有無に応じて、警報の出力を制御することと、人の状態の判定結果に応じて、警報の出力を抑制することと、を実行させることができる。

【0094】

このように、例えば、人の顔部が作業機械１を向いている等によって作業機械１を認識していると判定された場合には、警報の出力を抑制する。警報は、内側警報部２４でもよいし、外側警報部６０でもよい。なお、内側警報部２４及び外側警報部６０を両方備えていてもよいし、どちらか一方を備えていてもよい。内側警報部２４及び外側警報部６０を両方備えている場合であって、例えば、人の顔部が作業機械１を向いている等によって作業機械１を認識していると判定された場合には、両方の警報の出力を抑制してもよいし、どちらか一方の警報の出力を抑制してもよい。

【0095】

［効果］
以上説明したように、作業機械１の周辺に人が存在し、人が作業機械１を認識している場合、警報の出力を抑制する。このようにして、実施形態によれば、作業機械１の周辺に人が存在する場合、人の状態に応じて、警報の出力を制御できる。実施形態によれば、必要性の低い警報の出力を抑制できる。

【0096】

実施形態では、作業機械１の外側に向けて警報を出力する外側警報部６０と、作業機械１の運転室６の内側に向けて警報を出力する内側警報部２４とを有する。実施形態は、作業機械１の周辺に人が存在する場合、人の状態に応じて、外側警報部６０による警報の出力を抑制できる。実施形態によれば、運転者には、作業機械１の周辺に人が存在する場合、人の状態によらず、警報を出力できる。

【0097】

実施形態では、作業機械１の外側の異なる方向に向けて警報を出力する、複数の外側警報部６０を含む。実施形態は、複数の外側警報部６０のうち、作業機械１を向いている人が検出された方向に向けて警報を出力する外側警報部６０による警報の出力を抑制できる。実施形態によれば、作業機械１を向いていない人が存在する方向に向けて警報を出力する外側警報部６０からは警報を出力できる。

【0098】

実施形態では、作業機械１の周辺を撮影するカメラ３０が撮影した画像に基づいて、人の状態を判定する。実施形態によれば、人の状態を判定するために、追加のセンサ、又は、カメラなどを設置する必要がない。

【0099】

実施形態では、一度、人が作業機械１を認識していると判定した後、人の顔部又は身体の向きが変わるなどした場合でも、人が作業機械１を継続して認識していると判定する。本実施形態によれば、人と作業機械１との相対位置が変化した場合に、より適切に警報の出力を抑制できる。より詳しくは、人が作業機械１を認識していると判定した後に、例えば、人が移動する場合や、作業機械１の車体位置が変化することで、人と作業機械１との相対位置が変化する毎に、警報の出力、抑制が変化し、警報が煩わしくなることを防止できる。また、本実施形態によれば、作業機械１が揺れた場合や、作業機械１が掘削積み込み等の決まった動作をして、人が作業機械１を認識していると判定された状態と人が作業機械１を認識していると判定されない状態の境界がばらつくような場合に、警報が出力されたり抑制されたりすることが繰り返され、煩わしくなることを防止できる。

【0100】

実施形態では、人が作業機械１を継続して認識していると判定している場合において、作業機械１の車体が動作して、車体位置が変化したり、旋回角度が変化したりした場合、人が作業機械１を継続して認識していると判定することを終了する。本実施形態によれば、人と作業機械１との相対的な位置関係が変化した場合、適切に警報を出力できる。

【0101】

［その他の実施形態］
上述の実施形態においては、検出部が作業機械1の周辺を撮影するカメラ３０であることとした。検出部は、カメラ３０に限定されない。検出部は、油圧ショベル１に設けられたステレオカメラでもよいし、レーダ装置でもよいしレーザ装置でもよい。

【0102】

上述の実施形態においては、周辺監視モニタ２０が、表示部２１と操作部２２と制御部２３と内側警報部２４とを含むこととした。表示部２１と操作部２２と制御部２３と内側警報部２４は、一部が別体でもよいし、それぞれが別体でもよい。例えば、表示部２１は、タブレット型パーソナルコンピュータのように、作業機械の外部に設けられる表示部であってもよい。なお、周辺監視モニタ２０の外に設ける操作部２２は、運転室６内の他の場所に配置してもよいし、運転室６の外部に設けるようにしてもよい。また、周辺監視モニタ２０が含む操作部２２に加えて上記の操作部２２を設けるようにしてもよい。

【0103】

上記の実施形態においては、外側警報部６０は複数設置されているものとしたが、これに限定されず、外側警報部６０は１つでもよい。外部警報ユニット６００は、１つの外側警報部６０で構成されてもよい。

【0104】

上述の実施形態においては、内側警報部２４及び外側警報部６０はブザーを出力することとした。内側警報部２４及び外側警報部６０は、音声出力装置であってもよい。この場合、警報は、音声出力装置から出力される音声であってもよい。また、内側警報部２４及び外側警報部６０は、警告灯であってもよい。

【0105】

上記の実施形態においては、周辺表示データは、俯瞰画像ＰＤａと単カメラ画像ＰＤｂとを含むとして説明したが、これに限定さない。周辺表示データは、俯瞰画像ＰＤａと単カメラ画像ＰＤｂとのどちらか一方でもよい。また、上記の実施形態においては、周辺表示データが表示されるものとして説明したが、周辺表示データは表示されなくてもよい。

【0106】

また、上述した実施形態に係る周辺監視装置１００は、１台の周辺監視装置１００が作業機械１に設置されるものとして説明したが、他の実施形態においては、周辺監視装置１００の一部の構成を他の制御装置に配置し、２台以上の周辺監視装置１００からなる周辺監視システムによって実現されてもよい。なお、上述の実施形態に示す１台の周辺監視装置１００も、周辺監視システムの一例である。

【0107】

また、上述した実施形態に係る周辺監視装置１００は、作業機械１に設置されるものとして説明したが、他の実施形態においては、周辺監視装置１００の一部、又は全部の構成が作業機械１の外部に設置されてもよい。例えば、他の実施形態においては、周辺監視装置１００は、遠隔操作に係る作業機械１を制御するものであってもよい。

【0108】

上述の実施形態において、油圧ショベル１は、鉱山などで使用されるマイニング用油圧ショベルでもよいし、建設現場において用いられる油圧ショベルでもよい。また、ダンプトラックや、ホイールローダや他の作業機械用の周辺監視システムに適用可能である。

【符号の説明】

【0109】

１…油圧ショベル（作業機械）、１Ｓ…シンボル画像、２…下部走行体、３…上部旋回体、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…運転室、９…運転シート、１０…操作部、１１…左作業レバー、１２…右作業レバー、１３…左走行レバー、１４…右走行レバー、１５…左フットペダル、１６…右フットペダル、２０…周辺監視モニタ、２１…表示部、２２…操作部、２３…制御部、２４…内側警報部（警報部）、３０…カメラ（検出部）、３１…後カメラ、３２…右後カメラ、３３…右前カメラ、３４…左後カメラ、４１…演算処理部、４２…記憶部、４３…入出力インターフェース、５１…画像データ取得部、５２…表示データ生成部、５３…人判定部、５４…状態判定部、５５…表示制御部、５６…警報制御部、５７…特徴量記憶部、５８…警報範囲記憶部、６０…外側警報部（警報部）、６１…外側警報部、６２…外側警報部、６３…外側警報部、６４…外側警報部、１００…周辺監視装置、３００…カメラシステム、６００…外側警報ユニット、１０００…コンピュータシステム、１００１…プロセッサ、１００２…メインメモリ、１００３…ストレージ、１００４…インターフェース、Ａ…検出範囲、Ａ１…検出範囲、Ａ２…検出範囲、Ａ３…検出範囲、Ａ４…検出範囲、ＡＸ…ブーム回転軸、Ｂ…警報範囲、Ｂａ…第１警報範囲、Ｂｂ…第２警報範囲、ＢＸ…アーム回転軸、ＣＸ…バケット回転軸、ＰＤａ…俯瞰画像、ＰＤｂ…単カメラ画像、ＲＸ…旋回軸。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】