特許 7623105 作業機械および検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-20

(45)【発行日】2025-01-28

(54)【発明の名称】作業機械および検出方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250121BHJP

   G08B 25/00 20060101ALI20250121BHJP

   G08B 25/04 20060101ALI20250121BHJP

   G08B 21/02 20060101ALI20250121BHJP

   H04N 7/18 20060101ALI20250121BHJP

【ＦＩ】

G08G1/16 C

G08B25/00 510M

G08B25/04 K

G08B21/02

H04N7/18 J

【請求項の数】 9

(21)【出願番号】P 2020065033

(22)【出願日】2020-03-31

(65)【公開番号】P2021163260

(43)【公開日】2021-10-11

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000001236

【氏名又は名称】株式会社小松製作所

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】江口 太郎

(72)【発明者】

【氏名】中沢 浩一

(72)【発明者】

【氏名】栗原 毅

(72)【発明者】

【氏名】下屋 芳之

【審査官】佐々木 佳祐

(56)【参考文献】

【文献】特開２００７－０８５０９１（ＪＰ，Ａ）

【文献】特開２０１４－０５２８８３（ＪＰ，Ａ）

【文献】特開２０１０－１９８５１９（ＪＰ，Ａ）

【文献】特開２０１７－０３３０４７（ＪＰ，Ａ）

【文献】特開２０１９－１７６４２３（ＪＰ，Ａ）

【文献】特開昭６３－２４５１７９（ＪＰ，Ａ）

【文献】特開２０１７－１１７１４７（ＪＰ，Ａ）

【文献】特開２０１１－０３４３５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０８Ｂ ２５／００

Ｇ０８Ｂ ２５／０４

Ｇ０８Ｂ ２１／０２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

作業機械であって、
走行体と、
前記走行体に旋回可能に支持される旋回体と、
前記旋回体に設けられ、前記作業機械の周囲を撮像するための複数のカメラと、
前記複数のカメラから、撮像データを取得する取得部と、
前記撮像データと、危険行為の特徴を表す特徴データとの比較によって、前記作業機械の周囲に危険行為をしている人が存在するか否かを判定する危険行為判定部と
を備える作業機械。

【請求項2】

前記撮像データから人に相当する部分を抽出する抽出部を備え、
前記危険行為判定部は、抽出された前記部分に写る人が前記危険行為をしているか否かを判定する
請求項１に記載の作業機械。

【請求項3】

前記旋回体に設けられ、前記作業機械の外部に向けて音声を出力するためのスピーカと、
前記危険行為をしている人が存在すると判定された場合に、前記スピーカから警告を出力する警告部と、
を備える請求項１に記載の作業機械。

【請求項4】

前記警告部は、前記危険行為の種類に対応する音声を前記警告として出力する
請求項３に記載の作業機械。

【請求項5】

作業機械であって、
走行体と、
前記走行体に旋回可能に支持される旋回体と、
前記旋回体に設けられ、前記作業機械の周囲を撮像するための複数のカメラと、
前記複数のカメラから、撮像データを取得する取得部と、
前記撮像データに基づいて、前記作業機械の周囲に危険行為をしている人が存在するか否かを判定する危険行為判定部と、
前記危険行為をしている人が存在すると判定された場合に、判定に係る前記撮像データを記録する記録部と、
を備える作業機械。

【請求項6】

前記記録部は、前記撮像データに関連付けて、前記危険行為に係るデータを記録する 請求項５に記載の作業機械。

【請求項7】

前記危険行為は、保護具の不着用を含む
請求項１から請求項６の何れか１項に記載の作業機械。

【請求項8】

走行体と、前記走行体に旋回可能に支持される旋回体とを備える作業機械のための検出方法であって、
前記旋回体に設けられ、前記作業機械の周囲を撮像するための複数のカメラから撮像データを取得するステップと、
前記複数のカメラから取得した前記撮像データと、危険行為の特徴を表す特徴データとの比較によって、前記作業機械の周囲に危険行為をしている人が存在するか否かを判定するステップと
を備える検出方法。

【請求項9】

人を検出するための人辞書データに基づいて、前記撮像データから人に相当する部分を抽出する抽出部を備え、
前記危険行為判定部は、危険行為を検出するための前記特徴データを格納する危険行為辞書データに基づいて、抽出された前記部分に写る人が危険行為をしているか否かを判定する
請求項１に記載の作業機械。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、作業機械および検出方法に関する。

【背景技術】

【0002】

特許文献１には、作業機械の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、周囲の障害物を検知する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－０３５７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

作業機械が稼働する現場において、作業者の安全のために、ヘルメットや安全ベストなどの保護具の不着用や、スマートフォンを操作しながらの歩行などの危険行為を忌避することが重要である。そのため監督者は、現場において危険行為がなされていないか常に注意を払う必要があり、監督者に係る負担が大きい。
本開示の目的は、危険行為の有無を容易に検出することができる作業機械および検出方法を提供することにある。

【課題を解決するための手段】

【0005】

第１の態様によれば、検出システムは、現場を撮像する撮像装置から、撮像データを取得する取得部と、前記撮像データに基づいて、前記現場における危険行為をしている人が存在するか否かを判定する危険行為判定部とを備える。

【発明の効果】

【0006】

上記態様によれば、検出システムを用いることで危険行為の有無を容易に検出することができる。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る作業機械の構成を示す概略図である。

【図2】第１の実施形態に係る作業機械が備える複数のカメラの撮像範囲を示す図である。

【図3】第１の実施形態に係る運転室の内部の構成を示す図である。

【図4】第１の実施形態に係る制御装置の構成を示す概略ブロック図である。

【図5】第１の実施形態に係る危険行為辞書データが記憶する情報の例を示す図である。

【図6】第１の実施形態に係る制御装置の動作を示すフローチャートである。

【図7】第１の実施形態に係るカメラによる撮像画像の例を示す図である。

【発明を実施するための形態】

【0008】

〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
第１の実施形態に係る検出システムは、現場に配置される作業機械１００によって実現される。

【0009】

《作業機械１００の構成》
図１は、第１の実施形態に係る作業機械１００の構成を示す概略図である。
作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業機械１００は、例えば油圧ショベルである。作業機械１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。なお、作業機械１００は、現場を鉱山とし、鉱山において稼働するマイニングショベルなどの鉱山向けの作業機械であってもよい。
走行体１１０は、作業機械１００を走行可能に支持する。走行体１１０は、例えば左右一対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。

【0010】

《旋回体１２０の構成》
旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ１２１および作業機械１００の外部に向けて音声を出力するスピーカ１２２が設けられる。スピーカ１２２の例としてはホーンスピーカが挙げられる。図２は、第１の実施形態に係る作業機械１００が備える複数のカメラ１２１の撮像範囲を示す図である。

【0011】

具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方領域Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方領域Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方領域Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方領域Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業機械１００の全周のうち、運転室１４０から視認可能な左前方領域Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。

【0012】

なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。また、他の実施形態においては、複数のカメラ１２１を用いて、作業機械１００の全周囲を撮像範囲とするようにしてもよい。例えば、左前方範囲Ｒｅを撮像する左前方カメラを備えて、作業機械１００の全周囲を撮像範囲としてもよい。

【0013】

《作業機１３０の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。

【0014】

ブーム１３１の基端部は、旋回体１２０にブームピン１３１Ｐを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。

【0015】

ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。

【0016】

《運転室１４０の構成》
図３は、第１の実施形態に係る運転室１４０の内部の構成を示す図である。
運転室１４０内には、運転席１４１、操作装置１４２および制御装置１４３が設けられる。

【0017】

操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。

【0018】

左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。

【0019】

左操作レバー１４２ＬＯは、旋回体１２０の旋回動作、及び、アーム１３２の引き／押し動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２が押し動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が引き動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が引き動作または押し動作してもよい。

【0020】

右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。

【0021】

左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。

【0022】

左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左側履帯は前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左側履帯は後進方向に回転する。

【0023】

右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右側履帯は前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右側履帯は後進方向に回転する。

【0024】

制御装置１４３は、作業機械１００が有する複数の機能に係る情報を表示するディスプレイ１４３Ｄを備える。制御装置１４３は、表示システムの一例である。また、ディスプレイ１４３Ｄは、表示部の一例である。第１の実施形態に係る制御装置１４３の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。また、第１の実施形態に係る制御装置１４３は、ディスプレイ１４３Ｄと一体に設けられるが、他の実施形態においては、ディスプレイ１４３Ｄが制御装置１４３と別個に設けられていてもよい。なお、ディスプレイ１４３Ｄと制御装置１４３とが別個に設けられる場合、ディスプレイ１４３Ｄは運転室１４０の外に設けられてもよい。この場合、ディスプレイ１４３Ｄはモバイルディスプレイであってよい。また、作業機械１００が遠隔操作によって駆動する場合、ディスプレイ１４３Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設けられてもよい。
なお、制御装置１４３は、単独のコンピュータによって構成されるものであってもよいし、制御装置１４３の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで検出システムとして機能するものであってもよい。すなわち、作業機械１００は、制御装置１４３として機能する複数のコンピュータを備えてもよい。なお、上述の１台の制御装置１４３も、検出システムの１例である。

【0025】

《制御装置１４３の構成》
図４は、第１の実施形態に係る制御装置１４３の構成を示す概略ブロック図である。
制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。

【0026】

カメラ１２１およびスピーカ１２２は、インタフェース２７０を介してプロセッサ２１０に接続される。
ストレージ２５０の例としては、光ディスク、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業機械１００の周囲監視を実現するためのプログラムを記憶する。また、ストレージ２５０には、ディスプレイ１４３Ｄに表示させるためのアイコンを含む複数の画像が予め記憶されている。

【0027】

プログラムは、制御装置１４３に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４３は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

【0028】

また、ストレージ２５０は、人を検出するための人辞書データＤ１と、危険行為を検出するための危険行為辞書データＤ２とを記憶する。
人辞書データＤ１は、例えば人が写る複数の既知の画像それぞれから抽出された特徴量の辞書データであってよい。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）などが挙げられる。

【0029】

図５は、第１の実施形態に係る危険行為辞書データＤ２が記憶する情報の例を示す図である。
危険行為辞書データＤ２は、検出すべき危険行為の種類別に、危険行為をしている人の特徴を示す特徴データと警告データとを記憶する。危険行為の例としては、ヘルメットの不着用、安全ベストの不着用、作業機械１００の昇降時の三点支持の不実施、スマートフォンを操作しながらの歩行、走ること、ポケットに手を入れながらの歩行などが挙げられる。なお、三点支持とは、作業機械１００の足掛け部に片足をかけ、作業機械１００の手掛け部を両手で握ることにより、体を支えることである。危険行為をしている人の特徴データは、例えば画像の特徴量によって表されてもよいし、人の骨格姿勢を示すスケルトンデータによって表されてもよい。なお、安全ベストとは、視認性を高めて接触事故を防止する等の安全のための作業衣で、例えば、反射板が取り付けられた作業衣である。また、安全ベストの代わりに、反射板が取り付けられた安全ズボンを用いてもよい。

【0030】

また、危険行為辞書データＤ２は、危険行為をしている人の特徴データに関連付けて、さらに追加条件を記憶してもよい。特徴データに追加条件が関連付けられている場合には、特徴データにマッチする特徴が検出され、かつ当該追加条件を満たすときに、危険行為をしている人が存在すると判定される。特徴データに追加条件が関連付けられていない場合には、特徴データにマッチする特徴が検出されたときに、危険行為をしている人が存在すると判定される。

【0031】

例えば、ヘルメットや安全ベスト、安全ズボンなどの保護具の不着用に係る特徴を示すデータは、保護具を着用していない人の画像の特徴量によって表されてよい。なお、当該特徴量は、人の全身の画像でなく、保護具の装着箇所の画像の特徴量によって表されてよい。例えば、ヘルメットの不着用に係る特徴を示すデータは、人の頭部の画像の特徴量によって表され、安全ベストの不着用に係る特徴を示すデータは、人の胴部の画像の特徴量によって表されてよい。

【0032】

また例えば、三点支持の不実施に係る特徴データは、作業機械１００の外側を向く人の頭部の画像の特徴量によって表されてよい。当該特徴データには、人が作業機械１００の運転室１４０の近傍に存在することを示す追加条件が関連付けられる。これは、作業機械１００から飛び降りる人を検出するためである。

【0033】

また例えば、スマートフォンを操作しながらの歩行に係る特徴を示すデータは、スマートフォンを操作する人の姿勢を表すスケルトンデータによって表されてよい。すなわち、頭部が下がり、手が胸の前方に位置させる姿勢を表すスケルトンデータによって表されてよい。当該特徴データには、人が第１速度以上の速度で移動していることを示す追加条件が関連付けられる。

【0034】

また例えば、走ることに係る特徴を示すデータは、走っている人の姿勢を表すスケルトンデータによって表されてよい。当該特徴データには、人が第２速度以上の速度で移動していることを示す追加条件が関連付けられる。第２速度は第１速度より速い。

【0035】

また例えば、ポケットに手を入れながらの歩行に係る特徴を示すデータは、ポケットに手を入れながら歩行している人の姿勢を表すスケルトンデータによって表されてよい。すなわち、腕が腰の近傍で固定されている姿勢を表すスケルトンデータによって表されてよい。当該特徴データには、人が第１速度以上の速度で移動していることを示す追加条件が関連付けられる。

【0036】

なお、他の実施形態においては、スマートフォンを操作しながらの歩行に係る特徴を示すデータ、走ることに係る特徴を示すデータ、ポケットに手を入れながらの歩行に係る特徴を示すデータは、スケルトンデータで表されなくてもよい。例えば、画像を用いて、パターンマッチングや機械学習に基づく判別器などを用いてスマートフォンを操作しながらの歩行、走ること、ポケットに手を入れながらの歩行などを検出する場合には、特徴を示すデータとして画像の特徴量が危険行為辞書データＤ２に格納されてもよい。

【0037】

警告データは、危険行為の種類によって異なる。警告データは、予め所定の音声を録音した音声データであってもよい。また、警告データは、ディスプレイに表示する警告を示す画像やテキストデータであってもよい。また、警告データは、警告灯のような光であってもよい。なお、図５に示す例では、警告データは、危険行為の種類によって異なるが、これに限られない。他の実施形態においては、警告データは、共通の警告データであってもよい。例えば、「危険行為をしないでください」、「安全ルールに従ってください」、注意を示すアイコン、危険を示すアイコン、画面のブリンク表示等の危険行為の種類によらず共通に注意を促すものであってもよい。

【0038】

なお、危険行為辞書データＤ２に格納される危険行為の種類、特徴データ、および追加条件は、現場によって異なっていてよい。例えば、一の現場においてスマートフォンを操作しながらの歩行が禁止され、立ち止まってスマートフォンを操作する行為は禁止されていない場合に、他の現場においてスマートフォンの操作そのものが禁止されていてもよい。危険行為は、現場においてルールとして規定されていてもよい。

【0039】

プロセッサ２１０は、プログラムを実行することで、取得部２１１、抽出部２１２、危険行為判定部２１３、警告部２１４、記録部２１５、送信部２１６を備える。

【0040】

取得部２１１は、複数のカメラ１２１から撮像画像を取得する。
抽出部２１２は、人辞書データＤ１に基づいて、取得部２１１が取得した撮像画像から人が写る部分画像を抽出する。人の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。
なお、第１の実施形態においては、抽出部２１２は、画像の特徴量を用いて人を抽出するが、これに限られない。例えば、他の実施形態においては、抽出部２１２は、ＬｉＤＡＲ（Light Detection and Ranging）の計測値などに基づいて人を抽出してもよい。

【0041】

危険行為判定部２１３は、撮像データである危険行為辞書データＤ２と抽出部２１２が抽出した部分画像とに基づいて、抽出部２１２が抽出した人が危険行為をしているか否かを判定する。危険行為判定部２１３は、人が危険行為をしていると判定する場合、当該危険行為の種類を特定する。
警告部２１４は、危険行為判定部２１３によって人が危険行為をしていると判定された場合に、スピーカ１２２から警告音声を出力させる。

【0042】

記録部２１５は、危険行為判定部２１３によって人が危険行為をしていると判定された場合に、ストレージ２５０に、取得部２１１が取得した撮像画像、撮像時刻、撮像位置、および危険行為の種類を関連付けた危険行為履歴データを記憶させる。なお、危険行為履歴データは、必ずしも撮像画像、撮像時刻、撮像位置、および危険行為の種類のすべてを関連付けたものでなくてもよく、撮像画像に、撮像時刻、撮像位置、危険行為の種類、および他の危険行為に係るデータの少なくとも１つを関連付けたものであってよい。また、撮像時刻、撮像位置、危険行為の種類、および他の危険行為に係るデータの少なくとも１つを記憶させるようにしてもよい。また、危険行為の回数を記憶するようにし、例えば、危険行為の種類毎に危険行為の回数を記憶させるようにしてもよい。
送信部２１６は、記録部２１５が記憶する危険行為履歴データを図示しないサーバ装置に送信する。また、送信部２１６は、必ずしも撮像画像、撮像時刻、撮像位置、および危険行為の種類のすべてを送信するものでなくてもよく、危険行為履歴データの一部を送信するものであってもよい。例えば、危険行為の回数や、危険行為の種類毎の回数を示す情報を送信するものであってもよい。

【0043】

《危険行為の検出方法》
図６は、第１の実施形態に係る制御装置１４３の動作を示すフローチャートである。
制御装置１４３が周囲監視処理を開始すると、図６に示す処理を繰り返し実行する。

【0044】

取得部２１１は、複数のカメラ１２１から撮像画像を取得する（ステップＳ１）。次に、抽出部２１２は、ステップＳ１で取得した各撮像画像について、人辞書データＤ１を用いて人が写る部分画像の抽出処理を実行し、１つ以上の部分画像が抽出されたか否かを判定する（ステップＳ２）。人が写る部分画像が抽出されない場合（ステップＳ２：ＮＯ）、危険行為をする人が存在しないため、制御装置１４３は処理を終了する。

【0045】

人が写る部分画像が抽出された場合（ステップＳ２：ＹＥＳ）、危険行為判定部２１３は、ステップＳ２で抽出された１つ以上の部分画像を１つずつ選択し、以下のステップＳ４からステップＳ１４の処理を実行する（ステップＳ３）。
危険行為判定部２１３は、危険行為辞書データＤ２が記憶する危険行為の種類を１つずつ選択し、以下のステップＳ５からステップＳ１４の処理を実行する（ステップＳ４）。

【0046】

危険行為判定部２１３は、ステップＳ４で選択した種類に関連付けられた特徴データを特定し、ステップＳ３で選択した部分画像から同じ種類の特徴データを生成する（ステップＳ５）。危険行為判定部２１３は、ステップＳ４で選択した種類に関連付けられた特徴データと、ステップＳ５で生成した部分画像の特徴データとの類似度を算出する（ステップＳ６）。危険行為判定部２１３は、特徴データの類似度が所定の閾値以上か否かを判定する（ステップＳ７）。

【0047】

危険行為判定部２１３は、特徴データの類似度が所定の閾値以上か否かを判定する（ステップＳ７）。特徴データの類似度が閾値以上である場合（ステップＳ７：ＹＥＳ）、危険行為判定部２１３は、当該特徴データに関連付けられた追加条件があるか否かを判定する（ステップＳ８）。追加条件がある場合（ステップＳ８：ＹＥＳ）、危険行為判定部２１３は、ステップＳ３で選択した部分画像が当該追加条件を満たすか否かを判定する（ステップＳ９）。なお、追加条件が速度に係る条件である場合、危険行為判定部２１３は、例えば、前回の撮像画像において抽出された部分画像の位置と、ステップＳ３で選択した部分画像の位置との距離が所定距離以上であるか否かを判定する。

【0048】

追加条件を満たす場合（ステップＳ９：ＹＥＳ）、またはマッチする特徴データに追加条件がない場合（ステップＳ８：ＮＯ）、危険行為判定部２１３は、ステップＳ３で選択した部分画像に係る人が、ステップＳ４で選択した種類の危険行為をしていると判定する（ステップＳ１０）。警告部２１４は、ステップＳ４で選択した種類の危険行為に関連付けられた警告データに基づいて、スピーカ１２２から警告音声を出力する（ステップＳ１１）。

【0049】

記録部２１５は、動画像の記録を開始する（ステップＳ１２）。すなわち、記録部２１５は、ステップＳ１０で危険行為をしていると判定してから一定時間の間、カメラ１２１の撮像画像を記録することで、動画像を生成する。当該動画像には、危険行為をしている人が写る。そして、ストレージ２５０に、ステップＳ１１で生成した動画像、撮像時刻、撮像位置、およびステップＳ１０で特定した危険行為の種類を関連付けた危険行為履歴データを記憶させる（ステップＳ１３）。なお、ストレージ２５０に記録された危険行為履歴データは、後に送信部２１６によってサーバ装置に送信される。なお、撮像位置は、例えば撮像時に作業機械１００の図示しないＧＮＳＳ測位装置により取得された位置データによって表される。

【0050】

他方、追加条件を満たさない場合（ステップＳ９：ＮＯ）、または特徴データの類似度が閾値未満である場合（ステップＳ７：ＮＯ）、危険行為判定部２１３は、ステップＳ３で選択した部分画像に係る人が、ステップＳ４で選択した種類の危険行為をしていないと判定する（ステップＳ１４）。

【0051】

なお、図６に示す処理は、一例にすぎず、他の実施形態においては、制御装置１４３は、図６と異なる処理を行ってもよい。例えば、他の実施形態に係る危険行為辞書データＤ２は、追加条件を持たなくてもよい。この場合、制御装置１４３は、ステップＳ８およびＳ９の判定を行わなくてもよい。また、他の実施形態においては、制御装置１４３は、ステップＳ１１の警告音声の出力およびステップＳ１３の動画像の記録の少なくとも一方を行わなくてもよい。また、他の実施形態においては、警告はディスプレイ１４３Ｄへの表示や警告灯の発光など、音声によるものでなくてもよい。また、ステップＳ３およびステップＳ４の少なくとも一方のループ処理は、並列処理によって実現されてもよい。

【0052】

《作用・効果》
このように、制御装置１４３は、撮像画像に写る人が危険行為をしている場合に、当該危険行為を判定することができる。これにより、制御装置１４３は、監督者が現場において危険行為に注意を払う負担を軽減することができる。、また、制御装置１４３は、危険行為を判定した場合に、警告を出力することができる。例えば、警告音声を作業機械１００の外へ向けて出力することができる。これにより、作業機械１００の近傍において危険行為をしている作業者は、自身の危険行為に気付くことができ、また他の作業者に対しても、危険行為の注意喚起をすることができる。例えば、警告画像をディスプレイ１４３Ｄに表示することができる。これにより、作業機械１００のオペレータに注意喚起をすることができる。

【0053】

また、制御装置１４３は、危険行為に係るデータをストレージ２５０に記録することができる。例えば、危険行為の場面を写した動画像をストレージ２５０に記録することできる。これにより、危険行為があった場面を記憶することができる。また、制御装置１４３は、危険行為に係るデータをサーバ装置に送信することができる。例えば、危険行為の場面を写した動画像をサーバ装置に送信することができる。これにより、後に現場の監督者が動画像を確認することで、実際に危険行為があったか否かを確認することができる。

【0054】

《動作例》
図７は、第１の実施形態に係るカメラ１２１による撮像画像の例を示す図である。
カメラ１２１が図６に示すような撮像画像を得ると、制御装置１４３の抽出部２１２は、ステップＳ２において２つの部分画像Ｇ１、Ｇ２を抽出する。まず、危険行為判定部２１３は、部分画像Ｇ１に関して、危険行為の種類それぞれについて、ステップＳ５からステップＳ１４の処理を実行する。このとき、危険行為判定部２１３は、ステップＳ５からステップＳ７において「安全ベストの不着用」に係る特徴データと、部分画像Ｇ１の胴部Ｇ１１の特徴データとを比較し、類似度が高いと判定する。「安全ベストの不着用」に係る特徴データには、追加条件が関連付けられていないため、危険行為判定部２１３は、ステップＳ１０において部分画像Ｇ１に係る人が危険行為をしていると判定する。そのため、警告部２１４は、スピーカ１２２から「安全ベストを着用してください。」との警告音声を出力する。また、記録部２１５は、図６に示す画像を含む動画像を、ストレージ２５０に記録する。

【0055】

また、危険行為判定部２１３は、部分画像Ｇ２に関して、危険行為の種類それぞれについて、ステップＳ５からステップＳ１４の処理を実行する。危険行為判定部２１３は、「安全ベストの不着用」に係る特徴データと、部分画像Ｇ１の胴部Ｇ２１の特徴データとを比較し、類似度が低いと判定する。同様に、他の危険行為の種類についてもステップＳ５からステップＳ１４の処理を実行し、いずれの危険行為においても類似度が低く、追加条件を満たさないので、危険行為判定部２１３は、ステップＳ１４において部分画像Ｇ２に係る人が危険行為をしていないと判定する。

【0056】

《他の実施形態》
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。

【0057】

上述した実施形態では、作業機械１００が複数のカメラ１２１およびスピーカ１２２を備えるが、これに限られない。例えば、他の実施形態においては、カメラやスピーカが作業機械１００の外部に設けられてもよい。外部に設けられるスピーカおよびカメラの例としては、現場に設置されたスピーカおよびカメラ、他の作業機械１００が備えるスピーカおよびカメラなどが挙げられる。

【0058】

上述した実施形態に係る検出システムは、作業機械１００の外部に設けられてもよい。
また、他の実施形態においては、検出システムを構成する一部の構成が作業機械１００の内部に搭載され、他の構成が作業機械１００の外部に設けられてもよい。例えば、ディスプレイ１４３Ｄは作業機械１００と遠隔に設けられた遠隔操作室に設ける構成とした検出システムとしてもよい。また、他の実施形態においては、上記の複数のコンピュータまたは上記の単独のコンピュータが、すべて作業機械１００の外部に設けられてもよい。例えば、検出システムが、制御装置１４３に代えて、または制御装置１４３に加えて、現場に設置された定点カメラと管理室等に設けられた１または複数のコンピュータとの組み合わせを備えてもよい。この場合、作業機械１００の外部に設けられたコンピュータは、図４に示す制御装置１４３の一部または全部と同様の構成を備える。作業機械１００の外部に設けられたコンピュータは、定点カメラから得られた撮像画像に基づいて、図６に示す処理を行ってもよい。

【0059】

また、上述した実施形態に係る検出システムは、作業機械１００のスピーカ１２２から警告音声を出力し、作業機械１００の近傍において危険行為をしている作業者や、監督者に注意喚起するが。これに限られない。例えば、他の実施形態の検出システムは、運転室１４０の内部にスピーカを設け、オペレータに注意喚起するものであってもよい。なお、スピーカは、運転室内に設けたブザーや、運転室内のディスプレイ１４３Ｄに一体型のスピーカを設け、当該スピーカを用いて、オペレータに注意喚起するようにしてもよい。
また、上述した実施形態に係る検出システムは、作業機械１００のスピーカ１２２から警告音声を出力するが、これに限られない。例えば、他の実施形態の検出システムは、現場に設けられた固定スピーカに警告音声を出力させてもよい。また他の実施形態によれば、作業機械１００の検出システムが車車間通信により他の作業機械１００のスピーカ１２２に警告音声を出力させてもよい。

【0060】

また、上述した実施形態では、作業機械１００の外の危険行為をしている人を判定する例について説明したが、これに限られない。例えば、他の実施形態では、作業機械１００の中の人の危険行為を判定するようにしてもよい。例えば、オペレータを撮像できるように運転室１４０の内部にカメラを設けて、検出システムがオペレータの危険行為を判定するようにしてもよい。この場合、運転室に設けたスピーカから警告音声を出力し、またはディスプレイ１４３Ｄに警告を示す画像やテキストを表示することで注意喚起することできる。

【0061】

また、上述した実施形態に係る検出システムは、人を抽出した後に、当該人について危険行為の有無を判定するが、これに限られない。例えば、他の実施形態においては、撮像画像全体から、危険行為をする人の有無を推定する学習済みモデルを用いて、撮像画像から直接危険行為をする人の有無を推定してもよい。

【0062】

また、上述した実施形態に係る検出システムは、上述のステップＳ１２において危険行為の場面を写す動画像を記録するが、これに限られない。例えば、他の実施形態に係る検出システムは、ステップＳ１で取得した撮像画像、すなわち静止画像を記録してもよい。

【0063】

また、上述の実施形態に係る検出システムは、危険行為の種類に応じた警告音声を出力するが、これに限られない。例えば、他の実施形態に係る検出システムは、危険行為の種類によらずクラクション音を出力してもよい。

【0064】

また、他の実施形態においては、検出システムは、危険行為をしている人の危険度を算出し、当該危険度に基づいて前記警告を出力するか否かを判定してもよい。例えば、危険行為をしている人と作業機１３０の旋回中心からの距離とに基づいて危険度を算出し、危険度が閾値を超える場合に、警告を出力してもよい。
また、他の実施形態においては、検出システムは、検出システムは、ディスプレイ１４３Ｄと、スピーカ１２２のうち、ディスプレイ１４３Ｄのみを設ける構成としてもよい。この場合、作業機１３０のオペレータや、現場の監督者は、ディスプレイ１４３Ｄに表示される警告を示す画像やテキストをもとに注意喚起することができる。

【0065】

また、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。

【符号の説明】

【0066】

１００…作業機械 １１０…走行体 １２０…旋回体 １２１…カメラ １３０…作業機 １４３…制御装置 ２１１…取得部 ２１２…抽出部 ２１３…危険行為判定部 ２１４…警告部 ２１５…記録部 ２１６…送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】