特許 7523180 作業機械の安全装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】作業機械の安全装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240719BHJP

   G06V 10/82 20220101ALI20240719BHJP

   B60R 1/22 20220101ALI20240719BHJP

   B66F 9/24 20060101ALI20240719BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

B60R1/22

B66F9/24 Z

【請求項の数】 8

(21)【出願番号】P 2023221168

(22)【出願日】2023-12-27

【審査請求日】2024-02-05

【早期審査対象出願】

(73)【特許権者】

【識別番号】509122887

【氏名又は名称】株式会社レグラス

(74)【代理人】

【識別番号】110003546

【氏名又は名称】弁理士法人伊藤ＩＰ特許事務所

(72)【発明者】

【氏名】酒井 将

(72)【発明者】

【氏名】佐々木 翔

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１２－０２２５０４（ＪＰ，Ａ）

【文献】特開２０１７－２１７４７２（ＪＰ，Ａ）

【文献】特開２０１８－１５２０３８（ＪＰ，Ａ）

【文献】特開２０２２－１５５５８４（ＪＰ，Ａ）

【文献】特開２０２３－１７６４４１（ＪＰ，Ａ）

【文献】特開２０１９－０４０４６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｂ６０Ｒ １／２２ － １／２８

Ｂ６６Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

作業機械に設置され、該作業機械の乗員を撮影する撮影装置と、
前記撮影装置によって撮影された前記乗員の画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記プロセッサは、
前記撮影画像データから前記乗員による前記作業機械の運転行動を抽出する抽出処理と、
抽出された前記運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する判定処理と、
前記判定処理によって前記運転行動が前記安全運転行動パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させる発報制御処理と、を実行し、
前記安全運転行動パターンは、前記乗員による前記作業機械の作動前の指差呼称であって、
前記プロセッサは、
前記運転行動として前記乗員の指差し行動を抽出し、
抽出された前記乗員の指差し行動が、前記指差呼称の実施パターンに属しているか否かを判別し、
前記乗員の指差し行動が前記指差呼称の実施パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させる、
作業機械の安全装置。

【請求項2】

作業機械に設置され、該作業機械の乗員を撮影する撮影装置と、
前記撮影装置によって撮影された前記乗員の画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記プロセッサは、
前記撮影画像データから前記乗員による前記作業機械の運転行動を抽出する抽出処理と、
抽出された前記運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する判定処理と、
前記判定処理によって前記運転行動が前記安全運転行動パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させる発報制御処理と、を実行し、
前記作業機械は、フォークリフトであって、
前記撮影装置は、前記フォークリフトによって移動せしめられる荷物を含んで該フォークリフトの周囲も撮影可能に構成され、
前記安全運転行動パターンは、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認であって、
前記プロセッサは、
前記運転行動として前記乗員の顔の向きを抽出し、
前記撮影装置によって撮影された前記フォークリフトの爪の画像データに基づいて、該フォークリフトの爪の前記荷物への挿入率を取得し、
前記挿入率と前記乗員の顔の向きとに基づいて、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認が行われているか否かを判別し、
前記乗員による前記挿入状態の確認が行われていないと判定された場合に、前記乗員による前記作業機械の運転中に、前記発報装置により前記警報信号又は／及び前記発報を出力させる、
作業機械の安全装置。

【請求項3】

前記プロセッサは、
前記判定処理において、前記挿入率が所定の閾値未満であるにもかかわらず前記乗員の顔が前記荷物とは異なる方向に向けられている場合に、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認が行われていないと判定する、
請求項２に記載の作業機械の安全装置。

【請求項4】

前記プロセッサは、
前記撮影装置によって撮影された画像データに対して所定のフィルタ処理を実行することで前記作業機械の垂直エッジを検出し、検出された該垂直エッジが連続して接続されている部分を前記作業機械の爪と特定するとともにその長さを算出し、算出された前記作業機械の爪の長さと、予め定められた前記作業機械の爪の全長と、に基づいて、前記挿入率を取得する、
請求項３に記載の作業機械の安全装置。

【請求項5】

前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから前記挿入状態のカテゴリを表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、前記フォークリフトの爪と前記荷物との位置関係を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影装置によって撮影された前記フォークリフトの爪の画像データを入力することで、前記挿入率を取得する、
請求項３に記載の作業機械の安全装置。

【請求項6】

前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物の骨格情報を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記運転行動を抽出する、
請求項１又は請求項２に記載の作業機械の安全装置。

【請求項7】

前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物の顔の向き及び／又は人物の腕の向きを表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記運転行動を抽出する、
請求項１又は請求項２に記載の作業機械の安全装置。

【請求項8】

作業機械に設置され、該作業機械の乗員を撮影する撮影装置と、
前記撮影装置によって撮影された前記乗員の画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、
所定の警報信号又は／及び所定の発報を出力する発報装置と、
を備え、
前記プロセッサは、
前記撮影画像データから前記乗員による前記作業機械の運転行動を抽出する抽出処理と、
抽出された前記運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する判定処理と、
前記判定処理によって前記運転行動が前記安全運転行動パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させる発報制御処理と、を実行し、
前記作業機械は、該作業機械の進行速度及び進行方向を取得する速度センサを備え、
前記安全運転行動パターンは、前記作業機械を運転中の前記乗員の視線が該作業機械の進行方向を向いていることであって、
前記プロセッサは、
前記運転行動として前記乗員の顔の左右前後斜めの向きを抽出し、
抽出された前記乗員の顔の向きが、前記速度センサによって取得された前記作業機械の進行方向に属しているか否かを判別し、
前記乗員の顔の向きが前記作業機械の進行方向に属していないと判定された場合に、前記乗員による前記作業機械の運転中に、前記発報装置により前記警報信号又は／及び前記発報を出力させ、
前記抽出処理において、前記プロセッサは、
所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物の顔の左右前後斜めの向きを表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記運転行動を抽出する、
作業機械の安全装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業機械の安全装置に関する。

【背景技術】

【0002】

ショベル、フォークリフト等の作業機械が用いられる現場では、作業機械の事故防止のための安全対策が図られている。例えば、作業機械の車体の周辺に存在する障害物をオペレータが視認できるように、ミラーやカメラを設置した作業機械が実用化されている。そして、カメラが撮影した画像を作業機械の運転室内のディスプレイに表示するシステムが知られている。

【0003】

一方、近年、自動車等の車両においては、運転者による車両の運転時のデータや運転者による車両の運転時の操作挙動を取得して、運転技術を評価・診断することが知られている。また、運転者の安全確認行動を視線計測データにより評価する技術がある。

【0004】

例えば、特許文献１には、運転者の視覚による安全確認が形骸化しているか否かを判別するための運転技術判別装置が開示されている。この運転技術判別装置では、履歴記憶部に蓄積されている運転操作情報と挙動情報とから、運転動作履歴が生成され、周囲の車との距離に基づき危険で且つ運転動作に対する視線移動が正しかった運転動作を運転動作履歴から抽出することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－２４７８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ショベル、フォークリフト等の作業機械の事故防止のためには、作業機械の乗員によって適切な運転操作が行われる必要がある。しかしながら、このような作業機械が用いられる現場では、例えば、作業効率を過度に重視してしまう結果、作業機械の運転操作に対する乗員による安全確認行動が形骸化してしまう事態が生じ得る。

【0007】

そして、カメラ等を用いて、運転者の安全確認を判別することが知られている。例えば、特許文献１に記載の技術によれば、運転者の顔画像をカメラなどで取得し、運転動作の履歴を生成して、適切なタイミングで運転者の視線の方向が適切な方向を見ているか否かが判別される。しかしながら、当該技術では、運転動作履歴に基づいて事後的に判別が行われるため、リアルタイムで事故防止のための安全対策を図ることができない。また、ショベル、フォークリフト等の作業機械においては、安全確認が行われているか否かを乗員の視線のみで判別することに困難が生じ得る。

【0008】

本開示の目的は、作業機械の乗員による安全運転行動に基づいて、作業機械の事故防止のための安全対策を図ることにある。

【課題を解決するための手段】

【0009】

本開示の作業機械の安全装置は、作業機械に設置され、該作業機械の乗員を撮影する撮影装置と、前記撮影装置によって撮影された前記乗員の画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行するプロセッサと、所定の警報信号又は／及び所定の発報を出力する発報装置と、を備える。そして、前記プロセッサは、前記撮影画像データから前記乗員による前記作業機械の運転行動を抽出する抽出処理と、抽出された前記運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する判定処理と、前記判定処理によって前記運転行動が前記安全運転行動パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させる発報制御処理と、を実行する。

【0010】

このような作業機械の安全装置は、撮影装置、プロセッサ、および発報装置を既存の作業機械に配置するだけで、作業機械の事故防止のための安全対策を容易に図ることができる。そして、上記の判定処理の結果に基づいて発報制御処理が実行されることで、リアルタイムで乗員の危険行動について警告を行うことができる。従来技術のような、運転動作履歴に基づく事後的に判別では、危険行動から時間が経過してからの通知となるため行動修正の動機づけが少なく、危険行動が再発し易くなる。これに対して、本開示によれば、リアルタイムで乗員の危険行動について警告を行うことで、乗員の行動抑制が強く働き再発も低減させることができる。

【0011】

そして、上記の作業機械の安全装置において、前記安全運転行動パターンは、前記乗員による前記作業機械の作動前の指差呼称であって、前記プロセッサは、前記運転行動として前記乗員の指差し行動を抽出し、抽出された前記乗員の指差し行動が、前記指差呼称の実施パターンに属しているか否かを判別し、前記乗員の指差し行動が前記指差呼称の実施パターンに属していないと判定された場合に、前記発報装置により前記警報信号又は／及び前記発報を出力させてもよい。また、前記作業機械は、該作業機械の進行速度及び進行方向を取得する速度センサを備え、前記安全運転行動パターンは、前記作業機械を運転中の前記乗員の視線が該作業機械の進行方向を向いていることであって、前記プロセッサは、前記運転行動として前記乗員の顔の向きを抽出し、抽出された前記乗員の顔の向きが、前記速度センサによって取得された前記作業機械の進行方向に属しているか否かを判別し、前記乗員の顔の向きが前記作業機械の進行方向に属していないと判定された場合に、前記乗員による前記作業機械の運転中に、前記発報装置により前記警報信号又は／及び前記発報を出力させてもよい。

【0012】

また、本開示の作業機械の安全装置において、前記作業機械は、フォークリフトであって、前記撮影装置は、前記フォークリフトによって移動せしめられる荷物を含んで該フォークリフトの周囲も撮影可能に構成され、前記安全運転行動パターンは、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認であって、前記プロセッサは、前記運転行動として前記乗員の顔の向きを抽出し、前記撮影装置によって撮影された前記フォークリフトの爪の画像データに基づいて、該フォークリフトの爪の前記荷物への挿入率を取得し、前記挿入率と前記乗員の顔の向きとに基づいて、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認が行われているか否かを判別し、前記乗員による前記挿入状態の確認が行われていないと判定された場合に、前記乗員による前記作業機械の運転中に、前記発報装置により前記警報信号又は／及び前記発報を出力させてもよい。

【0013】

そして、この場合、前記プロセッサは、前記判定処理において、前記挿入率が所定の閾値未満であるにもかかわらず前記乗員の顔が前記荷物とは異なる方向に向けられている場合に、前記乗員による前記フォークリフトの爪の前記荷物への挿入状態の確認が行われていないと判定してもよい。更に、前記プロセッサは、前記撮影装置によって撮影された画像データに対して所定のフィルタ処理を実行することで前記作業機械の垂直エッジを検出し、検出された該垂直エッジが連続して接続されている部分を前記作業機械の爪と特定するとともにその長さを算出し、算出された前記作業機械の爪の長さと、予め定められた前記作業機械の爪の全長と、に基づいて、前記挿入率を取得してもよい。または、前記プロセッサは、所定の画像データの入力を受け付ける入力層と、入力された該画像データから前記挿入状態のカテゴリを表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、前記フォークリフトの爪と前記荷物との位置関係を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影装置によって撮影された前記フォークリフトの爪の画像データを入力することで、前記挿入率を取得してもよい。

【0014】

また、上記の抽出処理において、前記プロセッサは、所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物の骨格情報を表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記運転行動を抽出してもよい。このように、事前学習モデルを用いて、撮影画像データにおける作業機械の乗員の骨格のパーツ位置及びこれに基づく乗員の運転行動を識別することで、撮影画像データから運転行動を精度よく抽出することができる。または、前記プロセッサは、所定の画像データの入力を受け付ける入力層と、入力された該画像データから人物の顔の向き及び／又は人物の腕の向きを表す特徴量を抽出する中間層と、該特徴量に基づく識別結果を出力する出力層と、を有するニューラルネットワークモデルであって、人物を表す画像を含んだデータを用いて学習を行うことにより構築された事前学習モデルに、前記撮影画像データを入力することで、前記運転行動を抽出してもよい。

【発明の効果】

【0015】

本開示によれば、作業機械の乗員による安全運転行動に基づいて、作業機械の事故防止のための安全対策を図ることができる。

【図面の簡単な説明】

【0016】

【図1】第１実施形態における作業機械の安全装置の概略構成を示す図である。

【図2】第１実施形態に係る安全装置において、作業機械の事故防止のために制御部が行う処理フローを示すフローチャートである。

【図3】第１実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。

【図4】第１実施形態における事前学習モデルによって識別される、作業機械の乗員の骨格のパーツ位置を例示する図である。

【図5】第２実施形態に係る安全装置において、作業機械の事故防止のために制御部が行う処理フローを示すフローチャートである。

【図6】フォークリフトの爪の荷物への挿入状態のカテゴリを説明するための図である。

【発明を実施するための形態】

【0017】

以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。

【0018】

＜第１実施形態＞
第１実施形態における作業機械の安全装置の概要について、図１を参照しながら説明する。図１は、本実施形態における作業機械の安全装置の概略構成を示す図である。本実施形態に係る作業機械の安全装置１００は、作業機械１０に設置され、該作業機械１０の事故防止のための安全対策を図るための装置である。ここで、本実施形態における作業機械１０とは、フォークリフトである。そして、安全装置１００は、撮影装置２００と、画像処理装置３００と、発報装置４００と、を備える。

【0019】

撮影装置２００は、作業機械１０に設置され該作業機械１０の乗員を撮影する装置であって、静止画や動画等の画像の入力を受け付ける機能を有し、具体的には、Charged-Coupled Devices（ＣＣＤ）、Metal-oxide-semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いたカメラにより実現される。そして、本実施形態における撮影装置２００は、半天球カメラによって構成され、本実施形態では、図１（ａ）に示すように、作業機械１０であるフォークリフトの運転室の上面に設置され、該半天球カメラの光軸が下方に向けられている。このように、フォークリフトに半天球カメラが設置されることで、可及的に少ないカメラ数でフォークリフトの乗員および該フォークリフトの車体やその周囲を広範囲に亘って視野が欠けることなく撮影することができる。

【0020】

画像処理装置３００は、撮影装置２００によって撮影された作業機械１０の乗員の画像を表す撮影画像データを取得し、該撮影画像データに基づいて所定の処理を実行する。

【0021】

ここで、画像処理装置３００は、データの取得、生成、更新等の演算処理及び加工処理のための処理能力のある機器であればどの様な電子機器でもよく、例えば、コンピュータである。すなわち、画像処理装置３００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納されている。

【0022】

発報装置４００は、所定の警報信号又は／及び所定の発報を出力する装置である。ここで、所定の発報とは、警告灯や警告音などである。本実施形態では、図１（ａ）に示すように、発報装置４００として、例えば、パトライト（登録商標）がフォークリフトの運転室の上面に配置されてもよい。そうすると、安全装置１００は、例えば、パトライト（登録商標）が発する警告灯によって、作業機械１０の乗員に対して警告を行うことができる。なお、発報装置４００は、例えば、パトライト（登録商標）とスピーカーとを含んでもよい。この場合、安全装置１００は、警告灯と警告音によって、作業機械１０の乗員に対して警告を行うことができる。

【0023】

そして、本実施形態では、上記の発報装置４００による警告と併せて、作業機械１０が減速や停止されてもよい。この場合、画像処理装置３００が、後述する判定処理によって、作業機械１０の乗員の運転行動が安全運転行動パターンに属していないと判定した場合に、周知の技術を用いて、作業機械１０の作動が停止され得る。

【0024】

また、安全装置１００は、表示装置５００を更に備えてもよい。ここで、表示装置５００は、撮影装置２００によって撮影された撮影画像データ又は／及び該撮影画像データに基づく処理により取得された所定のデータを表示可能に構成された装置である。このような表示装置５００は、例えば、フォークリフトの運転室内に設けられる。これにより、フォークリフトの乗員は、自身が行った危険行動を、表示装置５００を介して視認できるようになる。

【0025】

以上に述べたように、本開示の作業機械の安全装置１００は、撮影装置２００、画像処理装置３００、および発報装置４００を既存の作業機械１０に配置するだけで、作業機械１０の事故防止のための安全対策を容易に図ることができる。

【0026】

次に、図１（ｂ）に基づいて、画像処理装置３００の構成要素の詳細な説明を行う。図１（ｂ）は、第１実施形態における、安全装置１００に含まれる画像処理装置３００の構成要素をより詳細に示した図である。

【0027】

画像処理装置３００は、機能部として記憶部３０２、制御部３０３を有しており、補助記憶装置に格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各機能部等が制御されることによって、各機能部における所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

【0028】

記憶部３０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部３０３によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部３０３において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。

【0029】

また、記憶部３０２は、後述する事前学習モデルを記憶してもよい。この事前学習モデルは、後述する抽出処理に用いることができる。ここで、画像処理装置３００の機能がＦＰＧＡのようなハードウェア回路によって実現される場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶されてもよい。また、記憶部３０２は、後述する予め定められた安全運転行動パターンが記憶される。

【0030】

制御部３０３は、画像処理装置３００が行う処理を司る機能部である。制御部３０３は、ＣＰＵなどの演算処理装置によって実現することができる。制御部３０３は、更に、取得部３０３１と、抽出処理部３０３２と、判定処理部３０３３と、発報制御処理部３０３４と、の４つの機能部を有して構成される。各機能部は、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。なお、制御部３０３が、取得部３０３１、抽出処理部３０３２、判定処理部３０３３、および発報制御処理部３０３４の処理を実行することで、本開示に係るプロセッサとして機能する。そして、このプロセッサが、画像処理装置３００を構成する集積回路に実装されることで、上記機能部の処理を実行するプロセッサが作業機械１０に設置されることになる。

【0031】

ここで、制御部３０３が行う処理フローについて、図２に基づいて説明する。図２は、本実施形態に係る安全装置１００において、作業機械１０の事故防止のために制御部３０３が行う処理フローを示すフローチャートである。本実施形態では、安全装置１００の電源が入れられると本フローの実行が開始され、安全装置１００の作動中に所定の演算周期で繰り返し実行される。

【0032】

本フローでは、先ず、Ｓ１０１において、取得部３０３１が、撮影装置２００によって撮影された作業機械１０の乗員の画像を表す撮影画像データを取得する。ここで、撮影装置２００および画像処理装置３００は通信部を有しており、これらの通信部がネットワークを介して接続されることで、取得部３０３１が上記の撮影画像データを取得することが可能になる。なお、ネットワークは、無線であっても有線であっても無線と有線の組み合わせであってもよい。

【0033】

次に、Ｓ１０２において、抽出処理部３０３２が、撮影画像データから乗員による作業機械１０の運転行動を抽出する抽出処理を実行する。なお、この抽出処理の詳細については、後述する。

【0034】

次に、Ｓ１０３において、判定処理部３０３３が、上記の運転行動が予め定められた安全運転行動パターンに属しているか否かを判別する。そして、Ｓ１０３において否定判定された場合、制御部３０３はＳ１０４の処理へ進み、Ｓ１０３において肯定判定された場合、本フローの実行が終了される。

【0035】

ここで、Ｓ１０３における判定処理では、予め定められ記憶部３０２に記憶された安全運転行動パターンと、抽出処理によって抽出された乗員による作業機械１０の運転行動を含んだ画像データと、を比較することで、乗員による作業機械１０の運転行動が予め定められた安全運転行動パターンに属しているか否かが判別され得る。なお、上記の安全運転行動パターンは、乗員による作業機械１０の作動前の指差呼称や、作業機械１０を運転中の乗員の視線が該作業機械１０の進行方向を向いていることであって、その詳細については後述する。

【0036】

そして、Ｓ１０３において否定判定された場合、次に、Ｓ１０４において、発報制御処理部３０３４が、発報制御処理を実行する。本実施形態では、発報制御処理部３０３４は、発報装置４００（例えば、パトライト（登録商標））から警告灯を出力させる。なお、発報装置４００が、例えば、パトライト（登録商標）およびスピーカーによって構成される場合には、発報制御処理部３０３４は、パトライト（登録商標）から警告灯を出力させ、スピーカーから警告音を出力させてもよい。また、本実施形態では、上記と併せて、作業機械１０の作動が停止されるように、該作業機械１０の作動制御装置を操作させる処理が実行されてもよい。そして、Ｓ１０４の処理の後、本フローの実行が終了される。

【0037】

以上に述べた処理によれば、作業機械１０の乗員による安全運転行動に基づいて、作業機械１０の事故防止のための安全対策を図ることができる。

【0038】

（抽出処理）
次に、抽出処理部３０３２が実行する抽出処理の詳細について説明する。本実施形態の抽出処理では、事前学習モデルに撮影画像データが入力されることで、乗員による作業機械１０の運転行動が抽出される。そして、事前学習モデルは、人物を表す画像を含んだデータを用いて学習を行うことにより構築される。

【0039】

ここで、図３は、本実施形態における事前学習モデルに対する入力から得られる識別結果と、該事前学習モデルを構成するニューラルネットワークを説明するための図である。本実施形態では、事前学習モデルとして、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。本実施形態における事前学習モデル３０は、所定の画像データの入力を受け付ける入力層３１と、入力層３１に入力された該画像データから人物の骨格情報を表す特徴量を抽出する中間層（隠れ層）３２と、特徴量に基づく識別結果を出力する出力層３３とを有する。なお、図３の例では、事前学習モデル３０は、１層の中間層３２を有しており、入力層３１の出力が中間層３２に入力され、中間層３２の出力が出力層３３に入力されている。ただし、中間層３２の数は、１層に限られなくてもよく、事前学習モデル３０は、２層以上の中間層３２を有してもよい。

【0040】

また、図３によると、各層３１～３３は、１又は複数のニューロンを備えている。例えば、入力層３１のニューロンの数は、入力される画像データに応じて設定することができる。また、出力層３３のニューロンの数は、識別結果である運転行動に応じて設定することができる。

【0041】

そして、隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が機械学習の結果に基づいて設定される。図３の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、適宜設定することができる。

【0042】

このような事前学習モデル３０は、例えば、人物を表す画像を含んだ画像データと、人物の骨格のパーツ位置を表す画像のラベルと、の組みである教師データを用いて教師あり学習を行うことで構築される。具体的には、特徴量とラベルとの組みをニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューロン同士の結合の重みがチューニングされる。このようにして、教師データの特徴を学習し、入力から結果を推定するための事前学習モデルが帰納的に獲得される。

【0043】

なお、事前学習モデルを構築するために学習される画像データには、無動作状態の人物を表す画像が用いられてもよいし、作業機械等を運転する人物を表す画像が用いられてもよい。

【0044】

また、事前学習モデル３０は、教師なし学習を行うことで構築されてもよい。教師なし学習には、例えば、転移学習の一種であるドメイン適応を用いることができる。これによれば、ラベルが付された教師データを大量に用意することなく、事前学習モデルを獲得することができる。

【0045】

そして、このような事前学習モデル３０に撮影画像データが入力されることで、該撮影画像データにおける作業機械１０の乗員の骨格のパーツ位置が識別され、これに基づいて、乗員による作業機械１０の運転行動が抽出される。

【0046】

ここで、図４は、本実施形態における事前学習モデル３０によって識別される、作業機械１０の乗員の骨格のパーツ位置を例示する図である。図４では、撮影画像データに含まれる乗員の画像に対して、該乗員の骨格のパーツである腕、胴体、顔が、点や線分によって表されている。

【0047】

そうすると、抽出処理部３０３２は、作業機械１０の乗員の顔の向き（左右前後斜めのどちらを向いているか）や指差し行動（腕の方向が左右前後斜めのどちらを指しているか）を、乗員による作業機械１０の運転行動として抽出することができる。なお、図４に示す例では、作業機械１０の乗員の顔が正面を向いていることが抽出される。

【0048】

ここで、本実施形態では、上述したように、画像処理装置３００の機能をＦＰＧＡのようなハードウェア回路によって実現することができる。この場合、事前学習モデルはＦＰＧＡに内蔵されたメモリに記憶され得る。これによれば、事前学習モデルを用いた抽出処理を可及的速やかに実行することができ、以て、より迅速に作業機械１０の事故防止のための安全対策を図ることができる。

【0049】

このように、本実施形態の抽出処理によれば、事前学習モデル３０を用いて、撮影画像データにおける作業機械１０の乗員の骨格のパーツ位置及びこれに基づく乗員の運転行動を識別することで、撮影画像データから運転行動を精度よく抽出することができる。

【0050】

なお、上記の抽出処理の説明では、作業機械１０の乗員の骨格のパーツ位置に基づいて、乗員による作業機械１０の運転行動が抽出される例について説明したが、本実施形態における抽出処理では、事前学習モデル３０に撮影画像データが入力され該撮影画像データにおける作業機械１０の乗員の顔の向きや腕の向きが識別されることで、乗員による作業機械１０の運転行動が抽出されてもよい。この場合、事前学習モデル３０は、所定の画像データの入力を受け付ける入力層３１と、入力層３１に入力された該画像データから人物の顔の向き及び／又は人物の腕の向きを表す特徴量を抽出する中間層（隠れ層）３２と、特徴量に基づく識別結果を出力する出力層３３とを有する。そして、このような事前学習モデル３０は、例えば、人物を表す画像を含んだ画像データと、人物の顔の向き及び／又は人物の腕の向きを表す画像のラベルと、の組みである教師データを用いて教師あり学習を行うことで構築され得る。

【0051】

（判定処理）
次に、判定処理部３０３３が実行する判定処理の詳細について説明する。上述したように、判定処理部３０３３は、抽出された運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する。

【0052】

ここで、本実施形態における安全運転行動パターンとは、乗員による作業機械１０の作動前の指差呼称である。そして、上記の指差呼称とは、作業機械１０の作動に対する指差し確認であって、作業機械１０の発進時、停止時や旋回時に実施されるものである。

【0053】

この場合、上記の抽出処理部３０３２は、運転行動として乗員の指差し行動を抽出する。そして、判定処理部３０３３は、抽出された乗員の指差し行動が、指差呼称の実施パターンに属しているか否かを判別する。なお、上記の指差呼称の実施パターンは、予め定められ記憶部３０２に記憶されるものであって、例えば、作業機械１０の発進時の前方への指差し行動や、作業機械１０の後退時の後方への指差し行動、作業機械１０の停止時の停止線への指差し行動、作業機械１０の旋回時の左右への指差し行動である。

【0054】

そして、判定処理部３０３３は、例えば、作業機械１０の発進時に、乗員の指差し行動が、前方への指差し行動となっているか否かを判別することができる。なお、作業機械１０は、速度センサ、加速度センサ等の車両センサを備えており、判定処理部３０３３は、車両センサの検出値に基づいて、作業機械１０の発進、停止や旋回等を認識することができる。

【0055】

また、このとき、判定処理部３０３３は、撮影装置２００によって撮影された作業機械１０の周囲を表す画像データに基づいて、作業機械１０の発進、停止や旋回等に関する情報を認識してもよい。この場合、撮影装置２００は、作業機械１０の乗員と併せて作業機械１０の周囲も撮影可能な位置に配置され得る。そして、撮影装置２００によって撮影され得る作業機械１０の周囲を表す画像データには、作業機械１０の発進、停止に関わる停止線やその位置、進入禁止マークやその文字が含まれ、判定処理部３０３３は、画像認識処理によってこれらを認識することができる。そうすると、判定処理部３０３３は、例えば、撮影装置２００によって撮影された作業機械１０の周囲を表す画像データに基づいて停止線を認識し、作業機械１０が停止線に到達するタイミングにおいて、乗員の指差し行動が、前方への指差し行動となっているか否かを判別することができる。

【0056】

また、本実施形態における安全運転行動パターンは、作業機械１０を運転中の乗員の視線が該作業機械１０の進行方向を向いていることであってもよい。

【0057】

この場合、上記の抽出処理部３０３２は、運転行動として乗員の顔の向きを抽出する。そして、判定処理部３０３３は、抽出された乗員の顔の向きが、作業機械１０の進行方向に属しているか否かを判別する。なお、作業機械１０の進行方向は、作業機械１０の進行速度及び進行方向を取得する速度センサによって認識され得る。

【0058】

そして、上記の判定処理の結果に基づいて、発報制御処理部３０３４が発報制御処理を実行することで、リアルタイムで乗員の危険行動について警告を行うことができる。従来技術のような、運転動作履歴に基づく事後的に判別では、危険行動から時間が経過してからの通知となるため行動修正の動機づけが少なく、危険行動が再発し易くなる。これに対して、本開示によれば、リアルタイムで乗員の危険行動について警告を行うことで、乗員の行動抑制が強く働き再発も低減させることができる。

【0059】

以上に述べたように、本実施形態によれば、作業機械の乗員による安全運転行動に基づいて、作業機械の事故防止のための安全対策を図ることができる。

【0060】

＜第２実施形態＞
第２実施形態について、図５および図６に基づいて説明する。本実施形態に係る作業機械の安全装置１００において、撮影装置２００は、作業機械１０であるフォークリフトによって移動せしめられる荷物を含んで該フォークリフトの周囲も撮影可能に構成される。そして、本実施形態に係る作業機械の安全装置１００は、乗員によるフォークリフトの爪の荷物への挿入状態の確認が行われていないと判定された場合に、乗員によるフォークリフトの運転中に、発報装置４００により警報信号又は／及び発報を出力させる。

【0061】

ここで、図５は、本実施形態に係る安全装置１００において、作業機械１０の事故防止のために制御部３０３が行う処理フローを示すフローチャートである。本実施形態では、安全装置１００の電源が入れられると本フローの実行が開始され、安全装置１００の作動中に所定の演算周期で繰り返し実行される。

【0062】

本フローでは、先ず、Ｓ２０１において、取得部３０３１が、撮影装置２００によって撮影された作業機械１０の乗員および作業機械１０であるフォークリフトによって移動せしめられる荷物やフォークリフトの爪の画像を表す撮影画像データを取得する。

【0063】

次に、Ｓ２０２において、抽出処理部３０３２が、撮影画像データから乗員による作業機械１０の運転行動を抽出する抽出処理を実行する。本実施形態では、運転行動として乗員の顔の向きが抽出される。

【0064】

次に、Ｓ２０３において、制御部３０３は、挿入率を取得する。ここで、挿入率は、フォークリフトの爪の荷物への挿入率であって、撮影装置２００によって撮影されたフォークリフトの爪の画像データに基づいて算出され得る。

【0065】

詳しくは、制御部３０３は、上記の撮影画像データに対して、垂直水平方向にソーベルフィルタ処理を実行することで、垂直成分を抽出する。更に、これに水平方向のフィルタ出力を減算することで、垂直フィルタで抽出される斜め成分を除去する。これにより、作業機械１０であるフォークリフトの垂直エッジを検出することができる。

【0066】

そして、制御部３０３は、上記の垂直エッジが連続して接続されている部分をフォークリフトの爪と特定するとともに、画像ピクセルに基づいてその長さを算出する。なお、ここで算出される爪の長さは、フォークリフトの爪において荷物へ挿入されていない部分の爪の長さである。そして、制御部３０３は、このようにして算出された爪の長さと、予め定められ記憶部３０２に記憶されているフォークリフトの爪の全長と、に基づいて、上記の挿入率を算出する。例えば、フォークリフトの爪の全長から上記の如く算出された爪の長さを減算することで取得される荷物への爪の挿入長を、フォークリフトの爪の全長で除することで、上記の挿入率が算出され得る。

【0067】

または、制御部３０３は、事前学習モデルも用いて挿入率を取得してもよい。この事前学習モデルは、フォークリフトの爪と荷物との位置関係を表す画像を含んだデータを用いて学習を行うことにより構築され、上記の図３の説明で述べた事前学習モデル３０と同様に、入力層と中間層（隠れ層）と出力層とを有する。

【0068】

ここで、本実施形態における事前学習モデルでは、中間層は、入力された画像データから、フォークリフトの爪の荷物への挿入状態のカテゴリを表す特徴量を抽出する。

【0069】

図６は、フォークリフトの爪の荷物への挿入状態のカテゴリを説明するための図である。ここで、上記のカテゴリは、フォークリフトの爪の荷物への挿入率が１／２の場合、１／４の場合のように、連続的な挿入率ではなく或る割合毎に分割されたカテゴリであって、図６には、挿入状態が１／２カテゴリに属する場合が例示される。

【0070】

そして、このような事前学習モデルは、例えば、フォークリフトの爪と荷物との位置関係を表す画像データと、フォークリフトの爪の荷物への挿入状態のカテゴリを表す画像のラベルと、の組みである教師データを用いて教師あり学習を行うことで構築される。具体的には、特徴量とラベルとの組みをニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューロン同士の結合の重みがチューニングされる。このようにして、教師データの特徴を学習し、入力から結果を推定するための事前学習モデルが帰納的に獲得される。

【0071】

そして、このような事前学習モデルに、撮影装置２００によって撮影されたフォークリフトの爪の画像データが入力されることで、挿入率が取得される。

【0072】

そして、図５に戻って、次に、Ｓ２０４において、判定処理部３０３３が、上記の運転行動が予め定められた安全運転行動パターンに属しているか否かを判別する。そして、Ｓ２０４において否定判定された場合、制御部３０３はＳ２０５の処理へ進み、Ｓ２０４において肯定判定された場合、本フローの実行が終了される。

【0073】

ここで、本実施形態における安全運転行動パターンは、乗員によるフォークリフトの爪の荷物への挿入状態の確認であって、Ｓ２０４における判定処理では、Ｓ２０３の処理で取得した挿入率と、Ｓ２０２の処理で抽出した乗員の顔の向きと、に基づいて、乗員によるフォークリフトの爪の荷物への挿入状態の確認が行われているか否かが判別される。詳しくは、判定処理部３０３３は、挿入率が所定の閾値未満であるにもかかわらず乗員の顔が荷物とは異なる方向に向けられている場合に、乗員によるフォークリフトの爪の荷物への挿入状態の確認が行われていないと判定することができる。なお、上記の閾値は、例えば、７５％（フォークリフトの爪の全長に対して３／４）である。

【0074】

そして、Ｓ２０４において否定判定された場合、次に、Ｓ２０５において、発報制御処理部３０３４が、発報制御処理を実行する。そして、Ｓ２０５の処理の後、本フローの実行が終了される。

【0075】

そして、以上に述べたように、本実施形態によれば、作業機械の乗員による安全運転行動に基づいて、作業機械の事故防止のための安全対策を図ることができる。

【0076】

＜その他の変形例＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【0077】

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、抽出処理部３０３２を画像処理装置３００とは別の集積回路に形成してもよい。このとき当該別の集積回路は画像処理装置３００と好適に協働可能に構成される。また、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。集積回路において、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。

【0078】

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

【符号の説明】

【0079】

１０・・・・作業機械
１００・・・安全装置
２００・・・撮影装置
３００・・・画像処理装置
３０３・・・制御部
４００・・・発報装置

【要約】

【課題】作業機械の乗員による安全運転行動に基づいて、作業機械の事故防止のための安全対策を図る。
【解決手段】本開示の作業機械の安全装置１００は、作業機械１０の乗員を撮影する撮影装置２００と、撮影された乗員の画像を表す撮影画像データに基づいて所定の処理を実行するプロセッサ３０３と、所定の警報信号又は／及び所定の発報を出力する発報装置４００と、を備える。そして、プロセッサ３０３は、撮影画像データから乗員による作業機械の運転行動を抽出する抽出処理と、抽出された運転行動が、予め定められた安全運転行動パターンに属しているか否かを判別する判定処理と、判定処理によって運転行動が安全運転行動パターンに属していないと判定された場合に、発報装置４００により警報信号又は／及び発報を出力させる発報制御処理と、を実行する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】