(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-14
(45)【発行日】2025-04-22
(54)【発明の名称】安全監視装置、安全監視方法、及び、プログラム
(51)【国際特許分類】
G08B 21/02 20060101AFI20250415BHJP
G08B 25/00 20060101ALI20250415BHJP
G01S 17/86 20200101ALI20250415BHJP
G01S 17/89 20200101ALI20250415BHJP
H04N 7/18 20060101ALI20250415BHJP
【FI】
G08B21/02
G08B25/00 510M
G01S17/86
G01S17/89
H04N7/18 D
(21)【出願番号】P 2022547397
(86)(22)【出願日】2021-05-24
(86)【国際出願番号】 JP2021019575
(87)【国際公開番号】W WO2022054345
(87)【国際公開日】2022-03-17
【審査請求日】2024-04-10
(31)【優先権主張番号】P 2020153514
(32)【優先日】2020-09-14
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】吉澤 将則
(72)【発明者】
【氏名】森田 秀樹
【審査官】飯島 尚郎
(56)【参考文献】
【文献】特開2009-275789(JP,A)
【文献】特開2019-071578(JP,A)
【文献】特開2017-150860(JP,A)
【文献】特開2016-018571(JP,A)
【文献】国際公開第2018/061616(WO,A1)
【文献】特開2007-251646(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08B 21/00-31/00
G01S 17/86
G01S 17/89
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有
し、
前記発報種別設定部は、
すべての動体に対して警告を発する機能と、
人のみに警告を発する機能と、
人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、
前記大物体の進行方向に人が入った場合に警告を発する機能と、
一定速度以上の動体のみに警告を発する発報する機能と、
一定速度以下の動体のみに警告を発する発報する機能と、
任意の2つ以上の機能を組み合わせて論理和をとった機能と、
任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる
安全監視装置。
【請求項2】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有し、
前記動体認識解析部は、
前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、
前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、
前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する
安全監視装置。
【請求項3】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、
前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、
警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理部と、を有し、
前記記録管理部は、前記映像データを前記記憶部に常時記録しており、
前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部が指定された発報箇所の前後一定時間の映像データを表示部に表示する
安全監視装置。
【請求項4】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、
映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、
イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部と、を有し、
前記イベントリスト処理部は、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う
安全監視装置。
【請求項5】
前記安全センサから前記センサデータとして3次元データを取得するセンサデータ取得部を有しており、
前記動体認識解析部は、前記3次元データに基づいて前記検知対象エリアから動体を抽出し、各々の前記発報対象エリアへの動体の進行を検知する
請求項1
乃至請求項4のいずれか一項に記載の安全監視装置。
【請求項6】
前記発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる
請求項1乃至請求項
5のいずれか一項に記載の安全監視装置。
【請求項7】
前記動体認識解析部は、
前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別し、
前記人のバウンディングボックスの底面又は上面の中心と前記大物体のバウンディングボックスの底面又は上面の各辺との間の距離の最小値から前記人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離を、前記人と前記大物体との間の距離として算出し、
前記人と前記大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する
請求項
2に記載の安全監視装置。
【請求項8】
前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する
請求項
7に記載の安全監視装置。
【請求項9】
前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなったときに警告を停止する
請求項
7又は請求項
8に記載の安全監視装置。
【請求項10】
前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する
請求項
7又は請求項
8に記載の安全監視装置。
【請求項11】
前記動体認識解析部は、前記人と前記大物体との間の距離に応じて、警報レベルを変化させる
請求項
7乃至請求項
10のいずれか一項に記載の安全監視装置。
【請求項12】
前記動体認識解析部は、前記動体の速度を、前記バウンディングボックスの中心位置が一定時間に移動した距離から算出する
請求項
2、請求項7乃至請求項
11のいずれか一項に記載の安全監視装置。
【請求項13】
前記安全センサで検知された動体の位置を映像データに重畳する映像処理部を有する
請求項1乃至請求項
12のいずれか一項に記載の安全監視装置。
【請求項14】
前記イベントリスト処理部は、前記表示部に表示された前記イベントリストに対して、前記種別毎に発報データをフィルタリングして表示できる
請求項
3に記載の安全監視装置。
【請求項15】
さらに、前記検知対象エリアの映像データを記憶部に記録して管理する記録管理部を有し、
前記記録管理部は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の前記映像データを前記記憶部に記録する
請求項1乃至請求項
13のいずれか一項に記載の安全監視装置。
【請求項16】
前記発報種別設定部は、前記発報機能として、前記検知対象エリアの映像データから前記動体の特徴を検知する処理を指定できる
請求項1乃至請求項15のいずれか一項に記載の安全監視装置。
【請求項17】
前記動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる
請求項16に記載の安全監視装置。
【請求項18】
前記安全監視装置は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する
請求項1乃至請求項17のいずれか一項に記載の安全監視装置。
【請求項19】
前記バウンディングボックスの角度を平滑化する平滑化手段を有する
請求項
2、請求項7乃至請求項
12のいずれか一項に記載の安全監視装置。
【請求項20】
前記3次元データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、
前記映像処理部は、前記点群データと前記バウンディングボックスとを同時に表示部に表示する
請求項19に記載の安全監視装置。
【請求項21】
前記平滑化手段は、前記バウンディングボックスの底面の角度を平滑化して算出する
請求項19又は請求項20に記載の安全監視装置。
【請求項22】
前記平滑化手段によって離散的に算出した前記バウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる
請求項21に記載の安全監視装置。
【請求項23】
前記平滑化手段の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる
請求項19乃至請求項22のいずれか一項に記載の安全監視装置。
【請求項24】
前記平滑化手段は、前記バウンディングボックスの底面の中心座標を平滑化する
請求項19乃至請求項23のいずれか一項に記載の安全監視装置。
【請求項25】
前記イベントリスト処理部は、所定の規則に基づいて前記ファイルを自動的に消去する機能を有しており、
前記所定の規則は、記録手段の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである
請求項
4に記載の安全監視装置。
【請求項26】
前記イベントリスト処理部は、前記安全センサから前記検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得して前記イベントリストの前記映像再生時間範囲を決める
請求項
4又は請求項
25に記載の安全監視装置。
【請求項27】
前記イベントリスト処理部は、過去に発生した任意の事象を新たなイベントとして前記イベントリストに追加登録する機能を有する
請求項
4、請求項25乃至請求項
26のいずれか一項に記載の安全監視装置。
【請求項28】
前記イベントリスト処理部は、前記イベントの開始時刻と終了時刻を編集する機能を有する
請求項
4、請求項25乃至請求項
27のいずれか一項に記載の安全監視装置。
【請求項29】
前記検知対象エリアの映像データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、
前記映像処理部は、前記映像と前記イベントリストを同時に表示部に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介して前記イベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像を前記表示部に表示する
請求項
4、請求項25乃至請求項
28のいずれか一項に記載の安全監視装置。
【請求項30】
前記イベントリストは、前記グラフィカルユーザインターフェースを介して、前記ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる
請求項
29に記載の安全監視装置。
【請求項31】
前記イベントリスト処理部は、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う
請求項
30に記載の安全監視装置。
【請求項32】
前記イベントリスト処理部は、前記自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は前記重要マークが予め付加されたイベントから重要マークが外された場合に、当該イベントのファイルに対して消去する制御を行う
請求項
31に記載の安全監視装置。
【請求項33】
前記イベントリスト処理部は、記録されてから所定時間経過したファイルを自動的に消去する場合に前記イベントリストから当該ファイルのイベントを削除する一方、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントに対して前記イベントリストから削除しない制御を行う
請求項
30乃至請求項
32のいずれか一項に記載の安全監視装置。
【請求項34】
さらに、前記安全センサの監視領域への物体の進入を監視する安全監視部を有し、
前記安全監視部は、前記監視領域に前記物体が進入した時刻を前記イベントの開始時刻とし、前記監視領域から前記物体が退出した時刻又は前記イベントの開始時刻から一定時間経過した時刻を前記イベントの終了時刻とし前記イベントの開始時刻と終了時刻を前記イベントリスト処理部に通知する
請求項
4、請求項25乃至請求項
33のいずれか一項に記載の安全監視装置。
【請求項35】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含
み、
前記発報種別設定工程では、
すべての動体に対して警告を発する機能と、
人のみに警告を発する機能と、
人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、
前記大物体の進行方向に人が入った場合に警告を発する機能と、
一定速度以上の動体のみに警告を発する発報する機能と、
一定速度以下の動体のみに警告を発する発報する機能と、
任意の2つ以上の機能を組み合わせて論理和をとった機能と、
任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる
安全監視方法。
【請求項36】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含み、
前記動体認識解析工程では、
前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、
前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、
前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する
安全監視方法。
【請求項37】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、
前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理工程と、
警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理工程と、を含み、
前記記録管理工程では、前記映像データを前記記憶部に常時記録しており、
前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理工程で指定された発報箇所の前後一定時間の映像データを表示部に表示する
安全監視方法。
【請求項38】
安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、
映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理工程と、
イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理工程と、を含み、
前記イベントリスト処理工程では、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う
安全監視方法。
【請求項39】
コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、
前記コンピュータを、
前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させ
、
前記発報種別設定部に、
すべての動体に対して警告を発する機能と、
人のみに警告を発する機能と、
人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、
前記大物体の進行方向に人が入った場合に警告を発する機能と、
一定速度以上の動体のみに警告を発する発報する機能と、
一定速度以下の動体のみに警告を発する発報する機能と、
任意の2つ以上の機能を組み合わせて論理和をとった機能と、
任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択させることができる
プログラム。
【請求項40】
コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、
前記コンピュータを、
前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させ、
前記動体認識解析部に、
前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成させ、
前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定させ、
前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別させる
プログラム。
【請求項41】
コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、
前記コンピュータを、
前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、
前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、
警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理部として機能させ、
前記記録管理部に、前記映像データを前記記憶部に常時記録させており、
前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部に指定された発報箇所の前後一定時間の映像データを表示部に表示させる
プログラム。
【請求項42】
コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、
前記コンピュータを、
前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、
各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、
前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、
映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、
イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部として機能させ、
前記イベントリスト処理部に、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行わせる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、安全監視装置、安全監視方法、及び、プログラムに関する。
【背景技術】
【0002】
例えば、工事現場や工場、倉庫等では、クレーン車や重機、フォークリフト等の機器が稼働している。これらの機器と人とが接触することで事故が発生してしまう危険個所が複数存在する。そのため、これらの機器と人とが接触しないように、安全性を確保するための検知手段が要望されている。そこで、例えば、特許文献1及び特許文献2に記載された技術が提案されている。
【0003】
特許文献1に記載された技術は、物体検知センサを用いて、既知の各種画像処理手法や機械学習ベースの識別器等を任意に適用して人を検知するものである。
【0004】
特許文献2に記載された技術は、3次元空間における人とクレーン車との間の距離を求めるものである。特許文献2に記載された技術は、深度マップデータにより動体を複数の立方体(直方体)に分割し、2つの立方体の中心点間の距離から各立方体の外接球の半径を引いたものを2つの立方体間の距離とする。そして、特許文献2に記載された技術は、全ての立方体間の距離の組み合わせの最小値を物体間の最短距離(人とクレーン車との間の最短距離)として求めている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第2018/084146号
【文献】特開2014-21810号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1,2に記載された従来技術は、人と物体との関係を良好に把握することが要望されていた。
【0007】
例えば、特許文献1に記載された技術は、具体的な人検知技術が記載されていないため、利便性が低く、システムの構築が容易でなかった。そのため、特許文献1に記載された技術は、人と物体との関係を良好に把握することが要望されていた。
【0008】
また、特許文献2に記載された技術は、例えば人がクレーン車の真下にいる場合であっても、人とクレーン車との間の距離が所定距離よりも大きければ、危険性を検知できない可能性があった。つまり、人がクレーン車の真下にいる場合は、人が危険エリアに進入した状態になっている可能性がある。この場合は、人とクレーン車との間の距離が所定距離よりも大きく離れていても、安全でない可能性がある。特許文献2に記載された技術は、このような場合に、安全でないことを見逃してしまう可能性がある。そのため、特許文献2に記載された技術は、安全でないことが見逃されないように、人と物体との関係を良好に把握することが要望されていた。
【0009】
本発明は上記従来技術の有する問題点に鑑みてなされたものであり、本発明の目的は、人と物体との関係を良好に把握することが可能な安全監視装置、安全監視方法、及び、プログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の上記課題は、下記の手段により解決される。
【0011】
(1)安全監視装置であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有し、前記発報種別設定部は、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、前記大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる安全監視装置。
(2)安全監視装置であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、を有し、前記動体認識解析部は、前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する安全監視装置。
(3)安全監視装置であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理部と、を有し、前記記録管理部は、前記映像データを前記記憶部に常時記録しており、前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部が指定された発報箇所の前後一定時間の映像データを表示部に表示する安全監視装置。
(4)安全監視装置であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部と、を有し、前記イベントリスト処理部は、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う安全監視装置。
【0012】
(5)前記安全センサから前記センサデータとして3次元データを取得するセンサデータ取得部を有しており、前記動体認識解析部は、前記3次元データに基づいて前記検知対象エリアから動体を抽出し、各々の前記発報対象エリアへの動体の進行を検知する上記(1)乃至(4)のいずれか一項に記載の安全監視装置。
【0014】
(6)前記発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる上記(1)乃至(5)のいずれか一項に記載の安全監視装置。
【0016】
(7)前記動体認識解析部は、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別し、前記人のバウンディングボックスの底面又は上面の中心と前記大物体のバウンディングボックスの底面又は上面の各辺との間の距離の最小値から前記人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離を、前記人と前記大物体との間の距離として算出し、前記人と前記大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する上記(2)に記載の安全監視装置。
【0017】
(8)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する上記(7)に記載の安全監視装置。
【0018】
(9)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなったときに警告を停止する上記(7)又は(8)に記載の安全監視装置。
【0019】
(10)前記動体認識解析部は、前記人と前記大物体との間の距離が前記一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する上記(7)又は(8)に記載の安全監視装置。
【0020】
(11)前記動体認識解析部は、前記人と前記大物体との間の距離に応じて、警報レベルを変化させる上記(7)乃至(10)のいずれか一項に記載の安全監視装置。
【0021】
(12)前記動体認識解析部は、前記動体の速度を、前記バウンディングボックスの中心位置が一定時間に移動した距離から算出する上記(2)、(7)乃至(11)のいずれか一項に記載の安全監視装置。
【0022】
(13)前記安全センサで検知された動体の位置を映像データに重畳する映像処理部を有する上記(1)乃至(12)のいずれか一項に記載の安全監視装置。
【0024】
(14)前記イベントリスト処理部は、前記表示部に表示された前記イベントリストに対して、前記種別毎に発報データをフィルタリングして表示できる上記(3)に記載の安全監視装置。
【0025】
(15)さらに、前記検知対象エリアの映像データを記憶部に記録して管理する記録管理部を有し、前記記録管理部は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の前記映像データを前記記憶部に記録する上記(1)乃至(13)のいずれか一項に記載の安全監視装置。
【0026】
(16)前記発報種別設定部は、前記発報機能として、前記検知対象エリアの映像データから前記動体の特徴を検知する処理を指定できる上記(1)乃至(15)のいずれか一項に記載の安全監視装置。
【0027】
(17)前記動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる上記(16)に記載の安全監視装置。
【0028】
(18)前記安全監視装置は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する上記(1)乃至(17)のいずれか一項に記載の安全監視装置。
【0029】
(19)前記バウンディングボックスの角度を平滑化する平滑化手段を有する上記(2)、(7)乃至(12)のいずれか一項に記載の安全監視装置。
【0030】
(20)前記3次元データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、前記映像処理部は、前記点群データと前記バウンディングボックスとを同時に表示部に表示する上記(19)に記載の安全監視装置。
【0031】
(21)前記平滑化手段は、前記バウンディングボックスの底面の角度を平滑化して算出する上記(19)又は(20)に記載の安全監視装置。
【0032】
(22)前記平滑化手段によって離散的に算出した前記バウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる上記(21)に記載の安全監視装置。
【0033】
(23)前記平滑化手段の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる上記(19)乃至(22)のいずれか一項に記載の安全監視装置。
【0034】
(24)前記平滑化手段は、前記バウンディングボックスの底面の中心座標を平滑化する上記(19)乃至(23)のいずれか一項に記載の安全監視装置。
【0036】
(25)前記イベントリスト処理部は、所定の規則に基づいて前記ファイルを自動的に消去する機能を有しており、前記所定の規則は、記録手段の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである上記(4)に記載の安全監視装置。
【0037】
(26)前記イベントリスト処理部は、前記安全センサから前記検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得して前記イベントリストの前記映像再生時間範囲を決める上記(4)又は(25)に記載の安全監視装置。
【0038】
(27)前記イベントリスト処理部は、過去に発生した任意の事象を新たなイベントとして前記イベントリストに追加登録する機能を有する上記(4)、(25)乃至(26)のいずれか一項に記載の安全監視装置。
【0039】
(28)前記イベントリスト処理部は、前記イベントの開始時刻と終了時刻を編集する機能を有する上記(4)、(25)乃至(27)のいずれか一項に記載の安全監視装置。
【0040】
(29)前記検知対象エリアの映像データに対して前記発報機能の種別に応じた処理を行う映像処理部を有し、前記映像処理部は、前記映像と前記イベントリストを同時に表示部に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介して前記イベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像を前記表示部に表示する上記(4)、(25)乃至(28)のいずれか一項に記載の安全監視装置。
【0041】
(30)前記イベントリストは、前記グラフィカルユーザインターフェースを介して、前記ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる上記(29)に記載の安全監視装置。
【0042】
(31)前記イベントリスト処理部は、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う上記(30)に記載の安全監視装置。
【0043】
(32)前記イベントリスト処理部は、前記自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は前記重要マークが予め付加されたイベントから重要マークが外された場合に、当該イベントのファイルに対して消去する制御を行う上記(31)に記載の安全監視装置。
【0044】
(33)前記イベントリスト処理部は、記録されてから所定時間経過したファイルを自動的に消去する場合に前記イベントリストから当該ファイルのイベントを削除する一方、前記ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと前記重要マークが予め付加されたイベントに対して前記イベントリストから削除しない制御を行う上記(30)乃至(32)のいずれか一項に記載の安全監視装置。
【0045】
(34)さらに、前記安全センサの監視領域への物体の進入を監視する安全監視部を有し、前記安全監視部は、前記監視領域に前記物体が進入した時刻を前記イベントの開始時刻とし、前記監視領域から前記物体が退出した時刻又は前記イベントの開始時刻から一定時間経過した時刻を前記イベントの終了時刻とし前記イベントの開始時刻と終了時刻を前記イベントリスト処理部に通知する上記(4)、(25)乃至(33)のいずれか一項に記載の安全監視装置。
【0046】
(35)安全監視方法であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含み、前記発報種別設定工程では、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、前記大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択できる安全監視方法。
(36)安全監視方法であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、を含み、前記動体認識解析工程では、前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成し、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別する安全監視方法。
(37)安全監視方法であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理工程と、警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理工程と、を含み、前記記録管理工程では、前記映像データを前記記憶部に常時記録しており、前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理工程で指定された発報箇所の前後一定時間の映像データを表示部に表示する安全監視方法。
(38)安全監視方法であって、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定工程と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定工程と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析工程と、映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理工程と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理工程と、を含み、前記イベントリスト処理工程では、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行う安全監視方法。
【0047】
(39)コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、前記コンピュータを、前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させ、前記発報種別設定部に、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、前記大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を前記発報機能の種別として選択させることができるプログラム。
(40)コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、前記コンピュータを、前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部として機能させ、前記動体認識解析部に、前記安全センサとしてのライダにて測定した3次元データより動体を表す点群データを抽出し、当該点群データを囲うのに必要な大きさのバウンディングボックスを作成させ、前記バウンディングボックスの幅と奥行きと高さ、並びに、前記バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定させ、前記動体のサイズが決定された範囲内になっていることを人の判定条件とし、前記動体のサイズが任意に定めた一定時間継続して当該判定条件に適合している場合に、前記動体を人として識別させるプログラム。
(41)コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、前記コンピュータを、前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、前記検知対象エリアの全部又は一部を撮影した映像データを記憶部に記録して管理する記録管理部と、警告が発報された場合に発報データとしてのイベントをイベントリストに追加し管理するイベントリスト処理部として機能させ、前記記録管理部に、前記映像データを前記記憶部に常時記録させており、前記イベントリストの中から任意の発報箇所が指定されたときに、前記イベントリスト処理部に指定された発報箇所の前後一定時間の映像データを表示部に表示させるプログラム。
(42)コンピュータを、安全センサの検知対象エリアの安全性を確保する安全監視として機能させるプログラムであって、前記コンピュータを、前記安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部と、各々の前記発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部と、前記安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部と、映像データを所定時間毎にファイルに分けて記憶部に記録する記録管理部と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部として機能させ、前記イベントリスト処理部に、安全監視者により選択されたイベントに対して、当該イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又は当該ファイルを前記記憶部の別領域に保存し直す制御のいずれかを行わせるプログラム。
【発明の効果】
【0048】
本発明によれば、人と物体との関係を良好に把握することができる。
【図面の簡単な説明】
【0049】
【
図1】実施形態に係る安全監視装置を含む安全監視システムの構成図である。
【
図2】実施形態に係る安全監視装置の構成図である。
【
図3】発報対象エリアと発報除外エリアの説明図である。
【
図4A】実施形態に係る安全監視装置の表示画面の説明図(1)である。
【
図4B】実施形態に係る安全監視装置の表示画面の説明図(2)である。
【
図4C】実施形態に係る安全監視装置の表示画面の説明図(3)である。
【
図6】ユーザインターフェースによる発報機能の選択の一例を示す説明図である。
【
図7】バスの点群データ(L-Shape形状データ)とバウンディングボックスの一例を示す説明図である。
【
図8】バウンディングボックスの座標及び構成の一例を示す説明図である。
【
図9】バウンディングボックスの底面の一例を示す説明図である。
【
図10A】バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(1)である。
【
図10B】バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(2)である。
【
図10C】バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図(3)である。
【
図11】バウンディングボックスの一例を示す説明図である。
【
図12】人(Person)と大物体(Large Object)の判定条件の一例を示す説明図である。
【
図13A】検出した動体の分類結果と連続性を考慮した属性の一例を示す説明図(1)である。
【
図13B】検出した動体の分類結果と連続性を考慮した属性の一例を示す説明図(2)である。
【
図14】人の検知・発報時の動作を示すフローチャートである。
【
図15】上から見た人と大物体との間の距離の一例を示す説明図である。
【
図16】人と大物体の検知・発報時の動作を示すフローチャートである。
【
図17】ライダによって検知された人がカメラ映像の発報対象エリア(進入禁止エリア)内に進入した時の警告画面の一例を示す説明図である。
【
図18A】実施形態に係る安全監視装置の動作説明図(1)である。
【
図18B】実施形態に係る安全監視装置の動作説明図(2)である。
【
図19】実施形態に係る安全監視装置の動作説明図(3)である。
【
図22】角度平滑処理の設定例を示す説明図である。
【
図23】実施形態に係る安全監視装置の動作説明図である。
【
図25】イベントリストの一例を示す説明図である。
【
図26】イベント編集画面の一例を示す説明図である。
【
図27】映像データの記録手段への保存形式の一例を示す説明図である。
【
図28】自動消去時に星印の重要マークが付いたイベントの映像データを残す処理の一例を示す説明図である。
【発明を実施するための形態】
【0050】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示しているに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
【0051】
<安全監視装置の構成>
以下、
図1及び
図2を参照して、本実施形態に係る安全監視装置10の構成について説明する。
図1は、本実施形態に係る安全監視装置10を含む安全監視システムSの構成図である。
図2は、安全監視装置10の構成図である。
【0052】
図1に示すように、安全監視システムSは、1乃至複数の安全監視装置10と、1乃至複数のライダ51と、1乃至複数の監視カメラ61と、1乃至複数のWeb端末62と、を備えている。
【0053】
安全監視装置10は、安全センサの検知対象エリア(測定空間)の安全性を監視する装置である。安全監視装置10は、パーソナルコンピュータ(PC)等によって構成される。
ライダ51は、安全センサとして利用されるために測定空間の周囲に設置され、物体を検知する3次元センサである。
【0054】
監視カメラ61は、測定空間の周囲に対置され、測定空間を撮影する撮影部である。監視カメラ61は、監視カメラ61zのように、設定受付部61a、設定処理部61b、及び、通知部61cを有する構成にしてもよい。監視カメラ61zは、カメラ映像処理を行うプログラム(図示せず)が搭載された外部装置である。設定受付部61aは、カメラ映像処理の設定を受け付ける手段である。設定処理部61bは、映像データに対して設定受付部61aで受け付けられたカメラ映像処理を実行する手段である。設定処理部61bは、測定空間の安全性を判断するように設定してもよい。通知部61cは、カメラ映像処理が施された映像や測定空間の安全性の判断結果を安全監視装置10やWeb端末62に通知する手段である。
【0055】
Web端末62は、カメラ映像処理を行うプログラム(図示せず)が搭載された外部装置である。本実施形態では、Web端末62が通知取得部62aを有しているものとして説明する。通知取得部62aは、安全監視装置10や監視カメラ61zからカメラ映像処理が施された映像や測定空間の安全性の判断結果を取得する手段である。
【0056】
図2に示すように、安全監視装置10は、制御部11と、記憶部30と、通信部39と、を備えている。また、安全監視装置10は、操作部41と、ディスプレイ42(表示部)と、警告用ランプ43と、スピーカ44(報音部)と、を備えている。
【0057】
制御部11は、エリア設定部12と、発報種別設定部13と、映像取得部14と、ライダデータ取得部15と、動体認識解析部16と、結果出力部17と、映像処理部18と、記録管理部19と、映像表示処理部20と、安全センサ入力部21と、安全監視部22と、イベントリスト処理部23と、を有している。
【0058】
エリア設定部12は、安全センサであるライダ51の検知対象エリア(測定空間)に対して任意の属性のエリア(例えば、後記する発報対象エリアや、発報除外エリア等)を設定する手段である。
発報種別設定部13は、各々のエリアに対して任意の発報機能の種別を設定する手段である。
映像取得部14は、測定空間の映像データを取得する手段である。
ライダデータ取得部15は、測定空間の周囲に配置された安全センサとしてのライダ51からセンサデータを取得するセンサデータ取得部である。
【0059】
動体認識解析部16は、安全センサ(本実施形態ではライダ51)で測定されるセンサデータに基づいて3次元データから動体を抽出し、動体の動作を認識して進行方向を解析し、警告を発する手段である。動体認識解析部16は、前景データ抽出部16aと、クラスタリング処理部16bと、バウンディングボックス生成部16cと、角度平滑部16dと、画像認識部16eと、発報解析部16fと、を有している。
【0060】
前景データ抽出部16aは、入力された3次元データから前景データを抽出する手段である。
クラスタリング処理部16bは、教師なし学習で、データ間の類似度に基づいてデータをグループ分けする手段である。
バウンディングボックス生成部16cは、バウンディングボックス(Bounding Box)を生成する手段である。ここで、「バウンディングボックス」とは、ある対象物を囲む最小の長方形又は直方体領域を意味している。
【0061】
角度平滑部16dは、予め指定されたフレーム数又は処理方法で平均処理を行う手段である。
画像認識部16eは、映像データから画像を認識する手段である。画像認識部16eは、顔の識別による人物判定、性別判定、姿勢判定等を行う手段である。
発報解析部16fは、クラスタリング処理にて動体検出された結果を用いて、発報機能の種別に応じた処理を行い、警告を発する手段である。
【0062】
結果出力部17は、動体認識解析部16によって動体が検知され、発せられた警告をイベントデータとして映像処理部18に送る手段である。
映像処理部18は、ディスプレイ42に表示する表示画面を作成する手段である。映像処理部18は、映像データに対してイベントデータを重畳する等の処理を行うことができる。例えば、映像処理部18は、人の検知枠をカメラ映像に重畳する等の、任意のカメラ映像処理を行うことができる。
【0063】
記録管理部19は、映像データを記憶部に記録して管理する手段である。
映像表示処理部20は、所定時間毎に分けたファイルを加工して映像を作成して、ディスプレイ42に表示させる手段である。
【0064】
安全センサ入力部21は、ライダ、カメラ、人感センサ、タッチセンサ等の安全センサから出力される信号を入力する手段である。
安全監視部22は、監視領域への物体の進入を監視する手段である。
イベントリスト処理部23は、イベント毎に選択可能なイベントリストを作成し管理する手段である。なお、イベントリストには、イベントとして発報データやカスタムデータ等が含まれる。
【0065】
記憶部30は、制御プログラムPrと、設定記録データ31と、映像記録データ32と、処理画像データ33と、を記憶する。
【0066】
制御プログラムPrは、コンピュータを安全監視装置10として機能させるプログラムである。
設定記録データ31は、ユーザインタフェースを介して安全監視装置10に設定されたデータである。
映像記録データ32は、監視カメラ61によって撮影された映像データである。
処理画像データ33は、映像データに対して任意の処理を行った画像データである。
【0067】
<エリアの設定>
以下、
図3を参照して、エリアの設定について説明する。
図3は、発報対象エリアと発報除外エリアの説明図である。
【0068】
安全監視装置10のエリア設定部12は、検知対象エリア(測定空間)に対して発報対象エリアと発報除外エリアとを設定する。
【0069】
検知対象エリアは、ライダ51によって物体が測定される測定空間である。換言すると、検知対象エリアは、ライダ51の検知可能範囲内に存在する動体の移動を安全監視装置10によって監視するエリアである。
【0070】
発報対象エリアは、進入者を検知した際にイベントの発行(警告の発報)を行うエリアである。イベントは、警告の発報が行われたことを表すデータである。安全監視装置10は、発報対象エリア内に進入者が存在している期間中、警告を発報し続ける。また、安全監視装置10は、発報対象エリア外で動体を検知しても警告を発報しない。発報対象エリアは、複数設定することができる。発報対象エリアの設定は、検知対象エリア内でのみ有効になる。なお、発報除外エリアと重ねて発報対象エリアが設定されている場合に、発報除外エリアが優先されるため、安全監視装置10は、警告を発報しない。
【0071】
発報除外エリアは、進入者を検知してもイベントの発行(警告の発報)を行わないエリアである。発報除外エリアは、監視対象から動体の検知を意図的に外す場合に指定される。安全監視装置10は、検知対象エリアや発報対象エリアの範囲内であっても、発報除外エリアに指定された範囲内であれば、進入者の検知やイベントの発行(警告の発報)を行わない。例えば、検知対象エリアの中に樹木があり、風によって樹木が揺れることで樹木が進入物として誤検知されてしまう可能性がある場合に、樹木の周辺を発報除外エリアに設定することで、安全監視装置10は誤検知を防止することができる。発報除外エリアは、複数設定することができる。
【0072】
図3に示すように、エリア設定部12は、1つの検知対象エリア(測定空間)に対して複数の発報対象エリアを設定できる。
図3に示す例では、二点鎖線で示す検知対象エリア(測定空間)に対して2つの発報対象エリアA61a,A61bが設定されている。なお、
図3に示す例では、1つの発報除外エリアA62しか設定されていないが、エリア設定部12は、1つの検知対象エリア(測定空間)に対して複数の発報除外エリアを設定することができる。
【0073】
図3に示す例において、人が歩行経路R11に沿って移動する場合に、歩行経路R11と発報除外エリアA62とが重なる箇所が除外箇所B62として設定される。そして、歩行経路R11と発報対象エリアA61aとが重なる箇所であって、発報除外エリアA62と重ならない箇所が発報箇所B61aとして設定される。さらに、歩行経路R11と発報対象エリアA61bとが重なる箇所が発報箇所B61bとして設定される。安全監視装置10は、人が発報箇所B61a,B61bに進入する場合や進入中に、イベントの発行(警告の発報)を行う。
【0074】
図4A乃至
図4Cに、エリアの設定の一例を示す。
図4A乃至
図4Cは、それぞれ、安全監視装置10の表示画面100の説明図である。安全監視装置10は、表示画面100をディスプレイ42に表示して安全監視者によるエリアの設定を受け付ける。ここで、「安全監視者」とは、安全監視装置10によって各測定空間の安全性を監視する人物を意味している。
【0075】
図4Aに示す例では、表示画面100は、3Dビューアー部101、設定部102、ライダ選択部103、発報対象エリアタブ104等を含む構成になっている。
【0076】
3Dビューアー部101は、監視カメラ61によって撮影された測定空間の映像やその映像を加工処理した画像を表示する欄である。
設定部102は、エリアや発報機能の種別等の各種の設定を行う欄である。
ライダ選択部103は、任意のライダ51によって取得された3次元データ(測距データ)を選択する指示部である。
発報対象エリアタブ104は、発報対象エリアを設定するためのタブである。
【0077】
図4Bに示す例では、発報対象エリアタブ104の画面は、ブロックタブ104a、有効チェックボックス104b、エリア選択部104c、表示色設定部104d等を含む構成になっている。
【0078】
ブロックタブ104aは、発報対象となる物体に付加するバウンディングボックスの仕様を設定するためのタブである。ここで、「バウンディングボックス」とは、ある対象物を囲む最小の長方形又は直方体領域を意味している。
有効チェックボックス104bは、発報対象となる物体にバウンディングボックスを付加にすることを指定する欄である。
エリア選択部104cは、発報対象エリアとして設定するエリアを選択する欄である。
表示色設定部104dは、3Dビューアー部101に映る発報対象エリア枠101a(
図4C参照)を設定する欄である。
【0079】
安全監視者がエリア選択部104cで任意のエリアを選択(指定)することで、安全監視装置10は、選択されたエリアを発報対象エリアに設定する。このとき、安全監視装置10は、3Dビューアー部101に映る発報対象エリア枠101a(
図4C参照)の色を、表示色設定部104dで設定された色に変更する。
【0080】
<発報機能>
安全監視装置10は、様々な種類の発報機能を有している。ここでは、例えば、安全監視装置10が以下の3種類の発報機能を使用する場合を例にして説明する。
(1)進入検知:発報対象エリア(進入禁止エリア)内に進入したすべての動体に警告を発する。
(2)進入検知(人):発報対象エリア(進入禁止エリア)内に進入した動体のうち「人」にのみに警告を発する。
(3)近接検知:発報対象エリア(進入禁止エリア)内に進入した「人」と「大物体」が予め定めた一定距離以下になったときに警告を発する。
【0081】
以下、
図5及び
図6を参照して、発報機能の使用例について説明する。
図5は、エリアの一例を示す説明図である。
図6は、ユーザインターフェースによる発報機能の選択の一例を示す説明図である。
【0082】
例えば、
図5に示す例では、1つの測定空間に対して、第1エリアと、第2エリアと、第3エリアの3つのエリアが設定されている。
第1エリアは、何もないエリアである。そのため、安全監視者は、第1エリアに対して運用に応じて任意の発報機能を設定することができる。そこで、例えば安全監視者は、第1エリアに対して「(1)進入検知」を設定して、あらゆる動体を検知対象とするように第1エリアを設定することができる。
第2エリアは、フォークリフト作業場であり、人が進入すると危険になるエリアである。そこで、安全監視者は、第2エリアに対して「(2)進入検知(人)」を設定する。
第3エリアは、クレーン作業現場であり、クレーンに対して人が一定距離Rよりも近づく危険になるエリアである。そこで、安全監視者は、クレーンから一定距離Rよりも近い場所にいる人に警告を発するために、第3エリアに対して「(3)近接検知」を設定する。
【0083】
図6に示すように、安全監視装置10の表示画面100(
図4A参照)は、設定部102でこれら3種類の発報機能の中から一つを選択できる構成になっている。
また、安全監視装置10の表示画面100(
図4A参照)は、発報対象エリア(進入禁止エリア)を複数選択できる構成になっており、各々のエリアを独立に任意の属性のエリアに設定できる。
【0084】
<バウンディングボックスの作成>
以下、
図7乃至
図10Cを参照して、前記した「バウンディングボックス」の作成について説明する。
図7は、バスの点群データとバウンディングボックスの一例を示す説明図である。
図8は、バウンディングボックスの座標及び構成の一例を示す説明図である。
図9は、バウンディングボックスの底面の一例を示す説明図である。
図10A乃至
図10Cは、それぞれ、バウンディングボックスの底面となる(x,z)平面の長方形を求める方法の説明図である。
【0085】
バウンディングボックスは、例えば前記した特許文献1(国際公開第2018/084146号)に記載された手法で作成する。
図7は、ライダ51にて測定されたバスの点群データ(L-Shape形状データ)とその点群データを囲むように形成した長方形状のバウンディングボックスの一例を示している。また、
図8は、バスの立体形状に沿って形成した長方体状のバウンディングボックスの座標及び構成の一例を示している。
【0086】
3次元座標系(x,y,z)において、水平面を(x,z)として、高さ方向をy座標とする。バウンディングボックスは、ある対象物を囲む最小の長方形又は直方体領域で構成される。底面の長い方向の長さを幅W(Width)とし、狭い方向の長さを奥行きD(Depth)とし、底面から上面までの長さを高さH(Height)とする。
【0087】
図9は、X軸に対して傾いて配置されたバスのバウンディングボックスの底面の一例を示している。
図9に示す例では、X軸となす角度を角度θとして示している。
【0088】
図10A乃至
図10Cは、それぞれ、バウンディングボックスの底面となる(x,z)平面の長方形を求める方法を示している。図中、黒丸で示す画素点(以下、「黒丸画素点」と称する)は、クラスタリング処理された点群の各画素を表している。
【0089】
図10A乃至
図10Cにおいて、まず、各黒丸画素点を通過して角度θの傾きの直線を引き、一番外側の直線を角度θでのバウンディングボックスのX軸方向の2直線とする。次に、各黒丸画素点を通過して角度θ+90°の傾きの直線を引き、一番外側の直線を角度θでのバウンディングボックスのZ軸方向の2直線とする。最後に、これらの4直線で囲まれる長方形を角度θのバウンディングボックスとする。
【0090】
この手順をθ=0°,Δθ,2×Δθ,3×Δθ,…,(n-1)×Δθ(ここで、nは、((n-1)×Δθ)<90°となる最大の整数とする)だけ繰り返して、各傾きにてバウンディングボックスを求める(算出する)。
【0091】
そして、求めた各傾きのバウンディングボックスの中から、点群データとの相関が最も大きいものをこの点群データの最適バウンディングボックスとする。このようにして、各監視対象のバウンディングボックスは作成される。
【0092】
<動体とバウンディングボックスとの関係>
以下、
図11乃至
図13Bを参照して、動体とバウンディングボックスとの関係について説明する。
図11は、バウンディングボックスの一例を示す説明図である。
図12は、人(Person)と大物体(Large Object)の判定条件の一例を示す説明図である。
図13Aは、検出した動体の分類結果と連続性を考慮した属性(大物体の場合)の一例を示す説明図である。
図13Bは、検出した動体の分類結果と連続性を考慮した属性(人の場合)の一例を示す説明図である。
【0093】
図11に示すように、安全監視装置10は、ライダ51で動体105を検知し、その動体105をちょうど囲む(最小の体積で囲む)ように、直方体領域(長方体領域)状のバウンディングボックス105boxを生成する。
【0094】
安全監視装置10は、バウンディングボックス105boxのサイズ(幅、奥行き、高さ)から、バウンディングボックス105boxで囲まれた動体105が人であるのか又は人よりも大きな大物体であるのかを判定する。判定は、例えば、
図12に示す判定条件に基づいて行われる。
【0095】
図12に示す例では、判定条件として、動体105の幅W、奥行きD、高さH,Ht,Hbの値が示されている。なお、高さHは、バウンディングボックス105boxの上面から下面までの距離である。また、高さHtは、地面Gからバウンディングボックス105boxの上面までの距離である。また、高さHbは、地面Gからバウンディングボックス105boxの下面までの距離である。
【0096】
安全監視装置10は、例えば、一連の映像データの中のあるフレームに映る動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、すべての値が以下に示す「人」の判定条件に適合してる場合に、動体105を「人」と分類する。ただし、以下の範囲は、一例に過ぎず、運用次第で変更することができる。
(「人」の判定条件)
幅W:最小値0.3[m]から最大値1.2[m]までの範囲。
奥行きD:最小値0.2[m]から最大値1.0[m]までの範囲。
高さH:最小値0.5[m]から最大値2.3[m]までの範囲。
高さHt:最小値0.5[m]から最大値3.0[m]までの範囲。
高さHb:最小値-1.0[m]から最大値0.8[m]までの範囲。
【0097】
具体的には、安全監視装置10は、一連の映像データの中のあるフレームに映る動体105の幅W、奥行きD、高さH,Ht,Hbにおいて、各項目のすべての値が以下の範囲内である場合に、この動体105を「人」と分類する。
0.3[m]≦幅W≦1.2[m]
0.2[m]≦奥行きD≦1.0[m]
0.5[m]≦高さH≦2.3[m]
0.5[m]≦高さHt≦3.0[m]
-1.0[m]≦高さHb≦0.8[m]
【0098】
また、安全監視装置10は、例えば、動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各値が以下に示す「大物体」の判定条件に適合してる場合に、動体105を「大物体」と分類する。ただし、以下の範囲は、一例に過ぎず、運用次第で変更することができる。
(「大物体」の判定条件)
動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各項目のすべてが「人」の最小値以上で、かつ、1項目以上が「人」の最大値以上である。
【0099】
具体的には、安全監視装置10は、あるフレーム(バウンディングボックス105box)の動体105の幅W、奥行きD、高さH,Ht,Hbにおいて、各項目の値が以下の第1条件と第2条件とを満たす場合に、この動体105を「大物体」と分類する。
(第1条件)
各項目のすべての値が以下の条件を満たすこと。
0.3[m]≦幅W
0.2[m]≦奥行きD
0.5[m]≦高さH
0.5[m]≦高さHt
-1.0[m]≦高さHb
(第2条件)
いずれか1つ以上の項目の値が以下の条件を満たすこと。
1.2[m]≦幅W
1.0[m]≦奥行きD
2.3[m]≦高さH
3.0[m]≦高さHt
0.8[m]≦高さHb
【0100】
また、安全監視装置10は、動体105の幅W、奥行きD、高さH,Ht,Hbの各項目において、各値が人の判定条件及び大物体の判定条件に適合しない場合に、動体105を不明(その他)に分類する。
【0101】
なお、安全監視装置10は、好ましくは、複数人を1つの物体として検出される場合を考慮して、閾値を大きく設定するとよい。また、安全監視装置10は、好ましくは、人の上半身しか見えていない等、地面から動体105が浮いて見える場合を考慮して、閾値を大きく設定するとよい。
【0102】
また、前記した通り、安全監視装置10は、フレーム毎に「人」、「大物体」、「不明(その他)」の3通りに分類することができる。しかしながら、ライダ51にて検知した動体は、測定のばらつきによりクラスタリング処理時に分裂したり、サイズが変動したりする。そのため、大物体が瞬間的に人のサイズの塊になる場合がある。これにより、大物体が「人」として分類される可能性がある。そこで、例えば
図13Aに示すように、安全監視装置10は、好ましくは、動体105のサイズが任意に定めた複数フレーム連続して維持される場合に、動体105の属性を「大物体(大動体)」に分類するとよい。これにより、安全監視装置10は、大物体が「人」として分類されることを防止することができる。
【0103】
なお、
図13Aに示す例では、安全監視装置10は、動体105のサイズが3フレーム連続して維持される場合に、動体105の属性を「大物体(大動体)」に分類している。その後、安全監視装置10は、他の属性(例えば、「人」)サイズのフレームが3フレーム連続しなければ、動体105の属性を「大物体(大動体)」に維持するようにしている。
【0104】
また、「人」と分類した動体501が何らかのノイズの影響によって瞬間的に人よりも大きなサイズの塊(又は人よりも小さなサイズの塊)になる場合がある。その場合に、例えば
図13Bに示すように、動体501の連続性が途切れるために、任意に定めた複数フレーム(例えば、3フレーム)連続したときにのみ、動体501の属性の見直しを行うようにするとよい。
【0105】
なお、10fps(フレーム/秒)のライダ51では、1フレームの時間が0.1秒であるため、3フレームは0.3秒に相当する。ここでは、3フレーム連続した場合について説明したが、現場に応じて最適なフレーム数を選ぶようにしても良い。
【0106】
また、安全監視装置10は、ライダ51の測定範囲内に発報対象エリア(進入禁止エリア)を設けて、「人」と識別した動体501が発報対象エリアに進入したときにのみ、警告を発するようにしてもよい。
【0107】
<安全監視装置の動作>
以下、
図14を参照して、安全監視装置10の動作について説明する。
図14は、人の検知・発報時の動作を示すフローチャートである。
【0108】
図14に示すように、ステップS101において、安全監視者が表示画面100(
図4A参照)を見ながら安全監視装置10を操作して、測定空間に対して任意の属性のエリアを設定する。これに応答して、安全監視装置10のエリア設定部12は、1つの測定空間に対して1乃至複数の発報対象エリア及び1乃至複数の発報除外エリアを設定する。
【0109】
次にステップS102において、安全監視者が表示画面100(
図4A参照)を見ながら安全監視装置10を操作して、各発報対象エリアに対して発報機能の種別を指定する。これに応答して、安全監視装置10の発報種別設定部13は、各発報対象エリアに対して発報機能の種別を設定する。この後、安全監視者が安全監視装置10を操作して安全監視装置10に測定空間の監視の開始を指示する。
【0110】
するとステップS103において、安全監視装置10の映像取得部14は、各監視カメラ61から各測定空間の映像データを取得する。
【0111】
次にステップS105において、安全監視装置10のライダデータ取得部15は、ライダ51から3次元データ(センサデータ)として測距データ(θ(i),φ(j),R)を取得する。
【0112】
次にステップS110において、安全監視装置10の動体認識解析部16の前景データ抽出部16aは、背景差分法によって3次元データから前景データを抽出する。つまり、前景データ抽出部16aは、(3次元データ-基準背景データ)を演算することで、前景データを抽出する。
【0113】
次にステップS115において、安全監視装置10の動体認識解析部16のクラスタリング処理部16bは、3次元データによって検知された点群の距離データに基づいて前景データから点群データ(動体)の塊を抽出してクラスタリング処理を行う。
【0114】
次にステップS120において、安全監視装置10の動体認識解析部16のバウンディングボックス生成部16cは、クラスタリング処理された点群データ(動体)の塊を囲むのに必要な直方体領域を作成することで、バウンディングボックスを作成する。
【0115】
次にステップS125において、安全監視装置10の動体認識解析部16の発報解析部16fは、バウンディングボックスのサイズ(幅、奥行き、高さ)から動体が人の判定条件に適合しているか否かを確認する。動体が人の判定条件に適合していることが確認された場合に、発報解析部16fは、その動体に人を表すフラグ(人フラグ)を付加する(立てる)。これにより、安全監視装置10は、動体に対して人の認識を行う。
【0116】
次にステップS130において、安全監視装置10の動体認識解析部16の発報解析部16fは、次のフレームにて、同じ動体のサイズを検知する。そして、指定したフレーム数連続して動体のサイズが人のサイズに適合している場合に、発報解析部16fは、その動体の属性を「人」に設定する。
【0117】
次にステップS135において、安全監視装置10の動体認識解析部16の発報解析部16fは、発報対象エリアに動体が進入したか否かをチェックする。そして、進入した動体がある場合で、かつ、進入した動体の属性が「人」であるときに、発報解析部16fは、警告を発する。
【0118】
<距離の検知方法>
以下、
図15を参照して、距離の検知方法について説明する。
図15は、上から見た「人」と「大物体」との間の距離の一例を示す説明図である。
【0119】
安全監視装置10は、分類した「人」と「大物体」との間の距離を以下のようにして求める(算出する)ことができる。
【0120】
図15に示すように、人106のバウンディングボックス106boxの底面は、極端な長方形になることはない。そのため、安全監視装置10は、バウンディングボックス106boxを囲む外接円を人106の領域に設定する。
【0121】
横軸をX軸とし、縦軸をZ軸とした場合に、人106のバウンディングボックス106boxの中心点106oの座標を(ADx,ADz)として表すことができる。そして、バウンディングボックス106boxを囲む外接円の半径をAD_Rとする。
【0122】
大物体105aの底面は、4つの点a,b,c,dをそれぞれ頂点とする長方形になっている。安全監視装置10は、大物体105aの線分abと人106の中心点106oとの間の距離、大物体105aの線分bcと人106の中心点106oとの間の距離、大物体105aの線分cdと人106の中心点106oとの間の距離、大物体105aの線分daと人106の中心点106oとの間の距離を各々求める(算出する)。そして、安全監視装置10は、各々求めた(算出した)値の最小値を、各線分ab,bc,cd,daと人106の中心点106oとの間の距離Dminとする。
【0123】
安全監視装置10は、人106と大物体105aとの間の距離を、(Dmin-AD_R)によって求める(算出する)ことができる。
【0124】
安全監視装置10は、毎フレームで、検出したすべての人106と大物体105aとの間のすべての組み合わせの距離を算出し、算出した距離が指定した閾値距離よりも短い場合に警告を発するようにするとよい。
【0125】
その際に、安全監視装置10は、算出した距離に応じて異なる種別の警告を発するようにしてもよい。例えば、算出した距離が以下の閾値距離Th1,Th2,Th3(図示せず)の場合に、以下のような警告を発することができる。なお、閾値距離Th1,Th2,Th3(図示せず)は、Th1>Th2>Th3の関係になっている。
(1)安全監視装置10は、(Dmin-AD_R)<Th1の場合に、レベルを注意レベルとする。この場合に、安全監視装置10は、警告用ランプ43に黄色を点灯させる。
(2)安全監視装置10は、(Dmin-AD_R)<Th2の場合に、レベルを警告レベルとする。この場合に、安全監視装置10は、警告用ランプ43に赤色を点灯させる。
(3)安全監視装置10は、(Dmin-AD_R)<Th3の場合に、レベルを危険レベルとする。この場合に、安全監視装置10は、警告用ランプ43に赤点滅を行わせるとともに、スピーカ44に警報音を鳴らせる。
【0126】
以下、
図16を参照して、安全監視装置10の動作について説明する。
図16は、人と大物体の検知・発報時の動作を示すフローチャートである。
【0127】
図16に示すように、人と大物体の検知・発報時の動作は、
図14に示す人の検知・発報時の動作と比較すると、以下の点で相違している。
(1)ステップS120の後に、ステップS121の判定処理を行う点。
(2)ステップS121の判定で“Yes”と判定された場合に処理がステップS125に進む点。
(3)ステップS121の判定で“No”と判定された場合に安全監視装置10がステップS145とステップS150の処理を行う点。
(4)ステップS135が削除され、その代わりに、ステップS130又はステップS150の後に、ステップS155の処理を行う点。
これらの相違点以外は、
図16に示す人と大物体の検知・発報時の動作と
図14に示す人の検知・発報時の動作は、同じである。
【0128】
具体的には、
図16に示すように、ステップS120の後に、ステップS121において、安全監視装置10の動体認識解析部16の発報解析部16fは、物体が人か否かを判定する。
ステップS121の判定で、物体が人であると判定された場合(“Yes”の場合)に、処理は、ステップS125に進む。この場合に、
図14に示す人の検知・発報時の動作と同様に、ステップS125からステップS130までの処理を行う。ステップS130の後に、処理はステップS155に進む。
【0129】
一方、ステップS121の判定で、物体が人でないと判定された場合(“No”の場合)に、処理は、ステップS145に進む。
【0130】
ステップS145において、安全監視装置10の動体認識解析部16の発報解析部16fは、バウンディングボックスのサイズ(幅、奥行き、高さ)から動体が大物体の判定条件に適合していることを確認し、その動体に大物体を表すフラグ(大物体フラグ)を付加する(立てる)。これにより、安全監視装置10は、動体に対して大物体の認識を行う。
【0131】
次にステップS150において、安全監視装置10の動体認識解析部16の発報解析部16fは、次のフレームにて、同じ動体のサイズを検知する。そして、指定したフレーム数連続して動体のサイズが大物体の判定条件に適合している場合に、発報解析部16fは、その動体の属性を「大物体」に設定する。ステップS150の後に、処理はステップS155に進む。
【0132】
ステップS155において、安全監視装置10の動体認識解析部16の発報解析部16fは、発報対象エリアに動体が進入したか否かをチェックする。そして、「人」と「大物体」の両方が発報対象エリアに進入した場合に、発報解析部16fは、「人」と「大物体」との間の距離を測定し、その距離が一定距離より短いときに「人」が危険状態になった旨の警告を発する。
【0133】
図17は、ライダ51によって検知された人106がカメラ映像の発報対象エリア(進入禁止エリア)内に進入した時の警告画面の一例を示す説明図である。安全監視装置10は、ライダ51から取得された3次元データを監視カメラ61から取得された2次元の映像データ(カメラ映像)に射影する。安全監視装置10は、3次元データと映像データとの位置関係が合うように設定されている。そして、
図17に示すように、安全監視装置10は、動体を検知し、動体にバウンディングボックス106boxを付加して、バウンディングボックス106boxのサイズに基づいて動体を人106として認識する。なお、安全監視装置10は、人106が発報対象エリア(進入禁止エリア)内に進入する場合に、警告を発報するために、カメラ映像の中の該当する人106のバウンディングボックス106boxの色を赤色に変更したり、該当する人106の部分に赤枠を重畳したりするとよい。
【0134】
また、安全監視装置10は、監視カメラ61から取得された映像データ(カメラ映像)を記憶部30に常時記録(録画)する構成にすることができる。このような安全監視装置10は、警告を発報した瞬間の映像データ(カメラ映像)を消去することなく記録に残して、発報リストを作成することができる。この場合に、安全監視装置10は、発報リストに基づいて、必要な時間分の発報時の映像データ(カメラ映像)を指定して再生(ディスプレイ42に表示)することができる。
【0135】
【0136】
図18Aに示すように、安全監視装置10は、ライダ51によって測定された3次元データ(測距データ)をライダデータ取得部15で取得する。ライダデータ取得部15は、取得された3次元データ(測距データ)を動体認識解析部16に出力する。
【0137】
動体認識解析部16では、発報解析部16fがエリア毎に指定された発報機能に基づいて動体を検知する。そして、発報解析部16fは、いずれかのエリアが警告を発報すべき状況であるか否かを判定する。警告を発報すべきエリアがある場合に、動体認識解析部16は、警告のレベルに応じてランプを点灯するように警告用ランプに点灯指示信号を出力する。これに応答して、警告用ランプは、ランプを点灯する。なお、警告用ランプは、複数のランプで構成されていて、エリア毎に指定するようにしても良い。
【0138】
また、動体認識解析部16は、結果出力部17を介して動体が検知された結果を映像処理部18に出力する。これに応答して、映像処理部18は、ディスプレイ42に表示する表示画面100(
図4A参照)を作成する。その際に、映像処理部18は、例えば、人の検知枠をカメラ映像に重畳する等の、任意のカメラ映像処理を行うようにしても良い。
【0139】
また、
図18Bに示すように、安全監視装置10は、映像処理部18の中にカメラ映像処理用の画像認識部18aを有する構成にしてもよい。画像認識部18aは、監視カメラ61で撮影された映像データ(カメラ映像)に基づいて、動体認識解析部16で認識された人に対して、顔の識別による人物判定、性別判定、姿勢判定等を行う。これにより、安全監視装置10は、さらにきめ細かい危険レベルの判定を行うことができる。
【0140】
<バウンディングボックスの平滑化について>
安全監視装置10は、好ましくは、バウンディングボックスの平滑化機能を有しているとよい。
図19は、安全監視装置10の動作説明図である。
【0141】
図19に示すように、安全監視装置10は、ライダデータ取得部15でライダ51から取得された3次元データ(測距データ)を動体認識解析部16に出力する。動体認識解析部16では、前景データ抽出部16aが、入力データである3次元データ(測距データ)と予め取得しておいた背景データとの差分を取り、前景データを抽出する。
【0142】
次に、クラスタリング処理部16bが、前景データから一定の塊のある点群データを抽出して、動体候補に設定する。そして、クラスタリング処理部16bは、動体候補に設定された点群データの中から全フレームとの連続性を検証し、連続性があるものを動体とみなして、IDを割り振る。この後、バウンディングボックス生成部16cが、動体とみなされた点群データに対してバウンディングボックスを生成する。
【0143】
作成されたバウンディングボックスの底面の(x,z)平面におけるフレーム間の角度θは、Δθ毎に離散的な値となっている。そこで、角度平滑部16dは、予め指定されたフレーム数又は処理方法で平均処理を行う。その際に、安全監視者は操作部41によってフレーム数や処理方法の変更等を行えるようにしても良い。
【0144】
また、安全監視装置10は、映像データ(カメラ映像)と点群データとして求めたバウンディングボックスとを同時にディスプレイ42に表示する。そのため、安全監視装置10は、ライダ51に対して後ろ側となる点群データの無い部分についても、バウンディングボックスによって大体の外形が視覚的に見える程度に、安全監視者に見せることができる。
【0145】
例えば、ライダ51からの入力データが10fps(フレーム/秒)となっている場合について説明する。
図20は、角度平滑処理の一例を示す説明図である。
図20は、フレーム毎に同一物体のバウンディングボックスの角度θをΔθ=6°として、5フレームの単純平均式で求めた場合の例を示している。
【0146】
求まる角度θは、離散的に0°,6°,12°,18°,…,78°,84°のいずれか1つの角度になる。図示例では、角度θが6°から12°に徐々に曲がっていく例を示している。図示例では、点群のバラツキにより、角度θが6°と12°とに混じりあう状態となっている。このような状態のバウンディングボックスの動きは、視覚上がたがたしたように見えてしまう。
【0147】
ここで、iフレーム目の角度をθ(i)とし、平均角度をθave(i)とした場合において、5フレームの単純平均式は以下の式(1)となる。
θave(i)=(θ(i-4)+θ(i-3)+θ(i-2)+θ(i-1)+θ(i))÷5 …(1)
【0148】
図20に示す平均角度は、上記の式(1)での算出結果の角度である。
図20に示す平均角度は、滑らかな変化の角度となる。そのため、バウンディングボックスの動きは、見た目が安定するとともに、実際の動体(例えばバス等)の動きに比較的近い状態となる。しかしながら、例えば過去の4フレームと現フレームとの間の角度データを使用するので、バウンディングボックスの動きは、若干遅れた動作となる。バウンディングボックスの動きは、平滑フレーム数を増やせば滑らかさを向上させることができるが、応答性が下がる。そこで、検出したい動体の事情にあわせて、平滑フレーム数を選ぶのが良い。例えば、バスやトラック等は、急に曲がることは少ないため、多めのフレーム数を選び、フォークリフトのような小回りの多い車は、小さめのフレーム数を選ぶようにしても良い。
【0149】
図21は、
図20と同様に、角度平滑処理の一例を示す説明図である。ただし、
図20が5フレームの単純平均式で求めた場合の例を示しているのに対し、
図21は、以下の式(2)で重み付けされた5フレームの加重平均式で求めた場合の例を示している。加重平均式は、現フレームに重きを置いた式である。
【0150】
ここで、iフレーム目の角度をθ(i)とし、平均角度をθave(i)とした場合において、加重平均式により重み付けされた5フレームの加重平均式は以下の式(2)となる。
θave(i)=(1×θ(i-4)+2×θ(i-3)+3×θ(i-2)+4×θ(i-1)+5×θ(i))÷15 …(2)
【0151】
図22は、角度平滑処理の設定例を示す説明図である。
図22は、操作部41を操作して図示せぬグラフィカルユーザインターフェース(GUI)により平均化処理の設定を行う場合の例を示している。
【0152】
図22に示す例では、表示画面は角度平滑化の処理実施を「する」か「しない」かの設定をラジオボタンで設定できる構成になっている。また、表示画面は動体の縦横比(width/depth)が一定値未満の場合に角度平滑処理を実施することを設定できる構成になっている。また、表示画面は実施対象のサイズ(width)が一定サイズ未満の場合に角度平滑処理を実施することを設定できる構成になっている。なお、実施対象のサイズ(width)の値を大きく設定するほど、角度平滑部16dは、動体に対して角度平滑処理を頻繁に実施することになる。また、表示画面は平均化フレーム数が一定数未満の場合に角度平滑処理を実施することを設定できる構成になっている。図示例では、平均化フレーム数として5フレームが選択されているが、この値は自由に変更することができる。また、表示画面は単純平均と加重平均とのいずれかをラジオボタンにて選択できる構成になっている。
【0153】
なお、iフレーム目におけるバウンディングボックスの底面の中心座標を(Cx(i),Cz(i))とした場合に、Cxave(i)とCzave(i)の角度平滑処理は以下の式(3)と式(4)によって行われる。
Cxave(i)=(Cx(i-4)+Cx(i-3)+Cx(i-2)+Cx(i-1)+Cx(i))÷5 …(3)
Czave(i)=(Cz(i-4)+Cz(i-3)+Cz(i-2)+Cz(i-1)+Cz(i))÷5 (4)
【0154】
なお、上記の算出例では、角度平滑部16dは、単純平均で角度の平滑処理を行っているが、加重平均で角度の平滑処理を行うようにしても良い。また、安全監視装置10は、図示せぬグラフィカルユーザインターフェースにより角度の平滑処理と同時に中心座標の平滑処理を行うようにしても良い。また、安全監視装置10は、角度とは独立に図示せぬグラフィカルユーザインターフェースを設けても良い。
【0155】
<録画自動消去時の重要マークが設定された映像データの除外について>
安全監視装置10は、監視カメラ61から取得した映像データ(カメラ映像)を常時録画(記憶部30に記憶)して一定期間経過後に消去する構成にするとよい。
図23は、このような安全監視装置10の動作説明図である。
【0156】
図23に示すように、安全監視装置10は、監視カメラ61から取得した映像データ(カメラ映像)を映像処理部18で例えばMxPEG等の管理可能なデータに変換して記録管理部19に出力する。
【0157】
記録管理部19は、データベース管理できるように、変換データを所定時間毎にファイル(ファイルデータ)に分けて記憶手段(記憶部30や外部の図示せぬ記録メディア)に記録する。また、記録管理部19は、安全監視者の指示に基づいて、映像処理部18からファイルを取得し、取得したファイルを映像表示処理部20に出力する。また、記録管理部19は、記憶手段(記憶部30や外部の図示せぬ記録メディア)に記録されたファイル群の中から指定された時間のファイルを読み出して、映像表示処理部20に出力する。映像表示処理部20は、ファイルに基づいて画像を作成してディスプレイ42に表示させる。
【0158】
また、安全監視装置10は、ライダ、カメラ、人感センサ、タッチセンサ等の安全センサ50から測定空間における物体の検知信号を安全センサ入力部21で取得して、検知信号を安全監視部22に出力する。安全監視部22は、検知信号に基づいて人の進入や危険物体の進入等を検知して、イベントを発行する。つまり、安全監視部22は、安全センサ50の監視領域への物体の進入を監視する。そして、安全監視部22は、そのイベントをイベントリスト処理部23に出力する。このとき、安全監視部22は、安全センサ50の監視領域に物体が進入した時刻をイベントの開始時刻とし、監視領域から物体が退出した時刻又はイベントの開始時刻から一定時間経過した時刻をイベントの終了時刻とする。そして安全監視部22は、イベントの開始時刻と終了時刻をイベントリスト処理部23に通知する。
【0159】
これに応答して、イベントリスト処理部23は、イベントリストを作成更新し、例えば
図24に示す表示画面110をディスプレイ42に表示する。
図24は、表示画面110の一例を示す説明図である。
図24に示す例では、表示画面110は、監視カメラ61によって撮影された各測定空間の映像と更新後のイベントリストとを同時に並べた構成になっている。安全監視者は、表示画面110を見ながら操作部41を操作する。イベントリスト処理部23は、安全監視者の操作に応じてイベントの編集を行う。
【0160】
なお、
図24に示す例では、表示画面110は、左側に映像が表示される映像表示部111が配置され、右側にイベントリストが表示されるイベントリスト表示部112が配置された構成になっている。
【0161】
図24に示す例では、映像表示部111は、4つの画面に区画されている。安全監視装置10は、監視カメラ61を4台まで接続できる構成なっており、各監視カメラ61から取得された映像を映像表示部111の任意の画面に表示する。なお、安全監視装置10は、運用に応じて映像表示部111の4つの画面を使い分けるようにしてもよい。例えば、安全監視装置10は、映像表示部111の左上の画面に監視カメラ61からのライブ映像を表示し、映像表示部111の右上の画面に記憶手段からの録画再生映像を表示するようにしてもよい。
【0162】
また、安全監視装置10は、イベントリスト表示部112に表示されたイベントリストの各イベントに関連した映像を映像表示部111に再生できる構成になっている。例えば、安全監視者は、イベントリスト表示部112に表示されたイベントリストの中から再生したいイベントを選択して、マウスにてダブルクリックしたり、映像表示部111の再生したい画面にドラッグしたりする。これにより、安全監視装置10は、選択されたイベントに関連した映像を映像表示部111に再生する。
【0163】
図25は、イベントリストの一例を示す説明図である。
図25に示す例では、イベントリスト120は、左から、重要マーク欄121、タイムスタンプ欄122、カメラ名欄123、種類欄124、説明欄125を有する構成になっている。
【0164】
重要マーク欄121は、重要なイベントであることを表す重要マークが付加される欄である。図示例では、重要マークが星型の形状を呈しているが、重要マークの形状は星型に限らず任意の形状にすることができる。
【0165】
タイムスタンプ欄122は、イベントの開始時刻の表示欄である。
カメラ名欄123は、映像を撮影したカメラ名の表示欄である。
種類欄124は、イベントの種類(Intruder、CUSTOM等)の表示欄である。
説明欄125は、イベントに関する説明の表示欄である。
なお、イベントリスト120は、これらの他に、イベントの終了時刻、発生原因等を表示する構成にすることができる。
【0166】
イベントリスト120は、任意のイベントの重要マーク欄121をマウスでクリックすることで、重要マークをOn/Offできる構成になっている。安全監視者は、任意のイベントの映像を再生して、映像確認を行い、再生中の映像の中にインシデント(重要な事象)が発生していると判断した場合に、そのイベントの重要マーク欄121に重要マークを付加する。安全監視装置10は、重要マークが付加されたイベントに関連した映像が消去されないように保管する。
【0167】
安全監視装置10は、安全監視者がイベントリスト120の中から任意に1つのイベントを選択して、
図26に示すイベント編集画面130で編集操作を行うことにより、そのイベントに対して編集処理を行うことができる。
図26は、イベント編集画面130の一例を示す説明図である。
【0168】
図26に示す例では、イベント編集画面130は、カメラ名欄131、ユーザ名欄132、発生日時欄133、終了日時欄134、説明欄135、種類欄136、マーク欄137、原因欄138、対策欄139、重要度欄140を含む構成になっている。
【0169】
カメラ名欄131は、映像を撮影したカメラ名の表示欄である。
ユーザ名欄132は、ユーザ名の表示欄である。
発生日時欄133は、イベントの発生日時の表示欄である。
終了日時欄134は、イベントの終了日時の表示欄である。
説明欄135は、イベントに関する説明の入力欄である。
種類欄136は、イベントの種類(Intruder、CUSTOM等)の入力欄である。
マーク欄137は、重要マークの種類の表示欄である。
原因欄138は、発生したインシデントの原因の入力欄である。
対策欄139は、発生したインシデントに対する対策の入力欄である。
重要度欄140は、発生したインシデントの重要度の入力欄である。
【0170】
図26に示すイベント編集画面130は、
図25に示す重要マークが付加されたイベントの詳細データを反映した内容となっている。
図26に示す例では、発生日時欄133に表示されたイベントの発生日時(開始時刻)が2020年1月17日12時5分41秒となっている。また、終了日時欄134に表示されたイベントの終了日時(終了時刻)が2020年1月17日12時11分20秒となっている。このイベントの映像データを再生する場合に、安全監視者は、イベントの発生日時(開始時刻)と終了日時(終了時刻)に対して、一定時間(例えば前後10秒)多くとって再生するとよい。例えば、安全監視者は、イベント編集画面130で、発生日時欄133と終了日時欄134を編集して、イベントの発生日時を2020年1月17日12時5分31秒に設定し、イベントの終了日時を2020年1月17日12時11分30秒に設定して、映像を再生するとよい。なお、日時の変更に適用する一定時間(例えば前後10秒)は、任意に変更できるようになっている。
【0171】
安全監視者は、イベント編集画面130から、発生日時欄133の発生日時(イベントの開始時刻)、終了日時欄134の終了日時(イベントの終了時刻)を編集することができる。
【0172】
また、図示しないが、安全監視装置10は、イベントの最長時間を設定しておくことにより、イベントの終了時刻を「イベントの開始時刻+イベント最長時間」までの時刻に制限できる。
【0173】
また、安全監視装置10は、以下ように動作する構成にすることができる。例えば、予めライダ51に監視エリアを設定しておき、人が監視エリアに進入した時刻をイベントの発生日時(開始時刻)とし、人が監視エリアから退出した時刻をイベントの終了日時(終了時刻)とする。そして、安全監視装置10は、イベント登録時に、ライダ51からイベントの発生日時データと終了日時データとを取得し、取得された日時データを記憶部30に記録管理することができる。
【0174】
また、安全監視装置10は、動体が監視エリアに長く滞留する場合に、イベントの終了時刻を「イベントの開始時刻+イベント最長時間」までの時刻に制限できる。
また、安全監視装置10は、イベント編集画面130から、他の項目に対しても編集できる構成にしてもよい。
また、安全監視装置10は、イベント編集画面130を用いることにより、任意の時間の映像を再生して、イベントを新規に作成できる構成にしてもよい。
【0175】
図27は、映像データの記憶手段への保存形式の一例を示す説明図である。
図27は、ファイルの管理のために、オープンソースのリレーショナルデータベース管理システム(RDBMS:Relational Database Management System)の一つであるSQLiteを使用した例を示している。
【0176】
図27に示すように、記憶部30には、「Videoフォルダ」以下に「archive.db」と呼ばれるデータベース管理ファイルが作成されるとともに、日付を示す日付フォルダ(例えば、「2020/1/17フォルダ」、「2020/1/18フォルダ」、「2020/1/19フォルダ」等が毎日1つ作成されていく。
【0177】
各日付フォルダの下に、例えばH.264形式で圧縮した映像データファイルが作成される。
図27に示す例では、映像データファイルとして例えば「video_20200117_000000.mp4」や「video_20200117_001000.mp4」等が作成されている。「video_20200117_000000.mp4」は、2020年1月17日0時0分0秒から10分間の映像データファイルである。また、「video_20200117_001000.mp4」は、2020年1月17日0時10分0秒から10分間の映像データファイルである。本実施形態では、このように10分間隔で映像データファイルが作成されるものとして説明する。その結果、1日あたり、「24時間×(6ファイル/1時間)」の144ファイルが作成される。
【0178】
通常のXGAフォーマット(1024×768画素)の場合、10分の録画データのデータ量は約500MBのとなり、1月分の録画データのデータ量は約2TBとなる。そのため、安全監視装置10は、記録手段(記憶部30や外部の図示せぬ記録メディア)として大容量のHDD(Hard Disk Drive)を使用すれば30日程度の録画データの常時保存を行うことができる。
【0179】
本実施形態では、安全監視装置10は、30日間の録画データ(映像データファイル)の常時保存を行い、1日に1回、録画してから30日を超えた1日分の録画データ(映像データファイル)を自動的に消去する。この時に、安全監視装置10は、発行されてから30日を超えたイベントをイベントリストから自動的に削除する。
【0180】
ただし、
図25及び
図26に示す重要マークが付加されたイベントに関連する録画データ(映像データファイル)については、安全監視装置10は、消去せずに保存する。
【0181】
例えば、
図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データは、仮に重要マークが付加されていなければ、保存期間30日を超過した時点で、自動的に消去される。しかしながら、
図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データは、重要マークが付加されている。そのため、この録画データは、自動消去のタイミングになっても(つまり、例えば、録画されてからの保存期間である30日を超過しても)、消去されずに保存され続ける。また、このような重要マークが付加されている録画データに該当するイベントは、イベントリストから削除されることなく残される。
【0182】
安全監視装置10は、1日1回の録画データの自動消去時に、重要マークが付加されたイベントをチェックし、重要マークが付加されたイベントの再生時間を求め、その時間を含む録画データ(映像データファイル)を消去せずに保存する。例えば、ここでは、安全監視装置10は、
図25に示すタイムスタンプが2020年1月17日12時5分41秒になっている録画データに対して、2020年1月17日12時5分31秒から12時11分30秒を含む録画データ(映像データデータ)を消去せずに保存するものとする。
【0183】
図27に示す例では、2020年1月17日12時5分31秒から12時11分30秒を含む録画データは、「Video_20200117_120000.mp4」と「Video_20200117_121000.mp4」の2つのファイルである。
図28に示すように、安全監視装置10は、録画データの自動消去時になっても、重要マークが付加されたイベントに関連する2つのファイルを残し、他のファイルを自動的に消去する。
【0184】
なお、録画データの自動消去時になっても消去されなかった映像データファイルについては、その後の編集によりイベントから重要マークがOff(削除)された場合に、その後に行われる録画データの自動消去時に、消去される。また、この場合に、重要マークがOff(削除)されたイベントも、イベントリストから削除される。
【0185】
<安全監視装置の主な特徴>
(1)
図2に示すように、本実施形態に係る安全監視装置10は、安全センサの検知対象エリアに対して複数の発報対象エリアを設定可能なエリア設定部12と、各々の発報対象エリアに対して任意の発報機能の種別を設定可能な発報種別設定部13と、安全センサで測定されるセンサデータに基づいて動体の動作を認識する動体認識解析部16と、を有する構成になっている。
【0186】
工事現場や製造現場等では、重機(例えばクレーン)が作業するエリアや、フォークリフト等の作業車が動き回るエリア、振動抑制やセキュリティ等のためにすべての動体が入ってはいけないエリア等、様々な管理エリアが想定される。本実施形態に係る安全監視装置10は、このような様々な管理エリアを発報対象エリアとし、安全センサの検知対象エリアに対して複数設定できる。また、安全監視装置10は、各々の発報対象エリアに対して任意の発報機能の種別を設定できる。つまり、安全監視装置10は、複数の発報対象エリアの各々に対して異なった発報機能を独立に設定できる。そのため、安全監視装置10は、最適な監視方法を実現することができる。また、安全監視装置10は、人と物体との関係を良好に把握することができる。
【0187】
(2)
図4Aに示すように、本実施形態に係る安全監視装置10は、安全センサとしてのライダ51からセンサデータとして3次元データ(測距データ)を取得するセンサデータ取得部(ライダデータ取得部15)を有している。動体認識解析部16は、3次元データに基づいて検知対象エリアから動体を抽出し、各々の発報対象エリアへの動体の進行を検知する構成にしてもよい。
【0188】
このような本実施形態に係る安全監視装置10は、3次元データを測定できる安全センサ(例えばライダ51)を用いることで、複数のエリアを同一条件の測定精度に設定できる。そのため、安全監視装置10は、安定した検知精度を確保できる。また、安全監視装置10は、監視したい条件が変わった場合に、センサの取り付け直し等の物理的な変更なしに、エリアの設定の変更のみで対応できる。
【0189】
(3)本実施形態に係る安全監視装置10の発報種別設定部13は、好ましくは、すべての動体に対して警告を発する機能と、人のみに警告を発する機能と、人と人よりも大きな大物体との間の距離が一定距離内になった場合に警告を発する機能と、大物体の進行方向に人が入った場合に警告を発する機能と、一定速度以上の動体のみに警告を発する発報する機能と、一定速度以下の動体のみに警告を発する発報する機能と、任意の2つ以上の機能を組み合わせて論理和をとった機能と、任意の2つ以上の機能を組み合わせて論理積をとった機能とのうち、いずれか2つ以上を発報機能の種別として選択できる構成にしてもよい。
【0190】
このような本実施形態に係る安全監視装置10は、運用に応じて様々な種別の発報機能を利用できる。例えば、重機(例えばクレーン)が動くエリアでは、人と重機との接近時に警告を発することが好ましい。また、フォークリフト等の作業車が動くエリアでは、作業者が進入しないように監視することが好ましい。さらに、レールの上を走る重機等が動くエリアでは、その進行方向に人が入った場合に警告を発することが好ましい。また、振動抑制やセキュリティ等のためにすべての動体が入ってはいけないエリアでは、すべての動体の動きを監視することが好ましい。また、エリアによっては、動体が制限速度を超えて進入した場合に警告を発するように監視することが好ましいエリアがある。安全監視装置10は、このようなエリアでの好適な警告の発報を実現できる。また、エリアによっては、警告を発する条件を、人と大物体(例えば車)との一定速度以上の論理積条件とすることで、安全監視装置10は、大物体(例えば、車)が制限速度を超えてエリアに進入した場合に警告を発するように設定することができる。また、警告を発する条件を、人と大物体との速度の論理和条件とすることで、安全監視装置10は、大物体がエリアに進入した場合に警告を発するように設定することもできる。
【0191】
(4)
図5、
図6に示すように、本実施形態に係る安全監視装置10では、発報機能の種別は、ユーザインターフェースを介してエリア毎に指定できる構成にしてもよい。
【0192】
工事現場や製造現場等では、作業の進捗に応じて環境が刻刻と変化する。そのため、エリアの設定、発報機能の選択は、現場の状況に応じて設定を任意かつ簡単に変更できることが好ましい。本実施形態に係る安全監視装置10は、ユーザインターフェースを介して、任意かつ簡単に設定を変更できる環境を実現できる。
【0193】
(5)
図12乃至
図14に示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、安全センサとしてのライダ51にて測定した3次元データより動体を表す点群データを抽出し、点群データを囲うのに必要な大きさのバウンディングボックスを作成し、バウンディングボックスの幅と奥行きと高さ、並びに、バウンディングボックスの底面の高さと上面の高さの5つのデータのいずれか1つ以上又はすべてを用いて、人のサイズとして各々の最小値と最大値を決定し、動体のサイズが決定された範囲内になっていることを人の判定条件とし、動体のサイズが任意に定めた一定時間継続して判定条件に適合している場合に、動体を人として識別する構成にしてもよい。
【0194】
このような本実施形態に係る安全監視装置10は、人の検知をバウンディングボックスのサイズから行うことで、既知の画像処理手法や機械学習ベースの手法を用いないで、簡易な方法で検知が行える。
【0195】
なお、ライダ51にて測定された動体の点群データは、クラスタリング処理して一つの塊(物体)として処理される。その際に、大物体(例えば、車等)は、凸凹した形状であることが多いため、安定して一つの物体として認識されずに、複数の塊に分裂して認識されてしまう可能性がある。この場合に、分裂した1つの塊のサイズが人のサイズと同じサイズになってしまうことがある。したがって、単純に人のサイズだけで動体の属性を判断すると、大物体を人として誤判別してしまう可能性がある。これに対して、本実施形態に係る安全監視装置10は、大物体を複数の塊に分裂して認識する状態が短期間で解消することが多いため、動体(塊)のサイズが人のサイズであると判断した状態が一定時間継続した場合に、動体(塊)を人として判断することができる。このような安全監視装置10は、動体(塊)のサイズに基づいて大物体を人として誤判別してしまう場合であっても、動体(塊)のサイズとそのサイズの継続時間の両方によって動体(塊)が人であるのか否かを判別することで、大物体を人として誤判別してしまうことを大幅に軽減できる。
【0196】
また、工事現場や製造現場等では、作業者は地面を歩いている。このような環境において、大物体を複数の塊に分裂して認識し、分裂した1つの塊のサイズが人のサイズになる現象は、地面よりも高い場所で発生している場合が多い。そのため、本実施形態に係る安全監視装置10は、バウンディングボックスの底面の高さが一定の高さ以下であることを条件に加えるようにしている。また、本実施形態に係る安全監視装置10は、人の身長が高くても2m程度であるため、バウンディングボックスの上面の高さが任意に定めた一定の高さより高い場合は人ではないと判断することで、人以外の動体を人と誤認識することを防止できる。
【0197】
なお、本実施形態に係る安全監視装置10は、人の検知をバウンディングボックスのサイズで行うため、このサイズを調整することで、人以外の動体を含むことが可能である。例えば、安全監視装置10は、荷物を持った人、一塊となった複数の人、小さな車、クレーンにて運ばれてきた物体等が含まれるように、バウンディングボックスのサイズを調整することも可能である。
【0198】
(6)
図12に示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、バウンディングボックスの幅Wと奥行きDと高さH、並びに、バウンディングボックスの底面の高さHbと上面の高さHtの5つのデータのいずれか1つ以上又はすべてを用いて、人よりも大きな大物体を識別する。そして、
図15に示すように、動体認識解析部16は、人のバウンディングボックス106boxの底面又は上面の中心点106oと大物体のバウンディングボックス105boxの底面又は上面の各辺との間の距離の最小値から人のバウンディングボックスの底面又は上面の外接円の半径を引いた距離(Dmin-AD_R)を、人と大物体との間の距離として算出し、人と大物体との間の距離が任意に定めた一定距離より小さくなったときに警告を発する構成にしてもよい。
【0199】
人と大物体との間の距離を求めるにあたり、立体的な距離では、例えばクレーン車のように人の頭上に危険なものがぶら下がっている場合がある。このような場合に、人とクレーン車との間の距離が所定距離よりも大きく離れていても、安全でない可能性がある。本実施形態に係る安全監視装置10は、このような場合を見逃さないようにすることが望ましい。そこで、本実施形態に係る安全監視装置10の動体認識解析部16は、各々のバウンディングボックスの底面(あるいは上面)を用いて距離を計算するとよい。
図15に示すように、動体認識解析部16は、人のバウンディングボックス106boxの底面の中心点106oを基準として、中心から大物体のバウンディングボックス105boxの底面の各線分までの距離を求め、その最小値から人のバウンディングボックス106boxの底面の外接円の半径を引いた距離(Dmin-AD_R)を、人と大物体との間の距離として算出する。これにより、安全監視装置10は、発報対象エリア(進入禁止エリア)内に存在する複数の人と大物体との間のすべての組み合わせの距離を計算し、それらの組み合わせで一定距離より小さくなった時に警告を発することができる。このような安全監視装置10は、例えば前記したクレーン車のように人の頭上に危険なものがぶら下がっている場合で、その危険性が見逃され易いときであっても、危険性を見逃さないように、漏れのない監視が行える。
【0200】
(7)
図15乃至
図18Bに示すように、本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも小さくなった時間が任意に定めた一定時間継続したときに警告を発する構成にしてもよい。
【0201】
工事現場や製造現場等では、人が大物体に近づいて、大物体から一定距離付近に滞留した場合に、多数の警告が連続して発報されてしまう可能性がある。そこで、本実施形態に係る安全監視装置10は、一定時間継続したときに警告を発生することで、多数の警告が連続して発報されることを防止できる。
【0202】
(8)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも大きくなったときに警告を停止する構成にしてもよい。
【0203】
人が大物体に近づいた後に大物体から離れた場合で、かつ、人と大物体との間の距離が一定距離よりも大きくなったときは、人が安全地帯に退避した状態になっている。そこで、本実施形態に係る安全監視装置10は、人と大物体との間の距離が一定距離よりも大きくなったときに警告を停止するとよい。
【0204】
(9)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離が一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止する構成にしてもよい。
【0205】
人が大物体に近づいた後に大物体から遠ざかる場合で、かつ、人が一定距離付近に滞留したときに、人が安全地帯に退避する前に、多数の警告が連続して発報されてしまう可能性がある。そこで、本実施形態に係る安全監視装置10は、人と大物体との間の距離が一定距離よりも大きくなった時間が任意に定めた一定以上継続したときに警告を停止するとよい。
【0206】
(10)本実施形態に係る安全監視装置10の動体認識解析部16は、人と大物体との間の距離に応じて、警報レベルを変化させる構成にしてもよい。
【0207】
このような本実施形態に係る安全監視装置10は、例えば、物体に人が近づいたときに、その接近距離に応じて、注意レベル、警告レベル、危険レベル等のように警告レベルを変えることができる。その際に、安全監視装置10は、例えば、警告のレベルが注意レベルから警告レベルに変化したときに警報ランプを黄色から赤に変化させ、さらに警告のレベルが警告レベルから危険レベルに変化したときにスピーカ44で警報音(ブザー音)を鳴らすようにしてもよい。
【0208】
(11)本実施形態に係る安全監視装置10の動体認識解析部16は、動体の速度を、バウンディングボックスの中心位置が一定時間に移動した距離から算出する構成にしてもよい。
【0209】
このような本実施形態に係る安全監視装置10は、バウンディングボックスの中心位置が一定時間(例えば0.5秒間)に移動した距離から動体の速度を特定することで、動体がエリアに進入するタイミングを把握できる。
【0210】
(12)本実施形態に係る安全監視装置10は、安全センサ(例えばライダ51)で検知された動体の位置を映像データに重畳する映像処理部18を有する構成にしてもよい。
【0211】
このような本実施形態に係る安全監視装置10は、例えば、動体が警告の対象となる人である場合に、該当する人の上に動体の位置として警告用目印を重畳することにより、危険性を視覚的に安全監視者に速やかに認識させることができる。これにより、安全監視者は、速やかに何らかの対処を行うことができる。
【0212】
(13)
図2に示すように、本実施形態に係る安全監視装置10は、検知対象エリアの全部又は一部を撮影した映像データを記憶部30に記録して管理する記録管理部19と、警告が発報された場合に発報データを含むイベントをイベントリストに追加し管理するイベントリスト処理部23と、を有している。記録管理部19は、映像データを記憶部30に常時記録している。そして、安全監視装置10は、イベントリストの中から任意の発報箇所が指定されたときに、イベントリスト処理部23が指定された発報箇所の前後一定時間の映像データをディスプレイ42(表示部)に表示する構成にしてもよい。
【0213】
このような本実施形態に係る安全監視装置10は、警告が発せられた人の行動を安全監視者に把握させるために、再生箇所が指定できるように、発報した時点を記録保存して、イベントリストを作成する。そして、安全監視装置10は、任意のイベントが指定されることで、指定されたイベントに対応する前後の時間の映像データを再生できる。これにより、安全監視者は、指定されたイベントに対応する前後の時間の映像データ確認して、危険度合いを検証することができる。また、これにより、安全監視者は、現場の作業者に危険性の予知教育を行うこともできる。
【0214】
(14)本実施形態に係る安全監視装置10のイベントリスト処理部23は、ディスプレイ42(表示部)に表示されたイベントリストに対して、種別毎に発報データ(発報データを含むイベント)をフィルタリングして表示できる構成にしてもよい。
【0215】
このような本実施形態に係る安全監視装置10は、発報データ(発報データを含むイベント)を種別毎にフィルタリングして表示できる。そのため、安全監視装置10は、例えば、フィルタリングとして、人のみに警告を発する機能のみを抽出すれば、その条件に適う録画データを容易に抽出することができる。また、安全監視装置10は、発報データ(発報データを含むイベント)を発報種別毎に管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。また、安全監視装置10は、例えば、カメラ映像の録画を警報が発生したときのみに限定することができる。さらに、安全監視装置10は、発報機能の種別に応じて選択的に、その前後の一定時間を記録に残すようにして、保存容量を削減することができる。また、安全監視装置10は、映像データを発報種別毎に管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。
【0216】
(15)
図2に示すように、本実施形態に係る安全監視装置10は、検知対象エリアの映像データを記憶部30に記録して管理する記録管理部19を有している。
図24及び
図25に示すように、記録管理部19は、発報機能の種別に応じて、警告の対象となる事象が発生した時点を基点にして、基点の前後の映像データを記憶部30に記録する構成にしてもよい。
【0217】
このような本実施形態に係る安全監視装置10は、警告の対象となる事象が発生した時点を基点にして、基点の前後の映像データを記憶部30に記録する。そのため、安全監視装置10は、発生したイベント毎に映像データを管理することができる。また、安全監視装置10は、発生したイベント毎に映像データを管理して保存することで、安全監視者による映像データの確認作業の容易化を図ることができる。
【0218】
(16)本実施形態に係る安全監視装置10の発報種別設定部13は、発報機能として、検知対象エリアの映像データから動体の特徴を検知する処理を指定できる構成にしてもよい。
【0219】
例えば、ライダ51を用いた動体の検知だけでは、動体の微細な特徴を取得できない。そこで、本実施形態に係る安全監視装置10は、映像データから動体の特徴を検知する処理を指定できる構成にしてもよい。これにより、安全監視装置10は、発報機能として、カメラから取得した映像から、人の顔認識や性別等の動体の微細な特徴を取得することができる。このような安全監視装置10は、動体の属性判定の条件を詳細に設定できるため、物体の属性の検知精度を向上できる。
【0220】
(17)本実施形態に係る安全監視装置10は、動体を検知する処理として、顔認識による人物特定と、性別判定と、姿勢判定とのいずれか1つが含まれる構成にしてもよい。
【0221】
このような本実施形態に係る安全監視装置10は、動体の属性判定の条件を詳細に設定できるため、物体の属性の検知精度を向上できる。
【0222】
(18)本実施形態に係る安全監視装置10は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置(Web端末62、監視カメラ61z等)に通知する構成にしてもよい。
【0223】
外部装置(Web端末62、監視カメラ61z等)は、安全監視装置10の動作とは独立してイベントや映像データを管理するようにしてもよい。また、安全監視装置10が実行するプログラムとカメラ映像を表示するプログラムは別構成になっていた方がイベントや映像データを管理し易い場合がある。そこで、本実施形態に係る安全監視装置10は、設定された発報機能により検知された警告データを、カメラ映像処理を行うプログラムが搭載された外部装置に通知する構成にしてもよい。これにより、安全監視装置10は、例えば外部装置にカメラ映像処理を行わせて、カメラ映像の上に警告データの画像が重なる画像を外部装置に作成させることができる。その際に、安全監視装置10は、安全監視装置10で検知された動体の位置データ(3次元データ)をカメラ映像の2次元データに変換して、カメラ映像の位置と警告データの画像の位置とが対応するように、画像を外部装置に作成させるとよい。
【0224】
(19)
図19乃至
図22に示すように、本実施形態に係る安全監視装置10は、バウンディングボックスの角度を平滑化する平滑化手段(角度平滑部16d)を有する構成にしてもよい。
【0225】
フレーム毎(例えば、0.1秒毎)にバウンディングボックスを生成すると、測距データのばらつきにより、求まる角度θがばらつき、その結果、2つの物体間(例えば人と車との間)の距離を求めるときにばらつきが大きくなる可能性がある。そこで、本実施形態に係る安全監視装置10は、平滑化手段(角度平滑部16d)でバウンディングボックスの角度を平滑化することにより、車の移動に伴う角度θの変化を安定させることができる。そのため、安全監視装置10は、2つの物体間(例えば人と車との間)の距離を安定して求めることができる。また、安全監視装置10は、動体が映る映像をディスプレイ42(表示部)に表示させる際に、視覚的に自然な動きの映像を表示させることができる。
【0226】
(20)本実施形態に係る安全監視装置10は、3次元データに対して発報機能の種別に応じた処理を行う映像処理部18を有している。
図19乃至
図22に示すように、本実施形態に係る安全監視装置10の映像処理部18は、点群データとバウンディングボックスとを同時にディスプレイ42(表示部)に表示する構成にしてもよい。
【0227】
このような本実施形態に係る安全監視装置10は、クラスタリング処理後の点群データとバウンディングボックスとを同時に表示することで、実際の測定データがどのような点群となっているかを安全監視者に視覚的に認識させることができる。また、安全監視装置10は、万が一何らかの事故が発生した場合に、事故現場の点群データとバウンディングボックスとを同時に安全監視者に視認させることで、事故現場の状況を安全監視者に容易に把握させることができる。
【0228】
(21)
図19乃至
図22に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の角度を平滑化して算出する構成にするとよい。
【0229】
バウンディングボックスの生成は、角度が離散的になるため、分解能を上げようとすると計算量が増大し、計算時間が長期化する。そこで、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の角度を平滑化して算出する構成にするとよい。安全監視装置10は、バウンディングボックスの底面の離散的な角度を平滑化することで、適度な計算量で角度を求めることができる。そのため、安全監視装置10は、計算量が低減して、計算時間を短縮することができる。なお、バウウンディングボックス生成時の計算量は、点群の数、離散角度Δθによる計算の繰り返し数nによって決まる。また、計算時間は、安全監視装置10を構成するパーソナルコンピュータ(PC)のCPU(central processing unit)の性能により決まる。
【0230】
(22)
図19乃至
図22に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)によって離散的に算出したバウンディングボックスの底面の角度は、ユーザインターフェースを介して任意に変更できる構成にしてもよい。
【0231】
このような本実施形態に係る安全監視装置10は、例えばバウンディングボックスの底面の角度θに対する最適な離散角度Δθを決めることができるようにユーザインターフェースを用意して、離散角度Δθの値を選択することができる。
【0232】
(23)
図20及び
図21に示すように、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)の平滑化方法及び平滑化時間の値のいずれか一方又は両方は、ユーザインターフェースを介して任意に変更できる構成にしてもよい。
【0233】
角度の平滑化処理は現時点から過去のデータを用いて行う。その際に、本実施形態に係る安全監視装置10は、例えば、単純に平均を行う手法や、現時間に近い方に大きな重み付けを行った加重平均を行う手法等を選択できる。これにより、安全監視装置10は、ライダ51から入力される3次元データに適した角度の平滑化処理を行うことができる。なお、多くのデータを平滑化した方が映像の滑らかさを向上させることができるが、入力データの変化に対する計算の応答性が低下する。そのため、安全監視装置10は、応答性も考慮して入力データに応じて好適な時間を選択できる構成にしてもよい。
【0234】
(24)本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の中心座標を平滑化する構成にしてもよい。
【0235】
点群データは、フレーム毎にばらついている。そのため、角度だけではなく、バウンディングボックスの中心座標(底面の長方形の中心座標)もばらついている。そのばらつきを抑制するためには、バウンディングボックスの中心座標の平滑化が有効である。そこで、本実施形態に係る安全監視装置10の平滑化手段(角度平滑部16d)は、バウンディングボックスの底面の中心座標を平滑化する構成にしてもよい。なお、ここでは、バウンディングボックスの中心座標を底面の長方形の中心座標として説明したが、バウンディングボックスの中心座標は、直方体領域(長方形領域)の中心座標として処理することができる。この場合に、直方体領域(長方形領域)の中心点の平滑化も有効である。
【0236】
(25)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10は、映像データを所定時間毎にファイルに分けて記憶部30に記録する記録管理部19と、イベント毎に選択可能なイベントリストを作成し管理するイベントリスト処理部23と、を有している。イベントリスト処理部23は、安全監視者により選択されたイベントに対して、イベントの映像再生時間範囲内の映像が含まれるファイルを自動的に消去しない制御か又はファイルを記憶部30の別領域に保存し直す制御のいずれかを行う構成にしてもよい。
【0237】
このような本実施形態に係る安全監視装置10は、各イベント内に映像再生時間範囲が分かるデータを有しており、そのデータから映像を再生すべきファイル(録画データ)を特定できる。そして、安全監視装置10は、インシデント(重要な事象)が発生しているファイル(録画データ)であるか否かを判断して、残すべきと判断した場合に自動消去無しを選択できる構成になっている。これにより、安全監視装置10は、決められた規則に基づいてファイル(録画データ)を自動的に消去する設定になっていても、インシデント(重要な事象)が発生しているファイルを消去しないように管理できる。このような安全監視装置10は、インシデント(重要な事象)が発生しているファイルを残すことにより、似たようなインシデントに関するデータを蓄積でき、安全監視者に事故防止施策を検討させることができる。
【0238】
(26)
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、所定の規則に基づいてファイルを自動的に消去する機能を有している。所定の規則は、記録手段(記憶部30や外部の図示せぬ記録メディア)の空き容量を一定量確保するか又は一定時間が経過するかのいずれかである構成にしてもよい。
【0239】
このような本実施形態に係る安全監視装置10は、所定の規則に基づいてファイルを自動的に消去することができる。なお、所定の規則に基づいてファイルを自動的に消去する場合に、安全監視装置10は、記録手段としてのHDDの容量をフルに活用する構成では、空き容量が一定量確保できるように管理した方が良い。また、安全監視装置10は、記録手段としてのHDDの容量にゆとりがある範囲内で一定時間経過後にファイルを自動的に消去する構成では、いつまでの分のデータが残っているかが明確であり、データを管理し易いので、用途に応じて使い分けても良い。
【0240】
(27)
図26に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、安全センサから検知対象エリアで発生したイベントの開始時刻と終了時刻との一方又は両方を含むセンサデータを取得してイベントリストの映像再生時間範囲を決める構成にしてもよい。
【0241】
このような本実施形態に係る安全監視装置10は、各イベントに対して決められた映像再生時間範囲のファイル(映像データ)を再生することができるため、好適な時間分のファイル(映像データ)の再生を行うことができる。なお、安全監視装置10は、例えば、人が警告発報エリアに進入した時刻をイベントの開始時刻とし、人が警告発報エリアから退出した時刻をイベントリストの終了時刻として設定することができる。このような安全監視装置10は、危険エリアに進入した人が危険エリアから安全エリアに避難したか否かを管理することができる。なお、本実施形態に係る安全監視装置10は、用途に応じて、イベントの開始時刻と終了時刻との一方のデータ又は両方のデータを記録できる構成であるとよい。
【0242】
(28)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、過去に発生した任意の事象を新たなイベントとしてイベントリストに追加登録する機能を有する構成にしてもよい。
【0243】
このような本実施形態に係る安全監視装置10は、安全監視者の判断により過去に発生した任意の事象を新たなイベントとしてイベントリストに追加登録できる。例えば、過去に安全監視装置10が見逃してしまった事象であっても、安全監視者が記録手段に残されたファイルの映像を見てインシデント(重要な事象)が発生していると判断される場合に、安全監視装置10は、そのインシデントを新たなイベントとしてイベントリストに追加登録できる。この場合に、安全監視装置10は、インシデント(重要な事象)が発生しているファイル(録画データ)を消去せずに残す。
【0244】
(29)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、イベントの開始時刻と終了時刻を編集する機能を有する構成にしてもよい。
【0245】
このような本実施形態に係る安全監視装置10は、イベントの開始時刻と終了時刻(すなわち、イベントに関連するファイルの再生開始時刻と再生終了時刻)を任意に編集できる。例えば、人が危険エリアに進入する前にインシデント(重要な事象)が発生している場合や、危険エリアに進入した人が危険エリアから退出した後も継続して危険な状況が発生している場合が想定される。このような場合に、安全監視装置10は、イベントの開始時刻及び/又は終了時刻を変更することで、その時間帯のファイルを残すことができる。
【0246】
(30)本実施形態に係る安全監視装置10は、検知対象エリアの映像データに対して発報機能の種別に応じた処理を行う映像処理部18を有している。
図23乃至
図28に示すように、本実施形態に係る安全監視装置10の映像処理部18は、映像とイベントリストを同時にディスプレイ42(表示部)に表示する表示画面を作成し、安全監視者によってグラフィカルユーザインターフェースを介してイベントリストから特定のイベントが指定されたときに、指定されたイベントの映像再生時間範囲を含む映像をディスプレイ42(表示部)に表示する構成にしてもよい。
【0247】
このような本実施形態に係る安全監視装置10は、イベントリストに基づいて任意のイベントの映像を再生できる。安全監視者は、再生された映像を見て、現場の危険の程度を効率よく確認できる。このような安全監視装置10は、映像とイベントリストを同時にディスプレイ42(表示部)に表示することで、イベントを管理し易くすることができるとともに、イベントの表示操作やイベントの編集等の作業効率を向上させることができる。
【0248】
(31)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10では、イベントリストは、グラフィカルユーザインターフェースを介して、ファイルの自動消去の有無を選択するための重要マークをイベント毎に付加できる構成にしてもよい。
【0249】
このような本実施形態に係る安全監視装置10は、重要マークをイベント毎に付加できる。そのため、安全管理者は、例えば、各イベントに対して重要マークを付加することで、各イベントの設定を自動消去有りから無しへと簡単に変更することができる。これにより、安全管理者は、インシデント(重要な事象)が発生しているファイルを簡単に残すことができる。
【0250】
(32)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと重要マークが予め付加されたイベントの開始時刻前の一定時間から終了時刻後の一定時間までの期間を含むファイルに対して自動消去しない制御を行う構成にしてもよい。
【0251】
このような本実施形態に係る安全監視装置10は、自動消去無しが選択されたイベントと重要マークが予め付加されたイベントのファイルに対して自動消去しない制御を行うことができる。なお、安全監視装置10は、現時点からファイルの自動消去のタイミングになるまでの間、重要マークの付与や削除が行える。また、安全監視装置10は、現時点からファイルの自動消去のタイミングになるまでの間、各イベントの時間を変更できる。
【0252】
(33)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、自動消去無しが選択されたイベントが自動消去有りに選択変更された場合又は重要マークが予め付加されたイベントから重要マークが外された場合に、イベントのファイルに対して消去する制御を行う構成にしてもよい。
【0253】
このような本実施形態に係る安全監視装置10は、イベントが自動消去有りに選択変更された場合又は重要マークが外された場合に、イベントのファイルに対して消去する制御を行うことができる。これにより、安全監視装置10は、HDDの空き容量を増やすことができる。つまり、安全監視装置10は、録画してから所定時間経過しても、重要マークが付加されたイベントに関連する映像データファイルを消去せずに残す構成になっている。しかしながら、安全監視者によってイベントリストに基づいて各イベントの危険性の確認が行われた場合に、仮に重要マークが付加されたイベントであっても、危険性が低いと判断される場合がある。このような場合に、安全監視装置10は、重要マークを外すことで、重要マークが外されたイベントに関連する映像データファイルを消去できるようする。これにより、安全監視装置10は、HDDの空き容量を増やすことができる。
【0254】
(34)
図23乃至
図28に示すように、本実施形態に係る安全監視装置10のイベントリスト処理部23は、記録されてから所定時間経過したファイルを自動的に消去する場合にイベントリストからファイルのイベントを削除する一方、ファイルの自動消去の有無を選択するタイミングで自動消去無しが選択されたイベントと重要マークが予め付加されたイベントに対してイベントリストから削除しない制御を行う構成にしてもよい。
【0255】
このような本実施形態に係る安全監視装置10は、自動消去無しが選択されたイベントと重要マークが付加されたイベントが誤って消去されることを防止できる。なお、イベントリストと映像データファイルとは、一対一の対応関係になっている。そのため、映像データファイルに対応したイベントは、削除対象となった映像データファイルの削除と同時にイベントリストから削除される。そのため、安全監視者は、消去してはいけないイベントを誤って消去してしまうことを防止できる。
【0256】
(35)本実施形態に係る安全監視装置10は、安全センサの監視領域への物体の進入を監視する安全監視部22を有している。安全監視部22は、監視領域に物体が進入した時刻をイベントの開始時刻とし、監視領域から物体が退出した時刻又はイベントの開始時刻から一定時間経過した時刻をイベントの終了時刻としイベントの開始時刻と終了時刻をイベントリスト処理部23に通知する構成にしてもよい。
【0257】
このような本実施形態に係る安全監視装置10は、イベントの開始時刻と終了時刻を自動的に検知して、イベントリスト処理部23に通知することができる。安全監視装置10は、例えば安全センサとしてライダ51を用いることで、昼夜問わずに3次元的に危険エリアを監視できる。
【0258】
以上の通り、本実施形態に係る安全監視装置10によれば、人と物体との関係を良好に把握することができる。
【0259】
なお、本発明は、前記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
【0260】
例えば、前記した実施形態は、本発明の要旨を分かり易く説明するために詳細に説明したものである。そのため、本発明は、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、本発明は、ある構成要素に他の構成要素を追加したり、一部の構成要素を他の構成要素に変更したりすることができる。また、本発明は、一部の構成要素を削除することもできる。
【0261】
また例えば、前記した実施形態では、安全監視装置10は、3次元データに基づいてエリアの安全性を監視しているが、2次元データに基づいてエリアの安全性を監視することができる。
【符号の説明】
【0262】
10 安全監視装置
11 制御部
12 エリア設定部
13 発報種別設定部
14 映像取得部
15 ライダデータ取得部(センサデータ取得部)
16 動体認識解析部
16a 前景データ抽出部
16b クラスタリング処理部
16c バウンディングボックス生成部
16d 角度平滑部(平滑化手段)
16e,18a 画像認識部
16f 発報解析部
17 結果出力部
18 映像処理部
19 記録管理部
20 映像表示処理部
21 安全センサ入力部
22 安全監視部
23 イベントリスト処理部
30 記憶部
31 設定記録データ
32 映像記録データ
33 処理画像データ
39 通信部
41 操作部
42 ディスプレイ(表示部)
43 警告用ランプ
44 スピーカ(報音部)
50 安全センサ
51 ライダ
61 監視カメラ(撮影部)
61z 監視カメラ(撮影部、外部装置)
61a 設定受付部
61b 設定処理部
61c 通知部
62 Web端末(外部装置)
62a 通知取得部
100,110 表示画面
101 3Dビューアー部
101a 発報対象エリア枠
102 設定部
103 ライダ選択部
104 発報対象エリアタブ
104a ブロックタブ
104b 有効チェックボックス
104c エリア選択部
104d 表示色設定部
105 動体
105a 大物体
105box,106box バウンディングボックス
106 人
106o 中心点
106r 半径
111 映像表示部
112 イベントリスト表示部
120 イベントリスト
121 重要マーク欄
122 タイムスタンプ欄
123 カメラ名欄
124 種類欄
125 説明欄
130 イベント編集画面
131 カメラ名欄
132 ユーザ名欄
133 発生日時欄
134 終了日時欄
135 説明欄
136 種類欄
137 マーク欄
138 原因欄
139 対策欄
140 重要度欄
A51 検知対象エリア
A61a,A61b 発報対象エリア
A62 発報除外エリア
B61a,B61b 発報箇所
B62 除外箇所
D 奥行き
G 地面
H,Hb,Ht 高さ
Pr 制御プログラム
R 一定距離
R11 歩行経路
S 安全監視システム
Su1,Su2,Su3,Su4,Su5,Su6,Su7,Su8 面
W 幅