特開 2022-55077 安全管理プログラム、および、安全管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022055077

(43)【公開日】2022-04-07

(54)【発明の名称】安全管理プログラム、および、安全管理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220331BHJP

   G08B 31/00 20060101ALI20220331BHJP

   G08B 25/00 20060101ALI20220331BHJP

   G08B 21/24 20060101ALI20220331BHJP

   G06Q 50/04 20120101ALI20220331BHJP

【ＦＩ】

G06T7/20 300Z

G08B31/00 B

G08B25/00 510M

G08B21/24

G06Q50/04

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2020162450

(22)【出願日】2020-09-28

(71)【出願人】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110002365

【氏名又は名称】特許業務法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】木戸 眞一郎

(72)【発明者】

【氏名】川俣 昌之

(72)【発明者】

【氏名】内山 和幸

【テーマコード（参考）】

5C086

5C087

5L049

5L096

【Ｆターム（参考）】

5C086AA22

5C086BA30

5C086CA28

5C086CB36

5C086DA33

5C086DA40

5C086FA06

5C086FA17

5C086FA18

5C087AA02

5C087AA09

5C087AA10

5C087AA25

5C087AA37

5C087DD03

5C087DD49

5C087EE18

5C087EE20

5C087FF01

5C087FF02

5C087FF04

5C087GG08

5C087GG14

5C087GG66

5C087GG70

5C087GG83

5C087GG84

5L049CC04

5L096AA06

5L096BA02

5L096CA04

5L096DA03

5L096HA04

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】製造現場以外の労働場所における労働災害の発生を効果的に抑制する。
【解決手段】安全管理装置１０は、画像データ１８を入力とした画像認識により、画像データ１８に写る人物の関節位置を示す特徴点データを含む骨格データ１９を取得する骨格抽出部１１と、骨格抽出部１１が取得した骨格データ１９、および画像データ１８に基づいて、人物の行動における危険予兆または危険動作を検出する分析部１３と、分析部１３が検出した危険予兆に対する警告または危険動作に対する通報を行う出力部１４とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部、
前記骨格抽出部が抽出した前記骨格データに基づいて、前記人物の行動における危険予兆または危険動作を検出する分析部、
前記分析部が検出した前記危険予兆に対する警告または前記危険動作に対する通報を行う出力部、としてコンピュータを機能させるための
安全管理プログラム。

【請求項2】

前記コンピュータは、前記骨格データごとに異常姿勢ラベルが対応づけられている異常姿勢モデルが記憶された記憶部を有し、
前記分析部は、前記骨格抽出部が取得した前記骨格データと、前記異常姿勢モデルとに基づいて、前記人物の異常姿勢を推定し、前記異常姿勢の推定結果に基づいて前記危険予兆または前記危険動作を検出する
請求項１に記載の安全管理プログラム。

【請求項3】

前記骨格データごとに入力された正解ラベルである前記異常姿勢ラベルを学習データとして前記異常姿勢モデルを機械学習する異常姿勢学習部、としてコンピュータを機能させ、
前記分析部は、さらに、前記異常姿勢モデルを用いた機械学習の推論により、前記骨格データを入力として前記人物の異常姿勢を推定する
請求項２に記載の安全管理プログラム。

【請求項4】

前記コンピュータは、前記骨格データ及び前記画像データの一部として定義された部分画像ごとに把持物ラベルが対応づけられている把持物検出モデルが記憶された記憶部を有し、
前記分析部は、前記骨格抽出部が取得した前記骨格データと、入力された前記画像データと、前記把持物検出モデルとに基づいて、前記人物が把持している把持物を検出し、前記把持物の検出結果に基づいて前記危険予兆を検出する
請求項１に記載の安全管理プログラム。

【請求項5】

前記骨格データ及び前記部分画像ごとに入力された正解ラベルである前記把持物ラベルを学習データとして前記把持物検出モデルを機械学習する把持物学習部、としてコンピュータを機能させ、
前記分析部は、さらに、前記把持物検出モデルを用いた機械学習の推論により、前記骨格データ及び前記画像データを入力として前記把持物を検出する
請求項４に記載の安全管理プログラム。

【請求項6】

前記分析部は、前記骨格抽出部が取得した前記骨格データに基づいて、前記人物の移動分析を行い、前記移動分析の結果に基づいて前記危険予兆を検出する
請求項１に記載の安全管理プログラム。

【請求項7】

前記骨格抽出部は、前記人物の関節位置を示す前記特徴点データと、前記人物の関節角度を表す角度データとを含む前記骨格データを取得する
請求項１に記載の安全管理プログラム。

【請求項8】

画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部と、
前記骨格抽出部が抽出した前記骨格データに基づいて、前記人物の行動における危険予兆または危険動作を検出する分析部と、
前記分析部が検出した前記危険予兆に対する警告または前記危険動作に対する通報を行う出力部と、を有することを特徴とする
安全管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、安全管理プログラム、および、安全管理装置に関する。

【背景技術】

【0002】

工場や事業所では、製造現場のみならず、製造現場以外の労働場所（オフィスフロア内、歩道、廊下、階段等）でも労働災害が発生することがある。これらの労働場所では、労働者の何気ない行動（ポケット手、歩きスマホ、両手が荷物で塞がった状態での移動、手すりを使わない階段昇降、階段飛ばし、異常速度移動、通行方向誤り等）がきっかけとなって労働災害が発生する。そこで従来は、このような労働災害を未然に防止するため、安全対策ポスターなどを用いた労働者への啓蒙活動が行われている。

【0003】

また、生産効率の向上や製品の品質向上を目的に、作業者が行う作業内容を正確に把握し管理することが求められている。例えば特許文献１では、解析者の目視での解析の代わりに、コンピュータの画像認識により、自動的に作業を解析する手法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１６２２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような製造現場以外の労働場所での労働災害に対し、ポスターなどの啓蒙活動の効果は限定的である。また、特許文献１の技術は、製造現場での作業内容の管理を目的としたものであるため、製造現場以外の労働場所に適用して労働災害の抑止効果を得られるものではない。

【0006】

そこで、本発明は、製造現場以外の労働場所における労働災害の発生を効果的に抑制することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明による安全管理プログラムは、画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部、前記骨格抽出部が抽出した前記骨格データに基づいて、前記人物の行動における危険予兆または危険動作を検出する分析部、前記分析部が検出した前記危険予兆に対する警告または前記危険動作に対する通報を行う出力部、としてコンピュータを機能させるためのものである。
本発明による安全管理装置は、画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部と、前記骨格抽出部が抽出した前記骨格データに基づいて、前記人物の行動における危険予兆または危険動作を検出する分析部と、前記分析部が検出した前記危険予兆に対する警告または前記危険動作に対する通報を行う出力部と、を有するものである。

【発明の効果】

【0008】

本発明によれば、製造現場以外の労働場所における労働災害の発生を効果的に抑制することができる。

【図面の簡単な説明】

【0009】

【図1】安全管理システムの構成図である。

【図2】安全管理システムの運用を示すシーケンス図である。

【図3】画像データおよび骨格データの一例を示す図である。

【図4】角度データを含む骨格データの例を示す図である。

【図5】異常姿勢に関する処理部を示す構成図である。

【図6】把持物検出に関する処理部を示す構成図である。

【図7】移動分析に関する処理部を示す構成図である。

【図8】安全管理に関する処理部とその処理結果を出力する出力部とを示す構成図である。

【図9】異常姿勢の学習を示すフローチャートである。

【図10】把持物の学習を示すフローチャートである。

【図11】分析部のメイン処理を示すフローチャートである。

【図12】異常姿勢推定のサブルーチン処理を示すフローチャートである。

【図13】図１２の処理に用いられる骨格データの例を示す図である。

【図14】把持物検出のサブルーチン処理を示すフローチャートである。

【図15】図１４の処理に用いられる画像データ及び骨格データの例を示す図である。

【図16】図１４の処理に用いられる画像データ及び骨格データの例を示す図である。

【図17】図１４の処理に用いられる画像データ及び骨格データの例を示す図である。

【図18】図１４の処理に用いられる画像データ及び骨格データの例を示す図である。

【図19】移動分析のサブルーチン処理を示すフローチャートである。

【図20】図１９の処理に用いられる骨格データの例を示す図である。

【図21】移動分析方法の例を説明する図である。

【図22】出力部の処理を示すフローチャートである。

【図23】通報までの猶予期間を説明する図である。

【図24】通報画面の例を示す図である。

【図25】通報メッセージの例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0011】

図１は、安全管理システムの構成図である。安全管理システムは、製造現場以外の労働場所（オフィスフロア、歩道、廊下、階段等）における労働者の行動や状態を監視し、必要に応じて労働者への警告や安全管理部門への通報を行うことにより、労働災害の発生を未然に防止するシステムである。図１の安全管理システムは、安全管理装置１０を中心として、ビデオカメラ３１と、ビデオレコーダ３２と、入出力装置３３と、モニタ４１と、記憶装置４２と、アラート機器４３と、通報装置４４とを含めて構成される。これらの安全管理システムの各装置は、それぞれ、イーサネット（登録商標）などのネットワーク、USBやその他、ハードウェア・インタフェースとして使用可能な適切なもので接続される。また、安全管理システムの各装置は、単独の装置として構成されていてもよいし、安全管理装置１０などの計算機システム上のソフトウェアを実行することで実現してもよい。

【0012】

ビデオカメラ３１は、安全管理システムが監視対象とする労働者を被写体として撮影する。ビデオレコーダ３２には、ビデオカメラ３１で撮影した映像が記録されている。入出力装置３３は、グラフィックディスプレイ、マウスを備え、会社の安全管理担当者などの利用者に情報表示したり、利用者の指示を受け付けたりする。モニタ４１と、記憶装置４２と、アラート機器４３と、通報装置４４とは、それぞれ安全管理装置１０の分析結果の出力先である。

【0013】

安全管理装置１０は、例えば、オンプレサーバ、もしくはクラウドサーバのような計算機システムである。安全管理装置１０は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。安全管理装置１０は、計算機システム上のプログラムを実行することで骨格抽出部１１と、モデル生成部１２と、分析部１３と、出力部１４とを構成する。これらの構成された各処理部は、ハードディスクなどの不揮発メモリ上に蓄えられるデータ（モデルデータ２２、推定結果データ２３）にアクセスする。

【0014】

骨格抽出部１１は、ビデオカメラ３１またはビデオレコーダ３２から入力された画像データ１８をもとに、骨格データ１９を抽出する。モデル生成部１２は、学習用の画像データ１８ａ（画像データ１８）と、学習用の骨格データ１９ａ（骨格データ１９）とを入力として、モデルデータ２２を生成して不揮発メモリに保存する。モデルデータ２２には、ユーザから明示的に定義された定義データと、ユーザから入力されたラベルデータを用いた学習結果である学習済データとが存在する。なお、モデル生成部１２は、分析対象の労働者の行動に対してモデルデータ２２を基本的には１度作成すればよいが、精度を向上させるために、すでに作成したモデルデータ２２を更新（改良）してもよい。

【0015】

分析部１３は、分析用の画像データ１８ｂ（画像データ１８）と、分析用の骨格データ１９ｂ（骨格データ１９）とを入力として、モデルデータ２２を用いた推論処理により、推定結果データ２３を求める。この推定結果データ２３には、労働者の行動において労働災害の原因となり得る危険予兆の情報や、労働災害の発生またはその前触れを示す危険動作の情報を表す安全管理データが含まれる。出力部１４は、推定結果データ２３を外部装置（モニタ４１と、記憶装置４２と、アラート機器４３と、通報装置４４）に出力する。ここで、アラート機器４３は、危険予兆が発生したときに音声や画像で直接本人に注意を促すものである。通報装置４４は、危険動作が発生したときに安全管理部門や守衛本部等への通報を行うものである。

【0016】

図２は、安全管理システムの運用を示すシーケンス図である。深層学習などの機械学習段階において、ビデオカメラ３１から画像取得（Ｓ１０１）された画像データ１８、または、ビデオカメラ３１から画像取得（Ｓ１０２）されてビデオレコーダ３２が記録画像３２Ｄに画像記録（Ｓ１０３）した画像データ１８は、安全管理装置１０に入力される。安全管理装置１０は、利用者から入出力装置３３を介して受けた学習指示（Ｓ１１１）により、学習処理（Ｓ１１２）を実行し、その結果をモデルデータ２２として出力する。

【0017】

分析段階において、ビデオカメラ３１から画像取得（Ｓ１２１）された画像データ１８、または、ビデオカメラ３１から画像取得（Ｓ１２２）されてビデオレコーダ３２が記録画像３２Ｅに画像記録（Ｓ１２３）した画像データ１８は、安全管理装置１０に入力される。安全管理装置１０は、利用者から入出力装置３３を介して受けた分析指示（Ｓ１３１）により、モデルデータ２２に基づく分析処理（Ｓ１３２）を実行し、その結果を推定結果データ２３として出力する。なお、安全管理装置１０は、画像取得（Ｓ１２１）された画像データ１８に対して分析処理（Ｓ１３２）をリアルタイムに実行してもよい。また、安全管理装置１０は、利用者からの分析指示（Ｓ１３１）の操作を介さずに、分析処理（Ｓ１３２）を自動実行してもよい。そして、安全管理装置１０の出力部１４は、出力処理（Ｓ１４１）によって推定結果データ２３に基づく信号をアラート機器４３や通報装置４４に出力し、労働者の行動における危険予兆に対する警告や危険動作に対する通報を行う。

【0018】

図３（ａ）及び（ｂ）は、画像データ１８および骨格データ１９の一例を示す図である。画像データ１８は、人物が写っている動画像において、人物ごと、画像フレームごとに１つ生成される。
骨格データ１９は、骨格抽出部１１が画像データ１８から人物の骨格情報を抽出した結果である。骨格データ１９は、人物の特徴点（関節点など）ごとに、１つずつ番号が割り当てられる（図では番号＝０～９）。骨格抽出部１１は、OpenPose（ＵＲＬ＝https://github.com/CMU-Perceptual-Computing-Lab/openpose）などの公知の骨格情報取得技術を使用することができる。

【0019】

骨格データ１９を構成する特徴点データは図示しないテーブルに記憶される。このテーブルは、特徴点の番号ごとに、特徴点の（ｘ，ｙ）座標で構成される。特徴点の名称として、例えば、人物の首、左肩、左肘などの特徴点に対して別々の番号が割り当てられる。特徴点の名称や座標は、骨格抽出部１１が画像データ１８からそれぞれの関節点を画像認識で認識した結果である。

【0020】

なお、各特徴点の座標に加えて、主要な関節に対応する特徴点については、その関節の角度を示す角度データを骨格データ１９に含めてもよい。具体的には、例えば図４に示すように、特徴点１～３、５、６、８～１０、１２及び１３のそれぞれに対して、これらの各特徴点を介してつながっている２本の骨格同士の角度を求めることにより、骨格データ１９に含める角度データを定義することができる。このようにすれば、骨格データ１９を用いて人物の骨格形状をより精度良く表すことができる。

【0021】

以下、図５～図８を参照して、モデル生成部１２及び分析部１３の処理を説明する。ここで、安全管理装置１０は、労働者の行動における危険予兆や危険動作を検出するために、以下の（１）～（３）に示す中間的な分析結果をもとに、（４）の最終的な分析結果を求め、これに基づいて労働者の安全管理を行うものとする。
（１）「異常姿勢」の分析とは、画像データ１８に写っている労働者が安全に歩行等を行っているかを分析することである。（図５）
（２）「把持物」の検出とは、画像データ１８に写っている労働者がどのような物を持っているか検出することである。（図６）
（３）「移動」の分析とは、画像データ１８に写っている労働者の移動速度や移動状態を分析することである。（図７）
（４）「安全管理」の分析とは、「異常姿勢、把持物、移動」それぞれの分析結果の組み合わせに基づき、画像データ１８に写っている労働者の行動において、労働災害の原因となり得る危険予兆や、労働災害の発生またはその前触れを示す危険動作の有無を分析することである。（図８）

【0022】

図５は異常姿勢に関する処理部を示す構成図である。モデル生成部１２の異常姿勢学習部１２ａは、骨格抽出部１１が抽出した骨格データ１９ごとに、入出力装置３３を介してユーザに定義された異常姿勢ラベル（教師データ又は正解ラベル）を対応づけることで、転倒などによる労働者の異常な姿勢を表す異常姿勢モデルを定義する。そして、この異常姿勢モデルをモデルデータ２２の異常姿勢モデル２２ａとして保存する。分析部１３の異常姿勢推定部１３ａは、保存された異常姿勢モデル２２ａと骨格データ１９とを使用して、画像データ１８に写っている労働者が異常姿勢をとっているか否かを分析し、その分析結果を推定結果データ２３の異常姿勢データ２３ａとして出力する。

【0023】

図６は把持物検出に関する処理部を示す構成図である。モデル生成部１２の把持物学習部１２ｂは、骨格データ１９及び画像データ１８の一部として定義された部分画像ごとに、入出力装置３３を介してユーザに定義された把持物ラベルを対応づけることで、労働者が手に何らかの物体を把持しているか否か、把持している場合はその物体が何であるかを表す把持物検出モデルを定義する。そして、この把持物検出モデルをモデルデータ２２の把持物検出モデル２２ｂとして保存する。分析部１３の把持物検出部１３ｂは、保存された把持物検出モデル２２ｂと、画像データ１８及び骨格データ１９とを使用して、画像データ１８に写っている労働者が何を把持しているか否かを分析し、その分析結果を推定結果データ２３の把持物検出データ２３ｂとして出力する。

【0024】

図７は移動分析に関する処理部を示す構成図である。分析部１３の移動分析部１３ｃは、骨格データ１９を使用して、画像データ１８に写っている労働者の移動を分析し、その分析結果を推定結果データ２３の移動分析データ２３ｃとして出力する。

【0025】

図８は、安全管理に関する処理部と、その処理結果を出力する出力部１４とを示す構成図である。異常姿勢モデル２２ａと、把持物検出モデル２２ｂと、安全管理モデル２２ｄとを含むモデルデータ２２、および、異常姿勢データ２３ａと、把持物検出データ２３ｂと、移動分析データ２３ｃと、安全管理データ２３ｄとを含む推定結果データ２３は、それぞれ安全管理装置１０の記憶部２０に格納される。図８に示すように、安全管理推定部１３ｄは、図５～図８で説明した処理によってそれぞれ得られた中間的な分析結果の推定結果データ２３、すなわち異常姿勢データ２３ａ、把持物検出データ２３ｂ、移動分析データ２３ｃを出力し、これらを組み合わせて労働者の行動における危険予兆や危険動作に対する最終的な分析結果を表す安全管理データ２３ｄを決定する。これにより、例えば中間的な分析結果の３種類のうちの１種類が誤った推定をしても、残り２種類が正しく推定されることで、最終的な精度が向上する。

【0026】

安全管理推定部１３ｄによる安全管理データ２３ｄの決定処理には、異常姿勢モデル２２ａと、把持物検出モデル２２ｂとの組み合わせから、安全管理データ２３ｄを求めるためのモデルデータ２２である安全管理モデル２２ｄが必要となる。そこで、安全管理学習部１２ｄは、異常姿勢モデル２２ａと把持物検出モデル２２ｂの組み合わせに対するユーザからの正解ラベルを受け付ける。安全管理学習部１２ｄは、これらの中間的な分析結果の組み合わせと正解ラベルとを学習し、その学習結果をモデルデータ２２の安全管理モデル２２ｄとして保存する。このように、機械学習の手法を使った学習・推論を組み合わせることで、より短い時間で、効率的に分析できる。

【0027】

出力部１４の出力演算部１４ｐは、ＨＴＭＬ出力部１４ａ、ＣＳＶ出力部１４ｂ及びソケット通信部１４ｃを用いて、以下に例示する演算処理を実行することにより、安全管理データ２３ｄを出力先で要求されるデータ形式にそれぞれ変換して出力する。ＨＴＭＬ出力部１４ａは、安全管理データ２３ｄをＨＴＭＬ形式（ブラウザ表示）に変換し、モニタ４１に出力する。ＣＳＶ出力部１４ｂは、安全管理データ２３ｄをＣＳＶ形式のファイルに変換し、記憶装置４２に出力して記憶させる。ソケット通信部１４ｃは、安全管理データ２３ｄに基づく信号をソケット通信でアラート機器４３や通報装置４４に出力することで、これらを用いた労働者への警告や安全管理部門への通報を行う。

【0028】

図９は、異常姿勢学習部１２ａによる異常姿勢の学習を示すフローチャートである。初めに、ステップＳ３０１では、学習対象として利用者に選択された画像データ１８の取得を行う。画像データ１８の最小単位は１フレームである。

【0029】

ステップＳ３０２では、ステップＳ３０１で選択された画像データ１８に対して骨格抽出部１１が抽出した骨格データ１９の取得を行う。そして、画像データ１８と骨格データ１９とを表示し、ユーザに対して異常姿勢ラベルの入力を促す。

【0030】

ステップＳ３０３では、ユーザから入力された異常姿勢ラベル（教師データ又は正解ラベル）があるか否かを判断する。異常姿勢ラベルがあると判断した場合に処理はステップＳ３０４に進む。異常姿勢ラベルが無いと判断した場合に処理はステップＳ３０１に戻る。すなわち、異常姿勢ラベル（教師データ又は正解ラベル）は、入力されたデータに対しての正解データであり、これをモデルに反映させ、より正確な判定モデルを生成するものである。

【0031】

ステップＳ３０４では、ステップＳ３０２で取得した骨格データ１９と入力された異常姿勢ラベルとの組み合わせを、学習データとして保持する。

【0032】

ステップＳ３０５では、未処理フレームがあるか否かを判断する。未処理フレームがあると判断した場合に処理はステップＳ３０１に戻る。未処理フレームが無いと判断した場合に処理はステップＳ３０６に進む。

【0033】

ステップＳ３０６では、ステップＳ３０４で保持した学習データを用いて機械学習を行う。機械学習は、深層学習を含む、ニューラルネットワークやアンサンブル学習など、公知の技術を用いることができる。

【0034】

ステップＳ３０７では、ステップＳ３０６の学習結果を異常姿勢モデル２２ａとして保存する。これにより、骨格データ１９ごとに入力された正解ラベルである異常姿勢ラベルを学習データとして、異常姿勢学習部１２ａにより異常姿勢モデル２２ａを機械学習することができる。また、ここで保存された異常姿勢モデル２２ａを使用することにより、異常姿勢推定部１３ａは異常姿勢の分析を実施できるようになる。

【0035】

図１０は、把持物学習部１２ｂによる把持物の学習を示すフローチャートである。初めに、ステップＳ３１１では、学習対象として利用者に選択された画像データ１８の取得を行う。画像データ１８の最小単位は１フレームである。

【0036】

ステップＳ３１２では、ステップＳ３１１で選択された画像データ１８に対して骨格抽出部１１が抽出した骨格データ１９の取得を行う。そして、画像データ１８と骨格データ１９とを表示し、ユーザに対して把持物ラベルの入力を促す。

【0037】

ステップＳ３１３では、ユーザから入力された把持物ラベル（教師データ又は正解ラベル）があるか否かを判断する。把持物ラベルがあると判断した場合に処理はステップＳ３１４に進む。把持物ラベルが無いと判断した場合に処理はステップＳ３１１に戻る。すなわち、把持物ラベル（教師データ又は正解ラベル）は、入力されたデータに対しての正解データであり、これをモデルに反映させ、より正確な判定モデルを生成するものである。

【0038】

ステップＳ３１４では、ステップＳ３１１で選択された画像データ１８から、把持物に関連する部分画像データを抽出する。ここでは、ステップＳ３０２で取得した骨格データ１９に基づいて、画像データ１８に写っている労働者の手（手首）とその周囲を含む所定領域の画像データを、把持物に関連する部分画像データとして抽出する。これにより、画像データ１８の一部として定義された部分画像データを抽出することができる。

【0039】

ステップＳ３１５では、ステップＳ３１２で取得した骨格データ１９と、ステップＳ３１４で抽出した部分画像データと、入力された把持物ラベルとの組み合わせを、学習データとして保持する。

【0040】

ステップＳ３１６では、未処理フレームがあるか否かを判断する。未処理フレームがあると判断した場合に処理はステップＳ３１１に戻る。未処理フレームが無いと判断した場合に処理はステップＳ３１７に進む。

【0041】

ステップＳ３１７では、ステップＳ３１５で保持した学習データを用いて、図９のステップＳ３０６と同様に機械学習を行う。

【0042】

ステップＳ３１８では、ステップＳ３１７の学習結果を把持物検出モデル２２ｂとして保存する。これにより、骨格データ１９及び部分画像ごとに入力された正解ラベルである把持物ラベルを学習データとして、把持物学習部１２ｂにより把持物検出モデル２２ｂを機械学習することができる。また、ここで保存された把持物検出モデル２２ｂを使用することにより、把持物検出部１３ｂは把持物の検出を実施できるようになる。

【0043】

以下、図１１～図２１を参照して、分析部１３の事例を説明する。図１１は、分析部１３のメイン処理を示すフローチャートである。

【0044】

初めに、ステップＳ１１ではモデルデータ２２の取得を行う。

【0045】

ステップＳ１２では、分析用の画像データ１８の取得を行う。ここでは、フレーム単位で画像データ１８を取得する。

【0046】

ステップＳ１３では、骨格抽出部１１を用いて、ステップＳ１２で取得した画像データ１８から骨格データ１９の抽出を行う。

【0047】

ステップＳ１４では、異常姿勢モデル２２ａがあるか否かを判断する。異常姿勢モデル２２ａがあると判断した場合に処理はステップＳ１５に進む。異常姿勢モデル２２ａが無いと判断した場合に処理はステップＳ１６に進む。

【0048】

ステップＳ１５では、後述する図１２に示す異常姿勢推定の一連の処理が異常姿勢推定部１３ａによって実行される。そして、処理がステップＳ１６に進む。これにより、画像データ１８に写っている労働者に異常姿勢がある場合は、その異常姿勢が検出される。

【0049】

ステップＳ１６では、ステップＳ１２で取得した画像データ１８において、ステップＳ１５の異常姿勢推定を未処理の人物が存在するか否かを判断する。未処理人物があると判断した場合に処理はステップＳ１４に戻る。未処理人物が無いと判断した場合に処理はステップＳ１７に進む。

【0050】

ステップＳ１７では、把持物検出モデル２２ｂがあるか否かを判断する。把持物検出モデル２２ｂがあると判断した場合に処理はステップＳ１８に進む。把持物検出モデル２２ｂが無いと判断した場合に処理はステップＳ１９に進む。

【0051】

ステップＳ１８では、把持物検出部１３ｂにより、後述する図１４に示す把持物検出の一連の処理が実行される。そして、処理がステップＳ１９に進む。これにより、画像データ１８に写っている労働者が何らかの物体を把持しているか否かが判定され、把持している場合はその物体が検出される。

【0052】

ステップＳ１９では、ステップＳ１２で取得した画像データ１８において、ステップＳ１８の把持物検出を未処理の人物が存在するか否かを判断する。未処理人物があると判断した場合に処理はステップＳ１７に戻る。未処理人物が無いと判断した場合に処理はステップＳ２０に進む。

【0053】

ステップＳ２０では、移動分析部１３ｃにより、後述する図１９に示す移動分析の一連の処理が行われる。これにより、画像データ１８に写っている労働者の移動状態の分析（階段の段飛ばし、走る等）が行われる。

【0054】

ステップＳ２１では、ステップＳ１２で取得した画像データ１８において、ステップＳ２０の移動分析を未処理の人物が存在するか否かを判断する。未処理人物があると判断した場合に処理はステップＳ２０に戻る。未処理人物が無いと判断した場合に処理はステップＳ２２に進む。

【0055】

ステップＳ２２では、画像データ１８の中に未処理フレームがあるか否かを判断する。未処理フレームがあると判断した場合に処理はステップＳ１２に戻る。未処理フレームが無いと判断した場合に処理はステップＳ２３に進む。

【0056】

ステップＳ２３では、安全管理推定部１３ｄにより、ステップＳ１５、Ｓ１８、Ｓ２０の各処理結果及び安全管理モデル２２ｄに基づいて、労働者の行動における危険予兆や危険動作に関する安全管理推定を行う。このステップＳ２３で行われる安全管理推定により、労働災害の原因となり得る危険予兆や、労働災害の発生またはその前触れを示す危険動作が検出される。

【0057】

図１２は、図１１のステップＳ１５で異常姿勢推定部１３ａにより実行される異常姿勢推定のサブルーチン処理を示すフローチャートである。初めに、ステップＳ１５１では、ステップＳ１３で抽出された骨格データ１９を、異常姿勢の推定対象とする骨格データとして取得する。

【0058】

ステップＳ１５２では、異常姿勢モデル２２ａから１レコード分（１つの異常姿勢）のモデルデータを取得する。

【0059】

ステップＳ１５３では、ステップＳ１５２で取得した異常姿勢モデル２２ａのモデルデータを用いて、異常姿勢の推定を実行する。ここでは、例えば異常姿勢モデル２２ａのモデルデータを用いた機械学習の推論により、ステップＳ１５１で取得した骨格データを入力として、労働者の異常姿勢を推定する。

【0060】

ステップＳ１５４では、ステップＳ１５３で行った異常姿勢の推定結果を異常姿勢データ２３ａとして出力する。ここで出力された異常姿勢データ２３ａは、推定結果データ２３の一部として安全管理装置１０に記録される。

【0061】

ステップＳ１５５では、異常姿勢モデル２２ａに未処理レコードがあるか否かを判断する。未処理レコードがあると判断した場合に処理はステップＳ１５２に戻る。この場合は、未処理レコードの中からいずれかのモデルデータがステップＳ１５２で選択された後、そのモデルデータを用いてステップＳ１５３、Ｓ１５４の処理が実行される。未処理レコードが無いと判断した場合に処理は終了する。

【0062】

図１３は、図１２の処理に用いられる骨格データ１９の例を示す図である。異常姿勢推定部１３ａは、例えば画像データ１８ｃから抽出された骨格データ１９ｃに対して、異常姿勢の一種である転倒と判断する。また、例えば画像データ１８ｄから抽出された骨格データ１９ｄに対して、異常姿勢の一種である転倒中と判断する。また、例えば画像データ１８ｅから抽出された骨格データ１９ｅに対して、異常姿勢の一種である座り込みと判断する。異常姿勢推定部１３ａが異常姿勢推定を行うことにより、これらの異常姿勢の推定結果が異常姿勢データ２３ａに記録される。

【0063】

図１４は、図１１のステップＳ１８で把持物検出部１３ｂにより実行される把持物検出のサブルーチン処理を示すフローチャートである。初めに、ステップＳ１８１では、ステップＳ１３で抽出された骨格データ１９と、ステップＳ１２で取得した画像データ１８とを、把持物の検出対象とする骨格データ及び画像データとして取得する。

【0064】

ステップＳ１８２では、把持物検出モデル２２ｂから１レコード分（１つの把持物）のモデルデータを取得する。

【0065】

ステップＳ１８３では、ステップＳ１８１で取得した骨格データにおいて、把持物の検出対象とする対象骨格が検出済みか否かを判断する。ここでは、例えば取得した骨格データが表す特徴点の中に、手（手首）に対応する特徴点が含まれているか否かを判断することで、対象骨格が検出済みか否かを判断する。対象骨格が検出済みと判断した場合に処理はステップＳ１８４に進む。対象骨格が検出済みでないと判断した場合はステップＳ１８７に進む。

【0066】

ステップＳ１８４では、ステップＳ１８１で取得した画像データにおける対象骨格周辺（手首の周辺）を切り出してズームする。なお、このズーム処理は把持物の検出精度を上げるために実施される処理であるため、ズーム処理を実施しなくても十分な検出精度が得られる場合にはステップＳ１８４の処理を省略してもよい。

【0067】

ステップＳ１８５では、ステップＳ１８２で取得した把持物検出モデル２２ｂのモデルデータを用いて、ステップＳ１８４のズーム処理によって拡大された画像データに対する把持物の検出を実行する。ここでは、例えば把持物検出モデル２２ｂのモデルデータを用いた機械学習の推論により、ステップＳ１８１で取得した骨格データ及び画像データを入力として、労働者の把持物を検出する。

【0068】

ステップＳ１８６では、ステップＳ１８５で行った把持物の検出結果を把持物検出データ２３ｂとして出力する。ここで出力された把持物検出データ２３ｂは、推定結果データ２３の一部として安全管理装置１０に記録される。

【0069】

ステップＳ１８７では、把持物検出モデル２２ｂに未処理レコードがあるか否かを判断する。未処理レコードがあると判断した場合に処理はステップＳ１８２に戻る。この場合は、未処理レコードの中からいずれかのモデルデータがステップＳ１８２で選択された後、そのモデルデータを用いてステップＳ１８３～Ｓ１８６の処理が実行される。未処理レコードが無いと判断した場合に処理は終了する。

【0070】

図１５～図１８は、図１４の処理に用いられる画像データ１８及び骨格データ１９の例を示す図である。図１５に示す画像データ１８ｆには、手すりの領域１８１ｆが予め設定されている。把持物検出部１３ｂは、例えば画像データ１８ｆから抽出された骨格データ１９ｆに対して、手（手首）に対応する特徴点１９１ｆ、１９２ｆを特定し、これらの特徴点１９１ｆ、１９２ｆの周囲の画像領域１８２ｆ、１８３ｆを画像データ１８ｆからそれぞれ抽出してズームする。そして、このズームした画像領域１８２ｆ、１８３ｆにおいて手指１８４ｆ、１８５ｆをそれぞれ検出し、手指１８４ｆ、１８５ｆが手すり領域１８１ｆ内にあるか否かを判断することで、画像データ１８ｆに写っている労働者が手すりを把持しているか否かを判断する。図１５の例では、画像領域１８２ｆにおいて手指１８４ｆが手すり領域１８１ｆ内にあるため、労働者が手すりを把持していることが認識される。なお、この場合に手指１８４ｆと反対側の手指１８５ｆは不把持としてカウントしない。

【0071】

一方、図１６に示す画像データ１８ｇの場合、骨格データ１９ｇのうち手（手首）に対応する特徴点１９１ｇ、１９２ｇの周囲をズームした画像領域１８２ｇ、１８３ｇにおいて、手指１８４ｇ、１８５ｇはいずれも手すり領域１８１ｇ内に存在しない。そのため、画像データ１８ｇに写っている労働者は手すりを把持していないことが認識される。さらに、画像領域１８３ｇでは、手指１８５ｇの付近にスマートフォン１８６ｇが検出された。したがってこの場合、労働者は歩きスマホを行っていることが認識される。

【0072】

また、図１７に示す画像データ１８ｈの場合、骨格データ１９ｈのうち手（手首）に対応する特徴点１９１ｈ、１９２ｈの周囲をズームした画像領域１８２ｈ、１８３ｈのいずれにおいても手指が検出できなかった。そのため、画像データ１８ｈに写っている労働者は手すりを把持しておらず、ポケット手を行っていると認識される。

【0073】

また、図１８に示す画像データ１８ｉの場合、骨格データ１９ｉのうち手（手首）に対応する特徴点１９１ｉ、１９２ｉの周囲をズームすることで、箱状の物体１８１ｉが検出された。そのため、画像データ１８ｉに写っている労働者は両手に荷物を持っていると判断される。

【0074】

図１９は、図１１のステップＳ２０で移動分析部１３ｃにより実行される移動分析のサブルーチン処理を示すフローチャートである。初めに、ステップＳ２０１では、ステップＳ１３で抽出された骨格データ１９を取得する。

【0075】

ステップＳ２０２では、画像データ１８から労働者の骨格を検出済みか否かを判断する。ここでは、ステップＳ２０１で骨格データ１９を取得できた場合に、骨格を検出済みと判断してステップＳ２０３に進む。一方、ステップＳ２０１で骨格データ１９を取得できなかった場合は、骨格を検出済みでないと判断して処理を終了する。

【0076】

ステップＳ２０３では、ステップＳ２０１で取得した骨格データ１９の重心を算出する。ここでは、骨格データ１９が表す各特徴点の座標値の重心を算出することで、骨格データ１９の重心を算出することができる。

【0077】

ステップＳ２０４では、ステップＳ２０３で算出した重心から、画像データ１８に写っている労働者の歩行位置を判定する。

【0078】

ステップＳ２０５では、過去の骨格データの読み出しを行う。ここでは、ステップＳ２０１で取得した骨格データ１９よりも画像データ１８の前のフレームで抽出された骨格データ１９を、過去の骨格データとして読み出す。

【0079】

ステップＳ２０６では、ステップＳ２０４の歩行位置の判定結果と、ステップＳ２０１で取得した骨格データ１９及びステップＳ２０５で読み出した過去の骨格データとを用いて、移動分析を実行する。この移動分析により、労働者の移動状態が正常であるか異常であるかが判断される。

【0080】

ステップＳ２０７では、ステップＳ２０６で行った移動分析の結果を移動分析データ２３ｃとして出力する。ここで出力された移動分析データ２３ｃは、推定結果データ２３の一部として安全管理装置１０に記録される。ステップＳ２０７の実行後に処理は終了する。

【0081】

図２０は、図１９の処理に用いられる骨格データ１９の例を示す図である。移動分析部１３ｃは、例えば画像データ１８ｊから抽出された骨格データ１９ｊに対して、重心１９１ｊを算出する。この重心１９１は階段の右側に位置している。また、移動分析部１３ｃは、現在と過去の骨格データ１９ｊの比較結果から、画像データ１８ｊに写っている労働者が階段を上っていると判断する。したがってこの場合、労働者の歩行方向は階段の進行方向と合致しており、正しい歩行を行っていると判断される。一方、画像データ１８ｋから抽出された骨格データ１９ｋに対して算出される重心１９１ｋは階段の左側に位置するので、画像データ１８ｋに写っている労働者が階段を上っている場合には、労働者の歩行方向は階段の進行方向と合致しておらず、間違った歩行を行っていると判断される。

【0082】

図２１は、ステップＳ２０６の移動分析方法の例を説明する図である。移動分析部１３ｃは、分析対象の骨格データ１９から算出された重心のＹ座標値と移動速度の関係を求め、予め設定された標準的な移動時のものと比較する。具体的には、例えば図２１（ａ）に示すように、標準的な移動時におけるＹ座標と移動速度の関係を示す標準曲線１３０と、分析対象の骨格データ１９の重心のＹ座標と移動速度の関係を示す点１３１との偏差を算出する。その結果、偏差が所定の閾値より小さい場合は労働者の移動状態が正常であると判断し、反対に閾値より大きい場合は労働者の移動状態が階段走り等の異常状態にあると判断する。

【0083】

また、移動分析部１３ｃは、分析対象の骨格データ１９から算出された重心のＹ座標値と移動距離の関係を求め、予め設定された標準的な移動時のものと比較する。具体的には、例えば図２１（ｂ）に示すように、標準的な移動時におけるＹ座標と移動距離の関係を示す標準曲線１３２と、分析対象の骨格データ１９の重心のＹ座標と移動距離の関係を示す点１３３との偏差を算出する。その結果、偏差が所定の閾値より小さい場合は労働者の移動状態が正常であると判断し、反対に閾値より大きい場合は労働者の移動状態が階段走り等の異常状態にあると判断する。

【0084】

また、移動分析部１３ｃは、分析対象の骨格データ１９から算出された重心のＹ方向における移動速度の周波数成分を求め、最も強度が高い周波数成分が所定の周波数範囲内にあるか否かを判断する。その結果、最も強度が高い周波数成分が所定の周波数範囲内にある場合は労働者の移動状態が正常であると判断し、反対に周波数範囲内にない場合は労働者の移動状態が異常であると判断する。図２１（ｃ）に示す例では、最も強度が高い周波数成分１３４が所定の周波数範囲１３５内に存在しないため、労働者の移動状態が階段飛ばしや階段飛び降り等の異常状態にあると判断される。

【0085】

以下、図２２～図２５を参照して、アラート機器４３を用いた警告や通報装置４４を用いた通報の事例を説明する。図２２は、出力部１４の処理を示すフローチャートである。

【0086】

初めに、ステップＳ５１では安全管理データ２３ｄの取得を行う。

【0087】

ステップＳ５２では、ステップＳ５１で取得した安全管理データ２３ｄに基づいて、危険予兆の有無を判定する。安全管理データ２３ｄにおいて労働災害の原因となり得る危険予兆の情報、例えばポケット手、歩きスマホ、両手が荷物で塞がった状態での移動、手すりを使わない階段昇降、階段飛ばし、異常速度移動、通行方向誤り等の情報が記録されている場合は、危険予兆有りと判断してステップＳ５３に進む。一方、こうした危険予兆の情報が安全管理データ２３ｄに記録されていない場合は、危険予兆なしと判断してステップＳ５４に進む。

【0088】

ステップＳ５３では、ソケット通信部１４ｃを用いて所定の信号をアラート機器４３に出力する。この信号に応じてアラート機器４３が所定の画面表示や音声出力を行うことにより、危険予兆に対する労働者への警告が行われる。

【0089】

ステップＳ５４では、ステップＳ５１で取得した安全管理データ２３ｄに基づいて、危険動作の有無を判定する。安全管理データ２３ｄにおいて労働災害の発生またはその前触れを示す危険動作の情報、例えば転倒等の情報が記録されている場合は、危険動作有りと判断してステップＳ５５に進む。一方、こうした危険動作の情報が安全管理データ２３ｄに記録されていない場合は、危険動作なしと判断して処理を終了する。

【0090】

ステップＳ５５では、ソケット通信部１４ｃを用いて所定の信号を通報装置４４に出力する。この信号に応じて通報装置４４が所定の画面表示や音声出力を行うことにより、危険動作に対する安全管理部門や守衛本部等への通報が行われる。

【0091】

なお、ステップＳ５５における通報装置４４への信号出力は、所定の猶予期間を経過した後に行うようにしてもよい。図２３は、通報までの猶予期間を説明する図である。出力部１４は、例えば図２３（ａ）に示すように、安全管理データ２３ｄに含まれる転倒検出の情報に基づき、ステップＳ５４で危険動作有りと判断された状態が所定の猶予期間（例えば６０秒）継続した場合に、転倒を通知する通報を行う。一方、図２３（ｂ）に示すように、ステップＳ５４で危険動作有りと判断されてから６０秒以内に正常姿勢が検出され、これに応じてステップＳ５４で危険動作なしと判断された場合は、転倒を通知する通報を行わない。このようにすれば、労働者が自力で容易に復帰可能な危険動作が一時的に検出された場合に、不要な通報が行われるのを防止することができる。

【0092】

図２４は、通報装置４４において表示される通報画面の例を示す図である。図２４に示す通報画面１５０は、危険動作が検出された場所を示す画像１５１と、危険動作検出時に撮影された画像１５２とを含んでいる。これらの画像から、通報画面１５０を見た安全管理者や守衛は、Ａ棟北側階段１－２Ｆで転倒事故が発生したことを確認できる。

【0093】

図２５は、通報装置４４から出力される通報メッセージの例を示す図である。図２５に示す通報メッセージ１６１は、検出された危険動作の内容とＵＲＬが記載されている。通報装置４４は、このような通報メッセージ１６１を電子メール等により送信する。通報メッセージ１６１を見た安全管理者や守衛は、その内容から転倒事故の発生状況を確認できる。また、安全管理者や守衛が通報メッセージ１６１内のＵＲＬを選択すると、例えば図２４の通報画面が表示される。これにより、転倒事故の詳細を確認することができる。

【0094】

以上説明した本発明の実施形態によれば、以下の作用効果を奏する。

【0095】

（１）安全管理装置１０は、画像データ１８を入力とした画像認識により、画像データ１８に写る人物の関節位置を示す特徴点データを含む骨格データ１９を取得する骨格抽出部１１と、骨格抽出部１１が抽出した骨格データ１９に基づいて、人物の行動における危険予兆または危険動作を検出する分析部１３と、分析部１３が検出した危険予兆に対する警告または危険動作に対する通報を行う出力部１４とを有する。安全管理装置１０において実行されるプログラムは、これら各部としてコンピュータを機能させる。このようにしたので、造現場以外の労働場所における労働災害の発生を効果的に抑制することができる。

【0096】

（２）安全管理装置１０としてのコンピュータは、骨格データ１９ごとに異常姿勢ラベルが対応づけられている異常姿勢モデル２２ａが記憶された記憶部２０を有する。分析部１３は、骨格抽出部１１が取得した骨格データ１９と、異常姿勢モデル２２ａとに基づいて、人物の異常姿勢を推定し（ステップＳ１５）、その異常姿勢の推定結果に基づいて危険予兆または危険動作を検出する（ステップＳ２３）。このようにしたので、労働者が転倒等の異常姿勢を行ったときに、その異常姿勢を危険予兆や危険動作として確実に検出することができる。

【0097】

（３）安全管理装置１０において実行されるプログラムは、骨格データ１９ごとに入力された正解ラベルである異常姿勢ラベルを学習データとして異常姿勢モデル２２ａを機械学習する異常姿勢学習部１２ａ、としてコンピュータを機能させる。分析部１３は、さらに、異常姿勢モデル２２ａを用いた機械学習の推論により、骨格データ１９を入力として人物の異常姿勢を推定する。このようにしたので、骨格データ１９から異常姿勢を正確に推定することができる。

【0098】

（４）安全管理装置１０としてのコンピュータは、骨格データ１９及び画像データ１８の一部として定義された部分画像ごとに把持物ラベルが対応づけられている把持物検出モデル２２ｂが記憶された記憶部２０を有する。分析部１３は、骨格抽出部１１が取得した骨格データ１９と、入力された画像データ１８と、把持物検出モデル２２ｂとに基づいて、人物が把持している把持物を検出し（ステップＳ１８）、その把持物の検出結果に基づいて危険予兆を検出する（ステップＳ２３）。このようにしたので、労働者がポケット手、歩きスマホ、両手が荷物で塞がった状態での移動、手すりを使わない階段昇降等の行動をしたときに、これらの行動を危険予兆として確実に検出することができる。

【0099】

（５）安全管理装置１０において実行されるプログラムは、骨格データ１９及び部分画像ごとに入力された正解ラベルである把持物ラベルを学習データとして把持物検出モデル２２ｂを機械学習する把持物学習部１２ｂ、としてコンピュータを機能させる。分析部１３は、さらに、把持物検出モデル２２ｂを用いた機械学習の推論により、骨格データ１９及び画像データ１８を入力として把持物を検出する。このようにしたので、骨格データ１９及び画像データ１８から把持物の有無を正確に判断し、さらに把持物がある場合はそれが何であるかを正確に判断することができる。

【0100】

（６）分析部１３は、骨格抽出部１１が取得した骨格データ１９に基づいて、人物の移動分析を行い（ステップＳ２０）、その移動分析の結果に基づいて危険予兆を検出する（ステップＳ２３）。このようにしたので、労働者が階段飛ばし、異常速度移動、通行方向誤り等の行動をしたときに、これらの行動を危険予兆として確実に検出することができる。

【0101】

（７）骨格抽出部１１は、例えば図４に示すように、画像データ１８に写る人物の関節位置を示す特徴点データと、その人物の関節角度を表す角度データと含む骨格データ１９を取得してもよい。このようにすれば、人物の骨格形状をより精度良く表した骨格データ１９を用いて、危険予兆や危険動作の検出をさらに正確に行うことができる。

【0102】

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0103】

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

【0104】

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。

【0105】

また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

【0106】

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体に置くことができる。

【0107】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0108】

１０ 安全管理装置
１１ 骨格抽出部
１２ モデル生成部
１３ 分析部
１４ 出力部
１８ 画像データ
１９ 骨格データ
２０ 記憶部
２２ モデルデータ
２３ 推定結果データ
３１ ビデオカメラ
３２ ビデオレコーダ
３３ 入出力装置
４１ モニタ
４２ 記憶装置
４３ アラート機器
４４ 通報装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】