知財求人 - 知財ポータルサイト「IP Force」
特開2024-83182作業監視装置、及び、これを有する作業監視システム、作業監視方法、コンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024083182
(43)【公開日】2024-06-20
(54)【発明の名称】作業監視装置、及び、これを有する作業監視システム、作業監視方法、コンピュータプログラム
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20240613BHJP
G06Q 50/04 20120101ALI20240613BHJP
【ＦＩ】
G06Q10/0639
G06Q50/04
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022197551
(22)【出願日】2022-12-10
(71)【出願人】
【識別番号】000134707
【氏名又は名称】株式会社ナカヨ
(74)【代理人】
【識別番号】100144358
【弁理士】
【氏名又は名称】藤掛 宗則
(72)【発明者】
【氏名】山須田 知也
(72)【発明者】
【氏名】畠山 永吉
(72)【発明者】
【氏名】岩▲崎▼ 稜
【テーマコード（参考）】
5L010
5L049
5L050
【Ｆターム（参考）】
5L010AA06
5L049AA06
5L049CC03
5L050CC03
(57)【要約】
【課題】作業者が複数存在する場合であっても各作業者の作業時間を適切に把握することができる作業監視装置を提供する。
【解決手段】作業監視装置１００は、作業者が作業する空間を撮像した作業空間画像４００を取得する画像取得部１０、作業空間において作業者が作業する一又は複数の領域を作業エリアとして作業空間画像４００に設定する領域設定部４０、作業空間画像４００から作業者の骨格点を検知する骨格点検知部２２、作業エリアと骨格点の検知結果とに基づいて、設定された作業エリア毎に作業者が作業中であるか否かを判定する画像解析部２０を有する。
【選択図】図２
【解決手段】作業監視装置１００は、作業者が作業する空間を撮像した作業空間画像４００を取得する画像取得部１０、作業空間において作業者が作業する一又は複数の領域を作業エリアとして作業空間画像４００に設定する領域設定部４０、作業空間画像４００から作業者の骨格点を検知する骨格点検知部２２、作業エリアと骨格点の検知結果とに基づいて、設定された作業エリア毎に作業者が作業中であるか否かを判定する画像解析部２０を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
作業者の作業状況を監視する作業監視装置であって、
前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、を有することを特徴とする、
作業監視装置。
前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、を有することを特徴とする、
作業監視装置。
【請求項2】
前記作業者が前記作業エリアに存在しているか否かを判定するための判定対象の骨格点を設定する判定条件設定手段を有し、
前記判定手段は、前記判定対象の骨格点が前記作業エリア内で検知されない場合に前記作業者は作業中ではないと判定することを特徴とする、
請求項１に記載の作業監視装置。
前記判定手段は、前記判定対象の骨格点が前記作業エリア内で検知されない場合に前記作業者は作業中ではないと判定することを特徴とする、
請求項１に記載の作業監視装置。
【請求項3】
前記判定条件設定手段は、前記判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件を設定し、
前記判定手段は、前記判定対象の骨格点全てが前記作業エリア内で検知され、且つ、前記骨格点の組み合わせ条件が満たされた場合に前記作業者は作業中であると判定することを特徴とする、
請求項２に記載の作業監視装置。
前記判定手段は、前記判定対象の骨格点全てが前記作業エリア内で検知され、且つ、前記骨格点の組み合わせ条件が満たされた場合に前記作業者は作業中であると判定することを特徴とする、
請求項２に記載の作業監視装置。
【請求項4】
前記判定条件設定手段は、前記作業者の腰より上部の骨格点のみを前記判定対象の骨格点として設定することを特徴とする、
請求項２に記載の作業監視装置。
請求項２に記載の作業監視装置。
【請求項5】
前記判定条件設定手段は、前記作業者の肘の骨格点より手首の骨格点が想定的に高い位置であることを前記骨格点の組み合わせ条件として設定することを特徴とする、
請求項３に記載の作業監視装置。
請求項３に記載の作業監視装置。
【請求項6】
前記判定条件設定手段は、前記作業者の肘の骨格点と手首の骨格点を結ぶ直線と、当該肘の骨格点と肩の骨格点を結ぶ直線とが略９０度の角度で交差することを前記骨格点の組み合わせ条件として設定することを特徴とする、
請求項３に記載の作業監視装置。
請求項３に記載の作業監視装置。
【請求項7】
作業者の作業状況を監視する作業監視方法であって、
前記作業者が作業する空間を撮像した作業空間画像を取得する工程と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する工程と、
前記作業空間画像から前記作業者の骨格点を検知する工程と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する工程と、を有することを特徴とする、
作業監視方法。
前記作業者が作業する空間を撮像した作業空間画像を取得する工程と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する工程と、
前記作業空間画像から前記作業者の骨格点を検知する工程と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する工程と、を有することを特徴とする、
作業監視方法。
【請求項8】
コンピュータを、作業監視装置として機能させるコンピュータプログラムであって、
前記コンピュータを、
前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段、
前記作業空間画像から前記作業者の骨格点を検知する検知手段、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段、として機能させることを特徴とする、
コンピュータプログラム。
前記コンピュータを、
前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段、
前記作業空間画像から前記作業者の骨格点を検知する検知手段、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段、として機能させることを特徴とする、
コンピュータプログラム。
【請求項9】
作業者の作業状況を監視する作業監視システムであって、
前記作業者が作業する空間を作業空間画像として撮像する撮像手段と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、
前記判定の結果を表示画面上に表示する表示手段と、を有することを特徴とする、
作業監視システム。
前記作業者が作業する空間を作業空間画像として撮像する撮像手段と、
前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、
前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、
前記判定の結果を表示画面上に表示する表示手段と、を有することを特徴とする、
作業監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業現場において作業者の作業状況や作業時間を把握することができる作業監視システムに関する。
【背景技術】
【0002】
工場等の作業現場で作業者をカメラで撮像し、撮像した映像・画像から各作業者の作業状況を把握することがある。
例えば、特許文献１に開示された作業負荷分析装置では、作業中に特定部位の動きが大きくない作業の判定として、カメラによって撮像される画像による人体検出や、作業者が有するビーコンの情報から、作業者が第１領域への進入が検出された場合に作業が開始されたと判断し、第２領域への進入が検出された場合に作業が終了したと判断する。
例えば、特許文献１に開示された作業負荷分析装置では、作業中に特定部位の動きが大きくない作業の判定として、カメラによって撮像される画像による人体検出や、作業者が有するビーコンの情報から、作業者が第１領域への進入が検出された場合に作業が開始されたと判断し、第２領域への進入が検出された場合に作業が終了したと判断する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１２５１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された作業負荷分析装置では、作業者が作業中であるか否か判断するとこができる。しかしながら、領域１への進入後に領域２へ進入した場合に作業中か否か判断しているため、一つの画像に複数作業領域で作業者が同時に作業を行っている場合、作業領域（作業エリア）毎に作業中であるか否かを判断できない、という課題が残る。
【0005】
本発明は、上記課題に鑑みてなされたものであり、作業内容が異なるまたは同じ作業者が複数存在する場合であっても各作業者の作業状況や作業時間等を適切に把握することができる作業監視装置を提供することを、主たる課題とする。また、これを有する作業監視システム、作業監視方法、コンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
上記課題を解決する本発明は、作業者の作業状況を監視する作業監視装置であって、前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段と、前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、前記作業空間画像から前記作業者の骨格点を検知する検知手段と、前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、を有することを特徴とする。
【0007】
また、本発明は作業者の作業状況を監視する作業監視方法であって、前記作業者が作業する空間を撮像した作業空間画像を取得する工程と、前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する工程と、前記作業空間画像から前記作業者の骨格点を検知する工程と、前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する工程と、を有することを特徴とする。
【0008】
また、本発明はコンピュータを、作業監視装置として機能させるコンピュータプログラムであって、前記コンピュータを、前記作業者が作業する空間を撮像した作業空間画像を取得する取得手段、前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段、前記作業空間画像から前記作業者の骨格点を検知する検知手段、前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段、として機能させることを特徴とする。
【0009】
また、本発明は作業者の作業状況を監視する作業監視システムであって、前記作業者が作業する空間を作業空間画像として撮像する撮像手段と、前記作業空間において前記作業者が作業する一又は複数の領域を作業エリアとして作業空間画像に設定する設定手段と、
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、前記判定の結果を表示画面上に表示する表示手段と、を有することを特徴とする。
前記作業空間画像から前記作業者の骨格点を検知する検知手段と、前記作業エリアと前記骨格点の検知結果とに基づいて、前記設定された作業エリア毎に前記作業者が作業中であるか否かを判定する判定手段と、前記判定の結果を表示画面上に表示する表示手段と、を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、作業内容が異なるまたは同じ作業者が複数存在する場合であっても作業者毎の作業状況や作業時間等を適切に把握することができる作業監視装置を提供することができる。また、これを有する作業監視システム、作業監視方法、コンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る作業監視システムの全体構成の一例を説明するための図。
【図2】作業監視装置の機能構成の一例を説明するためのブロック図。
【図3】作業空間画像の画像解析の一例を説明するための模式図。
【図5】実際の作業空間を撮像した作業空間画像上に作業エリア、作業者の骨格点情報などの情報が表示されている画像例。
【図6】作業者が作業中であるか否かの判定について具体例を説明するための模式図。
【図8】作業監視装置が実行する処理の処理手順の一例を示すフローチャート。
【図9】作業監視装置が実行する作業エリア（領域）設定の処理手順の一例を示すフローチャート。
【図10】作業監視装置が実行する判定条件設定の処理手順の一例を示すフローチャート。
【図11】作業監視装置が実行する作業中判定（作業者が作業中であるか否かを判定）の処理手順の一例を示すフローチャート。
【図12】判定結果の表示例を説明するための図。
【発明を実施するための形態】
【0012】
以下、本発明を作業者の作業状況を監視する作業監視システム（作業監視装置）として適用した場合を例に挙げて、図面を参照しながら実施形態を説明する。
【0013】
［実施形態例］
図１は、本実施形態に係る作業監視システムＳの全体構成の一例を説明するための図である。
作業監視システムＳは、作業監視装置１００、カメラ２００、表示装置３００を含んで構成される。なお、作業監視装置１００、カメラ２００、表示装置３００はそれぞれ有線又は無線にて相互に情報の授受が可能に接続される。
図１は、本実施形態に係る作業監視システムＳの全体構成の一例を説明するための図である。
作業監視システムＳは、作業監視装置１００、カメラ２００、表示装置３００を含んで構成される。なお、作業監視装置１００、カメラ２００、表示装置３００はそれぞれ有線又は無線にて相互に情報の授受が可能に接続される。
【0014】
作業監視装置１００は、カメラ２００が撮像した撮像データ（撮像結果）を取得し、取得した撮像データに基づいて作業者が作業中であるか否かを判定する機能を有する。作業監視装置１００の構成の詳細は後述する。
【0015】
図１に示すカメラ２００は、作業者が作業する空間において、例えば作業者１が担う作業１（工程１）、作業者２が担う作業２（工程２）、作業者３が担う作業３（工程３）など監視対象の範囲を撮像する。以下、撮像結果を作業空間画像（図３、４、５中に示す作業空間画像４００参照）と称する。なお、作業空間画像は連続する映像の一場面（フレーム）毎に、後述する画像解析部２０により解析が行われる。
このようにカメラ２００は、作業者が作業する空間を作業空間画像として撮像する撮像手段として機能する。
このようにカメラ２００は、作業者が作業する空間を作業空間画像として撮像する撮像手段として機能する。
【0016】
表示装置３００は、作業監視装置１００による判定結果を例えばグラフとして表示画面上に表示する。このように表示装置３００は、作業監視装置１００による判定の結果を表示画面上に表示する表示手段として機能する。
なお、表示装置３００はパソコン用ディスプレイ（マウス、キーボード）またはタッチパネルディスプレイ（スマートフォン、タブレット）を備えたものとし、作業空間画像４００上で作業管理者が後述する作業エリア（領域）の設定などの設定操作が行えるように構成しても良い。
なお、表示装置３００はパソコン用ディスプレイ（マウス、キーボード）またはタッチパネルディスプレイ（スマートフォン、タブレット）を備えたものとし、作業空間画像４００上で作業管理者が後述する作業エリア（領域）の設定などの設定操作が行えるように構成しても良い。
【0017】
図２は、作業監視装置１００の機能構成の一例を説明するためのブロック図である。
作業監視装置１００は、画像取得部１０、画像解析部２０、領域検知部２１、骨格点検知部２２、グラフ表示部３０、領域設定部４０、判定条件設定部５０を有する。また作業監視装置１００は、記憶部（データベース）６０、グラフ作成部７０、ＩＦ（インタフェース）８０、主制御部９０を有する。
作業監視装置１００は、画像取得部１０、画像解析部２０、領域検知部２１、骨格点検知部２２、グラフ表示部３０、領域設定部４０、判定条件設定部５０を有する。また作業監視装置１００は、記憶部（データベース）６０、グラフ作成部７０、ＩＦ（インタフェース）８０、主制御部９０を有する。
【0018】
図３は、作業空間画像の画像解析の一例を説明するための模式図である。
図３に示す作業空間画像４００では、作業者が作業を行うテーブル（作業台）４０１、領域設定部４０を介して設定された作業エリア４１０、４２０が見て取れる。
なお、作業エリア４１０、４２０は、領域設定部４０を介して設定された作業エリア（領域）として、画像解析部２０の領域検知部２１により作業空間画像４００上において検知される。
図３に示す作業空間画像４００では、作業者が作業を行うテーブル（作業台）４０１、領域設定部４０を介して設定された作業エリア４１０、４２０が見て取れる。
なお、作業エリア４１０、４２０は、領域設定部４０を介して設定された作業エリア（領域）として、画像解析部２０の領域検知部２１により作業空間画像４００上において検知される。
【0019】
図４は、図３とは異なる作業空間画像の画像解析の一例を説明するための模式図である。
図４に示す作業空間画像４００では、テーブル（作業台）４０１、作業エリア４１０、４２０のほか、骨格点（関節点）ａ、ｂ、ｃ、ｄ、ｅを含む作業者の骨格点情報５１０が見て取れる。
図４に示す作業空間画像４００では、テーブル（作業台）４０１、作業エリア４１０、４２０のほか、骨格点（関節点）ａ、ｂ、ｃ、ｄ、ｅを含む作業者の骨格点情報５１０が見て取れる。
【0020】
図４中に示す作業者の骨格点（関節点）の一例では、骨格点（関節点）ａは作業者の手首の骨格点、骨格点（関節点）ｂは作業者の膝の骨格点、骨格点（関節点）ｃは作業者の肩の骨格点、骨格点（関節点）ｄは作業者の頭部の骨格点、骨格点（関節点）ｅは作業者の肘の骨格点などである。
【0021】
なお、作業者の骨格点情報５１０は、画像解析部２０の骨格点検知部２２により作業空間画像４００上において検知される。
また図５は、実際の作業空間を撮像した作業空間画像上に作業エリア（領域）、作業者の骨格点情報などの情報が表示されている画像例である。
以下、主として図２～図５を用いて作業監視装置１００の機能構成の詳細を説明する。
また図５は、実際の作業空間を撮像した作業空間画像上に作業エリア（領域）、作業者の骨格点情報などの情報が表示されている画像例である。
以下、主として図２～図５を用いて作業監視装置１００の機能構成の詳細を説明する。
【0022】
画像取得部１０は、カメラ２００により撮像された作業空間画像４００を取得する。
このように画像取得部１０は、作業者が作業する空間を撮像した作業空間画像を取得する取得手段として機能する。
このように画像取得部１０は、作業者が作業する空間を撮像した作業空間画像を取得する取得手段として機能する。
【0023】
画像解析部２０は、領域検知部２１、骨格点検知部２２を有し、画像取得部１０を介して取得された作業空間画像４００を解析する。
画像解析部２０による作業空間画像４００を解析は、領域設定部４０を介して設定された作業エリア（領域）を領域検知部２１により作業空間画像上で検知し、検知した作業エリア毎に作業者の骨格点（関節点）を検知する処理を実行する。
画像解析部２０による作業空間画像４００を解析は、領域設定部４０を介して設定された作業エリア（領域）を領域検知部２１により作業空間画像上で検知し、検知した作業エリア毎に作業者の骨格点（関節点）を検知する処理を実行する。
【0024】
このように画像解析部２０（領域検知部２１）は、領域設定部４０を介して設定された作業エリア（領域）を作業空間画像４００上から検知する検知手段として機能する。
また、画像解析部２０（骨格点検知部２２）は、作業空間画像から作業者の骨格点（関節点）を検知する検知手段として機能する。
また、画像解析部２０（骨格点検知部２２）は、作業空間画像から作業者の骨格点（関節点）を検知する検知手段として機能する。
【0025】
また、画像解析部２０は、作業エリア（領域）と記骨格点の検知結果とに基づいて、領域設定部４０を介して設定された作業エリア毎に作業者が作業中であるか否かを判定する判定手段として機能する。判定プロセスの詳細は後述する。
【0026】
なお、骨格（骨格点）検知技術は、映像の中から人物の骨格を推定する技術として知られている。例えば、映像や静止画像からリアルタイムに人物の骨格点（関節点）を検出し、人物の姿勢を検出する深層学習アルゴリズム（骨格検知アルゴリズム）などを利用することができる。
【0027】
領域設定部４０は、作業空間において作業者が作業する一又は複数の領域を作業エリア４１０、作業エリア４２０等として作業空間画像４００上に設定する。なお、作業エリア（領域）の設定は例えば作業管理者により実行される。
作業管理者は、領域設定部４０を介して、作業空間画像４００上に作業エリア（領域）となる矩形の枠を追加する領域追加操作、追加された矩形の枠の四隅をそれぞれドラッグして形を調整してサイズを整える作業エリア（領域）サイズの調整操作などを実行して作業エリア（領域）を設定する。
なお、本実施例では、作業エリア（領域）を「矩形」として説明しているが本願はこれに限定しない。正方形や台形、菱形などの四角形でもよいし、多角形や円や楕円でもあってもよい。
作業管理者は、領域設定部４０を介して、作業空間画像４００上に作業エリア（領域）となる矩形の枠を追加する領域追加操作、追加された矩形の枠の四隅をそれぞれドラッグして形を調整してサイズを整える作業エリア（領域）サイズの調整操作などを実行して作業エリア（領域）を設定する。
なお、本実施例では、作業エリア（領域）を「矩形」として説明しているが本願はこれに限定しない。正方形や台形、菱形などの四角形でもよいし、多角形や円や楕円でもあってもよい。
【0028】
このように領域設定部４０は、作業空間において作業者が作業する一又は複数の領域を作業エリア４１０、作業エリア４２０等として作業空間画像４００上に設定する設定手段として機能する。
【0029】
判定条件設定部５０は、作業者が作業中であるか否かを判定するための条件を設定する。なお、この判定条件の設定は例えば作業管理者により実行される。以下、本実施形態における作業者が作業中であるか否かを判定するための条件について説明する。
【0030】
作業管理者は、判定条件設定部５０を介して、作業者が作業エリア４１０等に存在しているか否かを判定するための判定対象の骨格点を設定する。
具体的には、例えばある作業エリア内に作業者が存在しているか否かを上半身のみで判定したい場合、作業者の腰より上部の骨格点のみを判定対象の骨格点として設定する。
この場合、作業者の腰より上の骨格点のみを判定対象の骨格点としているため、例えば作業者の手首の骨格点（図４中の骨格点ａ）が作業エリア外であると解析されたときには、作業エリア内に作業者が存在しないと判定される。
具体的には、例えばある作業エリア内に作業者が存在しているか否かを上半身のみで判定したい場合、作業者の腰より上部の骨格点のみを判定対象の骨格点として設定する。
この場合、作業者の腰より上の骨格点のみを判定対象の骨格点としているため、例えば作業者の手首の骨格点（図４中の骨格点ａ）が作業エリア外であると解析されたときには、作業エリア内に作業者が存在しないと判定される。
【0031】
また、ある作業エリア内に作業者が存在しているか否かを全身で判定したい場合、作業者の全身の骨格点を判定対象の骨格点として設定する。
この場合、作業者の全身の骨格点を判定対象の骨格点としているため、作業者の一部の骨格点（例えば図４中の骨格点ｂ）が作業エリア外であると解析されたときには、作業エリア内に作業者が存在しないと判定される。
この場合、作業者の全身の骨格点を判定対象の骨格点としているため、作業者の一部の骨格点（例えば図４中の骨格点ｂ）が作業エリア外であると解析されたときには、作業エリア内に作業者が存在しないと判定される。
【0032】
このように判定条件設定部５０を介して、作業者の骨格点毎に判定対象の骨格点とするか否か（有効・無効を指定）を設定することができる。以下この判定条件を判定条件Ａと称する。
【0033】
画像解析部２０による作業者が作業中であるか否かの判定においては、判定対象の骨格点が作業エリア内で検知されない場合、前記作業エリア内に作業者が存在しないため作業者は作業中ではないと判定される。
このように画像解析部２０は、判定対象の骨格点が作業エリア内で検知されない場合に作業者は作業中ではないと判定する判定手段として機能する。
このように画像解析部２０は、判定対象の骨格点が作業エリア内で検知されない場合に作業者は作業中ではないと判定する判定手段として機能する。
【0034】
また作業管理者は、判定条件設定部５０を介して、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（姿勢条件）を設定する。
具体的には、例えばある作業エリア（領域）において作業者が作業中であることを示す当該骨格点の組み合わせ条件（姿勢条件）として、骨格点の位置関係や角度を指定する設定を行う。
具体的には、例えばある作業エリア（領域）において作業者が作業中であることを示す当該骨格点の組み合わせ条件（姿勢条件）として、骨格点の位置関係や角度を指定する設定を行う。
【0035】
骨格点の位置関係の設定は、一例として作業者が行う作業が作業台上で手を挙げて行う作業である場合、作業者の肘の骨格点（図４中の骨格点ｅ）より手首の骨格点（図４中の骨格点ａ）が相対的に高い位置であれば作業者は作業中であると判定されるように設定する。
【0036】
また、骨格点の角度を指定する設定は、一例として作業者が行う作業が作業台上で手を挙げて行う作業である場合、作業者の肘の骨格点（図４中の骨格点ｅ）と手首の骨格点（図４中の骨格点ａ）を結ぶ直線と、肘の骨格点（図４中の骨格点ｅ）と肩の骨格点（図４中の骨格点ｃ）を結ぶ直線とが略９０度の角度で交差すれば作業者は作業中であると判定されるように設定する。
【0037】
このように判定条件設定部５０を介して、作業者の骨格点の組み合わせ条件（姿勢条件）を設定することができる。以下この判定条件を判定条件Ｂと称する。
【0038】
画像解析部２０による作業者が作業中であるか否かの判定においては、判定対象の骨格点全てが作業エリア内で検知され、且つ、骨格点の組み合わせ条件（姿勢条件）が満たされた場合に作業者は作業中であると判定される。これにより作業者が複数存在する場合であっても、各作業エリアにおける各作業者の作業時間（作業状況）を適切に把握することが可能になる。また、作業者の体格・身体的特徴などを加味して作業エリア（領域）と判定対象の骨格点、骨格点の組み合わせ条件（姿勢条件）を設定できるため、より正確に各作業エリア（領域）における各作業者の作業時間（作業状況）を適切に把握することが可能になる。
このように画像解析部２０は、判定対象の骨格点全てが作業エリア内で検知され、且つ、骨格点の組み合わせ条件（姿勢条件）が満たされた場合に作業者は作業中であると判定する判定手段として機能する。
なお、作業者が作業中であるか否かの判定について具体例を図６、図７を用いて後述する。
このように画像解析部２０は、判定対象の骨格点全てが作業エリア内で検知され、且つ、骨格点の組み合わせ条件（姿勢条件）が満たされた場合に作業者は作業中であると判定する判定手段として機能する。
なお、作業者が作業中であるか否かの判定について具体例を図６、図７を用いて後述する。
【0039】
記憶部（データベース）６０は、作業監視装置１００の機能部を介して設定された各種設定結果、判定結果などの処理の結果などを記憶する。
このように記憶部（データベース）６０は、各種設定情報、判定結果などを一時的又は恒久的に記憶する記憶手段として機能する。
このように記憶部（データベース）６０は、各種設定情報、判定結果などを一時的又は恒久的に記憶する記憶手段として機能する。
【0040】
グラフ表示部３０は、一定の期間蓄積された作業者が作業中であるか否かの判定の結果に基づいて、グラフ作成部７０を介して作成されたグラフデータを表示装置３００の表示画面上に表示させる。
例えば表示されるグラフは、図１２に示すように作業者毎（作業者１～３）に作業中／非作業中の表示、作業時間などが把握できるように表示される。
例えば表示されるグラフは、図１２に示すように作業者毎（作業者１～３）に作業中／非作業中の表示、作業時間などが把握できるように表示される。
【0041】
ＩＦ（インタフェース）８０は、作業監視装置１００が有する各機能部間において各種情報の授受を管理するするインタフェースである。
【0042】
主制御部９０は、例えばカメラ２００、表示装置３００とのデータ送受信、また、作業監視装置１００が有する各機能部の動作を統括的に制御する。
なお、主制御部９０は、作業監視装置１００に実装されるプロセッサ及び内部メモリを有するコンピュータ装置のハードウエア資源と所定のコンピュータプログラムとの協働により実現される。また、作業監視装置１００は、例えば年月日と時間を表す時刻データと制御動作の同期クロックとを出力するＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）モジュールを有する。
このように主制御部９０は、作業監視装置１００の動作を統括的に制御する制御手段として機能する。
なお、主制御部９０は、作業監視装置１００に実装されるプロセッサ及び内部メモリを有するコンピュータ装置のハードウエア資源と所定のコンピュータプログラムとの協働により実現される。また、作業監視装置１００は、例えば年月日と時間を表す時刻データと制御動作の同期クロックとを出力するＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）モジュールを有する。
このように主制御部９０は、作業監視装置１００の動作を統括的に制御する制御手段として機能する。
【0043】
図６は、作業者が作業中であるか否かの判定について具体例を説明するための模式図である。
作業エリア４１０では、判定対象の骨格点の設定（判定条件Ａ）に応じて、作業エリア４１０内に作業者が存在しているか否かが判定されることになる。具体的には、作業者の骨格点情報５１０に含まれる膝の骨格点である骨格点ｂが判定対象の骨格点であれば、解析の結果この作業者は作業エリア４１０内には存在しないと判定されることになる。
また、作業者の膝の骨格点である骨格点ｂが判定対象の骨格点でなければ、解析の結果その他の判定対象の骨格点全てが作業エリア４１０内には存在する場合、この作業者は作業エリア４１０内に存在すると判定されることになる。
作業エリア４１０では、判定対象の骨格点の設定（判定条件Ａ）に応じて、作業エリア４１０内に作業者が存在しているか否かが判定されることになる。具体的には、作業者の骨格点情報５１０に含まれる膝の骨格点である骨格点ｂが判定対象の骨格点であれば、解析の結果この作業者は作業エリア４１０内には存在しないと判定されることになる。
また、作業者の膝の骨格点である骨格点ｂが判定対象の骨格点でなければ、解析の結果その他の判定対象の骨格点全てが作業エリア４１０内には存在する場合、この作業者は作業エリア４１０内に存在すると判定されることになる。
【0044】
また作業エリア４２０では、例えば作業者の骨格点情報５２０に含まれる手首の骨格点ａが判定対象の骨格点として設定されている場合、骨格点情報５２０に含まれる膝の骨格点である骨格点ｂが判定対象の骨格点であるか否かに関わらず、解析の結果この作業者は作業エリア４１０内には存在しないと判定されることになる。
【0045】
このように作業エリア（領域）の設定、判定対象の骨格点の設定を、実際に行われる作業内容や作業環境に応じて設定することにより柔軟に種々の作業に対応することが可能になる。そのため、作業内容が異なるまたは同じ作業者が複数存在する場合であっても、各作業者が作業中であるか否かを適切に把握することが可能になる。
【0046】
図７は、図６とは異なる、作業者が作業中であるか否かの判定について具体例を説明するための模式図である。
作業エリア４１０では、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（判定条件Ｂ）が作業者の骨格点情報５１０に含まれる肘の骨格点ｅより手首の骨格点ａが相対的に高い位置であれば作業者は作業中であると設定している場合、判定条件Ａを充足することを要件に、解析の結果この作業者は作業中であると判定されることになる。
作業エリア４１０では、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（判定条件Ｂ）が作業者の骨格点情報５１０に含まれる肘の骨格点ｅより手首の骨格点ａが相対的に高い位置であれば作業者は作業中であると設定している場合、判定条件Ａを充足することを要件に、解析の結果この作業者は作業中であると判定されることになる。
【0047】
また作業エリア４２０では、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（判定条件Ｂ）が作業者の骨格点情報５２０に含まれる肘の骨格点ｅより手首の骨格点ａが相対的に高い位置であれば作業者は作業中であると設定している場合、判定条件Ａを充足していたとしても、解析の結果この作業者は作業中でないと判定されることになる。
【0048】
このように作業エリア（領域）の設定、判定対象の骨格点の設定、作業者の骨格点の組み合わせ条件（姿勢条件）の設定を、実際に行われる作業内容や作業環境に応じて設定することにより柔軟に種々の作業に対応することが可能になる。
そのため、作業内容が異なるまたは同じ作業者が複数存在する場合であっても、各作業者が作業中であるか否か作業状況の把握、各作業者の作業時間を適切に把握することが可能になる。
そのため、作業内容が異なるまたは同じ作業者が複数存在する場合であっても、各作業者が作業中であるか否か作業状況の把握、各作業者の作業時間を適切に把握することが可能になる。
【0049】
【0050】
作業監視装置１００は、領域設定部４０を介した作業管理者の指示に基づいて、作業空間において作業者が作業する一又は複数の領域を作業エリアとして作業空間画像４００上に設定する。（Ｓ１０１）。なお、設定結果は記憶部（データベース）６０に記憶される。
【0051】
作業監視装置１００は、判定条件設定部５０を介した作業管理者の指示に基づいて、作業者が作業中であるか否かを判定するための条件を設定する（Ｓ１０２）。なお、設定結果は記憶部（データベース）６０に記憶される。
【0052】
作業監視装置１００は、画像取得部１０を介して、カメラ２００により撮像された作業空間画像４００を取得する（Ｓ１０３）。
作業監視装置１００は、画像解析部２０（骨格点検知部２２）を介して、作業空間画像から作業者の骨格点（関節点）を検知する（Ｓ１０４）。
作業監視装置１００は、画像解析部２０（骨格点検知部２２）を介して、作業空間画像から作業者の骨格点（関節点）を検知する（Ｓ１０４）。
【0053】
作業監視装置１００は、画像解析部２０を介して、設定された作業エリア毎に作業者が作業中であるか否かを判定する（Ｓ１０５）。
作業監視装置１００は、判定結果を記憶部（データベース）６０に記憶する（Ｓ１０６）。
作業監視装置１００は、判定結果を記憶部（データベース）６０に記憶する（Ｓ１０６）。
【0054】
作業監視装置１００は、判定結果に基づいてグラフデータを作成し（Ｓ１０７）、作成したグラフデータに応じたグラフを表示装置３００の表示画面上に表示する（Ｓ１０８）。
【0055】
図９は、作業監視装置１００が実行する作業エリア（領域）設定の処理手順の一例を示すフローチャートである。なお、図９に示す各処理は、主として領域設定部４０、主制御部９０により実行制御される。
なお、例えば表示装置３００がパソコン用ディスプレイ（マウス、キーボード）またはタッチパネルディスプレイ（スマートフォン、タブレット）を備えたものであるとし、この表示画面上に作業空間画像４００なども表示されるものとする。
作業管理者は例えばタッチパネルディスプレイ上でドラッグ操作するなどして各種設定を行うものとして説明を進める。
なお、例えば表示装置３００がパソコン用ディスプレイ（マウス、キーボード）またはタッチパネルディスプレイ（スマートフォン、タブレット）を備えたものであるとし、この表示画面上に作業空間画像４００なども表示されるものとする。
作業管理者は例えばタッチパネルディスプレイ上でドラッグ操作するなどして各種設定を行うものとして説明を進める。
【0056】
作業監視装置１００は、表示装置３００の表示画面上に作業空間画像４００を表示する（Ｓ２０１）。
作業監視装置１００は、領域設定部４０を介した作業管理者の指示に基づいて、作業空間画像４００上に作業エリア（領域）となる矩形の枠を表示する（Ｓ２０２）。
作業監視装置１００は、領域設定部４０を介した作業管理者の指示に基づいて、作業エリア（領域）サイズの調整後の作業エリアを表示する（Ｓ２０３）。
作業監視装置１００は、領域設定部４０を介した作業管理者の指示に基づいて、作業空間画像４００上に作業エリア（領域）となる矩形の枠を表示する（Ｓ２０２）。
作業監視装置１００は、領域設定部４０を介した作業管理者の指示に基づいて、作業エリア（領域）サイズの調整後の作業エリアを表示する（Ｓ２０３）。
【0057】
作業監視装置１００は、作業管理者による作業エリア（領域）となる矩形の枠の追加する操作が完了したか否かを判別する（Ｓ２０４）。
矩形の枠の追加する操作の有無は、例えば一定時間（例えば１分）の間に作業管理者からの操作を受け付けなかった場合、また、作業管理者による操作完了の指示を受け付けたことを契機に追加する操作が完了したと判別するように任意に設定することもできる。
矩形の枠の追加する操作の有無は、例えば一定時間（例えば１分）の間に作業管理者からの操作を受け付けなかった場合、また、作業管理者による操作完了の指示を受け付けたことを契機に追加する操作が完了したと判別するように任意に設定することもできる。
【0058】
作業監視装置１００は、矩形の枠の追加する操作が完了したと判別した場合（Ｓ２０４：Ｙｅｓ）、設定された作用エリアを記憶部（データベース）６０に記憶する（Ｓ２０５）。また、そうでない場合（Ｓ２０４：Ｎｏ）、ステップＳ２０２の処理へ進む。
【0059】
【0060】
作業監視装置１００は、判定条件設定部５０を介して受け付けた作業管理者の指示に基づいて、作業者が作業エリア４１０等に存在しているか否かを判定するための判定対象の骨格点を設定（判定条件Ａ）する（Ｓ３０１）。
作業監視装置１００は、判定条件設定部５０を介して受け付けた作業管理者の指示に基づいて、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（姿勢条件）を設定（判定条件Ｂ）する（Ｓ３０２）。
作業監視装置１００は、判定条件Ａと判定条件Ｂを記憶部（データベース）６０に記憶する（Ｓ３０３）。
作業監視装置１００は、判定条件設定部５０を介して受け付けた作業管理者の指示に基づいて、判定対象の骨格点のうち作業中であることを示す当該骨格点の組み合わせ条件（姿勢条件）を設定（判定条件Ｂ）する（Ｓ３０２）。
作業監視装置１００は、判定条件Ａと判定条件Ｂを記憶部（データベース）６０に記憶する（Ｓ３０３）。
【0061】
図１１は、作業監視装置１００が実行する作業中判定（作業者が作業中であるか否かを判定）の処理手順の一例を示すフローチャートである。なお、図１１に示す各処理は、主として画像解析部２０、主制御部９０により実行制御される。
【0062】
作業監視装置１００は、画像解析部２０を介して作業空間画像４００を解析し、判定条件Ａを充足しているか否かを判定する（Ｓ４０１）。作業監視装置１００は、判定条件Ａを充足していないと判定した場合（Ｓ４０１：Ｎｏ）、作業者が作業中でないと判定する（Ｓ４０４）。また、そうでない場合（Ｓ４０１：Ｙｅｓ）、ステップＳ４０２の処理に進む。
【0063】
作業監視装置１００は、画像解析部２０を介して作業空間画像４００を解析し、判定条件Ｂを充足しているか否かを判定する（Ｓ４０２）。作業監視装置１００は、判定条件Ｂを充足していないと判定した場合（Ｓ４０２：Ｎｏ）、作業者が作業中でないと判定する（Ｓ４０４）。また、そうでない場合（Ｓ４０２：Ｙｅｓ）、作業者が作業中であると判定する（Ｓ４０３）。
【0064】
図１２は、判定結果の表示例を説明するための図である。
図１２に示すグラフは一例であり、作業者毎（作業者１～３）に日付、時間、作業中／非作業中などが表示され、作業者毎の作業時間などが把握できるものとなっている。
図１２に示すグラフは一例であり、作業者毎（作業者１～３）に日付、時間、作業中／非作業中などが表示され、作業者毎の作業時間などが把握できるものとなっている。
【0065】
このように、本実施形態に係る作業監視装置１００（作業監視システムＳ）では、作業内容が異なるまたは同じ作業者が複数存在する場合であっても各作業者の作業時間を適切に把握することができる。
【0066】
また、本実施形態に係る作業監視装置１００（作業監視システムＳ）では、作業エリア（領域）を複数設定することが可能になる。そして、設定した作業エリア毎に作業者の骨格点（関節点）を検知することで、複数の作業者それぞれが作業中であるか否かを正確に把握すること、及び、各作業者の作業時間を適切に把握することができるようになる。
【0067】
また、判定対象の骨格点を特定することで、骨格点の一部が作業エリア内に入っていなくても作業中と判定されることを防ぐことができる。つまり判定対象の骨格点が一つでも作業エリア外にある場合には、作業者がエリア外にいる、つまり作業中でないと判定され、各作業者の作業時間を適切に把握することが可能になる。
【0068】
また、判定対象の骨格点全てが作業エリア内にあるとき、作業者が正しい作業の姿勢でなくても作業中と判定してしまうことを防ぐことができる。つまり作業者が正しい作業の姿勢でない場合、作業者は作業中でないと判定され、各作業者の作業時間を適切に把握することが可能になる。
このように作業者の体格・身体的特徴などを加味して作業エリア（領域）と判定対象の骨格点、骨格点の組み合わせ条件（姿勢条件）を設定できるため、より正確に各作業エリア（各領域）における各作業者の作業時間を適切に把握することが可能になる。
このように作業者の体格・身体的特徴などを加味して作業エリア（領域）と判定対象の骨格点、骨格点の組み合わせ条件（姿勢条件）を設定できるため、より正確に各作業エリア（各領域）における各作業者の作業時間を適切に把握することが可能になる。
【0069】
上記説明は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、例えば上述した各実施形態の一部を適宜組み合わせても良い。
【0070】
また、本発明は、情報処理システム、情報処理装置においてなされる各処理の手順を含む方法であっても良い。
また、本発明は、コンピュータに、上述した情報処理システム、情報処理装置においてなされる各処理の手順を実行させるためのコンピュータプログラム、アプリケーションソフトウエアであっても良い。このコンピュータプログラムは、各種記録媒体、あるいはネットワーク、クラウド上のデータベースを介して流布させることが可能なものである。このコンピュータプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有するコンピュータにインストールされることで実行可能となり、上述の情報処理システム、情報処理装置を実現する。また、本発明は、上述した情報処理システム、情報処理装置においてなされる各処理の手順を含む方法であっても良い。
また、本発明は、コンピュータに、上述した情報処理システム、情報処理装置においてなされる各処理の手順を実行させるためのコンピュータプログラム、アプリケーションソフトウエアであっても良い。このコンピュータプログラムは、各種記録媒体、あるいはネットワーク、クラウド上のデータベースを介して流布させることが可能なものである。このコンピュータプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有するコンピュータにインストールされることで実行可能となり、上述の情報処理システム、情報処理装置を実現する。また、本発明は、上述した情報処理システム、情報処理装置においてなされる各処理の手順を含む方法であっても良い。
【0071】
また、本発明は、コンピュータに、上述した情報処理システム、情報処理装置においてなされる各処理の手順を実行させるためのコンピュータプログラムであっても良い。このコンピュータプログラムは、各種記録媒体、あるいはネットワークを介して流布させることが可能なものである。このコンピュータプログラムがＲＯＭなどの記憶装置を有するコンピュータにインストールされることで実行可能となり、上述の情報処理システム、情報処理装置を実現する。
【符号の説明】
【0072】
１０・・・画像取得部、２０・・・画像解析部、２１・・・領域検知部、２２・・・骨格点検知部、３０・・・グラフ表示部、４０・・・領域設定部、５０・・・判定条件設定部、６０・・・記憶部（データベース）、７０・・・グラフ作成部、８０・・・ＩＦ（インタフェース）、９０・・・主制御部、１００・・・作業監視装置、２００・・・カメラ、３００・・・表示装置、４００・・・作業空間画像、４０１・・・作業台、４１０、４２０・・・作業エリア（領域）、５１０・・・骨格点情報、Ｓ・・・作業監視システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
