特開 2024-13123 作業管理装置、作業管理システム、および、作業管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024013123

(43)【公開日】2024-01-31

(54)【発明の名称】作業管理装置、作業管理システム、および、作業管理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240124BHJP

【ＦＩ】

G06T7/00 660B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022115075

(22)【出願日】2022-07-19

(71)【出願人】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】木戸 眞一郎

(72)【発明者】

【氏名】川俣 昌之

(72)【発明者】

【氏名】吉松 健

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096GA51

5L096HA02

5L096HA09

5L096JA11

5L096JA18

(57)【要約】

【課題】複数の異なる作業が同様な姿勢であっても、各作業内容を好適に抽出する。
【解決手段】作業管理装置２は、人物が撮影された映像から当該人物の骨格データ２２を抽出する骨格抽出部２１と、この映像から所定の物体を検出する物体検出部２３４と、この骨格データ２２から人物の姿勢を検出する姿勢検出部２３２と、所定の物体の検出結果と人物の姿勢の検出結果とに基づき、この人物の作業を推定する分析部２３と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物が撮影された映像から当該人物の骨格データを抽出する骨格抽出部と、
前記映像から所定の物体を検出する物体検出部と、
前記骨格データから前記人物の姿勢を検出する姿勢検出部と、
前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する分析部と、
を有することを特徴とする作業管理装置。

【請求項2】

前記分析部は、推定した作業の累計時間を算出する、
ことを特徴とする請求項１に記載の作業管理装置。

【請求項3】

前記物体検出部は、前記骨格データから決定した所定の検出範囲内で前記所定の物体を検出する、
ことを特徴とする請求項１に記載の作業管理装置。

【請求項4】

前記物体検出部は、前記物体の検出において、前記映像中のフレームにおける前記物体の連続検出回数により検出結果をフィルタリングする、
ことを特徴とする請求項３に記載の作業管理装置。

【請求項5】

前記物体検出部は、前記物体の検出において、前記映像中のフレームにおける前記物体の検出結果の多数決により検出結果をフィルタリングする、
ことを特徴とする請求項３に記載の作業管理装置。

【請求項6】

人物が撮影された映像から当該人物の骨格データを抽出する骨格抽出部と、
前記映像から所定の物体を検出する物体検出部と、
前記骨格データから前記人物の姿勢を検出する姿勢検出部と、
前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する分析部、
を有することを特徴とする作業管理システム。

【請求項7】

コンピュータに、
人物が撮影された映像から当該人物の骨格データを抽出する手順、
前記映像から所定の物体を検出する手順、
前記骨格データから前記人物の姿勢を検出する手順、
前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する手順、
を実行するための作業管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業管理装置、作業管理システム、および、作業管理プログラムに関する。

【背景技術】

【0002】

産業分野において、作業者が製品を組み立てる時間であるサイクルタイムの計測と、作業の抜け、または、定常的な作業ではない非定常作業の検知のための作業内容の分析といった処理に対するニーズがある。現在これらの処理は人手で行うことが主流となっている。

【0003】

ここで、作業時間の計測のため、ＰＣ（Personal Computer）操作、バーコード読込、ボタン押下などのように、人が作業の開始と終了を示す何らかの操作を契機としていた。または、ドリルのオン・オフ、スイッチのオン・オフ、装置の稼動を示す電流値などの作業に間接的に係っている装置からデータを取り出すことで、作業時間が計測される場合もある。

【0004】

しかし、これらの計測手段は、新たな設備の追加や作業者への負担増となる。また、本来の業務ではない作業手順を追加して作業時間を計測する際には、実際にはそのような作業が行われず、正確にデータ化できないことが多い。

【0005】

作業者の作業状況をビデオカメラで記録し、人手によってその作業状況を解析することも行われている。しかし、長時間に亘って記録されたビデオカメラの映像から特定の作業者の状況を解析して、記録する作業は長時間に及ぶ。そのため多くの人的コストがかかると共に、限定的な範囲についてしか処理の対象とすることができなかった。

【0006】

近年では、作業者の作業状況をビデオカメラで記録し、情報処理装置がその作業状況を解析することが行われるようになっている。特許文献１には、動作情報登録部が、骨格抽出部によって抽出された対象情報と類似する骨格情報である動作情報が示す動作内容を、対象者が行っている動作内容として特定する発明が記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第６７７７８１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

生産現場では、製品のねじ締結と、製品の組み立てなどのように、同様の姿勢で異なる作業を行うことがある。このような場合、映像から抽出した骨格と姿勢だけでは区別が難しく、よって作業内容が推定できないという問題がある。
そこで、本発明は、人物が行う複数の異なる作業が同様な姿勢であっても、各作業内容を好適に推定することを課題とする。

【課題を解決するための手段】

【0009】

前記した課題を解決するため、本発明の作業管理装置は、人物が撮影された映像から当該人物の骨格データを抽出する骨格抽出部と、前記映像から所定の物体を検出する物体検出部と、前記骨格データから前記人物の姿勢を検出する姿勢検出部と、前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する分析部と、を有することを特徴とする。

【0010】

本発明の作業管理システムは、人物が撮影された映像から当該人物の骨格データを抽出する骨格抽出部と、前記映像から所定の物体を検出する物体検出部と、前記骨格データから前記人物の姿勢を検出する姿勢検出部と、前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する分析部、を有することを特徴とする。

【0011】

本発明の作業管理プログラムは、コンピュータに、人物が撮影された映像から当該人物の骨格データを抽出する手順、前記映像から所定の物体を検出する手順、前記骨格データから前記人物の姿勢を検出する手順、前記所定の物体の検出結果と前記人物の姿勢の検出結果とに基づき、前記人物の作業を推定する手順、を実行するためのものである。
その他の手段については、発明を実施するための形態のなかで説明する。

【発明の効果】

【0012】

本発明によれば、人物が行う複数の異なる作業が同様な姿勢であっても、各作業内容を好適に推定することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に関する作業管理装置の構成図である。

【図2】作業管理装置に入力する映像の一例を示す図である。

【図3】作業管理装置に入力する映像から抽出された骨格データの一例を示す図である。

【図4】骨格データの一例を示す図である。

【図5】領域モデルの一例を示す図である。

【図6】作業管理装置が判定する作業姿勢と、作業者の作業内容を示すタイムチャートである。

【図7A】作業管理処理を示すフローチャートである。

【図7B】作業管理処理を示すフローチャートである。

【図8】作業姿勢とドライバの関連付け処理を示すフローチャートである。

【図9】作業管理装置が表示するリアルタイム画面を示す図である。

【図10】作業管理装置が表示する履歴データ画面を示す図である。

【図11】作業管理装置が表示する認識レポート画面を示す図である。

【発明を実施するための形態】

【0014】

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、本実施形態に関する作業管理装置２の構成図である。
以下では、この作業分析システムを製造業の組み立て現場に導入し、作業者が小型のパソコンを組み立てる作業を分析する場合に適用した一例を説明する。

【0015】

作業分析システムは、作業管理装置２を中心として、カメラ１と、記憶装置１１と、作業管理装置２と、モニタ３１と、記憶装置３２とを含めて構成される。これらの作業分析システムの各装置は、それぞれ、イーサネット（登録商標）などのネットワーク、ＵＳＢ（Universal Serial Bus）やその他、ハードウェア・インタフェースとして使用可能な適切なもので接続される。

【0016】

カメラ１は、作業者を被写体として撮影する。記憶装置１１には、カメラ１で撮影した映像が記録されている。モニタ３１と、記憶装置３２とは、それぞれ作業管理装置２の分析結果の出力先である。つまり、作業管理装置２は、現在の作業中の作業者を撮影した映像データが入力されてもよく、また過去に作業を行った作業者を撮影した映像データが入力されてもよい。

【0017】

作業管理装置２は、例えば、オンプレミスのサーバ、もしくはクラウドサーバのような計算機システムである。作業管理装置２は、ＣＰＵ（Central Processing Unit）と、メモリと、ハードディスクなどの記憶手段（記憶部）と、ネットワークインタフェースとを有するコンピュータとして構成される。このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部により構成される制御部（制御手段）を動作させる。

【0018】

作業管理装置２は、計算機システム上のプログラムを実行することで骨格抽出部２１と、分析部２３と、出力部２８とを構成する。分析部２３は更に、領域検出部２３１と、姿勢検出部２３２と、背景検出部２３３と、物体検出部２３４を備える。

【0019】

分析部２３は、領域モデル２４と、姿勢モデル２５と、物体モデル２６、背景モデル２９１と、組み合わせモデル２９２を参照して、作業者が実行している作業内容を推定する。

【0020】

領域検出部２３１は、領域モデル２４を参照して、予め定められた領域と、作業者の骨格との重なりを検出する。姿勢検出部２３２は、姿勢モデル２５に格納された各姿勢と、映像から抽出された骨格データ２２を参照して、映像データ中の作業者の姿勢を検出する。姿勢モデル２５は、人の各姿勢と、その姿勢の場合における骨格データとの対応関係を記憶している。

【0021】

背景検出部２３３は、背景モデル２９１を参照して映像データから背景を検出する。背景モデル２９１は、背景の各構造物と、その構造物の外観データとの対応関係を記憶している。

【0022】

物体検出部２３４は、物体モデル２６を用いて、映像データから物体を検出する。物体モデル２６は、工具などの物体と、その物体の外観データとの対応関係を記憶している。
これらの検出部にて検出した結果に加え、分析部２３は、組み合わせモデル２９２を参照して、検出結果を組み合わせて、作業員が実施している作業内容を推定する。組み合わせモデル２９２は、作業員が実施する各作業内容と、その作業内容を示す各検出部の検出結果との組み合わせの対応関係を記憶している。

【0023】

これらの構成された各処理部は、ハードディスクなどの不揮発メモリ上に蓄えられる骨格データ２２または推定結果データ２７にアクセスする。

【0024】

骨格抽出部２１は、カメラ１または記憶装置１１から入力された映像データをもとに、この映像データに撮影されている人物の骨格データ２２を抽出する。分析部２３は、分析用の映像データと、分析用の骨格データ２２とを入力として、作業員が実行する作業を推定した推定結果データ２７を求める。出力部２８は、推定結果データ２７を外部装置であるモニタ３１と、記憶装置３２に出力する。

【0025】

物体検出部２３４は、機械学習モデルを利用して、映像データを構成する各フレームから物体を検出する。ここで検出する物体は、説明上、ドライバなど作業に用いる工具としているが、画像上に映っている物体/模様などであればよく、限定されない。物体検出部２３４は、後記する図２のフレームデータ４などから物体の位置と種類を検出する。物体検出部２３４が物体を検出する範囲は、フレーム全面だけでなく、指定した骨格を基準にした領域内とするとよい。例えば、作業者の手が届く範囲とし、作業者の把持できる範囲に制限して物体の検出を行うなどである。具体的に言うと、本実施形態の物体検出部２３４は、骨格データ２２から決定した両手首近傍の検出範囲内で、所定の物体であるドライバを検出する。この範囲の制限により、物体検出部２３４は、物体の検出を高速化できると共に、物体の誤検出を抑制できる。

【0026】

物体検出部２３４は、物体モデル２６の機械学習の結果を用いて、物体を検出した座標と確からしさを示すスコアを取得する。物体検出部２３４は、事前に定めた閾値により、明らかにスコアが低い検出結果を結果から除外する。また、物体検出部２３４は、複数の連続する画像フレームで物体を検出した連続検出回数が閾値以上である条件を満たしたものを検出と判定したり、多数決などによる検出結果のフィルタリングを実施したりすることで、誤検知を抑制し、更に検出がフレーム毎にちらつくことを防ぐ。

【0027】

物体検出部２３４は、作業者の把持する物体を検出するなど、指定した骨格を基準にした領域内で物体を検出する。しかし、作業者の身体や作業スペースにより物体の一部が隠れることが多い。一部が隠れる場合は、検出精度が低下し、作業時間の計測が困難になる。そこで、物体検出部２３４が、例えばプラスドライバまたはマイナスドライバを検出した際、同じ作業姿勢を取っている時間を、ネジ締結の作業と推定する。抽出したドライバの位置は、画像に重畳表示される。そして、作業時間は、グラフ化して出力される。

【0028】

図２は、作業管理装置２に入力する映像の一例を示す図である。
フレームデータ４は、人物が写っている動画像において、画像フレームごとに１つ生成される。このフレームデータ４に写っている人物は、電子装置を手元に持っており、未だドライバを手にしていない。

【0029】

図３は、作業管理装置２に入力する映像から抽出された骨格４１と、予め設定された部品取り領域４２、工具領域４３、完成品格納領域４４の一例を示す図である。
骨格４１は、骨格抽出部２１がフレームデータ４から人物の骨格情報を抽出した結果を、このフレームデータ４に重畳表示したものであり、各特徴点を線で結んで示している。骨格抽出部２１は、OpenPose（URL＝https://github.com/CMU-Perceptual-Computing-Lab/openpose）などの公知の骨格情報取得技術を使用することができる。

【0030】

部品取り領域４２は、部品が置かれている領域をこのフレームデータ４に重畳表示したものである。分析部２３は、この部品取り領域４２と所定の骨格データ２２とが重なったときに、作業員の作業状態が「部品取り」であると推定する。
工具領域４３は、工具が置かれる領域をこのフレームデータ４に重畳表示したものである。分析部２３は、この工具領域４３に工具が存在しているときに、作業員は未だこの工具を持っていないと推定する。

【0031】

完成品格納領域４４は、完成品が格納される領域をこのフレームデータ４に重畳表示したものである。分析部２３は、この完成品格納領域４４と所定の骨格データ２２とが重なったときに、作業員の一連の作業状態が「終了」であると推定する。

【0032】

図４は、骨格データ２２の一例を示す図である。
骨格データ２２は、番号欄と、特徴点欄と、Ｘ軸座標欄と、Ｙ軸座標欄と、スコア欄とを含んで構成される。各行には、人物の関節点などである特徴点が格納される。番号欄は、例えば、鼻は０、右肩は１、右肘は２などのように、各特徴点に１つずつ固有の番号が割り当てられている。特徴点欄は、この特徴点の名前を格納している。Ｘ軸座標欄は、この特徴点のフレームデータ４におけるＸ軸の座標値を格納している。Ｙ軸座標欄は、この特徴点のフレームデータ４におけるＹ軸の座標値を格納している。スコア欄は、この特徴点の確からしさを表す数値を格納している。

【0033】

図５は、領域モデル２４の一例を示す図である。
領域モデル２４は、領域ラベル欄と、特徴点番号欄と、判定論理欄と、多角形座標欄とを含んで構成される。領域ラベル欄は、この領域の名前を格納する欄である。特徴点番号欄は、骨格データ２２の特徴点の番号を1つ、または複数格納する欄である。特徴点番号欄で指定された特徴点が、多角形座標欄で指定された領域に入った場合、分析部２３は、その特徴点が領域に入ったことを検知する。

【0034】

判定論理欄は、特徴点番号欄が複数であるとき、これら番号を有する特徴点がこの領域に進入したことを判定する論理を示している。多角形座標欄は、この領域を示す多角形の座標値を格納する欄である。

【0035】

例えば、領域モデル２４の第１行は、図３の部品取り領域４２として、作業者の骨格データ２２の特徴点番号（＃３は右手首、＃６は左手首を示す）のうち何れか（論理和）が多角形（四角形）座標データ（４つの頂点座標）内に存在したときに、組み立てるパソコンの部品を作業者が取ったと認識される。

【0036】

なお、判定論理の「論理積」は特徴点番号の論理積による判定（例えば両手）を示し、「論理和」は特徴点番号の論理和による判定（例えば片手）を示す。つまり、作業者の片手首が部品取り領域４２に入ったら、「部品取り領域に手が入る」という領域判定が行われる。

【0037】

領域モデル２４の第２行は、図３の完成品格納領域４４として、作業者の骨格データ２２の特徴点番号（＃３は右手首、＃６は左手首を示す）のうち何れか（論理和）が多角形（四角形）座標データ（４つの頂点座標）内に存在したときに、組み立てた完成品を作業者が格納したと認識される。

【0038】

領域モデル２４の第３行は、図３の工具領域４３として、作業者の骨格データ２２の特徴点番号（＃３は右手首、＃６は左手首を示す）の両方（論理積））が多角形（四角形）座標データ（４つの頂点座標）内に存在したときに、ドライバを作業者が取ったか、または作業者がドライバを戻したと認識される。

【0039】

図６は、作業管理装置２が判定する作業姿勢と、作業者の作業内容を示すタイムチャートである。
「姿勢」の右側の棒グラフは、時刻ｔ１からｔ４と、時刻ｔ５からｔ６に姿勢検出部２３２が検出した作業者の姿勢が、作業姿勢であることを示している。

【0040】

「ドライバ検出」の右側の棒グラフは、時刻ｔ２からｔ３に、物体検出部２３４が、作業者の右手首または左手首の近傍にドライバを検出したことを示している。
「作業」の右側の棒グラフは、分析部２３が推定した作業員の作業内容を示している。時刻ｔ１からｔ４は、作業としてネジ締結が推定されている。これは時刻ｔ１からｔ４の一部にて、作業員の手首の近傍にドライバを検出したためである。これに対し、時刻ｔ５からｔ６までは、ドライバを検出していないためネジ締結とは推定されていない。

【0041】

図７Ａと図７Ｂは、作業管理処理を示すフローチャートである。
骨格抽出部２１は、映像データを構成する画像フレームを取得する（ステップＳ１１）。そして、骨格抽出部２１は、取得した画像フレーム中の作業者の骨格データ２２を取得する（ステップＳ１２）。

【0042】

その後、分析部２３は、並行に検出処理を実施する。具体的にいうと、領域検出部２３１は、領域モデル２４に基づき、画像フレーム中の領域を検出する（ステップＳ１３）。
姿勢検出部２３２は、姿勢モデル２５に基づき、骨格データ２２から姿勢を検出する（ステップＳ１４）。ここで姿勢検出部２３２は、検出した姿勢のスコア（確からしさ）を算出する。スコアが閾値以上であれば、その姿勢を検出したと見做し、検出を示す文字列（ラベル）を出力する。

【0043】

背景検出部２３３は、背景モデル２９１に基づき、画像フレームから背景を検出する（ステップＳ１５）。ここで背景検出部２３３は、検出した背景のスコア（確からしさ）を算出する。スコアが閾値以上であれば、その背景を検出したと見做し、検出を示す文字列（ラベル）を出力する。

【0044】

物体検出部２３４は、物体モデル２６と骨格データ２２に基づき、画像フレームから物体を検出する（ステップＳ１６）。ここで物体検出部２３４は、検出した物体のスコア（確からしさ）を算出する。スコアが閾値以上であれば、その物体を検出したと見做し、検出を示す文字列（ラベル）を出力する。物体検知については、物体モデル２６に特徴点を定義しているため、予め抽出した骨格データ２２の座標に応じて物体検出の範囲を設定して検出する。これらの検出処理が終了すると、ステップＳ１７に進む。

【0045】

ステップＳ１７にて、分析部２３は、過去の検出回数によるフィルタ処理を実施して、検出した領域と姿勢と背景と物体のちらつきを抑制する。そして分析部２３は、領域と姿勢と背景と物体の検出時間を算出する（ステップＳ１８）。
そして、分析部２３は、これらの算出した検出時間を基に、作業を推定する。具体的にいうと、分析部２３は、これら検出結果の組み合わせ処理を実施する（ステップＳ１９）。

【0046】

分析部２３は、検出結果の組み合わせ処理において、組み合わせモデル２９２として定義したデータに基づき、算出した検出結果を組み合わせて演算し、作業員が実施している作業内容を推定する。

【0047】

組み合わせモデル２９２には、例えば部品取り領域に手が入ったことの検出と、部品を取る姿勢をしていることの検出との論理積と、開始作業との組み合わせが格納されている。更に組み合わせモデル２９２には、作業姿勢の検出と、ドライバを手首近傍における検出との論理積と、ねじ締結作業との組み合わせが格納されている。

【0048】

分析部２３は、例えば、領域検出で部品が置かれている場所である部品取り領域に手が入ったことの検出と、姿勢検出で部品を取る姿勢をしていることの検出との論理積を行った結果、真であれば開始作業を行っていると見做す。

【0049】

図８は、作業姿勢とドライバとの関連付け処理を示すフローチャートである。
分析部２３は、物体検出部２３４がドライバを検出したか否かを判定する（ステップＳ３０）。分析部２３は、物体検出部２３４がドライバを検出しなかったならば（Ｎｏ）、図８の処理を終了し、物体検出部２３４がドライバを検出していたならば（Ｙｅｓ）、ステップＳ３１に進む。

【0050】

次に分析部２３は、姿勢検出部２３２が作業姿勢を検出したか否かを判定する（ステップＳ３１）。分析部２３は、作業姿勢を検出しなかったならば（Ｎｏ）、図８の処理を終了し、作業姿勢を検出したならば（Ｙｅｓ）、ステップＳ３２に進む。

【0051】

ステップＳ３２にて、分析部２３は、作業姿勢の検出時間と同じ作業時間を、ねじ締め作業時間とすると、図８の処理を終了する。分析部２３は、検出した結果について、論理演算での検出有無を算出することに加えて、作業時間についても、論理和または論理積での演算を行うことができる。

【0052】

なお、物体検出部２３４が検出するのはドライバに限られず、筆またはエアーガン、半田ごて、スパナなどであってもよい。分析部２３が推定する作業内容は、ねじ締結に限られず、筆またはエアーガンを検出したときの塗装作業、半田ごてを検出したときの半田づけ作業、スパナを検出したときのボルト締結作業などであってもよい。

【0053】

図７Ｂに戻り説明を続ける。分析部２３は、最新の画像フレームから推定した作業状態が開始作業で有るか否かを判定する（ステップＳ２０）。分析部２３は、開始作業ならば（Ｙｅｓ）、作業時間の計測を開始して（ステップＳ２１）、ステップＳ２４に進む。分析部２３は、開始作業では無いならば（Ｎｏ）、ステップＳ２２に進む。

【0054】

ステップＳ２２にて、分析部２３は、最新の画像フレームから推定した作業状態が終了作業で有るか否かを判定する（ステップＳ２２）。分析部２３は、終了作業ならば（Ｙｅｓ）、作業時間の計測を終了して（ステップＳ２３）、ステップＳ２４に進む。分析部２３は、終了作業では無いならば（Ｎｏ）、ステップＳ２４に進む。

【0055】

ステップＳ２４にて、分析部２３は、作業順序を確認する。例えば分析部２３は、予め定められた作業順序から逸脱した作業について、その旨を作業属性として記録するとよい。これにより、分析部２３は、予め定められた作業順序に沿った作業と、予め定められた作業順序から逸脱した作業を区別して表示することができる。

【0056】

そして分析部２３は、途中結果を出力する（ステップＳ２５）。そして、分析部２３は、未処理のフレームが有るか否かを判定する（ステップＳ２６）。分析部２３は、未処理のフレームが有るならば（Ｙｅｓ）、ステップＳ１１の処理に戻り、全てのフレームを処理したならば（Ｎｏ）、ステップＳ２７に進む。
ステップＳ２７にて、分析部２３は、推定結果データ２７を出力すると、図７Ａと図７Ｂの処理を終了する。
図７Ａと図７Ｂのフローチャートで説明したように、分析部２３は、ドライバの検出結果と作業者の姿勢の検出結果とに基づき、この作業者が行っている作業を推定する。これにより、作業員が行う複数の異なる作業が同様な姿勢であっても、各作業内容を好適に抽出できる。

【0057】

図９は、作業管理装置２が表示するリアルタイム画面５を示す図である。
図９に示したリアルタイム画面５は、分析の実行、中断、停止と、分析した結果を示す画面である。出力部２８が、このリアルタイム画面５をモニタ３１に表示する。リアルタイム画面５は、実行ボタン５１と、ポーズボタン５２と、停止ボタン５３と、映像表示領域５６と、状態表示欄５４と、状態累計時間グラフ５５と、状態タイムチャート５７とを含んで表示される。

【0058】

映像表示領域５６は、入力した映像データに分析結果を重畳して表示する領域である。実行ボタン５１は、分析の実行を行うためのものである。ポーズボタン５２は、分析の実行にポーズを掛けるものである。停止ボタン５３は、分析の実行を停止させるものである。

【0059】

状態表示欄５４は、現在の分析状況を示す欄であり、作業の開始、終了や主な作業の実施状況を表示する。状態累計時間グラフ５５は、分析中の映像における作業の累計時間を示す棒グラフである。状態タイムチャート５７は、直近で分析した結果をタイムチャートで示す。

【0060】

図１０は、作業管理装置２が表示する履歴データ画面６を示す図である。
履歴データ画面６は、分析結果示す各タイムチャートを含んでいる。
状態タイムチャート６０は、各時間における分析結果のスコア（確からしさ）に基づいて、総合的に判定した状態を示すタイムチャートである。

【0061】

「開始」タイムチャート６１は、各時間における映像の被写体の「開始」状態のスコアに基づいて判定した状態を示すタイムチャートである。ここで分析部２３は、被写体の骨格が部品取り領域４２と重なっており、かつ未だ作業が開始されていないときに、「開始」状態のスコアが高いと判定する。

【0062】

「部品を取る」タイムチャート６２は、各時間における映像の被写体の「部品を取る」状態のスコアに基づいて判定した状態を示すタイムチャートである。ここで分析部２３は、被写体の骨格が部品取り領域４２と重なっており、かつ作業が開始されているときに、「開始」状態のスコアが高いと判定する。

【0063】

「ドライバ使用中」タイムチャート６３は、各時間における映像の被写体の「ドライバ使用中」状態のスコアに基づいて判定した状態を示すタイムチャートである。

【0064】

「ドライバ未使用」タイムチャート６４は、各時間における映像の被写体の「ドライバ未使用」状態のスコアに基づいて判定した状態を示すタイムチャートである。
「ネジ締め」タイムチャート６５は、各時間における映像の被写体の「ネジ締め」状態のスコアに基づいて判定した状態を示すタイムチャートである。

【0065】

「右向き」タイムチャート６６は、各時間における映像の被写体の「右向き」状態のスコアに基づいて判定した状態を示すタイムチャートである。
「左向き」タイムチャート６７は、各時間における映像の被写体の「左向き」状態のスコアに基づいて判定した状態を示すタイムチャートである。

【0066】

「終了」タイムチャート６８は、各時間における映像の被写体の「終了」状態のスコアに基づいて判定した状態を示すタイムチャートである。
「部品を置く」タイムチャート６９は、各時間における映像の被写体の「部品を置く」状態のスコアに基づいて判定した状態を示すタイムチャートである。

【0067】

図１１は、作業管理装置２が表示する認識レポート画面７を示す図である。
認識レポート画面７には、凡例７０と、ラベル７１と、積み上げ棒グラフ７２と、場所欄７３と、日時欄７４とを含んで表示している。

【0068】

積み上げ棒グラフ７２は、分析部２３が認識した姿勢に基づく作業の累計時間を示すものである。ここで４本の積み上げ棒グラフ７２は、９時から１０時３０分、１０時５０分から１２時２０分、１３時２０分から１４時５０分、１５時２０分から１６時５０分の各時間帯における各作業の累計時間を示している。

【0069】

ラベル７１は、積み上げ棒グラフ７２に表示する作業を選択するものである。凡例７０は、積み上げ棒グラフ７２に表示された表示態様と、その表示態様が示す作業との関係を示すものである。場所欄７３は、認識レポート画面７の対象となる場所を示すものである。日時欄７４は、認識レポート画面７の対象となる日時を示すものである。ここでは４本の積み上げ棒グラフにより、それぞれの日における作業の累計時間を示している。棒グラフは場所や年月日ごとなど、指定する単位で表示できる。

【0070】

この認識レポート画面７によれば、作業の管理者は、各作業者の作業の累計時間を容易に把握できる。

【0071】

《変形例》
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

【0072】

上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。

【0073】

各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0074】

１ カメラ
１１ 記憶装置
２ 作業管理装置
２１ 骨格抽出部
２３ 分析部
２３１ 領域検出部
２３２ 姿勢検出部
２３３ 背景検出部
２３４ 物体検出部
２４ 領域モデル
２５ 姿勢モデル
２６ 物体モデル
２２ 骨格データ
２７ 推定結果データ
２８ 出力部
３１ モニタ
３２ 記憶装置
４ フレームデータ
４１ 骨格
４２ 部品取り領域
４３ 工具領域
４４ 完成品格納領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】