特開 2023-41969 作業分析装置および作業分析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023041969

(43)【公開日】2023-03-24

(54)【発明の名称】作業分析装置および作業分析方法

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20230316BHJP

【ＦＩ】

G06Q50/04

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023016323

(22)【出願日】2023-02-06

(62)【分割の表示】P 2018094271の分割

【原出願日】2018-05-16

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】里 雄二

(57)【要約】

【課題】対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができるようにする。
【解決手段】映像の各フレーム画像から作業者の関節位置を推定して、その推定結果に基づいて、各フレーム画像における作業者の姿勢がトリガ姿勢に該当するか否かを判定して姿勢検知情報を記憶し、その姿勢検知情報に基づいて、作業者の作業状況に関する分析として、作業時間および滞留時間を計測する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、
前記プロセッサは、
前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、
前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、
前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成することを特徴とする作業分析装置。

【請求項2】

前記プロセッサは、
学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、
前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行うことを特徴とする請求項１に記載の作業分析装置。

【請求項3】

前記プロセッサは、
熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得することを特徴とする請求項１に記載の作業分析装置。

【請求項4】

前記プロセッサは、
複数の作業者ごとに前記定型姿勢の判定を行い、
その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、
その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成することを特徴とする請求項１から請求項３のいずれかに記載の作業分析装置。

【請求項5】

前記プロセッサは、
作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、
判定した定形姿勢に応じた前記分析情報を生成することを特徴とする請求項１から請求項４のいずれかに記載の作業分析装置。

【請求項6】

作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、
前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、
前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、
前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成することを特徴とする作業分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法に関するものである。

【背景技術】

【0002】

工場では、作業者の作業状況を分析して、その分析結果に基づいて、作業の手順などを見直すことで、作業効率の向上を図ることができる。このため、作業者の作業状況に関する分析を効率的に行うことができる技術が望まれる。

【0003】

このような作業者の作業状況を分析する技術として、従来、作業者が作業している様子をカメラで撮影し、その撮影した画像内の所定の位置に所定の画像パターンが存在する画像を抽出し、その抽出した画像が撮影されたタイミングを工程の区切りと判断して、抽出した画像の時間間隔を作業時間として計測する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２４３８４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、従来の技術では、作業に関係する物体（例えば瓶）が画像内の決まった位置に決まった状態で出現することに着目して、分析を行うようにしているが、物体の持ち方は作業者に応じて異なるため、画像パターンおよびその出現位置を作業者ごとに逐一指定しないと、精度の高い処理を行うことができない。このため、対象となる作業者がかなりの人数に達する場合には、分析のための管理者の設定業務に膨大な手間を要するという問題があった。

【0006】

そこで、本発明は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる作業分析装置および作業分析方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。

【0008】

また、本発明の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。

【発明の効果】

【0009】

本発明によれば、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る作業分析システムの全体構成図

【図2】サーバ３で行われる分析処理の概要を示す説明図

【図3】サーバ３で行われるトリガ姿勢検知の概要を示す説明図

【図4】サーバ３の概略構成を示すブロック図

【図5】サーバ３の姿勢学習部２１の概略構成を示すブロック図

【図6】管理者端末４に表示されるアノテーション情報設定画面を示す説明図

【図7】サーバ３で行われる姿勢学習処理の手順を示すフロー図

【図8】サーバ３の姿勢検知部２２の概略構成を示すブロック図

【図9】サーバ３の分析部２３の概略構成を示すブロック図

【図10】サーバ３の分析結果可視化部２４の概略構成を示すブロック図

【図11】管理者端末４に表示される分析結果表示画面を示す説明図

【図12】サーバ３で行われる姿勢検知処理および分析処理の手順を示すフロー図

【図13】第１の変形例に係る分析部２３の概略構成を示すブロック図

【図14】第１の変形例に係る分析結果表示画面を示す説明図

【図15】第２の変形例に係る分析部２３の概略構成を示すブロック図

【図16】第２の変形例に係る分析結果としての統計情報を示す説明図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。

【0012】

これによると、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。

【0013】

また、第１の発明は、前記プロセッサは、学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行う構成とする。

【0014】

これによると、関節位置の推定および定型姿勢の判定を精度よく行うことができる。なお、機械学習は、作業分析装置とは別の装置で行うようにしてもよい。

【0015】

また、第３の発明は、前記プロセッサは、熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得する構成とする。

【0016】

これによると、各作業者の作業効率性の評価結果を管理者に提示することができる。このため、管理者が、各作業者の作業効率性を容易に把握することができる。

【0017】

また、第４の発明は、前記プロセッサは、複数の作業者ごとに前記定型姿勢の判定を行い、その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成する構成とする。

【0018】

これによると、作業者ごとの作業状況を管理者が容易に比較することができる。

【0019】

また、第５の発明は、前記プロセッサは、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、判定した定形姿勢に応じた前記分析情報を生成する構成とする。

【0020】

これによると、分析の精度を向上させ、また、多様な分析が可能になる。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、作業中の工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。

【0021】

また、第６の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定して姿勢検知情報を記憶し、前記姿勢検知情報に基づいて、作業者が持ち場にいるか否かを判定し、前記分析情報として、作業者が持ち場にいた滞留時間を取得すると共に、前記持ち場で作業者が実際に作業していた作業時間を取得し、前記映像に対応させて、少なくとも前記滞留時間および前記作業時間に関する情報が含まれた分析結果表示情報を生成する構成とする。

【0022】

これによると、第１の発明と同様に、作業者の作業の様子を撮影した映像に対応させて滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができ、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。

【0023】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0024】

図１は、本実施形態に係る作業分析システムの全体構成図である。

【0025】

この作業分析システムは、工場などにおける作業者の作業状況を分析して、その分析結果を管理者に提示するものであり、カメラ１と、レコーダ２と、サーバ３（作業分析装置）と、管理者端末４と、を備えている。

【0026】

カメラ１は、作業者が持ち場で作業を行う様子を撮影する。

【0027】

レコーダ２は、カメラ１から出力される映像を録画する。

【0028】

サーバ３は、カメラ１またはレコーダ２から映像を取得して、その映像に基づいて、作業者の作業状況に関する分析を行って、その分析結果を出力する。

【0029】

管理者端末４は、システム管理者や作業管理者が使用するものであり、ＰＣやタブレット端末などで構成される。この管理者端末４では、サーバ３で行われる処理に関する各種の設定の操作をシステム管理者が行う。また、管理者端末４では、サーバ３から出力される分析結果を表示して作業管理者が閲覧する。

【0030】

なお、サーバ３で行われる処理は、撮影と同時に行うリアルタイム処理でも、撮影後に行う事後処理でもよい。リアルタイム処理を行う場合には、カメラ１とサーバ３と管理者端末４とをネットワーク接続すればよい。また、事後処理のみを行う場合には、適宜な記憶媒体を介して、レコーダ２に蓄積した映像をサーバ３に転送するようにしてもよい。

【0031】

次に、サーバ３で行われる分析処理について説明する。図２は、分析処理の概要を示す説明図である。

【0032】

サーバ３では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者が持ち場（担当エリア）にいるか否かを判定し、その判定結果に基づいて、作業者が持ち場にいる時間（滞留時間）を計測する。

【0033】

具体的には、映像に作業者が出現すると、作業者が持ち場にいるものと判断して、映像から作業者を検出できない不在状態から、映像から作業者を検出できる滞留状態に変化したタイミングを滞留開始時刻とし、滞留状態から不在状態に変化したタイミングを滞留終了時刻として、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。

【0034】

また、サーバ３では、映像の各フレーム画像において、作業者が所定のトリガ姿勢（定型姿勢）をとったか否かを判定し、その判定結果に基づいて、持ち場で作業者が実際に作業している時間（作業時間）を計測する。

【0035】

本実施形態では、挙手をトリガ姿勢としており、作業者は、作業を開始する際に挙手し、また、作業を終了した際に挙手する。そして、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻とし、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。

【0036】

なお、本実施形態では、作業者が作業開始時と作業終了時とで同一のトリガ姿勢（挙手）をとるようにしたが、作業開始時と作業終了時とで異なるトリガ姿勢をとるようにしてもよい。また、複数の工程の作業を順次行う場合には、工程の区切りとなるタイミング、例えば、各工程の作業を開始する際に、作業者がトリガ姿勢をとるようにしてもよい。

【0037】

次に、サーバ３で行われるトリガ姿勢検知について説明する。図３は、トリガ姿勢検知の概要を示す説明図である。

【0038】

本実施形態では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者の身体の関節位置を推定して、その関節位置に基づいて、作業者の姿勢がトリガ姿勢（挙手）に該当するか否かを判定する。

【0039】

図３に示す例では、作業者の下半身が隠れて見えないため、作業者の上半身に８つの関節位置（頭頂部、首、両肩、両肘、および両手首）が設定されている。なお、作業者の全身が映る場合には、上半身の８つの関節位置の他に、下半身の６つの関節位置（両股関節、両膝、および両足首）を加えて、合計で１４個の関節位置を設定するようにしてもよい。

【0040】

なお、本実施形態では、挙手をトリガ姿勢としたが、トリガ姿勢は挙手に限定されない。例えば、直立姿勢をトリガ姿勢としてもよい。また、このような作業と直接関係ない姿勢ではなく、作業中に作業者が必ずとる姿勢をトリガ姿勢としてもよい。例えば、溶接作業において作業者がフェイスガード用のマスクを顔に近づけた時の姿勢をトリガ姿勢としてもよい。また、計器を指差し確認する時の姿勢をトリガ姿勢としてもよい。また、部品ケースから部品を取り出す時の姿勢をトリガ姿勢としてもよい。

【0041】

また、トリガ姿勢を複数設定して、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定して、検知された定形姿勢に応じた分析を行うようにしてもよい。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。

【0042】

次に、サーバ３の概略構成について説明する。図４は、サーバ３の概略構成を示すブロック図である。

【0043】

サーバ３は、映像入力部１１と、画面出力部１２と、記憶部１３と、制御部１４と、を備えている。

【0044】

映像入力部１１では、リアルタイム処理の場合には、カメラ１で撮影された映像が入力され、事後処理の場合にはレコーダ２で録画された映像が入力される。

【0045】

画面出力部１２では、制御部１４で生成した分析結果表示画面が出力され、管理者端末４に分析結果表示画面が表示される。

【0046】

記憶部１３は、制御部１４を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部１３は、映像入力部１１で取得した映像（学習用の映像および分析用の映像）を記憶する。また、記憶部１３は、制御部１４で生成した関節位置推定モデルおよび姿勢クラス推定モデル（学習情報）、姿勢検知情報、および分析情報を記憶する。

【0047】

制御部１４は、姿勢学習部２１と、姿勢検知部２２と、分析部２３と、分析結果可視化部２４と、を備えている。この制御部１４は、プロセッサで構成され、制御部１４の各部は、記憶部１３に記憶されたプログラムをプロセッサで実行することで実現される。

【0048】

姿勢学習部２１では、学習用の映像を用いた機械学習により、関節位置推定モデル（関節位置推定用の学習情報）および姿勢クラス推定モデル（定型姿勢判定用の学習情報）を生成する。

【0049】

姿勢検知部２２では、姿勢学習部２１で取得した関節位置推定モデルおよび姿勢クラス推定モデルを用いて、分析用の映像から作業者の関節位置を推定して、その推定結果に基づいて、作業者がトリガ姿勢をとっているか否かを判定して、関節位置の推定結果およびトリガ姿勢の判定結果を含む姿勢検知情報を取得する。

【0050】

分析部２３では、姿勢検知部２２で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成する。

【0051】

分析結果可視化部２４では、分析部２３で取得した分析情報を可視化して管理者に提示する。本実施形態では、分析結果表示画面を生成して管理者端末４に表示する。

【0052】

次に、サーバ３の姿勢学習部２１について説明する。図５は、姿勢学習部２１の概略構成を示すブロック図である。

【0053】

姿勢学習部２１は、学習用の映像を用いた機械学習により、関節位置推定モデルおよび姿勢クラス推定モデルを生成するものであり、映像取得部３１と、アノテーション部３２と、学習部３３と、出力部３４と、を備えている。

【0054】

映像取得部３１では、学習用の映像を記憶部１３から取得する。なお、学習用の映像は、代表者として選出した作業者の作業状況をカメラ１で予め撮像したものである。

【0055】

アノテーション部３２では、管理者の操作入力に応じて、学習用の映像の各フレーム画像に対して、作業者の関節位置と、トリガ姿勢であるか否かを表す姿勢クラスラベルと、を設定して、アノテーション情報を生成する。なお、このアノテーション情報は、関節位置および姿勢クラスラベルを、各フレーム画像のＩＤ（フレーム番号）に対応付けたものである。

【0056】

本実施形態では、まず、事前に作成された関節位置推定モデルを用いて、学習用の映像の各フレーム画像に対して関節位置を推定する処理を行い、この関節位置推定で取得した関節位置に誤りがあれば、管理者に関節位置を修正する操作を行わせて、正しい関節位置を設定する。

【0057】

学習部３３では、学習用の映像と、アノテーション部３２で取得したアノテーション情報とを用いて、機械学習（ディープラーニング）を行い、関節位置推定モデルおよび姿勢クラス推定モデルを生成する。関節位置推定モデルは、学習用の映像の各フレーム画像と、そのフレーム画像に映る作業者の関節位置とを入力情報として、この入力情報から、出力情報としての関節位置を推定するニューラルネットワークである。姿勢クラス推定モデルは、関節位置を入力情報として、この入力情報から、出力情報としての姿勢クラスを推定する時系列ニューラルネットワークである。なお。この機械学習には、公知の技術を用いればよい。

【0058】

出力部３４では、学習部３３で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部１３に記憶する。

【0059】

次に、管理者端末４に表示されるアノテーション情報設定画面について説明する。図６は、アノテーション情報設定画面を示す説明図である。

【0060】

管理者端末４では、アノテーション情報（学習用の映像における関節位置および姿勢クラスラベル）を設定するためのアノテーション情報設定画面が表示される。

【0061】

このアノテーション情報設定画面には、画像表示部４１が設けられている。この画像表示部４１には、学習用の映像のフレーム画像４２が表示される。また、画像表示部４１では、フレーム画像４２上に作業者の関節位置を表すマーク４３が表示される。この画面の初期状態では、予め作成した関節位置推定モデルを用いた関節位置推定で取得した関節位置に対応するマーク４３が表示される。

【0062】

また、このアノテーション情報設定画面には、「次の関節」のボタン４４と、「次の画像」のボタン４５と、が設けられている。画像表示部４１に表示された全ての関節位置が適切であれば、「次の画像」のボタン４５を管理者が操作して、次のフレーム画像の確認に進む。一方、適切でない関節位置がある場合には、「次の関節」のボタン４４を管理者が操作して、修正対象となるマーク４３を選択状態として、マウスなとの入力デバイスを操作して適切な位置を管理者が指定する。

【0063】

また、このアノテーション情報設定画面には、クラスラベル指定部４６が設けられている。このクラスラベル指定部４６では、フレーム画像４２に映る作業者がトリガ姿勢をとっているか否か（姿勢クラスラベル）を指定する。具体的には、作業者がトリガ姿勢をとっていない場合には「０」を選択し、作業者がトリガ姿勢をとっている場合には「１」を選択する。

【0064】

次に、サーバ３で行われる姿勢学習処理の手順について説明する。図７は、姿勢学習処理の手順を示すフロー図である。

【0065】

サーバ３の姿勢学習部２１では、まず、映像取得部３１において、学習用の映像を記憶部１３から取得して、全てのフレーム画像を処理したか否かを判定する（ＳＴ１０１）。

【0066】

ここで、全てのフレーム画像を処理していない場合には（ＳＴ１０１でＮｏ）、アノテーション部３２において、管理者の操作入力に応じて、対象となるフレーム画像に対して関節位置を設定する（ＳＴ１０２）。また、管理者の操作入力に応じて、対象となるフレーム画像に対して姿勢クラスラベルを設定する（ＳＴ１０３）。そして、ＳＴ１０１に戻る。

【0067】

一方、全てのフレーム画像を処理した場合には（ＳＴ１０１でＹｅｓ）、学習部３３において、アノテーション情報、すなわち、学習用の映像の各フレーム画像における関節位置および姿勢クラスラベルに基づいて、機械学習を行う（ＳＴ１０４）。次に、出力部３４において、学習結果、すなわち、学習部３３で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部１３に保存する（ＳＴ１０５）。

【0068】

次に、サーバ３の姿勢検知部２２について説明する。図８は、姿勢検知部２２の概略構成を示すブロック図である。

【0069】

姿勢検知部２２は、分析用の映像の各フレーム画像から、作業者のトリガ姿勢を検知するものであり、映像取得部５１と、関節位置推定部５２と、トリガ姿勢判定部５３と、出力部５４と、を備えている。

【0070】

映像取得部５１では、分析用の映像を記憶部１３から取得する。

【0071】

関節位置推定部５２では、記憶部１３に記憶された関節位置推定モデルを用いて、分析用の映像の各フレーム画像から作業者を検出して、その作業者の身体の関節位置を推定する。

【0072】

トリガ姿勢判定部５３では、記憶部１３に記憶された姿勢クラス推定モデルを用いて、関節位置推定部５２で取得した各フレーム画像における作業者の関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定する。なお、複数のフレーム画像での関節位置に基づいて判定するようにしてもよい。

【0073】

出力部５４では、関節位置推定部５２で取得した関節位置と、トリガ姿勢判定部５３の判定結果、すなわち、作業者がトリガ姿勢をとっているか否かを表す姿勢クラスラベルと、を姿勢検知情報として記憶部１３に記憶する。なお、この姿勢検知情報は、関節位置および姿勢クラスラベルを、各フレーム画像のＩＤ（フレーム番号）に対応付けるものである。

【0074】

次に、サーバ３の分析部２３について説明する。図９は、分析部２３の概略構成を示すブロック図である。

【0075】

分析部２３は、姿勢検知部２２で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成するものであり、姿勢検知結果取得部６１と、作業時間計測部６２と、滞留時間計測部６３と、出力部６４と、を備えている。

【0076】

姿勢検知結果取得部６１では、記憶部１３に記憶された姿勢検知情報を取得する。

【0077】

作業時間計測部６２では、持ち場で作業者が実際に作業している時間（作業時間）を計測する。具体的には、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻として、作業時間のカウントを開始し、作業開始時刻から現在までの時間を作業時間として取得する。また、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業時間のカウントを停止し、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。

【0078】

滞留時間計測部６３では、持ち場に作業者がいる時間（滞留時間）を計測する。具体的には、映像から作業者を検出したタイミングを滞留開始時刻として、滞留時間のカウントを開始し、滞留開始時刻から現在までの時間を滞留時間として取得する。また、映像から作業者を検出できなくなったタイミングを滞留終了時刻として、滞留時間のカウントを停止し、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。

【0079】

なお、滞留時間計測部６３では、姿勢検知情報において、有効な関節位置および姿勢クラスラベルが見つかったタイミングを滞留開始時刻とし、関節位置および姿勢クラスラベルが無効になる、すなわち、関節位置および姿勢クラスラベルが全て－１の値になったタイミングを滞留終了時刻とすればよい。

【0080】

出力部６４では、作業時間計測部６２で取得した作業時間と、滞留時間計測部６３で取得した滞留時間と、を分析情報として記憶部１３に記憶する。

【0081】

次に、サーバ３の分析結果可視化部２４について説明する。図１０は、分析結果可視化部２４の概略構成を示すブロック図である。

【0082】

分析結果可視化部２４は、分析部２３で生成した分析情報を可視化するものであり、映像取得部７１と、分析結果取得部７２と、画面生成部７３と、を備えている。

【0083】

映像取得部７１では、分析用の映像を記憶部１３から取得する。

【0084】

分析結果取得部７２では、分析情報（作業時間および滞留時間）を記憶部１３から取得する。

【0085】

画面生成部７３では、分析情報を可視化した分析結果表示画面を生成する。この分析結果表示画面は、画面出力部１２から管理者端末４に出力され、管理者端末４に分析結果表示画面が表示される。本実施形態では、分析結果表示画面に、分析用の映像を表示するとともに、分析情報（作業時間および滞留時間）を表示する。

【0086】

次に、管理者端末４に表示される分析結果表示画面について説明する。図１１は、分析結果表示画面を示す説明図である。

【0087】

分析結果表示画面では、分析用の映像が表示され、この映像上に分析情報、すなわち、作業時間および滞留時間が重畳表示される。

【0088】

ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、２つの工程の間に作業者が持ち場から退出した場合には、作業者が不在である時間が除外される。また、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、作業中の工程の回数（例えば１回目）が表示される。

【0089】

このように分析結果表示画面では、滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができる。また、滞留時間と作業時間とを比較して、両者の差分が大きい、すなわち、作業者が持ち場に来てから作業を開始するまでの時間が長い場合には、映像で作業者の行動を観察することで、作業の開始が遅れる原因を判断することができる。なお、この分析結果表示画面では、滞留時間および作業時間の両方を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間と作業時間のどちらか一方のみを選択して表示させることができる。

【0090】

次に、サーバ３で行われる姿勢検知処理および分析処理の手順について説明する。図１２は、姿勢検知処理および分析処理の手順を示すフロー図である。

【0091】

サーバ３では、まず、姿勢検知部２２の映像取得部５１において、対象となる分析用の映像の全てのフレーム画像を処理したか否かを判定する（ＳＴ２０１）。ここで、全てのフレーム画像を処理していない場合には（ＳＴ２０１でＮｏ）、関節位置推定部５２において、対象となるフレーム画像から作業者の関節位置を推定する（ＳＴ２０２）。次に、トリガ姿勢判定部５３において、関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定して、姿勢クラスラベルを設定する（ＳＴ２０３）。

【0092】

次に、分析部２３の滞留時間計測部６３において、作業者が持ち場にいるか否かを判定する（ＳＴ２０４）。

【0093】

ここで、作業者が持ち場にいる場合には（ＳＴ２０４でＹｅｓ）、滞留時間のカウントを開始または継続する（ＳＴ２０５）。なお、前回までに作業者が持ち場にいない場合には、滞留時間のカウントを開始し、既に作業者が持ち場にいる場合には、滞留時間のカウントを継続する。

【0094】

次に、作業時間計測部６２において、姿勢クラスラベルに基づいて、作業者がトリガ姿勢をとっているか否かを判定する（ＳＴ２０７）。

【0095】

ここで、作業者がトリガ姿勢をとっている場合には（ＳＴ２０７でＹｅｓ）、次に、作業者が作業中であるか否かを判定する（ＳＴ２０８）。ここで、作業者が作業中でない場合には（ＳＴ２０８でＮｏ）、作業時間のカウントを開始する（ＳＴ２０９）。そして、ＳＴ２０１に戻る。一方、作業者が作業中である場合には（ＳＴ２０８でＹｅｓ）、作業時間のカウントを停止する（ＳＴ２１０）。そして、ＳＴ２０１に戻る。

【0096】

また、作業者がトリガ姿勢をとっていない場合には（ＳＴ２０７でＮｏ）、次に、作業者が作業中であるか否かを判定する（ＳＴ２１１）。ここで、作業者が作業中でない場合には（ＳＴ２１１でＮｏ）、ＳＴ２０１に戻る。一方、作業者が作業中である場合には（ＳＴ２１１でＹｅｓ）、作業時間のカウントを継続する（ＳＴ２１２）。そして、ＳＴ２０１に戻る。

【0097】

また、作業者が持ち場にいない場合には（ＳＴ２０４でＮｏ）、滞留時間のカウントを停止する（ＳＴ２０６）。そして、ＳＴ２０１に戻る。

【0098】

また、全ての画像を処理した場合には（ＳＴ２０１でＹｅｓ）、処理を終了する。

【0099】

このようにしてサーバ３では、作業時間および滞留時間が計測され、管理者端末４において、作業時間および滞留時間が分析結果表示画面（図１１参照）に表示される。

【0100】

次に、本実施形態の第１の変形例について説明する。図１３は、第１の変形例に係る分析部２３の概略構成を示すブロック図である。

【0101】

本変形例では、分析部２３が評価部６５を備えている。この評価部６５では、熟練者の作業時間を標準時間として取得して、対象となる作業者の作業時間と標準時間とを比較して、作業者の作業習熟度（作業効率性）を評価する評価情報を取得する。なお、標準時間は、熟練者に実際に作業を行わせて取得すればよい。

【0102】

具体的には、例えば、作業者の作業時間を２つのしきい値と比較して、作業者の作業習熟度を３段階で評価する。すなわち、作業時間と標準時間との差分が、第１のしきい値未満である場合には、「良」（◎）と判定し、差分が、第１のしきい値以上でかつ第２のしきい値未満である場合には、「可」（○）と判定し、差分が、第２のしきい値以上である場合には、「不可」（×）と判定する。

【0103】

次に、第１の変形例に係る分析結果の可視化について説明する。図１４は、第１の変形例に係る分析結果表示画面を示す説明図である。

【0104】

本変形例では、分析結果表示画面に、カメラ１の映像を表示すると共に、分析結果である滞留時間、作業時間、標準時間、および評価結果（◎、○、×）を表示する。なお、この評価結果は、作業時間値の表示属性で表わしてもよく、例えば、作業時間値を色分け（緑、青、赤）したり、あるいは、作業時間値の文字サイズ、太さ、点滅速度などで評価結果が確認できるようにしてもよい。

【0105】

ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、標準時間は、現在の工程の標準時間であり、評価は、現在の工程に関する評価である。

【0106】

このように本変形例では、分析結果表示画面に滞留時間、作業時間、標準時間、および評価結果（◎、○、×）が表示され、管理者は、評価結果に注目することで、対象となる作業者の作業習熟度（作業効率性）を簡単に確認することができる。

【0107】

なお、本変形例では、評価結果などを分析結果表示画面に表示するようにしたが、作業者ごとの評価結果などを一覧表で表示するようにしてもよい。また、分析結果表示画面において、滞留時間、作業時間、標準時間、評価を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間または標準時間の表示を省略して表示させることができる。

【0108】

次に、本実施形態の第２の変形例について説明する。図１５は、第２の変形例に係る分析部２３の概略構成を示すブロック図である。図１６は、第２の変形例に係る分析結果としての統計情報を示す説明図である。

【0109】

本変形例では、図１５に示すように、分析部２３が統計処理部６６を備えている。この統計処理部６６では、所定の集計期間（例えば１日）における作業者ごとの作業時間を統計処理（例えば平均化）して、作業者ごとの作業時間に関する統計情報を生成する。具体的には、図１６（Ａ）に示すように、作業者ごとの作業時間を比較する統計情報を生成する。また、図１６（Ｂ）に示すように、特定の作業者の作業時間の推移状況を表す統計情報を生成する。

【0110】

図１６（Ａ）に示す例では、作業者ごとの作業時間が棒グラフで表示されている。これにより、作業者ごとの作業時間を比較することができ、習熟度が低い作業者を管理者が把握することができる。

【0111】

図１６（Ｂ）に示す例では、指定した作業者に関する過去の所定の時点（１ヶ月前、２週間前、１週間前、前日（直近の就業日））における作業時間が棒グラフで表示されている。これにより、指定した作業者の作業習熟度がどのように変化したかを管理者が確認することができる。

【0112】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0113】

本発明に係る作業分析装置および作業分析方法は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法などとして有用である。

【符号の説明】

【0114】

１ カメラ
２ レコーダ
３ サーバ
４ 管理者端末
１１ 映像入力部
１２ 画面出力部
１３ 記憶部
１４ 制御部（プロセッサ）
２１ 姿勢学習部
２２ 姿勢検知部
２３ 分析部
２４ 分析結果可視化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】