(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-17
(45)【発行日】2024-10-25
(54)【発明の名称】作業分析装置及び作業分析方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20241018BHJP
G05B 19/418 20060101ALI20241018BHJP
G06Q 10/0639 20230101ALI20241018BHJP
G06Q 50/04 20120101ALI20241018BHJP
【ＦＩ】
G06T7/20 300Z
G05B19/418 Z
G06Q10/0639
G06Q50/04
【請求項の数】
10
(21)【出願番号】P 2021567122
(86)(22)【出願日】2020-12-02
(86)【国際出願番号】 JP2020044829
(87)【国際公開番号】W WO2021131552
(87)【国際公開日】2021-07-01
【審査請求日】2023-12-01
(31)【優先権主張番号】P 2019238048
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110001379
【氏名又は名称】弁理士法人大島特許事務所
(72)【発明者】
【氏名】里 雄二
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２００８－０７７４２４（ＪＰ，Ａ）
【文献】特開２０１９－２００５６０（ＪＰ，Ａ）
【文献】特開２０１９－０９６３２８（ＪＰ，Ａ）
【文献】特開２０１４－１２７７３５（ＪＰ，Ａ）
【文献】特開２０１８－０４５３９５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２０
Ｇ０５Ｂ １９／４１８
Ｇ０６Ｑ １０／０６３９
Ｇ０６Ｑ ５０／０４
(57)【特許請求の範囲】
【請求項1】
作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、
前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、
その時系列データに基づいて、作業動作の効率性を判定し、
その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力することを特徴とする作業分析装置。
【請求項2】
前記プロセッサは、前記注目範囲として、作業動作の効率性が低いと判定された区間に関する情報を出力することを特徴とする請求項１に記載の作業分析装置。
【請求項3】
前記プロセッサは、前記分析情報として、前記注目範囲を表す画像を、前記時系列データを可視化した時系列グラフ上に重畳して出力することを特徴とする請求項１に記載の作業分析装置。
【請求項4】
前記プロセッサは、分析対象とした動作事例に対する比較対象とする動作事例として、
作業動作の効率性が高い模範動作事例を選出して、
前記分析対象とした動作事例に関する前記分析情報と、前記模範動作事例に関する前記分析情報とを出力することを特徴とする請求項１に記載の作業分析装置。
【請求項5】
前記プロセッサは、複数の前記模範動作事例に関する前記映像のサムネイル画像を出力し、
複数の前記サムネイル画像のいずれかをユーザが選択すると、その選択された前記サムネイル画像に対応する前記模範動作事例に関する前記分析情報を出力することを特徴とする請求項４に記載の作業分析装置。
【請求項6】
前記プロセッサは、分析対象とした動作事例に対する比較対象とする動作事例として、
前記分析対象とした動作事例と同一人物に関する過去動作事例を選出して、
前記分析対象とした動作事例に関する前記分析情報と、前記過去動作事例に関する前記分析情報とを出力することを特徴とする請求項１に記載の作業分析装置。
【請求項7】
前記プロセッサは、複数の前記過去動作事例に関する前記映像のサムネイル画像を出力し、
複数の前記サムネイル画像のいずれかをユーザが選択すると、その選択された前記サムネイル画像に対応する前記過去動作事例に関する前記分析情報を出力することを特徴とする請求項６に記載の作業分析装置。
【請求項8】
前記プロセッサは、ユーザに検索条件を入力させる検索画面を出力し、
その検索画面で入力された前記検索条件に該当する動作事例に関する前記分析情報を出力することを特徴とする請求項１に記載の作業分析装置。
【請求項9】
前記プロセッサは、対象とする関節を指定する設定画面を出力し、
その設定画面で指定された関節を対象として前記分析情報を出力することを特徴とする請求項１に記載の作業分析装置。
【請求項10】
作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、
その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、
その時系列データに基づいて、作業動作の効率性を判定し、
その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力することを特徴とする作業分析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置及び作業分析方法に関するものである。
【背景技術】
【0002】
工場では、作業者の作業状況を分析して、その分析結果に基づいて、作業の手順などを見直すことで、作業効率の向上を図ることができる。このため、作業者の作業状況に関する分析を効率的に行うことができる技術が望まれる。
【0003】
このような作業者の作業状況を分析する技術として、従来、測定部により、作業者の動作を定量的に表す動作情報（関節の座標値など）を取得して、その動作情報を、基準動作（標準的な動作）を定量的に表す基準動作情報と比較して、基準動作から外れた動作（標準外の動作）を検知すると共に、撮影部により、作業者が作業している様子を撮影して、その映像から標準外の動作が実行された場面の映像を抽出する技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１２５０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術によれば、装置に大きな演算負荷をかけることなく、標準外の動作が実行された場面の映像を表示させることができるものの、動作情報を取得するための測定部の設置、基準動作情報や抽出条件などの設定など、作業分析に手間がかかるという問題があった。
【0006】
また、作業者本人または管理者などのユーザが、作業者の作業の様子を撮影した映像などに基づいて、作業者の作業動作の熟練度（効率性）などを、他の作業者の作業状況や、当人の過去の作業状況との比較により簡単に確認したいといった要望があるが、こうした要望に対して従来の技術は何ら配慮されていないものであった。
【0007】
そこで、本開示は、作業者の作業動作を評価するための作業分析を、手間をかけずに簡単に行うことができ、さらに、作業者の作業動作の熟練度などを、他の作業者の作業状況や、当人の過去の作業状況との比較により簡単に確認することができる作業分析装置及び作業分析方法を提供することを主な目的とする。
【課題を解決するための手段】
【0008】
本開示の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、その時系列データに基づいて、作業動作の効率性を判定し、その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力する構成とする。
【0009】
また、本開示の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、その時系列データに基づいて、作業動作の効率性を判定し、その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力する構成とする。
【発明の効果】
【0010】
本開示によれば、映像に基づいて作業工程内の注目範囲に関する情報と関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された映像とを取得するため、作業者の作業動作を評価するための作業分析を、手間をかけずに簡単に行うことができる。また、作業者本人または管理者などのユーザが、注目範囲の作業状況および具体的な動作状況を即座に確認することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態に係る作業分析システムの全体構成図
【図2】サーバ３で行われる関節位置推定処理の概要を示す説明図
【図3】サーバ３で生成される時系列グラフを示す説明図
【図4】サーバ３で行われる動作事例評価処理の概要を示す説明図
【図5】サーバ３の概略構成を示すブロック図
【図6】サーバ３で行われる動作事例収集時の処理の手順を示すフロー図
【図7】サーバ３で行われる分析対象指定時の処理の手順を示すフロー図
【図8】ユーザ端末４に表示される検索画面を示す説明図
【図9】ユーザ端末４に表示される設定画面を示す説明図
【図10】ユーザ端末４に表示される単独モードの分析結果画面を示す説明図
【図11】ユーザ端末４に表示される模範動作事例比較モードの分析結果画面を示す説明図
【図12】ユーザ端末４に表示される自己動作事例比較モードの分析結果画面を示す説明図
【発明を実施するための形態】
【0012】
前記課題を解決するためになされた第１の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、その時系列データに基づいて、作業動作の効率性を判定し、その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力する構成とする。
【0013】
これによると、映像に基づいて作業工程内の注目範囲に関する情報と関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された映像とを取得するため、作業者の作業動作を評価するための作業分析を、手間をかけずに簡単に行うことができる。また、作業者本人または管理者などのユーザが、注目範囲の作業状況および具体的な動作状況を即座に確認することができる。
【0014】
また、第２の発明は、前記プロセッサは、前記注目範囲として、作業動作の効率性が低いと判定された区間に関する情報を出力する構成とする。
【0015】
これによると、作業動作の効率性が低い、すなわち、改善の必要性が高い区間の動作状況をユーザが即座に確認することができる。
【0016】
また、第３の発明は、前記プロセッサは、前記分析情報として、前記注目範囲を表す画像を、前記時系列データを可視化した時系列グラフ上に重畳して出力する構成とする。
【0017】
これによると、時系列グラフを目視で確認することにより、作業動作の特徴を認識することができる。特に、時系列グラフ上で注目範囲をユーザが即座に確認することができる。
【0020】
また、第４の発明は、前記プロセッサは、分析対象とした動作事例に対する比較対象とする動作事例として、作業動作の効率性が高い模範動作事例を選出して、前記分析対象とした動作事例に関する前記分析情報と、前記模範動作事例に関する前記分析情報とを出力する構成とする。
【0021】
これによると、分析対象とした作業者の作業動作の熟練度などを、他の作業者の作業状況との比較により簡単に確認することができる。
【0022】
また、第５の発明は、前記プロセッサは、複数の前記模範動作事例に関する前記映像のサムネイル画像を出力し、複数の前記サムネイル画像のいずれかをユーザが選択すると、その選択された前記サムネイル画像に対応する前記模範動作事例に関する前記分析情報を出力する構成とする。
【0023】
これによると、複数の模範動作事例の中からユーザが選択した模範動作事例の分析情報をユーザが閲覧することができる。
【0024】
また、第６の発明は、前記プロセッサは、分析対象とした動作事例に対する比較対象とする動作事例として、前記分析対象とした動作事例と同一人物に関する過去動作事例を選出して、前記分析対象とした動作事例に関する前記分析情報と、前記過去動作事例に関する前記分析情報とを出力する構成とする。
【0025】
これによると、分析対象とした作業者の作業動作の熟練度などを、当人の過去の作業状況との比較により簡単に確認することができる。
【0026】
また、第７の発明は、前記プロセッサは、複数の前記過去動作事例に関する前記映像のサムネイル画像を出力し、複数の前記サムネイル画像のいずれかをユーザが選択すると、その選択された前記サムネイル画像に対応する前記過去動作事例に関する前記分析情報を出力する構成とする。
【0027】
これによると、複数の過去動作事例の中からユーザが選択した過去動作事例の分析情報をユーザが閲覧することができる。
【0028】
また、第８の発明は、前記プロセッサは、ユーザに検索条件を入力させる検索画面を出力し、その検索画面で入力された前記検索条件に該当する動作事例に関する前記分析情報を出力する構成とする。
【0029】
これによると、対象となる動作事例をユーザが簡単に絞り込むことができる。
【0030】
また、第９の発明は、前記プロセッサは、対象とする関節を指定する設定画面を出力し、その設定画面で指定された関節を対象として前記分析情報を出力する構成とする。
【0031】
これによると、対象とする関節をユーザが簡単に絞り込むことができる。
【0032】
また、第１０の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、複数の関節位置に関する時系列データを取得し、その時系列データに基づいて、作業動作の効率性を判定し、その判定結果に基づいて、作業工程内の注目範囲に関する情報と前記関節位置を結ぶ色分けした複数のラインにより描画した姿勢画像が重畳された前記映像とを含む前記分析情報を出力する構成とする。
【0033】
これによると、第１の発明と同様に、作業者の作業動作を評価するための作業分析を、手間をかけずに簡単に行うことができる。
【0034】
以下、本開示の実施の形態を、図面を参照しながら説明する。
【0035】
図１は、本実施形態に係る作業分析システムの全体構成図である。
【0036】
この作業分析システムは、工場などにおける作業者の作業状況を分析して、その分析結果を管理者に提示するものであり、カメラ１と、レコーダ２と、サーバ３（作業分析装置）と、ユーザ端末４と、を備えている。
【0037】
カメラ１は、作業者が持ち場で作業を行う様子を撮影する。
【0038】
レコーダ２は、カメラ１から出力される映像を録画する。
【0039】
サーバ３は、カメラ１またはレコーダ２から映像を取得して、その映像に基づいて、作業者の作業状況に関する分析を行って、その分析結果を出力する。
【0040】
ユーザ端末４は、システム管理者、作業管理者、作業者本人などのユーザが使用するものであり、ＰＣやタブレット端末などで構成される。このユーザ端末４では、サーバ３で行われる処理に関する各種の設定の操作をシステム管理者が行う。また、ユーザ端末４では、サーバ３から出力される分析結果を表示して作業管理者や作業者本人が閲覧する。
【0041】
なお、サーバ３で行われる処理は、撮影と同時に行うリアルタイム処理でも、撮影後に行う事後処理でもよい。リアルタイム処理を行う場合には、カメラ１とサーバ３とユーザ端末４とをネットワーク接続すればよい。また、事後処理のみを行う場合には、適宜な記憶媒体を介して、レコーダ２に蓄積した映像をサーバ３に転送するようにしてもよい。
【0042】
次に、サーバ３で行われる関節位置推定処理について説明する。図２は、サーバ３で行われる関節位置推定処理の概要を示す説明図である。
【0043】
本実施形態では、対象となる映像データに含まれる各時刻のフレーム画像から人物の関節位置を推定して、各時刻（各フレーム画像）の関節の位置情報を取得する（関節位置推定処理）。なお、関節の位置は、２次元の座標（ｘ，ｙ）で表される。
【0044】
図２に示す例では、作業台上で、例えば、製造ラインで使用される部品を、予め取り分けて部品ケースに収納する作業が行われる。この場合、作業者は主に上半身の各部を動かして作業を行うため、上半身の８つの関節（左手首、左肘、左肩、右肩、頭部、右肘、右手首、腹部）を計測対象とする。
【0045】
また、本実施形態では、人物の姿勢を模式化した姿勢画像を作業映像上に重畳描画する。この姿勢画像は、人物の骨格構造に基づいて関節位置を結ぶライン（骨格線）を描画したものである。各ラインは、色分けして描画される。これにより、ユーザが、人物の動作を即座に把握することができる。
【0046】
また、本実施形態では、各時刻のフレーム画像から人物の関節位置を推定すると、その推定結果として、各時刻の関節ごとの関節位置データを生成する。この関節位置データには、工程ＩＤと、計測番号と、人物ＩＤと、時刻情報と、関節座標情報とが含まれる。
【0047】
工程ＩＤは、各工程に付与された識別情報である。計測番号は、１つの工程に関して複数回実施された作業計測に付与された通し番号である。人物ＩＤは、各作業者に付与された識別情報である。時刻情報は、計測時刻（年月日時分秒）の情報である。なお、工程ＩＤと計測番号と人物ＩＤとの組み合わせで動作事例が区別され、同じ工程でかつ同じ人物であっても計測番号が違う場合には別の動作事例となる。
【0048】
関節座標情報は、関節座標値（ｘ座標およびｙ座標）と信頼度スコアとを含む。なお、信頼度スコアは、関節位置推定の結果としての関節座標値の信頼度を表す指標であり、値が大きいほど信頼度が高い。
【0049】
次に、サーバ３で生成される時系列グラフについて説明する。図３は、サーバ３で生成される時系列グラフを示す説明図である。
【0050】
本実施形態では、各時刻の関節ごとの関節位置データに基づいて、関節位置に関する関節ごとの時系列データを生成する（時系列データ生成処理）。そして、関節位置の時系列データを可視化した時系列グラフを生成する（時系列グラフ生成処理）。このとき、Ｘ軸方向（映像上の横方向）の動きと、Ｙ軸方向（映像上の縦方向）の動きとに分けて分析を行う。すなわち、関節のＸ軸方向の位置（Ｘ座標）とＹ軸方向の位置（Ｙ座標）とで別々に時系列グラフを生成し、図３（Ａ－１）に示すように、Ｘ座標に関する関節位置の時系列グラフと、図３（Ａ－２）に示すように、Ｙ座標に関する関節位置の時系列グラフとを生成する。この関節位置の時系列グラフでは、横軸が時間を表し、縦軸がＸ座標およびＹ座標を表す。
【0051】
また、本実施形態では、分析対象となる関節情報として、関節位置の他に関節速度（関節の移動速度）を選択することができる。関節速度を選択した場合、図３（Ｂ－１）に示すように、Ｘ座標に関する関節速度の時系列グラフと、図３（Ｂ－２）に示すように、Ｙ座標に関する関節速度の時系列グラフとを生成する。この関節速度の時系列グラフでは、横軸が時間を表し、縦軸がＸ座標およびＹ座標の速度を表す。なお、関節速度は、各時刻（各フレーム）の関節位置の変化量から求めればよい。
【0052】
なお、本実施形態では、関節ごとの時系列グラフは折れ線グラフで描画される。また、関節ごとの時系列グラフは異なる色で描画される。
【0053】
ここで、熟練者の場合には、身体の各部の動作に無駄が少なく、身体の各部の動作が同期している。特に、左手と右手との役割が決められており、左右の手の動きが同期している。例えば、部品を取得する動作と部品を収納する動作とを繰り返す作業の場合、熟練者は、両手で同時に別の部品を取得した後、その部品を収納する動作を右手で行う。また、左手で部品を取得した後、その部品を収納する動作を右手で行う。この場合、時系列グラフでは、例えば、両手が同時に右に移動していることから、両手で部品を取得する動作を行っていることが分かる。
【0054】
一方、初心者の場合には、身体の各部の動作に無駄が多く、身体の各部の動作がバラバラで同期していない。特に、左手と右手との役割が決められておらず、左右の手の動きがバラバラで、左右の手の動作が同期していない。例えば、部品を取得する動作と部品を収納する動作とを繰り返す作業の場合、初心者は、片方の手で１つずつ部品を取る。この場合、時系列グラフでは、例えば、左手だけ右に移動していることから、片手だけで部品を取得する動作を行っていることが分かる。
【0055】
次に、サーバ３で行われる動作事例評価処理について説明する。図４は、サーバ３で行われる動作事例評価処理の概要を示す説明図である。
【0056】
本実施形態では、身体の各部の動きが同期しているか否かに応じて、作業動作の効率性（熟練度）を評価する。また、本実施形態では、関節ごとの時系列データ間の類似度を算出して、その類似度に基づいて、身体の各部の動きが同期しているか否かを判定する。すなわち、関節ごとの時系列データ間の類似度に基づいて、作業動作の効率性を評価する。例えば、関節ごとの時系列データ間の類似度が高い場合には、作業動作の効率性が高いと判定し、関節ごとの時系列データ間の類似度が低い場合には、作業動作の効率性が低いと判定する。
【0057】
ここで、本実施形態では、作業動作の効率性を評価する指標値として、類似度を表す共起スコア（効率動作スコア）を算出する。この共起スコアを所定のしきい値と比較することで、関節ごとの時系列データ間の類似度が高いか否か、すなわち、作業動作の効率性が高いか否かを判定する。具体的には、共起スコアがしきい値以上となる場合に、作業動作の効率性が高いと判定する。
【0058】
また、本実施形態では、２つの時系列データ間の類似度の指標としては、ユークリッド距離やＤＴＷ距離などがある。本実施形態では、関節ごとの時系列データ間の類似度の指標として、ＤＴＷ距離を算出する。
【0059】
ユークリッド距離は、図４（Ａ）に示すように、２つの時系列データにおける同一の時刻の２点間の距離である。この手法では、２つの時系列データ間に大きな時間的なずれがあると、適切な類似度を算出することができない。
【0060】
一方、ＤＴＷ（Dynamic Time Warping、動的時間伸縮法）では、図４（Ｂ）に示すように、２つの時系列データの各点の距離を総当りで比較した上で、２つの時系列データ同士の距離が最短となる場合の距離をＤＴＷ距離として取得するものである。例えば、関節数が８の場合には、２８（８×７／２）通りの組み合わせで２点間の距離が算出される。この手法では、人物の関節位置が遮蔽物で隠れることで時系列データに欠損が発生している場合や、２つの時系列データ間に時間的なずれがある場合や、２つの時系列データの長さが異なる場合でも、適切な類似度を算出することができる。
【0061】
また、本実施形態では、関節ごとの時系列データの類似度に基づいて作業動作の効率性を判定するようにしたが、関節の時系列データではなく、右腕や左腕のように身体の部位単位でまとめた時系列データで作業動作の効率性を判定するようにしてもよい。例えば、右腕および左腕の時系列データの類似度に基づいて作業動作の効率性を判定する。熟練者の場合には右腕と左腕とで動作が同期しているため、右腕および左腕の時系列データの類似度が高い場合には熟練者と判定することができる。この場合、右腕の各関節の位置情報を統合して右腕の位置情報を生成し、また、左腕の各関節の位置情報を統合して左腕の位置情報を生成すればよい。
【0062】
なお、本実施形態では、作業動作の効率性を評価する指標値として、関節ごとの時系列データ間の類似性、具体的には、類似度を表す共起スコア（効率動作スコア）を算出するようにしたが、共起スコア以外の指標値を用いて、作業動作の効率性を判定するようにしてもよい。
【0063】
例えば、関節位置の分散を用いて、作業動作の効率性を判定するようにしてもよい。関節の振れ幅が大きいと、無駄な動きが多く、効率的な動作でない。この場合、分散の値が大きくなる。このため、関節位置の分散により、作業動作の効率性を判定することができる。また、関節速度（関節の移動速度）を用いて、作業動作の効率性を判定するようにしてもよい。
【0064】
次に、サーバ３の概略構成について説明する。図５は、サーバ３の概略構成を示すブロック図である。
【0065】
サーバ３は、映像入力部１１と、画面出力部１２と、メモリ１３と、プロセッサ１４と、を備えている。
【0066】
映像入力部１１では、リアルタイム処理の場合には、カメラ１で撮影された映像が入力され、事後処理の場合にはレコーダ２で録画された映像が入力される。
【0067】
画面出力部１２では、プロセッサ１４で生成した各種の画面が出力され、ユーザ端末４に各種の画面が表示される。
【0068】
メモリ１３は、プロセッサ１４で実行されるプログラムを記憶する。また、メモリ１３は、映像入力部１１で取得した映像データを記憶する。また、メモリ１３は、プロセッサ１４で生成した関節位置データや、模範動作事例に関する情報などを記憶する。
【0069】
プロセッサ１４は、メモリ１３に記憶されたプログラムを実行することで作業分析に係る各種の処理を行う。本実施形態では、プロセッサ１４が、関節位置推定処理、分析処理、および分析結果可視化処理などを行う。
【0070】
関節位置推定処理では、プロセッサ１４が、映像データから各時刻のフレームを取得して、各フレームに映る人物の関節位置を推定して、各時刻の関節ごとの座標情報を取得する。この関節位置推定処理で取得した各時刻の関節ごとの座標情報は、工程ＩＤ、計測番号、人物ＩＤ、時刻情報などと共に、各時刻の関節位置データとして、メモリ１３に蓄積される。
【0071】
分析処理には、時系列データ生成処理と、動作事例評価処理と、動作事例順位付け処理とが含まれる。
【0072】
時系列データ生成処理では、プロセッサ１４が、関節位置推定処理で取得した各時刻の関節ごとの関節位置データに基づいて、各関節に関する関節位置の時系列データを生成する。
【0073】
動作事例評価処理では、プロセッサ１４が、動作事例に関する作業動作の効率性を評価する指標値として、関節ごとの時系列データ間の類似度を表す共起スコア（効率動作スコア）を算出する。このとき、プロセッサ１４は、評価対象とする動作事例の時系列データに基づいて、時系列データ全体を対象にした共起スコアを算出する。また、プロセッサ１４は、時系列データを所定時間（例えば３～５秒間など）で区切った単位区間ごとの共起スコアを算出する。具体的には、６０秒の時系列データについて、単位区間として５秒間を設定した場合、まず、時系列データの先頭の５秒間の共起スコアを求め、次に、時系列データの先頭から１秒後を起点にして５秒間の共起スコアを求め、以後同様に、時系列データの先頭から２秒後、３秒後・・と起点を順次シフトさせて共起スコアを求める処理を時系列データの末尾の５秒間まで繰り返すようにする。なお、求める共起スコアを求める回数を減らすために単位区間を１０秒間、３０秒間といったように時系列データの時間に応じて変更してもよい。
【0074】
動作事例順位付け処理では、プロセッサ１４が、各動作事例の共起スコアに基づいて、作業内容が同一の動作事例（工程ＩＤが一致する動作事例）ごとに、動作事例の順位付けを行う。そして、共起スコアが高いものから所定数（例えば５件）の動作事例を、模範動作事例（効率の高い動作で作業が行われた事例）として選出する。
【0075】
分析結果可視化処理には、時系列グラフ生成処理と、注目範囲取得処理と、注目範囲描画処理と、姿勢画像生成処理と、姿勢画像合成処理と、画面生成処理とが含まれる。
【0076】
時系列グラフ生成処理では、プロセッサ１４が、時系列データ生成処理で取得した関節位置の時系列データを可視化した時系列グラフ（図３参照）を生成する。
【0077】
注目範囲取得処理では、プロセッサ１４が、動作事例評価処理で取得した単位区間ごとの共起スコアに基づいて、注目範囲を取得する。この注目範囲は、対象とする作業工程（時系列データの計測期間）内で、関節ごとの時系列データ間の類似度が低い範囲、具体的には、共起スコアが所定のしきい値以下となる範囲である。
【0078】
注目範囲描画処理では、プロセッサ１４が、注目範囲取得処理で取得した注目範囲を表す矩形ラベル６５，６６（マーク画像）を時系列グラフ上に重畳描画する。
【0079】
姿勢画像生成処理では、プロセッサ１４が、各時刻の関節位置データに基づいて、各時刻（各フレーム画像）の姿勢画像を生成する。この姿勢画像は、関節位置を色分けされたラインで結んだものであり、作業者の姿勢を模式的に表す。
【0080】
姿勢画像合成処理では、プロセッサ１４が、姿勢画像生成処理で取得した各時刻の姿勢画像をフレーム画像に重畳して合成画像を生成する。
【0081】
画面生成処理では、プロセッサ１４が、ユーザ端末４に表示する画面を生成してユーザ端末４に出力する。本実施形態では、プロセッサ１４が、設定画面（図９参照）、単独モードの分析結果画面（図１０参照）、模範動作事例比較モードの分析結果画面（図１１参照）、および自己比較モードの分析結果画面（図１２参照）などを生成する。
【0082】
次に、サーバ３で行われる動作事例収集時の処理の手順について説明する。図６は、サーバ３で行われる動作事例収集時の処理の手順を示すフロー図である。
【0083】
サーバ３では、まず、プロセッサ１４が、模範動作事例の候補となる動作事例の映像データをメモリ１３から取得して、その映像データを含まれる全てのフレーム画像を処理したか否かを判定する（ＳＴ１０１）。
【0084】
ここで、全てのフレーム画像を処理していない場合には（ＳＴ１０１でＮｏ）、プロセッサ１４が、対象となるフレーム画像から作業者の関節位置を推定する（関節位置推定処理）（ＳＴ１０２）。次に、プロセッサ１４が、関節位置の座標情報などを含む関節位置データを関節ごとに生成してメモリ１３に保存する（ＳＴ１０３）。
【0085】
これらの処理は、分析対象となる動作事例の映像データに含まれる全てのフレーム画像について繰り返される。これにより、１件の動作事例に関する各時刻（各フレーム画像）の関節ごとの関節位置データがメモリ１３に蓄積される。
【0086】
次に、サーバ３では、プロセッサ１４が、各時刻の関節ごとの関節位置データに基づいて、各関節に関する関節位置の時系列データを生成する（時系列データ生成処理）（ＳＴ１０４）。次に、プロセッサ１４が、関節ごとの関節位置に関する時系列データに基づいて、分析対象とした動作事例の共起スコアを算出する（動作事例評価処理）（ＳＴ１０５）。次に、プロセッサ１４が、各動作事例の共起スコアに基づいて、作業内容が同一の動作事例ごとに、動作事例の順位付けを行う（動作事例順位付け処理）（ＳＴ１０６）。
【0087】
なお、対象となる映像データが複数ある場合には、映像データごとに図６に示す処理フローが繰り返される。
【0088】
次に、サーバ３で行われる分析対象指定時の処理の手順について説明する。図７は、サーバ３で行われる分析対象指定時の処理の手順を示すフロー図である。
【0089】
サーバ３では、まず、プロセッサ１４が、分析対象となる映像データをメモリ１３から取得して、その映像データを含まれる全てのフレーム画像を処理したか否かを判定する（ＳＴ２０１）。
【0090】
ここで、全てのフレーム画像を処理していない場合には（ＳＴ２０１でＮｏ）、プロセッサ１４が、対象となるフレーム画像から作業者の関節位置を推定する（関節位置推定処理）（ＳＴ２０２）。次に、プロセッサ１４が、関節位置の座標情報などを含む関節位置データを関節ごとに生成してメモリ１３に保存する（ＳＴ２０３）。
【0091】
これらの処理は、分析対象となる動作事例の映像データに含まれる全てのフレーム画像について繰り返される。これにより、１件の動作事例に関する各時刻（各フレーム画像）の関節ごとの関節位置データがメモリ１３に蓄積される。
【0092】
次に、サーバ３では、プロセッサ１４が、各時刻の関節ごとの関節位置データに基づいて、関節位置に関する時系列データを関節ごとに生成する（時系列データ生成処理）（ＳＴ２０４）。次に、プロセッサ１４が、分析対象の時系列データを可視化した時系列グラフを生成する（時系列グラフ生成処理）（ＳＴ２０５）。
【0093】
また、プロセッサ１４が、比較対象となる動作事例に関する時系列データをメモリ１３から取得して、その時系列データを可視化した時系列グラフを生成する（時系列グラフ生成処理）（ＳＴ２０６）。ここで、比較対象は、模範動作事例の中からユーザが選択した動作事例である。また、模範動作事例は、分析対象となる動作事例と同じ作業内容の動作事例の中で、特に作業動作の効率性が高い動作事例である。
【0094】
なお、この他に、サーバ３では、時系列データの単位区間ごとの共起スコアを算出する処理（動作事例評価処理）や、注目範囲（動作の効率性が低い区間）を取得する処理（注目範囲取得処理）や、注目範囲を表す矩形ラベル６５，６６を時系列グラフ上に重畳描画する処理（注目範囲描画処理）や、関節位置データから姿勢画像を生成する処理（姿勢画像生成処理）や、姿勢画像をフレーム画像に重畳する処理（姿勢画像合成処理）や、時系列グラフおよび映像を含む分析結果画面を生成して出力する処理（画面生成処理）などが行われる。
【0095】
次に、ユーザ端末４に表示される検索画面について説明する。図８は、ユーザ端末４に表示される検索画面を示す説明図である。
【0096】
ユーザ端末４では、検索条件に該当する動作事例を検索するための検索画面が表示される。
【0097】
この検索画面には、工程ＩＤ、計測番号、および人物ＩＤの各項目の入力部３１，３２，３３と、分析ボタン３４とが設けられている。入力部３１，３２，３３では、検索条件として、工程ＩＤ、計測番号、および人物ＩＤを入力することができる。特に本列では、工程ＩＤ、計測番号、および人物ＩＤをプルダウンメニューで選択することができる。なお、プルダウンメニューには、他の項目で選択済みの条件でフィルタリングされた選択肢が表示される。
【0098】
検索条件として、入力部３１，３２，３３により工程ＩＤ、計測番号、および人物ＩＤの各項目を入力して、分析ボタン３４を操作すると、入力された検索条件に該当する動作事例が検索され、見つかった動作事例に関する単独モードの分析結果画面（図１０参照）に遷移する。
【0099】
また、この検索画面には、設定ボタン３５が設けられている。この設定ボタン３５を操作すると、設定画面（図９参照）に遷移する。
【0100】
次に、ユーザ端末４に表示される設定画面について説明する。図９は、ユーザ端末４に表示される設定画面を示す説明図である。
【0101】
ユーザ端末４では、作業分析に係る各種の処理に関する設定を行うための設定画面が表示される。この設定画面は、検索画面（図８参照）で設定ボタン３５を操作することで表示される。
【0102】
この設定画面には、関節指定部４１が設けられている。この関節指定部４１では、関節ごとのチェックボックスにより、分析対象となる関節を指定することができる。図９に示す例では、上半身の８つの関節（左手首、左肘、左肩、右肩、頭部、右肘、右手首、腹部）を指定することができる。例えば、右腕の関節だけを指定して分析対象を絞り込むことで、右腕だけの動作状況を確認することができる。
【0103】
また、この設定画面には、動作情報指定部４２が設けられている。この動作情報指定部４２では、ラジオボタンにより、分析対象となる動作情報として、関節位置および関節速度のいずれかを指定することができる。関節位置を指定すると、関節位置を動作情報として作業分析に係る処理（時系列データ生成処理、動作事例評価処理、時系列グラフ生成処理など）が行われる。関節速度を指定すると、関節速度を動作情報として作業分析に係る処理が行われる。
【0104】
また、この設定画面には、注目範囲指定部４３が設けられている。この注目範囲指定部４３では、注目範囲を設定する際の共起スコアに関するしきい値と、注目範囲の数を制限する上限値とを入力することができる。
【0105】
また、この設定画面には、設定ボタン４４が設けられている。この設定ボタン４４を操作すると、関節指定部４１、動作情報指定部４２、および注目範囲指定部４３の入力内容で設定情報を設定する処理が行われる。
【0106】
次に、ユーザ端末４に表示される単独モードの分析結果画面について説明する。図１０は、ユーザ端末４に表示される単独モードの分析結果画面を示す説明図である。
【0107】
ユーザ端末４では、ユーザ（管理者など）が指定した検索条件に該当する動作事例に関する分析結果をユーザに提示するための単独モードの分析結果画面が表示される。この単独モードの分析結果画面は、検索画面（図８参照）において、入力部３１，３２，３３により工程ＩＤ、計測番号、および人物ＩＤの各項目を入力して、分析ボタン３４を操作することで表示される。
【0108】
この単独モードの分析結果画面には、時系列グラフ表示部５１が設けられている。この時系列グラフ表示部５１には、分析対象となる動作事例に関する２つの関節位置の時系列グラフが表示される。一方の時系列グラフは、関節位置のＸ座標に関するものであり、他方の時系列グラフは、関節位置のＹ座標に関するものである。
【0109】
また、この単独モードの分析結果画面には、作業映像表示部５２が設けられている。この作業映像表示部５２には、分析対象となる動作事例に関する作業映像が表示される。また、作業映像表示部５２では、作業者の姿勢を表す姿勢画像が作業映像に重畳描画されている。また、作業映像表示部５２には、作業映像の撮影時刻とフレーム番号とが表示される。なお、フレーム番号は、対象とする作業映像データに含まれる各フレームに対して、最初のフレームを０として付与された通し番号である。
【0110】
また、作業映像表示部５２には、初期状態として、作業映像データの最初のフレーム画像が静止画で表示される。時系列グラフ上の任意の位置を指定する操作（クリック）をユーザが行うと、その指定した位置（時刻）からの作業映像が作業映像表示部５２で再生される。このとき、時系列グラフ上には、作業映像表示部５２に表示される作業映像の再生位置を表す画像５８が表示される。
【0111】
また、この単独モードの分析結果画面には、関節指定部５３が設けられている。この関節指定部５３には、設定画面（図９参照）と同様に、関節ごとのチェックボックスが設けられている。この関節ごとのチェックボックスにより、設定画面で指定した初期の設定内容を変更して、分析対象とする関節を指定し直すことができる。
【0112】
また、この関節指定部５３には、更新ボタン５４が設けられている。設定内容を変更した場合、更新ボタン５４を操作することで、設定内容が反映され、時系列グラフ生成処理が実行され、時系列グラフ表示部５１の時系列グラフが、ユーザが指定した関節を対象としたものに更新される。
【0113】
また、この単独モードの分析結果画面には、「模範動作事例比較」のボタン５５と、「自己動作事例比較」のボタン５６と、サムネイル表示部５７と、が設けられている。サムネイル表示部５７には、作業映像のサムネイル画像が所定数（図１０では５つ）表示される。
【0114】
特に、「模範動作事例比較」のボタン５５をユーザが操作すると、サムネイル表示部５７に、模範動作事例、すなわち、分析対象となる動作事例と作業内容が同じ（工程ＩＤが同じ）動作事例の中でランキングが上位の動作事例に関する作業映像のサムネイル画像が複数表示される。この複数のサムネイル画像は、共起スコアの高い順に左側から並べて表示されている。ここで、複数のサムネイル画像のいずれかを選択する操作をユーザが行うと、模範動作事例比較モードの分析結果画面（図１１参照）に遷移する。
【0115】
一方、「自己動作事例比較」のボタン５６をユーザが操作すると、サムネイル表示部５７に、分析対象とした動作事例と同一人物かつ同一工程の過去動作事例に関する作業映像のサムネイル画像が複数表示される。この複数のサムネイル画像は、分析対象とした動作事例の計測時点より所定期間遡った時点（例えば１日前、１週間前、１ヶ月前など）における動作事例に関するものである。ここで、複数のサムネイル画像のいずれかを選択する操作をユーザが行うと、自己動作事例比較モードの分析結果画面（図１２参照）に遷移する。
【0116】
また、関節指定部５３において、分析対象とする関節を指定し直すと、ユーザが指定した関節を対象として動作事例評価処理および動作事例順位付け処理が実行され、動作事例の順位に変更があれば、サムネイル表示部５７のサムネイル画像が更新される。
【0117】
次に、ユーザ端末４に表示される模範動作事例比較モードの分析結果画面について説明する。図１１は、ユーザ端末４に表示される模範動作事例比較モードの分析結果画面を示す説明図である。
【0118】
ユーザ端末４では、分析対象とした動作事例と模範動作事例とを比較するための模範動作事例比較モードの分析結果画面が表示される。この模範動作事例比較モードの分析結果画面は、単独モードの分析結果画面（図１０参照）においてサムネイル表示部５７に表示された模範動作事例のサムネイル画像を選択する操作をユーザが行うことで表示される。
【0119】
この模範動作事例比較モードの分析結果画面には、単独モードの分析結果画面（図１０参照）と同様に、分析対象とした動作事例に関する時系列グラフ表示部５１および作業映像表示部５２と、関節指定部５３と、「模範動作事例比較」のボタン５５と、「自己動作事例比較」のボタン５６と、サムネイル表示部５７と、が設けられている。
【0120】
また、この模範動作事例比較モードの分析結果画面には、比較対象とした動作事例に関する時系列グラフ表示部６１と作業映像表示部６２とが設けられている。時系列グラフ表示部６１には、比較対象となる模範動作事例に関する２つの関節位置の時系列グラフが表示される。作業映像表示部６２には、比較対象となる模範動作事例に関する作業映像が表示される。
【0121】
このように本実施形態では、分析対象とした動作事例に関する時系列グラフと、模範動作事例に関する時系列グラフとが並べて表示されるため、両者を目視で比較して、分析対象とした動作事例と模範動作事例とで作業動作のグラフ上での違いを確認することができる。また、分析対象とした動作事例の作業映像、模範動作事例の作業映像とが並べて表示されるため、両者を目視で比較して、分析対象とした動作事例と模範動作事例とで作業動作の映像上での違いを確認することができる。
【0122】
また、分析対象とした動作事例に関する時系列グラフ表示部５１には、分析対象の注目範囲を表すマーク画像として、時系列グラフ上の注目範囲を取り囲む矩形ラベル６５が表示される。この分析対象の注目範囲は、共起スコアが低い期間、具体的には、共起スコアが所定のしきい値以下となる期間である。
【0123】
一方、比較対象となる動作事例に関する時系列グラフ表示部６１にも、分析対象表示部の時系列グラフ表示部５１と同様に、比較対象の注目範囲を表す矩形ラベル６６が表示される。この比較対象の注目範囲は、分析対象の注目範囲に対応する区間の前後に所定幅の誤差区間を追加したものである。人物に応じて作業の進捗状況にずれがあるため、分析対象の注目範囲を前後に拡大して比較対象の注目範囲が設定される。これにより、分析対象と比較対象とで同じ内容の作業を行っている期間をユーザに提示することができる。
【0124】
なお、本実施形態では、注目範囲を表すマーク画像として矩形ラベル６５，６６が表示されるようにしたが、注目範囲を表すマーク画像は矩形ラベル６５，６６に限定されるものではない。例えば、ユーザの注意を喚起する「！」などの記号を表示するようにしてもよい。また、時系列グラフ表示部５１，６１に注目範囲のみの時系列グラフを表示するようにしてもよい。
【0125】
【0126】
このように本実施形態では、注目範囲、すなわち、作業動作の効率性が低い区間が強調されるため、改善の必要性が高い作業動作をユーザが即座に確認することができる。
【0127】
また、この模範動作事例比較モードの分析結果画面には、単独モードの分析結果画面（図１０参照）と同様に、「模範動作事例比較」のボタン５５と、「自己動作事例比較」のボタン５６とが設けられている。ここで、「自己動作事例比較」のボタン５６をユーザが操作して、サムネイル画像を選択する操作をユーザが行うと、自己動作事例比較モードの分析結果画面（図１２参照）に遷移する。
【0128】
次に、ユーザ端末４に表示される自己動作事例比較モードの分析結果画面について説明する。図１２は、ユーザ端末４に表示される自己動作事例比較モードの分析結果画面を示す説明図である。
【0129】
ユーザ端末４では、分析対象とした動作事例と、その動作事例と同一人物かつ同一工程の過去動作事例とを比較するための自己動作事例比較モードの分析結果画面が表示される。この自己動作事例比較モードの分析結果画面は、模範動作事例比較モードの分析結果画面（図１１参照）において、「自己動作事例比較」のボタン５６をユーザが操作することで表示される。
【0130】
この自己動作事例比較モードの分析結果画面には、模範動作事例比較モードの分析結果画面（図１１参照）と同様に、分析対象とした動作事例に関する時系列グラフ表示部５１および作業映像表示部５２と、比較対象とした動作事例に関する時系列グラフ表示部６１および作業映像表示部６２と、関節指定部５３と、「模範動作事例比較」のボタン５５と、「自己動作事例比較」のボタン５６と、サムネイル表示部５７と、が設けられている。
【0131】
一方、比較対象とした動作事例に関する時系列グラフ表示部６１には、比較対象となる過去動作事例に関する２つの関節位置の時系列グラフが表示される。作業映像表示部６２には、比較対象となる過去動作事例に関する作業映像が表示される。
【0132】
このように本実施形態では、分析対象とした動作事例の時系列グラフと、同一人物の過去動作事例の時系列グラフとが並べて表示されるため、両者を目視で比較して、分析対象とした動作事例と過去動作事例とで作業動作のグラフ上での違いを確認することができる。また、分析対象とした動作事例の作業映像、過去動作事例の作業映像とが並べて表示されるため、両者を目視で比較して、分析対象とした動作事例と過去動作事例とで作業動作の映像上での違いを確認することができる。
【0133】
また、分析対象の時系列グラフ表示部５１および比較対象の時系列グラフ表示部６１には、模範動作事例比較モードの分析結果画面（図１１参照）と同様に、分析対象の注目範囲を表す矩形ラベル６５、および比較対象の注目範囲を表す矩形ラベル６６が表示される。
【0134】
また、この自己動作事例比較モードの分析結果画面には、「模範動作事例比較」のボタン５５と、「自己動作事例比較」のボタン５６とが設けられている。「模範動作事例比較」のボタン５５をユーザが操作すると、模範動作事例比較モードの分析結果画面（図１１参照）に遷移する。
【0135】
なお、図１０，図１１，図１２に示す画面では、時系列グラフ表示部５１，６１に関節位置の時系列グラフが表示されているが、設定画面（図９参照）の動作情報指定部４２において関節速度を選択すると、時系列グラフ表示部５１，６１に関節速度の時系列グラフ（図３（Ｂ－１），（Ｂ－２）参照）が表示される。
【0136】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【0137】
本開示に係る作業分析装置及び作業分析方法は、作業者の作業動作を評価するための作業分析を、手間をかけずに簡単に行うことができ、さらに、作業者の作業動作の熟練度などを、他の作業者の作業状況や、当人の過去の作業状況との比較により簡単に確認することができる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置及び作業分析方法などとして有用である。
【符号の説明】
【0138】
１ カメラ
２ レコーダ
３ サーバ（作業分析装置）
４ ユーザ端末
１１ 映像入力部
１２ 画面出力部
１３ メモリ
１４ プロセッサ
４１ 関節指定部
４２ 動作情報指定部
４３ 注目範囲指定部
５１，６１ 時系列グラフ表示部
５２，６２ 作業映像表示部
５３ 関節指定部
５７ サムネイル表示部
６５，６６ 矩形ラベル（注目範囲を表す画像）
２ レコーダ
３ サーバ（作業分析装置）
４ ユーザ端末
１１ 映像入力部
１２ 画面出力部
１３ メモリ
１４ プロセッサ
４１ 関節指定部
４２ 動作情報指定部
４３ 注目範囲指定部
５１，６１ 時系列グラフ表示部
５２，６２ 作業映像表示部
５３ 関節指定部
５７ サムネイル表示部
６５，６６ 矩形ラベル（注目範囲を表す画像）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】