特許 6951685 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6951685

(24)【登録日】2021年9月29日

(45)【発行日】2021年10月20日

(54)【発明の名称】動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20211011BHJP

   G05B 19/418 20060101ALI20211011BHJP

   G06T 7/521 20170101ALI20211011BHJP

【ＦＩ】

   G06T7/20 300Z

   G05B19/418 Z

   G06T7/521

【請求項の数】14

【全頁数】41

(21)【出願番号】特願2018-3475(P2018-3475)

(22)【出願日】2018年1月12日

(65)【公開番号】特開2019-125023(P2019-125023A)

(43)【公開日】2019年7月25日

【審査請求日】2020年3月10日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】音田 浩臣

(72)【発明者】

【氏名】後藤 修一

(72)【発明者】

【氏名】河合 直浩

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１６−０４２３３２（ＪＰ，Ａ）

【文献】 特開２００６−２７７５４９（ＪＰ，Ａ）

【文献】 国際公開第２０１６／１４７７７０（ＷＯ，Ａ１）

【文献】 特開２００９−１１０２３９（ＪＰ，Ａ）

【文献】 特開２００９−０２０８９７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

ある作業領域の全体を撮影した第１動画を撮影する第１撮影部と、
前記第１動画に基づいて、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を測定する測定部と、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第２動画として撮影する複数の第２撮影部と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、
前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を表示する表示部と、
を備える動作分析システム。

【請求項2】

前記表示部は、前記第１動画及び前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ表示する、
請求項１に記載の動作分析システム。

【請求項3】

抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部をさらに備え、
前記表示部は、前記第２動画のうち、推定された位置で撮影された前記第２動画を表示する、
請求項２に記載の動作分析システム。

【請求項4】

前記基準動作情報は、複数の工程毎に定められており、
前記抽出部は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記表示部は、抽出された前記動作情報が示す工程を識別する情報を表示する、
請求項３に記載の動作分析システム。

【請求項5】

前記推定部は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項４に記載の動作分析システム。

【請求項6】

前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
請求項３に記載の動作分析システム。

【請求項7】

前記推定部は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項６に記載の動作分析システム。

【請求項8】

前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
請求項６又は７に記載の動作分析システム。

【請求項9】

前記表示部は、前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含む動画と、を表示する、
請求項１から８のいずれか一項に記載の動作分析システム。

【請求項10】

前記表示部は、抽出された前記動作情報を示すグラフと、抽出された前記動作情報が示す動作を前記作業者が実行している前記第２動画の場面と、を表示する、
請求項１から９のいずれか一項に記載の動作分析システム。

【請求項11】

前記表示部は、前記第２動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示する、
請求項１から１０のいずれか一項に記載の動作分析システム。

【請求項12】

ある作業領域の全体を撮影した第１動画に基づいて測定された、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得する第１取得部と、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第２動画として取得する複数の第２取得部と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、
前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定する特定部と、
を備える動作分析装置。

【請求項13】

ある作業領域の全体を撮影した第１動画に基づいて測定された、前記作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得することと、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第２動画として取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定することと、
を含む動作分析方法。

【請求項14】

動作分析装置に備えられた演算装置を、
ある作業領域の全体を撮影した第１動画に基づいて測定された、作業領域の全体において実行された複数の作業者の動作をそれぞれ示す複数の動作情報を取得する第１取得部、
前記作業領域の一部において、前記作業者のそれぞれが前記動作を実行している場面を、それぞれ第２動画として取得する複数の第２取得部、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部、及び
前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面、及び抽出された前記動作情報が測定された前記作業者を識別する情報を特定する特定部、
として動作させるための動作分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作分析システム、動作分析装置、動作分析方法及び動作分析プログラムに関する。

【背景技術】

【0002】

従来、製品の製造ラインに１又は複数のカメラを設置して、作業者の動作を画像や動画で記録することがある。近年、トラッカーを装着せずとも関節の３次元的な位置や移動速度を測定することのできるモーションキャプチャが普及し始めており、画像や動画の他に、作業者の動作を定量的に示す動作情報を取得する場合がある。

【0003】

下記特許文献１には、作業者の動画及び作業者の動作の特徴量の変化を表す動作信号を取得し、作業の結果が良好であった場合の動作信号と作業の結果が不良であった場合の動作信号とを比較して相違点を抽出し、相違点に対応する動画を表示する作業動作分析システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９−１１０２３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

製造ラインで様々な作業が行われる場合に、作業者が特定の動作を実行した場面を確認したい場合がある。このような要求に応えるために、製造ラインに１又は複数のカメラを設置して、作業者の動作を動画により継続的に撮影することがある。ここで、例えば、特許文献１に記載の技術によれば、作業の結果が不良であった場合の問題点を抽出するために、作業結果が良好であった場合と不良であった場合の相違点に対応する動画を表示している。しかしながら、作業結果が必ずしも明らかでない場合には、特許文献１に記載の技術を適用することはできず、作業者が特定の動作を実行した場面を抽出することもできない。

【0006】

また、仮に、製造ラインに１又は複数のカメラを設置して、作業者の動作を動画により継続的に撮影したとしても、設置するカメラの台数が増えることにより確認を要する動画の数が増えたり、個々の動画の長さが長大となったりすると、撮影された動画のうち、いずれかの部分に特定の動作が実行された場面が記録されていたとしても、特定の動作がいつ実行されたのかが分かりづらくなり、特定の動作が実行された場面を抽出することが困難となる。

【0007】

そこで、本発明は、特定の動作が実行された場面を容易に抽出することができる動作分析システム、動作分析装置、動作分析方法及び動作分析プログラムを提供する。

【課題を解決するための手段】

【0008】

本開示の一態様に係る動作分析システムは、ある作業領域において実行された１以上の作業者の動作を示す動作情報を測定する測定部と、作業者が動作を実行している場面を含む動画を撮影する撮影部と、作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部と、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を表示する表示部と、を備える。ここで、動作情報は、作業者の身体の動きを示す情報であってよく、作業者の身体の代表的な位置の変位を示す情報であってよい。作業者の身体の代表的な位置は、身体の１つの位置であってもよいが、典型的には複数あってよい。動作情報は、例えばパターン光を作業者に投影して撮影された動画から特徴点を抽出することで算出することができる。基準動作は、作業者が従うべき標準的な動作であってもよいし、ミス事例等の作業者の標準外の動作であってもよい。基準動作が標準的な動作である場合、所定の条件は、動作情報と基準動作情報との乖離が閾値以上であるという条件であってよい。基準動作が標準外の動作である場合、所定の条件は、動作情報と基準動作情報との乖離が閾値以下であるという条件であってよい。基準動作情報は、動作情報との比較が可能な情報であればよく、必ずしも動作情報と同じデータ形式の情報でなくてもよい。基準動作情報及び動作情報は、時系列データであってよい。また、「抽出された動作情報が示す動作を作業者が実行している場面」とは、一つの動画のうち抽出された動作情報が示す動作を作業者が実行している時間帯の場面であってもよいし、複数の動画のうち抽出された動作情報が示す動作を作業者が実行している一部の動画の場面であってもよい。また、動作情報が示す動作とは、動作情報により示される作業者の動作に関する定量的な情報に対応する動作であってもよい。

【0009】

この態様によれば、作業者の動作を定量的に示す動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を表示することで、所定の条件を満たす特定の動作が実行された場面を容易に抽出することができる。所定の条件を満たす特定の動作が実行された場面を抽出することで、例えば、作業者による作業の結果が良好であったか不良であったかに関わらず、作業者が特定の動作を実行した場面を抽出することができる。また、例えば、確認を要する動画の数が増えたり、個々の動画の長さが長大となったりした場合であっても、特定の動作が実行された場面を容易に抽出することができ、抽出作業の負担を軽減することができる。

【0010】

上記態様において、測定部は、複数の作業者の動作をそれぞれ示す複数の動作情報を測定し、表示部は、抽出された動作情報が測定された作業者を識別する情報を表示してもよい。

【0011】

この態様によれば、複数の作業者の動作をそれぞれ示す複数の動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、抽出された動作情報が測定された作業者を識別する情報を表示することで、複数の作業者のうち所定の条件を満たす特定の動作を実行した作業者を識別することができる。そのため、例えば、特定の動作を誰が実行したのかを確認するための負担を軽減することができる。

【0012】

上記態様において、撮影部は、作業領域を撮影した第１動画を撮影する第１撮影部及び作業領域の一部を撮影した第２動画を撮影する第２撮影部を含み、表示部は、第１動画及び第２動画を用いて、抽出された動作情報が示す動作を作業者が実行している時間帯の場面をそれぞれ表示してもよい。

【0013】

この態様によれば、作業領域を撮影した第１動画のうち、抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示することで、所定の条件を満たす特定の動作を全体的に確認することができ、作業領域の一部を撮影した第２動画のうち、抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示することで、所定の条件を満たす特定の動作の詳細を確認することができる。そのため、例えば、動画の長さが長大となった場合であっても、特定の動作が実行された時間帯の場面を容易に抽出することができ、抽出作業の負担を軽減することができる。

【0014】

上記態様において、第２撮影部は、作業領域の複数の部分をそれぞれ撮影した複数の第２動画を撮影し、抽出された動作情報が示す動作が実行された作業領域における位置を推定する推定部をさらに備え、表示部は、複数の第２動画のうち、推定された位置で撮影された第２動画を表示してもよい。

【0015】

この態様によれば、抽出された動作情報が示す動作が実行された作業領域における位置を推定することで、所定の条件を満たす特定の動作が実行された位置を推定することができ、作業領域における複数の位置で撮影された複数の第２動画のうち、推定された位置で撮影された第２動画を表示することで、推定された位置で行われた動作の詳細を確認することができる。そのため、例えば、特定の動作がどこで実行されたのかを確認するための負担を軽減することができる。

【0016】

上記態様において、基準動作情報は、複数の工程毎に定められており、抽出部は、複数の工程毎に、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出し、表示部は、抽出された動作情報が示す工程を識別する情報を表示してもよい。

【0017】

この態様によれば、作業者の動作を示す動作情報のうち、複数の工程毎に定められた基準動作情報との比較において所定の条件を満たす動作情報を抽出して、抽出された動作情報が示す工程を識別する情報を表示することで、所定の条件を満たす特定の動作がいずれの工程で実行された動作であるか確認することができる。そのため、例えば、特定の動作がいずれの工程で実行されたのかを確認するための負担を軽減することができる。

【0018】

上記態様において、推定部は、抽出された動作情報が示す工程に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定してもよい。

【0019】

この態様によれば、抽出された動作情報が示す工程に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、作業領域における複数の位置で撮影された複数の第２動画のうち、抽出された動作情報が示す工程が行われた位置で撮影された第２動画を表示することができ、当該工程で行われた動作の詳細を確認することができる。そのため、例えば、特定の動作が、いずれの工程に関してどこで実行されたのかを確認するための負担を軽減することができる。

【0020】

上記態様において、動作情報及び基準動作情報は、作業者の関節の座標値をそれぞれ含み、抽出部は、動作情報に含まれる座標値と、基準動作情報に含まれる座標値とを比較して、所定の条件を満たす動作情報を抽出してもよい。

【0021】

この態様によれば、動作情報に含まれる関節の座標値と、基準動作情報に含まれる関節の座標値とを比較することで、動作情報が基準動作情報からどの程度乖離しているかを正確に評価することができ、所定の条件を満たす動作情報を適切に抽出することができる。

【0022】

上記態様において、推定部は、抽出された動作情報に含まれる座標値に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定してもよい。

【0023】

この態様によれば、抽出された動作情報に含まれる関節の座標値に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、抽出された動作情報が示す動作が行われた位置を正確に推定することができる。

【0024】

上記態様において、基準動作情報は、複数の要素動作毎に定められており、推定部は、抽出された動作情報に含まれる座標値及び抽出された動作情報が示す要素動作に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定してもよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。なお、要素動作は、作業者の動作の構成要素であってよく、１又は複数の要素動作の組合せによって、作業者の一連の動作が構成されてよい。

【0025】

この態様によれば、抽出された動作情報に含まれる関節の座標値及び抽出された動作情報が示す要素動作に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、作業領域における複数の位置で撮影された複数の第２動画のうち、抽出された動作情報が示す要素動作が行われた位置で撮影された第２動画を表示することができ、当該要素動作の詳細を確認することができる。そのため、例えば、特定の動作が、いずれの要素動作に関してどこで実行されたのかを確認するための負担を軽減することができる。

【0026】

上記態様において、表示部は、動画を用いて抽出された動作情報が示す動作を作業者が実行している場面と、基準動作情報が示す基準動作を作業者が実行している動画と、を表示してもよい。例えば、表示部は、動画を用いて抽出された動作情報が示す動作を作業者が実行している場面と、基準動作情報が示す基準動作を作業者が実行している動画と、を一画面に並列させて同時に表示してもよいし、一画面に重畳させて同時に表示してもよいし、連続させて交互に表示してもよい。

【0027】

この態様によれば、動画を用いて抽出された動作情報が示す動作を作業者が実行している場面と、基準動作を作業者が実行している動画とを表示することで、作業者により実行された所定の条件を満たす特定の動作と、基準動作との比較が容易となる。

【0028】

上記態様において、表示部は、抽出された動作情報を示すグラフと、抽出された動作情報が示す動作を作業者が実行している動画の場面と、を表示してもよい。

【0029】

この態様によれば、抽出された動作情報を示すグラフと、抽出された動作情報が示す動作を作業者が実行している動画の場面とを表示することで、所定の条件を満たす特定の動作が実行された場面を、動画とグラフという異なる観点で確認することができる。そのため、例えば、特定の動作を定性的及び定量的に確認するための負担を軽減することができる。

【0030】

上記態様において、表示部は、動画のうち抽出された動作情報が示す動作を作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示してもよい。

【0031】

この態様によれば、動画のうち抽出された動作情報が示す動作を作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示することで、所定の条件を満たす特定の動作が実行された場面の全体を一目で確認することができる。そのため、例えば、特定の動作の全体を短時間で確認することができるようになり、確認のための負担を軽減することができる。

【0032】

本開示の他の態様に係る動作分析装置は、ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部と、作業者が動作を実行している場面を含む動画を取得する第２取得部と、作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部と、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定する特定部と、を備える。

【0033】

この態様によれば、作業者の動作を示す動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定することで、所定の条件を満たす特定の動作が実行された場面を容易に抽出することができる。そのため、例えば、作業者による作業の結果が良好であったか不良であったかに関わらず、作業者が特定の動作を実行した場面を抽出することができる。また、例えば、確認を要する動画の数が増えたり、個々の動画の長さが長大となったりした場合であっても、特定の動作が実行された場面を容易に抽出することができ、抽出作業の負担を軽減することができる。

【0034】

本開示の他の態様に係る動作分析方法は、ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得することと、作業者が動作を実行している場面を含む動画を取得することと、作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定することと、を含む。

【0035】

この態様によれば、作業者の動作を示す動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定することで、所定の条件を満たす特定の動作が実行された場面を容易に抽出することができる。そのため、例えば、作業者による作業の結果が良好であったか不良であったかに関わらず、作業者が特定の動作を実行した場面を抽出することができる。また、例えば、確認を要する動画の数が増えたり、個々の動画の長さが長大となったりした場合であっても、特定の動作が実行された場面を容易に抽出することができ、抽出作業の負担を軽減することができる。

【0036】

本開示の他の態様に係る動作分析プログラムは、動作分析装置に備えられた演算装置を、ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部、作業者が動作を実行している場面を含む動画を取得する第２取得部、作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部、及び動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定する特定部、として動作させる。

【0037】

この態様によれば、作業者の動作を示す動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定することで、所定の条件を満たす特定の動作が実行された場面を抽出することができる。そのため、例えば、作業者による作業の結果が良好であったか不良であったかに関わらず、作業者が特定の動作を実行した場面を抽出することができる。また、例えば、確認を要する動画の数が増えたり、個々の動画の長さが長大となったりした場合であっても、特定の動作が実行された場面を容易に抽出することができ、抽出作業の負担を軽減することができる。

【発明の効果】

【0038】

本発明によれば、特定の動作が実行された場面を容易に抽出することができる動作分析システム、動作分析装置、動作分析方法及び動作分析プログラムを提供することができる。

【図面の簡単な説明】

【0039】

【図1】本発明の実施形態に係る動作分析システムの概要を示す図である。

【図2】本実施形態に係る動作分析システムの機能ブロックを示す図である。

【図3】本実施形態に係る動作分析装置の物理的構成を示す図である。

【図4】本実施形態に係る動作分析システムにより測定される動作情報の一例を示す図である。

【図5】本実施形態に係る動作分析システムにより記憶される第１基準動作情報の例を示す図である。

【図6】本実施形態に係る動作分析システムにより記憶される第１対応テーブルの例を示す図である。

【図7】本実施形態に係る動作分析システムにより実行される動作情報の抽出処理の第１例のフローチャートである。

【図8】本実施形態に係る動作分析システムにより実行される動画表示処理の第１例のフローチャートである。

【図9】本実施形態に係る動作分析システムにより表示される画面の一例である。

【図10】本実施形態に係る動作分析システムにより記憶される第２対応テーブルの例を示す図である。

【図11】本実施形態に係る動作分析システムにより実行される動画表示処理の第２例のフローチャートである。

【図12】本実施形態に係る動作分析システムにより記憶される第２基準動作情報の例を示す図である。

【図13】本実施形態に係る動作分析システムにより実行される動作情報の抽出処理の第２例のフローチャートである。

【図14】本実施形態に係る動作分析システムにより実行される動画表示処理の第３例のフローチャートである。

【図15】本実施形態に係る動作分析システムにより記憶される第３対応テーブルの例を示す図である。

【図16】本実施形態に係る動作分析システムにより実行される動画表示処理の第４例のフローチャートである。

【図17】変形例に係る動作分析システムにより実行される表示態様の選択処理のフローチャートである。

【図18】変形例に係る動作分析システムにより表示される画面の一例である。

【図19】本開示の他の実施形態に係る動作分析システムの機能ブロックを示す図である。

【発明を実施するための形態】

【0040】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0041】

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム１００は、ある作業領域Ｒにおいて実行された作業者の動作を定量的に示す動作情報を測定する測定部３０と、作業者が動作を実行している動画を撮影する第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃと、を備える。本例の作業領域Ｒは、製造ライン全体を含む領域であるが、作業領域Ｒは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。

【0042】

本例では、第１作業者Ａ１及び第２作業者Ａ２が、作業領域Ｒにおいて、予め定められた動作を行う場合について説明する。第１作業者Ａ１は、例えば第１部品のピッキング、配置、固定といった動作を実行し、第２作業者Ａ２は、例えば第２部品のピッキング、配置、固定といった動作を実行することができる。

【0043】

動作分析システム１００は、動作分析装置１０を含む。動作分析装置１０は、作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報を記憶する記憶部と、動作情報と、基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部と、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を表示する表示部１０ｆと、を備える。ここで、動作情報が示す動作とは、動作情報により示される作業者の動作に関する定量的な情報に対応する動作である。なお、記憶部は、動作分析装置１０と別体であってもよく、動作分析装置１０と通信可能なものであればよい。

【0044】

ここで、基準動作は、作業者が従うべき標準的な動作であってもよいし、作業者のミス動作や標準外の動作であってもよい。基準動作が標準的な動作である場合、所定の条件は、動作情報と基準動作情報との乖離が閾値以上であるという条件であってよい。この場合、抽出部は、標準外の動作を示す動作情報を抽出することとなる。一方、基準動作がミス動作や標準外の動作である場合、所定の条件は、動作情報と基準動作情報との乖離が閾値以下であるという条件であってよい。この場合、抽出部は、ミス動作や標準外の動作を抽出することとなる。以下では、基準動作が標準的な動作であり、所定の条件が、動作情報と基準動作情報との乖離が閾値以上であるという条件である場合について説明する。なお、標準外の動作は、作業者が咳をしたり、鼻をこすったりといった製品の品質に影響を与え得る動作を含んでよい。

【0045】

表示部１０ｆは、一つの動画のうち抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示してもよいし、複数の動画のうち抽出された動作情報が示す動作を作業者が実行している一部の動画の場面を表示してもよい。

【0046】

動作分析システム１００は、測定部３０によって、作業者の複数の関節の座標値の変位等、作業者の身体の代表的な位置の変位を示す動作情報を測定する。そして、作業者が従うべき標準的な動作が実行された場合の動作情報を基準動作情報として事前に記憶部に記憶する。

【0047】

その後、測定部３０によって作業者の動作情報を測定し、測定部３０による動作情報の測定と並行して、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃによって作業者が動作を実行している動画を撮影して、記憶部に記憶する。続いて、抽出部によって、測定された動作情報と、記憶部に記憶された基準動作情報とを比較して、動作情報と基準動作情報との乖離が閾値以上であるような動作情報を抽出する。ここで、動作情報と基準動作情報の比較は、例えば、ある動作を示す動作情報の開始時点と終了時点を特定し、対応するタイミングで記録された動作情報と基準動作情報との乖離を求めることで行ってよい。

【0048】

そして、抽出された動作情報、すなわち作業者が従うべき標準的な動作が実行された場合の基準動作情報と比較して乖離が閾値以上である動作情報が示す動作を作業者が実行している動画の場面を表示部１０ｆによって表示する。

【0049】

このように、作業者の動作を定量的に示す動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を表示することで、撮影された動画の数又は長さに関わらず、所定の条件を満たす特定の動作が実行された場面を容易に抽出することができる。例えば、一つの動画のうち抽出された動作情報が示す動作を実行している時間帯の場面を表示することで、一つの動画の中から特定の動作を確認するのに好適な場面を抽出することができる。また、例えば、複数の撮影部により撮影された複数の動画のうち抽出された動作情報が示す動作を実行している一部の動画の場面を表示することで、特定の動作を確認するのに好適な撮影部により撮影された動画を抽出することができる。さらに、所定の条件を満たす動作情報を抽出して、動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定することで、作業者の動作を撮影した動画と基準動作を撮影した動画とを比較して所定の条件を満たす特定の動作が実行された場面を検索する場合と比較して、演算負荷を大幅に減らすことができる。

【0050】

例えば、基準動作が標準的な動作であり、所定の条件が、動作情報と基準動作情報との乖離が閾値以上であるという条件である場合、本実施形態に係る動作分析システム１００によれば、標準的ではない動作が実行された動画の場面を抽出することができる。これにより、短期的には、標準的ではない動作が実行されたことを早期に検出し、例えば製造ラインにおいて不良品が製造されるおそれを低減することができる。仮に、標準的ではない動作が行われたが、良品が製造された場合であっても、問題が発生する兆候を捉え、その後の確認作業を効率化できるという点で技術的意義がある。このようなメリットは、動作分析システム１００を用いる場合にリアルタイムに得られるメリットである。

【0051】

また、長期的には、作業者の習熟支援に用いたり、基準動作の改善を検討する材料を提供したりすることができる。例えば、多くの作業者が標準的でない動作を行う部分を特定して、基準動作を改良することが考えられる。このようなメリットは、動作分析システム１００を継続的に用いる場合に得られるメリットであり、非リアルタイムに得られるメリットである。

【0052】

§２ 構成例
［機能構成］
次に、図２を用いて、本実施形態に係る動作分析システム１００の機能構成の一例を説明する。動作分析システム１００は、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ、測定部３０及び動作分析装置１０を備える。そして、動作分析装置１０は、第１取得部１１、第２取得部１２、第３取得部１３、記憶部１４、抽出部１５、特定部１６、推定部１７及び表示部１０ｆを備える。

【0053】

＜撮影部の構成＞
第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ汎用のカメラによって構成されてよく、作業領域Ｒにおいて第１作業者Ａ１及び第２作業者Ａ２が動作を実行している場面を含む動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ作業領域Ｒの一部を撮影してよく、作業領域Ｒよりも狭い領域の動画を撮影してよい。具体的には、第１作業者Ａ１及び第２作業者Ａ２により実行される動作をクローズアップした動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、例えば、第１作業者Ａ１及び第２作業者Ａ２の手元をクローズアップした動画を撮影してよい。

【0054】

また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒの複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第１撮影部２０ａは、主に第１作業者Ａ１が動作を実行している動画を撮影し、第３撮影部２０ｃは、主に第２作業者Ａ２が動作を実行している動画を撮影し、第２撮影部２０ｂは、第１作業者Ａ１が動作を実行している動画及び第２作業者Ａ２が動作を実行している動画の両方を撮影してよい。また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。

【0055】

＜測定部の構成＞
測定部３０は、モーションキャプチャにより構成されてよく、ある作業領域Ｒにおいて実行された第１作業者Ａ１及び第２作業者Ａ２の動作をそれぞれ定量的に示す複数の動作情報を測定してよい。測定部３０の構成は任意であるが、例えば、第１作業者Ａ１及び第２作業者Ａ２にパターン光を投影して、パターン光が投影された状態の第１作業者Ａ１及び第２作業者Ａ２の動画を撮影し、撮影した動画に基づいて、第１作業者Ａ１及び第２作業者Ａ２の複数の関節の座標値を測定するものであってよい。また、測定部３０は、複数の作業者に関する複数の動作情報を測定する場合、動作情報に作業者を識別する情報を付加してもよい。なお、測定部３０は、第１作業者Ａ１及び第２作業者Ａ２の複数の関節の座標値以外を測定するものであってもよく、例えば、第１作業者Ａ１及び第２作業者Ａ２の指先や頭部等、必ずしも関節ではない身体の代表的な位置の座標値を測定するものであってもよく、関節の座標値及び関節以外の身体の代表的な位置の座標値を併せて測定するものであってもよい。また、測定部３０は、第１作業者Ａ１及び第２作業者Ａ２が装着したトラッカーの位置の座標値を測定するものであってもよく、その場合、身体の代表的な位置は、トラッカーの位置であってよい。また、身体の代表的な位置は、身体の特徴点の位置と言い換えてもよい。

【0056】

動作分析システム１００には、複数の測定部３０が含まれてもよい。複数の測定部３０によって、複数の作業者の動作情報を測定する場合、同一の作業者の動作情報が重複して測定されることがあり得るが、動作情報に作業者を識別する情報を付加して、重複を取り除いたり、異なる測定部３０により測定された動作情報を合成したりしてもよい。

【0057】

測定部３０は、第１作業者Ａ１及び第２作業者Ａ２が動作を実行している動画を撮影する第４撮影部を兼ねてもよい。第４撮影部は、作業領域Ｒ全体の動画を撮影してよい。すなわち、第４撮影部は、第１作業者Ａ１及び第２作業者Ａ２が動作を実行している様子を、第１作業者Ａ１及び第２作業者Ａ２が両方含まれるように撮影してよい。一方、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、第１作業者Ａ１及び第２作業者Ａ２の一方が含まれるように、第１作業者Ａ１及び第２作業者Ａ２が動作を実行している動画を撮影してよい。

【0058】

測定部３０（第４撮影部）により撮影される作業領域Ｒを撮影した動画は、本発明の「第１動画」に相当し、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃにより撮影される作業領域Ｒの一部を撮影した動画は、本発明の「第２動画」に相当する。また、本実施形態の測定部３０（第４撮影部）は、本発明の「第１撮影部」に相当し、本実施形態の第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、本発明の「第２撮影部」に相当する。

【0059】

＜第１取得部の構成＞
第１取得部１１は、作業領域Ｒにおいて実行された第１作業者Ａ１及び第２作業者Ａ２の動作を定量的に示す動作情報を、測定部３０から取得する。第１取得部１１により取得された動作情報は、記憶部１４に伝送され、動作情報履歴１４ｂとして記憶される。動作分析システム１００が複数の測定部３０を含む場合、第１取得部１１は、複数の測定部３０それぞれから動作情報を取得してよく、いずれの測定部３０から取得した動作情報であるかを識別する情報を付加して、動作情報を記憶部１４に伝送してもよい。なお、動作情報の具体的な例については、後に図４を用いて詳細に説明する。動作情報は、例えば、作業者の身体の代表的な位置の座標値を１秒間隔で測定した情報であってよい。

【0060】

＜第２取得部の構成＞
第２取得部１２は、第１作業者Ａ１及び第２作業者Ａ２が動作を実行している動画を、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ及び測定部３０（第４撮影部）から取得する。第２取得部１２により取得された動画は、記憶部１４に伝送され、動画履歴１４ａとして記憶される。第２取得部１２は、複数の撮影部のうちいずれの撮影部から取得した動画であるかを識別する情報を付加して、動画を記憶部１４に伝送してもよい。

【0061】

＜第３取得部の構成＞
第３取得部１３は、作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報を、測定部３０から取得する。第３取得部１３により取得された基準動作情報は、記憶部１４に伝送され、基準動作情報１４ｃとして記憶される。なお、第３取得部１３は、既に記憶された動作情報履歴１４ｂのうち、後に説明する抽出部１５により抽出されなかった動作情報を、基準動作情報として取得して、基準動作であることを示す情報を付加して記憶部１４に記憶してもよい。また、第３取得部１３は、既に記憶された動作情報履歴１４ｂのうち、ユーザにより指定された動作情報を、基準動作情報として取得して、基準動作であることを示す情報を付加して記憶部１４に記憶してもよい。なお、基準動作情報の具体的な例については、後に図５等を用いて詳細に説明する。基準動作情報は、例えば、作業者が従うべき標準的な動作が実行された場合における作業者の身体の代表的な位置の座標値を１秒間隔で測定した情報であってよい。

【0062】

＜記憶部の構成＞
記憶部１４は、少なくとも、作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報１４ｃを記憶する。本実施形態に係る動作分析システム１００では、記憶部１４は、動画履歴１４ａ、動作情報履歴１４ｂ、基準動作情報１４ｃ及び対応テーブル１４ｄを記憶する。このうち、対応テーブル１４ｄは、抽出部１５により抽出された動作情報が示す動作が実行された作業領域Ｒにおける位置を推定するために用いられる。対応テーブル１４ｄについては、後に具体的な例を示して説明する。

【0063】

＜抽出部の構成＞
抽出部１５は、測定部３０により測定された動作情報と、基準動作情報１４ｃとを比較して、所定の条件を満たす動作情報を抽出する。ここで、動作情報及び基準動作情報１４ｃは、作業者の関節の座標値をそれぞれ含んでよく、抽出部１５は、動作情報に含まれる座標値と、基準動作情報１４ｃに含まれる座標値とを比較して、所定の条件を満たす動作情報を抽出してよい。この場合、所定の条件は、動作情報に含まれる座標値と、基準動作情報１４ｃに含まれる座標値との乖離度が閾値以上であるという条件であってよい。

【0064】

また、抽出部１５は、測定部３０により測定された動作情報と、複数の工程毎に定められた基準動作情報１４ｃとを比較して、所定の条件を満たす動作情報を抽出してもよい。この場合、抽出される動作情報は、一つの工程に対応する。また、抽出部１５は、測定部３０により測定された動作情報と、複数の要素動作毎に定められた基準動作情報１４ｃとを比較して、所定の条件を満たす動作情報を抽出してもよい。この場合、抽出される動作情報は、一つの要素動作に対応する。

【0065】

＜特定部の構成＞
特定部１６は、動画履歴１４ａを用いて、抽出された動作情報が示す動作を作業者が実行している場面を特定する。特定部１６は、動作情報が測定された時刻と、動画が撮影された時刻とを比較して、動画履歴１４ａのうち、抽出された動作情報が示す動作を実行している時間帯の場面を特定してよい。また、特定部１６は、抽出された動作情報に付加された作業者を識別する情報に基づいて、抽出された動作情報が測定された作業者を特定してもよい。さらに、特定部１６は、抽出部１５により抽出された動作情報が示す工程を特定してもよいし、抽出部１５により抽出された動作情報が示す要素動作を特定してもよい。

【0066】

＜推定部の構成＞
推定部１７は、抽出部１５により抽出された動作情報が示す動作が実行された作業領域Ｒにおける位置を推定する。推定部１７は、記憶部１４に記憶された対応テーブル１４ｄを参照することで、抽出部１５により抽出された動作情報に対応する作業領域Ｒにおける位置を推定してよい。本実施形態に係る動作分析システム１００では、記憶部１４に、工程と撮影部との対応が示された第１対応テーブルＤ３と、作業者の関節の座標値と撮影部との対応が示された第２対応テーブルＤ４と、作業者の関節の座標値及び要素動作と撮影部との対応が示された第３対応テーブルＤ６と、が記憶されてよい。特定部１６は、複数の動画のうち、推定部１７により推定された位置で撮影された動画を特定してよい。

【0067】

推定部１７は、抽出部１５により抽出された動作情報が示す工程に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してもよい。この場合、推定部１７は、工程と撮影部との対応が示された第１対応テーブルＤ３を参照して、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してよい。

【0068】

推定部１７は、抽出部１５により抽出された動作情報に含まれる座標値に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してもよい。この場合、推定部１７は、作業者の関節の座標値と撮影部との対応が示された第２対応テーブルＤ４を参照して、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してよい。

【0069】

推定部１７は、抽出部１５により抽出された動作情報に含まれる座標値及び抽出された動作情報が示す要素動作に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してもよい。この場合、推定部１７は、作業者の関節の座標値及び要素動作と撮影部との対応が示された第３対応テーブルＤ６を参照して、抽出された動作情報が示す動作を作業者が実行している作業領域Ｒにおける位置を推定してよい。

【0070】

なお、動作分析システム１００は、作業者が標準的ではない動作を行う頻度に基づいて、作業者の疲れ、焦りを評価してもよい。疲れ、焦りの評価は、例えば、ある作業者について検出された標準的ではない動作の発生頻度が、全ての作業者に関する平均発生頻度からどの程度乖離しているか評価することにより行ってもよい。また、動作分析システム１００は、評価された作業者の疲れ、焦りに基づいて、作業者の作業負担を調整してもよい。より具体的には、評価された作業者の疲れ、焦りが大きくなるほど、製造ラインの流れ速度を遅くするように調整して、作業者の作業負担を軽減し、不良品の発生を防止することとしてもよい。

【0071】

［ハードウェア構成］
次に、図３を用いて、本実施形態に係る動作分析装置１０のハードウェア構成の一例を説明する。動作分析装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１４に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１４に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置１０が一台のコンピュータで構成される場合について説明するが、動作分析装置１０は、複数のコンピュータを用いて実現されてもよい。

【0072】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、動作情報と基準動作情報とを比較して、所定の条件を満たす動作情報を抽出し、動画のうち、抽出された動作情報が示す動作を実行している部分を特定するプログラム（動作分析プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

【0073】

ＲＡＭ１０ｂは、記憶部１４のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する動作分析プログラムや、動画履歴１４ａ、動作情報履歴１４ｂ、基準動作情報１４ｃ及び対応テーブル１４ｄといったデータを記憶する。

【0074】

ＲＯＭ１０ｃは、記憶部１４のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。

【0075】

通信部１０ｄは、動作分析装置１０を外部機器に接続するインターフェースである。通信部１０ｄは、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ及び測定部３０と例えばＬＡＮ（Local Area Network）により接続されて、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃから動画を受信し、測定部３０から動画及び動作情報を受信してよい。また、通信部１０ｄは、インターネットに接続されて、インターネットを介して動画を受信したり、動作情報を受信したりしてもよい。また、通信部１０ｄは、インターネットを介して、撮影された動画のうち、抽出部１５により抽出された動作情報が示す動作を実行している部分を、外部機器に送信してもよい。

【0076】

入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。

【0077】

表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆに表示される画面の例については、後に詳細に説明する。

【0078】

動作分析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。動作分析装置１０では、ＣＰＵ１０ａが動作分析プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0079】

§３ 動作例
図４は、本実施形態に係る動作分析システム１００により測定される動作情報Ｄ１の一例を示す図である。同図では、測定部３０によって、１秒間隔で複数の作業者の関節の座標値を測定した例を示している。

【0080】

本例の動作情報Ｄ１では、「時刻」、「作業者ＩＤ」、「右手（Ｘ座標）」、「右手（Ｙ座標）」、「右手（Ｚ座標）」及び「左手（Ｘ座標）」といった項目を一例として示している。ここで、「時刻」は、測定部３０により動作情報が測定された日時を表し、例えば上から２行目及び６行目に「２０１７／９／１ ８：４３：２１」と示されており、２０１７年９月１日の午前８時４３分２１秒に測定された動作情報であることが表されている。同様に、上から３行目には「２０１７／９／１ ８：４３：２２」と示されており、２０１７年９月１日の午前８時４３分２２秒に測定された動作情報であることが表されている。また、上から４行目には「２０１７／９／１ ８：４３：２３」と示されており、２０１７年９月１日の午前８時４３分２３秒に測定された動作情報であることが表されている。なお、５行目及び７行目に示された「・・・」という記載は、複数のデータが含まれていることを示す省略記号である。

【0081】

「作業者ＩＤ」は、測定部３０により動作情報が測定された複数の作業者を識別する情報である。本例の場合、作業者ＩＤは、上から２行目〜４行目について「Ａ１」であり、上から６行目について「Ａ２」である。すなわち、上から２行目〜４行目の動作情報は、第１作業者Ａ１について測定された動作情報であり、上から６行目の動作情報は、第２作業者Ａ２について測定された動作情報であることが示されている。

【0082】

「右手（Ｘ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、右手のＸ座標値は、第１作業者Ａ１について、８時４３分２１秒に「４６３」であり、８時４３分２２秒に「５３３」であり、８時４３分２３秒に「４８３」であることが示されている。このことから、第１作業者は、Ｘ軸方向に７ｃｍ右手を動かしたことが読み取れる。また、第２作業者Ａ２について、右手のＸ座標値は、８時４３分２１秒に「４１６」であることが示されている。

【0083】

「右手（Ｙ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＹ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、右手のＹ座標値は、第１作業者Ａ１について、８時４３分２１秒に「５７４」であり、８時４３分２２秒に「９７７」であり、８時４３分２３秒に「８３０」であることが示されている。このことから、第１作業者は、Ｙ軸方向に４０ｃｍほど大きく右手を動かし、１５ｃｍほど位置を戻したことが読み取れる。また、第２作業者Ａ２について、右手のＹ座標値は、８時４３分２１秒に「９６５」であることが示されている。

【0084】

「右手（Ｚ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＺ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、右手のＺ座標値は、第１作業者Ａ１について、８時４３分２１秒に「５３１」であり、８時４３分２２秒に「３４１」であり、８時４３分２３秒に「６２４」であることが示されている。このことから、第１作業者は、Ｚ座標のマイナス方向に９ｃｍほど右手を動かし、Ｚ座標のプラス方向に２８ｃｍほど右手を動かしたことが読み取れる。また、第２作業者Ａ２について、右手のＺ座標値は、８時４３分２１秒に「４０８」であることが示されている。

【0085】

「左手（Ｘ座標）」は、作業者の左手関節について、測定部３０を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、左手のＸ座標値は、第１作業者Ａ１について、８時４３分２１秒に「３２７」であり、８時４３分２２秒に「８０６」であり、８時４３分２３秒に「６５２」であることが示されている。このことから、第１作業者は、Ｘ軸方向に７ｃｍ左手を動かし、すぐに元の位置に戻したことが読み取れる。また、第２作業者Ａ２について、左手のＸ座標値は、８時４３分２１秒に「３７４」であることが示されている。

【0086】

本例では、動作情報Ｄ１に含まれる他の関節の座標値の記載を省略しているが、動作情報Ｄ１は、手首、ひじ、肩、頭、腰、ひざ、足首等の各関節の３次元座標値を含んでもよい。また、本例では、動作情報Ｄ１は、２名の作業者の動作情報を含んでいるが、３名以上の作業者の動作情報を含んでもよいし、複数の測定部３０により測定された複数の作業者毎の動作情報を含んでもよい。

【0087】

図５は、本実施形態に係る動作分析システム１００により記憶される第１基準動作情報Ｄ２の例を示す図である。同図では、複数の工程毎に定められた基準動作情報を示しており、作業者が標準的な動作を行った場合の関節の座標値を１秒間隔で記録した例を示している。

【0088】

本例の第１基準動作情報Ｄ２では、「開始からの経過時間」、「工程」、「右手（Ｘ座標）」、「右手（Ｙ座標）」、「右手（Ｚ座標）」及び「左手（Ｘ座標）」といった項目を一例として示している。ここで、「開始からの経過時間」は、一つの工程の開始から終了までの経過時間を秒単位で示している。例えば、上から２行目に「００：００：００」と示されており、工程の開始時における基準動作情報を示す行であることが表されている。同様に、上から３行目には「００：００：０１」と示されており、工程の開始から１秒後の基準動作情報であることが表されている。また、上から５行目には「００：００：００」と示されており、異なる工程の開始時における基準動作情報を示す行であることが表されている。同様に、上から６行目には「００：００：０１」と示されており、工程の開始から１秒後の基準動作情報であることが表されている。なお、４行目及び７行目に示された「・・・」という記載は、複数のデータが含まれていることを示す省略記号である。

【0089】

「工程」は、基準動作情報がいずれの工程に関するものか示す情報である。例えば、上から２行目及び３行目には、「１．組立」と示されており、これらの行の基準動作情報は、組立工程に関するものであることが表されている。同様に、上から５行目及び６行目には、「５．梱包」と示されており、これらの行の基準動作情報は、梱包工程に関するものであることが表されている。

【0090】

「右手（Ｘ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＸ座標値は、組立工程について、開始時に「４６３」であり、１秒後に「５３３」であることが示されている。また、梱包工程について、標準的な右手のＸ座標値は、開始時に「４１６」であり、１秒後に「７９６」であることが示されている。

【0091】

「右手（Ｙ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＹ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＹ座標値は、組立工程について、開始時に「５７４」であり、１秒後に「９７７」であることが示されている。また、梱包工程について、標準的な右手のＹ座標値は、開始時に「９６５」であり、１秒後に「５９５」であることが示されている。

【0092】

「右手（Ｚ座標）」は、作業者の右手関節について、測定部３０を原点とする座標系のＺ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＺ座標値は、組立工程について、開始時に「５３１」であり、１秒後に「３４１」であることが示されている。また、梱包工程について、標準的な右手のＺ座標値は、開始時に「４０８」であり、１秒後に「９４９」であることが示されている。

【0093】

「左手（Ｘ座標）」は、作業者の左手関節について、測定部３０を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な左手のＸ座標値は、組立工程について、開始時に「３２７」であり、１秒後に「８０６」であることが示されている。また、梱包工程について、標準的な左手のＸ座標値は、開始時に「３７４」であり、１秒後に「５４９」であることが示されている。

【0094】

本例では、第１基準動作情報Ｄ２に含まれる他の関節の座標値の記載を省略しているが、第１基準動作情報Ｄ２は、手首、ひじ、肩、頭、腰、ひざ、足首等の各関節及び身体の代表的な位置の３次元座標値を含んでもよい。また、本例では、第１基準動作情報Ｄ２は、２つの工程の基準動作情報を含んでいるが、３つ以上の工程の基準動作情報を含んでもよい。

【0095】

図６は、本実施形態に係る動作分析システム１００により記憶される第１対応テーブルＤ３の例を示す図である。同図では、複数の工程と、複数の撮影部との対応関係を記録した例を示している。

【0096】

本例の第１対応テーブルＤ３では、「工程」及び「撮影部」といった項目を一例として示している。第１対応テーブルＤ３には、複数の工程と、複数の撮影部との対応関係が、一対一で示されている。例えば、「１．組立」という工程について、対応する撮影部は「第１撮影部」（第１撮影部２０ａ）であることが示されており、「５．梱包」という工程について、対応する撮影部は「第３撮影部」（第３撮影部２０ｃ）であることが示されている。

【0097】

なお、第１対応テーブルＤ３は、複数の工程と、複数の撮影部との対応関係を、一対多で示すものであってもよい。例えば、組立工程に対して、２以上の撮影部が対応していてもよい。その場合、組立工程を異なる角度、異なる距離から撮影した２以上の撮影部が示されてよい。

【0098】

図７は、本実施形態に係る動作分析システム１００により実行される動作情報の抽出処理の第１例のフローチャートである。動作情報の抽出処理の第１例は、動作情報Ｄ１と第１基準動作情報Ｄ２とを比較して、所定の条件を満たす動作情報を抽出する処理である。

【0099】

動作分析システム１００は、はじめに、動作情報Ｄ１に含まれる各行の座標値と、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報に含まれる開始座標値との差を算出する（Ｓ１０）。ここで、開始座標値とは、「開始からの経過時刻」が「００：００：００」である場合の各関節の座標値である。

【0100】

動作分析システム１００は、次に、座標値の差が閾値以下となる動作情報Ｄ１の行を、所定の工程の開始行と特定する（Ｓ１１）。ここで、座標値の差が閾値以下であるか否かは、座標値の差の絶対値が閾値以下であるかによって判断してよい。このような処理は、動作情報Ｄ１の各行の座標値が、いずれの工程に対応するものであるか予め明らかでないために必要となる。

【0101】

動作分析システム１００は、続いて、動作情報Ｄ１に含まれる各行の座標値と、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報に含まれる終了座標値との差を算出する（Ｓ１２）。ここで、終了座標値とは、所定の工程に関する最終行に示された各関節の座標値である。動作分析システム１００は、座標値の差が閾値以下となる動作情報の行を、所定の工程の終了行と特定する（Ｓ１３）。ここで、座標値の差が閾値以下であるか否かは、座標値の差の絶対値が閾値以下であるかによって判断してよい。

【0102】

動作分析システム１００は、動作情報Ｄ１に含まれる複数の行のうち、特定された開始行から終了行までを切り出す（Ｓ１４）。この際、切り出される行数は、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報の行数と必ずしも一致しない。そこで、動作分析システム１００は、動作情報Ｄ１から切り出した動作情報の行数が、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報の行数と一致するように補間又は間引きする（Ｓ１５）。当然ながら、動作情報Ｄ１から切り出した動作情報の行数が、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報の行数より少ない場合に補間し、動作情報Ｄ１から切り出した動作情報の行数が、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報の行数より多い場合に間引きしてよい。なお、補間や間引きの方法は任意であるが、例えば、補間を行う場合には、前後の行の平均値で補間してよいし、間引きを行う場合は、座標値の変化が比較的少ない行を間引くこととしてよい。

【0103】

動作分析システム１００は、次に、補間又は間引きした動作情報の座標値と、所定の工程の基準動作情報の座標値との乖離度を算出する（Ｓ１６）。ここでいう乖離度は、作業者の動作が、作業者が従うべき標準的な動作からどの程度ずれているかを示す数値である。乖離度は、関節毎に算出してもよく、複数の関節を組み合わせた単位（右手など）で算出してもよい。例えば、関節毎の乖離度は、ある時刻に関する関節の３次元座標値について、動作情報の座標値（ｘ、ｙ、ｚ）と、所定の工程の基準動作情報の座標値（Ｘ，Ｙ，Ｚ）との差を二乗して平方根をとり、（（ｘ−Ｘ）²＋（ｙ−Ｙ）²＋（ｚ−Ｚ）²）^1/2という値を求め、この値を全ての時間にわたって総和することで算出してよい。もっとも、乖離度は他の値によって算出してもよい。

【0104】

乖離度が閾値以上である場合（Ｓ１７：ＹＥＳ）、動作分析システム１００は、特定された開始行から終了行までの動作情報を抽出する（Ｓ１８）。なお、抽出される動作情報は、補間又は間引きがされていない状態の動作情報であってよい。ここで、乖離度を関節毎に算出した場合、閾値も関節毎に設定されてよく、関節毎に算出された乖離度のうちいずれか１つが閾値以上である場合に、動作情報を抽出してもよいし、２以上の関節について算出された乖離度が閾値以上である場合に、動作情報を抽出することとしてもよい。

【0105】

動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する（Ｓ１９）。動画の表示処理については、次図を用いて詳細に説明する。最後に、第１基準動作情報Ｄ２に含まれる全ての行程について分析が終了したか判断し（Ｓ２０）、全ての工程について分析が終了した場合（Ｓ２０：ＹＥＳ）、動作情報の抽出処理の第１例が終了する。

【0106】

なお、本例では、動作情報Ｄ１に含まれる各行の座標値と、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報に含まれる開始座標値との差を算出することで所定の工程の開始行を特定し、動作情報Ｄ１に含まれる各行の座標値と、第１基準動作情報Ｄ２のうち所定の工程の基準動作情報に含まれる終了座標値との差を算出することで所定の工程の終了行を特定しているが、動作分析システム１００は、他の方法で動作情報を切り出してもよい。例えば、工程毎に作業台が割り当てられている場合等、工程毎に作業者の移動範囲が限定されている場合、動作分析システム１００は、作業者の体の中心を表す座標値が所定の範囲に収まっている動作情報の区間を、所定の工程に対応する動作情報の区間として切出してもよい。

【0107】

図８は、本実施形態に係る動作分析システム１００により実行される動画表示処理の第１例のフローチャートである。動画表示処理の第１例は、動作情報の抽出処理の第１例において、動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する処理（Ｓ１９）の一例である。

【0108】

はじめに、動作分析システム１００は、第１対応テーブルＤ３を参照して、抽出された動作情報が示す工程を実行している位置を推定する（Ｓ１９０）。例えば、抽出された動作情報が示す工程が梱包工程の場合、第１対応テーブルＤ３の「工程」の列のうち「５．梱包」を特定し、対応する撮影部である「第３撮影部２０ｃ」により、当該工程が実行された位置を推定する。位置の推定は、例えば、複数の撮影部と、複数の撮影部が設置された作業領域Ｒにおける位置との対応関係に基づいて行ってもよいし、撮影部の特定をもって位置の推定としてもよい。

【0109】

次に、動作分析システム１００は、測定部３０（第４撮影部）により撮影された作業領域Ｒ全体の動画である第１動画及び作業領域Ｒよりも狭い領域について推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示する（Ｓ１９１）。第１動画及び第２動画のうち、抽出された動作情報が示す動作を実行している時間帯の部分は、抽出された動作情報の開始行と終了行の時刻に基づいて、第１動画及び第２動画を切り出すことで特定される。例えば、抽出された動作情報が示す工程が梱包工程の場合、測定部３０（第４撮影部）により撮影された作業領域Ｒ全体の動画である第１動画と、第１対応テーブルＤ３を用いて特定された第３撮影部２０ｃにより撮影された作業領域Ｒよりも狭い領域の動画である第２動画とについて、動作分析システム１００は、抽出された動作情報の開始行と終了行の時刻に基づいて、第１動画及び第２動画を切り出し、表示部１０ｆに表示する。

【0110】

さらに、動作分析システム１００は、抽出された動作情報が示す工程を表示し（Ｓ１９２）、抽出された動作情報が測定された作業者の識別情報を表示する（Ｓ１９３）。例えば、抽出された動作情報が示す工程が梱包工程であり、当該工程を実行した作業者が第１作業者Ａ１である場合、動作分析システム１００は、切り出された第１動画及び第２動画と併せて、動画の内容が梱包工程であることと、工程を実行する作業者が第１作業者Ａ１であることを表示部１０ｆに表示する。なお、工程の表示は、複数の工程を識別可能な情報によって行われてもよい。例えば、本例では、工程に通し番号が付加されており、梱包工程を表すために番号「５」を表示してもよい。また、作業者の表示は、複数の作業者を識別可能な情報によって行われてもよい。例えば、本例では、複数の作業者に作業者ＩＤが付加されており、第１作業者Ａ１を表すためにＩＤ「Ａ１」を表示してもよい。以上により、動画表示処理の第１例が終了する。

【0111】

図９は、本実施形態に係る動作分析システム１００により表示される画面ＤＰの一例である。画面ＤＰは、動画表示処理の第１例において、第１動画及び推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示（Ｓ１９１）した場合の例である。

【0112】

画面ＤＰは、概要ＤＰ１、全体動画ＤＰ２及び手元動画ＤＰ３を含む。概要ＤＰ１は、抽出された動作情報の概要を示す情報である。概要ＤＰ１には、抽出された動作情報が示す動作が「標準外動作」であり、開始時刻が「２０１７／７／７ １０：１０：４４．１３８」、すなわち２０１７年７月７日の午前１０時１０分４４．１３８秒であり、終了時刻が「２０１７／７／７ １０：１２：４４．４３５」、すなわち２０１７年７月７日の午前１０時１２分４４．４３５秒であり、抽出された動作情報が示す工程は「梱包工程」であり、所要時間は「５．５ｓ」（５．５秒）であることが示されている。なお、概要ＤＰ１には、抽出された動作情報が示す工程の名称ではなく、抽出された動作情報が示す工程を識別する情報を示してもよい。例えば、各工程に付与された通し番号等のＩＤを示すこととしてもよい。

【0113】

全体動画ＤＰ２は、測定部３０（第４撮影部）により作業領域Ｒ全体を撮影した第１動画であり、動画画面の右下に開始時刻として「２０１７／７／７ １０：１０：４４．１３８」が示されている。全体動画ＤＰ２により、複数の作業者が動作を実行している様子を全体的に把握することができる。また、全体動画ＤＰ２には、測定部３０により検出された複数の作業者の関節の位置を骨格モデルによって示している。これにより、複数の作業者の関節の座標が妥当な位置で測定されていることが確認できる。

【0114】

手元動画ＤＰ３は、本例の場合、第３撮影部２０ｃにより作業領域Ｒより狭い領域を撮影した第２動画であり、動画画面の右下に開始時刻として「２０１７／７／７ １０：１０：４４．１３８」が示されている。また、動画画面の上に、「梱包工程」及び「作業者ＩＤ：Ａ１」と表示され、抽出された動作情報が示す工程を識別する情報と、抽出された動作情報が測定された作業者の識別情報とが表示されている。作業者の手元をクローズアップした手元動画ＤＰ３により、作業者が実際に行った動作の詳細を確認することができる。

【0115】

本実施形態に係る動作分析システム１００によれば、複数の作業者の動作をそれぞれ定量的に示す複数の動作情報のうち、基準動作情報との比較において所定の条件を満たす動作情報を抽出して、抽出された動作情報が測定された作業者を識別する情報を表示することで、複数の作業者のうち所定の条件を満たす特定の動作を実行した作業者を識別することができる。本例の場合、第１作業者Ａ１が標準外の動作を行ったことを確認することができる。

【0116】

また、作業領域Ｒを撮影した第１動画のうち、抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示することで、所定の条件を満たす特定の動作を全体的に確認することができ、作業領域Ｒよりも狭い領域を撮影した第２動画のうち、抽出された動作情報が示す動作を作業者が実行している時間帯の場面を表示することで、所定の条件を満たす特定の動作の詳細を確認することができる。

【0117】

推定部１７により、抽出された動作情報が示す動作が実行された作業領域Ｒにおける位置を推定することで、所定の条件を満たす特定の動作が実行された位置を推定することができ、作業領域における複数の位置で撮影された複数の第２動画のうち、推定された位置で撮影された第２動画を表示することで、推定された位置で行われた動作の詳細を確認することができる。

【0118】

また、作業者の動作を定量的に示す動作情報のうち、複数の工程毎に定められた基準動作情報との比較において所定の条件を満たす動作情報を抽出して、抽出された動作情報が示す工程を識別する情報を表示することで、所定の条件を満たす特定の動作がいずれの工程で実行された動作であるか確認することができる。本例の場合、梱包工程において標準外の動作が行われたことを確認することができる。

【0119】

第１対応テーブルＤ３を用いて、抽出された動作情報が示す工程に基づいて、抽出された動作情報が示す動作を実行している作業領域Ｒにおける位置を推定することで、作業領域Ｒにおける複数の位置で撮影された複数の第２動画のうち、抽出された動作情報が示す工程が行われた位置で撮影された第２動画を表示することができ、当該工程で行われた動作の詳細を確認することができる。

【0120】

また、動作情報に含まれる関節の座標値と、基準動作情報に含まれる関節の座標値とを比較することで、動作情報が基準動作情報からどの程度乖離しているかを正確に評価することができ、所定の条件を満たす動作情報を適切に抽出することができる。

【0121】

図１０は、本実施形態に係る動作分析システム１００により記憶される第２対応テーブルＤ４の例を示す図である。同図では、複数の関節の座標範囲と、複数の撮影部との対応関係を記録した例を示している。

【0122】

本例の第２対応テーブルＤ４では、「右手範囲（Ｘ座標）」、「右手範囲（Ｙ座標）」及び「撮影部」といった項目を一例として示している。第２対応テーブルＤ４には、複数の関節の３次元座標の範囲と、複数の撮影部との対応関係が、一対一で示されている。例えば、「右手範囲（Ｘ座標）」について、「６００〜７００」、「右手範囲（Ｙ座標）」について「２００〜３００」の場合に、対応する撮影部は「第１撮影部」（第１撮影部２０ａ）であることが示されている。なお、本例では、右手の座標範囲のうちＸ座標とＹ座標の範囲を示しているが、第２対応テーブルＤ４は、一行に、手首、ひじ、肩、頭、腰、ひざ、足首等の各関節の３次元座標値の範囲を含んでいてよい。

【0123】

なお、第２対応テーブルＤ４は、複数の関節の３次元座標の範囲と、複数の撮影部との対応関係を、一対多で示すものであってもよい。例えば、複数の関節の３次元座標の範囲に対して、２以上の撮影部が対応していてもよい。その場合、作業者の動作を異なる角度、異なる距離から撮影した２以上の撮影部が示されてよい。

【0124】

図１１は、本実施形態に係る動作分析システム１００により実行される動画表示処理の第２例のフローチャートである。動画表示処理の第２例は、動作情報の抽出処理の第１例において、動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する処理（Ｓ１９）の他の例である。

【0125】

はじめに、動作分析システム１００は、第２対応テーブルＤ４を参照して、第２対応テーブルＤ４のうち抽出された動作情報に含まれる座標値を最も多く含む行を探索する（Ｓ１９５）。例えば、抽出された動作情報に含まれる右手のＸ座標が５５０〜６５０の範囲にある場合、第２対応テーブルＤ４の上から２行目に示された「右手範囲（Ｘ座標）」が、抽出された動作情報に含まれる座標値を最も多く含む行として特定される。同様に、右手のＹ座標及びＺ座標、他の関節の３次元座標について、第２対応テーブルＤ４に示された座標範囲と比較して、最も重複の多い行を探索する。

【0126】

次に、動作分析システム１００は、探索された行を参照して、抽出された動作情報が示す動作を実行している位置を推定する（Ｓ１９６）。例えば、探索された行が第２対応テーブルＤ４の上から２行目である場合、対応する撮影部である「第１撮影部２０ａ」により、動作が実行された位置を推定する。位置の推定は、例えば、複数の撮影部と、複数の撮影部が設置された作業領域Ｒにおける位置との対応関係に基づいて行ってもよいし、撮影部の特定をもって位置の推定としてもよい。

【0127】

動作分析システム１００は、測定部３０（第４撮影部）により撮影された作業領域Ｒ全体の動画である第１動画及び作業領域Ｒよりも狭い領域について推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示する（Ｓ１９７）。第１動画及び第２動画のうち、抽出された動作情報が示す動作を実行している時間帯の部分は、抽出された動作情報の開始行と終了行の時刻に基づいて、第１動画及び第２動画を切り出すことで特定される。

【0128】

さらに、動作分析システム１００は、抽出された動作情報が測定された作業者の識別情報を表示する（Ｓ１９８）。例えば、抽出された動作情報が示す動作を実行した作業者が第１作業者Ａ１である場合、動作分析システム１００は、切り出された第１動画及び第２動画と併せて、動作を実行する作業者が第１作業者Ａ１であることを表示部１０ｆに表示する。以上により、動画表示処理の第２例が終了する。

【0129】

本実施形態に係る動作分析システム１００によれば、抽出された動作情報に含まれる関節の座標値に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、抽出された動作情報が示す動作が行われた位置を正確に推定することができる。

【0130】

図１２は、本実施形態に係る動作分析システム１００により記憶される第２基準動作情報Ｄ５の例を示す図である。同図では、複数の要素動作毎に定められた基準動作情報を示しており、作業者が標準的な動作を行った場合の関節の座標値を１秒間隔で記録した例を示している。

【0131】

本例の第２基準動作情報Ｄ５では、「開始からの経過時間」、「要素動作」、「右手（Ｘ座標）」、「右手（Ｙ座標）」、「右手（Ｚ座標）」及び「左手（Ｘ座標）」といった項目を一例として示している。ここで、「開始からの経過時間」は、一つの工程の開始から終了までの経過時間を秒単位で示している。例えば、上から２行目に「００：００：００」と示されており、要素動作の開始時における基準動作情報を示す行であることが表されている。同様に、上から３行目には「００：００：０１」と示されており、要素動作の開始から１秒後の基準動作情報であることが表されている。また、上から５行目には「００：００：００」と示されており、異なる要素動作の開始時における基準動作情報を示す行であることが表されている。同様に、上から６行目には「００：００：０１」と示されており、要素動作の開始から１秒後の基準動作情報であることが表されている。なお、４行目及び７行目に示された「・・・」という記載は、複数のデータが含まれていることを示す省略記号である。

【0132】

「要素動作」は、基準動作情報がいずれの要素動作に関するものか示す情報である。例えば、上から２行目及び３行目には、「部品ピック」と示されており、これらの行の基準動作情報は、部品のピッキングに関するものであることが表されている。同様に、上から５行目及び６行目には、「配置」と示されており、これらの行の基準動作情報は、部品の配置に関するものであることが表されている。

【0133】

「右手（Ｘ座標）」は、作業者の右手関節について、開始地点を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＸ座標値は、部品ピックの要素動作について、開始時に「０」であり、１秒後に「５３３」であることが示されている。また、配置の要素動作について、標準的な右手のＸ座標値は、開始時に「０」であり、１秒後に「７９６」であることが示されている。

【0134】

「右手（Ｙ座標）」は、作業者の右手関節について、開始地点を原点とする座標系のＹ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＹ座標値は、部品ピックの要素動作について、開始時に「０」であり、１秒後に「９７７」であることが示されている。また、配置の要素動作について、標準的な右手のＹ座標値は、開始時に「０」であり、１秒後に「５９５」であることが示されている。

【0135】

「右手（Ｚ座標）」は、作業者の右手関節について、開始地点を原点とする座標系のＺ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な右手のＺ座標値は、部品ピックの要素動作について、開始時に「０」であり、１秒後に「３４１」であることが示されている。また、配置の要素動作について、標準的な右手のＺ座標値は、開始時に「０」であり、１秒後に「９４９」であることが示されている。

【0136】

「左手（Ｘ座標）」は、作業者の左手関節について、開始地点を原点とする座標系のＸ軸における位置を示している。なお、単位は任意であるが、本例ではｍｍ（ミリメートル）である。本例の場合、標準的な左手のＸ座標値は、部品ピックの要素動作について、開始時に「０」であり、１秒後に「８０６」であることが示されている。また、配置の要素動作について、標準的な左手のＸ座標値は、開始時に「０」であり、１秒後に「５４９」であることが示されている。

【0137】

本例では、第２基準動作情報Ｄ５に含まれる他の関節の座標値の記載を省略しているが、第２基準動作情報Ｄ５は、手首、ひじ、肩、頭、腰、ひざ、足首等の各関節の３次元座標値を含んでもよい。また、本例では、第２基準動作情報Ｄ５は、２つの要素動作の基準動作情報を含んでいるが、３つ以上の要素動作の基準動作情報を含んでもよい。

【0138】

図１３は、本実施形態に係る動作分析システム１００により実行される動作情報の抽出処理の第２例のフローチャートである。動作情報の抽出処理の第２例は、動作情報Ｄ１と第２基準動作情報Ｄ５とを比較して、所定の条件を満たす動作情報を抽出する処理である。

【0139】

動作分析システム１００は、はじめに、動作情報Ｄ１に含まれる隣り合う座標値に基づき、各関節の速度を算出する（Ｓ４０）。関節の速度は、例えば、１秒間隔で測定された座標値の場合、隣り合う行の座標値の差を１秒で割ることで算出してよい。

【0140】

動作分析システム１００は、次に、いずかの関節の速度が閾値以下となった行を、要素動作が移り変わる行と特定する（Ｓ４１）。例えば、部品ピックの要素動作から部品を配置する要素動作に移り変わる場合、手の関節の速度が、部品ピックを終えて配置に移る際にほとんどゼロになるため、いずかの関節の速度が閾値以下となった行を、要素動作が移り変わる行と特定することができる。

【0141】

動作分析システム１００は、動作情報Ｄ１について、要素動作が移り変わる行を全て特定した後、動作情報Ｄ１から、一つの要素動作の開始行から終了行までを切り出す（Ｓ４２）。この際、切り出される行数は、第２基準動作情報Ｄ５のうち所定の要素動作の基準動作情報の行数と必ずしも一致しない。そこで、動作分析システム１００は、動作情報Ｄ１から切り出した動作情報の行数が、第２基準動作情報Ｄ５のうち所定の要素動作の基準動作情報の行数と一致するように補間又は間引きする（Ｓ４３）。

【0142】

動作分析システム１００は、次に、補間又は間引きした動作情報の座標値と、所定の要素動作の基準動作情報の座標値との乖離度を算出する（Ｓ４４）。乖離度は、関節毎に算出してよい。乖離度は、ある時刻に関する関節の３次元座標値について、動作情報の座標値（ｘ、ｙ、ｚ）と、所定の工程の基準動作情報の座標値（Ｘ，Ｙ，Ｚ）との差を二乗して平方根をとり、（（ｘ−Ｘ）²＋（ｙ−Ｙ）²＋（ｚ−Ｚ）²）^1/2という値を求め、この値を全ての時間にわたって総和することで算出してよい。もっとも、乖離度は他の値によって算出してもよい。

【0143】

乖離度が閾値以上である場合（Ｓ４５：ＹＥＳ）、動作分析システム１００は、特定された開始行から終了行までの動作情報を抽出する（Ｓ４６）。なお、抽出される動作情報は、補間又は間引きがされていない状態の動作情報であってよい。ここで、乖離度を関節毎に算出した場合、閾値も関節毎に設定されてよく、関節毎に算出された乖離度のうちいずれか１つが閾値以上である場合に、動作情報を抽出してもよいし、２以上の関節について算出された乖離度が閾値以上である場合に、動作情報を抽出することとしてもよい。

【0144】

動作分析システム１００は、動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する（Ｓ４７）。動画の表示処理については、次図を用いて詳細に説明する。動作分析システム１００は、最後に、第２基準動作情報Ｄ５に含まれる全ての要素動作について分析が終了したか判断し（Ｓ４８）、全ての要素動作について分析が終了した場合（Ｓ４８：ＹＥＳ）、動作情報の抽出処理の第２例が終了する。

【0145】

図１４は、本実施形態に係る動作分析システム１００により実行される動画表示処理の第３例のフローチャートである。動画表示処理の第３例は、動作情報の抽出処理の第２例において、動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する処理（Ｓ４７）の一例である。

【0146】

はじめに、動作分析システム１００は、第２対応テーブルＤ４を参照して、第２対応テーブルＤ４のうち抽出された動作情報に含まれる座標値を最も多く含む行を探索する（Ｓ４７０）。例えば、抽出された動作情報に含まれる右手のＸ座標が５５０〜６５０の範囲にある場合、第２対応テーブルＤ４の上から２行目に示された「右手範囲（Ｘ座標）」が、抽出された動作情報に含まれる座標値を最も多く含む行として特定される。同様に、右手のＹ座標及びＺ座標、他の関節の３次元座標について、第２対応テーブルＤ４に示された座標範囲と比較して、最も重複の多い行を探索する。

【0147】

次に、動作分析システム１００は、探索された行を参照して、抽出された動作情報が示す動作を実行している位置を推定する（Ｓ４７１）。例えば、探索された行が第２対応テーブルＤ４の上から２行目である場合、対応する撮影部である「第１撮影部２０ａ」により、動作が実行された位置を推定する。位置の推定は、例えば、複数の撮影部と、複数の撮影部が設置された作業領域Ｒにおける位置との対応関係に基づいて行ってもよいし、撮影部の特定をもって位置の推定としてもよい。

【0148】

動作分析システム１００は、測定部３０（第４撮影部）により撮影された作業領域Ｒ全体の動画である第１動画及び作業領域Ｒよりも狭い領域について推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示する（Ｓ４７２）。第１動画及び第２動画のうち、抽出された動作情報が示す動作を実行している時間帯の部分は、抽出された動作情報の開始行と終了行の時刻に基づいて、第１動画及び第２動画を切り出すことで特定される。

【0149】

さらに、動作分析システム１００は、抽出された動作情報が示す要素動作を表示し（Ｓ４７３）、抽出された動作情報が測定された作業者の識別情報を表示する（Ｓ４７４）。例えば、抽出された動作情報が示す要素動作が部品ピックであり、当該要素動作を実行した作業者が第１作業者Ａ１である場合、動作分析システム１００は、切り出された第１動画及び第２動画と併せて、動画の内容が部品ピックであることと、要素動作を実行する作業者が第１作業者Ａ１であることを表示部１０ｆに表示する。なお、要素動作の表示は、複数の要素動作を識別可能な情報によって行われてもよい。また、作業者の表示は、複数の作業者を識別可能な情報によって行われてもよい。以上により、動画表示処理の第３例が終了する。

【0150】

本実施形態に係る動作分析システム１００によれば、抽出された動作情報に含まれる関節の座標値及び抽出された動作情報が示す要素動作に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、作業領域における複数の位置で撮影された複数の第２動画のうち、抽出された動作情報が示す要素動作が行われた位置で撮影された第２動画を表示することができ、当該要素動作の詳細を確認することができる。また、基準動作情報を複数の要素動作毎に定めることで、作業者が実行している要素動作に抜け、漏れが生じていないかを容易に確認することができ、作業者が適切な動作を行っているか確認する負担を軽減することができる。

【0151】

図１５は、本実施形態に係る動作分析システム１００により記憶される第３対応テーブルＤ６の例を示す図である。同図では、複数の関節の座標範囲及び複数の要素動作と、複数の撮影部との対応関係を記録した例を示している。

【0152】

本例の第３対応テーブルＤ６では、「右手範囲（Ｘ座標）」、「右手範囲（Ｙ座標）」、「要素動作」、「撮影部」及び「備考」といった項目を一例として示している。第３対応テーブルＤ６には、複数の関節の３次元座標の範囲及び複数の要素動作と、複数の撮影部との対応関係が、一対一で示されている。例えば、「右手範囲（Ｘ座標）」について、「６００〜７００」、「右手範囲（Ｙ座標）」について「２００〜３００」であって、要素動作が「部品ピック」の場合に、対応する撮影部は「第１撮影部」（第１撮影部２０ａ）であることが示されている。ここで、「備考」には、「斜め上から撮影」と示されている。また、「右手範囲（Ｘ座標）」について、「６００〜７００」、「右手範囲（Ｙ座標）」について「２００〜３００」であって、要素動作が「配置」の場合に、対応する撮影部は「第２撮影部」（第２撮影部２０ｂ）であることが示されている。ここで、「備考」には、「真上から撮影」と示されている。このように、関節の３次元座標の範囲が同一であっても、要素動作によって適切な撮影方向や撮影距離が異なる場合に、要素動作によりさらに分類することで、作業者の動作の詳細をより確認しやすい動画を特定することができる。なお、本例では、右手の座標範囲のうちＸ座標とＹ座標の範囲を示しているが、第３対応テーブルＤ６は、一行に、手首、ひじ、肩、頭、腰、ひざ、足首等の各関節の３次元座標値の範囲を含んでいてよい。

【0153】

なお、第３対応テーブルＤ６は、複数の関節の３次元座標の範囲及び複数の要素動作と、複数の撮影部との対応関係を、一対多で示すものであってもよい。例えば、複数の関節の３次元座標の範囲及び要素動作に対して、２以上の撮影部が対応していてもよい。その場合、作業者の動作を異なる角度、異なる距離から撮影した２以上の撮影部が示されてよい。

【0154】

図１６は、本実施形態に係る動作分析システム１００により実行される動画表示処理の第４例のフローチャートである。動画表示処理の第４例は、動作情報の抽出処理の第２例において、動作情報を抽出した後、動画のうち抽出された動作情報が示す動作を実行している部分を表示する処理（Ｓ４７）の他の例である。

【0155】

はじめに、動作分析システム１００は、第３対応テーブルＤ６を参照して、第３対応テーブルＤ６のうち抽出された動作情報に含まれる座標値を最も多く含む行を探索する（Ｓ４７５）。例えば、抽出された動作情報に含まれる右手のＸ座標が５５０〜６５０の範囲にある場合、第３対応テーブルＤ６の上から２行目及び３行目に示された「右手範囲（Ｘ座標）」が、抽出された動作情報に含まれる座標値を最も多く含む行として特定される。同様に、右手のＹ座標及びＺ座標、他の関節の３次元座標について、第３対応テーブルＤ６に示された座標範囲と比較して、最も重複の多い行を探索する。

【0156】

次に、動作分析システム１００は、探索された行のうち、抽出された動作情報が示す要素動作に対応する行を特定する（Ｓ４７１）。例えば、第３対応テーブルＤ６の上から２行目及び３行目が、抽出された動作情報に含まれる座標値を最も多く含む行として探索された場合に、抽出された動作情報が示す要素動作が部品ピックであれば、第３対応テーブルＤ６の上から２行目を、抽出された動作情報が示す要素動作に対応する行として特定する。

【0157】

動作分析システム１００は、特定された行を参照して、抽出された動作情報が示す動作を実行している位置を推定する（Ｓ４７７）。例えば、特定された行が第３対応テーブルＤ６の上から２行目である場合、対応する撮影部である「第１撮影部２０ａ」により、動作が実行された位置を推定する。位置の推定は、例えば、複数の撮影部と、複数の撮影部が設置された作業領域Ｒにおける位置との対応関係に基づいて行ってもよいし、撮影部の特定をもって位置の推定としてもよい。

【0158】

動作分析システム１００は、測定部３０（第４撮影部）により撮影された作業領域Ｒ全体の動画である第１動画及び作業領域Ｒよりも狭い領域について推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示する（Ｓ４７８）。第１動画及び第２動画のうち、抽出された動作情報が示す動作を実行している時間帯の部分は、抽出された動作情報の開始行と終了行の時刻に基づいて、第１動画及び第２動画を切り出すことで特定される。

【0159】

さらに、動作分析システム１００は、抽出された動作情報が示す要素動作を表示し（Ｓ４７９）、抽出された動作情報が測定された作業者の識別情報を表示する（Ｓ４７１０）。例えば、抽出された動作情報が示す要素動作が部品ピックであり、当該要素動作を実行した作業者が第１作業者Ａ１である場合、動作分析システム１００は、切り出された第１動画及び第２動画と併せて、動画の内容が部品ピックであることと、要素動作を実行する作業者が第１作業者Ａ１であることを表示部１０ｆに表示する。なお、要素動作の表示は、複数の要素動作を識別可能な情報によって行われてもよい。また、作業者の表示は、複数の作業者を識別可能な情報によって行われてもよい。以上により、動画表示処理の第４例が終了する。

【0160】

本実施形態に係る動作分析システム１００によれば、抽出された動作情報に含まれる関節の座標値及び抽出された動作情報が示す要素動作に基づいて、抽出された動作情報が示す動作を作業者が実行している作業領域における位置を推定することで、作業領域における複数の位置で撮影された複数の第２動画のうち、抽出された動作情報が示す要素動作が行われた位置で撮影された第２動画を表示することができ、当該要素動作の詳細を確認することができる。

【0161】

§４ 変形例
図１７は、本実施形態の変形例に係る動作分析システム１００により実行される表示態様の選択処理のフローチャートである。本実施形態に係る動作分析システム１００は、図９に示すように、抽出された動作情報の概要、作業領域Ｒ全体を撮影した第１動画（全体動画）及び作業者の手元を撮影した第２動画（手元動画）を表示する。本変形例に係る動作分析システム１００は、ユーザの選択に応じて、表示部１０ｆに表示する内容を変更することができる。

【0162】

動作分析システム１００は、基準動作を併せて表示するか否かを判定する（Ｓ５０）。基準動作を併せて表示するか否かは、ユーザの入力部１０ｅによる入力に基づいて指定されてよい。基準動作を併せて表示する場合（Ｓ５０：ＹＥＳ）、第１動画を表示するとともに、第２動画のうち、抽出された動作情報が示す動作を実行している部分と、基準動作情報が示す基準動作を実行している動画とを表示する（Ｓ５１）。ここで、基準動作情報が示す基準動作を実行している動画は、予め撮影されて記憶部１４に記憶されたものであってもよいし、動画履歴１４ａのうち抽出部１５により抽出されなかった動画から選択されてもよい。

【0163】

動画のうち抽出された動作情報が示す動作を実行している部分と、基準動作を実行している動画とを表示することで、所定の条件を満たす特定の動作と、基準動作との比較が容易となる。

【0164】

また、動作分析システム１００は、動作情報を示すグラフを併せて表示するか否かを判定する（Ｓ５２）。動作情報を示すグラフを併せて表示するか否かは、ユーザの入力部１０ｅによる入力に基づいて指定されてよい。動作情報を示すグラフを併せて表示する場合（Ｓ５２：ＹＥＳ）、第１動画を表示するとともに、第２動画のうち、抽出された動作情報が示す動作を作業者が実行している場面と、抽出された動作情報を示すグラフとを表示する（Ｓ５３）。抽出された動作情報を示すグラフは、任意の態様のグラフであってよいが、例えば、各関節の座標値を縦軸に示し、経過時間を横軸に示すグラフであってよい。

【0165】

抽出された動作情報を示すグラフと、抽出された動作情報が示す動作を作業者が実行している動画の場面とを表示することで、所定の条件を満たす特定の動作が実行された場面を、動画とグラフという異なる観点で確認することができる。

【0166】

また、動作分析システム１００は、重畳画像を表示するか否かを判定する（Ｓ５４）。重畳画像を表示するか否かは、ユーザの入力部１０ｅによる入力に基づいて指定されてよい。重畳画像を表示する場合（Ｓ５４：ＹＥＳ）、第１動画を表示するとともに、第２動画のうち、抽出された動作情報が示す動作を作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示する（Ｓ５５）。重畳画像は、例えば、第２動画のうち、抽出された動作情報が示す動作を作業者が実行している場面に含まれる複数のフレームを間引きし、透過処理して、一枚の画像に合成することで生成してよい。

【0167】

動画のうち抽出された動作情報が示す動作を作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示することで、所定の条件を満たす特定の動作が実行された場面の全体を一目で確認することができる。

【0168】

基準動作を併せて表示せず（Ｓ５０：ＮＯ）、動作情報を示すグラフを併せて表示せず（Ｓ５２：ＮＯ）、重畳画像を表示しない場合（Ｓ５４：ＮＯ）、第１動画を表示するとともに、第２動画のうち、抽出された動作情報が示す動作を実行している部分を表示する。この場合の画面の一例が、図９に示した画面ＤＰである。以上により、表示態様の選択処理が終了する。

【0169】

図１８は、本変形例に係る動作分析システム１００により表示される画面ＤＰの一例である。画面ＤＰは、表示態様の選択処理において、動作情報を示すグラフを併せて表示（Ｓ５３）した場合の例である。

【0170】

画面ＤＰは、グラフＤＰ４、全体動画ＤＰ２及び手元動画ＤＰ３を含む。本例のグラフＤＰ４は、抽出された動作情報を示すグラフであり、右手のＸ座標値（「右手Ｘ」）、Ｙ座標値（「右手Ｙ」）及びＺ座標値（「右手Ｚ」）を縦軸に示し、経過時間を横軸に示す動作信号グラフである。グラフＤＰ４では、右手のＸ座標値（「右手Ｘ」）を実線で示し、Ｙ座標値（「右手Ｙ」）を破線で示し、Ｚ座標値（「右手Ｚ」）を一点鎖線で示している。グラフＤＰ４には、右手の座標値の時系列変化が、抽出された動作情報の期間について表されている。

【0171】

全体動画ＤＰ２は、測定部３０（第４撮影部）により作業領域Ｒ全体を撮影した第１動画であり、動画画面の右下に開始時刻として「２０１７／７／７ １０：１０：４４．１３８」が示されている。全体動画ＤＰ２により、複数の作業者が動作を実行している様子を全体的に把握することができる。また、全体動画ＤＰ２には、測定部３０により検出された複数の作業者の関節の位置を骨格モデルによって示している。これにより、複数の作業者の関節の座標が妥当な位置で測定されていることが確認できる。

【0172】

手元動画ＤＰ３は、本例の場合、第３撮影部２０ｃにより作業領域Ｒより狭い領域を撮影した第２動画であり、動画画面の右下に開始時刻として「２０１７／７／７ １０：１０：４４．１３８」が示されている。また、動画画面の上に、「梱包工程」及び「作業者ＩＤ：Ａ１」と表示され、抽出された動作情報が示す工程を識別する情報と、抽出された動作情報が測定された作業者の識別情報とが表示されている。作業者の手元をクローズアップした手元動画ＤＰ３により、作業者が実際に行った動作の詳細を確認することができる。

【0173】

なお、表示態様の選択処理において、基準動作を併せて表示（Ｓ５１）する場合には、第１動画及び推定された位置で撮影された第２動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示するとともに、基準動作を実行している第１動画及び第２動画を表示してよい。その場合、第１動画同士が隣接し、第２動画同士が隣接するように表示して、比較を容易にしてもよい。

【0174】

また、重畳画像を表示（Ｓ５５）する場合には、第１動画について、抽出された動作情報が示す動作を実行している時間帯の部分を表示するとともに、推定された位置で撮影された第２動画について、複数のフレームを重畳させて一枚の画像として表示してよい。

【0175】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0176】

動作分析システム１００は、製造ラインのある作業領域において実行された作業者の動作を示す動作情報を測定するものに限られない。例えば、動作分析システム１００は、ゴルフクラブのスイング等、スポーツを行う人物の動作であったり、演劇等の身体を用いたパフォーマンスを行う人物の動作であったりを示す動作情報を測定し、同時に動画を撮影して、人物が従うべき動作を示す基準動作情報と動作情報とを比較し、例えば基準動作情報からの乖離が閾値以上であること等の所定の条件を満たす動作情報を抽出して、抽出された動作情報が示す動作を人物が実行している動画の場面を表示してもよい。動作分析システム１００は、手本となる動作が定義される場合に用いることができ、手本となる動作を示す動作情報を基準動作情報として事前に記憶部に記憶して、測定された動作情報と比較することで、手本から逸脱した動作を実行している動画の場面を表示することができる。

【0177】

なお、本実施形態及び変形例では、動作分析システム１００が、複数の撮影部を備え、複数の撮影部により撮影された動画を用いて、抽出された動作情報が示す動作を作業者が実行している場面を表示する場合について説明したが、動作分析システムは、動画以外の情報を抽出するものであってもよい。

【0178】

図１９は、本開示の他の実施形態に係る動作分析システム１００ｇの機能ブロックを示す図である。他の実施形態に係る動作分析システム１００ｇは、ある作業領域において実行された作業者の動作を示す動作情報を測定する測定部３０と、作業者が実行する動作をセンシングする第１センサ４０ａ、第２センサ４０ｂ及び第３センサ４０ｃと、動作情報と基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部１５と、第１センサ４０ａ、第２センサ４０ｂ及び第３センサ４０ｃによりセンシングされたセンシングデータを用いて、抽出された動作情報が示す動作を作業者が実行している場面を出力する出力部１８と、を備えるものであってもよい。すなわち、他の実施形態に係る動作分析システム１００ｇは、本実施形態に係る動作分析システム１００の撮影部（すなわち画像センサ）を他のセンサに置き換えた構成であってもよい。センサとしては、作業者の動作をセンシングし得る任意のセンサを用いることができるが、例えば、近接センサや測距センサ等を用いることができる。なお、出力部１８は、抽出された動作情報が示す動作を作業者が実行している場面を表示部１０ｆに出力してよいが、当該場面を他の分析装置に出力してもよい。

【0179】

動作分析システム１００ｇに含まれる動作分析装置１０ｇの第２取得部１２は、作業者が実行する動作をセンシングしたセンシングデータを取得してよい。また、記憶部１４は、作業者が実行する動作を第１センサ４０ａ、第２センサ４０ｂ及び第３センサ４０ｃによりセンシングしたセンシングデータの履歴であるセンシングデータ履歴１４ｅを記憶してよい。その他、動作分析装置１０ｇは、本実施形態に係る動作分析装置１０と同様の構成を備えてよい。

【0180】

製造ラインで様々な作業が行われる場合に、作業者によって標準外の動作が行われたことを検知したい場合がある。このために、製造ラインに複数のセンサを設置して、作業者の動作をセンシングすることが考えられる。

【0181】

しかしながら、設置するセンサの台数が増えることにより確認を要するセンシングデータの数が増えたり、個々のセンシングデータの長さが長大となったりすると、記録されたセンシングデータのいずれかの部分に特定の動作が実行された場面が記録されていたとしても、特定の動作がいつ実行されたのかが分かりづらくなり、特定の動作が実行された場面を抽出することが困難となる。

【0182】

そこで、作業者が実行する動作をセンサによりセンシングし、センサによりセンシングされたデータのうち、作業者が、抽出された動作情報が示す動作を実行している部分を特定することで、記録されたセンシングデータの数又は長さに関わらず、特定の動作が実行された場面を抽出することができる動作分析システム、動作分析方法及び動作分析プログラムを提供することができる。ここで、特定の動作が実行された場面は、画像センサによってセンシングされた動画の場面であってもよいし、他のセンサによってセンシングされたセンシングデータの場面であってもよい。

【0183】

本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。

【0184】

［付記１］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を測定する測定部（３０）と、
前記作業者が前記動作を実行している場面を含む動画を撮影する撮影部（２０ａ、２０ｂ、２０ｃ、３０）と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部（１４）と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）と、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を表示する表示部（１０ｆ）と、
を備える動作分析システム。

【0185】

［付記２］
前記測定部（３０）は、複数の前記作業者の動作をそれぞれ示す複数の前記動作情報を測定し、
前記表示部（１０ｆ）は、抽出された前記動作情報が測定された前記作業者を識別する情報を表示する、
付記１に記載の動作分析システム。

【0186】

［付記３］
前記撮影部（２０ａ、２０ｂ、２０ｃ、３０）は、前記作業領域を撮影した第１動画を撮影する第１撮影部（３０）及び前記作業領域の一部を撮影した第２動画を撮影する第２撮影部（２０ａ、２０ｂ、２０ｃ）を含み、
前記表示部（１０ｆ）は、前記第１動画及び前記第２動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ表示する、
付記１又は２に記載の動作分析システム。

【0187】

［付記４］
前記第２撮影部（２０ａ、２０ｂ、２０ｃ）は、前記作業領域の複数の部分をそれぞれ撮影した複数の前記第２動画を撮影し、
抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部（１７）をさらに備え、
前記表示部（１０ｆ）は、複数の前記第２動画のうち、推定された位置で撮影された前記第２動画を表示する、
付記３に記載の動作分析システム。

【0188】

［付記５］
前記基準動作情報は、複数の工程毎に定められており、 前記抽出部（１５）は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記表示部（１０ｆ）は、抽出された前記動作情報が示す工程を識別する情報を表示する、
付記４に記載の動作分析システム。

【0189】

［付記６］
前記推定部（１７）は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記５に記載の動作分析システム。

【0190】

［付記７］
前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部（１５）は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
付記４に記載の動作分析システム。

【0191】

［付記８］
前記推定部（１７）は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記７に記載の動作分析システム。

【0192】

［付記９］
前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部（１７）は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記７又は８に記載の動作分析システム。

【0193】

［付記１０］
前記表示部（１０ｆ）は、前記動画を用いて抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含む動画と、を表示する、
付記１から９のいずれか一項に記載の動作分析システム。

【0194】

［付記１１］
前記表示部（１０ｆ）は、抽出された前記動作情報を示すグラフと、前記動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している前記動画の場面と、を表示する、
付記１から１０のいずれか一項に記載の動作分析システム。

【0195】

［付記１２］
前記表示部（１０ｆ）は、前記動画のうち抽出された前記動作情報が示す動作を前記作業者が実行している場面に含まれる複数のフレームを重畳させて一枚の画像として表示する、
付記１から１１のいずれか一項に記載の動作分析システム。

【0196】

［付記１３］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部（１１）と、
前記作業者が前記動作を実行している場面を含む動画を取得する第２取得部（１２）と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部（１３）と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）と、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定する特定部（１６）と、
を備える動作分析装置。

【0197】

［付記１４］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得することと、
前記作業者が前記動作を実行している場面を含む動画を取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定することと、
を含む動作分析方法。

【0198】

［付記１５］
動作分析装置に備えられた演算装置を、
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部（１１）、
前記作業者が前記動作を実行している場面を含む動画を取得する第２取得部（１２）、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部（１３）、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）、及び
前記動画を用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を特定する特定部（１６）、
として動作させる動作分析プログラム。

【0199】

［付記１６］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を測定する測定部（３０）と、
前記作業者が実行する前記動作をセンシングするセンサ（４０ａ、４０ｂ、４０ｃ、３０）と、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を記憶する記憶部（１４）と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）と、
前記センサ（４０ａ、４０ｂ、４０ｃ、３０）によりセンシングされたセンシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部（１８）と、
を備える動作分析システム。

【0200】

［付記１７］
前記測定部（３０）は、複数の前記作業者の動作をそれぞれ示す複数の前記動作情報を測定し、
前記出力部（１８）は、抽出された前記動作情報が測定された前記作業者を識別する情報を出力する、
付記１６に記載の動作分析システム。

【0201】

［付記１８］
前記センサ（４０ａ、４０ｂ、４０ｃ、３０）は、前記作業領域をセンシングした第１センシングデータをセンシングする第１センサ（３０）及び前記作業領域の一部をセンシングした第２センシングデータをセンシングする第２センサ（４０ａ、４０ｂ、４０ｃ）を含み、
前記出力部（１８）は、前記第１センシングデータ及び前記第２センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している時間帯の場面をそれぞれ出力する、
付記１６又は１７に記載の動作分析システム。

【0202】

［付記１９］
前記第２センサ（４０ａ、４０ｂ、４０ｃ）は、前記作業領域の複数の部分をそれぞれセンシングした複数の前記第２センシングデータをセンシングし、
抽出された前記動作情報が示す動作が実行された前記作業領域における位置を推定する推定部（１７）をさらに備え、
前記出力部（１８）は、複数の前記第２センシングデータのうち、推定された位置でセンシングされた前記第２センシングデータを出力する、
付記１８に記載の動作分析システム。

【0203】

［付記２０］
前記基準動作情報は、複数の工程毎に定められており、
前記抽出部（１５）は、複数の工程毎に、前記動作情報と、前記基準動作情報とを比較して、前記所定の条件を満たす動作情報を抽出し、
前記出力部（１８）は、抽出された前記動作情報が示す工程を識別する情報を出力する、
付記１９に記載の動作分析システム。

【0204】

［付記２１］
前記推定部（１７）は、抽出された前記動作情報が示す工程に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記２０に記載の動作分析システム。

【0205】

［付記２２］
前記動作情報及び前記基準動作情報は、前記作業者の関節の座標値をそれぞれ含み、
前記抽出部（１５）は、前記動作情報に含まれる前記座標値と、前記基準動作情報に含まれる前記座標値とを比較して、前記所定の条件を満たす動作情報を抽出する、
付記１９に記載の動作分析システム。

【0206】

［付記２３］
前記推定部（１７）は、抽出された前記動作情報に含まれる前記座標値に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記２２に記載の動作分析システム。

【0207】

［付記２４］
前記基準動作情報は、複数の要素動作毎に定められており、
前記推定部（１７）は、抽出された前記動作情報に含まれる前記座標値及び抽出された前記動作情報が示す前記要素動作に基づいて、抽出された前記動作情報が示す動作を前記作業者が実行している前記作業領域における位置を推定する、
付記２２又は２３に記載の動作分析システム。

【0208】

［付記２５］
前記出力部（１８）は、前記センシングデータのうち抽出された前記動作情報が示す動作を前記作業者が実行している場面と、前記基準動作情報が示す前記基準動作を前記作業者が実行している場面を含むセンシングデータと、を出力する、
付記１６から２４のいずれか一項に記載の動作分析システム。

【0209】

［付記２６］
前記出力部（１８）は、抽出された前記動作情報を示すグラフと、前記センシングデータのうち抽出された前記動作情報が示す動作を前記作業者が実行している場面と、を出力する、
付記１６から２５のいずれか一項に記載の動作分析システム。

【0210】

［付記２７］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部（１１）と、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得する第２取得部（１２）と、
前記作業者の動作について比較の基準となる基準動作を定量的に示す基準動作情報を取得する第３取得部（１３）と、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）と、
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部（１８）と、
を備える動作分析装置。

【0211】

［付記２８］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得することと、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得することと、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得することと、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出することと、
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力することと、
を含む動作分析方法。

【0212】

［付記２９］
動作分析装置に備えられた演算装置を、
ある作業領域において実行された１以上の作業者の動作を示す動作情報を取得する第１取得部（１１）、
前記作業者が実行する前記動作をセンシングしたセンシングデータを取得する第２取得部（１２）、
前記作業者の動作について比較の基準となる基準動作を示す基準動作情報を取得する第３取得部（１３）、
前記動作情報と、前記基準動作情報とを比較して、所定の条件を満たす動作情報を抽出する抽出部（１５）、及び
前記センシングデータを用いて、抽出された前記動作情報が示す動作を前記作業者が実行している場面を出力する出力部（１８）、
として動作させる動作分析プログラム。

【0213】

［付記３０］
ある作業領域において実行された１以上の作業者の動作を示す動作情報を測定することと、
前記作業者が前記動作を実行している場面を含む動画を撮影することと、
前記動作情報と、前記作業者の動作について比較の基準となる基準動作を示す基準動作情報とを比較して、所定の条件を満たす動作情報が示す動作を前記作業者が実行している前記動画の場面を表示することと、
を含む動作分析方法。

【符号の説明】

【0214】

１０…動作分析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０ｇ…動作分析装置、１１…第１取得部、１２…第２取得部、１３…第３取得部、１４…記憶部、１４ａ…動画履歴、１４ｂ…動作情報履歴、１４ｃ…基準動作情報、１４ｄ…対応テーブル、１４ｅ…センシングデータ履歴、１５…抽出部、１６…特定部、１７…推定部、１８…出力部、２０ａ…第１撮影部、２０ｂ…第２撮影部、２０ｃ…第３撮影部、３０…測定部、４０ａ…第１センサ、４０ｂ…第２センサ、４０ｃ…第３センサ、１００…動作分析システム、１００ｇ…動作分析システム、Ｄ１…動作情報、Ｄ２…第１基準動作情報、Ｄ３…第１対応テーブル、Ｄ４…第２対応テーブル、Ｄ５…第２基準動作情報、Ｄ６…第３対応テーブル、ＤＰ…画面、ＤＰ１…概要、ＤＰ２…第１動画、ＤＰ３…第２動画、ＤＰ４…グラフ、Ｒ…作業領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】