特許 7464451 骨格検出システム及び作業管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】骨格検出システム及び作業管理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240402BHJP

   G06T 7/20 20170101ALI20240402BHJP

【ＦＩ】

G06T7/00 300F

G06T7/20 300Z

【請求項の数】 11

(21)【出願番号】P 2020101986

(22)【出願日】2020-06-12

(65)【公開番号】P2021196783

(43)【公開日】2021-12-27

【審査請求日】2023-05-19

(73)【特許権者】

【識別番号】000002901

【氏名又は名称】株式会社ダイセル

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000556

【氏名又は名称】弁理士法人有古特許事務所

(72)【発明者】

【氏名】豊田 泰嗣

(72)【発明者】

【氏名】稲富 泰彦

(72)【発明者】

【氏名】石戸 裕貴

(72)【発明者】

【氏名】山田 敏広

(72)【発明者】

【氏名】吉川 裕

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２００８－０７７４２４（ＪＰ，Ａ）

【文献】特開２０１７－１０２８０８（ＪＰ，Ａ）

【文献】特開２０１９－１５２８０２（ＪＰ，Ａ）

【文献】国際公開第２０１８／１３１６３０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

作業者が行う繰り返し動作である基準動作の少なくとも１サイクル分に関する基準動作情報を記憶する第１記憶部と、
作業中の前記作業者を撮影した作業中動画から前記作業者の骨格情報を検出する骨格情報検出部と、
前記骨格情報検出部によって検出された作業中の複数の作業者の各々の骨格情報のうち、前記基準動作情報と、作業中の動作情報である検査対象情報との差異が予め設定された動作許容範囲であるとのターゲット要件を満たす動作を示す前記作業者の骨格情報を、ターゲットとして特定するターゲット特定部と、を備える、骨格検出システム。

【請求項2】

前記第１記憶部は、前記作業者の基準動作を撮影した基準動画から得られる前記作業者の前記基準動作情報を記憶する、請求項１に記載の骨格検出システム。

【請求項3】

前記検査対象情報を記憶する第２記憶部を更に備える、請求項１又は２に記載の骨格検出システム。

【請求項4】

前記作業中動画から検出される前記複数の作業者の前記骨格情報の中から、所定の候補要件を満たす候補を選択する候補選択部を更に備え、
前記ターゲット特定部は、前記基準動作情報と、前記候補選択部が選択した作業者の前記検査対象情報との差異が、予め設定された動作許容範囲であるとのターゲット要件を満たす動作を示す前記作業者の骨格情報を、前記ターゲットとして特定する、請求項１～３のいずれか１項に記載の骨格検出システム。

【請求項5】

前記候補要件は、前記作業中動画から検出される前記骨格情報が示す骨格の大きさが、前記作業中動画から検出される前記複数の作業者の前記骨格情報のうちで最大であるとの条件を含む、請求項４に記載の骨格検出システム。

【請求項6】

前記骨格情報が示す骨格の大きさは、前記作業中動画から検出される前記作業者の身体の３点以上の位置を頂点とする多角形の面積、及び、前記作業中動画から検出される前記作業者の骨格長さの総和のいずれかで表わされる、請求項５に記載の骨格検出システム。

【請求項7】

前記候補要件は、前記骨格情報が、前記作業中動画により示される撮影範囲の所定領域内に位置するとの条件を含む、請求項４に記載の骨格検出システム。

【請求項8】

前記ターゲット特定部は、前記作業中動画から検出される前記作業者の身体の中心線を挟む両側に離隔する第１及び第２位置と、前記身体の前記第１及び第２位置の各々に離隔する第３位置の各々の変化により表わされる前記骨格情報が示す動作に基づいて、前記ターゲットを特定する、請求項１～７のいずれか１項に記載の骨格検出システム。

【請求項9】

前記作業中動画の前記第１～第３位置の位置データが、前記検査対象情報に含まれる、請求項８に記載の骨格検出システム。

【請求項10】

前記骨格情報は、前記作業者の複数部位、又は、前記作業者の前記複数部位のうち２以上の部位を結ぶ線の少なくともいずれかの位置を示すデータを含む、請求項１～９のいずれか１項に記載の骨格検出システム。

【請求項11】

請求項１～１０のいずれかに記載の骨格検出システムと、
前記ターゲットが示す前記検査対象情報と、前記ターゲットに対応する前記基準動作情報との差異が、予め設定された基準範囲内か否かに基づいて、前記ターゲットに対応する前記作業者の動作の合否を判定する合否判定処理を行う判定部と、
前記判定部の判定結果を出力する出力部と、を備える、作業管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、骨格検出システム及び作業管理装置に関する。

【背景技術】

【0002】

コンピュータを利用した検査システムにより、作業者が行う作業を検査する方法が知られている。この方法では、例えば特許文献１に示されるように、作業中の作業者を撮影した画像データをコンピュータにより解析し、画像データに現れる作業者の行動を判定基準と比較して作業者が適切に作業を行なっているか否かを判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１１－０４８５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された方法では、複数の作業者が同時に撮影される場合、作業者の動作の変化によっては、例えば検査対象とすべき作業者がコンピュータにより別の作業者と誤認されるおそれがある。また、検査に用いる画像データの容量等によっては、検査システムの負荷が増大するおそれがある。

【0005】

そこで本開示は、作業中の作業者を撮影した画像データを用いて検査システムにより作業者の作業を検査する場合など、作業者の骨格を検知するシステムでの情報処理の負荷を軽減することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本開示に係る骨格検出システムは、作業者が行う繰り返し動作である基準動作の少なくとも１サイクル分に関する基準動作情報を記憶する第１記憶部と、作業中の前記作業者を撮影した作業中動画から前記作業者の骨格情報を検出する骨格情報検出部と、前記骨格情報検出部によって検出された作業中の複数の作業者の各々の骨格情報のうち、前記基準動作情報と、作業中の動作情報である検査対象情報との差異が予め設定された動作許容範囲であるとのターゲット要件を満たす動作を示す前記作業者の骨格情報を、ターゲットとして特定するターゲット特定部と、を備える。

【0007】

上記構成によれば、作業中動画から検出される作業者の骨格情報の中からターゲットを特定できる。つまり作業者の検査対象情報と、この作業者の第１記憶部に記憶された基準動作情報とを比較することで、ターゲットを特定できる。特に本開示の骨格検出システムは、作業者の繰り返し動作を検査対象としており、検査対象の作業者の動作に規則性及び周期性がある。よって、本開示の骨格検出システムを用いて、ターゲットの特定を正確且つ迅速に行える。また、ターゲット特定部によりターゲットを特定することで、作業中動画に撮影された作業者から、検査対象の作業者を特定することができる。よって、骨格検出システムの負荷を抑制できる。

【発明の効果】

【0008】

本開示によれば、作業中の作業者を撮影した画像データを用いて検査システムにより作業者の作業を検査する場合において、複数の作業者が同時に撮影される場合でも、作業者を適切に検査できると共に、検査システムの負荷を抑制できる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る骨格検出システムの機能ブロック図である。

【図2】図１の骨格情報検出部により検出された作業者の正面側の骨格情報を示す図である。

【図3】図１の骨格情報検出部により検出された作業者の側面側の骨格情報を示す図である。

【図4】図１の骨格検出システムのターゲット特定処理についてのフローチャートである。

【図5】第１実施形態のターゲット特定処理において作業中動画の撮影データからターゲットが特定されるまでの様子を模式的に示す図である。

【図6】第３変形例に係る骨格情報に含まれる作業者の正面側の位置情報を示す図である。

【図7】第３変形例に係る骨格情報に含まれる作業者の側面側の位置情報を示す図である。

【図8】第４変形例に係る骨格検出システムの全体動作を示すフローチャートである。

【図9】第２実施形態に係る作業管理装置の機能ブロック図である。

【図10】図９の作業管理装置の全体動作を示すフローチャートである。

【図11】図１０の合否判定処理についてのサブフローチャートである。

【発明を実施するための形態】

【0010】

以下、各実施形態について、各図を参照して説明する。
（第１実施形態）
［骨格検出システム］
図１は、第１実施形態に係る骨格検出システム１の機能ブロック図である。骨格検出システム１は、作業者の動作を検査する検査システムであり、作業中の作業者を撮影した作業中動画（以下、単に作業中動画とも称する。）から、作業者の動作を示す骨格情報を検出する。骨格検出システム１が検出した骨格情報は、作業中の作業者が行う繰り返し動作の検査に用いられる。検査対象となる繰り返し動作としては、例えば、製品の組立作業が挙げられるが、これに限定されない。

【0011】

骨格検出システム１は、作業中動画を撮影する撮影装置２と、作業中動画から骨格情報を検出する検出装置３とを備える。撮影装置２は、一例としてＣＣＤ等の撮像素子を有するビデオカメラであり、作業中動画を生成して、そのデータを出力する。撮影装置２は、作業中の作業者を撮影可能な位置に配置される。一例として、撮影装置２は、作業者が作業を行う作業場の一定領域を撮影するように配置される。撮影装置２と検出装置３とは、無線又は有線で接続される。

【0012】

検出装置３は、撮影装置２から出力される作業中動画のデータを受信する演算部３０と、演算部３０により個別に制御される第１記憶部３１、第２記憶部３２、及び出力部３３とを有する。第１記憶部３１は、作業中動画から得られ且つ作業者が行う繰り返し動作である基準動作の少なくとも１サイクル分に関する基準動作情報を記憶する。基準動作は、作業者の繰り返し動作の手本となる動作であり、各作業ごとに設定される。本実施形態での基準動作は、同一内容の作業を行う複数の作業者の基準動作を基に設定してもよい。本実施形態の第１記憶部３１は、一例として、作業者の基準動作を撮影した基準動画（以下、単に基準動画とも称する。）から得られる作業者の基準動作情報を記憶する。この基準動画は、一例として、作業者の動作を明瞭に確認できる状態（例えば作業者と撮影装置２との間に障害物のない状態）で作業者を撮影した動画である。基準動画には、作業者の少なくとも１サイクル分以上の基準動作に対応する基準動作情報が含まれる。基準動作の１サイクルに係る時間は、例えば数秒から数分程度であるが、これに限定されない。

【0013】

第２記憶部３２は、作業者が実際の作業として行う繰り返し動作（本動作）の少なくとも１サイクル分に関する検査対象情報を記憶する。この繰り返し動作（本動作）は、撮影装置２によって撮影される。第２記憶部３２に繰り返し動作（本動作）の検査対象情報を記憶させることで、事後の検証を行うことができる。第１記憶部３１と第２記憶部３２とに記憶された情報は、所定のタイミングで演算部３０に読み出されてもよいが、第１記憶部３１に記憶された情報と、撮影装置２により撮影された繰り返し動作（本動作）の検査対象情報を、演算部３０に適宜読み出されるようにすることもできる。出力部３３は、第１記憶部３１と第２記憶部３２とに記憶された情報を出力する。出力部３３は、一例として表示部である。

【0014】

検出装置３は、一例として、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ、ＨＤＤ等の記録媒体、及び、ＬＣＤ等のディスプレイを備えたコンピュータにより実現される。演算部３０は、プロセッサにより実現される。プロセッサの個数は、単一又は複数のいずれでもよい。第１記憶部３１と第２記憶部３２とは、上記記録媒体により実現される。更に上記記録媒体には、演算部３０が本実施形態の各処理を実行するためのプログラムと、後述する候補要件とターゲット要件とに関する情報とが記憶されている。上記記録媒体は、検出装置３の外部に設けられた外部記憶装置であってもよい。

【0015】

演算部３０は、骨格情報検出部３０１、候補選択部３０２、及びターゲット特定部３０３を有する。骨格情報検出部３０１は、撮影装置２から出力される作業中動画から、作業者の骨格情報を検出する。この骨格情報の検出方法としては、公知の方法を採用してもよい。この骨格情報の検出方法としては、例えば、カーネギーメロン大学により発表され、記録後又はリアルタイムに撮影画像中の複数人の位置検出が可能なオープンソースライブラリーである「Open Pose」技術（Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, 「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」, arXiv:1611.08050v2を参照）を用いた方法が挙げられる。この方法によれば、作業中動画において複数の作業者の身体が重なって撮影された場合でも、各作業者の骨格情報を区別して検出できる。

【0016】

図２は、図１の骨格情報検出部３０１により検出された作業者Ｗの正面側の骨格情報を示す図である。図３は、図１の骨格情報検出部３０１により検出された作業者Ｗの側面側の骨格情報を示す図である。図２及び３では、作業者Ｗの骨格情報を出力部３３の表示面３３１に表示したときの様子を模式的に示している。また図２及び３の他、後述する図４、５、及び８では、作業者Ｗの骨格情報を模式的に示すと共に骨格情報の所定位置を黒丸で示している。

【0017】

図２及び３に示すように、一例として、骨格情報は、作業者Ｗの複数部位Ｐの位置、又は、作業者Ｗの複数部位Ｐのうち２以上の部位（例えば関節部位等）を結ぶ線Ｌの長さ、あるいは、それら複数部位Ｐや線Ｌで形成される骨格形状の少なくともいずれかの情報である。この情報は、２次元座標の位置情報を含む。骨格情報は、作業中動画内での作業者Ｗの姿勢に伴って変化する。演算部３０は、作業中動画に含まれる複数の連続するフレームにわたって、骨格情報の変化を把握する。

【0018】

候補選択部３０２は、作業中動画から検出される複数の作業者Ｗの骨格情報の中から、所定の候補要件を満たす候補を選択する。これにより候補選択部３０２は、検査対象の作業者Ｗの人数を絞り込む。候補要件は、作業中動画内の複数の骨格情報からターゲットとなる骨格情報を候補選択部３０２が絞り込むための要件として予め設定されている。このように、候補選択部３０２が候補要件を用いて、作業中動画内に撮影された骨格情報を絞り込むことで、骨格検出システム１の負担を軽減できる。

【0019】

ここで本実施形態の候補要件は、一例として、骨格情報が、作業中動画により示される撮影範囲の所定領域内に位置するとの条件を含む。この所定領域としては、例えば、作業中動画の中央領域や、左右両側のうち少なくとも一方側の領域、或いは、作業者Ｗの作業領域（一例として作業机とその近傍とを含む領域）が挙げられるが、これに限定されない。このような候補要件によれば、候補選択部３０２は、上記所定領域を設定することで、作業中動画内の複数の骨格情報の中からターゲットとなる可能性の高い候補を選択でき、骨格検出システム１の負担を一層軽減できる。

【0020】

ターゲット特定部３０３は、ターゲット要件を満たす動作を示す作業者Ｗの骨格情報を、ターゲットとして特定する。この前述のターゲット要件は、骨格情報検出部３０１によって検出された作業中の複数の作業者Ｗの各々の骨格情報のうち、基準動作情報と、検査対象情報との差異が、予め設定された動作許容範囲であるとの要件である。候補選択部３０２によって検出された候補（作業者Ｗ）の検査対象情報と基準動作情報との差異が、前記ターゲット要件を満たせば、ターゲット特定部３０３は、前記候補をターゲットとして特定する。なお本実施形態では、ターゲットが存在しないとターゲット特定部３０３が判定した場合、候補選択部３０２は、候補要件を満たす別の候補を選択する。候補選択部３０２とターゲット特定部３０３とは、ターゲットが決定されるまで同様の処理を繰り返す。

【0021】

上記動作許容範囲（ターゲット要件を満たす動作範囲）は、適宜設定可能である。動作許容範囲としては、例えば、１サイクル分の繰り返し動作中における基準動作情報と検査対象情報との骨格情報の所定位置（一例として、いずれか一方の手の位置）の位置ずれ量が所定距離未満である範囲や、１サイクル分の繰り返し動作中に前記所定位置が描く軌道の位置ずれ量が所定距離未満である範囲を例示できる。或いは動作許容範囲としては、例えば、骨格情報の繰り返し動作の１サイクルの少なくとも一部に掛かる動作のずれ時間が所定時間未満である範囲を例示できる。なお、動作に要する時間が所定時間に対して短すぎる場合も動作許容範囲から外してもよい。このため所定時間は作業内容に応じて設定する。

【0022】

本実施形態のターゲット特定部３０３は、基準動作情報と検査対象情報とを同期させた状態で、基準動作情報と検査対象情報との差異を算出する。具体的にターゲット特定部３０３は、検査対象情報に含まれる作業者の身体の所定位置の骨格情報が、基準動作情報に含まれる作業者の身体の所定位置の骨格情報と一定範囲（例えば、位置ずれが数センチ以内の範囲）内で一致するタイミングを基準時刻として設定することで、基準動作情報と検査対象情報とに示される繰り返し動作の開始時刻を一致させる。そしてターゲット特定部３０３は、基準時刻以後の少なくとも１サイクル分の繰り返し動作中における基準動作情報と検査対象情報との差異を算出する。前記差異とは、例えば、動作の開始時刻を一致させたときの基準動作情報と検査対象情報とに含まれる作業者の身体の所定位置の骨格情報の最大位置ずれ量、動作の開始時刻を一致させたときの基準動作情報と検査対象情報とに含まれる作業者の身体の所定位置の骨格情報が描く軌道の最大位置ずれ量、又は、基準動作情報と検査対象情報との間の動作の周期のずれ量であってもよい。

【0023】

［骨格検出システムの動作］
骨格検出システム１の動作時には、まず演算部３０が、作業中動画内の複数の作業者Ｗの骨格情報の中からターゲットを特定するターゲット特定処理を行う。本実施形態のターゲット特定処理では、まず骨格情報検出部３０１が、作業中動画から作業者Ｗの骨格情報を検出する。その後、候補選択部３０２が、検出された骨格情報の中から候補を選択し、検査対象の作業者Ｗの人数を絞り込む。続いて、ターゲット特定部３０３が、選択された候補の中から検査対象のターゲットを特定する。これによりターゲット特定処理が行われる。演算部３０は、検査者からの検査中止の指示がない限り、本処理のフローを繰り返し実行する。

【0024】

このように、本実施形態の骨格検出システム１によれば、作業中動画から検出される作業者Ｗの骨格情報の中からターゲットを特定できる。つまり作業者Ｗの検査対象情報と、この作業者Ｗの第１記憶部３１に記憶された基準動作情報とを比較することで、ターゲットを特定できる。特に骨格検出システム１は、作業者Ｗの繰り返し動作を検査対象としており、検査対象の作業者Ｗの動作に規則性及び周期性がある。よって、骨格検出システム１を用いて、ターゲットの特定を正確且つ迅速に行える。また、ターゲット特定部３０３によりターゲットを特定することで、作業中動画に撮影された作業者Ｗから、検査対象の作業者Ｗを特定することができる。よって、骨格検出システム１の負荷を抑制できる。

【0025】

また第１記憶部３１は、基準動画から得られる作業者Ｗの基準動作情報を記憶する。このため演算部３０は、第１記憶部３１を参照することにより、いつでも基準動作情報を利用できる。よって、演算部３０が要求するタイミングに応じて演算部３０が基準動作情報を参照することで、ターゲットの繰り返し動作の検査を効率よく行える。

【0026】

また本実施形態の骨格検出システム１は、検査対象情報を記憶する第２記憶部３２を備える。このため演算部３０は、第２記憶部３２を参照することにより、検査対象情報をいつでも利用できる。よって、例えば作業者Ｗが繰り返し動作を行った後でも、検査者或いは演算部３０が要求するタイミングに応じて演算部３０が検査対象情報を参照することで、事後的にターゲットの繰り返し動作の検査を行える。

【0027】

また本実施形態のターゲット特定部３０３は、ターゲット要件を満たす動作を示す作業者Ｗの骨格情報をターゲットとして特定する。このように、ターゲット要件を用いることで、ターゲット特定部３０３は、ターゲットとして特定すべき作業者Ｗの骨格情報を安定して特定できる。

【0028】

また一例として、骨格情報は、作業者Ｗの複数部位Ｐの位置、又は、作業者Ｗの複数部位Ｐのうち２以上の部位を結ぶ線Ｌの長さ、あるいはそれら複数部位Ｐや線Ｌで形成される骨格形状の少なくともいずれかのデータを含む。このように骨格情報は、作業者Ｗの身体を繰り返し動作が把握できる程度に簡単化した身体情報であるため、例えば作業者Ｗの画像データ自体に比べて情報量が少ない。よって演算部３０は、このようなデータを含む骨格情報に基づいて、ターゲットの繰り返し動作の検査を、作業負担を軽減しながら高精度で行える。

【0029】

以下、本実施形態のターゲット特定処理の具体的内容を例示する。図４は、骨格検出システム１のターゲット特定処理についてのフローチャートである。この図４に示されるフローが、本実施形態のターゲット特定処理である。本フローでは、演算部３０は、まず骨格検出システム１に、作業内容の基準動作情報が第１記憶部３１に記憶されているか否かを判定する（ステップＳ１１）。ステップＳ１１において、演算部３０は、作業内容の基準動作情報が第１記憶部３１に記憶されていないと判定した場合（ステップＳ１１：Ｎｏ）、必要な基準動作情報を取得して第１記憶部３１に記憶させ（ステップＳ１２）、その後、ステップをステップＳ１３に進める。ステップＳ１１において、演算部３０は、作業内容の基準動作情報が第１記憶部３１に記憶されていると判定した場合（ステップＳ１１：Ｙｅｓ）、ステップをステップＳ１３に進める。

【0030】

ステップＳ１２では、演算部３０は、例えば出力部３３を通じて、作業内容の基準動作情報が不足していることを検査者に報知し、必要な基準動作情報を含む基準動画のデータを検出装置３に入力するように検査者に促してもよい。演算部３０は、検査者が基準動画のデータが検出装置３に入力されたことを検知すると、その基準動画のデータから、作業者Ｗの基準動作情報として、骨格情報検出部３０１が骨格情報を検出してもよい。

【0031】

次に骨格情報検出部３０１は、作業中の作業者Ｗを撮影した作業中動画から作業者Ｗの骨格情報を検出する（ステップＳ１３）。その後、演算部３０は、骨格情報検出部３０１が検出した骨格情報に基づいて、作業中動画に撮影されている作業者Ｗの人数をカウントする（ステップＳ１４）。

【0032】

その後、候補選択部３０２は、作業中動画から検出された作業者Ｗの骨格情報の中から、候補要件を満たす候補を選択する（ステップＳ１５）。これにより、検査対象とする骨格情報が更に絞り込まれる。本フローでの候補要件は、一例として、骨格情報が、作業中動画により示される撮影範囲の所定領域内に位置するとの条件を含む。所定領域は、適宜設定可能であるが、例えば、作業者Ｗが作業を行う作業領域（一例として作業机とその近傍とを含む領域）に設定できる。或いは所定領域は、例えば、作業中動画の中央領域に設定されてもよい。これにより、作業中動画に撮影された作業者Ｗのうち、前記所定領域内に位置する作業者Ｗの骨格情報が候補として選択される。

【0033】

次に、ターゲット特定部３０３は、ステップＳ１５で選択された候補がターゲット要件を満たすか否かを判定する（Ｓ１６）。ステップＳ１６において、ターゲット特定部３０３は、候補がターゲット要件を満たさないと判定した場合（ステップＳ１６：Ｎｏ）、ステップをステップＳ１３に戻す。ステップＳ１６において、ターゲット特定部３０３は、候補がターゲット要件を満たすと判定した場合（ステップＳ１６：Ｙｅｓ）、ステップをステップＳ１７に進める。

【0034】

ステップＳ１７において、ターゲット特定部３０３は、ステップＳ１６でターゲット要件を満たすと判定した候補が１つであれば、この候補をターゲットとして特定する。ステップＳ１７において、ターゲット特定部３０３は、ステップＳ１６でターゲット要件を満たすと判定した候補が複数であれば、この複数の候補のうち、ターゲット要件の動作許容範囲のずれが最も小さい候補をターゲットとして特定する。演算部３０は、一例として、ターゲットの特定結果を第１記憶部３１に記憶する。演算部３０は、ステップＳ１７の実施後、本フローを終了する。

【0035】

ここで図５（ａ）～図５（ｄ）は、第１実施形態のターゲット特定処理において作業中動画からターゲットが特定されるまでの様子を模式的に示す図である。図５に示す例では、ステップＳ１３において、作業中画面内から４人の作業者Ｗ１～Ｗ４の骨格情報が、骨格情報検出部３０１により検出される（図５（ａ））。またステップＳ１５において、作業中動画の所定領域Ｓ内に位置する３人の作業者Ｗ１～Ｗ３の骨格情報が、候補選択部３０２により候補として選択される（図５（ｂ））。これにより、作業中動画の撮影領域に映った骨格情報のうち、所定領域Ｓ外に位置する骨格情報（ここでは作業者Ｗ４の骨格情報）が、候補の対象とならず、候補から外される。

【0036】

またステップＳ１７において、候補である作業者Ｗ１～Ｗ３の骨格情報について、作業内容毎に設定された基準動作情報と、作業中の動作情報である検査対象情報との差異が、予め設定された動作許容範囲であるとのターゲット要件を満たすか否かが、ターゲット特定部３０３により判定される。一例として、Ｗ３、Ｗ２、Ｗ１の順で各作業者の検査対象情報と基準動作情報を比較し、ターゲット要件を満たす作業者（例えばＷ１）をターゲットとして特定する。また、ターゲット要件を満たさないと判定された作業者Ｗ２、Ｗ３の骨格情報が、ターゲットの対象とならず、ターゲットから外される（図５（ｃ）、図５（ｄ））。

【0037】

本実施形態によれば、作業者Ｗの動作検査に必要な全ての基準動作情報が第１記憶部３１に記憶されている。よって本フローでは、第１記憶部３１に記憶された全ての基準動作情報の中から対象とすべき情報を抽出し、作業中動画から検出される骨格情報と基準動作情報とを対比させてターゲットが特定される。よって、漏れのない検査が可能となる。また、作業中動画により示される撮影範囲の所定領域Ｓ内に位置するとの条件を含む候補要件に基づいて、候補選択部３０２により候補が選択されるため、候補を選択する際の骨格検出システム１の負荷を軽減できる。よって、ターゲットを迅速に特定できる。

【0038】

以下、本実施形態の変形例について説明する。第１変形例に係る候補要件は、一例として、基準動作情報と、作業中動画から検出される骨格情報の検査対象情報との差異が、予め設定された動作許容範囲であるとの要件を含む。このように本変形例では、作業中動画内の骨格情報の繰り返し動作に基づいて、候補選択部３０２により候補が選択される。これにより、本変形例によれば、ターゲット特定部３０３がターゲットを特定する前に、比較的適切な繰り返し動作を行う骨格情報が候補として選択される。このため、適切な候補を候補選択部３０２により高精度で選択できると共に、ターゲット特定部３０３がターゲットを特定する際の負担を軽減できる。

【0039】

また、検査対象の作業者Ｗは、複数の作業者Ｗのうち、例えば撮影装置２に一番近い位置で作業を行う場合がある。この場合、検査対象の作業者Ｗは、作業中動画内では、複数の作業者Ｗの中で最も大きく撮影される。そこで第２変形例に係る候補要件は、一例として、作業中動画から検出される骨格情報が示す骨格の大きさが、作業中動画から検出される複数の作業者Ｗの骨格情報のうちで最大であるとの条件を含む。ここで言う骨格情報が示す骨格の大きさは、例えば、作業中動画から検出される作業者Ｗの身体の３点以上の位置を頂点とする多角形の面積（例えば以下の図６に示す位置Ｐ１～Ｐ３を頂点とする三角形の面積）、及び、作業中動画から検出される作業者Ｗの骨格長さ（例えば図２及び３に示す線Ｌ）の総和のいずれかで表わされる。上記した多角形は、頂点の数が４以上の形状を有していてもよい。また、多角形の面積や骨格長さの総和を組み合わせてもよい。このような候補要件に基づくことで、作業中動画で最も大きく撮影される作業者Ｗが、候補として選択される。

【0040】

図６は、第３変形例に係る骨格情報に含まれる作業者Ｗの正面側の位置情報を示す図である。図７は、第３変形例に係る骨格情報に含まれる作業者Ｗの側面側の位置情報を示す図である。図６及び７では、出力部３３の表示面３３１に表わされる骨格情報を模式的に示している。

【0041】

図６及び７に示すように、第３変形例に係るターゲット特定部３０３は、作業中動画から検出される作業者Ｗの身体の中心線Ｘを挟む両側に離隔する第１位置Ｐ１及び第２位置Ｐ２（右肩と左肩との各位置）と、第１位置Ｐ１及び第２位置Ｐ２の各々に離隔する第３位置Ｐ３（頭の中央位置）の各々の変化により表わされる骨格情報が示す動作に基づいて、ターゲットを特定する。

【0042】

本変形例によれば、比較的少ない位置情報を含む骨格情報に基づいてターゲット特定部３０３がターゲットを特定することで、例えば作業者Ｗの身体全体の骨格情報を用いた場合に比べて、ターゲット特定部３０３がターゲットを迅速に特定できると共に、ターゲットを特定する際の骨格検出システム１の負担を更に軽減できる。

【0043】

また本変形例では、第１～３位置Ｐ１～Ｐ３の位置データは、検査対象情報に含まれる。これによりターゲット特定部３０３は、第１～３位置Ｐ１～Ｐ３のデータに基づいて、候補の中からターゲットを迅速に特定できる。なお、第１変形例において、候補選択部３０２が候補を選択する際、候補選択部３０２が、第１～３位置Ｐ１～Ｐ３の各々の変化により表わされる骨格情報が示す動作に基づいて候補を選択してもよい。

【0044】

図８は、第４変形例に係る骨格検出システムの全体動作を示すフローチャートである。本変形例の骨格検出システムは、ターゲット特定処理（ステップＳ１）を行った後、ターゲットの繰り返し動作を検査するターゲット検査処理を行う（ステップＳ２）。ステップＳ２の後、演算部３０は、検査者からの検査中止の指示があるか否かを判定する（ステップＳ３）。本変形例の骨格検出システムは、ステップＳ３において、演算部３０が、検査者からの検査中止の指示がないと判定する限り（ステップＳ３：Ｎｏ）、ステップＳ１～Ｓ３のフローを繰り返し実行する。なお、本変形例の骨格検出システムは、ターゲット検査結果を記録する記録部を備えていてもよい。この場合、演算部３０は、ターゲット検査結果を当該記録部に記録する。

【0045】

本変形例の骨格検出システムは、一例として、撮影中の作業中動画に基づいて、リアルタイムでターゲット特定処理（ステップＳ１）及びターゲット検査処理（ステップＳ２）を行う。これにより検査者は、骨格検出システムを用いて、作業者Ｗの作業の繰り返し動作をリアルタイムで迅速に検査できる。よって、検査結果を現在の作業者Ｗの繰り返し動作にすぐに反映できる。また、リアルタイムでターゲット検査処理（ステップＳ２）が行われることにより、その検査処理の検査結果を解析する装置を用いれば、例えば、作業者Ｗの不適切な動作で品質基準に達しない組立品が組み立てられた場合でも、検査者は当該組立品を特定し易くできる。これにより、組立品の無駄が低減できる。このように本変形例によれば、ターゲット検査処理（ステップＳ２）の検査結果を用いて、様々な作業解析が可能となる。

【0046】

本変形例のように、骨格検出システムにおいて、リアルタイムでターゲット検査処理が行われる場合、演算部３０は、例えば、撮影装置２により撮影された作業中動画を第２記憶部３２に記憶させることなく、ターゲット特定処理（ステップＳ１）とターゲット検査処理（ステップＳ２）とを実行してもよい。又は、撮影装置２により撮影された作業中動画を第２記憶部３２に記憶させながら、ターゲット特定処理（ステップＳ１）とターゲット検査処理（ステップＳ２）とを実行してもよい。また、骨格検出システムが備える記憶部（例えば第１記憶部３１及び第２記憶部３２の少なくともいずれか）には、基準動画及び作業中動画の少なくともいずれかが録画されていてもよい。

【0047】

次に、ターゲット検査処理（ステップＳ２）の具体的内容を例示する。本処理では、一例として演算部３０が、ステップＳ１７で特定したターゲット（例えばＷ１）について、作業中動画内の骨格情報に基づき、本動作での繰り返し動作の動作検査を行う。この動作検査は、例えば、基準動作情報と検査対象情報との差異が、予め設定された動作許容範囲であるターゲット検査要件を満たすか否かを演算部３０が判定することで行われる。ターゲット検査要件の動作許容範囲は、例えば、ターゲット要件の動作許容範囲よりも狭い範囲に設定できるが、これに限定されない。

【0048】

以上の構成によれば、検査者は、報知されたターゲットの検査結果に基づいて、ターゲットの繰り返し動作を適切且つ迅速に動作検査できる。以下、第２実施形態について、第１実施形態との差異を中心に説明する。

【0049】

（第２実施形態）
以下、第２実施形態について説明する。第２実施形態では、前述の第１実施形態の第４変形例のターゲット検査処理と同様の処理を行い、この処理の検査結果に基づき、ターゲットに対応する作業者の動作の合否を判定する処理を行う装置を示す。

【0050】

図９は、第２実施形態に係る作業管理装置１００の機能ブロック図である。図９に示すように、作業管理装置１００は、撮影装置２と、撮影装置２が接続された判定装置４とを備える。判定装置４は、演算部４０、第１記憶部４１、第２記憶部４２、及び出力部４３を有する。演算部４０は、骨格情報検出部４０１、候補選択部４０２、及びターゲット特定部４０３の他、判定部４０４を有する。この判定部４０４は、所定のタイミングで、ターゲットの検査対象情報と、ターゲットに対応する基準動作情報との差異が、予め設定された基準範囲内か否かに基づいて、ターゲットに対応する作業者の動作の合否を判定する合否判定処理を行う。出力部４３は、判定部４０４の行った合否判定処理の判定結果を出力する。このように作業管理装置１００は、実質的には、第１実施形態の骨格検出システム１と、判定部４０４とを備えた構成を有する。

【0051】

図１０は、図９の作業管理装置１００の全体動作を示すフローチャートである。以下、図１０を用いて、作業管理装置１００の全体動作を説明する。図１０に示すように、作業管理装置１００の動作時には、まず演算部４０により、ステップＳ１と同様にターゲット特定処理が行われる（ステップＳ４）。その後、判定部４０４は、ターゲットの検査対象情報と、ターゲットに対応する基準動作情報との差異が、予め設定された基準範囲内か否かを判定する。これにより合否判定処理が行われる（ステップＳ５）。

【0052】

次に演算部４０は、検査者からの検査中止の指示があるか否かを判定する（ステップＳ６）。ステップＳ６において、演算部４０は、検査者からの検査中止の指示があると判定した場合（ステップＳ６：Ｙｅｓ）、本フローの実行を中止する。ステップＳ６において、演算部４０は、検査者からの検査中止の指示がないと判定した場合（ステップＳ６：Ｎｏ）、ステップＳ４に戻す。これにより、検査者からの検査中止の指示がない限り、演算部４０は、本フローを繰り返し実行する。以上が、作業管理装置１００の全体動作である。

【0053】

以下、図１０の合否判定処理（ステップＳ５）での具体的な処理内容を例示する。図１１は、図１０の合否判定処理についてのサブフローチャートである。本サブフローでは、演算部４０は、特定されたターゲットの繰り返し動作の動作検査を行う（ステップＳ５１）。この動作検査では、上記したように、判定部４０４が、ターゲットの検査対象情報と、ターゲットに対応する基準動作情報との差異が、予め設定された基準範囲（一例として、上記したターゲット検査要件の動作許容範囲）内か否かを判定する。

【0054】

次に演算部４０は、ステップＳ５１の検査結果で測定した前記差異が基準範囲内であったか否かに基づいて、ターゲットに対応する作業者の動作の合否を判定する（ステップＳ５２）。ステップＳ５２において、演算部４０は、ステップＳ５１の検査結果での前記差異が基準範囲内ではない（ここではターゲット検査要件を満たさない）ため、ターゲットに対応する作業者の動作が基準を満たさないと判定した場合（ステップＳ５２：Ｎｏ）、その旨を示す判定結果を出力部４３に出力させ（ステップＳ５４）、本フローの実行を終了する。ステップＳ５２において、演算部４０は、ステップＳ５１の検査結果での前記差異が基準範囲内である（ここではターゲット検査要件を満たす）ため、ターゲットに対応する作業者の動作が基準を満たすと判定した場合（ステップＳ５２：Ｙｅｓ）、その旨を示す判定結果を出力部４３に出力させ（ステップＳ５３）、本フローの実行を終了する。

【0055】

このような動作を行う作業管理装置１００によっても、第１実施形態の骨格検出システム１と同様の効果が奏される。また、演算部４０が判定部４０４を有するため、検査者は、ターゲットが示す繰り返し動作について判定部４０４が判定した判定結果を、出力部４３から出力される内容を通じて確認できる。これにより検査者は、自ら動作検査を行う検査負担を軽減できる。また検査者は、作業者Ｗの繰り返し動作を長時間でも安定して高精度で検査できる。

【0056】

なお、出力部４３は音声出力部であってもよい。この場合、演算部４０は、ステップＳ５１の検査結果での前記差異が基準範囲内ではないと判定した場合（ステップＳ５２：Ｎｏ）、ステップＳ５４において、警告音を出力部４３に出力させてもよい。また、作業管理装置１００は、判定部４０４の判定結果を記録する記録部を備えていてもよい。この場合、演算部４０は、ステップＳ５２で得られた判定部４０４の判定結果を当該記録部に記録する。

【0057】

各実施形態における各構成及びそれらの組み合わせ等は、一例であって、本開示の趣旨から逸脱しない範囲内で、適宜、構成の付加、省略、置換、及びその他の変更が可能である。本開示は、実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。また、本明細書に開示された各々の態様は、本明細書に開示された他のいかなる特徴とも組み合わせることができる。

【0058】

骨格検出システム１と作業管理装置１００とは、複数の撮影装置２を備えていてもよい。この場合、骨格検出システム１と作業管理装置１００は、例えば、複数の場所での作業者Ｗの繰り返し動作を検査できる。

【0059】

また第１実施形態では、複数の候補を順番に判定してターゲットを特定する例を示したが、複数の候補を同時に判定してターゲットを特定してもよい。この場合、骨格検出システム１は、例えば、複数の演算部３０を有していてもよい。

【符号の説明】

【0060】

Ｗ、Ｗ１～Ｗ４ 作業者
１ 骨格検出システム
３１、４１ 第１記憶部
３２、４２ 第２記憶部
４３ 出力部
１００ 作業管理装置
３０１、４０１ 骨格情報検出部
３０２、４０２ 候補選択部
３０３ 、４０３ ターゲット特定部
４０４ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】