ホーム > 特許ランキング > 株式会社デンソーウェーブ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-10
(45)【発行日】2023-05-18
(54)【発明の名称】作業分析装置及び作業分析プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20230511BHJP
G05B 19/418 20060101ALI20230511BHJP
【ＦＩ】
G06T7/20 300Z
G05B19/418 Z
【請求項の数】
6
(21)【出願番号】P 2019147092
(22)【出願日】2019-08-09
(65)【公開番号】P2020144830
(43)【公開日】2020-09-10
【審査請求日】2022-01-25
(31)【優先権主張番号】P 2019035209
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】501428545
【氏名又は名称】株式会社デンソーウェーブ
(74)【代理人】
【識別番号】100095795
【弁理士】
【氏名又は名称】田下 明人
(74)【代理人】
【識別番号】100143454
【弁理士】
【氏名又は名称】立石 克彦
(72)【発明者】
【氏名】小澤 諒
(72)【発明者】
【氏名】山口 陽介
(72)【発明者】
【氏名】酒井 拓哉
(72)【発明者】
【氏名】渡部 元秋
(72)【発明者】
【氏名】森本 宜樹
(72)【発明者】
【氏名】依田 卓也
(72)【発明者】
【氏名】凌 通
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１８－１５６２７９（ＪＰ，Ａ）
【文献】特開２００７－２４３８４６（ＪＰ，Ａ）
【文献】特開２００７－３２３２２２（ＪＰ，Ａ）
【文献】特開２００６－３０２０９６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０５Ｂ １９／４１８
(57)【特許請求の範囲】
【請求項1】
正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置であって、作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部と、
前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部と、
を備え、
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の１つ前の単位作業を除外するように前記判定用データを生成することを特徴とする作業分析装置。
【請求項2】
前記単位作業は、当該単位作業に関連付けられる部品箱から取り出した部品を被組付部材に組み付ける作業であり、前記所定の動作は、前記部品箱から前記部品を取り出す動作であることを特徴とする請求項１に記載の作業分析装置。
【請求項3】
前記単位作業は、当該単位作業に関連付けられる部品を被組付部材に組み付ける作業であり、前記所定の動作は、前記部品を前記被組付部材の組付予定位置に移動させた動作であることを特徴とする請求項１に記載の作業分析装置。
【請求項4】
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記単位作業ごとに正常な作業とみなされる正常作業時間範囲を算出し、作業時間が前記正常作業時間範囲の前記単位作業を前記判定用データとして生成することを特徴とする請求項１～３のいずれか一項に記載の作業分析装置。
【請求項5】
前記生成部は、作業時間が前記正常作業時間範囲から外れる前記単位作業を除外するように前記判定用データを生成することを特徴とする請求項４に記載の作業分析装置。
【請求項6】
正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置の制御部に、作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像部により撮像する撮像処理と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像処理により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定処理と、
前記撮像処理により撮像された作業動画と前記設定処理により設定された前記区切情報とを含めるように前記判定用データを生成する生成処理と、
を実行させ、
前記生成処理では、前記設定処理により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の１つ前の単位作業を除外するように前記判定用データを生成することを特徴とする作業分析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置及び作業分析プログラムに関するものである。
【背景技術】
【0002】
従来、基板等の被組付部材に対して複数の部品を組み付ける作業などの所定の作業を行う作業者の動画を大量に撮像してその動画を解析することで、正しい作業が行われているか否かを判定するための判定用データ（アノテーションデータ）を生成し、このように生成したデータを利用して作業を支援するシステムが採用されている。
【0003】
このようなアノテーションデータの生成に関する技術として、例えば、下記特許文献１に開示される作業分析装置が知られている。この作業分析装置にてなされる作業分析処理では、読み込んだ分析対象の作業動画が、計測状態表示領域等とともに作業分析画面に再生表示される。そして、動画再生中に再生画面の一部をマウスでクリックする区切操作が作業者により行われると、その再生画面の一部の上に選択画面が表示される。この表示状態で、その選択画面に表示されるいずれかの属性情報をマウスでクリックする選択操作が作業者により行われると、区切操作により区切られる動画範囲について、選択操作により選択される属性情報を含む分析データが関連付けられて記録される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１３４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上述した特許文献１に開示される作業分析装置では、複数の単位作業が所定の順番で行われる所定の作業の繰り返しを動画で撮像した後に、その再生動画を見ている作業者等が再生画面の一部をマウスでクリックするような操作が必要になる。このため、動画を全て見なければ、単位作業ごとに動画範囲を区切ることができず、作業者等にとって負担が大きな作業になるという問題がある。特に、単位作業の種類が多くなり、その所定の作業の繰り返し回数が多くなると、上記問題は顕著になる。また、所定の作業の繰り返しを動画で撮像した後に、その再生動画を見ながら操作を行う必要があるため、所定の作業の動画を撮像しながらアノテーションデータを生成することができないという問題がある。
【0006】
本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成し得る構成を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置（１０）であって、
作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部（１３）と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部（１１）と、
前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部（１１）と、
を備え、
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の１つ前の単位作業を除外するように前記判定用データを生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示
すものである。
正しい作業が行われているか否かを判定するための判定用データを生成する作業分析装置（１０）であって、
作業者により複数の単位作業が所定の順番で行われる所定の作業の繰り返しを撮像する撮像部（１３）と、
前記単位作業ごとに予め設定される所定の動作に基づいて、前記撮像部により撮像された作業動画を前記所定の動作の検出タイミングで前記単位作業ごとに区切るための区切情報を設定する設定部（１１）と、
前記撮像部により撮像された作業動画と前記設定部により設定された前記区切情報とを含めるように前記判定用データを生成する生成部（１１）と、
を備え、
前記生成部は、前記設定部により設定された前記区切情報に基づいて、前記所定の順番と異なる順番で行われた前記単位作業の１つ前の単位作業を除外するように前記判定用データを生成することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示
すものである。
【発明の効果】
【0008】
請求項１の発明では、単位作業ごとに予め設定される所定の動作に基づいて、撮像部により撮像された作業動画を所定の動作の検出タイミングで単位作業ごとに区切るための区切情報が設定部により設定され、撮像部により撮像された作業動画と設定部により設定された区切情報とを含めるように判定用データが生成部により生成される。
【0009】
これにより、作業者が単位作業ごとに行う所定の動作が撮像されるだけで、単位作業ごとに作業動画を自動的に区切ることができる。したがって、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成することができる。
特に、生成部により、設定部により設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の１つ前の単位作業が除外されるように判定用データが生成される。例えば、単位作業Ａ、単位作業Ｂ、単位作業Ｃの順で所定の作業がなされる場合に、単位作業Ａに対応する所定の動作が検出された後に単位作業Ｃに対応する所定の動作が検出された場合を想定する。この場合、単位作業Ａの後に実際に行われた単位作業Ｂの所定の動作が何らかの理由で検出できないために、単位作業Ａとして区切られた作業動画に単位作業Ｂの作業動画も含まれてしまっている可能性があるため、所定の順番と異なる順番で行われた単位作業Ｃの１つ前の単位作業Ａが除外される。このように、正常な作業とみなされない単位作業の動画が自動的に判定用データから除外されるため、判定用データの信頼性を向上させることができる。
特に、生成部により、設定部により設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の１つ前の単位作業が除外されるように判定用データが生成される。例えば、単位作業Ａ、単位作業Ｂ、単位作業Ｃの順で所定の作業がなされる場合に、単位作業Ａに対応する所定の動作が検出された後に単位作業Ｃに対応する所定の動作が検出された場合を想定する。この場合、単位作業Ａの後に実際に行われた単位作業Ｂの所定の動作が何らかの理由で検出できないために、単位作業Ａとして区切られた作業動画に単位作業Ｂの作業動画も含まれてしまっている可能性があるため、所定の順番と異なる順番で行われた単位作業Ｃの１つ前の単位作業Ａが除外される。このように、正常な作業とみなされない単位作業の動画が自動的に判定用データから除外されるため、判定用データの信頼性を向上させることができる。
【0010】
請求項２の発明では、単位作業は、当該単位作業に関連付けられる部品箱から取り出した部品を被組付部材に組み付ける作業であり、上記所定の動作は、部品箱から部品を取り出す動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者等の作業負担を軽減することができる。
【0011】
請求項３の発明では、単位作業は、当該単位作業に関連付けられる部品を被組付部材に組み付ける作業であり、上記所定の動作は、部品を被組付部材の組付予定位置に移動させた動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者等の作業負担を軽減することができる。
【0012】
請求項４の発明では、生成部により、設定部により設定された区切情報に基づいて、単位作業ごとに正常な作業とみなされる正常作業時間範囲が算出され、作業時間が正常作業時間範囲の単位作業が判定用データとして生成される。これにより、作業時間を考慮して正常な作業とみなされる単位作業の動画を自動的に判定用データとすることができ、判定用データの信頼性を向上させることができる。
【0013】
請求項５の発明では、生成部により、作業時間が正常作業時間範囲から外れる単位作業を除外するように判定用データが生成される。これにより、正常な作業とみなされない単位作業の動画を自動的に判定用データから除外することができ、判定用データの信頼性を向上させることができる。
【0015】
請求項６の発明によれば、請求項１と同様の効果を奏する作業分析プログラムを実現できる。
【図面の簡単な説明】
【0016】
【図1】第１実施形態に係る作業分析装置の概略構成を示す説明図である。
【図2】各部品箱が撮像される撮像状態を説明する説明図である。
【図3】作業分析装置の電気的構成を例示するブロック図である。
【図6】制御部にてなされる作業分析処理の流れを例示するフローチャートである。
【図7】単位作業ごとに区切情報が設定された作業区切の検出結果を説明する説明図である。
【図8】第２実施形態において区切動作を検出する監視領域を説明する説明図である。
【図11】第３実施形態に係る作業分析装置の監視装置を説明する説明図である。
【図12】第３実施形態において区切動作が検出される状態を説明する説明図である。
【図15】第５実施形態において監視領域を設定する状態を説明する説明図である。
【図16】第５実施形態において区切動作の検出が有効となる高さ状態と無効となる高さ状態とを説明する説明図である。
【図17】第６実施形態に係る作業分析装置の監視装置を説明する説明図であり、図１７（Ａ）は、部品箱３０ａから部品２０ａを取り出した状態を示し、図１７（Ｂ）は、部品２０ａをワークＷに組み付けた状態を示す。
【図19】第７実施形態において部品箱における仮監視領域の設定を説明する説明図である。
【図20】第７実施形態においてワークにおける仮監視領域の設定を説明する説明図である。
【図22】第８実施形態に係る作業分析装置の概略構成を示す説明図である。
【図23】第８実施形態において制御部にてなされる監視領域設定処理の流れを例示するフローチャートである。
【図27】第２撮像部から部品箱コードまでの距離の算出方法を説明する説明図である。
【図28】部品箱に対する部品箱コードの貼り付け位置を例示する説明図である。
【図30】第８実施形態の第１変形例に係る作業分析装置の要部を示す説明図である。
【図31】第８実施形態の第２変形例に係る作業分析装置の要部を示す説明図である。
【図33】第９実施形態に係る作業分析装置の要部を示す説明図である。
【図35】第９実施形態において制御部にてなされる監視領域設定処理の流れを例示するフローチャートである。
【図36】第１０実施形態に係る作業分析装置の要部を示す説明図であり、図３６（Ａ）は、棚上に載置された２つの部品箱を撮像した撮像画像を示し、図３６（Ｂ）は、図３６（Ａ）を各ブロックに分割した状態を示す。
【図39】第１２実施形態に係る作業分析装置の要部を示す説明図であり、図３９（Ａ）は、棚上に載置された２つの部品箱を撮像した撮像画像を示し、図３９（Ｂ）は、第２色の領域を抽出した撮像画像を示し、図３９（Ｃ）は、フィルタリング処理を行った後の撮像画像を示す。
【図40】第１３実施形態に係る作業分析装置にてなされる監視領域設定処理の要部を説明するための説明図である。
【図41】第１３実施形態において制御部にてなされる監視領域設定処理の流れを例示するフローチャートである。
【図43】部品領域に基づいて設定される監視領域を説明する説明図である。
【図44】第１３実施形態の第１変形例に係る作業分析装置にてなされる監視領域設定処理の要部を説明するための説明図である。
【図45】所定のＹ座標に関してＸ座標方向に輝度値をラインスキャンした検出結果を例示する説明図である。
【図46】第１３実施形態の第２変形例に係る作業分析装置にてなされる監視領域設定処理の要部を説明するための説明図である。
【図47】抽出画像からコーナー検出したコーナーの角度の出現頻度を説明するグラフである。
【発明を実施するための形態】
【0017】
［第１実施形態］
以下、本発明に係る作業分析装置及び作業分析プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業分析装置１０は、図１に例示するように、作業台１等に設けられており、複数の単位作業が所定の順番で行われる所定の作業が作業者Ｍにより繰り返しなされる作業動画を撮像し、正しい作業が行われているか否かを単位作業ごとに判定するための判定用データ（アノテーションデータ）を、作業動画に基づいて生成する装置として構成されている。すなわち、所定の作業が繰り返される作業動画を単位作業ごとに区切るための区切情報を設定するようにして判定用データを生成する。このため、判定用データから各単位作業を撮像した動画範囲をそれぞれ多数抽出することができる。
以下、本発明に係る作業分析装置及び作業分析プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業分析装置１０は、図１に例示するように、作業台１等に設けられており、複数の単位作業が所定の順番で行われる所定の作業が作業者Ｍにより繰り返しなされる作業動画を撮像し、正しい作業が行われているか否かを単位作業ごとに判定するための判定用データ（アノテーションデータ）を、作業動画に基づいて生成する装置として構成されている。すなわち、所定の作業が繰り返される作業動画を単位作業ごとに区切るための区切情報を設定するようにして判定用データを生成する。このため、判定用データから各単位作業を撮像した動画範囲をそれぞれ多数抽出することができる。
【0018】
組み付け作業が行われる作業台１には、プリント基板などの被組付部材（以下、単に、ワークＷともいう）が搬送されて配置される。この作業台１の棚２には、複数の部品箱３０が作業者Ｍから見て左右に並ぶように配置されており、各部品箱３０には、ワークＷに組み付けるための複数種類の部品２０がそれぞれ個別に貯留されている。本実施形態では、図２からわかるように、棚２上に４つの部品箱３０ａ～３０ｄが並んで配置され、部品箱３０ａに部品２０ａが収容され、部品箱３０ｂに部品２０ｂが収容され、部品箱３０ｃに部品２０ｃが収容され、部品箱３０ｄに部品２０ｄが収容されている。なお、図２では、後述する撮像部１３により撮像される画像のうち部品箱３０ａ～３０ｄの近傍を拡大して示している。
【0019】
作業分析装置１０は、図１及び図３に示すように、制御部１１、記憶部１２、撮像部１３、表示部１４、発光部１５、スピーカ１６、操作部１７、通信部１８などを備えている。制御部１１は、マイコンを主体として構成されて、作業分析装置１０の全体的制御や各種演算を行うものであり、例えば後述する作業分析処理を実行するように機能する。記憶部１２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業分析処理を実行するためのアプリケーションプログラム（以下、作業分析プログラムともいう）や所定のデータベース等が、制御部１１により利用可能に予め格納されている。
【0020】
撮像部１３は、受光センサ（例えば、Ｃ－ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成されている。本実施形態では、撮像部１３は、制御部１１や表示部１４等を備えた装置本体１０ａとは別体として構成されており、作業者Ｍの作業状態に加えて各部品箱３０ａ～３０ｄ及びワークＷの状態を動画で撮像するように、作業台１の上部に配置されている。本実施形態では、撮像部１３は、例えば、３０フレーム／秒で動画（連続静止画）を撮像し、撮像した動画が制御部１１によって分析可能に記憶部１２に記憶されるように構成されている。
【0021】
表示部１４は、例えば、液晶ディスプレイであって、制御部１１により制御されて、撮像部１３により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部１４の表示画面が作業者Ｍによって視認されるように、装置本体１０ａが作業台１の背板等に取り付けられている。
【0022】
発光部１５は、例えば、ＬＥＤであって、制御部１１により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Ｍによって視認容易な位置に配置されている。スピーカ１６は、公知のスピーカ等によって構成されており、制御部１１により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。
【0023】
操作部１７は、入力操作に応じた操作信号を制御部１１に対して出力する構成をなしており、制御部１１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部１８は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部１１と協働して通信処理を行うように構成されている。
【0024】
次に、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を個々にワークＷに組み付ける所定の作業が行われる際に、制御部１１にてよって実行される作業分析プログラムに基づいてなされる作業分析処理について説明する。
【0025】
本実施形態では、分析対象の所定の作業として、ワークＷに対して、１番目に部品箱３０ａの部品２０ａを組み付ける単位作業Ａ、２番目に部品箱３０ｂの部品２０ｂを組み付ける単位作業Ｂ、３番目に部品箱３０ｃの部品２０ｃを組み付ける単位作業Ｃ、４番目に部品箱３０ｄの部品２０ｄを組み付ける単位作業Ｄの順番で行う作業が採用されている。
【0026】
そして、作業分析処理では、単位作業ごとに予め設定される所定の動作（以下、区切動作ともいう）に基づいて、撮像部１３により撮像された作業動画を区切動作の検出タイミングで単位作業ごとに区切るための区切情報が設定されるように上記判定用データが生成される。本実施形態では、撮像部１３による撮像範囲のうち部品箱３０ａに相当する範囲が監視領域Ｐ１ａとして予め設定されており、図４（Ａ）に示すように、監視領域Ｐ１ａに作業者Ｍの手が入り込む動作が単位作業Ａに関して上記区切動作として設定されている。同様に、撮像部１３による撮像範囲のうち部品箱３０ｂ～３０ｄに相当する範囲がそれぞれ監視領域Ｐ１ｂ～Ｐ１ｄとして予め設定されている。そして、図４（Ｂ）に示すように、監視領域Ｐ１ｂに作業者Ｍの手が入り込む動作が単位作業Ｂに関して上記区切動作として設定されている。また、図５（Ａ）に示すように、監視領域Ｐ１ｃに作業者Ｍの手が入り込む動作が単位作業Ｃに関して上記区切動作として設定されている。また、図５（Ｂ）に示すように、監視領域Ｐ１ｄに作業者Ｍの手が入り込む動作が単位作業Ｄに関して上記区切動作として設定されている。なお、図４及び図５では、撮像部１３による撮像範囲のうち各部品箱３０ａ～３０ｄに相当する範囲を拡大して図示している。
【0027】
なお、各監視領域Ｐ１ａ～Ｐ１ｄは、例えば、各部品箱３０ａ～３０ｄが決められた位置に配置されることで規定範囲として設定されてもよいし、各部品箱３０ａ～３０ｄを個々に搖動等させた状態を連続撮像することで生じる画像差分に基づいて設定されてもよい。
【0028】
以下、制御部１１にてよってなされる作業分析処理について、図６のフローチャートを参照して具体的に詳述する。
操作部１７に対して所定の開始操作がなされることで、制御部１１により作業分析処理が開始されると、図６のステップＳ１０１に示す撮像処理がなされ、作業者Ｍによる作業動画が撮像部１３により撮像される状態になる。そして、この作業動画の撮影中に、上述のように設定されたいずれかの区切動作が検出されると、ステップＳ１０３の判定処理にてＹｅｓと判定される。続いて、ステップＳ１０５の区切情報設定処理にて、上記検出タイミングで作業動画を区切るための区切情報が設定される。この区切情報には、区切動作から特定される単位作業名や検出時刻に関する情報等を含めることができる。そして、所定の終了操作等がなされていない場合には（Ｓ１０７でＮｏ）、再び、上記ステップＳ１０３からの処理が繰り返される。なお、上記区切情報設定処理を行う制御部１１は、「設定部」の一例に相当し得る。
操作部１７に対して所定の開始操作がなされることで、制御部１１により作業分析処理が開始されると、図６のステップＳ１０１に示す撮像処理がなされ、作業者Ｍによる作業動画が撮像部１３により撮像される状態になる。そして、この作業動画の撮影中に、上述のように設定されたいずれかの区切動作が検出されると、ステップＳ１０３の判定処理にてＹｅｓと判定される。続いて、ステップＳ１０５の区切情報設定処理にて、上記検出タイミングで作業動画を区切るための区切情報が設定される。この区切情報には、区切動作から特定される単位作業名や検出時刻に関する情報等を含めることができる。そして、所定の終了操作等がなされていない場合には（Ｓ１０７でＮｏ）、再び、上記ステップＳ１０３からの処理が繰り返される。なお、上記区切情報設定処理を行う制御部１１は、「設定部」の一例に相当し得る。
【0029】
このような、上記ステップＳ１０３からの繰り返し処理により、単位作業ごとに区切情報が設定されて、図７に示すような作業区切の検出結果を得ることができる。例えば、図７のｋサイクル目だと、時刻ｔ１にて監視領域Ｐ１ａに作業者Ｍの手が入り込む動作が検出されることで、この時刻ｔ１が単位作業Ａの開始タイミングに設定され、その後、時刻ｔ２にて監視領域Ｐ１ｂに作業者Ｍの手が入り込む動作が検出されることで、この時刻ｔ２が単位作業Ｂの開始タイミングであって単位作業Ａの終了タイミングに設定される。同様にして、時刻ｔ３にて監視領域Ｐ１ｃに作業者Ｍの手が入り込む動作が検出されることで、この時刻ｔ３が単位作業Ｃの開始タイミングであって単位作業Ｂの終了タイミングに設定される。また、時刻ｔ４にて監視領域Ｐ１ｄに作業者Ｍの手が入り込む動作が検出されることで、この時刻ｔ４が単位作業Ｄの開始タイミングであって単位作業Ｃの終了タイミングに設定される。また、時刻ｔ５にて監視領域Ｐ１ａに作業者Ｍの手が入り込む動作が検出されることで、この時刻ｔ５がｋ＋１サイクル目の単位作業Ａの開始タイミングであってｋサイクル目の単位作業Ｄの終了タイミングに設定される。
【0030】
このようにして、必要な作業動画が区切情報を設定した状態で得られることで終了操作等がなされると（Ｓ１０７でＹｅｓ）、ステップＳ１０９に示す異常作業除外処理がなされる。この処理では、上述のように設定された区切情報に基づいて、異常作業と推定される単位作業を判定用データから除外するための処理がなされる。
【0031】
具体的には、例えば、単位作業ごとに、設定された区切情報に基づいて算出された平均作業時間を基準に、正常な作業とみなされる正常作業時間範囲を算出し、作業時間が正常作業時間範囲から外れる単位作業を自動的に除外する。図７の例では、ｎ１サイクル目の単位作業Ｂの作業時間が正常作業時間範囲から外れているため、このｎ１サイクル目の単位作業Ｂを判定用データからの除外対象とする。
【0032】
また、例えば、設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の１つ前の単位作業を自動的に除外する。図７の例では、ｎ２サイクル目の単位作業Ｃが単位作業Ａの後になされており所定の順番と異なる順番であるため、ｎ２サイクル目の単位作業Ｃの１つ前のｎ２サイクル目の単位作業Ａを判定用データからの除外対象とする。この場合、単位作業Ａの後に実際に行われた単位作業Ｂの区切動作が何らかの理由で検出できないために、単位作業Ａとして区切られた作業動画に単位作業Ｂの作業動画も含まれてしまっている可能性があるため、所定の順番と異なる順番で行われた単位作業Ｃの１つ前の単位作業Ａを判定用データからの除外対象とする。
【0033】
上述のように異常作業と推定される単位作業が除外されると、ステップＳ１１１の判定用データ生成処理がなされ、残りの正常な作業とみなされる単位作業の動画と対応する区切情報とを含めるように上記判定用データ（アノテーションデータ）が生成される。このように生成された判定用データは、記憶部１２に記憶され、必要に応じて通信部１８を介して上位機器等に送信される。なお、異常作業と推定される単位作業に関するデータを、異常時の行動等に関して学習するためのデータとするために、異常データとして、別途、記憶部１２に記憶するようにしてもよい。また、上記異常作業除外処理及び上記判定用データ生成処理を行う制御部１１は、「生成部」の一例に相当し得る。
【0034】
以上説明したように、本実施形態に係る作業分析装置１０では、単位作業ごとに予め設定される区切動作（所定の動作）に基づいて、撮像部１３により撮像された作業動画を区切動作の検出タイミングで単位作業ごとに区切るための区切情報が設定され、撮像部１３により撮像された作業動画と設定された区切情報とを含めるように判定用データが生成される。
【0035】
これにより、作業者Ｍが単位作業ごとに行う区切動作が撮像されるだけで、単位作業ごとに作業動画を自動的に区切ることができる。したがって、正しい作業が行われているか否かを判定するための判定用データを、繰り返し行われる所定の作業を撮像した作業動画に基づいてリアルタイムに生成することができる。
【0036】
特に、本実施形態では、単位作業は、当該単位作業に関連付けられる部品箱３０から取り出した部品２０をワーク（被組付部材）Ｗに組み付ける作業であり、上記区切動作は、部品箱３０から部品２０を取り出す動作である。このように、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者Ｍ等の作業負担を軽減することができる。
【0037】
また、上記異常作業除外処理及び判定用データ生成処理では、設定された区切情報に基づいて、単位作業ごとに正常な作業とみなされる正常作業時間範囲が算出され、作業時間が正常作業時間範囲の単位作業が判定用データとして生成される。これにより、作業時間を考慮して正常な作業とみなされる単位作業の動画を自動的に判定用データとすることができ、判定用データの信頼性を向上させることができる。その一方で、上記異常作業除外処理及び判定用データ生成処理では、作業時間が正常作業時間範囲から外れる単位作業を除外するように判定用データが生成される。これにより、正常な作業とみなされない単位作業の動画を自動的に判定用データから除外することができ、判定用データの信頼性を向上させることができる。
【0038】
さらに、上記異常作業除外処理及び判定用データ生成処理では、設定された区切情報に基づいて、所定の順番と異なる順番で行われた単位作業の１つ前の単位作業が除外されるように判定用データが生成される。このようにしても、正常な作業とみなされない単位作業の動画が自動的に判定用データから除外されるため、判定用データの信頼性を向上させることができる。
【0039】
［第２実施形態］
次に、第２実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第２実施形態では、上記区切動作として、部品を被組付部材の組付予定位置に移動させる動作が採用されている点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第２実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第２実施形態では、上記区切動作として、部品を被組付部材の組付予定位置に移動させる動作が採用されている点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0040】
本実施形態では、分析対象の所定の作業として、上記第１実施形態と同様に、ワークＷに対して、１番目に部品箱３０ａの部品２０ａを組み付ける単位作業Ａ、２番目に部品箱３０ｂの部品２０ｂを組み付ける単位作業Ｂ、３番目に部品箱３０ｃの部品２０ｃを組み付ける単位作業Ｃ、４番目に部品箱３０ｄの部品２０ｄを組み付ける単位作業Ｄの順番で行う作業が採用されている。
【0041】
その一方で、上記第１実施形態と異なり、図８に示すように、撮像部１３による撮像範囲のうちワークＷに対して、部品２０ａを組み付ける組付予定位置に相当する範囲が監視領域Ｐ２ａとして設定され、部品２０ｂを組み付ける組付予定位置に相当する範囲が監視領域Ｐ２ｂとして設定され、部品２０ｃを組み付ける組付予定位置に相当する範囲が監視領域Ｐ２ｃとして設定され、部品２０ｄを組み付ける組付予定位置に相当する範囲が監視領域Ｐ２ｄとして設定されている。
【0042】
そして、図９（Ａ）に示すように、監視領域Ｐ２ａに部品２０ａを移動させた動作が単位作業Ａに関して上記区切動作として設定されている。また、図９（Ｂ）に示すように、監視領域Ｐ２ｂに部品２０ｂを移動させた動作が単位作業Ｂに関して上記区切動作として設定されている。また、図１０（Ａ）に示すように、監視領域Ｐ２ｃに部品２０ｃを移動させた動作が単位作業Ｃに関して上記区切動作として設定されている。また、図１０（Ｂ）に示すように、監視領域Ｐ２ｄに部品２０ｄを移動させた動作が単位作業Ｄに関して上記区切動作として設定されている。なお、図８～図１０では、撮像部１３による撮像範囲のうちワークＷに相当する範囲を拡大して図示し、図９及び図１０では、便宜上、部品２０をつかむ作業者Ｍの手の図示を省略している。
【0043】
そして、本実施形態において制御部１１にてなされる作業分析処理では、作業動画の撮影中に、上述のように設定されたいずれかの区切動作が検出されると（Ｓ１０３でＹｅｓ）、この検出タイミングで作業動画を区切るための区切情報が設定され（Ｓ１０５）、終了操作等がなされるまで、上記ステップＳ１０３からの処理が繰り返される。このような繰り返し処理中に終了操作等がなされると（Ｓ１０７でＹｅｓ）、異常作業と推定される単位作業が除外されるように判定用データが生成される（Ｓ１０９，Ｓ１１１）。
【0044】
以上説明したように、本実施形態に係る作業分析装置１０では、単位作業は、当該単位作業に関連付けられる部品２０をワーク（被組付部材）Ｗに組み付ける作業であり、上記区切動作（所定の動作）は、部品２０をワークＷの組付予定位置に移動させる動作である。このようにしても、その単位作業として必須の作業動作の検出タイミングで作業動画を区切ることができ、本来の単位作業と無関係の動作を強いることもないので、判定用データの生成に関して作業者Ｍ等の作業負担を軽減することができる。
【0045】
［第３実施形態］
次に、第３実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第３実施形態では、上記区切動作を検出するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第３実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第３実施形態では、上記区切動作を検出するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0046】
本実施形態に係る作業分析装置１０は、部品箱３０から部品２０を取り出す際の動作を上記区切動作として検出するための監視装置４０を備えている。この監視装置４０は、静電容量の変化を監視することで上記区切動作を検出するための装置であって、図１１に示すように、センサ回路４１と、６つの帯状の導体４２ｘ１～４２ｘ６及び６つの帯状の導体４２ｙ１～４２ｙ６と、作業台４３とを備えるように構成されている。なお、図１１及び後述する図１２では、便宜上、作業台４３を一点鎖線にて図示している。
【0047】
センサ回路４１は、各導体４２ｘ１～４２ｘ６及び各導体４２ｙ１～４２ｙ６のそれぞれの静電容量（単位：Ｆ）の変化を監視するための回路であって、制御部１１により制御されてその監視結果を制御部１１に出力するように構成されている。
【0048】
各導体４２ｘ１～４２ｘ６及び各導体４２ｙ１～４２ｙ６は、図１１に示すように、格子模様状に配置されており、例えば、導体４２ｘ３と導体４２ｙ３とが重なるエリアに手を近づけると、導体４２ｘ３と導体４２ｙ３との静電容量が変化し、この変化がセンサ回路４１により検出される。すなわち、各導体４２ｘ１～４２ｘ６及び各導体４２ｙ１～４２ｙ６によって３６か所の静電容量の変化を検出可能なエリア（以下、作業エリアともいう）が構成され、マトリックス状に配置される各作業エリアの静電容量の変化を監視することで、どの作業エリアに手が近づけられているかを検知することができる。なお、各導体には、重なる他の導体の静電容量の変化の影響が小さくなるように絶縁処理等が施されている。
【0049】
このため、本実施形態では、各作業エリアを覆うように設けられた作業台４３上に各部品箱３０を配置した状態で、センサ回路４１にて所定の閾値を超える静電容量の変化が検出された作業エリアに基づいて、部品箱３０から部品２０を取り出す動作（区切動作）やその部品箱３０の位置を検出することができる。すなわち、特別な動作等を行うことなく、通常の作業動作を行うだけで、区切動作等を検出することができる。また、静電容量が変化する作業エリアの変化順等に応じて作業に使用する部品箱３０の個数も検出することができる。
【0050】
特に、各作業エリアと配置される部品箱３０の種別等とを関連付けることで、上記区切動作を検出できるだけでなく、取り出した部品等を特定することができる。例えば、図１２に示すように、作業台４３上に各部品箱３０ａ～３０ｄが配置されていることが関連付けられた状態で、導体４２ｘ３、４２ｘ４，４２ｙ２，４２ｙ３において他の導体よりも大きな静電容量の変化がセンサ回路４１により検出されると、上記区切動作を検出できるだけでなく、部品箱３０ｂからの部品２０ｂの取り出しを検出することができる。
【0051】
このように、本実施形態では、各導体４２ｘ１～４２ｘ６及び各導体４２ｙ１～４２ｙ６の静電容量の変化を監視する特徴的構成を採用することで、上記区切動作及び取り出した部品２０の種別等を検出することができ、この特徴的構成は、他の実施形態等にも適用することができる。なお、上記各作業エリアは、各導体４２ｘ１～４２ｘ６及び各導体４２ｙ１～４２ｙ６によって構成されることに限らず、他の静電容量の変化を監視可能な部材によって構成されてもよい。例えば、各作業エリアごとに１つ静電容量の変化を監視可能な導体を配置する構成であってもよい。また、作業エリアの個数は、３６個（６×６）に設定されることに限らず、部品箱３０の配置状況等に応じて異なる個数に設定してもよい。また、各導体の静電容量の変化を監視することで上記区切動作等を検出する構成は、上述したように部品箱３０から部品２０を取り出す区切動作の検出に適用されることに限らず、例えば、部品２０を被組付部材の組付予定位置に移動させる区切動作の検出に適用してもよい。
【0052】
［第４実施形態］
次に、第４実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第４実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第４実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第４実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0053】
本実施形態に係る作業分析装置１０は、上記監視領域、すなわち、部品箱３０が配置された場所を検出するための監視装置４０ａを備えている。この監視装置４０ａは、図１３（Ａ）に示すように、部品箱３０が配置される予定の棚２の面に対して一列にてほぼ隙間なく等間隔で配列される複数の圧電スイッチ４４を備えるように構成されている。各圧電スイッチ４４は、押圧に応じた信号をそれぞれ制御部１１に出力するように構成されており、制御部１１は、どの圧電スイッチ４４が押圧状態であるか検出することができる。
【0054】
すなわち、図１３（Ｂ）に示すように、各圧電スイッチ４４の押圧面側によって構成される監視エリアの一部に部品箱３０が配置されると、その配置された部分の圧電スイッチ４４（図１３（Ｂ）の符号４４ａ参照）のみから信号が出力される。このため、制御部１１により各圧電スイッチ４４の押圧状態を監視することで、上記監視エリア内において部品箱３０が配置された場所（監視領域）を検出することができる。なお、図１３（Ｂ）では、便宜上、部品箱３０を破線にて図示している。
【0055】
なお、圧電スイッチ４４に代えて、検知面上に部品箱の一部が接触したことを検知可能な接触スイッチなどの物理スイッチを利用することで、上記監視エリア内において部品箱が配置された場所（監視領域）を検出してもよい。
【0056】
なお、不使用環境でなく使用頻度が高い環境等であれば、上述した監視装置４０ａに代えて、本実施形態の変形例として、図１４（Ａ）に示す監視装置４０ｂを採用してもよい。この変形例では、各部品箱３０は少なくとも裏面側が導電性を有するように構成されており、監視装置４０ｂは、監視エリア内での導電状態の変化を検出することで、その部品箱３０の配置場所（監視領域）を検出するように構成されている。このため、監視装置４０ｂは、各部品箱３０が配置される予定の面において、互いに平行に配列される複数の第１導体４５と同数の第２導体４６とを備えており、図１４（Ｂ）に示すように、導通状態となった第１導体４５及び第２導体４６を検出することで、その検出された導体４５，４６（図１４（Ｂ）の符号４５ａ，４６ａ参照）が占める範囲を部品箱３０が配置された場所として検出することができる。なお、図１４（Ｂ）では、便宜上、部品箱３０を破線にて図示している。
【0057】
特に、部品箱３０の裏側に設けられる導電体の抵抗値を部品箱３０の種別ごとに変えることで、第１導体４５及び第２導体４６を介した導通時に検出される抵抗値に基づいて、配置される部品箱３０の種別を判別することができる。
【0058】
上述した圧電スイッチ４４等を利用した各監視領域を検出する本実施形態の特徴的構成や上述した第１導体４５及び第２導体４６等を利用した各監視領域を検出する本実施形態における変形例の特徴的構成は、他の実施形態等にも適用することができる。
【0059】
［第５実施形態］
次に、第５実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第５実施形態では、上記監視領域の設定及び手の高さを考慮した区切動作の検出のための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第５実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第５実施形態では、上記監視領域の設定及び手の高さを考慮した区切動作の検出のための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0060】
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部１１により監視領域設定処理が実施される。この監視領域設定処理では、部品箱３０の周壁の上端３１をなぞった指の軌跡を撮像部１３にて撮像することで、その部品箱に対応する監視領域が設定される。例えば、図１５に例示するように、部品箱３０ｃの周壁の上端３１をなぞった指の軌跡を撮像部１３にて撮像することで、その部品箱３０ｃに対応する監視領域Ｐ１ｃが設定される。
【0061】
そして、上記作業分析処理では、作業者Ｍの手の高さを考慮して、監視領域に作業者Ｍの手が入り込む区切動作を検出する。例えば、部品箱３０ｂに収容された部品を取ろうとしている手が隣の部品箱３０ａの上を通過する際に、この通過中の手が部品箱３０ａに対応する監視領域に入り込んでいると誤認されると、区切動作が誤検出されてしまうからである。
【0062】
このため、本実施形態では、撮像部１３として撮像対象までの距離を測定可能なＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラを採用し、図１６に示すように、各部品箱３０が載置される棚２の載置面２ａを基準に、監視領域に入り込む手の載置面２ａからの高さを測定する。そして、監視領域に入り込む手の載置面２ａからの高さが所定の閾値ｈ１を超える場合には、検出無効として区切動作と判断せず、監視領域に入り込む手の載置面２ａからの高さが所定の閾値ｈ１以下となる場合に、検出有効として区切動作の検出対象とする。なお、撮像部１３と別にＴＯＦカメラを用意して、このカメラを利用して監視領域に入り込む手の載置面２ａからの高さを測定してもよい。
【0063】
これにより、例えば、部品箱３０ｂに収容された部品を取ろうとしている手が部品箱３０ａに対応する監視領域に入り込んでいても、その手の載置面２ａからの高さが所定の閾値ｈ１を超える場合には、検出無効となるので、区切動作の誤検出を抑制することができる。
【0064】
なお、上述したように、載置面２ａからの手の高さを基準に検出無効であるか否かを判断することに限らず、部品箱３０の周壁の上端３１からの手の高さを基準に検出無効であるか否かを判断してもよい（図１６の閾値ｈ２参照）。また、なぞった指の軌跡を利用した監視領域の設定や手の高さを基準に検出無効の可否を判断する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0065】
［第６実施形態］
次に、第６実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第６実施形態では、重量の変化を利用して上記区切動作を検出する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第６実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第６実施形態では、重量の変化を利用して上記区切動作を検出する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0066】
本実施形態に係る作業分析装置１０は、部品箱３０から部品２０を取り出す際の動作や部品２０を被組付部材に組み付ける動作を上記区切動作として検出するための監視装置４０ｃを備えている。この監視装置４０ｃは、各部品箱３０及び被組付部材の重量の変化を監視することで上記区切動作を検出するための装置であって、各部品箱３０及び被組付部材の重量を測定可能な重量センサ４７を備えるように構成されている。重量センサ４７は、その重量測定面が各部品箱３０と被組付部材とを同時に載置可能に平面状に形成されて、棚２に組み付けられている。
【0067】
以下、本実施形態にてなされる作業分析処理について、図面を参照して説明する。なお、以下の説明では、図１７（Ａ）（Ｂ）に示すように、重量センサ４７の重量測定面上に４つの部品箱３０ａ～３０ｄと部品２０ａ～２０ｄが組み付けられるワークＷとが載置されて作業される場合について詳述する。なお、本実施形態では、分析対象の所定の作業として、ワークＷに対して、１番目に部品箱３０ａの部品２０ａを組み付ける単位作業Ａ、２番目に部品箱３０ｂの部品２０ｂを組み付ける単位作業Ｂ、３番目に部品箱３０ｃの部品２０ｃを組み付ける単位作業Ｃ、４番目に部品箱３０ｄの部品２０ｄを組み付ける単位作業Ｄの順番で行う作業が採用されているものとする。
【0068】
部品２０ａ～２０ｄを組み付けていないワークＷが重量測定面上に載置された直後となる組み付け作業開始時に、重量センサ４７にて測定される測定値ＦをＦｏとするとき、図１７（Ａ）に示すように、単位作業Ａを開始するために部品箱３０ａから部品２０ａを取り出すと、重量センサ４７での測定値がＦｏからＦａに減少する。測定値Ｆａは、測定値Ｆｏから部品２０ａの重量を除いた値になる。このため、重量センサ４７にて測定される測定値がＦｏからＦａに減少することで（図１８の時刻ｔ１参照）、部品箱３０ａから部品２０ａを取り出す区切動作を検出することができる。その後、図１７（Ｂ）に示すように、部品２０ａをワークＷに組み付けることで、重量センサ４７での測定値がＦａからＦｏに増加する。このため、重量センサ４７にて測定される測定値がＦａからＦｏに戻る（増加）することで（図１８の時刻ｔ２参照）、部品２０ａをワークＷに組み付ける区切動作を検出することができる。その後、重量センサ４７の測定値がＦｏからＦｂ（測定値Ｆｏから部品２０ｂの重量を除いた値）に減少することで（図１８の時刻ｔ３参照）、部品箱３０ｂから部品２０ｂを取り出す区切動作が検出され、さらに、重量センサ４７の測定値がＦｂからＦｏに戻ることで（図１８の時刻ｔ４参照）、部品２０ｂをワークＷに組み付ける区切動作が検出される。その後、重量センサ４７の測定値がＦｏからＦｃ（測定値Ｆｏから部品２０ｃの重量を除いた値）に減少することで（図１８の時刻ｔ５参照）、部品箱３０ｃから部品２０ｃを取り出す区切動作が検出され、さらに、重量センサ４７の測定値がＦｃからＦｏに戻ることで（図１８の時刻ｔ６参照）、部品２０ｃをワークＷに組み付ける区切動作が検出される。その後、重量センサ４７の測定値がＦｏからＦｄ（測定値Ｆｏから部品２０ｄの重量を除いた値）に減少することで（図１８の時刻ｔ７参照）、部品箱３０ｄから部品２０ｄを取り出す区切動作が検出され、さらに、重量センサ４７の測定値がＦｄからＦｏに戻ることで（図１８の時刻ｔ８参照）、部品２０ｄをワークＷに組み付ける区切動作が検出される。
【0069】
このように、本実施形態では、重量センサ４７にて測定される重量の変化を利用して上記区切動作を正確に検出することができる。このため、例えば、異なる部品箱から誤って意図しない部品を取ってしまった場合でも、その部品箱に部品を戻すことで、組み付け時のような大きな重量変化も検出されないので、部品の取り間違いに起因する区切動作の誤検出を抑制することができる。さらに、組み付け途中に部品が被組付部材上に落下しても、その重量変化は組み付け時と異なるため、検出される重量変化に応じて、部品の組み付け完了と単なる部品の落下とを確実に区別することができる。
【0070】
なお、重量センサ４７としては、非接触型の静電容量センサや静電容量重量センサ、薄膜式圧力センサ等を採用することができる。また、監視装置４０ｃは、１つの重量センサ４７にて各部品箱３０及び被組付部材の重量を測定することに限らず、２以上の重量センサ等を利用して各部品箱３０及び被組付部材の重量を測定してもよい。また、重量センサにて測定される重量の変化を利用して上記区切動作を検出する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0071】
［第７実施形態］
次に、第７実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第７実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第７実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第７実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0072】
本実施形態に係る作業分析装置１０では、部品箱３０から部品２０を取り出す際の作業者Ｍの手の軌跡や部品２０を被組付部材に組み付ける際の作業者Ｍの手の軌跡を監視し、その監視結果に基づいて、上記監視領域を設定する。
【0073】
具体的には、撮像部１３により撮像された動画から作業者Ｍの手を認識して、所定の時間間隔（例えば、フレーム間隔）ごとに、撮像される手の移動方向と移動量を検出する。そして、移動量が所定値以下となる状態が所定期間以上継続すると、手が滞留している状態（以下、滞留状態ともいう）であるとして、この滞留状態時に撮像されている手を基準に仮監視領域が設定される。部品箱３０から部品２０を取り出す際の手の動きや部品２０を被組付部材に組み付ける際の手の動きは上記滞留状態になりやすいからである。
【0074】
例えば、図１９に例示するように、部品２０ａをワークＷに組み付け終えた手が部品箱３０ｂの部品２０ｂを取りに行く場合、部品箱３０ｂから部品２０ｂを取り出す際に手が上記滞留状態となるため、この滞留状態の手を基準に部品箱３０ｂ用の仮監視領域（図１９の符号Ｐｏ１ｂ参照）が設定される。その後、図２０に例示するように、部品２０ｂを取り出した手がワークＷの組付予定位置に向かう場合、部品２０ｂをワークＷの組付予定位置に組み付ける際に手が上記滞留状態となるため、この滞留状態の手を基準に部品２０ｂの組付予定位置用の仮監視領域（図２０の符号Ｐｏ２ｂ参照）が設定される。
【0075】
なお、本実施形態では、仮監視領域は、図１９の仮監視領域Ｐｏ１ｂ及び図２０の仮監視領域Ｐｏ２ｂのように、滞留状態の手が占める撮像範囲を内方する長方形領域に応じて設定されるが、これに限らず、例えば、滞留状態の手が占める撮像範囲に外接する円領域又は楕円領域や、滞留状態の手が占める撮像範囲に内接する円領域又は楕円領域に応じて設定されてもよい。
【0076】
そして、各単位作業を繰り返すことで、各部品箱３０用の仮監視領域及び各組付予定位置用の仮監視領域が順次蓄積されるようにして記憶部１２に記憶される。その後、監視領域の推定精度の向上と監視領域の最適化を図るため、仮監視領域ごとに重複する範囲を求めて重み付けをすることで、その重み付けに応じて監視領域を設定することができる。
【0077】
例えば、１つの監視領域に対して仮監視領域が１００回設定された場合に、５０回以上重複した領域の重みを「３」、２０回以上重複した領域の重みを「２」、１０回以上重複した領域の重みを「１」に設定する。そして、重みが「３」となる仮監視領域を全て含むように監視領域を設定する場合には、図２１（Ａ）に示すように監視領域（ハッチング領域参照）を設定することができる。また、重みが「２」以上となる仮監視領域を全て含むように監視領域を設定する場合には、図２１（Ｂ）に示すように監視領域（ハッチング領域参照）を設定することができる。
【0078】
なお、仮監視領域は、１つの監視領域に対して、前回の滞留状態の手の中心位置と今回の滞留状態の手の中心位置との中間位置を中心とする矩形状等の所定の形状の領域に基づいて設定されてもよい。また、上述した複数の仮監視領域を利用して１つの監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0079】
［第８実施形態］
次に、第８実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第８実施形態では、各部品箱にそれぞれ付されている情報コードを利用して部品箱に対応する監視領域をそれぞれ設定する処理を行うが、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第８実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第８実施形態では、各部品箱にそれぞれ付されている情報コードを利用して部品箱に対応する監視領域をそれぞれ設定する処理を行うが、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0080】
本実施形態では、図２２に示すように、各部品箱３０に位置検出用の情報コード（以下、部品箱コードＣａともいう）がそれぞれ付されており、作業分析装置１０には、部品箱コードＣａを撮像するための第２撮像部１３ａが新たに設けられている。第２撮像部１３ａは、監視領域設定用のカメラとして機能するもので、撮像部１３と同等の機能を有し、撮像した画像が制御部１１によって分析可能に記憶部１２に記憶されるように構成されている。この第２撮像部１３ａは、撮像部１３による撮像範囲内であって棚２上に配置された各部品箱３０のそれぞれの部品箱コードＣａを作業者Ｍから見て前側から撮像可能な位置に配置されている。第２撮像部１３ａの撮像部１３側となる外面（上面）には、第２撮像部１３ａと撮像部１３との相対位置関係を算出するための情報コード（以下、カメラコードＣｂともいう）が付されている。なお、本実施形態では、部品箱コードＣａ及びカメラコードＣｂは、ＱＲコード（登録商標）として構成されているが、これに限らず、例えば、バーコード等の一次元コードや他の種別の二次元コードとして構成されてもよい。
【0081】
そして、本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部１１により監視領域設定処理が実施される。この監視領域設定処理では、第２撮像部１３ａにて部品箱コードＣａを撮像した撮像画像から第２撮像部１３ａを基準とする部品箱３０の相対座標が算出される。そして、撮像部１３にてカメラコードＣｂを撮像した撮像画像から撮像部１３を基準とする第２撮像部１３ａの相対座標が算出されることで、撮像部１３を基準とする部品箱３０の相対座標が推定され、この推定結果に基づいて、各部品箱３０の監視領域が設定される。
【0082】
このため、部品箱コードＣａには、付された部品箱３０に収容される部品２０の情報に加えて、部品箱３０の高さ、横幅、奥行き等を示すサイズ（以下、箱サイズともいう）や当該部品箱コードＣａの大きさや形状、セル数等を示すサイズ（以下、コードサイズともいう）、部品箱３０に対する部品箱コードＣａの貼り付け位置（以下、コード位置ともいう）に関する情報等が記録されている。
【0083】
また、カメラコードＣｂには、第２撮像部１３ａに対するカメラコードＣｂの貼り付け位置やコードサイズ等、当該カメラコードＣｂを撮像した撮像画像から撮像部１３と第２撮像部１３ａとの相対位置関係を算出するための情報等が記録されている。
【0084】
以下、本実施形態における監視領域設定処理について、図面を参照して具体的に説明する。なお、以下の説明では、部品箱コードＣａが付された部品箱３０が１つ棚２上に配置される場合について詳述する。
【0085】
作業分析処理を開始する前に、所定の操作に応じて制御部１１により監視領域設定処理が開始されると、図２３のステップＳ２０１に示す部品箱相対座標推定処理にて、第２撮像部１３ａを基準とする部品箱３０の相対座標を推定するための処理がなされる。この処理のサブルーチンでは、まず、第２撮像部１３ａにより部品箱コードＣａを撮像可能な状態になり（図２４のＳ２１１）、撮像した部品箱コードＣａを読み取るためのデコード処理がなされる（Ｓ２１３）。
【0086】
棚２上に配置された部品箱３０が配置されていることで、部品箱コードＣａの読み取りに成功して（Ｓ２１５でＹｅｓ）、箱サイズやコードサイズ、コード位置等が取得されると、ステップＳ２１７に示す読取角度算出処理がなされる。この処理では、第２撮像部１３ａの撮像画像に占める部品箱コードＣａの範囲に基づいて、第２撮像部１３ａに対する部品箱コードＣａの角度が読取角度αとして算出される。
【0087】
例えば、図２６（Ａ）に示すように部品箱３０が第２撮像部１３ａに対して傾いて配置されていることから、図２６（Ｂ）に示す撮像画像のように部品箱コードＣａが撮像されている場合には、部品箱コードＣａの四隅の位置から求められる四辺の長さ比に基づいて、第２撮像部１３ａに対する部品箱コードＣａの読取角度α（図２５（Ａ）参照）が算出される。
【0088】
続いて、ステップＳ２１９に示す読取距離算出処理がなされる。この処理では、第２撮像部１３ａの撮像画像に占める部品箱コードＣａの画素数に基づいて、第２撮像部１３ａから部品箱コードＣａまでの距離が読取距離ｙとして算出される。なお、上述のように算出された読取角度αを利用して部品箱コードＣａの四隅の角度が９０°になるように補正した画像に基づいて、読取距離ｙを算出することができる。
【0089】
例えば、図２７に示すように撮像されている部品箱コードＣａに対しては、撮像画像全体のｘ方向（図２７の左右方向）の画素数をｘ１、部品箱コードＣａのｘ方向の画素数をｘ２、部品箱コードＣａの位置での撮像画像全体に相当するｘ方向の実サイズをｘ３、実際の部品箱コードＣａのｘ方向の実サイズをｘ４、とするとき、式（１）の関係が成立する。また、部品箱コードＣａの位置での撮像画像全体に相当するｘ方向のサイズｘ３と第２撮像部１３ａの画角及び分解能等から求められる角度θとにより、読取距離ｙに関して、式（２）の関係が成立する。
ｘ１：ｘ２＝ｘ３：ｘ４ ・・・（１）
ｙ＝ｘ３／２×ｔａｎθ ・・・（２）
ｘ１：ｘ２＝ｘ３：ｘ４ ・・・（１）
ｙ＝ｘ３／２×ｔａｎθ ・・・（２）
【0090】
ｘ１，ｘ４，θは既知であるため、式（１）（２）から求められる以下の式（３）により、部品箱コードＣａのｘ方向の画素数ｘ２に基づいて、読取距離ｙを算出することができる。
ｙ＝（ｘ１×ｘ４／ｘ２）／２×ｔａｎθ ・・・（３）
ｙ＝（ｘ１×ｘ４／ｘ２）／２×ｔａｎθ ・・・（３）
【0091】
上述のように読取角度α及び読取距離ｙが算出されると、ステップＳ２２１に示す相対座標推定処理がなされる。この処理では、まず、上述のように算出された読取角度α及び読取距離ｙに基づいて、第２撮像部１３ａを基準とする部品箱コードＣａの相対座標が算出されると、この算出された部品箱コードＣａの相対座標と部品箱コードＣａから読み取ったコード位置、コードサイズ、箱サイズ等とに基づいて、第２撮像部１３ａを基準とする部品箱３０の相対座標が推定される。これにより、第２撮像部１３ａに対して部品箱３０がどのような状態で配置されているかを推定することができる。
【0092】
上述のように第２撮像部１３ａを基準とする部品箱３０の相対座標が推定されることで、ステップＳ２０１の部品箱相対座標推定処理が終了すると、ステップＳ２０３に示すカメラ相対座標推定処理にて、撮像部１３を基準とする第２撮像部１３ａの相対座標を推定するための処理がなされる。この処理のサブルーチンでは、まず、撮像部１３によりカメラコードＣｂを撮像可能な状態になり（図２５のＳ２３１）、撮像したカメラコードＣｂを読み取るためのデコード処理がなされる（Ｓ２３３）。
【0093】
そして、カメラコードＣｂの読み取りに成功すると（Ｓ２３５でＹｅｓ）、ステップＳ２３７に示す読取角度算出処理がなされ、上記ステップＳ２１７の読取角度算出処理と同様の算出方法により、撮像部１３に対するカメラコードＣｂの角度が読取角度として算出される。続いて、ステップＳ２３９に示す読取距離算出処理がなされ、上記ステップＳ２１９の読取距離算出処理と同様の算出方法により、撮像部１３の撮像画像に占めるカメラコードＣｂの画素数に基づいて、撮像部１３からカメラコードＣｂまでの距離が読取距離として算出される。
【0094】
上述のように読取角度及び読取距離が算出されると、ステップＳ２４１に示す相対座標推定処理がなされ、上記ステップＳ２２１の相対座標推定処理と同様の算出方法により、撮像部１３を基準とするカメラコードＣｂの相対座標が算出されると、この算出されたカメラコードＣｂの相対座標とカメラコードＣｂから読み取った読取結果とに基づいて、撮像部１３を基準とする第２撮像部１３ａの相対座標が推定される。これにより、撮像部１３に対して第２撮像部１３ａがどのような状態で配置されているかを推定することができる。なお、第２撮像部１３ａが撮像部１３に対して既定の位置に配置される場合には、撮像部１３を基準とする第２撮像部１３ａの相対座標が特定されるので、上記カメラ相対座標推定処理をなくしてもよい。
【0095】
上述のように撮像部１３を基準とする第２撮像部１３ａの相対座標が推定されることで、ステップＳ２０３のカメラ相対座標推定処理が終了すると、ステップＳ２０５に示す部品箱位置算出処理がなされる。この処理では、上述のように推定された第２撮像部１３ａを基準とする部品箱３０の相対座標と撮像部１３を基準とする第２撮像部１３ａの相対座標とに基づいて、撮像部１３を基準とする部品箱３０の位置（相対座標）が算出される。
【0096】
これにより、撮像部１３による撮像画像において部品箱３０が占める領域を推定できるので、ステップＳ２０７に示す設定処理にて、上述のように部品箱３０として推定された撮像画像の領域が監視領域として設定されて、本監視領域設定処理が終了する。なお、第２撮像部１３ａにて複数の部品箱コードＣａがデコード可能に撮像されている場合には、部品箱コードＣａごとに上述した流れで監視領域をそれぞれ設定することができる。特に、部品箱コードＣａには部品２０の情報も記録されているため、監視領域に対応する部品２０の種別等も特定することができる。
【0097】
なお、本実施形態では、部品箱コードＣａは、部品箱３０の第２撮像部１３ａ側となる側面に対して、図２８（Ａ）に示すように、一方の縁近傍にてできるだけ大きなサイズとなるように付されているが、これに限らず、記録されるコード位置に一致する位置であれば、他の部位に付されてもよい。例えば、部品箱コードＣａは、図２８（Ｂ）に示すように、部品箱３０の第２撮像部１３ａ側となる側面の中央に付されてもよいし、図２８（Ｃ）に示すように、一方の縁近傍にて比較的小さなサイズで付されてもよい。
【0098】
また、部品箱コードＣａが部品箱３０のどの位置に付されるか特定できない場合を想定して、第２撮像部１３ａの撮像画像から部品箱コードＣａとこの部品箱コードＣａが付された部品箱３０の面との相対座標を算出し、この算出結果と箱サイズ及びコードサイズとを利用して、第２撮像部１３ａを基準とする部品箱３０の相対座標を推定してもよい。この場合、部品箱コードＣａにはコード位置が記録されなくなる。
【0099】
例えば、図２９（Ａ）に示すように部品箱コードＣａが部品箱３０に付されていることから、図２９（Ｂ）に示すように部品箱コードＣａ及び部品箱３０が撮像されている場合には、エッジサーチ等の画像処理を利用して、部品箱３０の面のどの位置にてどのような傾斜状態にて部品箱コードＣａが付されているかを検出するようにして、上記相対座標を算出することができる。例えば、図２９（Ｂ）の太線部分を利用して示すように、部品箱３０の上縁の長さ（既知）及び角度と部品箱コードＣａの一辺の長さ（既知）及びその一辺の角度とを比較することで、部品箱３０の面のどの位置にてどのような傾斜状態にて部品箱コードＣａが付されているかを検出することができる。
【0100】
また、第２撮像部１３ａは、棚２上に配置された各部品箱３０のそれぞれの部品箱コードＣａを作業者Ｍから見て前側から撮像可能な位置に配置されることに限らず、例えば、作業者Ｍから見て後側から撮像可能な位置に配置されてもよい。
【0101】
また、例えば、本実施形態の第１変形例として、第２撮像部１３ａは、図３０に示すように、それぞれの底面に部品箱コードＣａを付した各部品箱３０が透明な棚２上に載置されることを前提に、棚２の透明部分を介して部品箱コードＣａを下側から撮像可能な位置に配置されてもよい。この場合には、例えば、第２撮像部１３ａの撮像範囲内にて棚２の透明部分を囲う所定の位置に情報コードＣｃを付し、この情報コードＣｃが付された棚２の位置に関する情報等を当該情報コードＣｃに記録することで、第２撮像部１３ａの撮像画像から第２撮像部１３ａを基準とする棚２の相対座標を推定できる。このため、他の情報コード等を利用して撮像部１３を基準とする棚２の相対座標を推定することで、撮像部１３を基準とする第２撮像部１３ａの相対座標を推定することができる。これにより、第２撮像部１３ａを基準とする部品箱３０の相対座標と撮像部１３を基準とする第２撮像部１３ａの相対座標とに基づいて、撮像部１３を基準とする部品箱３０の位置が算出されることで、撮像部１３による撮像画像において部品箱３０が占める領域を監視領域として設定することができる。
【0102】
特に、部品箱３０の底面に部品箱コードＣａを付すため、部品箱３０の側面等に部品箱コードＣａを付す場合と比較して、部品箱コードＣａを大きくできるため、部品箱コードＣａの読み取りによる座標推定精度を向上させることができる。また、第２撮像部１３ａにて部品箱コードＣａと情報コードＣｃとが同時に撮像されるため、部品箱コードＣａと情報コードＣｃとの位置関係も精度良く算出することができる。また、第２撮像部１３ａを棚２の下側に配置できるので、第２撮像部１３ａを設ける場合でも作業分析装置１０の省スペース化を実現することができる。また、パレットのような側面や上面に情報コードを付すスペースがない部品箱に対しても、部品箱コードＣａを付すことができる。また、第２撮像部１３ａにて作業者Ｍの前側からや後側から撮像する構成では、一列に部品箱３０が配置された場合にそれぞれの部品箱コードＣａを撮像できるが、第２撮像部１３ａにて下側から撮像することで、二列以上で部品箱３０が配置される場合でもそれぞれの部品箱コードＣａを撮像でき、利便性を向上させることができる。また、棚２の透明部分は矩形状に形成されることに限らず、例えば、図３１に示す第２変形例のように、円形状に形成されてもよい。また、図３１に示すように、情報コードＣｃに代えて特定の位置に付されるマーカＣｍ等を採用してもよい。なお、第２撮像部１３ａが棚２に対して既定の位置に配置される場合には、第２撮像部１３ａを基準とする棚２の相対座標が特定されるので、情報コードＣｃをなくしてもよい。
【0103】
また、部品箱コードＣａは、部品箱３０の側面や底面に付されることに限らず、例えば、図３２（Ａ）に示すように、部品箱３０の周壁が厚い場合には周壁の上端の四隅等に付されてもよい。また、周壁の上端に付される部品箱コードＣａは、読み取り性を考慮して、一次元コードとして構成されてもよい。また、例えば、部品箱コードＣａは、図３２（Ｂ）に示すように上蓋部３２を有する部品箱３０に対して、その上蓋部３２に付されてもよい。
【0104】
なお、各部品箱３０にそれぞれ付されている部品箱コードＣａ等を利用して部品箱３０に対応する監視領域をそれぞれ設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0105】
［第９実施形態］
次に、第９実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第９実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第９実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第９実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0106】
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部１１により監視領域設定処理が実施される。この監視領域設定処理では、部品箱３０を棚２に載置する際の部品箱３０の動きを検知することで、その部品箱３０に対応する監視領域が設定される。具体的には、図３３に示すように、部品箱３０を撮像部１３に近づけた後に、徐々に撮像部１３から遠ざけるようにして棚２に載置することで、撮像部１３の撮像画像内にて徐々に距離が変化する範囲が部品箱３０に対応する監視領域として設定される。
【0107】
このため、本実施形態では、撮像部１３として撮像対象までの距離を測定可能なＴＯＦカメラが採用されている。これにより、例えば、近くなるほど白く撮像され遠くなるほど黒く撮像されるＴＯＦカメラが撮像部１３として採用されていると、撮像部１３に対して比較的近い位置で部品箱３０を撮像している場合には、図３４（Ａ）に示す距離画像のように、部品箱３０が白系の色にて撮像される。そして、この部品箱３０を撮像部１３から遠ざけることで、図３４（Ｂ）に示す距離画像のように、部品箱３０が棚２に相当する色に近くなるように黒系に変化して撮像される。なお、撮像部１３と別にＴＯＦカメラを用意して、このＴＯＦカメラの撮像結果を利用して部品箱３０に対応する監視領域を設定してもよい。
【0108】
以下、本実施形態において制御部１１にてなされる監視領域設定処理について、図面を参照して具体的に説明する。
作業分析処理を開始する前に、所定の操作に応じて制御部１１により監視領域設定処理が開始されると、図３５のステップＳ３０１に示す撮像処理がなされ、棚２に載置する際の部品箱３０を撮像可能な状態になる。続いて、ステップＳ３０３に示す距離監視処理がなされ、部品箱３０が載置される予定の棚２の部分の撮像範囲において、撮像部１３からの距離が撮像画像に応じて測定可能な状態になる。
作業分析処理を開始する前に、所定の操作に応じて制御部１１により監視領域設定処理が開始されると、図３５のステップＳ３０１に示す撮像処理がなされ、棚２に載置する際の部品箱３０を撮像可能な状態になる。続いて、ステップＳ３０３に示す距離監視処理がなされ、部品箱３０が載置される予定の棚２の部分の撮像範囲において、撮像部１３からの距離が撮像画像に応じて測定可能な状態になる。
【0109】
続いて、ステップＳ３０５の判定処理にて、撮像部１３の撮像範囲において物体が移動するために距離差分が生じる領域（以下、距離差分領域ともいう）があるか否かについて判定される。ここで、部品箱３０が棚２に近づけられておらず、撮像部１３の撮像範囲において動きが無い場合には、ステップＳ３０５にてＮｏとの判定が繰り返される。
【0110】
そして、作業者Ｍが部品箱３０を撮像部１３に近づける際に撮像部１３の撮像範囲に入ることで、距離差分領域が生じると、ステップＳ３０５にてＹｅｓと判定されて、ステップＳ３０７の判定処理にて、距離差分領域が遠方への移動に起因するものか否かについて判定される。ここで、作業者Ｍが撮像部１３の撮像範囲に入れた部品箱３０を棚２に配置することで、撮像部１３と部品箱３０との距離が遠くなっている場合には、距離差分領域が黒系に変化しつつ小さくなるので、距離差分領域が遠方への移動に起因するものと判定される（Ｓ３０７でＹｅｓ）。
【0111】
この場合には、ステップＳ３０９に示す追従領域監視処理がなされ、上記距離差分領域が、部品箱３０に相当するものとして動きを追従すべき追従領域として設定されて、その追従領域の変化が監視される。続いて、ステップＳ３１１の判定処理にて、上述のように設定された追従領域の変化が無くなったか否かについて判定される。ここで、作業者Ｍが部品箱３０を棚２に載置する途中であり、部品箱３０が撮像部１３から離れている状態では、追従領域の変化が継続するため、ステップＳ３１１にてＮｏとの判定が繰り返される。
【0112】
そして、作業者Ｍにより部品箱３０が棚２に載置されると、撮像部１３に対する部品箱３０の距離が変わらなくなり、追従領域の変化が無くなるため、ステップＳ３１１にてＹｅｓと判定される。この場合には、ステップＳ３１３に示す設定にて、変化が無くなった追従領域が上記監視領域として設定されて、本監視領域設定処理が終了する。なお、複数の部品箱３０を用いて作業を行う場合には、１つの部品箱３０を棚２に載置するごとに上記監視領域設定処理を実施することで、それぞれの部品箱３０に対応する監視領域を設定することができる。
【0113】
このように、本実施形態では、作業者Ｍが部品箱３０を上方から棚２に載置するという一般的な動作によって監視領域を設定できるので、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Ｍの動作を軽減することができる。そして、部品箱３０を棚２に載置するタイミングで監視領域を設定することができる。特に、作業者Ｍが監視領域を指定することもないので、監視領域の設定ずれを抑制することができる。また、上記監視領域設定処理では、部品箱３０の異なる物体が撮像部１３の撮像領域内にあったとしても、その物体が遠方に移動した後に停止しない限り監視領域として設定されることもないので、監視領域の設定精度を高めることができる。また、部品箱３０が画像的な変化や形状的な変化をする場合でも、追従領域設定後にその追従領域が変化しなくなることで、上記監視領域が設定されるため、様々な種別の部品箱３０に対して監視領域を設定することができる。
【0114】
なお、撮像部１３としてＴＯＦカメラを採用することに限らず、一般的なＲＧＢカメラ等を採用して、この撮像画像から部品箱３０が遠ざかっている状態を検出することで、上記追従領域を設定してもよい。この構成では、撮像部１３から離れるほど撮像画像にて占める部品箱３０の領域が小さくなることを利用して、疑似的に部品箱３０が撮像部１３から遠ざかる事を認識することができる。
【0115】
また、上記監視領域処理は、作業者Ｍによる所定の操作に応じて開始されることに限らず、例えば、所定の情報コードを撮像部１３にて撮像させたり、撮像部１３の撮像範囲内にて作業者Ｍが所定のジェスチャーを行うことで、開始されてもよい。
【0116】
なお、部品箱３０を棚２に載置する際の部品箱３０の動きを検知することで、その部品箱３０に対応する監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0117】
［第１０実施形態］
次に、第１０実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１０実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第１０実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１０実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0118】
部品箱３０における各部品２０の収容状態として、各部品２０がきれいに整頓されて並べられている場合や各部品２０が乱雑に置かれている場合等、様々な収容状態が考えられるが、基本的には同種類の部品２０がまとめて入れられている。つまり、似たような集合体が部品箱３０の中には各々収容されていると考えられる。
【0119】
そこで、本実施形態では、部品箱３０を撮像した撮像画像をブロックに分割して、それぞれのブロックの特徴量を計算し、似たような特徴量を持つブロックが集まっている部分に部品２０があると判定する。ここで、上記特徴量としては、例えば、色のヒストグラムやＨｏＧ（Histgram Of Gradient）といったエッジ特徴量、周波数など様々なものを採用することができる。
【0120】
例えば、図３６（Ａ）に示すように、棚２上に２つの部品箱３０ｅ，３０ｆが配置されている場合に、これら部品箱３０ｅ，３０ｆを撮像した撮像画像を、図３６（Ｂ）に示すように、各ブロックに分割して、ブロックごとに所定の特徴量を抽出する。本実施形態では、周波数に基づく特徴量を抽出しており、例えば、図３６（Ｂ）のブロックＢ１～Ｂ４では、図３７に示すような周波数特徴量が抽出される。
【0121】
各ブロックの特徴量が抽出されると、似た特徴量を持つブロック同士にグループ分けする。このグループ分けの手法としては、例えば、ｋ－ｍｅａｎｓやｘ－ｍｅａｎｓといった類似パラメータ同士をクラスタにまとめて分割する手法等を採用することができる。
【0122】
そして、グルーピングされた中で、部品箱３０のように矩形領域に集合しているグループがあれば、そのグルーピングされたブロックからなる範囲を部品箱３０に対応する監視領域として設定することができる。
【0123】
なお、ブロックごとに抽出される特徴量を利用して部品箱３０に対応する監視領域をそれぞれ設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0124】
［第１１実施形態］
次に、第１１実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１１実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第１１実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１１実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0125】
通常、部品箱３０は、上方が矩形状に開口する箱形状になっており、この箱形状の特徴として、周壁の上端が同じ高さとなる。そこで、本実施形態では、撮像部１３としてＴＯＦカメラを採用し、部品箱３０が配置される予定のエリアに対して距離を測定する。そして、同じ高さにある領域を抽出し、その形状に応じて部品箱３０に対応する監視領域を設定する。すなわち、同じ高さにある領域が四角環状として抽出されると、その四角環状となる領域が周壁となるように部品箱３０が検出されて、この領域を含むように監視領域が設定される。なお、本実施形態では、各部品箱３０が載置される棚２の載置面は撮像部１３に対して水平に位置しているものとする。
【0126】
具体的には、例えば、図３８（Ａ）に示すように２つの部品箱３０ｅ、３０ｆが棚２上に配置されている場合、距離画像では、図３８（Ｂ）に示すように、部品箱３０の周壁の上端が同じ高さの四角環状領域として抽出される。
【0127】
このように、距離画像での同じ高さにある領域に基づいて部品箱３０に対応する監視領域を設定できるので、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Ｍの動作を軽減することができる。
【0128】
なお、撮像部１３と別にＴＯＦカメラを用意して、このカメラを利用して同じ高さにある領域を抽出するようにしてもよい。また、各部品箱３０が載置される棚２の載置面が撮像部１３に対して傾斜している場合には、その傾斜角度を事前に計測してその傾斜角度を考慮して距離画像での高さを補正してもよい。また、距離画像での同じ高さにある領域に基づいて部品箱３０に対応する監視領域を設定する本実施形態の特徴的構成は、他の実施形態等にも適用することができる。
【0129】
［第１２実施形態］
次に、第１２実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１２実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第１２実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１２実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0130】
本実施形態では、各部品箱３０の色に特徴を持たせることで、監視領域として撮像画像から各部品箱３０が占める領域を抽出しやすくする。各部品箱３０の色としては、それぞれ個別であって、棚２等の周囲の色や作業者Ｍの手の色等と区別容易な色を採用することができる。
【0131】
例えば、部品箱３０ｅを第１色（例えば、緑色）、部品箱３０ｆを第２色（例えば、青色）にし、図３９（Ａ）に示すように部品箱３０ｅ，３０ｆが撮像されている撮像画像を利用して、部品箱３０ｆの監視領域を設定する場合には、図３９（Ｂ）に示すように、撮像画像から第２色の領域を抽出する。その後、第２色の領域を抽出した画像に対して、ノイズ除去等も含め、膨張・収縮等のフィルタリング処理を行うことで、図３９（Ｃ）に示すように、四角環状の領域を抽出する。これにより、抽出した四角環状の領域を含めた領域を上記監視領域として設定することができる。なお、図３９では、第２色のものにのみハッチングを付して図示している。
【0132】
特に、部品箱３０ごとに色を区別することで、抽出された監視領域に対応する部品箱３０の種別を容易に把握することができる。このように、色と部品箱３０の種別とを関連付けることで、どの順番にどの部品箱３０が置かれているかも検出でき、部品２０に似たような色があった場合でも、置かれるべき部品箱３０の順番等と比較することで、除外することも可能となる。また、作業分析装置１０が配置される環境によっては外部照明等の影響を受けることも考えられるため、明度変化に頑健なＨＳＶなどの色空間で見ることで、誤認識を抑制することもできる。
【0133】
［第１３実施形態］
次に、第１３実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１３実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、第１３実施形態に係る作業分析装置及び作業分析プログラムについて、図面を参照して説明する。
本第１３実施形態では、上記監視領域を設定するための処理が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
【0134】
本実施形態では、上記作業分析処理が開始される前に、各監視領域を設定するため、制御部１１により監視領域設定処理が実施される。この監視領域設定処理では、撮像部１３にて撮像された撮像画像において部品２０と想定され得るものが撮像されている領域を部品領域Ｐｎとして設定して、この部品領域Ｐｎに基づいて部品箱３０の領域、すなわち、監視領域が設定される。
【0135】
具体的には、対象となる部品２０を撮像した１つの部品画像又は角度を変えて撮像した２以上の部品画像（テンプレート）を予め用意し、図４０に例示するように、撮像部１３の撮像画像から部品箱３０を載置する可能性のある範囲を抽出した抽出画像において、上記部品画像に対して類似度が高くなる範囲を探索する（テンプレートマッチング）。本実施形態では、撮像される部品２０のサイズ等に基づいて設定される検出用のウィンドウＳｗを上記抽出画像中にてスライドさせるようにして、類似度が高くなる範囲を探索する。
【0136】
以下、本実施形態において制御部１１にてなされる監視領域設定処理について、図面を参照して具体的に説明する。
作業分析処理を開始する前に、部品箱３０が棚２に載置された状態にて所定の操作に応じて制御部１１により監視領域設定処理が開始されると、図４１のステップＳ４０１に示す初期設定処理がなされ、監視領域を設定すべき部品箱３０の種別等が特定されるとともにその部品箱３０に収容される部品２０の上記部品画像が取得される。なお、部品画像は、例えば、予め記憶されている記憶部１２から取得されてもよいし、監視領域設定処理がなされるごとに外部から取得されてもよい。
作業分析処理を開始する前に、部品箱３０が棚２に載置された状態にて所定の操作に応じて制御部１１により監視領域設定処理が開始されると、図４１のステップＳ４０１に示す初期設定処理がなされ、監視領域を設定すべき部品箱３０の種別等が特定されるとともにその部品箱３０に収容される部品２０の上記部品画像が取得される。なお、部品画像は、例えば、予め記憶されている記憶部１２から取得されてもよいし、監視領域設定処理がなされるごとに外部から取得されてもよい。
【0137】
そして、全ての監視領域が設定されていない場合には（Ｓ４０３でＮｏ）、撮像部１３により撮像可能な状態になった後（Ｓ４０５）、ステップＳ４０７に示す部品領域設定処理がなされる。この処理のサブルーチンでは、まず、図４２のステップＳ５０１に示す類似範囲探索処理がなされる。この処理では、上述したように、検出用のウィンドウＳｗを上記抽出画像中にて所定間隔（例えば、１又は数ピクセル単位）でスライドさせるようにして、類似度が高くなる範囲を探索するための処理がなされる（図４０参照）。
【0138】
そして、上記抽出画像中の全てにおいて探索が終了すると、ステップＳ５０３の判定処理にて、類似度が確定閾値以上となる範囲が探索されているか否かについて判定される。本実施形態では、例えば、上記確定閾値は０．８に設定されており、探索結果において類似度が確定閾値以上となる範囲が１つでも探索されている場合には、ステップＳ５０３にてＹｅｓと判定される。また、探索結果において類似度が確定閾値以上となる範囲が探索されていない場合であっても（Ｓ５０３でＮｏ）、類似度が部分閾値（例えば、０．２）以上となる範囲が所定数（例えば、１０個）探索されている場合には、ステップＳ５０５の判定処理にてＹｅｓと判定される。
【0139】
上述のように、ステップＳ５０３にてＹｅｓと判定されるか、ステップＳ５０５にてＹｅｓと判定されると、ステップＳ５０７に示す設定処理がなされ、探索された範囲に基づいて部品領域Ｐｎが設定される。具体的には、図４３に示すように、類似度が上記部分閾値以上となる全ての範囲を含む矩形状の領域が上記部品領域Ｐｎとして設定されて、部品領域設定処理のサブルーチンが終了する。なお、図４３では、類似度が上記部分閾値以上となる範囲の一部を矩形状の破線にて図示している。
【0140】
一方、探索結果において、類似度が上記確定閾値以上となる範囲が探索されておらず（Ｓ５０３でＮｏ）、類似度が上記部分閾値以上となる範囲が所定数探索されない場合には（Ｓ５０５でＮｏ）、部品領域Ｐｎが設定されることなく、部品領域設定処理のサブルーチンが終了する。
【0141】
上述のように部品領域設定処理のサブルーチンが終了すると、ステップＳ４０９の判定処理にて、部品領域Ｐｎが設定されているか否かについて判定される。ここで、部品領域Ｐｎが設定されていない場合には、ステップＳ４０９にてＮｏと判定されて、ステップＳ４１１に示す報知処理がなされる。この処理では、探索対象の部品２０が撮像画像から見つけられない旨が表示部１４による表示等を利用して報知されて、本監視領域設定処理が終了する。
【0142】
一方、部品領域Ｐｎが設定されている場合には（Ｓ４０９でＹｅｓ）、ステップＳ４１３に示す直線サーチ処理がなされる。この処理では、抽出画像において部品領域Ｐｎの縁の一点から外側に向けて直線をサーチするための処理がなされる。本実施形態では、図４３に示すように、部品領域Ｐｎのうち最小のＸ座標及びＹ座標からＸ方向の負側に向けて直線をサーチするための処理がなされる（図４３の符号Ｌ１参照）。部品箱３０に相当する領域内に部品領域Ｐｎが設定されているので、上記直線サーチ処理により、部品箱３０の周壁の内面に相当する直線がサーチされることになる。なお、部品領域Ｐｎのうち最小のＸ座標及びＹ座標からＸ方向の負側に向けて直線をサーチすることに限らず、部品領域Ｐｎの縁の任意の点から外側に向けて直線をサーチするようにしてもよい。
【0143】
上述のように直線がサーチされると、ステップＳ４１５の交点サーチ処理がなされ、抽出画像において、サーチされた上記直線の先端であって他の直線と交わる交点をサーチするための処理がなされる。直線上を時計回りまたは反時計回りでサーチするようにして交点がサーチされると、まず、サーチされた交点の数ｋが０に初期化され（Ｓ４１７）、その交点が部品領域Ｐｎ外であれば（Ｓ４１９でＹｅｓ）、サーチされた交点の数ｋがインクリメントされる（Ｓ４２１）。上述のように交点の数ｋが０に設定された直後であれば、交点の数ｋが１に設定されることとなる。
【0144】
そして、交点の数ｋが４でない場合には（Ｓ４２３でＮｏ）、上記交点に連なる他の直線の先端となる次の交点をサーチするための処理がなされる（Ｓ４２５）。そして、サーチされた交点が部品領域Ｐｎ外であり（Ｓ４１９でＹｅｓ）、インクリメントされた交点の数ｋが４でない場合には（Ｓ４２３でＮｏ）、再度、上記ステップＳ４２５以降の処理がなされる。なお、サーチされた交点が部品領域Ｐｎ内であると（Ｓ４１９でＮｏ）、誤った交点がサーチされているとして、上記直線について交点をサーチするための処理が継続される（Ｓ４２７）。
【0145】
そして、次の交点がサーチされて（Ｓ４２５）、インクリメントされた交点の数ｋが４になると（Ｓ４２３でＹｅｓ）、ステップＳ４２９に示す設定処理がなされる。この処理では、サーチされた４つの交点を四隅とする矩形状の領域が部品箱３０の周壁に囲まれた矩形状の領域に相当するため、この矩形状の領域を上記監視領域として設定するための処理がなされる。その後、次の部品箱３０の監視領域を設定するため、上記ステップＳ４０３以降の処理がなされる。そして、全ての部品箱３０の監視領域が設定されると、ステップＳ４０３の判定処理にてＹｅｓと判定されて、本監視領域設定処理が終了する。
【0146】
このように、本実施形態における監視領域設定処理では、部品２０と想定され得るものが撮像されている領域を部品領域Ｐｎとして設定して、この部品領域Ｐｎに基づいて部品箱３０の領域、すなわち、監視領域が設定される。これにより、監視領域設定用の装置等を用意する必要もなく、事前の設定作業や複雑な端末操作等も不要となり、監視領域を設定するために必要な作業者Ｍの動作を軽減することができる。
【0147】
なお、部品領域Ｐｎは、部品画像に対する類似度を利用して設定されることに限らず、他の手法を用いて設定されてもよい。例えば、本実施形態の第１変形例として、エッジ検出アルゴリズム（例えば、Ｃａｎｎｙ法）を用いた検出結果に基づいて部品領域Ｐｎが設定されてもよい。
【0148】
具体的には、上記抽出画像のグレースケールに対してＸ座標方向に輝度値をラインスキャンし（図４４参照）、一定区間内(例えば１０画素内)の振幅数が所定の閾値（例えば４回）以上連続して検出された区間のスタートとエンドのＹ座標を保存する。また、同様に、Ｙ座標方向に輝度値をラインスキャンし（図４４参照）、検出された区間のスタートとエンドのＸ座標を保存する。なお、図４５は、所定のＹ座標に関してＸ座標方向に輝度値をラインスキャンした検出結果を概念的に例示している。そして、保存したＸ座標及びＹ座標において最も原点に近い座標を、部品領域Ｐｎの外縁を構成する４つの直線のうちの２つが通る点とし、最も原点から遠い座標を、残る２つの直線が通る点とすることで、部品領域Ｐｎが設定される。このように設定された部品領域Ｐｎに基づいて監視領域を設定する場合でも上記効果を奏する。
【0149】
また、本実施形態の第２変形例として、コーナー検出アルゴリズム（例えば、ハリスコーナー検出）を用いた検出結果に基づいて部品領域Ｐｎが設定されてもよい。
【0150】
具体的には、上記抽出画像において、各物体のコーナーをそれぞれ検出し、検出されたコーナーにおいて交差する２直線から成る小さい方の角（１８０度未満）の角度とそれらコーナーの座標を求め（図４６のハッチング領域参照）、概略のコーナー角度ごとのヒストグラムを算出する（図４７参照）。そして、ヒストグラムの出現頻度が上位所定数個（部品の形状に依存し、例えば三角形であれば上位３個）の角度の中で、最も原点に近いＸ座標およびＹ座標と最も原点から遠いＸ座標及びＹ座標とで囲まれた領域に一致するように部品領域Ｐｎが設定される。このように設定された部品領域Ｐｎに基づいて監視領域を設定する場合でも上記効果を奏する。
【0151】
なお、部品領域Ｐｎを設定して、この部品領域Ｐｎから監視領域を設定する本実施形態等の特徴的構成は、他の実施形態等にも適用することができる。
【0152】
なお、本発明は上記各実施形態及びその変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）本発明における分析対象の所定の作業として、４つの単位作業Ａ～Ｄからなる組み付け作業が採用されることに限らず、例えば、１つ～３つの単位作業からなる組み付け作業が採用されてもよいし、５つ以上の単位作業からなる組み付け作業が採用されてもよい。
（１）本発明における分析対象の所定の作業として、４つの単位作業Ａ～Ｄからなる組み付け作業が採用されることに限らず、例えば、１つ～３つの単位作業からなる組み付け作業が採用されてもよいし、５つ以上の単位作業からなる組み付け作業が採用されてもよい。
【0153】
（２）上述した区切動作（所定の動作）は、部品箱３０から部品２０を取り出す動作（第１実施形態）や、部品２０をワークＷの組付予定位置に移動させた動作（第２実施形態）に設定されることに限らず、その単位作業において必須となる他の作業動作に設定されてもよいし、単位作業とは無関係の画像認識しやすい動作に設定されてもよい。
【0154】
（３）本発明は、プリント基板等のワークＷに対して所定の作業手順に従って部品を組み付ける際の作業分析に採用されることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して所定の作業手順に従って部品を組み付ける際の作業分析に採用されてもよい。
【0155】
（４）作業分析処理において異常作業と判定された単位作業に関する情報や区切情報などを表示部１４等に表示することで、必要に応じて区切情報を手動で修正等する機会を設けてもよい。
【符号の説明】
【0156】
１０…作業分析装置
１１…制御部（設定部，生成部）
１３…撮像部
２０，２０ａ～２０ｄ…部品
３０，３０ａ～３０ｄ…部品箱
Ｐ１ａ～Ｐ１ｄ，Ｐ２ａ～Ｐ２ｄ…監視領域
Ｗ…ワーク（被組付部材）
１１…制御部（設定部，生成部）
１３…撮像部
２０，２０ａ～２０ｄ…部品
３０，３０ａ～３０ｄ…部品箱
Ｐ１ａ～Ｐ１ｄ，Ｐ２ａ～Ｐ２ｄ…監視領域
Ｗ…ワーク（被組付部材）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】