特許 7207029 作業支援装置及び作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-10

(45)【発行日】2023-01-18

(54)【発明の名称】作業支援装置及び作業支援プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20230111BHJP

   G06T 7/254 20170101ALI20230111BHJP

   G06T 7/12 20170101ALI20230111BHJP

   G06Q 50/04 20120101ALI20230111BHJP

【ＦＩ】

G05B19/418 Z

G06T7/254 A

G06T7/12

G06Q50/04

【請求項の数】 7

(21)【出願番号】P 2019043619

(22)【出願日】2019-03-11

(65)【公開番号】P2020149101

(43)【公開日】2020-09-17

【審査請求日】2022-02-16

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】凌 通

【審査官】石川 健一

(56)【参考文献】

【文献】特開２０１８－１５６２７９（ＪＰ，Ａ）

【文献】特開２０１３－１５４７３０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２２７７９５（ＵＳ，Ａ１）

【文献】特開２００５－３３７８７０（ＪＰ，Ａ）

【文献】特開２０１６－０６２３６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｇ０６Ｔ ７／２５４

Ｇ０６Ｔ ７／１２

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置であって、
撮像部と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定部と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部と、
前記判定部による判定結果を作業者に対して報知する報知部と、
を備え、
前記部品箱における周壁の上端は、複数の角部を有するように多角環状に形成され、
前記監視領域設定部は、前記撮像部により撮像された撮像画像において、前記複数の角部のうち作業者の指が触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に前記起点に戻る境界線を検出し、当該境界線により囲われる多角形状の領域を前記監視領域として、部品箱ごとに設定することを特徴とする作業支援装置。

【請求項2】

前記監視領域設定部は、指が触れた前記複数の角部のうちの１つを前記起点とし残りを前記交点の少なくとも一部とするように前記境界線を検出することを特徴とする請求項１に記載の作業支援装置。

【請求項3】

前記監視領域設定部は、前記交点で曲がる方向を一方向に定めるようにして前記境界線を検出することを特徴とする請求項１又は２に記載の作業支援装置。

【請求項4】

前記監視領域設定部は、前記境界線を所定の幅を有する環状部として検出し、当該環状部の内縁により囲われる多角形状の領域を前記監視領域として設定することを特徴とする請求項１～３のいずれか一項に記載の作業支援装置。

【請求項5】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置であって、
撮像部と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定部と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部と、
前記判定部による判定結果を作業者に対して報知する報知部と、
を備え、
前記監視領域設定部は、前記撮像部により前記部品箱の周壁の上端をなぞる作業者の指によって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域を前記監視領域として、部品箱ごとに設定することを特徴とする作業支援装置。

【請求項6】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置の制御部に、
撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定処理と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定処理により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出処理と、
前記検出処理による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定処理と、
前記判定処理による判定結果を作業者に対して報知する報知処理と、
を実行させる作業支援プログラムであって、
前記部品箱における周壁の上端は、複数の角部を有するように多角環状に形成され、
前記監視領域設定処理では、前記撮像部により撮像された撮像画像において、前記複数の角部のうち作業者の指が触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に前記起点に戻る境界線を検出し、当該境界線により囲われる多角形状の領域を前記監視領域として、部品箱ごとに設定することを特徴とする作業支援プログラム。

【請求項7】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置の制御部に、
撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定処理と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定処理により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出処理と、
前記検出処理による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定処理と、
前記判定処理による判定結果を作業者に対して報知する報知処理と、
を実行させる作業支援プログラムであって、
前記監視領域設定処理では、前記撮像部により前記部品箱の周壁の上端をなぞる作業者の指によって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域を前記監視領域として、部品箱ごとに設定することを特徴とする作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予め定められている作業手順に従って行われる作業を支援する作業支援装置及び作業支援プログラムに関するものである。

【背景技術】

【0002】

従来、製造現場では、例えばプリント基板や製造途中の装置等に対して、手作業で部品を組み付ける組み付け作業等が行われることがある。このような作業は、予め定められている作業手順に従って行われるものの、一般的に複数の工程が含まれていること、また、組み付け作業であれば一般的に複数種類の部品を組み付けること等の理由により、部品を付け忘れたり取り違えたりする可能性がある。そのため、例えば、特許文献１では、部品箱側に重量センサ等の検出手段を設け、部品箱から取り出された部品が作業手順に適合したものであるか否かを判定することが提案されている。

【0003】

また、異なる製品に対して作業をする場合には組み付ける部品の種類や数等も異なるため、上述のような検出手段を部品箱側に設けると、部品の数に比例して設備コストが増加することに加えて、検出手段の設置や作業手順との対応付け等に多大な労力を要するという問題がある。この問題を解決するため、例えば、下記特許文献２に開示される作業支援装置が知られている。この作業支援装置では、撮像部の撮像範囲内に作業を監視する範囲となる監視領域を作業手順に応じて入力操作して設定し、撮像した画像の監視領域に該当する部分と当該画像よりも前の時点で撮像した他の画像における監視領域に該当する部分とを比較することにより、管理領域を対象として動態検出を行い、この動態検出の検出結果に基づいて作業手順に従って行われたか否かを判定し、その判定結果を作業者に対して報知している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２１１６２３号公報

【文献】特開２０１８－１５６２７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述した特許文献２に開示される作業支援装置では、各部品箱に対応する監視領域をそれぞれ設定する際、作業者は、撮像部で撮像した画像のうち部品箱の位置を確認しながらワイヤレスマウスを操作して画像中の部品箱を囲うように枠線を引く作業を行う必要がある。製造ロットごとに、部品箱の種類や個数だけでなく、部品箱の位置も変わる可能性があるために、監視領域を予め設定できないからである。そうすると、製造ロットごとに、作業者が画面を見ながらワイヤレスマウスを操作する作業が発生するため、監視領域を設定するための初期設定作業に時間がかかるだけでなく、作業者の操作ミス等により誤った監視領域が設定されてしまうという問題がある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、作業者に作業負担を強いることなく監視領域を容易かつ正確に設定可能な構成を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
複数の部品箱（３０，３０ａ～３０ｄ）に収容された部品（２０，２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置（１０）であって、
撮像部（１３）と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定部（１１）と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部（１１）と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部（１１）と、
前記判定部による判定結果を作業者に対して報知する報知部（１５，１６）と、
を備え、
前記部品箱における周壁（３２）の上端（３３ａ～３３ｄ）は、複数の角部（３４ａ～３４ｄ）を有するように多角環状に形成され、
前記監視領域設定部は、前記撮像部により撮像された撮像画像において、前記複数の角部のうち作業者の指が触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に前記起点に戻る境界線（Ｐａ～Ｐｄ）を検出し、当該境界線により囲われる多角形状の領域を前記監視領域として、部品箱ごとに設定することを特徴とする。

【0008】

請求項５に記載の発明は、
複数の部品箱（３０，３０ａ～３０ｄ）に収容された部品（２０，２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置（１０）であって、
撮像部（１３）と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定部（１１）と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部（１１）と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部（１１）と、
前記判定部による判定結果を作業者に対して報知する報知部（１５，１６）と、
を備え、
前記監視領域設定部は、前記撮像部により前記部品箱の周壁（３２）の上端（３３ａ～３３ｄ）をなぞる作業者（Ｍ）の指（Ｆ）によって描かれる環状の軌跡（Ｐａ～Ｐｄ）が撮像されると、当該環状の軌跡により囲われる領域を前記監視領域として、部品箱ごとに設定することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0009】

請求項１の発明では、撮像部により撮像された撮像画像のうち監視領域設定部により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しが検出部により検出される。この検出部による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定部により判定されて、この判定結果が報知部により作業者に対して報知される。その際、監視領域設定部にて、撮像部により撮像された撮像画像において、部品箱の周壁の上端における複数の角部のうち作業者の指が触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に上記起点に戻る境界線が検出され、当該境界線により囲われる多角形状の領域が監視領域として、部品箱ごとに設定される。

【0010】

これにより、作業開始前等に、作業者が部品箱の周壁の上端における１つの角部に指で触れるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者が画面を見ながらマウス操作等を行う必要もないので、作業者の入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者に作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0011】

請求項２の発明では、監視領域設定部により、指が触れた複数の角部のうちの１つを起点とし残りを交点の少なくとも一部とするように境界線が検出される。これにより、残りの指が触れた角部を交点として通過しないように元の起点に戻った境界線を誤検出された境界線と判断できるので、境界線の検出精度を高めることができる。

【0012】

請求項３の発明では、監視領域設定部により、交点で曲がる方向を一方向に定めるようにして境界線が検出される。例えば、隣の部品箱と周壁同士が接していることから意図しない交点が検出されたために、誤った境界線が検出される可能性がある。その一方で、例えば、交点で曲がる方向が部品箱の上方から平面視して右回り方向となるように境界線を延伸させる際、上記意図しない交点では、隣の部品箱の周壁の上端に向けて曲がる方向が逆の左回り方向となる。このため、交点で曲がる方向を一方向に定めることで、上述のような意図しない交点から上記一方向と異なる方向に曲がるように延伸する境界線を、隣の部品箱の周壁の上端に向けて曲がる境界線として除外することができる。

【0013】

請求項４の発明では、監視領域設定部により、境界線が所定の幅を有する環状部として検出され、当該環状部の内縁により囲われる多角形状の領域が監視領域として設定される。これにより、環状部の外縁に連なる可能性がある隣の部品箱が監視領域の設定に関して影響することもないので、監視領域をより正確に設定することができる。

【0014】

請求項５の発明では、撮像部により撮像された撮像画像のうち監視領域設定部により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しが検出部により検出される。この検出部による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定部により判定されて、この判定結果が報知部により作業者に対して報知される。その際、監視領域設定部にて、撮像部により部品箱の周壁の上端をなぞる作業者の指によって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域が監視領域として、部品箱ごとに設定される。

【0015】

これにより、作業開始前等に、作業者が部品箱の周壁の上端をなぞるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者が画面を見ながらマウス操作等を行う必要もないので、作業者の入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者に作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0016】

請求項６の発明によれば、請求項１と同様の効果を奏する作業支援プログラムを実現できる。
請求項７の発明によれば、請求項５と同様の効果を奏する作業支援プログラムを実現できる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態に係る作業支援装置の概略構成を示す説明図である。

【図2】各部品箱が撮像される撮像状態を説明する説明図である。

【図3】作業支援装置の電気的構成を例示するブロック図である。

【図4】第１実施形態において制御部にてなされる作業支援処理の流れを例示するフローチャートである。

【図5】図４の監視領域設定処理の流れを例示するフローチャートである。

【図6】停滞状態の指が触れた角部を起点としてサーチ対象が切り替わる状態を説明する説明図である。

【図7】図７（Ａ）は、撮像画像において最初の監視領域が設定された状態を説明する説明図であり、図７（Ｂ）は、撮像画像において全ての監視領域が設定された状態を説明する説明図である。

【図8】サーチの際に交点で曲がる方向を一方向にすることで、意図しない交点の検出による影響が抑制される事例を説明する説明図である。

【図9】第２実施形態において、２つの角部を停滞状態の指で触れることで設定される監視領域を説明する説明図である。

【図10】第３実施形態において、部品箱の上端の内縁をサーチ対象とすることで設定される監視領域を説明する説明図である。

【図11】第４実施形態における監視領域設定処理の流れを例示するフローチャートである。

【図12】第４実施形態において作業者の指が部品箱の上端をなぞる環状の軌跡を説明する説明図である。

【発明を実施するための形態】

【0018】

［第１実施形態］
以下、本発明に係る作業支援装置及び作業支援プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業支援装置１０は、図１に例示するように、作業台１等に設けられており、作業者Ｍにより複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる組み付け作業を支援する装置として構成されている。

【0019】

組み付け作業が行われる作業台１には、プリント基板や組み付け対象の装置等のワークＷが搬送されて配置される。この作業台１の棚２には、複数の部品箱３０が作業者Ｍから見て左右に並ぶように配置されており、各部品箱３０には、ワークＷに組み付けるための複数種類の部品２０がそれぞれ個別に貯留されている。本実施形態では、図２からわかるように、棚２上に４つの部品箱３０ａ～３０ｄが並んで配置され、部品箱３０ａに部品２０ａが収容され、部品箱３０ｂに部品２０ｂが収容され、部品箱３０ｃに部品２０ｃが収容され、部品箱３０ｄに部品２０ｄが収容されている。

【0020】

部品箱３０ａは、図２に示すように、四角形状の底壁３１の外縁に対して下端にて周壁３２が環状に連結し、この周壁３２の上端３３ａ～３３ｄが４つの角部３４ａ～３４ｄを有する四角環状となるように形成されている。部品箱３０ｂ～３０ｄも、部品箱３０ａと同様に、四角形状の底壁の外縁に対して下端にて周壁が環状に連結し、この周壁の上端が４つの角部を有する四角環状となるように形成されている。

【0021】

作業支援装置１０は、図１及び図３に示すように、制御部１１、記憶部１２、撮像部１３、表示部１４、発光部１５、スピーカ１６、操作部１７、通信部１８などを備えている。制御部１１は、マイコンを主体として構成されて、作業支援装置１０の全体的制御や各種演算を行うものであり、例えば後述する作業支援処理を実行するように機能する。記憶部１２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業支援処理を実行するためのアプリケーションプログラム（以下、作業支援プログラムともいう）や所定のデータベース等が、制御部１１により利用可能に予め格納されている。

【0022】

撮像部１３は、受光センサ（例えば、Ｃ－ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成されている。本実施形態では、撮像部１３は、制御部１１や表示部１４等を備えた装置本体１０ａとは別体として構成されており、各部品箱３０ａ～３０ｄを少なくとも含む範囲を動画または静止画で撮像するように、作業台１の上部に配置されている。本実施形態では、撮像部１３は、例えば、３０フレーム／秒で連続静止画を撮像し、各撮像画像が制御部１１によって解析可能に記憶部１２に記憶されるように構成されている。

【0023】

表示部１４は、例えば、液晶ディスプレイであって、制御部１１により制御されて、撮像部１３により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部１４の表示画面が作業者Ｍによって視認されるように、装置本体１０ａが作業台１の背板等に取り付けられている。

【0024】

発光部１５は、例えば、ＬＥＤであって、制御部１１により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Ｍによって視認容易な位置に配置されている。スピーカ１６は、公知のスピーカ等によって構成されており、制御部１１により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。なお、発光部１５及びスピーカ１６は、「報知部」の一例に相当し得る。

【0025】

操作部１７は、入力操作に応じた操作信号を制御部１１に対して出力する構成をなしており、制御部１１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部１８は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部１１と協働して通信処理を行うように構成されている。

【0026】

次に、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を個々にワークＷに組み付ける組み付け作業が行われる際に、製造ロットごとに制御部１１にてよって実行される作業支援プログラムに基づいてなされる作業支援処理について、図４及び図５に示すフローチャートを参照して詳述する。なお、所定の作業手順として、ワークＷに対して、１番目に部品箱３０ａの部品２０ａが組み付けられ、２番目に部品箱３０ｂの部品２０ｂが組み付けられ、３番目に部品箱３０ｃの部品２０ｃが組み付けられ、４番目に部品箱３０ｄの部品２０ｄが組み付けられるように作業手順が予め決まっている場合を例に説明する。

【0027】

操作部１７に対して所定の操作がなされることで、制御部１１により作業支援処理が開始されると、まず、図４のステップＳ１０１に示す作業手順情報読込み処理がなされ、指定された製造ロットの上記所定の作業手順に関する情報（以下、作業手順情報ともいう）が記憶部１２から読み込まれる。本実施形態では、上記作業手順情報は、その製造ロットに関する作業手順等を記載した作業指示書等に付された情報コードや無線タグを読み取ることでその都度記憶部１２に記憶される。なお、上記作業手順情報は、例えば、操作部１７による入力操作等に応じて記憶部１２に記憶されてもよいし、予め、通信部１８を介して上位機器等から受信することで記憶部１２に記憶されてもよい。

【0028】

上述のように作業手順情報が読み込まれると、部品の組み付け順番（取り出し順番）を示すｋが１に設定された後（Ｓ１０３）、ステップＳ１０５に示す監視領域設定処理がなされる。この処理では、撮像部１３により撮像された撮像画像のうち、上記作業手順情報から特定される組み付け順番がｋ番目の部品の部品箱に相当する画像領域を、監視領域として設定するための処理がなされる。上述のように組み付け順番ｋが１に設定された直後では、１番目の部品２０ａの部品箱３０ａに相当する画像領域を、監視領域Ｐａとして設定するための処理がなされる。なお、上記監視領域設定処理を実行する制御部１１は、「監視領域設定部」の一例に相当し得る。

【0029】

本実施形態における監視領域設定処理では、撮像部１３による撮像中に、作業者Ｍが部品箱の周壁の上端における１つの角部に対して指Ｆにて触れることで、その角部を起点に上端に沿う境界線が検出されて、その境界線に囲まれる四角形状の領域が監視領域として設定されて登録される。

【0030】

以下、指が触れた部品箱の角部を起点に検出された境界線に応じて監視領域を設定する上記監視領域設定処理について、図５に示すフローチャートを参照して具体的に詳述する。
まず、撮像部１３により撮像可能な状態になると（図５のＳ２０１）、ステップＳ２０３の判定処理にて、撮像画像において人の指が検出されるか否かについて判定され、人の指が検出されるまでＮｏとの判定が繰り返される。

【0031】

この繰り返し処理中に、撮像画像において人の指が検出されると（Ｓ２０３でＹｅｓ）、ステップＳ２０５の判定処理にて、検出された指が停滞しているか否かについて判定される。ここで、指が移動している場合には（Ｓ２０５でＮｏ）、上記ステップＳ２０３からの処理がなされ、指の移動が検出される間は、ステップＳ２０３でＹｅｓ、ステップＳ２０５でＮｏとの判定が繰り返される。

【0032】

そして、検出される指が停滞すると、ステップＳ２０５の判定処理にてＹｅｓと判定されて、検出された指が停滞している停滞時間の計時が開始される（Ｓ２０７）。続いて、ステップＳ２０９の判定処理にて、停滞時間が予め設定される所定時間（例えば、５ｓ）を経過しているか否かについて判定され、停滞時間が上記所定時間を経過していない場合には（Ｓ２０９でＮｏ）、ステップＳ２１１の判定処理にて、検出された指の停滞が維持されているか否かについて判定される。ここで、検出された指の停滞が維持されている場合には（Ｓ２１１でＹｅｓ）、上記ステップＳ２０９からの処理がなされる。そして、停滞時間が上記所定時間を経過する前に指の移動が検出されると（Ｓ２１１でＮｏ）、上記ステップＳ２０３からの処理がなされる。

【0033】

一方、図６に示すように、作業者Ｍの指Ｆが部品箱３０ａの上端３３ａと上端３３ｄとの間の角部３４ａに触れた状態で停滞し、その指Ｆの停滞時間が上記所定時間を経過すると（Ｓ２０９でＹｅｓ）、ステップＳ２１３に示す起点検出処理がなされる。この処理では、サーチ対象の画像として設定された最新の撮像画像において、停滞している指Ｆの位置から延伸する２つの直線（指先端座標の最も近くで交わるであろう２本の直線）とみなされる部分同士の交点とみなされる点が起点として検出される。上述のように、角部３４ａに触れた状態で停滞している場合には、上端３３ａに相当する線分と上端３３ｄに相当する線分とが停滞している指Ｆの位置から延伸する状態となるため、指Ｆが触れている角部３４ａが起点として検出される。

【0034】

次に、ステップＳ２１５に示すサーチ対象設定処理がなされて、停滞している指Ｆから延伸する２つの直線のうちの１つがサーチ対象として設定される。続いて、ステップＳ２１７のサーチ処理にて、撮像画像において、サーチ対象に設定された直線の先端であって他の直線と交わる交点をサーチするための処理がなされる。

【0035】

本実施形態では、サーチの際に交点で曲がる方向が部品箱の上方から平面視して右回り方向となるように定められており、サーチ開始時に検出された２つの直線のうち右回り方向先となる直線が最初のサーチ対象とされる。上述のように指Ｆが部品箱３０ａの角部３４ａにて停滞している場合には、上端３３ａに相当する線分の一部と、上端３３ｄに相当する線分の一部とが、指Ｆから延伸する２つの直線として検出されるため、右回り方向先となる上端３３ａに相当する線分がサーチ対象となる（図６の矢印Ｓａ参照）。

【0036】

そして、上記ステップＳ２１７のサーチ処理にて、サーチ対象の直線の先端（交点）が検出されると、ステップＳ２１９の判定処理にて、検出された交点が上記起点に一致するか否かについて判定される。ここで、上端３３ａに相当する線分の先端であって上端３３ｂに相当する線分と交わる交点がサーチされると、この交点は角部３４ｂに相当するもので、上記起点に一致しないため、ステップＳ２１９にてＮｏと判定される。

【0037】

この場合には、ステップＳ２２１のサーチ対象切り替え処理がなされ、サーチされた交点から延伸する他の直線がサーチ対象となるように切り替えられる。上述のように角部３４ｂに相当する交点がサーチされている場合には、上端３３ｂに相当する線分がサーチ対象となるように切り替えられる（図６の矢印Ｓｂ参照）。そして、上記ステップＳ２１７の処理にて、上端３３ｂに相当する線分の先端であって上端３３ｃに相当する線分と交わる交点がサーチされ、この交点は角部３４ｃに相当することから、上記起点に一致しないため、ステップＳ２１９にてＮｏと判定される。このため、上端３３ｃに相当する線分がサーチ対象となるように切り替えられて（Ｓ２２１：図６の矢印Ｓｃ参照）、上端３３ｃに相当する線分の先端であって上端３３ｄに相当する線分と交わる交点がサーチされる（Ｓ２１７）。この交点は角部３４ｄに相当することから、上記起点に一致しないため（Ｓ２１９でＮｏ）、上端３３ｄに相当する線分がサーチ対象となるように切り替えられて（Ｓ２２１：図６の矢印Ｓｄ参照）、上端３３ｄに相当する線分の先端であって上端３３ａに相当する線分と交わる交点がサーチされる（Ｓ２１７）。この交点は角部３４ａに相当することから、上記起点に一致するため、ステップＳ２１９の判定処理にてＹｅｓと判定される。

【0038】

この場合には、ステップＳ２２３に示す境界線等設定処理がなされる。この処理では、サーチ対象となった各線分を連結した多角環状の線が、上記起点から延伸して複数の交点にてそれぞれ曲がった後に起点に戻る境界線として検出されて設定され、この境界線により囲われる多角形状の領域が監視領域として設定される。上述のように、上端３３ａ～３３ｄに相当する各線分を連結した境界線が検出されて設定されると、この境界線により囲われる四角形状の領域が、１番目の部品２０ａを収容した部品箱３０ａの監視領域Ｐａとして設定される（図７（Ａ）参照）。このため、図７（Ａ）では、境界線を符号Ｐａにて図示することができる。なお、作業者Ｍの指Ｆが部品箱３０ａの角部３４ｂ（３４ｃ，３４ｄ）に触れた状態で停滞した場合でも、角部３４ｂ（３４ｃ，３４ｄ）を起点としてこの起点から延伸して複数の交点にてそれぞれ曲がった後に起点に戻る境界線に囲われる四角形状の領域が監視領域Ｐａとして設定されることとなる。

【0039】

ここで、サーチの際に交点で曲がる方向が一方向（部品箱の上方から平面視して右回り方向）に定められる理由について、図８を参照して詳述する。
図８に示すように、例えば、部品箱３０ｅの周壁と部品箱３０ｆの周壁とが接するように部品箱３０ｅ及び部品箱３０ｆが配置されており、部品箱３０ｅの監視領域を設定する場合を想定する。この場合、上記サーチ処理では、部品箱３０ｆとの近接位置において部品箱３０ｅの上端と部品箱３０ｆの上端とが連なっているとして意図しない交点（図８の符号Ｓｐ１参照）が検出されてしまうと、この交点から延伸する直線として部品箱３０ｆの上端が誤サーチされる可能性がある（図８の矢印Ｓｆ参照）。その一方で、例えば、交点で曲がる方向が部品箱の上方から平面視して右回り方向となるように境界線を延伸させる際、上記意図しない交点Ｓｐ１では、部品箱３０ｆの上端に向けて曲がる方向が逆の左回り方向となる。

【0040】

そこで、本実施形態では、サーチの際に交点で曲がる方向を上述のように右回り方向（一方向）に定める。これにより、図８に示すように、意図しない交点Ｓｐ１から延伸する部品箱３０ｅの上端に相当する直線（図８の矢印Ｓｅ参照）が交点Ｓｐ１の右回り方向先となり、意図しない交点Ｓｐ１から延伸する部品箱３０ｆの上端に相当する直線（図８の矢印Ｓｆ参照）が交点Ｓｐ１の左回り方向先となるので、逆方向となる部品箱３０ｆの上端が誤ってサーチ対象となることを抑制することができる。

【0041】

上述のように１番目の部品２０ａを収容した部品箱３０ａに関して監視領域Ｐａが設定されることで監視領域設定処理が終了すると、ステップＳ１０７の判定処理にて、組み付け順番ｋが、上記作業手順情報から特定される部品箱の総数Ｎに一致するか否かについて判定される。上述の例では、総数Ｎは４に設定されるため、上記ステップＳ１０７にてＮｏと判定されて、組み付け順番ｋが１つ増えるようにインクリメントされた後に（Ｓ１０９）、上記ステップＳ１０５の処理がなされる。上述のように１番目の部品２０ａを収容した部品箱３０ａに関して監視領域が設定された後では、ｋ＝２に設定されるため、２番目の部品２０ｂを収容した部品箱３０ｂに関して監視領域を設定するための処理が開始される。同様にして、２番目の部品２０ｂを収容した部品箱３０ｂのいずれかの角部に触れた指が停滞することで、この部品箱３０ｂに関して監視領域Ｐｂが設定される。その後、ｋ＝Ｎでないことから（Ｓ１０７でＮｏ）、ｋ＝３に設定された後に（Ｓ１０９）、３番目の部品２０ｃを収容した部品箱３０ｃのいずれかの角部に触れた指が停滞することで、この部品箱３０ｃに関して監視領域Ｐｃが設定される（Ｓ１０５）。その後も、ｋ＝Ｎでないことから（Ｓ１０７でＮｏ）、ｋ＝４に設定された後に（Ｓ１０９）、４番目の部品２０ｄを収容した部品箱３０ｄのいずれかの角部に触れた指が停滞することで、この部品箱３０ｄに関して監視領域Ｐｄが設定される（Ｓ１０５）。

【0042】

このように４つ部品箱３０ａ～３０ｄのそれぞれに対して監視領域Ｐａ～Ｐｄが設定されると（図７（Ｂ）参照）、ｋ＝Ｎとなり、ステップＳ１０７にてＹｅｓと判定されて、ステップＳ１１１に示す設定完了報知処理がなされる。この処理では、発光部１５による発光状態やスピーカ１６による報音状態に応じて、作業者Ｍに対して、その製造ロットに関して全ての監視領域の設定が完了したことが報知される。なお、上記監視領域設定処理では、１つの監視領域が設定されるごとに、個別設定完了を示す報知を発光部１５やスピーカ１６を利用して行ってもよい。

【0043】

このように各監視領域の設定完了が報知されると、ステップＳ１１３に示す監視処理が開始される。この処理では、上述のように設定された各監視領域Ｐａ～Ｐｄに対して動態検出を行うことにより、各監視領域Ｐａ～Ｐｄがそれぞれ監視される。なお、上記動態検出を実行する制御部１１は、「検出部」の一例に相当し得る。

【0044】

本実施形態では、上記動態検出として、各監視領域Ｐａ～Ｐｄ内の時系列での変化を画像の差分を利用して観察する手法が採用されている。具体的には、上記監視処理では、撮像部１３で撮像された最新の撮像画像と、以前に撮像された他の撮像画像（例えば、直前に撮像された撮像画像）とを比較することにより、監視領域の動態検出が行われる。

【0045】

上記動態検出により、例えば、特開２０１８－１５６２７９号公報等に開示される手法を用いて、監視領域内に生じた変化が概ね手と判定できる程度の大きさであるか否かに基づいて作業者Ｍの手を検出したか否かが判定される。なお、上記動態検出による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定する制御部１１は、「判定部」の一例に相当し得る。

【0046】

例えば、各部品箱３０ａ～３０ｄの順にいずれかの角部に触れる動作をし終えた作業者Ｍが、実際に組み付け作業を開始するために、部品箱３０ａから部品２０ａを取り出した場合には、最新の撮像画像とその直前の撮像画像との差分に基づいて、監視領域Ｐａ内にて作業者Ｍの手が検出される。そして、読み込んだ上記作業手順情報の通りに、監視領域Ｐａ、監視領域Ｐｂ、監視領域Ｐｃ、監視領域Ｐｄの順に、作業者Ｍの手を検出した検出結果が得られると、正しい組み付け作業がなされたとして、判定結果として正常作業を示す報知がなされる。この正常報知としては、例えば、発光部１５による正解を意識させる緑色の点灯や、スピーカ１６による正解を意識させる『ピンポ～ン』といった音の発音等を採用することができる。この正常報知を受けた作業者Ｍは、正しい作業手順で部品を組み付けたことを認識することができる。なお、正常報知は、監視領域単位でなされてもよいし、全ての監視領域で上記作業手順情報の通りに作業者Ｍの手が検出されることでなされてもよい。

【0047】

一方、例えば、監視領域Ｐａにて作業者Ｍの手が検出された後に、監視領域Ｐｃにて作業者Ｍの手が検出されるように、誤った順序の監視領域にて作業者Ｍの手が検出されると、誤った組み付け作業がなされたとして、判定結果として異常作業を示す報知がなされる。この異常報知としては、例えば、発光部１５による異常を意識させる赤色の点灯や、スピーカ１６により『正しい部品を取って下さい』といった音の発音等を採用することができる。この異常報知を受けた作業者Ｍは、誤った作業手順で部品を取り出したことを直ちに認識することができる。

【0048】

以上説明したように、本実施形態に係る作業支援装置１０では、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域（Ｐａ～Ｐｄ）に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱（３０ａ～３０ｄ）からの部品（２０ａ～２０ｄ）の取り出しが検出される。この検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定されて、この判定結果が作業者Ｍに対して報知される。その際、監視領域設定処理にて、撮像部１３により撮像された撮像画像において、部品箱の周壁の上端（３３ａ～３３ｄ）における複数の角部（３４ａ～３４ｄ）のうち作業者Ｍの指Ｆが触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に上記起点に戻る境界線（Ｐａ～Ｐｄ）が検出され、当該境界線により囲われる多角形状の領域が監視領域として、部品箱ごとに設定される。

【0049】

そして、本実施形態に係る作業支援プログラムは、複数の部品箱（３０ａ～３０ｄ）に収容された部品（２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置１０の制御部１１に、撮像部１３の撮像範囲内にて部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定処理（Ｓ１０５）と、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しを検出する検出処理（Ｓ１１３）と、検出処理による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定する判定処理（Ｓ１１３）と、判定処理による判定結果を作業者に対して報知する報知処理（Ｓ１１３）と、を実行させるプログラムである。そして、監視領域設定処理は、撮像部１３により撮像された撮像画像において、部品箱の周壁３２の上端３３ａ～３３ｄにおける複数の角部３４ａ～３４ｄのうち作業者Ｍの指Ｆが触れている角部を起点に延伸して複数の交点にてそれぞれ曲がった後に上記起点に戻る境界線（Ｐａ～Ｐｄ）を検出し、当該境界線により囲われる多角形状の領域を監視領域として、部品箱ごとに設定する。

【0050】

これにより、作業開始前等に、作業者Ｍが部品箱の周壁の上端における１つの角部に指Ｆで触れるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者Ｍが画面を見ながらマウス操作等を行う必要もないので、作業者Ｍの入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者Ｍに作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0051】

特に、監視領域設定処理では、交点で曲がる方向を一方向に定めるようにして境界線（Ｐａ～Ｐｄ）が検出されるため、上述のような意図しない交点（Ｓｐ１）から上記一方向と異なる方向に曲がるように延伸する線を、隣の部品箱の周壁の上端に向けて曲がる線として除外することができる。

【0052】

［第２実施形態］
次に、第２実施形態に係る作業支援装置及び作業支援プログラムについて、図面を参照して説明する。
本第２実施形態では、監視領域を設定する際に１つの部品箱について複数の角部を停滞状態の指で触れる点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0053】

本実施形態では、１つの部品箱について複数の角部を停滞状態の指Ｆでそれぞれ触れることで、監視領域を設定するための境界線の検出精度を高めている。具体的には、上記監視領域設定処理では、停滞状態で指Ｆが触れた複数の角部のうちの１つを起点とし残りを交点の少なくとも一部とするように境界線を検出する。これにより、残りの指Ｆが停滞状態で触れた角部を交点として通過しないように元の起点に戻った境界線を誤検出された境界線と判断できるので、境界線の検出精度を高めることができる。例えば、部品箱３０ａに対して、角部３４ａ、角部３４ｃの順に停滞状態で指Ｆがそれぞれ触れた場合に、角部３４ａ（角部３４ｃ）を起点とする境界線が角部３４ｃ（角部３４ａ）に相当する位置を交点としない場合には、誤検出された境界線と判断することができる。

【0054】

また、停滞状態の指Ｆで触れている角部が何番目に検出すべき交点に相当する角部であるかを予め決めておくことでも、監視領域を設定するための境界線の検出精度を高めることができる。例えば、２番目に検出すべき交点に相当する角部に対して最初に停滞状態の指Ｆで触れた後に、起点となる角部に対して停滞状態の指Ｆで触れるように予め決めておく。そして、図９に例示するように、部品箱３０ａの角部３４ｃに対して最初に停滞状態の指Ｆで触れた後に、角部３４ａに対して停滞状態の指Ｆで触れることで、部品箱３０ａ内の部品２０ａによって意図しない交点Ｓｐ２が検出される場合でも、２番目の交点が角部３４ｃに相当する位置に設定されるため、交点Ｓｐ２にて曲がるように誤サーチがなされることもない。従って、監視領域を設定するための境界線の検出精度を高めることができる。なお、図９では、便宜上、部品箱３０ａを平面視して１つの部品２０ａを誇張した状態で図示している。

【0055】

［第３実施形態］
次に、第３実施形態に係る作業支援装置及び作業支援プログラムについて、図面を参照して説明する。
本第３実施形態では、監視領域設定処理において、境界線が所定の幅を有する環状部として検出される点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0056】

本実施形態では、部品箱の周壁の上端を、所定の幅を有する環状部として検出して、その環状部の内縁をサーチ対象とする。具体的には、部品箱３０ａの角部３４ａに対して停滞状態の指Ｆで触れている場合、上述したステップＳ２１３に示す起点検出処理では、図１０に示すように、上端３３ａの内縁３５ａに相当する線分と上端３３ｄの内縁３５ｄに相当する線分の交点Ｓｐａとみなされる点が起点として検出される。そして、上述したステップＳ２１５に示すサーチ対象設定処理では、まず、上端３３ａの内縁３５ａに相当する線分及びその先端となる交点Ｓｐｂがサーチ対象となる。そして、上述したステップＳ２２１のサーチ対象切り替え処理では、上端３３ｂの内縁３５ｂに相当する線分及びその先端となる交点Ｓｐｃ、上端３３ｃの内縁３５ｃに相当する線分及びその先端となる交点Ｓｐｄ、上端３３ｄの内縁３５ｄに相当する線分の順で、サーチ対象が切り替えられることとなる。なお、図１０では、便宜上、部品箱３０ａ，３０ｂを平面視して部品２０ａ，２０ｂを省略し、それぞれの上端の幅を誇張して状態で図示している。

【0057】

これにより、上述したステップＳ２２３に示す境界線等設定処理では、内縁３５ａ～３５ｄにより囲われる四角形状の領域が、部品箱３０ａの監視領域Ｐａとして設定される。このように、境界線が所定の幅を有する環状部として検出されて、当該環状部の内縁（３５ａ～３５ｄ）により囲われる多角形状の領域が監視領域として設定されることで、図１０からわかるように、環状部の外縁に連なる可能性がある隣の部品箱（３０ｂ）が監視領域（Ｐａ）の設定に関して影響することもないので、監視領域をより正確に設定することができる。

【0058】

［第４実施形態］
次に、第４実施形態に係る作業支援装置及び作業支援プログラムについて、図面を参照して説明する。
本第４実施形態では、監視領域設定処理において、部品箱の周壁の上端をなぞる作業者の指によって描かれる環状の軌跡に応じて監視領域が設定される点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0059】

本実施形態における監視領域設定処理では、撮像部１３により部品箱の周壁の上端をなぞる作業者Ｍの指Ｆによって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域が監視領域として設定される。すなわち、部品箱ごとに周壁の上端をなぞることで、監視領域をそれぞれ設定することができる。

【0060】

以下、本実施形態における監視領域設定処理について、図１１に示すフローチャートを参照して詳述する。
上記第１実施形態と同様に、部品箱の角部に触れた作業者Ｍの指Ｆの停滞時間が上記所定時間を経過することで（図１１のＳ２０９でＹｅｓ）、指Ｆが触れている角部が起点として検出されると（Ｓ２１３）、ステップＳ２２５に示す軌跡撮像処理がなされる。この処理では、停滞していた指が環状に移動したときにその移動の軌跡を撮像するための処理がなされる。

【0061】

そして、例えば、図１２に示すように、作業者Ｍが指Ｆを、部品箱３０ａの角部３４ａを起点に、上端３３ａ、角部３４ｂ、上端３３ｂ、角部３４ｃ、上端３３ｃ、角部３４ｄ、上端３３ｄ、角部３４ａの順になぞることで、環状の軌跡（Ｐａ）が撮像されると、この環状の軌跡により囲われる領域が監視領域Ｐａとして設定される。同様に、作業者Ｍが指Ｆにて、部品箱３０ｂの周壁の上端をなぞることで監視領域Ｐｂが設定され、部品箱３０ｃの周壁の上端をなぞることで監視領域Ｐｃが設定され、部品箱３０ｄの周壁の上端をなぞることで監視領域Ｐｄが設定される。なお、図１２では、便宜上、部品箱３０ａを平面視して部品２０ａを省略した状態で図示している。

【0062】

以上説明したように、本実施形態に係る作業支援装置１０では、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域（Ｐａ～Ｐｄ）に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱（３０ａ～３０ｄ）からの部品（２０ａ～２０ｄ）の取り出しが検出される。この検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定されて、この判定結果が作業者Ｍに対して報知される。その際、監視領域設定処理にて、撮像部１３により部品箱の周壁の上端（３３ａ～３３ｄ）をなぞる作業者Ｍの指Ｆによって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域が監視領域として、部品箱ごとに設定される。

【0063】

そして、本実施形態に係る作業支援プログラムは、複数の部品箱（３０ａ～３０ｄ）に収容された部品（２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置１０の制御部１１に、撮像部１３の撮像範囲内にて部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定処理（Ｓ１０５）と、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しを検出する検出処理（Ｓ１１３）と、検出処理による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定する判定処理（Ｓ１１３）と、判定処理による判定結果を作業者に対して報知する報知処理（Ｓ１１３）と、を実行させるプログラムである。そして、監視領域設定処理は、撮像部１３により部品箱の周壁の上端（３３ａ～３３ｄ）をなぞる作業者Ｍの指Ｆによって描かれる環状の軌跡が撮像されると、当該環状の軌跡により囲われる領域を監視領域として、部品箱ごとに設定する。

【0064】

これにより、作業開始前等に、作業者Ｍが部品箱の周壁の上端を指Ｆでなぞるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者が画面を見ながらマウス操作等を行う必要もないので、作業者Ｍの入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者Ｍに作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0065】

なお、本実施形態における監視領域設定処理では、作業者Ｍの指Ｆの停滞を検出することなく、作業者Ｍが指Ｆによって環状の軌跡が撮像されると、この環状の軌跡により囲われる領域を監視領域として設定してもよい。

【0066】

なお、本発明は上記各実施形態及びその変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）撮像部１３の撮像範囲内に配置されることで監視対象となる部品箱３０は、４つの部品箱３０ａ～３０ｄに限ることなく、１つ～３つの部品箱であってもよいし、５つ以上の部品箱であってもよい。また、部品箱３０は、撮像部１３の撮像範囲内において左右に並ぶように一列に配置されることに限らず、例えば、上段及び下段等の多段階で左右に並ぶように配置されてもよい。また、監視対象となる部品箱３０における周壁の上端は、４つの角部３４ａ～３４ｄを有するように四角環状に形成されることに限らず、例えば、台形状など、複数の角部を有するように多角環状に形成されてもよい。また、監視対象となる部品箱３０は、撮像画像から周壁の上端が環状の線又は所定の幅を有する環状部として認識され得る形状であれば、例えば、収容袋等のように、配置方法等によっては周壁の上端の形状等が変化するように構成されてもよい。

【0067】

（２）本発明は、プリント基板等のワークＷに対して所定の作業手順に従って部品を組み付ける際の作業支援に採用されることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して所定の作業手順に従って部品を組み付ける際の作業支援に採用されてもよい。

【符号の説明】

【0068】

１０…作業支援装置
１１…制御部（監視領域設定部，検出部，判定部）
１３…撮像部
１５…発光部（報知部）
１６…スピーカ（報知部）
２０，２０ａ～２０ｄ…部品
３０，３０ａ～３０ｄ…部品箱
３２…周壁
３３ａ～３３ｄ…上端
３４ａ～３４ｄ…角部
３５ａ～３５ｄ…内縁
Ｆ…指
Ｍ…作業者
Ｐａ～Ｐｄ…監視領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】