特許 7139989 作業支援装置及び作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-12

(45)【発行日】2022-09-21

(54)【発明の名称】作業支援装置及び作業支援プログラム

(51)【国際特許分類】

   G05B 19/418 20060101AFI20220913BHJP

【ＦＩ】

G05B19/418 Z

【請求項の数】 5

(21)【出願番号】P 2019024072

(22)【出願日】2019-02-14

(65)【公開番号】P2020135082

(43)【公開日】2020-08-31

【審査請求日】2021-09-29

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】小澤 諒

【審査官】石田 宏之

(56)【参考文献】

【文献】国際公開第２０１０／１２３１３８（ＷＯ，Ａ１）

【文献】特開２０１２－５６０７６（ＪＰ，Ａ）

【文献】特開２０１５－８９５８６（ＪＰ，Ａ）

【文献】特開２００６－３１１０９９（ＪＰ，Ａ）

【文献】特開２０１６－１８１２２０（ＪＰ，Ａ）

【文献】特開２０１８－１５６２７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

(57)【特許請求の範囲】

【請求項1】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置であって、
撮像部と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定部と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部と、
前記判定部による判定結果を作業者に対して報知する報知部と、
を備え、
前記監視領域設定部は、作業者によって前記部品箱が所定の移動状態で個々に移動された際に前記撮像部により撮像された撮像画像に基づいて、当該所定の移動状態で移動した前記部品箱に対応する前記監視領域を部品箱ごとに設定することを特徴とする作業支援装置。

【請求項2】

前記所定の移動状態は、前記部品箱が元の位置に戻されることを前提に繰り返される搖動状態であることを特徴とする請求項１に記載の作業支援装置。

【請求項3】

前記監視領域設定部は、前記撮像部により撮像された撮像画像のうち前記部品箱が元の位置に戻されることで停止したと判断される撮像画像と当該撮像画像の直前に撮像された他の撮像画像との比較結果に基づいて、前記監視領域を設定することを特徴とする請求項２に記載の作業支援装置。

【請求項4】

前記監視領域設定部により複数の前記監視領域が設定された後に、前記検出部により検出される前記部品の取り出し順番に基づいて、前記所定の作業手順を設定する作業手順設定部を備えることを特徴とする請求項１～３のいずれか一項に記載の作業支援装置。

【請求項5】

複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる作業を支援する作業支援装置の制御部に、
撮像部の撮像範囲内にて前記部品箱ごとに監視領域をそれぞれ設定する監視領域設定処理と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定処理により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出処理と、
前記検出処理による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定処理と、
前記判定処理による判定結果を作業者に対して報知する報知処理と、
を実行させる作業支援プログラムであって、
前記監視領域設定処理では、作業者によって前記部品箱が所定の移動状態で個々に移動された際に前記撮像部により撮像された画像に基づいて、当該所定の移動状態で移動した前記部品箱に対応する前記監視領域を部品箱ごとに設定することを特徴とする作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、予め定められている作業手順に従って行われる作業を支援する作業支援装置及び作業支援プログラムに関するものである。

【背景技術】

【0002】

従来、製造現場では、例えばプリント基板や製造途中の装置等に対して、手作業で部品を組み付ける組み付け作業等が行われることがある。このような作業は、予め定められている作業手順に従って行われるものの、一般的に複数の工程が含まれていること、また、組み付け作業であれば一般的に複数種類の部品を組み付けること等の理由により、部品を付け忘れたり取り違えたりする可能性がある。そのため、例えば、特許文献１では、部品箱側に重量センサ等の検出手段を設け、部品箱から取り出された部品が作業手順に適合したものであるか否かを判定することが提案されている。

【0003】

また、異なる製品に対して作業をする場合には組み付ける部品の種類や数等も異なるため、上述のような検出手段を部品箱側に設けると、部品の数に比例して設備コストが増加することに加えて、検出手段の設置や作業手順との対応付け等に多大な労力を要するという問題がある。この問題を解決するため、例えば、下記特許文献２に開示される作業支援装置が知られている。この作業支援装置では、撮像部の撮像範囲内に作業を監視する範囲となる監視領域を作業手順に応じて入力操作して設定し、撮像した画像の監視領域に該当する部分と当該画像よりも前の時点で撮像した他の画像における監視領域に該当する部分とを比較することにより、管理領域を対象として動態検出を行い、この動態検出の検出結果に基づいて作業手順に従って行われたか否かを判定し、その判定結果を作業者に対して報知している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２１１６２３号公報

【文献】特開２０１８－１５６２７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述した特許文献２に開示される作業支援装置では、各部品箱に対応する監視領域をそれぞれ設定する際、作業者は、撮像部で撮像した画像のうち部品箱の位置を確認しながらワイヤレスマウスを操作して画像中の部品箱を囲うように枠線を引く作業を行う必要がある。製造ロットごとに、部品箱の種類や個数だけでなく、部品箱の位置も変わる可能性があるために、監視領域を予め設定できないからである。そうすると、製造ロットごとに、作業者が画面を見ながらワイヤレスマウスを操作する作業が発生するため、監視領域を設定するための初期設定作業に時間がかかるだけでなく、作業者の操作ミス等により誤った監視領域が設定されてしまうという問題がある。

【0006】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、作業者に作業負担を強いることなく監視領域を容易かつ正確に設定可能な構成を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するため、特許請求の範囲の請求項１に記載の発明は、
複数の部品箱（３０，３０ａ～３０ｄ）に収容された部品（２０，２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置（１０）であって、
撮像部（１３）と、
前記撮像部の撮像範囲内にて前記部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定部（１１）と、
前記撮像部により撮像された撮像画像のうち前記監視領域設定部により設定された前記監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における前記監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する前記部品箱からの前記部品の取り出しを検出する検出部（１１）と、
前記検出部による検出結果に基づいて前記所定の作業手順に従う作業が行われているか否かについて判定する判定部（１１）と、
前記判定部による判定結果を作業者に対して報知する報知部（１５，１６）と、
を備え、
前記監視領域設定部は、作業者によって前記部品箱が所定の移動状態で個々に移動された際に前記撮像部により撮像された撮像画像に基づいて、当該所定の移動状態で移動した前記部品箱に対応する前記監視領域を部品箱ごとに設定することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0008】

請求項１の発明では、撮像部により撮像された撮像画像のうち監視領域設定部により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しが検出部により検出される。この検出部による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定部により判定されて、この判定結果が報知部により作業者に対して報知される。その際、監視領域設定部により、作業者によって部品箱が所定の移動状態で個々に移動された際に撮像部により撮像された撮像画像に基づいて、当該所定の移動状態で移動した部品箱に対応する監視領域が部品箱ごとに設定される。

【0009】

これにより、作業開始前等に、作業者が部品箱を所定の移動状態で個々に移動させるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者が画面を見ながらマウス操作等を行う必要もないので、作業者の入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者に作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0010】

請求項２の発明では、上記所定の移動状態は、部品箱が元の位置に戻されることを前提に繰り返される搖動状態であるため、部品箱の移動範囲が狭くなりやすく、撮像された撮像画像から部品箱が移動している領域を特定しやすくなるので、監視領域をより正確に設定することができる。

【0011】

請求項３の発明では、監視領域設定部により、撮像部により撮像された撮像画像のうち部品箱が元の位置に戻されることで停止したと判断される撮像画像と当該撮像画像の直前に撮像された他の撮像画像との比較結果に基づいて、監視領域が設定される。これにより、部品箱の停止直後の撮像画像と部品箱の停止直前の撮像画像との差分を利用して部品箱の位置を特定し、この特定された部品箱の位置に応じて監視領域を設定できるため、監視領域をより一層正確に設定できるだけでなく、部品箱の停止直後のタイミングで監視領域が設定されるので、監視領域を多数設定する場合でも、設定に要する時間を短縮して作業効率を高めることができる。

【0012】

請求項４の発明では、監視領域設定部により複数の監視領域が設定された後に、検出部により検出される部品の取り出し順番に基づいて、上記所定の作業手順を設定する作業手順設定部が設けられる。これにより、各監視領域の設定後に、実際に部品箱から部品を取り出すようにして正しい作業を行うことで、上記所定の作業手順を設定できるので、上位機器等から上記所定の作業手順を予め取得する作業等を不要とすることができる。

【0013】

請求項５の発明によれば、請求項１と同様の効果を奏する作業支援プログラムを実現できる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る作業支援装置の概略構成を示す説明図である。

【図2】各部品箱が撮像される撮像状態を説明する説明図である。

【図3】作業支援装置の電気的構成を例示するブロック図である。

【図4】第１実施形態において制御部にてなされる作業支援処理の流れを例示するフローチャートである。

【図5】図４の監視領域設定処理の流れを例示するフローチャートである。

【図6】部品箱の搖動状態を説明する説明図である。

【図7】図７（Ａ）は、部品箱３０ａが元の位置に戻されることで停止したと判断される撮像画像の撮像状態を説明する説明図であり、図７（Ｂ）は、図７（Ａ）の撮像画像の直前に撮像された他の撮像画像の撮像状態を説明する説明図である。

【図8】図８（Ａ）は、撮像画像において最初の監視領域が設定された状態を説明する説明図であり、図８（Ｂ）は、撮像画像において全ての監視領域が設定された状態を説明する説明図である。

【図9】第２実施形態において制御部にてなされる作業支援処理の流れを例示するフローチャートである。

【発明を実施するための形態】

【0015】

［第１実施形態］
以下、本発明に係る作業支援装置及び作業支援プログラムを具現化した第１実施形態について、図面を参照して説明する。
本実施形態に係る作業支援装置１０は、図１に例示するように、作業台１等に設けられており、作業者Ｍにより複数の部品箱に収容された部品を用いて所定の作業手順に従って行われる組み付け作業を支援する装置として構成されている。

【0016】

組み付け作業が行われる作業台１には、プリント基板や組み付け対象の装置等のワークＷが搬送されて配置される。この作業台１の棚２には、複数の部品箱３０が作業者Ｍから見て左右に並ぶように配置されており、各部品箱３０には、ワークＷに組み付けるための複数種類の部品２０がそれぞれ個別に貯留されている。本実施形態では、図２からわかるように、棚２上に４つの部品箱３０ａ～３０ｄが並んで配置され、部品箱３０ａに部品２０ａが収容され、部品箱３０ｂに部品２０ｂが収容され、部品箱３０ｃに部品２０ｃが収容され、部品箱３０ｄに部品２０ｄが収容されている。

【0017】

作業支援装置１０は、図１及び図３に示すように、制御部１１、記憶部１２、撮像部１３、表示部１４、発光部１５、スピーカ１６、操作部１７、通信部１８などを備えている。制御部１１は、マイコンを主体として構成されて、作業支援装置１０の全体的制御や各種演算を行うものであり、例えば後述する作業支援処理を実行するように機能する。記憶部１２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、作業支援処理を実行するためのアプリケーションプログラム（以下、作業支援プログラムともいう）や所定のデータベース等が、制御部１１により利用可能に予め格納されている。

【0018】

撮像部１３は、受光センサ（例えば、Ｃ－ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）を備えたカメラとして構成されている。本実施形態では、撮像部１３は、制御部１１や表示部１４等を備えた装置本体１０ａとは別体として構成されており、各部品箱３０ａ～３０ｄを少なくとも含む範囲を動画または静止画で撮像するように、作業台１の上部に配置されている。本実施形態では、撮像部１３は、例えば、３０フレーム／秒で連続静止画を撮像し、各撮像画像が制御部１１によって解析可能に記憶部１２に記憶されるように構成されている。

【0019】

表示部１４は、例えば、液晶ディスプレイであって、制御部１１により制御されて、撮像部１３により撮像された撮像画像や所定の情報等が表示されるように構成されている。この表示部１４の表示画面が作業者Ｍによって視認されるように、装置本体１０ａが作業台１の背板等に取り付けられている。

【0020】

発光部１５は、例えば、ＬＥＤであって、制御部１１により制御されて、発光色や点灯・点滅状態が制御されるように構成され、作業者Ｍによって視認容易な位置に配置されている。スピーカ１６は、公知のスピーカ等によって構成されており、制御部１１により制御されて、予め設定された音声やアラーム音等の各種通知音を放音するように構成されている。なお、発光部１５及びスピーカ１６は、「報知部」の一例に相当し得る。

【0021】

操作部１７は、入力操作に応じた操作信号を制御部１１に対して出力する構成をなしており、制御部１１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部１８は、上位機器等の外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部１１と協働して通信処理を行うように構成されている。

【0022】

次に、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を個々にワークＷに組み付ける組み付け作業が行われる際に、製造ロットごとに制御部１１にてよって実行される作業支援プログラムに基づいてなされる作業支援処理について、図４及び図５に示すフローチャートを参照して詳述する。なお、所定の作業手順として、ワークＷに対して、１番目に部品箱３０ａの部品２０ａが組み付けられ、２番目に部品箱３０ｂの部品２０ｂが組み付けられ、３番目に部品箱３０ｃの部品２０ｃが組み付けられ、４番目に部品箱３０ｄの部品２０ｄが組み付けられるように作業手順が予め決まっている場合を例に説明する。

【0023】

操作部１７に対して所定の操作がなされることで、制御部１１により作業支援処理が開始されると、まず、図４のステップＳ１０１に示す作業手順情報読込み処理がなされ、指定された製造ロットの上記所定の作業手順に関する情報（以下、作業手順情報ともいう）が記憶部１２から読み込まれる。本実施形態では、上記作業手順情報は、その製造ロットに関する作業手順等を記載した作業指示書等に付された情報コードや無線タグを読み取ることでその都度記憶部１２に記憶される。なお、上記作業手順情報は、例えば、操作部１７による入力操作等に応じて記憶部１２に記憶されてもよいし、予め、通信部１８を介して上位機器等から受信することで記憶部１２に記憶されてもよい。

【0024】

上述のように作業手順情報が読み込まれると、部品の組み付け順番（取り出し順番）を示すｋが１に設定された後（Ｓ１０３）、ステップＳ１０５に示す監視領域設定処理がなされる。この処理では、撮像部１３により撮像された撮像画像のうち、上記作業手順情報から特定される組み付け順番がｋ番目の部品の部品箱に相当する画像領域を、監視領域として設定するための処理がなされる。上述のように組み付け順番ｋが１に設定された直後では、１番目の部品２０ａの部品箱３０ａに相当する画像領域を、監視領域Ｐａとして設定するための処理がなされる。なお、上記監視領域設定処理を実行する制御部１１は、「監視領域設定部」の一例に相当し得る。

【0025】

本実施形態における監視領域設定処理では、撮像部１３による動画撮像中に、作業者Ｍが部品箱を所定の移動状態で移動させることで、その移動に応じて連続画像において生じた画像の差分に相当する領域が監視領域として設定されて登録される。本実施形態では、上記所定の移動状態として、差分特定に関して部品箱の移動範囲を狭くするため、図６に示すように、他の部品箱に干渉しないように作業者Ｍから見て前後方向に繰り返し搖動させる移動状態（以下、単に、搖動状態ともいう）が採用されている。なお、図６及び後述する図７では、図２の撮像状態と異なり、各部品箱を上方から平面視した状態で示しており、便宜上、各部品箱に収容される部品を省略して図示している。

【0026】

以下、上記監視領域設定処理について、図５に示すフローチャートを参照して具体的に詳述する。
まず、撮像部１３により撮像可能な状態になると（図５のＳ２０１）、ステップＳ２０３の判定処理にて、設定開始指示がなされたか否かについて判定される。本実施形態では、上記設定開始指示として、例えば、作業者Ｍによる所定のジェスチャーが設定されている。このため、作業者Ｍが撮像部１３の撮像範囲内にて所定のジェスチャーを行うことで、この所定のジェスチャーが撮像部１３により撮像されると、設定開始指示があったとして、ステップＳ２０３にてＹｅｓと判定される。なお、上記所定のジェスチャーとして、例えば、少なくとも一部の部品箱を所定の状態に移動（搖動）させる動作が採用されてもよいし、作業指示書等に表示される情報コードや所定形状のマーカ等を撮像部１３に撮像させる動作が採用されてもよい。

【0027】

次に、ステップＳ２０５に示す連続画像取得処理がなされ、所定時間の動画に相当する連続画像が撮像される。続いて、ステップＳ２０７に示す画像比較処理がなされ、上述のように取得された連続画像において、１又は数フレーム前後の撮像画像を比較して、画像の差分を構成する領域（以下、単に、差分領域ともいう）を抽出するための処理がなされる。そして、ステップＳ２０９の判定処理にて、所定範囲以上の差分領域が生じているか否かについて判定され、所定範囲以上の差分領域が生じるまで、Ｎｏと判定されて、上記ステップＳ２０５からの処理が繰り返される。

【0028】

そして、所定範囲以上の差分領域が生じていることからステップＳ２０９にてＹｅｓと判定されると、ステップＳ２１１に示す手領域取得処理がなされる。この処理では、差分が生じた撮像画像に概ね手と判定できる程度の形状及び大きさの領域が含まれていると、この領域が手領域として取得される。

【0029】

続いて、ステップＳ２１３の判定処理にて、作業者Ｍが部品箱を所定の移動状態で移動させているか否かについて判定される。作業者Ｍが把持した部品箱を搖動状態で移動させている場合には、上述のように取得された手領域と部品箱に相当する他の差分領域とが隣接して連なることから、手領域と他の差分領域とが隣接していない場合には、部品箱が移動していないとして、ステップＳ２１３にてＮｏと判定されて、上記ステップＳ２０５からの処理が繰り返される。また、手領域が取得されない場合にも、ステップＳ２１３にてＮｏと判定されて、上記ステップＳ２０５からの処理が繰り返される。

【0030】

一方、組み付け順番ｋが１に設定された後に、作業者Ｍにより把持された１番目の部品２０ａを収容した部品箱３０ａが搖動状態になっていると（図６参照）、取得された連続画像において、部品箱３０ａを把持する手の部分と部品箱３０ａに相当する部分とに差分領域が生じることとなる。このため、作業者Ｍの部品箱３０ａを把持する手の手領域が取得され、この取得された手領域と部品箱３０ａを撮像した部分に相当する他の差分領域とが隣接するため、作業者Ｍが部品箱を所定の移動状態で移動させているとして、ステップＳ２１３にてＹｅｓと判定される。

【0031】

この場合には、ステップＳ２１５に示す監視領域記憶処理がなされ、手領域を除いた差分領域に対して作業者Ｍの手が把持している部分と推定される領域を加えた領域が部品箱３０ａの監視領域Ｐａとして設定されて記憶部１２に記憶される（図８（Ａ）参照）。この処理では、上記連続画像のうち部品箱が元の位置に戻されることで停止したと判断される撮像画像（図７（Ａ）の状態で撮像された撮像画像）と当該撮像画像の直前に撮像された他の撮像画像（図７（Ｂ）の状態で撮像された撮像画像）との比較結果を利用することで、監視領域を正確に設定することができる。

【0032】

上述のように１番目の部品２０ａを収容した部品箱３０ａに関して監視領域Ｐａが設定されることで監視領域設定処理が終了すると、ステップＳ１０７の判定処理にて、組み付け順番ｋが、上記作業手順情報から特定される部品箱の総数Ｎに一致するか否かについて判定される。上述の例では、総数Ｎは４に設定されるため、上記ステップＳ１０７にてＮｏと判定されて、組み付け順番ｋが１つ増えるようにインクリメントされた後に（Ｓ１０９）、上記ステップＳ１０５の処理がなされる。上述のように１番目の部品２０ａを収容した部品箱３０ａに関して監視領域が設定された後では、ｋ＝２に設定されるため、２番目の部品２０ｂを収容した部品箱３０ｂに関して監視領域を設定するための処理が開始される。同様にして、２番目の部品２０ｂを収容した部品箱３０ｂを搖動させることで、この部品箱３０ｂに関して監視領域Ｐｂが設定される。その後、ｋ＝Ｎでないことから（Ｓ１０７でＮｏ）、ｋ＝３に設定された後に（Ｓ１０９）、３番目の部品２０ｃを収容した部品箱３０ｃを搖動させることで、この部品箱３０ｃに関して監視領域Ｐｃが設定される（Ｓ１０５）。その後も、ｋ＝Ｎでないことから（Ｓ１０７でＮｏ）、ｋ＝４に設定された後に（Ｓ１０９）、４番目の部品２０ｄを収容した部品箱３０ｄを搖動させることで、この部品箱３０ｄに関して監視領域Ｐｄが設定される（Ｓ１０５）。

【0033】

このように４つ部品箱３０ａ～３０ｄのそれぞれに対して監視領域Ｐａ～Ｐｄが設定されると（図８（Ｂ）参照）、ｋ＝Ｎとなり、ステップＳ１０７にてＹｅｓと判定されて、ステップＳ１１１に示す設定完了報知処理がなされる。この処理では、発光部１５による発光状態やスピーカ１６による報音状態に応じて、作業者Ｍに対して、その製造ロットに関して全ての監視領域の設定が完了したことが報知される。なお、上記監視領域設定処理では、１つの監視領域が設定されるごとに、個別設定完了を示す報知を発光部１５やスピーカ１６を利用して行ってもよい。

【0034】

このように各監視領域の設定完了が報知されると、ステップＳ１１３に示す監視処理が開始される。この処理では、上述のように設定された各監視領域Ｐａ～Ｐｄに対して動態検出を行うことにより、各監視領域Ｐａ～Ｐｄがそれぞれ監視される。なお、上記動態検出を実行する制御部１１は、「検出部」の一例に相当し得る。

【0035】

本実施形態では、上記動態検出として、上述した監視領域設定処理と同様に、各監視領域Ｐａ～Ｐｄ内の時系列での変化を画像の差分を利用して観察する手法が採用されている。具体的には、上記監視処理では、撮像部１３で撮像された最新の撮像画像と、以前に撮像された他の撮像画像（例えば、直前に撮像された撮像画像）とを比較することにより、監視領域の動態検出が行われる。

【0036】

上記動態検出により、例えば、特開２０１８－１５６２７９号公報等に開示される手法を用いて、監視領域内に生じた変化が概ね手と判定できる程度の大きさであるか否かに基づいて作業者Ｍの手を検出したか否かが判定される。なお、上記動態検出による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定する制御部１１は、「判定部」の一例に相当し得る。

【0037】

例えば、各部品箱３０ａ～３０ｄを搖動し終えた作業者Ｍが、実際に組み付け作業を開始するために、部品箱３０ａから部品２０ａを取り出した場合には、最新の撮像画像とその直前の撮像画像との差分に基づいて、監視領域Ｐａ内にて作業者Ｍの手が検出される。そして、読み込んだ上記作業手順情報の通りに、監視領域Ｐａ、監視領域Ｐｂ、監視領域Ｐｃ、監視領域Ｐｄの順に、作業者Ｍの手を検出した検出結果が得られると、正しい組み付け作業がなされたとして、判定結果として正常作業を示す報知がなされる。この正常報知としては、例えば、発光部１５による正解を意識させる緑色の点灯や、スピーカ１６による正解を意識させる『ピンポ～ン』といった音の発音等を採用することができる。この正常報知を受けた作業者Ｍは、正しい作業手順で部品を組み付けたことを認識することができる。なお、正常報知は、監視領域単位でなされてもよいし、全ての監視領域で上記作業手順情報の通りに作業者Ｍの手が検出されることでなされてもよい。

【0038】

一方、例えば、監視領域Ｐａにて作業者Ｍの手が検出された後に、監視領域Ｐｃにて作業者Ｍの手が検出されるように、誤った順序の監視領域にて作業者Ｍの手が検出されると、誤った組み付け作業がなされたとして、判定結果として異常作業を示す報知がなされる。この異常報知としては、例えば、発光部１５による異常を意識させる赤色の点灯や、スピーカ１６により『正しい部品を取って下さい』といった音の発音等を採用することができる。この異常報知を受けた作業者Ｍは、誤った作業手順で部品を取り出したことを直ちに認識することができる。

【0039】

以上説明したように、本実施形態に係る作業支援装置１０では、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域（Ｐａ～Ｐｄ）に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱（３０ａ～３０ｄ）からの部品（２０ａ～２０ｄ）の取り出しが検出される。この検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定されて、この判定結果が作業者Ｍに対して報知される。その際、監視領域設定処理により、作業者Ｍによって部品箱が所定の移動状態で個々に移動された際に撮像部１３により撮像された撮像画像に基づいて、当該所定の移動状態で移動した部品箱に対応する監視領域が部品箱ごとに設定される。

【0040】

そして、本実施形態に係る作業支援プログラムは、複数の部品箱（３０ａ～３０ｄ）に収容された部品（２０ａ～２０ｄ）を用いて所定の作業手順に従って行われる作業を支援する作業支援装置１０の制御部１１に、撮像部１３の撮像範囲内にて部品箱ごとに監視領域（Ｐａ～Ｐｄ）をそれぞれ設定する監視領域設定処理（Ｓ１０５）と、撮像部１３により撮像された撮像画像のうち監視領域設定処理により設定された監視領域に該当する部分と当該撮像画像よりも前の時点で撮像された他の撮像画像における監視領域に該当する部分との比較結果に基づいて、当該監視領域に対応する部品箱からの部品の取り出しを検出する検出処理（Ｓ１１３）と、検出処理による検出結果に基づいて所定の作業手順に従う作業が行われているか否かについて判定する判定処理（Ｓ１１３）と、判定処理による判定結果を作業者に対して報知する報知処理（Ｓ１１３）と、を実行させるプログラムである。そして、監視領域設定処理では、作業者によって部品箱が所定の移動状態で個々に移動された際に撮像部により撮像された画像に基づいて、当該所定の移動状態で移動した部品箱に対応する監視領域を部品箱ごとに設定する。

【0041】

これにより、作業開始前等に、作業者Ｍが部品箱を所定の移動状態で個々に移動させるだけで、部品箱ごとに監視領域を容易に設定することができる。特に、作業者Ｍが画面を見ながらマウス操作等を行う必要もないので、作業者Ｍの入力操作ミス等に起因して誤った監視領域が設定されることもない。したがって、作業者Ｍに作業負担を強いることなく監視領域を容易かつ正確に設定することができる。

【0042】

さらに、上記所定の移動状態は、部品箱が元の位置に戻されることを前提に繰り返される搖動状態であるため、部品箱の移動範囲が狭くなりやすく、撮像された撮像画像から部品箱が移動している領域を特定しやすくなるので、監視領域をより正確に設定することができる。

【0043】

特に、監視領域設定処理により、撮像部１３により撮像された撮像画像のうち部品箱が元の位置に戻されることで停止したと判断される撮像画像（図７（Ａ）参照）と当該撮像画像の直前に撮像された他の撮像画像（図７（Ｂ）参照）との比較結果に基づいて、監視領域が設定される。これにより、部品箱の停止直後の撮像画像と部品箱の停止直前の撮像画像との差分を利用して部品箱の位置を特定し、この特定された部品箱の位置に応じて監視領域を設定できるため、監視領域をより一層正確に設定できるだけでなく、部品箱の停止直後のタイミングで監視領域が設定されるので、監視領域を多数設定する場合でも、設定に要する時間を短縮して作業効率を高めることができる。

【0044】

［第２実施形態］
次に、第２実施形態に係る作業支援装置及び作業支援プログラムについて、図面を参照して説明する。
本第２実施形態では、監視基準となる所定の作業手順（作業手順情報）を予め取得することなく作業者の作業に応じて設定する点が、上記第１実施形態と主に異なる。したがって、第１実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。

【0045】

上記第１実施形態では、作業支援処理の開始時に作業手順情報を読み込むため、作業指示書等に付された情報コードを読み取る作業や上位機器等から上記作業手順情報を取得する作業が必要になる。そこで、本実施形態では、作業支援処理において、作業者Ｍの作業負担をさらに減らすため、作業手順情報を予め取得することなく、作業者Ｍによる実際の作業に応じて所定の作業手順を設定する。

【0046】

以下、本実施形態において、作業者Ｍにより、所定の作業手順に従って、複数の部品箱に収容された部品を個々にワークＷに組み付ける組み付け作業が行われる際に、製造ロットごとに制御部１１にてよって実行される作業支援プログラムに基づいてなされる作業支援処理について、図９に示すフローチャートを参照して詳述する。

【0047】

操作部１７に対して所定の操作がなされることで、制御部１１により作業支援処理が開始されると、まず、撮像部１３により撮像可能な状態になり（図９のＳ３０１）、ステップＳ３０３の判定処理にて、設定開始指示がなされたか否かについて判定される。そして、上記所定のジェスチャーが撮像部１３により撮像されると、設定開始指示があったとして（Ｓ３０３でＹｅｓ）、組み付け順番ｋが１に設定される（Ｓ３０５）。

【0048】

次に、ステップＳ３０７に示す連続画像取得処理がなされ、所定時間の動画に相当する連続画像が撮像される。続いて、ステップＳ３０９に示す画像比較処理がなされ、上述のように取得された連続画像において、１又は数フレーム前後の撮像画像を比較した差分領域を抽出するための処理がなされる。そして、所定範囲以上の差分領域が生じていると（Ｓ３１１でＹｅｓ）、ステップＳ３１３に示す手領域取得処理がなされ、差分が生じた撮像画像に概ね手と判定できる程度の形状及び大きさの領域が含まれていると、この領域が手領域として取得される。

【0049】

続いて、ステップＳ３１５の判定処理にて、上述のように取得された手領域と部品箱に相当する他の差分領域とが隣接していないと判定される場合には、Ｎｏと判定されて、上記ステップＳ３０７からの処理が繰り返される。一方、組み付け順番ｋが１に設定された後に、作業者Ｍにより把持された１番目の部品２０ａを収容した部品箱３０ａが搖動状態になっていると、取得された手領域と部品箱３０ａを撮像した部分に相当する他の差分領域とが隣接するため、作業者Ｍが部品箱を所定の移動状態で移動させているとして、ステップＳ３１５にてＹｅｓと判定される。

【0050】

この場合には、ステップＳ３１７に示す監視領域記憶処理がなされ、上記ステップＳ２１５の監視領域記憶処理と同様に、手領域を除いた差分領域に対して作業者Ｍの手が把持している部分と推定される領域を加えた領域が部品箱３０ａの監視領域Ｐａとして設定されて記憶部１２に記憶される。

【0051】

続いて、ステップＳ３１９の判定処理にて、その製造ロットにおいて用いられる全ての部品箱が作業者Ｍによって所定の移動状態にて移動させられたか否かについて判定される。本実施形態では、作業者Ｍが各部品箱を個別に搖動させ終えた後に、作業支援装置１０に対して行う所定の終了ジェスチャーが設定されており、この所定の終了ジェスチャーが撮像部１３にて撮像されない場合には、ステップＳ３１９にてＮｏと判定されて、組み付け順番ｋが１つ増えるようにインクリメントされた後に（Ｓ３２１）、上記ステップＳ３０７からの処理が繰り返される。なお、本実施形態では、上記ステップＳ３０７からの繰り返し処理等が、監視領域設定処理に相当し得る。

【0052】

そして、最後の部品箱を搖動させた後に、作業者Ｍが撮像部１３の撮像範囲内にて上記所定の終了ジェスチャーを行うことで、この所定の終了ジェスチャーが撮像部１３により撮像されると、全ての部品箱が所定の移動状態にて移動させられたとして、ステップＳ３１９にてＹｅｓと判定される。この場合には、ステップＳ３２３に示す設定完了報知処理がなされ、上記ステップＳ１１１の設定完了報知処理と同様に、発光部１５による発光状態やスピーカ１６による報音状態に応じて、作業者Ｍに対して、その製造ロットに関して全ての監視領域の設定が完了したことが報知される。なお、上記所定の終了ジェスチャーとして、例えば、作業指示書等に表示される情報コードや所定形状のマーカ等を撮像部１３に撮像させる動作が採用されてもよい。また、上記ステップＳ３１９の判定処理では、例えば、作業者Ｍが各部品箱を個別に搖動させ終えた後の経過時間を考慮することで、最後に差分領域を検出してから所定時間が経過すると、作業者Ｍが各部品箱を個別に搖動させ終えたとして、Ｙｅｓと判定されてもよい。

【0053】

上述のように各監視領域の設定完了が報知されると、ステップＳ３２５に示す作業手順設定処理がなされる。この処理では、上記報知後になされる作業者Ｍによる実際の組み付け作業時に、部品の取り出しを上記動態検出に応じて検出し、この検出される部品の取り出し順番に基づいて、作業手順が設定される。上述のように作業手順が決まっている場合には、作業者Ｍが正しい手順で各部品箱から部品を取り出して組み付け作業を行う際に、部品箱３０ａ、部品箱３０ｂ、部品箱３０ｃ、部品箱３０ｄの順で部品が取り出される状態が繰り返される。このため、この繰り返し順を上記動態検出に応じて検出することで、正しい作業手順を認識して作業基準となる作業手順を設定することができる。なお、上記作業手順設定処理を実行する制御部１１は、「作業手順設定部」の一例に相当し得る。

【0054】

上述のように作業手順が設定されると、ステップＳ３２７に示す監視処理が開始される。この処理では、上記ステップＳ１１３の監視処理と同様に、上述のように設定された各監視領域Ｐａ～Ｐｄに対して動態検出を行うことにより、各監視領域Ｐａ～Ｐｄがそれぞれ監視される。

【0055】

以上説明したように、本実施形態に係る作業支援装置１０では、監視領域設定処理により複数の監視領域（Ｐａ～Ｐｄ）が設定された後に、上記動態検出に応じて検出される部品（２０ａ～２０ｄ）の取り出し順番に基づいて、制御部１１にてなされる作業手順設定処理（Ｓ３２５）により、上記所定の作業手順が設定される。

【0056】

これにより、各監視領域の設定後に、作業者Ｍが実際に部品箱から部品を取り出すようにして正しい組み付け作業を行うことで、上記所定の作業手順を自動的に設定できるので、作業指示書等に付された情報コードを読み取る作業や上位機器等から上記作業手順情報を予め取得する作業等を不要とすることができる。

【0057】

なお、各監視領域を設定する際に、正しい作業手順の順番で各部品箱を搖動させることで、制御部１１にて正しい作業手順を把握できるので、このようにして正しい作業手順が把握される場合には、上記ステップＳ３２５の作業手順設定処理を省略してもよい。

【0058】

なお、本発明は上記各実施形態及びその変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）撮像部１３の撮像範囲内に配置されることで監視対象となる部品箱３０は、４つの部品箱３０ａ～３０ｄに限ることなく、１つ～３つの部品箱であってもよいし、５つ以上の部品箱であってもよい。また、部品箱３０は、撮像部１３の撮像範囲内において左右に並ぶように一列に配置されることに限らず、例えば、上段及び下段等の多段階で左右に並ぶように配置されてもよい。また、監視対象となる部品箱３０は、開口縁が長方形状となるように形成されることに限らず、例えば、開口縁が台形状となるように形成されてもよいし、開口縁の一部が湾曲するように形成されてもよい。また、監視対象となる部品箱３０は、例えば、収容袋等のように、配置方法等によっては開口縁の形状等が変化するように構成されてもよい。

【0059】

（２）上述した監視領域設定処理では、上記所定の移動状態として、搖動状態が採用されることに限らず、画像の差分を取得し易い移動状態、例えば、部品箱を持ち上げる状態等が採用されてもよい。

【0060】

（３）本発明は、プリント基板等のワークＷに対して所定の作業手順に従って部品を組み付ける際の作業支援に採用されることに限らず、例えば、多品種少量生産品の組み付けラインにおいて半完成品に対して所定の作業手順に従って部品を組み付ける際の作業支援に採用されてもよい。

【符号の説明】

【0061】

１０…作業支援装置
１１…制御部（監視領域設定部，検出部，判定部，作業手順設定部）
１３…撮像部
１５…発光部（報知部）
１６…スピーカ（報知部）
２０，２０ａ～２０ｄ…部品
３０，３０ａ～３０ｄ…部品箱
Ｐａ～Ｐｄ…監視領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】