特許 7340792 作業表示方法、及び、作業表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-31

(45)【発行日】2023-09-08

(54)【発明の名称】作業表示方法、及び、作業表示装置

(51)【国際特許分類】

   G06Q 50/04 20120101AFI20230901BHJP

   G06T 7/20 20170101ALI20230901BHJP

【ＦＩ】

G06Q50/04

G06T7/20 300Z

【請求項の数】 8

(21)【出願番号】P 2019201839

(22)【出願日】2019-11-06

(65)【公開番号】P2021076990

(43)【公開日】2021-05-20

【審査請求日】2022-09-26

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】村上 奈央子

(72)【発明者】

【氏名】國分 和彦

【審査官】石田 紀之

(56)【参考文献】

【文献】特開２０１６－２２１６７１（ＪＰ，Ａ）

【文献】特開２００２－２６１５００（ＪＰ，Ａ）

【文献】特開２０１３－２５４７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３４１４５４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

第１領域に第１部品が装着され、かつ、前記第１領域と異なる第２領域には前記第１部品が装着されない作業である第１作業と、前記第２領域に第２部品が装着され、かつ、前記第１領域には前記第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示方法であって、
前記第１作業における第１作業内容を表示するための第１表示ステップと、前記第２作業における第２作業内容を表示するための第２表示ステップとを含み、
前記第１表示ステップでは、
前記第１領域における前記第１部品の検出を有効とし、かつ、前記第２領域における前記第２部品の検出を無効とし、
センサ部から取得されたセンシング結果に基づいて前記第１領域において前記第１部品が検出された場合に、前記第１作業が正常に行われたことを示す情報を前記第１作業内容として表示装置に出力し、
前記第２表示ステップでは、
前記第２領域における前記第２部品の検出を有効とし、かつ、前記第１領域における前記第１部品の検出を無効とし、
前記センサ部から取得されたセンシング結果に基づいて前記第２領域において前記第２部品が検出された場合に、前記第２作業が正常に行われたことを示す情報を前記第２作業内容として前記表示装置に出力する、
作業表示方法。

【請求項2】

前記第１領域及び前記第２領域と異なる第３領域であって、前記第１作業において前記第１部品の装着が禁止されている第３領域を含み、
前記第１表示ステップでは、さらに、
前記第３領域における第１部品の検出を有効とし、
前記センサ部から取得されたセンシング結果に基づいて前記第３領域において前記第１部品が検出されていない場合に、前記第１作業が正常に行われたことを示す情報を前記第１作業内容として前記表示装置に出力する、
請求項１に記載の作業表示方法。

【請求項3】

前記第１表示ステップでは、さらに、前記第３領域において前記第１部品が検出された場合に、前記第１作業が正常に行われなかったことを示す情報を前記第１作業内容として前記表示装置に出力する、
請求項２に記載の作業表示方法。

【請求項4】

前記センサ部は、前記センシング結果として前記第１領域及び前記第２領域を含む画像を撮影する撮像装置を有する、
請求項１～３のいずれか１項に記載の作業表示方法。

【請求項5】

前記画像は、前記第１領域及び前記第２領域における色に関する情報を含む、
請求項４に記載の作業表示方法。

【請求項6】

前記色に関する情報は、前記第１作業及び前記第２作業の少なくとも一方において用いられる部品の色を含む、
請求項５に記載の作業表示方法。

【請求項7】

前記第２作業は、前記第１作業の後に続けて行われる作業であり、
前記第１表示ステップでは、さらに、前記表示装置に前記第１作業を行うための画像を表示し、
前記第２表示ステップでは、さらに、前記第１表示ステップにおいて、前記第１部品が前記第１領域で検出された場合、前記表示装置に前記第２作業を行うための画像を表示する、
請求項１～６のいずれか１項に記載の作業表示方法。

【請求項8】

第１領域に第１部品が装着され、かつ、前記第１領域と異なる第２領域には前記第１部品が装着されない作業である第１作業と、前記第２領域に第２部品が装着され、かつ、前記第１領域には前記第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示装置であって、
前記第１作業が行われる場合に、前記第１領域における前記第１部品の検出を有効とし、かつ、前記第２領域における前記第２部品の検出を無効とし、かつ、前記第２作業が行われる場合に、前記第２領域における前記第２部品の検出を有効とし、かつ、前記第１領域における前記第１部品の検出を無効とする制御部と、
前記第１作業が行われる場合に、センサ部から取得されたセンシング結果に基づいて前記第１領域において前記第１部品が検出されたときに、前記第１作業が正常に行われたことを示す情報を第１作業内容として表示装置に出力し、かつ、前記第２作業が行われる場合に、前記センサ部から取得されたセンシング結果に基づいて前記第２領域において前記第２部品が検出されたときに、前記第２作業が正常に行われたことを示す情報を第２作業内容として前記表示装置に出力する出力部とを備える、
作業表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業表示方法、及び、作業表示装置に関する。

【背景技術】

【0002】

従来、工場などにおいて組立作業を行う作業者の組み立て誤りを検出することが検討されている。特許文献１には、カメラで撮影された画像に基づいて作業者の手の位置を検出することで、作業者が複数ある部品載置部のうち正しい部品載置部から部品を採取したか否かを判定する生産システム（作業表示システム）が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－４５６６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、このような生産システムにおいては、判定処理における処理負担が軽減され、かつ、誤検出が抑制されることが望まれる。

【0005】

そこで、本発明は、判定処理における処理負担を軽減しつつ、誤検出を抑制することができる作業表示方法、及び、作業表示装置を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る作業表示方法は、第１領域に第１部品が装着され、かつ、前記第１領域と異なる第２領域には前記第１部品が装着されない作業である第１作業と、前記第２領域に第２部品が装着され、かつ、前記第１領域には前記第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示方法であって、前記第１作業における第１作業内容を表示するための第１表示ステップと、前記第２作業における第２作業内容を表示するための第２表示ステップとを含み、前記第１表示ステップでは、前記第１領域における前記第１部品の検出を有効とし、かつ、前記第２領域における前記第２部品の検出を無効とし、センサ部から取得されたセンシング結果に基づいて前記第１領域において前記第１部品が検出された場合に、前記第１作業が正常に行われたことを示す情報を前記第１作業内容として表示装置に出力し、前記第２表示ステップでは、前記第２領域における前記第２部品の検出を有効とし、かつ、前記第１領域における前記第１部品の検出を無効とし、前記センサ部から取得されたセンシング結果に基づいて前記第２領域において前記第２部品が検出された場合に、前記第２作業が正常に行われたことを示す情報を前記第２作業内容として前記表示装置に出力する。

【0007】

また、本発明の一態様に係る作業表示装置は、第１領域に第１部品が装着され、かつ、前記第１領域と異なる第２領域には前記第１部品が装着されない作業である第１作業と、前記第２領域に第２部品が装着され、かつ、前記第１領域には前記第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示装置であって、前記第１作業が行われる場合に、前記第１領域における前記第１部品の検出を有効とし、かつ、前記第２領域における前記第２部品の検出を無効とし、かつ、前記第２作業が行われる場合に、前記第２領域における前記第２部品の検出を有効とし、かつ、前記第１領域における前記第１部品の検出を無効とする制御部と、前記第１作業が行われる場合に、センサ部から取得されたセンシング結果に基づいて前記第１領域において前記第１部品が検出されたときに、前記第１作業が正常に行われたことを示す情報を第１作業内容として表示装置に出力し、かつ、前記第２作業が行われる場合に、前記センサ部から取得されたセンシング結果に基づいて前記第２領域において前記第２部品が検出されたときに、前記第２作業が正常に行われたことを示す情報を第２作業内容として前記表示装置に出力する出力部とを備える。

【0008】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0009】

本発明の一態様に係る作業表示方法等によれば、判定処理における処理負担を軽減しつつ、誤検出を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態に係る作業指示システムの機能構成を示すブロック図である。

【図2A】図２Ａは、作業用テーブルの一例を示す図である。

【図2B】図２Ｂは、検出用テーブルの一例を示す図である。

【図3】図３は、実施の形態に係る検出領域を示す模式図である。

【図4A】図４Ａは、実施の形態に係る作業指示装置の基本動作を説明するための第１図である。

【図4B】図４Ｂは、実施の形態に係る作業指示装置の基本動作を説明するための第２図である。

【図4C】図４Ｃは、実施の形態に係る作業指示装置の基本動作を説明するための第３図である。

【図4D】図４Ｄは、実施の形態に係る作業指示装置の基本動作を説明するための第４図である。

【図5】図５は、実施の形態に係る作業指示システムの動作を示すシーケンス図である。

【図6】図６は、実施の形態に係る作業指示装置の動作を示すフローチャートである。

【図7A】図７Ａは、第１領域の第１部品の検出が有効となっている様子を示す図である。

【図7B】図７Ｂは、第２領域の第２部品の検出が有効となっている様子を示す図である。

【図8】図８は、実施の形態の変形例１に係る作業指示装置の動作を示すフローチャートである。

【図9】図９は、作業１に対応する禁止領域が有効となっている様子を示す図である。

【図10】図１０は、実施の形態の変形例２に係る作業指示装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程（ステップ）、工程（ステップ）の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0012】

また、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0013】

（実施の形態）
［１．作業指示システムの構成］
まず、実施の形態に係る作業指示システムの構成について、図１～図３を用いて説明する。図１は、実施の形態に係る作業指示システム１の機能構成を示すブロック図である。

【0014】

図１に示すように、作業指示システム１は、作業指示装置１０と、第１ドライバ２０と、第２ドライバ３０と、撮像装置４０と、表示装置７０とを備える。以下では、作業指示システム１は、２つの工具（第１ドライバ２０及び第２ドライバ３０）を備える例について説明するが、これに限定されない。なお、以降において、第１ドライバ２０及び第２ドライバ３０を区別しない場合、単にドライバとも記載する。なお、作業指示システム１は、作業表示システムの一例である。

【0015】

作業指示装置１０は、作業ミスの防止と習熟支援、作業時間の遵守、作業の改善、及び、作業ミスの通知等を可能にするためのサーバ装置である。作業指示装置１０の基本動作等については、後述する。本実施の形態に係る作業指示装置１０は、例えば、組立作業等において一人で複数の作業を受け持たせる一人組立作業を行う作業者に対して、作業指示及び作業間違いの検出等を行う。なお、作業者が行う作業は、例えば、工具（例えば、ドライバ）を用いる作業と、工具を用いない作業とを含む。工具を用いない作業は、複数の作業のいずれかで使用される工具の全てを用いない作業である。工具を用いない作業は、手作業による作業を含み、例えば、ワッシャを挿入する作業、クリップを締める作業、及び、検査作業などである。なお、作業指示装置１０は、作業者が行う作業における作業内容を表示装置７０に表示するための作業表示装置の一例である。

【0016】

作業指示装置１０は、通信部１１と、制御部１２と、記憶部１３とを有する。

【0017】

通信部１１は、作業指示システム１が備える各種装置と無線通信又は有線通信を介して通信可能に接続される通信インターフェースである。通信部１１は、例えば、制御部１２によって生成された撮像部６０を制御するための制御情報を撮像装置４０に出力する。また、通信部１１は、撮像部６０が撮影した画像データに基づく情報を、撮像装置４０から取得する。このように、通信部１１は、制御情報を出力する出力部、及び、画像データに基づく情報を取得する取得部として機能する。なお、画像データは、センシング結果（センシングデータ）の一例である。

【0018】

また、通信部１１は、複数の作業それぞれの開始を示す開始信号及び終了を示す終了信号を取得してもよい。通信部１１は、例えば、作業がドライバを使用する作業である場合、開始信号及び終了信号の少なくとも一方を第１ドライバ２０又は第２ドライバ３０から取得してもよい。また、通信部１１は、例えば、開始信号及び終了信号の少なくとも一方を作業者の操作（例えば、ボタン及びフットスイッチ（図示しない）に対する操作）により取得してもよい。

【0019】

制御部１２は、作業指示装置１０と接続された各種装置に当該装置が実行する処理に関する情報を生成及び出力し、かつ、各種装置から当該装置が取得した（例えば、計測することで取得した）情報を取得し、当該情報に基づいて所定の処理を行う処理部である。

【0020】

具体的には、制御部１２は、例えば、記憶部１３に格納されている作業用テーブルＴ１（図２Ａ参照）に基づいて、第１ドライバ２０及び第２ドライバ３０を制御するドライバ制御情報を第１ドライバ２０及び第２ドライバ３０に出力する。また、制御部１２は、記憶部１３に格納されている検出用テーブルＴ２（図２Ｂ参照）に基づいて、撮像装置４０が有する各カメラ（例えば、カメラａ～カメラｄ）を制御するための制御情報を撮像装置４０に出力する。

【0021】

また、制御部１２は、撮像装置４０から取得した各カメラの画像データに基づく情報に基づいて、作業が正常に行われたか否かを判定する。そして、制御部１２は、判定結果を表示するための情報を、通信部１１を介して表示装置７０に出力する。

【0022】

記憶部１３は、作業指示装置１０が備える制御部１２が実行する制御プログラムを格納する記憶装置である。また、記憶部１３は、作業用テーブルＴ１及び検出用テーブルＴ２を格納する。また、記憶部１３は、通信部１１を介して取得した情報（例えば、画像データに基づく情報など）を格納してもよい。記憶部１３は、例えば、半導体メモリなどによって実現される。

【0023】

ここで、記憶部１３が格納する作業用テーブルＴ１及び検出用テーブルＴ２について、図２Ａ及び図２Ｂを参照しながら説明する。図２Ａは、作業用テーブルＴ１の一例を示す図である。なお、図２Ａでは、ネジの一例としてビスを締める場合を示している。なお、以下において、ビスを単にネジとも記載する。

【0024】

図２Ａに示すように、記憶部１３は、作業手順と、作業名と、ドライバ名と、ビス本数と、上下限パルスとが対応付けられた作業用テーブルＴ１を格納する。作業手順１、２及び４の作業は、ドライバを用いる作業の一例であり、作業手順３の作業は、ドライバを用いない作業の一例である。言い換えると、作業用テーブルＴ１は、ドライバを用いる作業とドライバを用いない作業とを含む複数の作業を行うためのテーブルである。なお、作業用テーブルＴ１に含まれるドライバを用いる作業及びドライバを用いない作業の数及び順番は、特に限定されない。

【0025】

作業手順は、作業者が行う複数の作業の順番を示す。作業手順は、予め定められている。図２Ａの例では、作業手順１～４がその順番で行われることを示している。

【0026】

作業名は、作業内容を示しており、複数の作業それぞれに設定される。作業者は、作業名を見るだけで、作業の内容を知ることができる。

【0027】

ドライバ名は、作業者がドライバを識別するための名称を示しており、ドライバそれぞれに設定される。ドライバ名は、作業者がドライバを識別できればよく、ドライバの型番等であってもよい。

【0028】

ビス本数は、当該作業においてビス締めするビスの数を示す。

【0029】

上限パルス及び下限パルスは、制御部１２がビスの締め付け情報に基づいてドライバを用いる作業が完了したか否かを判定するために用いられる閾値（パルス数）である。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの、ビス締め作業（ネジ締め作業）におけるビス締めが適切に完了したときの回転数（又はパルス数）に基づいて、決定される。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの回転数のうち、所定以上の回転数（例えば、最大回転数）と所定以下の回転数（例えば、最小回転数）とに基づいて決定されてもよい。これにより、複数の作業者それぞれにおいてネジ締め作業におけるネジ締めが適切に完了したときの回転数が異なっていても、上限パルス及び下限パルスを適切に設定することができる。

【0030】

なお、作業用テーブルＴ１は、上限パルス及び下限パルスの少なくとも一方を含んでいればよい。また、作業用テーブルＴ１は、ネジの締め付け情報にトルクの情報が含まれる場合、トルクの上限及び下限の少なくとも一方を含んでいてもよい。また、作業用テーブルＴ１は、ドライバにおいて作業が完了したか否かを判定する場合、上限パルス及び下限パルスの情報を含んでいなくてもよい。

【0031】

作業手順１の作業（以降において、作業１とも記載する）は、ドライバＸを使用してビスＡを１本締める作業であることを示している。ドライバＸは、例えば、第１ドライバ２０である。また、上限パルス及び下限パルスは、ドライバＸを用いてビスＡをビス締めたときに当該ビスＡのビス締めが完了したか否かを判定するための基準であり、ビスＡの回転数に対応する数値である。

【0032】

作業手順２の作業（以降において、作業２とも記載する）は、ドライバＹを使用してビスＢを１本締める作業であることを示している。作業２では、作業１とは異なるドライバが用いられる。ドライバＹは、例えば、第２ドライバ３０である。

【0033】

作業手順３の作業（以降において、作業３とも記載する）は、プレートＣを１つ取り付ける作業である例を示している。

【0034】

作業手順４の作業（以降において、作業４とも記載する）は、作業手順１と同じドライバを用いてビスＡとは異なるビスＤを１本締める作業である例を示している。

【0035】

上記のように、作業指示装置１０は、ドライバを用いる作業（例えば、ネジ締め作業）とドライバを用いない作業とを含む複数の作業を、作業者が予め定められた作業手順で行うための情報（例えば、作業用テーブルＴ１）を保持している。

【0036】

次に、記憶部１３が格納する検出用テーブルＴ２について説明する。図２Ｂは、検出用テーブルＴ２の一例を示す図である。

【0037】

図２Ｂに示すように、記憶部１３は、作業手順と、作業名と、撮像装置４０に関する情報とが対応づけられた検出用テーブルＴ２を格納する。撮像装置４０に関する情報は、検出カメラと、禁止カメラと、停止カメラと、検出色とを含む。なお、撮像装置４０に関する情報は、少なくとも検出カメラに関する情報を含んでいればよい。

【0038】

検出カメラは、複数のカメラの中のうち、現在の作業が正常に行われたか否かを判定するために動作させるカメラを示す。例えば、作業１においては、カメラａ～カメラｄのうちカメラａを検出カメラとして動作させる例を示している。

【0039】

禁止カメラは、複数のカメラの中のうち、現在の作業において部品が装着されてはいけない禁止領域に当該作業における部品が装着されたか否かを判定するために動作させるカメラを示す。例えば、作業１においては、カメラａ～カメラｄのうちカメラｂ及びｄを禁止カメラとして動作させる例を示している。また、例えば、作業３及び４においては、禁止カメラとしていずれのカメラも動作させない例を示している。

【0040】

停止カメラは、複数のカメラの中のうち、現在の作業において動作を停止するカメラを示す。つまり、停止カメラに記載されているカメラは、その作業において撮影を行わない。例えば、作業１においては、カメラａ～カメラｄのうちカメラｃの動作を停止させる例を示している。なお、停止カメラには、少なくとも１つのカメラが設定される。

【0041】

検出色は、作業が正常に行われたか否かを判定するための部品の色を示す。例えば、作業１において当該作業１が正常に行われるには、部品の色が「青」である必要があることを示している。

【0042】

図１を再び参照して、第１ドライバ２０及び第２ドライバ３０は、作業者が工具を用いる作業で使用する動力によって作動可能な工具の一例である。なお、ここでの工具とは、例えば、電動工具を意味する。また、動力とは、電気又はエアなどである。第１ドライバ２０は、例えば、ビスＡ及びビスＤのネジ締めに用いる締結工具であり、第１工具の一例である。第２ドライバ３０は、第１ドライバ２０とは異なる締結工具である。第２ドライバ３０は、例えば、ビスＢのネジ締めに用いる締結工具であり、第２工具の一例である。なお、作業指示装置１０と接続されるドライバの数及び種類は特に限定されない。

【0043】

なお、図示しないが、第１ドライバ２０及び第２ドライバ３０のそれぞれは、作業指示装置１０と通信するための通信部と、ドライバの回転数を計測するパルス計測部と、トルクアップ、回転開始及び回転終了を検出する検出部とを有する。パルス計測部は、例えば、ドライバのモータ（図示しない）に組み込まれてエンコーダ（図示しない）の発するパルス信号を計測可能な回路を有し、パルス信号の計測結果から回転数を検出する。エンコーダは、モータが回転すると、これに応じた回転信号としてパルス信号を発する。検出部は、例えば、ドライバの消費電流を計測することで、トルクアップ、回転開始及び回転終了を検出する。通信部は、パルス計測部が計測した計測結果、及び、検出部が検出した検出結果（例えば、回転開始及び回転終了の検出結果であり、開始信号及び終了信号の一例）の少なくとも１つを作業指示装置１０に出力する。

【0044】

なお、第１ドライバ２０及び第２ドライバ３０のそれぞれは、パルス計測部が計測した回転数に基づいて、ネジ締めが完了したか否かを判定する処理部を有していてもよい。

【0045】

撮像装置４０は、作業指示装置１０からの制御情報に基づいて検出領域の撮影を行い、かつ、撮影した画像を示す画像データを作業指示装置１０に出力する。撮像装置４０は、カメラ制御部５０と、撮像部６０とを有する。検出領域は、本体部１００（図３参照）において、部品が取り付けられる位置を含む領域である。本体部１００は、部品が装着される基板などであってもよい。

【0046】

カメラ制御部５０は、作業指示装置１０からの制御情報に基づいて、撮像部６０の動作を制御する処理部である。また、カメラ制御部５０は、撮像部６０から画像データを取得し、取得した画像データに基づく情報を作業指示装置１０に出力する。

【0047】

画像データに基づく情報は、画像データそのものを含んでいてもよいし、画像データを解析した解析結果（例えば、画像解析結果）を含んでいてもよい。

【0048】

カメラ制御部５０は、例えば、マイクロコンピュータにより実現される。カメラ制御部５０は、内蔵する記憶部から制御プログラムを読み出し、読み出したプログラムを実行する。

【0049】

撮像部６０は、部品が所定の位置に装着されたか否かを検出するための撮影を行う１以上のカメラを有する。本実施の形態では、撮像部６０は、カメラａ～カメラｄにより構成されるが、カメラの数は特に限定されない。カメラａ～カメラｄはそれぞれ、カメラごとに設定された検出領域の撮影を行い、撮影により取得される画像データをカメラ制御部５０に出力する。なお、カメラａ～カメラｄのそれぞれは、同じ性能（例えば、解像度など）のカメラであってもよいし、互いに異なる性能のカメラであってもよい。カメラａ～カメラｄは、例えば、作業内容、検出精度などに応じて適宜決定されるとよい。撮像部６０は、センサ部の一例である。

【0050】

作業指示システム１は、部品を検出することができれば撮像装置４０以外のセンサ装置を備えていてもよい。作業指示システム１は、例えば、撮像装置４０に替えて、又は、撮像装置４０とともに、撮像装置４０以外のセンサ装置を備えていてもよい。センサ装置が有するセンサは特に限定されないが、例えば、部品の有無を遮光により検出する光センサを有していてもよい。

【0051】

なお、撮像装置４０は、カメラ制御部５０を有していなくてもよい。この場合、作業指示装置１０は、例えば、カメラ制御部５０が有する機能を有していてもよい。作業指示装置１０は、通信部１１を介して撮像部６０の各カメラに対して制御情報を出力し、かつ、撮像部６０の各カメラのそれぞれから画像データを取得してもよい。

【0052】

図２Ｂに示すように、本実施の形態では、カメラａは、作業１における検出領域に当該作業１に対応するビスＡがあるか否かを検出するためのカメラである。カメラｂは、作業２における検出領域に当該作業２に対応するビスＢがあるか否かを検出するためのカメラである。カメラｃは、作業３における検出領域に当該作業３に対応するプレートＣがあるか否かを検出するためのカメラである。カメラｄは、作業４における検出領域に当該作業４に対応するビスＤがあるか否かを検出するためのカメラである。

【0053】

作業１は、第１領域に第１部品（例えば、ビスＡ）が装着され、かつ、第１領域と異なる第２領域には第１部品が装着されない作業（第１作業の一例）である。作業２は、第２領域に第２部品（例えば、ビスＢ）が装着され、かつ、第１領域には第２部品が装着されない作業（第２作業の一例）である。また、第１作業においては、第１部品が第２及び第４領域に装着されることが禁止されており、第２作業においては、第２部品が第４領域に装着されることが禁止されている。そのため、第１作業においては、禁止カメラにカメラｂ及びｄが設定されており、第２作業においては、禁止カメラにカメラｄが設定されている。

【0054】

ここで、撮像部６０の検出領域について、図３を参照しながら説明する。図３は、実施の形態に係る検出領域Ｒａ～Ｒｄを示す模式図である。図３では、ビスＡ、ビスＢ、プレートＣ、及び、ビスＤが装着された（取り付けられた）本体部１００と、部品それぞれに対応する検出領域とを示している。なお、プレートＣは、ビスＡを覆うように配置されている。また、図３に示す一点鎖線で囲まれる領域が検出領域を示す。

【0055】

図３に示すように、検出領域Ｒａは、本体部１００のうちビスＡが装着される領域である。検出領域Ｒａは、カメラａにより撮影される。検出領域Ｒｂは、本体部１００のうちビスＢが装着される領域である。検出領域Ｒｂは、カメラｂにより撮影される。検出領域Ｒｃは、本体部１００のうちプレートＣが取り付けられる領域である。検出領域Ｒｃは、カメラｃにより撮影される。検出領域Ｒｄは、本体部１００のうちビスＤが装着される領域である。検出領域Ｒｄは、カメラｄにより撮影される。検出領域Ｒａ～Ｒｄの少なくとも一部は、平面視において、重なっていてもよい。本実施の形態では、検出領域Ｒｃは、平面視において、検出領域Ｒａを含む領域である。なお、検出領域Ｒａ～Ｒｄのそれぞれは、例えば、互いに重ならない領域であってもよい。

【0056】

また、検出領域Ｒｂ及びＲｄは、作業１に対応する禁止領域であり、作業１においてカメラｂ及びｄによりそれぞれ撮影される。検出領域Ｒｄは、作業２に対応する禁止領域であり、作業２においてカメラｄにより撮影される。

【0057】

禁止領域は、例えば、ある作業において当該作業で使用する部品が装着されてはいけない領域である。禁止領域は、例えば、ある作業において用いる部品と外観等が類似した部品が装着される領域であってもよい。このように、禁止領域は、作業において作業者が誤った領域に部品を装着することを検出するための領域である。

【0058】

なお、センサ装置が図３に示す画角で撮影を行う撮像装置である場合、つまり当該撮像装置が複数の検出領域Ｒａ～Ｒｄの全てを含む画像を撮影可能である場合、撮像部６０は、１つのカメラで構成されていてもよい。

【0059】

図１を再び参照して、表示装置７０は、作業指示装置１０から取得した情報を画像として表示する。画像は、写真、動画、イラスト、文字等を含む。表示装置７０は、液晶ディスプレイ等により実現される。表示装置７０が出力した画像は作業者によって視認され、作業内容及び判定結果の確認等に用いられる。表示装置７０は、判定結果として、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを表示する。

【0060】

また、表示装置７０は、現在行っている作業に関する情報を表示する。表示装置７０は、例えば、作業手順、用いるドライバを特定する情報（例えば、ドライバ名）、ネジ締めを行う本数、ネジ締めの判定結果、及び、作業経過時間の少なくとも１つを表示する。表示装置７０は、作業者が作業する上で邪魔にならない位置に配置される。

【0061】

表示装置７０は、作業指示装置１０から取得した情報を出力する出力装置の一例である。なお、作業指示システム１は、出力装置として、表示装置７０に替えて又は表示装置７０とともに、出音装置（例えば、スピーカ）、プロジェクタなどの対象物（例えば、スクリーン）に情報を表示する装置、発光装置などの光（例えば、光の色）で情報を出力する装置などを有していてもよい。

【0062】

［２．作業指示システムの基本動作］
次に、上記のような作業指示システム１における基本動作について、図４Ａ～図４Ｃを参照しながら説明する。具体的には、作業指示装置１０が作業者に作業指示する動作について説明する。作業指示装置１０の各処理部が所定のアプリケーションプログラム（以降に置いて、専用アプリとも記載する）を実行することによって実現される。

【0063】

まずは、記憶部１３に格納されている作業指示画像等を用いて行われる基本動作について説明する。図４Ａは、実施の形態に係る作業指示装置１０の基本動作を説明するための第１図である。

【0064】

図４Ａに示すように、作業者は、まず専用アプリを起動させ、メニューに表示される項目に所定の情報を入力する。所定の情報とは、例えば、作業者及び作業者が行う作業を特定するための情報を含む。メニューに表示される項目は、例えば、作業者を特定する情報を入力する「作業者入力」、使用する作業端末を特定する「端末Ｎｏ．入力」、及び、作業する製品の品番を入力する「製品番号入力」である。また、メニューに表示される項目には、さらに過去に作業した際に取得した実績データの取り扱い、及び、画面のレイアウトの調整などが含まれる。

【0065】

所定の情報が入力されると、表示装置７０に作業に応じた画像が表示される。図４Ｂは、実施の形態に係る作業指示装置１０の基本動作を説明するための第２図である。具体的には、作業指示装置１０が表示装置７０に表示する作業指示画像Ｐを示している。

【0066】

図４Ｂに示すように、製品品種を設定（図４Ｂでは、「ＤＥＭＯ－２０１７」を設定）すると、表示装置７０に作業指示画像Ｐが表示される。作業指示装置１０は、作業者から操作を取得すると、当該操作に応じた作業指示画像Ｐを表示装置７０に表示させる。作業指示画像Ｐには、製品品種、作業名ｐ１（図４Ｂでは、「部品Ａを取る」）、作業時の注意事項ｐ２（図４Ｂでは、「確実に取ること」）、作業を説明する説明画像ｐ３、及び、部品名ｐ４（図４Ｂでは「部品Ａ」）などが表示される。また、図示していないが、作業指示システム１は、出音装置を備えており、当該出音装置から説明画像ｐ３に対応した作業指示が音声で出音される。なお、説明画像ｐ３は、例えば動画である。また、作業名ｐ１（作業内容）、注意事項ｐ２、説明画像ｐ３、及び、部品名ｐ４などは、複数の作業それぞれに作成される。

【0067】

これにより、作業者は、作業指示画像Ｐと音声とによる作業指示を受けることになる。作業指示装置１０は、説明画像ｐ３と音声とによる作業指示、文字による作業指示、及び、注意事項ｐ２の表示等により、作業者の作業ミスの防止を支援することができる。また、例えば、作業者が熟練者である場合、表示装置７０の説明画像ｐ３を見なくても出音装置による音声指示で作業を行うことができる。また、例えば作業者が当該作業に慣れていない場合、表示装置７０の説明画像ｐ３を必要なときだけ見ることで作業を円滑に進めることができる。よって、作業指示装置１０によれば、作業ミスの防止と習熟支援とを実現することができる。

【0068】

なお、例えば、作業がドライバを用いる作業である場合、作業名ｐ１は、使用するドライバ、ビスの種類、及び、ビス本数を含み、例えば「ドライバＸで、ビス１を２ヶ所締付ける」と表示される。

【0069】

また、作業指示画像Ｐには、さらに作業者の熟練度に応じて作業者区分を選択する選択画像が表示されていてもよい。図４Ｃは、実施の形態に係る作業指示装置１０の基本動作を説明するための第３図である。

【0070】

図４Ｃに示すように、作業者が作業を開始する前又は作業中に、ドロップダウンメニューなどをクリックすると、作業者の作業者区分を選択するための選択画像ｐ５が表示される。図４Ｃの例では、「新人」、「通常」及び「熟練」の３つの区分が表示されている例を示しているが、作業者区分の数は特に限定されず、２以上であればよい。作業者が自身の作業者区分を選択することで、表示装置７０における出力内容が変更されてもよい。作業指示装置１０は、例えば、「新人」が選択されると、記憶部１３に格納されている作業指示の全てを出力する。また、作業指示装置１０は、例えば「通常」又は「熟練」が選択されると、複数の作業のうち予め設定された作業の作業指示の出力を行わなくてもよい。これにより、作業指示システム１は、作業者の熟練度に適した作業指示画像Ｐを出力することができる。

【0071】

図４Ｂを再び参照して、作業指示画像Ｐには、経過時間表示バーｐ６が表示される。経過時間表示バーｐ６には、複数の作業の進捗率を示すバーと、進捗時間とが表示される。進捗率を示すバーには、現在作業中の作業の経過時間（経過時間表示バーｐ６の上段に示す「作業単位進捗」）、複数の作業それぞれの標準作業時間の累計（経過時間表示バーｐ６の中段に示す「累積作業ベース」）、及び、１サイクル動作中の経過時間（経過時間表示バーｐ６の下段に示す「全作業進捗」）が含まれる。標準作業時間は、予め設定されている。なお、作業者が行う複数の作業を要素作業とも記載する。１サイクル動作中とは、作業者が複数の作業を作業手順に沿って一通り行うことを１サイクルとした場合、作業者が複数の作業を作業手順に沿って行っている最中であることを意味する。

【0072】

これにより、作業者は、経過時間表示バーｐ６を確認することで、標準時間が守れているか否かを確認することができ、作業ペースの維持に役立つ。よって、作業指示装置１０によれば、作業者が作業時間を遵守することを支援することができる。なお、作業指示装置１０は、作業中の経過時間が当該作業の標準時間の所定割合を超えると、作業者に注意を促してもよい。作業指示装置１０は、例えば、作業単位進捗バー及び進捗時間の色を変化させることで注意を促してもよいし、出音装置に音声を出音させることで注意を促してもよい。作業指示装置１０は、例えば、作業中の経過時間が当該作業の標準時間の７０％を経過すると作業単位進捗バー及び進捗時間の色をオレンジ色とし、作業中の経過時間が当該作業の標準時間を経過すると作業単位進捗バー及び進捗時間の色をさらに注意を促す赤色にしてもよい。

【0073】

なお、説明画像ｐ３に示すように、ワッシャが複数種類あり、複数種類のワッシャのそれぞれが異なるケースに収容されている場合、説明画像ｐ３において作業者が当該作業で取るワッシャが入ったケースが強調して表示されてもよい。

【0074】

作業指示装置１０は、現在の作業が正常に行われるたびに、次の作業に対応した作業指示画像Ｐを表示装置７０に表示する。

【0075】

作業指示装置１０は、１サイクルの作業（作業者に割り当てられた複数の作業）が完了すると、作業結果を表示装置７０に表示させてもよい。図４Ｄは、実施の形態に係る作業指示装置１０の基本動作を説明するための第４図である。

【0076】

図４Ｄに示すように、作業指示装置１０は、１サイクルの完了時の作業時間を表示装置７０に表示させてもよい。また、作業指示装置１０は、さらに１サイクルの標準時間を合わせて表示装置７０に表示させてもよい。

【0077】

図４Ｂを再び参照して、作業指示画像Ｐには、作業の実績を示す実績情報ｐ７が表示される。図４Ｂは、作業がドライバを用いる作業であり、作業指示画像Ｐには、ドライバを用いる作業における実績などを示す実績情報ｐ７が表示されている例を示している。つまり、図４Ｂに示す実績情報ｐ７を含む作業指示画像Ｐは、ドライバを用いる作業を行うときに表示される、ドライバ連携時の画像である。実績情報ｐ７として、例えば、作業結果（図４Ｂに示す「ＯＫ」）、当該作業に用いるドライバ名（図４Ｂに示す「ドライバＸ」）、パルス、カウント、及び、ＮＧ回数が表示される。

【0078】

作業結果は、ビス締めが成功したか否かの判定結果を示す。作業結果には、例えば、制御部１２によりビスが適切に締め付けられた又は締め付けられていないと判定されるたびに、当該ビス締めに対する判定結果が表示される。作業結果は、例えば、ビス１本ごとに表示される。

【0079】

ドライバ名は、当該ドライバを用いる作業で使用されるドライバを特定する情報を示す。ドライバ名に表示されているドライバのみが、動作可能な状態となっている。

【0080】

パルスは、ビス締め作業ごとに表示される実績のパルス数である。

【0081】

カウントは、制御部１２によりビスが締め付けられたと判定された（例えば、ＯＫと判定された）数を示す。具体的には、カウントには、「ＯＫ」判定されたビスの本数である実績本数（図４Ｂに示す「０」）と、当該作業において取り付けるビスの総数である計画本数（図４Ｂに示す「３」）とが表示される。

【0082】

ＮＧ回数は、ビスの締め付けが失敗した回数である。ＮＧ回数は、制御部１２によりビス締め付けが失敗したと判定されると、カウントアップされる。

【0083】

このように実績情報ｐ７が表示されることで、作業者は、ドライバを用いる作業における実績を確認することができる。また、作業者は、表示装置７０に作業結果及びドライバ名等が表示されるので、作業結果及び使用するドライバの情報を容易に知ることができる。

【0084】

なお、ドライバを用いない作業における実績情報ｐ７は、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを含む。

【0085】

また、作業指示画像Ｐには、説明画像ｐ３の切り替えなど操作を行うための操作画像ｐ８が表示される。例えば、マウス等で操作画像ｐ８の所定のボタンを選択すると、当該ボタンに応じて説明画像ｐ３等が切り替わる。操作画像ｐ８のボタンは、例えば、現在表示されている説明画像ｐ３を停止する又は停止した説明画像ｐ３を再開するボタン、次の作業に進めるボタン、前の作業に戻すボタン、音声指示の読み上げを開始又は停止するボタンなどが含まれる。

【0086】

なお、上記ボタンの替わりにキーボードで簡単に操作ができるようにショートカットキーが割り当てられていてもよい。また、作業指示システム１が収音装置（図示しないが、例えばマイクロフォン）を備えており、作業指示装置１０は当該収音装置が取得した作業者の音声に基づいて、作業指示画像Ｐに表示される内容を変更してもよい。

【0087】

これにより、作業者は、作業の進捗状況などに応じて作業指示画像Ｐの表示内容等を変更することができる。例えば、わかりにくかった部分の説明画像ｐ３を再度表示することで、作業ミスの防止につながる。また、例えば、説明画像ｐ３の説明が終了する前に作業が完了したときは、次に作業に進めることで、作業を円滑に進めることができる。

【0088】

また、作業指示画像Ｐには、１サイクルの要素作業の一覧を示す作業一覧ｐ９等の情報が表示されてもよい。

【0089】

これにより、作業者は、現在の作業の前に行った作業及び現在の作業の後に行う作業の情報を知ることができる。

【0090】

作業指示装置１０は、例えば、現在行っている作業が終了したことを検出する（例えば、撮像装置４０からの解析結果に基づいて検出する）と、表示装置７０に出力する情報を次に行う作業の情報に自動的に切り替える。作業指示装置１０は、例えば、表示装置７０に表示する作業指示画像Ｐを次に行う作業の作業指示画像Ｐに自動で切り替える。なお、作業指示装置１０は、作業指示画像Ｐ等を自動で切り替えることに限定されず、作業者からの操作（例えば、フットスイッチの操作）により、作業指示画像Ｐ等を切り替えてもよい。

【0091】

［３．作業指示システムの動作］
次に、上記のような作業指示システム１の動作について、図５を参照しながら説明する。図５は、実施の形態に係る作業指示システム１の動作を示すシーケンス図である。なお、以下では、禁止領域が設定されていない例について説明する。また、作業手順は、作業１～作業ｎまであるとする。Ｎ番目の作業を作業Ｎとも記載する。また、図５では、撮像装置４０（例えば、カメラ制御部５０）において、画像データに基づいて画像解析が行われる例について説明するが、撮像装置４０が画像解析を行うことに限定されない。

【0092】

図５に示すように、作業指示装置１０は、作業者の操作により、専用アプリを起動して所定の情報が入力されることで作業手順（１～ｎ）を読み込む（Ｓ１１）。作業指示装置１０は、「作業者」及び「製品番号」が入力されることで、当該作業者が当該製造番号の作業を行う作業者であるか否かを判定することができる。作業指示装置１０は、記憶部１３に格納された複数の作業指示画像及び情報テーブルの中から所定の情報に応じた作業指示画像Ｐ、作業用テーブルＴ１、及び、検出用テーブルＴ２を取り出す。なお、読み込みには、作業指示装置１０の外部の記録媒体（ＣＤ－ＲＯＭ又はＵＳＢメモリなど）から作業指示画像Ｐ、作業用テーブルＴ１、及び、検出用テーブルＴ２を読み込みことも含まれる。また、読み込みには、通信部１１が外部の機器から通信により作業指示画像Ｐ、作業用テーブルＴ１、及び、検出用テーブルＴ２を取得することも、作業手順を読み込むことに含まれる。

【0093】

次に、作業指示装置１０は、作業Ｎの情報を読み出し、表示装置７０に出力する（Ｓ１２）。作業Ｎは、これから行う作業である。制御部１２は、ステップＳ１２において、作業Ｎに対応する作業指示画像Ｐ、及び、検出用テーブルＴ２から作業Ｎで動作させるカメラに関する情報（例えば、検出カメラ）を取得する。そして、制御部１２は、作業Ｎに対応する作業指示画像Ｐを表示装置７０に出力する。

【0094】

表示装置７０は、作業指示装置１０から作業Ｎの情報を取得し、当該情報を表示する（Ｓ１３）。これにより、作業者は、表示装置７０を確認してから、又は、確認しつつ作業を行うことができる。なお、例えば、作業指示システム１が出力装置として出音装置を備える場合、ステップＳ１３において、取得した情報に基づく音声が出力されてもよい。

【0095】

次に、作業指示装置１０は、作業Ｎにおける制御情報をカメラ制御部５０に出力する（Ｓ１４）。具体的には、作業指示装置１０は、検出用テーブルＴ２に基づいて当該作業Ｎにおいて動作させるカメラ（つまり、検出領域を撮影するカメラ）を特定するための情報を含む制御情報を生成し、カメラ制御部５０に出力する。なお、カメラが動作することで得られる画像は、静止画像であってもよいし、動画像であってもよい。

【0096】

本実施の形態では、作業指示装置１０は、作業１を例に説明すると、検出領域Ｒａを撮影するためにカメラａを動作させ、かつ、それ以外の作業における検出領域Ｒｂ～Ｒｄの撮影を停止するためにカメラｂ～ｄの動作を停止することを示す制御情報を生成し、カメラ制御部５０に出力する。これは、第１領域（例えば、検出領域Ｒａ）における第１部品（例えば、ビスＡ）の検出を有効とし、かつ、第２領域（例えば、検出領域Ｒｂ）における第２部品（例えば、ビスＢ）の検出を無効とすることの一例である。

【0097】

カメラ制御部５０は、制御情報を取得し、取得した制御情報に基づいて撮像部６０を制御する（Ｓ１５）。本実施の形態では、カメラ制御部５０は、制御情報に基づいて、作業Ｎに対応するカメラのみを動作させるように撮像部６０を制御する。なお、カメラ制御部５０による撮像部６０の制御は、これに限定されない。カメラ制御部５０は、作業Ｎに対応するカメラ以外のカメラを動作させてもよい。

【0098】

撮像部６０は、作業Ｎに対応するカメラのみ動作し（Ｓ１６）、作業Ｎに対応する検出領域を撮影した画像を示す画像データ（センシング結果の一例）をカメラ制御部５０に出力する（Ｓ１７）。また、センシング結果は、作業Ｎに対応するセンサが光センサである場合、例えば、検出領域の一部が遮光されたか否か、及び、遮光された回数の少なくとも一方を含む。なお、センシング結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。

【0099】

カメラ制御部５０は、撮像部６０から画像データを取得し（Ｓ１８）、取得した画像データを解析する（Ｓ１９）。カメラ制御部５０は、取得した画像データの画像解析により当該作業における部品の有無を検出する。そして、カメラ制御部５０は、画像データ及び解析結果を作業指示装置１０に出力する（Ｓ２０）。画像データ及び解析結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。

【0100】

カメラ制御部５０は、ステップＳ１５において作業Ｎに対応するカメラ以外のカメラも動作させている場合（例えば、全てのカメラａ～ｄを動作させている場合）、ステップＳ２０において、カメラａ～ｄそれぞれの画像データから作業Ｎに対応するカメラの画像データのみ画像解析を行ってもよい。このように、カメラ制御部５０は、撮像部６０から取得した複数のカメラの画像データの中から、作業Ｎに対応するカメラの画像データを抽出し、抽出した画像データの画像解析を行ってもよい。そして、カメラ制御部５０は、作業Ｎに対応する画像データ及び解析結果のみを作業指示装置１０に出力してもよい。カメラ制御部５０が作業Ｎに対応するカメラの画像データ及び解析結果のみを作業指示装置１０に出力することは、第１領域（例えば、作業Ｎに対応する検出領域）における第１部品（例えば、作業Ｎに対応する部品）の検出を有効とし、かつ、第２領域（例えば、作業Ｎ以外の作業に対応する領域）における第２部品（例えば、作業Ｎ以外の作業に対応する部品）の検出を無効とすることの一例である。

【0101】

なお、カメラ制御部５０は、画像データに対して解析を行わなくてもよい。カメラ制御部５０は、例えば、撮像部６０から画像データを取得し、取得した画像データを作業指示装置１０に出力する中継装置として機能してもよい。カメラ制御部５０は、ステップＳ１５において作業Ｎに対応するカメラ以外のカメラも動作させている場合（例えば、全てのカメラａ～ｄを動作させている場合）、ステップＳ２０において、全てのカメラａ～ｄの画像データから作業Ｎに対応するカメラの画像データのみを作業指示装置１０に出力してもよい。

【0102】

このように、カメラ制御部５０は、撮像部６０から取得した複数のカメラの画像データの中から、作業Ｎに対応するカメラの画像データを抽出し、作業指示装置１０に出力してもよい。カメラ制御部５０が作業Ｎに対応するカメラの画像データのみを作業指示装置１０に出力することは、第１領域における第１部品の検出を有効とし、かつ、第２領域における第２部品の検出を無効とすることの一例である。

【0103】

また、カメラ制御部５０は、撮像部６０が図３に示す画角の画像を撮影するカメラを有する場合、画像データのうち、作業Ｎに対応する検出領域（例えば、作業１であれば検出領域Ｒａ）においてのみ画像解析を行うことで、当該検出領域に作業Ｎに対応する部品が装着されたか否かを検出し、当該検出結果を作業指示装置１０に出力してもよい。言い換えると、作業Ｎにおいて、作業Ｎに対応する検出領域と異なる検出領域に作業Ｎに対応する部品が装着されたか否かの検出結果は、作業指示装置１０に出力されない。カメラ制御部５０が画像データから作業Ｎに対応する検出領域の検出結果のみを作業指示装置１０に出力することは、第１領域における第１部品の検出を有効とし、かつ、第２領域における第２部品の検出を無効とすることの一例である。また、カメラ制御部５０は、撮像部６０が図３に示す画角の画像を撮影するカメラを有する場合、画像データから作業Ｎに対応する検出領域を切り出し、切り出した画像データのみを作業指示装置１０に出力してもよい。

【0104】

次に、作業指示装置１０は、カメラ制御部５０から作業Ｎに対応する画像データ及び解析結果を取得する（Ｓ２１）。作業指示装置１０は、取得した画像データ及び解析結果に基づいて、作業Ｎが正常に行われたか否かを判定する（Ｓ２２）。当該判定においては、後述する。そして、作業指示装置１０は、判定した判定結果を表示装置７０に出力する（Ｓ２３）。判定結果（例えば、作業Ｎが正常に行われたことを示す情報）は、作業内容に含まれる。本実施の形態に係る作業内容は、少なくとも判定結果を含む。

【0105】

表示装置７０は、判定結果を取得し、取得した判定結果を表示する（Ｓ２４）。これにより、作業指示装置１０は、作業者に作業Ｎが正常に行われたか否かを知らせることができる。

【0106】

作業用テーブルＴ１に含まれる作業手順（例えば、作業１～作業ｎ）の全てが終了するまで、ステップＳ１２～Ｓ２４の処理が繰り返し実行される。なお、作業指示装置１０は、ステップＳ２２において、作業Ｎが正常に行われていないと判定した場合、作業Ｎが正常に行われていないことを示す判定結果を表示装置７０に出力する。そして、作業指示装置１０は、次の作業におけるステップＳ１２以降の処理を実行しない。つまり、それ以降の作業は、行われない。

【0107】

なお、上記では、作業指示装置１０は、判定結果を表示装置７０に直接出力する例について説明したが、作業指示装置１０と表示装置７０との通信を中継する中継装置（例えば、サーバ装置）に出力してもよい。作業指示装置１０が当該中継装置に判定結果を出力することは、判定結果を表示装置７０に出力することに含まれる。

【0108】

なお、作業指示装置１０は、判定結果を当該作業における作業指示画像Ｐに重ねて表示装置７０に表示させてもよい。

【0109】

次に、作業指示装置１０の動作について、図６を参照しながら説明する。図６は、実施の形態に係る作業指示装置１０の動作を示すフローチャートである。なお、図６に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。

【0110】

図６に示すように、制御部１２は、作業手順の読み込みを行う（Ｓ３１）。ステップＳ３１は、図５に示すステップＳ１１に相当する。そして、制御部１２は、読み込んだ作業手順において、これから行う作業Ｎを作業１に設定する。つまり、制御部１２は、Ｎ＝１に設定する（Ｓ３２）。ステップＳ３３以降においては、主にＮ＝１である場合について説明する。

【0111】

次に、制御部１２は、作業Ｎの情報を読み出し、読み出した作業Ｎの情報を表示装置７０に出力する（Ｓ３３）。制御部１２は、作業Ｎが作業１である場合、作業１に対応する作業指示画像Ｐを表示装置７０に出力する。

【0112】

次に、制御部１２は、作業Ｎの検出領域（第１領域の一例）を有効に設定する（Ｓ３４）。作業Ｎの検出領域を有効にするとは、作業指示装置１０が当該検出領域を撮影するカメラの画像データに基づく情報を用いて、ステップＳ３６の判定を行うことを意味する。言い換えると、作業Ｎの検出領域以外の検出領域（第２領域の一例）を撮影するカメラの画像データを用いずに、後述するステップＳ３６の判定を行うことを意味する。ステップＳ３４は、第１領域における第１部品の検出を有効とし、かつ、第２領域における第２部品の検出を無効とすることの一例である。

【0113】

具体的には、制御部１２は、検出用テーブルＴ２に基づいて、制御情報を生成し、撮像装置４０に出力する。作業Ｎが作業１である場合、ここでの制御情報は、例えば、作業１において画像データを取得するカメラであるカメラａを特定するための情報を含む。制御情報は、例えば、カメラａ～カメラｄのうちカメラａのみを動作させる指示を含んでいてもよい。ステップＳ３４は、図５に示すステップＳ１４に相当する。

【0114】

次に、制御部１２は、作業Ｎに対する検出結果を取得する（Ｓ３５）。制御部１２は、例えば、検出結果として、画像データ及び解析結果を取得する。制御部１２は、作業Ｎが作業１である場合、例えば、カメラａが撮影した画像を示す画像データと、当該画像データにおける解析結果とを取得する。なお、制御部１２は、撮像装置４０から画像データ及び解析結果の少なくとも一方を取得すればよい。以降では、制御部１２は、撮像装置４０から画像データのみを取得し、取得した画像データに基づいて自装置において解析結果を取得する例について説明するが、撮像装置４０から解析結果のみを取得してもよい。ステップＳ３５は、図５に示すステップＳ２１に相当する。なお、ステップＳ３５は、例えば、作業ごとに複数回行われてもよい。

【0115】

次に、制御部１２は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する（Ｓ３６）。制御部１２は、作業Ｎが作業１である場合、検出領域ＲａにおいてビスＡが装着されたか否かを判定する。制御部１２は、例えば、カメラａの画像データを画像解析することで検出領域ＲａにビスＡが装着されたか否かを判定する。なお、画像解析の手法は特に限定される必要はなく、従来技術が用いられてもよい。ステップＳ３６は、図５に示すステップＳ２２に相当する。

【0116】

制御部１２は、例えば、画像データが作業１に対応する検出領域ＲａでビスＡが検出されたことを示す場合、検出領域ＲａにビスＡが装着されたと判定する。制御部１２は、検出領域ＲａにビスＡが装着されたと判定した場合（Ｓ３６でＹｅｓ）、作業１が正常に行われたことを示す情報を出力する（Ｓ３７）。制御部１２は、例えば、当該情報を表示装置７０に出力する。ステップＳ３７は、図５に示すステップＳ２３に相当する。また、作業１が正常に行われたことを示す情報は、第１作業内容の一例である。

【0117】

そして、制御部１２は、読み出した作業手順に含まれる作業の全てが終了したか否かを判定する。具体的には、制御部１２は、Ｎ＝ｎであるか否かを判定する（Ｓ３８）。制御部１２は、Ｎ＝ｎである場合（Ｓ３８でＹｅｓ）、処理を終了する。また、制御部１２は、Ｎ＝ｎではない場合（Ｓ３８でＮｏ）、次の作業へ進む（Ｓ３９）。具体的には、制御部１２は、Ｎ＝ｎ+１に設定し、ステップＳ３３以降の処理を継続する。例えば、作業１の後に、作業２が行われる。例えば、ステップＳ３７における作業２が正常に行われたことを示す情報は、第２作業内容の一例である。

【0118】

これにより、作業Ｎ（第１作業の一例）における検出領域（第１領域の一例）において、当該作業Ｎに対応した部品（第１部品の一例）が検出された場合に、次の作業（第２作業の一例）を行うための情報が表示装置７０に出力される。言い換えると、作業Ｎにおける検出領域において、当該作業Ｎに対応した部品が検出されなかった場合に、次の作業を行うための情報が表示装置７０に出力されない。

【0119】

また、制御部１２は、検出領域を通過していないと判定した場合（Ｓ３６でＮｏ）、さらに、所定時間経過したか否かを判定する（Ｓ４０）。所定期間は、作業Ｎを開始してからの経過時間であり、例えば、ステップＳ３４において作業Ｎの検出領域を有効に設定したときからの経過時間であってもよい。

【0120】

制御部１２は、所定時間経過した場合（Ｓ４０でＹｅｓ）、作業Ｎが行われなかったことを示す情報を出力する（Ｓ４１）。制御部１２は、例えば、当該情報を表示装置７０に出力する。そして、制御部１２は、処理を終了する。ステップＳ４１は、図５に示すステップＳ２３に相当する。また、制御部１２は、所定時間経過していない場合（Ｓ４０でＮｏ）、ステップＳ３５に戻り処理を継続する。なお、作業Ｎが行われなかったことを示す情報は、第１作業内容の一例である。

【0121】

図７Ａは、第１領域（例えば、検出領域Ｒａ）の第１部品（例えば、ビスＡ）の検出が有効となっている様子を示す図である。具体的には、図７Ａは、作業１において、検出領域ＲａにビスＡが装着されたか否かを判定するために、カメラａが検出領域Ｒａを撮影している様子を示す。なお、図７Ａにおける斜線ハッチングは、検出が有効となっている検出領域を示す。

【0122】

図７Ａに示すように、本体部１００には、作業１～作業４のうち、作業１に対応する部品であるビスＡのみが装着されている。このとき、カメラ制御部５０は、検出領域ＲａのビスＡの検出が有効となるように撮像部６０を制御する。カメラ制御部５０は、例えば、カメラａ～ｄのうち、カメラａのみを動作させる。これにより、検出領域ＲａにビスＡが装着されているか否かに基づいて、作業１が正常に行われたか否かを判定することができる。

【0123】

例えば、作業１において、カメラａ～ｄのそれぞれが動作しており、かつ、検出領域Ｒａ～Ｒｄのそれぞれにおいて、部品が装着されたか否かの判定が行われると、検出領域Ｒａ以外の領域においては、部品が装着されていないと判定され、作業１が正常に行われていないといった誤判定が行われることがある。本実施の形態に係る作業指示装置１０によれば、検出領域Ｒａ以外の領域における検出が行われないので、このような誤判定が行われることを抑制することができる。

【0124】

次に、作業１～作業３が行われた後に、作業４が行われる場合について説明する。図７Ｂは、第２領域（例えば、検出領域Ｒｄ）のビスＤの検出が有効となっている様子を示す図である。

【0125】

図７Ｂに示すように、本体部１００には、作業１～作業４に対応する部品であるビスＡ、ビスＢ、プレートＣ、及び、ビスＤのそれぞれが装着されている。このとき、カメラ制御部５０は、検出領域ＲｄのビスＤの検出が有効となるように撮像部６０を制御する。カメラ制御部５０は、例えば、カメラａ～ｄのうち、カメラｄのみを動作させる。これにより、検出領域ＲｄにビスＤが装着されているか否かに基づいて、作業４が正常に行われたか否かを判定することができる。

【0126】

例えば、作業４おいて、カメラａ～ｄのそれぞれが動作しており、かつ、検出領域Ｒａ～Ｒｄのそれぞれにおいて、部品が装着されたか否かの判定が行われると、プレートＣに覆われているビスＡはカメラａにより検出することができないので、ビスＡが装着されていないと判定され、作業１が正常に行われていないといった誤判定が行われることがある。そのため、上記のように、作業４においては、作業４に対応する検出領域ＲｄのビスＤの検出のみが行われるとよい。

【0127】

なお、作業４において、カメラａ～ｄのそれぞれが動作しており、かつ、検出領域Ｒａ～Ｒｄのそれぞれにおいて、部品が装着されたか否かの判定が行われてもよい。この場合、作業４に対応するビスＤの判定結果のみが採用され、作業４が正常に行われたか否かが判定される。これも、検出領域Ｒｄ（第１領域の一例）におけるビスＤ（第１部品の一例）の検出を有効とし、かつ、検出領域Ｒａ（第２領域の一例）におけるビスＡ（第２部品の一例）の検出を無効とすることの一例である。

【0128】

上記のように、作業指示装置１０は、作業Ｎに対応した検出領域における作業Ｎに対応した部品の検出を有効に設定し、当該検出領域を撮影した画像データに基づいて、作業Ｎが正常に行われたか否かを判定する。また、作業指示装置１０は、作業Ｎに応じた検出領域以外の検出領域における、当該作業に対応した部品の検出を無効に設定する。つまり、作業指示装置１０は、作業Ｎに応じた検出領域以外の検出領域の画像データを用いずに、上記の判定を行う。

【0129】

［４．効果など］
以上説明したように、本実施の形態に係る作業指示方法（作業表示方法の一例）は、第１領域に第１部品が装着され、かつ、第１領域と異なる第２領域には第１部品が装着されない作業である第１作業と、第２領域に第２部品が装着され、かつ、第１領域には第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示方法である。作業表示方法は、第１作業における第１作業内容を表示するための第１表示ステップと、第２作業における第２作業内容を表示するための第２表示ステップとを含む。第１表示ステップでは、第１領域における第１部品の検出を有効とし、かつ、第２領域における第２部品の検出を無効とし（Ｓ３４）、撮像部６０（センサ部の一例）から取得された画像データ（センシング結果の一例）に基づいて第１領域において第１部品が検出された場合（Ｓ３６でＹｅｓ）に、第１作業が正常に行われたことを示す情報を第１作業内容として表示装置７０に出力する（Ｓ３７）。第２表示ステップでは、第２領域における第２部品の検出を有効とし、かつ、第１領域における第１部品の検出を無効とし（Ｓ３４）、撮像部６０（センサ部の一例）から取得されたセンシング結果に基づいて第２領域において第２部品が検出された場合（Ｓ３６でＹｅｓ）に、第２作業が正常に行われたことを示す情報を第２作業内容として表示装置７０に出力する（Ｓ３７）。

【0130】

例えば、第１作業を行う場合に、第２領域における検出が有効であると、第１領域及び第２領域のそれぞれの画像データに基づいて、第１作業が正常に行われたか否かが判定される。この場合、第１作業が正常に行われていたとしても、第２領域において第２作業に対応する部品が検出されなかった場合又は、第２領域において第１作業に対応する部品が検出された場合、第１作業が正常に行われなかったと判定される場合がある。つまり、誤検出される場合がある。

【0131】

一方、本実施の形態に係る作業指示方法（作業表示方法の一例）は、第２作業において、第１領域における検出が無効となるので、第１作業が正常に行われたか否かの判定に対して誤検出されることを抑制することができる。例えば、第１作業の後に第２作業が行われる場合、第１作業と第２作業との間で行われる作業において、第１作業の第１部品の少なくとも一部が隠れてしまうことがある。その状態で第２作業において、第１作業の部品の検出が行われると、当該部品の検出が正確に行われずに誤検出となることがあるが、本実施の形態に係る作業指示方法によれば、このような誤検出が発生することを抑制することができる。

【0132】

また、本実施の形態に係る作業指示方法は、第１作業において、第２領域における検出が無効となるので、第１作業における当該第１作業が正常に行われたか否かを判定する処理の処理量を削減することができる。例えば、カメラが撮影した画像に基づいて、第１作業が正常に行われたか否かを判定するための画像処理の負荷を軽減することができる。

【0133】

よって、本実施の形態に係る作業指示方法によれば、判定処理における処理負担を軽減しつつ、かつ、誤検出を抑制することができる。

【0134】

また、センサ部は、センシング結果として、第１領域及び第２領域を含む画像を撮影する撮像部６０を有する。

【0135】

これにより、撮像部６０により撮影された画像を示す画像データ（センシング結果の一例）に基づいて、作業が正常に行われたか否かを判定することができる。例えば、画像データの画像解析結果（例えば、部品の、位置、形状、色など）を用いる場合、作業が正常に行われたか否かの判定を、より正確に行うことができる。言い換えると、本実施の形態に係る作業表示方法によれば、誤検出をより抑制することができる。

【0136】

また、第２作業は、第１作業の後に続けて行われる作業であり、第１表示ステップでは、さらに、表示装置７０に第１作業を行うための画像を表示し、第２表示ステップでは、さらに、第１表示ステップにおいて、第１部品が第１領域で検出された場合、表示装置７０に第２作業を行うための画像を表示する。

【0137】

これにより、第１作業が正常に行われた場合、次の作業を行うための画像が自動で表示されるので、作業効率が向上する。

【0138】

また、以上説明したように、本実施の形態に係る作業指示装置１０（作業表示装置の一例）は、第１領域に第１部品が装着され、かつ、第１領域と異なる第２領域には第１部品が装着されない作業である第１作業と、第２領域に第２部品が装着され、かつ、第１領域には第２部品が装着されない作業である第２作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示装置である。作業指示装置１０は、第１作業が行われる場合に、第１領域における第１部品の検出を有効とし、かつ、第２領域における第２部品の検出を無効とし、かつ、第２作業が行われる場合に、第２領域における第２部品の検出を有効とし、かつ、第１領域における第１部品の検出を無効とする制御部１２と、第１作業が行われる場合に、撮像部６０（センサ部の一例）から取得された画像データ（センシング結果の一例）に基づいて第１領域において第１部品が検出されたときに、第１作業が正常に行われたことを示す情報を第１作業内容として表示装置７０に出力し、かつ、第２作業が行われる場合に、撮像部６０から取得された画像データに基づいて第２領域において第２部品が検出されたときに、第２作業が正常に行われたことを示す情報を第２作業内容として表示装置７０に出力する通信部１１（出力部の一例）とを備える。

【0139】

これにより、上記の作業指示方法と同様の効果を奏する。

【0140】

（実施の形態の変形例１）
次に、実施の形態の変形例１に係る作業指示方法について、図８及び図９を参照しながら説明する。図８は、実施の形態の変形例１に係る作業指示装置１０の動作を示すフローチャートである。なお、図８に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。

【0141】

なお、本変形例に係る作業指示装置の構成は、実施の形態に係る作業指示装置１０と同様であり、説明を省略する。また、図８におけるフローチャートにおいても、図６におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略化する。

【0142】

図８に示すように、制御部１２は、ステップＳ３３で作業Ｎの読み出しを行った後、作業Ｎの検出領域及び禁止領域を有効に設定する（Ｓ１３４）。作業Ｎの検出領域及び禁止領域を有効にするとは、作業Ｎの検出領域及び禁止領域を撮影するカメラの画像データを用いて、後述するステップＳ１３６及びＳ１４２の判定を行うことを意味する。ステップＳ１３４は、第１領域（例えば、検出領域Ｒａ）における第１部品（例えば、ビスＡ）の検出を有効とし、かつ、第２領域（例えば、検出領域Ｒｃ）における第２部品（例えば、プレートＣ）の検出を無効とし、さらに、禁止領域である第３領域（例えば、検出領域Ｒｂ及びＲｄ）における第１部品の検出を有効にすることの一例である。

【0143】

具体的には、制御部１２は、検出用テーブルＴ２に基づいて、制御情報を生成し、撮像装置４０に出力する。作業Ｎが作業１である場合、ここでの制御情報は、カメラａ～カメラｄのうちカメラａ、ｂ及びｄのみを動作させる指示を含んでいてもよい。制御情報は、作業１に対応する検出カメラであるカメラａ及び作業１に対応する禁止カメラであるカメラｂ及びｄのそれぞれの画像データを作業指示装置１０に出力する指示を含んでもよい。ステップＳ１３４は、図５に示すステップＳ１４に相当する。

【0144】

次に、制御部１２は、撮像装置４０から作業Ｎに対する検出結果を取得する（Ｓ１３５）。制御部１２は、例えば、画像データ及び解析結果を取得する。制御部１２は、作業Ｎが作業１である場合、カメラａ、ｂ及びｄのそれぞれの画像データと、当該画像データにおける解析結果とを取得する。なお、制御部１２は、画像データ及び解析結果のうち少なくとも画像データを検出結果として撮像装置４０から取得すればよい。以降では、制御部１２は、ステップＳ１３５において、画像データのみを撮像装置４０から取得した例について説明する。ステップＳ１３５は、図５に示すステップＳ２１に相当する。なお、ステップＳ１３５は、例えば、作業ごとに複数回行われてもよい。

【0145】

次に、制御部１２は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する（Ｓ３６）。制御部１２は、検出領域に部品が装着されたと判定した場合（Ｓ３６でＹｅｓ）、さらに、画像データに基づいて、部品が禁止領域に装着されたか否かを判定する（Ｓ１４２）。具体的には、制御部１２は、禁止カメラの画像データに基づいて、作業Ｎに対応する部品が禁止領域に装着されたか否かを判定する。制御部１２は、作業Ｎが作業１である場合、カメラｂ及びｄの画像データが作業１に対応する禁止領域である検出領域Ｒｂ及びＲｄでビスＡを検出していないことを示す場合、禁止領域にビスＡが装着されていないと判定する。ステップＳ３６及びＳ１４２の判定に用いられる画像データは、例えば、同時刻に撮影された画像を示す画像データであってもよい。ステップＳ３６及びＳ１４２は、図５に示すステップＳ２２に相当する。

【0146】

ここで、作業１における検出領域及び禁止領域について、図９を参照しながら説明する。図９は、作業１に対応する禁止領域が有効となっている様子を示す図である。図９に示す左下がり斜線は、作業１における検出領域を示し、右下がり斜線は、作業１における禁止領域を示す。

【0147】

図９に示すように、作業１においては、検出領域ＲａにおけるビスＡの検出が有効に設定されている。これにより、作業１において、カメラａの画像データに基づいて、検出領域ＲａにビスＡが装着されたか否かの判定（Ｓ３６に示す判定）を行うことができる。図９の例では、本体部１００の検出領域ＲａにビスＡが装着されているので、作業指示装置１０は、ステップＳ３６においてＹｅｓと判定する。

【0148】

また、作業１においては、検出領域Ｒｂ及びＲｄにおけるビスＡの検出が有効に設定されている。これにより、作業１において、カメラｂ及びｄの画像データに基づいて、作業１における禁止領域である検出領域Ｒｂ及びＲｄに誤ってビスＡが装着されたか否かの判定（Ｓ１４２に示す判定）を行うことができる。図９の例では、本体部１００の作業１における禁止領域（検出領域Ｒｂ及びＲｄ）にビスＡが装着されていないので、作業指示装置１０は、ステップＳ１４２においてＮｏと判定する。

【0149】

図８を再び参照して、制御部１２は、禁止領域に部品が装着されていないと判定した場合（Ｓ１４２でＮｏ）、作業Ｎが正常に行われたことを示す情報を出力する（Ｓ３７）。制御部１２は、例えば、当該情報を表示装置７０に出力する。

【0150】

また、制御部１２は、禁止領域に部品が装着されたと判定した場合（Ｓ１４２でＹｅｓ）、作業Ｎが正常に行われなかったことを示す情報を出力する（Ｓ１４３）。そして、制御部１２は、処理を終了する。なお、ステップＳ３７、Ｓ４１、及び、Ｓ１４３は、図５に示すステップＳ２３に相当する。また、例えば、作業１が正常に行われなかったことを示す情報は、第１作業内容の一例である。

【0151】

上記のように、作業指示装置１０は、作業に応じた検出領域及び禁止領域を有効に設定し、当該検出領域を撮影するカメラ、及び、当該禁止領域を撮影するカメラのみの画像データに基づいて、作業が正常に行われたか否かを判定する。また、作業指示装置１０は、作業に応じた検出領域及び禁止領域以外の領域の検出を無効に設定する。

【0152】

なお、図２Ｂに示すように、禁止カメラが設定されていない作業（例えば、作業３及び４など）においては、ステップＳ１４２の処理は行われなくてもよい。この場合、ステップＳ３６でＹｅｓであった場合、ステップＳ３７に進む。制御部１２は、例えば、ステップＳ３６でＹｅｓであった場合、検出用テーブルＴ２に基づいて（例えば、当該作業において禁止カメラが設定されているか否かに基づいて）、ステップＳ１４２の判定処理を実行するか否かの判定を行ってもよい。

【0153】

以上説明したように、本変形例に係る作業指示方法（作業表示方法の一例）は、第１領域及び第２領域と異なる第３領域であって、第１作業において第１部品の装着が禁止されている第３領域を含み、第１表示ステップでは、さらに、第３領域における第１部品の検出を有効とし（Ｓ１３４）、撮像部６０（センサ部の一例）から取得された画像データ（センシング結果の一例）に基づいて第３領域において第１部品が検出されていない場合に、第１作業が正常に行われたことを示す情報を第１作業内容として表示装置７０に出力する（Ｓ３７）。

【0154】

これにより、作業が正常に行われたか否かの判定を、さらに、第１部品が禁止領域で検出されたか否かに基づいて行うことができる。例えば、第１領域及び第３領域のうち第１領域においてのみ、第１部品が検出された場合、作業者は正しい作業を行っている。そのため、本変形例に係る作業表示方法によれば、第１部品が第１領域で検出され、かつ、第３領域で検出されていない場合、作業が正常に行われたと判定する。よって、作業が正常に行われたか否かをより正確に判定することができる。

【0155】

また、第１表示ステップでは、さらに、第３領域において第１部品が検出された場合（Ｓ１４２でＹｅｓ）に、第１作業が正常に行われなかったことを示す情報を第１作業内容として表示装置７０に出力する（Ｓ１４３）。

【0156】

これにより、作業者に作業が正常に行われなかったことを知らせることができる。例えば、第１領域及び第３領域の双方において、第１部品が検出された場合、作業者は、誤った作業を行っている（例えば、第３領域に第１部品を装着している）可能性がある。そのため、本変形例に係る作業表示方法によれば、第１部品が第３領域で検出された場合、つまり誤った作業を行っている可能性がある場合には、第１部品が第１領域で検出されていても、作業が正常に行われなかったと判定する。よって、作業が正常に行われたか否かをより正確に判定することができる。

【0157】

また、作業が正常に行われなかったことを示す情報に、第１部品が第３領域（禁止領域）で検出されたことを示す情報が含まれる場合、作業者は第１部品が第３領域で検出されたことにより作業が正常に行われなかったと判定されたことを知ることができる。例えば、第３領域が第１部品と類似する部品を装着する領域である場合、作業者は、部品の取り間違いをしていないかを確認することができる。

【0158】

（実施の形態の変形例２）
次に、実施の形態の変形例２に係る作業指示方法について、図１０を参照しながら説明する。図１０は、実施の形態の変形例２に係る作業指示装置１０の動作を示すフローチャートである。なお、図１０に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。

【0159】

なお、本変形例に係る作業指示装置の構成は、実施の形態に係る作業指示装置１０と同様であり、説明を省略するが、カメラａ～ｄのそれぞれは、例えば、カラーカメラである。また、図１０におけるフローチャートにおいても、図６におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略化する。

【0160】

図１０に示すように、制御部１２は、ステップＳ３４で作業Ｎの検出領域を有効に設定した後、撮像装置４０から作業Ｎに対する検出結果を取得する（Ｓ３３５）。制御部１２は、例えば、画像データ及び解析結果を取得する。制御部１２は、作業Ｎが作業１である場合、カメラａの画像データと、当該画像データにおける解析結果とを取得する。ここでの解析結果は、例えば、検出領域に装着された部品の色に関する情報を含む。つまり、制御部１２は、ステップＳ３３５において、解析結果として部品の色に関する情報を取得する。解析結果は、撮像装置４０から取得してもよいし、撮像装置４０から取得した画像データを自装置で画像処理することで取得してもよい。ステップＳ３３５は、図５に示すステップＳ２１に相当する。

【0161】

次に、制御部１２は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する（Ｓ３６）。制御部１２は、検出領域に部品が装着されたと判定した場合（Ｓ３６でＹｅｓ）、さらに、解析結果に基づいて、所定の色を検出したか否かを判定する（Ｓ２４２）。制御部１２は、例えば、解析結果と、検出用テーブルＴ２とに基づいて、所定の色を検出した否かを判定する。

【0162】

制御部１２は、作業１を例に説明すると、作業１に対応する検出領域Ｒａに装着されたビスＡの色が検出用テーブルＴ２に示す検出色「青」と同じである場合に、所定の色を検出したと判定する。ステップＳ３６及びＳ２４２は、図５に示すステップＳ２２に相当する。

【0163】

制御部１２は、所定の色を検出した場合（Ｓ２４２でＹｅｓ）、ステップＳ３７に進み、以降の処理を実行する。また、制御部１２は、所定の色を検出しなかった場合（Ｓ２４２でＮｏ）、作業Ｎが正常に行われなかったことを示す情報を出力する（Ｓ２４３）。そして、制御部１２は、処理を終了する。なお、ステップＳ３７、Ｓ４１、及び、Ｓ２４３は、図５に示すステップＳ２３に相当する。

【0164】

上記のように、作業指示装置１０は、作業に応じた検出領域の検出を有効に設定し、作業に応じた検出領域に部品が装着されたか否か、及び、所定の色を検出したか否かにより、作業が正常に行われたか否かを判定するための制御を行う。

【0165】

なお、検出色が設定されていない作業においては、ステップＳ３６でＹｅｓと判定されると、ステップＳ３７に進む。制御部１２は、例えば、検出用テーブルＴ２に基づいて（例えば、当該作業において検出色が設定されているか否かに基づいて）、ステップＳ２４２の判定処理を実行するか否かの判定を行ってもよい。

【0166】

以上説明したように、本変形例に係る作業指示方法（作業表示方法の一例）における画像は、第１領域及び第２領域における色に関する情報を含む。

【0167】

これにより、色の情報を用いて作業が正常に行われたか否かを判定することができるので、より正確に上記判定を行うことができる。また、例えば、禁止領域が設定されている場合に、禁止領域において所定の色が検出されなかった場合に作業が正常に行われたと判定されることで、誤検出をより抑制することができる。

【0168】

また、色に関する情報は、第１作業及び第２作業の少なくとも一方において用いられる部品の色を含む。

【0169】

これにより、例えば、作業者が作業において用いる部品と形状が類似しており色が異なる部品を誤って装着した場合に、部品の色により検出することができる。よって、作業が正常に行われたか否かをさらに正確に判定することができる。

【0170】

（その他の実施の形態）
以上、実施の形態及び各変形例（以降において、実施の形態等とも記載する）について説明したが、本発明は、このような実施の形態等に限定されるものではない。

【0171】

例えば、上記実施の形態等では、１つの作業に対する検出領域が１つである例について説明したが、検出領域は複数あってもよい。

【0172】

また、上記実施の形態等では、禁止領域には、検出領域のうち現在の作業以外の検出領域が設定される例について説明したが、これに限定されない。禁止領域は、検出領域とは別の領域であってもよい。つまり、禁止領域と検出領域とは、互いに異なる領域であってもよい。

【0173】

また、上記実施の形態等における作業指示装置１０の動作（図６、図８、又は、図１０に示す動作）は、検出用テーブルＴ２に含まれる情報に基づいて、作業ごとに切り替えられてもよい。例えば、作業１及び２においては、禁止カメラが設定されているので、図８に示す判定処理（Ｓ３６以降の処理）が実行され、作業３及び４においては、禁止カメラが設定されていないので、図６に示す判定処理（Ｓ３６以降の処理）が実行されてもよい。

【0174】

また、上記実施の形態等では、カメラ制御部５０が画像データに対して画像解析処理を行う例について説明したが、作業指示装置１０の制御部１２が当該画像解析処理を行ってもよい。

【0175】

また、上記実施の形態等では、作業指示装置１０は、読み出した作業Ｎの情報を表示装置７０に出力する（例えば、図６に示すＳ３３を参照）例について説明したが、当該情報を表示装置７０に出力する処理を行わなくてもよい。

【0176】

また、上記実施の形態等では、検出領域に当該検出領域に対応する部品が検出された場合に、作業が正常に行われたと判定される例について説明したが、これに限定されない。部品がビスである場合、ステップＳ３６において、ビス締め作業におけるパルス数が上下限パルス数（図２Ａを参照）内であり、かつ、検出領域において当該ビスが検出された場合に、検出領域に部品が装着された、つまり作業が正常に行われたと判定されてもよい。

【0177】

また、上記実施の形態等では、１つの作業に対して１つの部品が取り付けられる例について説明したが、これに限定されない。１つの作業に対して、複数の部品（例えば、複数種類の部品）が取り付けられてもよい。また、１つの検出領域に１つの部品が対応付けられている例について説明したが、これに限定されない。１つの検出領域に複数の部品が対応付けられていてもよい。第１作業では、例えば、第１領域に２以上の部品を含む第１部品が取り付けられてもよい。そして、カメラａは、２以上の部品を含む第１部品を検出可能に設けられてもよい。

【0178】

また、上記実施の形態等では、検出領域Ｒａ～Ｒｄをそれぞれ異なるカメラで撮影する例について説明したが、これに限定されない。作業指示システム１は、例えば、水平方向及び垂直方向に回動可能に支持された１台のカメラを有し、検出領域に応じてカメラを回動させることで、検出領域Ｒａ～Ｒｄを別々に撮影してもよい。これにより、作業指示システム１におけるカメラの必要台数を減らすことができる。

【0179】

また、上記実施の形態等では、部品が装着されることは、ビスがネジ締めされること、及び、プレートが取り付けられることである例について説明したが、これに限定されない。部品が装着されることは、例えば、部品が接合部材（例えば、半田など）により本体部１００の検出領域に接合されること、及び、部品がビスなどの締結部材により本体部１００の検出領域に固定されることなどを含む。

【0180】

また、上記実施の形態等では、作業指示装置１０と接続される表示装置７０が１台である例について説明したが、これに限定されない。例えば、作業者が作業１～４のそれぞれを異なる作業台等で行う場合、作業台のそれぞれに表示装置７０が配置されていてもよい。

【0181】

また、上記実施の形態等では、作業者が行う作業は、工具（例えば、ドライバ）を用いる作業と、工具を用いない作業とを含む例について説明したが、これに限定されない。作業者が行う作業は、例えば、工具を用いない作業のみであってもよい。

【0182】

また、上記実施の形態等では、工具はドライバである例について説明したが、これに限定されない。工具は、作業指示装置１０と通信可能に接続され、作業指示装置１０からの制御情報により制御可能なものであればよい。工具は、例えば、ドライバ以外の工具（例えば、電動工具）であってもよいし、治具（例えば、検査治具など）であってもよい。

【0183】

また、図１に示すブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0184】

また、上記実施の形態等では、作業指示装置１０及び撮像装置４０のそれぞれは、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。

【0185】

また、上記実施の形態等における作業指示システム１が備える装置間の通信方式については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。無線通信方式としては、例えば、ＩＥＥＥ８０２．１５．１で規格されているＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）等のような無線通信方式が用いられる。

【0186】

また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、上記ステップの一部が、他のステップと同時（並列）に実行されてもよいし、他のステップと順番が入れ替えられて実行されてもよい。

【0187】

また、上記実施の形態等における作業指示装置１０及び撮像装置４０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。例えば、作業指示装置１０の制御部１２、及び、撮像装置４０のカメラ制御部５０などの処理部を有するシステムＬＳＩから構成されてもよい。

【0188】

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

【0189】

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0190】

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

【0191】

また、本発明の一態様は、作業指示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

【0192】

なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0193】

その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。

【符号の説明】

【0194】

１ 作業指示システム（作業表示システム）
１０ 作業指示装置（作業表示装置）
１１ 通信部（出力部）
１２ 制御部
１３ 記憶部
２０ 第１ドライバ
３０ 第２ドライバ
４０ 撮像装置
５０ カメラ制御部
６０ 撮像部（センサ部）
７０ 表示装置
１００ 本体部
Ｐ 作業指示画像
ｐ１ 作業内容
ｐ２ 注意事項
ｐ３ 説明画像
ｐ４ 部品名
ｐ５ 選択画像
ｐ６ 経過時間表示バー
ｐ７ 実績情報
ｐ８ 操作画像
ｐ９ 作業一覧
Ｒａ～Ｒｄ 検出領域
Ｔ１ 作業用テーブル
Ｔ２ 検出用テーブル

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】