特許 5930708 作業管理装置および作業管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5930708

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】作業管理装置および作業管理システム

(51)【国際特許分類】

   B23P 19/00 20060101AFI20160526BHJP

   G01B 11/00 20060101ALI20160526BHJP

   B23P 19/06 20060101ALI20160526BHJP

   B23P 21/00 20060101ALI20160526BHJP

【ＦＩ】

   B23P19/00 303B

   G01B11/00 H

   B23P19/06 K

   B23P21/00 307J

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2011-285845(P2011-285845)

(22)【出願日】2011年12月27日

(65)【公開番号】特開2013-132736(P2013-132736A)

(43)【公開日】2013年7月8日

【審査請求日】2014年11月10日

(73)【特許権者】

【識別番号】591036457

【氏名又は名称】三菱電機エンジニアリング株式会社

(74)【代理人】

【識別番号】100123434

【弁理士】

【氏名又は名称】田澤 英昭

(74)【代理人】

【識別番号】100101133

【弁理士】

【氏名又は名称】濱田 初音

(74)【代理人】

【識別番号】100173934

【弁理士】

【氏名又は名称】久米 輝代

(74)【代理人】

【識別番号】100156351

【弁理士】

【氏名又は名称】河村 秀央

(72)【発明者】

【氏名】松下 浩延

(72)【発明者】

【氏名】海田 誠

(72)【発明者】

【氏名】清水 隆紀

(72)【発明者】

【氏名】片山 篤

【審査官】 佐藤 彰洋

(56)【参考文献】

【文献】 特開２００８−１８１３４４（ＪＰ，Ａ）

【文献】 特開２００９−００１１３２（ＪＰ，Ａ）

【文献】 特開２００５−１７７９１９（ＪＰ，Ａ）

【文献】 特開平０６−２２６５６５（ＪＰ，Ａ）

【文献】 特開２００７−２４３８４６（ＪＰ，Ａ）

【文献】 特開２００３−１５０２３０（ＪＰ，Ａ）

【文献】 特開２００９−０１７５４０（ＪＰ，Ａ）

【文献】 特開２０１１−０５３７８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２３Ｐ １９／００−２１／００

Ｇ０１Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

第１のマーカが付設された工具を用いて工作物に対して作業を行う作業領域を撮像した画像データを取得し、当該画像に含まれる前記第１のマーカを認識するマーカ認識部と、
前記画像データに基づいて、所定の三次元位置に設定された原点に対する、前記マーカ認識部で認識した前記第１のマーカの三次元位置を算出するマーカ位置算出部と、
前記作業を行うときの前記工具の三次元位置の情報が設定された作業手順記憶部と、
前記マーカ位置算出部で算出した前記第１のマーカの三次元位置を前記作業手順記憶部の有する前記工具の三次元位置と照合し、前記作業を行う位置の正誤を判定する作業正誤判定部とを備え、
前記作業手順記憶部は、前記作業を行う順序として前記工具の三次元位置の移動順序を表す情報を有し、
前記作業正誤判定部は、前記マーカ位置算出部で算出した前記第１のマーカの三次元位置の移動順序を前記作業手順記憶部の有する前記工具の三次元位置の移動順序と照合し、前記作業を行う順序の正誤を判定する
ことを特徴とする作業管理装置。

【請求項2】

第１のマーカが付設された工具を用いて工作物に対して作業を行う、所定位置に第２のマーカが付設された作業領域を撮像した画像データを取得し、当該画像に含まれる前記第１のマーカおよび前記第２のマーカを認識するマーカ認識部と、
前記画像データに基づいて、前記マーカ認識部で認識した前記第２のマーカの三次元位置を原点とし、当該原点に対する、前記マーカ認識部で認識した前記第１のマーカの三次元位置を算出するマーカ位置算出部と、
前記作業を行うときの前記工具の三次元位置の情報が設定された作業手順記憶部と、
前記マーカ位置算出部で算出した前記第１のマーカの三次元位置を前記作業手順記憶部の有する前記工具の三次元位置と照合し、前記作業を行う位置の正誤を判定する作業正誤判定部とを備え、
前記作業手順記憶部は、前記作業を行う順序として前記工具の三次元位置の移動順序を表す情報を有し、
前記作業正誤判定部は、前記マーカ位置算出部で算出した前記第１のマーカの三次元位置の移動順序を前記作業手順記憶部の有する前記工具の三次元位置の移動順序と照合し、前記作業を行う順序の正誤を判定する
ことを特徴とする作業管理装置。

【請求項3】

前記マーカ認識部は、複数の方向から前記作業領域を撮像した複数の画像データを取得し、当該複数の画像のうちの少なくとも１つの画像に含まれる前記第１のマーカを認識し、
前記マーカ位置算出部は、前記第１のマーカが認識された画像データに基づいて、前記原点に対する前記第１のマーカの三次元位置を算出することを特徴とする請求項１または請求項２記載の作業管理装置。

【請求項4】

前記マーカ認識部は、前記第２のマーカおよび第３のマーカが付設された作業領域を撮像した画像データを取得し、当該画像に含まれる前記第２のマーカおよび前記第３のマーカを認識し、
前記マーカ位置算出部は、前記マーカ認識部で認識した前記第２のマーカおよび前記第３のマーカの各三次元位置を原点とし、三角測量の原理を利用して前記第１のマーカの三次元位置を算出することを特徴とする請求項２記載の作業管理装置。

【請求項5】

前記作業正誤判定部の判定結果を作業者に報知すると共に、前記作業手順記憶部の有する前記工具の三次元位置の移動順序に基づいて次の作業位置を指示する報知部を備えることを特徴とする請求項１または請求項２記載の作業管理装置。

【請求項6】

前記工作物に部品を締結するための前記工具から出力される、締結完了時のトルク値または規定のトルクに達したことを表す情報を取得する工具状態検知部と、
前記マーカ位置算出部で算出した前記第１のマーカの三次元位置、および前記工具状態検知部で取得した締結完了時の前記トルク値または規定のトルクに達したことを表す情報を日時情報と併せて記憶する作業履歴記憶部とを備えることを特徴とする請求項１から請求項５のうちのいずれか１項記載の作業管理装置。

【請求項7】

前記作業手順記憶部は、前記作業を行うときの前記工具の三次元位置毎に設定されたトルク値の情報を有し、
前記作業正誤判定部は、前記作業の正誤を判定するときに、前記工具状態検知部で取得した締結完了時のトルク値と前記作業手順記憶部の有する前記トルク値を照合することを特徴とする請求項６記載の作業管理装置。

【請求項8】

前記作業履歴記憶部は、前記作業領域を撮像した画像データを記憶することを特徴とする請求項６記載の作業管理装置。

【請求項9】

前記作業履歴記憶部は、前記画像データを、当該画像に含まれるマーカに関連付けた検索キーと併せて記憶することを特徴とする請求項８記載の作業管理装置。

【請求項10】

少なくとも工具に付設されたマーカと、
前記工具を用いて工作物に対して作業を行う作業領域を撮像する１台以上の撮像装置と、
前記撮像装置が撮像した画像データを取得して、前記作業の正誤を判定する請求項１から請求項９のうちのいずれか１項記載の作業管理装置とを備える作業管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ＡＲマーカの撮像画像を用いて作業位置を検出し、作業の正誤を判定する作業管理装置および作業管理システムに関するものである。

【背景技術】

【0002】

作業者が手持ちの締め付け工具によりねじ締めを行う際、ねじ締めが行われている位置を特定する技術として例えば特許文献１がある。この特許文献１にかかる締め付け位置検出装置は、基準位置と締め付け工具とをつなぐ変形自在なテープ部材と、このテープ部材のねじれと曲がりを検出する光ファイバセンサと、テープ部材に設けられた光ファイバセンサからの信号に基づくテープ部材の全体形状から基準位置に対する締め付け工具の三次元位置を演算する演算部とを備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−８５３９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の締め付け位置検出装置は以上のように構成されているので、基準位置と締め付け工具とをつなぐテープ部材が、被締め付け部材および作業者に接触する場合があり、作業性が悪いという課題があった。また、テープ部材に設けられた光ファイバセンサは、作業中、常に屈曲されるため、故障の可能性が高いという課題があった。さらに、締め付け位置検出装置毎に専用の締め付け工具と基準位置とが必要になるため、高価になるという課題があった。

【0005】

この発明は、上記のような課題を解決するためになされたもので、作業者の作業を邪魔することがなく、かつ、安価に構築可能な作業管理装置および作業管理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

この発明に係る作業管理装置は、第１のマーカが付設された工具を用いて工作物に対して作業を行う作業領域を撮像した画像データを取得し、当該画像に含まれる第１のマーカを認識するマーカ認識部と、画像データに基づいて、所定の三次元位置に設定された原点に対する、マーカ認識部で認識した第１のマーカの三次元位置を算出するマーカ位置算出部と、作業を行うときの工具の三次元位置の情報が設定された作業手順記憶部と、マーカ位置算出部で算出した第１のマーカの三次元位置を作業手順記憶部の有する工具の三次元位置と照合し、作業を行う位置の正誤を判定する作業正誤判定部とを備え、作業手順記憶部は、作業を行う順序として工具の三次元位置の移動順序を表す情報を有し、作業正誤判定部は、マーカ位置算出部で算出した第１のマーカの三次元位置の移動順序を作業手順記憶部の有する工具の三次元位置の移動順序と照合し、作業を行う順序の正誤を判定するものである。

【0007】

また、この発明に係る作業管理装置は、第１のマーカが付設された工具を用いて工作物に対して作業を行う、所定位置に第２のマーカが付設された作業領域を撮像した画像データを取得し、当該画像に含まれる第１のマーカおよび第２のマーカを認識するマーカ認識部と、画像データに基づいて、マーカ認識部で認識した第２のマーカの三次元位置を原点とし、当該原点に対する、マーカ認識部で認識した第１のマーカの三次元位置を算出するマーカ位置算出部と、作業を行うときの工具の三次元位置の情報が設定された作業手順記憶部と、マーカ位置算出部で算出した第１のマーカの三次元位置を作業手順記憶部の有する工具の三次元位置と照合し、作業を行う位置の正誤を判定する作業正誤判定部とを備え、作業手順記憶部は、作業を行う順序として工具の三次元位置の移動順序を表す情報を有し、作業正誤判定部は、マーカ位置算出部で算出した第１のマーカの三次元位置の移動順序を作業手順記憶部の有する工具の三次元位置の移動順序と照合し、作業を行う順序の正誤を判定するものである。

【0008】

また、この発明に係る作業管理システムは、少なくとも工具に付設されたマーカと、工具を用いて工作物に対して作業を行う作業領域を撮像する１台以上の撮像装置と、撮像装置が撮像した画像データを取得して、作業の正誤を判定する上述の作業管理装置とを備えるものである。

【発明の効果】

【0009】

この発明によれば、工具に付設されたマーカを撮像した画像データを用いてこのマーカの三次元位置を算出し、予め設定された作業時の工具の三次元位置と照合して作業の正誤を判定することにより、工具と作業管理装置とを有線接続する必要がないため、作業者が行動範囲に制限なく移動することができる。また、汎用の工具を使用できるため、安価にシステムを構築することができる。

【図面の簡単な説明】

【0010】

【図1】この発明の実施の形態１に係る作業管理システムの構成を示すブロック図である。

【図2】実施の形態１に係る作業管理システムの管理対象を説明する斜視図である。

【図3】実施の形態１に係る作業管理システムで用いるＡＲマーカの例を示す図である。

【図4】実施の形態１に係る作業管理装置が用いる撮像画像の一例を示す図である。

【図5】実施の形態１に係る作業管理装置の動作を示すフローチャートである。

【図6】実施の形態１に係る作業管理装置の作業履歴記憶部が記憶する作業履歴の一例を示す図である。

【図7】実施の形態１に係る作業管理装置の作業正誤判定部の処理を説明する図である。

【図8】この発明の実施の形態２に係る作業管理システムの構成を示すブロック図である。

【図9】この発明の実施の形態３に係る作業管理ステムの管理対象を説明する斜視図である。

【図10】この発明の実施の形態４に係る作業管理システムの管理対象を説明する斜視図である。

【発明を実施するための形態】

【0011】

実施の形態１．
図１に示す作業管理システムは、作業者が手持ちの工具を用いて工作物（ワーク）にねじ等の締結部品を取り付ける様子を撮像して、画像データに基づいてねじ締め作業の監視および管理を行うシステムである。図２に管理対象の一例を示す。ここでは、作業者がトルクレンチ２を用いて、ワーク１の上面四隅に設けられたねじ穴１ａ〜１ｄに、不図示のねじを締結する作業に関して、作業管理装置１０がねじ締めを行う位置およびねじ締めの順番等を監視および管理する場合を説明する。

【0012】

図２に示すように、ワーク１の上面四隅には、ねじを締結するためのねじ穴１ａ〜１ｄが設けられている。また、ワーク１の上面の所定位置（例えば中心部）には原点マーカ２０が付設されている。
なお、ワーク１の形状、ねじ穴１ａ〜１ｄの位置および個数等は、図示例に限定されるものではなく、任意でよい。

【0013】

工具であるトルクレンチ２には、検査マーカ２１が付設されている。また、トルクレンチ２には通信機２ａが取り付けられており、締め付けのトルクが予め定めたトルク値以上になると、即ちトルクアップになると、規定のトルクに達したことを表す信号（以下、トルクアップ信号）とそのときのトルク値を発信する。このトルクアップ信号とトルク値は、無線接続された受信機２ｂが受信して、作業管理装置１０の工具状態検知部１５へ出力する。
なお、トルクレンチ２は、トルクアップ信号とそのときのトルク値の両方を発信する構成でなくてもよく、トルクアップ信号のみまたはトルク値のみを発信する構成であってもよい。
また、工具としてトルクレンチ２を例示したが、これに限定されるものではなく、例えば電動ドライバ等であってもよい。この場合にもトルクアップ信号、トルク値、回転数等の情報を作業管理装置１０へ出力可能な構成にする。

【0014】

原点マーカ２０および検査マーカ２１は、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカである。図３に、ＡＲマーカの他の例を示す。
ＡＲマーカとしては、例えば白色背景に黒色のパターンを配した正方形の二次元画像を用いる。ＡＲマーカの黒色の枠で囲われた白地部分には、原点マーカ２０と検査マーカ２１とで異なる黒色のパターンが描かれている。また、このパターンは、ＡＲマーカの上下左右を区別するために、線対称でない形状にしている。さらに、上下方向および左右方向において、黒枠：白地部分：黒枠＝１：２：１の比にしている。また、ＡＲマーカをカメラ３で撮像して作業管理装置１０で画像処理することになるので、ＡＲマーカの表面が光らないように工夫しておくことが好ましい。
なお、ＡＲマーカは、図２および図３に示す形状以外であってもよく、また、白黒以外の色を使用してもよい。

【0015】

カメラ３は、台座に載置されたワーク１に対して所定の位置に固定されており、ワーク１のねじ穴１ａ〜１ｄを含む作業領域を所定のサンプリング時間間隔で撮像して、画像データを作業管理装置１０へ出力する。このカメラ３としては、画像データをリアルタイムに作業管理装置１０へ出力可能なＷＥＢカメラ等、汎用の撮像装置を用いればよい。
図２の例では、ワーク１の上面をＸＹ平面とし、このＸＹ平面に対して垂直なＺ方向の所定の高さ位置にカメラ３が設置されている。

【0016】

図４に、撮像画像の一例を示す。この画像は、ねじ穴１ａのねじ締めが終了し、次のねじ穴１ｂのねじ締め作業を行っているタイミングで撮像された画像であり、ワーク１に付設された原点マーカ２０と、トルクレンチ２に付設された検査マーカ２１とが写っている。

【0017】

なお、カメラ３に偏光フィルタを取り付けて光の反射を軽減したり、減光フィルタを取り付けて照度を下げたりしてもよい。これにより、原点マーカ２０および検査マーカ２１を確実に撮像可能となる。

【0018】

作業管理装置１０は、カメラ３の画像データ、受信機２ｂのトルクアップ信号とそのときのトルク値を入力に用い、トルクレンチ２を用いたねじ締め作業を監視および管理する。この作業管理装置１０としては例えばパーソナルコンピュータを用い、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が、不図示のプログラムメモリに格納されたプログラムを実行して、マーカ認識部１２、マーカ位置算出部１３、工具状態検知部１５、作業正誤判定部１７、報知部１８、工具駆動制御部１９の処理内容を実行する。

【0019】

以下、図５に示すフローチャートを参照しながら、作業管理装置１０の動作の一例を説明する。作業管理装置１０は、図５に示すステップＳＴ１〜ＳＴ９の処理を所定のサンプリング時間毎に繰り返す。

【0020】

マーカ定義記憶部１１には、ＡＲマーカ毎の定義情報が予め格納されている。原点マーカ２０の定義情報としては、原点マーカ２０の白地部分に描かれたパターンの情報、原点位置であることを表す情報等が設定されている。検査マーカ２１の定義情報としては、検査マーカ２１の白地部分に描かれたパターンの情報、トルクレンチ２の位置であることを表す情報、トルクレンチ２の能力範囲の情報等が設定されている。さらに、トルクレンチ２以外にも工具があればＡＲマーカを付設し、各ＡＲマーカについて工具の種別等の定義情報を設定しておく。また、能力範囲が異なるトルクレンチを区別する必要がある場合には、トルクレンチ毎に異なるＡＲマーカを付設してそれぞれに定義情報を設定しておく。

【0021】

マーカ認識部１２は、カメラ３から画像データを取得し（ステップＳＴ１）、取得した画像上にＡＲマーカの画像を認識して、二次元位置、大きさ、形状等の情報を算出すると共に、マーカ定義記憶部１１に記憶されている定義情報に基づいて、認識したＡＲマーカが原点マーカ２０か検査マーカ２１かを識別する（ステップＳＴ２）。そして、マーカ認識部１２からマーカ位置算出部１３へ認識結果を出力する。

【0022】

マーカ位置算出部１３は、マーカ認識部１２の認識結果に基づいて、原点マーカ２０と検査マーカ２１の三次元位置および姿勢（向き、傾き等）を算出する（ステップＳＴ３）。ＡＲマーカの三次元位置と姿勢を算出する方法としては、公知の技術（例えば、特開平７−９８２１４号公報）を用いればよいため、詳細な説明は省略する。
このとき、マーカ位置算出部１３は、原点マーカ２０の三次元位置を原点とし、この原点に対する検査マーカ２１の三次元位置を算出する。算出した検査マーカ２１の三次元位置を、これ以降、トルクレンチ２の位置として扱う。
そして、マーカ位置算出部１３から作業履歴記憶部１４へ、トルクレンチ２の位置座標を出力する。

【0023】

工具状態検知部１５は受信機２ｂとの間で情報を入出力するインタフェースである。受信機２ｂがトルクアップ信号とそのときのトルク値を受信していれば、工具状態検知部１５がそれらの情報を取得し（ステップＳＴ４）、作業履歴記憶部１４へ出力する。
なお、ステップＳＴ４の処理を実施するタイミングはこれに限定されるものではなく、ステップＳＴ６の処理を実施するより前の任意のタイミングで行えばよい。また、図５の動作例では、ステップＳＴ１〜ＳＴ３の処理をサンプリング時間毎に繰り返し、トルクアップ信号の取得をきっかけにして、ステップＳＴ６以降の処理に移行する。

【0024】

作業履歴記憶部１４は、マーカ位置算出部１３から入力されるサンプリング時間毎のトルクレンチ２の位置座標（原点に対するＸ，Ｙ，Ｚ座標）、および工具状態検知部１５から任意のタイミングで入力されるトルクアップ信号とそのときのトルク値を記憶していく（ステップＳＴ５）。
図６に、作業履歴の一例を示す。マーカ位置算出部１３が算出したトルクレンチ２の位置として、Ｘ座標、Ｙ座標およびＺ座標の値がそれぞれ登録されている。また、トルクアップ信号を工具状態検知部１５が取得した時刻に「＊」が登録され、そのときのトルク値も登録されている。ねじ締め作業位置と正誤判定結果は後述する。
なお、トルクレンチ２がトルクアップ信号およびトルク値のいずれか一方のみを出力するタイプの場合には、いずれか一方のみの情報を作業履歴記憶部１４に登録すればよい。

【0025】

なお、マーカ認識部１２から作業履歴記憶部１４へ、カメラ３が撮像した画像データを出力し、作業履歴記憶部１４に画像データを蓄積してもよい。サンプリング時間毎に撮像される全ての画像データを保存する、または、トルクアップ信号を受信したタイミングで撮像された画像データを保存することで、ねじ締め作業後に作業手順の確認を行うことができる。また、ねじ穴１ａ〜１ｄ全てにねじが締結されたことを証拠として残すことができる。
あるいは、ねじ穴１ａ〜１ｄに対するねじ締め作業が完了したときの画像データのみ保存してもよい。この場合、例えば、ねじ締め作業が完了した際に自動または手動で作業管理装置１０へ信号を出力する構成にし、作業管理装置１０側では、外部から作業完了の信号が入力されたときの画像データを作業履歴記憶部１４に記憶する。この構成にすることで、データ容量は抑えつつ、ねじ穴１ａ〜１ｄ全てにねじが締結されたことを証拠として残すことができる。

【0026】

さらに、作業履歴記憶部１４に画像データを蓄積する際に、この画像データに、ＡＲマーカの情報と関連付けた検索キーを付与して記憶するようにしてもよい。例えば、マーカ認識部１２が検査マーカ２１を認識すると、そのときの画像データに検査マーカ２１を表す検索キーを付与し、作業履歴記憶部１４が検索キーと画像データとを記録しておく。これにより、ワーク１の全製造工程の画像データのうちから、トルクレンチ２を用いたねじ締め作業の工程を撮像した画像データを、検査マーカ２１を表す検索キーを用いて容易に検索することができる。

【0027】

作業手順記憶部１６には、ねじ締め作業の位置情報と順序情報とが予め格納されている。
図２の例では、カメラ３とワーク１との位置関係が固定され、かつ、ワーク１の所定位置に原点マーカ２０が付設されているので、撮像画像上で原点に対するねじ穴１ａ〜１ｄの位置を事前に求めることができる。事前に求めたねじ穴１ａ〜１ｄの位置に基づいて、ねじ締め作業を行うねじ締め作業位置の座標を決定し、作業手順記憶部１６に登録しておく。なお、ＡＲマーカの三次元位置を算出する際の誤差を考慮して、ねじ締め作業位置に幅を持たせ、ねじ締め作業領域としてもよい。ここでは、ねじ穴１ａに対するねじ締め作業領域をＡ、ねじ穴１ｂに対するねじ締め作業領域をＢ、ねじ穴１ｃに対するねじ締め作業領域をＣ、ねじ穴１ｄに対するねじ締め作業領域をＤとする。
また、順序情報として、ねじ締め作業領域Ａ，Ｂ，Ｃ，Ｄの順番が登録されているものとする。

【0028】

作業正誤判定部１７は、作業履歴記憶部１４と作業手順記憶部１６を参照して、作業者の行ったねじ締め作業の位置および順序が正しいか否かを判定する（ステップＳＴ６）。そして、作業正誤判定部１７は、ねじ締め作業の位置および順序が正しいと判定した場合（ステップＳＴ７“ＹＥＳ”）、その判定結果を作業履歴記憶部１４へ出力する（ステップＳＴ８）。一方、ねじ締め作業の位置および順序が間違っていると判定した場合（ステップＳＴ７“ＮＯ”）、その旨の情報を報知部１８へ出力すると共に（ステップＳＴ９）、判定結果を作業履歴記憶部１４へ出力する（ステップＳＴ８）。

【0029】

具体的には、作業正誤判定部１７が、作業履歴記憶部１４に記憶されたトルクレンチ２の位置と作業手順記憶部１６に記憶されたねじ締め作業領域とを照合し、トルクレンチ２の位置がねじ締め作業領域に入っていれば（またはねじ締め作業位置に一致していれば）、ねじ締め作業がこの位置で行われていると判定して、このねじ締め作業領域を作業履歴記憶部１４へ出力する。これにより、図６に示す作業履歴において、ねじ締め作業が行われていると判定された時刻のねじ締め作業領域の項目に、Ａ，Ｂ等の位置情報が登録される。

【0030】

図７は、作業正誤判定部１７の正誤判定処理を説明する図である。図７の画像は図４の撮像画像に対応しており、黒い丸は、マーカ位置算出部１３が原点マーカ２０に基づき算出した原点である。グレーの丸は、マーカ位置算出部１３が検査マーカ２１に基づき算出した各時刻のトルクレンチ２の位置であり、図６の作業履歴のＸ，Ｙ，Ｚ座標に対応している。斜線で示す領域は、作業手順記憶部１６に予め登録されている、原点に対するねじ締め作業領域である。また、参考のため、ねじ穴１ａ〜１ｄに相当する位置をバツ印で示している。
作業正誤判定部１７は、グレーの丸で示すトルクレンチ２の位置が斜線で示すねじ締め作業領域に入っていれば、ねじ締め作業が行われていると判定する。なお、図示はしていないが、ねじ締め作業領域はＸ，Ｙ方向に加え、Ｚ方向にも設定するものとし、トルクレンチ２がワーク１の上面から所定高さ以上の位置にある場合にはねじ締め作業を行っていないと判定する。

【0031】

また、作業正誤判定部１７は、作業履歴記憶部１４に記憶されたトルクアップ信号取得時刻においてそのねじ締め作業領域（図６の例では時刻８：０１：００のねじ締め作業位置Ａ）の順序を、作業手順記憶部１６に記憶された順序情報と照合し、一致していれば、正しい順序でねじ締め作業が行われたと判定する。これにより、作業者がねじ締め作業の順番を間違えた場合や、締め忘れた場合等を検出できる。
また、この例ではトルクアップ信号の取得をねじ締め作業の完了とみなしているが、トルクアップ信号等のねじ締め作業の完了を示す情報がない場合には、トルクレンチ２の位置がねじ締め作業領域と一致している時間の長短に応じて、ねじ締め作業が行われたか否かを判定してもよい。また、電動ドライバなど、ねじ締め作業中に音が発生する工具であれば、この音の有無に応じてねじ締め作業が完了したか否かを判定してもよい。あるいは、電動ドライバの回転数または回転終了の信号等を使用してもよい。

【0032】

続いて作業正誤判定部１７は、ねじ締め作業の順序が正しいと判定した場合、作業履歴記憶部１４の正誤判定結果の項目に正しいことを示す「○」を登録する。一方、間違っていると判定した場合、作業履歴記憶部１４の正誤判定結果の項目に間違いを示す「×」を登録すると共に、報知部１８へ、ねじ締め作業が間違った順序で行われていることを示す情報を出力する。さらに正しいねじ締め作業の位置を示す情報も出力してもよい。

【0033】

作業正誤判定部１７は、さらに、位置と順序以外の項目について正誤判定してもよい。例えばトルクレンチ２がトルク値を出力するタイプの場合であれば、作業正誤判定部１７が作業履歴記憶部１４に記憶されたトルク値を、予め作業手順記憶部１６に設定されたトルク値と照合して、正しいトルク値でねじ締め作業が行われたか否かを判定し、トルク値の適性判定結果を作業履歴記憶部１４に登録するようにしてもよい。

【0034】

また例えば、作業正誤判定部１７が、検査マーカ２１の定義情報に基づいてどの工具が使用されたか（トルクレンチか、電動ドライバか等）を判定し、工具の種別を作業履歴記憶部１４に登録するようにしてもよい。さらに同一種別の工具でも、検査マーカ２１の定義情報に基づいて能力範囲（５０Ｎｍ用のトルクレンチか、１００Ｎｍ用のトルクレンチか等）を判定し、工具の適性を作業履歴記憶部１４に登録するようにしてもよい。
例えば、図６では、工具ＩＤの項目に、トルクレンチ２の工具ＩＤ「２」が登録されている。

【0035】

また例えば、ねじ締め作業を仮締め、本締めの２段階で行う場合の正誤判定も可能である。この場合、作業手順記憶部１６に順序情報として、仮締めのねじ締め作業領域Ａ，Ｂ，Ｃ，Ｄの順番とそのときのトルク値、および本締めのねじ締め作業領域Ａ，Ｂ，Ｃ，Ｄの順番とそのときのトルク値を予め格納しておく。そして、作業正誤判定部１７が、仮締めと本締めの各ねじ締め作業が作業手順の情報通りに行われたか否かを判定する。

【0036】

報知部１８は、表示装置、スピーカ等の報知装置に適切な信号を出力するインタフェースであり、作業者に情報を提示する（ステップＳＴ９）。報知部１８は、作業正誤判定部１７から情報の入力があると、ねじ締め作業が間違った順序または間違ったトルク値で行われていることを示す情報を画面表示したり、音声出力したりする。また、報知部１８は、正しいねじ締め作業の位置または正しいトルク値を示す情報を画面表示したり、音声出力したりしてもよい。

【0037】

また、図５の動作例では、トルクアップ信号を取得した後にねじ締め作業位置の正誤判定を行ったが、判定タイミングはこれに限定されるものではない。例えば図５のステップＳＴ３でトルクレンチ２の位置を算出する都度、作業正誤判定部１７がこの位置の正誤判定を行って、報知部１８から作業者へ判定結果を報知してもよい。これにより、作業者は、ねじ締め作業の開始前にねじ締め作業の位置が正しいか間違っているかを知ることができる。

【0038】

次に、外部から駆動許可信号を受け付けて駆動するタイプの工具を使用する場合の一例を説明する。ここでは、トルクレンチ２が、通信機２ａで外部（即ち、作業管理装置１０）から駆動許可信号を受け付けた場合にのみ駆動し、トルクアップになると、トルクアップ信号およびトルク値のいずれか一方、または両方を通信機２ａから受信機２ｂへ発信することとする。

【0039】

作業管理装置１０の工具駆動制御部１９は、作業履歴記憶部１４に登録された工具の適性判定結果を参照して、トルクレンチ２の能力範囲が作業手順記憶部１６に予め設定されている規定の能力範囲か否かを判定し、適切な能力範囲であれば通信機２ａへ駆動許可信号を出力する。これにより、作業者が適切な能力範囲のトルクレンチ２を選択した場合のみねじ締め作業を開始できるようになり、誤った能力範囲のトルクレンチ２を用いてねじ締め作業を行うことを防止できる。

【0040】

また、工具駆動制御部１９は、作業履歴記憶部１４に登録されるサンプリング時間毎のトルクレンチ２の位置が適切なねじ締め作業位置にあるか否かを判定し、適切なねじ締め作業位置であれば通信機２ａへ駆動許可信号を出力する。具体例として、例えば図６の時刻８：００：２０にねじ締め作業位置Ａの位置座標が登録されると、工具駆動制御部１９がその位置座標を作業手順記憶部１６の位置情報と照合してトルクレンチ２の位置が正しいか否かを判定し、正しい場合にトルクレンチ２へ駆動許可信号を出力する。続いて工具駆動制御部１９は、時刻８：０１：００のトルクアップ信号に基づいて駆動許可信号の出力を停止し、さらに時刻８：０１：３０のねじ締め作業位置Ｂの位置座標に基づいて駆動許可信号を出力する。これにより、作業者が適切なねじ締め作業位置にトルクレンチ２を移動した場合のみねじ締め作業を開始できるようになり、誤ったねじ穴１ａ〜１ｄへ誤った順序でねじ締め作業を行うことを防止できる。

【0041】

以上より、実施の形態１によれば、作業管理装置１０は、検査マーカ２１が付設されたトルクレンチ２を用いてワーク１に対してねじ締め作業を行う作業領域であって所定位置に原点マーカ２０が付設された作業領域を撮像した画像データをカメラ３から取得し、マーカ定義記憶部１１の定義情報に基づいて当該画像に含まれる原点マーカ２０および検査マーカ２１を認識するマーカ認識部１２と、画像データに基づいて、マーカ認識部１２で認識した原点マーカ２０の三次元位置を原点とし、当該原点に対する、マーカ認識部１２で認識した検査マーカ２１の三次元位置を算出するマーカ位置算出部１３と、ねじ締め作業を行うときのトルクレンチ２の三次元位置の情報としてねじ締め作業領域Ａ〜Ｄ、およびねじ締め作業を行う順序としてねじ締め作業領域Ａ〜Ｄの移動順序を表す情報が設定された作業手順記憶部１６と、マーカ位置算出部１３で算出した検査マーカ２１の三次元位置とその移動順序を作業手順記憶部１６の有するねじ締め作業領域Ａ〜Ｄとその移動順序と照合し、ねじ締め作業を行う位置および順序の正誤を判定する作業正誤判定部１７とを備えるように構成した。このため、ねじ締め作業の位置と順序の正誤判定を行うためにトルクレンチ２と作業管理装置１０とを有線接続する必要がなく、作業者が行動範囲に制限なく移動することができる。また、トルクレンチ２、電動ドライバ等の汎用の工具および汎用のカメラ３を使用できるため、安価にシステムを構築することができる。

【0042】

また、実施の形態１によれば、作業管理装置１０は、作業正誤判定部１７の判定結果を作業者に報知すると共に、作業手順記憶部１６の有するねじ締め作業領域Ａ〜Ｄの移動順序に基づいて次のねじ締め作業の位置を指示する報知部１８を備えるように構成した。このため、作業者にねじ締め作業を正しい手順で行わせることができる。

【0043】

また、実施の形態１によれば、作業管理装置１０は、トルクレンチ２から出力される締結完了時のトルク値または規定のトルクに達したことを表すトルクアップ信号を取得する工具状態検知部１５と、マーカ位置算出部１３で算出した検査マーカ２１の三次元位置、および工具状態検知部１５で取得した締結完了時のトルク値または規定のトルクに達したことを表すトルクアップ信号を日時情報と併せて記憶する作業履歴記憶部１４とを備えるように構成したので、トレーサビリティの管理を行うことができる。
さらに、作業手順記憶部１６にねじ締め作業を行うときのトルクレンチ２のねじ締め作業領域Ａ〜Ｄ毎にトルク値の情報を設定しておき、作業正誤判定部１７が、ねじ締め作業の正誤を判定するときに、工具状態検知部１５で取得した締結完了時のトルク値と作業手順記憶部１６の有するトルク値を照合するように構成したので、ねじ締め作業の位置と順序の正誤に加え、トルク値の正誤も判定することができる。

【0044】

また、実施の形態１によれば、作業履歴記憶部１４が作業領域を撮像した画像データを記憶するように構成したので、作業後に作業手順の確認を行うことができる。
さらに、作業履歴記憶部１４は、画像データを、当該画像に含まれる検査マーカ２１等に関連付けた検索キーと合わせて記憶するように構成したので、作業手順の確認を行う際に目的の画像を容易に検索することができる。

【0045】

また、実施の形態１によれば、作業領域を撮像するカメラ３に、作業領域における光の反射を軽減するフィルタを取り付けるように構成したので、原点マーカ２０および検査マーカ２１を確実に撮像することができる。

【0046】

なお、上記実施の形態１では、原点マーカ２０をワーク１に付設したが、これに限定されるものではなく、ワーク１を載置する台座等、ワーク１との位置関係が固定された場所に付設してもよい。

【0047】

また、原点マーカ２０の三次元位置を原点にして検査マーカ２１の三次元位置を計算する構成にしたが、原点を規定するための原点マーカ２０は必須ではない。上記実施の形態１のようにカメラ３とワーク１の位置関係が固定されている場合には、原点マーカ２０を省略して、仮想の原点の三次元位置を予め設定しておくことが可能である。この場合、マーカ位置算出部１３は、仮想の原点に対する検査マーカ２１の三次元位置を算出すればよい。

【0048】

実施の形態２．
図８は、この発明の実施の形態２に係る作業管理システムの構成を示すブロック図であり、図１と同一または相当の部分については同一の符号を付し説明を省略する。本実施の形態２では、複数台のカメラ３−１，３−２を使用して、ワーク１を複数の方向から撮像する。

【0049】

作業管理装置１０は、複数のカメラ３−１，３−２で撮像された画像データそれぞれに対して上記実施の形態１と同様の処理を行い、ねじ締め作業の位置および順序が正しいか否かを判定する。
なお、１つのワーク１に対し、カメラ３−１用の原点マーカ２０とカメラ３−２用の原点マーカ２０をそれぞれ付設してもよいし、カメラ３−１とカメラ３−２の共通の撮像範囲内に１つの原点マーカ２０を付設してもよい。あるいは、上記実施の形態１でも述べたように、原点マーカ２０を省略して仮想の原点を設定してもよい。
また、カメラ３−１，３−２は、３台以上であってもよい。

【0050】

以上より、実施の形態２によれば、作業管理装置１０のマーカ認識部１２は、複数の方向から作業領域を撮像した複数の画像データを取得し、当該複数の画像のうちの少なくとも１つの画像に含まれる検査マーカ２１を認識し、マーカ位置算出部１３は、検査マーカ２１が認識された画像データに基づいて、原点に対する検査マーカ２１の三次元位置を算出するように構成した。このように、複数台のカメラ３−１，３−２をワーク１に対して死角がないように配置することで、作業者およびワーク１がどのような位置にあっても撮像が可能となり、ねじ締め作業の正誤判定を行うことができる。
また、複数の角度からワーク１を撮像することにより、光の反射によるワーク１の画像処理精度の低下を抑制する効果もある。

【0051】

実施の形態３．
図９は、この発明の実施の形態３に係る作業管理システムの、管理対象の一例を示す。本実施の形態３では、ワーク１が時計回りに回転自在であり、作業者はワーク１を回転させて姿勢を変更してねじ締め作業を行う。ワーク１の姿勢が変更する場合、図９に示すようにワーク１の所定位置に２つの原点マーカ２０−１，２０−２を付設する。

【0052】

本実施の形態３の作業管理装置は、図１に示す作業管理装置１０と図面上では同様の構成であるため、以下では図１を援用して説明する。
作業管理装置１０において、マーカ定義記憶部１１には原点マーカ２０−１，２０−２および検査マーカ２１の定義情報が予め格納されている。マーカ認識部１２は、カメラ３から取得した画像上にＡＲマーカを認識すると共に、マーカ定義記憶部１１の定義情報に基づいてこれらＡＲマーカが原点マーカ２０−１か、原点マーカ２０−２か、検査マーカ２１かを識別する。

【0053】

マーカ位置算出部１３は、マーカ認識部１２の認識結果に基づいて、原点マーカ２０−１，２０−２および検査マーカ２１の三次元位置および姿勢を算出する。このとき、マーカ位置算出部１３は、原点マーカ２０−１，２０−２のいずれか一方の三次元位置を原点とし、原点マーカ２０−１，２０−２のもう一方の原点に対する三次元位置を算出する。さらに、マーカ位置算出部１３は、原点マーカ２０−１，２０−２の各三次元位置に基づいて、三角測量の原理で、原点に対する検査マーカ２１の三次元位置を算出する。算出した検査マーカ２１の三次元位置は、トルクレンチ２の位置として作業履歴記憶部１４に記憶される。
これ以降の処理は、上記実施の形態１と同様のため説明を省略する。

【0054】

なお、図示例では三角測量の原理を利用して検査マーカ２１の三次元位置を算出するために、２つの原点マーカ２０−１，２０−２を用いたが、３つ以上用いてもよい。
また、本実施の形態３の方法を、固定のカメラ３に対してワーク１が移動する場合に適用したが、反対に、固定のワーク１に対してカメラ３が移動する場合にも適用可能である。

【0055】

以上より、実施の形態３によれば、作業管理装置１０のマーカ認識部１２は、原点マーカ２０−１，２０−２が付設された作業領域を撮像した画像データを取得し、当該画像に含まれる原点マーカ２０−１，２０−２および検査マーカ２１を認識し、マーカ位置算出部１３は、マーカ認識部１２で認識した原点マーカ２０−１，２０−２の各三次元位置を原点とし、三角測量の原理を利用して検査マーカ２１の三次元位置を算出するように構成した。このため、ねじ締め作業時にワーク１の姿勢を変更する場合にも、作業位置を検出でき、作業の位置と順序の正誤を判定することができる。

【0056】

なお、上記実施の形態３は、ワーク１とカメラ３の位置が相対的に変化する場合にトルクレンチ２の位置を検出できるようにしたものであるが、上記実施の形態１のようにワーク１とカメラ３の位置関係が固定されている場合にも適用可能である。この場合にはトルクレンチ２の位置の検出精度が向上する効果がある。

【0057】

実施の形態４．
図１０は、この発明の実施の形態４に係る作業管理システムの、管理対象の一例を示す。本実施の形態４では、前工程でねじ穴１ｅ，１ｆにねじが締結され、本工程でねじ穴１ａ〜１ｄにねじが締結されるものとする。そして、前工程でねじの締め忘れ等の不備があった場合、図１０に示すようにワーク１に注意マーカ２２を付設する。
本工程において作業者は、注意マーカ２２が付設されたワーク１に対し、先ずねじ穴１ｅ，１ｆのねじ締め作業を行い、次に上記実施の形態１と同様にねじ穴１ａ〜１ｄのねじ締め作業を行うこととする。

【0058】

本実施の形態４の作業管理装置は、図１に示す作業管理装置１０と図面上では同様の構成であるため、以下では図１を援用して説明する。
作業管理装置１０において、マーカ定義記憶部１１には、原点マーカ２０、検査マーカ２１および注意マーカ２２の定義情報が予め格納されている。注意マーカ２２の定義情報としては、注意マーカ２２を識別するための、白地部分に描かれたパターンの情報、前工程に不備が生じたワーク１であることを表す情報等が設定されている。

【0059】

また、作業手順記憶部１６には、本工程のねじ穴１ａ〜１ｄについてねじ締め作業を行う位置および順序を表す作業手順の情報に加え、前工程のねじ穴１ｅ，１ｆについてねじ締め作業を行う位置および順序を表す作業手順の情報が、予め格納されている。さらに、注意マーカ２２が付設されたワーク１に対して前工程の作業手順、本工程の作業手順の順番に作業手順を実施することを表した情報と、注意マーカ２２の無いワーク１に対して本工程の作業手順のみを実施することを表した情報とが予め格納されている。

【0060】

マーカ認識部１２は、カメラ３から取得した画像上にＡＲマーカを認識すると共に、マーカ定義記憶部１１の定義情報に基づいてこれらＡＲマーカが原点マーカ２０か、検査マーカ２１か、注意マーカ２２かを識別する。このとき、注意マーカ２２を識別すると、マーカ認識部１２から作業履歴記憶部１４へ、このワーク１に注意マーカ２２が付設されていることを表す注意情報を出力する。作業履歴記憶部１４は、マーカ位置算出部１３から入力されるトルクレンチ２の位置、および工具状態検知部１５から入力されるトルクアップ信号とそのときのトルク値に加え、マーカ認識部１２から入力される注意情報を記憶する。

【0061】

作業正誤判定部１７は、作業履歴記憶部１４に注意情報が登録されているか否かに応じて、作業手順の情報を切り替えて、ねじ締め作業の正誤判定を行う。具体的には、作業正誤判定部１７が先ず作業履歴記憶部１４に注意情報が登録されているか否かを確認し、注意情報が登録されていない場合には、上記実施の形態１と同様に、ねじ穴１ａ〜１ｄの順序でねじ締め作業が行われているか否かを判定し、正誤判定結果を作業履歴記憶部１４へ出力する。一方、注意情報が登録されている場合には参照する作業手順の情報を切り替え、ねじ穴１ｅ，１ｆ，１ａ〜１ｄの順序でねじ締め作業が行われているか否かを判定し、正誤判定結果を作業履歴記憶部１４へ出力する。

【0062】

報知部１８は、作業正誤判定部１７からねじ締め作業が間違った順序で行われていることを示す情報が入力されると、その旨を示す情報を作業者に提示する。これにより、例えば作業者がワーク１の不備に気付かず通常の作業手順に沿ってねじ穴１ａのねじ締め作業を開始した場合に、正しいねじ締め作業位置（ねじ穴１ｅ）を作業者に報知することができる。
これ以外の処理は、上記実施の形態１と同様のため説明を省略する。

【0063】

なお、注意マーカ２２が付設されたワーク１に対して行う作業は、上記説明の例に限定されるものではない。

【0064】

以上より、実施の形態４によれば、作業管理装置１０の作業手順記憶部１６は、ねじ締め作業の正誤を判定するための情報を複数有し、マーカ認識部１２は、画像に新たな注意マーカ２２が含まれている場合には当該注意マーカ２２を認識し、作業正誤判定部１７は、マーカ認識部１２で注意マーカ２２を認識した場合と認識しなかった場合とで、ねじ締め作業の正誤を判定するための情報を切り替えて判定を行うように構成した。このため、通常の作業手順だけでなく、ワーク１に不備があった場合等の変則的な作業手順を行う場合にもその作業の正誤を判定することができる。

【0065】

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である

【符号の説明】

【0066】

１ ワーク（工作物）、１ａ〜１ｆ ねじ穴、２ トルクレンチ（工具）、２ａ 通信機、２ｂ 受信機、３，３−１，３−２ カメラ、１０ 作業管理装置、１１ マーカ定義記憶部、１２ マーカ認識部、１３ マーカ位置算出部、１４ 作業履歴記憶部、１５ 工具状態検知部、１６ 作業手順記憶部、１７ 作業正誤判定部、１８ 報知部、１９ 工具駆動制御部 ２０，２０−１，２０−２ 原点マーカ（第２、第３のマーカ）、２１ 検査マーカ（第１のマーカ）、２２ 注意マーカ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】