特開 2024-125041 作業支援システム、方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125041

(43)【公開日】2024-09-13

(54)【発明の名称】作業支援システム、方法及びコンピュータプログラム

(51)【国際特許分類】

   B23P 19/06 20060101AFI20240906BHJP

【ＦＩ】

B23P19/06 K

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023033109

(22)【出願日】2023-03-03

(71)【出願人】

【識別番号】390033857

【氏名又は名称】株式会社フジキン

(74)【代理人】

【識別番号】100103872

【弁理士】

【氏名又は名称】粕川 敏夫

(74)【代理人】

【識別番号】100149456

【弁理士】

【氏名又は名称】清水 喜幹

(74)【代理人】

【識別番号】100194238

【弁理士】

【氏名又は名称】狩生 咲

(74)【代理人】

【識別番号】100205648

【弁理士】

【氏名又は名称】森田 真一

(72)【発明者】

【氏名】中田 朋貴

(72)【発明者】

【氏名】両角 亮

(72)【発明者】

【氏名】中田 知宏

(72)【発明者】

【氏名】松田 隆博

(72)【発明者】

【氏名】吉田 貴洋

(72)【発明者】

【氏名】原田 章弘

(72)【発明者】

【氏名】鈴木 裕也

(72)【発明者】

【氏名】丹野 竜太郎

(57)【要約】

【課題】作業環境の影響を受けることなく、適切にネジ止め作業の評価を行うこと。
【解決手段】作業支援システムは、製品の図面上に座標系を構築する座標系構築部１２と、トルクドライバによるネジ止め作業において、トルクドライバの先端の座標系における座標を抽出し、抽出したトルクドライバの先端の座標に基づいてネジ止め作業が行われたネジ穴を特定する識別部１３と、ネジ止め作業中にネジに掛かったトルクをトルクデータとしてトルクドライバから受信する通信処理部１５と、トルクドライバから受信したトルクデータ及び所定の評価条件に基づき、識別部で特定されたネジ穴に対するネジ止め作業の評価を行う評価部１４と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する作業支援システムであって、
製品の図面上に座標系を構築する座標系構築部と、
トルクドライバによるネジ止め作業において、撮像画像から前記トルクドライバの先端の前記座標系における座標を抽出し、抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する識別部と、
前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する通信処理部と、
前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、前記識別部で特定されたネジ穴に対するネジ止め作業の評価を行う評価部と、
を備えた、
作業支援システム。

【請求項2】

請求項１に記載の作業支援システムにおいて、
前記トルクドライバは、複数のマーカーを備え、
前記識別部は、それぞれの前記マーカーと前記トルクドライバの先端との距離に基づいて、前記トルクドライバの先端の座標を抽出する、
作業支援システム。

【請求項3】

請求項２に記載の作業支援システムにおいて、
前記トルクドライバは、アームを介してドライバ本体から離間した位置に設置された前記マークを備えている、
作業支援システム。

【請求項4】

請求項１に記載の作業支援システムにおいて、
前記座標系構築部は、前記図面上の複数のネジ穴を基準ネジ穴として選択し、選択した前記基準ネジ穴の位置に基づいて前記座標系を構築する、
作業支援システム。

【請求項5】

請求項４に記載の作業支援システムにおいて、
前記座標系構築部は、前記図面上の四隅のネジ穴を前記基準ネジ穴として選択する、
作業支援システム。

【請求項6】

請求項１に記載の作業支援システムにおいて、
前記評価部は、各ネジ穴に対して所定のトルクでネジ止め作業が行われたかどうかを前記評価条件としてネジ止め作業の評価を行う、
作業支援システム。

【請求項7】

請求項１に記載の作業支援システムにおいて、
ネジ止め作業中のパーツに対する全てのネジ止めが完了する前に次のパーツのネジ止め作業が行われた場合、エラーを通知する、
作業支援システム。

【請求項8】

ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する方法であって、
コンピュータが、
製品の図面上に座標系を構築する処理と、
トルクドライバによるネジ止め作業において、撮像画像から前記トルクドライバの先端の前記座標系における座標を抽出する処理と、
抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する処理と、
前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する処理と、
前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、特定されたネジ穴に対するネジ止め作業の評価を行う処理と、
を実行する、
作業支援方法。

【請求項9】

ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するためのコンピュータプログラムであって、
コンピュータに対し、
製品の図面上に座標系を構築する処理と、
トルクドライバによるネジ止め作業において、撮像画像から前記トルクドライバの先端の前記座標系における座標を抽出する処理と、
抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する処理と、
前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する処理と、
前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、特定されたネジ穴に対するネジ止め作業の評価を行う処理と、
を実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業支援システム、方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

集積型ガスボックスの組立工程では、ベース板金の上にベースブロック等のパーツをネジ止めする工程や、当該パーツの上にさらに上部機器をネジ止めする工程がある。集積型ガスボックスには多くのネジが使用されるが、近年、集積型ガスボックスは小型化しており、ネジの締め忘れなどの締結の不具合が起きやすくなっている。また、集積型ガスボックスは様々なバージョンのものが作製されるが、コストの抑制等のために部品は共通化され、異なる部品であってもベース板金上の同じ場所に取り付けられることがあり、このようなこともネジの締め忘れを招く原因になっている。

【0003】

特許文献１には、集積型ガスボックスの組立工程のうち、ベース部品にパーツをネジ止めする作業において、ネジ止めが必要な全てのネジ穴に適切にネジ止めが行われたか否かを評価する作業支援システム等が開示されている。

【0004】

特許文献１によれば、「ベース板金には、ネジ穴の深さ方向に対して略直角な方向、例えば上方から照明の光が照射され、この状態で作業が行われる。これにより、ベース板金を撮影した撮影画像からネジ穴を識別する際、ネジ穴が周辺に比して暗くなり、ネジ穴と周辺とのコントラストが強調されてネジ穴を識別しやすくなる」旨記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－０４９６３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１の方法でネジ穴を識別する場合、ベース板金上に下部ブロックを取り付ける際の作業を管理することはできるが、下部ブロック上に流体制御機器を取り付ける場合が想定されておらず、この場合、下部ブロックの影の影響でネジ穴を識別することができない場合があった。このため、下部ブロック上に流体制御機器を取り付ける際に、ネジ締結の判定を行うことができない場合があった。

【0007】

また、作業が必要なネジ穴の座標を、撮像画像を用いて実際のベース板金のネジ穴から算出しているため、ブロック等の機器の配置とネジ穴の配置とが一致していなければならない。しかしながら、実際には、ベース板金上で全てのネジ穴に上部機器を取り付けない場合もあるので、このような場合に対応ができなかった。

【0008】

そこで、本発明は、作業環境の影響を受けることなく、適切にネジ止め作業の評価を行うことを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の一の観点に係る作業支援システムは、ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する作業支援システムである。作業支援システムは、製品の図面上に座標系を構築する座標系構築部と、トルクドライバによるネジ止め作業において、前記トルクドライバの先端の座標系における座標を抽出し、抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する識別部と、前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する通信処理部と、前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、前記識別部で特定されたネジ穴に対するネジ止め作業の評価を行う評価部と、を備えている。

【0010】

また、前記トルクドライバは、複数のマーカーを備え、前記識別部は、それぞれの前記マーカーと前記トルクドライバの先端との距離に基づいて、前記トルクドライバの先端の座標を抽出するものとしてもよい。

【0011】

また、前記トルクドライバは、アームを介してドライバ本体から離間した位置に設置された前記マークを備えているものとしてもよい。

【0012】

また、前記座標系構築部は、前記図面上の複数のネジを基準ネジとして選択し、選択した前記基準ネジの位置に基づいて前記座標系を構築するものとしてもよい。

【0013】

また、前記座標系構築部は、前記図面の四隅のネジを前記基準ネジとして選択するものとしてもよい。

【0014】

また、前記評価部は、各ネジ穴に対して所定のトルクでネジ止め作業が行われたかどうかを前記評価条件としてネジ止め作業の評価を行うものとしてもよい。

【0015】

また、ネジ止め作業中のパーツに対する全てのネジ止めが完了する前に次のパーツのネジ止め作業が行われた場合、エラーを通知するものとしてもよい。

【0016】

また、本発明の別の観点に係る作業支援方法は、ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援する方法であって、コンピュータが、製品の図面上に座標系を構築する処理と、トルクドライバによるネジ止め作業において撮像画像から前記トルクドライバの先端の前記座標系における座標を抽出する処理と、抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する処理と、前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する処理と、前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、特定されたネジ穴に対するネジ止め作業の評価を行う処理と、を実行する。

【0017】

また、本発明のさらに別の観点に係るコンピュータプログラムは、ネジ穴が設けられているベース部品にパーツをネジ止めするネジ止め作業を支援するためのコンピュータプログラムであって、コンピュータに対し、製品の図面上に座標系を構築する処理と、トルクドライバによるネジ止め作業において、前記トルクドライバの先端の前記座標系における座標を抽出する処理と、抽出した前記トルクドライバの先端の座標に基づいて前記ネジ止め作業が行われたネジ穴を特定する処理と、前記ネジ止め作業中にネジに掛かったトルクをトルクデータとして前記トルクドライバから受信する処理と、前記トルクドライバから受信した前記トルクデータ及び所定の評価条件に基づき、特定されたネジ穴に対するネジ止め作業の評価を行う処理と、を実行させる。なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、ＣＤ－ＲＯＭなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。

【発明の効果】

【0018】

本発明によれば、作業環境の影響を受けることなく、適切にネジ止め作業の評価を行うことができる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の形態１に係る作業支援システムの機能を示した機能ブロック図である。

【図2】実施の形態１に係る作業支援システムにおいて、作業対象の集積型ガスボックスのベース板金を示した平面図である。

【図3】実施の形態１に係る作業支援システムにおいて、ベース板金にベースブロックをネジ止めする様子を示した斜視図である。

【図4】実施の形態１に係る作業支援システムにおいて、ベースブロックがネジ止めされたベース板金を示した平面図である。

【図5】実施の形態１に係る作業支援システムにおいて、ベース部品情報記憶部に記憶されるデータの一例を示した図である。

【図6】実施の形態１に係る作業支援システムにおいて、作業情報記憶部に記憶されるデータの一例を示した図である。

【図7】実施の形態１に係るトルクドライバの外観構成を例示する図である。

【図8】実施の形態１に係る作業支援システムによる処理の流れを示したシーケンス図である。

【図9】実施の形態１に係るネジ止め作業時にモニタに表示される画面を例示する図である。

【図10】実施の形態１に係るネジ止め作業時にモニタに表示される他の画面を例示する図である。

【図11】実施の形態２に係るネジ止め作業時にモニタに表示される画面を例示する図である。

【発明を実施するための形態】

【0020】

（実施の形態１）
以下、本発明の実施形態に係る作業支援システムについて説明する。
実施の形態１に係る作業支援システムは、集積型ガスボックスの組立工程において、ベース板金上にベースブロックをネジ止めする作業を支援するシステムである。図１は、本発明の実施の形態１に係る作業支援システムの機能を示した機能ブロック図である。図１に示されるように、本実施の形態に係る作業支援システム１は、ネットワークＮＷを介してトルクドライバ２と通信可能に構成されている。作業支援システム１は、トルクドライバ２からネジ止め時のトルクデータを取得し、このトルクデータに基づいてネジ止め作業を評価する。

【0021】

ここでは、まず、集積型ガスボックスの組立工程を構成するベースブロックのネジ止め作業の概略について、図２－図４を参照して説明する。図２は、実施の形態１に係る作業支援システムにおいて、作業対象の集積型ガスボックスのベース板金を示した平面図である。図３は、実施の形態１に係る作業支援システムにおいて、ベース板金にベースブロックをネジ止めする様子を示した斜視図である。図４は、実施の形態１に係る作業支援システムにおいて、ベースブロックがネジ止めされたベース板金を示した平面図である。

【0022】

集積型ガスボックスは、ベース部品であるベース板金３上に、パーツの一つであるベースブロック３１を複数ネジ止めし、その上に流体制御機器などのパーツをネジ止めして作製される。なお、ベースブロック３１は図示しない流路を持ち、複数の流体制御機器同士の流路をつなぐ役割をする。

【0023】

図２に示されるように、ベース板金３はベースブロック３１やその他の所定のパーツがネジ止めされる個所に、複数の円形のネジ穴３ａが設けられた板金である。このベース板金３にベースブロック３１等のパーツをネジ止めする作業は、ベース板金３を壁に立てかけたり、上方から吊るしたり、あるいは所定の支持台上に支持したりすることにより、ベース板金３を縦にした状態、即ち板面を鉛直方向に略沿わせた状態に固定して行われる。なお、ネジ穴３ａとは、貫通孔と不貫通穴の両方を総称するものとする。また、ベース板金３を縦にせずに、ベース板金３を床面と略平行に配置して作業を行うこともできる。

【0024】

ベース板金３をこのような状態に維持しながら、図３に示されるように、作業者はベース板金３の所定の位置にベースブロック３１を押し付け、ベースブロック３１に設けられているネジ穴３１ａを介してベース板金３のネジ穴３ａにネジ３ｂを螺入させる。ベース板金３の所定のネジ穴３ａにベースブロック３１がネジ止めされると、図４に示される状態となり、ネジ止め作業が終了となる。なお、図２－図４では、２本のネジで取り付けられるブロックが例示されているが、例えば４本や６本等、より多くのネジで取り付けられる場合もある。

【0025】

なお、ベース板金３には、適宜、ベースブロック３１以外のパーツもネジ止めされる場合もあるが、以下の説明では、パーツの一つとして、ベースブロック３１がベース板金３にネジ止めされる場合について説明する。

【0026】

●作業支援システム１
作業支援システム１は、ＣＰＵ（Central Processing Unit）などの演算装置、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、といったメモリ、ＣＰＵが実行するコンピュータプログラム等によって実現される。これにより、図１に示されるように、撮影部１１、座標系構築部１２、識別部１３、評価部１４、通信処理部１５、ベース部品情報記憶部１Ａ、作業情報記憶部１Ｂ、製品図面記憶部１Ｃ、トルクドライバ情報記憶部１Ｄ等からなる機能ブロックが構成される。また、作業支援システム１には、モニタ１６が接続されている。

【0027】

作業支援システム１は、無線ＬＡＮ、Bluetooth（登録商標）、IrDA、あるいはZigbee（登録商標）といった無線によるネットワークＮＷを介してトルクドライバ２と通信可能に構成されている。なお、本例では、作業支援システム１とトルクドライバ２を通信可能とするネットワークＮＷを無線によって構成し、トルクドライバ２を取り回しやすくしている。ただし、ネットワークＮＷは、これに限らず、有線接続によって構成してもよい。

【0028】

撮影部１１は、ベース板金３やネジ止め作業中のトルクドライバ２等を被写体として撮影を実行する処理部である。この撮影部１１は、被写体像を撮像素子の受光面に結像させるレンズ、レンズにより結像した被写体像を撮像して画像信号を制御部に出力するCMOSイメージセンサ等の撮像素子、撮像素子から取得した画像信号から撮影画像を生成する制御部等によって構成され、撮影対象の撮影画像を生成することができる。また、撮影部１１は、被写体を所定のフレームレートで撮影することもできる。なお、撮影部１１は複数設けられてもよく、被写体としてのベース板金３を水平方向と鉛直方向から撮影する等して、トルクドライバ２の先端や先端の座標等の抽出精度を高めることができる。

【0029】

座標系構築部１２は、作製される製品の図面上に座標系を構築する。座標系構築部１２は、例えば、図面上の四隅のネジ穴を基準ネジ穴として選択し、選択した基準ネジ穴の位置に基づき図面上の座標系を構築する。

【0030】

識別部１３は、トルクドライバ２によるネジ止め作業時において、撮影画像からトルクドライバ２の先端の図面上の座標系における座標を抽出する。具体的には、識別部１３は、トルクドライバ２の複数のマーカー２Ｂの座標、及び各マーカー２Ｂとトルクドライバ２の先端との距離に基づき、トルクドライバ２の先端の座標を抽出する。より具体的には、識別部１３は、撮影画像に対してハフ変換（Hough transform）や学習済みのニューラルネットワークを用いて、トルクドライバ２の複数のマーカー２Ｂを抽出し、これらのマーカー２Ｂの位置、及び各マーカー２Ｂとトルクドライバ２の先端との距離に基づき、撮像画像におけるトルクドライバ２の位置を抽出する。識別部１３は、基準ネジ穴の図面上の座標系における座標と撮像画像における基準ネジ穴の位置との位置合わせを各基準ネジ穴に対して行い、図面上の座標系における各基準ネジ穴の座標と、撮像画像上における各基準ネジの位置とを対応させた位置合わせ情報を生成する。また、識別部１３は、ネジ止め作業中、撮像画像上のトルクドライバ２の先端を抽出し、抽出した先端及び位置合わせ情報に基づき、ネジ止め作業が行われたネジ穴３１ａの図面上の座標を抽出する。なお、トルクドライバ２のマーカー２Ｂについては、後で詳しく説明する。

【0031】

評価部１４は、トルクドライバ２から受信したネジ止め作業時のトルクデータに基づき、ベーブブロック３１の各ネジ穴３１ａに対して行われたネジ止め作業の評価を行う。ネジ止めの評価は、例えば、ネジ穴３１ａごとに所定のトルクでネジ止めが行われた回数（例えば２回）によって判定されてもよい。

【0032】

この結果、評価部１４は、ネジ止めされるべき全てのネジ穴３１ａに所定の回数のネジ止めが行われたと判定すると、適切なネジ止め作業が行われたと評価する。一方、ネジ止め対象のネジ穴３１ａであるにも関わらず、所定の回数のネジ止めが行われていない場合、評価部１４は、ネジ止め作業が完了していないと評価する。

【0033】

なお、所定のトルクが掛かっているか否かについても、評価項目としてもよい。この場合、評価部１４は、掛かったトルクが不十分である場合や、トルクが掛かり過ぎている場合についても、適切にネジ止めされていないと判定してもよい。

【0034】

また、評価部１４は、ネジ止め作業の進捗状況を算出し、モニタ１６に表示させてもよい。進捗状況は、例えば、ネジ止め対象のネジ穴３１ａの個数に対するネジ止め作業が完了したネジ穴３１ａの個数の割合で規定することができる。また、進捗状況と併せて、あるいは進捗状況に代えてネジ止め対象のネジ穴３１ａの残数がモニタ１６に表示されてもよい。

【0035】

通信処理部１５は、無線ＬＡＮ、Bluetooth（登録商標）、IrDA、あるいはZigbee（登録商標）といった無線によるネットワークＮＷを介したトルクドライバ２との情報を送受信可能に構成されている。

【0036】

ベース部品情報記憶部１Ａは、ベース部品であるベース板金３の情報を記憶する記憶部である。図５は、実施の形態１に係る作業支援システムにおいて、ベース部品情報記憶部に記憶されるデータの一例を示した図である。ベース部品情報記憶部１Ａには、例えば、図５に示されるように、座標系を構築する際に選択した各基準ネジ穴の図面上の座標が記憶されている。また、ベース部品情報記憶部１Ａには、図面上の座標系における各基準ネジ穴の座標と、撮像画像上の各基準ネジの位置とを対応させた位置合わせ情報を記憶してもよい。また、ベース部品情報記憶部１Ａには、図面上の座標系におけるベース板金３の各ネジ穴３ａの座標、ベースブロック３１の各ネジ穴３１ａの座標が記憶されてもよい。

【0037】

作業情報記憶部１Ｂは、トルクドライバ２によってベース板金３にベースブロック３１や後述する上位ブロック３３（例えば流体制御機器等）がネジ止めされる作業に関する情報を記憶する記憶部である。図６は、実施の形態１に係る作業支援システムにおいて、作業情報記憶部に記憶されるデータの一例を示した図である。作業情報記憶部１Ｂには、例えば、図６に示されるように、撮像画像上の座標系におけるトルクドライバ２の先端の座標と、当該座標におけるトルクデータが関連付けて作業情報として記憶されている。

【0038】

製品図面記憶部１Ｃは、ネジ止め作業により作製する製品の図面データを記憶する。図面データは、例えば、階層化された２Ｄ図面のデータ、３Ｄ図面のデータである。ここで、階層化された図面とは、ベースブロック取付前の状態（すなわちベース板金のみ）、ベースブロック取付後の状態（すなわち上位ブロック取付前）、上位ブロック取付後の状態のように、組立時にネジ穴位置や各部材の位置がわかりやすいように、階層で分けた図面のことをいう。これらの図面データは、作業開始前に基準ネジ穴を選択して図面上の座標系を構築するために用いられる。なお、図面上の座標系は、階層化された図面間で共通でもよいし、図面ごとに異なっていてもよい。また、図面データは、ネジ止め作業の進捗状況、ネジ止め作業の評価結果の表示等に用いられてもよい。

【0039】

モニタ１６は、例えば、ネジ止め作業により作製する製品の２Ｄ図面、３Ｄ図面、ネジ止め作業の進捗状況、ネジ止め作業の評価結果等、ネジ止め作業に関わる各種画像を表示する。また、モニタ１６は、ネジ止め作業時におけるエラー表示等、作業者に対する情報提供を行うための画像を表示する。

【0040】

●トルクドライバ２
トルクドライバ２は、ベース板金３にベースブロック３１をネジ止めする際に使用される工具である。トルクドライバ２は、ネジ止めの際に掛かったトルクを検出及び測定し、これを作業支援システム１に供給することができる。トルクドライバ２は、図１に示すように、計測部２１及び通信処理部２２を含む機能部を構成する。

【0041】

なお、トルクドライバ２は、ネジ止め作業の評価に必要なトルクを計測する計測部２１及び通信処理部２２からなる機能部とは別に、ネジ止めに必要な構造あるいは機能として、ネジ３ｂ等の締結部品の規格に応じたビット、所定のトルクに達した際にビットを空転させるためのラチェット機構などを備えている。

【0042】

計測部２１は、トルクを検出すると共に、その大きさを計測することのできるトルクセンサによって実現される。計測部２１は、ベースブロック３１のネジ穴３１ａにネジ止めを行った際に要したトルクを計測し、トルクの計測値を含むトルクデータを生成する。なお、トルクセンサは、例えば、ビットにモータの出力を伝達する出力軸にトルクが加わった際に、当該出力軸に発生する歪みを検出したり、当該歪みの大きさを計測したりすることで、ネジ止め作業時のトルクの検出や計測を可能としている。

【0043】

通信処理部２２は、作業支援システム１とネットワークＮＷを介した通信を可能とする機能部である。この通信処理部２２により、トルクドライバ２から作業支援システム１に対し、計測部２１によって生成されたトルクデータを送信することができる。

【0044】

なお、トルクドライバ２はこれらの機能部のほかに、過大なトルクを制限するリミッタや、ネジ止め作業中にかけているトルクを作業者に認識可能とするディスプレイなどを備えていてもよい。

【0045】

図７は、実施の形態１に係るトルクドライバの外観構成を例示する図である。図７に示すように、トルクドライバ２は、ネジ止めを行うための工具を含むドライバ本体２Ａ、トルクドライバ２の先端の座標を検出するためのマーカー２Ｂ、計測部２１及び通信処理部２２を含む機能部を収容する収容部２Ｄ、グリップ部２Ｅを備えている。図７に示すように、マーカー２Ｂは複数設けられ、これらのマーカー２Ｂは、アーム２Ｃを介して、ドライバ本体２Ａから離間した位置に設置されている。

【0046】

また、これらのマーカー２Ｂは、トルクドライバ２の先端との距離がそれぞれ異なるように設置されている。これにより、複数のマーカー２Ｂの位置と、これらのマーカー２Ｂとトルクドライバ２の先端とのそれぞれの距離に基づいて、トルクドライバ２の先端を抽出することができるようになっている。

【0047】

なお、図７には、マーカー２Ｂを６個備えたトルクドライバ２の例が示されているが、マーカー２Bの個数はこれに限定されない。また、マーカー２Ｂの形状は、図７のような丸形に限定されないし、マーカー２Ｂごとに異なってもよい。また、一部のマーカー２Ｂは、ドライバ本体２Ａに接した状態で設けられてもよい。また、アーム２Ｃの形状は図７の例に限定されない。

【0048】

●ネジ止め作業の流れ
次に、実施の形態１に係る作業支援システム１による処理の流れについて、図８を参照して説明する。図８は、実施の形態１に係る作業支援システムによる処理の流れを示したシーケンス図である。

【0049】

ステップＳ１０１は、ネジ止め作業前の事前準備として行われる。ステップＳ１０１において、作業者は、アプリケーションを起動し、作製する製品の図面（例えば３Ｄ図面）をモニタ１６に表示し、図面上の座標系を構築するための基準ネジ穴を複数選択する。基準ネジ穴として、例えば図面上の四隅のネジ穴３ａが選択されてもよい。

【0050】

座標系構築部１２は、各基準ネジ穴の位置に基づいて図面上の座標系を構築する。そして、座標系構築部１２は、基準ネジ穴を含む図面上の各ネジ穴３ａに対し、構築した座標系における座標をそれぞれ算出する。座標系構築部１２は、基準ネジ穴を含む各ネジと図面上の座標系における座標とを対応させた座標情報を含む座標ファイルを作成する。作成された座標ファイルは、例えば、ベース部品情報記憶部１Ａ等に保存されてもよい。

【0051】

ステップＳ１０２では、作業現場において、作業支援システム１にトルクドライバ２を認識させる。まず、撮影部１１によりトルクドライバ２が撮像される。撮像画像上における各マーカー２Ｂとトルクドライバ２の先端との距離が抽出される。ここでは、すべてのマーカー２Ｂとトルクドライバ２の先端との距離が抽出されるよう、撮像が複数回行われてもよい。そして、撮像画像上における抽出された各マーカー２Ｂとトルクドライバ２の先端との距離と、実際の距離とを対応させた、先端位置識別情報が生成される。生成された先端位置識別情報は、トルクドライバ情報記憶部１Ｄに記憶される。

【0052】

ステップＳ１０３では、図面上のネジ穴と撮像画像上のネジ穴との位置合わせが行われる。作業者は、ネジ止め位置を検出するアプリケーションを起動し、作製する製品の図面（例えば所定の位置にベースブロックが配置された２Ｄ図面）をモニタ１６に表示させる。この図面は、図面上の座標系を構築する際に使用された図面と対応する図面であって、ここでは、作製する製品の３Ｄ図面に対応する２Ｄ図面となっている。

【0053】

図９は、実施の形態１に係るネジ止め作業時にモニタに表示される画面を例示する図である。図９には、ベース板金３にベースブロック３１を取り付ける場合の画面が示されている。画面左側の破線で囲んだ箇所は、図面上のベース板金３の部分拡大図である。この図に示すように、図面には実際の製品に対応するベース板金３、ネジ穴３ａがそれぞれ示されている。

【0054】

画面右側の破線で囲んだ箇所は、図面上のベースブロックの部分拡大図である。この図に示すように、図面には実際の製品に対応するベースブロック３１、ネジ穴３１ａがそれぞれ示されている。

【0055】

作業者は、位置合わせを行うベースブロック３１のネジ穴３１ａを位置合わせ用ネジ穴として指定し、ベース板金３上の所定の位置にベースブロック３１を配置する。そして、作業者は、位置合わせ用ネジ穴にトルクドライバ２の先端を合わせる。撮影部１１は、この状態でトルクドライバ２を撮像する。識別部１３は、撮像画像から各マーカー２Ｂを抽出すると、抽出したマーカーの位置及び先端位置識別情報に基づき、撮像画像上のトルクドライバ２の先端の位置を抽出する。識別部１３は、抽出した先端の位置を、位置合わせ用ネジ穴の位置として認識する。そして、識別部１３は、位置合わせ用ネジ穴３１ａの座標と、抽出したトルクドライバ２の先端の位置とを対応付ける。識別部１３は、このような処理を複数の位置合わせ用ネジ穴に対し順次行うことで、図面上の座標系における位置合わせ用ネジ穴の座標と、撮像画像上のトルクドライバ２の先端の位置とを対応させた位置合わせ情報を生成する。なお、位置合わせ用ネジ穴は、１個のみでもよい。このように、図面上の座標と、撮像画像の位置とを対応させることができる。

【0056】

ステップＳ１０４では、ステップＳ１０３において作成された位置合わせ情報が適切かどうか判定される。具体的には、識別部１３は、撮像画像から任意のネジ穴３１ａに配置されたトルクドライバ２の先端を抽出し、撮像画像上のトルクドライバ２の先端の位置、及び位置合わせ情報に基づき、撮像画像から抽出したトルクドライバ２の先端の図面上の座標系の座標を抽出する。そして、評価部１４は、識別部１３で抽出されたトルクドライバ２の先端の座標と、この任意のネジ穴３１ａの図面上の座標とを比較し、位置合わせ情報が適切かどうか判定する。

【0057】

判定条件として、例えば、抽出したトルクドライバ２の先端の座標と図面上の座標との差分が所定の閾値以下であれば、位置合わせ情報は適切であると判断され（Ｙｅｓ）、ステップＳ１０５に移行する。一方、抽出したトルクドライバ２の先端の座標と図面上の座標との差分が所定の閾値より大きければ、位置合わせ情報は適切でないと判断され（Ｎｏ）、位置合わせ情報が再度生成される（ステップＳ１０３）。所定の閾値は、例えばベース板金３のネジ穴３ａの間隔やベースブロック３１のネジ穴３１ａの間隔に基づいて規定してもよい。なお、ステップＳ１０４は、必須の工程ではなく、必要に応じて適宜省略してもよい。

【0058】

図面上の座標系と撮像画像との位置合わせが完了すると、撮影部１１によるネジ止め作業の撮影が開始され（ステップＳ１０５）、作業者はベース板金３にベースブロック３１をネジ止めする作業を開始する（ステップＳ１０６）。

【0059】

作業者によるネジ止め作業が開始されると、作業支援システム１は、撮影部１１によってトルクドライバ２によるネジ止め作業を撮影しながら、識別部１３によって撮影画像中のトルクドライバ２の先端の座標を抽出する処理を行う（ステップＳ１０７）。この処理は、ステップＳ１０４と同様である。

【0060】

一方、トルクドライバ２はネジ止めに要したトルクを計測部２１によって計測し、計測値をトルクデータとして作業支援システム１へ送信する（ステップＳ１０８）。

【0061】

ステップＳ１０９では、受信したトルクデータ、及び所定の評価条件に基づき、ネジ止めされたネジ穴３１ａに対する評価が行われる。評価条件は特に制限されないが、例えば、ネジ穴３１ａに対して所定のトルクでネジ止めが行われたかどうかを評価条件とする。トルクに関する評価条件は、例えば、計測されたトルクが所定の範囲内であるかどうかである。

【0062】

計測されたトルクが所定の範囲内である場合（Ｙｅｓ）、ステップＳ１１０に移行する。ステップＳ１１０では、作業支援システム１は、ネジ止め評価をパスしたトルクデータを、このトルクデータを受信したときのトルクドライバ２の先端の座標と関連付けて、これらを作業情報として作業情報記憶部１Ｂに記憶させる。

【0063】

一方、計測されたトルクが所定の範囲外である場合（Ｎｏ）、トルクデータは作業情報記憶部１Ｂに記憶されず、ステップＳ１０７－Ｓ１０９の処理が再度実行される。また、このとき、モニタ１６に表示された図面の対応するネジ穴３１ａの色の変更や点滅等により、このネジ穴３１ａに対するネジ止め作業が適切に行われなかったことを作業者に通知する。

【0064】

ステップＳ１１１では、ネジ止め作業が適切な順序で行われたかどうかが判定される。一般的に、複数のネジを用いてベースブロック３１等のパーツを取り付ける場合、ネジ止め作業を行うネジ穴３１ａを順次切り替えながら、同一のネジ穴３１ａに対して複数回（例えば２回）のネジ止め作業が行われる。このため、ステップＳ１１１では、識別部１３は、例えば、作業情報記憶部１Ｂに記憶された作業情報を参照し、同一のネジ穴３１ａに対するネジ止め作業が連続して行われていないかどうかを判定する。

【0065】

同一のネジ穴３１ａに対するネジ止め作業が連続して行われたと判定された場合（Ｎｏ）、ステップＳ１１２に移行し、モニタ１６にエラー表示を行い、作業者に対し、同一のネジ穴３１ａに対するネジ止め作業が連続して行われたことをエラー通知する。

【0066】

これに対し、同一のネジ穴３１ａに対するネジ止め作業が連続して行われなかったと判定された場合（Ｙｅｓ）、ステップＳ１１３へ移行する。また、このとき、同一のネジ穴３１ａに対して複数回のネジ止め作業が行われた場合、例えば、モニタ１６に表示された図面の対応するネジ穴３１ａの色を変更したり点滅させたりする等、このネジ穴３１ａに対するネジ止め作業が完了したことを作業者に通知する。例えば、図９の右側の部分拡大図では、左側のネジ穴３１ａに対するネジ止め作業が完了し、右側のネジ穴３１ａに対するネジ止め作業が完了していない状態が示されている。

【0067】

なお、ステップＳ１１１では、ネジ止め作業の順序に代えて、同一のネジ穴３１ａに対して行われたネジ止め作業の回数を判定してもよい。この場合、同一のネジ穴３１ａに対するネジ止め作業が所定の回数に達していない場合（Ｎｏ）、モニタ１６でネジ止め回数が不足していることを作業者に通知してもよい（ステップＳ１１２）。一方、同一のネジ穴３１ａに対するネジ止め作業が所定の回数行われた場合（Ｙｅｓ）、モニタ１６に表示された図面の対応するネジ穴３１ａの色を変更したり点滅させたりする等、このネジ穴３１ａに対するネジ止め作業が完了したことを作業者に通知してもよい（図９を参照）。

【0068】

また、トルクデータに基づき、ネジに適切なトルクが掛けられているかどうかについても、評価条件に加えてもよい。これにより、例えばトルクが足りない状態でネジ止めが行われたネジを検出することが可能となる。

【0069】

ステップＳ１１３では、作業中のベースブロック３１（パーツ）に対する全てのネジ止めが行われた後、次のブロックのネジ止めが行われたかどうかが判定される。評価部１４は、ネジ止め作業中のブロックに対する全てのネジ止めが行われる前に、次のブロックのネジ止めが行われたと判定した場合（Ｎｏ）、モニタ１６にエラー表示を行い、作業者に対し、作業中のブロックに対するネジ止めが完了していないことをエラー通知する（ステップＳ１１２）。このとき、モニタ１６に表示された図面では、作業中のベースブロック３１の一部のネジ穴３１ａは、ネジ止めが完了したことを示す表示（色や点滅等）に更新されていない。これにより、作業者は、モニタ１６の表示を見ることで、ネジ止めが完了していないネジ穴３１ａを確認することができる。そして、ステップＳ１０７－Ｓ１１１により、ネジ止めが完了していないネジ穴３１ａに対するネジ止めを行う。

【0070】

一方、評価部１４が、作業中のベースブロック３１に対する全てのネジ止めが行われた後、次のベースブロック３１のネジ止めが行われたと判定した場合（Ｙｅｓ）、ステップＳ１１４に移行する。

【0071】

ステップＳ１１４では、評価部１４は、ネジ止め作業の対象となっているすべてのネジ穴３１ａに対するネジ止め作業が完了したかどうかを判定する。ネジ止め作業が未実施のネジ穴３１ａが残っている場合（Ｎｏ）、ステップＳ１０７－Ｓ１１３が再度行われる。なお、図面の各ネジ穴３１ａの色表示等だけでなく、ネジ止め作業が行われていないネジ穴３１ａの個数（ネジ止めが行われていない箇所の数）や割合等の進捗状況を示す情報がモニタ１６に表示されてもよい。

【0072】

一方、ネジ止め作業の対象となっているすべてのネジ穴３１ａに対するネジ止め作業が完了している場合（Ｙｅｓ）、ネジ止め作業は完了する。図９の例では、ベース板金３に対するすべてのベースブロック３１の取付作業が完了したことになる。なお、この場合、ネジ止め作業が完了したことを示す通知がモニタ１６に表示されてもよい（ステップＳ１１５）。

【0073】

以上の実施の形態１に係る作業支援システム１によれば、集積型ガスボックスの組立工程のうち、ベース板金３にベースブロック３１をネジ止めする作業において、ネジ止めが必要な全てのネジ穴３１ａに対して適切にネジ止め作業が行われたか否かを評価することができる。

【0074】

なお、使用が予定されていないベース板金３のネジ穴３ａについてもネジ止めされているかどうかを判別し、使用が予定されていないベース板金３のネジ穴３ａにネジ止めがされた場合には、これを不適切なネジ止め作業であると評価することができる工程が設けられてもよい。この場合、図面との不一致が生じるので、図面との不一致が生じていることをモニタ１６にエラー表示するようにしてもよい。

【0075】

図１０は、実施の形態１に係るネジ止め作業時にモニタに表示される他の画面を例示する図である。図１０には、ネジ止め対象のネジ穴３１ａが強調して表示されている。なお、この表示を用いる場合、ネジ止め作業が完了したネジ穴３１ａについては、強調表示を消去するようにしてもよいし、色が変更されてもよい。これにより、残りのネジ穴３１ａのみが強調して表示される、あるいは色が変更されていないため、ネジ止め作業の対象となっているネジ穴３１ａのうち残りのネジ穴３１ａを容易に認識することができる。

【0076】

また、以上の実施の形態１に係る作業支援システム１は、サーバ等の一つの装置として構成することもできるし、各機能部を適宜に分散して構成することも可能である。例えば、作業支援システム１が備えた撮影部１１を定点カメラによって構成すると共に、他の機能部を備えたシステムと所定のネットワークを介して接続するようにすることができる。

【0077】

＜本実施の形態による主な効果＞
本実施の形態によれば、ネジ止め作業を行っているトルクドライバ２の先端の座標を撮像画像から抽出し、抽出した座標からネジ止め作業が行われた図面上のネジ穴３１ａを特定することができる。そして、特定されたネジ穴３１ａに対するネジ止め作業の評価が行われる。この構成によれば、例えば、撮像画像からベース板金に形成されたネジ穴を抽出できなくても、ネジ止め作業が行われたネジ穴を特定することができるので、作業環境の影響を受けることなく、適切にネジ止め作業の評価を行うことが可能となる。

【0078】

従来は、例えば、光の反射や背景色等の作業環境によっては、画像処理においてマーカーの誤認識やマーカーを認識することができず、作業完了位置を正確に検出することができない場合があった。しかし、本実施の形態によれば、トルクドライバ２は、アーム２Ｃを介してドライバ本体２Ａから離間した位置に設置された複数のマーカー２Ｂを備え、それぞれのマーカー２Ｂとトルクドライバ２の先端との距離に基づいて、トルクドライバ２の先端の座標が抽出される。この構成によれば、画像処理によりマーカーを抽出すれば、トルクドライバ２の先端の座標の抽出精度を向上させることができ、ひいてはネジ止め作業が行われたネジ穴３１ａの抽出精度を向上させることが可能となる。

【0079】

また、本実施の形態によれば、図面上の四隅のネジを基準ネジとして選択する座標系構築部１２は、図面上の複数のネジを基準ネジとして選択し、選択した基準ネジの位置に基づいて第１座標系を構築する。この構成によれば、図面の全域を用いて座標系を構築することができるので、局所的な領域で構築した座標系を全域に適用するより、全域において座標系の精度を向上させることができる。

【0080】

また、本実施の形態によれば、ネジ止め作業中のパーツに対する全てのネジ止めが行われる前に次のパーツのネジ止めが行われた場合、エラーを通知する。この構成によれば、作業者によるケアレスミスをエラー通知によりサポートすることができるので、正しい順序でのネジ止め作業が可能となる。

【0081】

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、ベースブロック３１に上位ブロック３３（例えば流体制御機器等）を取り付ける場合について説明する。なお、以下では、実施の形態１と異なる箇所について説明し、実施の形態１と重複する箇所の説明は適宜省略する。

【0082】

図１１は、実施の形態２に係るネジ止め作業時にモニタに表示される画面を例示する図である。図１１に示すように、本実施の形態では、階層化された図面のうち、上位ブロック３３取付後の状態を示す図面データが用いられる。このとき、図８のステップＳ１０１では、実施の形態１で構築した図面上の座標系をそのまま利用してもよいし、図９や図１１に示す図面に基づいて、図面上の新たな座標系を構築してもよい。あるいは、ステップＳ１０４において位置合わせ情報が適切でないと判定された場合に、新たな座標系を構築してもよい。

【0083】

図１１では、上位ブロック３３に４箇所のネジ穴３３ａが設けられている場合が例示されているが、上位ブロック３３のサイズや形状に応じて、ネジ穴３３ａの個数や間隔等が異なる場合もあり得る。図１１の部分拡大図には、上側の２つのネジ穴３３ａに対するネジ止め作業が完了し、下側の２つのネジ穴３３ａに対するネジ止め作業が完了していない状態が示されている。

【0084】

本実施の形態によれば、ベースブロック３１に上位ブロック３３を取り付ける場合においても、実施の形態と同様の効果が得られる。さらに、本実施の形態によれば、図面ごとに新たな座標系を構築することができるので、作業工程に応じて適切な座標系を用いることができ、トルクドライバ２の先端の座標の抽出精度を向上させることができ、ネジ止め作業が行われたネジ穴３３ａの抽出精度を向上させることが可能となる。

【0085】

なお、上位ブロック３３に対し、さらに上位のブロックを取り付けることも可能である。この場合においても、対応する図面データを用いて同様の処理を行うことで、前述と同様の効果を得ることが可能となる。

【符号の説明】

【0086】

１ 作業支援システム
１１ 撮影部
１２ 座標系構築部
１３ 識別部
１４ 評価部
１５ 通信処理部
１６ モニタ
１Ａ ベース部品情報記憶部
１Ｂ 作業情報記憶部
２ トルクドライバ
２１ 計測部
２２ 通信処理部
２Ａ ドライバ本体
２Ｂ マーカー
２Ｃ アーム
３ ベース板金
３ａ ネジ穴
３ｂ ネジ
３１ ベースブロック
３１ａ ネジ穴
３３ 上位ブロック
３３ａ ネジ穴
ＮＷ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】