(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】工具システム、工具、基準画像生成方法及びプログラム
(51)【国際特許分類】
B25F 5/00 20060101AFI20240510BHJP
B25B 23/14 20060101ALN20240510BHJP
【FI】
B25F5/00 C
B25B23/14 620Z
(21)【出願番号】P 2020086342
(22)【出願日】2020-05-15
【審査請求日】2022-02-22
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】佐々木 良介
(72)【発明者】
【氏名】山中 睦裕
【審査官】山内 康明
(56)【参考文献】
【文献】特開2018-108633(JP,A)
【文献】特開2016-038716(JP,A)
【文献】特開2019-144965(JP,A)
【文献】特開2019-042860(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B25F 5/00
B25B 23/14
(57)【特許請求の範囲】
【請求項1】
可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する工具とは別体である設定端末を備え、
前記設定端末は、基準画像を生成する基準画像生成部と、出力部と、を備え、
前記基準画像は、前記工具による作業時において複数の作業対象のうち前記工具がセットされた作業対象であるセット作業対象を特定する際に、前記工具の前記撮像部で撮像される第1の撮像画像と比較される画像であり、
前記基準画像生成部は、前記工具による前記作業の前段階として、前記複数の作業対象の各々にセットした状態
の前記工具と同構成の別の工具の撮像部で撮像される第2の撮像画像に基づいて前記基準画像を生成し、
前記出力部は、前記基準画像生成部が前記基準画像を生成する際に、前記工具のユーザが前記第2の撮像画像が前記基準画像に適しているか否かを確認可能に、前記第2の撮像画像を表示部に表示させる、
工具システム。
【請求項2】
前記表示部は、前記工具とは別体である、
請求項1に記載の工具システム。
【請求項3】
前記設定端末は、前記工具又は前記別の工具の各々と有線通信及び無線通信の少なくとも一方で通信可能な通信部、を更に備え、
前記通信部は、前記工具又は前記別の工具のいずれかから前記第2の撮像画像を受信し、
前記出力部は、前記通信部によって受信された前記第2の撮像画像を前記表示部に表示させる、
請求項2に記載の工具システム。
【請求項4】
前記基準画像生成部は、前記表示部に表示される前記第2の撮像画像に対して所定の画像処理を行い、前記基準画像を生成し、
前記所定の画像処理は、前記セット作業対象を特定する際に前記第1の撮像画像との比較対象となるトリミング領域を設定するトリミング、及び、前記セット作業対象を特定する際の前記比較対象から除外されるマスキング領域を設定するマスキングの少なくとも一方を含む、
請求項1から3のいずれか1項に記載の工具システム。
【請求項5】
前記基準画像生成部は、前記ユーザの操作に応じた操作内容に従って前記所定の画像処理を行う、
請求項4に記載の工具システム。
【請求項6】
前記基準画像は、1又は複数の作業対象に対応する複数のフレームを含み、
前記基準画像生成部は、前記複数のフレームを含む前記基準画像を生成する際にフレーム毎に前記所定の画像処理の内容を変更可能である、
請求項4又は5に記載の工具システム。
【請求項7】
前記トリミングが行われて生成された前記基準画像には、付帯情報が付与されており、
前記付帯情報は、前記トリミング領域と前記第1の撮像画像における一部の領域とが比較される際に、前記第1の撮像画像に対する前記トリミング領域の移動及び回転の少なくとも一方を行うことを可能とするための情報である、
請求項4から6のいずれか1項に記載の工具システム。
【請求項8】
前記付帯情報には、前記第1の撮像画像に対して前記トリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている、
請求項7に記載の工具システム。
【請求項9】
前記所定の画像処理は、前記トリミングを含み、
前記基準画像生成部は、
前記表示部に表示される前記第2の撮像画像に対して複数のトリミング領域を設定可能であり、
複数のトリミング領域の各々に重み付けを設定可能である、
請求項4から8のいずれか1項に記載の工具システム。
【請求項10】
前記所定の画像処理は、輝度調整を含み、
前記輝度調整に関する情報を、前記撮像部の制御に反映させる反映処理部を更に備える、
請求項4から9のいずれか1項に記載の工具システム。
【請求項11】
請求項1から10のいずれか1項に記載の工具システムに用いられ、
前記駆動部と、
前記撮像部と、
を備える、
工具。
【請求項12】
可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する工具とは別の設定端末により実行される基準画像生成方法であって、
基準画像を生成する基準画像生成ステップを含み、
前記基準画像は、前記工具による作業時において複数の作業対象のうち前記工具がセットされた作業対象であるセット作業対象を特定する際に、前記工具の前記撮像部で撮像される第1の撮像画像と比較される画像であり、
前記基準画像生成ステップでは、前記工具による前記作業の前段階として、前記複数の作業対象の各々にセットした状態
の前記工具と同構成の別の工具の撮像部で撮像される第2の撮像画像に基づいて、前記基準画像を生成し、
前記基準画像生成ステップは、前記基準画像を生成する際に、前記工具のユーザが前記第2の撮像画像が前記基準画像に適しているか否かを確認可能に、前記第2の撮像画像を表示部に表示させる出力ステップを含む、
基準画像生成方法。
【請求項13】
請求項12に記載の基準画像生成方法を、前記設定端末に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に工具システム、工具、基準画像生成方法及びプログラムに関し、より詳細には、可搬型の工具に用いられる工具システム、可搬型の工具、工具システムが用いる基準画像を生成するための基準画像生成方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、電池パックからの動力によって動作する駆動部及び撮像部を有する可搬型の工具を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象(工具を用いて作業が行われる対象となる物又は場所等)を撮像する。
【0003】
特許文献1においては、撮像部で生成された撮像画像は、工具がセットされた(つまり、工具が作業対象に対して作業が行えるように準備された)セット作業対象を特定するために用いられる。特許文献1に記載の工具システムは、特定部を備えている。特定部は、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、セット作業対象を特定する。さらに、特許文献1では、特定部で特定されたセット作業対象が、基準作業手順における作業順番と一致しない場合、工具は駆動部の動作を停止させる等の処理を行う。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の工具システムでは、セット作業対象を特定するのに適した画像を基準画像とすることが望ましい。
【0006】
本開示は上記事由に鑑みてなされており、セット作業対象を特定するのに適した画像を基準画像とする工具システム、工具、基準画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示の一態様に係る工具システムは、工具とは別体である設定端末を備える。前記工具は、可搬型であって、動力源からの動力によって動作する駆動部と、撮像部とを有する。前記設定端末は、基準画像生成部と、出力部と、を備える。前記基準画像は、前記工具による作業時において複数の作業対象のうち前記工具がセットされた作業対象であるセット作業対象を特定する際に、前記工具の前記撮像部で撮像される第1の撮像画像と比較される画像である。前記基準画像生成部は、前記工具による前記作業の前段階として、第2の撮像画像に基づいて前記基準画像を生成する。前記第2の撮像画像は、前記複数の作業対象の各々にセットした状態の前記工具と同構成の別の工具の撮像部で撮像される撮像画像である。前記出力部は、前記基準画像生成部が前記基準画像を生成する際に、前記工具のユーザが前記第2の撮像画像が前記基準画像に適しているか否かを確認可能に、前記第2の撮像画像を表示部に表示させる。
【0008】
本開示の一態様に係る工具は、前記工具システムに用いられ、前記駆動部と前記撮像部とを備える。
【0009】
本開示の一態様に係る基準画像生成方法は、工具とは別の設定端末により実行される。前記工具は、可搬型であって、動力源からの動力によって動作する駆動部と、撮像部と、を有する。前記基準画像生成方法は、基準画像を生成する基準画像生成ステップを含む。前記基準画像は、前記工具による作業時において複数の作業対象のうち前記工具がセットされた作業対象であるセット作業対象を特定する際に、前記工具の前記撮像部で撮像される第1の撮像画像と比較される画像である。前記基準画像生成ステップでは、前記工具による前記作業の前段階として、前記基準画像を、第2の撮像画像に基づいて生成する。前記第2の撮像画像は、前記複数の作業対象の各々にセットした状態の前記工具と同構成の別の工具の撮像部で撮像される撮像画像である。前記基準画像生成ステップは、出力ステップを含む。前記出力ステップでは、前記基準画像を生成する際に、前記工具のユーザが前記第2の撮像画像が前記基準画像に適しているか否かを確認可能に、前記第2の撮像画像を表示部に表示させる。
【0010】
本開示の一態様に係るプログラムは、前記基準画像生成方法を、前記設定端末に実行させるためのプログラムである。
【発明の効果】
【0011】
本開示によれば、セット作業対象を特定するのに適した画像を基準画像とする工具システム、工具、基準画像生成方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0012】
【
図1】
図1は、一実施形態に係る工具システムのブロック図である。
【
図2】
図2Aは、同上の工具システムの工具における一の方向からみた外観斜視図である。
図2Bは、同上の工具システムの工具における他の方向からみた外観斜視図である。
【
図3】
図3は、同上の工具システムの動作を示すシーケンス図である。
【
図4】
図4は、同上の工具システムが表示させる表示画面の一例を示す概略図である。
【
図5】
図5は、同上の工具システムが表示させる表示画面にトリミング領域が設定された一例を示す概略図である。
【
図6】
図6は、同上の工具システムが表示させる表示画面に複数のトリミング領域が設定された一例を示す概略図である。
【
図7】
図7は、同上の工具システムが表示させる表示画面にマスキング領域が設定された一例を示す概略図である。
【発明を実施するための形態】
【0013】
以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する。
【0014】
(実施形態)
(1)概要
まず、本実施形態に係る工具システム1の概要について、
図1を参照して説明する。
【0015】
本実施形態に係る工具システム1は、複数(
図1の例では2つ)の可搬型の工具2a,2bを備えている。以下の説明において、2つの工具2a,2bを区別しないときは、単に工具2という。工具2は、例えば、モータ等を含む駆動部24を有している。駆動部24は、例えば、電池パック201等の動力源からの動力(電力等)によって動作する。この種の工具2としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ(インパクトドライバを含む)、ドリル又はドリルドライバ等、様々な種類の工具がある。ユーザにおいては、この種の工具2を用いることで、例えば、作業対象となるワーク(加工対象物)に対して、締結部品(例えば、ボルト又はナット等)を取り付けたり、ワークに穴あけ等の加工をしたりすることができる。
【0016】
また、本実施形態に係る工具システム1は、撮像部5を更に備えている。本実施形態では、撮像部5が、2つの工具2a,2bのそれぞれに搭載されている。撮像部5は、撮像画像を生成する。撮像部5は、例えば、工具2の出力軸241(
図2A参照)に取り付けられたソケット242(
図2A参照)を撮像範囲(視野)に含んでいる。これにより、工具2での作業時には、作業対象を撮像する撮像部5にて撮像画像が得られる。
【0017】
本実施形態に係る工具システム1は、例えば、撮像部5で得られた撮像画像(第1の撮像画像)に基づいて、複数の作業対象のうち工具2がセットされた作業対象であるセット作業対象を特定する。工具システム1は、セット作業対象を特定することで、ユーザが工具2を用いて行う作業が作業手順に沿っているか否かを判断すること等が可能となる。このように、工具2に搭載された撮像部5で得られる第1の撮像画像を用いれば、例えば、工具2を用いたユーザの作業の支援又は管理等が実現可能となる。
【0018】
ところで、本実施形態に係る工具システム1は、
図1に示すように、工具2及び撮像部5に加えて、表示部62と、基準画像生成部67と、出力部66とを備えている。
【0019】
基準画像生成部67は、工具2に設けられた撮像部5によって撮像された撮像画像(第2の撮像画像)に基づいて、作業対象に対応する基準画像を生成する。
【0020】
出力部66は、基準画像生成部67が基準画像を生成する際に、撮像部5によって撮像された第2の撮像画像を表示部62に表示させる。
【0021】
この構成によれば、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、出力部66は第2の撮像画像を表示部62に表示させる。したがって、基準画像生成部67によって基準画像が生成される際に、工具システム1のユーザ等は、表示部62に表示される第2の撮像画像を確認することができる。そのため、本実施形態の工具システム1は、セット作業対象を特定するのにより適した画像を基準画像とすることができる。
【0022】
(2)詳細
以下、本実施形態に係る工具システム1の詳細な構成について、
図1~
図2Bを参照して説明する。
【0023】
(2.1)前提
本実施形態に係る工具システム1は、例えば、工場におけるワークの組立作業を行う組立ラインに用いられる。特に、本実施形態では一例として、工具システム1に含まれる2つの工具2a,2bのそれぞれは、例えば、インパクトレンチ等の、締付部品(例えば、ボルト又はナット等)の締め付けに用いられる締付工具であるとする。より詳細には、本実施形態では、1つのワークに対して締付対象箇所が複数あり、ユーザが、1つの作業スペースにおいて、2つの工具2a,2bのうちの少なくとも1つを用いて、複数の締付対象箇所の各々に締付部品を取り付けるケースを想定する。
【0024】
本開示でいう「締付対象箇所」は、ワーク(加工対象物)のであって、締付部品が取り付けられる部位である。例えば、締付部品がボルトであれば、締付部品が締め付けられるねじ孔、及びねじ孔の周辺の箇所が、締付対象箇所となる。すなわち、本実施形態では、1つのワークに、このような締付対象箇所となる部位が複数存在する。
【0025】
また、本開示でいう「作業対象」は、工具2を用いて作業が行われる対象となる物又は部位(箇所)等を意味する。特に、作業対象のうち、工具2がセットされた状態の作業対象を「セット作業対象」ということもある。ここでいう「工具2がセットされた状態」は、工具2が作業対象に対して作業が行えるように準備された状態を意味し、工具2が作業対象に当たっている状態だけでなく、工具2を作業対象に当てようとしている状態も含む。つまり、工具2が作業対象にセットされた状態では、工具2が作業対象に当たっていてもよいし、離れていてもよい。本実施形態では一例として、1つのワークにおける複数の締付対象箇所の各々が、作業対象であるとする。
【0026】
また、本開示でいう「撮像画像」は、撮像部5で撮像される画像であって、静止画(静止画像)及び動画(動画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。撮像画像は、撮像部5から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部5で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。本実施形態では一例として、撮像画像は、例えば、作業対象に工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されて生成される画像であるとする。また、本実施形態では一例として、撮像画像は、フルカラーの動画であるとする。
【0027】
また、本開示でいう「第1の撮像画像」は、撮像部5で撮像される撮像画像であって、ユーザが工具2を用いて作業を行う際に撮像部5で撮像される撮像画像である。「第2の撮像画像」は、撮像部5で撮像される撮像画像であって、作業対象に対応する基準画像を生成する際に、撮像部5で撮像される撮像画像である。
【0028】
また、本開示でいう「基準画像」とは、撮像部5で撮像される第2の撮像画像に基づいて生成される画像である。「基準画像」は、1又は複数の作業対象に対応する複数のフレームを含み得る。本実施形態では一例として、フレームは、フルカラーの静止画であるとする。「1又は複数の作業対象に対応する複数のフレーム」とは、1つの作業対象に1つのフレームが対応している場合のみならず、1つの作業対象に複数のフレームが対応している場合も含み得る。
【0029】
また、本開示でいう「搭載」は、内蔵(分離できないように一体化されている態様を含む)及び外付け(カプラー等を用いて取外し可能に固定されている態様を含む)の両方の態様を含む。
【0030】
また、本開示でいう「作業手順」は、工具2を用いた作業の手順を意味する。例えば、1又は複数の作業対象に対する一連の作業を1つの作業工程とした場合、作業手順は、作業工程における1又は複数の作業対象の作業順番を示している。より詳細には、1つの作業対象に対する作業の指示を「作業指示」とした場合、作業手順は、1つの作業工程における1又は複数の作業指示を、その順番と共に示す情報である。言い換えれば、作業手順は、作業対象が、1又は複数の作業工程のうちいずれの作業工程に対応し、かつ対応する作業工程における何番目の作業であるかを示している。本実施形態では一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを作業手順で規定するとする。
【0031】
(2.2)工具の構成
まず、本実施形態に係る工具システム1における工具2(2a,2b)の構成について、
図1、
図2A及び
図2Bを参照して説明する。本実施形態の2つの工具2a,2bのそれぞれの構成は互いに共通である。
【0032】
本実施形態の工具2は、工具システム1に用いられ、駆動部24と、撮像部5とを備える工具である。特に、本実施形態では、工具2が電気エネルギを用い駆動部24を動作させるインパクトレンチである場合を想定する。このような工具2では、締付部品を作業対象に取り付ける締付作業が可能である。工具2は、駆動部24に加えて、インパクト機構25を更に有している。
【0033】
ここで、工具2は、電池パック201を動力源として、電池パック201から供給される電力(電気エネルギ)で駆動部24を動作させる。本実施形態では、電池パック201は工具2の構成要素に含まれることとするが、電池パック201が工具2の構成要素に含まれることは必須ではなく、工具2の構成要素に電池パック201が含まれていなくてもよい。
【0034】
また、工具2は、ボディ20を更に有している。ボディ20には、駆動部24及びインパクト機構25が収容されている。さらに、工具システム1に含まれる、撮像部5、制御部3、記憶部4、通知部211及び通信部26についても、ボディ20に収容されている。
【0035】
工具2のボディ20は、胴体部21と、グリップ部22と、装着部23と、を有している。胴体部21は、筒状(ここでは円筒状)に形成されている。グリップ部22は、胴体部21の周面の一部から、法線方向(胴体部21の径方向)に沿って突出する。装着部23は、電池パック201が取外し可能に装着されるように構成されている。本実施形態では、装着部23は、グリップ部22の先端部に設けられている。言い換えれば、胴体部21と装着部23とが、グリップ部22にて連結されている。
【0036】
胴体部21には、少なくとも駆動部24が収容されている。駆動部24は、モータを有している。駆動部24は、動力源である電池パック201からモータに供給される電力を動力として動作するように構成されている。胴体部21の軸方向における一端面からは、出力軸241が突出している。出力軸241は、駆動部24の動作に伴って、出力軸241の突出方向に沿った回転軸Ax1を中心に回転する。つまり、駆動部24は、出力軸241を駆動して回転軸Ax1周りで出力軸241を回転させる。言い換えれば、駆動部24が動作することによって、出力軸241にトルクが作用して出力軸241が回転する。
【0037】
出力軸241には、締付部品(例えば、ボルト又はナット等)を回転させるための円筒状のソケット242が、取外し可能に取り付けられる。ソケット242は、出力軸241と共に出力軸241周りで回転する。出力軸241に取り付けられるソケット242のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部24が動作すると、出力軸241が回転してソケット242が出力軸241と共に回転する。このとき、ソケット242が締付部品に嵌め合わされていれば、ソケット242と共に締付部品が回転し、締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具2は、駆動部24の動作により、締付部品を締め付ける又は緩めるといった作業を実現できる。
【0038】
また、出力軸241には、ソケット242の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸241に対して取外し可能に取り付けられる。この場合、ソケットアンビルを介してビット(例えば、ドライバビット又はドリルビット等)の装着が可能となる。
【0039】
工具2は、上述したようにインパクト機構25を有している。インパクト機構25は、締付トルク(作業値)が所定レベルを超えると、出力軸241に回転方向の打撃力を加える。これにより、工具2は、締付部品に対して、より大きな締付トルクを与えることが可能となる。
【0040】
グリップ部22は、ユーザが作業を行う際に握る部分である。グリップ部22には、トリガスイッチ221、及び正逆切替スイッチ222が設けられている。トリガスイッチ221は、駆動部24の動作のオン/オフを制御するためのスイッチであり、引込量に応じて出力軸241の回転数の調節が可能である。正逆切替スイッチ222は、出力軸241の回転方向を正転と逆転とで切り替えるスイッチである。
【0041】
装着部23は、扁平な直方体状に形成されている。装着部23におけるグリップ部22とは反対側の一面には、電池パック201が取外し可能に装着される。
【0042】
電池パック201は、直方体状に形成された樹脂製のケース202を有している。ケース202は、蓄電池(例えば、リチウムイオン電池)を収容している。電池パック201は、駆動部24、制御部3、撮像部5、通信部26、及び通知部211等に電力を供給する。
【0043】
また、装着部23には、操作パネル231が設けられている。操作パネル231は、例えば、複数の押ボタンスイッチ232、及び複数のLED(Light Emitting Diode)233を有している。操作パネル231では、工具2に関する種々の設定及び状態確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル231の押ボタンスイッチ232を操作することにより、工具2の動作モードの変更、及び電池パック201の残容量の確認等を行うことができる。
【0044】
さらに、装着部23には、発光部234が設けられている。発光部234は、例えば、LEDを含んでいる。発光部234は、工具2を用いた作業時において、作業対象に向けて光を照射する。発光部234のオン/オフは、操作パネル231の操作で行うことができる。また、発光部234は、トリガスイッチ221がオンした際に、自動的に点灯してもよい。
【0045】
(2.3)工具システムの全体構成
次に、本実施形態に係る工具システム1の全体構成について、
図1を参照して説明する。
【0046】
工具システム1は、上述したように可搬型の工具2を備えている。また、本実施形態では、工具システム1は、設定端末60を更に備えている。
【0047】
(2.3.1)工具
まず、工具2の構成について、
図1、
図2A及び
図2Bを参照して説明する。ここで、本実施形態の工具2は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具2を用いて作業を行う際の動作モードである。登録モードは、作業対象に対応する基準画像を生成するための動作モードである。動作モードの切り替えは、例えば、操作パネル231に対する操作により行うことができる。動作モードの切り替えは、操作パネル231とは別の、例えばディップスイッチ等により行われてもよい。
【0048】
撮像部5、制御部3、記憶部4、通知部211及び通信部26は、工具2のボディ20に収容されている。本実施形態では一例として、撮像部5及び通知部211は、胴体部21に収容されている。制御部3、記憶部4及び通信部26は、グリップ部22又は装着部23に収容されている。
【0049】
撮像部5は、工具2に搭載されており、撮像画像としてのデータを生成する。撮像部5は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部5は、工具2のボディ20(胴体部21)に収容されている。撮像部5は、工具2を用いた作業時に作業対象を撮像するように、出力軸241の先端側に向けて搭載されている。
【0050】
具体的には、撮像部5は、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、胴体部21の先端部に出力軸241の先端側(ソケット242)に向けて配置されている(
図2A及び
図2B参照)。撮像部5の光軸は、出力軸241の回転軸Ax1に沿って配置される。ここでは、撮像部5は、出力軸241の回転軸Ax1から所定距離内に光軸が位置し、かつ回転軸Ax1と光軸が略平行となるように配置されている。なお、撮像部5が出力軸241に取り付けられたソケット242が撮像範囲に収まるように撮像画像を生成することは必須ではない。撮像部5は、セット作業対象を特定するための撮像画像を生成することが可能であればよい。「セット作業対象を特定するための撮像画像」とは、作業対象に工具2がセットされた状態のワークを撮像部5で撮影されるときに生成される画像である。上記撮像画像は、セット作業対象を特定することが可能な画像であればよく、上記撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。
【0051】
工具2が運用モードのとき、撮像部5は第1の撮像画像を生成する。本実施形態の第1の撮像画像は、作業対象に運用モードの工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されるときに生成される画像である。第1の撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。工具2が運用モードのとき、撮像部5は、時系列で連続する第1の撮像画像を制御部3の特定処理部33に出力する。
【0052】
また、工具2が登録モードのとき、撮像部5は、第2の撮像画像を生成する。本実施形態の第2の撮像画像は、作業対象に登録モードの工具2がセットされた状態で、工具2に搭載された撮像部5でワークが撮影されるときに生成される画像である。第2の撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていてもよいし、工具2がセットされた作業対象が収まっていなくてもよい。工具2が登録モードのとき、撮像部5は、時系列で連続する第2の撮像画像を通信部26に出力し、第2の撮像画像を通信部26から設定端末60に送信させる。
【0053】
通知部211は、例えば、LEDで構成されている。通知部211は、ユーザが作業中に通知部211を目視しやすいように、ボディ20の胴体部21における出力軸241とは反対側の端部に設けられている(
図2B参照)。
【0054】
通信部26は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用する。通信部26は、設定端末60との間で無線通信を行うが、設定端末60との間で有線通信方式により通信を行ってもよい。
【0055】
制御部3は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3としての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3として機能させるためのプログラムである。
【0056】
制御部3は、駆動制御部31、撮像制御部32、特定処理部33、通知制御部34、判定部35、登録部36及び反映処理部37等の機能を有している。制御部3は、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3は、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
【0057】
駆動制御部31は、駆動部24を制御する。具体的には、駆動制御部31は、トリガスイッチ221の引込量に基づいた回転速度で、かつ正逆切替スイッチ222によって設定された回転方向に、出力軸241を回転させるよう駆動部24を動作させる。
【0058】
また、駆動制御部31は、締付トルクがトルク設定値(作業用設定値)となるように駆動部24を制御する。ここで、駆動制御部31は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部31は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部24(モータ)の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部31は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構25の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部31は、インパクト機構25の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部24(モータ)を停止させる。これにより、工具2は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。
【0059】
撮像制御部32は、撮像部5を制御して、第1の撮像画像又は第2の撮像画像を撮像部5に生成させる処理部である。
【0060】
特定処理部33は、撮像部5の第1の撮像画像と基準画像とを比較する画像処理を行い、第1の撮像画像に映るセット作業対象を、複数の作業対象のうちから特定する。ここにおいて、基準画像は、記憶部4(画像記憶部41)に記憶されている。
【0061】
具体的には、特定処理部33は、第1の撮像画像に対して、複数の作業対象に対応する複数のフレームを含む基準画像をテンプレートデータとしたパターン認識処理を行い、セット作業対象を特定する。つまり、特定処理部33は、第1の撮像画像と、複数の作業対象に対応する複数のフレームを含む基準画像とを比較することによって、第1の撮像画像に映っているセット作業対象を特定する。
【0062】
特定処理部33は、例えば、撮像部5から出力される動画形式のデータ(第1の撮像画像)に対して、フレーム単位で画像処理(パターン認識処理)を行い、セット作業対象を特定する。
【0063】
本開示でいう「パターン認識処理」とは、ある画像に映る物の形状に基づいて、その画像に映る物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。ここでいうパターンマッチング処理は、上述したようなテンプレートデータを用いて、テンプレートデータと比較対象(第1の撮像画像等)との比較を行う処理である。また、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング(深層学習)のアルゴリズムを用いてもよい。 さらに、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応しない場合に、駆動部24の動作の制限と通知との少なくとも一方を実行する。要するに、特定処理部33は、特定処理部33で特定された作業対象(セット作業対象)が、予め設定された作業手順で規定されている作業指示に対応するか否かを判定する。つまり、特定処理部33で特定された作業対象が、作業手順に含まれる作業指示が指示する作業の対象となる作業対象と、一致するか否かを特定処理部33は判定する。
【0064】
具体的には、特定処理部33は、セット作業対象に対応する作業手順のデータを、記憶部4の手順記憶部44から抽出する。そして、特定処理部33は、手順記憶部44から抽出した作業手順で規定される現在の作業指示の対象となる作業対象と、特定された作業対象とが一致しているか否かを判定する。両者が一致すれば、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応すると判定する。両者が一致しなければ、特定処理部33は、特定された作業対象が、作業手順で規定される作業指示に対応しないと判定する。
【0065】
そして、上述したような判定の結果、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合には、特定処理部33は、駆動部24の動作の制限と通知との少なくとも一方を実行する。本開示でいう「通知」には、ユーザへの通知だけでなく外部端末(例えば、携帯端末等)への通知等を含む。
【0066】
具体的には、特定処理部33は、特定された作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221が引かれても駆動部24を動作させない。つまり、特定された作業対象が作業手順で規定される作業指示に対応すると特定処理部33で判定された場合にのみ、駆動部24の動作が許可される。したがって、作業手順から外れた作業対象に工具2がセットされたとしても、駆動部24が停止したままとなるので、締付作業が不可となる。これにより、誤った作業手順で作業が行われることを抑制することができる。特定処理部33は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、トリガスイッチ221がロックされて引けなくなるようにしてもよい。
【0067】
また、特定処理部33は、特定された作業対象が作業手順で規定される作業指示に対応しないと判定した場合、通知制御部34にて通知部211を動作させる。これにより、通知部211は、ユーザに対して、作業手順から外れた作業対象に工具2がセットされていることを通知するユーザ通知部として機能する。
【0068】
要するに、特定処理部33は、第1の撮像画像に基づく所定の処理として、少なくともセット作業対象を特定する対象特定処理を実行する。つまり、特定処理部33は、少なくともセット作業対象の特定を(所定の)処理として実行する。さらに、特定処理部33は、第1の撮像画像に基づく所定の処理として、特定された作業対象を作業手順で規定される作業指示と比較し、両者の対応関係を判定する手順判定処理を実行する。つまり、特定処理部33は、特定された作業対象と、作業手順で規定される作業指示との対応関係の判定を(所定の)処理として実行する。さらには、手順判定処理の結果、作業対象が作業指示に対応しない場合には、特定処理部33は、駆動部24の動作の制限及び/又は通知を実行する。
【0069】
通知制御部34は、工具2に設けられた通知部211を制御する。通知制御部34は、特定処理部33の判定結果が不一致である場合と、特定処理部33の判定結果が一致である場合とで、通知部211を異なる態様で点灯させることが好ましい。例えば、通知制御部34は、特定処理部33の判定結果が不一致である場合、通知部211を赤色で点灯させ、特定処理部33の判定結果が一致した場合、通知部211を緑色で点灯させる。これにより、ユーザは、通知部211の点灯状態を目視することによって、作業手順から外れているか否かを認識することができる。通知制御部34は、特定処理部33の判定結果が不一致である状態で、トリガスイッチ221を引かれた場合に、通知部211を点灯させてもよい。
【0070】
判定部35は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、判定部35は、作業手順で規定される作業指示に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業手順で規定される作業指示が、作業対象に対応する目標トルク値を含んでいる。これにより、判定部35は、作業指示に含まれる目標トルク値と、締付トルクと、を比較することで、作業指示に従った締付トルクで作業がされているかを判定できる。
【0071】
判定部35は、例えば、インパクト機構25の打撃数が閾値回数に達することによって駆動制御部31が駆動部24を停止させた場合、締付トルクが正常であると判定する。また、判定部35は、インパクト機構25の打撃数が閾値回数に達する前に、例えばトリガスイッチ221がオフされることによって駆動制御部31が駆動部24を停止させた場合、締付トルクが不十分(正常ではない)と判定する。また、判定部35は、判定結果を、締付対象箇所と対応付けて結果記憶部43に記憶させる結果記憶処理を行う。
【0072】
登録部36は、画像登録処理と、トルク登録処理と、情報登録処理とを行う。画像登録処理は、複数の作業対象に対応する複数のフレームを含む基準画像を記憶部4の画像記憶部41に記憶させる処理である。トルク登録処理は、複数の目標トルク値を記憶部4のトルク記憶部42に記憶させる処理である。情報登録処理は、基準画像生成部67が基準画像を生成する際に行った所定の画像処理の内容に関する情報を、記憶部4の情報記憶部45に記憶させる処理である。
【0073】
登録部36は、画像登録処理において、例えば、設定端末60から入力される各作業対象の基準画像を作業対象に対応付けて画像記憶部41に記憶させる。ここで、登録部36は、1つの作業対象に対応して1つの基準画像を画像記憶部41に記憶させてもよいし、1つの作業対象に対応して2以上の基準画像を画像記憶部41に記憶させてもよい。
【0074】
登録部36は、トルク登録処理において、例えば、設定端末60から入力される各作業対象のトルク値を目標トルク値とし、作業対象に対応付けてトルク記憶部42に記憶させる。
【0075】
登録部36は、情報登録処理において、例えば、設定端末60から入力される、基準画像生成部67が基準画像を生成するときに行った所定の画像処理の内容に関する情報を、基準画像と作業手順に対応付けて情報記憶部45に記憶させる。なお、以下の説明において、所定の画像処理の内容に関する情報のことを、「処理情報」という。処理情報は、例えば、基準画像生成部67が基準画像を生成するときに行った輝度調整に関する情報を含む。「輝度調整に関する情報」とは、基準画像内での輝度調整が行われた領域を示す情報、第2の撮像画像の輝度値に対してどれだけ輝度値が調整されたかを示す情報などを含む。
【0076】
反映処理部37は、基準画像生成部67が基準画像を生成するときに行った所定の画像処理に関する情報(処理情報)を、撮像部5の制御に反映させる。反映処理部37は、処理情報に基づいて、撮像部5が撮像画像を生成する際の露光時間や絞り値の調整などを行う。例えば、基準画像生成部67が基準画像を生成する際に基準画像全体の輝度を低下させる輝度調整を行った場合、反映処理部37は、撮像部5が撮像する第1の撮像画像の輝度を低下させるために、露光時間を短くする調整を行う。
【0077】
記憶部4は、例えば、半導体メモリで構成されており、画像記憶部41、トルク記憶部42(目標値記憶部)、結果記憶部43、手順記憶部44及び情報記憶部45の機能を有する。画像記憶部41とトルク記憶部42と結果記憶部43と手順記憶部44と情報記憶部45とは、本実施形態では1つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部4は、工具2に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。
【0078】
画像記憶部41は、複数のフレームを含む基準画像を複数の作業対象と対応付けて記憶している。画像記憶部41には、1つの作業対象に対して、1つのフレームの基準画像が対応付けて記憶されてもよいし、1つの作業対象を様々な角度又は大きさで映した複数のフレームの基準画像が対応付けて記憶されてもよい。
【0079】
トルク記憶部42は、複数の目標トルク値(目標値)を、複数の作業対象と一対一に対応付けて記憶している。目標トルク値とは、対応する作業対象に締付部品を取り付ける際における締付トルクの目標値である。
【0080】
結果記憶部43は、複数の作業対象と、判定部35による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部43は、判定部35の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいてワークごとに作業対象の判定結果を区別することが可能となる。
【0081】
手順記憶部44には、1又は複数の作業手順のデータが記憶されている。作業手順は、上述したように、工具2を用いた作業の手順を意味し、一例として、1つのワークにおける複数の作業対象について、どの順番で作業を行うかを規定するデータである。
【0082】
情報記憶部45は、処理情報を、基準画像及び作業手順と対応付けて記憶している。
【0083】
(2.3.2)設定端末
次に、設定端末60の構成について説明する。
【0084】
設定端末60は、例えばスマートフォン、タブレット端末等の携帯端末であり、通信部61と、表示部62と、操作部63と、制御部64と、記憶部65とを備えている。
【0085】
通信部61は、例えば、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用する。通信部61は、工具2が備える通信部26との間で無線通信を行う。なお、通信部61は、無線通信方式による通信に限定されず、工具2の通信部26との間で有線通信方式による通信を行ってもよい。
【0086】
表示部62及び操作部63は、一体に構成されたタッチパネルディスプレイである。
【0087】
制御部64は、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部64としての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部64として機能させるためのプログラムである。
【0088】
制御部64は、通信部61、表示部62、及び操作部63を制御するように構成されている。また、制御部64は、出力部66及び基準画像生成部67としての機能を有している。
【0089】
基準画像生成部67は、1又は複数の作業対象に対応する複数のフレームを含む基準画像を生成する。基準画像生成部67は、工具2の撮像部5によって撮影された第2の撮像画像に基づいて複数のフレームを含む基準画像を生成する。さらに言えば、基準画像生成部67は、第2の撮像画像に対して所定の画像処理を行い、基準画像を生成する。また、基準画像生成部67は、複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更可能である。
【0090】
本開示でいう「所定の画像処理」とは、トリミング、マスキング、輝度調整などを含む画像処理である。本開示でいう「トリミング」とは、基準画像(第2の撮像画像)の一部をトリミング領域として指定することである。「トリミング領域」とは、工具2の特定処理部33がセット作業対象を特定する際に、第1の撮像画像の一部の領域と比較される領域である。ここで、トリミング領域が指定された基準画像は、基準画像のうちトリミング領域以外の部分は第1の撮像画像との比較対象にならない。本開示でいう「マスキング」とは、基準画像(第2の撮像画像)の一部をマスキング領域として指定することである。「マスキング領域」とは、工具2の特定処理部33がセット作業対象を特定する際に、第1の撮像画像と比較されない領域である。ここで、マスキング領域が指定された基準画像は、基準画像のうちマスキング領域以外の部分が第1の撮像画像との比較対象となる。本開示でいう「輝度調整」とは、基準画像(第2の撮像画像)の少なくとも一部の輝度を上げる又は下げる調整のことである。輝度調整は、第2の撮像画像が撮像されたときの、作業対象の周囲の環境に応じて適宜行われる。例えば、輝度調整は、ユーザが組立作業を行うワークに照明等の光が反射され、基準画像の少なくとも一部に輝度値が飽和した「白とび」が発生している場合などに行われる。トリミング、マスキング及び輝度調整などを含む画像処理が行われることで、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
【0091】
なお、基準画像生成部67は、1つの作業対象に対応して1つのフレームの基準画像を生成してもよいし、1つの作業対象に対応して複数のフレームの基準画像を生成してもよい。基準画像生成部67による基準画像の生成処理については「(3.3)基準画像の生成処理」で詳しく説明する。
【0092】
出力部66は、基準画像生成部67が基準画像を生成する際に、第2の撮像画像を表示部62に表示させる。本実施形態の出力部66は、通信部61によって受信された第2の撮像画像を表示部62に表示させる。本実施形態の工具システム1では、工具2aと表示部62とが別体である。そのため、本実施形態の工具システム1は、工具2aをコンパクトにしつつ、第2の撮像画像を表示させることができる。
【0093】
記憶部65は、例えばフラッシュメモリ等の半導体メモリで構成されている。記憶部65は、基準画像生成部67によって生成された基準画像を記憶する。
【0094】
(3)動作
以下、本実施形態に係る工具システム1の動作について、
図3~7を参照して説明する。
【0095】
ここでは、組立ラインにおいて、ユーザがあるワークの組立作業を行う際の工具システム1の動作を例として説明する。ユーザが組立作業を行うワークに2つの作業対象があり、ユーザが工具2を使用して2つの作業対象に締付部品を取り付ける作業を行う場合について説明する。また、以下の説明では、工具システム1は工具2aに搭載された撮像部5で撮像された第2の撮像画像に基づいて基準画像を生成する。そしてユーザが、工具2aとは別の工具2bを使用して2つの作業対象に締付部品を取り付ける作業を行う場合について説明する。
【0096】
(3.1)登録モード
まず、あるワークの組立作業を行う際の工具システム1の動作例について、
図3を参照して説明する。ここでは、2つの工具2a,2bは、登録部36による画像登録処理、トルク登録処理及び情報登録処理などが行われていない初期状態であるとする。つまり、初期状態にある工具2a,2bにおいては、画像記憶部41、トルク記憶部42及び情報記憶部45に、第1の作業対象TG1及び第2の作業対象TG2のそれぞれに対応する基準画像、目標トルク値及び処理情報が記憶されていない。
【0097】
まず、ユーザの操作によって、工具2aは、動作モードを登録モードに設定する(S1)。次に、ユーザがワークの第1の作業対象TG1に工具2aの先端(ソケット242)をセットし、例えばトリガスイッチ221を1回オン操作することで、工具2aの撮像部5は、第1の作業対象TG1の撮影を行う(S2)。これにより、工具2aは、第1の作業対象TG1に対応する第2の撮像画像を生成し、第2の撮像画像を設定端末60に送信する(S3)。次に、撮像部5は、第1の作業対象TG1と同様に、第2の作業対象TG2の撮影を行う(S4)。これにより、工具2aは、第2の作業対象TG2に対応する第2の撮像画像を生成し、第2の撮像画像を設定端末60に送信する(S5)。
【0098】
設定端末60の通信部61が第2の撮像画像を受信すると、設定端末60の出力部66は、第2の撮像画像を含む表示画面D1を表示部62に表示させる(S6)。
【0099】
図4は、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、表示部62に表示される表示画面D1の一例を示す図である。本開示でいう表示画面D1等の「画面」は、設定端末60の表示部62に映し出される画像(テキスト、グラフ及びアイコン等を含む)である。また、「画面」は、例えばプロジェクタなどの表示装置によってスクリーン上などに投影される画像であってもよい。
【0100】
表示画面D1は、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、第2の撮像画像を表示するための画面である。表示画面D1は、
図4に示すように、第1領域R1と、第2領域R2と、第3領域R3と、を含んでいる。第1領域R1は、第2の撮像画像を表示する領域である。第2領域R2は、基準画像生成部67が生成する基準画像を、ある作業工程における何番目の作業対象に対応させるかを表示する領域である。第3領域R3は、1つ以上のオブジェクトB1~B4を表示する領域である。
【0101】
具体的には、オブジェクトB1,B2は、第1領域R1に表示させる第2の撮像画像を変更したり、基準画像に対応する作業手順などを変更したりするためのオブジェクトである。オブジェクトB3は、表示画面D1を、基準画像(第1領域R1に表示される第2の撮像画像)に対応する作業対象の目標トルク値を入力するための画面に移行させるためのオブジェクトである。オブジェクトB4は、第2の撮像画像に基づいて生成した基準画像を、ある作業対象に対応付けて登録するためのオブジェクトである。ユーザは、これらのオブジェクトB1~B4を操作することにより、基準画像生成部67が基準画像を生成する処理を進行させることができる。
【0102】
ユーザは、表示部62に表示される表示画面D1に含まれる第2の撮像画像をみて、撮像部5で撮像された第2の撮像画像が基準画像に適しているか否かを確認することができる。
【0103】
基準画像生成部67は、表示部62に表示された第2の撮像画像に対して、所定の画像処理を行い、基準画像を生成する。基準画像の生成処理の詳細については、「(3.3)基準画像の生成処理」の欄で後述する。
【0104】
オブジェクトB4に対する操作が行われるなどの所定の操作がユーザによって行われると、基準画像生成部67は、基準画像の生成処理を完了する(S7)。ここまでの作業で、ユーザが組立作業を行うワークの2つの作業対象のそれぞれに対応する2つのフレームを含む基準画像が設定端末60の記憶部65に記憶されている。また、生成された各基準画像と対応付けられた処理情報及び目標トルク値が設定端末60の記憶部65に記憶されている。また、基準画像、処理情報及び目標トルク値は、作業工程における作業手順とも対応付けられて記憶部65に記憶されている。
【0105】
(3.2)運用モード
次に、工具2bの操作パネル231に対する所定の操作がユーザによって行われることにより、工具2bは動作モードを運用モードに設定する(S8)。ここで、工具2bは、第2の撮像画像を撮像した撮像部5が搭載された工具2aとは別の工具である。
【0106】
この時点で工具2bには、ユーザが組立作業を行うワークに2つの作業対象のそれぞれに対応する複数のフレームを含む基準画像が登録されていない。ユーザが工具2bの操作パネル231に対して所定の操作を行うことで、工具2bは、通信部26から設定端末60へ基準画像と、その基準画像に対応する処理情報及び目標トルク値の送信要求を送信する(S9)。設定端末60の通信部61は、工具2bからの送信要求を受信する。工具2bからの送信要求を受信すると、設定端末60の制御部64は、記憶部65に記憶している各作業対象の基準画像と、その基準画像に対応する処理情報及び目標トルク値のデータを通信部61から工具2bへ送信させる(S10)。次に、工具2bの通信部26が、設定端末60から各作業対象の基準画像、処理情報及び目標トルク値のデータを受信する。そして、制御部3の登録部36が各作業対象の基準画像、処理情報及び目標トルク値の登録処理を行う(S11)。この登録処理が完了することにより、ユーザが工具2bを使用してワークの組立作業を行う準備が完了する。
【0107】
次に、ユーザは、工具2bを用いて、あるワークの組立作業における作業手順に応じて、第1の作業対象TG1、第2の作業対象TG2の順番で、各作業対象に対する作業を行う。まず、ユーザがワークの第1の作業対象TG1に工具2bの先端であるソケット242をセットし、例えばトリガスイッチ221を1回オン操作することで、撮像部5は第1の作業対象TG1に対応する第1の撮像画像を生成する。このとき、工具2bの反映処理部37は、作業手順に応じて、処理情報を撮像部5の制御に反映させる。例えば、ユーザが次に行う作業が第1の作業対象TG1の締付作業である場合、反映処理部37は、第1の作業対象TG1に対応する処理情報を撮像部5の制御に反映させる。基準画像に対して行われた輝度調整などの画像処理に関する情報が撮像部5の制御に反映されることで、撮像部5は、基準画像と比較するのに適した第1の撮像画像を生成することができる。
【0108】
特定処理部33は、撮像部5で生成された第1の撮像画像と、画像記憶部41に記憶されている基準画像とを比較する画像処理を行い、セット作業対象が第1の作業対象TG1であることを特定する(S12)。これにより、駆動制御部31は、第1の作業対象TG1に対応する目標トルク値をトルク設定値に設定する(S13)。また、通知制御部34は、通知部211を制御して、工具2bがセットされているセット作業対象が第1の作業対象TG1と特定されたことを通知させる。
【0109】
ユーザは、通知部211の通知内容をもとに第1の作業対象TG1が特定されたことを確認すると、第1の作業対象TG1に締付部品を取り付ける締付作業を行う(S14)。
【0110】
判定部35は、締付部品が第1の作業対象TG1に取り付けられた際における締付トルクが正常であるか否かを判定し、この判定結果(第1の判定結果)を、通信部26を介して設定端末60に送信する(S15)。設定端末60の通信部61が工具2bから第1の判定結果を受信すると、制御部64は、第1の判定結果を第1の作業対象TG1に対応付けて記憶部65に記憶させる(S16)。
【0111】
また、ユーザは、第1の作業対象TG1と同様の作業手順で、第2の作業対象TG2の締付作業を行う。
【0112】
具体的には、ユーザが、第2の作業対象TG2に工具2bの先端であるソケット242をセットし、トリガスイッチ221を1回オン操作することにより、撮像部5は第2の作業対象TG2に対応する第1の撮像画像を撮像する。このとき、工具2bの反映処理部37は、作業手順に応じて、処理情報を撮像部5の制御に反映させる。そして、特定処理部33は、画像処理を行い、セット作業対象が第2の作業対象TG2であると特定する(S17)。そして駆動制御部31は、第2の作業対象TG2に対応する目標トルク値をトルク設定値に設定する(S18)。また、通知制御部34は、通知部211を制御して、工具2bがセットされているセット作業対象が第2の作業対象TG2と特定されたことを通知させる。ユーザは、通知部211の通知内容をもとに第2の作業対象TG2が特定されたことを確認すると、第2の作業対象TG2が特定されたことを確認すると、第2の作業対象TG2に締付部品を取り付ける締付作業を行う(S19)。判定部35は、ステップS19の締付作業における締付トルクが正常であるか否かの判定を行い、この判定結果(第2の判定結果)を、通信部26を介して設定端末60に送信する(S20)。設定端末60の通信部61が工具2bから第2の判定結果を受信すると、制御部64は、第2の判定結果を第2の作業対象TG2に対応付けて記憶部65に記憶させる(S21)。
【0113】
以上のようにして、ユーザが工具2bを用いて、あるワークの第1の作業対象TG1及び第2の作業対象TG2に対して組立作業を行うと、以降のワークに対しても同様に、工具2bの動作モードを運用モードに設定した状態で組立作業を行う。
【0114】
なお、
図3に示すシーケンスは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。
【0115】
(3.3)基準画像の生成処理
次に、基準画像生成部67での基準画像の生成処理について、
図4~
図7を参照してより詳細に説明する。
【0116】
上述のように、基準画像生成部67が第2の撮像画像に基づいて基準画像を生成する際に、出力部66は、表示部62に表示画面D1を表示させる。
図4の例では、第1の作業対象TG1に対応する第2の撮像画像が、表示画面D1の第1領域R1に表示されている。第2の撮像画像における画像Im1は、第1の作業対象TG1にセットされたソケット242の像である。また、第2の撮像画像における画像Im2は、第2の作業対象TG2の像である。
【0117】
基準画像生成部67は、ユーザの操作に応じた操作内容に従って所定の画像処理を行う。つまり、ユーザは、表示部62に表示される第2の撮像画像を確認しつつ、表示画面D1に対する操作を行い、所望の画像処理を基準画像生成部67に行わせることが可能である。例えば、ユーザは、表示部62に表示される第2の撮像画像(基準画像)が全体的に暗い(輝度が低い)と感じた場合、基準画像生成部67に輝度を高くする輝度調整を行わせることにより、元となる第2の撮像画像よりも明るい基準画像を生成させることができる。
【0118】
また、ユーザが表示画面D1に対してドラッグ又はピンチアウトなどの所定の操作を行うことにより、基準画像生成部67に、トリミング及びマスキングの少なくとも一方を含む所定の画像処理を行わせることができる。
【0119】
図5は、ユーザが表示画面D1に対して所定の操作を行うことにより、基準画像の一部がトリミング領域(枠Tr1で囲まれた領域)に設定された一例を示す図である。トリミング領域が設定されて基準画像が生成されると、その基準画像のうちトリミング領域以外の部分は、第1の撮像画像との比較対象とならない。
図5の例では、第1領域R1に表示される基準画像のうち、枠Tr1で囲まれたトリミング領域のみが、第1の撮像画像との比較対象となる。
【0120】
トリミング領域が設定された基準画像は、基準画像全体の中でのトリミング領域の座標情報を含む付帯情報が付与された状態で記憶部65に記憶される。このような付帯情報は、特定処理部33が第1の撮像画像とトリミングが行われた基準画像とを比較する際に使用される。すなわち、特定処理部33は、セット作業対象を特定する際に、付帯情報に含まれる座標情報に基づいて、第1の撮像画像における一部の領域を、トリミング領域と比較する領域とする。ここで、第1の撮像画像及び第2の撮像画像(基準画像)の各々は、工具2が作業対象にセットされた状態で撮像部5によって撮像された撮像画像である。そのため、第1の撮像画像における一部の領域の座標と、基準画像におけるトリミング領域の座標とはおおよそ一致する。そのため、特定処理部33は、トリミング領域の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域の比較対象とする。「特定領域」とは、第1の撮像画像のうちパターン認識処理が行われる領域である。ここでは、第1の撮像画像のうち、トリミング領域の座標と同じ座標の領域を、特定領域とする。そして、特定処理部33は、トリミング領域と第1の撮像画像における特定領域とを比較することで、セット作業対象を特定する。
【0121】
特定処理部33は、パターン認識処理の結果、基準画像におけるトリミング領域と第1の撮像画像における特定領域との類似度(一致度)が所定の値(閾値)以上であるとき、基準画像と第1の撮像画像とが一致していると判定する。一方、特定処理部33は、基準画像におけるトリミング領域と第1の撮像画像における特定領域との類似度が所定の値(閾値)未満であるとき、基準画像と第1の撮像画像とが一致していないと判定する。
【0122】
また、付帯情報は、特定処理部33によって、トリミング領域と第1の撮像画像とが比較されるときに、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行うことを可能とする情報である。付帯情報には、トリミング領域の周囲(近傍)の座標情報も含んでいる。そのため、特定処理部33は、トリミング領域の周囲の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域より広い領域にすることができる。ここでは、第1の撮像画像のうち、トリミング領域の座標及びトリミング領域の周囲(近傍)の座標つまり付帯情報に含まれている座標情報の座標と同じ座標の領域を、特定領域とする。そして、特定処理部33は、第1の撮像画像における特定領域の中で、第1の撮像画像に対してトリミング領域を移動させたり、回転させたりするパターン認識処理を行うことが可能である。したがって、第1の撮像画像の撮影位置と、基準画像の撮影位置とがずれている場合などでも、セット作業対象の特定を精度よく行うことができる。
【0123】
また、付帯情報には、第1の撮像画像に対してトリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている。すなわち、第1の撮像画像に対してトリミング領域を移動させたり、回転させたりすることが可能な範囲は、付帯情報の座標情報で規定される第1の撮像画像における特定領域内に限定される。トリミング領域の移動範囲及び回転範囲を限定することで、特定処理部33にかかるパターン認識処理の負荷を低減させることができる。
【0124】
また、基準画像生成部67は、表示部62に表示される第2の撮像画像(基準画像)に対して複数のトリミング領域を設定可能である。
図6は、ユーザが表示画面D1に対して所定の操作を行い、基準画像のうちに複数のトリミング領域(枠Tr2で囲まれた領域及び枠Tr3で囲まれた領域)が設定された一例を示す図である。
【0125】
基準画像生成部67は、基準画像に複数のトリミング領域を設定する場合、各トリミング領域に重み付けを設定可能である。画像Im3は、枠Tr2で囲まれたトリミング領域の重み付けを示し、画像Im4は、枠Tr3で囲まれたトリミング領域の重み付けを示している。本開示でいう「重み付け」とは、特定処理部33がセット作業対象を特定する際に各トリミング領域がどの程度寄与するかを示している。本実施形態では、特定処理部33がセット作業対象を特定する際に、重み付けが大きいトリミング領域のほうが特定結果に大きく寄与する。本実施形態では、特定処理部33は、各トリミング領域及び第1の撮像画像の類似度と重み付けとを乗算することにより、トリミング領域毎に点数を算出する。さらに、特定処理部33は、複数のトリミング領域の点数を加算していき、合計点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定する。
【0126】
また、
図7は、ユーザが表示画面D1に対して所定の操作を行うことにより、基準画像の一部がマスキング領域(枠Ma1で囲まれたハッチング領域)に設定された一例を示す図である。マスキング領域が設定されて基準画像が生成されると、その基準画像のうちマスキング領域以外の部分は第1撮像画像との比較対象となる。
図7の例では、第1領域R1に表示される基準画像のうち、枠Ma1で囲まれたマスキング領域以外の部分が、第1の撮像画像との比較対象となる。
【0127】
マスキング領域が設定されることにより、ユーザが組立作業を行うワークの表面にユーザや照明などが映り込んだ比較対象として好ましくない領域を、比較対象から除外することができる。特に、本実施形態の工具システム1では、工具2に搭載された撮像部5で第2の撮像画像(基準画像)を生成するため、基準画像に工具2の先端(ソケット242)などが映り込む。ここで、工具2の先端にドライバビットなどの、停止角度に応じて見え方の変わる部品が装着されている場合、基準画像と第1の撮像画像とで、映りこむドライバビットなどの部品の像が変わることがある。このような場合に、工具2の先端をマスキング領域に設定することで、特定処理部33がセット作業対象を特定する際の精度を向上させることができる。つまり、基準画像生成部67は、マスキング領域を設定することで、セット作業対象を特定するのにより適した基準画像を生成することができる。
【0128】
マスキング領域が設定された基準画像は、トリミング領域が設定された基準画像と同様に、基準画像全体の中でのマスキング領域の座標情報である付帯情報が付与された状態で記憶部65に記憶される。
【0129】
(4)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、上記実施形態に係る工具システム1と同等の機能は、基準画像生成方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る基準画像生成方法は、基準画像生成ステップを含む。基準画像生成ステップでは、複数の工具2a,2bのいずれかがセットされた作業対象であるセット作業対象を特定する際に第1の撮像画像と比較される対象となる基準画像を、第2の撮像画像に基づいて生成する。複数の工具2a,2bは、可搬型であって、動力源からの動力によって動作する駆動部24と、撮像部5と、を有する。第1の撮像画像は、セット作業対象を特定する際に複数の工具2a,2bのうちセットされた工具2a,2bの撮像部5で撮像される撮像画像である。第2の撮像画像は、複数の工具2a,2bのいずれかの撮像部5で撮像された撮像画像である。基準画像生成ステップは、表示ステップを含む。表示ステップでは、基準画像を生成する際に、第2の撮像画像を表示部62に表示する。一態様に係るプログラムは、上記の基準画像生成方法を、1以上のプロセッサに実行させるためのプログラムである。
【0130】
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下、上記実施形態と同様の構成については、共通の符号を付して適宜説明を省略する。
【0131】
上記実施形態の特定処理部33は、トリミング領域と第1の撮像画像とを比較する際に、トリミング領域の座標情報に基づいて、第1の撮像画像における特定領域を、トリミング領域との比較対象にする。これに限られず、特定処理部33は、トリミング領域の座標情報を用いずに、第1の撮像画像の全領域に対して、トリミング領域を用いたパターン認識処理を行うようにしてもよい。
【0132】
上記実施形態では、特定処理部33が、複数のトリミング領域の点数を加算していき、合計点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定している。これに限られず、特定処理部33は、複数のトリミング領域のうちのいずれかの点数が所定の点数以上である場合に、第1の撮像画像と基準画像とが一致していると判定してもよい。
【0133】
また、本実施形態では、特定処理部33が各トリミング領域及び第1の撮像画像の類似度と重み付けとを乗算することにより、トリミング領域毎に点数を算出する。これに限られず、特定処理部33は、各トリミング領域及び第1の撮像画像の類似度に、重み付けを加算するなど類似度に重み付けを関連させた何らかの演算をすることでトリミング領域毎に点数を算出してもよい。
【0134】
上記実施形態では、反映処理部37が運用モードにおいて、作業手順に応じて、処理情報を撮像部5の制御に反映させている。これに限られず、反映処理部37は、作業手順に関わらず、処理情報を撮像部5の制御に反映させてもよい。例えば、基準画像生成部67によって輝度調整が行われて基準画像が生成された場合、反映処理部37は、作業手順に関わらず、その輝度調整に関する情報を撮像部5の制御に反映させてもよい。
【0135】
本開示における工具システム1は、制御部3及び設定端末60等にコンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なる。IC又はLSI等の集積回路は、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスも、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
【0136】
また、工具システム1の少なくとも一部の機能が、1つの筐体(ボディ20)内に集約されていることは工具システム1に必須の構成ではなく、工具システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、制御部3の一部の機能が、工具2のボディ20とは別の筐体に設けられていてもよい。また、制御部3等の少なくとも一部の機能は、例えば、サーバ又はクラウド(クラウドコンピューティング)等によって実現されてもよい。
【0137】
工具システム1の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。
【0138】
また、上記実施形態では、工具2がインパクトレンチである場合を説明したが、工具2はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具2は、例えば、ねじ(締付部品)の締付作業に用いられるドライバ(インパクトドライバを含む)であってもよい。この場合、ソケット242の代わりに、ビット(例えばドライバビット等)が工具2に取り付けられる。さらに、工具2は、電池パック201を動力源とする構成に限らず、交流電源(商用電源)を動力源とする構成であってもよい。また、工具2は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気(動力)で動作するエアモータ(駆動部)を有するエア工具であってもよい。
【0139】
また、上記の実施形態では、1つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、これに限らない。例えば、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。この場合、1つの作業対象における複数の締付箇所に対応する目標トルク値は、互いに同じ値であってもよいし、互いに異なる値であってもよい。
【0140】
上記実施形態では、工具2の画像記憶部41が複数の作業対象に対応する複数のフレームを含む基準画像を記憶しているが、複数の作業対象に対応する複数のフレームを含む基準画像を工具2が記憶することは必須ではない。設定端末60又はサーバ装置が、複数の作業対象に対応する複数のフレームを含む基準画像を記憶する画像記憶部を備えていてもよい。この場合、工具2の特定処理部33は、設定端末60又はサーバ装置の画像記憶部にアクセスして、撮像部5の第1の撮像画像と画像記憶部に記憶された基準画像とを比較し、セット作業対象を特定する処理を行えばよい。また、工具2が特定処理部33を備えることも必須ではなく、設定端末60又はサーバ装置が特定処理部33の機能を有していてもよい。工具2が撮像部5で撮像された第1の撮像画像を設定端末60又はサーバ装置に出力すると、設定端末60又はサーバ装置の処理部が、第1の撮像画像と基準画像とを比較する画像処理を行い、セット作業対象の特定結果を工具2に出力してもよい。
【0141】
また、工具2は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部31は、トルクセンサが測定した締付トルクがトルク設定値となるように、駆動部24を制御する。さらに、判定部35は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定してもよい。判定部35は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。判定部35は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分(正常でない)と判定する。
【0142】
また、通知部211は、LED等の発光部に限らず、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部211は、表示以外の手段で通知(提示)を行ってもよく、例えば、音(音声を含む)を発生させるスピーカ又はブザー等で構成されていてもよい。この場合、通知制御部34は、特定処理部33の判定結果が不一致である場合と、特定処理部33がセット作業対象を特定した場合とで、通知部211から異なる音を発生させることが好ましい。また、通知部211は、振動を発生するバイブレータ、又は工具2の外部端末(携帯端末等)に通知信号を送信する送信機等で実現されてもよい。さらには、通知部211は、表示、音、振動又は通信等の機能のうちの2つ以上の機能を併せ持っていてもよい。
【0143】
また、記憶部4には、複数の作業対象に対して、予め決められた作業手順のデータが記憶されていてもよい。特定処理部33は、作業手順に基づいて、複数のフレームを含む基準画像のうち画像処理(パターン認識処理)に用いるフレームの基準画像を選択する。具体的には、特定処理部33は、複数のフレームを含む基準画像のうち、作業手順が直近の作業対象に対応するフレームの基準画像を優先的に選択する。直近の作業対象は、最後に特定した作業対象の次に作業予定の作業対象である。特定処理部33は、選択した基準画像をテンプレートデータとして第1の撮像画像と比較する画像処理を行う。つまり、特定処理部33は、作業手順に基づいて、第1の撮像画像に映る作業対象を予測して基準画像を選択する。これにより、特定処理部33が、第1の撮像画像に映る作業対象を特定するのに要する時間の短縮を図ることが可能となる。
【0144】
また、特定処理部33は、第1の撮像画像に画像処理を行い、工具2に取り付けられているソケット242の種類を判別するように構成されていてもよい。ここでいう「種類」とは、部品を区別するための情報であり、サイズ(大きさ又は長さ)、形状、及び素材の少なくともいずれか1つの情報を含む。本実施形態では、特定処理部33は、工具2に取り付けられているソケット242の長さを判別するように構成されている。特定処理部33は、ソケット242の長さに基づいて目標トルク値を補正して、補正後の目標トルク値をトルク設定値に設定する。例えば、特定処理部33は、セット作業対象に対応した目標トルク値に、ソケット242の長さに基づいた係数を掛けることによって目標トルク値を補正し、補正後の目標トルク値をトルク設定値に設定する。つまり、特定処理部33は、締付トルクが、補正後の目標トルク値となるように駆動部24を制御する。これにより、ソケット242の長さによる締付トルクのばらつきを低減することが可能となる。
【0145】
また、特定処理部33は、判別したソケット242の長さ(種類)に基づいてトルク設定値を設定するように構成されていてもよい。記憶部4には、ソケット242の種々の長さと一対一に対応したトルク値が記憶されている。特定処理部33は、判別したソケット242の長さに対応したトルク値を記憶部4から取得し、取得した値に基づいた値をトルク設定値に設定する。例えば、特定処理部33は、記憶部4から取得したトルク値を、トルク設定値に設定する。これにより、ソケット242の種類に応じたトルク値で締付作業を行うことができる。
【0146】
上記実施形態では、特定処理部33がパターン認識処理を行うことによってセット作業対象を特定する場合を例示したが、パターン認識処理は、特定処理部33がセット作業対象を特定するために行う処理の一例である。特定処理部33は、第1の撮像画像と基準画像との対応関係を判定、又は第1の撮像画像に対応する基準画像を探索する各種の画像処理を、パターン認識処理の代わりに行うことによってセット作業対象を特定してもよい。
【0147】
また、撮像部5は、ボディ20の胴体部21に限らず、例えば、ボディ20の装着部23、又は電池パック201等に設けられていてもよい。同様に、制御部3及び記憶部4等の配置についても、適宜変更可能である。
【0148】
なお、設定端末60は、ユーザが携帯可能な携帯端末に限らない。設定端末60は、工具2の通信部26と通信可能なサーバ等であってもよい。
【0149】
工具システム1は、少なくとも基準画像生成部67及び出力部66を備えていればよい。すなわち、工具2は工具システム1の必須構成ではない。また、本実施形態では、工具システム1は、基準画像生成部67及び出力部66を備える1つのシステムで実現されているが、2つ以上のシステムで実現されていてもよい。例えば、基準画像生成部67及び出力部66の機能が、2つ以上のシステムに分散して設けられていてもよい。また、基準画像生成部67及び出力部66の少なくとも1つの機能が、2つ以上のシステムに分散して設けられていてもよい。例えば、基準画像生成部67の機能が2つ以上の装置に分散されて設けられていてもよい。また、工具システム1の少なくとも一部の機能が、例えばクラウドコンピューティングにより実現されていてもよい。
【0150】
(まとめ)
以上説明したように、工具システム(1)は、複数の工具(2a,2b)に用いられる。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)とを有する。工具システム(1)は、基準画像生成部(67)を備える。基準画像生成部(67)は、第1の撮像画像と比較される基準画像を生成する。第1の撮像画像は、複数の作業対象のうち複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に複数の工具(2a,2b)のうちセットされた工具(2a;2b)の撮像部(5)で撮像される撮像画像である。基準画像生成部(67)は、第2の撮像画像に基づいて基準画像を生成する。第2の撮像画像は、複数の工具(2a,2b)のいずれかの撮像部(5)で撮像される撮像画像である。工具システム(1)は、出力部(66)を更に備える。出力部(66)は、基準画像生成部(67)が基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。
【0151】
この態様によれば、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができるため、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
【0152】
第2の態様に係る工具システム(1)では、第1の態様において、表示部(62)は、複数の工具(2a,2b)とは別体である。
【0153】
この態様によれば、複数の工具(2a,2b)は表示部(62)を備えない。そのため、複数の工具(2a,2b)をコンパクトにすることができ、複数の工具(2a,2b)の作業性を向上させることができる。
【0154】
第3の態様に係る工具システム(1)は、第2の態様において、複数の工具(2a;2b)の各々と有線通信及び無線通信の少なくとも一方で通信可能な通信部(61)を更に備える。通信部(61)は、複数の工具(2a,2b)のいずれかから第2の撮像画像を受信する。出力部(66)は、通信部(61)によって受信された第2の撮像画像を表示部(62)に表示させる。
【0155】
この態様によれば、出力部(66)は、通信部(61)が受信した第2の撮像画像を表示部(62)に表示させる。そのため、出力部(66)が表示部(62)に表示させる第2の撮像画像を、USBメモリ等の記録媒体を介して受け渡す必要がなくなる。
【0156】
第4の態様に係る工具システム(1)では、第1から第3のいずれかの態様において、基準画像生成部(67)は、表示部(62)に表示される第2の撮像画像に対して所定の画像処理を行い、基準画像を生成する。
【0157】
この態様によれば、表示部(62)に表示された第2の撮像画像に対して、所定の画像処理が行われた画像を基準画像とするため、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
【0158】
第5の態様に係る工具システム(1)では、第4の態様において、基準画像生成部(67)は、ユーザの操作に応じた操作内容に従って所定の画像処理を行う。
【0159】
この態様によれば、表示部(62)に表示された第2の撮像画像に対して、ユーザの操作に応じた操作内容に従った所定の画像処理が行われた画像を基準画像とするため、よりセット作業対象を特定するのに適した画像を基準画像とすることができる。
【0160】
第6の態様に係る工具システム(1)では、第4又は第5の態様において、基準画像は、1又は複数の作業対象に対応する複数のフレームを含む。基準画像生成部(67)は、複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更可能である。
【0161】
この態様によれば、基準画像生成部(67)は複数のフレームを含む基準画像を生成する際にフレーム毎に所定の画像処理の内容を変更するため、フレーム毎に適した所定の画像処理を行うことができる。
【0162】
第7の態様に係る工具システム(1)では、第4から第6のいずれかの態様において、所定の画像処理は、トリミング及びマスキングの少なくとも一方を含む。トリミングは、セット作業対象を特定する際の比較対象となるトリミング領域を設定する。マスキングは、セット作業対象を特定する際の比較対象から除外されるマスキング領域を設定する。
【0163】
この態様によれば、表示部(62)に表示される第2の撮像画像に対してトリミング及びマスキングの少なくとも一方を含む所定の画像処理が行われる。そのため、工具システム(1)は、第2の撮像画像のうちセット作業対象を特定するのに適した領域を第1の撮像画像と比較することができるようになる。
【0164】
第8の態様に係る工具システム(1)では、第7の態様において、トリミングが行われて生成された基準画像には、付帯情報が付与されている。付帯情報は、トリミング領域と第1の撮像画像における一部の領域とが比較される際に、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行うことを可能とするための情報である。
【0165】
この態様によれば、工具システム(1)は、第1の撮像画像の一部とトリミング領域とを比較する際に、第1の撮像画像に対するトリミング領域の移動及び回転の少なくとも一方を行う。そのため、工具システム(1)は、セット作業対象を特定する際の精度をより高めることができる。
【0166】
第9の態様に係る工具システム(1)では、第8の態様において、付帯情報には、第1の撮像画像に対してトリミング領域を移動及び回転させることが可能な範囲の少なくとも一方が規定されている。
【0167】
この態様によれば、付帯情報に規定された範囲内で、トリミング領域の移動及び回転の少なくとも一方を行うため、工具システム(1)がセット作業対象を特定する際の処理負荷を軽減することができる。
【0168】
第10の態様に係る工具システム(1)では、第7から第9のいずれかの態様において、所定の画像処理はトリミングを含む。基準画像生成部(67)は、表示部(62)に表示される第2の撮像画像に対して複数のトリミング領域を設定可能である。基準画像生成部(67)は、複数のトリミング領域の各々に重み付けを設定可能である。
【0169】
この態様によれば、基準画像生成部(67)は、複数のトリミング領域を設定可能であり、複数のトリミング領域の各々に重み付けを設定可能であるため、よりセット作業対象を特定するのに適した基準画像を生成することができる。
【0170】
第11の態様に係る工具システム(1)は、第4から第10のいずれかの態様において、所定の画像処理の情報を、撮像部(5)の制御に反映させる反映処理部(37)を更に備える。
【0171】
この態様によれば、基準画像の生成時に行われた所定の画像処理の情報が撮像部(5)の制御に反映されるため、撮像部(5)は、基準画像と比較するのに適した第1の撮像画像を撮像できるようになる。
【0172】
第1の態様以外の構成については、工具システム(1)に必須の構成ではなく、適宜省略可能である。
【0173】
第12の態様に係る工具(2a;2b)は、第1から第11のいずれかの態様に係る工具システム(1)に用いられ、駆動部(24)と撮像部(5)とを備える。
【0174】
この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
【0175】
第13の態様に係る基準画像生成方法は、基準画像生成ステップを含む。基準画像生成ステップでは、複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に第1の撮像画像と比較される基準画像を、第2の撮像画像に基づいて生成する。第1の撮像画像は、複数の工具(2a,2b)のいずれかがセットされた作業対象であるセット作業対象を特定する際に複数の工具(2a,2b)のうちセットされた工具(2a;2b)の撮像部(5)で撮像される撮像画像である。複数の工具(2a,2b)は、可搬型であって、動力源からの動力によって動作する駆動部(24)と、撮像部(5)と、を有する。第2の撮像画像は、複数の工具(2a,2b)のいずれかの撮像部(5)で撮像される撮像画像である。基準画像生成ステップは、表示ステップを含む。表示ステップでは、基準画像を生成する際に、第2の撮像画像を表示部(62)に表示させる。
【0176】
この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
【0177】
第14の態様に係るプログラムは、第13の態様に係る方法を、1以上のプロセッサに実行させるプログラムである。
【0178】
この態様によれば、基準画像を生成する際に第2の撮像画像を表示部(62)に表示させる。そのため、基準画像の生成に際して、ユーザが第2の撮像画像を確認することができる。
【符号の説明】
【0179】
1 工具システム
2,2a,2b 工具
24 駆動部
37 反映処理部
5 撮像部
60 設定端末
61 通信部
62 表示部
66 出力部
67 基準画像生成部