IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7336669工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
<>
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図1
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図2
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図3
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図4
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図5
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図6
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図7
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図8
  • 特許-工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-24
(45)【発行日】2023-09-01
(54)【発明の名称】工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラム
(51)【国際特許分類】
   B25F 5/00 20060101AFI20230825BHJP
   G05B 19/418 20060101ALI20230825BHJP
   G06T 7/00 20170101ALI20230825BHJP
【FI】
B25F5/00 G
G05B19/418 Z
G06T7/00 350B
【請求項の数】 10
(21)【出願番号】P 2020120837
(22)【出願日】2020-07-14
(65)【公開番号】P2022017963
(43)【公開日】2022-01-26
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】佐々木 良介
(72)【発明者】
【氏名】栗田 昌典
(72)【発明者】
【氏名】山中 睦裕
(72)【発明者】
【氏名】新居 隆之
(72)【発明者】
【氏名】植田 真介
(72)【発明者】
【氏名】梶山 智史
【審査官】城野 祐希
(56)【参考文献】
【文献】特開2019-42860(JP,A)
【文献】特開2016-38716(JP,A)
【文献】特開2019-144965(JP,A)
【文献】特開2013-101445(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B25F 5/00
G05B 19/418
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
動力源からの動力により動作する駆動部を有する可搬型の工具と、
前記工具に搭載されており、撮像画像を生成する撮像部と、
複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う処理部と、を備え、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
工具システム。
【請求項2】
前記処理部は、前記複数の基準画像の各々に、前記工具を用いて行った前記作業の履歴に基づく重み係数を設定し、
前記処理部は、前記複数の基準画像の中から前記重み係数に応じた順番で前記比較画像を選択する、
請求項1に記載の工具システム。
【請求項3】
前記工具は複数のユーザによって使用され、
前記順番は、前記ユーザごとの前記作業履歴に応じて変化する、
請求項1又は2に記載の工具システム。
【請求項4】
前記工具を用いて1以上の作業対象に行う作業工程が複数あり、
前記順番は、前記作業工程ごとの前記作業履歴に応じて変化する、
請求項1~3のいずれか1項に記載の工具システム。
【請求項5】
前記処理部は、履歴情報に基づいて学習済みモデルが選択した前記比較画像と前記撮像画像とを比較する前記比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う、
請求項1~4のいずれか1項に記載の工具システム。
【請求項6】
前記処理部が特定した前記作業対象に基づいて、前記工具を用いる前記作業の作業内容を設定する、
請求項1~5のいずれか1項に記載の工具システム。
【請求項7】
請求項1~6のいずれか1項に記載の工具システムに用いられ、
前記駆動部と、
前記撮像部と、
を備える、
工具。
【請求項8】
動力源からの動力により動作する駆動部を有する可搬型の工具に搭載されている撮像部によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う処理部を備え、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
作業対象特定システム。
【請求項9】
動力源からの動力により動作する駆動部を有する可搬型の工具に搭載された撮像部から撮像画像を取得する取得ステップと、
複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較することによって、前記撮像画像に映る作業対象を特定する特定ステップと、を含み、
前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する、
作業対象特定方法。
【請求項10】
1以上のプロセッサに、請求項9に記載の作業対象特定方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラムに関し、より詳細には、可搬型の工具に用いられる工具システム、可搬型の工具、作業対象特定システム、作業対象特定方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、電池パックからの動力によって動作する駆動部及び撮像部を有する可搬型の工具を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象(工具を用いて作業が行われる対象となる物又は場所等)を撮像する。
【0003】
特許文献1においては、撮像部で生成された撮像画像は、工具がセットされた(つまり、工具が作業対象に対して作業が行えるように準備された)作業対象を特定するために用いられる。工具システムは、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、撮像画像に映る作業対象を特定する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2019-042860号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1において、基準画像の数が増えると、撮像画像と複数の基準画像とを比較する処理に長い時間がかかるため、撮像画像に映る作業対象を特定するまでの時間が長くなるという問題がある。
【0006】
本開示の目的は、撮像画像に映る作業対象を特定するまでの時間を短縮可能な工具システム、工具、作業対象特定システム、作業対象特定方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本開示の一態様の工具システムは、可搬型の工具と、撮像部と、処理部と、を備える。前記工具は、動力源からの動力により動作する駆動部を有する。前記撮像部は、前記工具に搭載されており、撮像画像を生成する。前記処理部は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。
【0008】
本開示の一態様の工具は、前記工具システムに用いられる。前記工具は、前記駆動部と、前記撮像部と、を備える。
【0009】
本開示の一態様の作業対象特定システムは、処理部を備える。前記処理部は、撮像部によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、前記撮像画像に映る作業対象を特定する特定処理を行う。前記撮像部は、動力源からの動力により動作する駆動部を有する可搬型の工具に搭載される。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。
【0010】
本開示の一態様の作業対象特定方法は、取得ステップと、特定ステップと、を含む。前記取得ステップでは、撮像部から撮像画像を取得する。前記撮像部は、動力源からの動力により動作する駆動部を有する可搬型の工具に搭載される。前記特定ステップでは、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と前記撮像画像とを比較することによって、前記撮像画像に映る作業対象を特定する。前記複数の基準画像の各々が前記比較画像に選択される順番が、前記工具を用いて行った作業の作業履歴に応じて変化する。
【0011】
本開示の一態様のプログラムは、1以上のプロセッサに、前記作業対象特定方法を実行させるためのプログラムである。
【発明の効果】
【0012】
本開示によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【図面の簡単な説明】
【0013】
図1図1は、一実施形態に係る工具システムのブロック図である。
図2図2は、同上の工具システムを前方からみた外観斜視図である。
図3図3は、同上の工具システムを後方からみた外観斜視図である。
図4図4は、同上の工具システムの作業対象を模式的に示す平面図である。
図5図5は、同上の工具システムの動作の一例を示すフローチャートである。
図6図6は、同上の工具システムの比較例による特定処理を説明する図である。
図7図7は、同上の工具システムによる特定処理を説明する図である。
図8図8は、同上の工具システムによる特定処理を説明する図である。
図9図9は、変形例の工具システムの外観斜視図である。
【発明を実施するための形態】
【0014】
以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する。
【0015】
(実施形態)
(1)概要
まず、本実施形態に係る工具システム1の概要について、図1を参照して説明する。
【0016】
本実施形態に係る工具システム1は、可搬型の工具2を備えている。工具2は、例えば、モータ等を含む駆動部24を有している。駆動部24は、例えば、電池パック201等の動力源からの動力(電力等)によって動作する。この種の工具2としては、例えば、インパクトレンチ、ナットランナ、オイルパルスレンチ、ドライバ(インパクトドライバを含む)、ドリル又はドリルドライバ等、様々な種類の工具がある。ユーザにおいては、この種の工具2を用いることで、例えば、作業対象となるワーク(加工対象物)に対して、締結部品(例えば、ボルト又はナット等)を取り付けたり、ワークに穴あけ等の加工をしたりすることができる。
【0017】
また、本実施形態に係る工具システム1では、工具2に撮像部5が搭載されている。撮像部5は、撮像画像を生成する。撮像部5は、例えば、工具2の出力軸241(図2及び図3参照)に取り付けられたソケット242(図2及び図3参照)を撮像範囲(視野)に含んでいる。これにより、工具2での作業時には、作業対象を撮像し撮像部5にて撮像画像が得られる。
【0018】
そのため、本実施形態に係る工具システム1では、例えば、撮像部5で得られた撮像画像に基づいて作業対象を特定し、作業対象に対応する作業内容(例えば締め付け作業での締め付けトルクの設定値等)を工具2に設定することができる。また、他の例として、工具システム1では、撮像部5で得られた撮像画像に基づいて、作業対象に対して行った作業の良否判定、作業対象に応じたユーザへの作業指示の通知、又はログ(作業記録)として画像を残すこと等も可能となる。このように、工具2に搭載された撮像部5で得られる画像(撮像画像)を用いれば、例えば、工具2を用いたユーザの作業の支援又は管理等が可能となる。
【0019】
ところで、本実施形態に係る工具システム1は、図1に示すように、処理部34を備えている。すなわち、工具システム1は、工具2と、撮像部5と、処理部34とを備えている。工具2は、動力源からの動力によって動作する駆動部24を有する。撮像部5は、工具2に搭載され、撮像画像を生成する。処理部34は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。複数の基準画像の各々が比較画像に選択される順番が、工具2を用いて行った作業の作業履歴に応じて変化する。
【0020】
この構成によれば、複数の基準画像の各々が比較画像に選択される順番が作業履歴に応じて変化するので、この順番が固定されている場合に比べて、撮像画像に映る作業対象に対応した基準画像が比較画像に選択されるまでの時間を短くできる。したがって、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0021】
(2)詳細な構成
以下、本実施形態に係る工具システム1の詳細な構成について、図1図3を参照して説明する。
【0022】
(2.1)前提
本実施形態に係る工具システム1は、例えば、工場におけるワーク(加工対象物)の組立作業を行う組立ラインに用いられる。
【0023】
ここにおいて、本開示でいう「作業対象」は、工具2を用いて作業が行われる対象となる物又は部位(箇所)等を意味する。本実施形態では一例として、工具システム1に用いられる工具2は、例えば、インパクトレンチ等の、作業対象としての締付部品(例えば、ボルト又はナット等)の締め付けに用いられる締付工具である。より詳細には、本実施形態では、工具2を用いて1又は複数種類のワークに対する作業を行うケースを想定する。各種類の1つのワークには作業対象が複数あり、ユーザが、工具2を用いて、1つのワークにある複数の作業対象に対して作業を順番に行うケースを想定する。
【0024】
本実施形態では、例えば、図4に示すように、複数の作業対象W1~W8は、ワークA1に設けられた複数のねじ穴又はねじ穴の周辺部位であり、複数のねじ穴には複数のボルト(六角ボルト)がそれぞれ取り付けられる。そして、複数の作業対象W1~W8のうち、工具2がセットされている状態の作業対象を「セット作業対象」ということもある。ここでいう「工具2が作業対象にセットされている状態」は、工具2が作業対象に対して作業が行えるように準備された状態を意味する。また、「工具2が作業対象にセットされている状態」は、工具2が、ねじ穴である作業対象W1~W8に取り付けられた締付部品に当たっている状態だけでなく、工具2を締付部品に当てようとしている状態、すなわち工具2が締付部品に対して接近している状態も含む。つまり、工具2が作業対象W1~W8にセットされている状態では、工具2が締付部品に当たっていてもよいし、離れていてもよい。
【0025】
また、本開示でいう「撮像画像」は、撮像部5での撮像によって得られる画像であって、静止画(静止画像)及び動画(動画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画(フレーム)にて構成される画像を含む。撮像画像は、撮像部5から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部5で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。
【0026】
また、本開示でいう「基準画像」とは、例えば、撮像部5で作業対象を撮像することによって得られる撮像画像に基づいて生成される画像である。「複数の作業対象にそれぞれ対応する複数の基準画像」とは、1つの作業対象に1つの基準画像が対応している場合のみならず、1つの作業対象に複数の基準画像が対応している場合も含み得る。また、1つの作業対象に対して、この作業対象を様々な角度又は大きさで写した複数の基準画像が対応付けられていてもよい。また、基準画像は、撮像部5による撮像画像に基づいて生成される画像に限定されず、撮像部5以外のカメラで撮像された画像に基づいて生成された画像であってもよい。
【0027】
また、本開示でいう「搭載」は、内蔵(分離できないように一体化されている態様を含む)及び外付け(カプラー等を用いて取外し可能に固定されている態様を含む)の両方の態様を含む。すなわち、工具2に搭載される撮像部5は、工具2に内蔵されていてもよいし、工具2に外付けされていてもよい。本実施形態の工具2は、撮像部5を内蔵している。
【0028】
また、本開示でいう「特定処理」では、複数の作業対象に対応する複数の撮像画像から選択した比較画像と撮像画像とを比較する比較処理を行うことによって、比較画像に対応する作業対象が撮像画像に映っているか否かを判断する。そして、工具システム1は、特定処理を行って、撮像画像にどの作業対象が映っているかを特定すると、特定処理を終了する。
【0029】
(2.2)工具システムの構成
図1に示すように、本実施形態に係る工具システム1は、工具2と作業対象特定システム10とを備える。
【0030】
(2.2.1)工具の構成
まず、本実施形態に係る工具システム1における工具2の構成について、図1図3を参照して説明する。工具2は、制御部3aと、駆動部24と、インパクト機構25と、通知部211と、電池パック201と、を有している(図1参照)。
【0031】
本実施形態に係る工具2は、電気エネルギを用いて駆動部24を動作させる電動工具である。特に、本実施形態では、工具2がインパクトレンチである場合を想定する。このような工具2では、締付部品を作業対象(例えばワークA1のねじ穴)に取り付ける取付作業が可能である。
【0032】
ここで、工具2は、電池パック201を動力源として、電池パック201から供給される電力(電気エネルギ)で駆動部24を動作させる。本実施形態では、電池パック201は工具2の構成要素に含まれることとするが、電池パック201が工具2の構成要素に含まれることは必須ではなく、工具2の構成要素に電池パック201が含まれていなくてもよい。
【0033】
また、工具2は、ボディ20を更に有している。ボディ20には、駆動部24及びインパクト機構25が収容されている。さらに、本実施形態の工具2では、制御部3a及び通知部211についても、ボディ20に収容されている。
【0034】
工具2のボディ20は、胴体部21と、グリップ部22と、装着部23とを有している。胴体部21は、筒状(ここでは円筒状)に形成されている。グリップ部22は、胴体部21の周面の一部から、法線方向(胴体部21の径方向)に沿って突出する。グリップ部22の長手方向における一端は胴体部21に連結され、グリップ部22の長手方向における他端には装着部23が設けられている。装着部23は、電池パック201が取り外し可能に装着されるように設けられている。言い換えれば、胴体部21と装着部23とが、グリップ部22にて連結されている。
【0035】
胴体部21には、少なくとも駆動部24が収容されている。駆動部24は、モータを有している。駆動部24は、動力源である電池パック201からモータに供給される電力を動力として動作するように構成されている。胴体部21の軸方向における一端面からは、出力軸241が突出している。出力軸241は、駆動部24の動作に伴って、出力軸241の突出方向に沿った回転軸Ax1を中心に回転する。つまり、駆動部24は、出力軸241を駆動して回転軸Ax1周りで出力軸241を回転させる。言い換えれば、駆動部24が動作することによって、出力軸241にトルクが作用して出力軸241が回転する。
【0036】
出力軸241には、締付部品(例えば、ボルト又はナット等)を回転させるための円筒状のソケット242が、取り外し可能に取り付けられる。ソケット242は、出力軸241と共に出力軸241周りで回転する。出力軸241に取り付けられるソケット242のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部24が動作すると、出力軸241が回転してソケット242が出力軸241と共に回転する。このとき、ソケット242が締付部品に嵌め合わされていれば、ソケット242と共に締付部品が回転し、作業対象に対して締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具2は、駆動部24の動作により、作業対象に対して締付部品を締め付ける又は緩めるといった作業を実現できる。
【0037】
また、出力軸241には、ソケット242の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸241に対して取り外し可能に取り付けられる。この場合、ソケットアンビルを介してビット(例えば、ドライバビット又はドリルビット等)の装着が可能となる。
【0038】
工具2は、上述したようにインパクト機構25を有している。インパクト機構25は、締付トルクが所定レベルを超えると、出力軸241に回転方向の打撃力を加える。これにより、工具2は、締付部品に対して、より大きな締付トルクを与えることが可能となる。
【0039】
グリップ部22は、ユーザが作業を行う際に握る部分である。グリップ部22には、トリガスイッチ221(操作部)、及び正逆切替スイッチ222が設けられている。トリガスイッチ221は、駆動部24の動作のオン/オフを制御するためのスイッチである。トリガスイッチ221には、初期位置とオン位置とがあり、ユーザによってトリガスイッチ221がオン位置まで押される又は引かれることで駆動部24が動作する。また、トリガスイッチ221は、引込量(操作量)に応じて出力軸241の回転数の調整が可能である。正逆切替スイッチ222は、出力軸241の回転方向を正転と逆転とで切り替えるスイッチである。
【0040】
装着部23は、扁平な直方体状に形成されている。装着部23におけるグリップ部22とは反対側の一面には、電池パック201が取り外し可能に装着される。
【0041】
電池パック201は、直方体状に形成された樹脂製のケース202を有している。ケース202は、蓄電池(例えば、リチウムイオン電池、又は全個体電池等)を収容している。電池パック201は、駆動部24、制御部3a、通知部211及び作業対象特定システム10等に電力を供給する。
【0042】
また、装着部23には、操作パネル231が設けられている。操作パネル231は、例えば、複数の押ボタンスイッチ232、及び複数のLED(Light Emitting Diode)233を有している。操作パネル231では、工具2に関する種々の設定及び状況確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル231の押ボタンスイッチ232を操作することにより、工具2の動作モードの変更、及び電池パック201の残容量の確認等を行うことができる。
【0043】
さらに、装着部23には、撮影用の発光部234が設けられている。発光部234は、例えば、LEDを含んでいる。発光部234は、工具2を用いた作業時において、作業対象に向けて光を照射する。発光部234のオン/オフは、操作パネル231の操作で行うことができる。また、発光部234は、トリガスイッチ221がオンした際に、自動的に点灯してもよい。
【0044】
通知部211は、例えば、LEDで構成されている。通知部211は、ユーザが作業中に通知部211を目視しやすいように、ボディ20の胴体部21における出力軸241とは反対側の端部に設けられている(図3参照)。
【0045】
また、本実施形態に係る工具2は、動作モードとして、少なくとも運用モードと登録モードとを有している。運用モードは、ユーザが工具2を用いて作業を行う際の動作モードである。登録モードは、作業対象に対応する基準画像を生成するための動作モードである。動作モードの切り替えは、例えば操作パネル231の押ボタンスイッチ232等に対する操作に基づいて行われてもよいし、操作パネル231とは別の、例えばトリガスイッチ221やディップスイッチ等に対する操作に基づいて行われてもよい。
【0046】
制御部3aは、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3aとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3aとして機能させるためのプログラムである。
【0047】
制御部3aは、駆動制御部31、通知制御部36及びトルク判定部37等の機能を有している。制御部3aは、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3aは、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
【0048】
駆動制御部31は、駆動部24を制御する。具体的には、駆動制御部31は、トリガスイッチ221の引込量に基づいた回転速度で、かつ正逆切替スイッチ222によって設定された回転方向に、出力軸241を回転させるよう駆動部24を動作させる。
【0049】
また、駆動制御部31は、締付トルクがトルク設定値となるように駆動部24を制御する。ここで、駆動制御部31は、締付トルクの大きさを推定するトルク推定機能を有している。本実施形態では一例として、駆動制御部31は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部24(モータ)の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部31は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構25の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部31は、インパクト機構25の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部24(モータ)を停止させる。これにより、工具2は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。ここにおいて、作業対象に対して行う作業の作業内容(例えばトルク設定値等)は記憶部4(トルク記憶部42)に予め設定されている。なお、作業対象に対する作業内容はトルク設定値に限定されず、工具2の種類及び工具2を用いた作業の種類等に応じて適宜変更が可能である。
【0050】
通知制御部36は、通知部211を制御する。通知制御部36は、処理部34による特定処理によって作業対象が特定されていない場合と、特定処理によって作業対象が特定された場合とで、通知部211による通知状態を異なる態様とすることが好ましい。例えば、通知制御部36は、特定処理によって作業対象が特定されていない場合、通知部211を消灯させ、特定処理によって作業対象が特定された場合、通知部211を緑色で点灯させる。これにより、ユーザは、通知部211の点灯状態を目視することによって、作業対象が特定されたか否かを認識することができる。
【0051】
トルク判定部37は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、トルク判定部37は、作業対象に対する作業内容に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。具体的には、作業対象に対する作業内容が目標トルク値を含んでいる。これにより、トルク判定部37は、作業対象に対する作業内容に含まれる目標トルク値と、締付トルクと、を比較することで、作業対象に応じた締付トルクで作業がされているかを判定できる。
【0052】
トルク判定部37は、例えば、インパクト機構25の打撃数が閾値回数に達することによって駆動制御部31が駆動部24を停止させた場合、締付トルクが正常であると判定する。また、トルク判定部37は、インパクト機構25の打撃数が閾値回数に達する前に、例えばトリガスイッチ221がオフされることによって駆動制御部31が駆動部24を停止させた場合、締付トルクが不十分(正常ではない)と判定する。また、トルク判定部37は、判定結果を、作業対象(締付対象箇所)と対応付けて結果記憶部43に記憶させる結果記憶処理を行う。
【0053】
(2.2.2)作業対象特定システムの構成
次に、作業対象特定システム10の構成について、図1図3を参照して説明する。作業対象特定システム10は、上述した処理部34を備えている。複数の基準画像の各々が比較画像に選択される順番が、工具を用いて行った作業の作業履歴に応じて変化する。
【0054】
また、本実施形態の作業対象特定システム10は、上述した撮像部5と、処理部34を含む制御部3bと、記憶部4とを有している。
【0055】
制御部3b、記憶部4、及び撮像部5は、工具2のボディ20に収容されている。本実施形態では一例として、撮像部5は、胴体部21に収容されている。制御部3b及び記憶部4は、グリップ部22又は装着部23に収容されている。すなわち、本実施形態の工具2は上記の工具システム1に用いられ、駆動部24と、撮像部5とを備えている。
【0056】
撮像部5は、撮像画像としてのデータを生成する。撮像部5は、例えば、撮像素子とレンズとを有するカメラである。本実施形態では、上述したように、撮像部5は、工具2のボディ20(胴体部21)に収容されている。撮像部5は、工具2を用いた作業時に作業対象を撮像するように、出力軸241の先端側に向けて搭載されている。
【0057】
具体的には、撮像部5は、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、出力軸241の先端側(ソケット242)に向けて、胴体部21の先端部に配置されている(図2及び図3参照)。撮像部5の光軸は、出力軸241の回転軸Ax1に沿って配置される。ここでは、撮像部5は、出力軸241の回転軸Ax1から所定距離内に光軸が位置し、かつ回転軸Ax1と光軸が略平行となるように配置されている。なお、出力軸241に取り付けられたソケット242が撮像範囲に収まるように、撮像部5が撮像画像を生成することは必須ではない。撮像部5は、セット作業対象を特定するための撮像画像を生成することが可能であればよい。「セット作業対象を特定するための撮像画像」とは、作業対象に工具2がセットされた状態のワークが、撮像部5によって撮影されて生成される画像である。本開示における上記撮像画像には、工具2がセットされた作業対象(ワークの少なくとも一部)が映っているものとする。なお、上記撮像画像は、セット作業対象を特定することが可能な画像であればよく、上記撮像画像の撮像範囲には、工具2がセットされた作業対象が収まっていなくてもよい。
【0058】
制御部3bは、例えば、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成として備えている。マイクロコントローラは、1以上のメモリに記録されているプログラムを1以上のプロセッサで実行することにより、制御部3bとしての機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、制御部3bとして機能させるためのプログラムである。
【0059】
制御部3bは、撮像制御部32、セット検知部33、処理部34、及び登録部35等の機能を有している。制御部3bは、一定時間の間、トリガスイッチ221又は操作パネル231への操作入力が行われなかった場合、スリープ状態となる。制御部3bは、スリープ状態中にトリガスイッチ221又は操作パネル231への操作入力が行われると起動する。
【0060】
撮像制御部32は、撮像部5を制御するように構成されている。本実施形態の撮像制御部32は、制御部3bが起動するに伴い、撮像部5に撮影動作を開始させる。
【0061】
セット検知部33は、工具2が作業対象にセットされている状態を検知する。本実施形態に係るセット検知部33は、工具2が運用モードであるときに、工具2が作業対象にセットされているか否かのセット検知処理を行う。
【0062】
セット検知部33は、トリガスイッチ221の引込量に基づいて、工具2が作業対象にセットされている状態を検知する。具体的には、トリガスイッチ221がユーザによって半押しされている場合に、セット検知部33は、工具2が作業対象にセットされている状態を検知する。本開示の「半押しされている」とは、トリガスイッチ221が、初期位置とオン位置との間に位置している状態をいう。具体的には、「半押しされている」とは、トリガスイッチ221が初期位置とオン位置との略中間に位置している状態をいう。セット検知部33は、トリガスイッチ221が初期位置とオン位置との間に位置している状態のとき、工具2が作業対象にセットされている状態を検知する。なお、セット検知部33は、トリガスイッチ221が初期位置とオン位置との間に位置している状態であることを、工具2が作業対象にセットされている状態を検知するための複数の条件の1つとしてもよい。また、セット検知部33は、例えば、距離センサによって検知される工具2と作業対象との間の距離が予め設定された範囲内である場合に、工具2が作業対象にセットされている状態を検知してもよい。また、セット検知部33は、例えば工具2が物体に押し当てられることで工具2に加わる圧力を検知する圧力センサの検知結果に基づき、圧力の検知結果が所定の閾値以上である場合に、工具2が作業対象にセットされている状態を検知してもよい。
【0063】
セット検知部33は、工具2が作業対象にセットされている状態を検知すると、セット検知情報を処理部34に出力する。なお、セット検知部33は、工具2が作業対象にセットされている状態を検知しない場合、セット検知情報を処理部34に出力しない。
【0064】
本実施形態に係る処理部34は、セット検知部33から出力されるセット検知情報を受け取ると、撮像画像に基づいて特定処理を実行する。言い換えると、処理部34は、作業対象を特定することができる可能性が高いときに、撮像画像に基づいて特定処理を実行する。処理部34が特定処理を開始するタイミングが遅すぎると、作業対象を特定できないだけでなく、処理部34による特定処理の実行には0.5秒~1.0秒程度の時間を要するためユーザが工具2を構えたタイミングで特定処理を開始できない場合がある。ユーザが工具2を構えたタイミングで特定処理を開始できない場合、特定処理の完了が遅れ、ユーザの作業リズムを損なう可能性がある。本実施形態の処理部34は、作業対象を特定することができる可能性が高いとき、すなわちユーザが工具2を構えた最適のタイミングで特定処理を実行することができるため、特定処理の完了が遅れる可能性を低減することができる。また、撮像部5のAE(Automatic Exposure)や、AWB(Auto White Balance)等の撮像制御が安定した撮像画像に基づいて特定処理を実行することができるため、特定処理の精度向上を図ることができる。なお、本実施形態に係る処理部34は、セット検知部33から出力されるセット検知情報を受け取っていない場合、撮像画像に基づく所定の処理を実行しない。
【0065】
処理部34は、複数の作業対象のうち工具2がセットされた作業対象(セット作業対象)を特定する特定処理を間欠的に行う。換言すると、工具2が作業対象にセットされたことをセット検知部33が検知したタイミングで、処理部34は、セット作業対象を特定する特定処理を行う。つまり、処理部34は、撮像画像に映るセット作業対象を特定する機能を有する。具体的には、処理部34は、撮像部5の撮像画像と複数の基準画像とを比較する画像処理を行い、撮像画像に映るセット作業対象を、複数の作業対象のうちから特定する。ここにおいて、複数の作業対象にそれぞれ対応する複数の基準画像は、記憶部4(画像記憶部41)に記憶されている。
【0066】
具体的には、処理部34は、撮像画像に対して、複数の作業対象に対応する複数の基準画像をテンプレートデータとしたパターン認識処理を行い、セット作業対象を特定する。つまり、処理部34は、撮像画像と、複数の作業対象に対応する複数の基準画像とを比較することによって、撮像画像に映っている作業対象(セット作業対象)を特定する。処理部34は、複数の基準画像から選択した一の比較画像と撮像画像とを比較する比較処理を、撮像画像に映る作業対象が特定されるまで繰り返し行う。ここにおいて、複数の基準画像の各々が比較画像に選択される順番が、工具2を用いて行った作業の作業履歴に応じて変化する。例えば、処理部34は、複数の基準画像の各々に、工具2を用いて行った作業の履歴に基づく重み係数を設定する。重み係数は、次に作業を行う可能性が高い作業対象の基準画像ほど値が大きくなるような係数である。処理部34は、工具2を用いて行った過去の作業の履歴に基づいて複数の基準画像に重み係数を設定する。そして、処理部34は、複数の基準画像の中から重み係数に応じた順番で比較画像を選択する。具体的には、処理部34は、複数の基準画像のうち重み係数の値が最も大きい基準画像を比較画像として選択し、この比較画像と撮像画像とを比較する比較処理を行う。このように、処理部34は、複数の基準画像のうち特定処理に使用していない基準画像で重み係数が最も高いもの、つまり次に行われる可能性が高い作業対象の基準画像を比較画像として選択している。したがって、処理部34は、撮像画像に映る作業対象を特定するまでに行う比較処理の回数を少なくでき、工具2が作業対象にセットされてから作業対象を特定するまでの時間を短縮することができ、処理部34が行う特定処理の処理量を低減できる。
【0067】
なお、本開示でいう「パターン認識処理」とは、ある画像に映る物の形状に基づいて、その画像に映る物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。ここでいうパターンマッチング処理は、上述したようなテンプレートデータを用いて、テンプレートデータと比較対象(撮像画像等)との比較を行う処理である。また、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング(深層学習)のアルゴリズムを用いてもよい。
【0068】
さらに、処理部34は、特定された作業対象(セット作業対象)に対して行う作業の作業内容を工具2に設定する。具体的には、工具システム1は、処理部34が特定した作業対象に基づいて、工具2を用いる作業の作業内容を設定する。処理部34は、セット作業対象に対して行う締め付け作業の目標トルク値をトルク記憶部42から抽出する。そして、処理部34は、トルク記憶部42から抽出した目標トルク値を工具2に設定する。
【0069】
登録部35は、工具2の動作モードが登録モードである場合、画像登録処理と、トルク登録処理と、を行う。画像登録処理は、複数の作業対象にそれぞれ対応する複数の基準画像を記憶部4の画像記憶部41に記憶させる処理である。トルク登録処理は、複数の作業対象にそれぞれ対応する複数の目標トルク値を記憶部4のトルク記憶部42に記憶させる処理である。
【0070】
また、登録部35は、画像登録処理において、例えば、撮像部5が作業対象を撮像して生成した静止画像を基準画像として画像記憶部41に記憶させる。具体的には、工具2の動作モードが登録モードである場合、トリガスイッチ221がシャッターボタンとしても機能する。トリガスイッチ221がオンすると(オン位置まで押されると)撮像部5が静止画像を生成する。登録部35は、この静止画像を基準画像として画像記憶部41に記憶させる。
【0071】
記憶部4は、例えば、半導体メモリで構成されており、画像記憶部41、トルク記憶部42(目標値記憶部)、結果記憶部43及び履歴記憶部44の機能を有する。画像記憶部41とトルク記憶部42と結果記憶部43と履歴記憶部44とは、本実施形態では1つのメモリで構成されているが、複数のメモリで構成されていてもよい。また、記憶部4は、工具2に対して取外し可能に装着されるメモリカード等の記録媒体であってもよい。
【0072】
画像記憶部41は、複数の基準画像を複数の作業対象と対応付けて記憶している。
【0073】
トルク記憶部42は、複数の目標トルク値(目標値)を、複数の作業対象と一対一に対応付けて記憶している。目標トルク値とは、対応する作業対象に締付部品を取り付ける際における締付トルクの目標値である。
【0074】
結果記憶部43は、複数の作業対象と、トルク判定部37による複数の締付対象箇所における判定結果とを対応付けて記憶している。また、結果記憶部43は、トルク判定部37の判定結果に作業時刻を示すタイムスタンプを付加して記憶することが好ましい。これにより、組立ラインにおいてワークごとに作業対象の判定結果を区別することが可能となる。なお、結果記憶部43は、作業対象に対して行った締付け作業での締付けトルクの値を、作業対象と対応付けて記憶してもよい。
【0075】
履歴記憶部44は、工具2が行った作業の履歴を記憶する。ユーザが工具2を用いて複数のワークに対する作業を行うと、履歴記憶部44には、複数の作業対象に対して作業が行われた順番が記憶される。1つのワークにある複数の作業対象に対して作業が行われる順番は、ユーザの熟練度、体格、利き腕などによって変更される可能性がある。工具2を使用するユーザは、1つのワークにある複数の作業対象に対して、当人が作業しやすい順番で作業を行う可能性があるが、履歴記憶部44には、複数の作業対象に対して作業が行われた順番が記憶される。
【0076】
なお、例えば工具2を使用するユーザが操作パネル231等を操作してID情報を入力すると、工具2から作業対象特定システム10にID情報が入力されるので、履歴記憶部44には、ユーザのID情報に対応付けて、当該ユーザが行った作業の作業履歴、つまり複数の作業対象に対して作業を行った順番が記憶されてもよい。工具2が複数のユーザによって使用され、履歴記憶部44にユーザごとの作業履歴が記憶されている場合、複数の基準画像の各々が比較画像に選択される順番が、ユーザごとの作業履歴に応じて変化する。具体的には、処理部34は、ユーザごとの作業履歴に基づいて、複数の作業対象の各々について作業が行われる確率に応じた重み係数を設定し、画像記憶部41に複数の撮像画像と、複数の撮像画像に設定した複数の重み係数とを対応付けて記憶させる。処理部34は、工具2から当該工具2を使用するユーザのID情報が入力されている状態で、セット検知部33からセット検知情報が入力されると、特定処理を開始する。ここで、処理部34は、ID情報に基づいて当該ユーザの作業履歴に応じて複数の基準画像に設定された重み係数を抽出し、複数の基準画像のうち比較処理を行っていない基準画像の中で重み係数が最も高い基準画像を比較画像に選択し、この比較画像と撮像画像とを比較することによって、比較画像に対応する作業対象が撮像画像に映っているか否かを判断する。
【0077】
(3)動作
本実施形態に係る工具システム1の動作について、図5図8を参照して説明する。
【0078】
ここでは、組立ラインにおいて、ユーザが複数のワークA1の組立作業を行う際の工具システム1の動作を例として説明する。個々のワークA1には、複数(図4の例では8つ)の作業対象(例えばねじ穴)があり、ユーザは、工具2を用いて複数の作業対象W1~W8に締付部品であるボルトを取り付ける作業を行うこととする。なお、登録モードにおいて、工具2の画像記憶部41には、複数の作業対象と複数の基準画像とが対応付けて記憶され、工具2のトルク記憶部42には、複数の作業対象と複数の目標トルク値とが対応付けて記憶されているものとする。
【0079】
以下に、工具システム1の運用モードの動作例について、図5のフローチャートを参照して説明する。なお、図5に示すフローチャートは、作業対象特定システム10が行う作業対象特定方法の一例に過ぎず、処理の順序が適宜変更されてもよいし、処理が適宜追加又は省略されてもよい。
【0080】
ユーザが工具2を用いて作業対象に対する作業を行う場合、ユーザが工具2を作業対象にセットしたか否かをセット検知部33が検知する(ステップS1)。例えばユーザが工具2を作業対象に当てて、トリガスイッチ221を半押しすると、セット検知部33は、トリガスイッチ221の引込量に基づいて、工具2が作業対象にセットされていると検知し(ステップS1:Yes)、セット検知情報を撮像制御部32及び処理部34に出力する。
【0081】
セット検知部33から撮像制御部32にセット検知情報が入力されると、撮像制御部32は撮像部5を制御して撮像画像を撮像させており、処理部34は撮像部5から撮像画像の画像データを取得する(ステップS2)。ここで、工具2が作業対象にセットされている状態では、撮像部5の撮像画像に、工具2がセットされている作業対象が映っている。
【0082】
処理部34が撮像部5から撮像画像の画像データを取得すると、処理部34は、複数の基準画像の中から一の基準画像を比較画像として選択する(ステップS3)。ここで、処理部34は、今回の撮像画像に対する特定処理において比較処理に使っていない1以上の基準画像の中で、重み係数が最も高い基準画像を比較画像として選択する。そして、処理部34は、比較画像と撮像画像とを比較する比較処理を行い(ステップS4)、比較処理の結果に基づいて比較画像に対応する作業対象が撮像画像に映っているか否か、つまり撮像画像に映っているもの(セット作業対象)を特定できたか否かを判断する(ステップS5)。
【0083】
ここで、ステップS5において撮像画像に映っているセット作業対象を特定できなかった場合(ステップS5:No)、処理部34は、S3に戻って比較画像を選択し直す。すなわち、処理部34は、今回の撮像画像に対する特定処理において比較処理に使っていない1以上の基準画像の中で、重み係数が最も高い基準画像を比較画像として選択し、ステップS4以後の処理を繰り返す。
【0084】
一方、ステップS5において撮像画像に映っているセット作業対象を特定できた場合(ステップS5:Yes)、処理部34は、工具2がセットされている作業対象に対応する作業内容(例えば目標トルク値)をトルク記憶部42から抽出し、この目標トルク値を工具2の制御部3aに出力する。
【0085】
工具2の制御部3aは、処理部34から目標トルク値が入力されると、目標トルク値を設定し、通知制御部36を制御して通知部211により作業対象が特定されたことを示す通知を行わせる。工具2を使用するユーザが、通知部211による通知に基づいて作業対象が特定されたと判断すると、トリガスイッチ221をオン位置まで操作し、この操作に応じて制御部3aが駆動部24を動作させる。このとき、制御部3aは、処理部34から入力された目標トルク値で駆動部24を動作させることによって、作業対象に対して予め設定された目標トルク値で締付け作業を行うことができる。
【0086】
なお、作業対象に対する作業が終了すると、トルク判定部37の判定結果が制御部3bに出力され、制御部3bが結果記憶部43にトルク判定部37の判定結果を記憶させ、履歴記憶部44に今回の作業が行われた作業対象の情報が記憶される。これにより、ユーザが工具2を用いて作業を行うたびに、複数の作業対象に対して行った作業の履歴情報が更新されるので、処理部34は、これまでの履歴情報に基づいて次に行われる作業を予測し、複数の基準画像の各々に次に作業が行われる確率に応じた重み係数を設定する。
【0087】
以上のように、特定処理では撮像画像に映っているセット作業対象が特定されるまで、処理部34が、複数の基準画像から選択した一の比較画像と撮像画像とを比較する比較処理を繰り返すのであるが、本実施形態では、複数の基準画像の各々が比較画像に選択される順番が、工具2を用いて行った作業の作業履歴に応じて変化する。
【0088】
図4に示すように8つの作業対象W1~W8(例えばねじ穴)がある場合に、8つの作業対象W1~W8をそれぞれ撮影した8枚の基準画像P1~P8が画像記憶部41には予め登録されている。
【0089】
ここで、特定処理において8枚の基準画像P1~P8の各々が比較画像に選択される順番が固定であると、セット作業対象を特定するまでの時間が長くなる可能性がある。例えば1箇所目の作業では作業対象W1にボルトを取り付け、2箇所目の作業では作業対象W2にボルトを取り付け、3箇所目の作業では作業対象W3にボルトを取り付けるケースを想定する。ここで、図6に示すように、1箇所目、2箇所目、3箇所目のセット作業対象の特定処理を行う場合に、いずれの場合でも基準画像P1、P2、P3、P4、P5、P6、P7、P8の順番で比較画像に選択して撮像画像と比較すると、1箇所目の作業対象W1については1回目の比較処理で作業対象が特定される。一方、2箇所目の作業対象W2については2回目の比較処理で作業対象が特定され、3箇所目の作業対象W3については3回目の比較処理で作業対象が特定されることになる。このように、比較画像に選択する順番が固定であると、作業対象が特定されるまでに行う比較処理の回数が増え、作業対象を特定するまでの時間が長くなる可能性がある。
【0090】
それに対して、本実施形態では、処理部34は、複数の基準画像P1~P8が比較画像に選択される順番を作業履歴に応じて変化させている。上述のように、処理部34は、過去の作業履歴に基づいて基準画像P1~P8の各々に重み係数を設定しており、この重み係数に基づいて比較画像を選択している。図8は、基準画像P1~P8の各々に設定された重み係数の一例を示している。図8において基準画像P1~P8に向かう矢印に隣接して記載した括弧内の数字が重み係数を示している。ワークに対する1箇所目の作業では作業対象W1に作業を行う確率が最も高いため、基準画像P1の重み係数が最も高い値に設定されている。また、1箇所目に作業対象W1に作業が行われた場合、ワークに対する2箇所目の作業では作業対象W2に作業を行う確率が最も高いため、基準画像P2の重み係数が最も高い値に設定されている。1箇所目に作業対象W1に作業が行われ、2箇所目に作業対象W2に作業が行われた場合、ワークに対する3箇所目の作業では作業対象W3に作業を行う確率が最も高いため、基準画像P3の重み係数が最も高い値に設定されている。
【0091】
このように基準画像P1~P8に重み係数が設定されている状態で、1箇所目の作業では、処理部34は、図7に示すように基準画像P1、P2、P3、P4、P5、P6、P7、P8の順番で比較画像に選択して比較処理を実行する。したがって、1箇所目の作業において工具2が作業対象W1に設定された場合、比較処理を1回行うだけでセット作業対象が作業対象W1であると特定できる。
【0092】
2箇所目の作業では、処理部34は、図7に示すように基準画像P2、P3、P4、P5、P6、P7、P8の順番で比較画像に選択して比較処理を実行する。したがって、2箇所目の作業において工具2が作業対象W2に設定された場合、比較処理を1回行うだけでセット作業対象が作業対象W2であると特定できる。
【0093】
3箇所目の作業では、処理部34は、図7に示すように基準画像P3、P4、P5、P6、P7、P8の順番で比較画像に選択して比較処理を実行する。したがって、3箇所目の作業において工具2が作業対象W3に設定された場合、比較処理を1回行うだけでセット作業対象が作業対象W3であると特定できる。
【0094】
以上のように、過去の作業履歴に応じて基準画像P1~P8を比較画像に選択する順番が変更されるので、セット作業対象が作業対象W1~W8のいずれであるのかを特定するまでの時間を短くできるという利点がある。
【0095】
(4)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
【0096】
また、上記実施形態に係る工具システム1と同等の機能は、作業対象特定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る作業対象特定方法は、取得ステップ(S2)と、特定ステップ(S3~S5)と、を含む。取得ステップでは、可搬型の工具2に搭載された撮像部5から撮像画像を取得する。工具2は、動力源からの動力により動作する駆動部24を有する。特定ステップでは、複数の作業対象W1~W8にそれぞれ対応する複数の基準画像P1~P8の中から選択される一の比較画像と撮像画像とを比較することによって、撮像画像に映る作業対象を特定する。複数の基準画像P1~P8の各々が比較画像に選択される順番が、工具2を用いて行った作業の作業履歴に応じて変化する。一態様に係るプログラムは、1以上のプロセッサに、上記の作業対象特定方法を実行させるためのプログラムである。
【0097】
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0098】
処理部34が特定処理を行う際、工具2に設けられたモーションセンサ(例えば3軸加速度センサ又は3軸ジャイロセンサ等)によって検知される工具2の姿勢情報に基づいて、撮像画像に回転補正や歪み補正を行うようにしてもよい。本開示の「歪み補正」とは、撮像画像を部分的に任意の量だけ伸縮させることにより、撮像画像を補正することである。例えば、処理部34は、長方形の被写体が台形のように映った撮像画像について歪み補正を施すことにより、被写体が長方形に映った撮像画像を得ることができる。
【0099】
本開示における工具システム1は、制御部3a,3bにコンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における工具システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1又は複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なる。IC又はLSI等の集積回路は、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスも、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1又は複数の電子回路で構成される。
【0100】
本実施形態では、工具システム1及び作業対象特定システム10の機能が1つの筐体(ボディ20)内に集約されているが、工具システム1及び作業対象特定システム10の機能が、複数の筐体に分散して設けられていてもよい。
【0101】
例えば、制御部3a,3bの一部の機能が、工具2のボディ20とは別の筐体に設けられていてもよい。また、制御部3a,3b等の少なくとも一部の機能は、例えば、サーバ又はクラウド(クラウドコンピューティング)等によって実現されてもよい。
【0102】
上記実施形態では、工具2の画像記憶部41が複数の作業対象W1~W8に対応する複数の基準画像P1~P8を記憶しているが、複数の作業対象W1~W8に対応する複数の基準画像P1~P8を工具2が記憶することは必須ではない。工具2と通信可能な外部システム(例えばサーバ装置)が、複数の作業対象W1~W8に対応する複数の基準画像P1~P8を記憶する画像記憶部を備えていてもよい。この場合、工具2の処理部34は、外部システムの画像記憶部にアクセスして、撮像部5の撮像画像と、画像記憶部に記憶された基準画像から選択した比較画像とを比較する比較処理を行うことで、セット作業対象を特定する処理を行えばよい。
【0103】
また、工具2が処理部34を備えることも必須ではなく、工具2と通信可能な外部システム(例えばサーバ装置)が処理部34の機能を有していてもよい。工具2が撮像部5で撮像された撮像画像を外部システムに出力すると、外部システムの処理部が、撮像画像と比較画像とを比較する比較処理を行い、セット作業対象の特定結果を工具2に出力してもよい。
【0104】
また、撮像部5は、ボディ20の胴体部21に限らず、例えば、ボディ20の装着部23、又は電池パック201等に設けられていてもよい。同様に、制御部3a,3b及び記憶部4等の配置についても、適宜変更可能である。また、工具2が撮像部5を備えていてもよい。
【0105】
また、図9に示すように、作業対象特定システム10が、工具2に対して外付けされていてもよい。この場合、工具2の制御部3aと、作業対象特定システム10の制御部3bとは、直接電気的に接続されていてもよいし、通信部を介して通信を行うようにしてもよい。この場合、通信部は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)又は免許を必要としない小電力無線(特定小電力無線)等の規格に準拠した、無線通信方式を採用するようにしてもよい。また、作業対象特定システム10が電池パック201とは異なる動力源を含むようにし、電池パック201とは異なる動力源を撮像部5や制御部3b等の動力源としてもよい。このような作業対象特定システム10は、作業対象に工具2がセットされている状態を検知した後に、撮像画像に基づいて作業対象を特定することが可能である。
【0106】
作業対象特定システム10は、少なくとも、処理部34を備えていればよい。なお、上記実施形態では、作業対象特定システム10は、処理部34を備える1つのシステムで実現されているが、2つ以上のシステムで実現されていてもよい。例えば、処理部34の機能が、2つ以上のシステムに分散して設けられていてもよい。また、処理部34の少なくとも1つの機能が、2つ以上のシステムに分散して設けられていてもよい。例えば、処理部34の機能が2つ以上の装置に分散されて設けられていてもよい。また、作業対象特定システム10の少なくとも一部の機能が、例えばクラウドコンピューティングにより実現されていてもよい。
【0107】
工具システム1の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。
【0108】
また、上記実施形態では、工具2がインパクトレンチである場合を説明したが、工具2はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具2は、例えば、ねじ(締付部品)の締付作業に用いられるドライバ(インパクトドライバを含む)であってもよい。この場合、ソケット242の代わりに、ビット(例えばドライバビット等)が工具2に取り付けられる。さらに、工具2は、電池パック201を動力源とする構成に限らず、交流電源(商用電源)を動力源とする構成であってもよい。また、工具2は、電動工具に限らず、動力源としてのエアコンプレッサから供給される圧縮空気(動力)で動作するエアモータ(駆動部)を有するエア工具であってもよい。
【0109】
また、上記実施形態では、1つのワークにおける複数の締付対象箇所の各々が、作業対象である場合を例に説明したが、作業対象は、複数の締付対象箇所を有するモジュール、部品又は製品等であってもよい。
【0110】
また、工具2は、締付トルクを測定するトルクセンサを備えていてもよい。この場合、駆動制御部31は、トルクセンサが測定した締付トルクがトルク設定値となるように、駆動部24を制御する。さらに、トルク判定部37は、トルクセンサの測定結果と目標トルク値とを比較することにより、締付トルクが正常であるか否かを判定してもよい。トルク判定部37は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲内である場合、締付トルクが正常であると判定する。トルク判定部37は、トルクセンサの測定結果が、目標トルク値を基準にした所定範囲外である場合、締付トルクが不十分(正常でない)と判定する。
【0111】
また、通知部211は、LED等の発光部に限らず、例えば、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の画像表示装置により実現されてもよい。さらに、通知部211は、表示以外の手段で通知(提示)を行ってもよく、例えば、音(音声を含む)を発生させるスピーカ又はブザー等で構成されていてもよい。また、通知部211は、振動を発生するバイブレータ、又は工具2の外部端末(携帯端末等)に通知信号を送信する送信機等で実現されてもよい。さらには、通知部211は、表示、音、振動又は通信等の機能のうちの2つ以上の機能を併せ持っていてもよい。
【0112】
上記実施形態において、処理部34は、機械学習で作成された学習済みモデルを用いて、複数の撮像画像の中から撮像画像の比較処理に使用する比較画像を選択してもよい。すなわち、処理部34は、前回までに行った作業の履歴情報を学習済みモデルに入力することによって、次に作業が行われると推測される作業対象に対応する基準画像が比較画像として選択される。そして、処理部34は、学習済みモデルを用いて選択された比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映るセット作業対象を特定する。つまり、処理部34は、履歴情報に基づいて学習済みモデルが選択した比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。このように、処理部34は、前回までに行った作業の履歴情報を学習済みモデルに入力することによって、次に作業が行われると推測される作業対象に対応する基準画像を比較画像として選択するので、セット作業対象を特定するまでに行う比較処理の回数を少なくできる。したがって、セット作業対象を特定するのにかかる時間を短縮できる。ここにおいて、機械学習の方法としては、適宜のアルゴリズムを用いればよい、例えばディープラーニング(深層学習)のアルゴリズムを用いてもよい。
【0113】
上記実施形態において、工具2を用いて1以上の作業対象に行う作業工程が複数ある場合、処理部34は、複数の基準画像の各々が比較画像に選択される順番を、作業工程ごとの作業履歴に応じて変化させてもよい。この場合、履歴記憶部44には、複数ある作業工程の各々で、複数の作業対象に対して行った作業の作業履歴に関する履歴情報が記憶される。処理部34は、例えばユーザが操作パネル231を用いて入力した作業工程の情報、又は、外部システムから入力された作業工程の情報に基づいて、現在行っている作業工程を特定し、当該作業工程の履歴情報を履歴記憶部44から抽出する。そして、処理部34は、当該作業工程での作業の履歴情報に基づいて、当該作業工程で作業を行う複数の作業対象に対応する複数の基準画像に対して履歴情報に基づく重み係数を設定する。そして、処理部34は、セット検知部33からセット検知情報が入力されると、比較処理に使用していない1以上の基準画像の中から重み係数が最も高い基準画像を比較画像として選択して撮像画像との比較処理を行うことで、セット作業対象を特定する処理を行う。このように、処理部34は、画像記憶部41に記憶された複数の基準画像から、現在の作業工程に対応した複数の基準画像を抽出し、抽出された複数の基準画像の中から選択した比較画像と撮像画像とを比較しているので、セット作業対象を特定するのに要する時間を短縮できる。
【0114】
(まとめ)
以上説明したように、第1の態様の工具システム(1)は、可搬型の工具(2)と、撮像部(5)と、処理部(34)と、を備える。工具(2)は、動力源からの動力により動作する駆動部(24)を有する。撮像部(5)は、工具(2)に搭載されており、撮像画像を生成する。処理部(34)は、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。複数の基準画像の各々が比較画像に選択される順番が、工具(2)を用いて行った作業の作業履歴に応じて変化する。
【0115】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0116】
第2の態様の工具システム(1)では、第1の態様において、処理部(34)は、複数の基準画像の各々に、工具(2)を用いて行った作業の履歴に基づく重み係数を設定する。処理部(34)は、複数の基準画像の中から重み係数に応じた順番で比較画像を選択する。
【0117】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0118】
第3の態様の工具システム(1)では、第1又は2の態様において、工具(2)は複数のユーザによって使用される。順番は、ユーザごとの作業履歴に応じて変化する。
【0119】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0120】
第4の態様の工具システム(1)では、第1~3のいずれかの態様において、工具(2)を用いて1以上の作業対象に行う作業工程が複数ある。順番は、作業工程ごとの作業履歴に応じて変化する。
【0121】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0122】
第5の態様の工具システム(1)では、第1~4のいずれかの態様において、処理部(34)は、履歴情報に基づいて学習済みモデルが選択した比較画像と撮像画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。
【0123】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0124】
第6の態様の工具システム(1)では、第1~5のいずれかの態様において、処理部(34)が特定した作業対象に基づいて、工具(2)を用いる作業の作業内容を設定する。
【0125】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0126】
第7の態様の工具(2)は、第1~6のいずれかの態様の工具システム(1)に用いられる。工具(2)は、駆動部(24)と、撮像部(5)と、を備える。
【0127】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0128】
第8の態様の作業対象特定システム(10)は、処理部(34)を備える。処理部(34)は、撮像部(5)によって生成される撮像画像と、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像とを比較する比較処理を行うことによって、撮像画像に映る作業対象を特定する特定処理を行う。撮像部(5)は、可搬型の工具(2)に搭載されている。工具(2)は、動力源からの動力により動作する駆動部(24)を有する。複数の基準画像の各々が比較画像に選択される順番が、工具(2)を用いて行った作業の作業履歴に応じて変化する。
【0129】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0130】
第9の態様の作業対象特定方法は、取得ステップと、特定ステップと、を含む。取得ステップでは、撮像部(5)から撮像画像を取得する。撮像部(5)は、動力源からの動力により動作する駆動部(24)を有する可搬型の工具(2)に搭載される。特定ステップでは、複数の作業対象にそれぞれ対応する複数の基準画像の中から選択される一の比較画像と撮像画像とを比較することによって、撮像画像に映る作業対象を特定する。複数の基準画像の各々が比較画像に選択される順番が、工具(2)を用いて行った作業の作業履歴に応じて変化する。
【0131】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0132】
第10の態様のプログラムは、1以上のプロセッサに、第9の態様の作業対象特定方法を実行させるためのプログラムである。
【0133】
この態様によれば、撮像画像に映る作業対象を特定するまでの時間を短縮することができる。
【0134】
上記態様に限らず、実施形態に係る工具システム(1)及び作業対象特定システム(10)の種々の構成(変形例を含む)は、作業対象特定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
【0135】
第2~第6の態様に係る構成については、工具システム(1)に必須の構成ではなく、適宜省略可能である。
【符号の説明】
【0136】
1 工具システム
2 工具
5 撮像部
10 作業対象特定システム
24 駆動部
34 処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9