特開 2023-149065 判定システム、判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023149065

(43)【公開日】2023-10-13

(54)【発明の名称】判定システム、判定方法及びプログラム

(51)【国際特許分類】

   B25F 5/00 20060101AFI20231005BHJP

   G05B 19/418 20060101ALI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

【ＦＩ】

B25F5/00 C

G05B19/418 Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022057420

(22)【出願日】2022-03-30

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】植草 康二

(72)【発明者】

【氏名】山中 睦裕

【テーマコード（参考）】

3C064

3C100

5L096

【Ｆターム（参考）】

3C064AA02

3C064AB02

3C064AC02

3C064BA12

3C064BA22

3C064BA24

3C064BB89

3C064BB90

3C064CA53

3C064CA71

3C064CA80

3C064CB17

3C064CB19

3C064CB24

3C064CB28

3C064CB62

3C064CB71

3C064CB86

3C064DA08

3C064DA42

3C064DA59

3C064EA04

3C064EA05

3C100AA22

3C100AA27

3C100AA38

3C100BB05

3C100BB19

3C100BB34

3C100DD05

3C100DD22

3C100DD32

5L096AA02

5L096AA06

5L096CA04

5L096CA21

5L096DA01

5L096DA02

5L096FA35

5L096FA69

5L096FA77

5L096GA30

5L096GA51

5L096HA11

5L096JA03

5L096JA09

5L096KA04

(57)【要約】

【課題】特定が困難となる作業対象を判定する。
【解決手段】判定システム１は、特定部３３と、判定部３４と、を備える。特定部３３は、撮像画像に基づいて、複数の作業対象のうちから撮像画像の被写体となった作業対象を特定する特定処理を行う。撮像画像は、工具２に取り付けられた撮像部５が生成した画像である。判定部３４は、複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する判定処理を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

工具に取り付けられた撮像部が生成した撮像画像に基づいて、複数の作業対象のうちから前記撮像画像の被写体となった作業対象を特定する特定処理を行う特定部と、
前記複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、前記複数の作業対象に含まれる一の作業対象と類似する他の作業対象が前記複数の作業対象に含まれるか否かを判定することで、前記一の作業対象が前記撮像画像による特定が困難な作業対象であるか否かを判定する判定処理を行う判定部と、
を備える、
判定システム。

【請求項2】

前記特定部による前記特定処理に関する情報を通知部に通知させる通知制御部、を更に備え、
前記通知制御部は、前記特定された作業対象が前記判定部によって前記困難な作業対象であると判定されている場合に、前記特定された作業対象に関する情報と、前記他の作業対象に関する情報とを前記通知部に通知させる、
請求項１に記載の判定システム。

【請求項3】

前記特定された作業対象が前記判定部によって前記困難な作業対象であると判定されている場合に、前記被写体となった作業対象が、前記特定された作業対象及び前記他の作業対象のうちのいずれの作業対象であるのかを、ユーザに選択させる選択部、を更に備える、
請求項２に記載の判定システム。

【請求項4】

前記特定部は、前記特定された作業対象が前記判定部によって前記困難な作業対象であると判定されている場合に、記憶部に記憶された作業手順情報に基づいて、前記被写体となった作業対象を再度特定する、
請求項１から３のいずれか１項に記載の判定システム。

【請求項5】

前記特定部は、前記特定処理において、前記撮像部とは別の検知部が取得する検知情報と、前記撮像画像とに基づいて、前記被写体となった作業対象を特定する、
請求項１から４のいずれか１項に記載の判定システム。

【請求項6】

前記複数の作業対象は、第１作業対象と第２作業対象とを含んでおり、
前記複数の基準画像は、前記第１作業対象に対応する第１基準画像と、前記第２作業対象に対応する第２基準画像と、を含んでおり、
前記判定部は、前記判定処理において、前記第１基準画像及び前記第２基準画像に基づいて前記第１作業対象と前記第２作業対象とが類似するか否かを判定することで、前記他の作業対象があるか否かを判定する、
請求項１から５のいずれか１項に記載の判定システム。

【請求項7】

前記特定部は、前記特定処理において、前記複数の基準画像と前記複数の作業対象との関係を用いて学習された学習済モデルを用いて、前記被写体となった作業対象を特定する、
請求項１から６のいずれか１項に記載の判定システム。

【請求項8】

前記判定部は、前記判定処理において、前記１以上の基準画像と前記学習済モデルの情報とに基づいて、前記他の作業対象があるか否かを判定する、
請求項７に記載の判定システム。

【請求項9】

前記判定部は、前記他の作業対象があると判定した場合に、前記一の作業対象が前記困難な作業対象であると判定する、
請求項１から８のいずれか１項に記載の判定システム。

【請求項10】

工具に取り付けられた撮像部が生成した撮像画像に基づいて、複数の作業対象のうちから前記撮像画像の被写体となった作業対象を特定する特定ステップと、
前記複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、前記複数の作業対象に含まれる一の作業対象と類似する他の作業対象が前記複数の作業対象に含まれるか否かを判定することで、前記一の作業対象が前記特定ステップにて特定が困難な作業対象であるか否かを判定する判定ステップと、
を有する、
判定方法。

【請求項11】

請求項１０に記載の判定方法を、１以上のプロセッサに実行させるための、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に判定システム、判定方法及びプログラムに関し、より詳細には、撮像画像の被写体となった作業対象を特定する判定システム、判定方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、電池パックからの動力によって動作する駆動部及び撮像部を有する可搬型の工具を備える工具システムが記載されている。撮像部は、例えば、工具の出力軸に取り付けられたソケットが撮像範囲に収まるように配置されており、工具での作業時に作業対象（工具を用いて作業が行われる対象となる物又は場所等）を撮像する。

【0003】

特許文献１においては、撮像部で生成された撮像画像は、工具がセットされた作業対象を特定するために用いられる。特許文献１に記載の工具システムは、特定部を備えている。特定部は、撮像部で生成された撮像画像と、画像記憶部に記憶されている複数の基準画像とを比較し、セット作業対象を特定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１０８６３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、撮像画像を用いて作業対象を特定する場合、作業対象の形状又は位置等によっては特定が困難となる作業対象が存在し得る。特定が困難となる作業対象を予め把握することができれば、作業のミス等を低減することができる。

【0006】

本開示は上記事由に鑑みてなされており、特定が困難となる作業対象を判定することができる判定システム、判定方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る判定システムは、特定部と、判定部と、を備える。前記特定部は、撮像画像に基づいて、複数の作業対象のうちから前記撮像画像の被写体となった作業対象を特定する特定処理を行う。前記撮像画像は、工具に取り付けられた撮像部が生成した画像である。前記判定部は、前記複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、前記複数の作業対象に含まれる一の作業対象と類似する他の作業対象が前記複数の作業対象に含まれるか否かを判定することで、前記一の作業対象が前記撮像画像による特定が困難な作業対象であるか否かを判定する判定処理を行う。

【0008】

本開示の一態様に係る判定方法は、特定ステップと、判定ステップと、を有する。前記特定ステップでは、撮像画像に基づいて、複数の作業対象のうちから前記撮像画像の被写体となった作業対象を特定する。前記撮像画像は、工具に取り付けられた撮像部が生成した画像である。前記判定ステップでは、前記複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、前記複数の作業対象に含まれる一の作業対象と類似する他の作業対象が前記複数の作業対象に含まれるか否かを判定することで、前記一の作業対象が前記撮像画像による特定が困難な作業対象であるか否かを判定する。

【0009】

本開示の一態様に係るプログラムは、前記判定方法を、１以上のプロセッサに実行させるためのプログラムである。

【発明の効果】

【0010】

本開示の上記態様に係る判定システム、判定方法及びプログラムによれば、特定が困難となる作業対象を判定することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態１に係る判定システムの構成を示すブロック図である。

【図2】図２Ａは、同上の工具をある角度から見た斜視図である。図２Ｂは、同上の工具を別の角度から見た斜視図である。

【図3】図３は、同上の判定システムの動作を示すフローチャートである。

【図4】図４は、同上の変形例に係る判定システムの動作を示すフローチャートである。

【図5】図５は、実施形態２に係る判定システムの構成を示すブロック図である。

【図6】図６は、実施形態３の変形例に係る判定システムの特定処理を説明するための概念図である。

【図7】図７は、実施形態４に係る判定システムの構成を示すブロック図である。

【図8】図８は、同上の判定システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示に関する好ましい実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態において互いに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する場合がある。以下の実施形態は、本開示の様々な実施形態の一つに過ぎない。実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さのそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

【0013】

実施形態において、測定データなどの２値の比較において、「以下」としているところは「未満」であってもよい。つまり、２値の比較において、２値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「以下」か「未満」かに技術上の差異はない。同様に、「以上」としているところは「超過」であってもよい。

【0014】

（実施形態１）
（１）概要
まず、実施形態１に係る判定システム１（工具２）の概要について、図１を参照して説明する。工具２は、判定システム１の一例である。

【0015】

実施形態１に係る工具２は、例えば、工場におけるワークの組立作業を行う組立ラインに用いられる。実施形態１では、工具２がインパクトレンチ等の、締付部品（例えば、ボルト又はナット等）の締め付けに用いられる締付工具であるとする。実施形態１では、１つのワーク（加工対象物）に対して作業対象が複数あり、ユーザ（作業者）が、１つの作業スペースにおいて、工具２を用いて、複数の作業対象の各々に締付部品を取り付けるケースを想定する。

【0016】

図１に示すように、工具２は、特定部３３と、判定部３４と、を備える。

【0017】

特定部３３は、特定処理を行う。特定処理は、工具２に取り付けられた撮像部５が生成した撮像画像に基づいて、複数の作業対象のうちから撮像画像の被写体となった作業対象を特定する処理である。

【0018】

判定部３４は、判定処理を行う。判定処理は、複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する処理である。

【0019】

実施形態１の工具２（判定システム１）では、判定部３４が、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定する。類似する他の作業対象が複数の作業対象に含まれる場合、特定部３３が一の作業対象と他の作業対象とを誤って特定する可能性が、類似する他の作業対象が複数の作業対象に含まれない場合と比べて高くなる。すなわち、類似する他の作業対象が複数の作業対象に含まれる場合の特定処理は、類似する他の作業対象が複数の作業対象に含まれない場合の特定処理より困難である。実施形態１の判定部３４によれば、撮像部５が生成した撮像画像に基づいて作業対象を特定することが困難であるか否かを事前に判定することができるため、特定が困難となる作業対象を把握することができる。撮像画像に基づいて作業対象を特定することが困難な作業対象に対して、例えばマーキングを行っておくなどの対策を予め行うことが可能となる。

【0020】

（２）詳細
以下、実施形態１に係る工具２（判定システム１）の詳細な構成について、図１～図３を参照して説明する。

【0021】

図１に示すように、工具２は、制御部３と、記憶部４と、撮像部５と、駆動部２４と、インパクト機構２５と、を備える。

【0022】

図２Ａ及び図２Ｂに示すように、工具２は、ボディ２０を更に備える。ボディ２０には、駆動部２４及びインパクト機構２５が収容されている。

【0023】

工具２のボディ２０は、胴体部２１と、グリップ部２２と、装着部２３と、を有する。胴体部２１は、筒状（ここでは円筒状）に形成されている。グリップ部２２は、胴体部２１の周面の一部から、胴体部２１の径方向に沿って突出する。装着部２３は、電池パック２０１が取外し可能に装着されるように構成されている。装着部２３は、グリップ部２２の先端部に設けられている。言い換えれば、胴体部２１と装着部２３とが、グリップ部２２にて連結されている。

【0024】

胴体部２１には、少なくとも駆動部２４（図１参照）が収容されている。駆動部２４は、モータを有する。駆動部２４は、電池パック２０１からモータに供給される電力を動力として動作するように構成されている。胴体部２１の軸方向における一端面からは、出力軸２４１が突出している。出力軸２４１は、駆動部２４の動作に伴って、出力軸２４１の突出方向に沿った回転軸Ａｘ１を中心に回転する。つまり、駆動部２４は、出力軸２４１を駆動して回転軸Ａｘ１周りで出力軸２４１を回転させる。言い換えれば、駆動部２４が動作することによって、出力軸２４１にトルクが作用して出力軸２４１が回転する。

【0025】

出力軸２４１には、締付部品を回転させるための円筒状のソケット２４２が、取外し可能に取り付けられる。ソケット２４２は、出力軸２４１と共に回転軸Ａｘ１周りで回転する。出力軸２４１に取り付けられるソケット２４２のサイズは、ユーザによって締付部品のサイズに合わせて適宜選択される。このような構成により、駆動部２４が動作すると、出力軸２４１が回転してソケット２４２が出力軸２４１と共に回転する。このとき、ソケット２４２が締付部品に嵌め合わされていれば、ソケット２４２と共に締付部品が回転し、締付部品を締め付ける又は緩めるといった作業が実現される。したがって、工具２は、駆動部２４の動作により、締付部品を締め付ける又は緩めるといった作業を実現できる。

【0026】

また、出力軸２４１には、ソケット２４２の代わりにソケットアンビルが取り付け可能である。ソケットアンビルについても、出力軸２４１に対して取外し可能に取り付けられる。この場合、ソケットアンビルを介してビット（例えば、ドライバビット又はドリルビット等）の装着が可能となる。

【0027】

インパクト機構２５（図１参照）は、締付トルク（作業値）が所定レベルを超えると、出力軸２４１に回転方向の打撃力を加える。これにより、工具２は、締付部品に対して、より大きな締付トルクを与えることが可能となる。

【0028】

胴体部２１には、通知部２１１が設けられている。通知部２１１は、例えば、ＬＥＤで構成されている。通知部２１１は、ユーザが作業中に通知部２１１を目視しやすいように、胴体部２１における出力軸２４１とは反対側の端部に設けられている。

【0029】

グリップ部２２は、ユーザが作業を行う際に握る部分である。グリップ部２２には、トリガスイッチ２２１、及び正逆切替スイッチ２２２が設けられている。トリガスイッチ２２１は、駆動部２４の動作のオン／オフを制御するためのスイッチであり、引込量に応じて出力軸２４１の回転数の調節が可能である。正逆切替スイッチ２２２は、出力軸２４１の回転方向を正転と逆転とで切り替えるスイッチである。

【0030】

装着部２３は、扁平な直方体状に形成されている。装着部２３におけるグリップ部２２とは反対側の一面には、電池パック２０１が取外し可能に装着される。

【0031】

電池パック２０１は、直方体状に形成された樹脂製のケース２０２を有している。ケース２０２は、蓄電池（例えば、リチウムイオン電池）を収容している。電池パック２０１は、駆動部２４（図１参照）、制御部３（図１参照）、記憶部４（図１参照）、及び撮像部５等に電力を供給する。

【0032】

また、装着部２３には、操作パネル２３１が設けられている。操作パネル２３１は、例えば、複数の押ボタンスイッチ２３２、及び複数のＬＥＤ（Light Emitting Diode）２３３を有している。操作パネル２３１では、工具２に関する種々の設定及び状態確認等を行うことができる。すなわち、ユーザは、例えば、操作パネル２３１の押ボタンスイッチ２３２を操作することにより、電池パック２０１の残容量の確認等を行うことができる。

【0033】

さらに、装着部２３には、発光部２３４が設けられている。発光部２３４は、例えば、ＬＥＤを含んでいる。発光部２３４は、工具２を用いた作業時において、作業対象に向けて光を照射する。発光部２３４のオン／オフは、操作パネル２３１の操作で行うことができる。また、発光部２３４は、トリガスイッチ２２１がオンした際に、自動的に点灯してもよい。

【0034】

制御部３（図１参照）と、記憶部４（図１参照）と、撮像部５の少なくとも一部とは、工具２のボディ２０に収容されている。実施形態１では、撮像部５の少なくとも一部は、胴体部２１に収容されている。制御部３及び記憶部４は、グリップ部２２又は装着部２３に収容されている。

【0035】

撮像部５は、工具２に取り付けられており、撮像画像としてのデータを生成する。撮像部５は、例えば、撮像素子とレンズとを有するカメラである。撮像部５は、工具２を用いた作業時に作業対象を撮像するように、出力軸２４１の先端側に向けて搭載されている。

【0036】

具体的には、撮像部５は、出力軸２４１に取り付けられたソケット２４２が撮像範囲に収まるように、胴体部２１の先端部に出力軸２４１の先端側（ソケット２４２）に向けて配置されている。撮像部５の光軸は、出力軸２４１の回転軸Ａｘ１に沿って配置される。ここでは、撮像部５は、出力軸２４１の回転軸Ａｘ１から所定距離内に光軸が位置し、かつ回転軸Ａｘ１と光軸が略平行となるように配置されている。なお、撮像部５が出力軸２４１に取り付けられたソケット２４２が撮像範囲に収まるように撮像画像を生成することは必須ではない。撮像部５は、作業対象を被写体とした撮像画像を生成することが可能であればよい。

【0037】

なお、本開示でいう「工具に取り付けられた」は、内蔵（分離できないように一体化されている態様を含む）及び外付け（カプラー等を用いて取外し可能に固定されている態様を含む）の両方の態様を含む。実施形態１では、撮像部５が工具２の構成の一部として工具２に内蔵されている。

【0038】

また、本開示でいう「撮像画像」は、撮像部５で撮像される画像であって、静止画（静止画像）及び動画（動画像）を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。撮像画像は、撮像部５から出力されたデータそのものでなくてもよい。例えば、撮像画像は、必要に応じて適宜データの圧縮、他のデータ形式への変換、又は撮像部５で撮影された画像から一部を切り出す加工、ピント調整、明度調整、若しくはコントラスト調整等の加工が施されていてもよい。実施形態１では一例として、撮像画像は、例えば、作業対象に工具２がセットされた状態で、工具２に搭載された撮像部５でワークが撮影されて生成される画像であるとする。また、実施形態１では一例として、撮像画像は、フルカラーの動画であるとする。

【0039】

また、本開示でいう「作業対象」は、工具２を用いて作業が行われる対象となる物又は部位（箇所）等を意味する。「作業対象」は、ワークの一部であって、締付部品が取り付けられる部位及び締付部品が取り付けられる部位の周辺である。例えば、締付部品がボルトであれば、締付部品が締め付けられるねじ孔、及びねじ孔の周辺の箇所が、作業対象となる。実施形態１では、ワークに作業対象が複数ある。実施形態１の複数の作業対象は、第１作業対象と、第２作業対象とを含んでいる。

【0040】

また、本開示でいう「工具がセットされた状態」は、工具２が作業対象に対して作業が行えるように準備された状態を意味し、工具２が作業対象に当たっている状態だけでなく、工具２を作業対象に当てようとしている状態も含む。つまり、工具２が作業対象にセットされた状態では、工具２が作業対象に当たっていてもよいし、離れていてもよい。

【0041】

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の半導体メモリである。なお、記憶部４は、半導体メモリに限らず、ハードディスクドライブ等であってもよい。実施形態１の記憶部４は、例えば、複数の基準画像と、作業手順情報とを記憶している。

【0042】

なお、本開示でいう「複数の基準画像」とは、複数の作業対象に対応する画像であり、作業対象を被写体とした画像である。複数の基準画像は、第１作業対象に対応する第１基準画像と、第２作業対象に対応する第２基準画像とを含んでいる。また、１つの作業対象に１つの基準画像が対応していてもよいし、１つの作業対象に複数の基準画像が対応していてもよい。実施形態１では、１つの作業対象に複数の基準画像が対応している。言い換えると、実施形態１の複数の基準画像は、複数の第１基準画像と、複数の第２基準画像とを含んでいる。複数の第１基準画像の各々は第１作業対象に対応し、複数の第２基準画像の各々は第２作業対象に対応する。なお、以下の説明において、複数の第１基準画像の各々のことを単に「第１基準画像」と呼ぶことがある。また、複数の第２基準画像の各々のことを単に「第２基準画像」と呼ぶことがある。実施形態１では、基準画像は例えばフルカラーの静止画である。

【0043】

作業手順情報は、作業手順が示された情報である。本開示でいう「作業手順」は、工具２を用いた作業の手順を意味する。例えば、１又は複数の作業対象に対する一連の作業を１つの作業工程とした場合、作業手順は、作業工程における１又は複数の作業対象の作業順番を示している。より詳細には、１つの作業対象に対する作業の指示を「作業指示」とした場合、作業手順は、１つの作業工程における１又は複数の作業指示を、その順番と共に示す情報である。実施形態１では一例として、１つのワークにおける複数の作業対象について、どの順番で作業を行うかを作業手順で規定するとする。また、作業指示は、複数の作業対象の各々に対応するトルク設定値（作業用設定値）を示す情報を含む。

【0044】

工具２は、例えば、プロセッサ及びメモリを有するマイクロコンピュータを備える。プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが図１に示す制御部３として機能する。つまり、制御部３は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0045】

図１に示すように、制御部３は、駆動制御部３１と、撮像制御部３２と、特定部３３と、判定部３４と、通知制御部３５と、作業管理部３６と、を有する。制御部３は、一定時間の間、トリガスイッチ２２１又は操作パネル２３１への操作入力が行われなかった場合、スリープ状態となる。制御部３は、スリープ状態中にトリガスイッチ２２１又は操作パネル２３１への操作入力が行われると起動する。

【0046】

駆動制御部３１は、駆動部２４を制御する。具体的には、駆動制御部３１は、トリガスイッチ２２１の引込量に基づいた回転速度で、かつ正逆切替スイッチ２２２によって設定された回転方向に、出力軸２４１を回転させるよう駆動部２４を動作させる。

【0047】

また、駆動制御部３１は、締付トルクが、特定部３３が特定した作業対象に対応するトルク設定値となるように駆動部２４を制御する。ここで、駆動制御部３１は、締付トルクの大きさを推定するトルク推定機能を有している。実施形態１では一例として、駆動制御部３１は、締付トルクの推定値が着座判定レベルに達するまでは、駆動部２４（モータ）の回転数等に基づいて締付トルクの大きさを推定する。駆動制御部３１は、締付トルクの推定値が着座判定レベルに達すると、インパクト機構２５の打撃数に基づいて締付トルクの大きさを推定する。駆動制御部３１は、インパクト機構２５の打撃数が、トルク設定値に基づいた閾値回数に達すると、締付トルクがトルク設定値に達したと判断して駆動部２４（モータ）を停止させる。これにより、工具２は、トルク設定値通りの締め付けトルクで、締付部品を締め付けることができる。

【0048】

撮像制御部３２は、撮像部５を制御して、撮像部５に撮像画像を生成させる処理部である。

【0049】

上述のように、特定部３３は特定処理を行う。特定処理は、撮像部５が生成した撮像画像に基づいて撮像画像の被写体となった作業対象を特定する処理である。特定部３３は、撮像部５が生成した撮像画像に対して画像処理（パターン認識処理）を行うことで、撮像画像の被写体となった作業対象を特定する。

【0050】

本開示でいう「パターン認識処理」とは、ある画像に含まれる物（被写体）の画像の形状に基づいて、その物が何であるのかを認識する画像処理を意味する。この種のパターン認識処理の一例として、パターンマッチング処理、機械学習で作成された学習済みモデルを用いて画像に映る物を認識する処理等がある。

【0051】

実施形態１の特定部３３は、特定処理において、撮像部５が撮像画像と複数の基準画像とに基づいて、撮像画像の被写体となった作業対象を特定する。実施形態１の特定部３３は、パターンマッチング処理を行うことにより、撮像画像の被写体となった作業対象を特定する。なお、本開示でいう「パターンマッチング処理」は、テンプレートデータ（複数の基準画像）を用いて、テンプレートデータと比較対象（撮像画像）との比較を行う処理である。

【0052】

実施形態１の特定部３３は、特定した作業対象が、作業手順（作業手順情報）で規定される作業順番に対応するか否かを判定する手順確認処理を行う。つまり、特定部３３は、手順確認処理において、特定した作業対象が作業手順で規定される作業順番の作業対象と一致するか否かを判定する。

【0053】

上述のように、判定部３４は、判定処理を行う。判定処理は、複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する処理である。なお、判定部３４は、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれると判定した場合に、一の作業対象が撮像画像による特定が困難な作業対象であると判定する。

【0054】

実施形態１の判定部３４は、判定処理において、第１基準画像及び第２基準画像に基づいて、第１作業対象と第２作業対象とが類似するか否かを判定することで、一の作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定する。一の作業対象と類似する他の作業対象が複数の作業対象に含まれる場合に、判定部３４が一の作業対象が撮像画像による特定が困難な作業対象であると判定することで、例えば、一の作業対象又は類似する他の作業対象にマーキングを行っておくなどの対策を予め行うことが可能となる。

【0055】

具体的には、実施形態１の判定部３４は、第１基準画像から抽出された特徴量と、第２基準画像から抽出された特徴量とに基づいて、第１作業対象と第２作業対象とが類似するか否かを判定する。言い換えると、実施形態１の判定部３４は、判定処理において、１以上の基準画像の各々から抽出された特徴量に基づいて、一の作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定する。

【0056】

より具体的には、実施形態１の判定部３４は、複数の第１基準画像のうちの一の第１基準画像から抽出された特徴量と、複数の第２基準画像のうちの一の第２基準画像から抽出された特徴量とに基づいて、第１作業対象と第２作業対象とが類似するか否かを判定する。

【0057】

判定部３４は、例えば、第１基準画像から抽出される画素値等の特徴量のヒストグラムと、第２基準画像から抽出される画素値等の特徴量のヒストグラムと、の類似度（一致度）を求める。なお、本開示でいう「画素値」は、画像に含まれる各画素の明るさ（輝度）を示す値である。本開示では画素値は０～２５５の値である。本開示でいう「画素値等の特徴量のヒストグラム」は、例えば、画素値を横軸にとり、画素数を縦軸にとったヒストグラムである。そして、類似度が類似閾値以上である場合、判定部３４は、第１作業対象と第２作業対象とが類似すると判定する。判定部３４は、第１作業対象と第２作業対象とが類似する場合、一の作業対象（第１作業対象）に類似する他の作業対象（第２作業対象）が複数の作業対象に含まれると判定する。つまり、類似度が類似閾値以上である場合には、判定部３４は、第１作業対象（第２作業対象）が、撮像画像による特定が困難な作業対象であると判定する。

【0058】

一方で、類似度が類似閾値未満である場合には、判定部３４は、第１作業対象と第２作業対象とが類似しないと判定する。判定部３４は、第１作業対象と第２作業対象とが類似しない場合、一の作業対象（第１作業対象）に類似する他の作業対象が複数の作業対象に含まれると判定する。言い換えると、類似度が類似閾値未満である場合には、判定部３４は、少なくとも第１作業対象と第２作業対象との関係において、第１作業対象（第２作業対象）は撮像画像による特定が困難な作業対象ではないと判定する。

【0059】

実施形態１の判定部３４は、複数の作業対象のうちから選択される２つの作業対象（第１作業対象及び第２作業対象）の全ての組み合わせについて、２つの作業対象が類似するか否かを判定する。

【0060】

判定部３４が、第１基準画像及び第２基準画像に基づいて第１作業対象と第２作業対象とが類似するか否かを判定することで、複数の作業対象に含まれる一の作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定することができる。

【0061】

判定部３４は、判定処理の結果、一の作業対象が撮像画像による特定が困難な作業対象であると判定した場合、登録処理を行う。登録処理は、一の作業対象と、一の作業対象と類似する他の作業対象とを対応付けた対応情報を記憶部４に登録する（記憶させる）処理である。例えば第１作業対象と第２作業対象とが類似する場合、判定部３４は、第１作業対象と第２作業対象とが類似するという対応情報を例えば記憶部４に記憶させる。なお、対応情報は、作業手順情報に含まれるようにして記憶されていてもよい。

【0062】

通知制御部３５は、工具２に設けられた通知部２１１を制御する。通知制御部３５は、特定部３３による手順確認処理の判定結果が不一致である場合と、手順確認処理の判定結果が一致である場合とで、通知部２１１を異なる態様で点灯させることが好ましい。例えば、通知制御部３５は、手順確認処理の判定結果が不一致である場合、通知部２１１を赤色で点灯させ、手順確認処理の判定結果が一致した場合、通知部２１１を緑色で点灯させる。これにより、ユーザは、通知部２１１の点灯状態を目視することによって、作業手順から外れているか否かを認識することができる。通知制御部３５は、手順確認処理の判定結果が不一致である状態で、トリガスイッチ２２１を引かれた場合に、通知部２１１を点灯させてもよい。

【0063】

作業管理部３６は、締付部品が締付対象箇所に取り付けられた際の締付トルクが正常であるか否かを判定するように構成されている。ここで、作業管理部３６は、作業手順（作業手順情報）で規定される作業指示に基づいて、締付トルクが正常であるか否かの判定を行うことが好ましい。上述のように、作業手順で規定される作業指示は、作業対象に対応する目標トルク値を示す情報を含んでいる。これにより、作業管理部３６は、作業指示に含まれる目標トルク値と、締付トルクと、を比較することで、作業指示に従った締付トルクで作業がされているかを判定できる。

【0064】

作業管理部３６は、例えば、インパクト機構２５の打撃数が閾値回数に達することによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが正常であると判定する。また、作業管理部３６は、インパクト機構２５の打撃数が閾値回数に達する前に、例えばトリガスイッチ２２１がオフされることによって駆動制御部３１が駆動部２４を停止させた場合、締付トルクが不十分（正常ではない）と判定する。作業管理部３６は、作業手順情報が判定結果と作業対象（作業手順）とを対応付けた情報となるように、作業手順情報を更新する。また、作業管理部３６は、作業手順情報とは別の情報であって判定結果と作業対象（作業手順）と対応付けた情報である作業管理情報を、記憶部４に記憶させてもよい。

【0065】

（３）判定システムの動作
次に、図３を参照して工具２（判定システム１）の動作について説明する。

【0066】

図３は、実施形態１に係る工具２の動作を示すフローチャートである。図３に示す処理は、例えば記憶部４に複数の基準画像が記憶された後に行われる。まず、判定部３４は、判定処理を行う（Ｓ１）。すなわち、判定部３４は、複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する。

【0067】

次に、判定部３４は、判定処理の結果として撮像画像による特定が困難な作業対象があるか否かを判定する（Ｓ２）。撮像画像による特定が困難な作業対象がない場合（Ｓ２：Ｎｏ）、判定部３４は処理を終了する。一方、撮像画像による特定が困難な作業対象がある場合（Ｓ２：Ｙｅｓ）、判定部３４は登録処理を行い（Ｓ３）、処理を終了する。すなわち、判定部３４は、一の作業対象と、一の作業対象と類似する他の作業対象とを対応付けた対応情報を登録し、処理を終了する。

【0068】

図３に示すフローチャートは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。

【0069】

（４）変形例
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0070】

（４．１）第１変形例
特定部３３は、特定した作業対象が判定部３４によって困難な作業対象であると判定されている場合に、記憶部４に記憶された作業手順情報に基づいて、撮像画像の被写体となった作業対象を再度特定してもよい。

【0071】

図４は、第１変形例に係る工具２の動作を示すフローチャートである。図４に示す処理は、例えば工具２が作業対象にセットされた後に行われる。まず、撮像部５が撮像画像を生成する（Ｓ１１）。

【0072】

次に、特定部３３は、特定処理を行う（Ｓ１２）。すなわち、特定部３３は、撮像部５が生成した撮像画像の被写体となった作業対象が、複数の作業対象のうちのいずれの作業対象であるのかを特定する。

【0073】

次に、第１変形例に係る特定部３３は、記憶部４に記憶されている対応情報を参照して、特定した作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する（Ｓ１３）。例えば、特定部３３は、対応情報を参照して、特定した作業対象と他の作業対象とが対応付けられているか否かを判定する。特定した作業対象と他の作業対象とが対応付けられていない場合、特定部３３は、特定した作業対象は撮像画像による特定が困難な作業対象ではないと判定し（Ｓ１３：Ｎｏ）、処理を終了する。

【0074】

一方、特定した作業対象と他の作業対象とが対応付けられている場合、特定部３３は、特定した作業対象が撮像画像による特定が困難な作業対象であると判定する（Ｓ１３：Ｙｅｓ）。そして、第１変形例に係る特定部３３は、記憶部４に記憶された作業手順情報を参照して、撮像画像の被写体となった作業対象を再度特定する（Ｓ１４）。例えば、特定部３３が特定した作業対象が第１作業対象であり、第１作業対象と第２作業対象とが対応付けられていると仮定する。作業手順で規定される次の作業対象が第１作業対象である場合、特定部３３は、撮像画像の被写体となった作業対象が第１作業対象であると特定する。また、作業手順で規定される次の作業対象が第２作業対象である場合、特定部３３は、撮像画像の被写体となった作業対象が第２作業対象であると特定する。特定部３３は、作業手順（作業手順情報）を参照して、撮像画像の被写体となった作業対象を再度特定して（Ｓ１４）、処理を終了する。なお、ステップＳ１２の処理、ステップＳ１３の処理、及びステップＳ１４の処理を含む処理を「特定処理」としてもよい。

【0075】

特定部３３が、記憶部４に記憶された作業手順情報に基づいて、撮像画像の被写体となった作業対象を再度特定することで、作業対象を特定する精度（特定処理の精度）を向上させることができる。

【0076】

図４に示すフローチャートは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。

【0077】

（４．２）他の変形例
実施形態１に係る判定システム１（工具２）と同等の機能は、判定方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る判定方法は、特定ステップと、判定ステップと、を有する。特定ステップでは、撮像画像に基づいて、複数の作業対象のうちから撮像画像の被写体となった作業対象を特定する。撮像画像は、工具に取り付けられた撮像部が生成した画像である。判定ステップでは、複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する。一態様に係るプログラムは、上記の判定方法を、１以上のプロセッサに実行させるためのプログラムである。

【0078】

本開示における判定システム１（工具２）又は判定方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における判定システム１又は判定方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１又は複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１又は複数の電子回路で構成される。

【0079】

また、判定システム１（工具２）における複数の機能が、１つの筐体内（工具２）に集約されていることは判定システム１に必須の構成ではなく、判定システム１の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、特定部３３及び判定部３４の機能は、工具２とは別の情報端末が有していてもよい。さらに、判定システム１の少なくとも一部の機能、例えば、工具２の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。また、複数の基準画像及び作業手順情報等が記憶部４に記憶されていることは必須ではなく、複数の基準画像及び作業手順情報等の少なくとも一方が他の記憶部に記憶されていてもよい。

【0080】

判定部３４は、特定部３３が撮像画像の被写体となった作業対象を特定した後に、特定部３３によって特定された作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、特定部３３によって特定された作業対象が撮像画像による特定が困難な作業対象であるか否かを判定してもよい。

【0081】

判定システム１は、少なくとも特定部３３と、判定部３４と、を備えていればよい。

【0082】

実施形態１では、工具２がインパクトレンチである場合を説明したが、工具２はインパクトレンチに限らず、例えば、ナットランナ又はオイルパルスレンチ等であってもよい。さらに、工具２は、電池パック２０１を動力源とする構成に限らず、交流電源（商用電源）を動力源とする構成であってもよい。また、工具２は、電動工具に限らず、エアコンプレッサから供給される圧縮空気を動力源として動作するエアモータを有するエア工具であってもよい。

【0083】

判定システム１の使用用途は、工場におけるワークの組立作業を行う組立ラインに限らず、他の使用用途であってもよい。

【0084】

（実施形態２）
実施形態２の工具２（判定システム１）は、特定部３３が撮像部５とは別の検知部２６が取得する検知情報と撮像画像とに基づいて、撮像画像の被写体となった作業対象を特定する点で、実施形態１に係る工具２（判定システム１）と相違する。

【0085】

図５に示すように、実施形態２の工具２（判定システム１）は、検知部２６を更に備える。

【0086】

検知部２６は、撮像画像の被写体となった作業対象を特定部３３が特定するための検知情報を取得する。検知部２６は、例えば、バーコード、ＱＲコード（登録商標）等の２次元バーコード、及び文字列といった識別符号、又は、ＩＣタグを読み取ることができるリーダである。検知部２６は、作業対象又は作業対象の付近に設けられている識別符号又はＩＣタグを読み取ることで、検知情報としての作業対象情報を取得する。なお、作業対象情報は、識別符号又はＩＣタグと対応する作業対象の名称又は番号等を示す情報であり、特定部３３が識別符号又はＩＣタグと対応する作業対象を特定するための情報である。例えば記憶部４は、作業対象と作業対象情報とを対応づけた情報を記憶している。実施形態２では、作業手順情報が、作業対象と作業対象情報とを対応付ける情報を含んでいてもよい。

【0087】

実施形態２の検知部２６は、工具２に取り付けられている。より具体的は、検知部２６は、胴体部２１に取り付けられている。検知部２６は、工具２を用いた作業時に作業対象の方を向くように、出力軸２４１の先端側に向けて搭載されている。検知部２６は、工具２を用いた作業時に、作業対象又は作業対象の付近に設けられている識別符号又はＩＣタグを読み取り、作業対象情報を取得する。

【0088】

実施形態２の特定部３３は、特定処理において、撮像部５とは別の検知部２６が取得する検知情報（作業対象情報）と、撮像画像とに基づいて、撮像画像の被写体となった作業対象を特定する。

【0089】

撮像画像に加えて検知情報に基づいて作業対象を特定することで、特定部３３は、撮像画像による特定が困難な作業対象であっても検知情報に基づいて特定することができる。例えば、撮像画像による特定が困難であると判定部３４に判定されている作業対象に、予め識別符号又はＩＣタグ等を設けておくことで、特定部３３は、作業対象を精度よく特定することができる。

【0090】

以下、実施形態２の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0091】

検知部２６は、工具２が使用されるエリアに設けられたＬＰＳ（Local Positioning System）等の測位システムを利用して、工具２の位置情報を検知情報として取得するように構成されていてもよい。例えば、検知部２６は、ＢＬＥ（Bluetooth Low Energy）に準拠したビーコン信号の受信機等であってもよい。検知部２６は、工具２を用いた作業時に、工具２の位置情報を取得することで作業対象の位置情報を取得することができる。例えば記憶部４は、作業対象と作業対象の位置情報とを対応づけた情報を記憶している。作業手順情報が、作業対象と作業対象の位置情報とを対応付ける情報を含んでいてもよい。特定部３３は、特定処理において、撮像画像と、作業対象の位置情報（工具２の位置情報）とに基づいて、撮像画像の被写体となった作業対象を特定する。

【0092】

なお、検知部２６は、ＧＰＳ（Global Positioning System）を利用して、例えばＧＰＳ衛星からの電波を受信する等して、工具２の位置情報を検知情報として取得するように構成されていてもよい。

【0093】

検知部２６は、撮像部５とは別の撮像部が生成した別の撮像画像を検知情報として取得するように構成されていてもよい。別の撮像部は、作業対象周辺を撮像範囲に収めることができる位置に設置されている。別の撮像部は、例えば、工具２が使用されるエリアの天井等に設けられていてもよい。例えば記憶部４は、作業対象と別の撮像部が生成した基準画像とを対応づけた情報を記憶している。作業手順情報が、作業対象と別の撮像部が生成した基準画像とを対応付ける情報を含んでいてもよい。特定部３３は、特定処理において、撮像部５が生成した撮像画像と、別の撮像部が生成した別の撮像画像とに基づいて、撮像画像の被写体となった作業対象を特定する。

【0094】

（実施形態３）
実施形態３の工具２（判定システム１）は、特定部３３が、機械学習によって生成された学習済モデルを用いて撮像画像の被写体となった作業対象を特定する点で、実施形態１に係る工具２（判定システム１）と相違する。

【0095】

上記学習済モデルは、例えば、複数の基準画像と、複数の作業対象との関係を示す複数の教師データを用いた教師あり学習によって生成されている。言い換えると、特定部３３は、特定処理において、複数の基準画像と複数の作業対象との関係を用いて学習された学習済モデルを用いて、撮像画像の被写体となった作業対象を特定する。特定部３３は、撮像画像（入力画像）を学習済モデルの入力とすることで、学習済モデルの出力として、撮像画像の被写体となった作業対象を特定した特定情報を得ることができる。なお、実施形態３では、学習済モデルが出力する特定情報は、撮像画像（入力画像）の被写体となった作業対象が、複数の作業対象のうちのいずれの作業対象であるかの確率を示す情報を含む。例えば特定情報は、撮像画像の被写体となった作業対象が、第１作業対象である確率が９０％、第２作業対象である確率が１０％、その他の作業対象である確率が０％といった情報を含む。なお、以下の説明において、入力画像の被写体となった作業対象が例えば第１作業対象等のある作業対象である確率のことを、「ある作業対象である確率（第１作業対象である確率）」と呼ぶことがある。

【0096】

実施形態３の特定部３３は、学習済モデルが出力した特定情報を参照する。そして、特定部３３は、撮像画像の被写体となった作業対象が特定情報で示される最も確率が高い作業対象であるとして、撮像画像の被写体となった作業対象を特定する。

【0097】

なお、機械学習のアルゴリズムは、一例として、ニューラルネットワークである。ただし、機械学習のアルゴリズムは、ニューラルネットワークに限定されず、例えば、ＸＧＢ（eXtreme Gradient Boosting）回帰、ランダムフォレスト（Random Forest）、決定木（decision tree）、ロジスティック回帰（Logistic Regression）、サポートベクターマシン（SVM：Support vector machine）、単純ベイズ（Naive Bayes）分類器、又はｋ近傍法（k-nearest neighbors）等であってもよい。さらに、機械学習のアルゴリズムは、例えば、混合ガウスモデル（GMM：Gaussian Mixture Model）、又はｋ平均法（k-means clustering）等であってもよい。すなわち、学習方法は教師あり学習に限らず、教師なし学習又は強化学習であってもよい。

【0098】

また、学習済みモデルは、追加の学習を行うことで学習済みモデルを更新してもよい。

【0099】

特定部３３が学習済モデルを用いることで、特定部３３は、例えば複数の基準画像を用いたパターンマッチング処理等を行うことなく撮像画像の被写体となった作業対象を特定することができる。

【0100】

実施形態３の判定部３４は、判定処理において、複数の基準画像に含まれる１以上の基準画像と、学習済モデルの情報とに基づいて、複数の作業対象に含まれる一の作業対象に類似する他の作業対象があるか否かを判定する。

【0101】

具体的には、実施形態３の判定部３４は、複数の基準画像に含まれる１以上の基準画像を学習済モデルの入力とした場合の、学習済モデルが出力する特定情報に基づいて、１以上の基準画像に対応する作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定する。例えば第１基準画像を学習済モデルの入力とした場合に、第２作業対象である確率の方が第１作業対象である確率より高い場合、判定部３４は、第１作業対象と第２作業対象とが類似すると判定する。また、例えば第１基準画像を学習済モデルの入力とした場合に、第２作業対象である確率と第１作業対象である確率との差が確率閾値未満である場合、判定部３４は、第１作業対象と第２作業対象とが類似すると判定する。一方で、第１作業対象である確率が最も高く、第１作業対象である確率と第２作業対象である確率との差が確率閾値以上である場合、判定部３４は、第１作業対象と第２作業対象とが類似しないと判定する。

【0102】

１以上の基準画像と学習済モデルの情報（学習済モデルが出力する特定情報）とに基づいて１以上の基準画像に対応する作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、学習済モデルによる特定が困難な作業対象を事前に判定することができる。

【0103】

以下、実施形態３の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0104】

判定部３４は、第１基準画像を学習済モデルの入力とした場合の学習済モデルが出力すする特定情報と、第２基準画像を学習済モデルの入力とした場合の学習済モデルが出力する特定情報とに基づいて、第１作業対象（第２作業対象）に類似する他の作業対象が複数の作業対象に含まれるか否かを判定してもよい。例えば、判定部３４は、第１基準画像を学習済モデルに入力した場合の第１作業対象である確率と、第２基準画像を学習済モデルに入力した場合の第１作業対象である確率とをヒストグラム化して、第１作業対象に類似する他の作業対象があるか否かを判定する。例えば、判定部３４は、第１作業対象である確率を横軸にとり第１基準画像の数を縦軸にとった第１基準画像のヒストグラムと、第１作業対象である確率を横軸にとり第２基準画像の数を縦軸にとった第２基準画像のヒストグラムと、に基づいて第１作業対象に類似する他の作業対象があるか否かを判定する。判定部３４は、第１基準画像のヒストグラムと第２基準画像のヒストグラムとの類似度が所定の値以上である場合に、第１作業対象に類似する他の作業対象が複数の作業対象に含まれていると判定する。一方で、判定部３４は、第１基準画像のヒストグラムと第２基準画像のヒストグラムとの類似度が所定の値未満である場合に、第１作業対象に類似する他の作業対象が複数の作業対象に含まれていないと判定する。なお、第１基準画像のヒストグラムと第２基準画像のヒストグラムとの類似度が所定の値以上である場合は、第１作業対象と第２作業対象とが類似する可能性が高い。

【0105】

また、判定部３４は、第１基準画像及び第２基準画像と、学習済モデルが第１作業対象と第２作業対象とを区別するための区別境界の情報とに基づいて、第１作業対象と第２作業対象とが類似するか否かを判定してもよい。「区別境界」は、例えば複数の第１基準画像と複数の第２基準画像を教師データとして用いた教師あり学習によって設定される境界であり、特徴量空間における境界である。

【0106】

例えば、判定部３４は、複数の第１基準画像と区別境界との特徴量空間における距離のヒストグラムと、複数の第２基準画像と区別境界との特徴量空間における距離のヒストグラムの重複度に基づいて、第１作業対象と第２作業対象とが類似であるか否かを判定する。

【0107】

図６は、複数の第１基準画像と区別境界との特徴量空間における距離のヒストグラムと、複数の第２基準画像と区別境界との特徴量空間における距離のヒストグラムとを示す概念図である。図６において、第１ヒストグラムＧ１は、複数の第１基準画像と区別境界との特徴量空間における距離のヒストグラムであり、第２ヒストグラムＧ２は、複数の第２基準画像と区別境界との特徴量空間における距離のヒストグラムである。なお、第１ヒストグラムＧ１及び第２ヒストグラムＧ２は、第１基準画像（第２基準画像）と区別境界との特徴量空間における距離を横軸にとり、第１基準画像（第２基準画像）の数を縦軸にとったグラフである。図６において、第１ヒストグラムＧ１と第２ヒストグラムＧ２とが重複する部分に、クロスハッチングを付している。

【0108】

例えば、判定部３４は、第１ヒストグラムＧ１と第２ヒストグラムＧ２とが重複する部分が重複閾値以上である場合に、第１作業対象と第２作業対象とが類似すると判定する。一方で、判定部３４は、第１ヒストグラムＧ１と第２ヒストグラムＧ２とが重複する部分が重複閾値未満である場合に、第１作業対象と第２作業対象とが類似しないと判定する。

【0109】

第１基準画像と区別境界との特徴量空間における距離及び第２基準画像と区別境界との特徴量空間における距離に基づいて第１作業対象と第２作業対象とが類似であるか否かを判定することで、学習済モデルによる特定が困難な作業対象を事前に判定することができる。

【0110】

（実施形態４）
実施形態４に係る判定システム１は、特定部３３により特定された作業対象が、特定が困難な作業対象であると判定されている場合に、特定された作業対象に関する情報と、特定された作業対象に類似する他の作業対象に関する情報とを通知制御部３５が通知部に通知させる点で、実施形態１に係る判定システム１と相違する。実施形態４では、判定部３４によって第１作業対象と第２作業対象とが類似すると判定されている場合を例示する。

【0111】

図７に示すように、実施形態４に係る判定システム１は、工具２と、情報端末６と、を備える。

【0112】

図７に示すように、実施形態４に係る工具２は、通信部２７を備える。

【0113】

通信部２７は、情報端末６と通信可能に構成された通信インタフェースを含む。なお、本開示でいう「通信可能」とは、有線通信又は無線通信の適宜の通信方式により、直接的、又はネットワーク若しくは中継器等を介して間接的に、情報を授受できることを意味する。実施形態４に係る通信部２７は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した、無線通信方式にて情報端末６と通信を行う。

【0114】

通信部２７は、撮像部５が生成した撮像画像を、情報端末６に送信する。

【0115】

情報端末６は、例えばパーソナルコンピュータ、スマートフォン、又はタブレット端末等の情報端末である。情報端末６は、通信部６１と、制御部６２と、記憶部６３と、表示部６４と、操作部６５と、を備える。

【0116】

情報端末６は、例えば、プロセッサ及びメモリを有するマイクロコンピュータを備える。プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが制御部６２として機能する。つまり、制御部６２は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0117】

通信部６１は、工具２と通信可能に構成された通信インタフェースを含む。実施形態４に係る通信部６１は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した、無線通信方式にて工具２と通信を行う。

【0118】

通信部６１は、工具２に取り付けられた撮像部５が生成した撮像画像を、情報端末６から受信する。

【0119】

記憶部６３は、ＲＯＭ、ＲＡＭ、又はＥＥＰＲＯＭ等の半導体メモリである。なお、記憶部６３は、半導体メモリに限らず、ハードディスクドライブ等であってもよい。実施形態４の記憶部６３は、例えば、複数の基準画像、作業手順情報、及び対応情報等を記憶している。

【0120】

表示部６４は、例えば、ＬＣＤ（Liquid Crystal Display）を含んでいる。実施形態４の表示部６４は、特定部３３による特定処理及び判定部３４による判定処理に関する情報を通知する通知部として機能する。表示部６４は、特定部３３によって特定された作業対象が、特定が困難な作業対象であると判定されている場合に、特定部３３によって特定された作業対象に関する情報と、特定部３３によって特定された作業対象と類似する他の作業対象に関する情報とを表示する。

【0121】

操作部６５は、人（ユーザ）の操作を受け付けて、人の操作に応じた信号を出力する。本実施形態では、情報端末６が表示部６４と操作部６５とが一体化されたタッチパネルディスプレイを備える場合を想定する。タッチパネルディスプレイにおいては、情報端末６は、表示部６４に表示される各画面上でのボタン等のオブジェクトの操作（タップ、スワイプ又はドラッグ等）が操作部６５で検出されることをもって、ボタン等のオブジェクトが操作されたことと判断する。つまり、表示部６４及び操作部６５は、各種の表示に加えて、人からの操作入力を受け付けるユーザインタフェースとして機能する。

【0122】

実施形態４の操作部６５は、特定部３３による特定が困難な作業対象に関して、ユーザの選択を受け付ける選択部として機能する。操作部６５は、特定部３３によって特定された作業対象が、特定が困難な作業対象であると判定されている場合に、撮像画像の被写体となった作業対象が、特定された作業対象及び特定された作業対象と類似する他の作業対象のうちのいずれの作業対象であるのかを、ユーザに選択させる。

【0123】

制御部６２は、特定部３３と、判定部３４と、通知制御部３５と、を有する。

【0124】

実施形態４に係る通知制御部３５は、特定部３３による特定処理に関する情報を表示部６４（通知部）に表示（通知）させる。通知制御部３５は、特定部３３に特定された作業対象が、特定が困難な作業対象であると判定されている場合に、特定された作業対象に関する情報と、特定された作業対象に類似する他の作業対象に関する情報と、を表示部６４に表示させる。

【0125】

例えば、通知制御部３５は、撮像画像の被写体となった作業対象が第１作業対象であると特定部３３によって特定されている場合に、第１作業対象に関する情報と、第１作業対象に類似する第２作業対象に関する情報と、を表示部６４に表示させる。なお、通知制御部３５は、特定部３３が撮像画像の被写体となった作業対象を第１作業対象として特定したことを示す情報を、表示部６４に表示させてもよい。

【0126】

通知制御部３５が、第１作業対象に関する情報と、第１作業対象に類似する第２作業対象に関する情報と、を表示部６４に表示させることで、特定部３３によって特定された作業対象が、特定が困難である作業対象であることを、ユーザに通知することができる。

【0127】

また、通知制御部３５は、撮像画像の被写体となった作業対象が、特定された作業対象及び特定された作業対象に類似する他の作業対象のいずれの作業対象であるのかを、ユーザが選択可能な態様で、特定された作業対象に関する情報と、特定された作業対象に類似する他の作業対象に関する情報とを表示部６４に表示させる。すなわち、通知制御部３５は、撮像画像の被写体となった作業対象を特定するための候補の情報を表示部６４（通知部）に表示(通知）させる。

【0128】

操作部６５（選択部）は、表示部６４に対するユーザの操作を、選択情報として受け付ける。実施形態４の特定部３３は、操作部６５が受け付けた選択情報に基づいて、撮像画像の被写体となった作業対象を再度特定する。

【0129】

特定部３３による特定が困難な作業対象であっても、限られた選択肢の中からユーザに作業対象を選択させることで、作業対象の特定を誤ったまま作業が行われる可能性を低減することができる。

【0130】

図８は、実施形態４に係る判定システム１の動作を示すフローチャートである。まず、情報端末６は、工具２に取り付けられた撮像部５が生成した撮像画像を、工具２から受信して取得する（Ｓ２１）。次に、情報端末６の特定部３３は、特定処理を行う（Ｓ２２）。

【0131】

次に、特定部３３は、対応情報を参照して、特定した作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する（Ｓ２３）。特定した作業対象と他の作業対象とが対応付けられていない場合、特定部３３は、特定した作業対象は撮像画像による特定が困難な作業対象ではないと判定し（Ｓ２３：Ｎｏ）、処理を終了する。

【0132】

一方、特定した作業対象と他の作業対象とが対応付けられている場合、特定部３３は、特定した作業対象が撮像画像による特定が困難な作業対象であると判定する（Ｓ２３：Ｙｅｓ）。次に、通知制御部３５は、撮像画像の被写体となった作業対象を特定するための候補の情報を表示部６４に表示させる（Ｓ２４）。そして、特定部３３は、操作部６５が受け付けた選択情報に基づいて、撮像画像の被写体となった作業対象を再度特定し（Ｓ２５）、処理を終了する。

【0133】

以下、実施形態４の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0134】

通知制御部３５は、例えば、音（音声を含む）を発生させるスピーカ又はブザー等の通知部に、撮像画像の被写体となった作業対象を特定するための候補の情報を通知させてもよい。

【0135】

実施形態４において、複数の装置に分散されている判定システム１の少なくとも一部の機能が、１つの筐体内に集約されていてもよい。例えば、工具２と情報端末６とに分散されている判定システム１の一部の機能が、１つの筐体内に集約されていてもよい。具体的には、実施形態４では情報端末６が有していた、特定部３３、判定部３４、及び通知制御部３５の機能は、工具２が有していてもよい。また、工具２は、表示部６４及び操作部６５を有していてもよい。

【0136】

（まとめ）
以上説明したように、第１の態様に係る判定システム（１）は、特定部（３３）と、判定部（３４）と、を備える。特定部（３３）は、撮像画像に基づいて、複数の作業対象のうちから撮像画像の被写体となった作業対象を特定する特定処理を行う。撮像画像は、工具（２）に取り付けられた撮像部（５）が生成した画像である。判定部（３４）は、複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する判定処理を行う。

【0137】

この態様によれば、撮像部（５）が生成した撮像画像に基づいて作業対象を特定することが困難であるか否かを事前に判定することができるため、特定が困難となる作業対象を把握することができる。撮像画像に基づいて作業対象を特定することが困難な作業対象に対して、例えばマーキングを行っておくなどの対策を予め行うことが可能となる。

【0138】

第２の態様に係る判定システム（１）は、第１の態様において、通知制御部（３５）を更に備える。通知制御部（３５）は、特定部（３３）による特定処理に関する情報を通知部（表示部６４）に通知させる。通知制御部（３５）は、特定された作業対象が判定部（３４）によって困難な作業対象であると判定されている場合に、特定された作業対象に関する情報と、他の作業対象に関する情報とを通知部に通知させる。

【0139】

この態様によれば、特定部（３３）によって特定された作業対象が、特定が困難である作業対象であることを、ユーザに通知することができる。

【0140】

第３の態様に係る判定システム（１）は、第２の態様において、選択部（操作部６５）を更に備える。選択部は、特定された作業対象が判定部（３４）によって困難な作業対象であると判定されている場合に、被写体となった作業対象が、特定された作業対象及び他の作業対象のうちのいずれの作業対象であるのかを、ユーザに選択させる。

【0141】

この態様によれば、特定部（３３）による特定が困難な作業対象であっても、限られた選択肢の中からユーザに作業対象を選択させることで、作業対象の特定を誤ったまま作業が行われることを低減することができる。

【0142】

第４の態様に係る判定システム（１）では、第１から第３のいずれかの態様において、特定部（３３）は、特定された作業対象が判定部（３４）によって困難な作業対象であると判定されている場合に、記憶部（４）に記憶された作業手順情報に基づいて、被写体となった作業対象を再度特定する。

【0143】

この態様によれば、特定部（３３）が、記憶部（４）に記憶された作業手順情報に基づいて、撮像画像の被写体となった作業対象を再度特定することで、作業対象を特定する精度（特定処理の精度）を向上させることができる。

【0144】

第５の態様に係る判定システム（１）では、第１から第４のいずれかの態様において、特定部（３３）は、特定処理において、撮像部（５）とは別の検知部（２６）が取得する検知情報と、撮像画像とに基づいて、被写体となった作業対象を特定する。

【0145】

この態様によれば、撮像画像に加えて検知情報に基づいて作業対象を特定することで、特定部（３３）は、撮像画像による特定が困難な作業対象であっても検知情報に基づいて特定することができる。例えば、撮像画像による特定が困難であると判定部（３４）に判定されている作業対象に、予め識別符号又はＩＣタグ等を設けておくことで、特定部（３３）は、作業対象を精度よく特定することができる。

【0146】

第６の態様に係る判定システム（１）では、第１から第５のいずれかの態様において、複数の作業対象は、第１作業対象と第２作業対象とを含んでいる。複数の基準画像は、第１作業対象に対応する第１基準画像と、第２作業対象に対応する第２基準画像と、を含んでいる。判定部（３４）は、判定処理において、第１基準画像及び第２基準画像に基づいて第１作業対象と第２作業対象とが類似するか否かを判定することで、他の作業対象があるか否かを判定する。

【0147】

この態様によれば、判定部（３４）が、第１基準画像及び第２基準画像に基づいて第１作業対象と第２作業対象とが類似するか否かを判定することで、複数の作業対象に含まれる一の作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定することができる。

【0148】

第７の態様に係る判定システム（１）では、第１から第６のいずれかの態様において、特定部（３３）は、特定処理において、学習済モデルを用いて、被写体となった作業対象を特定する。学習済モデルは、複数の基準画像と複数の作業対象との関係を用いて学習された学習済モデルである。

【0149】

この態様によれば、特定部（３３）が学習済モデルを用いることで、特定部（３３）は、例えば複数の基準画像を用いたパターンマッチング処理等を行うことなく撮像画像の被写体となった作業対象を特定することができる。

【0150】

第８の態様に係る判定システム（１）では、第７の態様において、判定部（３４）は、判定処理において、１以上の基準画像と学習済モデルの情報とに基づいて、他の作業対象があるか否かを判定する。

【0151】

この態様によれば、１以上の基準画像と学習済モデルの情報（学習済モデルが出力する情報）とに基づいて１以上の基準画像に対応する作業対象に類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、学習済モデルによる特定が困難な作業対象を事前に判定することができる。

【0152】

第９の態様に係る判定システム（１）では、第１から第８のいずれかの態様において、判定部（３４）は、他の作業対象があると判定した場合に、一の作業対象が困難な作業対象であると判定する。

【0153】

この態様によれば、一の作業対象と類似する他の作業対象が複数の作業対象に含まれる場合に、判定部（３４）が一の作業対象が撮像画像による特定が困難な作業対象であると判定することで、例えば、一の作業対象又は類似する他の作業対象にマーキングを行っておくなどの対策を予め行うことが可能となる。

【0154】

第１の態様以外の構成については、判定システム（１）に必須の構成ではなく、適宜省略可能である。

【0155】

第１０の態様に係る判定方法は、特定ステップと、判定ステップと、を有する。特定ステップでは、撮像画像に基づいて、複数の作業対象のうちから撮像画像の被写体となった作業対象を特定する。撮像画像は、工具（２）に取り付けられた撮像部（５）が生成した画像である。判定ステップでは、複数の作業対象に対応する複数の基準画像に含まれる１以上の基準画像に基づいて、複数の作業対象に含まれる一の作業対象と類似する他の作業対象が複数の作業対象に含まれるか否かを判定することで、一の作業対象が撮像画像による特定が困難な作業対象であるか否かを判定する。

【0156】

この態様によれば、撮像部（５）が生成した撮像画像に基づいて作業対象を特定することが困難であるか否かを事前に判定することができるため、特定が困難となる作業対象を把握することができる。撮像画像に基づいて作業対象を特定することが困難な作業対象に対して、例えばマーキングを行っておくなどの対策を予め行うことが可能となる。

【0157】

第１１の態様に係るプログラムは、第１０の態様に係る判定方法を、１以上のプロセッサに実行させるためのプログラムである。

【0158】

この態様によれば、撮像部（５）が生成した撮像画像に基づいて作業対象を特定することが困難であるか否かを事前に判定することができるため、特定が困難となる作業対象を把握することができる。撮像画像に基づいて作業対象を特定することが困難な作業対象に対して、例えばマーキングを行っておくなどの対策を予め行うことが可能となる。

【符号の説明】

【0159】

１ 判定システム
２ 工具
２６ 検知部
３３ 特定部
３４ 判定部
３５ 通知制御部
４ 記憶部
５ 撮像部
６３ 記憶部
６４ 表示部（通知部）
６５ 操作部（選択部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】