特許 7548520 プログラム、情報処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】プログラム、情報処理方法、及び情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

   G06T 7/11 20170101ALI20240903BHJP

   B23Q 17/09 20060101ALN20240903BHJP

【ＦＩ】

G06T7/00 350B

G06T7/11

G06T7/00 610

B23Q17/09 Z

【請求項の数】 16

(21)【出願番号】P 2023580606

(86)(22)【出願日】2023-12-26

(86)【国際出願番号】 JP2023046539

【審査請求日】2023-12-27

(31)【優先権主張番号】P 2023090174

(32)【優先日】2023-05-31

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】593099702

【氏名又は名称】株式会社両備システムズ

(73)【特許権者】

【識別番号】592071679

【氏名又は名称】モリマシナリー株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】木原 洋士

(72)【発明者】

【氏名】藤本 寛之

(72)【発明者】

【氏名】岩本 光史

【審査官】中川 康文

(56)【参考文献】

【文献】特開平１１－２８５９１０（ＪＰ，Ａ）

【文献】特開２０２２－１４３７５２（ＪＰ，Ａ）

【文献】特開２０２２－０２９１２０（ＪＰ，Ａ）

【文献】特開２０２１－１０９２８９（ＪＰ，Ａ）

【文献】特開２０２１－０７０１１４（ＪＰ，Ａ）

【文献】特開２０１８－１３２９６２（ＪＰ，Ａ）

【文献】特開２０１２－１２５９０１（ＪＰ，Ａ）

【文献】特開２０１１－２０６８９９（ＪＰ，Ａ）

【文献】特開２００８－２９２４２９（ＪＰ，Ａ）

【文献】特開平１１－２６７９４９（ＪＰ，Ａ）

【文献】特開平０３－２８７３４７（ＪＰ，Ａ）

【文献】特許第７０９９６４６（ＪＰ，Ｂ２）

【文献】韓国公開特許第１０－２０２２－０１０２７００（ＫＲ，Ａ）

【文献】中国特許出願公開第１１６７８７２２４（ＣＮ，Ａ）

【文献】中国特許出願公開第１１４７１４１４５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２３Ｑ １７／００－２３／００

Ｇ０５Ｂ １９／１８－１９／４１６

Ｂ２３Ｑ １５／００－１５／２８

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

切削工具に設けられた刃部を複数の撮影方向から撮影した複数の撮影画像を取得し、
取得した前記撮影画像における撮影方向を特定し、
前記撮影方向毎に用意された、切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルから、特定した撮影方向に応じた学習モデルを選択し、
選択した学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
複数の撮影方向のそれぞれについて取得した前記劣化状態に関する情報に基づいて、前記刃部の劣化状態を判定する処理であって、
前記刃部は複数の刃を有しており、
前記撮影画像は、それぞれの刃について前記複数の撮影方向から撮影した複数の撮影画像を含み、前記複数の撮影画像は、前記刃部の各刃の側面の撮影画像を含み、前記側面の撮影画像は、前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とを含み、
前記学習モデルは、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、及び、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルを含み、前記学習モデルが出力する前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示す情報を含み、
前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とをそれぞれ、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、又は、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルに入力して前記刃の劣化状態に関する情報を取得し、
前記刃のすくい面にピントを合わせた撮影画像を、前記刃のすくい面にピントを合わせた撮影画像用の学習モデルに入力して取得した前記撮影画像中の劣化状態の刃の領域が、前記撮影画像中の所定領域外にある場合に、前記刃を劣化状態の刃と判定しない
処理をコンピュータに実行させるプログラム。

【請求項2】

切削工具に設けられた刃部を撮影した撮影画像を取得し、
切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示すバウンディングボックスを含み、
前記バウンディングボックスにおける１つの対角線の中点を通り前記対角線に交差する線分を特定し、
特定した線分と、前記劣化状態である刃の領域の輪郭線との２つの交点間の距離を、前記劣化状態である刃の領域のサイズとして算出する
処理をコンピュータに実行させるプログラム。

【請求項3】

切削工具に設けられた刃部を撮影した撮影画像を取得し、
切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示すバウンディングボックスを含み、
前記バウンディングボックス内の前記劣化状態である刃の領域に基づいて、前記刃の劣化前の形状を推定し、
推定した劣化前の形状と、前記劣化状態である刃の領域との差分を、前記劣化状態である刃の領域のサイズとして算出する
処理をコンピュータに実行させるプログラム。

【請求項4】

取得した前記撮影画像に基づいて、前記撮影画像中の刃の位置を特定し、
特定した前記刃の位置が、前記切削工具に対して予め登録してある位置に合致するか否かを判断し、
合致しないと判断した場合、前記撮影画像中の刃の位置が前記予め登録してある位置に近づくように、前記切削工具に対する撮影位置を変更する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項5】

前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃部の領域と、該刃部の領域が劣化状態である可能性とを含み、
前記切削工具の種類に応じて、前記学習モデルから取得した前記劣化状態に関する情報に含まれる前記可能性に基づいて前記刃部が劣化状態であると判別するための閾値を取得し、
前記学習モデルから取得した前記劣化状態に関する情報に含まれる前記可能性が、取得した前記閾値以上であるか否かに応じて、前記刃部が劣化状態であるか否かを判別する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項6】

前記撮影画像は、前記刃部を複数の撮影方向から撮影した複数の撮影画像を含み、
前記学習モデルは、撮影方向毎に学習済みの複数の学習モデルを含み、
取得した前記撮影画像における撮影方向を特定し、
特定した撮影方向に応じた学習モデルを選択し、
選択した学習モデルに、取得した前記撮影画像を入力して前記撮影画像中の刃部の劣化状態に関する情報を取得し、
複数の撮影方向のそれぞれについて取得した前記劣化状態に関する情報に基づいて、前記刃部の劣化状態を判定する
処理を前記コンピュータに実行させる請求項２又は３に記載のプログラム。

【請求項7】

前記刃部は複数の刃を有しており、
前記撮影画像は、それぞれの刃について前記複数の撮影方向から撮影した複数の撮影画像を含み、
前記撮影画像は、前記刃部の先端面の撮影画像と、前記刃部の各刃の先端面の撮影画像とを含み、
前記刃部の先端面の撮影画像及び各刃の先端面の撮影画像をそれぞれ、前記先端面の撮影方向に応じた学習モデルに入力して前記刃部又は各刃の劣化状態に関する情報を取得する
処理を前記コンピュータに実行させる請求項６に記載のプログラム。

【請求項8】

前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃部の領域と、該刃部が複数種類の劣化状態のいずれであるかを示す情報とを含み、
入力された前記撮影画像における劣化状態である刃部の領域を、劣化状態の種類に応じた態様で表示する画面を出力する
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項9】

取得した前記撮影画像に基づいて、前記撮影画像の所定領域にピントが合っているか否かを判定し、
ピントが合っていないと判定した場合、前記切削工具に対する撮影位置の変更、又は、ピント調整を行う
処理を前記コンピュータに実行させる請求項１～３のいずれか１つに記載のプログラム。

【請求項10】

切削工具に設けられた刃部を撮影した撮影画像を取得し、
切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得する処理であって、
前記撮影画像は、前記刃部を複数の撮影方向から撮影した複数の撮影画像を含み、
前記学習モデルは、撮影方向毎に学習済みの複数の学習モデルを含み、
取得した前記複数の撮影画像のそれぞれについて
前記撮影画像における撮影方向を特定し、
特定した撮影方向に応じた学習モデルを選択し、
選択した学習モデルに、取得した前記撮影画像を入力して前記撮影画像中の刃部の劣化状態に関する情報を取得し、
前記複数の撮影画像のそれぞれについて取得した前記劣化状態に関する情報に基づいて、前記刃部の劣化状態の総合判定結果を取得する
処理をコンピュータに実行させるプログラム。

【請求項11】

切削工具に設けられた刃部を複数の撮影方向から撮影した複数の撮影画像を取得し、
取得した前記撮影画像における撮影方向を特定し、
前記撮影方向毎に用意された、切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルから、特定した撮影方向に応じた学習モデルを選択し、
選択した学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
複数の撮影方向のそれぞれについて取得した前記劣化状態に関する情報に基づいて、前記刃部の劣化状態を判定する処理であって、
前記刃部は複数の刃を有しており、
前記撮影画像は、それぞれの刃について前記複数の撮影方向から撮影した複数の撮影画像を含み、前記複数の撮影画像は、前記刃部の各刃の側面の撮影画像を含み、前記側面の撮影画像は、前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とを含み、
前記学習モデルは、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、及び、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルを含み、前記学習モデルが出力する前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示す情報を含み、
前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とをそれぞれ、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、又は、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルに入力して前記刃の劣化状態に関する情報を取得し、
前記刃のすくい面にピントを合わせた撮影画像を、前記刃のすくい面にピントを合わせた撮影画像用の学習モデルに入力して取得した前記撮影画像中の劣化状態の刃の領域が、前記撮影画像中の所定領域外にある場合に、前記刃を劣化状態の刃と判定しない
処理をコンピュータが実行する情報処理方法。

【請求項12】

切削工具に設けられた刃部を撮影した撮影画像を取得し、
切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示すバウンディングボックスを含み、
前記バウンディングボックスにおける１つの対角線の中点を通り前記対角線に交差する線分を特定し、
特定した線分と、前記劣化状態である刃の領域の輪郭線との２つの交点間の距離を、前記劣化状態である刃の領域のサイズとして算出する
処理をコンピュータが実行する情報処理方法。

【請求項13】

切削工具に設けられた刃部を撮影した撮影画像を取得し、
切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示すバウンディングボックスを含み、
前記バウンディングボックス内の前記劣化状態である刃の領域に基づいて、前記刃の劣化前の形状を推定し、
推定した劣化前の形状と、前記劣化状態である刃の領域との差分を、前記劣化状態である刃の領域のサイズとして算出する
処理をコンピュータが実行する情報処理方法。

【請求項14】

取得した前記撮影画像に基づいて、前記撮影画像中の刃の位置を特定し、
特定した前記刃の位置が、前記切削工具に対して予め登録してある位置に合致するか否かを判断し、
合致しないと判断した場合、前記撮影画像中の刃の位置が前記予め登録してある位置に近づくように、前記切削工具に対する撮影位置を変更する
処理を前記コンピュータが実行する請求項１１～１３のいずれか１つに記載の情報処理方法。

【請求項15】

前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃部の領域と、該刃部の領域が劣化状態である可能性とを含み、
前記切削工具の種類に応じて、前記学習モデルから取得した前記劣化状態に関する情報に含まれる前記可能性に基づいて前記刃部が劣化状態であると判別するための閾値を取得し、
前記学習モデルから取得した前記劣化状態に関する情報に含まれる前記可能性が、取得した前記閾値以上であるか否かに応じて、前記刃部が劣化状態であるか否かを判別する
処理を前記コンピュータが実行する請求項１１～１３のいずれか１つに記載の情報処理方法。

【請求項16】

制御部を有する情報処理装置であって、
前記制御部は、
切削工具に設けられた刃部を複数の撮影方向から撮影した複数の撮影画像を取得し、
取得した前記撮影画像における撮影方向を特定し、
前記撮影方向毎に用意された、切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルから、特定した撮影方向に応じた学習モデルを選択し、
選択した学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得し、
複数の撮影方向のそれぞれについて取得した前記劣化状態に関する情報に基づいて、前記刃部の劣化状態を判定する処理であって、
前記刃部は複数の刃を有しており、
前記撮影画像は、それぞれの刃について前記複数の撮影方向から撮影した複数の撮影画像を含み、前記複数の撮影画像は、前記刃部の各刃の側面の撮影画像を含み、前記側面の撮影画像は、前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とを含み、
前記学習モデルは、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、及び、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルを含み、前記学習モデルが出力する前記劣化状態に関する情報は、入力された前記撮影画像中の劣化状態である刃の領域を示す情報を含み、
前記刃のすくい面にピントを合わせて撮影された画像と、前記刃の逃げ面にピントを合わせて撮影された画像とをそれぞれ、前記刃のすくい面にピントを合わせた撮影画像用の学習モデル、又は、前記刃の逃げ面にピントを合わせた撮影画像用の学習モデルに入力して前記刃の劣化状態に関する情報を取得し、
前記刃のすくい面にピントを合わせた撮影画像を、前記刃のすくい面にピントを合わせた撮影画像用の学習モデルに入力して取得した前記撮影画像中の劣化状態の刃の領域が、前記撮影画像中の所定領域外にある場合に、前記刃を劣化状態の刃と判定しない処理
を実行する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

製造業の加工現場では、加工工程に用いられる工具の管理が重要な作業である。例えば切削加工に用いられる切削工具では、刃先の欠損状態及び摩耗状態が、加工精度に影響を与えるので、刃先の劣化状態を適切に判断し、必要に応じて新しいものに交換する作業が行われている。現状では、熟練工が切削工具の刃先の劣化状態を目視で確認し、新しいものへの交換が必要であるか否かを判断している現場が多い。また、特許文献１では、切削加工後の工具の刃先を角度を変えて撮影し、画像処理で分析することで、工具の摩耗状態を解析する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２３－９９８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の開示技術では、工具の周りを１回転する間に複数枚の画像ファイルを撮影し、各画像ファイルを二値化処理した画像から摩耗領域を検出し、検出した摩耗領域から摩耗量が計測される。特許文献１では、摩耗部分はコーティングがはがれて内部の金属がむき出しとなり白く光ることを利用して、二値化した画像中の白い部分を摩耗領域として検出している。しかし、工具によっては、適切に摩耗領域を検出できない場合が生じる。

【0005】

一つの側面では、工具の劣化状態を精度よく検出することが可能なプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、切削工具に設けられた刃部を撮影した撮影画像を取得し、切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した前記撮影画像を入力して、前記撮影画像中の切削工具の刃部の劣化状態に関する情報を取得する処理をコンピュータに実行させる。

【発明の効果】

【0007】

一つの側面では、工具の劣化状態を精度よく検出することができる。

【図面の簡単な説明】

【0008】

【図1】工具管理システムの構成例を示すブロック図である。

【図2A】撮影対象の工具の外観例を示す説明図である。

【図2B】撮影対象の工具の外観例を示す説明図である。

【図3A】撮影方向の説明図である。

【図3B】撮影方向の説明図である。

【図3C】撮影方向の説明図である。

【図4】工具ＤＢのレコードレイアウトの一例を示す説明図である。

【図5A】上面用モデルの構成例を示す説明図である。

【図5B】斜め用モデルの構成例を示す説明図である。

【図5C】外周用モデルの構成例を示す説明図である。

【図5D】すくい面用モデルの構成例を示す説明図である。

【図6】劣化状態の判定処理手順の一例を示すフローチャートである。

【図7】劣化状態の判定処理手順の一例を示すフローチャートである。

【図8】画面例を示す説明図である。

【図9】撮影装置の外観例を示す説明図である。

【図10A】撮影装置の構成例を示す説明図である。

【図10B】撮影装置の構成例を示す説明図である。

【図11】撮影条件ＤＢのレコードレイアウトの一例を示す説明図である。

【図12】撮影装置による撮影処理手順の一例を示すフローチャートである。

【図13】実施形態３の撮影装置による撮影処理手順の一例を示すフローチャートである。

【図14】撮影条件の調整処理の説明図である。

【図15】撮影条件の登録処理手順の一例を示すフローチャートである。

【図16】撮影条件の登録処理の説明図である。

【図17】劣化領域の推定処理手順の一例を示すフローチャートである。

【図18A】劣化領域のサイズ推定処理の説明図である。

【図18B】劣化領域のサイズ推定処理の説明図である。

【図19】判別閾値ＤＢのレコードレイアウトの一例を示す説明図である。

【図20】実施形態６の劣化領域の推定処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下に、本開示のプログラム、情報処理方法、及び情報処理装置について、その実施形態を示す図面を参照して具体的に説明する。以下の実施形態では、切削加工に用いる切削工具であるエンドミルの刃の劣化状態を判定する処理を例に説明するが、判定対象は、エンドミルに限定されず、ドリル、タップ、フライス等の切削工具であってもよく、また、研削加工に用いる研削工具であってもよい。更に、切削工具において、刃先（チップ）がボディ（柄部）から取り外し可能な刃先交換式工具（スローアウェイ工具）を判定対象とすることもできる。なお、刃先交換式工具を判定対象とする場合、刃先の劣化状態の判定に用いる撮影画像は、刃先をボディから取り外した状態で撮影した撮影画像であってもよく、刃先をボディに取り付けた状態で撮影した撮影画像であってもよい。

【0010】

（実施形態１）
図１は工具管理システムの構成例を示すブロック図である。本実施形態では、切削工具に設けられている刃部を撮影装置２０で撮影した撮影画像に基づいて、当該刃部の劣化状態を判定する工具管理システムについて説明する。本実施形態の工具管理システムは、工具の刃部を撮影する撮影装置２０及びサーバ１０を含み、撮影装置２０及びサーバ１０は通信可能に接続されている。なお、撮影装置２０及びサーバ１０は、ケーブルを介した有線通信又は無線通信によって直接通信する構成でもよく、ネットワークを介して通信する構成でもよい。ここでのネットワークは、インターネット又は公衆電話回線網であってもよく、撮影装置２０及びサーバ１０が設けられている施設内に構築されたＬＡＮ（Local Area Network）であってもよい。

【0011】

サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、サーバコンピュータ又はパーソナルコンピュータ等で構成される。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＴＰＵ（Tensor Processing Unit）、又はＡＩチップ（ＡＩ用半導体）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してあるプログラムＰを適宜実行することにより、サーバ１０が行うべき情報処理及び制御処理を実行する。なお、制御部１１が複数のプロセッサを含む場合、制御部１１は、各処理を異なるプロセッサによって実行してもよい。

【0012】

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行するプログラムＰ（プログラム製品）及び各種のデータを記憶している。また記憶部１２は、制御部１１がプログラムＰを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、例えば機械学習によって訓練データを学習済みの学習モデルを記憶している。学習モデルは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部１２には、この演算を規定する関数の係数や閾値等のデータが学習モデルとして記憶される。本実施形態では、学習モデルとして、後述する上面用モデルＭ１、斜め用モデルＭ２、外周用モデルＭ３、及びすくい面用モデルＭ４が記憶部１２に記憶されている。更に記憶部１２は、後述する工具ＤＢ１２ａを記憶している。記憶部１２の一部は、サーバ１０に接続された他の記憶装置であってもよく、サーバ１０が通信可能な他の記憶装置であってもよい。

【0013】

通信部１３は、有線通信又は無線通信に関する処理を行うための通信モジュールであり、他の装置との間で情報の送受信を行う。本実施形態では、通信部１３は、撮影装置２０との間で直接通信する構成でもよく、ネットワークを介して通信する構成でもよい。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

【0014】

読取部１６は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等の可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶されるプログラムＰ及び各種のデータは、制御部１１が読取部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、プログラムＰ及び各種のデータは、サーバ１０の製造段階において記憶部１２に書き込まれてもよく、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

【0015】

本実施形態において、サーバ１０は複数のコンピュータからなるマルチコンピュータであってもよく、１台の装置内にソフトウェアによって仮想的に構築された仮想マシンであってもよく、クラウドサーバであってもよい。また、サーバ１０は、入力部１４及び表示部１５は必須ではなく、接続されたコンピュータを通じて操作を受け付ける構成でもよく、表示すべき情報を外部の表示装置へ出力する構成でもよい。また、プログラムＰは単一のコンピュータ上で実行されてもよく、ネットワークを介して相互に接続された複数のコンピュータ上で実行されてもよい。

【0016】

撮影装置２０は、撮影機能を有する情報処理装置であり、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、撮影部２６、撮影方向制御部２７等を含み、これらの各部はバスを介して接続されている。撮影装置２０の制御部２１、記憶部２２、通信部２３、入力部２４、及び表示部２５のそれぞれは、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４、及び表示部１５と同様の構成を有するので、構成についての説明は省略する。

【0017】

撮影部２６は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子及びレンズユニットを有する。撮影部２６は、所謂産業用カメラであり、例えばモノクロの場合は２００万画素（例えば１６００画素×１２００画素）程度の撮像素子を有し、カラーの場合は１２００万画素（４０２４画素×３０３６画素×３色）程度の撮像素子を有する高解像度カメラである。また、撮影部２６は、ＬＥＤ（Light Emitting Diode）等の光源及び照明用レンズを含む光源部を有しており、光源部によって照射される照明光によって撮影対象の工具を撮影し、撮影画像を取得する。光源部が照射する光は、例えば白色光であるが、緑色光、近赤外光等、所定の波長の光であってもよく、撮影部２６が撮影する画像は、カラー画像であっても白黒画像であってもよい。撮影部２６は、制御部２１からの指示に従って撮影を行い、例えば１枚の画像データ（静止画像）を取得する。撮影部２６によって取得された画像データ（撮影画像）は記憶部２２に記憶される。

【0018】

図２Ａ及び図２Ｂは撮影対象の工具の外観例を示す説明図であり、図２Ａは工具３０を横方向から見た側面を示し、図２Ｂは工具３０の刃部３１の先端側（図２Ａでは上方）から見た先端面を示す。本実施形態では、図２Ａ及び図２Ｂに示すようなエンドミルを撮影装置２０の撮影対象とする。図２Ａ及び図２Ｂにはスクエアエンドミルの例を示すが、撮影対象は、ボールエンドミル、ラジアスエンドミル、テーパーエンドミル等であってもよい。工具３０は、例えば刃部３１及びシャンク３２（柄部）が一体で構成されており、刃部３１には複数の刃３１ａが設けられている。図２Ａ及び図２Ｂの工具３０では４枚の刃３１ａが設けられているが、２～６枚程度の刃３１ａが設けられていてもよい。

【0019】

撮影方向制御部２７は、制御部２１からの指示に従って、撮影対象の工具に対する撮影部２６による撮影方向を制御する。図３Ａ～図３Ｃは撮影方向の説明図である。本実施形態では、図３Ａ～図３Ｃに示すように、所定位置に設置された台座に、刃部３１を上側に向けた状態の工具３０を固定し、工具３０の刃部３１に対する撮影部２６の位置を変化させることにより、複数の撮影方向から工具３０の刃部３１を撮影する。本実施形態では、図３Ａに示すように刃部３１の先端面を上方向から撮影して上面画像を取得し、図３Ｂに示すように各刃３１ａを斜め上方向から撮影して斜め画像を取得し、図３Ｃに示すように各刃３１ａの側面を横方向から撮影して外周画像及びすくい面画像を取得する。上面画像は、全ての刃３１ａを含む状態で撮影した上面全体画像（刃部３１の先端面の撮影画像）と、各刃３１ａの先端面を個別に撮影した上面個別画像（各刃３１ａの先端面の撮影画像）とを含む。斜め画像は、例えば工具３０の上方を基準として撮影対象の刃３１ａの先端部を中心に５度～３０度程度傾斜させた方向から撮影する。なお、撮影方向の角度は、入力部２４を介した操作入力によって変更可能であり、撮影対象の工具３０の種類及び刃３１ａの形状等によって設定される。外周画像は、撮影対象の刃３１ａの逃げ面（図３Ｃ中の破線で囲んた領域）にピントを合わせて撮影した画像であり、すくい面画像は、撮影対象の刃３１ａのすくい面（図３Ｃ中の一点鎖線で囲んた領域）にピントを合わせて撮影した画像である。刃３１ａのすくい面は、切りくずと接する面であり、刃３１ａの逃げ面は、工具３０におけるすくい面の反対側の面である。外周画像及びすくい面画像は、工具３０に対して同じ撮影方向から撮影可能であるが、外周画像では、画像中心に撮影される刃３１ａ（図３Ｃ中の破線で囲んだ刃）が撮影対象の刃となり、すくい面画像では、画像左側に撮影される刃３１ａ（図３Ｃ中の一点鎖線で囲んだ刃）が撮影対象の刃となる。

【0020】

台座は、工具３０の軸方向（図３Ａ～図３Ｃでは上下方向）を中心として回転するように構成されており、上面個別画像、斜め画像、外周画像、及びすくい面画像を撮影する場合、撮影方向制御部２７は、台座を所定角度ずつ回転させる。これにより、工具３０の各刃３１ａを撮影部２６の撮影範囲内に移動させることができ、各刃３１ａに対する撮影を行うことができる。図３Ａ～図３Ｃに示すように撮影対象が４枚刃の工具３０である場合、撮影方向制御部２７は、台座を９０度ずつ回転させる。なお、台座又は台座に設置された工具３０を回転させることによって撮影対象の工具３０（刃３１ａ）に対する撮影方向を変更するほかに、撮影部２６を工具３０（刃３１ａ）の周りを移動させることによって撮影対象の刃３１ａを変更する構成でもよい。

【0021】

上述した構成の工具管理システムにおいて、撮影装置２０には、撮影すべき工具に対する撮影方向が予め登録してあり、撮影装置２０が１つの工具に対する撮影処理を開始した場合、制御部２１は、撮影方向制御部２７によって撮影部２６による撮影方向を、登録してある撮影方向に順次切り替えながら撮影部２６による撮影を実行する。例えば制御部２１は、図３Ａに示すように工具の上方から１枚の上面全体画像を撮影し、台座を回転させつつ各刃の上面個別画像を撮影し、次に図３Ｂに示すように工具の斜め上から、台座を回転させつつ各刃の斜め画像を撮影し、最後に図３Ｃに示すように工具の横方向から、台座を回転させつつ、更にピント調整を行って各刃の外周画像及びすくい面画像を撮影する。これにより、予め登録してある複数の撮影方向から工具の刃部及び各刃を撮影した複数の撮影画像を取得できる。

【0022】

制御部２１は、撮影方向制御部２７による撮影方向の制御結果によって、撮影部２６による撮影で得られた撮影画像について、撮影対象とした刃の情報と、当該刃に対する撮影方向とを特定できる。よって、制御部２１は、特定した内容を示す情報を撮影画像に付加する。例えば制御部２１は、特定した内容が反映されたファイル名を撮影画像に付与してもよい。これにより、それぞれの撮影画像について、ファイル名によって撮影対象の刃及び撮影方向を把握できる。また制御部２１は、撮影を行った日時を撮影日時として、撮影画像に付加してもよい。なお、撮影対象の刃は、例えば台座に固定された工具について所定位置の刃を第１刃とし、台座による工具の回転方向に従って撮影対象となる各刃を第２刃～第４刃としてもよい。また、台座に対して工具が所定の向きで固定される場合、各刃に対する第１刃～第４刃の割り当ては常に同じとなる。撮影装置２０は、撮影対象とした刃の情報と当該刃に対する撮影方向とが反映されたファイル名が付与された撮影画像をサーバ１０へ送信して登録する。本実施形態のサーバ１０は、撮影装置２０によって撮影された工具の撮影画像に基づいて、工具の各刃の劣化状態を判定する処理を行う。本実施形態のサーバ１０は、工具の撮影画像から、当該撮影画像中の工具の各刃の劣化状態を判定する際にモデルＭ１～Ｍ４を用いる。

【0023】

本実施形態の工具管理システムにおいて、上述した構成を有する撮影装置２０は、一般的なツールプリセッタのように、高解像度での撮影が可能な産業用カメラを備え、撮影対象の工具の刃を複数の撮影方向を切り替えて撮影できる装置を用いることができる。

【0024】

図４は工具ＤＢ１２ａのレコードレイアウトの一例を示す説明図である。工具ＤＢ１２ａは、工具管理システムで管理される工具の情報を記憶するデータベースである。工具ＤＢ１２ａは例えば、工具ＩＤ列、工具情報列、撮影日時列、撮影対象列、上面画像列、斜め画像列、外周画像列、すくい面画像列、及び総合判定結果列を含み、各工具に固有に割り当てられた工具ＩＤに対応付けて、各工具の情報及び撮影装置２０によって撮影された撮影画像を記憶する。工具情報列は、工具に関する情報を記憶し、例えば、工具の種類、メーカ、型番、使用履歴等を含む。撮影日時列は、撮影装置２０による撮影を行った日時を記憶する。撮影対象列は、撮影対象の刃の情報を記憶する。撮影対象の刃の情報は、本実施形態では４枚刃の工具３０を撮影対象とするので、全体及び第１刃～第４刃を示す情報となる。上面画像列は、撮影日時及び撮影対象に対応付けて、撮影装置２０によって撮影された上面画像（上面全体画像及び上面個別画像）の情報を記憶する。具体的には、上面画像列は、原画像列、ラベル画像列、及び判定結果列を含む。原画像列は、撮影装置２０によって撮影された原画像である上面画像（上面全体画像及び上面個別画像）を記憶し、ラベル画像列は、原画像（上面画像）に対する劣化領域の判定処理によって得られたラベル画像を記憶する。原画像及びラベル画像の画像データは、工具ＤＢ１２ａに記憶されるほかに、記憶部１２の所定領域又はサーバ１０に接続された外部記憶装置に記憶されてもよく、この場合、原画像列及びラベル画像列には、原画像及びラベル画像の画像データを読み出すための情報（例えばデータの記憶場所を示すフォルダ名及びファイル名）を記憶する。なお、ラベル画像列には、原画像に対して劣化領域の判定結果を示す情報を付加したラベル画像の代わりに、劣化領域の判定結果を示す情報（モデルＭ１～Ｍ４の出力データであるコンテキスト）を記憶してもよい。判定結果列は、ラベル画像に基づいて劣化領域の有無を判定した判定結果を記憶する。本実施形態では、刃の劣化状態として、摩耗領域及び欠け領域の有無を判定するので、判定結果列には「摩耗」、「欠け」又は「正常」が記憶される。

【0025】

斜め画像列、外周画像列、及びすくい面画像列のそれぞれは、上面画像列と同様に、原画像列、ラベル画像列、及び判定結果列を含み、撮影日時及び撮影対象に対応付けて、撮影装置２０によって撮影された斜め画像、外周画像、すくい面画像の情報を記憶する。なお、上面画像の撮影対象は、刃部全体及び第１刃～第４刃であるので、上面画像列には、刃部全体及び第１刃～第４刃を撮影対象とする上面画像の情報（原画像、ラベル画像、及び判定結果）が記憶される。また、斜め画像、外周画像、及びすくい面画像の撮影対象は第１刃～第４刃であるので、斜め画像列、外周画像列、及びすくい面画像列には、第１刃～第４刃を撮影対象とする斜め画像、外周画像、及びすくい面画像の情報が記憶される。総合判定結果列は、撮影日時及び撮影対象に対応付けて、工具の各刃を撮影した各撮影画像に基づく判定結果から総合的に判定した、当該工具の各刃の劣化状態の判定結果を記憶する。工具ＤＢ１２ａは図４に示す構成に限定されず、工具に関する各種の情報、工具の撮影画像に関する各種の情報が記憶されてもよい。

【0026】

図５Ａは上面用モデルＭ１の構成例を示す説明図、図５Ｂは斜め用モデルＭ２の構成例を示す説明図、図５Ｃは外周用モデルＭ３の構成例を示す説明図、図５Ｄはすくい面用モデルＭ４の構成例を示す説明図である。上面用モデルＭ１は、工具を撮影した上面画像（上面全体画像及び上面個別画像）を入力とし、入力された上面画像に基づいて、検出対象のオブジェクトとして当該上面画像中の刃の劣化領域を認識する演算を行い、認識結果を出力するように学習してある。検出対象のオブジェクトである刃の劣化領域は、各刃において摩耗している領域、及び欠けている（欠損している）領域を含み、上面用モデルＭ１は、上面画像中の複数種類のオブジェクト（摩耗領域及び欠け領域）を認識するマルチラベル分類を実現するモデルである。上面用モデルＭ１は、例えばＥｆｆｉｃｉｅｎｔＤｅｔを用いて構成される。なお、上面用モデルＭ１は、ＥｆｆｉｃｉｅｎｔＤｅｔに限定されず、ＹＯＬＯ（You Only Look Once）、Ｒ－ＣＮＮ（Regions with Convolution Neural Network ）、ＳＳＤ（Single Shot Multibox Detector）等の物体検出アルゴリズムを用いて構成することができ、複数のアルゴリズムを組み合わせて構成してもよい。また、上面用モデルＭ１は、セマンティックセグメンテーションにより、入力された上面画像中のオブジェクト（摩耗している領域、欠けている領域）を画素単位で認識するモデルであってもよい。この場合、上面用モデルＭ１は、Ｕ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network ）、ＳｅｇＮｅｔ等のアルゴリズムを用いて構成することができる。

【0027】

上面用モデルＭ１は、上面画像が入力される入力層と、入力された上面画像から特徴量を抽出する中間層と、中間層の演算結果を基に上面画像中に検出された刃の劣化領域を示すコンテキストを出力する出力層とを有する。中間層は、各種の関数及び閾値等を用いて、入力層から入力された上面画像に基づいて出力値を算出する。出力層は、検出されたオブジェクトの種類（摩耗領域又は欠け領域）を示す判別ラベルと、検出されたオブジェクト（劣化領域）の領域を示す座標情報と、判別ラベルに対する確信度とを含むコンテキストを出力する。このような構成により、上面用モデルＭ１は、上面画像が入力された場合に、上面画像中に検出されたオブジェクト（刃の劣化領域）について、オブジェクトの領域を示す座標情報と、オブジェクト名（摩耗又は欠け）と、確信度とを含むコンテキスト（刃部の劣化状態に関する情報）を出力する。よって、上面用モデルＭ１を用いることにより、上面画像中に検出されたオブジェクト（刃の劣化領域）に、オブジェクトの領域を示すバウンディングボックス（図５Ａでは破線で示す矩形）と、認識結果のオブジェクト名（摩耗又は欠け）と、認識結果に対する確信度とが付加された画像（ラベル画像）を取得することができる。図５Ａ～図５Ｄでは、ラベル画像をモデルＭ１～Ｍ４の出力データとして示している。

【0028】

上面用モデルＭ１は、訓練用の上面画像（プレーンな上面画像）と、この上面画像中のオブジェクト（劣化領域）の領域を示す座標情報及びオブジェクト名（正解ラベル）を含む正解のコンテキストとを含む訓練データを用いて機械学習することにより生成できる。訓練データは、アノテーションの担当者が上面画像中のオブジェクト（劣化領域）にバウンディングボックス及びオブジェクト名（正解ラベル）を付加した結果から生成されたコンテキスト（正解のコンテキスト）を、当該上面画像に対応付けることにより生成される。

【0029】

上面用モデルＭ１は、訓練データに含まれる上面画像が入力された場合に、訓練データに含まれる正解のコンテキストを出力するように学習する。学習処理において上面用モデルＭ１は、入力された上面画像に基づいて中間層及び出力層での演算を行い、出力層から出力するコンテキストを算出する。上面用モデルＭ１は、算出したコンテキストと、正解のコンテキストとを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。具体的には、上面用モデルＭ１は、算出したコンテキストが示す検出されたオブジェクトの領域（劣化領域）、判別ラベル（劣化領域の種類）及び確信度と、正解のコンテキストが示すオブジェクトの領域、及び正解ラベルに応じた値（正解ラベルに対しては１、他のラベルに対しては０）とを比較し、両者が近似するように最適化する。当該パラメータは、中間層及び出力層におけるノード間の重み（結合係数）等であり、パラメータの最適化の方法は、誤差逆伝播法、最急降下法等を用いることができる。これにより、上面画像が入力された場合に、上面画像中の劣化領域及び劣化領域の種類を検出し、検出結果（劣化領域を示す座標情報、劣化領域の種類を示す判別ラベル、及び判別ラベルに対する確信度）を示すコンテキストを出力する上面用モデルＭ１が得られる。

【0030】

上面用モデルＭ１は、上述したような訓練データを用いた学習処理を繰り返し行うことにより更に最適化することが可能である。また、工具及び工具の刃部は複数種類あり、１又は複数種類の工具の上面画像の訓練データを用いて学習済みの上面用モデルＭ１に対して、他の種類の工具の上面画像の訓練データを用いて上述した学習処理によってファインチューニングすることにより、各種類の工具用の上面用モデルＭ１を生成することができる。

【0031】

斜め用モデルＭ２、外周用モデルＭ３、及びすくい面用モデルＭ４は、上面用モデルＭ１と同様の構成を有し、同様の学習処理によって生成される。なお、斜め用モデルＭ２は、工具を撮影した斜め画像を入力とし、入力された斜め画像に基づいて、当該斜め画像中の刃の劣化領域（検出対象のオブジェクト）を認識する演算を行い、認識結果を出力するように学習してある。外周用モデルＭ３は、工具を撮影した外周画像を入力とし、入力された外周画像に基づいて、当該外周画像中の刃の劣化領域（検出対象のオブジェクト）を認識する演算を行い、認識結果を出力するように学習してある。すくい面用モデルＭ４は、工具を撮影したすくい面画像を入力とし、入力されたすくい面画像に基づいて、当該すくい面画像中の刃の劣化領域（検出対象のオブジェクト）を認識する演算を行い、認識結果を出力するように学習してある。斜め用モデルＭ２、外周用モデルＭ３、及びすくい面用モデルＭ４も、複数種類のオブジェクト（摩耗領域及び欠け領域）を認識するマルチラベル分類を実現するモデルである。

【0032】

上述した構成のモデルＭ１～Ｍ４の学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みのモデルＭ１～Ｍ４は、例えばネットワーク経由又は可搬型記憶媒体１０ａ経由で学習装置からサーバ１０にダウンロードされて記憶部１２に記憶される。

【0033】

以下に、本実施形態の工具管理システムにおいて、撮影装置２０によって撮影された工具の撮影画像に基づいて、工具の刃部の劣化状態を判定する処理について説明する。図６及び図７は劣化状態の判定処理手順の一例を示すフローチャート、図８は画面例を示す説明図である。以下の処理は、サーバ１０の制御部１１が、記憶部１２に記憶してあるプログラムＰに従って実行する。なお、図７に示す劣化領域の推定処理は、図６中のステップＳ１６の処理である。

【0034】

サーバ１０の制御部１１は、１つの工具に対して、図３Ａ～図３Ｃに示した撮影方向のうちの少なくとも１つの方向から撮影した撮影画像を取得する（Ｓ１１）。例えば制御部１１は、１つの工具に対して、１枚の上面全体画像と、各刃について撮影された上面個別画像、斜め画像、外周画像、及びすくい面画像とを撮影装置２０から取得する。なお、制御部１１は、撮影対象の工具に応じた撮影方向から撮影された撮影画像を取得する。撮影装置２０は、入力部２４を介したユーザからの指示に従って工具の撮影を開始してもよく、通信部２３を介したサーバ１０からの指示に従って工具の撮影を開始してもよく、撮影装置２０の所定位置に工具が取り付けられることにより自動的に工具の撮影を開始してもよい。また、撮影装置２０によって撮影された画像は、一旦別のサーバ又は記憶装置に記憶される構成でもよく、この場合、制御部１１は、別のサーバ又は記憶装置から撮影画像を取得する。制御部１１は、取得した撮影画像を記憶部１２に記憶しておく。

【0035】

制御部１１は、撮影画像と共に、当該撮影画像の撮影日時を取得しており、取得した撮影日時を、撮影対象の工具の工具ＩＤに対応付けて工具ＤＢ１２ａに記憶する（Ｓ１２）。なお、制御部１１は、撮影画像と共に撮影日時を取得できない場合、この時点の日時を撮影日時として工具ＤＢ１２ａに記憶してもよい。

【0036】

制御部１１は、取得した撮影画像のうちの１つを記憶部１２から読み出す（Ｓ１３）。制御部１１は、読み出した撮影画像について、撮影対象の刃及び撮影方向を特定する（Ｓ１４）。ここでは、撮影画像のファイル名に、撮影対象の刃の情報と当該刃に対する撮影方向とが含まれる場合、制御部１１は、ファイル名から、当該撮影画像における撮影対象の刃と撮影方向とを特定する。なお、撮影画像のファイル名に、撮影対象の刃の情報と当該刃に対する撮影方向とが含まれていない場合、制御部１１は、撮影画像に基づいて、当該撮影画像の撮影対象の刃と撮影方向とを特定してもよい。撮影対象の刃は、例えば上面個別画像が４枚ある場合、制御部１１は、それぞれの画像の撮影対象を第１刃～第４刃に特定してもよい。斜め画像、外周画像、及びすくい面画像のそれぞれについても同様である。この場合、上面個別画像、斜め画像、外周画像、すくい面画像の各画像において、第１刃～第４刃とされた撮影対象の各刃は一致しなくてもよい。なお、刃部又は各刃の形状等に基づいて、各画像における撮影対象の刃の対応関係を特定できる場合、各画像において第１刃～第４刃とされる撮影対象の各刃を一致させることができる。

【0037】

撮影画像における撮影方向は、それぞれの撮影方向から撮影した工具の撮影画像の画像特徴量を示すテンプレート画像を予め用意しておき、テンプレート画像を用いたテンプレートマッチングによって特定してもよい。また、撮影画像における撮影方向を特定する処理は、テンプレートマッチングのほかに、学習モデルを用いた画像認識によって行ってもよい。例えば、工具の撮影画像が入力された場合に、入力された撮影画像中の工具の撮影方向を判別する演算を行い、演算した結果を出力するように学習済みの学習モデルを用いることができる。この場合、制御部１１は、撮影画像を学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像における工具の撮影方向を特定することができる。このような構成とすることにより、撮影画像のファイル名等から、撮影対象の刃及び当該刃に対する撮影方向を特定できない場合であっても、撮影画像中の撮影対象の刃及び撮影方向を特定することができる。

【0038】

制御部１１は、特定した撮影方向に応じたモデルをモデルＭ１～Ｍ４から特定（選択）する（Ｓ１５）。ここでは、制御部１１は、特定した撮影方向が上面画像の方向である場合、上面用モデルＭ１を特定し、特定した撮影方向が斜め画像の方向である場合、斜め用モデルＭ２を特定する。また、制御部１１は、特定した撮影方向が外周画像の方向である場合、外周用モデルＭ３を特定し、特定した撮影方向がすくい面画像の方向である場合、すくい面用モデルＭ４を特定する。制御部１１は、特定したモデルを記憶部１２から読み出し、読み出したモデルと、ステップＳ１３で読み出した撮影画像とに基づいて、当該撮影画像における撮影対象の刃における劣化領域の推定処理を実行する（Ｓ１６）。

【0039】

図７に示す劣化領域の推定処理では、ＴＴＡ（Test Time Augmentation）を使用する。具体的には、制御部１１は、撮影画像の各画素を水平反転（左右反転）させた水平反転画像を生成する（Ｓ３１）。制御部１１は、原画像である撮影画像を、ステップＳ１５で特定したモデルに入力し、モデルから出力されたコンテキスト（刃部又は各刃の劣化状態に関する情報）を取得する（Ｓ３２）。コンテキストは、原画像（撮影画像）に対して検出された劣化領域の位置を示す座標情報と、当該劣化領域の種類（摩耗又は欠け）を示す判別ラベルと、判別ラベルに対する確信度とを含む。同様に制御部１１は、生成した水平反転画像を、ステップＳ１５で特定したモデルに入力し、モデルから出力されたコンテキストを取得する（Ｓ３３）。

【0040】

制御部１１は、原画像から生成されたコンテキストと、水平反転画像から生成されたコンテキストとに基づいて、２つの画像（原画像及び水平反転画像）に対する推定結果を集約したラベル画像を生成する（Ｓ３４）。例えば制御部１１は、原画像から生成されたコンテキストに基づいて、原画像に対して、原画像中に検出された劣化領域を囲むバウンディングボックスと、当該劣化領域の種類（摩耗又は欠け）を示す判別ラベルと、判別ラベルに対する確信度とが付与されたラベル画像（以下では第１ラベル画像と称する）を生成する。また制御部１１は、水平反転画像から生成されたコンテキストに基づいて、水平反転画像に対して、水平反転画像中に検出された劣化領域を囲むバウンディングボックスと、当該劣化領域の種類を示す判別ラベルと、判別ラベルに対する確信度とが付与されたラベル画像を生成する。そして、制御部１１は、水平反転画像から生成されたラベル画像を水平反転（左右反転）して第２ラベル画像を生成し、ＷＢＦ（Weighted Boxes Fusion）を使用して、第１ラベル画像及び第２ラベル画像を集約したラベル画像を生成する。例えば制御部１１は、第１ラベル画像及び第２ラベル画像における各バウンディングボックスに対して、各ラベル画像での判別ラベルに対する確信度の平均値を算出する。このときラベル画像において、バウンディングボックスの領域以外の領域には、各判別ラベルに対して０の確信度が割り当てられるので、少ない数のラベル画像でしか検出されなかったバウンディングボックス（劣化領域）に対しては、小さい値の確信度が算出されることになる。

【0041】

また、制御部１１は、各ラベル画像中に検出された劣化領域（バウンディングボックス）のサイズが所定値以上である場合、当該バウンディングボックスは誤検知であるとして、検出結果から除外してもよい。例えば、制御部１１は、バウンディングボックスの横方向の長さ（画素数）が画像の横方向の長さ（画素数）の１／３以上である場合、又は、バウンディングボックスの縦方向の長さ（画素数）が画像の縦方向の長さ（画素数）の１／３以上である場合、当該バウンディングを検出結果から除外してもよい。また、図３Ｃに示すように、各刃のすくい面は撮影画像（すくい面画像）の左半分の領域に撮影される場合が多い。従って、制御部１１は、すくい面画像中に検出した劣化領域（バウンディングボックス）が画像の右半分の領域にある場合、当該バウンディングボックスは誤検知であるとして、検出結果から除外してもよい。例えば、すくい面画像の左上を原点として右方向をＸ軸、下方向をＹ軸とした座標において、制御部１１は、バウンディングボックスの左上の画素の座標値（ｘ，ｙ）を特定し、特定したｘ座標値が、画像中心のｘ座標値よりも右側（大きい）場合に、当該バウンディングを検出結果から除外してもよい。なお、すくい面画像以外の撮影画像についても、撮影対象が撮影される領域が所定領域内に限定される場合、撮影画像中に検出されたバウンディングボックスが、所定領域外にあれば、当該バウンディングボックスを検出結果から除外してもよい。これらの処理は、撮影対象に対する撮影方向等の撮影条件を考慮して適宜実行するように構成されていてもよい。

【0042】

制御部１１は、ステップＳ３４で生成したラベル画像に基づいて、当該撮影画像に劣化領域が有るか否かを判定する（Ｓ３５）。例えば制御部１１は、生成したラベル画像において、判別ラベルに対する確信度が所定閾値以上であるバウンディングボックスがあるか否かに応じて、劣化領域が有るか否かを判定する。そして、制御部１１は、図６の処理に戻る。図７に示す処理では、制御部１１は、ＴＴＡを使用して、原画像の撮影画像と、原画面から生成した水平反転画像との２枚の画像に対して推定処理を行い、それぞれの推定結果を集約することにより、精度の高いラベル画像を得ることができる。

【0043】

制御部１１は、ステップＳ１３で読み出した撮影画像（原画像）と、ステップＳ３４で生成したラベル画像と、ステップＳ３５で劣化領域の有無を判定した判定結果とを、撮影日時と、ステップＳ１４で特定した撮影対象とに対応付けて、工具ＤＢ１２ａに記憶する（Ｓ１７）。制御部１１は、ステップＳ１１で取得した撮影画像のうちで、上述した劣化領域の推定処理を行っていない未処理の撮影画像があるか否かを判断する（Ｓ１８）。未処理の撮影画像があると判断した場合（Ｓ１８：ＹＥＳ）、制御部１１は、ステップＳ１３に戻り、未処理の撮影画像についてステップＳ１３～Ｓ１７の処理を行う。制御部１１は、上面全体画像、上面個別画像、斜め画像、外周画像、及びすくい面画像のそれぞれについてステップＳ１３～Ｓ１７の処理を行うことにより、工具ＩＤ、撮影日時、及び撮影対象に対応付けて、それぞれの画像における原画像、モデルＭ１～Ｍ４を用いて生成されたラベル画像、及びラベル画像に基づく判定結果を工具ＤＢ１２ａに記憶する。

【0044】

未処理の撮影画像がないと判断した場合（Ｓ１８：ＮＯ）、制御部１１は、工具ＤＢ１２ａに記憶した各撮影画像に基づく判定結果から、撮影対象である各刃に対する総合判定結果を特定する（Ｓ１９）。例えば制御部１１は、撮影対象である各刃について、撮影画像（上面個別画像、斜め画像、外周画像、及びすくい面画像）のうちで劣化領域（摩耗領域又は欠け領域）が有ると判定した撮影画像の割合を算出し、算出した割合が所定値以上である場合に、当該撮影対象の刃は劣化状態であると判定する。なお、制御部１１は、少なくとも１つの画像に劣化領域が有ると判定した場合に、当該撮影対象の刃は劣化状態であると判定してもよい。

【0045】

制御部１１は、撮影対象である各刃に対して特定した総合判定結果を工具ＤＢ１２ａに記憶し、表示部１５に表示する（Ｓ２０）。制御部１１は、例えば図８に示すような判定結果画面を表示する。図８に示す画面は、撮影対象の工具の工具ＩＤ、撮影日時及び撮影対象の刃の情報に対応付けて、撮影対象の刃の劣化領域を検出した撮影画像を表示し、撮影画像中に検出された劣化領域（摩耗領域及び欠け領域）を矩形で示している。図８の画面では、撮影画像としてすくい面画像が表示されているが、撮影対象の刃の劣化領域を検出した全ての撮影画像が表示されてもよい。また、図８の画面では、欠け領域が破線の矩形で、摩耗領域が一点鎖線の矩形でそれぞれ示されており、このように、検出された劣化領域を、劣化状態の種類（摩耗又は欠け）に応じた態様で表示してもよい。これにより、撮影画像中に検出された劣化領域が、いずれの劣化状態であるかを容易に把握できる。また、図８の画面は、検出した劣化領域の拡大図を表示しており、拡大図においても、欠け領域及び摩耗領域が破線の矩形及び一点鎖線の矩形でそれぞれ示されている。なお、上述した処理においてステップＳ１９は必ずしも実行する必要はなく、ステップＳ２０で制御部１１は、ステップＳ１７で工具ＤＢ１２ａに記憶した判定結果に基づいて、劣化領域が有ると判定した撮影画像に対して、撮影画像中に検出された劣化領域（摩耗領域及び欠け領域）を示す判定結果画面を表示してもよい。

【0046】

上述した処理により、本実施形態では、撮影装置２０によって工具の刃部を撮影した撮影画像に対して、モデルＭ１～Ｍ４を用いた画像認識によって、各刃の劣化領域を検出するので、各刃の劣化状態を判定する作業負担を軽減できる。従来、工具の刃の劣化状態は、熟練工が目視で確認することが多く、熟練工が工具を様々な角度から見て劣化状態を判断するので、確認作業に時間を要すると共に、摩耗領域及び欠け領域の判断結果に個人差が生じることがある。また、工具によっては、刃部の直径が６ｍｍ程度で目視での確認が困難なものもある。しかし、本実施形態では、モデルＭ１～Ｍ４を用いた画像認識によって、撮影対象の刃の劣化状態が自動的に検出されるので、劣化状態の判定を短時間で正確に行うことができる。また、モデルＭ１～Ｍ４を用いた画像認識によって劣化状態であると判定された工具及び各刃に対して熟練工による確認を行ってもよく、この場合、熟練工の作業負担を軽減できると共に、熟練工による劣化状態の判定処理を行うことができる。工具の刃の劣化状態を正確に判定できることにより、適切なタイミングでの工具の交換が可能となり、切削加工を良好に行うことができる。

【0047】

本実施形態では、工具におけるそれぞれの刃を撮影対象として複数の撮影方向から撮影して得られた撮影画像（上面全体画像、上面個別画像、斜め画像、外周画像、及びすくい面画像）に基づいて、それぞれの刃の劣化状態を判定する。よって、劣化領域の位置によっては、いずれかの画像では撮影されない場合が生じるが、このような複数の撮影画像に基づいて判定することにより、劣化領域の判定漏れを抑制できる。また、本実施形態では、撮影方向毎にモデルＭ１～Ｍ４（上面用モデルＭ１、斜め用モデルＭ２、外周用モデルＭ３、すくい面用モデルＭ４）が用意されているので、それぞれの撮影方向での撮影画像中の劣化領域を高精度に検出することができる。なお、撮影方向毎に撮影画像を学習させてモデルＭ１～Ｍ４を生成する構成のほかに、全ての撮影方向での撮影画像を訓練データとして学習させて１つのモデルを生成する構成でもよい。この場合、１つのモデルを用いて、全ての撮影方向での撮影画像に対して、画像中の劣化領域の検出が可能となる。

【0048】

本実施形態において、モデルＭ１～Ｍ４を用いた画像認識によって撮影画像中の劣化領域を検出する処理は、サーバ１０で行う構成に限定されず、例えば撮影装置２０によってローカルで実行されてもよい。この場合、撮影装置２０の記憶部２２にモデルＭ１～Ｍ４をダウンロードしておき、撮影装置２０が、工具を撮影した後に、得られた撮影画像に対してモデルＭ１～Ｍ４を用いて当該撮影画像中の劣化領域を検出する処理を行ってもよい。このような構成であっても、上述した本実施形態と同様の処理の実行が可能であり、同様の効果が得られる。

【0049】

（実施形態２）
上述した実施形態１の工具管理システムにおいて、撮影装置２０の撮影部２６及び撮影方向制御部２７の具体例について説明する。図９は撮影装置２０の外観例を示す説明図、図１０Ａ及び図１０Ｂは撮影装置２０の構成例を示す説明図である。なお、図９は撮影部２６及び撮影方向制御部２７の外観例を示し、図１０Ａは、図９におけるＹ軸方向の左側から見た状態の撮影部２６及び撮影部保持部材２７ｃを示し、図１０Ｂは、図９におけるＸ軸方向の右側から見た状態の撮影部２６を示す。図９～図１０Ｂに示す本実施形態の撮影装置２０は、モリマシナリー株式会社製の撮像ユニットであるツールコラージュ（登録商標）である。

【0050】

撮影方向制御部２７は、撮影装置２０の筐体の天板２７ｇ上に、撮影対象の工具３０を、刃部３１を上側に向けた状態で保持する台座２７ａと、台座２７ａを保持する台座保持部材２７ｂとを有する。台座保持部材２７ｂは、水平面上（天板２７ｇ上）において台座２７ａを、矢符Ｂで示すＹ軸方向に移動させる機構と、矢符Ｅで示すθ軸方向に回転又は回動させる機構とを有する。θ軸方向は、台座２７ａに固定された工具３０の中心軸方向（鉛直方向）を中心とする回転方向である。また、撮影方向制御部２７は、撮影部２６を保持する撮影部保持部材２７ｃと、天板２７ｇの上面から鉛直方向に延伸された鉛直部材２７ｄと、鉛直部材２７ｄ及び撮影部保持部材２７ｃを連結する連結部材２７ｅとを有する。連結部材２７ｅは、一端部が鉛直部材２７ｄに係合してあり、鉛直部材２７ｄは、係合した状態の連結部材２７ｅを、矢符Ｃで示すＺ軸方向（鉛直方向）に上下移動させる機構を有する。撮影部保持部材２７ｃは、Ｌ字形状の板部材であり、一端部に撮影部２６が取り付けられており、他端部は、連結部材２７ｅの他端部に連結されている。連結部材２７ｅの他端部は、連結した状態の撮影部保持部材２７ｃを、Ｙ軸に平行な軸（回動軸）を中心に回動させる回動部材２７ｆを有する。また連結部材２７ｅは、鉛直部材２７ｄとの係合位置から、水平面上でＹ軸方向に直交する、矢符Ａで示すＸ軸方向に伸縮する機構を有しており、この伸縮機構により、回動部材２７ｆを、鉛直部材２７ｄとの係合位置から、離れる方向及び近づく方向に移動させることができる。

【0051】

上述した構成により、撮影方向制御部２７は、連結部材２７ｅの伸縮機構によって、回動部材２７ｆに連結された撮影部保持部材２７ｃを、Ｘ軸方向に沿って移動させることができ、これに伴い、撮影部保持部材２７ｃに保持されている撮影部２６もＸ軸方向に沿って移動させることができる。また撮影方向制御部２７は、鉛直部材２７ｄによって連結部材２７ｅをＺ軸方向に移動させることができ、これに伴い、撮影部保持部材２７ｃに保持されている撮影部２６もＺ軸方向に沿って移動させることができる。また撮影方向制御部２７は、台座保持部材２７ｂによって台座２７ａをＹ軸方向に移動させることができ、θ軸方向に回転又は回動させることができる。また撮影方向制御部２７は、図１０Ａに示すように、回動部材２７ｆによって、回動軸を中心に撮影部保持部材２７ｃを回動させることができる。これに伴い、撮影部保持部材２７ｃに保持されている撮影部２６を、撮影方向がＸ軸方向に平行な方向（Ｘ軸右方向）となる位置から、撮影方向がＺ軸方向に平行な方向（鉛直下方向）となる位置までの任意の位置に、矢符Ｄで示すα軸方向に沿って移動（回動）させることができる。図１０Ａでは、撮影部２６が、撮影方向が右方向となる撮影位置と、撮影方向が右斜め下方向となる撮影位置と、撮影方向が真下方向となる撮影位置とに配置された状態を示している。

【0052】

上述したように、撮影方向制御部２７によって撮影部２６をＸ軸方向、Ｚ軸方向、α軸方向に沿って移動させることができ、また、台座２７ａに固定された工具３０をＹ軸方向に沿って移動させ、θ軸方向に沿って回転又は回動させることができる。このように撮影部２６及び工具３０の位置を移動させることができるので、撮影方向制御部２７は、撮影対象（工具３０）に対する撮影部２６の撮影位置及び撮影方向を適宜変更することができる。

【0053】

図１０Ｂに示すように、撮影部２６は、カメラ２６ａと、カメラ２６ａの周囲を取り囲むように配置された８個の光源部２６ｂとを有する。光源部２６ｂは例えばＬＥＤであり、８個の光源部２６ｂは、点灯及び消灯の制御、光量（輝度）の制御を各別に行えるように構成されている。なお、光源部２６ｂの個数は８個に限定されない。

【0054】

本実施形態の撮影装置２０では、撮影対象の工具３０の種類（例えば工具３０の型番）毎に、上面画像、斜め画像、外周画像、すくい面画像のそれぞれを撮影する際の撮影条件として、カメラ２６ａに関するカメラ条件と、光源部２６ｂに関する照明条件とを予め設定することができる。撮影条件を一旦設定すると、同じ種類の工具（同じ型番の工具）に対しては、設定されたカメラ条件及び照明条件での撮影処理が行われ、設定された画像（上面画像、斜め画像、外周画像、すくい面画像）の撮影を行うことができる。カメラ条件は、台座２７ａに固定された工具３０に対するカメラ２６ａの撮影位置、撮影方向、及びピント調整に関する情報を含み、照明条件は、それぞれの光源部２６ｂの光量を含む。

【0055】

図１１は撮影条件ＤＢのレコードレイアウトの一例を示す説明図である。撮影条件ＤＢは、工具管理システムで管理される工具を撮影装置２０で撮影する際のカメラ条件及び照明条件を記憶するデータベースであり、例えば記憶部２２に記憶される。撮影条件ＤＢは例えば、型番列、メーカ名列、種類列、上面画像列、斜め画像列、外周画像列、及びすくい面画像列を含み、各工具に固有に割り当てられた型番に対応付けて、各工具の情報及び撮影装置２０によって撮影される際のカメラ条件及び照明条件を記憶する。上面画像列は、撮影装置２０によって上面画像（上面全体画像及び上面個別画像）を撮影する際の撮影条件を記憶する。具体的には、上面画像列は、撮影対象列、カメラ条件列、及び照明条件列を含み、それぞれの撮影対象を撮影する際のカメラ条件及び照明条件を記憶する。カメラ条件は、台座２７ａに固定された工具３０の刃部３１に対するカメラ２６ａの位置及び撮影方向を含み、具体的には、撮影部２６（カメラ２６ａ）に対して、予め設定された初期位置を基準としたＸ軸方向の位置、Ｚ軸方向の位置、α軸方向の位置と、台座２７ａに対して、予め設定された初期位置を基準としたＹ軸方向の位置、θ軸方向の位置とを含む。また、カメラ条件は、カメラ２６ａのピント調整に関する情報を含む。照明条件は、８個の光源部２６ｂのそれぞれに対する光量（点灯及び消灯を含む）を含む。斜め画像列、外周画像列、及びすくい面画像列のそれぞれは、上面画像列と同様に、撮影対象列、カメラ条件列、及び照明条件列を含み、それぞれの撮影対象を撮影する際のカメラ条件及び照明条件を記憶する。撮影条件ＤＢは図１１に示す構成に限定されず、工具に関する各種の情報、工具の撮影に関する各種の情報が記憶されてもよい。

【0056】

撮影条件ＤＢに登録される各情報は、例えば入力部２４を介した操作入力に従って記憶される。具体的には、未登録の工具３０に対する撮影条件（カメラ条件及び照明条件）を登録する場合、登録担当者が、入力部２４を介した操作によって撮影方向制御部２７及び撮影部２６を制御し、台座２７ａに固定された工具３０を撮影部２６によって撮影し、撮影した画像を確認し、適切な撮影状態で工具３０を撮影できた条件を撮影条件ＤＢに記憶する。適切な撮影状態とは、撮影画像中に発生するハレーションを抑制し、モデルＭ１～Ｍ４を用いて撮影画像中の刃部３１の劣化状態（具体的には摩耗領域及び欠け領域の有無）を良好に判定できる画質を意味する。このような撮影条件ＤＢに各工具３０を撮影する際の撮影条件を登録しておくことにより、登録済みの型番の工具３０を撮影する際に、撮影担当者は、工具３０を台座２７ａに固定するだけで各種の画像の撮影を行うことが可能となる。

【0057】

図１２は撮影装置２０による撮影処理手順の一例を示すフローチャートである。以下の処理は、撮影装置２０の制御部２１が、記憶部２２に記憶してあるプログラムに従って実行する。撮影装置２０は、台座２７ａに撮影対象の工具３０が固定された後に、例えば入力部２４を介して撮影処理の開始指示を受け付けた場合に、以下の処理を実行する。撮影装置２０の制御部２１はまず、撮影対象の工具３０の型番を特定する（Ｓ４１）。工具３０の型番は、例えば入力部２４を介した撮影担当者による入力によって受け付けてもよく、それぞれの工具の撮影画像の画像特徴量を示すテンプレート画像を用いたテンプレートマッチングによって特定してもよく、学習モデルを用いた画像認識によって特定してもよい。画像認識によって特定する場合、例えば、工具の撮影画像が入力された場合に、入力された撮影画像中の工具の型番を判別する演算を行い、演算した結果を出力するように学習済みの学習モデルを用いることができる。この場合、制御部１１は、撮影画像を学習モデルに入力し、学習モデルからの出力情報に基づいて、撮影画像における工具の型番を特定できる。また、工具３０の型番をコード化したコード（例えばバーコード、ＱＲコード（登録商標））を、工具３０又は工具３０を保持するホルダに印字又は貼付しておき、コード読取部を用いてこのコードを読み取ることによって、撮影対象の工具３０の型番を取得してもよい。なお、ステップＳ４１で特定する工具の情報は、工具の形状及びサイズ等を特定できる情報であれば、型番に限定されない。

【0058】

撮影装置２０の制御部２１は、特定した型番に対応するカメラ条件及び照明条件を撮影条件ＤＢから読み出す（Ｓ４２）。具体的には、型番に対応付けて撮影条件ＤＢに登録してある各画像（上面画像、斜め画像、外周画像、すくい面画像）のカメラ条件及び照明条件を読み出す。制御部２１は、カメラ条件及び照明条件を読み出せたか否かに基づいて、型番に対応する撮影条件が登録済みであるか否かを判断する（Ｓ４３）。具体的には、制御部２１は、カメラ条件及び照明条件を読み出せた場合、型番に対応する撮影条件が登録済みであると判断し、読み出せなかった場合、型番に対応する撮影条件が登録済みでないと判断する。型番に対応する撮影条件が登録済みでないと判断した場合（Ｓ４３：ＮＯ）、制御部２１は、ステップＳ４１で特定した型番に対応する撮影条件の登録処理を実行する（Ｓ４４）。例えば制御部２１は、撮影対象の工具に対する撮影条件が未登録であることを通知するメッセージを表示部２５に表示し、撮影条件の登録処理の実行を促す。そして、制御部２１は、入力部２４を介した操作に従って撮影方向制御部２７及び撮影部２６の動作を制御して、カメラ条件及び照明条件を変更しながら撮影対象の工具を撮影し、適切な撮影状態で工具を撮影できる撮影条件が指定された場合に、指定された撮影条件を撮影条件ＤＢに登録する。型番に対応する撮影条件が登録済みであると判断した場合（Ｓ４３：ＹＥＳ）、制御部２１は、ステップＳ４４をスキップする。

【0059】

制御部２１は、ステップＳ４２で読み出した撮影条件、又は、ステップＳ４４で撮影条件ＤＢに登録した撮影条件の中から１つの撮影条件を抽出する（Ｓ４５）。例えば制御部２１は、１つの撮影画像（上面画像、斜め画像、外周画像、又はすくい面画像）における１つの撮影対象に対応するカメラ条件及び照明条件を抽出する。制御部２１は、抽出したカメラ条件及び照明条件での撮影処理を実行する（Ｓ４６）。制御部２１は、撮影した撮影画像に、撮影日時（例えばこの時点の日時）及び撮影画像の情報を付加して記憶部２２に記憶する（Ｓ４７）。例えば制御部２１は、撮影画像のタグ情報（付加情報）として、撮影日時及び撮影画像の情報を記憶する。撮影画像の情報は、例えば撮影対象の刃の情報、及び撮影方向の情報を含む。

【0060】

制御部２１は、ステップＳ４２で読み出した撮影条件、又は、ステップＳ４４で撮影条件ＤＢに登録した撮影条件に含まれる全ての撮影条件での撮影を完了したか否かを判断し（Ｓ４８）、完了していないと判断する場合（Ｓ４８：ＮＯ）、ステップＳ４５に戻り、撮影を完了していない撮影条件について、ステップＳ４５～Ｓ４７の処理を繰り返す。これにより、制御部２１は、工具３０の型番に対応付けて登録してあるカメラ条件及び照明条件での撮影処理を実行することができ、各工具に応じた撮影方向からの撮影画像を取得することができる。全ての撮影条件での撮影を完了したと判断した場合（Ｓ４８：ＹＥＳ）、制御部２１は、撮影対象の工具３０用のフォルダを記憶部２２に生成し、生成したフォルダに、当該撮影対象の工具３０についてステップＳ４７で記憶部２２に記憶した各撮影画像を記憶する（Ｓ４９）。これにより、撮影対象の工具３０毎に撮影画像をフォルダに記憶することができるので、フォルダ内の撮影画像を同一の工具３０の撮影画像として扱うことができる。なお、制御部２１は、ステップＳ４９を行わなくてもよい。

【0061】

上述した処理により、本実施形態では、台座２７ａに固定された撮影対象の工具３０と撮影部２６（カメラ２６ａ）との位置関係を、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向、α軸方向、及びθ軸方向に制御できるので、撮影対象の各刃に対して最適な撮影位置からの撮影が可能となる。また、本実施形態では、カメラ２６ａのピント調整を行うと共に、８個の光源部２６ｂのそれぞれの光量を各別に制御できるので、各刃に対して最適なカメラ条件及び照明条件によって高精度の撮影画像（上面画像、斜め画像、外周画像、すくい面画像）を取得することができる。このような撮影画像に対して、モデルＭ１～Ｍ４を用いた画像認識によって、各刃の劣化領域を検出することにより、各刃の劣化状態をより正確に判定することが可能となる。

【0062】

本実施形態においても、上述した実施形態１と同様の効果が得られる。また本実施形態では、撮影装置２０を用いて高精度の撮影画像を取得することができるので、撮影画像に基づいて撮影対象の各刃の劣化状態をより正確に判定することができる。本実施形態においても上述した実施形態１で適宜説明した変形例の適用が可能である。

【0063】

（実施形態３）
上述した実施形態１～２の撮影装置２０では、工具３０のシャンク３２をホルダ（図示せず）で保持した状態で台座２７ａに固定して撮影、並びに、工具３０の収納及び管理等が行われる。一方、工具３０をホルダから取り外して、同じ種類の工具３０を取り付ける組み換えが行われる。組み換え前後ではホルダに対する工具３０の取付位置がずれることがあり、工具３０の取付位置がずれた場合、同じ種類の工具３０であっても、同じ撮影条件で撮影した場合に同じ状態で撮影されない状況が発生する。よって、本実施形態では、工具３０を撮影する際に、当該工具３０に対する撮影条件が登録済みである場合、登録済みの撮影条件で撮影した場合に、当該撮影条件の登録時と同じ状態での撮影が可能であるかを判断し、可能でない場合、撮影条件を更新する（登録し直す）工具管理システムについて説明する。本実施形態の工具管理システムは、実施形態１～２の工具管理システムと同様の装置によって実現できるので、各装置の構成についての説明は省略する。なお、本実施形態では、例えば撮影装置２０の記憶部２２に記憶してある撮影条件ＤＢ（図１１参照）に、各工具３０を、記憶してある撮影条件（カメラ条件及び照明条件）で撮影した画像を基準画像として記憶している。基準画像は、撮影方向毎に撮影されて記憶されてもよく、外周画像又はすくい面画像等一部の撮影方向で撮影された基準画像のみが記憶されてもよい。

【0064】

図１３は実施形態３の撮影装置２０による撮影処理手順の一例を示すフローチャート、図１４は撮影条件の調整処理の説明図である。図１３に示す処理は、図１２に示す処理において、ステップＳ４３のＹＥＳとステップＳ４５との間にステップＳ５１～Ｓ５６を追加したものである。図１２と同じステップについては説明を省略する。

【0065】

本実施形態の撮影装置２０の制御部２１は、撮影対象の工具３０の型番に対応する撮影条件が登録済みであると判断した場合（Ｓ４３：ＹＥＳ）、撮影条件ＤＢから、この工具３０（同じ型番の工具３０）の外周画像の基準画像を取得する（Ｓ５１）。図１４の左側には外周画像の基準画像の例を示す。そして、制御部２１は、ステップＳ４２で読み出した撮影条件の中の外周画像の撮影条件を特定し、撮影対象の工具３０に対して、特定した撮影条件での撮影を行うことにより、撮影対象の工具３０の外周画像を取得する（Ｓ５２）。図１４の右側には外周画像の撮影画像の例を示す。図１４に示す２つの外周画像から、撮影対象の工具３０のホルダに対する取付位置が、撮影条件の登録時（基準画像の撮影時）と比較してずれていることが分かる。具体的には、基準画像中の工具に対して、撮影画像中の工具３０は、Ｚ軸方向（図９参照）下側にずれると共に、θ軸方向（図９参照）左側にずれている。

【0066】

そこで、本実施形態の撮影装置２０は、基準画像中の工具の位置と、撮影画像中の工具３０の位置とにずれが生じている場合に、撮影条件を調整することにより、この時点でホルダに保持されている工具３０に対して適切な撮影条件の登録を自動で行う。まず制御部２１は、ステップＳ５１で取得した基準画像と、ステップＳ５２で取得した外周画像（撮影画像）とに対して、撮影対象の工具３０の刃３１ａの位置を特定する（Ｓ５３）。具体的には、制御部２１は、基準画像及び外周画像のそれぞれに対して、二値化処理を行い、二値画像に対して例えば画素値が１の画素が連なる領域の輪郭検出を行うことにより、各画像の中央に撮影される刃３１ａの刃先のエッジ位置を特定する。図１４の基準画像では、エッジ位置Ｅ１が特定され、外周画像ではエッジ位置Ｅ２が特定されている。また制御部２１は、基準画像及び外周画像（撮影画像）に基づいて、各画像中の工具の上端面を特定する。図１４では破線で示す上端面が特定されている。なお、基準画像におけるエッジ位置Ｅ１及び工具の上端面の位置は、当該撮影条件の登録時に検出して撮影条件ＤＢに記憶しておいてもよい。

【0067】

制御部２１は、基準画像及び外周画像（撮影画像）において、検出したエッジ位置Ｅ１，Ｅ２及び工具の上端面位置がそれぞれ合致するか否かを判断する（Ｓ５４）。具体的には、制御部２１は、基準画像中のエッジ位置Ｅ１と外周画像中のエッジ位置Ｅ２とのずれが所定量未満であり、かつ、基準画像中の工具の上端面と外周画像中の工具の上端面とのずれが所定量未満であるか否かを判断する。そして、制御部２１は、共に所定量未満である場合に合致すると判断し、少なくとも一方が所定量以上である場合に合致しないと判断する。合致すると判断した場合（Ｓ５４：ＹＥＳ）、基準画像中の工具の位置と、撮影画像中の工具３０の位置とにずれが生じていないので、登録済みの撮影条件での撮影が可能であり、制御部２１はステップＳ４５に移行する。そして、制御部２１は、ステップＳ４２で読み出した撮影条件の中から１つの撮影条件を抽出し（Ｓ４５）、抽出した撮影条件（カメラ条件及び照明条件）での撮影処理を実行する（Ｓ４６）。

【0068】

エッジ位置Ｅ１，Ｅ２又は工具の上端面位置が合致しないと判断した場合（Ｓ５４：ＮＯ）、基準画像中の工具の位置と、撮影画像中の工具３０の位置とにずれが生じているので、登録済みの撮影条件に対して調整（更新）が必要である。従って、制御部２１は、ステップＳ４２で読み出した撮影条件に対する調整量を算出する（Ｓ５５）。ここでは制御部２１は、撮影画像中の刃の位置が基準画像中の刃の位置に近づくような調整量を算出する。具体的には、制御部２１は、基準画像中のエッジ位置Ｅ１と撮影画像中のエッジ位置Ｅ２とに基づいて、工具３０を保持する台座２７ａをθ軸方向に回転させる回転量（調整量）を算出する。θ軸方向の調整量は、図１４の撮影画像においてエッジ位置Ｅ２をエッジ位置Ｅ１に合致させる（近づける）ための回転量であり、例えば撮影画像中の距離に対応する回転量を予め登録しておくことにより特定できる。θ軸方向の調整量は、例えばθ軸方向に所定の回転量だけ台座２７ａを回転させて工具３０の撮影及び基準画像中のエッジ位置Ｅ１との比較を繰り返し、撮影画像中のエッジ位置Ｅ２が基準画像中のエッジ位置Ｅ１に合致するまでの回転量の合計を調整量としてもよい。また制御部２１は、基準画像中の上端面位置と撮影画像中の上端面位置とに基づいて、撮影部２６をＺ軸方向下側に所定量下げるための調整量を算出する。ここでの調整量は、図１４の画像において撮影画像の上端面位置を基準画像の上端面位置に合致させる（近づける）ための移動量である。

【0069】

制御部２１は、算出した撮影条件に対する調整量に基づいて、ステップＳ４１で特定した型番に対応して撮影条件ＤＢに記憶してある撮影条件の更新処理を実行する（Ｓ５６）。例えば、上述したように外周画像の撮影条件の調整量として、台座２７ａをθ軸方向に回転させる調整量と、撮影部２６をＺ軸方向下側に下げる調整量とが算出された場合、制御部２１は、撮影条件ＤＢに記憶してある外周画像のカメラ条件を、算出した調整量に基づいて更新（変更）する。なお、撮影部２６をＺ軸方向下側に下げる調整量は、外周画像の撮影条件だけでなく、他の画像の撮影条件にも影響があるので、他の画像のカメラ条件（撮影部２６のＺ軸方向の位置）についても、算出した調整量に基づいて更新してもよい。これにより、ホルダに対する工具３０の取付位置が、撮影条件の登録時の取付位置に対してずれている場合であっても、撮影条件ＤＢに記憶してある撮影条件を、当該工具３０を基準画像の撮影状態で撮影できる撮影条件に更新できる。

【0070】

その後、制御部２１は、ステップＳ４５に移行し、更新後の撮影条件の中から１つの撮影条件を抽出し（Ｓ４５）、抽出した撮影条件（カメラ条件及び照明条件）での撮影処理を実行する（Ｓ４６）。上述した処理により、ホルダに対する工具３０の取付位置が、撮影条件の登録時の取付位置に対してずれている場合であっても、撮影条件を更新することにより、撮影対象の工具３０を基準画像の撮影状態と同じ状態で撮影した撮影画像を得ることができる。本実施形態では、外周画像の基準画像及び撮影画像に基づいて、工具３０の取付位置がずれているか否かを判定し、撮影条件の調整量を算出した。このほかに、各画像（上面画像、斜め画像、外周画像、すくい面画像）の基準画像及び撮影画像に基づいて、工具３０の取付位置がずれているか否かの判定、及び、撮影条件の調整量の算出を行う構成でもよい。上述した処理において、制御部２１は、撮影条件が登録済みであると判断した場合（Ｓ４３：ＹＥＳ）、ホルダに対して工具３０の取り替えが行われたか否かを判断し、取り替えが行われた場合にステップＳ５１～Ｓ５６の処理を行う構成でもよい。

【0071】

本実施形態において、外周画像の基準画像及び撮影画像に基づいて登録済みの撮影条件に対する調整量を算出する処理は、撮影装置２０がローカルで行う構成に限定されず、例えばサーバ１０で行う構成でもよい。この場合、撮影装置２０は、登録済みの撮影条件で撮影した撮影画像、例えば外周画像の撮影画像をサーバ１０へ送信し、サーバ１０で判定された結果（基準画像中の工具の位置と撮影画像中の工具３０の位置とにずれが生じているか否かを示す情報）と、サーバ１０で算出された調整量（登録済みの撮影条件に対する調整量）とを受信するように構成できる。このような構成では、サーバ１０は、撮影装置２０で撮影された撮影画像（外周画像）に基づいて、撮影画像中の刃の位置（刃先のエッジ位置Ｅ２）を特定する。そしてサーバ１０は、刃先のエッジ位置Ｅ２が、予め登録してある位置（基準画像中のエッジ位置Ｅ１）に合致するか否かを判断し、合致しないと判断した場合、撮影画像中のエッジ位置Ｅ２を、基準画像中のエッジ位置Ｅ１に合致させるための調整量を算出する。サーバ１０は、撮影装置２０に設定してある撮影条件に対して、算出した調整量に基づく調整を行うように撮影装置２０に指示する。撮影装置２０は、サーバ１０からの指示に従って、登録済みの撮影条件を更新（調整）することにより、撮影対象の工具３０を基準画像の撮影状態で撮影できる撮影条件を撮影条件ＤＢに登録することができる。

【0072】

本実施形態の構成は、上述した実施形態１～２の工具管理システムに適用可能であり、実施形態１～２の工具管理システムに適用した場合であっても同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態においても、上述した実施形態１～２で適宜説明した変形例の適用が可能である。

【0073】

（実施形態４）
上述した実施形態１～３の工具管理システムにおいて、各型番の工具３０に対する撮影条件を登録する際に、各撮影条件で画像を撮影した場合にピントが合っているかを自動で判定し、ピントが合う撮影条件を登録する工具管理システムについて説明する。本実施形態の工具管理システムは、実施形態１～３の工具管理システムと同様の装置によって実現できるので、各装置の構成についての説明は省略する。

【0074】

図１５は撮影条件の登録処理手順の一例を示すフローチャート、図１６は撮影条件の登録処理の説明図である。図１５に示す処理は、図１２中のステップＳ４４の処理である。本実施形態では、撮影装置２０は、各画像（上面画像、斜め画像、外周画像、すくい面画像）をデフォルト設定された撮影条件で撮影し、得られた撮影画像のピントが合っているか否かを判定し、ピントが合っていないと判定する場合、撮影条件を調整して再度撮影を行い、ピントが合うまで繰り返す。そして、撮影装置２０は、ピントが合っていると判定した撮影画像における撮影条件を、当該画像（撮影方向）の撮影条件に登録する。ピントが合っているか否かの判定は、各画像に対して予め設定されたフォーカス領域に対して行う。これにより、各画像に対してピントが合っているか否かの判定を効率よく行うことが可能となる。

【0075】

撮影条件の登録処理では、撮影装置２０の制御部２１はまず、例えば上面全体画像を撮影する（Ｓ６１）。制御部２１は、上面全体画像におけるフォーカス領域を抽出する（Ｓ６２）。上面全体画像のフォーカス領域は、図１６中に破線で示すように画像全体とする。そして制御部２１は、抽出したフォーカス領域においてピントが合っているか否かを判定する（Ｓ６３）。ここでは制御部２１は、フォーカス領域に対してラプラシアンフィルタを用いたフィルタ処理を行って画像中のエッジを抽出し、フィルタ処理後の画像（フォーカス領域）中の各画素値に基づいて分散を算出し、算出した分散の値に基づいて、ピントが合っているか否かを判定する。分散は、例えば偏差（各画素値とその平均値との差）の２乗の平均値として算出できる。また制御部２１は、分散の値が所定値以上である場合にピントが合っていないと判定し、所定値未満である場合にピントが合っていると判定する。なお、ラプラシアンフィルタを用いたフィルタ処理に限定されず、画像から輪郭（エッジ）を抽出するための各種の微分フィルタを用いてもよい。

【0076】

制御部２１は、ピントが合っていないと判定する場合（Ｓ６３：ＮＯ）、ステップＳ６１で撮影した撮影条件を調整（変更）する（Ｓ６４）。例えば制御部２１は、撮影部２６をＺ軸方向上側に所定量移動させる調整、カメラ２６ａのピント調整等を行う。これにより、撮影対象の工具３０に対して撮影部２６をＺ軸方向上側に所定距離だけ遠ざけることができ、又は、カメラ２６ａのピント調整（焦点の調整）を行うことができる。そして制御部２１は、ステップＳ６１に戻り、調整後の撮影条件で上面全体画像の撮影を行い（Ｓ６１）、ピントが合うと判定するまでステップＳ６１～Ｓ６４の処理を繰り返す。ピントが合っていると判定した場合（Ｓ６３：ＹＥＳ）、制御部２１は、上面全体画像を直近に撮影した撮影条件を撮影条件ＤＢに登録する（Ｓ６５）。

【0077】

次に制御部２１は、斜め画像について、ステップＳ６１～Ｓ６５と同様の処理を実行する（Ｓ６６～Ｓ７０）。なお、斜め画像のフォーカス領域は、図１６中に破線で示すように画像の左右方向の中央部とする。斜め画像においてピントを合わせるための調整は、例えば撮影部２６を工具３０からＸ軸方向に所定量遠ざける調整、カメラ２６ａのピント調整等とすることができる。これにより、斜め画像についても、フォーカス領域にピントが合う撮影条件が撮影条件ＤＢに登録される。次に制御部２１は、外周画像について、ステップＳ６１～Ｓ６５と同様の処理を実行する（Ｓ７１～Ｓ７５）。外周画像のフォーカス領域は、図１６中に破線で示すように画像の左右方向の中央部とする。ここでも、ピントを合わせるための調整は、撮影部２６を工具３０からＸ軸方向に所定量遠ざける調整、カメラ２６ａのピント調整等とすることができる。これにより、外周画像についても、フォーカス領域にピントが合う撮影条件が撮影条件ＤＢに登録される。最後に制御部２１は、すくい面画像について、ステップＳ６１～Ｓ６５と同様の処理を実行する（Ｓ７６～Ｓ８０）。すくい面画像のフォーカス領域は、図１６中の上側に示すように工具３０が画像中央に撮影される撮影条件の場合、破線で示すように画像の左側の領域とすることができる。また、刃部の直径が大きい工具等、図１６中の下側に示すように刃３１ａのすくい面が画像中央に撮影される撮影条件の場合、破線で示すように画像の左右方向の中央部をフォーカス領域としてもよい。これにより、すくい面画像についても、フォーカス領域にピントが合う撮影条件が撮影条件ＤＢに登録される。なお、制御部２１は、上面個別画像についても同様の処理を行ってもよい。

【0078】

制御部２１は、ステップＳ８０の処理後、図１２の処理に戻り、上述した処理によって登録した撮影条件に従って、撮影対象の工具３０を複数の撮影方向から撮影する。上述した処理により、各画像についてフォーカス領域にピントが合う撮影条件が登録される。フォーカス領域は、刃部３１（刃３１ａ）が撮影される領域であり、この領域にピントが合う撮影条件で撮影することにより、学習モデルＭ１～Ｍ４を用いた画像認識によって各刃の劣化領域を適切に検出できる高画質の撮影画像を得ることができ、各刃の劣化状態をより正確に判定することが可能となる。

【0079】

本実施形態において、各画像の撮影条件の登録処理は、撮影装置２０がローカルで行う構成に限定されず、例えばサーバ１０で行う構成でもよい。この場合、撮影装置２０は、撮影した各画像をサーバ１０へ送信し、サーバ１０で判定された結果（ピントが合っていると判定された撮影条件）を受信するように構成できる。この構成では、サーバ１０は、撮影装置２０で撮影された各撮影画像に基づいて、各撮影画像の所定領域（フォーカス領域）にピントが合っているか否かを判定する。そしてサーバ１０は、ピントが合っていないと判定した場合、所定領域にピントが合うための調整量を算出し、撮影装置２０に設定してある撮影条件に対して、算出した調整量に基づく調整を行うように撮影装置２０に指示する。撮影装置２０は、サーバ１０からの指示に従って、登録済みの撮影条件を更新（調整）することにより、フォーカス領域にピントが合う撮影条件に近づけることができる。撮影装置２０及びサーバ１０は、各画像のフォーカス領域にピントが合うまで上述した処理を繰り返すことにより、各画像についてフォーカス領域にピントが合う撮影条件を撮影条件ＤＢに登録することができる。

【0080】

本実施形態の構成は、上述した実施形態１～３の工具管理システムに適用可能であり、実施形態１～３の工具管理システムに適用した場合であっても同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態においても、上述した実施形態１～３で適宜説明した変形例の適用が可能である。

【0081】

（実施形態５）
上述した実施形態１～４の工具管理システムにおいて、劣化領域の推定処理によって撮影画像中の刃部（刃）に劣化領域が有ると判定した場合に、劣化領域のサイズを推定する工具管理システムについて説明する。本実施形態の工具管理システムは、実施形態１～４の工具管理システムと同様の装置によって実現できるので、各装置の構成についての説明は省略する。

【0082】

図１７は劣化領域の推定処理手順の一例を示すフローチャート、図１８Ａ及び図１８Ｂは劣化領域のサイズ推定処理の説明図である。図１７に示す処理は、図７に示す処理において、ステップＳ３５の後にステップＳ９１～Ｓ９２を追加したものである。図７と同じステップについては説明を省略する。

【0083】

劣化領域の推定処理において、本実施形態のサーバ１０の制御部１１は、図７のステップＳ３１～Ｓ３５と同様の処理を行う。これにより、制御部１１は、図６中のステップＳ１３で読み出した撮影画像中の刃に、劣化領域が有るか否かを判定できる。その後、制御部１１は、ステップＳ３５の判定結果に基づいて、劣化領域が有るか否かを判断し（Ｓ９１）、劣化領域が有ると判断した場合（Ｓ９１：ＹＥＳ）、劣化領域のサイズを算出する（Ｓ９２）。例えば制御部１１は、図１８Ａに示すように、外周画像の撮影画像に対して、画像中に検出された劣化領域を囲むバウンディングボックスと、当該劣化領域の種類（摩耗又は欠け）を示す判別ラベルと、判別ラベルに対する確信度とが付与されたラベル画像を取得する。このようなラベル画像を取得した場合、制御部１１は、撮影画像からバウンディングボックスの領域を抽出し、抽出した領域に対して二値化処理を行う（図１８Ａ（１）参照）。制御部１１は、二値画像に対して、バウンディングボックスにおける１つの対角線Ｌ１（右肩上がりの対角線）を付加し、対角線Ｌ１の中点Ｐ１を特定する（図１８Ａ（２）参照）。なお、図１８Ａに示す工具３０は、刃のエッジが右肩上がりの線分となるので、ここでは右肩上がりの対角線Ｌ１を付加するが、工具３０の刃の状態に応じて右肩下がりの対角線を付加する構成でもよい。次に制御部１１は、中点Ｐ１を通り、対角線Ｌ１に直交（交差）する垂線Ｌ２を特定し（図１８Ａ（３）参照）、垂線Ｌ２と劣化領域の輪郭線との２つの交点Ｐ２，Ｐ３を特定する（図１８Ａ（４）参照）。そして、制御部１１は、交点Ｐ２，Ｐ３の距離を算出し、算出した距離を当該劣化領域のサイズ（幅）とする。

【0084】

バウンディングボックスは、検知した劣化領域が中央に位置する状態で付加される場合が多く、バウンディングボックスの対角線Ｌ１の中点Ｐ１は、劣化領域の中央近傍にある可能性が高い。よって、バウンディングボックスの対角線Ｌ１の中点Ｐ１を通る垂線Ｌ２に基づいて劣化領域のサイズを算出することにより、高精度に劣化領域のサイズを算出できる。斜め画像及びすくい面画像についても同様の処理によって、劣化領域のサイズを算出できる。なお、刃３１ａのエッジ位置を高精度に検知できる場合、エッジ位置に対して直交（交差）する方向の劣化領域のサイズを算出してもよい。

【0085】

また、制御部１１は、図１８Ｂに示すように、上面画像（上面全体画像及び上面個別画像）の撮影画像に対して、劣化領域を囲むバウンディングボックスと、当該劣化領域の種類（摩耗又は欠け）を示す判別ラベルと、判別ラベルに対する確信度とが付与されたラベル画像を取得する。このようなラベル画像を取得した場合、制御部１１は、撮影画像からバウンディングボックスの領域を抽出し、抽出した領域に対して二値化処理を行う（図１８Ｂ（１）参照）。制御部１１は、二値画像に基づいて、刃の劣化前の形状（元の形状）を推定する。例えば刃の劣化前の形状を矩形と仮定し、制御部１１は、図１８Ｂ（２）に示すように、劣化後の刃の領域（白画素の領域）を包含する矩形Ｒ１を、刃の劣化前の形状と推定し、推定した矩形Ｒ１を二値画像に対して付加する。次に制御部１１は、二値画像中の刃の領域（白画素の領域）と矩形Ｒ１の領域との差分領域であって、刃の先端側の領域（図１８Ｂ（３）では上側のグレー領域）を特定する。刃の先端側は、図１８Ｂのバウンディングボックスでは上側であるが、上面全体画像及び上面個別画像のそれぞれにおける刃の先端側を予め設定しておくことにより、刃の先端側の差分領域を特定できる。刃の先端側の差分領域は、当該刃の劣化領域を示す。よって、制御部１１は、特定した差分領域のサイズ（面積）を算出し、算出したサイズを当該劣化領域のサイズとする。なお、制御部１１は、劣化領域のサイズとして、劣化領域内の画素数を計数してもよく、図１８Ｂ（４）に示すように、直角三角形で表される劣化領域のサイズとして、画像の左右方向（工具３０における刃部３１の周方向）の長さと、画像の上下方向（刃部３１の径方向）の長さとを算出してもよい。上面画像では、各刃が略矩形状に撮影されるので、画像中の刃３１ａの領域と矩形Ｒ１の領域とを比較することで、刃３１ａの劣化領域のサイズを高精度に推定できる。

【0086】

制御部１１は、劣化領域が無いと判断した場合（Ｓ９１：ＮＯ）、ステップＳ９２をスキップし、図６の処理に戻る。図６の処理では、ステップＳ１７で制御部１１は、ステップＳ１３で読み出した撮影画像（原画像）と、ステップＳ３４で生成したラベル画像と、ステップＳ３５で劣化領域の有無を判定した判定結果と、劣化領域が有ると判定した場合にステップＳ９２で算出した劣化領域のサイズとを、撮影日時と、ステップＳ１４で特定した撮影対象とに対応付けて、工具ＤＢ１２ａに記憶する。また、ステップＳ２０で制御部１１は、図８に示す判定結果画面において、撮影画像中に検出された劣化領域（摩耗領域及び欠け領域）に対応付けて、各劣化領域のサイズを表示してもよい。このような構成とした場合、判定結果画面において、工具３０のどの部分が劣化領域と推定されているのか、劣化領域と推定される確信度、並びに、劣化領域のサイズをまとめて表示することができる。

【0087】

本実施形態では、工具３０の撮影画像に基づいて当該工具３０に劣化領域が有ると推定された場合に、推定された劣化領域のサイズを自動で検出することができる。よって、自動で検出された劣化領域のサイズを通知できるだけでなく、劣化領域のサイズの大小に応じて、通知対象とする劣化領域のサイズを切り替えることができる。即ち、劣化領域のサイズ（劣化幅）に対して、アラートを出力するか否かの閾値を設定することができる。例えばサイズ（幅）が０．５ｍｍ以上の劣化領域が検出された工具３０をアラート対象とすることができ、この場合、サイズが０．５ｍｍ未満の劣化領域を有する工具３０はアラート対象としないことにより、不要なアラート出力を抑制することができる。本実施形態の構成は、上述した実施形態１～４の工具管理システムに適用可能であり、実施形態１～４の工具管理システムに適用した場合であっても同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態においても、上述した実施形態１～４で適宜説明した変形例の適用が可能である。

【0088】

（実施形態６）
ラベル画像に基づいて撮影対象の工具に劣化領域が有るか否かを判定する際に用いる、判別ラベルに対する確信度に対する閾値を、工具（工具の型番）に応じて切替可能な工具管理システムについて説明する。本実施形態の工具管理システムは、実施形態１～５の工具管理システムと同様の装置によって実現できるので、各装置の構成についての説明は省略する。なお、本実施形態では、サーバ１０は、図１に示す構成に加えて、記憶部１２に判別閾値ＤＢを記憶している。

【0089】

図１９は判別閾値ＤＢのレコードレイアウトの一例を示す説明図である。判別閾値ＤＢは、工具管理システムで管理される各工具に対応付けて、モデルＭ１～Ｍ４を用いて劣化領域の有無を判別する際に用いる閾値を記憶するデータベースである。判別閾値ＤＢは例えば、型番列、メーカ名列、種類列、及び判別閾値列を含み、各工具の型番に対応付けて、各工具の情報及び各工具に対する判別閾値を記憶する。判別閾値は、予め設定された数値であってもよく、任意に変更された数値であってもよい。判別閾値ＤＢは図１９に示す構成に限定されない。

【0090】

図２０は実施形態６の劣化領域の推定処理手順の一例を示すフローチャートである。図２０に示す処理は、図７に示す処理において、ステップＳ３４，Ｓ３５の間にステップＳ１０１を追加したものである。図７と同じステップについては説明を省略する。

【0091】

本実施形態の劣化領域の推定処理において、サーバ１０の制御部１１は、図７のステップＳ３１～Ｓ３４と同様の処理を行う。これにより、制御部１１は、原画像（撮影画像）に対して、劣化領域を囲むバウンディングボックスと、当該劣化領域の種類を示す判別ラベルと、判別ラベルに対する確信度（判別ラベルが示す劣化状態である可能性）とを付与したラベル画像を生成することができる。制御部１１は、判別閾値ＤＢから、ここでの処理対象の工具３０に対する判別閾値を取得する（Ｓ１０１）。具体的には制御部１１は、処理対象の工具３０の型番を特定し、特定した型番に対応する判別閾値を判別閾値ＤＢから読み出す。例えば工具３０の型番等の情報をコード化したコード（例えばバーコード、ＱＲコード）が、工具３０を保持するホルダに印字又は貼付されており、制御部１１は、コード読取部を用いてこのコードを読み取ることによって、処理対象の工具３０の型番を取得できる。なお、工具３０の型番は、例えば入力部１４を介して受け付けてもよく、それぞれの工具の撮影画像の画像特徴量を示すテンプレート画像を用いたテンプレートマッチングによって特定してもよく、学習モデルを用いた画像認識によって特定してもよい。

【0092】

制御部１１は、ステップＳ１０１で取得した判別閾値を用いて、ステップＳ３４で生成したラベル画像に基づいて、当該撮影画像中の工具に劣化領域が有るか否かを判定する（Ｓ３５）。例えば制御部１１は、ラベル画像における判別ラベルに対する確信度が、ステップＳ１０１で取得した判別閾値以上であるバウンディングボックスがあるか否かに応じて、劣化領域が有るか否かを判定する。具体的には、制御部１１は、判別閾値以上のバウンディングボックスが有ると判断した場合、このバウンディングボックスで示される領域を劣化領域と判定する。そして、制御部１１は、図６の処理に戻る。なお、図６中のステップＳ１４で、制御部１１は、撮影対象の刃の情報に加えて、撮影対象の工具３０の型番を特定している場合、ステップＳ１０１では、ステップＳ１４で特定した工具３０の型番に基づいて当該工具３０の判別閾値を取得してもよい。

【0093】

上述した処理により、本実施形態では、工具毎に（工具の型番毎に）、ラベル画像中の判別ラベルに対する確信度に対して、劣化領域と決定すべきか否かの閾値を切り替えることができる。例えば、刃部３１の径が細いほど、小さい劣化領域であっても劣化の影響を受けるので、刃部３１の径が細い工具に対しては、小さい値の判別閾値を設定することにより、確信度が小さい劣化領域についても精度よく検出する構成とする。一方、刃部３１の径が太い工具に対しては、大きい値の判別閾値を設定することにより、判別閾値未満の確信度の劣化領域を検出対象から除外し、判別閾値以上の確信度の劣化領域を確実に検出する構成とすることができる。

【0094】

本実施形態の構成は、上述した実施形態１～５の工具管理システムに適用可能であり、実施形態１～５の工具管理システムに適用した場合であっても同様の処理の実行が可能であり、同様の効果が得られる。また、本実施形態においても、上述した実施形態１～５で適宜説明した変形例の適用が可能である。

【0095】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載しても良い。

【0096】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0097】

１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ 撮影装置
２１ 制御部
２２ 記憶部
２３ 通信部
２６ 撮影部
２７ 撮影方向制御部
３０ 工具
３１ 刃部
３１ａ 刃
Ｍ１ 上面用モデル
Ｍ２ 斜め用モデル
Ｍ３ 外周用モデル
Ｍ４ すくい面用モデル
１２ａ 工具ＤＢ

【要約】

工具の劣化状態を精度よく検出することが可能なプログラム等を提供する。コンピュータは、プログラムに従って、切削工具に設けられた刃部を撮影した撮影画像を取得する。そして、コンピュータは、切削工具の刃部の撮影画像を入力した場合に、前記刃部の劣化状態に関する情報を出力するように学習済みの学習モデルに、取得した撮影画像を入力して、当該撮影画像中の切削工具の刃部の劣化状態に関する情報を取得する。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図19】

【図20】