特開 2023-102862 加工支援装置及び加工システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023102862

(43)【公開日】2023-07-26

(54)【発明の名称】加工支援装置及び加工システム

(51)【国際特許分類】

   B23Q 17/24 20060101AFI20230719BHJP

   B23Q 17/00 20060101ALI20230719BHJP

【ＦＩ】

B23Q17/24 A

B23Q17/00 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022003576

(22)【出願日】2022-01-13

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】長友 優志

【テーマコード（参考）】

3C029

【Ｆターム（参考）】

3C029CC02

3C029CC10

3C029FF06

(57)【要約】      （修正有）

【課題】再加工を要する箇所を適切に検出することのできる加工支援装置及び加工装置を提供する。
【解決手段】加工支援装置Ｅは、複数種類のワーク表面の情報を提示する提示部１５Ａと、提示部１５Ａにより提示された複数種類のワーク表面の情報の中からいずれかを外部から指定可能な指定部１５Ｂと、加工対象ワークＫの加工後に加工対象ワークＫの撮影画像を取得する撮影部１２と、指定部１５Ｂにより指定された情報と撮影画像から得られる情報とに基づいて加工対象ワークＫの再加工を要する箇所を判定する再加工判定部２４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数種類のワーク表面の情報を提示する提示部と、
前記提示部により提示された複数種類のワーク表面の情報の中からいずれかを外部から指定可能な指定部と、
加工対象ワークの加工後に前記加工対象ワークの撮影画像を取得する撮影部と、
前記指定部により指定された情報と前記撮影画像から得られる情報とに基づいて前記加工対象ワークの再加工を要する箇所を判定する再加工判定部と、
を備える加工支援装置。

【請求項2】

前記提示部が提示するワーク表面の情報は、ワーク表面の空間周波数成分を示す情報である、
請求項１記載の加工支援装置。

【請求項3】

前記撮影画像から得られる情報は、前記撮影画像中のワーク表面の空間周波数成分を示す情報である、
請求項１又は請求項２に記載の加工支援装置。

【請求項4】

前記撮影画像にＦＦＴあるいはＦＦＴ及びＩＦＦＴの処理を行う第１画像処理部を更に備え、
前記第１画像処理部の前記処理によって前記空間周波数成分を示す情報が生成される、
請求項３記載の加工支援装置。

【請求項5】

前記撮影画像に含まれる曲線状の加工目が直線状になるように座標変換する第２画像処理部を更に備え、
前記第１画像処理部は、前記第２画像処理部により座標変換された画像に前記処理を行う、
請求項４記載の加工支援装置。

【請求項6】

前記撮影部は前記加工対象ワークの複数箇所の撮影画像を取得し、
前記複数箇所の撮影画像をＡｎｏＧＡＮにより第１画像群と前記第１画像群よりも異常と検出された領域が多い第２画像群とに振り分けるＡｎｏＧＡＮ処理部を更に備え、
前記再加工判定部は、前記第１画像群の撮影画像を対して再加工を要する箇所の判定を行わず、前記第２画像群の撮影画像に対して再加工を要する箇所の判定を行う、
請求項１から請求項５のいずれか一項に記載の加工支援装置。

【請求項7】

加工対象ワークの加工後に前記加工対象ワークの撮影画像を取得する撮影部と、
再加工を要する表面状態を示す情報と前記撮影画像から得られる情報とに基づいて前記加工対象ワークの再加工を要する箇所を判定する再加工判定部と、
を備える加工支援装置。

【請求項8】

加工処理を行う加工装置と、
請求項１から請求項７のいずれか一項に記載の加工支援装置と、
を備える加工システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、加工支援装置及び加工システムに関する。

【背景技術】

【0002】

特許文献１には、研磨を行う加工装置において、研磨後のワークの表面欠陥を検出し、検出された表面欠陥が除去されるように、再研磨を行う装置が示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－７８１５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ワーク表面には、加工によって除去されるべき表面パターンから、加工後にも残される表面パターンまで、様々な表面パターンが含まれることがある。このような場合、特許文献１のように容易に再加工を行う箇所を検出することはできない。

【0005】

本発明は、再加工を要する箇所を適切に検出することのできる加工支援装置及び加工装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る加工支援装置は、
複数種類のワーク表面の情報を提示する提示部と、
前記提示部により提示された複数種類のワーク表面の情報の中からいずれかを外部から指定可能な指定部と、
加工対象ワークの加工後に前記加工対象ワークの撮影画像を取得する撮影部と、
前記指定部により指定された情報と前記撮影画像から得られる情報とに基づいて前記加工対象ワークの再加工を要する箇所を判定する再加工判定部と、
を備える。

【0007】

本発明に係るもう一つの態様の加工システムは、
加工対象ワークの加工後に前記加工対象ワークの撮影画像を取得する撮影部と、
再加工を要する表面状態を示す情報と前記撮影画像から得られる情報とに基づいて前記加工対象ワークの再加工を要する箇所を判定する再加工判定部と、
を備える。

【0008】

本発明に係る加工システムは、
加工処理を行う加工装置と、
上記の加工支援装置と、
を備える。

【発明の効果】

【0009】

本発明によれば、再加工を要する箇所を適切に検出することのできる加工支援装置及び加工装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る加工システムを示すブロック図である。

【図2】画像処理部により実行される画像変換処理の一例を説明する図で、変換前の画像（Ａ）と変換後の画像（Ｂ）とを示す。

【図3】画像処理部により処理されるワーク表面画像、ＦＦＴ処理画像及びＩＦＦＴ画像の一例を示す図である。

【図4】ＡｎｏＧＡＮ処理部により実行される学習処理（Ａ）と判定処理（Ｂ）とを説明する図である。

【図5】支援処理部が実行する表面状態指定処理を示すフローチャートである。

【図6】再加工を要する表面状態を指定する指定画面の一例を示す表示画像図である。

【図7】加工制御部及び再加工判定処理により実行される自動加工処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して詳細に説明する。図１は、本発明の実施形態に係る加工システムを示すブロック図である。本実施形態に係る加工システム１は、加工対象ワークＫに対して加工を行った後、再加工を要する箇所を判定し、当該箇所を再加工することのできるシステムである。このような処理が自動的に或いは半自動的に行われる。半自動的とは、処理に必要な幾つかの操作（例えば各段階の開始操作：加工開始操作、再加工を要する箇所の判定開始操作、再加工開始操作など）がユーザにより行われ、その他が自動的に行われる態様を意味する。

【0012】

さらに、本実施形態に係る加工システム１は、予め、ワークＫａの複数種類の表面の情報をユーザに提示し、提示された複数種類の表面の情報の中からユーザが再加工を要するものを指定する機能を有する。ユーザにより指定された表面の情報により、上記の加工対象ワークＫの加工処理において再加工を要する箇所が判定される。以下、ユーザに再加工を要する表面の情報を指定させる処理のことを、「表面状態の指定処理」と呼ぶ。

【0013】

本実施形態では、表面状態の指定処理の際に複数種類の表面の情報をユーザに提示するために使用されるワークと、実際に加工を行うワークとを、前者をワークＫａ、後者を加工対象ワークＫと区別して表記している。ワークＫａと加工対象ワークＫとは、異なるものであってもよいし、例えば複数の加工対象ワークＫの加工を行う際に、最初に加工を行う加工対象ワークＫを複数種類の表面の情報をユーザに提示するために使用されるワークＫａとしてもよい。

【0014】

加工システム１は、加工装置１１と、加工対象ワークＫの表面を撮影する撮影部１２と、表面状態の指定処理で使用される設定用装置１５と、加工装置１１の駆動制御及び表面状態の指定処理の制御処理行う制御装置２０とを備える。設定用装置１５は、ユーザにワークＫａの複数の表面の情報を出力する表示器（本発明に係る「提示部」に相当）１５Ａと、ユーザが指定操作を行うための入力装置（本発明に係る「指定部」に相当）１５Ｂとを含む。

【0015】

加工装置１１は、例えば加工対象ワークＫの表面を研磨する研磨装置である。加工装置１１は、研磨を行うヘッド部１１ａと、ヘッド部１１ａを移動させるロボットアーム１１ｂとを含み、加工対象ワークＫの表面の様々な箇所に対して、ヘッド部１１ａを移動させて当該箇所の研磨を行うことができる。

【0016】

撮影部１２は、デジタルカメラなどであり、加工対象ワークＫの加工表面を撮影する。撮影部１２は、静止画が撮影できればよく、加工対象ワークＫの加工表面の全領域が一画像内に収まるように加工対象ワークＫを撮影する構成であってもよい。あるいは、撮影部１２は、加工対象ワークＫの加工表面の一部領域が一画像内に収まるように加工対象ワークＫを撮影する構成であり、かつ、撮影位置を変えることのできる構成（例えばロボットアーム１１ｂに取り付けられるなど）であり、撮影部１２が様々な撮影位置から加工対象ワークＫを撮影することで、加工対象ワークＫの加工表面の全領域を撮影可能な構成であってもよい。

【0017】

表示器１５Ａは画像出力が可能な機器である。入力装置１５Ｂは、マウスやキーボードなど、表示器１５Ａに表示出力された画像に対して、ユーザが指示操作可能な機器である。

【0018】

制御装置２０は、ＣＰＵ（Central Processing Unit）と、ＣＰＵがデータを展開するＲＡＭ（Random Access Memory）と、ＣＰＵが実行する制御プログラム並びに制御データを格納した記憶装置と、外部の機器とＣＰＵとの間でデータの授受を行うインタフェースとを有するコンピュータである。制御装置２０では、ＣＰＵが制御プログラムを実行することで、複数の機能モジュールが実現される。

【0019】

複数の機能モジュールには、表面状態の指定処理（ユーザに再加工を要する表面の情報を指定させる処理）を実行する支援処理部２１と、撮影画像に対して画像処理を行う画像処理部２２と、加工装置１１の駆動制御を行う加工制御部２３と、加工対象ワークＫの加工時に要再加工箇所を判定する再加工判定部２４と、要再加工箇所を判定する処理を補助するＡｎｏＧＡＮ処理部２５と、を備える。画像処理部２２は、本発明に係る第１画像処理部及び第２画像処理部として機能する。

【0020】

＜単位画像＞
制御装置２０の画像処理部２２、再加工判定部及びＡｎｏＧＡＮ処理部２５は、加工対象ワークＫの撮影画像を、所定サイズに切り分けた画像（以下、「単位画像」と呼ぶ）に対して処理を行う。単位画像のサイズは、加工対象ワークＫの加工表面に対して表面状態を検査して再加工するか否かを判定する区画サイズに相当するように設定されてもよい。

【0021】

＜画像処理部＞
画像処理部２２は、座標変換処理と、空間周波数成分の抽出処理とを行う。図２は、画像処理部により実行される画像変換処理の一例を説明する図で、変換前の画像（Ａ）と変換後の画像（Ｂ）とを示す。図３は、画像処理部により処理されるワーク表面画像、ＦＦＴ処理画像及びＩＦＦＴ画像の一例を示す図である。

【0022】

座標変換処理は、撮影部１２が撮影した加工対象ワークＫの加工表面が写った複数の単位画像に対して、曲線状に表れた加工目が直線状になるように座標変換する処理である。座標変換処理において、画像処理部２２は、例えば図２（Ａ）に示すように、まず、画像認識を行って単位画像Ｄ１に含まれる加工目の線Ｌ１を抽出し、次に、当該線Ｌ１を直線にする座標変換の式を求める。その後、画像処理部２２は、図２（Ｂ）に示すように、元の単位画像Ｄ１に上記の座標変換を適用することで、加工目の線Ｌ１が直線状に変換された単位画像Ｄ２を得る。上記の座標変換の式は、画像内の加工目の間隔と実際の加工目の間隔との差異を拡大しないという制約を付して求められるとよい。

【0023】

空間周波数成分の抽出処理は、加工目の線が曲線状であれば、上記の座標変換処理を経て直線状に変換された単位画像に対して行われ、加工目の線が曲線状でなければ、上記の座標変換処理を経ない単位画像に対して行われる。

【0024】

空間周波数成分とは、単位画像に含まれるに一定の間隔で繰り返される縞模様を意味し、当該間隔が周波数に対応する。一定の間隔で繰り返される縞模様は、加工表面の加工目（工具跡）が残ることで単位画像に現れるため、画像中の空間周波数成分は加工目の間隔及び大きさ（凹凸の高さ）を表わす指標となる。

【0025】

空間周波数成分の抽出処理において、画像処理部２２は、図３に示すように、単位画像Ｄ３、Ｄ４にＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理を行って二次元グラフに空間周波数成分が示された二次元画像Ｆ３、Ｆ４を取得する。二次元画像Ｆ３、Ｆ４は、二次元グラフを示す画像であり、中央点Ｏが周波数ゼロの成分を示し、中央点Ｏから｛距離ｒ、角度θ｝の各点が空間周波数成分（縞模様）の周波数ｆと角度θとを示す。空間周波数成分の量は、二次元画像Ｆ３、Ｆ４の明度により表わされる。一例として、図３の二次元画像Ｆ３には、ゼロ点以外に明度が高い２点Ｐ１、Ｐ２が含まれており、単位画像Ｄ３に主に２つの空間周波数成分が含まれていることを表わす。また、図３の二次元画像Ｆ４には、ゼロ点以外に明度が高い点が含まれず、単位画像Ｄ４には大きな空間周波数成分が含まれていないことを表わす。なお、図３の二次元画像Ｆ３、Ｆ４は、明暗を反転して示している。

【0026】

空間周波数成分の抽出処理において、画像処理部２２は、二次元画像Ｆ３、Ｆ４を取得した後、明度の高い部分を抽出するフィルタ処理を行った後、当該フィルタ処理後の二次元画像Ｆ３、Ｆ４にＩＦＦＴ（Inverse Fast Fourier transform：逆高速フーリエ変換）処理を行ってもよい。ＩＦＦＴ処理により、空間周波数成分のみが際立って抽出された加工対象ワークＫの単位画像Ｄ３ｉ、Ｄ４ｉが得られる。一例として、図３の単位画像Ｄ３ｉは、二次元画像Ｆ３の２点Ｐ１、Ｐ２に対応する２つの空間周波数の縞模様Ｊ１、Ｊ２が含まれる画像となる。よって、単位画像Ｄ３ｉにより、元の単位画像Ｄ３に２つの縞模様Ｊ１、Ｊ２に対応する２種類の加工目が含まれていることを容易に判定できる。また、図３の単位画像Ｄ４ｉは、ゼロ点以外に大きな空間周波数成分を含まないことに対応して縞模様を含まない画像となる。よって、単位画像Ｄ４ｉにより、元の単位画像Ｄ４には加工目がほぼ残されていないことを容易に判定できる。

【0027】

＜ＡｎｏＧＡＮ処理部＞
図４は、ＡｎｏＧＡＮ処理部により実行される学習処理（Ａ）と判定処理（Ｂ）とを説明する図である。一般に、ＡｎｏＧＡＮ（Anomaly Detection with Generative Adversarial Networks）とは、ＧＡＮと呼ばれる構造の機械学習モデルに、多数の正常画像を訓練データとして与えることで学習させ、学習後の機械学習モデルに判定対象の画像を与えることで、当該画像の異常箇所を検出させる異常判定のことを言う。

【0028】

本実施形態のＡｎｏＧＡＮ処理部２５は、図４（Ａ）、（Ｂ）に示すように、コンピュータに構築されたＧＡＮ構造を有する機械学習モデル２５ａを含む。機械学習モデル２５ａは、図４（Ａ）に示すように、正常に加工されたワーク表面の撮影画像Ｑｔｒから切り出された多数の単位画像Ｄｔｒを訓練データとして与えられ、当該訓練データを学習済みである。機械学習モデル２５ａは、図４（Ｂ）に示すように、加工後の加工対象ワークＫの撮影画像Ｑ６から切り出された複数の単位画像Ｄ６の各々が与えられたときに、ＡｎｏＧＡＮによって各単位画像Ｄ６の異常箇所ａｎを抽出する。訓練データである単位画像Ｄｔｒは、再加工を要さない加工済みのワークの単位画像が選定され、機械学習モデル２５ａは、再加工を要する可能性がある箇所を異常箇所ａｎと判定する。一方、判定された異常箇所ａｎは、再加工を要する箇所のみでなく、他の要因に基づく異常である可能性もある。したがって、単位画像Ｄ６中に含まれる異常箇所ａｎの量（例えば面積）が一定以上ある場合、単位画像Ｄ６に再加工を要する表面状態が含まれる可能性が一定以上であると見なすことができる。一方、単位画像Ｄ６中に含まれる異常箇所ａｎが一定未満である場合、単位画像Ｄ６中に再加工を要する表面状態が含まれる可能性が一定未満であると見なすことができる。

【0029】

ＡｎｏＧＡＮ処理部２５は、さらに、単位画像Ｄ６に対して機械学習モデル２５ａが判定した異常箇所ａｎの総合量（例えば総面積）を計数し、異常箇所ａｎの総合量と所定の閾値と比較することで、単位画像Ｄ６の振り分けを行う振分処理部２５ｂを有する。そして、ＡｎｏＧＡＮ処理部２５は、当該比較結果が閾値より大きい単位画像Ｄ６を、要再加工と判定される可能性が一定以上ある単位画像Ｄ６ａとし、上記比較結果が閾値未満の単位画像Ｄ６を、要再加工と判定される可能性が一定未満である単位画像Ｄ６ｎａとして、振り分けを行う。単位画像Ｄ６ｎａの集合が本発明に係る第１画像群の一例に相当する。単位画像Ｄ６ａの集合が本発明に係る第２画像群の一例に相当する。

【0030】

＜支援処理部及び表面状態の指定処理＞
図５は、支援処理部により実行される再加工を要する表面状態の指定処理を示すフローチャートである。図６は、再加工を要する表面状態を指定する指定画面の一例を示す表示画像図である。

【0031】

支援処理部２１は、例えばユーザから表面状態の指定処理を開始するための操作が行われた場合に、図５の表面状態の指定処理を開始する。指定処理が開始されると、まず、支援処理部２１は、再加工を要する箇所を含んだワークＫａを用意するよう、ユーザに通知する（ステップＳ１）。ここで、ユーザは、試し加工用のワークＫａに加工装置１１を様々な態様で作用させることで、加工が十分な箇所と不十分な箇所とを含んだワークＫａを用意する。あるいは、予め加工が十分な箇所と不十分な箇所など様々な態様の加工が施されたワークＫａが別途用意されていてもよい。そして、ユーザが当該ワークＫａを作業台に載置したことを支援処理部２１に通知すると（ステップＳ２のＹＥＳ）、支援処理部２１は、撮影部１２を駆動してワークＫａの表面を撮影する（ステップＳ３）。

【0032】

次に、支援処理部２１は、ステップＳ３で取得された撮影画像を単位画像に切り分け（ステップＳ４）、複数の単位画像を画像処理部２２に渡し、複数の単位画像に対して上述した座標変換処理とＦＦＴ処理及びＩＦＦＴ処理とを行わせる（ステップＳ５、Ｓ６）。ステップＳ５、Ｓ６の処理により、図３のＩＦＦＴ画像に示すような、ワークＫａの表面に含まれる縞模様が抽出された複数の単位画像が得られる。

【0033】

続いて、支援処理部２１は、ステップＳ５、Ｓ６で得られた単位画像を表示器１５Ａの画面上に提示し、ユーザに再加工を要する表面状態を指定させる表示処理を行う（ステップＳ７）。より具体的には、図６に示すように、表示器１５ＡにステップＳ５、Ｓ６で得られた複数の単位画像の一覧表示Ｈ１と、ユーザに一覧の中から再加工を要するものを指定するよう促すメッセージＨ２とを表示器１５Ａから出力させる。図６の例では、一覧表示Ｈ１に、元の単位画像ＤｘとＦＦＴ処理後の二次元画像ＦｘとＩＦＦＴ処理後の単位画像Ｄｘｉとがセットになって、複数セットの画像が含まれる。なお、一覧表示Ｈ１には、ＩＦＦＴ処理後の単位画像Ｄｘｉだけ含まれていてもよいし、ＦＦＴ処理後の二次元画像Ｆｘだけ含まれていてもよいし、これらと、ＦＦＴ処理前の単位画像Ｄｘとが組み合わされて含まれていてもよい。

【0034】

そして、支援処理部２１は、画像の指定が完了したか判定し（ステップＳ８）、画像の指定が完了するまでステップＳ８の判定を繰り返す。

【0035】

ここで、ユーザは、一覧表示Ｈ１のＦＦＴ処理後の二次元画像Ｆｘ又はＩＦＦＴ処理後の単位画像Ｄｘｉに示される加工表面の空間周波数成分の情報に注目することで、どのような細かさの加工目がどのくらい残っているのか容易に識別することができる。そして、ユーザは、加工目の細かさ及び大きさ（凹凸の高さ）に基づいて、各々の二次元画像Ｆｘ又は単位画像Ｄｘｉが、再加工を要する表面状態か、再加工が不要な表面状態かを判断することができる。ここで、例えば、加工対象ワークＫに、加工前に粗い当初の加工目が付いており、加工により当該粗い加工目が除去されるとともに、別の細かい加工目が付加されるような場合を想定する。このような場合には、ユーザは、当初の粗い加工目に相当する空間周波数成分が残っている二次元画像Ｆｘ又は単位画像Ｄｘｉが、再加工を要する表面状態と判定し、細かい加工目に相当する空間周波数成分が有っても無くても、粗い加工目に相当する空間周波数成分が残っていない二次元画像Ｆｘ又は単位画像Ｄｘｉであれば、再加工が不要な表面状態と判定できる。そして、ユーザは、一覧表示Ｈ１の中から、再加工を要する表面状態と判定した全ての画像を入力装置１５Ｂを介して指示操作することで指定する。そして、完了を示すＯＫボタンＨ３が操作されるなど指定が完了したら、支援処理部２１は、処理を次に進める。

【0036】

次に処理が進んだら、支援処理部２１は、指定された二次元画像Ｆｘ又は単位画像Ｄｘｉと、指定されていない二次元画像Ｆｘ又は単位画像Ｄｘｉとを比較して、どのような空間周波数成分が含まれる場合に、再加工を要する表面状態と判定されているのか、再加工の要否を判定する条件を計算する（ステップＳ９）。具体的には、例えば、高い空間周波数の成分（細かい縞模様）が所定量以上の大きさで含まれる画像（二次元画像Ｆｘ又は単位画像Ｄｘｉ）が、未指定の画像に含まれる場合には、支援処理部２１は、当該高い空間周波数の成分は再加工が不要な工具目と判定する。また、例えば、低い空間周波数の成分（粗い縞模様）が所定量以上の大きさで含まれる画像が、指定された画像に含まれる一方、このような画像が、未指定の画像に含まれない場合には、当該低い空間周波数の成分が再加工を要する工具目と判定する。さらに、上記の低い空間周波数の成分が所定量未満含まれる画像が、未指定の画像に含まれる場合、支援処理部２１は、当該画像に含まれる低い空間周波数の成分量に基づき、再加工の要否を分ける成分量の閾値を計算してもよい。このような処理により、支援処理部２１は、例えば特定の空間周波数の成分が閾値以上含まれる場合には、再加工を要する箇所であるといった条件を求めることができる。

【0037】

再加工の要否を判定する条件が求められたら、支援処理部２１は、当該条件を再加工判定部２４に渡して（ステップＳ１０）、図５の指定処理を終了する。

【0038】

＜加工制御部、再加工判定部及び自動加工処理＞
図６は、加工制御部及び再加工判定部により実行される自動加工処理を示すフローチャートである。自動加工処理は、加工対象ワークＫが作業台にセットされ、ユーザから加工開始の指令が入力されることで開始される。

【0039】

自動加工処理が開始されると、加工制御部２３は、加工対象ワークＫの加工対象面に加工を施すヘッド部１１ａの移動経路を生成する（ステップＳ２１）。ここで、移動経路は、ユーザがダイレクトティーチングにより、加工制御部２３へ与えてもよい。ダイレクトティーチングとは、ユーザがロボットアーム１１ｂを操作して、ヘッド部１１ａを所望経路で移動させることで、当該経路を加工制御部２３に覚えさせる方法に相当する。また、ユーザが移動経路を決定する位置情報と動作指令とを加工制御部２３へ与えることで移動経路を計算してもよいし、あるいは、加工対象ワークＫの位置検出を行って検出された位置に基づき加工制御部２３が加工対象面に沿った移動経路を計算してもよい。

【0040】

続いて、加工制御部２３は、ヘッド部１１ａを駆動しつつ、生成された移動経路に従ってヘッド部１１ａが移動するようにロボットアーム１１ｂを駆動し、加工を実施する（ステップＳ２２）。当該駆動により、加工対象ワークＫの加工対象面に加工が施される。

【0041】

一旦、加工が完了したら、再加工判定部２４は、撮影部１２を駆動して、加工対象ワークＫの加工対象面の全域の撮影を行う（ステップＳ２３）。そして、再加工判定部２４が、撮影画像を加工対象ワークＫのいずれの箇所かを表わす箇所データと紐づけて複数の単位画像に切り分ける（ステップＳ２４）。

【0042】

次に、再加工判定部２４は、複数の単位画像をＡｎｏＧＡＮ処理部２５へ送って、検出された異常箇所ａｎの量に基づき、要再加工と判定されるべき表面状態が含まれる可能性が一定以上ある単位画像と、要再加工と判定されるべき表面状態が含まれる可能性が一定未満である単位画像とに振り分けさせる（ステップＳ２５）。

【0043】

そして、再加工判定部２４は、要再加工と判定されるべき表面状態が含まれる可能性が一定以上ある単位画像を画像処理部２２へ送って、曲線状の加工目を直線状に変換する座標変換処理（ステップＳ２６）と、ＦＦＴ処理、あるいは、ＦＦＴ処理及びＩＦＦＴ処理により単位画像に含まれる空間周波数成分を抽出し、抽出された空間周波数成分を周波数及び周波数成分の大きさとに数値化する処理を行わせる（ステップＳ２７）。周波数及び周波数成分の大きさは、ＦＦＴ処理後の二次元画像から明度の高い位置を探索し、その位置及び明度から得ることができる。あるいは、上記の周波数及び周波数成分の大きさは、ＩＦＦＴ処理後の単位画像から縞模様の間隔と縞模様の濃淡比とを画像認識処理により求めることで得ることができる。

【0044】

さらに、再加工判定部２４は、ステップＳ２７で抽出された空間周波数成分を示す値（周波数及び周波数成分の大きさ）を、図５の指定処理で支援処理部２１から渡された再加工の要否を判定する条件に当てはめて、再加工の要否判定を行う（ステップＳ２８）。ここで、再加工判定部２４は、ステップＳ２６、Ｓ２７の処理が行われた全ての単位画像について上記の判定処理を行う。

【0045】

その結果、条件に合致する（再加工を要する）と判定された単位画像が有るか判定し（ステップＳ２９）、ＮＯであれば、加工制御部２３は、１つの加工対象ワークＫについての自動加工処理を終了する。一方、ステップＳ２９の判定結果がＹＥＳであれば、合致と判定された単位画像に紐づけられている箇所データに基づいて、加工制御部２３は、当該単位画像に写されている加工対象ワークＫの箇所に再加工を行うよう、ヘッド部１１ａを移動させる移動経路を生成する（ステップＳ３０）。そして、加工制御部２３は、生成された移動経路にしたがってヘッド部１１ａが移動するように、ヘッド部１１ａを駆動しつつ、ロボットアーム１１ｂを駆動する（ステップＳ３１）。ステップＳ３１の処理により、再加工が要される箇所に再加工が及ぼされる。

【0046】

ステップＳ３０で生成された経路でヘッド部１１ａが移動する再加工が終了したら、次に、加工制御部２３及び再加工判定部２４は、ステップＳ２９でＮＯ（再加工を要する条件に合致すると判定された単位画像が無い）と判定されるまで、ステップＳ２３からの処理を繰り返す。そして、ステップＳ２９でＮＯと判定されたら、１つの加工対象ワークＫに加工を施す自動加工処理を終了する。当該自動加工処理により、加工システム１は、再加工を要する箇所が無くなるまで加工対象ワークＫに加工を施すことができる。

【0047】

以上のように、本実施形態の加工システム１によれば、支援処理部２１が、複数種類のワーク表面の情報をユーザに提示し、ユーザがこれらのワーク表面の情報からいずれかを入力装置１５Ｂを用いて指定することができる。そして、再加工判定部２４が、その後の自動加工処理において、加工後の加工対象ワークＫの表面の撮影画像から得られる情報と、ユーザが指定したワーク表面の情報とに基づいて、加工対象ワークＫの再加工を要する箇所を判定する。したがって、再加工が要求される表面状態と再加工が不要な表面状態とがあり、これらの区別が、例えば製品の仕様ごとに異なるような場合でも、本実施形態の加工システム１によれば、適切に再加工を要する箇所を判定し、当該箇所が再加工されるように制御できる。

【0048】

加工対象ワークＫの表面には、加工目など一定間隔ごとに同様の模様（例えば凹凸）が繰り返されるパターンが生じることがあり、さらに、このようなパターンには、細かさが異なるもの、並びに、大きさ（凹凸の高さ）が異なるものが混在する。そして、どの細かさのパターンがどのくらい残っている箇所があれば、当該箇所の再加工を要するといった判定が要求されることがある。そこで、本実施形態の加工システム１によれば、表面状態の指定処理においてユーザに提示されるワーク表面の情報として、ワーク表面の空間周波数成分を示す情報を適用する。空間周波数成分の情報が示されることで、撮影上の陰影、繰り返されない凹凸などの模様、又は画像上のノイズなどを排除し、一定間隔ごとに同様の模様が繰り返されるパターンの情報のみ際立たせてユーザに認識させることができる。したがって、ユーザは、上記の空間周波数成分の情報に基づき、再加工を要する表面状態と、再加工を要さない表面状態とを正確に識別し、これらの指定を正確に行うことができる。

【0049】

さらに、本実施形態の加工システム１によれば、自動加工処理の際、再加工判定部２４は、加工後の加工対象ワークＫの撮影画像から、空間周波数成分の情報を取得して、この情報とユーザにより指定された空間周波数成分の情報とを比較することで、再加工を要する箇所の判定を行う。このような処理により、加工目など一定間隔ごとに繰り返されるパターンの有無又はその量に応じた要再加工箇所を、高い精度で検出することができ、加工対象ワークＫの再加工の処理を適切に行うことができる。

【0050】

さらに、本実施形態の加工システム１によれば、画像処理部２２が、撮影画像（その単位画像）にＦＦＴ処理又はＦＦＴ処理とＩＦＦＴ処理とを行うことで、撮影画像に含まれる空間周波数成分の情報を生成する。ＦＦＴ処理によって得られる二次元画像により、二次元画像中に含まれる高い明度を有する点を検索することで、空間周波数及びその成分の大きさを識別でき、加工目など一定間隔ごとに繰り返されるパターンを高い精度で識別できる。また、ＩＦＦＴ処理によって得られる単位画像により、縞模様の間隔及び濃淡によって、ユーザは、加工目など一定間隔ごとに繰り返されるパターンを容易に把握することができる。

【0051】

さらに、本実施形態の加工システム１によれば、画像処理部２２が、撮影画像（その単位画像）に座標変換処理を行うことで、撮影画像に含まれる加工目が直線状になるように変換する。したがって、加工対象ワークＫが曲面を有し、当該箇所を撮影する方向によって加工目が曲線状に写される場合でも、このような曲面による影響を排除することができる。その分、ユーザは、再加工を要する表面状態と再加工を要さない表面状態との指定を容易にかつ正確に行うことができ、また、再加工判定部２４は再加工を要する箇所を高い精度で判定することができる。

【0052】

さらに、本実施形態の加工システム１によれば、ＡｎｏＧＡＮ処理部２５が、加工対象ワークＫの撮影画像（複数の単位画像Ｄ６）を、異常の判定領域が閾値以上の単位画像Ｄ６ａと、異常の判定領域が閾値未満の単位画像Ｄ６ｎａとに振り分ける。さらに、再加工判定部２４は、振り分けられた一方の単位画像Ｄ６ｎａについては再加工を要否の判定を行わず、振り分けられたもう一方の単位画像Ｄ６ａについて再加工の要否を判定する。したがって、再加工判定部２４が判定処理を行う単位画像の数を減らして、再加工判定部２４の負荷の低減、並びに、再加工の要否を判定する処理の高速化を図ることができる。

【0053】

以上、本発明の実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、上記実施形態では、制御装置２０が加工装置１１を制御することで自動的に加工対象ワークＫに加工及び再加工を行う加工システムを示した。しかしながら、加工及び再加工は、作業員がロボットアーム１１ｂを操縦して、あるいは、作業員がマニュアルで行う構成としてもよい。この場合、図１の制御装置２０からは加工制御部２３は取り除かれる。また、加工システム１から加工制御部２３と加工装置１１が取り除かれた構成が、本発明に係る加工支援装置Ｅの一例を構成する。

【0054】

また、上記実施形態では、支援処理部２１は、表面状態の指定処理において、ユーザにＦＦＴ処理された二次元画像、又は、ＩＦＦＴ処理された単位画像を提示する例を示した。しかし、ＦＦＴ処理された二次元画像に複数の空間周波数成分が含まれる場合、また、ＩＦＦＴ処理された単位画像に複数の空間周波数成分が含まれる場合には、個々の空間周波数成分ごとに画像を分割してユーザに提示するようにしてもよい。例えば、ＦＦＴ処理された二次元画像が第１の点Ｐ１と第２の点Ｐ２とに明度のピークを有する場合、第１の点Ｐ１のピークを残し、第２の点Ｐ２のピークを除外した二次元画像と、第１の点Ｐ１のピークを除外し、第２の点Ｐ２のピークを残した二次元画像との２つの画像に分けて、ユーザに提示してもよい。あるいは、このように２つに分けられた画像にそれぞれＩＦＦＴ処理を行い、当該処理により得られた２つの単位画像（第１の点Ｐ１のピークに対応する縞模様が現れた単位画像と、第２の点Ｐ２のピークに対応する縞模様が現れた単位画像）をユーザに提示してもよい。また、上記実施形態では、支援処理部２１が、再加工を要する表面状態をユーザにより指定させる構成を含んでいるが、既に支援処理部２１が再加工を要する表面状態の情報を予め保持、あるいは、その時点以前の指定或いは学習により保持していてもよく、当該構成の場合、支援処理部２１は、画像を提示して表面状態を指定させる構成を有さなくてもよい。

【0055】

また、上記実施形態では、研磨加工を行う加工システムについて説明したが、本発明に係る加工システムは、研磨に限られず、切削加工、研削加工、放電又はレーザの照射あるいは電解作用を利用してワーク表面を加工する特殊加工など、様々な加工を行うシステムに適用できる。また、上記実施形態では、縞模様の加工目が再加工の要否判定の材料となる研磨加工を例にとって、撮影画像の空間周波数成分を抽出（縞模様の加工目を抽出）する処理を、表面状態の指定処理と再加工の要否判定の処理とに組み入れた構成を示した。しかし、撮影画像の空間周波数成分を抽出する処理を組み入れて好適な加工は、研磨加工に限られず、例えば、バリがほぼ等間隔で生じる切削加工など、同様のパターンが所定間隔ごとに繰り返し現れる表面状態が再加工の要否判定の材料となる加工であれば、撮影画像の空間周波数成分を抽出する処理を組み入れることは上記実施形態と同様に有用である。

【0056】

また、上記実施形態では、表面状態の指定処理においてユーザは再加工を要する表面の情報を指定する処理として説明したが、ユーザが再加工を要さない表面の情報を指定する処理としてもよい。また、上記実施形態で示した、撮影画像中の曲線状の加工目を直線状に変換する座標変化処理、ＡｎｏＧＡＮによる撮影画像の振り分け処理、または、これら両方は、省略されてもよい。また、上記実施形態では、表面状態の指定処理において、ユーザには撮影画像から抽出された空間周波数成分の情報が提示される構成を示したが、ユーザに提示されるワーク表面の情報は、加工状態がそのまま示された撮影画像であってもよいし、その他、撮影上の陰影やノイズを除去した画像としてもよい。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0057】

１ 加工システム
Ｅ 加工支援装置
１１ 加工装置
１１ａ ヘッド部
１１ｂ ロボットアーム
１２ 撮影部
１５ 設定用装置
１５Ａ 表示器（提示部）
１５Ｂ 入力装置（指定部）
２０ 制御装置
２１ 支援処理部
２２ 画像処理部
２３ 加工制御部
２４ 再加工判定部
２５ ＡｎｏＧＡＮ処理部
２５ａ 機械学習モデル
２５ｂ 振分処理部
Ｋ 加工対象ワーク
Ｄ３、Ｄ４ 単位画像（撮影画像）
Ｆ３、Ｆ４ 二次元画像（ＦＦＴ処理後の画像）
Ｄ３ｉ、Ｄ４ｉ単位画像（ＩＦＦＴ処理後の画像）
Ｈ１ 一覧表示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】