特開 2022-79494 画像処理装置、工作機及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022079494

(43)【公開日】2022-05-26

(54)【発明の名称】画像処理装置、工作機及び画像処理方法

(51)【国際特許分類】

   B23Q 17/22 20060101AFI20220519BHJP

   B23Q 17/09 20060101ALI20220519BHJP

   B23Q 11/08 20060101ALI20220519BHJP

   G01B 11/24 20060101ALI20220519BHJP

   G06T 1/00 20060101ALI20220519BHJP

   G06T 7/13 20170101ALI20220519BHJP

【ＦＩ】

B23Q17/22 D

B23Q17/09 C

B23Q11/08 Z

G01B11/24 K

G06T1/00 315

G06T7/13

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022038461

(22)【出願日】2022-03-11

(62)【分割の表示】P 2020004356の分割

【原出願日】2020-01-15

(71)【出願人】

【識別番号】000146847

【氏名又は名称】ＤＭＧ森精機株式会社

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100131808

【弁理士】

【氏名又は名称】柳橋 泰雄

(72)【発明者】

【氏名】神藤 建太

(72)【発明者】

【氏名】小高 圭一

(72)【発明者】

【氏名】高山 正和

(72)【発明者】

【氏名】窪田 純一

(57)【要約】

【課題】工作機の加工に用いる工具に関するプロファイル情報を登録し、加工の精度の低下を防止する。
【解決手段】画像処理装置（１０）は、工具を用いてワークを加工する工作機の機内に取り付けられた撮像部で撮像された工具の複数の画像データを受信する受信部（１０１）と、受信部で受信した複数の画像データから工具のプロファイルに係るプロファイル情報である点群データを形成する点群データ形成部（１０２）と、点群データから工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部（１０３）と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された前記工具の複数の画像データを受信する受信部と、
前記受信部で受信した前記複数の画像データから前記工具のプロファイルに係るプロファイル情報である点群データを形成する点群データ形成部と、
前記点群データから前記工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部と、
を備えることを特徴とする画像処理装置。

【請求項2】

工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された前記工具の画像を受信する受信部と、
前記工具の画像をもとに、前記工具の刃部と他の部分との境界を定めたプロファイル情報を設定する設定部と、を備えることを特徴とする画像処理装置。

【請求項3】

工具を保持する保持部と、
前記工具を撮像するための撮像部と、
開閉することにより前記撮像部を露出させるシャッタを備える前記撮像部を収納する収納部と、を備え、
前記撮像部は、前記工具を撮影する前に、前記シャッタを用いて前記撮像部のキャリブレーションを行う、又は、前記撮像部の光透過部材や受光素子上の異物の付着を検出することを特徴とする画像処理装置。

【請求項4】

入力部により入力された信号に基づいて、前記工具のプロファイル情報に含まれる前記工具の刃部と他の部分との境界を補正する補正部を有することを特徴とする請求項２に記載の画像処理装置。

【請求項5】

前記工具のプロファイル情報を補正する補正部を備え、
前記受信部は、前記工作機の主軸に同一の前記工具が取り付けられた状態で、所定のタイミングで前記工具を撮像した画像を受信し、
前記補正部は、先の撮像で得られた前記工具の画像に基づいて定められた前記プロファイル情報を、後の撮像で得られた前記工具の画像に基づいて定められた前記プロファイル情報を用いて補正することを特徴とする請求項１に記載の画像処理装置。

【請求項6】

発光面が前記撮像部の受光面と対向するように配置され、前記発光面から出射された光のうち前記工具の周囲を通過した光が前記受光面に入射する透過照明部、
または、
発光面が前記撮像部の受光面と同じ向きになるように配置され、前記発光面から出射された光が前記工具に当たり、その反射光が前記受光面に入射する反射照明部、
のいずれかを備えることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。

【請求項7】

請求項１乃至６のいずれか１項の記載の画像処理装置に接続され、
加工するワークを保持するための保持部と、
前記ワークを加工する加工領域から工作機の外部に取り出すための開口を開閉するためのドアと、を備えることを特徴とする工作機。

【請求項8】

請求項１乃至６のいずれか１項の記載の画像処理装置と、
加工するワークを保持するための保持部と、
前記ワークを加工する加工領域から工作機の外部に取り出すための開口を開閉するためのドアと、を備えることを特徴とする工作機。

【請求項9】

工具を用いてワークを加工する工作機の機内に取り付けられた撮像部で撮像された前記工具の複数の画像からプロファイル情報として、工具の輪郭上から抽出された複数の点で構成される点群データを形成する工程と、
前記点群データから前記工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成する工程と、を備える画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、画像処理装置、工作機及び画像処理方法に関する。

【背景技術】

【0002】

工作機を使用してワークを加工する際、工具の形状や状態を把握することで、正確にワークの加工を継続することが可能となる。具体的には、工作機の加工では、工具等の干渉チェックが必須となるため、工具の正確な形状の把握が重要である。また、工具の状態の把握により、精度良い加工が実現できる。ところが、工具の形状や状態の把握は、特別な作業や時間を要するのが現状である。

【0003】

特許文献１では、超音波接合工具の交換時期を、画像を用いて判定する技術が開示される。また、特許文献２では、研削加工装置の工具を、画像を用いて管理する技術が開示される。特許文献３では、工作機械の工具の変化に対し、工具の先端を撮影視野に捉えるための技術が開示される。さらに、特許文献４では、工作機に取り付けられた工具を画像で検査する技術が開示される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－２０７８３７号公報

【特許文献2】特開２００１－２６９８４４号公報

【特許文献3】特開平９－３２３２４０号公報

【特許文献4】特開２０１６－２１８５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献のいずれによっても、工具の形状や状態を正確に把握することは困難である。

【課題を解決するための手段】

【0006】

本開示の画像処理装置は、工具を用いてワークを加工する工作機に取り付けられた撮像部で撮像された工具の複数の画像データを受信する受信部と、受信部で受信した複数の画像データから工具のプロファイルに係るプロファイル情報である点群データを形成する点群データ形成部と、点群データから工具の２次元または３次元のプロファイルを示すプロファイル画像データを形成するプロファイル画像形成部と、を備える。
本開示において、画像処理装置の他に、工作機、画像処理方法などを提供するものである。

【0007】

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

【発明の効果】

【0008】

本発明によれば、工具の形状や状態を正確に把握することができる。
工具の形状や状態を正確に把握することができることで、工作機での作業負担を軽減することができる。また、加工精度の向上を図ることができる。

【図面の簡単な説明】

【0009】

【図1】工作機の外観図である。

【図2】実施の形態１に係る工作機における工具、撮像部及び照明部の位置関係を説明する図である。

【図3】実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図4A】工作機で撮像された画像データの一例である。

【図4B】画像処理装置で形成された点群データの一例である。

【図4C】画像処理装置で形成されたプロファイル画像データの一例である。

【図5】実施の形態１に係る点群データの登録の処理を説明するフローチャートである。

【図6】実施の形態２に係る点群データの更新の処理を説明するフローチャートである。

【図7】プロファイル情報の更新の処理を説明するシーケンス図である。

【発明を実施するための形態】

【0010】

以下に、図面を参照して各実施形態に係る画像処理装置、工作機及び画像処理方法について説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。

【0011】

以下で説明する「工作機」は、工作機械とも言われるものであり、工具を用いて加工対象である金属等のワークに対し、切削、研削等により所望の形状に加工するものである。

【0012】

本実施形態の「画像処理装置」は、工作機内で撮像される画像を処理する装置である。さらに、例えば、工作機においてワークの加工に使用する工具の管理に利用するものである。具体的には、画像処理装置は、工具の画像データを取得する。そして、画像処理装置は、工具の画像データをもとに、点群データと、２次元または３次元の外形を示すプロファイル画像データとを形成するものである。または、画像処理装置は、工具の画像データをもとに、工具の刃部と、外形等のプロファイルを定めるものである。または、画像処理装置は、工具の画像データをもとに、工具の刃部とシャンク部との境界を定めるものである。そして、画像処理装置は、これらを用いて、加工の際の工具の位置の制御や工具の管理に利用することができる。

【0013】

「点群データ」は、工具の外形等のプロファイルを特定するためのプロファイル情報であって、工具の画像データの輪郭から抽出された複数の点で形成される点群のデータとして説明する。また、点群データには、工具のプロファイル情報として、例えば、工具の刃部及びシャンク部の領域を特定する情報、工具の長さ、工具の外径、工具の長手方向の位置に対応した外径情報等を含む工具の各部に関する情報を関連付けてもよい。

【0014】

「プロファイル画像データ」は、工具の２次元または３次元の外形や輪郭を表すものである。例えば、２次元のプロファイル画像データとは、工具の輪郭を表す投影図である。また、３次元のプロファイル画像データとは、例えば、工具の外形を表す３次元の画像データである。

【0015】

［実施の形態１］
〈工作機〉
工作機１は、例えば図１に示すような外形であり、加工領域２００内に配置されるワークを加工することができる。

【0016】

工作機の構成について、図１及び図２を用いて説明する。工作機１は、主軸に取り付けられ、ワークの加工に用いられる工具１１、加工対象のワークを保持することが可能であり、駆動機構に駆動されることよりワークを保持可能な保持部１２、工具を撮像可能な撮像部１３及び発光可能な照明部１４を備える。また、図１に示すように、工作機１は、加工領域２００と工作機１の外部を遮断するカバー２０１を備え、カバー２０１には、加工対象のワークを、加工領域２００から工作機１の外部に取り出すための開口２０２を開閉可能なドア２０３を備える。工作機１の加工などの操作をする操作盤１５を備えている。

【0017】

さらに、工作機１は、図３を用いて後述する画像処理装置１０と接続される。なお、本実施形態では、工作機１と画像処理装置１０とは、別々の装置で、有線のケーブルを介して接続されている。しかし、この形態には限定されず、画像処理装置１０も工作機１の内部に組み込まれている形態であってもよい。

【0018】

工具１１は、図２に示すように、ワークの加工に利用される部位である刃部１１１と、主軸１１３のホルダ１１４に保持される部位であるシャンク部１１２とを含む。また、工作機１は、図１に示す収納部であるマガジン１６に複数種の工具１１を収納する。そして、工作機１は、複数の中から選択した工具１１を主軸１１３に保持させることで、異なる複数種類の加工を実現することができる。なお、図２に示す構成は、図１中の破線部分に位置するものである。

【0019】

主軸１１３は、加工に利用される工具１１を保持し、制御機構により、回転及び移動等することが可能に構成される。これにより、工作機１では、対象のワークを加工することができる。

【0020】

撮像部１３は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を備えたカメラである。この撮像部１３は、所定のタイミングで、工具主軸１１３に取り付けられた工具１１を撮像することができる。本実施形態の撮像部１３は、工具主軸１１３に保持される工具１１を撮像対象とする。なお、撮像部１３で、ワーク主軸のワーク保持部に保持されるワークを撮像対象としてもよい。

【0021】

撮像部１３は、工具主軸１１３に取り付けられた工具１１を複数の異なる方向から撮像する。具体的には、主軸１１３が、保持する工具１１を所定のピッチで回転させ、撮像部１３が、工具１１の回転を止めた状態で撮像を行う。このように所定ピッチ間隔で、工具１１を撮像することで、撮像部１３が固定されている場合であっても、工具１１を異なる複数の方向から撮像することができる。なお、一枚の画像に工具１１が収まらない場合、主軸１１３は、回転軸に沿って工具１１を移動させてもよい。

【0022】

撮像部１３は、工具主軸１１３を所定間隔で回転させ、その間隔毎に工具１１を撮像して複数の画像を得る。つまり、工具１１の全体の画像を、複数に分けて得ることができる。したがって、撮像部１３は、一の工具１１について、異なる方向から見る複数の画像データを得る。なお、撮像部１３は、得られた画像データを、画像処理装置１０に出力する。

【0023】

上述のように、工作機１は、撮像部１３により、工作機１の工具主軸１１３に取り付けられた工具１１を撮像することで、複数の方向からの工具１１の画像データを得ることができる。このとき、撮像部１３は、所定のピッチの工具１１の回転画像を取得することが好ましい。例えば、撮像部１３は、主軸１１３の回転軸を基準として工具１１が１８°回転される毎に画像データを撮像することにより、各工具１１について、工具１１の回転軸に対して垂直方向のうちの異なる方向からの複数の画像を得ることができる。このとき、工作機１は、工具１１の回転角度に関する情報を画像データと共に画像処理装置１０に提供する。これにより、画像処理装置１０は、工具１１の立体情報の点群データを生成することができる。

【0024】

例えば、撮像部１３は、新たな工具１１を工作機１の収納部であるマガジン１６に収納する前のタイミングで、工具１１を撮像する。これにより、工作機１は、簡易に、加工前に行うシミュレーションにおける干渉チェック用の工具１１のモデルデータを生成することができ、加工前の干渉チェックを効率的に行うことができる。

【0025】

照明部１４は、図２に示すように、発光面１４１が撮像部１３の受光面１３１と対向するように配置され、発光面１４１から出射された光のうち工具の周囲を通過した光が受光面１３１に入射する。したがって、この照明部１４は、透過照明である。透過照明である照明部１４の使用により、工具１１の輪郭の詳細を把握可能な投影画像を得ることができる。これにより、投影画像を処理する画像処理装置１０において、工具１１の正確な点群データを得ることができる。

【0026】

なお、撮像部１３は、工具１１を撮影する際以外は、加工領域と区画するためのシャッタを有する撮像収納部の中に配置されている。工具１１を撮影する際に撮像収納部のシャッタが開き、撮像部１３の前に主軸に取り付けられた工具１１を、主軸を移動させることで移動し、工具１１の撮影を行う。この工具１１の撮影の前に撮像部１３のキャリブレーションを行うことが好ましい。撮像部１３からの距離が予め分かっている物体を撮影し、撮影された画像から物体との距離が設定値通りであるか確認を行い、異なっていれば撮像部１３の位置を調整する。この予め距離が分っている物体としては、シャッタの裏面を使ってもよい。さらに、撮像部１３の光透過部材であるレンズやガラスや受光素子であるＣＭＯＳなどに埃などの異物が付着していることを検出してもよい。異物の付着により撮像画像に異物が映り込むとＡＩでの判別において切屑と判断する可能性があるためである。撮像部１３が異物を検出した際は、制御部から受光素子や光透過部材に対して振動機構を用いて振動を与え、異物を光透過部材や受光素子から落とす制御を行うことにより、異物が映り込むことを低減した画像の取得が可能になる。これにより、切り屑の判断が正確にできる。

【0027】

撮像目的によって、撮像部１３と工具１１との位置が異なる。つまり、撮像部１３で撮影する際に被写界深度内に工具１１のプロファイル情報を生成したい部分が入るように工具１１を所定位置に設置して撮影を行う。例えば、工具１１の『輪郭測定』と、『表面摩耗測定』とを比較すると、工具１１の輪郭測定の場合は、輪郭部分が光軸のワーキングディスタンス（ＷＤ）上に位置させる。一方、工具１１の表面磨耗測定の場合は、工具１１の直径に対する中心部分が光軸に位置し工具１１の外表面が光軸のワーキングディスタンス（ＷＤ）上に位置させる。このようにして撮影して画像を取得することにより、所望の画像を得ることができる。

【0028】

〈画像処理装置〉
図３を用いて、実施形態に係る画像処理装置１０の一例を説明する。画像処理装置１０は、演算部１００と、記憶部１１０と、入力部１２０と、出力部１３０と、通信部１４０とを備える。この画像処理装置１０は、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置である。

【0029】

演算部１００は、画像処理装置１０全体の制御を司るコントローラである。例えば、演算部１００は、記憶部１１０に記憶される制御プログラムＰを読み出して実行することにより、受信部１０１、点群データ形成部１０２、プロファイル画像形成部１０３、設定部１０４、記憶処理部１０５及び補正部１０６としての処理を実行する。また、演算部１００は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部１００は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

【0030】

記憶部１１０は種々の情報を記録する記録媒体である。記憶部１１０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイスまたはそれらを適宜組み合わせて実現される。記憶部１１０には、演算部１００が実行する制御プログラムＰの他、工作機１で使用する種々のデータ等が格納される。例えば、記憶部１１０は、画像データＤ１、プロファイル情報Ｄ２及びプロファイル画像データＤ３を記憶する。

【0031】

入力部１２０は、データや操作信号の入力に利用するキーボード、マウス及びタッチパネル等の入力手段である。出力部１３０は、データの出力に利用するディスプレイ等の出力手段である。

【0032】

通信部１４０は、外部の装置（図示せず）とのデータ通信を可能とするためのインタフェース回路（モジュール）である。例えば、通信部１４０は、画像データを撮像する撮像部１３とデータ通信を実行することができる。

【0033】

受信部１０１は、工具１１を用いてワークを加工する工作機１の機内に取り付けられた撮像部１３で撮像された工具１１の複数の画像データＤ１を受信する。例えば、受信部１０１は、回転して異なる角度から撮像された工具１１の複数の投影画像の画像データＤ１を受信する。また、受信部１０１は、受信した複数の画像データＤ１を、工具１１の識別情報と、撮像時の工具１１と撮像部１３の位置関係を識別する識別情報と、を関連付けて記憶部１１０に記憶させる。これにより、後に、対象の工具１１に関する点群データやプロファイル画像データＤ３の形成が可能となる。

【0034】

図４Ａは、受信部１０１が受信した画像データＤ１の一例である。図４Ａに示す例では、刃部１１１及びシャンク部１１２を含む工具１１の外形を含む画像データＤ１である。画像データＤ１は、１つの撮像部で１回の撮像で取得されるものであってもよい。また、異なる撮像範囲を撮像する複数の撮像部１３から同時に撮像された複数の画像データを受信した場合、受信部１０１は、同時に撮像された複数の画像データを合成し、一の画像データＤ１としてもよい。さらに、１つの撮像部で工具を動かしながら複数の撮影を行い、それらを合成して１つの画像データＤ１としてもよい。

【0035】

画像データＤ１は、工具１１全体を含む画像である場合もあるし、工具の先端部分の刃部分だけを含む画像である場合もある。このような場合に、工具先端から自動的に輪郭を追従して複数の画像を取得して、それらを合成して工具先端部分の画像データＤ１を取得してもよい。このようにすることで、工具先端部分の画像だけで十分な場合は、撮像時間を短縮できる。

【0036】

なお、この画像データＤ１を出力部１３０に表示し、作業者が、入力部１２０を利用して自動で設定された工具１１の刃部と、他の部分であるシャンク部等と境界を設定させることを可能としてもよい。例えば、作業者は、刃部とシャンク部との境界として、図４Ａに示す（Ａ）を設定する。また、出力部１３０に画像データＤ１を表示し、作業者が、画像処理装置１０における解析等の処理の対象とする範囲を設定させることを可能としてもよい。例えば、解析対象の範囲が初期では（Ａ）から下の刃部に設定されていた場合、作業者は、解析対象の範囲として、（Ａ）から（Ｂ）に設定を変更することが可能である。これにより、（Ｂ）から下の刃部を解析することが可能になる。刃部の一部のみを解析することより、解析時間の短縮が可能になる。また、同じ時間で解析する場合でも、解析点を多くできる。この説明では、刃部とシャンク部との境界の設定に関して説明したが、工具と工具ホルダの境界を設定するような設定でも用いることができる。

【0037】

点群データ形成部１０２は、受信部１０１で受信した複数の画像データＤ１から工具の外形に関する点群データを形成する。具体的には、点群データ形成部１０２は、一の工具１１について得られた複数の画像データＤ１に含まれる工具１１の輪郭上から抽出された複数の点で構成される点群を点群データとする。例えば、点群データ形成部１０２は、一の工具１１について得られた各画像データＤ１のうち工具１１の輪郭から所定間隔で点を抽出し、抽出した複数の点に角度成分を合わせて合成し、点群データとする。この角度成分は、各画像データＤ１と共に、工作機１から受信したものである。これにより、点群データ形成部１０２は、工具１１の３次元立体構造を表すことのできる点群データを形成することができる。また、点群データ形成部１０２は、画像データＤ１から形成した点群データをプロファイル情報Ｄ２として、工具１１の識別情報とともに記憶部１１０に記憶させか、プロファイル情報Ｄ２を工具管理情報の工具１１の識別情報と関連付けて記憶させる。図４Ｂは、点群データ形成部１０２が形成した点群データの一例である。

【0038】

プロファイル画像形成部１０３は、点群データから工具１１の２次元または３次元のプロファイルを示すプロファイル画像データＤ３を形成する。具体的には、プロファイル画像形成部１０３は、点群データで形成される３次元立体構造の一部で切断して得られる平面の輪郭をプロファイル画像データＤ３とすることができる。また、プロファイル画像形成部１０３は、プロファイル情報Ｄ２の点群データで形成される３次元立体構造の外形自体をプロファイル画像データＤ３としてもよい。さらに、プロファイル画像データＤ３は、プロファイル情報Ｄ２から生成された、例えば、２次元ＣＡＤデータ形式のＤＸＦフォーマットの工具の２次元データであってもよい。また、プロファイル画像形成部１０３は、点群データから形成したプロファイル画像データＤ３を、工具１１の識別情報とともに記憶部１１０に記憶させる。図４Ｃは、プロファイル画像形成部１０３が形成した工具を３次元で表すプロファイル画像データＤ３の一例である。

【0039】

設定部１０４は、工具１１の刃部１１１の情報を設定する。具体的には、設定部１０４は、記憶部１１０に記憶されるプロファイル情報Ｄ２の点群データまたはプロファイル画像データＤ３を用いて、刃部１１１の情報として、刃部１１１の領域及び刃部１１１の長さや径等のサイズに関する情報を設定することができる。または、設定部１０４は、刃部１１１の情報として、工具１１の刃部１１１とシャンク部１１２との境界を設定することができる。その他、設定部１０４は、刃部１１１の情報として、刃部１１１の領域及びサイズに関する情報と刃部１１１とシャンク部１１２の境界との両方を設定してもよい。

【0040】

例えば、設定部１０４は、予め基準として設定される各種別の工具１１の形状、刃部１１１の形状またはシャンク部１１２の形状等のデータを参考に、プロファイル情報Ｄ２の点群データまたはプロファイル画像データＤ３から、対象の工具１１の刃部１１１の領域及びサイズまたは刃部１１１とシャンク部１１２との境界を設定することができる。

【0041】

記憶処理部１０５は、設定部１０４で設定された刃部１１１の情報を工具１１の情報としてプロファイル情報Ｄ２に追加し、記憶部１１０に記憶させる。具体的には、記憶処理部１０５は、対象の工具１１のプロファイル情報Ｄ２に、刃部１１１の情報を追加する。

【0042】

このとき、補正部１０６は、必要に応じて刃部１１１の情報を補正する。具体的には、点群データ形成部１０２で形成された点群データまたはプロファイル画像形成部１０３で形成されたプロファイル画像データＤ３は、出力部１３０であるディスプレイに表示される。作業者等は、これら表示されるデータに対し、刃部１１１の情報を補正するための信号を入力することができる。例えば、補正部１０６は、入力部１２０を介して作業者等により入力された信号に基づいて、工具１１の刃部１１１及びシャンク部１１２の境界位置である刃部１１１の情報を補正する。または、補正部１０６は、入力部１２０を介して作業者等により入力された信号に基づいて、工具１１の刃部１１１の情報を補正する。これにより、画像処理装置１０には、工作機１で使用される工具１１に関する刃部１１１の情報がプロファイル情報Ｄ２に登録される。

【0043】

〈プロファイル情報の登録の処理〉
図５に示すフローチャートを用いて、実施の形態１に係る画像処理装置１０におけるプロファイル情報Ｄ２の登録の処理について説明する。このプロファイル情報Ｄ２の登録の処理は、工作機１において新たな工具１１が主軸１１３に設置され、使用が可能となったタイミングで開始される。主軸１１３に工具１１が取り付けられた状態で画像を撮影するため、工具１１の位置が正確かつ簡単に制御できるためである。まず、受信部１０１は、撮像部１３が主軸１１３に取り付けられた工具１１を撮像した画像データＤ１を受信し、記憶部１１０に記憶させる（Ｓ０１）。

【0044】

点群データ形成部１０２は、ステップＳ０１で受信された工具１１の画像データＤ１を用いて、工具１１の外形から抽出された複数の点群で構成される点群データを形成する（Ｓ０２）。また、点群データ形成部１０２は、形成した点群データをプロファイル情報Ｄ２として記憶部１１０に記憶させる。

【0045】

プロファイル画像形成部１０３は、ステップＳ０２で形成された工具１１の点群データを用いて、プロファイル画像データＤ３を形成する（Ｓ０３）。また、プロファイル画像形成部１０３は、形成したプロファイル画像データＤ３を記憶部１１０に記憶させる。

【0046】

設定部１０４は、ステップＳ０２で形成された点群データまたはステップＳ０３で形成された工具１１のプロファイル画像データＤ３を用いて、工具１１の刃部１１１の情報を設定する（Ｓ０４）。なお、点群データを用いて刃部１１１の情報を設定する場合、ステップＳ０３のプロファイル画像データＤ３の形成は省略してもよい。

【0047】

補正部１０６は、ステップＳ０４で設定された刃部１１１の情報に関して補正する必要があるとき（Ｓ０５でＹＥＳ）、プロファイル情報Ｄ２を補正する（Ｓ０６）。具体的には、入力部１２０を介して作業者による信号が入力された場合、補正部１０６は、入力された信号に応じてプロファイル情報Ｄ２を補正する。

【0048】

記憶処理部１０５は、ステップＳ０４で設定された刃部１１１の情報またはステップＳ０６で補正された刃部１１１の情報を記憶部１１０に記憶されるプロファイル情報Ｄ２に追加して登録する（Ｓ０７）。

【0049】

このように、実施形態に係る画像処理装置１０によれば、工作機１において新たな工具１１が使用されることとなった場合、容易かつ短時間でプロファイル画像データＤ３及びプロファイル情報Ｄ２を形成することが可能となる。これにより、工作機１では、このプロファイル画像データＤ３及びプロファイル情報Ｄ２を用いて干渉チェックを行うことが可能となり、高精度なワークの加工を容易に実現することができる。

【0050】

［実施の形態２］
〈工作機及び画像処理装置〉
実施の形態１に係る工作機１及び画像処理装置１０では、工作機１に新たな工具１１が収納される等により新たな工具１１を使用することが可能となったタイミングで画像を取得し、プロファイル情報Ｄ２を登録していた。これに対し、実施の形態２に係る工作機及び画像処理装置では、既にプロファイル情報Ｄ２が登録されている工具１１について、使用により摩耗、損傷等が生じた所定のタイミングで、新たに画像を取得し、プロファイル情報Ｄ２を更新するものである。

【0051】

実施の形態２に係る工作機は、図１及び２を用いて上述した工作機１と同一の構成であり、また、実施の形態２に係る画像処理装置は、図３を用いて上述した画像処理装置１０と同一の構成であるため、図１乃至３を参照して説明する。

【0052】

実施の形態２に係る工作機１の撮像部１３は、工作機１の主軸に同一の工具が取り付けられた状態で、所定の期間をあけて工具を撮像する。これにより、画像処理装置１０において複数の異なるタイミングで撮像された画像データを比較し、摩耗等の工具１１の変化を特定することが可能となる。例えば、撮像部１３は、各工具１１の使用が所定の回数に達したタイミングで、定期的に工具１１を撮像してもよい。または、撮像部１３は、工作機１における何らかのセンサによる値が所定の範囲外となった場合に、工具１１を撮像しても良い。

【0053】

ここで、各撮像のタイミングで、撮像部１３の位置及び姿勢は固定であることが好ましい。この場合、工具１１が取り付けられた主軸１１３の移動制御により、撮像の際の微細なピント調整等を行うことができる。このように、撮像部１３を固定し、主軸１１３の移動機構を利用することで、移動機構等を要さず、また、工作機１の大型化を防ぐことができる。

【0054】

また、実施の形態２に係る画像処理装置１０の補正部１０６は、撮像部１３による先の撮像で得られた工具１１の画像データＤ１に基づいて定められたプロファイル情報Ｄ２を、後の撮像で得られた工具１１の新たな画像データＤ１に基づいて形成された点群データを用いて補正する。例えば、出力部１３０は、記憶部１１０に記憶される先のプロファイル情報Ｄ２を出力部１３０に出力するとともに、新たに得られた画像データＤ１から生成されたプロファイル情報Ｄ２を並べて出力する。これにより、作業者等に、工具１１の変化を把握しやすくさせる。作業者等は、これら表示されるデータを比較し、プロファイル情報Ｄ２の一部である刃部の情報を補正するための信号を入力することができる。または、工具管理画面で工具の摩耗を補正するための信号を入力することができる形態でもよい。補正部１０６は、入力部１２０を介して作業者等により新たに入力された信号に基づいて、プロファイル情報Ｄ２や工具管理画面で管理する工具管理情報に含まれる刃部の情報を補正する。また、記憶処理部１０５は、補正部１０６により補正された新たなプロファイル情報Ｄ２を記憶部１１０に登録する。これにより、プロファイル情報Ｄ２をもとに最新の工具１１の状態に更新される。また、画像処理装置１０では、更新された新たなプロファイル情報Ｄ２から、工具１１が交換を必要とする程度に摩耗していることが検出された場合、出力部１３０に工具の交換タイミングである通知を表示してもよい。

【0055】

〈プロファイル情報の更新の処理〉
図６に示すフローチャートを用いて、実施の形態１に係る画像処理装置１０におけるプロファイル情報Ｄ２の更新の処理について説明する。まず、受信部１０１は、撮像部１３が撮像した新たな画像データＤ１を受信し、記憶部１１０に記憶させる（Ｓ１１）。

【0056】

点群データ形成部１０２は、ステップＳ１１で受信された工具１１の新たな画像データＤ１を用いて、新たな点群データを形成する（Ｓ１２）。また、点群データ形成部１０２は、新たに形成した点群データを新たなプロファイル情報Ｄ２として記憶部１１０に記憶させる。

【0057】

プロファイル画像形成部１０３は、ステップＳ１２で形成された工具１１の新たな点群データを用いて、新たなプロファイル画像データＤ３を形成する（Ｓ１３）。また、プロファイル画像形成部１０３は、形成した新たなプロファイル画像データＤ３を記憶部１１０に記憶させる。

【0058】

設定部１０４は、ステップＳ１２で形成された新たな点群データまたはステップＳ１３で形成された工具１１の新たなプロファイル画像データＤ３を用いて、現在の工具１１の刃部の情報を設定する（Ｓ１４）。なお、点群データを用いて刃部１１１の情報を設定する場合、ステップＳ１３の新たなプロファイル画像データＤ３の形成は省略してもよい。

【0059】

補正部１０６は、ステップＳ１４で設定された刃部の情報に関して補正する必要があるとき（Ｓ１５でＹＥＳ）、プロファイル情報Ｄ２を補正する（Ｓ１６）。具体的には、出力部１３０に比較して表示されるプロファイル情報Ｄ２等に対し、入力部１２０を介して作業者による信号が入力された場合、補正部１０６は、入力された信号に応じてプロファイル情報Ｄ２を補正する。

【0060】

記憶処理部１０５は、ステップＳ１４で設定された新たな刃部１１１の情報またはステップＳ１６で補正された新たな刃部１１１の情報を記憶部１１０に記憶させる（Ｓ１７）。これにより、画像処理装置１０では、現在の工具１１の状態に関して得られた新たなプロファイル情報Ｄ２が登録される。

【0061】

また、画像処理装置１０は、登録した新たなプロファイル情報Ｄ２で特定される状態の現在の工具１１が、予め設定される工具１１の寿命に達しておらず（Ｓ１８でＮＯ）、新たな画像データを取得する所定のタイミングに達した場合（Ｓ１９でＹＥＳ）、ステップＳ１１～Ｓ１９の処理を繰り返す。例えば、画像処理装置１０では、工具１１の寿命に達したか否かを判定するためのデータを記憶部１１０で記憶する。

【0062】

一方、工作機１における処理を終了するタイミングである場合（Ｓ２０でＹＥＳ）、プロファイル情報Ｄ２の更新の処理を終了する。

【0063】

また、画像処理装置１０は、登録した新たなプロファイル情報Ｄ２で特定される状態の現在の工具１１が、予め設定される工具１１の寿命に達している場合（Ｓ１８でＹＥＳ）、工具交換のタイミングである通知を出力部１３０に表示し（Ｓ２１）、プロファイル情報Ｄ２の更新の処理を終了する。

【0064】

なお、図７に示すシーケンス図を用いて、図６を用いて上述したプロファイル情報Ｄ２の更新の処理を実行する場合における工作機１での処理について説明する。まず、画像処理装置１０がＮＣ装置１７に、工具１１の位置を調整するための位置制御信号を送信する（Ｓ３１）。これにより、ＮＣ装置１７は、主軸１１３を制御し、工具１１の位置を調整する（Ｓ３２）。

【0065】

また、画像処理装置１０は、照明部１４に、照明を調光するための照明制御信号Ｓ３３を送信する（Ｓ３３）。これにより、照明部１４は、調光される（Ｓ３４）。

【0066】

その後、画像処理装置１０は、撮影制御信号を撮像部１３に送信する（Ｓ３５）。これにより、撮像部１３は、工具１１の画像データＤ１を撮像する（Ｓ３６）。また、撮像部１３は、撮像した画像データＤ１を画像処理装置１０に出力する。

【0067】

画像処理装置１０は、取得した画像データＤ１を用いて、図６を用いて上述したように、画像の処理及びデータの更新を実行する（Ｓ３８）。

【0068】

処理を継続する場合、画像処理装置１０は、新たな位置制御信号をＮＣ装置１７に送信する（Ｓ３９）。また、ＮＣ装置１７は、主軸１１３を制御し、工具１１の位置を調整する（Ｓ４０）。図７において破線で囲まれるステップＳ３５からＳ４０までの処理は、プロファイル情報Ｄ２の更新の処理を終了するまで繰り替えされる。

【0069】

または、工具１１の交換のタイミングに達した場合、画像処理装置１０は、ＮＣ装置１７に、交換のための位置に制御するための位置制御信号を送信する（Ｓ４１）。これにより、ＮＣ装置１７は、主軸１１３を制御し、工具１１を交換するための位置に調整する（Ｓ４２）。その後、工作機１において、工具１１が交換される。

【0070】

このように、画像処理装置１０では、摩耗、損傷等の工具に生じた変化を含む新たなプロファイル情報Ｄ２を登録することができる。したがって、工作機１は、新たなプロファイル情報Ｄ２を用いて、長期使用による工具１１の摩耗、損傷等の劣化やずれを的確に反映させ、加工精度の低下を防ぐことができる。

【0071】

［変形例１］
実施の形態１で上述した工作機１では、撮像部１３は、工具１１の透過画像を撮像するものとして説明した。これに対し、撮像部１３が、反射光を撮像するものであっても良い。具体的には、照明部１４は、発光面が撮像部１３の受光面と同じ向きになるように配置され、発光面から出射された光が工具に当たり、その反射光が撮像部１３の受光面に入射するように構成されてもよい。これにより、撮像部１３は、工具１１表面の画像を得ることができるので、工具１１に生じた傷等を的確に把握することができる。

【0072】

［変形例２］
上述した工作機１及び画像処理装置１０では、取得する画像データＤ１をプロファイル情報Ｄ２の登録や更新に使用した。これに対し、画像処理装置１０において、取得する画像データＤ１を用いて、現在、工作機１の保持部１２により保持される工具を識別可能としても良い。この場合、画像処理装置１０は、工作機１で使用可能な複数の工具の情報である工具リストデータを記憶部１１０に記憶するとともに、演算部１００において、工具を識別する識別部を備える。

【0073】

工具リストデータは、例えば、各工具の識別情報として工具の型番を含む。また、工具リストデータは、各型番に工具の形状に関する情報として、工具の刃部の外径及び長さとを少なくとも含む。さらに、工具の刃部１１１の部位により、外径が異なる工具に関しては、工具の形状に関する情報として、その部位を特定する工具の部位の長手方向に関する情報を含むことができる。識別部は、点群データまたはプロファイル画像データＤ３を、工具リストデータの中から主軸１１３に取り付けられた工具の型番を定める。これにより、主軸１１３に保持される工具を容易に識別することができる。

【0074】

［変形例３］
上述した画像処理装置１０では、設定部１０４が、工具１１の刃部１１１の情報を設定する。これに対し、プロファイル画像形成部１０３が、予め機械学習により学習済みの学習モデルを用いて、刃部１１１の情報を設定するようにしてもよい。具体的には、この学習モデルは、工具のプロファイル画像データと、該工具１１を実測に基づく刃部１１１及びシャンク部１１２の境界位置と、該工具１１を実測に基づく外形プロファイルデータとのセットからなる教師データを用いた学習により得られたパラメータが適用されたものである。この学習モデルは、工具１１の画像データを入力とし、工具１１の刃部１１１及びシャンク部１１２の境界位置等のプロファイル情報Ｄ２及びプロファイル画像データＤ３を出力とする。これにより、学習モデルを利用して、プロファイル情報Ｄ２の登録を可能とする。

【0075】

以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。

【0076】

本出願において開示する技術を用いることにより、干渉チェック用工具3Dモデル自動生成が可能になる。また、本出願において開示する技術を用いることにより、工具交換時に切り屑巻き付きを検出することが可能になる。また、本出願において開示する技術を用いることにより、工具補正の自動化が可能になる。また、本出願において開示する技術を用いることにより、すくい面の欠け検出や、逃げ面摩耗量の計測による、定量的な工具管理が可能になる。

【0077】

本開示の全請求項に記載の画像処理装置、工作機及び画像処理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

【産業上の利用可能性】

【0078】

本開示の画像処理装置、工作機及び画像処理方法は、例えば、工作機の干渉チェックの容易化に有用である。

【符号の説明】

【0079】

１ 工作機
１１ 工具
１２ 保持部
１３ 撮像部
１４ 照明部
１０ 画像処理装置
１００ 演算部
１０１ 受信部
１０２ 点群データ形成部
１０３ プロファイル画像形成部
１０４ 設定部
１０５ 記憶処理部
１０６ 補正部
１１０ 記憶部
１２０ 入力部
１３０ 出力部
１４０ 通信部
Ｄ１ 画像データ
Ｄ２ プロファイル情報
Ｄ３ プロファイル画像データ
Ｐ 制御プログラム

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-03-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

工具を用いてワークを加工する工作機で撮像された画像を処理し、工具が工作機にある状態で、工具の状態を検査する方法であって、
工具を主軸に取り付けた状態で工具の先端を撮像部の前に移動する第１工程と、
前記工具の先端から自動的に輪郭を追従して複数の画像を撮像する第２工程と、
前記第２工程で撮像された前記複数の画像から前記工具のプロファイルに係わる前記工具の１つの点群データを形成する第３工程と、
工具を主軸に取り付けた状態でワークの加工を行い、加工後に工具を主軸に取り付けたまま工具の先端を撮像部の前に移動する第４工程と、
前記工具の先端から自動的に輪郭を追従して複数の画像を撮像する第５工程と、
前記第５工程で撮像された画像を解析し、前記点群データと比較する第６工程とを備える、工具の状態を検査する検査方法。