特開2021-126711(P2021-126711A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ DMG森精機株式会社の特許一覧
特開2021-126711画像処理装置、工作機械および画像処理方法
<>
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000003
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000004
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000005
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000006
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000007
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000008
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000009
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000010
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000011
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000012
  • 特開2021126711-画像処理装置、工作機械および画像処理方法 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-126711(P2021-126711A)
(43)【公開日】2021年9月2日
(54)【発明の名称】画像処理装置、工作機械および画像処理方法
(51)【国際特許分類】
   B23Q 17/09 20060101AFI20210806BHJP
   B23Q 17/24 20060101ALI20210806BHJP
   G06T 7/00 20170101ALI20210806BHJP
【FI】
   B23Q17/09 Z
   B23Q17/24 Z
   G06T7/00 350B
【審査請求】有
【請求項の数】7
【出願形態】OL
【全頁数】24
(21)【出願番号】特願2020-21363(P2020-21363)
(22)【出願日】2020年2月12日
(11)【特許番号】特許第6887033号(P6887033)
(45)【特許公報発行日】2021年6月16日
(71)【出願人】
【識別番号】000146847
【氏名又は名称】DMG森精機株式会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(72)【発明者】
【氏名】窪田 純一
【テーマコード(参考)】
3C029
5L096
【Fターム(参考)】
3C029EE00
3C029EE20
5L096DA02
5L096GA19
5L096GA30
5L096GA51
5L096HA08
5L096JA11
5L096KA04
5L096KA15
(57)【要約】      (修正有)
【課題】学習制御を用いた切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる技術また、切屑検出の処理負荷を軽減することができる技術を提供する。
【解決手段】内部を撮像する撮像部12を備える工作機械10における前記撮像部12で撮像された撮像画像を処理する画像処理装置30は、前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部42と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部43と、前記切屑認識部43で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部60と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部61と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、
前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、
前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備えることを特徴とする、画像処理装置。
【請求項2】
前記切屑認識部における切屑検出の算出結果を前記メッシュ領域ごとに記憶する算出結果記憶部と、
前記メッシュ領域ごとの切屑の堆積の履歴を生成し、堆積確率または堆積の発生頻度を算出する履歴生成部と、
前記堆積確率または前記発生頻度から前記切屑認識部で算出する頻度を設定する算出頻度設定部と、
をさらに備えることを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記算出頻度設定部はさらに、前記堆積確率または前記発生頻度の大きさに応じて前記切屑認識部で算出する時間的間隔を設定することを特徴とする、請求項2に記載の画像処理装置。
【請求項4】
前記履歴生成部は、前記堆積確率または前記発生頻度が所定値以上変化すると前記履歴を再生成することを特徴とする、請求項2または請求項3に記載の画像処理装置。
【請求項5】
再学習すると判別された前記メッシュ領域を他の記憶装置へ送信する再学習データ送信部、または再学習すると判別された前記メッシュ領域を用いて再学習を行う再学習部をさらに備えることを特徴とする、請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
前記再学習判別部において判別するための閾値を設定する判別閾値設定部をさらに備えることを特徴とする、請求項1から請求項5のいずれか一項に記載の画像処理装置。
【請求項7】
内部を撮像する撮像部と、
前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、
前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備えることを特徴とする、工作機械。
【請求項8】
工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出するステップと、
算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別するステップと、
再学習すると判別された前記メッシュ領域を記憶するステップとを有する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工作機械においてワークを加工した際に生じる切屑に対する画像処理装置、工作機械、および画像処理方法に関する。
【背景技術】
【0002】
工作機械において加工物であるワークを加工した際、切屑が生じる。切屑が多く堆積すると、加工の継続が困難となる。このため、定期的に工作機械の運転を停止して、エアブローなどを使って作業者が手作業で切屑を除去する必要がある。そのため、工作機械の稼働効率が低下する。そこで、人手によらずに切屑を除去する技術が求められている。
【0003】
そのような技術として、特許文献1には、取り込んだ画像を解析して、切屑に相当する画像部分を検出して、その位置および大きさを記録する切屑除去装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平7−108435号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、切屑検出の解析には多大な時間を要し、正確な切屑の検出や大きさの把握には、例えば、学習制御等を用いる必要がある。学習制御において、一旦学習した学習モデルが使用されていたとしても、当該学習モデルを再度学習させて精度を向上させるという手法がある。しかし、その場合、再学習のために膨大な画像データを収集する必要があり、大きな処理負荷がかかる。
【0006】
そこで、本開示は、学習制御を用いた切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる技術を提供することを目的とする。また、切屑検出の処理負荷を軽減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本開示の一実施形態に係る画像処理装置は、内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、を備えることを特徴とする構成となっている。
【0008】
また、本開示の一実施形態に係る工作機械は、内部を撮像する撮像部と、前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出する切屑認識部と、前記切屑認識部で算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別する再学習判別部と、再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、を備えることを特徴とする構成となっている。
【0009】
また、本開示の一実施形態に係る画像処理方法は、工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の検出判定確率を算出するステップと、算出された前記検出判定確率の結果から前記メッシュ領域を再学習するかどうか判別するステップと、再学習すると判別された前記メッシュ領域を記憶するステップとを有する、ことを特徴とする。
【発明の効果】
【0010】
本開示によれば、切屑検出に関して、再学習に用いる画像データをより効率的に収集することができる。また、切屑検出の処理負荷を軽減することができる。
【図面の簡単な説明】
【0011】
図1図1は、工作システムの一実施形態の構成を示すブロック図である。
図2図2は、メッシュ領域の一例を示す。
図3図3は、工作機械の内部を撮像した概略的な撮像画像を示す。
図4図4は、工作システムの一実施形態に係る切屑認識部の構成を示すブロック図である。
図5図5は、工作システムの動作例を説明するためのフローチャートである。
図6A図6Aは、工作システムの動作例を説明するためのフローチャートである。
図6B図6Bは、工作システムの動作例を説明するためのフローチャートである。
図6C図6Cは、工作システムの動作例を説明するためのフローチャートである。
図7A図7Aは、工作システムの動作例を説明するためのフローチャートである。
図7B図7Bは、工作システムの動作例を説明するためのフローチャートである。
図7C図7Cは、工作システムの動作例を説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について図面を参照しながら説明する。
【0013】
図1は、本実施形態における工作システム1の構成を示す。工作システム1は、工作機械10および画像処理装置30を備えている。工作機械10は、工作機械の内部に搬入された加工対象であるワークに対して切削、研削等の加工を行う装置である。ワークに対して加工を行うと、ワークの一部が分離して切屑が発生し、工作機械の内部に堆積する。
【0014】
(工作システム)
工作機械10は、液体放出部11および撮像部12を備えている。また、図示しないが機械座標取得部13を備えている。液体放出部11は、例えば、液体を放出することができるノズルと、ノズルを駆動するアクチュエータと、液体を貯留している液体貯留部から液体をくみ上げるポンプと、を備える。ノズルから切屑へと液体を放出することで上述の切屑を加工領域外のチップコンベアなどに移動させ、最終的には加工領域から切屑を除去することができる。この液体には、加工時に熱を生じるワークおよび加工装置である主軸などを冷却及び潤滑するためのクーラントを用いてもよいし、他の液体を使用してもよい。以下、本明細書では、切屑を移動させるための液体としてクーラントを用いた場合について説明する。液体放出部11は、ノズルの位置、ノズルからのクーラントの放出方向、クーラントの放出圧力などを変更することができる。液体放出部11は、複数のノズルを有する形態が好ましい。一つのノズルの液体放出領域では、工作機械の構成部品で隠れてしまう空間領域ができる。その空間領域に切屑が入り込むとノズルからの液流が十分切屑に作用させることができないため切屑を移動させることが難しいためである。
【0015】
撮像部12は、例えば、CCDやCMOSなどの撮像素子を備えたカメラであり、工作機械10内部を撮像することができる。撮像部12は、撮像された画像を後述する画像処理装置30へと出力することができる。工作機械10は、撮像部12の性能、撮像範囲に応じて、撮像部12を工作機械内に複数備えてもよい。本実施形態における工作機械10は、撮像部12が二つ設けられている。この場合においても、一つの撮像部では撮像できない領域を撮像することができるように、もう一つの撮像部を配置することで、工作機械内の加工領域の全体を撮像部で撮像した画像から確認することができる。
【0016】
機械座標取得部13は、工作機械10の構造のうち、詳細は後述するパレット14、テーブル16、主軸22等の移動する部品について、工作機械10内部での当該部品の位置を表す機械座標を取得することができる。取得した機械座標は、画像処理装置30に、特に後述する液体放出制御部44などに送信することができる。当該機械座標は、加工のためにNC制御装置から工作機械10へ送信された位置情報を用いることができる。センサーを用いて取得した位置情報も用いることができる。
【0017】
画像処理装置30は、工作機械10の撮像部12で撮像された撮像画像を処理し、工作機械へと信号を送信する演算部31、演算部31で処理される画像および位置等の情報を必要に応じて記憶する記憶部32を備える。また、画像処理装置30は、撮像部12で撮像された撮像画像を表示する表示部33を備えてもよい。画像処理装置30は、例えば、コンピュータやタブレットなど、画像を受信し演算する機能を備える装置である。
【0018】
表示部33は、例えばコンピュータのディスプレイであり、工作機械10の撮像部12が撮像し画像処理装置30に出力した画像を表示させることができる。また、後述するメッシュ分割部42において作成されたメッシュを組み合わせて表示するなど、撮像画像に関して演算部31で処理された画像を表示させてもよい。表示部33は、例えば、抵抗膜方式や静電容量方式のディスプレイなど、表示画像に作業者が接触することで画像に基づいて直接指示できる、いわゆるタッチパネルであってもよい。
【0019】
演算部31は、取得部41、メッシュ分割部42、切屑認識部43、液体放出制御部44、送信部45および補正部46を備える。演算部31および演算部31に含まれる各処理部41〜46は、プログラムを実行することにより所定の機能を実現するCPUまたはMPUのような汎用プロセッサを含む。演算部31および演算部31に含まれる各処理部41〜46は、例えば記憶部32に格納された制御プログラムを呼び出して実行することにより、画像処理装置30における各種の処理を実現する。演算部31および演算部31に含まれる各処理部41〜46は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算部31および演算部31に含まれる各処理部41〜46は、CPU、MPU、FPGA、DSP、ASIC等、種々のプロセッサで実現することができる。
【0020】
取得部41は、撮像部12にて撮像された画像を取得し、メッシュ分割部42に出力する。また、表示部33に出力してもよい。
【0021】
メッシュ分割部42は、撮像部12にて撮像された撮像画像の少なくとも一部を複数のメッシュ領域に分割することができる。メッシュ領域は、撮像画像が所定の幾何学的な形状(メッシュ)により分割された領域である。図2は、工作機械10の内部を撮像した撮像画像が、正方形のメッシュ領域に分割された図である。このような複数のメッシュ領域で構成された画像をメッシュ画像と称することができる。分割するメッシュの大きさおよび形状は、必要に応じて変更できるように構成されてもよい。なお、本明細書のメッシュ画像は、撮像画像にメッシュの情報を付加し新たな画像を生成したものに限られず、撮像画像とメッシュとを関連付けたものでもよい。つまり、撮像画像とメッシュとを別々のデータとして保存しているものもメッシュ画像という。
【0022】
切屑認識部43は、詳細は後述するが、メッシュ分割部42において撮像画像から作成された各メッシュ領域に対して自動的に切屑を認識し、当該メッシュ領域において切屑が存在しているか否かと、存在している切屑の量との少なくとも一方について検出判定確率を算出する。切屑認識部43は、メッシュ領域に切屑があると判定した場合、メッシュ画像におけるメッシュ領域に対応する撮像画像上の位置を切屑の堆積位置と認識する。当該判定は、検出判定確率について所定の閾値を設定し、当該確率が閾値より高ければ切屑があると判定してもよい。切屑があると判定し、その堆積位置を認識すると、自動検知信号を液体放出制御部44に出力する。自動検知信号は、撮像画像において切屑が堆積していると認識された所定位置に関する情報を少なくとも含む。
【0023】
液体放出制御部44は、自動検知信号に基づいて、クーラントを放出する位置を設定する。切屑認識部43から出力された自動検知信号に基づいて、撮像画像における所定位置を取得し、工作機械内部で切屑が堆積している関連領域を取得する。液体放出制御部44は、関連領域に応じて所定のクーラント放出経路を設定する。そして、液体放出制御部44は、少なくとも当該関連領域にクーラントを放出するための情報を含む制御信号を送信部45へと出力する。したがって、自動検知信号に基づいて液体放出部11を制御することができるため、所定位置を認識することで、液体放出部11を制御することにより、クーラントを放出させて、切屑を移動させることができる。
【0024】
送信部45は、液体放出部11にクーラントの放出信号を出力する。放出信号は、切屑がある指示された所定位置に関連する関連領域に対して、切屑を移動させるためのクーラントを放出するための信号である。放出信号に応じて、工作機械10の液体放出部11のノズルは、当該関連領域へ所定の方法でクーラントを放出する。工作機械10と画像処理装置30とが一体となって構成された場合、本工作システム1は送信部45を備えず、液体放出制御部44から液体放出部11へと信号を直接出力するように構成することもできる。
【0025】
記憶部32は、種々の情報を記録する記憶媒体である。記憶部32は、例えば、DRAM、SRAM、フラッシュメモリ、MRAM、ReRAM、FeRAM、SSD(Solid State Device)、ハードディスク、その他の記憶デバイスまたはそれらを適宜組み合わせて実現される。記憶部32は、取得部41で取得された撮像画像、メッシュ分割部42で作成されたメッシュ領域(メッシュ画像)、切屑認識部43で切屑が存在していると認識された所定位置の情報、切屑の量に関する情報および算出結果、後述する再学習判別部60で再学習に使用すると判別された再学習メッシュ領域、履歴生成部65で生成された堆積の履歴などを格納することができる。また、演算部31の各処理部は、必要に応じて当該記憶部32に記憶された画像および情報等の入力、並びに当該処理部で処理された画像および作成された情報等の出力はそれぞれ、ある処理部から当該処理部へ直接入力され、当該処理部から別の処理部へ直接出力されるなど、記憶部32を介さない構成で記載している。しかし、これに限定されず、演算部31の各処理部は、画像処理、信号検知または検出確率算出等の際に記憶部32から画像および情報等を読み込んでもよく、当該処理部にて画像処理された画像および作成された情報等を記憶部32に記憶してもよい。
【0026】
図3は、工作機械10の内部を撮像した撮像画像であり、パレット14、カバー15、テーブル16、旋回扉17、側面18、斜面19、プロテクタ20、シュータ21、および主軸22が示されている。本実施形態において、図3に示す主軸22の長軸23を工作機械10内部の前後方向として、主軸22の根元側と手前側、先端側を奥側とする。また、長軸23に直交する水平方向を左右方向、長軸23に直交する垂直方向を上下方向とする。
【0027】
パレット14は、ワーク24(図示せず)を載せて固定する台である。工作機械10は、複数のパレット14を設けることができる。それにより、加工するワークを変更する際、パレット14を変更することでワークを変更でき、時間の効率化を図ることができる。
【0028】
カバー15は、図3においてパレット14の左右の側部に位置している部品であり、後述する旋回扉17が回転してパレット14を交換する際、カバー15が例えばパレット14を持ち上げることでテーブル16から分離させる。本実施形態において、カバー15は旋回扉17に固定されている。
【0029】
テーブル16は、パレット14を取り付けることができる部品である。テーブル16は前後方向へ移動することができ、それによりパレット14上に固定されたワークを移動させることができる。また、テーブル16は少なくともテーブル16の一部を水平方向へ回転することができ、それによりパレット14上に固定されたワークを回転させることができる。
【0030】
旋回扉17は、軸25を中心に回転することができる扉である。旋回扉17が回転する際、カバー15がパレット14をテーブル16から分離させて、パレット14およびカバー15と一緒に回転する。それによりワークの加工が終了したパレット14をパレット格納部26(図示せず)へと搬出することができ、また次に加工するワークが固定されたパレット14をパレット格納部26から工作機械内へと搬入することができる。旋回扉の工作機械内側と格納部側の両方にカバー15を取り付け、旋回扉が180度回転することでパレットの搬入と搬出を同時に行ってもよい。
【0031】
側面18は、工作機械10の開閉可能な壁である。側面18は、工作機械10の内部と、外部とを区画しており、側面18を開放すると作業者が工作機械10の内部に入ることができる。また、側面18に対向する位置にある図示しない側面27は、工作機械10の内部と、工具格納部28(図示せず)とを区画している。工具格納部28は、複数の工具を格納しており、加工の際、必要に応じて側面27が開き、主軸22に取り付けられている工具を工具格納部28に格納されている別の工具と交換することができる。
【0032】
シュータ21は、洗浄によって切屑が流れていく場所である。斜面19、プロテクタ20は、旋回扉17および側面18、27の下側に設けられており、シュータ21へと切屑が流れやすいように、それぞれシュータへ向けて下向きに傾斜している。
【0033】
主軸22は、先端に工具を取り付け、その長軸23を中心に回転させることにより、ワークを加工することができる。本実施形態においては、図3に示すように、主軸22は円柱形の外形を有する。
【0034】
次に、撮像画像を用いて自動的に切屑を認識する方法について説明する。図4は、切屑を自動的に認識する切屑認識部43の構成の概略図である。図4に示すように、切屑認識部43は、算出部50および判定部51を備える。また、演算部31は、モデル学習部52を備え、記憶部32は、モデル記憶部53を備える。
【0035】
モデル学習部52は、学習モデルを作成する。学習モデルは、入力としてメッシュ分割部36で作成されたメッシュ領域の一つを入力すると、当該メッシュ領域内の切屑に関する、所定の項目の内どれに該当するか、その確率を算出して出力することができるモデルである。学習モデルは例えば、対となる入力データと出力データを教師データとしてあらかじめ、CNN(畳み込みニューラルネットワーク)に入力して学習させることで作成することができる。一般的なCNNは、畳み込み層、プーリング層によって画像の特徴を抽出し、当該特徴をニューラルネットワークへと入力し処理を行う学習手法であり、画像の特徴抽出によく利用される。なお、例えばSVM(Support Vector Machine)を用いるなど、CNN以外の学習手法を用いて学習モデルを作成してもよい。本実施形態においては、入力データにメッシュ領域を、出力データにメッシュ領域における切屑の有無および量に関する情報を用いることができる。本実施形態において、出力データは、後述するように3項目のいずれに該当するかに関する情報を使用している。より多くの教師データを入力し、より多くのメッシュ領域(つまり、より様々なメッシュ領域)に関する切屑の有無および量を学習させることで、当該学習モデルによる切屑認識の精度を向上させることができる。
【0036】
モデル記憶部53は、切屑の有無を自動的に判定する学習モデルを記憶する。学習モデルは、必要に応じて算出部50に読み込まれる。本実施形態においては、切屑認識部43がモデル学習部52を備え、記憶部32がモデル記憶部53を備えるが、画像処理装置30とは別の装置にて学習モデルを作成し、記憶部32に学習モデルを記憶させて必要に応じて当該学習モデルを読み込む方式でもよい。画像処理装置30とは別の外部の記憶装置に学習モデルを記憶し、必要に応じて学習モデルを読み込む方式でもよい。
【0037】
算出部50は、メッシュ領域内の切屑に関する、あらかじめ定められた項目に該当する確率である検出判定確率を算出する。本実施形態において、算出部50は具体的には、モデル学習部52で学習した学習モデルを用いて、入力データとして入力されたメッシュ領域が「切屑が多い(クラス2)」、「切屑が少ない(クラス1)」、「切屑がない(クラス0)」という3項目のいずれに該当するかに関する確率を算出する。また、項目をさらに細分化してもよいし、単純に切屑が存在する確率を算出してもよい。以下、上述したようにクラス0〜2の3項目に分類する場合について記載する。
【0038】
判定部51は、入力されたメッシュ領域に関して算出部50が算出した検出判定確率から、当該メッシュ領域において切屑がクラス0〜2のいずれに該当するかを判定する。判定部51は、メッシュ領域内に存在する切屑に関して算出部50から算出した検出判定確率から、どのように判定するかを設定することができる。例えば、算出部50が算出したクラス0〜2の確率のうち、一番高い項目に該当すると判定してもよい。また、「クラス2」が25%、「クラス1」が35%、「クラス0」が40%と算出された場合のように、「切屑がある(クラス2+クラス1)」の確率が「切屑がない(クラス0)」の確率よりも高いときに、「クラス1」(または「クラス2」)に該当すると判定してもよい。判定部51は、メッシュ領域に切屑があると判定(つまり、クラス2またはクラス1であると判定)した場合、メッシュ画像における当該メッシュ領域の位置に対応した撮像画像上の位置情報を少なくとも有する自動検知信号を、上述したように液体放出制御部44へと出力する。自動検知信号は、切屑の量に関する情報を含んでもよい。
【0039】
このようにして、工作システム1は、ワークの加工中、または加工終了後、撮像部12で撮像された撮像画像に基づいて自動的に切屑を認識し、クーラントを放出する自動洗浄を行うことができる。当該自動洗浄は、定期的に行われてもよく、また、例えば作業者による指示など何らかの指示を与えることで実行されてもよい。
【0040】
自動洗浄によって切屑の多くは除去することができるが、切屑認識部は必ずしも全ての切屑を認識できるわけではない。切屑認識部によって切屑を認識できない場合、当該切屑は工作機械内に残り続ける可能性があり、切屑が残り続けると加工不良や動作不良の原因となり得る。また、切屑が除去されずに残り続けて切屑の量が多くなると、クーラントでは切屑を移動させることができなくなり、作業者が内部に入り、切屑を除去する必要が生じる。そのため、画像処理装置30は、作業者が表示部33を確認し、切屑の位置を指示する入力部を設けることで、手動で切屑の位置を指示し、クーラントを放出する洗浄を行うことができるように構成されてもよい。
【0041】
以下、特別に記載のある場合を除き、任意のメッシュ領域に対する処理は、当該メッシュ画像における他の全てまたは一部のメッシュ領域にも行われるものとする。
【0042】
(再学習用画像の判別)
再学習用の画像を判別する方法について説明する。図1に示すように、本実施形態における画像処理装置30の演算部31の補正部46は、再学習判別部60を備える。再学習判別部60は、切屑認識部で算出されたメッシュ領域に対する切屑の検出判定確率の結果から、当該メッシュ領域を学習用データとして学習モデルに再学習、つまり追加の学習をさせるかどうかを判別する。再学習させると判別されたメッシュ領域は、再学習画像記憶部61へと出力される。再学習判別部60は、検出判定確率が所定の閾値を超えない場合、当該メッシュ領域を再学習する画像であると判別してもよい。また、補正部46は、閾値を設定する判別閾値設定部62を備えてもよく、当該閾値は例えば、50%、70%または90%など要求に応じて任意の値で設定してもよい。再学習すると判別されたメッシュ領域は、再学習画像記憶部61へと出力される。
【0043】
再学習画像記憶部61は、再学習判別部60にて再学習すると判別されたメッシュ領域を再学習用の画像として記憶する。そして、必要に応じて、モデル学習部52へと出力することができる。また、例えば作業者が当該メッシュ領域を確認して、当該メッシュ領域が上記クラス0〜2のいずれに該当するか判定する。モデル学習部52は、当該メッシュ領域を入力データ、作業者によって判定された当該メッシュ領域の切屑の有無または量に関する情報を出力データとして、教師データを与えて学習モデルをさらに学習させる再学習部として動作することができ、それによって学習モデルを用いた切屑認識の精度を向上させることができる。上述しているように、演算部31はモデル学習部52を備えるため、本実施形態における画像処理装置30自体で再学習を行うことができる。また、補正部46が、再学習部としてモデル学習部53またはそれに類するものを備えてもよい。
【0044】
また、補正部46は、再学習用の画像を他の外部の記憶装置に送信できる再学習データ送信部63を備えてもよい。これにより画像処理装置30以外の外部装置にて、再学習用の画像を記憶し、学習モデルをさらに学習させることができる。他の外部の記憶装置への送信は、例えばネットワークを介した任意のサーバまたはクラウド上への保存、フラッシュメモリへの保存などが想定される。外部装置で再学習された学習モデルは同様にネットワーク等を介して、記憶部32のモデル記憶部53に記憶されてもよいし、外部の記憶装置に学習モデルを記憶し、必要に応じて切屑認識部43に読み込むように構成されてもよい。
【0045】
このようにして、切屑認識部43での自動的な切屑の検出において、検出判定確率が高くないメッシュ領域、すなわち当該検出が正確ではない可能性があり再学習することが好ましい画像データを自動的に記憶することができる。従来は、切屑を検出したメッシュ領域を再学習に使用する場合、再学習する必要性がある画像データを抽出せずに記憶していたため、大量のデータを記憶する必要があった。また、当該データを収集するために大量のデータを送信する必要があった。さらに、当該大量のデータから再学習するデータを選択するために多大な労力が必要であった。しかし、上記のように本開示の技術によれば、切屑認識部43での自動的な切屑の検出において、検出判定確率が高くないメッシュ領域、すなわち当該検出が正確ではない可能性があり再学習することが好ましい画像データを判定して自動的に記憶することができるため、再学習用のデータを効率的に収集することができる。
【0046】
例えば、図2に示したようにメッシュ領域を作成すると、1枚の撮像画像において、約300枚のメッシュ領域が作成される。このうちの20%が再学習することが好ましいメッシュ領域だった場合、再学習する必要がないメッシュ領域を記憶しなければ記憶容量も20%に軽減される。また、再学習することにより切屑検出の精度が向上するため、再学習することが好ましいメッシュ領域は、再学習を行うことで減少していくと考えられ、長期的に実施するとさらなる効果を得ることができる。
【0047】
(切屑検出の処理負荷軽減)
次に本実施形態における切屑認識部43での切屑検出の処理負荷軽減について説明する。図1に示すように、本実施形態における画像処理装置30の演算部31の補正部46は、さらに算出結果記憶部64、履歴生成部65、算出頻度設定部66を備える。
【0048】
算出結果記憶部64は、切屑認識部43で算出した、切屑についての検出判定確率の結果を第1の算出結果としてメッシュ領域ごとに記憶することができる。例えば、クラス2およびクラス1と判定した場合、「切屑有り」として記憶し、クラス0と判定した場合、「切屑無し」として記憶する。当然、クラス2を「切屑有り(多)」、クラス1を「切屑有り(少)」として記憶してもよい。
【0049】
任意のメッシュ領域の第1の算出結果を少なくとも所定回数分記憶すると、履歴生成部65は、当該メッシュ領域の切屑の堆積の第1の履歴を生成する。当該所定回数は、任意に設定することができ、例えば、数十回、百回または数百回などが想定される。履歴生成部65は、堆積の第1の履歴から、当該メッシュ領域の切屑の第1の堆積確率を算出することができる。第1の堆積確率は、「切屑有りと判定した回数/総検出回数」として算出できる。例えば、切屑認識部43で切屑の検出判定確率を算出した回数が200回、メッシュ領域3−3において「切屑有り」と判定された回数が10回である場合、メッシュ領域3−3での第1の堆積確率は5%となる。切屑認識部43で切屑の検出判定確率を算出した回数が400回、メッシュ領域14−4において「切屑有り」と判定された回数が280回だった場合、メッシュ領域14−4での堆積確率は70%となる。
【0050】
算出頻度設定部66は、履歴生成部65にて算出されたメッシュ領域の第1の堆積確率に応じて、切屑認識部43において当該メッシュ領域での切屑の検出判定確率を算出する頻度を設定することができる。例えば、あるメッシュ領域での第1の堆積確率が30%以下であれば、切屑認識部において当該メッシュ領域での算出頻度を1/2に設定してもよい。この算出頻度は例えば、ある領域でのメッシュ領域について切屑の検出判定確率を算出すると、時間的に次のタイミングで撮像された撮像画像での同一の領域におけるメッシュ領域に関しては、切屑の検出判定確率を算出しないように設定するような頻度となる。第1の堆積確率が10%以下であれば、算出頻度を1/5に、第1の堆積確率が5%以下であれば、算出頻度を1/10に設定してもよい。また、算出頻度設定部66は、メッシュ領域の第1の堆積確率が高ければ、算出頻度を設定しない、または1/1に設定してもよい。当然、上記した第1の堆積確率と算出頻度の関係は一例であり、任意に設定することができる。
【0051】
このように、メッシュ領域ごとの切屑の堆積しやすさに応じて、切屑認識部43での算出頻度を低くすることで、検出ごとの時間的間隔が大きくなる。その結果、検出回数を減らすことができ、使用状況に応じて適切に切屑認識部43の処理負荷を低減することができる。
【0052】
また、履歴生成部65は、切屑の第1の堆積確率の代わりに、または第1の堆積確率に加えて、切屑の堆積の発生頻度を算出することができる。堆積の発生頻度は、「切屑有りと判定した回数/(総検出回数×検出インターバル)」として算出できる。検出インターバルとは、切屑認識部43において同一のメッシュ領域で切屑の検出判定確率を算出する際の時間的間隔である。例えば、切屑認識部43で切屑の検出判定確率を算出した回数が200回、検出インターバルが1分、メッシュ領域3−3において「切屑有り」と判定された回数が10回である場合、メッシュ領域3−3での堆積の発生頻度は0.05回/分となる。切屑認識部43で切屑の検出判定確率を算出した回数が400回、検出インターバルが0.3分、メッシュ領域14−4において「切屑有り」と判定された回数が280回である場合、メッシュ領域14−4での堆積の発生頻度は2.3回/分となる。
【0053】
算出頻度設定部66は、履歴生成部65にて算出されたメッシュ領域の堆積の発生頻度に応じて、切屑認識部43において当該メッシュ領域での切屑の検出判定確率を算出する頻度として検出インターバルを設定することができる。例えば、あるメッシュ領域での堆積の発生頻度が0.05回/分であれば、堆積は20分に1回発生すると見込まれるため、切屑認識部において当該メッシュ領域での検出インターバルを4分と設定してもよい。これは、切屑認識部43で5回検出すると、切屑の堆積が1回発生している(つまり、1/5の周期)と想定される設定である。また、あるメッシュ領域での堆積の発生頻度が2.3回/分であれば、堆積は26秒に1回発生すると見込まれるため、切屑認識部において当該メッシュ領域での検出インターバルを5秒と設定してもよい。これは、切屑認識部43で5回検出すると、切屑の堆積が1回発生している(つまり、1/5の周期)と想定される設定である。検出インターバルは、堆積の発生頻度に応じて自動的に設定されてもよいし、手動で設定してもよい。上記から分かるように、検出インターバルを変更することで、切屑認識部43での検出回数に対する、切屑の堆積の発生回数の割合を変更することができる。図示しないが、補正部46は、切屑検出の周期を設定できる切屑検知周期設定部67を備えてもよい。このように周期を設定することで、検出インターバルの設定が自動であったとしても調整することができる。
【0054】
このように、メッシュ領域ごとに切屑の堆積しやすさに応じて切屑認識部43での検出インターバルを長くすることで、検出ごとの時間的間隔が大きくなる。その結果、検出回数を減らすことができ、使用状況に応じて適切に切屑認識部43の処理負荷を低減することができる。
【0055】
本実施形態における工作システム1では、工作機械10と画像処理装置30は、それぞれ1台ずつ記載されているが、1台の画像処理装置に対して複数の工作機械を接続することも可能である。また、上述しているように1台の工作機械に対して複数の撮像部を設けることも可能である。この場合、1台の画像処理装置で複数の撮像画像に対して切屑の検出を行う必要があり、画像処理装置の処理負荷が高くなる。本開示の技術によれば、画像処理装置での処理負荷を軽減するため、処理性能が高くない装置であっても実行することができる。また、処理負荷軽減により、複数の工作機械で撮像された複数の撮像画像に対する切屑検出をより容易に行うことができる。
【0056】
上述した算出頻度、または検出インターバルは、同一の環境および条件であれば、同一の設定を使用することができる。しかし、加工するワークの変更など、加工条件等が変更されると、堆積確率または堆積の発生頻度が変化することがある。このため、履歴生成部65は、メッシュ領域の堆積確率または堆積の発生頻度が変化したと判断すると、当該メッシュ領域の切屑の堆積の履歴を新しく作り直すことができるように構成されてもよい。この場合、全てのメッシュ領域について履歴を作り直すように構成してもよいし、堆積確率または堆積の発生頻度が変化したメッシュ領域のみ履歴を再生成(リセット)、つまり作り直すように構成してもよい。履歴の再生成は、堆積確率または堆積の発生頻度が所定値以上変化すると実行するように構成されてもよい。また、作業者が何らかの指示をすることで、履歴の再生成を行うように構成することもできる。
【0057】
このような、履歴の再生成を自動的に行うことができる実施形態について説明する。本実施形態においては、切屑認識部43が第1の履歴が存在するか確認し、第1の履歴の有無によって制御を変更することができる。切屑認識部43は、第1の履歴が存在しない場合、上述したように第1の算出結果を記録し、それに基づいて算出頻度を設定する。第1の履歴が存在する場合、切屑認識部43は、各メッシュ領域に設定された算出頻度に応じて、当該メッシュ領域に対して切屑の量を判定するか判断する。切屑の量を判定しない場合、当該メッシュ領域に対しては切屑の量を判定せず、次に撮像した撮像画像から作成したメッシュ領域に対して、再度切屑の量を判定するか判断する。切屑の量を判定する場合、切屑認識部43は、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する。
【0058】
そして、算出結果記憶部64は、第1の履歴が存在する場合に切屑認識部43で算出した、切屑についての検出判定確率の結果を第2の算出結果としてメッシュ領域ごとに記憶する。任意のメッシュ領域の第2の算出結果を所定回数分記憶すると、履歴生成部65は、当該メッシュ領域の第2の履歴を生成する。当該所定回数は、第1の算出結果から第1の履歴を生成する際に用いた回数と同じ回数でもよいし、第1の履歴生成時の所定回数に対して1/2、1/5または1/10の回数など異なるように設定してもよい。また、当該メッシュ領域について設定された算出頻度に応じて調整するように設定されてもよい。履歴生成部65は、第2の履歴から、当該メッシュ領域の切屑の第2の堆積確率を算出することができる。第2の堆積確率は、第1の堆積確率と同じく「切屑有りと判定した回数/総検出回数」として算出できる。
【0059】
第2の堆積確率は、更新することができる。例えば、あるメッシュ領域の第2の履歴を生成した後、当該メッシュ領域についての検出判定確率の第2の算出結果をさらに記憶し、所定回数分記憶すると第2の履歴を更新するように制御されてもよい。また、あるメッシュ領域の第2の履歴生成後、当該メッシュ領域についての検出判定確率の第2の算出結果を所定回数分記憶した以降はさらに記憶するたびに、第2の履歴を更新するように制御されてもよい。このように第2の履歴を更新できるように構成することで、最新の検出判定確率を考慮した第2の履歴を生成することができる。
【0060】
履歴生成部65は、任意のメッシュ領域に関して、第1の堆積確率と第2の堆積確率とを比較して、顕著な差があった場合、当該メッシュ領域の算出結果および関連する履歴を削除することができる。例えば、第1の堆積確率が30%の場合、第2の堆積確率が第1の堆積確率の50%〜150%の範囲でない場合、すなわち第2の堆積確率が15%〜45%の範囲にない場合、顕著な差があるとしてもよい。また、例えば、第1の堆積確率±20%の範囲にない場合、すなわち第2の堆積確率が10%〜50%の範囲にない場合、顕著な差があるとしてもよい。これらの数字は一例であり、任意の値を設定してもよい。また、顕著な差の判断方法もこれに限らず任意の方法で設定することができる。
【0061】
画像処理装置30は、算出結果および履歴を削除後、必要に応じて、再度、工作機械内を撮像した撮像画像から、メッシュ領域を作成する。切屑認識部43がメッシュ領域について切屑の量を判定する際、当該メッシュ領域の第1の履歴を削除しているため、第1の履歴が存在せず、第1の履歴を生成するように制御される。これによって、堆積確率が変化した場合、当該メッシュ領域の切屑の堆積の履歴を新しく作り直すことができ、加工するワークの形状の変更などにより使用環境が変化したとしても、画像処理装置の処理負荷を軽減しつつ、より正確に切屑を認識するように制御することができる。
【0062】
以上が、堆積確率が変化した場合に履歴を自動的に新しく作り直す制御の実施形態の一例である。堆積の発生頻度を算出して制御する場合も、堆積確率と同様に、堆積の発生頻度の変化に応じて、履歴を新しく作り直すことができる。
【0063】
上述したように、履歴の再生成は、作業者の指示により任意のタイミングで行うこともできる。例えば、加工するワークを変更した際、作業者が工作システム1の任意の装置に設けられた任意の入力部を操作すると(例えば、コンピュータの入力装置であるマウスによってコンピュータのディスプレイに表示された所定の領域をクリックすると)、履歴の再生成が行われるように設定することができる。また、加工するワークを変更した際、作業者が工作機械の加工プログラムを変更前のワーク用から変更後のワーク用のプログラムに変えると履歴の再生成が行われるなど、ワーク変更時に作業者が行う動作に連動して履歴の再生成が行われるように設定してもよい。
【0064】
この場合、履歴生成部65は、上記したような指示に応じて、各メッシュ領域の指示以前に生成された算出結果および関連する履歴を削除し、上述したような処理によって履歴を再生成する。履歴の再生成は、全てのメッシュ領域の位置に関して行ってもよいし、所定のメッシュ領域の位置のみに関して行ってもよい。例えば、作業者の指示による履歴の再生成を行わないメッシュ領域の位置をあらかじめ指定してもよい。これにより、例えば側面18に関する位置など、経験的に切屑があまり堆積しない領域について、再生成を行わずに処理することができる。また、上記とは逆に、履歴の再生成を行うメッシュ領域の位置を指定してもよい。
【0065】
本実施形態において、メッシュ領域の大きさは、全て同一サイズで記載している。しかし、例えばパレット14、テーブル16またはパレット14上に載っているワークなど、工作機械10内で撮像部12に対して位置が変化する移動部品の場合、同じような大きさの切屑であっても撮像部12との距離が変化することで、撮像画像上での大きさが変動する。すなわち、撮像部12と切屑との距離が遠いとき、切屑は撮像画像上で小さくなり、撮像部12と切屑との距離が近いとき、切屑は撮像画像上で大きくなる。このように撮像画像上での切屑の大きさが変化すると、メッシュ領域内の切屑の大きさが適切ではなくなり検出判定確率が低下する恐れがある。
【0066】
これに対応するため、部分的にメッシュ領域の大きさを変更できるように構成してもよい。例えば、機械座標取得部13で取得した位置情報を用いて、その位置に応じて移動部品が表示されているメッシュ領域の大きさを変更してもよい。また、撮像画像に表示された切屑の分解能が高くなると、当該部分のメッシュ領域を大きくするようにしてもよい。メッシュ領域内の切屑の大きさに差があったとしても、このようにメッシュ領域の大きさを変更することで、より正確に切屑の有無および量について判定することができる。
【0067】
(再学習用画像の判別の制御例)
次に、本実施形態における工作システム1の再学習用画像の判別に関する制御例について、図5のフローチャートを参照しつつ説明する。図5は、本実施形態における工作システム1の再学習用画像の判別の動作例を示すフローチャートである。
【0068】
まず、工作機械10にワークが搬入され、加工が開始される(S10)。当該加工によって切屑が発生する。
【0069】
次に工作機械10の撮像部12が工作機械内を撮像し(S11)、画像処理装置30の取得部41が撮像画像を取得する(S12)。メッシュ分割部42は、ステップS12で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する(S13)。切屑認識部43は、ステップS13で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する(S14)。
【0070】
そして再学習判別部60は、ステップS14で算出された各メッシュ領域の検出判定確率を所定の閾値と比較して、当該メッシュ領域を再学習するべきか判別する(S15)。任意のメッシュ領域の検出判定確率が所定の閾値より低い場合、当該メッシュ領域を再学習画像記憶部61に出力する。再学習画像記憶部61は、当該メッシュ領域を記憶する(S16)。
【0071】
検出判定確率が所定の閾値より低いメッシュ領域を全て記憶した後、またはステップS15において検出判定確率が所定の閾値より低いメッシュ領域がない場合、ワークの加工が継続していれば再度ステップS11へと戻り、撮像画像を取得する。加工が終了している場合、工作システム1の動作を終了する(S17)。以上が、再学習用画像の判別の制御例である。
【0072】
工作システム1は、ステップS14において判定した切屑の有無および量に関する情報を用いて、切屑を移動させるために切屑が存在する領域へとクーラントを放出するように制御することもできる。ステップS17において加工が終了していたとしても切屑が残っていれば、再度ステップS11へと戻るように制御してもよい。
【0073】
(切屑検出の処理負荷軽減の制御例)
次に、本実施形態における工作システム1の切屑検出の処理負荷軽減に関する制御例について、図6A図6Cのフローチャートを参照しつつ説明する。図6A図6Cは、本実施形態における工作システム1の切屑検出の処理負荷軽減の動作例を示すフローチャートである。
【0074】
まず、工作機械10にワークが搬入され、加工が開始される(S30)。当該加工によって切屑が発生する。
【0075】
次に工作機械10の撮像部12が工作機械内を撮像し(S31)、画像処理装置30の取得部41が撮像画像を取得する(S32)。メッシュ分割部42は、ステップS32で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する(S33)。
【0076】
切屑認識部43は、後述する第1の履歴が存在するかどうかを確認する(S34)。第1の履歴が存在しない場合、図6Bに示す制御を行う(S1A)。第1の履歴が存在する場合、図6Cに示す制御を行う(S2A)。
【0077】
ステップS1Aで表している、第1の履歴が存在しない場合について説明する。図6Bは、本実施形態における工作システム1の画像処理装置30に関して、第1の履歴を生成する、第1の履歴生成工程の動作例を示すフローチャートである。
【0078】
まず、切屑認識部43は、ステップS33で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する(S35)。そして、算出結果記憶部64は、各メッシュ領域について切屑認識部43が判定した第1の算出結果を記憶する(S36)。
【0079】
履歴生成部65は、算出結果記憶部64で記憶された第1の算出結果が所定の回数を超えると(S37)、当該第1の算出結果よりメッシュ領域ごとに第1の履歴を生成する(S38)。ステップS37において、第1の算出結果が所定の回数より少ないと、ステップS1Aは終了し、後述するステップS41へと進む。
【0080】
履歴生成部65は、ステップS38で生成された第1の履歴から当該メッシュ領域での切屑の第1の堆積確率を算出する(S39)。算出頻度設定部66は、算出された第1の堆積確率に応じて、切屑認識部43での当該メッシュ領域における切屑の算出頻度を設定し(S40)、ステップS1Aは終了する。そして、後述する第2の履歴は存在しないため(S48)、加工継続中であればステップS31へと戻り(S41)、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。
【0081】
また、ステップS34において第1の履歴が存在している場合、ステップS35以降において異なる制御を行う(S2A)。ステップS34における判定は、メッシュ領域ごとに行うことができる。すなわち、あるメッシュ領域においては、ステップS35以降の制御が行われ、同一のメッシュ画像における別のメッシュ領域においては、ステップS42以降の制御が行われる、という制御も可能である。
【0082】
ステップS2Aで表している、第1の履歴が存在する場合について説明する。図6Cは、本実施形態における工作システム1の画像処理装置30に関して、第2の履歴を生成する、第2の履歴生成工程の動作例を示すフローチャートである。
【0083】
まず、第1の履歴が存在すると、切屑認識部43は、ステップS33で作成されたメッシュ画像の各メッシュ領域に設定された算出頻度によってそのタイミングにおいて切屑の有無および量を判定するか決定する(S42)。判定する場合、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する(S43)。判定しない場合、ステップS2Aは終了し、ステップS41へと進む。
【0084】
算出結果記憶部64は、各メッシュ領域について切屑認識部43が判定した第2の算出結果を記憶する(S44)。履歴生成部65は、算出結果記憶部64で記憶された第2の算出結果が所定の回数を超えると(S45)、当該第2の算出結果よりメッシュ領域ごとに第2の履歴を生成する(S46)。ステップS45における所定の回数は、ステップS37における所定の回数と異なっていてもよい。ステップS45において、第2の算出結果が所定の回数より少ないと、ステップS2Aは終了し、ステップS41へと進む。
【0085】
履歴生成部65は、ステップS46で生成された第2の履歴から当該メッシュ領域での切屑の第2の堆積確率を算出し(S47)、ステップS1Aは終了する。そして、加工継続中であり(S41)、第2の履歴が存在している場合(S48)、履歴生成部65は、第1の堆積確率と第2の堆積確率を比較する(S49)。第1の堆積確率と第2の堆積確率の差が顕著でなければ、ステップS31へと戻り(S41)、再度、工作機械内を撮像する。差が顕著であれば、当該メッシュ領域の算出結果並びに関連する第1の履歴および第2の履歴を削除し、ステップS31へと戻り(S50)、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。以上が、切屑検出の処理負荷軽減の制御例である。
【0086】
(切屑検出の処理負荷軽減の制御例)
次に、本実施形態における工作システム1の切屑検出の処理負荷軽減の別の制御例について、図7A図7Cのフローチャートを参照しつつ説明する。図7A図7Cは、本実施形態における工作システム1の切屑検出の処理負荷軽減の動作例を示すフローチャートである。
【0087】
まず、工作機械10にワークが搬入され、加工が開始される(S60)。当該加工によって切屑が発生する。
【0088】
次に工作機械10の撮像部12が工作機械内を撮像し(S61)、画像処理装置30の取得部41が撮像画像を取得する(S62)。メッシュ分割部42は、ステップS62で撮像した撮像画像を複数のメッシュ領域に分割し、メッシュ画像を作成する(S63)。
【0089】
切屑認識部43は、後述する第1の履歴が存在するかどうかを確認する(S64)。第1の履歴が存在しない場合、図7Bに示す制御を行う(S1B)。第1の履歴が存在する場合、図7Cに示す制御を行う(S2B)。
【0090】
ステップS1Bで表している、第1の履歴が存在しない場合について説明する。図7Bは、本実施形態における工作システム1の画像処理装置30に関して、第1の履歴を生成する、第1の履歴生成工程の動作例を示すフローチャートである。
【0091】
まず、切屑認識部43は、ステップS63で作成されたメッシュ画像の各メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する(S65)。そして、算出結果記憶部64は、各メッシュ領域について切屑認識部43が判定した第1の算出結果を記憶する(S66)。
【0092】
履歴生成部65は、算出結果記憶部64で記憶された第1の算出結果が所定の回数を超えると(S67)、当該第1の算出結果よりメッシュ領域ごとに第1の履歴を生成する(S68)。ステップS67において、第1の算出結果が所定の回数より少ないと、ステップS1Bは終了し、後述するステップS71へと進む。
【0093】
履歴生成部65は、ステップS68で生成された第1の履歴から当該メッシュ領域での切屑の第1の堆積の発生頻度を算出する(S69)。算出頻度設定部66は、算出された第1の堆積の発生頻度に応じて、切屑認識部43での当該メッシュ領域における切屑の算出頻度(すなわち検出インターバル)を設定し(S70)、ステップS1Bは終了する。そして、後述する第2の履歴は存在しないため(S78)、加工継続中であればステップS31へと戻り(S71)、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。
【0094】
また、ステップS64において第1の履歴が存在している場合、ステップS65以降において異なる制御を行う(S2B)。ステップS64における判定は、メッシュ領域ごとに行うことができる。すなわち、あるメッシュ領域においては、ステップS65以降の制御が行われ、同一のメッシュ画像における別のメッシュ領域においては、ステップS72以降の制御が行われる、という制御も可能である。
【0095】
ステップS2Bで表している、第1の履歴が存在する場合について説明する。図7Cは、本実施形態における工作システム1の画像処理装置30に関して、第2の履歴を生成する、第2の履歴生成工程の動作例を示すフローチャートである。
【0096】
まず、第1の履歴が存在すると、切屑認識部43は、ステップS63で作成されたメッシュ画像の各メッシュ領域に関して、前回に切屑の検出判定確率を判定してから、当該メッシュ領域において設定された算出頻度である検出インターバルが経過したかどうかによってそのタイミングにおいて切屑の有無および量を判定するか決定する(S72)。判定する場合、当該メッシュ領域に対して、切屑の有無および量に該当する検出判定確率を算出し、判定する(S73)。判定しない場合、ステップS2Bは終了し、ステップS71へと進む。
【0097】
算出結果記憶部64は、各メッシュ領域について切屑認識部43が判定した第2の算出結果を記憶する(S74)。履歴生成部65は、算出結果記憶部64で記憶された第2の算出結果が所定の回数を超えると(S75)、当該第2の算出結果よりメッシュ領域ごとに第2の履歴を生成する(S76)。ステップS75における所定の回数は、ステップS67における所定の回数と異なっていてもよい。ステップS75において、第2の算出結果が所定の回数より少ないと、ステップS2Bは終了し、ステップS71へと進む。
【0098】
履歴生成部65は、ステップS76で生成された第2の履歴から当該メッシュ領域での切屑の第2の堆積の発生頻度を算出し(S77)、ステップS1Aは終了する。そして、加工継続中であり(S71)、第2の履歴が存在している場合(S78)、履歴生成部65は、第1の堆積の発生頻度と第2の堆積の発生頻度を比較する(S79)。第1の堆積の発生頻度と第2の堆積の発生頻度の差が顕著でなければ、ステップS61へと戻り(S71)、再度、工作機械内を撮像する。差が顕著であれば、当該メッシュ領域の算出結果並びに関連する第1の履歴および第2の履歴を削除し、ステップS61へと戻り(S80)、再度、工作機械内を撮像する。加工が終了するまで上記処理を繰り返す。以上が、切屑検出の処理負荷軽減の制御例である。
【0099】
本開示に係る画像処理装置、工作機械および画像処理方法は、ハードウェア資源、例えば、プロセッサ、メモリ、およびプログラムとの協働などによって、実現される。本開示は、例示された実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能である。
【符号の説明】
【0100】
1 工作システム
10 工作機械
12 撮像部
30 画像処理装置
42 メッシュ分割部
43 切屑認識部
60 再学習判別部
61 再学習画像記憶部
62 判別閾値設定部
65 履歴生成部
66 算出頻度設定部
図1
図2
図3
図4
図5
図6A
図6B
図6C
図7A
図7B
図7C
【手続補正書】
【提出日】2020年8月21日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、
前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の存在に関する存在確率を算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率が所定値以下である場合、前記メッシュ領域を再学習する判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え
前記存在確率が、学習モデルを用いて得られた前記メッシュ領域が予め定められた項目に該当する確率であることを特徴とする、画像処理装置。
【請求項2】
前記切屑認識部における切屑の前記存在確率の算出結果を前記メッシュ領域ごとに記憶する算出結果記憶部と、
前記メッシュ領域ごとの切屑の堆積の履歴を生成し、堆積確率または堆積の発生頻度を算出する履歴生成部と、
前記堆積確率または前記発生頻度から前記切屑認識部で算出する頻度を設定する算出頻度設定部と、
をさらに備えることを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記算出頻度設定部はさらに、前記堆積確率または前記発生頻度の大きさに応じて前記切屑認識部で算出する時間的間隔を設定することを特徴とする、請求項2に記載の画像処理装置。
【請求項4】
前記履歴生成部は、前記堆積確率または前記発生頻度が所定値以上変化すると前記履歴を再生成することを特徴とする、請求項2または請求項3に記載の画像処理装置。
【請求項5】
再学習すると判別された前記メッシュ領域を他の記憶装置へ送信する再学習データ送信部、または再学習すると判別された前記メッシュ領域を用いて再学習を行う再学習部をさらに備えることを特徴とする、請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
前記予め定められた項目は、メッシュ領域に存在する切屑の量の多少若しくは切屑の有無またはその両方を示す項目であることを特徴とする、請求項1から請求項5のいずれか一項に記載の画像処理装置。
【請求項7】
内部を撮像する撮像部と、
前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の存在に関する存在確率を算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率が所定値以下である場合、前記メッシュ領域を再学習する判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え
前記存在確率が、学習モデルを用いて得られた前記メッシュ領域が予め定められた項目に該当する確率であることを特徴とする、工作機械。
【請求項8】
工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑の存在に関する存在確率を算出するステップと、
算出された前記存在確率が所定値以下である場合、前記メッシュ領域を再学習する判別するステップと、
再学習すると判別された前記メッシュ領域を記憶するステップとを有し、
前記存在確率が、学習モデルを用いて得られた前記メッシュ領域が予め定められた項目に該当する確率である、画像処理方法。
【手続補正書】
【提出日】2021年1月15日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
内部を撮像する撮像部を備える工作機械における前記撮像部で撮像された撮像画像を処理する画像処理装置であって、
前記撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目であることを特徴とする、画像処理装置。
【請求項2】
前記切屑認識部における切屑の前記存在確率の算出結果を前記メッシュ領域ごとに記憶する算出結果記憶部と、
前記メッシュ領域ごとの切屑の堆積の履歴を生成し、堆積確率または堆積の発生頻度を算出する履歴生成部と、
前記堆積確率または前記発生頻度から前記切屑認識部で算出する頻度を設定する算出頻度設定部と、
をさらに備えることを特徴とする、請求項1に記載の画像処理装置。
【請求項3】
前記算出頻度設定部はさらに、前記堆積確率または前記発生頻度の大きさに応じて前記切屑認識部で算出する時間的間隔を設定することを特徴とする、請求項2に記載の画像処理装置。
【請求項4】
前記履歴生成部は、前記堆積確率または前記発生頻度が所定値以上変化すると前記履歴を再生成することを特徴とする、請求項2または請求項3に記載の画像処理装置。
【請求項5】
再学習すると判別された前記メッシュ領域を他の記憶装置へ送信する再学習データ送信部、または再学習すると判別された前記メッシュ領域を用いて再学習を行う再学習部をさらに備えることを特徴とする、請求項1から請求項4のいずれか一項に記載の画像処理装置。
【請求項6】
内部を撮像する撮像部と、
前記撮像部で撮像された撮像画像の少なくとも一部に複数のメッシュ領域を作成するメッシュ分割部と、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出する切屑認識部と、
前記切屑認識部で算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別する再学習判別部と、
再学習すると判別された前記メッシュ領域を記憶する再学習画像記憶部と、
を備え、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目であることを特徴とする、工作機械。
【請求項7】
工作機械内部を撮像した撮像画像の少なくとも一部に複数のメッシュ領域を作成するステップと、
前記複数の前記メッシュ領域に対して、ワークを加工することで発生した切屑を認識し、前記メッシュ領域における切屑の存在に関する存在確率を予め定められた項目ごとに算出するステップと、
算出された前記存在確率がいずれも所定値以下である場合、前記メッシュ領域を再学習すると判別するステップと、
再学習すると判別された前記メッシュ領域を記憶するステップとを有し、
前記メッシュ領域における前記切屑の存在は、前記メッシュ領域内に存在する切屑の量の多少若しくは切屑の有無またはその両方を含み、
前記存在確率は、任意のメッシュ領域を入力、当該任意のメッシュ領域に対する切屑の存在に関する前記予め定められた項目のいずれかを出力とする教師データを用いて学習させた学習モデルに、前記撮像画像に作成された前記メッシュ領域を入力して、前記メッシュ領域における前記切屑の存在を認識し、前記メッシュ領域における前記切屑の存在が前記予め定められた項目のそれぞれに該当する確率を前記予め定められた項目ごとに算出された確率であり、
前記予め定められた項目は、前記メッシュ領域内での前記切屑の存在を切屑の量の多少若しくは切屑の有無またはその両方により分類して示すように構成された項目である、画像処理方法。