(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024055382
(43)【公開日】2024-04-18
(54)【発明の名称】画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラム
(51)【国際特許分類】
G06V 10/74 20220101AFI20240411BHJP
B23K 26/03 20060101ALI20240411BHJP
G06T 7/00 20170101ALI20240411BHJP
【FI】
G06V10/74
B23K26/03
G06T7/00 300D
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022162255
(22)【出願日】2022-10-07
(71)【出願人】
【識別番号】390014672
【氏名又は名称】株式会社アマダ
(74)【代理人】
【識別番号】110001612
【氏名又は名称】弁理士法人きさらぎ国際特許事務所
(72)【発明者】
【氏名】西野 将伍
(72)【発明者】
【氏名】釼持 秀樹
(72)【発明者】
【氏名】樋渡 啓将
(72)【発明者】
【氏名】▲桑▼野 寛人
【テーマコード(参考)】
4E168
5L096
【Fターム(参考)】
4E168CA06
4E168CB04
4E168CB15
4E168CB23
4E168CB24
4E168DA02
4E168DA24
4E168DA26
4E168DA28
4E168DA29
4E168EA15
4E168EA17
4E168FB01
5L096AA06
5L096EA02
5L096EA37
5L096GA55
5L096HA08
5L096JA09
(57)【要約】
【課題】撮影画像からワークのみを認識できる画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラム。
【解決手段】ワークを含む被認識画像を取得する画像取得処理と、前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出処理と、テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理とを実行可能に構成されており、前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である。
【選択図】
図13
【特許請求の範囲】
【請求項1】
ワークを含む被認識画像を取得する画像取得処理と、
前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出処理と、
テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、
前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理と
を実行可能に構成されており、
前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である
画像処理装置。
【請求項2】
前記被認識画像をぼかす被認識画像ぼかし処理を更に実行可能に構成されており、
前記マッチング処理は、ぼかし処理がされた前記テンプレート画像と、前記被認識画像ぼかし処理がされた前記被認識画像とをマッチングする
請求項1に記載の画像処理装置。
【請求項3】
前記テンプレート画像を格納する記憶部を備え、
前記テンプレート画像は、前記被認識画像とは異なる画像に基づいて事前に生成される
請求項1又は2に記載の画像処理装置。
【請求項4】
前記テンプレート画像は、前記被認識画像から生成される
請求項1又は2に記載の画像処理装置。
【請求項5】
前記マッチング処理は、複数の前記テンプレート画像で構成されるテンプレート画像群と、前記被認識画像とをマッチングするよう構成されており、
前記テンプレート画像群は、前記被認識画像と同じ向きで撮影された第1のテンプレート画像と、前記第1のテンプレート画像を180度回転させた第2のテンプレート画像と、前記第1のテンプレート画像を左右反転させた第3のテンプレート画像と、前記第1のテンプレート画像を上下反転させた第4のテンプレート画像とから選ばれる2以上の前記テンプレート画像を含む
請求項1又は2に記載の画像処理装置。
【請求項6】
ワークを加工するためのレーザ加工機と、
前記ワークを撮影するためのカメラと、
画像処理装置と
を備え、
前記画像処理装置は、
前記ワークを含む被認識画像を取得する画像取得処理と、
前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出処理と、
テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、
前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理と
を実行可能に構成されており、
前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である
レーザ加工システム。
【請求項7】
ワークを含む被認識画像を取得する画像取得工程と、
前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出工程と、
テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング工程と、
前記マッチング工程の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外工程と
を備え、
前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である
ワーク認識方法。
【請求項8】
ワークを含む被認識画像を取得する画像取得処理と、
前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出する検出処理と、
テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、
前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理と
を画像処理装置に実行させ、
前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である
ワーク認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラムに関する。
【背景技術】
【0002】
従来、レーザ加工領域内の板金を加工するためのレーザ加工機と、レーザ加工領域を撮影するカメラと、板金を照らす照明と、カメラにより撮影された画像を処理するプロセッサとを備える板金加工システムがある(特許文献1等)。レーザ加工機は、レーザ加工領域内に第1方向に並んで設けられる複数の突起を有する板状の板金支持部材を備え、板金は複数の突起上に配置される。
【0003】
また、カメラは、レーザ加工機の高さ方向から見て、カメラの光軸が前記第1方向に対して実質的に平行な向きを向くように配置されており、プロセッサは、画像中の明領域を、板金の加工可能領域として検出する処理を実行する。従来の板金加工システムは、このような構成を備えることにより、板金支持部材がカメラによって撮影されたとしても、板金の形状や寸法を撮影画像から認識することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の板金加工システムでは、上述したように、レーザ加工機の高さ方向から見て、カメラの光軸が前記第1方向に対して実質的に平行な向きを向くようにカメラを配置する必要があり、特定の位置及び角度から撮影された画像でなければ板金の形状や寸法を撮影画像から認識することができないという問題がある。
【0006】
本発明の一態様は、撮影画像からワークのみを認識できる画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラムである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る画像処理装置は、ワークを含む被認識画像を取得する画像取得処理と、前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出処理と、テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理とを実行可能に構成されており、前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である。
【0008】
本発明の一態様に係るレーザ加工システムは、ワークを加工するためのレーザ加工機と、前記ワークを撮影するためのカメラと、画像処理装置とを備え、前記画像処理装置は、前記ワークを含む被認識画像を取得する画像取得処理と、前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出処理と、テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理とを実行可能に構成されており、前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である。
【0009】
本発明の一態様に係るワーク認識方法は、ワークを含む被認識画像を取得する画像取得工程と、前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出するワーク検出工程と、テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング工程と、前記マッチング工程の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外工程とを備え、前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である。
【0010】
本発明の一態様に係るワーク認識プログラムは、ワークを含む被認識画像を取得する画像取得処理と、前記被認識画像から前記ワークを含む可能性のある一又は複数の検出領域を検出する検出処理と、テンプレート画像との一致度が所定の値以上の前記被認識画像の領域をマッチング領域として識別するマッチング処理と、前記マッチング処理の結果に基づいて少なくとも前記検出領域内から前記マッチング領域を除外する除外処理とを画像処理装置に実行させ、前記テンプレート画像は、前記ワークを支持するワーク支持部の一部を含む画像である。
【0011】
本発明の一態様に係る画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラムによれば、ワークを含む可能性のある検出領域からワーク支持部をマッチング領域として除外するため、撮影画像からワークのみを認識できる。
【発明の効果】
【0012】
本発明の一態様に係る画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラムによれば、撮影画像からワークのみを認識できる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、本発明の実施形態に係るレーザ加工システムを示す概略図である。
【
図2】
図2は、本実施形態のレーザ加工機を示す概略図である。
【
図3】
図3は、本実施形態のレーザ加工ヘッドを示す概略図である。
【
図4】
図4は、本実施形態の制御装置を示す機能ブロック図である。
【
図5】
図5は、本実施形態のワーク検出処理の一例を示す図である。
【
図6】
図6は、本実施形態のテンプレート画像の一例を示す図である。
【
図7】
図7は、本実施形態のテンプレート画像の一例を示す図である。
【
図8】
図8は、本実施形態のテンプレート画像群の一例を示す図である。
【
図9】
図9は、本実施形態のマッチング処理の一例を示す概略図である。
【
図10】
図10は、本実施形態の被認識画像ぼかし処理の一例を示す図である。
【
図11】
図11は、本実施形態のテンプレート画像のぼかし処理の一例を示す図である。
【
図12】
図12は、本実施形態のマッチング処理の一例を示す概略図である。
【
図13】
図13は、本実施形態の除外処理の一例を示す図である。
【
図14】
図14は、本実施形態の除外処理の一例を示す図である。
【
図15】
図15は、本実施形態のワーク認識方法の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明を実施するための最良の実施形態について、図面を用いて説明する。なお、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0015】
[本実施形態に係るレーザ加工システムの全体構成]
図1は、本発明の実施形態に係るレーザ加工システムを示す概略図である。
まず、
図1を参照して、本発明の実施形態に係るレーザ加工システム1を概説する。本実施形態に係るレーザ加工システム1は、概略的には、
図1に示すように、ワークWを加工するためのレーザ加工機10と、ワークWを撮影するためのカメラ50と、画像処理装置として機能する制御装置100とを備える。
【0016】
[レーザ加工機の構成]
図2は、本実施形態のレーザ加工機を示す概略図である。
レーザ加工機10は、
図1及び
図2に示すように、筐体11と、筐体11内に設けられた支持台12と、支持台12上に設けられた加工テーブル13と、加工テーブル13の上部においてワークWを支持するワーク支持部14とを備える。ワーク支持部14は、例えば、x軸方向に並んで設けられる複数の突起14aを有する板状の部材であり、ワークWを載置可能に構成されている。
【0017】
また、レーザ加工機10は、ワークWにレーザ光(Laser Beam)Lを照射するレーザ加工ヘッド30と、レーザ加工ヘッド30を移動させる移動機構20と、レーザ光Lを生成して射出するレーザ発振器(図示せず)と、レーザ発振器より射出されたレーザ光Lをレーザ加工ヘッド30へと伝送するプロセスファイバ(図示せず)と、アシストガス供給装置(図示せず)とを備える。
【0018】
移動機構20は、レーザ加工ヘッド30を駆動し、レーザ加工ヘッド30とワークWとを相対的に移動させるよう構成されている。移動機構20は、ワーク支持部14の上方に設けられた一対のガイドレール(図示せず)と、一対のガイドレール間に掛け渡されたキャリッジベース22と、キャリッジベース22に設けられたキャリッジ24とを備える。
【0019】
一対のガイドレールは、支持台12の長手方向(z軸方向)に沿って設けられている。キャリッジベース22は、キャリッジベース駆動部(図示せず)の駆動により、z軸方向に移動可能に構成されている。キャリッジ24は、キャリッジ駆動部(図示せず)の駆動により支持台12の長手方向と直交する方向(x軸方向)に移動可能に構成されている。また、キャリッジ24は、先端部にレーザ加工ヘッド30が取り付けられている。
【0020】
移動機構20は、このような構成を備えることにより、レーザ加工ヘッド30をワーク支持部14上に載置されたワークWの表面に沿って、x軸方向、z軸方向、又は、x軸とz軸との任意の合成方向に移動させるよう構成されている。なお、移動機構20は、レーザ加工ヘッド30をワークWの表面に沿って移動させる代わりに、レーザ加工ヘッド30の位置が固定されており、ワークWがレーザ加工ヘッド30に対して相対的に移動するように構成されていてもよい。
【0021】
レーザ発振器は、レーザ光Lを生成し、プロセスファイバを介してレーザ光Lをレーザ加工ヘッド30に供給する。レーザ発振器としては、例えば、レーザダイオードより発せられる種光が共振器でYbなどを励起させ増幅させて所定の波長のレーザ光Lを射出するタイプ、又はレーザダイオードより発せられるレーザ光Lを直接利用するタイプのレーザ発振器が好適に用いられる。レーザ発振器は、例えば固体レーザ発振器としてはファイバレーザ発振器、YAG(Yttrium Aluminum Garnet)レーザ発振器、ディスクレーザ発振器、DDL(Direct Diode Laser)発振器等が挙げられる。
【0022】
レーザ発振器は、波長900nm~1100nmの1μm帯のレーザ光Lを射出する。例えば、DDL発振器は、波長910nm~950nmのレーザ光Lを射出し、ファイバレーザ発振器は、波長1060nm~1080nmのレーザ光Lを射出する。
【0023】
レーザ加工ヘッド30は、レーザ発振器からプロセスファイバを介して伝送されたレーザ光Lをワーク支持部14上のワークWに向かって照射可能に構成されており、レーザ加工ヘッド駆動部(図示せず)の駆動によりy軸方向に移動可能に構成されている。
【0024】
図3は、本実施形態のレーザ加工ヘッドを示す概略図である。
具体的には、レーザ加工ヘッド30は、
図3に示すように、レーザ光Lの照射中心軸を含むハウジング30aを含み、このハウジング30aの内部に、プロセスファイバの出射端から射出されたレーザ光Lが入射されるコリメータレンズ31と、ガルバノスキャナユニット32と、ガルバノスキャナユニット32から射出されたレーザ光Lをy軸方向の下方に向けて反射させるベンドミラー35とを含む。また、レーザ加工ヘッド30は、ベンドミラー35で反射したレーザ光Lを集束させる集光レンズ36を含んでいる。
【0025】
ハウジング30aの先端部分には、レーザ光LをワークWに照射するための円形の開口部を有するノズル30bが設けられている。このノズル30bは、溶融したワークWを除去するために、アシストガス供給装置から供給されるガス流をレーザ光Lと同軸でワークWに向けるためのノズル機能を有し、ハウジング30aに対して着脱自在に設けられる。
【0026】
集光レンズ36は、レーザ光Lの焦点位置を調整するために、図示していない駆動部及び移動機構によって、ワークWに接近する方向及びワークWから離間する方向に移動自在に構成されている。
【0027】
ガルバノスキャナユニット32は、第1スキャン部33と、第2スキャン部34とを有する。第1スキャン部33は、コリメータレンズ31より射出されたレーザ光Lを反射する第1スキャンミラー33aと、第1スキャンミラー33aを所定の角度となるように回転させる第1駆動部33bとを有する。第2スキャン部34は、第1スキャンミラー33aから射出されたレーザ光Lを反射する第2スキャンミラー34aと、第2スキャンミラー34aを所定の角度となるように回転させる第2駆動部34bとを有する。
【0028】
なお、レーザ加工機10は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。また、レーザ加工機10は、上述した構成に限定されず、種々の構成を採用することが可能である。
【0029】
[カメラの構成]
カメラ50は、
図1及び
図2に示すように、レーザ加工機10内、例えばレーザ加工機10の筐体11内の天井部に取り付けられており、ワーク支持部14上に載置されたワークWを撮影可能に構成されている。また、カメラ50は、撮像部52とレンズ54とを含む。撮像部52は、撮像素子(図示せず)及びシャッター(図示せず)を有する。また、レンズ54は、レーザ加工機10のワーク支持部14の全体を撮影可能な画角を有することが好ましい。
【0030】
このような構成を備えることにより、カメラ50は、レーザ加工機10のワーク支持部14上のどの位置にワークWが載置されていても、カメラ50の位置を変えることなくワークWを撮影することが可能である。また、レーザ加工機10のワーク支持部14上に複数のワークWが載置されている場合、カメラ50は、全てのワークWを撮影することが可能である。
【0031】
カメラ50は、撮影した撮影画像データを制御装置100に送信するよう構成されている。なお、本実施形態に係るカメラ50は、カメラ50からデジタル信号(撮影画像データ)を直接制御装置100に出力する構成であってもよいし、カメラ50から出力されたアナログ信号(撮影画像信号)をA/Dコンバータ(図示せず)等でデジタル信号(撮影画像データ)に変換して制御装置100に出力する構成であってもよい。また、カメラ50は、記憶部(図示せず)を含み、一度その記憶部に格納した撮影画像データを制御装置100に送信してもよいし、カメラ50は、記憶部を含まず、撮影画像データを制御装置100に直接送信してもよい。
【0032】
[制御装置の構成]
図4は、本実施形態の制御装置を示す機能ブロック図である。
制御装置100は、レーザ加工機10及びカメラ50を制御する制御装置の一例である。制御装置100は、デスクトップパソコン(desktop personal computer)や、ノートパソコン(laptop computer)、タブレット(tablet)端末、CNC(Computerized Numerical Control)数値制御装置等の電子計算機であり、
図4に示すように、入力部110と、表示部120と、制御部130と、記憶部140とを含む。
【0033】
入力部110は、例えば、キーボード(Keyboard)、マウス(Mouse)、タッチパッド(Touchpad)、ジョイスティック(Joystick)等の入力機器により構成されており、入力部110を操作することにより、制御装置100において通常必要とされる情報入力の機能に加え、例えば、レーザ加工機10で使用する加工プログラム(NC(Numerical Control)制御プログラム)の選択等の操作をすることができる。
【0034】
表示部120は、表示装置としてのディスプレイ(Display)を有しており、制御装置100において通常必要とされる画面表示の機能に加え、例えば、加工プログラムの選択画面や、カメラ50が撮影した撮影画像、制御部130の後述する画像処理部135の処理結果等を表示する。また、表示部120は、入力部110の機能を有するタッチパネル(Touch screen)で構成され得る。表示部120がタッチパネルで構成された場合は、ユーザは、例えば表示部120を操作することにより、加工プログラムの選択等の各種の情報を制御装置100に対して入力可能となる。
【0035】
なお、入力部110及び表示部120の構成は、上述した構成に限定されず、これら入力部110及び表示部120に代わり、同等の機能を有する構成であれば(例えば、遠隔から利用可能な表示手段や入力手段等)、これに限定されるものではない。
【0036】
制御部130は、例えば、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を有する統合型演算処理装置により構成される。制御部130は、加工制御部131と、カメラ制御部133と、画像処理部135とを含む。加工制御部131は、ユーザが選択した加工プログラムを記憶部140から読み出し、読み出した加工プログラムに従ってレーザ加工機10によるレーザ加工を制御するよう構成されている。
【0037】
カメラ制御部133は、記憶部140に格納されている撮影プログラムに従ってカメラ50を制御するよう構成されている。具体的には、カメラ制御部133は、レーザ加工機10によるレーザ加工が完了したワーク支持部14上のワークWを撮影するようカメラ50を制御する。また、カメラ制御部133は、カメラ50が撮影した撮影画像データを取得し、記憶部140の後述する撮影画像格納部141に格納可能に構成されている。
【0038】
さらに、カメラ制御部133は、後述するテンプレート画像Tの元となる撮影画像データを取得するために、ワークWが載置されていない状態でワーク支持部14を撮影するようにカメラ50を制御してもよいし、レーザ加工機10によるレーザ加工前のワーク支持部14上のワークWを撮影するようにカメラ50を制御してもよい。
【0039】
画像処理部135は、ワークWを含む被認識画像Iを取得する画像取得処理を実行可能に構成されている。具体的には、画像処理部135は、カメラ制御部133が取得したワークWを含む撮影画像データを記憶部140の撮影画像格納部141から読み出し、被認識画像Iを取得する。なお、画像処理部135は、カメラ50が撮影した撮影画像データを即時に読み出してもよいし、過去に撮影されたワークWを含む撮影画像データを読み出してもよい。
【0040】
図5は、本実施形態のワーク検出処理の一例を示す図である。
また、画像処理部135は、被認識画像IからワークWを含む可能性のある一又は複数の検出領域DAを検出するワーク検出処理を実行可能に構成されている。具体的には、画像処理部135は、被認識画像Iを2値化した後に、2値化した被認識画像Iから有効なパス(ワークWの外枠及び抜き穴の輪郭等)を取得し、検出領域DAを検出する。そして、画像処理部135は、
図5に示すように、検出領域DAの外周を被認識画像I上に描画する。なお、本実施形態では、検出領域DAの外周を白い点線で示しているが、これに限定されない。
【0041】
画像処理部135は、
図5に示すように、ワーク検出処理において、ワークWを含む検出領域DAの他に、ワークWを実際には含んでいない検出領域DAを誤検出することがある。そのため、本実施形態における画像処理部135は、テンプレート画像Tとの一致度が所定の値以上の被認識画像Iの領域をマッチング領域MAとして識別するマッチング処理と、マッチング処理の結果に基づいて少なくとも検出領域DA内からマッチング領域MAを除外する除外処理とを実行可能に構成されている。
【0042】
すなわち、マッチング処理及び除外処理によって、ワークWを実際には含んでいない検出領域DAを除外することでワークWのみを認識するように構成されている。以下マッチング処理及び除外処理について詳述する。
【0043】
図6は、本実施形態のテンプレート画像の一例を示す図である。
まず、マッチング処理で使用するテンプレート画像Tについて説明する。テンプレート画像Tは、ワーク支持部14の一部を含む画像である。具体的には、テンプレート画像Tは、
図6に示すように、ワーク支持部14を含む撮影画像から突起14aを含むワーク支持部14の一部を切り出して生成される。
【0044】
図7は、本実施形態のテンプレート画像の一例を示す図である。
なお、テンプレート画像Tは、被認識画像Iとは異なる画像に基づいて事前に生成されてもよいし、
図6に示すように、被認識画像Iから生成されてもよい。被認識画像Iと異なる画像としては、例えば、
図7に示すように、ワークWが載置されていない状態のワーク支持部14をカメラ50で撮影した撮影画像や、レーザ加工機10によるレーザ加工前のワーク支持部14上のワークWを撮影した撮影画像、過去の撮影画像等が挙げられる。
【0045】
図8は、本実施形態のテンプレート画像群の一例を示す図である。
本実施形態におけるマッチング処理は、複数のテンプレート画像Tで構成されるテンプレート画像群と、被認識画像Iとをマッチングするよう構成されている。テンプレート画像群は、
図7に示すように、被認識画像Iと同じ向きで撮影された第1のテンプレート画像Taと、第1のテンプレート画像Taを180度回転させた第2のテンプレート画像Tbと、第1のテンプレート画像Taを左右反転させた第3のテンプレート画像Tcと、第1のテンプレート画像Taを上下反転させた第4のテンプレート画像Tdとから選ばれる2以上のテンプレート画像Tを含む。なお、テンプレート画像群は、第1のテンプレート画像Taから第4のテンプレート画像Tdまでの全てを含むことが好ましいが、これに限定されない。
【0046】
図9は、本実施形態のマッチング処理の一例を示す概略図である。
マッチング処理は、
図9に示すように、上述したテンプレート画像Tと、そのテンプレート画像Tと同じ大きさに被認識画像Iを区画した各領域との一致度を調べる。例えば、-1から+1の間で算出される一致度(類似度)を最小値が0、最大値が+1となるように規格化し、一致度が所定の値、例えば、0.99以上(99%以上)の領域をマッチング領域MAとして識別する。なお、
図9中及び後述する
図12中の矢印は、マッチング処理のイメージを示すものであり、矢印の向き及び配置は、実際のマッチング処理の順序等を示すものではない。
【0047】
図10は、本実施形態の被認識画像ぼかし処理の一例を示す図である。
さらに、本実施形態における画像処理部135は、
図10に示すように、被認識画像Iをぼかす被認識画像ぼかし処理を更に実行可能に構成されており、マッチング処理は、ぼかし処理がされたテンプレート画像T′と、被認識画像ぼかし処理がされた被認識画像I′とをマッチングする。
【0048】
図11は、本実施形態のテンプレート画像のぼかし処理の一例を示す図である。
図12は、本実施形態のマッチング処理の一例を示す概略図である。
画像処理部135は、
図11に示すように、テンプレート画像群に含まれる各テンプレート画像Tに被認識画像ぼかし処理と同条件のぼかし処理を実施する。ぼかし処理は、バイラテラルフィルタ(Bilateral Filter)が好ましいが、これに限定されない。例えば、ガウシアンフィルタ(Gaussian Filter)でもよい。画像処理部135は、
図12に示すように、ぼかし処理がされたテンプレート画像T′との一致度が所定の値以上の被認識画像ぼかし処理がされた被認識画像I′の領域をマッチング領域MAとして識別する。
【0049】
図13及び
図14は、本実施形態の除外処理の一例を示す図である。
そして、画像処理部135は、
図13に示すように、マッチング処理の結果に基づいて被認識画像Iからマッチング領域MAを除外する除外処理を行い、残った検出領域DAをワークWとして認識する。制御装置100は、このような構成を備えることにより、被認識画像IからワークWのみを認識することができる。また、
図14に示すように、ワークWがワーク支持部14上の別の位置に配置されている場合でも、制御装置100は、ワークWのみを認識することができる。なお、本実施形態において、マッチング領域MAは、白色に塗りつぶされているが、これに限定されない。
【0050】
また、本実施形態において、マッチング処理及び除外処理は、ワーク検出処理よりも後に行われるが、これに限定されない。マッチング処理と除外処理により、被認識画像Iの全体からマッチング領域MAを除外した後に、ワーク検出処理により、被認識画像Iの残った領域からワークWを含む可能性のある一又は複数の検出領域DAを検出することで、ワークWのみを認識することも可能である。
【0051】
記憶部140は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の記憶媒体を有すると共に、様々なデータを読み書き可能に記憶する。また、記憶部140は、
図4に示すように、撮影画像格納部141と、テンプレート格納部143と、加工プログラム格納部145とを備える。さらに、記憶部140は、ワーク認識プログラム147と、撮影プログラムと、制御装置100の各部の制御に必要なプログラムとを格納する。
【0052】
撮影画像格納部141は、カメラ50で撮影された撮影画像データを格納する。撮影画像格納部141が格納する撮影画像データは、例えば、レーザ加工後のワークWを含む被認識画像Iや、ワークWが載置されていない状態のワーク支持部14の撮影画像、レーザ加工前のワークWを含む撮影画像等の撮影画像データが挙げられる。また、撮影画像格納部141は、カメラ50以外のカメラで撮影された撮影画像データ等を格納してもよい。
【0053】
テンプレート格納部143は、制御部130の画像処理部135が生成したテンプレート画像Tと、複数のテンプレート画像Tで構成されるテンプレート画像群とを格納する。また、テンプレート格納部143は、ぼかし処理がされたテンプレート画像T′を更に格納してもよい。加工プログラム格納部145は、レーザ加工機10によるレーザ加工を制御するための加工プログラムを格納する。
【0054】
ワーク認識プログラム147は、ワークWを含む被認識画像Iを取得する画像取得処理と、被認識画像IからワークWを含む可能性のある一又は複数の検出領域DAを検出する検出処理と、テンプレート画像Tとの一致度が所定の値以上の被認識画像Iの領域をマッチング領域MAとして識別するマッチング処理と、マッチング処理の結果に基づいて少なくとも検出領域DA内からマッチング領域MAを除外する除外処理とを制御装置100に実行させる。
【0055】
[本実施形態に係るワーク認識方法]
次に、本実施形態に係るレーザ加工システム1によるワーク認識方法について説明する。本実施形態に係るワーク認識方法は、概略的には、ワークWを含む被認識画像Iを取得する画像取得工程と、被認識画像IからワークWを含む可能性のある一又は複数の検出領域DAを検出するワーク検出工程と、テンプレート画像Tとの一致度が所定の値以上の被認識画像Iの領域をマッチング領域MAとして識別するマッチング工程と、マッチング工程の結果に基づいて少なくとも検出領域DA内からマッチング領域MAを除外する除外工程とを備える。
【0056】
また、本実施形態に係るワーク認識方法は、被認識画像Iをぼかす被認識画像ぼかし工程を更に備え、マッチング工程は、ぼかし処理がされたテンプレート画像T′と、被認識画像ぼかし処理がされた被認識画像I′とをマッチングする。
【0057】
図15は、本実施形態のワーク認識方法の一例を示すフローチャートである。
本実施形態に係るワーク認識方法について
図15を参照して詳述する。なお、本実施形態において、テンプレート画像Tは、ワークWが載置されていない状態のワーク支持部14をカメラ50で撮影した撮影画像に基づいて事前に生成されるものとして説明するが、これに限定されない。
【0058】
まず、制御装置100の制御部130のカメラ制御部133は、ワークWが載置されていない状態でレーザ加工機10のワーク支持部14を撮影するようにカメラ50を制御する。カメラ50は、カメラ制御部133の制御に従ってワーク支持部14を撮影する(
図15のS10:事前撮影工程)。そして、カメラ制御部133は、カメラ50が撮影した撮影画像データを取得し、制御装置100の記憶部140の撮影画像格納部141に格納する。
【0059】
撮影後、レーザ加工機10のワーク支持部14上にレーザ加工をするワークWが載置される。そして、レーザ加工機10は、ユーザが制御装置100で選択した加工プログラムに従ってワーク支持部14に載置されているワークWをレーザ加工する(
図15のS1:レーザ加工工程)。レーザ加工完了後、制御装置100の制御部130のカメラ制御部133は、ワーク支持部14上のワークWを撮影するようカメラ50を制御する。カメラ50は、カメラ制御部133の制御に従ってレーザ加工が完了したワーク支持部14上のワークWを撮影する(
図15のS11:ワーク撮影工程)。
【0060】
制御装置100の制御部130のカメラ制御部133は、カメラ50が撮影した撮影画像データを取得し、制御装置100の記憶部140の撮影画像格納部141に格納する。ワーク撮影工程後、制御部130の画像処理部135は、事前撮影工程でカメラ50が撮影した撮影画像データを記憶部140から読み出し、テンプレート画像Tを生成する(
図15のS20:テンプレート画像生成工程)。
【0061】
テンプレート画像Tは、レーザ加工機10のワーク支持部14の一部を切り取った画像である。また、画像処理部135は、生成したテンプレート画像T(第1のテンプレートTa)を基に第2のテンプレート画像Tb、第3のテンプレート画像Tc及び第4のテンプレート画像Tdを生成する。なお、テンプレート画像生成工程は、ワーク撮影工程後に限定されず、レーザ加工工程前又はレーザ加工工程と同時に実施されてもよいし、ワーク撮影工程前又はワーク撮影工程と同時に実施されてもよい。
【0062】
その後、制御装置100の制御部130の画像処理部135は、ワーク撮影工程でカメラ50が撮影したワークWを含む撮影画像データを制御装置100の記憶部140の撮影画像格納部141から読み出し、被認識画像Iを取得する(
図15のS21:画像取得工程)。そして、画像処理部135は、取得した被認識画像IからワークWを含む可能性のある一又は複数の検出領域DAを検出する(
図15のS22:ワーク検出工程)。
【0063】
ワーク検出工程後、制御装置100の制御部130の画像処理部135は、被認識画像Iにぼかし処理を実施する(
図15のS23:被認識画像ぼかし工程)。また、画像処理部135は、テンプレート画像生成工程で生成した複数のテンプレート画像Tに被認識画像ぼかし処理と同条件のぼかし処理を実施する(テンプレート画像ぼかし工程)。
【0064】
なお、被認識画像ぼかし工程は、ワーク検出工程と同時に又はワーク検出工程前に実施されてもよい。また、テンプレート画像ぼかし工程は、テンプレート画像生成工程の直後に実施されてもよいし、被認識画像ぼかし工程と同時に又はその後に実施されてもよい。
【0065】
被認識画像Iと複数のテンプレート画像Tにそれぞれぼかし処理を実施した後、制御装置100の制御部130の画像処理部135は、ぼかし処理がされたテンプレート画像T′との一致度が所定の値以上の被認識画像ぼかし処理がされた被認識画像I′の領域をマッチング領域MAとして識別する(
図15のS24:マッチング工程)。
【0066】
そして、画像処理部135は、マッチング工程の結果に基づいて少なくとも検出領域DA内からマッチング領域MAを除外する(
図15のS25:除外工程)。除外工程後、画像処理部135は、残った検出領域DAを認識し(
図15のS26:ワーク認識工程)、制御装置100の表示部120に結果を表示する。以上の工程により、本実施形態に係るによる一連のワーク認識方法が実行される。
【0067】
なお、一連のワーク認識方法を繰り返し実行する場合、生成したテンプレート画像T及びぼかし処理がされたテンプレート画像T′は、繰り返し使用可能であるため、テンプレート画像生成工程及びテンプレート画像ぼかし工程を省略してもよい。
【0068】
[本実施形態に係る画像処理装置、レーザ加工システム、ワーク認識方法及びワーク認識プログラムの利点]
以上説明したように、本実施形態に係る画像処理装置(制御装置100)は、ワークWを含む被認識画像Iを取得する画像取得処理と、被認識画像IからワークWを含む可能性のある一又は複数の検出領域DAを検出するワーク検出処理と、テンプレート画像Tとの一致度が所定の値以上の被認識画像Iの領域をマッチング領域MAとして識別するマッチング処理と、マッチング処理の結果に基づいて少なくとも検出領域DA内からマッチング領域MAを除外する除外処理とを実行可能に構成されており、テンプレート画像Tは、ワークWを支持するワーク支持部14の一部を含む画像である。
【0069】
そして、本実施形態に係る画像処理装置(制御装置100)は、このような構成を備えることにより、ワークWを含む可能性のある一又は複数の検出領域DAからワークWを実際には含んでいない検出領域DAを除外することで、撮影画像(被認識画像I)からワークWのみを認識できるという利点を有している。また、任意の位置及び角度から撮影された撮影画像(被認識画像I)からワークWのみを認識できるため、カメラの配置方法が特定の位置及び角度に限定されないという利点を有している。
【0070】
また、本実施形態に係る画像処理装置(制御装置100)は、被認識画像Iをぼかす被認識画像ぼかし処理を更に実行可能に構成されており、マッチング処理は、ぼかし処理がされたテンプレート画像T′と、被認識画像ぼかし処理がされた被認識画像I′とをマッチングする。このような構成を備えることにより、被認識画像IからワークWのみをより精度よく認識できるという利点を有している。また、テンプレート画像Tの汎用性が向上し、被認識画像I毎にテンプレート画像Tを用意する必要がなくなるという利点を有している。また、他のレーザ加工システム1′で撮影した撮影画像をテンプレート画像Tとして利用することができるという利点を有している。
【0071】
さらに、本実施形態に係る画像処理装置(制御装置100)は、テンプレート画像Tを格納する記憶部140を備え、テンプレート画像Tは、被認識画像Iとは異なる画像に基づいて事前に生成される。このような構成を備えることにより、被認識画像IからワークWを識別する度に都度テンプレート画像Tを生成する必要がなくなるため、一連の処理にかかる時間を短縮できるという利点を有している。
【0072】
またさらに、本実施形態に係る画像処理装置(制御装置100)において、テンプレート画像Tは、被認識画像Iから生成される。このような構成を備えることにより、繰り返しレーザ加工を行うことでワーク支持部14が摩耗するが、摩耗状況に合わせたテンプレート画像Tを生成することができるため、ワーク支持部14の摩耗具合の差異によってマッチング結果の精度が低下することを防止できるという利点を有している。
【0073】
また、本実施形態に係る画像処理装置(制御装置100)において、マッチング処理は、複数のテンプレート画像Tで構成されるテンプレート画像群と、被認識画像Iとをマッチングするよう構成されており、テンプレート画像群は、被認識画像Iと同じ向きで撮影された第1のテンプレート画像Taと、第1のテンプレート画像Taを180度回転させた第2のテンプレート画像Tbと、第1のテンプレート画像Taを左右反転させた第3のテンプレート画像Tcと、第1のテンプレート画像Taを上下反転させた第4のテンプレート画像Tdとから選ばれる2以上のテンプレート画像Tを含む。このような構成を備えることにより、一枚のテンプレート画像Tでマッチング処理を行うよりも被認識画像IからワークWのみをさらに精度よく認識できるという利点を有している。
【0074】
[変形例]
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、上述した実施形態に記載の範囲には限定されない。上述した実施形態には、多様な変更又は改良を加えることが可能である。
【0075】
例えば、上述した実施形態において、画像処理装置(制御装置100)は、被認識画像Iをぼかす被認識画像ぼかし処理を更に実行可能に構成されており、マッチング処理は、ぼかし処理がされたテンプレート画像T′と、被認識画像ぼかし処理がされた被認識画像I′とをマッチングするものとして説明したが、これに限定されない。画像処理装置(制御装置100)は、被認識画像ぼかし処理を実行せず、マッチング処理は、ぼかし処理をしていないテンプレート画像Tと、被認識画像Iとをマッチングしてもよい。
【0076】
上述した実施形態において、マッチング処理は、複数のテンプレート画像Tで構成されるテンプレート画像群と、被認識画像Iとをマッチングするよう構成されており、テンプレート画像群は、被認識画像Iと同じ向きで撮影された第1のテンプレート画像Taと、第1のテンプレート画像Taを180度回転させた第2のテンプレート画像Tbと、第1のテンプレート画像Taを左右反転させた第3のテンプレート画像Tcと、第1のテンプレート画像Taを上下反転させた第4のテンプレート画像Tdとから選ばれる2以上のテンプレート画像Tを含むものとして説明したが、これに限定されない。マッチング処理は、一枚のテンプレート画像Tと被認識画像Iをマッチングするよう構成されてもよい。
【0077】
また、テンプレート画像群は、第1のテンプレート画像Taから第4のテンプレート画像Td以外のテンプレート画像Tを含んでもよい。さらに、複数のテンプレート画像Tは、一枚の撮影画像の複数箇所を切り抜いて生成されてもよい。例えば、ワークWが載置されていない状態のワーク支持部14をカメラ50で撮影した撮影画像の四隅や中央部等の複数箇所を切り取って生成されてもよい。
【0078】
上述した実施形態において、制御装置100は、画像処理装置として機能するとともに、レーザ加工機10及びカメラ50を制御するものとして説明したが、これに限定されない。制御装置100は、画像処理装置としてのみ機能し、レーザ加工システム1は、レーザ加工機10及びカメラ50を制御する制御装置を更に備えてもよい。
【0079】
上述した実施形態において、テンプレート画像Tは、被認識画像Iのワーク支持部14の左上の領域の一部を切り取って生成しているが、これに限定されず、テンプレート画像Tは、被認識画像Iのワーク支持部14の任意の領域から生成することができる。
【0080】
上述した実施形態において、ワーク支持部14には、単一のワークWのみが載置されていることを前提として説明したが、これに限定されず、ワーク支持部14上に複数のワークWが載置されてもよい。
【符号の説明】
【0081】
1 レーザ加工システム
10 レーザ加工機
11 筐体
12 支持台
13 加工テーブル
14 ワーク支持部
14a 突起
20 移動機構
22 キャリッジベース
24 キャリッジ
30 レーザ加工ヘッド
30a ハウジング
30b ノズル
31 コリメータレンズ
32 ガルバノスキャナユニット
33 第1スキャン部
33a 第1スキャンミラー
33b 第1駆動部
34 第2スキャン部
34a 第2スキャンミラー
34b 第2駆動部
35 ベンドミラー
36 集光レンズ
50 カメラ
52 撮像部
54 レンズ
100 制御装置
110 入力部
120 表示部
130 制御部
131 加工制御部
133 カメラ制御部
135 画像処理部
140 記憶部
141 撮影画像格納部
143 テンプレート格納部
145 加工プログラム格納部
147 ワーク認識プログラム
DA 検出領域
I 被認識画像
I′ 被認識画像ぼかし処理がされた被認識画像
L レーザ光
MA マッチング領域
T テンプレート画像
T′ ぼかし処理がされたテンプレート画像
Ta 第1のテンプレート画像
Tb 第2のテンプレート画像
Tc 第3のテンプレート画像
Td 第4のテンプレート画像
W ワーク