特許 7535184 空のワークピースキャリアのための基準記録作成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-06

(45)【発行日】2024-08-15

(54)【発明の名称】空のワークピースキャリアのための基準記録作成

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240807BHJP

   G06V 10/82 20220101ALI20240807BHJP

【ＦＩ】

G06T7/00 610B

G06T7/00 350C

G06V10/82

【請求項の数】 15

(21)【出願番号】P 2023521768

(86)(22)【出願日】2021-11-30

(65)【公表番号】

(43)【公表日】2023-10-27

(86)【国際出願番号】 EP2021083619

(87)【国際公開番号】W WO2022117581

(87)【国際公開日】2022-06-09

【審査請求日】2023-04-10

(31)【優先権主張番号】102020215227.6

(32)【優先日】2020-12-02

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】502300646

【氏名又は名称】トルンプフ ヴェルクツォイクマシーネン エス・エー プルス コー． カー・ゲー

【氏名又は名称原語表記】ＴＲＵＭＰＦ Ｗｅｒｋｚｅｕｇｍａｓｃｈｉｎｅｎ ＳＥ ＋ Ｃｏ． ＫＧ

【住所又は居所原語表記】Ｊｏｈａｎｎ－Ｍａｕｓ－Ｓｔｒ． ２， ７１２５４ Ｄｉｔｚｉｎｇｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ヴィリ ペーニッツ

(72)【発明者】

【氏名】マルク テシュナー

(72)【発明者】

【氏名】コルビニアン ヴァイス

【審査官】淀川 滉也

(56)【参考文献】

【文献】特表２０１９－５０７０７９（ＪＰ，Ａ）

【文献】特表２０２０－５２４６４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

ワークピースキャリア（１６）の無積載状態の基準記録を作成するための方法であって、
Ａ）カメラ（１４）により、前記ワークピースキャリア（１６）の記録を作成する方法ステップ、
Ｂ）アルゴリズム（２６）によって前記記録を評価することにより、前記ワークピースキャリア（１６）の積載状態を特定する方法ステップ、
Ｃ）前記アルゴリズム（２６）により、前記ワークピースキャリア（１６）が無積載であると特定された場合、前記記録を基準記録として保存する方法ステップ
を含む方法。

【請求項2】

少なくとも方法ステップＡ）及びＢ）は、前記ワークピースキャリア（１６）が、前記アルゴリズム（２６）により、積載されていると特定される場合に再度実行される、請求項１に記載の方法。

【請求項3】

方法ステップＢ）において、前記アルゴリズム（２６）によって検出される物体は、その寸法及び／又は位置が所定の基準を満たさない場合に拒絶される、請求項１又は２に記載の方法。

【請求項4】

前記アルゴリズム（２６）によって検出される前記物体は、それが前記ワークピースキャリアの縁部に対して狭すぎる且つ／又は近すぎる場合に拒絶される、請求項３に記載の方法。

【請求項5】

前記アルゴリズム（２６）は、前記物体の前記寸法及び／又は前記位置を検出する最大安定極値領域アルゴリズムを含む、請求項３又は４に記載の方法。

【請求項6】

方法ステップＢ）において、前記ワークピースキャリア（１６）のバー（４０）は、前記アルゴリズム（２６）によって特定され、及び前記アルゴリズム（２６）によって検出される物体は、前記物体が前記バー（４０）の下にあることを前記アルゴリズム（２６）が識別する場合に拒絶される、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記アルゴリズム（２６）は、物体がバー（４０）の下にあるように前記物体が前記バー（４０）間でのみ可視であるかどうかを検出する、請求項６に記載の方法。

【請求項8】

前記アルゴリズム（２６）は、前記バー（４０）を特定するために、
ｂ）第１の方向及び前記第１の方向と垂直な第２の方向における勾配からエッジ画像を作成する方法ステップ、
ｃ）前記エッジ画像をセクタに分割する方法ステップ、
ｄ）前記セクタ内で前記第１の方向にシフトされた矩形内の平均画素値を計算する方法ステップ、
ｅ）前記第２の方向における最も近い前記平均画素値の最小値から規定距離を超える前記平均画素値の最大値をバーセグメントとして定義する方法ステップ、
ｆ）バーセグメントの一定割合が指定範囲内にある場合にバー（４０）を検出する方法ステップ
を実行する、請求項６又は７に記載の方法。

【請求項9】

以下の方法ステップ：
ａ）ヒストグラム等化を実行する方法ステップ
は、方法ステップｂ）前に実行される、請求項８に記載の方法。

【請求項10】

以下の方法ステップ：
ｇ）他のバー（４０）間の平均距離を明らかに超える２つのバー（４０）間の距離が存在する場合、バー除去を特定する方法ステップ
は、方法ステップｆ）後に実行される、請求項８又は９に記載の方法。

【請求項11】

前記アルゴリズム（２６）は、前記ワークピースキャリア（１６）の前記無積載状態を識別するニューラルネットワークを有する、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記ニューラルネットワークは、請求項１～１０のいずれか一項に記載の方法で保存された基準記録を使用して訓練される、請求項１１に記載の方法。

【請求項13】

請求項１～１２のいずれか一項に記載の方法を実行するための装置（１０）であって、ワークピースキャリア（１６）と、カメラ（１４）と、前記カメラ（１４）に接続され、且つメモリ（２４）を有するコンピュータ（２２）とを有し、前記アルゴリズム（２６）は、前記コンピュータ（２２）上で実行され得、及び前記基準記録は、前記メモリ（２４）に保存され得る、装置（１０）。

【請求項14】

工作機械（１２）を含み、前記工作機械（１２）の機械ベッドは、前記ワークピースキャリア（１６）の形態で設計される、請求項１３に記載の装置。

【請求項15】

前記工作機械（１２）は、レーザ切断機の形態で設計される、請求項１４に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワークピースキャリアの無積載状態の基準記録を作成するための方法に関する。本発明は、かかる方法を実行するための装置に更に関する。

【背景技術】

【0002】

ワークピースキャリアからワークピースを取り出し、その際にワークピースの取り出しを監視するプログラムを使用することは、公知である。

【0003】

（特許文献１）は、パレットの形態のワークピースキャリアから製造品を手動で選別する際にユーザを支援することを記載している。ここでは、既存のプログラムデータ及びカメラで撮影した画像データを使用して、取り出された部品の確実な特定及び登録を実現している。

【0004】

ここで問題となるのは、ワークピースキャリアが汚染並びに／又は摩耗及び損耗により変化するため、ワークピースキャリアにワークピースがない場合、即ち完全に選別された場合を識別することである。

【0005】

（特許文献２）は、指定した色範囲の外側にある色を検出するためにカメラを使用する方法又は新しいパレット、即ち元のパレットからの画像と比較する方法のいずれかにより、汚染を検出することを開示している。カメラに加えて重量センサを設けることにより、汚染の（追加される）重量に基づいて汚染を検出することができる。

【0006】

しかし、この方法は、前述したように、パレットが摩耗及び損耗並びに／又は汚染によって変化するため、改善することができる。従って、先行技術では、ワークピースキャリア上にもはやワークピースが存在しないが、ワークピースキャリアの下に汚染が検出され、且つ／又はワークピースキャリア上の摩耗及び損耗により、ワークピースキャリアが積載状態にあるという印象を与える場合でも、ワークピースキャリアが完全に選別されていないと識別される状況が生じる可能性がある。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０２０／１２７７９７Ａ１号パンフレット

【文献】米国特許出願公開第２０１６／０１８４９４５Ａ１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

従って、本発明の目的は、ワークピースのないワークピースキャリアの確実な識別を可能にする方法及び装置を提供することである。

【課題を解決するための手段】

【0009】

本発明によれば、この目的は、特許請求項１に記載の方法及び特許請求項１３に記載の装置によって達成される。従属請求項は、好ましい発展形態を提示する。

【0010】

従って、本発明による目的は、
Ａ）カメラにより、ワークピースキャリアを記録する方法ステップ、
Ｂ）ワークピースキャリアの記録を評価するアルゴリズムにより、ワークピースキャリアの状態を識別する方法ステップ、
Ｃ）アルゴリズムが、ワークピースがないとワークピースキャリアを識別した場合、記録を基準記録として保存する方法ステップ
を含む方法によって達成される。

【0011】

従って、先行技術とは対照的に、ワークピースキャリアの現在の状態は、新しい未使用のワークピースキャリアの状態と比較する必要がなく、むしろ最後に無積載となった場合のワークピースキャリアの状態と比較する必要がある。結果として、ワークピースキャリアの積載状態は、大幅により高い信頼性で特定することができる。

【0012】

方法ステップＡ）は、カメラによって実行され、方法ステップＢ）及びＣ）は、好ましくは、カメラに接続され、且つメモリを有するコンピュータによって実行される。

【0013】

記録は、紫外線及び／又は赤外線を使用して作成することができる。記録は、可視範囲の光を使用して作成されることが好ましい。

【0014】

方法ステップＢ）において、ワークピースキャリアが積載されていると識別される場合、方法が再開されることが好ましい。本方法は、特に、連続して実行することができ、その結果、最後に無積載とされたワークピースキャリアの記録は、基準記録として連続して保存される。

【0015】

アルゴリズムは、記録内の物体が、ワークピースキャリアを無積載であるとして特徴付ける物品であるかどうか、又はそれが無視されるべき画像領域であるかどうかを区別するように設計される。画像領域は、例えば、汚染、ワークピースキャリアの変化の場合又はワークピースキャリアの下に物品が存在する場合に無視されるべきである。アルゴリズムは、検出された物体を、その大きさ及び／又はその位置が予め規定された基準を満たさない場合に無視又は拒絶するように設計され得る。

【0016】

所定の基準は、物体の幅の形態（ワークピースキャリア上の物品に対して物体が狭すぎるか？）又はワークピースキャリアの縁部に対する近接の形態（物品に対して物体がワークピースキャリアの縁部に近すぎるか？）であり得る。

【0017】

物体の大きさ及び／又は位置は、最大安定極値領域（ＭＳＥＲ）アルゴリズムによって識別されることが好ましい。ＭＳＥＲアルゴリズムは、Ｏｐｅｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＯｐｅｎＣＶ）ライブラリから取得することが好ましい。結果として、特にプロセス的に安定した方法で物体の大きさ及び／又は位置を識別することができる。

【0018】

本発明の特に好ましい改良形態において、アルゴリズムは、物体がワークピースキャリアのバーの上又は下に位置するかどうかを識別するように設計される。物体がバーの上にある場合にはそれが考慮され、下にある場合には無視される。

【0019】

ここで、アルゴリズムは、物体が複数のバー間でのみ可視であるかどうかを識別するように設計され得る。この場合、それは、バーの下になければならず、その結果、この物体は、ワークピースキャリアを積載されているものとして特徴付けない。

【0020】

アルゴリズムは、バーを識別するために、
ｂ）第１の方向（例えば、Ｘ方向）及び第１の方向に対して垂直に延びる第２の方向（例えば、Ｙ方向）における勾配からエッジ画像を作成する方法ステップ、
ｃ）記録をセクタに分割する方法ステップ、
ｄ）セクタ内で第１の方向にシフトされた（畳み込み）矩形内の平均画素値を計算する方法ステップ、
ｅ）第２の方向における最も近い最小値から規定距離を超える最大値からバーセグメントを定義する方法ステップ、
ｆ）バーを、バー要素の所定部分（例えば、８０％超）が範囲限界内にある場合に定義する方法ステップ
を実行することができる。これにより、ワークピースキャリアのバーのプロセス的に信頼性の高い検出が可能になる。

【0021】

以下の方法ステップ：
ａ）ヒストグラム等化を実行する方法ステップ
が方法ステップｂ）前に実行されることが好ましい。これは、結果としてグレー値のより均一な分布を生じ、その結果、値の利用可能な範囲全体を使用することができる。

【0022】

以下の方法ステップ：
ｇ）他のバーとの間の距離よりも大幅に大きい２つのバー間の距離が存在する場合、バー除去を特定する方法ステップ
が方法ステップｆ）後に実行され得る。

【0023】

結果として、ワークピースキャリアの状態を特に正確且つ理解可能な方法で特徴付けることができる。加えて、（容易に検証可能な）情報は、ワークピースキャリアのバーが欠けていることをユーザに出力することができる。

【0024】

本発明の更に好ましい実施形態において、アルゴリズムは、ニューラルネットワークを有する。ニューラルネットワークは、複数の重み付きデータ集約ルーチンを含み得る。

【0025】

無積載であると正しく識別されたワークピースキャリアを示す複数の基準記録の場合、ニューラルネットワークは、ワークピースキャリアの無積載状態を確実に識別するように訓練され得る。

【0026】

本方法において、ニューラルネットワークは、本明細書で説明する方法ステップによって生成された基準記録を使用して訓練され得る。換言すれば、ニューラルネットワークは、上で説明した方法ステップを使用して生成及び保存された基準記録を使用して訓練され得る。この場合、ニューラルネットワークは、本明細書で説明するアルゴリズムの１つ以上の方法ステップを置き換えることができる。

【0027】

本発明による方法において、工作機械、特にレーザ切断機の機械ベッドの形態のワークピースキャリアが使用されることが好ましい。本発明による目的は、本明細書に記載する方法を実行するための装置によって更に達成され、装置は、ワークピースキャリアと、カメラと、カメラに接続されるコンピュータと、メモリとを有し、アルゴリズムは、コンピュータ上で実行され得、及び基準記録は、メモリに保存される。

【0028】

装置は、工作機械を有することが好ましく、工作機械の機械ベッド（「パレット」）は、ワークピースキャリアの形態で設計される。

【0029】

工作機械は、レーザ切断機の形態で設計されることが特に好ましい。

【0030】

本発明の更なる利点は、本明細書及び図面から明らかである。同様に、本発明によれば、上述した特徴及びなおも更に提示される特徴は、いずれの場合にも個別に又は任意の所望の組み合わせで併用することができる。図示及び説明する実施形態は、網羅的な列挙として理解するべきではなく、むしろ本発明を概説するための例示的な特徴のものである。

【図面の簡単な説明】

【0031】

【図1】本発明による方法を実行するための本発明による装置の斜視図を示し、装置は、積載されたワークピースキャリアを有する。

【図2】異なる積載状態にある、図１によるワークピースキャリアの平面図を示す。

【図3】本発明による方法がどのように実行されるかを概略図で示す。

【図4a】そのバーが識別されることを意図されるワークピースキャリアの平面図を示す。

【図4b】図４ａのワークピースキャリアの評価の平面図を示す。

【図4c】識別されたバーを有する、図４ａからのワークピースキャリアの平面図を示す。

【発明を実施するための形態】

【0032】

図１は、工作機械１２を有する装置１０を示す。工作機械１２は、レーザ切断機の形態で設計される。装置１０は、カメラ１４を有する。カメラ１４は、動画（ビデオ）及び／又は写真を記録するように設計され得る。カメラ１４は、特に鳥瞰図からワークピースキャリア１６の記録を作成する。

【0033】

ワークピースキャリア１６は、工作機械１２の機械ベッドの形態で設計される。ワークピース１８は、ワークピースキャリア１６上に載置させることができる。この場合、ワークピースキャリア１６が積載される。この場合、ワークピース１８は、工作機械１２において機械加工することができる金属シート２０の一部である。

【0034】

装置１０は、特に産業用ＰＣの形態のコンピュータ２２を有する。コンピュータ２２は、メモリ２４を有する。代替として又は追加として、コンピュータ２２及び／又はメモリ２４は、外部に、例えばクラウドに設けられ得る。コンピュータ２２は、カメラ１４に接続される。アルゴリズム２６は、コンピュータ２２内に保存される。アルゴリズム２６は、カメラ１４によって撮影された記録を評価するために実行される。コンピュータ２２は、いずれのワークピース１８が既にワークピースキャリア１６から取り出されているかを表示するために、ここではモニタの形態のディスプレイ２８に接続することができる。

【0035】

製造工程を監視するために、ワークピースキャリア１６が無積載となる場合、即ち空である場合を知ることが重要である。しかし、ワークピースキャリア１６及びその周囲は、時間の経過と共に変化するため、これを特定することは、些細なことではない。例えば、ワークピースキャリア１６は、時間の経過と共に摩耗し、且つ／又はスラグで覆われるようになる可能性がある。ワークピースキャリア１６の下には、切り屑等が堆積する可能性がある。

【0036】

図２は、一実施例としてこれを示す。図２は、ワークピース１８が載置されているワークピースキャリア１６を示す。このワークピース１８は、ワークピースキャリア１６への積載につながる。しかし、図２は、干渉物３０も示す。この干渉物３０（ここではワークピースキャリア１６の下にある物品の形態）は、ワークピースキャリア１６が積載されているとみなされる結果になってはならない。

【0037】

図３は、ワークピースキャリア１６（図２参照）の積載状態の評価を容易にする、本発明による方法を概略図で示す。ここでは、以下の方法ステップ：
Ａ）カメラ１４（図１参照）により、ワークピースキャリア１６（図２参照）の記録を作成する方法ステップ、
Ｂ）次いで（矢印３２）、記録に基づいてアルゴリズム２６（図１参照）により、ワークピースキャリア１６（図２参照）が空であるか（又は空ではないか）を決定する方法ステップ、
Ｃ）アルゴリズム２６（図１参照）により、ワークピースキャリア１６（図２参照）が空であるとみなされた場合、記録を基準記録として保存し（矢印３４）、アルゴリズム２６（図１参照）により、ワークピースキャリア１６（図２参照）が空ではないとみなされた場合、方法ステップＡ）から開始される方法を繰り返す（矢印３６）方法ステップ
を実行する。

【0038】

方法は、連続的に実行することができ（矢印３８）、その結果、空のワークピースキャリア１６（図２参照）の現在の基準画像が常に存在し、この現在の基準画像を、ワークピースキャリア１６（図２参照）の現在の積載状態を特定するために使用することができる。

【0039】

従って、アルゴリズム２６（図１参照）は、ワークピース１８（図２参照）がワークピースキャリア１６上に位置しているかどうか、又は物体が干渉物３０（図２参照）であるかどうかを区別するように設計される。この目的のために、アルゴリズム２６（図１参照）は、最大安定極値領域（ＭＳＥＲ）アルゴリズムを有することができ、これは、特に、物体が所定距離（図２参照）に対してワークピースキャリア１６の縁部に近すぎるかどうか、又はそれが所定の大きさに対して狭すぎるかどうかを評価するように設計される。図２の例示的な干渉物３０の場合、両方の基準が満たされ、即ちそれがワークピースキャリア１６の縁部に近く、且つワークピース１８に対して狭すぎるという両方である。従って、アルゴリズム２６（図１参照）は、ワークピース１８をそのように分類するのみであり、干渉物３０を分類しない。ワークピース１８が取り出されると同時に、ワークピースキャリア１６の記録は、新たな基準記録として保存される。

【0040】

図４ａ～４ｃは、アルゴリズム２６（図１参照）の別の部分、特にバーを識別することの動作方法を示す。

【0041】

図４ａは、幾つかの（支持）バー４０を有するワークピースキャリア１６を示す。記録に対してヒストグラム等化を行い、次いで第１の方向（ここではＸ方向）及び第２の方向（ここではＹ方向）における勾配からエッジ画像を作成する。

【0042】

図４ｂは、ワークピースキャリア１６の記録をｎ個のセクタに分割することを示す。第１の方向にシフトされた矩形内の平均画素値をセクタ毎に算出する。

【0043】

第２の方向に最も近い最小値から規定距離を超える最大値をバーセグメントとして定義する。バー要素の一定割合が指定範囲内にある場合、バーが検出される。

【0044】

図４ｃは、被検出バー４０を有するワークピースキャリア１６の記録を示す。２つのバー４０間の距離が大きすぎる場合、バー除去４２が検出される。

【0045】

図面の全ての図を一緒に見て、要約すると、本発明は、無積載ワークピースキャリア１６の現在の基準画像を保存するための方法に関する。前記方法の方法ステップＡ）において、ワークピースキャリア１６の記録が最初に作成され、方法ステップＢ）において、記録がアルゴリズム２６によって評価され、及び方法ステップＣ）において、アルゴリズム２６がワークピースキャリア１６を空であると分類する場合、記録が基準記録として保存される。ワークピースキャリア１６を評価するために、アルゴリズム２６は、最大安定極値領域アルゴリズム、ワークピースキャリア１６のバー４０を識別するためのアルゴリズム及び／又はニューラルネットワークを有することができる。本発明は、かかる方法を実行するための装置１０に更に関する。

【符号の説明】

【0046】

１０ 装置
１２ 工作機械
１４ カメラ
１６ ワークピースキャリア
１８ ワークピース
２０ 金属シート
２２ コンピュータ
２４ メモリ
２６ アルゴリズム
２８ ディスプレイ
３０ 干渉物
３２ 矢印
３４ 矢印
３６ 矢印
３８ 矢印
４０ バー
４２ バー除去
Ａ～Ｃ 方法ステップ

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】