IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイサパック ホールディング エスエーの特許一覧

<>
  • 特表-製造方法 図1
  • 特表-製造方法 図2
  • 特表-製造方法 図3
  • 特表-製造方法 図4
  • 特表-製造方法 図5
  • 特表-製造方法 図6
  • 特表-製造方法 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-15
(54)【発明の名称】製造方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221208BHJP
【FI】
G06T7/00 350B
G06T7/00 610C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022516069
(86)(22)【出願日】2020-08-14
(85)【翻訳文提出日】2022-04-20
(86)【国際出願番号】 IB2020057678
(87)【国際公開番号】W WO2021074708
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】19203285.2
(32)【優先日】2019-10-15
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】521031501
【氏名又は名称】アイサパック ホールディング エスエー
【氏名又は名称原語表記】AISAPACK HOLDING SA
(74)【代理人】
【識別番号】100107456
【弁理士】
【氏名又は名称】池田 成人
(74)【代理人】
【識別番号】100162352
【弁理士】
【氏名又は名称】酒巻 順一郎
(74)【代理人】
【識別番号】100123995
【弁理士】
【氏名又は名称】野田 雅一
(72)【発明者】
【氏名】トマセ, ジャック
(72)【発明者】
【氏名】ジェックス-コレット, ヤン
(72)【発明者】
【氏名】ブッシェン, ガエル
(72)【発明者】
【氏名】ベント ライムンド, フィリペ
(72)【発明者】
【氏名】フルーレ, フランソワ
(72)【発明者】
【氏名】レポイッテヴィン, ヤン
(72)【発明者】
【氏名】モナイ, フローレント
(72)【発明者】
【氏名】カヤル, サリム
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA03
5L096FA09
5L096GA08
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
本発明は、チューブ又は包装材料などの物体を製造するための方法であって、製造中に連続的に実施される、製造方法に組み込まれている少なくとも1つの品質制御を含み、品質制御は、学習段階及び製造段階を含む、方法に関する。
【選択図】 図6
【特許請求の範囲】
【請求項1】
チューブ又は包装材料などの物体を製造するためのプロセスであって、製造中に連続的に実施される、前記製造プロセスに組み込まれている少なくとも1つの品質検査を含み、
前記品質検査が、学習段階及び製造段階を含み、
前記学習段階が、少なくとも以下のステップ、すなわち、
許容可能とみなされるN個の物体を製造するステップと、
前記N個の物体の各々の少なくとも1つの基準一次画像(A)を取得するステップと、
各基準一次画像(A)を(P個の)基準二次画像(Sk,p)に分割するステップと、
対応する前記基準二次画像をN個の画像から成るバッチにグループ化するステップと、
バッチごとに圧縮係数(Qk,p)を有する圧縮-解凍モデル(Fk,p)を決定するステップと
を含み、
前記製造段階が、少なくとも以下のステップ、すなわち、
製造時に少なくとも1つの物体の少なくとも1つの一次画像を取得するステップと、
各一次画像を二次画像(Sk,p)に分割するステップと、
再構成二次画像(Rk,p)を形成するように、前記学習段階において定義された前記圧縮-解凍モデル及び前記圧縮係数を各二次画像(Sk,p)に適用するステップと、
各再構成二次画像Rk,pの再構成誤差を計算するステップと、
前記再構成誤差に基づいて物体あたり1つ以上のスコアを割り当てるステップと、
前記1つ以上の割り当てられたスコアに基づいて、製造された前記物体が品質検査に合格するか否かを判定するステップと
を含む、プロセス。
【請求項2】
最初に取得された一次画像のうちの少なくとも1つに対して複数の分析が実施され、前記複数の分析が、「娘」一次画像を生じ、前記「娘」一次画像が、前記「娘」一次画像の生成元である、前記最初に取得された画像の代わりに使用される、請求項1に記載のプロセス。
【請求項3】
少なくとも1つの一次画像を取得する前記ステップの後、各一次画像が再配置される、請求項1又は2に記載のプロセス。
【請求項4】
各一次画像が処理される、請求項1~3のいずれか一項に記載のプロセス。
【請求項5】
前記処理動作がデジタル処理動作である、請求項4に記載のプロセス。
【請求項6】
前記処理動作が、フィルタ、及び/又はエッジ検出、及び/又は、前記画像の特定の領域を隠すためのマスクの適用を使用する、請求項4又は5に記載のプロセス。
【請求項7】
前記圧縮係数が、5~500,000、好ましくは100~10,000である、請求項1~6のいずれか一項に記載のプロセス。
【請求項8】
前記圧縮-解凍関数が、主成分分析(「PCA」)から決定される、請求項1~7のいずれか一項に記載のプロセス。
【請求項9】
前記圧縮-解凍関数が、オートエンコーダによって決定される、請求項1~8のいずれか一項に記載のプロセス。
【請求項10】
前記圧縮-解凍関数が、「直交マッチング追跡(OMP)」アルゴリズムと呼ばれるアルゴリズムによって決定される、請求項1~9のいずれか一項に記載のプロセス。
【請求項11】
前記再構成誤差が、ユークリッド距離及び/又はミンコフスキー距離及び/又はチェビシェフ法を使用して計算される、請求項1~10のいずれか一項に記載のプロセス。
【請求項12】
前記スコアが、前記再構成誤差の最大値及び/又は前記再構成誤差の平均及び/又は前記再構成誤差の加重平均及び/又は前記ユークリッド距離及び/又はp距離及び/又はチェビシェフ距離に対応する、請求項1~11のいずれか一項に記載のプロセス。
【請求項13】
Nが少なくとも10に等しい、請求項1~12のいずれか一項に記載のプロセス。
【請求項14】
少なくとも2つの一次画像が取得され、前記一次画像が同一のサイズ又は異なるサイズである、請求項1~13のいずれか一項に記載のプロセス。
【請求項15】
各一次画像が、同一のサイズ又は異なるサイズのP個の二次画像に分割される、請求項1~14のいずれか一項に記載のプロセス。
【請求項16】
前記二次画像(S)が重複を伴って又は重複を伴わずに並置される、請求項1~15のいずれか一項に記載のプロセス。
【請求項17】
前記二次画像の一部が重複を伴って並置され、他の前記二次画像が重複を伴わずに並置される、請求項1~16のいずれか一項に記載のプロセス。
【請求項18】
前記二次画像が、同一のサイズ又は異なるサイズである、請求項1~17のいずれか一項に記載のプロセス。
【請求項19】
組み込まれている前記品質検査が、前記製造プロセスにおいて少なくとも1回実施される、請求項1~18のいずれか一項に記載のプロセス。
【請求項20】
前記学習段階が、反復的であり、欠陥であるとはみなされない差を特定するために、製造時に、製造中の物体に繰り返される、請求項1~19のいずれか一項に記載のプロセス。
【請求項21】
前記再配置は、前記画像の全体にわたって分布する所定数の関心点及び記述子を特定すること、及び、前記基準画像と、前記関心点におけるオーバーレイ誤差を最小化する前記一次画像との間の相対変位を決定することを含む、請求項1~20のいずれか一項に記載のプロセス。
【請求項22】
前記関心点が、前記画像内にランダムに、又は、前記画像の所定の領域内に分布する、請求項21に記載のプロセス。
【請求項23】
前記関心点の位置が、自由裁量によって又は自由裁量によらずに予め規定される、請求項21又は22に記載のプロセス。
【請求項24】
前記関心点が、「スケール不変特徴変換(SIFT)」、又は「高速化ロバスト特徴(SURF)」、又は「加速セグメントテストからの特徴(FAST)」、又は「オブジェクトリクエストブローカ(ORB)」として知られる方法のうちの1つを使用して検出され、
前記記述子が、「スケール不変特徴変換(SIFT)」、又は「高速化ロバスト特徴(SURF)」、又は「二値ロバスト独立要素特徴(BRIEF)」、又は「オブジェクトリクエストブローカ(ORB)」の方法のうちの1つによって定義される、請求項21~23のいずれか一項に記載のプロセス。
【請求項25】
前記画像が、少なくとも1つの軸に沿って再配置され、及び/又は、前記画像が、前記画像によって形成される面に垂直な軸を中心とした回転において再配置され、及び/又は、前記画像が、並進運動と回転運動とを組み合わせることによって再配置される、請求項21~24のいずれか一項に記載のプロセス。
【発明の詳細な説明】
【対応する出願】
【0001】
[0001]本出願は、AISAPACK HOLDING SAの名義で2019年10月15日に出願された先行する欧州特許出願第19203285.2号の優先権を主張し、この先行出願の内容は、その全体が参照により本出願に組み込まれる。
【発明の分野】
【0002】
[0002]本発明は、製造中に注意深い視覚検査を必要とする大量生産物の分野にある。本発明は、より詳細には、製造ラインに組み込まれる視覚検査を必要とする物体を製造するための高スループットプロセスに関する。
【従来技術】
【0003】
[0003]いくつかの画像分析及び学習システム及び方法が、従来技術において知られている。いくつかの例が、以下の刊行物に与えられる。国際公開第2018/112514号、国際公開第2018/200866号、国際公開第2011/115666号、国際公開第2012/164562号、及び国際公開第2017/052592号、WANG JINJIANG他「Deep learning for smart manufacturing: Methods and applications」JOURNAL OF MANUFACTURING SYSTEMS, SOCIETY OF MANUFACTURING ENGINEERS、DEARBORN、MI、US、vol. 48、2018年1月8日(2018-01-08)、144~156ページ、MEHMOOD KHAN他「An integrated supply chain model with errors in quality inspection and learning in production」OMEGA.、vol. 42、no. 1、2014年1月1日(2014-01-01)、16~24ページ、WANG TIAN他「A fast and robust convolutional neural network-based defect detection model in product quality control」THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY、SPRINGER、LONDON、vol. 94、no. 9、2017年8月15日(2017-08-15)、3465~3471ページ、JUN SUN他「An adaptable automated visual inspection scheme through online learning」THE INTERNATIONAL JOURNAL OF ADVANCED MANUFACTURING TECHNOLOGY、SPRINGER、BERLIN、DE、vol. 59、no. 5~8、2011年7月28日(2011-07-28)、655~667ページ。
【目標、制約及び解決されるべき課題】
【0004】
[0004]本発明は、製造時にチューブなどの物体の美観を定量化するための客観的基準を定義することを目標とする。現在、この定量化は、人間の評価に依拠しており、非常に困難である。製造物はすべて異なっており、これは、欠陥の概念が相対的であり、製造物に関連して、何が許容可能な欠陥であり、又は何がそうでないのかを絶対的でない様式で定義する必要があることを意味する。
【0005】
[0005]本発明によれば、学習段階が、製造物について許容可能であるものの「標準」を定義することを可能にする。本発明において、「許容可能又は許容不可能な欠陥」の概念、すなわち、「良好」又は「欠陥がある」とみなされる物体の概念は、学習中に予め定義される標準からの一定レベルの逸脱に関連して定義される。本発明は、経時的に一定レベルの品質を保証することを可能にする。加えて、処方、すなわち、以前にすでに確率された標準を、同じ物体を後に製造するために再使用することが可能である。
【0006】
[0006]品質のレベルは、反復学習を通じて観測される差に応じて経時的に調整することができ、製造中、初期学習によって定義される標準が、通常の製造段階において製造されるが、許容可能であるとみなされる欠陥を呈する物体を特定する「追加」の学習によって微調整される。したがって、この情報を組み込み、プロセスがこれらの物体を拒絶しないように、標準を適合させる必要がある。
【0007】
[0007]本発明は、物体を非常に短い時間内で検査し、本出願において詳細に説明するように、物体の画像に対して圧縮-解凍モデルを使用して、この性能を達成することが可能である。
【0008】
[0008]本発明の枠組みにおいて、目下の制約及び解決されるべき課題は、特に以下のとおりである。
・視覚検査は物体の製造中に行われ、したがって、製造スループットを低速化してはならず、製造スループットに与える影響は最大でもわずかでなければならないため、検査時間は短い。
・審美的欠陥は既知でない(欠陥ライブラリは存在しない)。
・審美的欠陥は装飾物に応じて変化する。
・欠陥許容レベルは調整可能であるべきである。
【0009】
[0009]後述する本発明において提案される方法は、上述の欠点を軽減し、確認した問題を克服することを可能にする。
定義
【0010】
[0010]
・物体:工業ライン上で製造されている物体。
・N:学習段階のバッチを形成する物体の数。Nはまた、バッチを形成する二次画像の数にも対応する。
・一次画像:物体又は物体の一部分から取得される画像。
・K:物体あたりの一次画像の数。
・A:インデックスkの一次画像、1≦k≦Κ。
・二次画像:一次画像の一部分。
・P:一次画像Aあたりの二次画像の数。Sk,p:一次画像Aと関連付けられるインデックスk及びインデックスpの二次画像、1≦p≦P
・モデルFk,p:二次画像Sk,pと関連付けられる圧縮-解凍モデル。
・圧縮係数Qk,p:モデルFk,pの圧縮係数。
・再構成二次画像Rk,p:関連付けられるモデルFk,pによって二次画像Sk,pから再構成された二次画像。
【発明の全般的な開示】
【0011】
[0011]本発明は、例えばチューブなどの包装材料などの物体を製造するためのプロセスに関し、プロセスは、上記物体を製造するためのプロセスの1つ以上のステップに組み込まれる視覚検査を含む。本発明による製造プロセスは、視覚検査を実施するための少なくとも2つの段階を含む。
・学習段階:この間に、「品質が良好である」とみなされる物体のバッチが製造され、その終わりに上記物体の画像に基づいて基準が定義される。
・製造段階:この間に、製造されている物体の画像及び学習段階中に定義された基準が使用されて、製造されている物体の品質がリアルタイムで定量化され、製造プロセスが制御される。
【0012】
[0012]学習段階中、機械は、許容可能な品質であるとみなされるN個の物体を製造する。各物体の一次画像(複数可)と呼ばれる1つの(K=1)又は複数の別個の画像(K>1)が、上記物体を製造するプロセス中に収集される。収集されたK×N個の一次画像は、デジタル処理を受け、デジタル処理は、下記により詳細に説明され、少なくとも以下のステップ、すなわち、
・各一次画像Aを再配置するステップ
・各一次画像Aを、Sk,pと示されるP個の二次画像に分割するステップであり、1≦k≦K且つ1≦p≦Pであるステップ
・二次画像をN個の同様の画像から成るバッチにグループ化するステップ
・二次画像Sk,pの各バッチについて、
・・圧縮係数Qk,pを有する圧縮表現Fk,pを探索するステップ
・・二次画像の各バッチから、圧縮係数Qk,pを有する圧縮-解凍モデルFk,pを推定するステップ
を含む。本発明の1つの特定の事例は、すべてのモデルFk,pについて圧縮係数を同じにすることを含む。圧縮率Qk,pを各モデルFk,pに対して調整することによって、欠陥の検出のレベルを調整し、物体の観察対象領域に応じて計算時間を最適化することが可能になる。
【0013】
[0013]したがって、学習段階の終わりには、物体の観察対象領域ごとにモデルFk,p及び圧縮係数Qk,pが存在し、各領域は二次画像Sk,pによって画定される。
【0014】
[0014]下記により詳細に説明するように、物体の各二次画像が、当該画像自体の寸法を有する。本発明の1つの特定の事例は、すべての二次画像のサイズを同じにすることを含む。いくつかの事例においては、より小さい欠陥を検出するために二次画像のサイズを局所的に縮小することが可能であることが有利である。各二次画像Sk,pのサイズ及び圧縮係数Qk,pを連携して調整することによって、本発明は、製造品に関連付けられる要件レベルに対して調整された高性能の検出レベルを同時に維持しながら、計算時間を最適化することを可能にする。本発明は、観察対象領域の重要性のレベルに対して検出レベルを局所的に適合させることを可能にする。
【0015】
[0015]製造段階中、各物体のK個の「一次」画像と呼ばれるものが使用されて、製造されている物体の品質がリアルタイムで検査され、以て、任意の欠陥のある物体を製造物から可能な限り早期に取り除くこと、及び/又は、逸脱が観察されたときにプロセス若しくは機械を調整することが可能になる。
【0016】
[0016]製造されている物体をリアルタイムで検査するために、上記物体のK個の一次画像が、学習段階中に取得される一次画像のグループに関して本出願において説明されている方法を介して評価され、当該画像グループから、圧縮-解凍関数及び圧縮係数が抽出され、製造されている上記物体の画像に適用される。製造段階中に取得される画像と、学習段階中に取得される画像との間の当該比較によって、物体ごとの1つ以上のスコアが決定され、当該スコアの値は、視覚的品質レベルに対応する閾値に関して物体を分類することを可能にする。スコア及び所定の閾値の値を通じて、欠陥のある物体が製造プロセスから取り除かれることが可能である。製造プロセスの逸脱を検出し、欠陥のある物体が形成される前にプロセスが補正されるか、又は、製造手段に対する介入が行われることを可能にするために、他の閾値が使用されてもよい。
【0017】
[0017]本発明の一部分は、1つ以上の数値を通じて、製造時に物体の視覚的品質を定量化することを可能にするスコアの計算にある。製造時の物体のスコアの計算は、以下の動作を必要とする。
・製造時の物体の一次画像Aを取得する。
・各一次画像をそれぞれの基準画像に対して再配置する。
・学習段階中に実施されたものと同じ分解を使用してK個の一次画像を二次画像Sk,pに分割する。
・学習段階中に定義されたモデルFk,p及び係数Qk,pを使用して各二次画像Sk,pの再構成画像Rk,pを計算する。
・二次画像Sk,pと再構成二次画像Rk,pとを比較することによって各二次画像の再構成誤差を計算する。したがって、物体の二次画像のセットは、再構成誤差のセットを与える。
・再構成誤差から物体のスコアが計算される。
【0018】
[0018]圧縮係数Qk,pを有する数値モデルFk,pを使用することによって、計算時間を大幅に低減することが可能になり、最終的に、製造プロセス中に物体の品質を検査し、プロセスを制御することが可能になる。本方法は、高い製造スループットで物体を製造するプロセスに特に適している。
【0019】
[0019]本発明は、有利には、包装材料の分野において、例えば、化粧品向けに意図された包装材料の品質を検査するために使用される。本発明は、例えば、化粧品チューブ又はボトルを製造するのに特に有利である。
【0020】
[0020]本発明は、連続製造プロセスに使用することができる。これは、例えば、多層シートが管状体を形成するように連続的に溶接される、包装チューブを製造するプロセスに当てはまる。製造されるチューブ本体、特に溶接領域の美観を連続的に検査することが非常に有利である。
【0021】
[0021]本発明は、不連続製造プロセスに使用することができる。これは、例えば、インデックス付けされた装置における製品の製造に当てはまる。不連続製造プロセスは、例えば、溶接によってチューブ本体にチューブヘッドを組み付けるプロセスである。本発明は、組み付けプロセスにおいて、チューブ本体とチューブヘッドとの間の溶接領域の視覚的品質を検査するのに有利である。
【0022】
[0022]本発明は主に、自動製造ラインにおける物体製造プロセスを対象とする。本発明は、包装部門又は製造スループットが高い任意の他の部門において製造される物体などの、高い製造スループットにおける物体の製造に特に適している。
【0023】
[0023]本発明によれば、欠陥の位置、又は幾何学的形状、又は色を定義するための欠陥ライブラリは必要ない。学習手順が実施されると、欠陥は製造中に自動的に検出される。
【0024】
[0024]1つの実施形態において、チューブ又は包装材料などの物体を製造するためのプロセスは、製造中に連続的に実施される、製造プロセスに組み込まれている少なくとも1つの品質検査を含み、品質検査は、学習段階及び製造段階を含む。学習段階は、少なくとも以下のステップ、すなわち、
・許容可能とみなされるN個の物体を製造するステップ
・N個の物体の各々の少なくとも1つの基準一次画像(A)を取得するステップ
・各基準一次画像(A)を(P個の)基準二次画像(Sk,p)に分割するステップ
・対応する基準二次画像をN個の画像から成るバッチにグループ化するステップ
・バッチごとに圧縮係数(Qk,p)を有する圧縮-解凍モデル(Fk,p)を決定するステップ
を含む。
【0025】
[0025]製造段階は、少なくとも以下のステップ、すなわち、
・製造時に少なくとも1つの物体の少なくとも1つの一次画像を取得するステップ
・各一次画像を二次画像(Sk,p)に分割するステップ
・再構成二次画像(Rk,p)を形成するように、学習段階において定義された圧縮-解凍モデル及び圧縮係数を各二次画像(Sk,p)に適用するステップ
・各再構成二次画像Rk,pの再構成誤差を計算するステップ
・再構成誤差に基づいて物体あたり1つ以上のスコアを割り当てるステップ
・1つ以上の割り当てられたスコア(複数可)に基づいて、製造物が品質検査に合格するか否かを判定するステップ
を含む。
【0026】
[0026]実施形態において、(学習及び/又は製造段階において)少なくとも1つの一次画像を取得するステップの後、各一次画像が再配置される。
【0027】
[0027]実施形態において、各一次画像は、例えばデジタルに処理される。処理動作は、例えば、デジタルフィルタ(ガウスぼかしなど)及び/若しくはエッジ検出、並びに/又は、例えば背景若しくは非関心領域など、画像の特定の領域を画するためにマスクを提供することを含んでもよい。
【0028】
[0028]他の実施形態において、1つ以上の一次画像に対して複数の分析が実施される。複数の分析は、同じ一次画像に複数の処理動作を同時に適用することを含む。したがって、「母」一次画像が、実施される分析の数に応じて複数の「娘」一次画像を生じ得る。例えば、「母」一次画像は、ガウスフィルタによる第1の処理動作を受け、第1の「娘」一次画像を生じ、第2の処理動作を受け、ソーベルフィルタによる第2の処理動作を受け、第2の「娘」一次画像を生じ得る。2つの「娘」一次画像は、一次画像について本発明において定義される同じデジタル処理動作を受ける。したがって、各「娘」一次画像を、1つ以上のスコアと関連付けてもよい。さらに、(学習段階及び製造段階において)最初に取得された一次画像の間で、すべての一次画像、又は、一部の一次画像のみ(若しくはさらには1つの一次画像のみ)に複数の分析を適用することを判断してもよい。次に、すべての一次画像(複数の分析からもたらされる「娘」画像、及び、複数の分析が適用されていない他の一次画像)が、本発明によるプロセスによって処理される。
【0029】
[0029]複数の分析は、大きく異なる欠陥が物体上で探索される場合に有益である。したがって、複数の分析は、画像の分析を、探索された欠陥に適合させることを可能にする。当該方法は、各タイプの欠陥に対してより精細な検出を可能にする。
【0030】
[0030]実施形態において、圧縮係数は、5~500,000、好ましくは100~10,000である。
【0031】
[0031]実施形態において、圧縮-解凍関数は、主成分分析(「PCA」)から決定してもよい。
【0032】
[0032]実施形態において、圧縮-解凍関数は、オートエンコーダによって決定してもよい。
【0033】
[0033]実施形態において、圧縮-解凍関数は、「直交マッチング追跡(OMP)」アルゴリズムとして知られるアルゴリズムを使用して決定してもよい。
【0034】
[0034]実施形態において、再構成誤差は、ユークリッド距離及び/又はミンコフスキー距離及び/又はチェビシェフ法を使用して計算してもよい。
【0035】
[0035]実施形態において、スコアは、再構成誤差の最大値及び/又は再構成誤差の平均及び/又は再構成誤差の加重平均及び/又はユークリッド距離及び/又はp距離及び/又はチェビシェフ距離に対応してもよい。
【0036】
[0036]実施形態において、Nは少なくとも10に等しくてもよい。
【0037】
[0037]実施形態において、少なくとも2つの一次画像が取得され、一次画像は同一のサイズ又は異なるサイズである。
【0038】
[0038]実施形態において、各一次画像が、同一のサイズ又は異なるサイズのP個の二次画像に分割されてもよい。
【0039】
[0039]実施形態において、二次画像Sは重複を伴って又は重複を伴わずに並置されてもよい。
【0040】
[0040]実施形態において、いくつかの二次画像は重複を伴って並置されてもよく、他の二次画像は重複を伴わずに並置されてもよい。
【0041】
[0041]実施形態において、二次画像は、同一のサイズ又は異なるサイズであってもよい。
【0042】
[0042]実施形態において、組み込み品質検査は、製造プロセスにおいて少なくとも1回実施してもよい。
【0043】
[0043]実施形態において、学習段階は、反復的であってよく、欠陥であるとはみなされない差を特定するために、製造時に、製造中の物体に繰り返されてもよい。
【0044】
[0044]実施形態において、再配置することは、画像全体にわたって分布する所定数の関心点及び記述子を特定すること、及び、基準画像と、関心点におけるオーバーレイ誤差を最小化する一次画像との間の相対変位を決定することであってもよい。
【0045】
[0045]実施形態において、関心点は、画像内にランダムに、又は、画像の所定の領域内に分布してもよい。
【0046】
[0046]実施形態において、関心点の位置は、自由裁量によって又は自由裁量によらずに予め規定されてもよい。
【0047】
[0047]実施形態において、関心点は、「スケール不変特徴変換(SIFT)」、又は「高速化ロバスト特徴(SURF)」、又は「加速セグメントテストからの特徴(FAST)」、又は「オブジェクトリクエストブローカ(ORB)」として知られる方法のうちの1つを使用して検出してもよく、記述子は、「スケール不変特徴変換(SIFT)」、又は「高速化ロバスト特徴(SURF)」、又は「二値ロバスト独立要素特徴(BRIEF)」、又は「オブジェクトリクエストブローカ(ORB)」の方法のうちの1つによって定義してもよい。
【0048】
[0048]実施形態において、画像は、少なくとも1つの軸に沿って再配置してもよく、及び/又は、画像は、画像によって形成される面に垂直な軸を中心とした回転において再配置してもよく、及び/又は、画像は、並進運動と回転運動とを組み合わせることによって再配置してもよい。
【図面の簡単な説明】
【0049】
[0049]図1図7が、本発明を例示するために使用される。

図1図1は、製造されている物体の一例の図である。
図2図2は、学習段階中に取得される一次画像を示す図である。
図3図3は、一次画像の二次画像への分割を示す図である。
図4図4は、学習段階、特に、最終的にバッチごとの圧縮-解凍モデルを得るための二次画像のバッチの形成を示す図である。
図5図5は、製造段階における圧縮-解凍モデルの使用を示す図である。
図6図6は、学習段階の主なステップを説明するブロック図である。
図7図7は、製造段階の主なステップを説明するブロック図である。
【発明の詳細な開示】
【0050】
[0050]図1は、製造されている物体1を示す。本発明を例示し、本発明をより理解しやすくするために、非限定例として、3つの装飾パターンが物体上に示されている。本発明は、製造されている物体のそれらパターンの品質を検査することを可能にする。本発明は、任意のタイプの物体又は物体部分を検査することを可能にする。物体は、図1に示す例によれば、単位部品とみなすことができる。連続プロセスにおいて巻かれた状態から広げられ、成形される印刷ラミネートを溶接することによるチューブの製造などの他のプロセスにおいて、物体は、形成されているチューブ上の反復装飾パターンの寸法によって規定される。例えば、シート又はチューブの連続押し出しプロセスなどの、物体のサイズを規定することが企図されている別のシナリオにおいて、物体は、押し出し製品の、定期的な間隔をおいて取得される画像の寸法によって任意裁量で規定されてもよい。
【0051】
[0051]図2は、学習段階中に取得される、物体の一次画像の一例を示す。学習段階中、許容可能な品質であるとみなされるN個の物体が製造される。本発明の例示を容易にするために、例として、4つの物体のみが図2に示されている。ロバストなモデルを得るために、学習段階中に必要とされる物体の数は、10よりも大きくすべきであり(すなわち、N>10)、好ましくは50(すなわち、N>50)よりも大きくすべきである。無論、上記値は、非限定例であり、Nは10以下であってもよい。図2は、それぞれ物体上に印刷された別個のパターンを示す一次画像A、A及びAを示す。本発明の開示において、Aという用語は、物体の一次画像を示すために使用され、画像のインデックスkは1とKとの間で変化し、Kは物体あたりの画像の数に対応する。
【0052】
[0052]図2に示すように、一次画像Aのサイズは必ずしも同一ではない。図2において、一次画像Aは一次画像A及びAよりも小さい。これによって、例えば、画像Aをより精細に(ピクセル数をより多く)することが可能になる。一次画像は、物体1の表面全体をカバーしてもよく、又は、逆に、表面を部分的にのみカバーしてもよい。
【0053】
[0053]図2に示すように、一次画像Aは物体の特定の領域を対象とする。一次画像のサイズ、位置及び数に関する本発明のこの柔軟性によって、ほとんどの重要な領域における視覚的品質の検査に関して高い正確度を同時に維持しながら、計算時間を最適化することが可能になる。
【0054】
[0054]図2はまた、物体間で同様である画像Aを生成する必要性も示す。この必要性によって、画像Aを取得するときに物体又はカメラを繰り返し位置付けるための適切な手段を導入することが必要になる。
【0055】
[0055]本発明の開示において後に説明するように、1つの画像から別の画像へと反復的であるように実施される手段にもかかわらず、工業製造プロセスにおける画像の取得に固有の変動、及び、製造される物体に固有の変動を克服するために、一次画像を基準画像に対して位置決めし直すことが必要であることが多い。当該位置決めし直しを実施するのに使用されるのは、例えば、ピクセルなどの、画像の小さい要素であるため、画像は高い正確度で位置決めし直される。
【0056】
[0056]図3は、一次画像の二次画像への分割を示す。したがって、図3に示すように、一次画像Aは4つの二次画像S1,1、S1,2、S1,3及びS1,4に分割される。したがって、各一次画像Aは、1とPとの間で変化する分割インデックスpによって、P個の二次画像Sk,pに分解される。
【0057】
[0057]図3に示すように、二次画像のサイズは必ずしも同一ではない。例として、図3は、二次画像S1,2及びS1,3が二次画像S1,1及びS1,4よりも小さいことを示している。これによって、二次画像S1,2及びS1,3における欠陥探索をより正確にすることが可能になる。
【0058】
[0058]同じく図3に示すように、二次画像は必ずしも、一次画像A全体をカバーしない。例として、二次画像S2,pは、一次画像Aを部分的にのみカバーする。二次画像のサイズを縮小することによって、分析は、物体の特定の領域に焦点を当てられる。二次画像によってカバーされる物体の領域のみが分析される。
【0059】
[0059]図3は、二次画像Sk,pの数、サイズ及び位置を調整することによって、本発明が、物体の美観の検査のレベルを局所的に調整することを可能にするという事実を示している。
【0060】
[0060]図4は、学習段階、特に、最終的にバッチごとに圧縮係数を有する圧縮-解凍モデルを得るための二次画像のバッチの形成を示す。
【0061】
[0061]図4は、N個の同様の二次画像Sk,pをグループ化してバッチを形成することを示す。各バッチは別個に処理され、圧縮係数Qk,pを有する圧縮-解凍モデルFk,pを作成するために使用される。したがって、例として、また図3に示すように、N=4個の二次画像S3,3が使用されて、圧縮係数Q3,3を有するモデルF3,3が作成される。
【0062】
[0062]図5は、製造段階における、学習段階から生じる圧縮-解凍モデルの使用を示す。製造段階において、学習段階において決定されたモデルFk,pが、製造されている物体の各二次画像Sk,pの再構成画像を計算するために使用される。したがって、物体の各二次画像は、学習段階からもたらされるモデル及び異なる圧縮係数による圧縮-解凍動作を受ける。各圧縮-解凍動作は、再構成画像を与え、再構成画像は、当該再構成画像をもたらす二次画像と比較することができる。二次画像Sk,pと、当該画像の再構成画像Rk,pとを比較することによって、スコアを規定するために使用される再構成誤差を計算することが可能になる。
【0063】
[0063]図5は、説明例として、モデルF3,3及び当該モデルの圧縮係数Q3,3を使用して二次画像S3,3から再構成画像R3,3を得る特定の事例を示す。
【0064】
[0064]図6は、本発明による学習段階の主なステップを示す。学習段階の始まりにおいて、許容可能な品質であるとみなされるN個の物体が製造される。上記物体の定性的及び/又は定量的評価は、視覚検査手順を使用して、又は、企業によって規定される方法及び手段を使用して実行してもよい。したがって、学習段階について製造される物体の数は、N以上であってもよい。図6に示す学習段階は、少なくとも以下のステップを含む。
・上記物体の製造中に、品質が良好であるとみなされる物体のK×N個の「一次」画像と呼ばれるものを取得する。各物体は、物体上で分析されるべき領域の寸法、及び、検出することが所望される欠陥のサイズに応じて、1つ(K=1)又は複数(K>1)の別個の一次画像と関連付けてもよい。相対的に一定の光環境において画像が取得されることを可能にするために、工業の文脈に対して適切である照明及び拡大条件が実施される。環境に関連付けられる反射現象又は干渉を回避するために、既知の照明最適化技法を実施してもよい。例えば、外部光環境、並びに/或いは、特定の波長を有する光及び/又はグレージング光若しくは間接照明を回避することを可能にするトンネル又はブラックボックスなど、多くの一般的に使用されるソリューションが採用されてもよい。複数の一次画像がまったく同一の物体(K>1)について取得されるとき、上記一次画像は、離間、並置又はさらには重複されてもよい。一次画像の重複は、2つの画像間で生じ得る可能性のある結果がカットされるのを回避すること、及び/又は、画像を再配置するステップに関連する画像のエッジにおける情報の損失を補償することが所望される場合に有用であり得る。当該技法はまた、一次画像及び一次画像に含まれる情報に応じて組み合わせてもよい。画像はまた、例えば、コントラストを増大させるために、光学又はデジタルフィルタを使用して前処理してもよい。
・次に、一次画像が、基準画像について再配置される。一般に、学習段階中に製造される任意の物体の一次画像が、基準画像として機能することができる。好ましくは、学習段階中に製造される第1の物体の一次画像が、基準画像として使用される。一次画像を位置決めし直すための方法は、本出願の説明において後に詳述する。
・次いで、各一次画像Aが、「二次」画像と呼ばれるP個の画像に分割される。画像を分割する結果として、一次画像よりも小さい分析領域がもたらされ得る。分析領域を縮小することは、あり得る欠陥を探すべき物体の領域が事前に分かっている場合に有益であり得る。これは、例えば、溶接を通じて製造される物体、及び、溶接動作に関連する欠陥が探索される物体に当てはまる。二次画像は、「分析されない」領域を間に残して互いから離間されてもよい。離間のシナリオは、例えば、対象領域に欠陥が生じる場合、又は、欠陥が繰り返し連続的に生じる場合に使用してもよい。分析領域を縮小することによって、計算時間を短縮することが可能になる。代替形態として、二次画像が重ね合わされてもよい。二次画像の重複は、欠陥が2つの二次画像の間の接合部に生じる場合に、欠陥が2つの部分にカットされるのを回避することを可能にする。二次画像の重複は、小さい欠陥を探すときに特に有用である。最後に、二次画像は離間又は重複なしに並置されてもよい。一次画像は、同一又は可変のサイズの二次画像に分割することができ、二次画像の相対的位置付けのための技法(離間、並置又は重ね合わせ)はまた、探索される欠陥に応じて組み合わせてもよい。
・次のステップは、対応する基準二次画像をバッチにグループ化することを含む。K×N個の一次画像から得られる二次画像は、二次画像のセットを生じる。当該二次画像セットから、N個の対応する二次画像、特に各物体の同じ二次画像Sk,pを含むバッチを形成することが可能である。したがって、N個の二次画像S1,1がバッチにグループ化される。同じことが、N個の画像S1,2に適用され、次いでN個の画像S1,3に適用され、以下、すべての画像Sk,pについて同様である。
・次のステップは、二次画像のバッチごとに圧縮表現を見つけることを含む。圧縮表現を見つける動作は、本発明の重要なステップである。当該動作は、特に、上記バッチを特徴付ける圧縮係数Qk,pを有する圧縮-解凍モデルFk,pを得ることを含む。モデルFk,pは、製造段階中に物体の品質を検査するために使用される。したがって、二次画像S1,1のバッチについて、圧縮基準Q1,1を有するモデルF1,1が与えられる。同様に、モデルF1,2が画像S1,2のバッチについて得られ、モデルF1,3が画像S1,3のバッチについて得られ、以下同様に、モデルFk,pが画像Sk,pの各バッチについて得られる。
・二次画像Sk,pのバッチごとの圧縮係数Qk,pの選択は、利用可能な計算時間、及び、検出することが所望される欠陥のサイズに依存する。
・学習段階の終わりには、製造されている物体の視覚的品質と関連付けられる圧縮係数Qk,pを有するモデルFk,pのセットが存在する。
【0065】
[0065]本発明によれば、モデルFk,p及び圧縮係数Qk,pである学習段階の結果は、「処方」として保持し、後に、同じ物体を再び製造するときに再使用することができる。したがって、所定の処方を再使用して、同一の品質の物体を後に再製造することができる。処方はまた、上記同じ物体の各製造の開始前に、学習段階が再び実行されるのを回避することも可能にする。
【0066】
[0066]本発明によれば、製造中に反復学習が行われることが可能である。したがって、製造中、例えば、新たな物体による追加の(又は補足的な)学習を実行すること、及び、当該物体の画像を、学習段階において最初に特定された物体の画像に追加することが可能である。新たな学習段階が画像の新たなセットから実施されてもよい。適応的学習は、製造中に物体間に差が生じ、当該差が欠陥であるとみなされない場合に、特に適している。言い換えれば、当該物体は、初期学習段階におけるように「良好」であるとみなされ、これを特定することが好ましい。当該シナリオにおいて、当該差を呈する物体を含む高い拒絶率を回避するために、反復学習が必要である。反復学習は、例えば、新たな画像を以前に学習された画像に累積すること、若しくは、新たな学習画像によって学習を再開することのいずれかによって、又は、さらには数個の初期画像のみを新たな画像によって維持することによってなど、多くの方法において実行してもよい。
【0067】
[0067]本発明によれば、反復学習は、物体の拒絶に関連付けられる指標によってトリガされる。当該指標は、例えば、単位時間あたりの拒絶の数、又は、製造される一定量の物体あたりの拒絶の数である。当該指標が固定値を超えると、オペレータは、警告を受け、拒絶率の増大が機械調整(差が欠陥であるため)を必要とするか、又は、新たな学習(差が欠陥でないため)を必要とするかを判断する。
【0068】
[0068]図7は、物体製造段階の主なステップを示す。製造段階は、学習段階後に開始し、すなわち、許容可能な「品質」の物体の特性基準が上述のように定義されたときに開始する。本発明は、欠陥のある物体を製造バッチからリアルタイムで取り除き、製造品質の逸脱が観察されるときに過剰な空費が生じるのを回避することを可能にする。本発明はまた、製造プロセスの逸脱をリアルタイムで通知し、欠陥のある物体が製造されることを予測することも可能にする。したがって、事実、製造プロセスを補正して検出される欠陥を補正し、又は、逸脱を補正するために、製造手段(機械など)に作用することが可能である。図7に示す、本発明による製造段階は、少なくとも以下の動作を含む。
・製造されている物体のK個の一次画像を取得する。物体の画像は、学習段階において取得される画像と同じ方法で取得され、撮影される領域並びに照明、拡大及び調整条件は、学習段階中に使用されたものと同一である。
・K個の画像が、基準画像について再配置される。再配置する動作の目的は、比較が所望される画像間のわずかなずれを克服することである。当該ずれは、変動又はさらには物体と撮像装置との間の相対運動に関連付けられ得る。
・次いで、製造時の物体の各一次画像Aが、P個の二次画像に分割される。分割は、学習段階において実行された画像の分割と同じ方法で実施される。したがって、当該分割の終わりに、製造時の物体ごとの二次画像Sk,pのセットが存在する。
・次いで、各二次画像Sk,pが、学習段階中に予め定義される圧縮係数Fk,pを有するモデルFk,pを用いて圧縮-解凍される。当該動作は、各々二次画像Sk,pについて再構成画像Rk,pを生じる。したがって、当該動作によって、製造されている物体について、上記物体の二次画像と比較されることが可能である再構成画像が与えられる。デジタルの観点から、「二次画像の再構成」という用語が使用されることは、必ずしも、当該用語の厳密な意味において新たな画像を得ることを意味するものではない。目的は、最終的に、製造されている物体の画像と、圧縮-解凍関数によって学習段階において得られる画像とを比較することであるため、これらの画像の間の差の定量化のみが、厳密には有用である。計算時間の理由で、再構成画像を代表するデジタル物体における、二次画像と再構成画像との間の差を定量化するのに十分な限界を引き出すための選択を行うことができる。モデルFk,pを使用することは、当該比較を、製造要件及びスループットと同等の非常に短い時間内で実施することを可能にするため、特に有用である。
・二次画像と再構成二次画像との比較から、再構成誤差を計算することができる。当該誤差を定量化するための好ましい方法は、平均平方誤差を計算するものであるが、他の等価な方法が可能である。
・したがって、各オブジェクトについて、二次画像及び再構成画像が存在し、したがって、再構成誤差が存在する。再構成誤差の当該セットから、製造されている物体について1つ以上のスコア(複数可)を定義することができる。学習されたバッチに関する類似性又は差を特性化する物体のスコアを計算するための複数の計算方法が可能である。したがって、本発明によれば、学習されたバッチから視覚的にかけ離れている物体が、1つ以上の高いスコアを有することになる。逆に、学習バッチに視覚的に近い物体が1つ以上の低いスコアを有することになり、品質が良好であるか又は品質が許容可能であるとみなされることになる。物体の1つ以上のスコアを計算するための1つの好ましい方法は、再構成誤差の最大値を取得することを含む。他の方法は、物体の1つ以上のスコアの値を計算するために、再構成誤差を組み合わせることを含む。
・次のステップは、製造バッチから欠陥のある物体を取り除くことを含む。物体の1つ以上のスコアの値が1つ以上の所定の限界(複数可)よりも低い場合、評価された物体は、学習段階において定義された視覚的品質基準を満たし、物体は製品の流れの中に維持される。逆に、物体の1つ以上のスコアの値が上記1つ以上の所定の限界(複数可)よりも大きい場合、物体は、製品の流れから取り除かれる。複数の連続する物体が製品の流れから取り除かれたとき、又は、拒絶率が高くなったとき、製造機械上のプロセス又は介入に対する補正措置を企図することができる。
【0069】
[0069]本発明のステップは、下記により詳細に要約及び提示される。
一次画像の再配置
【0070】
[0070]本発明による画像再配置方法は、2つのステップを含む。
・画像内の関心点及び記述子を探索する。
・取得された画像を、関心点及び記述子に基づいて基準画像に対して再配置する。
【0071】
[0071]典型的には、1つ以上の基準画像は、本出願において説明されているように、学習段階において取得された第1の画像又は別の画像に対して定義される。第1のステップは、画像上の関心点と関連付けられる関心点及び記述子を定義することを含む。関心点は、例えば、画像上に存在する形状の角部であってもよく、関心点はまた、強度若しくは色に関して高いコントラストを有する領域であってもよく、又は、関心点はさらには、ランダムに選択されてもよい。識別された関心点は次いで、当該関心点の特徴を規定する記述子によって特性化される。
【0072】
[0072]関心点は、適切なアルゴリズムを使用して自動的に決定されることが好ましいが、1つの代替的な方法は、関心点の位置を任意裁量で予め規定することを含む。
【0073】
[0073]再配置に使用される関心点の数は可変であり、関心点あたりのピクセル数に依存する。位置付けに使用されるピクセルの総数は一般的に100~10,000であり、好ましくは500~1000である。
【0074】
[0074]関心点を定義するための第1の方法は、関心点をランダムに選択することを含む。ランダムな選択は、関心点と呼ばれるピクセルの割合をランダムに規定することに等しく、記述子は、上記ピクセルの特徴(位置、色)である。当該第1の方法は、特に、計算に利用可能な時間が非常に限られている高スループット製造プロセスの場合における、工業製造の文脈に特に適している。
【0075】
[0075]第1の方法の第1の実施形態によれば、関心点は画像内にランダムに分布する。
【0076】
[0076]第1の方法の第2の実施形態によれば、関心点は画像の所定の領域内にランダムに分布する。当該第2の実施形態は、任意の欠陥が生じる場所が事前に分かっている場合に有利である。これは、例えば、欠陥が主に溶接動作によって影響を受ける領域内で予期される溶接プロセスの場合である。溶接プロセスのシナリオにおいて、関心点を、溶接動作によって影響を受ける領域の外側に位置付けることが有利である。
【0077】
[0077]関心点を規定するための第2の方法は、「SIFT」(「スケール不変特徴変換」、米国特許第6,711,293号参照)と呼ばれる方法、すなわち、スケールとは無関係に画像の同じ視覚的特徴を維持することを可能にする方法に基づく。第2の方法は、上記画像の関心点における画像の記述子を計算することを含む。当該記述子は、画像の局所的分析から導出され、スケールとは無関係に画像の視覚的内容を特性化するデジタル情報に対応する。本方法の原理は、画像上の関心点の周りに画定される領域を検出することに存し、上記領域は好ましくは、倍率と呼ばれる半径を有する円である。当該領域の各々において、形状及び形状のエッジが探索され、次いで、エッジの局所配向が規定される。計算上、当該局所配向は、関心点の「SIFT」記述子を構成するベクトルになる。
【0078】
[0078]関心点を規定するための第3の方法は、「SURF」(「高速化ロバスト特徴」、米国特許出願公開第2009/0238460号参照)方法、すなわち、関心点及び記述子を規定するための加速化された方法に基づく。「SURF」方法は「SIFT」方法と類似しているが、実行速度の利点を有する。「SURF」方法は、「SIFT」と同様に、関心点を抽出し、記述子を計算するステップを含む。「SURF」方法は、Fast-Hessianを使用して、関心点及びハールウェーブレットの近似を検出して記述子を計算する。
【0079】
[0079]「FAST」(加速セグメントテストからの特徴)方法に基づいて関心点を探索するための第4の方法は、可能性のある関心点を識別し、上記関心点の周りに位置するピクセルの強度を分析することを含む。第4の方法は、関心点を非常に迅速に識別することを可能にする。記述子は、「BRIEF」(二値ロバスト独立要素特徴)方法を介して識別してもよい。
【0080】
[0080]画像再配置方法の第2のステップは、関心点及び関心点の記述子を使用して一次画像を基準画像と比較することを含む。最良の再配置を得ることは、2つの画像の記述子の間の最良の位置整合を探索することによって達成される。
【0081】
[0081]画像の再配置値は、製造プロセスに依存し、特に、画像が取得されるときの物体の空間配置の正確度に依存する。シナリオに応じて、画像は、単一の軸に沿った再配置、2つの直交する軸に沿った再配置、又はさらには画像によって形成される平面に垂直な軸を中心とした回転再配置を必要とする場合がある。
【0082】
[0082]画像の再配置は、並進運動と回転運動の組み合わせからもたらしてもよい。最適な一次変換が、最小二乗法を介して探索される。
【0083】
[0083]関心点及び記述子は、画像を再配置する動作に使用される。当該記述子は、例として、ピクセル、例えば「SIFT」、「SURF」又は「BRIEF」記述子の特徴であってもよい。関心点及び記述子は、画像を再配置するための基準点として使用される。
【0084】
[0084]SIFT、SURF及びBRIEF方法における再配置は、記述子を比較することによって実行される。関連しない記述子は、Ransac法などのコンセンサス方法を使用して除去される。次に、最適な一次変換が、最小二乗法を介して探索される。
一次画像の二次画像への分割
【0085】
[0085]一次画像は、いくつかの方法でP個の二次画像に分割されてもよい。
【0086】
[0086]本発明の1つの利点は、物体の観察対象領域に対して視覚分析のレベルを調整することを可能にすることである。視覚分析のレベルの調整は、最初に、一次画像の数及び各一次画像の解像度のレベルによって実施される。したがって、二次画像への分解は、分析のレベルを各一次画像において局所的に調整することを可能にする。介入することが可能である第1のパラメータは、二次画像のサイズである。より小さい二次画像は、分析を局所的に微調整することを可能にする。各二次画像Sk,pのサイズ及び圧縮係数Qk,pを連携して調整することによって、本発明は、製造品に関連付けられる要件レベルに対して調整された高性能の検出レベルを同時に維持しながら、計算時間を最適化することを可能にする。本発明は、観察対象領域の重要性のレベルに対して検出レベルを局所的に適合させることを可能にする。
【0087】
[0087]本発明の1つの特定の事例は、すべての二次画像のサイズを同じにすることを含む。
【0088】
[0088]したがって、観察対象領域全体が同じサイズであるとき、第1の方法は、一次画像を、同一のサイズであり、重複なしに並置されたP個の二次画像に分割することを含む。
【0089】
[0089]第2の方法は、一次画像を、同一のサイズであり、重複を伴って並置されたP個の二次画像に分割することを含む。重複は、物体上に生じる可能性がある欠陥の寸法に応じて調整される。
【0090】
[0090]欠陥が小さいほど、重複をより低減することができる。概して、重複は少なくとも欠陥の特性半長に等しく、特性長は、欠陥全体を含むことを可能にする円の最小直径として定義される。
【0091】
[0091]無論、上記方法を組み合わせ、並置されており、及び/又は、重複を有し、及び/又は、互いから一定の距離にある二次画像を使用することが可能である。
圧縮-解凍関数の計算
【0092】
[0092]同じく好ましい方法である第1の方法によれば、圧縮-解凍関数及び圧縮係数が、主成分分析(「PCA」)から決定される。当該方法は、学習段階からもたらされるバッチを特性化する固有ベクトル及び固有値を定義することを可能にする。新たな基底において、固有ベクトルは重要性の順にランク付けされる。圧縮係数は、新たな基底において保持されている次元の数から生じる。圧縮係数が高いほど、新たな基底の次元の数は大きくなる。本発明は、所望の検査レベルに応じて、及び、利用可能な計算時間に応じて圧縮係数を調整することを可能にする。
【0093】
[0093]本方法の第1の利点は、機械が新たな基底を規定するためにいかなる指示も必要としないという事実に関連する。固有ベクトルは、計算を通じて自動的に選択される。
【0094】
[0094]本方法の第2の利点は、製造段階において欠陥を検出するための計算時間の短縮に関連する。次元の数が低減されるため、処理されるべきデータの量が低減される。
【0095】
[0095]本方法の第3の利点は、1つ以上のスコアを製造されている物体の画像にリアルタイムで割り当てる可能性においてもたらされる。得られる1つ以上のスコアは、学習段階からもたらされるモデルによる再構成によって、学習段階からの物体に関して製造されている物体の逸脱/誤差率を定量化することを可能にする。
【0096】
[0096]圧縮係数は、5~500,000、好ましくは100~10,000である。圧縮係数が高いほど、製造段階において画像を分析するための計算時間は短くなる。しかしながら、過度に高い圧縮係数は、粗すぎて最終的に誤差の検出に適さないモデルをもたらす可能性がある。
【0097】
[0097]第2の方法によれば、モデルはオートエンコーダである。オートエンコーダは、特徴を教師なしの様式で規定することを可能にするニューラルネットワークの形態をとる。オートエンコーダは、2つの部分、すなわち、エンコーダ及びデコーダから成る。エンコーダは、二次画像Sk,pを圧縮することを可能にし、デコーダは、再構成画像Rk,pを得ることを可能にする。
【0098】
[0098]第2の方法によれば、二次画像のバッチあたり1つのオートエンコーダが存在する。各オートエンコーダは、それ自体の圧縮係数を有する。
【0099】
[0099]第2の方法によれば、オートエンコーダは、学習段階中に最適化される。オートエンコーダは、再構成画像と初期画像とを比較することによって最適化される。当該比較は、初期画像と再構成画像との間の差を定量化し、したがって、エンコーダによって成される誤差を決定することを可能にする。学習段階は、画像再構成誤差を最小限に抑えることによって、オートエンコーダを最適化することを可能にする。
【0100】
[0100]第3の方法によれば、モデルは「OMP」すなわち「直交マッチング追跡」アルゴリズムに基づく。本方法は、ライブラリから選択されるいくつかの画像の正射影に基づいて最良の線形結合を探索することを含む。モデルは反復的方法を通じて得られる。ライブラリから画像が追加されるごとに、再組成画像が改善される。
【0101】
[0101]第3の方法によれば、画像ライブラリは、学習段階によって規定される。画像ライブラリは、学習段階のすべての画像を代表するいくつかの画像を選択することによって得られる。
圧縮-解凍モデルからの再構成画像の計算
【0102】
[0102]製造段階において、検査される物体の各一次画像Aが、上述したプロセスを使用して再配置され、次いで、P個の二次画像Sk,pに分割される。各二次画像Sk,pは、学習段階において定義されるモデルによってデジタル再構成動作を受ける。したがって、再構成動作の終わりに、二次画像Sk,pあたり1つの再構成画像Rk,pが存在する。
【0103】
[0103]圧縮係数Qk,pを有するモデルFk,pを用いて各二次画像Sk,pを再構成する動作は、計算時間を非常に短くすることを可能にする。圧縮係数Qk,pは、5~500,000、好ましくは10~10,000である。
【0104】
[0104]同じく好ましい方法であるPCA方法によれば、二次画像Sk,pは事前にベクトルに変換される。次に、当該ベクトルが、学習中に定義される関数Fk,pを使用して固有ベクトルの基底に投影される。これによって、次いで、得られたベクトルを画像に変換することによって、再構成画像Rk,pが得られる。
【0105】
[0105]第2の方法によれば、二次画像は、学習段階においてパラメータが規定されたオートエンコーダによって再組成される。二次画像Sk,pは、再構成画像Rk,pを得るためにオートエンコーダによって処理される。
【0106】
[0106]第3の方法によれば、二次画像は、学習段階においてパラメータが規定されたOMPすなわち直交マッチング追跡アルゴリズムによって再構成される。
各二次画像の再構成誤差の計算
【0107】
[0107]再構成誤差は、二次画像Sk,pと再構成画像Rk,pとの間の比較から生じる。
【0108】
[0108]誤差を計算するために使用される1つの方法は、二次画像Sk,pと再構成画像Rk,pとの間の距離の測定を含む。再構成誤差を計算するために使用される好ましい方法は、ユークリッド距離又は2ノルムである。本方法は、誤差の平方の和の平方根を特定する。
【0109】
[0109]誤差を計算するための1つの代替的な方法は、ユークリッド距離の一般化であるミンコフスキー距離、p距離を使用することを含む。本方法は、指数pに対する誤差の絶対値の和のp番目の根を特定する。本方法は、2よりも大きいpを選択することによって大きい逸脱により大きい重みを与えることを可能にする。
【0110】
[0110]別の代替的な方法は、3ノルム又はチェビシェフ方法である。本方法は、誤差の最大絶対値を特定する。
1つ以上のスコアの計算
【0111】
[0111]物体の1つ以上のスコアの値が、各二次画像の再構成誤差から得られる。
【0112】
[0112]1つの好ましい方法は、再構成誤差の最大値をスコアに割り当てることを含む。
【0113】
[0113]1つの代替的な方法は、再構成誤差の平均をとることによってスコアの値を計算することを含む。
【0114】
[0114]1つの代替的な方法は、再構成誤差の加重平均をとることを含む。加重平均は、欠陥の重要性が物体のすべての領域において同一でない場合に有用であり得る。
【0115】
[0115]別の方法は、ユークリッド距離又は2ノルムを使用することを含む。
【0116】
[0116]別の方法は、p距離を使用することを含む。
【0117】
[0117]別の方法は、チェビシェフ距離又は3ノルムを使用することを含む。
【0118】
[0118]他の同等の方法は、無論、本発明の範囲内にある。
【0119】
[0119]1つ以上のスコアが計算されると、スコアの値は、考慮されている製品が所望の品質条件を満たすか否かを判定するために使用される。条件を満たす場合、製品は製造において維持され、満たさない場合、到達した製造段階に応じて、欠陥があるものとしてマークされるか、又は、製造から除去される。例えば、製品が個別化されている場合、製品は、製造プロセスから物理的に除去され得る。個別化されていない場合、製品は、後に除去されるために、物理的又は電子的にマークされ得る。
【0120】
[0120]無論、本出願による品質検査は、製造プロセスにおいて1回(好ましくは製造の終わりに)、又は、例えば、時間がかかるか若しくは費用のかかる手段を必要とするステップの前に、製造プロセスの早期に欠陥があるものとしてすでにみなされたものであり得る物体の製造が完了することを回避するために適切な様式で選択される回数のいずれかで実施され得る。製造プロセスの早期に当該物体を除去することによって、時間及びコストに関して製造プロセスを最適化することが可能になる。
【0121】
[0121]様々な方法が、物体の製造プロセス全体において固定的に選択されてもよく(すなわち、製品を製造するプロセス全体を通じて同じ方法が使用される)、又は、他の様態で、複数の品質検査が首尾よく実施された場合には上記方法が組み合わされてもよい。次いで、検査が実施されるようにするための1つ以上の最も適切な方法を選択することが可能である。
【0122】
[0122]本出願において、無論、プロセスは、高いスループット(例えば、毎分少なくとも100個の製品)を有することができる製造機械において実施されることは理解されたい。いくつかの例において、製造されている物体を定義するために単数形が使用されたが、これは単純にするために行われた。事実、プロセスは、製造されている連続する物体に適用され、したがって、プロセスは、製造されている連続する各物体に対して反復的に繰り返され、品質検査は連続する物体のすべてに対して実施される。
【0123】
[0123]記載されている実施形態は、例示的な実施例によって説明されており、限定であるとみなされるべきではない。他の実施形態は、例えば、記載されているものと同等の手段を使用してもよい。実施形態はまた、状況に応じて互いに組み合わされてもよく、又は、1つの実施形態において使用された手段及び/若しくはプロセスステップが、本発明の別の実施形態において使用されてもよい。
図1
図2
図3
図4
図5
図6
図7
【国際調査報告】