知財求人 - 知財ポータルサイト「IP Force」
▶ テトラ ラバル ホールディングス アンド ファイナンス エス エイの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】液体食品のための包装容器における逸脱の検出
(51)【国際特許分類】
G06T 7/00 20170101AFI20240409BHJP
B65B 57/00 20060101ALI20240409BHJP
B65B 57/02 20060101ALI20240409BHJP
G01N 21/90 20060101ALI20240409BHJP
【ＦＩ】
G06T7/00 610Z
G06T7/00 350B
B65B57/00 A
B65B57/02 D
G01N21/90 Z
【請求項の数】
15
(21)【出願番号】P 2021575225
(86)(22)【出願日】2020-06-15
(65)【公表番号】
(43)【公表日】2022-08-24
(86)【国際出願番号】 EP2020066516
(87)【国際公開番号】W WO2020254260
(87)【国際公開日】2020-12-24
【審査請求日】2023-05-30
(31)【優先権主張番号】19180965.6
(32)【優先日】2019-06-18
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】391053799
【氏名又は名称】テトラ ラバル ホールディングス アンド ファイナンス エス エイ
【住所又は居所原語表記】７０ Ａｖｅｎｕｅ Ｇｅｎｅｒａｌ Ｇｕｉｓａｎ，ＣＨ－１００９ Ｐｕｌｌｙ，Ｓｗｉｔｚｅｒｌａｎｄ
(74)【代理人】
【識別番号】100151105
【弁理士】
【氏名又は名称】井戸川 義信
(72)【発明者】
【氏名】ピーター・ヨハネソン
(72)【発明者】
【氏名】エリック・ベルグヴァール
【審査官】笠田 和宏
(56)【参考文献】
【文献】特開２０１５－１７６１７５（ＪＰ，Ａ）
【文献】Yuhuan Liu，外３名，Defect Inspection of Medicine Vials Using LBP Features and SVM Classifier，2017 2nd International Conference on Image, Vision and Computing (ICIVC)，2017年06月02日，pp. 41-45
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｂ６５Ｂ ５７／００
Ｂ６５Ｂ ５７／０２
Ｇ０１Ｎ ２１／９０
(57)【特許請求の範囲】
【請求項1】
製造プラントにおいて、液体食品のための包装容器（４０１）における逸脱を検出する方法であって、包装容器（４０１）又は前記包装容器（４０１）を作る際に使用するための出発材料（４０１’）の仮想モデル（２０１）を作り出すこと（３１）と、
逸脱タイプに特有の特徴について、１つ又は複数の確率分布（［ＰＤ］）を取得すること（３２）と、
前記逸脱タイプの逸脱を有する前記仮想モデル（２０１）の複製（［Ｒ］）を作ること（３３）であって、前記逸脱は、前記特徴についての前記１つ又は複数の確率分布（［ＰＤ］）に対応して前記複製（［Ｒ］）の中に含められる、作ること（３３）と、
格付け（３２）を前記複製（［Ｒ］）と関連付けること（３４）と、
前記製造プラントにおいて取得された前記包装容器（４０１）又は前記出発材料（４０１’）の画像データ（Ｉｃ）に基づき、前記包装容器（４０１）又は前記出発材料（４０１’）における実際の逸脱（４０３）の後続の検出及び格付けのための、機械学習をベースにしたモデル（ＭＬＭ）のトレーニングのために、前記複製（［Ｒ］）及び前記関連付けられた格付け（［Ｇ］）を入力すること（３５）と
を含む方法。
【請求項2】
前記１つ又は複数の確率分布（［ＰＤ］）は、前記逸脱タイプに特有のそれぞれの特徴の特徴量についての確率値を定義する、請求項１に記載の方法。
【請求項3】
前記作ること（３３）は、前記複製（［Ｒ］）の中の前記それぞれの特徴の特徴量の発生を、前記１つ又は複数の確率分布（［ＰＤ］）によって与えられる対応する確率値に合致させることをさらに含む、請求項２に記載の方法。
【請求項4】
前記特徴は、前記逸脱タイプについての所定の基底関数（［ＢＦ］）のセットの１つ又は複数の重みを含む、請求項１～３のいずれか一項に記載の方法。
【請求項5】
前記作ること（３３）は、前記１つ又は複数の確率関数に応じて、前記所定の基底関数（［ＢＦ］）のセットにおける所定の基底関数について、それぞれの重み値を決定することと、前記複製（［Ｒ］）の中に含まれる逸脱の関数表現を生成するために、前記それぞれの重み値でスケーリングされた前記所定の基底関数を組み合わせ、且つ前記逸脱を含めるために前記仮想モデル（２０１）を前記関数表現に適合させることとをさらに含む、請求項４に記載の方法。
【請求項6】
前記所定の基底関数（［ＢＦ］）のセットにおける前記所定の基底関数は、一次独立であり、且つ／又は相互に直交する、請求項５に記載の方法。
【請求項7】
前記所定の基底関数（［ＢＦ］）のセットにおける前記所定の基底関数は、主成分分析、ＰＣＡによって与えられる主成分に対応する、請求項４～６のいずれか一項に記載の方法。
【請求項8】
前記逸脱の各々は、前記特徴の１つ又は複数の特徴量（［ｗｉ］）によって定義され、前記関連付けること（３４）は、それぞれの複製（Ｒｉ）について、前記１つ又は複数の特徴量（［ｗｉ］）を、格付けを特徴量と関連付ける格付けデータベース（６６）にマッピングすることと、前記マッピングに基づき、前記それぞれの複製（Ｒｉ）について格付け（Ｇｉ）を決定することとを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記仮想モデル（２０１）は、仮想座標系において作り出され、前記作ること（３３）は、前記仮想モデル（２０１）において逸脱領域（２０２）を定義することと、前記逸脱タイプに特有の前記特徴の１つ又は複数を表すために、制御された逸脱（２０４）を、前記仮想座標系における定義されたジオメトリ及び位置で前記逸脱領域（２０２）に導入することと、前記制御された逸脱（２０４）を有する前記仮想モデル（２０１）の複製を作ることとをさらに含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記複製の視点が、前記製造プラントでの前記後続の検出のためのカメラ位置から前記包装容器（４０１）又は前記出発材料（４０１’）への視点に対応するように、前記仮想モデル（２０１）に対して前記仮想座標系において仮想カメラ位置を定義することをさらに含む、請求項９に記載の方法。
【請求項11】
前記実際の逸脱（４０３）についてタイムスタンプを決定することと、前記タイムスタンプに基づき、前記製造プラントの関連付けられた製造パラメータを決定することと、前記タイムスタンプ、前記格付け及び前記逸脱タイプを前記製造パラメータと相関させることとをさらに含む、請求項１～１０のいずれか一項に記載の方法。
【請求項12】
前記格付け及び／又は前記逸脱タイプによる修正された製造パラメータを含む制御命令を前記製造プラントにおける機械（４００）に伝達することをさらに含む、請求項１１に記載の方法。
【請求項13】
前記格付けに応じてアラート通知を引き起こすことをさらに含む、請求項１～１２のいずれか一項に記載の方法。
【請求項14】
コンピュータ可読媒体であって、プロセッサ（８０）によって実行されると、前記プロセッサ（８０）に、請求項１～１３のいずれか一項に記載の方法を実施させるコンピュータ命令を含むコンピュータ可読媒体。
【請求項15】
製造プラントにおいて作られた液体食品のための包装容器（４０１）における逸脱を検出するためのシステムであって、請求項１～１３のいずれか一項に記載の方法を実施するように構成されたプロセッサ（８０）を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、液体食品のための包装容器における逸脱（ｄｅｖｉａｔｉｏｎｓ）の検出、特に包装容器の製造中に製造プラントにおいて取り込まれた画像データに基づく検出のための技術に関する。
【背景技術】
【0002】
逸脱、例えば欠陥又は予期された製品構成からの他の逸脱の検出は、製造ラインにおいて、最適な作動設定を構成し、ある期間にわたって望ましいパフォーマンスを確実にするために、例えばそのような包装容器の製造で使用される充填機又は他の機械における液体食品のための密封された包装容器の製造において極めて重要である。作られた包装容器における逸脱は、包装容器の外観のばらつき、例えば消費者の視点から懸念を生じさせ得るか、又は例えば包装容器の完全性若しくは安定性に関して準最適なパフォーマンスを招き得る不一致の原因となり得る。品質管理並びに製造プラントにおける液体食品のための包装容器における逸脱の特定及び格付けのための、効率的であり、自動化された信頼性のあるツール及び手順が必要性とされている。そのようなツールは、好ましくは、製造プラントにおける製造への影響が最小限でなければならず、且つ必要とする資源が最小限でなければならない。ツールをセットアップし且つ作動させるのに必要とされる肉体労働の量を最少化することも好ましい。
【発明の概要】
【発明が解決しようとする課題】
【0003】
先行技術の１つ又は複数の制限を少なくとも部分的に克服することが本発明の目的である。
【0004】
１つの目的は、液体食品のための包装容器における逸脱の信頼性があり且つ自動化された検出を提供することである。
【0005】
さらなる目的は、包装容器における逸脱の検出のための資源効率的な技術を提供することである。
【0006】
なお別の目的は、包装容器における逸脱の特定のためのこのような技術の労働効率的な準備を提供することである。
【課題を解決するための手段】
【0007】
これらの目的の１つ又は複数及び以下の説明から明らかになり得るさらなる目的は、独立請求項による、製造プラントにおいて、液体食品のための包装容器における逸脱を検出する方法、コンピュータ可読媒体及びシステムであって、その実施形態は、従属請求項によって定義される、方法、コンピュータ可読媒体及びシステムによって少なくとも部分的に達成される。
【0008】
本発明の第１態様は、製造プラントにおいて、液体食品のための包装容器における逸脱を検出する方法である。本方法は、包装容器又は包装容器を作る際に使用するための出発材料の仮想モデルを作り出すことと、逸脱タイプに特有の特徴について、１つ又は複数の確率分布を取得することと、その逸脱タイプの逸脱を有する仮想モデルの複製を作ることであって、前記逸脱は、特徴についての１つ又は複数の確率分布に対応して複製の中に含められる、作ることと、格付けを複製と関連付けることと、製造プラントにおいて取得された包装容器又は出発材料の画像データに基づき、包装容器又は出発材料における実際の逸脱の後続の検出及び格付けのための、機械学習をベースにしたモデルのトレーニングのために、複製及び関連付けられた格付けを入力することとを含む。
【0009】
機械学習をベースにしたモデルの使用は、機械学習をベースにしたモデルが、関連する正確なトレーニングデータでトレーニングされることを条件として、信頼性があり且つ自動化された逸脱の検出を可能にする。第１態様は、少なくとも部分的に合成データにおいて、監視される包装容器又は出発材料の仮想モデルの複製の形態で作られる、機械学習をベースにしたモデルをトレーニングする。仮想モデルの使用は、製造プラントにおける実際の包装容器又は出発材料の逸脱タイプの全ての可能な逸脱の画像データを取得及び格付けする必要性を減らすことにより、トレーニングデータの取得を円滑にする。したがって、第１態様は、機械学習をベースにしたモデルのためのトレーニングデータを取得するために必要な時間及び労働の両方を減少させる役割を果たし得る。仮想モデルの使用は、複製に含まれる逸脱の制御を提供することによって多用途性も向上させる。例えば、仮想モデルは、逸脱タイプの逸脱の範囲を複製の中に含めるように拡張し、且つ／又は複製の中に含まれる逸脱タイプの異なる逸脱の数を拡張し、且つ／又は２つ以上の逸脱タイプを含めることを可能にする。１つ又は複数の確率分布の使用は、複製の中に含まれ、且つ複製における逸脱が、製造プラントで生じ得る実際の逸脱と十分に合致することを確実にするために適用され得る逸脱の自動制御を提供する。これは、機械学習をベースにしたモデルのより効率的なトレーニング並びに／又は製造プラントにおける実際の包装容器及び／若しくは出発材料の画像データで作動されたとき、機械学習をベースにしたモデルのより良好なパフォーマンスをもたらし得る。
【0010】
一実施形態では、１つ又は複数の確率分布は、逸脱タイプに特有のそれぞれの特徴の特徴量についての確率値を定義する。
【0011】
一実施形態では、作ることは、複製の中のそれぞれの特徴の特徴量の発生を、１つ又は複数の確率分布によって与えられる対応する確率値に合致させることをさらに含む。
【0012】
一実施形態では、特徴は、逸脱タイプについての所定の基底関数のセットの１つ又は複数の重みを含む。
【0013】
一実施形態では、作ることは、１つ又は複数の確率関数に応じて、所定の基底関数のセットにおける所定の基底関数について、それぞれの重み値を決定することと、複製の中に含まれる逸脱の関数表現を生成するために、それぞれの重み値でスケーリングされた所定の基底関数を組み合わせ、且つ逸脱を含めるために仮想モデルを関数表現に適合させることとをさらに含む。
【0014】
一実施形態では、所定の基底関数のセットにおける所定の基底関数は、一次独立であり、且つ／又は相互に直交する。
【0015】
一実施形態では、所定の基底関数のセットにおける所定の基底関数は、主成分分析、ＰＣＡによって与えられる主成分に対応する。
【0016】
一実施形態では、逸脱の各々は、前記特徴の１つ又は複数の特徴量によって定義され、関連付けることは、それぞれの複製について、１つ又は複数の特徴量を、格付けを特徴量と関連付ける格付けデータベースにマッピングすることと、マッピングに基づき、それぞれの複製について格付けを決定することとを含む。
【0017】
一実施形態では、仮想モデルは、仮想座標系において作り出され、前記作ることは、仮想モデルにおいて逸脱領域を定義することと、逸脱タイプに特有の特徴の１つ又は複数を表すために、制御された逸脱を、仮想座標系における定義されたジオメトリ及び位置で逸脱領域に導入することと、制御された逸脱を有する仮想モデルの複製を作ることとをさらに含む。
【0018】
一実施形態では、方法は、複製の視点が、製造プラントでの前記後続の検出のためのカメラ位置から包装容器又は出発材料への視点に対応するように、仮想モデルに対して仮想座標系において仮想カメラ位置を定義することをさらに含む。
【0019】
一実施形態では、方法は、実際の逸脱についてタイムスタンプを決定することと、タイムスタンプに基づき、製造プラントの関連付けられた製造パラメータを決定することと、タイムスタンプ、格付け及び逸脱タイプを製造パラメータと相関させることとをさらに含む。
【0020】
一実施形態では、方法は、格付け及び／又は逸脱タイプによる修正された製造パラメータを含む制御命令を製造プラントにおける機械に伝達することをさらに含む。
【0021】
一実施形態では、方法は、格付けに応じてアラート通知を引き起こすことをさらに含む。
【0022】
一実施形態では、逸脱タイプは、包装容器の材料又は出発材料における皺、包装容器の開封されたフラップ、包装容器又は出発材料における引裂かれた又は曖昧な穴、包装容器におけるくぼみ又は隆起部、包装容器又は出発材料における層間剥離並びに包装容器又は出発材料の表面の欠陥のあるパターニング、及び／又は着色、及び／又はホログラフィック若しくは金属蒸着フィルムの任意のものを含む。
【0023】
本発明の第２態様は、コンピュータ可読媒体であって、プロセッサによって実行されると、プロセッサに、その実施形態の第１態様又は任意のものの方法を実施させるコンピュータ命令を含むコンピュータ可読媒体である。
【0024】
本発明の第３態様は、製造プラントにおいて作られた液体食品のための包装容器における逸脱を検出するためのシステムであって、その実施形態の第１態様又は任意のものの方法を実施するように構成されたプロセッサを含むシステムである。システムは、画像データを取り込み、且つ提供するように構成された少なくとも１つの撮像素子をさらに含んでもよい。プロセッサは、監視デバイスに含められてもよく、且つ少なくとも１つの撮像素子への接続のために構成された通信インターフェイスに作動的に接続されてもよい。
【0025】
本発明のなお他の目的並びに特徴、態様及び利点は、以下の詳細な説明及び図面から明らかとなる。
【0026】
ここで、本発明の実施形態は、一例として添付の図面を参照して説明される。
【図面の簡単な説明】
【0027】
【図1a】包装容器における逸脱の検出のためのシステムの概略図である。
【図1b】機械学習モデルのトレーニングの例を示す。
【図1c】トレーニング済み機械学習モデルの使用の例を示す。
【図2a】右上隅に逸脱を有する包装容器の上から見た図である。
【図2b】右上隅に逸脱領域がある包装容器の仮想モデルの上から見た図である。
【図3】機械学習モデルをトレーニングするための例示的方法のフローチャートである。
【図4a】特定の逸脱タイプについての基底関数のセットの例を示す。
【図4c】包装容器の中の逸脱における第１及び第２重み値の発生を表す確率密度関数の２つの例を示す。
【図5】トレーニング済み機械学習モデルの使用による検出のための例示的方法のフローチャートである。
【図7】製造プラントにおいて作動可能であるときの、逸脱検出のためのシステムの概略図である。
【図8】本開示のいくつかの実施形態による方法を実装し得るデバイスのブロック図である。
【発明を実施するための形態】
【0028】
実施形態は、以下では、全てではないが、いくつかの実施形態が示されている添付図面を参照してより詳細に説明される。実際には、本発明は、多くの異なる形態で実現されてもよく、本明細書で定められた実施形態に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、本開示が適用される法的要件を満たし得るように提供される。
【0029】
また、可能な場合、本明細書で説明及び／若しくは想定される実施形態の任意のものの利点、特徴、機能、デバイス及び／若しくは作動態様のいずれも、本明細書で説明及び／若しくは想定される他の実施形態の任意のものに含められ、且つ／又は逆も同様であることが理解される。加えて、可能な場合、明示的に別段の記載がない限り、本明細書において単数形で表される任意の用語は、複数形も含むことが意図され、且つ／又は逆も同様である。本明細書で使用する際、「少なくとも１つ」は、「１つ又は複数」を意味し、これらの語句は、交換可能であることが意図される。したがって、「１つの（ａ）」及び／又は「１つの（ａｎ）」という用語は、「１つ又は複数」又は「少なくとも１つ」という語句も本明細書で使用されていたとしても、「少なくとも１つ」又は「１つ又は複数」を意味する。本明細書で使用する際、言語上の又は必要な意味を表すために文脈上他の意味に解すべき場合を除き、「含む（ｃｏｍｐｒｉｓｅ）」という用語又は変化形、例えば「含む（ｃｏｍｐｒｉｓｅｓ）」若しくは「含んでいる」は、包括的な意味において、すなわち挙げられた特徴の存在を特定するが、本発明の様々な実施形態におけるさらなる特徴の存在又は追加を排除しないように使用される。本明細書で使用する際、「及び／又は」という用語は、関連する挙げられた項目の１つ又は複数の全ての組合せを含む。さらに、項目の「セット」は、１つ又は複数の項目の提供を意味することを意図する。
【0030】
本明細書で使用する際、「液体食品」は、飲料、例えばフルーツジュース、ワイン、ビール、ソーダ及び乳製品、ソース、油、クリーム、カスタード、スープなどを含む、室温で非固形、半液体又は注ぐことが可能な任意の食品並びにまた液体中の固形の食品、例えば豆、果物、トマト、シチューなどを指す。
【0031】
本明細書で使用する際、「包装容器」は、限定するものではないが、包装積層体、例えばセルロース系材料で形成された容器及びプラスチック材料で作られているか又はプラスチック材料を含む容器を含む、液体食品の密封された封入に好適な任意の容器を指す。
【0032】
本明細書で使用する際、「出発材料」は、限定するものではないが、包装積層体のシート材料、包装容器を閉じるための閉じるもの（キャップ、蓋、カバー、プラグ、箔など）、シート材料又は包装容器に取り付けるためのラベルを含む、包装容器の一部を形成するために処理された任意のベース材料を指す。
【0033】
本明細書で使用する際、「複製」は、仮想モデル又はその一部を表すために作られた写実的又は非写実的画像である。複製は、従来のレイキャスティング又はレイトレーシング及び回折も考慮するレンダリング技法、例えば波動光学、ＧＴＤアルゴリズム（幾何光学的回折理論）、ＰＴＤアルゴリズム（物理的回折理論）、物理光学（ＰＯ）、境界要素法（ＢＥＭ）などによって作られ得る。複製は、２次元又は３次元であり得る。
【0034】
本明細書で使用する際、「変形」という用語は、包装容器の許容可能若しくは理想的な外観の任意のゆがみ又は包装容器の許容可能若しくは理想的な外観からの逸脱を概して指すことを意図する。したがって、変形は、形又は形状の変更に限定されず、表面構造、表面パターニング、表面着色などの変更も含む。
【0035】
本明細書で使用する際、「基底関数」という用語は、その通常の意味で使用され、且つ関数空間における各関数が基底関数の線形結合として表され得るように関数空間にわたる一次独立要素を指す。基底関数は、ベクトルとして表されてもよく、関数空間は、任意の次元のベクトル空間であってもよい。
【0036】
同様の参照符号は、全体にわたって同様の要素を指す。
【0037】
図１ａは、製造プラントにおいて作られた液体食品のための包装容器４０１における逸脱の検出のためのシステム３００の概略図である。容器４０１は、液体食品を含むために密封され、且つ少なくとも部分的に積層若しくは非積層板紙材料又はプラスチック材料で作られてもよい。例えば、容器４０１は、当技術分野でよく知られている段ボール箱又はボトルであってもよい。
【0038】
システム３００は、プラントにおいて、機械４００の上流、その中又はその下流の逸脱を検出するために配置されてもよい。機械４００は、容器４０１若しくはその一部のための出発材料を供給及び／若しくは操作するための機械、充填機械、キャッピング機械、アキュムレーター機械、ストロー取付機械、二次包装機械又は液体食品の包装のための製造工場に配備される他の任意のタイプの包装機械であってもよい。
【0039】
システム３００は、包装容器４０１の製造中に生じる逸脱を検出し、且つ知らせるように構成される監視又は検査デバイス３０１と、監視デバイス３０１による使用のために、容器４０１又は出発材料の画像データを取り込むように配置及び作動される撮像素子３０２とを含む。撮像素子３０２は、製造プラントにおける製造ラインの任意の部分に沿って配置されてもよい。複数の撮像素子３０２は、製造ラインの異なる部分及び／若しくは容器４０１に対する異なる角度から、且つ／又は異なる露出設定若しくは画像処理パラメータで画像データを取り込むように配置され得ることも考えられる。画像データは、したがって、そのような複数の撮像素子３０２から取り込まれた画像データの複数のストリームを含んでもよい。
【0040】
画像データは、容器４０１若しくは出発材料の外観又はその一部を表してもよい。代替形態では、撮像素子３０２は、容器４０１の内部特徴を表す画像、例えば１つ又は複数の断面画像を取り込むように構成されてもよい。画像データは、１次元、２次元又は３次元であってもよく、任意の数のチャネル、例えばグレースケールチャネル及び／又は任意の数の色のチャネルを含んでもよい。
【0041】
システム３００は、例えば、包装容器及び／若しくは出発材料が品質低下のために破棄されるべきであることを示すか、又は包装容器４０１を異なる品質格付けに従って選別するために、品質監視のために配備され得る。代替的に又は追加的に、システム３００は、製造プラントにおける１つ又は複数の機械４００の制御システムのための命令を提供するために配備されてもよい。例えば、命令は、制御システムに機械における製造を中断させるか、又はその現在の設定の１つ若しくは複数を調整することによって機械を再構成させることができる。
【0042】
本開示の一態様は、システム３００によって実装され得る方法であって、包装容器及び包装容器を作る際に使用するための出発材料の仮想モデルを作り出すことと、逸脱タイプに特有の特徴について、１つ又は複数の確率分布を取得することと、逸脱タイプの逸脱を有する仮想モデルの複製を作ることであって、逸脱は、特徴についての１つ又は複数の確率分布に対応して複製の中に含められる、作ることと、格付けを複製と関連付けることと、複製及び製造プラントにおいて取得された包装容器又は出発材料の画像データに基づき、包装容器又は出発材料における実際の逸脱の後続の検出及び格付けのための、機械学習をベースにしたモデルのトレーニングのために、関連付けられた格付けを入力することとを含む方法に関する。
【0043】
この態様では、機械学習をベースにしたモデル（以下ではＭＬＭと略される）は、仮想モデルの複製を使用してトレーニングされる。仮想モデルは、包装容器（又は出発材料）のコンピュータベースの表現であり、複製は、したがって、人工的に作り出されたもの又は「合成」である。現実世界の製造環境において取り込まれた実物体の画像データの代わりに（又はそれに加えて）、合成データでＭＬＭをトレーニングするこのアプローチは、例えば、製造ラインを作動させることによって実際の容器における逸脱を実際に作る必要性を取り除くことにより、ＭＬＭをトレーニングするために必要とされる作業負荷及び時間を減らす。したがって、ＭＬＭは、より迅速に、より少ない資源で最適化されてもよい。さらに、合成データは、トレーニング済みＭＬＭの望ましい能力に適合されてもよい。なおさらに、合成データは、例えば、逸脱タイプ内のばらつきを表し、且つ／又は異なる逸脱タイプを含めるために、より広い範囲の制御された変形を含むように単純に修正され得るため、合成データの使用は、様々な逸脱の改良された検出を可能にする。
【0044】
本明細書で使用する際、「逸脱タイプ」は、逸脱のカテゴリー化又は分類を指す。以下でさらに例示されるいくつかの実施形態では、逸脱は、その逸脱が基底関数の所定のセットによって表され得る場合特定の逸脱タイプに属してもよい。いくつかの実施形態では、逸脱タイプは、容器（若しくは出発材料）上の特定の位置と且つ／又は特定の変形によって関連付けられてもよい。例えば、くぼみ、皺、開封されたフラップ、引裂かれた又は不明確な穴、層間剥離、表面の難のある色及び／又はパターン、表面に取り付けられたか又は他の方法で含められたホログラフィック若しくは金属蒸着フィルムにおける欠陥、不完全なエンボス加工又は折り目などは、異なる逸脱タイプに属し得る。逸脱タイプは、位置にかかわらず、特定の変形と関連付けられ得ると考えられる。逸脱タイプは、変形にかかわらず、特定の位置で関連付けられることも考えられる。多くの変形形態が当業者によって考えられ、且つ容易に認められる。
【0045】
図１ａにおける例に戻ると、システム３００は、仮想座標系（ｘ、ｙ、ｚ）において包装容器４０１の仮想モデル２０１を作り出すように構成されたトレーニングデバイス３０３を含んでもよく、容器４０１のこのような仮想モデル２０１の上から見た図である図２ｂに概略的に示されるとおり、仮想モデルの表面２０３に逸脱領域２０２を定義してもよい。図２ａは、右上隅に逸脱、本例ではくぼみ／隆起部を有する実際の容器４０１の対応する上から見た図である。トレーニングデバイス３０３は、逸脱領域２０２において、仮想モデル２０１の制御された変形を作り出すために、仮想座標系において定義されたジオメトリ及び座標を有する定義された逸脱２０４を作り出すように構成される。図２ｃは、逸脱領域２０２において、制御された変形を有する仮想モデル２０１の拡大図である。図示の例では、変形ライン２０５は、仮想モデル２０１の表面２０３に沿って延在するように定義されており、表面２０３は、表面２０３に凹形状及び／又は凸形状を形成するために、定義された角度で変形ライン２０５に沿って折り畳まれている。逸脱領域２０２は、仮想モデル２０１の表面２０３の任意の部分に配置されてもよく、定義された逸脱２０４は、任意のジオメトリを有してもよい。トレーニングデバイス３０３は、制御された変形を有する仮想モデル２０１の複製を作るようにさらに構成される。図１ｂに示されているとおり、ＭＬＭは、トレーニングデバイス３０３内にロードされ、トレーニングを受ける。トレーニングにおいて、多数の複製［Ｒ］及び関連付けられた格付け［Ｇ］がＭＬＭに入力され、それにより、ＭＬＭは、相応して、そのモデルパラメータを設定するようにされる。トレーニングは、ＭＬＭＴと表記されたトレーニング済みの機械学習をベースにしたモデルをもたらす。図１ｃに示されているとおり、ＭＬＭＴは、次いで、監視デバイス３０１により、図１ａにおいて撮像素子３０２によって取り込まれた現在の到来している画像データＩｃに基づき、現在の格付けＧｃを生成するために使用され得る。当業者は、複製［Ｒ］が、ＭＬＭＴによって処理される画像データＩｃに視覚的に対応すべきであることを認める。
【0046】
トレーニング済みモデルＭＬＭＴは、監視デバイス３０１にローカルに保存されるか、又は例えばサーバの監視デバイス３０１によって遠隔的にアクセスされてもよい。監視デバイス３０１がサーバに実装され、サーバから撮像素子３０２及び任意選択的に機械４００と通信するように構成されることもさらに考えられる。限定するものではないが、人工ニューラルネットワーク（ＡＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）及びサポートベクターマシン（ＳＶＭ）又はその任意の組合せを含む、当技術分野で既知の任意の好適な機械学習をベースにしたモデルが使用されてもよい。一実施形態では、ＭＬＭは、ディープラーニングをベースにしたモデルを含む。
【0047】
ここで、図３におけるフローチャートを参照してトレーニング方法が例示される。図示された方法３０は、包装容器４０１又は出発材料の仮想モデルを作り出すステップ３１を含む。仮想モデルは、図１ａにおける仮想容器２０１によって例示され得る。ステップ３２は、逸脱タイプに特有の１つ又は複数の特徴（「逸脱固有の特徴」）について、それぞれの確立分布を取得する。確率分布は、特徴がとり得る異なる値を取得する可能性を示す離散又は連続関数である。一実施形態では、特徴は、逸脱の測定可能な特徴、例えば長さ、幅、面積、高さ、曲率、高さの変動性、形状、位置などを含む。以下で詳細に説明される他の実施形態では、特徴は、逸脱タイプに固有の基底関数の重みを含む。ステップ３３は、その確率分布に対応してそれぞれの特徴量を含むように仮想モデルの複製を作る。例えば、逸脱が２つの特徴によって定義される場合、これらの特徴の量は、それぞれの確率分布又は特徴の確率分布の組合せに比例して複製に現れ得る。ステップ３３は、例えば、製造プラントにおける現実世界の製造に対応して複製が逸脱を含むことを確実にするために、複製の中の逸脱タイプの現れを自動的に制御することを可能にする。これは、ＭＬＭＴの性能を向上させる。ステップ３４は、格付けを複製と関連付け、ステップ３５は、ＭＬＭのトレーニングのために複製及び格付けの対を入力する。
【0048】
複製が、ＭＬＭＴによって処理される画像データに視覚的に対応することを確実にするために、ステップ３３は、複製の視点が製造プラントにおける撮像素子３０２から包装容器４０１（又は出発材料）への視点に対応するように、仮想モデル２０１に対して仮想座標系（図１ａにおけるｘ、ｙ、ｚ）において仮想カメラ位置を定義してもよい。さらに、複製は、撮像素子３０２での照明条件、容器４０１における材料の表面構造、容器４０１の着色及び／又はパターニングなどを考慮するように作られてもよい。複製は、従来のレイキャスティング又はレイトレーシング及び回折も考慮するレンダリング技法、例えば波動光学、ＧＴＤアルゴリズム（幾何光学的回折理論）、ＰＴＤアルゴリズム（物理的回折理論）などによって作られてもよい。
【0049】
ステップ３４における格付けは、ステップ３３によって作られた複製の視診によって実施されてもよい。しかしながら、ステップ３４は、代わりに、自動化されてもよく、且つ各複製について、複製における逸脱の特徴量を、格付けを特徴量と関連付ける格付けデータベースにマッピングすることを含んでもよい。これは、ステップ３４がそれぞれの複製について格付けを自動的に決定し、且つマッピングに基づいて割り当てることを可能にする。格付けは、複製における仮想モデルの外観及び／又は機能についての現在の逸脱の大きさ（重度）を示してもよい。格付けは、任意の数の格付け、レベル又はランクにおいて割り当てられてもよい。非限定的な一例では、格付けは、バイナリであり、且つ仮想モデルを許容可能又は非許容可能のいずれかとして指定してもよい。
【0050】
以下では、図３における方法３０は、ステップ３３における基底関数のセットの使用に対してさらに例示される。基底関数のセットは、複数の容器（又は出発材料の項目）における逸脱タイプを表す特徴ベクトルに基づき、一次独立である基底関数をレンダリングする任意の好適な基底関数計算アルゴリズムの使用によって予め計算されてもよい。そのような計算アルゴリズムの例は、非限定的に、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、ウェーブレット解析、非負行列因子分解（ＮＭＦ）、フーリエ解析、自己回帰分析、因子分析、共通空間パターン（ＣＳＰ）、正準相関分析（ＣＣＡ）などを含む。そのような計算アルゴリズムは、基底関数のセットに関して観測のためにモデル関数を定義する。多くの場合、一般線形モデル関数：Ｘ＝Σ（ｗｉ・Φｉ）が仮定される、ここで、Ｘは、観測又は特徴ベクトルであり、Φｉは、それぞれの基底関数であり、ｗｉは、それぞれの重み又は基底関数係数である。基底関数は、一次独立である。より良好なコンディショニングのために、いくつかの計算アルゴリズムは、基底関数間に直交性も与え得る。以下では、例がＰＣＡに対して与えられ、これは、相関性変数の観測のセットを、「主成分」と呼ばれる線形無相関基底関数の値のセットに変換するために変換を使用する統計的処理である。主成分の数は、元の変数の数以下である。変換は、第１主成分が最大の可能な分散を有し、すなわち可能な限り多いデータにおける変動性を考慮するような方法で定義され、各後続のコンポーネントは、したがって、前述のコンポーネントと無相関であるという限定下で可能な最大分散を有する。したがって、ＰＣＡは、観測のセットのいくつかの主成分及び各主成分の分散をもたらす。分散は、それぞれの基底関数についての上記の重みであるか又はそれに対応する。
【0051】
図４ａは、特定の逸脱タイプの複数の逸脱４０３でＰＣＡアルゴリズムを作動させることにより、特定の逸脱タイプについて予め計算されている基底関数［ＢＦ］のセットを示す。したがって、基底関数ＢＦ１～ＢＦ４は、ＰＣＡアルゴリズムによって作られた主成分である。この特定の例では、特徴ベクトル及び基底関数は、１次元であり、且つ画像データにおけるラインに沿った点での曲率を表す。図４ｂは、図４ａにおける基底関数ＢＦ１及びＢＦ２について決定された重み空間を示す。重み空間は、したがって、ＢＦ１について重みＷ１及びＢＦ２について重みＷ２によって定義される。図４ｂにおける各ポイントは、逸脱タイプの例示的逸脱について計算される。図４ｂは、重み空間における格付け領域も示し、異なる格付け領域は、それぞれの格付けＩＩ～Ｖに割り当てられ、逸脱の大きさは、ＩＩからＶに減少する。格付けは、視診及び図４ｂにおけるポイントに対応する容器の逸脱の手動格付けによって決定されている。この特定の例では、格付けを重みＷ１、Ｗ２に基づいてそれぞれの容器に割り当てることが可能である。
【0052】
実際の逸脱が１つ又は複数の重み値によって表され得るのと同じ方法において、１つ又は複数の重み値及び対応する基底関数に基づいて逸脱を再び作り出すことが等しく可能である。したがって、１つ又は複数の重み値を仮定すると、ステップ３３は、対応する逸脱を定義し、仮想モデルにおいて逸脱を実装し、且つ複製を作ることが可能である。重み及び基底関数の使用は、ステップ３３が、逸脱タイプについて任意の数の異なる逸脱を有する、逸脱タイプの全ての考えられるバリエーションの複製を作ることを可能にすることが実現される。
【0053】
図４ｃは、重みＷ１、Ｗ２についての確率分布ＰＤ１、ＰＤ２の例を示す。ＰＤ１は、重みＷ１の各値についての確率値Ｐ１を定義し、ＰＤ２は、重みＷ２の各値についての確率値Ｐ２を定義する。確率分布ＰＤ１、ＰＤ２は、予め決定され、且つ理論的又は経験的に予測され得る。図示の例では、ＰＤ１は、ガウス分布であり、ＰＤ２は、より小さいＷ２値に向かって非対称な非対称分布である。多くの連続及び離散確率分布関数は、当技術分野で既知であり、方法３０で使用されてもよい。
【0054】
確率分布ＰＤ１、ＰＤ２の提供は、製造プラントにおける容器又は出発材料における実際の逸脱の起りそうな結果を表すために、ステップ３３によって作られた複製を限定する。ＭＬＭのためのトレーニング材料の量は、したがって、限定され得、より迅速なトレーニングにつながる。さらに、トレーニング材料の関連性が確保され得、より正確なトレーニングにつながる。
【0055】
図３に戻ると、逸脱タイプが重みＷ１、Ｗ２によって表されると仮定して、ステップ３３は、Ｗ１、Ｗ２の値の対を決定するために、複製におけるＷ１、Ｗ２の値の発生を確率分布ＰＤ１、ＰＤ２によって与えられる確率値に合致させることを含んでもよい。値Ｗ１、Ｗ２の各対について、ステップ３３は、逸脱の関数表現を計算する。関数表現は、特徴ベクトルＦであるか又は特徴ベクトルＦから計算されてもよく、これは、それぞれの重み値でスケーリングされた基底関数ＢＦ１、ＢＦ２を組み合わせることによって得られる：Ｆ＝Ｗ１・ＢＦ１＋Ｗ２・ＢＦ２。関数表現は、それにより、複製される逸脱を表す。関数表現が与えられると、ステップ３３は、仮想モデルを、例えば図２ｂ～２ｃに例示された逸脱を含むように適合させ、撮像素子３０２（図１ａ）によって取り込まれた画像データを模倣するために複製を作る。
【0056】
特徴ベクトルＦは、所定の基底関数のセットを計算するために使用された観測Ｘと同じフォーマットで決定される。特徴ベクトルＦは、複数の数値によって現在の逸脱を表してもよく、１つ又は複数の次元で与えられてもよい。一実施形態では、特徴ベクトルＦは、逸脱のジオメトリ、例えばその形状及び／又はトポグラフィを表す。本明細書で使用する際、「トポグラフィ」は、ジオメトリ基準、例えば２次元のジオメトリ平面に対する高さの値の分布である。図２ｂ～２ｃにおける逸脱領域２０２の例では、トポグラフィは、仮想モデル２０１の上面２０３に平行なジオメトリ平面に垂直な高さのバリエーションを指定してもよい。トポグラフィは、ライン、例えば逸脱、例えば皺又は所定の基準ラインに沿った高さの値として表されてもよい。代替的に又は追加的に、トポグラフィは、高さの値の２Ｄ分布として表されてもよい。さらなる例では、特徴ベクトルＦは、例えば、あるラインに沿って又は二次元において、逸脱における異なる位置での曲率を定義してもよい。二次元又は三次元における固有の外側の曲率という従来の測定を含む、曲率の任意の好適な定義が使用されてもよい。別の例では、特徴ベクトルＦは、画像データと、逸脱のない仮想モデルに対応する基準テンプレートとの間の１つ又は複数の次元における計算された差を表してもよい。特徴ベクトルＦは、異なる測定基準、例えば前述のもののいずれかの組合せを含むことも考えられる。
【0057】
図６は、方法３０のステップ３１～３４を実施するためのトレーニングデバイス３０３の概略的な構造を示す。図示の実施形態では、構造は、２つのモジュール、すなわち複製生成装置６４と複製格付け装置６５とを含む。生成装置６４は、仮想モデルを定義するモデルデータ［ＭＤ］、逸脱タイプを表す基底関数のセット［ＢＦ］及び基底関数のセットと関連付けられた重みのセットについての確率分布データ［ＰＤ］を取得するためように構成される。この入力データに基づき、生成装置６４は、重み値［ｗｉ］を繰り返し選択し、複製Ｒｉを作るように構成される。選択された重み値［ｗｉ］は、格付け装置６５によって受信され、この格付け装置６５は、重み値［ｗｉ］を格付けデータベース６６にマッピングするように構成され、この格付けデータベース６６は、格付けを重み値［ｗｉ］と関連付ける。例えば、格付けデータベース６６は、例えば、図４ｂに示されるとおり、重み空間における重み領域を格付けと関連付けてもよい。格付け装置６５は、それにより、複製Ｒｉについて格付けＧｉを決定及び出力するように構成される。生成装置６４及び格付け装置６５は、ＭＬＭ（図１ｂ）への入力のための複製［Ｒ］及び格付け［Ｇ］を作るために繰り返し作動される。
【0058】
図５は、例えば、図７に示された製造プラントとの関連において、図１ａ及び１ｃにおける監視デバイス３０１によって実施され得る検出方法５０を示す。ステップ５１は、製造プラントにおける１つ又は複数の撮像素子３０２から容器４０１又は出発材料４０１’（図７で包装材料のシートとして示されている）の現在の画像データＩｃを取得する。図７では、現在の画像データＩｃは、逸脱４０３を有する現在の容器４０１を表す画像によって例示される。ステップ５２は、現在の画像データＩｃをＭＬＭＴに入力する。ステップ５３は、逸脱を決定し、且つ存在する場合、逸脱についての現在の格付けＧｉを決定するために、現在の画像データＩｃでＭＬＭＴを作動させる。ステップ５４は、フィードバックを製造プラントにおけるオペレータ及び／又は制御システムに提供する。
【0059】
一例では、ステップ５４は、現在の容器４０１又は出発材料４０１’が破棄されるべきであるという信号を送る。別の例では、ステップ５４は、製造誤差を示すアラート通知を生成し、任意選択的に１つ又は複数の機械を停止させる。アラート通知は、現在の格付けＧｃ及び／若しくは逸脱タイプに依存してもよく、且つ／又は現在の格付けＧｃ及び／若しくは逸脱タイプを示してもよい。さらなる例では、ステップ５４は、製造プラントにおける１つ又は複数の機械の再構成を引き起こすか又は円滑にする。そのような一実施形態では、ステップ５４は、現在の逸脱のためのタイムスタンプを決定するサブステップを含む。任意選択的に、このサブステップは、現在の格付けＧｃが格付け限界を超える場合にのみ実施されてもよい。タイムスタンプは、製造プラント内のマスタークロックを参照して与えられてもよい。ステップ５４は、タイムスタンプに基づき、製造プラントの関連付けられた製造パラメータを決定するサブステップをさらに含んでもよい。したがって、現在の逸脱が検出され、関連付けられたタイムスタンプが定義されると、ステップ５４は、タイムスタンプ時又はタイムスタンプ前の製造プロセスのパラメータを含む製造データを取得するように構成される。製造データは、製造プラントにおける制御システムから取得されてもよい。製造パラメータは、包装容器４０１の製造のチェーンと関連付けられた任意のパラメータ、例えば１つ又は複数の機械における設定及び／若しくはセンサデータ並びに／又は出発材料４０１’若しくは封入される液体食品の特徴を含んでもよい。ステップ５４は、タイムスタンプ、現在の格付けＧｃ及び逸脱タイプを製造パラメータと相関させるサブステップをさらに含んでもよい。この相関により、ステップ５４は、現在の逸脱の形成の発生源及び環境を正確に特徴付けることができる。これは、製造ラインの円滑な最適化を可能にし、且つ逸脱検出のための信頼性のあるツールを提供する。一実施形態では、ステップ５４は、現在の格付けＧｃ及び／又は逸脱タイプによる修正された製造パラメータを含む制御命令を製造プラントにおける機械にさらに伝達してもよい。
【0060】
図８は、図１ａ及び１ｂにおけるトレーニングデバイス３０３又は図１ａ及び１ｃにおける監視デバイス３０１の例示的構造のブロック図である。図示の例では、デバイス３０１／３０３は、処理システム８０とメモリ８１とを含む。処理システム８０は、任意の商業的に利用可能な処理デバイス、例えばＣＰＵ、ＤＳＰ、ＧＰＵ、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ若しくは他の電子的なプログラム可能な論理デバイス又はその任意の組合せを含んでもよい。処理システム８０は、実行可能なコンピュータプログラム命令８１Ａをメモリ８１から読み取り、且つ本明細書で説明された方法のいずれかを実施するためにデバイス３０１／３０３の作動を制御するためにこれらの命令を実行するように構成されてもよい。プログラム命令８１Ａは、コンピュータ可読媒体８５のデバイス３０１／３０３に提供されてもよく、このデバイス３０１／３０３は、有形の（非一時的）製品（例えば、磁気媒体、光学ディスク、読み取り専用メモリ、フラッシュメモリなど）又は一時的製品、例えば伝搬信号であってもよい。メモリ８１は、例えば、バッファ、フラッシュメモリ、ハードドライブ、取り外し可能な媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）又は他の好適なデバイスの１つ又は複数であってもよい。図８に示されているとおり、メモリ８１は、処理システム８０による使用のためのデータ８１Ｂ、例えば格付けデータベース６６、［ＢＦ］、［ＰＤ］、［ＭＤ］、ＭＬＭ、ＭＬＭＴなども保存してもよい。デバイス３０１／３０３は、例えば、画像データを撮像素子３０２から受信すること、アラート通知及び／又は制御命令を提供すること、ＭＬＭＴを取得する／提供することなどのために、デバイス３０１／３０３を外部デバイスに有線又は無線によって作動的に接続するための１つ又は複数の通信インターフェイス８２をさらに含む。
【図1a】
【図1b】
【図1c】
【図2a】
【図2b】
【図2c】
【図3】
【図4a】
【図4b】
【図4c】
【図5】
【図6】
【図7】
【図8】