特表 2023-553559 強化学習に基づく食品包装システムにおけるパッケージ形成の高度化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-22

(54)【発明の名称】強化学習に基づく食品包装システムにおけるパッケージ形成の高度化

(51)【国際特許分類】

   B65B 57/00 20060101AFI20231215BHJP

   B65B 9/207 20120101ALI20231215BHJP

【ＦＩ】

B65B57/00 H

B65B9/207

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023536029

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-07-19

(86)【国際出願番号】 EP2021086364

(87)【国際公開番号】W WO2022129448

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/126,858

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391053799

【氏名又は名称】テトラ ラバル ホールディングス アンド ファイナンス エス エイ

【住所又は居所原語表記】７０ Ａｖｅｎｕｅ Ｇｅｎｅｒａｌ Ｇｕｉｓａｎ，ＣＨ－１００９ Ｐｕｌｌｙ，Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(74)【代理人】

【識別番号】100151105

【弁理士】

【氏名又は名称】井戸川 義信

(72)【発明者】

【氏名】ボレッリ、ガブリエーレ

(72)【発明者】

【氏名】フォルナサリ、ステファノ

【テーマコード（参考）】

3E050

【Ｆターム（参考）】

3E050AA02

3E050AB02

3E050AB08

3E050BA11

3E050CA01

3E050CB01

3E050DC01

3E050DD04

3E050DF04

3E050FB01

3E050FB07

3E050GB06

3E050HA08

3E050HA10

3E050HB01

3E050HB02

3E050HB09

(57)【要約】

複数のサブシステムを備える食品包装機（１００）において個々のパッケージを形成するための方法及び装置（コンピュータプログラム製品を含む）が説明される。１つ以上のローカル変数値（１４２）が受信され、これは、ローカルサブシステム（１２０）のための１つ以上の物理パラメータの食品包装機（１００）による測定値を示す。１つ以上のリモート変数値（２０４）が受信され、これは、１つ以上のリモートサブシステムのための１つ以上の物理パラメータの食品包装機（１００）による測定値を示す。強化学習モデル（２０６）及びローカル制御モデル（２１０）を用いて、リモート変数値（２０４）及びローカル変数値（１４２）を処理することによって、食品包装機（１００）のローカルサブシステム（１２０）のための１つ以上の制御パラメータ値が決定される。ローカルサブシステム（１２０）の１つ以上の制御パラメータは、決定された制御パラメータ値に従って調整される。食品包装機（１００）による個別パッケージ（１２２）の形成は、調整された１つ以上の制御パラメータに従って制御される。

【特許請求の範囲】

【請求項1】

食品包装機（１００）において、個々のパッケージを形成する方法であって、前記食品包装機（１００）が複数のサブシステムを備え、前記方法は、
ローカルサブシステム（１２０）のためのローカルな１つ以上の物理パラメータの前記食品包装機（１００）による測定値を示す１つ以上のローカル変数値（１４２）を受信し、
１つ以上のリモートのサブシステムのための１つ以上の物理パラメータの前記食品包装機（１００）による測定値を示す１つ以上のリモート変数値（２０４）を受信し、
強化学習モデル（２０６）及びローカル制御モデル（２１０）を用いて、前記リモート変数値（２０４）及び前記ローカル変数値（１４２）を処理することにより、前記食品包装機（１００）の前記ローカルサブシステム（１２０）のための１つ以上の制御パラメータ値を決定し、
前記決定された制御パラメータ値に従って、前記ローカルサブシステム（１２０）の１つ以上の制御パラメータを調整し、
前記調整された１つ以上の制御パラメータに従って、前記食品包装機（１００）による個々のパッケージ（１２２）の形成を制御する、
ことを備える方法。

【請求項2】

前記強化学習モデル（２０６）は、ニューラルネットワークを含む深層強化学習モデルである、
請求項１に記載の方法。

【請求項3】

前記ローカルサブシステム（１２０）が、食品を充填した包装材料（１０２）のチューブ（１１２）から個々のパッケージ（１２２）を形成するように構成されたジョーシステムである、
請求項１又は２に記載の方法。

【請求項4】

前記ジョーシステム（１２０）の１つ以上の制御パラメータを調整することが、個々のパッケージ（１２２）を形成するための前記包装材料（１０２）の前記チューブ（１１２）とのシーリングジョーの係合のタイミング、及び個々のパッケージ（１２２）を形成するための前記包装材料（１０２）の前記チューブ（１１２）とのシーリングジョーの係合の位置、の１つ以上を調整することを含む、
請求項３に記載の方法。

【請求項5】

前記ニューラルネットワークが、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、及び完全接続ニューラルネットワークのうちの１つである、
請求項２～４のいずれか一項に記載の方法。

【請求項6】

前記１つ以上のローカル変数は、包装ウェブに印刷された同期マーク、ジョーシステム（１２０）の運動プロファイル、及び機械的成形調整ツールの物理的位置のうちの１つ以上に関する測定値を含み、
前記１つ以上のリモート変数値は、前記包装ウェブ（１０２）の移動及び制御変数、包装ウェブ張力変数、包装充填状態変数、及び包装材料のうちの１つ以上に関する測定値を含む、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

複数のサブシステムを有する食品包装機（１００）において個々のパッケージを形成するためのシステムであって、前記システムは、
メモリと、
プロセッサと、
を備え、
前記メモリは、前記プロセッサによって実行されると、前記プロセッサに、以下を含む方法を実行させる命令を含み、
食品包装機（１００）による、１つ又は遠隔のサブシステムに対する１つ又は複数の物理パラメータの測定値を示す１つ又は複数の遠隔変数値（２０４）を受け取ること；
ローカルサブシステム（１２０）のためのローカルな１つ以上の物理パラメータの前記食品包装機（１００）による測定値を示す１つ以上のローカル変数値（１４２）を受信し、
リモートサブシステムのための１つ以上の物理パラメータの前記食品包装機（１００）の測定値を示す１つ以上のリモート変数値（２０４）を受信し、
強化学習モデル（２０６）及びローカル制御モデル（２１０）を用いて、前記リモート変数値（２０４）及び前記ローカル変数値（１４２）を処理することにより、前記食品包装機（１００）の前記ローカルサブシステム（１２０）のための１つ以上の制御パラメータ値を決定し、
前記決定された制御パラメータ値に従って、前記ローカルサブシステム（１２０）の１つ以上の制御パラメータを調整し、
前記調整された１つ以上の制御パラメータに従って、前記食品包装機（１００）による個々のパッケージ（１２２）の形成を制御する、
ことを備えるシステム。

【請求項8】

前記強化学習モデル（２０６）は、ニューラルネットワークを含む深層強化学習モデルである、
請求項７に記載のシステム。

【請求項9】

前記ローカルサブシステム（１２０）が、食品を充填した包装材料（１０２）のチューブ（１１２）から個々のパッケージ（１２２）を形成するように構成されたジョーシステムである、
請求項７又は８に記載のシステム。

【請求項10】

前記ジョーシステム（１２０）の１つ以上の制御パラメータを調整することは、個々のパッケージ（１２２）を形成するための前記包装材料（１０２）の前記チューブ（１１２）とのシーリングジョーの係合のタイミング、及び個々のパッケージ（１２２）を形成するための前記包装材料（１０２）の前記チューブ（１１２）とのシーリングジョーの係合位置、のうちの１つ以上を調整することを含む、
請求項９に記載のシステム。

【請求項11】

前記ニューラルネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、及び完全接続ニューラルネットワークのうちの１つである、
請求項８～１０のいずれか一項記載のシステム。

【請求項12】

前記１つ以上のローカル変数は、包装ウェブに印刷された同期マーク、ジョーシステム（１２０）の運動プロファイル、及び機械的成形調整ツールの物理的位置のうちの１つ以上に関する測定値を含み、
前記１つ以上のリモート変数値は、前記包装ウェブ（１０２）の移動及び制御変数、包装ウェブ張力変数、包装充填状態変数、及び包装材料のうちの１つ以上に関する測定値を含む、
請求項７～１１のいずれか一項に記載のシステム。

【請求項13】

プロセッサによって実行されるときに、請求項１～６のいずれか一項に記載の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食品包装システムに関し、より具体的には、食品包装システムにおいて個々のパッケージがどのように形成されるか制御することに関する。

【背景技術】

【0002】

オートメーション制御システムは、現在、様々な製造・加工現場で使用されており、継続して複雑さを増している。この複雑さを管理するための一般的なアプローチは、システムをサブシステムに分割し、各サブシステムに適した制御機構を開発することである。しかし、この方法では、システム全体として最適な解が得られるとは限られない。

【0003】

システムが複雑化し、影響因子の数が増えるにつれて、様々なソースから影響因子を捕捉することはますます困難になる。また、影響因子、制御変数、システム自体の関係が非線形である場合、モデル化が困難である場合、この複雑さはさらに増す。

【0004】

産業制御における抽象化レベルに関しては、それぞれ低レベル制御と高レベル制御という２つの主要な視点がある。低レベル制御は、個々のオートメーションコンポーネント（例えば、アクチュエータ、サーボモータ、ヒーター、その他多くのデバイス）の管理を意味する。高レベル制御は、サブシステムレベルからシステムレベル、更に、協調して動作する必要のある複数のシステムやサブシステムを持つプラント全体のオーケストレーションまで、抽象度を高めていくことができる。

【0005】

一例として、食品加工及び包装装置は、通常、充填システム、殺菌システム、パッケージ折り畳みシステム等のいくつかのサブシステムを含む。各サブシステムは、多数の異なる要素（例えば、空気圧アクチュエータ、サーボモータ、ＤＣモータ、ＡＣモータ、センサ、その他のアクチュエータ等）を含む。これらの個々の要素は、一般的に、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｅｒｉｖａｔｉｖｅ）コントローラ等の従来の制御技術を利用した低レベルのローカル制御システムによって制御され、目標変数を制御する。フィードバックループは、要素、システム、又はサブシステムの目標動作点に対してコントローラの誤差を低く保つために使用される。

【0006】

しかし、ＰＩＤコントローラは、その用途に合わせてチューニングする必要があり、通常、特定の動作範囲と動作ダイナミクスに最適化されている。また、従来の作業範囲から外れた不測の事態や作業条件に適応するのにはあまり適していない。このような条件が変化した場合（例えば、異なる作業環境、オートメーション要素の変化、製造プロセスの変化等）、ＰＩＤコントローラのパラメータを調整し、再キャリブレーションする必要がある。特に、食品加工機器や包装機器に代表されるように、多数の要素及び／又はサブシステムが関与している場合、これは、経験豊富な担当者による多大な手動入力を必要とする、時間のかかる複雑なプロセスとなる可能性がある。

【0007】

果汁、ＵＨＴ（超高温処理）牛乳、ワイン、トマトソース等の液体、半液体、又は注ぎ込み可能な食品を、多層複合包装材料からなる複合パッケージに包装し、流通・販売する複合システムの一例が充填機である。代表的な例として、ラミネートされたストリップ状の包装材料をシールして折り畳んだ「Ｔｅｔｒａ Ｂｒｉｋ Ａｓｅｐｔｉｃ（登録商標）」と呼ばれる平行六面体の注ぎ込み可能な食品用パッケージがある。この包装材料は、カートンや紙の基材層の両面をポリエチレン等のヒートシールプラスチック材料で覆った多層構造になっている。長期保存可能な無菌包装の場合、包装材料は酸素バリア材、例えば、アルミニウム箔の層をさらに含み、この層はヒートシールプラスチック材の層と重なり、さらに別のヒートシールプラスチック材の層で覆われて、最終的に食品に接触する包装の内側面を形成する。

【0008】

充填機は、多層複合包装材料のウェブ（リールから巻かれたもの）からスタートする。このウェブは充填機を通して供給され、ウェブから長手方向シールを行うことによりチューブが形成される。液体食品はパイプを介してチューブに供給され、チューブの下端は折り畳み装置に供給され、横方向シールが生成され、チューブは弱化線とも呼ばれる折り線に従って折り畳まれ、液体食品を充填した複合パッケージを形成するように切断される。

【0009】

パッケージの成形、横方向シール、切断を担当する機械モジュール又はサブシステムは、「ジョーシステム」と呼ばれ、同期した動きによって包装材料チューブを引き下げ、充填されたパッケージを完全に閉じることができる２つのジョーペアを備える。２つのジョーペアの協調運動がパッケージの正しい成形に関与しているため、ジョーシステムは、充填機の重要な部分である。更に、ジョーは互いに干渉することなく上下に動き、シールシステムがそのタスクを完了できるように、一定の時間閉じた状態を維持しなければならない。同時に、機械の柔軟性を高めるために、様々な包装形態の容積やサイズに応じて、その動作プロフィールを適応させるようにシステムを設計・制御する必要がある。

【0010】

ジョーシステムの動きが正確に制御されていない場合、包装材料上のデザインとジョーシステムにおけるシール及び切断プロセスとの間にずれが生じることがあり、その結果、美観上好ましくない外観、及び包装材料の折り目や完全性の問題の両方が生じることがある。さらに、ジョーシステム自体をサブシステムとしてうまく制御できたとしても、パッケージングプロセス中にイベント（例えば、スプライスイベント（すなわち、食品包装機の始点にある使用済みロール包装ウェブの包装ウェブの尾端を、新鮮なロール包装ウェブの包装ウェブの前端と接合して連続包装ウェブを作成し、単層ではなく２層の厚さを有するウェブの部分を作成する場合）、加速、減速、停止、パッケージフォーマットの変更、食品の変更等）により低レベル制御の堅牢性に影響を与え、包装材料上の設計とジョーシステムのシール及び切断プロセスの間に不整合をもたらす可能性がある。したがって、ジョーシステム自体の外で発生し、個々のパッケージの形成に影響を与える可能性のある事象も考慮した制御技術の強化が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、従来技術の１つ又は複数の制限を少なくとも部分的に克服することである。特に、食品包装機のローカルサブシステム（例えば、ジョーシステム）を、ローカルサブシステム自体だけでなく、食品包装機内の他の遠隔サブシステムの測定パラメータ値を考慮して制御することを可能にする方法及びシステムを提供することが目的である。その結果、個々のパッケージの形成を改善することができる。

【0012】

本発明の一態様では、食品包装機において個々のパッケージを形成するための方法によって達成され、食品包装機は、複数のサブシステムを含んで構成される。本方法は、以下を含む。
・ローカルサブシステムのための１つ以上のローカルな物理パラメータの食品包装機による測定値を示す１つ以上のローカル変数値を受信する；
・１つ以上のリモートのサブシステムのための１つ以上の物理パラメータの食品包装機による測定値を示す１つ以上のリモート変数値を受信する；
・強化学習モデル及びローカル制御モデルを用いて、リモート変数値及びローカル変数値を処理することにより、食品包装機のローカルサブシステムのための１つ以上の制御パラメータ値を決定する；
・決定された制御パラメータ値に従って、ローカルサブシステムの１つ以上の制御パラメータを調整する；
・調整された１つ以上の制御パラメータに従って、食品包装機による個々のパッケージの形成を制御する。

【0013】

ローカル変数とリモートサブシステムからの入力の両方を利用することで、パッケージ形成プロセスをより正確に制御し、食品包装機で予期せぬ事象が発生した場合に、より弾力性のある動作を実現することができる。その結果、無駄なパッケージ（及び食品）が少なくなり、食品包装機の効率的で環境に優しい運用が可能になる。パッケージの形成プロセスをより適切に制御できると、手作業によるテストが少なくなるため、新製品や新構造の市場投入までの時間を短縮することも可能となる。制御方針はシミュレーション環境で学習できるため、食品包装機をゼロから手動で構成する必要がないため、この効果はさらに高まる。

【0014】

一実施形態では、強化学習モデルは、ニューラルネットワークを含む深層強化学習モデルである。深層強化学習は、サブシステムに対する内部関係及び効果が知られていない可能性のある多数の変数を考慮しなければならないサブシステムの制御方針を進化させる場合に特に有用であり、食品包装機のローカルサブシステムの１つ又は複数の制御パラメータ値を決定するために、ニューラルネットワークを含まない従来の強化学習を用いて可能であるものよりも高度なアプローチを提示する。

【0015】

一実施形態では、ローカルサブシステムは、食品を充填した包装材料のチューブから個々のパッケージを形成するように構成されたジョーシステムである。ジョーシステムは、多くの従来の食品包装機において共通のサブシステムである。本発明の様々な実施形態を既存の食品包装機械及びシステムに展開する能力を有することは、本発明の汎用性を高めるものである。

【0016】

一実施形態では、ジョーシステムの１つ以上の制御パラメータを調整することは、個別パッケージを形成するための包装材料のチューブとのシーリングジョーの係合のタイミング、及び／又は個別パッケージを形成するための包装材料のチューブとのシーリングジョーの係合の位置を調整することを含む。これらは２つの重要な操作であり、それぞれが非常に重要で、個別パッケージを正しく形成するために、最高の精度で制御される必要がある。したがって、本明細書に記載の様々な実施形態のデータ駆動型アプローチによって達成されるように、これらのパラメータに対する改善された制御を有することは、ジョーシステムの動作、ひいては個別パッケージ形成を著しく向上させることになる。

【0017】

一実施形態では、ニューラルネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、又は完全連結ニューラルネットワークである。これらはすべて、当業者によく知られている従来のニューラルネットワークの異なるタイプであり、したがって、既存の食品包装機の設定により容易に組み込むことができる。

【0018】

一実施形態では、１つ以上のローカル変数は、包装ウェブに印刷された同期マーク、ジョーシステムの運動プロファイル、又は機械的成形調整ツールの状態に関する測定値を含み、１つ以上のリモート変数値は、包装ウェブ移動及び制御変数、包装ウェブ張力変数、包装充填状態変数、及び包装材料に関する測定値を含む。 これらはすべて、異なる食品包装機において様々な組み合わせで使用される、異なるカテゴリの変数である。ニューラルネットワークを使用することで、これらのカテゴリに分類される個々の変数（又はその組み合わせ）に対応することができ、システムの柔軟性を大幅に向上させることが可能となる。

【0019】

本発明の他の態様は、食品包装機で個別包装を形成するためのシステム及びコンピュータプログラムを含む。本発明のこれらの態様の特徴及び利点は、上述した方法に関するものと実質的に同じである。

【0020】

本発明のさらに他の目的、特徴、態様及び利点は、以下の詳細な説明及び図面から明らかであろう。

【課題を解決するための手段】

【0021】

以下、本発明の実施形態について、添付の図面を参照しながら例示的に説明する。

【図面の簡単な説明】

【0022】

【図1】一実施形態に係る食品包装機の一部を示す概略図である。

【図2】一実施形態に係る食品包装機におけるコントローラの概略図である。

【発明を実施するための形態】

【0023】

上述したように、本発明の様々な実施形態による目標は、食品加工及び包装に関連する装置及びシステム、特に、食品包装機による個々のパッケージの形成に関して、改善された制御技術を提供することである。パッケージを正しく形成することは、デザインや美観の観点からだけでなく、個々のパッケージの形成における非常に小さな誤差がパッケージの機能性に影響を与える可能性があるため、機能性の観点からも重要である。パッケージによっては、非常に正確な精度（一般的にはサブミリメートルのレベル）が要求される。強化学習の一般的な概念及び／又は深層強化学習技術を適用して、ジョーシステムを制御することにより、（例えば、包装材料上のデザインとジョーシステムにおけるシール及び切断プロセスとの間の）位置ずれを精密なレベルで修正することができる。

【0024】

強化学習と深層強化学習は、いずれも機械学習技術の一例である。一般に、強化学習（ＲＬ）は、正又は負の報酬を用いることで動的に学習することが特徴である。システムの性能は、所望の目標に対して評価される。目標に到達した場合、正の報酬が与えられ、目標に到達しなかった場合、負の報酬が与えられる。正の報酬と負の報酬が時間とともに蓄積されると、ＲＬモデルは結果を最大化することを目標に、システムの制御方針を進化させる。深層強化学習（ＤＲＬ）は、ＲＬを強化したものであり、システムの制御方針を進化させる際にＲＬとニューラルネットワークを併用することが特徴である。

【0025】

食品加工とパッケージングの文脈では、ＲＬ（すなわち、エージェントと環境の相互作用）を使用して、食品加工及び/又は包装機の制御ポリシーを進化できる。ＤＲＬ（すなわち、ニューラルネットワークと組み合わせたＲＬ）を使用すると、充填サブシステム等、内部関係やサブシステムへの影響が不明な多数の変数を考慮しなければならないサブシステムの制御ポリシーを進化させる際に特に有効である。さらに、ＲＬ及びＤＲＬ技術は、既存のローカルな制御技術を改善するために使用することもでき、このデータ駆動型のアプローチで従来の制御技術の「ギャップを埋める」ことができることに注目すべきである。したがって、ＤＲＬアルゴリズムは、食品包装システムにおいて個々のパッケージがどのように形成されるかを制御するアクチュエータ（例えば、サーボモータ、空気圧アクチュエータ又は他のアクチュエータ）を直接（又は他の制御層を介して、例えば、従来のＰＩＤコントローラが従来の制御技術と比較してより効率的に動作できるようにゲインを調整することによって）制御できる。

【0026】

これらの原理をさらに説明するために、食品包装機のジョーサブシステムを制御して食品包装機全体にわたってアライメント補正を実行する例を用いて、本発明の様々な実施形態を、本発明の一部（全てではない）の実施形態が示されている添付の図面を参照しながら、より詳細に説明する。本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されると解釈されるべきではない。

【0027】

前述のように、ジョーシステムは食品包装機の重要なサブシステムであり、包装材料の設計に準拠し、個々のパッケージを適切に形成するために、その動作を正確に制御する必要がある。設計がずれていると、包装材料の折れや完全性の問題が発生する可能性がある。

【0028】

図１は、食品包装機１００の概略図を示し、好ましくは、その上に少なくとも１つのシール可能な表面１０４を含む包装材料のウェブ１０２が、ウェブ供給装置を通してガイドロール１０８、１１０の上を前方１０６に供給され、チューブ１１２に形成される。ウェブ１０２の長手方向に重ねられた側縁１１４、１１６は、その長手方向縁に沿ってチューブを閉じるようにシールされる。側縁は、下面が互いに対向するように重ねられるか、下面が同じ方向に向くように重ねられるかのいずれでもよい。チューブ形成を補助するために、長手方向エッジ１１４、１１６の一方又は両方に沿ってテープのストリップ（図示せず）を設けてもよい。

【0029】

食品は、食品充填装置から、形成されたチューブ内の少なくとも一部に配置された食品パイプ１１８を介して形成されたチューブ内に供給される。この文脈における食品とは、人や動物が摂取し、食べる、及び／又は飲むもの、又は植物が吸収するものを指し、液体、半液体、粘性、乾燥、粉末及び固体食品、飲料製品、及び水が含まれるが、これらに限定されない。疑義を避けるために、食品には、食品を調製するための材料も含まれる。食品の例としては、牛乳、水、ジュース等がある。充填されたチューブは、次に、ジョーサブシステム１２０に転送され、そこで、パッケージ１２２の横方向のシールが、好ましくは、チューブの長さに沿って等間隔に離れた位置で形成されるが、非等間隔の長さに形成されてもよい。シールは、熱又は他の既知の手段によって行われてもよい。チューブがシールされた後、チューブは、その長さの横方向に沿って、横方向にシールされた領域の範囲内で切断され、製品が充填された個々のパッケージが形成される。一般に、等しい大きさのパッケージが製造される場合、パッケージの各々は、一定量の製品が充填される。特に食品包装機では、シール時に個々のパッケージを等しい容積にすることで、容積の均一化を確保する。したがって、個々の横方向シールは、好ましくは、ウェブの長さに沿って等間隔に離れた位置に形成される。

【0030】

図１に示された食品包装機の好ましい実施形態では、ジョーサブシステム１２０は、チューブの両側に配置される第１及び第２のシーリングジョーサブアセンブリ１２４、１２６をそれぞれ含む。これらのサブアセンブリ１２４、１２６は、少なくとも１つのキャリッジ１２８、１３０を含み、好ましくは、複数のキャリッジを含む。キャリッジ１２８，１３０は、好ましくは、閉ループ経路に沿ってそれぞれのトラック１３２，１３４上に搭載されてもよい。あるいは、キャリッジは、開ループ経路に搭載されてもよい。好ましくは、ウェブ１０２の速度を変化させる代わりに、キャリッジ１２８、１３０及びそれらの関連するスケーリングジョー１３６、１３８の位置決めは、コントローラ１４０、又は他の制御機構によって制御され、各対のシーリングジョー１３６、１３８が予め選択された位置でチューブの適切な部分と位置合わせされることを確実にする。これは、適切なパッケージ１２２の大きさを確保する役割を果たす。

【0031】

コントローラ１４０は、包装ウェブ上に間隔を空けて設けられた同期マーク１４４を光学的に検出できる光学センサ等のレジストレーションセンサ１４２から入力を受け取る。同期マーク１４４は、レジストレーションセンサ１４２が同期マークを誤読する可能性がほとんどないように構成される。例えば、背景とのコントラストが高い、及び／又は容易に認識可能な形状を有してもよい。同期マーク１４４の一例は、ＵＰＣ（Ｕｎｉｖｅｒｓａｌ Ｐｒｏｄｕｃｔ Ｃｏｄｅ）バーコードである。いくつかの実施形態では、レジストレーションセンサ１４２は、赤外線又は蛍光インクセンサ、又は近接プローブ、あるいは磁気インクを検出できるセンサ等の任意の他のタイプの位置検出装置であってもよい。

【0032】

さらに、コントローラは、ローカルジョーサブシステムの動作に影響を及ぼす可能性のあるイベントを経験する可能性のある、食品包装機１００の１つ以上のリモートサブシステムからの入力も受け取る。そのようなイベントのいくつかの例は、スプライスイベント、包装ウェブの加速、減速又は停止、パッケージフォーマットの変更、製品の変更等を含んでもよい。

【0033】

これらのイベントは、リモート変数のセットによって表すことができ、その値は、食品包装機の異なるサブシステムにおける様々な状態を表す。これは、図２に概略的に示されており、ローカルジョーサブシステムのレジストレーションセンサ１４２からの入力が、食品包装機のリモートサブシステムからの入力変数２０４と共にコントローラ１４０に入力される方法を示す。

【0034】

一実施形態では、ローカルジョーサブシステムからの物理パラメータを表す変数のいくつかの例として、以下のものが含まれる：
・包装材料に印刷された同期マーク。
・ジョーシステムの動作プロファイル（例えば、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）において、ジョーシステムを制御するサーボモータの動作を記録することによって、一定期間にわたるジョーシステムの動作を記述する保存された動作データ）。
・機械的成形調整ツールの物理的位置（この位置は、例えば、食品包装機によって製造される特定の種類のパッケージに基づいて変更される場合がある）。

【0035】

一実施形態では、リモートサブシステムからの物理パラメータを表す変数のいくつかの例として、以下のものが含まれる：
・ウェブの動きと制御変数、例えば、スプライスの検出やパッケージのサイズ等を表す。
・ウェブ張力変数、例えば、ウェブが食品包装機内を移動する際の食品包装機内の様々なローラーの位置及び／又は圧力を表す。
・充填状態、例えば、充填フローや製品レベル。
・包装材料の特性変数、例えば、包装材料の硬さ、クロージャーの有無、パッケージの容積等。

【0036】

これらは、リモートサブシステムから影響を受ける可能性のある要因のほんの一例に過ぎず、網羅的なリストと考えるべきでない。ただし、これらは、現在使用されている従来の制御システムでは考慮できない影響因子を表している。ローカル変数とリモート変数は、すべて独自の方法でチューブの位置に影響を及ぼし、従来の制御システムでは、これらのリモート変数とローカル変数のさまざまな可能な組み合わせが、ローカルジョーサブシステムの動作にどのように影響するかを決定することは困難又は不可能である。

【0037】

本明細書に記載される様々な実施形態に従って、コントローラ１４０は、ローカルサブシステム入力変数１４２を処理するローカル制御モデル２１０を、リモートサブシステムからの入力変数を処理する強化学習モデル２０６と組み合わせて使用して、測定された変数が集合的にローカルジョーサブシステムの動作にどのような影響を与えるか決定する。ローカル制御モデル２１０は、ＰＩＤコントローラによって実行されるアルゴリズムであり得る。強化学習モデルは、上述のように、１つ又は複数のニューラルネットワークを含む深層強化学習モデルであり得る。いくつかの実施形態では、ローカルサブシステム入力変数１１６は、強化学習モデル２０６によって処理することができる。いくつかの実施形態では、強化学習モデル２０６は、ローカル及びリモート変数の異なる組み合わせがウェブ張力サブシステムにどのように影響するかを把握し、この洞察を用いてローカル制御モデル２１０を改善するために使用することができる。この処理及び決定の結果に基づいて、コントローラ１４０は、ローカルジョーシステム１２０のための一連の出力制御信号２０８を生成し、これは、２つのサブアセンブリのシーリングジョーのタイミング及び横方向シールの形成のために移動チューブ１１２との係合へのそれらの移動を制御する。

【0038】

深層強化学習モデルを使用する実施形態で使用できるニューラルネットワークの例としては、例えば、強化学習及び深層強化学習を使用して訓練された畳み込みニューラルネットワーク（ＣＮＮ）、深層学習の分野でよく使用される長短期記憶（ＬＳＴＭ）ニューラルネットワーク等の再帰神経ネットワーク（ＲＮＮ）、又は完全接続ニューラルネットワークが挙げられる。ＬＳＴＭネットワークは、標準的なフィードフォワードニューラルネットワークとは異なり、ＬＳＴＭがフィードバック接続を有するので、特に有用であると考えられる。これにより、ＬＳＴＭは、単一のデータポイントだけでなく、データのシーケンス全体を処理することができ、これは、多数のパッケージを生成するように設計された食品包装機のコンテキストで特に有用である。

【0039】

したがって、移動するチューブ１１２の速度が、例えば、チューブ内の張力の変化、又は充填機の１つ以上の機械要素の不正確な機能によって変化する場合、データ駆動アプローチによって、コントローラ１４０は、チューブの速度のそのような変動を検出し、登録されたシーリングジョーの位置を調整して、シーリングジョーが適切なタイミングでチューブに係合することを保証し、それによって個々のパッケージの設計に関する位置ずれを防止する。その結果、食品包装機は、そのような変数を考慮できない可能性のある既存のソリューションと比較して、より効率的に動作することができ、廃棄する必要のあるパッケージの数が少なくなり、経済的及び環境的な利点の両方がもたらされる。

【0040】

さらに、いくつかの実施形態では、強化学習モデルからの出力は、ＰＩＤコントローラがローカル変数値のみに依存する従来の制御技術と比較してより効率的に動作できるように、従来のＰＩＤコントローラのゲインを調整するために使用することができる。したがって、本発明の実施形態は、ジョーサブシステムを制御するための唯一の手段がＰＩＤコントローラである状況でも有益であり得る。さらに、食品包装機の異なるサブシステムから収集された変数の関数としてシーリングジョーを位置決めする本システムの柔軟性の結果として、本システムは、システムに機械的な変更を必要とせずに、様々なパッケージサイズのいずれかを製造するために採用されてもよい。

【0041】

なお、上記でサブシステムをジョーシステム、充填システム、滅菌システム、パッケージ折り畳みシステム等と表記しているが、上記のサブシステムの一部、又は個々の要素を指すこともあることを付記しておく。

【0042】

いくつかの実施形態では、コントローラ１４０のための制御モデルは、図１に示されるように、コントローラ１４０自体に常駐してもよいことに留意されたい。他の実施形態では、それらは、必要な計算をさらに加速するために、外部ハードウェア／ソフトウェア（例えば、外部コンピュータ又は同様の処理装置）に常駐し、そこから動作してもよく、食品包装機内のコントローラ１４０は、外部ハードウェア／ソフトウェアによって決定される機能を単に実行する、より単純なコントローラであってもよい。

【0043】

本明細書で開示するシステム及び方法は、ソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせとして実装することができる。ハードウェアの実装では、上記の説明で言及した機能ユニット又はコンポーネント間のタスクの分割は、必ずしも物理ユニットへの分割に対応せず、逆に、１つの物理コンポーネントが複数の機能を実行することができ、１つのタスクを複数の物理コンポーネントが共同で実行されてもよい。

【0044】

特定のコンポートネント又はすべてのコンポーネントは、デジタル信号プロセッサ又はマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、ハードウェアとして又は特定用途向け集積回路として実装されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的な媒体）及び通信媒体（又は一時的な媒体）を備えるコンピュータ可読媒体上で配布されてもよい。当業者には周知のように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するための任意の方法又は技術で実装された揮発性及び不揮発性、取り外し可能及び非取り出し可能な媒体の両方を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、光学又は磁気記憶装置、又は所望の情報を記憶するために使用でき、コンピュータによってアクセス可能な他の任意の媒体が含まれるが、これらに限定されない。

【0045】

図中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び動作を示すものである。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。いくつかの代替的な実装では、ブロックに示された機能は、図に記された順序とは異なる順序で実行されてもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、関係する機能に応じて、ブロックが逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は動作を実行する、又は特別な目的のハードウェア及びコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できる。

【0046】

以上の説明から、本発明の様々な実施形態を説明し、図示したが、本発明はこれに限定されるものではなく、以下の請求項に定義される主題の範囲内で他の方法で具体化することも可能である。

【図1】

【図2】

【国際調査報告】