特表 2023-554023 食品包装システムにおけるチューブの向きを制御する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-26

(54)【発明の名称】食品包装システムにおけるチューブの向きを制御する方法及びシステム

(51)【国際特許分類】

   B65B 57/04 20060101AFI20231219BHJP

   B65B 57/00 20060101ALI20231219BHJP

   B65B 41/16 20060101ALI20231219BHJP

   B65B 41/18 20060101ALI20231219BHJP

   B65B 9/20 20120101ALI20231219BHJP

   B65H 23/025 20060101ALI20231219BHJP

   B65H 26/02 20060101ALI20231219BHJP

   B65H 23/32 20060101ALI20231219BHJP

【ＦＩ】

B65B57/04

B65B57/00 H

B65B41/16

B65B41/18

B65B9/20

B65H23/025

B65H26/02

B65H23/32

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023535994

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-07-07

(86)【国際出願番号】 EP2021086366

(87)【国際公開番号】W WO2022129450

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】63/126,858

(32)【優先日】2020-12-17

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391053799

【氏名又は名称】テトラ ラバル ホールディングス アンド ファイナンス エス エイ

【住所又は居所原語表記】７０ Ａｖｅｎｕｅ Ｇｅｎｅｒａｌ Ｇｕｉｓａｎ，ＣＨ－１００９ Ｐｕｌｌｙ，Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(74)【代理人】

【識別番号】100151105

【弁理士】

【氏名又は名称】井戸川 義信

(72)【発明者】

【氏名】ボレッリ、ガブリエーレ

(72)【発明者】

【氏名】フォルナサリ、ステファノ

【テーマコード（参考）】

3E050

3F104

3F105

【Ｆターム（参考）】

3E050AA08

3E050AB08

3E050BA01

3E050BA02

3E050BA03

3E050BA04

3E050BA11

3E050CA01

3E050CB06

3E050CB08

3E050CC05

3E050DC02

3E050DF01

3E050FB01

3E050FB07

3E050GB06

3E050HA02

3E050HB08

3E050HB09

3F104BA05

3F104GA02

3F105AB07

3F105BA20

3F105CA14

(57)【要約】

コンピュータプログラム製品を含む方法及び装置であって、食品包装機におけるチューブの向きを管理するための方法及び装置が記載されており、食品包装機は複数のサブシステムから構成されている。１つ以上のサブシステムにおける１つ以上の物理的パラメータの食品包装機による測定値を示す１以上の変数値が受信され、１つ以上の物理的パラメータはチューブ配向に影響を与える。強化学習モデル及びローカル制御モデルを用いて受信した変数値を処理することにより、１つ以上のサブシステムついて１つ以上の制御パラメータ値が決定される。１つ以上のサブシステムの１つ以上の制御パラメータは、決定された制御パラメータ値に従って調整される。

【特許請求の範囲】

【請求項1】

食品包装機（１００）において、チューブの向きを管理する方法であって、前記食品包装機（１００）が複数のサブシステムを備え、前記方法は、
１つ以上のサブシステムのための１つ以上の物理パラメータの前記食品包装機（１００）による測定値を示す１つ以上の変数値（１１６、２０４）を受信し、前記１つ以上の物理パラメータは、チューブの向きに影響を与え、
強化学習モデル（２０６）及びローカル制御モデル（２１０）を用いて、前記受信された変数値を処理することにより、前記１つ以上のサブシステムのための１つ以上の制御パラメータ値を決定し、
前記決定された制御パラメータ値に従って、前記１つ以上のサブシステムの１つ以上の制御パラメータを調整する、
ことを備える方法。

【請求項2】

前記強化学習モデル（２０６）は、ニューラルネットワークを含む深層強化学習モデルである、
請求項１に記載の方法。

【請求項3】

前記１つ以上の制御パラメータを調整するステップが、
食品包装機（１００）の１つ以上のローラー（３００）の傾きを調整して、ウェブ（１０２）を前記ローラー（３００）の長さに沿って横方向に移動させる、
ことを含む、
請求項１又は２に記載の方法。

【請求項4】

前記１つ以上のローラー（３００）の傾きを調整することにより、前記ウェブ（１０２）によって形成されたチューブ（１０４）が、前記チューブ（１０４）の中心軸の周りに時計回り方向又は反時計回り方向にねじれる、
請求項３に記載の方法。

【請求項5】

前記ニューラルネットワークが、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、及び完全接続ニューラルネットワークのうちの１つである、
請求項２～４のいずれか一項に記載の方法。

【請求項6】

前記１つ以上の変数値は、包装ウェブの移動及び制御変数、ウェブの張力変数、包装材料の特性、及び食品の種類のうちの１つ以上に関する測定値を含む、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

複数のサブシステムを有する食品包装機（１００）において、チューブの向きを管理するためのシステムであって、前記システムは、
メモリと、
プロセッサと、
を備え、
前記メモリは、前記プロセッサによって実行されると、前記プロセッサに、以下を含む方法を実行させる命令を含み、
１つ以上のサブシステムのための１つ以上の物理パラメータの前記食品包装機（１００）による測定値を示す１つ以上の変数値（１１６、２０４）を受信し、前記１つ以上の物理パラメータは、チューブの向きに影響を与え、
強化学習モデル（２０６）及びローカル制御モデル（２１０）を用いて、前記受信された変数値を処理することにより、前記１つ以上のサブシステムのための１つ以上の制御パラメータ値を決定し、
前記決定された制御パラメータ値に従って、前記１つ以上のサブシステムの１つ以上の制御パラメータを調整する、
ことを備えるシステム。

【請求項8】

前記強化学習モデル（２０６）は、ニューラルネットワークを含む深層強化学習モデルである、
請求項７に記載のシステム。

【請求項9】

前記１つ以上の制御パラメータを調整するステップが、
食品包装機（１００）の１つ以上のローラー（３００）の傾きを調整して、ウェブ（１０２）を前記ローラー（３００）の長さに沿って横方向に移動させる、
ことを含む、
請求項７又は８に記載のシステム。

【請求項10】

前記１つ以上のローラー（３００）の傾きを調整することにより、前記ウェブ（１０２）によって形成されたチューブ（１０４）が、前記チューブ（１０４）の中心軸の周りに時計回り方向又は反時計回り方向にねじれる、
請求項９に記載のシステム。

【請求項11】

前記ニューラルネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、及び完全接続ニューラルネットワークのうちの１つである、
請求項８～１０のいずれか一項記載のシステム。

【請求項12】

前記１つ以上の変数値は、包装ウェブの移動及び制御変数、ウェブの張力変数、包装材料の特性、及び食品の種類のうちの１つ以上に関する測定値を含む、
請求項７～１１のいずれか一項に記載のシステム。

【請求項13】

プロセッサによって実行されるときに、請求項１～６のいずれか一項に記載の方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食品包装システムに関し、より具体的には、食品包装システムにおけるチューブの配向に関する。

【背景技術】

【0002】

オートメーション制御システムは、現在、様々な製造・加工現場で使用されており、継続して複雑さを増している。この複雑さを管理するための一般的なアプローチは、システムをサブシステムに分割し、各サブシステムに適した制御機構を開発することである。しかし、この方法では、システム全体として最適な解が得られるとは限られない。

【0003】

システムが複雑化し、影響因子の数が増えるにつれて、様々なソースから影響因子を捕捉することはますます困難になる。また、影響因子、制御変数、システム自体の関係が非線形である場合、モデル化が困難である場合、この複雑さはさらに増す。

【0004】

産業制御における抽象化レベルに関しては、それぞれ低レベル制御と高レベル制御という２つの主要な視点がある。低レベル制御は、個々のオートメーションコンポーネント（例えば、アクチュエータ、サーボモータ、ヒーター、その他多くのデバイス）の管理を意味する。高レベル制御は、サブシステムレベルからシステムレベル、更に、協調して動作する必要のある複数のシステムやサブシステムを持つプラント全体のオーケストレーションまで、抽象度を高めていくことができる。

【0005】

一例として、食品加工及び包装装置は、通常、充填システム、殺菌システム、パッケージ折り畳みシステム等のいくつかのサブシステムを含む。各サブシステムは、多数の異なる要素（例えば、空気圧アクチュエータ、サーボモータ、ＤＣモータ、ＡＣモータ、センサ、その他のアクチュエータ等）を含む。これらの個々の要素は、一般的に、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｅｒｉｖａｔｉｖｅ）コントローラー等の従来の制御技術を利用した低レベルのローカル制御システムによって制御され、目標変数を制御する。フィードバックループは、要素、システム、又はサブシステムの目標動作点に対してコントローラーの誤差を低く保つために使用される。

【0006】

しかし、ＰＩＤコントローラーは、その用途に合わせてチューニングする必要があり、通常、特定の動作範囲と動作ダイナミクスに最適化されている。また、従来の作業範囲から外れた不測の事態や作業条件に適応するのにはあまり適していない。このような条件が変化した場合（例えば、異なる作業環境、オートメーション要素の変化、製造プロセスの変化等）、ＰＩＤコントローラーのパラメータを調整し、再キャリブレーションする必要がある。特に、食品加工機器や包装機器に代表されるように、多数の要素及び／又はサブシステムが関与している場合、これは、経験豊富な担当者による多大な手動入力を必要とする、時間のかかる複雑なプロセスとなる可能性がある。

【0007】

果汁、ＵＨＴ（超高温処理）牛乳、ワイン、トマトソース等の液体、半液体、又は注ぎ込み可能な食品を、多層複合包装材料からなる複合パッケージに包装し、流通・販売する複合システムの一例が充填機である。代表的な例として、ラミネートされたストリップ状の包装材料をシールして折り畳んだ「Ｔｅｔｒａ Ｂｒｉｋ Ａｓｅｐｔｉｃ（登録商標）」と呼ばれる平行六面体の注ぎ込み可能な食品用パッケージがある。この包装材料は、カートンや紙の基材層の両面をポリエチレン等のヒートシールプラスチック材料で覆った多層構造になっている。長期保存可能な無菌包装の場合、包装材料は酸素バリア材、例えば、アルミニウム箔の層をさらに含み、この層はヒートシールプラスチック材の層と重なり、さらに別のヒートシールプラスチック材の層で覆われて、最終的に食品に接触する包装の内側面を形成する。

【0008】

充填機は、多層複合包装材料のウェブ（リールから巻かれたもの）からスタートする。このウェブは充填機を通して供給され、ウェブから長手方向シールを行うことによりチューブが形成される。液体食品はパイプを介してチューブに供給され、チューブの下端は折り畳み装置に供給され、横方向シールが生成され、チューブは弱化線とも呼ばれる折り線に従って折り畳まれ、液体食品を充填した複合パッケージを形成するように切断される。

【0009】

チューブが形成される際、「チューブのねじれ」と呼ばれる問題が発生することがある。これは包装材料のチューブの不安定な挙動モードであり、食品包装機の１つ以上のローラーに沿ってウェブが横方向に変位することにより、包装材料のウェブによって形成されたチューブが、その中心軸の周りを時計回り又は反時計回りに回転する。この位置ずれの一般的な原因としては、ウェブの位置合わせ不良、スプライシング現象、包装材料リールの「ロングエッジ」欠陥（スリット）、ジョー／ボリュームフラップとチューブとの間の不適切／不均一な相互作用等が挙げられる。チューブのねじれは、包装システムの生産量やパッケージの品質に悪影響を及ぼす。例えば、チューブがジョーシステムに対して適切に位置合わせされないことがあり、この位置合わせのずれによってパッケージが不適切にシールされる可能性があり(例えば、シールが行われるはずのパッケージングウェブ上の領域が、シールを行う装置の範囲内に入らない)、ジョーシステムによって切断されるため、(美観の面でもパッケージの完全性の面でも)設計上の問題を引き起こす可能性がある。これは、パッケージの内容物を無菌状態に保つ必要がある場合に、特に重要な問題である。

【0010】

このような事象の多くは、食品包装機の他のサブシステムで発生する可能性があるため、チューブ配向サブシステムのローカルＰＩＤコントローラーがこのような事象を考慮する方法はなく、したがって、このような要因を事前に考慮する方法もない。その結果、ローカルＰＩＤコントローラーは、検出した問題を過剰に補正してしまい、チューブ配向の問題が適切に修正されないことがある。さらに、食品包装機によって生産されるパッケージの種類が変わるたびに、技術者が手動でＰＩＤゲインを調整する必要があり、その結果、食品包装機のダウンタイムが発生し、費用がかかることが多い。したがって、一般的にチューブの向きを制御し、特に、チューブのねじれを制御するため、包装機内で発生する様々な事象を考慮した改良技術が必要とされている。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、従来技術の１つ又は複数の制限を少なくとも部分的に克服することである。特に、ローカルのチューブ配向サブシステムだけでなく、食品包装機内の他のリモートのサブシステムにおいて測定されたパラメータ値を考慮することによって、食品包装機内で発生する様々な事象に対応して、食品包装機のチューブ配向サブシステムにおけるチューブの配向を改善し、チューブのねじれや他のチューブの配向の問題を回避することを可能にする方法及びシステムを提供することが目的である。その結果、チューブ形成サブシステムの有害事象に対する安定性が向上し、廃棄されるパッケージが少なくなり、最終的には、廃棄される食品の量だけでなく、環境にも有益な効果をもたらす。

【0012】

本発明の一態様において、これは、食品包装機における管の向きを管理するための方法によって達成され、食品包装機は複数のサブシステムから構成される。本方法には以下が含まれる：
・１つ以上のサブシステムの1つ以上の物理的パラメータの食品包装機による測定値を示す１つ以上の変数値を受信し、１つ以上の物理的パラメータがチューブの向きに影響を与える；
・強化学習モデル及びローカル制御モデルを使用して、受信した変数値を処理することにより、１つ以上のサブシステムの制御パラメータ値を決定する；
・決定された制御パラメータ値に従って、１つ以上のサブシステムの１つ以上の制御パラメータを調整する。

【0013】

ローカル変数とリモートサブシステムからの入力の両方を利用することで、チューブの向きがより正確に制御され、食品包装機のチューブ形成サブシステムや他のリモートのサブシステムで予期せぬ不都合な事象が発生しても、チューブのねじれや他の問題が発生しにくい弾力的な動作が実現する。上述したように、この結果、無駄なパッケージ（及び食品）が減り、食品包装機の運転がより効率的で環境に優しくなる。チューブの向きをより適切に制御できるため、手作業によるテストが少なくなり、新製品や新構造の市場投入までの時間を短縮することも可能となる。制御方針はシミュレーション環境で学習できるため、食品包装機をゼロから手動で構成する必要がないため、この効果はさらに高まる。

【0014】

一実施形態では、強化学習モデルは、ニューラルネットワークを含む深層強化学習モデルである。深層強化学習は、サブシステムに対する内部関係及び効果が知られていない可能性のある多数の変数を考慮しなければならないサブシステムの制御方針を進化させる場合に特に有用であり、食品包装機のローカルサブシステムの１つ又は複数の制御パラメータ値を決定するために、ニューラルネットワークを含まない従来の強化学習を用いて可能であるものよりも高度なアプローチを提示する。

【0015】

一実施形態では、１つ以上の制御パラメータを調整することは、食品包装機の1つ以上のローラーの傾きを調整して、ローラーの長さに沿って横方向にウェブを移動させることを含む。例えば、ウェブが横切る水平ローラーを想像する。ローラーを傾ける、すなわち、ローラーの右端又は左端を垂直方向に上下に動かすことにより、ローラー上に進入するウェブがその進行方向をローラー軸に垂直に合わせるため、ウェブはローラーの長さに沿って左又は右に、すなわち、ローラーのいずれかの端に向かって横方向に移動する。このウェブの横方向への移動により、チューブが形成される際に時計回り方向又は反時計回り方向のいずれかにチューブがねじれるため、チューブのねじれ問題を軽減する手段として使用できる。

【0016】

一実施形態では、１つ以上のローラーの傾きを調整することによって、上述したように、さらに、ウェブによって形成されたチューブが、チューブの中心軸の周りを時計回り方向又は反時計回り方向にねじられる。

【0017】

一実施形態では、ニューラルネットワークは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、長短期記憶ニューラルネットワーク、又は完全連結ニューラルネットワークである。これらはすべて、当業者によく知られている従来のニューラルネットワークの異なるタイプであり、したがって、既存の食品包装機の設定により容易に組み込むことができる。

【0018】

一実施形態では、1つ以上の変数値は、包装ウェブの移動及び制御変数、ウェブの張力変数、包装材料の特性、及び食品タイプのうちの1つ以上に関する測定値を含む。これらはすべて、従来の包装及び生産システムで測定される一般的なパラメータである。本明細書で説明する様々な実施形態のデータ駆動型アプローチによって達成されるように、食品包装機のサブシステムをより適切に制御するために、これらのパラメータを使用してチューブ形成サブシステムの動作、さらには食品包装機の全体的な動作を大幅に向上させる。

【0019】

本発明の他の態様は、食品包装機におけるチューブ配向のためのシステム及びコンピュータプログラムを含む。本発明のこれらの態様の特徴及び利点は、上述した方法に関するものと実質的に同じである。

【0020】

本発明のさらに他の目的、特徴、態様及び利点は、以下の詳細な説明及び図面から明らかであろう。

【課題を解決するための手段】

【0021】

以下、本発明の実施形態について、添付の図面を参照しながら例示的に説明する。

【図面の簡単な説明】

【0022】

【図1】一実施形態に係る食品包装機の一部を示す概略図である。

【図2】一実施形態に係る食品包装機におけるコントローラーの概略図である。

【図3A】一実施形態に係る、図１の食品包装機のローラーが水平位置にあるときの、ローラーを横方向に移動するウェブを示す概略図である。

【図3B】一実施形態に係る、図１の食品包装機のローラーを横方向に移動するウェブを示す概略図であり、ローラーがわずかに反時計回りに回転した場合を示している。

【図3C】一実施形態に係る、図１の食品包装機のローラーを横方向に移動するウェブを示す概略図であり、ローラーがわずかに時計回りに回転した場合を示している。

【発明を実施するための形態】

【0023】

上述のとおり、本発明の様々な実施形態による目標は、食品加工及び包装に関連する装置及びシステム、特に、食品包装機におけるチューブの向きに関して、装置及びシステムの制御技術を改良することである。上述のとおり、チューブのねじれは、パッケージが無駄につながる可能性がある問題であり、これは、食品廃棄物及び環境の観点から望ましくない。また、現在、チューブねじれが発生するリスクを最小化するために、食品包装機が最初に運転されるときにチューブ形成サブシステムをセットアップするのにかなりの時間と労力が必要である。食品包装機のチューブ形成サブシステムを制御するために、強化学習及び/又は深層強化学習技術の一般的な概念を適用することにより、既存のシステムで可能なものと比較して、より広い範囲の要因を考慮することができ、チューブ形成サブシステムのローカルパラメータを調整すること、及び/又は食品包装機の他のサブシステムのパラメータを調整することによって、チューブの向きをかなり正確に調整することができ、チューブのねじれが発生する可能性が低くなり、廃棄される食品パッケージが少なくなり、食品包装機をより効率的に使用することができる。

【0024】

強化学習と深層強化学習は、いずれも機械学習技術の一例である。一般に、強化学習（ＲＬ）は、正又は負の報酬を用いることで動的に学習することが特徴である。システムの性能は、所望の目標に対して評価される。目標に到達した場合、正の報酬が与えられ、目標に到達しなかった場合、負の報酬が与えられる。正の報酬と負の報酬が時間とともに蓄積されると、ＲＬモデルは結果を最大化することを目標に、システムの制御方針を進化させる。深層強化学習（ＤＲＬ）は、ＲＬを強化したものであり、システムの制御方針を進化させる際にＲＬとニューラルネットワークを併用することが特徴である。

【0025】

食品加工とパッケージングの文脈では、ＲＬ（すなわち、エージェントと環境の相互作用）を使用して、食品加工及び/又は包装機の制御ポリシーを進化できる。ＤＲＬ（すなわち、ニューラルネットワークと組み合わせたＲＬ）を使用すると、充填サブシステム等、内部関係やサブシステムへの影響が不明な多数の変数を考慮しなければならないサブシステムの制御ポリシーを進化させる際に特に有効である。さらに、ＲＬ及びＤＲＬ技術は、既存のローカルな制御技術を改善するために使用することもでき、このデータ駆動型のアプローチで従来の制御技術の「ギャップを埋める」ことができることに注目すべきである。したがって、ＤＲＬアルゴリズムは、チューブのねじれを防止し、チューブの姿勢を安定に保つアクチュエータ（例えば、サーボモータ、空気圧アクチュエータ又は他のアクチュエータ）を直接（又は他の制御層を介して、例えば、従来のＰＩＤコントローラーが従来の制御技術と比較してより効率的に動作できるようにゲインを調整することによって）制御できる。

【0026】

これらの原理をさらに説明するために、食品包装機におけるチューブ形成サブシステムの制御を例として、本発明の様々な実施形態を、本発明の一部（全てではない）の実施形態が示されている添付の図面を参照しながら、より詳細に説明する。本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されると解釈されるべきではない。上述のとおり、チューブ形成サブシステムは、食品包装機の重要な部分であり、その動作は、食品包装機の他のサブシステムで有害事象が発生したときにチューブのねじれが生じないようにするために、注意深く制御される必要がある。

【0027】

図１は、一般に、食品包装機１００を示す図である。図示された例では、食品包装機１００は、ロール供給式カートン包装機である。このような食品包装機の一般的な原理は、包装材料のロールからウェブ１０２が形成されることである。食品包装機１００は、包装材料のロールを受け取るためのロールレシーバ（図示せず）を備えてもよい。図示されていないが、食品安全規制を満たすために必要である場合、過酸化水素バス、低電圧電子ビーム（ＬＶＥＢ）装置、又は不要な微生物を減少させることができる任意の他の装置を使用して、ウェブ１０２を滅菌してもよい。

【0028】

滅菌後、チューブ形成器を使用することにより、チューブ形成サブシステムにおいてウェブ１０２をチューブ１０４に形成できる。非限定的な一例によれば、チューブ形成器は、長手方向シール装置であってもよい。チューブを形成したとき、食品、例えば、ミルクを、製品充填装置からチューブ１０４の内部に少なくとも部分的に配置された製品パイプ１０６を介してチューブ１０４内に供給することができる。この文脈における食品とは、人や動物が摂取し、食べるもの、及び／又は飲むもの、又は植物が吸収するものを指し、液体、半液体、粘性、乾燥、粉末及び固体食品、飲料製品、水を含むが、これらに限定されない。疑義を避けるために、食品には、食品を調製するための材料も含まれる。食品の例としては、牛乳、水、ジュース等がある。

【0029】

製品が充填されたチューブ１０４からパッケージ１１２を形成するために、「ジョーシステム」と呼ばれるシーリングサブシステム１１０を使用することによって、チューブの下端部に横方向シールを形成できる。一般に、シーリングサブシステム１１０は、横方向のシールを行うこと、すなわち、シーリングサブシステム１１０の下方に置かれたチューブ１０４の下部内の製品が、シーリングサブシステム１１０の上方に置かれたチューブ１０４内の製品から分離するようにチューブ１０４の２つの対向する側面を一緒に溶接し、パッケージ１１２を形成するようにチューブ１０４の下部を切り落とすこと、の２つの主要機能を有する。あるいは、図示されているように、横方向のシールと下部を切り落とすことを同一装置内で提供する代わりに、下部を切り落とすステップは、別の装置によって、又はパッケージがマルチパックで販売されることを意図している場合には、消費者によって、その後のステップで行われてもよい。

【0030】

チューブ形成サブシステムは、図２に概略的に示されるコントローラー１１４によって制御され、このコントローラーは、食品包装機１００の様々なサブシステムから入力を受け取り、このサブシステムは、チューブ形成サブシステムの動作に影響を与える事象を経験する可能性がある。これらの事象及び外的要因は、変数のセットによって表すことができ、その値は、食品包装機１００の異なるサブシステムにおける様々な状態を示す。図２は、チューブ形成サブシステムのローカルセンサ１１６からの入力が、食品包装機の他のリモートのサブシステムからの入力変数２０４とともに、コントローラー１１４にどのように入力されるかを示している。

【0031】

一実施形態では、チューブ形成サブシステムに影響を与え得る物理的パラメータを表す変数のいくつかの例に、以下が含まれる：
・ウェブの動き及び制御変数（例えば、ウェブ１０２の開始、停止、加速、減速）、
・ウェブ張力変数（例えば、ウェブ張力設定点（すなわち、食品包装機械１００で使用される特定のタイプのウェブ１０２に対する所望のウェブ張力）、及び／又は現在のウェブ張力調整システム位置（すなわち、食品包装機械１００のウェブ張力調整サブシステムによって登録される現在のウェブ張力）、
・包装材料の特性（例えば、ウェブの長さ及び幅、包装材料の硬さ及び厚さ等）、及び食品の種類（密度、容量等）。

【0032】

ウェブの動きとウェブの張力の変数は「動的」変数と考えることができ、一方、包装材料の特性と食品の種類の変数は静的変数、つまり物理的特性に関連する。理解できるように、これらは、他のサブシステム又は外部システムから影響を受ける可能性のある要因のほんの一例に過ぎず、網羅的なリストとして考慮されるべきではない。しかしながら、これらの要因は、従来のチューブ形成システムでは考慮することができない影響要因を表しており、これらの要因の様々な可能な組み合わせがチューブ形成サブシステムの動作にどのように影響すべきかを決定することは困難であるか不可能である。

【0033】

本明細書に記載される様々な実施形態によれば、コントローラー１１４は、ローカル制御モデル２１０を使用して、ローカルチューブ形成サブシステム入力変数１１６（例えば、エッジ検出器からの信号又はウェブ上の位置マーキングからの信号）を処理し、強化学習モデル２０６と組み合わせて、充填機の他のサブシステムからの入力値を処理し、全体として測定されたすべての変数が集合的にチューブ形成サブシステムの動作にどのように影響するかを決定する。ローカル制御モデル２１０は、ＰＩＤコントローラーによって実行されるアルゴリズムである。強化学習モデル２０６は、上述のように、１つ以上のニューラルネットワークを含む深層強化学習モデルであってもよい。いくつかの実施形態において、ローカルサブシステム入力変数１１６は、強化学習モデル２０６によって処理されてもよい。いくつかの実施形態では、強化学習モデル２０６は、ローカル変数及びリモート変数の異なる組み合わせがチューブ形成サブシステムにどのように影響すべきかを把握し、この洞察を使用して、ローカル制御モデル２１０を改善することができる。この処理及び決定の結果に基づいて、コントローラー１１４は、ローカルチューブ形成サブシステムのための一組の出力制御信号２０８を生成し、この出力制御信号２０８は、サーボモータ、空気圧アクチュエータ等のアクチュエータを制御して、（例えば、上述のとおり、１つ以上のローラーの傾きを変更することによって）チューブのねじれを防止する。

【0034】

図３Ａ～３Ｃは、一実施形態において、ローラーの傾きの変化がチューブの配向にどのように影響するかを概略的に示している。図３Ａは、ウェブ１０２がローラー３００を横切って図の下から上に向かって走行する中立位置を概略的に示しており、ウェブ１０２の長辺を互いに接着することによってチューブ１０４が形成される。チューブの向きを制御するために、ローラー３００は、アクチュエータ（図示せず）によって時計回り方向又は反時計回り方向に傾けることができる。図３Ｂは、ローラー３００が反時計回りに数度回転した状態を模式的に示している。その結果、ウェブ１０２は、ローラー３００に対して垂直に整列しようとして、ローラー３００を横切って図の右側に向かって横方向に移動する。この横方向の移動により、チューブ１０４は反時計回り方向にねじれる。同様に、図３Ｃは、ローラー３００が時計回りに数度回転した状態を模式的に示している。その結果、ウェブ１０２はローラー３００を横切り、図の左側に向かって横方向に移動し、再びローラーに対して垂直に整列しようとする。この横方向の移動により、チューブ１０４は時計回り方向にねじれる。ローラー３００の傾きを調整することは、食品包装機１００でチューブのねじれが発生するのを防止するための１つの可能なメカニズムである。

【0035】

いくつかの実施形態では、コントローラー１１４は、食品包装機１００の他のサブシステムのための制御信号２０８のセットを生成して、それらのサブシステムにおいて生じ、かつチューブ配向に影響を与える問題を修正する、すなわち、本質的に、チューブのねじれ等のあらゆるチューブ配向問題の「根本原因」に対処する。チューブの配向の問題が、ローカル（すなわち、チューブ形成サブシステムにおいて）及びリモート（すなわち、食品包装機械１００の他のサブシステムにおいて）の両方に対処されるアプローチを有することにより、チューブ形成プロセスをさらに改善することができる。

【0036】

深層強化学習モデルを使用する実施形態で使用できるニューラルネットワークの例としては、例えば、強化学習及び深層強化学習を使用して訓練された畳み込みニューラルネットワーク（ＣＮＮ）、深層学習の分野でよく使用される長短期記憶（ＬＳＴＭ）ニューラルネットワーク等の再帰神経ネットワーク（ＲＮＮ）、又は完全接続ニューラルネットワークが挙げられる。ＬＳＴＭネットワークは、標準的なフィードフォワードニューラルネットワークとは異なり、ＬＳＴＭがフィードバック接続を有するので、特に有用であると考えられる。これにより、ＬＳＴＭは、単一のデータポイントだけでなく、データのシーケンス全体を処理することができ、これは、多数のパッケージを生成するように設計された食品包装機のコンテキストで特に有用である。

【0037】

従来の制御技術では、例えば、パッケージサイズ、食品の種類等、異なる作業設定毎に手動で較正する必要があることが多く、これは非常に時間のかかるプロセスである。対照的に、本発明の本実施形態では、異なるパラメータがどのように変化するかについてシミュレーションを行うことができるトレーニング環境を提供することを可能にし、これにより、コントローラー１１４は、チューブ形成サブシステムに対する目標を与えられた最適制御ポリシーを学習することができる。これにより、包装機をセットアップする際の相当数の工数を節約することができ、それによって、新しいパッケージ及び製品の市場投入までの時間を短縮することができる。いくつかの実施形態では、強化学習モデルからの出力を使用して、従来のＰＩＤコントローラーのゲインを調整することができ、その結果、ＰＩＤコントローラーがローカル変数値のみに依存する従来の制御技術と比較してより効率的に動作できる。

【0038】

なお、上記でサブシステムをチューブ形成システム、充填システム、滅菌システム、パッケージ折り畳みシステム等と表記しているが、上記のサブシステムの一部、又は個々の要素を指すこともあることを付記しておく。

【0039】

いくつかの実施形態では、コントローラー１４０のための制御モデルは、図２に示されるように、コントローラー１４０自体に常駐してもよいことに留意されたい。他の実施形態では、それらは、必要な計算をさらに加速するために、外部ハードウェア／ソフトウェア（例えば、外部コンピュータ又は同様の処理装置）に常駐し、そこから動作してもよく、食品包装機内のコントローラー１４０は、外部ハードウェア／ソフトウェアによって決定される機能を単に実行する、より単純なコントローラーであってもよい。

【0040】

本明細書で開示するシステム及び方法は、ソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせとして実装することができる。ハードウェアの実装では、上記の説明で言及した機能ユニット又はコンポーネント間のタスクの分割は、必ずしも物理ユニットへの分割に対応せず、逆に、１つの物理コンポーネントが複数の機能を実行することができ、１つのタスクを複数の物理コンポーネントが共同で実行されてもよい。

【0041】

特定のコンポートネント又はすべてのコンポーネントは、デジタル信号プロセッサ又はマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、ハードウェアとして又は特定用途向け集積回路として実装されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的な媒体）及び通信媒体（又は一時的な媒体）を備えるコンピュータ可読媒体上で配布されてもよい。当業者には周知のように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するための任意の方法又は技術で実装された揮発性及び不揮発性、取り外し可能及び非取り出し可能な媒体の両方を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、光学又は磁気記憶装置、又は所望の情報を記憶するために使用でき、コンピュータによってアクセス可能な他の任意の媒体が含まれるが、これらに限定されない。

【0042】

図中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び動作を示すものである。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。いくつかの代替的な実装では、ブロックに示された機能は、図に記された順序とは異なる順序で実行されてもよい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されてもよく、関係する機能に応じて、ブロックが逆の順序で実行されてもよい。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は動作を実行する、又は特別な目的のハードウェア及びコンピュータ命令の組み合わせを実行する特別な目的のハードウェアベースのシステムによって実装できる。

【0043】

以上の説明から、本発明の様々な実施形態を説明し、図示したが、本発明はこれに限定されるものではなく、以下の請求項に定義される主題の範囲内で他の方法で具体化することも可能である。

【図1】

【図2】

【図3A-3C】

【国際調査報告】