特表 2024-536802 容器に流体を充填する際の異常を検出するための方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-08

(54)【発明の名称】容器に流体を充填する際の異常を検出するための方法及び装置

(51)【国際特許分類】

   B65B 57/10 20060101AFI20241001BHJP

   B65B 3/04 20060101ALI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

   G06V 10/82 20220101ALI20241001BHJP

【ＦＩ】

B65B57/10 C

B65B3/04

G06T7/00 350C

G06V10/82

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024517582

(86)(22)【出願日】2022-09-19

(85)【翻訳文提出日】2024-03-19

(86)【国際出願番号】 US2022043937

(87)【国際公開番号】W WO2023044089

(87)【国際公開日】2023-03-23

(31)【優先権主張番号】63/261,372

(32)【優先日】2021-09-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】594197872

【氏名又は名称】イーライ リリー アンド カンパニー

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100184343

【弁理士】

【氏名又は名称】川崎 茂雄

(74)【代理人】

【識別番号】100197561

【弁理士】

【氏名又は名称】田中 三喜男

(72)【発明者】

【氏名】デサイ，ヘタルクマール メグラジバイ

(72)【発明者】

【氏名】カヴィエツキ，マシュー グレン

(72)【発明者】

【氏名】シャルマ，ラケシュ

(72)【発明者】

【氏名】ティワリ，アシット

(72)【発明者】

【氏名】バンダーリー，ジョーダン マシュー

【テーマコード（参考）】

3E118

5L096

【Ｆターム（参考）】

3E118AA02

3E118AB14

3E118AB17

3E118BA02

3E118BB21

3E118DA01

3E118DA10

3E118DA13

3E118EA03

3E118FA07

3E118FA11

5L096AA02

5L096AA06

5L096BA02

5L096CA02

5L096DA03

5L096FA59

5L096GA02

5L096HA02

5L096HA11

5L096KA04

(57)【要約】

本明細書に記載の技術は、容器が液体で充填される充填プロセスのビデオの１つ以上の画像を使用して、容器内の異常を検出するためのコンピュータ化された方法及び装置に関する。本明細書に記載の技術は、更に、容器が液体で充填されている間、リアルタイムで異常を検出し、少なくとも１つの異常を検出すると、警報を出力するか、又は充填機が実施するように構成された充填プロセスの１つ以上のパラメータを変更するためのコンピュータ化された方法及び装置に関する。

【特許請求の範囲】

【請求項1】

充填コンポーネントを使用して、容器が流体で充填される充填プロセスにおける異常を検出するためのコンピュータ化された方法であって、
前記容器が前記充填コンポーネントを通して前記流体で充填されている間、前記容器のビデオをキャプチャすることと、
１つ以上のプロセッサを使用して、充填コンポーネント浸漬異常、前記容器内の流体の飛散を含む飛散異常、前記容器内の流体の滴下を含む滴下異常、又は前記充填コンポーネントが前記容器内の前記流体の表面の安全でない距離内に入る安全でない充填コンポーネント－流体距離異常のうちの１つ以上を含む前記異常を検出するように、前記ビデオの画像を分析することと、
前記検出された異常を示す警報を生成することと、を含む、方法。

【請求項2】

前記容器に前記流体を充填するように構成された充填機を、前記充填機が実施するように構成されている前記充填プロセスの１つ以上のパラメータを前記検出された異常に基づいて変更することによって、調整することを更に含む、請求項１に記載の方法。

【請求項3】

前記ビデオの追加の画像を分析することと、
前記画像若しくは前記追加の画像のうちのいずれかが前記充填コンポーネント浸漬異常を示すと判定される場合、前記充填プロセスが前記充填コンポーネント浸漬異常を有すると判定すること、又は
前記画像若しくは前記追加の画像のうちのいずれかが前記飛散異常を示すと判定される場合、前記充填プロセスが前記飛散異常を有すると判定すること、又は
前記画像若しくは前記追加の画像のうちのいずれも、前記充填コンポーネント浸漬異常を示すと判定されず、かつ、
前記画像若しくは前記追加の画像のうちの少なくとも１つが、前記充填コンポーネントと前記流体との間の最小垂直距離が閾値距離未満であることを示すと判定される場合、前記充填プロセスが前記安全でない充填コンポーネント－流体距離異常を有すると判定することと、を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記画像内の前記容器内の前記流体を識別することと、
前記充填コンポーネントと前記流体との相対位置に基づいて、前記異常を検出することと、を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記充填コンポーネントを識別することは、前記充填コンポーネントの第１の境界ボックスを判定することを含み、
前記流体を識別することは、前記流体の第２の境界ボックスを判定することを含む、請求項４に記載の方法。

【請求項6】

前記異常を検出することは、前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複すると判定することを含む、請求項５に記載の方法。

【請求項7】

前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、閾値幅比、及び差を有する閾値のうちの少なくとも１つだけ大きいときに、前記検出された異常を前記充填コンポーネント浸漬異常として分類することを更に含む、請求項６に記載の方法。

【請求項8】

前記異常を検出することは、前記充填プロセスにおける経過時間が閾値充填時間よりも長いと判定することを更に含む、請求項７に記載の方法。

【請求項9】

前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、閾値幅比及び閾値幅差のうちの少なくとも１つだけ大きくないときに、前記検出された異常を前記飛散異常として分類することを更に含む、請求項６に記載の方法。

【請求項10】

前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複せず、
前記充填コンポーネントの前記第１の境界ボックスのエッジと、前記流体の前記第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値距離未満であり、かつ、
前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きくないときに、前記検出された異常を前記飛散異常として分類することを更に含む、請求項５に記載の方法。

【請求項11】

前記異常を検出することは、前記充填プロセスにおける経過時間が閾値充填時間未満であると判定することを更に含む、請求項９又は１０に記載の方法。

【請求項12】

前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複せず、
前記充填コンポーネントの前記第１の境界ボックスのエッジと、前記流体の前記第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値垂直距離未満であり、かつ、
前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きいときに、前記検出された異常を前記安全でない充填コンポーネント－流体距離異常として分類することを更に含む、請求項５に記載の方法。

【請求項13】

前記ビデオの追加の画像を分析することと、
前記飛散異常を有する前記画像及び前記追加の画像からの画像の数が飛散閾値を超える場合、前記充填プロセスが前記飛散異常を有すると判定することと、を更に含む、請求項１又は２に記載の方法。

【請求項14】

前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記充填コンポーネントに近接する前記画像内の領域を判定することと、
前記画像内の流体特性を判定することと、
前記流体特性に基づいて、前記領域内の前記飛散異常を検出することと、を含む、請求項１、２、及び１３のいずれか一項に記載の方法。

【請求項15】

前記領域を判定する前に、前記充填コンポーネントが前記容器中に完全に挿入されたと判定することを更に含む、請求項１４に記載の方法。

【請求項16】

前記充填コンポーネントが前記容器中に完全に挿入されたと判定することは、
前記画像内の前記充填コンポーネントの充填コンポーネント幅、及び前記ビデオ内の前記画像に先行する１つ以上の追加の画像内の前記充填コンポーネントのそれぞれの充填コンポーネント幅を判定することと、
前記画像内の前記充填コンポーネント幅、及び前記画像に先行する前記１つ以上の追加の画像内の前記それぞれの充填コンポーネント幅に基づいて、充填コンポーネント幅の変動を判定することと、
前記充填コンポーネント幅の変動が閾値充填コンポーネント幅を下回ると判定することと、を含む、請求項１５に記載の方法。

【請求項17】

前記充填コンポーネント幅の変動は、前記画像内の前記充填コンポーネント幅と、前記１つ以上の追加の画像内の前記それぞれの充填コンポーネント幅との間の最大幅差である、請求項１６に記載の方法。

【請求項18】

前記充填コンポーネントが前記容器中に完全に挿入されたと判定する前に、前記充填プロセスが開始したと判定することを更に含む、請求項１５に記載の方法。

【請求項19】

前記充填プロセスが開始したと判定することは、
流体が前記画像内で検出されたかどうかを判定することと、
流体が検出されない場合、前記充填プロセスが開始していないと判定し、そうでない場合、前記充填が開始したと判定することと、を含む、請求項１８に記載の方法。

【請求項20】

前記領域は、
前記充填コンポーネントの第１の側部における第１の領域と、
前記第１の側部とは反対の前記充填コンポーネントの第２の側部における第２の領域と、を含む、請求項１４に記載の方法。

【請求項21】

前記流体特性は、前記流体の表面内の傾斜を含み、前記領域内の前記飛散異常を検出することは、
前記傾斜が閾値を超えているかどうかを判定することと、
前記傾斜が前記閾値を超えると判定される場合、前記領域内の前記飛散異常を検出することと、を含む、請求項１４～２０のいずれか一項に記載の方法。

【請求項22】

前記画像内の前記流体特性を判定することは、
前記画像内の前記領域内の流体表面エッジ画素を判定することと、
前記流体表面エッジ画素に基づいて、１つ以上の流体エッジを判定することと、
前記流体表面エッジ画素の中の最大垂直座標と、前記流体表面エッジ画素の中の最小垂直座標との間の差に基づいて、前記傾斜を判定することと、を含む、請求項２１に記載の方法。

【請求項23】

前記傾斜を判定する前に、前記画像内の前記領域内の前記流体エッジから垂直エッジを除外することを更に含む、請求項２２に記載の方法。

【請求項24】

前記流体表面エッジ画素を判定することは、キャニー演算子を前記画像内の前記領域に適用することを含む、請求項２２に記載の方法。

【請求項25】

前記ビデオの前記画像を含むいくつかの連続した画像における前記流体の高さの変動が閾値を下回る場合、前記充填プロセスが完了に近づいていると判定することを更に含む、請求項１又は２に記載の方法。

【請求項26】

前記画像は、前記充填プロセスが完了に近づいている時点に対応し、
前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記画像内の前記容器内の前記流体を識別することと、
前記充填コンポーネントと前記流体との間の距離を判定することと、
前記充填コンポーネントと前記流体との間の距離が閾値距離を下回っていると判定される場合、前記充填プロセスが完了に近づいている時点で、前記安全でない充填コンポーネント－流体距離異常を検出することと、を含む、請求項２５に記載の方法。

【請求項27】

前記充填コンポーネントと前記流体との間の前記距離を判定することは、前記充填コンポーネントの境界ボックスの最も近いエッジと、前記流体の境界ボックスとの間の垂直距離を判定することを含む、請求項２６に記載の方法。

【請求項28】

前記ビデオの追加の画像を分析することと、
前記画像又は前記追加の画像のうちのいずれかが前記滴下異常を示すと判定される場合、前記充填プロセスが前記滴下異常を有すると判定することと、を更に含む、請求項１又は２に記載の方法。

【請求項29】

前記異常を判定することは、
前記画像を、訓練されたニューラルネットワークモデルに提供することと、
前記訓練されたニューラルネットワークモデルを使用して、複数の分類であって、前記複数の分類のうちの少なくとも１つが、前記画像内の前記滴下異常を示す、複数の分類のうちの１つを判定することと、によって、前記画像内の前記滴下異常を検出することを含む、請求項１、２、及び２８のいずれか一項に記載の方法。

【請求項30】

前記画像を、前記訓練されたニューラルネットワークモデルに提供することは、
前記画像の強度に基づいて、前記画像の一部分を判定することと、
前記画像の前記一部分を、前記訓練されたニューラルネットワークモデルに提供することと、を含む、請求項２９に記載の方法。

【請求項31】

複数の訓練ビデオであって、前記複数の訓練ビデオの各訓練ビデオが、
関連付けられた流体充填プロセスをキャプチャし、
前記複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像を含む、複数の訓練ビデオを取得することと、
前記複数の訓練ビデオを使用して、前記ニューラルネットワークモデルを訓練することと、を更に含む、請求項２９に記載の方法。

【請求項32】

前記充填コンポーネント又は前記流体を識別することは、
前記画像内のエッジ画素を識別することと、
前記エッジ画素に基づいて、１つ以上の境界領域を判定することと、
前記１つ以上の境界領域の各境界領域について、
前記境界領域のサイズが、充填コンポーネント又は流体のためのそれぞれの閾値領域を超えるかどうかを判定することと、
前記境界領域の前記サイズが前記それぞれの閾値を超える場合、前記境界領域を前記充填コンポーネント又は前記流体として選択することと、を含む、請求項４、１４、又は２６のいずれか一項に記載の方法。

【請求項33】

前記画像内の前記エッジ画素を識別することは、前記ビデオ内の前記画像に先行する基準画像から前記画像を減算して、減算された画像を生成することを含み、
前記境界領域を前記充填コンポーネントとして選択することは、前記減算された画像に基づいて、前記境界領域を前記充填コンポーネントとして選択することを含む、請求項３２に記載の方法。

【請求項34】

前記画像内の前記エッジ画素を識別することは、前記画像から、前記ビデオ内の前記画像に先行する別の画像を減算して、減算された画像を生成することを含み、
前記境界領域を前記流体として選択することは、前記減算された画像に基づいて、前記境界領域を前記流体として選択することを含む、請求項３２に記載の方法。

【請求項35】

前記エッジ画素を識別することは、前記減算された画像を二値化することを含む、請求項３３又は３４に記載の方法。

【請求項36】

前記エッジ画素を識別することは、
双方向フィルタを前記減算された画像に適用して、フィルタリングされた減算された画像を生成することと、
前記フィルタリングされた減算された画像を二値化することと、を含む、請求項３３又は３４に記載の方法。

【請求項37】

前記境界領域に基づいて、前記充填コンポーネント又は前記流体の境界ボックスを生成することを更に含み、前記境界ボックスは、前記境界領域を包含する最小矩形である、請求項３２に記載の方法。

【請求項38】

前記充填コンポーネント又は前記流体を識別することは、
前記画像と、前記ビデオ内の基準画像との間の差分画像を生成することと、
前記差分画像に基づいて、前記画像内の１つ以上のエッジを判定することと、
前記１つ以上のエッジを使用して、１つ以上の境界領域を判定することと、
前記１つ以上の境界領域の中で最も大きい領域を有する境界領域を、前記充填コンポーネント又は前記流体として選択することと、を含む、請求項４、１４、又は２６のいずれか一項に記載の方法。

【請求項39】

前記差分画像を生成する前に、前記画像及び前記基準画像を二値化することを更に含む、請求項３８に記載の方法。

【請求項40】

前記境界領域に基づいて、前記充填コンポーネント又は前記流体の境界ボックスを生成することを更に含み、前記境界ボックスは、前記境界領域を包含する最小矩形領域である、請求項３８に記載の方法。

【請求項41】

前記差分画像を判定することは、前記ビデオ内の基準画像から前記画像を減算することを含み、
前記境界領域を前記充填コンポーネントとして判定することは、前記差分画像に基づいて、前記境界領域を前記充填コンポーネントとして判定することを含む、請求項３８に記載の方法。

【請求項42】

前記差分画像を判定することは、前記画像から前記ビデオ内の基準画像を減算することを含み、
前記境界領域を前記流体として判定することは、前記差分画像に基づいて、前記境界領域を前記流体として判定することを含む、請求項３８に記載の方法。

【請求項43】

前記流体は、医薬流体である、請求項１～４２のいずれか一項に記載の方法。

【請求項44】

前記容器は、透明な薬物製品容器である、請求項１～４３のいずれか一項に記載の方法。

【請求項45】

命令を含む非一時的コンピュータ可読媒体であって、前記命令は、コンピューティングデバイス上の１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１～４４のいずれか一項に記載の方法を実行させるように動作可能である、非一時的コンピュータ可読媒体。

【請求項46】

システムであって、
充填コンポーネントを使用して、容器が流体で充填される充填プロセスを実施するように構成された充填機と、
前記容器が前記流体で充填されている間、前記容器のビデオをキャプチャするように構成された画像キャプチャデバイスと、
プログラミング命令を実行して、請求項１～４４のいずれか一項を含む動作を実施するように構成されたプロセッサと、を備える、システム。

【発明の詳細な説明】

【背景技術】

【0001】

自動化技術を使用して、容器に溶液を充填することができる。例えば、液体薬物製品を製造するための組立ラインでは、ガラス瓶は、薬物製品をその瓶に注入する針を使用して、充填することができる。いくつかの実装形態では、針は、瓶の中にほとんど全部が挿入され、液体薬物が、瓶の中に圧送される。瓶の充填が完了すると、針は、瓶から外へ引き抜かれる。充填プロセスの間には、異なるタイプの「不良」充填が発生する場合がある。例えば、液体薬物が針から外へ圧送されるときに、液体薬物は、針の上に薬物製品の痕跡を残すほどに十分な高さに飛散する場合がある。この場合、充填されている瓶は、用量不足である。これらの痕跡は、後になって、充填されている別の瓶に滴下し、他の瓶を用量過剰にさせる可能性がある。これらの欠陥は、充填プロセス後に行われる品質管理評価プロセスによって検出することができる。その時点では、充填プロセス中に発生した異常からの痕跡の源は、適時識別することができず、充填された瓶を廃棄処分する原因となる。

【発明の概要】

【0002】

本開示は、容器に流体を充填するときの異常を検出するための技術に関する。この技術は、充填コンポーネントを使用して、容器が流体で充填される充填プロセスにおける異常を検出するためのコンピュータ化された方法を提供する。本方法は、容器が充填コンポーネントを通して流体で充填されている間、容器のビデオをキャプチャすることと、１つ以上のプロセッサを使用して、充填コンポーネント浸漬、容器内の飛散、容器内の滴下、又は容器内の安全でない充填コンポーネント－流体距離のうちの１つ以上を含む異常を検出するように、ビデオの画像を分析することと、検出された異常を示す警報を生成することと、を含むことができる。

【0003】

本方法は、容器に流体を充填した充填機を、充填機が実施するように構成されている充填プロセスの１つ以上のパラメータを検出された異常に基づいて変更することによって、調整することを更に含むことができる。本方法はまた、ビデオレベルで充填プロセスにおける異常を検出することもできる。例えば、本方法は、ビデオの追加の画像を分析することと、画像若しくは追加の画像のうちのいずれかが充填コンポーネント浸漬異常を示すと判定される場合、充填プロセスが充填コンポーネント浸漬異常を有すると判定すること、画像若しくは追加の画像のうちのいずれかが飛散異常を示すと判定される場合、充填プロセスが飛散異常を有すると判定すること、又は、（１）画像若しくは追加の画像のうちのいずれも、充填コンポーネント浸漬を示すと判定されず、かつ、（２）画像若しくは追加の画像のうちの少なくとも１つが、充填コンポーネントと流体との間の最小垂直距離が閾値距離未満であることを示すと判定される場合、充填プロセスが安全でない充填コンポーネント－流体距離を有すると判定することと、を含むことができる。

【0004】

様々な異常が、充填プロセス中に検出され得る。一実施形態では、本技術は、充填プロセスの画像を使用して、充填コンポーネント浸漬、容器内の飛散、又は安全でない充填コンポーネント－流体距離異常のリスクのうちのいずれかを検出するためのコンピュータ化された方法を提供する。本方法は、画像内の充填コンポーネントを識別することと、画像内の容器内の流体を識別することと、充填コンポーネントと流体との相対位置、及び／又は充填コンポーネントの幅と流体の幅との比較に基づいて、異常を検出することと、を含むことができる。

【0005】

一実施形態では、本技術は、充填コンポーネントの近くの流体特性に基づいて、容器内の飛散を検出するためのコンピュータ化された方法を提供し、ここで、流体特性は、流体の表面の上昇である。一実施形態では、本技術は、充填プロセスが完了に近づいているときに、安全でない充填コンポーネント－流体距離のリスクを検出するためのコンピュータ化された方法を提供する。分析されている画像が、充填プロセスが完了に近づいている時点に対応する場合、本方法は、画像内の充填コンポーネントを識別することと、画像内の容器内の流体を識別することと、充填コンポーネントと流体との間の距離を判定することと、充填コンポーネントと流体との間の距離が閾値距離を下回ると判定される場合、安全でない充填コンポーネント－流体距離を検出することと、によって、１つ以上の異常を検出することができる。

【0006】

一実施形態では、本技術は、機械学習モデルを使用して、充填プロセスの画像／ビデオを使用して滴下を検出するためのコンピュータ化された方法を提供する。本方法は、画像、又はビデオ内の追加の画像のうちのいずれかを、訓練された機械学習モデルに提供することと、訓練された機械学習モデルを使用して、複数の分類であって、複数の分類のうちの少なくとも１つは、画像又は追加の画像のうちのいずれかにおける滴下を示す、複数の分類のうちの１つを判定することと、を含む。本方法はまた、複数の訓練ビデオを取得し、複数の訓練ビデオを使用してニューラルネットワークモデルを訓練することによって、機械学習モデルを訓練することを含むこともできる。複数の訓練ビデオの各々は、関連付けられた流体充填プロセスをキャプチャし、複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像を含むことができる。

【図面の簡単な説明】

【0007】

本開示の追加の実施形態、並びにその特徴及び利点は、添付の図面と併せて行われる本明細書の説明を参照することによって、より明らかになるであろう。図中の構成要素は必ずしも縮尺通りではない。更に、図面において、同様の参照数字は、異なる図全体を通して対応する部分を示す。

【図1】いくつかの実施形態による、容器に液体を充填している間に異常を検出するためのシステムの略図である。

【図2A】いくつかの実施形態による、充填プロセスにおいて発生し得る飛散の例を示す図である。

【図2B】いくつかの実施形態による、充填プロセスにおいて発生し得る飛散の例を示す図である。

【図3A】充填プロセス中に発生し得る飛散の例を示す図である。

【図3B】いくつかの実施形態による、図３Ａの飛散を検出する際の表面の傾斜の例を示す図である。

【図4A】いくつかの実施形態による、飛散を検出する際の境界ボックスの例を示す図である。

【図4B】いくつかの実施形態による、図４Ａの境界ボックスが検出されている充填プロセスの画像上に重ね合わされた、図４Ａの例示的な境界ボックスを示す図である。

【図5A】いくつかの実施形態による、液体の滴下を示さない充填プロセスの例示的な画像である。

【図5B】いくつかの実施形態による、容器内の滴下を示す充填プロセスの画像の例を示す図である。

【図5C】いくつかの実施形態による、容器内の滴下を示す充填プロセスの画像の例を示す図である。

【図5D】いくつかの実施形態による、充填プロセスの画像の例示的な顕著マップであって、顕著マップ内のサンプルが滴下の周りでより高い強度で示されている、顕著マップである。

【図6A】いくつかの実施形態による、滴下を有する充填プロセスの例示的な画像である。

【図6B】図６Ａの画像から滴下を検出する際の、充填コンポーネントと流体との間の境界領域を示す図である。

【図7A】いくつかの実施形態による、充填コンポーネント浸漬を示す充填プロセスの例示的な画像である。

【図7B】図７Ａの画像から検出された充填コンポーネント及び流体をそれぞれ示す図である。

【図7C】図７Ａの画像から検出された充填コンポーネント及び流体をそれぞれ示す図である。

【図8A】いくつかの実施形態による、様々な安全でない充填コンポーネント－流体距離を有する、充填プロセスの例示的な画像である。

【図8B】いくつかの実施形態による、様々な安全でない充填コンポーネント－流体距離を有する、充填プロセスの例示的な画像である。

【図9】いくつかの実施形態による、充填プロセスの画像を使用して滴下を検出するように実装され得る典型的な畳み込みニューラルネットワークを示す略図である。

【図10】いくつかの実施形態による、充填プロセスのビデオを使用して異常を検出し、検出された異常に基づいて充填機を調整するための典型的なコンピュータ化された方法を示すフローチャートである。

【図11】いくつかの実施形態による、充填プロセスの画像を使用して様々なタイプの異常を検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図12】いくつかの実施形態による、充填プロセスの画像を使用して飛散異常を検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図13】いくつかの実施形態による、充填プロセスのビデオを使用して、安全である／安全でない充填コンポーネント－流体距離を検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図14】いくつかの実施形態による、充填プロセスの画像を使用して滴下を検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図15A】いくつかの実施形態による、充填プロセスの画像内の充填コンポーネントを検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図15B】いくつかの実施形態による、充填プロセスの画像内の流体を検出するための典型的なコンピュータ化された方法を示すフローチャートである。

【図16】いくつかの実装形態による、本明細書に開示された技術及び実施形態の態様のうちのいずれかを実施するために使用され得るコンピュータシステムの例示的な実施態様を示す図である。

【発明を実施するための形態】

【0008】

本開示の原理の理解を促進するために、これから、図面に例示されている実施形態を参照し、特定の言語を使用してこれらの実施形態を説明する。それでもなお、これによって、本発明の範囲の限定は意図されていないことが理解されるであろう。

【0009】

容器に液体を充填するための充填プロセス中に、充填コンポーネント（例えば、針又は他のコンポーネント）が、ガラス瓶などの容器に挿入されて、容器に医薬流体及び／又は他のタイプの流体などの液体製品を充填する。例えば、充填機は、充填コンポーネントを容器中に（例えば、容器の大部分に）挿入し、その容器に液体を圧送するように構成することができる。容器が液体でいっぱいに充填されると、充填コンポーネントは、それに応じて（例えば、流体レベルが容器内で上昇したときに）容器から外へ引き抜かれる。充填されると、プランジャを容器中に挿入して、容器を密封することができる。

【0010】

様々なタイプの異常が、充填プロセス中に発生し得る。例えば、液体が充填コンポーネントから容器に圧送されるときに、液体は、充填コンポーネント上に液体製品の痕跡を残すほどに十分な高さに飛散する場合がある。別の例では、充填コンポーネントが、充填されている流体に浸漬される場合、液体の痕跡もまた、充填コンポーネント上に残される可能性がある。これが検出されず、是正措置が適時に取られない場合、充填プロセスを使用して充填された容器は、その後、廃棄処分される必要が生じる結果をもたらし得る。針を使用して瓶に流体を充填する場合の薬物の状況では、例えば、流体の痕跡が針の上に残っていることにより、充填されている瓶が用量不足になる場合がある。これらの痕跡は、後になって、充填されている別の瓶内に滴下し、他の瓶が用量過剰になる場合がある。品質管理プロトコルの下では、そのような欠陥を有する容器は、廃棄処分されなければならない場合がある。

【0011】

充填異常の別の例としては、液体が充填コンポーネントから外へ圧送されるときであり、液体は、容器の側部上に液滴を残すほどに十分な高さに飛び散る場合がある。プランジャ又は止め栓が、その後、充填された容器に挿入されたときに、この液滴は、プランジャ／止め栓の側部と容器との間に閉じ込められる場合がある。この異常が適時に検出されない場合、後になって容器を廃棄処分する結果となり得る。例えば、品質管理検査の下で、薬物製品の液滴がプランジャ／止め栓の側部と容器との間に点在した場合、製造業者が、その液滴が充填中の飛散に起因して発生したかどうかを判定することができない場合があるため、又はプランジャ／止め栓が正しく密封されておらず、したがって、不良品である（したがって、製品が損なわれた危険性がある）ため、容器は、廃棄処分される必要があり得る。

【0012】

本発明者らは、従来の充填システムが、容器が充填されている間にリアルタイムで異常を検出することができないことを認識及び理解している。そのようなシステムでは、充填組立ライン上の容器は、それらが液体で充填されて充填ステーションから外へ移動された後に、品質管理検査を受ける場合がある。その時点で、充填プロセスは、完了し、したがって、充填コンポーネントは、容器から引き抜かれ、それらの容器は、多くの場合、プランジャ又は止め栓で密封される。前述のように、充填プロセス中に発生する異常（例えば、容器及び／又は充填コンポーネント上への液体飛散）は、充填プロセスにおける異常から残されたアーチファクトが、充填プロセスが完了した後に適切には識別することができないため、多くの場合、それらの容器を廃棄処分する結果をもたらす。充填プロセス中に発生する異常が適時に検出されない場合、充填プロセスは、かなり後の段階で行われ得る検査まで、訂正されずに継続し、これは、長い期間にわたって充填された容器のバッチ全体を無駄にし、かつ／又は廃棄処分にする可能性がある。

【0013】

本開示において考察される様々な技術的問題を解決するために、本発明者らは、容器の内側で発生する異常を検出することが、実験室環境における異常を検出する際だけでなく、生産環境における異常を検出する際にも有用であり得ることを認識及び理解している。

【0014】

本発明者らは、従来の容器充填システムがまた、充填異常に応答して充填プロセスを自動的に調整する方法も決して提供しないことを認識及び理解している。代わりに、人間による監視及び制御が、充填プロファイルを判定及び開発するために使用されることが多い。充填プロファイルは、充填機が充填プロセスにおいて容器をどのように充填するかを管理するパラメータのセットを含むことができる。典型的なパラメータとしては、流体が圧送される速度、充填コンポーネントの移動及び／若しくは速度、組立ライン上の容器の移動及び／若しくは速度、流体の粘度、並びに／又は充填される流体の量などが挙げられる。自動化された監視及び制御は、充填プロファイルを開発するときに、より高い一貫性を提供することができる。これらの充填プロファイルが実験室で開発されると、推奨されるパラメータが製造に送られる。このように、容器内の異常を発生させるいかなるエラーも、適時には検出又は訂正されない。例えば、不良充填を系統的にもたらす充填プロセスにおけるエラーは、内容物が廃棄処分される前に、訂正されないか、又は検出さえもされない可能性がある。これらの技術的問題を解決するために、本発明者らは、容器内で発生する異常を検出することが、プロセスにおいて異常を早期に検出する際だけでなく、充填プロセスを自動的に調整して更なる異常を回避する際にも有用であり得ることを認識及び理解している。例えば、容器内の流体の表面に対する充填コンポーネントの位置は、異常が発生する可能性があるかどうかについての指標を与えることができる。充填コンポーネントが、中に充填されている液体に近すぎる場合、そのことは、液体への充填コンポーネントの浸漬が発生する可能性があるという指標であり得る。充填コンポーネントが、中に充填されている液体から遠すぎる場合、そのことは、容器内の飛散が発生する可能性があるという指標であり得る。別の例では、容器内の滴下が検出される場合、そのことは、充填の速度が遅すぎることを示している可能性がある。容器内で発生したこれらの異常の全てを使用して、充填機を自動的に調整することができる。

【0015】

したがって、本発明者らは、容器が液体で充填されている間、充填プロセスのビデオを使用して、充填プロセスにおける異常をリアルタイムで検出するための新しい技術を開発した。本明細書に説明されるのは、様々な技術であり、それらには、液体充填ステーション又は組立ラインによって実施される充填プロセスの高速ビデオを処理するシステム、コンピュータ化された方法、及び非一時的命令が含まれる。システムは、ビデオの１つ以上の画像を分析して、充填プロセス中の異常を監視及び／又は検出することができる。異常を検出することに応答して、システムは、信号若しくは警告メッセージを出力するか、又は充填機が実施するように構成されている充填プロセスの１つ以上のパラメータを変更することができる。

【0016】

いくつかの実施形態では、システムを提供して、充填プロセスのビデオの１つ以上の画像フレームを分析し、充填プロセスにおける１つ以上の異常を検出することができる。本明細書の技術を説明するために使用されるいくつかの例では、システムは、充填コンポーネントを使用して容器が流体で充填される充填プロセスを実施するように構成された充填機を含むことができる。容器は、ガラス瓶などの透明なものであってもよい。流体は、例えば、流動性のある薬物製品であってもよい。システムはまた、容器が流体で充填されている間、容器のビデオをキャプチャするように構成された、高速カメラなどの画像キャプチャデバイスを含むこともできる。システムは、ビデオの１つ以上の画像を分析することによってキャプチャされたビデオを処理して、充填プロセスにおける１つ以上の異常を検出するためのプログラミング命令を実行するように構成された少なくとも１つのプロセッサを更に含むことができる。検出されるべき異常の例には、充填コンポーネントが、正に充填されている液体中に浸漬されるときの充填コンポーネント浸漬が含まれ得る。異常はまた、容器内の飛散、容器内の滴下、又は容器内の安全でない充填コンポーネント－流体距離を含むこともできる。異常が検出されると、システムは、検出された異常を示す警報を生成することができる。システムはまた、充填機を、充填機が実施して最適な充填プロファイルに到達するように構成されている充填プロセスの１つ以上のパラメータを検出された異常に基づいて変更することによって、調整することもできる。例えば、システムは、検出された異常に基づいて、最適な機械パラメータを予測して、予測された機械パラメータを充填機に自動的に送信することができる。

【0017】

本発明者らはまた、容器が充填されている間に容器内の様々な異常を検出するようにシステムが構成され得る、様々な実施形態を開発した。いくつかの実施形態では、システムは、充填プロセスのビデオ内の１つ以上の画像を分析して、充填プロセスが異常を有するかどうかを判定することができる。例えば、システムは、ビデオ内の画像のうちのいずれかが充填コンポーネント浸漬異常を有すると判定される場合、充填プロセスが充填コンポーネント浸漬異常を有すると判定することができる。他の例では、システムは、ビデオ内の画像のうちのいずれかが飛散異常を示すと判定される場合、又は飛散異常を有するビデオ内の画像の数が閾値数よりも多い場合に、充填プロセスが飛散異常を有すると判定することができる。他の例では、システムは、ビデオ内の画像のうちの少なくとも１つが安全でない充填コンポーネント－流体距離を示すと判定される場合、充填プロセスが安全でない充填コンポーネント－流体距離を有すると判定することができる。他の例では、システムは、ビデオ内の画像のうちのいずれかが滴下異常を示すと判定される場合、充填プロセスが滴下異常を有すると判定することができる。様々なタイプの異常を検出する際の実施形態については、本開示において更に説明される。

【0018】

いくつかの実施形態では、システムは、画像内の充填コンポーネントを識別し、画像内の容器内の流体を識別することができる。識別された充填コンポーネント及び流体は、各々、それぞれの境界ボックスによって表すことができる。システムは、充填コンポーネントと流体との相対位置に基づいて、異常を検出することができる。例えば、システムは、充填コンポーネントの境界ボックスが流体の境界ボックスと重複し、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅差だけ大きい場合、充填コンポーネント浸漬異常を検出することができる。追加的に、かつ／又は代替的に、システムは、充填が開始したこと、例えば、充填プロセスにおける経過時間が閾値充填時間よりも長いことを判定することに応答して、充填コンポーネント浸漬異常を検出することができる。

【0019】

いくつかの実施形態では、システムは、充填コンポーネントの境界ボックスが流体の境界ボックスと重複し、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅差だけ大きくないと判定される場合、容器内の飛散を検出することができる。いくつかの実施形態では、システムは、（ｉ）充填コンポーネントの境界ボックスが流体の境界ボックスと重複せず、（ｉｉ）充填コンポーネントと流体との間の垂直距離が閾値距離未満であり、かつ（ｉｉｉ）流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅差だけ大きくないと判定される場合、容器内の飛散を検出することができる。追加的に、かつ／又は代替的に、システムは、充填が正に開始した、例えば充填プロセスにおける経過時間が、閾値充填時間未満であると判定することに応答して、飛散異常を検出することができる。

【0020】

いくつかの実施形態では、システムは、充填コンポーネントの周りの領域における流体特性を点検することによって、容器内の飛散を検出することができる。いくつかの例では、充填コンポーネントの周りの領域は、充填コンポーネントの一方の側部上の第１の領域と、充填コンポーネントの他方の側部上に第２の領域と、を含むことができる。第１の領域及び第２の領域は、充填コンポーネントと流体との間に垂直に位置決めされるように画定することができる。第１の領域又は第２の領域の幅は、固定された幅であってもよい。あるいは、第１の領域又は第２の領域の幅は、充填コンポーネントの幅に比例していてもよい。同様に、第１の領域又は第２の領域の高さは、固定された高さであってもよく、又は充填コンポーネントと流体との間の垂直距離に比例していてもよい。したがって、システムは、第１の領域又は第２の領域のうちの少なくとも１つが飛散を示す場合、飛散異常を検出することができる。いくつかの実施形態では、流体特性は、流体の表面における傾斜（又は上昇）を含むことができる。したがって、システムは、領域内の流体の表面における傾斜が閾値を超えたと判定される場合、領域内の飛散を検出することができる。いくつかの例では、システムは、領域内の表面エッジ画素に基づいて、領域内の流体の表面における傾斜を判定することができる。表面エッジ画素は、エッジ検出器、例えば、キャニー演算子を、充填コンポーネント及び流体が識別されている画像内の領域に適用することによって判定することができる。

【0021】

いくつかの実施形態では、システムは、充填コンポーネントが充填プロセスにおいて容器中に完全に挿入されたと判定することに応答して、充填コンポーネントの周りの領域を判定することができる。例えば、システムは、充填プロセスのビデオ内のいくつかの画像における充填コンポーネント幅の変動が閾値変動を下回る場合、充填コンポーネントが容器中に完全に挿入されたと判定することができる。いくつかの実施形態では、充填が開始した、例えば、流体が、分析されている画像内で検出されたと判定することに応答して、システムは、充填コンポーネントが容器中に完全に挿入されたと判定することができる。

【0022】

いくつかの実施形態では、システムは、（ｉ）充填コンポーネントの境界ボックスが流体の境界ボックスと重複せず、（ｉｉ）充填コンポーネントと流体との間の垂直距離が閾値距離未満であり、かつ（ｉｉｉ）流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅だけ大きいと判定される場合、安全でない充填コンポーネント－流体距離を検出することができる。他の変形例では、システムは、充填プロセスが完了に近づいている時点で、異常が安全でない充填コンポーネント－流体距離であると判定することができる。いくつかの例では、システムは、ビデオ内のいくつかの連続した画像内の流体の表面の高さの変動を判定することができる。いくつかの連続した画像内の流体の高さの変動が閾値を下回る場合、システムは、充填プロセスが完了に近づいていると判定することができる。充填プロセスが完了に近づいていると判定されると、システムは、充填コンポーネントと流体との間の距離を判定することができる。充填コンポーネントと流体との間の距離が下限閾値距離を下回る場合、システムは、充填コンポーネントと流体との間の距離が小さすぎることを示す、安全でない充填コンポーネント－流体距離を判定することができる。充填コンポーネントと流体との間の距離が、上限閾値距離を上回る場合に、システムは、充填コンポーネントと流体との間の距離が大きすぎることを示す、安全でない充填コンポーネント－流体距離を判定することができる。充填コンポーネントと流体との間の距離が、下限閾値距離と上限閾値距離との間にある場合、システムは、安全である充填コンポーネント－流体距離を判定することができる。

【0023】

いくつかの実施形態では、システムは、機械学習モデルを使用して、容器内の滴下を検出することができる。いくつかの例では、機械学習モデルは、充填プロセスにおけるビデオ内の画像を入力として取得するように構成することができ、ここで、画像は、充填プロセスにおける容器及び充填コンポーネントを含む。機械学習モデルは、複数の分類のうちの１つを判定するために使用することができ、複数の分類のうちの少なくとも１つは、画像内の滴下を示す。いくつかの例では、機械学習モデルは、訓練データセットにわたって訓練され得るニューラルネットワークモデルを含むことができる。いくつかの実施形態では、訓練プロセスは、複数の訓練ビデオを取得することができ、ここで、各訓練ビデオは、関連付けられた流体充填プロセスをキャプチャする。各訓練ビデオは、複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像（例えば、フレーム画像）を含むことができ、ここで、分類のうちの１つは、訓練画像内の滴下を示す。訓練プロセスは、訓練ビデオからの訓練画像、及び各訓練画像に関連付けられたラベルを使用して、機械学習モデルを訓練することができる。訓練された機械学習モデルは、訓練された重み、例えば、ニューラルネットワークモデルの訓練された重みを含むことができる。ニューラルネットワークモデルの例としては、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）又はその任意の変形例が挙げられ得る。訓練プロセスは、例えば、勾配降下法又は任意の他の好適なアルゴリズムなどの任意の訓練アルゴリズムを使用することができる。

【0024】

いくつかの例では、訓練プロセスは、画像全体の代わりに訓練画像の各々の一部分を提供して、機械学習モデルを訓練することができる。同様に、画像の一部分を、訓練された機械学習モデルに提供して、異常を検出することができる。このように、低減したサイズを有する画像は、機械学習モデルに提供され、その結果、異常を検出するための計算がより少なくなり、処理時間がより短くなる。いくつかの実施形態では、機械学習モデルに提供するための画像の一部分は、画像の視界を縮小することによって判定することができる。いくつかの例では、機械学習モデルに提供されるべき画像の一部分は、画像の強度に基づいて判定することができる。様々な実施形態では、画像の一部分を判定することは、充填プロセスのビデオ内の画像上で実施することができる。他の実施形態では、機械学習モデルのための画像の一部分は、画像キャプチャセンサによって判定することができ、このセンサは、適切な視界を判定し、判定された視界に基づいて画像の一部分を生成するように構成される。例えば、画像の強度に基づいて、画像センサは、画像の中央視界を判定し、中央視界を含む画像を生成することができる。

【0025】

本明細書で説明される様々な実施形態では、システムは、画像を処理して充填コンポーネント及び／又は流体を識別することができ、ここで、識別された充填コンポーネント及び／又は流体は、他のプロセスによって使用されて、充填プロセスにおける異常を検出することになる。画像内の充填コンポーネント及び／又は流体を識別する際に、システムは、画像内のエッジ画素を識別し、そのエッジ画素に基づいて、１つ以上の境界領域を判定することができる。いくつかの例では、画像内の充填コンポーネントと流体とのための画素値は、異なってもよい。例えば、流体は、明るい色で示されてもよく、充填コンポーネントは、暗い色で示されてもよい。したがって、充填コンポーネント及び／又は流体を識別する際に、システムは、異なる動作を実施して、画像内のエッジ画素を識別することができる。例えば、充填コンポーネントを識別する際に、システムは、充填プロセスのビデオ内の基準画像からその画像を減算することができる。非限定的な例では、ビデオ内の基準画像は、充填プロセスにおける第１の画像であってもよい。流体を識別する際に、システムは、現在の画像からビデオ内の基準画像を減算することができる。任意選択的に、システムは、エッジ画素を保存しながら、減算された画像からノイズを除去するためのフィルタを適用することができる。任意選択的に、システムは、エッジ画素を識別する前に、減算された画像又はフィルタリングされた減算された画像を二値化することができる。

【0026】

いくつかの実施形態では、システムは、エッジ画素を更に処理して、１つ以上の境界領域を生成することができ、ここで、境界領域の各々は、例えば、４連結又は８連結エッジ画素などの連結エッジ画素を含む。様々な追跡アルゴリズムを使用して、連結エッジ画素を見つけることができる。境界領域の各々について、システムは、境界領域のサイズが充填コンポーネント又は流体のためのそれぞれの閾値を超えるかどうかを判定することができる。境界領域のサイズがそれぞれの閾値を超える場合、システムは、境界領域を充填コンポーネント又は流体として選択することができる。いくつかの実施形態では、選択された境界領域について、システムは、選択された境界領域を包含する最小矩形ボックスである境界ボックスを判定することができる。いくつかの例では、充填コンポーネントを選択するための閾値と、流体を選択するための閾値とは、異なってもよい。

【0027】

いくつかの実施形態では、充填コンポーネント及び／又は流体を識別する変形例が可能であり得る。例えば、前述した画像を減算する際に、システムは、減算された画像を生成する前に、画像を二値化することができる。他の変形例では、システムは、閾値領域を上回る領域を有する境界領域を選択するのではなく、複数の境界領域の中で最も大きな領域を有する境界領域を選択することによって、充填コンポーネント又は流体を識別することができる。

【0028】

本明細書で説明される技術は、容器が液体で充填されている間に異常をリアルタイムで検出することによって、容器、例えばガラス瓶に充填する性能を改善する際に、従来の充填システムを上回る利点を提供することができる。例えば、本発明で開示されるマシンビジョン及び／又は機械学習技術を使用することによって、システムは、高速ビデオにおいて、様々なタイプの異常を検出することができる。これらの異常には、容器内の飛散、容器内の滴下、充填コンポーネント浸漬、又は安全でない充填コンポーネント－液体距離が含まれ得る。これらの異常を検出することは、システムを起動して、ユーザ（例えば、操作者）に警報を生成することができ、その結果、操作者は、適時是正措置を取ることができる。例えば、操作者は、充填コンポーネントからの流体の流れを調節して、飛散及び／又は滴下を低減することができる。操作者はまた、充填コンポーネントの高さ、又は充填コンポーネントを挿入する／引き抜くタイミングを調節して、安全でない充填コンポーネント－液体距離を回避することもできる。

【0029】

代替的に、かつ／又は追加的に、システムは、検出された異常に基づいて、充填プロセスの１つ以上のパラメータを自動的に変更することができる。例えば、充填プロセスにおける飛散を検出することに応答して、システムは、充填プロセスの１つ以上のパラメータを変更して、充填ステーションに、充填コンポーネントからの液体の流れ、充填コンポーネントの高さ、若しくは充填コンポーネントを挿入する／引き抜くタイミング、又はそれらの組み合わせを調節させることができる。同様に、充填プロセスにおける滴下、充填コンポーネント浸漬、及び／又は安全でない充填コンポーネント－流体距離を検出することに応答して、システムは、充填プロセスの１つ以上のパラメータを変更して、充填ステーションに、充填コンポーネントからの液体の流れ、充填コンポーネントの高さ、若しくは充填コンポーネントを挿入する／引き抜くタイミング、又はそれらの組み合わせを調節させることができる。したがって、本明細書で説明される様々な実施形態は、検査中の後の段階で従来のシステムのように容器が廃棄処分され得る前に、充填システムが充填プロセスにおけるエラーを適時検出及び訂正することを可能にすることができる。

【0030】

様々な実施形態が説明されてきたが、更に多くの実施形態及び実装形態が可能であることは、当業者には明らかであろう。したがって、本明細書に記載の実施形態は例であり、唯一の可能な実施形態及び実装形態ではない。更に、上で説明される利点は必ずしも唯一の利点ではなく、記載された利点の全てが各実施形態で達成されるとは必ずしも予想されない。

【0031】

図１は、いくつかの実施形態による、容器に液体を充填している間に異常を検出するためのシステムの略図である。いくつかの実施形態では、システム１００は、充填コンポーネント１０８を使用して容器１０４が流体で充填される充填プロセスを実施するように構成された充填機１０２を含むことができる。容器は、液体状態で流体又は任意の物質を内部に保持することができる任意のホルダーであってもよい。容器は、透明であってもよい。容器の例としては、透明な薬物製品容器、ガラス瓶、ボトル、広口瓶、及び／又は任意の好適なホルダーが挙げられ得る。充填コンポーネントは、容器に液体を充填することができる任意のコンポーネントであってもよい。例えば、充填コンポーネントは、充填管、針、パイプ、ノズル、漏斗、又は流体を容器中に誘導するために使用することができる任意の他のコンポーネントであってもよい。流体は、流体薬物製品、例えば、医薬流体であってもよい。流体の他の例としては、水、飲料、油、食品、化学物質、溶液、化合物、及び／又は液体状態の任意の物質が挙げられ得る。一例では、容器１０４は、流体薬物製品を保持するためのガラス瓶であってもよい。充填コンポーネント１０８は、針であってもよい。例えば、充填プロセスにおいて、流体は、針１０８と、流体をタンク（図示せず）から充填コンポーネント１０８を通して容器１０４に圧送する充填ポンプ１０６とを介して、容器１０４に注入されてもよい。図１に示すように、針は、充填プロセスが実施されている間、容器１０４に挿入されていてもよい。充填プロセスが完了すると、針は、容器１０４から抜き取られてもよい。

【0032】

システム１００はまた、充填プロセスのビデオをキャプチャするように構成されている、カメラなどの画像キャプチャデバイス１１２を含むこともできる。したがって、ビデオは、一連の画像を含むことができ、各画像は、充填コンポーネント、及び流体で充填される容器を含むことができる。システムは、少なくともプロセッサ、メモリ、記憶媒体、及び／又は他のコンポーネントを有するサーバ１１０を更に含むことができる。少なくとも１つのプロセッサは、メモリに記憶されたプログラミング命令を実行して、ビデオの１つ以上の画像を分析することによって、キャプチャされたビデオを処理し、充填プロセスにおける１つ以上の異常を検出するように構成することができる。いくつかの例では、開始から終了までの充填プロセスは、数秒などの短時間で完了することができる。したがって、いくつかの例では、画像キャプチャデバイス１１２は、充填プロセスのビデオをキャプチャすることができる高速カメラであってもよい。

【0033】

サーバ１１０は、充填プロセス中にキャプチャされたビデオをリアルタイムで処理するように構成することができる。非限定的な構成では、容器１０４は、充填プラットフォーム１０３上に配置することができる。例えば、充填プラットフォーム１０３は、組立ライン上のベルトコンベア、ネスト及びタブ、又は充填されるべき複数の容器が配置されることになる回転台であってもよく、そこでは、充填プラットフォームは、容器を移動するように制御することができる。充填プラットフォームが容器を充填のための場所に移動させるたびに、充填プラットフォーム１０３上の容器は、充填コンポーネント１０８が容器中に挿入されて流体を充填するように、充填コンポーネント１０８と係合される。充填プロセスが完了すると、充填コンポーネントは、容器から引き抜かれ、充填プラットフォームが移動して、次の容器が所定の位置に移動し、次の容器のための充填プロセスが開始される、というように続く。サーバ１１０は、そのような充填プロセス中に、キャプチャされたビデオを処理するように構成することができる。図１の例は、１つの充填コンポーネント１０８のみを示しているが、必要に応じて、複数の充填コンポーネントが、複数の容器を充填するように構成することができることを理解されたい。

【0034】

サーバ１１０は、キャプチャされたビデオを処理して、充填プロセス中に発生する可能性がある潜在的な異常を監視するように構成することができる。異常の例には、充填コンポーネントが充填中に液体に浸漬されるときに発生する場合がある、充填コンポーネント浸漬が含まれ得る。異常にはまた、容器内の飛散、容器内の滴下、又は（例えば、充填プロセスが完了に近づいているときの）容器内の安全でない充填コンポーネント－流体距離が含まれ得る。飛散異常は、容器内、例えば、止め栓／プランジャとガラスとの間の容器のネック上の流体の飛散を含み得る。この飛散異常は、針の先端に発泡又は乾燥をもたらす場合がある。滴下異常には、容器内の流体の滴下が含まれ得、例えば、滴下が充填コンポーネントに付着する。安全でない充填コンポーネント－流体距離異常には、充填コンポーネントが容器内の流体の表面の安全でない距離内に入るシナリオが含まれ得る。この安全でない距離とは、安全な距離範囲以外とすることができ、例えば、安全な距離範囲とは、低閾値距離と高閾値距離との間とすることができる。他の異常には、瓶から外へ飛散する高速流体、充填コンポーネントに付着する液滴、及び次の瓶内への滴下が含まれ得、用量不足／用量過剰のシナリオを引き起こす。

【0035】

いくつかの非限定的な例では、様々なタイプの異常が示される。例えば、図２Ａは、ガラス瓶２０２及び充填コンポーネント２０４（例えば、針）、並びに充填プロセスにおいて発生し得る流体２０６の最小限の飛散の例を示している。図２Ｂは、図２Ａに示されたものと比較して、流体２０６のより激しい飛散の例を示し、ここで、流体２０６は、充填コンポーネント２０４の上方に飛散しており、図３Ａは、流体が充填コンポーネント３０４（例えば、針）によって充填されているときに、瓶３０２の側部上への流体３０６の中程度の飛散の例を示している。図５Ａは、流体５０６の滴下を示さない、ガラス瓶５０２及び充填コンポーネント５０４（例えば、針）のための充填プロセスの例示的な画像を示している。比較のために、図５Ｂ及び図５Ｃは、両方とも、それぞれ、流体５０８及び５１０の滴下を示している。図７Ａは、充填コンポーネント７０４（例えば、針）がガラス瓶７０２内の流体７０６中に浸漬されたときの充填コンポーネント浸漬の例を示している。図８Ａ及び図８Ｂは、様々な安全でない充填コンポーネント－流体距離を有する、充填プロセスの例示的な画像を示している。例えば、図８Ａに示された充填コンポーネント８０４（例えば、針）と流体８０６との間の距離は、大きすぎであり、これは、滴下及び／又は飛散８０８を発生させ、これに対して、図８Ｂに示された充填コンポーネント８１４（例えば、針）と流体８１６との間の距離は、充填コンポーネントが流体に接触しているか、又は接触しようとしている点で、小さすぎであり、これは、充填プロファイルにおける１つ以上のパラメータによって引き起こされ得る。

【0036】

図１に戻ると、異常の潜在的な発生が検出されると、システムは、検出された異常を示す警報を生成することができる。警報は、任意の好適な形態を含むことができ、任意の好適な通信プロトコルでユーザデバイスに通信して、異常が検出されたことをユーザに示すことができる。例えば、サーバ１１０は、通信回線を介して、ユーザデバイス１１４に通知、警告メッセージ、又は報告を送信することができる。通知又は報告には、異常に関する情報、及び／又は異常のタイプが含まれ得る。いくつかの例では、システムはまた、充填機が最適な充填プロファイルに到達するよう実施するように構成されている、充填プロセスの１つ以上の調整パラメータを、検出された異常に基づいて変更することによって、充填機を調整することもできる。例えば、サーバ１１０は、検出された異常に基づいて、最適な機械パラメータを予測し、予測された機械パラメータを充填機１０２に自動的に送信することができる。

【0037】

いくつかの実施形態では、システム１００は、異常の検出及び／又は報告がリアルタイムで実施され得るように構成することができる。例えば、容器が流体で充填されている間、異常を検出したことに応答して、システムは、警報をユーザデバイス１１４に送信することによって、警報をユーザ（例えば、操作者）に生成することができ、その結果、操作者は、適時に是正措置を取ることができる。例えば、操作者は、充填コンポーネントからの流体の流れを調節して、飛散及び／又は滴下を低減することができる。操作者はまた、充填コンポーネントの高さ、又は充填コンポーネントを挿入する／引き抜くタイミングを調節して、安全でない充填コンポーネント－液体距離を回避することもできる。

【0038】

別の例では、サーバ１１０は、充填プロセス中に、充填ステーション１０２の１つ以上のパラメータを調節して、起こり得る異常の発生を軽減する機械パラメータの最適なセットを達成するように構成することができる（例えば、１つの容器を充填する間に異常が発生する可能性があるが、充填プロセス中にパラメータをリアルタイムで調節することによって、その異常が次の容器及び／又は後続の容器の充填プロセス中に軽減することができるように）。例えば、充填プロセスにおける飛散を検出することに応答して、サーバは、充填プロセスの１つ以上のパラメータを変更して、充填ステーションに、充填コンポーネントからの液体の流れ、充填コンポーネントの高さ、若しくは充填コンポーネントを挿入する／引き抜くタイミング、又はそれらの組み合わせを調節させることができる。同様に、充填プロセスにおける滴下、充填コンポーネント浸漬、及び／又は安全でない充填コンポーネント－流体距離を検出することに応答して、システムは、充填プロセスの１つ以上のパラメータを変更して、充填ステーションに、充填コンポーネントからの液体の流れ、充填コンポーネントの高さ、若しくは充填コンポーネントを挿入する／引き抜くタイミング、又はそれらの組み合わせを調節させることができる。したがって、本明細書で説明される様々な実施形態は、検査中の後の段階で従来のシステムのように容器が廃棄処分され得る前に、充填システムが充填プロセスにおけるエラーを適時検出及び訂正することを可能にすることができる。充填プロセス中に異常を検出するためのシステム１００において実装することができる方法の詳細については、図１０～図１５を参照して更に説明される。

【0039】

図１０は、いくつかの実施形態による、充填プロセスのビデオを使用して１つ以上の異常を検出し、検出された異常に基づいて充填機を調整するための典型的なコンピュータ化された方法１０００を示すフローチャートである。いくつかの実施形態では、方法１０００は、システム１００内に実装することができ、例えば、サーバ１１０によって実施することができる。本明細書の技術を説明するために使用されるいくつかの例では、方法１０００は、行為１００２から開始され、そこでは、容器のビデオは、容器が充填されている間にキャプチャされる。ビデオは、経時的にキャプチャされる複数のフレーム画像を含むことができる。方法１０００は、更に、行為１００４において、これらの画像を分析して、様々な異常の起こり得る発生を検出することができる。例えば、行為１００４は、充填コンポーネント浸漬を検出する行為１００６、飛散を検出する行為１００８、安全でない充填コンポーネント－流体距離を検出する行為１０１０、及び／又は滴下を検出する行為１０１２を含むことができる。異常を検出するために使用することができる典型的な技術については、図１１～図１５で更に説明される。

【0040】

図１０を更に参照すると、行為１０１４において、方法１０００は、何らかの異常が行為１００４から検出されたかどうかを判定することができる。１つ以上の異常を判定することに応答して、方法１０００は、検出された１つ以上の異常に基づいて、充填機を調整する行為１０１６に進むことができる。追加的に、かつ／又は代替的に、行為１０１６は、通信回線を介して、警報、例えば、通知、警告メッセージ、及び／又は報告をユーザデバイスに送信することを含むことができる。警報は、異常に関する情報（例えば、異常の時間、異常に関連付けられた瓶若しくは容器、及び／又は異常のタイプ）を含むことができる。行為１０１６の例示的な詳細については、図１の実施形態において以前に説明されている。行為１０１６が完了すると、方法１０００は、行為１０１８に進むことができる。方法１０００は、（例えば、充填のセットの完了時に）プロセスを終了するか、又は行為１００２に戻ることによってプロセスを継続することができる。同様に、行為１０１４において、異常が検出されないと判定することに応答して、方法１０００はまた、行為１００２に戻って、充填プロセスの追加のビデオをキャプチャし、行為１００４においてビデオ内の異常を監視することを継続することもできる。

【0041】

図１１は、いくつかの実施形態による、充填プロセスの画像を使用して様々なタイプの異常を検出するための典型的なコンピュータ化された方法１１００を示すフローチャートである。いくつかの実施形態では、方法１１００は、図１０の行為１００４において実装することができ、かつ／又は、例えば、サーバ１１０などによって、図１のシステム１００において実施することができる。本明細書の技術を説明するために使用されるいくつかの例では、方法１１００は、行為１１０２、１１０４から開始されて、画像内の充填コンポーネント及び流体をそれぞれ識別する。画像は、本明細書で説明されているように、図１０の行為１００２においてキャプチャされた充填プロセスのビデオなどのビデオ内の１つ以上のフレーム画像であってもよい。したがって、充填プロセスの各画像は、容器、容器中に挿入された充填コンポーネント、及び容器内の流体を含むことができ、そこでは、流体は、充填プロセスにおいて充填コンポーネントによって充填されている。充填コンポーネント及び流体を識別するために使用することができる典型的な技術については、図１５Ａ及び図１５Ｂを参照して更に説明されるであろう。

【0042】

図１１を更に参照すると、方法１１００は、充填コンポーネントと流体との相対位置に基づいて、異常を検出することに進むことができる。例えば、行為１１０６において、方法１１００は、充填コンポーネントが流体と重複するかどうかを判定することができる。いくつかの実施形態では、識別された充填コンポーネント及び流体は、各々、それぞれの境界ボックスによって表すことができる。図４Ａ及び図４Ｂの例では、充填コンポーネント４２０の境界ボックス、及び流体４２２の境界ボックスは、図４Ｂに示された画像から識別される。充填コンポーネントが流体と重複するかどうかを判定する際に、行為１１０６は、充填コンポーネントの境界ボックスが流体の境界ボックスと重複するかどうかを判定することができる。充填コンポーネントが流体と重複していると判定することに応答して、方法１１００は、流体の幅が充填コンポーネントの幅よりも閾値幅だけ大きいかどうかを判定する行為１１０８に進むことができる。例えば、行為１１０８は、充填コンポーネントの境界ボックスの幅を、流体の境界ボックスの幅と比較することができる。流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔだけ大きいと判定することに応答して、方法１１００は、画像が充填コンポーネント浸漬異常を有すると判定する行為１１１０に進むことができる。閾値幅Ｔは、画素の数、又は距離単位（例えば、ミリメートル、インチなど）の数として表現することができる。例えば、いくつかの実施形態では、流体境界ボックスの幅は、ほぼ５５～５９画素であってもよく、充填コンポーネント境界ボックスの幅は、ほぼ１２～１４画素であってもよく、閾値幅Ｔは、８画素で設定されてもよい。

【0043】

いくつかの実施形態では、流体境界ボックスの幅の、充填コンポーネント境界ボックスの幅に対して最小限必要とされる比を指定する閾値幅比が、閾値幅Ｔの代わりに使用することができる。例えば、充填コンポーネントの境界ボックスの幅が判定されると、行為１１０８は、流体の境界ボックスの幅が充填コンポーネント境界ボックスの幅よりも少なくとも２．５倍大きいかどうかを判定することができる。すなわち、流体境界ボックスの幅と、充填コンポーネント境界ボックスの幅との間の必要とされる比は、少なくとも２．５～１とすることができる。他の実施形態では、他の好適な比を使用することもできる。閾値幅比を使用することによって、行為１１０８における判定は、カメラ解像度、並びに撮像されている充填コンポーネント及び流体からのカメラ距離とは無関係に行うことができる。流体の境界ボックスの幅を、充填コンポーネントの境界ボックスの幅と比較する他の方法もまた、使用することができる。

【0044】

本発明者らは、充填プロセスがここしばらくの間に開始した後にのみ、充填コンポーネント浸漬が発生し得ることを認識及び理解している。したがって、任意選択的に、システムは、充填が開始したと更に判定することに応答して、充填コンポーネント浸漬異常を検出することができる。例えば、方法１１００は、充填プロセスにおける経過時間が閾値充填時間よりも長い場合に、充填プロセスが開始したと判定することができる。閾値充填時間は、容器のサイズ、充填速度、又は他の充填パラメータに応じて変化し得る。例えば、充填速度が速いほど、閾値充填時間は、短くなる。他の実施形態では、方法１１００は、容器を充填するシステムが充填プロセスを開始したというシステムからの信号に基づいて、充填プロセスを判定することができる。

【0045】

行為１１０８に戻ると、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔだけ（又は必要とされる閾値幅比だけ）大きくない場合、シナリオは、流体が図４Ｂの境界ボックス４２２のように容器幅全体を取らない可能性がある。代わりに、システムが流体又は充填コンポーネントとして識別したものは、飛散である可能性がある。したがって、方法１１００は、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔだけ大きくないと判定することに応答して、行為１１１６において、容器内の飛散を検出することができる。

【0046】

行為１１０６に戻ると、充填コンポーネントの境界ボックスが流体の境界ボックスと重複しないと判定することに応答して、方法１１００は、行為１１１２に進んで、充填コンポーネントと流体との間の垂直距離が閾値距離Ｔ１未満であるかどうかを更に判定することができる。充填コンポーネントの境界ボックスが流体の境界ボックスと重複しないときに、充填コンポーネントと流体との間の垂直距離は、充填コンポーネントの境界ボックスの下部エッジと、流体の境界ボックスの上部エッジとの間の距離として測定することができる。流体の幅が５５～５９画素であり得る上記の例では、充填コンポーネントは、針であり得、その幅は、１２～１４画素であり得、閾値距離Ｔ１は、８画素であり得る。図４Ｂに示すように、この垂直距離は、距離Ｄとして示されている。

【0047】

充填コンポーネントと流体との間の垂直距離が閾値距離Ｔ１未満であると判定することに応答して、方法１１００は、行為１１１４に進むことができ、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔ２だけ大きくないかどうかを判定する。流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔ２だけ大きくない場合、シナリオは、流体が図４Ｂの境界ボックス４２２のような規則的な形状を有さない可能性がある。代わりに、システムが流体又は充填コンポーネントとして識別したものは、そうでなければ、飛散であり得る。したがって、方法１１００は、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔ２だけ大きくないと判定することに応答して、行為１１１６において、容器内の飛散を検出することができる。いくつかの実施形態では、閾値距離Ｔ１及び閾値幅Ｔ２は、容器のサイズ、充填コンポーネントのサイズ、及び／又は充填プロセスの１つ以上のパラメータに応じて変化し得る。例えば、閾値幅Ｔ１と同様に、流体の境界ボックスの幅の、充填コンポーネントの境界ボックスの幅に対する閾値幅比はまた、閾値幅Ｔ２の代わりに使用されてもよい。

【0048】

追加的に、かつ／又は代替的に、行為１１１６は、（例えば、充填プロセスがここしばらくの間に実施されたときと比較して、飛散が充填プロセスの開始時に発生する可能性がより高い場合があるため）充填が正に開始したと判定することに応答して、飛散異常を検出することができる。充填が正に開始したかどうかを判定する際に、方法１１００は、充填プロセスの開始からの経過時間を判定し、充填プロセスにおける経過時間が閾値充填時間未満であるかどうかを判定することができる。閾値充填時間は、容器のサイズ、充填コンポーネントのサイズ、及び／又は充填速度などの充填プロセスの１つ以上のパラメータに応じて変化し得る。例えば、充填速度が速いほど、閾値充填時間は、短くなる。

【0049】

行為１１１４に戻ると、流体の境界ボックスの幅が充填コンポーネントの境界ボックスの幅よりも閾値幅Ｔ２だけ大きい場合、シナリオは、流体が図４Ｂの境界ボックス４２２のような規則的な形状を有する可能性がある。したがって、行為１１１８は、充填コンポーネントと流体との間の最小垂直距離が閾値距離Ｔ１未満であると判定することに応答して、画像が安全でない充填コンポーネント－流体距離を有すると判定することができる。小さすぎる安全でない充填コンポーネント－流体距離は、液体が充填コンポーネントに接触し得るか、又は接触しそうであることを示し得る。行為１１１２に戻ると、充填コンポーネントと流体との間の最小垂直距離が閾値距離Ｔ１を下回らないと判定することに応答して、方法１１００は、行為１１２０において、異常が存在しないと判定することができる。

【0050】

図１１に示される様々な行為は、充填プロセスの画像上で実施することができる。更に、これらの行為は、充填プロセスのビデオ内の複数の画像にわたって繰り返して実施されてもよい。図１１の様々な行為は、充填プロセスのビデオ内の追加の画像を分析することができ、異常の検出は、ビデオレベルで実施することができる。例えば、方法１１００は、ビデオ内の画像のうちのいずれかが充填コンポーネント浸漬異常を有すると判定される場合、充填プロセスが充填コンポーネント浸漬異常を有すると判定することができる。他の例では、方法１１００は、ビデオ内の画像のうちのいずれかが飛散異常を示すと判定される場合、又は飛散異常を有するビデオ内の画像の数が閾値数よりも大きい場合に、充填プロセスが飛散異常を有すると判定することができる。他の例では、方法１１００は、ビデオ内の画像のうちの少なくとも１つが安全でない充填コンポーネント－流体距離を示すと判定される場合、充填プロセスが安全でない充填コンポーネント－流体距離を有すると判定することができる。

【0051】

いくつかの実施形態では、様々なタイプの異常を検出するための方法１１００の変形例が可能であり得る。例えば、行為１１０６において、充填コンポーネントが流体と重複しないと判定することに応答して、方法１１００は、充填コンポーネントと流体との間に滴下が存在するかどうかを判定することができる。一例では、方法１１００は、充填コンポーネントと流体との間の領域にある１つ以上の境界領域を判定することができる。いくつかの例では、充填プロセスの画像が２値画像に変換されるときに、画像内の滴下は、複数の高強度画素を含むことができる。したがって、方法１１００は、その複数の高強度画素に基づいて、１つ以上の境界領域を判定することができる。境界領域には、例えば、４連結画素又は８連結画素などの連結画素が含まれ得る。方法１１００は、様々な追跡アルゴリズムを使用して、連結画素を見つけることができる。行為１１２２において、充填コンポーネントと流体との間の１つ以上の境界領域が識別される場合、方法１１００は、行為１１２４において、充填コンポーネントと流体との間の滴下異常を判定することができる。一例として、図６Ａは、瓶６０２内の流体６０６の滴下６１０を有する充填プロセスの例示的な画像を示しており、図６Ｂは、境界領域が滴下異常を示す、充填コンポーネント６０４（例えば、針）と流体６０６との間の境界領域６０８を示している。

【0052】

別の例では、図１２は、いくつかの実施形態による、充填プロセスの画像を使用して飛散異常を検出するための典型的なコンピュータ化された方法１２００を示すフローチャートである。いくつかの実施形態では、方法１２００は、図１０の行為１００４において実装することができ、かつ／又は、例えば、サーバ１１０などによって、図１のシステム１００において実施することができる。本明細書の技術を説明するために使用されるいくつかの例では、方法１２００は、画像内の充填コンポーネントを識別する行為１２０２から開始する。プロセス１１００と同様に、画像は、図１０の行為１００２においてキャプチャされた充填プロセスのビデオなどのビデオ内の１つ以上のフレーム画像であってもよい。したがって、充填プロセスの各画像は、容器、容器中に挿入された充填コンポーネント、及び容器内の流体を含むことができ、ここで、流体は、充填プロセスにおいて充填コンポーネントによって充填されている。充填コンポーネントを識別するために使用することができる典型的な技術については、図１５Ａ及び図１５Ｂに関して、更に説明されるであろう。

【0053】

方法１２００は、充填コンポーネントの周りの領域における流体特性を点検することに進むことができる。例えば、方法１２００は、識別された充填コンポーネントに近接する画像内の領域を判定する行為１２０６に進むことができる。充填コンポーネントに近接する領域を検出することについては、図４Ａ及び図４Ｂを参照して更に説明される。図４Ａは、飛散を検出するために使用することができる境界ボックスの例を示している。図４Ｂは、いくつかの実施形態による、図４Ａの境界ボックスが検出されている充填プロセスの画像上に重ね合わされた、図４Ａの例示的な境界ボックスを示している。図４Ｂに示された画像内の充填コンポーネントは、識別され、かつ境界ボックス４２０内に表されている。図４Ａに例示されているように、境界ボックス４２０は、上部４２０ｔ、２つの側部４２０ｓ１及び４２０ｓ２、並びに下部４２０ｂを有する矩形形状を有することができる。いくつかの実施形態では、充填コンポーネントに近接する領域は、充填コンポーネント４２０の境界ボックスの一方の側部に位置された第１の領域４２４と、充填コンポーネント４２０の境界ボックスとは反対の側部の第２の領域４２６と、を含むことができる。

【0054】

図４Ａに示すように、領域４２４の近接する側部エッジは、境界ボックス４２０の側部エッジ４２０ｓ１と位置合わせすることができ、領域４２６の近接する側部エッジは、境界ボックス４２０の側部エッジ４２０ｓ２と位置合わせすることができる。領域４２４の上部エッジ、及び領域４２６の上部エッジは、境界ボックス４２０の下部エッジ４２０ｂと位置合わせすることができる。いくつかの例では、領域４２４、４２６の幅及び高さは、容器のサイズ、充填コンポーネントのサイズ、及び／又は充填プロセスの１つ以上のパラメータに応じて変化し得る。第１の領域又は第２の領域の幅は、固定された幅であってもよい。あるいは、第１の領域又は第２の領域の幅は、充填コンポーネントの幅に比例してもよい。同様に、第１の領域又は第２の領域の高さは、固定された高さであってもよく、又は充填コンポーネントと流体との間の垂直距離に比例してもよい。充填コンポーネントを識別するために使用することができる典型的な技術については、図１５Ａ及び図１５Ｂで更に詳細に説明されるであろう。

【0055】

図１２に戻ると、方法１２００は、画像内の流体特性を判定する行為１２０８を更に含むことができる。いくつかの例では、行為１２０８は、図４Ａに示された境界ボックス４２４、４２６などの、充填コンポーネントに近接する領域内の流体特性を判定することができる。流体特性は、流体の表面内の傾斜（又は上昇）を含むことができる。いくつかの例では、行為１２０８は、領域内の表面エッジ画素に基づいて、領域内の流体の表面を判定することができる。表面エッジ画素は、エッジ検出器、例えば、キャニー演算子又は任意の他の好適なエッジ検出器を、充填コンポーネント及び流体が識別されている画像に適用することによって、判定することができる。行為１２０８は、流体表面エッジ画素に基づいて、１つ以上の流体エッジを判定することができる。例えば、１つ以上の流体エッジの各々は、表面エッジ画素からの４連結エッジ又は８連結エッジであってもよい。４連結エッジの場合、ある画素は、別の画素と連結することができるが、それは別の画素が、その画素のすぐ隣の上／下／左／右にある場合のみである。８連結エッジの場合、８つの隣接画素（例えば、上、下、左、右、上／左、上／右、下／左、下／右）のいずれかにある任意の画素が、連結画素と見なされることになる。行為１２０８は、充填コンポーネントの近くの領域内の流体表面エッジ画素の中の最大垂直座標及び最小垂直座標を判定することができ、最大垂直座標と最小垂直座標との間の差に基づいて、流体の表面内の傾斜を判定することができる。いくつかの実施形態では、最大垂直座標及び最小垂直座標は、流体表面エッジ画素の中の任意の点からのものであってもよい。他の実施形態では、最大垂直座標及び最小垂直座標は、選択された流体表面エッジからのものであってもよい。

【0056】

任意選択的に、傾斜を判定する前に、行為１２０８は、１つ以上の流体エッジから全ての垂直エッジを除外することができる。したがって、それらの除外された垂直エッジに属するエッジ画素は、最大垂直座標及び最小垂直座標を判定する際には、カウントされないことになる。領域内の流体特性が判定されると、方法１２００は、傾斜が閾値を超えているかどうかを判定する行為１２１０に進むことができる。領域内の流体の表面の傾斜が閾値を超えていると判定することに応答して、行為１２１０は、領域内の飛散を検出することができる。図３Ｂは、図３Ａの画像における飛散を検出する際の表面の傾斜の例を示している。

【0057】

図４Ａを参照して前述したように、充填コンポーネントの近くの領域は、第１の領域及び第２の領域（４２４、４２６）を含むことができる。そのような場合、飛散を検出することは、第１の領域及び第２の領域の各々について別個に実施することができる。他の変形例が可能であり得ることも理解される。例えば、充填コンポーネントの近くの領域は、第１の領域と第２の領域とを組み合わせた単一の併合領域であってもよく、又は充填コンポーネントの先端に近接する別の領域であってもよい。そのような場合、飛散を検出することは、単一の領域に対して実施することができる。いくつかの実施形態では、飛散を検出することは、方法１２００において説明されているように、画像内の第１の領域及び第２の領域に対して実施することができる。第１の領域及び第２の領域のうちの少なくとも１つにおいて飛散を検出することに応答して、方法１２００は、画像が飛散を有すると判定することができる。

【0058】

図１２を更に参照すると、いくつかの実施形態では、方法１２００は、任意選択的に、行為１２０６を実施する前に、行為１２０４において、充填コンポーネントが容器中に（例えば、所定の距離だけ容器中に）完全に挿入されたと判定することができる。充填コンポーネントが容器中に完全に挿入されるのを待つことは、例えば、充填コンポーネントの周りの領域が正確に判定されることを確実にすることができる。特に、本発明者らは、充填コンポーネントが容器中に挿入されるにつれて、充填コンポーネントの検出された幅が変化し得ることを認識及び理解している。したがって、行為１２０４は、充填コンポーネント幅の変動に基づいて、充填コンポーネントが完全に挿入されたと判定することができる。充填コンポーネント幅の変動が閾値幅を下回ると判定することに応答して、行為１２０４は、充填コンポーネントが容器中に完全に挿入されたと判定することができる。

【0059】

本明細書の技術を説明するために使用されるいくつかの例では、行為１２０４は、充填プロセスのビデオ内の一連の画像を分析することによって、充填コンポーネント幅の変動を判定することができる。いくつかの実施形態では、システムは、ビデオ内の複数の画像内の充填コンポーネント幅の中の最大幅差に基づいて、充填コンポーネント幅の変動を判定する。いくつかの実施形態では、充填コンポーネントが所与の画像内の容器に完全に挿入されたかどうかを判定する際に、行為１２０４は、ビデオ内の所与の画像に先行する複数の追加の画像を分析することができる。図１５Ａ及び図１５Ｂを参照して説明されることになる技術を使用して、ビデオ内の複数の画像の各々についての充填コンポーネントを識別することができる。前述したように、画像内の識別された充填コンポーネントは、境界ボックスによって表すことができる。そのような場合、各画像内の充填コンポーネント幅は、識別された充填コンポーネントの境界ボックスの幅に基づいて判定することができる。

【0060】

追加的に、かつ／又は代替的に、方法１２００は、行為１２０４において充填コンポーネントが容器中に完全に挿入されたと判定する前に、充填プロセスが開始したと判定することができる。これは、画像における充填コンポーネント検出／識別の精度を更に向上させることができる。いくつかの例では、方法１２００は、流体が画像内で検出されたかどうかを判定することによって、充填プロセスが開始したと判定することができる。流体が検出されない場合、方法１２００は、充填プロセスが開始していないと判定することができる。そうでない場合、方法１２００は、充填が開始したと判定することができる。図１５Ａ及び図１５Ｂを参照して説明されることになる技術を使用して、流体を検出／識別することができる。

【0061】

図１２で示される様々な行為は、充填プロセスの画像に対して実施することができる。更に、これらの行為は、充填プロセスのビデオ内の複数の画像にわたって繰り返して実施されてもよい。図１２の様々な行為は、システムがビデオレベルで飛散を検出することができるように（例えば、１つの画像のみを使用するのとは対照的に、ビデオの複数のフレーム画像を使用して）、充填プロセスのビデオ内の追加の画像を分析することができる。例えば、方法１２００は、システムが閾値数を超える数の画像において飛散を検出した場合、飛散が充填プロセス中に発生したと判定することができる。

【0062】

別の例では、図１３は、いくつかの実施形態による、充填プロセスのビデオから、安全である／安全でない充填コンポーネント－流体距離を検出するための典型的なコンピュータ化された方法１３００を示すフローチャートである。本明細書の技術を説明するために使用されるいくつかの例では、方法１３００は、行為１３０２、１３０４から始めて、充填プロセスが完了に近づいているかどうかを判定する。例えば、流体の流れを制御するバルブが閉まる、かつ／又は閉まり始め（例えば、かつ／又は充填コンポーネントが引き抜かれようとしている）、それによって、液体の流れを遮断するときに、充填プロセスは、完了に近づいている可能性がある。この時点で、容器内の流体の高さは、安定化及び／又はほぼ安定化されるべきである。したがって、方法１３００は、容器内の流体の高さを点検して、充填プロセスが完了に近づいているかどうかを判定することができる。例えば、行為１３０２は、ビデオ内のいくつかの連続した画像における流体の表面の高さの変動を判定することができる。図１５Ａ及び図１５Ｂを参照して説明されることになる典型的な技術を使用して、ビデオ内の複数の画像の各々についての流体を識別することができる。前述したように、画像内の識別された流体は、境界ボックスによって表すことができる。そのような例では、識別された流体の境界ボックスの上部エッジは、流体の上面の高さを示すことができる。したがって、行為１３０４は、これらの複数の画像における流体の境界ボックスの上部エッジの垂直座標（ｙ座標）を比較することによって、ビデオ内の複数の画像における流体の上面の高さを比較し、垂直座標の変動を高さ変動として判定することができる。高さ変動が閾値を下回ると判定することに応答して、行為１３０４は、充填プロセスが完了に近づいていると判定することができる。そうでない場合、行為１３０４は、行為１３０２においてビデオ内の追加の画像を分析することに進むことができる。

【0063】

充填プロセスが完了に近づいていることが判定されると、方法１３００は、行為１３０６、１３０８に進んで、画像内の充填コンポーネント及び流体をそれぞれ識別することができる。図４Ａ及び図４Ｂを参照して以前説明されているように、例えば、識別された充填コンポーネント及び流体は、各々、それぞれの境界ボックスによって表すことができる。行為１３０６及び１３０８が完了すると、方法１３００は、行為１３１０に進んで、充填コンポーネントと流体との間の距離を判定することができる。図４Ｂを参照して以前説明されているように、例えば、充填コンポーネントと流体との間の距離は、図４Ｂに示された距離Ｄなどの、充填コンポーネントの境界ボックスと、流体の境界ボックスとの間の垂直距離として判定することができる。

【0064】

図１３に戻ると、方法１３００は、充填コンポーネントと流体との間の距離が安全ではないかどうか（例えば、大きすぎて滴下を引き起こす可能性があるか、又は小さすぎて充填コンポーネントの浸漬を引き起こす可能性があるか）を判定することに進むことができる。いくつかの例では、２つの閾値距離、例えば、第１の閾値距離Ｔ１及び第２の閾値距離Ｔ２を提供することができ、ここで、Ｔ１＜Ｔ２である。行為１３１２において、本方法は、充填コンポーネントと流体との間の距離がＴ１などの第１の閾値距離を下回るかどうかを判定することができる。距離が第１の閾値距離を下回ると判定することに応答して、方法１３００は、行為１３１４において、充填コンポーネント－流体距離が小さすぎると判定することによって、安全でない充填コンポーネント－流体距離異常を検出することができる。同様に、行為１３１６において、距離が第２の閾値距離を上回ると判定することに応答して、方法１３００はまた、行為１３１８において、充填コンポーネント－流体距離が大きすぎると判定することによって、安全でない充填コンポーネント－流体距離異常を検出することもできる。充填コンポーネントと流体との間の距離がＴ１とＴ２との間にある場合、方法１３００は、行為１３２０において、安全である充填コンポーネント－流体距離を判定することができる。

【0065】

別の例では、図１４は、いくつかの実施形態による、充填プロセスの画像を使用して滴下を検出するための典型的なコンピュータ化された方法を示すフローチャートである。いくつかの実施形態では、方法１４５０は、機械学習モデル１４０６を使用して、充填プロセスの画像を使用する滴下を検出することができる。いくつかの実施形態では、機械学習モデル１４０６は、ニューラルネットワークモデル又は任意の他の好適なモデル若しくはその複数のモデルを含むことができ、それらは、（例えば、図９を参照して）本明細書で更に説明されるであろう。方法１４００は、複数の訓練画像を使用して、機械学習モデル１４０６を訓練することができる。いくつかの実施形態では、方法１４００、１４５０は、図１０の行為１００４の中で実装することができ、かつ／又は、例えば、サーバ１１０などによって、図１のシステム１００において実施することができる。他の実施形態では、機械学習モデル１４０６は、オフラインで訓練することができる。例えば、機械学習モデル１４０６は、同じ及び／又は異なるシステムによって（例えば、滴下を検出するシステム以外の異なるシステムによって）、予め訓練されることができる。したがって、方法１４００及び１４５０は、各々、１つ以上の異なるコンピューティングデバイスによって実施することができる。

【0066】

本明細書の技術を説明するために使用されるいくつかの例では、方法１４００は、行為１４０２において訓練ビデオを取得し、行為１４０４において機械学習モデルを訓練して、機械学習モデル１４０６を生成することから開始する。いくつかの実施形態では、訓練画像は、充填プロセスの１つ以上の訓練ビデオから取得された複数の訓練画像を含むことができる。訓練画像の各々は、容器が流体で充填されているときの充填プロセスの画像を含むことができる。例えば、各訓練画像は、充填コンポーネントと、その充填コンポーネントを通して流体で充填されている容器と、を含んでもよい。本明細書の技術を説明するために使用されるいくつかの例では、方法１４５０は、充填プロセスの画像を取得する行為１４５２から始まる。例えば、画像は、充填プロセスのビデオのフレーム画像であってもよい。方法１１００、１２００、及び１３００と同様に、画像は、図１０の行為１００２においてキャプチャされた充填プロセスのビデオなどのビデオ内の１つ以上のフレーム画像であってもよい。行為１４５４は、訓練された機械学習モデル１４０６を使用して、画像を複数の分類のうちの１つに分類することができ、ここで、複数の分類のうちの少なくとも１つは、画像内の滴下を示す。機械学習モデルの出力に基づいて、方法１４００は、行為１４５６において画像が滴下を有さないか、又は行為１４５８において画像が滴下を有するかを判定することができる。

【0067】

いくつかの例では、機械学習モデル１４０６は、訓練方法１４００における訓練データセットにわたって訓練することができるニューラルネットワークモデルを含むことができる。いくつかの実施形態では、訓練方法１４００は、行為１４０２において複数の訓練ビデオを取得することができ、ここで、各訓練ビデオは、関連付けられた流体充填プロセスをキャプチャする。各訓練ビデオは、複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像（例えば、フレーム画像）を含むことができ、ここで、分類のうちの１つは、訓練画像内の滴下を示す。訓練された機械学習モデルは、訓練された重み、例えば、ニューラルネットワークモデルの訓練された重みを含むことができる。ニューラルネットワークモデルの例としては、畳み込みニューラルネットワーク（ＣＮＮ）又はその任意の変形例が挙げられ得る。訓練方法１４００は、例えば、勾配降下法及び／又は任意の他の好適なアルゴリズムなどの任意の訓練アルゴリズム又は複数の訓練アルゴリズムを使用することができる。

【0068】

図９は、いくつかの実施形態による、充填プロセスの画像を使用して滴下を検出するように実装され得る典型的な畳み込みニューラルネットワークを示す略図である。例えば、畳み込みニューラルネットワーク９００は、図１４の機械学習モデル１４０６において実装されてもよい。図９に示すように、ニューラルネットワーク９００は、複数の畳み込み層９０２を含むことができる。複数の畳み込み層は、入力画像の様々な特徴を抽出して特徴マップを生成するように構成された特徴抽出層とすることができる。いくつかの実施形態によれば、ＣＮＮ又は他のニューラルネットワークモデルの畳み込み層の特徴マップを使用して、滴下を有する画像間の視覚類似性を計算することができる。例えば、図５Ａ～図５Ｃは、滴下を示さないか、又は様々な程度の滴下を示す例示的な画像を示している。例えば、図５Ａは、流体５０６の滴下を示さない、ガラス瓶５０２及び充填コンポーネント５０４（例えば、針）のための充填プロセスの例示的な画像を示している。比較のために、図５Ｂ及び図５Ｃは、両方とも、それぞれ、流体５０８及び５１０の滴下を示している。図５Ｄは、充填プロセスの画像の例示的な顕著マップ（特徴マップ）を示しており、ここで、顕著マップ内のサンプルは、滴下５２０の周りにおいてより高い強度で示されている。言い替えると、充填プロセスの画像内の滴下は、ニューラルネットワークモデルの畳み込み層によって抽出することができる視覚特徴であってもよい。図９に戻ると、ニューラルネットワークモデル９００は、特徴抽出層の出力を、複数の分類のうちの１つに分類するように構成された１つ以上の出力層９０４を含むことができ、その分類の中で、１つは、滴下を示す。

【0069】

図１４に戻ると、いくつかの例では、訓練方法１４００は、画像全体ではなく、訓練画像の各々の一部分を代わりに提供して、機械学習モデル１４０６を訓練することができる。同様に、画像の一部分が、訓練された機械学習モデル１４０６に提供されて、方法１４５０における滴下異常を検出することができる。このように、低減したサイズを有する画像は、機械学習モデルに提供され、その結果、異常を検出するための計算がより少なくなり、処理時間がより短くなる。いくつかの実施形態では、機械学習モデルに提供するための画像の一部分は、画像の視界を縮小することによって判定することができる。いくつかの例では、機械学習モデルに提供されるべき画像の一部分は、画像の強度に基づいて判定することができる。例えば、機械学習モデルに提供されるべき画像の一部分は、中央視界の最左列及び最右列が画像の強度に基づいて判定される、画像の中央視界であってもよい。

【0070】

非限定的な例では、所与の画像について、各列内の全ての画素の強度の合計が計算される。全ての列の合計が、比較され、強度の最大合計が、全ての列の中で判定される。いくつかの実施形態では、画像内の列は、左から右方向に、第１の（又は最も左の）列から順に分析される。各列に対して、その列に対する全ての画素の強度の合計が、閾値強度と比較される。いくつかの実施形態では、閾値強度は、固定された値であってもよい。他の実施形態では、閾値強度は、画像内の全ての列の中で判定される強度の最大合計に比例してもよい。例えば、閾値強度は、強度の最大合計の１／３、１／２、１／４であってもよい。列についての強度の合計が閾値強度を上回る場合、画像内のその列は、最初の列（又は中央視界の最左列）であると判定される。最初の列が判定されると、画像内の残りの列は、右から左方向に、最後の列（又は最右列）から順に分析される。各列に対して、その列に対する全ての画素の強度の合計が、閾値強度と比較される。強度の合計が閾値強度を上回る場合、画像内のその列は、第２の列（又は中央視界の最右列）であると判定される。続いて、画像の中央視界は、画像内の第１の列と第２の列との間の列に基づいて形成される。

【0071】

様々な実施形態において、中央視界画像は、方法１４００、１４５０において生成することができる。あるいは、中央視界画像は、画像キャプチャセンサ（例えば、図１の１１２）によって判定されてもよく、このセンサは、適切な視界を判定して、判定された視界に基づいて画像の一部分を生成するように構成され得る。例えば、画像の強度、又は画像内の動きに基づいて、画像センサは、画像の中央視界を判定し、異常検出のための中央視界を含む画像を生成することができる。

【0072】

図１４の方法１４５０における様々な行為は、充填プロセスのビデオ内の追加の画像を分析することができ、滴下異常の検出は、ビデオレベルで実施することができる。例えば、方法１４５０は、ビデオ内の画像又は追加の画像のうちのいずれかが滴下異常を示すと判定される場合、充填プロセスが飛散を有すると判定することができる。

【0073】

本明細書で説明される様々な実施形態では、システムは、画像を処理して充填コンポーネント及び／又は流体を識別することができ、ここで、識別された充填コンポーネント及び／又は流体は、他のプロセスによって使用されて、充填プロセスにおける異常を検出することになる。図１５Ａは、いくつかの実施形態による、充填プロセスの画像内の充填コンポーネントを検出するための典型的なコンピュータ化された方法を示すフローチャートである。図１５Ｂは、いくつかの実施形態による、充填プロセスの画像内の流体を検出するための典型的なコンピュータ化された方法を示すフローチャートである。図１５Ａ及び図１５Ｂの方法は、図１０の行為１００４、図１１の行為１１０２、１１０４、図１２の行為１２０２、図１３の行為１３０６、１３０８などの様々な行為で実装することができ、それらの行為の全ては、サーバ１１０などによって、図１のシステム１００に実装することができる。

【0074】

画像内の充填コンポーネント及び／又は流体を識別する際に、システムは、画像内のエッジ画素を識別し、そのエッジ画素に基づいて、１つ以上の境界領域を判定することができる。いくつかの例では、画像内の充填コンポーネントと流体とのための画素値は、異なってもよい。例えば、流体は、より高い強度値を有する明るい色で示されてもよく、充填コンポーネントは、より低い強度値を有する暗い色で示されてもよい。したがって、充填コンポーネント及び／又は流体を識別する際に、システムは、異なる動作を実施して、画像内のエッジ画素を識別することができる。本明細書の技術を説明するために使用されるいくつかの例では、方法１５００は、充填プロセスのビデオ内の画像から充填コンポーネントを識別するために提供され得る。方法１５００は、行為１５０２から始めることができ、ここで、充填プロセスのビデオ内の画像と基準画像との間で異なる画像が生成することができる。非限定的な例では、行為１５０２は、画像を、充填プロセスのビデオ内のその画像に先行する基準画像から減算することができる。ビデオ内の基準画像は、充填プロセスにおける第１の画像であってもよい。他の例では、基準画像は、ビデオ内の画像に先行する第２の画像、第３の画像、又は任意の画像であってもよい。本発明者らは、充填プロセス中に、容器は、移動することなく充填プラットフォーム（例えば、図１の１０３）上に位置決めされ得ることを認識及び理解している。したがって、画像を基準画像から減算する際に、容器の画素（充填プロセス中に移動しない）は、ゼロ設定され、信号を生成しなくてもよい。これに対して、充填コンポーネントが暗い色（例えば、低い強度）で示されている場合、画像を基準画像から減算することにより、充填コンポーネントが配置されている高強度画素が露呈されることになる。

【0075】

方法１５００は、行為１５０４に進んで、行為１５０２から減算された画像に基づいて、エッジ画素を判定することができる。例えば、行為１５０４は、減算された画像を、閾値によって二値化してもよい。任意選択的に、行為１５０４においてエッジ画素を判定する前に、方法１５００は、双方向フィルタなどのフィルタを適用して、エッジ画素を保存しながら、減算された画像からノイズを除去することができる。いくつかの実施形態では、これらの動作はまた、他の順序で実施することもできる。方法１５００は、行為１５０６に続き、エッジ画素に基づいて１つ以上の境界領域を判定することができる。いくつかの実施形態では、境界領域は、例えば、４連結エッジ画素又は８連結エッジ画素などの連結エッジ画素を含むことができる。様々な追跡アルゴリズムを使用して、連結エッジ画素を見つけることができる。１つ以上の境界領域が判定されると、方法１５００は、境界領域を充填コンポーネントとして選択する行為１５０８に進むことができる。いくつかの実施形態では、行為１５０８は、境界領域の各々について、境界領域のサイズが充填コンポーネントのためのそれぞれの閾値領域を超えるかどうかを判定することができる。境界領域のサイズが充填コンポーネントの閾値領域を超える場合、本方法は、境界領域を、識別された充填コンポーネントとして選択することができる。いくつかの実施形態では、選択された境界領域について、本方法は、選択された境界領域を包含する最小矩形ボックスである境界ボックスを判定することによって、識別された充填コンポーネントの境界ボックスを判定することができる。一例が、図７Ｂに示されており、ここで、高強度のエッジ画素は、図７Ａの元の画像から検出された充填コンポーネントを示している。

【0076】

いくつかの実施形態では、方法１５５０は、方法１５００と同様の方法で実施されて、充填プロセスのビデオの画像内の流体を識別するために提供され得る。方法１５５０は、行為１５５２から始めることができ、その行為の中で、画像と、充填プロセスのビデオ内の基準画像との間の差分画像が判定される。非限定的な例では、行為１５５２は、画像に先行する基準画像をその画像から減算することができる。行為１５０２と同様に、ビデオ内の基準画像は、充填プロセスにおける第１の画像であってもよい。他の例では、基準画像は、ビデオ内の画像に先行する第２の画像、第３の画像、又は任意の画像であってもよい。行為１５０２と行為１５５２との間の違いは、画像の減算の順序が逆であることである。これは、画像において、充填コンポーネントが典型的には低強度画素を有し、これに対して、流体が典型的には高強度画素を有するためである。したがって、流体が明るい色（例えば、高強度）で示されている場合、基準画像を画像から減算することにより、流体が配置されている高強度画素が露呈することになる。

【0077】

方法１５５０は、行為１５５４に進んで、行為１５５２から減算された画像に基づいて、エッジ画素を判定することができる。例えば、行為１５５４は、減算された画像を閾値によって二値化してもよい。任意選択的に、行為１５５４においてエッジ画素を判定する前に、方法１５５０は、双方向フィルタなどのフィルタを適用して、エッジ画素を保存しながら、減算された画像からノイズを除去することができる。いくつかの実施形態では、これらの動作はまた、他の順序で実施することもできる。方法１５５０は、エッジ画素に基づいて１つ以上の境界領域を判定する行為１５５６に続くことができる。いくつかの実施形態では、境界領域は、例えば、４連結エッジ画素又は８連結エッジ画素などの連結エッジ画素を含むことができる。様々な追跡アルゴリズムを使用して、連結エッジ画素を見つけることができる。１つ以上の境界領域が判定されると、方法１５５０は、境界領域を流体として選択する行為１５５８に進むことができる。いくつかの実施形態では、行為１５５８は、境界領域の各々について、境界領域のサイズが流体のためのそれぞれの閾値領域を超えるかどうかを判定することができる。いくつかの例では、（行為１５０８において）充填コンポーネントを選択するための閾値領域と、（行為１５５８において）流体を選択するための閾値領域とは、異なってもよく、又は同じであってもよい。境界領域のサイズが流体のための閾値領域を超える場合、本方法は、境界領域を、識別された流体として選択することができる。いくつかの実施形態では、選択された境界領域について、本方法は、選択された境界領域を包含する最小矩形ボックスである境界ボックスを判定することによって、識別された流体の境界ボックスを判定することができる。一例が、図７Ｃに示されており、ここで、高強度のエッジ画素は、図７Ａの元の画像から検出された流体を示している。図１５Ａ及び図１５Ｂに示されるように、方法１５００及び１５５０は、減算ステップ１５０２、１５５２における差を伴って類似しており、（充填コンポーネントを検出するために使用される）ステップ１５０２においては、画像は、基準画像から減算され、これに対して、（流体を検出するために使用される）ステップ１５５２においては、基準画像は、画像から減算される。いくつかの実施形態では、充填コンポーネントは、ビデオ画像内の暗い画素（すなわち、低強度レベルを有する）として出現することができる。したがって、（減算ステップ１５０２について上述したように）ビデオ内の以前の基準画像から画像を減算することは、（充填コンポーネントなどの）暗い画素の移動及び／又は異なる配置を示すことになり、充填コンポーネントの識別を可能にする。いくつかの実施形態では、流体は、ビデオ画像内の明るい画素（すなわち、高強度レベルを有する）として出現することができる。したがって、（減算ステップ１５５２について上述したように）ビデオ内の以前の基準画像を画像から減算することは、明るい画素（流体など）の移動及び／又は異なる配置を示すことになり、流体の識別を可能にする。他の変形例において、１５０２、１５５２における動作は、充填コンポーネント／流体が画像内に暗い／明るい画素を含むかどうかに応じて、適宜調整することができることが理解される。

【0078】

いくつかの実施形態では、方法１５００、１５５０において充填コンポーネント及び／又は流体を識別する変形例が可能であり得る。例えば、行為１５０２、１５５２において、他の変形例は、画像の減算を実施する前に、画像を二値化することを含んでもよい。他の変形例では、システムは、閾値領域を上回る領域を有する境界領域を選択するのではなく、複数の境界領域の中の最も大きい領域を有する境界領域を選択することによって、充填コンポーネント及び／又は流体を識別することができる。

【0079】

本明細書に開示される技術及び実施形態の態様のうちのいずれかを実施するために使用され得るコンピュータシステム１６００の例示的な実装形態が、図１６に示されている。例えば、コンピュータシステム１６００は、サーバ１１０などによって、図１のシステム１００内に設置してもよい。コンピュータシステム１６００は、図１０～図１５で説明されたような様々な方法及び行為を実施するように構成することができる。コンピュータシステム１６００は、１つ以上のプロセッサ１６１０と、１つ以上の非一時的コンピュータ可読記憶媒体（例えば、メモリ１６２０及び１つ以上の不揮発性記憶媒体１６３０）、並びにディスプレイ１６４０を含むことができる。本明細書に記載された発明の態様は、この点に関して限定されないため、プロセッサ１６１０は、任意の好適な方法で、メモリ１６２０及び不揮発性記憶デバイス１６３０との間の書き込みデータ及び読み取りデータを制御することができる。いくつかの実施形態では、コンピュータシステム１６００はまた、システム内にＣＰＵ、ＧＰＵ、メモリ、及び他のコンポーネントを含む、ＮＶＩＤＩＡのＪｅｔｓｏｎモジュールなどの完全なシステムオンモジュール（system on module、ＳＯＭ）であってもよい。いくつかの実施形態では、コンピュータシステム１６００は、任意の好適なサイトに配置されてもよい。例えば、コンピュータシステム１６００（例えば、サーバ１１０）は、充填ステーション１０２と同じ場所に配置されてもよく、又はネットワーク上にあってもよい。他の変形例では、システムは、メモリを含む必要がなくてもよく、代わりに、プログラミング命令が、１つ以上の仮想マシン、又はクラウド上の１つ以上のコンテナ上で実行している。例えば、上に例示された様々な方法は、複数の仮想マシンを含むクラウド上のサーバによって実装されてもよく、各仮想マシンは、オペレーティングシステム、仮想ディスク、仮想ネットワーク、及びアプリケーションを有し、様々な異常を検出するためのプログラミング命令は、クラウド上のそれらの仮想マシンのうちの１つ以上に記憶することができる。

【0080】

本明細書に記載された機能及び／又は技術を実施するために、プロセッサ１６１０は、１つ以上のコンピュータ可読記憶媒体（例えば、メモリ１６２０、記憶媒体など）に記憶された１つ以上の命令を実行することができ、そのコンピュータ可読記憶媒体は、プロセッサ１６１０による実行のための命令を記憶する非一時的コンピュータ可読記憶媒体として機能することができる。

【0081】

本明細書に記載された技術に関して、例えば、画像／ビデオ内の異常を検出するために使用されるコードは、コンピュータシステム１６００の１つ以上のコンピュータ可読記憶媒体上に記憶されてもよい。プロセッサ１６１０は、本明細書に記載されているように、そのような任意のコードを実行して、異常を検出するための任意の技術を提供することができる。本明細書に記載されている任意の他のソフトウェア、プログラム、又は命令もまた、コンピュータシステム１６００によって記憶及び実行することができる。コンピュータコードは、本明細書に記載されている方法及び技術の任意の態様に適用されてもよいことが理解されるであろう。例えば、コンピュータコードを適用して、オペレーティングシステムと対話して、従来のオペレーティングシステムプロセスを通じて異常を検出することができる。

【0082】

本明細書で概説される様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちのいずれか１つを使用する１つ以上のプロセッサ上で実行可能なソフトウェアとして、コード化され得る。追加的に、そのようなソフトウェアは、多数の好適なプログラミング言語及び／又はプログラミングツール若しくはスクリプトツールのいずれかを使用して記述されてよく、また、仮想マシン又は好適なフレームワーク上で実行される実行可能機械語コード又は中間コードとしてコンパイルされ得る。

【0083】

この点で、様々な発明概念は、１つ以上のコンピュータ又は他のプロセッサ上で実行されると本発明の様々な実施形態を実施する、１つ以上のプログラムで符号化された、少なくとも１つの非一時的コンピュータ可読記憶媒体（例えば、コンピュータメモリ、１つ以上のフロッピーディスク、コンパクトディスク、光学ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイ若しくは他の半導体デバイスにおける回路構成、など）として具体化され得る。非一時的コンピュータ可読媒体又は複数の媒体は、移動可能であってよく、その結果、そこに記憶された１つ以上のプログラムは、上で考察されたような本発明の様々な態様を実装するため任意のコンピュータリソースにロードされ得る。

【0084】

「プログラム」、「ソフトウェア」、及び／又は「アプリケーション」という用語は、本明細書では、一般的な意味で使用され、上で考察されたような実施形態の様々な態様を実施するためにコンピュータ又は他のプロセッサをプログラムするために採用される、任意のタイプのコンピュータコード又はコンピュータ実行可能命令のセットを指す。追加的に、一態様によれば、実行されると本発明の方法を実施する１つ以上のコンピュータプログラムは、単一のコンピュータ又はプロセッサ上に存在する必要はないが、本発明の様々な態様を実施するため、異なるコンピュータ又はプロセッサ間でモジュール方式により配布され得ることを理解されたい。

【0085】

コンピュータ実行可能命令は、プログラムモジュールなど、１つ以上のコンピュータ又は他のデバイスによって実行される多くの形態であり得る。一般に、プログラムモジュールには、特定のタスクを実施するか、又は特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。典型的には、プログラムモジュールの機能は、様々な実施形態において所望されるように組み合わされたり、又は分散されたりしてもよい。

【0086】

また、データ構造は、任意の好適な形態で、非一時的コンピュータ可読記憶媒体に記憶され得る。データ構造は、そのデータ構造内の場所を通じて関連するフィールドを有し得る。そのような関係は、同様に、フィールド間の関係を伝達する非一時的コンピュータ可読媒体内の場所を有するフィールドに、記憶域を割り当てることによって達成され得る。しかしながら、任意の好適な機構が、データ要素間の関係を確立するポインタ、タグ、又は他の機構の使用を介することを含む、データ構造のフィールド内の情報間の関係を確立するために使用され得る。

【0087】

様々な発明概念が、１つ以上の方法として具体化されてよく、その例が提供されている。方法の一部として実施される動作は、任意の好適な様式で順序付けられ得る。したがって、例示的な実施形態では順次行為として示されているが、いくつかの行為を同時に実行することを含み得る、例示されるものと異なる順序で行為が実行される実施形態が構築され得る。

【0088】

本明細書及び特許請求の範囲において本明細書で使用される不定冠詞「ａ」及び「ａｎ」は、明確に別途記載されない限り、「少なくとも１つ」を意味すると理解されるべきである。本明細書の明細書及び特許請求の範囲において使用される場合、１つ以上の要素のリストに関連する「少なくとも１つ（at least one）」という句は、要素のリスト内の要素のうちの任意の１つ以上から選択された少なくとも１つの要素を意味すると理解されるべきであり、要素のリスト内に具体的にリストされている各要素及び全ての要素の少なくとも１つを含む必要はなく、要素のリスト内の要素の任意の組み合わせを除外するものでもない。これにより、「少なくとも１つ」という句が参照する要素のリスト内で具体的に識別される要素以外の要素は、具体的に識別されるこれらの要素に関連するか関連しないかにかかわらず、任意選択的に存在することを可能にする。

【0089】

本明細書及び特許請求の範囲において本明細書で使用される「及び／又は（ａｎｄ／ｏｒ）」という句は、そのように結合された要素、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素の「いずれか一方又は両方（either or both）」を意味すると理解されるべきである。「及び／又は」を用いて列挙された複数の要素は、同じ形式で解釈する必要があり、すなわち、そのように結合された要素の「１つ以上（one or more）」である。「及び／又は」節によって具体的に識別される要素以外の他の要素は、具体的に識別されるこれらの要素に関連するかどうかにかかわらず、任意選択的に存在し得る。したがって、非限定的な例として、「Ａ及び／又はＢ」への言及は、「含む（comprising）」などのオープンエンド言語と併せて使用される場合、一実施形態では、Ａのみ（任意選択的にＢ以外の要素を含む）を指す、別の実施形態では、Ｂのみ（任意選択的にＡ以外の要素を含む）を指す、更に別の実施形態では、Ａ及びＢの両方（任意選択的に他の要素を含む）を指す、などである。

【0090】

本明細書及び特許請求の範囲で使用される場合、「又は」は、上記で定義された「及び／又は」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を区切る場合、「又は」又は「及び／又は」は包括的であると解釈されるものとする。すなわち、複数の要素又は要素のリストうちの少なくとも１つだけでなく複数を含むものと解釈され、任意選択的に、列挙されていない追加の項目も含むものと解釈されるものとする。「のうちの１つのみ（only one of）」又は「のうちの正確に１つ（exactly one of）」、又は特許請求の範囲で使用される場合、「からなる（consisting of）」など、反対に明確に示される用語のみが、複数の要素又は要素のリストうちの正確に１つの要素を含むことを指す。一般に、本明細書で使用される場合、「又は」という用語は、「いずれか（either）」、「のうちの１つ（one of）」、「のうちの１つのみ」、又は「のうちの正確に１つ」などの排他的な用語が続く場合、排他的選択（すなわち、「一方又は他方であるが両方ではない（one or the other but not both）」）を示すと解釈されるべきである。「本質的にからなる（consisting essentially of）」は、特許請求の範囲で使用される場合、特許法の分野で使用される通常の意味を有するものとする。

【0091】

特許請求の範囲において、特許請求項の要素を修飾ための「第１」、「第２」、「第３」などの序数用語の使用は、それ自体では、ある特許請求項の要素の別の特許請求項の要素に対するいかなる優先順位、先行順、又は順序、若しくは、ある方法の動作が実施される時間的順序を暗示するものではない。そのような用語は、特定の名称を有する１つの特許請求項の要素を、同じ名称（序数用語の使用がない場合）を有する別の要素から区別するための標識としてのみ使用される。

【0092】

本明細書で使用される語法及び専門用語は、説明目的のためであり、限定と見なされるべきではない。「含む（including）」、「備える（comprising）」、「有する（having）」、「含む（containing）」、「含む（involving）」、及びそれらの変形の使用は、その後にリストされる項目及び追加の項目を包含することを意味する。

【0093】

本発明のいくつかの実施形態を詳細に説明してきたが、当業者には、様々な修正及び改善が容易に思い浮かぶであろう。そのような修正及び改善は、本発明の趣旨及び範囲内にあることが意図されている。したがって、前述の説明は単なる例示にすぎず、限定を意図するものではない。

【0094】

以下の態様が挙げられるがそれらに限定されない、様々な態様が、本開示に記載されている。
（１）充填コンポーネントを使用して、容器が流体で充填される充填プロセスにおける異常を検出するためのコンピュータ化された方法であって、容器が充填コンポーネントを通して流体で充填されている間、容器のビデオをキャプチャすることと、１つ以上のプロセッサを使用して、充填コンポーネント浸漬異常、容器内の流体の飛散を含む飛散異常、容器内の流体の滴下を含む滴下異常、又は充填コンポーネントが容器内の流体の表面の安全でない距離内に入る安全でない充填コンポーネント－流体距離異常のうちの１つ以上を含む異常を検出するように、ビデオの画像を分析することと、検出された異常を示す警報を生成することと、を含む、方法。
（２）容器に流体を充填するように構成された充填機を、充填機が実施するように構成されている充填プロセスの１つ以上のパラメータを検出された異常に基づいて変更することによって、調整することを更に含む、態様１に記載の方法。
（３）ビデオの追加の画像を分析することと、（ｉ）画像若しくは追加の画像のうちのいずれかが充填コンポーネント浸漬異常を示すと判定される場合、充填プロセスが充填コンポーネント浸漬異常を有すると判定すること、又は、（ｉｉ）画像若しくは追加の画像のうちのいずれかが飛散異常を示すと判定される場合、充填プロセスが飛散異常を有すると判定すること、又は、（ｉｉｉ）画像若しくは追加の画像のうちのいずれも、充填コンポーネント浸漬異常を示すと判定されず、かつ、画像若しくは追加の画像のうちの少なくとも１つが、充填コンポーネントと流体との間の最小垂直距離が閾値距離未満であることを示すと判定される場合、充填プロセスが安全でない充填コンポーネント－流体距離異常を有すると判定することと、を更に含む、態様１又は２に記載の方法。
（４）異常を検出することは、画像内の充填コンポーネントを識別することと、画像内の容器内の流体を識別することと、充填コンポーネントと流体との相対位置に基づいて、異常を検出することと、を含む、態様１～３のいずれか１つに記載の方法。
（５）充填コンポーネントを識別することは、充填コンポーネントの第１の境界ボックスを判定することを含み、流体を識別することは、流体の第２の境界ボックスを判定することを含む、態様４に記載の方法。
（６）異常を検出することは、充填コンポーネントの第１の境界ボックスが、流体の第２の境界ボックスと重複すると判定することを含む、態様５に記載の方法。
（７）流体の第２の境界ボックスの幅が、充填コンポーネントの第１の境界ボックスの幅よりも、閾値幅比、及び閾値幅差のうちの少なくとも１つだけ大きいときに、検出された異常を充填コンポーネント浸漬異常として分類することを更に含む、態様６に記載の方法。
（８）異常を検出することは、充填プロセスにおける経過時間が閾値充填時間よりも長いと判定することを更に含む、態様７に記載の方法。
（９）流体の第２の境界ボックスの幅が、充填コンポーネントの第１の境界ボックスの幅よりも、閾値幅比及び閾値幅差のうちの少なくとも１つだけ大きくないときに、検出された異常を飛散異常として分類することを更に含む、態様６に記載の方法。
（１０）充填コンポーネントの第１の境界ボックスが、流体の第２の境界ボックスと重複せず、充填コンポーネントの第１の境界ボックスのエッジと、流体の第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値距離未満であり、かつ、流体の第２の境界ボックスの幅が、充填コンポーネントの第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きくないときに、検出された異常を飛散異常として分類することを更に含む、態様５に記載の方法。
（１１）異常を検出することは、充填プロセスにおける経過時間が閾値充填時間未満であると判定することを更に含む、態様９又は１０に記載の方法。
（１２）充填コンポーネントの第１の境界ボックスが、流体の第２の境界ボックスと重複せず、充填コンポーネントの第１の境界ボックスのエッジと、流体の第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値垂直距離未満であり、かつ、流体の第２の境界ボックスの幅が、充填コンポーネントの第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きいときに、検出された異常を安全でない充填コンポーネント－流体距離異常として分類することを更に含む、態様５に記載の方法。
（１３）ビデオの追加の画像を分析することと、飛散異常を有する画像及び追加の画像からの画像の数が飛散閾値を超える場合、充填プロセスが飛散異常を有すると判定することと、を更に含む、態様１又は２に記載の方法。
（１４）異常を検出することは、画像内の充填コンポーネントを識別することと、充填コンポーネントに近接する画像内の領域を判定することと、画像内の流体特性を判定することと、流体特性に基づいて、領域内の飛散異常を検出することと、を含む、態様１、２、及び１３のいずれか１つに記載の方法。
（１５）領域を判定する前に、充填コンポーネントが容器中に完全に挿入されたと判定することを更に含む、態様１４に記載の方法。
（１６）充填コンポーネントが容器中に完全に挿入されたと判定することは、画像内の充填コンポーネントの充填コンポーネント幅、及びビデオ内の画像に先行する１つ以上の追加の画像内の充填コンポーネントのそれぞれの充填コンポーネント幅を判定することと、画像内の充填コンポーネント幅、及び画像に先行する１つ以上の追加の画像内のそれぞれの充填コンポーネント幅に基づいて、充填コンポーネント幅の変動を判定することと、充填コンポーネント幅の変動が閾値充填コンポーネント幅を下回ると判定することと、を含む、態様１５に記載の方法。
（１７）充填コンポーネント幅の変動は、画像内の充填コンポーネント幅と、１つ以上の追加の画像内のそれぞれの充填コンポーネント幅との間の最大幅差である、態様１６に記載の方法。
（１８）充填コンポーネントが容器中に完全に挿入されたと判定する前に、充填プロセスが開始したと判定することを更に含む、態様１５に記載の方法。
（１９）充填プロセスが開始したと判定することは、流体が画像内で検出されたかどうかを判定することと、流体が検出されない場合、充填プロセスが開始していないと判定し、そうでない場合、充填が開始したと判定することと、を含む、態様１８に記載の方法。
（２０）領域は、充填コンポーネントの第１の側部における第１の領域と、第１の側部とは反対の充填コンポーネントの第２の側部における第２の領域と、を含む、態様１４に記載の方法。
（２１）流体特性は、流体の表面内の傾斜を含み、領域内の飛散異常を検出することは、傾斜が閾値を超えているかどうかを判定することと、傾斜が閾値を超えると判定される場合、領域内の飛散異常を検出することと、を含む、態様１４～２０のいずれか１つに記載の方法。
（２２）画像内の流体特性を判定することは、画像内の領域内の流体表面エッジ画素を判定することと、流体表面エッジ画素に基づいて、１つ以上の流体エッジを判定することと、流体表面エッジ画素の中の最大垂直座標と、流体表面エッジ画素の中の最小垂直座標との間の差に基づいて、傾斜を判定することと、を含む、態様２１に記載の方法。
（２３）傾斜を判定する前に、画像内の領域内の流体エッジから垂直エッジを除外することを更に含む、態様２２に記載の方法。
（２４）流体表面エッジ画素を判定することは、キャニー演算子を画像内の領域に適用することを含む、態様２２に記載の方法。
（２５）ビデオの画像を含むいくつかの連続した画像における流体の高さの変動が閾値を下回る場合、充填プロセスが完了に近づいていると判定することを更に含む、態様１又は２に記載の方法。
（２６）画像は、充填プロセスが完了に近づいている時点に対応し、異常を検出することは、（ｉ）画像内の充填コンポーネントを識別することと、（ｉｉ）画像内の容器内の流体を識別することと、（ｉｉｉ）充填コンポーネントと流体との間の距離を判定することと、（ｉｖ）充填コンポーネントと流体との間の距離が閾値距離を下回ると判定される場合、充填プロセスが完了に近づいている時点で、安全でない充填コンポーネント－流体距離異常を検出することと、を含む、態様２５に記載の方法。
（２７）充填コンポーネントと流体との間の距離を判定することは、充填コンポーネントの境界ボックスの最も近いエッジと、流体の境界ボックスとの間の垂直距離を判定することを含む、態様２６に記載の方法。
（２８）ビデオの追加の画像を分析することと、画像又は追加の画像のうちのいずれかが滴下異常を示すと判定される場合、充填プロセスが滴下異常を有すると判定することと、を更に含む、態様１又は２に記載の方法。
（２９）異常を判定することは、画像を、訓練されたニューラルネットワークモデルに提供することと、訓練されたニューラルネットワークモデルを使用して、複数の分類であって、複数の分類のうちの少なくとも１つが、画像内の滴下異常を示す、複数の分類のうちの１つを判定することと、によって、画像内の滴下異常を検出することを含む、態様１、２、及び２８のいずれか１つに記載の方法。
（３０）画像を、訓練されたニューラルネットワークモデルに提供することは、画像の強度に基づいて、画像の一部分を判定することと、画像の一部分を、訓練されたニューラルネットワークモデルに提供することと、を含む、態様２９に記載の方法。
（３１）（ｉ）複数の訓練ビデオであって、複数の訓練ビデオの各訓練ビデオが、関連付けられた流体充填プロセスをキャプチャし、複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像を含む、複数の訓練ビデオを取得することと、（ｉｉ）複数の訓練ビデオを使用して、ニューラルネットワークモデルを訓練することと、を更に含む、態様２９に記載の方法。
（３２）充填コンポーネント又は流体を識別することは、画像内のエッジ画素を識別することと、エッジ画素に基づいて１つ以上の境界領域を判定することと、１つ以上の境界領域の各境界領域について、（ｉ）境界領域のサイズが、充填コンポーネント又は流体のためのそれぞれの閾値領域を超えるかどうかを判定することと、（ｉｉ）境界領域のサイズがそれぞれの閾値を超える場合、境界領域を充填コンポーネント又は流体として選択することと、を含む、態様４、１４、又は２６のいずれか１つに記載の方法。
（３３）画像内のエッジ画素を識別することは、ビデオ内の画像に先行する基準画像から画像を減算して、減算された画像を生成することを含み、境界領域を充填コンポーネントとして選択することは、減算された画像に基づいて、境界領域を充填コンポーネントとして選択することを含む、態様３２に記載の方法。
（３４）画像内のエッジ画素を識別することは、画像から、ビデオ内の画像に先行する別の画像を減算して、減算された画像を生成することを含み、境界領域を流体として選択することは、減算された画像に基づいて、境界領域を流体として選択することを含む、態様３２に記載の方法。
（３５）エッジ画素を識別することは、減算された画像を二値化することを含む、態様３３又は３４に記載の方法。
（３６）エッジ画素を識別することは、双方向フィルタを減算された画像に適用して、フィルタリングされた減算された画像を生成することと、フィルタリングされた減算された画像を二値化することと、を含む、態様３３又は３４に記載の方法。
（３７）境界領域に基づいて、充填コンポーネント又は流体の境界ボックスを生成することを更に含み、境界ボックスは、境界領域を包含する最小矩形である、態様３２に記載の方法。
（３８）充填コンポーネント又は流体を識別することは、画像と、ビデオ内の基準画像との間の差分画像を生成することと、差分画像に基づいて、画像内の１つ以上のエッジを判定することと、１つ以上のエッジを使用して、１つ以上の境界領域を判定することと、１つ以上の境界領域の中で最も大きい領域を有する境界領域を、充填コンポーネント又は流体として選択することと、を含む、態様４、１４、又は２６のいずれか１つに記載の方法。
（３９）差分画像を生成する前に、画像及び基準画像を二値化することを更に含む、態様３８に記載の方法。
（４０）境界領域に基づいて、充填コンポーネント又は流体の境界ボックスを生成することを更に含み、境界ボックスは、境界領域を包含する最小矩形領域である、態様３８に記載の方法。
（４１）差分画像を判定することは、ビデオ内の基準画像から画像を減算することを含み、境界領域を充填コンポーネントとして判定することは、差分画像に基づいて、境界領域を充填コンポーネントとして判定することを含む、態様３８に記載の方法。
（４２）差分画像を判定することは、画像からビデオ内の基準画像を減算することを含み、境界領域を流体として判定することは、差分画像に基づいて、境界領域を流体として判定することを含む、態様３８に記載の方法。
（４３）流体は、医薬流体である、態様１～４２のいずれか１つに記載の方法。
（４４）容器は、透明な薬物製品容器である、態様１～４３のいずれか１つに記載の方法。
（４５）命令を含む非一時的コンピュータ可読媒体であって、命令は、コンピューティングデバイス上の１つ以上のプロセッサによって実行されるときに、１つ以上のプロセッサに、態様１～４４のいずれか１つに記載の方法を実行させるように動作可能である、非一時的コンピュータ可読媒体。
（４６）システムであって、充填コンポーネントを使用して、容器が流体で充填される充填プロセスを実施するように構成された充填機と、容器が流体で充填されている間、容器のビデオをキャプチャするように構成された画像キャプチャデバイスと、プログラミング命令を実行して、態様１～４４のいずれか１つを含む動作を実施するように構成されたプロセッサと、を備える、システム。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【手続補正書】

【提出日】2024-03-27

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

充填コンポーネントを使用して、容器が流体で充填される充填プロセスにおける異常を検出するためのコンピュータ化された方法であって、
前記容器が前記充填コンポーネントを通して前記流体で充填されている間、前記容器のビデオをキャプチャすることと、
１つ以上のプロセッサを使用して、充填コンポーネント浸漬異常、前記容器内の流体の飛散を含む飛散異常、前記容器内の流体の滴下を含む滴下異常、又は前記充填コンポーネントが前記容器内の前記流体の表面の安全でない距離内に入る安全でない充填コンポーネント－流体距離異常のうちの１つ以上を含む前記異常を検出するように、前記ビデオの画像を分析することと、
前記検出された異常を示す警報を生成することと、を含む、方法。

【請求項2】

前記容器に前記流体を充填するように構成された充填機を、前記充填機が実施するように構成されている前記充填プロセスの１つ以上のパラメータを前記検出された異常に基づいて変更することによって、調整することを更に含む、請求項１に記載の方法。

【請求項3】

前記ビデオの追加の画像を分析することと、
前記画像若しくは前記追加の画像のうちのいずれかが前記充填コンポーネント浸漬異常を示すと判定される場合、前記充填プロセスが前記充填コンポーネント浸漬異常を有すると判定すること、又は
前記画像若しくは前記追加の画像のうちのいずれかが前記飛散異常を示すと判定される場合、前記充填プロセスが前記飛散異常を有すると判定すること、又は
前記画像若しくは前記追加の画像のうちのいずれも、前記充填コンポーネント浸漬異常を示すと判定されず、かつ、
前記画像若しくは前記追加の画像のうちの少なくとも１つが、前記充填コンポーネントと前記流体との間の最小垂直距離が閾値距離未満であることを示すと判定される場合、前記充填プロセスが前記安全でない充填コンポーネント－流体距離異常を有すると判定することと、を更に含む、請求項１又は２に記載の方法。

【請求項4】

前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記画像内の前記容器内の前記流体を識別することと、
前記充填コンポーネントと前記流体との相対位置に基づいて、前記異常を検出することと、を含む、請求項１又は２に記載の方法。

【請求項5】

前記充填コンポーネントを識別することは、前記充填コンポーネントの第１の境界ボックスを判定することを含み、
前記流体を識別することは、前記流体の第２の境界ボックスを判定することを含む、請求項４に記載の方法。

【請求項6】

前記異常を検出することは、前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複すると判定することを含む、請求項５に記載の方法。

【請求項7】

前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、閾値幅比及び閾値幅差のうちの少なくとも１つだけ大きいときに、前記検出された異常を前記充填コンポーネント浸漬異常として分類することを更に含む、請求項６に記載の方法。

【請求項8】

前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複せず、
前記充填コンポーネントの前記第１の境界ボックスのエッジと、前記流体の前記第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値距離未満であり、かつ、
前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きくないときに、前記検出された異常を前記飛散異常として分類することを更に含む、請求項５に記載の方法。

【請求項9】

前記充填コンポーネントの前記第１の境界ボックスが、前記流体の前記第２の境界ボックスと重複せず、
前記充填コンポーネントの前記第１の境界ボックスのエッジと、前記流体の前記第２の境界ボックスのエッジとの間の最小垂直距離が、第１の閾値垂直距離未満であり、かつ、
前記流体の前記第２の境界ボックスの幅が、前記充填コンポーネントの前記第１の境界ボックスの幅よりも、第２の閾値幅差だけ大きいときに、前記検出された異常を前記安全でない充填コンポーネント－流体距離異常として分類することを更に含む、請求項５に記載の方法。

【請求項10】

前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記充填コンポーネントに近接する前記画像内の領域を判定することと、
前記画像内の流体特性を判定することと、
前記流体特性に基づいて、前記領域内の前記飛散異常を検出することと、を含む、請求項１又は２に記載の方法。

【請求項11】

前記領域を判定する前に、前記充填コンポーネントが前記容器中に完全に挿入されたと判定することを更に含む、請求項１０に記載の方法。

【請求項12】

前記充填コンポーネントが前記容器中に完全に挿入されたと判定することは、
前記画像内の前記充填コンポーネントの充填コンポーネント幅、及び前記ビデオ内の前記画像に先行する１つ以上の追加の画像内の前記充填コンポーネントのそれぞれの充填コンポーネント幅を判定することと、
前記画像内の前記充填コンポーネント幅、及び前記画像に先行する前記１つ以上の追加の画像内の前記それぞれの充填コンポーネント幅に基づいて、充填コンポーネント幅の変動を判定することと、
前記充填コンポーネント幅の変動が閾値充填コンポーネント幅を下回ると判定することと、を含む、請求項１１に記載の方法。

【請求項13】

前記充填コンポーネントが前記容器中に完全に挿入されたと判定する前に、前記充填プロセスが開始したと判定することであって、前記充填プロセスが開始したと判定することは、
流体が前記画像内で検出されたかどうかを判定することと、
流体が検出されない場合、前記充填プロセスが開始していないと判定し、そうでない場合、前記充填が開始したと判定することと、を含む、判定することを更に含む、請求項１１に記載の方法。

【請求項14】

前記領域は、
前記充填コンポーネントの第１の側部における第１の領域と、
前記第１の側部とは反対の前記充填コンポーネントの第２の側部における第２の領域と、を含む、請求項１０に記載の方法。

【請求項15】

前記流体特性は、前記流体の表面内の傾斜を含み、前記領域内の前記飛散異常を検出することは、
前記傾斜が閾値を超えているかどうかを判定することと、
前記傾斜が前記閾値を超えると判定される場合、前記領域内の前記飛散異常を検出することと、を含む、請求項１０に記載の方法。

【請求項16】

前記画像内の前記流体特性を判定することは、
前記画像内の前記領域内の流体表面エッジ画素を判定することと、
前記流体表面エッジ画素に基づいて、１つ以上の流体エッジを判定することと、
前記流体表面エッジ画素の中の最大垂直座標と、前記流体表面エッジ画素の中の最小垂直座標との間の差に基づいて、前記傾斜を判定することと、を含む、請求項１５に記載の方法。

【請求項17】

前記傾斜を判定する前に、前記画像内の前記領域内の前記流体エッジから垂直エッジを除外することを更に含む、請求項１６に記載の方法。

【請求項18】

前記ビデオの前記画像を含むいくつかの連続した画像における前記流体の高さの変動が閾値を下回る場合、前記充填プロセスが完了に近づいていると判定することを更に含み、
前記画像は、前記充填プロセスが完了に近づいている時点に対応し、
前記異常を検出することは、
前記画像内の前記充填コンポーネントを識別することと、
前記画像内の前記容器内の前記流体を識別することと、
前記充填コンポーネントと前記流体との間の距離を判定することと、
前記充填コンポーネントと前記流体との間の距離が閾値距離を下回っていると判定される場合、前記充填プロセスが完了に近づいている時点で、前記安全でない充填コンポーネント－流体距離異常を検出することと、を含む、請求項１又は２に記載の方法。

【請求項19】

前記ビデオの追加の画像を分析することと、
前記画像又は前記追加の画像のうちのいずれかが前記滴下異常を示すと判定される場合、前記充填プロセスが前記滴下異常を有すると判定することと、を更に含む、請求項１又は２に記載の方法。

【請求項20】

前記異常を判定することは、
前記画像を、訓練されたニューラルネットワークモデルに提供することと、
前記訓練されたニューラルネットワークモデルを使用して、複数の分類であって、前記複数の分類のうちの少なくとも１つが、前記画像内の前記滴下異常を示す、複数の分類のうちの１つを判定することと、によって、前記画像内の前記滴下異常を検出することを含む、請求項１又は２に記載の方法。

【請求項21】

複数の訓練ビデオであって、前記複数の訓練ビデオの各訓練ビデオが、
関連付けられた流体充填プロセスをキャプチャし、
前記複数の分類のうちの１つで各々ラベル付けされた複数の訓練画像を含む、複数の訓練ビデオを取得することと、
前記複数の訓練ビデオを使用して、前記ニューラルネットワークモデルを訓練することと、を更に含む、請求項２０に記載の方法。

【請求項22】

前記充填コンポーネント又は前記流体を識別することは、
前記画像内のエッジ画素を識別することと、
前記エッジ画素に基づいて、１つ以上の境界領域を判定することと、
前記１つ以上の境界領域の各境界領域について、
前記境界領域のサイズが、充填コンポーネント又は流体のためのそれぞれの閾値領域を超えるかどうかを判定することと、
前記境界領域の前記サイズが前記それぞれの閾値を超える場合、前記境界領域を前記充填コンポーネント又は前記流体として選択することと、を含む、請求項４に記載の方法。

【請求項23】

前記画像内の前記エッジ画素を識別することは、前記ビデオ内の前記画像に先行する基準画像から前記画像を減算して、減算された画像を生成することを含み、
前記境界領域を前記充填コンポーネントとして選択することは、前記減算された画像に基づいて、前記境界領域を前記充填コンポーネントとして選択することを含む、請求項２２に記載の方法。

【請求項24】

前記画像内の前記エッジ画素を識別することは、前記画像から、前記ビデオ内の前記画像に先行する別の画像を減算して、減算された画像を生成することを含み、
前記境界領域を前記流体として選択することは、前記減算された画像に基づいて、前記境界領域を前記流体として選択することを含む、請求項２２に記載の方法。

【請求項25】

前記境界領域に基づいて、前記充填コンポーネント又は前記流体の境界ボックスを生成することを更に含み、前記境界ボックスは、前記境界領域を包含する最小矩形である、請求項２２に記載の方法。

【請求項26】

前記充填コンポーネント又は前記流体を識別することは、
前記画像と、前記ビデオ内の基準画像との間の差分画像を生成することと、
前記差分画像に基づいて、前記画像内の１つ以上のエッジを判定することと、
前記１つ以上のエッジを使用して、１つ以上の境界領域を判定することと、
前記１つ以上の境界領域の中で最も大きい領域を有する境界領域を、前記充填コンポーネント又は前記流体として選択することと、を含む、請求項４に記載の方法。

【請求項27】

前記流体は、医薬流体である、請求項１又は２に記載の方法。

【請求項28】

前記容器は、透明な薬物製品容器である、請求項１又は２に記載の方法。

【請求項29】

命令を含む非一時的コンピュータ可読媒体であって、前記命令は、コンピューティングデバイス上の１つ以上のプロセッサによって実行されるときに、前記１つ以上のプロセッサに、請求項１又は２に記載の方法を実行させるように動作可能である、非一時的コンピュータ可読媒体。

【請求項30】

システムであって、
充填コンポーネントを使用して、容器が流体で充填される充填プロセスを実施するように構成された充填機と、
前記容器が前記流体で充填されている間、前記容器のビデオをキャプチャするように構成された画像キャプチャデバイスと、
プログラミング命令を実行して、請求項１又は２を含む動作を実施するように構成されたプロセッサと、を備える、システム。

【国際調査報告】