知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-21
(54)【発明の名称】液体医薬製品の容器のための外観検査システム
(51)【国際特許分類】
G01N 21/90 20060101AFI20250214BHJP
【ＦＩ】
G01N21/90 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024545155
(86)(22)【出願日】2023-02-07
(85)【翻訳文提出日】2024-08-16
(86)【国際出願番号】 US2023012458
(87)【国際公開番号】W WO2023154256
(87)【国際公開日】2023-08-17
(31)【優先権主張番号】63/307,931
(32)【優先日】2022-02-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/316,763
(32)【優先日】2022-03-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500049716
【氏名又は名称】アムジエン・インコーポレーテツド
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】ピアソン，トーマス・クラーク
(72)【発明者】
【氏名】ミルン，グラハム・エフ
【テーマコード（参考）】
2G051
【Ｆターム（参考）】
2G051AA14
2G051AA15
2G051AA18
2G051AA28
2G051AB07
2G051AB15
2G051BA01
2G051BA11
2G051CA03
2G051CA04
2G051CB02
2G051CC07
(57)【要約】
自動外観検査（ＡＶＩ）システムが、検査対象を通る光軸を有する少なくとも１つの側方視撮像装置と、光軸に軸方向にアライメントされた近位偏光フィルムと、光軸に軸方向にアライメントされた液晶デバイスと、光軸に軸方向にアライメントされた遠位偏光フィルムと、遠位偏光フィルムに向けて照明を放出するように向けられた少なくとも１つの光源とを備え得る。代替的又は追加的に、ＡＶＩシステムは、容器の側壁を通って容器に入る光軸を有する側方視撮像装置と、容器の中心軸に同軸にアライメントされ、容器の下方にあり、容器の底部に向けて光を放出するように向けられたリングライトとを備え得る。ＡＶＩシステムはまた、中心軸に同軸にアライメントされ、容器の底部を見るように向けられた底部撮像装置を備え得る。
【特許請求の範囲】
【請求項1】
少なくとも部分的に半透明である検査対象を通る光軸を有する側方視撮像装置であって、前記検査対象が前記側方視撮像装置から第１の距離に配置される、側方視撮像装置と、前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第２の距離に配置され、前記光軸に垂直に向けられた近位偏光フィルムであって、前記第２の距離が前記第１の距離よりも短い、近位偏光フィルムと、
前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第３の距離に配置され、前記近位偏光フィルムに平行に向けられた液晶デバイスであって、前記第３の距離が、前記第２の距離よりも長く、前記第１の距離よりも短い、液晶デバイスと、
前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第４の距離に配置され、前記近位偏光フィルム及び前記液晶デバイスに平行に向けられた遠位偏光フィルムであって、前記第４の距離が前記第１の距離よりも長い、遠位偏光フィルムと、
前記遠位偏光フィルムに向けて照明を放出するように向けられた光源と
を備える、自動外観検査システム。
【請求項2】
前記検査対象が容器である、請求項１に記載のシステム。
【請求項3】
前記容器が、バイアル、シリンジ、又はカートリッジを含む群から選択される、請求項２に記載のシステム。
【請求項4】
前記容器の中心軸に同軸にアライメントされ、前記容器の下方にあり、前記容器の底部に向けて光を放出するように向けられたリングライトを更に備える、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
前記中心軸に同軸にアライメントされ、前記容器の前記底部を見るように向けられた底部撮像装置を更に備える、請求項１～４のいずれか一項に記載のシステム。
【請求項6】
容器回転装置、又はそれぞれの光軸が検査対象のそれぞれの側面の少なくとも一部を見るように向けられた１つ以上の追加の側方視撮像装置の少なくとも一方を更に備える、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記１つ以上の追加の側方視撮像装置が、４つの側方視撮像装置から構成される、請求項６に記載のシステム。
【請求項8】
少なくとも部分的に半透明である検査対象を撮像する方法であって、前記方法が、光源から照明を放出することと、
遠位偏光フィルムを使用して、前記光源から放出された前記照明を偏光させることと、
前記偏光された照明を、前記検査対象の少なくとも一部、次に液晶デバイス、次に近位偏光フィルムに通すことと、
側方視撮像装置によって前記検査対象の１つ以上の画像を取り込むことであって、前記側方視撮像装置が前記検査対象の側壁と交差する光軸を有する、ことと
を含む、方法。
【請求項9】
前記検査対象が容器である、請求項８に記載の方法。
【請求項10】
前記容器が、バイアル、シリンジ、又はカートリッジを含む群から選択される、請求項９に記載の方法。
【請求項11】
１つ以上のプロセッサによって、前記容器及び／又は前記容器の内容物に関連する少なくとも１つの欠陥を検出するために、前記容器の前記１つ以上の画像を分析することを更に含む、請求項８～１０のいずれか一項に記載の方法。
【請求項12】
前記少なくとも１つの欠陥が、前記容器内の粒子又は繊維を含む、請求項１１に記載の方法。
【請求項13】
容器の側壁を通って前記容器に入る光軸を有する側方視撮像装置であって、前記容器が少なくとも部分的に半透明であり、前記側方視撮像装置から第１の距離に配置される、側方視撮像装置と、前記容器の中心軸に同軸にアライメントされ、前記容器の下方にあり、前記容器の底部に向けて光を放出するように向けられたリングライトと、
前記容器を支持及び／又は固定する保持手段と
を備える、自動外観検査システム。
【請求項14】
容器回転装置、又はそれぞれの光軸が前記容器のそれぞれの側面の少なくとも一部を見るように向けられた１つ以上の追加の側方視撮像装置の少なくとも一方を更に備える、請求項１３に記載のシステム。
【請求項15】
前記１つ以上の追加の側方視撮像装置が、４つの側方視撮像装置から構成される、請求項１４に記載のシステム。
【請求項16】
前記中心軸に同軸にアライメントされ、前記容器の前記底部を見るように向けられた底部撮像装置を更に備える、請求項１３～１５のいずれか一項に記載のシステム。
【請求項17】
前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第２の距離に配置され、前記光軸に垂直に向けられた近位偏光フィルムであって、前記第２の距離が前記第１の距離よりも短い、近位偏光フィルムと、前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第３の距離に配置され、前記近位偏光フィルムに平行に向けられた液晶デバイスであって、前記第３の距離が、前記第２の距離よりも長く、前記第１の距離よりも短い、液晶デバイスと、
前記光軸に軸方向にアライメントされ、前記側方視撮像装置から第４の距離に配置され、前記近位偏光フィルム及び前記液晶デバイスに平行に向けられた遠位偏光フィルムであって、前記第４の距離が前記第１の距離よりも長い、遠位偏光フィルムと、
前記遠位偏光フィルムに向けて照明を放出するように向けられた光源と
を更に備える、請求項１３～１６のいずれか一項に記載のシステム。
【請求項18】
容器回転装置を更に備える、請求項１３～１７のいずれか一項に記載のシステム。
【請求項19】
少なくとも部分的に半透明であり、液体サンプルを保持する容器を撮像する方法であって、前記方法が、リングライトによって前記容器を照明することであって、前記リングライトが、前記容器の中心軸に同軸にアライメントされ、前記容器の下方にあり、前記容器の底部に向けて光を放出するように向けられる、照明することと、
側方視撮像装置によって１つ以上の側方視画像を取り込むことであって、前記側方視撮像装置が、前記容器の側壁を通って前記容器に入る光軸を有する、取り込むことと、
前記中心軸に同軸にアライメントされ、前記容器の前記底部を見るように向けられた底部撮像装置によって１つ以上の底部画像を取り込むことと
を含む、方法。
【請求項20】
１つ以上のプロセッサによって、前記容器及び／又は前記容器の内容物に関連する少なくとも１つの欠陥を検出するために、前記容器の前記１つ以上の側方視画像を分析することを更に含む、請求項１９に記載の方法。
【請求項21】
前記少なくとも１つの欠陥が、前記容器内の粒子又は繊維を含む、請求項２０に記載の方法。
【請求項22】
前記少なくとも１つの欠陥が、傷のある容器シールを含む、請求項２０に記載の方法。
【請求項23】
１つ以上のプロセッサによって、前記容器及び／又は前記容器の内容物に関連する少なくとも１つの欠陥を検出するために、前記容器の前記１つ以上の底部画像を分析することを更に含む、請求項１９～２２のいずれか一項に記載の方法。
【請求項24】
前記少なくとも１つの欠陥が、前記容器内の粒子又は繊維を含む、請求項２３に記載の方法。
【請求項25】
１つ以上のプロセッサによって、前記容器及び／又は前記容器の内容物に関連する少なくとも１つの欠陥を分類するために、前記容器の前記１つ以上の側方視画像を分析することを更に含む、請求項１９～２４のいずれか一項に記載の方法。
【請求項26】
前記容器及び／又は前記容器の内容物に関連する前記少なくとも１つの欠陥が、前記容器内の粒子、前記容器内の繊維、又は傷のある容器シールのうちの１つに分類される、請求項２５に記載の方法。
【請求項27】
１つ以上のプロセッサによって、前記容器及び／又は前記容器の内容物に関連する少なくとも１つの欠陥を分類するために、前記容器の前記１つ以上の底部画像を分析することを更に含む、請求項１９～２６のいずれか一項に記載の方法。
【請求項28】
前記容器及び／又は前記容器の内容物に関連する前記少なくとも１つの欠陥が、前記容器内の粒子又は前記容器内の繊維に分類される、請求項２７に記載の方法。
【請求項29】
１つ以上のプロセッサによって、前記容器を合格又は不合格のいずれかに分類するために、前記容器の前記１つ以上の側方視画像を分析することを更に含む、請求項１９～２８のいずれか一項に記載の方法。
【請求項30】
１つ以上のプロセッサによって、前記容器を合格又は不合格のいずれかに分類するために、前記容器の前記１つ以上の底部画像を分析することを更に含む、請求項１９～２９のいずれか一項に記載の方法。
【請求項31】
前記容器がバイアルである、請求項１９～３０のいずれか一項に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
本出願は、一般に、液体医薬製品の容器の検査のための外観検査システムに関し、より詳細には、液体の意図的な攪拌なしに、液体医薬製品の容器（ｃｏｎｔａｉｎｅｒ）／器（ｖｅｓｓｅｌ）を撮像する技法に関する。
【背景技術】
【0002】
製造された製剤の品質管理手順等の特定の状況では、サンプル（例えば、流体サンプル）を、様々な粒子（例えば、タンパク質凝集物又はデブリ）の有無に関して調べる必要がある。適用される品質基準の下で、所与のサンプルの合否は、サンプル内に含まれる望ましくない粒子の数及び／又はサイズ等のメトリックに依存し得る。サンプルに許容できないメトリックがある場合、サンプルは、不合格とされて破棄され得る。
【0003】
同様に、関連する容器（例えば、バイアル、カートリッジ、シリンジ、器、シール等）を、様々な欠陥（例えば、バイアルシールの傷、容器の亀裂等）の有無に関して検査する必要がある。しばしば、様々な欠陥（例えば、粒子の有無、容器の底部に沈殿している粒子の有無、容器内の製品の表面に浮遊している粒子の有無、容器の欠陥、製品の欠陥等）を検出するために、様々な検査システム（例えば、手動又は自動外観検査システム等）が利用される。
【0004】
医薬品の商業生産に通常関連する量を処理するために、粒子及び容器の検査タスクは、ますます自動化されている。しかしながら、自動検査システムは、システムを複雑にすることなく、良好な粒子測定及び容器忠実度を実現するための様々な障壁を克服するのに苦労してきた。例えば、液体医薬製品はガラスバイアルに入れられて流通することが多い。これらのガラスバイアルを、異物及びバイアルシールクリンプの欠陥に関して検査することは、関連する自動外観検査（ＡＶＩ）プロセスにおいて最も難しい課題の１つである。公知のＡＶＩシステムでは困難である理由の１つは、粒子を確実に検出するためには液体の攪拌が必要であることである。攪拌を必要とするＡＶＩシステムは、とりわけ、関連する液体の流体の特性及び充填レベルに大きく依存する。
【0005】
例えば、液体で満たされたバイアル内で粒子を検出する既知の方法の１つは、バイアルを高速で回転させ（例えば、１０００～３０００ＲＰＭ）、バイアルが回転する際の一連の画像を取り込むことを含む。重い粒子は、遠心力によってバイアルの側壁の内面に向かって投げ飛ばされ得る。バイアルをバックライトで照らしながら、撮像装置から取得した一連の画像から粒子のシルエットが検出され得る。バイアルを回転させながら、少なくとも１つの静止した撮像装置から取得された一連の画像に基づいてバイアルの全周が検査され得る。
【0006】
別の例として、液体で満たされたバイアル内で粒子を検出する別の方法は、バイアルを回転させ、回転するバイアルを突然停止させることを含む（すなわち、「スピンストップ」法）。そして、液体が動いている間に、バイアルの複数の画像が取り込まれる。スピンストップ法では、例えば、バイアルの後続画像に関連する画像データを、バイアルの先行画像に関連するそれぞれの画像データと比較して、粒子の有無、及び任意選択で粒子の時系列軌跡を推測することができる。
【0007】
液体で満たされたバイアル内で粒子を検出するこれらの既知の技法は、関連する液体が意図的に攪拌されれば、欠陥を検出するのに適し得る。しかしながら、各方法は、バイアルの回転速度、バイアルの回転減速度、バイアル内の液体の流体粘度、バイアル内の製品の充填レベル、バイアル内の液体の流体表面張力等の幾つかのパラメータに大きく依存する。加えて、関連するバイアルの偽の不合格が、回転速度、減速度、流体粘度、充填レベル、流体の表面張力、気泡、ガラス上の表面欠陥、バイアルのネック領域に形成される液体の液滴等のパラメータによって、関連するＡＶＩシステム内の他の撮像装置ステーションから反射された光から生じ得る。
【0008】
バイアル中で液体を攪拌することにより、一部の粒子の検出が改善され得るが、液体を攪拌しすぎると、バイアル内での気泡の形成、バイアルのネック部での亀裂に見える液滴の形成等の攪拌現象が発生し得る。新しい製品の回転及び検査パラメータを最適化するのに必要な時間に少なくとも部分的に起因して、液体で満たされたバイアル内で粒子を検出するための既知の技法は、多品種少量（ＨＭＬＶ）生産環境（例えば、臨床業務、小数バッチの製品等）には理想的ではない。
【発明の概要】
【課題を解決するための手段】
【0009】
本明細書で説明される実施形態は、液体製品の容器（例えば、医薬品容器、バイアル、器等）の従来の外観検査技法を改善するシステム及び方法に関する。特に、本発明を実施するシステムは、容器内の液体の攪拌に意図的に依拠しない自動外観検査（ＡＶＩ）システムを使用して二次元（２Ｄ）画像を取り込むことにより、液体を収容する器の撮像を提供する。
【0010】
本明細書で説明されるように、ＡＶＩシステムが、少なくとも部分的に半透明である検査対象（例えば、容器、器、バイアル、シリンジ、カートリッジ等）を通る光軸を有する側方視撮像装置を備え得る。検査対象は側方視撮像装置から第１の距離に配置される。ＡＶＩシステムはまた、光軸に軸方向にアライメントされ、側方視撮像装置から第２の距離に配置され、光軸に垂直に向けられた近位偏光フィルムを備え得る。第２の距離は第１の距離よりも短い。ＡＶＩシステムは、光軸に軸方向にアライメントされ、側方視撮像装置から第３の距離に配置され、近位偏光フィルムに平行に向けられた液晶デバイスを更に備え得る。第３の距離は、第２の距離よりも長く、第１の距離よりも短い。ＡＶＩシステムは、光軸に軸方向にアライメントされ、側方視撮像装置から第４の距離に配置され、近位偏光フィルム及び液晶デバイスに平行に向けられた遠位偏光フィルムをまた更に備え得る。第４の距離は第１の距離よりも長い。ＡＶＩシステムはまた、遠位偏光フィルムに向けて照明を放出するように向けられた光源を備え得る。
【0011】
検査対象を撮像するコンピュータ実施方法が、光源から照明を放出することを含み得る。本方法はまた、遠位偏光フィルムを使用して、光源から放出された照明を偏光させることを含み得る。本方法は、検査対象に向けて、液晶デバイスを通して、近位偏光フィルムを通して、偏光された照明を透過させることを更に含み得る。本方法は、側方視撮像装置によって検査対象の側壁の画像を取り込むことであって、側方視撮像装置が検査対象の側壁と交差する光軸を有する、ことをまた更に含み得る。
【0012】
代替的又は追加的に、自動外観検査（ＡＶＩ）システムが、容器の側壁を通って容器に入る光軸を有する側方視撮像装置を備え得る。容器は、少なくとも部分的に半透明であり得る。ＡＶＩシステムはまた、容器の中心軸に同軸にアライメントされ、容器の下方にあり、容器の底部に向けて光を放出するように向けられたリングライトを備え得る。
【0013】
ＡＶＩシステムは、容器を支持及び／又は固定する保持手段を更に備え得る。本明細書で説明されるように、ＡＶＩシステムはまた、中心軸に同軸にアライメントされ、容器の底部を見るように向けられた底部撮像装置を備え得る。代替的又は追加的に、ＡＶＩシステムは、容器の中心軸及び／又は関連する光源に対して撮像装置の光軸を再配向する光軸再配向機構を備え得る。
【0014】
液体サンプルを保持する容器を撮像するコンピュータ実施方法が、リングライトによって容器を照明することであって、リングライトが、容器の中心軸に同軸にアライメントされ、容器の下方にあり、容器の底部に向けて光を放出するように向けられる、ことを含み得る。本方法はまた、側方視撮像装置によって側方視画像を取り込むことであって、側方視撮像装置が容器の側壁と交差して容器に入る光軸を有すし、容器が少なくとも部分的に半透明である、ことを含み得る。
【0015】
多品種少量又は他の製造環境で、取り込まれた画像に基づいて、容器（例えば、バイアル、シリンジ、カートリッジ等）を、異物若しくは繊維、及び／又は他の欠陥（例えば、損傷したクリンプ、傷のあるシール等）に関して検査する新規な方法が提供される。
【0016】
本明細書で説明される図面は、説明のために含められたものであり、本開示を限定するものではないことが当業者には理解されよう。図面は、必ずしも縮尺通りではなく、代わりに本開示の原理を示すことに重点が置かれている。幾つかの場合、記載される実施態様の様々な態様は、記載される実施態様の理解を促進するために誇張又は拡大して示される場合があることを理解されたい。図面では、種々の図面の全体を通した同様の参照符号は、全般的に、機能的に類似し、且つ／又は構造的に類似する構成要素を指す。
【図面の簡単な説明】
【0017】
【図1A】検査対象の両側且つ撮像装置と光源との間に偏光光学要素を有する例示的な自動外観検査システムの様々な図を示す。
【図1B】検査対象の両側且つ撮像装置と光源との間に偏光光学要素を有する例示的な自動外観検査システムの様々な図を示す。
【図1C】典型的な液晶デバイスの様々な状態を示す。
【図2】容器の側壁を通って容器に入る光軸を有する撮像装置と共に、容器の中心軸に同軸に配置され、容器の底部に向けて光を放出するように向けられたリングライトを有する別の例示的な自動外観検査システムを示す。
【図6】自動外観検査（ＡＶＩ）のための１つ以上のニューラルネットワークの訓練及び／又は使用に関連する、本明細書で説明される様々な技法を実装し得る例示的なシステムの簡略化したブロック図である。
【発明を実施するための形態】
【0018】
上で導入され、以下でより詳細に論じる様々な概念は、多くの仕方のいずれかにより実施されてよく、説明される概念はどの特定の実施態様にも限定されない。複数の実施態様の例を説明目的で提供する。
【0019】
本開示の自動外観検査（ＡＶＩ）システムは、容器の内部に液体製品を含む容器（例えば、図５Ｃのバイアル５０５ｃ、図５Ｂのカートリッジ５０５ｂ、図５Ａのシリンジ５０５ａ等）の検査に関連する複雑さを軽減する。例えば、本開示のＡＶＩシステムは、容器の回転速度、容器の減速度、容器内の製品の流体粘度、容器内の製品の充填レベル、容器内の製品の流体表面張力、容器内の気泡、容器のガラス（又はプラスチック等）の表面欠陥、容器のネック領域に形成される液体の液滴、関連するＡＶＩシステム内の他の撮像装置ステーションから反射される光等の変数を排除しないまでも減らすことができる。本明細書では主にＡＶＩシステムを参照して実施形態を説明するが、様々な態様が手動外観検査システムにおいても適用され得ることを理解されたい。
【0020】
本開示のＡＶＩシステムは、既知のシステムと比較して、関連する検査プロセスのスループット速度の向上に対応し得る。追加的又は代替的に、ＡＶＩシステムは、新しい製品の自動検査レシピのセットアップに必要な時間を短縮して、ＡＶＩシステムを多品種少量生産シナリオ（例えば、臨床業務、小数バッチの製品等）に特に有用なものにすることができる。本明細書の特定の実施形態について説明するように、容器内の液体製品を意図的に攪拌することなくバイアル又は他の容器の画像を取り込むことにより、関連する検査レシピを最適化する際に様々な流体特性がもたらす複雑さを実質的に排除することができる。
【0021】
図１Ａ及び図１Ｂは、検査対象１０５の両側且つ撮像装置１１０と光源１３０との間に偏光光学要素１１５、１２５を有する例示的な自動外観検査（ＡＶＩ）システム１００の様々な図を示す。「撮像装置」は、カメラ（例えば、ＣＣＤカメラ）単独でも、１つ以上の外部光学コンポーネント（例えば、レンズ、ミラー等）を含み得る。本明細書で使用される場合、撮像装置の「光軸」とは、光軸が検査される対象（例えば、容器）を通る領域における撮像装置の光路の軸を指す。よって、例えば、ミラーを使用した結果、撮像装置自体が中心軸に平行に走る方向を向いていても、撮像装置の「光軸」が容器の中心軸に直交することになり得る。多数のミラーが容器の周囲に配置されて、容器を様々な視点から見たものを、単一の撮像装置１１０の結果として得られる視野内に組み合わせることができる。
【0022】
ＡＶＩシステム１００は、少なくとも部分的に半透明である検査対象１０５を通る光軸１１１を有する側方視撮像装置１１０を備え得る。図１Ａ及び図１Ｂは、検査対象１０５がバイアルであることを示しているが、検査対象１０５は、代わりに、異なるタイプの半透明又は部分的に半透明である容器（例えば、シリンジ５０５ａ、カートリッジ５０５ｂ等）、又は容器以外の対象であってもよい。検査対象１０５は、側方視撮像装置１１０から第１の距離に配置される。ＡＶＩシステム１００はまた、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第２の距離に配置され、光軸１１１に垂直に向けられた近位偏光フィルム１１５を備え得る。第２の距離は第１の距離よりも短い。ＡＶＩシステム１００は、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第３の距離に配置され、近位偏光フィルム１１５に平行に向けられた液晶デバイス１２０を更に備え得る。第３の距離は、第２の距離よりも長く、第１の距離よりも短い。ＡＶＩシステム１００は、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第４の距離に配置され、近位偏光フィルム１１５及び液晶デバイス１２０に平行に向けられた遠位偏光フィルム１２５をまた更に備え得る。第４の距離は第１の距離よりも長い。ＡＶＩシステム１００はまた、遠位偏光フィルム１２５に向けて照明を放出するように向けられた光源１３０を備え得る。光源１３０は、少なくとも１つのバックライト、角度付き照明等を含み得る。本明細書で使用される場合、「近位」及び「遠位」という相対的な用語は、撮像装置（例えば、側方視撮像装置１１０）に対する相対的な配置を示す。
【0023】
本明細書で使用される場合、物体が特定の基準軸に「軸方向にアライメントされる」とは、基準軸が物体と交差する、又は物体を通るように物体が配置されることを意味する。ＡＶＩシステム１００に特に関連して、近位偏光フィルム１１５、液晶デバイス１２０、検査対象１０５、及び遠位偏光フィルム１２５は、側方視撮像装置１１０の光軸１１１に軸方向にアライメントされるため、光源１３０から放出された光は、側方視撮像装置１１０が受ける前に、遠位偏光フィルム１２５、検査対象１０５、液晶デバイス１２０、及び近位偏光フィルム１１５を通る。幾つかの実施形態では、撮像装置１１０は「側方視」撮像装置ではない。例えば、要素１１０、１１５、及び１２０は、サンプルを収容するウェルの下方に配置され得、要素１２５及び１３０はウェルの上方に配置され得る（又はその逆も同様である）。
【0024】
しかしながら、ＡＶＩシステム１００は、図１Ａ及び図１Ｂに示す構成を使用する場合、バイアル又は他の容器における粒子検査に特に有用であり得る。側方視撮像装置１１０は水平に向けられるように示されているが、撮像装置１１０は、代わりに、側方視撮像装置１１０の光軸１１１が撮像される容器１０５の中心軸１０６に垂直ではないように、上又は下に傾けられてもよい。例えば、側方視撮像装置１１０と同様の複数の撮像装置が、関連する光軸１１１が図１Ａ及び図１Ｂに示す光軸１１１に対してわずかに上又はわずかに下に向けられるように、異なる「仰角」に向けられてもよい。これは、例えば、複数の二次元画像から、容器１０５及びその内容物の合成三次元画像を生成するのに特に有用であり得る。
【0025】
（図１３Ａ及び図１３Ｂに対して）図１４Ａ及び図１４Ｂに示すように、繊維１４０９の検出は、偏光フィルム１１５及び１２５から利益を得ることができる。撮像装置１１０は、光源１３０が通電され、液晶デバイス１２０が通電されていないとき、図１４Ａ及び図１４Ｂの画像１４００ａ、ｂを取得し得る。撮像装置１１０は、光源１３０及び液晶デバイス１２０の両方が通電されるとき、図１３Ａ及び図１３Ｂの画像１３００ａ、ｂを取得し得る。
【0026】
図１Ｂは、入射側の偏光フィルム１２５を取り除き、光源１３０の前に遠位偏光フィルム１２５を配置して、遠位偏光フィルム１２５と液晶デバイス１２０との間にバイアル１０５があるようにすることによるＡＶＩシステム１００の修正形態を示しており、（それぞれ液晶デバイス１２０を非通電又は通電することによって）偏光効果をオン又はオフに切り替えて、フィルタされた画像及びフィルタされていない画像の両方を取り込むことができる。したがって、ＡＶＩシステム１００は、機械的な部品を使用することなしに、電子的に偏光のオン／オフを切り替えることができる。
【0027】
クリンプ上の欠陥及び容器ガラスの亀裂の検査等の他のタイプの検査は、偏光フィルタが設置されていると悪影響を受け得る。よって、液晶デバイス１２０が、関連する検査を最小限の数の撮像装置で高速に実行し得るように、偏光フィルタのオン／オフを迅速に切り替えることができる（すなわち、ある画像が、液晶デバイス１２０に通電した状態で取得され得、別の画像が、液晶デバイス１２０が非通電の状態で取得され得る）。
【0028】
図１Ｃは、典型的に構築された偏光デバイス１００ｃを示し、機能図を示している。デバイス１００ｃは、液晶セル１２０ｃの両側に２枚の偏光フィルム１１５ｃ、１２５ｃを有し、遠位偏光フィルム１２５ｃは近位偏光フィルム１１５ｃと９０°位相がずれている。電荷１５６ｃは、液晶を整列させ、デバイス１００ｃに入射したのと同じ光の偏光を維持させる。非通電時、結晶は遠位偏光フィルム１２５ｃからの光を近位偏光フィルム１１５ｃと同位相になるように回転させる。換言すれば、偏光デバイス１００ｃが通電されていないとき、デバイスは光を９０度回転させる。一方、偏光デバイス１００ｃが通電されると、結晶は整列し、光を回転させない。典型的な偏光デバイス１００ｃは、デバイス１００ｃがセル１２０ｃの両側に偏光フィルム１１５ｃ、１２５ｃを備えるため、「電子シャッタ」として使用され得る。これにより、非通電時には光を通し、通電時には光を遮ることができる。注目すべきことに、図１Ａ及び図１ＢのＡＶＩシステム１００は、フィルム１２５が取り外され、図１Ａ及び図１Ｂに示すように遠位偏光フィルム１２５により再配置された液晶デバイス１２０の実施形態を表し得る。偏光デバイス１００ｃはねじれネマティックデバイスとして示されているが、デバイス１００ｃは、任意の適切なセル１２０ｃ（例えば、スメクチックセル、コレステリックセル等）を含み得る。
【0029】
ＡＶＩシステム１００は、偏光が繊維（例えば、図１４Ａ及び図１４Ｂの繊維１４０９）等の特定のタイプの欠陥の検出を改善する用途に特に有用である。一方、液晶デバイス１２０が通電されていない場合、他のタイプの欠陥（例えば、シールクリンプの欠陥、バイアルガラスの亀裂等）は、背景ノイズ（例えば、気泡、液滴等）に対してコントラストが低くなり得る。光源から放出している光と撮像装置１１０に入射する光との間の偏光角度は、液晶デバイス１２０を使用して０度～９０度の偏光で切り替えられ得る。
【0030】
図２は、リングライト２４０の中心軸２４１が、容器２０５の中心軸２０６に同軸にアライメントされ、容器２０５の底部に向けて光を放出するように向けられた、別の例示的なＡＶＩシステム２００を示している。図２（並びに図３及び図４）は、容器２０５がバイアルであることを示しているが、容器２０５は、代わりに、異なるタイプの半透明又は部分的に半透明である容器（例えば、シリンジ５０５ａ、カートリッジ５０５ｂ、バイアル５０５ｃ等）であってもよい。側方視撮像装置２１０が、容器２０５の側壁２１２を通って容器２０５に入る光軸２１１を有する。ＡＶＩシステム２００は、容器２０５を支持及び／又は固定する保持手段（図２に示さず）を更に備え得る。可能な保持手段については、後で詳しく論じる。
【0031】
本明細書で使用される場合、物体が特定の基準軸に「同軸にアライメントされる」とは、物体の軸（例えば、物体の中心軸２０６）が基準軸に実質的にアライメントされる（基準軸と実質的に同じである）ように物体が配置されることを意味する。ＡＶＩシステム２００に特に関連して、リングライト２４０の中心軸２４１を容器２０５の中心軸２０６に同軸にアライメントすることにより、リングライト２４０から放出された光は、容器２０５の底部全体及び周囲部の周りに均一に投射され得る。
【0032】
ＡＶＩシステム２００は、バイアルクリンプの傷欠陥の検出に特に適する。実際、一般に底部撮像装置（例えば、図３の底部撮像装置３３５）のためにセットアップされたリングライト２４０は、画像（例えば、図１２Ａ及び図１２Ｂの画像１２００ａ、ｂ）がリングライト２４０を通電した状態で側方視撮像装置２１０から取得された場合に、クリンプの検査に特に有用である。注目すべきは、従来のＡＶＩセットアップを使用した場合、傷欠陥１１０９は、クリンプ１２０８で検出するのが最も困難な欠陥のうちの１つである。例えば、従来の外観検査システムは、容器シールの濃淡の違いに起因して、容器を誤って不合格にすることがある（つまり、シールの濃淡の違いが、従来のＡＶＩシステムには、傷欠陥に見えることがある）。ＡＶＩシステム２００は、この種の誤った不合格を減らすことができる。
【0033】
クリンプ検出と同じ利点（例えば、検査速度、欠陥の明確さ等）の幾つかが、粒子検査にも当てはまる。例えば、容器内の液体を意図的に攪拌しないＡＶＩシステムは、新しい容器タイプ及び／又は新しい製品のためのＡＶＩシステムセットアップを簡素化し得る。加えて、容器内の液体を意図的に攪拌しないＡＶＩシステムは、粒子検出において粒子の動きに依存しない。このことは、容器が、容器の底部を通してだけでなく、側面において複数の角度から検査される場合に特に有利である（例えば、図３のＡＶＩシステム３００）。光及び影の分散が少ない等、ＡＶＩシステム２００の他の利点は、静止粒子の識別を改善し得る。
【0034】
図３は、図１Ａ及び図２のシステムを組み合わせ、容器３０５の中心軸に同軸にアライメントされ、容器３０５の底部を見るように向けられた光軸３３６を有する底部撮像装置３３５を更に加えた、更なる例示的なＡＶＩシステム３００を示している。攪拌なしでは、ほとんどの粒子はバイアルの底部に沈殿し、底部撮像装置３３５から得られた画像において良好なコントラストで示される傾向がある。側方視撮像装置３１０は、繊維及び浮遊粒子、並びに亀裂、ガラスの他の欠陥、及びクリンプ領域の検査に使用され得る。
【0035】
ＡＶＩシステム３００は、ＡＶＩプロセスのボトルネックとなり得るバイアル３０５を回転させる必要がない（すなわち、ランプアップ、写真撮影、ランプダウンがない）ため、回転ベースの検査よりも速いものであり得る。ＡＶＩシステム３００は、ボトルネックの課題を軽減し得、よりリアルタイムに近いＡＶＩを可能にし得る。ＡＶＩシステム３００はまた、様々なタイプの流体／容器に対してどの攪拌速度が過剰であるかを決定するための実験が不要であるため、結果として、セットアップ／プログラミングをより迅速にすることができる。ＡＶＩシステム３００の精度は、回転ベースの技法を含む方法にかなり匹敵し得る。ＡＶＩシステム３００は、例えば液体製品を収容するバイアル内で、繊維だけでなく、ガラス粒子及び金属粒子を検出し得る。
【0036】
ＡＶＩシステム３００は、容器３０５を支持及び／又は固定する保持手段３４５（例えば、容器をゆっくり回転させ得るガラス板、カルーセル、スターホイール、又はロボットアーム等）を備え得る。保持手段３４５はまた、本明細書でより詳細に説明される光軸再配向機構としても機能し得る。２つの撮像装置３１０、３３５を異なる照明構成（例えば、バックライト３３０及びリングライト３４０）と組み合わせることにより、自動外観検査システム３００に求められる検査のほとんどを実行することができる。撮像装置の数を減らし、攪拌及び流体運動の必要性をなくすことは、一般にＨＭＬＶ業務に必要とされる新しい製品のセットアップ及び特性評価にかかる時間を短縮するのを助ける。ＡＶＩシステム３００のこのような構成を使用する物体検出は、すべての粒子及びクリンプ欠陥を優れて成功裏に検出することが判明した。その結果、３００μｍの金属粒子では９４％、１０００μｍの金属粒子では１００％、ガラス粒子では８５％、繊維では９２％と、手作業による検査を上回る検出率を示し、いずれにも誤った不合格（すなわち、良サンプルが欠陥ありと分類されること）はなかった。比較として、従来のＡＶＩ機器では、検査を行うためには、１０種類を超える撮像装置と組み合わせた攪拌を必要とし得る。
【0037】
図４は、ＡＶＩシステム３００と類似しているが、追加の側方視撮像装置を使用する、また更なる例示的なＡＶＩシステム４００を示している。ＡＶＩシステム２００又はＡＶＩシステム３００では、バイアルクリンプの傷の検査等の幾つかの検査プロセスは、容器の周囲部の周りの画像をすべての側面の視点から取得し得るように、バイアルをゆっくりと回転させることを必要とする。このことは、検査プロセスを著しく遅くし得る。しかしながら、図４のように５つの側方視撮像装置４１０を配置することにより、容器４０５を回転させる必要なしに、容器４０５全体を検査することができる。したがって、複数の側方視撮像装置４１０によって、各撮像装置４１０が容器に対して異なる光軸を有する状態で、一連の画像が取得され得る。
【0038】
図４は、容器４０５の周囲部の周りに５つの撮像装置４１０を配置することにより、容器４０５を回転させる必要性を緩和した特定の実施形態を示している。容器４０５を粒子及び容器側壁４１２の亀裂又は欠けに関して完全に検査するには、容器４０５の周囲部の周りで５枚の画像、すなわち７２度ごとの画像を撮影すれば十分である。しかしながら、他の実施形態は、より多い（例えば、６つ）又はより少ない（例えば、４つ）の側方視撮像装置４１０を備えてもよい。多数のミラーが容器４０５の周囲に配置されて、容器４０５を様々な視点から見たものを、単一の撮像装置４１０の結果として得られる視野内に組み合わせることができる。
【0039】
図４から分かるように、ＡＶＩシステム４００はまた、容器４０５及びリングライト４４０の中心軸に同軸にアライメントされ、容器４０５の底部を見るように向けられた底部撮像装置４３５を備え得る。
【0040】
システム４００は、側壁４１２に対して光軸の向きを変える光軸再配向機構（それぞれが独自に向いた光軸を有する複数の撮像装置４１０）を備え得る。光軸再配向機構（それぞれが独自に向いた光軸を有する複数の撮像装置４１０）は、容器回転装置を備え得る。代替的又は追加的に、光軸再配向機構は、それぞれが容器の側壁を通るそれぞれの光軸を有する複数の側方視撮像装置４１０を容器の周囲部４０５の周囲に備え得る。
【0041】
図５Ａ～図５Ｃは、特定の医薬の背景において、図１Ａ及び図１Ｂの外観検査システム１００、図２の外観検査システム２００、図３の外観検査システム３００、又は図４の外観検査システム４００によって撮像されるサンプルとして使用され得る、様々な例示的な容器タイプを示している。最初に図５Ａを参照すると、例示的なシリンジ５０５ａは、中空バレル５０２と、フランジ５０４と、バレル５０２の内部に可動流体シールを提供するプランジャ５０６と、シリンジ針（図５Ａには示さず）を覆う針シールド５０８とを備える。例えば、バレル５０２及びフランジ５０４は、ガラス及び／又はプラスチックから形成されてもよく、プランジャ５０６は、ゴム及び／又はプラスチックから形成されてもよい。針シールド５０８は、シリンジ５０５ａの肩部５１０によって間隙５１２だけ隔てられる。シリンジ５０５ａは、バレル５０２内及びプランジャ５０６の上方に液体（例えば、医薬品）５１４を収容する。典型的には、液体５１４の上部はメニスカス５１６を形成し、その上に空隙５１８がある。
【0042】
次に図５Ｂを参照すると、例示的なカートリッジ５０５ｂは、中空バレル５２２と、フランジ５２４と、バレル５２２の内部に可動流体シールを提供するピストン５２６と、ルアーロック５２８とを備える。例えば、バレル５２２、フランジ５２４、及び／又はルアーロック５２８は、ガラス及び／又はプラスチックから形成されてもよく、ピストン５２６は、ゴム及び／又はプラスチックか形成されてもよい。カートリッジ５０５ｂは、バレル５２２内及びピストン５２６の上方に液体（例えば、医薬品）５３０を収容する。典型的には、液体５３０の上部はメニスカス５３２を形成し、その上に空隙５３４がある。
【0043】
次に図５Ｃを参照すると、例示的なバイアル５０５ｃは、中空本体５４２及びネック部５４４を備え、２つの間の移行部が肩部５４６を形成する。バイアル５０５ｃの底部において、本体５４２はヒール５４８に移行する。クリンプ５５０は、バイアル５０５ｃの上部に流体シールを提供するストッパ（図５Ｃでは見えていない）を含み、フリップキャップ５５２が、クリンプ５５０を覆う。例えば、本体５４２、ネック部５４４、肩部５４６、及びヒール５４８は、ガラス及び／又はプラスチックから形成されてもよく、クリンプ５５０は、金属から形成されてもよく、フリップキャップ５５２は、プラスチックから形成されてもよい。バイアル５０５ｃは、本体５４２内部に液体（例えば、医薬品）５５４を含み得る。典型的には、液体５５４の上部は、メニスカス５５６（例えば、本体５４２が比較的大きい直径を有する場合、極めてわずかに湾曲するメニスカス）を形成し、その上に空隙５５８がある。他の実施形態では、液体５５４は、代わりに、バイアル５０５ｃ内で固体材料である。
【0044】
図６は、１つ以上のニューラルネットワーク又は他の機械学習（ＭＬ）システムの訓練（また場合により検証及び／又は認定）及び／又は使用に関連する、本明細書で説明される様々な技法を実装し得る例示的なシステム６００の簡略化したブロック図である。システム６００はまた、非ＭＬのＡＶＩシステムを試験／認定するために使用されてもよい。ＭＬシステムに加えて、又はＭＬシステムの代替として、システム６００は、ＭＬを使用せず、代わりに決められたルール（例えば、空バイアル、低充填、高充填等）を使用する「コンピュータビジョン」アルゴリズムを含み得る。
【0045】
図６は、システム６００が１つ以上のニューラルネットワークを実施する実施形態を示している。訓練され、認定されると、ニューラルネットワークは、容器及び／又はそれらの容器の内容物に関連する欠陥（例えば、図９Ａ～図１４Ｂに示す欠陥）を検出するために生産において使用され得る。医薬品の文脈において、例えば、ニューラルネットワークは、シリンジ、カートリッジ、バイアル、又は他の容器タイプに関連する欠陥（例えば、容器の傷のあるクリンプ／シール、亀裂、傷、汚れ、構成部品の欠落等）を検出し、及び／又は容器内の液体若しくは凍結乾燥医薬品に関連する欠陥（例えば、繊維、金属粒子、及び／又は他の異物粒子の有無、製品の色の変化等）を検出するために使用され得る。本明細書で使用される場合、「欠陥検出」とは、実施形態に応じて、欠陥（又は特定の欠陥カテゴリ）を示す、若しくは示さないものとしての容器画像の分類を指し得る、並びに／又は、容器及び／又はその内容物が欠陥ありと見なされるか否かに関係する特定の対象又は特徴（例えば、粒子又は亀裂）の検出を指し得る。
【0046】
システム６００は、コンピュータシステム６０４に通信可能に結合された外観検査システム（ＶＩＳ）６０２を備える。ＶＩＳ６０２は、サンプル（例えば、流体又は凍結乾燥物質を保持する容器）のデジタル画像を取り込むように構成されたハードウェア（例えば、搬送機構、光源、撮像装置等）、並びにファームウェア及び／又はソフトウェアを含む。ＶＩＳ６０２は、例えば、図１～図４を参照して本明細書でそれぞれ説明したＡＶＩシステム１００、２００、３００、４００のいずれかを含んでもよいし、何らかの他の適切なシステムであってもよい。
【0047】
説明を容易にするために、本明細書では、システム６００は、ＶＩＳ６０２からの容器画像を使用して１つ以上のＡＶＩニューラルネットワークを訓練及び検証して、次いで、訓練／検証されたニューラルネットワークを使用してＡＶＩ／欠陥検出を実行するものとして説明される。ただし、このことは必ずしも当てはまる必要はないことを理解されたい。例えば、システム６００は、ＶＩＳ６０２の代わりに、又はＶＩＳ６０２に加えて、幾つかの異なる外観検査システムによって生成された容器画像を使用して訓練及び／又は検証を実行し得る。更に、訓練／検証は、別のシステムによって実行されてもよく、システム６００は、その後、訓練されたニューラルネットワークを（例えば、商業生産中に）使用し得る。幾つかの実施形態において、訓練及び／又は検証のために使用される容器画像のうちの一部又は全部は、商業ライン機器ステーションの重要な態様（例えば、光学、照明等）を密接に再現する１つ以上のオフライン（例えば、実験室ベースの）「模倣ステーション」を使用して生成され、それによって、商業ライン機器の過剰なダウンタイムを引き起こすことなく、訓練及び／又は検証ライブラリを拡張する。
【0048】
ＶＩＳ６０２は、幾つかの容器のそれぞれを順次撮像してもよい。この目的を達成するために、ＶＩＳ６０２は、各容器を撮像のための適切な位置に連続的に移動させることができ、次いで、容器の撮像が完了すると、容器を他所に移動させる、直角座標ロボット、カルーセル、スターホイール、及び／又は任意の他の保持手段等の保持手段を備えるか、又はそれと併せて動作してもよい。図６には示していないが、ＶＩＳ６０２は、コンピュータシステム６０４との通信を可能にする通信インターフェース及びプロセッサを備え得る。他の実施形態（例えば、実験室ベースのセットアップ）では、ＶＩＳ６０２は、より簡素な保持手段（例えば、ガラス板で覆われた孔を有するステージ）を備える。
【0049】
コンピュータシステム６０４は、一般に、以下で詳述するように、ＶＩＳ６０２の動作を制御／自動化し、且つ、ＶＩＳ６０２によって取り込まれた／生成された画像を受信及び処理するよう構成され得る。コンピュータシステム６０４は、本明細書で論じる動作を実行するよう特にプログラムされた汎用コンピュータであってもよいし、専用コンピューティングデバイスであってもよい。図６から分かるように、コンピュータシステム６０４は、ユーザインターフェース６０６と、処理ユニット６１０と、メモリユニット６１４とを備える。しかしながら、幾つかの実施形態では、コンピュータシステム６０４は、互いに同じ場所に配置されているか、又は互いに離れている２つ以上のコンピュータを含む。これらの分散型の実施形態において、処理ユニット６１０及びメモリユニット６１４に関連する本明細書で説明される動作は、複数の処理ユニット及び／又はメモリユニットにそれぞれ分割されてもよい。
【0050】
処理ユニット６１０は１つ以上のプロセッサを備え、１つ以上のプロセッサのそれぞれが、メモリユニット６１４に格納されたソフトウェア命令を実行して、本明細書で説明されるコンピュータシステム６０４の機能の一部又は全部を実行するプログラム可能なマイクロプロセッサであってもよい。処理ユニット６１０は、例えば、１つ以上のグラフィックス処理ユニット（ＧＰＵ）、及び／又は１つ以上の中央処理ユニット（ＣＰＵ）を含み得る。代替的又は追加的に、処理ユニット６１０内のプロセッサの幾つかは、他のタイプのプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等）であってもよく、本明細書で説明されるコンピュータシステム６０４の機能の幾つかは、代わりにハードウェアで実装されてもよい。
【0051】
メモリユニット６１４は、１つ以上の揮発性及び／又は不揮発性メモリを含み得る。メモリユニット６１４には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）等、１つ以上の任意の適切なメモリのタイプを含み得る。まとめて、メモリユニット６１４は、１つ以上のソフトウェアアプリケーション、それらのアプリケーションによって受信／使用されるデータ、及びそれらのアプリケーションによって出力／生成されるデータを格納してもよい。
【0052】
メモリユニット６１４は、処理ユニット６１０によって実行されると、１つ以上のＡＶＩニューラルネットワークを訓練、検証、及び／又は認定する目的で様々な機能を実行する様々なモジュールのソフトウェア命令を格納する。具体的には、図６の例示的な実施形態では、メモリユニット６１４は、ＡＶＩニューラルネットワークモジュール６１６と、外観検査システム（ＶＩＳ）制御モジュール６２０とを含む。他の実施形態では、メモリユニット６１４は、モジュール６１６、６２０のうちの１つ以上を省略してもよく、及び／又は１つ以上の追加モジュールを含んでもよい。追加的又は代替的に、モジュール６１６、６２０のうちの１つ、幾つか、又はすべては、異なるコンピュータシステム（例えば、１つ以上の有線及び／又は無線通信ネットワークを介してコンピュータシステム６０４に結合されたリモートサーバ）によって実装されてもよい。更に、モジュール６１６及び６２０のいずれか１つの機能は、異なるソフトウェアアプリケーション及び／又はコンピュータシステムの間で分割されてもよい。単なる一例として、コンピュータシステム６０４がウェブサービスにアクセスして１つ以上のＡＶＩニューラルネットワークを訓練及び使用する実施形態では、ＡＶＩニューラルネットワークモジュール６１６のソフトウェア命令はリモートサーバに格納され得る。
【0053】
ＡＶＩニューラルネットワークモジュール６１６は、画像ライブラリ６４０に格納された画像を使用して１つ以上のＡＶＩニューラルネットワークを訓練するソフトウェアを含む。画像ライブラリ６４０は、メモリユニット６１４に、又は別のローカル若しくはリモートメモリ（例えば、リモートライブラリサーバに結合されたメモリ等）に格納されてもよい。訓練に加えて、モジュール６１６は、例えば、ＶＩＳ６０２（又は別の外観検査システム）によって新たに取得される画像を、場合によっては後述のように画像に対して特定の前処理が実行された後に、ニューラルネットワークに適用することによって、訓練されたＡＶＩニューラルネットワークを実装／実行してもよい。様々な実施形態において、モジュール６１６によって訓練及び／又は実行されるＡＶＩニューラルネットワークは、画像全体を分類するか（例えば、欠陥か欠陥でないか、又はクリンプの傷若しくはクリンプの欠陥一般等の特定のタイプの欠陥の有無等）、画像内の物体を検出するか（例えば、容器画像内の気泡ではない異物の位置を検出するか）、又はそれらの幾つかの組み合わせ（例えば、１つのニューラルネットワークが画像を分類し、別のものが物体検出を実行する）を行ってもよい。本明細書で使用される場合、文脈がより具体的な使用を明確に示さない限り、「物体検出」とは、画像内の物体（例えば、粒子、繊維等）の特定の場所を識別するか、及び／若しくはより大きい物体の特徴（例えば、シリンジ又はカートリッジバレル上の傷のあるクリンプ若しくはシール、亀裂、又は欠け等）の特定の場所を識別する技法を広義に指し、例えば、容器画像又は画像部分のセグメント化（例えば、ピクセルごとの分類）を行う技法、又は物体を識別し、それらの物体の周囲に境界ボックス（又は他の境界形状）を配置する技法を含むことができる。
【0054】
ＡＶＩニューラルネットワークが容器の欠陥を検出する実施形態では、欠陥は任意の適切な容器の特徴に関連し得る。例えば、図５Ａ～図５Ｃの例示的な容器を参照すると、ＡＶＩニューラルネットワークモジュール６１６によって実施される特定のＡＶＩニューラルネットワークは、バレル５０２、バレル５２２、又は本体５４２に亀裂又は汚れがあるか否か、フランジ５０４又は５２４が変形しているか否か、針シールド５０８が適切に配置されていないか否か、プランジャ５０６又はピストン５２６に欠陥があるか否か、ルアーロック５２８に欠陥があるか否か、クリンプ５５０が適切に配置されているか否か、及び／又は欠陥があるか否か（例えば、傷）、フリップキャップ５５２が適切に配置されているか、及び／又は欠陥があるか否か等を検出し得る。
【0055】
モジュール６１６は、商業生産中の検証、認定、及び／又は検査の目的のために、訓練されたＡＶＩニューラルネットワークを実行してもよい。一実施形態において、例えば、モジュール６１６は、ＡＶＩニューラルネットワークを訓練及び検証するためだけに使用され、次いで、訓練されたニューラルネットワークは、（例えば、モジュール６１６と同様の別のモジュールを使用して）商業生産中の認定及び検査のために別のコンピュータシステムに移される。ＡＶＩニューラルネットワークモジュール６１６が複数のニューラルネットワークを訓練／実行する幾つかの実施形態では、モジュール６１６は、ニューラルネットワークごとに別個のソフトウェアを含む。
【0056】
図３及び図４に関連して上述したように、底部撮像装置３４５、４３５のためのリングライト３４０、４４０は、バイアルシールクリンプの欠陥（例えば、図１２Ａ及び図１２Ｂのバイアルシールクリンプの欠陥１２０９）を検査するのに特に有用である。例えば、１３個の容器に対して、容器ごとに合計１００枚の画像を取り込むと、合計１３００枚の画像を得ることができる。ＡＶＩニューラルネットワークの訓練は、輝度の調整、垂直ミラーリング、ノイズの追加、及び画像のスキュー、並びに境界ボックスのスキューによって関連する訓練画像を増強した後（すなわち、訓練セットが５倍にされ得る）、例えば６つのバイアルからの画像で実行され得る。一般に、画像において欠陥を検出するために、深層学習が使われ得る。以前に訓練されたＡＶＩニューラルネットワークを使用することにより、新しい製品のための自動検査レシピのセットアップに必要な時間が更に短縮される。本開示のＡＶＩニューラルネットワークは、臨床業務又は小数バッチの製品等の多品種少量生産シナリオのために、そして、最新の深層学習技法（例えば、図６のＡＶＩニューラルネットワークモジュール６１６）を使用して実施され得る。
【0057】
幾つかの実施形態では、ＶＩＳ制御モジュール６２０は、人間の介入をほとんど又は全く伴わずに容器画像を生成し得るように、ＶＩＳ６０２の動作を制御／自動化する。ＶＩＳ制御モジュール６２０は、（例えば、制御ライン上でパルスを生成すること等）コマンド又は他の電子信号を所定の撮像装置に送信することによって、その撮像装置に容器画像を取り込ませ得る。ＶＩＳ６０２は、取り込まれた容器画像を、ローカル処理のために画像をメモリユニット６１４に格納し得るコンピュータシステム６０４に送信し得る。代替的な実施形態では、ＶＩＳ６０２は、ローカルに制御されてもよく、その場合、ＶＩＳ制御モジュール６２０は、本明細書で説明されるものより少ない機能（例えば、ＶＩＳ６０２からの画像の読み出しのみを扱う）を有していてもよく、又はメモリユニット６１４から完全に省略されてもよい。
【0058】
図７は、ＡＶＩシステムを動作させる例示的な方法７００である。ＡＶＩシステムは、例えば、図１Ａ及び図１ＢのＡＶＩシステム１００と同様であり得る。本方法は、少なくとも部分的に半透明である検査対象（例えば、バイアル１０５）を通る光軸１１１を有する側方視撮像装置１１０を提供することであって、検査対象が側方視撮像装置から第１の距離に配置される、こと（ブロック７０２）を含み得る。側方視撮像装置１１０の視野は、例えば、検査対象全体又はその一部だけを含む、検査対象の所望の画像（例えば、画像１１００ａ、画像１２００ａ、画像１３００ａ、画像１４００ａ等）を取得するように構成され得る。方法７００はまた、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第２の距離に配置され、光軸１１１に垂直に向けられた近位偏光フィルム１１５を提供することであって、第２の距離が第１の距離よりも短い、こと（ブロック７０４）を含み得る。方法７００は、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第３の距離に配置され、近位偏光フィルム１１５に平行に向けられた液晶デバイス１２０を提供することであって、第３の距離が、第２の距離よりも長く、第１の距離よりも短い、こと（ブロック７０８）を更に含み得る。方法７００は、光軸１１１に軸方向にアライメントされ、側方視撮像装置１１０から第４の距離に配置され、近位偏光フィルム１１５及び液晶デバイス１２０に平行に向けられた遠位偏光フィルム１２５を提供することであって、第４の距離が第１の距離よりも長い、こと（ブロック７１０）をまた更に含み得る。方法７００は、遠位偏光フィルムに向けて照明を放出するように向けられた光源１３０を提供すること（ブロック７１２）を含み得る。
【0059】
図８は、ＡＶＩシステムを動作させる例示的な方法８００である。ＡＶＩシステムは、例えば、図２のＡＶＩシステム２００と同様であり得る。方法８００は、容器２０５の側壁を通って容器（例えば、バイアル２０５）に入る光軸２１１を有する側方視撮像装置２１０を提供することであって、容器が少なくとも部分的に半透明である、こと（ブロック８０２）を含み得る。側方視撮像装置２１０の視野は、例えば、検査対象全体又はその一部だけを含む、検査対象の所望の画像（例えば、画像１１００ａ、画像１２００ａ、画像１３００ａ、画像１４００ａ等）を取得するように構成され得る。方法８００はまた、容器２０５の中心軸２０６に同軸にアライメントされ、容器の下方にあり、容器の底部に向けて光を放出するように向けられたリングライト２４０を提供すること（ブロック８０４）を含み得る。方法８００は、本明細書の他の箇所で説明したように、容器を支持及び／又は固定する保持手段２４５を提供すること（ブロック８０６）を更に含み得る。
【0060】
図９Ａ及び図９Ｂは、図３のシステム（又は図４に加え、撮像装置３３５、４４５等と同様の仕方で向けられた底部撮像装置を含むもの）を使用して検査され得る例示的な容器９０６の底面視の画像９００ａ、ｂ（後者は拡大図である）を示している。底部画像９００ａ、ｂは、容器（ここではバイアル）の底部を通して撮像された１０００μｍの金属粒子９０７を示している。
【0061】
図１０Ａ及び図１０Ｂは、図３のシステム（又は図４に加え、撮像装置３３５等と同様の仕方で向けられた底部撮像装置を含むもの）を使用して検査され得る別の例示的な容器１００６の底面視の画像１０００ａ、ｂ（後者は拡大図である）を示している。底部画像１０００ａ、ｂは、容器（バイアル）の底部を通して撮像された３００μｍの金属粒子１００７を示している。
【0062】
図１１Ａ及び図１１Ｂは、図１～図４のシステムのいずれかを使用して検査され得る例示的な容器１１０８の側方視の画像１１００ａ、ｂ（後者は拡大図である）を示している。側方視画像１１００ａ、ｂは、容器（バイアル）の側壁を通して撮像された繊維１１０９を示している。繊維のコントラストは、偏光フィルム（例えば、図１Ａに構成されているような偏光フィルム１１５、１２５）を使用することによって改善される。
【0063】
図１２Ａ及び図１２Ｂは、図１～図４のシステムのいずれかを使用して検査され得る別の例示的な容器１２０８の側方視の画像１２００ａ、ｂ（後者は拡大図である）を示している。側方視画像１２００ａ、ｂは傷のあるクリンプ１２０９を示しており、図１２Ｂのボックスは、側方視撮像装置１１０及びスイッチをオフにした液晶デバイス１２０からの画像１２００ａ、ｂに対して（例えば、ＡＶＩニューラルネットワークモジュール６１６によって）実行された物体検出の出力／結果を表す。
【0064】
図１３Ａ及び図１３Ｂは、偏光効果なしで（例えば、液晶デバイス１２０のスイッチをオンにした状態で）、図１～図４のシステムのいずれかを使用して検査され得る更なる例示的な容器１３０８の側方視の画像１３００ａ、ｂ（後者は拡大図である）を示している。画像が、バイアルのネック部に形成された液滴（例えば、図１３Ａの画像）を含む場合、関連するＡＶＩシステムは、液滴の縁部を、例えば、関連する容器の亀裂と誤って判断し得る。
【0065】
図１４Ａ及び図１４Ｂは、図１～図４のシステムのいずれかを使用して検査され得る、図１３Ａ及び図１３Ｂと同じ例示的な容器１４０８の同じ側方視の画像１４００ａ、ｂ（後者は拡大図である）を示している。偏光フィルタを使用すると、周囲に対する繊維１４０９のコントラスト比は、周囲に対する繊維１３０９のコントラスト比よりも高くなる。ニューラルネットワーク又はＡＶＩシステムの他の画像処理は、図１３Ａ及び図１３Ｂの画像１３００ａ、ｂを使用して繊維１３０９を検出するよりも、図１４Ａ及び図１４Ｂの画像１４００ａ、ｂを使用して繊維１４０９を検出する可能性が高い。
【0066】
図１５は、容器（例えば、シリンジ５０５ａ、カートリッジ５０５ｂ、バイアル５０５ｃ等）の欠陥（例えば、粒子９０７、粒子１００７、傷のあるクリンプ１２０９、繊維１３０９、繊維１４０９等）を検出する例示的な自動外観検査方法１５００を示している。方法１５００の少なくとも一部が、例えば、図１～図４及び図６のシステムのいずれか１つを使用して実施され得る。方法１５００は、容器の下方に配置され、容器の中心軸に同軸にアライメントされ、容器の底部に向けて光を放出するように向けられたリングライト（例えば、要素２４０、３４０、又は４４０）で容器を照明すること（ブロック１５０２）を含み得る。方法１５００はまた、容器の側壁を通って容器に入る光軸を有する側方視撮像装置（例えば、撮像装置１１０、２１０、３１０、又は４１０）を使用して、容器の側面の１つ以上の側方視画像を取り込むこと（ブロック１５０４）を含み得る。側方視撮像装置の視野は、検査対象の所望の画像（例えば、画像１１００ａ、画像１２００ａ、画像１３００ａ、画像１４００ａ等）を取得するように構成され得る。
【0067】
方法１５００は、容器の中心軸に同軸にアライメントされた底部撮像装置（例えば、撮像装置３３５又は４３５）を使用して、容器の底部の１つ以上の底部画像を取り込むこと（ブロック１５０８）を更に含み得る。底部撮像装置の視野は、容器の所望の画像（例えば、画像９００ａ、画像１０００ａ等）を取得するように構成され得る。
【0068】
方法１５００はまた、欠陥を検出するために、１つ以上のプロセッサ（例えば、ＡＶＩニューラルネットワークモジュール６１６を実行する場合の図６の処理ユニット６１０）を使用して、容器の１つ以上の側方視画像（例えば、画像１１００ａ、画像１２００ａ、画像１３００ａ、画像１４００ａ等）及び／又は１つ以上の底部画像（例えば、画像９００ａ、画像１０００ａ等）を分析すること（ブロック１５１０）を含み得る。プロセッサは、欠陥を検出するために、１つ以上の機械学習モデル（例えば、分類及び／又は対象検出モデル）を実施し得る。例えば、プロセッサは、容器を「合格」又は「不合格」に分類する分類モデルを実施し得る。追加的又は代替的に、プロセッサは、特定のタイプの欠陥を分類する複数の機械学習モデル（例えば、欠陥を容器内の繊維として分類する第１の機械学習モデル、欠陥を容器内の非繊維粒子として分類する第２の機械学習モデル、欠陥をクリンプの傷として分類する第３の機械学習モデル等）を実施し得る。
【0069】
システム、方法、デバイス、及びそれらの構成要素を例示的な実施形態の観点から説明してきたが、それらは、これらの例示的な実施形態に限定されるものではない。詳細な説明は、例としてのみ解釈されるものとし、本発明の可能な実施形態のすべてを説明することは、不可能ではないにしても非現実的であることから、本発明のすべての可能な実施形態を説明しているわけではない。現在の技術又は本特許の出願日以降に開発された技術のいずれかを用いて、多くの代替的な実施形態を実施することができ、それは、本発明を定義する特許請求の範囲内に依然として含まれる。
【0070】
当業者であれば、本発明の範囲から逸脱することなく、上記の実施形態に対する多様な修正形態、変形形態、及び組み合わせをなすことができ、そうした修正形態、変形形態、及び組み合わせが本発明の概念の範囲内であると解釈されるべきであることを理解するはずである。
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】
【国際調査報告】