特許 7640545 自動外観検査ステーションのためのオフライントラブルシューティング及び開発

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-25

(45)【発行日】2025-03-05

(54)【発明の名称】自動外観検査ステーションのためのオフライントラブルシューティング及び開発

(51)【国際特許分類】

   G01N 21/90 20060101AFI20250226BHJP

【ＦＩ】

G01N21/90 B

【請求項の数】 18

(21)【出願番号】P 2022527125

(86)(22)【出願日】2020-11-10

(65)【公表番号】

(43)【公表日】2023-01-18

(86)【国際出願番号】 US2020059776

(87)【国際公開番号】W WO2021096827

(87)【国際公開日】2021-05-20

【審査請求日】2023-11-06

(31)【優先権主張番号】62/936,143

(32)【優先日】2019-11-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】500049716

【氏名又は名称】アムジエン・インコーポレーテツド

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】ミルン，グラハム・エフ

(72)【発明者】

【氏名】ピアソン，トーマス・シー

(72)【発明者】

【氏名】ベルナッキ，ジョーセフ・ピーター

【審査官】井上 徹

(56)【参考文献】

【文献】特開２０１３－１４００４２（ＪＰ，Ａ）

【文献】特開２００４－０６９６７３（ＪＰ，Ａ）

【文献】特開２００９－１８１５０８（ＪＰ，Ａ）

【文献】特開２０１８－０００５８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０５Ｂ １９／４１８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

自動外観検査（ＡＶＩ）ステーションの動作をレプリケートするための方法であって、
前記ＡＶＩステーションの１つ又は複数のＡＶＩ機能を実行する模倣ＡＶＩステーションを構築することであって、前記模倣ＡＶＩステーションは、模倣照明システム、模倣撮像システム並びに試料を含む容器を保持及び／又は支持するように構成された模倣試料位置決めハードウェアを含む、ことと、
前記ＡＶＩステーションの照明システムによって容器が照明されている間、前記ＡＶＩステーションの撮像システムにより、１つ又は複数の容器画像を取り込むことと、
前記模倣照明システムによって容器が照明されている間、前記模倣撮像システムにより、１つ又は複数の追加の容器画像を取り込むことと、
１つ又は複数のプロセッサにより、前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の１つ又は複数の差分を特定することであって、１つ又は複数の差分を特定することが、１つ又は複数の容器画像及び１つ又は複数の追加の容器画像の撮像センサノイズを示す１つ又は複数のメトリックを計算することを含む、ことと、
前記１つ又は複数のプロセッサにより、（ｉ）前記１つ若しくは複数の差分、及び／又は（ｉｉ）前記１つ又は複数のメトリックに基づいて前記模倣ＡＶＩステーションを修正するための１つ若しくは複数の提案の可視指示を生成することと、
前記可視指示に基づいて、少なくとも前記模倣照明システム、前記模倣撮像システム及び／又は前記模倣試料位置決めハードウェアを修正することにより、前記模倣ＡＶＩステーションを修正することと
を含む方法。

【請求項2】

（ｉ）前記ＡＶＩステーションは、商業ライン機器に含まれ、及び前記模倣ＡＶＩステーションは、実験室ベースのセットアップであるか、又は（ｉｉ）前記模倣ＡＶＩステーションは、前記商業ライン機器に含まれ、及び前記ＡＶＩステーションは、前記実験室ベースのセットアップであるかのいずれかである、請求項１に記載の方法。

【請求項3】

前記模倣ＡＶＩステーションを修正することは、
前記模倣照明システムの少なくとも１つの照明装置、前記模倣撮像システムの少なくとも１つの撮像装置及び／又は前記模倣試料位置決めハードウェアの空間的配置を修正すること、及び／又は
前記模倣照明システムの少なくとも１つの照明装置、前記模倣撮像システムの少なくとも１つの撮像装置及び／又は前記模倣試料位置決めハードウェアのハードウェアコンポーネントを修正すること
を含む、請求項１に記載の方法。

【請求項4】

前記模倣ＡＶＩステーションのコンピュータシステム上において、ＡＶＩ機器によっても実装される検査アルゴリズムを実装するＡＶＩソフトウェアをインストールすることと、
前記模倣ＡＶＩステーションを修正した後、
前記模倣照明システムによって試験容器が照明されている間、前記模倣撮像システムにより、１つ又は複数の新しい容器画像を取り込むことと、
前記検査アルゴリズムに従って前記１つ又は複数の新しい容器画像を処理することにより、前記試験容器及び／又は前記試験容器内の試料の１つ又は複数の特性を決定することと
を更に含む、請求項１に記載の方法。

【請求項5】

前記決定された１つ又は複数の特性に少なくとも部分的に基づいて前記模倣ＡＶＩステーションをトラブルシューティング又は最適化することであって、前記模倣照明システム、前記模倣撮像システム、前記模倣試料位置決めハードウェア及び／又は前記ＡＶＩソフトウェアを修正するか又は更に修正することを含む、トラブルシューティング又は最適化することを更に含む、請求項４に記載の方法。

【請求項6】

前記模倣照明システム、前記模倣撮像システム、前記模倣試料位置決めハードウェア及び／又は前記ＡＶＩソフトウェアに対する前記修正又は更なる修正に応じて前記ＡＶＩステーションを修正することを更に含む、請求項５に記載の方法。

【請求項7】

前記１つ又は複数の容器画像は、第１の複数の容器画像を含み、
前記１つ又は複数の追加の容器画像は、第２の複数の容器画像を含み、及び
前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の前記１つ又は複数の差分を特定することは、前記第１の複数の容器画像から得られた第１の合成画像と、前記第２の複数の容器画像から得られた第２の合成画像との間の１つ又は複数の差分を特定することを含む、請求項１に記載の方法。

【請求項8】

前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の前記１つ又は複数の差分を特定することは、
容器アライメント、
焦点ぼけ、
強度、
強度の変動、及び／又は
モーションブラー
に関する差分を特定することを含む、請求項１に記載の方法。

【請求項9】

前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の前記１つ又は複数の差分を特定することは、（ｉ）前記１つ若しくは複数の容器画像又はそれから得られた合成画像の高速フーリエ変換（ＦＦＴ）と、（ｉｉ）前記１つ若しくは複数の追加の容器画像又はそれから得られた合成画像のＦＦＴとを計算することを含む、請求項１に記載の方法。

【請求項10】

前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の前記１つ又は複数の差分を特定することは、（ｉ）前記１つ若しくは複数の容器画像又はそれから得られた合成画像のピクセル強度レベルのヒストグラムと、（ｉｉ）前記１つ若しくは複数の追加の容器画像又はそれから得られた合成画像のピクセル強度レベルのヒストグラムとを生成することを含む、請求項１に記載の方法。

【請求項11】

前記１つ又は複数の追加の容器画像と前記１つ又は複数の容器画像との間の前記１つ又は複数の差分を特定することは、（ｉ）前記１つ若しくは複数の容器画像又はそれから得られた合成画像のラプラシアンと、（ｉｉ）前記１つ若しくは複数の追加の容器画像又はそれから得られた合成画像のラプラシアンとを計算することを含む、請求項１に記載の方法。

【請求項12】

（ｉ）前記１つ又は複数の差分を特定することと、（ｉｉ）前記可視指示を生成することとは、前記１つ又は複数の追加の容器画像が取り込まれるときにリアルタイムで実行される、請求項１に記載の方法。

【請求項13】

前記１つ又は複数のプロセッサにより、前記１つ又は複数の差分に基づいて前記模倣ＡＶＩステーションを修正するための前記１つ又は複数の提案を生成することを更に含み、前記可視指示を生成することは、前記１つ又は複数の提案の前記可視指示を生成することを含む、請求項１に記載の方法。

【請求項14】

前記１つ又は複数の提案を生成することは、
前記模倣撮像システムの少なくとも１つの撮像装置の１つ又は複数の構成可能な設定を修正する提案、
前記模倣照明システムの少なくとも１つの照明装置の１つ又は複数の構成可能な設定を修正する提案、
前記模倣撮像システムの少なくとも１つの撮像装置の位置を修正する提案、及び／又は
前記模倣照明システムの少なくとも１つの照明装置の位置を修正する提案
を生成することを含む、請求項１３に記載の方法。

【請求項15】

前記模倣試料位置決めハードウェアは、移動プロファイルに従って容器を移動させるように構成され、及び
前記１つ又は複数の提案を生成することは、前記移動プロファイルの１つ又は複数の特性を修正する提案を生成することを含む、請求項１３に記載の方法。

【請求項16】

前記１つ又は複数のプロセッサにより、前記撮像システムの１つ又は複数の動作パラメータと、前記模倣撮像システムの１つ又は複数の動作パラメータとを受信することと、
前記１つ又は複数のプロセッサにより、前記撮像システムの前記１つ又は複数の動作パラメータを前記模倣撮像システムの前記１つ又は複数の動作パラメータと比較することと、
前記１つ又は複数のプロセッサにより、前記撮像システムと前記模倣撮像システムとの間で異なる少なくとも１つの動作パラメータの追加の可視指示を生成することと
を更に含む、請求項１に記載の方法。

【請求項17】

命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに、請求項１から１６のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。

【請求項18】

自動外観検査（ＡＶＩ）ステーションであって、
撮像システムと、
照明システムと、
試料を含む容器を保持及び／又は支持するように構成された試料位置決めハードウェアと
を含む自動外観検査（ＡＶＩ）ステーションと、
前記ＡＶＩステーションの１つ又は複数のＡＶＩ機能を実行する模倣ＡＶＩステーションであって、
模倣照明システムと、
模倣撮像システムと、
試料を含む容器を保持及び／又は支持するように構成された模倣試料位置決めハードウェアと
を含む模倣ＡＶＩステーションと、
請求項１から１６のいずれか一項に記載の方法を実行するように構成されたコンピューティングシステムと、
を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、概して、医薬品又は他の製品のための自動外観検査（ＡＶＩ）システムに関し、より詳細には、ＡＶＩステーションのためのオフライントラブルシューティング及び／又は開発を実行するための技法に関する。

【背景技術】

【0002】

製造された医薬品の品質管理手順などの特定の状況では、試料（例えば、シリンジ若しくはバイアルなどの容器及び／又は液体医薬品若しくは凍結乾燥医薬品などの内容物）に欠陥がないか調べる必要がある。適用可能な品質基準下での特定の試料のアクセプタビリティは、例えば、容器の欠陥（例えば、欠け若しくは割れ）のタイプ及び／若しくはサイズ又は医薬品中の望ましくない粒子（例えば、繊維）のタイプ、数及び／若しくはサイズなどのメトリックに依存し得る。試料に許容できないメトリックがある場合、試料は、不合格と判定され得、且つ／又は破棄され得る。

【0003】

医薬品の商業生産に通常関連する量を処理するために、欠陥検査タスクは、一層自動化されている。更に、自動欠陥検査を支援するために使用される専用機器は、非常に大きく、非常に複雑であり、非常に高価になっており、それぞれの新しい製品ラインをクオリフィケーション及びコミッショニングするには、人的資源及び他のリソースにかなりの投資が必要になる。ごく一例を挙げると、薬剤充填済みシリンジのフィル－フィニッシュ検査ステージで使用されるＢｏｓｃｈ（登録商標）２９６Ｓ商業ライン機器は、１５の個別の外観検査ステーションを含み、計２３のカメラ（すなわち１つのステーション当たり１又は２つのカメラ）を有する。この機器は、全体として多様な欠陥を検出するように設計されており、欠陥としては、容器施栓系の大きい割れなどの容器完全性に関わる欠陥、容器表面上の傷又は汚れなどの容器の表面外観に関わる欠陥及び液体の色又は異物粒子の存在などの医薬品自体に関わる欠陥が挙げられる。

【0004】

追加のＡＶＩライン機器を購入するには、膨大な費用がかかり得るため、通常、トラブルシューティング及び新製品の特性解析の活動は、現場で行う必要がある。したがって、通常、トラブルシューティング及び新製品の特性解析には、長いダウンタイムが必要とされ、その結果、長期的な生産率が最適でなくなる。

【発明の概要】

【課題を解決するための手段】

【0005】

本明細書で説明される実施形態は、既存のＡＶＩステーションの動作をレプリケートするために「模倣」ＡＶＩステーションが構築又はアップグレードされ、それにより、生産ラインの運転に干渉しないか又は干渉の少ない、オフライントラブルシューティング又は新製品の特性解析及び／若しくはクオリフィケーション作業を可能にするシステム及び方法に関する。いくつかの実施形態では、模倣ＡＶＩステーションは、既存の商業ライン機器のステーション（例えば、ライン機器内の複数のステーションの１つ）の１つ又は複数のＡＶＩ機能を模倣する専用のオフライン（例えば、実験室ベース）ステーションである。このような実施形態では、模倣ＡＶＩステーションを使用して、商業ライン機器の長時間のシャットダウンを必要とすることなく、商業ライン機器内の特定の対応するステーションに関する問題をトラブルシューティングするか、又は他に対応するステーションの動作を改善することができる。例えば、ハードウェアコンポーネント（例えば、照明装置、スターホイールなど）、ハードウェア配置（例えば、試料とカメラ又は照明装置との間の距離又は角度、照明装置の構成など）及び／又はソフトウェア（例えば、検査アルゴリズムを実装するコード）に対してオフラインでの修正を行うことができる。適切な修正が特定されると、元のＡＶＩステーションにそれらの変更を実装するために、商業ライン機器が比較的短時間シャットダウンされ得る。場合により、その後、ある程度の現場でのクオリフィケーション作業が行われる。模倣ＡＶＩステーションは、オフラインであるため、それは、商業ライン機器上ではなく、実験室において根本原因の調査、レシピ開発及び／又は他のサポート活動を実施する機会を提供する。

【0006】

他の実施形態では、模倣ＡＶＩステーションは、代替的に、商業ライン機器のステーションであり、その目標は、実験室ベースのＡＶＩステーションの特性／動作を模倣することである。そのような実施形態では、実験室ベースのＡＶＩステーションを使用して、新しい医薬品を特性解析し、新しい医薬品の検査をクオリフィケーションすることができ、これは、本来／従来、ライン機器の大規模なダウンタイムを必要とし、他の医薬品のための同時使用を阻むものである。適切なハードウェアコンポーネント／構成及び適切なソフトウェアが特定されると、それらの変更を実装するために、ライン機器が比較的短時間シャットダウンされ得る（ここでも、場合により、その後、ある程度の現場でのクオリフィケーション作業が行われる）。先に述べた実施形態と同様に、本実施形態は、商業ライン機器上ではなく、実験室においてレシピ開発、根本原因の調査及び／又は他のサポート活動を実施する機会を提供する。

【0007】

これらの実施形態のいずれでも、適切に類似した模倣ＡＶＩステーションの構築に大きい課題がある。特に、イメージャ（例えば、カメラ、撮像光学系）、照明（例えば、照明装置、環境／周囲の照明又は反射）、相対的なジオメトリ（すなわち空間的配置）、画像処理ソフトウェア、コンピュータハードウェア及び／又は製品の機械的な動きは、すべて検査性能に影響を与え得る可能性があり、再現されるＡＶＩステーションと厳密に一致することが重要である。これは、特に難しく、なぜなら、これらの構成要素／特性の多くは、任意の所与のＡＶＩステーションに固有である傾向があるためである。したがって、本開示の実施形態では、ロバスト性及び信頼性の高いプロセスを使用して、ＡＶＩステーションを可能な限り厳密に（又は必要に応じて厳密に）レプリケートする。

【0008】

最初に、様々な適切な技法のいずれかを使用して、ＡＶＩステーションの構成要素／構成が特定され得る。例えば、詳細な手動写真、３Ｄスキャン及び測定を行うことができる。代替的又は追加的に、この目的のために、３次元コンピュータ支援設計（ＣＡＤ）ファイル（例えば、ベクター画像ｐｄｆ又は他のフォーマットの技術的分解図）を使用することができる。この情報を使用して、模倣ＡＶＩステーションのハードウェアを得、且つ／又は組み立てて、元のＡＶＩステーション（すなわち模倣されるステーション）と同じ相対的配置／ジオメトリに配置することができる。３Ｄスキャナ又は他の機器／技法を使用してＡＶＩステーションを再現することもできる。

【0009】

本明細書に開示される様々な技法を使用して、再現されるＡＶＩステーションによって取り込まれた試料画像に対して、模倣ＡＶＩステーションによって取り込まれた試料（例えば、容器）画像を比較することにより、構築された又は部分的に構築された模倣ＡＶＩステーションを改善及びバリデーションすることができる。このプロセスから得られたフィードバックにより、ユーザ（例えば、技術者）は、模倣ＡＶＩステーションが元のＡＶＩステーションと十分に同じように動作するか否かを判定することができるだけでなく、元のＡＶＩステーションの動作をよりよくレプリケートするために、模倣ＡＶＩステーションのいずれの態様を修正するべきであるかを判定することができる。

【0010】

いくつかの実施形態では、この目的のために、画像比較ソフトウェアツールが比較を行い、対応する出力を生成する。例えば、画像比較ツールは、際立った画像メトリック（例えば、光の強度、カメラノイズ、カメラ／試料アライメント、焦点ぼけ、モーションブラーなどを示すメトリック）をリアルタイムで計算してユーザに報告し、模倣ＡＶＩステーションの実行可能性を微調整及び評価するための信頼できるプロセスを比較的迅速にユーザに提供することができる。いくつかの実施形態では、画像比較ツールは、メトリックに基づいて特定の提案（例えば、「カメラと容器との間の距離を近づける」）を生成し、これがユーザに表示される。有利には、画像比較ツールは、元のＡＶＩステーションと模倣ＡＶＩステーションとが離れて配置されている場合でもＡＶＩステーションの動作の正確な再現を可能にし得る。すなわち、ＡＶＩステーションのハードウェアのジオメトリ、コンピュータハードウェア及び／又は他の態様を正確に再現することが困難又は不可能である特定の状況でも、ＡＶＩステーションの動作を適切に再現することができる。画像比較ツールは、一般に、ヒューマンエラー及びヒトの主観に関連するリスクを軽減する科学的で再現性のあるプロセスを提供し、したがってＡＶＩステーションと対応する模倣ステーションとの間の真の同等性に関して規制当局を納得させる可能性が高い。

【0011】

本明細書で説明される図は、例示を目的として含まれ、本開示を限定するものではないことが当業者に理解されるであろう。図面は、必ずしも原寸に比例しておらず、むしろ本開示の原理を示すことに重点が置かれている。いくつかの場合、記載される実施形態の様々な態様は、記載される実施形態を理解しやすくするために誇張又は拡大して示される場合があることを理解されたい。図面では、様々な図面を通して同様の参照符号は、全般的に、機能的に類似する及び／又は構造的に類似する構成要素を指す。

【図面の簡単な説明】

【0012】

【図1A】模倣ＡＶＩステーションを構築して使用することにより、商業ライン機器のＡＶＩステーションをトラブルシューティングするための例示的なプロセスを示す。

【図1B】模倣ＡＶＩステーションを構築して使用することにより、商業ライン機器のＡＶＩステーションをトラブルシューティングするための例示的なプロセスを示す。

【図2】実験室ベースのセットアップを模倣することにより、商業ライン機器のＡＶＩステーションで使用するためのＡＶＩレシピ及び／又はハードウェアセットアップを開発するための例示的なプロセスを示す。

【図3】図１Ａ及び図１Ｂのプロセスを実装し得る例示的なシステムの簡略化されたブロック図である。

【図4A】ライン機器のＡＶＩステーションを模倣し得るか、又はライン機器のＡＶＩステーションのための開発プラットフォームとして使用され得る例示的な実験室ベースのセットアップと、関連する容器画像とを示す。

【図4B】ライン機器のＡＶＩステーションを模倣し得るか、又はライン機器のＡＶＩステーションのための開発プラットフォームとして使用され得る例示的な実験室ベースのセットアップと、関連する容器画像とを示す。

【図4C】ライン機器のＡＶＩステーションを模倣し得るか、又はライン機器のＡＶＩステーションのための開発プラットフォームとして使用され得る例示的な実験室ベースのセットアップと、関連する容器画像とを示す。

【図4D】ライン機器のＡＶＩステーションを模倣し得るか、又はライン機器のＡＶＩステーションのための開発プラットフォームとして使用され得る例示的な実験室ベースのセットアップと、関連する容器画像とを示す。

【図5】ライン機器のＡＶＩステーションを模倣し得るか、又はライン機器のＡＶＩステーションのための開発プラットフォームとして使用され得る別の例示的な実験室ベースのセットアップを示す。

【図6】模倣ＡＶＩステーションの構築又はアップグレードを容易にするために使用され得る例示的な画像比較ツールを示す。

【図7】図６の画像比較ツールによって実装され得る例示的なアルゴリズムを示す。

【図8】実験室ベース又はライン機器ＡＶＩステーションの動作をレプリケートするための例示的な方法のフロー図である。

【発明を実施するための形態】

【0013】

上記で導入として説明され、以下でより詳細に論じられる様々な概念は、多くの方法のいずれかで実施することができ、説明される概念は、いかなる特定の実施様式にも限定されない。実施形態の例は、説明を目的として提供される。

【0014】

図１Ａ及び図１Ｂは、模倣ＡＶＩステーションを構築して使用することにより、商業ライン機器の自動外観検査（ＡＶＩ）ステーションをトラブルシューティングするための例示的なプロセス１００を示す。まず、図１Ａを参照すると、ステージ１０２において、１つ又は複数のＡＶＩステーションを備えた商業ライン機器が通常／生産運転モードで稼働する。商業ライン機器は、例えば、医薬品（例えば、液体医薬品を含むシリンジ又は凍結乾燥医薬品を含むガラスバイアル）の製造における品質管理のための「フィル－フィニッシュ」ステージで使用され得る。ＡＶＩステーションは、容器検査（例えば、シリンジ、バイアルなど）専用の１つ若しくは複数のステーション及び／又は試料検査（例えば、容器内の医薬品中の粒子の検出及び／若しくは特性解析）専用の１つ若しくは複数のステーションを含み得る。商業ライン機器は、例えば、図３に関連して以下でより詳細に論じる商業ライン機器３０２であり得る。図１Ａ及び図１Ｂの一番上にある水平方向の線／矢印は、ステージ１０２からステージ１４２（後述）まで延び、商業ライン機器を使用した連続製品ライン検査を表す。図１Ａ及び図１Ｂの水平方向の軸は、一般に、時間を表すが、必ずしも時間の尺度に比例しておらず、図１Ａ及び図１Ｂは、必ずしも動作の順序を表すとは限らない（しかしながら、動作の順序を表す場合もある）（例えば、ステージ１１０は、ステージ１２２の１回目の反復前に行われるか又は後に行われるなどであり得る）。

【0015】

ステージ１０４において、商業ライン機器内の問題のあるＡＶＩステーションが特定される。例えば、ライン機器の特定のＡＶＩステーションが多数の誤検出（例えば、ライン機器によって欠陥があるとマークされているが、より厳密な手動又は自動検査で許容可能であると判定された試料）を特定していること及び／又は欠陥のある試料を特定し損ねていることを、生産プロセスを監視している人が観測する場合がある。

【0016】

ステージ１１０において、操作者は、問題のあるＡＶＩステーションに使用されるソフトウェアコードを、実験室ベースのセットアップ（すなわち模倣ＡＶＩステーションとなるもの）に関連するコンピューティングシステムにダウンロード及び／又はインストールする。コードは、ライン機器から直接転送され得るか、又は別の方法で（例えば、可搬型メモリ装置若しくはインターネット経由のダウンロードなどから）インストールされ得る。いくつかの実施形態では、インストールされたコードは、容器の移動、画像の取り込み及び画像処理の役割を果たすコードを含む。例えば、コードは、撮像前及び／又は撮像中に容器を攪拌（例えば、回転、揺動、反転など）する機構を制御し、適切なときに１つ又は複数のカメラをトリガし、カメラの画像を処理して、容器の欠陥（例えば、割れ、欠け）及び／又は内容物の欠陥（例えば、大きい繊維又は他の異物）を検出することができる。

【0017】

ステージ１１２において、ライン機器内の問題のあるＡＶＩステーションが容器の１つ又は複数の画像を取り込む。実施形態及び／又はシナリオに応じて、ステージ１１２は、ライン機器の通常／生産運転への中断を必要としても又はしなくてもよい。例えば、取り込まれた画像は、生産中にも使用される画像であり得る。

【0018】

ステージ１１４において、問題のあるＡＶＩステーションのハードウェアは、模倣ＡＶＩステーションセットアップ手順１２０を開始するためにリバースエンジニアリングされる。ステージ１１４は、問題のあるＡＶＩステーションのハードウェアコンポーネント（例えば、カメラ、光学コンポーネント、照明装置、容器を移動するための機構など）、問題のあるＡＶＩステーションのハードウェアコンポーネントアセンブリ（例えば、様々なコンポーネント及びサブコンポーネントがどのように組み立てられているか）、問題のあるＡＶＩステーションにおけるハードウェアコンポーネントの相対的なジオメトリ／配置（例えば、照明装置及びカメラに対する容器の向き及び距離）及び／又は問題のあるＡＶＩステーションの他の特性（例えば、容器の回転速度など）のリバースエンジニアリングを含み得る。いくつかの実施形態では、リバースエンジニアリングは、純粋に手動であり、正確な（例えば、ノギス、定規などによる）測定、利用可能な図面の検討などを含む。３Ｄスキャナを使用して、ＡＶＩステーションの寸法を正確に取り込むこともできる。他の実施形態では、リバースエンジニアリングの少なくとも一部分は、例えば、問題のあるＡＶＩステーションの寸法（角度、距離など）を示すファイル又は画像を処理することによって自動化される。

【0019】

ステージ１２２の１回目の反復において、ステージ１１４で得られた知識を使用して模倣ＡＶＩステーションが構築される。構築は、部分的に手動であるか又は完全に手動であり得る。金属及びプラスチックのＣＮＣ機械加工並びに／又は３Ｄプリンティングなどの任意の適切な製作技法を使用して、模倣ＡＶＩステーションの特定の非電子ハードウェアコンポーネント（例えば、スターホイールなど）を構築することができる。ステージ１２２の１回目の反復は、カメラ、ＬＥＤリング又は他の照明装置などの様々な既製のコンポーネントを購入するか又は他に取得することも含み得る。ステージ１２２の１回目の反復は、ステージ１１２で使用されたパラメータ設定と一致するように様々なソフトウェアパラメータを設定することも含み得る。例えば、ユーザは、ステージ１１２で画像を取り込むとき、ライン機器によって使用された回転速度設定に等しくなるように容器の回転速度を設定することができる。

【0020】

ステージ１２４の１回目の反復において、問題のあるＡＶＩステーションをレプリケートする（ステージ１２２における）最初の試み後、模倣ＡＶＩステーションの１つ又は複数のイメージャ（例えば、カメラ）によって容器の１つ又は複数の画像が取り込まれる。容器は、ステージ１１２で撮像された容器と同じタイプであるものとし、実際に同じ容器であり得る。

【0021】

ステージ１２６の１回目の反復において、画像比較ツールは、ステージ１１２で取り込まれた容器画像が、ステージ１２４の１回目の反復で取り込まれた容器画像とある程度の許容できる程度に一致するか否かを判定する。この判定を行うために、画像比較ツールは、画像又は画像セットのそれぞれについていくつかのメトリックを生成し、それらのメトリックを比較して、類似性の尺度（例えば、類似性スコア）を決定し得る。例えば、画像比較ツールは、サイズ（例えば、画像内に示される容器の大きさ）、向き（例えば、画像の垂直軸に対する容器の壁の角度）、光の強度（例えば、画像のピクセル強度で示される）、焦点ぼけ、モーションブラー及び／又は他の特性に関連するメトリックを生成し得る。画像比較ツールは、ステージ１１２からの画像と、ステージ１２４からの画像との対応するメトリックも（例えば、差分値を計算することによって）比較し得る。例示的なメトリックについては、以下で図６及び図７を参照して更に詳細に論じる。ステージ１２６での判定は、実施形態に応じて、画像比較ツールの出力を観測するユーザによって行われるか又はツール自体によって行われ得る。

【0022】

画像比較ツール（又はツールのユーザ）が、ステージ１２６の１回目の反復において画像又は画像セットが十分に類似していないと判定した場合、ステージ１２２の２回目の反復で模倣ＡＶＩステーションが修正される。ステージ１２２の２回目の反復における修正は、ステージ１２６の１回目の反復での画像比較ツールの出力に基づいて集中的に行われる。例えば、画像比較ツールが、ステージ１２４の１回目の反復で模倣ＡＶＩステーションによって取り込まれた画像の光の強度が低すぎると示した場合、ユーザは、ステージ１２２の２回目の反復中に照明装置を容器に近づけることができるか、又はレンズの絞りサイズなどを変更することができる。別の例として、画像比較ツールが、ステージ１２４の１回目の反復において取り込まれた画像がステージ１１２で取り込まれた画像よりも焦点が合っていないことを示した場合、ユーザは、容器を模倣ＡＶＩステーションのカメラに近づけるか又は遠ざけることができる。いくつかの実施形態では、画像比較ツールは、比較された画像のメトリックを処理して、「照明装置を容器に近づける」、「照明装置Ｂを容器に近づける」又は「照明装置Ｂを容器に３ｍｍ近づける」などの提案をステージ１２６において提供する。

【0023】

開発者がステージ１２２の２回目の反復で修正を行った後、模倣ＡＶＩステーションは、ステージ１２４の２回目の反復で（例えば、ユーザからの手動トリガに応答して）１つ又は複数の画像の新しいセットを取り込み、画像比較ツールは、ステージ１２６の２回目の反復においてステージ１１２で取り込まれた画像（又は場合により問題のあるＡＶＩステーションによって取り込まれた新しい画像）と新しい画像を比較する。図１Ａから分かるように、画像比較ツール（又はその出力を観測するユーザ）が、ステージ１２６の反復において、模倣ＡＶＩステーションによって取り込まれた画像と、ライン機器の問題のあるＡＶＩステーションによって取り込まれた画像との間の十分な程度の類似性によって示されるように、問題のあるＡＶＩステーションの動作／特性を模倣ＡＶＩステーションが十分な精度で再現したと判定するまで、手順１２０内のループは、任意の反復数だけ続けることができる。いくつかのシナリオでは、ハードウェアコンポーネント及び／又はジオメトリにかなり差がある場合でも十分な程度の類似性が達成され得る。他のシナリオでは、十分な程度の類似性は、ハードウェアコンポーネント及びジオメトリの正確なレプリケーションを必要とする。

【0024】

十分な程度の類似性が達成されると、模倣ＡＶＩステーションは、プロセス１３０（図１Ｂを参照されたい）中にトラブルシューティングの役割で使用できるようになる。例示的なプロセス１３０では、ステージ１３２の１回目の反復において、ユーザ（例えば、技術者）は、ステージ１０４で観測された問題を修正しようとするために、検査アルゴリズム／レシピの適切な修正及び／又はハードウェアセットアップ（例えば、異なるカメラ、レンズ、照明装置のタイプなど、並びに／又はそのような装置／コンポーネントの異なる配置及び／若しくは設定）の修正を検討／理論立てする。その後、ステージ１３４の１回目の反復において、操作者は、ステージ１３２の１回目の反復で特定された修正に従ってハードウェア及び／又はコードを修正する。

【0025】

ステージ１３６の１回目の反復において、模倣ＡＶＩステーションを使用して、模倣ＡＶＩステーションの動作が合格であるか否か、すなわちステージ１０４で観測された問題が十分に修正されているか否かを試験する。ステージ１３６は、例えば、標準ベースの要件と統計結果（例えば、誤検出率など）を比較することを含み得る。ステージ１３６の各反復は、（例えば、観測された問題が少ないが、それでも許容できない誤検出率又は検出漏れ率の場合に）問題が解決されたか否かを判定するために、多数の画像及び／又は多様な容器／製品試料を必要とし得るため、時間集約的及び／又は労働集約的であり得る。しかしながら、時間的投資は、商業ライン機器の中断を必要としないため、許容可能であり得る。

【0026】

ステージ１３６において動作が合格である／許容できると判定されない場合、プロセス１３０が繰り返され、ステージ１３２の２回目の反復において新しい修正が特定／理論立てされる。プロセス１３０は、ステージ１３６の反復において動作が合格である／許容できると判定されるまで、ライン機器の運転を中断することなく、任意の反復数で繰り返され得る。その時点において、トラブルシューティングプロセス１３０が完了し、（ステージ１４０において）クオリフィケーション及びコミッショニング活動が正常に行われた場合、ステージ１４２において、プロセス１３０中に行われた（すなわちステージ１３４の最終反復後の模倣ＡＶＩシステムの最終状態に反映される）修正が問題のあるＡＶＩステーションに適用される。ステージ１４２では、通常、プロセス１３０から変更を行うために（また場合によりいくつかの簡略化されたクオリフィケーション／コミッショニング操作のために）商業ライン機器での生産を停止する必要があるが、問題のあるＡＶＩステーション自体上の現場でトラブルシューティングプロセス１３０を実行する必要があった場合よりもダウンタイムが大幅に短くなる。ステージ１４２において、問題のあるＡＶＩステーションに変更が適用された後、ステージ１４４において、生産（すなわちライン機器の通常／生産運転）が再開される。

【0027】

問題のあるＡＶＩステーションのトラブルシューティングに関連してプロセス１００を説明してきたが、プロセス１００は、代替的に、既にある程度良好に動作しているＡＶＩステーションを改善する（例えば、検査性能を更に最適化するか又はより費用効率を上げるなど）ために使用され得ることを理解されたい。更に、医薬品製造ラインのフィル－フィニッシュステージに関連してプロセス１００を説明してきたが、プロセス１００は、代替的に、異なるステージ（例えば、装置の組み立て後に製品を検査する場合又は製品の表示物及び／若しくは包装を検査する場合など）で使用され得、且つ／又は代替的に非製薬の状況（例えば、比較的厳しい品質基準を伴う別の状況）で使用され得ることを理解されたい。

【0028】

図１Ａ及び図１Ｂは、模倣ＡＶＩステーションを構築して使用することにより、商業ライン機器のＡＶＩステーションをトラブルシューティングするためのプロセス１００を示す一方、図２は、商業ライン機器のＡＶＩステーションをアップグレードして、実験室ベースのＡＶＩセットアップの動作を模倣する例示的なプロセス２００を示す。図２の商業ライン機器は、１つ又は複数のＡＶＩステーションを含み、例えば図１Ａ及び図１Ｂに関連して上で論じたライン機器又は図３を参照して以下で論じるライン機器（すなわち商業ライン機器３０２）のいずれかであり得る。

【0029】

ステージ２０２において、商業ライン機器は、例えば、特定の医薬品（例えば、薬剤充填済みシリンジ）のフィル－フィニッシュステージ検査のために通常／生産運転モードで稼働する。図１Ａ及び図１Ｂに関連して上で論じたように、図２のプロセス２００は、代替的に、異なる検査ステージ（例えば、装置の組み立て、包装など）に適用され得、及び／又はプロセス２００は、非製薬の状況で使用され得る。図２の一番上にある水平方向の線／矢印は、ステージ２０２からステージ２２０（後述）まで延び、商業ライン機器を使用した連続製品ライン検査を表す。図２の水平方向の軸は、一般に、時間を表すが、必ずしも時間の尺度に比例しておらず、図２は、必ずしも動作の順序を表すとは限らない（しかしながら、動作の順序を表す場合もある）（例えば、ステージ２０２は、ステージ２０４の開始前又は後に行われ得る）。

【0030】

ステージ２０４において、新しい医薬品のフィル－フィニッシュ検査において使用するために商業ライン機器を適合させることが決定される。新しい医薬品は、様々な理由により、商業ライン機器の１つ又は複数のＡＶＩステーションへのカスタム修正を必要とすることがある。例えば、新しい医薬品は、以前の製品よりも透明度が低い場合がある（例えば、撮像により強い光の強度を必要とする）か、又は異なるタイプの欠陥及び／若しくは領域にある欠陥を有する可能性がある異なるタイプの容器に入れられるなどの場合がある。

【0031】

次に、開発手順２１０において、新しい医薬品に合わせて調整されたＡＶＩステーションを開発するために実験室ベースのセットアップが使用される。開発手順２１０内では、ステージ２１２において、実験室ベースのセットアップの撮像システム（１つ又は複数のカメラ及び任意の関連する光学コンポーネント）は、容器（例えば、シリンジ又はバイアル）内の照明された試料（例えば、液体又は凍結乾燥製品）の画像を取り込む。

【0032】

ステージ２１４において、取り込まれた画像を利用して、実験室ベースのセットアップのユーザが検査レシピ／アルゴリズムを開発し、所望の性能（例えば、特定のタイプの欠陥に関して誤検出及び／又は検出漏れの閾値量未満である性能）を達成するために、実験室ベースのセットアップの様々なパラメータを調整する。調整された「パラメータ」は、ソフトウェア、撮像ハードウェア、照明ハードウェア及び／又はコンピュータハードウェアの任意の設定、タイプ、位置及び／又は他の特性を含み得る。例えば、ユーザは、光の強度の設定、カメラの設定、カメラレンズタイプ又は他の光学コンポーネント、撮像システム及び照明システムのジオメトリなどを調整することができる。本開示を通して使用される「ユーザ」という用語は、１人の人物又は２人以上の人々のチームを指し得ることを理解されたい。いくつかのシナリオでは、ユーザは、ステージ２１４でまったく新しいソフトウェアアルゴリズムを開発し得る。

【0033】

ステージ２１６において、ユーザは、特性解析及びクオリフィケーション作業を実行して、ステージ２１４で開発／調整された実験室ベースのセットアップ／ステーションが（例えば、適用される規制に従って）満足に動作するか否かを判定する。満足に動作しない場合、実験室ベースのセットアップ／ステーションを使用して、ステージ２１４の次の反復で更に開発／調整することができ、これは、ステージ２１２の次の反復で追加の画像を取り込むことも必要とし得る。開発手順２１０のステージ２１２、２１４、２１６は、ステージ２１６での特性解析／クオリフィケーション作業の結果が合格であると見なされるまで、任意の反復数で繰り返され得る。

【0034】

結果が合格であると見なされ、新しい医薬品を商業規模で生産するための準備ができたら、商業ライン機器を停止し、実験室ベースのセットアップの動作を模倣するために、ライン機器のＡＶＩステーションのハードウェア及び／又はソフトウェアをステージ２２０で更新する。図２に明示的に示していないが、ステージ２２０内の模倣プロセスは、図１Ａの反復セットアップ手順１２０（すなわちステージ１２２、１２４、１２６）と同様の手順を含み得るが、更新されるＡＶＩステーションが既に存在するという事実に起因して、「構築」を必要としないステージ１２２の最初の反復を伴う（可能性がある）。実際、いくつかのシナリオでは、ステージ１２２は、（既存のＡＶＩステーションが画像比較ツールのフェーズにそのまま進むのに既に実験室ベースのセットアップに十分に近いと開発者が考える場合）１回目の反復全体がスキップされ、その後の反復でのみ実行され得る。

【0035】

開発者は、ステージ２２０において（画像比較ツールに基づいて更新が正常に行われた後）、ライン機器のダウンタイムが増加するあるレベルの現場クオリフィケーション作業を実行する必要もあり得る。しかしながら、これに必要な時間は、開発手順２１０中のクオリフィケーション作業よりもはるかに短くなり得、いずれの場合にも、（手順２１０における）開発作業がオフラインで行われるという事実により、ライン機器のダウンタイムが大幅に短縮される。ステージ２２２において、正常なクオリフィケーション後、商業ライン機器上での生産が再開されるが、ここでは、新しい医薬品に関して再開される。

【0036】

いくつかのシナリオでは、プロセス１００とプロセス２００との両方が順次実施される。例えば、ライン機器のＡＶＩステーションが許容できない数の誤検出を生じていると判定された場合（すなわちそのような欠陥が存在しない場合にかなりの欠陥にフラグを立てている場合）、プロセス１００を使用して、模倣ＡＶＩステーションを構築して調整することができる。その後、模倣ＡＶＩステーションを使用することにより、異なるハードウェアコンポーネント（例えば、複数の指向性ライトの代わりにＬＥＤリングライト）が必要であると判定され得る。模倣ＡＶＩステーション上での新しい設計のクオリフィケーション後、アップグレードされたステーションが模倣ステーションの動作と正確に／十分に一致することを確保するために、ライン機器のＡＶＩステーションをアップグレードするときにプロセス２００が使用され得る。

【0037】

図３は、本明細書で記載される技法を実装し得る例示的なシステム３００の簡略化されたブロック図である。具体的には、図３は、模倣ＡＶＩステーションを使用して商業ライン機器のＡＶＩステーションをトラブルシューティングする実施形態を示す。したがって、例えば、システム３００は、図１Ａ及び図１Ｂのプロセス１００を実施し得、且つ／又は実施するために使用され得る。

【0038】

図３から分かるように、システム３００は、商業ライン機器３０２と模倣ＡＶＩステーション３０４とを含む。ライン機器３０２は、Ｎ（Ｎ≧１）個のＡＶＩステーション３１０－１～３１０－Ｎ（ＡＶＩステーション３１０とも総称される）を備えた任意の生産グレードの機器であり得る。ごく一例を挙げると、ライン機器３０２は、Ｂｏｓｃｈ（登録商標）２９６Ｓライン機器であり得る。図３の例では、ライン機器３０２のｉ番目のＡＶＩステーション３１０－ｉは、トラブルシューティングを必要とし（又は代替的に最適化の対象であり）、ここで、ｉは、１、Ｎ又は１～Ｎの任意の数に等しい。ＡＶＩステーション３１０のそれぞれは、異なる態様の容器及び／又は容器内の試料の検査に使用される画像を取り込む役割を果たす。例えば、１番目のＡＶＩステーション３１０－１は、シリンジ又はバイアルの上方から見た画像を取り込んで、割れ又は欠けについて検査することができ、２番目のＡＶＩステーション３１０－２は、側面から見た画像を取り込んで、シリンジ又はバイアルの内容物（例えば、液体又は凍結乾燥医薬品）における異物粒子を検査することなどができる。

【0039】

図３は、ｉ番目のＡＶＩステーション３１０－ｉの一般的なコンポーネントを、簡略化したブロック図の形式で示す。特に、ＡＶＩステーション３１０－ｉは、撮像システム３１２と、照明システム３１４と、試料位置決めハードウェア３１６とを含む。他のＡＶＩステーション３１０（存在する場合）は、同様であり得るが、所与の各ステーション３１０の目的に応じて、異なるコンポーネントタイプ及び構成を有する可能性があることを理解されたい。

【0040】

撮像システム３１２は、各試料（例えば、容器及び医薬品）の画像を取り込むために、１つ又は複数の撮像装置と、場合により関連する光学コンポーネント（例えば、追加のレンズ、ミラー、フィルタなど）とを含む。撮像装置は、例えば、電荷結合素子（ＣＣＤ）センサを備えたカメラであり得る。本明細書で使用される場合、「カメラ」又は「撮像装置」という用語は、任意の適切なタイプの撮像装置（例えば、ヒトの可視周波数スペクトル部分を取り込むカメラ又は赤外線カメラなど）を指し得る。照明システム３１４は、例えば、発光ダイオード（ＬＥＤ）アレイ（例えば、パネル又はリング装置）など、撮像のために各試料を照明するための１つ又は複数の照明装置を含む。

【0041】

試料位置決めハードウェア３１６は、ＡＶＩステーション３１０－ｉのために、試料を保持又は他に支持する任意のハードウェア並びに場合により試料を搬送及び／又は他に移動するハードウェアを含み得る。例えば、試料位置決めハードウェア３１６は、スターホイール、回転台、ロボットアームなどを含み得る。いくつかの実施形態では、ＡＶＩステーション３１０－ｉの機能に応じて、試料位置決めハードウェア３１６は、各試料を攪拌するためのハードウェアも含む。例えば、ＡＶＩステーション３１０－ｉが液体内の異物粒子を検査する場合、試料位置決めハードウェア３１６は、各試料を回転（ｓｐｉｎ）／回転（ｒｏｔａｔｅ）、反転及び／又は揺動するコンポーネントを含み得る。

【0042】

ライン機器３０２は、処理ユニット３２０及びメモリユニット３２２も含む。処理ユニット３２０は、１つ又は複数のプロセッサを含み、１つ又は複数のプロセッサのそれぞれは、メモリユニット３２２に記憶されたソフトウェア命令を実行して、本明細書で説明される商業ライン機器３０２のソフトウェアによって制御される機能のいくつか又はすべてを実行するプログラム可能なマイクロプロセッサであり得る。代替的又は追加的に、処理ユニット３２０におけるプロセッサのいくつかは、他のタイプのプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）であり得、本明細書で説明される処理ユニット３２０の機能のいくつかは、代替的にハードウェアで実装され得る。メモリユニット３２２は、１つ又は複数の揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリユニット３２２には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）など、１つ又は複数の任意の適切なメモリタイプを含めることができる。メモリユニット３２２は、まとめて、１つ又は複数のソフトウェアアプリケーション、それらのアプリケーションによって受け取られる／使用されるデータ及びそれらのアプリケーションによって出力／生成されるデータを記憶し得る。

【0043】

処理ユニット３２０及びメモリユニット３２２は、一緒に、ＡＶＩステーション３１０の動作を制御／自動化し、また容器及び／又は容器の内容物（例えば、医薬品）の対応するタイプの欠陥を検出するためにＡＶＩステーション３１０によって取り込まれた／生成された画像を処理するように構成される。代替的な実施形態では、処理ユニット３２０及び／又はメモリユニット３２２の機能は、それぞれがＡＶＩステーション３１０－１～３１０－Ｎの異なる１つに固有のＮ個の異なる処理ユニット及び／又はメモリユニットにそれぞれ分散される。更に別の実施形態では、（例えば、試料の搬送、攪拌及び／又は撮像のための）処理ユニット３２０及びメモリユニット３２２の機能のいくつかは、ＡＶＩステーション３１０に分散される一方、（例えば、試料画像を処理して欠陥を検出するための）処理ユニット３２０及びメモリユニット３２２の他の機能は、集中処理ユニットによって実行される。いくつかの実施形態では、処理ユニット３２０及び／又はメモリユニット３２２の少なくとも一部分は、ライン機器３０２の外部（及び場合により遠隔）にあるコンピューティングシステム（例えば、特別にプログラムされた汎用コンピュータ）に含まれる。

【0044】

メモリユニット３２２は、ＡＶＩステーション３１０によって取り込まれた試料（容器／製品）画像を記憶し、またＡＶＩコード３２６を記憶する。ＡＶＩコード３２６は、処理ユニット３２０によって実行されると、（１）ＡＶＩステーション３１０に画像を取り込ませ、且つ（２）（例えば、上述のように）取り込まれた画像を処理して欠陥を検出する。例えば、ＡＶＩステーション３１０－ｉの場合、ＡＶＩコード３２６は、図３にコード３２８として示されている対応する部分を含む。１つの実施形態の一例として、コード３２８は、試料が照明システム３１４によって照明されている間に画像を取り込むように撮像システム３１２をトリガし得、試料位置決めハードウェア３１６を制御して、試料を適切な時間に正しい位置に配置し、場合により適切な時間に攪拌プロファイルに従って試料を攪拌し得る。画像が取り込まれ、画像３２４として記憶された後、コード３２８は、画像３２４を処理して、ステーション３１０－ｉに関連する特定のタイプの欠陥を検出する。上記のように、いくつかの実施形態では、画像を処理するコード３２８の部分は、撮像、攪拌などを制御するコード３２８の部分と異なるプロセッサ、コンポーネント及び／又は装置によって実行され得る。

【0045】

模倣ＡＶＩステーション３０４は、（例えば、ＡＶＩステーション３１０－ｉに許容できないレベルの誤検出又は検出漏れがあることを把握したことに応じて）特定のＡＶＩステーション３１０－ｉの動作を（十分な程度まで）レプリケートするように構築された実験室ベースのセットアップであり得る。模倣ＡＶＩステーション３０４は、模倣撮像システム３３２と、模倣照明システム３３４と、模倣試料位置決めハードウェア３３６とを含む。模倣撮像システム３３２は、各試料（例えば、容器及び医薬品）の画像を取り込むための１つ又は複数の撮像装置（及び場合により関連する光学コンポーネント）を含み、模倣照明システム３３４は、撮像のために各試料を照明するための１つ又は複数の照明装置を含み、試料位置決めハードウェア３１６は、試料を保持又は他に支持するハードウェアと、場合により試料を搬送及び／又は他に移動するハードウェアとを含む。

【0046】

理想的には、模倣撮像システム３３２、模倣照明システム３３４及び模倣試料位置決めハードウェア３３６は、ＡＶＩステーション３１０－ｉの撮像システム３１２、照明システム３１４及び試料位置決めハードウェア３１６をそれぞれ完全にレプリケートする。より重要なことに、模倣ＡＶＩステーション３０４は、全体として、ＡＶＩステーション３１０－ｉの動作を理想的にレプリケートする。しかしながら、現実の世界では、動作の正確な一致を達成するのは、極めて困難である。図１Ａに関連して上述したように、ＡＶＩステーション３１０－ｉの動作に「近い」動作を最初に有する模倣ＡＶＩステーション３０４を（例えば、ステージ１２２において）構築するために、様々な手動及び／又は自動リバースエンジニアリング技法が使用され得る。

【0047】

図１Ａのステージ１２６に関連して上述したように模倣ＡＶＩステーション１０４が最初に構築された後、ソフトウェアを使用して、動作の一致を改善するための模倣ＡＶＩステーション３０４の微調整を容易することができる。このため、模倣ＡＶＩステーション３０４は、処理ユニット３４２とメモリユニット３４４とを含むコンピューティングシステム３４０（例えば、特別にプログラムされた汎用コンピュータ）に結合される。コンピューティングシステム３４０は、模倣ＡＶＩステーション３０４と別個であるか又は一体であり得、模倣ＡＶＩステーション３０４の近くにあるか又は遠隔にあり得る。いくつかの実施形態では、例えば、コンピューティングシステム（又はその一部分）は、インターネットリンクを介して模倣ＡＶＩステーション３０４から画像を受信する。

【0048】

処理ユニット３４２は、１つ又は複数のプロセッサを含み、１つ又は複数のプロセッサのそれぞれは、メモリユニット３４４に記憶されたソフトウェア命令を実行して、本明細書で説明されるコンピューティングシステム３４０のソフトウェアによって制御される機能のいくつか又はすべてを実行するプログラム可能なマイクロプロセッサであり得る。代替的又は追加的に、処理ユニット３４２におけるプロセッサのいくつかは、他のタイプのプロセッサ（例えば、ＡＳＩＣ、ＦＰＧＡなど）であり得、本明細書で説明される処理ユニット３４２の機能のいくつかは、代替的にハードウェアで実装され得る。メモリユニット３４４は、１つ又は複数の揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリユニット３４４には、ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＳＳＤ、ＨＤＤなど、１つ又は複数の任意の適切なメモリタイプが含まれ得る。メモリユニット３４４は、まとめて、１つ又は複数のソフトウェアアプリケーション、それらのアプリケーションによって受け取られる／使用されるデータ及びそれらのアプリケーションによって出力／生成されるデータを記憶し得る。

【0049】

メモリユニット３４４は、模倣撮像システム３３２によって取り込まれた画像３４６と、ＡＶＩステーション３１０－ｉの撮像システム３１２によって取り込まれた画像３４８とを記憶する。また、メモリユニット３４４は、画像比較ツール（ＩＣＴ）３５０及びＡＶＩコード３５２を記憶する。一般に、画像比較ツール３５０は、（例えば、ステージ１２６に関連して上述し、図６及び図７に関連して後述するように）その動作がＡＶＩステーション３１０－ｉに一致するように模倣ＡＶＩステーション３０４を調整するプロセスを容易にし、ＡＶＩコード３５２は、トラブルシューティング又は最適化プロセス中、構築されて調整された模倣ＡＶＩステーション３０４を制御するために使用される。ＡＶＩコード３５２は、例えば、コード３２８の完全な（又は極めて近い）複製であり得、ライン機器３０２、可搬型メモリ装置、インターネット又は別の適切なソースからダウンロード又はアップロードされ得る。他の実施形態では、ＡＶＩコード３５２は、コード３２８の一部分のみを含む（例えば、適切な撮像位置への及びそこからの試料の搬送を制御するために使用される部分を除く）。

【0050】

コンピューティングシステム３４０は、出力ユニット３６０に結合される。出力ユニット３６０は、任意のタイプの視覚及び／又は音声出力装置（例えば、コンピューティングシステム３４０のコンピュータモニタ、タッチスクリーン若しくは他のディスプレイ及び／又はスピーカ或いはディスプレイ及び／又はスピーカを有し、コンピューティングシステム３４０に結合された別個のコンピューティングデバイスなど）であり得る。画像比較ツール３５０及びＡＶＩコード３５２は、出力ユニット３６０に、模倣ＡＶＩステーション３０４の開発者又はユーザに対して様々な視覚及び／又は音声出力を提供させることができる。例えば、画像比較ツール３５０は、出力ユニット３６０に、（以下で更に論じるように）画像３４６と画像３４８との間の差分を表す様々なメトリックを表示させ得、ＡＶＩコード３５２は、出力ユニット３６０に、特定の試料が不良であるか否かの指標などの情報を表示させ得る。

【0051】

図３は、模倣ＡＶＩステーション（ステーション３０４）が商業ライン機器のＡＶＩステーション（ライン機器３０２のステーション３１０－ｉ）をトラブルシューティングするために使用される実施形態を示すが、商業ライン機器のＡＶＩステーションが（例えば、図２のプロセス２００のような）実験室ベースのセットアップ／ステーションの動作をレプリケートするために更新／修正される実施形態のために、同様のコンポーネントが使用され得ることを理解されたい。このような実施形態では、ｉ番目のＡＶＩステーション３１０－ｉは、ＡＶＩステーション３０４（すなわち実験室ベースのセットアップ）を模倣する「模倣」ステーションである。更に、このような実施形態では、画像比較ツール３５０は、代替的にライン機器３０２のメモリ３２２に常駐し得る。代替的に、画像比較ツール３５０は、コンピューティングシステム３４０に留まり得る。

【0052】

いくつかの実施形態では、システム３００は、遠方のユーザがそれぞれの実験室及び製造場所に関係なく、実験室ベースのセットアップに直接アクセスできるように、遠隔拠点（例えば、グローバルな製造拠点）へのアクセスを提供する。このような手法により、ネットワークを介した拠点／ユーザ間のリアルタイムのコラボレーションが可能になり、例えばトラブルシューティング及び／又は開発サポートをグローバルな集中施設に置きながら、多様な場所にいる個人（技術者など）の専門性を活用できるようになる。したがって、ネットワーク型の手法は、より効率的な組織構造をもたらし得る。

【0053】

図４及び図５は、例示的な実験室ベースのセットアップを示し、そのいずれも、図３の模倣ＡＶＩステーション３０４（例えば、プロセス１００の模倣ＡＶＩステーション）であるか、又は代替的に開発プラットフォームとして使用される実験室ベースのＡＶＩステーション（例えば、プロセス２００で使用される実験室ベースのセットアップ）であり得る。これらの実験室ベースのセットアップ／ステーションは、例示的なものに過ぎないことと、代替のタイプ及び構成が実質的に無制限に存在することとを理解されたい。

【0054】

まず、図４Ａを参照すると、第１の実験室ベースのセットアップ４００は、例えば、容器の上部（例えば、液体医薬品が充填されたシリンジの上部）の欠陥（例えば、割れ、欠けなど）を検査するために使用され得る。セットアップ４００は、容器を撮像するためのカメラ４０２と、各容器を撮像しながら各容器を照明するためのＬＥＤリング４０４とを含む。試料位置決めハードウェア４０６は、プラットフォーム４０６Ａと、プラットフォーム４０６Ａに取り付けられたスターホイール４０６Ｂとを含む。また、カメラ４０２及びＬＥＤリング４０４は、プラットフォーム４０６Ａに（直接又は間接的に）取り付けられ得る。スターホイール４０６Ｂは、スターホイール４０６Ｂの周縁部に沿ったフィッティングに容器（例えば、シリンジ）を保持することができ、スターホイール４０６Ｂは、プラットフォーム４０６Ａに対して回転して、各容器を撮像位置（すなわちＬＥＤリング４０４内の中心及びカメラ４０２の直下）に移動させることができる。しかしながら、いくつかの実施形態及び／又はシナリオでは、セットアップ４００が、いくつかの連続する容器を順次撮像できることよりも、単一の容器の撮像に関してライン機器ＡＶＩステーションの特性（例えば、照明、光学系など）に一致又は厳密に近似することのみが重要である。したがって、いくつかの実施形態では、模倣されるＡＶＩステーション（又は開発活動が行われているＡＶＩステーション）がそのようなハードウェア又は機能を必要とする場合でも、スターホイール４０６Ｂは、複数の容器を保持するように設計される必要はなく、回転する必要もない。

【0055】

図４Ｂは、セットアップ４００（及びライン機器の対応するＡＶＩステーション）がシリンジフランジ上の欠陥を検出するためにシリンジの上方からの画像を取り込む実施形態について、セットアップ４００によって取り込まれ得る例示的な画像４５０を示す。本例から分かるように、欠陥は、シリンジフランジ上の様々な位置及びサイズの欠け及び割れを含み得る。

【0056】

図４Ｃは、ライン機器のＡＶＩステーション（例えば、図３のＡＶＩステーション３１０－ｉ）によって取り込まれた画像を表す例示的な画像４６０を示し、図４Ｄは、正常にトラブルシューティングが行われた後の模倣ＡＶＩステーション（例えば、セットアップ４００）によって取り込まれた画像を表す例示的な画像４７０を示す。本例では、ライン機器ＡＶＩステーションは、画像４６０に見られる光の反射に起因して誤検出率が許容できないほど高く、トラブルシューティング中の修正（例えば、別のタイプの照明装置からＬＥＤリングに変更するか、又は容器に対するカメラ又は照明装置の向きを変更するなど）により、画像４７０に見られる反射が大幅に少なくなる。光の反射に関連するアーチファクトが減ることにより、欠陥が見えなくなる可能性が低くなり得、且つ／又は反射を欠陥と誤って解釈する可能性が低くなり得る。

【0057】

次に、図５の例を参照すると、実験室ベースのセットアップ５００は、例えば、シリンジを側面から見て（例えば、液体医薬品で充填されたシリンジの側面）欠陥（例えば、容器シリンジの側壁の割れ、欠け、汚れなど、並びに／又は医薬品中の許容できないタイプ及び／若しくは数の粒子）を検査するために使用され得る。セットアップ５００は、容器を撮像するためのカメラ５０２と、各容器を撮像しながら各容器を背後から照明するためのＬＥＤバックライト５０４とを含む。試料位置決めハードウェアは、いくつかのシリンジを保持する回転台５０６を含み、カメラ５０２とＬＥＤバックライト５０４との間に単一のシリンジを位置決めする。回転台５０６は、各シリンジを撮像位置に移動させるために回転し得る。上述のように、いくつかの実施形態及び／又はシナリオでは、セットアップ５００が、いくつかの連続する試料を順次撮像する同じ能力を有することよりも、所与の試料の撮像に関してライン機器ＡＶＩステーションの特性に一致又は厳密に近似することのみが重要である。したがって、いくつかの実施形態では、模倣されるＡＶＩステーション（又は開発活動が行われているＡＶＩステーション）がそのようなハードウェア又は機能を必要とする場合でも、回転台５０６は、複数のシリンジを保持するように設計される必要はなく、回転する必要もない。

【0058】

図６は、模倣ＡＶＩステーション（例えば、図１のプロセス１００における実験室ベースのセットアップ、図２のプロセス２００のライン機器ＡＶＩステーション又は図３の模倣ＡＶＩステーション３０４）の構築及び／又はアップグレードを容易にするために使用され得る例示的な画像比較ツール６００（例えば、図３の画像比較ツール３５０）を示す。図６から分かるように、画像比較ツール６００は、元の画像６０２と模倣画像６０４とを受け取り、実施されているのがプロセス１００であるか又はプロセス２００であるかに応じて、元の画像６０２は、ライン機器のＡＶＩステーションによって取り込まれた画像であり得、模倣画像６０４は、実験室ベースのセットアップによって取り込まれた画像であり得るか、又はその逆であり得る。いくつかの実施形態では、画像６０２、６０４は、ロスレス画像圧縮形式を使用することが想定される。

【0059】

画像比較ツール６００は、メトリック生成ユニット６１２とフィードバックユニット６１４とを含む。メトリック生成ユニット６１２は、画像６０２及び画像６０４を処理し、画像６０２、６０４の特性を示すメトリックを生成／計算し、それらのメトリックに基づいて、画像６０２、６０４間の差分を示す１つ又は複数の追加のメトリックを計算する。いくつかの実施形態では、メトリック生成ユニット６１２は、画像ごとに、すなわち元の画像６０２の１つを模倣画像６０４の１つと比較することによってメトリックを計算する。他の実施形態では、メトリック生成ユニット６１２は、複数の元の画像６０２及び複数の模倣画像６０４のセットに基づいてメトリックのそれぞれを計算する。例えば、元の画像６０２のｘ枚（ｘ＞１）の画像のセットを平均するか又は互いに重ね合わせ得、模倣画像６０４のｘ枚の画像のセットを、場合によりアライメント技法を適用した後、平均化するか又は互いに重ね合わせ得る。このような手法により、例えば異常値画像の影響を軽減できる。平均化／重ね合わせ／アライメントは、例えば、画像比較ツール６００を実装する同じコンピューティングデバイス若しくはプロセッサによって実行され得るか、又は別のデバイス若しくはプロセッサによって実行され得る。代替的な実施形態では（例えば、ラインスキャンカメラが使用される場合）、ユニット６１２が任意のメトリックを計算する前に、（例えば、各容器を回転させて容器の全方位から見る実施形態において）元の画像６０２のｘ枚の画像が一緒にスティッチングされ、模倣画像６０４のｘ枚の画像が一緒にスティッチングされる。画像６０２及び６０４の他の前処理（例えば、各ピクセルがｘ枚の画像のすべてにわたってそのピクセル位置に対して最大の強度を有する画像を生成すること）も可能である。説明を簡単にするために、図６の残りの説明及び図７の説明では、１つの元の画像６０２及び１つの模倣画像６０４のみに言及する。しかしながら、上記の変形形態又は他の適切な変形形態が可能であることを理解されたい。メトリック生成ユニット６１２が計算し得るメトリックのいくつかの具体的な例について、図７を参照して以下に説明する。

【0060】

フィードバックユニット６１４は、メトリック生成ユニット６１２によって生成された差分メトリックに基づいて、視覚及び／又は音声形式でユーザ（例えば、技術者、開発者、技術者など）に１つ又は複数の出力が提示されるようにする。出力は、例えば、図３の出力ユニット３６０によって生成（例えば、表示及び／又は発光）され得る。いくつかの実施形態では、フィードバックユニット６１４は、生成されたメトリックをユーザに単に（例えば、グラフィカルユーザインターフェース（ＧＵＩ）上で）提示する。例えば、フィードバックユニット６１４は、強度レベルメトリック、画像焦点ぼけメトリック及び／又は他のメトリックをユーザに表示させることができる。

【0061】

他の実施形態では、フィードバックユニット６１４は、代替的又は追加的に、１つ又は複数のメトリックに基づいて１つ又は複数のユーザ提案を生成する。例えば、フィードバックユニット６１４は、カメラを動かす、照明装置を動かす、光の強度を変える、カメラの設定を変えるなどの提案を生成し得る。他の例示的な提案については、図７を参照して後述する。

【0062】

いくつかの実施形態では、メトリック生成ユニット６１２及びフィードバックユニット６１４は、模倣画像６０４が模倣ＡＶＩステーションの撮像システム（例えば、模倣撮像システム３３２）によって取り込まれるとき及び／又は模倣画像６０４が画像比較ツール６００を実装する装置若しくはシステムによって（例えば、コンピューティングシステム３４０によって）受信されるとき、実質的にリアルタイムで動作する。したがって、例えば、ユーザは、出力ユニット３６０上に提示されたＧＵＩ上の対話型コントロールを選択することによって模倣ステーション画像を取り込み、その後、メトリック生成ユニット６１２及び／又はフィードバックユニット６１４によって生成された対応するメトリック及び／又は提案をほぼ直ちに見ることが可能になり得る。このようにして、ユーザは、模倣ＡＶＩステーションを修正し（例えば、コンポーネント位置、設定などを微調整し）、模倣ＡＶＩステーションの動作に及ぼす修正の効果（すなわちその修正によって模倣ＡＶＩステーションが元のＡＶＩステーションの動作にどの程度近づくか又は遠ざかるか）を観測するという反復を迅速に進めることができる。

【0063】

図７は、例えば、図６の画像比較ツール６００（より具体的にはメトリック生成ユニット６１２）によって実装され得る例示的なアルゴリズム７００を示す。図７から分かるように、アルゴリズム７００は、単一の元の画像７０２（例えば、画像７０２の１つ）及び単一の模倣画像７０４（例えば、画像７０４の１つ）を入力として受け入れる。上述のように、いくつかの実施形態では、これらの「単一の」画像は、複数の画像の合成（例えば、平均）であり得る。１つの実施形態では、アルゴリズム７００は、ＯｐｅｎＣＶライブラリを用いて、Ｐｙｔｈｏｎコードで実装される。

【0064】

ステージ７１２において、アルゴリズム７００は、元の画像７０２及び模倣画像７０４について１つ又は複数の総画像パラメータ（Ｐ１～Ｐｊ、ここで、ｊ≧１である）を決定し、それらのパラメータを比較して、整合性をチェックする。総画像パラメータは、例えば、画像サイズ、画像解像度、色深度及び／又は画像ファイル形式などの比較的基本的な画像パラメータを表し得る。画像比較ツール６００は、例えば、元のＡＶＩステーション及び模倣ＡＶＩステーションの様々なハードウェアコンポーネント（例えば、カメラ）に入力されるか、又はそれらによって生成される構成ファイルを用いて、総画像パラメータを決定し得る。アルゴリズム７００は、（例えば、図３の出力ユニット３６０によって表示される）ＧＵＩに、総画像パラメータにおける任意の差分を示させることができる。したがって、例えば、ユーザは、元のＡＶＩステーションにおけるカメラ（又はその後の処理）が何らかの方法で（例えば、クロッピング、フォーマット変換、リサイズなど）取り込まれた画像を変更したときに容易に検出可能であり得、それらの画像処理操作を再現するように模倣ＡＶＩステーションを手動で再設定することができる。

【0065】

ステージ７１４Ａ及び７１４Ｂにおいて、アルゴリズム７００は、それぞれ元の画像７０２及び模倣画像７０４の１つ又は複数のメトリック（Ｃ１～Ｃｋ、ここでｋ≧１）を計算する。ステージ７１４Ａ及び７１４Ｂは、画像７０２、７０４の総画像パラメータが同一であると仮定し得る。メトリックは、検査精度に関連するか又は関連する可能性のある任意の画像特性を表すことができる。また、アルゴリズム７００は、２つの画像７０２、７０４の対応するメトリック間の差分を示すメトリック（図７ではΔＣ１～ΔＣｋと記されている）を含む。アルゴリズムは、例えば、単純な減算によって（例えば、ΔＣ１が画像７０２のＣ１と画像７０４のＣ１との間の差分の絶対値に等しい場合など）又は他の技法（例えば、要素ごとの減算、ドット積など）を用いて、差分のいくつか又はすべてを計算し得る。

【0066】

一例として、メトリックは、１つ又は複数の光の強度メトリックを含み得る。光の強度は、実施形態に応じて、１つ又は複数の方法で測定され得る。例えば、画像７０２、７０４のそれぞれについて、アルゴリズム７００は、すべてのピクセルの強度値を平均して平均値を生成し、画像７０２、７０４の平均値を比較（例えば、減算）し得る。別の例として、アルゴリズム７００は、画像７０２、７０４のそれぞれについてピクセル強度ヒストグラムを生成し、次に既知の技法を使用してヒストグラムを数学的に比較し得る。使用され得、且つヒストグラム間の差分を反映した１価出力が得られるいくつかの技法としては、バタチャリア距離法、相関法、カイ二乗法及び交差法が挙げられる。使用される最良の技法は、検討される画像の性質によって異なり得る。ヒストグラムに基づく強度解析により、アルゴリズム７００は、各画像内の強度のダイナミックレンジ（すなわち最小強度値と最大強度値との間の値幅）を考慮することができる。

【0067】

複雑な画像の場合、容器のファセットのサブセットとその周辺環境とから均質でない照明が偏って反射することがあるため、上で論じたような強度メトリックは、不十分な場合がある。更に、（例えば、窓又は蛍光天井灯からの）不均一な環境照明に起因する粗い効果は、画像全体の強度において大きい波長の緩やかな変動をもたらし得る。いくつかの実施形態では、アルゴリズム７００は、ローパス周波数フィルタを使用して、このような変動を取り込む。追加的又は代替的に、アルゴリズム７００は、画像７０２、７０４のそれぞれについて高速フーリエ変換（ＦＦＴ）を計算し、対応するＦＦＴ出力を処理して、周波数成分が画像７０２、７０４について同様に分布しているか否かを判定し得る。

【0068】

別の例として、メトリックは、画像の焦点ぼけを示す１つ又は複数のメトリックを含み得る。例えば、アルゴリズム７００は、画像７０２、７０４のそれぞれのラプラシアンを計算して、容易に比較され得る１価パラメータを生成し得る。アルゴリズム７００が、例えば、ＯｐｅｎＣＶライブラリを用いたＰｙｔｈｏｎコードとして実装される場合、焦点ぼけは、画像７０２、７０４のそれぞれについて、以下のように計算され得る。
焦点ぼけ＝ｃｖ２．Ｌａｐｌａｃｉａｎ（ｉｍａｇｅ，ｃｖ２．ＣＶ＿６４Ｆ）．ｖａｒ（）
また、ラプラシアンメトリックは、撮像カメラに対する撮像される容器／試料の動きを示すこともできる。商業ＡＶＩシステムでは、検査ステーションに対して試料を迅速に移動させることは、珍しいことではない。例えば、鮮鋭な撮像を実現するために、商業システムは、カメラの露光時間を短くすること、照明光のストロービング、撮像コンポーネントを動かして部分を追跡すること又はこれらの機能の１つ若しくは複数を組み合わせたものを採用することが多い。模倣ＡＶＩステーションがこれらの機能の１つ又は複数において元のＡＶＩステーションと不一致の場合、ある程度のモーションブラー又はストリーキングが発生する可能性がある。結果は、焦点ぼけと同様であるが、方向性の成分を有する。したがって、ラプラシアン技法を用いて計算されたメトリックも動きを示し得る。ラプラシアンに加えて、ソーベル（Ｓｏｂｅｌ）又はプレヴィット（Ｐｒｅｗｉｔｔ）などの一次フィルタを使用して、画像の鮮鋭度に関する追加情報を得ることができる。

【0069】

別の例として、メトリックは、カメラノイズを示す１つ又は複数のメトリックを含み得る。最近の産業用デジタルカメラでは、ノイズは、センサ自体においてのみ発生する可能性がある。一般に、信号は、デジタル化された後に破損しにくくなる。模倣ＡＶＩステーションを構築するとき、カメラのブランド及び機種は、いくつかの場合、容易に一致し得るため、ノイズレベルは、同様であり得る。一例として、８ビットグレースケール画像における所与のピクセル上の累積ノイズレベルは、特定のカメラブランド及び機種について、０～２５５のダイナミックレンジのうち、０～１０の範囲であり得る。これにより、ほとんどのＡＶＩアプリケーションにおいて室温でのノイズが無視できるほど小さくなる。しかしながら、いくつかの場合、カメラのノイズレベルが検査性能に影響を与えること及び／又はカメラの機種が陳腐化に起因して見つからず、使用できない場合があることが考えられる。デジタル画像の場合、カメラノイズは、通常、事実上高周波である。したがって、アルゴリズム７００は、画像７０２、７０４のそれぞれについてＦＦＴを計算し、ＦＦＴ出力を処理して、高周波成分のレベル又は相対レベルを示すメトリックを生成することにより、カメラノイズを示すメトリックを生成し得る。

【0070】

別の例として、メトリックは、撮像された容器（及び場合により試料位置決めハードウェアの部分などの他の撮像された物体）のアライメント及びスケーリングを示す１つ又は複数のメトリックを含み得る。例えば、アルゴリズム７００は、撮像された容器の相対的な回転（例えば、画像自体の垂直軸又は水平軸に対する、すなわちカメラフレームによって確立された軸に対する、撮像された容器の垂直壁の角度）と、（例えば、ピクセル単位で測定される長さ及び／又は幅に基づいて決定される）横方向及び／又はスケール深度のオフセット／シフトとを決定し得る。

【0071】

ステージ７１６において、アルゴリズム７００は、ステージ７１４Ａ及び７１４Ｂで計算されたメトリックに基づいて、画像対７０２、７０４に対する加重比較スコアを生成する。特に、本例では、アルゴリズム７００は、スコア＝（Ｗ１＊ΔＣ１）＋（Ｗ２＊ΔＣ２）＋．．．＋（Ｗｋ＊ΔＣｋ）としてスコアを計算し、ここで、（上述のように）ΔＣｉは、２つの画像７０２、７０４についてのＣｉに対応する差分指標である。重みＷ１、Ｗ２、．．．Ｗｋは、特に、同等のＡＶＩ検査性能を達成するためにいずれのメトリックがより重要であるか又はより重要でないかに関して、各メトリックの類似性達成の重要性を表すことができる。重みは、ある程度、アプリケーション固有であり得る。例えば、いくつかの実施形態又はシナリオでは、ピクセル強度レベルは、焦点ぼけよりも重要であり、したがって、強度の差分は、ラプラシアンスカラ値（又は焦点ぼけを示す他のメトリック）の差分よりも重く重み付けされ得る。

【0072】

図６に関連して上述したように、画像比較ツール６００は、出力ユニット３６０に、計算されたメトリックのいくつか又はすべて（例えば、差分メトリックΔＣ１～ΔＣｋのみ又は対応する閾値を超える差分メトリックのみなど）をリアルタイムで表示させ得る。代替的又は追加的に、ツール６００は、出力ユニット３６０にステージ７１６で生成されたスコアを表示させ得る。スコアが計算され、示され、十分である（例えば、ある所定の閾値を上回る）と見なされる実施形態では、技術者又は他のユーザは、模倣ＡＶＩステーションが元のＡＶＩステーションと十分に一致すると決定し、トラブルシューティング及び／又は最適化のための模倣ＡＶＩステーションの使用に進むことができる。

【0073】

スコアが十分でない場合又はスコアが提示されず、個々のメトリックが十分に近いようではない場合、ユーザは、必要に応じて模倣ＡＶＩステーションを「微調整」して、より良好な一致を実現するために、表示されたメトリックを解析し得る。例えば、模倣画像７０４が全体として元の画像７０２に対して薄暗い（例えば、平均強度が低い）ことをメトリックが示す場合、ユーザは、照明又はカメラ装置の設定を確認し（例えば、光の強度設定、レンズ絞り設定、カメラゲイン設定、カメラ露光時間設定など）、且つ／又は照明装置を試料に近づけるなどできる。

【0074】

画像ピクセルの強度に影響を与え得る照明光源に関連するいくつかの態様がある。一般に、典型的なＡＶＩアプリケーションでは、影響は、画像全体にわたる巨視的なものである可能性が高い。最近のＡＶＩステーションには、ハイエンドの産業用ＬＥＤが一般に使用されている。模倣ＡＶＩステーションを構築するとき、ＬＥＤ光源を容器から適切な距離で配置しないと、強度が低下することがある。強度は、光源からの距離の２乗で低下するため、わずかな位置決めの差が最終的な画像に検出可能な影響を及ぼすことがある。容器に対する位置が設定されても、電源に起因してＬＥＤ光源の明るさが依然として変化することがある。他のすべての要因が除外された後、画像比較ツール６００をリアルタイムで使用して、ＬＥＤ光源の電力及びその後の明るさを微調整することができる。上記のような画像処理技法は、ＡＶＩアプリケーションにおいて光源の明るさを測定するためにルクスメーターを使用する従来の手法よりも、より正確でより微妙な解決策を提供する。

【0075】

レンズなどのいくつか光学コンポーネントは、全体的な画像強度（及び場合により画像の鮮鋭度に影響する絞り設定などの他の画像特性）にも影響し得る手動式の絞り又は他のコンポーネントを含み得る。これらは、レンズ上の手動ダイヤル又はねじであることが多く、デジタルフィードバックが得られない。また、これらのコンポーネントには、目に見える等級又は罫線がない場合がある。高度に忠実な製品画像を実現するために、工場の自動検査ステーションではテレセントリックレンズが一般に使用されている。これらのレンズは、いくつかの機種では手動でサイズを調整できるピンホール絞りを含む。これは、レンズを通ることができる光の量に影響を与え、また画像の鮮鋭度にも特徴的な影響を与える。したがって、２つの要因を考慮して組み合わせることにより、メトリックを観測するユーザは、強度に関連するレンズ特性を適切に設定することができる。

【0076】

また、画像全体における強度の大幅で一定の低下は、光源（偏光板又はディフューザなどの）照明源にわたって又はカメラの前（代替の偏光板又は波長フィルタなど）にフィルタが正しく配置されていないことを示し得る。したがって、ユーザは、画像の強度に大きい差分を観測した場合、フィルタの配置の調整を試みることもある。

【0077】

別の例として、画像７０２、７０４に対する強度ヒストグラム及び／又はローパス周波数フィルタの出力を調べるユーザは、画像７０２、７０４間に強度の有意な局所的差分があるか否かを判定し得る。局所的差分が存在する場合、ユーザは、ヒストグラム及び／又は他のメトリックと共に画像７０２、７０４を研究することにより、それらの局所的差分の原因を特定して除去することを試みることができる。

【0078】

別の例として、模倣画像７０４の容器が元の画像７０２の容器に対してアライメントがずれており、且つ／又は不適切にスケーリングされていることをメトリックが示す場合、ユーザは、容器及び／又はカメラのアライメント（例えば、角度又は回転）、容器とカメラとの間の距離、カメラのズームレベル（例えば、レンズタイプ又はデジタルズーム設定）などを調整し得る。

【0079】

別の例として、メトリック（例えば、スカラーラプラシアン出力の差分）が画像７０２、７０４の他方に対する一方の焦点ぼけを示す場合、ユーザは、容器とカメラとの間の距離、モータ速度、カメラ露出時間などを調整し得る。検査アプリケーションに使用されることが多い種類のテレセントリックレンズは、典型的には、被写界深度があまりにも浅いため、レンズと容器との相対的な配置にわずかなエラーがあっても、画像がぼやける。したがって、わずかな距離の差分でも焦点ぼけに大きい影響を与え得る。更に、上述のように、これらのレンズのいくつかは、可変のピンホール絞りを有し、これも不適切に設定されると画像がぼける一因となり得る。したがって、メトリックが焦点ぼけの差分を示す場合にも、ユーザは、絞りを調整できる。

【0080】

他のメトリックは、例えば、画像中の迷光反射、画像中の重要な物体の存在、画像ダイナミックレンジ、画像ブリーチング、画像コントラストなどのより良好な一致を達成するために、模倣ＡＶＩステーションのこれら及び／又は他の態様を調整するようにユーザを導くことができる。

【0081】

いくつかの実施形態では、上述のように、画像比較ツール６００は、メトリックに基づいて１つ又は複数の提案を生成する。したがって、例えば、画像比較ツール６００は、出力ユニット３６０に、上述の改善技法（例えば、画像７０２、７０４の強度及び／又は焦点ぼけにおける差分を反映するメトリックが閾値を超えるなどの場合、カメラと容器との間の距離を増加又は減少させ、場合によりレンズ絞りを増加又は減少させるなど）のいずれかを表示させる（及び／又は上述の改善技法のいずれかを説明するコンピュータ音声メッセージを生成させる）。

【0082】

図８は、ＡＶＩステーション（例えば、トラブルシューティングシナリオにおけるＡＶＩステーション３１０－ｉ又は開発に用いられる実験室ベースのセットアップなど）の動作をレプリケートするための例示的な方法８００のフロー図である。方法８００では、ブロック８０２において、元のＡＶＩステーションの１つ又は複数のＡＶＩ機能を実行する模倣ＡＶＩステーション（例えば、トラブルシューティングシナリオの模倣ＡＶＩステーション３０４又はＡＶＩステーション３１０－ｉなど）が構築される。ブロック８０２は、元のＡＶＩステーションをリバースエンジニアリングすることにより手動で実行され得る。しかしながら、いくつかの実施形態では、ブロック８０２は、（例えば、ＣＡＤファイル又は３Ｄスキャナの出力を解釈することによって）リバースエンジニアリングプロセスを支援するためのソフトウェアを使用することを含む。ブロック８０２は、例えば、ステージ１２２の１回目の反復を含み得る。

【0083】

ブロック８０４において、１つ又は複数の容器画像（すなわち元のＡＶＩステーション内の適切な撮像位置における容器の画像）が元のＡＶＩステーションの撮像システム（例えば、単一のカメラ）により取り込まれる。ブロック８０６において、模倣ＡＶＩステーションの撮像システム（例えば、同じタイプの単一のカメラ）により、１つ又は複数の追加の容器画像が取り込まれる。ブロック８０４及び８０６は、例えば、プロセス１００のステージ１１２及び１２４とそれぞれ同様であり得る。

【0084】

その後、ブロック８０８において、元のＡＶＩステーションによって取り込まれた容器画像と、模倣ＡＶＩステーションによって取り込まれた容器画像との間の１つ又は複数の差分が特定される。ブロック８０８は、画像比較ツール（例えば、ツール３５０）を実行する処理ユニット（例えば、処理ユニット３４２）により実行され得る。例えば、画像比較ツールは、ブロック８０８において、差分を反映した１つ又は複数のメトリックを生成することができる。ブロック８０８は、例えば、アルゴリズム７００のステージ７１４Ａ及び７１４Ｂと、それに続く差分メトリック（例えば、図７のメトリックΔＣ１～ΔＣｋ）の生成とを含み得る。

【0085】

ブロック８１０において、ユーザが模倣ＡＶＩステーションを修正することを支援するために、ブロック８０８で特定された差分の可視指示が生成される。可視指示は、例えば、ブロック８０８で計算されたメトリック（例えば、差分メトリック）の１つ又は複数及び／又は（例えば、図６及び図７に関連して上で論じたような）それらのメトリックに基づく１つ又は複数の提案を含み得る。ブロック８１０は、ブロック８０８を実行する同じ処理ユニットによって実行され得、例えば出力ユニット（例えば、出力ユニット３６０）に可視指示（すなわちメトリック及び／又は提案）を提示させることを含み得る。

【0086】

ブロック８１２において、ブロック８１０で生成された可視指示に基づいて、模倣ＡＶＩステーションが修正される。ブロック８１２は、ユーザによって（すなわち手動で）完全に実行され得るか、又は少なくとも部分的に自動的に実行され得る（例えば、コンピューティングシステム３４０が模倣ＡＶＩステーションのカメラ又は照明装置のデジタル設定を調整することなどにより）。ブロック８１２は、例えば、プロセス１００のステージ１２２の２回目の（又はその後の）反復を含み得る。

【0087】

システム、方法、装置及びそれらの構成要素を例示的な実施形態の観点から説明してきたが、それらは、これらの例示的な実施形態に限定されない。詳細な説明は、例としてのみ解釈されるものとし、可能な実施形態のすべてを説明することは、不可能ではないとしても非現実的であることから、本発明のすべての可能な実施形態を説明しているわけではない。現在の技術又は本特許の申請日以降に開発された技術のいずれかを使用して、多くの代替的な実施形態を実施することができ、それは、本発明を定義する請求項の範囲内に依然として含まれる。

【0088】

当業者であれば、本発明の範囲から逸脱することなく、上記の実施形態に対する多様な修正形態、変形形態及び組み合わせをなすことができ、そうした修正形態、変形形態及び組み合わせが本発明の概念の範囲内であると解釈されることを理解するであろう。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】

【図7】

【図8】