特許7475509畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-18
(45)【発行日】2024-04-26
(54)【発明の名称】畳み込みニューラルネットワークによる凍結乾燥製剤における欠陥検出
(51)【国際特許分類】
G01N 21/90 20060101AFI20240419BHJP
G01N 21/88 20060101ALI20240419BHJP
G06T 7/00 20170101ALI20240419BHJP
G06V 10/82 20220101ALI20240419BHJP
【ＦＩ】
G01N21/90 B
G01N21/88 J
G06T7/00 610
G06T7/00 350C
G06V10/82
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2023029259
(22)【出願日】2023-02-28
(62)【分割の表示】P 2021520557の分割
【原出願日】2019-10-16
(65)【公開番号】P2023081901
(43)【公開日】2023-06-13
【審査請求日】2023-03-29
(31)【優先権主張番号】16/654,200
(32)【優先日】2019-10-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/852,237
(32)【優先日】2019-05-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/748,304
(32)【優先日】2018-10-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】リー， ツェン
(72)【発明者】
【氏名】ツェイ， カルバン
【審査官】小野寺 麻美子
(56)【参考文献】
【文献】国際公開第２０１７／１８７５１６（ＷＯ，Ａ１）
【文献】特開平０８－０７５６７１（ＪＰ，Ａ）
【文献】特開２０１８－０１８５３７（ＪＰ，Ａ）
【文献】特表２０１８－５１４８５２（ＪＰ，Ａ）
【文献】特開平０９－０２６９４８（ＪＰ，Ａ）
【文献】特開２０１７－００４１４２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／８２
Ｇ０６Ｎ ３／００ － Ｇ０６Ｎ ３／１２６
(57)【特許請求の範囲】
【請求項1】
医薬製品が充填された容器のクエリ画像の入力に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを出力する、訓練済みの機械学習モデルを生成する方法であって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含み、前記方法は、
複数のカメラセンサを用いて、医薬製品が充填された容器の複数の訓練画像を取得することと、
前記複数の訓練画像の各々を、前記複数の欠陥表示のうちの１つまたは複数の欠陥表示でラベル付けすることと、
コンピューティングシステムによって、異なるカメラセンサにより取得された訓練画像がそれぞれ異なる畳み込み層群に入力されるように、複数の畳み込み層群を含む畳み込みニューラルネットワークに前記複数の訓練画像を入力して、前記複数の訓練画像の特徴表現を生成することと
を含む方法。
【請求項2】
前記複数の訓練画像のうちの少なくとも１つの訓練画像が、複数の欠陥表示でラベル付けされる、請求項１に記載の方法。
【請求項3】
前記複数のカメラセンサのうちの少なくとも第１のカメラセンサおよび第２のカメラセンサが、それぞれ複数の訓練画像を取得し、前記第１のカメラセンサにより取得された複数の訓練画像は、第１の畳み込み層群（１ａ，１ｂ）に入力され、
前記第２のカメラセンサにより取得された複数の訓練画像は、前記第１の畳み込み層群（１ａ，１ｂ）とは異なる第２の畳み込み層群（２ａ，２ｂ）に入力される、
請求項１または２に記載の方法。
【請求項4】
前記複数の訓練画像の前記特徴表現を生成することは、前記コンピューティングシステムによって、前記第１の畳み込み層群（１ａ，１ｂ）に、前記第１のカメラセンサにより取得された複数の訓練画像を入力して生成された特徴表現を、第１の特徴表現群として集約することと、
前記第２の畳み込み層群（２ａ，２ｂ）に、前記第２のカメラセンサにより取得された複数の訓練画像を入力して生成された特徴表現を、第２の特徴表現群として集約することと、
前記第１の特徴表現群および前記第２の特徴表現群を、ベクトル化により統合することと
を含む、請求項３に記載の方法。
【請求項5】
前記複数の訓練画像は、同一の容器を複数の異なる角度からキャプチャした画像を含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記複数の異なる角度は、互いに９０°の間隔を有する４つの角度を含む、請求項５に記載の方法。
【請求項7】
請求項１から６のいずれか一項に記載の方法によって生成された訓練済みの機械学習モデルを用いて、医薬製品が充填された容器の欠陥を検出する方法であって、コンピューティングシステムによって、それぞれが医薬製品が充填された容器を特定の角度からキャプチャした画像である、１つまたは複数のクエリ画像を受信することと、
前記訓練済みの機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された容器に対して、前記複数の欠陥表示から、１つまたは複数の欠陥表示を決定することと
を含む方法。
【請求項8】
複数の畳み込み層群を含む畳み込みニューラルネットワークに基づく訓練済みの機械学習モデルを用いて、医薬製品が充填された容器の欠陥を検出する方法であって、複数のカメラセンサを用いて、医薬製品が充填された容器の、複数のクエリ画像を取得することと、
コンピューティングシステムによって、異なるカメラセンサにより取得されたクエリ画像がそれぞれ異なる畳み込み層群に入力されるように、前記複数のクエリ画像を前記訓練済みの機械学習モデルに入力することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記コンピューティングシステムによって、前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された前記容器に対して、前記複数の欠陥表示から、１つまたは複数の欠陥表示を決定することと
を含む方法。
【請求項9】
前記複数のクエリ画像は、同一の容器を複数の異なる角度からキャプチャした画像を含む、請求項８に記載の方法。
【請求項10】
前記複数の異なる角度は、互いに９０°の間隔を有する４つの角度を含む、請求項９に記載の方法。
【請求項11】
前記医薬製品が凍結乾燥製品である、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、請求項１１に記載の方法。
【請求項13】
前記複数の欠陥表示には、充填量欠陥、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、退色、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、請求項１１または１２に記載の方法。
【請求項14】
医薬製品が充填された容器のクエリ画像の入力に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを出力する、訓練済みの機械学習モデルを、コンピューティングシステムに生成させるためのプログラムであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含み、前記プログラムは、前記コンピューティングシステムに、複数のカメラセンサを用いて取得された、医薬製品が充填された容器の複数の訓練画像であって、それぞれが前記複数の欠陥表示のうちの１つまたは複数の欠陥表示でラベル付けされた複数の訓練画像を、受信することと、
異なるカメラセンサにより取得された訓練画像がそれぞれ異なる畳み込み層群に入力されるように、複数の畳み込み層群を含む畳み込みニューラルネットワークに前記複数の訓練画像を入力して、前記複数の訓練画像の特徴表現を生成することと
を実行させるプログラム。
【請求項15】
前記複数の訓練画像のうちの少なくとも１つの訓練画像が、複数の欠陥表示でラベル付けされている、請求項１４に記載のプログラム。
【請求項16】
コンピューティングシステムに、医薬製品が充填された容器の欠陥を検出させるためのプログラムであって、前記コンピューティングシステムに、複数のカメラセンサを用いて取得された、医薬製品が充填された容器の複数のクエリ画像を受信することと、
異なるカメラセンサにより取得されたクエリ画像がそれぞれ異なる畳み込み層群に入力されるように、前記複数のクエリ画像を、複数の畳み込み層群を含む畳み込みニューラルネットワークに基づく訓練済みの機械学習モデルに入力することにより、前記医薬製品が充填された前記容器に対して、致命的欠陥と非致命的欠陥とを含む複数の欠陥表示にそれぞれ対応する複数の信頼スコアを計算することであって、前記致命的欠陥は少なくとも前記容器のガラス欠陥を含み、前記非致命的欠陥は少なくともフォギングを含む、複数の信頼スコアを計算することと、
前記複数の信頼スコアと複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記医薬製品が充填された前記容器に対して、前記複数の欠陥表示から、１つまたは複数の欠陥表示を決定することと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習アルゴリズム、例えば畳み込みニューラルネットワークを用いて、抗生物質を含む凍結乾燥タンパク質治療剤の欠陥を検出し、分類する検査システムおよび方法に関する。
【背景技術】
【0002】
タンパク質治療剤のグローバル市場は、２０１５年には２１３億ドルと評価され、２０２４年までに４６０億ドル超に成長すると予想されている。多くの場合、従来の小分子医薬よりも安定性が低いそのような技術がますます採用および開発されることで、取り扱い、保管、流通における課題が浮き彫りになってきている。安定性が限定されるタンパク質製剤は、多くの場合、凍結乾燥、つまりフリーズドライ処理されることで、保管そして流通中の分解と凝集が最低限に抑えられている。凍結乾燥の３つのステップは、凍結、一次乾燥、二次乾燥からなり、これら全体を通してタンパク質製品を取り囲む大部分の水分を除去する結果、固体ケーキ製品が得られる。物理的な包装（多くの場合ガラスバイアル）は、凍結乾燥タンパク質治療剤の安定性に重要な役割を果たしている。例えば、特別なバイアルストッパは、水蒸気を放出することができ、多くの場合、水分の放出を防ぐために乾燥されている。また、バイアルのガラスにより、棚とバイアルとの間の効率的な伝熱が可能になる。多くの場合、凍結乾燥タンパク質治療剤の包装は、製品を含むバイアルの蓋をクリンプすることで仕上げられ、一般的に、最終凍結乾燥タンパク質製品は目視で検査され、異物や包装欠陥がないことが保証される。
【0003】
これら検査の主な課題は、固体ケーキ中のコンタミナントを発見することである。液体製品はスピンされると、潜在するコンタミナントがその動きにより直ちに識別される一方、固体製品（例えば凍結乾燥タンパク質治療剤）中のコンタミナントは不動であり、目視で確認する必要がある。また、コンタミナントは一般に小さいため、手動検査では検出に一貫性を欠くことになる。他の包装欠陥、例えば不適当な製品充填レベル（例えば凍結乾燥タンパク質製品が過多であるか過小である）または乾燥凍結ケーキを外部水分にさらす可能性があるバイアルのクラックは、薬品の有効性と安全性に著しい影響を与えることもある。また、表面的欠陥、例えば軽度のガラスの打痕またはスクラッチも識別されることで、製造に関する潜在的な問題が突き止められる。一般に、様々な手動そして自動の検査技術が充填されたバイアルを検査するために用いられるが、比較的短時間内である必要があり、製剤へ衝撃を避けなければならない。図１は、凍結乾燥タンパク質治療剤のバイアルの、人間による検査プロセス１００の一例を示す。図に見られるように、プロセス１００は、バイアルの洗浄、充填レベルのチェック、他の欠陥のチェック、欠陥をマーク、記録およびソート、そして検査完了の６つのステップを備えてよい。図２は、凍結乾燥タンパク質治療剤のバイアルの、人間による検査のための、例示的な検査環境２００を示す。手動そして自動の検査技術の両者は完全に目視プロセスであるため、バイアル上の「フォギング」の頻繁な発生は、バイアルのスクラッチ、またはクラックとさえ簡単に混同される場合がある。「フォギング」とは、凍結乾燥後、製品ケーキより上の位置のガラスバイアル上でしばしば観察することができる様々なパターンの白色霞である。従来、ガラスバイアルのフォギングは非致命とみなされているが、薬品の有効性という点では純粋に表面的な欠陥にすぎない、フォギングの頻繁な発生は、検査（手動または自動）に課題があるため、凍結乾燥製剤の製造を困難にする可能性がある。製造中にフォギングを完全に回避できる見込みはないと最近の研究が示しているため、理想的には、検査技術は高い精度でフォギングをガラス欠陥から区別すべきである。
【発明の概要】
【0004】
特定の実施形態の概要
本開示により、抗生物質を含む凍結乾燥タンパク質治療剤の欠陥検出を改善する検査システムおよび方法が提供される。
本開示により、抗生物質を含む凍結乾燥タンパク質治療剤の欠陥検出を改善する検査システムおよび方法が提供される。
【0005】
特定の実施形態において、本開示の検査システムは、複雑な機械学習アルゴリズムを用いることにより、凍結乾燥製剤における欠陥検出を改善する。検査システムは、人工ニューラルネットワークを用いて、凍結乾燥製品バイアルの画像を分類できる機械学習モデルを訓練してよい。検査システムは、転移学習を用いて、機械学習モデルの訓練に必要なサンプル数を削減してよい。限定ではなく一例として、検査システムの開発は、ハーセプチン（トラスツズマブ）製剤の産業用サンプルを用いて行われてよい。検査システムは開発されると、検査対象のバイアルの画像を取得し、機械学習モデルを用いてバイアルを分類し、良好なバイアルは通過させる一方、欠陥バイアルをさらなる検査のために戻してよい。
【0006】
機械学習アルゴリズムを凍結乾燥製剤の検査に適用するという目的を達成するにあたり、いくつかの技術的課題が存在する。１つの技術的課題は、欠陥品を捉え損なうことが患者に重大な様々な影響を与える可能性があることから、非常に高い精度を達成することにある。さらなる技術的課題は、問題のないバイアルを欠陥があるバイアルとして分類すると追加検査、効率損失、コスト増加、潜在的遅延に至る可能性があることから、欠陥がないバイアルが精度高く識別されることを確実にすることにある。実際に、いくつかの市販されている自動検査システムにおいては、ガラス欠陥検出における偽陽性率が約８０％であり、精度が非常に低い。本開示の実施形態により示される、上記課題を解決するための手段は、機械学習アルゴリズムの１つまたは複数の特定のアーキテクチャの使用であり、これにより、問題がないまたは欠陥があるバイアルの両方を高い分類精度が得られる。さらなる技術的課題は、バイオ医薬製品に関する欠陥率は０．０１～１％の範囲であるという事実から、機械学習アルゴリズムを訓練するのに適した、欠陥バイアルサンプルが不足していることにある。このように小規模な代表的欠陥ライブラリは、検査訓練用に人工的に作成されると、非常にアンバランスなデータセットとなり、機械学習アルゴリズムには一般的に不適である。本開示の実施形態により示される、小規模な欠陥ライブラリの課題を解決するための手段は、機械学習アルゴリズムを訓練する際の転移学習の使用である。本開示は特定のシステムを介して特定の製品を特定の方法で検査することについて記載しているが、本開示は任意の好適なシステムを介して任意の好適な製品を任意の好適な方法で検査することを企図している。
【図面の簡単な説明】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【発明を実施するための形態】
【0024】
システムの概観
図３は、自動検査システム３００の一例を示す。図３において、医薬製品の容器はバイアルからなる。図に見られるように、検査システム３００のワークフローは、バイアルの画像取得、コンピュータビジョンモデルを用いたバイアルの分類、その後、良好なバイアルは通過させる一方、欠陥バイアルはさらなる検査のために戻されてよい。画像取得中、検査システム３００は、１つまたは複数の光学カメラセンサを用いて１つまたは複数のクエリ画像を取得してよい。１つまたは複数の光学カメラセンサは、医薬製品の容器に対して、１つまたは複数の角度から１つまたは複数のクエリ画像をそれぞれキャプチャしてよい。その場合、検査システム３００は、医薬製品の容器に対応する１つまたは複数のクエリ画像を受信してよい。１つまたは複数のクエリ画像のそれぞれは、医薬製品の容器の特定の視点に基づいてよい。バイアル分類中、検査システム３００は２つのステップを実行してよい。第一に、検査システム３００は、目標機械学習モデルを用いて１つまたは複数のクエリ画像を処理することにより、医薬製品の容器に対して、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算してよい。第二に、検査システム３００は、１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、医薬製品の容器に対して、１つまたは複数の欠陥表示から欠陥表示を決定してよい。
コンピュータビジョンモデル
図３は、自動検査システム３００の一例を示す。図３において、医薬製品の容器はバイアルからなる。図に見られるように、検査システム３００のワークフローは、バイアルの画像取得、コンピュータビジョンモデルを用いたバイアルの分類、その後、良好なバイアルは通過させる一方、欠陥バイアルはさらなる検査のために戻されてよい。画像取得中、検査システム３００は、１つまたは複数の光学カメラセンサを用いて１つまたは複数のクエリ画像を取得してよい。１つまたは複数の光学カメラセンサは、医薬製品の容器に対して、１つまたは複数の角度から１つまたは複数のクエリ画像をそれぞれキャプチャしてよい。その場合、検査システム３００は、医薬製品の容器に対応する１つまたは複数のクエリ画像を受信してよい。１つまたは複数のクエリ画像のそれぞれは、医薬製品の容器の特定の視点に基づいてよい。バイアル分類中、検査システム３００は２つのステップを実行してよい。第一に、検査システム３００は、目標機械学習モデルを用いて１つまたは複数のクエリ画像を処理することにより、医薬製品の容器に対して、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算してよい。第二に、検査システム３００は、１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、医薬製品の容器に対して、１つまたは複数の欠陥表示から欠陥表示を決定してよい。
コンピュータビジョンモデル
【0025】
検査システム３００におけるコンピュータビジョンモデルは、畳み込みニューラルネットワークに基づいてよい。畳み込みニューラルネットワークは、従来の人工ニューラルネットワーク（ＡＮＮ）と比較して、画像分類にさらに適している。ＡＮＮは、複雑な非線形関数を一括して学習する単純なノード（人工ニューロン）から構成される。各ノードは、その入力の加重和を計算し、結果を非線形「活性化」関数、例えば正規化線形関数
に通す。ノードは、結合を共有しない層に群化されるため、同時計算可能である。全結合型ＡＮＮでは、層
の各ノードは、入力として前層
の全てのノードを含み、層の各ノードは、次層
の全てのノードへの入力となる。対照的に、畳み込みニューラルネットワーク（ＣＮＮ）では、各ノードは局所的にのみ結合され、局所的なモチーフのみを学習する。局所結合型設計が当然のことながら画像分類に適しているのは、画像中の局所ピクセル群は、多くの場合、高い相関を有し、容易に検出される示差的なモチーフを形成するからである。ノードは、入力画像の異なる部分における同一パターンを検出するために重みを共有し、離散畳み込みを効果的に実行するものであり、ＣＮＮの名称はそれに由来する。
【0026】
図４は、例示的な画像分類用畳み込みＣＮＮアーキテクチャ４００を示す。図４に示されるように、畳み込みニューラルネットワーク（ＣＮＮｓ）は、人間による介入を最小限として、特定の分類タスク用の特徴量を自動生成してよい。その結果得られる特徴量は、一般に、人間により生成される特徴量よりも大幅に複雑であり、ＣＮＮに強力な分類性能をもたらす。ＣＮＮは、複数の畳み込み層が結合し、多層の画像特徴量が抽出される場合、さらに「深層」と称されてよい。一般的なＣＮＮモデルアーキテクチャは、畳み込み層間にプーリング層を有する場合がある。プーリング層は、所定サイズの近傍のピクセルを群化することにより、前層の特徴表現を圧縮する。連結近傍は、関連ピクセルの最大値または平均値により示されてよい。モデル次元が削減されるものの、プーリング層は、意味論的に特徴を１つに統合し、検出性能を大幅に失うことなく各特徴の位置を粗く示す。一連の交互する畳み込み層（加重和および活性化関数）とプーリング層の後、抽出された特徴量を、画像分類用全結合型ＡＮＮサブモデルに通す。限定ではなく一例として、図４に示される画像分類アーキテクチャ４００は、特徴量を生成するための２つの畳み込み層と、分類のための全結合層とを有してよい。
【0027】
欠陥を検出するために従来の画像分類アーキテクチャ４００を用いることが有効でない場合がある。その結果、１つの解決手段は、各製品バイアル４００の複数の画像を用いて、考えうる全ての位置の欠陥を検出することである。自動検査装置は、一般に、複数のカメラステーションを用いて画像を撮影し、バイアルのヒール、本体、ショルダおよびネックを区別する。バイアルが回転している間、各カメラステーションにより多数の画像が取得される。上記従来の単一画像分類法を適用すると、欠陥バイアルと非欠陥バイアルの両方からこれら画像を取得することを伴う。その場合、各画像は訓練データとして使用するためにラベル付けされる必要がある。しかし、ラベルは、バイアルが欠陥を有するか否かに関係なく、特定の画像中に欠陥を見ることができるか否かに対応しているべきである。ＣＮＮの分類精度が高いレベルであるのは、手動による特徴量エンジニアリングがないことによるが、欠陥画像のラベル付けにおける人間のバイアスは準最適特徴量とモデル精度に伝播する可能性がある。限定ではなく一例として、２つの同様の画像に２つの異なるラベル（例えば特定の角度からわずかに観察できるスクラッチ）が付与され、モデリング工程において非常に微妙な手掛かりに基づいて２つの画像を区別することが試みられることがあるが、これは過剰適合に陥りやすいプロセスである。過剰適合問題を避けるため、本開示の実施形態では新規なＣＮＮアーキテクチャを用いて、欠陥検出用コンピュータビジョンモデルを訓練する。詳細はモデル構造の節に記載される。
バイアルおよび欠陥
バイアルおよび欠陥
【0028】
特定の実施形態において、容器は１つまたは複数の材料からなってよい。１つまたは複数の材料は、ガラス、プラスチック、ワックス付き段ボール、生分解性材料、織物材料、結晶材料、任意の好適な材料、またはそれらの任意の組み合わせのうちの１つまたは複数からなってよい。容器は、透明であってよいが、容器および／または医薬製品（例えば凍結乾燥タンパク質または抗体）における外観欠陥を検査システムが検出できるように、完全に透明である必要はない。容器は、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を備えてよい。限定ではなく一例として、容器はバイアルからなってよい。図５は、例示的な容器、例えばガラスバイアル５００であり、凍結乾燥タンパク質治療剤、例えば抗体を含んでいる。図５に示されるように、バイアル５００は、キャップ、封止材、ストッパ、ネック、ショルダ、本体、および基部を備え、図示のように、任意選択で、凍結乾燥医薬製品が充填されている。
【0029】
バイアル５００（薬瓶または小瓶としても知られる）は、小型ガラス器具またはプラスチック容器もしくはボトルであり、多くの場合、液体、粉末またはカプセルの薬剤を保管するために用いられる。また、これらは、例えば分析用クロマトグラフィにおけるオートサンプラ装置の、科学的なサンプル容器としても用いられてよい。バイアル形状を有するガラス容器は古典古代に遡り、現代のバイアル５００は、多くの場合、プラスチック、例えばポリプロピレンからなる。様々なタイプのバイアル５００が存在し、例えば、単回用量バイアル５００、複数回用量バイアル５５０など多くの場合薬剤用に用いられる。単回用量バイアル５００は１回切りの使用である一方、複数回用量バイアル５００は２回以上使用することができる。アメリカ疾病予防管理センター（ＣＤＣ）は、複数回用量バイアル５００に対して特定のガイドラインを定めている。バイアル５００は管状であってよく、またはネックを有するボトル形状を有してよい。ネックにより定義される体積部はヘッドスペースとして知られている。
【0030】
現代のバイアル５００は、多くの場合はプラスチック、場合によってはガラスからなる。多くの場合、医療用途または分子生物学用途で使用される少量の液体の保管用として用いられる。一般的に用いられる閉止システムにはいくつかの異なるタイプが存在する。ガラスバイアル５００として、選択肢には、スクリューバイアル５００（スクリューキャップまたはドロッパ／ピペットを用いて閉止）、リップバイアル５００（コルクまたはプラスチックストッパを用いて閉止）、クリンプバイアル５００（ゴムストッパと金属キャップを用いて閉止）が含まれる。プラスチック成形されてよいプラスチックバイアル５００は、他の閉止システム、例えば押圧するとパチッと閉止する「ヒンジキャップ」を備えてよい。これらはフリップトップまたはスナップキャップと称される場合がある。バイアル５００の底部は、通常丸底を有するテストチューブとは異なり、多くの場合平坦だが、このことは、小型ヒンジキャップバイアル５００または小型スナップトップバイアル５００にはしばしば当てはまらない。一般に研究所で用いられる小型ボトル状バイアル５００は、ビジューボトルまたはマッカートニーボトルとしても知られている。ビジューボトルは、小型である傾向があり、多くの場合約１０ミリリットルの容量を有する。
【0031】
特定の実施形態において、欠陥表示は、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数を含んでよい。１つまたは複数の予め定義された閾値スコアのそれぞれは、欠陥表示に対応する受け入れ品質限界に基づいて決定されてよい。限定ではなく一例として、致命的欠陥に対応する合格品質基準は０．１であってよく、これにより、欠陥が致命的欠陥であるか否かを決定するための特定の予め定義された閾値スコアを決定してよい。限定ではなく他の例として、主要な欠陥に対応する合格品質基準は０．４であってよく、これにより、欠陥が主要な欠陥であるか否かを決定するための他の特定の予め定義された閾値スコアを決定してよい。限定ではなく他の例として、軽微な欠陥に対応する合格品質基準は１．０であってよく、これにより、欠陥が軽微な欠陥であるか否かを決定するための他の特定の予め定義された閾値スコアを決定してよい。
【0032】
特定の実施形態において、検査システム３００は、様々なタイプの欠陥それぞれに対応する様々な目標機械学習モデルそれぞれを訓練してよい。目標機械学習モデルは、二値分類モデルまたは多クラス分類モデルであってよい。限定ではなく一例として、検査システム３００は、致命的欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、致命的欠陥および非致命的欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、主要な欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、主要な欠陥および非主要な欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、軽微な欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、軽微な欠陥および非軽微な欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、致命的欠陥、主要な欠陥、軽微な欠陥、またはそれらの任意の組み合わせのうちの１つまたは複数を検出するために目標機械学習モデルを訓練してよい。目標機械学習モデルが２つのタイプの欠陥（例えば致命的欠陥か軽微な欠陥）から１つのタイプの欠陥を検出する場合、これは二値分類モデルであってよい。目標機械学習モデルが３つ以上のタイプの欠陥（例えば致命的欠陥、主要な欠陥、軽微な欠陥）から１つのタイプの欠陥を検出する場合、これは多クラス分類モデルであってよい。多クラス分類モデルとして、検査システム３００は、目標機械学習モデルを訓練するために、複数タイプの欠陥としてラベル付けされる訓練画像を用いてよい。
【0033】
特定の実施形態において、致命的欠陥は、ガラス欠陥、閉止欠陥、ストッパ欠陥、充填量欠陥、または致命粒子状物質のうちの１つまたは複数を含んでよい。ガラス欠陥は、破損、ネッククラック、フィニッシュチップ、または他のクラックのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、破損ガラス欠陥は、バイアル５００表面が完全な破面であるか、または不連続面であることを示してよい。限定ではなく他の例として、ネッククラックは、バイアル５００のネックのガラス壁面を貫通する屈折亀裂を示してよい。限定ではなく他の例として、フィニッシュチップは、バイアル５００外部からバイアル５００内部に延在する、フィニッシュにおけるチップであってよい。閉止欠陥は、シール欠落、非クリンプ、ストッパ露出（シール折り込み）、またはシールリムのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、非クリンプとは、シールは存在するがクリンプされていないか、バイアル５００のリップ／エッジ周全体に沿って閉められているがバイアル５００から完全に取り外すことができることを示してよい。限定ではなく他の例として、シールリムとは、著しく遊嵌したキャップになるシールリムの側面の深いカット／クラック、または何らかの目視可能なガラス破損が伴うシールリムの側面の深いカット／クラックを示してよい。充填量欠陥は、充填が明らかに範囲外であることを示す低充填を含んでよい。致命粒子状物質は、裸眼で目視可能な黒点、繊維、またはルーズガラスをさらに含んでよい。
【0034】
上記の様々なタイプの致命的欠陥に基づいて、検査システム３００は、様々な目標機械学習モデルを訓練してよい。目標機械学習モデルは、二値分類モデルまたは多クラス分類モデルであってよい。限定ではなく一例として、検査システム３００は、ガラス欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、ガラス欠陥および非ガラス欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、ストッパ欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、ストッパ欠陥および非ストッパ欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、破損ガラス欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、破損ガラス欠陥および非破損ガラス欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、ガラス欠陥、閉止欠陥、ストッパ欠陥、充填量欠陥、致命粒子状物質、ネッククラック、フィニッシュチップ、他のクラック、シール欠落、非クリンプ、ストッパ露出（シール折り込み）、シールリム、低充填、黒点、繊維、ルーズガラス、またはそれらの任意の組み合わせのうちの１つまたは複数を検出するために目標機械学習モデルを訓練してよい。目標機械学習モデルが２つのタイプの欠陥（例えばガラス欠陥かストッパ欠陥）から１つのタイプの欠陥を検出する場合、これは二値分類モデルであってよい。目標機械学習モデルが３つ以上のタイプの欠陥（例えば閉止欠陥、充填量欠陥、致命粒子状物質）から１つのタイプの欠陥を検出する場合、これは多クラス分類モデルであってよい。多クラス分類モデルとして、検査システム３００は、目標機械学習モデルを訓練するために、複数タイプの欠陥としてラベル付けされる訓練画像を用いてよい。
【0035】
特定の実施形態において、主要な欠陥は、ガラス欠陥、閉止欠陥、または充填量欠陥のうちの１つまたは複数を含んでよい。ガラス欠陥は、気泡／膨れ、内部溶解／内部剥離、またはチップのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、気泡／膨れは、形成中に歪みがない限り通常は球形状である、１つまたは複数のガス状（埋没）異物（例えば１．５ｍｍ超）を含んでよい。気泡はガラス内に完全に収まっている場合がある一方、膨れはバイアル５００内部面または外部面に露出している場合がある。限定ではなく他の例として、内部溶解／内部剥離とは、バイアル５００内部面に付着しているガラス破片（例えばビードまたはストリング）を示してよい。限定ではなく他の例として、チップとは、欠陥がバイアル５００外部とバイアル５００内部との間に全延在していない（バイアル５００内部を外部環境に露出させていない）、部分的または断片的な破損を有するバイアル５００を示してよい。閉止欠陥は、キャップフリップオフ、部分的クリンプ、または重大シールリムのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、キャップフリップオフとは、キャップが欠落していること、つまりバイアル５００から完全に分離していることを示してよい。限定ではなく他の例として、部分的クリンプとは、シールがスピンしてしまうか、遊嵌である不完全なクリンプを示してよい。限定ではなく他の例として、重大シールリムとは、著しく遊嵌したキャップにはならず、対応する目視可能なガラス破損がない、シールリムの側面の深いカット／クラックを示してよい。充填量欠陥は、空バイアル５００を含んでよい。
【0036】
上記の様々なタイプの主要な欠陥に基づいて、検査システム３００は、様々な目標機械学習モデルを訓練してよい。目標機械学習モデルは、二値分類モデルまたは多クラス分類モデルであってよい。限定ではなく一例として、検査システム３００は、閉止欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、閉止欠陥および非閉止欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、充填量を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、充填量欠陥および非充填量欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、気泡／膨れを検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、気泡／膨れおよび非気泡／膨れとしてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、ガラス欠陥、閉止欠陥、充填量欠陥、気泡／膨れ、内部溶解／内部剥離、チップ、キャップフリップオフ、部分的クリンプ、重大シールリム、空バイアル、またはそれらの任意の組み合わせのうちの１つまたは複数を検出するために目標機械学習モデルを訓練してよい。目標機械学習モデルが２つのタイプの欠陥（例えばガラス欠陥か閉止欠陥）から１つのタイプの欠陥を検出する場合、これは二値分類モデルであってよい。目標機械学習モデルが３つ以上のタイプの欠陥（例えばガラス欠陥、閉止欠陥、充填量欠陥）から１つのタイプの欠陥を検出する場合、これは多クラス分類モデルであってよい。多クラス分類モデルとして、検査システム３００は、目標機械学習モデルを訓練するために、複数タイプの欠陥としてラベル付けされる訓練画像を用いてよい。
【0037】
特定の実施形態において、軽微な欠陥は、ガラス欠陥、閉止欠陥、またはストッパ欠陥のうちの１つまたは複数を含んでよい。ガラス欠陥は、打痕、スクラッチ／擦りきず、表面コンタミネーション（例えばバイアル５００表面異物）、ストーン／異物、エアライン、チェック／ファイアチェック（例えばクリズリング）、変形、溶解／ヒールラベル／ラップ、気泡／膨れのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、表面コンタミネーションとは、バイアル５００の表面外部上の不明な物質を示してよい。限定ではなく他の例として、ストーン／異物とは、部分的未溶融の原料、高炉耐火物、または結晶化ガラスであってよい、ガラスにおける１ｍｍ超の不透明または透明な異物を示してよい。限定ではなく他の例として、エアラインとは、幅が０．２５ｍｍ超の縦線として現れる細長のガス状異物を示してよい。限定ではなく他の例として、チェック／ファイアチェックとは、ガラス表面の不連続、またはフィニッシュもしくはネックにおける縦方向のチェックを示してよい。限定ではなく他の例として、溶解／ヒールラベル／ラップとは、バイアル５００外部面、フィニッシュ領域、ネック、ヒール、または底部に付着しているガラス破片、ストリング、折り込みまたはガラスのオーバーラップを示してよい。閉止欠陥は、ベント／デント欠陥、退色、シール／クリンプ外観欠陥（例えばシール上のストレスマーク）、または破損キャップのうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、ベント／デント欠陥は、シールがその直線状態または平坦状態からベントまたは変形していることを示してよい。ストッパ欠陥は、変形／余分ゴム凹み欠陥、退色、または粒子状物質のうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、変形／余分ゴム凹み欠陥とは、変形、または形が崩れた状態、例えば垂れ下がるはみ出し部を有するストッパを示してよい。限定ではなく他の例として、粒子状物質とは、ストッパが、３次元、突出、またはストッパ表面上に現れている埋没粒子を有していることを示してよい。
【0038】
上記の様々なタイプの軽微な欠陥に基づいて、検査システム３００は、様々な目標機械学習モデルを訓練してよい。目標機械学習モデルは、二値分類モデルまたは多クラス分類モデルであってよい。限定ではなく一例として、検査システム３００は、ガラス欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、ガラス欠陥および非ガラス欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、ストッパ欠陥を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、ストッパ欠陥および非ストッパ欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、打痕を検出するために目標機械学習モデルを訓練してよく、これは二値分類モデルであってよい。そのようなモデル用に、検査システム３００は、目標機械学習モデルを訓練するために、打痕欠陥および非打痕欠陥としてラベル付けされる訓練画像を用いてよい。限定ではなく他の例として、検査システム３００は、ガラス欠陥、閉止欠陥、ストッパ欠陥、打痕、スクラッチ／擦りきず、表面コンタミネーション、ストーン／異物、エアライン、チェック／ファイアチェック、変形、溶解／ヒールラベル／ラップ、気泡／膨れ、ベント／デント欠陥、退色、シール／クリンプ外観欠陥、破損キャップ、変形／余分ゴム凹み欠陥、退色、粒子状物質、またはそれらの任意の組み合わせのうちの１つまたは複数を検出するために目標機械学習モデルを訓練してよい。目標機械学習モデルが２つのタイプの欠陥（例えば打痕か表面コンタミネーション）から１つのタイプの欠陥を検出する場合、これは二値分類モデルであってよい。目標機械学習モデルが３つ以上のタイプの欠陥（例えば気泡／膨れ、ベント／デント欠陥、退色）から１つのタイプの欠陥を検出する場合、これは多クラス分類モデルであってよい。多クラス分類モデルとして、検査システム３００は、目標機械学習モデルを訓練するために、複数タイプの欠陥としてラベル付けされる訓練画像を用いてよい。
バイアル中の製剤例
バイアル中の製剤例
【0039】
特定の実施形態において、医薬製品は、凍結乾燥製品を含んでよい。凍結乾燥製品は、１つまたは複数の製品属性に対応してよい。各製品属性は、物理的形状因子、色、透明レベル、粘度、または充填量であってよい。限定ではなく一例として、物理的形状因子は、ケーキ形状因子、粉末形状因子、濃縮液／シロップ形状因子、任意の好適な形状因子、またはそれらの任意の組み合わせのうちの１つまたは複数を含んでよい。凍結乾燥製品の致命的欠陥は、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数を含んでよい。ケーキ外観欠陥は、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数をさらに含んでよい。限定ではなく一例として、メルトバックとは、製品ケーキが捕捉した水中に部分的に溶解し、バイアル５００の底部中央に一般的に見られる中空ポケットに至ることを示してよい。限定ではなく他の例として、過度に収縮したケーキとは、ケーキが完全に溶解する場合があり、バイアル５００の底部またはケーキ中に、粘性ゲル状（潜在的に粘性）またはガラス状材料を残すことを示してよい。充填量欠陥は、高充填または低充填のうちの１つまたは複数をさらに含んでよい。凍結乾燥製品の主要な欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、ケーキ外観欠陥を含んでよい。限定ではなく一例として、過度の製品スプラッシュとは、製品が凍結乾燥前にストッパに飛散し、乾燥したことを示してよい。限定ではなく他の例として、傾斜ケーキとは、凍結乾燥中にバイアル５００が傾けられた結果、傾斜したケーキ表面を示してよい。限定ではなく他の例として、収縮ケーキとは、バイアル５００壁面から離間した典型的ではないケーキ形成を示してよい。凍結乾燥製品の軽微な欠陥には、横方向分裂ケーキ、破損ケーキ、または製品スプラッシュのうちの１つまたは複数が含まれる、ケーキ外観欠陥を含んでよい。限定ではなく一例として、横方向分裂ケーキとは、ケーキの上部がケーキの底部から分離／分裂していることを示してよい。限定ではなく他の例として、製品スプラッシュとは、バイアル５００ネック（ガラスのみ）に飛散した製品が存在することを示してよい。
目標機械学習モデルの概観
目標機械学習モデルの概観
【0040】
目標機械学習モデルは、欠陥を検出するために検査システム３００により用いられてよい。目標機械学習モデルは、オフラインで訓練されてよい。限定ではなく一例として、目標機械学習モデルは、畳み込みニューラルネットワークに基づいてよい。ランタイム中、検査システムが医薬製品の容器に対応する１つまたは複数のクエリ画像を受信する場合、検査システムは、それらを目標機械学習モデルに送ってよい。目標機械学習モデルは、１つまたは複数のクエリ画像に対して、１つまたは複数の欠陥表示に対応する１つまたは複数の信頼スコアを計算してよい。計算は、以下のステップを含んでよい。第１ステップは、目標機械学習モデルを用いて１つまたは複数のクエリ画像を処理することにより、１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することであってよい。第２ステップは、複数の目標訓練画像の特徴表現と複数の欠陥表示との間の関係、または１つまたは複数のクエリ画像の生成された１つまたは複数の特徴表現、のうちの１つまたは複数に基づいて、１つまたは複数の欠陥表示に対応する１つまたは複数の信頼スコアを計算することであってよい。さらに、目標機械学習モデルは、計算された信頼スコアを検査システム３００に供給する。そのような信頼スコアに基づいて、検査システム３００は、クエリ画像を予め定義された欠陥、例えばガラス欠陥に分類してよい。
モデル構造
上述のように、欠陥を検出するために従来のＣＮＮアーキテクチャを用いることが有効でない場合がある。そのため、本開示の検査システム３００は、医薬製品の各容器に対応する複数の入力画像に基づくＣＮＮアーキテクチャを用いてよい。まず、検査システム３００は、１つまたは複数の光学カメラセンサを用いて複数の目標訓練画像を取得してよい。１つまたは複数の光学カメラセンサは、選択された製品に対して、１つまたは複数の角度から１つまたは複数の画像をそれぞれキャプチャしてよい。そして、検査システム３００は、複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割してよい。１つまたは複数の目標訓練画像群は、１つまたは複数のカメラセンサにそれぞれ関連してよい。また、検査システム３００は、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群をそれぞれ生成してよい。言い換えれば、同一の特徴量は、同一のカメラから（異なる角度で）取得される画像に対して抽出されてよい。そして、検査システム３００は、１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習してよい。さらに、検査システム３００は、１つまたは複数のサブモデルを統合して、目標機械学習モデルを生成してよい。特定の実施形態において、目標機械学習モデルは、複数の層を含む畳み込みニューラルネットワークに基づいてよい。このようにして、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群をそれぞれ生成することは、以下のステップを含んでよい。まず、検査システム３００は、複数の層を、１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割してよい。そして、検査システム３００は、１つまたは複数の層群によって、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群を処理してよい。図６は、２つのカメラステーションから取得される複数の入力画像を用いる、例示的な畳み込みニューラルネットワーク（ＣＮＮ）モデル６００を示す。検査システム３００は、各カメラに対して１つまたは複数の畳み込み層を含む、１つの共有畳み込みモデルを用いてよい。図６に示されるように、第１カメラステーションからキャプチャされる画像は、第１畳み込み層群、例えば層１ａと層１ｂにより処理されてよい。処理により、第１カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。第１畳み込み層群は、目標機械学習モデルの第１サブモデルのベースとなってよい。同様にして、第２カメラステーションによりキャプチャされる画像は、第２畳み込み層群を含む第２サブモデルにより処理される。処理により、第２カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。そして、それぞれのサブモデルから集約された特徴表現は、ベクトル化により統合される。最終的にベクトル化された特徴量に基づいて、分類モデル、つまり目標機械学習モデルは学習されてよい。
モデル訓練
モデル構造
上述のように、欠陥を検出するために従来のＣＮＮアーキテクチャを用いることが有効でない場合がある。そのため、本開示の検査システム３００は、医薬製品の各容器に対応する複数の入力画像に基づくＣＮＮアーキテクチャを用いてよい。まず、検査システム３００は、１つまたは複数の光学カメラセンサを用いて複数の目標訓練画像を取得してよい。１つまたは複数の光学カメラセンサは、選択された製品に対して、１つまたは複数の角度から１つまたは複数の画像をそれぞれキャプチャしてよい。そして、検査システム３００は、複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割してよい。１つまたは複数の目標訓練画像群は、１つまたは複数のカメラセンサにそれぞれ関連してよい。また、検査システム３００は、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群をそれぞれ生成してよい。言い換えれば、同一の特徴量は、同一のカメラから（異なる角度で）取得される画像に対して抽出されてよい。そして、検査システム３００は、１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習してよい。さらに、検査システム３００は、１つまたは複数のサブモデルを統合して、目標機械学習モデルを生成してよい。特定の実施形態において、目標機械学習モデルは、複数の層を含む畳み込みニューラルネットワークに基づいてよい。このようにして、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群をそれぞれ生成することは、以下のステップを含んでよい。まず、検査システム３００は、複数の層を、１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割してよい。そして、検査システム３００は、１つまたは複数の層群によって、それぞれのカメラセンサに対応する１つまたは複数の目標訓練画像群を処理してよい。図６は、２つのカメラステーションから取得される複数の入力画像を用いる、例示的な畳み込みニューラルネットワーク（ＣＮＮ）モデル６００を示す。検査システム３００は、各カメラに対して１つまたは複数の畳み込み層を含む、１つの共有畳み込みモデルを用いてよい。図６に示されるように、第１カメラステーションからキャプチャされる画像は、第１畳み込み層群、例えば層１ａと層１ｂにより処理されてよい。処理により、第１カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。第１畳み込み層群は、目標機械学習モデルの第１サブモデルのベースとなってよい。同様にして、第２カメラステーションによりキャプチャされる画像は、第２畳み込み層群を含む第２サブモデルにより処理される。処理により、第２カメラステーションによりキャプチャされる画像に関する特徴表現を得てよく、さらに、特徴表現は集約される。そして、それぞれのサブモデルから集約された特徴表現は、ベクトル化により統合される。最終的にベクトル化された特徴量に基づいて、分類モデル、つまり目標機械学習モデルは学習されてよい。
モデル訓練
【0041】
図７は、凍結乾燥タンパク質治療剤、ハーセプチン（トラスツズマブ）のバイアル５００の例示的な目標訓練画像を示す。ハーセプチンは、代表的凍結乾燥製剤であってよい。凍結乾燥製品の一般的なバッチはわずか数タイプの欠陥しか有さないため、製造不良品から完全な欠陥ライブラリを構成するには数年かかる場合がある。欠陥を、例えばハーセプチンなどの医薬製品バイアル５００に人工的に導入し、様々な重大度と各欠陥タイプの位置とを含む、代表的欠陥のライブラリを作成してよい。これは単純なタスクのようにみえるが、薬品欠陥の作成は、製剤ケーキが不安定であることから、非自明である。ガラス欠陥の場合、温度ショックによりバイアル５００をクラックすると、凍結乾燥ケーキを溶解させてしまう場合があり、機械力によりバイアル５００をクラックすると、外部水分にさらされることでケーキを収縮させてしまう場合がある。コンタミネーション欠陥の場合、新しいバイアル５００はコンタミナントを含んで充填される必要があり、コンタミネーションは、得られる製品ケーキの表面上に目視可能でなければならない。
【0042】
上記課題のため、そしてバイオテクノロジー産業の製品は高価であることから、利用可能な欠陥製品バイアル５００のサンプルは限られている。１５ｃｃハーセプチンバイアル５００（１５０ｍｇ）は小型で、コストはそれぞれ約１５００ドルであり、４４０ｍｇハーセプチンバイアル５００はそれぞれ４０００ドル超かかる場合がある。全部で、ガラス欠陥（クラック、スクラッチ、打痕）を有する利用可能なバイアル５００は５７個で、コンタミネーション（粒子状物質または表面コンタミネーション）を有する利用可能なバイアル５００は３９個だった。また、９６個の非欠陥バイアル５００もデータセットに含めたため、半数が欠陥、半数は非欠陥の合計１９２個のバイアル５００を得た。比較のため、バイアル５００は、１０人の人間の検査員により、通常の検査プロセスの一環として検査された。
【0043】
検査システム３００は、１つまたは複数の光学カメラセンサを用いて複数の目標訓練画像を取得してよい。１つまたは複数の光学カメラセンサは、選択された製品に対して、１つまたは複数の角度から１つまたは複数の画像をそれぞれキャプチャしてよい。選択された製品が凍結乾燥製品の容器である場合、凍結乾燥製品は、目標訓練画像のうちの少なくとも１つにおいて、容器の内側に目視可能であってよい。図８は、例示的な画像取得システム８００を示す。限定ではなく一例として、画像取得システム８００は、卓上のＳＥＩＤＥＮＡＤＥＲ Ｖ ９０－Ｔを備えてよい。データセットの各バイアル５００は、ギア駆動モータを用いてサンプルを回転させることにより、容器の手動外観検査を支援する、卓上のＳＥＩＤＥＮＡＤＥＲ Ｖ ９０－Ｔ内に載置された。画像に基づく検査において欠陥に対してバイアル５００全体を検査するために、画像は、様々な角度から取得されてよい。各バイアル５００について、互いに９０°の間隔を有する４枚の画像、２８セットからなる、１１２枚の画像が撮影された。取得画像は製品バイアル４００の周囲をトリミングし、４６０×１６０ピクセルの解像度に圧縮された。
【0044】
特定の実施形態において、モデルアーキテクチャは、オープンソースコードに基づいて作成されてよく、モデルは、オープンソースバックエンドを用いて訓練されてよい。ＣＮＮを訓練することは、機械が与えられた画像セットとそのラベルそれぞれから新しい画像を分類するためのルールの学習を試みる、教師あり機械学習の問題を示してよい。ＣＮＮモデルを訓練して、欠陥バイアル５００の画像を正常バイアル５００の画像から区別するために、アルゴリズムは、新しい画像のカテゴリを最も良好に予測可能なモデルを学習するという目標のもと、欠陥バイアル５００の多数の画像と、正常バイアル５００の多数の画像とを与えられてよい。「モデルを学習する」とは、所定の分類問題に対して、ＣＮＮに含まれる何１００万もの重み／パラメータの値を計算することを示してよい。重み／パラメータは、畳み込み層および全結合層の重み／パラメータを含んでよい。目的関数、つまり損失関数は、訓練に関するモデル性能を定量化するものと定義されてよい。交差エントロピーは、分類の損失関数として選択されてよい。限定ではなく一例として、損失関数は
と表されてよい。
は、サンプル数を示してよい。
は、考えうるクラス数を示してよい。
は、サンプル
がクラス
に属するか否かを表す指示関数であってよい。
は、サンプル
がクラス
に属する予測確率であってよい。損失関数は、モデル誤差が増加するにつれて増加すると定義されてよく、勾配に基づく最適化アルゴリズムを、損失関数をイテレーションにより減少させるために用いてよい。各イテレーションにおいてモデル重みを適切に調整するために、アルゴリズムは、各モデル重みに対して損失関数の勾配を計算してよい。そして、重みベクトルは、アルゴリズムにより異なる方法で、勾配ベクトルの反対方向に調整されてよい。
【0045】
ＡＮＮとＣＮＮの訓練は、確率的勾配降下法（ＳＧＤ）に基づいてよい。主な原理は、わずか少数の例のみを用いて損失関数を計算すること、（誤差逆伝播法を用いて）対応する勾配を求めること、平均勾配に応じて重みを調整することを備えてよい。訓練データまたは特定のバッチの過剰適合を防ぐため、正則化を用いてよく、大きいニューロンの重みに罰則を科してよい。さらなる方法は、ある割合のノードが、訓練中、ニューラルネットワークからランダムに除外される、ドロップアウトを備えてよい。この除外により、大部分の分類性能が、少数のノードによって支配される代わりに、ノードの集約に起因するものであることが確実になってよい。テストデータと称されるデータのセットは、訓練サンプルとは分けられていることが重要である。最終モデルは、テストデータによりテストされてよく、学習済みモデルの汎化性能を測定してよい。
【0046】
上述のように、欠陥製品バイアル５００の十分なサンプルを得ることは難しい。そのため、検査システム３００は、訓練に必要な欠陥データの不足という課題に取り組むべく、転移学習を用いてよい。本開示のように、補助機械学習モデルに基づく目標機械学習モデルの訓練は、転移学習と称されてよい。一般的な深層ＣＮＮは、その第１層において、ガボールフィルタそしてカラーブロブと類似する特徴量を学習できる。これらのような、低レベル特徴量は、多くのデータセットおよびタスクに適用可能な一般の特徴量である傾向があるが、それとは対照的に、高レベル特徴量は、その訓練済みタスクに極めて特有である傾向がある。この性質に基づいて、良好な汎化性能を有するＣＮＮを訓練するのに必要なデータセットのサイズを、転移学習を用いて著しく小さくしてよい。転移学習は、第１／補助データセットおよびタスクに対して「ベース」／「補助」ＣＮＮを訓練し、学習済み特徴量を第２「目標」データセット／タスクに転移することを示す。この工程は、著しくさらに大きなベース／補助データセットを用いて過剰適合することなく、目標データセットに対して大規模なＣＮＮを訓練することを可能にすることが証明されている。また、転移学習により、ベース／補助データセットと目標データセットが極めて非類似の場合でさえも、モデル汎化性能が（ランダムな初期化と比較して）大幅に向上したことが先行研究により報告されている。
【0047】
特定の実施形態において、検査システム３００は、ベース／補助ＣＮＮを訓練し、最終
からの学習済み重みを、目標ＣＮＮの最初の
として用いることにより、転移学習を用いてよい。そして、標準的な最適化工程を適用して、ランダムな初期化から開始して、目標ネットワークの残りの層を学習してよい。学習工程中、転移済み層の重みは、定数または「フリーズ」に固定されてよい。限定ではなく一例として、図４のモデルは、異なるタスクから学習された畳み込みモデルを用いて訓練されてよく、その結果、訓練対象は分類モデルのみになっていてよい。高レベル特徴量の訓練後、全てのモデルパラメータはさらに改善されてよく、これはファインチューニングとして知られるプロセスである。
【0048】
補助機械学習モデルは、複数の補助訓練画像と、複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリとを備える複数の補助訓練サンプルに基づいて訓練されてよい。複数の補助訓練画像に対応する複数のコンテンツカテゴリは、複数の目標訓練画像に対応する複数の欠陥表示と一致しなくてよい。限定ではなく一例として、複数のコンテンツカテゴリは、複数の手書き数字を含んでよい。例えば、同一モデルアーキテクチャを有するベース／補助機械学習モデルは、ＭＮＩＳＴデータセットに対して訓練されてよい。ＭＮＩＳＴデータセットは、１０クラスに属する７０，０００個の手書き数字を含むパブリックデータセットである。図９は、ＭＮＩＳＴデータセット９００の例示的な画像を示す。図９に見られるように、ＭＮＩＳＴデータセットにおける数字の分類は、凍結乾燥製品バイアル５００を分類する目標タスクとは非常に異なるものである。
【0049】
要約すると、検査システム３００は、転移学習に基づいて目標機械学習モデルを訓練するために、以下のプロセスを用いてよい。まず、検査システム３００は、複数の目標訓練サンプルにアクセスしてよい。目標訓練サンプルは、医薬製品の容器に対応する複数の目標訓練画像と、複数の目標訓練画像にそれぞれ対応する複数の欠陥表示とを備えてよい。そして、検査システム３００は、目標訓練サンプルに基づいて複数の補助訓練サンプルを選択してよい。補助訓練サンプルは、複数の補助訓練画像と、複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリとを備えてよい。そして、検査システム３００は、目標機械学習モデルを訓練してよい。訓練することは、複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練することと、補助機械学習モデルに基づいて複数の目標訓練画像の特徴表現を生成することと、生成された特徴表現と複数の欠陥表示とに基づいて複数の目標訓練画像の特徴表現と複数の欠陥表示との間の関係を学習することとを備えてよい。
ガラス欠陥検査例
ガラス欠陥検査例
【0050】
検査システム３００の性能を二値分類タスクによりテストし、小規模の目標訓練データセットを用いた場合でさえも高い精度でガラス欠陥を検出するＣＮＮの性能を調べた。図１０は、ガラス上のフォギングと比較した、スクラッチを有するガラス欠陥の例を示す。図１０に示されるように、左３つのバイアル５００はスクラッチを有し、スクラッチは円で囲まれている。比較のため、右２つのバイアル５００はガラス上にフォギングを有し、フォギングは円で囲まれている。スクラッチは検出が難しいことを比較は示しており、自動検査におけるエラーの大部分の原因となる場合がある。限定ではなく一例として、グラス上にフォギングが存在する場合、他の自動検出方法では、最大９０％の誤拒否率が生じることがある。データは４枚の画像毎のサンプルに分割され、それに対して、複数の入力によりＣＮＮが訓練された。図１１は、ガラス欠陥の二値分類に用いられる例示的なＣＮＮアーキテクチャ１１００を示す。図１１に示されるように、４枚の入力画像であってよく、互いに９０°の間隔を有する、バイアル５００の４枚の画像が示されている。目標機械学習モデルは、１，８３４，４１７個の訓練可能なパラメータを含んでよい。訓練データとして用いられる（４枚の画像それぞれの）サンプルが２５５０個と、検証データとして用いられるサンプルが３００個あった。検証データからのサンプルは、目標訓練データセットには存在しない製品バイアル５００から取得されており、これにより、モデル汎化性能をより良好にテストできる。交差エントロピーは、損失関数として選択され、確率的勾配降下法は、バッチサイズ３０でＣＮＮを訓練するために用いられた。Ｌ１ノルム正則化項とＬ２ノルム正則化項の両方が、重み０．００１で含まれた。
【0051】
図１２は、ランダムな重みからガラス欠陥の二値分類について訓練された目標機械学習モデルの例示的な損失と精度を示す。図１２に示されるように、モデル訓練時に求められた損失と精度は、４０エポックに対応するものである。図１２は、損失が目標訓練データおよび検証データの両方についてスムースに減少することを示し、充分なハイパーパラメータが最適化工程用に選択されることを示唆している。しかし、両者間の精度レベルは非常に異なっている。特に、検証データ分類の精度では、８３％あたりでプラトーが発生している一方、目標訓練データの精度は約９５％まで増加している。２つの精度レベルの差は、モデルが目標訓練データを過剰適合しており、新しいデータに汎化可能ではないことを示している可能性がある。
【0052】
図１３は、ガラス欠陥の二値分類用ＣＮＮの活性化関数の例示的なビジュアライゼーションを示す。各ノードの活性化関数の出力をプロットすると、ノードがその学習済み特徴量を求めた、サンプル画像における位置が明らかになる場合がある。その結果、そのようなプロットにより、各ノードの学習済み特徴量の推論が可能になる場合がある。図１３に示されるのは、学習済みモデルの１６個の第１層ノードの活性化関数（上図）と、３２個の第２層ノード（下図）である。図１３に見られるように、ノードが一度も活性化されていない、いくつかの著しい「デッド」ノードが存在する。これは、確率的勾配降下法を用いてＣＮＮを訓練する際の一般的な現象であり、最大５０％のノードがデッド状態である可能性があることが先行研究により示唆されている。特定の実施形態において、大部分の特徴量抽出がほんの２、３個のノードで行われてよく、大部分の他のノードは、画像を未処理のまま単に通過させてよい。このことは、特に、大部分のノード出力が原画像と略同一である、第１層ノード（図１３の上図）において明らかである。
【0053】
図１４は、転移学習に基づいて分類層を訓練する場合の、ガラス欠陥の二値分類用目標機械学習モデルの例示的な精度レベルを示す。転移学習は、ＭＮＩＳＴデータセットに基づく。ＭＮＩＳＴデータセットに関する訓練から学習された３つの畳み込み層がフリーズされ、全結合分類層が訓練された。正則化重みは用いられず、同じ最適化アルゴリズムおよびバッチサイズが用いられた。精度レベルは２５エポックに対応するものである。図１４に見られるように、低レベル特徴量がＭＮＩＳＴデータセットから学習されたものであるにもかかわらず、目標訓練データの精度は比較的変わらない。このことは、低レベル特徴量が一般的であり、非常に異なるタスクに対して良好な分類器を学習するためになお用いることができることを示している場合がある。また、検証データに関する分類精度は、転移学習の場合に非常に高くなり、モデルがより良好に汎化可能であることを示している。
【0054】
図１５は、転移学習を用いた場合のガラス欠陥の二値分類用ＣＮＮの活性化関数の例示的なビジュアライゼーションを示す。特に、左部は、転移学習を用いて学習されたＣＮＮの第１層ノードを示し、右部は、転移学習を用いて学習されたＣＮＮの第２層ノードを示す。図１５に見られるように、新しいＣＮＮの方は「デッド」ノードが少なく、第２層にはデッドノードが１つもない。多数のノードが同一入力画像を単に出力する前モデルと比較して、より多くの特徴量が抽出されることが顕著である。ＭＮＩＳＴデータセットに対して学習され、目標タスクに適用される層は、キャニーエッジ検出器を連想させてよく、他の標準的な画像処理技術を連想させてよい。そのような基本的な画像モチーフは、全ての画像に対して一般的であってよく、このことがおそらくモデル汎化能力の向上の主な理由である可能性がある。
【0055】
図１６は、多クラス分類について訓練された目標機械学習モデルの例示的な損失と精度を示す。同一の目標機械学習モデルが、３つのクラスに分割されたデータセットに対して、多クラス分類について訓練された。３つのクラスは、非欠陥、ガラス欠陥、コンタミネーションを含む。３５エポックの分類層の訓練の精度レベルが、図１６の左図に示されている。損失が図１６の右図に示されている。訓練データに関する損失は減少し、プラトーに到達し、その後急激に再び減少していることが見られる。この振る舞いは、ニューラルネットワークモデルのパラメータを回帰分析するために用いられた確率論的方法に起因する場合がある。訓練精度および損失関数は、検証データに関するモデル性能を反映しない。検証損失は、約６エポック後に減少が止まり（約６０％精度）、その点の後、モデルは訓練データに過剰適合されている。このことは、新しいデータに汎化可能な３クラスモデルを適合させるためには、著しくより多くの訓練データが必要であることを示唆している可能性がある。
【0056】
目標機械学習モデルの性能は、拒否率によりさらに検証される。実験によると、拒否率は、分類における閾値設定によって変化する。より具体的には、二値分類の結果は、０～１のガラス欠陥レンジの確率となる。よって、閾値は排除率と拒否率との間のバランスをとるために用いられてよい。ここでの結果に基づくと、実際の欠陥率は０．０２％～０．２％の間で変化すると仮定すると、拒否率は８％未満である、元々の数字（約８０％）と比較すると、目標機械学習モデルにより著しく改善されている。
システムおよび方法
システムおよび方法
【0057】
図１７は、例示的なコンピュータシステム１７００を示す。特定の実施形態において、１つまたは複数のコンピュータシステム１７００は、本開示に記載または図示の１つまたは複数の方法の１つまたは複数のステップを実行する。特定の実施形態において、１つまたは複数のコンピュータシステム１７００は、本明細書に記載または図面に示される機能を提供する。特定の実施形態において、１つまたは複数のコンピュータシステム１７００で動作するソフトウェアは、本開示に記載または図示の１つまたは複数の方法の１つまたは複数のステップを実行するか、本明細書に記載または図面に示される機能を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１７００の１つまたは複数の部分を含む。本開示において、コンピュータシステムの参照は、計算装置を含み、適宜、その逆も然りである。また、コンピュータシステムの参照は、適宜、１つまたは複数のコンピュータシステムを含む。
【0058】
本開示は、任意の好適な数のコンピュータシステム１７００を企図している。本開示は、任意の好適な物理的形態を有するコンピュータシステム１７００を企図している。限定ではなく一例として、コンピュータシステム１７００は、組み込みコンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えばコンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ））、デスクトップ型コンピュータシステム、ラップトップ型またはノートブック型コンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話機、携帯情報端末（ＰＤＡ）、サーバ、タブレット型コンピュータシステム、またはそれらのうちの２つ以上の組み合わせであってよい。適宜、コンピュータシステム１７００は、１つまたは複数のコンピュータシステム１７００を含んでよく、中央集権型または分散型であってよく、複数の場所にまたがってよく、複数のマシンにまたがってよく、複数のデータセンタにまたがってよく、１つまたは複数のネットワーク内の１つまたは複数のクラウド構成部分を含んでよいクラウドに常駐していてもよい。適宜、１つまたは複数のコンピュータシステム１７００は、本開示に記載または図示の１つまたは複数の方法の１つまたは複数のステップを、実質的な空間的制約または時間的制約なしで実行できる。限定ではなく一例として、１つまたは複数のコンピュータシステム１７００は、本開示に記載または図示の１つまたは複数の方法の１つまたは複数のステップをリアルタイムでまたはバッチモードで実行してよい。１つまたは複数のコンピュータシステム１７００は、適宜、本開示に記載または図示の１つまたは複数の方法の１つまたは複数のステップを様々な時点、または様々な場所で実行してよい。
【0059】
特定の実施形態において、コンピュータシステム１７００は、プロセッサ１７０２、メモリ１７０４、ストレージ１７０６、入出力（Ｉ／Ｏ）インタフェース１７０８、通信インタフェース１７１０、およびバス１７１２を含む。本開示は、特定の構成において特定数の特定の構成部分を有する特定のコンピュータシステムを記載し、図示しているが、本開示は、任意の好適な構成における任意の好適な数の任意の好適な構成部分を有する任意の好適なコンピュータシステムを企図している。
【0060】
特定の実施形態において、プロセッサ１７０２は、命令を実行するためのハードウェア、例えばコンピュータプログラムを構成するハードウェアを含む。限定ではなく一例として、命令を実行するために、プロセッサ１７０２は、内部レジスタ、内部キャッシュ、メモリ１７０４、またはストレージ１７０６から命令を取り出し（またはフェッチし）、それらをデコードし、かつ実行し、そして、１つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ１７０４，またはストレージ１７０６に書き込んでよい。特定の実施形態において、プロセッサ１７０２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含んでよい。本開示は、適宜、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１７０２を企図している。限定ではなく一例として、プロセッサ１７０２は、１つまたは複数の命令キャッシュ、１つまたは複数のデータキャッシュ、１つまたは複数のトランスレーションルックアサイドバッファ（ＴＬＢ）を含んでよい。命令キャッシュにおける命令は、メモリ１７０４またはストレージ１７０６における命令のコピーであってよく、命令キャッシュはプロセッサ１７０２によるこれら命令の取り出しを高速化できる。データキャッシュ内のデータは、プロセッサ１７０２で実行する命令に関する、メモリ１７０４またはストレージ１７０６における、プロセッサが処理するデータのコピー、プロセッサ１７０２で実行する後続する命令によるアクセスに関する、または、メモリ１７０４もしくはストレージ１７０６への書き込みに関する、プロセッサ１７０２で実行される先行する命令の結果、または他の好適なデータであってよい。データキャッシュは、プロセッサ１７０２による読み出しまたは書き込み動作を高速化できる。ＴＬＢは、プロセッサ１７０２に関する仮想アドレス変換を高速化できる。特定の実施形態において、プロセッサ１７０２は、データ、命令、またはアドレスに関する１つまたは複数の内部レジスタを含んでよい。本開示は、適宜、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１７０２を企図している。適宜、プロセッサ１７０２は、１つまたは複数の論理演算装置（ＡＬＵ）を含んでよく、マルチコアプロセッサであってよく、または、１つまたは複数のプロセッサ１７０２を含んでよい。本開示は、特定のプロセッサを記載し、図示しているが、本開示は、任意の好適なプロセッサを企図している。
【0061】
特定の実施形態において、メモリ１７０４は、プロセッサ１７０２が実行する命令、またはプロセッサ１７０２が処理するデータを記憶するメインメモリを含む。限定ではなく一例として、コンピュータシステム１７００は、ストレージ１７０６、または他のソース（例えば別のコンピュータシステム１７００）からメモリ１７０４に命令をロードしてよい。そして、プロセッサ１７０２は、メモリ１７０４から内部レジスタまたは内部キャッシュに命令をロードしてよい。命令を実行するために、プロセッサ１７０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それをデコードしてよい。命令の実行中、または実行後、プロセッサ１７０２は、（中間結果または最終結果であってよい）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込んでよい。そして、プロセッサ１７０２は、これら結果のうちの１つまたは複数をメモリ１７０４に書き込んでよい。特定の実施形態において、プロセッサ１７０２は、（ストレージ１７０６または他の場所ではなく）１つまたは複数の内部レジスタ内または内部キャッシュ内、またはメモリ１７０４内の命令のみを実行し、（ストレージ１７０６または他の場所ではなく）１つまたは複数の内部レジスタ内または内部キャッシュ内、またはメモリ１７０４内のデータのみを処理する。（アドレスバスおよびデータバスをそれぞれが含んでよい）１つまたは複数のメモリバスは、プロセッサ１７０２をメモリ１７０４に接続してよい。バス１７１２は、以下に説明するように、１つまたは複数のメモリバスを含んでよい。特定の実施形態において、１つまたは複数のメモリ管理ユニット（ＭＭＵ）はプロセッサ１７０２とメモリ１７０４との間に常駐し、プロセッサ１７０２によって要求されるメモリ１７０４へのアクセスを容易にする。特定の実施形態において、メモリ１７０４はランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適宜、揮発性メモリであってよい。適宜、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってよい。また、適宜、このＲＡＭはシングルポートのＲＡＭまたはマルチポートのＲＡＭであってよい。本開示は、任意の好適なＲＡＭを企図している。メモリ１７０４は、適宜、１つまたは複数のメモリ１７０４を含んでよい。本開示は、特定のメモリを記載し、図示しているが、本開示は、任意の好適なメモリを企図している。
【0062】
特定の実施形態において、ストレージ１７０６は、データまたは命令のためのマスストレージを含む。限定ではなく一例として、ストレージ１７０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはそれらのうちの２つ以上の組み合わせであってよい。ストレージ１７０６は、適宜、取り外し可能媒体または取り外し不可能（もしくは固定）媒体を含んでよい。ストレージ１７０６は、適宜、コンピュータシステム１７００の内部または外部であってよい。特定の実施形態において、ストレージ１７０６は、不揮発性ソリッドステートメモリである。特定の実施形態において、ストレージ１７０６は、リードオンリーメモリ（ＲＯＭ）を含む。適宜、このＲＯＭは、マスクプログラムされたＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的可変ＲＯＭ（ＥＡＲＯＭ）、もしくはフラッシュメモリ、またはそれらのうちの２つ以上の組み合わせであってよい。本開示は、任意の好適な物理的形態を有するマスストレージ１７０６を企図している。ストレージ１７０６は、適宜、プロセッサ１７０２とストレージ１７０６との間の通信を容易にする、１つまたは複数のストレージ制御ユニットを含んでよい。適宜、ストレージ１７０６は、１つまたは複数のストレージ１７０６を含んでよい。本開示は、特定のストレージを記載し、図示しているが、本開示は、任意の好適なストレージを企図している。
【0063】
特定の実施形態において、Ｉ／Ｏインタフェース１７０８は、コンピュータシステム１７００と、１つまたは複数のＩ／Ｏ装置との間の通信のための１つまたは複数のインタフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム１７００は、適宜、これらＩ／Ｏ装置のうちの１つまたは複数を含んでよい。これらＩ／Ｏ装置のうちの１つまたは複数は、人間とコンピュータシステム１７００との間の通信を可能にしてよい。限定ではなく一例として、Ｉ／Ｏ装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、他の好適なＩ／Ｏ装置、またはそれらのうちの２つ以上の組み合わせを含んでよい。Ｉ／Ｏ装置は、１つまたは複数のセンサを含んでよい。本開示は、任意の好適なＩ／Ｏ装置、およびそれらのための任意の好適なＩ／Ｏインタフェース１７０８を企図している。適宜、Ｉ／Ｏインタフェース１７０８は、プロセッサ１７０２がこれらＩ／Ｏ装置のうちの１つまたは複数を駆動することを可能にする、１つまたは複数のデバイスドライバまたはソフトウェアドライバを含んでよい。Ｉ／Ｏインタフェース１７０８は、適宜、１つまたは複数のＩ／Ｏインタフェース１７０８を含んでよい。本開示は、特定のＩ／Ｏインタフェースを記載し、図示しているが、本開示は、任意の好適なＩ／Ｏインタフェースを企図している。
【0064】
特定の実施形態において、通信インタフェース１７１０は、コンピュータシステム１７００と、１つまたは複数の他のコンピュータシステム１７００または１つまたは複数のネットワークとの間の通信（例えばパケットベースの通信）用の１つまたは複数のインタフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定ではなく一例として、通信インタフェース１７１０は、イーサネットまたは他のワイヤベースのネットワークと通信するための、ネットワークインタフェースコントローラ（ＮＩＣ）またはネットワークアダプタか、無線ネットワーク、例えばＷＩ－ＦＩネットワークと通信するための、ワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含んでよい。本開示は、任意の好適なネットワーク、およびそのための任意の好適な通信インタフェース１７１０を企図している。限定ではなく一例として、コンピュータシステム１７００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、または、インターネットの１つもしくは複数の部分、またはそれらのうちの２つ以上の組み合わせと通信してよい。これらネットワークのうちの１つまたは複数の部分は、有線または無線であってよい。一例として、コンピュータシステム１７００は、ワイヤレスＰＡＮ（ＷＰＡＮ）（例えばＢｌｕｅｔｏｏｔｈ ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えばＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）ネットワーク）、または、他の好適なワイヤレスネットワーク、またはそれらのうちの２つ以上の組み合わせと通信してよい。コンピュータシステム１７００は、適宜、これらネットワークのいずれかに関する、任意の好適な通信インタフェース１７１０を含んでよい。通信インタフェース１７１０は、適宜、１つまたは複数の通信インタフェース１７１０を含んでよい。本開示は、特定の通信インタフェースを記載し、図示しているが、本開示は、任意の好適な通信インタフェースを企図している。
【0065】
特定の実施形態において、バス１７１２は、コンピュータシステム１７００の構成部分を互いに接続するハードウェア、ソフトウェア、またはその両方を含む。限定ではなく一例として、バス１７１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィクスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺機器相互接続（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または、他の好適なバス、またはそれらのうちの２つ以上の組み合わせを含んでよい。バス１７１２は、適宜、１つまたは複数のバス１７１２を含んでよい。本開示は、特定のバスを記載し、図示しているが、本開示は、任意の好適なバスまたは相互接続を企図している。
【0066】
本開示において、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適宜、１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）（例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカード、セキュアデジタルドライブ、または、他の好適なコンピュータ可読非一時的記憶媒体、またはそれらのうちの２つ以上の組み合わせを含んでよい。コンピュータ可読非一時的記憶媒体は、適宜、揮発性、不揮発性、または揮発性と不揮発性の組み合わせであってよい。
雑記
雑記
【0067】
本開示において、「または」とは、別途明記されていないか別途文脈で示されていない限り、排他的ではなく包含的である。よって、本開示において、「ＡまたはＢ」は、別途明記されていないか別途文脈で示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。また、「および」は、別途明記されていないか別途文脈で示されていない限り、結合的および個別的の両方である。よって、本開示において、「ＡおよびＢ」は、別途明記されていないか別途文脈で示されていない限り、「結合的または個別的にＡおよびＢ」を意味する。
【0068】
本開示の範囲は、当業者が理解する、本開示に記載または図示される例示的な実施形態に対する全ての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本開示に記載または図示される例示的な実施形態に限定されない。また、本開示は、特定の構成部分、要素、特徴、機能、動作、またはステップを含む、本開示のそれぞれの実施形態を記載し、図示しているが、これら実施形態のいずれも、当業者が理解する、本開示の別所に記載または図示される構成部分、要素、特徴、機能、動作、またはステップのいずれの任意の組み合わせまたは置換を含んでよい。さらに、添付の特許請求の範囲における、特定の機能を実施するように適合されている、構成されている、能力を有する、設定されている、実施可能である、動作可能であるか、作用する、装置またはシステム、または装置もしくはシステムの構成部分の参照は、それまたはその特定の機能が有効化されているか、作動されているか、または開放されているか否かにかかわらず、その装置、システム、または構成部分がそのように適合されている、構成されている、能力を有する、設定されている、実施可能である、動作可能であるか、作用する限り、その装置、システム、構成部分を包含する。また、本開示は、特定の有利な点を提供する特定の実施形態を記載または図示しているが、特定の実施形態はこれら有利な点のうちのいくつか、または全てを提供してよく、またはそれらを提供するものでなくてもよい。
さらに、本開示は、以下の条項に係る実施形態を含む。
［条項１］
コンピューティングシステムによって、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の角度に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を含む、方法。
［条項２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することが、
前記目標機械学習モデルを用いて、前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記１つまたは複数のクエリ画像の前記生成された１つまたは複数の特徴表現、
のうちの１つまたは複数に基づいて計算することと、
を含む、条項１に記載の方法。
［条項３］
１つまたは複数の光学カメラセンサを用いて、前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることをさらに含む、条項１または２に記載の方法。
［条項４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項１～３のいずれか１項に記載の方法。
［条項５］
前記医薬製品には、凍結乾燥製品が含まれる、条項１～４のいずれか１項に記載の方法。
［条項６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項５に記載の方法。
［条項７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項１～６のいずれか１項に記載の方法。
［条項８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項７に記載の方法。
［条項９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項８に記載の方法。
［条項１０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項７に記載の方法。
［条項１１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項１～１０のいずれか１項に記載の方法。
［条項１２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項１～１１のいずれか１項に記載の方法。
［条項１３］
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれている、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれている、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて、補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現および前記複数の欠陥表示に基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、をさらに含む、条項１～１２のいずれか１項に記載の方法。
［条項１４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項１３に記載の方法。
［条項１５］
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサが、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャする、取得することをさらに含む、条項１３または１４に記載の方法。
［条項１６］
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することをさらに含む、条項１５に記載の方法。
［条項１７］
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項１６に記載の方法。
［条項１８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づき、前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、前記１つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記１つまたは複数の層群によって、前記それぞれのカメラセンサに対応する前記１つまたは複数の目標訓練画像群を処理することと、が含まれる、条項１７に記載の方法。
［条項１９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項１３～１８のいずれか１項に記載の方法。
［条項２０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項１３～１９のいずれか１項に記載の方法。
［条項２１］
ソフトウェアを実装した１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されると、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
［条項２２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係、または、
前記１つまたは複数のクエリ画像の生成された前記１つまたは複数の特徴表現、
のうちの１つまたは複数に基づいて計算することと、
が含まれる、条項２１に記載の媒体。
［条項２３］
前記ソフトウェアが、実行されると、
１つまたは複数の光学カメラセンサを用いて前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項２１または２２に記載の媒体。
［条項２４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項２１～２３のいずれか１項に記載の媒体。
［条項２５］
前記医薬製品には、凍結乾燥製品が含まれる、条項２１～２４のいずれか１項に記載の媒体。
［条項２６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項２５に記載の媒体。
［条項２７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項２１～２６のいずれか１項に記載の媒体。
［条項２８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項２７に記載の媒体。
［条項２９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項２８に記載の媒体。
［条項３０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項２７に記載の媒体。
［条項３１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項２１～３０のいずれか１項に記載の媒体。
［条項３２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項２１～３１のいずれか１項に記載の媒体。
［条項３３］
前記ソフトウェアが、実行されると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、を行うように、さらに動作可能である、条項２１～３２のいずれか１項に記載の媒体。
［条項３４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項３３に記載の媒体。
［条項３５］
前記ソフトウェアが、実行されると、
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサが、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項３３または３４に記載の媒体。
［条項３６］
前記ソフトウェアが、実行されると、
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うようにさらに動作可能である、条項３５に記載の媒体。
［条項３７］
前記目標機械学習モデルを訓練することが、
前記それぞれのカメラセンサにそれぞれ対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、をさらに含む、条項３６に記載の媒体。
［条項３８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することが、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記それぞれのカメラセンサに対応する前記１つまたは複数の目標訓練画像群を、前記１つまたは複数の層群によって処理することと、を含む、条項３７に記載の媒体。
［条項３９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項３３～３８のいずれか１項に記載の媒体。
［条項４０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項３３～３９のいずれか１項に記載の媒体。
［条項４１］
各カメラは異なる画角に対応する、１つまたは複数のカメラと；
１つまたは複数のセンサと；
１つまたは複数のライトと；
１つまたは複数のトレイと；
１つまたは複数の高さ制御部と；
１つまたは複数のプロセッサと；
前記プロセッサに結合された非一時的メモリであって、前記プロセッサによって実行可能な命令を含み、前記プロセッサが、前記命令を実行すると、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、非一時的メモリと、を備える、装置。
［条項４２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記１つまたは複数のクエリ画像の生成された前記１つまたは複数の特徴表現、のうちの１つまたは複数に基づいて計算することと、
が含まれる、条項４１に記載の装置。
［条項４３］
前記プロセッサが、前記命令を実行すると、
１つまたは複数の光学カメラセンサを用いて前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項４１または４２に記載の装置。
［条項４４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項４１～４３のいずれか１項に記載の装置。
［条項４５］
前記医薬製品には、凍結乾燥製品が含まれる、条項４１～４４のいずれか１項に記載の装置。
［条項４６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項４５に記載の装置。
［条項４７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項４１～４６のいずれか１項に記載の装置。
［条項４８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項４７に記載の装置。
［条項４９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項４８に記載の装置。
［条項５０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項４７に記載の装置。
［条項５１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項４１～５０のいずれか１項に記載の装置。
［条項５２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項４１～５１のいずれか１項に記載の装置。
［条項５３］
前記プロセッサが、前記命令を実行すると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することを行うように、さらに動作可能である、条項４１～５２のいずれか１項に記載の装置。
［条項５４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項５３に記載の装置。
［条項５５］
前記プロセッサが、前記命令を実行すると、
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサは、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項５３または５４に記載の装置。
［条項５６］
前記プロセッサが、前記命令を実行すると、
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うように、さらに動作可能である、条項５５に記載の装置。
［条項５７］
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項５６に記載の装置。
［条項５８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、前記１つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記１つまたは複数の層群によって、前記１つまたは複数のカメラセンサに対応する前記１つまたは複数の目標訓練画像群を処理することと、が含まれる、条項５７に記載の装置。
［条項５９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項５３～５８のいずれか１項に記載の装置。
［条項６０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項５３～５９のいずれか１項に記載の装置。
さらに、本開示は、以下の条項に係る実施形態を含む。
［条項１］
コンピューティングシステムによって、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の角度に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を含む、方法。
［条項２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することが、
前記目標機械学習モデルを用いて、前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記１つまたは複数のクエリ画像の前記生成された１つまたは複数の特徴表現、
のうちの１つまたは複数に基づいて計算することと、
を含む、条項１に記載の方法。
［条項３］
１つまたは複数の光学カメラセンサを用いて、前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることをさらに含む、条項１または２に記載の方法。
［条項４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項１～３のいずれか１項に記載の方法。
［条項５］
前記医薬製品には、凍結乾燥製品が含まれる、条項１～４のいずれか１項に記載の方法。
［条項６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項５に記載の方法。
［条項７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項１～６のいずれか１項に記載の方法。
［条項８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項７に記載の方法。
［条項９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項８に記載の方法。
［条項１０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項７に記載の方法。
［条項１１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項１～１０のいずれか１項に記載の方法。
［条項１２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項１～１１のいずれか１項に記載の方法。
［条項１３］
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれている、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれている、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて、補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現および前記複数の欠陥表示に基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、をさらに含む、条項１～１２のいずれか１項に記載の方法。
［条項１４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項１３に記載の方法。
［条項１５］
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサが、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャする、取得することをさらに含む、条項１３または１４に記載の方法。
［条項１６］
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することをさらに含む、条項１５に記載の方法。
［条項１７］
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項１６に記載の方法。
［条項１８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づき、前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、前記１つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記１つまたは複数の層群によって、前記それぞれのカメラセンサに対応する前記１つまたは複数の目標訓練画像群を処理することと、が含まれる、条項１７に記載の方法。
［条項１９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項１３～１８のいずれか１項に記載の方法。
［条項２０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項１３～１９のいずれか１項に記載の方法。
［条項２１］
ソフトウェアを実装した１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアが、実行されると、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、１つまたは複数のコンピュータ可読非一時的記憶媒体。
［条項２２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係、または、
前記１つまたは複数のクエリ画像の生成された前記１つまたは複数の特徴表現、
のうちの１つまたは複数に基づいて計算することと、
が含まれる、条項２１に記載の媒体。
［条項２３］
前記ソフトウェアが、実行されると、
１つまたは複数の光学カメラセンサを用いて前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項２１または２２に記載の媒体。
［条項２４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項２１～２３のいずれか１項に記載の媒体。
［条項２５］
前記医薬製品には、凍結乾燥製品が含まれる、条項２１～２４のいずれか１項に記載の媒体。
［条項２６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項２５に記載の媒体。
［条項２７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項２１～２６のいずれか１項に記載の媒体。
［条項２８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項２７に記載の媒体。
［条項２９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項２８に記載の媒体。
［条項３０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項２７に記載の媒体。
［条項３１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項２１～３０のいずれか１項に記載の媒体。
［条項３２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項２１～３１のいずれか１項に記載の媒体。
［条項３３］
前記ソフトウェアが、実行されると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて、前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することと、を行うように、さらに動作可能である、条項２１～３２のいずれか１項に記載の媒体。
［条項３４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項３３に記載の媒体。
［条項３５］
前記ソフトウェアが、実行されると、
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサが、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項３３または３４に記載の媒体。
［条項３６］
前記ソフトウェアが、実行されると、
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うようにさらに動作可能である、条項３５に記載の媒体。
［条項３７］
前記目標機械学習モデルを訓練することが、
前記それぞれのカメラセンサにそれぞれ対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、をさらに含む、条項３６に記載の媒体。
［条項３８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することが、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記それぞれのカメラセンサに対応する前記１つまたは複数の目標訓練画像群を、前記１つまたは複数の層群によって処理することと、を含む、条項３７に記載の媒体。
［条項３９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項３３～３８のいずれか１項に記載の媒体。
［条項４０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項３３～３９のいずれか１項に記載の媒体。
［条項４１］
各カメラは異なる画角に対応する、１つまたは複数のカメラと；
１つまたは複数のセンサと；
１つまたは複数のライトと；
１つまたは複数のトレイと；
１つまたは複数の高さ制御部と；
１つまたは複数のプロセッサと；
前記プロセッサに結合された非一時的メモリであって、前記プロセッサによって実行可能な命令を含み、前記プロセッサが、前記命令を実行すると、
医薬製品の容器に対応する１つまたは複数のクエリ画像を受信することであって、前記１つまたは複数のクエリ画像のそれぞれが、前記医薬製品の前記容器の特定の視点に基づく、受信することと、
前記医薬製品の前記容器に対して、目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、１つまたは複数の欠陥表示にそれぞれ対応する１つまたは複数の信頼スコアを計算することと、
前記医薬製品の前記容器に対して、前記１つまたは複数の信頼スコアと１つまたは複数の予め定義された閾値スコアとのそれぞれの比較に基づいて、前記１つまたは複数の欠陥表示から欠陥表示を決定することと、を行うように動作可能である、非一時的メモリと、を備える、装置。
［条項４２］
前記１つまたは複数のクエリ画像に対して、前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを計算することには、
前記目標機械学習モデルを用いて前記１つまたは複数のクエリ画像を処理することにより、前記１つまたは複数のクエリ画像の１つまたは複数の特徴表現を生成することと、
前記１つまたは複数の欠陥表示に対応する前記１つまたは複数の信頼スコアを、
前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との間の関係、または、
前記１つまたは複数のクエリ画像の生成された前記１つまたは複数の特徴表現、のうちの１つまたは複数に基づいて計算することと、
が含まれる、条項４１に記載の装置。
［条項４３］
前記プロセッサが、前記命令を実行すると、
１つまたは複数の光学カメラセンサを用いて前記１つまたは複数のクエリ画像を取得することであって、前記１つまたは複数の光学カメラセンサが、前記医薬製品の前記容器に対して、１つまたは複数の角度から、前記１つまたは複数のクエリ画像をそれぞれキャプチャすることを行うようにさらに動作可能である、条項４１または４２に記載の装置。
［条項４４］
前記容器が、キャップ、封止材、ストッパ、ネック、ショルダ、本体、または基部のうちの１つまたは複数を含む、条項４１～４３のいずれか１項に記載の装置。
［条項４５］
前記医薬製品には、凍結乾燥製品が含まれる、条項４１～４４のいずれか１項に記載の装置。
［条項４６］
前記凍結乾燥製品が、１つまたは複数の製品属性に対応し、各製品属性が、物理的形状因子、色、透明レベル、粘度、または充填量である、条項４５に記載の装置。
［条項４７］
前記欠陥表示には、致命的欠陥、主要な欠陥、または軽微な欠陥のうちの１つまたは複数が含まれる、条項４１～４６のいずれか１項に記載の装置。
［条項４８］
前記医薬製品には、凍結乾燥製品が含まれ、前記致命的欠陥には、ケーキ外観欠陥または充填量欠陥のうちの１つまたは複数が含まれる、条項４７に記載の装置。
［条項４９］
前記ケーキ外観欠陥には、メルトバック、過度に収縮したケーキ、非凍結乾燥ケーキ、または退色のうちの１つまたは複数が含まれる、条項４８に記載の装置。
［条項５０］
前記医薬製品には、凍結乾燥製品が含まれ、前記主要な欠陥には、ケーキ外観欠陥が含まれ、前記ケーキ外観欠陥には、過度の製品スプラッシュ、傾斜ケーキ、または収縮ケーキのうちの１つまたは複数が含まれる、条項４７に記載の装置。
［条項５１］
前記目標機械学習モデルが、畳み込みニューラルネットワークに基づく、条項４１～５０のいずれか１項に記載の装置。
［条項５２］
前記１つまたは複数の予め定義された閾値スコアのそれぞれが、前記欠陥表示に対応する受け入れ品質限界に基づいて決定される、条項４１～５１のいずれか１項に記載の装置。
［条項５３］
前記プロセッサが、前記命令を実行すると、
複数の目標訓練サンプルにアクセスすることであって、前記目標訓練サンプルには、前記医薬製品の容器に対応する複数の目標訓練画像、および前記複数の目標訓練画像にそれぞれ対応する複数の欠陥表示が含まれる、アクセスすることと、
前記目標訓練サンプルに基づいて複数の補助訓練サンプルを選択することであって、前記補助訓練サンプルには、複数の補助訓練画像、および前記複数の補助訓練画像にそれぞれ対応する複数のコンテンツカテゴリが含まれる、選択することと、
前記目標機械学習モデルを訓練することであって、前記訓練することには、
前記複数の補助訓練サンプルに基づいて補助機械学習モデルを訓練すること、
前記補助機械学習モデルに基づいて前記複数の目標訓練画像の特徴表現を生成すること、および
生成された前記特徴表現と前記複数の欠陥表示とに基づいて、前記複数の目標訓練画像の前記特徴表現と前記複数の欠陥表示との関係を学習することが含まれる、訓練することを行うように、さらに動作可能である、条項４１～５２のいずれか１項に記載の装置。
［条項５４］
前記医薬製品には、凍結乾燥製品が含まれ、前記凍結乾燥製品が、前記目標訓練画像のうちの少なくとも１つにおいて、前記容器の内側に見える、条項５３に記載の装置。
［条項５５］
前記プロセッサが、前記命令を実行すると、
１つまたは複数の光学カメラセンサを用いて前記複数の目標訓練画像を取得することであって、前記１つまたは複数の光学カメラセンサは、選択された製品に対して、１つまたは複数の角度から、１つまたは複数の画像をそれぞれキャプチャすることを行うように、さらに動作可能である、条項５３または５４に記載の装置。
［条項５６］
前記プロセッサが、前記命令を実行すると、
前記複数の目標訓練画像を１つまたは複数の目標訓練画像群に分割することであって、前記１つまたは複数の目標訓練画像群が、前記１つまたは複数のカメラセンサにそれぞれ対応する、分割することを行うように、さらに動作可能である、条項５５に記載の装置。
［条項５７］
前記目標機械学習モデルを訓練することには、
前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、１つまたは複数の特徴表現群を生成することと、
前記１つまたは複数の特徴表現群にそれぞれ基づいて、１つまたは複数のサブモデルを学習することと、
前記１つまたは複数のサブモデルを統合して、前記目標機械学習モデルを生成することと、がさらに含まれる、条項５６に記載の装置。
［条項５８］
前記目標機械学習モデルが、複数の層を含む畳み込みニューラルネットワークに基づいており、前記それぞれのカメラセンサにそれぞれ対応する前記１つまたは複数の目標訓練画像群に対して、前記１つまたは複数の特徴表現群を生成することには、
前記複数の層を、前記１つまたは複数のカメラセンサにそれぞれ対応する１つまたは複数の層群に分割することと、
前記１つまたは複数の層群によって、前記１つまたは複数のカメラセンサに対応する前記１つまたは複数の目標訓練画像群を処理することと、が含まれる、条項５７に記載の装置。
［条項５９］
前記複数のコンテンツカテゴリには、複数の手書き数字が含まれる、条項５３～５８のいずれか１項に記載の装置。
［条項６０］
前記複数の補助訓練画像に対応する前記複数のコンテンツカテゴリが、前記複数の目標訓練画像に対応する前記複数の欠陥表示と一致しない、条項５３～５９のいずれか１項に記載の装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】