特許 6302017 流体中の非溶解粒子の非破壊的検出のための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6302017

(24)【登録日】2018年3月9日

(45)【発行日】2018年3月28日

(54)【発明の名称】流体中の非溶解粒子の非破壊的検出のための方法および装置

(51)【国際特許分類】

   G01N 15/02 20060101AFI20180319BHJP

   G01N 15/00 20060101ALI20180319BHJP

【ＦＩ】

   G01N15/02 B

   G01N15/00 A

【請求項の数】12

【外国語出願】

【全頁数】78

(21)【出願番号】特願2016-165450(P2016-165450)

(22)【出願日】2016年8月26日

(62)【分割の表示】特願2014-528560(P2014-528560)の分割

【原出願日】2012年8月29日

(65)【公開番号】特開2016-197130(P2016-197130A)

(43)【公開日】2016年11月24日

【審査請求日】2016年8月26日

(31)【優先権主張番号】61/528,589

(32)【優先日】2011年8月29日

(33)【優先権主張国】US

(31)【優先権主張番号】61/542,058

(32)【優先日】2011年9月30日

(33)【優先権主張国】US

(31)【優先権主張番号】61/691,211

(32)【優先日】2012年8月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500203709

【氏名又は名称】アムジェン インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】グラハム エフ． ミルン

(72)【発明者】

【氏名】アーウィン フロインド

(72)【発明者】

【氏名】ライアン エル． スミス

【審査官】 土岐 和雅

(56)【参考文献】

【文献】 特開平０８−３０５８５２（ＪＰ，Ａ）

【文献】 特開平０９−３２５１２２（ＪＰ，Ａ）

【文献】 特開平１１−３２６００８（ＪＰ，Ａ）

【文献】 特開２００４−０２８９３０（ＪＰ，Ａ）

【文献】 特開２００２−２６７６１２（ＪＰ，Ａ）

【文献】 特開平０７−１６０８４７（ＪＰ，Ａ）

【文献】 特開昭６３−０８８４３１（ＪＰ，Ａ）

【文献】 特開２００２−１０７３０７（ＪＰ，Ａ）

【文献】 特開平０８−１３６４７６（ＪＰ，Ａ）

【文献】 国際公開第２００７／１３８８１８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ１５／００〜１５／１４、２１／００〜２１／９５、Ｇ０６Ｔ７／００

(57)【特許請求の範囲】

【請求項1】

少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、前記装置は、
（ａ）複数の異なる視点から前記粒子を撮像するように位置付けられた少なくとも２つの撮像装置であって、各撮像装置は、前記流体中の前記粒子の１つ以上の２次元画像を取得するように構成されている、少なくとも２つの撮像装置と、
（ｂ）前記撮像装置に動作可能に結合されたメモリであって、時系列データを格納するように構成されたメモリと、
（ｃ）前記メモリに動作可能に結合されたプロセッサであって、前記プロセッサは、
（ｉ）少なくとも２つの撮像装置からの前記２次元画像を組み合わせることにより、前記容器の中の前記粒子の位置を示す３次元データを決定することと、
（ｉｉ）前記３次元データに少なくとも部分的に基づいて、前記粒子を検出することと
を行うことによって、前記粒子を検出するように構成されている、プロセッサと
を備え、
前記３次元データが前記少なくとも２つの撮像装置によって撮像されていない前記容器の領域に対応する少なくとも１つの盲点領域を含む場合には、前記プロセッサは、前記盲点領域の最も近くに位置する前記撮像装置からの前記粒子の時系列の２次元画像に少なくとも部分的に基づいて、前記盲点領域中の前記粒子の経路を示す盲点軌道情報を決定するように構成されている、装置。

【請求項2】

前記プロセッサは、
前記３次元データに基づいて、候補粒子を識別することと、
前記撮像装置のうちの少なくとも１つからの２次元画像データに基づいて、前記粒子のサイズまたは形状情報を決定することと
を行うようにさらに構成されている、請求項１に記載の装置。

【請求項3】

前記プロセッサは、前記３次元データと、前記容器によって引き起こされる位置依存性光学的ひずみを示すデータとに基づいて、前記粒子に対して前記決定されたサイズまたは形状情報を補正するようにさらに構成されている、請求項２に記載の装置。

【請求項4】

前記少なくとも２つの撮像装置は、少なくとも３つの撮像装置を備える、請求項１に記載の装置。

【請求項5】

前記少なくとも２つの撮像装置のそれぞれは、
前記粒子の画像を検出するように構成されたセンサと、
前記粒子と前記センサとの間に配置された補正光学要素であって、前記容器の湾曲によって引き起こされる前記時系列データのひずみを補償するように構成された補正光学要素と
を備える、請求項１に記載の装置。

【請求項6】

前記撮像装置のそれぞれは、前記センサと前記容器との間に配置されたテレセントリックレンズをさらに備え、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記時系列データの拡大ひずみを実質的に補正する、請求項５に記載の装置。

【請求項7】

少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、前記方法は、
（ａ）少なくとも２つの撮像装置を用いて複数の異なる視点から前記粒子を撮像することにより、前記少なくとも２つの撮像装置のそれぞれが、前記流体中の前記粒子のそれぞれの１つ以上の２次元画像を取得することと、
（ｂ）前記少なくとも２つの撮像装置からの前記２次元画像を組み合わせることにより、前記容器の中の前記粒子の位置を示す３次元データを決定することと、
（ｃ）前記３次元データに少なくとも部分的に基づいて、前記粒子を検出することと、
（ｄ）前記３次元データが前記少なくとも２つの撮像装置によって撮像されていない前記容器の領域に対応する少なくとも１つの盲点領域を含む場合には、前記盲点領域の最も近くに位置する前記撮像装置からの前記粒子の時系列の２次元画像に少なくとも部分的に基づいて、前記盲点領域中の前記粒子の経路を示す盲点軌道情報を決定することと
を含む、方法。

【請求項8】

前記３次元データに基づいて、候補粒子を識別することと、
前記撮像装置のうちの少なくとも１つからの前記２次元画像に基づいて、前記粒子のサイズまたは形状情報を決定することと
をさらに含む、請求項７に記載の方法。

【請求項9】

前記３次元データと、前記容器によって引き起こされる位置依存性光学的ひずみを示すデータとに基づいて、前記粒子に対して前記決定されたサイズまたは形状情報を補正することを含む、請求項８に記載の方法。

【請求項10】

前記少なくとも２つの撮像装置は、少なくとも３つの撮像装置を備える、請求項７に記載の方法。

【請求項11】

前記少なくとも２つの撮像装置のそれぞれは、
前記粒子の画像を検出するように構成されたセンサと、
前記粒子と前記センサとの間に配置された補正光学要素であって、前記容器の湾曲によって引き起こされる前記時系列データのひずみを補償するように構成された補正光学要素と
を備える、請求項７に記載の方法。

【請求項12】

前記撮像装置は、前記センサと前記容器との間に配置されたテレセントリックレンズをさらに備え、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記時系列データの拡大ひずみを実質的に補正する、請求項１１に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

薬剤製品の所与の製剤の質を特徴付けるために、種々の種類の粒子の間の区別が重要である。例えば、区別における低い特異性は、タンパク性粒子状物質について、ガラス層板等の物体を混同する可能性を有する。区別システムの高い特異性が、製剤について決定を行なうときに正確な決定を提供するために必要とされる。特定の薬剤製品の中の粒子の種類についての情報がないと、薬剤製品を適正に製剤化することが困難であり得る。

【0002】

残念ながら、従来の粒子検出技法は、タンパク質凝集体ならびに他の小さい粒子および／または繊細な粒子を検出するためには不適切である。人間の検査官は、通常、約１００ミクロンよりも小さい粒子を検出することができない。自動検査技法は、典型的には破壊的であり、つまり、そのコンテナから検査されている流体を除去することを伴い、それは、通常、流体を治療的使用に不適切にする。加えて、従来の非破壊的検査システムは、粒子が存在しているか否かを判定するために、コンテナの単一のスナップショットのみを使用し、それはしばしば、不正確な粒径測定および／または粒子計数につながる。従来の検査技法はまた、タンパク質凝集体等のより繊細な粒子の破壊も伴い得る。例えば、高速（例えば、数秒間に２０００ｒｐｍ）で、流体を充填したバイアルを回転させることにより、流体中のタンパク質凝集体を引き裂き得る。

【発明の概要】

【課題を解決するための手段】

【0003】

本明細書で開示される技法の一実施形態は、液体、乳液、油、有機溶剤等の流体で少なくとも部分的に充填される容器の中の粒子（すなわち、非溶解粒子）の非破壊的検出のための装置に関する。本明細書で使用されるように、「破壊」または「破壊すること」という用語は、粒子の存在、数、場所、識別、サイズ、形状（例えば、伸長または真円度）、色、蛍光性、コントラスト、吸光度、反射率、または他の特性、あるいはこれらの特性のうちの２、３、４、５、６、７、８、９、１０、１１、１２個以上の組み合わせを検出する、特徴付ける、差別化する、区別する、または識別するステップを含むと理解されるものである。例証的実施形態では、本装置は、流体中の粒子の軌道を表す時系列データを取得するように撮像装置を含む。撮像装置に動作可能に連結されるメモリは、時系列データを記憶し、メモリに動作可能に連結されるプロセッサは、粒子を検出および／または識別する。より具体的には、プロセッサは、逆時系列データを形成するように時系列データの時間順序を逆転し、逆時系列データから粒子の軌道を推定し、軌道に基づいて粒子の存在または種類を判定する。本明細書で定義されるように、逆時系列データは、最後に起こった事象が最初に現れるように（および逆も同様に）、逆発生順に配列されている時系列のフレームを含む。

【0004】

さらなる実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法および対応するコンピュータプログラム製品を含む。本方法を実装することは、例えば、コンピュータプログラム製品の不揮発性メモリの中で符号化される命令を実行するプロセッサを用いて、逆時系列データを形成するように流体中の粒子の軌道を表す時系列データの時間順序を逆転することを伴う。本方法はさらに、逆時系列データから粒子の軌道を推定し、次いで、軌道に基づいて粒子を検出および／または識別するステップを含む。

【0005】

別の実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、
（ａ） 異なる視点から粒子を撮像するように位置付けられる、少なくとも２つの撮像装置であって、各撮像装置は、流体中の粒子の１つ以上の２次元画像を取得するように構成される、撮像装置と、
（ｂ） 撮像装置に動作可能に連結され、時系列データを記憶するように構成される、メモリと、
（ｃ） メモリに動作可能に連結され、
（ｉ） 容器の中の粒子の位置を示す３次元データを判定するように、少なくとも３つの撮像装置からの２次元画像を組み合わせることと、
（ｉｉ）３次元データに少なくとも部分的に基づいて、粒子を検出することと、
によって、粒子を検出するように構成される、プロセッサと、
を伴う、装置である。

【0006】

また、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、
（ａ） それぞれ、流体中の粒子の各１つ以上の２次元画像を取得するように、異なる視点から粒子を撮像するために少なくとも２つの撮像装置を使用するステップと、
（ｂ） 容器の中の粒子の位置を示す３次元データを判定するように、少なくとも２つの撮像装置からの２次元画像を組み合わせるステップと、
（ｃ） ３次元データに少なくとも部分的に基づいて、粒子を検出するステップと、
を含む、方法も包含される。

【0007】

本発明の他の実施形態は、少なくとも部分的に流体で充填される容器の中の（１つ以上の）透明または反射物体（例えば、ガラス層板）の非破壊的検出のための装置、方法、およびコンピュータプログラム製品を含む。撮像装置は、時間の関数として容器の中の複数の空間的位置から反射される光を表すデータを取得し、撮像装置に動作可能に連結されるメモリの中にデータを記憶する。メモリに動作可能に連結されるプロセッサは、データによって表される複数の位置の中の各位置に対する各最大量の反射光を識別することによって、データに基づいて、おそらく、コンピュータプログラム製品の中で符号化される命令に応答して、物体（例えば、ガラス層板）を検出する。次いで、プロセッサは、各最大量の反射光が所定の値を超える、空間的位置の数に基づいて、容器の中の物体（例えば、ガラス層板）の存在または非存在を判定する。

【0008】

本発明の別の実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的計数およびサイズ決定の方法である。本方法は、
（ａ） 特定撮像条件下で得られる容器の中の粒子の少なくとも１つの画像を受信するステップと、
（ｂ） 少なくとも１つの画像に基づいて、粒子を検出し、画像の中の検出された粒子の見掛けのサイズを示す情報を判定するステップと、
（ｃ） 検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定するステップと、
（ｄ）
（ｉ）見掛けの粒径集団情報と、
（ｉｉ）特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と、
に基づいて、検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定するステップと、
を伴う。

【0009】

本発明の別の実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子を数え、サイズ決定するための装置であって、本装置は、
（ａ） 特定撮像条件下で得られる容器の中の粒子の少なくとも１つの画像を受信し、
（ｂ） 少なくとも１つの画像に基づいて、粒子を検出し、画像の中の検出された粒子の見掛けのサイズを示す情報を判定し、
（ｃ） 検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定し、
（ｄ）
（ｉ）見掛けの粒径集団情報と、
（ｉｉ）特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と、
に基づいて、検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定するように構成される、
少なくとも１つのプロセッサを含む、装置である。

【0010】

本発明のさらなる実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的計数およびサイズ決定のためのコンピュータプログラム製品であって、プロセッサによって実行されたときに、プロセッサに、
（ａ） 特定撮像条件下で得られる容器の中の粒子の少なくとも１つの画像を受信させ、（ｂ） 少なくとも１つの画像に基づいて、粒子を検出し、画像の中の検出された粒子の見掛けのサイズを示す情報を判定させ、
（ｃ） 検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定させ、（ｄ）
（ｉ）見掛けの粒径集団情報と、
（ｉｉ）特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と、
に基づいて、検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定させる、
不揮発性機械可読命令を備える、コンピュータプログラム製品である。

【0011】

本発明のさらなる実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、
（ａ） 粒子を撮像するために少なくとも１つの撮像装置を使用するステップと、
（ｂ） 容器の中の粒子の位置を示す位置データを判定するように、画像を処理するステップと、
（ｃ） 位置データに少なくとも部分的に基づいて粒子を検出するステップであって、位置データに少なくとも部分的に基づいて粒子を検出するステップは、容器の下位領域中の粒子の存在を識別するステップを含む、ステップと、
（ｄ） 粒子が容器の下位領域中に位置するときに、粒子の特性を判定するためにセンサを使用するステップと、
（ｅ） 判定された特性を示す粒子特性データを生成するステップと、
（ｆ） 粒子特性データを、粒子を識別するデータと関連付けるステップと、
を含む、方法である。

【0012】

本発明のさらなる実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、
（ａ） 粒子を撮像するように位置付けられる、少なくとも１つの撮像装置と、
（ｂ） 粒子が容器の下位領域中に位置するときに、粒子の特性を判定するように構成される、少なくとも１つのセンサと、
（ｂ） 各少なくとも１つの撮像装置およびセンサに動作可能に連結され、
容器の中の粒子の位置を示す位置データを判定するように、画像を処理し、
位置データに少なくとも部分的に基づいて粒子を検出し、容器の下位領域中の粒子の存在を識別し、
粒子が容器の下位領域中に位置するときに、粒子の特性を判定するために、センサからの信号を使用し、
判定された特性を示す粒子特性データを生成し、
粒子特性データを、粒子を識別するデータと関連付けるように構成される、
少なくとも１つのプロセッサと、
を含む、装置である。

【0013】

本発明の別の実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であり、容器は、縦軸の周囲に配置される透明な管状容器壁を含み、装置は、流体中の粒子の１つ以上の画像を取得するように構成される、撮像装置であって、粒子をセンサ上に撮像するように位置付けられる、少なくとも１つの撮像光学要素を含む、撮像装置と、容器を通過し、かつ容器の縦軸に対して実質的に直角な面内で少なくとも部分的に位置付けられる、照明源であって、容器壁の表面から反射または屈折し、少なくとも１つの光学要素によってセンサ上に撮像される、照明源から発せられる光線の存在を実質的に排除するように配列される、照明源とを含む。

【0014】

本発明の別の実施形態は、少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であり、容器は、縦軸の周囲に配置される透明な管状容器壁を備え、本方法は、流体中の粒子の１つ以上の画像を取得するために撮像装置を使用するステップであって、撮像装置は、粒子をセンサ上に撮像するように位置付けられる、少なくとも１つの撮像光学要素を備える、ステップと、容器を通過し、かつ容器の縦軸に対して実質的に直角な面内で少なくとも部分的に位置付けられる、照明源を用いて、容器を照射するステップであって、照明源は、容器壁の表面から反射または屈折し、少なくとも１つの光学要素によってセンサ上に撮像される、照明源から発せられる光線の存在を実質的に排除するように配列される、ステップとを含む。

【0015】

他の粒子検出システムおよび技法と異なり、本発明のシステムおよび技法は、非破壊的に動作し、容器の中の粒子を検出し、数え、識別するために容器から流体を除去する必要がない。結果として、発明のシステムおよび技法は、長期間、例えば、数分、数時間、数日、数ヶ月、または数年にわたって、粒子、流体、および容器の変化、およびそれらの間の相互作用を研究するために使用することができる。加えて、発明のシステムおよび技法は、容器の中の小さいタンパク質凝集体等のさらに繊細な粒子の破壊を必ずしも伴わない、またはもたらさない。それらはまた、時系列データ、すなわち、移動流体中の粒子の軌道を表すデータも捕捉する。本発明のシステムは、容器の単一フレームスナップショットの代わりに時系列データを使用するため、容器の中の粒子の数および粒径をより正確に推定することができる。それらはまた、粒子の運動から、粒子の形態および粒子の組成等の各粒子についてより多くの情報を導出することもできる。例えば、落下粒子は、上昇粒子よりも濃密になる傾向がある。

【0016】

先述の概要は、例証的にすぎず、いかようにも限定的となることを目的としていない。上記で説明される例証的側面、実施形態、および特徴に加えて、以下の図面および発明を実施するための形態を参照することにより、さらなる側面、実施形態、および特徴が明白となるであろう。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、
（ａ）前記流体中の前記粒子の軌道を表す時系列データを取得するように構成される、撮像装置と、
（ｂ）前記撮像装置に動作可能に連結され、前記時系列データを記憶するように構成される、メモリと、
（ｃ）前記メモリに動作可能に連結されたプロセッサであって、
（ｉ）逆時系列データを形成するように前記時系列データの時間順序を逆転することと、
（ｉｉ）前記逆時系列データから前記粒子の前記軌道を推定することと、
（ｉｉｉ）前記軌道に基づいて前記粒子の存在または種類を判定することと
によって、前記粒子を検出するように構成される、プロセッサと
を備える、装置。
（項目２）
前記粒子は、約１μｍ〜約４００μｍの最小幅を有する、項目１に記載の装置。
（項目３）
前記粒子は、約７５〜約１００μｍの最小幅を有する、項目１に記載の装置。
（項目４）
前記粒子は、約１μｍ以上の最小幅を有する、項目１に記載の装置。
（項目５）
前記粒子は、タンパク質凝集体を含む、項目１に記載の装置。
（項目６）
前記撮像装置は、前記粒子の画像をセンサ上に投影するようにテレセントリックレンズを備える、項目１に記載の装置。
（項目７）
前記撮像装置は、可変焦点距離を伴うレンズを備える、項目１に記載の装置。
（項目８）
前記撮像装置は、
前記粒子の画像を検出するように構成されるセンサと、
前記センサを冷却するための冷却デバイスと
を備える、項目１に記載の装置。
（項目９）
前記撮像装置は、
前記粒子の画像を検出するように構成されるセンサと、
前記粒子と前記センサとの間に配置され、前記容器の湾曲によって引き起こされる前記粒子の前記画像のひずみを補償するように構成される、補正光学要素と
を備える、項目１に記載の装置。
（項目１０）
前記補正光学要素は、第１の曲率半径を伴う第１の円柱面、および第２の曲率半径を有する第２の円柱面を有する、屈折性材料を含む、レンズを備える、項目８に記載の装置。
（項目１１）
前記第１および第２の曲率半径は、異なる、項目１０に記載の装置。
（項目１２）
前記撮像装置はさらに、前記センサと前記容器との間に配置されるテレセントリックレンズを備え、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記画像の拡大を実質的に補正する、項目８に記載の装置。
（項目１３）
前記撮像装置は、
前記粒子の画像を検出するように構成されるセンサと、
それぞれが、前記容器と前記センサとの間に選択的に配置され、前記容器の湾曲によって引き起こされる前記時系列データのひずみを補償するように構成され得る、複数の補正光学要素と
を備える、項目１に記載の装置。
（項目１４）
前記撮像装置は、
第１の解像度および第１の撮像速度で前記流体の少なくとも一部の第１の画像を検出するように構成される、第１のセンサと、
前記第１の解像度よりも微細な第２の解像度および前記第１の撮像速度よりも遅い第２の撮像速度で前記流体の少なくとも一部の第１の画像を検出するように構成される、第２のセンサと
を備える、項目１に記載の装置。
（項目１５）
前記撮像装置は、
第１の倍率で前記流体の少なくとも一部の第１の画像を検出するように構成される、第１のセンサと、
前記第１の倍率よりも大きい第２の倍率で前記流体の少なくとも一部の第２の画像を検出するように構成される、第２のセンサと
を備える、項目１に記載の装置。
（項目１６）
前記撮像装置は、前記容器の円周の周囲に配置される複数のセンサを備える、項目１に記載の装置。
（項目１７）
前記撮像装置は、前記粒子によって透過、散乱、または反射される光を偏光するように構成される、偏光子を備える、項目１に記載の装置。
（項目１８）
前記プロセッサはさらに、前記時系列データまたは前記逆時系列データから静止特徴を差し引くように構成される、項目１に記載の装置。
（項目１９）
前記プロセッサはさらに、前記時系列データまたは逆時系列データを閾値化するように構成される、項目１に記載の装置。
（項目２０）
前記プロセッサはさらに、
（１）前記逆時系列データの第１のフレームの中の前記粒子の質量中心を表す、第１の値の場所を特定することと、
（２）前記第１の値の場所に基づいて、前記逆時系列データの第２のフレームの所定の部分の中の前記粒子の前記質量中心を表す、第２の値を検索することと、
（３）前記第１および第２の値と関連付けられる座標間の差異に基づいて、前記粒子の変位を判定することと
によって、前記粒子の前記軌道を推定するように構成される、
項目１に記載の装置。
（項目２１）
前記プロセッサはさらに、前記第１の値から導出される粒子速度または粒子加速度に基づいて、前記第２のフレームの前記所定の部分を判定するように構成される、項目１９に記載の装置。
（項目２２）
前記プロセッサはさらに、前記粒子の速度ベクトル、速度、または座標、あるいはそれらの組み合わせに少なくとも部分的に基づいて、前記粒子を識別するように構成される、項目１に記載の装置。
（項目２３）
前記プロセッサはさらに、時間の関数としての前記粒子の反射性の変化に少なくとも部分的に基づいて、前記粒子を識別するように構成される、項目１に記載の装置。
（項目２４）
前記プロセッサはさらに、前記時系列データに基づいて、前記粒子のサイズ、伸長、真円度、輝度、色、反射率、吸光度、蛍光性、コントラスト、または形状、あるいはこれらのうちのいずれかの組み合わせを判定するように構成される、項目１に記載の装置。
（項目２５）
前記プロセッサはさらに、前記粒子の前記サイズ、伸長、真円度、輝度、または形状、あるいはそれらの組み合わせに少なくとも部分的に基づいて、前記粒子を識別するように構成される、項目２４に記載の装置。
（項目２６）
前記プロセッサはさらに、
それぞれ、１つ以上の粒子の第１および第２の計数を生じるように、前記時系列データの少なくとも２つのフレームの中の前記流体中の前記１つ以上の粒子を表す値を数えることと、
前記第１および第２の計数間の差異に基づいて、前記粒子が別の粒子と閉塞または衝突していることを判定することと
を行うように構成される、項目１に記載の装置。
（項目２７）
前記プロセッサはさらに、
前記時系列データまたは逆時系列データに基づいて、前記容器の中の前記流体のメニスカスを検出することと、
前記メニスカスが安定した位置にある時間を判定することと、
前記メニスカスが安定した位置にある前記時間に基づいて、前記軌道を推定するための前記逆時系列データの始点を選択することと
を行うように構成される、項目１に記載の装置。
（項目２８）
前記プロセッサはさらに、
前記時系列データまたは逆時系列データに基づいて、前記粒子の速度が所定の速度に等しいときを判定することと、
前記所定の速度に対する前記粒子の前記速度に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択することと
を行うように構成される、項目２７に記載の装置。
（項目２９）
前記粒子は、前記流体中の渦の中に懸濁され、前記プロセッサはさらに、
前記時系列データまたは逆時系列データに基づいて、前記渦の崩壊を検出することと、
前記渦の前記崩壊に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択することと
を行うように構成される、項目２７に記載の装置。
（項目３０）
前記プロセッサはさらに、
前記容器および前記容器の撹拌に基づいて、前記軌道を推定するための前記逆時系列データの始点を選択することと、
前記容器および前記容器の撹拌に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択することと
を行うように構成される、項目１に記載の装置。
（項目３１）
前記流体の少なくとも一部分を照射するように構成される、放射源をさらに備える、項目１に記載の装置。
（項目３２）
前記放射源は、前記容器の縦軸の周囲で前記撮像装置を周回させることによって画定される面に対する角度で、前記粒子を照射するように配置される、項目３１に記載の装置。
（項目３３）
前記放射源はさらに、前記撮像装置による前記時系列データの取得と同期して、前記粒子を照射するように構成される、項目３１に記載の装置。
（項目３４）
前記放射源はさらに、前記粒子に蛍光波長で蛍光を出させる励起波長で、前記粒子を照射するように構成され、
前記撮像装置はさらに、前記蛍光波長での放射を検出するように構成される、
項目３１に記載の装置。
（項目３５）
前記流体中に前記粒子を懸濁させるように構成される、撹拌器をさらに備える、項目１に記載の装置。
（項目３６）
前記撹拌器はさらに、その縦軸の周囲で前記容器を回転させるように構成される、項目３５に記載の装置。
（項目３７）
前記撹拌器はさらに、その縦軸と垂直な軸の周囲で前記容器を回転させるように構成される、項目３５に記載の装置。
（項目３８）
前記撹拌器はさらに、前記容器を反転させるように構成される、項目３５に記載の装置。
（項目３９）
前記撹拌器はさらに、前記容器を振動または震盪させるように構成される、項目３５に記載の装置。
（項目４０）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出の方法であって、
（ａ）逆時系列データを形成するように、前記流体中の前記粒子の軌道を表す時系列データの時間順序を逆転するステップと、
（ｂ）前記逆時系列データから前記粒子の前記軌道を推定するステップと、
（ｃ）前記軌道に基づいて前記粒子を検出または識別するステップと、
を含む、方法。
（項目４１）
前記粒子は、約１μｍ〜約４００μｍの最小幅を有する、項目４０に記載の方法。
（項目４２）
前記粒子は、約７５〜約１５０μｍの最小幅を有する、項目４０に記載の方法。
（項目４３）
前記粒子は、約１μｍ以上の最小幅を有する、項目４０に記載の方法。
（項目４４）
前記粒子は、タンパク質凝集体を含む、項目４０に記載の方法。
（項目４５）
前記粒子の前記軌道を推定するステップは、前記時系列データまたは前記逆時系列データから背景データを差し引くステップを含む、項目４０に記載の方法。
（項目４６）
前記粒子の前記軌道を推定するステップは、前記時系列データまたは前記逆時系列データを閾値化するステップを含む、項目４０に記載の方法。
（項目４７）
前記粒子の前記軌道を推定するステップは、
前記逆時系列データの第１のフレームの中の前記粒子の質量中心を表す、第１の値の場所を特定するステップと、
（２）前記第１の値の場所に基づいて、前記逆時系列データの第２のフレームの所定の部分の中の前記粒子の前記質量中心を表す、第２の値を検索するステップと、
（３）前記第１および第２の値と関連付けられる座標間の差異に基づいて、前記粒子の変位を判定するステップと、
を含む、項目４０に記載の方法。
（項目４８）
少なくとも部分的に前記第１の値から導出される粒子速度または粒子加速度に少なくとも部分的に基づいて、前記第２のフレームの前記所定の部分を判定するステップをさらに含む、項目４７に記載の方法。
（項目４９）
前記粒子を識別するステップは、前記粒子の速度ベクトル、速度、状態、または座標、あるいはそれらの組み合わせに少なくとも部分的に基づいて、前記粒子を分類するステップを含む、項目４０に記載の方法。
（項目５０）
前記粒子を識別するステップは、時間の関数としての前記粒子の反射性の変化に少なくとも部分的に基づいて、前記粒子を分類するステップを含む、項目４０に記載の方法。
（項目５１）
前記粒子のサイズ、伸長、真円度、輝度、形状、色、蛍光性、コントラスト、反射率、または吸光度、あるいはこれらのうちのいずれかの組み合わせを判定するステップをさらに含む、項目４０に記載の方法。
（項目５２）
前記粒子を識別するステップは、前記粒子の前記サイズ、伸長、輝度、または形状に少なくとも部分的に基づいて、前記粒子を分類するステップを含む、項目５１に記載の方法。
（項目５３）
それぞれ、１つ以上の粒子の第１および第２の計数を生じるように、前記時系列データの少なくとも２つのフレームの中の前記流体中の前記１つ以上の粒子を表す値を数えるステップと、
前記第１および第２の計数間の差異に基づいて、前記粒子が流体中の別の粒子と閉塞または衝突していることを判定するステップと
をさらに含む、項目４０に記載の方法。
（項目５４）
前記時系列データまたは前記逆時系列データに基づいて、前記容器の中の前記流体のメニスカスを検出するステップと、
前記メニスカスが安定した位置にある時間を判定するステップと、
前記メニスカスの安定性に基づいて、前記軌道を推定するための前記逆時系列データの始点を選択するステップと
をさらに含む、項目４０に記載の方法。
（項目５５）
前記時系列データまたは前記逆時系列データに基づいて、前記粒子の速度が所定の速度に等しいときを判定するステップと、
前記所定の速度に対する前記粒子の前記速度に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択するステップと
をさらに含む、項目４０に記載の方法。
（項目５６）
前記粒子は、前記流体中の渦の中に懸濁され、
前記時系列データまたは前記逆時系列データに基づいて、前記渦の崩壊を検出するステップと、
前記渦の前記崩壊に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択するステップと
をさらに含む、項目４０に記載の方法。
（項目５７）
前記容器および前記容器の撹拌に基づいて、前記軌道を推定するための前記逆時系列データの始点を選択するステップと、
前記容器および前記容器の撹拌に基づいて、前記軌道を推定するための前記逆時系列データの停止点を選択するステップと
をさらに含む、項目４０に記載の方法。
（項目５８）
前記粒子を前記流体中で懸濁させるステップをさらに含む、項目４０に記載の方法。
（項目５９）
前記粒子を懸濁させるステップは、その縦軸の周囲で前記容器を回転させるステップを含む、項目５８に記載の方法。
（項目６０）
前記粒子を懸濁させるステップは、その縦軸と垂直な軸の周囲で前記容器を回転させるステップを含む、項目５８に記載の方法。
（項目６１）
前記粒子を懸濁させるステップは、前記容器を反転させるステップを含む、項目５８に記載の方法。
（項目６２）
前記粒子を懸濁させるステップは、前記容器を震盪または振動させるステップを含む、項目５８に記載の方法。
（項目６３）
前記粒子を照射するステップをさらに含む、項目４０に記載の方法。
（項目６４）
前記粒子を照射するステップは、前記時系列データの取得と同期して、前記照射をトリガするステップを含む、項目６３に記載の方法。
（項目６５）
さらに、前記粒子を撮像するステップは、センサを用いて放射線を感知するステップを含み、
前記粒子を照射するステップは、前記容器の縦軸の周囲で前記センサを周回させることによって画定される面に対する角度で、前記粒子を照射するステップを含む、
項目６３に記載の方法。
（項目６６）
前記時系列データを提供するように、異なる時点で前記粒子を撮像するステップをさらに含む、項目４０に記載の方法。
（項目６７）
前記粒子を撮像するステップは、テレセントリックレンズを用いて前記粒子の画像をセンサ上に投影するステップを含む、項目６６に記載の方法。
（項目６８）
前記センサを冷却するステップをさらに含む、項目６７に記載の方法。
（項目６９）
前記粒子を撮像するステップは、前記テレセントリックレンズおよび補正光学要素を用いて前記粒子の画像をセンサ上に投影するステップを含み、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記画像のひずみを実質的に補正する、項目６７に記載の方法。
（項目７０）
前記粒子を撮像するステップは、
それぞれが、前記容器と前記センサとの間に選択的に配置され得る、複数の補正光学要素を提供するステップと、
前記複数の補正光学要素のうちの１つを選択するステップと、
前記テレセントリックレンズおよび前記補正光学要素のうちの前記選択された１つを用いて、前記粒子の画像をセンサ上に投影するステップであって、光学要素は、前記容器の湾曲によって引き起こされる前記時系列データの拡大ひずみを実質的に補正する、ステップと
を含む、項目６７に記載の方法。
（項目７１）
前記粒子を撮像するステップは、
第１の解像度および第１の撮像速度を有する第１の検出器を用いて、前記粒子を感知するステップと、
前記第１の解像度よりも微細な第２の解像度および前記第１の撮像速度よりも遅い第２の撮像速度を有する、第２の検出器を用いて、前記粒子を感知するステップと
を含む、項目６６に記載の方法。
（項目７２）
前記粒子に蛍光波長で蛍光を出させるステップをさらに含み、
前記粒子を撮像するステップは、前記蛍光波長での光を感知するステップを含む、
項目６６に記載の方法。
（項目７３）
前記粒子によって透過、散乱、または反射される光を偏光するステップをさらに含む、項目６６に記載の方法。
（項目７４）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、不揮発性機械可読命令を備え、前記不揮発性機械可読命令は、プロセッサによって実行されたときに、前記プロセッサに、
（ａ）逆時系列データを形成するように前記流体中の前記粒子の軌道を表す時系列データの時間順序を逆転することと、
（ｂ）前記逆時系列データから前記粒子の前記軌道を推定することと、
（ｃ）前記軌道に基づいて前記粒子を検出または識別することと
を行わせる、コンピュータプログラム製品。
（項目７５）
少なくとも部分的に流体で充填される容器の中の１つ以上の透明または反射物体の非破壊的検出のための装置であって、
（ａ）時間の関数として前記容器の中の複数の空間的位置から反射される光を表すデータを取得するように構成される、撮像装置と、
（ｂ）前記撮像装置に動作可能に連結され、前記データを記憶するように構成される、メモリと、
（ｃ）前記メモリに動作可能に連結されたプロセッサであって、
（ｉ）前記複数の位置の中の各位置に対する各最大量の反射光を識別することと、
（ｉｉ）各最大量の反射光が所定の値を超える、空間的位置の数に基づいて、前記容器の中の前記物体の存在または非存在を判定することと、
によって、前記データに基づいて前記物体を検出するように構成される、プロセッサと
を備える、装置。
（項目７６）
前記容器は、底部を有し、さらに、
前記容器の前記底部を照射するように構成される光源を備える、
項目７５に記載の装置。
（項目７７）
前記容器は、タンパク質凝集体を含有し、前記プロセッサはさらに、前記データに基づいて、前記物体と前記タンパク質凝集体を区別するように構成される、項目７５に記載の装置。
（項目７８）
前記プロセッサはさらに、前記物体の平均サイズ、前記物体のサイズ分布、および前記物体の数のうちの少なくとも１つを推定するように構成される、項目７５に記載の装置。
（項目７９）
前記プロセッサはさらに、時間の関数としての反射光の量の変動に基づいて、前記物体と他の種類の粒子を区別するように構成される、項目７５に記載の装置。
（項目８０）
前記プロセッサはさらに、前記データおよび前記容器を通して透過される光を表す付加的なデータを使用して、前記容器の中の少なくとも１つの他の種類の粒子を識別するように構成される、項目７９に記載の装置。
（項目８１）
前記物体は、ガラス層板を備える、項目７５に記載の装置。
（項目８２）
少なくとも部分的に流体で充填される容器の中の透明または反射物体の非破壊的検出の方法であって、
（ａ）時間の関数として複数の空間的位置から反射される光を表すデータに基づいて、前記容器の中の前記複数の場所の中の各場所に対する各最大量の反射光を識別するステップと、
（ｂ）各最大量の反射光が所定の値を超える、空間的位置の数に基づいて、前記容器の中の前記物体の存在または非存在を判定するステップと
を含む、方法。
（項目８３）
前記容器は、底部を有し、さらに、
前記容器の前記底部を照射するステップと、
前記複数の空間的位置から反射される光を表す前記データを取得するステップと
を含む、項目８２に記載の方法。
（項目８４）
前記容器は、タンパク質凝集体を含有し、さらに、
前記データに基づいて、前記物体と前記タンパク質凝集体を区別するステップを含む、
項目８２に記載の方法。
（項目８５）
前記物体の平均サイズ、前記物体のサイズ分布、および前記物体の数のうちの少なくとも１つを推定するステップをさらに含む、項目８２に記載の方法。
（項目８６）
時間の関数としての反射光の量の変動に基づいて、前記物体と別の種類の粒子を区別するステップをさらに含む、項目８２に記載の方法。
（項目８７）
前記データおよび前記容器を通して透過される光を表す付加的なデータを使用して、前記容器の中の少なくとも１つの他の種類の粒子を識別するステップをさらに含む、項目８２に記載の方法。
（項目８８）
前記物体は、ガラス層板を備える、項目８２に記載の方法。
（項目８９）
少なくとも部分的に流体で充填される容器の中の透明または反射物体の非破壊的検出のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、不揮発性機械可読命令を備え、前記不揮発性機械可読命令は、プロセッサによって実行されたときに、前記プロセッサに、
（ａ）時間の関数として複数の空間的位置から反射される光を表すデータに基づいて、前記容器の中の前記複数の場所の中の各場所に対する各最大量の反射光を識別することと、
（ｂ）各最大量の反射光が所定の値を超える、空間的位置の数に基づいて、前記容器の中の前記物体の存在または非存在を判定することと
を行わせる、コンピュータプログラム製品。
（項目９０）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的計数およびサイズ決定の方法であって、
（ａ）特定撮像条件下で得られる前記容器の中の前記粒子の少なくとも１つの画像を受信するステップと、
（ｂ）前記少なくとも１つの画像に基づいて、前記粒子を検出し、前記画像の中の前記検出された粒子の見掛けのサイズを示す情報を判定するステップと、
（ｃ）前記検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定するステップと、
（ｄ）前記検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定するステップであって、前記実際の粒径集団情報を判定するステップは、
（ｉ）前記見掛けの粒径集団情報と、
（ｉｉ）前記特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と
に基づいている、ステップと
を含む、方法。
（項目９１）
ステップ（ｄ）は、複数組の標準サイズの粒子の見掛けのサイズ分布の重ね合わせを、前記検出された粒子の前記見掛けの粒径集団と適合させるステップを含む、項目９０に記載の方法。
（項目９２）
前記複数組の標準サイズの粒子は、異なる各標準サイズをそれぞれ有する、少なくとも４組を備える、項目９１に記載の方法。
（項目９３）
前記少なくとも４組の標準サイズの粒子のうちのそれぞれ１つの各サイズは、前記少なくとも４組の標準サイズの粒子のうちの他の粒子のそれぞれの各サイズから少なくとも１μｍだけ異なる、項目９２に記載の方法。
（項目９４）
前記複数組の標準サイズの粒子の条件の見掛けのサイズ分布の前記重ね合わせを、前記検出された粒子の前記見掛けの粒径集団と適合させるステップは、前記複数組の標準サイズの粒子に対する前記見掛けのサイズ分布の加重を調整することによって、前記重ね合わせと前記検出された粒子の前記見掛けの粒径集団との間の差異を最小限化するステップを含む、項目９１に記載の方法。
（項目９５）
（ｃ）および（ｄ）の前に、前記粒子の前記見掛けのサイズに基づいて数えるために第１組の粒子を選択するように、前記少なくとも１つの画像を前処理するステップを含み、（ｃ）および（ｄ）は、前記第１組の粒子のみに適用される、項目９０に記載の方法。
（項目９６）
前記第１組の粒子の中の前記粒子は、見掛けのサイズの閾値に基づいて選択される、項目９５に記載の方法。
（項目９７）
前記少なくとも１つの画像は、時系列の画像を備え、
前記時系列の画像に基づいて第２組の粒子の軌道を判定することによって、前記第１組とは異なる第２組の粒子のうちの粒子を検出するか、または数えるステップを含む、
項目９６に記載の方法。
（項目９８）
少なくとも部分的に流体で充填される容器の中の非溶解粒子を数え、サイズ決定するための装置であって、前記装置は、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、
（ａ）特定撮像条件下で得られる前記容器の中の前記粒子の少なくとも１つの画像を受信することと、
（ｂ）前記少なくとも１つの画像に基づいて、前記粒子を検出し、前記画像の中の前記検出された粒子の見掛けのサイズを示す情報を判定することと、
（ｃ）前記検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定することと、
（ｄ）前記検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定することであって、前記実際の粒径集団情報を判定することは、
（ｉ）前記見掛けの粒径集団情報と、
（ｉｉ）前記特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と
に基づいている、ことと
を行うように構成される、装置。
（項目９９）
前記プロセッサは、撮像される複数組の標準サイズの粒子の見掛けのサイズ分布の重ね合わせを、前記検出された粒子の前記見掛けの粒径集団と適合させるように構成される、項目９８に記載の装置。
（項目１００）
前記複数組の標準サイズの粒子は、異なる各標準サイズをそれぞれ有する、少なくとも４組を備える、項目９９に記載の装置。
（項目１０１）
前記少なくとも４組の標準サイズの粒子のうちのそれぞれ１つの各サイズは、前記少なくとも４組の標準サイズの粒子のうちの他の粒子のそれぞれの各サイズから少なくとも１μｍだけ異なる、項目１００に記載の装置。
（項目１０２）
前記プロセッサは、前記複数組の標準サイズの粒子に対する見掛けのサイズ分布の加重を調整することによって、前記重ね合わせと前記検出された粒子の前記見掛けの粒径集団との間の差異を最小限化することにより、前記複数組の標準サイズの粒子の見掛けのサイズ分布の前記重ね合わせを、前記検出された粒子の前記見掛けの粒径集団と適合させるように構成される、項目９８に記載の装置。
（項目１０３）
前記プロセッサは、前記少なくとも１つの画像を前処理して、前記粒子の前記見掛けのサイズに基づいて数えるための第１組の粒子を選択するように構成され、（ｃ）および（ｄ）は、前記第１組の粒子のみに適用される、項目９８に記載の装置。
（項目１０４）
前記第１組の粒子の中の前記粒子は、見掛けのサイズの閾値に基づいて選択される、項目１０３に記載の装置。
（項目１０５）
前記少なくとも１つの画像は、時系列の画像を備え、前記プロセッサは、前記時系列の画像に基づいて第２組の粒子の軌道を判定することによって、前記第１組とは異なる前記第２組の粒子のうちの粒子を検出するか、または数えるように構成される、項目１０４に記載の装置。
（項目１０６）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的計数およびサイズ決定のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、不揮発性機械可読命令を備え、前記不揮発性機械可読命令は、プロセッサによって実行されたときに、前記プロセッサに、
（ａ）特定撮像条件下で得られる前記容器の中の前記粒子の少なくとも１つの画像を受信することと、
（ｂ）前記少なくとも１つの画像に基づいて、前記粒子を検出し、前記画像の中の前記検出された粒子の見掛けのサイズを示す情報を判定することと、
（ｃ）前記検出された粒子の見掛けの粒径分布を示す、見掛けの粒径集団情報を判定することと、
（ｄ）前記検出された粒子の実際の粒径分布を示す、実際の粒径集団情報を判定することであって、前記実際の粒径集団情報を判定することは、
（ｉ）前記見掛けの粒径集団情報と、
（ｉｉ）前記特定撮像条件に対応する条件下で撮像される１組以上の標準サイズの粒子の見掛けのサイズ分布を示す、較正集団情報と
に基づいている、ことと
を行わせる、コンピュータプログラム製品
（項目１０７）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、
（ａ）異なる視点から前記粒子を撮像するように位置付けられる、少なくとも２つの撮像装置であって、各撮像装置は、前記流体中の前記粒子の１つ以上の２次元画像を取得するように構成される、撮像装置と、
（ｂ）前記撮像装置に動作可能に連結され、時系列データを記憶するように構成される、メモリと、
（ｃ）前記メモリに動作可能に連結されたプロセッサであって、
（ｉ）前記容器の中の前記粒子の位置を示す３次元データを判定するように、少なくとも３つの撮像装置からの前記２次元画像を組み合わせることと、
（ｉｉ）前記３次元データに少なくとも部分的に基づいて、前記粒子を検出することと、
によって、前記粒子を検出するように構成される、プロセッサと、
を備える、装置。
（項目１０８）
前記プロセッサはさらに、
前記３次元データに基づいて候補粒子を識別し、
前記撮像装置のうちの少なくとも１つからの２次元画像データに基づいて、前記粒子のサイズまたは形状情報を判定するように構成される、
項目１０７に記載の装置。
（項目１０９）
前記プロセッサはさらに、前記３次元データ、および前記容器によって引き起こされる位置依存性光学的ひずみを示すデータに基づいて、前記粒子の前記判定されたサイズまたは形状情報を補正するように構成される、項目１０８に記載の装置。
（項目１１０）
前記３次元軌道データは、前記撮像装置のうちの少なくとも３つによって撮像されていない前記容器の領域に対応する、少なくとも１つの盲点領域を備え、前記プロセッサは、
前記盲点領域の最も近くに位置する前記撮像装置からの前記粒子の時系列の２次元画像に少なくとも部分的に基づいて、前記盲点領域中の前記粒子の経路を示す盲点軌道情報を判定するように構成される、
項目１０７に記載の装置。
（項目１１１）
前記少なくとも２つの撮像装置は、少なくとも３つの撮像装置を備える、項目１０７に記載の装置。
（項目１１２）
前記少なくとも２つの撮像装置のそれぞれは、
前記粒子の画像を検出するように構成されるセンサと、
前記粒子と前記センサとの間に配置され、前記容器の湾曲によって引き起こされる前記時系列データのひずみを補償するように構成される、補正光学要素と
を備える、項目１０７に記載の装置。
（項目１１３）
前記撮像装置のそれぞれはさらに、前記センサと前記容器との間に配置されるテレセントリックレンズを備え、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記時系列データの拡大ひずみを実質的に補正する、項目１１２に記載の装置。
（項目１１４）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、
（ａ）それぞれ、前記流体中の前記粒子の各１つ以上の２次元画像を取得するように、異なる視点から前記粒子を撮像するために少なくとも２つの撮像装置を使用するステップと、
（ｂ）前記容器の中の前記粒子の位置を示す３次元データを判定するように、前記少なくとも２つの撮像装置からの前記２次元画像を組み合わせるステップと、
（ｃ）前記３次元データに少なくとも部分的に基づいて、前記粒子を検出するステップと
を含む、方法。
（項目１１５）
前記３次元データに基づいて候補粒子を識別するステップと、
前記撮像装置のうちの少なくとも１つからの前記２次元画像に基づいて、前記粒子のサイズまたは形状情報を判定するステップと
をさらに含む、項目１１４に記載の方法。
（項目１１６）
前記３次元データ、および前記容器によって引き起こされる位置依存性光学的ひずみを示すデータに基づいて、前記粒子の前記判定されたサイズまたは形状情報を補正するステップを含む、項目１１５に記載の方法。
（項目１１７）
前記３次元軌道データは、少なくとも３つの撮像装置によって撮像されていない前記容器の領域に対応する、少なくとも１つの盲点領域を備え、
前記盲点領域の最も近くに位置する前記撮像装置からの前記粒子の時系列の２次元画像に少なくとも部分的に基づいて、前記盲点領域中の前記粒子の経路を示す盲点軌道情報を判定するステップを含む、
項目１１４に記載の方法。
（項目１１８）
前記少なくとも２つの撮像装置は、少なくとも３つの撮像装置を備える、項目１１４に記載の方法。
（項目１１９）
前記少なくとも２つの撮像装置のそれぞれは、
前記粒子の画像を検出するように構成されるセンサと、
前記粒子と前記センサとの間に配置され、前記容器の湾曲によって引き起こされる前記時系列データのひずみを補償するように構成される、補正光学要素と、
を備える、項目１１４に記載の方法。
（項目１２０）
前記撮像装置はさらに、前記センサと前記容器との間に配置されるテレセントリックレンズを備え、前記補正光学要素は、前記容器の湾曲によって引き起こされる前記時系列データの拡大ひずみを実質的に補正する、項目１１９に記載の方法。
（項目１２１）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、
（ａ）前記粒子を撮像するために少なくとも１つの撮像装置を使用するステップと、
（ｂ）前記容器の中の前記粒子の位置を示す位置データを判定するように、前記画像を処理するステップと、
（ｃ）前記位置データに少なくとも部分的に基づいて前記粒子を検出するステップであって、位置データに少なくとも部分的に基づいて前記粒子を検出するステップは、前記容器の下位領域中の前記粒子の存在を識別するステップを含む、ステップと、
（ｄ）前記粒子が前記容器の前記下位領域中に位置するときに、前記粒子の特性を判定するためにセンサを使用するステップと、
（ｅ）前記判定された特性を示す粒子特性データを生成するステップと、
（ｆ）前記粒子特性データを、前記粒子を識別するデータと関連付けるステップと
を含む、方法。
（項目１２２）
前記少なくとも１つの撮像装置は、それぞれ、前記流体中の前記粒子の各１つ以上の２次元画像を取得するために、異なる視点から前記粒子を撮像するように位置付けられる、少なくとも２つの撮像装置を備え、
位置データを判定するように前記画像を処理するステップは、前記容器の中の前記粒子の位置を示す３次元データを判定するように、前記少なくとも２つの撮像装置からの前記２次元画像を組み合わせるステップを含み、
前記粒子を検出するステップは、前記３次元データに少なくとも部分的に基づいて前記粒子を検出するステップを含む、
項目１２１に記載の方法。
（項目１２３）
前記粒子の前記特性は、スペクトル特性を備える、項目１２２に記載の方法。
（項目１２４）
前記センサは、前記容器の前記下位領域から入射する光のスペクトル特性を感知するように位置付けられる、分光計デバイスを備える、項目１２３に記載の方法。
（項目１２５）
前記下位領域は、前記容器の中の流体の実質的に平面的な層を備える、項目１２４に記載の方法。
（項目１２６）
センサは、前記容器の前記下位領域を前記分光計上に撮像するように位置付けられる、テレセントリック撮像装置を備える、項目１２５に記載の方法。
（項目１２７）
前記スペクトル特性は、色、吸収スペクトル、または透過スペクトル、あるいはこれらのうちのいずれかの組み合わせを備える、項目１２４に記載の方法。
（項目１２８）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、
（ａ）前記粒子を撮像するように位置付けられる、少なくとも１つの撮像装置と、
（ｂ）前記粒子が前記容器の下位領域中に位置するときに、前記粒子の特性を判定するように構成される、少なくとも１つのセンサと、
（ｃ）前記各少なくとも１つの撮像装置および前記センサに動作可能に連結された少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、
前記容器の中の前記粒子の位置を示す位置データを判定するように、前記画像を処理することと、
前記位置データに少なくとも部分的に基づいて前記粒子を検出し、前記容器の前記下位領域中の前記粒子の存在を識別することと、
前記粒子が前記容器の前記下位領域中に位置するときに、前記粒子の特性を判定するために、前記センサからの信号を使用することと、
前記判定された特性を示す粒子特性データを生成することと、
前記粒子特性データを、前記粒子を識別するデータと関連付けることと
を行うように構成される、少なくとも１つのプロセッサと、
を備える、装置。
（項目１２９）
前記少なくとも１つの撮像装置は、それぞれ、前記流体中の前記粒子の各１つ以上の２次元画像を取得するために、異なる視点から前記粒子を撮像するように位置付けられる、少なくとも２つの撮像装置を備え、
前記プロセッサは、前記容器の中の前記粒子の位置を示す３次元データを判定するために、前記少なくとも２つの撮像装置からの前記２次元画像を組み合わせるように構成され、
前記プロセッサは、前記３次元データに少なくとも部分的に基づいて前記粒子を検出するように構成される、
項目１２８に記載の装置。
（項目１３０）
前記粒子の前記特性は、スペクトル特性を備える、項目１２９に記載の装置。
（項目１３１）
前記センサは、前記容器の前記下位領域から入射する光のスペクトル特性を感知するように位置付けられる、分光計デバイスを備える、項目１３０に記載の装置。
（項目１３２）
前記下位領域は、前記容器の中の流体の実質的に平面的な層を備える、項目１３１に記載の装置。
（項目１３３）
センサは、前記容器の前記下位領域を前記分光計上に撮像するように位置付けられる、テレセントリック撮像装置を備える、項目１３２に記載の装置。（項目１３４）
前記スペクトル特性は、色、吸収スペクトル、または透過スペクトル、あるいはこれらのうちのいずれかの組み合わせを備える、項目１３１に記載の装置。
（項目１３５）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための装置であって、前記容器は、縦軸の周囲に配置される透明な管状容器壁を備え、
前記流体中の前記粒子の１つ以上の画像を取得するように構成される、撮像装置であって、前記粒子を前記センサ上に撮像するように位置付けられる、少なくとも１つの撮像光学要素を備える、撮像装置と、
前記容器を通過し、かつ前記容器の前記縦軸に対して実質的に直角な面内で少なくとも部分的に位置付けられる、照明源であって、前記容器壁の表面から反射または屈折し、前記少なくとも１つの光学要素によって前記センサ上に撮像される、前記照明源から発せられる光線の存在を実質的に排除するように配列される、照明源と
を備える、装置。
（項目１３６）
前記照明源は、前記センサから、前記少なくとも１つの撮像光学要素を通って、後に前記容器を通って延在する、任意の後方伝搬光線を実質的に含まないであろう、前記容器の外側の領域中に位置する、項目１３５に記載の装置。
（項目１３７）
前記少なくとも１つの光学要素は、テレセントリックレンズを備える、項目１３６に記載の装置。
（項目１３８）
前記透明な管状容器壁は、円筒壁を備え、前記縦軸は、前記円筒壁の対称軸に対応する、項目１３７に記載の装置。
（項目１３９）
前記撮像装置の光軸は、前記容器の前記縦軸に対して実質的に直角であり、かつ前記縦軸と交差する、前記容器を通って延在する、項目１３８に記載の装置。
（項目１４０）
前記撮像装置は、前記流体中の前記粒子の軌道を表す時系列データを取得するように構成され、前記装置はさらに、
（ａ）前記撮像装置に動作可能に連結され、前記時系列データを記憶するように構成される、メモリと、
（ｂ）前記メモリに動作可能に連結されたプロセッサであって、
（ｉ）逆時系列データを形成するように前記時系列データの時間順序を逆転することと、
（ｉｉ）前記逆時系列データから前記粒子の前記軌道を推定することと、
（ｉｉｉ）前記軌道に基づいて前記粒子の存在または種類を判定することと、
によって、前記粒子を検出するように構成される、プロセッサと、
を備える、項目１３７に記載の装置。
（項目１４１）
少なくとも部分的に流体で充填される容器の中の非溶解粒子の非破壊的検出のための方法であって、前記容器は、縦軸の周囲に配置される透明な管状容器壁を備え、
前記流体中の前記粒子の１つ以上の画像を取得するために撮像装置を使用するステップであって、前記撮像装置は、前記粒子を前記センサ上に撮像するように位置付けられる、少なくとも１つの撮像光学要素を備える、ステップと、
前記容器を通過し、かつ前記容器の前記縦軸に対して実質的に直角な面内で少なくとも部分的に位置付けられる、照明源を用いて、前記容器を照射するステップであって、前記照明源は、前記容器壁の表面から反射または屈折し、前記少なくとも１つの光学要素によって前記センサ上に撮像される、前記照明源から発せられる光線の存在を実質的に排除するように配列される、ステップと、
を含む、方法。
（項目１４２）
前記照明源は、前記センサから、前記少なくとも１つの撮像光学要素を通って、後に前記容器を通って延在する、任意の後方伝搬光線を実質的に含まないであろう、前記容器の外側の領域中に位置する、項目１４１に記載の方法。
（項目１４３）
前記少なくとも１つの光学要素は、テレセントリックレンズを備える、項目１４２に記載の方法。
（項目１４４）
前記透明な管状容器壁は、円筒壁を備え、前記縦軸は、前記円筒壁の対称軸に対応する、項目１４３に記載の方法。
（項目１４５）
前記撮像装置の光軸は、前記容器の前記縦軸に対して実質的に直角であり、かつ前記縦軸と交差する、前記容器を通って延在する、項目１４４に記載の方法。
（項目１４６）
前記流体中の前記粒子の軌道を表す時系列データを取得するために、前記撮像装置を使用するステップと、
前記粒子を検出するステップであって、前記検出するステップは、
（ｉ）逆時系列データを形成するように前記時系列データの時間順序を逆転することと、
（ｉｉ）前記逆時系列データから前記粒子の前記軌道を推定することと、
（ｉｉｉ）前記軌道に基づいて前記粒子の存在または種類を判定することと、
によって行われる、ステップと、
を含む、項目１４５に記載の方法。

【0017】

本明細書に組み込まれ、その一部を構成する、添付図面は、開示された技術の実施形態を図示し、説明とともに、開示された技術の性質を説明する働きをする。

【図面の簡単な説明】

【0018】

【図1A】図１Ａ−１Ｃは、それぞれ、少なくとも部分的に流体で充填されるコンテナの中の粒子を検出して識別するためにそれぞれ使用することができる、目視検査ユニット、目視検査撮像モジュール、および目視検査プラットフォームを示す。

【図1B】図１Ａ−１Ｃは、それぞれ、少なくとも部分的に流体で充填されるコンテナの中の粒子を検出して識別するためにそれぞれ使用することができる、目視検査ユニット、目視検査撮像モジュール、および目視検査プラットフォームを示す。

【図1C】図１Ａ−１Ｃは、それぞれ、少なくとも部分的に流体で充填されるコンテナの中の粒子を検出して識別するためにそれぞれ使用することができる、目視検査ユニット、目視検査撮像モジュール、および目視検査プラットフォームを示す。

【図2A】図２Ａは、図１Ａ−１Ｃに示される目視検査システムのサンプル調製、装填、および動作を図示する。

【図2B】図２Ｂは、例証的な目視検査システムによって捕捉された、容器の中の移動流体中の粒子およびそれらの軌道の処理画像を示す。

【図3】図３Ａ−３Ｃは、円筒形容器の回転（図３Ａ）、シリンジの反転および回転（図３Ｂ）、およびシリンジの揺動（図３Ｃ）といった、粒子検出および識別からの調製中の流体および１つ以上の粒子を含有する、３種類の容器撹拌を図示する。

【図4】図４は、円筒形容器を撮像するために使用されたテレセントリックレンズの光線光学図である。

【図5A】図５Ａは、流体を含有する円筒形容器の中の流体メニスカスおよび記録された体積を示す。

【図5B】図５Ｂは、コンテナの形状によって作成された円筒形コンテナの中のひずみおよび盲点を図示する。

【図5C】図５Ｃおよび５Ｄは、円筒形容器を撮像するときにひずみおよび盲点を補償する技法を図示する。

【図5D】図５Ｃおよび５Ｄは、円筒形容器を撮像するときにひずみおよび盲点を補償する技法を図示する。

【図5E】図５Ｅは、コンテナの中の種々の位置での粒子について、コンテナの形状によって作成された円筒形コンテナの中のひずみおよび盲点を図示する。

【図5F】図５Ｆは、各モデルが同一のコンテナに対応するが、異なる屈折率を伴う流体で充填される、円筒形コンテナによって引き起こされたひずみの理論モデルを図示する。図はまた、理論モデルを確認する、対応する実験的測定も示す。

【図5G】図５Ｇは、コンテナの形状によって作成された円筒形コンテナの中のひずみを補正するための補正光学要素の使用を図示する。

【図5H】図５Ｈは、図５Ｇの補正光学要素の詳細図である。

【図5I】図５Ｉは、いくつかの補正光学要素のうちの１つを選択するためのデバイスを図示する。

【図6A】図６Ａ−６Ｄは、多くの角度から（図６Ａおよび６Ｂ）、同一の角度からより高いフレームレートで（図６Ｃ）、および同一の角度から異なる空間解像度で（図６Ｄ）、移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを示す。

【図6B】図６Ａ−６Ｄは、多くの角度から（図６Ａおよび６Ｂ）、同一の角度からより高いフレームレートで（図６Ｃ）、および同一の角度から異なる空間解像度で（図６Ｄ）、移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを示す。

【図6C】図６Ａ−６Ｄは、多くの角度から（図６Ａおよび６Ｂ）、同一の角度からより高いフレームレートで（図６Ｃ）、および同一の角度から異なる空間解像度で（図６Ｄ）、移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを示す。

【図6D】図６Ａ−６Ｄは、多くの角度から（図６Ａおよび６Ｂ）、同一の角度からより高いフレームレートで（図６Ｃ）、および同一の角度から異なる空間解像度で（図６Ｄ）、移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを示す。

【図7A】図７Ａおよび７Ｂは、二重センサ撮像装置を用いて粒子を撮像するための画像取得および照明のトリガを図示する。

【図7B】図７Ａおよび７Ｂは、二重センサ撮像装置を用いて粒子を撮像するための画像取得および照明のトリガを図示する。

【図8】図８は、検査されている容器の前、後ろ、および下に位置付けられた光源を含む、融通性のある多目的照明構成の概略図である。

【図9-1】図９Ａ−９Ｃは、図８に示される光源を使用して異なる粒子種を区別するための異なる角度からの照明を図示する。

【図9-2】図９Ｄは、異なる種々の粒子種を区別するように図９Ａ−９Ｃの構成を使用するための照明シーケンスおよびタイミング図を示す。

【図10-1】図１０Ａ−１０Ｃは、部分的に流体で充填された容器からの眩光（図１０Ａ）、および容器の縦軸の周囲で撮像装置を周回させることによって画定されるゾーンの外側の光源の位置付け（図１０Ｂおよび１０Ｃ）を図示する。

【図10-2】図１０Ｄ−１０Ｅは、容器からの眩光を低減または排除するための代替的な照明方式を図示する。

【図11】図１１は、（例えば、キラル）粒子を撮像して偏光するために好適な撮像構成の概略図である。

【図12】図１２は、蛍光粒子を励起して撮像するために好適な撮像構成の概略図である。

【図13】図１３Ａおよび１３Ｂは、例証的な目視検査システムを用いて取得された、ガラス層板（図１３Ａ）およびタンパク質（図１３Ｂ）の最大強度投影像を示す。

【図14】図１４は、異なる全体的な粒子検出および識別プロセス、ならびに画像前処理、粒子追跡、および統計分析サブプロセスを図示する、フローチャートを含む。

【図15】図１５Ａおよび１５Ｂは、背景減算前（図１５Ａ）および後（図１５Ｂ）の時系列データのフレームを示す。

【図16】図１６Ａは、（左に示される）８ビットグレースケールで示される、粒子の時系列データフレームである。図１６Ｂは、図１６Ｂに示される時系列データフレームの拡大図である。図１６Ｃおよび１６Ｄは、それぞれ、図１６Ａおよび１６Ｂに示される時系列データフレームの閾値バージョンである。

【図17】図１７Ａ−１７Ｄは、予測追跡（図１７Ｂ−１７Ｄ）を行うために、どのようにして時系列データの一対の連続フレーム（図１７Ａ）を使用することができるかを図示する。

【図18】図１８Ａは、いくつかの粒子を示す、グレースケール時系列データフレームを示す。図１８Ｂは、粒子の幾何学的中心の場所を特定するために使用された、図１８Ａの閾値バージョンを示す。

【図19】図１９は、粒子の衝突／閉塞を図示する、連続時系列データフレームを示す。

【図20】図２０Ａは、強調表示された領域の内側で隣同士に一対の粒子を伴う時系列データのフレームを示す。図２０Ｂ−２０Ｅは、図２０Ａの強調表示された領域中の粒子が相互を過ぎて伝搬する際に明白な粒子の閉塞を示す、時系列データの連続フレームである。

【図21】図２１Ａ−２１Ｃは、直線軌道（図２１Ａ）、曲線軌道（図２１Ｂ）、および放物線軌道（図２１Ｃ）について、容器の壁の上の擦過傷または一片の汚れ等のアーチファクトの背景減算によって引き起こされた、移動粒子の明白な閉塞を図示する。

【図22】図２２Ａ−２２Ｃは、逆時系列データを使用した不規則な形状の粒子の質量中心の場所（図２２Ｂおよび２２Ｃ）、および粒子軌道を判定するための質量中心の場所の使用（図２２Ａ）を図示する。

【図23-1】図２３Ａ−２３Ｄは、円筒形容器の中で観察され、モデル化された流体動態を図示する。図２３Ａは、メニスカスの形状の変化を示す。図２３Ｂおよび２３Ｃは、流体充填容器の内側の渦の形成を図示し、図２３Ｄは、例証的な渦の中の粒子軌道を示す。

【図23-2】図２３Ａ−２３Ｄは、円筒形容器の中で観察され、モデル化された流体動態を図示する。図２３Ａは、メニスカスの形状の変化を示す。図２３Ｂおよび２３Ｃは、流体充填容器の内側の渦の形成を図示し、図２３Ｄは、例証的な渦の中の粒子軌道を示す。

【図24】図２４Ａおよび２４Ｂは、粒子の衝突が正しく解決されていない、逆時系列データの連続フレームの拡大図（図２４Ａ）、およびエラー補正後の同一のプロット（図２４Ｂ）を示す。

【図25-1】図２５Ａ−２５Ｅは、粒子の移動による粒径測定の時間依存性を図示する。

【図25-2】図２５Ｆは、図２５Ｃに示される粒子の時間依存性フェレ径のグラフである。

【図26】図２６Ａは、異なる粒子軌道を示すトレースとともに、異なる間隔で処理された時系列データのフレームを示す。図２６Ｂは、図２６Ａの粒子軌道からのいくつかの時間依存性粒子性質の例証的な測定を示す。

【図27】図２７Ａ−２７Ｆは、後方傾斜照明を使用した、目的とする領域の検出を図示する。図２７Ａは、コンテナの中で可視的な流体の画像をもたらすように、エッジ検出（図２７Ｂ）、グレースケール閾値化（図２７Ｃ）、メニスカスおよびバイアル基部の識別（図２７Ｄ）、目的とする領域（図２７Ｅで点線によって境界される）の判定、およびトリミング（図２７Ｆ）を受ける元の画像（時系列データのフレーム）を示す。

【図28】図２８Ａ−２８Ｃは、背後から光を当てられたバイアルの充填体積検出を図示する。図２８Ａは、バイアルの原画像を示す。図２８Ｂは、閾値化およびエッジ検出を使用して判定された（点線によって境界される）目的とする領域を示す。（図２８Ｃに示される）バイアルの表面上の欠陥が、充填体積検出を妨害し得る。

【図29】図２９Ａ−２９Ｄは、下から照射されたバイアルの充填体積検出を図示する。図２９Ａおよび２９Ｂは、部分的に満杯の容器（図２９Ａ）および空の容器（図２９Ｂ）の擬似カラー画像である。図２９Ｃおよび２９Ｄは、部分的に満杯の容器、空の容器、および部分的に充填された容器の自動メニスカス検出を図示する。

【図30】図３０は、時系列データを処理するために好適なプロセッサを示す。

【図31】図３１は、明るい粒子およびかすかな粒子を含む画像のグレースケール閾値化の実施例を図示する。

【図32】図３２は、標準サイズ（１００μｍ）を有する粒子の集団の見掛けの粒径のヒストグラムを示す。

【図33】図３３は、各集団が指示された標準サイズ（μｍ）を有する、粒子の２つの集団の見掛けの粒径数曲線を示す。

【図34】図３４は、各集団が指示された標準サイズ（μｍ）を有する、粒子の４つの集団の見掛けの粒径数の較正曲線を示す。

【図35】図３５は、較正曲線の重ね合わせをサンプルの見掛けの粒径数曲線に適合させることを図示する。

【図36】図３６は、未加工ビニングおよびＬＥＮＳといった、粒子の計数およびサイズ決定の２つの技法の結果を比較する。

【図37】図３７は、閾値サイズ以下および以上の粒子に対する異なるサイズ決定技法を特色とする、粒子を数えてサイズ決定するためのプロセスを図示する。

【図38-1】図３８Ａ−３８Ｃは、複数の角度から移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを図示する。

【図38-2】図３８Ａ−３８Ｃは、複数の角度から移動粒子の時系列データを捕捉する、複数の撮像装置を伴う粒子追跡システムを図示する。

【図39】図３９は、２つの撮像装置（左パネル）のそれぞれ、および図３８Ａ−３８Ｃの粒子追跡システムの３つの撮像装置（右パネル）のそれぞれによって受容された、コンテナを通した光線の伝搬を図示する。

【図40】図４０は、目視検査による人為的結果と比較した、自動粒子検出システム（「ＡＰＴ」と指定される）の粒子検出結果を示す。

【図41】図４１は、自動粒子検出システムの粒子検出および分類結果を示す。

【図42】図４２は、自動粒子検出システムのサンプル希釈の関数として、粒子数の直線性を要約するチャートを示す。

【図43】図４３は、タンパク質凝集体粒子を検出して数えるために使用された、自動粒子検出システムの精度を示す。

【図44】図４４は、目視検査による人為的結果と比較した、自動粒子検出システム（「ＡＰＴ」と指定される）のタンパク質凝集体粒子検出結果を示す。

【図45】図４５は、目視検査ユニットとともに使用するための分光計を示す。

【発明を実施するための形態】

【0019】

図１Ａは、タンパク質含有医薬組成物、薬剤、生物工学製品、飲料、および米国食品医薬品局（Ｕ．Ｓ． Ｆｏｏｄ ａｎｄ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）によって規制された他の半透明流体等の流体で少なくとも部分的に充填される、透明なコンテナ１０の中の粒子を非破壊的に検出および／または識別するように構成される、例示的な自動目視検査ユニット１００を示す。

【0020】

外部が不均一であるコンテナの部分（例えば、ヒール）を視認することによって、粒子の存在または非存在の検出を達成することができるが、典型的な実施形態では、計数およびサイズ決定等の粒子特性化測定について、ひずみを軽減するために、コンテナの実質的に均一な垂直壁を通して粒子を見ることが必要であり得る。これは、ユニット１００に可視的であるコンテナ１０の中の流体の見掛けの２次元断面が、使用可能な統計を提供するように適切な面積でなければならないため、最小充填体積に影響を及ぼす。必要充填体積は、コンテナの円形直径に依存する（コンテナが小さいほど、より少ない充填体積が必要とされる）。種々の実施形態では、コンテナの内部容積は、流体で少なくとも１％、少なくとも５％、少なくとも１０％、少なくとも２０％、少なくとも３０％、少なくとも４０％、少なくとも５０％、少なくとも６０％、少なくとも７０％、少なくとも８０％、少なくとも９０％、または少なくとも１００％充填されてもよい。

【0021】

種々の実施形態では、本明細書で説明される粒子検出技法は、本質的に光学的である。したがって、いくつかの実施形態では、コンテナ１０の壁は、内側に含有された液体の可視化を可能にするように、照明波長で十分に透明である。例えば、いくつかの実施形態では、コンテナ１０は、透明なホウケイ酸ガラスから作製されてもよいが、他の好適な材料が使用されてもよい。容器内に含有された流体の濁度も重要であり、所望のレベルの可視化を可能にするように十分に低くなるべきである。いくつかの実施形態では、流体は、０〜１００ＮＴＵ（ネフェロ濁度単位）、好ましくは０〜２０ＮＴＵ、より好ましくは０〜１０ＮＴＵの範囲内の濁度を有する。濁度測定のための標準実践は、例えば、ＥＰＡ Ｇｕｉｄａｎｃｅ Ｍａｎｕａｌ， Ｔｕｒｂｉｔｙ Ｐｒｏｖｉｓｉｏｎｓ， Ｃｈａｐｔｅｒ ３ （Ａｐｒｉｌ， １９９９）で見出され得る。

【0022】

例証的なシステムは、それらの異なる光学特性に基づいて、光を屈折および／または散乱する透明および／または半透明粒子（例えば、タンパク質凝集体、ガラス薄片または層板、および油の球状塊）、光を反射する粒子（例えば、金属薄片）、および／または光を吸収する粒子（例えば、黒色炭素およびプラスチック粒子）を検出して識別することができる。いくつかの発明の目視検査ユニット１００は、以下で説明されるもの等の照明シーケンスを使用することによって、３種類全ての粒子を検出することができる。発明の目視検査ユニット１００はまた、密に結合した凝集体、高い含水量を伴う緩く結合した原綿物質、（反射性）結晶、ゼラチン状物質、および／または非晶質凝集体として出現し得る、タンパク質を検出、識別、および／または追跡するように特別に構成されてもよい。

【0023】

「ポリペプチド」という用語と同義で使用され得る、「タンパク質」という用語は、その最も広い意味において、２つ以上のサブユニットアミノ酸、アミノ酸類似体、またはペプチド模倣剤の化合物を指す。サブユニットは、ペプチド結合によって結合されてもよい。別の実施形態では、サブユニットは、他の結合、例えば、エステル、エーテル等によって結合されてもよい。本明細書で使用されるように、「アミノ酸」という用語は、グリシン、ならびにＤおよびＬ光学異性体の両方、アミノ酸類似体、およびペプチド模倣剤を含む、天然および／または非天然あるいは合成アミノ酸を指す。３つ以上のアミノ酸のペプチドは、ペプチド鎖が短い場合、一般的にはオリゴペプチドと呼ばれる。ペプチド鎖が長い場合、ペプチドは、一般的にはポリペプチドまたはタンパク質と呼ばれる。本明細書で使用されるような「ペプチド断片」という用語もまた、ペプチド鎖を指す。

【0024】

コンテナ１０は、ガラスまたはプラスチックで作製された長方形または円筒形容器（例えば、キュベット、バイアル、アンプル、カートリッジ、試験管、またはシリンジ）であってもよく、また、撮像波長でコンテナの内容物の可視化を提供する限り、別の形状を有してもよく、および／または異なる材料で作製されてもよい。特定の実施形態は、コンテナの内容物の明確かつ摂動を受けない可視化を提供するが、他の実施形態は、コンテナが摂動を受けていない期間と一致するように画像取得の時期を選び、および／または記録されたデータのひずみを補償するために後処理を採用してもよい。

【0025】

ユニット１００は、コンテナの内容物の画像をセンサ上に投影する、集合光学部を伴う撮像装置１１０を含む。この場合、集合光学部は、テレセントリックレンズ１１４を含み、センサは、電荷結合素子（ＣＣＤ）１１２である。ＣＣＤ１１２に連結されるメモリ１４０が、コンテナの内容物を表す画像のストリームを記録して記憶し、メモリ１４０に連結されるプロセッサ１３０が、コンテナ１０の中の粒子を検出して識別するように、以下で説明されるような記録された画像シーケンスを分析する。当業者によって理解されるように、プロセッサ１３０は、好適に構成された汎用コンピュータ（例えば、Ｉｎｔｅｌ(R) Ｃｏｒｅ^ＴＭｉ５ またはＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ａｔｈ
ｌｏｎ^ＴＭプロセッサを使用するもの）、フィールドプログラマブルゲートアレイ（例えば、Ａｌｔｅｒａ(R) Ｓｔｒａｔｉｘ(R)またはＸｉｌｉｎｘ(R) Ｓｐａｒｔａｎ(R)−６ ＦＰＧＡ）、または特定用途向け集積回路を用いて実装されてもよい。メモリ１４０は、ソリッドステートメモリ（例えば、フラッシュメモリ）、光ディスク（例えば、ＣＤまたはＤＶＤ）、または磁気媒体を用いて実装されてもよく、任意の好適なサイズ（例えば、１ＧＢ、１０ＧＢ、１００ＧＢ、またはそれ以上）であるように選択することができる。

【0026】

コンテナ１０の周囲に配置される１つ以上の光源１２２ａおよび１２２ｂを含む、照明システム１２０は、画像取得中にコンテナ１０およびその内容物を照射する。目視検査ユニット１００は、撮像前にコンテナの内容物を回転させ、震盪させ、または別様に撹拌するように、および図１（ｂ）のように撮像中にコンテナ１０を保持するように、スピンドル１５０、シェーカ、超音波振動子、または他の撹拌器も含む、検査モジュール１６０に組み込むことができる。

【0027】

図１（ｃ）は、１つ以上の検査モジュール１６０−１から１６０−５（概して、検査モジュール１６０）と、ロボット１８０と、個々のコンテナウェルの中で未検査および／または検査済みコンテナ１０を保持するバイアルトレイ１７２とを含む、中・高スループット目視検査プラットフォーム１７０を示す。ユーザまたは自動コントローラ（図示せず）からの命令を受けると、ロボット１８０は、バイアルトレイ１７２から、コンテナ１０を移動させながら粒子の時系列データを捕捉して記録する、検査モジュール１６０へ、コンテナ１０を移動させる。次いで、ロボット１８０は、コンテナ１０をバイアルトレイ１７２に戻す。

【0028】

いくつかの実施形態では、バイアルトレイ１７２の上層および／またはコンテナウェルの周縁は、Ｄｅｌｒｉｎ^(R)アセタール樹脂または別の類似材料で作製され、コンテナウ
ェルの内部縁は、コンテナウェルに挿入され、かつそこから除去される際に、コンテナ１０が擦過傷をつけられることを防止するように勾配付きである。バイアルトレイ１７２は、アルミニウム、または容易にゆがまない、あるいはひび割れない別の類似材料で作製された基層を含んでもよい。コンテナウェルの壁は、典型的には、トレイ１７２が目視検査プラットフォーム１７０を往復して（例えば、個人によって）運搬される際に、バイアルをしっかりと保持するように厚い。その構造に応じて、バイアルトレイ１７０は、ミクロン規模の精度で動作し得る、ロボット１８０によるコンテナ回収および挿入を促進するように、ミクロン規模の公差以内まで既定位置でコンテナ１０を保持してもよい。

【0029】

ロボット１８０は、トレイ１７２からバイアルを引き抜き、トレイ１７２より上側からスピンドル１６０より上側まで延在するレール１８２に沿って各コンテナ１０を移動させ、特定のスピンドル１６０の上にコンテナ１０を配置する、「ピックアンドプレース」システムである。いくつかのロボットはまた、コンテナ１０を配置する前にコンテナ１０を回転させ、スピンドル１６０の必要性を未然に防ぐように構成されてもよい。代替として、ロボット１８０は、同様にスピンドル１６０の必要性を未然に防ぐ、コンテナ１０を回転させ、振動させ、および／または震盪させる（例えば、以下で説明される「前後」の針震盪を行う）ことができる、６軸ロボットアームを含んでもよい。当業者であれば、本発明の目視検査システムおよびプロセスとともに、他の装填および撹拌機構およびシーケンスを使用できることを容易に理解するであろう。

【0030】

目視検査プラットフォーム１７０は、図２（ａ）に示されるように動作する。ステップ２０２では、検査されるコンテナ１０が、（例えば、適切な溶剤を使用して手動で）清掃され、次いで、ステップ２０４でトレイ１７２の中へ装填される。ロボット１８０が、トレイ１７２からコンテナ１０を抽出し、それをスピンドル１６０の上に配置する。次に、ステップ２０６では、プロセッサ１３０が、撮像装置１１０によって取得される静止したコンテナ１０の画像から、メニスカスおよび／または目的とする領域（ＲＯＩ）（例えば、流体で充填されたコンテナ１０の部分）のサイズおよび場所を判定する。代替として、ユーザは、充填体積ならびにコンテナ形状および容積が十分な確実性で分かっている場合に、メニスカスおよび／または目的とする領域の場所を特定することができる。いったんプロセッサ１３０がＲＯＩの場所を特定すると、スピンドル１６０がステップ２０８でコンテナ１０を回転させて停止させ、流体を移動させ、コンテナ１０の中の粒子を移動流体中で懸濁させる。ステップ２１０では、撮像装置１１０が、規則的に離間した時間間隔で撮られた、ＲＯＩのスナップショットを表す一連の静止画像（「フレーム」と呼ばれる）の形態で、メモリ１４０の中に時系列データを記録する。

【0031】

撮像装置１１０が十分な時系列データを取得した後、プロセッサ１３０は、コンテナの表面のうちの１つ以上の上の汚れおよび／または擦過傷を表し得る、背景データを差し引く。それはまた、当業者によって理解されるように時系列データから雑音をフィルタにかけ、以下で説明されるように強度閾値化を行ってもよい。プロセッサ１３０はまた、時系列データの順序を逆転する。つまり、時系列データの中の各フレームが、それが取得された順序を示す、指数１、２、…、ｎ−１、ｎを有する場合、逆時系列データの中のフレームは、ｎ、ｎ−１、…、２、１と順序付けられた指数で配列される。必要であれば、プロセッサ１３０はまた、以下で説明されるように、分析されるデータの始点および終点を選択する。（当業者であれば、プロセッサ１３０が、任意の順序で背景減算、雑音フィルタリング、強度閾値化、時系列データ逆転、および始点／終点判定を行ってもよいことを容易に理解するであろう。）プロセッサ１３０は、ステップ２１２で、流体の中で、または流体とともに移動する粒子を追跡し、次いで、ステップ２１４で、それらの軌道に基づいて粒子のサイズを決定し、粒子を数え、および／または粒子を特徴付ける。

【0032】

各検査モジュール１６０は、同一の種類の検査を行って、コンテナ１０の並列処理を可能にしてもよく、モジュール１６０の数は、所望のスループットに応じて調整することができる。他の実施形態では、各モジュール１６０は、異なる種類の検査を行うように構成されてもよい。例えば、各モジュール１６０は、異なる照明波長で粒子を検査してもよく、モジュール１６０−１は、可視光（すなわち、約３９０ｎｍから約７６０ｎｍの波長での放射線）に応答する粒子を探してもよく、モジュール１６０−２は、近赤外線照明（７６０〜１４００ｎｍ）を使用してコンテナを検査してもよく、モジュール１６０−２は、短波長赤外線照明（１．４〜３．０μｍ）を使用してコンテナを検査してもよく、モジュール１６０−４は、紫外線波長（１０〜３９０ｎｍ）で粒子を検査してもよく、モジュール１６０−５は、Ｘ線波長（１０ｎｍ未満）で粒子を検査してもよい。代替として、１つ以上のモジュール１６０は、偏光効果および／または粒子蛍光性を探してもよい。

【0033】

異なる種類のモジュール１６０を伴う実施形態では、第１のモジュール１６０−１は、予備検査を行ってもよく、後続の検査は予備検査の結果次第である。例えば、第１のモジュール１６０−１は、特定のコンテナが偏光感度を有する粒子を含有することを示唆する、可視光検査を行ってもよい。次いで、プロセッサ１３０は、偏光ベースの測定を行うように構成されるモジュール１６０−２に、偏光感度を有する粒子の存在を確認する（または存在の反証を挙げる）ためにコンテナを検査するように命令してもよい。モジュール１６０−１によって取得される可視光時系列データは、粒子の種類ではなく、特定のコンテナ１０の中のいくつかの粒子の存在を示してもよく、それは、プロセッサ１３０に、例えば、モジュール１６０−３における赤外線検査を命令させ得る。

【0034】

粒子の移動を誘発するコンテナ撹拌
上記で説明されるように、コンテナ１０を機械的に撹拌することにより、コンテナ１０の底部における、またはコンテナの内壁の側面上の粒子を、コンテナ内の粒子中で懸濁させる。特定の実施形態では、ユーザおよび／または目視検査システムが、コンテナの中の流体を、層の間に渦、渦流、または途絶を伴わずに流体が並列層の中で流れる様式である、層流様式にさせる、撹拌シーケンスを選択して行う。流体力学では、層流は、高運動量拡散および低運動量対流によって特徴付けられる流動様式であり、言い換えれば、層流は、粗い乱流の反対である。撹拌はまた、粒子を移動流体中で懸濁させる。最終的に、摩擦が、粒子を動かなくさせ、その時点で、粒子は、コンテナの壁に粘着するか、またはコンテナの底部に沈み得る。

【0035】

乱流と比較して、層流は、粒子軌道を推定することをより容易にする、より円滑な粒子運動をもたらす。（当然ながら、プロセッサはまた、センサフレームレートが粒子軌道の「平滑な」セクションを捕捉するほど十分に速ければ、ある乱流様式でも粒子軌道を推定するように構成されてもよい。）所望であれば、コンテナは、実質的な層流を生じる方式で撹拌することができる。例えば、スピンドルが、異なるコンテナサイズおよび形状、および／または異なる流体レベルおよび速度について、流体挙動の測定から判定されるような特定の時間にわたって、特定の速度（または速度プロファイル）でコンテナを回転させてもよい。

【0036】

１つの特定の実施形態では、サーボまたはステッピングモータが、円筒形コンテナを保持するスピンドルを駆動し、図３（ａ）に示されるように、コンテナをその中心軸の周囲で回転させる。十分な速度でコンテナ１０を回転させることにより、（金属薄片等の）重い粒子でさえも、コンテナ１０の底部から流体の中へ上昇させる。多くの流体および粒子について、モータは、約３秒間にわたって３００ｒｐｍで、コンテナ１０を保持するスピンドルを駆動する。（より高い回転速度が、重い粒子を活性化するために必要とされてもよい。）３秒の回転後、モータは急停止し、流体は、現在静止しているコンテナの中で自由に流動させられる。この時点で、撮像装置１１０は、回転流体のビデオを捕捉し始める。メモリ１４０は、精査中のコンテナのサイズに応じて、最大で約７〜１５秒間にわたってビデオを記録する（壁抗力の増加した影響により、流体がより小さいコンテナの中でより迅速に減速するため、メモリ１４０は、より小さいコンテナの中の流体のより少ないビデオを記録する）。

【0037】

別の実施形態では、スピンドルは、２相撹拌／撮像シーケンスでコンテナ１０を回転させる。第１段階で、スピンドルは、３秒間にわたって３００ｒｐｍでコンテナ１０を回転させ、タンパク質等の低密度の（かつより繊細な）粒子を移動粒子中で懸濁させる。次いで、撮像装置１１０は、移動流体中のタンパク質のビデオを捕捉する。いったん撮像装置１１０が十分な時系列データを収集すると、第２段階が始まり、スピンドルは、１〜３秒間にわたって約１６００〜１８００ｒｐｍでコンテナ１０を回転させ、金属薄片等の高密度の粒子を移動流体中で懸濁させ、撮像装置１１０は、コンテナ１０の中で移動する高密度の粒子を表す時系列データを捕捉する。第２段階での高速回転は、流体が減速した、または移動を停止した後に再形成することができる、タンパク質凝集体を一時的に溶解または変性させるほど十分に強くあり得る。２相動作は、低速回転によって活性化されない場合がある濃密な粒子、および高速回転によって変性させられ得るタンパク質の両方を検出することを可能にする。

【0038】

集約的システムは、（限定されないが）流体粘度、流体充填レベル、流体の種類、表面張力、コンテナ形状、コンテナサイズ、コンテナ材料、コンテナテクスチャ、粒径、粒子形状、粒子の種類、および粒子密度といった、パラメータのうちのいずれかに応じて、他の回転シーケンスも採用してもよい。例えば、集約的システムは、コンテナの内容物を撮像する前に、より長期間にわたってより大きいコンテナを回転させてもよい。所与の流体／コンテナの組み合わせの正確な撹拌プロファイルを、日常的な実験によって、計算し、特徴付け、および／または判定することができる。

【0039】

目視検査モジュールは、よく特徴付けられたコンテナ／流体の組み合わせに所定の撹拌シーケンスを使用する場合、流体（および懸濁粒子）が層流様式であるときのみ、データ取得をトリガしてもよい。代替として、それは、付加的な時系列データを取得してもよく、プロセッサは、コンテナ／流体の組み合わせおよび／または撹拌シーケンスに基づいて、開始および終了フレームを自動的に選択してもよい。

【0040】

いくつかの実施形態では、データ取得は、コンテナの中の流体流動の検出された特性に基づいてトリガされてもよい。例えば、以下で詳細に説明されるように、いくつかの実施形態では、コンテナの中の流体のメニスカスを検出し、流体中の渦が回転後に弛緩するときを判定するように、メニスカスの移動を監視することが可能である。いくつかのそのような場合において、データ取得は、メニスカスの検出された移動が実質的に安定した状態に戻ったときに始まってもよい。

【0041】

上記で説明される目視検査システムのうちのいずれかはまた、図３Ｂに示されるように、薬剤製品３２または他の流体で少なくとも部分的に充填される、シリンジ１２の中の天然または外来粒子を検出および／または識別するために使用されてもよい。シリンジ１２はしばしば、針を下にして貯蔵される。したがって、粒子状物質が、シリンジの針３４の中に定着し得る。これらの粒子を可視化するために、ロボットまたは個人が、シリンジ１２を反転させ、すなわち、針３４が上を指すように、ロボットまたは個人が、その縦軸と垂直な軸の周囲でシリンジ１２を１８０°回転させる。針３４の中に定着した粒子状物質は、垂直に落下し、撮像装置１１０による可視化を可能にする。ロボットまたは個人はまた、流体を完全に動かすように、反転中にシリンジを回転させてもよい。

【0042】

多くのシリンジ１２は、壁抗力の効果を劇的に増加させる、比較的小さい内径（例えば、約５ｍｍ）を伴う円筒を有する。多くの薬剤製品３２について、壁抗力は、全ての回転流体運動を約１秒以内に停止させる。これは、実用的な粒子分析にとって非常に短い時間枠である。幸いにも、図３（ｃ）に示されるように、その縦軸と垂直な軸の周囲でシリンジ１２を静かに揺らすことにより、１秒よりも長く続く粒子運動をもたらす。ロボットを用いて、または手動で行うことができる側方揺動は、シリンジ１２の運動、およびシリンジ１２の円筒内で振動する任意の気泡３０の運動を通して、粒子を撹拌する。上記で説明される目視検査モジュール、ユニット、およびプラットフォームは、再構成可能であるように設計され、この代替的な撹拌の方法に適応することができる。

【0043】

いったん撹拌が完了すると、目視検査システムは、ビデオ記録段階にわたって静止したままとなるべきである。典型的に採用される撮像装置の高い解像度により、画像の空間解像度は、非常に細かく（例えば、約１０ミクロン以下）、少なくとも回折限界と同じくらい細かくあり得る。ある構成について、サンプルのわずかな（例えば、１０ミクロン）移動は、検出された画像の中の全ピクセルの移動と同等である。そのような運動は、静止特徴除去（背景減算）の有効性を低下させ、それがひいては、分析ツールの性能および出力データの完全性を劣化させる。

【0044】

この点を念頭に置いて、振動絶縁が、主要な設計考慮事項である。特定の実施形態では、例証的な目視検査システムの基部は、例えば、振動抑制衝撃、浮動物、および／またはガスケットを使用して、研究室環境から機械的に単離される。加えて、ユニットの内側で、コンピュータおよびロボットコントローラ等の振動源を、システムの残りの部分から機械的に単離することができる。代替として、データ取得は、撮像装置に対するコンテナの残留運動と同期させるか、またはピクセル偏移あるいは何らかの他の運動補償挙動を行うカメラを用いて行うことができる。そのような残留運動はまた、後処理が画像の運動の悪影響を除去するために記録することもできる。

【0045】

撮像装置構成
例証的な目視検査システムは、限定されないが、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）アレイを含む、任意の好適なセンサを伴う標準的な既製の撮像装置を使用することができる。センサの選択は、融通性があり、特定の用途の要件にいくぶん依存する。例えば、高いフレームレートを伴うセンサは、（例えば、低粘度の流体中で）高速移動粒子の軌道の正確なマッピングを可能にする。多くのタンパク質粒子が、溶液中で透明であり、光を弱く散乱させ、不鮮明な画像を生じるため、感度および雑音性能も重要である。雑音性能を向上させるため、当技術分野で理解されるように、センサを冷却することができる。ほとんどの用途について、単色センサが、カラーカメラと比べてわずかに高い解像度により、最良の性能を提供するとともに、より高い感度を呈する。しかしながら、用途のわずかな一部について、カラーセンサが、その発生源（例えば、衣料繊維）を確立する際に非常に重要であり得る、粒子の色を捕捉するため、好ましくあり得る。製品品質調査（科学捜査としても知られている）では、例えば、色センサは、薬剤製品を汚染し得る製造施設内の異なる種類の材料（例えば、繊維）を区別するために有用であり得る。

【0046】

完全コンテナ検査について、撮像装置の視野は、流体体積全体を包含するべきである。同時に、撮像装置は、小粒子を分解することが可能となるべきである。目視検査システムは、３２９６×２４７２ピクセルを有する、Ａｌｌｉｅｄ Ｖｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ＡＶＴ） Ｐｒｏｓｉｌｉｃａ ＧＸ３３００ ８メガピクセルＣＣＤセンサ等の大判の高解像度センサを用いて、広い視野および微細な解像度の両方を達成する。他の好適なセンサは、ＡＣＴ Ｐｉｋｅ Ｆ５０５−ＢおよびＢａｓｌｅｒ Ｐｉｌｏｔ ｐｉＡ２４００−１７ｇｍ ５メガピクセルカメラを含む。撮像光学部が、１ｍｌ ＢＤ Ｈｙｐａｋシリンジの流体を持つ本体を完全に撮像するように選択されるとき、ＡＶＴ Ｐｒｏｓｉｌｉｃａ ＧＸ３３００ ＣＣＤセンサが、両方の横寸法で、１ピクセルにつき約１０ミクロンの空間解像度で時系列データを捕捉する。高速および高解像度の組み合わせは、時系列データを記録することが、大きいデータ転送速度および大きいファイルサイズを伴い得ることを暗示する。当然の結果として、以下で説明されるビデオ圧縮技法は、画像の中で捕捉される粒子の微細な詳細の完全性を保存しながら、データ記憶要件を低減させるように特別に設計される。

【0047】

目的とする領域をセンサ上に撮像する集合光学部は、システムが可能な限り微細な解像度で動作することを確実にするように、センサのピクセルサイズに等しい、またはそれよりも小さい、最小スポットサイズを伴う体積全体の鮮明な画像を提供するように選択されるべきである。加えて、集合光学部は、好ましくは、サンプル体積全体に適合するほど十分に大きい被写界深度を有する。

【0048】

図４に示されるレンズ１１４等のテレセントリックレンズは、被写界深度を感じないように特異的に設計されているため、流体体積の目視検査に特に適している。当業者によって理解されるように、テレセントリックレンズは、主光線が画像および／または物体空間内の光軸と平行かつ並列であり、画像および／または物体の場所にかかわらず、一定の倍率をもたらす、多要素レンズである。言い換えれば、テレセントリックレンズを伴う撮像装置からの距離のある範囲内の物体について、撮像装置によって捕捉される物体の画像は、撮像装置からの物体の距離にかかわらず、鮮明であり、一定の倍率である。これは、コンテナ１０の「裏面」における粒子が、コンテナ１０の「正面」における粒子と同様に出現する、画像を捕捉することを可能にする。テレセントリックレンズの使用はまた、均一な暗いバックプレーンが使用されるならば、周辺光の検出を低減させる。好適なテレセントリックレンズ１１４は、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ ＮＴ６２−９０１ Ｌａｒｇｅ Ｆｏｒｍａｔ Ｔｅｌｅｃｅｎｔｒｉｃ ＬｅｎｓおよびＥｄｍｕｎｄ Ｏｐｔｉｃｓ ＮＴ５６−６７５ ＴＥＣＨＳＰＥＣ Ｓｉｌｖｅｒ Ｓｅｒｉｅｓ ０．１６× Ｔｅｌｅｃｅｎｔｒｉｃ Ｌｅｎｓを含む。

【0049】

コンテナ特有の盲点
ほぼあらゆる目視検査システムの１つの目標は、１００％コンテナ容積検査を提供することである。しかしながら、実際には、図５Ａに示されるように、粒子を検出することができない、固定ゾーンがあり得る。第１に、メニスカス自体が、その場所で検出器を潜在的に飽和させる方式で光を散乱させ、任意の粒子または目的とする他の特徴を見えにくくするため、メニスカスの周囲の液体は、分析に組み込むことが困難であり得る。第２に、バイアルについて、コンテナの基部は、典型的には、概して「ヒール」と呼ばれる角で曲線状である。曲線ヒールは、バイアルの底部の十分に近くまで入り込む、いかなる粒子もひずませ、最終的に見えにくくする効果を有する。第３に、シリンジについて、ゴム栓が、コンテナ容積の中へわずかに侵入する中心円錐を特色とする。この円錐の先端は、小さいが、潜在的に粒子を隠し得る。最も繊細な盲点が、バイアルの湾曲により発生する。

【0050】

円筒形コンテナはまた、テレセントリックレンズの性能を損なう働きをする、（屈曲光線１８によって示される）図５Ｂに示されるレンズ効果を引き起こし得る。コンテナの曲線壁もまた、盲点１４を作成する。

【0051】

図５Ｅは、円筒形コンテナ１０によって引き起こされるレンズ効果の実施例を示す。カメラ／観察者が、図の底部にある。上記で説明されるように、テレセントリックレンズは、粒子が、コンテナの中のそれらの位置、つまり、カメラからのそれらの距離に依存しない、一貫した外観を画像の中で有することを確実にするために、コンテナ１０の中の粒子を撮像するときに使用されてもよい。これを達成するために、いくつかの実施形態では、テレセントリックレンズの焦点深度は、流体体積の直径よりも大きくなるように選択される。いくつかの実施形態では、補正光学要素がない場合、コンテナの湾曲は、この原理を損なう。

【0052】

示されるように、コンテナ１０の中の撮像された粒子の形状および倍率は、コンテナの中の粒子の位置に依存するであろう。コンテナの正面および中心における粒子５０１は、全くひずまされていない（上の差し込み図）。後部および側面における同一の粒子５０２は、最もひずまされている（下の差し込み図）。円筒形コンテナについて、ひずみは、（下の差し込み図で明白であるように）水平軸のみに沿って起こることに留意されたい。

【0053】

これらの効果を軽減するために、補正レンズ１１６等の随意的な補正光学部が、図５Ｃに示されるように、テレセントリックレンズ１１４とコンテナ１０との間に配置される。付加的な空間補正光学部１１８は、図５Ｄに示されるように、コンテナの形状によって引き起こされるひずみの付加的な補償を提供してもよい。種々の実施形態では、例えば、コンテナ１０の湾曲および／または流体の屈折率に基づいて調節される、任意の好適な補正光学要素が、補正レンズ１１６および光学部１１８に加えて、またはそれらに代わって使用されてもよい。

【0054】

例えば、いくつかの実施形態では、円筒形コンテナ１０によって引き起こされるレンズ効果のモデルが構築されてもよい。モデルは、例えば、コンテナの外径、コンテナの内径、コンテナの屈折率、液体の屈折率、および照明光の波長を含む、光学的ひずみを特徴付ける好適な一組のパラメータに基づいてもよい。モデルは、例えば、レイトレーシング技法を含む、当技術分野で公知である任意の好適な技法を使用して、構築されてもよい。図５Ｆは、対応する物理的状況の実験データ（右上、右下）とともに、異なる２組のコンテナパラメータに対するレンズ効果の理論モデルの実施例（左上、左下）を示す。示されるように、理論モデルおよび実験データは、良好に一致している。

【0055】

図５Ｇおよび５Ｈを参照すると、補正光学要素５０３（レンズとして示される）が、上記で説明されるレンズ効果を補正するために使用される。補正光学要素の設計は、コンテナの理論光学モデル、コンテナの光学性質を示す実験データ、またはそれらの組み合わせに基づいてもよい。示されるように、補正光学要素５０３は、円筒形の前面および裏面を有する、屈折性材料で作成される。いくつかの実施形態では、レンズの設計は、前面および裏面の半径、レンズの厚さ、レンズの屈折率、およびコンテナに対するレンズの位置を含む、自由パラメータを使用して判定されてもよい。

【0056】

いくつかの実施形態では、他の形状、例えば、放物線または恣意的なカスタム形状を、レンズの前面および裏面に使用することができる。いくつかの実施形態では、表面が円筒形であるという要件を緩和することにより、補正光学要素５０３の設計のためのパラメータ空間のサイズを増加させ、それにより、向上した補正を可能にするであろう。

【0057】

いくつかの実施形態では、補正光学要素５０３は、複数の要素を含み、それにより、設計パラメータ空間をさらに増加させてもよい。いくつかの実施形態では、補正光学要素５０３は、他の種類の光学ひずみ、収差、または他の効果を補正してもよい。例えば、複数の波長での照明が使用される場合において、補正光学要素５０３は、色収差を補正するために使用されてもよい。

【0058】

いくつかの実施形態では、補正光学要素５０３は、特定のコンテナおよび／または流体の種類によって引き起こされるひずみを補正するように設計されてもよい。単一の自動目視検査ユニット１００が、複数のコンテナの種類とともに使用されてもよいため、いくつかの実施形態では、補正光学要素５０３が、検査を受けている特定のコンテナ１０に合致するように選択的に変更されることを可能にすることが望ましくあり得る。例えば、図５Ｉは、複数の補正光学要素５０３を保持するラック５０４を示す。ラックは、撮像装置１１０用の光学連鎖の中へ要素のうちの選択された１つを配置するように、（手動で、または自動的に）移動させられてもよい。ラックが示されているが、種々の実施形態では、一組の複数の光学要素の中から１つの光学要素を選択するための任意の他の好適な機構が使用されてもよいことに留意されたい。

【0059】

代替的な目視検査システムは、コンテナの湾曲によるひずみを補償するように、適応光学部を含んでもよい。例えば、テレセントリックレンズ１１４は、微小電気機械システム（ＭＥＭＳ）ミラー等の変形可能なミラーから反射されるコンテナ１０の画像を捕捉するように構成されてもよい。センサ１１２は、コンテナ１０の中の表面湾曲、表面欠陥、および他の不完全性に起因する収差の性質および規模を導出するために、背景データを使用する。センサ１１２は、収差を補償するようにその表面を調整することによって応答する、変形可能なミラーにこの情報をフィードバックする。例えば、変形可能なミラーは、コンテナ湾曲を補償するように１つの方向に屈曲または湾曲してもよい。変形可能なミラーは、動的に応答するため、各個別コンテナ１０に特有の収差を補償するために使用することができる。

【0060】

加えて、これらの盲点の既知の場所と併せて、粒子の消滅を検出するように、粒子追跡を調節することができ、同一の粒子が以下で説明されるようにビデオシーケンスの中で後に再出現し得る場合および場所をプログラムが予測することを可能にする。

【0061】

（例えば、複数の撮像装置を使用して）盲点関連問題を扱うための付加的な技法が、以下で説明される。

【0062】

カメラフレームレート
以下で説明される最近接合致（欲張り）アルゴリズムを使用した、効果的な粒子追跡は、カメラ捕捉率（フレームレート）、（２次元画像の中の）粒子密度、および典型的な粒子速度といった、３つの主要な因子の関数と見なすことができる。最近接合致アルゴリズムを使用した本当に効果的な追跡のために、カメラは、好ましくは、以下の基準を満たすほど十分速くなるべきである。

【化1】

【0063】

実際には、３次元体積を２次元画像上に投影するとき、実際にコンテナの中で十分に離間されているときに、粒子が相互に非常に接近している（さらに相互を閉塞している）ように見えることが可能である。これを考慮に入れるとき、見掛けの最小粒子間分離距離を考慮するよりも、平均最近傍距離を考慮することが意味をなす。最近傍距離が、時系列データの所与のフレームの中の隣接する粒子間の距離である一方で、最近接合致距離は、時系列データの連続フレームの中の単一の粒子について観察される位置の差異間の距離を指すことに留意されたい。最近接合致距離の観点から、カメラ速度の基準を書き直すことにより、以下をもたらす。

【化2】

【0064】

代替的な目視検査システムは、最近接合致（欲張り）粒子追跡技法の代わりに、予測追跡技法を使用してもよい。予測技法は、後続のフレームの中の粒子の最も可能性の高い位置を推定するために、コンテナの空間制約および予期流体挙動の知識と併せて、粒子の既知の軌道の知識を使用する。適正に実装されたとき、このアプローチは、速度で密集画像を通って移動する粒子をより正確に追跡することができる。

【0065】

比較的大きいコンテナの中の非常に小さい粒子を検出して測定しようとするときに、画像センサの空間解像度を最大限化することが有利である。一般に、これは、センサの最大達成可能フレームレートを低下させるという直接的効果を有する。

【0066】

複数の撮像装置を用いた目視検査
単一のカメラの使用は、既知の盲点の存在によって損なわれ得る。加えて、２次元画像上に３次元粒子分布をマッピングすることにより、閉塞による不明瞭性をもたらし得る（例えば、コンテナの後中心における粒子が前中心における粒子によって閉塞される、図５Ｅに示されるように）。代替的な目視検査システム（例えば、図６で見られるような）は、原則として、２つ以上の撮像システムからの結果を相関させることによって、この問題を解決することができる。２つ以上のカメラからの位置軌道情報を相関させることによって、２次元軌道マップよりもロバストであり、（以下で論議される）閉塞によって引き起こされる誤差を受ける傾向が少なくあり得る、詳細な３次元軌道マップを構築することが可能である。

【0067】

撮像装置の空間解像度を増加させることによっても、所与の粒子濃度および粒子速度のためのデータ取得速度（フレームレート）を制限する。未知のコンテナを検査するとき、粒子濃度が好適に低くなるであろうという保証はできない。同時に、流体中にガラスまたは金属等の重い粒子を懸濁させるために、コンテナにおける回転速度は、極めて高くなる必要があり、捕捉されたビデオストリームにおいて高い粒子速度をもたらし得る。この対立を解決する１つの方法は、以下で説明される新規の撮像ハードウェア構成を採用することである。最も良く市販されているセンサがすでに採用されており、コンテナの中の粒子が十分な量の光を散乱させていると仮定して、専用トリガソースからの一定の確実なトリガを用いて、２つのセンサを多重化することによって、データ取得速度を増加させることが依然として可能である。

【0068】

加えて、例示的な目視検査システムは、全コンテナ検査に対する要件を緩和することによって、１０ミクロンよりも微細な空間解像度を提供し、代わりに、体積の一部のみを考慮するように構成することができる。一般に、肉眼では見ることができない粒子、特に、タンパク質凝集体について、これは、より小さい粒子がより多くの数で発生し、体積の全体を通してより均一に分布する傾向があるため、容認可能である。代替として、例示的な目視検査システムは、広域および微細解像度時系列データの両方を並行して取得するために、異なる倍率で複数の撮像装置を使用することによって、全コンテナ検査および微細空間解像度の両方を提供することができる。

【0069】

全コンテナを見る１つの撮像装置１１０２、およびより小さい下位体積を拡大表示し、例えば、非常に小さい粒子（例えば、約１０ミクロン、５ミクロン、１ミクロン以下の直径を伴う粒子）を検査する、より高い倍率（例えば、長作業距離顕微鏡対物）を伴う第２の撮像装置１１０４とともに、代替的な倍率を、例えば、図６Ａのように、同時に使用することができる。他の目視検査システムは、図６Ｂに示されるように、コンテナ１０より上側および下側に載置された発光ダイオード（ＬＥＤ）１１２０の１つ以上のリングによって照射される、コンテナ１０の周囲に配置された複数の撮像装置１１０２、１１０４、および１１０６を含んでもよい。異なる位置に載置された同一の撮像装置１１０２は、両眼視を提供する。長作業距離顕微鏡対物を伴う撮像装置１１０４は、コンテナ１０の下位容積の微細な解像度を提供し、代替的なセンサ（例えば、赤外線センサ、ボロメータ等）を伴う撮像装置１１０６は、付加的な時系列データを提供する。

【0070】

図６Ｃおよび６Ｄは、テレセントリック撮像の性質を利用する、代替的な撮像構成を示す。テレセントリックレンズの後開口において、５０／５０ビーム分割キューブ１２０２が、投影像を２つの別個の撮像アームの中へ分割する。各撮像アームは、フレームレートを２倍にするように、図６Ｃに示されるような他方のアームの中のセンサ１２２２と交互に動作する、高解像度低速センサ１２２２を含んでもよい。つまり、半サイクル相対位相オフセットとともに同時に２つのセンサ１２２２を作動させることにより、時間解像度を２倍向上させる。次いで、公称センサフレームレートの２倍で単一の動画を提供するように、画像ストリームを組み合わせることができる。

【0071】

代替として、各アームは、例えば、撮像センサアレイにおけるトレードオフを補償するように、図６Ｄに示されるような異なるセンサを含んでもよく、カメラ解像度が微細になるほど、カメラの最大可能フレームレートが遅くなる（例えば、最大解像度で毎秒１０〜５０または１５〜２５フレーム、低解像度で毎秒５０〜２００フレーム等）。正確な粒子追跡について、主要なセンサ性能パラメータは、高い時間解像度（高いフレームレート）である。しかしながら、正確な粒径決定について、主要なセンサ性能パラメータは、微細な空間解像度（画像の中の可能な限り多くのピクセル）である。現在、空間解像度およびデータ転送速度への主要な制限因子は、データ転送バスである。利用可能な撮像装置は、標準パーソナルコンピュータバス（例えば、二重ＧｉｇＥまたはカメラリンクバス）について、１ピクセルにつき約１０ミクロンの空間解像度、および毎秒約２５個のフレームというデータ転送速度を用いて、高さ４センチメートルのコンテナの時系列データを取得することができる。

【0072】

図６Ｄは、速いフレームレートおよび微細な解像度を達成し、高解像度低速センサ１２２２、およびより適度な空間解像度を伴うが、より高いフレームレートを伴うセンサ１２２４の両方を用いて、流体を撮像する１つの方法を図示する。外部トリガが、２つのカメラが相応の様式で同期されることを確実にすることができる。カメラが同一の画像のコピーを視認しているため、向上した粒子分析を生じるように、それらのデータを相関させることができる。

【0073】

図７Ａおよび７Ｂは、照明源１２０および複数のカメラのタイミングおよび制御を図示する。図７Ａおよび７Ｂの両方では、トリガコントローラ７０２が、マスタパルス信号を破棄することによって導出される、図７Ａおよび７Ｂでアーム１およびアーム２と標識された２つのトリガ信号を発する。交互に、アーム１トリガ信号が、第１のカメラ（図７Ａの１１０２ａ、図７Ｂの１２２２ａ）を駆動し、アーム２トリガ信号が、第２のカメラ（図７Ａの１１０２ｂ、図７Ｂの１２２２ｂ）を駆動する。つまり、トリガ信号は、第１および第２のカメラに、フレームの交互シーケンスを取得させる。トリガコントローラ７０２はまた、第１または第２のカメラが画像を取得するたびに照明源１２０にコンテナを照射させる、照明信号を用いて照明源１２０を駆動してもよい。他のトリガシーケンスも可能であり、例えば、トリガコントローラ７０２は、付加的なカメラおよび／または異なるフレームレートで画像を取得する高および低解像度カメラの組み合わせを駆動してもよい。

【0074】

当業者に明白であるように、他の配列も可能である。例えば、各アーム上の画像センサは、相互と同等であり得るが、集合光学部は、異なり得る。１つのアームは、画像の特定の一部を「拡大表示」し、同時に広域および拡大図を提供するように、余分な画像拡大光学部を含んでもよい。

【0075】

照明構成
本発明の目視検査システムは、流体を持つコンテナの中の粒子を検出して識別するように、種々の粒子が光と相互作用する方式を利用する。光との粒子の相互作用は、粒子のサイズ、形状、屈折率、反射性、および不透明性を含む、いくつかの因子の複合関数である。タンパク性粒子が、主に屈折を通して光を散乱させ得る一方で、層流ガラス粒子は、大部分が光を反射し得る。いくつかの粒子、例えば、コラーゲン繊維は、偏光回転等の光の固有の物理的性質を修正することができる。種々の粒子の種類間のコントラストを最大限化するように、検出器、粒子、および光の幾何学形状を調節することにより、高度に正確な検出および区別につながり得る。

【0076】

図８−１２は、特定の種類の粒子、コンテナ、および／または流体に対する異なる照明モード間で調節されるか、または切り替える／作動させることができる、種々の照明構成を示す。例えば、光源は、粒子の画像と背景との間のコントラストを最大限化するように背景を暗く保ちながら、検出器に向かって反射または屈折する光の量を最大限化するような方法で、粒子を照射してもよい。加えて、光源は、任意の好適な波長または波長の範囲で放射を発してもよい。例えば、それらは、広帯域白色光（３９０〜７６０ｎｍ）、（例えば、６３２ｎｍでの）狭帯域ビーム、または紫外線あるいはＸ線放射さえも発してもよい。好適な範囲は、１０〜３０００ｎｍ、１００〜３９０ｎｍ（紫外線）、３９０〜７６０ｎｍ（可視光）、７６０〜１４００ｎｍ（近赤外線）、および１４００〜３０００ｎｍ（中間波長赤外線）を含む。Ｘ線放射（＜１０ｎｍ）も可能である。完全なアンサンブルとしてとらえられたとき、本明細書で開示される照明オプションのアレイは、発明の目視検査システムが、薬剤製品の中で潜在的に出現し得る粒子の全範囲を検出して識別することを可能にする。

【0077】

いくつかの粒子が、非常に弱くしか散乱しないため、しばしば、可能な限り多くの光でサンプルを照射することが有益である。サンプル放射照度の上限は、主に、調査中の製品の感光性によって駆動される。波長の賢明な選択もまた、特に、生物学的製品にとって必要であり得、正確な選択は、照射されている製品に依存する。６３０ｎｍを中心とする単色赤色光は、「中庸」を表し、求めやすい光源の観点から、容易に入手可能な波長である。

【0078】

ＣＣＳ ＬｉｇｈｔｉｎｇからのＬＤＬ２系ＬＥＤアレイ等のＬＥＤアレイが、医薬品で見られる粒子を照射するために効果的であるが、平行レーザビームも使用することができる。場合によっては、照明光学部が、（コンテナの外側とは対照的に）流体体積の内側で平行になるように、照明ビームをパターン化または成形してもよい。代替的な光源について、光源による加熱が懸念事項である場合、図８に示されるように、光導波路または光ファイバ１２４の使用を通して、光を検査域に送達することができる。

【0079】

照明波長は、分析されている流体および／または粒子の吸収および／または反射性に基づいて選択することができ、これは、感光性医薬品に特に重要である。赤色光（６３０ｎｍ）は、タンパク質による低い吸収と水による低い吸収との間で、良好なバランスを提供する。時系列データ取得と同期した照明の点滅は、入射光への製品の暴露を最小限化することによって、感光性医薬品の完全性をさらに保護する。点滅は、さらに２つの利点を有し、ＬＥＤは、このようにして作動させられるときに、より効率的に動作し、点滅は、放置されると以下で説明されるような粒径測定を損なう、運動を不鮮明にする効果を低減させる。

【0080】

図８は、ＬＥＤ、レーザ、蛍光または白熱電球、閃光電球、または任意の他の好適な光源、あるいは好適な光源の組み合わせであり得る、いくつかの光源１２２ａ−１２２ｆ（集合的に光源１２２）を含む、例示的な再構成可能照明システム１２０を示す。光源１２２は、可視、赤外線、および／または紫外線放射を発してもよい。それらは、所望に応じて、狭帯域または広帯域であってもよく、適切な光学フィルタまたは偏光子を使用してフィルタにかけることができる。図８では、例えば、偏光子１２６は、コンテナの背後から光を当てる、光源１２２ｆによって発せられる光を偏光する。バックライト１２２ｆに加えて、照明システム１２０は、コンテナ１０の周囲の直角プリズムの角に４つの光源１２２ａ−１２２ｄを含む。別の光源１２２ｅが、コンテナ１０の底部を指し示すコリメータ１２６に連結された光ファイバ１２４を介して、底部からコンテナ１０を照射する。場合によっては、ファイバ１２４およびコリメータ１２６は、容器を回転させるために使用されるスピンドルの中空シャフト１２８の内側に収納されてもよい。

【0081】

光との所与の粒子の相互作用に基づく区別のために所与の粒子の光学的性質を判定するように、図８に示される複数の光源１２２を使用することができる。当業者によって理解されるように、異なる粒子が、様々な方式で光と相互作用する。相互作用の一般的なモードは、表１に示されるように、光の偏光を散乱、反射、閉塞、または回転させることを含み、表中、「Ｘ」は、図９Ａ−９Ｄおよび図１１（以下で説明される）で例示されるように、所与の照明技法を使用して、この種類の粒子が現れるであろうことを示す。「Ｍ」は、所与の技法を使用して、この種類の粒子が現れる場合があるが、後処理画像分割および特徴識別技法を使用して、依然として潜在的に検出／区別できることを示す。

【表1】

【0082】

図９Ａ−９Ｃは、光の相互作用に基づいて粒子の種類を区別するように、図８の照明システム１２０（いくつかの光源１２２が明確にするために省略されている）を用いて実装することができる、異なる照明パターンを図示する。図９Ａでは、光源１２２ａおよび１２２ｂは、タンパク質、ならびに光を散乱させるほとんどの粒子の種類を示すために有用である、後方傾斜照明を提供する。図９Ｂでは、光源１２２ｅは、撮像装置１１０に向かって（水平矢印）光を反射する、ガラス層板等の反射性粒子を示すために有用である、底部光を提供し、光を散乱させるが反射しない粒子（例えば、タンパク質）は、センサ上で（対角矢印）現れなくてもよい。図９Ｃでは、光源１２２ｆは、金属、暗い色のプラスチック、および繊維等の光を閉塞する粒子を示すために有用である、均一なバックライトを提供する。当業者であれば、他の光源および／または照明パターンおよびシーケンスも可能であることを容易に理解するであろう。

【0083】

図９Ｄは、散乱、反射、および／または閉塞粒子の時系列データを連続的に捕捉するように、どのようにして図９Ａ−９Ｃの照明技法を適用することができるかを示す。この場合、均一なバックライト、後方傾斜光、底部光、および単一のカメラを含有するシステムは、１つだけの特定の光源１２２（または光源１２２の組み合わせ）が一度に動作中であるように、各フレームの照明を交互に行う。単一の撮像装置（図示せず）については、一組だけの光が、取得された時系列データのフレームにつき使用される。このシーケンスを繰り返すことにより、各照明構成のビデオを提供する。

【0084】

前述の照明技法を連続的に使用して、ビデオシーケンスを取得することにより、各光源１２２のほぼ同時のビデオを提供する。完了時に、これは、各照明技法に１つ、３つのインターリーブビデオを提供する。各ビデオについて、所与のフレームの中の粒子は、（フレーム間のわずかな時間差を無視する）代替照明技法を使用して、他の２つのビデオの中の同一の粒子と相関してもよい。所望の粒子が種々の照明技法と相互作用する方法から含有される相互情報を使用して、粒子の材料組成について結論を下すことができる。

【0085】

この技法は、特異性を増加させるために、他の画像特徴抽出情報と組み合わせることができる。例えば、ビデオは、各フレームの中の特徴を判定するように自動分割することができる。各照明技法について、サイズ、形状、輝度、平滑性等の情報を、各特徴について自動的に判定することができる。これは、異なる照明技法のそれぞれでの可視性の観点から、同様の形跡を有する、異なる粒子の種類を区別するのに役立つことができる。

【0086】

図１０Ａ−１０Ｃは、光源１２２からコンテナ１０への光の不要な反射／屈折によって引き起こされる眩光を低減させる方法を図示する。コンテナ１０を照射することにより、光軸がコンテナ表面に反射する光源１２２からの光の伝搬方向と整合させられる、撮像装置１１０によって捕捉される画像の中で、不要な眩光を出現させる。眩光は、別様に検出可能となるであろう粒子を見えにくくし、センサの領域を飽和させ得る。撮像装置の光軸が、コンテナ表面に反射する光源１２２によって発せられた光線と一致しない、または平行ではないように、撮像装置１１０または光源１２２を位置付けることにより、センサによって検出される眩光を低減または排除する。例えば、コンテナ１０の縦軸の周囲で撮像装置を周回させることによって画定される除外ゾーンの外側に光源１２２を配置することにより、撮像装置によって捕捉される不要な反射および／または屈折光の量を低減させる。代替として、ゾーン１００は、コンテナの垂直壁の高さに等しい厚さを伴う、円筒形コンテナの中心軸に対して直角の面として画定することができる。当技術分野で理解されるように、凹状側壁等のより複雑な形状を伴うコンテナは、異なる除外ゾーンおよび異なる補正光学部を有してもよい。

【0087】

ゾーン１０００より上側または下側から、あるいはコンテナ基部より下側から直接、斜めにコンテナ側壁を照射することによっても、撮像装置１１０によって検出される眩光を低減させる。（例えば、光源１２２ｅ（図８）を用いて）下側からコンテナ１０を照射することによっても、光を反射する粒子（例えば、ガラス層板）と光を散乱させる粒子（例えば、タンパク質）との間の優れたコントラストを提供する。

【0088】

図１０Ｄ−１０Ｅは、１つ以上の光源１２２が上記で説明される除外ゾーンの中に（例えば、コンテナ１０の水平面内に）配置される、コンテナ１０から眩光を低減または排除するための代替的な照明方式を図示する。

【0089】

図１０Ｄ−１０Ｅは、撮像装置１１０のセンサから、撮像装置の撮像光学部（示されるように、テレセントリックレンズを含む）を通り、およびコンテナ１０を通って戻る、外向きの光線の伝搬の光線光学モデルを示す。センサから後方伝搬する光線のうちのいずれかに沿って配置される光源は、光をセンサ上に屈折または反射し、それにより、コンテナ１０およびその内容物を潜在的に見えにくくするであろう。しかしながら、コンテナ１０の水平面内で、かつコンテナ１０の外壁の近くに位置する、２つの領域１００１があることに留意されたい。図１０Ｅに示されるように、１つ以上の光源１２２が領域１００１の中に配置された場合、光源からの眩光は、低減され、または実質的に排除され得る。

【0090】

テレセントリックレンズが示される実施例で使用されたため、センサに垂直に入射する光線のみが、光線光学モデルで考慮される必要があることに留意されたい。しかしながら、付加的な光線を考慮に入れると、類似アプローチが、他の種類の撮像光学部に適用されてもよい。例えば、いくつかの実施形態では、後方伝搬光線を含まない、または実質的に含まない領域を識別するように、センサから代表的な一組の光線（例えば、撮像システムの主光線を含む）を後方伝搬してもよい。眩光を回避しながら、照明光源を識別された領域の中に配置することができる。

【0091】

図１１は、偏光を用いて、細長いタンパク質凝集体とセルロースおよび／または繊維（天然または合成）を区別するための装備を示す。照明システム１２０は、粒子がない場合に黒い画像を提供する交差偏光子９００の間に挟持される、コンテナ１０に向かって光を発する。入射光の偏光を修正する（例えば、回転させる）粒子は、撮像装置１１０によって検出される時系列データの中で白く見える。

【0092】

目的とする粒子が蛍光を発することが分かっている場合、図１２に示されるように、蛍光撮像を粒子識別に採用することができる。この場合、照明源９２０は、目的とする粒子を励起させる青色光を発する。撮像装置１１０の前に配置される狭帯域（例えば、緑色）フィルタ９２２は、励起された粒子からの蛍光のみが検出器に到達するであろうことを確実にする。これらの照明およびフィルタ波長は、目的とする特定の波長に合うように選択することができる。

【0093】

最後に、光を散乱（屈折）させることも反射することもしない、黒い不透明材料の小片等の粒子を検出（および識別）することが可能である。そのような不透明粒子について、サンプルは、後ろから直接光を当てられるべきである。次いで、粒子は、明るい背景上の暗い特徴として識別可能である。不透明粒子の画像は、所望であれば、散乱および反射性粒子の画像と同一の極性で拡大縮小される画像を形成するように、反転させることができる（つまり、粒子は、明るい背景上の暗い点の代わりに、暗い背景上の明るい点として出現する）。

【0094】

層板特有の目視検査プラットフォーム
当業者によって理解されるように、ガラス層板は、ガラスコンテナの内面を伴う化学反応によって形成される、ガラスの薄い可撓性断片または薄片である。本発明のシステムおよび技法は、（過剰な数量の）ガラス層板を含有する薬剤の投与を防止するために、ガラス層板を含有する薬剤を投与する可能性を最小限化するように、ガラス層板を検出し、識別し、数を数えるために使用および／または調節することができる。発明のシステムおよび技法はまた、所与の製剤の構成に依存し、光を反射および散乱させるという点でタンパク質および他の種類の粒子状物質とは異なる、ガラス層板形成を研究するために使用および／または調節することもできる。いずれの特定の理論にも束縛されるわけではないが、ある条件は、他の条件よりもガラス層板形成を推進または妨害する可能性が高いことが考えられる。例えば、管類プロセスによって、および／またはより高い熱の下で製造されるガラスバイアルは、成形ガラスバイアルよりもガラス層板形成に対して耐性が低い傾向がある。クエン酸塩および酒石酸塩等のある緩衝剤を用いて高いｐＨ（アルカリ性）で製剤化される薬液もまた、層板と関連付けられる。薬剤製品がコンテナの内面に暴露されたままである時間の長さ、および薬剤製品の温度もまた、ガラス層板が形成するであろう可能性に影響を及ぼす。さらに詳しくは、例えば、その全体で参照することにより本明細書に組み込まれる、ｔｈｅ Ｕ．Ｓ． Ｆｏｏｄ ａｎｄ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ， Ａｄｖｉｓｏｒｙ ｔｏ Ｄｒｕｇ Ｍａｎｕｆａｃｔｕｒｅｒｓ： Ｆｏｒｍａｔｉｏｎ ｏｆ Ｇｌａｓｓ Ｌａｍｅｌｌａｅ ｉｎ Ｃｅｒｔａｉｎ Ｉｎｊｅｃｔａｂｌｅ Ｄｒｕｇｓ （Ｍａｒｃｈ ２５， ２０１１） （ｗｗｗ．ｆｄａ．ｇｏｖ／Ｄｒｕｇｓ／ＤｒｕｇＳａｆｅｔｙ／ｕｃｍ２４８４９０．ｈｔｍ）を参照されたい。

【0095】

この原理に基づく区別のためのシステムを作成するために、撮像装置は、典型的にバイアルと整合させ、（カメラ軸に対して直角な）コンテナの底部を通る入射光に配向することができる。これは、散乱させる粒子（例えば、タンパク質）から非常にわずかな信号、および反射する粒子（例えば、ガラス層板）から大信号をもたらす。言い換えれば、層板は、容器を通して浮遊する際に、断続的に点滅するように見える。この技法は、層板粒子とタンパク質凝集体を区別する際に高度に特異的であることが示されている。加えて、この撮像技法を使用して得られる信号は、バイアル内の層板の濃度と相関する。結果として、この技法は、商品の中の層板の非破壊的検出に使用することができるだけでなく、どの製剤組成が増加／減少した層板の存在につながるかを判定するためのツールとして使用することもできる。

【0096】

図１３Ａおよび１３Ｂは、例証的な目視検査システムを用いて取得されたガラス層板（図１３Ａ）およびタンパク質（図１３Ｂ）の最大強度投影（ＭＩＰ）像を示す。従来のＭＩＰ像は、１つの空間軸、例えば、ｚ軸に沿って視認される３次元空間を可視化するために、コンピュータ断層撮影で使用される。典型的な従来のＭＩＰ像は、可視化軸と平行な光線に沿って得られたデータの最大値を表す。しかしながら、この場合、図１３Ａおよび１３Ｂに示されるＭＩＰ像は、２次元画像の時間的進化を表すデータの可視化であり、それらは、空間軸よりもむしろ時間軸に沿った投影である。

【0097】

図１３Ａおよび１３Ｂに示されるＭＩＰ像を作成するために、プロセッサは、各ピクセルが容器の中の各空間的位置から反射（および／または透過）される光の量を表す、時系列データの中のピクセルのうちの少なくともいくつかの最大値を選択する。結果として生じる値を描画することにより、ピクセルの最も明るい履歴値を表す、図１３Ａおよび１３Ｂに示されるもの等のＭＩＰ像をもたらす。プロセッサは、値が所定の閾値を超える、ＭＩＰ像の中のピクセルの数を数えることによって、ＭＩＰ像を採点する。得点が類似容器の中の層板の数を表す履歴値を超える場合、プロセッサは、容器がガラス層板を含有する可能性が統計的に高いことを判定する。プロセッサはまた、ＭＩＰ像からガラス層板の数、平均サイズ、および／またはサイズ分布を推定することによって、層板汚染の重大度を判定してもよい。

【0098】

発明のシステムはまた、例えば、時間の関数としての粒子によって反射される光の量の差異、および／または粒子によって透過される光の量の差異に基づいて、容器の中のガラス層板と他の粒子を区別するために使用することもできる。いくつかの非層板粒子は、下側から容器を照射する光源（例えば、図８の光源１２２ｅ）から検出器へ光を反射してもよい。底部照明構成を連続的に使用して、例えば、ガラス塊、金属塊、および外来繊維が、現れることができる。これらの種類の粒子は、撮像装置に向かって光を反射するように自ら整合するたびに、配向依存性であり、いくつかのフレームのみに可視的である層板とは対照的に、コンテナを通って移動する際に一貫して検出されるであろう。一貫して可視的であるが移動している粒子状物質を追跡するために、粒子追跡を底部光時系列画像上で採用することができる。次いで、これらの追跡は、層板採点に使用されるＭＩＰ計算から排除することができ、または代替として、どのようにして所与の粒子が他の照明配向と相互作用するかを判定するように、相互光情報技法に含むことができる。例えば、光を反射する金属粒子が、底部照明構成上で追跡されてもよい。その同一の粒子は、バックライト（例えば、図８の光源１２２ｆ）で照射されたときに光を閉塞する。これらの計量学の両方を使用して、金属粒子と、底部照明を反射するが後方照明を閉塞しないガラス塊を区別することを可能にする。

【0099】

粒子検出、追跡、および特性化
上記で説明されるように、図１に示される目視検査ユニット１００は、暗い背景に対して撮像される明るい粒子の高品質で高解像度の単色画像ストリーム（時系列データ）を記録することができる。（代替として、粒子を白背景上の暗い点として表示することができる。）薬剤製品が、広い種別の根本的に異なる粒子を含有することができるため、画像上の特徴を背景と区別するためにいくつかの異なるアプローチを使用して、時系列データを分析することができる。しばしば、単一の画像（時系列データのフレーム）上の粒子の外観は、重要な目標の本当に正確な量的推定（例えば、計数／サイズ）を行うために十分ではない。例えば、時系列データの１つのフレームの中の単一の粒子に見えるものが、実際には、正確な粒子計数および／または粒径の推定をもたらし得る、相互と衝突するか、または相互に通り過ぎる２つ以上の粒子であり得る。

【0100】

ビデオシーケンスの中のフレーム間の画像特徴の時間的相関関係が、粒子計数およびサイズ測定の精度を向上させる。各粒子の時間依存性軌道を形成するように、連続フレームの中の画像特徴をともに結び付けるプロセスは、粒子追跡、位置合わせ、または割当として知られている。粒子追跡技法は、他の用途のために（顕著に、流体力学の実験的研究において）存在する。しかしながら、これらの用途は、典型的には、境界明瞭な球状のトレーサ粒子を採用する。原理を薬剤製品および他の流体に適用することは、有意に複雑な解決法を必要とする。加えて、いくつかの粒子の種について、時間（追跡）分析は、必ずしも実用的ではない。そのような場合において、特性測定をもたらすために、代替案として統計的アプローチを採用することができる。

【0101】

図１４は、時系列データの取得１３１０から始まる、高レベル粒子検出および識別１３００の概観を提供する。時系列データ（および／または逆時系列データ）は、前処理され１３２０、後処理された逆時系列データは、逆時系列データの統計分析１３４０および／または粒子追跡１３５０を含み得る、２次元粒子識別および測定１３３０に使用される。上記で説明されるように、逆時系列データは、フレームが逆発生順で並べ替えられた、時系列データである。粒子レポート生成１３６０が、粒子識別および測定１３３０の完了時に起こる。

【0102】

時系列データ前処理
前処理１３２０は、静止特徴除去（背景減算）１３２１、画像雑音抑制／フィルタリング１３２２、および強度閾値化１３２３を含む。静止特徴除去１３２１は、コンテナを回転させることにより、その内側に含有された流体および粒子を活性化するという事実を活用する。それらの動的運動は、それらが他の撮像特徴と区別されることを可能にする。コンテナが回転を停止した後に画像捕捉が始まるため、移動している全てのものが潜在的な粒子であると仮定される。静止特徴は、後に無関係であり、明確性を向上させるように画像から除去することができる。

【0103】

一実施形態では、最小強度投影が、静止している画像の中の特徴の近似テンプレートを確立する。これは、例えば、コンテナ壁上に存在し得る、擦過傷、汚れ、および欠陥を含む。次いで、この「静止特徴画像」は、後に、黒背景に対する移動特徴のみを含有する新しいビデオシーケンスを生成するように、ビデオシーケンス全体から差し引くことができる。例えば、図１５Ａおよび１５Ｂは、静止特徴除去の前後の時系列データの単一のフレームを示す。眩光、擦過傷、および他の静止特徴が、図１５Ａのコンテナの複数部分を見えにくくする。背景減算が、より明確に可視的な移動粒子を伴う画像（図１５Ｂ）を残して、静止特徴の多くを除去する。

【0104】

このアプローチの注意として、表面擦過傷等のほとんどのガラス欠陥が、比較的有意量の光を散乱させ、検出器ピクセルが飽和しているため、撮像された画像の中で明るい白色に見える。これらの特徴の減算は、画像の中の「不感」領域をもたらし得る。粒子がこれらの照射された欠陥の後ろまたは前で移動するにつれて、部分的に閉塞され、または完全に消滅さえし得る。この問題を解決するために、欠陥位置を粒子位置に相関させて、粒径および計数データへの表面欠陥の影響を最小限化するように、「静止特徴画像」を保持し、分析し、使用することができる。（余白注記として、表面欠陥が可能な限り多く除去されていることを確実にするように、システムを操作する前に、清掃プロトコルの適用が勧められる。）データはまた、例えば、高周波数および／または低周波数雑音を除去するように、フィルタにかけることもできる１３２２。例えば、空間帯域通過フィルタを（逆）時系列データに適用することにより、第１の空間周波数または第２の空間周波数を上回って変化するデータを除去および／または抑制する。

【0105】

いったん背景特徴が除去されると、各ピクセルの強度値を所定数の値のうちの１つに四捨五入することによって、時系列データが閾値化される１３２３。左に示される８ビットスケール（他の可能なスケールは１６ビットおよび３２ビットを含む）に従って拡大縮小される、図１６Ａおよび１６Ｃに示されるグレースケール画像を考慮されたい。各ピクセルは、０が検出された光がないことを表し、２５５が検出された最大量の光を表す、０から２５５の強度値を有する。１２７以下から０までのこれらの強度値、および１２８から最大２５５までのこれらの強度値を四捨五入することにより、図１６Ｂおよび１６Ｄに示される白黒画像をもたらす。当業者であれば、他の閾値（および複数の閾値）も可能であることを理解するであろう。

【0106】

粒子検出
画像の中の効果的な粒子検出は、種々の画像処理および分割技法に依存する。分割とは、画像の中の目的とする特徴が離散的な管理可能物体に単純化される、計算プロセスを指す。画像から特徴を抽出するための分割方法は、例えば、医用画像の分野で広く使用されており、これらの技法は、粒子識別に採用されてきた。手短に言えば、カメラから取得される画像は、コントラストを最大限化するために、閾値化、背景（静止特徴）減算、フィルタリング（例えば、帯域通過フィルタリング）、および／または他の技法を使用して、後処理される。完了後、プロセッサ１３０は、画像を分割し、次いで、粒子を表すものとして画像のある領域を選択し、それに従ってこれらの領域を分類する。好適な分割アプローチは、信頼関係、流域、レベルセット、グラフ分割、圧縮ベース、クラスタリング、領域拡張、マルチスケール、エッジ検出、およびヒストグラムベースのアプローチを含むが、それらに限定されない。画像が取得された後、分割は、取得された画像上の所望の特徴を粒子の種類と相関させるように、付加的な情報をもたらすことができる。例えば、次いで、粒子の種類を判定するために、面積、周囲、強度、鮮明度、および他の特性等の所与の分割特徴についての情報を使用することができる。

【0107】

粒子追跡および時間逆転
決定的こととして、いずれの以前から利用可能な粒子識別ツールも、バイアルの周囲を移動する際に粒子の時間的挙動を完全に詳細に考慮していない。粒子の計数およびサイズ決定は、単一の「スナップショット」から測定するのみである場合、不正確であり得る。しかしながら、時系列データは、各個別粒子の時間依存性スプレッドシートの作成を可能にして、その基礎的性質のはるかにロバストかつ正確な測定を可能にする、粒子追跡１３４０を使用して解決することができる、粒子挙動のさらなる全体像を提供する。粒子追跡は、ビデオ顕微鏡法で、ならびに流体力学工学で、広範囲に使用されている技法である（粒子追跡速度測定またはＰＴＶと一般的に呼ばれる）。

【0108】

ＰＴＶが公知であるが、粒子追跡解決法の大部分は、連続ビデオフレーム間の粒子の移動がわずかであり、かつ所与の画像の中の粒子間の典型的な分離距離よりも小さいと仮定する。そのような場合において、最近接合致近隣を識別することによって、粒子位置を結び付けることが十分である。しかしながら、多くの用途では、これは適切なモデルではない。回転速度（例えば、約３００ｒｐｍ、１６００ｒｐｍ、および／または１８００ｒｐｍ）および潜在的に高い粒子濃度により、粒子は、典型的な粒子間分離距離よりもはるかに遠く、連続フレーム間で移動すると予期することができる。これは、粒子の以前の移動によって予測される領域の中で粒子を検索することを伴う、予測追跡の形態を採用することによって解決することができる。予測追跡は、図１７に示されるように、後続のフレームの中の粒子の近似予想位置を数学的に予測するように物理方程式の評価を含む。向上した性能のために、予測追跡のこの段階は、例えば、図２１Ｃに関して説明されるように、局所流体挙動の知識（既知の場合）と連結することができる。

【0109】

所与の軌道の正確な予測を形成することは、軌道の基礎を形成する、いくつかの以前のデータ点を必要とし得る。これは、画像シーケンスの開始時に、粒子が最も速く移動しているとき、位置予測の基礎を形成する、以前のデータ点がほとんどないか、または全くない場合があるため、難問を提示する。しかしながら、経時的に、コンテナにおける壁抗力が、回転流体を減速させ、最終的に停止させる。十分長く時系列データを記録することにより、粒子が大幅に減速し、停止さえする、フレームをもたらす。

【0110】

粒子が最初に静止しているように見え、ビデオが進行するにつれてゆっくり加速するように、ビデオの時系列を逆転すること１３３１により、軌道を判定するための「以前の」データ点を提供する。粒子がほとんど移動していない、ビデオの開始時に、各軌道の初期段階を構築するために、最近接合致原理を使用することができる。次いで、適切な時間に、本システムは、予測モードに切り替わることができる。このようにして所得されたデータの時系列を逆転することにより、性能を劇的に向上させる。

【0111】

図１７は、時間逆転を伴う予測追跡の概観を示す。粒子追跡の目標は、図１７（ａ）に示されるように、フレームｉの中の粒子の位置ａ_ｉを、フレームｉ＋１の中のその位置ａ_ｉ＋１にトラックリンクすることである。これは、フレーム間の粒子の移動がその最も近い近隣粒子ｂまでの距離ｄよりも小さい場合に単純である。粒子の移動方向が未知または無作為である場合、最も単純な方法は、検索ゾーン、典型的には、半径ｒ_ｓの円を有することであり、ｒ_ｓは、図１７（ｂ）に示されるように、粒子移動の予期範囲よりも長いが、典型的な粒子間分離距離ｄよりも小さくなるよう選択される。動画時系列を逆転した後、図１７（ｃ）のように、粒子は、ゆっくりと移動し始めるように見える。しかしながら、しばらくして、粒子は、加速するように見え、最近接合致検索方法が失敗し始め得る。逆時系列データの最初のいくつかのフレームが、部分的に軌道を確立し、粒子の速度および加速度の何らかの知識をもたらす。この情報は、図１７（ｄ）に示されるように、フレームｉ＋１の中の粒子の近似位置を予測するように、近似方程式に入力することができる。この予測追跡方法は、特に、濃密および／または高速移動サンプルにおいて、単純な最近接合致追跡よりもかなり効果的である。

【0112】

質量中心検出
図１８Ａおよび１８Ｂは、閾値化後の（逆）時系列データの中の粒子の質量中心検出を図示する。第１に、プロセッサ１３０は、グレースケール画像（図１８Ａ）を閾値化画像（図１８Ｂ）に変換する。各粒子は、形状およびサイズが、フレームが記録されたときの粒子の形状、サイズ、および配向に依存する、２次元投影として現れる。次に、プロセッサは、任意の好適な方法を使用して（例えば、鉛直線方法、幾何学的分解等によって）、（例えば、座標ｘ_ｉおよびｙ_ｉによって示されるような）各２次元投影の幾何学的中心または重心を計算する。プロセッサ１３０は、粒子の軌道を判定するように、フレームごとの基準で特定の粒子の重心の場所を比較することができる。

【0113】

粒子閉塞
本明細書で開示される目視検査システムのそれぞれは、コンテナおよびその内容物といった３次元体積を画像センサの２次元表面上に投影する。所与の２次元センサについて、３次元体積の中の粒子が経路を交差するように見えることが可能性として考えられる。これが起こるとき、１つの粒子が、図１９に示されるように別の粒子を部分的または完全に閉塞してもよい。図１９（１）では、新しい粒子が、画像シーケンスの中で識別され、画像シーケンスを通した粒子の追跡が、図１９（２）に示されるように、一連の連続ステップをもたらす。図１９（３）に示されるように、連続フレームの中で潜在的な合致を探すために検索ゾーンを採用する。時折、図１９（４）に示されるように、１つよりも多くの候補粒子が検索ゾーンを占有するであろうが、その場合、本システムは、最良合致を選択する。当業者によって容易に理解されるように、異なるアプローチの組み合わせのうちのいずれか１つを使用して、最良合致を決定することができる。例えば、１つのフレームの中の候補粒子を表すデータを、先行フレームの中の粒子を表すデータと比較する、および／または相関させることができる。サイズ、形状、輝度、および／または外観の変化を含むが、それらに限定されない、パラメータを比較すること、および／または相関させることにより、候補粒子に対する合致につながる。例証的な目視検査システムは、図１９（５）に示される閉塞等の衝突、閉塞、および一時的な粒子消滅を克服することができる。粒子が図１９（６）のように回収されたとき、進路を再構築することができる。例証的なシステムはまた、図１９（７）のように、２つの進路（およびそれらの検索ゾーン）が衝突するときに引き起こされる対立を解決し、正しい軌道が形成されることを確実にすることもできる。

【0114】

図２０は、２次元画像の中の粒子衝突の別の場合を図示し、（ａ）は、懸濁液中の粒子の典型的な画像である。図２０（ｂ）−（ｅ）は、２つの粒子が反対方向から接近している、図２０（ａ）の囲んだ領域の拡大図を示す。（逆）時系列データの中の次のフレームは、閉塞が２つの粒子を単一の人工的に大きい粒子であるように見せることを示す。閉塞が部分的である（図２０（ｃ））場合、これは、単一の人工的に大きい粒子の外観につながり得る。閉塞が完全である（図２０（ｄ））場合には、より小さい粒子が視野から完全に失われ得、粒子数が１つだけ減少し得る。これは、実際に、精査中の製品が容認可能な肉眼では見ることが出来ない粒子のみを含有するとき、人工的に増加したサイズ測定が規制閾値を超えるのに十分であり得るため、薬剤製品を検査するときに極めて重要であり得る。図２０（ｅ）によって、粒子は、相互を越えて移動しており、独立追跡が継続することができる。粒子軌跡および後続の時間依存性サイズプロファイルを分析することによって、目視検査システムは、閉塞による誤差を自動的に補正することができ、より低い誤拒否率につながる。

【0115】

損失粒子の考慮
論議されるように、粒子は、いくつかの理由により、所与のビデオシーケンスの一部分から消滅し得る。それらは、上記で論議されるような静止特徴除去により、「盲点」および／または「不感」領域を横断し得る。最終的に、いくつかの種類の粒子は、撮像光学部に対して出現および消滅する（輝く）、光学的挙動を呈し得る。そのような場合において、プロセッサは、以下のように、これらの「損失粒子」の移動を予測することができる。粒子がある時間フレーム内の予期位置で再出現した場合、プロセッサは、軌道を結び付け、暫定フレームに対する仮想粒子データを補間することができる。規制観点から、真の測定された粒子データと区別することができるように、仮想粒子データが適切にタグ付けされることが明確になることが重要であると留意されたい。

【0116】

図２１Ａ−２１Ｃは、損失粒子、すなわち、ビデオシーケンスの経過中に視野から一時的に消滅する粒子を追跡して回収するための１つの技法を図示する。消滅は、別の（より大きい粒子）の後ろの閉塞、表面欠陥の後ろの閉塞、既知の盲点を通る移行、または単純に粒子の光学的形状の性質によるものであり得る（例えば、いくつかの種類の粒子は、特定の配向のみで可視的であり得る）。視野から消滅する粒子を見出すこと、または回収することにより、粒子を検出して識別することができる精度を向上させる。

【0117】

図２１Ａは、コンテナ表面上の欠陥によって閉塞される粒子を見出すための予測追跡を図示する。表面欠陥は、大量の光を散乱させ、画像の対応する領域を飽和させる。静止特徴除去が採用された後、これは、画像の中の「不感ゾーン」をもたらす。このゾーンを横断する任意の粒子は、一時的に消滅する。プロセッサ１３０は、有限数のステップに対して仮想粒子を作成することによって、「損失」粒子を回収することができる。粒子が再出現し、検出された場合、進路が合体される。

【0118】

より具体的には、プロセッサ１３０は、その消滅前に粒子の速度を判定するために予測追跡を使用する。それはまた、予期粒子位置を推定するために、予測追跡および粒子の速度を使用することもできる。粒子が予期位置で再び出現する場合、完全な軌道を形成するように仮想位置を結び付けることができる。粒子が既定の時間枠内で再出現しない場合、永久的に損失したものとして信号伝達することができ、もはや追跡されなくなる。

【0119】

図２１Ｂは、粒子が見えない所にある間に、有意な加速または方向の変化を受ける粒子を追跡する方法を示す。粒子軌道を予測するよりもむしろ、プロセッサ１３０は、流体の局所挙動の性質を使用して、断片化された軌道を回顧的に結び付ける。この場合、プロセッサ１３０は、この速度および尺度で流体の層流特性を考慮することによって、軌道を合体した。

【0120】

図２１Ｃは、既知の盲点を横断する際に、どのようにして粒子が消滅および再出現するかを図示する。この実施例では、粒子は、コンテナの極限縁における既知の盲点を横断する。コンテナ画像に対する盲点の位置についての情報を用いてプロセッサ１３０をプログラムすることにより、プロセッサ１３０が軌道を再構築することを可能にする。

【0121】

粒子形状の完全性
いくつかの粒子は、ほとんどの粒子追跡技法によって仮定されるように、点状であるとみなされるほど十分に球形または小型ではない。実際に、多くの粒子は、不規則な形状であり、図２２Ａ−２２Ｃに示されるように、流体を通って流れる際にカメラに対して転倒および回転し得る。場合によっては、不規則な形状の粒子は、図２２Ｂに示されるように、それぞれが各自の軌道を伴う、２つの別個の粒子として出現してもよい。２次元物体の測定された質量中心のそのような予測不可能な移動は、粒子の真の移動を見えにくくし得る。この挙動は、予測追跡のプロセスを重度に複雑にする。本明細書で説明される目視検査システムは、例えば、不規則な形状の粒子について図２２Ａおよび２２Ｃに示されるように、平均軌道を計算することによって、不規則な形状の粒子の明確な摂動運動を克服する機能性を含有し得る。

【0122】

コンテナ／製品特有の流体力学
回転後のコンテナの中の粒子の運動は、重力の影響との流体運動の組み合わせの結果である。流体の運動は、流体の粘度、充填体積、コンテナの形状およびサイズ、および初期回転速度の関数である。粒子追跡性能は、流体システムの物理的制約の知識を軌道構築に組み込むことによって、有意に向上させることができる。

【0123】

従来のコンテナの中で回転させられる液体の流体力学は、ある状況下では驚くほど複雑であり得る。流体力学知識（製薬業で典型的に使用されるコンテナに関する）を軌道構築に組み込むことにより、従来技術と比べて有意な新規性および開発の分野を構成する。

【0124】

図２３は、目視検査プラットフォームによって生成された現実の粒子軌道に対して比較した、計算モデルからの結果とともに、典型的なコンテナの中の流体挙動のいくつかの実施例を示す。研究は、予期しない繊細さを明らかにし、実施例として、図２３（ｄ）では、回転段階中に作成された渦の弛緩（図２３（ａ））による、バイアルの中心の狭い垂直柱に沿った粒子移動を見ることができる。この中心柱の中の流体は、垂直に上向きに移動するにつれて、通常は沈むと予期し得る、重い粒子を上向きに掃引することができる。これは、例えば、上昇すると予期するであろう気泡と、コンテナ特有の流体運動により上昇している外来粒子との識別間で混乱を引き起こし得る。

【0125】

例証的な目視検査システムは、別様に可能となるよりもかなり正確な結果をもたらすために、薬剤製品の予期流体力学の予備知識を活用することができる。このようにして、図２３で図示されるもの等の物理モデルを粒子追跡と組み合わせることは、既存の技術と比べて有意な改良を表す。

【0126】

誤差補正
本明細書で開示される目視検査システムは、ほとんどの実験条件下でロバストであるが、小さい３次元体積の中で移動する多数の粒子を追跡するという課題の複雑性は、主に、粒子が「衝突する」ときに連続フレーム間で形成されている誤った軌道の形態で、いくつかの誤差が導入されるというリスクが常にあることを意味する。この減少は、図２４Ａで図示される。

【0127】

目視検査システムの物理的制約の理解を有利に採用することができる。大まかに言えば、局所的な各粒子の周囲での流体の主要な移動は、（乱流または無作為よりもむしろ）層流である。これが本質的に意味することは、十分に速いカメラを用いると、特に、粒子が画像の中のコンテナの中心を横断する際に、方向の急激な際立った変化を伴わずに、このシステムの中の自然な粒子軌道が円滑に変化するべきであることを意味する。いったん初期軌道連結が完了すると、本システムは、そのような誤差について軌道を回顧的に分析することができる。それらが検出された場合、本システムは、より物理的に一貫した解決法を見つけることができるかどうかを確立するように、近くの軌道を比較することができる。これは、図２４Ｂに示される。

【0128】

正確な粒子計数
粒子数は、各粒子がカウント数で標識される、粒子検出後の（例えば、図２４Ａに示されるような）単一の時点で撮られたスナップショット画像の中の粒子の数を数えることによって、推測することができる。このアプローチは、単純であるが、種々の理由により、系統的に体積の中の粒子の数を実際より少なく数える傾向がある。例えば、１つ以上の粒子が、別の粒子または表面欠陥によって閉塞され得る。粒子が、既知（または未知）の盲点の中にあり得る。加えて、極めて小さい、またはかすかな粒子が、測定閾値にわたって移動するにつれて、断続的に視界から出現および消滅し得る。

【0129】

本明細書で論議される粒子追跡の１つの利点は、これらの問題の全てに対処できることである。結果として、ロバストな粒子追跡のために、単一の画像またはいくつかの画像の統計分析の中の粒子の数よりもむしろ、（図２４Ｂのように）個々の粒子進路の数を数えることによって、粒子計数を向上させることができる。単一のフレーム（またはフレームのアンサンブル）の中の粒子の数よりもむしろ、粒子軌道の数を数えることは、従来の粒子追跡技法と比べて有意な改良を表す。改良のサイズは、存在する粒子の数およびサイズとともに変化する。大まかに言うと、粒子の数が増加するにつれて、閉塞の可能性が増加し、よって、本発明の粒子追跡の時間的能力による改良が比例的に増加する。

【0130】

正確な粒径決定
従来の粒子測定システムは、静止画像から粒径を測定する。最も典型的には、これは、粒子の最長単一寸法として粒径を画定し得る、規制および／または業界標準に従って、図２５に示されるように、粒子の最長の見掛けの軸の長さ、またはフェレ径を測定することによって行われる。この定義の下で、１ｍｍの髪の毛は、１ｍｍ直径を伴う球状粒子と同一に分類される。この点を念頭に置いて、２次元画像から、最大フェレ径が、使用する合理的な測定である。しかしながら、静止画像からの粒径の測定は、いくつかの重大な問題を抱えている。

【0131】

第１に、３次元体積の２次元投影では、複数の粒子が重複し、単一のはるかに大きい粒子であるように見えるものを作成することが容易に可能である。規制当局が許容粒径に非常に厳しい上限を設定する業界では、これは、特に製造用途にとって重大な問題であり、特に密集サンプルにとって、誤拒否につながり得る。

【0132】

第２に、不規則な形状の粒子は、コンテナの周囲を流れる際に、（カメラに対して）予測不可能に転倒し得る。単一の２次元スナップショットを用いると、所与の粒子の最長寸法がカメラの視認軸に対して直角であることを保証することが不可能であり得る。したがって、本システムは、系統的に粒子を実際よりも小さいサイズに決定し得、これは、厳しく規制された業界では悲惨な結果を生じ得る。粒子追跡を通して、コンテナの周囲を流れる際に粒子の時間依存性最大フェレ径を調査することにより、粒子の最大寸法のさらに正確な尺度を提供する。

【0133】

第３に、粒子は、円筒形コンテナの周囲を移動する際に、図２５Ａおよび２５Ｂに示されるように、概して、それらの長軸を周辺流体流動の方向と整合させる。概して、円筒形コンテナにとって、これは、細長い粒子が、極限の外側縁よりも画像の中心で大きく見え得ることを意味する。通常、撮像装置は、粒子が画像センサの光軸に対して直角に進行しているときに、最大の見掛けの粒径（フェレ径）を検出する。単一の粒子がコンテナの周囲を流れる際に追跡される場合、その正しい最大伸長を正確に測定することができ、これは、静的測定手順が達成することが困難なものである。

【0134】

最後に、（上記で論議されるように）照明を点滅させることによって、運動を不鮮明にする効果を最小限化する努力にもかかわらず、流体および粒子が最も速く移動しているときに、ある程度の運動の不鮮明さが画像捕捉シーケンスの開始時に発生することが、依然として可能性として考えられ得る。粒径の時間依存性分析を使用することによって、（測定された粒径を増加させる傾向がある）運動の不鮮明さによるデータの中のアーチファクトを識別して抑制することができる。

【0135】

図２５Ｃ−２５Ｅは、より正確な粒径測定のために粒子軌道を追跡するための時系列データの使用を図示する。図２５Ｃは、回転後にバイアルの周囲を移動する１００ミクロンのポリマー微小球の典型的な進路を示す。粒子は、図２５Ｄに示されるように、それらの速度が視認方向に対して直角であるときに、コンテナの中心を横断するように見える際に、カメラに対して最も速く移動する。例えば、初期回転速度が３００ｒｐｍであり、粒子の半径方向位置ｒ_ｐが５ｍｍである場合には、粒子速度ｖ_ｐは、約９．４ｍ／ｓである。この速度で、わずか１０μｓのカメラ露出時間が、運動の不鮮明さにより、見掛けの粒径を２倍にする。図２５Ｅは、運動の不鮮明さが画像にどれだけ悪影響を及ぼし得るかを示し、左では、粒子は、速く（約３００ｒｐｍ）移動し、伸張されており、右では、同一の粒子は、静止しており、より円形に見える。

【0136】

図２５Ｆは、図２５Ｃに示される粒子の時間依存性フェレ径のグラフである。円筒形コンテナのレンズ効果により、粒子の見掛けのサイズは、コンテナの縁付近で縮小される（右軸の目盛Ｄ）。最大粒径の最良推定値は、粒子が適度な速度でコンテナの中心を横断する時に発生する（右軸の目盛Ｂ）。速度が高すぎる場合（典型的には、コンテナ回転後の最初の数秒の間に起こる）には、運動の不鮮明さが粒径を誇張する（右軸の目盛Ａ）。最終的に、流体抗力により、粒子は、完全に移動を停止するであろう（右軸の目盛Ｃ）。この場合、中域ピーク値（右軸の目盛Ｂ）が、最大粒径の最も正確な測定値である。

【0137】

粒子特性化
図２６Ａは、粒子およびそれらの軌道の両方を伴う時系列データの連続フレームを示す。ほぼ平面的な進路は、タンパク質凝集体を模倣する１００ミクロンのポリマー微小球の軌道を表す。ほとんど中立的に浮揚性のある、これらの粒子は、流体とともに移動し、著しく沈下または上昇しない。垂直に降下する進路は、最初に流体とともに回転したが、シーケンスが進行するにつれて沈んだ、１００ミクロンのガラスビーズの軌道を表す。上昇する進路は、正の浮力を伴う気泡および粒子の軌道を表す。

【0138】

粒子追跡は、調査中の粒子の性質に関して重要な手掛かりを与えることができる、いくつかの時間依存性質の測定を可能にする。例えば、概して、規制観点から良性と見なすことができる気泡は、現在の光学ベースの検査機を混乱させ、誤検出および不要な拒否につながり得る。この場合、粒子の時間依存性運動（流体が減速し始めるにつれて、気泡が垂直に上昇する傾向がある）は、粒子追跡によって生成された軌道から容易に識別することができる、非常に明白名特性につながる。同様に、中立的に浮揚性のある粒子が、あまり上昇または落下し得ない一方で、濃密な粒子は、コンテナの底部に沈む。より軽い粒子が、回転流体によって形成される渦の中で上方に掃引され得、重い粒子が、直線軌道を有し得る。

【0139】

より広範には、粒子追跡プロセスは、位置、移動の速度、移動の方向、加速度、サイズ（例えば、２次元面積）、サイズ（最大フェレ径）、伸長、球形度、コントラスト、および輝度を含む、全ての関連パラメータの詳細を含有する、図２６Ｂに示されるもの等の時間依存性スプレッドシートを生じる。これらのパラメータは、粒子を特定の種として分類するために使用することができる、形跡を提供する。粒子追跡解決法を介して達成可能である、このアプローチは、目的とするほとんどの粒子に機能する。そのような時間依存性測定のアレイに基づいて、粒子ごとの基準で粒子を分類する能力は、本発明の特定の便益である。

【0140】

ビデオ圧縮
比較的大きいコンテナの中の非常に小さい粒子を可視化することは、非常に高い解像度の画像センサの使用の利益を享受する。画像捕捉速度もまた、正確な軌道構築を確保するために最大限化される必要がある。これらの要件の組み合わせは、極めて大きいビデオファイル、例えば、１ＧＢ、２ＧＢ、５ＧＢ、１０ＧＢ、またはそれ以上をもたらす。いくつかの用途について、分析データに加えて、元のビデオをアーカイブに保管することが必要であり得る。適度なサイズのサンプルセットについても、関与する大きいファイルサイズは、潜在的にデータ記憶費用を法外に高額にし得る。

【0141】

（逆）時系列データファイルのサイズを縮小するために、（逆）時系列データのビデオ圧縮を使用することができる。粒子データ完全性を保護することは、無損失ビデオ圧縮の使用を必要とし得る。研究は、より一般的に使用されている（かつより効率的な）損失性圧縮技法（例えば、ＭＰＥＧ）は、画像を決定的にひずませ、摂動を与え、いくつかの不要な視覚アーチファクトを導入し得ることを示唆している。

【0142】

無損失圧縮は、一般に、損失性圧縮と比較して、比較的非効率的であるが、その有効性を向上させることができる、いくつかのステップがある。時系列データのほとんどのフレームは、暗い背景に対して設定された、わずかな小さく明るい物体を示す。暗い背景は、有用な情報を含有しない。それは、真に黒色ではなく、むしろ、非常にかすかな不規則雑音から成る。この背景を純粋に黒い背景と置換することにより、画像を多大に単純化し、標準無損失技法（例えば、ｚｉｐ、Ｈｕｆｆｙｕｖ）が動作することをさらに効率的にする。

【0143】

このプロセスは、文献中の他の場所で報告されている。しかしながら、ここで新規であるものは、何が所与のフレームの中で背景を実際に構成するかという具体的な決定である。他の圧縮プロセスは、閾値強度レベルを設定し、このレベルを下回る画像の中の全てのピクセルが背景の一部であることを仮定する。これは、広範囲に効果的な方略であるが、保持された粒子のサイズのわずかな縮小をもたらすことができ、輝度が固有の不規則背景「雑音」の上限と同位である、非常にかすかな粒子を完全に除去することができる。

【0144】

これらの従来の技法は、（逆）時系列データと連動するが、例証的な実施形態で使用される圧縮は、破壊的閾値化の採用前に、かすかな粒子の背景を分析する独特の段階を採用する。これは、データ記憶要件への低減を最大限化しながら、データ完全性を保持するという最良のバランスを確保する。

【0145】

充填体積／メニスカス検出
目視検査プラットフォームの自動実施形態が、サンプルの充填体積を正確に検出し、これは、充填体積が特定の実行にわたって一貫しているであろうという保証がない、研究用途で重要である。これは、データ転送および記憶への圧力を引き起こす、高解像度画像センサによって生成されるもの等の非常に大きいデータファイルを扱うときに、特に有用である。この理由により、任意のさらなる情報が無関係であるため、流体体積のみを対象とするように記録画像を制限することが望ましくあり得る。

【0146】

例証的なシステムは、例えば、図２７−２９に示され、以下で説明されるような画像の中のコンテナの境界線を検出するために、例えば、自動エッジ検出または特徴認識アルゴリズムを採用してもよい。メニスカスおよびバイアル基部の両方が、特異な独特の特徴であるため、画像の中のそれらの位置を正確に識別するために、いくつかの可能な照明構成および／または画像処理技法を採用することができる。充填体積を測定し、流体によって占有される画像の領域を判定することにより、目的とする領域をもたらす。具体的には、図８から、以下で説明されるように充填体積を検出するために、光源１２２ｆ（バックライト）、１２２ｅ（底部光）、ならびに１２２ａおよび１２２ｂの組み合わせ（後方傾斜照明）を使用した構成を全て使用することができる。

【0147】

図２７Ａ−２７Ｆは、図８の後方傾斜照明１２２ａおよび１２２ｂを使用した、コンテナ内の目的とする領域の自動検出を図示する。図２７Ａは、容器の基部およびメニスカスが、目立つ明るい物体として明確に可視的である、コンテナの静止画像を示す。実施例として、プロセッサが、図２７Ｂに示されるように、コンテナの垂直壁および目的とする領域の幅ｗを識別するために、エッジ検出を採用することができる。外観が予測しにくくあり得る、メニスカスおよびバイアル基部の検出のために、プロセスは、例えば、目的とする領域の単純化画像を提供するために、強度閾値化および分割を採用することができる（図２７Ｃに示される）。この段階で、プロセッサは、粒子分析に好適ではない場合があるコンテナ、例えば、表面が擦過傷を受けている、および／または汚れで覆われているコンテナを自動的に識別することができる。システムの有効性は、過剰な濁度、コンテナ表面欠陥、または過剰に高い粒子濃度（個々の粒子をもはや画像の中で離散化することができなくなる）によって損なわれ得る。コンテナが満足できる状態であるとプロセッサが判定した場合には、図２７Ｄに示されるように、メニスカスおよびバイアル基部に対応する物体を単離して単純化することができる。プロセッサは、図２７Ｅに示されるように、メニスカスの下縁とバイアル基部の上縁との間の距離として、目的とする領域の垂直高さｈを画定する。最後に、プロセッサは、図２７Ｆに示されるように、可視的な流体によって占有される画像の領域のみが記録されるように、目的とする領域の寸法のうちの幅および高さを使用して、元の画像ストリームを切り取ってもよい。

【0148】

図２８Ａ−２８Ｃは、背後から光を当てられた構成（例えば、図８の光源１２２ｆ）を使用して取得されたデータを用いて実行された、類似メニスカス検出プロセスを図示する。図２８Ａは、バックライトを用いて撮像された典型的なコンテナを表す、時系列データのフレームを示す。メニスカス、壁、および基部は、明確に区別可能であり、図２８Ｂのように、エッジ検出を使用して自動的に識別することができる。しかしながら、大きな擦過傷等の欠陥が、バックライト（図２８Ｂ）または後方傾斜光（例えば、以下で説明される図２９Ｃのような）の使用にかかわらず、メニスカス位置の正確な検出を潜在的に損ない得る。１つの実装では、メニスカスおよびバイアル基部を識別するために、画像の強度閾値化を使用する。これらが比較的大きい物体であるため、かつそれらの形状が検出器に向かって比較的大量の光を散乱させるため、存在し得る任意の他の特徴とは明確に異なって、それらを明確に識別することができる。

【0149】

図２９Ａ−２９Ｄは、ほぼ平面的な底部を伴う円筒形容器の中のメニスカスの検出を図示する。自動充填体積検出は、メニスカスを検出するための閾値化（図２９Ａ）から始まり、次いで、それが目的とする領域を設定し、また、充填体積の尺度でもある。次に、図２９Ｂでは、斜光照明が、エッジ検出を困難にし得る、擦過傷（示されている）、汚れ、指紋、ガラス欠陥、または凝縮等の表面欠陥を強調表示する。図２９Ｃのように、（例えば、図８のような光源１２２ｅを使用して）下側からバイアルを照らすことにより、（比較的）表面欠陥を感じない方式でメニスカスを照射し、ここでは、たとえ表面がひどく擦過傷を受けていても、メニスカスは可視的である。下側からの照明はまた、図２９Ｄに示されるように、空のバイアルと満杯のバイアルとを区別すること、およびこれらの極限間の全ての充填レベルでメニスカスの高さを正確に検出することを可能にする。下側からバイアルを照射することは、擦過傷および他の表面欠陥による誤差を軽減するため、メニスカス検出の有効性を増加させる（図２７Ｃ）。わずかな角度で容器を照射するように光源１２２ｅを設定することにより、表面欠陥への感度をさらに減少させる。透明なコンテナ基部の欠如により、下側から照射することが困難であり得る、シリンジについては、狭い角度で斜めに照射することによって、類似効果を達成することができる。

【0150】

上記で説明されるメニスカス検出に類似する検査技法もまた、流体中に懸濁された粒子を識別して分析するという任意の後続の試行を損なうであろう、特徴を探るために採用することができる。これは、過剰に濁った液体、決定的に損傷したコンテナ（過剰な擦過傷または表面破片を含む）、および粒子濃度が非常に高いため、もはや粒子を離散化することができない流体の識別を含んでもよい。

【0151】

プロセッサおよびメモリ
当業者であれば、本明細書で開示されるプロセッサが、アプリケーションプログラムおよび同等物を実行する処理、記憶、および入出力デバイスを提供する、任意の好適なデバイスを備えてもよいことを容易に認識するであろう。例示的なプロセッサは、集積回路、フィールドプログラマブルゲートアレイ、および／または任意の他の好適なアーキテクチャで実装されてもよい。例証的なプロセッサはまた、通信ネットワークを通して、他のプロセッサおよび／またはサーバコンピュータを含む、他のコンピュータデバイスにリンクされてもよい。通信ネットワークは、相互と通信するためにそれぞれのプロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を現在使用している、遠隔アクセスネットワーク、グローバルネットワーク（例えば、インターネット）、コンピュータの世界的集合、ローカルエリアまたは広域ネットワーク、およびゲートウェイの一部であり得る。他の電子デバイス／コンピュータネットワークアーキテクチャも好適である。

【0152】

図３０は、例証的なプロセッサ５０の内部構造の略図である。プロセッサ５０は、バスが、コンピュータまたは処理システムの構成要素間のデータ転送に使用される一組のハードウェアラインである、システムバス７９を含有する。バス７９は、本質的には、要素間の情報の転送を可能にするコンピュータシステムの異なる要素（例えば、プロセッサ、ディスク記憶装置、メモリ、入出力ポート、ネットワークポート等）を接続する、共有導管である。システムバス７９には、種々の入出力デバイス（例えば、キーボード、マウス、ディスプレイ、プリンタ、スピーカ等）をプロセッサ５０に接続するためのＩ／Ｏデバイスインターフェース８２が取り付けられる。ネットワークインターフェース８６は、コンピュータがネットワークに取り付けられた種々の他のデバイスに接続することを可能にする。メモリ９０は、例証的な目視検査システムおよび技法の実施形態を実装するために使用される、コンピュータソフトウェア命令９２およびデータ９４のための揮発性および／または不揮発性記憶装置を提供する。ディスク記憶装置９５は、例証的な目視検査の実施形態を実装するために使用される、コンピュータソフトウェア命令９２およびデータ９４のための（付加的な）不揮発性記憶装置を提供する。中央プロセッサユニット８４もまた、システムバス７９に取り付けられ、コンピュータ命令の実行を提供する。

【0153】

一実施形態では、プロセッサルーチン９２およびデータ９４は、例証的な目視検査システムのためのソフトウェア命令の少なくとも一部分を提供する、コンピュータ可読媒体（例えば、１つ以上のＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ディスケット、テープ等のリムーバブル記憶媒体）を含む、コンピュータプログラム製品（概して９２と参照される）である。コンピュータプログラム製品９２は、当技術分野で周知であるように、任意の好適なソフトウェアインストール手順によってインストールすることができる。別の実施形態では、ソフトウェア命令の少なくとも一部分はまた、ケーブル、通信、および／または無線接続上でダウンロードされてもよい。他の実施形態では、例示的なプログラムは、伝搬媒体上の伝搬信号上で具現化される、コンピュータプログラム伝搬信号製品１０７である（例えば、インターネットまたは他のネットワーク等のグローバルネットワーク上で伝搬される、電波、赤外線波、レーザ波、音波、または電気波）。そのような搬送媒体または信号は、例証的なルーチン／プログラム９２のためのソフトウェア命令の少なくとも一部分を提供する。

【0154】

代替実施形態では、伝搬信号は、伝搬媒体上で搬送されるアナログ搬送波またはデジタル信号である。例えば、伝搬信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワーク、または他のネットワーク上で伝搬されるデジタル化信号であってもよい。一実施形態では、伝搬信号は、数ミリ秒、数秒、数分、またはそれより長い期間にわたって、ネットワーク上でパケットにおいて送信されるソフトウェアアプリケーションのための命令等の、ある期間にわたって伝搬媒体上で伝送される信号である。別の実施形態では、コンピュータプログラム製品９２のコンピュータ可読媒体は、コンピュータプログラム伝搬信号製品について上記で説明されるように、伝搬媒体を受信し、伝搬媒体で具現化される伝搬信号を識別すること等によって、プロセッサ５０が受信して読み取り得る、伝搬媒体である。

【0155】

一般的に言えば、「搬送媒体」または一過性の搬送波という用語は、先述の一過性の信号、伝搬信号、伝搬媒体、記憶媒体、および同等物を包含する。

【0156】

センサ冷却
上記の実施形態では、電子センサが、粒子の画像を捕捉するために使用される。ＣＣＤ等の電子センサは、特に、低い信号強度で、測定された信号の完全性を損なう働きをする、いくつかの種類の不規則雑音を受ける。いくつかの実施形態では、センサは、雑音を低減させるように冷却されてもよい。冷却は、例えば、熱電冷却器、熱交換器（例えば、低温冷却器）、液体窒素冷却、およびそれらの組み合わせの使用を含む、任意の好適な技法を使用して達成されてもよい。

【0157】

種々の実施形態では、雑音低減は、特に、タンパク質凝集体の検出に関して、粒子検出において利点を有する。典型的な用途では、タンパク質凝集体は、比較的大きくあり得るが（例えば、直径が最大で数百ミクロン）、これらの凝集体粒子の物理的構造は、しばしば、低い密度（粒子の大部分が多孔質であり、周辺媒体で充填され得る）を伴って非常に緩く、周辺媒体とは対照的な低い屈折率がある。これらの物理的性質により、タンパク質凝集体は、ガラス断片または繊維等の他の粒子と比較して、比較的少量の光を散乱させることができる。

【0158】

現代の電子画像センサに影響を及ぼす雑音の多くは、本質的に熱的である。この雑音は、主に、センサのダイナミックレンジの下端に影響を及ぼす。例えば、いくつかの実施形態では、ダイナミックレンジの低いほうのＸ％（例えば、１０％）が、雑音によって占有され、（例えば、上記で説明されるような）画像閾値化プロセス中に除去されなければならない。粒子検出の閾値は、最低でも、約Ｘ％というこの値よりも高くなければならず、それにより、信号から低強度データを除去する。これは、タンパク質凝集体等のかすかな粒子の正確な検出を妨げ得る。例えば、センサを冷却することによって、雑音を低減させることにより、より低い閾値が使用されてもよく、低強度信号の向上した検出を可能にする。

【0159】

図３１は、上記で説明される閾値化の問題を図示する。図３１のパネルＡは、本明細書で説明されるデバイスおよび技術を使用して取得された典型的な画像シーケンスからの切り取られたセグメントを示す。示されるように、画像は、８ビットグレースケール画像であり、すなわち、各ピクセルは、直線的に０（黒）から２５５（白）に及ぶ強度値を有することができる。画像は、１つが比較的明るく、１つが非常にかすかである、２つの粒子を含有する。図３１のパネルＢは、いかなる粒子も含有しない画像の中のボックスに対応する、「背景」の強度値を示す強度ヒストグラムを示す。

【0160】

センサは、少なくとも部分的に熱的効果により、強度ヒストグラムの下端でガウス背景雑音曲線を呈する。この曲線の幅は、粒子検出の閾値を判定する。手短に言えば、粒子は、閾値化を耐え抜くために、背景雑音よりも有意に明るくなる必要がある。

【0161】

図３１のパネルＣは、明るい粒子の強度ヒストグラムを示す。粒子画像は、ヒストグラムの閾値の右側に有意数のピクセルを有し、よって、閾値化後に容易に検出可能となるであろう。

【0162】

対照的に、図３１のパネルＤに示されるように、よりかすかな粒子は、閾値を上回る比較的小数のピクセルを有し、それは、閾値化／分割プロセス中に消去される可能性が高いであろう。しかしながら、雑音レベルを低減させるように冷却または他の技法が適用され、それにより、閾値を左側に偏移した場合、よりかすかな粒子を検出できる可能性がある。

【0163】

光ベースの列挙および非破壊的サイズ決定（ＬＥＮＳ）
コンテナ内の粒子の非破壊的サイズ決定および計数を行うとき、いくつかの実施形態では、コンテナ自体によって生成される感知可能なアーチファクトがある。液界面は、バイアルを通過する光を屈折させ、サイズ決定および計数手順に使用される粒子の１つまたは複数の画像の中で感知可能なひずみを引き起こす。結果として、所与のサイズの粒子が、バイアル内のそれらの空間的位置に応じて、例えば、画像の中で最大で４倍大きく見える。円筒形コンテナについて、粒子画像は、典型的には、バイアルの垂直軸ではなく、横軸に沿って伸張されるのみであることに留意されたい（これらの効果の説明図については図５Ｅを参照）。

【0164】

上述のように、いくつかの実施形態では、これらのひずみ効果が、補正光学方法を使用して補正（例えば、軽減または排除さえ）されてもよい。しかしながら、いくつかの実施形態では、そのような光学補正は、不完全または利用不可能であり得る。そのような場合において、検出器上の対応する画像への粒径の直接相関を行うことができない。

【0165】

例えば、図３２は、コンテナからのひずみが補正されていない（図５Ｅに示される状況に対応する）、システムを使用して取得された、流体中の標準的なサイズの（示されるように、１００μｍ直径）粒子（ポリマー微小球）の集団に対する検出された画像サイズのヒストグラムを示す。コンテナひずみ効果による、見掛けの画像サイズの有意な変動が、明確に示されている。

【0166】

この変動は、各サイズ集団からの検出器上の見掛けの領域に大幅な重複があり得るため、異なるサイズの粒子の集団間の区別を困難にする。例えば、図３３は、流体中の標準的なサイズの（示されるように、１００μｍおよび１４０μｍ直径）粒子の２つの集団に対する検出された画像サイズのヒストグラムを示す。２つのサイズ集団のヒストグラム間の有意な重複が、明確に示されている。

【0167】

いくつかの実施形態では、上記で説明されるひずみ効果の存在下でさえも正確なサイズ決定情報を回収するように、処理技法が適用されてもよい。処理は、既知のサイズ標準を使用して得られたデータを使用して較正される。例えば、図３４は、標準サイズ粒子（ポリマー微小球）の４つの異なる集団に対する実験的に取得された見掛けのサイズのヒストグラムを示す。４つの較正曲線が示されているが、種々の実施形態では、任意の好適な数が使用されてもよい。いくつかの実施形態では、少なくとも２つ、少なくとも３つ、少なくとも４つ、少なくとも５つ、または少なくとも６つの曲線が使用されてもよい。いくつかの実施形態では、曲線の数は、２〜１００の範囲、または４〜６等のその任意の下位範囲内である。いくつかの実施形態では、付加的な曲線（例えば、実験的に測定された値の間のサイズ値に対応する）を生成するように、一組の実験的較正曲線を補間することができる。

【0168】

いくつかの実施形態では、較正曲線は、任意の好適な量、例えば、少なくとも１μｍ、少なくとも５μｍ、少なくとも１０μｍ、少なくとも２０μｍ、またはそれ以上だけ、例えば、１μｍから１０００μｍの範囲またはその任意の下位範囲内で異なる、実際のサイズを有する粒子集団に対応してもよい。

【0169】

いったん較正曲線が判定されると、未知のサイズを有する粒子を伴うサンプルの見掛けのサイズ分布曲線が（例えば、１つまたは複数の静止画像、あるいは任意の他の好適な技法から）得られてもよい。サンプル曲線は、同一または類似実験条件（例えば、同一または類似コンテナサイズおよび形状、流体性質、照明条件、撮像条件等）下で得られてもよい。このサンプル曲線は、サンプル中の粒子のサイズを示す情報を判定するように、較正曲線と比較される。

【0170】

例えば、いくつかの実施形態では、較正曲線の加重した重ね合わせが、サンプル曲線と比較される。重ね合わせの加重は、例えば、当技術分野で公知である任意の好適な適合技法を使用して、重ね合わせをサンプル曲線に適合させるように変化させられる。次いで、サンプル曲線への最良適合の加重が、サンプル中の粒子の実際のサイズについての情報を提供する。例えば、いくつかの実施形態では、各較正曲線が最良適合重ね合わせの中で出現する回数は、サンプル内のそのサイズ種の計数に対応する。

【0171】

図３５は、実験サンプル曲線への較正曲線の重ね合わせの適合を図示する。この場合、サンプルは、粒子が直径７５〜１２５μｍの範囲内であることが既知であるように調製された。図３６は、対応する画像から未加工の見掛けのサイズを単純にビニングすることによって得られたサイズ計数と比較した、適合からの結果として生じたサイズ計数を示す。未加工データから、実際の７５〜１２５μｍサイズ範囲外に有意数の偽計数がある。対照的に、較正曲線の適合から得られた結果は、多大に低減した数の偽計数を示す。

【0172】

サンプルデータを較正データに比較することへの１つの可能なアプローチが説明されているが、他の好適な技法が使用されてもよいことに留意されたい。例えば、いくつかの実施形態では、サンプル曲線は、正弦波基底関数を使用した波形のフーリエ分解と同様に、基底関数として較正曲線を使用して分解されてもよい。一般に、任意の好適なコンボリューション、デコンボリューション、分解、または他の技法が使用されてもよい。

【0173】

いくつかの実施形態では、光ベースの列挙および非破壊的（「ＬＥＮＳ」）サイズ決定技法が、前述のような粒子追跡技法と組み合わせて使用されてもよい。例えば、ＬＥＮＳ技法は、粒子の形状が、較正データを生成するために使用されるサイズ標準における粒子の形状に近似するときに、より良好に作用する傾向があるであろう。加えて、本技法は、粒子の数が多い（例えば、１０以上、５０以上、１００以上、またはそれより多い）ときに、良好に機能し、アルゴリズムが処理するためのより大きいデータセットを提供する傾向がある。

【0174】

しかしながら、いくつかの用途では、存在する粒子の数が少なくあり得る。いくつかの用途では、サンプル中のより大きい粒子に焦点が合わせられてもよい。さらに、いくつかの用途では、サンプルは、サイズ標準粒子の形状とは異なる形状を有する、粒子を含んでもよい。例えば、繊維は、多くの標準で使用される球形よりもむしろ、細長くなるであろう。これらの条件下で、ＬＥＮＳ技法は、効果的に機能しない場合がある。

【0175】

一般に、任意の数の粒子が、上記で説明される技法を使用して数えられてもよい。いくつかの実施形態では、数えられ得る粒子の数の上限は、サンプル中の粒子／粒子重複によって判定される。一般に、コンテナの中に存在する粒子が多くなるほど、２つが単一の２Ｄ検出器にとって分離して見えなくなる可能性が高くなる。これは、体積あたりの粒子および粒径の関数である。典型的には、大きい粒子が、検出器上でより多くの面積を占める（したがって、より小さい粒子と比較して、所与の数／ｍｌに対してさらに重複する）。例えば、ある条件下で、８ｍｌの流体で充填された１０ｃｃバイアルの中で、５０μｍの直径を伴う最大約５００個の粒子が、粒子重複による過小計数および過大サイズ効果の前に数えられてもよい。

【0176】

しかしながら、上記で提示される粒子追跡技法は、比較的大きい粒子を数えてサイズを決定することにとって効果的であり得る。したがって、いくつかの実施形態では、２つのアプローチの混成物が使用されてもよい。図３７は、そのような混成プロセスの例示的実施形態を示す。ステップ３７０１では、例えば、本明細書で説明される技法のうちのいずれかを使用して、画像シーケンスが記録される。ステップ３７０２では、画像シーケンスが処理される（例えば、フィルタにかけられる、閾値化される、分割される等）。ステップ３７０３では、ステップ３７０２で生成される粒子データを、閾値サイズを上回る粒子について事前選別することができる。これらの大きい粒子は、データセットから除去し、追跡技法を使用してステップ３７０４で処理することができる。これは、大きい粒子の上質な時間依存性サイズ測定を提供してもよい。（サイズ閾値を下回る）より小さい粒子の背景が存在している場合には、これは、ＬＥＮＳ技法を使用してステップ３７０５で処理することができる。次いで、精査中のコンテナに対する単一の粒子レポートを生成するように、２つの異なる技法によって生成されるデータを、ステップ３７０６に組み込むことができる。

【0177】

種々の実施形態では、どの技法が適用されるかを判定するために使用されるサイズ閾値は、約１μｍ以上、例えば、粒子の幅または直径の約１〜４００μｍの範囲、あるいはその任意の下位範囲内、例えば、約１〜約５０μｍ、約５０〜約２５０μｍ、または約７５〜約１００μｍという任意の好適な閾値または最小値に設定されてもよい。いくつかの実施形態では、各技法に送信される粒子データは、サイズ以外の基準、例えば、粒子の形状に関する情報を使用して選択されてもよい。一般に、基準の任意の好適な組み合わせが使用されてもよい。

【0178】

３次元撮像および粒子検出技法
上述のように、いくつかの実施形態では、自動目視検査ユニット１００は、コンテナ１０の内容物の３次元撮像を可能にする、２つ以上の撮像装置１１０を含んでもよい。

【0179】

例えば、図３８Ａ−Ｃは、３つの撮像装置１１０を特色とするユニット１００を図示する。示されるように、撮像装置１１０は、１２０度間隔でコンテナ１０の周囲の円の中に位置するが、種々の実施形態では、より多いまたは少ないセンサを採用することができる。隣接する撮像センサ間の角度は、相互に等しくなる必要はないが、いくつかの実施形態では、同等角度配列が、以下で説明される画像処理技法を単純化する。

【0180】

いくつかの実施形態では、各撮像装置１１０は、実質的に同一である。撮像装置１１０は、コンテナ１０が各撮像装置の視野の中心に置かれた状態で、全てコンテナ１０に関して同一の物理的高さにあるように整合させられてもよい。

【0181】

いくつかの実施形態では、この物理的整合を最適化するように注意が払われるときでさえも、配置の小さい誤差が発生し得る。これに対処するために、撮像装置１１０は、既知の較正付属品を撮像することによって較正されてもよい。次いで、それに従って捕捉された画像を再サンプリングして偏移することによって、任意の十分に小さい横または垂直整合偏差に対処することができる。いくつかの実施形態では、画像は、撮像装置１１０で使用される異なるセンサ間の感度の変動または他の性能特性差を補正するように処理されてもよい。

【0182】

図３８Ｃは、ユニット１００の単一の撮像アームを示す。上記で詳細に説明されるように、テレセントリック撮像配列を採用することによって、撮像軸と実質的に平行な光線のみが撮像装置１１０のセンサ表面に到達することを確実にする。図３９に示されるように、幾何学光線光学技法（または他の好適な技法）を使用して、コンテナ壁を通って伝搬し、センサ表面に到達するであろう、コンテナ１０の内側の光線のモデルを確立することができる。

【0183】

光線のベクトルが分かっていると、２次元画像から点または領域を取り、その強度をコンテナ１０の中へ戻して伝搬することができる。一度に２次元から１つの水平列を得て、コンテナ容積内に２次元水平グリッドを描き出すことができる。３つの撮像装置１１０のそれぞれと関連付けられる水平グリッドは、単一のマップを生じるように重ね合わせられてもよい。付加的な水平センサ列のためのプロセスを繰り返すことによって、例えば、コンテナ１０の体積の全体または一部に対応する、３次元（３Ｄ）構造を形成するように、２次元グリッドの垂直スタックを構築することができる。

【0184】

上記で説明されるものと同様に、強度閾値化を使用して、粒子候補が、結果として生じる３Ｄ構造内で識別されてもよい。閾値化は、撮像装置１１０からの元の２次元画像上で行うことができるか、または重ね合わせ後に３Ｄ構造内の水平マップ上で行うことができる。

【0185】

閾値化３Ｄ構造を使用して、候補粒子を識別し、それにより、コンテナ１０の流体体積内の粒子の３Ｄ位置の直接測定を得ることができる。典型的な用途において、３Ｄ位置測定は、流体体積の大部分にとって正確であるが、場合によっては、例えば、撮像装置１１０がテレセントリックレンズを含むとき、コンテナ湾曲および関連レンズ効果により、盲点を体験し得る（例えば、図３９の右パネルで示されるように）。

【0186】

示されるように、１２０度の角度で３つの撮像アームが使用されるとき、盲点は、対になって密接に相関する（図３９の右パネル参照）。３つの盲点領域３９０１内の正確な３Ｄ位置付けが、不可能にされ得る。しかしながら、これらの領域で、最も近い撮像アームからの２次元データを調査することによって、位置データを確立することができる。

【0187】

種々の実施形態では、重複撮像を確保するようにセンサアームの数を増加させることによって、盲点の問題を軽減または排除することができる。

【0188】

コンテナ１０の内容物についての３Ｄ情報を判定するために複数の撮像装置１１０を使用することの一実施例が説明されているが、他の技法が使用されてもよいことを理解されたい。例えば、実施形態では、２つの撮像装置を使用することは、３Ｄ情報を判定するように立体撮像技法を適用することができる。

【0189】

例えば、静止した、またはゆっくり移動するサンプルを特色とする実施形態では、医用コンピュータ断層撮影機と同様に、回転撮像アームを使用して３Ｄ情報を得ることができる。回転アームは、例えば、医用画像から公知であるもの等の任意の好適な技法を使用して、３Ｄ情報を構築するために使用することができる、時系列の２Ｄ画像を種々の始点から取得するであろう。画像が、サンプルの力学に対して速い速度で取得される場合、３Ｄ画像が、粒子検出のための正確な３Ｄ情報を提供し得る。

【0190】

いくつかの実施形態では、上記で説明される技法を使用して生成される３Ｄ情報は、候補粒子位置を検出するために好適であり得るが、粒子の他の特性、例えば、粒子のサイズまたは形状を確立するためには理想的ではない場合がある。したがって、いくつかの実施形態では、混成アプローチが使用されてもよい。例えば、いくつかの実施形態では、粒子の３Ｄ位置は、３Ｄ情報（例えば、上記で説明されるように生成される３Ｄ構造）に基づいて確立される。いったん粒子の３次元位置付けが確立されると、これらの位置と、撮像装置１１０のうちのいくつかまたは全てからの２次元画像から得られたサイズおよび形状測定を関連付けることができる。

【0191】

いくつかの実施形態では、例えば、上記で説明される２次元技法に類似する３Ｄ追跡技法を使用して、粒子追跡を３Ｄ位置データ上で行うことができる。

【0192】

いくつかの実施形態では、３Ｄ追跡は、特に、各撮像装置１１０から得られた２次元画像と組み合わせて使用されたときに、利点を提供する。

【0193】

３Ｄ追跡では、（例えば、図５Ｅに示されるような）粒子・粒子閉塞が低減または排除される。いくつかの実施形態では、例えば、真の３Ｄ位置付けが失敗する、盲点の中の濃密サンプルに対して、起こり得る閉塞が発生し得る。

【0194】

上記で説明される２次元の場合のように、いくつかの実施形態では、コンテナ１０内の流体力学に関する情報を利用する３Ｄコンテキストで、予測追跡技法を使用することができる。

【0195】

いくつかの実施形態では、いったん３Ｄ粒子位置が追跡されると、粒子の特性（例えば、サイズおよび形状）についての情報を、複数の撮像装置１１０からの２次元データから、各粒子の複数の時間依存性データセットの中へ集約することができる。いくつかの実施形態では、これは、単一の撮像センサを用いて可能となるよりも正確な個々の粒子特性（例えば、サイズおよび形状）の測定を可能にしてもよい。例えば、いくつかの実施形態では、粒子の外観が、単一の撮像装置１１０に対するその配向にもはや厳密に依存しなくなるため、この技法は、細長い粒子のより明確な検出およびサイズ測定を可能にする。

【0196】

いくつかの実施形態では、このアプローチは、コンテナ１０の湾曲によって引き起こされるレンズ効果を軽減するために使用することができる。粒子の３Ｄ位置を使用して、例えば、レンズ効果倍率を用いてサイズ測定の横（水平）構成要素を修正することによって、レンズ効果を補正することにより、撮像装置１１０のそれぞれによって取得される２次元画像上の測定された粒径を調整することができる。この倍率は、上記で詳述されるように、コンテナ１０を通る撮像装置１１０のそれぞれへの光の伝搬の光学モデルに基づいて判定することができる。

【0197】

スペクトル検出
図４５は、本明細書で説明される種類の目視検査ユニット１００とともに使用され得る、センサ４５００（示されるように、回折格子分光計）を示す。例えば、センサ４５００は、図３８Ａに示されるユニット１００の実施形態とともに使用される第４の撮像アームを形成してもよい。

【0198】

センサ４５００は、コンテナ１０の中の１つ以上の粒子の特性（例えば、スペクトル特性）を検出するために使用することができる。例えば、示されるように、コンテナ１０は、広帯域光源１２２で照射される。センサ４５００は、（例えば、上記で説明される種類のうちのいずれかの）ひずみ補正光学部４５０１およびテレセントリックレンズ４５０１を通して、コンテナ１０から光を受容する。レンズ４５０１からの光は、撮像センサ４５０４上で撮像される、光のスペクトル成分を分離する、回折格子４５０３上に方向付けられる。いくつかの実施形態では、回折格子４５０３は、センサ４５０４の１つの寸法（例えば、垂直寸法）に沿った入射光の位置が光の波長に対応するように動作する。撮像センサ４５０４上の他の寸法は、コンテナ１０内の異なる空間的位置に対応する。つまり、センサ４５００は、コンテナの下位領域のスペクトル情報を提供し、例えば、示される構成では、下位領域は、コンテナ１０の水平「スライス」を示す。

【0199】

粒子がこの中心水平面を通過するにつれて、それらの分光学的特徴を記録することができる。同時に、上記で詳細に説明されるように、ユニット１００の従来の撮像アームが、コンテナ内の粒子の位置を（例えば、３次元で）追跡するために使用されてもよい。この情報は、所与の粒子がセンサ４５００によって対象とされる検出下位領域に進入するときを判定するために使用することができる。粒子が下位領域に進入するとき、センサ４５００は、粒子の特性（例えば、分光的特徴）を感知するであろう。ユニット１００は、この特性に関するデータを生成し、このデータを、追跡データの中の粒子の識別を示すデータと関連付けることができる。

【0200】

種々の実施形態では、例えば、粒子の種類を識別する、任意の好適な目的で、特性データを使用することができる。例えば、粒子の種類を判定するために、所与の粒子についてのスペクトル情報を、粒子についてのサイズ、形状、または他の情報と組み合わせることができる。

【0201】

いくつかの実施形態では、センサ４５００および照明光源１２２は、粒子蛍光性または任意の他の好適な特性を検出するように修正されてもよい。一般に、色、吸収スペクトル、発光スペクトル、または透過スペクトル、あるいはこれらのうちのいずれかの組み合わせを含む、粒子の任意のスペクトル特性が検出されてもよい。

【0202】

上記で説明される実施例では、センサ４５００が、３つの画像アームを特色とするユニット１００に含まれるが、他の実施形態では、例えば、１、２、４、５、またはそれ以上といった、任意の他の好適な数の撮像アームが使用されてもよい。単一の撮像アームが使用される、いくつかの実施形態では、センサ４５００は、例えば、コンテナ１０からの光のビームを分割し、成分を単一の撮像アームおよびセンサ４５００に方向付けるために、ビームスプリッタ（図示せず）を使用することによって、撮像アームと整合させられてもよい。例えば、複数の撮像アームが使用される、他の実施形態では、センサ４５００は、撮像装置に対して任意の好適な角度で配向されてもよい。

【0203】

サンプル性質の原位置測定
いくつかの実施形態では、検査ユニット１００は、コンテナ１０の中の流体の屈折率を測定するために使用され得る、１つ以上の検出器（図示せず）を含んでもよい。例えば、いくつかの実施形態では、狭い軸外平行レーザビームが、コンテナ１０の流体充填部分を通して方向付けられ、コンテナ１０を通る屈折によるビームの変位を測定するように検出されてもよい。コンテナ１０の材料および幾何学形状が分かっている場合、この情報が、流体の屈折率を判定するために使用されてもよい。種々の実施形態では、任意の他の好適な屈折率検出技法が使用されてもよい。

【0204】

いくつかの実施形態では、流体の測定された屈折率は、本明細書で説明される処理方式のうちのいずれか（例えば、コンテナ１０の湾曲によって引き起こされるレンズ効果を補償するために使用される処理）で入力パラメータとして使用されてもよい。

【0205】

いくつかの実施形態では、検査ユニット１００はまた、コンテナ１０の形状を示す情報を測定するために使用され得る、１つ以上の検出器（図示せず）を含んでもよい。例えば、いくつかの実施形態では、狭い軸外平行レーザビームが、コンテナ１０の空気充填（例えば、上）部分を通して方向付けられ、参照に対するビームの変位を測定するように検出されてもよい。偏向が、（例えば、０．２５ｍｍ以下の精度で）コンテナの壁の厚さを正確に測定するために使用されてもよい。種々の実施形態では、コンテナの形状を判定するための任意の他の好適な技法が使用されてもよい。

【0206】

いくつかの実施形態では、検出された幾何学的情報は、コンテナ１０の中の流体の屈折率を判定する際に、例えば、上記で説明されるように使用されてもよい。いくつかの実施形態では、検出された幾何学的情報は、本明細書で説明される種々の処理技法（例えば、コンテナ１０の湾曲によって引き起こされるレンズ効果を補償するために使用される処理）、または任意の他の好適な目的で、入力パラメータとして使用されてもよい。

【0207】

浸漬撮像
本明細書で詳細に論議されるように、種々の実施形態では、コンテナ１０の中の流体の屈折性質が、不要な画像ひずみ効果を引き起こし得る。いくつかの実施形態では、コンテナ１０と、空気よりも流体の屈折率に密接に合致する屈折率を有する媒体を伴うコンテナを撮像するために使用される撮像装置１１０との間の空間のうちのいくらかまたは全てを充填することによって、これらの効果が軽減されてもよい。

【0208】

いくつかの実施形態では、コンテナ１０およびコンテナ内に含有された流体の屈折率を合致させることによって、屈折ひずみがさらに軽減されてもよい。

【0209】

いくつかの実施形態では、これらの浸漬撮像技法は、ひずみ（例えば、上記で詳細に説明されるレンズ効果）を低減させるために使用される、補正光学部および／または処理の必要性を低減または排除してもよい。

【0210】

サンプル温度制御
いくつかの実施形態では、検査ユニット１００は、コンテナ１０内のサンプルの温度を制御するための１つ以上のデバイス（図示せず）を含んでもよい。例えば、いくつかの実施形態では、温度制御デバイスが、０℃から４０℃、０℃から１００℃の範囲、または他の好適な範囲内で、コンテナの温度を変化させるために使用されてもよい。いくつかの実施形態では、温度制御デバイスは、安定した値、例えば、５℃、２．５℃、１℃、０．１℃、０．０１℃未満、またはそれ以下だけ変化する値で、温度を維持してもよい。

【0211】

温度制御は、サンプルが検出プロセス中に劣化しないことを確実にするために温度制御が重要である用途において、特に有利であり得る。いくつかの実施形態では、制御された方式でサンプルの温度を変化させることによって、温度および時間依存性安定性研究が、温度感受性製品に行われてもよい。例えば、薬剤製品が、例えば、４℃（冷蔵）から２０℃（室温）まで、または３７℃（人間の体温）まで、温度を制御可能に上昇させられる際に、タンパク質凝集体の溶解（または場合によっては形成）を測定するために、プラットフォームを使用することができる。

【0212】

種々の実施形態では、任意の好適な技法を使用して、温度制御が達成されてもよい。いくつかの実施形態では、検査ユニット内の環境が、密閉されて熱的に隔離されてもよく、例えば、空調ユニットを使用して、温度が制御されてもよい。いくつかの実施形態では、加熱コイルおよび熱電冷却器（例えば、ペルチェ冷却器）が、コンテナ１０用のサンプルホルダに統合されてもよい。複数のコンテナがトレイの中で保持される実施形態では、トレイの温度は、トレイを通して加熱／冷却作業流体を循環させることによって（例えば、熱交換器に作業流体を通過させることによって）制御されてもよい。一般に、１つ以上の温度センサおよび／またはサーモスタットが、閉ループ温度制御を提供するために使用されてもよい。

【0213】

反復検査技法
いくつかの実施形態では、検査ユニット１００は、初期検査実行の結果に基づいて選択され得る、１つ以上の修正された動作パラメータ（例えば、回転速度）を用いて、所与のサンプルの検査を再実行してもよい。このプロセスは、動作パラメータを検査中の特定のサンプルにより良く適応させるように、反復して繰り返されてもよい。

【0214】

例えば、いくつかの実施形態では、粒子検出およびサイズ決定動作の出力が、（初期検査における誤差を示す）予期される結果の範囲外である結果を返す場合、（例えば、修正された回転速度を用いて）検査を再実行することができる

【0215】

自動較正のための背景参照マッピング
上記で詳細に説明されるように、種々の実施形態では、撮像装置１１０までコンテナ１０を通過する光の屈折によって引き起こされる、ひずみ効果（例えば、レンズ効果）を特徴付けることが望ましい。いくつかの実施形態では、検査ユニット１００自体が、コンテナ１０によって引き起こされるひずみを描き出すために使用されてもよい。次いで、このマップは、これらの効果を補償するために画像処理中に使用することができる。

【0216】

例えば、いくつかの実施形態では、１つ以上の較正指標（例えば、グリッド）が、撮像装置１１０用の背景としてコンテナ１０の後ろに配置されてもよい。（例えば、エッジ検出または他の好適な特徴検出技法を使用して）取得された画像の中のこれらの指標を検出し、それらの外観を既知の実際の外観と比較することによって、屈折ひずみが検出されてマッピングされてもよい。

【0217】

いくつかの実施形態では、このアプローチは、非円筒形のコンテナ、例えば、軸に対して回転対称であるが、軸の周囲に様々な円周を伴うコンテナ（現代のプラスチックの炭酸飲料瓶からよく知られている形状を有するコンテナ等）によって引き起こされる、ひずみを補正するために使用されてもよい。

【0218】

振動自動検出および軽減
上述のように、いくつかの実施形態では、振動が、検査ユニット１００の性能を低下させ得る。振動は、ビデオ取得中に静止特徴（コンテナ表面上の表面的欠陥等）を別様に振動させる。これは、静止特徴除去を耐え抜く、小さいが有意な振動ハローを作成することによって、静止特徴除去段階の性能を低減させ、後続の粒子検出アルゴリズムにおいて誤った結果を潜在的に引き起こし得る。種々の実施形態では、以下の技法のうちの１つ以上が、振動の効果を低減させるために使用されてもよい。

【0219】

いくつかの実施形態では、薄い振動ハローを含有する画像の領域も、粒子分析段階の前に削除されるように、（例えば、１または数ピクセルの厚さだけ）検出された静止特徴に対応する撮像領域のサイズを増加させることによって、除去された静止特徴の周囲に形成する振動ハロー特徴を軽減することができる。しかしながら、いくつかの実施形態では、このアプローチは、効果的な利用可能センサ領域を縮小する働きをするという点で不利であり得る。

【0220】

いくつかの実施形態では、スクリーニングアルゴリズムが、振動特徴の存在を検出する。例えば、特徴は、振動するが、画像を横断して平行移動しない特徴の場所を特定するように、画像を処理することによって、検出されてもよい。いくつかの実施形態では、特徴はさらに、検出された静止特徴へのそれらの近接性に基づいて識別することができる。

【0221】

いくつかの実施形態では、本システムが、容認不可能に高いレベルの環境振動を自動的に検出し、潜在的にそれをユーザに警告することができるように、例えば、コンテナ壁の移動を検出するためにエッジ検出を使用して、コンテナの振動の特性が、捕捉された画像から検出されてもよい。

【0222】

いくつかの実施形態では、コンテナの振動の特性は、物理的センサを使用して検出されてもよい。例えば、いくつかの実施形態では、検査中にコンテナを保持して操作するツールヘッドは、そこから本システムが、確立された閾値を上回る振動レベルに関する警告をユーザに自動的に提供することができる、フィードバックを提供する、運動検出デバイス（例えば、高精度加速度計）を含んでもよい。

【実施例】

【0223】

以下は、本明細書で説明される種類の自動目視検査ユニット１００の実施形態の例示的な性能特性を提供する。

【0224】

図４０を参照すると、ユニット１００は、既知のサイズの単一のポリマー球のみをそれぞれ含む、コンテナ１０を与えられた。複数の検出実行（ｎ＝８０）が、各コンテナで行われ、検出率が測定された（図中の「ＡＰＴ」と標識されたデータバー）。示されるように、本システムの検出率は、直径が１５〜２００μｍに及ぶ粒径について９０％を上回った。訓練を受けた人物によって視覚的に行われた同一のタスクの検出率が、比較のために提示されている（「人間」と標識されたデータバー）。人間の検出能力は、２００μｍを下回るサイズの粒子について、急速に下落することに留意されたい。

【0225】

図４１を参照すると、別の試験で、ユニット１００は、直径において１２５μｍという可視的カットオフを上回る、および下回る粒子を保持する、コンテナを与えられた。ユニット１００は、粒子を検出し、また、１２５μｍという可視的カットオフを上回る、または下回るものとして、サイズに基づいて粒子を分類した。示されるように、本システムの検出率は、直径が１５〜２００μｍに及ぶ粒径について９０％を上回った。ユニット１００はまた、非常に高度な精度で、検出された粒子を正しく分類した。

【0226】

図４２を参照すると、複数のサイズ標準に対して、希釈系列が作成され、各系列は、所与の濃度で粒子を保持するコンテナで構成された。結果として生じたコンテナは、粒子計数を提供するようにユニット１００によって分析され、逆希釈計数と対比した計数の直線性のＲ二乗「Ｒ＾２」値を判定するために、回帰が使用された。示されるように、「Ｒ＾２」値は、直径が１５〜２００μｍに及ぶ粒径について０．９５を上回り、優れた直線性を示した。

【0227】

図４３を参照すると、粒径別にビニングされた粒子計数を判定するように、タンパク質粒子を含有する応力サンプルがユニット１００によって分析された。１０回の実行にわたって得られた各ビンに対する粒子計数の精度が示される。タンパク質粒子は、未知のサイズであり、絶対サイズ精度比較を不可能にするが、示されるように、タンパク質の数を数え、サイズ決定するためのシステムの精度は高い。測定の正規化誤差は３％であり、優れた精度を示した。

【0228】

図４４を参照すると、ユニット１００はまた、空白対タンパク質粒子含有バイアルを検出することにおいても特徴付けられた。ユニット１００の性能が、同一の一組のバイアルを観察する公認目視検査官の能力と比較された。ユニット１００（図中で「ＡＰＴ」と標識されている）は、３回の実行において、４０個のタンパク質バイアルおよび８０個の空白全てを正しく検出した。可視的および肉眼で見ることができない粒子を分類することにおける自己一致は、１００％であった。人間は、両方のカテゴリにおいて約８５％しか成功しなかった。

【0229】

結語
当業者であれば、非破壊的粒子検出および識別（目視検査を通して取得される時系列データの処理）のための自動システムおよび方法に関与するプロセスは、コンピュータ使用可能媒体を含む製造品で具現化されてもよいことを認識する。例えば、そのようなコンピュータ使用可能媒体は、その上に記憶されたコンピュータ可読プログラムコードセグメントを有する、ハードドライブデバイス、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、コンピュータディスケット、またはソリッドステートメモリ構成要素（ＲＯＭ、ＲＡＭ）等の可読メモリデバイスを含むことができる。コンピュータ可読媒体はまた、デジタルまたはアナログデータ信号としてその上に担持されたプログラムコードセグメントを有する、光学、有線、または無線のいずれか一方である、バスまたは通信リンク等の通信または伝送媒体を含むこともできる。

【0230】

フロー図が本明細書で使用される。フロー図の使用は、行われる動作の順序に関して限定的となるように意図されていない。本明細書で説明された主題は、異なる他の構成要素内に含有される、またはそれらと接続される、異なる構成要素を図示することもある。そのような描写されたアーキテクチャは例示的にすぎず、実際には、同一の機能性を達成する、多くの他のアーキテクチャを実装できることを理解されたい。概念的な意味で、所望の機能性が達成されるように、同一の機能性を達成するための構成要素の任意の配列が、効果的に「関連付けられる」。したがって、アーキテクチャまたは中間構成要素にかかわらず、所望の機能性が達成されるように、特定の機能性を達成するように組み合わせられる、本明細書の任意の２つの構成要素は、相互と「関連付けられる」と見なすことができる。同様に、そのように関連付けられる任意の２つの構成要素はまた、所望の機能性を達成するように、相互に「動作可能に接続される」または「動作可能に連結される」と見なすこともでき、そのように関連付けられることが可能な任意の２つの構成要素はまた、所望の機能性を達成するように、相互に「動作可能に連結可能である」と見なすこともできる。動作可能に連結可能なものの具体的実施例は、物理的に噛合可能な、および／または物理的に相互作用する構成要素、および／または無線で相互作用可能な、および／または無線で相互作用する構成要素、および／または論理的に相互作用する、および／または論理的に相互作用可能な構成要素を含むが、それらに限定されない。

【0231】

実質的にあらゆる複数形および／または単数形の用語の本明細書での使用に関して、当業者であれば、文脈および／または用途に適切であるように、複数形から単数形へ、および／または単数形から複数形へ言い換えることができる。種々の単数／複数形の順列が、明確にするために明示的に本明細書に記載されてもよい。

【0232】

一般に、本明細書で、特に、添付の請求項（例えば、添付の請求項の本文）で使用される用語は、概して、「非制約的な」用語として意図されていることが、当業者によって理解されるであろう（例えば、「〜を含む」という用語は、「〜を含むが、それらに限定されない」として解釈されるべきであり、「〜を有する」という用語は、「少なくとも〜を有する」として解釈されるべきであり、「含む」という用語は、「含むが、それらに限定されない」として解釈されるべきである、等）。さらに、特定の番号の導入された請求項の記載が意図される場合、そのような意図は、請求項で明示的に記載され、そのような記載がない場合、そのような意図は存在しないことが、当業者によって理解されるであろう。例えば、理解の補助として、以下の添付の請求項は、請求項の記載を導入するように、「少なくとも１つの」および「１つ以上の」という導入語句の使用を含有してもよい。

【0233】

しかしながら、そのような語句の使用は、たとえ同一の請求項が、「１つ以上の」または「少なくとも１つの」という導入語句、および「１つの」（「ａ」または「ａｎ」）等の不定冠詞を含むときでさえも、「１つの」（「ａ」または「ａｎ」）という不定冠詞による請求項の記載の導入は、そのような導入された請求項の記載を含有する任意の特定の請求項を、１つだけのそのような記載を含有する主題に限定すると示唆するように解釈されるべきではない（例えば、「１つの」（「ａ」および／または「ａｎ」）は、典型的には、「少なくとも１つの」または１つ以上の）を意味するように解釈されるべきである）。同じことが、請求項の記載を導入するために使用される定冠詞の使用に当てはまる。加えて、たとえ特定の番号の導入された請求項の記載が明示的に記載されたとしても、当業者であれば、そのような記載は、典型的には、少なくとも記載された番号を意味すると解釈されるべきであると認識するであろう（例えば、他の修飾語がない「２つの記載」という最低限の記載は、典型的には、少なくとも２つの記載、または２つ以上の記載を意味する）。

【0234】

さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」に類似する慣例が使用される場合において、一般に、当業者であれば慣例を理解するであろうという意味で、そのような構造が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ともにＡおよびＢ、ともにＡおよびＣ、ともにＢおよびＣ、および／またはともにＡ、Ｂ、およびＣ等を有する、システムを含むが、それらに限定されないであろう）。「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」に類似する慣例が使用される場合において、一般に、当業者であれば慣例を理解するであろうという意味で、そのような構造が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ともにＡおよびＢ、ともにＡおよびＣ、ともにＢおよびＣ、および／またはともにＡ、Ｂ、およびＣ等を有する、システムを含むが、それらに限定されないであろう）。

【0235】

さらに、説明、請求項、または図面の中にかかわらず、２つ以上の代替的な用語を提示する、事実上あらゆる離接語および／または語句は、該用語のうちの１つ、該用語のいずれか一方、または両方の用語を含む可能性を考慮すると理解されるべきであると、当業者によって理解されるであろう。例えば、「ＡまたはＢ」という語句は、「ＡまたはＢ」あるいは「ＡおよびＢ」の可能性を含むと理解されるであろう。

【0236】

本明細書で使用されるように、光学要素という用語は、任意の好適な組み合わせで、１つ以上の屈折、反射、回折、ホログラフィック、偏光、またはフィルタリング要素を指してもよい。本明細書で使用されるように、「光」、「光学的」、または他の関連用語等の用語は、人間の眼に可視的である光を指すと理解されるべきであるだけでなく、例えば、電磁スペクトルの紫外線、可視、および赤外線部分の中の光を含んでもよい。

【0237】

例証的実施形態の先述の説明が、例証および説明の目的で提示されている。開示される正確な形式に関して包括的または限定的となることは意図されておらず、修正および変形例が、上記の教示に照らして可能であるか、または開示された実施形態の実践から取得されてもよい。本発明の範囲は、本明細書に添付される請求項およびそれらの同等物によって定義されることが意図されている。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図5H】

【図5I】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図8】

【図9-1】

【図9-2】

【図10-1】

【図10-2】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23-1】

【図23-2】

【図24】

【図25-1】

【図25-2】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38-1】

【図38-2】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】