(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069188
(43)【公開日】2024-05-21
(54)【発明の名称】空気サンプルの自動分析をするためのシステムおよび方法
(51)【国際特許分類】
G01N 15/0205 20240101AFI20240514BHJP
G01N 15/0227 20240101ALI20240514BHJP
G06V 10/82 20220101ALI20240514BHJP
G06V 20/69 20220101ALI20240514BHJP
G06T 7/60 20170101ALI20240514BHJP
G06T 7/00 20170101ALI20240514BHJP
G01N 15/08 20060101ALI20240514BHJP
【FI】
G01N15/0205
G01N15/0227 100
G06V10/82
G06V20/69
G06T7/60 110
G06T7/00 350C
G01N15/08 A
【審査請求】有
【請求項の数】28
【出願形態】OL
(21)【出願番号】P 2024014865
(22)【出願日】2024-02-02
(62)【分割の表示】P 2020559419の分割
【原出願日】2019-04-24
(31)【優先権主張番号】2018901364
(32)【優先日】2018-04-24
(33)【優先権主張国・地域又は機関】AU
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
(71)【出願人】
【識別番号】519142871
【氏名又は名称】ファースト フロンティア ピーティーワイ リミテッド
【氏名又は名称原語表記】FIRST FRONTIER PTY LTD
(74)【代理人】
【識別番号】100175983
【弁理士】
【氏名又は名称】海老 裕介
(74)【代理人】
【識別番号】100083895
【弁理士】
【氏名又は名称】伊藤 茂
(72)【発明者】
【氏名】ギャラガー-グルーバー, ジョーダン
(72)【発明者】
【氏名】シヤールトー, ガーボル
(57)【要約】
【課題】空気中のアスベスト繊維等を測定するための空気品質監視装置から得られたメンブレンフィルターを分析するための方法を提供する。
【解決手段】空気品質監視装置から得たフィルターの自動分析のための方法である。このシステムは、複数のサンプル位置で画像をキャプチャする。各サンプル位置で拡大位相差画像が取得される。次にコンピュータビジョン法で自動品質評価が実行される。評価が不合格になると、そのサンプル位置がその後の分析で無視され、全体的な品質が悪い場合はフィルタースライド全体が排除される。品質評価は、フィルター上での一連の低倍率画像での全体的フィルター品質評価と、フィルター上の個々のサンプル位置での高倍率画像での視野または目盛レベルの品質評価の2段階で実行される。品質評価に合格した画像をコンピュータビジョン法で分析し吸入性粒子を特定してその数をカウントする。
【選択図】
図1A
【特許請求の範囲】
【請求項1】
空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のための方法であって、
デジタル位相差顕微鏡の像面の画像をキャプチャするように構成された画像センサを備えるデジタル位相差顕微鏡のロボットXYステージに、フィルターのサンプル部分を支持する光学的に透明な支持体を装填するステップと、
該フィルターのサンプル部分に分布する複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップであり、ここで該サンプル位置のそれぞれでの該少なくとも1つの画像は、少なくとも1つの拡大位相差画像を含み、該ロボットXYステージは該光学的に透明な支持体を動かして、該デジタル位相差顕微鏡の視野内に該サンプル位置を位置決めするように構成されている、ステップと、
コンピュータビジョン法を使用して該複数のサンプル位置のうちの1つまたは複数のサンプル位置でキャプチャされた1つまたは複数の画像を分析して1つまたは複数の品質基準を見積り、見積もられた該1つまたは複数の品質基準が1つまたは複数の事前規定された品質閾値に基づく品質評価に不合格となった場合に、少なくとも該サンプル位置でのさらなる分析を終了し及び/又は該サンプル位置を排除するか、又は該フィルターのさらなる分析を終了するようにした、品質評価を行うステップであり、ここで該1つまたは複数の品質基準を見積ることが、ダスト負荷、粒子負荷、粒子分布、ピクセル色分布、明度範囲、または、低品質を示すかもしくは境界、グリッド線、気泡への近接を示す画像の特性もしくは特徴、を見積もることを含む、ステップと、
コンピュータビジョン法を使用して、複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析して、カウント可能な吸入性粒子を特定してその数をカウントするステップであり、該コンピュータビジョン法は、ピクセルのグルーブ内で1つ又は複数のハローを除去して1つ又は複数のカウント可能な吸入性粒子を幾何学的に特定するようにされている、ステップと、
該フィルター上でカウントされたカウント可能な吸入性粒子の総数、または該フィルター上の吸入性粒子の密度の見積値のいずれかを報告するステップと、
を有する、フィルターの自動分析のための方法。
【請求項2】
少なくとも該サンプル位置でのさらなる分析を終了し及び/又は該サンプル位置を排除するか、又は該フィルターのさらなる分析を終了することが、該見積もられた1つまたは複数の品質基準が該1つまたは複数の事前規定された品質閾値に基づく品質評価に不合格の場合にサンプル位置でのさらなる分析を終了し、次に別のサンプル位置に移動することを含み、また、さらなる分析がサンプル位置の閾値の数を超えて終了した場合に、それ以上のさらなる位置でのサンプリングはせず、該フィルターのさらなる分析が終了されて、不合格の品質評価ステータスが報告されるようにした、請求項1に記載の方法。
【請求項3】
品質評価が各サンプル位置で行われるようになされており、複数のサンプル位置での1つまたは複数の画像を組み合わせて、該フィルターの1つまたは複数の裂け目を特定すること、該フィルターの一部がカバースリップの外側にあるかどうかを検出すること、該フィルターの変色を検出すること、気泡で覆われたメンブレンのパーセンテージを見積もること、ダスト負荷を見積もること、および/または低品質もしくは不適切なサンプル準備を示す画像の特性または特徴を検出すること、を含む1つまたは複数のフィルターレベル品質基準を見積もることによってフィルターレベル品質評価を実行するステップをさらに含む、請求項2に記載の方法。
【請求項4】
該品質評価が2つの部分で実行され、第1の部分は、複数のサンプル位置で第1の倍率範囲内でキャプチャされた複数の画像を使用して該フィルターのフィルターレベル品質評価を実行するステップを含み、第2の部分は、第2の倍率範囲内でキャプチャされた複数のサンプル位置での該少なくとも1つの画像のうちの1つまたは複数の画像の視野レベル品質評価を実行するステップを含み、該第2の倍率範囲は該第1の倍率範囲よりも高い倍率範囲であり、
該フィルターレベル品質評価を実行するステップは、複数のサンプル位置で該第1の倍率範囲でキャプチャされた複数の画像を分析することを含み、該1つまたは複数の品質基準を見積ることは、該フィルターの1つまたは複数の裂け目を特定すること、該フィルターの一部がカバースリップの外側にあるかどうかを検出すること、該フィルターの変色を検出すること、気泡で覆われたメンブレンのパーセンテージを見積ること、ダスト負荷を見積ること、および/または低品質もしくは不適切なサンプル準備を示す画像の特性の検出することを含み、
各サンプル位置での視野レベル品質評価は、ダスト負荷、粒子負荷、粒子分布、ピクセル色分布、明度範囲、および/または、低品質を示すかもしくはサンプル位置での視野の境界、グリッド線、もしくは気泡への近接を示す画像の特性もしくは特徴、のうちの1つまたは複数を見積ることを含み、
該見積もられた1つまたは複数の品質基準がフィルターレベル品質評価に不合格の場合に、該さらなる分析を終了することは、該フィルターのさらなる分析を終了し、該フィルターに対する不合格の品質評価ステータスを報告することを含み、
該見積もられた1つまたは複数の品質基準が視野レベル品質評価に不合格の場合に該さらなる分析を終了することは、このサンプル位置でのさらなる分析を終了し、さらなる分析がサンプル位置の閾値の数を超えて終了していない場合には別のサンプル位置に移動し、さらなる分析がサンプル位置の閾値の数を超えて終了した場合にはそれ以上のさらなる位置でのサンプリングはせずに不合格の品質評価ステータスが報告されるようにすることを含む、請求項1または2に記載の方法。
【請求項5】
該第1の倍率範囲は10倍から200倍の間であり、該第2の倍率範囲は200倍から600倍の間である、請求項4に記載の方法。
【請求項6】
該第2の部分は、該第1の部分および該フィルターレベル品質評価の後に実行され、該フィルターレベル品質評価は、該第2の部分で使用される該サンプル位置の位置を計画するために使用される、請求項5に記載の方法。
【請求項7】
該フィルターレベル品質評価を実行するために使用される該複数の画像が、視野レベル品質評価を実行するために使用される該複数の画像と同時に収集され、該デジタル位相差顕微鏡の対物レンズが、キャプチャする画像が該フィルターレベル品質評価に使用されるか、該視野レベル品質評価に使用されるかに応じて、サンプル位置で2つの倍率の間でロボットで切り替えられる、請求項4または5に記載の方法。
【請求項8】
該フィルターレベル品質評価を実行するために使用される該複数の画像は、該フィルターの該サンプル部分にタイル状に並べられる、請求項4から7のいずれか一項に記載の方法。
【請求項9】
該フィルターレベル品質評価を実行するために使用される該複数の画像は、該キャプチャされる画像が該サンプル部分の総面積の少なくとも20%を占めるように、該フィルターの該サンプル部分内に分布した複数のサンプル位置でキャプチャされる、請求項4から7のいずれか一項に記載の方法。
【請求項10】
該フィルターレベル品質評価を実行するステップは、フィルターのカウント可能領域と、該フィルターのカウント可能領域内の1つまたは複数の除外領域とを決定することをさらに含み、該除外領域は、フィルターグリッド線、気泡、および大きな粒子状物質の1つまたは複数を含む、請求項4から9のいずれか一項に記載の方法。
【請求項11】
該フィルターのカウント可能領域を決定することは、
スライド境界、カバースリップ、該フィルター上のグリッド線、該フィルター上の1つ以上の気泡、または汚れを含む大きな粒子状物、を有する1つまたは複数の位置を特定することと、
特定された該1つまたは複数の位置を含む1つまたは複数の除外領域を画定することと、
該画像の視野内に除外領域を含まない該複数の画像内の画像のセットを特定することによって該カウント可能領域を画定することと、を含み、
複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析することが、コンピュータビジョン法を使用して該カウント可能領域を分析して該カウント可能領域内のカウント可能吸入性粒子の数を特定およびカウントすることを含む、請求項10に記載の方法。
【請求項12】
複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析することが、サンプル位置での視野が完全に該カウント可能領域内にある場合に、各サンプル位置での1つまたは複数のキャプチャされた画像を分析することを含む、請求項10または11に記載の方法。
【請求項13】
該複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップは、さらに、各サンプル位置で、それぞれが異なる焦点面でキャプチャされたZ個の拡大位相差画像のセットをキャプチャすることを含み、該カウント可能領域を分析することは、該Z個の拡大位相差画像のセットをZスタックして、単一のスタック画像を取得することを含み、該コンピュータビジョン法は、該単一のスタック画像を分析して、該単一のスタック画像の視野のカウント領域内のカウント可能な吸入性粒子の数を特定およびカウントするようにした、請求項10から12のいずれか一項に記載の方法。
【請求項14】
該複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップは、さらに、各サンプル位置で、異なる焦点面でそれぞれキャプチャされたZ個(1より大きい)の拡大位相差画像のセットをキャプチャすることと、最も鮮明な焦点を有する画像を選択することと、を含み、選択された画像は、複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析するステップで使用される、、請求項1から12のいずれか一項に記載の方法。
【請求項15】
該複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップは、さらに、各サンプル位置で、異なる焦点面でそれぞれキャプチャされたZ個(1より大きい)の拡大位相差画像のセットをキャプチャすることと、Z個の画像を個別に分析して、複数の焦点面に存在する特徴を検出するようにすることと、を含む、請求項1から12のいずれか一項に記載の方法。
【請求項16】
コンピュータビジョン法を使用して、該複数のサンプル位置のそれぞれで少なくとも1つの画像のうちの複数の画像のうちの1つを分析するステップは、
該視野のカウント領域内の1つまたは複数の関心領域を特定することと、
ピクセル抽出器を適用して、機械学習技術、バックグラウンドフィルタリング、または拡散フィルタリング技術のうちの1つまたは複数を使用して、各関心領域の対象粒子ピクセルを特定し且つハローピクセルを除去して、ピクセルの隣接するグループを含む1つまたは複数のピクセルブロブを出力することと、
該ピクセル抽出器から受け取った各ピクセルブロブに特徴抽出器を適用して、1つまたは複数の幾何学的操作を適用して、吸入性粒子に一致する幾何学形状を有するピクセルブロブをカウント可能な吸入性粒子として分類することと、
カウント可能な吸入性粒子の数をカウントすることと、
を含む、請求項1から15のいずれか一項に記載の方法。
【請求項17】
該吸入性粒子およびカウント可能な吸入性粒子がアスベスト繊維であり、該1つまたは複数の幾何学的操作が、フィルタリング基準を使用して通常のアスベスト繊維の幾何学的フィルターを各対象関心領域に適用することを含み、該フィルタリング基準は、最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、対象関心領域内の他のピクセルブロブに接触していないように見える該対象関心領域内のピクセルブロブを有することを要求するものであり、該フィルタリング基準を満たす各ピクセルブロブが、それぞれ単一のカウント可能な吸入性繊維としてカウントされる、請求項14に記載の方法。
【請求項18】
該吸入性粒子およびカウント可能な吸入性粒子がアスベスト繊維であり、該1つまたは複数の幾何学的操作は、フィルタリング基準を使用して束のアスベスト繊維の幾何学的フィルターを各対象関心領域に適用することを含み、該フィルタリング基準は、最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、他のピクセルブロブに接触していないように見える該対象関心領域内のピクセルブロブを有することを必要とするものであり、該他のピクセルブロブは、その2次元のうちの小さい方としてとして規定される最大幅が3マイクロメートルを超えるものであり、また、該カウント可能な吸入性繊維の数をカウントすることは、個々に特定可能な繊維をカウントすることを含み、または個々の繊維を区別できない場合は該束を単一の繊維としてカウントするようにした、請求項14に記載の方法。
【請求項19】
コンピュータビジョン法を使用して該複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像のうちの1つを分析するステップは、ディープラーニングニューラルネットワークモデルを使用することを含む、請求項1から13のいずれか一項に記載の方法。
【請求項20】
該フィルターのサンプル部分に分布する複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップが、
a)2Dマッピンググリッドであって、そのグリッドの寸法は該デジタル位相差顕微鏡の倍率設定に関連する視野に基づいており、グリッドポイントが該複数のサンプル位置を画定するようにした2Dマッピンググリッドをサンプル部分上に画定することと、
b)該2Dマッピンググリッド内の1つのポイントを選択することと、
c)該ロボットXYステージを選択した該ポイントに指示し、少なくとも1つの拡大位相差画像をキャプチャすることと、
d)該キャプチャされた画像が、該サンプル部分にタイル状に並べられるか、または閾値領域を超える合計領域を有するまで、該b)とc)のステップを繰り返すことと、
を含む、請求項1から19のいずれか一項に記載の方法。
【請求項21】
少なくとも1つのサンプル位置でターゲット焦点面を決定するステップをさらに含み、該ステップが、
4倍から200倍の倍率で画像をキャプチャし、コンピュータビジョン法を使用して該キャプチャされた画像の1つまたは複数のグリッド線を特定することと、
特定されたグリッド線が視野の中心に近接するようにロボットXYステージを移動することと、
該デジタル位相差顕微鏡の対物レンズを高倍率の対物レンズに切り替えることと、
該グリッド線に焦点が合うまで、該デジタル位相差顕微鏡のZ高さを調整することと、
該Z高さをターゲット焦点面の点として保存し、保存されたターゲット焦点面を使用して、1つまたは複数の他のサンプル位置で1つまたは複数の画像をキャプチャするための焦点面を決定することと、
を含む、請求項1から20のいずれか一項に記載の方法。
【請求項22】
少なくとも1つのサンプル位置でターゲット焦点面を決定するステップをさらに含み、該ステップが、
サンプル位置においてそれぞれ異なるZ高さで4倍から200倍の倍率の一連の画像をキャプチャすることと、
該一連の画像を分析して、カバースリップ境界もしくは上方スライド境界、または下方スライド境界の1つまたは複数を決定することと、
該上方スライド境界と該下方スライド境界の中にあると推定される最も鮮明な焦点の画像のZ高さを該ターゲット焦点面の点として保存し、該保存されたターゲット焦点面を使用して、1つまたは複数の他のサンプル位置における1つまたは複数の画像をキャプチャするための焦点面を決定することと、
を含む、請求項1から20のいずれか一項に記載の方法。
【請求項23】
該カウント可能な吸入性粒子がアスベスト繊維または合成鉱物繊維であり、該フィルターがメンブレンフィルターである、請求項1から22のいずれか一項に記載の方法。
【請求項24】
該光学的に透明な支持体が顕微鏡スライドであり、当該方法はさらに、サンプル部分フィルターをそれぞれ支持する複数の顕微鏡スライドを、1つまたは複数の顕微鏡スライドをロボットXYステージに出し入れするようにされたコンピュータ制御のオートローダーに装填するステップを含み、該サンプル部分フィルターを支持する該顕微鏡スライドをロボットXYステージに入れることが該オートローダーを使用して実行され、各顕微鏡スライドは固有の識別子を含み、当該方法はさらに、該識別子の表示をキャプチャすることと、該装填された顕微鏡スライドごとに該キャプチャ、分析、および報告するステップを実行することとを含み、該報告するステップでは、該顕微鏡スライドの固有の識別子も報告するようにした、請求項1から23のいずれか一項に記載の方法。
【請求項25】
空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のためのシステムであって、
該装置が、
位相差顕微鏡、
使用時にフィルターのサンプル部分を含む光学的に透明な支持体を受け入れるための電動XYステージ、
電動Z軸フォーカスドライブ、及び
像面に配置されて、少なくとも1つの拡大位相差画像をキャプチャするように構成された画像センサ、
を備えるロボット顕微鏡プラットフォームと、
該ロボット顕微鏡プラットフォームに動作可能に接続された少なくとも1つのコンピュータ装置であって、少なくとも1つのプロセッサおよび該プロセッサに動作可能に接続されたメモリを含み、請求項1から24のいずれか一項に記載の方法を実行するように構成されたコンピュータ装置と、
を備える、システム。
【請求項26】
それぞれ異なる倍率の複数の対物レンズで構成される電動ノーズピースをさらに含む、請求項25に記載のシステム。
【請求項27】
複数の光学的に透明な支持体を格納するためのオートローダーであり、該電動XYステージにおいて1つまたは複数の光学的に透明な支持体を装填および取り出しするように構成されているオートローダーをさらに備える、請求項25または26に記載のシステム。
【請求項28】
該少なくとも1つのコンピュータ装置は、ローカルコンピュータ装置および少なくとも1つのリモートコンピュータ装置を含み、該ローカルコンピュータ装置は、該ロボット顕微鏡プラットフォームに直接接続もしくは統合されるか、またはローカルネットワーク上に接続されており、該ローカルコンピュータ装置は、該キャプチャするステップを実行し、キャプチャされた少なくとも1つの画像をネットワーク接続を介して該少なくとも1つのリモートコンピュータ装置に提供するように構成され、該リモートコンピュータ装置は、該分析するステップと該報告するステップとを実行する、請求項25から27のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、「空気サンプルの自動分析をするためのシステムおよび方法(SYSTEM AND METHOD FOR PERFORMING AUTOMATED ANALYSIS OF AIR SAMPLES)」と題され、2018年4月24日に出願されたオーストラリア仮特許出願第2018901364号から優先権を主張し、その内容は、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、空気品質の監視に関する。特定の形態では、本開示は、アスベスト繊維または合成鉱物繊維(SMF)などの呼吸される空気中に含まれる可能のある粒子の存在について空気サンプルを分析するための自動化されたシステムに関する。
【背景技術】
【0003】
吸入される空気中に含まれる可能性のあるアスベストまたは合成鉱物繊維(SMF)などの粒子や繊維は、健康被害をもたらすものであり、労働安全衛生に関するガイドラインおよび/または法律は、そのような繊維が存在する可能性のある場所の近くに空気品質監視装置を設置することをしばしば要求する。これらの空気品質監視装置は、規定の流量でフィルターを通して空気を引き込むポンプシステムを備えており、アスベスト繊維などの繊維が含まれる可能性のある空気をサンプリングした後、フィルターを取り外して実験室に送り、アスベスト繊維をカウントするためのメンブレンフィルターに変換する。通常、フィルターは、孔径が約0.8マイクロメートルの混合セルロースエステル(MCE)フィルターである。オーストラリアでは、アスベスト繊維をサンプリングするためのメンブレンフィルターの分析に現在受け入れられ推奨されている方法は、メンブレンフィルター法(MFM)として知られている。メンブレンフィルター法は、1976年にオーストラリア国立健康医学研究カウンシルで最初に開発された。ガイダンスノートが1988年に発行され、2005年に全国労働安全衛生評議会(NOHSC)によってアップデートされ、「空気中アスベスト繊維を見積りするメンブレンフィルターター法に関するガイダンスノート[NOHSC:3003(2005)]」として公開された。このガイダンスノートは、サンプル収集方法、メンブレンフィルター法の詳細および報告要件を規定しており、このガイダンスノートの全内容は参照により本明細書に組み込まれる。同様の参照文書またはガイダンスノートは、他の管轄区域にもあり、例えばワシントンDCの米国労働省、労働安全衛生局発行の強制力のあるものではないが、OHSA 1994ノート:29 CFR 1910.1001b労働安全衛生基準:アスベストのサンプリングと分析の詳細な手順などがある。
【0004】
ガイダンスノートに記載されているように、MFMは、空中アスベスト繊維への暴露を防止するための管理手段の有効性の監視、および空中アスベスト繊維への労働者の暴露の判定のために使用される。メンブレンフィルター法では、熟練したオペレーターが位相差顕微鏡によってメンブレンフィルター上の多数(例:100)の目盛領域(ポイント)を手動で確認し、目盛の視野内のカウント可能な繊維の数をカウントする必要がある。カウントする場合は、オペレーターが繊維を公開されている参照形状に一致させる必要があり、メンブレンフィルターのグリッド線、気泡、大きな粒子状物質がある目盛の視野内または目盛の視野に近い位置でのカウントを除外する必要がある。気泡は、繊維が気泡の端に押し出される効果を生じる可能性があるためである。オペレーターは、公開されている参照形状(ガイダンスノートなど)に一致する繊維である「カウント可能吸入性繊維」を数える。つまり、カウント可能吸入性繊維は、ガイダンスノート(または同様のリファレンス)で定義された幾何学的要件に適合する繊維である。この定義によれば、ほとんどすべてのアスベスト繊維はカウント可能吸入性繊維であるが、すべての数えられる吸入性繊維が必ずしもアスベスト繊維であるとは限らないことに注意する必要がある。しかし、カウント可能吸入性繊維の数は、空気サンプル中のアスベスト繊維の数の尺度(または代理)として使用される。
【0005】
ガイダンスノートに記載されているように、「経験的に、この方法は、異なる実験室および異なる労働者によって使用された場合、常に同等の結果をもたらすとは限らないことを示している。サンプリング、スライドの準備、光学的カウント、結果の計算、およびその他の影響要因の違いにより、違いが生じ得る。粉塵測定の研究所間比較は、方法のすべての詳細に関して合意に達することができる場合にのみ実行可能である」。このように、メンブレンフィルター法は空中アスベスト繊維の測定に推奨される方法であるが、時間のかかる主観的な測定である。さらに、この方法の有効性は、オペレーターがガイドラインを厳密に遵守し、除外する領域を入念に特定し、メンブレンフィルターの表面全体の繊維を正しく特定してカウントすることに依存している。オペレーターが時間やコストのプレッシャーにさらされている場合、ガイドラインの厳格な遵守が犠牲になるリスクが残り、メンブレンフィルター法の安全性と信頼性が損なわれる。自動化されたシステムは、人間のオペレーターの再現性/信頼性の低さと遅さを改善する可能性がある。そのような自動化されたシステムが効果的であるためには、そのようなシステムの使用に対する信頼を構築するために、高速で、信頼性があり、正確でなければならない。自動繊維カウントを実行するためにいくつかの自動システムが提案されているが、ほとんどは実験室から実用的なものにはなっていないようである。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、空気中のアスベスト繊維(および他の吸引可能な繊維または同様の物質)を測定するための空気品質監視装置から得られたメンブレンフィルターを分析するための改善されたシステムおよび方法を提供するか、または少なくとも以下の有用な、既存のシステムと方法に対する代替物を提供する必要がある。
【課題を解決するための手段】
【0007】
第1の態様によれば、空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のための方法が提供され、この方法は以下を含む:
デジタル位相差顕微鏡の像面の画像をキャプチャするように構成された画像センサを備えるデジタル位相差顕微鏡のロボットXYステージに、フィルターのサンプル部分を支持する光学的に透明な支持体を装填するステップと、
該フィルターのサンプル部分に分布する複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップであり、ここで該サンプル位置のそれぞれでの該少なくとも1つの画像は、少なくとも1つの拡大位相差画像を含み、該ロボットXYステージは該光学的に透明な支持体を動かして、該デジタル位相差顕微鏡の視野内に該サンプル位置を位置決めするように構成されている、ステップと、
コンピュータビジョン法を使用して該複数のサンプル位置のうちの1つまたは複数のサンプル位置でキャプチャされた1つまたは複数の画像を分析して1つまたは複数の品質基準を見積り、見積もられた該1つまたは複数の品質基準が1つまたは複数の事前規定された品質閾値に基づく品質評価に不合格となった場合に、少なくとも該サンプル位置でのさらなる分析を終了するようにした、品質評価を行うステップであり、ここで該1つまたは複数の品質基準を見積ることが、ダスト負荷、粒子負荷、粒子分布、ピクセル色分布、明度範囲、または、低品質を示すかもしくは境界、グリッド線、気泡への近接を示す画像の特性もしくは特徴、を見積もることを含む、ステップと、
コンピュータビジョン法を使用して、複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析して、カウント可能な吸入性粒子の数を特定およびカウントするステップと、
該フィルター上でカウントされたカウント可能な吸入性粒子の総数、または該フィルター上の吸入性粒子の密度の見積値のいずれかを報告するステップ。
【0008】
一形態では、該さらなる分析を終了することが、該見積もられた1つまたは複数の品質基準が該1つまたは複数の事前規定された品質閾値に基づく品質評価に不合格の場合に該サンプル位置でのさらなる分析を終了し、次に別のサンプル位置に移動することを含み、また、さらなる分析がサンプル位置の閾値の数を超えて終了した場合に、それ以上のさらなる位置でのサンプリングはせず、不合格の品質評価ステータスが報告されるようにすることを含むようにすることができる。さらなる形態では、品質評価は、各サンプル位置で実行され、さらに、複数のサンプル位置での1つまたは複数の画像を組み合わせて、1つまたは複数のフィルターレベル品質基準を見積もることによりフィルターレベル品質評価を行うことを含み、この1つまたは複数のフィルターレベル品質評価は、フィルターの1つまたは複数の裂け目を特定すること、フィルターの一部がカバースリップの外側にあるかどうかを検出すること、フィルターの変色を検出すること、気泡で覆われたメンブレンの割合を見積ること、ダスト負荷を見積ること、および/または低品質もしくは不適切なサンプル準備を示す画像の特性または特徴を検出することを含む。さらなる形態では、各画像は、100倍から200倍の間の倍率範囲でキャプチャされ得る。
【0009】
一態様では、品質分析は2つの部分で実行され、第1の部分は、複数のサンプル位置で第1の倍率範囲内でキャプチャされた複数の画像を使用して該フィルターのフィルターレベル品質評価を実行するステップを含み、第2の部分は、第2の倍率範囲内でキャプチャされた複数のサンプル位置での該少なくとも1つの画像のうちの1つまたは複数の画像の視野レベル品質評価を実行するステップを含み、該第2の倍率範囲は該第1の倍率範囲よりも高い倍率範囲であり、
該フィルターレベル品質評価を実行するステップは、複数のサンプル位置で該第1の倍率範囲でキャプチャされた複数の画像を分析することを含み、該1つまたは複数の品質基準を見積ることは、該フィルターの1つまたは複数の裂け目を特定すること、該フィルターの一部がカバースリップの外側にあるかどうかを検出すること、該フィルターの変色を検出すること、気泡で覆われたメンブレンのパーセンテージを見積ること、ダスト負荷を見積ること、および/または低品質もしくは不適切なサンプル準備を示す画像の特性の検出することを含み、
各サンプル位置での視野レベル品質評価は、ダスト負荷、粒子負荷、粒子分布、ピクセル色分布、明度範囲、および/または、低品質を示すかもしくはサンプル位置での視野の境界、グリッド線、もしくは気泡への近接を示す画像の特性もしくは特徴、のうちの1つまたは複数を見積ることを含み、
該見積もられた1つまたは複数の品質基準がフィルターレベル品質評価に不合格の場合に、該さらなる分析を終了することは、該フィルターのさらなる分析を終了し、該フィルターに対する不合格の品質評価ステータスを報告することを含み、
該見積もられた1つまたは複数の品質基準が視野レベル品質評価に不合格の場合に該さらなる分析を終了することは、このサンプル位置でのさらなる分析を終了し、さらなる分析がサンプル位置の閾値の数を超えて終了していない場合には別のサンプル位置に移動し、さらなる分析がサンプル位置の閾値の数を超えて終了した場合にはそれ以上のさらなる位置でのサンプリングはせずに不合格の品質評価ステータスが報告されるようにすることを含む。
【0010】
他の態様では、該第1の倍率範囲は10倍から200倍の間であり、該第2の倍率範囲は200倍から600倍の間である。一つの態様では、該第2の部分は、該第1の部分およびフィルターレベル品質評価の後に実行される。他の態様では、該フィルターレベル品質評価は、該第2の部分で使用される該サンプル位置の位置を計画するために使用される。一態様では、該フィルターレベル品質評価を実行するために使用される該複数の画像が、該視野レベル品質評価を実行するために使用される該複数の画像と同時に収集され、該デジタル位相差顕微鏡の対物レンズが、キャプチャする画像が該フィルターレベル品質評価に使用されるか、該視野レベル品質評価に使用されるかに応じて、サンプル位置で2つの倍率の間でロボット切り替えされる。一態様では、該フィルターレベル品質評価をするために使用される該複数の画像は、該フィルターの該サンプル部分にタイル状に並べられ、または、該キャプチャされる画像が該サンプル部分の総面積の少なくとも20%を占めるように、該フィルターの該サンプル部分内に分布した複数のサンプル位置でキャプチャされる。
【0011】
一態様では、該フィルターレベル品質評価を実行するステップは、フィルターのカウント可能領域と、該フィルターのカウント可能領域内の1つまたは複数の除外領域とを決定することをさらに含み、該除外領域は、フィルターグリッド線、気泡、および大きな粒子状物質の1つまたは複数を含む。他の態様では、該フィルターのカウント可能領域を決定するためにコンピュータビジョン法を使用して該複数の画像を分析することは、
スライド境界、カバースリップ、該フィルター上のグリッド線、該フィルター上の1つ以上の気泡、または汚れを含む大きな粒子状物、を有する1つまたは複数の位置を特定することと、
特定された該1つまたは複数の位置を含む1つまたは複数の除外領域を画定することと、
該画像の視野内に除外領域を含まない該複数の画像内の画像のセットを特定することによって該カウント可能領域を画定することと、を含み、
複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析することが、コンピュータビジョン法を使用して該カウント可能領域を分析して該カウント可能領域内のカウント可能吸入性粒子の数を特定およびカウントすることを含む。
【0012】
一態様では、カウント可能領域を分析することは、サンプル位置での視野が完全にカウント可能領域内にある場合に、各サンプル位置での1つまたは複数のキャプチャされた画像を分析することを含む。
【0013】
一態様では、該複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップは、さらに、各サンプル位置で、それぞれが異なる焦点面でキャプチャされたZ個の拡大位相差画像のセットをキャプチャすることを含み、該カウント可能領域を分析することは、該Z個の拡大位相差画像のセットをZスタックして、単一のスタック画像を取得することを含み、該コンピュータビジョン法は、該単一のスタック画像を分析して、該単一のスタック画像の視野のカウント領域内のカウント可能な吸入性粒子の数を特定およびカウントするようにする。他の態様では、(画像のセットから)最も鮮明な焦点を有する画像を選択し、複数のサンプル位置のそれぞれでの該少なくとも1つの画像のうちの複数の画像を分析するステップで使用される。他の形態では、Z個の画像を個別に分析して、複数の焦点面に存在する特徴を検出する。
【0014】
一形態では、
コンピュータビジョン法を使用して、該複数のサンプル位置のそれぞれで少なくとも1つの画像のうちの複数の画像のうちの1つを分析するステップは、
該視野のカウント領域内の1つまたは複数の関心領域を特定することと、
ピクセル抽出器を適用して、機械学習技術、バックグラウンドフィルタリング、または拡散フィルタリング技術のうちの1つまたは複数を使用して、各関心領域の対象繊維ピクセルを特定し、ピクセルの隣接するグループを含む1つまたは複数のピクセルブロブを出力することと、
該ピクセル抽出器から受け取った各ピクセルブロブに特徴抽出器を適用して、1つまたは複数の幾何学的操作を適用して、吸入性粒子に一致する幾何学形状を有するピクセルブロブをカウント可能な吸入性粒子として分類することと、
カウント可能な吸入性粒子の数をカウントすることと、
を含む。
【0015】
他の態様では、該ピクセル抽出器が、各関心領域に対する吸入性粒子の画像の参考セットでトレーニングされた1つまたは複数の機械学習分類器を使用して、該参考画像に一致する1つまたは複数の対象関心領域を特定する。該ピクセル抽出器が、異方性拡散フィルタリング技術を使用する。
【0016】
他の態様では、該吸入性粒子および該カウント可能な吸入性粒子がアスベスト繊維であり、該1つまたは複数の幾何学的操作が、フィルタリング基準を使用して通常のアスベスト繊維幾何学的フィルターを各対象関心領域に適用することを含み、該フィルタリング基準は、最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、対象関心領域内の他のピクセルブロブに接触していないように見える該対象関心領域内のピクセルブロブを有することを要求するものであり、該フィルタリング基準を満たす各ピクセルブロブが、それぞれ単一のカウント可能な吸入性繊維としてカウントされる。
【0017】
他の態様では、該吸入性粒子およびカウント可能な吸入性粒子がアスベスト繊維であり、該1つまたは複数の幾何学的操作は、フィルタリング基準を使用して束のアスベスト繊維の幾何学的フィルターを各対象関心領域に適用することを含み、該フィルタリング基準は、最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、他のピクセルブロブに接触していないように見える該対象関心領域内のピクセルブロブを有することを必要とするものであり、該他のピクセルブロブは、その2次元のうちの小さい方としてとして規定される最大幅が3マイクロメートルを超えるものであり、また、該カウント可能な吸入性繊維の数をカウントすることは、個々に特定可能な繊維をカウントすることを含み、または個々の繊維を区別できない場合は該束を単一の繊維としてカウントするようにする。
【0018】
一態様では、コンピュータビジョン法を使用して該複数のサンプル位置のそれぞれでの該少なくとも1つの画像ののうちの複数の画像のうちの1つを分析するステップは、ディープラーニングニューラルネットワークモデルを使用することを含む。該ディープラーニングニューラルネットワークモデルは、畳み込みフィルターおよびReLU活性化関数を含む畳み込みニューラルネットワークであり、入力画像を受信し、画像内の対象吸入性粒子の特徴を特定し、該1つまたは複数の幾何学的操作が適用されて、画像内の呼吸可能な粒子の数を特定してカウントする。更なる態様では、該ディープラーニングニューラルネットワークモデルは、VGG16ネットワークおよび完全な接続層を含む畳み込み回帰ニューラルネットワークであり、入力画像を受信し、該画像内の吸入性粒子の該見積もられた数のカウントを出力する。
【0019】
一態様では、
フィルターのサンプル部分に分布する複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャするステップが、
a)2Dマッピンググリッドであって、そのグリッドの寸法は該デジタル位相差顕微鏡の倍率設定に関連する視野に基づいており、グリッドポイントが該複数のサンプル位置を画定するようにした2Dマッピンググリッドをサンプル部分上に画定することと、
b)該2Dマッピンググリッド内の1つのポイントを選択することと、
c)該ロボットXYステージを選択した該ポイントに指示し、少なくとも1つの拡大位相差画像をキャプチャすることと、
d)該キャプチャされた画像が、該サンプル部分にタイル状に並べられるか、または閾値領域を超える合計領域を有するまで、該b)とc)のステップを繰り返すことと、
を含む。
【0020】
一態様では、
少なくとも1つのサンプル位置でターゲット焦点面を決定するステップをさらに含み、該ステップが、
4倍から200倍の倍率で画像をキャプチャし、コンピュータビジョン法を使用して該キャプチャされた画像の1つまたは複数のグリッド線を特定することと、
特定されたグリッド線が視野の中心に近接するようにロボットXYステージを移動することと、
該デジタル位相差顕微鏡の対物レンズを高倍率の対物レンズに切り替えることと、
該グリッド線に焦点が合うまで、該デジタル位相差顕微鏡のZ高さを調整することと、
該Z高さをターゲット焦点面の点として保存し、保存されたターゲット焦点面を使用して、1つまたは複数の他のサンプル位置で1つまたは複数の画像をキャプチャするための焦点面を決定することと、
を含む。
【0021】
一態様では、
少なくとも1つのサンプル位置でターゲット焦点面を決定するステップをさらに含み、該ステップが、
サンプル位置においてそれぞれ異なるZ高さで4倍から200倍の倍率の一連の画像をキャプチャすることと、
該一連の画像を分析して、カバースリップ境界もしくは上方スライド境界、または下方スライド境界の1つまたは複数を決定することと、
該上方スライド境界と該下方スライド境界の中にあると推定される最も鮮明な焦点の画像のZ高さを該ターゲット焦点面の点として保存し、該保存されたターゲット焦点面を使用して、1つまたは複数の他のサンプル位置における1つまたは複数の画像をキャプチャするための焦点面を決定することと、
を含む。
【0022】
一態様では、該フィルターの該サンプル部分の予測焦点面マップを生成するステップをさらに含み、該ステップが、該サンプル部分にわたって分布する複数のサンプル位置を選択し、該サンプル位置のそれぞれにおけるターゲット焦点面を見積もることを含む。
【0023】
一態様では、
該フィルターの好ましい位置を示す、該光学的に透明な支持体の下に配置されたサンプル配置ステンシルを使用して、該光学的に透明な支持体上に該フィルターを配置するステップと、
該フィルターを処理してメンブレンフィルターを形成するステップと、
カバースリップを使用して、該メンブレンフィルターを該光学的に透明な支持体に固定するステップと、
を更に含む。
【0024】
一態様では、該少なくとも1つの拡大位相差画像のそれぞれが10倍と2000倍の間の総倍率を有する。
【0025】
一態様では、カウント可能な吸入性粒子がアスベスト繊維または合成鉱物繊維であり、該フィルターがメンブレンフィルターである。
【0026】
一態様では、該光学的に透明な支持体が顕微鏡スライドであり、当該方法はさらに、サンプル部分フィルターをそれぞれ支持する複数の顕微鏡スライドを、1つまたは複数の顕微鏡スライドをロボットXYステージに出し入れするようにされたコンピュータ制御のオートローダーに装填するステップを含み、該サンプル部分フィルターを支持する該顕微鏡スライドをロボットXYステージに入れることが該オートローダーを使用して実行され、各顕微鏡スライドは固有の識別子を含み、当該方法はさらに、該識別子の表示をキャプチャすることと、該装填された顕微鏡スライドごとに該キャプチャ、分析、および報告するステップを実行することとを含み、該報告するステップでは、該顕微鏡スライドの固有の識別子も報告するようにする。
【0027】
一態様によれば、空気中の吸入性粒子をサンプリングするために使用される、ロボット顕微鏡プラットフォームを有する大気品質監視装置から得られたフィルターの自動分析のためのシステムが提供され、
該装置が、
位相差顕微鏡、
使用時にフィルターのサンプル部分を含む光学的に透明な支持体を受け入れるための電動XYステージ、
電動Z軸フォーカスドライブ、及び
像面に配置されて、少なくとも1つの拡大位相差画像をキャプチャするように構成された画像センサ、
を備えるロボット顕微鏡プラットフォームと、
該ロボット顕微鏡プラットフォームに動作可能に接続された少なくとも1つのコンピュータ装置であって、少なくとも1つのプロセッサおよび該プロセッサに動作可能に接続されたメモリを含み、請求項1から33のいずれか一項に記載の方法を実行するように構成されたコンピュータ装置と、
を備える。
【0028】
一形態では、それぞれ異なる倍率の複数の対物レンズで構成される電動ノーズピースをさらに含む。
【0029】
一形態では、複数の光学的に透明な支持体を格納するためのオートローダーであり、電動XYステージに対し1つまたは複数の光学的に透明な支持体を装填および取り出しするように構成されているオートローダーをさらに含む。
【0030】
一形態では、該少なくとも1つのコンピュータ装置は、ローカルコンピュータ装置および少なくとも1つのリモートコンピュータ装置を含み、該ローカルコンピュータ装置は、該ロボット顕微鏡プラットフォームに直接接続もしくは統合されるか、またはローカルネットワーク上に接続されており、該ローカルコンピュータ装置は、該キャプチャするステップを実行し、キャプチャされた少なくとも1つの画像をネットワーク接続を介して該少なくとも1つのリモートコンピュータ装置に提供するように構成され、該リモートコンピュータ装置は、該分析するステップと該報告するステップとを実行する。
【図面の簡単な説明】
【0031】
本開示の実施形態は、添付の図面を参照して説明される。
【0032】
【
図1A】一実施形態による、空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のための方法のフローチャートである。
【0033】
【
図1B】一実施形態による、空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のための方法のフローチャートである。
【0034】
【
図1C】一実施形態による、低倍率スキャンおよび高倍率スキャンを使用するフィルターの自動分析のための方法のフローチャートである。
【0035】
【
図1D】一実施形態による、疑似フィルターレベル画像を生成するために高倍率スキャンを使用するフィルターの自動分析のための方法のフローチャートである。
【0036】
【
図2A】一実施形態による、低倍率品質評価を実行するためのフィルターのサンプル部分をタイル状にして表示する画像のセットの視野の概略図である。
【0037】
【
図2B】一実施形態による、
図2Bの低倍率品質評価に基づいて、視野レベル品質評価および吸入性粒子のカウントを実行するための画像のセットのサンプル位置の概略図である。
【0038】
【
図2C】一実施形態による低倍率品質評価を実行するために、フィルターのサンプル部分にわたるランダムなサンプル位置で撮影された画像のセットの視野の概略図である。
【0039】
【
図2D】一実施形態による、
図2Cの低倍率品質評価に基づいて、視野レベル品質評価および吸入性粒子のカウントを実行するための画像のセットを収集するための走査経路の概略図である。
【0040】
【
図2E】一実施形態による低倍率品質評価を実行するために、フィルターのサンプル部分にわたるサンプル位置のセットで撮影された画像のセットの視野の概略図であり、フィルターのサンプル部分内の吸入性粒子の数をカウントするために使用される各視野内のサンプル位置がしめされている。
【0041】
【
図2F】一実施形態による、フィルターのサンプル部分にタイル状に並べて表示する画像のセットの視野の概略図である。
【0042】
【
図2G】一実施形態による、
図2Fに示される画像のセットから生成された低倍率品質評価を実行するための疑似巨視的画像の概略図である。
【0043】
【
図2H】一実施形態による、サンプル部分全体にわたる粒子分布のプロットである。
【0044】
【
図2I】一実施形態による、粒子を含む標的焦点面を決定するための、測定された光学パラメータ対Z高さのプロットである。
【0045】
【
図3】一実施形態による、空気中の吸入性粒子をサンプリングするために使用される空気品質監視装置から得られたフィルターの自動分析のためのシステムの概略図である。
【0046】
【
図4A】一実施形態による寸法を示す顕微鏡スライド、カバースリップおよびフィルターサンプルの概略図である。
【0047】
【
図4B】
図4Aの顕微鏡スライドにマッピングされた2Dグリッドの概略図である。
【0048】
【
図5A】一実施形態によるグリッド線および除外領域を示すフィルターの概略図である。
【0049】
【
図5B】一実施形態による、除外領域およびサンプル位置を示す部分グリッドの拡大図である。
【0050】
【
図5C】一実施形態による、除外領域およびサンプル位置を示す部分グリッドの拡大図である。
【0051】
【
図6A】一実施形態による、明るい背景に対して撮影された、メンブレンフィルターのサンプル部分が支持され、顕微鏡スライドに固定された顕微鏡スライドのマクロスケール画像である。
【0052】
【
図6B】特徴検出アルゴリズムを適用した後の
図6Aの画像である。
【0053】
【
図6C】一実施形態による、スライド、カバースリップ、メンブレンフィルターおよびグリッド線を特定するために特徴検出アルゴリズムを使用して幾何学的形状を一致させた後の
図6Aの画像である。
【0054】
【
図7A】一実施形態による、
図6Cで特定されるメンブレンフィルターの周囲の領域にトリミングされた暗い背景に対して撮影された、メンブレンフィルターのサンプル部分が支持され、顕微鏡スライドに固定された顕微鏡スライドのマクロスケール画像である。
【0055】
【
図7B】白黒変換し、コントラスト調整を適用した後の
図7Aの画像である。
【0056】
【
図7C】一実施形態による気泡を特定するために輪郭を適合させた後の
図7Bの画像である。
【0057】
【
図8】一実施形態による、
図1Bに示される方法におけるコンピュータビジョン分析ステップのフローチャートである。
【0058】
【
図9A】一実施形態によるメンブレンフィルターのサンプル位置の拡大位相差画像である。
【0059】
【
図9B】一実施形態による胞子トラップから取られたフィルターのサンプル位置の拡大位相差画像である。
【0060】
【
図10】一実施形態によるカウント目盛を示す、400倍の全倍率でのメンブレンフィルターのサンプル位置の位相差画像である。
【0061】
【
図11】一実施形態による、サンプルの垂直(z)深さ方向での異なる焦点面で撮影された一連のZ拡大位相差画像およびZスタック合成画像の概略図である。
【0062】
【
図12A】一実施形態による、
図2に示されるフローチャートの概略図である。
【0063】
【
図12B】画像の特徴をよりよく説明するために色が反転された関心領域(ROI)抽出器からの出力画像である。
【0064】
【
図12C】入力ROI画像およびピクセル抽出器からの出力を示す一組の比較画像である。
【0065】
【
図12D】入力ROI画像およびピクセル抽出器の実施形態からの出力を示す比較画像のセットである。
【0066】
【
図13A】一実施形態による、束ねられた繊維のコンピュータビジョン処理の概略図である。
【0067】
【
図13B】特徴抽出器の実施形態を示す比較画像のセットである。
【0068】
【
図13C】特徴抽出器の実施形態を示す比較画像の別のセットである。
【0069】
【
図14A】一実施形態による、吸入性粒子を特定およびカウントするためのディーブラーニング法のフローチャートである。
【0070】
【
図14B】一実施形態による、吸入性粒子を特定およびカウントするための別のディープラーニング法のフローチャートである。
【0071】
【
図15】一実施形態によるロボット顕微鏡プラットフォームの概略図である。
【0072】
以下の説明において、同様の参照文字は、図全体を通して同様のまたは対応する部分を示す。
【発明を実施するための形態】
【0073】
図1Aには、アスベストや合成鉱物繊維などの空気中の吸入性粒子をサンプリングするために使用される一実施形態に係る空気品質監視装置から得られたフィルターの自動分析法のフローチャート100が示されている。
図1B、1C、および1Dは、
図1Aに示される広い概念の方法を実施する一連の実施形態を示している。これらは、
図2Aから
図2Iにさらに示されている自動品質評価の実行方法に関するいくつかのバリエーションを示している。自動化された品質評価を実装することで、自動化されたカウント方法への信頼が作られ、サンプル位置またはフィルター全体で粒子を特定してカウントするために時間を浪費することになる低品質の視野を排除し、品質の悪いフィルターに時間を使うことなく、フィルターの効率的な処理が可能になる。
図3は、一実施形態による空気品質監視装置から得られたフィルターの自動分析のためのシステムの概略図である。このシステムは、ロボット顕微鏡プラットフォーム2と、ロボット顕微鏡プラットフォーム2に動作可能に接続された少なくとも1つのコンピュータ装置4とを備える。
図15は、一実施形態によるロボット顕微鏡プラットフォームの概略図である。いくつかの実施形態では、顕微鏡スライド(または他の光学的に透明な支持体)オートローダー18などの追加の構成要素が含まれ得る。メンブレンフィルターは、さまざまな吸入性粒子を捕捉するために使用でき、特に重要な利用の1つは、アスベスト繊維が依然として深刻な健康問題であるため、それらの検出とカウントである。したがって、以下の説明および実施形態は、アスベスト繊維の検出およびカウントに焦点を当てる。ただし、システムはアスベスト繊維の測定に使用するように設計されているが、合成鉱物繊維(SMF)、シリカ繊維、羊毛繊維、木質繊維などの空気サンプル中の他の吸入性繊維、そして、カビの胞子や花粉などの他の吸入性粒子を測定するようにシステムを適合させることができることは明らかである。より一般的には、コンピュータビジョン法を使用して確実に特定できる、明確に画定された幾何学的または視覚的特性を持つ他の吸入性粒子を特定およびカウントするために使用できる。したがって、本明細書は、(メンブレンフィルターに変換された)フィルター上に捕捉されたアスベスト繊維の例を提供するが、これは例示であり、この方法は、空気サンプリング装置のフィルター上に捕捉された、透明である、またはメンブレンフィルターに変換して、スライドまたはその他の光学的に透明な支持体に取り付けられる他の吸入性粒子に使用され得る。フィルターは、吸入性粒子を捕捉する(すなわち、通過する空気から濾過する)透明なテープ、または顕微鏡スライド(または同様のもの)にロードできる他の同様の捕捉媒体であり得る。
【0074】
ここで
図1Aを参照すると、方法100は、複数の画像をキャプチャするためにロボット顕微鏡にロードされたフィルターのサンプル部分(sample portion)にわたる画像キャプチャ(120)から始まる。サンプル部分は、ガラス顕微鏡スライドなどの光学的に透明な支持体上に支持される。ロボットXYステージは、光学的に透明な支持体を動かして、顕微鏡の視野内にサンプル位置(sample location)を配置するように構成されている。フィルターのサンプル部分に分布する複数のサンプル位置のそれぞれで、少なくとも1つの画像がキャプチャされる。これらの画像の少なくとも1つは、拡大された位相差画像である。さらに複数の画像がサンプル位置でキャプチャされる場合がある。これらは、対物レンズステージまたは他の光学要素を切り替えることにより、異なる焦点面(すなわち、Z高さ)および/または異なる倍率におけるものであり得る。品質評価(130)は、キャプチャされた画像の1つまたは複数に対して実行され、品質評価(130)に合格すると、コンピュータビジョン法を使用して粒子をカウントする(140)。次に、レポートを作成することができる。
【0075】
品質評価段階は、関連する所定の閾値と比較することができる品質基準(quality criteria)の範囲を見積もることを含む。これらを使用して、品質評価が合格か不合格かを判断できる。多くのサンプル基準(sample criteria)のうち1つだけが許容範囲外である場合、または複数の品質基準が組み合わされて、不合格となる可能性がある。いくつかの実施形態では、1つの品質基準に対する複数の閾値を規定することができ、第1の閾値は自動的な不合格をトリガーするために使用され、第2の閾値は限界(ぎりぎりの)品質を示すために使用され、他の品質基準と組み合わせて使用される。たとえば、2つ以上の品質基準が限界品質の範囲にある場合、不合格がトリガーされる可能性がある。いくつかの実施形態では、品質評価の不合格は、そのサンプル位置でのさらなる分析を終了させる結果となる。カウンターは、サンプル位置が排除された回数をカウントして、ある閾値を越えて排除された場合、フィルターのそれ以上の分析が終了され、不合格の品質評価ステータスが報告されるようにすることもある。閾値の数は、10または20などの所定の数、またはすべての場所の20%または50%など、サンプリングされる(すなわちサンプリングされる予定の)すべての場所のパーセンテージを表すことができる。いくつかの実施形態では、品質評価の不合格が、例えば、フィルター全体(すなわち、マクロスケール)の品質問題を示している場合、フィルターのそれ以降のすべての分析を終了させるようにすることがある。
【0076】
品質基準は、粒子負荷、粒子分布、ピクセル色分布、明度範囲、および/または、低品質を示すかもしくは境界、グリッド線、気泡への近接を示す通常ではない画像の特性もしくは特徴を含む。品質が悪いことを示す他の指標には、フィルターに1つ以上の裂け目、カバースリップの外側にあるフィルターの一部、フィルターの変色、気泡で覆われたメンブレン部分の多さ、フィルター上の総ダストの多さ、粒子のカウントに悪影響を与える可能性のあるフィルター、スライド、またはカバースリップへの汚染または損傷の可能性を示すスポット、しみ、またはスクラッチなどの異常なものの存在などがある。
【0077】
品質基準は、視野または目盛レベル(つまり、粒子カウントが実行される倍率)の品質を反映する高倍率/高拡大率の画像から見積もることができる。これは、視野レベル品質評価と呼ばれるが、目盛レベルまたは粒子カウントレベルと呼ばれることもある。追加的または代替的に、品質基準は、全体的なフィルターレベルの品質を示す低倍率/低拡大率(すなわち巨視的スケール)の画像から見積もることができる。上記のように、個々の視野は、品質評価が不合格な場合、破棄される可能性がある。高倍率視野レベル(または目盛レベル)の画像が十分に高品質でキャプチャされていれば、スライドを分析できる。しかしながら、いくつかの実施形態では、あまりにも多くの個々の高倍率の視野が不合格である場合、または低倍率の画像がフィルター全体の品質が悪いことを示す場合、スライド全体が排除され得る。
【0078】
図1Bから
図1Dおよび
図2Aから
図2Gに示されるように、品質評価は、いくつかの方法で実行され得る。
図1Bに示される実施形態では、複数の画像がフィルターのサンプル部分にわたってキャプチャされる(122)。画像のいくつかは、フィルター品質評価(132)を実行するために使用され、フィルター品質評価が合格とされた場合、視野(または目盛り)レベル品質評価(136)が、コンピュータビジョンカウントが実行されるサンプル位置のそれぞれで実行される。視野が視野レベル品質評価(138)に合格した場合、コンピュータビジョン法を使用して、視野内の吸入性粒子の数を特定およびカウントする(142)。視野レベル品質評価は、粒子カウントを実行するのに適した高倍率(または高拡大率)画像で実行することができる。フィルターレベル品質評価132に使用される画像は、低倍率または低拡大率の画像であり得る。フィルターレベル品質評価132が不合格である場合、または非常に多くの個々のFOVが品質評価136に不合格である場合、フィルター/スライド135の分析を終了することができる。この場合、サンプルの不合格を示すレポートが、不合格の理由を含めて生成することができる。あるいは、フィルターレベル品質評価(134)が合格で、十分な視野品質評価(138)が合格の場合、フィルターのカウント可能領域でカウントされるカウント可能吸入性粒子の総数、またはフィルター上の粒子密度の見積値を示すレポートが生成される(144)。次に、スライドの分析は終了し(146)、新しいスライドが分析される。
【0079】
図1Cは、品質評価が2つの部分で実行される別の実施形態である。第1の部分では、全体的なフィルターレベルの品質を評価するために集合的に分析される複数の低倍率/低拡大率画像をキャプチャすることを含む低倍率(または低拡大率)スキャンが実行される(122)。このフィルターレベル品質評価に合格すると、顕微鏡スライドのサンプル部分全体にわたって複数の高倍率(または高拡大率)画像を収集することを含む第2の部分が実行される(124)。視野レベル品質評価は、上述のように、高倍率画像のそれぞれに対して実行され、合格するとコンピュータビジョンカウント法が行われる(142)。いくつかの実施形態では、第1の部分(低倍率スキャンと評価)は、第2の部分(高倍率スキャンと視野レベル品質評価)の前に行われる。他の実施形態では、破線125によって示されるように、画像が、同時に(すなわち、並行して)収集され得る。つまり、低倍率画像を最初のサンプル位置で収集し、次に低倍率画像の視野全体内の複数の高解像度画像を収集してから、次の低倍率画像のサンプル位置に移動することができる。これには、低倍率画像と高倍率画像の間で対物レンズを自動交換する必要がある。
【0080】
図1Bおよび1Cに示される実施形態では、フィルターレベル品質評価を実行することは、第1の倍率範囲でキャプチャされた複数の画像を分析することを含み、各サンプル位置で視野レベル品質評価を実行することは、第1の倍率範囲よりも大きい第2の倍率範囲でキャプチャされた画像に対して実行される。いくつかの実施形態では、第1の範囲は10倍から200倍の間であり、第2の倍率範囲は200倍から600倍の間である。いくつかの実施形態では、フィルターレベル品質評価のための品質基準は、フィルターの1つまたは複数の裂け目を特定すること、フィルターの一部がカバースリップの外側にあるかどうかを検出すること、フィルターの変色を検出すること、気泡によって覆われたメンブレンのパーセンテージを見積もること、ダスト負荷を見積もること、および/または低品質または不適切なサンプル準備を示す画像特性を検出することを含む。視野レベル品質評価のための1つまたは複数の品質基準の見積には、フィルターの1つまたは複数の裂け目を特定すること、フィルターの一部がカバースリップの外側にあるかどうかを検出すること、フィルターの変色を検出すること、気泡で覆われているメンブレンのパーセンテージを見積ること、ダスト負荷を見積ること、および/または品質の低さや不適切なサンプル準備を示す画像特性を検出することが含まれる。この実施形態では、フィルターレベル品質評価が不合格で、さらなる分析を終了する場合は、フィルターのさらなる分析を終了し、フィルターが不合格である品質評価ステータスを報告することを含む。視野レベル品質評価が不合格で、さらなる分析を終了する場合は、サンプル位置の閾値を超えてのさらなる分析が終了して、それ以上のさらなる位置でのサンプリングはされず不合格の品質評価ステータスの報告が行われる場合以外は、このサンプルの場所のさらなる分析の終了と、別のサンプルの位置への移動が行われる。
【0081】
図1Dは、サンプル部分122にわたる複数のサンプル位置での高倍率画像の単一のセットを収集するようにした別の実施形態である。これら画像はすべて単一の倍率範囲で収集され、フィルターレベル品質評価の実行(132)が行われる疑似フィルターレベル(すなわち、疑似マクロスケール)画像を生成(126)するために使用される。これは、低倍率スキャンの実行で効果的に複製する。倍率範囲は、好ましくは、100倍から200倍の全倍率の範囲である。これは、画像を特定するのに十分な解像度と、視野レベルとフィルターレベルの両方の品質評価を実行できるようにするためにキャプチャする必要がある画像の総数との間のトレードオフである。ただし、以下に概説するように、他の倍率範囲を使用することもできる(たとえば、100倍未満または200倍超)。
【0082】
図1Bから1Dに示されるように、導入のステップ110は、システムの較正(112)および顕微鏡スライド402をデジタル位相差顕微鏡2のロボットXYステージ12にロードすることを含めて実行され得る。顕微鏡スライド402は、フィルター406のサンプル部分を支持する。明確にするために、空気品質監視装置(または空気サンプラー)は、(通常、顕微鏡スライド、または、別の光学的に透明な支持面上におかれる)メンブレンフィルターと呼ばれる透明なメンブレンを形成するように通常処理および変換される取り外し可能なフィルターを含む。このようなフィルターは、アスベスト繊維、合成鉱物繊維(SMF)、シリカ繊維、羊毛繊維、木質繊維、花粉、カビの胞子など、さまざまな粒子を捕捉するために使用できる。たとえば、フィルターの一例はカビの胞子や1.5~3.9μmのサイズのアスベスト粒子を含むその他の粒子を捕捉するVersaTrap胞子トラップカセットである。サンプル部分は、スキャンされる固定された透明なメンブレンの一部である。たとえば、サンプルメンブレンを半分にカットし、半分をスライド(サンプル部分)に取り付け、残りの半分を準備と取り付けで問題が発生した場合に備えて保存したり、後で追跡分析を実行できるようにしたりできる
【0083】
較正(112)は、定期的に実行され得る。これは、毎日の操作の開始時、6時間または12時間ごと、毎週などの一定の時間の後、または分析された1000番目のスライドごとなどの他のスケジュールに従って実行される。較正は、現在の手動アプローチに従って実行できるが、コンデンサーレンズのセンタリングは、接眼レンズを観察するのではなく、カメラフィードを使用して実行される。較正ステップはまた、ロボット顕微鏡に検出限界較正スライドを挿入することを含み得る。これは、スライドをバンドの既知の位置に移動するキャリブレーションプログラムを使用して手動または自動化された一連のバンドで構成され、コンピュータービジョンメソッドを使用して画像をキャプチャおよび分析し、キャプチャされた画像が期待される画像と一致することを確認する。較正はまた、位相差較正のために位相リングをセンタリングおよび整列させることを含み得る。繰り返すが、これは手動プロセスの場合もあれば、自動化されている場合もある。一実施形態では、センタリングは、低倍率の対物レンズを使用して実行され、対物レンズ上に仮想目盛リングを描くことによってセンタリング操作を実行する。仮想リングは、対物レンズのリングのサイズ(例:20倍または40倍)を反映する。
【0084】
空気のサンプリングまたは監視装置で使用される一般的なエアフィルターは直径25mmの円形フィルターであるが、一部のエアサンプラーは直径13mmの小さな円形フィルターを使用する。他のサンプラーは他の形状を使用できるが、ここで説明する方法には影響しない。メンブレンフィルター406は、以下のように顕微鏡スライドに取り付けられる。フィルターを顕微鏡スライド上に置き、アセトン-トリアセチンなどの溶媒を加えてフィルターを溶解または溶融し、スライド上に透明なメンブレンを作製し、カバーガラス404を使用して顕微鏡スライドに固定する。より小さい直径13mmの円形フィルターは、顕微鏡スライド402上に直接配置することができるが、サンプル部分を形成するために、直径25mmの円形フィルターを最初に切断しなければならない。多くの場合、フィルターは半分に切断されて2つの半円を形成し、そのうちの1つは顕微鏡スライド402上に配置されて透明メンブレンフィルター406に変換され、もう1つは保管のために保持される。いくつかの実施形態では、サンプル部分は、顕微鏡スライド402に固定されたメンブレンフィルターの全部分である。他の実施形態では、サンプル部分は、結果の標準化を可能にする中央の10mmの正方形または直径10mmの円形部分などの所定のサイズの部分、または最小サイズ(少なくとも直径5mmの円形部分)、または顕微鏡スライドに固定されたメンブレンフィルターの全サイズの一部(75%、50%、25%)とすることができる。
【0085】
サンプル調製および取り付けステップ(114)の一部として、テンプレートを使用して、カバースリップおよび/またはグリッド線(存在する場合)とともに、スライド上のどこにメンブレンフィルターを配置するかを示すことができる。本明細書に記載の方法の実施形態は、グリッド線の有無にかかわらずメンブレンフィルターで使用できることに留意されたい。グリッド線の位置と方向をテンプレート(存在する場合)に一致させることにより、グリッド線を回避したり、分析プロセスを通じてグリッド線を使用して正しい焦点面が分析されていることを確認したりできるようにスキャンを計画することができる。以下で説明するように、グリッド線は完全ではないことが多く、サンプル準備段階で大幅に歪む可能性があるため、分析方法において画像内にグリッド線が特定される場合がある。サンプルテンプレートを使用する場合は、フィルターの周囲の境界(例:円周で2mm、(サンプルをカットする場合)カットラインから3mm)を考慮に入れる必要がある。
【0086】
デジタル位相差顕微鏡2は、デジタル位相差顕微鏡2の像面14の画像を取り込むように構成された画像センサ16をさらに備える。ロボットXYステージ12は、光学アセンブリの視野または顕微鏡の光路内に1つまたは複数の顕微鏡スライドを支持および配置することができる電動ステージである。いくつかの実施形態では、ロボットXYステージ12はまた、電動Z軸ドライブ13(例えば、ロボットXYZステージ)を含み得る。明確にするために、XYは、X軸とY軸の少なくともロボット制御を指定するために包括的に使用され、Z軸の制御も排除するものではない(つまり、XYは少なくともXYを意味する)。位置は、コンピュータ装置4上で実行することができる顕微鏡コントローラモジュール26によって制御される。顕微鏡コントローラモジュール26は、分散型アプリケーションであり得る。ロボットXYステージは、複数のスライドをサポートするようにすることができる。この場合、XYステージによって保持されている各スライドは順番に分析される。いくつかの実施形態では、オートローダー18を使用して、準備された顕微鏡スライド402を保管し、これらスライドを、(例えば、ロボットXYステージ上の1つまたは複数の顕微鏡スライドホルダーを介して)ロボットXYステージに徐々に装填し、顕微鏡がスキャンされるようにすることができる。いくつかの実施形態では、偏光子ステージを追加して、偏光顕微鏡(位相差)画像をキャプチャし、偏光顕微鏡(PLM)画像上で繊維特定を実行することができる。
【0087】
顕微鏡の倍率は、イメージセンサー/カメラレンズと対物レンズの倍率を組み合わせたものである。特に明記しない限り、または文脈が明らかに他のことを示していない限り、明細書および特許請求の範囲で言及される倍率範囲は、全倍率(すなわち、イメージセンサー/カメラレンズおよび対物レンズの組み合わせ)である。例えば、カメラレンズは2倍から10倍の倍率を有し得、顕微鏡は2倍から60倍の倍率を提供する1つまたは複数の対物レンズを有し、合計倍率範囲は4倍から600倍となる。デジタル位相差顕微鏡はまた、異なる倍率の対物レンズを切り替えるように構成されたロボット制御のノーズピースを備え得る。例えば、カメラレンズが10倍であった場合、対物レンズステージは、品質評価のための低倍率画像を捕捉する2倍から10倍の倍率範囲を有する低倍率の対物レンズを含み得、全倍率で20倍から100倍の範囲の高倍率のものとすることができ、倍率20倍から60倍の倍率対物レンズで、倍率範囲が200倍から600倍の粒子をカウントするための高拡大率(または高倍率)画像を撮影することができる。
【0088】
通常、高倍率画像は、粒子を特定する際のコンピュータビジョン法を支援するために収集される。約200倍までの倍率では、被写界深度はすべての粒子をキャプチャするのに十分であり、200倍を超えると、すべての粒子をキャプチャするために異なる焦点面(Z高さ)で複数の画像が必要になる場合がある。倍率を上げると視野が狭くなる。低解像度の利点は、視野が広がることであり、フィルターのより広い領域のサンプリングが可能になる。100倍以上の総倍率では、一般的なイメージセンサーで一般的に粒子を検出できる。100倍未満の倍率では、粒子を確実に特定するコンピュータビジョン手法の能力は、イメージセンサーの解像度と光学系によってある程度影響を受ける。特に、高解像度の画像センサ(つまり、高ピクセル密度)が使用されている場合、低倍率の画像を使用できる(つまり、信頼性のある粒子検出を可能にするのに十分な品質が得られる)。つまり、高解像度のイメージセンサーは、より低い全体的倍率を補うことができる。これが特に適切である一実施形態は、
図1Dに示される実施形態であり、疑似フィルターレベル画像が個々の画像から生成される。この場合、高解像度イメージセンサーは、40倍から100倍の範囲の合計倍率でキャプチャされた画像で使用できる。
【0089】
画像キャプチャステージ120は、フィルターのサンプル部分にわたる複数のサンプル位置のそれぞれで少なくとも1つの画像をキャプチャすることをさらに含む。これらは、サンプル部分、またはサンプル部分のタイル領域がタイル状になるようにするか、または総面積が閾値量を超えるようにサンプル部分をサンプリングすることができる。この閾値量は、固定値(25mm
2など)または固定パーセンテージ(総面積の20%または50%など)にすることができる。サンプリングされた領域からの結果がスライドの全体的な品質に信頼を与えるのに十分であるように、この量は(局所的な結果を表さないようなもので)十分に大きくなければならない。サンプリングは、グリッドを使用するなど、計画的または定期的に行うことも、ランダムにサンプリングすることもできる。ロボットXYステージは、顕微鏡の視野内(つまり光路の下)にサンプル位置を配置するように顕微鏡スライドを移動するように構成されている。サンプル位置は、例えば、顕微鏡コントローラモジュール26によって選択され、ロボットXYステージは、顕微鏡スライドを動かして、顕微鏡の光学アセンブリ(または経路)の下で選択されたサンプル位置を見つけるように指示される。1つまたは複数の画像が次にキャプチャされる。これらのキャプチャされた画像の少なくとも1つは、拡大された位相差画像である。いくつかの実施形態では、キャプチャされた画像のすべてが位相差画像である。いくつかの実施形態では、1つまたは複数の画像はまた、暗い背景に対して撮影された暗い画像および明るい背景に対して撮影された明るい画像、あるいは灰色または着色された背景に対して撮影された画像を含み得る。偏光顕微鏡(PLM)画像などの他の画像もキャプチャできる。顕微鏡スライドのサンプル部分にわたる十分な数のサンプル位置が収集されるまで、移動/キャプチャ手順が繰り返される。(
図1Aから1Dを参照して)上述したように、これらの画像は、グループで個別に分析するか、デジタルでつなぎ合わせて複合疑似フィルターレベル画像を形成することができる。合成画像は、顕微鏡コントローラモジュール26からのスライドの既知の位置および既知の倍率を使用して、および/または画像処理を使用して隣接する画像間で重複するピクセルを特定することによって形成することができる。いくつかの実施形態では、複数の画像をビデオストリームとしてキャプチャし、ビデオストリームからフレームとして抽出することができる。
【0090】
図2Aから2Dは、画像収集のサンプル位置および経路を示している。これらは、
図1Cに示される実施形態の可能な収集経路を示しており、この
図1Cでは画像の収集が2つの部分に分割される。低倍率画像が収集され、品質評価が実行される。さらに、低倍率画像を使用して、高倍率画像を収集するためのサンプル位置を計画する。
図2Aは、一実施形態による、フィルター(すなわち、低倍率)品質評価を実行するためのフィルターのサンプル部分をタイル状にする(203)一組の低倍率(低拡大率)画像202の視野の概略
図200である。
図2Bは、一実施形態による、
図2Bの低倍率品質評価に基づいて、視野レベル品質評価および吸入性粒子のカウントを実行するための一連の高倍率画像のサンプル位置204の概略図である。収集経路は、最初のサンプル位置205で始まり、最後のサンプル位置206で終わる。
図2Cは、一実施形態による低倍率品質評価を実行するために、フィルターのサンプル部分にわたってランダムなサンプル位置で撮影された画像のセットの視野の概略図である。これらのランダム位置207は、全サンプル部分の約50%をサンプリングする。
図2Dは、一実施形態による
図2Cの低倍率品質評価に基づいて、視野レベル品質評価および吸入性粒子のカウントを実行するための画像のセットを収集するための走査経路208の概略図である。上述のように、低倍率画像は、高倍率画像を収集するためのサンプルの場所を計画するために使用される。
【0091】
図2Eは、例えば、
図1Cの方法を(破線125を介して)実行するために、低倍率画像と高倍率画像の両方を同時に収集する方法を示している。
図2Eは、低倍率品質評価を実行するためにフィルターのサンプル部分にわたるサンプル位置のセットで撮影された低倍率画像211のセットの視野の概略図である。いくつかの高倍率画像212もまた、各低倍率視野211内のいくつかのサンプル位置212でキャプチャされる。
【0092】
図2F及び
図2Gは、疑似フィルターレベル画像が生成される、
図1Dに示される方法を示している。
図2Fに示されるように、フィルターのサンプル部分にタイル状に並べて表示する画像215のセットが収集される。
図2Gに示すように、疑似フィルターレベル(または疑似巨視的)画像は、個々の画像を組み合わせることによって生成され、低倍率品質評価を実行するために使用される。画像のセットをサンプル部分にタイル状に並べて表示するこの実施形態では、倍率範囲は、好ましくは20倍から40倍の範囲である。より高い倍率を使用することもできるが、サンプル部分にタイル状に並べるのにかかる時間が長くなる(自動化の全体的な効率が低下する)。しかしながら、他の実施形態では、画像215のセットは、サンプル部分全体に並べて表示する必要はなく、例えば
図2Cまたは2Eに示されるようなサンプリングベースのアプローチを複製するように複数の領域だけに並べて表示する。すなわち、いくつかの疑似フィルターレベル画像が生成され得るか、または疑似フィルターレベル画像が非連続部分を含み得る。
【0093】
図2Hは、サンプル部分全体にわたる粒子分布のプロットであり、一実施形態によるフィルターレベル品質評価を示す。この実施形態では、サンプル部分は長方形の領域217であり、プロットは、凡例218を使用して粒子の密度を示している。線219で示されているように、密度は右下から左上に向かって約1000倍に増加する。
【0094】
いくつかの実施形態では、この方法は、ターゲット焦点面を決定することをさらに含み得る。これは、粒子が観察可能であると予想される焦点面であり、Z方向に1つまたは複数の画像を収集するための開始面として使用できる。これは、単一のサンプル位置で実行してから、同じスライド上の他のすべてのサンプル位置で使用できる。あるいは、近くのサンプルポイントのターゲット焦点面を予測するために使用することもできる。一実施形態では、この方法は、高解像度画像をキャプチャする前に、スライド全体の複数の場所で実行されて、ターゲット焦点面のマップを構築する。この方法は、グリッド線の有無にかかわらずフィルターで使用できる。グリッド線の場合、処理は一般的に高速となる。
【0095】
一実施形態では、この方法は、4倍から200倍の間の倍率で画像をキャプチャし、次いで、コンピュータビジョン法を使用して、キャプチャされた画像内の1つまたは複数のグリッド線を特定することを含む。ロボットXYステージは、特定されたグリッド線が視野の中心にくるようにスライドを移動する。次に、デジタル位相差顕微鏡の対物レンズを高倍率の対物レンズに切り替える。次に、デジタル位相差顕微鏡のZ高さが、グリッド線に焦点が合うまで調整される。次に、このZ高さは、ターゲット焦点面のポイントとして保存され、1つまたは複数の他のサンプル位置で1つまたは複数の画像をキャプチャするための焦点面を決定するために使用される。
【0096】
グリッド線がない場合、この方法は、サンプル位置で4倍から20倍の間の倍率で一連の画像をキャプチャすることを含み、一連の画像はそれぞれ異なるZ高さで撮影される。一連の画像を分析して、カバースリップ境界または上方スライド境界、あるいは下方スライド境界の1つまたは複数を決定する。これは、測定された光学パラメータ対Z高さのプロットである
図2Iに示されており、一実施形態による、粒子を含むターゲット焦点面内の点を決定するために使用される。測定光学パラメータは、反射効果のために境界を越えると値が変化する、明るさまたは強度の推定値(ピクセル値)とすることができる。この画像を分析して、ターゲット焦点面として上方スライド境界と下方スライド境界との中にあると推定される最も鮮明な焦点を有する画像を決定する。次に、この最も鮮明な画像のZ高さが保存され、ターゲット焦点面のポイントとして使用されて、1つ以上の他のサンプル位置で1つ以上の画像をキャプチャするための焦点面が決定される。
【0097】
上記の方法は、サンプル部分全体に分布する複数のサンプル位置を選択し、各サンプル位置でターゲット焦点面を推定することによって、フィルターのサンプル部分の予測焦点面マップを生成するために使用することができる。
【0098】
いくつかの実施形態では、より広い視野をキャプチャするために、明るい画像および暗い画像が、位相差画像よりも低い倍率で撮影され得る。これらの明るい画像と暗い画像は、サンプル部分を並べて表示したり、サンプル部分をサンプリングしたりする場合があるが、撮影頻度は低くなる。いくつかの実施形態では、いくつかの低倍率/マクロスケール画像を撮影し、各部分(例えば、25%)を縫い合わせて、単一の疑似マクロスケール画像を作成することができる。
【0099】
サンプル部分のタイル状配置は、例えば、少なくともサンプル部分上に2Dマッピンググリッドを画定することによって、順次的に実行することができる。スライド座標に基づいて2Dマッピンググリッドを画定すると、有効なサンプル位置と除外領域を特定できるため、分析はメンブレンフィルターの高品質部分に限定される。いくつかの実施形態では、2Dマッピンググリッドは、顕微鏡スライドの既知の寸法に基づいて、顕微鏡スライド全体にわたって画定され得る。グリッドの寸法は、例えば、グリッドセルが完全に視野内にあり、グリッド点が複数のサンプルを画定するように、デジタル位相差顕微鏡の倍率設定に関連する視野に基づくことができる。2Dマッピンググリッドとグリッドポイントは、サンプル位置がグリッドポイントの中心になるように、またはグリッドポイントがセルの頂点(右下の頂点など)に対応するように、セルの中心を画定することができる。次に、セルサイズは、スライドを移動するためのロボットXYステージの増分を規定する。たとえば、スライドを行の中で順番にスキャンすることができる。この形式では、各スキャンの後にスライドがセル幅(X)だけ移動し、行の終わりでセル幅が下(Y)に移動する。連続する画像は、重なり合う部分を持つようにすることができ、顕微鏡のスライドと寸法、および顕微鏡の視野または倍率の知識に基づいて、デジタルでつなぎ合わせることができる。他の実施形態では、タイル状配置は、サンプル部分が覆われるまでランダムな点を選択することによって、ランダムに実行することができる。2Dマッピンググリッドを使用してサンプリング位置を決定し、総面積が閾値を超えるように十分な画像を収集することもできる。たとえば、n番目ごとのグリッドポイントをサンプリングできる。
【0100】
図4Aは、一実施形態による、顕微鏡スライド402、カバースリップ404、およびメンブレンフィルター406のサンプル部分の概略
図400である。スライドは、既知の寸法のエッジ(または境界)403を有し、
図4Aは、一実施形態による、スライド403、カバースリップ405、およびサンプル部分407の既知の(または測定された)寸法を示す。
図4Bは、
図4Aの顕微鏡スライドにマッピングされた2Dグリッド410の概略図である。この実施形態では、顕微鏡スライドは、顕微鏡スライドの左上隅に位置するグリッド原点(0、0)412から開始して、行ごとに段階的にスキャンされる411。
図4Bに見られるように、グリッド410は、グリッドセルの配列(すなわち、グリッド頂点間の固定分離距離、または固定グリッド寸法)を画定する固定された行および列間隔を有する長方形グリッドである。各グリッドセルは、グリッドセル内のオブジェクトによって特徴付けられる。例えば、グリッドセル(6、2)は顕微鏡スライドを含み(414)、グリッドセル(15、1)は顕微鏡スライドおよびカバースリップを含み(416)、グリッドセル(18、3)は顕微鏡スライド、カバースリップおよびメンブレンフィルターサンプルを含む(418)。一実施形態では、スライド寸法403および顕微鏡の光学特性(例えば、視野、倍率)の知識を使用して、マッピンググリッド410、および画像の走査およびキャプチャリング中にロボットXYステージを指示するために使用される実世界のスライド座標を規定(または決定)する。別の実施形態では、顕微鏡スライドホルダーは、(取り付けられた)顕微鏡スライドが含まれる長方形の走査領域を規定する少なくとも2つの基準点を含む。次に、ロボットXYステージは、このスキャン領域内の画像を段階的にスキャンしてキャプチャするように命令され、キャプチャされた画像に対して画像認識が実行されて、顕微鏡のスライド、カバースリップ、およびエアフィルターのサンプル部分が特定される。既知のスライド寸法を使用してこのプロセスを支援するか、この情報がない場合に画像認識を実行することができる。スキャンされた画像をデジタル的に組み合わせて合成画像を形成し、顕微鏡のスライド、カバーガラス、エアフィルターのサンプル部分などの大規模な(メンブレンレベルの)特徴を特定することができる。あるいは、個々の画像を個別に分析して、そのような特徴を特定する。
【0101】
グリッドの寸法(たとえば、行/列の間隔、セルの寸法)は、ロボットXYステージの機能(たとえば、増分のサイズ)に基づく場合があり、および/または拡大された位相差画像が撮影される(例:600回)ための特定の倍率の視野に一致させる場合がある。いくつかの実施形態では、連続する(または隣接する)行はオフセットされているので、列は、ほぼジグザグの、千鳥足状の、ノッチのある(回転したクレネレートされた)経路を形成する。他の実施形態では、マッピンググリッドは、長方形セル、(例えば、オフセット行を有する)六角形セル、または少なくともサンプル部分のタイル状配置を可能にする他の正形状セルであり得る。いくつかの実施形態では、グリッドセルの寸法は、画像がキャプチャされる視野よりも大きいので、グリッドセルはサンプル画像を含み、他の実施形態では、視野は、サンプル画像内に完全に含まれるグリッドセルに対するグリッドサイズよりも大きい。この場合、グリッドセルの外側の画像の部分は破棄するか、隣接するセルを整列させるために使用することができる。
【0102】
いくつかの実施形態では、グリッド寸法(セルサイズ)は、高倍率の位相差画像をキャプチャするために使用される視野に基づいて規定され、スキャンプロセスは、追加の低倍率(例えば、明暗)品質評価画像を定期的にキャプチャするようにさらに構成される。高倍率画像と低倍率画像の相対的な視野の知識を使用して、低倍率画像をキャプチャする頻度を決定できる。事実上、2つの2Dグリッドが顕微鏡スライド上にマッピングされる。すなわち、サンプル部分406上の高倍率位相差サンプル画像をキャプチャするための第1の高解像度グリッド、および少なくともサンプル部分406(およびいくつかの実施形態では、顕微鏡スライド403の全体)にわたって低倍率品質評価画像(例えば、明暗画像)をキャプチャするための第2の低解像度グリッドである。
【0103】
いくつかの実施形態では、走査ステージは、サンプル部分をタイル状にするために、高倍率画像をキャプチャするために使用される2Dグリッドを規定するために実行されるマッピングステップを含む。これらの実施形態では、マッピング画像のセットがスライド全体にキャプチャされて、少なくともサンプル部分406(例えば、エッジ407)の位置を特定する。いくつかの実施形態では、カバースリップ404(エッジ405)の位置および/またはスライド402(エッジ403)の位置もまた、このマッピングステップの一部として特定され得る。マッピング画像をキャプチャするために使用される場所は、公称スライド寸法または学習されたスライド寸法などの予想されるスライド寸法に基づくことができる。たとえば、システムは、スライド全体のランダム(またはセミランダム)位置を最初にキャプチャする学習アルゴリズムを利用でき、複数のスライドがキャプチャおよび分析されると、システムは予想されるスライドの寸法のセットを(たとえば、分類器または他の機械学習方法を使用して)学習する。キャプチャされたマッピング画像は、高倍率の位相差画像または低倍率の品質評価(明るい/暗いなどの)画像であり、画像が(顕微鏡スライドのみ、顕微鏡とカバースリップのみ、または顕微鏡スライド、カバースリップおよびサンプル部分がサンプル部分に含まれているかどうかを判断するコンピュータビジョン技術を使用して)分析される。少なくともサンプル部分の位置(すなわち、エッジまたは寸法)が決定されると、2Dマッピンググリッド410が規定され、次いで、サンプル部分全体にわたって高倍率スキャンが実行される。このスキャンは、サンプル部分の位置/エッジを決定するために使用された前のマッピングステップ中にキャプチャされたグリッドセルをスキップすることができる(すなわち、マッピング画像は、サンプル部分をタイル状に配置したキャプチャした複数の画像の一部を形成することができる)。
【0104】
画像がキャプチャされると、品質評価ステージ120が実行される。一実施形態では、これは、コンピュータビジョン法を使用して複数の画像を分析して、フィルター(サンプル部分)のカウント可能領域およびフィルター(サンプル部分)のカウント可能領域内の1つまたは複数の除外領域を決定することを含む。これらの除外領域は、1つまたは複数のフィルターグリッド線、気泡、および大きな粒子状物質を含み、アスベスト繊維などの吸入性粒子をカウントするときに無視する必要がある領域を表す。カウント可能領域は、除外された部分を含む単一の領域であり得るか、またはそれは、スライド上に分布された複数の別個の部分から形成され得る。例えば、除外領域は、そうでなければ連続する部分を複数の接続されていない部分に事実上分割することがある。これらの複数の接続されていない部分はすべて、同じカウント可能領域(1つ以上の除外領域を含む)の一部であると見なす。
【0105】
これは、
図5A、5Bおよび5Cにさらに示されている。
図5Aは、一実施形態による、除外領域を形成するフィルタエッジ502、グリッド線504、および粒子状物質を示すフィルターの概略
図500である。この例では、除外領域は、グリッド線512、気泡514、および汚れなどの大きな粒子状物質516の周りの領域を含む。除外領域の位置(グリッド座標など)は保存される。
【0106】
視野は、典型的には円形(またはほぼまたはほとんど円形)であり、したがって、いくつかの実施形態では、キャプチャされた画像の視野は、グリッドセルの寸法よりも大きい直径(または寸法)を有し、その結果、グリッドセルは完全に視野内となる。この実施形態では、隣接する画像は重なり合う部分を共有し、合成画像は、グリッドセルの境界に沿って画像をデジタル的につなぎ合わせることによって形成することができる。
図5Bは、この実施形態による除外領域およびサンプル位置を示す、
図5Aのクローズアップ部分的グリッド領域510を示す。この実施形態では、領域iから領域i+7までのサンプル位置520の第1の行、および領域jから領域j+7までのサンプル位置522の第2の行を示す。この実施形態では、サンプル位置は、行に沿って一定の間隔を有する円であり、行520および522はオフセットされているが、他の実施形態では、それらは整列され得るか、または一定でない間隔が使用され得る。各サンプル位置は、事前規定された倍率での顕微鏡の視野を表し、グリッドポイントを中心にしている。
【0107】
領域510には、グリッドエッジ512とともに、気泡514および大きな汚れ粒子516が存在する。したがって、有効なサンプルの位置は、ポイントi、i+3、i+4、i+6、j、j+1、j+2、j+3、およびj+4である。サンプル位置i+1、およびi+2は、視野内に気泡514の除外領域が存在するため無効(除外)であり、サンプル位置i+5、およびj+5とj+6は、視野内にダート粒子516の除外領域が存在し、対象サンプルポイントi+7およびj+7はグリッド線に近接しているため、つまり、視野内のグリッド線を囲む除外領域512が含まれているため無効である。これらの除外された視野のそれぞれは、
図5Bにおいて、対角線が引かれた円(つまり「No」の記号)で表されている。
【0108】
他の実施形態では、グリッドセルの寸法は、視野よりも大きく、視野はグリッドの中心に心出しされ、完全にグリッド内に含まれる場合もある。
図5Cは、
図5Aのクローズアップされた部分的グリッド領域510を示しており、除外領域およびサンプル位置を示している。この実施形態では、グリッドセル520の第1の行は、セルiからi+7を含み、セル522の第2の行は、グリッドセル520の第1の行と整列したセルjからj+7を含む。各セルは、セル(またはグリッドポイント)の中心を中心とするグリッドセル内に完全に含まれる円形の視野を持つサンプル位置を含む。前の例のように、有効なサンプルの位置はポイントi、i+3、i+4、i+6、j、j+1、j+2、j+3、およびj+4であり、他のサンプルの位置は除外領域が含まれているので無効である。
【0109】
カウント可能領域および除外領域を特定するための分析は、各サンプル位置の画像に対して実行され得るか、または複数のサンプル位置からの画像がデジタル的に組み合わされて、分析される合成画像を作成され得る。たとえば、行iからi+7およびjからj+7の画像は、単一の合成画像に結合される。以下に概説するように、いくつかの実施形態では、別個の疑似フィルターレベル(マクロスケール)画像が、高倍率スキャンから生成され、分析される。他の実施形態では、フィルターにわたる一連の低倍率スキャンを使用して、フィルターレベル分析を実行する。一実施形態では、第1の分析ステップ122は、グリッド線、気泡、および大きな粒子状物質の位置(または境界)をマッピングまたは特定して、除外領域を決定する。除外領域は、特徴部分(例えばグリッド線)を検出し、検出された特徴の周囲に許容誤差を適用して、除外領域が検出された特徴部分を包含するようにすることに基づき決められる。たとえば、許容誤差は、エッジの周囲Nピクセル(たとえば、2、5、または10ピクセル)、またはエッジが終了する位置の信頼度(たとえば、ピクセルが除外されていない90%または99%の信頼度)に基づく場合がある。第2の分析は、一組の事前規定されたサンプル品質基準に対してフィルターのサンプル部分の品質評価124を実行することを含み得る。
【0110】
品質基準には、すべての視野の背景からすべての粒子を単純にフィルタリングし、平均強度を計算することによって計算されるダスト負荷が含まれる場合がある。平均が高すぎる場合(たとえば、ダストが15%を超える場合)、フィルターが乱雑になり、結果が無効と見なされる(つまり、このサンプルが拒否される)。他の品質測定には、粒子の負荷/分布を分析して、サンプリングデバイスのパフォーマンスが低いことを示す不均一な粒子の負荷/分布を検出することや、品質が低いことを示す可能性のある異常な画像プロパティ(明度範囲、色範囲など)が含まれる場合がある。例えば、メンブレンの変色は、サンプル調製中のアセトンの過飽和を示し得るため、ピクセルの色分布の分析を実行して、特定の所定変色の範囲内のピクセル数(またはパーセンテージ)を決定することなどによって変色を検出することができる。グリッドが使用される実施形態では、繊維および/または粒子の凝集物によって覆われるグリッド領域の8分の1(12.5%)よりも多いという基準を使用することができる。カウント領域の少なくとも10%、15%、または20%の被覆率など、他の面積基準の閾値を使用できる。他の基準には、フィルターの1つまたは複数の裂け目の特定、カバースリップの外側のフィルターの一部の検出、または所定の閾値を超える気泡で覆われたメンブレンのパーセンテージが含まれる。例えば、25%または50%の気泡および/または(使用可能なフィルター領域の)粒子被覆率の閾値パーセンテージを使用することができる。これらの基準は、たとえば裂け目のような構造やピクセルの色のヒストグラムを検出するための画像分析を使用して、または2Dグリッドを使用して汚染されたセルを分類してカウントすることによって評価できる。
【0111】
いくつかの実施形態では、いくつかの品質基準を規定(および見積り)することができ、サンプルは、N個の品質基準の少なくともn個に合格する必要があるか、またはいくつかの品質基準の見積値を組み合わせて、品質スコア基準を合格(上回るか下回る)しなければならない品質スコアを得ることができる。見積もりの組み合わせでは、特定の基準をより重視するために加重見積もりを使用できる。さらに、サンプルの場所ごとに品質基準を取得し、個々のサンプルの場所を分析した結果を集計(または組み合わせ)して、全体的なスライドの品質を評価することができる。サンプルが品質評価126に不合格の場合、分析は終了し128、次のスライドが分析される。
【0112】
一実施形態では、除外されるスライド特徴および領域の特定を支援するために、少なくとも1つのサンプル品質画像が、各サンプル位置、いくつかのサンプル位置、他の品質評価位置のいずれかでキャプチャされる。これらは、より大きなスケールまたは巨視的な品質の特徴を特定するために、吸入性粒子を数えるための画像よりも低い倍率で(すなわち、より広い視野で)キャプチャされ得る。いくつかの実施形態では、サンプル品質画像は、フィルターの表面にわたって撮影された複数の画像を組み合わせることによって得られたサンプル全体の疑似巨視的スケール画像であり得る。いくつかの実施形態では、この疑似巨視的スケール画像は、複数の低倍率画像を組み合わせることによって得られる。これらの低倍率画像は、フィルターの表面の一部を並べて表示するか、視野の表面全体でサンプリングして、フィルターのサンプル部分の少なくとも20%、50%、75%、95%などの閾値を超える合計面積を有するようにする場合がある。サンプルの場所は、計画されているか、表面上で規則的に配置されているか、表面上でランダムにサンプリングされる。他の実施形態では、疑似巨視的スケール画像は、多くの高倍率視野画像を組み合わせることによって得られる。倍率が上がると、疑似フィルターレベル(マクロスケール)画像を生成するために必要な高倍率視野画像の数が大幅に増え、スライドのキャプチャと処理の速度が遅くなる。一実施形態では、暗い背景に対するスライドの少なくとも1つの暗い画像がキャプチャされ、明るい背景に対するスライドの少なくとも1つの明るい画像がキャプチャされる。この明暗分析は、個々のサンプル位置からの画像に対して別々に実行することができ、またはより好ましくは、これらを組み合わせて、スライド全体またはサンプル位置の周りの局所領域のいずれかの合成画像を形成して、サンプルの場所の視野よりも大きい、特徴のより信頼できる特定を可能にすることができる。他の実施形態では、少なくとも1つの画像が、色付きの背景または灰色の背景に対してキャプチャされる。いくつかの実施形態では、1つまたは複数の波長フィルターが使用され(これらは、光路にロボットで挿入され、光路からロボットで出され得る)、サンプル位置での品質評価のために追加の画像をキャプチャする。いくつかの実施形態では、(ロボットで光路に入れたり出したりされる)1つまたは複数の波長フィルターが使用され、サンプル位置での品質評価のために追加の画像をキャプチャする。いくつかの実施形態では、2つの画像センサが使用され、それぞれが異なる波長範囲に対して感度を有する。たとえば、気泡はIRまたは近IR画像に表示されるため、品質評価画像をIR(または近IR)イメージセンサーでキャプチャし、(位相差)画像を使用して可視範囲にわたる感度のカメラでキャプチャした吸入性粒子をカウントするようにできる。いくつかの実施形態では、偏光子が光路に挿入され、1つまたは複数の偏光画像がキャプチャされる。これらは、さまざまな方向でキャプチャできる(偏光子の挿入と方向はロボットで制御できる)。
【0113】
一実施形態では、コンピュータビジョン法を使用してのステップ122での画像分析は、光画像を分析して、スライド上の複数の基準点、フィルターのエッジ、および2Dマッピンググリッドを使用してのカウント可能領域内のフィルター上に配置された複数のグリッド線を特定し、それから暗い画像を分析して、2Dマッピンググリッドを使用してカウント可能な領域内の気泡の位置を特定することを含む。他の実施形態では、この分析は、例えば、灰色または色付きの背景に対してキャプチャされた単一の画像に対して、または(それぞれ異なる偏光角を有する)偏光画像を使用して実行され得る。以下の方法は、低倍率画像に対して別々に実行することができ、または複数の低倍率画像をつなぎ合わせて、分析される合成画像を形成することができる。
【0114】
図6Aから6Cに示されるように、明るい画像の分析は、特徴検出アルゴリズムを少なくとも1つの明るい画像に適用して、スライド、カバースリップ、フィルター、およびグリッド線の交点の特徴を検出することを含む。特徴検出アルゴリズムには、適切な画像処理ライブラリで利用可能なコーナー検出、エッジ検出、ライン検出などが含まれる。たとえば、http://opencv.orgで入手可能なオープンソースコンピュータビジョンライブラリOpenCVには、OpenCVの「imageproc」画像処理ライブラリの特徴検出セクションの下に適切な特徴検出アルゴリズムのセットが含まれている。
図6Aは、明るい背景に対して撮影された顕微鏡スライドに支持され固定されたメンブレンフィルター406などのフィルターのサンプル部分を備えた顕微鏡スライド402のマクロスケール画像610である。カバースリップ404は、メンブレンフィルターのグリッド線と一緒に見ることもできる。バーコードもスライド上に設けられてスキャンされ得るか、またはスライド識別子612(例えば、英数字文字列)がスライド上に印刷または書き込まれ、次いで光学式文字認識(OCR)プログラムを通過してスライド識別子を検出し得る。
図6Bは、特徴検出アルゴリズムを適用した後の
図6Aの画像である。特徴検出アルゴリズムは、スライドの角、カバースリップ624、メンブレンフィルターエッジ626、およびグリッド線622の交点を検出する。
図6Cに示されるように、検出された角および既知のスライド寸法は、幾何学的形状を固定して、カバースリップ634、メンブレンフィルター636、および画像630内のグリッド線632の交点を特定するために使用される。四角形はカバースリップ634に使用され、楕円形(または円弧)はメンブレンフィルター636に使用され、交差する直線はグリッド線636に使用される。
【0115】
明るい画像(または複数の画像)の分析後、暗い画像を分析して気泡を特定することができる。
図7Aから7Cは、一実施形態によるそのような分析を示している。暗い画像の分析には、メンブレンフィルターの位置の周りの暗い画像のトリミングが含まれる。トリミングされた領域は、カバースリップ404に対応するか、または異なる領域であり得る。
図7Aは、一実施形態による、
図6Cで特定されるメンブレンフィルターの周りの領域のトリミングされた暗い背景に対して撮影された、フィルター406のサンプル部分が支持および固定された顕微鏡スライド402のマクロスケール画像710である。この暗い画像では、メンブレンフィルターのスライドへの固定/付着中に閉じ込められた気泡712が見える。トリミングされた画像にコントラスト調整が適用され、気泡検出の精度が向上される。精度をさらに高めるために、画像を最初に白黒画像(またはグレースケール画像)に変換することができる。
図7Bは、白黒に変換し、コントラスト調整を適用した後の
図7Aの画像720である。左側に大きな気泡が見られ、コントラストの違いから特定できる。次に、コントラスト調整された画像に輪郭を合わせて、コントラストの変化に基づいて開いた気泡と閉じた気泡を特定する。一実施形態では、閾値コントラストレベルを使用して気泡境界を画定するか、または参考画像に基づく事前規定された輪郭レベルのセットを、例えば、コントラストの強い勾配または急速な空間変化(すなわち、輪郭の近接)を探すことによって使用することができる。一実施形態では、除外領域は、気泡のエッジを検出し、次にエッジを拡張または延長して、除外領域が検出された気泡よりも大きな面積を有するようにすることによって得られる。
図7Cは、一実施形態による気泡732を特定するために輪郭(円形セグメント)を適合させた後の
図7Bの画像730である。
【0116】
他の実施形態では、暗い画像は、明るい画像の前に分析することができる(この場合、トリミングは実行されず、輪郭は画像全体に適合される)。他の実施形態では、単一の灰色の背景、または他の単一の色の背景が使用され、単一の低倍率画像が(分離された白黒画像ではなく)キャプチャおよび分析される。キャプチャされた画像は、カラー画像またはグレースケール画像にすることができる。この実施形態では、背景は、255スケールで60から195の間のRGBまたはグレースケール値を有する。スライド、カバースリップ、フィルター、グリッド線の交点の特徴を検出するために最初に特徴検出アルゴリズムを適用し、次に気泡や汚れなどの大きな粒子状物質を検出することにより、上記のコンピュータビジョン技術を使用して適切な画像を分析できる。
【0117】
他の画像フィルタリング技術および方法を使用して、気泡または汚れなどの大きな粒子状物質を特定することができる。たとえば、形態学的なオープニングまたはクロージング技術などのコンピュータビジョン技術を使用して、気泡を特定し、それらのエッジをマッピングすることができる。機械学習技術も使用できる。たとえば、気泡を含む画像の参考セットでトレーニングされた分類器を使用できる。グリッド線、メンブレンエッジ、気泡、汚れ粒子などの特徴が検出されると、これらは除外領域を画定するために使用される。一実施形態では、特徴の検出されたエッジは、検出された特徴を含む除外領域のエッジを画定するために使用される。別の実施形態では、追加のバッファ領域が特徴の検出されたエッジに追加されるので、除外領域は、検出された特徴よりも大きい(およびそれを含む)領域を有する(すなわち、除外領域は、特徴およびバッファ領域を含む)。追加されるバッファ領域のサイズは、特徴のタイプによって異なる。例えば、メンブレンの外側の境界の場合、除外領域は、検出されたエッジから2~5mm内側に延びる可能性がある。グリッド線または気泡の場合、5%などのパーセンテージを使用できる。さらに、除外領域は、ピクセルごとに、またはグリッドセルごとに画定することができる。つまり、マッピンググリッドが画定されると、グリッド内の各セルに(含まれるかまたは除外されるかの)バイナリ除外ステータスが割り当てるようにすることができる。検出された特徴を含むグリッドセルには除外ステータスを割り当てることができ、バッファ領域はX方向とY方向の両方で次のn個の隣接するグリッドセルとして画定され、これらにも除外ステータスが割り当てられる。他の実施形態の画像では、画像の視野を分析して、画像がグリッド線または境界を含まないことを確認し、次いで、カウントを実行するようにすることができる。いくつかの実施形態では、グリッドが、カウント領域を画定するために使用される。他の実施形態では、カウント領域は、境界オブジェクト(例えば、境界ボックスまたは円)を画定することによって画定され、カウント領域内に限定してカウントするようにできる。いくつかの実施形態では、1つまたは複数のカウント領域が視野内に配置されている。
【0118】
いくつかの実施形態では、明るい光源および暗い光源(または灰色または色付きの背景)が顕微鏡スライドホルダーと一緒にされ、ロボットXYステージによって支持(および移動)される。この実施形態では、光源は、位相差画像の照明光源としても機能する。他の実施形態では、明光源および暗光源は、カメラの視野の下の位置に固定され、顕微鏡スライドホルダーは、スライドの縁を支持し、スライドの下に開口を有する。ロボットXYステージは、開口部を明るい光源と暗い光源の上に移動して、マクロスケールの画像をキャプチャできるようにする。一実施形態では、顕微鏡スライドを支持するための顕微鏡スライドホルダーのベースに色変更パネルが配置される。色変更パネルは、支持された顕微鏡スライド402に暗い背景を提供するために暗い表面を有し、さらに、支持された顕微鏡スライドに明るい背景を提供するための切り替え可能な光源を備える。一実施形態では、暗い表面は、その下に配置されたLED照明パネルを備えた半透明の黒いパネルによって提供される。他の構成にして、色を変更可能な背景を提供することができる。たとえば、2つの色付きパネル(1つは暗い、もう1つは明るい)を(手動またはできればロボットで)入れ替えることができる。スライドの照明(または明るさ)の量を制御するためにスライドの上に光投影システムを使用することを含む、他の光学的/照明構成も使用することができる。
【0119】
品質基準が見積もられると、これらは事前規定されたサンプル品質基準と比較され、品質評価が実行される。たとえば、品質基準には、フィルターが損傷している、不適切に準備されている、または著しく汚染されていることを示す基準が含まれる場合があり、これらの条件(または品質基準)の1つ以上が検出された場合、サンプルは品質評価に不合格となる。たとえば、適切な品質基準には、フィルター内の1つ以上の(線などの異常な画像プロパティとして表示される場合がある)裂け目、(不適切な準備を示す)カバースリップの外側のメンブレンの一部の検出、アセトンの過飽和を示す変色、またはサンプル上の高い割合の気泡および/または粒子などがある。例えば、25%または50%の気泡および/または(使用可能なフィルター領域の)粒子被覆率の閾値パーセンテージを使用することができる。これらの基準は、たとえば裂け目のような構造やピクセルの色のヒストグラムを検出するための画像分析を使用して、または2Dグリッドを使用して汚染されたセルを分類してカウントすることによって評価できる。
【0120】
図5Aは、一実施形態による、フィルタエッジ502、グリッド線504、および除外領域を示すメンブレンフィルターの概略
図500である。この実施形態では、除外領域は、グリッド線512、気泡514、および汚れなどの大きな粒子状物質516の周りの領域を含む。除外領域の位置(グリッド座標など)は保存される。
【0121】
図1Aに戻ると、サンプルが品質評価に合格した場合、次のステップは繊維カウントステップ140である。ステップ142において、カウント可能領域は、コンピュータビジョン法を使用して分析され、カウント可能領域内のカウント可能吸入性粒子の数を特定およびカウントし、次いで、これは、ステップ144でレポートされる。あるいは、フィルター上の粒子密度の見積値(例えば、サンプル部分406のカウントされた/見積もられた(または既知の)領域の粒子の数)が取得され、報告される。
【0122】
次に、このスライドの分析は終了し(146)、次に別のスライドを分析することができる。
【0123】
上述のように、デジタル位相差顕微鏡は、デジタル位相差顕微鏡の画像平面の1つまたは複数の画像をキャプチャするように構成された画像センサまたはカメラを備える。
図9Aは、一実施形態によるメンブレンフィルターのサンプル位置の拡大位相差画像900である。
図9Aに見られるように、画像は、アスベスト繊維(またはカウント可能吸入性繊維)などの様々な物体902、904、906および908を含む。
図9Bは、胞子トラップから採取され、胞子(吸入性粒子)を含むフィルターのサンプル位置の拡大位相差画像910である。
【0124】
一実施形態では、繊維カウント段階142は、各有効なサンプル位置で、1つまたは複数の画像の各セットに対して別々に実行される。視野レベル品質評価に合格した、カウント可能領域(または領域)のカウント可能部分全体がカウントされる。例えば、各サンプル位置で、サンプル位置が有効な分析ポイント(またはサンプル位置)であるかどうかを決定するためにテストが実行され、サンプル位置が有効である場合にのみ、分析ステップ142が実行される。有効なサンプル位置は、視野内に除外領域を含まない、および/または視野レベル品質評価に合格したサンプル位置とすることができる。つまり、有効な分析ポイント(またはサンプル位置)は、サンプルエッジの周囲から十分に離れており、気泡内ではなく、グリッド線上になく、汚れ粒子などで汚染されていないポイントである。有効なサンプル位置には、コンピュータビジョン技術を使用して、1つまたは複数のキャプチャされた拡大位相差画像が分析される(132)。別の実施形態では、拡大された画像は、各サンプル位置が組み合わされて合成分析画像を形成し、コンピュータビジョン分析(およびカウント)がこの合成分析画像に対して実行される。
【0125】
一実施形態では、画像内のカウント領域は、顕微鏡の光路に提供される(したがって画像に捕捉される)ウォルトン-ベケット目盛などのカウント目盛によって画定される。
図10は、ウォルトン-ベケット目盛のある画像を示す。あるいは、視野のカウント領域は、
図5Bのように視野よりも小さい場合、グリッドセルの寸法であり得、または画像の総倍率に基づいて事前規定された寸法または面積を有する円または正方形などの領域、例えば、重なり合う隣接画像と共有されていない部分であり得る。別の実施形態では、カウント領域は、視野全体であり得るか、または境界オブジェクト(例えば、箱形や円形の境界)が画定されて使用され、境界オブジェクトに限定されてカウントされ得る。
【0126】
サンプル位置が分析され、カウント可能な吸入性粒子が特定およびカウントされると、レポート生成ステップ134が実行され、フィルターのカウント可能領域でカウントされた吸入性粒子の総数、または全体にわたる吸入性粒子の密度の見積値が他の関連情報(日付、時刻、場所、品質評価、サンプルID、スライドIDなど)とともに報告され、分析は終了する(136)。本明細書で論じられるように、カウント可能吸入性粒子は、ターゲット吸入性粒子(例えば、アスベスト繊維)と一致する形状を有する粒子である。ほとんどの吸入性粒子は、数えられるカウント可能な粒子または繊維と一致する形状を持っているが、カウント可能な吸入性粒子は、吸入性繊維であることは保証されていない。従って、カウント可能な吸入性粒子の数は、サンプル内のターゲットの吸入性粒子(例えば、アスベスト繊維)の数の受け入れられる尺度または代理として機能する。
【0127】
レポートは、PDF文書などの電子報告、またはXML文書または記録可能な他の電子ファイルなどのデジタル記録であり得る。いくつかの実施形態では、レポートは、データベースで処理および格納でき、ユーザーが後でデータを調べ、例えばマイクロソフトSQLレポーティングサービス(MSRS)または同様のソフトウェアを使用してカスタマイズされたレポートを生成することを可能にする機械通過可能ファイルであり得る。いくつかの実施形態では、1つまたは複数のスライドの1つのカウントまたは密度を要約する、人間が読めるレポート、およびデータベースに格納される1つまたは複数の機械が読めるレポートを含む複数のレポートを生成することができる。
【0128】
各サンプル位置で、1つまたは複数の位相差拡大画像がキャプチャされる。1つまたは複数の画像をキャプチャするかどうかは、顕微鏡の倍率と、その倍率で顕微鏡のスライドとカバーガラスの間のフィルター上のすべての粒子をキャプチャするのに十分な被写界深度(つまり、その倍率で被写界深度を超えるフィルターの物理的な厚さ)か否かによって異なる。特に、高解像度のイメージセンサーを使用する場合には40倍または50倍(人間の解像度の限界)などの低い倍率とすることができるし、または2000倍(光学顕微鏡の限界)などのより高い倍率とすることもできるが、通常の倍率は視野内の粒子を特定するのに十分である100~600倍(たとえば、200、400、または450倍)である。200倍までの合計倍率では、被写界深度は一般に、フィルター上のすべてのカウント可能な吸入性繊維または粒子を捕捉するのに十分である。倍率が上がると、視野と被写界深度は減少する。
図10は、400倍の全倍率でのフィルターのサンプル位置の位相差画像1000である。カウント目盛1010も示されている。この実施形態では、カウント目盛はウォルトンベケット目盛である。被写界深度が顕微鏡のスライドとカバーガラスの間の垂直距離よりも小さい場合、焦点合成と呼ばれる手法を使用して、すべての粒子を特定できる。これにより、垂直方向(z)の深さのZ画像が1つの画像に効果的に結合されて分析される。他の実施形態では、サンプルの垂直方向(z)深さにわたるZ個の複数の画像にわたる粒子の特徴追跡などの代替アプローチを使用することができる(すなわち、Z画像を別々に分析する)。いくつかの実施形態では、仮想目盛が生成され、カウントプロセスの境界を画定するために使用され得、他の実施形態では、視野全体、または視野の領域または部分(例えば、中央部分)が使用され得る。
【0129】
焦点合成では、Zの拡大位相差画像のセットが、サンプルの垂直方向(z)深度にまたがる異なる焦点面でそれぞれキャプチャされる。これは、スライドのXY位置を一定に保ちながら、顕微鏡のフォーカスドライブのZ軸を変更することで実現される(サンプルの垂直方向(z)深度にわたって異なる焦点面の画像をキャプチャするようにする)。これは、電動またはロボットのZ軸フォーカスドライブを使用して実行する。Z拡大位相差画像のセットをZ軸方向でスタックして、分析用の単一のスタック画像を取得する。
図11は、一実施形態による、サンプルの垂直方向の深さにわたって異なる焦点面で撮影されたZ拡大位相差画像1102、1104、1106、1008、1110のセット1112およびZスタック合成画像1114の概略図である。Zスタッキングは、コンピュータービジョンライブラリに実装され、特徴検出(エッジ検出、コーナー検出など)および/またはフーリエ解析を使用して各画像の焦点領域を検出することで動作し、焦点パッチがブレンドされて最終的な構図画像を生成する。次に、最終的な合成画像すなわち単一のスタック画像を分析して、単一のスタック画像の視野のカウント領域内のカウント可能な吸入性粒子の数を特定およびカウントする。いくつかの実施形態では、合成分析画像は、合成スタック画像を結合またはデジタルステッチすることから形成される。
【0130】
代替の実施形態では、1つのサンプル位置での複数の画像は単一の画像に結合されず、代わりに、複数の焦点面に存在する粒子を追跡する粒子検出アプローチが使用される。この実施形態では、粒子の位置が各画像に記録され、他の画像全体で検索が行われて、他の画像の粒子がこの粒子の複製であるか、または以前は見えなかった新しい粒子であるかを判断する。これは、粒子の位置にエラーマージンを加えた検索領域を画定し、他の画像ごとに、別の粒子が検索領域内にあるかどうかを判断することによって実行できる。これには、新しい粒子全体が検索領域内にあること、または、新しい粒子の領域が(たとえば、ピクセルカウントおよび/または比較に基づく)検索領域内に事前規定された閾値パーセンテージ(たとえば、50%、75%、90%、95%)を必ず有することが要求される。複製粒子を(垂直に)隣接する画像間でリンクする必要があるなど、追加の基準を課すことができる。あるいは、一連の画像を分析して、最も鮮明な焦点を有する画像などの最良の画像を決定することができる。次に、この画像が選択され、繊維カウントステップ142で使用される。
【0131】
単一の画像(合成のZスタック画像、またはZ画像のセットからの最良の画像)または垂直深度にわたるZ画像のセットが取得されると、サンプル位置でそれがコンピュータビジョン法を使用して分析され、特定される。そして、視野のカウント領域内のカウント可能な吸入性粒子の数をカウントする。
【0132】
図8は、一実施形態による、
図1Bに示される方法における分析ステップ142のフローチャートである。ステップ210で、サンプル画像分析(すなわち、コンピュータビジョンによる繊維カウント)が開始される。サンプル画像136の視野の品質評価を実行することができる。これは、単一の画像に対して実行することも、サンプル位置に設定された画像の焦点合成を実行して、合成画像に対して品質評価を実行することもできる。サンプルが品質評価に不合格の場合、サンプル画像分析の不合格を記録し、この視野のサンプル画像分析ステップを終了する。サンプル品質評価ステップ132および136は、同じステップであり得る(すなわち、ステージ132および136は、組み合わされるか、または並行して実行され得る)、またはそれらは、異なる画像サイズまたは倍率で動作する別個のプロセスであり得る。例えば、サンプル品質評価132は、フィルター全体の品質を反映する低倍率画像(またはメンブレン全体の合成画像)で実行され得、一方、ステップ136は、特定のサンプル位置(すなわち、高倍率の小さな視野スケール)で実行される、視野スケールで画質を評価する。特定のサンプル位置での不合格は、サンプル/フィルター全体の不合格ではなく、単に別のサンプル位置の選択につながる可能性がある。この品質評価は、コンピュータビジョン技術および/または画像分析技術を使用して実行することができる。品質評価基準には、すべての視野の背景からすべての粒子をフィルタリングして平均強度を計算するだけで計算される局所的なダスト負荷と、オプションで標準偏差などの分散測定値が含まれる。このサンプル位置の平均は、分散を考慮した全体平均などの閾値と比較できる。ローカル平均が高すぎる場合、このサンプル位置は拒否される。他の品質測定には、局所的な粒子負荷または空間分布を分析して、不均一な粒子負荷または空間分布(たとえば、粒子のクラスター化または凝集、高い粒子密度)、または局所品質が低いことを示す可能性のある異常な局所画像特性(たとえば、明度範囲、色の範囲など)を検知することを含む。例えば、メンブレンの変色は、サンプル調製中のアセトンの過飽和を示し得るものであり、ピクセルの色分布の分析を実行して、特定の所定の範囲内のピクセル数(またはパーセンテージ)を決定することなどによって変色の色範囲内の変色を検出することができる。アセトンが多すぎるなどの不適切な準備も、メンブレンの一部から粒子を洗い流す可能性がある。グリッドが使用される実施形態では、繊維および/または粒子の凝集物によって覆われるグリッド領域の8分の1(12.5%)よりも大きいという基準を使用することができる。カウント領域の少なくとも10%、15%、または20%の被覆率など、他のエリアベースの閾値を使用できる。機械学習アプローチは、高品質および/または低品質のサンプル位置画像の参考セットに基づいて使用できる。
【0133】
拡大位相差画像が品質評価に合格する(またはそれが実行されない)場合、次のステップ240は、視野内(またはサンプル画像上)の関心領域(ROI)を特定することである。関心領域は、吸入性繊維である可能性があるピクセルまたは特徴を含む領域である。一実施形態では、関心領域は長方形の領域を抽出するが、他の実施形態では、任意(規則的および不規則的)の形状の領域を抽出することができる。抽出された領域は、サンプル画像全体またはサンプル画像全体のトリミングされた領域であり得る。
図12Bは、画像の特徴をわかりやすく説明するために色を反転させた関心領域抽出器からの出力画像である。これは、画像にマークされたさまざまなサイズの複数の長方形関心領域1226a、1126b、1226c、1226dを示している。
図12Bに示すように、関心領域は重なり合う可能性がある(例:1226aと1226b)。ピクセル強度および他の画像特性に基づいて関心領域を特定するために、さまざまな画像処理技術を使用することができる。一実施形態では、局所的または全体的なバックグラウンド平均強度レベルおよび分散が決定されるか、または事前規定され得る。関心領域は、背景と比較して高強度のピクセル領域を特定し、強度が背景レベルに向かって低下する場所に基づいて関心領域の境界を画定することを含み得る。様々な閾値化、勾配、平滑化または形態学的なオープニングまたはクロージングコンピュータビジョンまたはフィルタリングベースの技術を使用して、画像および/または境界内の関心領域抽出器は、吸入性粒子(例えば、アスベスト繊維)の画像の参考セットでトレーニングされた1つまたは複数の機械学習分類器を使用して、既知の吸入性繊維(例えば、アスベスト)画像に一致する関心領域を特定するコンピュータビジョンベースの関心領域抽出法である。
【0134】
ステップ250で、ピクセル抽出器が関心領域に適用され、(後続の分析のため)対象繊維ピクセルを構成する関心領域内の粒子ブロブ(オブジェクト)を特定する。位相差画像には、粒子の周りのハロー(光)やその他のノイズが含まれることがよくある。ピクセル抽出器は、入力が粒子を構成するピクセルを特定し、ハローやノイズなどのアーティファクトを除外するときに関心領域を受け取る。いくつかの実施形態では、ピクセル抽出器は、画像に対して背景除去を実行して、対象吸入性粒子の部分であるピクセルのみ(すなわち、ターゲット吸入性粒子である場合もそうでない場合もある-これは、以下で説明する特徴抽出ステップ260によって決定される)を残すように構成される。ピクセル抽出器は、機械学習技術、背景フィルタリング、または拡散フィルタリング技術を使用することができる。いくつかの実施形態では、前面特徴(例えば、吸入性粒子および他の粒子)でラベル付けされた画像の参照セットでトレーニングされた1つまたは複数の機械学習分類器を使用して、関心領域内の対象粒子ピクセルを特定または抽出する。他の実施形態では、画像フィルターまたは拡散フィルタリングなどの画像分析技術を使用して、エッジまたは線を保持するなど、画像の重要な特徴または部分を保持しながら、画像ノイズを低減する。例えば、これらは、画像の隣接する領域を特定し、特に、ノイズピクセルおよびハローが除外されるようにエッジを画定するように構成され得る。ピクセル抽出器は、画像に作用して対象ピクセル(すなわち、抽出されたピクセル)にフラグを立てるか、または逆に背景ピクセル(無視するピクセル)にフラグを立てることができる。いくつかの実施形態では、出力は、対象ピクセルのみを含む画像である(すなわち、すべての背景ピクセルが削除され、フラグが立てられ、またはゼロ強度または黒ピクセルなどの事前規定された背景値に設定される)。
【0135】
ステップ260で、特徴抽出器が粒子ブロブ(オブジェクト)に適用されて、1つまたは複数の幾何学的操作を適用して、吸入性繊維に一致する幾何学を有するピクセルブロブを分類(または特定する)する。いくつかの実施形態では、幾何学的操作は、長さ、幅、周囲長、平均幅などの幾何学的特性またはパラメータ、および/または定義された軸に沿った標準偏差(または同様の分散推定量)、または形状の規則性の他の指標(つまり、長方形などの事前規定された通常の形状にどれだけ一致するか)を測定することを含む。長方形や楕円などの幾何学的形状は適合され、および評価で使用される適合プロパティである場合がある。いくつかの実施形態では、既知の吸入性粒子に一致する一組の参考画像で分類器がトレーニングされる機械学習アプローチが使用される。これは、カウント可能な吸入性繊維として分類(または特定)され、(吸入性粒子の総数をカウントできるようにするため)関心領域内のカウント可能な吸入性粒子の数が返される。ステップ270で、例えばメンブレンフィルター法に従って、グリッドカウントルールが適用される。これは、視野内で吸入性粒子として特定された特徴の数(すなわち、カウント可能な吸入性粒子の数)をカウントし、ステップ280で、カウント結果(サンプル画像分析繊維カウント)が記録され、ステップ290でサンプル画像分析が終了する。あるいは、粒子の密度(例:総数/視野面積)を見積り報告することもできる。このような分析は、アスベストトレーニング画像を目的のターゲット吸入性繊維に適したトレーニング画像のセットに置き換えることにより、他の吸入性粒子のために変えることができる。厳密には、システムはターゲットの吸入性粒子タイプ(アスベスト繊維など)を明確に特定しない。むしろ、ターゲット(または目的の)吸入性粒子の既知の画像に類似しているように見えるオブジェクトを検出し、これらのオブジェクトがカウントされ、サンプル内のターゲット吸入性粒子の数の代理測定として使用される。
【0136】
図12Aは、一実施形態に係る方法の
図8に示されるフローチャートの概略図である。この方法は、オプションとして画像1210をスタックすることを含む。次に、スタックされた画像ごとに、1つまたは複数の関心領域1220を特定する。各関心領域は、アスベスト粒子(またはカウント可能吸入性繊維)である可能性のあるオブジェクトを含む。
図12Aは、画像1210で特定された2つの関心領域1222および1224を示している。
【0137】
この実施形態では、ピクセル抽出器は、関心領域内のピクセルを参考画像のライブラリ1230と比較するように構成された機械学習ベースの分類器を備える。この実施形態では、1つまたは複数の機械学習分類器は、吸入性粒子および/または繊維(例えば、アスベスト繊維)の画像の参考セット1232でトレーニングされる。各関心領域1222、1224は、参考画像に一致する1つまたは複数の対象関心領域を特定する(すなわち、一致するかどうかに分類する)ために分類器に提供される。この実施形態では、両方の関心領域が参考画像と一致し、対象の関心領域と見なされる。次に、特徴抽出器は、各対象関心領域に適用される幾何学的フィルター1240を使用して、オブジェクトがターゲットの吸入性繊維(例えば、アスベスト繊維)に一致する幾何学的形状を有するかどうかを確認する。
図12に示されるように、第1の関心領域1222は、幾何学的フィルターを通過する幾何学的形状を有するオブジェクトを含むが、第2の関心領域1224は、幾何学的フィルターを通過せず、除外される。幾何学的フィルターを通過する関心領域内のカウント可能な吸入性粒子の数がカウント(および/または密度がカウントに基づいて見積り)され報告される。
【0138】
図12Bおよび12Cは、ピクセル抽出器の一実施形態の効果を示す画像の比較セットである。
図12Cには、明るいハローおよび他のノイズを伴う明るい白色の長方形の物体1252を含む第1の関心領域画像1250が示されている。関心領域画像をピクセル抽出器に通すと、出力画像1254に示されるように、ハローが除去され、ノイズが抑制される。同様に、
図12Dは、明るい白色の細長い(繊維のような)線形オブジェクト1262を含む第2の関心領域画像1260を示している。この画像にはかなりのノイズハローが見られる。この画像をピクセル抽出器に通すと、出力画像1264に示されるように、ハローが除去され、ノイズが抑制される。
【0139】
一実施形態では、特徴抽出器は、通常のアスベスト繊維に一致するように構成された幾何学的フィルター(例えば、通常のアスベスト繊維の幾何学的フィルター)である。これは、対象領域内のオブジェクトの最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、対象関心領域内の他のオブジェクトに接触していないように見えることを要求するフィルタリング基準を使用する。フィルタリング基準を満たす各オブジェクトは、単一のカウント可能な吸入性繊維としてカウントされる。これらのパラメータは、他の吸入性繊維タイプによって異なる。他のほとんどの吸入性繊維は、長さと幅の比率が似ている(すなわち、2:1、3:1、4:1)が、他のほとんどの吸入性繊維は、アスベスト繊維よりも直径が大きい傾向がある。
【0140】
場合によっては、関心領域は束ねられた繊維を含む。
図13Aは、一実施形態による、束ねられた繊維のコンピュータビジョン処理の概略図である。一実施形態では、束ねられたアスベスト繊維の幾何学的フィルターが適用される。これは、対象領域内のオブジェクトの最大幅が3マイクロメートル未満、長さが5マイクロメートルを超え、長さ:幅の比率が3:1を超え、オブジェクトの2つの寸法のうち、3マイクロメートルを超える小さい方として定義される最大幅を有する他のオブジェクトとに接触していないように見えることを要求するフィルタリング基準を使用する。束ねられた繊維のカウントはより困難である。この場合、カウント可能な吸入性繊維の数を数えることは、個々に特定可能な繊維を数えることを含み、または個々の繊維を区別できない場合は、束を単一の繊維として数える。個別に特定可能な繊維は、別のオブジェクトに接触する可能性があるという制限付きで、単一繊維基準を使用して特定できる。あるいは、別のより複雑な形状ベースのコンピュータビジョン技術を使用して、束が別個の繊維であるかどうかを特定することができる。あるいは、束ねられた繊維は、オペレーターによって視覚的に検査され、手動で数えられ得る。
【0141】
図13Bおよび13Cは、特徴抽出器の実施形態を示す一組の比較画像を示す。ピクセル抽出器は、入力としてピクセルブロブを受け取り、繊維関連のピクセルを特定するものであり、これは幾何学的操作を適用してブロブ内の繊維を特定およびカウントする特徴抽出器に提供される。この実施形態では、ピクセル抽出器は、粒子を構成するピクセルを特定し、粒子の塊を骨格にスケルトン化する(すなわち、薄くする)。特徴抽出器は、エンドポイント(端部点)とノード(結び目)も特定して記録する。フィットの円を使用して、スケルトンに沿ったパーティクルブロブの幅を計算する。次に、ノード/エンドポイントを持つスケルトンに最適なルールのラインが適用され、個々の繊維、分割された繊維、およびオーバーラップする繊維の数が決定される。
図13Bは、存在する可能性のある繊維1321を含む第1の関心領域1320を含む第1の画像を示している。ピクセル抽出器は、この画像を分析してピクセルを特定し、これをピクセルブロブとして提供する。これは、ピクセルブロブが白いピクセルによって表される第2の画像1322に表されている。粒子ブロブは薄くされ、白いスケルトン1323に変換され、エンドポイント1324および1328、ならびに内部ノード1325が特定される。
図13Cは、2つの重なり合う繊維であるように見える、より複雑な粒子複合体1331を含む第2の関心領域1330を含む別の画像を示す。ピクセル抽出器は関心領域を分析し、ピクセルを粒子ブロブとして特定する。これは、ピクセルブロブが白いピクセルで表されている2番目の画像1332で表されている。粒子ブロブは薄くなり、白いスケルトン1333に変換され画定され、エンドポイント1324、1325、1326、およびいくつかの内部ノードが特定される。接合部はノード1327で画定され、この実施形態では、2つの繊維(1324~1325;1327~1326)が特定され、カウントされる。
【0142】
コンピュータビジョンステップの結果は、手動でレビューされた(注釈が付けられた)画像のセットとの比較で評価された。領域抽出機能は、適切な領域の98.2%を正しく選択した。ピクセル抽出器は、73.2%のピクセルと正しく一致し、25.3%の偽陰性と1.5%の偽陽性があった。これにより、98%の精度(適合率)と74%のリコール(再現性)、および0.84のバランスの取れたFスコア(F1)が得られる。特徴抽出器は、特徴の76.8%を正しく特定し、11.2%が偽陰性、12.0%が偽陽性であった。これにより、86%の精度と87%のリコール、および0.86のバランスの取れたFスコア(F1)が得られる。
【0143】
さらなる形態では、関心領域、ピクセル抽出器、および特徴抽出器のステップの結果の後にこれらのステップの実行中に計算された品質測定値またはメトリックに基づいて、品質評価ステップ230が実行される。たとえば、画像分析、分類器、または他のコンピュータビジョン法は、品質測定値、すなわち(画像全体または特定の関心領域のいずれかについて)ステップ250、260、および/または270のそれぞれのパフォーマンスの統計的または確率的測定値を生成するようにすることができる。事前規定された品質基準のセットを規定し、サンプル画像が品質評価に合格しない場合、サンプル画像は終了する(234)。同様に、品質の低い画像内の個々の関心領域の数がある閾値を超えると、分析が終了するようにすることができる。
【0144】
他の実施形態では、ディープラーニング法などの機械学習方法を使用して、上記の個々の品質評価220、関心領域抽出240、ピクセル抽出250、特徴抽出260、および/またはカウントステップ270を組み合わせて単一のステップにし、またはステップ数を削減する。たとえば、ディープラーニング法はこれらすべてのステップを実行できる(つまり、ステップ132は単一のステップである)。またはディープラーニング法は、粒子の数と位置を出力するためにサンプル画像全体(視野など)に適用され、または、関心領域抽出器の出力に適用して、ピクセル抽出ステップ250と特徴抽出ステップ260、またはピクセル抽出ステップ250、特徴抽出ステップ260とカウントステップ270を効果的に組み合わせる。
【0145】
一実施形態では、画像上にマークされた視野(サンプル画像全体)内の粒子を画像に提供することによってトレーニングされる。ディープラーニング法は、視野入力画像を受信し、視野全体の粒子の位置と数を出力できるようになる。
図14Aは、一実施形態による、画像内の粒子を特定およびカウントするためのディープラーニング法のフローチャート1401である。この実施形態では、ディープラーニングモデルは、特徴抽出器を適用して画像内の吸入性粒子の数を数えることができる特徴を見積もる。この実施形態では、ディープラーニング法は、畳み込みニューラルネットワークベースのモデル1430を使用する。ネットワークアーキテクチャ1431は、入力層1432、整流器線形ユニット(ReLU)活性化関数(すなわち、整流器活性化関数)を備えた畳み込みフィルターのセット1433、および出力層1434を含む。この実施形態では、ディープラーニング画像は、トレーニングプロセス1410を使用してトレーニングされる。これは、各アスベスト(または他の吸入性)繊維の中心にピクセルレベルのドットを配置(1412a)して標識画像1412bを取得することにより、入力画像1411をラベル付けステップ1412に提供することを含む。ラベル付けされた画像は、粒子をカウントするためのターゲットマップ1413aを取得するために、ラベル付けされた画像1412bにガウスカーネルを適用するターゲットマップ作成ステップ1413に提供される。入力画像1411は、(理想的には)ターゲットマップ1413aと一致するはずである予測密度マップ1415a(予測密度マップステップ1415)を計算するために、画像が畳み込む現在の畳み込みニューラルネットワーク1414に提供される(すなわち、モデルがトレーニングされる)。損失関数1416は、ネットワークをトレーニングするためにこれらの2つのマップ間の損失を計算するために使用される。出力に基づいて、畳み込みニューラルネットワークモデル1414が調整され、例えば、偽陽性、真陽性、および偽陰性率に基づくものなどの特定の性能基準を満たすことによって、満足のいく性能が達成されるまでトレーニングプロセスが繰り返される。モデル1430がトレーニングされると、ディープラーニング法は、分析およびカウントのために入力画像1421および1422などのテストデータ1420を提供(供給する)する。各画像は、畳み込みニューラルネットワークモデル1430によって処理されて、予測された密度マップ1440を取得(または取得)する。第1の密度マップ1441は、第1の入力画像1421について得られ、第2の密度マップ1442は、第2の入力画像1422について得られる。次に、カウントステップが実行され1450、第1の密度マップ1441に対して第1のカウント(1)1451を返し、第2の密度マップ1442に対して第2のカウント(1)1452を返す。
【0146】
図14Bは、画像内の粒子を特定およびカウントするための一実施形態に係るディープラーニング法1402のフローチャートである。この実施形態では、ディープラーニングモデルは、画像内の吸入性粒子の数を直接見積もる。この実施形態では、ディープラーニング法は、ニューラルネットワーク回帰モデル1430を使用する。ネットワークアーキテクチャ1435は、入力画像を受信し、全結合層1438を使用して出力カウント1439を生成するVGG16畳み込みニューラルネットワーク1436を含む。この実施形態では、ディープラーニング画像は、トレーニングプロセス1410を使用してトレーニングされる。これは、入力画像1411に、画像の視野内の吸入性(すなわち、アスベスト)粒子の数でラベルを付けることを含む。入力画像1411は、現在の畳み込み回帰ニューラルネットワーク1418に提供され(すなわち、モデルがトレーニングされ)、VGG16ネットワークおよび全結合層を使用して畳み込まれ、吸入性粒子の予測カウントを取得する(1419)。損失関数は、ラベル付けされたカウントとモデル1418からの見積もられたカウントとの間の損失を計算するために使用される(1416)。出力に基づいて、回帰ニューラルネットワークモデル1418が調整され、例えば、偽陽性、真陽性、および偽陰性率に基づくものなどの特定の性能基準を満たすことによって、満足のいく性能が達成されるまでトレーニングプロセスが繰り返される。モデル1430がトレーニングされると、ディープラーニング法は、分析およびカウントのために入力画像1421および1422などのテストデータ1420を提供(供給する)する。各画像は、トレーニングされた畳み込みニューラルネットワーク回帰モデル1430によって処理され、カウントステップ1450は、第1の画像1421に対して第1のカウント(1)1451を返し、第2の画像1422に対して第2のカウント(1)1452を返す。
【0147】
機械学習方法の1つの利点は、花粉およびカビ胞子などの吸入性繊維に加えて、他の吸入性粒子の特定およびカウントへの方法の拡張を可能にすることである。十分なトレーニング画像のセットが得られれば、上記の方法論は、フィルター(または同様のもの)で検出できてカウントする前に品質評価を実行することが望ましい特定の幾何学的または視覚的/光学的特性を持つ花粉カビ胞子および同様のオブジェクトをカウントするために適用できる。
【0148】
図15は、一実施形態に係る空気品質監視装置から得られたフィルターの自動分析のためのシステムの概略図である。このシステムは、ロボット顕微鏡プラットフォーム2と、ロボット顕微鏡プラットフォーム2に動作可能に接続された少なくとも1つのコンピュータ装置4とを備える。ロボット顕微鏡プラットフォーム2は、位相差顕微鏡10、顕微鏡スライド(または他の光学的に透明な支持体)を受け入れるための電動XYステージ12、電動Z軸フォーカスドライブ13、および画像平面14に配置された画像センサ16を備える。対物レンズを切り替えるために、電動ノーズピースを含めることができる。位相差顕微鏡は、単眼、双眼、または三眼の顕微鏡にすることができる。オートローダー18を使って、準備された顕微鏡スライドを保管し、それをロボットXYステージに自動的にロードするようにすることができる。これにより、顕微鏡スライドの大量の画像キャプチャを自動的に実行し、キャプチャした画像を分析のためにコンピュータ装置に送信できる。
【0149】
上述したように、電動(またはロボット)XYステージは複数のスライドをサポートすることができる。その場合、スライドは順番に処理される。たとえば、次のスライドの画像をキャプチャする前のスライドに対してはすべての画像がキャプチャされる。それとは異なり、複数のスライドの画像を並行してキャプチャすることもできる。たとえば、特定の焦点距離に対して、すべてのスライドの画像をキャプチャできる。すべての画像がキャプチャされると、スライドごとに画像のグループに分けられ、分析される。イメージセンサーは、顕微鏡と統合される光学系を備えたカメラ、またはCMOSセンサーチップやサポート電子機器などのイメージセンサーとすることができる。オートローダーを使用して、複数のスライドをXYステージにロードできる。イメージセンサーは、可視範囲センサ、またはIRまたは近IRで動作するように構成されたイメージセンサーなどのより特殊なイメージセンサーとすることができる。IRで動作するイメージセンサーは、色付き(または灰色または暗い)の背景を必要とせずに気泡を直接特定できる。イメージセンサーまたはカメラは、複数の異なる波長範囲を収集するマルチスペクトルカメラとすることができる。
【0150】
このシステムは、ロボット顕微鏡プラットフォーム2に動作可能に接続された少なくとも1つのコンピュータ装置4を備える。これは、ローカルの有線または無線リンクを介して接続されたローカルコンピュータ装置であり得、ロボット顕微鏡プラットフォームの外部としたり、またはロボット顕微鏡プラットフォームに統合したりすることができる。一実施形態では、少なくとも1つのコンピュータ装置は、ローカルコンピュータ装置20と、リモート、ウェブ、またはクラウドベースのコンピュータ装置30とを含む。各コンピュータ装置は、少なくとも1つのプロセッサと、プロセッサに動作可能に接続されたメモリとを備え、コンピュータ装置4は、本明細書に記載の方法を実行するように構成される。いくつかの実施形態では、品質評価および繊維カウントは、ローカルコンピュータ装置4によって実行され、結果および画像は、リモート装置(例えば、クラウド内)に保存される。あるいは、いくつかの実施形態では、品質評価はローカルで実行され、繊維カウントはリモートで(例えば、クラウドで)実行される。いくつかの実施形態では、ローカルコンピュータ装置は、品質評価および繊維カウントを実行するリモートコンピュータ装置への画像のキャプチャおよび送信を調整する。
【0151】
システムは、少なくとも1つのコンピュータ装置4を含むコンピュータ実装システムである。このコンピュータ装置は、少なくとも1つのプロセッサ22、32とこの少なくとも1つのプロセッサ(またはプロセッサの1つ)に動作可能に接続された少なくとも1つのメモリ23、33を含み、さらにディスプレイデバイスなどの追加のデバイスまたは装置、および入力および出力デバイス/装置(装置とデバイスという用語は同じ意味で使用される)を含むことができる。メモリは、プロセッサに本明細書に記載の方法を実行させるための命令を含み得る。プロセッサメモリおよびディスプレイデバイスは、デスクトップコンピュータ、ラップトップコンピュータまたはタブレットなどのポータブルコンピュータ装置などの標準的なコンピュータ装置に含まれか、またはカスタマイズされた装置またはシステム(例えば、組み込みまたは統合コンピュータ装置)に含まれ得る。コンピュータ装置は、単一のコンピュータまたはプログラム可能な装置、あるいは有線または無線接続を介して動作可能に(または機能的に)接続された、いくつかのコンポーネントを含む分散型装置であり得る。コンピュータ装置は、入力/出力インターフェース、算術論理演算ユニット(ALU)、および入力/出力インターフェースを介して入力および出力デバイスと通信する制御ユニットおよびプログラムカウンタ要素を含む中央処理装置(CPU)を備えることができる。入力および出力デバイスは、ディスプレイ、キーボード、マウス、ロボット(または電動)XYステージ、サンプルイメージングカメラ、およびロボット顕微鏡カメラ(またはイメージセンサー)を含み得る。一実施形態では、OASIS-グライドXY(またはXYZ)ステージを使用し、英国ケンブリッジのオブジェクティブイメージングによって製造されたOASIS-BlueまたはOASIS-4iPCIEコントローラ(http://www.objectiveimaging.com/)を使用して制御することができる。他の同様の製品も使用できる。
【0152】
入力/出力インターフェースはまた、事前規定された通信プロトコル(例えば、ブルートゥース(登録商標)、ジグビー、IEEE802.15、IEEE802.11、TCP/IP、UDPなど)を使用して、別の装置またはデバイス内の同等の通信モジュールと通信するためのネットワークインターフェースおよび/または通信モジュールを含むようにすることができる。グラフィックプロセッシングユニット(GPU)も含まれ得る。表示装置は、フラットスクリーンディスプレイ(例えば、LDC、LED、プラズマ、タッチスクリーンなど)、プロジェクタ、CRTなどを備えることができる。コンピュータ装置は、単一のCPU(コア)または複数のCPU(複数のコア)、あるいは複数のプロセッサを備え得る。コンピュータ装置は、並列プロセッサ、ベクトルプロセッサを使用するか、またはクラウドベースのサーバーを含む分散コンピュータ装置であり得る。メモリは、プロセッサに動作可能に結合され、RAMおよびROMコンポーネントを含むことができ、装置の内部または外部に設けることができる。メモリは、オペレーティングシステムおよび追加のソフトウェアモジュールまたは命令を格納するために使用できる。プロセッサは、メモリに格納されたソフトウェアモジュールまたは命令をロードして実行するように構成することができる。
【0153】
一実施形態では、例えば、
図3に示されるように、コンピュータ装置4は、ローカルコンピュータ装置20および少なくとも1つのリモートコンピュータ装置30を備える。ローカルコンピュータ装置20は、例えば、USBケーブルなどの有線コネクタを介して、またはブルートゥース(登録商標)またはWi-Fiダイレクトなどのプロトコルに従って無線接続を介して、ロボット顕微鏡プラットフォーム2に直接接続される。あるいは、ローカルコンピュータ装置20、ロボット顕微鏡プラットフォーム2は、ローカルエリアネットワークを形成し、それぞれが有線または無線接続を介して同じルータに接続されて、異なる装置がメッセージまたはデータを交換できるようにすることができる。
【0154】
例えば、
図3に示されるように、ローカルコンピュータ20は、少なくとも1つのプロセッサ22およびメモリ23およびデスクトップアプリケーション24を含み、リモートコンピュータ装置30は、少なくとも1つのプロセッサ32およびメモリ33およびウェブアプリケーション34を含む。ローカルコンピュータ装置は、ラップトップ、デスクトップ、モバイルタブレット、スマートフォン、またはロボット顕微鏡に統合されたコンピュータボード(または複数のボード)であり得、リモートコンピュータ装置は、ウェブサーバーまたはクラウドホストサーバーであり得る。デスクトップアプリケーションは、タブレットコンピュータ装置またはスマートフォンで実行するように構成された「アプリ」である場合がある。ウェブアプリケーション34は、システムユーザインターフェース、ならびにライセンス供与、ユーザアカウント、ジョブ調整、分析レビューインターフェース、レポート生成、アーカイブ機能などを提供する。ウェブアプリケーション34とローカルデスクトップアプリケーション14は、例えば、スキャンジョブを開始するため、または完了したジョブの通知を受信するために、システムメッセージ35を交換する。デスクトップアプリケーション24は、サンプル画像化装置およびロボット顕微鏡を制御し、制御メッセージ28を使用して画像キャプチャを開始し、分析のためにキャプチャされた画像29を受信するために使用される。受信された画像29は、ローカルアプリケーションによって前処理され、次いでアップロードされて、安全なクラウドサーバーであり得るマスター画像サーバー36に送られ得る。クラウドベースまたはサーバーベースの分析モジュールであり得る画像分析モジュール37は、本明細書に記載されるように画像分析を実行し、報告のために結果または結果をウェブアプリケーション34に提供する。
【0155】
デスクトップアプリケーション24は、較正、ネットワーク通信、エラー報告などの操作をサポートし、デスクトップアプリケーションのローカル制御を可能にするローカルユーザインターフェースを提供するとともに、顕微鏡コントローラモジュール26を備える。位置決めおよびキャプチャコマンド28をサンプルイメージング装置3に送信し、キャプチャされたマクロスケール画像29をカメラ310から受信するサンプルイメージングコントローラモジュール25も含むことができる。マクロスケール画像はマスター画像サーバー36に格納され品質評価と除外領域の特定のために画像分析モジュール37に提供される。顕微鏡コントローラモジュール26は、位置決めコマンド28を電動ステージコントローラ12および電動Z軸フォーカスドライブ13に提供し、顕微鏡の画像平面14に配置された画像センサ(またはカメラ)16による画像キャプチャを開始し、キャプチャされた拡大された位相差画像29を受信する。次に、これらはマスター画像サーバー36に格納され、カウント可能な吸入性粒子の特定およびカウントのために分析モジュール37に提供される。
【0156】
一実施形態では、分析モジュール37は、デスクトップアプリケーションの一部としてローカルに提供され得る。他の実施形態では、分析モジュールは、ローカルコンピュータ装置20で実行されるいくつかの機能と、リモートコンピュータ装置30によって実行されるいくつかの機能を備えた分散モジュールであり得る。たとえば、画質評価はローカルで提供され、詳細な画像分析はリモートで行われる。別の実施形態では、低倍率画像と高倍率拡大位相差画像の両方の分析がローカルで実行される。つまり、分析モジュール37は、デスクトップアプリケーション24の一部である。次に、分析された結果はシリアル化され、ウェブアプリケーション37および/またはマスター画像ストア36に送信される。
【0157】
デスクトップおよびWebアプリケーションは、C++やJAVA(登録商標)などの高級言語とQtv5.7フレームワークを使用して開発および構築される。一実施形態では、画像分析モジュール37は、OpenCV3.1などのコンピュータービジョンライブラリを実装する。一実施形態では、サンプル画像化装置3およびロボット顕微鏡2は両方とも、デスクトップアプリケーション24を実行するローカルラップトップコンピュータへのそれぞれのUSB接続を介して制御される。一実施形態では、ロボットXYステージは、C++ダイナミックリンクライブラリ(ここではDLL)およびアプリケーションプログラミングインターフェイス(ここではAPI)も提供するオブジェクティブイメージングObjectiveImagingによって提供されるOasisImagingGlideS2電動ステージである。APIにより、XYステージ軸とZフォーカス軸の正確な位置が可能になる。APIは、画像のスティッチング、フォーカスマップの生成、および予測フォーカスのためのユーティリティも提供する。
【0158】
上記の実施形態は、コンピュータビジョン法を使用して、品質評価を実行し、メンブレンの全深さをカバーするサンプル位置でキャプチャされた高倍率画像の視野のカウント領域内のカウント可能な吸入性粒子の数を特定およびカウントする。この仕様のコンテキストでは、コンピュータービジョンメソッドは、既知の参考データセットまたはトレーニングデータセットに基づいて画像を分析するための自動化された方法であり、機械学習または管理された学習方法を使用して、複数の階層化された分類器および/または複数のニューラルネットを使用したディープラーニング法を含むテストおよびトレーニングセットを含む参考データセットを使用して分類器を構築する。分類器は、特徴抽出、検出/セグメンテーション、数学的形態学法、デジタル画像処理、欠陥認識、特徴ベクトルなどの様々な画像処理技術および統計的技術を使用して構築することができる。線形分類器、回帰アルゴリズム、サポートベクターマシン、ニューラルネットワーク、ベイジアンネットワークなど、さまざまなアルゴリズムを使用できる。コンピュータビジョンまたは画像処理ライブラリは、コンピュータービジョンシステムツールボックス、MATLAB(登録商標)ライブラリ、OpenCV C++ライブラリ、ccvC++CVライブラリ、ImageJ JavaCVライブラリなどの分類器を構築するために使用できる関数を提供する。
【0159】
一実施形態では、ディープラーニング法が、コンピュータビジョン分析のピクセル抽出器および/または特徴抽出器のステップに使用される。ディープラーニング法は、前の層からの出力が次の層の入力を形成する、分類器の複数の層の階層カスケード、または他の特徴抽出モジュールを使用する。通常、ディープラーニングでは、システムをトレーニングするために非常に多くの画像のトレーニングセットが必要である。たとえば、200倍および400倍の倍率の10,000以上の顕微鏡画像のセットをトレーニングセットとして使用されることがある。次に、個々の粒子、グループ化された粒子を含み、粒子を含まない関心領域が画像から抽出される。ソフトウェアツールを使用により、人間が関心領域にラベルを付けて、画像内の粒子や画像内の高繊維ピクセルをカウントできる。たとえば、ヒューマンインテリジェンスタスク(HIT)テンプレートをAmazon Mechanical Turkマーケットプレイスで提供して、人間が関心領域にラベルを付けることができるようにすることができる(たとえば、https://blog.mturk.com/tutorial-annotating-images-with bounding-boxes-using-amazon-mechanical-turk-42ab71e5068aを参照)。次に、これらのラベル付き画像を使用して、1つ以上の分類器を作成するためのディープラーニングトレーニングプロセスを構成する。TensorFlowやCaffeなどのさまざまなディープラーニングソフトウェアライブラリをディープラーニングの実装に使用できる(たとえば、http://www.wolfib.com/Image-Recognition-Intro-Part-1/を参照)。
【0160】
ディープラーニングプロセスは、トレーニングデータ(画像)を使用してモデル/分類器の初期セットを作成することを含む。1つまたは複数のカウント可能吸入性粒子の一部である個々のピクセルを特定できる分類器、個々の粒子全体を特定できる分類器、および/またはグループ内の粒子の数を特定および見積することができる分類器などの複数の分類器を作成することができる。次に、反復的なディープラーニングプロセスが開始される。この反復プロセスは、モデル/分類器が以前に見たことがない(つまり、トレーニングされていない)入力関心領域画像を分析することから始まる。各分類器の性能は、繊維数および/または繊維ピクセル精度を、人間がラベル付けした結果と比較することによって評価される。または、評価ステップの後に最も性能の高いモデル/分類器が選択され、最も性能の高い分類器にランダムに変更することで、新しいモデル/分類器のセットが作成される。新しい画像の分析、分類器の評価、選択、変更の反復的なディープラーニングステップは、許容可能な性能が達成されるまで(つまり、閾値の精度を超えるまで)繰り返される。たとえば、(評価ステップ中に)分類器が、人間がラベル付けした結果と比較して99.5%の精度のカウント結果を達成した場合、反復ディープラーニングプロセスを終了とすることができる。ディープラーニングソリューションがトレーニングされると(つまり、閾値の精度を超えると)、ディープラーニングソリューションをクラウドコンピュータ環境に展開して、顕微鏡でキャプチャされた画像をディープラーニングソリューションに送信し、受け取った画像の関心領域から特定してカウントすることができる。
【0161】
本明細書に記載の方法およびシステムの実施形態は、空気中のアスベスト繊維濃度を測定するための空気品質監視装置から得られるメンブレンフィルターを分析するために使用される、標準的なメンブレンフィルター法を実施するための改善を提供する。自動化されたサンプルのキャプチャと分析は、コンピュータビジョン技術を使用して、カウント可能な吸入性粒子を特定する前に、スライドの品質を評価し除外する領域を検出できるようにする。ロボット顕微鏡システムは、画像を迅速に取得してサンプル部分(フィルターなど)をサンプリングまたはタイル状に並べ、XYステージの移動、Zフォーカシング、および画像キャプチャを自動化することができる。画像は、次に分析モジュールに送られる。分析モジュールは、コンピュータビジョン技術を使用して、品質を迅速かつ確実に評価し、カウント可能な領域を決定してから、カウント可能な吸入性粒子を特定およびカウントし、適切なレポートを生成する。結果には、少なくとも総数および/または密度が含まれ、品質評価スコア、画像などの他の関連情報が含まれるようにすることができる。したがって、この自動化されたシステムは、既存の手動の方法やシステムと比較して、標準的なメンブレンフィルター法を実装するためのガイドラインを迅速かつ厳密に手順を提供する。これにより、スループットが向上し、運用コストが削減され、より安価なテストが可能になる。
【0162】
たとえば、熟練したオペレーターは、サンプルごとに最大100のサンプル位置をスキャンして分析するのに8~30分かかり、1日あたり8~12のサンプルを処理できる。結果の不確実性は高く、ラボ間の信頼性は低く、この主観的な処理であるために、分析は再現できない。これに対し、ここで説明する自動システムは、1~2分でサンプルをスキャンおよび分析でき、1日あたり100サンプル以上を簡単に処理できる。必要なオペレーターのスキルは、サンプルを顕微鏡のスライドに固定してオートローダーに配置するか、ロボットのXYステージ(および顕微鏡とサンプルイメージング装置が分離している場合)に配置するだけでよいため、はるかに低くなる。さらに、20または100のランダム/ユーザーが選択したサンプル位置を使用するのではなく、システムはサンプル部分全体をスキャン(タイリング)し、フィルター全体の総アスベスト数の測定、またはフィルター全体の繊維密度の見積りを可能にする。
【0163】
さらに、結果の不確実性は比較的低く、ラボ間の信頼性ははるかに高く、分析は再現可能である。このシステムは、優れたトレーサビリティも提供する。分析された画像は、粒子の絶対位置、除外領域、品質測定値などの分析情報とともにWebサーバーに保存できる。
【0164】
このシステムは、繊維をカウントする前の品質評価を含む。さまざまな品質評価基準を使用することができる。品質評価は、粒子の検出とカウントが高品質の画像でのみ実行されるように、視野レベルで行うことができる。フィルターレベルでのさらなる品質評価を実行して、カウントすべきではない低品質のメンブレンを検出することもできる。一実施形態では、高解像度画像のセットがキャプチャされ、視野レベル品質評価が、サンプル位置の各画像、または同じサンプル位置で撮影された画像のセットに対して行われる。画像が視野品質評価に合格すると、粒子カウントが実行される。合格しない場合、そのサンプル位置は終了となる。個々のサンプル位置での視野レベル品質評価が不合格が多すぎる場合には、スライド全体が低品質のスライドである可能性があるため、スライド全体が不適とされる可能性がある。代替的または追加的に、複数のサンプル位置からの画像を組み合わせたり、まとめて分析したりして、全体的なフィルターレベル品質評価を実行することができる。全体的なフィルター品質評価に不合格となったスライドは、破棄または無視される(つまり、カウントがされず破棄される)ようにすることができる。いくつかの実施形態では、品質評価は、フィルターレベル品質評価(第1の部分)と視野レベル品質評価(第2の部分)の2つの部分で実行される。フィルターレベル品質評価は、サンプル部分全体にわたって低倍率の画像を収集するフィルターの低倍率スキャンを実行することを含み得る。これらは、サンプル部分をタイル状にするか、サンプル部分の十分な領域をサンプリングして、フィルターの全体的な品質を見積りできるようにすることができる。第2の部分は、複数のサンプル位置で1つまたは複数の画像を収集することによってフィルターの高出力スキャンを実行すること、および視野レベル品質評価を実行することを含み得る。
【0165】
明細書および以下の特許請求の範囲を通じて、別段の定めがない限り、「含む(comprise)」および「含む(include)」という用語、ならびに「含む(comprising)」および「含む(including)」などの変形は、記載されたものまたはそれらのグループを含むことを意味するが、その他のものまたはそれらのグループを除外するものではない。
【0166】
本明細書における先行技術への言及は、そのような先行技術が一般的な一般知識の一部を形成するといういかなる形式の提案の承認でもなく、またそのように解釈されるべきではない。
【0167】
当業者は、情報および信号が、様々なテクノロジーおよび技術のいずれかを使用して表され得ることを理解するであろう。例えば、上記の説明全体を通して参照されるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または粒子、光場または粒子、または任意の組み合わせによって表され得る。
【0168】
当業者は、本明細書に開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェアまたは命令、あるいは両方の組み合わせとして実装され得ることをさらに理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に説明するために、さまざまな例示的なコンポーネント、ブロック、モジュール、回路、およびステップを、概ねそれらの機能の観点から説明した。このような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、システム全体に課せられる特定のアプリケーションと設計上の制約によって異なる。当業者は、特定のアプリケーションごとにさまざまな方法で説明された機能を実装することができるが、そのような実装の決定は、本発明の範囲からの逸脱を生じると解釈されるべきではない。
【0169】
本明細書に開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または2つの組み合わせで直接具体化され得る。ハードウェア実装の場合、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組み合わせ内で実装するようにすることができる。コンピュータプログラム、コンピュータコード、または命令としても知られるソフトウェアモジュールは、多数のソースコードまたはオブジェクトコードセグメントまたは命令を含むことができ、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、DVD-ROM、Blu-ray(登録商標)ディスク、またはその他の形式のコンピュータ可読媒体などの任意のコンピュータ可読媒体にストアすることができる。いくつかの態様においては、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体(例えば、有形媒体)を含み得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体(例えば、信号)を含み得る。上記の組み合わせも、コンピュータで読み取り可能なメディアの範囲に含める必要がある。別の態様では、コンピュータ可読媒体は、プロセッサに不可欠であり得る。プロセッサおよびコンピュータ可読媒体は、ASICまたは関連するデバイスとすることができる。ソフトウェアコードはメモリユニットに格納され、プロセッサはそれらを実行するように構成され得る。メモリユニットは、プロセッサ内またはプロセッサの外部に実装することができ、その場合、当技術分野で知られているように、様々な手段を介してプロセッサに通信可能に結合することができる。
【0170】
さらに、本明細書に記載の方法および技術を実行するためのモジュールおよび/または他の適切な手段は、コンピュータ装置によってダウンロードおよび/または他の方法で取得できる。例えば、そのようなデバイスは、本明細書に記載の方法を実行するための手段の転送を容易にするためにサーバーに結合することができる。あるいは、本明細書に記載の様々な方法は、記憶手段(例えば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体)を介して提供され得るものであり、コンピュータ装置はこの記憶手段をデバイスに結合または提供することにより本明細書に記載の様々な方法を取得することができる。さらに、本明細書に記載の方法および技術を装置に提供するための他の任意の適切な技術を利用することができる。
【0171】
一形態では、本発明は、本明細書に提示される方法または操作を実行するためのコンピュータプログラム製品を含み得る。例えば、そのようなコンピュータプログラム製品は、命令が格納(および/または符号化)されたコンピュータ(またはプロセッサ)読み取り可能媒体を含み、命令は、本明細書に記載の動作を実行するために1つまたは複数のプロセッサによって実行可能とすることができる。特定の態様では、コンピュータプログラム製品は、包装材料を含み得る。
【0172】
本明細書に開示される方法は、記載された方法を達成するための1つまたは複数のステップまたはアクションを含む。この方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく、互いに交換することができる。言い換えれば、ステップまたはアクションの特定の順序が指定されていない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更することができる。
【0173】
本明細書で使用される場合、「分析する」という用語は、多種多様な行動を包含する。例えば、「分析」は、計算、計算、処理、導出、調査、検索(例えば、テーブル、データベース、または別のデータ構造での検索)、確認などを含み得る。また、「分析」は、受信(例えば、情報の受信)、アクセス(例えば、メモリ内のデータへのアクセス)などを含み得る。また、「分析」には、解決(resolving)、セレクト(selecting)、チューズ(choosing)、確立(establishing)などが含まれる場合がある。
【0174】
本開示は、その使用において、記載された特定の1つまたは複数の用途に限定されない。本開示は、本明細書に記載または図示されている特定の要素および/または特徴に関して、その好ましい実施形態に制限されない。本開示は、開示される1つまたは複数の実施形態に限定されないが、以下の特許請求の範囲に記載および規定される範囲から逸脱することなく、多数の再配置、修正、および置換が可能であることを理解されたい。
【0175】
以下のクレームは暫定的なクレームのみであり、可能なクレームの例として提供されており、本出願に基づく将来の特許出願においてクレームされる可能性のあるものの範囲を限定することを意図しないことに留意されたい。範囲をさらに規定すなわち再規定するために、構成要素は後日、現在のクレームに追加または削除される場合がある。