▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッドの特許一覧
特許7089072進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなＨＩＬ指標決定のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-13
(45)【発行日】2022-06-21
(54)【発明の名称】進歩したセマンティックセグメンテーションおよび敵対的訓練による、きめ細かなＨＩＬ指標決定のための方法および装置
(51)【国際特許分類】
G01N 35/00 20060101AFI20220614BHJP
G01N 35/02 20060101ALI20220614BHJP
【ＦＩ】
G01N35/00 A
G01N35/02 C
【請求項の数】
20
(21)【出願番号】P 2020569902
(86)(22)【出願日】2019-06-10
(65)【公表番号】
(43)【公表日】2021-10-11
(86)【国際出願番号】 US2019036339
(87)【国際公開番号】W WO2019241128
(87)【国際公開日】2019-12-19
【審査請求日】2021-02-12
(31)【優先権主張番号】62/685,335
(32)【優先日】2018-06-15
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508147326
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
(74)【代理人】
【識別番号】100127926
【弁理士】
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100140132
【弁理士】
【氏名又は名称】竹林 則幸
(72)【発明者】
【氏名】カイ・マー
(72)【発明者】
【氏名】イャオ－ジェン・チャン
(72)【発明者】
【氏名】テレンス・チェン
(72)【発明者】
【氏名】ベンジャミン・エス・ポラック
【審査官】三木 隆
(56)【参考文献】
【文献】国際公開第２０１８／０８９３３８（ＷＯ，Ａ１）
【文献】国際公開第２０１８／０２２２８０（ＷＯ，Ａ１）
【文献】国際公開第２０１７／１０６６４５（ＷＯ，Ａ１）
【文献】国際公開第２０１８／０３９３８０（ＷＯ，Ａ１）
【文献】特表２０１３－５０１９３７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３７２１９３（ＵＳ，Ａ１）
【文献】特表２０１９－５３１４６３（ＪＰ，Ａ）
【文献】特表２０１９－５００１００（ＪＰ，Ａ）
【文献】特表２０１９－５３１７８３（ＪＰ，Ａ）
【文献】特表２０１９－５３７０１１（ＪＰ，Ａ）
【文献】G. Huang, Z. Liu, L. Van Der Maaten and K. Q. Weinberger，Densely Connected Convolutional Networks，2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，2017年，Page.2261-2269，https://ieeexplore.ieee.org/document/8099726
【文献】畳み込みニューラルネットワークの最新研究動向 (～2017)，2017年12月25日，https://qiita.com/yu4u/items/7e93c454c9410c4b5427
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ３５／００－３５／１０
(57)【特許請求の範囲】
【請求項1】
検体容器を特徴付ける方法であって：検体の血清または血漿部分を含む検体容器の画像を画像取り込みデバイスによって取り込むことと；
コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定することと；
ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することとを含み、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む、前記方法。
【請求項2】
分類指標はさらに非遠心分離クラスを含む、請求項１に記載の方法。
【請求項3】
画素データを処理することは、コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して血清または血漿部分の分類指標を、検体容器中で特定された血清または血漿部分の画像からの画素色データに基づいて決定することを含む、請求項１に記載の方法。
【請求項4】
コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定することをさらに含む、請求項１に記載の方法。
【請求項5】
容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワークへ入力して、血清または血漿部分の分類指標を決定することをさらに含む、請求項４に記載の方法。
【請求項6】
ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練することをさらに含む、請求項１に記載の方法。
【請求項7】
ディープセマンティックセグメンテーションネットワークは、少なくとも１０個の高密度ブロック層を含むアーキテクチャを含む、請求項１に記載の方法。
【請求項8】
少なくとも１０個の高密度ブロック層は、４つの高密度層のうちの最大値をそれぞれが有する少なくとも３つの高密度ブロック層と、５つの高密度層のうちの最大値をそれぞれが有する少なくとも２つの高密度ブロック層とを含む、請求項７に記載の方法。
【請求項9】
ディープセマンティックセグメンテーションネットワークは、１５個の高密度層を有する少なくとも１つの高密度ブロック層を含むアーキテクチャを含む、請求項７に記載の方法。
【請求項10】
ディープセマンティックセグメンテーションネットワークは、５つの遷移アップ層が後に続く５つの遷移ダウン層を含むアーキテクチャを含む、請求項７に記載の方法。
【請求項11】
品質検査モジュールであって：１つまたはそれ以上の視点から、検体の血清または血漿部分を含む検体容器の１つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと；
複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の１つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように；かつ
ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む、前記品質検査モジュール。
【請求項12】
コンピュータはさらに、非遠心分離クラスをさらに含む分類指標を出力するように構成され動作する、請求項１１に記載の品質検査モジュール。
【請求項13】
コンピュータはさらに、コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して１つまたはそれ以上の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定するように構成され動作する、請求項１１に記載の品質検査モジュール。
【請求項14】
コンピュータはさらに、容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワークへ入力して、血清または血漿部分の分類指標を決定するように構成され動作する、請求項１３に記載の品質検査モジュール。
【請求項15】
コンピュータはさらに、ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練するように構成され動作する、請求項１１に記載の品質検査モジュール。
【請求項16】
検体試験装置であって：軌道と；
該軌道上で可動であり、検体の血清または血漿部分を含む検体容器を含むように構成されたキャリアと；
軌道のまわりに配置され、１つまたはそれ以上の視点から、検体容器および検体の血清または血漿部分の１つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと；
複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
コンピュータ上で実行するディープセマンティックセグメンテーションネットワークを使用して検体容器の１つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように；かつ
ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、ここで、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む、前記検体試験装置。
【請求項17】
コンピュータはさらに、非遠心分離クラスをさらに含む分類指標を出力するように構成され動作する、請求項１６に記載の検体試験装置。
【請求項18】
コンピュータはさらに、コンピュータ上で実行するフロントエンド容器セグメンテーションネットワークを使用して１つまたはそれ以上の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定するように構成され動作する、請求項１６に記載の検体試験装置。
【請求項19】
コンピュータはさらに、容器タイプおよび容器境界をディープセマンティックセグメンテーションネットワークへ追加の入力チャネルを介して入力して、血清または血漿部分の分類指標を決定するように構成され動作する、請求項１８に記載の検体試験装置。
【請求項20】
コンピュータはさらに、ディープセマンティックセグメンテーションネットワークが均一に構築された出力を生成するように、ディープセマンティックセグメンテーションネットワークを差別的ネットワークによって訓練するように構成され動作する、請求項１６に記載の検体試験装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、２０１８年６月１５日に出願された米国特許仮出願第６２／６８５，３３５号の優先権を主張する。
本出願は、参照によりその全体が本明細書に組み込まれる、２０１８年６月１５日に出願された米国特許仮出願第６２／６８５，３３５号の優先権を主張する。
【0002】
本開示は、自動診断分析システムにおいて検体容器（およびその中の検体）を特徴付けるための方法および装置に関する。
【背景技術】
【0003】
自動診断分析システムは、１つまたはそれ以上の試薬を用いて検査または臨床分析を実施して、尿、血清、血漿、間隙液、脳脊髄液などの検体中の分析物または他の成分を特定することができる。このような検体は通常、検体容器（たとえば、検体採取管）の中に含まれる。試験反応では様々な変化が生じ、これらの変化は読み取られ、かつ／または処理されて、検体中の分析物または他の成分の濃度が決定される。
【0004】
自動試験技術の改善には、ラボラトリオートメーションシステム（ＬＡＳ）と呼ばれる自動検体調製システムによる、選別、バッチ調製、検体成分を分離するために検体容器を遠心分離機にかけること、流体へのアクセスを容易にするためのキャップ除去、ＨＩＬＮ（溶血、黄疸、および／もしくは脂肪血、または正常）の予備検査などの分析前検体調製および処理の操作において、対応する進歩が伴った。ＬＡＳはまた、様々な操作（たとえば、分析前試験または分析試験）を行えるように、検体容器内の検体をいくつかの検体処理ステーションまで自動的に輸送することもできる。
【0005】
ＬＡＳは、標準的な、バーコードラベル表示された検体容器に含まれる、いくつかの異なる検体を処理することができ、この容器は、サイズ（たとえば、直径および高さ）が異なり得る。バーコードラベルは受入番号を含むことができ、この受入番号は、試験オーダと共に病院のラボラトリ情報システム（ＬＩＳ）に入力されている患者情報または他の情報を含むか、これらの情報と互いに関連付けられている。操作員は、ラベル表示された検体容器をＬＡＳシステムの上に置くことができ、ＬＡＳシステムは、検体が１つまたはそれ以上の、ＬＡＳの一部でもあり得る分析器（たとえば、臨床化学計器または検査計器）による臨床分析または検査にかけられる前に、遠心分離、キャップ除去および／またはアリコート調製などの分析前操作のために検体容器を自動的にルーティングすることができる。
【0006】
いくつかの試験では、（遠心分離によって全血から得られた）血清または血漿部分などの生体液が分析される。検体が全血である場合、血清または血漿部分からの沈降血液部分の分離を補助するために、ゲルセパレータが検体容器に加えられる。前処理の後、検体容器は適切な分析器まで輸送され、この分析器は、生体液体（たとえば、血清または血漿部分）の一部分を検体容器から取り出し、この液体を１つまたはそれ以上の試薬、および場合により他の材料と反応容器（たとえば、キュベット）内で混ぜ合わせることができる。次に、分析的測定が、調査照射などのビームを使用することによる測光吸収または蛍光定量的吸収の読取りを介して行われる。この測定により、終点速度または他の値を決定することが可能になり、この値から、生体液体中の分析物または他の成分の量が、よく知られている技法を用いて決定される。
【0007】
しかし、検体中に、患者の状態または試料処理の結果として生じ得る干渉物質が存在すると（たとえば、溶血、黄疸、および／または脂肪血）、１つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響が及び得る。たとえば、患者の病状と関連がない溶血（Ｈ）が検体中に存在すると、患者の病状についての異なる解釈が生じ得る。さらに、検体中に黄疸（Ｉ）および／または脂肪血（Ｌ）が存在しても、患者の病状についての異なる解釈が生じ得る。
【0008】
システムによっては、熟練した試験所技師が、検体の血清または血漿部分の完全性を目視で検査して、正常である（Ｎ）、またはある程度のＨ、Ｉ、および／またはＬがあると鑑定する場合がある（たとえば、ある指数を割り当てることによって）。これには、血清または血漿部分の色を既知の標準と対照して評価することが伴う。しかし、このような手動目視検査は非常に主観的であり、労働集約的であり、かつ人的エラーをはらんでいる。
【0009】
手動検査には問題があるので、試験所技師による目視検査を用いるのではなく、自動マシンビジョン検査装置を使用することによって検体完全性を評価するための取り組みが行われてきており、このような評価は分析前試験（以下「予備検査」）中に行われる。予備検査には、（たとえば、遠心分離による）分画によって全血から得られた血清または血漿部分中のＨ、Ｉ、および／またはＬなどの干渉物質の自動検出が含まれる。
【0010】
しかし、場合によっては、１つまたはそれ以上の上述のバーコードラベルが検体容器に直接貼り付けられることがある。このようなラベルは、検体に対する特定の横方向の視点を部分的に遮り、覆い隠すことがあり、そのため、血清または血漿部分を目視で確認するためのはっきり見える条件がもたらされない、いくつかの方向があり得る。したがって、このような予備検査の自動化には、たとえば、Ｈ、Ｉ、および／もしくはＬ、またはＮの自動予備検査を可能にするように検体を回転可能に向けることが含まれていた（たとえば、特許文献１参照）。別のシステムでは、検体容器および検体は、複数の視点から撮像され、またモデルベースのシステムによって処理されるので、検体容器を回転させる必要がない（たとえば、特許文献２参照）。
【0011】
場合によっては、血清または血漿部分のうちの小部分しか見えないことがあるので、血清または血漿部分について取得されたいずれのＨ、Ｉ、および／もしくはＬ、またはＮの読取値も、高いレベルの信頼度を伴わないことがある。さらに、このようなシステムは複雑であり、また画像データの処理が計算的に負担になり得る。
【先行技術文献】
【特許文献】
【0012】
【文献】米国特許第９，３２２，７６１号
【文献】ＷＯ２０１６／１３３，９００
【発明の概要】
【発明が解決しようとする課題】
【0013】
したがって、溶血（Ｈ）、黄疸（Ｉ）、および／または脂肪血（Ｌ）の存在および程度、または検体の血清もしくは血漿部分が正常（Ｎ）であるかどうかを決定するために、検体の血清または血漿部分を特徴付ける頑健で効果的な方法および装置に対する満たされていない要望がある。より具体的には、検体がＨ、Ｉ、および／またはＬを含むかどうか、またどの程度含むか、あるいは正常（Ｎ）であるかどうかを決定するための改善された方法および装置に対する満たされていない要望がある。
【課題を解決するための手段】
【0014】
第１の態様によれば、検体容器を特徴付ける方法が提供される。この方法は、検体の血清または血漿部分を含む検体容器の画像を画像取り込みデバイスによって取り込むことを含む。この方法はまた、コンピュータ上で実行する、いくつかの実施形態では１００個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定することを含む。この方法はさらに、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することを含み、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む。
【0015】
別の態様によれば、品質検査モジュールが提供される。この品質検査モジュールは、１つまたはそれ以上の視点から、検体の血清または血漿部分を含む検体容器の１つまたはそれ以上の画像を取り込むように動作する複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。コンピュータは、コンピュータ上で実行する、いくつかの実施形態では１００個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の１つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように構成され動作する。コンピュータはまた、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む。
【0016】
別の態様では、検体試験装置が提供される。検体試験装置は、軌道と、軌道上で可動であるキャリアと、軌道のまわりに配置された複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。キャリアは、検体の血清または血漿部分を含む検体容器を含むように構成され、複数の画像取り込みデバイスは、１つまたはそれ以上の視点から、検体容器および検体の血清または血漿部分の１つまたはそれ以上の画像を取り込むように動作する。コンピュータは、コンピュータ上で実行する、いくつかの実施形態では１００個を超える層を含むディープセマンティックセグメンテーションネットワークを使用して検体容器の１つまたはそれ以上の画像の画素データを処理し、それにより血清または血漿部分の分類指標を決定するように構成され動作する。コンピュータはまた、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力するように構成され動作し、分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む。
【0017】
本開示のさらに他の態様、機能、および利点は、本発明を実施するための想起されるベストモードを含むいくつかの例示的な実施形態および実施態様を示すことによって、以下の説明から容易に明らかになろう。本開示はまた、他の別の実施形態の余地があり、そのいくつかの細目は様々な点で修正され、すべてが本発明の範囲から逸脱することがない。本開示は、添付の特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものである（以下をさらに参照されたい）。
【0018】
下記の図面は、例示を目的とし、必ずしも原寸に比例しない。したがって、図面および説明は、限定的ではなく、本質的に説明的なものとみなされるべきである。図面は、本発明の範囲を何ら限定するものではない。
【図面の簡単な説明】
【0019】
【図1】１つまたはそれ以上の実施形態によるＨＩＬＮ検出方法を実行するように構成された、１つまたはそれ以上の品質検査モジュールを含む検体試験装置の概略上面図である。
【図2】干渉物質を含む血清または血漿部分がある分離された検体を含む検体容器の側面図であり、検体容器はその上にラベルを含む。
【図3】図３Ａは、ラベルと、干渉物質を含む血清または血漿部分がある分離された検体と、ゲルセパレータとを中に含む検体容器の側面図である。図３Ｂは、垂直の向きでホルダに保持された、図３Ａの検体容器の側面図である。
【図4】図４Ａは、１つまたはそれ以上の実施形態による、複数の視点を含み、干渉物質の存在および程度の決定を可能にするために複数の背面照射画像を取り込み分析するように構成された、品質検査モジュールの概略上面図である（最上部が取り外されている）。図４Ｂは、１つまたはそれ以上の実施形態による、図４Ａの断面線４Ｂ～４Ｂに沿った、図４Ａの品質検査モジュールの概略側面図である（前面の筐体壁が取り外されている）。
【図5】１つまたはそれ以上の実施形態による、検体容器中の検体の血清または血漿部分の干渉物質分類指標を出力するように動作可能な、セグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）を含む品質検査モジュールの機能構成要素のブロック図である。
【図8】１つまたはそれ以上の実施形態による、検体容器を特徴付ける方法のフローチャートである。
【発明を実施するための形態】
【0020】
以下でさらに説明される品質検査モジュールなどにおいて、検体容器に含まれる検体の予備検査中に検体の血清または血漿部分中の干渉物質の存在および程度を決定する方法が、諸実施形態によって提供される。血清または血漿部分は、血液の液体成分であり得、（たとえば、遠心分離による）分画後の沈降血液部分の上に見出される。沈降血液部分は、白血球細胞（白血球）、赤血球細胞（赤血球）、および血小板（血小板）などの血液細胞で構成された濃縮半固体であり得る。血漿と血清は互いに、主としてフィブリノゲンである凝固成分の含有率が異なり得る。血漿は非凝固液体であり得るのに対し、血清は、内在性酵素または外来性成分の影響下で凝固させた血漿を指すことがある。
【0021】
本明細書で用いられる、Ｈ、Ｉ、および／もしくはＬなどの干渉物質、または正常（Ｎ）の決定（以下「ＨＩＬＮ」）とは、検体の血清または血漿部分に溶血（Ｈ）、黄疸（Ｉ）、または脂肪血（Ｌ）のうちの少なくとも１つが存在することを指す。「Ｎ」は「正常」を指し、容認できるほどに少量のＨ、Ｉ、およびＬを含む血清または血漿部分として定義される。溶血は、赤血球細胞が処理中に破壊される血清または血漿部分の１つの状態として定義され、赤血球細胞から血清または血漿部分へのヘモグロビンの放出につながり、血清または血漿部分は赤い色調をおびるようになる。溶血の程度は、溶血指数を割り当てることによって定量化される。黄疸は、胆汁色素（ビリルビン）の蓄積によって引き起こされる、血清または血漿部分が暗黄色に変色する血液の状態として定義される。黄疸の程度は、黄疸指数を割り当てることによって定量化される。脂肪血は、血液中に異常に高い濃度の乳化脂肪が存在することとして定義され、血清または血漿部分は白っぽく、または乳白色に見えるようになる。脂肪血の程度は、脂肪血症指数を割り当てることによって定量化される。
【0022】
諸実施形態による方法では、まさしくＨＩＬＮを、またはＨの程度またはサブクラス（たとえば、一部の実施形態ではＨ０～Ｈ６、他の実施形態ではそれより多いか少ない）、Ｉの程度またはサブクラス（たとえば、一部の実施形態ではＩ０～Ｉ６、他の実施形態ではそれより多いか少ない）、および／またはＬの程度またはサブクラス（たとえば、一部の実施形態ではＬ０～Ｌ４、他の実施形態ではそれより多いか少ない）を決定することができる。実施形態によっては、この方法は、遠心分離されていない検体の血清または血漿部分に対する非遠心分離（Ｕ）クラスを含むことがある。加えて、この方法では、血清または血漿部分、沈降血液部分、ゲルセパレータ（使用される場合）、空気、ラベルなどの検体容器および検体の様々な領域、検体容器のタイプ（たとえば、高さおよび幅／直径を示す）、ならびに／または検体容器キャップのタイプおよび／もしくは色などを分類（または「セグメント化」）することができる。検体容器ホルダまたは背景もまた分類される。血清および血漿部分を検体容器上の１つまたはそれ以上のラベルを含む領域から区別することは、１つまたはそれ以上のラベルが検体容器に様々な程度に巻き付き得るので、特に厄介な問題である。したがって、１つまたはそれ以上のラベルは１つまたはそれ以上の視界を覆い隠すことがあり、それにより、血清または血漿部分の明瞭な視界を得るのが困難になることがある。
【0023】
したがって、血清または血漿部分の分類は、配置が実質的に検体容器ごとに異なり得る１つまたはそれ以上のラベルによる干渉の故に、難題であり得る。特に、１つまたはそれ以上のラベルが裏面に現れ、したがって、前面で受けられる光伝達に影響を及ぼし得ることを考えると、１つまたはそれ以上のラベルによって生じる障害は、様々な視点などからのスペクトル応答に重大な影響を及ぼすおそれがある。
【0024】
さらに、自動診断分析システムの品質検査モジュール、およびそこで実施される関連する特徴付け法は、計算的に効率的でなければならない。したがって、上述の難題を前提として、第１の広範な態様において、本開示の諸実施形態は、ディープセマンティックセグメンテーションネットワーク（ＤＳＳＮ）を含むセグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）を使用して、ＨＩＬＮの存在および程度を決定するように構成された方法および装置を提供し、ＤＳＳＮは、２０個を超える血清分類を有する分類ネットワークを出力する。ＤＳＳＮは、いくつかの実施形態では、以下でさらに説明する１００個を超える動作層を含み得る。ＳＣＮＮはまた、容器タイプおよび容器境界を決定するためにフロントエンド容器セグメンテーションネットワーク（ＣＳＮ）を含み得る。この決定された容器情報は次に、以下でさらに説明するように、追加の入力チャネルを介してＤＳＳＮに入力される。
【0025】
いくつかの実施形態では、ＳＣＮＮへの入力はマルチスペクトル、多重露光の画像データとすることができ、この画像データは、整理統合および正規化され、複数の画像取り込みデバイスから得られる。画像取り込みデバイスは、分析のための画素化画像（たとえば、デジタル画像）を取り込むことができる、デジタルカメラ、ＣＣＤ（電荷結合デバイス）、１つまたはそれ以上のＣＭＯＳ（相補型金属酸化膜半導体）センサ、センサのアレイなどの任意のデバイスとすることができる。複数の画像取り込みデバイスは、複数の視点（たとえば、３つの視点；他の数の視点も可能である）からの画像を取り込むように配置および構成される。本明細書に記載の方法では、ＳＣＮＮへの入力としての検体容器および血清または血漿部分の高ダイナミックレンジ（ＨＤＲ）画像処理を用いることができる。ＨＤＲ撮像は、多重スペクトル照明を使用しながら多数のコマを取り込むことを含み得る。いくつかの実施形態では、ＳＣＮＮは、検体容器上の１つまたはそれ以上のラベルによって遮られた領域を認識するように訓練され、そのためＳＣＮＮは、ＨＩＬＮを特徴付けるに際し、検体容器の裏面にラベルが存在することをどの視点からもより適切に明らかにすることができる。
【0026】
その結果、ラベル障害物が存在する場合における血清または血漿領域のより効果的な分類が利用可能になり、ラベルによって遮られている血清または血漿部分のこれらの領域についての強度読取値の信頼度が改善される。したがって、ＨＩＬＮおよび／またはＨＩＬの程度についての改善された決定がＤＳＳＮから出力される。
【0027】
検体は、血液採取管などの検体容器に集められ、分画（たとえば、遠心分離による分離）の後に、沈降血液部分と血清および血漿部分とを含み得る。いくつかの検体容器では、ゲルセパレータが使用され、これは遠心分離中に、沈降血液部分と血清または血漿部分との間に位置が定まる。ゲルセパレータは、２つの部分（液体と半固体、沈降血液細胞）の間の物理的なバリアとして機能し、再混合を最小限にすることができる。検体容器は、様々なサイズとすることができ、したがって、いくつかの異なる構成の予備検査および分析器に供給される。たとえば、検体容器は、１３ｍｍ×７５ｍｍ、１３ｍｍ×１００ｍｍ、１６ｍｍ×１００ｍｍ、および１６ｍｍ×１２５ｍｍなどのサイズを有し得る。他の適切なサイズも使用される。
【0028】
１つの態様によれば、特徴付け方法は、品質検査モジュールによって、検体試験システムにおいて実行され、それぞれがＳＣＮＮを含む。ＳＣＮＮは、血清または血漿部分およびラベル包含領域の単純なエッジ、テクスチャおよび各部分などの特徴を抽出するための、たとえば、ＢａｔｃｈＮｏｒｍ層、ＲｅＬＵ起動層、畳み込み（たとえば、２Ｄ）層、ドロップアウト層、および逆畳み込み（たとえば、２Ｄ）層を含む、動作層を含むことができる。完全畳み込み層などの最上層は、部分間の相関性を提供するために使用される。この層の出力はＳｏｆｔＭａｘ層に供給され、この層では、画素ごと（または、ｎ×ｎ画素を含むパッチごと）ベースで、それぞれの画素またはパッチがＨＩＬＮを含むかどうかに関して出力を生成する。いくつかの実施形態では、ＨＩＬＮの出力だけがＳＣＮＮから提供される。別の実施形態では、ＳＣＮＮの出力は、ＨＩＬＮの血清クラスが２０個を超える、きめ細かなＨＩＬＮとすることができ、それにより、存在する干渉物質ごとに干渉物質のレベル（指数）の推定値もまた得られる。
【0029】
検体がＨ、Ｉ、およびＬのうちの１つまたはそれ以上を含むことが判明したならば、適切な通知が操作員にもたらされ、かつ／またはその検体容器がラインから取り除かれて、（１）Ｈ、Ｉ、またはＬのうちの１つまたはそれ以上を矯正するための改善が行われる、（２）検体が再抽出される、または（３）他の処置が行われる。したがって、遠心分離後の最初の可能な場合に、および１つまたはそれ以上の分析器による分析の前などに、ＨＩＬＮの予備検査ができることにより、有利には、（ａ）分析には不適正な品質の検体を分析して浪費される時間が最小になり、（ｂ）試験結果の誤りを回避するか最小限にすることができ、（ｃ）患者の試験結果遅延を最小にすることができ、かつ／または（ｄ）患者の検体の浪費を回避することができる。
【0030】
いくつかの実施形態では、セグメンテーション出力とＨＩＬＮ出力の組み合わせが提供される。これらの出力は、ＳＣＮＮの多数の分岐からもたらされ得る。これらの分岐は、別個の畳み込み層ならびに逆畳み込みおよびＳｏｆｔＭａｘ層を含むことができ、１つの分岐がセグメンテーション（たとえば、ＣＳＮ）検出専用に、他（たとえば、ＤＳＳＮ）がＨＩＬＮ検出専用にされる。ＨＩＬＮ検出、セグメンテーション検出、検体容器タイプ検出、および／またはキャップタイプ検出を含む、多分岐実施形態もまた提供される。
【0031】
発明の特徴付け方法、特徴付け方法を実行するように構成された品質検査モジュール、および１つまたはそれ以上の品質検査モジュールを含む検体試験装置のさらなる詳細について、図１～図８を参照して本明細書でさらに説明する。
【0032】
図１は、検体２１２を含む多数の検体容器１０２を自動的に処理することができる検体試験装置１００を示す（たとえば、図２～図３Ｂも参照されたい）。検体容器１０２は、検体試験装置１００のまわりに配置された１つまたはそれ以上の分析器（たとえば、第１の分析器１０６、第２の分析器１０８、および／または第３の分析器１１０）への輸送およびこれらの分析器による分析の前に、装填領域１０５において１つまたはそれ以上のラック１０４内に提供される。これより多いまたは少ない数の分析器を使用することもできる。分析器は、臨床化学分析器および／または検査計器などの任意の組み合わせとすることができる。検体容器１０２は、検体２１２を含むことができる、かつ中に含まれる検体２１２の撮像を可能にする任意の適切に透明な、または半透明な、血液採取管、試験管、試料カップ、キュベット、または他の透明または不透明なガラスまたはプラスチック容器などの容器とすることができる。検体容器１０２は、サイズが多様である。
【0033】
検体２１２（図２～図３Ｂ）は、検体容器１０２に入れて検体試験装置１００に提供され、検体容器にはキャップ２１４で蓋がされる。キャップ２１４は、様々なタイプおよび／または色（たとえば、赤、藤紫、薄青、緑、灰、黄褐色、黄、または色組み合わせ）とすることができ、これらのタイプおよび色は、どの試験に検体容器１０２が使用されるか、容器に含まれる添加剤のタイプ、容器がゲルセパレータを含むかどうか、などに関する意味を有し得る。他の色も使用される。１つの実施形態では、キャップタイプは、本明細書に記載の特徴付け方法によって決定される。
【0034】
検体容器１０２のそれぞれはラベル２１８を備え、このラベルは、バーコード、アルファベット、数字、またはこれらの組み合わせなどの識別情報２１８ｉ（すなわち、印）を含むことができる。識別情報２１８ｉは、検体試験装置１００のまわりの様々な場所において機械可読とすることができる。機械可読情報は、ラベル材料（たとえば、白い紙）よりも暗く（たとえば、黒に）することができるので、容易に撮像される。識別情報２１８ｉは、ラボラトリ情報システム（ＬＩＳ）１４７を介して、患者の識別情報ならびに検体２１２に実施予定の試験を表示すること、または別の方法でこれらと関連付けることができる。識別情報２１８ｉは、他の、または追加の情報を示すことができる。このような識別情報２１８ｉは、ラベル２１８上に提供され、このラベルは、管２１５の外面に貼り付けられるか、別の方法で設けられる。図２に示されるように、ラベル２１８は、検体容器１０２のまわり全部にも検体容器１０２の全長に沿っても延びることができず、それにより、図示の特定の前方視点からは血清または血漿部分２１２ＳＰの大部分が見え（点で示された部分）、ラベル２１８によって妨げられない。
【0035】
しかし、いくつかの実施形態では、複数のラベル２１８が設けられており（たとえば、検体容器１０２を取り扱った複数の施設などから）、これらのラベルは、ある程度互いに重なり合うことがある。たとえば、２つのラベル（たとえば、製造者のラベルおよびバーコードラベル）が設けられ、重なり合っていることがあり、１つまたはそれ以上の視点の一部または全部を遮る（妨げる）ことがある。
【0036】
したがって、いくつかの実施形態では、ラベル２１８が検体２１２の部分をいくらか遮ることがあるが（遮蔽部分）、検体２１２ならびに血清および血漿部分２１２ＳＰの部分のいくらかは、少なくとも１つの視点からは依然として見えることがある（非遮蔽部分）ことを理解されたい。したがって、本開示の別の態様によれば、特徴付け方法を実行するように構成されたＳＣＮＮの実施形態は、遮蔽部分および非遮蔽部分を認識するように訓練され、それにより、改善されたＨＩＬＮ検出がもたらされる。
【0037】
再び図２を参照すると、検体２１２は、管２１５内に含まれた血清または血漿部分２１２ＳＰおよび沈降血液部分２１２ＳＢを含み得る。空気２１６が血清および血漿部分２１２ＳＰの上に提供され、これらの間の区切り線が、液体－空気境界面（ＬＡ）として定義される。血清または血漿部分２１２ＳＰと沈降血液部分２１２ＳＢの間の区切り線は、血清－血液境界面（ＳＢ）として定義される。空気２１６とキャップ２１４の間の境界面は、管－キャップ境界面（ＴＣ）として定義される。管の高さ（ＨＴ）は、管２１５の最下部からキャップ２１４の下部までの高さとして定義され、管サイズを定めるために用いられる。血清または血漿部分２１２ＳＰの高さは（ＨＳＰ）であり、血清または血漿部分２１２ＳＰの最上部から沈降血液部分２１２ＳＢの最上部までの高さとして定義される。沈降血液部分２１２ＳＢの高さは（ＨＳＢ）であり、沈降血液部分２１２ＳＢの下部からＳＢの沈降血液部分２１２ＳＢの最上部までの高さとして定義される。ＨＴＯＴは検体２１２の全高であり、ＨＳＰプラスＨＳＢに等しい。
【0038】
ゲルセパレータ３１３が使用される場合（図３Ａ）、血清または血漿部分２１２ＳＰの高さは（ＨＳＰ）であり、ＬＡの血清または血漿部分２１２ＳＰの最上部からＳＧのゲルセパレータ３１３の最上部までの高さとして定義され、ＳＧは、血清または血漿部分２１２ＳＰとゲルセパレータ３１３の間の境界面である。沈降血液部分２１２ＳＢの高さは（ＨＳＢ）であり、沈降血液部分２１２ＳＢの下部からＢＧのゲルセパレータ３１３の下部までの高さとして定義され、ＢＧは、沈降血液部分２１２ＳＢとゲルセパレータ３１３の間の境界面である。ＨＴＯＴは、検体２１２の全高であり、ＨＳＰプラスＨＳＢにゲルセパレータ３１３の高さを加えたものに等しい。それぞれの場合で、Ｔｗは壁厚であり、Ｗは外幅であり、検体容器１０２のサイズを定めるためにも用いられ、Ｗｉは検体容器１０２の内幅である。
【0039】
より詳細には、検体試験装置１００は、ベース１２０（図１）（たとえば、フレーム、床、または他の構造体）を含むことができ、その上に軌道１２１が取り付けられる。軌道１２１は、レール敷軌道（たとえば、単レールまたは複レール）、コンベヤベルトを集めたもの、コンベヤチェーン、可動プラットフォーム、または他の任意の適切なタイプの搬送機構とすることができる。軌道１２１は、環状または他の任意の形状とすることができ、いくつかの実施形態では、閉軌道（たとえば、無限軌道）とすることができる。軌道１２１は、動作中、検体容器１０２の個々のものを、軌道１２１のまわりの間隔をあけた様々な場所まで、キャリア１２２に入れて輸送することができる。
【0040】
キャリア１２２は、軌道１２１上で単一の検体容器１０２を搬送するように構成されている受動的な、モータのないパックとするか、場合により、軌道１２１を回り、あらかじめプログラムされた場所で停止するようにプログラムされているリニアモータなどの搭載駆動モータを含む自動キャリアとすることができる。キャリア１２２の別の構成も使用される。キャリア１２２はそれぞれ、規定された垂直の位置および向きに検体容器１０２を保持するように構成されたホルダ１２２Ｈ（図３Ｂ）を含み得る。ホルダ１２２Ｈは、検体容器１０２をキャリア１２２上に固定する複数のフィンガまたは板ばねを含み得るが、その一部は、異なるサイズの検体容器１０２を収容するために可動または可撓とすることができる。いくつかの実施形態では、キャリア１２２は、１つまたはそれ以上のラック１０４から取り出された後に装填領域１０５から出ることができる。装填領域１０５は、予備検査および／または分析が完了した後にキャリア１２２から装填領域１０５への検体容器１０２の再装填を可能にもするという二重機能の役割を果たし得る。
【0041】
ロボット１２４が装填領域１０５に設けられており、１つまたはそれ以上のラック１０４から検体容器１０２をつかみ取り、その検体容器１０２を軌道１２１の入力レーンの上などのキャリア１２２の上に装填するように構成されている。ロボット１２４はまた、検体容器１０２をキャリア１２２から１つまたはそれ以上のラック１０４へ再装填するようにも構成されている。ロボット１２４は、Ｘ（横方向）およびＺ（垂直－図示のページから外へ）、ＹおよびＺ、Ｘ、Ｙ、ならびにＺ、またはｒ（径方向）およびθ（回転）の運動ができる、１つまたはそれ以上の（たとえば、少なくとも２つの）ロボットアームまたは構成要素を含み得る。ロボット１２４は、ガントリロボット、関節ロボット、Ｒ－θロボット、または他の適切なロボットとすることができ、検体容器１０２を取り上げ、配置するように向けられ寸法設定され構成されたロボットグリッパフィンガを装備する。
【0042】
軌道１２１の上に装填されたとき、キャリア１２２によって搬送される検体容器１０２は、第１の前処理ステーション１２５へと進むことができる。たとえば、第１の前処理ステーション１２５は、検体２１２の分画を行うように構成された自動遠心分離機とすることができる。検体容器１０２を搬送するキャリア１２２は、流入レーンまたは他の適切なロボットによって、第１の前処理ステーション１２５へ進路が変えられる。遠心分離された後、検体容器１０２は流出レーンへ退出することができ、または別法としてロボットによって取り出され、軌道１２１をたどって先へ進む。図示の実施形態では、キャリア１２２内の検体容器１０２は次に、図４Ａ～図８を参照して本明細書でさらに説明するように、品質検査モジュール１３０まで輸送されて予備検査が行われる。
【0043】
品質検査モジュール１３０は、予備検査、および本明細書に記載の特徴付け方法を実行するように構成され、かつ、検体２１２に含まれるＨ、Ｉ、および／またはＬの存在、ならびにその範囲もしくは程度を、または検体が正常（Ｎ）であるかどうかを自動的に決定するように構成されている。正常（Ｎ）と考えられるほどに全く少量のＨ、Ｉおよび／またはＬが含まれていることが判明した場合には、検体２１２は軌道１２１上を先へ進むことができ、次に、１つまたはそれ以上の分析器（たとえば、第１、第２、および／または第３の分析器１０６、１０８、および／または１１０）によって分析される。その後、検体容器１０２は、１つまたはそれ以上のラック１０４に再装填するために、装填領域１０５まで戻される。
【0044】
いくつかの実施形態では、ＨＩＬＮの検出に加えて、検体容器１０２および検体２１２のセグメンテーションが行われ得る。セグメンテーションデータから、後処理が検体２１２の定量化（すなわち、ＨＳＰ、ＨＳＢ、ＨＴＯＴの決定、ならびにＳＢまたはＳＧ、およびＬＡの位置の決定）のために用いられる。いくつかの実施形態では、検体容器１０２の物理的属性（たとえば、サイズ－高さおよび幅／直径）の特徴付けが、品質検査モジュール１３０において行われ得る。このような特徴付けには、ＨＴおよびＷ、ならびに場合によりＴＣ、および／またはＷｉを決定することが含まれ得る。この特徴付けから、検体容器１０２のサイズが得られる。さらに、いくつかの実施形態では、品質検査モジュール１３０はまたキャップタイプを判別することもでき、この判別は安全検査として用いられ、オーダされた試験に間違った管タイプが使用されたかどうかを把握することができる。
【0045】
いくつかの実施形態では、軌道１２１に直接結合されていない遠隔ステーション１３２が検体試験装置１００に設けられる。たとえば、独立したロボット１３３（点で示す）が、検体２１２を含む検体容器１０２を遠隔ステーション１３２まで搬送し、試験／前処理の後に戻すことができる。場合により、検体容器１０２は手動で取り出され、戻される。遠隔ステーション１３２は、溶血レベルなどの特定の成分の試験のために使用され、あるいは、１つまたはそれ以上の添加物および／または追加の処理によって、脂肪血レベルを下げたり、たとえば血塊、気泡または泡を取り除いたりするなどの別の処理のために使用される。本明細書に記載のＨＩＬＮ検出方法を用いる他の予備検査も、遠隔ステーション１３２において遂行される。
【0046】
追加ステーションが、軌道１２１上またはこれに沿った１つまたはそれ以上の位置に設けられる。追加ステーションには、キャップ除去ステーション、アリコートステーション、１つまたはそれ以上の追加の品質検査モジュール１３０などが含まれ得る。
【0047】
検体試験装置１００は、軌道１２１のまわりの１つまたはそれ以上の位置に、いくつかのセンサ１１６を含み得る。センサ１１６は、識別情報２１８ｉ、または各キャリア１２２に提供される同様の情報（図示せず）を読み取ることによって軌道１２１上の検体容器１０２の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段が使用される。センサ１１６のすべてがコンピュータ１４３とインターフェースすることができるので、各検体容器１０２の位置が常に分かる。
【0048】
前処理ステーションならびに分析器１０６、１０８、および１１０は、キャリア１２２を軌道１２１から取り出すように構成されたロボット機構および／または流入レーンと、キャリア１２２を軌道１２１へ再び入れるように構成されたロボット機構および／または流出レーンとを装備する。
【0049】
検体試験装置１００は、コンピュータ１４３によって制御され、このコンピュータは、適切なメモリと、様々なシステム構成要素を動作させるための適切なコンディショニング電子回路およびドライバを有するマイクロプロセッサベースの中央処理ユニットＣＰＵとすることができる。コンピュータ１４３は、検体試験装置１００のベース１２０の一部として、またはそれとは別に収容される。コンピュータ１４３は、キャリア１２２の、装填領域１０５へ行き来する動き、軌道１２１のまわりの動き、第１の前処理ステーション１２５へ行き来する動き、ならびに第１の前処理ステーション１２５（たとえば、遠心分離機）の動作と、品質検査モジュール１３０へ行き来する動き、ならびに品質検査モジュール１３０の動作と、各分析器１０６、１０８、１１０へ行き来する動き、ならびに様々なタイプの試験（たとえば、検査または臨床化学）を行うための各分析器１０６、１０８、１１０の動作とを制御するように動作することができる。
【0050】
品質検査モジュール１３０以外のすべてについて、コンピュータ１４３は検体試験装置１００を、ニューヨーク州ＴａｒｒｙｔｏｗｎのＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ．から販売されているＤｉｍｅｎｓｉｏｎ（登録商標）臨床化学分析器に使用されているものなどの、ソフトウェア、ファームウェア、および／またはハードウェアコマンドもしくは回路によって制御することができ、このような制御は、コンピュータベースの電気機械制御プログラミングの当業者には一般的なものであり、本明細書ではこれ以上の説明をしない。しかし、検体試験装置１００を制御するための他の適切なシステムも使用される。品質検査モジュール１３０の制御はまた、本明細書に詳細に記載されている本発明の特徴付け方法による他に、コンピュータ１４３によっても提供される。
【0051】
画像処理のために、かつ本明細書に記載の特徴付け方法を実行するために使用されるコンピュータ１４３は、ＣＰＵまたはＧＰＵ、十分な処理能力およびＲＡＭ、ならびに適切な記憶容量を含み得る。１つの例では、コンピュータ１４３は、１つまたはそれ以上のＧＰＵ、８ＧＢ ＲＡＭ以上、およびテラバイト以上の記憶容量を備えたマルチプロセッサ装備のＰＣとすることができる。別の例では、コンピュータ１４３は、ＧＰＵ装備のＰＣ、または場合により、並列モードで動作させるＣＰＵ装備のＰＣとすることができる。ＭＫＬが同様に使用され、８ＧＢ ＲＡＭ以上、および適切な記憶容量。
【0052】
本開示の諸実施形態は、ユーザが様々な制御画面および状態表示画面に容易かつ迅速にアクセスできるようにするコンピュータインターフェースモジュール（ＣＩＭ）１４５を使用して実現される。これらの制御画面および状態表示画面は、検体２１２の調製および分析のために使用される複数の相互関連自動デバイスの、一部または全部の態様の制御を表示し有効にすることができる。ＣＩＭ １４５は、複数の相互関連自動デバイスの動作状態についての情報、ならびにいずれかの検体２１２の位置、さらには検体２１２に実施予定の、または実施されている試験の状態を表す情報を提供するために使用される。ＣＩＭ １４５はこのように、操作員と検体試験装置１００の間の対話を容易にするように適用されている。ＣＩＭ １４５は、アイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように機能する表示画面を含むことができ、この画面を通して操作員は、検体試験装置１００とインターフェースすることができる。メニューは、検体試験装置１００の機能的態様を表示および／または動作させるようにプログラムされた、いくつかの機能要素を含み得る。
【0053】
図４Ａおよび図４Ｂは、本明細書に図示および記述された特徴付け方法を実行するように構成された品質検査モジュール１３０の第１の実施形態を示す。品質検査モジュール１３０は、１つまたはそれ以上の分析器１０６、１０８、１１０による分析の前に検体２１２中の（たとえば、その血清または血漿部分２１２ＳＰ中の）干渉物質（たとえば、Ｈ、Ｉ、および／またはＬ）の存在および程度の予備検査をするように構成される。このように予備検査をすることにより、追加の処理、追加の定量化もしくは特徴付け、ならびに／または検体２１２の廃棄および／もしくは再抽出が、貴重な分析器資源を浪費することなく、あるいは、場合により干渉物質が存在することが試験結果の信憑性に影響を及ぼすことなく、可能になる。
【0054】
本明細書に記載の干渉物質検出方法に加えて、他の検出方法が、検体容器１０２に含まれる検体２１２について品質検査モジュール１３０で行われ得る。たとえば、ＣＳＮからの出力としてセグメンテーションを提供する方法が、品質検査モジュール１３０で実行される。セグメンテーションデータは、検体２１２を定量化するために、すなわち、検体２１２の特定の物理的寸法特性を決定するために（たとえば、ＬＡおよびＳＢ、ならびに／またはＨＳＰ、ＨＳＢ、および／もしくはＨＴＯＴの決定）、後処理ステップで使用される。定量化にはまた、たとえば血清または血漿部分の量（ＶＳＰ）および／または沈降血液部分の量（ＶＳＢ）を推定することが伴い得る。定量化可能な他の幾何学的特徴もまた決定される。
【0055】
さらに、品質検査モジュール１３０は、検体容器１０２の幾何学的形状を定量化するために、すなわち、検体容器１０２のＴＣ、ＨＴ、および／またはＷもしくはＷｉの位置などの、検体容器１０２の特定の物理的寸法特性を定量化するために使用される。
【0056】
図１、図４Ａおよび図４Ｂを参照すると、品質検査モジュール１３０は複数の画像取り込みデバイス４４０Ａ～４４０Ｃを含み得る。３つの画像取り込みデバイス４４０Ａ～４４０Ｃが図示されており好ましいが、場合により２つが、または４つ以上が使用される。画像取り込みデバイス４４０Ａ～４４０Ｃは、画素化画像を取り込むことができる従来のデジタルカメラ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、１つまたはそれ以上のＣＭＯＳセンサなどの、適切に画成されたデジタル画像を取り込むための任意の適切なデバイスとすることができる。たとえば、３つの画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃが図４Ａに示されており、これらは、３つの異なる横方向視点（１、２、および３と標示された視点）から画像を取り込むように構成されている。取り込まれる画像サイズは、たとえば約２５６０×６９４画素であり得る。別の実施形態では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、たとえば約１２８０×３８７画素であり得る画像サイズを取り込むことができる。他の画像サイズおよび画素密度も使用される。
【0057】
画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃのそれぞれは、検体容器１０２の少なくとも一部分および検体２１２の少なくとも一部分の横方向画像を取り込むように構成され動作可能である。たとえば、画像取り込みデバイス４４０Ａ～４４０Ｃは、ラベル２１８の一部、および血清または血漿部分２１２ＳＰの一部または全部を取り込むことができる。場合によっては、たとえば、視点１～３の一部がラベル２１８によって部分的に遮られる。いくつかの実施形態では、視点１～３のうちの１つまたはそれ以上が完全に遮られ、すなわち、血清または血漿部分２１２ＳＰが明瞭に見える可能性がないことがある。しかし、視点１～３の側面（前側または後側）が１つまたはそれ以上のラベル２１８によって完全に遮られている場合でも、特徴付け方法ではなお、１つまたはそれ以上の遮るラベル２１８を介して血清または血漿部分２１２ＳＰの境界を区別することが可能であり得る。
【0058】
図示の実施形態では、複数の画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、撮像位置４３２の検体容器１０２および検体２１２の横方向画像を複数の視点１～３から取り込むように構成される。視点１～３は、図示のように互いから約１２０°などのほぼ等しい間隔が互いに置かれるように配置される。図示のように、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、軌道１２１のまわりに配置される。複数の画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃの他の配置も用いられる。このようにして、検体容器１０２中の検体２１２の画像が、検体容器１０２が撮像位置４３２でキャリア１２２中にある間に取得される。画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃによって得られる複数の画像の視野は、周方向の範囲でわずかに重なり合い得る。
【0059】
１つまたはそれ以上の実施形態では、キャリア１２２は、撮像位置４３２などの、品質検査モジュール１３０の所定の位置で、すなわち、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃのそれぞれからの法線ベクトルが互いに交差する点などで、停止される。キャリア１２２のゲートまたはリニアモータが、撮像位置４３２でキャリア１２２を停止させるために設けられ、それにより、複数の高品質画像がその位置で取り込まれる。品質検査モジュール１３０にゲートがある実施形態では、１つまたはそれ以上の（センサ１１６のような）センサが、品質検査モジュール１３０にキャリア１２２が存在することを決定するために使用される。
【0060】
画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、撮像位置４３２に近接して設けられ、その位置で画像ウィンドウを取り込むように訓練されるか焦点が合わされ、ここで、この画像ウィンドウは、検体容器１０２の予測位置を含む領域である。したがって、検体容器１０２は、いくつかの実施形態ではビューウィンドウのほぼ中心に位置するように停止される。取り込まれた画像中に、１つまたはそれ以上の参照データが存在する。
【0061】
品質検査モジュール１３０の動作中、コンピュータ１４３から送出される、通信ライン４４３Ａ、４４３Ｂ、４４３Ｃに提供されたトリガ信号に応答して各画像がトリガされ取り込まれる。取り込まれた画像のそれぞれが、１つまたはそれ以上の実施形態によれば、コンピュータ１４３によって処理される。１つの特に効果的な方法では、高ダイナミックレンジ（ＨＤＲ）処理が使用されて、取り込まれた画像から画像データを取り込まれ処理される。より詳細には、検体２１２の複数の画像が、１つまたはそれ以上の異なるスペクトルで順次に照明されながら、複数の異なる露光量で（たとえば、異なる露光時間で）品質検査モジュール１３０において取り込まれる。たとえば、各画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、血清または血漿部分２１２ＳＰを含む検体容器１０２の４～８枚の画像を異なる露光時間で、複数のスペクトルのそれぞれにおいて取得することができる。たとえば、４～８枚の画像が、赤スペクトルを有する光源４４４Ａによって検体２１２が背面照射照明されている間に、視点１で画像取り込みデバイス４４０Ａによって取得される。追加の同様の画像が、視点２および３において順次に取得される。
【0062】
いくつかの実施形態では、複数のスペクトルの画像が、別々のスペクトルの照明を発する別々の光源４４４Ａ～４４４Ｃを使用して得られる。光源４４４Ａ～４４４Ｃは、検体容器１０２を背面照射することができる（図示の通り）。いくつかの実施形態では、散光器が光源４４４Ａ～４４４Ｃと組み合わせて使用される。複数の異なるスペクトルの光源４４４Ａ～４４４Ｃは、６３４ｎｍ±３５ｎｍ（赤）、５３７ｎｍ±３５ｎｍ（緑）、および４５５ｎｍ±３５ｎｍ（青）の公称波長を発するＬＥＤなどのＲＧＢ光源とすることができる。他の実施形態では、光源４４４Ａ～４４４Ｃは白色光源とすることができる。ラベル２１８が複数の視点を覆い隠す場合には、ＩＲ背面照射またはＮＩＲ背面照射が使用される。さらに、ＲＧＢ光源が、ラベル遮蔽があるときでさえも場合によっては使用される。他の実施形態では、光源４４４Ａ～４４４Ｃは、公称波長が約７００ｎｍから約１２００ｎｍの間の１つまたはそれ以上のスペクトルを発することができる。
【0063】
非限定的な例として、第１の波長で画像を取り込むには、３つの赤色光源４４４Ａ～４４４Ｃ（約６３４ｎｍ±３５ｎｍの波長）が使用されて、検体２１２が３つの横方向位置から順次に照明される。光源４４４Ａ～４４４Ｃによる赤色照明は、複数の画像（たとえば、４～８枚以上の画像）が、異なる露光時間で各画像取り込みデバイス４４０Ａ～４４０Ｃによって各視点１～３から取り込まれるときに行われ得る。いくつかの実施形態では、露光時間は約０．１ｍｓから２５６ｍｓの間とすることができる。他の露光時間も用いられる。いくつかの実施形態では、各画像取り込みデバイス４４０Ａ～４４０Ｃのそれぞれの画像は、たとえば順次に取得される。したがって、視点１～３ごとに、赤スペクトル背面照射照明および複数の露光量（たとえば、異なる露光時間などの、４～８回の露光）を有する一群の画像が順次に得られる。画像は、たとえば、視点１からの全画像が取得された後に視点２および３が順次続く、ラウンドロビン式に取得される。
【0064】
各実施形態では、品質検査モジュール１３０は、外光の影響を最小にするために軌道１２１を少なくとも部分的に取り囲むか覆うことができるハウジング４４６を含み得る。検体容器１０２は、画像取得シーケンス中はハウジング４４６の内側に位置する。ハウジング４４６は、キャリア１２２がハウジング４４６を出入りできるようにするための１つまたはそれ以上の扉４４６Ｄを含み得る。いくつかの実施形態では、天井は、可動ロボット指を含むロボットによって上方から検体容器１０２をキャリア１２２の中に装填できるようにするための、開口部４４６Ｏを含み得る。
【0065】
図４Ａ～図４Ｂの実施形態で赤色照明画像が取り込まれると、別のスペクトルの光、たとえば緑のスペクトル光源４４４Ａ～４４４Ｃ（公称波長が約５３７ｎｍで帯域幅が約±３５ｎｍ）が点灯され、異なる露光時間の複数の画像（たとえば、４～８枚以上の画像）が、各画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃによって順次に取り込まれる。この画像取り込みが、青のスペクトル光源４４４Ａ～４４４Ｃ（公称波長が約４５５ｎｍ、帯域幅が約±３５ｎｍ）を用いて、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃごとに繰り返される。異なる公称波長スペクトル光源４４４Ａ～４４４Ｃは、たとえば、選択的にオン・オフできる異なる所望のスペクトル光源（たとえば、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、および／またはＮＩＲ）のバンクを含む光パネルによって実現される。背面照射の他の手段も使用される。
【0066】
それぞれの波長スペクトルごとに複数の露光量（たとえば、露光時間）で取得される複数の画像は、複数の視点１～３からの検体容器１０２および検体２１２の背面照射画像の集まり全体がたとえば数秒未満で得られるように、速く連続で得られる。１つの例では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０ＣとＲＧＢ光源４４４Ａ～４４４Ｃによる背面照射とを使用する、３つの視点１～３においての波長ごとの４つの異なる露光画像の結果として、４画像×３スペクトル×３画像取り込みデバイス＝３６画像が得られる。別の例では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０ＣとＲ、Ｇ、Ｂ、Ｗ、ＩＲおよびＮＩＲ光源４４４Ａ～４４４Ｃによる背面照射とを使用する、３つの視点における波長ごとの４つの異なる露光画像の結果として、４画像×６スペクトル×３カメラ＝７２画像が得られる。
【0067】
特徴付け方法の諸実施形態によれば、画像データの処理は、たとえば、各波長スペクトルの異なる露光時間での、かつ画像取り込みデバイス４４０Ａ～４４０Ｃごとの、複数の取り込み画像から最適に露光された画素をスペクトルごとおよび視点１～３ごとに、最適に露光された画像データを生成するように選択することを含む処理ステップを伴い得る。これは、本明細書では「画像整理統合」と呼ばれる。
【0068】
各画像取り込みデバイス４４０Ａ～４４０Ｃからの画像のそれぞれに対して、対応する画素（またはパッチ）ごとに、最適画像強度を示す画素（またはパッチ）が、視点１～３ごとに、別々の露光画像のそれぞれから選択される。１つの実施形態では、最適画像強度は、たとえば所定の強度の範囲（たとえば、０～２５５のスケールで１８０～２５４の間）に入る画素（またはパッチ）であり得る。別の実施形態では、最適画像強度は、たとえば、０～２５５のスケールで１６～２５４の間であり得る。２つの露光画像の対応する画素（またはパッチ）位置に１つよりも多い画素（またはパッチ）が最適に露光されていると決定された場合には、２つのうちの高い方が選択される。
【0069】
最適画像強度を示す選択された画素（またはパッチ）は、それぞれの露光時間によって正規化される。その結果は、照明スペクトル（たとえば、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、および／またはＮＩＲ－使用される組み合わせによる）に対する、および画像取り込みデバイス４４０Ａ～４４０Ｃごとの、複数の正規化および整理統合されたスペクトル画像データセットになり、画素（またはパッチ）のすべてが最適に露光され（たとえば、スペクトルごとに１つの画像データセット）正規化される。言い換えると、視点１～３ごとに、コンピュータ１４３によって実行されるデータ前処理により、複数の最適に露光され正規化された画像データセットが、使用される照明スペクトルごとに１つ得られる。
【0070】
図５は、本明細書に記載のＨＩＬＮ特徴付け方法を実行するように構成された機能構成要素を含む装置５００を示す。装置５００は、コンピュータ１４３によって制御される品質検査モジュール１３０として具現化される。上で論じたように、検体容器１０２は、機能ブロック５０２で、品質検査モジュール１３０の撮像位置４３２（図４Ａおよび図４Ｂ）に提供される。マルチビュー画像が、機能ブロック５０４で、複数の画像取り込みデバイス４４０Ａ～４４０Ｃによって取り込まれる。マルチビュー、マルチスペクトル、多重露光画像のそれぞれの画像データが、上で論じたように機能ブロック５０６で前処理されて、複数の最適に露光され正規化された画像データセット（以下「画像データセット」）がもたらされる。検体容器の画像の画像データ（すなわち、画素データ）は、セグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）５３５への入力として提供される。
【0071】
非接触の試験所自動手順の間中の重要なタスクは、たとえば検体容器１０２などの検体容器の詳細な特徴付けである。このタスクは、たとえば、検体容器をその背景から分離すること、血清または血漿部分の内容物を理解すること、および検体容器に貼り付けられたいかなるラベルもセグメント化することを含む。これらのタスクすべてが、画素レベルの分類を行うＳＣＮＮ ５３５によって完了される。入力画像（すなわち、画素データ）が与えられると、ＳＣＮＮ ５３５は、分類指標を画像の各画素に、その画素データ値によって示されるその局所的外観に基づいて割り当てるように動作する。抽出された画素指標情報は、ＳＣＮＮ ５３５によってさらに処理されて最終ＨＩＬＮ分類指標が決定される。いくつかの実施形態では、分類指標は、より詳細に以下で説明するように、非遠心分離クラス、正常クラス、および１９個のＨＩＬクラス／サブクラスを含む、２１個の血清クラスを含み得る。
【0072】
ＨＩＬ分類指標を決定することについての難題は、Ｈ、Ｉ、およびＬクラスの各サブクラス内の外観差が少ないことから生じ得る。すなわち、隣接するサブクラスの画素データ値が非常に類似している。さらなる難題が、検体容器のサイズおよび形状が異なること、ならびに、上述のように、起こり得る様々な検体容器ラベル遮蔽から生じる。たとえば、検体容器ラベルは、検体容器内の検体の視像を遮ることがあり、あるいは、検体容器の裏側に、検体の外観を黒ずませ得る影の領域を生成することがある。
【0073】
これらの難題を克服するために、ＳＣＮＮ ５３５は、いくつかの実施形態では１００個を超える動作層を含む、非常に深いセマンティックセグメンテーションネットワーク（ＤＳＳＮ）５３８を含む。このような深いネットワークを有することの利益は、そのことが、小さい局所領域ではなくより多くのコンテキスト情報を利用する、ネットワーク受信フィールドを増大させ得ることである。さらに、密に接続されたネットワークは、特徴を低レベル層から高レベル層まで、ならびに符号化領域から復号化領域まで連結する。そうすることによって、ＤＳＳＮ ５３８は、同じタスクのために構成された、いくつかの既知の畳み込みニューラルネットワークよりも容易に詳細な特徴を画像から認識するように訓練することができる。
【0074】
検体容器タイプの相違（たとえば、サイズおよび／または形状）によって生じる外観差を克服するために、ＳＣＮＮ ５３５はまた、ＤＳＳＮ ５３８のフロントエンドに小さい容器セグメンテーションネットワーク（ＳＣＮ）５３６も含む。ＳＣＮ ５３６は、容器タイプおよび容器境界を決定するように構成され動作する。容器タイプおよび容器境界の情報５３７は、追加の入力チャネルを介してＤＳＳＮ ５３８に入力され、いくつかの実施形態では、ＳＣＮＮ ５３５は、決定された容器タイプおよび境界５３９を出力として提供する。いくつかの実施形態では、ＳＣＮ ５３６は、ＤＳＳＮ ５３８と同様なネットワーク構造を有し得るが、もっと浅い（すなわち、層がずっと少ない）。
【0075】
検体容器ラベルによって生じる外観差を克服するために、ネットワーク損失関数が、マルチラベル損失をサポートするように構成されている。すなわち、いくつかの知られているネットワークでは、画像画素ごとにただ１つの値が出力される。ＳＣＮＮ ５３５では、画像画素ごとに２つの値が出力される（１つが血清クラス、１つが検体容器ラベルクラス）。検体容器ラベルクラスの値は、０（検体容器ラベルがないことを意味する）から３（画素が３層のラベルで覆われることを意味する）までの範囲になり得る。２つの値を合わせることによって、ＳＣＮＮ ５３５は、１つまたはそれ以上の検体容器ラベルの後ろに隠れている検体流体領域の血清または血漿部分クラスをより適切に決定することができる。
【0076】
図５に示されているように、ＳＣＮＮ ５３５の出力は、いくつかの実施形態では非遠心分離クラス５４０Ｕ、正常クラス５４０Ｎ、溶血クラス５４０Ｈ、黄疸クラス５４０Ｉ、および脂肪血クラス５４０Ｌを含み得る分類指標５４０とすることができる。いくつかの実施形態では、溶血クラス５４０Ｈは、サブクラスＨ０、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、およびＨ６を含み得る。黄疸クラス５４０Ｉは、サブクラスＩ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、およびＩ６を含み得る。また脂肪血クラス５４０Ｌは、サブクラスＬ０、Ｌ１、Ｌ２、Ｌ３、およびＬ４を含み得る。溶血クラス５４０Ｈ、黄疸クラス５４０Ｉ、および／または脂肪血クラス５４０Ｌのそれぞれは、他の実施形態では別の個数のきめ細かなサブクラスを有し得る。
【0077】
図６は、１つまたはそれ以上の実施形態による、ＤＳＳＮ ５３８のアーキテクチャ６３８を示す。ＤＳＳＮ ５３８は、たとえば、Ｂｅｒｋｌｅｙ Ｖｉｓｉｏｎ ａｎｄ Ｌｅａｒｎｉｎｇ Ｃｅｎｔｅｒ（ＢＶＬＣ）から入手可能なＣａｆｆｅ、Ｔｈｅａｎｏ、数学的表現の高速計算のためのＰｙｔｈｏｎフレームワーク、ＴｅｎｓｏｒＦｌｏｗ、Ｔｏｒｃｈなどの、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用して符号化される。アーキテクチャ６３８は、以下の動作層：２つの畳み込み（ＣＯＮＶ）層６０１および６４７；１１個の高密度ブロック層ＤＢ４ ６０３、ＤＢ５ ６０７、ＤＢ７ ６１１、ＤＢ１０ ６１５、ＤＢ１２ ６１９、ＤＢ１５ ６２３、ＤＢ１２ ６２７、ＤＢ１０ ６３１、ＤＢ４ ６３５、ＤＢ５ ６３９、およびＤＢ４ ６４３；５つの遷移ダウン層ＴＤ ６０５、ＴＤ ６０９、ＴＤ ６１３、ＴＤ ６１７、およびＴＤ ６２１；５つの遷移アップ層ＴＵ ６２５、ＴＵ ６２９、ＴＵ ６３３、ＴＵ ６３７、およびＴＵ ６４１、ならびに図６に示されたように配置された完全接続層６４５を含むことができ、分類指標５４０が出力される。
【0078】
高密度ブロック層ＤＢ４ ６０３、６３５、および６４３のそれぞれが４つの高密度層を含み得る。高密度ブロック層ＤＢ５ ６０７および６３９のそれぞれが５つの高密度層を含み得る。高密度ブロック層ＤＢ７ ６１１が７つの高密度層を含み得る。高密度ブロック層ＤＢ１０ ６１５および６３１のそれぞれが１０個の高密度層を含み得る。高密度ブロック層ＤＢ１２ ６１９および６２７のそれぞれが１２個の高密度層を含み得る。また高密度ブロック層ＤＢ１５ ６２３が１５個の高密度層を含み得る。各高密度層は、バッチ正規化動作、ＲｅＬＵ層、およびドロップアウトｐ＝０．２である３×３畳み込み層を含むことができ、第１の高密度層が入力を受け、入力に連結したいくつかの画素ラベルマップを出力する。次に第２の高密度層が、連結した出力をその入力として受け、いくつかの画素ラベルマップを出力し、この画素ラベルマップは再び、前の画素ラベルマップに連結される。これが高密度ブロック層の高密度層ごとに繰り返される。
【0079】
各遷移ダウン層ＴＤ ６０５、ＴＤ ６０９、ＴＤ ６１３、ＴＤ ６１７、およびＴＤ ６２１は、バッチ正規化動作を含むことができ、その後にＲｅＬＵ層が続き、その後にドロップアウトｐ＝０．２である３×３畳み込み層が続き、その後に２×２最大プーリング層が続く。ドロップアウト確率は、最良の結果をもたらす実験的なテストランに応じて０から１の範囲となり得ることに留意されたい。いくつかの実施形態では、ＴＤ ６０５の出力における画素ラベルマップの個数は１１２であり、ＴＤ ６０９の出力では１９２であり、ＴＤ ６１３の出力では３０４であり、ＴＤ ６１７の出力では４６４であり、ＴＤ ６２１の出力では６５６になり得る。出力される他の個数の画素ラベルマップも、他の実施形態ではあり得る。
【0080】
各遷移アップ層ＴＵ ６２５、ＴＵ ６２９、ＴＵ ６３３、ＴＵ ６３７、およびＴＵ ６４１は、この実施形態では３×３転置畳み込み層を刻み幅２で含み得る。他の遷移アップ層パラメータも可能であり得る。
【0081】
いくつかの実施形態では、ＤＢ１５ ６２３の出力における画素ラベルマップの個数が８９６であり、ＤＢ１２ ６２７の出力では１０８８であり、ＤＢ１０ ６３１の出力では８１６であり、ＤＢ４ ６３５の出力では５７８であり、ＤＢ５ ６３９の出力では３８４であり、ＤＢ４ ６４３の出力では２５６であり得る。他の個数の出力される画素ラベルマップも、他の実施形態では可能であり得る。
【0082】
本明細書では、畳み込み層とは、あるフィルタ（カーネルとも呼ばれる）を入力画像データ（たとえば、画素強度値）に適用して、入力画像データ中のどれかの空間位置における特定のタイプの色または特徴（たとえば、第１の畳み込み層を適用した後の簡単な曲線から、いくつかの畳み込み層を適用した後のある程度より複雑な特徴まで）の検出を示し得る起動マップを出力できる処理ステップのことである。
【0083】
最大プーリング層とは、あるフィルタを適用して、畳み込み層から受けた１つまたはそれ以上の起動マップ中に現れる最大画素値を有する出力起動マップを生成できる処理ステップのことである。
【0084】
ＲｅＬＵ（矯正リニアユニット）層とは、受けた起動マップ中のすべての値に非線形関数を適用して、たとえば、ゼロの値を割り当てられているすべての負起動値がもたらされ得る処理ステップのことである。
【0085】
完全接続層とは、前の起動マップ（そのそれぞれが、低レベル特徴の検出を示し得る）を統合して高レベル特徴の検出を示す処理ステップのことである。
【0086】
ＳｏｆｔＭａｘ層とは通常、画像特徴のクラスからの１つまたはそれ以上の画像の、もっとも本当らしい特徴を強調または特定する確率分布を出力する最終処理ステップのことである。
【0087】
ＨＩＬ分類指標を決定することについての別の難題は、ＳＣＮＮ ５３５に同種の構造体を出力させることである。すなわち難題は、血清または血漿部分が、異なるＨＩＬクラスの組み合わせとして分類されることを回避することである。こうしたことは、セマンティックセグメンテーションネットワークの損失関数が各画素を個別に評価することがあるので起こり得る。ＤＳＳＮ ５３８は、大きい受信フィールドに応じてコンテキスト情報を用いるが、他には検体容器の同じ画像の画素ごとに同種のクラスを出力することに対する制限があり得ない。
【0088】
この難題を克服するために、ＤＳＳＮ ５３８は、既知の生成敵対的ネットワークに類似している、差別的ネットワークによる訓練プロセスの結果として同種の構造体を「強制的に」出力させられる。図７に示されるように、訓練ネットワーク７００は、１つまたはそれ以上の実施形態による生成画素ラベルマップを区別するために、差別的ネットワーク７０２に連結されたＤＳＳＮ ５３８を含む。差別的ネットワーク７０２は、生成画素ラベルマップがＤＳＳＮ ５３８から、またはグランドトルース注釈マップから生成されたかどうかを示すことができる。差別的ネットワーク７０２は、陽性検体としてのセグメンテーショングランドトルースマップと、陰性検体としてのＤＳＳＮ ５３８の出力（いくつかのエポックの後にだけ訓練される）とによって事前訓練される。ＤＳＳＮ ５３８が、グランドトルースマップとは非常に異なる画素ラベルマップ（分類を示す）を出力する場合、差別的ネットワーク７０２は、バックプロパゲーションプロセスに使用予定のＤＳＳＮ ５３８の付加損失を生成して、総和が画素ラベルマップ損失になり得る。ＤＳＳＮ ５３８は、総損失に応じて重みを更新することができ、また今後の繰り返しの際に誤りを低減するように試みることができる。最終的に、ＤＳＳＮ ５３８出力は収束して、差別的ネットワーク７０２が、グランドトルースマップに非常に類似している出力を有することによって相違を示すことができないという結果が生じ得る。この結果は、血清または血漿部分に対して均一に構築されている出力をもたらし得る。言い換えると、この訓練プロセス中、ＤＳＳＮ ５３８と差別的ネットワーク７０２は同時に改善し、バランスのとれた点に収束することができ、ＤＳＳＮ ５３８は、差別的ネットワーク７０２がグランドトルース注釈マップとの相違を示すことができない合成画素ラベルマップ（分類指標を示す）を出力することができる。
【0089】
ＳＣＮＮ ５３５では、検体容器特徴付け（たとえば、品質検査モジュール１３０で実施される）の複雑な撮像環境によってもたらされる上述の難題を少なくとも克服するための、いくつかの異なる解決策を組み合わせる。本明細書に記載のように、ＳＣＮＮ ５３５は、有利には、いくつかの畳み込みニューラルネットワークを特徴付けのために（ＣＳＮ ５３６およびＤＳＳＮ ５３８）、および訓練のために（差別的ネットワーク７０２）含む。品質検査モジュール１３０においてハードウェアによって作成される検体容器画像はＳＣＮＮ ５３５に入力され、この入力はコンピュータ１４３上で実行される。検体容器内の検体の血清または血漿部分の分類指標５４０は、ＳＣＮＮ ５３５から出力されてから、上述のさらなる分析のために使用される。
【0090】
図８は、本開示の１つまたはそれ以上の実施形態による特徴付け方法８００のフローチャートを示す。特徴付け方法８００は、本明細書に記載のように品質検査モジュール１３０によって実行される。特に、特徴付け方法８００は、検体２１２中に干渉物質が存在することを決定することができ、特に、１つまたはそれ以上の実施形態によれば、検体２１２中に干渉物質が存在する程度を決定することができる。特徴付け方法８００は、処理ブロック８０２で、画像取り込みデバイス（たとえば、画像取り込みデバイス４４０Ａ～４４０Ｃのうちの１つ）によって検体容器（たとえば、検体容器１０２）の画像を取り込むことを含み得る。検体容器は、検体（たとえば、検体２１２）の血清または血漿部分（たとえば、血清または血漿部分２１２ＳＰ）を含み得る。画像は、複数の視点（たとえば、図４Ａの視点１、２、および３）のうちの１つからのものであり得る。さらに、検体容器１０２は、１つまたはそれ以上のラベル（たとえば、ラベル２１８）をその上に含むことができ、画像は、デジタル画素化画像とすることができる。
【0091】
特徴付け方法８００はさらに、処理ブロック８０４で、いくつかの実施形態ではコンピュータ（たとえば、コンピュータ１４３）上で実行する１００個を超える層を含む、ディープセマンティックセグメンテーションネットワーク（たとえば、ＤＳＳＮ ５３８）を使用して検体容器の画像の画素データを処理し、それにより血清または血漿部分の分類指標（たとえば、分類５４０）を決定することを含み得る。
【0092】
処理ブロック８０６では、特徴付け方法８００は、ディープセマンティックセグメンテーションネットワークから血清または血漿部分の分類指標を出力することを含むことができ、この分類指標は、溶血、黄疸、脂肪血、および正常のクラスを含み、溶血、黄疸、および脂肪血のクラスのそれぞれが５～７つのサブクラスを含む。たとえば、分類指標は分類指標５４０とすることができ（図５および図６）、この分類指標は、いくつかの実施形態では以下のクラス（およびサブクラス）を含むことができる：５４０Ｕ、５４０Ｎ、５４０Ｈ（Ｈ０、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６）、５４０Ｉ（Ｉ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、Ｉ６）、および５４０Ｌ（Ｌ０、Ｌ１、Ｌ２、Ｌ３、およびＬ４）。
【0093】
いくつかの実施形態では、特徴付け方法８００はまた、コンピュータ（たとえば、コンピュータ１４３）上で実行するフロントエンド容器セグメンテーションネットワーク（たとえば、ＣＳＮ ５３６）を使用して検体容器の画像の画素データを処理し、それにより容器タイプおよび容器境界を決定することと、容器タイプおよび容器境界をフロントエンド容器セグメンテーションネットワークから追加の入力チャネルを介してディープセマンティックセグメンテーションネットワーク（たとえば、ＤＳＳＮ ５３８）へ入力して、血清または血漿部分の分類指標を決定することとを含み得る。
【0094】
分類指標を出力することに加えて、特徴付け方法８００はさらに、いくつかの実施形態では、フロントエンド容器セグメンテーションネットワーク（たとえば、ＣＳＮ ５３６）から、容器タイプおよび容器境界の情報（たとえば、容器タイプおよび容器境界の情報５３９）を出力することを含み得る。この情報は、たとえばＣＳＮ ５３６の中へ事前訓練された特定のキャップ形状またはキャップ色であり得るたとえばキャップタイプを含むこと、ならびに／または、（１）管、（２）ゲルセパレータ、（３）キャップ、（４）空気、（５）ラベル、（６）沈降血液部分、および／もしくは（７）血清または血漿部分などのクラスを含み得るセグメンテーションデータを含むことができる。他の個数のクラスも使用される。
【0095】
いくつかの実施形態では、検体容器の画像は、様々な露光時間のうちの１つで、および／またはいくつかのスペクトル照明条件（たとえば、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、および／または近ＩＲ）のうちの１つで、取り込まれることに留意されたい。たとえば、異なるスペクトル照明条件下で視点ごとに異なる露光時間で取られる４～８つまたはそれ以上の異なる露光があり得る。
【0096】
したがって、上記に基づいて、血清または血漿部分２１２ＳＰをより適切に特徴付ける、改善された特徴付け方法８００が、１つまたはそれ以上の視点を遮り得るラベルを明らかにすることによって、またＨＩＬ指標内にきめ細かな干渉物質レベルを設けることによって、提供されることが明白なはずである。
【0097】
さらにまた明白なはずのように、上記の特徴付け方法は、品質検査モジュール（たとえば、品質検査モジュール１３０）を使用して実行され、この品質検査モジュールは、撮像位置（たとえば、撮像装置４３２）のまわりに配置された、かつ、１つまたはそれ以上の視点（たとえば、図４Ａの視点１～３）から、１つまたはそれ以上のラベル２１８を含み検体２１２の血清または血漿２１２ＳＰを含む検体容器１０２の１つまたはそれ以上の画像を取り込むように構成された、複数の画像取り込みデバイス（たとえば、画像取り込みデバイス４４０Ａ～４４０Ｃ）と、複数の画像取り込みデバイスに連結され、１つまたはそれ以上の画像の画素データを処理するように構成されたコンピュータ（たとえば、コンピュータ１４３）とを含む。コンピュータ（たとえば、コンピュータ１４３）は、１つまたはそれ以上の視点（たとえば、視点１～３）からの１つまたはそれ以上の画像を処理して、ＨＩＬの多くのサブクラス内でのＨＩＬＮ決定を管タイプおよび管境界の情報と共に提供するように構成され、動作させることができる。
【0098】
さらに、特徴付け方法８００は、品質検査モジュール１３０を含む検体試験装置１００で実行される。検体試験装置１００は、軌道１２１と、軌道１２１上で可動であるキャリア１２２とを含み得る。キャリア１２２は、１つまたはそれ以上のラベル２１８を含み検体２１２の血清または血漿部分２１２ＳＰを含む、検体容器１０２を含み支持するように、かつ検体容器１０２を品質検査モジュール１３０まで搬送して特徴付けと、干渉物質が存在するかの予備検査とを遂行するように構成される。
【0099】
本開示は、様々な修正形態および代替形態が可能であるが、特定の方法および装置の実施形態を図に例として示し、本明細書で詳細に説明している。しかし、本明細書に開示された特定の方法および装置は、本開示を限定するものではなく、それとは対照的に、特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものであることを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】