特許 7089071 単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-13

(45)【発行日】2022-06-21

(54)【発明の名称】単一ディープニューラルネットワークをエンドツーエンド訓練法で使用する検体容器特徴付け

(51)【国際特許分類】

   G01N 35/00 20060101AFI20220614BHJP

   G01N 35/02 20060101ALI20220614BHJP

【ＦＩ】

G01N35/00 A

G01N35/02 C

【請求項の数】 20

(21)【出願番号】P 2020569857

(86)(22)【出願日】2019-06-10

(65)【公表番号】

(43)【公表日】2021-10-11

(86)【国際出願番号】 US2019036351

(87)【国際公開番号】W WO2019241134

(87)【国際公開日】2019-12-19

【審査請求日】2021-02-12

(31)【優先権主張番号】62/685,344

(32)【優先日】2018-06-15

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】508147326

【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド

(74)【代理人】

【識別番号】100127926

【弁理士】

【氏名又は名称】結田 純次

(74)【代理人】

【識別番号】100140132

【弁理士】

【氏名又は名称】竹林 則幸

(72)【発明者】

【氏名】カイ・マー

(72)【発明者】

【氏名】イャオ－ジェン・チャン

(72)【発明者】

【氏名】テレンス・チェン

(72)【発明者】

【氏名】ベンジャミン・エス・ポラック

【審査官】三木 隆

(56)【参考文献】

【文献】国際公開第２０１８／０８９９３８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０２２２８０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０３６４７７１（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１０５０６２（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１０６６４５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０３９３８０（ＷＯ，Ａ１）

【文献】特表２０１９－５３７０１１（ＪＰ，Ａ）

【文献】特表２０１９－５３１４６３（ＪＰ，Ａ）

【文献】特表２０１９－５００１１０（ＪＰ，Ａ）

【文献】特表２０１９－５３１７８３（ＪＰ，Ａ）

【文献】特表２０２１－５１０２０１（ＪＰ，Ａ）

【文献】麻生 英樹，多層ニューラルネットワークによる深屑表現の学習，人工知能学会誌，2013年07月，28巻 4号，Page.649-659，https://www.jstage.jst.go.jp/article/jjsai/28/4/28_649/_pdf/-char/ja

【文献】Shaoqing Ren，Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks，Computer Vision and Computer Recognition，2016年01月06日，arXiv:1506.01497，https://arxiv.org/pdf/1506.01497

【文献】Y. Lecun，Gradient-based learning applied to document recognition，Proceedings of the IEEE，1998年11月，Volume: 86 Issue: 11，https://ieeexplore.ieee.org/document/726791

【文献】畳み込みネットワークの「基礎の基礎」を理解する ～ディープラーニング入門｜第2回，2018年07月25日，https://www.imagazine.co.jp/%E7%95%B3%E3%81%BF%E8%BE%BC%E3%81%BF%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%81%AE%E3%80%8C%E5%9F%BA%E7%A4%8E%E3%81%AE%E5%9F%BA%E7%A4%8E%E3%80%8D%E3%82%92%E7%90%86%E8%A7%A3%E3%81%99/

【文献】畳み込みニューラルネットワークの基礎を理解する，2021年06月07日，https://leadinge.co.jp/rd/2021/06/07/863/

【文献】畳み込みニューラルネットワーク，https://ml4a.github.io/ml4a/jp/convnets/

【文献】中山英樹，深層畳み込みニューラルネットによる画像特徴抽出と転移学習，電子情報通信学会技術研究報告，2015年07月09日，Vol.115 No.146(SP2015 36-49)，Page.55-59

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ３５／００－３５／１０

(57)【特許請求の範囲】

【請求項1】

検体容器を特徴付ける方法であって：
複数の視点から、検体の血清または血漿部分を含む検体容器の複数の画像を取り込むことと；
複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力すること、および画像データをセグメンテーション畳み込みニューラルネットワークで処理して複数のラベルマップを同時に出力することと；
複数のラベルマップを分類畳み込みニューラルネットワークに入力すること、および複数のラベルマップを分類畳み込みニューラルネットワークで処理することと；
分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力することとを含む、前記方法。

【請求項2】

セグメンテーション畳み込みニューラルネットワークをまず、分類畳み込みニューラルネットワークなしで訓練することをさらに含む、請求項１に記載の方法。

【請求項3】

セグメンテーション畳み込みニューラルネットワークと分類畳み込みニューラルネットワークとをエンドツーエンドで訓練することをさらに含む、請求項１に記載の方法。

【請求項4】

各視点からのそれぞれの取り込み画像を、視点の数に対応する追加のチャネルと共に一緒にして単一の画像になるように積み重ねることをさらに含む、請求項１に記載の方法。

【請求項5】

複数の画像からの画像データは、複数の露光による統合画素またはパッチデータを含む、請求項１に記載の方法。

【請求項6】

同時に出力される複数のラベルマップの数が複数の視点の数に対応する、請求項１に記載の方法。

【請求項7】

セグメンテーション畳み込みニューラルネットワークは、畳み込みおよびプーリングを
含む少なくとも２つの層を含むアーキテクチャを含む、請求項１に記載の方法。

【請求項8】

分類畳み込みニューラルネットワークは、畳み込み層およびＳｏｆｔＭａｘ層の少なくとも一方を含むアーキテクチャを含む、請求項１に記載の方法。

【請求項9】

分類畳み込みニューラルネットワークは複数の畳み込み層を含む、請求項１に記載の方法。

【請求項10】

血清または血漿部分の分類は、溶血、黄疸、および脂肪血のそれぞれについてのＮクラスの出力選択肢を含む、請求項１に記載の方法。

【請求項11】

分類畳み込みニューラルネットワークはさらに、セグメンテーションデータのＮ’クラスの選択肢を出力する、請求項１に記載の方法。

【請求項12】

分類畳み込みニューラルネットワークはさらに、キャップタイプの選択肢を出力する、請求項１に記載の方法。

【請求項13】

検体容器は、１つの視点の少なくとも一部を遮る１つまたはそれ以上のラベルを含む、請求項１に記載の方法。

【請求項14】

品質検査モジュールであって：
複数の視点から、検体の血清または血漿部分を含む検体容器の複数の画像を取り込むように構成された複数の画像取り込みデバイスと；
複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力し、画像データをセグメンテーション畳み込みニューラルネットワークで処理して複数のラベルマップを同時に出力するように、
複数のラベルマップを分類畳み込みニューラルネットワークに入力し、複数のラベルマップを分類畳み込みニューラルネットワークで処理するように；かつ
分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力するように構成され動作する、前記品質検査モジュール。

【請求項15】

コンピュータはさらに、セグメンテーション畳み込みニューラルネットワークをまず分類畳み込みニューラルネットワークなしで訓練するように構成され動作する、請求項１４に記載の品質検査モジュール。

【請求項16】

コンピュータはさらに、各視点からのそれぞれの取り込み画像を、視点の数に対応する追加のチャネルと共に一緒にして単一の画像に積み重ねるように構成され動作する、請求項１４に記載の品質検査モジュール。

【請求項17】

検体試験装置であって：
軌道と；
該軌道上で可動であり、検体の血清または血漿部分を含む検体容器を含むように構成されたキャリアと；
軌道のまわりに配置され、複数の視点から、検体容器および検体の血清または血漿部分の複数の画像を取り込むように構成された複数の画像取り込みデバイスと；
複数の画像取り込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力し、画像データをセグメンテーション畳み込みニューラルネットワークで処理して複
数のラベルマップを同時に出力するように、
複数のラベルマップを分類畳み込みニューラルネットワークに入力し、複数のラベルマップを分類畳み込みニューラルネットワークで処理するように；かつ
分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力するように構成され動作する、前記検体試験装置。

【請求項18】

コンピュータはさらに、セグメンテーション畳み込みニューラルネットワークをまず分類畳み込みニューラルネットワークなしで訓練するように構成され動作する、請求項１７に記載の検体試験装置。

【請求項19】

コンピュータはさらに、各視点からのそれぞれの取り込み画像を、視点の数に対応する追加のチャネルと共に一緒にして単一の画像に積み重ねるように構成され動作する、請求項１７に記載の検体試験装置。

【請求項20】

コンピュータはさらに、セグメンテーションデータのＮ’クラスの選択肢、またはキャップタイプの選択肢を出力するように構成され動作する、請求項１７に記載の検体試験装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、２０１８年６月１５日に出願された米国特許仮出願第６２／６８５，３４４号の優先権を主張する。

【0002】

本開示は、自動診断分析システムにおいて検体容器（およびその中の検体）を特徴付けるための方法および装置に関する。

【背景技術】

【0003】

自動診断分析システムは、１つまたはそれ以上の試薬を用いて検査または臨床分析を実施して、尿、血清、血漿、間隙液、脳脊髄液などの検体中の分析物または他の成分を特定することができる。このような検体は通常、検体容器（たとえば、検体採取管）の中に含まれる。試験反応では様々な変化が生じ、これらの変化は読み取られ、かつ／または処理されて、検体中の分析物または他の成分の濃度が決定される。

【0004】

自動試験技術の改善には、ラボラトリオートメーションシステム（ＬＡＳ）と呼ばれる自動検体調製システムによる、選別、バッチ調製、検体成分を分離するために検体容器を遠心分離機にかけること、流体へのアクセスを容易にするためのキャップ除去、ＨＩＬＮ（溶血、黄疸、および／もしくは脂肪血、または正常）の予備検査などの分析前検体調製および処理の操作において、対応する進歩が伴った。ＬＡＳではまた、検体容器内の検体をいくつかの検体処理ステーションまで自動的に輸送することもできるので、様々な操作（たとえば、分析前試験または分析試験）が行われる。

【0005】

ＬＡＳは、標準的な、バーコードラベル表示された検体容器に含まれる、いくつかの異なる検体を処理することができ、この容器は、サイズ（たとえば、直径および高さ）が異なり得る。バーコードラベルは受入番号を含むことができ、この受入番号は、試験オーダと共に病院のラボラトリ情報システム（ＬＩＳ）に入力されている患者情報または他の情報を含むか、これらの情報と互いに関連付けられている。操作員は、ラベル表示された検体容器をＬＡＳシステムの上に置くことができ、ＬＡＳシステムは、検体が１つまたはそれ以上の、ＬＡＳの一部でもあり得る分析器（たとえば、臨床化学計器または検査計器）による臨床分析または検査にかけられる前に、遠心分離、キャップ除去および／またはアリコート調製などの分析前操作のために検体容器を自動的にルーティングすることができる。

【0006】

いくつかの試験では、（遠心分離によって全血から得られた）血清または血漿部分などの生体液が分析される。検体が全血である場合、血清または血漿部分からの沈降血液部分の分離を補助するために、ゲルセパレータが検体容器に加えられる。前処理の後、検体容器は適切な分析器まで輸送され、この分析器は、生体液体（たとえば、血清または血漿部分）の一部分を検体容器から取り出し、この液体を１つまたはそれ以上の試薬、および場合により他の材料と反応容器（たとえば、キュベット）内で混ぜ合わせることができる。次に、分析的測定が、調査照射などのビームを使用することによる測光吸収または蛍光定量的吸収の読取りを介して行われる。この測定により、終点速度または他の値を決定することが可能になり、この値から、生体液体中の分析物または他の成分の量が、よく知られている技法を用いて決定される。

【0007】

しかし、検体中に、患者の状態または試料処理の結果として生じ得る干渉物質が存在すると（たとえば、溶血、黄疸、および／または脂肪血）、１つまたはそれ以上の分析器から得られる分析物または成分測定の試験結果に悪影響が及び得る。たとえば、患者の病状と関連がない溶血（Ｈ）が検体中に存在すると、患者の病状についての異なる解釈が生じ得る。さらに、検体中に黄疸（Ｉ）および／または脂肪血（Ｌ）が存在しても、患者の病状についての異なる解釈が生じ得る。

【0008】

システムによっては、熟練した試験所技師が、検体の血清または血漿部分の完全性を目視で検査して、正常である（Ｎ）、またはある程度のＨ、Ｉ、および／またはＬがあると鑑定する場合がある（たとえば、ある指数を割り当てることによって）。これには、血清または血漿部分の色を既知の標準と対照して評価することが伴う。しかし、このような手動目視検査は非常に主観的であり、労働集約的であり、かつ人的エラーをはらんでいる。

【0009】

手動検査には問題があるので、試験所技師による目視検査を用いるのではなく、自動マシンビジョン検査装置を使用することによって検体完全性を評価するための取り組みが行われてきており、このような評価は分析前試験（以下「予備検査」）中に行われる。予備検査には、（たとえば、遠心分離による）分画によって全血から得られた血清または血漿部分中のＨ、Ｉ、および／またはＬなどの干渉物質の自動検出が含まれる。

【0010】

しかし、場合によっては、１つまたはそれ以上の上述のバーコードラベルが検体容器に直接貼り付けられることがある。このようなラベルは、検体に対する特定の横方向の視点を部分的に遮り、覆い隠すことがあり、そのため、血清または血漿部分を目視で確認するためのはっきり見える条件がもたらされない、いくつかの方向があり得る。したがって、このような予備検査の自動化には、たとえば、Ｈ、Ｉ、および／もしくはＬ、またはＮの自動予備検査を可能にするように検体を回転可能に向けることが含まれていた（たとえば、特許文献１参照）。別のシステムでは、検体容器および検体は、複数の視点から撮像され、またモデルベースのシステムによって処理されるので、検体容器を回転させる必要がない（たとえば、特許文献２参照）。

【0011】

場合によっては、血清または血漿部分のうちの小部分しか見えないことがあるので、血清または血漿部分について取得されたいずれのＨ、Ｉ、および／もしくはＬ、またはＮの読取値も、高いレベルの信頼度を伴わないことがある。さらに、このようなシステムは複雑であり、また画像データの処理が計算的に負担になり得る。

【先行技術文献】

【特許文献】

【0012】

【文献】米国特許第９，３２２，７６１号

【文献】ＷＯ２０１６／１３３，９００

【発明の概要】

【発明が解決しようとする課題】

【0013】

したがって、溶血（Ｈ）、黄疸（Ｉ）、および／もしくは脂肪血（Ｌ）の存在、または検体の血清もしくは血漿部分が正常（Ｎ）であるかどうかを決定するために、検体の血清または血漿部分を特徴付ける頑健で効果的な方法および装置に対する満たされていない要望がある。より具体的には、検体がＨ、Ｉ、および／もしくはＬを含むかどうか、または正常（Ｎ）であるかどうかを決定するための改善された方法および装置に対する満たされていない要望がある。

【課題を解決するための手段】

【0014】

第１の態様によれば、検体容器を特徴付ける方法が提供される。この方法は、複数の視点から、検体の血清または血漿部分を含む検体容器の複数の画像を取り込むことと；複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力すること、およびその画像データをセグメンテーション畳み込みニューラルネットワークで処理して複数のラベルマップを同時に出力することと；複数のラベルマップを分類畳み込みニューラルネットワークに入力すること、およびその複数のラベルマップを分類畳み込みニューラルネットワークで処理することと；分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力することとを含む。

【0015】

別の態様によれば、品質検査モジュールが提供される。この品質検査モジュールは、複数の視点から、検体の血清または血漿部分を含む検体容器の複数の画像を取り込むように構成された複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。コンピュータは：複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力し、その画像データをセグメンテーション畳み込みニューラルネットワークで処理して複数のラベルマップを同時に出力するように、複数のラベルマップを分類畳み込みニューラルネットワークに入力し、その複数のラベルマップを分類畳み込みニューラルネットワークで処理するように、かつ、分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力するように構成され動作する。

【0016】

別の態様では、検体試験装置が提供される。この検体試験装置は、軌道と、軌道上で可動であり、検体の血清または血漿部分を含む検体容器を含むように構成されたキャリアと、軌道のまわりに配置され、複数の視点から、検体容器および検体の血清または血漿部分の複数の画像を取り込むように構成された複数の画像取り込みデバイスと、複数の画像取り込みデバイスに連結されたコンピュータとを含む。コンピュータは：複数の画像からの画像データをセグメンテーション畳み込みニューラルネットワークに入力し、その画像データをセグメンテーション畳み込みニューラルネットワークで処理して複数のラベルマップを同時に出力するように、複数のラベルマップを分類畳み込みニューラルネットワークに入力し、その複数のラベルマップを分類畳み込みニューラルネットワークで処理するように；かつ、分類畳み込みニューラルネットワークから血清または血漿部分の分類を、溶血、黄疸、脂肪血、または正常のうちの１つまたはそれ以上であるとして出力するように構成され動作する。

【0017】

本開示のさらに他の態様、機能、および利点は、本発明を実施するための想起されるベストモードを含むいくつかの例示的な実施形態および実施態様を示すことによって、以下の説明から容易に明らかになろう。本開示はまた、他の別の実施形態の余地があり、そのいくつかの細目は様々な点で修正され、すべてが本発明の範囲から逸脱することがない。本開示は、添付の特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものである（以下をさらに参照されたい）。

【0018】

下記の図面は、例示を目的とし、必ずしも原寸に比例しない。したがって、図面および説明は、限定的ではなく、本質的に説明的なものとみなされるべきである。図面は、本発明の範囲を何ら限定するものではない。

【図面の簡単な説明】

【0019】

【図1】１つまたはそれ以上の実施形態によるＨＩＬＮ検出方法を実行するように構成された、１つまたはそれ以上の品質検査モジュールを含む検体試験装置の概略上面図である。

【図2】干渉物質を含む血清または血漿部分がある分離された検体を含む検体容器の側面図であり、検体容器はその上にラベルを含む。

【図3】図３Ａは、ラベルと、干渉物質を含む血清または血漿部分がある分離された検体と、ゲルセパレータとを中に含む検体容器の側面図である。図３Ｂは、垂直の向きでホルダに保持された、図３Ａの検体容器の側面図である。

【図4】図４Ａは、１つまたはそれ以上の実施形態による、複数の視点を含み、干渉物質の存在の決定を可能にするために複数の背面照射画像を取り込み分析するように構成された、品質検査モジュールの概略上面図である（最上部が取り外されている）。図４Ｂは、１つまたはそれ以上の実施形態による、図４Ａの断面線４Ｂ～４Ｂに沿った、図４Ａの品質検査モジュールの概略側面図である（前面の筐体壁が取り外されている）。

【図5】１つまたはそれ以上の実施形態による、検体中のＨ、Ｉ、および／もしくはＬまたはＮが存在することを決定するように構成された単一ディープ畳み込みニューラルネットワーク（ＳＤＮＮ）を含む品質検査モジュールの機能構成要素のブロック図である。

【図6】１つまたはそれ以上の実施形態による、図５のセグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）のアーキテクチャのブロック図である。

【図7】１つまたはそれ以上の実施形態による、図５の分類畳み込みニューラルネットワーク（ＣＣＮＮ）のアーキテクチャのブロック図である。

【図8】１つまたはそれ以上の実施形態による、検体中のＨ、Ｉ、および／もしくはＬ、またはＮを決定する方法のフローチャートである。

【発明を実施するための形態】

【0020】

以下でさらに説明される品質検査モジュールなどにおいて、検体容器に含まれる検体の予備検査中に検体の血清または血漿部分中の干渉物質の存在を決定する方法が、諸実施形態によって提供される。血清または血漿部分は、血液の液体成分であり得、（たとえば、遠心分離による）分画後の沈降血液部分の上に見出される。沈降血液部分は、白血球細胞（白血球）、赤血球細胞（赤血球）、および血小板（血小板）などの血液細胞で構成された濃縮半固体であり得る。血漿と血清は互いに、主としてフィブリノゲンである凝固成分の含有率が異なり得る。血漿は非凝固液体であり得るのに対し、血清は、内在性酵素または外来性成分の影響下で凝固させた血漿を指すことがある。

【0021】

本明細書で用いられる、Ｈ、Ｉ、および／もしくはＬなどの干渉物質、または正常（Ｎ）の決定（以下「ＨＩＬＮ」）とは、検体の血清または血漿部分に溶血（Ｈ）、黄疸（Ｉ）、または脂肪血（Ｌ）のうちの少なくとも１つが存在することを指す。「Ｎ」は「正常」を指し、容認できるほどに少量のＨ、Ｉ、およびＬを含む血清または血漿部分として定義される。溶血は、赤血球細胞が処理中に破壊される血清または血漿部分の１つの状態として定義され、赤血球細胞から血清または血漿部分へのヘモグロビンの放出につながり、血清または血漿部分は赤い色調をおびるようになる。溶血の程度は、溶血指数を割り当てることによって定量化される。黄疸は、胆汁色素（ビリルビン）の蓄積によって引き起こされる、血清または血漿部分が暗黄色に変色する血液の状態として定義される。黄疸の程度は、黄疸指数を割り当てることによって定量化される。脂肪血は、血液中に異常に高い濃度の乳化脂肪が存在することとして定義され、血清または血漿部分は白っぽく、または乳白色に見えるようになる。脂肪血の程度は、脂肪血症指数を割り当てることによって定量化される。

【0022】

諸実施形態による方法では、ただＨＩＬＮだけ、またはＮクラスのＨ（たとえば、Ｈ１、Ｈ２、Ｈ３、またはそれ以上）、ＮクラスのＩ（たとえば、Ｉ１、Ｉ２、Ｉ３、またはそれ以上）、および／もしくはＮクラスのＬ（たとえば、Ｌ１、Ｌ２、Ｌ３、またはそれ以上）、またはＮを決定することができる。加えて、この方法では、血清または血漿部分、沈降血液部分、ゲルセパレータ（使用される場合）、空気、ラベルなどの検体容器および検体の様々な領域、検体容器のタイプ（たとえば、高さおよび幅／直径を示す）、ならびに／または検体容器キャップのタイプおよび／もしくは色などを分類（または「セグメント化」）することができる。検体容器ホルダまたは背景もまた分類される。血清および血漿部分を検体容器上の１つまたはそれ以上のラベルを含む領域から区別することは、１つまたはそれ以上のラベルが検体容器に様々な程度に巻き付き得るので、特に厄介な問題である。したがって、１つまたはそれ以上のラベルは１つまたはそれ以上の視界を覆い隠すことがあり、それにより、血清または血漿部分の明瞭な視界を得るのが困難になることがある。

【0023】

したがって、血清または血漿部分の分類は、配置が実質的に検体容器ごとに異なり得る１つまたはそれ以上のラベルによる干渉の故に、難題であり得る。特に、１つまたはそれ以上のラベルが裏面に現れ、したがって、前面で受けられる光伝達に影響を及ぼし得ることを考えると、１つまたはそれ以上のラベルによって生じる障害は、様々な視点などからのスペクトル応答に重大な影響を及ぼすおそれがある。

【0024】

さらに、自動診断分析システムの品質検査モジュール、およびそこで実施される関連する特徴付け法は、計算的に効率的でなければならない。したがって、上述の難題を前提として、第１の広範な態様において、本開示の諸実施形態は、単一セマンティックセグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）を使用してＨＩＬＮが存在することを決定するように構成された方法および装置を提供し、ＳＣＮＮの出力は分類畳み込みニューラルネットワーク（ＣＣＮＮ）に入力として連結され、これらのネットワークは本明細書では一括して単一ディープニューラルネットワーク（ＳＤＮＮ）と呼ばれる。ＳＤＮＮは、以下でさらに説明する多数の動作層（たとえば、５０～１００個；他の個数の動作層も可能である）を含み得る。

【0025】

いくつかの実施形態では、ＳＣＮＮへの入力はマルチスペクトル、多重露光の画像データとすることができ、この画像データは、整理統合および正規化され、複数の画像取り込みデバイスから得られる。画像取り込みデバイスは、分析のための画素化画像（たとえば、デジタル画像）を取り込むことができる、デジタルカメラ、ＣＣＤ（電荷結合デバイス）、１つまたはそれ以上のＣＭＯＳ（相補型金属酸化膜半導体）センサ、センサのアレイなどの任意のデバイスとすることができる。複数の画像取り込みデバイスは、複数の視点（たとえば、３つの視点；他の数の視点も可能である）からの画像を取り込むように配置および構成される。本明細書に記載の方法では、ＳＣＮＮへの入力としての検体容器および血清または血漿部分の高ダイナミックレンジ（ＨＤＲ）画像処理を用いることができる。ＨＤＲ撮像は、多重スペクトル照明を使用しながら多数のコマを取り込むことを含み得る。いくつかの実施形態では、ＳＣＮＮは、検体容器上の１つまたはそれ以上のラベルによって遮られた領域を認識するように訓練され、そのためＳＣＮＮは、ＨＩＬＮを特徴付けるに際し、検体容器の裏面にラベルが存在することをどの視点からもより適切に明らかにすることができる。

【0026】

その結果、ラベル障害物が存在する場合における血清または血漿領域のより効果的な分類が利用可能になり、ラベルによって遮られている血清または血漿部分のこれらの領域についての強度読取値の信頼度が改善される。したがって、ＨＩＬＮおよび／またはＨＩＬの範囲についての改善された決定がＳＤＮＮから出力される。

【0027】

検体は、血液採取管などの検体容器に集められ、分画（たとえば、遠心分離による分離）の後に、沈降血液部分と血清および血漿部分とを含み得る。いくつかの検体容器では、ゲルセパレータが使用され、これは遠心分離中に、沈降血液部分と血清または血漿部分との間に位置が定まる。ゲルセパレータは、２つの部分（液体と半固体、沈降血液細胞）の間の物理的なバリアとして機能し、再混合を最小限にすることができる。検体容器は、様々なサイズとすることができ、したがって、いくつかの異なる構成の予備検査および分析器に供給される。たとえば、検体容器は、１３ｍｍ×７５ｍｍ、１３ｍｍ×１００ｍｍ、１６ｍｍ×１００ｍｍ、および１６ｍｍ×１２５ｍｍなどのサイズを有し得る。他の適切なサイズも使用される。

【0028】

１つの態様によれば、特徴付け方法は、品質検査モジュールによって、検体試験システムにおいて実行され、それぞれがＳＤＮＮを含む。ＳＤＮＮは、血清または血漿部分およびラベル包含領域の単純なエッジ、テクスチャおよび各部分などの特徴を抽出するための、たとえば、ＢａｔｃｈＮｏｒｍ層、ＲｅＬＵ起動層、畳み込み（たとえば、２Ｄ）層、ドロップアウト層、および逆畳み込み（たとえば、２Ｄ）層を含む、動作層を含むことができる。完全畳み込み層などの最上層は、部分間の相関性を提供するために使用される。この層の出力はＳｏｆｔＭａｘ層に供給され、この層では、画素ごと（または、ｎ×ｎ画素を含むパッチごと）ベースで、それぞれの画素またはパッチがＨＩＬＮを含むかどうかに関して出力を生成する。いくつかの実施形態では、ＨＩＬＮの出力だけがＣＣＮＮから提供される。他の実施形態では、ＣＣＮＮの出力は、Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３、またはＮなどのきめ細かなＨＩＬＮとすることができ、それにより、存在する干渉物質ごとに干渉物質のレベル（指標）の推定もまた得られる。

【0029】

検体がＨ、Ｉ、およびＬのうちの１つまたはそれ以上を含むことが判明したならば、適切な通知が操作員に提供され、かつ／またはその検体容器がラインから取り除かれて、（１）Ｈ、Ｉ、またはＬのうちの１つまたはそれ以上を矯正するための改善が行われる、（２）干渉物質が存在する程度がより正確に測定される、（３）検体が再抽出される、または（４）他の処置が行われる。したがって、遠心分離後の最初の可能な場合に、および１つまたはそれ以上の分析器による分析の前などに、ＨＩＬＮの予備検査ができることにより、有利には、（ａ）分析には不適正な品質の検体を分析して浪費される時間が最小になり、（ｂ）試験結果の誤りを回避するか最小限にすることができ、（ｃ）患者の試験結果遅延を最小にすることができ、かつ／または（ｄ）患者の検体の浪費を回避することができる。

【0030】

いくつかの実施形態では、セグメンテーション出力とＨＩＬＮ出力の組み合わせが提供される。これらの出力は、ＳＤＮＮの多数の分岐からもたらされ得る。これらの分岐は、別個の畳み込み層ならびに逆畳み込みおよびＳｏｆｔＭａｘ層を含むことができ、１つの分岐がセグメンテーション検出専用に、他がＨＩＬＮ検出専用にされる。ＨＩＬＮ検出、セグメンテーション検出、検体容器タイプ検出、および／またはキャップタイプ検出を含む、多分岐実施形態もまた提供される。

【0031】

発明の特徴付け方法、特徴付け方法を実行するように構成された品質検査モジュール、および１つまたはそれ以上の品質検査モジュールを含む検体試験装置のさらなる詳細について、図１～図８を参照して本明細書でさらに説明する。

【0032】

図１は、検体２１２を含む多数の検体容器１０２を自動的に処理することができる検体試験装置１００を示す（たとえば、図２～図３Ｂも参照されたい）。検体容器１０２は、検体試験装置１００のまわりに配置された１つまたはそれ以上の分析器（たとえば、それぞれ第１、第２、および第３の分析器１０６、１０８、および／または１１０）への輸送およびこれらの分析器による分析の前に、装填領域１０５において１つまたはそれ以上のラック１０４内に提供される。これより多いまたは少ない数の分析器を使用することもできる。分析器は、臨床化学分析器および／または検査計器などの任意の組み合わせとすることができる。検体容器１０２は、検体２１２を含むことができる、かつ中に含まれる検体２１２の撮像を可能にする任意の適切に透明な、または半透明な、血液採取管、試験管、試料カップ、キュベット、または他の透明または不透明なガラスまたはプラスチック容器などの容器とすることができる。検体容器１０２は、サイズが多様である。

【0033】

検体２１２（図２～図３Ｂ）は、検体容器１０２に入れて検体試験装置１００に提供され、検体容器にはキャップ２１４で蓋がされる。キャップ２１４は、様々なタイプおよび／または色（たとえば、赤、藤紫、薄青、緑、灰、黄褐色、黄、または色組み合わせ）とすることができ、これらのタイプおよび色は、どの試験に検体容器１０２が使用されるか、容器に含まれる添加剤のタイプ、容器がゲルセパレータを含むかどうか、などに関する意味を有し得る。他の色も使用される。１つの実施形態では、キャップタイプは、本明細書に記載の特徴付け方法によって決定される。

【0034】

検体容器１０２のそれぞれはラベル２１８を備え、このラベルは、バーコード、アルファベット、数字、またはこれらの組み合わせなどの識別情報２１８ｉ（すなわち、印）を含むことができる。識別情報２１８ｉは、検体試験装置１００のまわりの様々な場所において機械可読とすることができる。機械可読情報は、ラベル材料（たとえば、白い紙）よりも暗く（たとえば、黒に）することができるので、容易に撮像される。識別情報２１８ｉは、ラボラトリ情報システム（ＬＩＳ）１４７を介して、患者の識別情報ならびに検体２１２に実施予定の試験を表示すること、または別の方法でこれらと関連付けることができる。識別情報２１８ｉは、他の、または追加の情報を示すことができる。このような識別情報２１８ｉは、ラベル２１８上に提供され、このラベルは、管２１５の外面に貼り付けられるか、別の方法で設けられる。図２に示されるように、ラベル２１８は、検体容器１０２のまわり全部にも検体容器１０２の全長に沿っても延びることができず、それにより、図示の特定の前方視点からは血清または血漿部分２１２ＳＰの大部分が見え（点で示された部分）、ラベル２１８によって妨げられない。

【0035】

しかし、いくつかの実施形態では、複数のラベル２１８が設けられており（たとえば、検体容器１０２を取り扱った複数の施設などから）、これらのラベルは、ある程度互いに重なり合うことがある。たとえば、２つのラベル（たとえば、製造者のラベルおよびバーコードラベル）が設けられ、重なり合っていることがあり、１つまたはそれ以上の視点の一部または全部を遮る（妨げる）ことがある。

【0036】

したがって、いくつかの実施形態では、ラベル２１８が検体２１２の部分をいくらか遮ることがあるが（遮蔽部分）、検体２１２ならびに血清および血漿部分２１２ＳＰの部分のいくらかは、少なくとも１つの視点からは依然として見えることがある（非遮蔽部分）ことを理解されたい。したがって、本開示の別の態様によれば、特徴付け方法を実行するように構成されたＳＤＮＮの実施形態は、遮蔽部分および非遮蔽部分を認識するように訓練され、それにより、改善されたＨＩＬＮ検出がもたらされる。

【0037】

再び図２を参照すると、検体２１２は、管２１５内に含まれた血清または血漿部分２１２ＳＰおよび沈降血液部分２１２ＳＢを含み得る。空気２１６が血清および血漿部分２１２ＳＰの上に提供され、これらの間の区切り線が、液体－空気境界面（ＬＡ）として定義される。血清または血漿部分２１２ＳＰと沈降血液部分２１２ＳＢの間の区切り線は、血清－血液境界面（ＳＢ）として定義される。空気２１６とキャップ２１４の間の境界面は、管－キャップ境界面（ＴＣ）として定義される。管の高さ（ＨＴ）は、管２１５の最下部からキャップ２１４の下部までの高さとして定義され、管サイズを定めるために用いられる。血清または血漿部分２１２ＳＰの高さは（ＨＳＰ）であり、血清または血漿部分２１２ＳＰの最上部から沈降血液部分２１２ＳＢの最上部までの高さとして定義される。沈降血液部分２１２ＳＢの高さは（ＨＳＢ）であり、沈降血液部分２１２ＳＢの下部からＳＢの沈降血液部分２１２ＳＢの最上部までの高さとして定義される。ＨＴＯＴは検体２１２の全高であり、ＨＳＰプラスＨＳＢに等しい。

【0038】

ゲルセパレータ３１３が使用される場合（図３Ａ）、血清または血漿部分２１２ＳＰの高さは（ＨＳＰ）であり、ＬＡの血清または血漿部分２１２ＳＰの最上部からＳＧのゲルセパレータ３１３の最上部までの高さとして定義され、ＳＧは、血清または血漿部分２１２ＳＰとゲルセパレータ３１３の間の境界面である。沈降血液部分２１２ＳＢの高さは（ＨＳＢ）であり、沈降血液部分２１２ＳＢの下部からＢＧのゲルセパレータ３１３の下部までの高さとして定義され、ＢＧは、沈降血液部分２１２ＳＢとゲルセパレータ３１３の間の境界面である。ＨＴＯＴは、検体２１２の全高であり、ＨＳＰプラスＨＳＢにゲルセパレータ３１３の高さを加えたものに等しい。それぞれの場合で、Ｔｗは壁厚であり、Ｗは外幅であり、検体容器１０２のサイズを定めるためにも用いられ、Ｗｉは検体容器１０２の内幅である。

【0039】

より詳細には、検体試験装置１００は、ベース１２０（図１）（たとえば、フレーム、床、または他の構造体）を含むことができ、その上に軌道１２１が取り付けられる。軌道１２１は、レール敷軌道（たとえば、単レールまたは複レール）、コンベヤベルトを集めたもの、コンベヤチェーン、可動プラットフォーム、または他の任意の適切なタイプの搬送機構とすることができる。軌道１２１は、環状または他の任意の形状とすることができ、いくつかの実施形態では、閉軌道（たとえば、無限軌道）とすることができる。軌道１２１は、動作中、検体容器１０２の個々のものを、軌道１２１のまわりの間隔をあけた様々な場所まで、キャリア１２２に入れて輸送することができる。

【0040】

キャリア１２２は、軌道１２１上で単一の検体容器１０２を搬送するように構成されている受動的な、モータのないパックとするか、場合により、軌道１２１を回り、あらかじめプログラムされた場所で停止するようにプログラムされているリニアモータなどの搭載駆動モータを含む自動キャリアとすることができる。キャリア１２２の別の構成も使用される。キャリア１２２はそれぞれ、規定された垂直の位置および向きに検体容器１０２を保持するように構成されたホルダ１２２Ｈ（図３Ｂ）を含み得る。ホルダ１２２Ｈは、検体容器１０２をキャリア１２２上に固定する複数のフィンガまたは板ばねを含み得るが、その一部は、異なるサイズの検体容器１０２を収容するために可動または可撓とすることができる。いくつかの実施形態では、キャリア１２２は、１つまたはそれ以上のラック１０４から取り出された後に装填領域１０５から出ることができる。装填領域１０５は、予備検査および／または分析が完了した後にキャリア１２２から装填領域１０５への検体容器１０２の再装填を可能にもするという二重機能の役割を果たし得る。

【0041】

ロボット１２４が装填領域１０５に設けられており、１つまたはそれ以上のラック１０４から検体容器１０２をつかみ取り、その検体容器１０２を軌道１２１の入力レーンの上などのキャリア１２２の上に装填するように構成されている。ロボット１２４はまた、検体容器１０２をキャリア１２２から１つまたはそれ以上のラック１０４へ再装填するようにも構成されている。ロボット１２４は、Ｘ（横方向）およびＺ（垂直－図示の紙から外へ）、ＹおよびＺ、Ｘ、Ｙ、ならびにＺ、またはｒ（径方向）およびθ（回転）の運動ができる、１つまたはそれ以上（たとえば、少なくとも２つ）のロボットアームまたは構成要素を含み得る。ロボット１２４は、ガントリロボット、関節ロボット、Ｒ－θロボット、または他の適切なロボットとすることができ、検体容器１０２を取り上げ、配置するように向けられ寸法設定され構成されたロボットグリッパフィンガを装備する。

【0042】

軌道１２１の上に装填されたとき、キャリア１２２によって搬送される検体容器１０２は、第１の前処理ステーション１２５へと進むことができる。たとえば、第１の前処理ステーション１２５は、検体２１２の分画を行うように構成された自動遠心分離機とすることができる。検体容器１０２を搬送するキャリア１２２は、流入レーンまたは他の適切なロボットによって、第１の前処理ステーション１２５へ進路が変えられる。遠心分離された後、検体容器１０２は流出レーンへ退出することができ、または別法としてロボットによって取り出され、軌道１２１をたどって先へ進む。図示の実施形態では、キャリア１２２内の検体容器１０２は次に、図４Ａ～図８を参照して本明細書でさらに説明するように、品質検査モジュール１３０まで輸送されて予備検査が行われる。

【0043】

品質検査モジュール１３０は、予備検査、および本明細書に記載の特徴付け方法を実行するように構成され、かつ、検体２１２に含まれるＨ、Ｉ、および／またはＬの存在、ならびに場合によりその範囲を、または検体が正常（Ｎ）であるかどうかを自動的に決定するように構成されている。正常（Ｎ）と考えられるほどに全く少量のＨ、Ｉおよび／またはＬが含まれていることが判明した場合には、検体２１２は軌道１２１上を先へ進むことができ、次に、１つまたはそれ以上の分析器（たとえば、第１、第２、および／または第３の分析器１０６、１０８、および／または１１０）によって分析される。その後、検体容器１０２は、１つまたはそれ以上のラック１０４に再装填するために、装填領域１０５まで戻される。

【0044】

いくつかの実施形態では、ＨＩＬＮの検出に加えて、検体容器１０２および検体２１２のセグメンテーションが行われ得る。セグメンテーションデータから、後処理が検体２１２の定量化（すなわち、ＨＳＰ、ＨＳＢ、ＨＴＯＴの決定、ならびにＳＢまたはＳＧ、およびＬＡの位置の決定）のために用いられる。いくつかの実施形態では、検体容器１０２の物理的属性（たとえば、サイズ－高さおよび幅／直径）の特徴付けが、品質検査モジュール１３０において行われ得る。このような特徴付けには、ＨＴおよびＷ、ならびに場合によりＴＣ、および／またはＷｉを決定することが含まれ得る。この特徴付けから、検体容器１０２のサイズが得られる。さらに、いくつかの実施形態では、品質検査モジュール１３０はまたキャップタイプを判別することもでき、この判別は安全検査として用いられ、オーダされた試験に間違った管タイプが使用されたかどうかを把握することができる。

【0045】

いくつかの実施形態では、軌道１２１に直接結合されていない遠隔ステーション１３２が検体試験装置１００に設けられる。たとえば、独立したロボット１３３（点で示す）が、検体２１２を含む検体容器１０２を遠隔ステーション１３２まで搬送し、試験／前処理の後に戻すことができる。場合により、検体容器１０２は手動で取り出され、戻される。遠隔ステーション１３２は、溶血レベルなどの特定の成分の試験のために使用され、あるいは、１つまたはそれ以上の添加物および／または追加の処理によって、脂肪血レベルを下げたり、たとえば血塊、気泡または泡を取り除いたりするなどの別の処理のために使用される。本明細書に記載のＨＩＬＮ検出方法を用いる他の予備検査も、遠隔ステーション１３２において遂行される。

【0046】

追加ステーションが、軌道１２１上またはこれに沿った１つまたはそれ以上の位置に設けられる。追加ステーションには、キャップ除去ステーション、アリコートステーション、１つまたはそれ以上の追加の品質検査モジュール１３０などが含まれ得る。

【0047】

検体試験装置１００は、軌道１２１のまわりの１つまたはそれ以上の位置に、いくつかのセンサ１１６を含み得る。センサ１１６は、識別情報２１８ｉ、または各キャリア１２２に提供される同様の情報（図示せず）を読み取ることによって軌道１２１上の検体容器１０２の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段が使用される。センサ１１６のすべてがコンピュータ１４３とインターフェースすることができるので、各検体容器１０２の位置が常に分かる。

【0048】

前処理ステーションならびに分析器１０６、１０８、１１０は、キャリア１２２を軌道１２１から取り出すように構成されたロボット機構および／または流入レーンと、キャリア１２２を軌道１２１へ再び入れるように構成されたロボット機構および／または流出レーンとを装備する。

【0049】

検体試験装置１００は、コンピュータ１４３によって制御され、このコンピュータは、適切なメモリと、様々なシステム構成要素を動作させるための適切なコンディショニング電子回路およびドライバを有するマイクロプロセッサベースの中央処理ユニットＣＰＵとすることができる。コンピュータ１４３は、検体試験装置１００のベース１２０の一部として、またはそれとは別に収容される。コンピュータ１４３は、キャリア１２２の、装填領域１０５へ行き来する動き、軌道１２１のまわりの動き、第１の前処理ステーション１２５へ行き来する動き、ならびに第１の前処理ステーション１２５（たとえば、遠心分離機）の動作と、品質検査モジュール１３０へ行き来する動き、ならびに品質検査モジュール１３０の動作と、各分析器１０６、１０８、１１０へ行き来する動き、ならびに様々なタイプの試験（たとえば、検査または臨床化学）を行うための各分析器１０６、１０８、１１０の動作とを制御するように動作することができる。

【0050】

品質検査モジュール１３０以外のすべてについて、コンピュータ１４３は検体試験装置１００を、ニューヨーク州ＴａｒｒｙｔｏｗｎのＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ．から販売されているＤｉｍｅｎｓｉｏｎ（登録商標）臨床化学分析器に使用されているものなどの、ソフトウェア、ファームウェア、および／またはハードウェアコマンドもしくは回路によって制御することができ、このような制御は、コンピュータベースの電気機械制御プログラミングの当業者には一般的なものであり、本明細書ではこれ以上の説明をしない。しかし、検体試験装置１００を制御するための他の適切なシステムも使用される。品質検査モジュール１３０の制御はまた、本明細書に詳細に記載されている本発明の特徴付け方法による他に、コンピュータ１４３によっても提供される。

【0051】

画像処理のために、かつ本明細書に記載の特徴付け方法を実行するために使用されるコンピュータ１４３は、ＣＰＵまたはＧＰＵ、十分な処理能力およびＲＡＭ、ならびに適切な記憶容量を含み得る。１つの例では、コンピュータ１４３は、１つまたはそれ以上のＧＰＵ、８ＧＢ ＲＡＭ以上、およびテラバイト以上の記憶容量を備えたマルチプロセッサ装備のＰＣとすることができる。別の例では、コンピュータ１４３は、ＧＰＵ装備のＰＣ、または場合により、並列モードで動作させるＣＰＵ装備のＰＣとすることができる。ＭＫＬが同様に使用され、８ＧＢ ＲＡＭ以上、および適切な記憶容量。

【0052】

本開示の諸実施形態は、ユーザが様々な制御画面および状態表示画面に容易かつ迅速にアクセスできるようにするコンピュータインターフェースモジュール（ＣＩＭ）１４５を使用して実現される。これらの制御画面および状態表示画面は、検体２１２の調製および分析のために使用される複数の相互関連自動デバイスの、一部または全部の態様の制御を表示し有効にすることができる。ＣＩＭ １４５は、複数の相互関連自動デバイスの動作状態についての情報、ならびにいずれかの検体２１２の位置、さらには検体２１２に実施予定の、または実施されている試験の状態を表す情報を提供するために使用される。ＣＩＭ １４５はこのように、操作員と検体試験装置１００の間の対話を容易にするように適用されている。ＣＩＭ １４５は、アイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように機能する表示画面を含むことができ、この画面を通して操作員は、検体試験装置１００とインターフェースすることができる。メニューは、検体試験装置１００の機能的態様を表示および／または動作させるようにプログラムされた、いくつかの機能要素を含み得る。

【0053】

図４Ａおよび図４Ｂは、本明細書に図示および記述された特徴付け方法を実行するように構成された品質検査モジュール１３０の第１の実施形態を示す。品質検査モジュール１３０は、１つまたはそれ以上の分析器１０６、１０８、１１０による分析の前に検体２１２中の（たとえば、その血清または血漿部分２１２ＳＰ中の）干渉物質（たとえば、Ｈ、Ｉ、および／またはＬ）の存在の予備検査をするように構成される。このように予備検査をすることにより、追加の処理、追加の定量化もしくは特徴付け、ならびに／または検体２１２の廃棄および／もしくは再抽出が、貴重な分析器資源を浪費することなく、あるいは、場合により干渉物質が存在することが試験結果の信憑性に影響を及ぼすことなく、可能になる。

【0054】

本明細書に記載の干渉物質検出方法に加えて、他の検出方法が、検体容器１０２に含まれる検体２１２について品質検査モジュール１３０で行われ得る。たとえば、ＳＤＮＮからの出力としてセグメンテーションを提供する方法が、品質検査モジュール１３０で実行される。セグメンテーションデータは、検体２１２を定量化するために、すなわち、検体２１２の特定の物理的寸法特性を決定するために（たとえば、ＬＡおよびＳＢ、ならびに／またはＨＳＰ、ＨＳＢ、および／もしくはＨＴＯＴの決定）、後処理ステップで使用される。定量化にはまた、たとえば血清または血漿部分の量（ＶＳＰ）および／または沈降血液部分の量（ＶＳＢ）を推定することが伴い得る。定量化可能な他の幾何学的特徴もまた決定される。

【0055】

さらに、品質検査モジュール１３０は、検体容器１０２の幾何学的形状を定量化するために、すなわち、検体容器１０２のＴＣ、ＨＴ、および／またはＷもしくはＷｉの位置などの、検体容器１０２の特定の物理的寸法特性を定量化するために使用される。

【0056】

図１、図４Ａおよび図４Ｂを参照すると、品質検査モジュール１３０は複数の画像取り込みデバイス４４０Ａ～４４０Ｃを含み得る。３つの画像取り込みデバイス４４０Ａ～４４０Ｃが図示されており好ましいが、場合により２つが、または４つ以上が使用される。画像取り込みデバイス４４０Ａ～４４０Ｃは、画素化画像を取り込むことができる従来のデジタルカメラ、電荷結合デバイス（ＣＣＤ）、光検出器のアレイ、１つまたはそれ以上のＣＭＯＳセンサなどの、適切に画成されたデジタル画像を取り込むための任意の適切なデバイスとすることができる。たとえば、３つの画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃが図４Ａに示されており、これらは、３つの異なる横方向視点（１、２、および３と標示された視点）から画像を取り込むように構成されている。取り込まれる画像サイズは、たとえば約２５６０×６９４画素であり得る。別の実施形態では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、たとえば約１２８０×３８７画素であり得る画像サイズを取り込むことができる。他の画像サイズおよび画素密度も使用される。

【0057】

画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃのそれぞれは、検体容器１０２の少なくとも一部分および検体２１２の少なくとも一部分の横方向画像を取り込むように構成され動作可能である。たとえば、画像取り込みデバイス４４０Ａ～４４０Ｃは、ラベル２１８の一部、および血清または血漿部分２１２ＳＰの一部または全部を取り込むことができる。場合によっては、たとえば、視点１～３の一部がラベル２１８によって部分的に遮られる。いくつかの実施形態では、視点１～３のうちの１つまたはそれ以上が完全に遮られ、すなわち、血清または血漿部分２１２ＳＰが明瞭に見える可能性がないことがある。しかし、視点１～３の側面（前側または後側）が１つまたはそれ以上のラベル２１８によって完全に遮られている場合でも、特徴付け方法ではなお、１つまたはそれ以上の遮るラベル２１８を介して血清または血漿部分２１２ＳＰの境界を区別することが可能であり得る。

【0058】

図示の実施形態では、複数の画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、撮像位置４３２の検体容器１０２および検体２１２の横方向画像を複数の視点１～３から取り込むように構成される。視点１～３は、図示のように互いから約１２０°などのほぼ等しい間隔が互いに置かれるように配置される。図示のように、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、軌道１２１のまわりに配置される。複数の画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃの他の配置も用いられる。このようにして、検体容器１０２中の検体２１２の画像が、検体容器１０２が撮像位置４３２でキャリア１２２中にある間に取得される。画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃによって得られる複数の画像の視野は、周方向の範囲でわずかに重なり合い得る。

【0059】

１つまたはそれ以上の実施形態では、キャリア１２２は、撮像位置４３２などの、品質検査モジュール１３０の所定の位置で、すなわち、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃのそれぞれからの法線ベクトルが互いに交差する点などで、停止される。キャリア１２２のゲートまたはリニアモータが、撮像位置４３２でキャリア１２２を停止させるために設けられ、それにより、複数の高品質画像がその位置で取り込まれる。品質検査モジュール１３０にゲートがある実施形態では、１つまたはそれ以上の（センサ１１６のような）センサが、品質検査モジュール１３０にキャリア１２２が存在することを決定するために使用される。

【0060】

画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、撮像位置４３２に近接して設けられ、その位置で画像ウィンドウを取り込むように訓練されるか焦点が合わされ、ここで、この画像ウィンドウは、検体容器１０２の予測位置を含む領域である。したがって、検体容器１０２は、いくつかの実施形態ではビューウィンドウのほぼ中心に位置するように停止される。取り込まれた画像中に、１つまたはそれ以上の参照データが存在する。

【0061】

品質検査モジュール１３０の動作中、コンピュータ１４３から送出される、通信ライン４４３Ａ、４４３Ｂ、４４３Ｃに提供されたトリガ信号に応答して各画像がトリガされ取り込まれる。取り込まれた画像のそれぞれが、１つまたはそれ以上の実施形態によれば、コンピュータ１４３によって処理される。１つの特に効果的な方法では、高ダイナミックレンジ（ＨＤＲ）処理が使用されて、取り込まれた画像から画像データを取り込まれ処理される。より詳細には、検体２１２の複数の画像が、１つまたはそれ以上の異なるスペクトルで順次に照明されながら、複数の異なる露光量で（たとえば、異なる露光時間で）品質検査モジュール１３０において取り込まれる。たとえば、各画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、血清または血漿部分２１２ＳＰを含む検体容器１０２の４～８枚の画像を異なる露光時間で、複数のスペクトルのそれぞれにおいて取得することができる。たとえば、４～８枚の画像が、赤スペクトルを有する光源４４４Ａによって検体２１２が背面照射照明されている間に、視点１で画像取り込みデバイス４４０Ａによって取得される。追加の同様の画像が、視点２および３において順次に取得される。

【0062】

いくつかの実施形態では、複数のスペクトルの画像が、別々のスペクトルの照明を発する別々の光源４４４Ａ～４４４Ｃを使用して得られる。光源４４４Ａ～４４４Ｃは、検体容器１０２を背面照射することができる（図示の通り）。いくつかの実施形態では、散光器が光源４４４Ａ～４４４Ｃと組み合わせて使用される。複数の異なるスペクトルの光源４４４Ａ～４４４Ｃは、６３４ｎｍ±３５ｎｍ（赤）、５３７ｎｍ±３５ｎｍ（緑）、および４５５ｎｍ±３５ｎｍ（青）の公称波長を発するＬＥＤなどのＲＧＢ光源とすることができる。他の実施形態では、光源４４４Ａ～４４４Ｃは白色光源とすることができる。ラベル２１８が複数の視点を覆い隠す場合には、ＩＲ背面照射またはＮＩＲ背面照射が使用される。さらに、ＲＧＢ光源が、ラベル遮蔽があるときでさえも場合によっては使用される。他の実施形態では、光源４４４Ａ～４４４Ｃは、公称波長が約７００ｎｍから約１２００ｎｍの間の１つまたはそれ以上のスペクトルを発することができる。

【0063】

非限定的な例として、第１の波長で画像を取り込むには、３つの赤色光源４４４Ａ～４４４Ｃ（約６３４ｎｍ±３５ｎｍの波長）が使用されて、検体２１２が３つの横方向位置から順次に照明される。光源４４４Ａ～４４４Ｃによる赤色照明は、複数の画像（たとえば、４～８枚以上の画像）が、異なる露光時間で各画像取り込みデバイス４４０Ａ～４４０Ｃによって各視点１～３から取り込まれるときに行われ得る。いくつかの実施形態では、露光時間は約０．１ｍｓから２５６ｍｓの間とすることができる。他の露光時間も用いられる。いくつかの実施形態では、各画像取り込みデバイス４４０Ａ～４４０Ｃのそれぞれの画像は、たとえば順次に取得される。したがって、視点１～３ごとに、赤スペクトル背面照射照明および複数の露光量（たとえば、異なる露光時間などの、４～８回の露光）を有する一群の画像が順次に得られる。画像は、たとえば、視点１からの全画像が取得された後に視点２および３が順次続く、ラウンドロビン式に取得される。

【0064】

各実施形態では、品質検査モジュール１３０は、外光の影響を最小にするために軌道１２１を少なくとも部分的に取り囲むか覆うことができるハウジング４４６を含み得る。検体容器１０２は、画像取得シーケンス中はハウジング４４６の内側に位置する。ハウジング４４６は、キャリア１２２がハウジング４４６を出入りできるようにするための１つまたはそれ以上の扉４４６Ｄを含み得る。いくつかの実施形態では、天井は、可動ロボット指を含むロボットによって上方から検体容器１０２をキャリア１２２の中に装填できるようにするための、開口部４４６Ｏを含み得る。

【0065】

図４Ａ～図４Ｂの実施形態で赤色照明画像が取り込まれると、別のスペクトルの光、たとえば緑のスペクトル光源４４４Ａ～４４４Ｃ（公称波長が約５３７ｎｍで帯域幅が約±３５ｎｍ）が点灯され、異なる露光時間の複数の画像（たとえば、４～８枚以上の画像）が、各画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃによって順次に取り込まれる。この画像取り込みが、青のスペクトル光源４４４Ａ～４４４Ｃ（公称波長が約４５５ｎｍ、帯域幅が約±３５ｎｍ）を用いて、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃごとに繰り返される。異なる公称波長スペクトル光源４４４Ａ～４４４Ｃは、たとえば、選択的にオン・オフできる異なる所望のスペクトル光源（たとえば、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、および／またはＮＩＲ）のバンクを含む光パネルによって実現される。背面照射の他の手段も使用される。

【0066】

それぞれの波長スペクトルごとに複数の露光量（たとえば、露光時間）で取得される複数の画像は、複数の視点１～３からの検体容器１０２および検体２１２の背面照射画像の集まり全体がたとえば数秒未満で得られるように、速く連続で得られる。１つの例では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０ＣとＲＧＢ光源４４４Ａ～４４４Ｃによる背面照射とを使用する、３つの視点１～３においての波長ごとの４つの異なる露光画像の結果として、４画像×３スペクトル×３画像取り込みデバイス＝３６画像が得られる。別の例では、画像取り込みデバイス４４０Ａ、４４０Ｂ、４４０ＣとＲ、Ｇ、Ｂ、Ｗ、ＩＲおよびＮＩＲ光源４４４Ａ～４４４Ｃによる背面照射とを使用する、３つの視点における波長ごとの４つの異なる露光画像の結果として、４画像×６スペクトル×３カメラ＝７２画像が得られる。

【0067】

特徴付け方法の諸実施形態によれば、画像データの処理は、たとえば、各波長スペクトルの異なる露光時間での、かつ画像取り込みデバイス４４０Ａ～４４０Ｃごとの、複数の取り込み画像から最適に露光された画素をスペクトルごとおよび視点１～３ごとに、最適に露光された画像データを生成するように選択することを含む処理ステップを伴い得る。これは、本明細書では「画像整理統合」と呼ばれる。

【0068】

各画像取り込みデバイス４４０Ａ～４４０Ｃからの画像のそれぞれに対して、対応する画素（またはパッチ）ごとに、最適画像強度を示す画素（またはパッチ）が、視点１～３ごとに、別々の露光画像のそれぞれから選択される。１つの実施形態では、最適画像強度は、たとえば所定の強度の範囲（たとえば、０～２５５のスケールで１８０～２５４の間）に入る画素（またはパッチ）であり得る。別の実施形態では、最適画像強度は、たとえば、０～２５５のスケールで１６～２５４の間であり得る。２つの露光画像の対応する画素（またはパッチ）位置に１つよりも多い画素（またはパッチ）が最適に露光されていると決定された場合には、２つのうちの高い方が選択される。

【0069】

最適画像強度を示す選択された画素（またはパッチ）は、それぞれの露光時間によって正規化される。その結果は、照明スペクトル（たとえば、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、および／またはＮＩＲ－使用される組み合わせによる）に対する、および画像取り込みデバイス４４０Ａ～４４０Ｃごとの、複数の正規化および整理統合されたスペクトル画像データセットになり、画素（またはパッチ）のすべてが最適に露光され（たとえば、スペクトルごとに１つの画像データセット）正規化される。言い換えると、視点１～３ごとに、コンピュータ１４３によって実行されるデータ前処理により、複数の最適に露光され正規化された画像データセットが、使用される照明スペクトルごとに１つ得られる。

【0070】

図５は、本明細書に記載のＨＩＬＮ特徴付け方法を実行するように構成された機能構成要素を含む装置５００を示す。装置５００は、コンピュータ１４３によって制御される品質検査モジュール１３０として具現化される。上で論じたように、検体容器１０２は、機能ブロック５０２で、品質検査モジュール１３０の撮像位置４３２（図４Ａおよび図４Ｂ）に提供される。マルチビュー画像が、機能ブロック５０４で、複数の画像取り込みデバイス４４０Ａ～４４０Ｃによって取り込まれる。マルチビュー、マルチスペクトル、多重露光画像のそれぞれの画像データが、上で論じたように機能ブロック５０６で前処理されて、複数の最適に露光され正規化された画像データセット（以下「画像データセット」）がもたらされる。さらに、いくつかの実施形態では、複数の画像取り込みデバイス４４０Ａ～４４０Ｃそれぞれからのそれぞれの画像データは、単一の入力として、画像取り込みデバイスの数に対応する追加のチャネル（たとえば、３つの画像取り込みデバイス４４０Ａ～４４０Ｃに３倍以上のチャネルが対応する）と共に積み重ねられるか互いに関係付けられる。たとえば、３つの画像取り込みデバイス４４０Ａ～４４０Ｃからの画像がチャネル次元に沿って積み重ねられ、各画像取り込みデバイスは、１２７２×３６０×６の寸法を有するハイパースペクトル画像を生成することができる。この場合、結果として生じる積み重ね画像入力は１２７２×３６０×１８の寸法を有することができ、第１の６つのチャネルは画像取り込みデバイス４４０Ａに属し、第２の６つのチャネルは画像取り込みデバイス４４０Ｂに属し、第３の６つのチャネルは画像取り込みデバイス４４０Ｃに属する。この積み重ね画像入力は、単一ディープ畳み込みニューラルネットワーク（ＳＤＮＮ）５３５に提供される。

【0071】

ＳＤＮＮ ５３５は、それぞれの画像取り込みデバイスからの画像をそれぞれの畳み込みニューラルネットワークによって別々に処理する既知の技術よりも有利である。すなわち、３つの画像取り込みデバイスが使用された場合、既知の技術には、ＨＩＬＮを決定するために、３つの別々の畳み込みニューラルネットワークと３つの別々の統計的分析とが含まれた。このような技術では、メモリ効率や計算効率がよくない。それとは対照的に、本明細書に記載のように、複数の画像取り込みデバイス４４０Ａ～４４０Ｃからの画像を単一の積み重ね画像入力になるように積み重ねることによって、また積み重ね画像入力をＳＤＮＮ ５３５で処理することによって、高いメモリ効率および計算効率が達成される。

【0072】

ＳＤＮＮ ５３５は、積み重ね画像データを受け複数の画素ラベルマップ５３７を同時に出力するセグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）５３６を含むことができ、画素ラベルマップ５３７の数が画像取り込みデバイスの個数に対応する（たとえば３つであり、３つの画像取り込みデバイス４４０Ａ～４４０Ｃに対応する）。ＳＤＮＮ ５３５はまた、複数の画素ラベルマップ５３７を入力として受けＨＩＬＮ ５４０Ｈ、５４０Ｉ、５４０Ｌ、５４０Ｎの決定を出力する分類畳み込みニューラルネットワーク（ＣＣＮＮ）５３８を含むこともできる。場合により、ＳＣＮＮ ５３６は、血清セグメンテーション情報５４２、および／または検体容器／キャップタイプ情報５４４を出力することができる。

【0073】

ＨＩＬＮ（ならびに／または場合によりセグメンテーションおよび／もしくはキャップタイプ情報）を決定するために画像データを画像取り込みデバイス４４０Ａ～４４０Ｃから受ける前に、ＳＤＮＮ ５３５は、ＨＩＬＮならびに場合により血清セグメンテーションおよび／または検体容器／キャップタイプを認識するように前もって訓練されている。いくつかの実施形態では、ＳＣＮＮ ５３６はまず、ＣＣＮＮ ５３８なしで訓練される。訓練例の複数の組が、ＳＣＮＮ ５３６を訓練するために使用される。ＳＣＮＮ ５３６は、検体２１２を含む検体容器１０２の多数の試料を品質検査モジュール１３０で撮像することによって、かつ、様々な検体ＨＩＬＮ状態を有する検体２１２の多数の例の様々な領域の輪郭、ラベル２１８による遮蔽の様々な領域、血清または血漿部分２１２ＳＰの高さなどの輪郭を図で示すことによって、訓練される。図による輪郭と共に、領域ごとのクラス特徴付け情報が提供される。ＳＣＮＮ ５３６を訓練するために５００枚以上、１０００枚以上、２０００枚以上、さらには５０００枚以上もの枚数の画像が使用される。各訓練画像は、あり得る出力になる各クラスに属する領域を識別しＳＣＮＮ ５３６に教示するために手動で輪郭が示された、血清または血漿部分２１２ＳＰ、その識別されたＨ、Ｉ、Ｌ、またはＮ、様々な指標レベル（または出力）、およびラベル２１８を少なくとも有することができる。ＳＣＮＮ ５３６は、十分に高いレベルの信頼度でＳＣＮＮ ５３６が動作しているかどうかを見るために、試料検体容器について断続的に試験される。正しいＨＩＬＮ構成を出力として決定するに際して１００％で動作していない場合（たとえば９８％以上の信頼度レベル）、さらに多くの訓練試料が撮像され、関連する特徴付け情報と共に入力される。セグメンテーションおよび／またはキャップタイプもまた提供される実施形態では、訓練は、出力されるセグメント化クラスおよび／またはキャップタイプの輪郭を示すこと、ならびに入力としてクラス識別情報を含めることを伴い得る。ＳＣＮＮ ５３６単独での訓練の後、ＣＣＮＮ ５３８がＳＣＮＮ ５３６に加えられ、両方のネットワークがさらにエンドツーエンドで訓練され、セグメンテーション損失および分類損失がもしあれば、最後に一緒にされる。すなわち、ＣＣＮＮ ５３８による損失は、ＳＣＮＮ ５３６へ後方伝播される。

【0074】

装置５００のいくつかの実施形態では、ＳＤＮＮ ５３５の出力は、Ｎクラス溶血５４０Ｈ、Ｎクラス黄疸５４０Ｉ、Ｎクラス脂肪血５４０Ｌ、または正常５４０Ｎとすることができ、Ｎクラスは、その干渉物質クラスにおけるクラス選択肢の数（Ｎ）である。前記のように、積み重ねられたマルチビュー、マルチスペクトル、多重露光の、整理統合され正規化された画像データセットはＳＤＮＮ ５３５に入力され、この画像データセットは、ＳＣＮＮ ５３６およびＣＣＮＮ ５３８で操作され処理される。ＳＤＮＮ ５３５による処理の出力は、ＨＩＬのそれぞれの、および／または視点ごとの、複数の出力可能性（Ｎクラス）であり得る。たとえば、Ｎは３に等しくすることができ、出力は、５４０ＨでＨ１、Ｈ２、およびＨ３；５４０ＩでＩ１、Ｉ２およびＩ３；ならびに５４０ＬでＬ１、Ｌ２、Ｌ３を含み得る。

【0075】

図６は、１つまたはそれ以上の実施形態によるＳＣＮＮ ５３６のアーキテクチャ６３６を示す。ＳＣＮＮ ５３６は、たとえば、Ｂｅｒｋｌｅｙ Ｖｉｓｉｏｎ ａｎｄ Ｌｅａｒｎｉｎｇ Ｃｅｎｔｅｒ （ＢＶＬＣ）から入手可能なＣａｆｆｅ、Ｔｈｅａｎｏ、数学的表現の高速計算のためのＰｙｔｈｏｎフレームワーク、ＴｅｎｓｏｒＦｌｏｗ、Ｔｏｒｃｈなどの、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用して符号化される。アーキテクチャ６３６は、以下の動作層：２つの畳み込み層（ＣＯＮＶ１およびＣＯＮＶ２）６０２および６３０；５つの高密度ブロック層（ＤＢ１－ＤＢ５）６０４、６１０、６１６、６２２、および６２８；４つの連結層（Ｃ１～Ｃ４）６０６、６１２、６２０、および６２６；２つの遷移ダウン層（ＴＤ１およびＴＤ２）６０８および６１４；ならびに２つの遷移アップ層（ＴＵ１およびＴＵ２）を、図６に示されるように配置して含むことができ、複数の画素ラベルマップ６３７が出力される。各高密度ブロック層６０４および６１０への入力は、（それぞれＣ１およびＣ２で）その出力と連結され、その結果として、画素ラベルマップの数が直線的に増大し得ることに留意されたい。各高密度ブロック層６０４、６１０、６１６、６２２、および６２８は、複数の層（たとえば、３つまたは４つ）を含むことができ、それぞれが、バッチ正規化動作、ＲｅＬＵ層、およびドロップアウトｐ＝０．２である３×３畳み込み層を含むことができる。第１の層が入力を受け、入力に連結しているいくつかの画素ラベルマップを出力する。次に第２の層が、連結した出力をその入力として受け、いくつかの画素ラベルマップを出力し、この画素ラベルマップは再び、前の画素ラベルマップに連結される。これが高密度ラベル阻止の際に層ごとに繰り返される。各遷移ダウン層６０８および６１４は、バッチ正規化動作、その後に続くＲｅＬＵ層、その後に続くドロップアウトｐ＝０．２である１×１畳み込み層、その後に続く２×２最大プーリング層、を含むことができる。各遷移アップ層６１８および６２４は、３×３転置畳み込み層を刻み幅２で含み得る。

【0076】

図７は、１つまたはそれ以上の実施形態による、ＣＣＮＮ ５３８のアーキテクチャ７３８を示す。ＣＣＮＮ ５３６は、たとえば、Ｂｅｒｋｌｅｙ Ｖｉｓｉｏｎ ａｎｄ Ｌｅａｒｎｉｎｇ Ｃｅｎｔｅｒ （ＢＶＬＣ）から入手可能なＣａｆｆｅ、Ｔｈｅａｎｏ、数学的表現の高速計算のためのＰｙｔｈｏｎフレームワーク、ＴｅｎｓｏｒＦｌｏｗ、Ｔｏｒｃｈなどの、任意の適切な科学計算フレームワーク、プログラム、またはツールボックスを使用して符号化される。アーキテクチャ７３８は、以下の動作層：畳み込み層の５つの組（ＣＯＮＶ１～ＣＯＮＶ５）７０２、７０６、７１０、７１４、および７１８、ならびに最大プーリング層（ＰＯＯＬ１～ＰＯＯＬ５）７０４、７０８、７１２、７１６、および７２０、その後に続く２つの完全接続層（ＦＣ１およびＦＣ２）７２２および７２４、その後に続くＳｏｆｔＭａｘ層７２６、を含み得る。畳み込み層７０２は、入力として複数の画素ラベルマップ７３７を受け、これは、複数の画素ラベルマップ５３７または６３７（それぞれ図５および図６）であり得る。畳み込み層７０２は、深さが６４（すなわち、６４個のフィルタ）の１つまたはそれ以上の３×３畳み込み層をすることができる。畳み込み層７０６は、深さが１２８（すなわち、１２８個のフィルタ）の１つまたはそれ以上の３×３畳み込み層とすることができる。畳み込み層７１０は、深さが２５６（すなわち、２５６個のフィルタ）の１つまたはそれ以上の３×３畳み込み層とすることができる。畳み込み層７１４は、深さが５１２（すなわち、５１２個のフィルタ）の１つまたはそれ以上の３×３畳み込み層とすることができる。また畳み込み層７１８は、深さがやはり５１２（すなわち、５１２個のフィルタ）の１つまたはそれ以上の３×３畳み込み層とすることもできる。完全連結層７２２および７２４はそれぞれ、サイズ４０９６とすることができ、ＳｏｆｔＭａｘ層はサイズ１０００とすることができる。

【0077】

本明細書では、畳み込み層とは、あるフィルタ（カーネルとも呼ばれる）を入力画像データ（たとえば、画素強度値）に適用して、入力画像データ中のどれかの空間位置における特定のタイプの特徴（たとえば、第１の畳み込み層を適用した後の簡単な曲線から、いくつかの畳み込み層を適用した後のある程度より複雑な特徴まで）の検出を示し得る起動マップを出力できる処理ステップのことである。

【0078】

最大プーリング層とは、あるフィルタを適用して、畳み込み層から受けた１つまたはそれ以上の起動マップ中に現れる最大画素値を有する出力起動マップを生成できる処理ステップのことである。

【0079】

ＲｅＬＵ（矯正リニアユニット）層とは、受けた起動マップ中のすべての値に非線形関数を適用して、たとえば、ゼロの値を割り当てられているすべての負起動値がもたらされ得る処理ステップのことである。

【0080】

完全接続層とは、前の起動マップ（そのそれぞれが、低レベル特徴の検出を示し得る）を統合して高レベル特徴の検出を示す処理ステップのことである。

【0081】

ＳｏｆｔＭａｘ層とは通常、画像特徴のクラスからの１つまたはそれ以上の画像の、もっとも本当らしい特徴を強調または特定する確率分布を出力する最終処理ステップのことである。

【0082】

すべての画像取り込みデバイス４４０Ａ～４４０Ｃからの画像データを受けるために、一部の知られている装置におけるように画像取り込みデバイス４４０Ａ～４４０Ｃごとにそれぞれの畳み込みニューラルネットワークを使用する代わりに、ＳＤＮＮ ５３５などの単一ディープ畳み込みニューラルネットワークを使用することによって、また分類畳み込みニューラルネットワーク（たとえば、ＣＣＮＮ ５３８およびアーキテクチャ７３８）をセグメンテーション畳み込みニューラルネットワーク（たとえば、ＳＣＮＮ ５３６およびアーキテクチャ６３６）に取り付けることによって、単一ディープ畳み込みニューラルネットワーク設計は、他の知られている畳み込みニューラルネットワークと比較して、より高度のメモリおよび計算効率、ならびに向上したシステム性能を有する。

【0083】

図８は、本開示の実施形態による特徴付け方法８００のフローチャートを示す。特徴付け方法８００は、本明細書に記載のように品質検査モジュール１３０によって実行される。特に、１つまたはそれ以上の実施形態によれば、特徴付け方法８００は、検体２１２中に干渉物質が存在することを決定することができる。特徴付け方法８００は、処理ブロック８０２で、複数の視点（たとえば、視点１、２、および３）からの検体（たとえば、検体２１２）の血清または血漿部分（たとえば、血清または血漿部分２１２ＳＰ）を含む、検体容器（たとえば、検体容器１０２）の複数の画像を取り込むことを含む。さらに、検体容器１０２は、１つまたはそれ以上のラベル（たとえば、ラベル２１８）をその上に含むことができる。１つまたはそれ以上の画像は、１つまたはそれ以上の画像取り込みデバイス（たとえば、画像取り込みデバイス４０４Ａ～４４０Ｃ）を使用して取り込まれたデジタル画素化画像であり得る。

【0084】

特徴付け方法８００はさらに、処理ブロック８０４で、複数の画像からの画像データ（たとえば、積み重ねられ、整理統合され、正規化された画像データセット）をセグメンテーション畳み込みニューラルネットワーク（たとえば、ＳＣＮＮ ５３６）に入力すること、およびその画像データをＳＣＮＮで処理して複数のラベルマップを同時に出力することを含む。この処理は、ＳＣＮＮ ５３６を適切に訓練した後に、本明細書に記載のコンピュータ１４３によって遂行される。

【0085】

処理ブロック８０６で、特徴付け方法８００は、複数のラベルマップを分類畳み込みニューラルネットワーク（たとえば、ＣＣＮＮ ５３８）に入力すること、および複数のラベルマップをＣＣＮＮで処理することを含む。この処理は、ＳＣＮＮ ５３６およびＣＣＮＮ ５３８を適切に訓練した後に、本明細書に記載のコンピュータ１４３によって遂行される。

【0086】

特徴付け方法８００はさらに、処理ブロック８０８で、分類畳み込みニューラルネットワーク（たとえば、ＣＣＮＮ ５３８）から血清または血漿部分の分類を、溶血、黄疸、脂肪血、および正常のうちの１つまたはそれ以上（すなわち、Ｈ、Ｉ、Ｌ、ＨおよびＩ、ＨおよびＬ、ＩおよびＬ、Ｈ、Ｉ、およびＬ、またはＮ）であるとして出力することを含む。

【0087】

複数の視点からの複数の画像は、異なる露光時間および／または異なるスペクトル照明（たとえば、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、および／または近ＩＲ）で取り込まれる。たとえば、異なるスペクトル照明条件下で視点ごとに異なる露光時間で取られる４～８つまたはそれ以上の異なる露光があり得る。

【0088】

任意選択の態様では、ＨＩＬＮ決定に加えて、画像データセットのセグメンテーションが得られる。方法８００では、処理ブロック８１０で、ＳＣＮＮ（たとえば、ＳＣＮＮ ５３６）から検体容器１０２と検体２１２のセグメンテーションを出力することができる。画像データは、（１）管、（２）ゲルセパレータ、（３）キャップ、（４）空気、（５）ラベル、（６）沈降血液部分、および／もしくは（７）血清または血漿部分などの、Ｎ’クラス（たとえば、７クラス）にセグメント化される。他の個数のクラスも使用される。

【0089】

特徴付け方法８００はまた場合により、処理ブロック８１２で、ＳＣＮＮ（たとえば、ＳＣＮＮ ５３６）から、ＳＣＮＮ ５３６およびＣＣＮＮ ５３８の中へ事前訓練された特定のキャップ形状またはキャップ色であり得るキャップタイプ（５４４）を出力することを含み得る。

【0090】

したがって、上記に基づいて、血清または血漿部分２１２ＳＰをより適切に特徴付ける、改善された特徴付け方法８００が、１つまたはそれ以上の視点を遮り得るラベルを明らかにすることによって提供されることが明白なはずである。この改善された特徴付けは、検体２１２中のＨＩＬＮの存在についての迅速で頑健な特徴付けを提供するために使用され、いくつかの実施形態では、干渉物質レベル（Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３）が評価され、ＣＣＮＮ ５３８から出力される。

【0091】

明白なはずのように、上記の特徴付け方法は、品質検査モジュール（たとえば、品質検査モジュール１３０）を使用して実行され、この品質検査モジュールは、撮像位置（たとえば、撮像装置４３２）のまわりに配置された、かつ、複数の視点（たとえば、複数の視点１～３）から、１つまたはそれ以上のラベル２１８を含み検体２１２の血清または血漿２１２ＳＰを含む検体容器１０２の複数の画像を取り込むように構成された、複数の画像取り込みデバイス（たとえば、画像取り込みデバイス４４０Ａ～４４０Ｃ）と、複数の画像取り込みデバイスに連結され、複数の画像の画像データを処理するように構成されたコンピュータ（たとえば、コンピュータ１４３）とを含む。コンピュータ（たとえば、コンピュータ１４３）は、複数の視点（たとえば、視点１～３）からの複数の画像を処理し積み重ねて、ＨＩＬＮ決定またはＨＩＬＮ決定を複数の視点のそれぞれのセグメンテーションと合わせて提供するように構成され、動作させることができる。

【0092】

さらに、特徴付け方法８００は、品質検査モジュール１３０を含む検体試験装置１００で実行される。検体試験装置１００は、軌道１２１と、軌道１２１上で可動であるキャリア１２２とを含み得る。キャリア１２２は、１つまたはそれ以上のラベル２１８を含み検体２１２の血清または血漿部分２１２ＳＰを含む、検体容器１０２を含み支持するように、かつ検体容器１０２を品質検査モジュール１３０まで搬送して特徴付けと、干渉物質が存在するかの予備検査とを遂行するように構成される。

【0093】

本開示は、様々な修正形態および代替形態が可能であるが、特定の方法および装置の実施形態を図に例として示し、本明細書で詳細に説明している。しかし、本明細書に開示された特定の方法および装置は、本開示を限定するものではなく、それとは対照的に、特許請求の範囲に入るすべての修正形態、均等物、および代替形態を包含するものであることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】