IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドの特許一覧

特許7216069ディープラーニングボリューム定量化方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-23
(45)【発行日】2023-01-31
(54)【発明の名称】ディープラーニングボリューム定量化方法および装置
(51)【国際特許分類】
   G01N 21/17 20060101AFI20230124BHJP
   G01N 35/02 20060101ALI20230124BHJP
【FI】
G01N21/17 A
G01N35/02 C
【請求項の数】 20
(21)【出願番号】P 2020503311
(86)(22)【出願日】2018-07-25
(65)【公表番号】
(43)【公表日】2020-10-01
(86)【国際出願番号】 US2018043745
(87)【国際公開番号】W WO2019023376
(87)【国際公開日】2019-01-31
【審査請求日】2020-01-31
(31)【優先権主張番号】62/538,460
(32)【優先日】2017-07-28
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】507269175
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド
【氏名又は名称原語表記】SIEMENS HEALTHCARE DIAGNOSTICS INC.
(74)【代理人】
【識別番号】110003317
【氏名又は名称】弁理士法人山口・竹本知的財産事務所
(74)【代理人】
【識別番号】100075166
【弁理士】
【氏名又は名称】山口 巖
(74)【代理人】
【識別番号】100133167
【弁理士】
【氏名又は名称】山本 浩
(74)【代理人】
【識別番号】100169627
【弁理士】
【氏名又は名称】竹本 美奈
(72)【発明者】
【氏名】クルックナー,シュテファン
(72)【発明者】
【氏名】チャン,ヤオ-ジェン
(72)【発明者】
【氏名】マ,カイ
(72)【発明者】
【氏名】シン,ヴィヴェーク
(72)【発明者】
【氏名】チェン,テレンス
(72)【発明者】
【氏名】ポラック,ベンジャミン エス.
【審査官】今浦 陽恵
(56)【参考文献】
【文献】国際公開第2016/133900(WO,A1)
【文献】米国特許出願公開第2013/0034284(US,A1)
【文献】特開平11-088898(JP,A)
【文献】特表2007-524838(JP,A)
【文献】特表2014-504731(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/01
G01N 21/17-21/61
G01B 11/00-11/30
G01F 23/00-23/76
G01N 33/48-33/98
G01N 35/00-35/10
G06T 1/00- 1/40
G06T 3/00- 3/60
G06T 5/00- 5/50
G06T 7/00- 7/90
G06T 9/00- 9/40
(57)【特許請求の範囲】
【請求項1】
検体の1以上の成分を定量化する方法であって、
撮像位置に検体容器を提供するステップであって、前記検体容器が前記検体を含むステップと、
前記検体の複数のダイナミックレンジ画像を取得するステップと、前記複数のダイナミックレンジ画像を画像データとして保存するステップと、
前記画像データを直接入力としてニューラルネットワークを含むボリューム決定モデルへ入力して、前記1以上の成分を複数のボリュームクラスのうちの少なくとも1つに分類するか、または、前記1以上の成分のボリューム値を定量するステップ、
と、を含み、
前記ニューラルネットワークは、前記1以上の成分のボリューム値またはボリュームクラスを、前記検体の前記画像データの入力に対して直接的に出力するように、トレーニングアノテーションを含む複数のトレーニング画像を用いて、トレーニングされており、
前記トレーニングアノテーションは、前記トレーニング画像のトレーニング検体の1以上の成分の画像上の位置を同定するトレーニング境界ボックス、及び、前記トレーニング境界ボックス内に含まれるボリュームのボリューム値、を含み、
前記複数のトレーニング画像は、前記1以上の成分検体ボリューム検体容器のサイズとがそれぞれ異なる複数のトレーニング検体の画像、を含み
前記1以上の成分は、血清、血漿部分、沈降血液部分の少なくとも1つである、
方法。
【請求項2】
前記複数のダイナミックレンジ画像を取得するステップが、異なる公称波長を有する複数のスペクトルで前記検体の一連の画像を取得するステップを含む、請求項1に記載の方法。
【請求項3】
前記一連の画像が、前記異なる公称波長のそれぞれで複数の異なる露光量で露光される、請求項2に記載の方法。
【請求項4】
前記複数のダイナミックレンジ画像を取得するステップが、前記複数の異なる露光量および前記複数のスペクトルのそれぞれにおいて、複数のダイナミックレンジ画像から最適に露光された画素を選択するステップ、および、前記複数のスペクトルのそれぞれについて最適に露光された画像データを生成するステップ、を含む、請求項3に記載の方法。
【請求項5】
前記複数のダイナミックレンジ画像を取得するステップが、複数の異なる視点から実施され、各視点に画像取得装置が提供される、請求項1から4のいずれか1項に記載の方法。
【請求項6】
前記ニューラルネットワークが、畳み込みニューラルネットワークを含む、請求項1から5のいずれか1項に記載の方法。
【請求項7】
前記ニューラルネットワークが、プーリング層、畳み込み層、およびソフトマックス層を含む、請求項1から6のいずれか1項に記載の方法。
【請求項8】
前記ニューラルネットワークが複数のトレーニングセットからトレーニングされ、
前記複数のトレーニングセットの各トレーニングセットが、前記複数のボリュームクラスのそれぞれに対するトレーニング画像及びスカラボリュームアノテーションを含む、請求項1から7のいずれか1項に記載の方法。
【請求項9】
前記スカラボリュームアノテーションが、血清または血漿部分、沈降血液部分、および、ゲルセパレータ、のボリュームまたはそれらの1以上である、請求項8に記載の方法。
【請求項10】
前記複数のボリュームクラスのうちの1つが、ルックアップテーブルによってボリューム値に変換される、請求項1から9のいずれか1項に記載の方法。
【請求項11】
決定されたボリュームから沈降血液部分のボリュームに対する血清または血漿部分のボリュームの比を決定するステップを含む、請求項10に記載の方法。
【請求項12】
前記ニューラルネットワークが、血清または血漿部分のボリュームクラスを決定するように構成およびトレーニングされている、請求項1から11のいずれか1項に記載の方法。
【請求項13】
前記ニューラルネットワークが、沈降血液部分のボリュームクラスを決定するように構成およびトレーニングされている、請求項1から12のいずれか1項に記載の方法。
【請求項14】
前記ニューラルネットワークが、血清または血漿部分、沈降血液部分、またはゲルセパレータのボリュームクラスを決定するように構成およびトレーニングされている、請求項1から13のいずれか1項に記載の方法。
【請求項15】
前記検体容器に含まれる血清または血漿部分のボリュームを特定するステップを含む、請求項1から14のいずれか1項に記載の方法。
【請求項16】
前記検体容器に含まれる沈降血液部分のボリュームを特定するステップを含む、請求項1から15のいずれか1項に記載の方法。
【請求項17】
前記検体容器に含まれるゲルセパレータのボリュームを特定するステップを含む、請求項1から16のいずれか1項に記載の方法。
【請求項18】
前記複数のボリュームクラスの数が10から1,000の間である、請求項1から17のいずれか1項に記載の方法。
【請求項19】
品質チェックモジュールであって、
公称波長が異なる複数のスペクトルで、複数の異なる露光量で、および、1つ以上の視点から、検体の画像を取得するように構成された、1つまたは複数の画像取得装置と、
前記1つまたは複数の画像取得装置に操作可能に連結されたコンピュータと、
を備え、
前記コンピュータが、
前記複数の異なる露光量および前記複数のスペクトルのそれぞれでの画像から最適に露光された画素を選択し、複数のスペクトルのそれぞれに対して最適に露光された画像データを生成し、
前記画像データを直接入力としてニューラルネットワークを含むボリューム決定モデルへ入力し、
入力された前記画像データに基づいて、前記ボリューム決定モデルによって、
前記1以上の成分の複数のボリュームクラスのうちの少なくとも1つへの分類、または、
前記1以上の成分のボリューム値の定量、
の少なくとも一方を実行する、
ように構成され且つ操作可能であり、
前記ニューラルネットワークは、前記1以上の成分のボリューム値またはボリュームクラスを、前記検体の前記画像データの入力に対して直接的に出力するように、トレーニングアノテーションを含む複数のトレーニング画像を用いて、トレーニングされており、
前記トレーニングアノテーションは、前記トレーニング画像のトレーニング検体の1以上の成分の画像上の位置を同定するトレーニング境界ボックス、及び、前記トレーニング境界ボックス内に含まれるボリュームのボリューム値、を含み、
前記複数のトレーニング画像は、前記1以上の成分検体ボリューム検体容器のサイズとがそれぞれ異なる複数のトレーニング検体の画像、を含み
前記1以上の成分は、血清、血漿部分、沈降血液部分の少なくとも1つである、
品質チェックモジュール。
【請求項20】
検体検査装置であって、
トラックと、
前記トラック上の品質チェックモジュールと、
を備え、
前記品質チェックモジュールが、
公称波長が異なる複数のスペクトルで、複数の異なる露光量により、および、1つ以上の視点から、検体の画像を取得するように構成された、1つまたは複数の画像取得装置と、
コンピュータと、
を含み、
前記コンピュータが、
前記複数の異なる露光量および前記複数のスペクトルのそれぞれでの画像から最適に露光された画素を選択し、複数のスペクトルのそれぞれに対して最適に露光された画像データを生成し、
前記画像データを直接入力としてニューラルネットワークを含むボリューム決定モデルへ入力し、
入力された前記画像データに基づいて、前記ボリューム決定モデルによって、
前記1以上の成分の複数のボリュームクラスのうちの少なくとも1つへの分類、または、
前記1以上の成分のボリューム値の定量、
の少なくとも一方を実行する、
ように構成され且つ操作可能であり、
前記ニューラルネットワークは、前記1以上の成分のボリューム値またはボリュームクラスを、前記検体の前記画像データの入力に対して直接的に出力するように、トレーニングアノテーションを含む複数のトレーニング画像を用いて、トレーニングされており、
前記トレーニングアノテーションは、前記トレーニング画像のトレーニング検体の1以上の成分の画像上の位置を同定するトレーニング境界ボックス、及び、前記トレーニング境界ボックス内に含まれるボリュームのボリューム値、を含み、
前記複数のトレーニング画像は、前記1以上の成分検体ボリューム検体容器のサイズとがそれぞれ異なる複数のトレーニング検体の画像、を含み
前記1以上の成分は、血清、血漿部分、沈降血液部分の少なくとも1つである、
検体検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、参照によりその内容は本願明細書に組み込まれている、2017年7月28日に出願された米国特許仮出願第62/538,460号明細書の利益を主張するものである。
【0002】
本開示は、検体の検査のための方法および装置に関するものであり、より詳細には、検体中の1以上の成分量を決定するための方法および装置に関するものである。
【背景技術】
【0003】
自動化された検査システムは、尿、血液、血漿、間質液、脳脊髄液などのような検体中の分析物または他の成分を同定するために、1つ以上の試薬を用いてアッセイまたは臨床分析を実施することができる。便宜上および安全上の理由から、このような検体は通常、検体容器(例えば、検体採取管)内に収納される。検査反応は、いくつかの実施形態において、患者の病態を示すことができる、検体に含まれる分析物または他の成分の濃度を決定するために読み取りおよび/または操作することができる種々の変化を生成する。
【0004】
自動検査技術の向上に伴い、検査室自動化システム(LAS)と呼ばれる自動検体準備システムにより、分離、パッチ準備、検体容器の遠心分離による検体成分の分離、流体アクセスを容易にするキャップ除去などの分析前検体準備や取扱操作が対応して進歩した。LASはまた、検体容器内の検体を多数の検体処理ステーションに自動的に搬送し、その上で様々な操作(例えば、分析前検査または分析検査)を行うことができるようにすることもできる。
【0005】
LASは、サイズ(例えば、直径および高さ)が異なる可能性がある、標準的なバーコードでラベル付けされた検体容器に含まれる多数の異なる検体を取り扱うことができる。バーコードラベルには、検査指示とともに病院の検査情報システム(LIS)に入力された可能性のある患者情報他の情報を含む、またはそれらと関連する可能性のある受託番号が含まれていてもよい。操作者は、ラベル付けされた検体容器をLASシステム上に置くことができ、これは、遠心分離、デキャッピング、および/または、アリコートの準備のような前分析操作のための検体容器を自動的にルーティングし、そしてLASの一部でもあり得る1つ以上の分析装置(臨床化学またはアッセイ機器)による臨床分析またはアッセイに実際に供される前の全ての検体をルーティングすることができる。
【0006】
ある種の検査では、血清または血漿部分(遠心分離により全血から得られる)のような生体液を分析に供することができる。検体が全血の場合には、沈降血液部分を血清または血漿部分から分離するのを容易にするために、ゲルセパレータを検体容器に加えてもよい。前処理の後、検体容器は、検体容器から検体の生体液の一部(例えば、血清または血漿部分)を抽出し、反応容器内の1つまたは複数の試薬およびおそらく他の用具(例えば、キュベット)と流体を組み合わせることができる適切な分析器に搬送することができる。次いで、光度測定法または蛍光光度法による吸収測定法を用いて、放射線を調べるビームなどを用いて、分析測定を行うことができる。測定値は、エンドポイント、速度または他の値の判定を可能にし、そこから生体液中の分析物または他の成分の量を、周知の技術を用いて判定する。検体容器に存在する生体液のボリュームを知ることは、指示された検査を実施するのに十分な液体が存在する場合に判断できるようにすることが有利であるが、このようなボリュームを患者の病態に関する情報を示すために使用する場合もある。
【0007】
一部の生体流体では、検体中の様々な部分(例えば、沈降部分、血清または血漿部分、およびゲルセパレータ(使用した場合))の間の境界は、既存の方法を用いて決定することが困難な場合がある。したがって、結果として生じる血清または血漿部分のボリューム、または、沈降血液部分(SBP)および血清または血漿部分(SPP)の相対量を決定することは困難である。さらに、検体容器に含まれる生体液のボリュームを正確に決定することは、LASに提示されている検体容器の種類およびサイズが非常に多く異なる場合、困難である。さらに、この状況を悪化させるのは、ある場合には、生体流体が、1つ以上の情報含有ラベルによって、完全にまたは部分的に視野から隠されていることがあるということである。
【0008】
このラベル遮蔽問題に対処するために、いくつかのシステムはミラーによる米国特許出願公開第2012/014230号明細書に記載されているように、検体容器を回転させて、ラベルによって妨げられていない表示ウィンドウを見つけ、光学イメージングシステムを用いて成分の相対量を測定するようになっている。しかしながら、そのようなシステムは、自動化し難い可能性がある。
【0009】
検体に含まれる様々な成分のボリュームを決定する際に遭遇する困難性のために、生体液の1以上の成分のボリュームを容易に決定するように適合された方法および装置に対する満たされていないニーズが存在する。
【発明の概要】
【0010】
第1の態様によれば、検体容器内に含まれる検体を定量化する方法が提供される。この方法は、画像位置に検体を含む検体容器を提供するステップ、検体の複数のハイダイナミックレンジ画像を取得するとともに、その複数のハイダイナミックレンジ画像を画像データとして保存するステップ、画像データをニューラルネットワークにより操作するステップ、および、検体を複数のボリュームクラスおよび検体のボリュームの一方にニューラルネットワークで分類するステップを含む。
【0011】
別の態様によれば、検体のボリュームを定量化するように構成された品質チェックモジュールが提供される。品質チェックモジュールは、公称波長が異なる複数のスペクトルで複数の露光でかつ1つ以上の視点から検体の画像を取得するように構成された1つ以上の画像取得装置と、1つ以上の画像取得装置に操作可能に連結されたコンピュータを含み、当該コンピュータは、異なる露光時および複数のスペクトルのそれぞれにおいて、画像から最適に露光された画素を選択し、複数のスペクトルのそれぞれに対して最適に露光された撮像データを生成し、ニューラルネットワークを用いて撮像データを操作し、ニューラルネットワークを有する検体を複数のボリュームクラスおよび検体のボリュームの一方に分類する。
【0012】
さらに別の態様では、検体検査装置が提供される。検体検査装置には、軌道、および軌道上の品質チェックモジュールが含まれる。品質チェックモジュールは、公称波長が異なる複数のスペクトルで複数の異なる露光で、かつ1つ以上の視点から、検体の画像を取得するように構成された1つまたは複数の画像取得装置と、複数のスペクトルおよび1つまたは複数の視点ごとに最適に露光される撮像データを生成するために複数の異なる露光量で画像から最適に露光される画素を複数の異なる露光量で画像から選択するように構成され、かつ操作可能なコンピュータ構成の画像取得装置を含み、ニューラルネットワークを用いて撮像データを操作して、ニューラルネットワークを用いて検体を複数のボリュームクラスおよび検体のボリュームの一方に分類する。
【0013】
本発明のさらに他の態様、特徴及び利点は、本発明を実施するために考えられる最良の形態を含む多くの例示的な実施形態及び事項を示すことによって、以下の説明から容易に明らかになるであろう。本発明はまた、他の実施形態および異なる実施形態も可能であり、そのいくつかの詳細は、全て本開示の範囲から逸脱することなく、様々な点で修正することができる。したがって、図面及び説明は、本質的に例示的であると見なされるべきであり、限定的とみなされるべきではない。開示は、クレームの範囲内にある全ての修正、等価物、および代替形態を網羅することである。
【図面の簡単な説明】
【0014】
以下に説明する図面は、説明のためのものであり、必ずしも一定の縮尺で描かれているわけではない。図面は、決して本発明の範囲を限定するものではない。
図1図1は、検体ボリュームを決定するように構成された1以上の品質チェックモジュールおよび1以上の実施形態による1以上の分析器を含む、検体検査装置の上面模式図を示す。
図2図2は、検体を含みラベル付けされた検体容器の側面図を示しており、これは、1以上の実施形態に従った検体ボリューム定量化法を用いることによってボリュームを定量化することができる。
図3A図3Aは、血清または血漿部分、沈降血液部分、およびゲルセパレータの検体構成を含むラベル付けされた検体容器の側面図を示しており、これらの各成分は、1以上の実施形態による検体定量化法によって定量化することができる。
図3B図3Bは、血清または血漿部分、沈降血液部分、およびゲルセパレータを含む実際の検体容器の側面写真を示しており、これらのそれぞれは、1以上の実施形態による検体ボリューム定量化法によって画像化および定量化され得る。
図4A図4Aは、1以上の実施形態に従って検体のボリュームを定量化するために複数の画像を取得し、分析するように構成された品質チェックモジュールの模式的な上面図を示す。
図4B図4Bは、1つ以上の実施形態によるセクションライン4B-4Bに沿って撮影された図4Aの品質チェックモジュールの模式的側面図を示す。
図5A図5Aは、1以上の実施形態に従い、検体の1以上の成分のボリュームを定量化するように構成された品質チェックモジュールの機能的成分のブロック図を示す。
図5B図5Bは、1つ以上の実施形態に従い、検体に含まれる血清または血漿部分のボリュームを定量化するように構成されたニューラルネットワークを含む品質チェックモジュールの構成要素の詳細なブロック図を示す。
図5C図5Cは、1以上の実施形態による、血清または血漿部分、沈降血液部分、および検体容器に含まれるゲルセパレータの3つの全てのボリュームを定量化するように構成されたニューラルネットワークを含む品質チェックモジュールの構成要素のブロック図を示す。
図5D図5Dは、1つ以上の実施形態による、各血清または血漿部分、沈降血液部分、およびゲルセパレータに対する視点および境界ボックスからの側面画像を示す。
図5E図5Eは、1以上の実施形態によるルックアップテーブルを示す。
図6A図6Aは、1以上の実施形態に従って検体のボリュームを直接定量化するように構成されたニューラルネットワークを含むトレーニング構成における品質チェックモジュールの構成要素のブロック図を示す。
図6B図6Bは、1以上の実施形態に従って検体のボリュームを直接定量化するように構成されたニューラルネットワークを含む検査構成における品質チェックモジュールの構成要素のブロック図を示す。
図7A図7Aは、1から見た検体を含む検体容器の側面像を示し、1つ以上の実施形態によるラベルによる第1の遮蔽範囲を示す。
図7B図7Bは、視点2からの検体を含む検体容器の側面図を示し、1つ以上の実施形態によるラベルによる第2の遮蔽範囲を示す。
図7C図7Cは、視点3からの検体を含む検体容器の側面図を示し、1つ以上の実施形態によるラベルによる第3の遮蔽範囲を示す。
図7D図7Dは、1以上の実施形態による種々の視点1~3を示す品質チェックモジュールの上面図を示す。
図8図8は、1以上の実施形態による検体のボリュームを定量化する方法のフローチャートである。
【発明を実施するための形態】
【0015】
第1の広い態様において、本開示の実施形態は、検体の1以上の成分のボリューム特性を定量化するように構成され、かつ、操作可能な装置、システムおよび方法を提供する。特に、装置、システムおよび方法は、血清または血漿部分、沈降血液部分、または、ゲルセパレータ(使用する場合)のボリュームを決定するように構成され、操作可能である。これは、血清または血漿部分のボリュームを正確に知ることによって、特定の検体について複数の検査を指示する場合に検査を実施するために、検体容器に存在する十分な量の血清または血漿部分が存在することを予めチェックまたは検証することを可能にする。血清または血漿部分と沈降血液部分のボリューム特性を正確に知ることは、両者の間の比率の生成も可能にし、これは本発明の疾患状態を示すことができる。同様に、沈降血球部分のボリュームを知ることも、患者の病態を示すことができる。
【0016】
本明細書に記載するように、検体は採血管などの検体容器に採取することができ、分離後(例えば、遠心分離を用いた分離)に沈降血液部分と血清および血漿部分を含む。沈降血液部分は、白血球、赤血球および血小板などの血液細胞で構成され、これらは凝集して血清または血漿部分から分離される。検体容器の底部には、一般に沈降血液部分が認められる。血清又は血漿部分は、沈降血液部分の一部以外の血液の液体成分である。これは、概ね、沈降血液部分の上方にある。血漿と血清は主に凝固成分、主にフィブリノーゲンの含有量が異なる。血漿は凝固していない液体であるが、血清は内因性酵素または外因性の成分の影響下である程度凝固させた血液血漿を指す。一部の検体容器では、ゲルセパレータ(例えば、プラグ)を使用してもよく、これは、分離中に沈降血液部分と血清または血漿部分との間に自身を配置する。それは2つの部分の間のバリヤとして働き、その再度の混合を防止する。
【0017】
1以上の実施形態によれば、検体定量化法は、分析前検査法(すなわち、プレスクリーニング法として)として実施することができる。例えば、1つ以上の実施形態において、検体定量化方法は、干渉物質の存在について特徴づけられる検体とともに、または分析器上でのルーチン分析に供される前に実施することができる。特に、本開示の1つ以上の実施形態は、さらなる分析検査のための必要条件として、検体のボリューム定量化のために提供する。検体のボリューム定量化は、本明細書に記載されるように、品質チェックモジュールで決定してもよい。品質チェックモジュールは、指示された検査または患者の病状に関係する可能性のある検体または容器の全体的な品質に一般的に関連する、検体または検体容器の1つ以上の態様のチェックを可能にする装置である。品質チェックモジュールは、異なる側方視点からの画像など、検体容器のデジタル画像を1つまたは複数提供するように配置された1つまたは複数の画像取得装置(例えば、複数のデジタルカメラなど)を含むことができる。
【0018】
主な目標として、定量化法は、血清または血漿部分のボリュームおよびおそらくは検体の他の成分(例えば、沈降血液部分および/またはゲルセパレータ)の正確かつ迅速な定量化を含む。ボリューム定量化は、いくつかの実施形態において、ハイダイナミックレンジ(HDR)画像処理を用いて行うことができる。1つの有利な態様によれば、ボリューム定量化は、セグメント化ステップなしで撮像データから直接実施することができる。
【0019】
ボリューム定量化法が検体中に存在する1以上の成分のボリュームを決定した後、生成されたHDRデータセットを用いて、血清または血漿部分における溶血、黄疸、および/または、脂肪血(以下、「HIL」)などの干渉物質の存在を決定するなど、検体に関するさらなる情報を決定することができる。
【0020】
いくつかの実施形態において、品質チェックモジュールは、直接ボリューム定量化法を実行するように構成される。品質チェックモジュールは、検査室自動化システム(LAS)の一部として提供することができ、ここでは、軌道が検体を1つまたは複数の分析器に搬送し、品質チェックモジュールは、検体ロードステーションと1つまたは複数の分析器との間の軌道上またはその近傍に提供することができる。特定の実施では、品質チェックモジュールは、検体ローディングステーションにおいて、または、軌道に沿った別の位置において、軌道上に提供され、その結果、検体は、軌道上にある間に、ボリュームが定量化され得る。
【0021】
HDRデータ処理を含むボリューム定量化方法は、複数の露光時(例えば、露光時間)および異なる公称波長を有する複数のスペクトルによって連続的に照射されている間に、品質チェックモジュールで複数の画像を取得することを含むことができる。いくつかの実施形態において、異なる視点から画像を取得するように配置された複数の画像取得装置を用いて複数の画像を得ることができる。照明のために異なる光源(例えば、検体のバックライト)を使用している間に、複数のスペクトル(例えば、色)で1つまたは複数の画像を撮影することができる。例えば、赤色光源(R)、緑色光源(G)、および青色光源(B)を用いることができる。代わりに、または追加的に、白色光源(WL)、近赤外光源(NIR)または赤外光源、および/または、紫外光源(UV)を使用してもよい。
【0022】
各スペクトルに対する複数の露光での画像は、品質チェックモジュールによって取得することができる。例えば、異なる露光での4~8以上の画像が、各スペクトルで得られることがある。露光量は、画像取得装置の照明強度および特徴に基づいて変化する可能性がある。
【0023】
検体直接ボリューム定量化法、ボリューム定量化法を実施するように構成された品質チェックモジュール、および、品質チェックモジュールの1つ以上を含む検体検査システムのさらなる詳細は、本明細書中の図1-8を参照してさらに記述されるであろう。
【0024】
図1は、検体容器102(例えば、検体採取管。図2および3A参照)の複数のものを自動的に処理することができる検体検査装置100を示す。検体容器102は、搬送前にローディングエリア105に設けられた1つまたは複数のラック104に収納され、1つまたは複数の分析器(例えば、検体検査装置100の周囲に配置された、それぞれ第1、第2および第3の分析器106、108、110)によって分析されてもよい。より多くの数又は少ない数の分析装置を使用できることは明らかである。分析装置106、108、110は、臨床化学分析装置および/またはアッセイ機器等の任意の組合せでよい。検体容器102は、それぞれ、採血管、試験管、サンプルカップ、キュベット、または、他の一般的に透明なガラスまたはプラスチックの容器のような、一般的に透明または半透明の容器であってよい。他の適切な容器を使用してもよい。最も一般的な形状は採血管である。
【0025】
典型的には、自動的に処理される検体212(図2及び3A)を検体容器102内の検体検査装置100に提供することができ、キャップ214でキャップしてもよい(図2及び3A)。キャップ214は、異なる形状および/または色(例えば、赤色、ロイヤルブルー、ライトブルー、青、灰色、黄色、黄色、または、それらの組合せ)を有していてもよく、これは、検体容器102がどのような検査に用いられるか、検体容器102内の添加剤の種類などに関して意味を有する可能性がある。他の色を使用してもよい。
【0026】
検体容器102のそれぞれは、検体検査装置100の周囲の種々の位置で機械的に読み取ることができるバーコード、アルファベット、数字、アルファ数字、または、それらの組み合わせのような識別情報218(すなわち、インディシア)を提供することができる。識別情報218iは、例えば、検査室情報システム(LIS)147を介して、患者の識別、ならびに検体212で達成されるべき検査または他の情報を示すことができるか、または相関させることができる。このような識別情報218iは、一般に、検体容器102の側面に貼り付けるか、またはその他の方法で提供されるラベル218上に提供され得る。ラベル218は、概して、検体容器102の周囲全体、又は検体容器102の長さ全体に亘って延びるものではない。しかしながら、いくつかの実施形態では、複数のラベル218が貼り付けられていてもよく、互いにわずかに重複していてもよい。従って、ラベル218は、検体212の一部を遮蔽して見ることができるが、検体212の他の一部は、所定の視点から見ることができる。
【0027】
検体212は、血清または血漿部分212SPと、管215内に含まれる沈降血液部分212SBとを含むことができる。空気216は、血清および血漿部分212SPの上方に供給することができ、それらの間のラインまたは境界は、本明細書では液体-空気界面(LA)と定義される。血清または血漿部分212SPと沈降血液部分212SBとの間の境界線は、図2に示されるように、血清-血液界面(SB)として本明細書で定義される。空気212Aとキャップ214との間の界面を、本明細書では管-キャップ界面(TC)と称する。
【0028】
ゲルセパレータ313を使用する場合、血清または血漿部分212SPとゲルセパレータ313との間の血清ゲル界面SGを図3Aに示す。沈降血液部分212SBとゲルセパレータ313との間の血液ゲル界面BGも、図3Aに示されている。いずれの場合も、壁厚はT、外側の幅はW、検体容器102の内側の幅はWである。管(HT)の高さは、管215の最下部からキャップ214の底部までの高さと定義される。
【0029】
より詳細には、検体検査機器100は、トラック121を取り付ける又は支持するベース120(例えば、フレーム又は他の構造体)を含んでいてもよい。軌道121は、レールトラック(例えば、モノレールトラックまたは複数のレールトラック)、コンベヤベルト、コンベヤチェーン、可動プラットフォーム、または、他の適切なタイプの搬送メカニズムの集合体であってもよい。トラック121は、円形、サーペンタイン、または、他の適当な形状であってもよい。トラック121は、いくつかの実施形態において、閉じたトラック(例えば、エンドレストラック)とすることができる。トラック121は、操作中に、検体容器102の個々のものを、キャリア122内に備わっている間に、トラック121の周囲に間隔を空けた位置に搬送することができる。
【0030】
キャリア122は、トラック121に沿って移動し、トラック121の周囲の予めプログラムされた位置で停止するようにプログラムされているリニアモーターのように、受動的、トラック121上の単一の検体容器102を搬送するように構成された非モーターパック、または、付加的にオンボード駆動モーターを含む自動キャリアであってもよい。キャリア122は、それぞれ、所定の直立位で検体容器102を保持するように構成されたホルダ122H(図4A~4B)を含むことができる。ホルダ122Hは、任意の適切な構造を含むことができ、検体容器102をキャリア122内に固定するが、そこに受け入れられる検体容器102の異なるサイズ(例えば、直径)の調節を可能にするための側方移動性または柔軟性を含む複数のフィンガまたは板バネを含むことができる。いくつかの実施形態において、キャリア122は、そこで段階化された1つまたは複数のラック104を有するローディングエリア105から退出することができる。いくつかの実施形態において、ローディングエリア105は、プレスクリーニングおよび/または分析が完了した後に、キャリア122から検体容器102を開放することを可能にする二重の機能を果たすことができる。そうでなければ、オフロードレーンは、トラック121の他の場所に設けることができる。
【0031】
ロボット124は、ローディングエリア105に設けられてもよく、1以上のラック104に位置する検体容器102を把持し、トラック121の入力レーン上やトラック121上の他の場所などのキャリア122上に検体容器102を載置するように構成されてもよい。また、ロボット124は、プレスクリーニングまたは分析が完了すると、検体容器102をキャリア122から取り出すように構成されてもよい。ロボット124は、XおよびZ、YおよびZ、X、Y、およびZ、rおよびθ、または、r、θおよびZ運動が可能な、1つまたは複数(例えば、少なくとも2つ)のロボットアームまたは構成要素を含む。ロボット124は、ガントリロボット、関節ロボット、R-θロボット、または他の適切なロボットであり得、ロボット124は、検体容器102を拾い上げて配置するサイズのロボットグリッパフィンガを備えることができる。
【0032】
トラック121上に積み込まれると、キャリア122によって運ばれた検体容器102は、検体212の分離を行うように構成され得る遠心機125(例えば、自動遠心機)に進行することができる。検体容器102を運ぶキャリア122は、流入レーンまたは他の適切なロボットによって遠心機125に向けることができる。遠心分離された後、検体容器102は、流出レーンから退出するか、またはロボットによって取り除かれ、トラック121上で続行することができる。図示された実施形態では、キャリア122内の検体容器102は、次に、図4A-4Bを参照して本明細書でさらに記述される品質チェックモジュール130に搬送され得る。
【0033】
品質チェックモジュール130は、検体容器102に含まれる検体212の直接ボリューム定量化を決定し、提供するように構成され、構成される。品質チェックモジュール130はまた、検体212に含まれる溶血(H)、黄疸(I)、および/または脂血症(L)の1つまたはそれ以上のような干渉物質の存在を決定するために構成されてもよい。検体のボリュームが定量化され、そして、指示された検査のために十分な量の血清または血漿部分212SPが存在すると判断されると、検体212は干渉物質の存在についてプレスクリーニングされ、正常(N)であるか、または十分に低いHILの指標を有することが判明した場合、検体212は、オフロードのために各検体容器102をローディングエリア105に戻す前に、1つまたは複数の分析装置(例えば、分析器106、108、および/または110)で分析されるように転送され得る。
【0034】
いくつかの実施形態では、リモートステーション132を自動検体検査装置100上に設けることができる。リモートステーション132は、軌道121に直接リンクされていない。例えば、独立したロボット133(点線で示されている)は、検体212を含む検体容器102をリモートステーション132に運び、検査/処理後にそれらを返却することができる。任意で、検体容器102は、手動で取り出して戻すことができる。リモートステーション132は、溶血レベルのような特定の成分を検査するために使用されてもよく、または、1つ以上の添加等により脂血レベルを低下させるように、さらなる処理のために使用されてもよい。他の検査または処理は、リモートステーション132で行うことができる。さらに、デキャッピングステーション、アリコートの準備等のように、追加のステーション(図示せず)を軌道121の周囲に配置してもよい。
【0035】
検体検査装置100は、トラック121の周囲の1つ以上の位置に多数のセンサ116を含んでいてもよい。センサ116は、例えば、検体容器102上に配置された識別情報218i(図2)を読み取ることによって、トラック121に沿った検体容器102の位置を検出するために使用することができる。位置をトラッキングするための他の手段を用いることができる。センサ116の全ては、各検体容器102の位置を常に適切に知ることができるように、コンピュータ143と接続することができる。
【0036】
遠心分離機125および分析器106、108、110のそれぞれは、一般に、トラック121からキャリア122を除去するように構成されたロボット機構および/または流入レーン、および、トラック121にキャリア122を再び入るように構成されたロボット機構および/または流出レーンを備えることができる。
【0037】
検体検査装置100は、コンピュータ143によって制御することができ、コンピュータ143は、適切なメモリ、および、適切なコンディショニングエレクトロニクス、ドライバー、ならびに様々なシステム構成要素を操作するためのソフトウェアを備えた、マイクロチップベースの中央処理ユニットCPUであってもよい。本明細書に記載されるボリューム特徴付け方法のために実施するための画像処理のために使用されるコンピュータ143は、十分な処理能力、適切なRAM、および適切なストレージを有する、CPU、GPUまたはそれらの組合せを含むことができる。一実施例では、コンピュータ143は、1つ以上のGPU、8GBRAM以上、およびテラバイト以上のストレージを備えた、マルチプロセッサ装置付きパーソナルコンピュータ(PC)であってもよい。別の例では、コンピュータ143は、GPU装備PC、または任意には、並列モードで作動し、8GBRAM以上を含み、適当なストレージであってもよい。いくつかの実施形態において、複数のコンピュータを使用することができ、1つはCNNのトレーニングのために、もう1つは本明細書に記載されているように、検査およびボリューム特徴付け方法を実施するために使用することができる。適切なプロセッサには、INTEL(登録商標)XEON(登録商標)プロセッサ、INTEL(登録商標)CORE(商標)プロセッサファミリーおよびINTEL(登録商標)ATOM(商標)プロセッサファミリー、またはNVIDIA(登録商標)から利用可能なARM(登録商標)CORTEX(登録商標) A9 r4 CPUを含むチップ上の低エネルギーTEGRA(登録商標)システム(S-OC)さえ含まれ得る。他の適切なプロセッサを使用してもよい。OS、Linux(登録商標)、およびOS Xに基づくオペレーティングシステムが使用されることがある。
【0038】
コンピュータ143は、検体検査装置100の基部120の一部として収容してもよいし、基部から分離して収容してもよい。コンピュータ143は、プログラムされた命令を介して、キャリア122のローディングエリア105への移動およびローディングエリア105からの移動、トラック121周辺の移動、遠心分離機125への移動および遠心分離機125からの移動を制御するように操作することができる。コンピュータ143または別個のコンピュータは、遠心分離機125の操作、品質チェックモジュール130への移動およびそこからの移動、ならびに品質チェックモジュール130の操作、ならびに各分析器106、108、110への移動およびそこからの移動、ならびに種々のタイプの検査(例えば、アッセイまたは臨床化学)を実施するための各分析器106、108、110の操作を制御することができる。
【0039】
品質チェックモジュール130を除く全てについて、コンピュータ143は、ニューヨーク、タルリタウンのシーメンス・ヘルスケア・ダイアグノスティクス社が販売するDimension(登録商標)臨床化学分析器上で使用されるもののようなソフトウェア、ファームウェア、および/またはハードウエアの指令または回路に従って、検体検査装置100を制御することができ、そのような制御は、コンピュータベースの電気機械的制御プログラミングの当業者にとっては一般的であり、本明細書ではそれ以上記述しない。しかしながら、他の適切な装置を使用して、検体検査システム100を制御してもよい。直接ボリューム定量化を導出するための品質チェックモジュール130の制御は、本明細書で詳細に説明するように、ニューラルネットワークベースの方法に従ってコンピュータ143によって提供され得る。
【0040】
本開示の実施形態は、ユーザが種々の制御ステータス表示画面スクリーンに容易かつ迅速にアクセスすることを可能にするコンピュータインターフェースモジュール(CIM)145を用いて実施することができる。これらの制御及びステータスクリーニングは、検体212のプレスクリーニング、準備、および分析のために使用される複数の相互に関連した自動化装置の一部または全ての側面を記述することができる。CIM145は、複数の相互に関連した自動化装置の作動状態に関する情報、ならびに任意の検体212の位置、ならびに検体212上で実施される、または検体212上で実施されるプレスクリーニングおよび検査の状態を記述する情報を提供するために使用され得る。従って、CIM145は、オペレータと検体検査装置100との間の相互作用を容易にするように構成されている。CIM145は、オペレータが検体検査装置100とインターフェースをとるアイコン、スクロールバー、ボックス、及び、ボタンを含むメニューを表示するように構成された表示画面を含んでいてもよい。
【0041】
検体212を開示の態様に従ってプレスクリーニングすることにより、血清または血漿部分212SP、および、沈降血液部分212SBの相対量の正確かつ直接的なボリューム定量化が可能になるが、ゲルセパレータ313のボリュームを提供することも可能である。このようなボリューム定量化は、指示された全ての検査を実施するのに利用可能な血清または血漿部分212SPの量が不十分である場合、検体212が1つ以上の分析器106、108、110に進行するのを止めることができることを保証する。容量が少ない場合は、追加の吸引を指示してもよい。さらに、沈降血液部分212SBに対する血清または血漿部分212SPの比の迅速かつ正確な決定が迅速に決定され得る。
【0042】
図4A~4Bを参照すれば、品質チェックモジュール130の第1の実施形態を示して説明する。品質チェックモジュール130は、1つまたは複数の分析器106、108、110による分析に先立って、検体の1つまたは複数の成分のボリューム(例えば、血清または血漿部分212SPのボリューム、沈降血液部分212SB、ゲルセパレータ313のボリューム、任意の2つまたは前述の3つ全て)を自動的に定量化するように構成されてもよい。この方法でのボリュームプレスクリーニングは、液体部分(例えば、検体212の血清または血漿部分212SP)の十分な量(例えば、ボリューム)が利用可能であることを決定することを可能にし、その結果、価値ある分析器資源の無駄を回避する。
【0043】
血清または血漿部分212SPのボリュームおよび沈降血液部分212SBのボリュームが定量化される検体定量化法に加えて、品質チェックモジュール130において、検体容器102に含まれる検体212上で他の検出方法が行われ得る。
【0044】
さて、図1、4Aおよび4Bを参照すれると、検体ボリュームを決定し、複数の画像取得装置440A~440Cを含むように構成された品質チェックモジュール130の第1の実施形態が示されている。3つの画像取得装置440A~440Cが示されているが、1つ、2つ以上、または4つ以上の画像取得装置を使用することができる。画像取得装置440A~440Cは、デジタル画像(すなわち、画素化画像)、電荷結合素子(CCD)、光検出器のアレイ、1つまたは複数のCMOSセンサなどを取得することができる従来のデジタルカメラであってもよい。例えば、3つの画像取得装置440A、440B、440Cは、図4Aに図示されており、3つの異なる側方視点からデジタル画像を取得するように構成されている。
【0045】
各画像取得装置440A、440B、440Cは、任意の適切な画像サイズを有するデジタル画素化画像を取得することができる装置であってもよい。一例を挙げると、画像サイズは、1つの実施形態において、およそ2560画素(高さ方向)×694画素(幅方向)、および別の実施形態において、およそ1280画素(高さ方向)×384画素(幅方向)であり得る。他の画素密度および高さ/幅の比を用いてもよい。
【0046】
血清または血漿部分212SPおよび沈降血液部分212SBなどの検体成分を含む検体容器102の、複数視点からの実施例画像740A-740Cを図7A-7Cに示す。各画像取得装置440A~440Cは、検体容器102の少なくとも一部および検体212の少なくとも一部の側方画像を取得するように構成され、操作可能であることができる。例えば、画像取得装置440A-440Cは、キャップ214の全部または一部、管215の全部または一部、および検体212の全部または一部を取得することができる。最終的に、複数の画像から、検体212のそれぞれの生体液成分のボリュームを決定することができる。いくつかの実施形態において、複合モデルを生成し、使用して、最終的な決定を行うか、または個々の画像取得装置440A~440Cによってなされた決定を、検体212のボリューム定量化について確認することができる。例えば、いくつかの実施形態では、様々な視点のボリューム結果を平均化してもよい。外れ値は無視してもよい。
【0047】
図4A及び4Bに示される実施形態において。3つの画像撮影装置440A、440B、440Cを使用する場合、示されているように、互いに約120°など、互いにほぼ等間隔になるように視点の間隔を空けてもよい。図示されているように、画像取得装置440A~440Cは、トラック121の周囲に配置されてもよい。複数の画像取得装置440A~440Cの他の配置および間隔を使用してもよい。このようにして、検体容器102がキャリア122内に存在し、かつ、検体容器102を回転させて撮像に適した視野窓を見つける必要がない間に、検体212の画像を撮影することができる。3つの視点のうち、少なくとも1つの視点は、検体212の妨げのない見解を提供すべきである。いくつかの実施形態において、取得される画像は、縁で互いにわずかに重複することがある。
【0048】
1以上の実施形態では、キャリア122は、画像取得装置440A~440Cのそれぞれからの法線ベクトルが交差する点など、品質チェックモジュール130内の所定の位置で停止させることができる。この位置は、本明細書では、撮像位置432と呼ばれる。いくつかの実施形態では、良質の画像を捕らえることができるように、キャリア122を撮像位置432で停止させるためのゲートを設けることができる。他の実施形態では、キャリア122は、プログラムされたように、撮像位置432などの所望の位置で停止するように構成されたリニアモーターを含むことができる。品質チェックモジュール130にゲートがある実施形態では、品質チェックモジュール130におけるキャリア122の存在を決定するために、1つまたは複数のセンサ(センサ116のように)を使用することができる。
【0049】
画像取得装置440A~440Cは、画像ウィンドウ、すなわち、撮像位置432を含む領域を取得するために、検体容器102が画像ウィンドウのほぼ中央に位置するように停止することができるように、画像取得装置440A~440Cが近接して提供され、トレーニングされるか、または集束されることがある。構成されたように、画像取得装置440A~440Cは、血清または血漿部分212SPの全て、沈降血液部分212SBの全て、ゲルセパレータ313(存在する場合)の全て、キャップ214の一部または全部、および恐らく管215の最下部を含む画像を取得することができる。
【0050】
操作において、各画像は、事前に構成された画像取得プロトコルまたはシーケンスに基づいてコンピュータ143によって送出され得る通信線443A~443Cに提供されるトリガリング信号に応答してトリガリングされ、取得され得る。取得された画像のそれぞれは、本明細書に提供される定量化方法の1つ以上の実施形態に従って、コンピュータ143によって処理することができる。特に、ハイダイナミックレンジ(HDR)処理を用いて、検体212をボリューム定量化するために、画像および関連する撮像データを取得し処理することができる。
【0051】
より詳細には、異なる公称波長を有する異なる光スペクトルを放出する異なる光源によって照射され、かつ異なる視点から照射されている間に、複数の異なる露光(例えば、露光時間)で、品質チェックモジュール130において、検体212(例えば、分割によって分離された検体212)の複数の画像を連続的に取得することができる。例えば、各画像取得装置440A-440Cは、1つ以上のスペクトル(例えば、赤色(R)、緑色(G)、および青色(B)光)で複数の露光時間で4-8以上の画像を撮影することができる。各スペクトルの異なる露光での画像は、全ての画像取得装置440A~440Cについて、逆光し、連続して撮像することができる。画像は、例えば、各視点についてラウンドロビン方式で撮影することができる。他の数の画像は、任意の適切な露光増分で取得することができる。
【0052】
1つの実施形態において、複数の波長画像は、異なる色の光源444A~444Cを用いて検体212を照射することによって達成することができる。光源444A~444Cは、背光源であってもよく、第1の実施形態において(図4A~4Bに示されるように)検体容器102に背光を当てることができる。特に、関連する画像取得装置440A-440Cの視点から、それぞれの光源444A-444Cが撮像位置432の後方に配置された場合には、バックライトが設けられる。任意に、光源は、検体容器102の上方、下方、またはそれぞれの画像取得装置440A-440Cの側面に配置されるなどして、光源の前方に配置してもよい。光拡散装置および/または光フィルタを、いくつかの実施形態において光源444A~444Cと組み合わせて使用することができる。適切なバックライト源については、2016年1月28日に提出された米国仮出願第62/288,381号「検体容器および検体を特徴づけるための方法および装置」に記載されている。
【0053】
例えば、最初のスペクトルを有する画像を取得するために、3つの赤色光源(スペクトル範囲が約±35nmの公称波長約450nm)を用いて、側方に間隔をおいた3つの位置から検体212を連続的に照明することができる。個々の光源444A~444Cによる赤色照明は、異なる露光時間における複数の画像(例えば、4~8以上の画像)が、各画像取得装置440A~440Cによって連続的に取得されるにつれて生じることがある。いくつかの実施形態において、露光時間は、例えば、約1msから256msの間であり得る。例えば、8ms、32ms、128ms、156msの4回の露光時間を使用することができる。露光時間の他の数および長さを用いることができる。画像露光を変化させるための他の適切な光学手段を使用してもよい。
【0054】
各実施形態では、品質チェックモジュール130は、トラック121を少なくとも部分的に囲んだり覆ったりすることができるハウジング446を含むことができ、外部照明(例えば、周囲または部屋の照明)が最小限になるように、撮影中に検体容器102はハウジング446の内部に位置することができる。ハウジング446は、キャリア122がハウジング446に出入りすることを可能にするために、1つ以上のドア446Dを備えることができる。いくつかの実施形態において、天井は、検体容器102が上方からのロボットグリッパフィンガを含むロボットによってキャリア122にロードされることを可能にするための開口部446Oを含むことができる。いくつかの実施形態において、ハウジング446の内壁表面は黒色でよい。
【0055】
赤色光源444A~444Cは、いったん赤色光源444A~444Cをオフにし、光の別のスペクトル、例えば、緑色光源444A~444Cは、約±35nmのスペクトル範囲で約560nmの公称波長を順次オンにし、異なる側方視点に配置された各画像取得装置440A~440Cによって、異なる露光時間で複数の画像(例えば、4~8以上の画像)をその波長で取得することができる。これは、各画像取得装置440A~440Cについて、青色光源444A~444C(スペクトル範囲が約±35nmの公称波長約635nm)で繰り返してもよい。RGB以外の波長または色の違いが多かれ少なかれ使用されることがある。異なる波長を有する光源444A~444Cは、例えば交換可能なフィルタの使用、または例えば選択的にオンおよびオフすることができる異なる色の光源のバンクを介してなどの任意の適切な手段によって達成され得る。異なるスペクトル(着色)照明を生成するための他の手段を使用してもよい。
【0056】
上記のそれぞれにおいて、各波長(例えば、R、G、およびB)に対して複数の露光時間で撮影された複数の画像が、複数の視点からの検体212のための画像の収集全体が、例えば約2秒未満で得られるように、迅速に連続して得られることがある。例えば、限定ではなく、RGB源のバンクを含む光源444A~444Cを用いた3つの画像取得装置440A、440B、440Cおよびバックライトを用いた3つの視点における各波長の4つの複数の露光画像は、4画像×3色×3カメラ=36画像をもたらし、撮影は迅速に連続する。画像データはコンピュータ143のメモリに記憶され、続いて処理されて、本明細書に記載されているように検体212を量的に定量化することができる。
【0057】
ここで、ボリューム定量装置500の機能的構成要素を記述する図5Aを参照する。ボリューム定量装置500は、502内の撮像位置432において、検体212を含む検体容器102を提供することによって、画像取得を含むことができる。その後、HDR画像は、上記のように504内で撮影される。データ入力量を減らすために、HDR画像の画像データを505で前処理してもよい。前処理には、例えば、各スペクトルについて異なる露光での複数の取得画像から最適に露光された画素を選択し、各画像取得装置440A~440Cについてその正規化を行い、各スペクトル(例えば、R、G、B)および各画像取得装置440A~440Cについて最適に露光された撮像データを生成するようにすることが含まれる。この前処理フェーズでは、画像をより少なく処理する必要があるように、画像の統合が行われる。
【0058】
統合は、各画像撮影装置440A~440Cからの露光時間の画像各対応画素に対して、複数の露光時間の画像それぞれから最適な画像強度を示す画素を選択することを含む。最適な画像強度は、例えば、所定の強度範囲(例えば、0~255のスケールで180~254の強度)内に入る画素として定義され得る。しかし、他の適当な範囲を用いることができる。2つの画像の対応する位置の1つ以上の画素が最適に露光されていると判定された場合、2つのうちより高い方を選択することができる。その結果、全ての画素が最適に露光される(例えば、スペクトルあたり1つの画像データセット(例えば、R、G、およびB)および画像取得装置440A-440C)各画像取得装置440A-440Cについて、複数の統合されたカラー画像データセット(例えば、R、G、B)が得られる。次に、各画素の最適に露光された強度値を露光時間によって正規化することができ、その結果、各統合画像の全ての画素が露光時間に関係なく正規化される。
【0059】
品質チェックモジュール130のキャリブレーションの一部として、検体容器102またはキャリア122を持たない任意の参照画像を506内に取得することができる。このようにして、背景画素は、前面画像のみを残す各画像データセットから容易に除去することができる。このような任意の背景低減は、505におけるHDR画像の前処理の間にも達成され得る。各露光時間および照明条件(例えば、R、G、B)に対する参照画像は、例えば、検ボリューム定量化方法を実施する前に、品質チェックモジュール130によって撮影されてもよい。背景除去のための他の適切な手段を用いてもよい。
【0060】
最適に露光された画素を含む統合された画像データセットのそれぞれに対して、1)ボリュームを直接、または2)ボリュームクラスを、出力するために特徴付け方法が実行され、当該ボリュームクラスはルックアップテーブルなどの任意の適切な手段によって容易にボリューム値に変換され得る。特に、画像データセットは、ニューラルネットワーク535を含むボリューム決定モデルへの直接入力として提供される。図5Bおよび5Cに示されているように、CNN、CNN、および/またはCNNなどの1つまたは複数の畳み込みニューラルネットワークを含むニューラルネットワーク535を備えることができる。CNNは、それぞれ、検体212の1つまたは複数の成分のボリュームまたはボリュームクラスを定量化するようにトレーニングされた、予めトレーニングされた畳み込みニューラルネットワーク(CNN)であってもよい。
【0061】
特に、図5B及び5Cの実施形態では、CNN535の出力は、526中の血清又は血漿部分212SP(又は526A中の血清又は血漿部分212SP、526B中の沈降血液部分212SP、又は526C中のゲルセパレータ313)のボリュームクラスを導出するために使用され、その後、ルックアップテーブル等の使用を介してボリューム値を出力することができる。他の実施形態では、ボリュームは、図6Bに記載されるように、CNN635から直接出力され得る。いずれにせよ、ボリューム定量化は、いかなる種類のセグメント化プロセスもなしに達成され、ここで、血清または血漿部分212SPである検査検体212の境界の幾何学的な限界が、最初に検査検体212上で決定される。したがって、画像の入力データから、ボリュームの定量化が容易かつ直接的に達成できる可能性がある。
【0062】
本明細書に記載されるCNNは、Berkley Vision and Learning Center(BVLC)から入手可能なCaffe、Theano、多次元アレイを含む数学的表現の高速計算のためのPythonフレームワーク、Google、Inc.、Torchから入手可能なTensorFlow、および例えば、最適化された数学ライブラリーであるカリフォルニア州サンタクララのインテル・コーポレーションから入手可能なMath Kernel Library(MKL)など、適切な科学的計算フレームワーク、プログラム、またはツールボックスを用いてコード化することができる。
【0063】
さて、図5Aおよび5Cを参照すると、ニューラルネットワーク535は、529または529SPにおける血清または血漿部分の画像データおよび出力ボリューム、529SBにおける沈降血液部分のボリューム、および/または529GSにおけるゲルセパレータ313の出力ボリュームを処理することができる1つまたは複数の畳み込みニューラルネットワークCNN、CNN、CNNを含むことができる。ボリューム測定を容易にするために、個々にトレーニングされたCNNを、検体212の各特定の成分のボリューム定量化のために使用することができる。
【0064】
CNN(例えば、CNN、CNN、CNN)のそれぞれについて、トレーニング例の複数セットが、個々のCNNをトレーニングするために使用される。CNN(例えば、CNN、CNN、CNN)は、トレーニング入力としてトレーニング画像と共に、それぞれに対してグランドトゥルースラベル507を提供することによってトレーニングされ得る。グランドトゥルースラベル507は、特定のCNN(例えば、ボリュームの直接またはボリュームクラスのいずれか)からの可能な結果として定義される。例えば、グランドトゥルースラベル507は、例えば、CNNがマッピングするように構成することができる10~10,000の複数のボリュームまたはボリュームクラスの結果であり得る。他の実施形態は、100から1,000の異なるボリュームまたはボリュームクラス、または100から500の異なるボリュームまたはボリュームクラスのようなより少ないトレーニングを使用することができる。結果間の段階は線形ではない可能性があり、したがってトレーニングされた結果間の間隔は、共通のボリュームの領域に集中している可能性がある。例えば、図5Bに示されるように、CNNは、結果としてボリュームクラスSPP1-SPPnの1-nグランドトゥルースラベルで構成されるが、図6Aでは、グランドトゥルースラベルは、直接出力され、CNN635によってマッピングされ得る結果としてボリューム値であるSPP VOL1-SPP VOLnのトレーニング値である。
【0065】
各場合において、CNN535、635のトレーニングは、それぞれに関連するトレーニングアノテーションを含む大量のトレーニング画像(例えば、500~10,000以上のデジタル画像データセット)を入力することを含む。例えば、各CNNに対するトレーニングアノテーション508は、画像内でトレーニングされている特定の生体液成分(例えば、血清または血漿部分212SP、沈降血液部分212SBP、およびゲルセパレータ313)の画像上の位置を同定するために、図5Dに点線で示されるように、トレーニング境界ボックス236A、236B、236C(例えば、長方形)などの画像上の輪郭を含むことができる。トレーニングアノテーション508は、さらに、各特定のトレーニング境界ボックス236A、236B、236C内に含まれるボリュームを表すボリュームのスカラ値を含むことができる。従って、トレーニングアノテーション508は、各トレーニング境界ボックス236A、236B、236Cに対するスカラボリューム値と共に、既知ボリュームの多数のトレーニング検体中の様々な領域(例えば、212SPP、212SBP、313)を画像上に輪郭形成することを含むことができる。トレーニング検体は、血清または血漿部分212SP、沈降血液部分212SB、およびゲルセパレータ313の様々な検体ボリューム、ゲルセパレータ313を含む、または含まない様々な範囲のラベル218による遮蔽、異なるサイズの検体容器102(例えば、異なる直径および高さ)などを有し得る。
【0066】
CNN535、635が、十分に高い信頼性(例えば、98%または99%を超えることさえある)でCNNが正しい結果を決定するように適切にトレーニングされると、品質チェックモジュール130およびボリューム定量化法は、分析器(例えば、分析器106、108、および/または110上)での実際の検体検査前に行われるプレスクリーニング検査方法の一部として、検体212の1つ以上の成分のボリュームを決定するために使用され得る。検査CNNモデルは、トレーニングされているグランドトゥルース入力を欠いているであろう。
【0067】
図5Bに示されるように、実施形態は、血清または血漿部分212SPのボリュームクラス(例えば、SPP1からSPPn)を出力するように構成される。より詳細には、CNN535は、深部学習を提供するのに適当な数の操作層(operating layers)を含むことができる。記載されたCNNアーキテクチャは、例えば、64×64パッチ(64画素×64画素)を用いてボリューム分類に使用することができる。しかしながら、例えば31画素×31画素のような他のパッチサイズを使用してもよい。ボリューム定量化作業のために、例えば、CNN535の3つの主要な操作層を選択することができる。畳み込み層およびプーリング層を含む第1操作層538は、非常に局所的な構造縁を抽出することができ、畳み込み層およびプーリング層も含む第2操作層540は、縁の組合せであるテクスチャを学習することができ、一部の実施形態においては、第3操作層542(任意でよい)でも領域の一部を形成することができる。CNN535の層538、540、542のそれぞれは、HDR画像処理から提供された多チャネル(例えば、多スペクトル、多重露光)撮像データから恩恵を受ける。3つの入力層(例えば、HDRを含むRGBスペクトル成分)が使用される時のように、様々な入力チャネルにわたるこれらの計算は、本質的に扱うことができ、ディープラーニングネットワークによって表現することができる。このフレームワークは、低レベル、中レベル、および高レベルの特徴を自然に集約し、526において種々ボリュームクラス出力オプションに適切な分類を提供するために操作可能である。
【0068】
CNN535のアーキテクチャには、様々な組合せの畳み込み層(Conv)、プーリング層(Pool)、および全結合層(FC:別名「内部製品」)が含まれ得る。例えば、CNN535の一実施形態は、畳み込み層、プーリング層、最終的な畳み込み層、および少なくとも1つと任意に2つの全結合層FCから構成されたアーキテクチャを含むことができる。SoftMaxのような損失層がCNN535に含まれることがある。例えば、CNN535の解は複数のボリュームクラス(SPP1-n)から選択される1つの分類であるため、損失層はSoftMaxであってもよい。すなわち、各チャネル出力に対して信頼性が提供され(チャネル出力はボックス1-nとして示される)、投票スキーマは1つの出力構成を選択することができる。いくつかの実施形態において、順番に、Conv-Pool-Conv-Pool-Conv-FC-FC-SoftMaxなどの適応CNNアーキテクチャを使用することができる。フィルタサイズおよびストライドなどのパラメータは、CNN535の設定およびトレーニング時のパラメータチューニングの一部として設定することができる。
【0069】
図6Aおよび6Bは、直接ボリュームを出力するそれぞれのトレーニングCNN635AおよびテストCNN635Bを示す。アーキテクチャは、前述のようにしてもよい。しかしながら、いくつかの実施形態において、CNN635A、635Bは、任意に、ネットワークを拡張することを可能にする整流および活性化機能(ランプ機能としても知られる)であるReLUを含むことができる。非線形性としてのReLUの使用は、教師なしの事前トレーニングなしでディープ教師ありニューラルネットワークのトレーニングを可能にすることが示されている。レクティファイドリニアニユット(Rectified linear units:ReLU′s)は、検体画像の場合のように、大規模で複雑なデータセット上のディープニューラルネットワークアーキテクチャのより迅速で効果的なトレーニングを可能にする。特に、トレーニングCNN635Aは、ユークリッド損失層のような損失層Lを含む。検査CNN635Bは、626内の単一ボリューム(例えば、SPP VOL1-SPP VOLnの1つ)に直接マッピングできる、最終的な畳み込み層(Conv)および1つ以上の全結合層FCを含む。出力としてマッピングされ得る複数のボリュームの数は、例えば、10~10,000、100~1,000、または100~500の間を含むことができる。他の数を使用してもよい。
【0070】
トレーニングおよび検査の両方において、検体212の各領域がCNN535、635A、635Bで分類され、各パッチが予め定義された出力オプションの1つ以上に対して応答を与えるところで、スライディングウィンドウまたはパッチが使用される。次に、候補は、多数決方式によって、または結果ベクトルへの出力によって、事前に定義されたオプション(ボリュームクラスまたはボリューム)の1つ以上として分類される。
【0071】
図5Bおよび5Cの第1の実施形態では、様々な領域に対するボリューム分類は、検体212の各成分に対して1つの唯一の結果526または526A-526C、および可能な各結果に対する信頼水準をもたらし、これは、例えば1つに正規化することができる。そのような結果を視点ごとに1つ提供する。各視点について報告された構成は、最高信頼水準(CL)を有するボリューム分類である。これらの結果は、個別に、または平均として報告されることがある。さらに、LASのオペレータおよび/または指示された検査のために不十分なボリュームが存在する場合にLIS147に警告を提供することができる。さらに、血清または血漿部分212SOPおよび沈降血液部分212SBの成分のボリューム結果および比率を、LIS147に直ちに報告することができる。
【0072】
適切にトレーニングされた後、検査される各検体212について、統合されたデータセット537は、CNN535、635Bに入力され、操作される。グランドトゥルースラベル507は、以前に入力され、トレーニング中に確立されている。CNN535、635Bは、比較的高い信頼性(例えば>98%)で、グランドトゥルースラベル507によって確立されたボリュームクラス結果526またはボリューム626の1つに収束する。例えば、図5Bの図示例では、投票方式はチャネル7を選択している。このように、CNN535は、全てのチャネル出力1-nの最も高い信頼度(例えば、信頼度0.991)で、ボリュームクラス結果SPP7に収束している。次に、ルックアップテーブル539を参照して、各ボリュームクラス結果526についてルックアップテーブル539に事前に入力された対応するボリューム529を抽出することができる。
【0073】
他の視点からの画像データセットの追加処理は、ボリューム値を提供することもでき、また、全ての視点からのボリューム値出力を平均して、検体212SPおよび/または他の成分の血清または血漿部分のボリュームの優れた推定値を提供することができる。従って、本明細書に記載され、品質チェックモジュール130によって実施されるニューラルネットワークに基づく定量化方法は、検体212の血清または血漿部分212SPの迅速なボリューム定量化をもたらす可能性があることは明白であるべきである。
【0074】
1以上の実施形態によるボリューム定量化法800のフローチャートを図8に示す。まず、キャリア122によって搬送されることがある検体212を含む検体容器102が、品質チェックモジュール(例えば、品質チェックモジュール130)の撮像位置432に提供される。トレーニング用の品質チェックモジュール130は、検査に使用されるものと同じモジュールであってもよい。検体212の血清または血漿部分212SPを含む検体212を含む検体容器102の複数の画像が802で撮影される。画像はまた、沈降血液部分212SBおよびゲルセパレータ313(存在する場合)を含むこともできる。複数の画像は、本明細書に記載されているように、複数の異なる露光および複数の異なるスペクトルで撮影されたマルチスペクトル画像であってもよい。さらに、上記のように、異なる画像取得装置440A~440Cによって、複数の視点から画像を取得することができる。
【0075】
ボリュームの定量化のために、品質チェックモジュール130のバックライトによる設定を使用することができ、複数の画像をコンピュータ143のメモリに保存することができる。これらの画像から、804の前処理データでは、任意に806の背景除去で背景を除去して、計算負荷を軽減することができる。806における背景除去は、以前に撮影された対応する参照画像を差し引くことによって達成され得る(例えば、506における-図5A参照)。このように、背景を除去すると、処理のためのフォアグラウンドに関連するデータのみが残り、全体の計算量が低減される。
【0076】
804の前処理データでは、照明の各波長(例えば、4~8の露光量)における各画像データセットのデータを統合することができる。統合には、露光ごとに最適に露光される画素を選択し、選択されたすべての画像データを波長ごとおよび視点ごとに1つの画像データセットに統合した後、上述のように選択されたすべてのデータを正規化することが含まれる。画像統合処理の間、各スペクトル(例えば、R、G、およびB)および各画像取得装置440A-440Cでの様々な露光画像が、最適に露光されたそれらの画素を決定するために、画素毎にレビューされる。各対応する画素位置に対して、最適に露光された画素のうち最も良好なものが選択され、正規化され、各スペクトルおよび画像取得装置400A-440Cのための最適に露光された画像データセットに含まれる。このように、前処理データ804における画像の統合に続いて、各スペクトル(例えば、R、G、およびB)および各画像取得装置440A-440Cに対して、最適に露光される画像データセットが1つ生成される。HDR画像処理の使用は、反射および吸収に関する画像の詳細を濃縮するために機能する可能性がある。これにより、ボリュームの定量化がより正確になる可能性がある。
【0077】
808では、各スペクトルおよび各画像取得装置440A-440Cの画像データセットは、CNN535に入力され、CNN535によって操作される(処理される)。CNN535は、検体212の1つまたは複数の成分のボリュームを定量化できるように、前回のトレーニング方法で適切にトレーニングされている。
【0078】
CNN535からの出力として、810において、検体212の1つまたは複数の成分のボリュームの定量化を決定することができる。いくつかの実施形態において、CNNからの出力は、血清または血漿部分212SPのボリュームクラスである(図5B参照)。別の実施形態では、CNNからの出力は、沈降血液部分212SBPのボリュームクラスである(図5C参照)。さらに別の実施形態では、CNNからの出力は、ゲルセパレータ313のボリュームクラスである(図5C参照)。別の実施形態では、沈降血液部分212SBPのボリュームクラスを出力するように構成されたCNNは、図5Bのように独立したモデルとして構成されてもよい。別の実施形態では、ゲルセパレータ213のボリュームクラスを出力するように構成されたCNNは、図5Bのように独立したモデルとして構成されてもよい。
【0079】
いくつかの実施形態において、CNN635Bからの出力は、血清または血漿部分212SPのボリュームである(図6B参照)。同一のCNNを、図6Bのような独立したモデルとして沈降血液部分212SBPのボリュームを出力するように構成することができる。同様に、ゲルセパレータ213のボリュームを出力するように同一のCNNを構成することができる。
【0080】
812において、CNNからの出力がボリュームクラスである場合、次いで、CNN535から出力される検体のボリュームクラスの後処理が、血清または血漿部分212SPのボリュームを得るために提供される。後処理は、図5Eに示されるようなルックアップテーブル539にアクセスして、検体212における血清または血漿部分212SPの実際のボリューム値を決定してもよい。同様のルックアップテーブル539A、539B、539Cにアクセスして、血清又は血漿部分212SPの実際のボリューム値、沈降血液部分212SBの実際のボリューム値、及びCNN535が1つの集約ネットワークの形態を含む場合の図5Cに示すゲルセパレータ313の実際のボリューム値を求めることができる。従って、図8に記載された方法800は、沈降血液部分212SBまたはゲルセパレータ313のボリュームの判定に等しく適用可能であることは理解されるべきである。図8の「血清又は血漿部分」という用語を、「沈降血液部分」または「ゲルセパレータ」に端に置き換える。
【0081】
品質チェックモジュール130は、遠心分離機125上の遠心分離の直後にプレスクリーニングが実施されるように位置するように図1に示されているが、一部の実施形態において、またはトラック121に沿った他の場所において、分析器(例えば、分析器106、108、および/または、110)上に直接この特徴を含めることが有利であり得る。さらに、いくつかの実施形態では、ラック104をローディングエリア105に装填する前に遠心分離を行うことができ、その結果、いくつかの実施形態では、品質チェックモジュール130はローディングエリア105内に位置してもよく、品質チェックはロボット124が検体容器102をキャリア122に装填したすぐ後か、またはその前に実施できる。
【0082】
開示は様々な変更及び代替形態が可能であるが、特定のシステム及び装置の実施形態及びその方法は、図面の例として示されていて、本明細書で詳細に説明してきた。しかしながら、開示を開示された特定の装置または方法に限定することを意図していないが、反対に、その意図は、請求の範囲内に入る全ての改変、同等物、および代替形態をカバーすることであることは理解されるべきである。


図1
図2
図3A
図3B
図4A
図4B
図5A
図5B
図5C
図5D
図5E
図6A
図6B
図7A
図7B
図7C
図7D
図8