▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッドの特許一覧
特表2023-501938継続的な性能ベースの訓練を用いる診断分析システムを使用した自動検体特性評価のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-20
(54)【発明の名称】継続的な性能ベースの訓練を用いる診断分析システムを使用した自動検体特性評価のための方法および装置
(51)【国際特許分類】
G01N 35/00 20060101AFI20230113BHJP
G06T 7/00 20170101ALI20230113BHJP
【ＦＩ】
G01N35/00 A
G06T7/00 612
G06T7/00 350B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022525247
(86)(22)【出願日】2020-10-22
(85)【翻訳文提出日】2022-06-01
(86)【国際出願番号】 US2020056919
(87)【国際公開番号】W WO2021086720
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】62/929,063
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】508147326
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
(74)【代理人】
【識別番号】100127926
【弁理士】
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100140132
【弁理士】
【氏名又は名称】竹林 則幸
(72)【発明者】
【氏名】ヴェンカテッシュ・ナラシムハムルシー
(72)【発明者】
【氏名】ヴィヴィック・シンフ
(72)【発明者】
【氏名】イャオ－ジェン・チャン
(72)【発明者】
【氏名】ベンジャミン・エス・ポラック
(72)【発明者】
【氏名】アンカー・カプール
(72)【発明者】
【氏名】ラヤル・ラジュ・プラサド・ナラム・ヴェンカット
【テーマコード（参考）】
2G058
5L096
【Ｆターム（参考）】
2G058CB07
2G058CB15
2G058CB16
2G058GA01
2G058GC02
2G058GC05
2G058GD05
5L096BA06
5L096BA13
5L096FA02
5L096GA51
5L096KA04
(57)【要約】
自動診断分析システムにおいて分析予定の検体を特性評価する方法が、検体のセグメンテーション決定および／またはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を提供し、決定の精度および／または信頼性に基づいて特性評価訓練更新を提供する。この方法は、不正確なまたは低信頼性のセグメンテーションまたはＨＩＬＮ決定を識別する工程と、不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送する工程と、不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供する工程とを含む。他の態様と同様に、この方法を実施するように構成された品質チェックモジュールおよびシステムも記載される。
【選択図】図５
【選択図】図５
【特許請求の範囲】
【請求項1】
自動診断分析システムにおいて検体を特性評価する方法であって：自動診断分析システムにおいて品質チェックモジュールのＨＩＬＮネットワークを介して検体容器内の検体の取り込まれた画像に対してセグメンテーションまたはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を実施する工程と；
不正確なまたは低信頼性の決定を識別する工程と；
不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送する工程と；
不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供する工程と
を含む、前記方法。
【請求項2】
不正確なまたは低信頼性の決定に基づいて、１つまたはそれ以上の訓練画像の手動のアノテーションおよび／または自動で生成されたアノテーションに基づいて訓練更新を提供する工程を含む、請求項１に記載の方法。
【請求項3】
訓練更新をデータベースからＨＩＬＮネットワークに転送して、ＨＩＬＮネットワークに組み込む工程を含む、請求項２に記載の方法。
【請求項4】
１つまたはそれ以上の訓練更新の利用可能性のレポートまたはプロンプトをユーザに提供して、ＨＩＬＮネットワークを再訓練するために１つまたはそれ以上の訓練更新を受信するおよび／または組み込む時および場合をユーザが決定できるようにする工程を含む、請求項２に記載の方法。
【請求項5】
ＨＩＬＮ決定は、非遠心分離クラス、正常クラス、およびＨＩＬクラス／サブクラスを含む複数のクラスから選択される分類指標を決定することを含む、請求項１に記載の方法。
【請求項6】
ＨＩＬＮ決定は、非遠心分離クラス、正常クラス、および１９のＨＩＬクラス／サブクラスを含む２１の血清クラスから選択される分類指標を決定することを含む、請求項１に記載の方法。
【請求項7】
低信頼性の決定に基づいてデータベースに転送される１つまたはそれ以上の訓練画像は、０．０～１．０の範囲で０．９未満の信頼水準を含む、請求項１に記載の方法。
【請求項8】
１つまたはそれ以上の訓練画像に基づくＨＩＬＮネットワークの再訓練を含む、請求項１に記載の方法。
【請求項9】
ＨＩＬＮネットワークの再訓練は、データベースでの不正確なまたは低信頼性の検体特性評価の閾値数を満たしたまたは超えたときに行われる、請求項８に記載の方法。
【請求項10】
ＨＩＬＮネットワークによって実施された特性評価が不正確または低信頼性な決定を有すると判断された検体は、自動診断分析システムの分析器に自動的に転送されず、さらなる検討のために取っておかれる、請求項１に記載の方法。
【請求項11】
不正確なまたは低信頼性の決定は、ＨＩＬＮ決定が不正確であるまたは低信頼性を有するという決定である、請求項１に記載の方法。
【請求項12】
ＨＩＬＮ決定の不正確なまたは低信頼性の決定は、０．０～１．０の範囲で０．９未満の信頼水準を含む低信頼性の決定を含む、請求項１に記載の方法。
【請求項13】
不正確なまたは低信頼性の決定は、セグメンテーション決定が不正確であるまたは低信頼性を有するという決定である、請求項１に記載の方法。
【請求項14】
セグメンテーション決定の不正確なまたは低信頼性の決定は、分類されたセグメント内のピクセルの７０パーセント未満が同じものとして分類されるという決定を含む、請求項１に記載の方法。
【請求項15】
セグメンテーション決定の不正確なまたは低信頼性の決定は、分類されたセグメント内のピクセルの８０パーセント未満が同じものとして分類されるという決定を含む、請求項１４に記載の方法。
【請求項16】
セグメンテーション決定の不正確なまたは低信頼性の決定は、分類されたセグメント内のピクセルの９０パーセント未満が同じものとして分類されるという決定を含む、請求項１５に記載の方法。
【請求項17】
１つまたはそれ以上の訓練画像は、１つまたはそれ以上の訓練画像内の少なくとも血清または血漿部分を図的に示し、ＨＩＬ分類および指標値を割り当てることを含む関連のアノテーションを含む、請求項１に記載の方法。
【請求項18】
関連するアノテーションは、沈降血液部分、空気、キャップ、ラベル、および／またはゲル分離器にアノテーションすることをさらに含む、請求項１７に記載の方法。
【請求項19】
１つまたはそれ以上の訓練画像は、自動アノテーションを含む、請求項１に記載の方法。
【請求項20】
自動診断分析システムの品質チェックモジュールであって：検体容器の複数の視点から複数の画像を取り込むように構成された、撮像位置の周りに配置された複数の画像取込みデバイスと；
複数の画像取込みデバイスに結合されたコンピュータと
を含み、該コンピュータは、プログラミング命令によって：
コンピュータ上で実行される、品質チェックモジュールのＨＩＬＮネットワークを介して、複数の画像取込みデバイスの１つによって撮影された検体容器内の検体の取り込まれた画像に対してセグメンテーションまたはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を実施し；
不正確なまたは低信頼性の決定を識別し；
不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送し；
不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供する
ように構成され動作可能である、前記品質チェックモジュール。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１０月３１日出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＣＨＡＲＡＣＴＥＲＩＺＩＮＧ Ａ ＳＰＥＣＩＭＥＮ ＩＮ ＡＮ ＡＵＴＯＭＡＴＥＤ ＤＩＡＧＮＯＳＴＩＣ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ ＷＨＩＬＥ ＣＯＮＴＩＮＵＯＵＳＬＹ ＰＲＯＶＩＤＩＮＧ ＴＲＡＩＮＩＮＧ ＵＰＤＡＴＥＳ ＢＡＳＥＤ ＯＮ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＰＥＲＦＯＲＭＡＮＣＥ」という名称の米国仮特許出願第６２／９２９，０６３号の優先権および利益を主張し、その開示全体が、あらゆる目的で参照によって本明細書に組み込まれる。
本出願は、２０１９年１０月３１日出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＣＨＡＲＡＣＴＥＲＩＺＩＮＧ Ａ ＳＰＥＣＩＭＥＮ ＩＮ ＡＮ ＡＵＴＯＭＡＴＥＤ ＤＩＡＧＮＯＳＴＩＣ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ ＷＨＩＬＥ ＣＯＮＴＩＮＵＯＵＳＬＹ ＰＲＯＶＩＤＩＮＧ ＴＲＡＩＮＩＮＧ ＵＰＤＡＴＥＳ ＢＡＳＥＤ ＯＮ ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＰＥＲＦＯＲＭＡＮＣＥ」という名称の米国仮特許出願第６２／９２９，０６３号の優先権および利益を主張し、その開示全体が、あらゆる目的で参照によって本明細書に組み込まれる。
【0002】
本開示は、自動診断分析システムにおいて検体を特性評価するための方法および装置に関する。
【背景技術】
【0003】
自動診断分析システムは、例えば、尿、血清、血漿、間質液、脳脊髄液などの検体を分析して、検体中の分析物または他の成分を同定することができる。そのような検体は通常、自動診断分析システム内の様々な撮像、前処理、事前スクリーニング、および分析ステーションに自動トラックによって輸送することができる検体容器（例えば検体収集管）に含まれる。
【0004】
検体は、１つまたはそれ以上の試薬および場合により他の物質を添加して前処理され、次いで１つまたはそれ以上の分析ステーションで分析される。分析測定は、発光もしくは測光の読取り、または蛍光吸収もしくは放出の読取りによって、例えば呼掛放射ビームなどを使用することによって、検体に対して実施される。分析測定は、よく知られた技法を使用して、検体中の分析物または他の成分の量の決定を可能にする。
【0005】
しかし、患者の状態または検体の前処理に起因することがある検体中の干渉物質（例えば、溶血、黄疸、および／または脂肪血症）の存在が、１つまたはそれ以上の分析器から得られる分析物または成分測定の検査結果に悪影響を及ぼすことがある。例えば、患者の病状とは無関係であり得る検体中の溶血（Ｈ）の存在が、患者の病状の異なる解釈を引き起こす可能性がある。同様に、検体中の黄疸（Ｉ）および／または脂肪血症（Ｌ）の存在も、患者の病状の異なる解釈を引き起こす可能性がある。
【0006】
したがって、検体を特性評価するための事前スクリーニングプロセスが自動診断分析システムにおいて実施される。検体の特性評価は、検体容器および検体の様々な領域を識別することができるセグメンテーション決定を含むことがある。検体の特性評価は、ＨＩＬＮ決定；すなわち、分析予定の検体中のＨ、Ｉ、および／またはＬなどの干渉物質の存在および場合により干渉物質の度合いの決定、または検体が正常（Ｎ）であることの決定を含むこともあり、さらに処理することができる。この事前スクリーニングプロセスは、自動診断分析システムの１つまたはそれ以上の撮像ステーションで取り込まれた検体容器内の検体の１つまたはそれ以上の画像に基づくことがある。事前スクリーニングプロセスの性能（すなわちセグメンテーションおよび／またはＨＩＬＮ決定の精度）は、検体および検体容器を適切に特性評価するために事前スクリーニングプロセスを「訓練」するために使用される検体および検体容器の訓練画像のセットに基づくことがある。訓練画像のセットは、自動診断分析システムにおいて受け取られると予想される様々な異なる検体容器、ならびに検体量および外観（例えば、正常である、様々な度合いの各干渉物質を含む）を含むことを意図されている。
【発明の概要】
【課題を解決するための手段】
【0007】
第１の態様によれば、自動診断分析システムにおいて検体を特性評価する方法が提供される。この方法は、自動診断分析システムにおいて品質チェックモジュールのＨＩＬＮネットワークを介して検体容器内の検体の取り込まれた画像に対してセグメンテーションまたはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を実施する工程と、不正確なまたは低信頼性の決定を識別する工程と、不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送する工程と、不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供する工程とを含む。
【0008】
別の態様によれば、品質チェックモジュールが提供される。品質チェックモジュールは、検体容器の複数の視点から複数の画像を取り込むように構成された、撮像位置の周りに配置された複数の画像取込みデバイスと、複数の画像取込みデバイスに結合されたコンピュータとを含む。このコンピュータは、プログラミング命令によって、品質チェックモジュールのＨＩＬＮネットワークを介して、検体容器内の検体の取り込まれた画像に対してセグメンテーションまたはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を実施するように構成され動作可能であり、取り込まれた画像は、複数の画像取込みデバイスの１つによって撮影され、ＨＩＬＮネットワークは、コンピュータ上で実行されている。このコンピュータは、プログラミング命令によって、不正確なまたは低信頼性の決定を識別し、不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送し、不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供するように構成され動作可能である。
【0009】
本開示のさらなる他の態様、構成、および利点は、本発明を実施するために企図される最良の形態を含む、いくつかの例示的実施形態および実装形態の以下の説明および図示から容易に明らかになり得る。本開示はまた、他の異なる実施形態も可能であり得て、そのいくつかの詳細は、すべて本発明の範囲から逸脱することなく様々な点で変更することができる。本開示は、特許請求の範囲に含まれるすべての修正形態、均等形態、および代替形態を網羅することを意図されている。
【0010】
以下で説明する図面は、例示目的のものであり、必ずしも原寸に比例して描かれていない。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、本発明の範囲を限定することを何ら意図するものではない。
【図面の簡単な説明】
【0011】
【図1】１つまたはそれ以上の実施形態による、セグメンテーションおよび／またはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定方法を実施するように構成された１つまたはそれ以上の品質チェックモジュールを含む自動診断分析システムの上面概略図である。
【図2】干渉物質を含むことがある血清または血漿部分を有する分離された検体を含む検体容器の側面図である。
【図4A】１つまたはそれ以上の実施形態による、複数の視点を含み、セグメンテーションおよび／またはＨＩＬＮ決定を可能にするために複数の画像を取り込み、分析するように構成された品質チェックモジュール（上部が取り除かれている）の概略上面図である。
【図5】１つまたはそれ以上の実施形態による、特性評価性能に基づいてＨＩＬＮネットワークに訓練更新を継続的に提供しながら、検体容器内の検体のセグメンテーションおよび干渉物質決定を実施するように動作可能なＨＩＬＮネットワークの機能ブロック図である。
【図6】１つまたはそれ以上の実施形態による、品質チェックモジュール内の検体を特性評価する方法の流れ図である。
【発明を実施するための形態】
【0012】
上述したように、訓練画像のセットは、分析予定の検体で予想される様々な異なる検体容器ならびに検体サイズおよび外観（例えば、正常である、および様々な度合いの各干渉物質を含む）を含むことを意図されている。しかし、訓練画像のセットは、自動診断分析システムにおいて受信される検体容器および／または検体外観のすべての形態を含んでいるわけではないことがあり、および／または検体容器のサイズ、タイプ、および特性が時間の経過と共に変化して、不正確なまたは低信頼性の検体特性評価をもたらすことがある。
【0013】
したがって、新たな訓練画像を用いてなど継続的に更新することができる自動診断分析システムにおいて検体容器内の検体を特性評価するための方法および装置を提供するという満たされていないニーズがある。
【0014】
検体容器に含まれる検体の事前スクリーニングが、自動診断分析システムの１つまたはそれ以上の品質チェックモジュールで自動的に実施される。事前スクリーニングは、撮像ステーションで検体容器に含まれる検体の１つまたはそれ以上の画像を取り込むこと、ならびに取り込まれた画像に対してセグメンテーションおよび／またはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定、ほとんどの場合には両方を実施することを含む。セグメンテーション決定は、例えば、血清または血漿部分、沈降血液部分、ゲル分離器（使用される場合）、空気領域、１つまたはそれ以上のラベル領域、検体容器のタイプ（例えば高さおよび幅または直径を示す）、および／または検体容器キャップのタイプおよび／または色など、検体容器および検体の画像内での様々な領域（エリア）を識別することがある。ＨＩＬＮ決定は、血液検体の血清または血漿部分での干渉物質の存在およびいくつかの実施形態では干渉物質の度合い、または検体が正常（Ｎ）であるかどうかを決定することがある。正常（Ｎ）とは、検体が、許容できる程度の低量の干渉物質を含む、または干渉物質を実質的に全く含まないことを示す。
【0015】
干渉物質は、溶血（Ｈ）、黄疸（Ｉ）、または脂肪血症（Ｌ）であり得る。溶血は、前処理中に赤血球が破壊された血清または血漿部分の状態として定義され、赤血球の破壊により、赤血球から血清または血漿部分にヘモグロビンが放出され、血清または血漿部分が赤みがかった色合いを呈する。溶血の度合いは、溶血指数（例えば、いくつかの実施形態ではＨ０～Ｈ６、他の実施形態ではより多数または少数）を割り当てることによって定量化される。黄疸は、血清または血漿部分が濃い黄色に変色される血液の状態として定義され、この変色は、胆汁色素（ビリルビン）の蓄積によって引き起こされる。黄疸の度合いは、黄疸指数（例えば、いくつかの実施形態ではＩ０～Ｉ６、他の実施形態ではより多数またはより少数）を割り当てることによって定量化される。脂肪血症は、血中での異常に高濃度の乳化脂肪の存在として定義され、血清または血漿部分が白っぽいまたは乳白色の見た目を有する。脂肪血症の度合いは、脂肪血症指数（例えば、いくつかの実施形態ではＬ０～Ｌ４、および他の実施形態ではより多数またはより少数）を割り当てることによって定量化される。いくつかの実施形態では、事前スクリーニングプロセスは、遠心分離されていない検体の血清または血漿部分に関する非遠心分離（Ｕ）クラスの決定を含むことがある。
【0016】
事前スクリーニング特性評価方法を実行するように構成された自動診断分析システムの品質チェックモジュールは、品質チェックモジュールのコンピュータ上で実行可能なプログラミング命令によって実装されるＨＩＬＮネットワークを含むことがある。ＨＩＬＮネットワークは、例えば、検体容器に含まれる分画された検体の１つまたはそれ以上の取り込まれた画像を入力として受信するセグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）であり得る、またはそれを含むことがある。ＳＣＮＮは、いくつかの実施形態では、例えば、ＢａｔｃｈＮｏｒｍ、ＲｅＬＵ活性化、畳み込み（例えば２Ｄ）、ドロップアウト、および逆畳み込み（例えば２Ｄ）層を含む１００を超える操作層を含み、血清または血漿部分およびラベルを含む領域の単純なエッジ、テクスチャ、および部分などの特徴部分を抽出することができる。完全畳み込み層などの最上層は、部分間の相関を提供するために使用することができる。この層の出力はＳｏｆｔＭａｘ層に送られ、ＳｏｆｔＭａｘ層は、各ピクセルまたはパッチがＨＩＬＮを含むかどうかに関して、ピクセルごとに（またはｎ×ｎピクセルを含むスーパーピクセル（パッチ）ごとに）出力を生成する。いくつかの実施形態では、ＨＩＬＮの出力のみがＳＣＮＮによって提供される。他の実施形態では、ＳＣＮＮの出力は、複数のクラスのＨＩＬＮ、例えば２０を超えるクラスのＨＩＬＮを含むことがあり、したがって、存在する干渉物質ごとに、干渉物質のレベル（指標）の推定値を得ることもできる。各ＨＩＬの他の数のクラスがＳＣＮＮに含まれることもある。ＳＣＮＮは、容器タイプおよび容器境界を決定するためにフロントエンド容器セグメンテーションネットワーク（ＣＳＮ）を含むこともある。より特定的には、ＣＳＮは、血清または血漿部分、沈降血液部分、ゲル分離器（使用される場合）、空気領域、１つまたはそれ以上のラベル領域、検体容器のタイプ（例えば高さおよび幅／直径を示す）、および／または検体容器キャップのタイプおよび／または色など、検体容器および検体の画像の様々な領域（エリア）を分類することがある。検体容器ホルダまたは背景（検体容器を取り囲む画像の部分）も分類される。代替として、他のタイプのＨＩＬＮネットワークを品質チェックモジュールで使用することもできる。
【0017】
検体がＨ、Ｉ、およびＬのうちの１つまたはそれ以上を含むことが判明した場合、オペレータに適切な通知が提供される、および／または検体容器がオフラインにされて、（１）Ｈ、Ｉ、またはＬのうちの１つまたはそれ以上を修正するための改善手段を実施する、（２）検体を再描画する、または（３）他の処理を実施する。したがって、１つまたはそれ以上の分析器による分析の前にＨＩＬＮを事前スクリーニングすることができることにより、有利には、（ａ）分析に適切な品質でない検体の分析にかかる時間の浪費を最小限に抑える、（ｂ）誤った検査結果を回避するまたは最小限に抑える、（ｃ）患者の検査結果の遅延を最小限に抑える、および／または（ｄ）患者の検体の浪費を避けることができる。不正確なまたは低信頼性の試料検体決定は、アノテーションと共にローカルデータベースまたはクラウドベースのシステムに記憶される。
【0018】
事前スクリーニングプロセスを実施する前に、ＨＩＬＮネットワークは、検体容器内の検体を表す訓練画像のセットを用いて、検体容器内の検体を特性評価するために「訓練」される。訓練画像のセットは、後の検体特性評価において自動診断分析システムにおいて受信されると予想される様々な異なるサイズおよびタイプの異なる検体容器、ならびに異なる検体外観（例えば、正常である、様々な度合いの各干渉物質、異なる量での提供）を含むことを意図されている。システム性能を最適化するために、訓練画像のセットは、例えばシステムの地理的位置および動作サイズ（例えば、低、中、または大容量のシステム）に基づいて、特定の自動診断分析システムに合わせてカスタマイズされる。したがって、訓練画像セットの内容は、システムごとに多少異なることがある。さらに、訓練には非常に時間がかかるため、非常に多数の訓練画像およびそのアノテーションを提供することは法外なコストがかかる可能性がある。したがって、特定のシステムに関する訓練画像のセットは、そのシステムで使用され得るすべての種類の検体容器および／またはすべての種類の検体外観を含むわけではないことがある。また、検体容器のタイプおよび特性（例えば、サイズ、使用されるガラスまたはプラスチック材料、キャップのタイプおよび色、容器ラベルのサイズおよびその位置など）は、時間の経過と共に変化することがある。したがって、いくつかの検体特性評価は、ＨＩＬＮネットワークによって不正確または低信頼性とみなされることがある（不正確な特性評価は、任意の適切な技法を使用して決定され、特性評価の信頼水準は、任意の適切なアルゴリズムまたは技法を使用してＨＩＬＮネットワークによって提供される）。
【0019】
１つまたはそれ以上の実施形態によるＨＩＬＮネットワークは、頻繁にまたは定期的に、例えば不正確なまたは低信頼性の検体特性評価の閾値数を満たしたまたは超えたときなどに再訓練することによって、ＨＩＬＮネットワークに自動的に組み込むことができる継続的な訓練更新を提供することができる。他の基準を使用して訓練更新をＨＩＬＮネットワークに自動的に組み込むこともできる。追加としてまたは代替として、訓練更新が、ユーザの裁量でユーザによってＨＩＬＮネットワークに組み込まれる。任意の適切な基準を使用して訓練更新をＨＩＬＮネットワークに自動的に組み込むことができ、任意の適切な期間または時間間隔で更新を提供することができる。
【0020】
いくつかの実施形態では、訓練画像の初期セットは、新たにインストールされた自動診断分析システムを所与の期間（例えば１週間または２週間）動作させることによってコンパイルされる。新たにインストールされたシステムで受信された検体の取り込まれた画像データは、データベース／サーバ（ローカル、および／または新たにインストールされたシステムの一部であり得る、またはクラウドベースのサーバであり得る）に転送される。画像データに注釈を付けて（例えば、手動でアノテーションする、および／または自動で生成されるアノテーション）、訓練画像の初期セットを作成することができる。次いで、訓練画像のセットを使用して、自動診断分析システムの品質チェックモジュールのＨＩＬＮネットワークを最初に訓練することができる。
【0021】
いくつかの実施形態では、ＨＩＬＮネットワークによって実施された特性評価が不正確または低信頼性であると判断された検体は、自動診断分析システムの分析器に自動的に転送されず、さらなる検討のために取っておかれる。さらに、不正確または低信頼性と判断された検体特性評価の画像および他の関連データは、データベース／サーバに転送（およびいくつかの実施形態では暗号化）され、ここで、不正確なまたは低信頼性の特性評価に基づく訓練更新（例えば追加の訓練画像）が生成されて記憶される。いくつかの実施形態では、訓練更新は、不正確または低信頼性と判断された検体特性評価の受信画像の手動のアノテーションおよび／または自動生成されたアノテーションに基づく。訓練更新は、ＨＩＬＮネットワークに転送され、再訓練によってそこに組み込まれる。いくつかの実施形態では、１つまたはそれ以上の訓練更新の利用可能性のレポートまたはプロンプトをユーザに提供して、ＨＩＬＮネットワークにおいて１つまたはそれ以上の訓練更新を受信するおよび／または組み込む時および場合をユーザが決定できるようにする。
【0022】
いくつかの実施形態では、それぞれがソフトウェアベースである訓練画像の初期セットおよび／または訓練更新は、インターネットまたは物理的媒体（例えばプログラミング命令およびデータを含むストレージデバイス）を介して、再訓練されたモデルとして自動診断分析システム（および特にＨＩＬＮネットワーク）に提供される。
【0023】
本発明による特性評価方法、本発明による特性評価方法を実施するように構成された品質チェックモジュール、および訓練更新機能を備えた１つまたはそれ以上の品質チェックモジュールを含む自動診断分析システムのさらなる詳細を、本明細書で図１～６を参照してさらに述べる。
【0024】
図１は、検体２１２を含む複数の検体容器１０２（図２を参照）を自動的に処理することができる自動診断分析システム１００を示す。検体容器１０２は、装填エリア１０５で１つまたはそれ以上のラック１０４に提供された後、自動診断分析システム１００の周りに配置された１つまたはそれ以上の分析器（例えば、第１の分析器１０６、第２の分析器１０８、および／または第３の分析器１１０）に輸送され、それらの分析器によって分析される。より多数または少数の分析器をシステム１００で使用することもできる。分析器は、任意の数の臨床化学分析器および／またはアッセイ機器などの任意の組合せであり得る。本明細書で使用される「分析器」という用語は、化学に関しては分析用に、または例えばＤＮＡやＲＮＡなどの標的体（分析物）の存在、量、または機能的活性に関してはアッセイ用に使用されるデバイスを意味する。臨床化学分析器で一般に検査される分析物には、酵素、基質、電解質、特定のタンパク質、乱用薬物、および治療薬が含まれる。検体容器１０２は、検体２１２を収容し、収容された検体２１２の撮像を可能にする採血管、検査管、試料カップ、キュベット、または他の透明もしくは不透明なガラスもしくはプラスチック容器など、任意の適切な透明または半透明の容器であり得る。検体容器１０２は、サイズが異なることがあり、異なるキャップの色および／またはキャップのタイプを有することがある。
【0025】
検体２１２（図２を参照）は、検体容器１０２内の自動診断分析システム１００に提供され、検体容器１０２はキャップ２１４を被されることがある。キャップ２１４は、異なるタイプおよび／または色（例えば、赤、ロイヤルブルー、水色、緑、灰色、黄褐色、黄色、または色の組合せ）でよい。これらは、検体容器１０２が何の検査に使用されるか、検体容器１０２に含まれる添加剤のタイプ、容器がゲル分離器を含むかどうかなどの観点で意味を有することがある。他の色を使用することもできる。一実施形態では、キャップタイプは、本明細書で述べる特性評価方法によって決定される。キャップタイプは、例えば、検体２１２が真空下で提供されるかどうかを決定するため、および／または検体２１２内の添加剤のタイプを決定するために使用される。
【0026】
各検体容器１０２は、バーコード、英字、数字、またはそれらの組合せなどの識別情報２１８ｉ（すなわち印）を含むことがある１つまたはそれ以上のラベル２１８を備える。識別情報２１８ｉは、例えば、患者情報（例えば、名前、生年月日、住所、および／または他の個人情報）、実施すべき検査、検体を取得した日時、医療施設情報、追跡およびルーティング情報などを含む、または（例えば検査室情報システム（ＬＩＳ）１４７データベースによって）それらの情報に関連付けられることがある。他の情報が含まれることもある。識別情報２１８ｉは、自動診断分析システム１００の周りの様々な位置で機械可読であり得る。機械可読情報は、容易に撮像することができるように、ラベル素材（例えば白い紙）よりも暗い色（例えば黒）であることがある。識別情報２１８ｉは、患者の識別、ならびに検体２１２に対して実施すべき検査を示すことがあり、またはＬＩＳ１４７または他の検査注文システムによってそれらに相関させることができる。そのような識別情報２１８ｉはラベル２１８に提供され、ラベル２１８は、管２１５の外面に貼付される、または他の方法で提供される。図２に示されるように、ラベル２１８は、検体容器１０２の全周にわたって、または検体容器１０２の全長に沿っては延びていないことがあり、示される特定の横方向正面の視点から血清または血漿部分２１２ＳＰの一部または大部分が見え（点線で示されている部分）、ラベル２１８によって遮られないようにしてある。
【0027】
検体２１２は、管２１５内に含まれる血清または血漿部分２１２ＳＰおよび沈降血液部分２１２ＳＢを含むことがある。血清および血漿部分２１２ＳＰの上に空気２１６が提供され、それらの境界線は、液体－空気界面（ＬＡ）として定義される。血清または血漿部分２１２ＳＰと沈降血液部分２１２ＳＢとの境界線は、血清－血液界面（ＳＢ）として定義される。空気２１６とキャップ２１４との界面は、管－キャップインターフェース（ＴＣ）として定義される。管の高さ（ＨＴ）は、管２１５の最下部からキャップ２１４の底部までの高さとして定義され、管のサイズ（管の高さ）を決定するために使用することができる。血清または血漿部分２１２ＳＰの高さはＨＳＰであり、ＬＡでの血清または血漿部分２１２ＳＰの上部からＳＢでの沈降血液部分２１２ＳＢの上部までの高さとして定義される。沈降血液部分２１２ＳＢの高さはＨＳＢであり、沈降血液部分２１２ＳＢの底部からＳＢでの沈降血液部分２１２ＳＢの上部までの高さとして定義される。ＨＴＯＴは、検体２１２の全高であり、ＨＳＰとＨＳＢの和に等しい。
【0028】
より詳細には、自動診断分析システム１００は、トラック１２１が取り付けられるベース１２０（図１）（例えば、フレーム、床、または他の構造）を含むことがある。トラック１２１は、レール付きトラック（例えばモノレールまたはマルチレール）、コンベアベルトの集合体、コンベアチェーン、可動プラットフォーム、または任意の他の適切なタイプの運搬機構でよい。トラック１２１は、円形または任意の他の適切な形状でよく、いくつかの実施形態では、閉じたトラック（例えばエンドレストラック）でよい。トラック１２１は、動作中、個々の検体容器１０２を、キャリア１２２内でトラック１２１の周りに離間された様々な位置に輸送することができる。
【0029】
キャリア１２２は、トラック１２１上で単一の検体容器１０２を搬送するように構成された受動的な非電動パックでよく、または場合により、トラック１２１の周りを移動し、事前にプログラムされた位置で停止するようにプログラムされたリニアモータなどの搭載型駆動モータを含む自動キャリアでよい。他の構成のキャリア１２２を使用することもできる。キャリア１２２はそれぞれ、所定の直立姿勢および向きで検体容器１０２を保持するように構成されたホルダ１２２Ｈ（図３を参照）を含むことがある。ホルダ１２２Ｈは、検体容器１０２をキャリア１２２に固定する複数のフィンガまたは板ばねを含むことがあるが、検体容器１０２の異なるサイズ（幅）に対応するために可動または可撓性のものもある。いくつかの実施形態では、キャリア１２２は、１つまたはそれ以上のラック１０４から降ろされた後、装填エリア１０５から出る。装填エリア１０５は、事前スクリーニングおよび／または分析が完了した後、キャリア１２２から装填エリア１０５への検体容器１０２の再装填も可能にするという二重の機能を果たすことがある。
【0030】
ロボット１２４は、装填エリア１０５に設けられ、１つまたはそれ以上のラック１０４から検体容器１０２を把持し、検体容器１０２をキャリア１２２に、例えばトラック１２１の入力レーンに装填するように構成される。ロボット１２４は、検体容器１０２をキャリア１２２から１つまたはそれ以上のラック１０４に再装填するようにも構成される。ロボット１２４は、１つまたはそれ以上（例えば少なくとも２つ）のロボットアーム、またはＸ（横方向）およびＺ（垂直方向－ページ外）、ＹおよびＺ、Ｘ、Ｙ、およびＺ、もしくはｒ（径方向）およびθ（回転）運動を可能にする構成要素を含むことがある。ロボット１２４は、ガントリロボット、多関節ロボット、Ｒ－θロボット、または他の適切なロボットでよく、ロボット１２４は、検体容器１０２を取り上げて配置するように向き設定、サイズ設定、および構成されたロボットグリッパフィンガを備えることがある。
【0031】
トラック１２１に装填されたとき、キャリア１２２によって搬送される検体容器１０２は、第１の前処理ステーション１２５に進むことができる。例えば、第１の前処理ステーション１２５は、検体２１２の分画を実施するように構成された自動遠心分離機でよい。検体容器１０２を搬送するキャリア１２２は、流入レーンまたは適切なロボットによって第１の前処理ステーション１２５に偏向される。遠心分離された後、検体容器１０２は、流出レーンに出る、またはロボットによって取り出されて、トラック１２１に沿って引き続き進むことができる。図示される実施形態では、次に、キャリア１２２内の検体容器１０２は、本明細書でさらに述べるように、事前スクリーニングを実施するように構成された品質チェックモジュール１３０に輸送される。
【0032】
品質チェックモジュール１３０は、検体２１２に含まれるＨ、Ｉ、および／またはＬの存在および場合によりその程度もしくは度合い、または検体が正常（Ｎ）かどうかを自動的に決定するなど、本明細書で述べる特性評価方法の１つまたはそれ以上を事前スクリーニングして実施するように構成される。実質的に少量のＨ、Ｉ、および／またはＬを含むことが判明し、正常（Ｎ）とみなされた場合、検体２１２は、トラック１２１上を引き続き進むことができ、次いで１つまたはそれ以上の分析器（例えば、第１、第２、および／または第３の分析器１０６、１０８、および／または１１０）によって分析される。検体２１２および／または検体容器１０２に対して他の前処理操作を行うこともできる。１つまたはそれ以上の分析器（例えば、第１、第２、および／または第３の分析器１０６、１０８、および／または１１０）による分析後、検体容器１０２は装填エリア１０５に戻されて１つまたはそれ以上のラック１０４に再装填される、または降ろされる。
【0033】
いくつかの実施形態では、ＨＩＬＮの検出に加えて、検体容器１０２および検体２１２のセグメンテーションを行うことができる。セグメンテーションデータから、検体２１２の定量化（すなわち、ＨＳＰ、ＨＳＢ、ＨＴＯＴの決定、および／または場合によりＳＢ、ＬＡ、および／またはＴＣの位置の決定）のために後処理を使用することができる。いくつかの実施形態では、検体容器１０２の物理的属性（例えばサイズ、すなわち高さおよび幅（または直径））の特性評価を品質チェックモジュール１３０で行うことができる。そのような特性評価は、ＨＴおよびＷ、ならびに場合によりＴＣ、および／またはＷｉの決定を含むことがある。この特性評価から、検体容器１０２のサイズが抽出される。さらに、いくつかの実施形態では、品質チェックモジュール１３０はキャップタイプを決定することもあり、キャップタイプの決定は、安全チェックとして使用され、１つまたはそれ以上の注文された検査に誤った管タイプが使用されていないかどうかを確認することができる。
【0034】
いくつかの実施形態では、遠隔ステーション１３２は、トラック１２１に直接リンクされていない自動診断分析システム１００に提供される。例えば、独立したロボット１３３（点線で示されている）が、検体２１２を含む検体容器１０２を遠隔ステーション１３２に搬送し、検査／前処理後にそれらを戻すことができる。場合により、検体容器１０２を手動で取り外して戻すことができる。遠隔ステーション１３２は、溶血レベルなどの特定の成分を検査するために使用することができ、または１つもしくはそれ以上の添加物および／または追加の処理によって脂肪血症レベルを下げるなどのさらなる処理に使用することができ、または例えば品質チェックモジュール１３０の特性評価で識別される血餅、気泡、もしくは泡を除去するために使用することができる。場合により、本明細書で述べるＨＩＬＮ検出方法を使用する他の事前スクリーニングを遠隔ステーション１３２で達成することもできる。
【0035】
追加のステーションが、トラック１２１上のまたはトラック１２１に沿った１つまたはそれ以上の位置に提供される。追加のステーションは、キャップ除去ステーション、アリコートステーション、１つまたはそれ以上の追加の品質チェックモジュール１３０などを含むことがある。
【0036】
自動診断分析システム１００は、トラック１２１の周りの１つまたはそれ以上の位置に複数のセンサ１１６を含むことがある。センサ１１６は、識別情報２１８ｉ、または各キャリア１２２で提供される同様の情報（図示せず）を読み取ることによってトラック１２１での検体容器１０２の位置を検出するために使用される。近接センサなど、位置を追跡するための任意の適切な手段を使用することができる。センサ１１６はすべて、コンピュータ１４３とインターフェースすることができ、したがってトラック１２１に沿った各検体容器１０２の位置を常に把握しておくことができる。
【0037】
前処理ステーションおよび分析器１０６、１０８、および１１０は、トラック１２１からキャリア１２２を取り出すように構成されたロボット機構および／または流入レーン、ならびにキャリア１２２をトラック１２１に再進入させるように構成されたロボット機構および／または流出レーンを備えることがある。
【0038】
自動診断分析システム１００はコンピュータ１４３によって制御され、コンピュータ１４３は、マイクロプロセッサベースの中央処理装置ＣＰＵでよく、適切なメモリと、様々なシステム構成要素を操作するための適切な調整電子機器およびドライバとを有する。コンピュータ１４３は、自動診断分析システム１００のベース１２０の一部として、またはそれとは別に収容される。コンピュータ１４３は、装填エリア１０５に出入りするキャリア１２２の動き、トラック１２１の周りでの運動、第１の前処理ステーション１２５に出入りする運動および第１の前処理ステーション１２５の動作（例えば遠心分離）、品質チェックモジュール１３０に出入りする運動および品質チェックモジュール１３０の動作、ならびに各分析器１０６、１０８、１１０に出入りする運動を制御するように動作することができる。様々なタイプの検査（例えばアッセイまたは臨床化学）を実施するための各分析器１０６、１０８、１１０の動作は、例えばローカルエリアネットワーク（ＬＡＮ）やワイヤレスエリアネットワーク（ＷＡＮ）または他の適切な通信ネットワークなどのネットワーク１４９（図１）を介してなどコンピュータ１４３とデジタル通信している各分析器１０６、１０８、１１０でのローカルワークステーションコンピュータによって実施される。場合により、前述の分析器１０６、１０８、１１０のいくつかまたはすべての動作がコンピュータ１４３によって提供される。
【0039】
品質チェックモジュール１３０を除くすべてに関して、コンピュータ１４３は、Ｓｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ（米国ニューヨーク州タリータウン）が販売するＤｉｍｅｎｓｉｏｎ（商標）臨床化学分析器で使用されるようなソフトウェア、ファームウェア、および／またはハードウェアコマンドまたは回路に従って自動診断分析システム１００を制御することができ、そのような制御は、コンピュータベースの電気機械制御プログラミングの当業者には一般的なものであり、本明細書ではさらに述べない。自動診断分析システム１００を制御するための他の適切なシステムを使用することもできる。品質チェックモジュール１３０の制御もコンピュータ１４３によって提供されるが、本明細書で詳細に述べる本発明による特性評価方法に従う。
【0040】
コンピュータ１４３は、画像処理、および本明細書で述べる特性評価方法を実施するために使用することができる。コンピュータは、ＣＰＵまたはＧＰＵ、十分な処理能力およびＲＡＭ、ならびに適切なストレージを含むことがある。一例では、コンピュータ１４３は、１つまたはそれ以上のＧＰＵ、８ＧＢ以上のＲａｍ、およびテラバイト以上のストレージを備えたマルチプロセッサ搭載ＰＣでよい。別の例では、コンピュータ１４３は、ＧＰＵ搭載ＰＣ、または場合により並列化モードで動作されるＣＰＵ搭載ＰＣでよい。数学カーネルライブラリ（ＭＫＬ）、８ＧＢ以上のＲＡＭ、および適切なストレージを使用することもできる。
【0041】
本開示の実施形態は、様々な制御およびステータス表示画面にユーザが非常に簡単にかつ迅速にアクセスすることを可能にするコンピュータインターフェースモジュール（ＣＩＭ）１４５を使用して実装される。これらの制御およびステータス表示画面は、検体２１２の準備、事前スクリーニング、および分析に使用される複数の相互関連する自動デバイスのいくつかまたはすべての側面の制御を表示して可能にすることができる。ＣＩＭ１４５は、複数の相互関連する自動デバイスの動作ステータスに関する情報、ならびに任意の検体２１２の位置、ならびに検体２１２に対して実施されるまたは実施されている事前スクリーニングおよび検査のステータスを表す情報を提供するために採用される。したがって、ＣＩＭ１４５は、オペレータと自動診断分析システム１００との対話を容易にするように適合される。ＣＩＭ１４５は、アイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように動作可能な表示画面を含むことがあり、この表示画面を介して、オペレータは自動診断分析システム１００とインターフェースすることができる。メニューは、自動診断分析システム１００の機能的側面を表示および／または操作するようにプログラムされたいくつかの機能的要素を含むことがある。
【0042】
図４Ａおよび４Ｂは、本明細書に図示して述べるような特性評価方法を実施するように構成された品質チェックモジュール１３０の実施形態を示す。品質チェックモジュール１３０は、１つまたはそれ以上の分析器１０６、１０８、１１０のうちの１つまたはそれ以上による分析の前に、検体２１２（例えば、その血清または血漿部分２１２ＳＰ）中の干渉物質（例えば、Ｈ、Ｉ、および／またはＬ）の存在および場合により干渉物質の度合いに関して事前スクリーニングするためのプログラミング命令で構成されることがある。このようにして事前スクリーニングを行うと、貴重な分析器リソースを浪費することなく、または場合によっては干渉物質の存在が検査結果の信憑性に影響を及ぼすことなく、検体２１２の追加の処理、追加の定量化もしくは特性評価、および／または廃棄および／または再描画が可能になる。さらに、事前スクリーニングは、いくつかの側面で、将来の検体２１２の改良された特性評価を可能にすることができる。
【0043】
本明細書で述べる干渉物質検出方法に加えて、他の検出方法が、検体容器１０２に含まれる検体２１２に対して品質チェックモジュール１３０で行われることもある。例えば、セグメンテーションデータを提供するための方法を品質チェックモジュール１３０で実施することができる。セグメンテーションデータを撮像後の工程で使用して、検体２１２を定量化し、例えばＬＡおよび／またはＳＢの位置、および／またはＨＳＰ、ＨＳＢ、ＨＴ、Ｗｉ、および／またはＨＴＯＴの決定など、検体２１２の特定の物理的寸法特性を決定することができる。定量化は、例えば、内幅Ｗｉの定量化に基づいて血清または血漿部分（ＶＳＰ）の体積および／または沈降血液部分（ＶＳＢ）の体積を推定することを含むこともある。さらに、品質チェックモジュール１３０を使用して、検体容器１０２の幾何形状を定量化することができ、すなわち、検体容器１０２のＴＣ、ＨＴ、および／またはＷもしくはＷｉの位置など、検体容器１０２の特定の物理的寸法特性を定量化することができる。他の定量化可能な幾何学的構成を決定することもできる。
【0044】
品質チェックモジュール１３０は、外部照光の影響を最小限に抑えるために、トラック１２１を少なくとも部分的に取り囲むまたは覆うことができるハウジング４４６を含むことがある。検体容器１０２は、画像撮影シーケンス中、撮像位置でハウジング４４６の内側に位置される。ハウジング４４６は、キャリア１２２がハウジング４４６に出入りすることを可能にするために、１つまたはそれ以上のドア４４６Ｄを含むことがある。いくつかの実施形態では、天井が開口部４４６Ｏを含むことがあり、可動ロボットフィンガを含むロボットによって検体容器１０２を上からキャリア１２２に装填することを可能にする。
【0045】
図４Ａおよび４Ｂに示されるように、品質チェックモジュール１３０は、複数の視点（例えば、１、２、および３とラベル付けされた横方向の視点）から撮像位置４３２での検体容器１０２および検体２１２の横方向画像を取り込むように構成された複数の画像取込みデバイス４４０Ａ～４４０Ｃを含むことがある。３つの画像取込みデバイス４４０Ａ～４４０Ｃが示されているが、場合により２つ、４つ、または５つ以上を使用することもできる。視点１～３は、図示されるように、互いに径方向に約１２０°など、それらが互いにほぼ等間隔になるように配置される。画像はラウンドロビン方式で撮影され、例えば、視点１からの１つまたはそれ以上の画像を撮影し、続いて視点２および３から連続して撮影される。画像撮影の他のシーケンスを使用することもできる。光源４４４Ａ～４４４Ｃは、セグメンテーションおよび／またはＨＩＬＮ特性評価を達成するための撮像の目的で、検体容器１０２（図面に示す）を背面照射することができる。他の例では、例えば、検体容器１０２を特性評価するために撮像位置４３２の前面照明を使用することもできる。視点１～３から撮影された１つまたはそれ以上の画像が、１つまたはそれ以上のラベル２１８によって部分的または完全に遮られる（すなわち血清または血漿部分２１２ＳＰがよく見えない）ことがあるので、複数の視点があることは有利である。
【0046】
図示されるように、画像取込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、トラック１１２の周りに配置される。複数の画像取込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃの他の構成を使用することもできる。このようにして、検体容器１０２内の検体２１２の画像は、検体容器１０２が撮像位置４３２でキャリア１２２内にある間に撮影される。画像取込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃによって取得された複数の画像の視野は、周方向の広がりにおいてわずかに重なることがある。したがって、いくつかの実施形態では、画像の一部をデジタルで追加して、分析のために血清または血漿部分２１２１ＳＰの完全な画像に得ることができる。
【0047】
画像取込みデバイス４４０Ａ～４４０Ｃは、ピクセル化された画像を取り込むことができる従来のデジタルカメラ、電荷結合素子（ＣＣＤ）、光検出器のアレイ、１つまたはそれ以上のＣＭＯＳセンサなど、明確に定義されたデジタル画像を取り込むように構成された任意の適切なデバイスでよい。取り込まれた画像のサイズは、例えば約２５６０×６９４ピクセルであり得る。別の実施形態では、画像取込みデバイス４４０Ａ、４４０Ｂ、４４０Ｃは、例えば約１２８０×３８７ピクセルの画像サイズを取り込むことがある。取り込まれた画像について、他の画像サイズおよびピクセル密度を使用することもできる。
【0048】
各画像は、コンピュータ１４３から通信ライン４４３Ａ、４４３Ｂ、４４３Ｃで提供されるトリガ信号の受信に応答して、品質チェックモジュール１３０でトリガおよび取り込まれる。１つまたはそれ以上の実施形態によれば、取り込まれた画像はそれぞれ、コンピュータ１４３によって処理される。１つの特に効果的な方法では、高ダイナミックレンジ（ＨＤＲ）処理を使用して、取り込まれた画像から画像データを取り込み、処理することができる。
【0049】
図５は、本明細書で述べる特性評価方法を実施するように構成された機能的なＨＩＬＮネットワークアーキテクチャ５００を示す。ＨＩＬＮネットワークアーキテクチャ５００は、ＨＩＬＮネットワーク５３５と、コンピュータ１４３によってアクセス可能なデータベース５３６とを含む。いくつかの実施形態では、データベース５３６は、コンピュータ１４３のメモリに常駐することがある。場合により、データベース５３６は、クラウドベースのデータベースでよく、例えばインターネットを介してコンピュータ１４３とは別のリモートサーバ／コンピュータ（図示せず）上でアクセス可能であり得る。ＨＩＬＮネットワークアーキテクチャ５００は、データベース５３６に記憶された情報によって、継続的な訓練更新５３７などの訓練更新をＨＩＬＮネットワーク５３５にフィードバックする。訓練更新は、データベース５３６に記憶され、頻繁にもしくは定期的に、または上述したようにユーザの裁量でユーザのアクションによって、ＨＩＬＮネットワーク５３５に自動的に組み込まれる。いくつかの実施形態では、訓練更新は、データベース５３６によって受信されると直ちにＨＩＬＮネットワーク５３５に組み込まれる。訓練更新５３７は、（例えばインターネットまたは物理的媒体を介して）ＨＩＬＮネットワーク５３５に転送され、そこに組み込まれる。ＨＩＬＮネットワーク５３５への訓練更新５３７の組込みは、コンピュータ１４３の制御下で、または場合により（図１の）ＣＩＭ１４５を介したユーザの裁量でのプロンプトで自動的に行うことができる。ＨＩＬＮネットワーク５３５は、慎重にサンプリングされた新旧の画像データの組合せで再訓練される。訓練はローカルで行うことも、リモートサーバ／クラウドで訓練してから再ダウンロードすることもできる。訓練されたモデルは、新たに収集されたデータの一部と共に、検証／妥当性確認データ（例えば規制当局の承認に使用されたもの）でテストすることができる。ＨＩＬＮネットワーク５３５は、規制プロセスに準拠した性能レポートを生成することができ、以前のモデルに対する改良を強調することができる。このレポートに基づいて、ユーザは更新を承認することができ、またはＨＩＬＮネットワーク５３５を自動的に更新することができる。これらの訓練更新は、既存のワークフローを中断することなく行うことができる。ここで、更新は、古いモデルを、新たなデータで訓練された新たなモデルに単に置き換えるだけでよい。いくつかの実施形態では、更新はサービス技術者が実施することができ、または例えばインターネットを介して遠隔で行うことができる。
【0050】
ＨＩＬＮネットワークアーキテクチャ５００は、品質チェックモジュール１３０に実装され、プログラミング命令を介してコンピュータ１４３によって制御される。上で論じたように、機能ブロック５０２で表されるように、検体容器１０２は、品質チェックモジュール１３０の撮像位置４３２（図４Ａおよび４Ｂ）に提供される。検体容器１０２を撮像位置４３２に提供することは、撮像位置４３２での特性評価のために、検体容器１０２および検体２１２を含むキャリア１２２を停止させることによって達成される。しかし、ロボットによる撮像位置４３２への配置など、撮像位置４３２への配置の他の手段を使用することもできる。機能ブロック５０４で表されるように、１つまたはそれ以上の画像（例えば多視点画像）が、複数の画像取込みデバイス４４０Ａ～４４０Ｃによって取り込まれる。機能ブロック５０６で表されるように、各多視点画像ごとの画像データは、場合により、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｉｍａｇｉｎｇ Ａ Ｓｐｅｃｉｍｅｎ Ｃｏｎｔａｉｎｅｒ ａｎｄ／ｏｒ Ｓｐｅｃｉｍｅｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｅｘｐｏｓｕｒｅｓ」という名称のＷｉｓｓｍａｎｎ他の米国特許出願公開第２０１９／００４１３１８号で論じられているように前処理および統合されて、複数の最適に露出されて正規化された画像データセット（以下「画像データセット」）を提供する。１つまたはそれ以上の実施形態によれば、検体２１２（および検体容器１０２）の取り込まれた画像データセットの画像データ（すなわちピクセルデータ）は、ＨＩＬＮネットワーク５３５への入力として提供される。
【0051】
ＨＩＬＮネットワーク５３５は、検体容器１０２内の検体２１２の取り込まれた画像データに対してセグメンテーションおよび／またはＨＩＬＮ決定、通常はそれら両方を実施するように構成される。セグメンテーションおよびＨＩＬＮ分類は、セグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）によって達成される。他のタイプのＨＩＬＮネットワークを採用してセグメンテーションおよび／またはＨＩＬＮ決定を提供することもできる。ピクセルレベルの分類を実施することができるＨＩＬＮネットワーク５３５は、検体２１２を含む検体容器１０２の取り込まれた画像の詳細な特性評価を提供することができる。この詳細な特性評価は、例えば、背景からの検体容器１０２の分離、ならびに検体２１２の血清または血漿部分２１２ＳＰの位置および含有量の決定を含むことがある。取り込まれた入力画像（すなわちピクセルデータ）が与えられると、ＨＩＬＮネットワーク５３５は、画像のピクセルデータ値によって示されるその局所的な外観に基づいて画像の各ピクセルに分類指標（ＨＩＬまたはＮ）を割り当てるように動作可能である。抽出されたピクセル指標情報をＨＩＬＮネットワーク５３５によってさらに処理して、最終的なＨＩＬＮ分類指標を決定することができる。
【0052】
いくつかの実施形態では、分類指標は、非遠心分離クラス、正常クラス、および複数のクラス／サブクラスを含む複数の血清クラスを含むことがある。いくつかの実施形態では、分類は、以下でより詳細に述べるように、非遠心分離クラス、正常クラス、および１９のＨＩＬクラス／サブクラスを含む２１の血清クラスを含むことがある。
【0053】
品質チェックモジュール１３０で事前スクリーニングを受ける検体２１２に適切なＨＩＬＮ分類指標を決定する際の１つの問題は、Ｈ、Ｉ、およびＬクラスの各サブクラスの外観の相違が小さいことに起因することがある。すなわち、隣接するサブクラスのピクセルデータ値が非常に類似していることがある。これらの問題を克服するために、ＨＩＬＮネットワーク５３５のＳＣＮＮは、いくつかの実施形態では１００を超える操作層を含むベリーディープセマンティックセグメンテーションネットワーク（ＤＳＳＮ）を含むことがある。
【0054】
検体容器のタイプ（例えば、容器に使用されるガラスまたはプラスチック材料のサイズ、形状、および／またはタイプ）の違いによって引き起こされる外観の相違を克服するために、ＨＩＬＮネットワーク５３５は、ＤＳＳＮのフロントエンドに容器セグメンテーションネットワーク（ＣＳＮ）を含むこともある。ＣＳＮは、容器タイプを決定して出力するように構成され動作可能であり、容器タイプは、例えば、検体容器のタイプ（例えば、高さＨＴおよび幅Ｗ（または直径）を示す）、および／または検体容器キャップ２１４のタイプおよび／または色を含むことがある。いくつかの実施形態では、ＣＳＮは、ＤＳＳＮと同様のネットワーク構造を有することがあるが、より浅い（すなわち、はるかに少ない層を有する）。ＤＳＳＮは、境界セグメンテーション情報５３９を決定して出力するように構成され動作可能であり、境界セグメンテーション情報５３９は、例えば、血清または血漿部分２１２ＳＰ、沈降血液部分２１２ＳＢ、ゲル分離器（使用される場合）、空気領域２１６、および１つまたはそれ以上のラベル領域２１８の位置およびピクセル情報を含むことがある。
【0055】
ＨＩＬＮネットワーク５３５によって特性評価される検体のＨＩＬＮ決定は、いくつかの実施形態では非遠心分離クラス５４０Ｕ、正常クラス５４０Ｎ、溶血クラス５４０Ｈ、黄疸クラス５４０Ｉ、および脂肪血症クラス５４０Ｌを含むことがある分類指標５４０でよい。いくつかの実施形態では、溶血クラス５４０Ｈは、サブクラスＨ０、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、およびＨ６を含むことがある。黄疸クラス５４０Ｉは、サブクラスＩ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、およびＩ６を含むことがある。さらに、脂肪血症クラス５４０Ｌは、サブクラスＬ０、Ｌ１、Ｌ２、Ｌ３、およびＬ４を含むことがある。溶血クラス５４０Ｈ、黄疸クラス５４０Ｉ、および／または脂肪血症クラス５４０Ｌはそれぞれ、他の実施形態では、他の数のより詳細なサブクラスを有することがある。
【0056】
取り込まれた画像、および場合により、不正確なまたは低信頼性の特性評価決定５３８の他の関連データは、データベース５３６に転送（およびいくつかの実施形態では暗号化）される。任意の適切なアルゴリズムまたは技法を使用して、不正確な決定を識別する、および／または信頼水準（すなわち特性評価決定の精度の予測）を決定することができる。一実施形態では、不正確なまたは低信頼性の決定は、ＨＩＬＮ決定が不正確である、または正確である確率が低いという決定である。本明細書で使用するとき、不正確な決定とは、含まれるエラーが多すぎるためにＨＩＬＮ決定が不適切であることを意味する。ＨＩＬＮクラスまたはクラス指標の低信頼性の決定があるいくつかの場合には、低信頼性の決定は、例えば０．９未満の信頼水準の使用を含むことができる。この信頼水準の制限は、ユーザが事前に設定することも、規制要件に基づいて決定することもできる。
【0057】
別の実施形態では、不正確なまたは低信頼性の決定は、セグメンテーション決定が不正確であるまたは低信頼性を有するという決定である。特に、セグメンテーションの不正確な決定は、低信頼性を有する、または互いに関して特定の順序ではない、血清もしくは血漿部分２１２ＳＰ、ゲル分離器、または沈降血液部分２１２ＳＰなどの領域の識別を含む。例えば、キャップ２１４が血清または血漿部分２１２ＳＰの上にあり、ゲル分離器３１３が血清または血漿部分２１２ＳＰの下にあることが常に期待される。この相対位置が満たされていない場合、セグメンテーションに何らかの問題がある。セグメンテーションの低信頼性の決定は、セグメント化されたピクセル（またはスーパーピクセル内のピクセルの集合。例えば、１１ピクセルなどピクセルの集合）ごとの確率スコアを検討することを含むことができる。ピクセルの領域の特定の分類（例えば血清または血漿部分２１２ＳＰ）を示す確率スコアの不一致が大きすぎる場合、それは低信頼性に関する候補となり得る。セグメント化されている領域（例えば血清または血漿部分２１２ＳＰで分類された領域）のピクセル（またはスーパーピクセル）の確率スコアを集計して、領域のピクセルが大きすぎる不一致を含むかどうかを判断することができる。この場合、例えば信頼水準が０．９未満である場合、その領域は低信頼性の試料の候補となり得る。領域に関する他の適切な集計された信頼水準を使用することもできる。
【0058】
不正確なまたは低信頼性の特性評価決定に基づいて、コンピュータ１４３（またはデータベース５３６がクラウドベースのデータベースである実施形態ではリモートサーバ／コンピュータ）は、訓練更新５３７（例えば追加の訓練画像）を自動的におよび／またはユーザ入力と共に生成することができる。すなわち、いくつかの実施形態では、訓練更新５３７は、不正確であるとみなされた以前の画像に基づくことがあり、手動でアノテーションすることができる。訓練画像５３７の手動でのアノテーションは、それぞれの訓練画像内の少なくとも血清または血漿部分２１２ＳＰ、ならびに好ましくは沈降血液部分２１２ＳＢ、空気２１６、キャップ２１４、ラベル２１８、およびゲル分離器（使用される場合）を図的に示すことを含むことができる。訓練画像５３７の手動でのアノテーションは、ＨＩＬＮ分類を割り当てることをさらに含むことができ、Ｈ、Ｉ、またはＬの場合、血清または血漿部分２１２ＳＰに指標値を割り当てることを含むこともある。他の実施形態では、訓練更新５３７は、不正確または低信頼性であると判断された検体特性評価の受信画像の自動生成されたアノテーションを備えることもある。自動アノテーションは、半教師あり学習手法、ブートストラップ、または事前に訓練されたセグメンテーション／分類アルゴリズムの使用によって提供することができる。
【0059】
訓練更新５３７は、（例えばインターネットまたは物理的媒体を介して）ＨＩＬＮネットワーク５３５に提供され、そこに組み込まれる。ＨＩＬＮネットワーク５３５への訓練更新５３７の組込みは、コンピュータ１４３の制御下で、または場合により（図１の）ＣＩＭ１４５を介したユーザの裁量でのプロンプトで自動的に行うことができる。ＨＩＬＮネットワーク５３５は、慎重にサンプリングされた新旧の画像データの組合せで再訓練することができる。再訓練はローカルで行うことができ、またはリモートサーバ／クラウドで訓練することもできる。再訓練されたＨＩＬＮモデル（例えばＳＣＮＮ）は、新たに収集された画像データの一部と共に、規制当局の承認に使用された検証／妥当性確認データでテストすることができる。次いで、システムは、例えば規制プロセスからの性能基準に準拠した性能レポートを生成することができ、以前のモデルに対する改良を強調することができる。この性能基準に基づいて、顧客は更新を承認することができ、または場合によりシステムを自動的に更新することができる。これらの更新は、既存のワークフローを中断することなく行うことができる。例えば、更新は、古いＳＣＮＮモデルを、以前のモデルによって不正確とみなされていた、新たな訓練画像で再訓練された新たなＳＣＮＮモデルに置き換えることを含むことができる。更新はサービス技術者によって実施することができ、またはインターネットを介して遠隔で行うことができる。
【0060】
図６は、１つまたはそれ以上の実施形態による特性評価方法６００のフローチャートを示す。特性評価方法６００は、本明細書で述べるように（プログラミング命令を実行するコンピュータ１４３と共に）品質チェックモジュール１３０によって実施され、自動診断分析システムにおいて品質チェックモジュールのＨＩＬＮネットワークを介して検体容器内の検体の取り込まれた画像に対してセグメンテーションまたはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を実施することをプロセスブロック６０２で含むことがある。例えば、取り込まれた画像は、（図４Ａおよび４Ｂの）画像取込みデバイス４４０Ａ～４４０Ｃのうちの１つまたはそれ以上によって取り込まれ、各画像は、デジタルのピクセル化された画像でよく、ＨＩＬＮネットワークは、自動診断分析システム１００（図１）での品質チェックモジュール１３０（図４Ａ～４Ｂ）のＨＩＬＮネットワーク５３５（図４Ａ）でよい。
【0061】
特性評価方法６００は、プロセスブロック６０４において、不正確なまたは低信頼性の決定を識別することをさらに含むことがある。任意の適切な技法またはアルゴリズムを使用して、不正確な決定を識別する、または検体容器内の検体の特性評価決定に対して低い信頼水準を割り当てて決定することができる。例えば、不正確な決定は、ＳＣＮＮのＳｏｆｔｍａｘ関数からの低い信頼水準スコアに基づくことがある。低信頼性は、０．０～１．０のスケールで０．９未満の確率または信頼性スコアに基づくことがある。他の例では、セグメント化された領域（例えば血清または血漿部分２１２ＳＰ）の全体的な分類を検討することができ、領域内のピクセル（またはスーパーピクセル）の分類に大きな違いが存在する場合、決定は不正確または低信頼性とみなすことができる。例えば、セグメント化された領域内のピクセルの７０パーセント未満が同じクラスである場合、決定を不正確または低信頼性であるとみなすことができる。他の実施形態では、セグメント化された領域内のピクセルの８０パーセント未満、さらには９０％未満が同じクラスである場合、決定を不正確または低信頼性であるとみなすことができる。それぞれの高信頼性については、領域のピクセルの少なくとも９０％、または少なくとも９５％が同じアイテムとして分類される（例えば血清または血漿部分として分類される）。
【0062】
プロセスブロック６０６で、特性評価方法６００は、不正確なまたは低信頼性の決定をＨＩＬＮネットワークからデータベースに転送することを含むことがある。例えば、図５を参照すると、不正確なまたは低信頼性の決定５３８は、対応する画像データと共に、ＨＩＬＮネットワーク５３５からデータベース５３６に転送される。
【0063】
プロセスブロック６０８で、特性評価方法６００は、不正確なまたは低信頼性の決定に基づいて、ＨＩＬＮネットワークに１つまたはそれ以上の訓練画像を提供することを含むことがある。例えば、図５に示されるように、訓練画像５３７は、検体および検体容器の将来の特性評価を改良する目的でＨＩＬＮネットワーク５３５を再訓練するためにＨＩＬＮネットワーク５３５に提供されることがある。再訓練のために１つまたはそれ以上の訓練画像５３７をＨＩＬＮネットワーク５３５に提供することは、本明細書で説明するように、または任意の他の既知の再訓練モデル方法によって行うことができる。
【0064】
したがって、上記のことに基づいて、改良された特性評価方法６００が、検体のセグメンテーション決定および／またはＨＩＬＮ（溶血、黄疸、脂肪血症、正常）決定を提供し、決定の精度（正確さ）および／または信頼水準に基づく訓練画像を用いた再訓練によって特性評価を継続的に更新することは明らかである。
【0065】
また明らかなように、上記の特性評価方法は、撮像位置（例えば撮像位置４３２）の周囲に配置され、検体２１２を含む検体容器１０２の１つまたはそれ以上の視点（例えば図４Ａの視点１～３）から１つまたはそれ以上の画像を取り込むように構成された複数の画像取込みデバイス（例えば画像取込みデバイス）４４０Ａ～４４０Ｃを含む品質チェックモジュール（例えば品質チェックモジュール１３０）を使用して実施される。品質チェックモジュール１３０は、複数の画像取込みデバイスに結合され、１つまたはそれ以上の取り込まれた画像のピクセルデータを処理するように構成されたコンピュータ（例えばコンピュータ１４３）も含む。コンピュータ（例えばコンピュータ１４３）はまた、出力されたＨＩＬＮネットワーク５３５の性能に基づいて、品質チェックモジュール１３０のＨＩＬＮネットワーク５３５に連続的な特性評価訓練更新５３７を提供するように構成され、そのように動作することが可能である。
【0066】
本開示は様々な修正形態および代替形態を取り得るが、特定の方法および装置の実施形態を例として図面に示し、本明細書で詳細に述べる。しかし、本明細書に開示される特定の方法および装置は、本開示を限定することを意図するものではなく、逆に、特許請求の範囲内にあるすべての修正形態、均等形態、および代替形態を網羅することを意図するものであることを理解されたい。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【国際調査報告】