知財求人 - 知財ポータルサイト「IP Force」
▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッドの特許一覧
特表2024-528803自動診断システムにおけるトレーニング更新を提供する方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-01
(54)【発明の名称】自動診断システムにおけるトレーニング更新を提供する方法および装置
(51)【国際特許分類】
G16H 10/40 20180101AFI20240725BHJP
G01N 35/02 20060101ALI20240725BHJP
G06T 7/00 20170101ALI20240725BHJP
G06V 10/82 20220101ALI20240725BHJP
G06V 10/56 20220101ALI20240725BHJP
G06T 7/11 20170101ALI20240725BHJP
G06T 7/90 20170101ALI20240725BHJP
G06N 20/00 20190101ALI20240725BHJP
G16H 30/40 20180101ALI20240725BHJP
G01N 21/17 20060101ALN20240725BHJP
【ＦＩ】
G16H10/40
G01N35/02 C
G06T7/00 350C
G06V10/82
G06V10/56
G06T7/11
G06T7/90 C
G06N20/00
G16H30/40
G01N21/17 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024500169
(86)(22)【出願日】2022-07-06
(85)【翻訳文提出日】2024-02-09
(86)【国際出願番号】 US2022073474
(87)【国際公開番号】W WO2023283584
(87)【国際公開日】2023-01-12
(31)【優先権主張番号】63/219,343
(32)【優先日】2021-07-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】508147326
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
(74)【代理人】
【識別番号】100127926
【弁理士】
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100216105
【弁理士】
【氏名又は名称】守安 智
(72)【発明者】
【氏名】ヴェンカテーシュ・ナラシマムルティ
(72)【発明者】
【氏名】ヴィヴィック・シンフ
(72)【発明者】
【氏名】イャオ－ジェン・チャン
(72)【発明者】
【氏名】ベンジャミン・エス・ポラック
(72)【発明者】
【氏名】アンカー・カプール
(72)【発明者】
【氏名】ラヤル・ラジュ・プラサド・ナラム・ヴェンカット
【テーマコード（参考）】
2G058
2G059
5L096
5L099
【Ｆターム（参考）】
2G058GB03
2G058GB10
2G058GC02
2G058GC05
2G058GD06
2G059AA05
2G059BB04
2G059BB13
2G059CC16
2G059DD13
2G059EE02
2G059KK09
2G059MM10
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA14
5L096DA02
5L096FA06
5L096FA15
5L096FA19
5L096GA51
5L096HA11
5L096JA11
5L096JA22
5L099AA04
5L099AA26
(57)【要約】
自動診断システムにおいて検体容器または検体を特性評価する方法は、撮像デバイスを使用して、検体を含む検体容器の画像を取り込むことを含む。方法は、第１のＡＩモデルを使用して画像を特性評価し、画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することを更に含む。第１のＡＩモデルは、第２のＡＩモデルに対し、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて再トレーニングされ、再トレーニングは、以下のグループ：非画像データおよびテキストデータのうちの１つまたはそれ以上から選択されたデータを含む。方法を実行するように構成された品質チェックモジュールおよびシステムも、他の態様と同様に記載される。
【選択図】図５
【選択図】図５
【特許請求の範囲】
【請求項1】
自動診断システムにおいて検体容器または検体を特性評価する方法であって：撮像デバイスを使用して、検体を含む検体容器の画像を取り込むことと；
第１の人工知能（ＡＩ）モデルを使用して、画像を特性評価することと；
画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；
第２のＡＩモデルに対し、少なくとも、所定の選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることとを含み、ここで、再トレーニングは、以下のグループ：
非画像データ、および
テキストデータ、
のうちの１つまたはそれ以上から選択されたデータを含む、前記方法。
【請求項2】
第２のＡＩモデルが、予め確立された閾値を上回る特性評価信頼性で特性評価を行っていることを妥当性確認することを含む、請求項１に記載の方法。
【請求項3】
妥当性確認データセットに対し第２のＡＩモデルを妥当性確認することを含む、請求項１に記載の方法。
【請求項4】
予め選択された閾値を下回る特性評価信頼性を有する画像を、予め選択された閾値を下回る特性評価信頼性を有する１つまたはそれ以上の他の画像を含むデータベースに記憶することと；データベースに記憶された画像のうちの１つまたはそれ以上を用いて第１のＡＩモデルを再トレーニングすることと、
を含む、請求項１に記載の方法。
【請求項5】
第１のＡＩモデルを再トレーニングすることは、第１のＡＩモデルを第２のＡＩモデルと置き換えることを含む、請求項１に記載の方法。
【請求項6】
複数の自動診断システムから得られた妥当性確認データセットに対し第１のＡＩモデルをトレーニングすることを含む、請求項１に記載の方法。
【請求項7】
ユーザ入力を受信することであって、第１のＡＩモデルは、ユーザ入力に応じて再トレーニングされることを含む、請求項１に記載の方法。
【請求項8】
特性評価は、検体の血清または血漿部分において、溶血、黄疸または脂肪血症のうちの少なくとも１つの存在を決定することを含む、請求項１に記載の方法。
【請求項9】
特性評価は、検体の血清または血漿部分の、溶血の指標、黄疸の指標、または脂肪血症の指標のうちの少なくとも１つを決定することを含む、請求項１に記載の方法。
【請求項10】
特性評価は検体をセグメント化することを含む、請求項１に記載の方法。
【請求項11】
特性評価は、検体をセグメント化して、少なくとも、血清または血漿部分および沈降血液部分を識別することを含む、請求項１に記載の方法。
【請求項12】
血清もしくは血漿部分または沈降血液部分のうちの少なくとも１つの高さを決定することを含む、請求項１１に記載の方法。
【請求項13】
特性評価は、キャップが検体容器上に存在するかどうかを判断することを含む、請求項１に記載の方法。
【請求項14】
特性評価は、検体容器上のキャップの色を決定することを含む、請求項１に記載の方法。
【請求項15】
特性評価は、検体容器上のキャップのタイプを決定することを含む、請求項１に記載の方法。
【請求項16】
特性評価信頼性が予め選択された閾値を下回っているかどうかを識別することは、特性評価信頼値が、０．０～１．０の範囲において０．９未満であるかどうかを識別することを含む、請求項１に記載の方法。
【請求項17】
特性評価信頼性が予め選択された閾値を下回っているかどうかを識別することは、特性評価信頼値が、０．０～１．０の範囲において０．８未満であるかどうかを識別することを含む、請求項１に記載の方法。
【請求項18】
検体または検体容器の画像をセグメント化することを含み、ここで、特性評価信頼性が予め選択された閾値を下回っているかどうかを識別することは、セグメントにおけるピクセル値の９０パーセント未満が同じ分類にされたかどうかを判断することを含む、請求項１に記載の方法。
【請求項19】
非画像データは温度データを含む、請求項１に記載の方法。
【請求項20】
非画像データは湿度データを含む、請求項１に記載の方法。
【請求項21】
非画像データは、振動データ、電流データおよび音響データのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項22】
テキストデータは、検体が取得された人物に関係する情報を含む、請求項１に記載の方法。
【請求項23】
自動診断システムにおいて検体を特性評価する方法であって：撮像デバイスを使用して検体の画像を取り込むことと；
第１の人工知能（ＡＩ）モデルを使用して画像を特性評価して、溶血、黄疸または脂肪血症のうちの少なくとも１つの存在を決定することと；
溶血、黄疸または脂肪血症のうちの少なくとも１つの存在の決定の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；
第２のＡＩモデルに対し、少なくとも、所定の選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることであって、ここで、再トレーニングは、以下のグループ：
非画像データ、および
テキストデータ、
のうちの１つまたはそれ以上から選択されたデータを含むことと、
を含む、前記方法。
【請求項24】
非画像データは、温度データ、湿度データ、振動データ、電流データおよび音響データのうちの少なくとも１つを含む、請求項２３に記載の方法。
【請求項25】
テキストデータは、検体が取得された人物に関係する情報を含む、請求項２３に記載の方法。
【請求項26】
自動診断システムであって：検体を含む検体容器の画像を取り込むように構成された撮像デバイスと；
コンピュータと、
を含み、該コンピュータは：
第１の人工知能（ＡＩ）モデルを使用して、画像を特性評価することと；
画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；
第２のＡＩモデルに対し、少なくとも、所定の選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることと、
を行うように構成され、ここで、再トレーニングは、以下のグループ：
非画像データ、および
テキストデータ、
のうちの１つまたはそれ以上から選択されたデータを含む、前記自動診断システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年７月７日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＰＲＯＶＩＤＩＮＧ ＴＲＡＩＮＩＮＧ ＵＰＤＡＴＥＳ ＩＮ ＡＵＴＯＭＡＴＥＤ ＤＩＡＧＮＯＳＴＩＣ ＳＹＳＴＥＭＳ」という名称の米国仮特許出願第６３／２１９，３４３号の利益を主張し、その開示全体が、あらゆる目的で参照により本明細書に組み入れられる。
本出願は、２０２１年７月７日に出願された「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＰＲＯＶＩＤＩＮＧ ＴＲＡＩＮＩＮＧ ＵＰＤＡＴＥＳ ＩＮ ＡＵＴＯＭＡＴＥＤ ＤＩＡＧＮＯＳＴＩＣ ＳＹＳＴＥＭＳ」という名称の米国仮特許出願第６３／２１９，３４３号の利益を主張し、その開示全体が、あらゆる目的で参照により本明細書に組み入れられる。
【0002】
本開示の実施形態は、自動診断システムにおけるトレーニングを提供するように構成された方法および装置に関する。
【背景技術】
【0003】
自動診断システムは、検体内の分析物または他の成分を識別するために、例えば、全血、血清、血漿、尿、間質液、脳脊髄液等の生物学的検体を分析（例えば、検査）することができる。検体は通常、自動トラックシステムを介してそのような自動診断システム内の様々な前処理モジュール、事前スクリーニングモジュール、および分析器（例えば、免疫測定および臨床化学を含む）に移送することができる検体容器（例えば検体収集管）内に含まれている。
【0004】
いくつかのシステムにおいて、前処理モジュールは、例えば、封止解除（ｄｅ－ｓｅａｌｉｎｇ）、遠心分離、アリコート準備（ａｌｉｑｕｏｔｉｎｇ）等の、検体または検体容器に対する処理を、全て１つまたはそれ以上の分析器による分析前に行うことができる。いくつかのシステムにおいて、事前スクリーニングを用いて、検体容器および／または検体を特性評価することができる。特性評価は、人工知能（ＡＩ）モデルによって行うことができ、検体容器および／または検体の様々な領域を識別することができるセグメンテーション動作を含むことができる。ＡＩモデルを使用した検体の特性評価は、分析される検体における溶血（Ｈ）、黄疸（Ｉ）および／または脂肪血症（Ｌ）等の干渉物質の存在を決定するか、または検体が正常（Ｎ）であり、このため更に処理することができると判断するＨＩＬＮプロセスを含むことができる。
【0005】
前処理および／または事前スクリーニング後、検体は、自動診断システムの１つまたはそれ以上の分析器によって分析される。測定は、蛍光吸収および／または放出の分析等の測光分析により、検体に対し行うことができる。他の測定を用いることもできる。測定を分析して、検体内の分析物または他の成分の量を決定することができる。
【0006】
経時的に、システムの構成要素は変化する場合がある。例えば、撮像中に用いられる撮像デバイスおよび照明源が変化する場合がある。いくつかの実施形態では、検体容器も経時的に変化する場合がある。ＡＩモデルは、経時的に変化した構成要素および検体容器を特性評価するように適切にトレーニングされていない場合がある。このため、ＡＩモデルを使用した上記の分析は誤ったものとなる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記に基づいて、自動診断システムにおける使用のためにＡＩモデルをトレーニングする改善された方法が求められている。
【課題を解決するための手段】
【0008】
第１の態様によれば、自動診断システムにおいて検体容器または検体を特性評価する方法が提供される。方法は、撮像デバイスを使用して、検体を含む検体容器の画像を取り込むことと；第１のＡＩモデルを使用して、画像を特性評価することと；画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；第２のＡＩモデルに対し、少なくとも、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることであって、再トレーニングは、以下のグループ：非画像データおよびテキストデータのうちの１つまたはそれ以上から選択されたデータを含むことと、を含む。
【0009】
別の態様によれば、自動診断システムにおいて検体を特性評価する方法が提供される。方法は、撮像デバイスを使用して検体の画像を取り込むことと；第１のＡＩモデルを使用して画像を特性評価して、溶血、黄疸または脂肪血症のうちの少なくとも１つの存在を決定することと；溶血、黄疸または脂肪血症のうちの少なくとも１つの存在の決定の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；第２のＡＩモデルに対し、少なくとも、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることであって、再トレーニングは、以下のグループ：非画像データおよびテキストデータのうちの１つまたはそれ以上から選択されたデータを含むことと、を含む。
【0010】
別の態様によれば、自動診断システムが提供される。自動診断システムは、検体を含む検体容器の画像を取り込むように構成された撮像デバイスと；コンピュータであって：第１のＡＩモデルを使用して、画像を特性評価することと；画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することと；第２のＡＩモデルに対し、少なくとも、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のＡＩモデルを再トレーニングすることであって、再トレーニングは、以下のグループ：非画像データおよびテキストデータのうちの１つまたはそれ以上から選択されたデータを含むことと、を行うように構成された、コンピュータとを含む。
【0011】
本開示の更に他の態様、構成、および利点は、本発明を実施するために企図される最良の形態を含む、いくつかの例示的実施形態および実装形態の以下の説明および図示から容易に明らかになり得る。本開示はまた、他の異なる実施形態も可能とすることができ、そのいくつかの詳細は、全て本発明の範囲から逸脱することなく様々な点で変更することができる。本開示は、特許請求の範囲の範囲に含まれる全ての修正形態、等価形態、および代替形態を網羅することが意図される。
【0012】
以下で説明する図面は、例示目的のものであり、必ずしも原寸に比例して描かれていない。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、本発明の範囲を限定することを何ら意図するものではない。
【図面の簡単な説明】
【0013】
【図1】１つまたはそれ以上の実施形態による、検体容器および／または検体を分析するように構成された１つまたはそれ以上のモジュールおよび１つまたはそれ以上の機器を含む自動診断システムの上面概略図を示す。
【図2A】１つまたはそれ以上の実施形態による、干渉物質を含む場合がある血清または血漿部分を有する分離された検体を含む検体容器の側面図を示す。
【図3】１つまたはそれ以上の実施形態による、自動診断システムにおいて検体および／または検体容器を分析するように人工知能モデルをトレーニングする方法を記載するフローチャートである。
【図4A】１つまたはそれ以上の実施形態による、複数の視点を含み、セグメンテーションおよび／またはＨＩＬＮの事前スクリーニング等の特性評価を可能にするために複数の画像を取り込み、分析するように構成された品質チェックモジュール（上部が取り除かれている）の概略上面図である。
【図5】１つまたはそれ以上の実施形態による、特性評価性能に基づいてＨＩＬＮネットワークに対するトレーニング更新を提供しながら、検体容器内の検体のセグメンテーションおよび干渉物質決定を行うように構成されたＨＩＬＮネットワークの機能ブロック図を示す。
【図6】１つまたはそれ以上の実施形態による、自動診断システムにおいて検体容器または検体を特性評価する方法を示すフローチャートを示す。
【図7】１つまたはそれ以上の実施形態による、自動診断システムにおいて検体を特性評価する方法を示すフローチャートを示す。
【発明を実施するための形態】
【0014】
本明細書に記載の自動診断システムは、生物学的検体を分析（例えば検査）して、検体における分析物の存在および／または濃度を決定する。いくつかの実施形態では、システムは、検体に対し１つまたはそれ以上の事前スクリーニング分析を行うことができる。いくつかの実施形態では、システムは、検体容器に対し事前スクリーニング分析を行うことができる。分析は、本明細書に記載のように、人工知能（ＡＩ）モデルを使用して行うことができる。
【0015】
本明細書に記載のＡＩモデルは、機械学習、ニューラルネットワークおよび他のＡＩアルゴリズムとして実施することができる。ＡＩモデルは、画像または取り込まれた画像の一部分を特性評価するようにトレーニングすることができる。画像の特性評価は、画像の１つまたはそれ以上の部分におけるアイテムを識別することを含む。例えば、第１のまたは初期ＡＩモデルは、検体および検体容器等のシステムによって取り込まれることが予期される画像内のアイテムを特性評価するようにトレーニングすることができる。いくつかの実施形態では、特性評価されることになるアイテムの画像の大きなデータセットを、様々なビューおよび／または様々な照明条件等の様々な構成で取り込むことができ、これらを用いて第１のＡＩモデルをトレーニングすることができる。１つまたはそれ以上のアルゴリズムまたはプログラムを用いて、第１のＡＩモデルをトレーニングした特性評価信頼性をチェックすることができる。いくつかの実施形態では、特性評価信頼性は、値（例えば、１～１００）またはパーセンテージの形態をとることができる。低い特性評価信頼性は、不適切な特性評価、すなわち、ＡＩモデルが検体または検体容器を認識するために適切にトレーニングされていないことを示すことができる。
【0016】
経時的に、特性評価されるアイテムは変化する場合がある。いくつかの実施形態では、画像が取り込まれる条件も変化する場合がある。これらの変化したアイテムおよび条件は、ハードウェアの変更（例えば更新）、ソフトウェアの変更、検体容器の変更、検体容器上のラベルの変更、アッセイの変更、および他の変更に起因し得る。第１のＡＩモデルは、これらの変化したアイテムを特性評価することができない場合があるか、または変化した条件下でアイテムを特性評価することができない場合がある。例えば、第１のＡＩモデルをトレーニングするのに用いられる画像は、システムに受けられた検体容器および／または検体の全てのバリエーションを含まない場合がある。例えば、検体容器のサイズ、タイプおよび特性は経時的に変化し、結果として誤ったまたは低い特性評価信頼性が得られる場合がある。したがって、変化したアイテムおよび条件を適切に特性評価することを可能にするために、第１のＡＩモデルは、第２のＡＩモデルに対し更新されなくてはならない。
【0017】
従来の自動診断システムは、ＡＩモデルに対し容易なおよび／または自動の更新を提供しない。むしろ、ＡＩモデルを更新するプロセスは比較的厄介である場合がある。例えば、いくつかの実施形態では、第１のＡＩモデルにおける欠陥は、システムが故障するまで識別されない場合がある。第１のＡＩモデルが適正でないことを判断するために、システム故障のトラブルシューティングが必要となる場合がある。第１のＡＩモデルが不適正であることが識別されると、上記で説明した変化に関するデータが収集され、エンジニアチームに送信される。次に、エンジニアチームによってこのデータを用いて第１のＡＩモデルを更新または再トレーニングする。従来の更新プロセスは非常に高価であり、時間がかかる。本明細書に開示される方法および装置は、第１のＡＩモデルの更新および／または第２のＡＩモデルとの置き換えの改善をもたらす。
【0018】
本明細書に記載のＡＩモデルは、品質チェックモジュールを含むシステムにおいて用いることができる。品質チェックモジュールは、品質チェックモジュールにおいて取り込まれた画像に基づいて、検体および／または検体容器の事前スクリーニングを行う。事前スクリーニングは、本明細書に記載のＡＩモデルを使用して、検体容器および／または検体の画像を特性評価することができる。事前スクリーニングの特性評価は、取り込まれた画像に対し、セグメンテーションおよび／または干渉物質（例えば、ＨＩＬＮ－溶血、黄疸、脂肪血症、正常）識別を行うことを含むことができる。セグメンテーション決定は、血清または血漿部分、沈降血液部分、ゲル分離器（使用される場合）、空気領域、１つまたはそれ以上のラベル領域、検体容器のタイプ（例えば高さおよび幅または直径を示す）、ならびに／または検体容器キャップのタイプおよび／もしくは色等、検体容器および検体の画像内での様々な領域（エリア）を識別することができる。
【0019】
上記のように、ＡＩモデルによって識別される干渉物質は、溶血（Ｈ）、黄疸（Ｉ）、または脂肪血症（Ｌ）を含むことができる。溶血の度合いは、ＡＩモデルを使用して、溶血指標（例えば、いくつかの実施形態ではＨ０～Ｈ６、他の実施形態ではより多数または少数）を割り当てることによって定量化することができる。黄疸の度合いは、ＡＩモデルを使用して、黄疸指標（例えば、いくつかの実施形態ではＩ０～Ｉ６、他の実施形態ではより多数または少数）を割り当てることによって定量化することができる。脂肪血症の度合いは、ＡＩモデルを使用して、脂肪血症指標（例えば、いくつかの実施形態ではＬ０～Ｌ４、他の実施形態ではより多数または少数）を割り当てることによって定量化することができる。いくつかの実施形態では、事前スクリーニングプロセスは、遠心分離されていない検体の血清または血漿部分に関する非遠心分離（Ｕ）クラスの決定を含むことができる。
【0020】
ＡＩモデルによって実施されるＨＩＬＮネットワークは、検体容器に含まれる分画された検体の１つまたはそれ以上の取り込まれた画像を入力として受けるセグメンテーション畳み込むニューラルネットワーク（ＳＣＮＮ）とするかまたはこれを含むことができる。ＳＣＮＮは、いくつかの実施形態では、例えば、ＢａｔｃｈＮｏｒｍ、ＲｅＬＵ活性化、畳み込み（例えば２Ｄ）、ドロップアウト、および逆畳み込み（例えば２Ｄ）層を含む１００を超える操作層を含み、血清または血漿部分およびラベルを含む画像領域の単純なエッジ、テクスチャ、および部分等の特徴部分を抽出することができる。完全畳み込み層等の最上層は、特徴間の相関を提供するために用いることができる。この層の出力はＳｏｆｔＭａｘ層に送られ、ＳｏｆｔＭａｘ層は、各ピクセルまたはパッチがＨＩＬを含むかまたは正常であるかに関して、ピクセルごとに（またはｎ×ｎピクセルを含むスーパーピクセル（パッチ）ごとに）出力を生成する。
【0021】
いくつかの実施形態では、ＨＩＬＮの出力のみをＳＣＮＮによって提供することができる。他の実施形態では、ＳＣＮＮの出力は、２０を超えるクラスのＨＩＬＮ等、複数のクラスのＨＩＬＮを含む場合があり、したがって、存在する干渉物質ごとに、干渉物質のレベル（指標）の推定値を得ることもできる。ＨＩＬの各々の他の数のクラスがＳＣＮＮに含まれる場合もある。ＳＣＮＮは、検体容器タイプおよび検体容器境界を決定するためにフロントエンド容器セグメンテーションネットワーク（ＣＳＮ）を含む場合もある。他のタイプのＨＩＬＮネットワークが品質チェックモジュールにおいて用いられる場合もある。
【0022】
いくつかの実施形態では、初期モデルまたは第１のＡＩモデルをトレーニングするのに用いられるトレーニング画像の初期セットは、新たにインストールされた自動診断分析システムを所与の期間（例えば１週間または２週間）動作させることによってコンパイルすることができる。新たにインストールされたシステムにおいて受信された、検体の取り込まれた画像データは、データベース／サーバ（ローカル、および／または新たにインストールされたシステムの一部であり得る、またはクラウドベースのサーバであり得る）に転送することができる。画像データをアノテーションして（例えば、手動でアノテーションする、および／または自動で生成されるアノテーション）、アノテーションされたトレーニング画像の初期セットを作成することができる。次に、アノテーションされたトレーニング画像のセットを用いて、自動診断分析システムの品質チェックモジュールのＨＩＬＮネットワークにおける初期モデルまたは第１のＡＩモデルをトレーニングすることができる。
【0023】
自動診断分析システムの動作中、ＨＩＬＮネットワークによって生成された特性評価が不正確であるかまたは低い特性評価信頼性（例えば、低い信頼水準）を有すると判断された検体の画像は、自動診断分析システムの分析器に自動的に転送されず、更なる検討のために記憶することができる。例えば、不正確であるかまたは低い特性評価信頼性を有すると判断された特性評価を有する検体の画像は、データベース／サーバに記憶（およびいくつかの実施形態では暗号化）することができる。トレーニング更新（例えば第２のＡＩモデルのトレーニング）は、データベース／サーバに記憶される不正確なまたは低信頼性の特性評価に少なくとも部分的に基づくことができる。
【0024】
いくつかの実施形態では、トレーニング更新は、不正確であるかまたは低信頼性を有すると判断された検体特性評価を有する検体の取り込まれた画像の手動のアノテーションおよび／または自動生成されたアノテーションに少なくとも部分的に基づくことができる。トレーニング更新は、ＨＩＬＮネットワークに転送され、再トレーニングされた第２のＡＩモデルを生成するための第１のＡＩモデルの再トレーニングによってそこに組み込まれる。いくつかの実施形態では、１つまたはそれ以上のトレーニング更新の利用可能性のレポートまたはプロンプトをユーザに提供して、トレーニング更新がＨＩＬＮネットワークに組み込まれるときおよび場合をユーザが決定できるようにすることができる。他の実施形態では、トレーニング更新は自動とすることができる。
【0025】
いくつかの実施形態では、それぞれがソフトウェアベースであるトレーニング画像の初期セットおよび／またはトレーニング更新は、インターネットを介してまたは物理的媒体（例えばプログラミング命令およびデータを含むストレージデバイス）の使用によって、再トレーニングされたモデルとして自動診断分析システム（および特にＨＩＬＮネットワーク）に提供することができる。
【0026】
本明細書に開示されるシステムのいくつかの実施形態は、例えば不正確なまたは低い特性評価信頼性の閾値数に一致するかまたは超えたとき等、頻繁にまたは定期的に、再トレーニングおよび／またはＡＩモデルの置き換えによりシステムに自動的に組み込むことができるＡＩモデルの連続トレーニング更新を提供することができる。他の判断基準を用いてトレーニング更新をシステムに自動的に組み込むこともできる。いくつかの実施形態では、トレーニング更新は、ユーザプロンプト等、ユーザの自由裁量によりユーザによってシステムに組み込むことができる。
【0027】
【0028】
ここで、検体容器１０２に収納された生物学的検体を処理および／または分析するように構成された自動診断システム１００の例示的な実施形態を示す図１を参照する。検体容器１０２は、検体を収容し、収容された検体の撮像を可能にする採血管、検査管、試料カップ、キュベット、または他の容器等、透明または半透明の容器を含む任意の適切な容器とすることができる。検体容器１０２は、様々なサイズを有することができ、異なるキャップの色および／またはキャップのタイプを有することができる。
【0029】
検体容器１０２は、装填エリア１０６に設けられた１つまたはそれ以上のラック１０４においてシステム１００に受けることができる。検体容器１０２は、キャリア１１４によって、システム１００全体にわたって、例えば、トラック１１２上のモジュール１０８および機器１１０との間で移送することができる。
【0030】
検体および／または検体容器１０２の処理は、本明細書において分析器と呼ぶことができる分析器モジュールとして構成されたモジュール１０８のうちの１つまたはそれ以上による分析前に、検体および／または検体容器１０２を前処理または事前スクリーニングすることを含むことができる。システム１００は、１つまたはそれ以上の機器１１０を含むこともでき、各機器は、処理モジュールおよび／または分析器モジュール等の１つまたはそれ以上のモジュールを含むことができる。図１の実施形態において、システム１００は、各々が複数のモジュールを含む第１の機器１１０Ａおよび第２の機器１１０Ｂを含む。第２の機器１１０Ｂと類似または同一とすることができる第１の機器１１０Ａは、本明細書に記載のモジュール１０８と類似または同一の機能を実行することができる３つのモジュール１１６を含む。モジュール１１６は、個々に第１のモジュール１１６Ａ、第２のモジュール１１６Ｂおよび第３のモジュール１１６Ｃと呼ばれる。機器１１０は、他の数のモジュールを含むこともできる。
【0031】
いくつかの実施形態では、第１のモジュール１１６Ａは、例えば、分析器モジュールによる分析の前に、内部に配置された検体容器１０２および／または検体を処理する前処理モジュールとすることができる。第２のモジュール１１６Ｂおよび第３のモジュール１１６Ｃは、本明細書に記載のように検体を分析する分析器モジュールとすることができる。機器１１０の他の実施形態は、システム１００において他の目的で用いることもできる。
【0032】
図１の実施形態において、システム１００は、第１のモジュール１０８Ａ、第２のモジュール１０８Ｂおよび第３のモジュール１０８Ｃを含む複数のモジュールを含む。第１のモジュール１０８Ａ、第２のモジュール１０８Ｂおよび第３のモジュール１０８Ｃと独立して、特定の処理および／またはプロセスを実行する他のモジュールが提供され、説明される。モジュール１０８のうちの少なくとも１つは、前処理機能を実行することができ、例えば、デキャッパおよび／または遠心分離機を含むことができる。いくつかの実施形態では、モジュール１０８のうちの１つまたはそれ以上は、臨床化学分析器および／もしくはアッセイ機器等、またはそれらの組合せとすることができる。より多くのまたはより少ないモジュール１０８および機器１１０をシステム１００において用いることができる。
【0033】
モジュール１０８の分析器モジュールとして実装されるモジュール、および機器１１０は、任意の数の臨床化学分析器および／またはアッセイ機器等の任意の組合せとすることができる。「分析器」という用語は、本明細書において用いられるとき、化学に関しては検体の分析用に、または例えばＤＮＡやＲＮＡ等の標的体（例えば分析物）の存在、量、または機能的活性に関してはアッセイ用に用いられるデバイスを含む。分析器モジュールにおいて一般に検査される分析物は、酵素、基質、電解質、特定のタンパク質、乱用薬物、および治療薬を含む。
【0034】
検体２１６が内部に配置された検体容器２０２の実施形態を示す図２Ａ～図２を更に参照する。検体容器２０２は、検体容器１０２（図１）を表すことができ、検体２１６は、検体容器１０２内に配置された検体を表すことができる。検体容器２０２は管２１８を含むことができ、キャップ２２０を被せることができる。異なる検体容器上のキャップは、異なるタイプおよび／または色（例えば、赤、ロイヤルブルー、水色、緑、灰色、黄褐色、黄色、または色の組合せ）とすることができる、これらは、検体容器２０２が使用される特定の検査、検体容器２０２に含まれる添加剤のタイプ、検体容器がゲル分離器を含むかどうか等の観点で意味を有することができる。いくつかの実施形態では、キャップタイプは、本明細書で述べる特性評価方法によって決定することができる。
【0035】
検体容器２０２には、バーコード、英字、数字、またはそれらの組合せ等の識別情報２２２Ｉ（すなわち印）を含むことができる少なくとも１つのラベル２２２を設けることができる。識別情報２２２Ｉは、ＬＩＳ１３１におけるデータベース等、実験室情報システム（例えば、図１のＬＩＳ１３１）によって提供される関連データを含むかまたはこの関連データとすることができる。データベースは、本明細書に記載のように、名前、生年月日、住所、および／または他の個人情報を含む患者情報等のテキストデータと呼ばれる情報を含むことができる。データベースは、検体２１６に対し実施すべき検査、検体２１６を取得した日時、医療施設情報、ならびに／または追跡およびルーティング情報等の他のテキストデータも含むことができる。他のテキストデータも含むことができる。ＬＩＳ１３１におけるデータは、医療提供者から検査注文等を受ける病院情報システム１３３から受信することができる。
【0036】
識別情報２２２Ｉは、識別情報２２２Ｉを容易に撮像することができるように、ラベル素材（例えば白い紙）よりも暗い色（例えば黒）にすることができる。識別情報２２２Ｉは、患者の識別、ならびに検体２１６に対して実施すべき検査を示すことができ、またはそうでない場合、ＬＩＳまたは他の検査注文システムによってそれらに相関させることができる。識別情報２２２Ｉはラベル２２２に提供することができ、ラベル２２２は、管２１８の外面に貼り付けるか、または他の方法で提供することができる。いくつかの実施形態では、ラベル２２２は、検体容器２０２の全周にわたって、または検体容器２０２の全長に沿って延びていない場合がある。
【0037】
検体２１６は、管２１８内に含まれる血清または血漿部分２１６ＳＰおよび沈降血液部分２１６ＳＢを含む場合がある。血清または血漿部分２１６ＳＰと沈降血液部分２１６ＳＢとの間にＡゲル分離器２１６Ｇを配置することができる。血清または血漿部分２１６ＳＰの上に空気２２４を提供することができる。血清または血漿部分２１６ＳＰと空気２２４との間の境界線は、液体－空気界面（ＬＡ）として定義される。血清または血漿部分２１６ＳＰとゲル分離器との間の境界線は、血清－ゲル界面（ＳＧ）として定義される。沈降血液部分２１６ＳＢとゲル分離器２１６Ｇとの間の境界線は、血液－ゲル界面（ＢＧ）として定義される。空気２２４とキャップ２２０との界面は、管－キャップインターフェース（ＴＣ）として定義される。
【0038】
管の高さ（ＨＴ）は、管２１８の最下部材からキャップ２２０の底部までの高さとして定義され、管のサイズ（例えば、管の高さおよび／または管の体積）を決定するために用いることができる。血清または血漿部分２１６ＳＰの高さはＨＳＰであり、ＬＡにおける血清または血漿部分２１６ＳＰの上部からＳＧにおけるゲル分離器２１６Ｇの上部までの高さとして定義される。ゲル分離器２１６Ｇの高さはＨＧであり、ＳＧとＢＧとの間の高さとして定義される。沈降血液部分２１６ＳＢの高さはＨＳＢであり、ＢＧにおけるゲル分離器２１６Ｇの底部から、沈降血液部分２１６ＳＢの底部までの高さとして定義される。ＨＴＯＴは、検体２１６の全高であり、ＨＳＰ、ＨＧおよびＨＳＢの和に等しい。管２１８の内部の円筒形部分の幅はＷである。前処理モジュール１０８および／または機器１１０のうちの１つまたはそれ以上において行われる前処理により、上記の寸法のうちの少なくとも１つを測定または計算することができる。
【0039】
図２Ｂの実施形態は、キャリア２１４内に配置された検体容器２０２の側面図を示す。キャリア２１４が、キャリア１１４（図１）を表すことができる。キャリア２１４は、所定の直立姿勢および向きで検体容器２０２を保持するように構成されたホルダ２１４Ｈを含むことができる。ホルダ２１４Ｈは、検体容器２０２をキャリア２１４に固定する複数のフィンガまたは板ばねを含むことができるが、検体容器２０２の異なるサイズ（幅）に対応するために可動または可撓性のものもある。いくつかの実施形態では、キャリア２１４は、１つまたはそれ以上のラック１０４から降ろされた後、装填エリア１０６（図１）から出ることができる。
【0040】
図１を再び参照すると、システム１００は、コンピュータ１２４を含むことができるか、または外部コンピュータと通信するように構成することができる。コンピュータ１２４は、適切なメモリ、ソフトウェア、ならびにシステム１００の様々な構成要素、モジュール１０８および機器１１０を動作させるための調整電子機器およびドライバを有するマイクロプロセッサベースの中央処理ユニットＣＰＵとすることができる。コンピュータ１２４はプロセッサ１２４Ａおよびメモリ１２４Ｂを含むことができ、プロセッサ１２４Ａは、メモリ１２４Ｂに記憶されたプログラム１２４Ｃを実行するように構成される。コンピュータ１２４は、システム１００の一部として、またはシステム１００と別個に収容することができる。プログラム１２４Ｃは、システム１００の構成要素を動作させることができ、本明細書に記載のように特性評価を行うことができる。
【0041】
コンピュータ１２４は、プログラム１２４Ｃによって、キャリア１１４の、装填エリア１０６に対する動き、トラック１１２の周りでの動き、モジュール１０８および機器１１０に対する動き、ならびにシステム１００の他のモジュールおよび構成要素に対する動き制御することができる。モジュール１０８または機器１１０のうちの１つまたはそれ以上は、有線および無線ネットワークを含む、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスエリアネットワーク（ＷＡＮ）または他の適切な通信ネットワーク等のネットワークを通じてコンピュータ１２４と通信することができる。いくつかの実施形態では、上記のモジュール１０８および／または機器１１０のうちのいくつかまたは全ての動作は、コンピュータ１２４によって行うことができる。
【0042】
プログラム１２４Ｃのうちの１つまたはそれ以上は、本明細書に記載のように画像データおよび他のデータを処理および／または解析する人工知能（ＡＩ）モデルまたはアルゴリズムとすることができる。他のデータは、例えば、非画像データ（図５の５１０）およびテキストデータ（図５の５１２）を含むことができる。図１の実施形態において、メモリ１２４Ｂは、第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂを記憶するものとして示されている。第１のＡＩモデル１３０Ａは、本明細書に記載のように更新または置き換えされていないＡＩモデルを指す。例えば、システム１００に最初に提供される第１のＡＩモデルを第１のＡＩモデル１３０Ａとすることができる。第２のＡＩモデル１３０Ｂは、本明細書に記載のように、第１のＡＩモデル１３０Ａが更新され、および／または第２のＡＩモデル１３０Ｂと置き換えられたものである。いくつかの実施形態では、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａが最初のＡＩモデルであったかどうかに関わらず、第１のＡＩモデル１３０Ａの更新または置き換えとすることができる。
【0043】
第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂは、メモリ１２４Ｂに記憶され、プロセッサ１２４Ａによって実行されるプログラム１２４Ｃまたはアルゴリズムのうちの１つまたはそれ以上として実施することができる。いくつかの実施形態では、第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂはシステム１００の遠隔で実行することができる。第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂは、限定ではないが、畳み込みニューラルネットワーク（ＣＮＮ）、ディープラーニング、再生ネットワーク、ならびに他の機械学習および人工知能アルゴリズムを含むニューラルネットワークを含む、様々な形態の人工知能として実施することができる。したがって、第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂは、単純なルックアップテーブルでない場合がある。むしろ、第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂは、多岐にわたる異なる画像を認識（例えば、特性評価）するようにトレーニングされる。他方で、ルックアップテーブルは、特にルックアップテーブル内にある画像のみを識別することが可能である。
【0044】
いくつかの実施形態では、コンピュータ１２４は、コンピュータインターフェースモジュール（ＣＩＭ）１２６に結合することができる。ＣＩＭ１２６および／またはコンピュータ１２４は、ディスプレイ１２８に結合することができる。ＣＩＭ１２６は、ディスプレイ１２８と連携して、ユーザが多岐にわたる制御およびステータス表示スクリーンにアクセスし、データをコンピュータ１２４に入力することを可能にする。これらの制御およびステータス表示スクリーンは、検体容器１０２および／または検体容器１０２内に配置された検体の準備、事前スクリーニングおよび分析に用いられるモジュール１０８および／または機器１１０のうちのいくつかまたは全ての態様の制御を表示し、可能にすることができる。このため、ＣＩＭ１２６は、ユーザとシステム１００との間の対話を容易にするように適用することができる。ディスプレイ１２８は、アイコン、スクロールバー、ボックス、およびボタンを含むメニューを表示するように構成することができ、このメニューを介して、オペレータはシステム１００とインターフェースすることができる。メニューは、システム１００の機能的態様を表示しおよび／または動作させるようにプログラムされたいくつかの機能的要素を含むことができる。いくつかの実施形態では、ディスプレイ１２８は、本明細書に記載のように、ユーザがコンピュータ１２４に第１のＡＩモデル１３０Ａを更新するように命令することを可能にするグラフィカルユーザインターフェースを含むことができる。
【0045】
本明細書に記載のように、モジュール１０８および機器１１０は、検体容器１０２および／または検体容器１０２内に配置された検体（例えば、図２～図２Ｂの検体２１６）に対し分析を行うことができる。本明細書においてより詳細に説明されるいくつかの実施形態において、分析は、第１のＡＩモデル３１０Ａまたは第２のＡＩモデル１３０Ｂを使用して光分析によって行うことができる。例えば、検体容器１０２および／または検体容器１０２内に配置された検体の画像は、撮像デバイス（例えば、図４Ａの撮像デバイス４４０）によって取り込むことができる。取り込まれた画像は、コンピュータ１２４上で実行されるプログラム１２４Ｃによって処理することができる画像データの形態をとる。例えば、第１のＡＩモデル１３０Ａまたは第２のＡＩモデル１３０Ｂは、本明細書に記載のように画像データを処理することができる。
【0046】
いくつかの実施形態では、検体および／または検体容器１０２は、モジュール１０８および／または機器１１０のうちの１つまたはそれ以上において前面照明される。検体容器１０２および／または検体からの反射光の画像が１つまたはそれ以上の撮像デバイスによって取り込まれ、画像データに変換され、この画像データが本明細書に記載のように処理される。いくつかの実施形態では、検体および／または検体容器１０２を透過した光の画像は、取り込まれ、画像データに変換され、この画像データが本明細書に記載のように処理される。いくつかの実施形態では、特定の条件下で検体が蛍光を発し、発光するように、化学物質が検体に添加される。発光の画像を取り込み、画像データに変換することができ、この画像データが本明細書に記載のように処理される。
【0047】
第１のＡＩモデル１３０Ａは、第１の妥当性確認データセットによってトレーニングすることができる。第１の妥当性確認データセットは、第１のＡＩモデル１３０Ａをトレーニングおよび／または検証するために収集および使用されるデータである。いくつかの実施形態では、第１の妥当性確認データセットは、様々な検査および分析機構によって検証されるデータを含むことができる。いくつかの実施形態では、第１の妥当性確認データセットは、システム１００および／または類似のシステムの規制当局による承認のために用いられたデータを含むことができる。例えば、いくつかの実施形態では、第１の妥当性確認データセットは、システム１００と同一であるかまたは類似することができる複数のシステムにわたって収集することができるデータを含むことができる。いくつかの実施形態では、第１の妥当性確認データセットは、圧縮および／または暗号化することができる。いくつかの実施形態では、第１の妥当性確認データならびに／または第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂは、クラウド等において遠隔で記憶および／または実行することができる。第１の妥当性確認データセットのためのグランドトゥルースは、至適基準デバイスおよび／または至適基準デバイスに基づくデータ等の二次リソースから得ることができる。他の実施形態において、グランドトゥルースは、既存のトレーニングされたシステムを使用して、または自己監督により、自動的に生成することができる。
【0048】
経時的に、例えばモジュール１０８および／または機器１１０によって生成されるデータを含む、システム１００によって処理されるデータの変更が生じる場合がある。これらの変更は、ハードウェアの変更（例えば、更新）、ソフトウェアの変更、検体容器１０２の変更、ラベル（例えば、ラベル２２２）の変更、および／または検体容器１０２、アッセイプロトコルに付着されたラベル（例えば、ラベル２２２）および／またはバーコード（例えば、情報２２０Ｉ）の変更、ならびに他の変更を含む。これらの変更は、第１のＡＩモデル１３０Ａによって特性評価（例えば識別）することが可能でない場合があるため、システム１００は、新たなＡＩモデル（例えば、第２のＡＩモデル１３０Ｂ）に更新されなくてはならない場合がある。システム１００を第２のＡＩモデル１３０Ｂに更新する方法が本明細書に記載される。
【0049】
第１のＡＩモデル１３０Ａから第２のＡＩモデル１３０Ｂへのシステム１００の更新を含む方法３００を示すフローチャートを示す図３を更に参照する。方法３００は、人工知能モデル（例えば、第１のＡＩモデル１３０Ａおよび第２のＡＩモデル１３０Ｂ）を使用して１つまたはそれ以上の実施形態による自動診断システム（例えばシステム１００）において検体（例えば検体２１６）および／または検体容器（例えば検体容器２０２）を分析することも示す。
【0050】
方法３００は、３０２において、画像を取り込むことを含む。画像は、モジュール１０８または機器１１０のうちの１つまたはそれ以上に配置される撮像デバイス（例えば、図４Ａの撮像デバイス４４０のうちの１つまたはそれ以上）を使用して取り込むことができる。取り込まれた画像は、取り込まれた画像をプログラム１２４Ｃによって処理することができるように、画像データに変換することができる。例えば、画像データは、第１のＡＩモデル１３０Ａおよび／または第２のＡＩモデル１３０Ｂが本明細書に記載のように画像データを解析（例えば特性評価）することを可能にする形態をとることができる。
【0051】
方法３００は、３０４において、第１のＡＩモデル１３０Ａを使用して画像を特性評価することを含む。様々な特性評価についてより詳細に説明する。いくつかの実施形態では、特性評価は、検体容器２０２（図２Ａ～図２Ｂ）または検体容器２０２内に配置された検体２１６（図２Ａ～図２Ｂ）等の、取り込まれた画像内の１つまたはそれ以上のアイテムを識別することを含むことができる。特性評価は、例として、キャップ２２０のタイプおよび色を含むキャップ２２０、管２１８の高さ、ならびに図２Ａに記載の検体２１６の一部分の高さ、および本明細書においてより詳細に説明されるような検体２１６の特性を識別することができる。
【0052】
方法３００は、３０６において、３０４において行われる特性評価の信頼性（特性評価信頼性）を決定することを含む。特性評価信頼性は、第１のＡＩモデル１３０Ａが、取り込まれた画像におけるアイテムを特性評価したかまたは正しく識別したスコアまたは確率とすることができる。様々な既知の技法を用いて、本明細書に記載のように特性評価信頼性を決定することができる。いくつかの実施形態では、特性評価信頼性は、特性評価が取り込まれた画像内の１つまたはそれ以上のアイテムを特性評価または識別することができなかった場合、ゼロとすることができる。
【0053】
方法３００は、３０８において、特性評価信頼性が予め確立された閾値を上回っているかどうかを判断することを含む。信頼性が予め確立された閾値を上回っている場合、処理は３０８に進み、３０８において、第１のＡＩモデル１３０Ａを使用して、取り込まれた画像および未来に取り込まれる画像を特性評価する。いくつかの実施形態では、予め確立された閾値は、０～１．０のスケールで０．７とすることができる。この予め確立された閾値は、特性評価が正しい尤度を提供する。他の実施形態において、予め確立された閾値は、０～１．０のスケールで０．９とすることができる。この予め確立された閾値は、特性評価が正しいことの、より高い信頼性を提供する。
【0054】
３０８において、信頼性が予め選択された閾値を上回っていないという判断が行われる場合、システムまたは他のデバイスは、本明細書に記載のように第２のＡＩモデル１３０Ｂ（図１）を生成する。いくつかの実施形態では、第２のＡＩモデル１３０Ｂを生成することは、第１のＡＩモデル１３０Ａを第２のＡＩモデル１３０Ｂの構成に更新することを含むことができる。他の実施形態において、第２のＡＩモデル１３０Ｂは第１のＡＩモデル１３０Ａと置き換わることができる。
【0055】
３０８からの処理は３１２に進み、３１２において、少なくとも１つ以上の非画像センサおよび／またはテキストデータが受信される。いくつかの実施形態では、データは、第２のＡＩモデル１３０Ｂを生成することができるプログラム１２４Ｃのうちの１つにおいて受けられる。他の実施形態において、データは、第２のＡＩモデル１３０Ｂをトレーニングする１つまたはそれ以上の他のデバイスにおいて受けられる。このデータを用いて、第２のＡＩモデル１３０Ｂをトレーニングするか、または第１のＡＩモデル１３０Ａを更新して第２のＡＩモデル１３０Ｂにする。いくつかの実施形態では、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａと同じとすることができるが、本明細書に記載のデータを用いてトレーニングすることができる。したがって、第２のＡＩモデル１３０Ｂは、第１のＡＩモデルＡが特性評価するようにトレーニングされたアイテムと異なるアイテムを特性評価するようにトレーニングされる。いくつかの実施形態では、第２のＡＩモデル１３０Ｂをトレーニングするのに用いられるデータは、第１のＡＩモデル１３０Ａをトレーニングするのに用いられるデータのうちの少なくともいくつかを含み、このため、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａが特性評価するようにトレーニングされたアイテムのうちの少なくともいくつかを特性評価することができる。いくつかの実施形態では、システム１００のユーザに、第２のＡＩモデル１３０Ｂをトレーニングするようにプロンプトすることができる。次に、ユーザは、ＣＩＭ１２６（図１）等によってトレーニングを開始することができる。他の実施形態において、ユーザは、プロンプトされることなく、本明細書に記載の第２のＡＩモデル１３０Ｂのトレーニングを開始することができる。
【0056】
非画像センサは、例えば、温度センサ、音響センサ、湿度センサ、液量センサ、振動センサ、電流センサ、およびシステム１００の動作に関連する他のセンサを含むことができる。テキストデータは、行われている検査（例えばアッセイタイプ）、患者情報（例えば年齢、症状等）、検査日時、検査時間、システムログ（例えばシステムステータス）、検体容器１０２からのラベル情報（例えば図２Ａ～図２Ｂのラベル２２２からのデータ）、およびシステム１００によって行われる検査に関連する他のデータを含むことができる。
【0057】
方法３００は３１４に進むことができ、３１４において、第２のＡＩモデル１３０Ｂ（図１）は、取り込まれた画像と、非画像センサのうちの少なくとも１つによって生成されたデータ、またはテキストデータのうちの少なくともいくつかとを用いてトレーニングされる。上記で説明したように、いくつかの実施形態では、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａをトレーニングするのに用いられるデータのうちの少なくともいくつかを用いてトレーニングされるため、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａがトレーニングされる画像を特性評価することが可能である。いくつかの実施形態では、予め確立された閾値を下回る特性評価信頼性を有する複数の画像が記憶され、第２のＡＩモデル１３０Ｂをトレーニングするのに用いられる。例えば、予め確立された信頼性を下回る特性評価信頼性を有する画像を、メモリ１２４Ｂ、クラウドおよび／または固定記憶装置に記憶し、３１４において第２のＡＩモデル１３０Ｂをトレーニングするために集合的に用いることができる。
【0058】
いくつかの実施形態では、第１のＡＩモデル１３０Ａを更新することは、モデル容量を更新すること（例えば残余層を追加すること）またはモデルの重みを更新することを含むことができる。モデルの重みは、いずれのデータ試料がＡＩモデルによる後方伝搬のために用いられるかを決定する。いくつかの実施形態では、ＡＩモデルは、提供されるデータがトレーニング集合体の外にあるかまたは元のトレーニング集合体内にあるかを判断するようにトレーニングすることができる、変分オートエンコーダ等のディープネットワークを含むことができる。第２のＡＩモデル１３０Ｂが第１のＡＩモデル１３０と置き換わる実施形態において、第２のＡＩモデル１３０Ｂを上記で説明したようにトレーニングすることができる。
【0059】
第２のＡＩモデル１３０Ｂをトレーニングするのに用いられるデータは、サンプリングデータと呼ぶことができる。第２のＡＩモデル１３０Ｂに組み込まれたサンプリングデータは、第２のＡＩモデル１３０Ｂのダイバージェンスを回避するように選択することができる。ダイバージェンス時、第２のＡＩモデル１３０Ｂは、至適基準またはグランドトゥルースとすることができる第１の妥当性確認データセットに対しトレーニングされた第１のＡＩモデル１３０Ａよりも性能が不良となる。ダイバージェンスは、過少適合または「破滅的忘却」のいずれかを示すことができる。過少適合は、第２のＡＩモデル１３０Ｂが新たなデータにおけるアイテムを識別も特性評価もすることができないことによって識別することができる。破滅的忘却は、第２のＡＩモデル１３０Ｂが新たなデータに過剰適合されていることとして識別することができ、第２のＡＩモデル１３０Ｂは、第１の妥当性確認データセットにおけるアイテムを特性評価することができない。過少適合も破滅的忘却も受容可能とすることができない。なぜなら、過少適合は可能な改善範囲を制約し、破滅的忘却（例えば、過剰適合）は、第１の妥当性確認データセットに基づいて得られた規制除外の要件をもはや満たさない場合があるためである。
【0060】
上記に基づいて、いくつかの実施形態では、第１のＡＩモデル１３０Ａは、更新がシステム１００に役立つ可能性が高いときにのみ更新することができる。いくつかの実施形態では、上記で説明したような過少適合または破滅的忘却等によって第２のＡＩモデルを退化させる場合がある外れ値が試料データ内に存在する場合がある。問題は、第２のＡＩモデル１３０Ｂの性能を評価することができる妥当性確認データセットへのアクセスを有することによって回避することができ、ダイバージェンスが生じた場合、第２のＡＩモデル１３０Ｂは、第１のＡＩモデル１３０Ａ等の古いＡＩモデルにロールバックすることができる。いくつかの実施形態では、第１のＡＩモデル１３０Ａは連続して更新することができる。
【0061】
いくつかの実施形態では、第２のＡＩモデル１３０Ｂをトレーニングすることは、上記で説明したように、妥当性確認データセットを用いて第２のＡＩモデル１３０Ｂを妥当性確認することを含むことができる。妥当性確認データセットは、取り込まれた画像を特定の特性評価に相関付けるデータとすることができる。他の実施形態において、妥当性確認データセットは、第２のＡＩモデル１３０Ｂを妥当性確認するために特に生成された他のシステムまたはデータセット等の他のソースから受信したデータに基づくことができる。
【0062】
３１６において、第２のＡＩモデル１３０Ｂを妥当性確認することができる。例えば、取り込まれた画像、および／または取り込まれた画像と類似の特性を有する他の画像を、第２のＡＩモデル１３０Ｂを使用して特性評価することができる。第２のＡＩモデル１３０Ｂを使用して行われた特性評価の信頼性を決定することができる。特性評価信頼性が予め選択された閾値を下回っている場合、第２のＡＩモデル１３０Ｂは正しくトレーニングされていない場合がある。そのような状況において、第２のＡＩモデル１３０Ｂは、更にトレーニングするか、または第１のＡＩモデル１３０Ａと置き換えることができる。特性評価信頼性が予め選択された閾値よりも大きい場合、方法３００は３１８に進むことができ、３１８において、本明細書に記載のように第２のＡＩモデル１３０Ｂを使用して画像を特性評価する。
【0063】
ここで、システム１００（図１）のモジュール１０８および／または機器１１０において実施される方法３００について説明する。いくつかの実施形態では、モジュール１０８のうちの１つまたはそれ以上は、トラック１１２に隣接して配置することができる品質チェックモジュール１３２として実施することができる。品質チェックモジュール１３２は、検体容器１０２および／または内部に配置された検体（例えば、図２Ａ～図２Ｂの検体２１６）の１つまたはそれ以上の画像を取り込むように構成することができ、１つまたはそれ以上の画像は画像データを含む。コンピュータ１２４または他のデバイスは、第１のＡＩモデル１３０Ａまたは第２のＡＩモデル１３０Ｂを使用して画像データを解析し、検体がモジュール１０８および／または機器１１０による分析のために適切な条件にあるかどうかを判断することができる。分析は、検体容器１０２が構成される検査または分析のタイプを更に決定することができる。
【0064】
本明細書に記載の特性評価のうちの少なくとも１つを実行するように構成された品質チェックモジュール１３２の実施形態を示す図４Ａおよび図４Ｂを更に参照する。図４Ａは、上部が除去された品質チェックモジュール１３２の概略上面図を示し、図４Ｂは、図４Ａの品質チェックモジュール１３２の概略側面図を示す。
【0065】
品質チェックモジュール１３２は、外部の照明の影響を最小限にするためにトラック１１２を少なくとも部分的に取り囲むかまたは覆うことができるハウジング（図示せず）を含むことができる。検体容器２０２は、画像取り込みシーケンス中に撮像位置４４２においてハウジング内部に配置することができる。ハウジングは、キャリア２１４が品質チェックモジュール１３２に出入りすることを可能にするための１つまたはそれ以上の扉（図示せず）を含むことができる。いくつかの実施形態では、ハウジングの天井（図示せず）は、検体容器２０２がロボット（図示せず）によってキャリア２１４内に装填されることを可能にする開口部を含むことができる。
【0066】
品質チェックモジュール１３２は、１つまたはそれ以上の撮像デバイス４４０を含むことができる。撮像デバイス４４０は、個々に、第１の撮像デバイス４４０Ａ、第２の撮像デバイス４４０Ｂ、および第３の撮像デバイス４４０Ｃと呼ばれる。撮像デバイス４４０は、撮像位置４４２において、複数の観点（例えば、１、２および３をラベル付けされた観点）から検体容器２０２および検体２１６の画像を取り込むように構成することができる。３つの撮像デバイス４４０が図４Ａに示されているが、場合により、２つまたは４つ以上の撮像デバイスを使用することができる。観点１～３は、図示されるように、互いから径方向に約１２０°等、互いから概ね等間隔になるように配置することができる。画像は、ラウンドロビン形式で取り込むことができ、例えば、観点１からの１つまたはそれ以上の画像を取り込み、その後順番に、観点２および３から画像を取り込むことができる。画像を取り込む他の順序を用いることもできる。撮像デバイス４４０の他の配置を用いることもできる。
【0067】
検体２１６および／または検体容器２０２の画像は、検体容器２０２が撮像位置４４２においてキャリア２１４内に存在している間に取り込むことができる。撮像デバイス４４０によって得られる複数の画像の視野は、周方向の延びにおいて僅かに重複する場合がある。このため、いくつかの実施形態では、画像の部分は、分析のために血清または血漿部分２１６ＳＰ（図２Ａ）の完全な画像に到達するようにデジタルで付加することができる。撮像デバイス４４０の各々は、コンピュータ１２４によって生成された通信線４４３Ａ、４４３Ｂ、４４３Ｃにおいて提供される信号をトリガすることによってトリガすることができる。取り込まれた画像の各々は、本明細書に記載の１つまたはそれ以上の実施形態に従ってコンピュータ１２４によって処理することができる。
【0068】
撮像デバイス４４０は、デジタル画像を取り込むように構成された任意の適切なデバイスとすることができる。いくつかの実施形態では、撮像デバイス４４０の各々は、ピクセル化された画像を取り込むことができる従来のデジタルカメラ、電荷結合素子（ＣＣＤ）、光検出器のアレイ、１つまたはそれ以上のＣＭＯＳセンサ等とすることができる。取り込まれた画像のサイズは、例えば約２５６０×６９４ピクセルであり得る。他の実施形態において、撮像デバイス４４０は、例えば約１２８０×３８７ピクセルのサイズの画像を取り込むことができる。取り込まれた画像は他のサイズを有することもできる。
【0069】
品質チェックモジュール１３２は、画像取り込み中に検体容器２０２および／または検体２１６を照明するように構成された１つまたはそれ以上の光源４４４を含むことができる。図４Ａの実施形態において、品質チェックモジュール１３２は、個々に第１の光源４４４Ａ、第２の光源４４４Ｂおよび第３の光源４４４Ｃと呼ばれる３つの光源４４４を含む。いくつかの実施形態では、品質チェックモジュール１３２は、撮像位置４４２の前面照明を提供することができる。
【0070】
撮像デバイス４４０に加えて、品質チェックモジュール１３２は、１つまたはそれ以上の非画像センサを含むことができる。非画像センサは、モジュールの動作に関連して、画像以外のデータを生成するために品質チェックモジュール１３２等のモジュールによって用いることができるセンサである。画像データは、取り込まれた画像を表すデータであり、複数のピクセル値を含むことができる。機器は非画像センサを含むこともできる。図４Ａ～図４Ｂに示す品質チェックモジュール１３２の実施形態は５つの非画像センサを含む。非画像センサは、電流センサ４５０、振動センサ４５２、湿度センサ４５４、温度センサ４５６および音響センサ４５８を含む。モジュール１０８および機器１１０の他の実施形態は、より多くのまたはより少ない非画像センサを含む。
【0071】
電流センサ４５０は、品質チェックモジュール１３２等のモジュールの１つまたはそれ以上の構成要素から引き込まれた電流を測定し、電流データを生成することができる。図４Ａ～図４Ｂの実施形態において、電流センサ４５０は、モータ４６０によって引き込まれた電流を測定するように構成される。モータ４６０は、品質チェックモジュール１３２における１つまたはそれ以上のアイテムを動かすことができる。図４Ａ～図４Ｂに示す実施形態において、トラック１１２は、モータ４６０によって可動であり得る。したがって、電流センサ４５０は、モータ４６０によって引き込まれた電流を測定することができる。電流センサ４５０によって生成された電流データ（例えば測定電流）は、コンピュータ１２４に送信することができる。いくつかの実施形態では、電流データを用いて第２のＡＩモデル１３０Ｂ（図１）をトレーニングすることができる。電流データは、電流を引き込む他のデバイスによって生成することもできる。
【0072】
振動センサ４５２は、品質チェックモジュール１３２等のモジュール、および／またはモジュールにおける１つもしくはそれ以上の構成要素の振動を測定し、振動データを生成することができる。図４Ａ～図４Ｂの実施形態において、振動センサ４５２は、検体容器２０２内の検体２１６に影響を及ぼす場合があるトラック１１２の振動を測定するように構成される。振動センサ４５２によって生成された振動データ（例えば測定振動）は、コンピュータ１２４に送信することができる。いくつかの実施形態では、振動データを用いて第２のＡＩモデル１３０Ｂ（図１）をトレーニングすることができる。振動データは他のソースによって生成することもできる。
【0073】
湿度センサ４５４は、品質チェックモジュール１３２等のモジュールにおける湿度を測定し、湿度データを生成することができる。いくつかの実施形態では、湿度センサ４５４は、任意の特定のモジュールではなくシステム１００（図１）の位置における湿度を測定することができる。湿度データをコンピュータ１２４に送信することができ、コンピュータ１２４において、湿度データを用いて第２のＡＩモデル１３０Ｂ（図１）をトレーニングすることができる。
【0074】
温度センサ４５６は、品質チェックモジュール１３２等のモジュールにおける温度を測定し、温度データを生成することができる。いくつかの実施形態では、温度センサ４５６は、モジュール内またはシステム１００（図１）内の構成要素の温度を測定することができる。いくつかの実施形態では、温度センサ４５６は、モジュール内またはシステム１００に近接した周囲空気温度を測定することができる。温度データをコンピュータ１２４に送信することができ、コンピュータ１２４において、温度データを用いて第２のＡＩモデル１３０Ｂ（図１）をトレーニングすることができる。
【0075】
音響センサ４５８は、品質チェックモジュール１３２等のモジュールにおけるノイズを測定し、音響データを生成することができる。いくつかの実施形態では、音響センサ４５８は、システム１００（図１）に近接した周囲ノイズを測定することができる。ノイズは、振動している構成要素によって生成される場合があり、検体２１６に影響を及ぼす場合がある。音響データをコンピュータ１２４に送信することができ、コンピュータ１２４において、音響データを用いて第２のＡＩモデル１３０Ｂ（図１）をトレーニングすることができる。
【0076】
いくつかの実施形態では、品質チェックモジュール１３２においてセンサによって生成されたデータに関連付けられた特性評価は、検体２１６に含まれる溶血（Ｈ）、黄疸（Ｉ）、および／または脂肪血症（Ｌ）の存在および／または程度もしくは度合いを含むことができる。いくつかの実施形態では、特性評価は、検体２１６が正常（Ｎ）であるかどうかを判断することができる。検体２１６が正常（Ｎ）とみなされるには低量のＨ、Ｉおよび／またはＬを含むことが判明した場合、検体２１６はトラック１１２を継続することができ、トラック１１２において、モジュール１０８および／または機器１１０のうちの１つまたはそれ以上によって検体２１６を分析（例えば検査）することができる。検体２１６および／または検体容器２０２に対し他の前処理動作を行うこともできる。
【0077】
いくつかの実施形態では、ＨＩＬＮの検出に加えて、特性評価は、検体容器２０２および／または検体２１６のセグメンテーションを含むことができる。セグメンテーションデータから、検体２１６の定量化のために後処理を用いることができる（すなわち、ＨＳＰ、ＨＳＢ、ＨＴＯＴ、ＨＧ、Ｗの決定、ならびに／または場合によってはＴＣ、ＬＡ、ＳＧ、および／もしくはＢＧの位置の決定）。いくつかの実施形態では、品質チェックモジュール１３２において検体容器２０２の物理的属性（例えば、サイズ（高さおよび／または幅））の特性評価を行うことができる。これらの特性評価から、検体容器２０２のサイズを計算することができる。更に、いくつかの実施形態では、品質チェックモジュール１３２は、キャップ２２０（図２Ａ～図２Ｂ）のタイプを決定することができ、これは、安全性チェックとして用いることができ、検査または注文された検査について誤った管タイプが用いられたかどうかを把握することができる。
【0078】
本明細書に記載の特性評価のうちの１つまたはそれ以上を行うように構成されたＨＩＬＮネットワークアーキテクチャ５００を示す図５を更に参照する。ＨＩＬＮネットワークアーキテクチャ５００は、品質チェックモジュール１３２（図４Ａ～図４Ｂ）によって生成されたデータ、ならびに本明細書に記載の他のデータソース、モジュールおよび機器を操作および／または処理するように実装することができる。ＨＩＬＮネットワークアーキテクチャ５００は、コンピュータ１２４（図１）において実施することができるかまたはコンピュータ１２４によってアクセス可能とすることができるＨＩＬＮネットワーク５０２およびデータベース５０４を含む。ＨＩＬＮネットワーク５０２は、第１のＡＩモデル１３０Ａまたは第２のＡＩモデル１３０ＢとすることができるＡＩモデルによって少なくとも部分的に実施することができる。いくつかの実施形態では、第１のＡＩモデル１３０Ａは、本明細書に記載のように第２のＡＩモデル１３０Ｂに対し連続的に更新または再トレーニングすることができる。第２のＡＩモデル１３０Ｂは、特性評価のために用いられるＡＩモデルの直近のバージョンを指すことができる。このため、第２のＡＩモデル１３０Ｂは、特性評価のために用いられるＡＩモデルの最新バージョンを指すことができる。
【0079】
いくつかの実施形態では、データベース５０４は、コンピュータ１２４のメモリ１２４Ｂ（図１）内に存在することができる。他の実施形態において、データベース５０４はクラウドベースのデータベースとすることができ、例えばインターネットを介して、またはコンピュータ１２４と別個のリモートサーバ／コンピュータ（図示せず）を介してアクセス可能とすることができる。ＨＩＬＮネットワークアーキテクチャ５００は、データベース５０４に記憶された情報によって、連続的であり得るトレーニング更新５０８等のトレーニング更新のフィードバックをＨＩＬＮネットワーク５０２に提供することができる。
【0080】
トレーニング更新５０８に用いられるデータは、データベース５０４に記憶することができる。いくつかの実施形態では、データは、集合的にデータベース５０４と呼ばれる様々なデータベースに記憶することができる。データベースは、非画像センサからの非画像データ５１０、およびテキストデータ５１２を含むことができる。いくつかの実施形態では、非画像データ５１０は、画像データが生成されるのと同時に生成することができる。同様に、テキストデータ５１２は画像データに相関付けることができる。例えば、テキストデータ５１２は、画像データを生成するために取り込まれた検体および／または検体容器に関係付けることができる。トレーニング更新５０８のために用いられるデータは、第１のＡＩモデル１３０Ａをトレーニングするために用いられるオリジナルデータも含むことができる。したがって、更新されたＡＩモデル（第２のＡＩモデル１３０Ｂ）は、第１のＡＩモデル１３０Ａが特性評価するようにトレーニングされた画像を特性評価するように構成することもできる。
【0081】
いくつかの実施形態では、データベース５０４は、低い特性評価信頼性を有する画像の画像データ５１４を含むことができる。例えば、図３を参照すると、３０８において、画像の特性評価信頼性が予め選択された特性評価信頼性を上回っていない場合、３１６に記載のように、低信頼性の特性評価画像の画像データを用いて第２のＡＩモデル１３０Ｂをトレーニングすることができる。この画像データは、ＨＩＬＮネットワーク５０２からデータベース５０４に渡すことができる。上記で説明したように、これらの画像に対応する非画像データ５１０および／またはテキストデータ５１２を用いて、本明細書に記載のように第２のＡＩモデル１３０Ｂをトレーニングすることもできる。
【0082】
トレーニング更新５０８は、低い特性評価信頼性の検出時に、またはユーザのアクションによって、データベース５０４にアクセスしてデータを取得し、定期的にＡＩモデルをトレーニングすることができる。いくつかの実施形態では、トレーニング更新５０８は、第２のＡＩモデル１３０Ｂに迅速に適用することができる。そのような実施形態において、トレーニング更新５０８は、データがデータベース５０４内に受けられる際に行うことができる。いくつかの実施形態では、品質チェックモジュール１３２等のシステム１００（図１）のユーザは、例えば、トレーニング更新５０８を開始させる入力データをＣＩＭ１２６（図１）に入力することができる。例えば、第１のＡＩモデル１３０Ａは、ユーザによる入力に応答して再トレーニングすることができる。
【0083】
いくつかの実施形態では、トレーニング更新５０８は、ユーザによる始動なしで自動的に始動することができる。例えば、ＨＩＬＮネットワーク５０２または他の構成要素が特性評価信頼性を決定することができる。特性評価信頼性が、図３の３０８における予め確立された閾値等の予め確立された閾値を下回っている場合、コンピュータ１２４（図１）または別のデバイスは、本明細書に記載のトレーニング更新５０８を始動することができる。
【0084】
いくつかの実施形態では、トレーニング更新５０８は、コンピュータ１２４（図１）等においてローカルで行うことができ、またはトレーニング更新５０８は、リモートで行い、次にＨＩＬＮネットワーク５０２にダウンロードすることができる。第２のＡＩモデル１３０Ｂは、低い特性評価信頼性を有する画像データを検証／妥当性確認することができる新たに収集されたデータに加えて、検証／妥当性確認データ（例えば、規制当局の承認のために用いられたデータ）に対し検査（妥当性確認）することができる。トレーニング更新５０８は、システム１００（図１）における既存のワークフローを中断することなく行うことができる。
【0085】
いくつかの実施形態では、ＨＩＬＮネットワーク５０２、またはＨＩＬＮネットワーク５０２からデータを受信するプログラムは、第２のＡＩモデル１３０Ｂに関する性能レポートを生成することができる。いくつかの実施形態では、性能レポートは、規制プロセスに準拠することができ、更新されたＨＩＬＮネットワーク５０２の規制当局による承認を促進することができる。いくつかの実施形態では、性能レポートは、第１のＡＩモデル１３０Ａを上回る第２のＡＩモデル１３０Ｂの改善を強調することができる。
【0086】
ＨＩＬＮネットワークアーキテクチャ５００は、品質チェックモジュール１３２に実装し、プログラム１２４Ｃ等、コンピュータ１２４（図１）によって制御することができる。機能ブロック５２０で表されるように、ＨＩＬＮネットワークアーキテクチャ５００を実装する品質チェックモジュール１３２の動作中、検体容器２０２（図２Ａ～図２Ｂ）は、品質チェックモジュール１３２の撮像位置４４２（図４Ａおよび４Ｂ）に提供することができる。検体容器２０２を撮像位置４４２に提供することは、撮像位置４４２で検体容器２０２を含むキャリア２１４（図２Ｂ）を停止させることによって達成することができる。ロボット（図示せず）による配置等、撮像位置４４２に検体容器２０２を配置する他の方法を用いることもできる。
【0087】
機能ブロック５２２に表されるように、１つまたはそれ以上の画像（例えば多視点画像）を、複数の撮像デバイス４４０のうちの少なくとも１つによって取り込むことができる。機能ブロック５２４に表されるように、取り込まれた画像の各々の未加工画像データを、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ｉｍａｇｉｎｇ Ａ Ｓｐｅｃｉｍｅｎ Ｃｏｎｔａｉｎｅｒ ａｎｄ／ｏｒ Ｓｐｅｃｉｍｅｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｅｘｐｏｓｕｒｅｓ」という名称のＷｉｓｓｍａｎｎ他の米国特許出願公開第２０１９／００４１３１８号で論じられているように前処理および統合して、未加工画像データを処理することができる。いくつかの実施形態では、機能ブロック５２４において、未加工画像データは、複数の最適に露出されて正規化された画像データセット（以下「画像データセット」）を含むことができる。機能ブロック５２４における処理により、画像データ５１４（すなわち、ピクセルデータ）を生成することができる。１つまたはそれ以上の実施形態によれば、検体２１６（および検体容器２０２）の取り込まれた画像データセットの画像データは、ＨＩＬＮネットワークアーキテクチャ５００においてＨＩＬＮネットワーク５０２への入力として提供することができる。いくつかの実施形態では、画像データ５１４は未加工画像データとすることができる。
【0088】
ＨＩＬＮネットワーク５０２は、第１のＡＩモデル１３０Ａおよび／または第２のＡＩモデル１３０Ｂを使用して、画像データ５１４に対し、セグメンテーションおよび／またはＨＩＬＮ決定等の特性評価を実行するように構成することができる。第１のＡＩモデル１３０Ａは、第１のＡＩモデル１３０Ａが、第２のＡＩモデル１３０Ｂに対する更新も、第２のＡＩモデル１３０Ｂによる置き換えもされていない状況において用いられる。いくつかの実施形態では、セグメンテーションおよびＨＩＬＮ分類は、セグメンテーション畳み込みニューラルネットワーク（ＳＣＮＮ）によって達成することができる。他のタイプのＨＩＬＮネットワークを採用してセグメンテーションおよび／またはＨＩＬＮ決定を提供することもできる。
【0089】
いくつかの実施形態では、ＨＩＬＮネットワーク５００は、ピクセルレベルの分類を実施することができ、取り込まれた画像のうちの１つまたはそれ以上の詳細な特性評価を提供することができる。この詳細な特性評価は、背景からの検体容器２０２の分離、ならびに検体２１６の血清または血漿部分２１６ＳＰの位置および含有量の決定を含むことができる。いくつかの実施形態では、ＨＩＬＮネットワーク５０２は、各ピクセルの局所的な外観に基づいて画像の各ピクセルに分類指標（例えば、ＨＩＬまたはＮ）を割り当てるように動作可能である。ピクセル指標情報をＨＩＬＮネットワーク５０２によって更に処理して、各ピクセルの最終的なＨＩＬＮ分類指標を決定することができる。
【0090】
いくつかの実施形態では、分類指標は、非遠心分離クラス、正常クラス、および複数のクラス／サブクラスを含む複数の血清クラスを含むことができる。いくつかの実施形態では、分類は、以下でより詳細に述べるように、非遠心分離クラス、正常クラス、および１９のＨＩＬクラス／サブクラスを含む２１の血清クラスを含むことができる。
【0091】
品質チェックモジュール１３２で事前スクリーニングを受ける検体２１６に適切なＨＩＬＮ分類指標を決定する際の１つの問題は、Ｈ、Ｉ、およびＬクラスの各サブクラスの外観の相違が小さいことに起因する場合がある。すなわち、隣接するサブクラスのピクセルデータ値が非常に類似している可能性がある。これらの問題を克服するために、ＨＩＬＮネットワーク５０２のＡＩモデルによって実装することができるＳＣＮＮは、いくつかの実施形態では１００を超える操作層を含むベリーディープセマンティックセグメンテーションネットワーク（ＤＳＳＮ）を含むことができる。
【0092】
検体容器のタイプ（例えば、容器に使用されるガラスまたはプラスチック材料のサイズ、形状、および／またはタイプ）の違いによって引き起こされる場合がある外観の相違を克服するために、ＨＩＬＮネットワーク５０２は、ＤＳＳＮのフロントエンドに、第１のＡＩモデル１３０Ａまたは第２のＡＩモデル１３０Ｂによって実装される容器セグメンテーションネットワーク（ＣＳＮ）を含むこともできる。ＣＳＮは、出力容器タイプを決定するように構成することができ、出力容器タイプは、例えば、検体容器２０２のタイプ、例えば、高さＨＴおよび幅Ｗ（または直径）を示す、ならびに／またはキャップ２２０のタイプおよび／もしくは色を含むことができる。いくつかの実施形態では、ＣＳＮは、ＤＳＳＮと同様のネットワーク構造を有することがあるが、より浅い（すなわち、はるかに少ない層を有する）。ＤＳＳＮは、出力境界セグメンテーション情報５２０を決定するように構成することができ、出力境界セグメンテーション情報５２０は、血清または血漿部分２１６ＳＰ、沈降血液部分２１６ＳＢ、ゲル分離器２１６Ｇ、空気２２４、およびラベル２２２の位置およびピクセル情報を含むことができる。
【0093】
ＨＩＬＮネットワーク５０２によって特性評価される検体のＨＩＬＮ決定は、いくつかの実施形態では、非遠心分離クラス５２２Ｕ、正常クラス５２２Ｎ、溶血クラス５２２Ｈ、黄疸クラス５２２Ｉ、および脂肪血症クラス５２２Ｌを含むことができる分類指標５２８とすることができる。いくつかの実施形態では、溶血クラス２２０Ｈは、サブクラスＨ０、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、およびＨ６を含むことができる。黄疸クラス５２２Ｉは、サブクラスＩ０、Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５、およびＩ６を含むことができる。脂肪血症クラス５２２Ｌは、サブクラスＬ０、Ｌ１、Ｌ２、Ｌ３、およびＬ４を含むことができる。溶血クラス５２２Ｈ、黄疸クラス５２２Ｉ、および／または脂肪血症クラス５２２Ｌの各々は、いくつかの実施形態では、他の数のより詳細なサブクラスを有する場合がある。
【0094】
取り込まれた画像、非画像データ５１０、および不正確なまたは低信頼性の特性評価を有する撮像のテキストデータ５１２は、データベース５０４に転送（およびいくつかの実施形態では暗号化）することができる。様々なアルゴリズムおよび／または技法を用いて、不正確な特性評価を識別する、および／または特性評価の信頼性（すなわち、特性評価決定の正確度の予測）を決定することができる。いくつかの実施形態では、不正確なまたは低信頼性の決定は、ＨＩＬＮ決定が不正確である、または正確である確率が低いという決定である。本明細書において用いられるとき、不正確な特性評価とは、対応する特性評価の信頼性が低いことに起因してＨＩＬＮ決定が不適切であることを意味する。ＨＩＬＮクラスまたはクラス指標の低い特性評価信頼性の決定がある実施形態では、低い特性評価信頼性は、例えば０．９未満の特性評価信頼水準の使用に基づく場合がある。この特性評価信頼水準の制限は、ユーザが事前に設定することも、規制要件に基づいて決定することもできる。
【0095】
いくつかの実施形態では、不正確なまたは低い特性評価信頼性の決定は、セグメンテーション決定が不正確であるまたは低信頼性を有するという決定である。特に、セグメンテーションの不正確な決定は、低い特性評価信頼性を有する、または１つもしくはそれ以上の他の領域に対し特定の順序にない、血清もしくは血漿部分２１６ＳＰ、ゲル分離器２１６Ｇ、または沈降血液部分２１６ＳＢ等の領域の識別を含むことができる。例えば、キャップ２２０は、血清または血漿部分２１６ＳＰの上にあることを期待することができ、ゲル分離器２１６Ｇは血清または血漿部分２１６ＳＰの下にあることができる。この相対的位置決めが満たされていない場合、セグメンテーション中にエラーが発生した場合がある。
【0096】
セグメンテーションまたは他のプロセスの低い特性評価信頼性の決定は、セグメント化されたピクセル（またはスーパーピクセル内のピクセルの集合、例えば、１１ピクセル等のピクセルの集合）ごとの確率スコアを検討することを含むことができる。ピクセルの領域の特定の分類（例えば血清または血漿部分２１６ＳＰ）を示す確率スコアの不一致が大きすぎる場合、そのセグメント化されたピクセルは低い特性評価信頼性に関する候補となる可能性が高い。セグメント化されている領域（例えば血清または血漿部分２１６ＳＰで分類された領域）のピクセル（またはスーパーピクセル）の確率スコアを集計して、領域が大きすぎる不一致を含むかどうかを判断することができる。この場合、特性評価信頼水準が予め選択された値（例えば０．９）未満である場合、その領域は低い特性評価信頼性の試料の候補となる可能性が高い。領域に関する他の適切な集計された特性評価信頼水準を用いることもできる。
【0097】
不正確なまたは低い特性評価信頼性に基づいて、コンピュータ１２４（図１）は、トレーニング更新５０８（例えば追加のトレーニング画像）を自動的におよび／またはユーザ入力と連動して開始することができる。いくつかの実施形態では、トレーニング更新５０８は、低い特性評価信頼性を有する画像を手動でアノテーションすることができる。画像の手動でのアノテーションは、それぞれのトレーニング画像内の少なくとも血清または血漿部分２１６ＳＰ、および／または沈降血液部分２１６ＳＢ、空気２２４、キャップ２２０、ラベル２２２、およびゲル分離器２１４Ｇを図で示すことを含むことができる。トレーニング画像の手動でのアノテーションは、ＨＩＬＮ分類を割り当てることを含むことができ、血清または血漿部分２１６ＳＰに指標値を割り当てることも含むことができる。他の実施形態では、トレーニング更新５０８は、不正確であるかまたは低い特性評価信頼性を有すると判断された検体特性評価の画像の自動生成されたアノテーションを備えることができる。自動アノテーションは、例えば、半教師あり学習手法、ブートストラップ、または事前にトレーニングされたセグメンテーション／分類アルゴリズムの使用によって提供することができる。
【0098】
トレーニング更新５０８は、（例えばインターネットまたは物理的媒体を介して）ＨＩＬＮネットワーク５０２に組み込むことができる。いくつかの実施形態では、トレーニング更新５０８は、第１のＡＩモデル１３０Ａに適用される更新とすることができ、他の実施形態では、トレーニング更新５０８は、本明細書に記載の新たなＡＩモデル（例えば、第２のＡＩモデル）を生成することができる。ＨＩＬＮネットワーク５０２へのトレーニング更新５０８の組込みは、コンピュータ１２４（図１）の制御下で、または（図１の）ＣＩＭ１２６を介したプロンプトにより、自動的に行うことができる。第２のＡＩモデル１３０Ｂは、新たに収集された画像データ５１４、非画像データ５１０、および／またはテキストデータ５１２に加えて、規制当局の承認のために用いられた検証／妥当性確認データに対し検査（例えば、妥当性確認）される。次いで、コンピュータ１２４は、例えば規制プロセスからの性能基準に準拠した性能レポートを生成することができ、第１のＡＩモデル１３０Ａに対する改良を強調することができる。この性能基準に基づいて、ユーザは更新を承認することができる。これらの更新は、既存のワークフローを中断することなく行うことができる。いくつかの実施形態では、更新はサービス技術者によって実施することができ、またはインターネットを介して遠隔で行うことができる。
【0099】
自動診断システム（例えば、自動診断システム１００）における検体容器（例えば、検体容器２０２）または検体（例えば検体２１６）を特性評価する方法６００を示すフローチャートを示す図６を更に参照する。方法６００は、６０２において、撮像デバイス（例えば、撮像デバイス４４０のうちの１つまたはそれ以上）を使用して検体を含む検体容器の画像を取り込むことを含む。方法６００は、６０４において、第１のＡＩモデル（例えば第１のＡＩモデル１３０Ａ）を使用して画像を特性評価することを含む。方法６００は、６０６において、画像の特性評価信頼性が予め選択された閾値を下回っているかどうかを判断することを含む。方法６００は、６０８において、第２のＡＩモデル（例えば、第２のＡＩモデル１３０Ｂ）に対し、少なくとも、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のモデルを再トレーニングすることを含み、再トレーニングは、以下のグループ：非画像データ（例えば非画像データ５１０）およびテキストデータ（例えばテキストデータ５１２）のうちの１つまたはそれ以上から選択されたデータを含む。
【0100】
自動診断システム（例えば自動診断システム１００）における検体（例えば検体２１６）を特性評価する方法７００を示すフローチャートを示す図７を更に参照する。方法７００は、７０２において、撮像デバイス（例えば、撮像デバイス４４０のうちの１つまたはそれ以上）を使用して検体（例えば、検体２１６）の画像を取り込むことを含む。方法７００は、７０４において、第１のＡＩモデルを使用して画像を特性評価して、溶血、黄疸または脂肪血症のうちの少なくとも１つの存在を決定することを含む。方法７００は、７０６において、溶血、黄疸または脂肪血症のうちの少なくとも１つの存在の決定特性評価の信頼性が予め選択された閾値を下回っているかどうかを判断することを含む。方法７００は、７０８において、第２のＡＩモデル（例えば、第２のＡＩモデル１３０Ｂ）に対し、少なくとも、予め選択された閾値を下回る特性評価信頼性を有する画像を用いて第１のモデルを再トレーニングすることを含み、再トレーニングは、以下のグループ：非画像データ（例えば非画像データ５１０）およびテキストデータ（例えばテキストデータ５１２）のうちの１つまたはそれ以上から選択されたデータを含む。
【0101】
本開示は、様々な変形および代替の形態を受け入れる余地があるが、特定の方法および装置の実施形態は、図面に例として示されており、本明細書において詳細に説明される。しかし、本明細書に開示される特定の方法および装置は、本開示を限定することを意図するものではなく、逆に、特許請求の範囲内にある全ての修正形態、均等形態、および代替形態を網羅することを意図するものであることを理解されたい。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【国際調査報告】