▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-15
(45)【発行日】2022-11-24
(54)【発明の名称】視覚化分析装置および視覚的学習方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20221116BHJP
G06T 7/00 20170101ALI20221116BHJP
G01N 15/05 20060101ALI20221116BHJP
【ＦＩ】
G01N21/27 A
G06T7/00 350C
G01N15/05
【請求項の数】
21
(21)【出願番号】P 2021515516
(86)(22)【出願日】2019-09-19
(65)【公表番号】
(43)【公表日】2022-01-06
(86)【国際出願番号】 US2019052011
(87)【国際公開番号】W WO2020061368
(87)【国際公開日】2020-03-26
【審査請求日】2021-06-18
(31)【優先権主張番号】62/733,972
(32)【優先日】2018-09-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】508147326
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
(74)【代理人】
【識別番号】100127926
【弁理士】
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100140132
【弁理士】
【氏名又は名称】竹林 則幸
(72)【発明者】
【氏名】ラヤル・ラジュ・プラサド・ナラム・ヴェンカット
(72)【発明者】
【氏名】ベンジャミン・エス・ポラック
(72)【発明者】
【氏名】イャオ－ジェン・チャン
(72)【発明者】
【氏名】ヴィヴィック・シンフ
(72)【発明者】
【氏名】ヴェンカテッシュ・ナラシムハムルシー
【審査官】小澤 瞬
(56)【参考文献】
【文献】国際公開第２０１８／０２２２８０（ＷＯ，Ａ１）
【文献】特開２０１７－１９９３８８（ＪＰ，Ａ）
【文献】Learning Deep Features for Discriminative Localization，2016 IEEE Conference on Computer Vision and Pattern Recognition，2016年，pp.2921-2929
【文献】Interpretable Explanations of Black Boxes by Meaningful Perturbation，2017 IEEE International Conference on Computer Vision，2017年，pp.3449-3457
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ １５／００ － Ｇ０１Ｎ １５／１４
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１
Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／６１
Ｇ０１Ｎ ３５／００ － Ｇ０１Ｎ ３７／００
Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０
Ｇ０６Ｖ １０／００ － Ｇ０６Ｖ ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
標本容器の物体を識別する方法であって：標本容器の１つまたはそれ以上の画像を取り込む工程であって、１つまたはそれ以上の画像は、標本容器の１つまたはそれ以上の物体を含み、複数の画素から画素データが生成される、工程と；
１つまたはそれ以上のニューラルネットワークを使用して、１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；
標本容器の画像を表示する工程と；
標本容器の表示された画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を輪郭抽出する工程と
を含む前記方法。
【請求項2】
１つまたはそれ以上の選択された物体は、キャップ、エアギャップ、血清または血漿部分、沈降血液部分、およびゲルセパレータのうちの少なくとも１つである、請求項１に記載の方法。
【請求項3】
１つまたはそれ以上の選択された物体を識別する工程は、セグメント化ネットワークおよび分類ネットワークのうちの少なくとも１つによって少なくとも部分的に行われる、請求項１に記載の方法。
【請求項4】
１つまたはそれ以上の画像を複数の画素クラスにセグメント化する工程をさらに含み、表示する工程は、標本容器に対して１つまたはそれ以上の画素クラスを構成する１つまたはそれ以上の画素の１つまたはそれ以上の位置を示す画像を表示することを含む、請求項１に記載の方法。
【請求項5】
表示する工程は、標本容器を少なくとも部分的に表す画像を表示することを含む、請求項１に記載の方法。
【請求項6】
輪郭抽出は、標本容器を少なくとも部分的に表す画像の上に、１つまたはそれ以上の物体を表す１つまたはそれ以上の画像をオーバーレイすることを含み、１つまたはそれ以上の物体の位置は、標本容器を少なくとも部分的に表す画像に対する物体それぞれの画素の位置にある、請求項５に記載の方法。
【請求項7】
１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程は、キャップを識別することを含む、請求項１に記載の方法。
【請求項8】
キャップの色を識別する工程をさらに含む、請求項７に記載の方法。
【請求項9】
１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程は、ラベルを識別することを含む、請求項１に記載の方法。
【請求項10】
ラベルを読み取る工程をさらに含む、請求項９に記載の方法。
【請求項11】
ラベルの物理的状態を識別する工程をさらに含む、請求項９に記載の方法。
【請求項12】
１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程は、血清または血漿部分を識別することを含む、請求項１に記載の方法。
【請求項13】
血清または血漿領域内の干渉物を同定する工程をさらに含む、請求項１２に記載の方法。
【請求項14】
血清または血漿領域中の溶血、黄疸、または脂肪血症のうちの少なくとも１つを同定する工程をさらに含む、請求項１２に記載の方法。
【請求項15】
１つまたはそれ以上の選択された物体を識別する工程は、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された１つまたはそれ以上の画素に信頼性勾配を割り当てることを含み、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置の輪郭抽出は、標本容器の画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された１つまたはそれ以上の画素の信頼性勾配を示す１つまたはそれ以上の画像を表示することを含む、
請求項１に記載の方法。
【請求項16】
活性化マップを生成し、輪郭抽出は、標本容器の画像上に活性化マップをオーバーレイする工程を含む、請求項１に記載の方法。
【請求項17】
品質チェックモジュールであって：１つまたはそれ以上の視点から標本容器の１つまたはそれ以上の画像を取り込むように動作可能な１つまたはそれ以上の画像取込みデバイスであって、１つまたはそれ以上の画像を取り込むことにより、複数の画素から画素データが生成される、１つまたはそれ以上の画像取込みデバイスと；
１つまたはそれ以上の画像取込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
１つまたはそれ以上のニューラルネットワークを使用して、標本容器の１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；
標本容器の画像を表示する工程と；
標本容器の表示された画像上に、１つまたはそれ以上の選択された物体を識別するた
めに１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を輪郭抽出する工程と
を行うように構成され動作可能である、前記品質チェックモジュール。
【請求項18】
１つまたはそれ以上の選択された物体は、キャップ、エアギャップ、血清または血漿部分、沈降血液部分、およびゲルセパレータのうちの少なくとも１つである、請求項１７に記載の品質チェックモジュール。
【請求項19】
コンピュータは、活性化マップを生成するように動作可能である、請求項１７に記載の品質チェックモジュール。
【請求項20】
コンピュータは、標本容器の画像の上に活性化マップをオーバーレイして、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を輪郭抽出するように動作可能である、請求項１９に記載の品質チェックモジュール。
【請求項21】
標本試験装置であって：トラックと；
トラック上で可動であり、標本の血清または血漿部分を含む標本容器を含むように構成されたキャリアと；
トラックの周囲に配置されて、１つまたはそれ以上の視点から標本容器および標本の血清または血漿部分の１つまたはそれ以上の画像を取り込むように動作可能である複数の画像取込みデバイスであって、画像を取り込むことにより、複数の画素から画素データが生成される、複数の画像取込みデバイスと；
複数の画像取込みデバイスに連結されたコンピュータとを含み、該コンピュータは：
１つまたはそれ以上のニューラルネットワークを使用して、標本容器の１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；
標本容器の画像を表示する工程と；
標本容器の表示された画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を輪郭抽出する工程と
を行うように構成され動作可能である、前記標本試験装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０１８年９月２０日出願の「ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＦＯＲ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＴＯＯＬ」という名称の米国特許仮出願第６２／７３３，９７２号の優先権を主張するものであり、その全体をあらゆる目的で参照により本明細書に組み込む。
本出願は、２０１８年９月２０日出願の「ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＦＯＲ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＴＯＯＬ」という名称の米国特許仮出願第６２／７３３，９７２号の優先権を主張するものであり、その全体をあらゆる目的で参照により本明細書に組み込む。
【0002】
本開示の実施形態は、自動診断分析システムにおいて標本を特性評価するための方法および装置に関する。
【背景技術】
【0003】
自動診断分析システムは、１つまたはそれ以上の試薬を使用してアッセイまたは臨床化学分析を行い、生体液標本（例えば、遠心分離された全血サンプルの血清または血漿部分）中の分析物または他の成分を同定することができる。自動試験技術の改良は、分析前の標本の調製および取扱いの相応の進歩によって達成されている。そのような調整および取扱いは、例えば、実験室自動システム（ＬＡＳ）と呼ばれる自動標本調製システムによる、選別、バッチ調製、標本成分を分離するための標本容器の遠心分離、液体へのアクセスを容易にするためのキャップの取外し、ＨＩＬＮ（溶血、黄疸、または脂肪血症、または正常）決定などのための事前スクリーニングなどである。ＬＡＳはまた、標本容器内の標本をいくつかの標本処理ステーションに自動的に輸送することができ、そこで様々な操作（例えば分析前および／または分析試験）が行われる。
【0004】
自動事前スクリーニングは、自動マシンビジョン検査装置によって行われる。ＨＩＬＮ事前スクリーニングは、分画された全血標本（例えば、遠心分離された標本）中の血清または血漿部分中のＨ、Ｉ、および／またはＬなどの干渉物の自動検出を含む。また、事前スクリーニングは、１つまたはそれ以上の成分（例えば、血清もしくは血漿部分または沈降赤血球部分）の体積、標本容器の管タイプおよび／またはサイズ、管のキャップの有無、キャップタイプ、標本容器のラベルのステータス、および他の決定を含むこともある。
【発明の概要】
【課題を解決するための手段】
【0005】
第１の態様では、標本容器の物体を識別する方法が提供される。この方法は、標本容器の１つまたはそれ以上の画像を取り込む工程であって、１つまたはそれ以上の画像は、標本容器および標本の１つまたはそれ以上の物体を含み、複数の画素から画素データが生成される、工程と；１つまたはそれ以上のニューラルネットワークを使用して、１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；標本容器の画像を表示する工程と；標本容器の画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を表示する工程と、を含む。
【0006】
第２の態様では、品質チェックモジュールが提供される。品質チェックモジュールは、１つまたはそれ以上の視点から標本容器の１つまたはそれ以上の画像を取り込むように動作可能な１つまたはそれ以上の画像取込みデバイスであって、１つまたはそれ以上の画像を取り込むことにより、複数の画素から画素データが生成される、１つまたはそれ以上の画像取込みデバイスと、１つまたはそれ以上の画像取込みデバイスに連結されたコンピュータとを含む。このコンピュータは、１つまたはそれ以上のニューラルネットワークを使用して、標本容器の１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；標本容器の画像を表示する工程と；標本容器の画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を表示する工程と、を行うように構成され動作可能である（動作され得る）。
【0007】
別の態様では、標本試験装置が提供される。標本試験装置は、トラックと；トラック上で可動であり、標本の血清または血漿部分を含む標本容器を含むように構成されたキャリアと；トラックの周囲に配置されて、１つまたはそれ以上の視点から標本容器および標本の血清または血漿部分の１つまたはそれ以上の画像を取り込むように動作可能である複数の画像取込みデバイスであって、１つまたはそれ以上の画像を取り込むことにより、複数の画素を含む画素データが生成される、複数の画像取込みデバイスと、複数の画像取込みデバイスに連結されたコンピュータとを含む。このコンピュータは、１つまたはそれ以上のニューラルネットワークを使用して、標本容器の１つまたはそれ以上の物体から１つまたはそれ以上の選択された物体を識別する工程と；標本容器の画像を表示する工程と；標本容器の画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を表示する工程と、を行うように構成され動作可能である。
【0008】
以下に述べる図面は、例示目的であり、必ずしも一定の縮尺で描かれているわけではない。したがって、図面および説明は、本質的に例示とみなされるべきであり、限定とみなされるべきではない。図面は、本開示の範囲を限定することを何ら意図されていない。
【図面の簡単な説明】
【0009】
【図1A】１つまたはそれ以上の実施形態による視覚的（光学的）分析方法を実行するように構成された１つまたはそれ以上の品質チェックモジュールを含む標本試験装置の概略上面図である。
【図1B】１つまたはそれ以上の実施形態による、標本容器の複数の視点を含み、標本容器の複数のバックライト照明された画像を取り込み分析するように構成された品質チェックモジュール（上部が取り外されている）の概略上面図である。
【図2A】１つまたはそれ以上の実施形態による、血清または血漿部分と沈降血液部分とを含む分離された標本を含むキャップ付きの標本容器の側面図である。
【図2B】１つまたはそれ以上の実施形態による、血清または血漿部分と沈降血液部分とを含む分離された標本を含む、キャリア内に位置するキャップ付きの標本容器の側面図である。
【図3】１つまたはそれ以上の実施形態による、品質チェックモジュールにおける画像取込みデバイスによって生成された画素データに対してコンピュータによって実施される処理を示す流れ図である。
【図5C】１つまたはそれ以上の実施形態による、オーバーレイされた活性化マップを伴う標本容器の画像を含む表示される画像を示す図であって、アルゴリズムが、取り込まれた画像の正しい領域を使用してキャップを識別した図である。
【図5D】１つまたはそれ以上の実施形態による、オーバーレイされた活性化マップを伴う標本容器の画像を含む表示される画像を示す図であって、アルゴリズムが、取り込まれた画像の正しくない領域を使用してキャップを識別した図である。
【図6】１つまたはそれ以上の実施形態による、画像をセグメント化する方法の装置および機能流れ図である。
【図7】特性評価方法を説明する装置および機能流れ図であって、標本容器の画像内の多くの物体が１つまたはそれ以上の実施形態に従って特性評価または分類される図である。
【図8】１つまたはそれ以上の実施形態による別の特性評価方法を説明する流れ図である。
【発明を実施するための形態】
【0010】
自動診断分析システムは、尿、血清、血漿、間質液、脳脊髄液などの標本中の分析物または他の成分を同定するために、１つまたはそれ以上の試薬を使用してアッセイまたは臨床化学分析を行うことができる。そのような標本は通常、標本容器（例えば標本採取管）に含まれる。試験反応は様々な変化を生み出し、それらの変化は、標本中に存在する分析物または他の成分の濃度を決定するために読み取られるかつ／または操作される。
【0011】
いくつかの試験では、（遠心分離によって全血から得られる）血清または血漿部分などの生体液が分析される。標本が全血である場合、ゲルセパレータが標本容器に加えられて、血清または血漿部分からの沈降血液部分の分離を助ける。血清または血漿部分と標本容器の上部との間には、真空またはエアギャップなどの空隙がある。標本容器は管でよく、特定の色または他のキャップ識別子を有する特定のタイプのキャップが被されていることも、または被されていないこともある。さらに、標本容器は、例えば自動診断分析システム全体を通して様々な位置に標本容器を輸送する標本キャリア内に位置する。
【0012】
前処理操作中、標本容器および／または中にある標本の特定の特性を決定するために標本容器が分析される。前処理は、光学系および人工知能を使用して標本容器および／または中にある標本の特性を決定するマシンビジョン検査を含むことがある。１つまたはそれ以上の画像取込みデバイスは、標本容器の１つまたはそれ以上の画像を取り込み、標本容器の画像を表す画素データ（例えば画像データ）を生成することができる。コンピュータが画素データを受信し、画像をセグメント化することができる。セグメント化は、標本（例えば血清または血漿部分、沈降血液部分、ゲルセパレータ）、標本容器（例えば管）、および／または標本容器に付いているキャップなど、画像に含まれる物体に対応することがある１つまたはそれ以上のクラスに画素を分類することを含むことがある。画素クラスは、標本容器の異なる物体に対応することがある。例えば、第１の画素クラスは、標本容器のキャップを識別するために１つまたはそれ以上のニューラルネットワークによって使用され、第２の画素クラスは、標本の血清または血漿部分を識別するために１つまたはそれ以上のニューラルネットワークによって使用される。
【0013】
畳み込みニューラルネットワーク（ＣＮＮ）または他の適切なニューラルネットワークなどのニューラルネットワーク（例えば、訓練されたニューラルネットワーク）は、様々な画素クラスを分析して、標本容器および／または中にある標本の特性を決定することができる。上述した例に関して、ニューラルネットワークは、第１の画素クラスを分析し、標本容器にキャップが付いているかどうかを決定することができる。キャップが付いている場合、ニューラルネットワークは、キャップの色および／またはキャップのタイプをさらに決定することがある。ニューラルネットワークは、第２の画素クラスを分析し、それらの画素が標本の血清または血漿部分であると決定することができる。ニューラルネットワークは、第２の画素クラスをさらに分析して、血清または血漿部分が溶血、黄疸、および／もしくは脂肪血症を含むか、または正常であるかを決定することができる。画素データの分析に基づいて、マシンビジョン検査装置は、標本および／または標本容器の特性を識別する特定の情報を出力することができる。
【0014】
検査技師などのユーザは、マシンビジョン検査装置によって生成された情報を受け取ることがある。従来のシステムでは、自動機械検査装置は、自動検査装置によって下された決定に関する出力情報をユーザに提供するだけであり、決定がどのように導出されたかについての基準を提供しないという点でブラックボックス構造である。したがって、ユーザは、自動機械検査装置による決定がどのように行われるかについて確信できないことがある。例えば、従来のマシンビジョン検査装置は、標本および／または標本容器の特性のみを出力し、特性を導出するために使用される分析に関する情報は出力しない。したがって、ユーザは、マシンビジョン検査が到達した決定が実際に正しいことを確信できないことがある。
【0015】
これらの欠点に鑑みて、本明細書で開示されるマシンビジョン検査装置および方法は、標本および／または標本容器の特性がどのように決定されたかに関する情報を提供する。したがって、ユーザは、マシンビジョン検査装置が、標本および／または標本容器の特性を決定したときに画像の正しい部分を分析したことを確信することができる。本明細書で開示されるマシンビジョン検査装置および方法は、標本および／または標本容器の特性を決定するために使用される画素クラスの位置に関する視覚的情報を提供することができる。例えば、マシンビジョン検査装置は、標本容器を少なくとも部分的に表す画像を表示することができる。表示される画像は、取り込まれた画像内で、識別された物体の領域に対応する輪郭描出された領域を含むことがある。取り込まれた画像内には、様々な画素クラスが位置する。いくつかの実施形態では、表示される画像は、画素の異なる色、画素の異なる強度、または元の画像内の特定の物体を識別するために装置によって使用された元の画像内の画素の位置に対応する他の適切なマーキング（例えば、点線または色付きの境界線、ハッチング、陰影など）を含むことがある。
【0016】
いくつかの実施形態では、マシンビジョン検査装置は、活性化マップを生成することがあり、活性化マップは、画像内の各画素が物体の識別などの決定を行うためにどれほど重要であったかに関するスコアを提供することができる画像である。いくつかの実施形態では、活性化マップは、識別中に使用される画素の位置を提供することがある。活性化マップは、顕著性マップ、学習された特徴の視覚化、オクルージョンマップ、およびクラス活性化マップと呼ばれることがある。いくつかの実施形態では、活性化マップで表される画素の明るさは、決定を行う際の画素の有用性に依存している。例えば、活性化マップ内のより明るい画素は、より有用な情報を提供する画素でよく、より暗い画素は、あまり有用でない情報を提供するか、または情報を提供しない画素でよい。いくつかの実施形態では、活性化マップとオーバーレイされた標本容器の画像が、ユーザのために表示される。
【0017】
上述した例を参照すると、いくつかの実施形態では、表示される画像は、第１の画素クラスが位置する場所を示す第１の強調表示されたまたは他の形で輪郭描出された領域を含むことがある。第１の例では、第１の画素クラスは、標本容器のキャップ領域に位置する。したがって、表示される画像のキャップ領域は、第１の画素クラスがキャップ領域にあり、それらの特定の画素からキャップ特性が導出されたことを示すために輪郭描出されるか、または他の形で区別される。別の表示される画像は、第２の画素クラスの物理的位置を示す第２の輪郭描出された領域を含むことがある。この例では、第２の画素クラスは、標本の血清または血漿領域に位置させることができる。したがって、表示される画像の血清または血漿部分は、第２の画素クラスが表示される画像の血清または血漿領域にあることを示すために輪郭描出される。画像の輪郭描出部分は、その物体を強調表示する何らかの特徴によって画像の他の部分と容易に区別可能な画像の部分である。それぞれの部分の輪郭描出（例えば、輪郭描出された物体）は、画像の一部分を着色するまたは暗くすることを含むことがあり、これは例えば、暗くされた（例えば太線にされた）もしくは着色された境界を提供することによって、ハッチングの塗りつぶしパターンもしくは他の塗りつぶしパターンなど画像の一部分の塗りつぶしを提供することによって、または画像の一部分のみを表示し、一意の色を提供し、かつ/もしくは一意の陰影などを使用することによって行われる。輪郭描出は、表示される画像に任意の適切なグラフィックを重ね合わせる、または一部をグラフィックで置換することによって達成される。いくつかの実施形態では、それぞれの部分の輪郭描出は、点滅するか、または別の形で強度が変化することがある。
【0018】
他の実施形態では、輪郭描出された画像は、元の画像または元の画像の表現にオーバーレイされた活性化マップを含むことがある。より明るい画素などの異なる画素強度が、決定および／または識別を行うのにより有用であった画素を示すことがある。いくつかの実施形態では、より明るい画素、またはより明るい画素からなる領域が、画像の輪郭描出部分を構成する。
【0019】
表示される画像の輪郭描出部分は、マシンビジョン検査装置が、標本容器の物体または標本容器に含まれる物体の特性および／または位置に関する決定を行ったときに画像の正しい部分を分析したという確信をユーザに与える。例えば、表示される画像は、マシンビジョン検査装置がキャップに関する情報、例えばキャップの色、および場合によってはその色が表す意味、および／またはキャップタイプを提供するとき、標本容器のキャップ領域を輪郭描出することがある。このとき、ユーザは、マシンビジョン検査装置がキャップを識別したときに、血清または血漿領域、エアギャップ、または別の幾何学的特徴など他の領域を分析しなかったことを確信する。
【0020】
特性評価および視覚的検証方法、特性評価および視覚的検証方法を実施するように構成された装置、システム、および品質チェックモジュール、ならびに１つまたはそれ以上の品質チェックモジュールを含む標本試験装置のさらなる詳細を、図１Ａ～８を参照して本明細書でさらに述べる。
【0021】
ここで、図１Ａ～１Ｃを参照する。図１Ａは、標本１０６（図１Ｃ）を含む複数の標本容器１０４を自動的に処理することが可能な標本試験装置１００を示す。図１Ｂは、１つまたはそれ以上の実施形態による、標本容器１０４の複数の視点を含み、標本容器１０４の複数の画像を取り込み分析するように構成された品質チェックモジュール１０２（上部が取り外されている）の概略上面図を示す。図１Ｃは、１つまたはそれ以上の実施形態による、図１Ｂの断面線１Ｃ－１Ｃに沿って取られた図１Ｂの品質チェックモジュール１０２（エンクロージャ前壁が取り外された状態）の概略側面図を示す。標本容器１０４は、装填エリア１１０で１つまたはそれ以上のラック１０８に提供された後、標本試験装置１００の周りに配置された１つまたはそれ以上の分析器（例えば、第１の分析器１１２、第２の分析器１１４、および／または第３の分析器１１６）に輸送され、分析器によって分析される。より多数またはより少数の分析器を使用してもよい。分析器は、臨床化学分析器および／またはアッセイ機器などの任意の組合せでよい。他の適切な処理デバイスも、標本試験装置１００に提供される。標本容器１０４は、標本１０６を含むことができ、含まれる標本１０６の撮像を可能にすることができる、採血管、試験管、試料カップ、キュベット、または他の透明もしくは不透明のガラスもしくはプラスチック容器など任意の適切な透明または半透明の容器でよい。標本容器１０４は、様々なサイズ（例えば高さおよび／または直径）でよい。
【0022】
より詳細には、標本試験装置１００は、トラック１２２が取り付けられるまたは支持される基部１２０（例えば、フレーム、フロア、または他の構造）を含むことがある。トラック１２２は、レール式トラック（例えばモノレールまたはマルチレール）、コンベアベルトの集合、コンベアチェーン、可動プラットホーム、または任意の他の適切なタイプの搬送機構でよい。トラック１２２は、円形または任意の他の適切な形状でよく、いくつかの実施形態では、閉じたトラック（例えばエンドレストラック）でよい。トラック１２２は、動作時、個々の標本容器１０４を、キャリア１２４のトラック１２２の周りで離間された様々な位置に輸送することができる。
【0023】
キャリア１２４は、トラック１２２上で標本容器１０４を搬送するように構成されたモータのない受動パックでよく、または場合により、トラック１２２の周りを動き、事前プログラムされた位置で停止するようにプログラムされたリニアモータなどの搭載型ドライブモータを含む自動キャリアでよい。キャリア１２４の他の構成を使用してもよい。いくつかの実施形態では、キャリア１２４は、１つまたはそれ以上のラック１０８から装填解除された後、装填エリア１１０から出ることがある。装填エリア１１０は、事前スクリーニングおよび／または分析が完了した後、標本容器１０４をキャリア１２４から装填エリア１１０へ再装填することも可能にする二重の機能を果たすことができる。あるいは、標本容器１０４は廃棄される。
【0024】
ロボット１２６が装填エリア１１０に提供され、１つまたはそれ以上のラック１０８から標本容器１０４を把持して、キャリア１２４、例えばトラック１２２の投入レーンに標本容器１０４を装填するように構成される。また、ロボット１２６は、標本容器１０４をキャリア１２４から１つもしくはそれ以上のラック１０８へ再装填する、または標本容器１０４を廃棄するように構成される。ロボット１２６は、Ｘ（横方向）およびＺ（垂直方向－図示されるように紙面外へ）、またはＸ、Ｙ、およびＺ、またはｒ（径方向）およびＺ（垂直方向）、θ（回転方向）およびＺ（垂直方向）の運動が可能な１つまたはそれ以上（例えば少なくとも２つ）のロボットアームまたは構成要素を含むことがある。ロボット１２６は、ガントリロボット、関節式ロボット、Ｒ－θ型ロボット、θ－Ｚ型ロボット、または他の適切なロボットでよく、ロボット１２６は、標本容器１０４を持ち上げて配置するように向けられ、サイズ設定され、構成されたロボットグリッパフィンガを含むこともある。
【0025】
トラック１２２に装填されると、キャリア１２４によって搬送される標本容器１０４は、前処理モジュール１３０としての１つまたはそれ以上の前処理モジュールに進むことができる。例えば、前処理モジュール１３０は、標本１０６の分画を実施するように構成された自動遠心分離器でよい。標本容器１０４を搬送するキャリア１２４は、流入レーンまたは他の適切なロボットによって前処理モジュール１３０へ偏向される。遠心分離された後、標本容器１０４は、流出レーンに出るか、または別の方法でロボットによって取り出され、トラック１２２に沿って進み続けることができる。図示される実施形態では、次に、キャリア１２４にある標本容器１０４は、本明細書においてさらに述べるように、事前スクリーニングを実施するために品質チェックモジュール１０２へ輸送される。追加のステーションが、トラック１２２上のまたはトラック１２２に沿った１つまたはそれ以上の位置に設けられる。追加のステーションは、キャップ取外しステーション、アリコートステーション、１つまたはそれ以上の前処理モジュール１３０、１つまたはそれ以上の追加の品質チェックモジュール１０２などを含むことがある。
【0026】
標本試験装置１００は、トラック１２２の周囲の１つまたはそれ以上の位置に複数のセンサ１３２を含むことがある。センサ１３２は、識別情報２３４ｉ（図２Ａ）または各標本容器１０４に提供される類似の情報（図示せず）を読み取ることによってトラック１２２上での標本容器１０４の位置を検出するために使用される。近接センサ、ＲＦＩＤセンサなど、位置を追跡するための任意の適切な手段を使用することができる。各標本容器１０４の位置が常に分かっているように、すべてのセンサ１３２が、コンピュータ１３６とインターフェースすることができる。
【0027】
前処理ステーションおよび分析器１１２、１１４、および１１６は、トラック１２２からキャリア１２４を取り出すように構成されたロボット機構および／または流入レーンと、トラック１２２にキャリア１２４を再び入れるように構成されたロボット機構および／または流出レーンとを含むことができる。
【0028】
標本試験装置１００は、コンピュータ１３６によって制御され、コンピュータ１３６は、適切なメモリと、様々なシステム構成要素を操作するための適切な調整電子回路およびドライバとを有する、マイクロプロセッサベースの中央演算処理装置（ＣＰＵ）でよい。コンピュータ１３６は、標本試験装置１００の基部１２０の一部として、またはそれとは別に収容される。コンピュータ１３６は、キャリア１２４が装填エリア１１０に出入りする動き、トラック１２２の周りでの運動、前処理モジュール１３０に出入りする運動、ならびに前処理モジュール１３０（例えば遠心分離器）の動作、品質チェックモジュール１０２に出入りする運動、ならびに品質チェックモジュール１０２の動作、および各分析器１１２、１１４、１１６に出入りする運動、ならびに様々なタイプの試験（例えばアッセイまたは臨床化学）を実施するための各分析器１１２、１１４、１１６の動作を制御するように動作することができる。コンピュータ１３６は、本明細書で述べるように１つまたはそれ以上のニューラルネットワークを実行するなど、他の機能を実施することもできる。いくつかの実施形態では、個別のコンピュータを各構成要素に関連付けることができ、それらはすべて、ローカルサーバおよび／またはイーサネットなどの通信リンクを介して互いにインターフェースすることができる。
【0029】
ここで図１Ｂおよび１Ｃを参照する。図１Ｂおよび１Ｃは、本明細書で図示して述べる特性評価および視覚的検証方法を実施するように構成された品質チェックモジュール１０２の実施形態を示す。品質チェックモジュール１０２は、標本容器１０４および／または中にある標本１０６を事前スクリーニングするように構成される。事前スクリーニングは、標本容器１０４および／または中にある標本１０６のいくつかの特性を決定することができる。例えば、標本容器１０４は管１３８を含むことがあり、管１３８を封止するために管１３８にキャップ１４０を受け取ることができる。事前スクリーニングは、キャップ１４０が管１３８に位置するかどうか、ならびに位置する場合にはキャップ１４０の色および／またはタイプを決定することができる。また、事前スクリーニングは、溶血、黄疸、および脂肪血症などの干渉物の存在、ならびに場合によっては存在する特定の干渉物の度合い（例えば指数）について標本１０６を分析することができる。事前スクリーニングは、以下で述べるように、標本１０６および／または標本容器１０４を分析して、管のタイプ、管の高さ、管の直径など他の特性を決定することもできる。
【0030】
品質チェックモジュール１０２は、１つまたはそれ以上の画像取込みデバイス１４２Ａ、１４２Ｂ、１４２Ｃを含むことがある。図１Ｂには３つの画像取込みデバイス１４２Ａ～１４２Ｃが図示されているが、場合により２つまたは４つ以上を使用することもできる。画像取込みデバイス１４２Ａ～１４２Ｃは、画素化画像を取り込むことが可能な従来のデジタルカメラ、電荷結合素子（ＣＣＤ）、光検出器のアレイ、１つまたはそれ以上の相補型金属酸化物半導体（ＣＭＯＳ）センサなど、よく定義されたデジタル画像を取り込むための任意の適切なデバイスでよい。図１Ｂに示される３つの画像取込みデバイス１４２Ａ～１４２Ｃは、３つの異なる横方向の視点（１、２、および３として表される視点）から画像を取り込むように構成される。いくつかの実施形態では、取り込まれる画像のサイズは、約２５６０×６９４画素（例えば、高さ×幅）でよい。他の実施形態では、画像取込みデバイス１４２Ａ～１４２Ｃは、例えば約１２８０×３８７画素の画像サイズを取り込むことがある。他の画像サイズを取り込むこともできる。
【0031】
画像取込みデバイス１４２Ａ～１４２Ｃはそれぞれ、標本容器１０４の少なくとも一部分および中にある標本１０６の少なくとも一部分の横方向画像を取り込むように構成され動作可能でよい。画像取込みデバイス１４２Ａ～１４２Ｃは、取り込まれた画像を表す画像データまたは画素データを生成することがある。図示される実施形態では、複数の画像取込みデバイス１４２Ａ～１４２Ｃは、撮像位置１４４で、複数の視点１～３から標本容器１０４および／または標本１０６の横方向画像を取り込むように構成される。視点１～３は、図示されるように、互いに約１２０度など、互いにほぼ等間隔にされるように配置される。図示されるように、画像取込みデバイス１４２Ａ～１４２Ｃは、標本容器１０４が輸送されるトラック１２２の周りに配置される。このようにして、標本容器１０４がキャリア１２４内で撮像位置１４４に位置している状態で、標本容器１０４内の標本１０６の画像が取り込まれる。画像取込みデバイス１４２Ａ～１４２Ｃによって得られる複数の画像の視界は、周縁領域でわずかに重なり合っていてもよい。複数の画像取込みデバイス１４２Ａ～１４２Ｃの他の構成を使用することもできる。
【0032】
１つまたはそれ以上の実施形態では、キャリア１２４は、品質チェックモジュール１０２での所定の位置、例えば撮像位置１４４で停止される。この位置で、画像取込みデバイス１４２Ａ～１４２Ｃそれぞれからの法線ベクトルが互いに交差する。撮像位置１４４でキャリア１２４を停止させるためにキャリア１２４のゲートまたはリニアモータ（図示せず）が提供され、その撮像位置１４４で複数の画像が取り込まれる。品質チェックモジュール１０２にゲートがある実施形態などいくつかの実施形態では、１つまたはそれ以上のセンサ１３２が、品質チェックモジュール１０２でのキャリア１２４の存在を決定するために使用される。
【0033】
いくつかの実施形態では、品質チェックモジュール１０２は、外部照明の影響を最小限にするために、トラック１２２を少なくとも部分的に取り囲むまたは覆うことができるハウジング１４６を含むことがある。標本容器１０４は、画像取込みシーケンス中、ハウジング１４６内に位置する。ハウジング１４６は、キャリア１２４がハウジング１４６に入るかつ／またはハウジング１４６から出ることを可能にするために、１つまたはそれ以上の開口部および／またはドア１４６Ｄを含むことがある。いくつかの実施形態では、ハウジング１４６の天井部は開口部１４６Ｏを含むことがあり、例えば品質チェックモジュール１０２がトラック１２２から外されたときに、標本容器１０４がロボット（図示せず）によって上方からキャリア１２４に装填されることを可能にする。
【0034】
画像取込みデバイス１４２Ａ～１４２Ｃは、画像ウィンドウに近接して設けられ、撮像位置１４４で画像ウィンドウを取り込むために訓練される、または焦点を合わせられる。ここで、画像ウィンドウは、標本容器１０４の予想位置を含むエリアである。したがって、標本容器１０４は、いくつかの実施形態では、画像取込み前に画像ウィンドウのほぼ中央に位置するように停止される。例えば、画像取込みデバイス１４２Ａ～１４２Ｃは、標本容器１０４に貼付されたラベル１３４の一部または全部、および中にある標本１０６の一部または全部を取り込むことができる。場合によっては、視点１～３のうちの少なくとも１つの一部は、ラベル１３４によって部分的に遮られる。場合によっては、視点１～３のうちの１つまたはそれ以上は完全に遮られ、すなわち、標本１０６の血清または血漿部分２０６ＳＰ（図２Ａ）がはっきりと見えない可能性があり得る。しかし、視点１～３の片面（表側または裏側）が１つまたはそれ以上のラベル１３４によって完全に遮られている場合でさえ、特性評価方法はそれでも、１つまたはそれ以上のラベル１３４を通して標本の様々な部分の境界を区別することができることがある。
【0035】
品質チェックモジュール１０２の動作時、各画像は、コンピュータ１３６によって伝送される、通信線１４８Ａ、１４８Ｂ、１４８Ｃで提供されるトリガ信号に応答して取り込まれる。取り込まれた画像はそれぞれ、本明細書で延べる１つまたはそれ以上の実施形態に従ってコンピュータ１３６によって処理される。コンピュータ１３６は、標本容器１０４および標本１０６のコンピュータ生成画像を含む画像を表示することができるディスプレイ１５０に連結される。いくつかの実施形態では、取り込まれた画像から画像データを取り込み処理するために高ダイナミックレンジ（ＨＤＲ）処理が使用される。例えば、標本１０６の複数の画像が、複数の異なる露光で（例えば異なる露光時間で）、１つまたはそれ以上の異なるスペクトルで順次に照明されながら、品質チェックモジュール１０２で取り込まれる。例えば、各画像取込みデバイス１４２Ａ～１４２Ｃは、複数の照明スペクトルそれぞれで、異なる露光時間で、血清または血漿部分１０６ＳＰ（図２Ａ）を含む標本容器１０４の画像を４～８つ取り込むことがある。例えば、４～８つの画像は、標本１０６が赤色スペクトルを有する光源１５２Ａでバックライト照明された状態で、視点１で画像取込みデバイス１４２Ａによって取り込まれる。追加の同様の画像が、視点２および３で順次に取り込まれる。
【0036】
いくつかの実施形態では、多重スペクトル画像を取り込むことは、異なるスペクトル照明を放出する異なる光源１５２Ａ、１５２Ｂ、および１５２Ｃを使用して達成される。光源１５２Ａ～１５２Ｃは、（図示されるように）標本容器１０４をバックライト照明することができる。いくつかの実施形態では、光源１５２Ａ～１５２Ｃと共に光拡散器（図示せず）が使用される。複数の異なるスペクトル光源１５２Ａ～１５２Ｃは、赤、緑、青（ＲＧＢ）の光源、例えば、６３４ｎｍ±３５ｎｍ（赤）、５３７ｎｍ±３５ｎｍ（緑）、および４５５ｎｍ±３５ｎｍ（青）の公称波長を放出する発光ダイオード（ＬＥＤ）でよい。他の実施形態では、光源１５２Ａ～１５２Ｃは白色光源でよい。ラベル１３４が複数の視点を妨げる場合には、赤外線（ＩＲ）バックライト照明または近赤外線（ＮＩＲ）バックライト照明が使用される。さらに、ラベルによる遮蔽が存在するときでさえ、場合によってはＲＧＢ光源が使用される。他の実施形態では、光源１５２Ａ～１５２Ｃは、約７００ｎｍ～約１２００ｎｍの公称波長を有する１つまたはそれ以上のスペクトルを放出することがある。
【0037】
非限定的な例として、第１の波長で画像を取り込むために、赤色光（約６３４ｎｍ±３５ｎｍの波長）を放出する３つの光源１５２Ａ～１５２Ｃが、３つの横方向位置から標本１０６を順次に照明するために使用される。異なる露光時間での複数の画像（例えば４～８つ以上の画像）が３つの視点１～３それぞれから各画像取込みデバイス１４２Ａ～１４２Ｃによって取り込まれるとき、光源１５２Ａ～１５２Ｃによる赤色照明が行われることがある。いくつかの実施形態では、露光時間は約０．１ｍｓ～２５６ｍｓでよい。他の露光時間を使用することもできる。いくつかの実施形態では、各画像取込みデバイス１４２Ａ～１４２Ｃに関する対応する各画像は、例えば順次に取り込まれる。したがって、各視点１～３について、赤色スペクトルのバックライト照明を用いて、異なる露光時間で複数の露光（例えば、４～８回の露光）で、１群の画像が順次に取り込まれる。画像は、例えば、視点１からのすべての画像が取り込まれ、続いて視点２および３によって順次に取り込まれる、ラウンドロビン方式で取り込まれる。
【0038】
図１Ｂ～１Ｃの実施形態で赤色バックライト照明された画像が取り込まれると、別の光スペクトル、例えば緑色スペクトル光（約±３５ｎｍの帯域幅を有する約５３７ｎｍの公称波長）が光源１５２Ａ～１５２Ｃによって放出され、異なる露光時間での複数の画像（例えば４～８つ以上の画像）が、各画像取込みデバイス１４２Ａ～１４２Ｃによって順次に取り込まれる。この手順は、各画像取込みデバイス１４２Ａ～１４２Ｃに関して、光源１５２Ａ～１５２Ｃによって放出される青色スペクトル光を用いて繰り返される。光源１５２Ａ～１５２Ｃによって放出される異なる公称波長スペクトル光は、例えば、選択的にオンオフすることができる異なる所望のスペクトル光源（例えば、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、および／またはＮＩＲ）のバンクを含むライトパネルによって達成される。バックライト照明のための他の手段を使用することもできる。
【0039】
いくつかの実施形態では、各対応する波長スペクトルに関して複数の露光（例えば露光時間）で取り込まれる複数の画像が次々と取り込まれ、したがって、複数の視点１～３からの標本容器１０４および標本１０６に関するバックライト照明画像の集合全体が、例えば数秒未満で取り込まれる。いくつかの実施形態では、画像取込みデバイス１４２Ａ～１４２Ｃと、ＲＧＢ光源でよい光源１５２Ａ～１５２Ｃを用いたバックライト照明とを使用した３つの視点１～３での各波長に関する４つの異なる露光の画像は、４つの画像×３つのスペクトル×３つの画像取込みデバイス＝３６個の画像となる。別の実施形態では、画像取込みデバイス１４２Ａ～１４２Ｃと、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、およびＮＩＲ光源でよい光源１５２Ａ～１５２Ｃを用いたバックライト照明とを使用した３つの視点１～３での各波長に関する４つの異なる露光の画像は、４つの画像×６つのスペクトル×３つのカメラ＝７２個の画像となる。他の数の画像を取り込んでもよい。
【0040】
特性評価および視覚的検証方法の実施形態に従って、コンピュータによる画像データまたは画素データの処理は、例えば、異なる露光時間で、各波長スペクトルで、各画像取込みデバイス１４２Ａ～１４２Ｃに関する複数の取り込まれた画像からの最適に露光された画素を選択することを含む画像前処理を含むことがあり、各スペクトルに関しておよび各視点１～３に関して最適に露光された画素データを生成する。
【0041】
各画像取込みデバイス１４２Ａ～１４２Ｃによって取り込まれる画像それぞれからの対応する各画素（または画素のパッチ）ごとに、各視点１～３について異なる露光画像それぞれから、最適な画像強度を示す画素（または画素のパッチ）が選択される。いくつかの実施形態では、最適な画像強度は、例えば所定の強度範囲内（例えば、０～２５５のスケールで１８０～２５４）に含まれる画素（または画素のパッチ）の数によって決定される。別の実施形態では、最適な画像強度は、例えば、０～２５５のスケールで１６～２５４であり得る。２つの露光画像の対応する画素（または画素のパッチ）位置での複数の画素（または画素のパッチ）が最適に露光されていると判断される場合、より高い全体強度を有する画像が選択される。
【0042】
最適な画像強度を示す選択された画素（または画素のパッチ）は、それらのそれぞれの露光時間によって正規化される。その結果、照明スペクトル（例えば、使用される組合せに応じて、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、および／またはＮＩＲ）に関して、および各画像取込みデバイス１４２Ａ～１４２Ｃに関して、複数の正規化されて統合されたスペクトル画像データセットが得られ、ここで、すべての画素（または画素のパッチ）が最適に露光され（例えばスペクトルごとに１つの画像データセット）、正規化される。言い換えると、各視点１～３に関して、コンピュータ１３６によって行われるデータ前処理は、採用された照明スペクトルごとに１つずつ、複数の最適に露光されて正規化された画像データセットをもたらすことがある。
【0043】
画素データの処理は、画素化画像をセグメント化することをさらに含むことがある。例えば、セグメント化は、画像内の異なる物体を表すものとして画素データ内の画素を分類することを含むことがある。セグメント化プロセスは、後処理工程で使用されるセグメント化データを生成して、標本容器１０４および／または標本１０６の態様を定量化する、すなわち、本明細書で述べるように、標本容器および／または標本１０６、またはＨＩＬなど標本１０６中の成分の特定の物理的寸法特性を決定することができる。
【0044】
ここでさらに図２Ａおよび２Ｂを参照する。図２Ａは、１つまたはそれ以上の実施形態による、標本１０６を含む標本容器１０４の側面図を示す。図２Ｂは、キャリア１２４内に位置する図２Ａの標本容器１０４の側面図を示す。標本１０６は、標本１０６の血清または血漿部分２０６ＳＰを標本１０６の沈降血液部分２０６ＳＢから分離するゲルセパレータ２５２を含むことがある。血清および血漿部分２０６ＳＰの上方にエアギャップ２５４があり、エアギャップ２５４と血清および血漿部分２０６Ｓとの境界線は、液体－空気界面（ＬＡ）と定義される。いくつかの実施形態では、エアギャップ２５４は、真空または空隙であり得る。キャップ１４０は、標本容器１０４を封止することができる。
【0045】
セグメント化によって少なくとも部分的に決定される物理的特性は、標本容器１０４の上部（ＴＣ）の位置、標本容器１０４の高さ（ＨＴ）、標本容器１０４の幅（Ｗ）、標本容器１０４の内幅（Ｗｉ）、および管１３８の壁の厚さ（Ｔｗ）を含むことがある。さらに、セグメント化データは、液体－空気界面（ＬＡ）の位置、標本１０６の全高（ＨＴＯＴ）、ならびにゲルセパレータ２５２の上側位置（ＧＵ）および下側位置（ＧＬ）を提供することがある。上側位置（ＧＵ）と下側位置（ＧＬ）との差は、ゲルセパレータ２５２の高さ（ＨＧ）を表す。特性は、血清または血漿部分２０６ＳＰの高さ（ＨＳＰ）および沈降血液部分２０６ＳＢの高さ（ＨＳＢ）をさらに含むことがある。セグメント化は、キャップ１４０、エアギャップ２５４、血清または血漿部分２０６ＳＰ、ゲルセパレータ２５２、沈降血液部分２０６ＳＢ、標本容器１０４、およびキャリア１２４のサイズおよび位置を提供することもある。セグメント化は、血清もしくは血漿部分２０６ＳＰの体積および／または沈降血液部分２０６ＳＢの体積、ならびに場合によってはそれらの比の推定を含むこともある。キャップ１４０などの様々な構成要素の色、またはキャップ１４０のタイプなど、他の物体の他の定量化可能な幾何学的特徴および位置が決定されることもある。
【0046】
いくつかの実施形態では、各標本容器１０４にはラベル１３４が付され、ラベル１３４は、バーコード、アルファベット、数字、またはこれらの組合せなど、識別情報２３４ｉ（すなわちインデックス）を含むことがある。識別情報２３４ｉは、品質チェックモジュール１０２（図１Ａ）を含む様々な位置で機械可読であり得る。機械可読識別情報２３４ｉは、容易に撮像することができるように、ラベル材料（例えば白紙）よりも濃い色（例えば黒）でよい。識別情報２３４ｉは、患者の識別、および標本１０６に対して実施予定の試験を示すことがあり、または別の方法でラボラトリ情報管理システム（ＬＩＳ）を介してそれらに相関されることがある。識別情報２３４ｉは、他のまたは追加の情報を示すこともある。
【0047】
上述した識別情報２３４ｉはラベル１３４に提供され、ラベル１３４は、標本容器１０４の外面に接着される、または別の方法で提供される。図２Ａおよび２Ｂに示されるように、ラベル１３４は、標本容器１０４の全周にわたって、または標本容器１０４の全長に沿って延びることはなく、したがって図示される特定の正面の視点から血清または血漿部分２０６ＳＰの大部分が見え、ラベル１３４によって妨げられない。いくつかの実施形態では、（例えば標本容器１０４を取り扱っている複数の設備から）複数のラベルが提供されることがあり、複数のラベルは、ある程度互いに重なっていることがある。例えば、２つのラベル（例えば、製造業者のラベルおよびバーコードラベル）が付与されることがあり、重なっていてもよく、１つまたはそれ以上の視点のいくつかまたはすべてを遮って（妨害して）いてもよい。本明細書で述べるセグメント化プロセスは、標本容器１０４上のラベル１３４を識別および位置特定することができ、また、ラベル１３４の形状および／またはサイズを提供することもできる。本明細書で述べるセグメント化プロセスは、ラベルが損傷されている、または他の何らかの理由で解読不能かどうかを決定することもできる。いくつかの実施形態では、セグメント化プロセスは、ラベル１３４を読み取ることを含むことがある。
【0048】
さらに図３を参照する。図３は、コンピュータ１３６または他の適切なプロセッサデバイスによって画素データに対して行われる処理の方法３６０を示す流れ図を示す。方法３６０の機能ブロック３６２において、コンピュータ１３６は、標本容器１０４を表す画素データを受信する。画素データは、標本容器１０４の画像データでよい。画素データは、標本容器１０４および／または標本容器１０４内にある標本１０６を保持するキャリア１２４を表すこともある。いくつかの実施形態では、コンピュータ１３６により、機構（図示せず）は、トラック１２２またはトラック１２２上のキャリア１２４を、ハウジング１４６内の撮像位置１４４に移動することができる。次いで、コンピュータ１３６は、信号を生成し、光源１５２Ａ～１５２Ｃに伝送することがあり、これらの信号により、光源１５２Ａは、上述したように標本容器１０４および／またはキャリア１２４を照明する。例えば、コンピュータ１３６によって生成され、光源１５２Ａ～１５２Ｃに伝送される信号により、光源１５２Ａ～１５２Ｃは、上述したように特定の強度および波長の光を生成することができる。
【0049】
より詳細には、標本容器１０４および／またはキャリア１２４が照明されるとき、コンピュータ１３６は、信号を生成し、通信線１４８Ａ～１４８Ｃを介して画像取込みデバイス１４２Ａ～１４２Ｃに伝送し、画像取込みデバイス１４２Ａ～１４２Ｃに標本容器１０４および／またはキャリア１２４の画像を取り込ませる。コンピュータ１３６によって生成され、画像取込みデバイス１４２Ａ～１４２Ｃに伝送される信号により、個々の画像取込みデバイス１４２Ａ～１４２Ｃが、標本容器１０４および／またはキャリア１２４の画像を取り込むことができる。他の実施形態では、コンピュータ１３６によって生成されて伝送される信号により、画像取込みデバイス１４２Ａ～１４２Ｃは、標本容器１０４および／またはキャリア１２４の画像を同時にまたは順次に取り込むことができる。画像取込みデバイス１４２Ａ～１４２Ｃが画像を取り込むとき、画像取込みデバイス１４２Ａ～１４２Ｃは、取り込まれた画像を表す画素データ（または「画像データ」と呼ぶ）を生成し、画素値は、画素データでの個々の画素の数値（例えば、強度および／または波長値）を表す。時として、「画素」という用語は、画素データでの画素値を表す。図１Ｂに示されるように、画像取込みデバイス１４２Ａ～１４２Ｃは、画像位置１４４の周りに配置され、標本容器１０４は、中央に位置する。したがって、画像取込みデバイス１４２Ａ～１４２Ｃによって生成される累積画素データは、標本容器１０４および／またはキャリア１２４の３６０°ビューを表すことがある。画像取込みデバイス１４２Ａ～１４２Ｃによって生成された画素データは、通信線１４８Ａ～１４８Ｃを介してコンピュータ１３６に伝送される。
【0050】
コンピュータ１３６は、コンピュータ１３６で実行されるプログラムを使用することによって画素データを処理することができる。機能ブロック３６４において、コンピュータ１３６で実行されるニューラルネットワークは、以下でより詳細に述べるように、画像取込みデバイス１４２Ａ～１４２Ｃによって取り込まれた１つまたはそれ以上の画像を１つまたはそれ以上の物体にセグメント化することができる。１つまたはそれ以上のニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、セグメント化畳み込みニューラルネットワーク（ＳＣＮＮ）、ディープセマンティックセグメント化ネットワーク（ＤＳＳＮ）、および他の同様のセグメント化ニューラルネットワークを含むことができる。例えば、コンピュータ１３６で実行されるセグメント化プログラムは、画素データを処理またはセグメント化して、画素のクラスを識別することができる。特定のクラスの画素は、同一または同様の特性を有する画素である。例えば、１つのクラスの画素は、同一または同様の波長、強度、および／または領域的位置の画素値を有することがある。異なるクラスの画素は、標本容器１０４および／またはキャリア１２４を構成する異なる物体に対応する画像の異なる領域に位置する。単一の物体の個々のクラスの画素は、同様の色を有し、互いに近接して位置することがある。例えば、キャップ１４０を表す画素のクラスは、キャップ１４０の位置にあり得て、すべてがほぼ同じ色（例えば光波長）を有することがある。同様に、標本１０６を表す画素のクラスは、特定の色を有し、標本容器として画成される領域内で互いに近接して位置することがある。
【0051】
いくつかの実施形態では、例えば任意の適切な分類プロセスによって画像内の各画素がクラスに割り当てられる。例えば、第１の波長の画素は、第１のクラス（例えばキャップ）に割り当てられることがあり、第２の波長の画素は、第２のクラス（例えば血清または血漿部分）に割り当てられることがある。画素を異なるクラスに割り当てるために、強度など他の基準が使用されることもある。
【0052】
セグメント化および識別は、コンピュータ１３６（図１Ｂ）で実行されるニューラルネットワーク（例えば、訓練されたニューラルネットワーク）によって行われる。例えば、上述したＳＣＮＮは、いくつかの実施形態では１００を超える演算層を含むＤＳＳＮを含むことがある。そのようなディープネットワークを有する利点は、ネットワーク受信フィールドを増大することができることであり、ネットワーク受信フィールドは、小さなローカル領域ではなく、より多くのコンテキスト情報を利用する。さらに、密に接続されたネットワークは、低レベルから高レベルの層まで、および符号化領域から復号領域までの機能を連結する。そうすることによって、ＤＳＳＮをより簡単に訓練して、同じタスクのために構成された他の畳み込みニューラルネットワークよりも詳細な特徴を画像から認識することができる。ＳＣＮＮは、他のニューラルネットワークを含むことがある。
【0053】
標本容器タイプ（例えばサイズおよび／または形状）のばらつきによって引き起こされることがある外観の違いを克服するために、ＳＣＮＮは、ＤＳＳＮのフロントエンドに小さい容器セグメント化ネットワーク（ＳＣＮ）を含むことがある。ＳＣＮは、容器タイプおよび容器境界を決定するように構成され動作可能であり得る。容器タイプおよび容器境界情報は、追加の入力チャネルを介してＤＳＳＮに入力され、いくつかの実施形態では、ＳＣＮＮは、決定された容器タイプおよび境界を出力として提供することがある。いくつかの実施形態では、ＳＣＮは、ＤＳＳＮと同様のネットワーク構造を有することができるが、より浅い（すなわち、層がはるかに少ない）。
【0054】
さらに図４Ａおよび４Ｂを参照する。図４Ａおよび４Ｂは、画像内の様々な物体に対応する画素のクラスの位置の例を示す。場合によっては、すべての画素クラスが物体に対応するわけではない。第１のセグメント化された画像４０４Ａは、図２Ａに示される画像からの画素のクラスおよびそれらの対応する物体の例を示す。第２のセグメント化された画像４０４Ｂは、図２Ｂに示される画像からの画素のクラスおよびそれらの対応する物体の例を示す。図４Ａおよび４Ｂの実施形態では、コンピュータ１３６で実行される１つまたはそれ以上のニューラルネットワークなどのプログラムは、画像データを処理し、例えばクラスによって画素のグループにセグメント化した。以下でより詳細に述べるように、画素のクラスは、標本容器１０４（管１３８およびキャップ１４０を含む）および／またはキャリア１２４および／または標本１０６の構成要素を構成する物体の位置に対応することがある。クラスは、取り込まれた画像内の他の物体を表すこともある。
【0055】
図４Ａおよび４Ｂの実施形態では、コンピュータ１３６（図１Ｂ）で実行されるプログラムは、複数の物体に対応することがある複数の画素クラスを識別している。ここでは、コンピュータ１３６は、機能ブロック３６６（図３）で述べたような１つまたはそれ以上の画素クラスおよびそれらの境界によって画定される１つまたはそれ以上の物体を識別することができる。図４Ａおよび４Ｂに示されるセグメント化された物体は、セグメント化されたキャップ４４０、セグメント化されたエアギャップ４５４、セグメント化されたラベル４３４、セグメント化された血清または血漿部分４０６ＳＰ、セグメント化されたゲルセパレータ４５２、およびセグメント化された沈降血液部分４０６ＳＢのエリアおよび境界を含む。図４Ｂの画像は、セグメント化されたキャリア４２４をさらに含む。識別プロセスは、図４Ａおよび４Ｂに示されるものよりも少ないまたは多い物体または画素クラスを識別することができる。
【0056】
識別プロセスは、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワーク、および上述したコンピュータ１３６で実行される他のプログラムによって行われる。一例として、コンピュータ１３６で実行されるプログラムは、セグメント化されたキャップ４４０を構成する画素クラスをキャップ１４０（図２Ａ～２Ｂ）として識別することがある。さらに、プログラムは、キャップ１４０の色および／または他の物理的特性、例えばキャップタイプおよび／またはキャップ寸法を識別することがある。いくつかの実施形態では、プログラムは、セグメント化されたラベル４３４をラベル１３４（図２Ａ）として識別することがある。いくつかの実施形態では、プログラムは、ラベル１３４にある識別情報２３４ｉを読み取ることができる。いくつかの実施形態では、プログラムは、ラベル１３４の物理的状態を識別して、ラベル１３４が損傷されている、または解読不能かどうかを決定することができる。
【0057】
いくつかの実施形態では、コンピュータ１３６で実行されるプログラムは、セグメント化された血清または血漿部分４０６ＳＰを構成する画素クラスを血清または血漿部分２０６ＳＰ（図２Ａおよび２Ｂ）として識別することができる。いくつかの実施形態では、コンピュータ１３６で実行されるプログラムは、セグメント化された血清または血漿部分４０６ＳＰを構成する画素データをさらに処理して、血清または血漿部分２０６ＳＰを分析し、血清または血漿部分２０６ＳＰが溶血、黄疸、および／もしくは脂肪血症などの干渉物を含むか、または正常（Ｎ）であるかを決定することができる。コンピュータ１３６で実行されるプログラムは、存在する場合には、血清または血漿部分２０６ＳＰ中の溶血、黄疸、および／または脂肪血症の指数をさらに決定することがある。
【0058】
コンピュータ１３６は、物体の識別に関する情報をユーザに出力することができる。例えば、コンピュータ１３６は、標本容器１０４がキャップ１４０を含むかどうか、キャップ１４０の色、およびキャップのタイプを示す情報をユーザに出力することがある。同様に、コンピュータ１３６は、血清または血漿部分２０６ＳＰ（図２Ａおよび２Ｂ）が溶血、黄疸、および／または脂肪血症などの干渉物を含むかどうか、ならびに干渉物の分類を示す情報を出力することもある。いくつかの実施形態では、コンピュータ１３６は、ラベル１３４の状態に関連する情報を出力することがある。
【0059】
コンピュータ１３６およびそこで実行されるプログラムによって行われる識別の信頼性を改善するために、コンピュータ１３６は信号を生成して、図３の機能ブロック３６８で述べるように標本容器１０４の画像をディスプレイ１５０に表示することができ、輪郭描出された位置が、標本容器１０４の選択された物体を成す。ディスプレイ１５０に表示される画像は、キャリア１２４を構成する輪郭描出された位置を含むこともある。いくつかの実施形態では、コンピュータ１３６は、標本容器１０４の画像の上に活性化マップをオーバーレイするように動作可能であり得る。そのような実施形態では、活性化マップ内の画素の色および／または明るさは、物体を識別するためにコンピュータ１３６によって使用される元の画素の重みまたは有用性に比例することがある。
【0060】
さらに図５Ａ、５Ｂ、５Ｃ、および５Ｄを参照する。図５Ａ、５Ｂ、５Ｃ、および５Ｄは、ディスプレイ１５０（図１Ｂ）に表示される標本容器１０４の表現を示す。ディスプレイ１５０は、ＯＬＥＤ、ＬＥＤ、ＬＤＣ、プラズマ、ＣＲＴなどでよい。他の適切なディスプレイを使用することもできる。図５Ａは、表示される標本容器５０４Ａと、図４Ａの第１のセグメント化された画像４０４Ａのセグメント化された物体との実施形態を示す。図５Ｂは、表示される標本容器５０４Ｂと、図４Ｂの第２のセグメント化された画像４０４Ｂのセグメント化された物体との実施形態を示し、表示されるキャリア５２４を含む。図５Ｃは、コンピュータ１３６（図１）で実行されるプログラムが画像の正しい領域内の画素を使用してキャップ５４０（図１）を適切に識別した、表示される標本容器５０４の画像を含む表示される画像と、オーバーレイされた活性化マップとの実施形態を示す。図５Ｄは、コンピュータ１３６で実行されるプログラムが、キャップ１４０（図１）を識別することを試みたときに画像の正しい領域内の画素を使用しなかった、表示される標本容器５０４の画像を含む表示される画像と、オーバーレイされた活性化マップとの実施形態を示す。
【0061】
図５Ａの実施形態では、コンピュータ１３６（図１Ｂ）で実行されるプログラムは、表示されるキャップ５４０、表示されるエアギャップ５５４、表示されるラベル５３４、表示される血清または血漿部分５０６ＳＰ、表示されるゲルセパレータ５５２、および表示される沈降血液部分５０６ＳＢを表示している。図５Ｂの実施形態では、コンピュータ１３６で実行されるプログラムは、表示されるキャリア５２４をさらに表示している。
【0062】
上述した例では、コンピュータ１３６で実行されるプログラムは、キャップ１４０を識別し（図２Ａ～２Ｂ）、場合により、キャップの色またはキャップのタイプなどキャップ１４０の特性に関する情報をユーザに提供することができる。図５Ａの実施形態では、表示されるキャップ５４０は、クロスハッチングによって輪郭描出されている。表示される物体の異なる色、マーキング、陰影、および／または固定もしくは可変の強度など、他の輪郭描出を使用することもできる。ディスプレイ１５０において、輪郭描出されたキャップ５４０に隣接して「キャップ」などの名前が表示される。輪郭描出されたキャップ５４０は、標本容器１０４の画像内で、キャップ１４０を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素データがどこに位置していたかをユーザに示す。識別されて輪郭描出されている物体はキャップ１４０であるので、ユーザは、コンピュータ１３６で実行される１つまたはそれ以上のニューラルネットワークが、標本容器１０４の画像の正しい部分を正しく分析してセグメント化および／または分類したことを確信できる。識別された物体と表示される物体とが同じでない場合、ユーザは、コンピュータ１３６で実行されるニューラルネットワークが物体を適切に識別しなかったことを確信できる。例えば、コンピュータ１３６が物体を血清または血漿部分２０６ＳＰとして識別したが、輪郭描出されたキャップ５４０を表示した場合、ユーザは、コンピュータ１３６で実行されるニューラルネットワークが血清または血漿部分２０６ＳＰを適切に識別しなかったと確信することができる。
【0063】
図５Ｂの表示される標本容器５０４Ｂは、血清または血漿部分２０６ＳＰを表す輪郭描出された物体を含む。具体的には、コンピュータ１３６は、標本容器５０４Ｂの画像を表示することができ、画素の輪郭描出位置が、標本容器１０４の選択された物体を成す。この例では、選択された物体は、輪郭描出された血清または血漿部分２０６ＳＰである。コンピュータ１３６で実行されるニューラルネットワークは、血清または血漿部分２０６ＳＰ内の画素データを分析して、血清または血漿部分２０６ＳＰが溶血、黄疸、および／または脂肪血症を含むかどうか、ならびに干渉物の程度を決定することができる。表示される血清または血漿部分５０６ＳＰにおいて血清または血漿部分２０６ＳＰを輪郭描出することによって、ユーザは、干渉物の決定を行う際に、標本容器１０４の画像の正しい部分が分析されたと確信することができる。表示される標本容器５０４Ｂ内の別の物体が輪郭描出されている場合、ユーザは、干渉物分析が適切でないと確信する。血清または血漿部分２０６ＳＰを輪郭描出することに加えて、溶血、黄疸、もしくは脂肪血症を含む、または正常であるという指定がディスプレイ１５０に表示される。場合により指数値が表示される。
【0064】
図５Ｃの実施形態では、活性化画像のオーバーレイを伴う標本容器５０４の表示される画像が示され、活性化マップは破線によって識別される。図５Ｃの実施形態では、コンピュータ１３６（図１）で実行される１つまたはそれ以上のニューラルネットワークは、キャップ１４０（図１Ｃ）を識別した。活性化マップは、キャップの決定を行うために１つまたはそれ以上のニューラルネットワークによって使用される画素を示す。いくつかの実施形態では、活性化マップは、様々な画素の強度および／または画素の色を含み、画素の強度および／または色は、キャップの決定を行うために１つまたはそれ以上のニューラルネットワークによって使用される画素の有用性または重みに依存する。図５Ｃの実施形態では、活性化マップの一部であるエリア５６０は、キャップの決定を行うのに最も有用な画素を含むことがある。エリア５６０は、表示される画像内の他の画素とは異なる色および／または強度を有することがある。表示されるキャップ５４０を含む表示される画像を閲覧するユーザは、キャップの決定が行われたときにニューラルネットワークがキャップ１４０の画素またはキャップ１４０の領域内の画素を使用したことを知る。
【0065】
ここで図５Ｄを参照する。図５Ｄは、コンピュータ１３６（図１）で実行される１つまたはそれ以上のニューラルネットワークが、キャップ１４０を識別することを試みたときに正しい画素を使用しなかった、表示される標本容器５０４の画像を含む表示される画像と、オーバーレイされた活性化マップとの実施形態を示す。図５Ｄの実施形態では、キャップの決定を行うために１つまたはそれ以上のニューラルネットワークによって使用される画素は２つのグループにある。第１のグループ５６８Ａは、表示される標本容器５０４の画像境界の外側にあるアーティファクトであり、第２のグループ５６８Ｂは、表示されるエアギャップ５５４内にある。図５Ｄの表示される画像がユーザに提示されるとき、ユーザはキャップ識別に誤りがあることを確信することができる。例えば、キャップ１４０を表す画素がどれも、キャップの決定を行うために使用されなかった。
【0066】
いくつかの実施形態では、１つまたはそれ以上の選択された物体は、信頼性勾配（またはレベル）として表示される。例えば、識別プロセスは、物体が識別されるときの投票または他の基準に基づく。信頼度を示すために、表示される物体に信頼性勾配が組み込まれる。例えば、コンピュータ１３６（図１Ｂ）で実行されるニューラルネットワークが、セグメント化されたキャップ４４０（図４Ａ）がキャップ１４０（図２Ａ～２Ｂ）であると８０％の確実性で決定する場合、表示されるキャップ５４０は、この信頼性勾配を示す。例えば、表示されるキャップ５４０は、８０％の信頼性勾配を示す隣接するテキストを含むことがある。他の実施形態では、色、ハッチング、および／または表示強度は、信頼性レベルを示すことがある。様々な物体は、順次に、または例えばユーザがドロップダウンメニューなどから選択することによって要求に応じて表示される。
【0067】
いくつかの実施形態では、ディスプレイ１５０に表示される１つまたはそれ以上の画像は、標本容器１０４を少なくとも部分的に表す画像の上に１つまたはそれ以上の物体を表す画像をオーバーレイすることを含む。そのような実施形態では、物体の位置は、標本容器１０４の最良のビューを少なくとも部分的に表す画像に対する物体それぞれの画素の位置にある。例えば、最良のビューは、血清または血漿部分２０６ＳＰの最も露出されたエリアを含むことがある。
【0068】
１つまたはそれ以上の実施形態によるセグメント化方法６６０の単純な装置および機能流れ図が図６に示されている。本明細書で述べるセグメント化方法６６０は、ニューラルネットワークおよび上述した他のアルゴリズムなど、コンピュータ１３６（図１Ｂ）で実行されるプログラムによって行われる。工程６６２で、標本容器１０４の複数の画像（図２Ａおよび２Ｂ）が、画像取込みデバイス１４２Ａ～１４２Ｃによって取り込まれる。複数の画像は、上述したように、複数の異なる露光で、および複数の異なる波長スペクトルで、複数の視点１～３から取り込まれた多重スペクトル画像でよい。複数の画像のデジタル画像データは、コンピュータ１３６（図１Ｂ）のメモリに記憶される。この画像データから、コンピュータ１３６で実行される工程６６４でのバックグラウンド低減フェーズにおいて、場合によりバックグラウンドを差し引いて、コンピュータ１３６の計算負荷を低減することができる。バックグラウンドは、標本容器１０４に関連する部分以外の画像データの部分でよい。バックグラウンド低減は、標本容器１０４なしで工程６６６で以前に取り込まれた参照画像を差し引くことによって、または他の適切なバックグラウンド除去方法によって達成される。
【0069】
画像取込み、および工程６６４での任意選択のバックグラウンド低減の後、工程６６８でコンピュータ１３６によってセグメント化が行われる。工程６６８でのセグメント化は、工程６７０で行われる画像統合プロセスを含むことがある。工程６７０での画像統合プロセス中、各色スペクトル（Ｒ、Ｇ、Ｂ、白色光、ＮＩＲ、および／またはＩＲ）での、各画像取込みデバイス１４２Ａ～１４２Ｃに関する様々な露光時間の画像を画素ごとに検討して、最適に露光されている画素を決定することができる。対応する画素位置ごとに、任意の最適に露光された画素の最良のものが選択され、最適露光画像データセットに含まれる。したがって、工程６７０での画像統合後、各スペクトルおよび各画像取込みデバイス１４２Ａ～１４２Ｃに関して、１つの最適露光画像データセットが生成される。
【0070】
工程６７０での画像統合後、または場合によってはそれと同時に、工程６７２で統計生成プロセスが行われ、平均および／または共分散行列などの統計値が各画素について生成される。次いで、最適露光データセットに関するこの統計データは、マルチクラス分類器６７４によって操作されて、工程６７６で、画像に存在する画素クラスの識別を可能にする。各画素に関する最終的なクラスは、各画素に関する信頼値を最大化することによって決定される。画素位置ごとに、画素内で統計的記述が抽出される（例えば、小さなスーパー画素パッチ（例えば１１×１１画素））。各スーパー画素パッチは、訓練および評価プロセスで考慮される記述子を提供することがある。分類器は、特徴記述子を操作し、訓練にクラスラベルを使用し、試験／評価中にクラスラベルを出力することがある。
【0071】
工程６６８のセグメント化プロセスから、各画像取込みデバイス１４２Ａ～１４２Ｃに関する統合された画像内の各画素は、工程６７６において、複数のクラスタイプのうちの１つとして分類される。クラスタイプは、例えば、液体（血清または血漿部分１０６ＳＰ）、沈降血液部分１０６ＳＢ、管１３８、ラベル１３４、キャップ１４０、ゲルセパレータ２５２、エアギャップ２５４Ａでよい。このセグメント化情報から、工程６７８で、上述したクラスに関連する物体が識別される。これは、同じ分類のすべての画素（または画素パッチ）をまとめて収集することによって行われる。工程６７９で、選択された物体をディスプレイ１５０に表示することができる。例えば、選択された物体は、ユーザ選択によって、または所定のもしくは選択されたシーケンスなどのシーケンスで物体を表示することによって表示することができる。例えば、輪郭描出された物体は、以下の順に表示することができる：輪郭描出されたキャップ５４０、輪郭描出されたラベル５３４、輪郭描出された血清または血漿部分５０６ＳＰ、輪郭描出されたゲルセパレータ５５２、輪郭描出された沈降血液部分５０６ＳＢ、輪郭描出されたエアギャップ５５４、もしくは輪郭描出されたキャリア５２４、または任意の他の適切な順序もしくはそのサブセット。
【0072】
図７は、品質チェックモジュール１０２（図１Ａ）を使用するより広範な特性評価方法７００によって多くの要素が特徴評価または分類される特性評価方法７００の流れ図を示す。特性評価方法７００の１つまたはそれ以上の実施形態によれば、工程７０４で、例えば複数の画像取込みデバイス１４２Ａ～１４２Ｃによって画像が取り込まれる。画像取込みデバイス１４２Ａ～１４２Ｃによって取り込まれた画像は、上で論じたように、多重スペクトル（例えば、ＲＧＢ、Ｗ、ＮＩＲ、ＩＲ）および多重露光画像でよい。特に、工程７０４で使用される光波長スペクトルごとに、複数の露光（例えば４～８回の露光）が取り込まれる。各画像取込みデバイス１４２Ａ～１４２Ｃに関する各露光でのそれぞれの画像は、例えば図１Ｂ～１Ｃで述べるように、複数の画像取込みデバイス１４２Ａ～１４２Ｃおよびバックライト光源１５２Ａ～１５２Ｃを使用して順次に取得される。次いで、場合により、工程６６４で、図６の任意選択のバックグラウンド除去方法で上述したのと同様に、参照画像６６６を使用してバックグラウンドを除去するために画像が処理される。次いで、工程６６８で、画像がさらに処理されて、図６で上述した様式で、または任意の他の適切なセグメント化方法によってセグメント化を決定することができる。
【0073】
工程６６８でのセグメント化後、標本１０６（図２Ａおよび２Ｂ）および標本容器１０４の異なる物体および特性が識別され、ユーザに提示される。例えば、ユーザに提示される画像は、オーバーレイされた活性化マップを伴う標本容器１０４の画像を含むことがある。上述したように、ディスプレイ１５０は、上述した決定および／または識別を行うために１つまたはそれ以上のニューラルネットワークによって使用された画素が位置する標本容器１０４での位置を識別することができる。工程７１０で、ＨＩＬＮ（溶血、黄疸、脂肪血症、および／または正常）分類の識別が行われる。例えば、コンピュータ１３６は、セグメント化された血清または血漿部分４０６ＳＰを分析し、それに応じて血清または血漿部分２０６ＳＰ（図２Ａおよび２Ｂ）を特性評価することができる。特性評価および／または特性評価に使用された画素の位置は、ディスプレイ１５０に表示される。
【0074】
工程６６８でのセグメント化に続いて、工程７１２で液体の定量が行われる。工程７１２での液体の定量は、血清または血漿部分２０６ＳＰ（図２Ａ～２Ｂ）の物理的位置、ならびにＬＡ、ＨＧ、ＧＵ、ＧＬ、ＨＳＰ、ＨＳＢ、ＨＴＯＴ、および／またはＨＴに関する位置および値など、標本１０６（図２Ａ～２Ｂ）のいくつかの物理的および／または寸法的特性の決定を含むことがある。これらの値、体積推定値、および／または位置のうちの１つまたはそれ以上が、上述したように特性の値および／または位置を決定するために１つまたはそれ以上のニューラルネットワークによって使用された画素の位置を示す位置と共にディスプレイ１５０に表示される。ゲルセパレータ２５２（図２Ａ～２Ｂ）およびエアギャップ２５４（図２Ａ～２Ｂ）など、標本１０６内の他の物体も特性評価される。
【0075】
工程６６８でのセグメント化の結果は、工程７１４で、ラベル１３４およびラベル１３４の位置（図２Ａ～２Ｂ）を識別するために使用することもできる。識別されると、ラベル１３４を読み取ることができる。例えば、ラベル１３４は、バーコードなどの識別情報２３４ｉ（図２Ａ～２Ｂ）を含むことがあり、識別情報２３４ｉは、工程７１４で、画像データを読み取るためのソフトウェアとして具現化されたバーコードリーダによって読み取られる。ラベル１３４の物理的状態を含むラベル情報は、ユーザおよびデータベースに伝送される。ディスプレイ１５０は、上述したように、ラベル１３４を分析するために１つまたはそれ以上のニューラルネットワークによって使用された画素の位置を表示することがある。
【0076】
工程７１６で、キャップ１４０（図２Ａ～２Ｂ）の特性評価が行われる。キャップ１４０の特性評価は、管１３８（図２Ａ～２Ｂ）がキャップを有するかどうかを決定すること、およびキャップを有する場合には、キャップ１４０のキャップタイプおよび／または色を決定することを含む。キャップ１４０のキャップタイプおよび色を含むキャップ情報は、ユーザに表示される。ディスプレイ１５０は、上述したように、キャップ１４０を分析するために使用される輪郭描出された画素の位置を表示することがある。例えば、活性化マップは、キャップ１４０を識別するために使用された画素をユーザに示すために、標本容器１０４を含む画像にオーバーレイされる。
【0077】
ここでさらに図８を参照する。図８は、標本容器（例えば標本容器１０４）内の標本（例えば標本１０６）を特性評価する方法８００を述べる流れ図を示す。方法８００は、工程８０２で、標本容器の１つまたはそれ以上の画像を取り込む工程を含み、１つまたはそれ以上の画像は、標本容器および標本の１つまたはそれ以上の物体を含み、１つまたはそれ以上の画像内の複数の画素から画素データが生成される。この方法は、工程８０４で、１つまたはそれ以上のニューラルネットワークを使用して、１つまたはそれ以上の物体のうちの１つまたはそれ以上の選択された物体を識別する工程を含む。この方法は、工程８０６で、標本容器の画像を表示する工程を含む。この方法は、工程８０８で、標本容器の画像上に、１つまたはそれ以上の選択された物体を識別するために１つまたはそれ以上のニューラルネットワークによって使用された画素の１つまたはそれ以上の位置を表示する工程を含む。
【0078】
特定の実施形態を参照して本開示を本明細書で述べるが、本開示は、記載される詳細に限定されることを意図されてはいない。本開示から逸脱することなく、本開示の等価形態の範囲内で、細部に様々な修正を施すことができる。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7】
【図8】