特許 7055818 畳み込みニューラルネットワークを用いたＨＩＬＮ評価方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-08

(45)【発行日】2022-04-18

(54)【発明の名称】畳み込みニューラルネットワークを用いたＨＩＬＮ評価方法及び装置

(51)【国際特許分類】

   G01N 21/27 20060101AFI20220411BHJP

   G01N 33/49 20060101ALI20220411BHJP

   G01N 35/00 20060101ALI20220411BHJP

   G06T 7/00 20170101ALI20220411BHJP

   G06N 3/04 20060101ALI20220411BHJP

【ＦＩ】

G01N21/27 A

G01N33/49 K

G01N35/00 Z

G06T7/00 350C

G06N3/04

【請求項の数】 19

(21)【出願番号】P 2019555658

(86)(22)【出願日】2018-04-10

(65)【公表番号】

(43)【公表日】2020-07-02

(86)【国際出願番号】 US2018026936

(87)【国際公開番号】W WO2018191287

(87)【国際公開日】2018-10-18

【審査請求日】2019-12-27

(31)【優先権主張番号】62/485,254

(32)【優先日】2017-04-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507269175

【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド

【氏名又は名称原語表記】ＳＩＥＭＥＮＳ ＨＥＡＬＴＨＣＡＲＥ ＤＩＡＧＮＯＳＴＩＣＳ ＩＮＣ．

(74)【代理人】

【識別番号】110003317

【氏名又は名称】特許業務法人山口・竹本知的財産事務所

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】サン，シャンフィ

(72)【発明者】

【氏名】クルックナー，シュテファン

(72)【発明者】

【氏名】チャン，ヤオ－ジェン

(72)【発明者】

【氏名】チェン，テレンス

(72)【発明者】

【氏名】ポラック，ベンジャミン エス．

【審査官】今浦 陽恵

(56)【参考文献】

【文献】国際公開第２０１６／１３３９００（ＷＯ，Ａ１）

【文献】特開２０１７－０４５３４１（ＪＰ，Ａ）

【文献】特表２０１４－５０４７３１（ＪＰ，Ａ）

【文献】特開２０１７－０５９２０７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２１３５９９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／６１

Ｇ０１Ｎ ３３／４８－３７／００

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

検体の血清又は血漿部分を含む検体容器の複数の画像を取得し、
該複数の画像を取得するときに、複数のスペクトルの各スペクトルごとに複数の異なる露光を適用して、前記スペクトルのそれぞれにおいて露光の異なる複数の画像を取得することを含み、
該複数の画像において選択した画素に基づく画像データを畳み込みニューラルネットワークへ入力し、該畳み込みニューラルネットワークで前記画像データを処理し、
溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする前記血清又は血漿部分の分類を前記畳み込みニューラルネットワークから出力する、ことを含む評価方法。

【請求項2】

前記複数の画像を取得するときに、赤、緑、及び青のスペクトルごとに異なる露光時間を適用する、請求項１に記載の評価方法。

【請求項3】

前記複数の画像は、複数の視点から取得され、該視点ごとに複数のスペクトルで複数の露光の画像を含む、請求項１に記載の評価方法。

【請求項4】

前記検体容器が、少なくとも１つの前記視点の一部を閉塞する１つ以上のラベルを有する、請求項３に記載の評価方法。

【請求項5】

前記畳み込みニューラルネットワークは、畳み込み及びプーリングを含む少なくとも２つの層と、少なくとも２つの追加の全畳み込み層とを含むアーキテクチャを備える、請求項１～４のいずれか１項に記載の評価方法。

【請求項6】

前記畳み込みニューラルネットワークは、逆畳み込み層を含むアーキテクチャを備える、請求項１～４のいずれか１項に記載の評価方法。

【請求項7】

前記畳み込みニューラルネットワークは、ソフトマックス層を含むアーキテクチャを備える、請求項１～４のいずれか１項に記載の評価方法。

【請求項8】

前記畳み込みニューラルネットワークは、畳み込み及びプーリングを含む少なくとも３つの層と、少なくとも２つの全畳み込み層と、逆畳み込み層と、ソフトマックス層とを含むアーキテクチャを備える、請求項１～４のいずれか１項に記載の評価方法。

【請求項9】

前記畳み込みニューラルネットワークは、畳み込み、ＬＲＮ、及びＲｅＬＵを含む複数の層と、全畳み込み層と、逆畳み込み層と、ソフトマックス層とを含む、請求項１～４のいずれか１項に記載の評価方法。

【請求項10】

前記血清又は血漿部分の分類が、溶血性、黄疸性、及び脂血性ごとにＮクラスの出力オプションを含む、請求項１～９のいずれか１項に記載の評価方法。

【請求項11】

前記血清又は血漿部分の分類が、溶血性、黄疸性、及び脂血性ごとに複数のきめ細かい指標の出力オプションを含む、請求項１～９のいずれか１項に記載の評価方法。

【請求項12】

前記血清又は血漿部分の分類が、溶血性、黄疸性、及び脂血性の１つ以上ごとにきめ細かい指標を出力することを含む、請求項１～９のいずれか１項に記載の評価方法。

【請求項13】

前記複数の画像を取得するときに、Ｒ、Ｇ、Ｂ、白色光、ＩＲ、及び近ＩＲの１つ以上のスペクトルをもつ光源によるバックライト照明を行う、請求項１～１２のいずれか１項に記載の評価方法。

【請求項14】

前記画像データが、複数の露光からの統合画素又はパッチデータを含む、請求項１～１３のいずれか１項に記載の評価方法。

【請求項15】

前記畳み込みニューラルネットワークは、Ｎ’クラスのセグメンテーションデータをさらに出力する、請求項１～１４のいずれか１項に記載の評価方法。

【請求項16】

前記畳み込みニューラルネットワークは、
Ｎ’クラスのセグメンテーション出力を含む第１のネットワーク分岐と、
溶血性、黄疸性、及び脂血性ごとにＮクラスの出力オプションクラスを含む第２のネットワーク分岐とを含む、請求項１～１４のいずれか１項に記載の評価方法。

【請求項17】

前記畳み込みニューラルネットワークは、
キャップタイプのｎクラスの出力オプションを含んだネットワーク分岐を含む、請求項１～１６のいずれか１項に記載の評価方法。

【請求項18】

検体の血清又は血漿部分を含む検体容器の複数の画像を取得するように構成され、該複数の画像を取得するときに、複数のスペクトルの各スペクトルごとに複数の異なる露光を適用して、前記スペクトルのそれぞれにおいて露光の異なる複数の画像を取得するように構成された画像取得装置と、
該画像取得装置に接続されたコンピュータとを備えた品質チェックモジュールであって、
前記コンピュータは、
前記複数の画像において選択した画素に基づく画像データを畳み込みニューラルネットワークへ入力して該畳み込みニューラルネットワークで前記画像データを処理し、
溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする前記血清又は血漿部分の分類を前記畳み込みニューラルネットワークから出力するように構成される、品質チェックモジュール。

【請求項19】

トラックと、
該トラックに沿って移動可能であり、検体の血清又は血漿部分を含む検体容器を収容するように構成されたキャリアと、
前記トラックに対し配置され、複数の視点から前記検体容器及び前記検体の血清又は血漿部分の複数の画像を取得するように構成され、該複数の画像を取得するときに、複数のスペクトルの各スペクトルごとに複数の異なる露光を適用して、前記スペクトルのそれぞれにおいて露光の異なる複数の画像を取得するように構成された画像取得装置と、
該画像取得装置に接続されたコンピュータとを有する検体検査装置であって、
前記コンピュータは、
前記複数の画像において選択した画素に基づく画像データを畳み込みニューラルネットワークへ入力して該畳み込みニューラルネットワークで前記画像データを処理し、
溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする前記血清又は血漿部分の分類を前記畳み込みニューラルネットワークから出力するように構成される、検体検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０１７年４月１３日出願の米国仮出願６２／４８５，２５４の優先権を主張し、その全内容は本明細書に援用される。

【0002】

本発明は、検体容器及び検体を評価する方法及び装置に関し、具体的には、検体が溶血（Ｈ）、黄疸（Ｉ）、及び脂血症（Ｌ）のいずれか１つ以上を含むのか、正常（Ｎ）なのかを判定する方法及び装置に関する。

【背景技術】

【0003】

自動化検査システムが、検体中の分析物、例えば尿、血清、血漿、間質液、脳脊髄液など、あるいは他の成分を同定すべく、１つ又は複数の試薬を用いる臨床化学検査又はアッセイ検査を実施するために、使用され得る。利便性や安全上の理由から、これらの検体は検体容器（例えば、採血管）内に収納される。分析又は検査反応は、検体中に存在する検体又は他の成分の濃度を判定するために読み取ったり処理することのできる、様々な変化を生じる。当該検体容器には、１つ以上のラベルが提供され得る。このラベルは、製造業者のラベルであったり、検体の識別や場合によっては検体に対し実施される検査の識別に寄与する識別情報を含むラベルを含む。ほとんどの場合、少なくとも１つのラベルがバーコード（以下、「バーコードラベル」という）として識別情報を含む。ラベルは、例えば粘着性の裏地材を有する紙で作ることができる。場合によっては、遠心分離中に沈降する血液部分を血清又は血漿部分から分離するのを助けるために、ゲルセパレータを検体容器に加えてもよい。

【0004】

自動化検査技術の進歩に伴い、分析前の検体調製と操作、例えば、ソーティング、バッチ処理調製、検体成分を分離するための検体容器の遠心分離、検体へのアクセスを容易にするためのキャップ除去、アリコート調製、及びラボラトリーオートメーションシステム（ＬＡＳ）の一部とし得る自動化システムによるＨＩＬＮのプレスクリーニング、が進歩している。ＬＡＳは、検体容器に入った検体を、１以上の分析前検体処理ステーションと、臨床化学分析装置やアッセイ機器（まとめて「分析装置」ともいう）を含む分析装置ステーションとに自動的に搬送することができる。

【0005】

このようなＬＡＳは、一度に多数の複数種類の検体を扱うことができ、追跡及びルーティング（搬送路決定）のためにバーコードラベルを使用する。バーコードラベルは、検査指定その他の情報と共に、ラボラトリーインフォメーションシステム（ＬＩＳ）に入力される人口統計情報と相関させることのできるコード及び受付番号を含み、ＬＩＳはＬＡＳと接続されている。ラベルを付した検体容器をオペレーターがＬＡＳに配置すると、ＬＡＳは、１つ以上の分析前操作のために当該検体容器を自動的に配送し、これら操作の全ては、ＬＡＳの一部である１つ以上の分析装置による臨床分析又はアッセイが実際に検体に実施される前に行われる。

【0006】

分画とその後の分析前処理の後、検体容器は、該検体容器から吸引によって血清又は血漿部分を抽出し、その血清又は血漿部分を反応容器（例えば、キュベットなどの容器）において１つ以上の試薬と組み合わせることのできる適切な分析装置に搬送される。分析測定は、例えば、検出放射のビームを使用して実施したり、測光又は蛍光測定の吸収読み取り値などを使用することによって実施することが多い。測定値は、終点値又は速度値の判定を可能にし、この値から、分析物その他の成分の濃度が周知の技術を用いて判定される。

【0007】

残念ながら、患者の状態又は検体処理の結果として、検体中に干渉物質（例えば、Ｈ、Ｉ、Ｌのいずれか１つ以上）が存在すると、１つ又は複数の分析器から得られた分析物の検査結果や成分測定値に悪影響を及ぼす可能性がある。例えば、患者の病態とは無関係である検体中の溶血の存在が、患者の病態の違った解釈を引き起こすことがある。さらに、検体中に黄疸や脂血症が存在すると、患者の病態の解釈が違ってしまうこともある。

【0008】

従来技術のシステムの中には、熟練の検査技師が、検体の血清又は血漿部分の完全性（信頼性）を視覚的に検査し、（例えば、インデックスと関連させることによって）Ｈ、Ｉ、Ｌの程度について評価し、正常（Ｎ）であることを示すものもある。これには、既知の基準に対する血清又は血漿部分の色の評定が含まれる。正常（Ｎ）な血清又は血漿部分は淡黄色～淡褐色である。溶血（Ｈ）を含む血清又は血漿部分は赤色を呈する。黄疸（Ｉ）を含む血清又は血漿部分はビリルビンの上昇により暗黄色を呈し、脂血症（Ｌ）を含む血清又は血漿部分は白色又は乳白色の外観を呈する。色に応じて検査技師は、干渉物の種類とインデックス値を割り当てる。しかし、熟練者であっても、このような目視検査は非常に主観的で、労働集約的で、ヒューマンエラーの可能性を伴う。

【0009】

手動式検査には上記のような問題点があるため、検査技師による目視検査を利用するのではなくて、分析前検査（「事前スクリーニング」ともいう）中に同様の評価を行える自動化機械視覚（マシンビジョン）検査装置を用いることによって、検体の完全性を評価する試みがなされてきた。事前スクリーニングは、分画（例えば、遠心分離による）によって全血から得られた血清又は血漿部分中の、Ｈ、Ｉ、Ｌなどの干渉物の自動検出を含む。

【0010】

これに関し、１つ以上の上述のラベルが検体容器に直接提供（例えば、接着）される例がある。このようなラベルが検体の側方視界を部分的に閉塞して不明瞭にする結果、血清又は血漿部分を視覚的に観察する明確な機会を提供し得ない方向がいくつか存在することがある。したがって、上記事前スクリーニングの自動化は、例えば、Ｈ、Ｉ、Ｌ、又はＮについての自動化事前スクリーニングを可能にするべく検体を回転させ向きを整えることを含む。

【0011】

例えば、特許文献１に開示されているように、検体容器を回転させて、ラベルによって妨げられないビューウィンドウを見つけ、その後に撮像を行うシステムがある。

【0012】

また、特許文献２に開示されているように、検体容器の回転を必要としないように検体容器及び検体を複数の視点から撮像してモデルベースの方式で処理するシステムもある。

【0013】

場合によっては、血清又は血漿部分のごく一部しか見えないことがあり、この場合、血清又は血漿部分について得られたＨ、Ｉ、Ｌ、又はＮの読み取り値の信頼レベルは高くない。さらに、このようなシステムは複雑であり且つ画像データ処理の計算負荷が高い。

【0014】

したがって、Ｈ、Ｉ、及び／又はＬの存在、又はＮを判定することができるように検体の血清又は血漿部分を評価するように構成された、ロバストで効率的な方法及び装置に対する要請が未だ存在する。

【先行技術文献】

【特許文献】

【0015】

【文献】米国特許：ＵＳ９，３２２，７６１；Miller；Methods And Apparatus For Ascertaining Interferents And Physical Dimensions in Liquid Samples And Containers To Be Analyzed By A Clinical Analyzer

【文献】国際公開：ＷＯ２０１６／１３３９００；Park et al.

【発明の概要】

【0016】

第１の態様によれば、評価方法が提供される。この評価方法は、検体の血清又は血漿部分を含む検体容器の複数の画像を取得し、該複数の画像において選択した画像に基づく画像データを畳み込みニューラルネットワークへ入力し、この畳み込みニューラルネットワークでその画像データを処理し、当該畳み込みニューラルネットワークから、溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする血清又は血漿部分の分類を出力する、ことを含む。

【0017】

別の態様によれば、検体容器に入った検体における干渉物の存在を判定するように構成された品質チェックモジュールが提供される。この品質チェックモジュールは、検体の血清又は血漿部分を含む検体容器の複数の画像を取得するように構成された画像取得装置と、該画像取得装置に接続されたコンピュータとを備え、そのコンピュータは、複数の画像において選択した画素に基づく画像データを畳み込みニューラルネットワークへ入力して該畳み込みニューラルネットワークで画像データを処理し、当該畳み込みニューラルネットワークから、溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする血清又は血漿部分の分類を出力するように構成されて動作可能である。

【0018】

別の態様では、検体容器に入った検体における干渉物の存在を判定するように構成された検体検査装置が提供される。この検体検査装置は、トラックと、該トラックを移動可能であり、検体の血清又は血漿部分を含む検体容器を収容するように構成されたキャリアと、トラックの周囲に配置され、複数の視点から検体容器及び検体の血清又は血漿部分の複数の画像を取得するように構成された画像取得装置と、該画像取得装置に接続されたコンピュータとを含み、そのコンピュータは、複数の画像において選択した画素に基づく画像データを畳み込みニューラルネットワークへ入力して該畳み込みニューラルネットワークで画像データを処理し、当該畳み込みニューラルネットワークから、溶血性、黄疸性、脂血性、及び正常の１つ以上であるとする血清又は血漿部分の分類を出力するように構成されて動作可能である。

【0019】

本発明のさらに他の態様、特徴及び利点は、本発明を実施するために考えられる最良の形態を含む多くの例示的な実施の形態を示した以下の説明から明らかになる。本発明は、他の異なる実施形態も可能であり、そのいくつかの詳細は、本発明の範囲から逸脱することなく、様々な点で変更してもよい。本開示は、特許請求の範囲に入る全ての修正、等価、及び代替の形態をカバーすることを意図している。

【図面の簡単な説明】

【0020】

以下の図面は、説明を目的とするものであり、必ずしも一定の縮尺で描かれているわけではない。図面及び説明は、本質的に例示的であると見なされるべきであり、限定的とみなされるべきではない。図面は、本発明の範囲を限定する意図をもってはいない。

【図1】１つ以上の実施形態に係る、ＨＩＬＮ検出方法を実行するように構成された１つ以上の品質チェックモジュールを含む検体検査装置の概略平面図を示す。

【図2】干渉物を含有する血清又は血漿部分のある分離後の検体を入れた検体容器の側面図であり、検体容器にはラベルがある。

【図3A】干渉物を含有する血清又は血漿部分のある分離後の検体とゲルセパレータとが入った、ラベル付の検体容器の側面図を示す。

【図3B】干渉物を含有する血清又は血漿部分のある分離後の検体とゲルセパレータとが入った、ラベル付の検体容器の側面図を示し、図示の検体容器は、ホルダにより直立状態で保持されている。

【図4A】複数の視点をもち、複数のバックライト画像を取得及び分析して干渉物の存在を判定することが可能であるように構成される、１つ以上の実施形態に係る品質チェックモジュールの概略平面図（天井が取り除かれている）を示す。

【図4B】図４Ａの切断線４Ｂ－４Ｂに沿って切り取った、１つ以上の実施形態に係る図４Ａの品質チェックモジュールの概略側面図（前方囲繞壁が取り除かれている）を示す。

【図5A】検体中のＨ、Ｉ、Ｌの存在、又はＮを判定するように構成されたＣＮＮをもつ、１つ以上の実施形態に係る品質チェックモジュールの機能構成要素のブロック図を示す。

【図5B】Ｎクラスの溶血性、Ｎクラスの黄疸性、Ｎクラスの脂血性の存在、又はＮを判定するように構成されたＣＮＮをもつ、１つ以上の実施形態に係る別の品質チェックモジュールの機能構成要素のブロック図を示す。

【図5C】Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３の存在、又はＮを判定するように構成されたＣＮＮの１つのアーキテクチャを示す、１つ以上の実施形態に係る別の品質チェックモジュールの機能構成要素のブロック図を示す。

【図5D】Ｎ’クラスのセグメンテーションの存在を、Ｎクラスの溶血性、Ｎクラスの黄疸性、Ｎクラスの脂血性、又はＮと共に判定するように構成されたＣＮＮをもつ、１つ以上の実施形態に係る別の品質チェックモジュールの機能構成要素のブロック図を示す。

【図5E】Ｎ’クラスのセグメンテーションを判定するための第１の分岐と、ＮクラスのＨＩＬＮを判定するための第２の分岐とからなる２つの分岐をもつように構成されたＣＮＮのアーキテクチャを示す、１つ以上の実施形態に係る品質チェックモジュールの機能構成要素のブロック図を示す。

【図5F】Ｎ’クラスのセグメンテーション、ＮクラスのＨＩＬＮ、及びｎクラスのキャップタイプを判定するように構成された３分岐ＣＮＮアーキテクチャのアーキテクチャを示す、１つ以上の実施形態に係る別の品質チェックモジュールの機能構成要素のブロック図を示す。

【図5G】４クラスのＨＩＬＮを判定するように構成されたＣＮＮアーキテクチャをもつ、１つ以上の実施形態に係る別の品質チェックモジュールの機能構成要素のブロック図を示す。

【図6A】１つ以上の実施形態に係る第１の視点からの第１の画像を示す。

【図6B】１つ以上の実施形態に係る第２の視点からの第２の画像を示す。

【図6C】１つ以上の実施形態に係る第３の視点からの第３の画像を示す。

【図6D】１つ以上の実施形態に係る異なる視点を説明する概略平面図を示す。

【図7】１つ以上の実施形態に係る、検体中のＨ、Ｉ、Ｌ、又はＮを判定する方法のフローチャートを示す。

【発明を実施するための形態】

【0021】

検体容器に入った検体の事前分析評価（事前スクリーニング）の間に、例えば、品質チェックモジュールにおいて、血清又は血漿部分におけるＨ、Ｉ、及び／又はＬ、又はＮ（「ＨＩＬＮ」）などの干渉物の存在を判定する方法が提供される。本方法は、ＨＩＬＮ、又はＮクラスのＨ（例えば、Ｈ１、Ｈ２、Ｈ３、又はそれ以上）、ＮクラスのＩ（例えば、Ｉ１、Ｉ２、Ｉ３、又はそれ以上）、及びＮクラスのＬ（例えば、Ｌ１、Ｌ２、Ｌ３、又はそれ以上）のいずれか１つ以上、又はＮをまさに判定することができ、さらに、本方法は、血清又は血漿部分、沈降血液部分、ゲルセパレータ（使用される場合）、ラベル、検体容器（例えば、チューブ）、空気、キャップなどの検体容器及び検体の様々な領域を分類（セグメンテーション（セグメント化））することができる。ホルダ又は背景色も分類可能である。１つ以上のラベルが検体容器の周囲を様々な程度で包み込むことがあるので、１つ以上のラベルを含む領域からの血清及び血漿部分の識別は、特に面倒な問題である。すなわち、１つ以上のラベルが１つ以上の視野を不明瞭にすることがあり、その結果、血清又は血漿部分の明瞭な視界を得ることが困難であり得る。

【0022】

血清又は血漿部分の分類は、事前スクリーニングする１つの検体容器とその次の検体容器の間で位置が実質的に変化し得る１つ以上のラベルからの干渉に起因して、非常に困難なことがある。特に、１つ以上のラベルが裏側に現れることで表側で受光する光透過率に影響を及ぼす場合に、１つ以上のラベルに起因する妨害は、例えば各視点からのスペクトル応答に大きく影響する可能性がある。

【0023】

さらに言えば、品質チェックモジュール及び方法は、計算効率の良いことが望ましい。前述の課題を考慮すると、第１の広い態様において、本実施形態は、畳み込みニューラルネットワーク（ＣＮＮ）を使用してＨＩＬＮの存在を判定するように構成された方法、装置、及びシステムを提供する。

【0024】

ＣＮＮへの入力は、マルチスペクトル、マルチ露光の画像データであり、該データは、統合されて正規化されるものであって、１つ以上の画像取得装置から得られる。１つ以上の画像取得装置は、２つ以上の視点（例えば、３つの視点）から画像を取得するように配置及び構成された複数の画像取得装置とすることができる。一実施形態において、ＣＮＮはラベルによって閉塞された領域を認識するように訓練され、これによりＣＮＮは、ＨＩＬＮを評価するときの視点から背面のラベルの存在をよりはっきりさせることができる。

【0025】

結果として、ラベル妨害が存在する場合に血清又は血漿領域のより効果的な分類が利用可能となり、ラベルによって閉塞される血清又は血漿部分の領域に関する強度読み取り値の信頼性が改善される。したがって、改善したＨＩＬＮの判定やＨＩＬの程度がＣＮＮから出力される。

【0026】

一実施形態によれば、評価方法は、畳み込みニューラルネットワーク（ＣＮＮ）を備えた、品質チェックモジュールによって、そして検体検査システムにおいて、実行することができる。ＣＮＮは、単純な辺縁、テクスチャ、血清又は血漿部分の一部、及びラベルを含んだ領域などの特徴を抽出するために畳み込み及びプーリングを含んだ層をもつ。全畳み込み層などの最上層は、部分間の相関を提供するために使用される。最終結合層の出力は、逆畳み込み層及びソフトマックス層に供給され、逆畳み込み層及びソフトマックス層は、各画素又はパッチがＨＩＬＮを含むかどうかに関して、画素ごと（又はパッチごと－ｎ×ｎ画素を含む－）のベースで出力を生成する。一実施形態において、ＨＩＬＮの出力のみがＣＮＮから提供される。他の実施形態において、ＣＮＮの出力は、Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３、又はＮなどのきめ細かいＨＩＬＮであり、この場合、各干渉物の存在について、干渉物のレベル（指数）の推定値も得られる。

【0027】

一実施形態において、セグメンテーション出力及びＨＩＬＮ出力の組み合わせが提供される。該出力は、ＣＮＮの複数の分岐から生じる。分岐は、別々の畳み込み層と逆畳み込み及びソフトマックス層とを含み、一方の分岐はセグメンテーション専用とし、他方の分岐はＨＩＬＮ検出専用とすることができる。ＨＩＬＮ、セグメンテーション、及びキャップタイプ検出を含む多分岐実施形態も提供され得る。

【0028】

［定義］
本明細書で使用する「干渉物」は、検体の血清又は血漿部分における溶血（Ｈ）、黄疸（Ｉ）、及び脂血（Ｌ）の少なくとも１つの存在を意味する。溶血（Ｈ）、黄疸（Ｉ）、及び脂血（Ｌ）は、まとめて「ＨＩＬ」ともいう。

【0029】

「溶血」は、処理中に赤血球が破壊されて赤血球から血清又は血漿部分へヘモグロビンが放出され、血清又は血漿部分が赤みを帯びた色を呈する、血清又は血漿部分の状態として定義される。溶血の程度は、溶血指数を割り当てることによって定量化することができる。

【0030】

「黄疸」は、胆汁色素（ビリルビン）の蓄積により血清又は血漿部分が変色して暗黄色になる血液の状態と定義される。黄疸の程度は、黄疸指数を割り当てることによって定量化することができる。

【0031】

「脂血」は、血清又は血漿部分が白っぽい又は乳状の外観をもつような、異常に高濃度の乳化脂肪の血中存在として定義される。脂血の程度は、脂血指数を割り当てることによって定量化することができる。

【0032】

「正常」は、許容可能な低量のＨ、Ｉ及びＬを含んだ血清又は血漿部分と定義される。

【0033】

「血清又は血漿部分」は血液の液体成分である。これは、（例えば、遠心分離による）分画後に沈降した血液部分の上に見出される。血漿及び血清は、凝固成分、主にフィブリノーゲンの含有量が異なる。血漿は凝固していない液体であり、血清は内因性酵素又は外因性成分の影響下で凝固した血漿を意味する。

【0034】

「沈降血液部分」は、白血球、赤血球、血小板などの血球が凝集して血清又は血漿部分から分離され、半固形物として凝集したものをいう。沈降血液部分は、分画後の血清又は血漿部分の下にある検体容器の底部に見出される。

【0035】

「画像取得装置」は、デジタルカメラ、ＣＣＤ（電荷結合素子）及びＣＭＯＳ（相補型金属酸化物半導体）、センサアレイなど、分析のために画素化画像（例えば、デジタル画像）を取得することができるデバイスである。

【0036】

本明細書で使用する「画素化画像」は、１画素又は画素を１つ以上含むスーパーピクセルや画像パッチ（パッチ）などの画素のグループを含む画像を意味する。

【0037】

「ラベル」は、識別情報（すなわち、標識）を含むように構成された検体容器の外側表面の領域として定義される。ラベルは、不透明な紙、プラスチック、塗料、又は検体容器の外面に塗布（例えば、接着）された他の材料であってよい。ラベルは、バーコード、アルファベット、数字、又はそれらの組み合わせで構成し得る。ラベルは、製造業者のラベルであるか、あるいは、瀉血者によって、又は後続の検体処理者によって、後に適用される、バーコードを含むラベルである。

【0038】

「ＬＡ」は、液体－空気界面として定義され、血清又は血漿部分と、血清又は血漿部分より上の空気との間の境界線（側方から見た）である。

【0039】

「ＳＢ」は、血清－血液界面であり、血清又は血漿部分と沈降血液部分との間の境界線（側方から見た）である。

【0040】

「ＴＣ」は、管－キャップ界面であり、空気とキャップとの間の境界線（側方から見た）である。

【0041】

「ＨＴ」は、管の高さであり、管の最下部からキャップの底部までの高さとして定義される。

【0042】

「ＨＳＰ」は、ゲルセパレータが使用されていない場合は、血清又は血漿部分の高さであって、血清又は血漿部分の上端から沈降血液部分の上端までの高さ、すなわちＬＡからＳＢまでの高さとして定義される。

【0043】

「ＨＳＰ」は、ゲルセパレータが使用されている場合（図３Ａ）は、血清又は血漿部分の高さであって、血清又は血漿部分の上端ＬＡからゲルセパレータの上端ＳＧまでの高さ、すなわちＬＡからＳＧまでの高さとして定義される。

【0044】

「ＨＳＢ」は、ゲルセパレータが使用されていない場合は、沈降血液部分の高さであって、沈降血液部分の下端から沈降血液部分の上端ＳＢまでの高さとして定義される。

【0045】

「ＨＳＢ」は、ゲルセパレータが使用されている場合は、沈降血液部分の高さであって、沈降血液部分の下端からゲルセパレータの下端ＢＧまでの高さとして定義される。

【0046】

「ＨＴＯＴ」は、ゲルセパレータが使用されていない場合は、検体の全高であって、ＨＳＰ＋ＨＳＢに等しい。

【0047】

「ＨＴＯＴ」は、ゲルセパレータが使用されている場合は、検体の全高であって、ＨＳＰ＋ＨＳＢ＋ゲルセパレータの高さに等しい。

【0048】

「Ｔｗ」は、検体容器の壁厚である。

【0049】

「Ｗ」は、検体容器の外径である。

【0050】

「Ｗｉ」は検体容器の内径である。

【0051】

「キャリア」は、例えばラボラトリーオートメーションシステム（ＬＡＳ）の中で検体容器を支持し搬送するように構成された装置である。

【0052】

「ＶＳＰ」は、検体容器中の血清又は血漿部分の量（ボリューム）である。

【0053】

「ＶＳＢ」は、検体容器中の沈降血液の量（ボリューム）である。

【0054】

本明細書で使用する「溶血指数」は、血清又は血漿部分に存在する溶血の判定された含有量（程度又は量）に基づいて該当検体に与えられる等級を意味する。

【0055】

本明細書で使用する「黄疸指数」は、血清又は血漿部分中に存在する黄疸の判定された含有量（程度又は量）に基づいて該当検体に与えられる等級を意味する。

【0056】

本明細書で使用する「脂血指数」とは、血清又は血漿部分に存在する脂血の判定された含有量（程度又は量）に基づいて血清又は血漿部分に与えられる等級を意味する。

【0057】

本明細書で使用する「畳み込み」は、フィルタカーネルを学習して適用する処理ステップを意味する。フォワードパスの間、フィルタは、ドット積（点乗積）を計算することによって入力画像データに適用される。この結果、そのフィルタの活性化マップが作成される。したがって、当ネットワークは、該処理が入力画像データ内のある空間位置である特定のタイプの特徴を検出したときに起動するフィルタを学習する。

【0058】

本明細書で使用する「プーリング」は、非線形ダウンサンプリングを実行する処理ステップを意味する。典型的には、最大プーリングが適用される。最大プーリングは、表現の非重複サブ領域に最大フィルタを適用することによって達成される。

【0059】

本明細書で使用する「逆畳み込み」は、畳み込みの逆転を意味する。逆畳み込みは、ターゲット画像次元に向かう学習済みアップサンプリングステップに相当する。

【0060】

本明細書で使用する「ソフトマックス」は、Ｎ個の相互排他的クラスの単一クラスを予測するために用いられる損失である。

【0061】

本明細書で使用する「ＲｅＬＵ」は、整流線形単位を意味し、飽和を伴わずに活性化関数を適用する処理ステップである。ＲｅＬＵは、該当する畳み込み層の受容野に影響を及ぼすことなく、決定関数及びＣＮＮ全体の非線形特性を増加させる。

【0062】

本明細書で使用する「ＬＲＮ」は、局所応答正規化を意味し、側方抑制を実行する処理ステップである。このＬＲＮ層は、非結合活性化を克服するためにＲｅＬＵが使用される場合に有用である。したがって、ＬＲＮを用いて、正規化が適用される。

【0063】

上述のように、血清又は血漿部分中に１つ以上の干渉物（Ｈ、Ｉ、Ｌ）が存在すると、１つ以上の分析装置によるその後の検査（例えば、臨床化学検査又は分析検査）の結果の解釈に影響を及ぼす可能性がある。したがって、例えば遠心分離の後で１つ以上の分析装置による分析の前など、第１の可能な場合にＨＩＬＮを事前スクリーニングする能力は、分析に適切な品質ではない検体を分析する無駄な時間を最小限にすることができ、誤った検査結果を回避又は最小限にすることができ、患者の検査結果の遅延を最小限にすることができ、患者の検体の無駄を回避することができる、などのメリットがある。さらに、一実施形態において、検体中にＨ、Ｉ、Ｌを検出した事前スクリーニングの後に、修復処置を行うことができる。

【0064】

本明細書で言う検体は、採血管などの検体容器に収集され、分画（例えば、遠心分離による分離）後に沈降血液部分と血清及び血漿部分を含む。検体容器によっては、遠心分離中に沈降した血液部分と血清又は血漿部分との間にゲルセパレータを配置することができる。ゲルセパレータは、２つの部分（液体及び半固体の沈降赤血球）の間の物理的障壁として働き、それらの再混合を最小限に抑えることができる。検体容器は、異なるサイズであってもよく、したがって、多くの異なる構成で、事前スクリーニングのためと分析装置へ供給され得る。例えば、検体容器は、１３ｍｍ×７５ｍｍ、１３ｍｍ×１００ｍｍ、１６ｍｍ×１００ｍｍ、１６ｍｍ×１２５ｍｍなどのサイズをもち得る。他の適切なサイズも使用可能である。

【0065】

一実施形態に係る、ＣＮＮを含む評価方法は、１つ以上のラベルのより詳細な評価を提供する。一実施形態において、改良された評価方法は、ラベルのある領域によって閉塞される血清又は血漿部分のより良好な評価を提供する。この方法は、バックライトがラベルによって不明瞭にされる領域において、血清又は血漿部分のより良い分類を提供できる。すなわち、改良された干渉物検出が提供される。この方法は、ＣＮＮへの入力として検体容器及び血清又は血漿部分のハイダイナミックレンジ（ＨＤＲ）画像処理を使用する。ＨＤＲ撮像は、複数のスペクトル照明を使用して複数の露光像を取得することを含む。

【0066】

一実施形態において、品質チェックモジュールは、本実施形態に係る評価方法を実行するように構成される。品質チェックモジュールは、ロボット機構（例えば、グリッパフィンガーロボット）又はトラックが検体容器を当該モジュールへ容易に搬送できる適切な領域に提供される。一実施形態において、品質チェックモジュールは、検体検査装置のトラック上に又はトラックに沿って提供することができる。トラックは、検体が事前スクリーニングで正常（Ｎ）と判定された場合、該検体をスクリーニング前の場所と、分析装置で分析（例えば、臨床化学検査又はアッセイ）するための１つ以上の離れた場所へ、搬送する。

【0067】

一実施形態において、品質チェックモジュールは、トラックに留まっている間に干渉物の存在に関する検査（ＨＩＬＮに対する検査）が完了するように、トラックに直接提供される。一実施形態において、検体容器は、検体容器ホルダ（単に「ホルダ」ともいう）によって直立姿勢で保持される。ホルダは、画像取得中に検体容器を保持するフィンガー又は他の適切な構造を含む。一実施形態において、ホルダは、キャリア（搬送器）の一部であり得る。

【0068】

検体がＨ、Ｉ、及びＬの１つ以上を含むことが分かった場合は、適切な通知がオペレーターに提供され、そして、Ｈ、Ｉ、Ｌをさらに定量化して存在する干渉物の程度をより正確に測定するために、やり直しのために、又は他の処理のために、Ｈ、Ｉ、及びＬの１つ以上を是正する改善処置を実行するべくオフラインとされる。

【0069】

ここに開示する評価方法は、画像ベース、すなわち、画素化画像（例えば、デジタル画像）に基づく。一実施形態において、画像は、複数の視点（例えば、複数の側方視点）から画像を取得するように配置される複数の画像取得装置によって獲得する。複数の画像は、品質チェックモジュールで獲得することができ、異なる公称波長をもつ複数のスペクトルで照明を提供し（例えば、バックライト）、複数の露光（例えば、露光時間）で取得する。照明の複数のスペクトルは、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）、白色（Ｗ）、赤外線（ＩＲ）及び近赤外（ＮＩＲ）の放射光とし得る。一実施形態において、Ｒ、Ｇ、及びＢの光源のみが使用される。照明はバックライト照明とし、画像取得装置を片側に配置すると共にバックライト光源を検体容器を挟んで反対両側に配置する。露光時間は、使用する照明強度及びスペクトルと画像取得装置の性能に基づいて変え得る。複数の露光時間（例えば、４～８種類の異なる露光）が、各スペクトルに対してと各画像取得装置に対して（各視点に対して）使用される。

【0070】

前処理操作において、特定のスペクトルの（異なる露光時間の）複数の取得画像の各対応する画素（又はパッチ式処理であればパッチ）に関して、最適な画像強度を示している画素（又はパッチ）を選択することができる。最適画像強度を示している当該選択画素（又はパッチ）も正規化される。その結果、複数の統合及び正規化したカラー画像データセット、すなわち、照明の異なるスペクトル（例えば、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、及びＮＩＲのいずれか）ごと及び視点ごとに１つの画像データセットとなる。これらのデータセットは、層としてデータ行列の態様で提供され、ＨＩＬＮを判定するためにＣＮＮによって使用される。一実施形態において、ＨＩＬＮの判定のみがＣＮＮの出力として提供される。他の実施形態では、該出力は、ＮクラスのＨＩＬＮ （例えば、３クラスのＨＩＬＮ）である。別の実施形態では、ＨＩＬＮ及びセグメンテーションの組み合わせがＣＮＮから出力される。セグメンテーションは、他のクラス（例えば、沈降血液部分、ラベル、ゲルセパレータ、管、キャップ、空気のいずれか１つ以上）と共に、血清又は血漿部分として分類される画素又はパッチを判定する。

【0071】

ＨＩＬＮ検出において、ＣＮＮは、ＨＩＬＮのクラスに関するデータを画素データごと（又はパッチごと）に出力する。このデータはヒストグラムとして出力され、ＨＩＬＮについて血清又は血漿部分の全体的な評価を判定するために使用される。画素ごとの（又はパッチごとの）ベースで出力されるデータは、血清又は血漿部分のＨＩＬＮの全体的な判定を行うために適切な手段によって集計される。ＨＩＬＮ出力は、検体をはじき出すこと、検体のさらなる処理を提供すること、検体のやり直し（再吸引）を要求すること、ＨＩＬＮ評価における不確実性のレベルの指標を提供することなど、さらなる判断を行うために使用される。

【0072】

上述のように、検体容器における１つ以上のラベルの存在が、取得画像の強度値に影響を及ぼす。例えば、１つの視点から見て検体容器の背後に位置するラベルの存在は、血清又は血漿部分を通過するバックライトを隠し、したがって、当該視点において画像取得装置によって測定される画像強度に影響を及ぼす。画像データを処理するＣＮＮを含む本実施形態は、閉塞領域を認識するように事前に訓練されることによって、このようなラベルの存在を確認する。すなわち、本実施形態は、選択視点においてラベル妨害が生じた領域からの血清又は血漿部分について画像強度のより良好でより正確な評定を提供する。この改善された評価から、ＨＩＬＮのより正確な判定が提供され得る。

【0073】

さらに、血清又は血漿部分のより正確な評価に基づいて、一実施形態においては、少なくとも干渉物のタイプ又は干渉物のレベル（干渉物指数）の改善された判定が提供される。一実施形態において、ＣＮＮは、干渉物のレベル（指数）を出力する。例えば、きめ細かいＮクラスの出力が干渉物タイプと干渉物レベルの測定値も含む。例えば、溶血指数の３つのレベル（例えば、Ｈ１、Ｈ２、Ｈ３など）がＣＮＮから出力可能である。同様に、黄疸指数及び脂血指数も、ＣＮＮから出力可能な３つのレベル（例えば、Ｉ１、Ｉ２、Ｉ３及びＬ１、Ｌ２、Ｌ３）をもち得る。他の数の干渉物レベルも提供し得る。

【0074】

本発明に係る評価方法、評価方法を実行するように構成された品質チェックモジュール、及び１つ以上の品質チェックモジュールを含む検体検査装置について、図１～図７を参照して詳述する。

【0075】

図１は、検体２１２を含む複数の検体容器１０２（例えば、図２～図３Ｂ参照）を自動的に処理することができる検体検査装置１００を示す。検体容器１０２は、検体検査装置１００の周囲に配置された１つ以上の分析装置（例えば、第１、第２、第３の分析装置１０６，１０８，１１０）へ搬送され分析される前に、装填区域１０５にある１つ以上のラック１０４に提供される。より多数の又はより少数の分析装置を使用することができる。分析装置は、複数の臨床化学分析器アナライザやアッセイ機器などの組み合わせでもよい。検体容器１０２は、検体２１２を収容して撮像することが可能である適切な透明又は半透明の容器で、例えば、採血管、試験管、サンプルカップ、キュベット、又は、他の透明又は不透明のガラス又はプラスチック容器などである。検体容器１０２のサイズは様々である。

【0076】

検体２１２（図２～図３Ｂ）は、キャップ２１４で蓋をすることの可能な検体容器１０２に入れて検体検査装置１００に提供される。キャップ２１４には異なる種類（例えば、赤色、ロイヤルブルー、ライトブルー、青、灰色、黄褐色、黄色、又は色の組み合わせ）があり、これらは、検体容器１０２に適用される検査、検体容器１０２に含まれる添加剤の種類、検体容器１０２がゲルセパレータを含むか否かといったことに関して意味をもつ。他の色も使用され得る。一実施形態において、キャップタイプは、ここに説明する評価方法によって判定される。

【0077】

検体容器１０２の各々には、バーコード、アルファベット、数字、又はそれらの組み合わせなどとした容器に関する識別情報２１８ｉ（すなわち、標識）を含むラベル２１８を付してある。識別情報２１８ｉは、検体検査装置１００の周囲の様々な位置で機械的に読み取り可能である。この機械可読情報は、容易に撮像できるように、ラベル材料（例えば、白紙）よりも暗く（例えば、黒）してある。識別情報２１８ｉは、例えば、ラボラトリーインフォメーションシステム（ＬＩＳ）１４７を介して、患者の識別と共に検体２１２に行われるべき検査又はその他の情報を示すか、又は、これに相関させてある。このような識別情報２１８ｉは、管２１５の外側表面に貼り付けられるか又はその他の方法で提供されるラベル２１８において提供される。図２に図示の実施形態では、ラベル２１８は、検体容器１０２の周囲全体又は検体容器１０２の全長にわたっては延伸しておらず、図示の正面視点から、血清又は血漿部分２１２ＳＰの大部分（破線で示される部分）が見え、ラベル２１８によって妨害されていない。

【0078】

他の実施形態では、複数のラベル２１８が（検体容器１０２を取り扱った複数の施設から）提供されていて、それらがある程度まで互いに重なり合っている。例えば、２つのラベル（例えば、製造業者のラベル及びバーコードラベル）が提供されて互いに重なっていて、１つ以上の視点のいくつか又は全てを閉塞（妨害）する。

【0079】

すなわち、一実施形態においてラベル２１８は、検体２１２のいくつかの部分を閉塞（閉塞部分）する一方、検体２１２のいくつかの部分と血清及び血漿部分２１２ＳＰは、少なくとも１つの視点から見ることができる（非閉塞部分）ということである。一実施形態によれば、本実施形態に係る評価方法を実施するように構成されたＣＮＮは、これら閉塞部分及び非閉塞部分を認識するように訓練することができ、その結果、改善されたＨＩＬＮ検出が提供される。

【0080】

再び図２を参照して、検体２１２は、管２１５の中で、血清又は血漿部分２１２ＳＰと沈降血液部分２１２ＳＢとを含む。空気２１６が血清及び血漿部分２１２ＳＰの上方にあり、これらの間の境界線が液体－空気界面（ＬＡ）として定義される。血清又は血漿部分２１２ＳＰと沈降血液部分２１２ＳＢとの間の境界線は、血清－血液界面（ＳＢ）として定義される。空気２１６とキャップ２１４との間の境界線は、管－キャップ界面（ＴＣ）として定義される。管の高さ（ＨＴ）は、管２１５の下端からキャップ２１４の下端までの高さとして定義され、管のサイズを判定するために使用される。血清又は血漿部分２１２ＳＰの高さ（ＨＳＰ）は、沈降血液部分２１２ＳＢの上端から血清又は血漿部分２１２ＳＰの上端までの高さとして定義される。沈降血液部分２１２ＳＢの高さ（ＨＳＢ）は、沈降血液部分２１２ＳＢの下端から沈降血液部分２１２ＳＢの上端ＳＢまでの高さとして定義され、検体２１２の全高（ＨＴＯＴ）は、ＨＳＰ＋ＨＳＢに等しい。

【0081】

ゲルセパレータ３１３が使用される場合（図３Ａ）、血清又は血漿部分２１２ＳＰの高さ（ＨＳＰ）は、血清又は血漿部分２１２ＳＰの上端ＬＡからゲルセパレータ３１３の上端ＳＧまでの高さとして定義され、血清又は血漿部分２１２ＳＰとゲルセパレータ３１３との間の界面がＳＧである。沈降血液部分２１２ＳＢの高さ（ＨＳＢ）は、沈降血液部分２１２ＳＢの下端からゲルセパレータ３１３の下端ＢＧまでの高さとして定義され、沈降血液部分２１２ＳＢとゲルセパレータ３１３との間の界面がＢＧである。検体２１２の全高（ＨＴＯＴ）は、ＨＳＰ＋ＨＳＢ＋ゲルセパレータ３１３の高さに等しい。いずれの場合も、Ｔｗは壁の厚さであり、Ｗは外径であり、これらは検体容器１０２のサイズを判定するためにも使用され、Ｗｉは検体容器１０２の内径である。

【0082】

より詳細に、検体検査装置１００は、トラック１２１が搭載される基盤１２０（例えば、フレーム、床、又は他の構造）を含む。トラック１２１は、レールトラック（例えば、モノレール又は複軌条レール）、コンベヤベルトの集合体、コンベヤチェーン、可動プラットフォーム、又は他の適切なタイプの搬送機構である。トラック１２１は、円形（楕円形）又は他の適切な形状であり、一実施形態において、閉じたトラック（例えば、無限軌道）である。稼働中のトラック１２１は、キャリア１２２に入った検体容器１０２のそれぞれを、トラック１２１の周囲に間隔を置いて決められた様々な場所に搬送する。

【0083】

キャリア１２２は、トラック１２１において検体容器１０２を一つ一つ搬送するように構成された、モータのない受動的なパックであるか、トラック１２１に沿って移動し、事前にプログラムされた位置で停止するようにプログラムされたリニアモータなどのオンボード駆動モータを有する自動式キャリアである。他の構成のキャリア１２２の使用も可能である。キャリア１２２は、それぞれ、規定された直立姿勢及び向きで検体容器１０２を保持するように構成されたホルダ１２２Ｈ（図３Ｂ）を含む。ホルダ１２２Ｈは、検体容器１０２をキャリア１２２に固定する複数のフィンガー又は板バネを含み、その一部は、異なるサイズの検体容器１０２を収容するために可動又は可撓性である。一実施形態において、キャリア１２２は、１つ以上のラック１０４から取り出された後に、装填区域１０５から離れていく。装填区域１０５は、事前スクリーニングと分析のどちらか又は両方が完了した後に、キャリア１２２から装填区域１０５へ検体容器１０２を再装填することも可能であるという二重の機能を果たし得る。

【0084】

ロボット１２４は、装填区域１０５に設けられ、１つ以上のラック１０４から検体容器１０２を把持し、一例としてトラック１２１の入力レーンにあるキャリア１２２に検体容器１０２を搭載するように構成される。ロボット１２４はまた、検体容器１０２をキャリア１２２から１つ以上のラック１０４に再装填するようにも構成され得る。ロボット１２４は、Ｘ（横方向）及びＺ（紙面に垂直方向）、Ｙ及びＺ、Ｘ、Ｙ及びＺ、又はｒ（半径方向）及びθ（回転方向）の運動が可能な１つ以上（例えば、少なくとも２つ）のロボットアーム又は構成要素を含む。ロボット１２４は、ガントリロボット、関節ロボット、Ｒ－シータロボット、又は他の適切なロボットであり、ロボット１２４は、検体容器１０２をピックアップして置くように向けられ、サイズ決定され、構成されたロボットグリッパフィンガーを備える。

【0085】

トラック１２１に置かれると、キャリア１２２によって搬送される検体容器１０２は、第１の前処理ステーション１２５に進む。例えば、第１の前処理ステーション１２５は、検体２１２の分画を行うように構成された自動遠心分離機である。検体容器１０２を運ぶキャリア１２２は、流入レーン又は他の適切なロボットによって、第１の前処理ステーション１２５へ方向転換させられる。遠心分離後の検体容器１０２は、流出レーンから出ていくか又はロボットによって取り出され、トラック１２１に沿って引き続き搬送される。図示の実施形態では、キャリア１２２の検体容器１０２は、次に、図４Ａ～図７を参照して説明する品質チェックモジュール１３０に搬送され、事前スクリーニングが実行される。

【0086】

品質チェックモジュール１３０は、事前スクリーニングを行って本実施形態に係る評価方法を実行するように構成され、検体２１２に含まれるＨ、Ｉ、Ｌの存在と可能ならその程度、又は検体が正常（Ｎ）であるかどうかを自動的に判定するように構成される。正常（Ｎ）とみなされる実質的に低量のＨ、Ｉ、Ｌしか含まないことが判明すれば、検体２１２は、トラック１２１で引き続いて搬送され、そして、１つ以上の分析装置（例えば、第１、第２、第３の分析装置１０６，１０８，１１０）によって分析される。その後、検体容器１０２は、１つ以上のラック１０４に再装填するべく装填区域へ戻される。

【0087】

一実施形態において、ＨＩＬＮの検出に加えて、検体容器１０２及び検体２１２のセグメンテーションを行うことができる。セグメンテーションデータから、後処理が検体２１２の定量化（すなわち、ＨＳＰ、ＨＳＢ、ＨＴＯＴの判定、及びＳＢ又はＳＧ、及びＬＡの位置の判定）のために使用される。一実施形態において、検体容器１０２の物理的属性（例えば、サイズ）の評価を品質チェックモジュール１３０で行う。当該評価は、ＨＴ及びＷ、そして可能ならＴＣとＷｉのいずれか又は両方を判定することを含む。この評価から、検体容器１０２のサイズを抽出することができる。さらに、一実施形態では、品質チェックモジュール１３０は、キャップタイプの判定も行うことができ、当該判定は安全チェックとして利用することができ、指示された検査に間違った管タイプが使用されていないかどうかを把握することができる。

【0088】

一実施形態において、トラック１２１に直接リンクされていない遠隔ステーション１３２を検体検査装置１００に設けることができる。例えば、独立したロボット１３３（破線で示す）が、検体２１２の入った検体容器１０２を遠隔ステーション１３２に運び、検査／前処理後に戻す。あるいは検体容器１０２は、手動で取り出して戻すこともできる。遠隔ステーション１３２は、溶血レベルなどの特定の成分について検査するために、又は、例えば１つ以上の添加剤や別処理によって脂血レベルを低下させるため、又は、凝血塊、気泡、発泡物を除去するためなど、さらなる処理に使用される。本実施形態に係るＨＩＬＮ検出方法を使用する別の事前スクリーニングが、遠隔ステーション１３２で行われ得る。

【0089】

追加ステーションを、トラック１２１に又はトラック１２１に沿って１つ以上の位置に設けることができる。追加ステーションは、脱キャップステーション、アリコートステーション、１つ以上の追加の品質チェックモジュール１３０などである。

【0090】

検体検査装置１００は、トラック１２１周囲の１つ以上の位置に、多数のセンサ１１６をもつ。センサ１１６は、各キャリア１２２に提供される識別情報２１８ｉ又は同様の情報（図示せず）を読み取ることによって、トラック１２１上の検体容器１０２の位置を検出するために使用される。近接センサなど、位置を追跡するための適切な手段を使用することができる。センサ１１６の全ては、各検体容器１０２の位置を常に知ることができるように、コンピュータ１４３と接続される。

【0091】

前処理ステーション及び分析装置１０６，１０８，１１０は、キャリア１２２をトラック１２１から取り出すように構成されたロボット機構や流入レーン、そして、キャリア１２２をトラック１２１に戻すように構成されたロボット機構や流出レーンを装備する。

【0092】

検体検査装置１００は、マイクロプロセッサベースの中央処理ユニットＣＰＵであって、各種システムコンポーネントを作動させるための適切なメモリと適切な調整用電子機器及びドライバを有するコンピュータ１４３によって、制御される。コンピュータ１４３は、検体検査装置１００の基盤１２０の一部として又はこれとは別に収容される。コンピュータ１４３は、キャリア１２２の、装填区域１０５に対する移動、トラック１２１に対する移動、第１の前処理ステーション１２５に対する移動と該第１の前処理ステーション１２５（例えば、遠心分離機）の動作、品質チェックモジュール１３０に対する移動と該品質チェックモジュール１３０の動作、各分析装置１０６，１０８，１１０に対する移動、そして、種々のタイプの検査（例えば、アッセイ又は臨床化学）を実行するための各分析装置１０６，１０８，１１０の動作を制御するように、作動する。

【0093】

品質チェックモジュール１３０を除く全てについて、コンピュータ１４３は、ニューヨーク州タリタウンのSiemens Healthcare Diagnostics Inc.によって販売されているDimension（登録商標）臨床化学分析装置で使用されるものなどのソフトウェア、ファームウェア、ハードウェアコマンド又は回路に従って検体検査装置１００を制御し、当該制御は、コンピュータベースの電子機械制御プログラミングの当業者には典型的であり、ここでの説明は省略する。他の適切な装置を使用して検体検査システム１００を制御することもできる。品質チェックモジュール１３０の制御もコンピュータ１４３によって提供可能であるが、ここに詳細に説明する本発明に係る評価方法に従う。

【0094】

本実施形態に係る評価方法のために実行される画像処理に使用されるコンピュータ１４３は、十分な処理能力のあるＣＰＵ又はＧＰＵと、ＲＡＭ、適切な記憶機器を備える。一実施形態において、コンピュータ１４３は、１つ以上のＧＰＵ、８ＧＢ以上のＲＡＭ、及びテラバイト以上の記憶機器を備えたマルチプロセッサ装備ＰＣである。別の実施形態において、コンピュータ１４３は、ＧＰＵ装備ＰＣであり、又は選択的に、並列モードで作動するＣＰＵ装備ＰＣである。ＭＫＬも、８ＧＢ以上のＲＡＭと適切な記憶機器と共に使用できる。

【0095】

本実施形態は、ユーザが様々な制御及び状態表示画面に容易且つ迅速にアクセスできるようにするコンピュータインターフェースモジュール（ＣＩＭ）１４５を使用して実行される。この制御及び状態表示画面は、検体２１２の調製及び分析のために使用される複数の相互に関係する自動化装置の一部又は全ての様子を表示し、制御を可能にする。ＣＩＭ１４５は、複数の相互に関連付けられた自動化装置の動作状態に関する情報、検体２１２の位置を説明する情報、検体２１２に実施されるべき又は実施中の検査の状態を説明する情報、を提供するために使用される。ＣＩＭ１４５は、オペレータと検体検査装置１００との間の相互作用を容易にするように構成される。ＣＩＭ１４５は、オペレータが検体検査装置１００と交信するためのアイコン、スクロールバー、ボックス、及びボタンを含むメニューを表示するように構成された表示画面をもつ。メニューは、検体検査装置１００の機能面を表示したり作動させたりするようにプログラムされた多数の機能要素を含む。

【0096】

図４Ａ～図４Ｂを参照すると、本実施形態の評価方法を実行するように構成された品質チェックモジュール１３０の実施形態が例示されている。品質チェックモジュール１３０は、１つ以上の分析装置１０６，１０８，１１０）による分析の前に、検体２１２（例えば、その血清又は血漿部分２１２ＳＰ）の中の干渉物（例えば、Ｈ、Ｉ、Ｌ）の存在について事前スクリーニングするように構成されている。本方法における事前スクリーニングは、貴重な分析装置資源を浪費することなく、又は場合によっては検査結果の信憑性に影響する干渉物が存在する、検体２１２のさらなる処理、さらなる定量化又は評価、廃棄、やり直し（再吸引）のいずれか１つ以上を可能にする。

【0097】

本実施形態に係る干渉物検出方法に加えて、他の検出方法を、検体容器１０２に収容された検体２１２に対し、品質チェックモジュール１３０において行い得る。例えば、ＣＮＮからの出力としてセグメンテーションを提供する方法が、品質チェックモジュール１３０において実行される。セグメンテーションデータは、検体２１２を定量化するために、すなわち、検体２１２の特定の物理的寸法特性（例えば、ＬＡ及びＳＢや、ＨＳＰ、ＨＳＢ、ＨＴＯＴの判定など）を判定するために、後処理ステップで使用される。定量化は、例えば、血清又は血漿部分（ＶＳＰ）の量（ボリューム）と沈降血液部分（ＶＳＢ）の量（ボリューム）のどちらか又は両方を推定することも含む。他にも定量化可能な幾何学的特徴を判定することができる。

【0098】

さらに、品質チェックモジュール１３０は、検体容器１０２の幾何学的形状を定量化する、すなわち、検体容器１０２のＴＣ、ＨＴ、Ｗ又はＷｉのいずれか１つ以上の位置など、検体容器１０２の特定の物理的寸法特性を定量化するためにも使用される。

【0099】

図１と図４Ａ及び図４Ｂを参照すると、複数の画像取得装置４４０Ａ～４４０Ｃを含む品質チェックモジュール１３０の実施形態が示されている。３つの画像取得装置４４０Ａ～４４０Ｃが示されている。選択的に２つや４つ、それ以上を使用することができる。画像取得装置４４０Ａ～４４０Ｃは、画素化画像を取得することのできる既存のデジタルカメラ、電荷結合素子（ＣＣＤ）、光検出器アレイ、１つ以上のＣＭＯＳセンサなど、明確に画定されたデジタル画像を取得できる適切なデバイスとする。例えば、３つの画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃが図４Ａに示されており、３つの異なる側方視点（１，２，３の参照符号を付けた視点）から画像を取得するように構成される。取得される画像サイズは、例えば、２５６０×６９４画素程度である。別の例では、画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは、１２８０×３８７画素程度の画像サイズを取得する。他の画像サイズ及び画素密度でもよい。

【0100】

画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃのそれぞれは、検体容器１０２の少なくとも一部と検体２１２の少なくとも一部の側方画像を取得するように構成されて動作する。例えば、画像取得装置４４０Ａ～４４０Ｃは、ラベル２１８の一部と血清又は血漿部分２１２ＳＰの一部又は全部とを取得する。一実施形態において、視点１～３のいずれかが、ラベル２１８によって部分的に遮られることがある。一例において、視点１～３のうちの１つ以上が完全に閉塞され、したがって血清又は血漿部分２１２ＳＰの明確な視界が得られない。しかしながら、視点１～３の面（前面又は背面）が１つ以上のラベル２１８によって完全に閉塞される場合であっても、本評価方法は、１つ以上の閉塞されたラベル２１８を通して血清又は血漿部分２１２ＳＰの境界を区別することができる。

【0101】

図示の実施形態において、複数の画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは、複数の視点１～３から撮像位置４３２にある検体容器１０２及び検体２１２の側方画像を取得するように構成される。視点１～３は、図示のように、互いに１２０°など、互いにほぼ等間隔になるように間隔をあけて配置される。画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは、図示のとおりトラック１２１の周囲に配置される。複数の画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは他の構成としてもよい。このようにして、キャリア１２２にある検体容器１０２が撮像位置４３２に留まっている間に、検体容器１０２に入った検体２１２の画像を取得する。画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃによって得られる複数の画像の視野は、円周方向においてわずかに重なり合う。

【0102】

一実施形態において、キャリア１２２は、品質チェックモジュール１３０内の所定の位置、例えば撮像位置４３２、つまり、画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃのそれぞれからの法線ベクトルが互いに交差する点で停止する。ゲート又はキャリア１２２のリニアモータが、撮像位置４３２においてキャリア１２２を停止させられるように提供されており、その結果、複数の品質の画像が当該位置で取得される。品質チェックモジュール１３０にゲートがある実施形態では、（センサ１１６のような）１つ以上のセンサを使用して、品質チェックモジュール１３０におけるキャリア１２２の存在を判定することができる。

【0103】

画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは、撮像位置４３２に近接させて提供され、撮像位置４３２おいて画像ウィンドウを取得するように訓練されるか又は焦点合わせされる。画像ウィンドウは、検体容器１０２の予定位置を含めた領域である。検体容器１０２は、一実施形態において、視野ウィンドウのほぼ中央に位置するように停止する。取得した画像内に１つ以上の参照データが存在してもよい。

【0104】

品質チェックモジュール１３０が作動すると、コンピュータ１４３から通信線４４３Ａ，４４３Ｂ，４４３Ｃで送信されて提供されるトリガ信号に応答して各画像の取得が開始される。一実施形態において、取得した画像のそれぞれはコンピュータ１４３によって処理される。特に有効な方法の１つにおいて、ハイデータレート（ＨＤＲ）プロセスを使用して、取得画像から画像データを獲得して処理する。より詳細には、１つ以上の異なるスペクトルで連続的に照射されている間に、複数の異なる露光（例えば、異なる露光時間）で、品質チェックモジュール１３０において検体２１２の複数の画像が取得される。例えば、各画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃは、複数のスペクトルの一つ一つにおいて異なる露光時間で、血清又は血漿部分２１２ＳＰを含む検体容器１０２の画像を４～８枚取得することができる。例えば、赤色スペクトルの光源４４４Ａで検体２１２をバックライト照明している間に、視点１で画像取得装置４４０Ａによって４～８枚の画像を取得する。視点２，３でも同じようにして画像が連続的に取得される。

【0105】

一実施形態において、複数スペクトルの画像は、異なるスペクトル照明を放射する異なる光源４４４Ａ～４４４Ｃを使用して達成される。光源４４４Ａ～４４４Ｃは、検体容器１０２（図示）をバックライトで照らすことができる。一実施形態において、光源４４４Ａ～４４４Ｃと併せて散光器を使用する。複数の異なるスペクトル光源４４４Ａ～４４４Ｃは、６３４ｎｍ±３５ｎｍ（赤色）、５３７ｎｍ±３５ｎｍ（緑色）、及び４５５ｎｍ±３５ｎｍ（青色）の公称波長を発するＬＥＤなどのＲＧＢ光源である。他の実施形態では、光源４４４Ａ～４４４Ｃは白色光源である。ラベル２１８が複数の視点を遮る場合、ＩＲバックライト又はＮＩＲバックライトを使用することができる。また、ラベル閉塞が存在する場合でもＲＧＢ光源を使用できる例もある。他の実施形態では、光源４４４Ａ～４４４Ｃは、７００ｎｍ～１２００ｎｍあたりの公称波長を有する１つ以上のスペクトルを発する。

【0106】

一例において、第１の波長で画像を取得するために、３つの赤色光源４４４Ａ～４４４Ｃ（６３４ｎｍ±３５ｎｍの波長）を使用して、３つの側方位置から検体２１２を順次照明する。この光源４４４Ａ～４４４Ｃによる赤色照明は、異なる露光時間で複数の画像（例えば、４～８枚以上の画像）を各視点１～３から各画像取得装置４４０Ａ～４４０Ｃで取得するときに生じる。一実施形態において、露光時間は、０．１ｍｓ～２５６ｍｓほどである。他の露光時間を使用してもよい。一実施形態において、各画像取得装置４４０Ａ～４４０Ｃの画像のそれぞれは連続して取得される。各視点１～３について、赤色スペクトルバックライト照明で複数（例えば、異なる露光時間の４～８回の露光）の画像のグループが順次得られる。画像は、例えば、視点１から始まって視点２と視点３へ続けて連続的に全ての画像を取得するラウンドロビン方式で、取得する。

【0107】

一実施形態において、品質チェックモジュール１３０は、外部照明の影響を最小限に抑えるためにトラック１２１を少なくとも部分的に取り囲むか又は覆うことができるハウジング４４６を含む。検体容器１０２は、撮像シーケンスの間、ハウジング４４６の内側に位置する。ハウジング４４６は、キャリア１２２が該ハウジング４４６に出入りできるように、１つ以上のドア４４６Ｄを含む。一実施形態において、天井は、上から移動可能なロボットフィンガーを含むロボットによって検体容器１０２をキャリア１２２に搭載できるようにするために、開口４４６Ｏをもつ。

【0108】

図４Ａ～４Ｂの実施形態において赤色照明の画像を取得した後、別のスペクトルの光、例えば、緑色スペクトル光源４４４Ａ～４４４Ｃ（±３５ｎｍの帯域幅をもつ５３７ｎｍの公称波長）をオンにし、異なる露光時間で複数の画像（例えば、４～８枚以上の画像）を、各画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃによって連続的に取得する。このステップは、青色スペクトル光源４４４Ａ～４４４Ｃ（±３５ｎｍの帯域幅の４５５ｎｍの公称波長）を用いて、各画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃについて繰り返すことができる。複数の公称波長スペクトル光源４４４Ａ～４４４Ｃは、例えば、選択的にオン及びオフにすることができる複数のスペクトル光源（例えば、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲ、ＮＩＲ）のバンクを含む光パネルによって達成できる。他のバックライト照明手段も使用可能である。

【0109】

波長スペクトルごとに複数の露光（例えば、露光時間）で撮る複数の画像は、迅速に連続して取得することができ、その結果、複数の視点１～３からの検体容器１０２及び検体２１２のバックライト照明画像の収集全体が、例えば、数秒未満で終わり得る。一例では、画像取得装置４４０Ａ，４４０Ｂ，４４０ＣとＲＧＢ光源４４４Ａ～４４４Ｃによるバックライト照明を使用して、３つの視点１～３における波長ごとに４つの異なる露光の画像の結果、４画像×３スペクトル×３画像取得装置＝３６画像をもたらす。別の例では、画像取得装置４４０Ａ，４４０Ｂ，４４０Ｃと共にＲ、Ｇ、Ｂ、Ｗ、ＩＲ、及びＮＩＲ光源４４４Ａ～４４４Ｃを備えたバックライト照明を使用して、３つの視点で波長ごとに４つの異なる露光の画像の結果、４画像×６スペクトル×３カメラ＝７２画像をもたらす。

【0110】

本実施形態に係る評価方法によると、画像データの処理には、例えば、波長スペクトルごと及び視点１～３ごとに最適露出の画像データを生成するように、波長スペクトルごと及び画像取得装置４４０Ａ～４４０Ｃごとの異なる露光時間における複数の取得画像から、最適露出の画素を選択することを含む前処理ステップがある。これを、ここでは「画像統合」と呼ぶ。

【0111】

各画像取得装置４４０Ａ～４４０Ｃからの画像それぞれに関して、対応する画素（又はパッチ）ごとに、最適な画像強度を示す画素（又はパッチ）が、視点１～３ごとに異なる露光の画像のそれぞれから選択される。一実施形態において、最適画像強度は、例えば、所定の強度範囲（例えば、０～２５５のスケールで１８０～２５４の間）にある画素（又はパッチ）である。別の実施形態では、最適画像強度は、例えば、０～２５５のスケールで１６～２５４の間である。２つの露光の画像の対応する画素（又はパッチ）位置における２つ以上の画素（又はパッチ）が最適露光と判定される場合、２つのうちより高いものが選択される。

【0112】

最適画像強度を示す選択画素（又はパッチ）は、その各露光時間によって正規化される。その結果、照明スペクトル（例えば、使用される組合せに応じてＲ、Ｇ、Ｂ、白色光源、ＩＲ、ＩＲ）と各画像取得装置４４０Ａ～４４０Ｃについて、複数の正規化及び統合されたスペクトル画像データセットが得られ、この場合、画素（又はパッチ）の全てが最適露光とされ（例えば、スペクトル当たり１つの画像データセット）て正規化される。言い換えれば、視点１～３ごとに、コンピュータ１４３によって実行されるデータ前処理は、採用される照明スペクトルごとに１つずつの最適露光の正規化画像データセットを複数もたらす。

【0113】

本実施形態のＨＩＬＮ評価方法を実行するように構成された装置５００Ａの一実施形態について、機能構成要素を図５Ａに示す。装置５００Ａは、品質チェックモジュール１３０として具現化することができる。ブロック５０２において、上述したように、検体容器１０２が、品質チェックモジュール１３０の撮像位置４３２（図４Ａ～図４Ｂ）に提供される。ブロック５０４において、複数のスペクトルの複数の露光の画像が、１つ以上の画像取得装置４４０Ａ～４４０Ｃによって取得される。ブロック５０６において、上述のように、複数のスペクトルの複数の露光の画像のそれぞれの画像データが、複数の最適露光正規化画像データセット（「画像データセット」ともいう）を提供するために前処理される。これらの画像データセットは、ＨＩＬＮを認識するように事前に訓練されたＣＮＮ ５３５の入力に層として（行列として）提供される。

【0114】

ＣＮＮ５３５を訓練するために、複数の訓練例のセットが使用される。ＣＮＮ５３５は、種々の検体ＨＩＬＮ状態をもっている検体２１２の大量の例の様々な領域の輪郭をグラフィカルに描くこと、ラベル２１８により遮られている様々な領域の輪郭を描くこと、血清又は血漿部分２１２ＳＰのレベルなどによって、検体２１２を含んでいる検体容器１０２の大量のサンプルを品質チェックモジュール１３０で撮像することによるＣＮＮ訓練において、訓練される。グラフィカルな輪郭と共に、各領域のクラス評価情報が提供される。ＣＮＮ５３５の訓練には、５００以上、１０００以上、２，０００以上、又は５，０００以上の画像を使用することができる。各訓練画像は、出力可能な各クラスに属する領域を識別してＣＮＮ５３５に教示するために、少なくとも、血清又は血漿部分２１２ＳＰ、その識別されたＨ、Ｉ、Ｌ、又はＮ、様々な指数のレベル（出力される場合）、及び手作業で輪郭を描いたラベル２１８を有する。ＣＮＮ５３５は、ＣＮＮ５３５が十分に高いレベルの信頼度で作動するかどうかを確かめるために、サンプルの検体容器を用いて断続的に検査し得る。出力として正しいＨＩＬＮ構成を判定する際に１００％（例えば、９８％信頼水準かそれ以上）で作動しない場合、さらに多くの訓練サンプルを画像化し、連関する評価情報と共に入力することができる。セグメンテーションも提供する実施形態では、訓練は、入力クラス識別情報として出力され含まれるセグメント化クラスの輪郭を描くことを含む。

【0115】

図５Ａの実施形態において、ＣＮＮ５３５からの出力は、溶血性（Ｈ）５２９Ｈ、黄疸性（Ｉ）５２９Ｉ、脂血性（Ｌ）５２９Ｌ、及び正常（Ｎ）５２９Ｎのうちの１つである。ＣＮＮ５３５によって処理されるそれぞれ（画素又はパッチ）は、ＨＩＬＮのうちの１つへの出力を有する。これら画素ごと（又はパッチごと）の結果を合計し、ＨＩＬＮのうちのどれが最も高いカウントを有するかに基づいてＨＩＬＮを判定することができる。一実施形態において、血清又は血漿部分２１２ＳＰとして識別された全ての画素（又はパッチ）に対する処理が完了したとき、ＨＩＬＮのうちの２つ以上に対して相当な票を有する画素（又はパッチ）が存在し得る。例えば、Ｈについて多数のカウントがあり、Ｌについても多数のカウントがあることがある。

【0116】

ＨＩＬＮに対する最終票を推定するために、各視点からの全ての血清画素（又はパッチ）を横断して全ての事象（カウント）にわたるヒストグラムを生成する後処理を提供することができる。ヒストグラムは１．００に正規化される。特定のクラスに対して票を有する画素（又はパッチ）の数に応じて、１．００よりも低い２つ以上のクラス出力（例えば、Ｈ及びＬ）が存在することがある。出力は、一実施形態では、それぞれについて得られた正規化票の数に基づいて、一次クラス及び二次クラスとすることができる。

【0117】

図５Ｂを参照すると、装置５００Ｂとして別の実施形態が示されており、ＣＮＮ５３５の出力が、Ｎクラスの溶血性５２９Ｈ、Ｎクラスの黄疸性５２９Ｉ、Ｎクラスの脂血性５２９Ｌ、又は正常５２９Ｎである。Ｎクラスは、その干渉物クラスにおけるクラスオプションの数（Ｎ）である。上述のように、複数スペクトルの複数露光の統合及び正規化画像データセットがＣＮＮ５３５に入力され、該画像データセットは、ＣＮＮ５３５において操作され、処理される。ＣＮＮ５３５での処理の出力は、ＨＩＬの各々について、そして当然ながら各視点について、複数の出力可能性（Ｎクラス）である。

【0118】

例えば、１つの可能なＣＮＮアーキテクチャを表す図５Ｃの装置５００Ｂに示すように、ＣＮＮの出力は、ＨＩＬのＮクラス（Ｎ＝３）及びＨＩＬＮのチャネルごとの信頼水準（ＣＬ）であり、各チャネル１～１０は、特定のクラスタイプ５２６Ｂ（例えば、Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３、Ｎ）と相関する。画素（又はパッチ）ごとに、出力クラス（Ｈ１～Ｎ）が提供される。画素ごと（又はパッチごと）のこれらの出力は、各チャネルの結果を合計するか又は処理し、利用可能なクラス（例えば、Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３、Ｎ）からのＨＩＬＮの全体的な判定に到達するために、適切な後処理ルーチンによって集計される。最終画素クラス＝ｍａｘＣＬのような適切な多数決方式が使用され、次いで、血清又は血漿部分２１２ＳＰについてのｍａｘＣＬの数が合計される。これと同じ処理が視点ごとに行われる。視点の画素ごと（又はパッチごと）の分類結果又は全体的な結果は、合計されるか統合されるか、又は平均化される。Ｈ、ｌ、Ｌの３つの可能なレベルが示されているが、より多くの又はより少ない出力オプション（例えば、２、４、５又はそれ以上）が可能であることはもちろんである。

【0119】

事前スクリーニングされている特定の検体容器１０２及び検体２１２に対するＣＮＮ ５３５の出力に基づいて、１つ以上のさらなる対処が実施される。例えば、Ｈ、Ｉ、又はＬレベルの事前スクリーニングが高すぎる（例えば、閾値を超える）場合、検体２１２には、はじかれる、別の処理を受ける、再検査を受ける、品質管理モジュール１３０又は検体検査装置１００から取り出される、という対処のうちの１つ以上が適用される。ＣＮＮ５３５からの事前スクリーニングＨＩＬＮ結果の通知は、検体検査装置１００のオペレータかＬＩＳ１４７（又はその両方）に提供される。

【0120】

ＣＮＮ５３５のアーキテクチャの一例を図５Ｃに示す。このＣＮＮ５３５及びここに説明する他のＣＮＮは、例えば、Berkley Vision and Learning Center (BVLC)から利用可能なCaffe、Theano、数式の高速計算のためのPythonフレームワーク、TensorFlow、Torchなどの適切な科学計算フレームワーク、プログラム、又はツールボックスを使用してコーディングされる。

【0121】

より詳細に、ＣＮＮ５３５は、ディープラーニングを提供するために適切な数のオペレーティング層を含むことができる。例えば、ＣＮＮは、畳み込み及びプーリングを含む少なくとも２つの層と、少なくとも２つの追加の全畳み込み層とを含むアーキテクチャをもつ。本実施形態では、３つのオペレーティング層５３８，５４０，５４２と、さらに２つの全畳み込み層が提供される。説明に係るＣＮＮアーキテクチャは、ムービングウィンドウ（Moving Window）のアプローチでスキャンされる画像データの各層からの入力パッチ２２５の分類のために使用される。入力パッチ２２５のムービングウィンドウは、例えば、６４×６４パッチ（６４×６４ピクセル）とすることができる。他のサイズのパッチを使用してもよい。一例として、３つの主要なオペレーティング層が示されている。第１の層５３８は、非常に局所的な構造縁（エッジ）を抽出することができ、第２の層５４０は、縁の組み合わせであるテクスチャを学習し、第３の層５４２は、パーツを形成する。ＣＮＮ５３５の層５３８，５４０，５４２のそれぞれは、処理される複数のチャネル入力（例えば、複数スペクトル、複数露光の情報）から恩恵を受ける。様々な入力層、具体的に３つの入力層（例えば、ＲＧＢ）、にわたるこれらの操作は、容易に扱うことができ、ディープラーニングネットワークによって表現することができる。このフレームワークは必然的に低レベル、中レベル、高レベルの特徴を統合し、多層分類につながる。一実施形態において、画像データは、信号ブロッキングによるアーチファクトを導入する可能性があるため、分類からバーコード領域を除外することができる。

【0122】

データ準備中に、規定した基準を満たす小さなパッチを抽出してもよい。例えば、その基準は、血清又は血漿部分２１２ＳＰと、バーコード要素やフォントのない白色領域などの低分散のラベル２１８の領域のみを含む。訓練は、最初に、１６×１６要素に区画された領域に対して収縮（Erosion）操作を利用する。１画素のステップをもった入力パッチ２２５（例えば、６４×６４画素のサイズ）のムービングウィンドウが、収縮領域をスキャンするために使用される。結果として生じるパッチの一部が収縮領域に属する画素を中心とする場合が考慮される。訓練画像からパッチを使用してサンプリングすると、ディープラーニングに必要な表現が作成される。特徴はデータベースに保存され、その後の検査に使用される。ＣＮＮ５３５の訓練は、可能性のあるクラスの最終結果（Ｈ１～Ｎ）５２６Ｂのそれぞれについての入力を伴うＮクラス分類タスクを含む。訓練は、血清又は血漿部分２１２ＳＰ及びラベル２１８の入力（注釈付）グラフィカル輪郭について提供すること、そして、ＣＮＮ５３５において適切な信頼度が達成されるまでクラス情報を提供することを含めて継続される。

【0123】

図５Ｃを参照すると、ＣＮＮ５３５は、畳み込み層Ｃｏｎｖ１を含む第１の層５３８を有し、畳み込み層Ｃｏｎｖ１は、例えば、サイズ５×５×１２のフィルタを１０個含む。他のフィルタの数及びフィルタサイズを使用してもよい。結果として得られる１０個の特徴マップは、次いで、最大プーリングＰｏｏｌ１に送られ、最大プーリングＰｏｏｌ１は、チャネルごとに別々に、１のストライドを伴う最大２×２以上の空間近傍をとる。この層の目的は、特に単純な縁のような低レベルの特徴を抽出することである。これに続く第２の層５４０は、サイズ５ｘ５ｘ２０のフィルタを１０個有する畳み込み層Ｃｏｎｖ２と、２のストライドを有する最大３ｘ３以上を超える空間近傍をとることができる最大プーリング層Ｐｏｏｌ２とを含む。第２の層５４０の目的は、単純な縁の複数の組み合わせを学習してテクスチャを形成することである。その後、得られた特徴マップは、サイズ３ｘ３ｘ２０のフィルタを２０個有する畳み込み層Ｃｏｎｖ３と、テクスチャの組み合わせを学習してパーツを形成するために２のストライドをもつ最大２ｘ２以上の空間近傍をとることができる最大プーリング層Ｐｏｏｌ３とを含む、第３の層５４２に供給される。これら最大プーリング層は、畳み込みネットワークの出力を局所解（Local Translations）に対してよりロバストにする。最後に、最上層Ｃｏｎｖ４，Ｃｏｎｖ５は、各出力ユニットが全ての入力に接続された全畳み込み層である。これらの層は、部品間の相関を捉えることができる。最後の畳み込み層Ｃｏｎｖ５の出力は、逆畳み込み層Ｄｅ－Ｃｏｎに送られ、次にｎ経路のソフトマックスＳｏｆｔＭａｘ（ｎ＝１０は可能な出力クラスの数）に送られ、ｎクラスの出力チャネル上に分布が生成される。要約すると、訓練されたＣＮＮ５３５で各パッチが分類されている入力パッチ２２５のムービングウィンドウは、ｎクラスのの１つに向かう応答を与える。該当する画像データセットの分類は、これらの出力からの過半数の投票結果である。視点ごとの結果を複数の視点にわたって集計し、複数の視点の結果を平均することなどによって、信頼できる判定を得る、追加のステップを適用可能である。

【0124】

図５Ｄ及び図５Ｅは、本実施形態の評価方法を実行するように構成された機能構成要素を示す別の実施形態に係る装置５００Ｃを示す。装置５００Ｃは、ＣＮＮ５３５からの出力として、ＨＩＬＮ検出とセグメンテーションを提供する。この装置５００Ｃは、当該実施形態におけるＣＮＮ５３５が２つの分岐を含むことを除いて、図５Ｂ～図５Ｃの実施形態において先に説明したとおりである。その第１の分岐は、Ｎ’クラスのセグメンテーション５２２を提供し、このときのＮ’は、セグメンテーションクラス出力オプション５２６Ａの数である。例えば、Ｎ’クラスのセグメンテーションは、一例として１－血清又は血漿部分ＳＰＰ、２－沈降血液部分ＳＢＰ、３－ラベルＬａｂｅｌ、４－空気Ａｉｒ、５－キャップＣａｐ、６－管Ｔｕｂｅ、７－ゲルセパレータＧＳの２つ以上のセグメンテーション出力データを生じる。他のセグメンテーション出力オプションとしてバックグラウンドやホルダも含み得る。チャネル１～７への画素ごと（又はパッチごと）出力は、分類対画素（又はパッチ）位置に関するセマンティックデータを提供する。このセマンティックデータは集約可能であり、マップされてセマンティックマップ５３９を提供する。セマンティックマップ５３９は、視点ごとであり、あるいは、３Ｄセマンティックマップを提供するために集約される。

【0125】

第２の分枝は、上述のように、Ｎクラスの溶血性５２９Ｈ、Ｎクラスの黄疸性５２９Ｉ、Ｎクラスの脂血性５２９Ｌ、正常５２９Ｎの出力分類を提供する。チャネル８～１７は、ＣＮＮ５３５からの出力として複数のクラスオプション（Ｈ１～Ｎ）を提供する。ＨＩＬＮの出力データは、視点ごとのセマンティックマップ５３９の一部として、又はＨＩＬＮマップを伴う３Ｄセマンティックとして提供される。セマンティックマップ５３９は、コンピュータ１４３のデータベースに保存される。一実施形態において、セマンティックマップ５３９は、グラフィカル表示することができ、ＨＩＬＮごとにカラーコード化することができる。

【0126】

ＣＮＮ５３５のアーキテクチャは、各分岐が、全畳み込み層Ｃｏｎｖ４Ａ，Ｃｏｎｖ５Ａ，Ｃｏｎｖ４Ｂ，Ｃｏｎｖ５Ｂと、別個の逆畳み込み層ＤｅｃｏｎｖＡ，ＤｅｃｏｎｖＢと、ソフトマックス層ＳｏｆｔＭａｘＡ，ＳｏｆｔＭａｘＢとを含むことを除いて、上述した通りとする。

【0127】

各視点１～３における光源４４４Ａ～４４４Ｃから検体容器１０２の背面へのバックライトは、背面側に位置するラベル２１８の存在によって遮断され得るので、ラベル２１８を含む背面視野領域に対応する前面視野領域において撮像装置４４０Ａ～４４０Ｃにより取得される前面視野画像の強度が影響を受ける。したがって、このような領域の強度は疑わしく、ＣＮＮがこれを適切に調整して補償することで、これら閉塞領域からのＣＮＮからの出力は、血清又は血漿部分２１２ＳＰの他の非閉塞領域と等しくなるように調整される。したがって、一実施形態によると、本評価方法は、背面からのラベル閉塞を考慮に入れる。

【0128】

図５Ｆは、分類オプション５２６Ａ～５２６Ｃを含んだ３つの分岐をもつＣＮＮ５３５の実施形態を示す。第１及び第２の分岐は上述のものと同じであり、一方、第３の分岐は、キャップタイプ５２６Ｃを分類するように構成される。ＣＮＮ５３５の第３の分岐から、所定数のｎクラスのキャップタイプを出力することができる。例えば、キャップタイプの出力オプションは、グラフィカルに輪郭が描かれたキャップ領域と対応するキャップ情報及び色の入力によってＣＮＮ５３５において事前に訓練された各種の色やキャップ形状を構成する。この最終結果５２６Ｃは、ＬＩＳ１４７から指示された検査に対するチェックとして使用され、指示された検査に対し適切な検体容器１０２が使用されたことを確認できる。ＣＮＮ５３５のアーキテクチャは、上述のとおりであり、第３の分岐は、別個の全畳み込み層Ｃｏｎｖ４Ｃ，Ｃｏｎｖ５Ｃ、逆畳み込み層ＤｅｃｏｎｖＣ）、及びソフトマックス層ＳｏｆｔＭａｘＣを含む。ＣＮＮ５３５の一実施形態では、上述の全畳み込み層Ｃｏｎｖ４，Ｃｏｎｖ５は、全結合層で置換される。上述のように、セグメンテーション５２６Ａ、ＨＩＬＮ５２６Ｂ、及びキャップタイプ検出５２６ＣのＣＮＮ５３５からの出力結果に基づいて、セマンティックマップを生成する。

【0129】

図５Ｇは、本実施形態の評価方法を実行するように構成され、ＣＮＮ５３５の異なるアーキテクチャを含む機能的構成要素を示す、装置５００Ａの別の実施形態である。このアーキテクチャは、例えば、図５Ａの装置５００Ａに対して使用することができる。ＣＮＮ５３５のアーキテクチャは、全畳み込み層Ｃ１，Ｃ２、逆畳み込み層ＤＣ、及びソフトマックス層Ｓを含めて、上述したとおりとすることができる。しかしながら、この実施形態では、第１の層５３８、第２の層５４０、及び第３の層５４２は、活性化関数（ＲｅＬＵ）を実行する役割を果たすＬＲＮ及びＲｅＬＵ特徴をそれぞれ含み、ＬＲＮが正規化によって異質の値範囲を補償する。ＣＮＮ５３５からの出力はＨＩＬＮである。したがって、ＣＮＮ５３５は、畳み込み、ＬＲＮ、及びＲｅＬＵを含む複数の層、全畳み込み層、逆畳み込み層、及びソフトマックス層を含んでいる。

【0130】

図６Ａ及び図６Ｂは、画像取得装置４４０Ａ，４４０Ｂ（図６Ｄ参照）の第１の視点１及び第２の視点２からの前面セマンティック画像６４０Ａ，６４０Ｂを示す。図６Ａ及び図６Ｂでは、血清又は血漿部分２１２ＳＰの一部がラベル２１８によって閉鎖されており、光源４４４Ａ，４４４Ｂ（図６Ｄ）から放射されるバックライトの一部が、背面視野のラベル２１８Ｂによって遮られる（ラベル２１８で妨害されている部分は点線で示す）。

【0131】

図６Ｃは、画像取得装置４４０Ｃ（図６Ｄ）の視点３からの前面セマンティック画像６４０Ｃを示す。図６Ｃにおいて、血清又は血漿部分２１２ＳＰの全てが、視点３からラベル２１８によって遮られている。これらの視点１，２，３のそれぞれについて、ＣＮＮ ５３５は、画素ベース（又はパッチベース）でＨＩＬＮを出力する。本評価方法は、視点１，２，３ごとに結果を集約し、視点ごとにＨＩＬＮの全体的な判定を提供する。そのそれぞれで、訓練済みＣＮＮ５３５は、視認可能な血清又は血漿部分２１２ＳＰだけではなくて、背面視野のラベル２１８Ｂによって閉塞されている領域も取り込む。各視点からの結果を集計又は平均して、全体的な読み取り値を得る。一実施形態において、視点１及び視点２からのＨＩＬＮ結果を含める。視点の結果は、完全閉塞の故に無視されるか、又は適切なＨＩＬＮ測定値が得られれば、血清又は血漿部分２１２ＳＰに関する全体的なＨＩＬＮ読み取り値に到達するために平均化される。他の実施形態では、最良視野のみが報告され、この最良視野は、閉塞が最も少ない視界をもつ視点である。

【0132】

一実施形態において、画素（又はパッチ）の大部分がＮに分類される場合、当該血清又は血漿部分２１２ＳＰは、正常（Ｎ）として分類される。画素（又はパッチ）の大部分が溶血性Ｈに分類される場合、当該血清又は血漿部分２１２ＳＰは、溶血（Ｈ）をもつものとして分類される。同様に、画素（又はパッチ）の大部分が黄疸性Ｉ又は脂血性Ｌに分類される場合、当該血清又は血漿部分２１２ＳＰは、それぞれ、黄疸（Ｉ）又は脂血（Ｌ）をもつものとして分類される。他の実施形態において、重み付け多数決スキームが、重みとしてＨＩＬＮ結果からの確率を使用して、検体２１２を分類するために使用される。全体として、血清又は血漿部分２１２ＳＰを評価するための他の手段が使用され得る。さらに、出力データセットが、２つ以上の干渉物クラス（例えば、Ｈ及びＩ、Ｈ及びＬ、Ｉ及びＬ、又はＨ、Ｉ及びＬ）に分類される相対的に多量の画素（又はパッチ）を含む場合、干渉物検出方法は、複数の干渉物タイプが存在することを報告する。

【0133】

図７は、本実施形態に係る評価方法７００のフローチャートを示す。評価方法７００は、ここに説明するように、品質チェックモジュール１３０によって実行することができる。評価方法７００は、一実施形態において、検体２１２中の干渉物の存在を判定する。評価方法７００は、ステップ７０２において、検体（例えば、検体２１２）の血清又は血漿部分（例えば、血清又は血漿部分２１２ＳＰ）を含む検体容器（例えば、検体容器１０２）の複数の画像を取り込む。この複数の画像の取り込みは、複数の視点（例えば、視点１、視点２、及び視点３）からのものである。検体容器１０２には１つ以上のラベル（例えば、ラベル２１８）がある。１つ以上の画像は、１つ以上の画像取得装置（例えば、画像取得装置４４０Ａ～４４０Ｃ）を使用して取得したデジタルの画素化画像である。

【0134】

評価方法７００は、ステップ７０４において、複数の画像から畳み込みニューラルネットワーク（例えば、ＣＮＮ５３５）に画像データ（例えば、統合及び正規化画像データセット）を入力し、畳み込みニューラルネットワークで画像データを処理する。この処理は、ＣＮＮ５３５の適切な訓練の後に、ここに説明するコンピュータ１４３によって行われる。

【0135】

評価方法７００は、ステップ７０６において、血清又は血漿部分を、溶血性、黄疸性、脂血性、及び正常のうちの１つ以上であるとして（すなわち、Ｈ、Ｉ、Ｌ、Ｈ及びＩ、Ｈ及びＬ、Ｉ及びＬ、Ｈ及びＩ及びＬ、又はＮ）畳み込みニューラルネットワーク（例えば、ＣＮＮ５３５）から出力する。

【0136】

複数の画像は、異なる露光時間と異なるスペクトル照明（例えば、Ｒ、Ｇ、Ｂ、白色光源、ＩＲ、近ＩＲ）のいずれか又は両方とした視点ごとの複数の画像を含む。例えば、異なるスペクトル照明条件下で視点ごとに異なる露光時間で４～８枚以上の異なる露光像がとられる。

【0137】

場合に応じ、ＨＩＬＮ判定に加えて、画像データセットのセグメンテーションを得る。評価方法７００は、ステップ７０８において、検体容器１０２及び検体２１２のセグメンテーションを、畳み込みニューラルネットワーク（例えば、図５Ｄ～図５ＦのＣＮＮ５３５）から出力する。画像データは、１－管、２－ゲルセパレータ、３－キャップ、４－空気、５－ラベル、６－沈降血液部分、７－血清又は血漿部分のように、Ｎ’クラス（例えば、７クラス）にセグメント化される。他のクラス数を使用してもよい。

【0138】

評価方法７００は、ステップ７１０において、場合に応じ、ＣＮＮ５３５で事前に訓練された特定のキャップ形状又はキャップ色であるキャップタイプを、畳み込みニューラルネットワーク（例えば、図５ＦのＣＮＮ５３５）から出力する。

【0139】

以上説明したとおり、１つ以上の視点を遮るラベルを考慮することによって血清又は血漿部分２１２ＳＰを良好に評価できる、改良された評価方法７００が提供されることが、明らかである。この改良された評価は、検体２１２のＨＩＬＮの存在の迅速且つロバストな評価を提供するために使用可能であり（図５Ａ～図５Ｇ）、一実施形態において、干渉物レベル（Ｈ１、Ｈ２、Ｈ３、Ｉ１、Ｉ２、Ｉ３、Ｌ１、Ｌ２、Ｌ３）が評価され、ＣＮＮ５３５から出力される（図５Ｃ～図５Ｆ参照）。

【0140】

明らかなように、上記評価方法は、撮像位置（例えば、撮像位置４３２）の周囲に配置された複数の画像取得装置（例えば、画像取得装置４４０Ａ～４４０Ｃ）を備え、１つ以上のラベル２１８があって検体２１２の血清又は血漿部分２１２ＳＰを含んでいる検体容器１０２について複数の視点（例えば、視点１～３）から複数の画像を取得するように構成される、品質チェックモジュール（例えば、品質チェックモジュール１３０）と、複数の画像取得装置に接続され、複数の画像の画像データを処理するように構成される、コンピュータ（例えば、コンピュータ１４３）とを使用して、実行される。コンピュータ（例えば、コンピュータ１４３）は、複数の視点（例えば、視点１～３）からの複数の画像を処理して、ＨＩＬＮ判定を提供するか、又は視点ごとのセグメンテーションと組み合わせてＨＩＬＮ判定を提供するように構成され、作動する。

【0141】

評価方法７００は、品質チェックモジュール１３０を備えた検体検査装置１００で実行可能である。検体検査装置１００は、トラック１２１と、トラック１２１に沿って移動可能なキャリア１２２とを有する。キャリア１２２には１つ以上のラベル２１８があり、検体２１２の血清又は血漿部分２１２ＳＰを収容した検体容器１０２を受容して支持し、検体容器１０２を品質チェックモジュール１３０に搬送して、干渉物の存在の評価及び事前スクリーニングを実行するように構成される。

【0142】

本明細書において、様々な選択構成要素、特徴、実施形態を個々に説明した。それら構成要素、特徴、実施形態は、実施にあたり、別の個々に説明した構成要素、特徴、実施形態と置き換えて、あるいは説明した別の構成要素、特徴、実施形態と組み合わせて、使用可能であることは当然である。本発明には、様々な修正や代替形態が許容されるが、具体的な装置、システム、及び方法を例として図示し、詳細に説明した。しかしながら、開示した装置、システム、及び方法に本発明を限定することを意図するものではなく、本開示は、当然ながら、特許請求の範囲に入る全ての修正、等価の形態、及び代替形態に及ぶことを意図するものである。

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】