(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-20
(54)【発明の名称】管アセンブリタイプを識別する装置および方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20230113BHJP
【FI】
G01N21/27 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022525249
(86)(22)【出願日】2020-10-22
(85)【翻訳文提出日】2022-06-02
(86)【国際出願番号】 US2020056929
(87)【国際公開番号】W WO2021086724
(87)【国際公開日】2021-05-06
(32)【優先日】2019-10-31
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】508147326
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド
(74)【代理人】
【識別番号】100127926
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100140132
【氏名又は名称】竹林 則幸
(72)【発明者】
【氏名】ラヤル・ラジュ・プラサド・ナラム・ヴェンカット
(72)【発明者】
【氏名】ベンジャミン・エス・ポラック
(72)【発明者】
【氏名】イャオ-ジェン・チャン
(72)【発明者】
【氏名】ヴェンカテッシュ・ナラシムハムルシー
(72)【発明者】
【氏名】ヴィヴィック・シンフ
(72)【発明者】
【氏名】アンカー・カプール
【テーマコード(参考)】
2G059
【Fターム(参考)】
2G059AA05
2G059BB04
2G059BB08
2G059BB12
2G059DD12
2G059EE02
2G059FF01
2G059KK04
2G059MM01
2G059PP01
2G059PP03
(57)【要約】
管タイプを識別する方法。方法は、管に取り付けられたキャップの1つまたはそれ以上の画素化された画像を取り込むことと;キャップの画素化された画像の1つまたはそれ以上の画素の色を識別することと;キャップの1つまたはそれ以上の寸法勾配を識別することと;少なくとも:1つまたはそれ以上の画素の色、およびキャップの1つまたはそれ以上の寸法勾配に基づいて管タイプを識別することとを含む。他の態様にあるように、方法を実行するように適用された装置が開示される。
【選択図】
図9
【特許請求の範囲】
【請求項1】
管タイプを識別する方法であって:
管に取り付けられたキャップの1つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することと;
キャップの画素化された画像の1つまたはそれ以上の画素の色を識別することと;
キャップの1つまたはそれ以上の寸法勾配を識別することと;
少なくとも:
1つまたはそれ以上の画素の色、および、
キャップの1つまたはそれ以上の寸法勾配
に基づいて管タイプを識別することと
を含む、前記方法。
【請求項2】
管タイプを識別することは、弁別モデルに基づいて行われる、請求項1に記載の方法。
【請求項3】
弁別モデルへの1つまたはそれ以上の入力は、管の幅および/または高さを含む、請求項2に記載の方法。
【請求項4】
弁別モデルへの1つまたはそれ以上の入力は、キャップの1つまたはそれ以上の寸法勾配を含む、請求項2に記載の方法。
【請求項5】
弁別モデルへの入力は、キャップ重量を含む、請求項2に記載の方法。
【請求項6】
弁別モデルへの入力は、IRまたは近IRを含む不可視光を用いて照明されたときの画像を取り込むことを含む、請求項2に記載の方法。
【請求項7】
弁別モデルへの入力は、色特徴空間の組合せを含む、請求項2に記載の方法。
【請求項8】
弁別モデルへの入力は、色特徴空間とキャップの1つまたはそれ以上の寸法勾配を含む弁別特徴空間の組合せを含む、請求項2に記載の方法。
【請求項9】
弁別モデルへの入力は、色相(H)、彩度(S)、明度(V)、行勾配の最大値(RG-最大)、R-平均、G-平均およびB-平均を含む7次元弁別特徴空間を含む、請求項2に記載の方法。
【請求項10】
弁別モデルは、線形サポートベクターマシンである、請求項2に記載の方法。
【請求項11】
キャップの画素化された画像の1つまたはそれ以上の画素の色を識別することは、キャップの不透明性または半透明性および背面照明の利用を含む、請求項1に記載の方法。
【請求項12】
1つまたはそれ以上の画素の色を識別することは、キャップの画素化された画像における複数の画素の平均色を計算することを含む、請求項1に記載の方法。
【請求項13】
1つまたはそれ以上の画素の色を識別することは、HSV、HSL、RGB、Adobe RGB、YIQ、YUV、CIELCAB、CIELUV、ProPhoto、sRGB、Luma plus Chroma、CMYKまたは他の適当な色空間モデルからなる群からの1つまたはそれ以上から選択される多要素色空間における色空間モデルによって決定される、請求項1に記載の方法。
【請求項14】
1つまたはそれ以上の画素の色を識別することは、画素化された画像におけるキャップの複数の画素の平均色を計算することと、HSV色空間における平均色の色相(H)、彩度(S)および明度(V)成分を識別することとを含む、請求項1に記載の方法。
【請求項15】
キャップの1つまたはそれ以上の寸法勾配は、1つまたはそれ以上の行勾配を含む、請求項1に記載の方法。
【請求項16】
1つまたはそれ以上の行勾配は、行勾配の最大値を含む、請求項15に記載の方法。
【請求項17】
キャップの1つまたはそれ以上の寸法勾配は、キャップ幅またはキャップ高さの1つまたはそれ以上の勾配を含む、請求項1に記載の方法。
【請求項18】
指示された検査と管タイプの不適合を識別することを含む、請求項1に記載の方法。
【請求項19】
管タイプを識別する方法であって:
キャップの1つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することと;
キャップの色を識別することと;
キャップの寸法勾配を識別することと;
少なくとも:
キャップの色、および、
寸法勾配
に基づいて管タイプを識別することと;
指示された検査と管タイプの適合を識別することと
を含む、前記方法。
【請求項20】
診断装置であって:
管に取り付けられたキャップを含む管アセンブリの1つまたはそれ以上の画像を取り込むように構成された撮像装置であって、該1つまたはそれ以上の画像は、キャップの1つまたはそれ以上の画素化された画像を含む、撮像装置と;
該撮像装置に通信可能に接続されたコントローラとを含み、
該コントローラは、メモリに接続されたプロセッサを含み、該メモリは:
キャップの1つまたはそれ以上の画素化された画像の1つまたはそれ以上の画素の色を決定し;
キャップの1つまたはそれ以上の寸法勾配を決定し;
少なくとも:
1つまたはそれ以上の画素の色、および、
キャップの1つまたはそれ以上の寸法勾配
に基づいて管タイプを識別する
ように実行可能な実行可能プログラム命令を記憶する、前記診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、あらゆる目的のためにその全体を参照によって本明細書に組み入れる、2019年10月31日出願の「管アセンブリタイプを識別する装置および方法(APPARATUS AND METHODS OF IDENTIFYING TUBE ASSEMBLY TYPE)」という名称の米国仮特許出願第62/929,070号の利益を主張する。
【0002】
本開示の実施形態は、管アセンブリを識別する装置および方法に関する。
【背景技術】
【0003】
血清、血漿、尿、組織液、脳脊髄液などの生体試料(試料)中の分析物またはその他の成分を識別するために、自動検査システムは、1つまたはそれ以上の試薬を使用して臨床化学検査またはアッセイを行う場合がある。利便性および安全性の理由から、これらの試料は、ほぼ例外なく、試料管(たとえば、血液採取管)に収容される。試料管は、キャップで蓋をすることができ、場合により、キャップは、行われる予定の検査の種類、管に収容されている添加剤の種類(たとえば、血清セパレータ、トロンビンなどの凝固剤、EDTAもしくはクエン酸ナトリウムのような抗凝固剤およびその特定の種類、または抗解糖添加剤)、ならびに管が真空能力を備えているかどうかなどに関する情報を提供する色および/または形状を含む場合がある。
【0004】
ある自動検査システムでは、試料容器および試料は、キャップのタイプおよび色を見分けることができるように、コンピュータ支援デジタル撮像システムなどを用いてデジタル撮像および処理が行われる。撮像中、(キャップを含む)試料管および試料の1つまたはそれ以上の画像が取り込まれる。
【0005】
しかし、そうした自動検査システムは、ある状況下では、性能のばらつきをもたらし、管および/またはキャップタイプを不適当に特徴付けることがある。したがって、試料容器およびキャップのデジタル撮像および処理の改善された方法および装置が必要とされている。
【発明の概要】
【課題を解決するための手段】
【0006】
第1の実施形態では、管タイプを識別する方法が提供される。方法は、管に取り付けられたキャップの1つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することと;キャップの画素化された画像の1つまたはそれ以上の画素の色を識別することと;キャップの1つまたはそれ以上の寸法勾配を識別することと;少なくとも:1つまたはそれ以上の画素の色、およびキャップの1つまたはそれ以上の寸法勾配に基づいて管タイプを識別することとを含む。
【0007】
第2の実施形態では、管タイプを識別する方法が提供される。方法は、キャップの1つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することと;キャップの色を識別することと;キャップの寸法勾配を識別することと;少なくとも:キャップの色、および寸法勾配に基づいて管タイプを識別することと;指示された検査と管タイプの適合を識別することとを含む。
【0008】
第3の実施形態では、診断装置が提供される。診断装置は、管に取り付けられたキャップを含む管アセンブリの1つまたはそれ以上の画像を取り込むように構成された撮像装置であって、1つまたはそれ以上の画像は、キャップの画素化された画像を含む、撮像装置と;撮像装置に通信可能に接続されたコントローラとを含み、コントローラは、メモリに接続されたプロセッサを含み、メモリは、キャップの画素化された画像の1つまたはそれ以上の画素の色を決定し;キャップの1つまたはそれ以上の寸法勾配を決定し;少なくとも:
1つまたはそれ以上の画素の色、および
キャップの1つまたはそれ以上の寸法勾配
に基づいて管タイプを識別するように実行可能な実行可能プログラム命令を記憶する。
【0009】
以下に記載される図面は、説明を目的とするものであり、必ずしも原寸に比例して描かれていない。したがって、図面および説明は、本質的に例示的なものであり、限定的なものと考えるべきではない。図面は、いかなる形においても本開示の範囲の限定を意図するものではない。全体を通して、同じ番号は、同じまたは類似の要素を示すために使用される。
【図面の簡単な説明】
【0010】
【
図1A】本開示の1つまたはそれ以上の実施形態による、管に取り付けられたキャップを含む第1の管アセンブリ、および
図2Aに示されるマスク画像の位置を示すボックスの側面図である。
【
図1B】本開示の1つまたはそれ以上の実施形態による、管に取り付けられたキャップを含む第2の管アセンブリ、および
図2Bに示されるマスク画像の位置を示すボックスの側面図である。
【
図2A】本開示の1つまたはそれ以上の実施形態による、マスク画像と
図1Aの第1の管アセンブリが位置合わせされる位置を示すボックスを含む、第1の管アセンブリの第1のキャップのマスク画像の概略図である。
【
図2B】本開示の1つまたはそれ以上の実施形態による、マスク画像と
図1Bの第2の管アセンブリが位置合わせされる位置を示すボックスを含む、第2の管アセンブリの第2のキャップのマスク画像の概略図である。
【
図3A】本開示の1つまたはそれ以上の実施形態による、多数の行勾配の決定のために分析される第1の管アセンブリの部分の側面図である。
【
図3B】本開示の1つまたはそれ以上の実施形態による、
図3Aの第1の管アセンブリの上部の幅のプロファイルを示すグラフである。
【
図3C】本開示の1つまたはそれ以上の実施形態による、
図3Bのグラフの一次導関数を示すグラフである。
【
図4A】本開示の1つまたはそれ以上の実施形態による、多数の行勾配の決定のために分析される第2の管アセンブリの部分の側面図である。
【
図4B】本開示の1つまたはそれ以上の実施形態による、
図4Aの第2の管アセンブリの上部の幅のプロファイルを示すグラフである。
【
図4C】本開示の1つまたはそれ以上の実施形態による、
図4Bのグラフの一次導関数を示すグラフである。
【
図5A】本開示の1つまたはそれ以上の実施形態による、第1の管アセンブリを通過する光のスペクトルをプロットした(波長対平均強度の)棒グラフである。
【
図5B】本開示の1つまたはそれ以上の実施形態による、第2の管アセンブリを通過する光のスペクトルをプロットした(波長対平均強度の)棒グラフである。
【
図5C】本開示の1つまたはそれ以上の実施形態による、
図5Aのグラフをもたらす、背面照明された第1の管アセンブリの一部分の写真画像である。
【
図5D】本開示の1つまたはそれ以上の実施形態による、
図5Bのグラフをもたらす、背面照明された第2の管アセンブリの一部分の写真画像である。
【
図6】本開示の1つまたはそれ以上の実施形態による、同じ検査に使用される、異なるキャップ色およびキャップ形状を有する異なる管アセンブリの例の表である。
【
図7】本開示の1つまたはそれ以上の実施形態による、(様々な製造業者からの一組の管タイプについて)管タイプを類別するために、色だけの依拠を試みるHSV色空間におけるLDA(線形判別分析)プロットの図である。
【
図8】本開示の1つまたはそれ以上の実施形態による、管アセンブリを撮像しキャップおよび管のタイプを弁別するように適用された診断分析装置の概略側面図である。
【
図9】本開示の1つまたはそれ以上の実施形態による、管タイプを識別する方法の流れ図である。
【
図10】本開示の1つまたはそれ以上の実施形態による、管タイプを識別する他の方法の流れ図である。
【発明を実施するための形態】
【0011】
診断検査室では、複数の検査を実施するために様々な製造業者からの血液採取管(たとえば、管アセンブリ)を使用する場合がある。管アセンブリは、キャップが取り付けられた管を含む場合がある。それぞれの管アセンブリタイプは、異なるサイズおよび/または異なる中の化学添加剤など、異なる特徴を有することがある。たとえば、多くの管アセンブリタイプは、化学的に活性であり、つまり管は、分離を促すまたは特性を保持することなどによって試料の状態を変える、または別のやり方でその処理を支援することに使用される(たとえば、抗凝固剤、ゲルセパレータまたは無細胞の(cell-free)保存剤である)1つまたはそれ以上の付加的な化学薬品を含む。
【0012】
たとえば、いくつかの実施形態では、管の内壁が1つもしくはそれ以上の添加剤で被覆される、または管の他の場所に添加剤が設けられる場合がある。たとえば、管に収容される添加剤の種類は、血清セパレータ(たとえば、分離ゲル)、トロンビンなどの凝固剤、ヘパリンナトリウム、ナトリウムリチウム、EDTA、カリウムEDTA、K2EDTA、K3EDTA、クエン酸ナトリウム1:9もしくは1:4、クエン酸デキストロース(ACD)もしくはポリアネトールスルホン酸ナトリウム(SPS)などの抗凝固剤、フッ化ナトリウムおよびシュウ酸カリウム、ナトリウムの結合物などの抗解糖添加剤、無細胞の保存剤などの他の添加剤、または試料の特性を変える、阻害するもしくは保持するもしくはその処理を助けるための同様のものであり得る。管製造業者は、管アセンブリのキャップの色と、管内の特定のタイプの化学添加剤を関連付ける場合がある。色のなかには、抗凝固剤または凝固活性剤などの他の添加剤と組み合わせられた血清セパレータゲルの存在を示すものもある。
【0013】
さらに、それぞれの製造業者が、キャップの色およびキャップの形状などの管アセンブリの特徴と、管の内容物または管が真空能力を備える可能性の有無に関する場合がある管アセンブリの特定の特性を関連付ける独自の規格を有する場合がある。いくつかの実施形態では、製造業者は、管の内容物を示すラベルを含む場合があるが、場合によってこれらのラベルを隠してもよい。いくつかの実施形態では、診断装置がラベルを読み取る場合がある。
【0014】
たとえば、製造業者は、薄緑色のキャップが付いたすべての管アセンブリを、たとえば、グルコース、ナトリウムおよびカリウムなどの電解質、コレステロール、いくつかの酵素ならびにマーカを検査するように構成されたヘパリンリチウムを含む管と関連付ける場合がある。ラベンダー色のキャップは、血液学(たとえば、白血球、血小板数およびヘモグロビン)を検査するように構成されたEDTAおよび誘導体(抗凝固剤)を含む管を識別する場合がある。黄色、金色、薄青色、白色、灰色、オレンジ色、赤色および黒色などの他のキャップの色も使用され、様々な意味を有する場合がある。いくつかの実施形態では、製造業者は、同じ管タイプに異なる色のキャップを使用する場合がある。検査室では、この色情報を管のさらなる処理に用いる。さらに、いくつかの管は、化学的に活性な物質を含む(一般に、凝固剤、抗凝固剤または抗解糖化合物のような物質でライニングされている)場合があるので、検査はほぼ例外なく内容物別に行われることから、どの検査がどの管タイプで行われるかを関連付けることが重要になる。たとえば尿用の管が別の体液の処理(たとえば、検査)に使用される、または、凝固剤を有する管が抗凝固剤を必要とする検査に使用されるなど、管タイプの混同は、不明確または誤った結果を生むおそれがある。
【0015】
図6は、同じ検査に使用される様々なキャップ色およびキャップ形状を有する様々な管アセンブリの例の表である。表には、3つの異なる管タイプおよび3つの異なるキャップ規格についてのキャップ色およびキャップ形状が示されている。
図6に示されるように、第1の管タイプは、3つのキャップ規格すべてについて同じキャップ形状(たとえば、第1のキャップ形状)を有するが、3つのキャップ規格についてキャップ色が異なる場合がある。たとえば、第1のキャップ規格は、黄褐色のストライプが入った透明であり、第2のキャップ規格は、暗赤色であり、第3のキャップ規格は、灰色である場合がある。
図6の実施形態では、第2の管タイプの3つのキャップ規格は、同じキャップ形状である第1のキャップ形状を使用し、同じ色である黄褐色のストライプが入ったオレンジ色を使用する場合がある。第3の管タイプは、3つのキャップ規格について異なるキャップ形状および色を使用する場合がある。たとえば、第1のキャップ規格は、第1の形状を使用し、赤色のストライプが入った緑色であり、第2のキャップ規格は、第2のキャップ形状を使用し、赤色であり、第3のキャップ規格は、第2のキャップ形状を使用し、緑色である場合がある。
【0016】
図7は、管タイプをできる限り差別化するために、(様々な製造業者からの一組の管タイプについての)色だけの依拠を試みるHSV色空間におけるLDA(線形判別分析)プロットを示す。
図7のプロットにおける点は、異なる管タイプのキャップ色および異なる製造業者からのキャップ色など、異なるキャップ色を示す。図示のように、すべての管タイプをHSV色空間において簡単に差別化できるわけではない。たとえば、
図6の第2のキャップ規格において、第1の管タイプは、暗赤色キャップを有し、第3の管タイプは赤色キャップを有する。機械が暗赤色キャップと赤色キャップを差別化する、したがってHSV色空間を用いて第1の管タイプと第3の管タイプを差別化することが難しい場合がある。
図6の第3のキャップ規格において、第1の管タイプは灰色であり、第3の管タイプは緑色である。機械が灰色キャップと緑色キャップを差別化する、したがってHSV色空間を用いて第1の管タイプと第3の管タイプを差別化することが難しい場合がある。
【0017】
図7に示されるように、キャップの色のみの検出は、製造業者が使用することがある規格が様々であることから、管タイプを正確に識別する十分な情報を提供しない。本明細書に開示されるようなさらに正確な管タイプ識別は、キャップの色以外の特徴を識別することを含む。本明細書に記載の実施形態は、キャップ色に関係なく、真空能力などの管の特定の特性を適切に識別するように管アセンブリタイプ同士の差別化を可能にする。具体的には、本明細書に記載の実施形態は、異なる管アセンブリタイプが似たキャップ色を有する場合でも管アセンブリタイプを識別することができる。
【0018】
より具体的には、本明細書に開示の実施形態は、少なくともキャップ色ならびにキャップおよび/または管の幾何学的特徴を含むことができる様々なキャップ特徴を検出することによって、異なる管機能性および/または添加剤組成物を含む管アセンブリタイプ同士を差別化することができる。
【0019】
本明細書に記載の方法および装置は、キャップ色自体が特定の識別のための十分な情報を提供できない場合でも、撮像装置または品質検査モジュールなどの機械が、様々な管アセンブリタイプ同士を適切に識別し、しっかりと区別することを可能にすることができる。本明細書に記載の方法および撮像装置は、人工知能、深層学習技術、統計学的モデルおよび/または他の同様の弁別モデルを用いて、管アセンブリのキャップの色、形状および/または他の特徴に基づいて管タイプを分類することができる。
【0020】
いくつかの実施形態では、統計学的モデルおよび/または弁別モデルは、予め訓練されたモデルを含むことができる、サポートベクターマシン(SVMs)、決定木、畳み込みニューラルネットワーク(CNNs)などを含むことができる。本明細書に記載のプロセスは、メモリに接続されたプロセッサによって実施することができる。メモリは、方法を実行する適当なプロセッサ上で実行可能な実行可能プログラム命令を記憶している。いくつかの状況では、SVMは、分類および回帰分析のために使用されるデータを分析する関連の学習アルゴリズムを有する教師つき学習モデルである。
【0021】
第1の広範な態様では、本開示の実施形態は、キャップおよび/または管の形状および色を示す1つまたはそれ以上の幾何学的特徴など、キャップおよび/または管の物理的特徴を決定するように構成され動作することができる(動作可能な)撮像方法および装置を提供する。いくつかの実施形態では、キャップの1つまたはそれ以上の寸法の勾配が決定され、使用される。キャップおよび/または管のこれらの特徴は、異なる管アセンブリの識別および/または分類に機械学習技術を用いる機械(たとえば、撮像装置または品質検査モジュール)によって使用される。
【0022】
本明細書に開示の方法および装置は、キャップ幾何形状、キャップ色ならびにキャップおよび管の他の特徴を用いて異なる管タイプ同士を区別することができる。方法および装置は、管アセンブリの前面照明および/または背面照明を用いて管アセンブリの特徴を識別することができる。たとえば、いくつかの実施形態では、パネル化された光源などの光源は、管アセンブリの前面を照明し、前面からの反射光の画像が取り込まれる。他の実施形態では、パネル化された光源などの1つはまたはそれ以上の光源は、管アセンブリを背面照明し、撮像装置は、管アセンブリを通過した光の画像を取り込み、キャップの半透明性の特徴付けを可能にすることができる。いくつかの実施形態では、前面照明が、キャップの少なくとも色の改善された弁別を提供することができる。
【0023】
管アセンブリの1つまたはそれ以上の画像を取り込むことによって、管アセンブリの1つまたはそれ以上の画素化された画像が生成される。各画素化された画像は、画像を形成する複数の画素を含む。1つまたはそれ以上の画像は、キャップが取り付けられた管タイプの識別に使用できる管および/またはキャップの幾何学的特徴を抽出するために分析される。たとえば、管および/またはキャップの特徴は、キャップの識別のために線形サポートベクターマシンなどの弁別モデルに入力される。管タイプは、いくつかの実施形態では、少なくとも部分的にキャップの識別に基づいて識別される。
【0024】
いくつかの実施形態では、キャップとして識別された領域の画像のさらなる処理は、色決定アルゴリズムを用いて、キャップの色を抽出または識別することができる。いくつかの実施形態では、キャップを表す画素のそれぞれについての色値が識別される。画素のすべてまたは一パッチの色値の平均(平均色)が、コンピュータアルゴリズムなどを用いることによって決定される。次いで、平均色の色成分が決定される。いくつかの実施形態では、平均色は、色相、彩度および明度成分を得るために、HSV(色相、彩度、明度)色空間に変換される。
図7では、HSV色空間にマッピングされた管アセンブリの一例が提供される。これらの色成分は、管タイプの明確な識別を助けるように弁別モデルに入力される3つの次元またはベクトルをもたらす。HSL、RGB(赤、緑、青)、Adobe RGB、YIQ、YUV、CIELCAB、CIELUV、ProPhoto、sRGB、Luma plus Chroma、CMYKなどを用いることによる他の色特徴付け方法を使用してもよい。
【0025】
いくつかの実施形態では、キャップ幾何形状に関連する特徴が弁別モデルに入力される。たとえば、勾配(たとえば、行勾配および/または列勾配)など、キャップの寸法に関連する幾何学的特徴が弁別モデルに入力される。本明細書で使用されるような勾配は、キャップの寸法の変化率(一次導関数)である。アルゴリズムは、たとえば、(たとえば、y軸に沿った)垂直位置の関数としてキャップの幅を決定するように、キャップの画像を上から下、または下から上にスキャン(たとえば、レーザスキャン)することができる。決定される幅は、水平方向軸またはx軸に沿って計算される。
【0026】
たとえば、アルゴリズムは、キャップの画像を上から下にスキャンし、キャップの形状を分析し、キャップの画像のy軸に沿った幅の絶対値と一次数値導関数の両方を記憶することができる。一次数値導関数は、単一軸について、下式(1)によって計算することができる:
【数1】
式中:
u
i,jは、位置インデックスi、jでのuの二次元値、
iは、x軸位置インデックス、
jは、y軸位置インデックス、
δu
i,j/δyは、y軸に対する位置i、jでのuの数値導関数、および、
Δyは、垂直寸法における寸法の変化である。
【0027】
式(1)によって、行勾配が得られる。RG-最大と称される行勾配の最大値が計算される。RG-最大の値は、キャップの幅の最も急な変化の関数であり、それに関連し、弁別モデルに入力されるベクトルであり得る。他の実施形態では、キャップの他の幾何学的特徴が分析され、弁別モデルに入力される。たとえば、キャップの上面に沿った寸法または形状の輪郭が分析され、弁別モデルに入力される。他の実施形態では、キャップ高さの勾配、すなわち幅の関数としてのキャップ高さの変化率が分析され、弁別モデルに入力される。
【0028】
いくつかの実施形態では、弁別モデルに入力される他の差別化のための特徴を得るように、キャップの材料が分析される。キャップ材料の分析は、キャップの不透明性または半透明性の度合いを演算することを含むことができる。たとえば、アルゴリズムは、キャップの1つまたはそれ以上の背面照明画像を使用することができる。いくつかの実施形態では、キャップの背面照明画像が光の複数のスペクトル(波長)にわたって高露出時間で取り込まれ、その画像がアルゴリズムによって分析される。いくつかの実施形態では、3つの可視光スペクトル(RGB)が使用される。たとえば、背面照明の赤色チャネル画像は、約10,309μsの間露出され、背面照明の緑色チャネル画像は、約20,615μsの間露出され、背面照明の青色チャネル画像は、約10,310μsの間露出される。各波長チャネルについての統計量が演算され、弁別モデルに入力される。たとえば、RGBの各波長の高露出画像の平均値が演算される。これら3つの平均値(R-平均、G-平均、B-平均)により、弁別モデルは、キャップ識別のための多次元弁別特徴空間を用いることができる。たとえば、キャップの識別に、7次元弁別特徴空間(H、S、V、RG-最大、R-平均、G-平均、B-平均)が使用される。しかし、色特徴空間のあらゆる組合せを使用することができる。
【0029】
n次元特徴空間(この実施形態ではn=7)において、弁別モデル(たとえば、弁別器)は、キャップ、したがって管タイプを適切に識別するように訓練される。弁別器の一例は、高次元特徴空間において各キャップおよび/または管タイプの周りに決定ハイパー境界(hyper-boundaries)を引く、線形サポートベクターマシン(SVM)である。こうしてキャップおよび/または管タイプが識別される。いくつかの実施形態では、キャップ高さ、キャップ直径、管径および/もしくは管高さまたは他の視覚ベースの特徴などのより多くの特徴が、弁別モデルへの追加の寸法または形状の入力として含まれる。キャップ重量は、撮像ステージ後のキャップ取外しステーションなどで用いてもよい。他の実施形態では、他の背面照明または不可視光(たとえば、IRもしくは近IR)が用いられ、それによって色空間の次元的な複雑さを活用するよりパワフルな弁別モデルが追加される。
【0030】
本明細書に記載のモデルおよびアルゴリズムは、キャップの色だけに依拠せずに、特定のキャップタイプをそれらの適切な管タイプと関連付けることができる。モデルおよびアルゴリズムは、オペレータからの入力なしにこれらのタスクを実行することができ、すなわち弁別を完全に自動化することができる。以下の説明は、管に取り付けられたキャップに基づいて管タイプを区別する、上述した方法および装置を実施する一例を提供する。他の実施形態では、管アセンブリの特徴が分析され、その分析に基づいてモデルおよびアルゴリズムが管タイプを決定することができる。
【0031】
本明細書では、
図1Aから
図8を参照して方法および装置のさらなる詳細について述べる。
【0032】
まず、
図1Aおよび
図1Bを参照する。
図1Aは、第1の管104Aの頂部に取り付けられた第1のキャップ102Aを含む第1の管アセンブリ100Aの側面図である。
図1Bは、第2の管104Bの頂部に取り付けられた第2のキャップ102Bを含む第2の管アセンブリ100Bの側面図である。たとえば、第1の管アセンブリ100Aは第1の製造業者および第2の管アセンブリ100Bは第2の製造業者からのものである場合があり、または単純に同じ製造業者からの異なる管タイプのものである場合もある。第1の管アセンブリ100Aは、第1の検査の実施で使用される第1の管104Aに入れられた1つまたはそれ以上の化学添加剤(図示せず)を含み、第2の管アセンブリ100Bは、第2の検査の実施で使用される第2の管104Bに入れられた1つまたはそれ以上の化学添加剤(図示せず)を含む場合がある。第1の管アセンブリ100Aを参照すると、化学添加剤は、第1の管104A内部のスプレーコーティング層として、ペレットもしくは局在する塊として、第1の管104A内の他の場所、または第1のキャップ102Aの下面内もしくは上に加えられる。化学添加剤は、第2の管アセンブリ100Bにおいて同様の位置にあってよい。いくつかの実施形態では、第1の検査は第2の検査と同じであり、他の実施形態では、第1の検査は第2の検査と異なる場合がある。
【0033】
第1のキャップ102Aは第1の色を有し、第2のキャップ102Bは第2の色を有する場合がある。キャップのなかには、キャップのある部分に1つの色、キャップの他の部分に第2の色など、1つを上回る色を有するものもある。いくつかの実施形態では、第1の色が第2の色と酷似しており、したがって色だけのコンピュータアルゴリズムでは、第1の色と第2の色を区別することができない場合がある。他の実施形態では、第1の色は、第2の色と異なる場合がある。本明細書に記載の方法および装置は、上述した寸法および/または形状の特徴および色を分析し、第1のキャップ102Aと第2のキャップ102B、したがって第1の管アセンブリ100Aの管タイプと第2の管アセンブリ100Bの管タイプを区別することができる。
【0034】
第1の管アセンブリ100Aおよび第2の管アセンブリ100Bの1つまたはそれ以上の画像は、撮像装置800(
図8)によって取り込むことができる。画像は、画素の多数の行と列からなる画素化された画像であり、各画像は、複数の画素を含むことができる。さらに、
図2Aおよび
図2Bを参照すると、
図2Aは、第1の管104Aの画像から取り出された第1のキャップ102Aのマスク画像の概略図であり、
図2Bは、第2の管104Bから取り出された第2のキャップ102Bのマスク画像の概略図である。いくつかの実施形態では、コンピュータ上で実行されるアルゴリズムは、画像内の画素をキャップとして分類することができ、この分類は、
図2Aおよび
図2Bに示されるように追加の処理のためにキャップとして分類されたそれらの画素を分離することに使用される。
図2Aおよび
図2Bの周りのボックスは、マスク画像が、同じボックスを含む
図1Aの第1の管アセンブリ100Aおよび
図1Bの第2の管アセンブリ100Bと位置合わせされる場所を示す。ボックスのサイズ(幅および高さ)ならびにボックスの位置は、任意のサイズの管にもたらされる任意の予想されるキャップタイプを取り込むために必要なサイズおよび位置からもたらされる。
【0035】
図2Aの(斜線で示される)画像の画素の場所は、第1のキャップ102Aの色を決定するために元の色の画像を分析することに使用することができる。第1のキャップ102Aの色の決定は、画素の平均色、画素の中央色、画素の最頻値または画素の他の色値を計算することによって実施することができる。k-平均クラスタリングなどのさらに進んだ教師なし機械学習法を用いて色クラスタを作成することもできる。平均色は、第1の管アセンブリ100Aの弁別モデルへの入力のための、HSV色モデルの3つの色特徴次元(H-色相、S-彩度、およびV-明度(輝度))を生成するようにHSV色空間において演算される。同じ処理が、
図2Bの(斜線で示される)画素にも適用され、それによって、第2の管アセンブリ100Bの弁別モデルへの入力のための第2のキャップ102Bの3つの色特徴次元が生成される。
【0036】
弁別モデルへの入力のための追加の次元は、第1のキャップ102Aおよび/または第1の管104Aを含む第1の管アセンブリ100Aならびに第2のキャップ102Bおよび/または第2の管104Bを含む第2の管アセンブリ100Bの幾何学的特徴を分析することによって得ることができる。コンピュータ上で実行されるアルゴリズムは、エッジを識別するために色強度の急な変化を識別し、次いで、第1のキャップ102Aの行勾配などの寸法勾配を分析することができ、第1の管104Aの部分を含めることができる。同様に、アルゴリズムは、第2のキャップ102Bの行勾配などの寸法勾配を分析することができ、第2の管104Bの部分を含めることができる。
【0037】
図3Aを参照すると、行勾配などの幾何学的勾配を決定するように分析される第1の管アセンブリ100Aの部分が示されている。さらに、
図4Aを参照すると、行勾配などの幾何学的勾配を決定するように分析される第2の管アセンブリ100Bの部分が示されている。
図3Aを参照すると、アルゴリズムは、第1のキャップ102Aおよび第1の管104Aの一部分の形状を示す数値を決定するために、第1のキャップ102Aおよび第1の管104Aの一部分を上から下(または下から上)にスキャンすることができる。
図3Aの実施形態では、数値は、第1のキャップ102Aおよび第1の管104Aの上部の様々な幅である。これらの数値は、第1のキャップ102Aおよび第1の管104Aのエッジを識別する画像色強度の変化に基づき得る。場合により、画素空間におけるキャップの境界の識別にセグメンテーションルーチンを使用してもよい。
【0038】
さらに
図3Bを参照すると、
図3Aに示される第1の管アセンブリ100Aに沿った垂直寸法(Y寸法)の関数としての様々な幅寸法(x寸法)を示すグラフである。
図3Aおよび
図3Bに示されるように、第1の管アセンブリ100Aは、垂直位置V31に幅W31、垂直位置V32に幅W32を有する。第1の管アセンブリ100Aは、第1の管104Aの幅である、垂直位置V33に幅W33を有する。これらの幅は、垂直位置の関数としての幅の点から第1の管アセンブリ100Aの特有の幾何学的特性を表すことができる。
【0039】
さらに
図3Cを参照すると、第1の管アセンブリ100Aの
図3Bの寸法のプロット(幅寸法対垂直寸法)の一次導関数が示されている。
図3Cのグラフは、式(1)を
図3Bのグラフに適用することによって得ることができる。式(1)が最上行に適用されるときに一次導関数が無限大に近づかないように、第1のキャップ102Aの最上行は、処理中は無視してよいことに留意されよう。
図3Cのグラフのy軸は、Δ幅と称される。RG-最大1と称されるΔ幅の最大値は、
図3Cのグラフに示され、色に加えて他のモデル入力として第1の管アセンブリ100Aの弁別モデルに入力される。
【0040】
さらに
図4Bを参照すると、垂直寸法(Y寸法)の関数としての
図4Aに示される第2の管アセンブリ100Bの様々な幅(x寸法)を示すグラフである。
図4Aおよび
図4Bに示されるように、第2の管アセンブリ100Bは、垂直位置V41に幅W41、垂直位置V42に幅W42を有する。第2の管アセンブリ100Bは、第2の管104Bの幅である、垂直位置V43に幅W43を有する。これらの幅は、第2の管アセンブリ100Bの特有の幾何学的特性を表す。
【0041】
さらに
図4Cを参照すると、
図4Bのグラフにプロットされているような第2の管アセンブリ100Bの一次導関数が示されている。
図4Cのグラフは、式(1)を
図4Bのグラフに適用することによって得ることができる。最初の行の導関数の演算のときに一次導関数が無限大に近づかないように、第2のキャップ102Bの最上行は、処理中は無視してよいことに留意されよう。
図4Cのグラフのy軸は、Δ幅と称される。RG-最大2と称されるΔ幅の最大ピーク値は、
図4Cのグラフに示され、他のモデル入力として第2の管アセンブリ100Bの弁別モデルに入力される。いくつかの実施形態では、Δ幅の1つまたはそれ以上の最小値は、色とともにモデル入力として使用することができる。
【0042】
上述に基づいて、第1の管アセンブリ100Aおよび第2の管アセンブリ100Bの勾配は、第1のキャップ102Aおよび第2のキャップ102Bの色に関係なく管アセンブリの少なくともいくつかの特徴を識別および/または区別することに使用することができる。たとえば、キャップ勾配の弁別によって真空能力を区別することができる場合がある。いくつかの実施形態では、第1のキャップ102Aおよび第2のキャップ102Bのキャップ幅の勾配がそれぞれ第1の管アセンブリ100Aおよび第2の管アセンブリ100Bの少なくともいくつかの特徴を区別することに使用される。
【0043】
第1の管アセンブリ100Aおよび第2の管アセンブリ100Bにおける他の差別化のための特徴は、不透明性または半透明性の度合いを演算することによって決定されるキャップ材料および/または管材料であり得る。この特徴を測定するため、キャップを含む管アセンブリの部分を背面照明し、管アセンブリの画像をたとえば高露出時間で取り込み、さらに、複数の光スペクトルの照明を用いて取り込むことができる。いくつかの実施形態では、3つの可視光スペクトル(赤(R)、緑(G)および青(B))が第1の管アセンブリ100Aおよび第2の管アセンブリ100Bを背面照明することができる。しかし、他の色も使用することができ、UVおよびIRでの背面照明を含めて使用することができる。たとえば、第1の管アセンブリ100Aおよび第2の管アセンブリ100Bは、不可視光を用いて照明してもよい。
【0044】
図5Aを参照すると、第1の管アセンブリ100Aの第1のキャップ102Aを通過して撮像装置(たとえば、
図8の107A)によって取り込まれた例示的な光スペクトルのグラフである。さらに
図5Bを参照すると、第2の管アセンブリ100Bの第2のキャップ102Bを通過して撮像装置によって取り込まれた例示的な光スペクトルのグラフである。
図5Aおよび
図5Bのグラフは、0から255までの強度目盛(たとえば、平均強度)上にグラフ化され、ここで、0は受光がなく、255は管アセンブリによる光の遮りがないことを示す。いくつかの実施形態では、背面照明の赤色チャネル画像は約10,309μsの間露出され、背面照明の緑色チャネル画像は約20,615μsの間露出され、背面照明の青色チャネル画像は約10,310μsの間露出される。他の露出も使用することができる。
【0045】
さらに
図5Cを参照すると、第1の管アセンブリ100Aの一部分の写真画像が上下に並んで示されている。最上の写真画像(ラベル1)は、全RGB色スペクトルの前面照明で取り込まれた第1の管アセンブリ100Aの一部分である。2番目から4番目の白黒写真画像は、異なる波長(たとえば、色)の光に対する管部分の透明度を示す。たとえば、2番目の白黒写真画像(ラベル2)は、赤色背面照明で取り込まれた第1の管アセンブリ100Aの一部分である。3番目の白黒写真画像(ラベル3)は、緑色背面照明で取り込まれた第1の管アセンブリ100Aの一部分である。4番目の白黒写真画像(ラベル4)は、青色背面照明で取り込まれた第1の管アセンブリ100Aの一部分である。
【0046】
さらに
図5Dを参照すると、第2の管アセンブリ100Bの一部分の写真画像が上下に並んで示されている。最上の写真画像(ラベル1)は、全RGB色スペクトルの前面照明で取り込まれた第2の管アセンブリ100Bの一部分である。2番目の白黒写真画像(ラベル2は)は、赤色背面照明で取り込まれた第2の管アセンブリ100Bの一部分である。3番目の白黒写真画像(ラベル3)は、緑色背面照明で取り込まれた第2の管アセンブリ100Bの一部分である。4番目の白黒写真画像(ラベル4)は、青色背面照明で取り込まれた第2の管アセンブリ100Bの一部分である。
【0047】
図5Aおよび
図5Bのグラフから、第1の管アセンブリ100Aの部分、ラベル1は、波長(R、G、B)すべてにおいてほぼ完全に透明であり、第2の管アセンブリ100Bの部分、ラベル1は、3つの波長すべてで光の大部分を遮ることが分かる。いくつかの実施形態では、高露出画像の各波長の平均値が演算され、それぞれR-平均、G-平均およびB-平均と称される。いくつかの実施形態では、高露出画像の各波長の中央値が演算される。
【0048】
上述の特徴量がすべて演算されると、各管アセンブリについての7次元弁別特徴空間(H、S、V、RG-最大、R-平均、G-平均、B-平均)になり得る。n次元特徴空間(この実施形態では、n=7)において、弁別モデルは、様々な管タイプを適切に識別するように訓練することができる。弁別器の一例は、この高次元特徴空間において各管タイプの周りに決定ハイパー境界を引く、線形SVMである。上述のモデルに基づいて、第1のキャップ102Aと第2のキャップ102Bが全く同じまたは似ている色であっても、第1の管アセンブリ100Aと第2の管アセンブリ100Bを区別することができる。キャップの不透明性もしくは半透明性、キャップ重量、キャップの垂直高さ、直径、キャップ勾配もしくは他の視覚ベースの幾何学的特徴などのより多くの光学的特徴、または、異なる背面照明もしくは不可視光(たとえば、IRもしくは近IR)を用いた照明などの追加の画像タイプを用いて、空間の次元的な複雑さを活用するさらによりパワフルな弁別モデルを使用することもできる。色空間特徴と幾何学的特徴のあらゆる組合せをキャップタイプの弁別に使用することができる。
【0049】
本明細書に記載の装置および方法は、診断検査室が、検査室を通ることがある多くの異なる管タイプを差別化することを可能にする。キャップの色だけに依拠すると、様々な製造業者および/または領域特異的な規格により、信頼性の低い結果につながることがある。上述に基づいて、本明細書で開示される装置および方法は、キャップの色自体が様々な管タイプ同士の区別に十分でない場合、様々な管タイプ同士の弁別を向上させ、様々な管タイプ同士の区別を助ける。これにより、診断デバイスまたは機械が、オペレータからの任意の手動入力の必要なくして診断デバイスまたは装置内で管タイプ(したがって、対応する特徴)を決定することが可能になる、すなわち完全に自動化されることから、これは有利である。
【0050】
いくつかの実施形態では、いくつかの対応する特徴は、オペレータによって手動で入力される、または他のセンサを介して取得される。本明細書に記載の装置および方法の利点に寄与する技術的な構成は、1つまたはそれ以上のオンボード画像取り込み装置またはセンサから収集されるデータ、および、管タイプを適切に決定するための高次元空間の弁別モデルを用いた、各管タイプについての高次元特徴ベクトルを含むことができる。そのような高次元弁別モデルの使用は、試料処理ワークフローの速度を上げることができ、指示される検査と使用される管タイプとの間の不適合を正確に識別することができる。したがって、キャップによって識別されるようなその化学添加剤または幾何学的特性に基づいて適切な管タイプの使用を確実にするように、チェックを行うことができる。
【0051】
図8は、第1のキャップ102Aおよび第1の管104Aからなる第1の管アセンブリ100Aの1つまたはそれ以上の画像を取り込むように構成される撮像装置800を示し、ここで、1つまたはそれ以上の画像は、画素からなる画素化された画像とすることができ、各画像は複数の画素を含む。撮像装置800は、診断装置と称される場合もある。撮像装置800は、光パネルの場合もある光源805Aなどの前面光源を含む。いくつかの実施形態では、撮像装置807の左右前方に位置する光パネルなど、1つを上回る光源を使用する場合もある。光パネルなどの他の前面光源を、光源805Aと同じ長手方向位置に、撮像装置807の他の側方前方(図示の紙面外)に設けてもよい。いくつかの実施形態では、光源805Bのような1つまたはそれ以上の背面光源を設けてもよい。光源805Bは、たとえば、不透明性の決定のために光を提供する1つまたはそれ以上の光パネルであり得る。他の配置も可能である。
【0052】
撮像装置800は、撮像装置807および光源805A、805Bに通信可能に接続されたコントローラ809をさらに含む場合がある。コントローラ809は、弁別モデルの形態など、実行可能なプログラム命令の記憶および実行に適したプロセッサ810およびメモリ812を含む任意の適当なコンピュータであり得る。コントローラ809は、取り込まれる(背面照明または前面照明される)画像のタイプに応じて前面照明および/または背面照明をもたらすように、適切なときに光源805A、805Bに信号を送信することができる。コントローラ809は、CNNまたは他の訓練されたモデルなど、任意の適当なセグメンテーションプログラムによって、第1のキャップ102Aおよび第1の管104Aを識別することができる。
【0053】
第1のキャップ102Aおよびそれを表す領域の識別後、その色が、HSV色モデルなどの任意の適当な色空間における色モデルによって決定される。HSL、RGB(赤、緑、青)、Adobe RGB、YIQ、YUV、CIELCAB、CIELUV、ProPhoto、sRGB、Luma plus Chroma、CMYKまたは他の適当な色空間モデルなどの他の適当な多要素色空間またはモデルを使用することもできる。さらに、第1のキャップ102Aおよび第1の管104Aの識別後、寸法決定プログラムまたはルーチンが、第1の管104Aの幅および/または高さおよび/または寸法勾配(たとえば、キャップ高さの関数としての幅および/または幅の関数としての高さ)を決定することができる。これらの値は、第1の管アセンブリ100Aのタイプの決定のために任意の適当な識別モデル(たとえば、弁別モデル)に入力される。
【0054】
次に、管タイプを識別する方法900の流れ図である
図9を参照する。方法900は、902で、管(たとえば、第1の管104A)に取り付けられたキャップ(たとえば、第1のキャップ102A)の1つまたはそれ以上の画像を取り込み、それによって複数の画素を含むキャップの画素化された画像を生成することを含む。方法900は、904で、キャップの画素化された画像の1つまたはそれ以上の画素の色を識別することを含む。方法900は、906で、キャップの1つまたはそれ以上の寸法勾配を識別することを含む。方法900は、908で、少なくとも:1つまたはそれ以上の画素の色、およびキャップの1つまたはそれ以上の寸法勾配に基づいて管タイプを識別することを含む。
【0055】
次いで、管タイプを識別する方法1000の流れ図である
図10を参照する。方法1000は、1002で、キャップ(たとえば、第1のキャップ102A)の1つまたはそれ以上の画像を取り込み、それによってキャップの画素化された画像を生成することを含む。方法1000は、1004で、キャップの色を識別することを含む。方法は、1006で、キャップの寸法勾配を識別することを含む。方法1000は、1008で、少なくとも:キャップの色、および寸法勾配に基づいて管タイプを識別することを含む。方法は、1008で、指示された検査と管タイプの適合を識別することを含む。管タイプが指示された検査について適切な場合、コントローラ809は、ディスプレイ上に「使用に適切な管タイプ」と示す、または別のやり方で使用管タイプに間違いがないことを報告することができる。不適合と示された場合、システムは、「誤った管タイプ」が使用されたことをたとえばディスプレイ上に示すことによってまたは他のやり方で、エラーを報告することができる。
【0056】
本開示は様々な修正および代替形態を許容可能であるが、特定の実施形態およびその方法が図面に例として示され、本明細書で詳細に説明されている。しかし、開示した特定のシステムまたは方法に本開示を限定する意図はなく、逆に、特許請求の範囲に属するすべての修正、均等物および代替形態が包含されることを理解されたい。
【国際調査報告】