▶ シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-10
(45)【発行日】2022-06-20
(54)【発明の名称】複数の候補を用いた画像ベースの管頭部円検出
(51)【国際特許分類】
G01N 35/00 20060101AFI20220613BHJP
【ＦＩ】
G01N35/00 A
【請求項の数】
14
(21)【出願番号】P 2020500875
(86)(22)【出願日】2018-06-25
(65)【公表番号】
(43)【公表日】2020-08-31
(86)【国際出願番号】 US2018039283
(87)【国際公開番号】W WO2019013961
(87)【国際公開日】2019-01-17
【審査請求日】2020-03-17
(31)【優先権主張番号】62/531,108
(32)【優先日】2017-07-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507269175
【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド
【氏名又は名称原語表記】ＳＩＥＭＥＮＳ ＨＥＡＬＴＨＣＡＲＥ ＤＩＡＧＮＯＳＴＩＣＳ ＩＮＣ．
(74)【代理人】
【識別番号】110003317
【氏名又は名称】特許業務法人山口・竹本知的財産事務所
(74)【代理人】
【識別番号】100075166
【弁理士】
【氏名又は名称】山口 巖
(74)【代理人】
【識別番号】100133167
【弁理士】
【氏名又は名称】山本 浩
(74)【代理人】
【識別番号】100169627
【弁理士】
【氏名又は名称】竹本 美奈
(72)【発明者】
【氏名】チャン，ヤオ－ジェン
(72)【発明者】
【氏名】クルックナー，シュテファン
(72)【発明者】
【氏名】ポラック，ベンジャミン エス．
(72)【発明者】
【氏名】チェン，テレンス
【審査官】渋谷 知子
(56)【参考文献】
【文献】国際公開第２０１６／１３３９２４（ＷＯ，Ａ１）
【文献】特開２００４－２６５４０７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００６９１１３（ＵＳ，Ａ１）
【文献】特開平０９－０７３５４４（ＪＰ，Ａ）
【文献】特開２０１１－１００２２３（ＪＰ，Ａ）
【文献】特開２０１７－０６８７３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ３５／００
Ｇ０６Ｔ ７／６０
(57)【特許請求の範囲】
【請求項1】
試料管をそれぞれ受容するように構成された管スロットを多数含むトレイについて、画像ベースの管頭部円検出を使用する方法であって、前記トレイの前記管スロットの列ごとに、複数のカメラにより複数の視点から画像を取得し、
当該画像を受信したプロセッサにより、前記管スロットの１つの列にある試料管の１つに関し、該対象の試料管が位置する前記管スロットの前記列に対し取得された前記複数視点からの画像のそれぞれにおいて複数の候補を抽出し、
前記プロセッサにより、前記複数視点の１つの視点の前記複数の候補と前記複数視点の別の視点の前記複数の候補との可能な組み合わせの全てについて一貫性スコアを計算し、
前記プロセッサにより、前記計算した一貫性スコアを累積し、
前記プロセッサにより、前記累積した一貫性スコアで最も高くなったスコアに基づいて前記候補を選抜し、前記対象の試料管の正当な管頭部円を前記画像において選択する、ことを含む方法。
【請求項2】
前記一貫性スコアを計算するときに、前記プロセッサにより、前記複数の候補の可能な組み合わせを判定し、
前記プロセッサにより、前記複数の候補のそれぞれの特徴に基づく属性を前記可能な組み合わせごとに計算し、
前記プロセッサにより、前記計算した属性に基づいて前記一貫性スコアを計算する、ことを含む、請求項１に記載の方法。
【請求項3】
前記計算した属性をルックアップテーブルに保存することをさらに含む、請求項２に記載の方法。
【請求項4】
前記属性として、円直径、円中心位置、円の高さ、及び円中心オフセットの１つ以上を含む、請求項２又は３に記載の方法。
【請求項5】
前記属性として、複数の画像パッチにわたる形状、色、及びテクスチャの１つ以上を含む、請求項２又は３に記載の方法。
【請求項6】
前記トレイは、開位置と閉位置との間を移動可能なドロワの部分内に収まるように構成されており、該ドロワを前記開位置と前記閉位置との間で移動させるときに、前記トレイの画像が複数のカメラを備えた画像取得システムにより取得される、請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記対象の試料管について前記正当な管頭部円を分析し、管カテゴリ及び管特徴を判定することをさらに含む、請求項１～６のいずれか１項に記載の方法。
【請求項8】
体外診断環境において使用する視覚システムであって、多数の管スロットが行と列のマトリックスに配列され、該各管スロットに試料管を受容するように構成されているトレイと、
該トレイを受けるように構成された載置面と、
前記トレイの画像を、前記管スロットの列ごとに複数の視点から取得するように構成された複数のカメラと、
プロセッサとを含み、
前記プロセッサは、
前記管スロットの１つの列にある試料管の１つに関し、該対象の試料管が位置する前記管スロットの前記列に対し取得された前記複数視点からの画像のそれぞれにおいて複数の候補を抽出し、
前記複数視点の１つの視点の前記複数の候補と前記複数視点の別の視点の前記複数の候補との可能な組み合わせの全てについて一貫性スコアを計算し、
前記計算した一貫性スコアを累積し、
前記累積した一貫性スコアで最も高くなったスコアに基づいて前記候補を選抜し、前記対象の試料管の正当な管頭部円を前記画像において選択するように、構成される、視覚システム。
【請求項9】
前記プロセッサが前記一貫性スコアを計算するときに、前記複数の候補の可能な組み合わせを判定し、
前記複数の候補のそれぞれの特徴に基づく属性を前記可能な組み合わせごとに計算し、
前記計算した属性に基づいて前記一貫性スコアを計算する、ことを含む、請求項８に記載の視覚システム。
【請求項10】
前記プロセッサは、前記計算した属性をルックアップテーブルに保存するように、さらに構成されている、請求項９に記載の視覚システム。
【請求項11】
前記属性として、円直径、円中心位置、円の高さ、及び円中心オフセットの１つ以上を含む、請求項９又は１０に記載の視覚システム。
【請求項12】
前記属性として、複数の画像パッチにわたる形状、色、及びテクスチャの１つ以上を含む、請求項９又は１０に記載の視覚システム。
【請求項13】
前記載置面は、開位置と閉位置との間を移動可能なドロワの部分で構成され、該ドロワを前記開位置と前記閉位置との間で移動させるときに、前記トレイの画像が前記複数のカメラにより取得される、請求項８～１２のいずれか１項に記載の視覚システム。
【請求項14】
前記プロセッサは、前記対象の試料管について前記正当な管頭部円を分析し、管カテゴリ及び管特徴を判定するように、さらに構成されている、請求項８～１３のいずれか１項に記載の視覚システム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願の相互参照］
本願は、２０１７年７月１１日出願の米国仮出願６２／５３１，１０８に基づく優先権を主張するものであり、その全内容が本明細書に援用される。
本願は、２０１７年７月１１日出願の米国仮出願６２／５３１，１０８に基づく優先権を主張するものであり、その全内容が本明細書に援用される。
【0002】
ここに開示する技術は、管トレイの画像を取得して該トレイ内に保持された管の特徴を判定すること、より詳細には、複数の候補を用いた画像ベースの管頭部円検出を使用して、トレイ内に保持された管の特徴を正確に判定すること、に広く関係する。
【背景技術】
【0003】
体外診断（ＩＶＤ）は、患者流体試料に対して実施されるアッセイに基づいて検査室が疾病の診断を支援することを可能にする。ＩＶＤは、患者の体液又は膿瘍から採取された液体試料の分析によって実施される、患者診断及び治療に関連する種々のタイプの分析試験及びアッセイを含む。これらのアッセイは、通例では、患者試料を含む管又はバイアルを装填した自動臨床化学分析装置（分析装置）を用いて実施される。最新のＩＶＤ検査室に必要とされるアッセイの多様性、及び検査室の操作に必要な検査の容量に鑑みて、複数の分析装置が１つの検査室で使用されることが多い。分析装置の間及び分析装置のいずれかで、自動化システムを使用することもできる。試料は、診察室から検査室に搬送され、検査室に保管され、自動化システム又は分析装置に入れられ、続く検査のために保管される。
【0004】
分析装置間での保管及び輸送は、通常、トレイを用いて行われる。トレイは、ほとんどの場合、試験管に入れられた数個の患者試料のアレイである。このトレイは積み重ね可能であることが多く、検査室のある部分から他の部分へ複数の試料を容易に運ぶことができる。例えば、検査室は、病院又は診療所から検査用の患者試料のトレイを受け取る。患者試料のトレイは、検査室内の冷蔵庫に保管することができる。患者試料のトレイは、ドロワ（引き出し）に保存することもできる。一部の自動化システムでは、分析装置が患者試料のトレイを受け入れて相応に該試料を取り扱うことができるが、一部の分析装置では、オペレータがトレイから試料を取り出し、さらに、取り扱い前にキャリア（パックなど）に入れる必要がある。トレイは一般に受動的な装置で、試料の搬送を可能とし、場合によっては所定の規則で配列される。
【0005】
一般的に、トレイに入れられた試料管に関する情報は、オペレータ又は試料ハンドリング機構が各試験管に作用するまで知り得ない。例えば、試料ハンドリングロボットアームが管をピックアップし、トレイから取り出し、キャリアに入れる。そしてキャリアがデキャッパステーションへ移動して必要な場合にキャップを外し、バーコードリーダを通過することにより、管側面のバーコードが読み取られて管の内容物が明らかになる。多くの先行技術の試料ハンドリング機構において、管がトレイから取り出された後でなければ、管の素性は分からない。このように、自動化システムのキャリアに管を載置する前は、トレイ内の全ての管が同一の方法で取り扱われることが多い。
【発明の概要】
【0006】
一つの態様として、画像ベースの管頭部円検出を使用する方法を提供する。本態様は、管円検出のロバスト性をさらに改善し、複候補選択を使用してより困難な場合に対処する、画像ベースの方法を対象とする。
【0007】
一態様によれば、画像ベースの管頭部円検出を使用する方法は、試料管をそれぞれ受容するように構成された管スロットを多数有するトレイについて、その管スロットの列ごとに複数の視点から画像を取得し、当該画像を受信したプロセッサにより、管スロットの１つの列にある試料管の１つに関し、該対象の試料管が位置する管スロットの列に対し取得された複数視点からの画像のそれぞれにおいて複数の候補を抽出し、プロセッサにより、複数視点の１つの視点の複数の候補と複数視点の別の視点の複数の候補との可能な組み合わせの全てについて一貫性スコアを計算し、プロセッサにより、計算した一貫性スコアを累積し、プロセッサにより、累積した一貫性スコアで最も高くなったスコアに基づいて候補を選抜し、対象の試料管の正当な管頭部円を、取得した画像において選択することを含む。
【0008】
一態様において、複数の一貫性スコアの計算は、プロセッサにより、複数の候補の可能な組み合せを判定し、プロセッサにより、可能な組み合わせごとに、複数の候補のそれぞれの特徴に基づく属性を計算し、プロセッサにより、計算した属性に基づいて複数の一貫性スコアを計算することを含む。一態様において、この方法は、計算した属性をルックアップテーブルに保存することをさらに含む。一態様において、属性は、円直径、円中心位置、円の高さ、及び円中心オフセットの１つ以上を含む。別の態様では、属性は、複数の画像パッチにわたる形状、色、及びテクスチャの１つ以上を含む。
【0009】
一態様において、トレイは、開位置と閉位置との間を移動可能なドロワの部分内に収まるように構成されており、ドロワを開位置と閉位置との間で移動させるときに、トレイの画像が少なくとも１台のカメラにより取得される。
【0010】
一態様によれば、一連の画像中の所定の試料管は、複数の異なる視点における所定の試料管からなる。
【0011】
一態様において、本方法は、さらに、所定の試料管について正当な管頭部円を分析して管カテゴリ及び管特徴を判定することを含む。
【0012】
別の態様において、体外診断環境において使用する視覚システムは、複数の管スロットが行と列のマトリックスに配列され、その各管スロットに試料管を受容するように構成されているトレイと、トレイを受けるように構成された載置面と、トレイの画像を、前記管スロットの列ごとに複数の視点から取得するように構成された少なくとも１つのカメラと、プロセッサとを含む。そのプロセッサは、前記管スロットの１つの列にある前記試料管の１つに関し、該対象の試料管が位置する管スロットの列に対し取得された複数視点からの画像のそれぞれにおいて複数の候補を抽出し、複数視点の１つの視点の複数の候補と複数視点の別の視点の複数の候補との可能な組み合わせの全てについて一貫性スコアを計算し、この計算した一貫性スコアを累積し、累積した一貫性スコアで最も高くなったスコアに基づいて候補を選抜し、対象の試料管の正当な管頭部円を、取得した画像において選択するように、構成される。
【0013】
以上の他の特徴及び利点は、添付図面を参照して例示の実施形態を説明する以下の詳細な説明において明らかになる。
【図面の簡単な説明】
【0014】
ここに開示される態様の上記及び他の側面は、添付の図面と併せて以下の詳細な説明からよく理解される。ここ開示する態様を具体的に例示する目的で、現時点で好ましい実施形態を図面に示してあるが、ここに開示される態様は、記載した特定の構成要素に限定されない。図面は以下の通りである。
【図1】図１Ａは、実施形態に係る、ドロワに保持された管トレイ及び管を画像分析を通して評価するシステムの図であり、図１Ｂは、実施形態に係る、ドロワに配置された管トレイの上に位置する画像取得システムを含んだドロワ視覚システム検査ハーネスを例示する。
【図2】実施形態に係る、ドロワに保持された管トレイ及びこれに含まれた管を、画像分析を通して評価するシステムのブロック図。
【図5】実施形態に係る、画像ベースの管頭部円検出を使用する方法を説明するフローチャート。
【図6】本発明の実施形態を実行可能なコンピューティング環境の例を示す。
【発明を実施するための形態】
【0015】
本願は、ＰＣＴ出願ＰＣＴ／ＵＳ２０１４／０２７２１７、ＰＣＴ出願ＰＣＴ／ＵＳ２０１５／０３５０９２、及びＰＣＴ出願ＰＣＴ／ＵＳ２０１６／０１８１０９に開示した技術思想に関連し、これらの技術思想は全体的に本明細書に援用される。
【0016】
本実施形態は、管円検出のロバスト性を改善し、複候補選択によってより困難な場合に対処する、画像ベースの方法を対象とする。これは、臨床検査室自動化システムにおける試料管の分類及び評価に極めて重要である。
【0017】
本実施形態は、管トレイ及び該管トレイに保持された管の画像を取得するように構成された自動視覚システムにおいて管トレイに保持された管のカテゴリ及び特徴を判定するシステム及び方法を含む。一実施形態によれば、自動化システムに手動で置かれて配列されるトレイの画像を取得することを含む。例えば、自動化システムは、ガイドレールを備えた平坦表面を備え、オペレータが、トレイにあるキー構造を手動でそのレールに整列させて該トレイを作業領域へ押すことができるようにする。
【0018】
一実施形態によれば、試料管が収納されている管トレイを装填し、また取り出すためのドロワを有する自動ドロワ視覚システム（ＤＶＳ）を含む。そのトレイの画像は、ドロワが開位置と閉位置（例えば、作業領域の位置）の間を移動するときに、ドロワの入口領域の上に取り付けられた１つ以上のカメラにより、取得することができる。
【0019】
一実施形態によれば、取得した画像を分析して、管カテゴリ及び管特徴を判定する。一実施形態では、複候補選択を用いた画像ベースの管頭部円検出を使用して、入力画像中の管頭部円領域をつきとめる。管頭部円領域は、管外観が様々である管のカテゴリ及び特徴を判定するために利用される。
【0020】
ＰＣＴ出願ＰＣＴ／ＵＳ２０１４／０２７２１７に説明されているように、ＤＶＳの管トレイはドロワ内に収まるように構成され、多数の管を、行と列のアレイに配置されたスロット内に保持する。その画像は、トレイに保持されている管と同様に、当該トレイを評価するためにも使用される。特に、一実施形態によれば、画像を分析することによって、管の様々な特徴、例えば、管を含むトレイスロット、座標系における管の中心点、管の直径及び高さ、ドロワ内のトレイの向き、管が平滑管であるかどうか、管がキャップ又は管頭部試料カップで覆われているかどうか、管キャップの色、トレイ表面のバーコード、及び、トレイを保持したドロワが作業環境に挿入され又はそこから取り出されるときの速度、などを判定することができる。一実施形態によれば、この情報及び他のいくつかの情報を迅速に、高価な装置を使用することなく、そして、管を取り上げたり触ったりすることなく、判定する。これらの知識は、管の効率的且つ合理的な処理に加えてセットアップ及び保守コストの低減を可能にする。
【0021】
ここに提示する実施形態によれば、複候補選択は、同一管に対する複数の視野を利用することによって管円検出のロバスト性を高め、管頭部円検出のロバスト性を改善する。同一管を異なる視点から見た画像から抽出する複数の候補を用いて、複候補選択アルゴリズムが複数の候補の中から最適な組み合わせを選択し、管特徴のより正確な測定を提供する。この情報は、試料のハンドリング装置（試料ハンドラ）が試験管を処理して検査及び分析のために試験管を分析装置へ移動している体外診断環境において、有用である。
【0022】
図１Ａは、一実施形態に係るドロワ視覚システム１００を例示した図で、管トレイ１２０及びこれに収容された管１３０が、その画像を取得して分析することによって評価される。１つ以上のドロワ１１０が開位置と閉位置との間で移動可能であり、試料ハンドラ用の作業領域１０５に提供される。１つ以上の管トレイ１２０は、ドロワ１１０に装填されるものでもよいし、あるいは、ドロワ１１０自体に形成の形状であってもよい。各管トレイ１２０は、（抜粋してあるトレイ１２１に示されるように）行と列のスロットのアレイを有し、その中に管１３０が保持される。
【0023】
一実施形態によれば、管トレイ１２０の画像が取得される。この画像を分析して、管トレイ１２０及び管１３０の特徴を判定する。ここに提示する実施形態によれば、移動トレイ／固定カメラの手法を使用して、分析のための画像を取得する。管トレイ１２０が、例えばドロワ１１０を手動又は自動で押し込むことによって、作業領域１０５内へ移動するときに、画像取得システム１４０を使用して、管トレイ１２０及びこれに収容された管１３０の画像を取得する。
【0024】
画像取得システム１４０は、作業領域１０５の入口又はその近傍に配置された１つ以上のカメラ（例えば、図２に示す左側カメラ２４２及び右側カメラ２４４）を備える。一実施形態において、１つ以上のカメラ２４２，２４４が管トレイ１２０の表面の上方に配置される。例えば、カメラ２４２，２４４は、管トレイ１２０の高解像度画像を取得するために、前記表面から３～６インチ上方に配置することができる。他の距離や配置を、カメラ２４２，２４４の特性、所望の視点、画質に応じて使用することもできる。追加で、画像取得システム１４０に、ＬＥＤフラッシュなどの１つ以上の光源を備えてもよい。
【0025】
図１Ｂは、ここに開示する実施形態で使用することができるドロワ視覚システムの例の検査ハーネスを例示する。図１Ｂに示すように、画像取得システム１４０は、管１３０を保持した管トレイ１２０の表面の上方に配置され、ドロワ１１０の上に位置している。図１Ｂの実施形態に示されるドロワ１１０は、５５スロットのトレイを２個か又は１５スロットのトレイを６個、保持するように構成されている。ただし実施形態はこれに限られず、異なる数のスロットを有し、異なるサイズを有するトレイを保持するように構成されたトレイを含み得る。
【0026】
図２は、一実施形態に係る、画像分析を通して、ドロワ１１０に保持された管トレイ１２０及びこれに収容された管１３０を評価するシステム２００のブロック図を例示する。画像取得システム１４０は、一実施形態によれば、左側カメラ２４２と右側カメラ２４４の２つのカメラを含む。ドロワ１１０及び管トレイ１２０のサイズと、必要な画質及び視点とに応じて、カメラを追加したり減らしたりしてもよい。光源２４６及び画像取得コントローラ２４８も、画像取得システム１４０の一部である。
【0027】
１つ以上のカメラ２４２，２４４の下の中心位置又はほぼ中心位置に管トレイ１２０の列が移動するタイミングを判定するために、直交エンコーダなどのエンコーダ２１０を使用することができる。エンコーダ２１０は、１つ以上のカメラ２４２，２４４の下の中心位置又はほぼ中心位置に管トレイ１２０の新たな列が移動するのに対応した管トレイ１２０の動きを検出すると、画像取得コントローラ２４８に信号（すなわち、パルス）を送信する。該信号は、画像取得コントローラ２４８に対する命令として機能し、信号受信に応じてカメラ２４２，２４４で画像を取得するように指令する。
【0028】
コントローラ２２０が、カメラ２４２，２４４によって取得された画像の画像分析を管理するために設けられている。ドロワ１１０が閉じられたことが検出されると、画像取得コントローラ２４８は、画像を、ダウンロード及び処理のためにコントローラ２２０に供給する。コントローラ２２０は、一実施形態によれば、管トレイ１２０及び管１３０を作業領域１０５などの貯蔵場所の間で取り扱い、分析装置へ移動させるために体外診断環境で使用される試料ハンドラの一部である。コントローラ２２０によって行われる画像分析は、管トレイ１２０及び管１３０の判定した様々な特徴に関して試料ハンドラに指示する役割をもち、それによって試料ハンドラは、管トレイ１２０及び管１３０を適切に取り扱い処理することができる。
【0029】
１つ以上のメモリデバイス２４０がコントローラ２２０に付属している。この１つ以上のメモリデバイス２４０は、コントローラ２２０の内部又は外部のものとすることができる。
【0030】
１つ以上のドロワセンサ２３０がコントローラ２２０に接続されていて、ドロワ１１０が完全に閉じられたことかドロワ１１０が完全に開けられたことのどちらか又は両方を示すことができる。一実施形態によると、ドロワ１１０を完全に閉じることが、取得して記憶してある画像の画像処理を開始する指令の役割をもつ。ドロワ１１０が完全に閉じられると、ドロワセンサ２３０がコントローラ２２０に信号を送る。
【0031】
試料管１３０のカメラ視野は、トレイ１２０内の他の試料管１３０によって部分的に塞がれることがあるし、視点によっては自身でも塞ぎ得る。管１３０の頭部円は、管１３０の他の部分よりも閉塞され難いので、本実施形態では、管１３０の頭部円に基づいて、管１３０のカテゴリと特徴のいずれか又は両方を判定する。
【0032】
ＰＣＴ出願ＰＣＴ／ＵＳ２０１６／０１８１０９に説明されているように、Ｃａｎｎｙエッジのようなエッジ検出は、画像ベースの管円検出及び位置特定アルゴリズムに不可欠な手がかりを提供する。しかし、画像内の様々な物体から円形のエッジが多数存在する場合、管頭部円のエッジが最も強い反応を示さないことがある。したがって、管円検出アルゴリズムを単一検出結果出力に制限することは、正しい円が選択される機会を排除する可能性がある。本実施形態によると、複候補選択の考え方は、各試料管１３０に関して複数の候補を１つの画像中に選出し、複数の画像から候補が抽出されるまで選択プロセスを延期することである。同じ管１３０が、例えば、異なる視点からの２つ又は３つの画像において確認できる場合、全ての可能な組み合わせにおいて、最も一貫したペア（対）又はトリプレット（三つ組）を探すことによって、最適な円を、複数の画像にある候補から選択することができる。この方法により、エッジ応答が弱い管頭部円でも、特定の一貫性基準において他の候補を上回っていれば、選択される可能性が高くなる。
【0033】
一実施形態によると、一貫性スコアは、円の直径（ピクセル単位）、円の中心位置（ピクセル単位）、円の高さ（メートル単位）、円の中心オフセット（メートル単位）の１つ以上の属性に基づいて計算される。一実施形態では、円直径及び円中心位置は、１つの候補それぞれの画像パッチから直接得ることができる。一実施形態では、円の高さ及び円中心オフセットは、２つの画像からの一対の候補から計算することができる。一実施形態によると、高さ、直径、及び管（又は円）中心オフセットの推定は、ＰＣＴ出願ＰＣＴ／ＵＳ２０１６／０１８１０９に説明されているように、２つの画像からの一対の円検出出力から計算することができる。
【0034】
一実施形態によれば、各試料管１３０を３つの視点／画像で観察する例では、１つの画像においてｎ個の候補が管１３０に対して選出される場合、試料管１３０のそれぞれに対してｎ
３
のトリプレット（可能な組み合わせ）が存在する。これらのｎ
３
トリプレットの中には、３×ｎパッチ（候補）と３×ｎ
２
非反復ペアだけ存在する。一実施形態において、各パッチ及び各ペアの属性が計算されてルックアップテーブルに保存される。各トリプレットにおいて、トリプレットに関与する３つのパッチとペアから一貫性スコアを累積し、該一貫性スコアが最も高いものを選択する。
【0035】
図３Ａ～図３Ｈは、本実施形態に係る、複数の候補を用いた管円検出の８つの実例結果３１０～３８０を示す、試料管１３０の画像例である。各実例のセット３１０～３８０には、３×４のグリッドに配列された１２個の画像パッチが含まれている。グリッドの各行に試料管１３０の各画像からの上位３つの候補が含まれており、長方形で囲まれた候補（例えば、図３Ａに示されるセット３１０における候補３１２，３１４，３１６、図３Ｂに示されるセット３２０の候補３２２，３２４，３２６等）が、アルゴリズムによって３つの候補の中から選択された候補を示す。選択された候補（例えば、セット３１０における候補３１２，３１４，３１６、セット３２０における候補３２２，３２４，３２６）は、グリッドの最後の列（Final）に提供される。
【0036】
セット３１０～３８０のグリッドの最初の列にリストされた上位１つの候補は、最も強いエッジ応答をもつように見えるが、この候補は、強いエッジ応答が他の物体に起因する可能性があって必ずしも最良の選択ではない、ことが観察される。各実例セット３１０～３８０の最後の列（Final）から、選択候補が一貫したトリプレットを形成し、これが正当な管頭部円である可能性が高いことが図示されている。
【0037】
定量的に、複数の候補を用いる場合と用いない場合の管円検出に基づく管形状推定を、図４Ａ及び図４Ｂ（図４Ａは単一候補（４１０）を用いた検出、図４Ｂは複数の候補（４２０）を用いた検出）のとおり、比較して示す。管の高さと直径のミリメートル単位の誤差の結合分布から、複数の候補を用いる検出のほうが単一候補を用いる検出よりも優れていることが明らかに示されている。
【0038】
一実施形態に係る複候補選択アルゴリズムは、ここに説明するように、管頭部円検出及び位置特定アルゴリズムに適用され、また、各観察画像において同一管に対して複数の候補を提供することができる一般的な円検出アルゴリズムにも適用可能である。
【0039】
複数の視野にある候補の間の一貫性は、複数の画像パッチにある形状、色、及びテクスチャなど（これらに限定されるわけではない）の他の画像特徴によっても測定することができる。
【0040】
提案に係るドロワ視覚システムが各試料管１３０に対して少なくとも３つの視点を提供する場合、提案に係るアルゴリズムを用いて、管頭部円検出及び位置特定を改善することができ、有益である。
【0041】
図５は、本実施形態に係る、複候補選択を用いた画像ベースの管頭部円検出を使用する方法を説明するフローチャート５００である。
【0042】
ステップ５１０において、少なくとも１台のカメラから、トレイの一連の画像を受信する。一実施形態では、トレイは複数の管スロットをもち、各管スロットは、それぞれ試料管１３０を受容するように構成され、このトレイの一連の画像が、少なくとも１つのカメラにより取得される。
【0043】
ステップ５２０において、プロセッサにより、一連の画像の各画像において複数の候補が、所定の試料管に関し、抽出される。
【0044】
ステップ５３０において、プロセッサが複数の一貫性スコアを計算する。複数の候補の可能な組み合わせから一連の画像中の複数の画像にわたる候補の間の一貫性スコアを複数計算する。
【0045】
ステップ５４０において、プロセッサが複数の一貫性スコアを累積する。
【0046】
ステップ５５０において、プロセッサにより、一連の画像中の複数の画像にわたる候補の間の一貫性スコアの最高スコアに基づいて、一連の画像中の各画像について所定の試料管の正当な管頭部円を選択する。
【0047】
図６は、本発明の実施形態を実行することの可能なコンピューティング環境６００の例を示す。コンピューティング環境６００は、ここに記載するいずれかの構成要素の一部として実施することができる。コンピューティング環境６００は、本発明の実施形態を実装することができるコンピューティングシステムの１つの例であるコンピュータシステム６１０を含む。図６に示されているように、コンピュータシステム６１０は、コンピュータシステム６１０で情報通信するバス６２１やその他の通信装置を備える。システム６１０はさらに、情報を処理するために、バス６２１と接続された１つ以上のプロセッサ６２０を含む。プロセッサ６２０は、１つ以上のＣＰＵ、ＧＰＵ、又は当技術分野で公知の他のプロセッサを含む。
【0048】
コンピュータシステム６１０は、プロセッサ６２０によって実行される情報及び命令を記憶する、バス６２１に接続されたシステムメモリ６３０も備える。システムメモリ６３０は、リードオンリメモリ（ＲＯＭ）６３１やランダムアクセスメモリ（ＲＡＭ）６３２など、揮発性、不揮発性のメモリ形態のコンピュータ可読記憶媒体を含む。システムメモリのＲＡＭ６３２は、他のダイナミックメモリデバイス（複数の場合もある）（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ、及びシンクロナスＤＲＡＭ）も含み得る。システムメモリのＲＯＭ６３１は、他のスタティックメモリデバイス（複数の場合もある）（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能ＰＲＯＭ）を含み得る。加えて、システムメモリ６３０は、プロセッサ６２０による命令実行中の一時変数又は他の中間情報を記憶するのに用いることができる。コンピュータシステム６１０内の要素間の情報を転送するために機能するベーシックルーチンを含む基本入出力システム（ＢＩＯＳ）６３３は、起動中などに、ＲＯＭ６３１に保存される。ＲＡＭ６３２は、プロセッサ６２０によって即座にアクセス可能であったり現在演算中であったりするデータやプログラムのモジュールを含む。システムメモリ６３０は、例えば、オペレーティングシステム６３４、アプリケーションプログラム６３５、他のプログラムモジュール６３６、及びプログラムデータ６３７を更に含むことができる。
【0049】
コンピュータシステム６１０は、磁気ハードディスク６４１及びリムーバブルメディアドライブ６４２（例えば、フレキシブルディスクドライブ、コンパクトディスクドライブ、テープドライブ、ソリッドステートドライブ）等の、情報及び命令を記憶する１つ以上の記憶デバイスを制御するために、バス６２１に接続されるディスクコントローラ６４０も備える。記憶デバイスは、適切なデバイスインターフェース（例えば、ＳＣＳＩ（Small Computer System Interface）、ＩＤＥ（Integrated Device Electronics）、ＵＳＢ（Universal Serial Bus）、FireWire）を用いて、コンピュータシステム６１０に追加することができる。
【0050】
コンピュータ６１０は、コンピュータユーザに対して情報を表示する、ＣＲＴやＬＣＤ等のディスプレイ（モニタ）６６６を制御するために、バス６２１に接続されるディスプレイコントローラ６６５も備える。コンピュータシステム６１０は、コンピュータユーザと協働してプロセッサ６２０に情報を与える、ユーザ入力インターフェース６６０と、キーボード６６２及びポインティングデバイス６６１等の１つ以上の入力デバイスとを備える。ポインティングデバイス６６１は、例えば、プロセッサ６２０に対して方向情報及びコマンド選択を通信し、ディスプレイ６６６上のカーソルの移動を制御する、マウス、トラックボール、又はポインティングスティックとすることができる。ディスプレイ６６６は、ポインティングデバイス６６１による方向情報及びコマンド選択の通信を補足するか又はそれに取って代わる入力を与える、タッチスクリーンインターフェースを提供することができる。
【0051】
コンピュータシステム６１０は、プロセッサ６２０がシステムメモリ６３０等のメモリに含まれる１つ以上の命令の１つ以上のシーケンスを実行するのに応じて、本発明の実施形態に係る処理ステップの一部又は全てを実行することができる。当該命令は、ハードディスク６４１又はリムーバブルメディアドライブ６４２等の別のコンピュータ可読媒体からシステムメモリ６３０に読み込むことができる。ハードディスク６４１は、本発明の実施形態において用いられる１つ以上のデータストア及びデータファイルを含むことができる。データストアの内容やデータファイルは、セキュリティを向上させるために暗号化され得る。プロセッサ６２０は、システムメモリ６３０に含まれる命令の１つ以上のシーケンスを実行するために、多重処理（マルチプロセス）構成で使用することもできる。代替的な実施形態において、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、ハードワイヤード回路を用いることができる。すなわち、本発明の実施形態は、ハードウェア回路及びソフトウェアの任意の特定の組み合わせに限定されない。
【0052】
上述のように、コンピュータシステム６１０は、本発明の実施形態に係るプログラムされた命令を保持し、ここに記載されているデータ構造、テーブル、レコード、あるいは他のデータを含む、少なくとも１つのコンピュータ可読媒体又はメモリを含むことができる。ここで使用する用語「コンピュータ可読媒体」は、プロセッサ６２０に命令を提供して実行させることに関与する非一時的な有形媒体のいずれかを指す。コンピュータ可読媒体は、限定はしないが、不揮発性媒体、揮発性媒体、及び伝送媒体を含む多くの形態をとることができる。不揮発性媒体の非限定的な例として、ハードディスク６４１又はリムーバブルメディアドライブ６４２等の、光ディスク、ソリッドステートドライブ、磁気ディスク、及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例として、システムメモリ６３０等のダイナミックメモリが挙げられる。伝送媒体の非限定的な例として、バス６２１を構築する配線を含む、同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、電波データ通信及び赤外線データ通信中に発生するような音波又は光波の形態をとることもできる。
【0053】
コンピューティング環境６００は、さらに、リモートコンピュータ６８０などの１つ以上のリモートコンピュータとの論理接続を使用するネットワーク環境で動作するコンピュータシステム６１０を含むことができる。リモートコンピュータ６８０は、パーソナルコンピュータ（ラップトップ又はデスクトップ）、モバイルデバイス、送信機、ルータ、ネットワークＰＣ、ピアデバイス又は他の共通ネットワークノードであり、通常、コンピュータシステム６１０に関して上述した要素の多く又は全てを含む。ネットワーク環境で使用される場合、コンピュータシステム６１０は、インターネットなどのネットワーク６７１を通し通信を確立するためのモデム６７２を備える。モデム６７２は、ネットワークインターフェース６７０又は別の適切な仕組みを介してシステムバス６２１に接続することができる。
【0054】
ネットワーク６７１は、コンピュータシステム６１０と他のコンピュータ（例えば、リモートコンピューティングシステム６８０）との間の通信を促進する、インターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、大都市圏ネットワーク（ＭＡＮ）、直接接続又は連続接続、セルラーフォンネットワーク、又は他のネットワーク又は媒体を含む、当技術分野で一般的に知られているネットワーク又はシステムのいずれかである。ネットワーク６７１は、有線、無線、又はそれらの組み合わせとすることができる。有線接続は、Ethernet（登録商標）、Universal Serial Bus（ＵＳＢ）、ＲＪ－１１、又は当技術分野で一般的に知られている他の有線接続を用いて実施することができる。無線接続は、Ｗｉ－Ｆｉ、ＷｉＭＡＸ、及びBluetooth（登録商標）、赤外線、セルラーネットワーク、サテライト、又は当技術分野で一般的に知られている他の無線接続方法を用いて実施することができる。さらに、複数のネットワークが、単独で又は互いに通信して、ネットワーク６７１における通信を円滑にするように動作することができる。
【0055】
ここで使用されるプロセッサは、コンピュータ可読媒体に記憶されたマシン可読命令を実行してタスクを実行するデバイスであり、ハードウェア及びファームウェアのいずれかかその組み合わせを備える。また、プロセッサは、タスクを実行するために実行可能なマシン可読命令を記憶したメモリを備える。プロセッサは、実行可能な手順又は情報デバイスによって使用するために情報を操作、分析、変更、変換又は送信することによって、また、情報を出力デバイスにルーティングすることによって、情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ、又はマイクロプロセサの能力を使用するか又は備えることができ、且つ、汎用コンピュータによって行われない特別な目的機能を実行するために実行可能命令を用いて条件付けされる。プロセッサは、相互作用し、互いに通信することの可能な他のプロセッサと、（電気的に、また、実行可能なコンポーネントを備えることで）接続することができる。コンピュータプログラム命令は、限定されるものではないが汎用コンピュータ又は特殊目的コンピュータを含むコンピュータ、又はその他のプログラム可能な処理装置にロードされてマシンを生成し、コンピュータ又はその他のプログラム可能な処理装置で実行されるコンピュータプログラム命令が、上記フローチャートのブロックに特定された機能を実行する手段を生成する。ユーザインターフェースプロセッサ又はジェネレータは、表示要素又はその一部を生成するための電子回路又はソフトウェア又はその両者の組み合わせを含む既知の要素である。ユーザインターフェース（ＵＩ）は、ユーザがコンピュータ又は他のデバイスと相互作用することを可能にする１つ以上の表示要素を含む。
【0056】
ここで使用される実行可能アプリケーションは、オペレーティングシステム、コンテキストデータ収集システム、又は他の情報処理システムの機能などの所定の機能を、例えばユーザコマンド又は入力に応じて実施するように、プロセッサを条件付けするためのコード又はマシン可読命令を含む。実行可能手順は、コード又はマシン可読命令のセグメント、サブルーチン、又は１つ以上の特定のプロセスを実行するための実行可能アプリケーションのコード又は部分の別個のセクションである。これらのプロセスは、入力データやパラメータを受信すること、受信された入力データに関する演算を実行すること、受信された入力パラメータに応答して機能を実行すること、結果として得られる出力データやパラメータを提供すること、のいずれか１つ以上を含み得る。ここで使用されるようなグラフィカルユーザインターフェース（ＧＵＩ）は、ディスプレイプロセッサにより生成され、プロセッサ又は他のデバイスとのユーザ相互作用と共に関連するデータ収集及び処理機能を可能にする、１つ以上の表示要素を含む。
【0057】
ユーザインターフェースＵＩには、実行可能手順又は実行可能アプリケーションも含まれる。実行可能手順又は実行可能アプリケーションは、ＵＩ表示画像を表示する信号を生成するべくディスプレイプロセッサを条件付ける。当該信号は、ユーザ可視の要素を表示するディスプレイデバイスに供給される。実行可能手順又は実行可能アプリケーションは、さらに、ユーザがデータをプロセッサに提供することを可能にする、キーボード、マウス、ライトペン、タッチスクリーン、又は他の手段などのユーザ入力デバイスから信号を受信する。実行可能手順又は実行可能アプリケーションの制御下で、プロセッサは、入力デバイスから受信した信号に応答してＵＩ表示要素を演算する。このようにして、ユーザは、ユーザがプロセッサ又は他のデバイスと相互作用することを可能にする入力デバイスを用いて表示要素と相互作用する。ここに説明する機能及びプロセスステップは、ユーザコマンドに応答して自動的に又は全体的に又は部分的に実施される。実行可能命令又はデバイス動作に応じて、ユーザが直接アクティビティを開始せずとも、自動実行のアクティビティ（ステップを含む）が実行される。
【0058】
ここで使用されるワークフロープロセッサは、データを処理し、タスクを決定してタスクリストに追加し又はタスクリストから削除し、あるいは、例えばプログラム中に特定されたタスクリストに組み込まれた又は組み込まれるタスクを変更する。タスクリストは、作業者、デバイスユーザ、又はデバイス、又は両者の組み合わせにより実行されるタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用する場合と使用しない場合がある。ここで使用されるワークフローエンジンは、イベント及びイベント関連データに応答するプロセスを実装する所定のプロセス定義に従って動作するプロセッサである。ワークフローエンジンは、イベント関連データに応じて少なくとも順次か又は同時にプロセスを実行し、デバイス及び作業者によて実行されるタスクを決定し、そして、デバイス及び作業者のタスクリストを更新して決定されたタスクを含める。プロセス定義は、ユーザによって定義可能であり、例えば、デバイス及び作業者によって実行される開始、待機、決定及びタスクアロケーションステップの１つ以上を含むプロセスステップのシーケンスを含む。イベントとは、プロセス定義を使用して実行されるプロセスの挙動に影響を及ぼす事象である。ワークフローエンジンにはプロセス定義機能が含まれており、これによりユーザは続くべきプロセスを定義することができる。また、イベントモニタを含めることもできる。ワークフローエンジンにおけるプロセッサは、プロセス定義に従って、どのプロセスが実行されているか、どの患者、医師、次にどのステップを実行する必要があるかを追跡する。また、実行すべきタスクを医師に通知する手順を含めることもできる。
【0059】
ここに提示する例のシステムとプロセスは、排他的なものではない。他のシステム、プロセス及びメニューを同じ目的を達成するために本発明の原理に従って導出することができる。本発明に関し特定の実施形態を参照して述べたが、ここに開示した実施形態及び変形が例示のためだけのものであることは当然理解される。現時点の態様に対する修正は、本発明の範囲から逸脱することなく、当業者によって実施可能である。さらに、代替の実施形態において、プロセス及びアプリケーションは、図６のユニットを接続するネットワーク上の１つ以上の（例えば、分散型の）処理デバイスに置くことができる。図中に示した機能及びステップのいずれも、ハードウエア、ソフトウエア、又は両者の組み合わせで実施することができる。ここでの請求要素は、「手段」という表現を用いて要素が明示的に言及されていない限り、３５Ｕ．Ｓ．Ｃ．１１２（ｆ）の規定に基づいて解釈されるべきではない。
【0060】
本発明について例示的な実施形態を参照して述べたが、本発明はそれに限定されない。本発明の好ましい実施形態に対して多数の変更及び修正を行うことができること、及び、こうした変更及び修正を、本発明の要旨から逸脱することなく行うことができることは、当業者にとって当然のことである。すなわち、特許請求の範囲は、本発明の要旨及び範囲内に入る全てのこれら等価の変形に及ぶことはもちろんである。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図4A】
【図4B】
【図5】
【図6】
