特開 2020-73891 視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-73891(P2020-73891A)

(43)【公開日】2020年5月14日

(54)【発明の名称】視覚システムにおける画像ベーストレイ位置合わせ及びチューブスロット位置特定

(51)【国際特許分類】

   G01N 35/04 20060101AFI20200417BHJP

   G01B 11/00 20060101ALI20200417BHJP

   G01N 35/02 20060101ALI20200417BHJP

【ＦＩ】

   G01N35/04 H

   G01B11/00 H

   G01N35/02 C

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2019-229826(P2019-229826)

(22)【出願日】2019年12月20日

(62)【分割の表示】特願2017-543753(P2017-543753)の分割

【原出願日】2016年2月16日

(31)【優先権主張番号】62/117,912

(32)【優先日】2015年2月18日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】507269175

【氏名又は名称】シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド

【氏名又は名称原語表記】ＳＩＥＭＥＮＳ ＨＥＡＬＴＨＣＡＲＥ ＤＩＡＧＮＯＳＴＩＣＳ ＩＮＣ．

(74)【代理人】

【識別番号】100075166

【弁理士】

【氏名又は名称】山口 巖

(74)【代理人】

【識別番号】100133167

【弁理士】

【氏名又は名称】山本 浩

(74)【代理人】

【識別番号】100169627

【弁理士】

【氏名又は名称】竹本 美奈

(72)【発明者】

【氏名】チャーン、ヤオ−ジェン

(72)【発明者】

【氏名】ヴィスマン、パトリック

(72)【発明者】

【氏名】ウー、ウエン

(72)【発明者】

【氏名】デュモン、ギヨーメ

(72)【発明者】

【氏名】ポラック、ベンジャミン

(72)【発明者】

【氏名】チェン、テレンス

【テーマコード（参考）】

2F065

2G058

【Ｆターム（参考）】

2F065AA03

2F065AA07

2F065AA14

2F065AA20

2F065AA37

2F065BB27

2F065DD03

2F065DD06

2F065DD19

2F065EE11

2F065EE12

2F065FF01

2F065FF04

2F065FF15

2F065FF61

2F065GG07

2F065GG08

2F065JJ03

2F065JJ05

2F065JJ07

2F065NN20

2F065PP12

2F065TT02

2F065TT08

2F065UU09

2G058AA05

2G058CB15

2G058CD23

2G058CF01

2G058CF09

2G058CF19

2G058GC02

2G058GC05

2G058GC06

2G058GD05

(57)【要約】      （修正有）

【課題】トレイ座標系とカメラ座標系を使用するチューブスロット位置特定方法を提供する。
【解決手段】チューブスロット位置特定方法は、行及び列の行列で配列されたチューブスロット４０２を含むトレイ１２０の少なくとも１つのカメラから一連の画像を受け取ることを含む。各チューブスロットは、サンプルチューブを受け取るように構成される。また、トレイ上のチューブスロット間の断面領域上に配置された複数の基準マーカ４００を自動的に検出することと、トレイの各行が実質的にカメラの視界の中心にあることを示すエンコーダ値を受け取ることを含む。更に、トレイ座標系からの位置のカメラ座標系からの位置へのマッピングを提供する較正情報を決定することと、エンコーダ値と較正情報に基づいてトレイを自動的に位置合わせすることを含む。
【選択図】図７Ａ

【特許請求の範囲】

【請求項1】

トレイ座標系とカメラ座標系を使用するチューブスロット位置特定方法であって、
プロセッサを使用して、トレイの少なくとも１つのカメラから一連の画像を受け取るステップであって、前記トレイが、行及び列の行列で配列されたチューブスロットを含み、各チューブスロットがサンプルチューブを収容するように構成され、前記トレイの一連の画像が、前記少なくとも１つのカメラによって取得されるステップと、
前記プロセッサを使用して、前記トレイ上の前記チューブスロット間の断面領域に配置された複数の基準マーカを自動的に検出するステップと、
前記プロセッサを使用して、前記トレイの各行が実質的に前記カメラの視界の中心にあることを示すエンコーダ値を受け取るステップと、
前記プロセッサを使用して、前記トレイ座標系からの位置の前記カメラ座標系からの位置へのマッピングを提供する較正情報を決定するステップと、
前記プロセッサを使用して、前記エンコーダ値及び較正情報に基づいて前記トレイを自動的に位置合わせするステップとを含む方法。

【請求項2】

前記トレイが、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記画像が前記少なくとも１つのカメラによって取得される、請求項１に記載の方法。

【請求項3】

前記較正情報が、各検出基準マーカの、前記トレイ上の物理位置との対応関係を示す、請求項１または２に記載の方法。

【請求項4】

前記較正情報が、前記トレイのタイプ、前記トレイの向き及び前記トレイの位置を示し、前記トレイを自動的に位置合わせするステップが、更に、
前記エンコーダ値と前記較正情報とに基づいて基準マーカの位置を予測するステップと、
前記マーカの投影位置と前記検出マーカの位置との間のオフセットを自動的に決定するステップと、
少なくとも１つのカメラの視界内にある前記トレイとチューブスロットを位置合わせするために前記オフセットを自動的に補償するステップとを含む、請求項１から３のいずれか１項に記載の方法。

【請求項5】

前記断面領域のそれぞれの中心におけるチューブスロット格子点を定義するステップと、
補償されたチューブスロット格子点を前記一連の画像のうちの１つ以上に投影して、前記決定されたオフセットに基づいて前記チューブスロットを位置特定するステップとを含む、請求項４に記載の方法。

【請求項6】

前記一連の画像の１つ以上から各チューブスロットに対応するデータを抽出して、チューブがチューブスロットの１つを占有するかどうかとチューブタイプとの少なくとも１つを決定するステップを更に含む、請求項４または５に記載の方法。

【請求項7】

体外診断環境で使用される視覚システムであって、
トレイであって、
行及び列の行列で配列された複数のチューブスロットであって、サンプルチューブを収容するようにそれぞれ構成された各チューブスロット、
前記複数のチューブスロットの間に配置された複数の断面領域、及び
前記断面領域上に配置された複数の基準マーカを有するトレイと、
前記トレイを受けるように構成された表面と、
前記表面に位置決めされた前記トレイの一連の画像を取得するように構成された少なくとも１つのカメラと、
前記トレイの各行が、実質的に前記少なくとも１つのカメラの視界の中心にあることを示すエンコーダ値を生成するように構成されたエンコーダと、
プロセッサであって、
前記少なくとも１つのカメラから前記トレイの前記一連の画像を受け取り、
前記トレイ上の前記チューブスロット間の断面領域に配置された複数の基準マーカを自動的に検出し、
エンコーダ値を受け取り、
トレイ座標系からの位置のカメラ座標系からの位置へのマッピングを提供する較正情報を生成し、
前記エンコーダ値と前記較正情報とに基づいて前記トレイを自動的に位置合わせするように構成されたプロセッサとを含む視覚システム。

【請求項8】

前記表面が、開位置と閉位置の間で移動可能な引出しの一部分を含み、前記引出しが前記開位置と前記閉位置の間で移動されたときに前記トレイの前記画像が前記少なくとも１つのカメラによって取得される、請求項７に記載のシステム。

【請求項9】

各断面領域が概略菱形領域であり、各概略菱形領域が、前記複数チューブスロットのうちの４つの間に配置され、
前記概略菱形領域の各行上の基準マーカが、繰返し菱形領域の上角にある上角基準マーカと、繰返し菱形領域の右角にある右角基準マーカとを含む、請求項７または８に記載のシステム。

【請求項10】

前記プロセッサが、更に、
前記トレイ上の前記チューブスロット間の前記断面領域に配置された前記複数の基準マーカを検出し、
前記トレイ座標系を前記カメラ座標系と予め位置合わせし、
前記トレイ座標系のｘ座標に沿ったマーカの位置に平行線を合わせ、前記トレイ座標系のｙ座標に沿った各行上の前記マーカの位置に対の平行線を合わせることによってトレイ格子を計算し、
各検出基準マーカの前記トレイ上の物理位置との対応関係を識別することによって較正情報を決定することにより、前記トレイ座標系からの位置の前記カメラ座標系からの位置へのマッピングを提供する較正情報を決定するように構成された、請求項７から９のいずれか１項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、２０１５年２月１８日に出願された「ＩＭＡＧＥ−ＢＡＳＥＤ ＴＲＡＹ ＡＬＩＧＮＭＥＮＴ ＡＮＤ ＴＵＢＥ ＳＬＯＴ ＬＯＣＡＬＩＺＡＴＩＯＮ ＩＮ Ａ ＶＩＳＩＯＮ ＳＹＳＴＥＭ」と題する米国仮出願第６２／１１７，９１２号明細書に対する優先権を請求し、この開示は、参照により全体が本明細書に組み込まれる。

【0002】

本明細書に開示された実施形態は、一般にチューブトレイの画像を取得してトレイとそのトレイ内に保持されたチューブの特性を決定することに関し、より詳細には基準マーカを使用してトレイを較正し位置合せして、トレイとそのトレイ内に保持されたチューブの特性を正確に決定することに関する。

【背景技術】

【0003】

体外診断（ＩＶＤ）は、検査室が、患者の液状サンプルに対して行われる検査に基づいて疾病診断を支援することを可能にする。ＩＶＤは、患者の体液又は膿瘍から得られた液体サンプルの分析によって行える患者の診断及び治療に関連した様々なタイプの分析試験及び検査を含む。そのような検査は、通常、患者サンプルを収容したチューブ又はガラス瓶が装填された自動臨床化学分析装置（分析装置）によって行われる。最新ＩＶＤ検査で様々な検査が必要とされ、検査を行うのに大量の試験が必要なので、単一検査室内で複数の分析装置が使用されることが多い。分析装置の間では自動化システムも使用されうる。サンプルは、診療室から検査室に送られ、検査室に保管され、自動化システム又は分析装置に入れられ、その後の試験のために保管されうる。

【0004】

分析装置間の保管と移送は、典型的には、トレイを使って行われる。トレイは、典型的には、テストチューブ内に蓄えられたいくつかの患者サンプルの配列である。そのようなトレイは、しばしば積み重ね可能であり、検査室の一部分から別の部分への複数サンプルの容易な搬送を可能にする。例えば、検査室は、病院又は診療所から試験のために患者サンプルのトレイを受け取ることがある。その患者サンプルトレイは、実験室内の冷蔵庫に保管されうる。患者サンプルトレイは、引出し内にも保管されうる。いくつかの自動化システムでは、分析装置は、患者サンプルトレイを受け入れ、サンプルをそれ相応に取り扱うことができ、一方、いくつかの分析装置は、サンプルがオペレータによってトレイから取り出され、さらなる処理の前にキャリア（パックなど）に入れられることを必要とすることがある。トレイは、一般に、サンプルを搬送し、場合によっては順番に配列することを可能にする受動装置である。

【0005】

一般に、トレイ内に保管されたサンプルチューブに関する情報は、オペレータ又はサンプル処理機構が各チューブと相互作用するまで分からない。例えば、サンプル取り扱いロボットアームが、チューブを取り上げ、トレイから取り出し、キャリアに入れることがある。次に、キャリアは、デキャッパステーションまで移動して、キャップがあれば除去し、バーコードリーダのそばを通り、それにより、チューブの側面のバーコードを読み取ってチューブの内容を明らかにできる。多くの先行技術のサンプル取り扱い機構では、チューブの識別は、チューブがトレイから取り出された後まで分からない。このように、トレイ内の全てのチューブは、チューブが自動化システム内の保持具上に配置されるまで同じように取り扱われることが多い。

【発明の概要】

【課題を解決するための手段】

【0006】

実施形態は、ｘ軸とｙ軸を有するトレイ座標系と、ｘ軸とｙ軸を有するカメラ座標系を使用するトレイ較正方法を提供する。この方法は、行と列の行列で配列された複数のチューブスロットを有するトレイの画像を取得することを含む。各チューブスロットは、サンプルチューブを収容するように構成され、トレイの画像が、カメラによって取得される。方法は、また、プロセッサを使用して、トレイ上のチューブスロット間の断面領域上に配置された複数の基準マーカを検出することと、トレイ座標系をカメラ座標系と予め位置合わせすることを含む。方法は、更に、プロセッサを使用して、平行線をトレイ座標系のｘ座標に沿ったマーカの位置に合わせ、対の平行線をトレイ座標系のｙ座標に沿った各行上のマーカの位置に合わせることによってトレイ格子を計算することと、プロセッサを使用して、各検出基準マーカの、トレイ上の物理位置に対する対応関係を識別して、トレイ座標系のカメラ座標系へのマッピングを提供することによってトレイを較正することとを含む。

【0007】

一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときにトレイの画像がカメラによって取得される。

【0008】

別の実施形態によれば、方法は、カメラに隣接し別のカメラ座標系を有する別のカメラによってトレイの別の画像を取得することと、トレイ座標系を他のカメラ座標系と予め位置合わせすることと、各検出基準マーカの、トレイ上の物理位置との対応関係を識別して、トレイ座標系の他のカメラ座標系へのマッピングを提供することとを含む。

【0009】

更に別の実施形態では、トレイ格子を計算することは、更に、検出マーカをトレイ座標系のｘ座標に沿ったクラスタにグループ化することを含み、各クラスタ内の検出マーカは、他のクラスタによって構成されたトレイ座標系のｙ方向の他の線に平行な、トレイ座標系のｙ方向の線内にある。

【0010】

一実施形態の一態様によれば、複数の基準マーカは、白ドットである。

【0011】

一実施形態では、トレイ格子を計算することは、更に、線形回帰を行なって、平行線をトレイ座標系のｘ座標に沿ったマーカの位置に合わせ、かつ対の平行線をトレイ座標系のｙ座標に沿った各行上のマーカの位置に合わせることを含む。断面領域は、概略菱形領域であり、概略菱形領域の各行上の基準マーカは、繰返し菱形領域の上角にある上角基準マーカと、繰返し菱形領域の右角にある右角基準マーカとを含む。

【0012】

別の実施形態では、方法は、更に、各検出基準マーカの、トレイ上の物理位置との対応関係を使用して、オンライン動作中にトレイを位置合わせすることを含む。

【0013】

更に別の実施形態では、トレイを較正することは、更に、次の式によって再投影誤差を最小にすることによってカメラの姿勢を導出することを含む。

【0014】

R,t = argmin_R,tΣi||p_i- f(RP_i+ t,K_c,d_c)||^２,

【0015】

ここで、｛Ｐ_ｉ｝と｛ｐ_ｉ｝は、三次元及び二次元対応関係であり、ｆ（）は、カメラ座標系からその画像平面への三次元から二次元への投影関数であり、Ｋ_ｃは、焦点距離、及びカメラ軸と画像上の主点のスキューを含む本質的較正行列であり、ｄ_ｃは、そのレンズ歪みベクトルであり、回転行列Ｒと並進ベクトルｔは、カメラ画像の姿勢を示す非本質的パラメータである。

【0016】

実施形態は、トレイ座標系とカメラ座標系を使用するチューブスロット位置特定方法を提供する。この方法は、プロセッサを使用して、行及び列の行列で配列されたチューブスロットを含むトレイの少なくとも１つのカメラから一連の画像を受け取ることを含む。各チューブスロットは、サンプルチューブを収容するように構成される。トレイの画像は、少なくとも１つのカメラによって取得される。方法は、また、プロセッサを使用して、トレイ上のチューブスロット間の断面領域上に配置された複数の基準マーカを自動的に検出することと、プロセッサを使用して、トレイの各行が実質的にカメラの視界の中心にあることを示すエンコーダ値を受け取ることを含む。方法は、更に、プロセッサを使用して、トレイ座標系からの位置のカメラ座標系からの位置へのマッピングを提供する較正情報を決定することと、プロセッサを使用して、エンコーダ値と較正情報に基づいてトレイを自動的に位置合わせすることを含む。

【0017】

一実施形態によれば、トレイは、開位置と閉位置の間で移動可能な引出しの一部分に収まるように構成され、引出しが開位置と閉位置の間で移動されたときに少なくとも１つのカメラによってトレイの画像が取得される。

【0018】

別の実施形態によれば、較正情報は、各検出基準マーカの、トレイ上の物理位置との対応関係を示す。

【0019】

更に別の実施形態では、較正情報は、トレイのタイプ、トレイの向き及びトレイの位置を示す。プロセッサを使用してトレイを自動的に位置合わせすることは、エンコーダ値と較正情報に基づいて基準マーカの位置を予測することと、マーカの投影位置と検出マーカの位置との間のオフセットを自動的に決定することと、少なくとも１つのカメラの視界内にあるトレイとチューブスロットを位置合わせするようにオフセットを自動的に補償することとを含む。

【0020】

一実施形態では、方法は、更に、断面領域のそれぞれの中心におけるチューブスロット格子点を定義することと、補償されたチューブスロット格子点を一連の画像のうちの１つ以上に投影して、決定されたオフセットに基づいてチューブスロットを位置特定することとを含む。

【0021】

別の実施形態では、方法は、更に、一連の画像の１つ以上から各チューブスロットに対応するデータを抽出して、チューブがチューブスロットのうちの１つを占有するかどうかとチューブタイプの少なくとも１つを決定する。

【0022】

実施形態は、体外診断環境で使用される視覚システムを提供する。システムは、行と列の行列で配列された複数のチューブスロットを有するトレイを含む。各チューブスロットは、サンプルチューブを受け取るように構成される。トレイは、また、複数のチューブスロットと、断面領域上に配置された複数の基準マーカとの間に配置された複数の断面領域を含む。システムは、また、トレイを受けるように構成された表面と、表面に位置決めされたトレイの一連の画像を取得するように構成された少なくとも１つのカメラと、トレイの各行が実質的に少なくとも１つのカメラの視界の中心にあることを示すエンコーダ値を生成するように構成されたエンコーダとを含む。システムは、更に、少なくとも１つのカメラからトレイの一連の画像を受け取り、トレイ上のチューブスロット間の断面領域上に配置された複数の基準マーカを自動的に検出し、エンコーダ値を受け取り、トレイ座標系からの位置のカメラ座標系からの位置へのマッピングを提供する較正情報を生成し、エンコーダ値と較正情報とに基づいてトレイを自動的に位置合わせするように構成されたプロセッサを含む。

【0023】

一実施形態によれば、表面は、開位置と閉位置の間で移動可能な引出しを含み、引出しが開位置と閉位置の間で移動されたときにトレイの画像が少なくとも１つのカメラによって取得される。

【0024】

別の実施形態によれば、各断面領域は、概略菱形領域であり、各概略菱形領域は、複数チューブスロットのうちの４つの間に配置される。概略菱形領域の各行上の基準マーカは、繰返し菱形領域の上角にある上角基準マーカと、繰返し菱形領域の右角にある右角基準マーカとを含む。

【0025】

更に別の実施形態では、プロセッサは、更に、トレイ上のチューブスロット間の断面領域上に配置された複数の基準マーカを検出し、トレイ座標系をカメラ座標系と予め位置合わせし、トレイ座標系のｘ座標に沿ったマーカの位置に平行線を合わせ、トレイ座標系のｙ軸に沿った各行上のマーカの位置に対の平行線を合わせることによってトレイ格子を計算し、各検出基準マーカの、トレイ上の物理位置との対応関係を識別することによって較正情報を決定することによって、トレイ座標系からの位置のカメラ座標系からの位置へのマッピングを提供する較正情報を決定するように構成される。

【0026】

実施形態は、視覚システムと共に使用するために表面に保持されるように構成されたトレイを提供する。トレイは、行及び列の行列で配列された複数のチューブスロットを含む。各チューブスロットは、サンプルチューブを受け取るように構成される。トレイは、また、複数の概略菱形領域を含む。各概略菱形領域は、複数チューブスロットのうちの４つの間に配置される。トレイは、更に、複数の基準マーカを含む。各基準マーカは、概略菱形領域のうちの１つの上に配置される。

【0027】

一実施形態によれば、概略菱形領域の各行上の基準マーカは、繰返し菱形領域の上角にある上角基準マーカと、繰返し菱形領域の右角にある右角基準マーカとを含む。

【0028】

別の実施形態によれば、トレイは、更に、複数のばね力要素を含む。各ばね力要素は、チューブスロットに結合され、チューブがチューブスロット内の中心にならないようにサンプルチューブに力を働かせるように構成される。基準マーカは、サンプルチューブが対応チューブスロット内にあるときに、チューブスロットのそれぞれと隣接した少なくとも３つの基準マーカがカメラの視界内にあるようなパターンでトレイ上に配置される。

【0029】

本開示の追加の特性及び利点は、添付図面を参照して進む説明的実施形態の以下の詳細な説明から明らかにされる。

【0030】

本明細書に開示された実施形態の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最もよく理解される。本明細書に開示された実施形態を例証するために、図には現在好ましい実施形態が示されるが、本明細書に開示された実施形態が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。

【図面の簡単な説明】

【0031】

【図1A】一実施形態による、引出し内に保持されたチューブトレイ及びチューブを画像分析によって評価するためのシステムを表す図である。

【図1B】一実施形態による、引出し上に配置されたチューブトレイの上に位置決めされた画像取得システムを含む例示的な引出し視覚システム試験ハーネスを示す図である。

【図2】一実施形態による、引出し内に保持されたチューブトレイとその上に収容されたチューブを、画像分析によって評価するためのシステムを表すブロック図である。

【図3】本明細書に示された実施形態によるサンプルチューブの特性を検出する方法を示すフローチャートである。

【図4】一実施形態による、トレイ上のスロット間に配置された基準マーカを有する例示的トレイの平面図である。

【図5】一実施形態による、スロットに隣接した菱形領域内の基準マーカの位置を示す図４に示されたトレイの一部の拡大図である。

【図6A】一実施形態による、チューブのまわりのカメラの視界内の３つのマーカを示すカメラからの画像である。

【図6B】一実施形態による、チューブのまわりのカメラの視界内の３つのマーカを示すカメラからの画像である。

【図7A】実施形態と共に使用するためにスロット間に配置された基準マーカを有する例示的トレイのトップビューの上に重ねられたトレイ座標系を示す図である。

【図7B】実施形態と共に使用するためにスロット間に配置された基準マーカを有する例示的トレイのトップビューの画像である。

【図8A】左側カメラと右側カメラから取得された画像上の回帰から導出された検出マーカと平行線を示す図である。

【図8B】左側カメラと右側カメラから取得された画像上の回帰から導出された検出マーカと平行線を示す図である。

【図9A】一実施形態による、投影マーカと検出マーカ間のオフセットを示すチューブトレイとチューブのトップビューの例示的画像である。

【図9B】一実施形態による、投影マーカと検出マーカ間のオフセットを示すチューブトレイとチューブのトップビューの例示的画像である。

【図10A】較正中に得られたチューブスロット格子点から決定されたｙ軸線とｘ軸線を示す図である。

【図10B】トレイのトップビューの画像に重ねられたチューブスロット格子点１００２を示す図である。

【図11】本明細書に開示された実施形態による、トレイ格子較正を使用するトレイ格子位置合わせ及びチューブスロット位置特定の方法を示すフローチャートである。

【図12】本発明の実施形態が実現されうる計算処理環境の例を示す図である。

【発明を実施するための形態】

【0032】

本出願は、参照により本明細書に組み込まれるＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号、及びＷｕらによる米国仮出願第６２／０１０３７０号明細書に記載された概念のいくつかに関する。

【0033】

実施形態は、チューブトレイ及びそのチューブトレイ内に保持されたチューブの画像を取得するように構成された自動視覚システムにおいてチューブトレイを較正し位置合せするためのシステム及び方法を含む。いくつかの実施形態は、自動化システムにおいて手動で配置され位置合せされたトレイの画像を取得することを含む。例えば、自動化システムは、平坦面にガイドレールを提供し、オペレータがトレイ上のキー止め特性形状をレールに手動で位置合わせし、トレイを作業領域に押すことを可能にし得る。

【0034】

いくつかの実施形態は、サンプルチューブが収容されたチューブトレイを装填し取り出すための引出しを含む自動引出し視覚システム（ＤＶＳ）を含みうる。トレイの画像は、引出しが開位置と閉位置（例えば、作業領域位置）の間で移動されたときに、引出しの入口領域の上に取り付けられた１つ以上のカメラによって取得されうる。高速運動下で取得された画像のチューブ特性の正確な評価を容易にするため、実施形態は、画像ごとにトレイ表面上の１組の基準マーカを利用してトレイが引出しと共に移動した距離を評価することを含む画像ベース方法を使用して、高精度なチューブサンプルトレイ位置合せ及びチューブスロット位置特定を提供する。実施形態は、また、ＤＶＳカメラごとに基準マーカパターンを位置合わせするための較正方式を含む。実施形態は、更に、トレイ位置合せ及びチューブスロット位置特定のためのテンプレート突き合わせ方法を含む。

【0035】

実施形態は、確実なトレイ位置合わせのためのアンカポイントを固有かつ容易に検出するとともに提供するための基準マーカとして単純な白ドットを使用することを含む。低解像度ドットパターンをトレイの上面に成形して、高精度な（例えば、ドット位置がＣＡＤモデルにきわめて近い）検出により効率的に製造されたトレイを提供できる。トレイ位置合わせには、基準マーカと共に効率的で頑強な低解像度ハードウェアエンコーダが使用されうる。引出し上のエンコーダストリップとフレーム上の光学スロットセンサ間の位置合わせ公差が大きいので、エンコーダカウントを失うことなくまたエンコーダシステムを較正する時間と費用をなくすことなく引出しを移動（例えば、曲げ、収縮、及び拡張）できる。また、光学スロットセンサを有するエンコーダストリップは、汚れ又はほこりに対して耐性を有している。

【0036】

低解像度ドットパターンと低解像度ハードウェアエンコーダの組み合わせにより、トレイ内に成形できない高解像度の複雑なパターン（例えば、高精度マーカ配置、複雑なマーカ形状、又は多数のマーカ）のエッチング効率の低下が回避される。また、低解像度ドットパターンと低解像度ハードウェアエンコーダの組み合わせによって、トレイ位置合わせのための高価な高解像度ハードウェアエンコーダの使用が回避される。

【0037】

ＰＣＴ出願第ＰＣＴ／ＵＳ１４／２７２１７号明細書に記載されているように、ＤＶＳのチューブトレイは、引出し内に収まり、行と列の配列で配列されたスロット内に複数のチューブを保持するように構成される。画像は、トレイ並びにトレイ上に保持されたチューブを評価するために使用される。詳細には、実施形態によれば、画像を分析することによって、チューブの種々の特性（例えば、チューブを収容するトレイスロット、座標系におけるチューブの中心点、チューブの直径と高さ、引出し内のトレイの向き、チューブが単純チューブかどうか、チューブがキャップ又はチューブ上部カップで覆われているかどうか、チューブキャップの色、トレイ表面のバーコード、及びトレイを保持する引き出しが作業環境に挿入又は取り出される速度など）を決定できる。実施形態は、高価な機器なしにまたチューブを取り扱ったり触れたりせずにこの情報と他の情報を素早く決定する。そのような知識は、チューブの効率的で合理的な処理、並びにセットアップ及び維持コストの低減を可能にする。

【0038】

この情報は、サンプルハンドラがチューブを処理し、チューブを試験と分析のために分析装置まで移動させるＩＶＤ環境で貴重である。本発明の実施形態は、特にＩＶＤ環境に適しているが、決してＩＶＤ環境に限定されない。

【0039】

図１Ａは、本発明の一実施形態による、チューブトレイ１２０とそこに収容されたチューブ１３０を、その画像を取得し分析することによって評価する例示的な引出し視覚システム１００を表す。１つ以上の引出し１１０が、開位置と閉位置の間で移動可能であり、サンプルハンドラのための作業エンベロープ１０５内で提供される。１つ以上のチューブトレイ１２０が、引出し１１０に装填されてもよく、引出し１１０の永久機能でもよい。各チューブトレイ１２０は、チューブ１３０が収容されうるスロットの行と列の配列（例示的トレイ１２１内に描かれたような）を有する。

【0040】

実施形態により、チューブトレイ１２０の画像が撮影される。画像は、チューブトレイ１２０とチューブ１３０の特性を決定するために分析される。画像をその分析のために取得するために、本明細書に提供された実施形態によれば、可動トレイ又は固定カメラ手法が使用される。チューブトレイ１２０が、例えば手動又は自動で引出し１１０に押し込まれることによって、作業エンベロープ１０５に入れられるとき、画像取得システム１４０を使用してチューブトレイ１２０とそこに収容されたチューブ１３０の画像を撮影する。

【0041】

画像取得システム１４０は、作業エンベロープ１０５の入口又は入口近くに位置決めされた１つ以上のカメラ（例えば、図２に示された左側カメラ２４２と右側カメラ２４４）を含みうる。いくつかの実施形態では、１つ以上のカメラ２４２、２４４が、チューブトレイ１２０の表面の上に位置決めされうる。例えば、カメラ２４２，２４４は、チューブトレイ１２０の高解像度画像を取得するために、表面の７６．２〜１５２．４ｍｍ（３〜６インチ）上に配置されうる。カメラ２４２，２４４の機能並びに所望の視点及び画像品質により、他の距離及び／又は位置決めが使用されうる。必要に応じて、画像取得システム１４０は、ＬＥＤフラッシュなどの１つ以上の光源を含みうる。

【0042】

図１Ｂは、本明細書に開示された実施形態と共に使用されうる例示的な引出し視覚システムの例示的な試験ハーネスを示す。図１Ｂに示されたように、画像取得システム１４０は、チューブ１３０を保持するチューブトレイ１２０の表面の上に位置決めされ、引出し１１０上に配置される。図１Ｂで実施形態に示された引出し１１０は、２つの５５スロットトレイ又は６つの１５スロットトレイを保持するように構成される。しかしながら、実施形態は、様々な数のスロットを有しかつ様々なサイズを有するトレイを保持するように構成されたトレイを含みうる。

【0043】

図２は、一実施形態による、引出し１１０内に保持され収容されたチューブトレイ１２０とチューブ１３０を画像分析によって評価するためのシステム２００を表すブロック図を示す。画像取得システム１４０は、一実施形態によれば、２つのカメラ、即ち左側カメラ２４２と右側カメラ２４４を含む。引出し１１０及びチューブトレイ１２０のサイズ、並びに望みの画質及び画像視点により、追加又はもっと少ないカメラが含まれうる。また、光源２４６及び画像取得コントローラ２４８は、画像取得システム１４０の一部である。

【0044】

チューブトレイ１２０の行が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動されたことを決定するために、直角位相エンコーダなどのエンコーダ２１０が使用されうる。エンコーダ２１０は、チューブトレイ１２０の新しい行に対応するチューブトレイ１２０が、１つ以上のカメラ２４２，２４４の下の中心位置又は実質的中心位置に移動したことの検出に基づいて、画像取得コントローラ２４８に信号（即ち、パルス）を送信する。信号は、画像取得コントローラ２４８が、信号の受信時にカメラ２４２，２４４に指示して画像を撮影させる命令として働く。

【0045】

カメラ２４２，２４４によって撮影された画像の画像分析を管理するためのコントローラ２２０が提供される。引出し１１０が閉じたことを検出すると、画像取得コントローラ２４８は、ダウンロードと処理のためにコントローラ２２０に画像を提供する。コントローラ２２０は、一実施形態によれば、ＩＶＤ環境で、チューブトレイ１２０とチューブ１３０を作業エンベロープ１０５などの保管場所の間で取り扱い、分析装置まで移動させるために使用されるサンプルハンドラの一部である。コントローラ２２０によって行われる画像分析は、チューブトレイ１２０とチューブ１３０の様々な決定された特性に基づいてサンプルハンドラに指示する役割をし、したがって、サンプルハンドラがそれに応じてチューブトレイ１２０とチューブ１３０を取り扱い処理することを可能にする。

【0046】

１つ以上の記憶装置２４０が、コントローラ２２０と関連付けられる。１つ以上の記憶装置２４０は、コントローラ２２０の内部でも外部でもよい。

【0047】

引出し１１０が完全に閉じられかつ／又は引出し１１０が完全に開かれたことを示すために、１つ以上の引出しセンサ２３０がコントローラ２２０に接続されうる。一実施形態によれば、引出し１１０が完全に閉じられたことは、取得され記憶された画像の画像処理を始める指示として働く。引出し１１０が完全に閉められたとき、引出しセンサ２３０は、コントローラ２２０に信号を送る。

【0048】

図３は、トレイスロットタイプとサンプルチューブのチューブタイプを決定する方法３００を示すフローチャートである。図３に示されたように、この方法は、ステップ３０６〜３１４によってトレイスロットタイプ（例えば、スロットが空か空でないか）を決定してもよくかつ／又はステップ３１６〜３２４によってチューブタイプ（例えば、単純チューブ、キャップ付きチューブ、又はチューブ上部サンプルカップ付きチューブ）を決定してもよい。トレイスロットタイプを決定する方法は、「Ｌｏｃａｌｉｔｙ−ｂａｓｅｄ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｔｒａｙ Ｓｌｏｔ Ｔｙｐｅｓ ａｎｄ Ｔｕｂｅ Ｔｙｐｅｓ ｉｎ ａ Ｄｒａｗｅｒ Ｖｉｓｉｏｎ Ｓｙｓｔｅｍ」と題する出願（整理番号２０１４Ｐ２３２８３ＵＳ）に、より詳細に記載されている。

【0049】

しかしながら、ステップ３０２で画像が取得された後、トレイスロットタイプを決定するステップ３０８に進む前に、ステップ３０４で、トレイ格子が位置合わせされ、ステップ３０６で、トレイスロットパッチが抽出される。以下の記述では、ステップ３０４でトレイ格子位置合わせに焦点を当て、ステップ３０６でトレイスロットパッチ抽出に焦点を当てる。

【0050】

従来の自動化システムは、チューブスロット占有検出に時間がかかる力任せの方法を実行する。そのような自動化システムには、高度なチューブ分類及び評価機能がない。これと対照的に、ＤＶＳは、引出し入口の上部に取り付けられた２つのカメラを利用して、引出し挿入中にサンプルチューブの画像を取得する。したがって、画像分析アルゴリズムを使用して取得画像にチューブ占有検出、チューブ分類及びチューブ評価が効率的に行われうる。

【0051】

引き出し挿入中に引出しが高速運動しているときに画像が取得されるように、頑強なチューブスロット位置特定アルゴリズムが、チューブ高さ、直径、中心オフセットなどのチューブ特性を評価するための幾何学的基準として働くことが望ましい。ハードウェアエンコーダは、１組の所定位置にあるカメラをトリガできるが、高精度エンコーダはコスト効率がよくない。ＤＶＳカメラセットアップに関して、トレイスロット位置特定に関して１画素未満の誤差を達成するために、エンコーダ誤差は、０．１３ｍｍ未満であることが望ましい。

【0052】

基準マーカ
高速運動下で取得された画像のチューブ特性の正確な評価を容易にするため、実施形態は、画像ごとにトレイ表面上の１組の標準マーカを利用してトレイが引き出しと共に移動した距離を評価することを含む画像ベース方法を使用することによって、高精度なチューブサンプルトレイ位置合せ及びチューブスロット位置特定を提供する。実施形態は、また、ＤＶＳカメラごとの基準マーカパターンを位置合せするための較正方法を含む。実施形態は、更に、トレイ整列及びチューブスロット位置特定のためのテンプレート突合わせ方法を含む。

【0053】

図４は、一実施形態による、チューブスロット４０２間のトレイ１２０上に配置された基準マーカ４００を有する例示的トレイ１２０の平面図である。１組４つの隣接スロット４０２の間に、ほぼ菱形の断面領域４０４（以下では、菱形領域）が配置される。図４に示されたように、トレイ１２０は、５列１１行の行列を含む。図４に示されたスロット４０２の数、スロット４０２の行数、及びスロット４０２の列数は、例示に過ぎない。実施形態は、任意数の行、列及びスロットを有するトレイを含みうる。図４に示されたトレイ１２０の寸法も例示である。実施形態は、図４に示された寸法以外の寸法を有するトレイも含みうる。

【0054】

ハードウェアエンコーダの誤差が、トレイ１２０の行長さの半分（例えば、１１．７５ｍｍ）未満であると仮定することにより、トレイ１２０の各行に繰り返しマーカパターンが使用されうる。望ましい基準マーカパターンを提供するために、種々の因子が検討されうる。例えば、基準マーカ４００の数が多いほどトラッキング結果が正確になる。したがって、可能な動作条件下でトラッキングに利用できるマーカ４００の数を最大にしなければならない。更に、マーカ４００の部分的な隠れ並びにチューブ側のマーカ反射によって位置特定誤差と誤検出が起こることがある。したがって、部分的にしか見えないマーカ４００と側壁の反射の数を最小にしなければならない。

【0055】

図５は、一実施形態による、スロット４０２の隣の菱形領域内の基準マーカ４００の位置を示す、図４に示されたトレイの一部分の拡大図である。図５に示されたように、チューブスロットは、カメラの視界内でマーカ（図５のマーカ４００Ａなど）を遮る可能性のあるチューブスロット４０２内に保持されたチューブ１３０を、チューブがチューブスロット内の中心でなくなるようにスロット４０２の１つの角の方に押すように構成されたばね５００を含む。図５は、カメラの視界から遮られると予想される領域５０２と、カメラの視界内で見えると予想される領域５０４とを示す。したがって、各菱形領域４０４の中心にあるマーカ以外、マーカ４０２とチューブスロット４０２の中心間の距離が最大にされる。特定の構成により、スロット４０２内にチューブがあるかスロット４０２が空かにかかわらずカメラの視界内に少なくとも３つのマーカがあり、それにより、許容可能な精度範囲内のトラッキングが提供され、更に他のマーカの使用がなくなる。その結果、部分的に見えるマーカとチューブ壁上の反射の数が最小にされうる。

【0056】

図６Ａと図６Ｂは、チューブ１３０のまわりのカメラの視界内の３つのマーカ４００を示すカメラからの画像である。図６Ａに示されたように、３つのマーカ４００が、チューブ１３０のまわりのカメラの視界内に見え、１つのマーカ４００Ａが、カメラの視界から部分的に遮られている。図６Ｂに示されたように、チューブ１３０のまわりのカメラの視界内に３つのマーカ４００がある。第４のマーカは、カメラの視界から完全に遮られているので示されない。実施形態は、マーカコディフィケーション（codification）を利用しない。即ち、パターンが各行で繰り返す。

【0057】

一実施形態では、マーカ４００は、付加的な符号化情報を伝達できる。符号化は、基準マーカの形状、色、配列又はこれらの任意の組み合わせを局所的に変更することによって実現されうる。符号化情報は、低解像度ハードウェアエンコーダの場合又はハードウェア符号化が全くない場合に局所化することがある。符号化情報は、ハードウェアエンコーダ出力に対するサニティチェックを提供できる。符号化情報は、トレイ識別も提供できる。

【0058】

基準マーカに符号化を加えると、検出強健さが犠牲になることがある。同一の単純な白ドットを使用することによって強健さが高まる。ドットが摩耗、洗浄又は製造欠陥によって破損した場合でも、極端なエラー（例えば、プロセッサ決定画像がトレイ１２０のどこか他の場所にある）。単一データポイントの位置が少しずれることがあるが、そのずれは、各ドット４００の質量中心を取るかＲＡＮＳＡＣなどのロバスト法を使用して、マッチング外れ値を自動的に除去することによって最小化されうる。

【0059】

較正
ソフトウェア観点から、引出し視覚システム（ＤＶＳ）には主に２つの部分がある。一方は、オンライン部分であり、他方はオフライン部分である。オンライン部分は、動作中、即ち、カメラによって取得された新しい画像をシステムが処理するときと、引出しインベントリを発見するためにシステムが使用されているときに生じる部分を意味する。オフライン部分は、例えば、較正段階とトレーニングも示す。システムは、様々なチューブタイプを検出するためにクラシファイヤ構成要素をトレーニングするのに大量のデータを必要とする。この較正とトレーニングは、製品が作成された後で顧客に送られるたび又は設置時に行われうる。トレーニング部分が、ＤＶＳに対して１回行われ、次にソフトウェアのそのオンライン部分が、ＤＶＳの全ての事例に対して実行される。トレーニングは、特に、様々なチューブタイプを決定するとき有用である。システムに使用されるチューブタイプを決定するために範囲が定義された後、それらのチューブの画像が、トレーニングのための集合を定義できる。トレーニングは、製品の販売前に工場で一度に行うことができ、業務での顧客による製品のトレーニングが不要なことがある。トレーニングは、新しいチューブタイプに対応している場合だけ更新されなければならない。これは、メーカ側で行われることである。較正は、もう１つのオフライン構成要素であり、顧客の場所で行われるか、各事例のメーカで行われうる。トレーニングは、システム全体又は生産ライン全体に一度実行されてもよく、較正は、個々の事例ごとに少なくとも一度実行される。

【0060】

実施形態は、また、左側カメラ２４２と右側カメラ２４４などの１つ以上のＤＶＳカメラの基準マーカパターンを位置合せするための較正方法を含む。製造及び組立精度の限度によって、引出しに対するＤＶＳカメラの相対的姿勢がＤＶＳユニットにより異なることがある。したがって、カメラ座標系とトレイ座標系間のマッピングを学習するために較正法が使用される。チューブ高さなどの特性は、トレイ表面から測定され、中心オフセットは、各チューブスロット中心から測定される。

【0061】

トレイが引出し内に保持されたとき、位置合せには、３つの座標系、即ちカメラ座標系、トレイ座標系及び引出し座標系が考慮される。これらの３つの座標系の間の較正を行なっている間、較正は、以下の仮定、すなわち（１）トレイ軸のうちの１つが引出し移動方向と合わせされ、その軸がカメラの軸のうちの１つと大雑把に合わせされること、（２）引出しに取り付けられた全てのトレイの表面が、引出し表面に平行な平坦面を構成することによって、２つの座標系、即ちカメラ座標系とトレイ座標系に制限されうる。したがって、対応するカメラ（２４２と２４４）の本質的パラメータが既に較正されている場合は、カメラ（２４２と２４４）ごとの空の５５スロットトレイの１つの画像を使用して、トレイ向きごとにトレイ表面に対するカメラの姿勢を較正できる。

【0062】

図７Ａは、実施形態と共に使用するためにスロット４０２間に配置された基準マーカ４００を検出した、例示的トレイ１２０のトップビューに重ね合わされたトレイ座標系を示す図である。図７Ａに示されたように、トレイ座標系は、ｘ軸とｙ軸を含む。図７Ｂは、実施形態と共に使用するためにスロット４０２間に配置された、基準マーカ４００が検出された例示的トレイのトップビューのカメラ（例えば、左側カメラ２４２）からの画像である。図７Ｂの画像は、空の５５スロットトレイの中間行（例えば、第６行）がカメラの視界の中心にあるときに取得された。

【0063】

画像内の検出基準マーカ４００はそれぞれ、例えばハフ変換による円検出を使用して位置特定される。トレイ座標系が、カメラ座標系と予め位置合わせされた（例えば、大雑把に位置合わせされた）とき、検出マーカ４００は、そのｘ座標にしたがって４つのクラスタにグループ化されうる。例えば、図７Ａに示された実施形態では、トレイ座標系のｙ軸は、カメラ座標系のｙ軸と予め位置合わせされうる。実施形態は、例えばトレイ座標系のｘ軸をカメラ座標系のｘ軸と予め位置合わせする方法など、トレイ座標系をカメラ座標系と予め位置合わせする他の方法を含みうる。各クラスタ内の検出マーカ４００は、他のクラスタによって構成されたｙ方向の他の線８０２に平行なｙ方向の線８０２内にある。したがって、１組の平行線８０２（図８Ａと図８Ｂに示された）を検出マーカ４００の位置に合わせるために線形回帰が行われうる。同様に、線形回帰を行ってｘ方向の平行線をわずかな修正で合わせることができる。奇数列上の検出マーカ４００が、各菱形領域４０４の上角にあり、偶数列上の検出マーカ４００が、各菱形領域４０４の右角にある。したがって、同じ行上のマーカが、１対の平行線８０４（図８Ａと図８Ｂに示された）を形成し、他の行上のマーカ４００によって形成された対の線８０４に平行である。

【0064】

図８Ａと図８Ｂは、左側カメラ２４２と右側カメラ２４４から取得された画像上の回帰から得られた検出マーカ４００及び平行線８０２を示す。第６行がカメラの視界の中心にありかつマーカパターンの物理的配置がトレイ表面にある場合に、各検出マーカ４００のトレイ表面の物理位置に対する三次元対応関係が識別されうる。三次元及び二次元対応関係｛Ｐｉ｝及び｛ｐｉ｝により、以下のように再投影誤差を最小にすることによってカメラ姿勢を導出できる。

【0065】

R,t = argmin_R,tΣi||p_i- f(RP_i+ t,K_c,d_c)||^２,

【0066】

ここで、ｆ（）は、カメラ座標系からその画像平面への三次元から二次元への投影関数であり、Ｋ_ｃは、焦点距離及びカメラの２軸と画像上の主点のスキューとを含む本質的較正行列であり、ｄ_ｃは、レンズ歪みベクトルである。回転行列Ｒと並進ベクトルｔは、カメラ画像の姿勢を示す非本質的パラメータである。最適化は、例えば、ＯｐｅｎＣＶ ＡＰＩを使用して実現されうる。

【0067】

トレイ位置合わせ
図９Ａと図９Ｂは、一実施形態による、投影マーカ９００と検出マーカ９０２の間のオフセットを示すチューブトレイとチューブのトップビューの例示的画像である。基準マーカパターンが既に較正されているとき、カメラ姿勢は、任意の点のトレイ座標系からカメラ座標系へのマッピングを提供する。トレイ１２０の各行がカメラの視界の中心にあるとき、トレイ１２０が引出し１１０と共に移動し、ハードウェアエンコーダ２１０がカメラ２４２，２４４（例えば、左側カメラ２４２又は右側カメラ２４４）を大雑把に作動させるとき、引出し１１０上の現在のトレイ構成（例えば、トレイのタイプ、向き、及び位置）とエンコーダ情報に基づいて、各検出基準マーカ９０２の二次元投影９００が予測されうる。このように、投影マーカ９００（図９Ａと図９Ｂに示された）が、最近接点探索によって画像上の検出マーカ９０２を突き合わせるテンプレートとして働きうる。投影マーカ９００と検出マーカ９０２間のオフセットは、ハードウェアエンコーダ２１０の誤差による補償すべき並進量を示す。したがって、トレイ１２０の位置を決定して、カメラの視界内にあるトレイ１２０とチューブスロット４０２とを位置合わせできる。

【0068】

いくつかの実施形態では、オフセットは、ｘ及びｙ両方向に１０画素以内でよい。しかしながら、実施形態は、任意の画素数のオフセットを含みうる。

【0069】

トレイ１２０が既に位置合わせされているとき、チューブスロット格子点をトレイ表面の各菱形領域４０４の中心に定義し、補償されたチューブスロット格子点を画像に投影して、トレイ位置合わせから得られたオフセットに基づいてトレイスロット４０２を位置特定することによって、チューブスロット位置特定（tube slot localization）が決定されうる。

【0070】

図１０Ａは、較正中に得られたチューブスロット格子点１００２から決定されたｙ軸線１００４とｘ軸線１００６を示す図である。ｙ軸線１００４とｘ軸線１００６は、図１０Ｂに示されたチューブスロット格子点１００２をつなぐ。

【0071】

図１０Ｂは、トレイのトップビューの画像の上に重ねられたチューブスロット格子点１００２を示す。これらの格子点１００２により、各チューブスロット４０２を入力画像から抽出でき、チューブ占有検出、チューブ分類及びチューブ評価などの様々なタスクのための画像分析を実行できる。

【0072】

図１１は、本明細書に開示された実施形態による、トレイ格子較正を使用するトレイ格子位置合わせ及びチューブスロット位置特定の方法を示すフローチャートである。図１１に示されたように、この方法は、ステップ１１０２で、トレイの１つ以上の新しい画像を取得し、ステップ１１０４で、トレイ上に配置された基準マーカ４００を検出することを含む。ステップ１１０６に示されたように、引出しハードウェアエンコーダ２１０が、値（例えば、トレイ１２０の各行がカメラの視界の中心にあることを示す値）を受け取る。

【0073】

ステップ１１０８で、投影マーカ９００と検出マーカ９０２の間のオフセットを使用することによって、トレイ１２０が、前述のように位置合わせされうる。投影マーカ９００は、１１０６からの取得エンコーダ情報と、１１１８でトレイ較正ファイルに記憶されうるオフライン較正情報（例えば、トレイ上の物理位置に対する各検出基準マーカの対応関係を識別する情報、及び／又は基準マーカパターンを識別する情報）によって決定された引出し１１０上の現在トレイの構成（例えば、トレイのタイプ、向き、及び位置）とに基づいて予測される。投影マーカ９００と検出マーカ９０２間のオフセットは、ハードウェアエンコーダ２１０の不正確さによる補償すべき並進量を示す。したがって、カメラの視界内にあるトレイ１２０とチューブスロット４０２を位置合わせするために、トレイ１２０の位置が決定されうる。

【0074】

引出し１１０上の現在トレイの構成を示すオフライン較正は、前述のように決定されうる。例えば、トレイ較正画像（例えば、図７Ｂに示された画像）が、ステップ１１１０で取得され、基準マーカ４００が、ステップ１１１２で検出される。

【0075】

ステップ１１１４で、検出マーカ９０２がクラスタにグループ化され、ステップ１１１６で、トレイ格子が計算されうる。例えば、検出マーカ９０２は、図８Ａに示されたｘ座標にしたがって４つのクラスタにグループ化されうる。前述のように、トレイ格子は、ｘ座標に沿った検出クラスタ化マーカ９０２の位置に平行線８０２を合わせ、ｙ座標に沿った各行上の検出マーカ９０２の位置に対の平行線８０４を合わせることによって計算されうる。次に、トレイは、トレイ上の物理位置に対する各検出基準マーカの対応関係を識別することによって較正される。次に、カメラ姿勢が、トレイ座標系からカメラ座標系に任意の点のマッピングを提供できる。較正情報（例えば、トレイ上の物理位置に対する各検出基準マーカの対応関係を識別する情報）が、例えば、ステップ１１１８に示されたようにトレイ較正ファイルに記憶され、１１０８でトレイを位置合わせするために使用されうる。

【0076】

ステップ１１０８で、トレイ１２０が位置合わせされたとき、ステップ１１２０で、チューブスロット位置特定が決定されうる。例えば、チューブスロット位置特定は、トレイ表面の各菱形領域４０４の中心におけるチューブスロット格子点１００２を定義し、補償されたチューブスロット格子点１００２を画像上に投影して、トレイ位置合わせから得られたオフセットに基づいてトレイスロット４０２を位置特定することによって決定されうる。これらの格子点１００２により、各チューブスロット４０２のチューブスロット画像パッチを入力画像から抽出でき、チューブ占有検出、チューブ分類及びチューブ評価などの様々なタスクのために画像分析を行える。

【0077】

図１２は、本発明の実施形態を実現できる例示的な計算処理環境１２００の例を示す。計算処理環境１２００は、本明細書に示された任意の構成要素の一部として実現されうる。計算処理環境１２００は、本発明の実施形態を実現できる計算処理システムの一例であるコンピュータシステム１２１０を含みうる。図１２に示されたように、コンピュータシステム１２１０は、コンピュータシステム１２１０内で情報を通信するためのバス１２２１や他の通信機構などの通信機構を含みうる。システム１２１０は、更に、情報を処理するためにバス１２２１と結合された１つ以上のプロセッサ１２２０を含む。プロセッサ１２２０は、１つ以上のＣＰＵ、ＧＰＵ、又は当該技術分野で知られた任意の他のプロセッサを含みうる。

【0078】

コンピュータシステム１２１０は、また、情報及びプロセッサ１２２０によって実行される命令を記憶するために、バス１２２１に結合されたシステムメモリ１２３０を含む。システムメモリ１２３０は、読み取り専用メモリ（ＲＯＭ）１２３１及び／又はランダムアクセスメモリ（ＲＡＭ）１２３２などの揮発性及び／又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリＲＡＭ１２３２は、他のダイナミック記憶装置（例えば、ダイナミックＲＡＭ、スタティックＲＡＭ及びシンクロナスＤＲＡＭ）を含んでもよい。システムメモリＲＯＭ１２３１は、他のスタティック記憶装置（例えば、プログラマブルＲＯＭ、消去可能ＰＲＯＭ、及び電気的消去可能ＰＲＯＭ）を含んでもよい。更に、システムメモリ１２３０は、プロセッサ１２２０による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム１２１０内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム１２３３（ＢＩＯＳ）が、ＲＯＭ１２３１に記憶されてもよい。ＲＡＭ１２３２は、プロセッサ１２２０がすぐにアクセスできかつ／又はプロセッサ１５２０が現在処理しているデータ及び／又はプログラムモジュールを含んでもよい。システムメモリ１２３０は、更に、例えば、オペレーティングシステム１２３４、アプリケーションプログラム１２３５、他のプログラムモジュール１２３６及びプログラムデータ１２３７を含んでもよい。

【0079】

コンピュータシステム１２１０は、また、磁気ハードディスク１２４１やリムーバブルメディアドライブ１２４２（例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び／又はソリッドステートドライブ）など、情報及び命令を記憶するための１つ以上の記憶装置を制御するためにバス１２２１に結合されたディスクコントローラ１２４０を含む。記憶装置は、適切な装置インタフェース（例えば、小型コンピュータシステムインタフェース（ＳＣＳＩ）、集積装置電子回路（ＩＤＥ）、汎用シリアルバス（ＵＳＢ）又はファイヤワイヤ）を使用してコンピュータシステム１２１０に追加されてもよい。

【0080】

コンピュータシステム１２１０は、また、情報をコンピュータユーザに表示するための陰極線管（ＣＲＴ）や液晶表示装置（ＬＣＤ）などの表示装置又はモニタ１２６６を制御するためにバス１２２１に結合された表示装置コントローラ１２６５を含んでもよい。コンピュータシステム１２１０は、コンピュータユーザと対話し情報をプロセッサ１２２０に提供するために、キーボード１２６２やポインティング装置１２６１などのユーザ入力インタフェース１２６０及び１つ以上の入力装置を含む。ポインティング装置１２６１は、例えば、指示情報とコマンド選択をプロセッサ１２２０に通信し、表示装置１２６６上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックでよい。表示装置１２６６は、ポインティング装置１２６１による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。

【0081】

コンピュータシステム１２１０は、本発明の実施形態の処理段階の一部又は全てを、システムメモリ１２３０などのメモリに含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１２２０に応じて実行してもよい。そのような命令は、ハードディスク１２４１やリムーバブルメディアドライブ１２４２などの別のコンピュータ可読媒体からシステムメモリ１２３０に読み込まれてもよい。ハードディスク１２４１は、本発明の実施形態によって使用される１つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ１２２０は、また、システムメモリ１２３０に収容された命令の１つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでハードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。

【0082】

以上述べたように、コンピュータシステム１２１０は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも１つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ１２２０に提供することに関係する任意の持続性有形媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク１２４１やリムーバブルメディアドライブ１２４２など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ１２３０などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス１２２１を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。

【0083】

計算処理環境１２００は、更に、リモートコンピュータ１２８０などの１つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム１２１０を含んでもよい。リモートコンピュータ１２８０は、パーソナルコンピュータ（ラップトップ又はデスクトップ）、移動装置、サーバ、ルータ、ネットワークＰＣ、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータ１２１０に関して前述した要素の多く又は全てを含む。ネットワーク環境内で使用されるとき、コンピュータ１２１０は、インターネットなどのネットワーク１２７１を介した通信を確立するためのモデム１２７２を含んでもよい。モデム１２７２は、ネットワークインタフェース１２７０又は別の適切な機構を介してシステムバス１２２１に接続されうる。

【0084】

ネットワーク１２７１は、コンピュータシステム１２１０と他のコンピュータ（例えば、リモート計算処理システム１２８０）間の通信を容易にすることができるインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、直接接続、一連の接続、セルラ電話網又は、他のネットワーク又は媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク１２７１は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット（登録商標）、汎用シリアルバス（ＵＳＢ）、ＲＪ−１１、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Ｗｉ−Ｆｉ、ＷｉＭＡＸ及びＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法を使用して実現されてもよい。更に、いくつかのネットワークは、ネットワーク１２７１内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。

【0085】

プロセッサは、本明細書で使用されるとき、タスクを実行するために、コンピュータ可読媒体上に記憶された機械可読命令を実行する装置であり、ハードウェアとファームウェアのいずれか１つ又は組み合わせを含みうる。プロセッサは、また、タスクを実行するために実行可能な機械可読命令を記憶するメモリを含みうる。プロセッサは、使用する情報を実行可能手順又は情報装置によって処理、分析、修正、変換又は送信し、かつ／又は情報を出力装置に送ることによって情報に作用する。プロセッサは、例えば、コンピュータ、コントローラ又はマイクロプロセッサの能力を使用するか備えてもよく、また実行命令を使用して汎用コンピュータによって実行されない特殊目的の機能を実行するように調整される。プロセッサは、任意の他のプロセッサと結合されて（電気的及び／又は実行可能な構成要素を含むように）、それらの間の対話及び／又は通信を可能にしてもよい。コンピュータプログラム命令は、汎用コンピュータ若しくは専用コンピュータ、又は装置を作成する他のプログラム可能な処理装置を限定なしに含むコンピュータにロードされ、その結果、コンピュータ又は他のプログラム可能な処理装置上で実行するコンピュータプログラム命令が、フローチャートのブロックで指定された機能を実現するための手段を作成する。ユーザインタフェースプロセッサ又はジェネレータは、表示要素又はその一部分を生成するために電子回路若しくはソフトウェア又はその両方の組み合わせを含む既知の要素である。ユーザインタフェース（ＵＩ）は、プロセッサ又は他の装置とのユーザ相互作用を可能にする１つ以上の表示要素を含む。

【0086】

本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、１つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び／又はパラメータを受け取り、受け取った入力データに基づいて演算を実行しかつ／又は受け取った入力データに応じて機能を実行し、得られた出力データ及び／又はパラメータを提供することを含んでもよい。グラフィカルユーザインタフェース（ＧＵＩ）は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置とのユーザ対話を可能にする１つ以上の表示要素と、関連データ取得及び処理機能を含む。

【0087】

ＵＩは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してＵＩ表示画像を表す信号を生成する。そのような信号は、ユーザによる検討のために要素を表示する表示装置に供給される。実行可能手順又は実行可能アプリケーションは、更に、キーボード、マウス、ライトペン、タッチスクリーン、又はユーザがプロセッサにデータを提供することを可能にする他の手段などのユーザ入力装置から信号を受け取る。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてＵＩ表示要素を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示要素と対話する。本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される動作（ステップを含む）は、ユーザが動作を直接指示することなく実行可能な命令又は装置動作に応じて実行される。

【0088】

ワークフロープロセッサは、本明細書で使用されるとき、データを処理して、例えばプログラムで指定されたように、タスクリストに追加するタスク又はタスクリストから除去するタスクを決定するか、タスクリストに組み込まれたタスク又はタスクリストに組み込むタスクを修正する。タスクリストは、作業者、装置ユーザ、又は装置若しくは両方の組み合わせによって実行するためのタスクのリストである。ワークフロープロセッサは、ワークフローエンジンを使用してもよく使用しなくてもよい。ワークフローエンジンは、本明細書で使用されるとき、イベント及びイベント関連データに応じてプロセスを実行する所定のプロセス定義に応じて実行するプロセッサである。ワークフローエンジンは、イベント関連データに応じて、プロセスを順次かつ／又は並列に実行して、装置及び／又は作業者によって実行されるタスクを決定し、装置と作業者のタスクリストを決定されたタスクを含むように更新する。プロセス定義は、ユーザによって定義可能であり、例えば、装置と作業者によって実行される開始、待機、決定及びタスク割り当てステップの１つ以上を含む一連のプロセスステップを含む。イベントは、プロセス定義を使用して実行されるプロセスの動作に影響を及ぼすオカレンスである。ワークフローエンジンは、ユーザが従うプロセスを定義することを可能にするプロセス定義関数を含み、またイベントモニタを含むことがある。ワークフローエンジン内のプロセッサは、プロセス定義にしたがって、どのプロセスが動作しているか、どの患者に関するものか、医者、及び次にどのステップを実行すべきかを追跡し、実行されるタスクを医者に通知するための手順を含みうる。

【0089】

本明細書に示された図のシステム及びプロセスは網羅的ではない。本発明の原理にしたがって、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためのであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行されうる。更に、プロセス及びアプリケーションは、代替実施形態では、図１２のユニットを結合するネットワーク上の１つ以上の（例えば、分散された）処理装置上にあってもよい。図に示された機能とステップはいずれも、ハードウェア、ソフトウェア又はこれらの両方の組み合わせで実現されうる。本明細書内の請求要素は、その要素が語句「means for」を使用して明示的に列挙されない限り
米国特許法１１２条第６項の条件下で解釈されるべきである。本発明は、例示的な実施形態に関して述べたが、その実施形態に限定されない。当業者は、本発明の好ましい実施形態に対して多くの変更及び修正を行うことができ、そのような変更及び修正が、本発明の真の趣旨から逸脱せずに行われうることを理解するであろう。したがって、添付の特許請求の範囲は、本発明の真の趣旨及び範囲内にあるような全ての等価的変形物を対象として含むように解釈されるべきである。

【符号の説明】

【0090】

１１０ 引出し
１２０ トレイ
１３０ チューブ
１４０ 画像取得システム
２４２、２４４ カメラ
４００ 基準マーカ
４０２ チューブスロット
１２２０ プロセッサ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】