特許 7345483 画像ベースのデッキ検証

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-07

(45)【発行日】2023-09-15

(54)【発明の名称】画像ベースのデッキ検証

(51)【国際特許分類】

   G01N 35/00 20060101AFI20230908BHJP

【ＦＩ】

G01N35/00 F

【請求項の数】 20

(21)【出願番号】P 2020541800

(86)(22)【出願日】2019-01-31

(65)【公表番号】

(43)【公表日】2021-05-13

(86)【国際出願番号】 US2019015980

(87)【国際公開番号】W WO2019152604

(87)【国際公開日】2019-08-08

【審査請求日】2020-10-27

(31)【優先権主張番号】62/625,191

(32)【優先日】2018-02-01

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】510005889

【氏名又は名称】ベックマン コールター， インコーポレイテッド

【氏名又は名称原語表記】Ｂｅｃｋｍａｎ Ｃｏｕｌｔｅｒ， Ｉｎｃ．

【住所又は居所原語表記】２５０ Ｓ． Ｋｒａｅｍｅｒ Ｂｏｕｌｅｖａｒｄ， Ｂｒｅａ， ＣＡ ９２８２１， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】シェリル， ティモシー ピー．

(72)【発明者】

【氏名】シュライナー， ジョセフ ディー．

(72)【発明者】

【氏名】ミラー， ロバート ピー．

【審査官】岩永 寛道

(56)【参考文献】

【文献】米国特許出願公開第２０１４／００３６０７０（ＵＳ，Ａ１）

【文献】特表２００７－５２６４７９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２０５３６０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２２６７５９（ＵＳ，Ａ１）

【文献】特開２０１２－０４７４６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／００

Ｇ０１Ｎ ３５／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ ３０／１０

(57)【特許請求の範囲】

【請求項1】

ａ）画像化デバイスに構造の物理的表面の第２の画像を捕捉させることであって、前記物理的表面は、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、ことと、
ｂ）前記画像化デバイスと通信するプロセッサが、前記第２の画像を、コンピュータ機器内のメモリに記憶された第１の画像と比較することと、
ｃ）前記プロセッサが、前記第２の画像の全てのピクセルと前記第１の画像の対応する全てのピクセルとの間の任意の差異が存在するかどうかを決定することと、
ｄ）前記プロセッサと通信する出力デバイスが、機器上で走らされるプロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の任意の差異のインジケーションを出力することであって、前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の前記差異は、コンポーネントの正しくない配置または正しくないコンポーネントを示す差異を含む、ことと
を備える、方法。

【請求項2】

前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備える、請求項１に記載の方法。

【請求項3】

任意の差異の前記インジケーションは、前記第２の画像および第１の画像内に異なるコンポーネントを有する少なくとも１つのデッキ場所を含む、請求項２に記載の方法。

【請求項4】

前記第２の画像の全てのピクセルと前記第１の画像の対応する全てのピクセルとの間の任意の差異が存在するかどうかを決定することは、前記第２の画像と前記第１の画像との間の第１の差異を決定することを含み、前記第１の差異は、前記複数の個別のデッキ場所からの第１の個別のデッキ場所と関連付けられ、任意の差異の前記インジケーションは、強調されたエリアを有する前記第２の画像の表現を含み、前記第１の個別のデッキ場所と関連付けられる前記強調されるエリアは、前記第２の画像と前記第１の画像との間の第１の差異と関連付けられる、請求項１に記載の方法。

【請求項5】

前記インジケーションは、前記機器上で走らされる前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間に差異が存在しないことを示す、請求項１に記載の方法。

【請求項6】

機器は、異なるプロセスが前記機器上で走らされ得るように、ユーザが前記複数の個別のデッキ場所に配置されるコンポーネントのタイプを構成することを可能とするようにプログラムされる、請求項１に記載の方法。

【請求項7】

前記コンポーネントは、実験器具を備え、前記画像化デバイスは、カメラを備える、請求項１に記載の方法。

【請求項8】

前記機器は、生体試料を分析する分析装置を含む、請求項１に記載の方法。

【請求項9】

前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備え、前記第１の画像は、
前記第２の画像を捕捉する前に、前記画像化デバイスによって前記第１の画像を捕捉することであって、前記物理的表面は、前記複数の個別のデッキ場所を備え、前記第１の複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、こと
によって形成された、請求項１に記載の方法。

【請求項10】

前記第１の画像を捕捉する前に、前記機器が、前記プロセスを遂行するためのプロトコルを受信することと、
前記第１の画像を捕捉した後に、前記機器が、前記プロセスを遂行することと、
前記プロセスを遂行した後に、前記メモリ内に前記第１の画像を記憶することと
をさらに備える、請求項９に記載の方法。

【請求項11】

前記複数の個別のデッキ場所のうちの１つを前記第２の画像内のピクセル範囲にマッピングすることをさらに備える、請求項１に記載のシステム。

【請求項12】

プロセスを遂行するための機器と、
画像化デバイスと
プロセッサ、前記プロセッサに結合される出力デバイス、および前記プロセッサに結合される非一過性コンピュータ可読媒体を備えるコンピュータ機器であって、前記コンピュータ機器は、前記画像化デバイスおよび前記機器に動作可能に結合され、前記非一過性コンピュータ可読媒体は、方法を遂行するために前記プロセッサによって実行可能なコードを備える、コンピュータ機器と
を備えるシステムであって、前記方法は、
ａ）前記画像化デバイスに構造の物理的表面の第２の画像を捕捉させることであって、前記物理的表面は、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、ことと、
ｂ）前記プロセッサが、前記第２の画像を前記コンピュータ機器内のメモリに記憶された第１の画像と比較することと、
ｃ）前記プロセッサが、前記第２の画像の全てのピクセルと前記第１の画像の対応する全てのピクセルとの間の任意の差異が存在するかどうかを決定することと、
ｄ）前記出力デバイスに、前記機器によって遂行される前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の任意の差異のインジケーションを生み出させることであって、前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の前記差異は、コンポーネントの正しくない配置または正しくないコンポーネントを示す差異を含む、ことと
を備える、システム。

【請求項13】

前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備える、請求項１２に記載のシステム。

【請求項14】

前記構造の前記物理的表面であって、前記物理的表面は、前記複数の個別のデッキ場所を備え、任意の差異の前記インジケーションは、前記第２の画像および前記第１の画像内に異なるコンポーネントを有する少なくとも１つのデッキ場所を含む、物理的表面
をさらに備える、請求項１３に記載のシステム。

【請求項15】

前記第２の画像の全てのピクセルと前記第１の画像の対応する全てのピクセルとの間の任意の差異が存在するかどうかを決定することは、前記第２の画像と前記第１の画像との間の第１の差異を決定することを含み、前記第１の差異は、前記複数の個別のデッキ場所からの第１の個別のデッキ場所と関連付けられ、任意の差異の前記インジケーションは、強調されるエリアを有する前記第２の画像の表現を含み、前記強調されるエリアは、前記第２の画像と前記第１の画像との間の前記第１の差異と関連付けられる前記第１の個別のデッキ場所と関連付けられる、請求項１２に記載のシステム。

【請求項16】

前記インジケーションは、前記機器上で走らされる前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の差異が存在しないことを示す、請求項１２に記載のシステム。

【請求項17】

機器は、異なるプロセスが前記機器上で走らされ得るように、ユーザが前記複数の個別のデッキ場所に配置されるべきコンポーネントのタイプを構成することを可能とするようにプログラムされる、請求項１２に記載のシステム。

【請求項18】

前記コンポーネントは、実験器具を備え、前記機器は、生体試料を分析する分析装置を含み、前記画像化デバイスは、カメラを備える、請求項１２に記載のシステム。

【請求項19】

前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備え、前記第１の画像は、
前記第２の画像を捕捉する前に、前記画像化デバイスが、前記第１の画像を捕捉することであって、前記物理的表面は、前記複数の個別のデッキ場所を備え、前記第１の複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、こと
によって形成された、請求項１２に記載のシステム。

【請求項20】

前記方法は、
前記第１の画像を捕捉する前に、前記機器が、前記プロセスを遂行するためのプロトコルを受信することと、
前記第１の画像を捕捉した後に、前記機器が、前記プロセスを遂行することと、
前記プロセスを遂行した後に、前記メモリ内に前記第１の画像を記憶することと
をさらに備える、請求項１９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本出願は、２０１８年２月１日に出願された米国仮特許出願第６２／６２５１９１号への優先権を主張し、その内容は、全ての目的のためにその全体が参照によって援用される。

【背景技術】

【0002】

（背景）
試料処理システムは、生体試料を分析するために用いられ得る。試料処理システムがプログラムされ、必要な材料が特定の方法でレイアウトされると、システムは、試料についての分析または他の処理を自動的に実行し得る。例えば、試験管内の生体試料は、デッキ上の特定位置に組み立てられ、かつステージングされ得る。また、ピペットチップは、デッキ上の別の位置に組み立てられかつステージングされ得、マイクロウェルプレート等の試験容器は、デッキ上のさらに別の位置に位置付けられ得る。それから、分析プロセスが始められたとき、ロボットアームは、１または複数のピペットチップを回収し、必要に応じて試験管のうちのいくつかから試料の一部を移し、かつさらなる処理のための試験容器へそれらを運搬するために、チップを用い得る。

【0003】

適切に設定される場合、これらの自動化されたシステムは、生体試料を効率よく分析し得る一方で、それらのシステムは、分析プロセスが始められる前にシステムを適切に準備するための人間の操作者に依存する。人間の操作者が、間違ったエリアに試験管の配列を置くか、または試験管を準備することを忘れる場合、システムは、分析プロセスを完了できないことがあり、かつ／または、そのことは、システムが正常に機能しないことを引き起こし得る。そのような人的エラーは、特に、異なる実験を行うために頻繁に再構成されるシステムの場合、および特定の場所に置かれる必要がある複数のタイプのコンポーネントに関係するプロセスの場合に共通する。よって、人的準備エラーは、頻繁に、自動化された生体試料分析プロセスを失敗させる。

【0004】

いくつかの技術が、この人的エラー問題に対処するために用いられてきた。例えば、異なるコンポーネントがステージングエリアに置かれるべき場所を操作者に示すために、グリッド類の図示および仮想表現が用いられる。しかし、そのようなツールをもってしても操作者が実世界の環境へ図示を関連させることは困難であるため、操作者は誤りをし続ける。例えば、操作者は、同様のパターンでコンポーネントを置き得るが、各々のコンポーネントが、誤って１つの場所だけ横へずれる。加えて、ステーションからステーションへ動くスキャナが導入され、各々の要求されるコンポーネントがその適切な場所に準備されかつ置かれることを確実にするために、各々のステーションに置かれるコンポーネントのタイプを確認する。しかし、スキャニングプロセスは、全体のステージングエリアを効率的に確認するためには多くの時間がかかり過ぎることがある。よって、コンポーネントおよびデッキステージングエリアを準備する向上した方法に対するニーズが依然として存在する。

【0005】

さらに、いくつかのコンポーネントの代替となる変更が、いくつかの技術のために許容され得る。コンポーネントのための完全に自動化されたスキャニングまたは認識システムは、プロトコルの要求と異なるような許容される代替となるコンポーネントを識別し得る。これは、システムに、うまく走らされ得るプロトコルを無駄に中止させ得る。従って、デッキステージングエリア内のコンポーネントを準備または検証するための向上した方法には、人間が判断するところが存在する。

【0006】

本発明の実施形態は、これらの難題および他の難題に、個々にかつ集合的に対処する。

【発明の概要】

【課題を解決するための手段】

【0007】

（簡単な概要）
本発明のいくつかの実施形態は、画像化デバイスを処理システム内に統合する。画像化デバイスは、デッキまたは他のステージングエリアの画像を捕捉する。実験または他のプロセスが初めに構成されると、画像化デバイスは、正しく準備されたデッキの画像を捕捉し得る。その後で、操作者がプロセスの別の実行のためにデッキを準備しているときに、画像化デバイスは、別の画像を捕捉し得る。画像間の任意の差異を識別するために、第２の画像が第１の画像と比較され得る。差異は、デッキを準備する際の人的エラー（間違ったエリアに置かれた構成要素のパッケージ等）を示し得る。デッキの実世界画像は、操作者へ差異を強調するために修正され得、操作者は、デッキ上の強調された場所を検査して任意の必要な訂正をなすことに着手し得る。差異を強調する実世界画像は、操作者にとってより理解しやすく、結果として、操作者は、エラーをうまく訂正する高い可能性を有し得る。

【0008】

本発明の１つの実施形態は、画像化デバイスに、構造のデッキの第２の画像を捕捉させることを備える方法に関する。デッキは、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ個別のデッキ場所にある。方法はまた、第２の画像をコンピュータ機器内のメモリに記憶された第１の画像と比較することと、第２の画像と第１の画像との間の任意の差異が存在するかどうかを決定することと、機器上で走らされるプロセスの中断または失敗を引き起こし得る第２の画像と第１の画像との間の任意の差異のインジケーションを出力することとを含み得る。

【0009】

本発明の別の実施形態は、上述された方法を遂行するように構成されるシステムに関する。

【0010】

本発明のこれらの実施形態および他の実施形態は、図面を参照して以下でさらに詳細に説明される。
本発明は、例えば、以下の項目を提供する。
（項目１）
ａ）画像化デバイスに構造のデッキの第２の画像を捕捉させることであって、前記デッキは、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、ことと、
ｂ）前記画像化デバイスと通信するプロセッサが、前記第２の画像を、コンピュータ機器内のメモリに記憶された第１の画像と比較することと、
ｃ）前記プロセッサが、前記第２の画像と前記第１の画像との間の任意の差異が存在するかどうかを決定することと、
ｄ）前記プロセッサと通信する出力デバイスが、機器上で走らされるプロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の任意の差異のインジケーションを出力することと
を備える、方法。
（項目２）
前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備える、項目１に記載の方法。
（項目３）
任意の差異の前記インジケーションは、前記第２の画像および第１の画像内に異なるコンポーネントを有する少なくとも１つのデッキ場所を含む、項目２に記載の方法。
（項目４）
前記第２の画像と前記第１の画像との間の任意の差異が存在するかどうかを決定することは、前記第２の画像と前記第１の画像との間の第１の差異を決定することを含み、前記第１の差異は、前記複数の個別のデッキ場所からの第１の個別のデッキ場所と関連付けられ、任意の差異の前記インジケーションは、強調されたエリアを有する前記第２の画像の表現を含み、前記第１の個別のデッキ場所と関連付けられる前記強調されるエリアは、前記第２の画像と前記第１の画像との間の第１の差異と関連付けられる、項目１に記載の方法。
（項目５）
前記インジケーションは、前記機器上で走らされる前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間に差異が存在しないことを示す、項目１に記載の方法。
（項目６）
機器は、異なるプロセスが前記機器上で走らされ得るように、ユーザが前記複数の個別のデッキ場所に配置されるコンポーネントのタイプを構成することを可能とするようにプログラムされる、項目１に記載の方法。
（項目７）
前記コンポーネントは、実験器具を備え、前記画像化デバイスは、カメラを備える、項目１に記載の方法。
（項目８）
前記機器は、生体試料を分析する分析装置を含む、項目１に記載の方法。
（項目９）
前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備え、前記第１の画像は、
前記第２の画像を捕捉する前に、前記画像化デバイスによって前記第１の画像を捕捉することであって、前記デッキは、前記複数の個別のデッキ場所を備え、前記第１の複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、こと
によって形成された、項目１に記載の方法。
（項目１０）
前記第１の画像を捕捉する前に、前記機器が、前記プロセスを遂行するためのプロトコルを受信することと、
前記第１の画像を捕捉した後に、前記機器が、前記プロセスを遂行することと、
前記プロセスを遂行した後に、前記メモリ内に前記第１の画像を記憶することと
をさらに備える、項目９に記載の方法。
（項目１１）
前記複数の個別のデッキ場所のうちの１つを前記第２の画像内のピクセル範囲にマッピングすることをさらに備える、項目１に記載のシステム。
（項目１２）
プロセスを遂行するための機器と、
画像化デバイスと
プロセッサ、前記プロセッサに結合される出力デバイス、および前記プロセッサに結合される非一過性コンピュータ可読媒体を備えるコンピュータ機器であって、前記コンピュータ機器は、前記画像化デバイスおよび前記機器に動作可能に結合され、前記非一過性コンピュータ可読媒体は、方法を遂行するために前記プロセッサによって実行可能なコードを備える、コンピュータ機器と
を備えるシステムであって、前記方法は、
ａ）前記画像化デバイスに構造のデッキの第２の画像を捕捉させることであって、前記デッキは、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、ことと、
ｂ）前記プロセッサが、前記第２の画像を前記コンピュータ機器内のメモリに記憶された第１の画像と比較することと、
ｃ）前記プロセッサが、前記第２の画像と前記第１の画像との間の任意の差異が存在するかどうかを決定することと、
ｄ）前記出力デバイスに、前記機器によって遂行される前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の任意の差異のインジケーションを生み出させることと
を備える、システム。
（項目１３）
前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備える、項目１２に記載のシステム。
（項目１４）
前記構造の前記デッキであって、前記デッキは、前記複数の個別のデッキ場所を備え、任意の差異の前記インジケーションは、前記第２の画像および前記第１の画像内に異なるコンポーネントを有する少なくとも１つのデッキ場所を含む、デッキ
をさらに備える、項目１３に記載のシステム。
（項目１５）
前記第２の画像と前記第１の画像との間の任意の差異が存在するかどうかを決定することは、前記第２の画像と前記第１の画像との間の第１の差異を決定することを含み、前記第１の差異は、前記複数の個別のデッキ場所からの第１の個別のデッキ場所と関連付けられ、任意の差異の前記インジケーションは、強調されるエリアを有する前記第２の画像の表現を含み、前記強調されるエリアは、前記第２の画像と前記第１の画像との間の前記第１の差異と関連付けられる前記第１の個別のデッキ場所と関連付けられる、項目１２に記載のシステム。
（項目１６）
前記インジケーションは、前記機器上で走らされる前記プロセスの中断または失敗を引き起こし得る前記第２の画像と前記第１の画像との間の差異が存在しないことを示す、項目１２に記載のシステム。
（項目１７）
機器は、異なるプロセスが前記機器上で走らされ得るように、ユーザが前記複数の個別のデッキ場所に配置されるべきコンポーネントのタイプを構成することを可能とするようにプログラムされる、項目１２に記載のシステム。
（項目１８）
前記コンポーネントは、実験器具を備え、前記機器は、生体試料を分析する分析装置を含み、前記画像化デバイスは、カメラを備える、項目１２に記載のシステム。
（項目１９）
前記複数の異なるコンポーネントは、第２の複数の異なるコンポーネントであり、前記第１の画像は、第１の複数の異なるコンポーネントを備え、前記第１の画像は、
前記第２の画像を捕捉する前に、前記画像化デバイスが、前記第１の画像を捕捉することであって、前記デッキは、前記複数の個別のデッキ場所を備え、前記第１の複数の異なるコンポーネントは、それぞれ前記個別のデッキ場所にある、こと
によって形成された、項目１２に記載のシステム。
（項目２０）
前記方法は、
前記第１の画像を捕捉する前に、前記機器が、前記プロセスを遂行するためのプロトコルを受信することと、
前記第１の画像を捕捉した後に、前記機器が、前記プロセスを遂行することと、
前記プロセスを遂行した後に、前記メモリ内に前記第１の画像を記憶することと
をさらに備える、項目１９に記載のシステム。

【図面の簡単な説明】

【0011】

（図面の簡単な説明）

【図1】図１は、本発明の実施形態による処理システムのブロック図を示す。

【0012】

【図2】図２は、本発明の実施形態によるデッキの図を示す。

【0013】

【図3】図３は、本発明の実施形態によるデッキ検証プロセスを図示するフローチャートを示す。

【0014】

【図4】図４は、本発明の実施形態によるデッキの例示的な基準画像を示す。

【0015】

【図5】図５は、本発明の実施形態による、基準画像と新たな画像との間の比較の例を示す。

【0016】

【図6A】図６Ａ－図６Ｂは、本発明の実施形態による、操作者へ利用可能であり得る異なるデッキ検証ビューの例を示す。

【図6B】図６Ａ－図６Ｂは、本発明の実施形態による、操作者へ利用可能であり得る異なるデッキ検証ビューの例を示す。

【発明を実施するための形態】

【0017】

（詳細な説明）
本発明の実施形態は、分析または他のプロセスのためにデッキまたはステージングエリアを準備するために用いられ得る。例えば、人間の操作者がデッキ上の異なる位置に異なるコンポーネントを置いた後、画像化デバイスは、準備されたデッキの画像を捕捉し得る。この画像は、デッキの正しい設定を示す別の画像と比較され得る。現在の画像と前の画像との間の差異が、強調されかつ操作者へ示され得る。操作者はそれから、実世界において、画像の強調されたエリアに対応するエリアを検査し、任意の必要な訂正をなし得る（例えば、正しくないコンポーネントを正しいコンポーネントと交換する）。

【0018】

画像は、素早く捕捉および分析され得、このことは、速い訂正プロセスを促進する。加えて、操作者は、実世界画像がデッキ図示よりも良いことを理解し得、従って、任意のエラーを素早くかつ効果的に訂正し得る。

【0019】

本発明の特定の実施形態の議論の前に、いくつかの用語が詳細に説明され得る。

【0020】

「コンポーネント」は、パーツか、ピースか、または要素を含み得る。コンポーネントは、生物実験または製造プロセス等の手技を完了するために用いられるツールおよび構成要素を含み得る。コンポーネントの例は、試料管、ピペットチップ、生体試料、試薬、化学物質、マイクロウェルプレート、ならびに任意の他の適切な材料もしくは実験器具等の、生物実験において用いられる備品を含む。コンポーネントは、時々、トレイまたは他の適切なパッケージ内に共にグルーピングされ得る。いくつかの実施形態では、特定のタイプのコンポーネントは、典型的には、独自に構成されたパッケージ内か、または特定のラベルによるパッケージ内に見出され得る。

【0021】

図１は、本発明の実施形態による処理システム１００の概略的なブロック図を示す。処理システム１００は、構造１４０、運搬デバイス１４１、処理機器１０１、および画像化デバイス１０７に動作可能に結合される制御コンピュータ１０８を備える。入力／出力インタフェースは、図示されるデバイスと任意の外部デバイスとの間のデータ送信を可能とするために、これらのデバイスの各々に存在し得る。例示的な処理システムは、Ｃａｌｉｆｏｒｎｉａ、ＢｒｅａのＢｅｃｋｍａｎ Ｃｏｕｌｔｅｒ，Ｉｎｃ．によって市場で売られているＢｉｏｍｅｋ ｉ７ Ａｕｔｏｍａｔｅｄ Ｗｏｒｋｓｔａｔｉｏｎである。

【0022】

本発明の実施形態は、コンポーネントがデッキ上に正しく配列されたか否かを決定するために、デッキを画像化することを含み得る。例示的な目的のために、処理システム１００は、主に、生体試料を処理および分析するための試料処理システムとして説明され得る。しかし、実施形態は、予め装填されたコンポーネントを有するデッキに関係する任意の適切なタイプのプロセスに適用し得る。

【0023】

構造１４０は、支持脚、電源、デッキ１０５、および任意の他の適切な特徴を含み得る。デッキ１０５は、物理的表面（例えば、平坦な物理的表面）を含み得、実験、分析、およびプロセスのために、コンポーネントが、その表面上に置かれかつアクセスされ得る。いくつかの例では、デッキ１０５は、床かまたはテーブル上の表面であり得る。デッキ１０５は、異なるコンポーネントを置くための複数の個別のデッキ場所へ小分けされ得る。場所は、直接隣接し得るか、または離間され得る。各々のデッキ場所は、ディバイダー、インサート、および／または、異なるデッキ場所を分離しコンポーネントを含有するための任意の他の支持構造を含み得る。例示的な目的のために、図１は、デッキ上の第１の場所１０５Ａ、第２の場所１０５Ｂ、および第３の場所１０５Ｃを示すが、追加の場所が含まれ得る。

【0024】

（複数の運搬デバイスを表し得る）運搬デバイス１４１は、デッキ１０５と処理機器１０１との間、および、デッキ１０５上の異なる場所の間で、コンポーネントを準備および／または運搬し得る。運搬デバイスの例は、コンベヤー、試料トラック、ピックアンドプレイスグリッパー、独立して動き得る実験室運搬要素（例えば、パック）、ロボットアーム、ならびに、機構を運ぶ他の管もしくはコンポーネントを含み得る。いくつかの実施形態では、運搬デバイス１４１は、液体を移すように構成されるピペットヘッドを含む。そのようなピペットヘッドは、取り外し可能なピペットチップ内の液体を移し得、マイクロウェルプレート等の他の実験器具を把持または解放するために適切なグリッパーを含み得る。

【0025】

処理機器１０１は、任意の適切なプロセスを実行するための任意の数の機械または器具を含み得る。例えば、処理機器１０１は、分析装置を含み得、分析装置は、生体試料等の試料を分析することが可能である任意の適切な器具を含み得る。分析装置の例は、分光光度計、照度計、質量分析計、免疫分析装置、血液分析装置、微生物分析装置、および／または分子生体分析装置を含む。いくつかの実施形態では、処理機器１０１は、試料ステージング機器を含み得る。試料ステージング機器は、生体試料を有する試料管を受容するための試料呈示ユニット、試料管または試料保有容器を一時的に貯蔵するための試料貯蔵ユニット、試料をアリコートするための手段（もしくはデバイス）（アリコーター等）、分析装置のために必要とされる試薬を備える少なくとも１つの試薬パックを保持するための手段、および任意の他の適切な特徴を含み得る。

【0026】

画像化デバイス１０７は、デッキ１０５およびデッキ１０５上（または構造１４０全体）の任意のコンポーネントの画像を捕捉するための任意の適切なデバイスであり得る。例えば、画像化デバイス１０７は、フォトカメラ、ビデオカメラ、３次元画像カメラ、赤外線カメラ等の任意の適切なタイプのカメラであり得る。いくつかの実施形態はまた、３次元レーザスキャナ、赤外線光デプスセンシングテクノロジ、または、物体および／もしくは部屋の３次元表面マップを作り出すための他のツールを含み得る。

【0027】

制御コンピュータ１０８は、処理システム１００上で走るプロセスを制御し得、初めにプロセスを構成し、コンポーネントの設定がプロセスのために正しく準備されたかどうかを確認する。制御コンピュータ１０８は、処理機器１０１、運搬デバイス１４１および／または画像化デバイス１０７へのメッセージを制御および／または送信し得る。制御コンピュータ１０８は、データプロセッサ１０８Ａ、データプロセッサ１０８Ａに結合される非一過性コンピュータ可読媒体１０８Ｂおよびデータストレージ１０８Ｃ、１または複数の入力デバイス１０８Ｄ、ならびに１または複数の出力デバイス１０８Ｅを備え得る。

【0028】

制御コンピュータ１０８は、図１に単一のエンティティとして描写されるが、制御コンピュータ１０８は、分散システムかまたはクラウドベースの環境に存在し得ることが理解される。加えて、実施形態は、制御コンピュータ１０８、処理機器１０１、運搬デバイス１４１、および／または画像化デバイス１０７のうちのいくつかまたは全てが、単一デバイス内の構成パーツとして組み合わされることを可能とする。

【0029】

出力デバイス１０８Ｅは、データを出力し得る任意の適切なデバイスを備え得る。出力デバイス１０８Ｅの例は、表示スクリーン、スピーカ、およびデータ送信デバイスを含み得る。

【0030】

入力デバイス１０８Ｄは、制御コンピュータ１０８内へデータを入力することが可能な任意の適切なデバイスを含み得る。入力デバイスの例は、ボタン（例えば、キーボードおよびマウス）、タッチスクリーン、タッチパッド、マイクロフォン等を含み得る。

【0031】

データプロセッサ１０８Ａは、任意の適切なデータ計算デバイスか、またはそのようなデバイスの組み合わせを含み得る。例示的なデータプロセッサは、所望の機能を達成するために共に機能する１または複数のマイクロプロセッサを備え得る。データプロセッサ１０８Ａは、ユーザ生成リクエスト、および／またはシステム生成リクエストを実行するためのプログラムコンポーネントを実行するために十分な少なくとも１つの高速データプロセッサを備えるＣＰＵを含み得る。ＣＰＵは、ＡＭＤのＡｔｈｌｏｎ、Ｄｕｒｏｎおよび／もしくはＯｐｔｅｒｏｎ、ＩＢＭおよび／もしくはＭｏｔｏｒｏｌａのＰｏｗｅｒＰＣ、ＩＢＭおよびＳｏｎｙのＣｅｌｌ ｐｒｏｃｅｓｓｏｒ、ＩｎｔｅｌのＣｅｌｅｒｏｎ、Ｉｔａｎｉｕｍ、Ｐｅｎｔｉｕｍ（登録商標）、Ｘｅｏｎおよび／もしくはＸＳｃａｌｅ、ならびに／または、同様のプロセッサ（単数または複数）等のマイクロプロセッサであり得る。

【0032】

コンピュータ可読媒体１０８Ｂおよびデータストレージ１０８Ｃは、電子データを記憶し得る任意の適切なデバイスまたは複数のデバイスであり得る。メモリの例は、１または複数のメモリチップ、ディスクドライブ等を備え得る。そのようなメモリは、任意の適切な電気的動作モード、光学的動作モード、および／または磁気的動作モードを用いて動作し得る。

【0033】

コンピュータ可読媒体１０８Ｂは、任意の適切な方法を遂行するために、データプロセッサ１０８Ａによって実行可能なコードを備え得る。例えば、コンピュータ可読媒体１０８Ｂは、画像化デバイスに、構造のデッキの第２の画像を捕捉させることであって、デッキは、複数の個別のデッキ場所を備え、複数の異なるコンポーネントは、それぞれ個別のデッキ場所内にある、ことと、第２の画像をコンピュータ機器内のメモリに記憶された第１の画像と比較することと、第２の画像と第１の画像との間に任意の差異が存在するかどうかを決定することと、機器上で走るプロセスの中断または失敗を引き起こし得る第２の画像と第１の画像との間の任意の差異のインジケーションを出力することとを含む方法を、処理システム１００に遂行させるための、プロセッサ１０８Ａによって実行可能なコードを備え得る。

【0034】

コンピュータ可読媒体１０８Ｂは、１または複数のプロトコル（例えば、生体試料を分析するためのプロトコル）のためのプロセスステップを受信および記憶するための、かつ、１または複数のプロトコルのためのプロセスステップを実行するように構造１４０、運搬デバイス１４１、および／または処理機器１０１を制御するための、データプロセッサ１０８Ａによって実行可能なコードを備え得る。コンピュータ可読媒体１０８Ｂはまた、処理機器１０１から結果（例えば、生体試料を分析することからの結果）を受信するために、かつ、結果を転送するかもしくは追加の分析（例えば、患者を診断する）のために結果を用いるために、データプロセッサ１０８Ａによって実行可能なコードを含み得る。加えて、コンピュータ可読媒体１０８Ｂは、デッキの２つの画像を比較し、２つの画像の間の差異を識別し、かつ差異を示した画像をユーザへ表示するために、データプロセッサ１０８Ａによって実行可能なコードを備え得る。

【0035】

データストレージコンポーネント１０８Ｃは、制御コンピュータ１０８の内部かまたは外部にあり得る。データストレージコンポーネント１０８Ｃは、１または複数のメモリチップ、ディスクドライブ等を含む１または複数のメモリを含み得る。データストレージコンポーネント１０８Ｃはまた、Ｏｒａｃｌｅ^ＴＭか、またはＳｙｂａｓｅ^ＴＭから商業的に利用可能なもの等の、従来的で、フォールトトレラントで、関係型で、スケーラブルで安全なデータベースを含み得る。いくつかの実施形態では、データストレージ１０８Ｃは、プロトコル１０８Ｆおよび画像１０８Ｇを記憶し得る。

【0036】

データストレージコンポーネント１０８Ｃ内のプロトコル１０８Ｆは、１または複数のプロトコルについての情報を含み得る。プロトコルは、完了すべき１または複数の処理ステップについての情報、プロセス中で用いられるコンポーネントについての情報、コンポーネント場所レイアウトについての情報、および／またはプロセスを完了するための任意の適切な情報を含み得る。例えば、プロトコルは、生体試料を分析するための１または複数の順序付けられたステップを含み得る。プロトコルはまた、プロセスを始める前にコンポーネントのリストを準備するためのステップを含み得る。コンポーネントは、デッキ１０５上の特定の場所にマッピングされ得、そこで、運搬デバイス１４１は、処理機器１０１へコンポーネントを運搬するために、コンポーネントを取得し得る。このマッピングは、運搬デバイス１４１を動作させるための命令としてコード化され得、マッピングはまた、ユーザがデッキ１０５上にコンポーネントを置き得るように、ユーザへ示される仮想画像によって表され得る。実施形態は、処理システム１００が複数のプロセス（例えば、複数の異なる生体分析）のために用いられることを可能とする。よって、複数のプロトコル１０８Ｆについての情報は、必要とされるときに記憶し引き出され得る。第１のプロセスから第２のプロセスへ変化するときか、または第１のプロセスを再開するときに、デッキ１０５上のコンポーネントが、再配列され、変化され、かつ／または、必要ならば補充され得る。

【0037】

画像は、１または複数の物体の描写を含み得る。例として、画像は、デジタルのピクチャまたは写真、ビデオ、３次元のピクチャおよびビデオ、カラーフォト、白黒フォト、高ダイナミックレンジ画像（例えば、異なる露光量で撮影された同一の対象の複数の画像を組み合わせること）等を含み得る。データストレージ１０８Ｃ内の画像１０８Ｇは、デッキ１０５の実世界の仮想表現を含み得る。各々の画像では、デッキ１０５は、特定のプロセスを開始するために用意のできた状態で示され得、全ての必要なコンポーネントが、それらの適切な場所に置かれる。画像１０８Ｇの各々は、記憶されたプロトコル１０８Ｆからの特定のプロトコルと関連付けられ得る。いくつかの実施形態では、特定のプロトコルのための単一の画像が存在し得る。他の実施形態では、特定のプロトコルのための（例えば、異なる角度からか、異なる照明レベルか、または許容される実験器具の代替品をいくつかの場所において含有する）複数の画像が存在し得る。画像１０８Ｇは、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＢＭＰ、ＰＮＧ、および／もしくはＲＡＷ画像ファイルを含む種々のタイプまたは形式の画像ファイル、ならびに、ＡＶＩ、ＷＭＶ、ＭＯＶ、ＭＰ４および／もしくはＦＬＶビデオファイルとして記憶され得る。

【0038】

上述されたように、デッキ１０５は、異なるコンポーネントをステージングするための複数の個別のデッキ場所に小分けされ得る。個別の場所は、任意の適切なサイズであり得る。複数の場所を有するデッキ１０５の例が、図２に示される。図２におけるデッキ１０５は、Ｐ１からＰ３０、ならびに、ＴＬ１からＴＬ５、ＴＲ１、および洗浄ステーションで番号付けされた分離したエリアを示し、それらの各々は、分離したタイプのコンポーネントかまたは分離したパッケージのコンポーネントのための分離した場所として動作し得る。図２における分離したエリアの番号のいくつかは、上にあるコンポーネントによって覆い隠されている。これらの場所は、見える番号付けされた分離したエリアと関連付けられる番号に連続した番号で識別され得る。実施形態は、デッキ１０５が、所望されるように、追加の場所またはより少ない場所を有することを可能とする。これらの場所が番号付けされるかまたは名付けられ得る一方で、それらは、実世界においてデッキ１０５上に物理的にラベル付けされるかまたはマークを付けられてもよいし、そうでなくてもよい。

【0039】

実施形態は、場所のうちのいくつかまたは全てが、特定のプロトコルに従って、予め定義されたタイプのコンポーネントによって占められることを可能とする。例として、図２は、場所Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ１６、Ｐ２３、Ｐ２４、ＴＬ４、およびＴＬ５の各々が第１のプロトコルによって特定されるようにパッケージのコンポーネントを装填されていることを示す。場所のうちのいくつかは、同一のタイプのコンポーネントを含み得る。例えば、場所Ｐ２、Ｐ３、およびＰ４は全て、ＢＣ２３０でラベル付けされたコンポーネントタイプを含み、これは、特定のタイプの試験管、マイクロウェルプレート、ピペットチップ、または任意の他の適切な実験器具コンポーネントを表し得る。

【0040】

いくつかの実施形態では、１または複数の場所は、物理的には構造１４０またはデッキ１０５の一部でない場合があるが、その代わりに、床か、または構造１４０および／もしくはデッキ１０５に隣接する別の表面であり得る。これらの場所は、運搬デバイス１４１によって依然としてアクセスされ得るため、これらの場所が含まれ得る。例えば、場所ＴＬ１からＴＬ５、ＴＲ１、および／または洗浄ステーションは、構造１４０および／またはデッキ１０５から物理的に分離され得る。

【0041】

図３は、本発明の実施形態によるデッキ検証プロセスを図示する概略的なフローチャートを示す。

【0042】

ステップ３０２において、新たなプロトコル（例えば、第１のプロトコルと称される）の構成中、操作者は、デッキ上のコンポーネントの第１セットのレイアウトを物理的に構成し得る。例えば、操作者は、１または複数の第１の場所内の第１のタイプのコンポーネント（例えば、ピペットチップ等の実験器具）をどこに置くか、１または複数の第２の場所内の第２のタイプのコンポーネント（例えば、試料管等の実験器具）をどこに置くか等を決定し得る。例えば、処理機器およびデッキが、複数のプロセスを実行するために用いられ得、処理機器、運搬デバイス、および／または制御コンピュータは、機器上で異なるプロセスが走り得るように、ユーザが、複数の個別のデッキ場所に配置されるコンポーネントのタイプを構成することを可能とするようにプログラムされ得る。

【0043】

ステップ３０４において、操作者は、コンポーネントの確立された場所構成に基づいて、第１のプロトコルをプログラムし得る。例えば、制御コンピュータ（および／または処理機器）は、操作者から特定の場所についての情報を受信し、その場所において、異なるタイプのコンポーネントが第１のプロセス中の使用のために置かれる。これは、ユーザがコンポーネントの表現を特定の場所内へドラッグおよびドロップすることを可能とするメニューを用いてなされ得る。操作者はまた、第１のプロセスのステップ（例えば、特定のタイプの生体試料分析を遂行するために必要とされるステップ）、および、コンポーネントが第１のプロセス中で用いられる態様をプログラムし得る。実施形態は、このプロトコルプログラミングのステップが、第１の画像がステップ３０６において捕捉される前かまたはその後のいずれかで行うことを可能とする。

【0044】

ステップ３０６において、制御コンピュータは、画像化デバイス（例えば、カメラ）に、構造のデッキの第１の画像を捕捉させ得る。画像は、静止カメラ位置から撮影され、後の基準として用いられ得る。画像は、デッキがコンポーネントを完全に装填されたとき、およびステップ３０８で遂行される第１のプロセスがまだ始まっていない（例えば、コンポーネントは未だ用いられていないか、動かされていないか、または別様に分散されていない）ときに捕捉され得る。従って、画像は、複数の個別のデッキ場所、およびそれぞれ個別のデッキ場所にある第１の複数の異なるコンポーネントを捕捉し得る。

【0045】

ステップ３０８において、制御コンピュータは、第１のプロトコルによって定義されるような第１のプロセスを実行し得る。例えば、運搬デバイスは、デッキから、第１のプロセスによる処理機器の１または複数の器具へ、コンポーネントを運搬し得、処理機器は、第１のプロセスを遂行するためにコンポーネントを操作し、制御コンピュータへいずれの結果も返信し得る。例えば、処理機器は、分析装置であり得、第１のプロセスは、生体試料の分析を含み得る。ステップ３０８は、ステップ３０６の後に生じ得、それによって、画像は、プロセスが始まる前に現れるデッキ構成を反映する。

【0046】

ステップ３１０において、制御コンピュータは、デッキの第１の画像を、（例えば、データストレージか、または他のメモリに）記憶し得る。第１の画像は、第１プロトコルと関連付けられて記憶され、第１のプロセスの将来の実行のための基準画像として用いられ得る。いくつかの実施形態では、第１のプロセスがうまく完了した場合に、操作者および／または制御コンピュータは、ステップ３０８の後に第１の画像を記憶することを決定し得る。第１のプロセスがうまく完了されない場合は、うまくいかなかった第１のプロセスで用いられた第１の画像が放棄され得、デッキ上のコンポーネントのレイアウトが再構成され得、かつ／または第１のプロセスが調節されて、別の第１の画像が捕捉され得る。第１のプロセスがうまく完了されると、第１プロトコルは、うまくいった第１プロトコルに対応する捕捉された第１の画像と共にデータストレージメモリ内に保存され得る。

【0047】

その後、ステップ３１２において、制御コンピュータは、第１プロトコルの選択を受信し得る。例えば、出力デバイスは、種々のプロトコルの間で選択するために、操作者のための選択ウィンドウを提供し得、操作者は、第１プロセスを走らせるために、（例えば、入力デバイスを介して）第１プロトコルを選択し得る。このステップは、異なるプロセスが処理システム上で走らされた後に起こり得る。

【0048】

ステップ３１４において、制御コンピュータは、選択された第１プロトコルによって特定されるような第１のプロトコルのデッキ構成を、出力デバイスを介して表示し得る。表示は、デッキの仮想表現、異なるデッキ場所、および各々の場所に置かれるコンポーネントを含み得る。例えば、表示は、図２と同様であり得る。いくつかの実施形態では、制御コンピュータはまた、記憶された画像を、システムの準備の仕方を操作者に指示するための任意の他の適切なタイプの情報と共に表示し得る。

【0049】

ステップ３１６において、操作者か、または操作者の制御下にある機械は、デッキ上にコンポーネントの第２のセットを物理的に置き得る。操作者は、プロトコル命令および表示されたコンポーネント図を、特定の場所に特定のタイプのコンポーネントを置くためのガイドとして用い得る。操作者がコンポーネントを正しく置く場合、場所の各々は、プロトコルの初期構成中に（例えば、ステップ３０２において）以前にステージングされたものと同一のタイプのコンポーネントを有する。

【0050】

ステップ３１８において、制御コンピュータは、画像化デバイスに、構造のデッキの第２の画像を捕捉させ得る。いくつかの実施形態では、操作者がコンポーネントの第２のセットを置き終えた後に、かつプロセスが実行される前に、デッキの第２の画像が捕捉される。従って、第２の画像は、複数の個別のデッキ場所およびそれぞれ個別のデッキ場所にある第２の複数の異なるコンポーネントを捕捉し得る。第２の画像は、第１の画像と同一のカメラで、同一の位置および角度から撮影され、かつ／または別様に同一の態様で撮影され得る。結果として、第２の画像および第１の画像は、差異を識別するために比較され得る。いくつかの場合では、異なる角度または視野からの複数の画像が撮影され得る。

【0051】

ステップ３２０において、制御コンピュータは、第１プロトコルの選択に基づいて、データストレージ（または他のメモリ）から、記憶された第１の画像を引き出し得る。

【0052】

ステップ３２２において、制御コンピュータは、任意の関連する差異を識別するために、第１の画像を第２の画像と比較し得る。例えば、制御コンピュータは、デッキ上の各々の場所について、第２の画像に示されるコンポーネントが第１の画像に示されるコンポーネントと異なるかどうかを識別し得る。いくつかの実施形態では、制御コンピュータは、色、形、コンポーネントラベル、または任意の他の適切なインジケータにおける差異を識別するために、各々の画像内のピクセルまたは物体を分析し得る。これらの差異は、第２の画像内の正しくないコンポーネントを表示し得る。いくつかの実施形態では、制御コンピュータは、画像の特徴（例えば、色、形等）に基づいて、各々の画像内の実際のタイプのコンポーネントを決定し、コンポーネントが同一かまたは異なっているかを決定し得る、画像比較に関する追加の詳細は、図５に関して以下で議論される。

【0053】

ステップ３２４において、制御コンピュータは、画像比較に基づいて、第１の画像と第２の画像との間に任意の差異（例えば、１または複数の差異）が存在するかどうかを決定する。加えて、制御コンピュータは、いずれかの場所が、（例えばカメラの位置および角度のせいで）画像内に見えないかどうかを決定し得る。

【0054】

いくつかの実施形態では、画像間に差異が存在するか否かは、類似度の閾値に基づき得る。例えば、２つの画像の部分が９８％類似する場合、これは、有意な差異が存在しないことを制御コンピュータが結論付けるのに十分であり得る。

【0055】

ステップ３２６において、制御コンピュータは、任意の決定された差異のインジケーションを、（例えば、出力デバイスを介して）操作者へ表示するかまたは別様に出力し得る。プロセス機器が訂正なく走ることを可能とされる場合には、そのような差異は、プロセスの中断または失敗を引き起こし得る。出力は、第１の画像および／または第２の画像、ならびに画像上の差異インジケータを含み得る。例えば、疑わしいコンポーネントおよび場所が、強調されるか、円で囲まれるか、または別様に操作者のために特定され得る。インジケータは、例えば、第２の画像および第１の画像において異なるコンポーネントを有するデッキ場所を、操作者に示し得る。出力はまた、ステップ３１４からの仮想表現を含み得る。

【0056】

差異が見出されない場合、方法は、プロセスが遂行されるステップ３３０へ続き得る。例えば、出力は、機器上で走るプロセスの中断または失敗を引き起こし得る第２の画像と第１の画像との間の差異が存在しないことを示し得、それから、操作者が第１のプロセスの実行を開始し得る。

【0057】

ステップ３２８において、操作者は、表示された差異に基づいて１または複数のコンポーネント構成エラーを物理的に訂正し得る。実世界画像は、仮想表現よりも人にとって容易に理解され得るため、強調された差異と共に第１およびまたは第２の画像をユーザへ表示することは、より良い操作者応答を促進し得る。画像内の差異の全ては、訂正を要求しない場合がある。例えば、正しいタイプのコンポーネントが用いられ得たが、それが異なる色（プロセスに影響を及ぼさない場合がある）を有するため、それが目印を付けられ得る。よって、操作者は、１または複数の訂正をなし得る（例えば、特定の場所にある特定のコンポーネントを交換する）が、画像に示される差異のある場所の全てについては、コンポーネントを変化させない場合がある。

【0058】

ステップ３３０において、処理システムは、デッキ上に置かれた第２のコンポーネントを用いて第１のプロセスを遂行し得る。画像比較が、操作者が任意の準備エラーを識別および訂正することを可能とする場合、プロセスは、うまく完了され得る。

【0059】

実施形態は、デッキ設定が、第１のプロセスおよび／または代替となるプロセスが各々連続して走る前に検証されることを可能とする。例えば、ステップ３１２－３３０は、第１のプロセスが実行される各々の時間で繰り返され得る。

【0060】

ステップ３０６に関して説明されたように、画像化デバイスは、後の画像と比較するための基準として用いられるためのデッキの第１の画像を捕捉および記憶し得る。本発明の実施形態によるそのような基準画像４１０の例が、図４に示される。基準画像４１０は、コンポーネントのビューを最適化する視点か、または画像化デバイスが妨げられる可能性が最も低い位置から等の、任意の適切な視点から撮影され得る。基準画像４１０は、（例えば、カメラの角度、位置、および視野に依存して）いくつかのデッキ場所か、または全てのデッキ場所を含み得る。いくつかの場所が、コンポーネントかまたは他の障害物によってビューから隠され得ることがあり得る。いくつかの実施形態では、全ての場所およびコンポーネントを示すために、複数の基準画像が、複数の視点から撮影され得る。加えて、複数の画像は、より包括的な視点で１つのより大きい画像を作り出すように共に組み合され得る。

【0061】

基準画像４１０に示されるコンポーネントは、サイズ、形状、色（例えば、ピペットチップのラックの色）、ウェル密度、積み重ねられたプレートの数（例えば、１つの場所は、ピペットチップの３つの積み重ねられたトレイを含み（ｉｎｃｌｕｅ）得る）、および／または、コンポーネントもしくはコンポーネントの容器の任意の他の適切な物理的特徴に基づいて区別され得る。加えて、コンポーネントの容器は、ラベルか、バーコードか、または他の識別可能な特徴を含み得る。

【0062】

基準画像４１０は、実世界画像であり得るため、基準画像４１０は、コンポーネントおよびデッキとは別の物体を含み得る。例えば、画像の背景は、画像内に存在し得る他の実験室の装備、道、影、および人員等を含み得る。いくつかの実施形態では、そのような追加情報は、比較プロセス中、制御コンピュータによって隠されるかまたは別様に黙殺され得る。これは、制御コンピュータが、基準画像４１０を次の画像と比較するときに、背景にある関連性のない差異を見出しかつ表示することを避け得る。

【0063】

図５は、本発明の実施形態による、第１の画像５１０（例えば、基準画像）と第２の画像５２０（例えば、新たな画像）との間の比較の例を示す。ユーザへ示される表示（例えば、ステップ３２６に関して上で説明されたようなもの）は、これらの画像の一方かまたは両方を含み得る。

【0064】

図５に示されるように、１または複数の場所は、第１の画像５１０および／または第２の画像５２０に示され得る。場所は、第１の画像５１０と第２の画像５２０とで異なる内容を含むため、その場所が示され得る。例えば、第１の画像５１０と第２の画像５２０との間の第１の差異５３１は、そのデッキ場所が、２つの画像において同一の外観を有していないため、示され得る。同様にして、第２の差異５３２、第３の差異５３３、および任意の他の適切な数の差異が示され得る。

【0065】

図５では、差異は、デッキ場所上に長方形の枠を重ね合わせることによって示される。実施形態は、強調、矢印、色付け、増加した明るさ、場所のリスト、および／または任意の他の適切なインジケーション等の代替となるインジケーションが用いられ得ることを可能とする。いくつかの実施形態では、第２の画像５２０は、部分的に透明で作製され、それから第１の画像５１０の上に重ね合わせられ得、それによって、画像の不一致部分は、共に混ざることなく、従って閲覧者へ可視的に明らかとなる。さらに、第１の画像５１０および第２の画像５２０がこの態様で同一空間に示されるとき、いずれの画像がどのくらい強く示されるかを調節するために、スライダーツールが用いられ得る。例えば、左へスライドすることは、第１の画像５１０がより鮮明に示され第２の画像５２０がより透明になることを引き起こし得る一方で、右にスライドすることは、第２の画像５２０がより鮮明に示され第１の画像５１０がより透明になることを引き起こし得る。

【0066】

いくつかの実施形態では、示される差異のいくつかかまたは全てが、デッキ設定に関する問題（例えば、場所に正しくないコンポーネント置かれること、コンポーネント場所が不十分であること、コンポーネントが存在すべき場所にコンポーネントがないこと、正しくないタイプのコンポーネントが場所にあること等）を示し得、デッキ設定が訂正されない場合、問題はプロセスの中断または失敗を引き起こし得る。実施形態はまた、差異が問題を引き起こし得るか否かを決定することなく、制御コンピュータが画像の差異を識別することを可能とする。例えば、差異は、操作者が検査をするように助言されるようなあり得る問題を表し得る（例えば、コンポーネントパッケージが異なる色を有し、それが間違ったタイプのコンポーネントを表示する場合とそうでない場合とがある）。加えて、画像に見えないデッキ場所等の差異とは別の懸念が識別され得る。

【0067】

制御コンピュータはまた、図２に示される表示等のプロトコルのデッキ構成の仮想表現を同時に出力し得る。これは、追加の視点を操作者に提供し得、示された場所に割り当てられるコンポーネントのタイプを識別することにおいて操作者を支援し得る。制御コンピュータは、あり得るエラーに関連する詳細なリストをさらに提供し得、そのリストは、あり得るエラーの場所、およびあり得るエラーの診断につながることについての情報（例えば、予期せぬ色または形状）を記述する。

【0068】

いくつかの実施形態では、制御コンピュータは、デッキおよび／またはコンポーネントを含む画像の一部のみを比較し得、制御コンピュータは、画像の他の部分（例えば、背景、道の周辺等）を無視する。加えて、第１の画像５１０および／または第２の画像５２０の関連しない部分は、消されるか、真っ暗にされるか、影にされるか、隠されるか、または、操作者の注意が関連する部分（例えば、デッキおよびコンポーネント）からそらされないように別様に不明瞭にされ得る。これは、図５における画像の本質的でない周辺エリアが、図４に示される元の基準画像に比較してあいまいにされるように、図において示される。

【0069】

第１の画像５１０と第２の画像５２０との間の差異を決定するときに、制御コンピュータは、任意の適切な画像比較技術および任意の適切な画像比較ソフトウェアを用い得る。一例では、制御コンピュータは、両方の画像において各ピクセルに割り当てられる色の値を比較し、異なる値を識別し得る。画像における差異は、単一のピクセルが異なることか、または隣接するピクセルの全ての集合（例えば、１０、２０、または１００）が異なることによってトリガされ得る。

【0070】

いくつかの実施形態では、ピクセルの小さな集合を比較することの代わりに、制御コンピュータは、各々のデッキ場所および／または（例えば、コンポーネントパッケージの周辺の輪郭に基づいて）画像内のコンポーネントパッケージを識別し得、場所またはコンポーネントパッケージが２つの画像間で異なって示されているかどうかを決定し得る。識別可能な差異は、パッケージカラー、パッケージ形状、コンポーネントのラベルもしくはバーコード、ウェル密度、積み重なったプレートの数、ウェル形状、実験器具が蓋をされているかどうか、または任意の他の視覚的に識別可能な差異を含み得る。色等のいくつかの差異は、正しくないコンポーネントを表示し得るか、または異なるパッケージカラーを有する同一のコンポーネントの結果であり得る。どちらにせよ、操作者が、訂正が必要かどうかを決定し得るように、差異が操作者へ指摘され得る。

【0071】

いくつかの実施形態では、制御コンピュータは、特定の範囲のピクセルをデッキ場所へマッピングし得る。例えば、制御コンピュータは、個別のデッキ場所のうちの１つを、第１の画像または第２の画像内のピクセル範囲へマッピングし得る。従って、制御コンピュータは、どの場所（例えば、場所Ｐ１４）が第２の画像５２０内で識別される差異と関連付けられるかを決定し得る。これは、疑いのある場所を識別することにおいて操作者を支援するために、制御コンピュータが場所番号で差異をラベル付けすることを可能とする。

【0072】

制御コンピュータは、画像を分析することと、どのタイプのコンポーネントが各々の場所に示されるかを決定することとが可能であり得る。結果として、制御コンピュータは、場所が、例えば第１の画像５１０において試験管を含んでいるが、同一の場所が、第２の画像５２０においてはピペットチップを含んでいるかどうかを識別し得る。

【0073】

例として、第１の差異５３１は、いずれの画像においても見えないデッキ場所を表し得、第２の差異５３２は、第２の画像５２０において異なる色または異なるコンポーネントタイプを有するコンポーネントパッケージを表し得、第３の差異５３３は、第２の画像５２０において正しくなく空であるデッキ場所を表し得る。

【0074】

いくつかの実施形態では、コンポーネントの外観における特定の差異は、無視され得る。例えば、液体の色は、プロセスランからプロセスランへ変化するため、識別されることが所望されない場合、制御コンピュータは、液体の色（例えば、ウェル、管、またはリザーバ内の流体）における差異を報告しない場合がある。同様に、液体の量における差異が黙殺され得、手書き情報における差異が黙殺され得、どんなプロセスイシューも引き起こすことがない任意の他の適切な違いが黙殺され得る。

【0075】

いくつかの実施形態では、例えば操作者によって命令される場合には、制御コンピュータは、第１の画像５１０を放棄して、新たな基準として第２の画像５２０を用いることが可能であり得る。代替として、操作者は、（例えば、第１の画像５１０を放棄する代わりに）第１の画像５１０に加えて、許容されるデッキの別の基準として第２の画像５２０を加えることを選び得る。加えて、操作者は、デッキにいずれの変化もなすことなく、現在の設定を許容し、かつプロセスを進めるように、制御コンピュータに命令することが可能であり得る。

【0076】

図６Ａ－図６Ｂは、本発明の実施形態による、操作者へ利用可能であり得る異なるデッキ検証ビューの例を示す。制御コンピュータは、画像の差異および／またはデッキ設定エラーを異なる態様で操作者へ示す複数の表示を出力し得る。操作者は、これらの差異表示の間をトグルで切り替えることが可能であり得る。

【0077】

図６Ａは、第１の実画像６１０および第２の実画像６２０を含み得る第１の表示を示す。図５と同様に、第１の実画像６１０は、プロセスの初期構成中に撮影される（例えば、カメラで撮影される）デッキの実画像であり得る。第２の実画像６２０は、プロセスの次の実行のために後でデッキを準備するときに撮影される（例えば、カメラで撮影される）デッキの別の実画像であり得る。

【0078】

図６Ｂは、第１の実画像６１０を第１の仮想画像６３０と取り替える第２の表示を示す。第１の仮想画像は、どのタイプのコンポーネントが各々の場所に割り当てられるかを実証するデッキの非現実図形描写を含み得る。例えば、第１の実画像６１０は、デッキの上面図の仮想表現であり得る。実施形態は、第１の仮想画像６３０が、（例えば、画像差異に基づいて）エラーを含み得るデッキ場所のインジケーション（例えば、強調）を含むことを可能とする。

【0079】

結果として、操作者は、正しいデッキ構成の実画像（例えば、第１の実画像６１０）を閲覧することと、正しいデッキ構成の仮想表現（例えば、第１の仮想画像６３０）を閲覧することとの間でスイッチし得る。操作者は、これらの選択肢の間を（例えば、タイプトグルボタン６４０を用いて）トグルで切り替え得る一方で、出力デバイスは、現在のデッキ設定の実画像（例えば、第２の実画像６２０）を継続して表示し得る。これらの差異画像は、デッキの複数の視点および描写、ならびに正しいデッキ設定と現在のデッキ設定との間の複数の比較を、操作者に提供し得、それによって、操作者は、デッキがどう見えるか、および、まさにどのデッキ場所が訂正される必要があり得るかをより良く理解し得る。

【0080】

加えて、実施形態は、操作者が、他の態様で表示を操作することを可能とする。例えば、操作者は、デッキの異なる視点を有する異なる画像化デバイスによって捕捉される異なる実画像間でスイッチし得る。これは、左のカメラからの画像と右のカメラからの画像との間でスイッチし得る視点トグルボタン６５０で示される。別の例として、操作者は、特定の画像上へズームインおよびズームアウトし、かつフルカメラビューにリセットすることが可能であり得る。

【0081】

第１の実画像６１０と第１の仮想画像６３０との間で第１の表示エリアをトグルすることに加えて、出力は、第２の実画像６２０と第１の実画像６１０との間で第２の表示エリアをスイッチするように構成され得る。結果として、操作者は、同一の空間で、現在のデッキ設定と正しいデッキ設定との間でスイッチすることが可能であり得る。この態様でトグルするとき、正しく構成されたエリアは、同一に見えることがあり、正しくなく準備された場所が変化し得る。画像間でスイッチするときに変化する表示エリアは、閲覧者に明らかであり得る。

【0082】

加えて、いくつかの実施形態では、ユーザが、強調されたデッキ場所（またはリストされた通知）を選択するか、またはその上にマウスポインタを動かすと、出力デバイスは、その場所について期待されるタイプのコンポーネント等の、その場所に関する追加情報を表示し得る。さらに、表示が通知のリスト（例えば、画像差異またはエラー）を含み得、操作者が通知リスト内のエントリを選択する場合、（例えば、デッキ場所上をズームインすること、および／または最適なカメラ視点を選ぶことによって）画像は、通知に関連付けられる場所に焦点を当てるように修正され得る。

【0083】

本発明の実施形態は、多数の利点を提供する。例えば、有利なことに、実施形態は、デッキ構造上のコンポーネントの準備に関するエラーを識別および訂正するための直感的かつ理解可能なツールを、ユーザ／操作者に提供する。人間は、しばしば、記された命令、英数字の部品番号、物理的空間およびグリッドの仮想表現、および、プロセスを実行するための処理システムの準備の仕方を命令する他の典型的な情報源を理解することが困難である。結果として、人間の操作者は、コンポーネントを装填しかつ別様に処理システムを設定するときにしばしばエラーをし、これはプロセスが失敗するかまたは遅延することを引き起こす。本発明の実施形態は、画像化システムを統合し、異なる時間でデッキの画像を撮影し、かつ相違について画像を分析することによって、この問題を克服する。例えば、実施形態は、正しく準備されたシステムの実画像を撮影することと、その後でシステムが２回目のために準備されるときに別の実画像を撮影することと、それから画像間の差異を見出すこととを含む。これは、迅速かつ容易に見直されて理解され得る印付けされた写真を人間の操作者に提供し、それによって、操作者は高い成功率で差異を訂正することが可能となる。いずれのエラーも処理が始まる前に訂正され得るため、プロセスは高い成功率で、ならびに低い失敗率および低遅延で完了され得る。

【0084】

上の説明は、図示的であり、制約的ではない。本発明の多くの変更物が、本開示の再検討により当業者にとって明らかになるであろう。従って、本発明の範囲は、上の説明への参照によっては決定されず、その代わりに係属する請求項およびその全範囲、または同等物への参照によって決定されるべきである。

【0085】

任意の実施形態からの１または複数の特徴は、本発明の範囲から出ることなく、任意の他の実施形態の１または複数の特徴と組み合わされ得る。

【0086】

「ａ」、「ａｎ」、または「ｔｈｅ」という記載は、反対に特に示されない限りは、「１または複数」を意味することが意図される。

【0087】

すべての特許、特許出願、出版物、上述された説明は、参照によってそれら全体が本明細書中に援用される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】