特表 2023-540560 実験機器を識別するための方法及びデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-25

(54)【発明の名称】実験機器を識別するための方法及びデバイス

(51)【国際特許分類】

   G01N 35/02 20060101AFI20230915BHJP

   G06T 7/00 20170101ALI20230915BHJP

   G06V 20/62 20220101ALI20230915BHJP

   G06V 10/56 20220101ALI20230915BHJP

【ＦＩ】

G01N35/02 C

G06T7/00 C

G06V20/62

G06V10/56

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023515123

(86)(22)【出願日】2021-09-01

(85)【翻訳文提出日】2023-05-02

(86)【国際出願番号】 EP2021074106

(87)【国際公開番号】W WO2022053366

(87)【国際公開日】2022-03-17

(31)【優先権主張番号】20196058.0

(32)【優先日】2020-09-14

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】591121683

【氏名又は名称】エッペンドルフ エスイー

【氏名又は名称原語表記】Ｅｐｐｅｎｄｏｒｆ ＳＥ

【住所又は居所原語表記】Ｂａｒｋｈａｕｓｅｎｗｅｇ １， ２２３３９ Ｈａｍｂｕｒｇ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ピーターマン、アレクサンダー

(72)【発明者】

【氏名】ヘルウェグ、ルーカス ウルフ

【テーマコード（参考）】

2G058

5L096

【Ｆターム（参考）】

2G058GC02

2G058GC05

5L096FA02

5L096HA08

(57)【要約】

一態様において、発明は、実験器具品目（３１０、３２０、３３０、３４０、３５０）を識別するためのコンピュータ実装方法に関連し、実験器具品目（３１０、３２０、３３０、３４０、３５０）は、第１光学的特徴及び第２光学的特徴を含み、方法は、少なくとも第１光学記録デバイス（１５０）を有する実験器具品目の第１画像を取得する段階、第１画像は、第１光学的特徴の少なくとも一部を表示する；少なくとも第２光学記録デバイス（１６０）を有する実験器具品目（３１０、３２０、３３０、３４０、３５０）の第２画像を取得する段階、第２画像は、少なくとも第２光学的特徴の一部を表示する；及び、少なくとも第１識別アルゴリズムを使用することによって、第１画像における第１光学的特徴を識別する段階、それにより、第１識別データを取得し、第１識別データは、第１光学的特徴についての第１情報、及び、少なくとも更なる識別が必要であるかどうかを示す情報を符号化する、を備え、第１識別データにおいて符号化されている情報に従って、少なくとも更なる識別が必要ない場合、方法はさらに、少なくとも第１光学的特徴についての第１情報を使用することによって、実験器具品目を識別する段階を備え、第１識別データにおいて符号化されている情報に従って、少なくとも更なる識別が必要である場合、方法はさらに、少なくとも第２識別アルゴリズムを使用することによって、第２画像における第２光学的特徴を識別する段階、それにより、第２識別データを取得し、第２識別データは、第２光学的特徴についての情報を符号化する；及び、少なくとも、第２光学的特徴についての情報を使用することによって、実験器具品目（３１０、３２０、３３０、３４０、３５０）を識別する段階を備える。

【特許請求の範囲】

【請求項1】

実験器具品目を識別するためのコンピュータ実装方法であって、前記実験器具品目は、第１光学的特徴及び第２光学的特徴を含み、前記方法は、
少なくとも第１光学記録デバイスを用いて、前記実験器具品目の第１画像を取得する段階、前記第１画像は少なくとも前記第１光学的特徴の一部を表示する；
少なくとも第２光学記録デバイスを用いて、前記実験器具品目の第２画像を取得する段階、前記第２画像は、少なくとも前記第２光学的特徴の一部を表示する；及び、
少なくとも第１識別アルゴリズムを使用することによって、前記第１画像における前記第１光学的特徴を識別する段階、それにより、第１識別データを取得し、前記第１識別データは、前記第１光学的特徴についての第１情報、及び、少なくとも更なる識別が必要であるかどうかを示す情報を符号化する、
を備え、前記第１識別データにおいて符号化された前記情報に従って、前記少なくとも更なる識別が必要ない場合、前記方法はさらに、
少なくとも前記第１光学的特徴についての前記第１情報を使用することによって前記実験器具品目を識別する段階
を備え、前記第１識別データにおいて符号化される前記情報に従って、前記少なくとも更なる識別が必要である場合、前記方法はさらに、
少なくとも第２識別アルゴリズムを使用することによって前記第２画像における前記第２光学的特徴を識別する段階、それにより、第２識別データを取得し、前記第２識別データは、前記第２光学的特徴についての情報を符号化する；及び、
少なくとも前記第２光学的特徴についての前記情報を使用することによって、前記実験器具品目を識別する段階
を備える、方法。

【請求項2】

前記方法は、
作業デッキに対する前記実験器具品目の位置についての第１位置情報を使用することによって、前記第１画像における第１関心領域を決定する段階
を備え、前記第１識別アルゴリズムを使用することによって前記第１画像における前記第１光学的特徴を識別する前記段階は、前記第１関心領域を使用することによって実行され、及び／又は、
前記方法は、
前記作業デッキに対する前記実験器具品目の位置についての第２位置情報を使用することによって、前記第２画像における第２関心領域を決定する段階
を備え、前記第２識別アルゴリズムを使用することによって前記第２画像にける前記第２光学的特徴を識別する前記段階は、前記第２関心領域を使用することによって実行される、
請求項１に記載の方法。

【請求項3】

少なくとも位置決定アルゴリズムを使用することによって、作業デッキに対する前記実験器具品目の位置についての第３位置情報を取得する段階
をさらに備え、前記第１識別アルゴリズムは第１入力データを処理し、前記第１入力データは前記第３位置情報に依存し、及び／又は、前記方法は、
識別アルゴリズムの第１プールの中から前記第１識別アルゴリズムを選択する段階
を備え、前記第１識別アルゴリズムを選択する前記段階は、少なくとも前記第３位置情報に依存する、
請求項１又は２に記載の方法。

【請求項4】

前記第１光学記録デバイスは第１カメラであり、前記第１識別アルゴリズムは、少なくとも、前記第１カメラに関連する第１セットの内部較正パラメータに、及び／又は、少なくとも、前記第１カメラに関連する第１セットの外部較正パラメータに依存する、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第２光学記録デバイスは第２カメラであり、前記第２識別アルゴリズムは、少なくとも、前記第２カメラに関連する第２セットの内部較正パラメータに、及び／又は、少なくとも、前記第２カメラに関連する第２セットの外部較正パラメータに依存する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記第１識別データにおいて符号化された前記情報に従って、少なくとも更なる識別が必要である場合、前記方法はさらに、
識別アルゴリズムの第２プールの中から、前記第２識別アルゴリズムを選択する段階
を備え、前記第２識別アルゴリズムを選択する前記段階は、少なくとも、前記第１識別データにおいて符号化された前記情報に依存する、
請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記第２識別アルゴリズムは第２入力データを処理し、前記第２入力データは前記第１光学的特徴についての前記第１情報を符号化する、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記第２識別データは、少なくとも、更なる識別が必要であるかどうかを示す情報を符号化し、
前記第２識別データにおいて符号化された前記情報に従って、少なくとも更なる識別が必要である場合、前記方法はさらに、
少なくとも第３識別アルゴリズムを使用することによって、前記第１画像における前記第１光学的特徴を識別する段階、それにより、第３識別データを取得し、前記第３識別データは、前記第１光学的特徴についての第２情報を符号化する、
を含み、前記第２識別データにおいて符号化された前記情報に従って、少なくとも更なる識別が必要である場合、少なくとも前記第２光学的特徴についての前記情報を使用することによって、前記実験器具品目を識別する段階は、前記第１光学的特徴についての前記第２情報を使用することによって実行される、
請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記第３識別アルゴリズムは第３入力データを処理し、前記第３入力データは、前記第１光学的特徴についての前記第１情報、及び／又は、前記第２光学的特徴についての前記情報を符号化する、請求項８に記載の方法。

【請求項10】

前記第１光学的特徴及び／又は前記第２光学的特徴は、印、表意文字、ピクトグラム、英数字のセット、テクスチャパターン、孔パターン、及び／又は色を含む；及び／又は、
前記実験器具品目は、プレート、チップ、チューブ、リザーバ、チップボックス、高さアダプタ、リザーバラック、及び／又は、チューブラックを含む、
請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記第１識別データにおいて符号化された前記情報に従って、少なくとも更なる識別が必要である場合、少なくとも前記第２光学的特徴についての前記情報を使用することによって前記実験器具品目を識別する前記段階は、前記第１光学的特徴についての前記第１情報を使用することによって実行される、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

第１光学記録デバイス、第２光学記録デバイス、及び、請求項１から１１のいずれか一項に記載の方法を実行するように構成されている処理手段を備えるデータ処理システム。

【請求項13】

第１光学記録デバイス、第２光学記録デバイス、請求項１から１１のいずれか一項に記載の方法を実行するように構成されている処理手段、及び、実験器具品目を配置するための作業デッキを備える自動化実験室システム。

【請求項14】

システムに、請求項１から１１のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。

【請求項15】

システムによって実行されるとき、請求項１から１１のいずれか一項に記載の方法を前記システムに実行させる命令を備えるコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実験機器を識別するための方法及びデバイスに関する。特に、本発明は、自動化実験室システム（ＡＬＳ）、特に自動化ピペッティングシステムの作業デッキ上に位置する実験機器を識別するための方法に関する。本発明はまた、本発明の方法を実行するように構成されているＡＬＳ、例えば自動化ピペッティングシステムに関する。

【0002】

自動化実験室システムは、例えば、生物学的又は化学的サンプルを自動的に動かして、そのようなサンプルに対して自動的に試験を実行し、及び／又は、新しい化合物を自動的に合成するために、生物学及び化学系の研究室において広く使用されている。特に、自動ピペッティングシステムは、プログラム可能な自動化された方式で、容器のグループ間で液体を移す。

【0003】

自動化実験室システムの使用により、実験手順の再現性、正確度、及び効率を増加させることが可能となり、自動実験室システムは、人間の介入又は監視無しで、又は、それらを最小限に抑えて、前述の手順を実行する。特に、これにより、危険な材料を扱うときに生じる安全上の問題、及び、ヒューマンエラーの原因を最小限に抑えることが可能となり、実験室の活動又は手順、特に、反復的なものに影響を与え得る。

【0004】

自動化実験室システムは、検出コンポーネントを含み、作業デッキ上に位置するサンプル及び／又は実験機器を検出及び／又は識別するための検出方法を実行し得る。知られている検出コンポーネントは例えば、プレートリーダ又は高分解能カメラであり、検出方法は、光学的又は計算ビジョン技法に基づき得る。

【0005】

サンプル及び／又は実験機器の検出及び識別は、とりわけ、ＡＬＳによって実行される実験手順を自動的に検証、選択、及び／又は文書化することを可能にする。例えば、ＡＬＳは、検出コンポーネントを使用することによって、サンプル及び／又は実験機器、及び、作業デッキ上のそれらの位置を識別し得る。ＡＬＳは次に、識別中に収集された情報を使用して、実験手順を自動的に検証し得る。特に、ＡＬＳは、実行される操作段階、及び、前述の段階が実行される必要がある経時的順序が、作業デッキ上の実験機器の位置、及び、実行される実験手順と適合するかどうかを評価し得る。このようにして、ヒューマンエラーの余地がさらに低減し得る。

【0006】

また、いくつかのケースでは、実験手順は、作業デッキ上にあるサンプル及び／又は実験機器の種類によって、及び、デッキ上のそれらの位置によって一意に決定され得る。これに該当する場合、サンプル及び／又は実験機器の識別及び検出により、ＡＬＳが、実行される実験手順を自動的に推定することが可能となり、それにより、ＡＬＳをプログラムするために必要な時間を低減する。

【0007】

ＡＬＳによって実行される、実験手順の検証、選択、及び／又は文書化に使用されるために、サンプル及び／又は実験機器の識別及び／又は検出は十分に正確である必要がある。典型的には、必要な正確度は、正確な検出方法を使用することによって達成され得るが、それは典型的には、比較的複雑であり、計算コストがかかり、及び／又は、高分解能多色カメラなどの高額な検出コンポーネントを伴う。

【0008】

したがって、正確度が増加し、計算コストが低く、及び／又は、より安価な検出コンポーネントを使用することによって実行できる検出方法の必要性がある。これらの問題の少なくともいくつかは、請求項１に記載のコンピュータ実装方法、請求項１３に記載のデータ処理システム、請求項１４に記載のコンピュータプログラム製品、及び、請求項１５に記載のコンピュータ可読記憶媒体に関連する本願の発明によって少なくとも部分的に解決される。発明の実施形態は、従属請求項の主題である。

【0009】

一態様において、本発明は、第１光学的特徴及び第２光学的特徴を含む実験器具品目を識別するためのコンピュータ実装方法に関する。本発明の方法は、少なくとも以下の段階を含む。
少なくとも第１光学記録デバイスを用いて、実験器具品目の第１画像を取得する段階、第１画像は、第１光学的特徴の少なくとも一部を表示する；
少なくとも第２光学記録デバイスを用いて、実験器具品目の第２画像を取得する段階、第２画像は、第２光学的特徴の少なくとも一部を表示する；
少なくとも第１識別アルゴリズムを使用することによって、第１画像における第１光学的特徴を識別し、それにより、第１識別データを取得する段階、第１識別データは、第１光学的特徴に関する第１情報、及び、少なくとも更なる識別が必要かどうかを示す情報を符号化する。

【0010】

第１識別データにおいて符号化された情報に従って、少なくとも更なる識別が必要でない場合、方法はさらに、以下の段階を含む。
少なくとも第１光学的特徴に関する第１情報を使用することによって実験器具品目を識別する段階

【0011】

第１識別データにおいて符号化されたに情報に従って、少なくとも更なる識別が必要である場合、方法はさらに、以下の段階を含む。
少なくとも第２識別アルゴリズムを使用することによって、第２画像における第２光学的特徴を識別し、それにより、第２識別データを取得する段階、第２識別データは、第２光学的特徴に関する情報を符号化する；及び
少なくとも第２光学的特徴に関する情報を使用することによって実験器具品目を識別する段階

【0012】

第１及び／又は第２画像を取得する段階は、それぞれ第１及び／又は第２光学記録デバイスを用いて前述の画像を撮像することによって実行され得る。代替的に、第１及び／又は第２画像を取得する段階は、前に取得された画像を有するストレージにアクセスすることによって実行され得る。

【0013】

第１及び／又は第２光学的特徴を識別する段階はそれぞれ、第１識別アルゴリズムを用いて第１識別データを取得することによって、及び／又は、第２識別アルゴリズムを用いて第２識別データを取得することによって実行され得る。第１及び／又は第２識別データは、それぞれ、第１及び／又は第２識別アルゴリズムの出力であり得、特に、それぞれ、第１及び／又は第２識別アルゴリズムを実行することによって生成され得る。

【0014】

本発明によれば、光学的特徴、例えば、第１及び／又は第２光学的特徴についての情報は、対応する画像における前述の特徴の位置の推定を示す情報を含み得る。光学的特徴についての情報はまた、前述の位置推定の信頼性を示す情報を含み得る。本発明によれば、第１及び第２光学的特徴に対応する画像はそれぞれ、第１及び第２画像である。

【0015】

例えば、光学的特徴についての情報は、第１確率で前述の特徴が位置すると予想される、対応する画像の領域を示す情報を含む。これに該当する場合、前述の光学的特徴についての情報はまた、第１確率の値を含み得る。

【0016】

光学的特徴についての情報は、光学的特徴が何であるかの推定を示す情報、及び任意選択で、前述の推定の信頼性を示す情報を含み得る。特に、光学的特徴についての情報は、光学的特徴が色、例えば赤色、ピクトグラム、例えばバイオハザードシンボル、及び／又は、英数字文字列、例えば、「無菌」という単語であると推定されることを示し得る。例えば、光学的特徴についての情報は、第２確率で光学的特徴が所与の色、例えば赤であると推定されることを示す情報を含む。これに該当する場合、前述の光学的特徴についての情報はまた、第２確率の値を含み得る。

【0017】

特に、少なくとも更なる識別が必要であるかどうかを示す情報は、第１識別アルゴリズムを使用することによって第１光学的特徴を識別することが、実験器具品目を識別するのに不確定、及び／又は不十分であるかどうかを指定する。例えば、第１光学的特徴が何であるかの推定が十分信頼できるとみなされない場合、例えば、前述の推定の確率が所与の閾値を下回る場合に、第１光学的特徴の識別は不確定である。

【0018】

いくつかのケースにおいて、第１光学的特徴の識別は、識別が十分に信頼できる場合でも、実験器具品目を識別するのに不十分であり得る。例えば、第１識別アルゴリズムは、第１光学的特徴がバイオハザードシンボルであると高い信頼性で推定し得る。しかしながら、実験器具品目上のバイオハザードシンボルの存在は、例えば、多くの実験器具品目がバイオハザードシンボルを有するので、実験器具品目を一意に識別するのに十分でないことがあり得る。

【0019】

少なくとも更なる識別が必要であるかどうかを示す情報は、整数、浮動小数点数、又はブール変数などの変数において符号化され得る。例えば、この変数がブール型である場合、値「真」は、少なくとも更なる識別が必要であることを示す情報を符号化し、値「偽」は、少なくとも更なる識別が必要でないことを示す情報を符号化する。

【0020】

少なくとも更なる識別が必要であるかどうかを示す情報はまた、実験器具品目が何であるかの推定を示す情報、及び／又は、前述の推定の信頼性を示す情報を含み得る。例えば、情報は、実験器具品目がプレート、チップ、チューブ、又はチップボックスであると推定されることを示し得る。例えば、少なくとも更なる識別が必要であるかどうかを示す情報は、第３確率で実験器具品目がチップボックスであることを示す情報を含む。これに該当する場合、特に、第３確率が所与の閾値を下回る場合に少なくとも更なる識別が必要であり、閾値は例えば０．６又は０．８である。

【0021】

少なくとも第１光学的特徴についての情報を使用することによって実験器具品目を識別する段階は、第１実験機器識別アルゴリズムを用いて第１実験機器識別データを取得することによって実行され得る。また、少なくとも第２光学的特徴についての情報を使用することによって実験器具品目を識別する段階は、第２実験機器識別アルゴリズムを用いて第２実験機器識別データを取得することによって実行され得る。第１及び／又は第２実験機器識別データはそれぞれ、第１及び／又は第２実験機器識別アルゴリズムの出力であり得る。

【0022】

第１及び／又は第２実験機器識別データは、それぞれ、実験器具品目についての第１及び／又は第２情報を含み得る。実験器具品目についての情報は、実験器具品目が何であるかの推定を示す情報、及び任意選択で、前述の推定の信頼性を示す情報を含み得る。例えば、実験器具品目についての情報は、第４確率でこの品目がチップボックスであると推定されることを示す情報を含む。このケースにおいて、前述の光学的特徴についての情報は、第４確率の値を含み得る。実験器具品目についての情報はさらに、作業デッキ上の実験器具品目の位置の推定を示す情報、及び、任意選択で、前述の推定の信頼性を示す情報を含み得る。

【0023】

少なくとも第２光学的特徴についての情報を使用することによって実験器具品目を識別する段階は、第２画像における第２光学的特徴を識別する段階と共に実行され得る。これに該当する場合、特に、第２光学的特徴についての情報は、実験器具品目についての第２情報を含み得る。

【0024】

本発明の方法によれば、第２光学的特徴を識別する段階は、第１光学的特徴の識別が不確定である、又は十分に正確でないと判明した場合のみ実行される。このようにして、第２光学的特徴が必要な場合のみ識別されるので、計算コストを無差別に増加させることなく、及び／又は、実験機器識別の正確度を損なうことなく、実験器具品目の識別の効率が増加される。第２光学的特徴の識別の必要性は、第１識別アルゴリズムの出力を考慮して、方法によって自動的かつ動的に評価される。

【0025】

特に、本発明の方法は、第１識別アルゴリズム及び第１画像のみを使用することによって実行される、計算上比較的軽い実験機器識別をデフォルトで提供する。（計算コストが高いが）より正確な実験機器識別は、第１識別アルゴリズムの結果が不確定である、又は、十分に正確でない場合のみ提供される。

【0026】

例えば、第１識別アルゴリズムを使用することによって第１光学的特徴を識別する段階は、第２光学的特徴を識別する段階より計算コストが低いことがあり得る。これは特に、第１識別アルゴリズムが第２識別アルゴリズムより正確でない、及び／又は、第１画像の分解能が第２画像の分解能より低いからであり得る。

【0027】

また、第１及び第２画像は、互いに独立に取得され、別に処理され、その結果、ステレオグラムを形成する必要がない。したがって、第１及び第２光学記録デバイスは、立体的光学記録デバイスを形成するために互いに対して配置される、及び／又は、同期される必要がない。これにより、本発明の方法を実行するのに必要なハードウェア及びセットアップを簡素化する。

【0028】

アルゴリズムは特に、入力情報を処理して出力情報を取得するための命令の集合、例えばシーケンスである。アルゴリズムの命令は、コンピュータにおいて実装され、例えば、本発明によるデータ処理システムのプロセッサによって実行され得る。特に、アルゴリズムの入力情報は、アルゴリズムを実行するプロセッサによってアクセスされ得る入力データにおいて符号化される。特に、プロセッサは、アルゴリズムの命令に従って入力データを処理し、典型的には出力データにおいて符号化される出力情報を生成する。本発明によれば、特に、アルゴリズムは、プロセッサによって実行されるときに前述のプロセッサにこれらのデータを処理させる命令をアルゴリズムが含むときに、データを処理する。

【0029】

画像は、ベクター画像、又は、ピクセルの２次元グリッド、例えば、ピクセルの長方形グリッドであり得る。特に、画像におけるピクセルの位置は、画像におけるその２次元画像座標に関して明確に決定され得、前述の座標は、ピクセルの２次元グリッドにおける前述のピクセルの位置を表す。

【0030】

画像、例えば、第１及び／又は第２画像は、少なくともビットマップによって符号化され得る。画像又はその部分を符号化するビットマップは、前述の画像又はその部分の各ピクセルの強度、すなわち色を指定するビットのアレイを含み、例えば、それらから成り得る。ビットマップは、アレイのエントリが色テーブル上にインデックス化されるように、パレットインデックス化され得る。アレイのエントリは、ピクセルの色を符号化するビットを格納し得る。ビットマップは、ピクセルの２次元グリッドを表すドットマトリックスデータ構造を含み、例えば、それらから成り得る。ビットマップはさらに、ピクセルあたりのビットの数、２次元グリッドの行あたりのピクセルの数、及び／又は、前述のグリッドの列あたりのピクセルの数に関する情報を含み得る。画像ビューアは、ビットマップにおいて符号化された情報を使用して、コンピューティングデバイスの画面上に画像をレンダリングし得る。

【0031】

本発明の実施形態において、第１画像は、第１アレイのピクセルを含み、第１アレイのピクセルの各ピクセルは、アレイにおけるそれぞれの位置、及び、それぞれの強度値を有する。本実施形態において、第１識別アルゴリズムは、第１入力データを処理し、第１入力データは、第１アレイのピクセルの各ピクセルの位置及び強度値を含む。

【0032】

特に、第２アルゴリズムは第２入力データを処理する。また、このケースにおいて、第２入力データは第１光学的特徴についての第１情報を符号化し得る。

【0033】

第２画像は、第２アレイのピクセルを含み得、このアレイのピクセルの各ピクセルは、アレイにおけるそれぞれの位置及びそれぞれの強度値を有する。このケースにおいて、第２入力データは、第２アレイのピクセルの各ピクセルの位置及び強度値を含み得る。

【0034】

ピクセルの強度、例えば色は、ＲＧＢ色モデル、ＣＭＹ色モデル、又はＣＭＹＫ色モデルに関して表され得る。特に、ＲＧＢ色モデルにおいて、ピクセルの強度は、３つの整数値を用いて決定され得、各値は０から２５５の範囲である。代替的に、又は、上と併せて、ＲＧＢモデルにおいて、ピクセルの強度は、色相、彩度、輝度（ＨＳＶ）表現、又は、色相、彩度、明度（ＨＳＬ）表現を使用することによって表され得る。

【0035】

特にグレースケール画像において、ピクセルの強度は、単一の整数値に関して表され得、特に、前述の値は、０から最大値の範囲であり得る。例えば、前述の最大値は、２５６又は６５，５３６に等しいことがあり得る。また、バイナリ画像において、ピクセルの強度の強度は、第１強度値、例えば値「０」、又は、第２強度値、例えば値「１」のいずれかをとり得る単一の整数値に関して表され得る。

【0036】

第１識別アルゴリズム及び第２識別アルゴリズムは互いに等しいことがあり得る。このケースにおいて、特に、第１識別アルゴリズムの出力は、第２識別アルゴリズムの出力と異なる。なぜなら、第１入力データは第２入力データと異なるからである。例えば、第１入力データは、第１アレイのピクセルの各ピクセルの位置及び強度値、作業デッキに対する第１カメラの位置を示す情報、第１画像の分解能を示す情報、及び／又は、第１カメラが多色カメラであるかどうかを示す情報を含む。第２入力データは、代わりに、第２アレイのピクセルの各ピクセルの位置及び強度値、作業デッキに対する第２カメラの位置を示す情報、第２画像の分解能を示す情報、及び／又は、第２カメラが単色カメラであるかどうかを示す情報を含み得る。

【0037】

本発明の方法の実施形態は以下の段階、すなわち、作業デッキに対する実験機器の位置についての第１位置情報を使用することによって、第１画像における第１関心領域（ＲＯＩ）を決定する段階を含む。

【0038】

また、本実施形態において、第１識別アルゴリズムを使用することによって第１画像における第１光学的特徴を識別する段階は、第１関心領域を使用することによって実行される。

【0039】

代替的に、又は上と併せて、方法は以下の段階を含み得る。
作業デッキに対する実験機器の位置についての第２位置情報を使用することによって第２画像における第２ＲＯＩを決定する段階、及び、
第２識別アルゴリズムを使用することによって第２画像における第２光学的特徴が第２ＲＯＩを使用することによって実行されると識別する段階。

【0040】

特に、作業デッキは、本発明によるＡＬＳに含まれ得る。例えば、作業デッキは、複数のデッキ領域、例えば４つのデッキ領域に分割され得る。第１及び／又は第２位置情報は、実験器具品目が位置する、又は、位置すると予想されるデッキ領域の位置についての情報を含み得る。

【0041】

第１ＲＯＩ及び／又は第２ＲＯＩを決定する段階は、それぞれ第１及び／又は第２ＲＧＢ決定アルゴリズムを使用することによって実行され得る。例えば、第１及び／又は第２ＲＧＢ決定アルゴリズムは、それぞれ、第１及び／又は第２位置データを処理する。特に、第１及び／又は第２位置データはそれぞれ、作業デッキに対する実験機器の位置についての第１及び／又は第２位置情報を符号化する。例えば、第１ＲＯＩ決定アルゴリズムの出力及び／又は第２ＲＧＢ決定アルゴリズムの出力はそれぞれ、第１画像における第１ＲＯＩ及び／又は第２画像における第２ＲＯＩの位置についての情報を含み得る。

【0042】

第１及び／又は第２ＲＯＩは、それぞれ、第１及び／又は第２アレイのピクセルを含み、又は、それらから成り得る。また、第１及び／又は第２ＲＯＩは、実験器具品目が位置する、又は、位置すると予想される、デッキ領域の少なくとも一部を表示し得る。画像におけるＲＯＩの位置についての情報は、前述の情報がＲＯＩのピクセルの各々の位置を正確に取得するのに十分である程度に、ＲＯＩに含まれるピクセルのいくつかの位置を指定し得る。例えば、ＲＯＩが画像の長方形領域である場合、前述の領域の頂点の位置についての情報は、ＲＯＩのピクセルの各々の位置を取得するのに十分である。

【0043】

第１画像における第１ＲＯＩの位置についての情報は、第１入力データに含まれ得、その結果、第１識別アルゴリズムを使用することによって第１画像における第１光学的特徴を識別する段階は、第１ＲＯＩを使用することによって実行される。代替的に、又は上と併せて、第２画像における第２ＲＯＩの位置についての情報は第２入力データに含まれ得、その結果、第２画像における第２光学的特徴を識別する段階は、第２ＲＯＩを使用することによって実行される。

【0044】

特に、少なくとも第１識別アルゴリズムの命令のいくつかのうちの命令及び／又は実行順序は、第１画像における第１ＲＯＩの位置に依存し、その結果、第１識別アルゴリズムを使用することによって第１光学的特徴を識別する段階が、第１ＲＯＩを使用することによって実行される。例えば、少なくとも第２識別アルゴリズムの命令のいくつかのうちの命令及び／又は実行順序は、第２画像における第２ＲＯＩの位置に依存し、その結果、第２識別アルゴリズムを使用することによって第２光学的特徴を識別する段階が、第２ＲＯＩを使用することによって実行される。

【0045】

作業デッキに対する実験器具品目の位置を使用することによるＲＯＩの検出、及び、光学的特徴を識別するための前述のＲＯＩの使用は、相乗的に作用して、光学的特徴の識別の正確度を増加させる。これは特に、実験器具品目が、作業デッキに対する、有限数の事前に確立された位置を占め得るからであると考えられる。このようにして、光学的特徴を識別する識別アルゴリズムは、これらの事前に確立された位置の各々について、効果的に最適化され得る。

【0046】

本発明の方法はさらに以下の段階、すなわち、少なくとも位置決定アルゴリズムを使用することによって作業デッキに対する実験機器の位置についての第３位置情報を取得する段階を含み得る。

【0047】

このケースにおいて第１識別アルゴリズムは、第１入力データを処理し得、第１入力データは、第３位置情報に依存する。特に、第１入力データはさらに第３位置情報を含み、その結果、第１入力データは前述の情報に依存する。

【0048】

位置決定アルゴリズムは位置決定入力データを処理し得る。特に、位置決定入力データは、第１及び／又は第２アレイのピクセルを含み得る。位置決定入力データは、第１画像における第１ＲＯＩの位置についての情報、及び／又は、第２画像における第２ＲＯＩの位置についての情報を含み得る。例えば、位置決定入力データは、第１及び／又は第２位置情報を含む。

【0049】

第３位置情報を取得する段階は、第１及び／又は第２画像が高さアダプタを表示するかどうかを決定する段階を含み得る。これに該当する場合、第３位置情報を取得する段階は、第１及び／又は第２画像における高さアダプタの位置を決定する段階を含み得る。代替的に、又は、上と併せて、第３位置情報を取得する段階は、高さアダプタの高さを決定する段階を含み得る。例えば、この高さの決定は、第１及び／又は第２ピクチャにおける高さアダプタの位置に依存する。高さアダプタの位置及び高さを示す情報は、究極的には、前述のアダプタ上に配置される実験器具品目の位置、及び／又は、作業デッキの表面に対する実験器具品目の高さについての情報である。

【0050】

高さアダプタの存在、位置及び／又は高さについての情報は、前述のアダプタ上に配置された実験器具品目の識別の正確度を増加させる。例えば、高さアダプタの存在及び高さは、実験機器識別の可能な結果の数を制限する。特に、高さアダプタの位置及び高さを示す情報は、その上に配置された実験器具品目は、検出された高さアダプタ上に配置できない任意の実験器具品目であり得ないことを示す。また、高さアダプタの存在及び高さについての情報は、第１及び／又は第２カメラの間の距離、及び、実験器具品目のより良い推定を可能にする。これは、光学的特徴、ひいては、実験器具品目のより正確な識別につながる。

【0051】

第１画像における第１ＲＯＩの位置についての情報は、第１入力データに含まれ得、その結果、第１識別アルゴリズムを使用することによって第１画像における第１光学的特徴を識別する段階は、第１ＲＯＩを使用することによって実行される。代替的に、又は上と併せて、第２画像における第２ＲＯＩの位置についての情報は、第２入力データに含まれ得、その結果、第２識別アルゴリズムを使用することによって第２画像における第２光学的特徴を識別する段階は、第２ＲＯＩを使用することによって実行される。

【0052】

本発明の方法の実施形態は、以下の段階、すなわち、識別アルゴリズムの第１プールの中の第１識別アルゴリズムを選択する段階を含む。

【0053】

このケースにおいて、第１識別アルゴリズムを選択する段階は、少なくとも第３位置情報に依存し得る。また、第１識別アルゴリズムを選択する段階はさらに、第１画像における第１ＲＯＩの位置、及び／又は、第１位置情報に依存し得る。

【0054】

本実施形態において、第３位置情報は、作業デッキに対する実験器具品目の位置を考慮して、前述の品目を識別するのにもっとも好適である識別アルゴリズムを動的に選択することを可能にする。したがって、実験機器識別の正確度は増加する。

【0055】

発明の一実施形態において、第１識別データにおいて符号化された情報に従って、少なくとも更なる識別が必要である場合、方法はさらに以下の段階、すなわち、識別アルゴリズムの第２プールの中の第２識別アルゴリズムを選択する段階を含む。

【0056】

また、本実施形態において、第２識別アルゴリズムを選択する段階は、少なくとも第１識別データにおいて符号化された情報に依存する。第２識別アルゴリズムを選択する段階はさらに、第２画像における第２ＲＯＩの位置、及び／又は、第２位置情報に依存し得る。

【0057】

典型的には、第１識別データは、第１光学的特徴についての、ひいては、実験器具品目についての少なくとも部分的な情報を含む。本実施形態において、前述の情報は、第１アルゴリズムによって取得される情報、ひいては、実験器具品目を考慮して、第２光学的特徴を識別するのにもっとも好適である識別アルゴリズムを動的に選択するために使用される。したがって、実験機器識別の正確度は増加する。

【0058】

方法の実施形態によれば、第１及び／又は第２識別アルゴリズムは、それぞれ、少なくとも第１及び／又は第２機械学習アルゴリズムを含む。

【0059】

特に、機械学習アルゴリズムは、入力情報を処理して出力情報を取得するための命令を含み、これらの命令の少なくともいくつかは、訓練データ及び訓練アルゴリズムのセットを使用することによって設定される。第１及び／又は第２機械学習アルゴリズムは、人工ニューラルネットワーク（ＡＮＮ）、決定木、ランダムフォレスト、サポートベクターマシン（ＳＶＭ）、又は同様のものを含み得る。例えば、第１及び／又は第２機械学習アルゴリズムは、畳み込みニューラルネットワーク、及び／又は、ＡｌｅｘＮｅｔなどのディープニューラルネットワークであり得る。

【0060】

特に、ＡＮＮは、ＡＮＮ入力をＡＮＮ出力にマッピングし、複数の相互接続されたノードを含むアルゴリズムであり、各ノードは、ノードに依存し得る活性化関数を用いて入力を出力にマッピングする。特に、ノードの活性化関数は、バイアス、及び、前述のノードの入力のデータ品目に重み付けする１又は複数の重みに依存し得る。ＡＮＮの重みの値は、少なくとも訓練セット及び訓練アルゴリズムを用いてＡＮＮを訓練することによって取得され得る。例示的な訓練アルゴリズムによれば、重みの値は、典型的にはＡＮＮの重み、ＡＮＮ入力、ＡＮＮ出力、及び／又はバイアスに依存する費用関数の値を最小化するようにインタラクティブに調節される。

【0061】

特に、第１及び／又は第２機械学習アルゴリズムは分類器である。例えば、第１及び／又は第２機械学習アルゴリズムはそれぞれ、第１及び／又は第２バイナリ分類器である。例えば、第１及び／又は第２バイナリ分類器は、バイナリ分類を実行して、それぞれ、第１及び／又は第２光学的特徴が特定の光学的特徴（例えばバイオハザードシンボル及び／又は赤色）として識別されるかどうかを評価し得る。このケースにおいて、第１及び／又は第２識別データは、それぞれ、第１及び／又は第２光学的特徴が特定の光学的特徴として識別されるかどうかを指定し得る。

【0062】

代替的に、又は上と併せて、第１及び／又は第２機械学習アルゴリズムは、マルチクラス分類を実行して、それぞれ、第１及び／又は第２画像が特定の光学的特徴のプールの中の特定の光学的特徴を表示するかどうかを評価し得る。例えば、特定の光学的特徴のプールは、特定のピクトグラム、例えば、バイオハザードシンボル、特定の英数字文字列、例えば、「無菌」という単語、特定の色、例えば、「赤」色、及び同様のものを含み得る。

【0063】

第１及び／又は第２機械学習アルゴリズムは信頼度重み付け分類器であり得る。特に、第１及び／又は第２機械学習アルゴリズムは、確率的分類を実行する。例えば、第１機械学習アルゴリズムが信頼度重み付け分類器である場合、第１識別データは特定の光学的特徴のリストを指定し、このリストにおける各特定の光学的特徴について、第１光学的特徴のそれぞれの確率は前述の特定の光学的特徴である。第２機械学習アルゴリズムが信頼度重み付け分類器である場合、第２識別データは、特定の光学的特徴のリストを指定し得、このリストにおける各特定の光学的特徴について、第２光学的特徴のそれぞれの確率は前述の特定の光学的特徴である。

【0064】

例えば、第１機械学習アルゴリズムは、第１光学的特徴が第１画像において表示されるかどうかをチェックし、第１画像における前述の特徴の位置の推定を提供し、前述の特徴を識別する。第２機械学習アルゴリズムは、第２光学的特徴が第２画像において表示されるかどうかをチェックし、第２画像における前述の特徴の位置の推定を提供し得る。

【0065】

例えば、第１及び／又は第２機械学習アルゴリズムは、層の数及びパラメータの数を含むフィードフォワード畳み込みＡＮＮであり、ＡＮＮのパラメータは、重み及びそのバイアスである。層の数は、４と１８の間に、特に、５と１７の間に、更に特に、６と１６の間に含まれ得る。パラメータの数は、１０，０００と１，０００，０００の間に特に、１５，０００と９００，０００の間に、更に特に、２０，０００と８００，０００の間に含まれ得る。

【0066】

第１実験機器識別アルゴリズム及び／又は第２実験機器識別アルゴリズムはそれぞれ、第３及び／又は第４機械学習アルゴリズムを含み得る。特に、第３及び／又は第４機械学習アルゴリズムは分類器、例えば、バイナリ及び／又は信頼度重み付け分類器であり得る。第３及び／又は第４機械学習アルゴリズムは、ＡＮＮ、決定木、ランダムフォレスト、ＳＶＭ、ベイジアンネットワーク又は同様のものであり得る。

【0067】

例えば、第３及び／又は第４機械学習アルゴリズムはそれぞれ、入力データを処理して、実験器具品目は何であるかを「決定」する、例えば、その推定を提供する第１及び／又は第２決定木であり得る。特に、第１及び／又は第２決定木の入力データは、例えば第１識別アルゴリズムを使用することによって取得される第１光学的特徴についての第１情報を含み得る。第２決定木の入力データはさらに、例えば第２識別アルゴリズムを使用することによって取得されるような第２光学的特徴についての第２情報を含み得る。

【0068】

物体検出及び認識は典型的には、機械学習アルゴリズムにとって困難なタスクであることが一般に知られている。一般に、比較的大きい数の層及びパラメータを有する畳み込みニューラルネットワークを含むいくつかの機械学習アルゴリズムのみが、このタスクを実行し、正確な結果を提供し得る。しかしながら、これらのアルゴリズムは、ＡＬＳにおけるそれらの使用を思いとどまらせるような、広範な訓練を必要とする。しかしながら、驚くべきことに、機械学習アルゴリズムは、十分に高い正確度で、かつ、広範な訓練手順及び／又は大きい訓練データセットを必要とすることなく、ＡＬＳの作業デッキ上の実験器具品目及びその光学的特徴を識別できる。しかしながら、ここに記述される示唆による限定されたＲＯＩにより、ＡＮＮモデルの必要な複雑性を低減し、それらのパラメータ数、訓練時間、及びデータセット要件を低減することが可能である。

【0069】

本発明の実施形態によれば、第１機械学習アルゴリズムは、第１ＲＯＩを使用することによってマルチクラス分類を実行し、第１画像が特定の光学的特徴の第１プールの中の特定の光学的特徴を表示するかどうかを評価する。このケースにおいて、第１画像における第１ＲＯＩを選択する段階は、少なくとも特定の光学的特徴の第１プールの光学的特徴についての情報、及び／又は、前述の要素を含む実験器具品目上の前述の要素の位置を示す情報を使用することによって実行される。特に、第１画像における第１ＲＯＩを選択する段階は、特定の光学的特徴の第１プールの複数の光学的特徴の各要素についての情報、及び／又は、前述の各光学的特徴を含む実験器具品目上の前述の各要素の位置を示す情報を使用することによって実行され得る。このケースにおいて、第１ＲＯＩは実質的に、特定の光学的特徴の第１プールの要素が互いに対する最高の差異を有する第１画像の領域に対応し得る。したがって、十分に高い分類正確度を達成しながら、第１機械学習アルゴリズムの複雑性（例えば、パラメータの数）、訓練時間、及び／又は、訓練データセットのサイズが低減され得る。

【0070】

本発明の方法の更なる実施形態において、第２機械学習アルゴリズムは、第２ＲＯＩを使用することによってマルチクラス分類を実行し、第２画像が特定の光学的特徴の第２プールの中の特定の光学的特徴を表示するかどうかを評価する。このケースにおいて、第２画像における第２ＲＯＩを選択する段階は、特定の光学的特徴の第２プールの複数の光学的特徴の各要素についての情報、及び／又は、前述の要素を含む実験器具品目上の前述の各要素の位置を示す情報を使用することによって実行される。このケースにおいて、第２ＲＯＩは実質的に、特定の光学的特徴の第２プールの要素が互いに対する最高の差異を有する第２画像の領域に対応し得る。したがって、十分に高い分類正確度を達成しながら、第２機械学習アルゴリズムの複雑性（例えば、パラメータの数）、訓練時間、及び／又は、訓練データセットのサイズが低減され得る。特に、第１光学記録デバイスは第１カメラである。第１識別アルゴリズムは、少なくとも第１カメラに関連する内部較正パラメータの第１セット、及び／又は、少なくとも第１カメラに関連する外部較正パラメータの第１セットに依存し得る。

【0071】

例えば、第１入力データは、内部較正パラメータの第１セットの要素、及び／又は、外部較正パラメータの第１セットの要素に依存し、例えば、それらを含み得、その結果、第１識別アルゴリズムはそれぞれ、内部較正パラメータの第１セットの要素、及び／又は、外部較正パラメータの第１セットの要素に依存する。特に、外部較正パラメータの第１セット、及び／又は、内部較正パラメータの第１セットはそれぞれ、第１カメラに関連する、１又は複数の外部較正パラメータ、及び／又は、１又は複数の内部較正パラメータから成る。

【0072】

代替的に、又は上と併せて、第２光学記録デバイスは第２カメラである。第２識別アルゴリズムは、少なくとも第２カメラに関連する内部較正パラメータの第２セット、及び／又は、少なくとも第２カメラに関連する外部較正パラメータの第２セットに依存し得る。

【0073】

例えば、第２入力データは、内部較正パラメータの第２セットの要素、及び／又は、外部較正パラメータの第２セットの要素に依存し、例えば、それらを含み得、その結果、第２識別アルゴリズムはそれぞれ、内部較正パラメータの第２セットの要素、及び／又は、外部較正パラメータの第２セットの要素に依存する。特に、外部較正パラメータの第２セット、及び／又は、内部較正パラメータの第２セットはそれぞれ、第２カメラに関連する、１又は複数の外部較正パラメータ、及び／又は、１又は複数の内部較正パラメータから成る。

【0074】

特に、カメラに関連する外部較正パラメータは、ワールドフレームを参照して、及び、カメラモデル（ピンホールカメラモデルなど）に従って、前述のカメラの位置及び／又は向きを記述する。外部パラメータの第１及び／又は第２セットはそれぞれ、３次元世界座標系から、第１及び／又は第２カメラの３次元座標系への変換を記述するのに好適な外部較正パラメータを含み得る。特に、外部パラメータの第１及び／又は第２セットは、３次元回転行列のエントリ、及び、３次元変換ベクトルの座標を決定するのに好適なパラメータを含み得る。外部パラメータの第１及び／又は第２セットはそれぞれ、第１及び／又は第２カメラを較正するために外部較正方法を使用することによって取得され得る。

【0075】

特に、カメラに関連する内部較正パラメータは、前述のカメラの内部特性を記述し得、前述のカメラを較正するために内部較正方法を使用することによって取得され得る。内部パラメータの第１セットは、第１カメラの３次元座標系から第１画像の２次元座標への射影変換を記述するのに好適である内部較正パラメータを含み得る。例えば、内部較正パラメータの第１セットは、第１カメラの焦点距離、スケール因子、スキュー因子、主点座標、放射状歪み係数、及び／又は、接線歪み係数を含む。

【0076】

内部パラメータの第２セットは、第２カメラの３次元座標系から第２画像の２次元座標への射影変換を記述するのに好適である内部較正パラメータを含み得る。内部較正パラメータの第２セットは、第２カメラの焦点距離、スケール因子、スキュー因子、主点座標、放射状歪み係数、及び／又は、接線歪み係数含み得る。

【0077】

外部較正パラメータの第１セットの外部パラメータ、及び／又は、内部較正パラメータの第１セットの内部パラメータは、第１画像を処理するために第１識別アルゴリズムによって使用され得、それにより、第１入力データの品質を増加させる。例えば、前述のパラメータは、第１カメラの内部特性について第１画像を調整し、及び／又は、第１画像に表示されるデッキ作業及び／又は実験器具品目を整合させるために使用され得る。代替的に、又は上と併せて、前述のパラメータは、第１画像に描写されるシーンの幾何学的特徴についての情報を取得するために第１アルゴリズムによって使用され得る。例えば、外部及び／又は内部パラメータは、第１画像における物体のサイズを推定し、及び／又は、デッキ作業又は実験器具品目に対する第１カメラの位置を決定するために使用され得る。このようにして、第１光学的特徴の識別の正確度が増加される。

【0078】

同様に、外部較正パラメータの第２セットの外部パラメータ、及び／又は、内部較正パラメータの第２セットの内部パラメータは、第２光学的特徴の識別の正確度を増加させるために第２識別アルゴリズムによって使用され得る。特に、第２識別アルゴリズムは、前述のパラメータを使用して、第２画像を処理し、したがって、第２入力データの品質を増加させる。また、前述のパラメータは、第２画像において描写されるシーンの幾何学的特徴についての情報を取得するために使用され得る。

【0079】

代替的に、又は上と併せて、第１ＲＯＩ決定アルゴリズムは、少なくとも第１カメラに関連する内部較正パラメータの第１セット、及び／又は、少なくとも第１カメラに関連する外部較正パラメータの第１セットに依存し得る。第２ＲＧＢ決定アルゴリズムは、少なくとも第２カメラに関連する内部較正パラメータの第２セット、及び／又は、少なくとも第２カメラに関連する外部較正パラメータの第２セットに依存し得る。

【0080】

上に記述されたものと同一の理由で、外部較正パラメータの第１セットの外部パラメータ、及び／又は、内部較正パラメータの第１セットの内部パラメータは、第１ＲＯＩの識別の正確度を増加させるために第１ＲＯＩ決定アルゴリズムによって使用され得る。また、外部較正パラメータの第２セットの外部パラメータ、及び／又は、内部較正パラメータの第２セットの内部パラメータは、第２ＲＯＩの識別の正確度を増加させるために第２ＲＧＢ決定アルゴリズムによって使用され得る。

【0081】

本発明の方法の更なる実施形態によれば、第１識別アルゴリズム及び／又は第２識別アルゴリズムはそれぞれ、実験器具品目の形状の第１推定、及び／又は、実験器具品目の形状の第２推定に依存する。特に、第１及び／又は第２入力データはそれぞれ、実験器具品目の形状の第１及び／又は第２推定を示す情報を含む。

【0082】

実験器具品目の形状の第１及び／又は第２推定は、実験器具品目のクラスの一般的な形状を記述するモデルであり得る。例えば、９６ポリメラーゼ連鎖反応（ＰＣＲ）プレート及び９６マイクロタイトレーション（ＭＴＰ）プレートの両方の形状は、長方形内に均等に分布する９６の小さい円から形成され得る。

【0083】

第２識別アルゴリズムは、実験器具品目の形状の第２推定に依存し得、前述の推定は、第１識別アルゴリズムを用いて取得された第１識別データを使用することによって取得され得る。例えば、第１光学的特徴についての第１情報は、第１光学的特徴が、所与のテクスチャパターンであることを指定する場合、及び、前述のパターンがＰＣＲプレート及び９６ＭＴＰプレートの表面上にのみ存在する場合、第２入力データは、実験器具品目の形状が、長方形内に均等に分布する９６の小さい円によって形成されると推定されると指定する情報を含み得る。

【0084】

実験器具品目の形状の推定は、それぞれの光学的特徴をより容易に検出及び識別するために第１及び／又は第２識別アルゴリズムによって使用され得、それにより、前述の特徴の識別正確度を増加させる。正確度はさらに、前述の推定が外部及び／又は内部較正パラメータと共に使用される場合に増加する。

【0085】

代替的に、又は上と併せて、第１及び／又は第２識別アルゴリズムは、それぞれ、第１及び／又は第２光学的特徴の形状の推定に依存し得る。

【0086】

本発明の実施形態において、第２識別データは、少なくとも更なる識別が必要かどうかを示す情報を符号化する。

【0087】

本実施形態において、第２識別データにおいて符号化される情報に従って、少なくとも更なる識別が必要である場合、方法はさらに、少なくとも第３識別アルゴリズムを使用することによって第１画像における第１光学的特徴を識別する段階を含み、それにより、第３識別データを取得すし、第３識別データは、第１光学的特徴についての第２情報を符号化する。

【0088】

第２識別データにおいて符号化される情報に従って、少なくとも更なる識別が必要である場合、少なくとも第２光学的特徴についての情報を使用することによって、実験器具品目を識別する段階は、第１光学的特徴についての第２情報を使用することによって実行され得る。

【0089】

第３識別アルゴリズムを使用することによって第１光学的特徴を識別する段階は、第３識別アルゴリズムを用いて第３識別データを取得することによって実行され得る。第３識別データは、第３識別アルゴリズムの出力であり得、特に、前述のアルゴリズムを実行することによって生成され得る。例えば、少なくとも更なる識別が必要であるかどうかを示す情報は、第２光学的特徴の識別が、実験器具品目を識別するのに不確定及び／又は不十分であるかどうかを指定する。

【0090】

本実施形態によれば、第３識別アルゴリズムを使用することによって第１光学的特徴を識別する段階は、第２光学的特徴の識別が不確定である、又は、十分に正確でないと判明した場合のみ実行される。このようにして、第１光学的特徴が必要な場合のみ２回識別されるので、計算コストを無差別に増加させることなく、及び／又は、実験機器識別の正確度を損なうことなく、実験器具品目の識別の効率が増加される。第１光学的特徴の第２識別の必要性は、第２識別アルゴリズムの出力を考慮して、方法によって自動的かつ動的に評価される。実験器具品目の識別の正確度は、第１光学的特徴についての情報、及び、第２光学的特徴についての情報の両方を使用することによって前述の識別が実行されるという事実によってさらに増加する。

【0091】

本発明によれば、第３アルゴリズムは、第３入力データを処理し得る。特に、第３入力データは、第１光学的特徴についての第１情報、及び／又は、第２光学的特徴についての情報を符号化する。本実施形態において、実験器具品目の識別は、第１光学的特徴についての情報、及び、第２光学的特徴についての情報の両方に依存し、したがって、より正確である。

【0092】

本発明の実施形態において、第２識別データにおいて符号化された情報に従って、少なくとも更なる識別が必要である場合、方法はさらに、識別アルゴリズムの第３プールの中から第３識別アルゴリズムを選択する段階を含み、第２識別アルゴリズムを選択する段階は、少なくとも、第１識別データにおいて符号化された情報、及び／又は、第２識別データにおいて符号化された情報に依存する。

【0093】

第１、第２、及び／又は第３プールの中から、第１、第２、及び／又は第３識別アルゴリズムをそれぞれ選択する段階は、選択アルゴリズムを使用することによって実行され得る。特に、選択アルゴリズムは、第１、第２、及び／又は第３位置情報を処理して第１アルゴリズムを選択し得る。さらに、選択アルゴリズムは、第１識別データにおいて符号化された情報、及び／又は、第１アルゴリズムについての情報を処理して、第１識別アルゴリズムを選択し得る。さらに、選択アルゴリズムは、第１識別データ、第２識別データにおいて符号化された情報、第１識別アルゴリズムについての情報、及び／又は、第２識別アルゴリズムについての情報を処理して、第２識別アルゴリズムを選択し得る。

【0094】

第１光学的特徴及び第２光学的特徴を識別する前述の段階の他に、本発明の方法はさらに、更なる段階又は複数の更なる段階を含み得る。更なる段階は、少なくとも識別アルゴリズムを使用することによって第１及び／又は第２画像における対応する光学的特徴を識別する段階であり得る。対応する光学的特徴は、第１特徴、第２特徴、又は、第１及び第２のものとは異なる別の特徴であり得る。例えば、更なる識別段階中に実行される識別は、実験器具品目を識別するのに不確定又は不十分であるので、更なる段階において使用される識別アルゴリズムは、更なる識別が必要かどうかを示す情報を含む識別出力データを生成する。

【0095】

例えば、方法の一実施形態において、更なる段階は、少なくとも第１識別アルゴリズムを使用することによって第１光学的特徴を識別する段階の前に実行され、対応する光学的特徴の決定的な識別につながらない。例えば、更なる段階は、少なくとも第１識別アルゴリズムを使用することによって第１光学的特徴を識別する段階の後、及び、少なくとも第２識別アルゴリズムを使用することによって第２光学的特徴を識別する段階の前に実行され得る。このケースにおいて、少なくとも第１識別アルゴリズムを使用することによって第１光学的特徴を識別する段階、及び、更なる段階の両方が、決定的な識別につながらないので、第２光学的特徴を識別する段階が実行される。

【0096】

本発明の方法の実施形態において、第２識別データにおいて符号化される情報に従って、少なくとも更なる識別が必要である場合、少なくとも第２光学的特徴についての情報を使用することによって実験器具品目を識別する段階は、第１光学的特徴についての第１情報を使用することによって実行される。本実施形態において、実験器具品目の識別は、第１光学的特徴についての情報、及び、第２光学的特徴についての情報に依存し、したがって、より正確である。

【0097】

本発明の実施形態によれば、第１識別データにおいて符号化された情報に従って、少なくとも更なる識別が必要ない場合、方法はさらに、以下の段階、すなわち、少なくとも実験器具品目についての第１情報を使用することによって作業デッキの仮想表現を生成する段階を含む。

【0098】

代替的に、又は上と併せて、第１識別データにおいて符号化された情報に従って、少なくとも更なる識別が必要である場合、方法はさらに、以下の段階、すなわち、少なくとも実験器具品目についての第２情報を使用することによって作業デッキの仮想表現を生成する段階を含み得る。

【0099】

作業デッキの仮想表現は格納され、作業デッキを含むＡＬＳによって実行される実験手順の自動的に生成された文書を提供し得る。代替的に、又は上と併せて、仮想表現は、実験手順を自動的に検証し、必要な場合は訂正するために使用され得る。また、仮想表現を使用することによって、ＡＬＳは、実行される手順を自動的に推定し得る。

【0100】

第１及び／又は第２光学記録デバイスは、多色カメラ、単色カメラ、グレースケールカメラ、黒白カメラ、ＵＶカメラ、ＩＲカメラ、ビデオカメラ、１次元カメラセンサ及び／又は３次元ＲＧＢＤカメラを含み得る、又は、それらから成り得る。

【0101】

本発明の実施形態において、第２光学記録デバイスは多色カメラであり、及び／又は、第１光学記録デバイスは、単色カメラ及び／又はグレースケールカメラである。特に、第１光学記録デバイス及び／又は第２光学記録デバイスは、それぞれ第１及び／又は第２ピクセル分解能を有するデジタルカメラである。第１ピクセル分解能は、９２１，６００ピクセルより低いか、又はそれに等しく、特に、４１４，７２０ピクセルより低いか、又はそれに等しいことがあり得る。また、第１及び／又は第２ピクセル分解能は、２，１５７，８４０ピクセルより低いか、又はそれに等しく、特に、２，０７３，６００ピクセルより低いか、又はそれに等しいことがあり得る。本実施形態は、第２光学的特徴の識別のための正確度要件を満たしながら、少なくとも、典型的には高分解能のものより安い低分解能カメラを使用することを可能にする。特に、このケースにおいて、第２光学的特徴の識別における第１光学的特徴についての情報の使用は、第２画像の低い分解能を補う。

【0102】

本発明の方法の一実施形態において、第１画像を取得する段階は、第１システム時刻値によって特徴付けられる第１時点において実行される。第２画像を取得する段階は、第２時点に実行され、第２時点は、システム時刻の第２システム時刻値によって特徴付けられる。第１時間システム値及び第２時間システム値は、予め決められた関係を満たす。

【0103】

方法の本実施形態は、第１及び／又は第２光学記録デバイスが互いに対して、及び／又は、作業デッキに対して移動可能である場合でも実行され得る。これは、例えば、作業デッキが第１及び／又は第２光学記録デバイスの視野より大きい場合に必要であり得る。このケースにおいて、予め決められた関係は、第１時点及び第２時点において、それぞれ、実験器具品目が第１及び第２光学記録デバイスの視野内にあるように、第１及び／又は第２光学記録デバイスによって記述される軌道に依存し得る。

【0104】

特に、第１時間システム値及び第２時間システム値は互いに等しい。

【0105】

方法の本実施形態は、作業デッキ上に位置する実験器具品目が経時的に変化する場合にも実行され得る。これに該当する場合、第１時間システム値が第２時間システム値に等しいという要件は、第１及び第２光学記録デバイスが、両方とも実験器具品目を表示するように同一シーンの画像を取得することを保証する。

【0106】

特に、システム時刻は、本発明の方法を実装するコンピュータ、例えば、本発明のデータ処理システムのシステム時刻である。システム時刻は、前述のコンピュータのシステムクロックによって測定され得る。

【0107】

特に、実験器具品目は、臨床又は実験室の環境における使用のための容器を含む、又は、それから成る。この容器は、ガラス、プラスチック、金属、及び同様のものからできていることがあり得る。例えば、実験器具品目は、上部、蓋、及び／又は、下部を含み得る培養皿を含む、又は、それから成り得る。また、実験器具品目は、サンプルバイアル及び／又はテストチューブを含む、又は、それらから成る。実験器具品目は、単回使用、多回使用、及び／又は、使い捨てのためのものであり得る。

【0108】

また、本発明によれば、実験器具品目は、プレート、チップ、チューブ、リザーバ、チップボックス、高さアダプタ、リザーバラック、及び／又は、チューブラックを含む、又は、それらから成り得る。

【0109】

本発明によれば、第１光学的特徴及び／又は第２光学的特徴は、印（ｉｎｄｉｃｉｕｍ）、表意文字、ピクトグラム、英数字のセット、テクスチャパターン、孔パターン、突起パターン、バーコード、及び／又は色を含み得る。

【0110】

例えば、第１光学的特徴は、英数字のセット及び／又は孔パターンを含む、又は、それから成り得、第２光学的特徴は、色、例えば、実験器具品目の一部の色であり得る。特に、孔パターンは、Ｃ、Ｈ、Ｉ、Ｌ、Ｏ、Ｔ、Ｕ、又はＶ字の形状であり得る。

【0111】

第１光学的特徴についての情報は、実験器具品目が属するクラスについての情報を伝え得る。このケースにおいて、第１光学的特徴についての情報は、第２光学的特徴についての情報と共に、実験器具品目がクラスの何のメンバかを示す情報を伝え得る。

【0112】

本発明の実施形態において、第１識別データにおいて符号化される情報に従って、少なくとも更なる識別が必要である場合、少なくとも第２光学的特徴についての情報を使用することによって実験器具品目を識別する段階は、第１光学的特徴についての第１情報を使用することによって実行される。本実施形態において、実験器具品目の識別は、第１光学的特徴についての情報、及び、第２光学的特徴についての情報に依存し、したがって、より正確である。

【0113】

例えば、第１光学的特徴がバイオハザードシンボルである場合、前述の特徴は、実験器具品目が、バイオハザード材料を含むチューブのクラスに属するチューブであるという情報を伝え得る。また、第２光学的特徴が赤色である場合、第１及び第２光学的特徴は、実験器具品目が、特定のクラスのメンバ、すなわち、特定のバイオハザード材料、例えば、クロロホルムを含むチューブであるという情報を伝える。

【0114】

本明細書において本発明の方法の段階が記述される順序は、前述の段階が実行される経時的順序を必ずしも反映しない。

【0115】

本発明は、第１光学記録デバイス、第２光学記録デバイス、及び、本発明による方法を実行するように構成されている処理手段を含むデータ処理システムに関する。

【0116】

本発明はまた、本発明のデータ処理システムを含む自動化実験室システムに関する。特に、本発明のＡＬＳは、第１光学記録デバイス、第２光学記録デバイス、本発明の方法を実行するように構成されている処理手段、及び、実験器具品目を配置するための作業デッキを含む。例えば、ＡＬＳは自動化ピペッティングシステムである。特に、ＡＬＳの作業デッキは実験器具品目を支える。

【0117】

本発明はまた、本発明によるシステムによってプログラムが実行されるときに、前述のシステムに本発明の方法を実行させる命令を含むコンピュータプログラム製品に関する。

【0118】

発明は、本発明によるシステムによって実行されるときに前述のシステムに本発明の方法を実行させる命令を含むコンピュータ可読記憶媒体に関する。

【0119】

発明の例示的な実施形態は、添付の図面を参照して、以下で記述される。図面及び対応する詳細な記載は単に、発明のより良い理解を提供するためのものであり、請求項において定義される発明の範囲の限定を決して構成しない。
特に以下の通りである。

【図面の簡単な説明】

【0120】

【図1】本発明によるデータ処理システムの実施形態の概略的表現である。

【図2】本発明の方法の第１実施形態の操作のフロー図である。

【図3a】本発明によるデータ処理システムの実施形態を使用することによって取得される第１画像の概略的表現である。

【図3b】本発明によるデータ処理システムの実施形態を使用することによって取得される第２画像の概略的表現である。

【図3c】本発明によるデータ処理システムの実施形態を使用することによって取得される第１画像の概略的表現である。

【図3d】本発明によるデータ処理システムの実施形態を使用することによって取得される第２画像の概略的表現である。

【図4】本発明の方法の第２実施形態の操作のフロー図である。

【発明を実施するための形態】

【0121】

図１は、本発明によるデータ処理システム（ＤＰＳ）１００の第１実施形態の概略図である。前述のデータ処理システム１００は、コンピューティングデバイス又はそのクラスタを含み得る。データ処理システム１００は、互いにデータ通信する処理要素１１０及びストレージ手段１２０を含む。処理要素１１０は、ＣＰＵ及び／又はＧＰＵから成り、又は、それを含み得、本発明の方法の段階を実行するように構成されている複数のモジュール１１１～１１６を含む。

【0122】

ストレージ手段１２０は、揮発性一次メモリ１２１（例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＣＰＵキャッシュメモリ、又は同様のもの）、及び／又は、不揮発性一次メモリ１２２（例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又は同様のもの）を含み得る。特に、揮発性一次メモリは、ＲＡＭから成り得る。例えば、揮発性一次メモリ１２１は、処理要素による実行のためのプログラムファイル、及び、関連データを一時的に保持し、不揮発性一次メモリ１２２は、ＤＰＳ１００のオペレーティングシステムのためのブートストラップコードを含み得る。

【0123】

ストレージ手段１２０はさらに、オペレーティングシステム、及び／又は、本発明の方法を実行するために使用されるアルゴリズムの命令を格納し得る二次メモリ１２３を含み得る。また、二次メモリ１２３は、コンピュータプログラム製品がＤＰＳ１００によって実行されるときに、本発明による方法をＤＰＳ１００に実行させる命令を含むコンピュータプログラム製品を格納し得る。

【0124】

二次メモリ１２３、一次メモリ１２１、１２２、及び処理要素１１０は、物理的に同一のハウジング内に収容される必要はなく、むしろ、空間的に互いに離れていることがあり得る。特に、二次メモリ１２３、一次メモリ１２１、１２２、及び処理要素１１０は、空間的に互いに離れていることがあり得、有線及び／又は無線媒体（示されない）を介して互いにデータを交換し得る。

【0125】

ＤＰＳ１００は、ＤＰＳ１００が入力／出力デバイス（例えば、ディスプレイ、キーボード、タッチ画面、プリンタ、マウス、カメラ、又は同様のもの）と通信することを可能にする入力／出力（Ｉ／Ｏ）インタフェース１４０を含み得る。ＤＰＳ１００はさらに、ＤＰＳ１００を好適なネットワーク（示されない）に接続するように構成されているネットワークインタフェースコントローラ（ＮＩＣ）１３０を含み得る。本発明によれば、好適なネットワークは例えば、イントラネット、インターネット、又はセルラネットワークであり得る。

【0126】

データ処理システム１００は、それぞれ第１デジタルカメラ１５０及び第２デジタルカメラ１６０の形態である第１光学記録デバイス及び第２光学記録デバイスを含む。特に、第１カメラ１５０及び第２カメラ１６０は、それぞれ、グレースケール及び多色カメラである。第１カメラ１５０及び第２カメラ１６０は、それぞれ、第１画像及び第２画像を取得するように構成されており、フォトカメラ及び／又はビデオカメラであり得る。図１に示されるように、第１カメラ１５０及び／又は第２カメラ１６０は、Ｉ／Ｏインタフェース１４０を介して処理要素１１０に接続され得る。例えば、第１カメラ１５０及び／又は第２カメラ１６０は、ＮＩＣ１３０を介してＩ／Ｏインタフェースに無線接続され得る。第１カメラ１５０及び／又は第２カメラ１６０は、Ｉ／Ｏインタフェース１４０又はペリフェラルデバイスと共に使用するための関連する命令及びデータを格納するためのそれら自体のメモリを有するインテリジェントデバイスであり得る。

【0127】

処理要素１１０は、本発明の方法を実行するように構成されている複数のモジュール１１１～１１６を含む。特に、第１取得モジュール１１１は、第１カメラ１５０を操作して第１画像を取得するように構成されている。第２取得モジュール１１２は、第２カメラ１６０を操作して第２画像を取得するように構成されている。処理要素１１０は、第１識別アルゴリズムを使用することによって第１画像における第１光学的特徴を識別するように構成されている第１識別モジュール１１３を含む。第２識別モジュール１１４は、第１光学的特徴についての第１情報を使用することによって実験器具品目を識別するように構成されている。処理要素１１０はさらに、少なくとも第２識別アルゴリズムを使用することによって第２画像における第２光学的特徴を識別するように構成されている第３識別モジュール１１５を含む。第４識別モジュール１１６は、第２光学的特徴についての情報を使用することによって実験器具品目を識別するように構成されている。第１識別モジュール１１３及び第３識別モジュール１１５は、同一のモジュールであり得る。特に、第２識別モジュール１１４及び第４識別モジュール１１６は同一のモジュールであり得る。処理要素１１０はさらに、第１識別データにおいて符号化された情報に従って、更なる識別が必要であるかどうかを確立するように構成されている評価モジュール（示されない）を含み得る。

【0128】

例えば、ＤＰＳ１００は、第１カメラ１５０及び第２カメラ１６０を含むコンピュータシステムであり得、より具体的には、スマートフォン、デスクトップコンピュータ、タブレット、ラップトップ、又は同様のものであり得る。また、ＤＰＳ１００は、本発明によるＡＬＳ、特に自動ピペッティングシステムであり得る。このケースにおいて、ＤＰＳ１００は、１又は複数の実験器具品目を配置するための作業デッキ（示されない）、及び／又は、液体を移すためのピペッティングヘッド（示されない）を含む。ピペッティングヘッドは、サーボ及び／又はステッパモータを用いて作業デッキに対して移動可能であり得る。

【0129】

図２は、本発明による方法の第１実施形態の操作のフロー図２００である。特に、本発明による方法の第１実施形態は、上に記述され、かつ、図１において模式的に描写されるＤＰＳ１００によって実行され得る。

【0130】

方法の第１実施形態は、フィルタを有する１０００μｌチップボックスの識別を実行する。この識別は、第１及び第２光学的特徴を使用することによって実行される。第１光学的特徴は、４個の孔を含むＬ字形孔パターン３４１であり、第２光学的特徴は、フィルタを有する１０００μｌチップボックスの色、例えば、青色である。論述の目的で、フィルタを有する１０００μｌチップボックスは、これら２つの光学的特徴を含む唯一の実験器具品目であると想定する。

【0131】

段階２１０において、ＤＰＳ１００は、図３ａ及び図３ｃにおいて模式的に表される第１画像３００ａを取得する。第１画像３００ａは、第１カメラ１５０を使用することによって取得され、したがって、グレースケール画像である。図３ａに示されるように、第１画像３００ａは、ＤＰＳ１００の作業デッキ３７０の上面図を表示する。作業デッキ３７０は、廃棄物容器３５０、及び、実験器具品目を配置するための４つの領域３７１～３７４を含む。

【0132】

９６ＭＴＰプレートである第１実験器具品目３１０は、第１領域３７１上に位置する。第１実験器具品目３１０は、１２列及び８行に分布する９６ウェル３１２を含む。第１実験器具品目３１０は、２セットの英数字３１１、３１３を含む。第１セットの英数字３２１は、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、及びＨを描写する列を形成する。第２セットの英数字３２３は、１から１２の数を描写する行を形成する。第１実験器具品目３１０のウェル３１２は、第１化合物を含む。

【0133】

第２実験器具品目３２０及び第３実験器具品目は、第２領域３７２上に位置付けられる。第２実験器具品目３２０は、１２列及び８行に分布する９６ウェル３２２を含む９６ＭＴＰプレートである。第２実験器具品目３２０は、２セットの英数字３２１、３２３を含む。第１セットの英数字３２１は、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、及びＨを描写する列を形成する。第２セットの英数字３２３は、１から１２の数を描写する行を形成する。第２実験器具品目３２０のウェル３２２は第２化合物を含む。第３実験器具品目は、５５ｍｍ高さアダプタであり、その上に第２実験機器３２０品目が配置される。特に、図３ａは、高さアダプタの５個のピン３３１～３３５を描写する。

【0134】

フィルタを有する１０００μｌチップボックスである第４実験器具品目３４０が、第３領域３７３に位置する。第４実験器具品目３４０は、１２列及び８行に分布する９６個のチップ３４２、及び、４個の孔を含むＬ字形孔パターン３４１を含む。第５実験器具品目３６０は、第４領域３７４に位置する。第５実験器具品目３６０は、１００ｍｌチューブ３６４、３０ｍｌチューブ３６３、第１リザーバラックモジュール３６２、及び第２リザーバラックモジュールＴＣ３６１を含むリザーバラックである。第１リザーバラックモジュール３６２は、１６ｍｍの直径を有する４個の反応槽を含み、及び／又は、第２リザーバラックモジュール３６１は、２９ｍｍの直径を有する２個の反応槽を含む。特に、第１リザーバラックモジュール３６２及び／又は第２リザーバラックモジュール３６１は、熱モジュール（示されない）を用いて温度制御され得る。

【0135】

段階２２０において、ＤＰＳ１００は、図３ｂ及び図３ｄにおいて模式的に表される第２画像３００ｂを取得する。第２画像３００ｂは、第２カメラ１６０を使用することによって取得され、したがって、多色画像である。図３ｂに示されるように、第２画像３００ａは、ＤＰＳ１００の作業デッキ３７０の上面図を表示し、前述の上面図は、第１画像３００ａに表示されるものと実質的に同一である（図３ａを参照）。第２画像３００ｂは、多色カメラを使用することによって取得され、したがって、第２画像３００ｂは、少なくとも前者の画像３００ａが実験器具品目の色を表示するという点で、第１画像３００ａと異なる。特に、図３ｂにおいて、第１実験器具品目３１０、第２実験器具品目３２０、第３実験器具品目、及び第４実験器具品目３４０の色は、斜線の領域によって模式的に表される。例えば、第１実験器具品目３１０は緑色であり、第２実験器具品目３２０は黄色であり、第４実験器具品目３４０は青色である。第１及び第２実験器具品目の両方は９６ＭＴＰプレートである。しかしながら、それらは異なる化合物を含み、したがって、それらの色によって互いから区別される。

【0136】

第１画像３００ａ及び／又は第２画像３００ｂは、ＤＰＳ１００の一次及び／又は二次メモリに格納され得、それぞれ第１光学的特徴及び／又は第２光学的特徴を識別するために処理要素１１０によってアクセスされ得る。

【0137】

段階２３０において、ＤＰＳ１００は、第１識別アルゴリズムを使用することによって、第１画像３００ａにおける第１光学的特徴、すなわちＬ字形孔パターン３４１を識別する。特に、第１識別アルゴリズムは、第１画像３００ａのピクセルの位置及び強度を含む第１入力データを処理する。第１識別アルゴリズムは、４個の孔を含むＬ字形孔パターン３４１が第１画像３００ａに表示されるかどうかをチェックすることによって、及び、第１画像３００ａにおける前述の孔パターン３４１の位置の推定を提供することによって、第１光学的特徴を識別する。特に、第１識別アルゴリズムは、機械学習アルゴリズム、例えばＡＮＮを含み得る。

【0138】

第１識別アルゴリズムは、第１識別データを出力として生成し、前述のデータは、第１光学的特徴についての情報を含む。第１光学的特徴についての情報は、第１の指定された確率で、Ｌ字形孔パターン３４１が、所与の方向に対する指定された向きで第１画像３００ａにおける指定された位置に表示されていることを指定する。図３ｃにおいて、指定された位置は、破線の枠３８０によって示され、所与の方向は、鎖線３９０によって示される。特に、図３ｃに示すように、Ｌ字形孔パターン３４１の指定された向きは、孔パターン３４１によって形成されるＬの長い腕、すなわち、３個の孔を含む腕が、所与の方向３９０に実質的に平行であるような向きである。

【0139】

段階２４０において、第１識別データにおいて符号化された情報に従って、更なる識別が必要であるかどうかが確立される。これは、第１の指定された確率を所与の閾値と比較することによって達成され得る。所与の閾値は例えば、０．８又は０．９の間に含まれ得る。したがって、本実施形態において、第１の指定された確率は、少なくとも更なる識別が必要であるかどうかを示す情報を符号化する。

【0140】

確率が所与の閾値より大きい場合、ＤＰＳ１００は、入力データを処理し第１実験機器識別データを生成する第１実験機器識別アルゴリズムを実行する（段階２５０）。例えば、このケースにおいて第１実験機器識別アルゴリズムの入力データは、第１の指定された確率で、Ｌ字形孔パターン３４１が所与の方向３９０に対する指定された向きで第１画像３００ａにおける指定された位置に表示されていることを指定する情報を含む。

【0141】

第１実験機器識別アルゴリズムは、処理要素１１０によって実行されるとき、処理要素に、ルックアップテーブルにアクセスさせ、第１光学的特徴に関連する実験器具品目、すなわち、４個の孔を有するＬ字形孔パターン３４１を含む実験器具品目が何であるかを評価する命令を含む。ルックアップテーブルは、フィルタを有する１０００μｌチップボックスに第１光学的特徴を関連付け、したがって、第１実験機器識別データは、識別された実験器具品目が、フィルタ３４０を有する１０００μｌチップボックスであると指定する情報を含む。

【0142】

第１実験機器識別アルゴリズムは、処理要素１１０によって実行されるときに、処理要素に、作業デッキ３７０上のフィルタ３４０を有する１０００μｌチップボックスの位置を推定させる命令を含む。前述の推定は、識別された実験器具品目の形状及び特徴、ならびに、第１画像３００ａにおけるＬ字形孔パターン３４１の指定された位置及び向きを示す情報を使用することによって取得され得る。したがって、第１実験機器識別データは、識別された実験器具品目が作業デッキ３７０の第４領域３７４に配置されていることを指定する情報を含む。

【0143】

特に、識別された実験器具品目の形状及び特徴を示す情報は、第１画像３００ａに表示される識別された実験器具品目が、指定された寸法及び９６個のウェルを有する長方形形状を有することを指定する情報を含む。また、フィルタ３４０を有する１０００μｌチップボックスは、指定された寸法を有するＬ字形孔パターン３４１を含む。フィルタ３４０を有する１０００μｌチップボックスの孔パターン３４１は、孔パターンによって形成される「Ｌ」の長い腕が、フィルタ３４０を有する１０００μｌチップボックスの短い側３４３と実質的に平行であるような向きである（図３ａ又は３ｃを参照）。

【0144】

第１実験機器識別アルゴリズムは、第１カメラの外部較正パラメータ、内部較正パラメータ、及び、フィルタ３４０を有する１０００μｌチップボックスの寸法を使用して、フィルタ３４０を有する１０００μｌチップボックスを表示する第１画像３００ａの領域のサイズを推定し得る。

【0145】

代わりに、確率が所与の閾値より低い場合、ＤＰＳ１００は、第２識別アルゴリズムを使用することによって、第２画像３００ｂにおける第２光学的特徴を識別する（段階２６０）。特に、本実施形態は、識別アルゴリズムの第２プールの中から第２識別アルゴリズムを選択する段階を含み得る。第２識別アルゴリズムの選択は、少なくとも、第１識別データにおいて符号化された情報、すなわち、第１の指定された確率で第１光学的特徴がＬ字形孔パターン３４１であることを指定する情報に依存する。Ｌ字形孔パターン３４１を含む唯一の実験器具品目は、フィルタ３４０を有する１０００μｌチップボックスであるので、ＤＰＳ１００によって選択される第２識別アルゴリズムは、第２画像３００ｂが、青色に対応する強度を有するピクセルを有する領域を含むかどうかを評価する。

【0146】

より具体的には、第２識別アルゴリズムは、第２画像３００ｂのピクセルの位置及び強度を含む第２入力データを処理する。第２識別アルゴリズムは、処理要素１１０によって実行されるとき、ＤＰＳ１００に、第２画像３００ｂが、青色に対応する強度、及び、領域の位置を有するピクセルを有する前述の領域を含むかどうかを評価させる命令を含む。特に、前述の評価は、強度が青色に対応する強度の範囲内に収まるピクセルを発見することによって実行される。例えば、強度が、ＲＧＢ色モデルに関して表される場合、強度の範囲は、０と１００の間に含まれる第１ＲＧＢ値、２００と２５５の間に含まれる第２ＲＧＢ値、及び、２００と２５５の間に含まれる第２ＲＧＢ値を有する強度を含み得る。代替的に、強度がＲＧＢ色モデルに関して表される場合、青色に関連する強度範囲は、ＨＳＬ又はＨＳＶ表現を使用することによって表され得る。

【0147】

第２識別アルゴリズムは第２識別データを出力として生成し、前述のデータは第２光学的特徴についての情報を含む。第２光学的特徴についての情報は、第２の指定された確率で、第２画像３００ｂの長方形領域のピクセルの強度が青色に対応することを指定し、前述の長方形領域は、第２画像３００ｂの指定された位置に配置される。図３ｄにおいて、第２画像３００ｂの長方形領域は、破線の枠３８５によって示される。

【0148】

第２入力データはさらに、第１画像３００ａにおけるＬ字形孔パターン３４１の指定された位置を示す情報を含み得、第２識別アルゴリズムは、前述の情報を使用することによって長方形領域３８５を検出し得る。例えば、第２識別アルゴリズムは、第１カメラ１５０及び第２カメラ１６０の内部及び外部パラメータを使用して、第１画像３００ａにおける孔パターン３４１の指定された位置を考慮して、第２画像３００ｂにおける前述のパターン３４１の対応する位置を推定し得る。したがって、長方形領域３８５は、第２画像３００ｂにおけるＬ字形孔パターン３４１の対応する位置を含む領域に配置されたピクセルの強度を分析することによって検出され得る。

【0149】

段階２７０において、実験器具品目は、第１光学的特徴３４１についての第１情報及び第２光学的特徴についての情報を使用することによって識別される。より具体的には、ＤＰＳ１００は、入力データを処理する第２実験機器識別アルゴリズムを実行し、第２実験機器識別データを生成する。例えば、第２実験機器識別アルゴリズムは決定木であり、入力された特徴は、第１及び第２の指定された確率、第１画像３００ａにおける光学的特徴３４１のサイズ、指定された位置、及び、指定された向き、ならびに、第２画像３００ｂの長方形領域のサイズ、指定された位置、及び、向きである。このケースにおいて第２実験機器識別アルゴリズムは、入力された特徴を考慮して、実験器具品目が、フィルタ３４０を有する１０００μｌチップボックスであるかどうかを評価し、これに該当する場合、作業デッキ３７０上のその位置を評価する。したがって本実施形態において第２実験機器識別データは、実験器具品目が、作業デッキ３７０の第４領域３７４に配置された、フィルタ３４０を有する１０００μｌチップボックスであると指定し得る。

【0150】

第１識別データ、第２識別データ、第１実験機器識別データ、及び／又は第２実験機器識別データは、ＤＰＳ１００の一次メモリ及び／又は二次メモリに格納され得る。

【0151】

本発明による方法の更なる実施形態は、上に記述された第１実施形態の段階２１０から２７０を含み得る。この前者の実施形態は、段階２１０から２７０が実行される順序について、後者と異なる。特に、更なる実施形態において、第２画像３３０ｂを取得する段階２２０は、第１識別アルゴリズムを使用することによって、第１画像３３０ａを取得する段階２１０の前、又は、第１光学的特徴３４１を識別する段階２３０の後のいずれかにおいて実行され得る。

【0152】

図４は、例えば上で記述され図１において模式的に描写されるＤＰＳ１００によって実行され得る、本発明による方法の第２実施形態の操作のフロー図４００である。方法の第２実施形態は、ＤＰＳ１００の作業デッキの第２領域に配置された実験器具品目の識別を実行する。

【0153】

段階４０５において、ＤＰＳ１００は、第１カメラ１５０を使用することによって第１画像３００ａを取得する。第１画像３００ａは、グレースケール画像であり、本発明の方法の第１実施形態を実行することによって取得される同義の画像と実質的に同一である。したがって、段階４０５を実行することによって取得される第１画像３００ａは、図３ａ及び図３ｃにおいて模式的に表される。特に、第１画像３００ａは、ＤＰＳ１００の作業デッキ３７０の上面図を表示する。作業デッキ３７０は、廃棄物容器３５０、及び、実験器具品目を配置する４の領域３７１－３７４を含む。

【0154】

段階４１０において、ＤＰＳ１００は、第２カメラ１６０を使用することによって第２画像３００ｂを取得する。第２画像３００ｂは、多色画像であり、本発明の方法の第１実施形態を実行することによって取得される同義の画像と実質的に同一である。したがって、段階４１０を実行することによって取得される第１画像３００ａは、図３ｂ及び図３ｄにおいて模式的に表される。

【0155】

段階４１５において、ＤＰＳ１００は、第１位置情報を使用することによって第１画像３００ａにおける第１ＲＯＩを決定する。前述の情報は、識別される実験器具品目が、作業デッキ３７０の第２領域３７２に位置するものであることを指定する。第１ＲＯＩは、作業デッキ３７０の第２領域３７２を表示する第１画像３００ａの長方形領域である。

【0156】

第１ＲＯＩは、第１画像３００ａのピクセル、及び、第１位置情報を符号化する第１位置データを処理することによって第１ＲＯＩ決定アルゴリズムを使用することによって取得される。例えば、第１ＲＯＩ決定アルゴリズムは、第１カメラ１５０に関連する内部及び外部較正パラメータを使用して、作業デッキ３７０の第２領域３７２を表示する第１画像３００ａの長方形領域を検出する。

【0157】

段階４２０において、ＤＰＳ１００は、作業デッキ３７０に対する識別対象の実験器具品目の位置についての第３位置情報を取得する。前述の情報は、位置決定アルゴリズムを使用することによって生成される。前述のアルゴリズムは、第１ＲＯＩに含まれるピクセルの位置及び強度を含む位置決定入力データを処理する。

【0158】

位置決定アルゴリズムは、位置決定入力データを処理して、前述の高さアダプタのピンの少なくともいくつかを検出することによって第１ＲＯＩが高さアダプタを表示するかどうかを決定するＡＮＮを含む。図３ａ又は図３ｃに示されるように、第１ＲＯＩは、５５ｍｍの高さアダプタのピン３３１～３３５を表示する。したがって、ＡＮＮは、前述のピン３３１－３３５を検出し、第１ＲＯＩにおける位置の推定、及び、高さアダプタの高さの推定を提供する。特に、前述の高さは、５５ｍｍに等しいと推定される。

【0159】

位置決定アルゴリズムは、処理要素１１０によって実行されるとき、ＤＰＳ１００に、識別される実験器具品目の位置を推定することによって第３位置情報を取得させる命令を含む。前述の推定は、第１ＲＯＩにおけるピン３３１から３３５の位置を使用することによって実行される。特に、第３位置情報は、識別される実験器具品目が、第１画像３３０ａの第３ＲＯＩに含まれることを指定する。図３ｃにおいて、第３ＲＯＩは、点線の正方形３９９によって示される。第３位置情報はさらに、第１ＲＯＩにおいて表示される高さアダプタの推定される高さを指定する。

【0160】

段階４２５において、第１識別アルゴリズムは、識別アルゴリズムの第１プールの中から選択される。この選択は、第１画像３００ａにおける第１ＲＯＩの位置、及び、第３位置情報、特に、第１ＲＯＩに表示される高さアダプタの推定される高さに依存する。論述の目的で、推定される高さの高さアダプタ上に２つの実験器具品目のみ、すなわち、９６ＭＴＰプレート、又は、フィルタを有する１０００μｌチップボックスが配置され得ると想定する。

【0161】

したがって、選択された識別アルゴリズムは、４個の孔を含むＬ字形孔パターン、及び／又は、２セットの英数字（第１のものはＡからＨの文字を描写する列を形成し、第２のものは１から１２の番号を描写する行を形成する）を検出するためにマルチクラス分類を実行する信頼度重み付け分類器である。また、このアルゴリズムは、第１ＲＯＩに表示されるシーンに対してマルチクラス分類を実行する、例えば、作業デッキの第２領域３７２に配置される物体を分類するように最適化され得る。特に、第２光学的特徴を識別するとき、第１識別アルゴリズムは、とりわけ、第１カメラに対する第２領域３７２の位置に依存する画像の観点を考慮する。第１識別アルゴリズムはまた、典型的には作業デッキ３７０の第２領域３７２を特徴付ける照明条件を考慮し得る。

【0162】

段階４３０において、ＤＰＳ１００は、第１識別アルゴリズムを使用することによって第１光学的特徴を識別する。特に、第１識別アルゴリズムは、第３ＲＯＩ３９９のピクセルの位置及び強度を含む第１入力データを処理する。前述のアルゴリズムは、第３ＲＯＩ３９９が４個の孔を含むＬ字形孔パターン、又は、２セットの英数字（第１のものはＡからＨの文字を描写する列を形成し、第２のものは１から１２の番号を描写する行を形成する）を表示するかどうかをチェックすることによって第１光学的特徴を識別する。

【0163】

第１識別アルゴリズムは、第１光学的特徴についての情報を含む第１識別データを出力として生成する。このケースにおいて、第１光学的特徴についての情報は、第３の指定された確率で、第３ＲＯＩ３９９が２セットの英数字（第１セット３２１はＡからＨの文字を描写する列を形成し、第２セット３２３は１から１２の番号を描写する行を形成する）を表示することを指定し得る。第１光学的特徴についての情報はさらに、第４の指定された確率で、第３ＲＯＩ３９９が４個の孔を含むＬ字形孔パターンを表示しないことを指定し得る。さらに、第１光学的特徴についての第１情報は、第５の指定された確率で、第１光学的特徴が２セットの英数字（第１セット３２１は、ＡからＨの文字を描写する列を形成し、第２セット３２３は、１から１２の数を描写する行を形成する）から成ることを指定する。

【0164】

特に、第５の指定された確率は０．９８に等しく、第１光学的特徴の識別の正確度についての要件が満たされていることを示す。このケースにおいて、第１光学的特徴についての第１情報は信頼できるが不確定である。特に、前述の情報は、実験器具品目３２０が９６ＭＴＰプレートであること、すなわち、前述の品目が９６ＭＴＰプレートのクラスに属することを結論付けることを可能にする。しかしながら、第１光学的特徴についての第１情報は、前述の実験器具品目にどの化合物が含まれているかを識別するのに十分でない。化合物を識別するべく、実験器具品目３２１の第２光学的特徴、すなわち色が識別される必要がある。

【0165】

したがって、本実施形態において、第１光学的特徴についての第１情報は、少なくとも更なる識別が必要であると指定する。したがって、段階４３５において、第１光学的特徴についての第１情報に従って、更なる識別が必要であり、したがって、段階４４５、４５０及び４５５が実行される必要があることが確立される。

【0166】

段階４４５において、ＤＰＳ１００は、識別アルゴリズムの第２プールの中から第２識別アルゴリズムを選択する。第２識別アルゴリズムの選択は、少なくとも第１光学的特徴についての第１情報に依存する。第１光学的特徴を含む実験器具品目の唯一のクラスは９６ＭＴＰプレートのクラスなので、ＤＰＳ１００によって選択される第２識別アルゴリズムは、第３ＲＯＩ３９９に表示される９６ＭＴＰプレートの平均の色を識別する。

【0167】

段階４５０において、ＤＰＳ１００は、第２識別アルゴリズムを使用することによって、画像３００ｂにおける第２光学的特徴を識別する。第２識別アルゴリズムは、第２画像３００ｂのピクセルの位置及び強度を含む第２入力データ、及び、第３ＲＯＩ３９９の位置を示す情報を処理する。例えば、第２識別アルゴリズムは、第１カメラ１５０及び第２カメラ１６０の内部及び外部パラメータを使用して、第１画像３００ａにおける第３ＲＯＩ５３０の指定された位置を考慮して、第２画像３００ｂにおける対応する第４ＲＯＩを推定し得る。図３ｄにおいて、第４ＲＯＩは、鎖線の枠３９５によって示され、９６ＭＴＰプレート３２０を表示する。

【0168】

第２識別アルゴリズムは、処理要素１１０によって実行されるとき、ＤＰＳ１００に、第４ＲＯＩ３９５のピクセルの平均強度を計算させ、実験器具品目の色を識別させる命令を含む。特に、色識別は、平均強度が、黄色に関連する強度範囲内に、又は、緑色に関連する範囲内に収まるかどうかを評価することによって実行される。例えば、強度がＲＧＢ色モデルに関して表される場合、緑色に関連する強度範囲は、０から１００の間に含まれる第１ＲＧＢ値、２００から２５５の第２含まれるＲＧＢ値、及び、０から１００の間に含まれる第３ＲＧＢ値を有する強度を含む。黄色に関連する強度範囲は、２３０から２５５の間に含まれる第１ＲＧＢ値、２３０から２５５の間に含まれる第２ＲＧＢ値、及び、０から１００の間に含まれる第３ＲＧＢ値を有する強度を含み得る。強度がＲＧＢ色モデルに関して表される場合、緑色に関連する強度範囲、及び／又は、黄色に関連する強度範囲はまた、ＨＳＶ又はＨＳＬ表現を使用することによって表され得る。

【0169】

代替的に、又は、上と併せて、第２識別アルゴリズムは、第４ＲＯＩ３９５のピクセルを処理して実験器具品目の色を識別するＡＮＮ及び／又はＳＶＭを含み得る。

【0170】

第２識別アルゴリズムは、第２光学的特徴についての情報を含む第２識別データを出力として生成する。第４ＲＯＩ３９５は黄色９６ＭＴＰプレート３２０を表示するので、第２光学的特徴についての情報は、第６の指定された確率で、第４ＲＯＩ３９５に表示される実験器具品目の色が黄色であることを指定する。

【0171】

段階４５５０において、実験器具品目は、第１光学的特徴３２１、３２３及び第２光学的特徴についての第１情報を使用することによって識別される。より具体的には、ＤＰＳ１００は、入力データを処理する第２実験機器識別アルゴリズムを実行し、第２実験機器識別データを生成する。例えば、このケースにおいて、第２実験機器識別アルゴリズムの入力データは、第１光学的特徴３４１についての第１情報、及び、第２光学的特徴についての情報において符号化される情報を含む。

【0172】

特に、第２実験機器識別アルゴリズムは決定木である。本実施形態において、第２実験機器識別データは、作業デッキ３７０の第２領域３７２に位置する実験器具品目が、５５ｍｍの高さアダプタ３３１から３３５上に配置されている黄色の９６ＭＴＰプレート３２０であること、及び、９６ＭＴＰプレート３２０のウェルが第２化合物を含むことを指定し得る。

【0173】

段階４３０において、第１光学的特徴がＬ字形孔パターンであることを指定する第１識別データを第１識別アルゴリズムが生成する場合、段階４４５、４５０及び４５５ではなく段階４４０が実行される。このケースにおいて実験器具品目は、Ｌ字形孔パターンを含む唯一の実験器具品目である、フィルタを有する１０００μｌチップボックスであると識別される。

【0174】

既に明示的に記述されていない場合は常に、図面に関連して記述される個別の実施形態、又は、それらの個別の態様及び特徴は、本発明の意味において組み合わせ又は交換に意味がある場合は常に、記述された発明の範囲を限定する、又は、広げることなく、互いに組み合わされ、又は、交換され得る。本発明の特定の実施形態に関して、又は、特定の図に関して記述される利点はまた、該当する場合は常に、本発明の他の実施形態の利点でもある。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図4】

【国際調査報告】