ホーム > 特許ランキング > Ｅｐｐｅｎｄｏｒｆ ＳＥ
特表2023-540995カメラパラメータの値を決定するための方法及びデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-27
(54)【発明の名称】カメラパラメータの値を決定するための方法及びデバイス
(51)【国際特許分類】
H04N 23/741 20230101AFI20230920BHJP
G03B 7/091 20210101ALI20230920BHJP
G06T 7/80 20170101ALI20230920BHJP
【ＦＩ】
H04N23/741
G03B7/091
G06T7/80
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515122
(86)(22)【出願日】2021-09-08
(85)【翻訳文提出日】2023-05-01
(86)【国際出願番号】 EP2021074670
(87)【国際公開番号】W WO2022053492
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】20196056.4
(32)【優先日】2020-09-14
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】591121683
【氏名又は名称】エッペンドルフ エスイー
【氏名又は名称原語表記】Ｅｐｐｅｎｄｏｒｆ ＳＥ
【住所又は居所原語表記】Ｂａｒｋｈａｕｓｅｎｗｅｇ １， ２２３３９ Ｈａｍｂｕｒｇ，Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所
(72)【発明者】
【氏名】ピーターマン、アレクサンダー
【テーマコード（参考）】
2H002
5C122
5L096
【Ｆターム（参考）】
2H002FB23
2H002FB24
2H002FB25
2H002FB37
5C122DA03
5C122DA04
5C122EA20
5C122EA21
5C122FA12
5C122FE02
5C122FF01
5C122FF03
5C122FF09
5C122FF15
5C122FF23
5C122FG14
5C122FK24
5C122GA01
5C122HA13
5C122HA35
5C122HB01
5C122HB10
5L096DA02
5L096EA35
5L096FA69
(57)【要約】
カメラの少なくとも１つのカメラパラメータの第１の値を決定するためのコンピュータ実装方法であり、方法は少なくとも、カメラによって撮像された第１の画像にアクセスする段階、ここで、第１の画像はシーンを表示し、第１のピクセルのセットを有し、ここで、シーンは第１のシーン領域を含み、第１のシーン領域は画像の第１の画像部分に表示され、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する段階、ここで、上記それぞれの第１のデータ項目は、上記各ピクセルに関連付けられたそれぞれの位置情報を有し、上記それぞれの位置情報は、第１の画像内の第１の画像部分の場所に対する上記各ピクセルの第１の画像内の位置を示し、第１のピクセルのセットの少なくとも第１の複数のピクセルを使用することによって、カメラパラメータの第１の値を決定する段階を備え、ここで、第１の複数のピクセルの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報は、第１の条件を満たす。
【特許請求の範囲】
【請求項1】
カメラの少なくとも１つのカメラパラメータの第１の値を決定するためのコンピュータ実装方法であって、少なくとも、－前記カメラによって撮像された第１の画像にアクセスする段階、ここで、前記第１の画像は、シーンを表示し、第１のピクセルのセットを有し、ここで、前記シーンは、第１のシーン領域を有し、前記第１のシーン領域は前記第１の画像の第１の画像部分に表示される；
－前記第１のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する段階、ここで、前記それぞれの第１のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第１の画像部分の場所に対する前記各ピクセルの前記第１の画像内の位置を示す；及び
－前記第１のピクセルのセットの少なくとも第１の複数のピクセルを使用することによって前記カメラパラメータの前記第１の値を決定する段階、ここで、前記第１の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第１の条件を満たす
を備える方法。
【請求項2】
前記第１のピクセルのセットの各ピクセルについて、前記それぞれの位置情報により、前記各ピクセルが前記第１の画像部分の外側の前記第１の画像内に配置されていることが特定される場合、前記各ピクセルに関連付けられた前記それぞれの位置情報は、前記第１の条件を満たす、又は、前記第１のピクセルのセットの各ピクセルについて、前記それぞれの位置情報により、前記第１の画像部分が前記各ピクセルを含むことが特定される場合、前記各ピクセルに関連付けられた前記それぞれの位置情報は、前記第１の条件を満たす、請求項１に記載の方法。
【請求項3】
前記第１のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報により、前記第１の画像部分が前記各ピクセルを含むかどうかが特定される、請求項１又は２に記載の方法。
【請求項4】
前記第１の画像を使用することによって、前記第１の画像内の前記第１の画像部分の前記場所を示す情報を取得する段階をさらに備える、請求項１から３のいずれか１項に記載の方法。
【請求項5】
前記第１のシーン領域内の前記第１の画像部分の前記場所を示す前記情報を取得する前記段階は、－前記第１の画像内の前記第１の画像部分の前記場所を決定するための位置特定アルゴリズム、
－前記シーン及び前記カメラの互いの前記位置を示す情報、
－前記カメラに関連付けられた外部較正パラメータのセット、
－前記カメラに関連付けられた内部較正パラメータのセット、
－前記第１のシーン領域の形状を示す情報、及び／又は
－前記シーン内の前記第１のシーン領域の場所を示す情報を使用することによって実行される、請求項４に記載の方法。
【請求項6】
－前記カメラパラメータの少なくとも前記第１の値を使用することによって第２の画像を取得する段階；－前記カメラパラメータの少なくとも第２の値を使用することによって第３の画像を取得する段階；及び
－前記第２の画像、前記第３の画像、及びハイダイナミックレンジアルゴリズムを使用することによって第４の画像を構築する段階をさらに備える、請求項１から５のいずれか１項に記載の方法。
【請求項7】
前記シーンは第２のシーン領域を有し、前記第２のシーン領域は前記第１の画像の第２の画像部分に表示され、ここで、前記第１の画像は第２のピクセルのセットを有し、方法は、－前記第２のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第２のデータ項目を生成する段階、ここで、前記それぞれの第２のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第２の画像部分の場所に対する前記各ピクセルの前記第１の画像内の前記位置を示す；及び
－前記第２のピクセルのセットの少なくとも第２の複数のピクセルを使用することによって前記カメラパラメータの前記第２の値を決定する段階、ここで、前記第２の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第２の条件を満たす、をさらに備える請求項６に記載の方法。
【請求項8】
前記第１のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの第１のデータ項目を生成する前記段階は、前記第１の画像部分の形状を示す情報を使用することによって実行される、請求項１から７のいずれか１項に記載の方法。
【請求項9】
少なくとも前記第１のピクセルのセットを使用することによって、前記カメラパラメータの前記第１の値を決定する前記段階は、第３のピクセルのセットの少なくとも各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報が、前記第１の条件を満たしているかどうかを少なくともチェックすることによって、前記第１の複数のピクセルを選択する段階、
ここで、前記第１のピクセルは、前記第３のピクセルのセットの各ピクセルを有する、を有する、請求項１から８のいずれか１項に記載の方法。
【請求項10】
前記カメラパラメータは、ゲイン、ＩＳＯ、露出値、露出時間、絞りサイズ、ホワイトバランスマトリックスのエントリ、焦点距離、輝度、コントラスト、Ｆ値、及び解像度からなるグループから選択される、請求項１から９のいずれか１項に記載の方法。
【請求項11】
前記シーンは、自動実験システムの作業デッキを有し、前記第１のシーン領域は、前記作業デッキの領域及び／又は実験器具アイテムの少なくとも一部を有する、請求項１から１０のいずれか１項に記載の方法。
【請求項12】
請求項１～１１のいずれか１項に記載の方法を実行するように構成された処理手段を備えるデータ処理システム。
【請求項13】
カメラ、請求項１～１１のいずれか１項に記載の方法を実行するように構成された処理手段、及び実験器具アイテムを位置決めするための作業デッキを備える、自動実験システム。
【請求項14】
システムに、請求項１～１１のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。
【請求項15】
コンピュータによって実行されると、システムに請求項１～１１のいずれか１項に記載の方法を実行させる命令を備える、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラパラメータの値を決定するための方法及びデバイスに関する。具体的には、本発明は、自動実験システム（Ａｕｔｏｍａｔｅｄ Ｌａｂｏｒａｔｏｒｙ Ｓｙｓｔｅｍ：ＡＬＳ）、より詳細には、自動ピペッティングシステムのカメラのカメラパラメータの値を決定するための方法及びデバイスに関する。本発明は、本発明の方法を実行するように構成されたＡＬＳ、例えば、自動ピペッティングシステムにも関する。
【背景技術】
【0002】
カメラで撮像された画像の品質は、ゲイン、ＩＳＯ、露出値、露出時間、絞りサイズ、焦点距離、輝度、コントラスト、解像度、Ｆ値、及び／又はホワイトバランスマトリックスのエントリなどのカメラパラメータの値に大きく依存する。較正パラメータの適切な値の推定値は、当技術分野で知られている較正方法を使用することによって取得され得る。典型的には、既知の較正方法は、上記カメラによって取得された較正画像のピクセルを使用することによって、カメラの少なくとも１つのパラメータの値（以下、「較正値」とも呼ばれる）を決定する。
【0003】
多くの技術分野では、画像は、その中に表示された物体を識別するために物体識別アルゴリズムによって処理される。典型的には、物体識別アルゴリズムは、画像全体又は１つ又は複数の関心領域（Ｒｅｇｉｏｎｓ Ｏｆ Ｉｎｔｅｒｅｓｔ：ＲＯＩ）を処理することによって、画像に表示された物体を識別する。ＲＯＩは、特に、識別及び／又は検出される少なくとも１つの物体が表示されることが予期される画像の領域である。例えば、ラボラトリオートメーションの分野では、識別すべき物体は実験器具アイテムであり、ＲＯＩはＡＬＳの作業デッキの一部である。
【0004】
多くの技術分野では、物体識別は比較的高い信頼性を有する。これは、例えば、自動運転の分野及びラボラトリオートメーションの分野の場合である。物体識別アルゴリズムの信頼性は、上記アルゴリズムによって処理される画像の品質、すなわち、上記画像のピクセルの強度が画像に表示されるシーンをどれだけ忠実に再現するかに依存する。したがって、最終的には、画像の品質は、上記画像を使用することによって実行される識別の信頼性に影響を与える。
【0005】
物体識別アルゴリズムが必要な信頼性を達成するためには、少なくともＲＯＩが十分な品質を有している、すなわち、上記領域のピクセルは、上記領域に表示されるシーンの部分を十分に忠実に再現している。既知の較正方法では、カメラの較正に使用するピクセルを選択できず、したがって、場合によっては、カメラの較正値を使用することによって撮像された画像のＲＯＩは、十分に高い品質ではない。
【0006】
これは、例えば、シーンの照明が均一でない場合、例えば、識別すべき物体をまったく含まないシーンの一部が明るく照らされている場合に発生する。この場合、カメラの較正値を使用することによって撮像された画像の少なくとも１つのＲＯＩは、露出不足になる。例えば、ラボラトリオートメーションの分野では、この事象は、ＡＬＳが白く明るく照らされたテーブルに置かれ、このテーブルの一部がカメラの視野内にある場合に発生し得る。例えば、識別すべき物体をまったく含まないシーンの一部が影の中にある場合、代わりに、少なくとも１つのＲＯＩが露出過度になり得る。
【0007】
さらに、ラボラトリオートメーションの分野では、シーンが明るい色の実験器具アイテム及び暗い色の実験器具アイテムを含む場合、同様の問題が発生し得る。この場合、カメラの較正値を使用することによって撮像された画像では、明るい色の実験器具アイテムを表示するＲＯＩが露出過度になり、及び／又は暗い色の実験器具アイテムを表示するＲＯＩが露出不足になる。
【0008】
したがって、上記画像が不均一に照らされたシーン及び／又は異なる輝度を有する物体を含むシーンを表示する場合でも、十分な品質で関心領域を有する画像を取得することを可能にするカメラパラメータの値を決定するための方法が必要である。
【0009】
これらの問題の少なくともいくつかは、請求項１に記載のコンピュータ実装方法、請求項１２に記載のデータ処理システム、請求項１４に記載のコンピュータプログラム製品、及び請求項１５に記載のコンピュータ可読記憶媒体に関する本出願の発明によって、少なくとも部分的に解決される。本発明の実施形態は、従属請求項の主題である。
【0010】
一態様では、本発明は、カメラの少なくとも１つのカメラパラメータの第１の値を決定するためのコンピュータ実装方法に関する。本発明の方法は、少なくとも以下の段階を備える。
－前記カメラによって撮像された第１の画像にアクセスする段階、ここで、前記第１の画像は、シーンを表示し、第１のピクセルのセットを有し、前記シーンは、第１のシーン領域を有し、前記第１のシーン領域は前記画像の第１の画像部分に表示される；
－前記第１のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する段階、ここで、前記それぞれの第１のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第１の画像部分の場所に対する前記各ピクセルの前記第１の画像内の前記位置を示す；及び
－前記第１のピクセルのセットの少なくとも第１の複数のピクセルを使用することによって前記カメラパラメータの前記第１の値を決定する段階、ここで、前記第１の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第１の条件を満たす。
－前記カメラによって撮像された第１の画像にアクセスする段階、ここで、前記第１の画像は、シーンを表示し、第１のピクセルのセットを有し、前記シーンは、第１のシーン領域を有し、前記第１のシーン領域は前記画像の第１の画像部分に表示される；
－前記第１のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する段階、ここで、前記それぞれの第１のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第１の画像部分の場所に対する前記各ピクセルの前記第１の画像内の前記位置を示す；及び
－前記第１のピクセルのセットの少なくとも第１の複数のピクセルを使用することによって前記カメラパラメータの前記第１の値を決定する段階、ここで、前記第１の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第１の条件を満たす。
【0011】
カメラは、多色カメラ、グレースケールカメラ、ビデオカメラ及び／又はフォトカメラであり得る。
【0012】
画像は、ベクトル画像又はピクセルの２次元グリッド、例えば、ピクセルの矩形グリッドであり得る。具体的には、画像内のピクセルの場所は、画像内のその２次元画像座標に関して一義的に決定され得、上記座標は、ピクセルの２次元グリッド内の上記ピクセルの場所を表す。
【0013】
画像、例えば第１及び／又は第２の画像は、少なくとも１つのビットマップによってエンコードされ得る。画像又はその一部をエンコードするビットマップは、上記画像又はその一部の各ピクセルの強度、すなわち、色を指定するビット配列を有し得る、例えば、ビット配列からなり得る。ビットマップは、配列のエントリがカラーテーブルのインデックスになるように、パレットインデックスを付け得る。配列のエントリは、ピクセルの色をエンコードするビットを記憶し得る。ビットマップは、ピクセルの２次元グリッドを表すドットマトリックスデータ構造を有し得る、例えば、ドットマトリックスデータ構造からなり得る。ビットマップは、ピクセル当たりのビット数、２次元グリッドの行当たりのピクセル数、及び／又は上記グリッドの列当たりのピクセル数に関する情報をさらに有し得る。画像ビューアは、ビットマップにエンコードされた情報を使用して、コンピューティングデバイスの画面に画像をレンダリングし得る。
【0014】
具体的には、第１の画像は、露出値をEｖ，０に設定し、露出時間をＥｔ，０に設定し、及び／又はＦ値をＦ０に設定してカメラを使用することによって撮像し得る。具体的には、第１の画像は第１のピクセルのセットからなる。第１の画像は、多色画像又はグレースケール画像であり得る。
【0015】
ピクセルの強度、例えば、色は、ＲＧＢカラーモデル、ＣＭＹカラーモデル、又はＣＭＹＫカラーモデルで表され得る。具体的には、ＲＧＢカラーモデルでは、ピクセルの強度は３つの整数値のトリプレットで表され、上記トリプレットの各値は０～２５５の範囲である。この場合、ピクセルの強度は３次元座標で表され得る。あるいは、又は上記と併せて、ＲＧＢモデルでは、ピクセルの強度は、色相、彩度、明度（ＨＳＶ）表現又は色相、彩度、輝度（ＨＳＬ）表現を使用することによって表わされ得る。具体的には、グレースケール画像では、ピクセルの強度は、単一の整数値で表され得、具体的には、上記値は、０から最大値までの範囲であり得る。例えば、上記最大値は、２５６又は６５，５３６に等しくし得る。
【0016】
具体的には、画像は、コンピューティングデバイス、例えば、本発明の方法を実行するコンピューティングデバイスの一次及び／又は二次メモリに記憶され得る。例えば、画像は、ファイルに記憶され、データベースに編成され、及び／又は記憶手段又はクラウドに記憶され得る。
【0017】
具体的には、第１のシーン領域は、第１の識別すべき物体を有する。例えば、第１のシーンは、ＡＬＳの作業デッキ及び、作業デッキ上に位置決めされた第１の実験器具アイテムを有し得、ここで、第１の実験器具アイテムは、識別される第１の物体である。この場合、第１の画像領域は、第１の実験器具アイテム及び作業デッキの少なくとも第１の領域を有し得る。具体的には、第１のシーン領域は、互いに切り離された複数のシーン領域からなり得る。例えば、第１のシーン領域は、第１の明るく照らされたシーン領域及び第２の陰になったシーン領域からなり得る。例えば、第１のシーン領域は、明るく照らされた実験器具アイテムを有する、シーンの第１の部分及び、暗い色の実験器具アイテムを有する、シーンの第２の部分からなり得る。
【0018】
第１の画像部分は、第１の画像の第４のピクセルのセットからなり得る。具体的には、第４のピクセルのセットは、第１のシーン領域を表示すると推定されるピクセルを有する、例えば、それらからなる。具体的には、第１のシーン画像部分は、互いに切り離された複数の画像部分からなり得る。例えば、第１の画像部分は、明るく照らされた実験器具アイテムを表示する画像の一部及び、暗い色の実験器具アイテムを表示するシーンの別の部分からなり得る。例えば、第１の画像部分は、明るく照らされたシーン領域を表示する画像の一部及び、陰になったシーン領域を表示するシーンの別の部分とからなり得る。具体的には、第１の画像部分は、第１のシーン領域を表示するピクセルからなる。
【0019】
画像にアクセスする段階は、例えば、コンピューティングデバイスから上記画像を受信する段階を有し得る。あるいは、又は上記と併せて、画像にアクセスする段階は、例えば、コンピューティングデバイスから、その一次及び／又は二次メモリから、データベースから、及び／又はクラウドから上記画像を取得する段階を有し得る。
【0020】
具体的には、第１の画像内の第１の画像部分の場所は、上記場所を示す情報によって特定され得る。例えば、この情報は、第４のピクセルのセットの各ピクセルの第１の画像内の位置を示す情報を有する。例えば、第１の画像部分の場所は、第１の画像内のこの部分の場所の推定値である。例えば、上記推定値は、第１の画像内の第１の画像部分の場所を決定するための位置特定アルゴリズムを使用することによって取得され得る。
【0021】
例えば、第４のピクセルのセットは、第１の画像の矩形グリッドである。あるいは、第４のピクセルのセットは、第１の画像の円であり得、上記円は、半径Ｒ及び中心ピクセルＣを有する。この場合、第４のピクセルのセットは、ｄ（Ｃ,Ｐ）≦Ｒのような第１の画像の各ピクセルＰからなり、ここでｄ（Ｃ,Ｐ）は、上記各ピクセル及び中心ピクセルの間の距離、例えば、ユークリッド距離である。
【0022】
第１の画像内の第１の画像部分の場所を示す情報をエンコードするために、そこに含まれる情報が取得され正しく解釈され得る限り、任意の構造フォーマットが使用され得る。例えば、上記情報が上記ピクセルのセットの各々の場所を正確に取得するのに十分である限り、第４のピクセルのセットに含まれるピクセルのいくつかの場所は、上記情報により特定され得る。例えば、第４のピクセルのセットが第１の画像の矩形グリッドである場合、上記グリッドの頂点の位置を示す情報は、第４のピクセルのセットの各ピクセルの場所を取得するのに十分である。さらに、例えば、第４のピクセルのセットが円である場合、第１の画像の中心ピクセルの位置及び半径の値は、第４のピクセルのセットの各ピクセルの場所を取得するのに十分である。
【0023】
第１のピクセルのセットの各ピクセルについて、第１の画像内の第１の画像部分の場所に対する上記各ピクセルの位置を示す情報により、上記各ピクセルが第１の画像部分、例えば、第４のピクセルのセットに含まれるかどうかが特定され得る。あるいは、又は上記と併せて、第１の画像部分の場所に対する上記各ピクセルの位置を示す情報により、上記各ピクセル及び第１の画像部分の間の距離かどうか、及び／又は上記距離が特定された距離値より長いかどうかが特定され得る。
【0024】
例えば、ピクセル及び第１の画像部分の間の距離は、上記ピクセル及び第４のピクセルのセットの参照ピクセルの間の距離であり得る。第４のピクセルのセットが矩形グリッド又は円である場合、参照ピクセルは、それぞれ矩形グリッドの中心に位置するピクセル又は中心ピクセルであり得る。具体的には、ピクセル及び参照ピクセルの間の距離は、これらのピクセル間のユークリッド距離であり、ピクセル単位で表され得る。
【0025】
例えば、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた第１のデータ項目は、上記各ピクセルに関連付けられた情報を生成することによって、上記各ピクセルに関連付けられた第１のデータ項目に上記情報をエンコードすることによって、及び上記第１のデータ項目をコンピューティングデバイスの一次及び／又は二次メモリに記憶することによって生成され得る。
【0026】
第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた情報は、第１の情報生成アルゴリズムの出力であり得る。例えば、第１の情報生成アルゴリズムは、第１の画像内のピクセルの位置を処理して、上記ピクセルが第１の画像部分、例えば、第４のピクセルのセットに含まれるかどうかを評価し得る。あるいは、又は上記と併せて、第１の情報生成アルゴリズムは、第１の画像内のピクセルの位置を処理して、上記ピクセル及び第４のピクセルのセットの参照ピクセルの間の距離を決定し、任意選択で、上記距離が特定された距離値より長い又はそれに等しい距離であるかどうかを評価し得る。
【0027】
本発明によるデータ項目は、具体的には、情報を含む記号のセットである。本発明によるデータ項目の各々は、ファイルに記憶され、データベースに編成され、及び／又は記憶手段又はクラウドに記憶され得る。２つ以上のデータ項目が同じファイルに一緒に記憶され得る。例えば、第１のピクセルのセットのピクセルに関連付けられた第１のデータ項目は、複数のエントリを含む配列データ構造に記憶され得る。具体的には、第１のピクセルのセットの各ピクセルに対して、上記各ピクセルに関連付けられた第１のデータ項目を含む配列データ構造のそれぞれのエントリが存在する。
【0028】
第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目は、整数、浮動小数点数、又はブールデータ型を有し得る。例えば、上記それぞれの第１のデータ項目がブールデータ型を有する場合、値「真」は、上記各ピクセルが第１の画像部分に含まれないことを示す情報をエンコードし、値「偽」は、上記各ピクセルが第１の画像部分に含まれることを示す情報をエンコードする。あるいは、値「真」は、上記各ピクセルが第１の画像部分に含まれることを示す情報、及び値「偽」は、上記各ピクセルが第１の画像部分に含まれないことを示す情報をエンコードし得る。さらに、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた第１のデータ項目は、整数又は浮動小数点データ型を有する場合、上記それぞれの第１のデータ項目の値により、上記各ピクセル及び第４のピクセルのセットの参照ピクセルの間の距離が特定される。
【0029】
例えば、第１のピクセルのセットの各ピクセルについて、それに関連付けられた第１のデータ項目がブールデータ型を有する場合、第１の条件は、上記各ピクセルに関連付けられた第１のデータ項目の値が「真」であるという条件を有し得る。第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた第１のデータ項目の値により、上記各ピクセル及び参照ピクセルの間の距離が特定される場合、第１の条件は、第１のデータ項目が特定された距離値より大きい又はそれに等しいという条件を有し得る。具体的には、第１の複数のピクセルの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報は、少なくともさらなる条件を満たし得る。
【0030】
カメラパラメータの第１の値を決定する段階は、決定アルゴリズムを使用することによって実行され得る。具体的には、決定アルゴリズムは、第１の複数のピクセルの各ピクセルの強度を処理して、カメラパラメータの第１の値を決定する。決定アルゴリズムは、具体的には、カメラパラメータの較正アルゴリズムである。
【0031】
具体的には、カメラパラメータの第１の値を決定する段階は、第１の複数のピクセルに含まれない第１の画像の１つ又は複数のピクセルも使用することによって実行され得る。例えば、カメラパラメータの第１の値の決定のロバスト性を推定するために、上記値は、第１の複数のピクセル及び第３の複数のピクセルを使用することによって決定され得、第３の複数のピクセルのピクセル数は、第１の複数のピクセルのピクセル数よりはるかに少ない。本発明によれば、前者の数及び後者の数の間の比が０．１より小さい又はそれに等しい、具体的には、０．０１より小さい又はそれに等しい、より具体的には、０．００１より小さい又はそれに等しい場合、複数のピクセルのピクセル数は、さらなる複数のピクセルのピクセル数よりはるかに少ない。
【0032】
さらに、第１の複数のピクセルは、上記各ピクセルに関連付けられたそれぞれの位置情報が第１の条件を満たすように、第１のピクセルのセットの各ピクセルを含み得る。あるいは、第１のピクセルのセットの少なくとも１つのピクセルは、上記ピクセルに関連付けられた位置情報が第１の条件を満たす場合でも、第１の複数のピクセルに含まれ得ない。
【0033】
カメラパラメータの第１の値を決定する段階は、第１の複数のピクセルを使用することによってピクセルレベルで実行される。したがって、上記段階は、当技術分野で知られている較正アルゴリズム、例えば、カメラを較正するための既知のパッケージ及びライブラリで実装されているアルゴリズムによって、第１の複数のピクセルのピクセルを処理することによって実行され得る。
【0034】
カメラパラメータの第１の値を決定する段階は、カメラのカメラパラメータのセットの各カメラパラメータについて、上記各カメラパラメータのそれぞれの第１の値を決定する段階を含み得る。具体的には、カメラパラメータは、カメラパラメータのセットに含まれる。例えば、カメラパラメータが、ホワイトバランスマトリックスのエントリである場合、カメラパラメータのセットは、上記マトリックスの各エントリを含み得る。
【0035】
第１の条件は、第１の複数のピクセルのピクセルに関連付けられた位置情報によって満たされる要件である。したがって、最終的に、第１の条件は、第１の複数のピクセルのピクセルによって、ピクセルレベルで満たされるように位置制約をエンコードする。これらのピクセルはシーンのいくつかの特徴を再現し、第１の画像部分は第１のシーン領域を表示する。したがって、位置制約は、いくつかのシーン情報、すなわち、シーンの特徴に関する情報、具体的には、第１のシーン領域に対する、例えば、識別すべき物体を表示するＲＯＩに対するそれらの位置に関する情報に基づいている。したがって、本発明の方法は、シーンの特徴、例えば、第１のシーン領域に対する上記特徴の位置に基づく制約を満たすピクセルを使用することによって、ピクセルベースのカメラ較正を実行することを可能にする。このようにして、本発明によって実行される較正は、シーンの特徴に適合され、第１の複数のピクセルによって表示される特徴に対して最適化される。具体的には、カメラパラメータの第１の値を使用することによって撮像された画像は、第１のピクセルのセットのピクセルによって表示されるシーンの特徴の忠実な表現を提供する。
【0036】
例えば、カメラはＡＬＳに含まれ得て、第１のシーン領域は、上記ＡＬＳが位置決めされる暗い色のテーブルの一部を含み得る。この場合、位置制約により、第１の複数のピクセルのピクセルを第１の画像部分の外側に配置することが必要になり得る。この場合、第１の値の決定は、シーンの特徴に関する情報、すなわち、暗い色のテーブルの存在及び場所を考慮することによって実行される。具体的には、この場合、カメラパラメータの第１の値は、テーブルの一部を表すピクセルを考慮せずに決定される。したがって、カメラパラメータの第１の値を使用することによって撮像された画像は、暗い色のテーブルを含まないシーン領域を忠実に再現する。
【0037】
あるいは、第１のシーン領域は、識別される実験器具アイテムを含み得る。この場合、位置制約は、第１の複数のピクセルのピクセルが第１の画像部分に含まれる場合に満たされ得る。このようにして、決定は、識別される実験器具アイテムの位置に関する情報を考慮することによって、すなわち、実験器具アイテムを描写するピクセルを使用することによって実行される。したがって、カメラパラメータの第１の値を使用することによって撮像された画像は、識別される実験器具アイテムを含むシーン領域を忠実に再現し、それによって、上記アイテムの識別の精度を向上させる。
【0038】
シーンの特徴に対する本発明の較正の適応性は、位置制約が基づくシーン情報の量と共に向上する。例えば、位置制約は、シーンが既知の物体を含む場合、具体的には、カメラに対する上記物体の位置が既知である場合、比較的大量のシーン情報に基づき得る。この情報量は、シーンに含まれ得る物体の少なくとも一部がシーンの所与の場所にのみ位置決めされ得る場合にさらに増加する。
【0039】
これは、例えば、カメラがＡＬＳに含まれている場合であり、この場合、シーンは、既知の物体、例えば、作業デッキ及びＡＬＳが位置決めされているテーブルを含む。さらに、この場合、作業デッキ及びカメラは、典型的には、互いに対して固定位置に配置されるため、シーン内の作業デッキの位置は既知である。さらに、典型的には、シーンに含まれ得る物体の少なくとも一部、例えば、実験器具アイテムは、作業デッキの予め決められた領域、すなわち、シーンの所与の場所に位置決めされ得る。
【0040】
本発明の一実施形態では、カメラパラメータは、ゲイン、ＩＳＯ、露出値、露出時間、絞りサイズ、ホワイトバランスマトリックスのエントリ、焦点距離、輝度、コントラスト、Ｆ値、及び解像度からなるグループから選択される。
【0041】
例えば、カメラパラメータが露出値の場合、露出値の第１の値Ｅｖ，１は、次の式
及び以下で説明する式（２）～（５）によって記述される較正アルゴリズムを使用することによって計算され得る。量Ｂ１は第１の複数のピクセルＰ１のピクセルの平均輝度であり、量Ｂｏｐｔは最適輝度である。
【数1】
【0042】
例えば、ピクセルの強度がＲＧＢカラーモデルで表現されている場合、平均輝度は次の式に従って計算され得る。
ここで、（Ｒｉ Ｇｉ Ｂｉ）は、第１の複数のピクセルＰ１のピクセルｉの強度を決定するトリプレットであり、Ｎ１は、第１の複数のピクセルのピクセル数である。関数ｆは、ピクセルの輝度を決定するための式であり得る。例えば、関数ｆは以下の式と等しくなり得る。
ｆ（（Ｒ Ｇ Ｂ））＝ｃ１Ｒ＋ｃ２Ｇ＋ｃ３Ｂ （３）
具体的には、係数ｃ１、ｃ２、ｃ３は、
（ｃ１＝０．２１２６，ｃ２＝０．７１５２，ｃ３＝０．０７２２）； （４ａ)
と等しくなり得るか、
又は、
（ｃ１＝０．２９９，ｃ２＝０．５８７，ｃ３＝０．１１４）； （４ｂ）
と等しくなり得るか、又は、（ｃ１＝０．３，ｃ２＝０．５９，ｃ３＝０．１１）． （４ｃ）
と等しくなり得る。
あるいは、以下の関係が実質的に成立し得る。
ｃ１＝１／３，ｃ２＝１／３，ｃ３＝１／３． （４ｄ）
具体的には、係数ｃ１、ｃ２、ｃ３の各々は、０．３３及び０．３３３３３の間の間隔、より具体的には、０．３３３及び０．３３３３の間の間隔に含まれ得る。
【数2】
ｆ（（Ｒ Ｇ Ｂ））＝ｃ１Ｒ＋ｃ２Ｇ＋ｃ３Ｂ （３）
具体的には、係数ｃ１、ｃ２、ｃ３は、
（ｃ１＝０．２１２６，ｃ２＝０．７１５２，ｃ３＝０．０７２２）； （４ａ)
と等しくなり得るか、
又は、
（ｃ１＝０．２９９，ｃ２＝０．５８７，ｃ３＝０．１１４）； （４ｂ）
と等しくなり得るか、又は、（ｃ１＝０．３，ｃ２＝０．５９，ｃ３＝０．１１）． （４ｃ）
と等しくなり得る。
あるいは、以下の関係が実質的に成立し得る。
ｃ１＝１／３，ｃ２＝１／３，ｃ３＝１／３． （４ｄ）
具体的には、係数ｃ１、ｃ２、ｃ３の各々は、０．３３及び０．３３３３３の間の間隔、より具体的には、０．３３３及び０．３３３３の間の間隔に含まれ得る。
【0043】
あるいは、関数ｆは以下の式と等しくなり得る。
ここで、例えば、ａｉ＝ｃｉ∀ｉ＝１，２，３であり、より具体的には、ａ１＝０．２９９、ａ２＝０．５８７、及び、ａ３＝０．１１４である。最適輝度Ｂｏｐｔは、１８％グレーカードの平均輝度値であり得る。
【数3】
【0044】
あるいは、又は上記と併せて、露出値の第１の値を決定する段階は、第１の複数のピクセルの各ピクセルを使用することによって、Ｒチャネル、Ｇチャネル、及びＢチャネルのヒストグラム分布を生成する段階を含み得る。あるいは、又は上記と併せて、露出値の第１の値を決定する段階は、第１の複数のピクセルの各ピクセルを使用することによって、グレースケールチャネルのヒストグラム分布を生成する段階を含み得る。
【0045】
具体的には、第１の画像が単色である場合、後者のヒストグラムは、第１の複数のピクセルの各ピクセルにグレースケール強度を関連付けることによって構築され得る。第１の複数のピクセルのピクセルｉに関連付けられたグレースケール強度ＩＧ，ｉは、以下の式によって与えられ得る。
ＩＧ，ｉ＝ｃ１Ｒｉ＋ｃ２Ｇｉ＋ｃ３Ｂｉ
ここで、（Ｒｉ Ｇｉ Ｂｉ）は、第１の複数のピクセルＰ１のピクセルｉの強度を決定するトリプレットである。係数ｃ１、ｃ２、ｃ３は上記で説明されており、それらの数値は式（４ａ）～（４ｄ）の各々によって与えられ得る。
ＩＧ，ｉ＝ｃ１Ｒｉ＋ｃ２Ｇｉ＋ｃ３Ｂｉ
ここで、（Ｒｉ Ｇｉ Ｂｉ）は、第１の複数のピクセルＰ１のピクセルｉの強度を決定するトリプレットである。係数ｃ１、ｃ２、ｃ３は上記で説明されており、それらの数値は式（４ａ）～（４ｄ）の各々によって与えられ得る。
【0046】
第１の値を決定する段階は、第１の画像が露出過度であるか露出不足であるかを決定し、それに応じて露出値を修正することをさらに含み得る。具体的には、第１の画像が露出不足である場合、露出値の第１の値Ｅｖ，１は、Ｅｖ，０、例えば、Ｅｖ，１＝２Ｅｖ，０より大きくなるように選択される。具体的には、第１の画像が露出過度である場合、露出値の第１の値Ｅｖ，１は、Ｅｖ，０、例えば、Ｅｖ，１＝Ｅｖ，０／２より小さくなるように選択される。
【0047】
例えば、カメラパラメータが露出時間である場合、露出時間の秒単位で表される第１の値Ｅｔ，１は、以下の式を使用することによって決定され得る。
カメラパラメータがＦ値の場合、Ｆ値の第１の値Ｆ１は、次の式を使用することによって決定され得る。
ここで、Ｅｔ，０は秒単位で表される。式（６）及び（７）では、Ｅｔ，１は、式（１）を使用することによって計算され得る。
【数4】
【数5】
【0048】
具体的には、カメラパラメータは、対角の３次元ホワイトバランシングマトリックスのエントリであり得る。カメラパラメータの第１の値を決定する段階は、上記マトリックスの第１の対角エントリの第１の値ｖ１、第２の対角エントリの第１の値ｖ２、及び第３の対角エントリの第１の値ｖ３を決定する段階を含み得る。例えば、値ｖ１、ｖ２、及び、ｖ３は、以下の式を使用することによって計算され得る。
ここで、
である。
式（９）では、（Ｒｉ Ｇｉ Ｂｉ）は、第１の複数のピクセルＰ１のピクセルｉの強度を決定するトリプレットであり、Ｎ１は、第１の複数のピクセルに含まれるピクセルの数である。具体的には、Ｒｒｅｆ、Ｇｒｅｆ、及び、Ｂｒｅｆの各々は、２５５と等しくなり得る。あるいは、又は上記と併せて、以下の関係が実質的に成立し得る。
Ｒｒｅｆ＝Ｇｒｅｆ＝Ｂｒｅｆ＝（Ｒａｖｇ＋Ｇａｖｇ＋Ｂａｖｇ） （１０）
本発明のさらなる実施形態では、第１のピクセルのセットの各ピクセルについて、上記それぞれの位置情報により、上記各ピクセルが第１の画像部分の外側の第１の画像内に配置されていることが特定される場合、上記各ピクセルに関連付けられたそれぞれの位置情報は、第１の条件を満たす。
【数6】
【数7】
式（９）では、（Ｒｉ Ｇｉ Ｂｉ）は、第１の複数のピクセルＰ１のピクセルｉの強度を決定するトリプレットであり、Ｎ１は、第１の複数のピクセルに含まれるピクセルの数である。具体的には、Ｒｒｅｆ、Ｇｒｅｆ、及び、Ｂｒｅｆの各々は、２５５と等しくなり得る。あるいは、又は上記と併せて、以下の関係が実質的に成立し得る。
Ｒｒｅｆ＝Ｇｒｅｆ＝Ｂｒｅｆ＝（Ｒａｖｇ＋Ｇａｖｇ＋Ｂａｖｇ） （１０）
本発明のさらなる実施形態では、第１のピクセルのセットの各ピクセルについて、上記それぞれの位置情報により、上記各ピクセルが第１の画像部分の外側の第１の画像内に配置されていることが特定される場合、上記各ピクセルに関連付けられたそれぞれの位置情報は、第１の条件を満たす。
【0049】
例えば、第４のピクセルのセットが半径及び中心ピクセルを有する円である場合、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報により、上記各ピクセル及び中心ピクセルの間の距離が半径より大きいかどうかが特定される。この場合、具体的には、第１の条件は、上記距離が円の半径より大きいという条件を含む。
【0050】
例えば、第１の画像部分に識別すべき物体が表示されている場合、本実施形態では、第１の値の決定は、上記物体を表示しないピクセル、例えば、シーンの背景領域を表示するピクセルを使用することによって実行される。例えば、カメラがＡＬＳに含まれている場合、シーンの背景領域は実験器具アイテムのない作業デッキの部分を含む。この場合、シーンの背景領域を表示するピクセルは、通常、作業デッキの色が既知であるため、ホワイトバランスマトリックスのエントリの第１の値を決定するために使用され得る。
【0051】
この場合、較正パラメータの第１の値は、識別すべき物体を表示しないシーン部分、例えば、シーンの所与の背景部分を忠実に再現するように最適化される。したがって、例えば、カメラパラメータの第１の値を使用することによって撮像された画像は、ハイダイナミックレンジ（Ｈｉｇｈ－Ｄｙｎａｍｉｃ－Ｒａｎｇｅ：ＨＤＲ）アルゴリズムによって処理され、シーンの背景領域及び第１のシーン領域の両方が忠実に再現された画像が生成され得る。
【0052】
本発明のさらなる実施形態によれば、第１のピクセルのセットの各ピクセルについて、上記それぞれの位置情報により、第１の画像部分が上記各ピクセルを含むことが特定される場合、上記各ピクセルに関連付けられたそれぞれの位置情報は、第１の条件を満たす。
【0053】
例えば、第４のピクセルのセットが半径及び中心ピクセルを有する円である場合、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報により、上記各ピクセル及び中心ピクセルの間の距離が半径より短い又はそれと等しいかどうかが特定される。この場合、具体的には、第１の条件は、上記距離が円の半径より短い又はそれと等しいという条件を含む。
【0054】
例えば、第１の画像部分が識別すべき物体を表示する場合、本実施形態では、カメラパラメータの第１の値の決定は、上記物体を表示するピクセルを使用することによって実行される。この場合、較正パラメータの第１の値は、したがって、ＲＯＩ、すなわち、識別すべき物体を表示する画像部分を忠実に再現するように最適化される。したがって、例えば、カメラパラメータの第１の値を使用することによって撮像された画像は、ＨＤＲアルゴリズムによって処理され、シーンの背景部分及び第１のシーン領域の両方が忠実に再現された画像が生成され得る。
【0055】
本発明の一実施形態では、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報により、第１の画像部分が上記各ピクセルを含むかどうかが特定される。例えば、第４のピクセルのセットが半径及び中心ピクセルを有する円である場合、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報により、上記各ピクセル及び中心ピクセルの間の距離が半径より短い又はそれと等しいかどうかが特定される。
【0056】
本発明の方法のさらなる実施形態は、以下の段階をさらに備える。
－第１の画像内の第１の画像部分の場所を示す情報を取得する段階。
－第１の画像内の第１の画像部分の場所を示す情報を取得する段階。
【0057】
第１の画像部分の場所を示す情報を取得する段階は、例えば、コンピューティングデバイスから上記情報を受信する段階を備え得る。あるいは、又は上記と併せて、第１の画像部分の場所を示す情報を取得する段階は、例えば、コンピューティングデバイス、その一次及び／又は二次メモリ、データベース、及び／又はクラウドから上記情報を取得する段階を備え得る。
【0058】
具体的には、第１の画像内の第１の画像部分の場所を示す情報を取得する段階は、第１の画像を使用することによって実行される。この場合、例えば、第１の画像内の第１の画像部分の場所を示す情報は、第１の画像のピクセルを処理して上記情報を生成するアルゴリズムを使用することによって取得され得る。
【0059】
本発明の方法のさらなる実施形態では、第１の領域内の第１の画像部分の場所を示す情報を取得する段階は、第１の画像内の第１の画像部分の場所を決定するための位置特定アルゴリズムを使用することによって実行され得る。
【0060】
アルゴリズムは、具体的には、入力情報を処理して出力情報を取得するための命令の集まり、例えば、シーケンスである。アルゴリズムの命令は、コンピュータに実装され、例えば、本発明によるデータ処理システムのプロセッサによって実行され得る。具体的には、アルゴリズムの入力情報は、アルゴリズムを実行するプロセッサによってアクセスされ得る入力データにエンコードされる。具体的には、プロセッサは、アルゴリズムの命令に従って入力データを処理し、通常は出力データにエンコードされる出力情報を生成する。本発明によれば、具体的には、アルゴリズムは、プロセッサによって実行されると、上記プロセッサにこれらのデータを処理させる命令を含む場合、アルゴリズムはデータを処理する。
【0061】
例えば、第１の画像内の第１の画像部分の場所を示す情報は、この部分の場所の推定値を示す情報からなり得る。具体的には、上記推定値は、位置特定アルゴリズムを使用することによって取得し得る。
【0062】
例えば、第１の画像部分の場所を示す情報を取得する段階は、位置特定アルゴリズムを使用することによって上記情報を生成する段階を有する。上記情報は、位置特定アルゴリズムの出力であり得、具体的には、上記アルゴリズムを実行することによって生成され得る。具体的には、位置特定アルゴリズムは、第１の画像のピクセルの第１の配列の各ピクセルの位置及び強度値を有する入力データを処理する。ピクセルの第１の配列は、第１のピクセルのセットを有し得、具体的には、第１の画像は、ピクセルの第１の配列からなり得る。位置特定アルゴリズムは、機械学習アルゴリズム、例えば、分類器を有し得る。
【0063】
位置特定アルゴリズムは、本発明の方法を実装するコンピューティングデバイスによって実行されると、上記デバイスに第１の画像のピクセルを処理させて、第１の画像が第１の物体を表示するかどうかを評価させ、それによって、出力データを生成する命令を有し得る。上記出力データは、第１の画像が第１の物体を有するかどうかを特定する情報、及び／又は第１の画像が第１の物体を表示する確率を特定する情報を有する。さらに、上記出力データは、第１の物体が第１の画像内に表示される場所の推定値を示す情報を有する。上記情報は、第１の物体を有する第１のシーン領域を表示する第１の画像部分の場所を示す情報を構成する。
【0064】
例えば、第１のシーン領域が第１の物体、例えば、第１の実験器具アイテムを有する場合、位置特定アルゴリズムは分類器を有し得る。具体的には、分類器は、マルチクラス分類を実行して、第１の物体がどのクラスに属するかを示す情報を生成する。さらに、上記分類は、第１の物体が第１の画像内に表示される場所の推定値を示す情報を生成する。次いで、後者の情報を使用して、第１の物体を有する第１のシーン領域を表示する第１の画像部分の場所を示す情報を生成する。分類器によって実行される分類は、第１の画像部分の位置の推定値を提供するためだけに使用されるため、分類器は特に正確である必要はない。具体的には、この場合、第１の物体の位置の十分に正確な推定値は、大規模な訓練手順及び／又は大規模な訓練データセットを必要とせずに達成され得る。
【0065】
位置特定アルゴリズムの使用により、上記情報を、例えば、ハードコーディングすることによって、及び／又はコンピュータの二次メモリに記憶することによって提供する必要なく、第１の画像の場所に関する情報を決定することを可能にする。このようにして、本発明の方法の実装が単純化され、人的エラーの原因を低減させる。例えば、カメラがＡＬＳに含まれている場合、作業デッキ上の実験器具アイテムの位置、したがって、カメラによって撮像されるシーンは、ＡＬＳが実行する必要がある実験法によって異なる。本実施形態によれば、位置特定アルゴリズムは、第１の画像部分の位置を示す情報に対応する変更をハードコード及び／又は記憶する必要なく、シーンの起こり得る変更を自動的に処理する。
【0066】
本発明の方法の一実施形態によれば、第１の領域内の第１の画像部分の場所を示す情報を取得する段階は、以下を使用することによって実行され得る。
ｏ カメラに関連付けられた外部較正パラメータのセット、
ｏ カメラに関連付けられた内部較正パラメータのセット、
ｏ シーン及びカメラの互いの位置を示す情報、
ｏ 第１のシーン領域の形状を示す情報、及び／又は
ｏ シーン内の第１のシーン領域の場所を示す情報。
ｏ カメラに関連付けられた外部較正パラメータのセット、
ｏ カメラに関連付けられた内部較正パラメータのセット、
ｏ シーン及びカメラの互いの位置を示す情報、
ｏ 第１のシーン領域の形状を示す情報、及び／又は
ｏ シーン内の第１のシーン領域の場所を示す情報。
【0067】
具体的には、カメラに関連付けられた外部較正パラメータは、ワールドフレームに対する上記カメラの位置及び／又は向きをカメラモデル（ピンホールカメラモデルなど）に従って記述する。外部パラメータのセットは、３次元ワールド座標系からカメラの３次元座標系への変換を記述するのに適した外部較正パラメータを有し得る。具体的には、外部パラメータのセットは、３次元回転行列のエントリ及び３次元並進ベクトルの座標を決定するのに適したパラメータを有し得る。具体的には、３次元回転行列及び３次元並進ベクトルは、３次元ワールド座標系からカメラの３次元座標系への変換を記述する。外部パラメータのセットは、カメラを較正するために、外部較正方法を使用することによって取得され得る。
【0068】
具体的には、カメラに関連付けられた内部較正パラメータは、上記カメラの内部特性を記述し得、上記カメラを較正するために内部較正方法を使用することによって取得され得る。内部パラメータのセットは、カメラの３次元座標系から第１の画像の２次元座標への射影変換を記述するのに適した内部較正パラメータを有し得る。例えば、内部較正パラメータのセットは、カメラの焦点距離、光学中心、スケール係数、スキュー係数、主点座標、半径方向歪み係数、及び／又は接線方向歪み係数を有する。内部パラメータのセットは、カメラ行列のエントリ、例えば、焦点距離及び光学中心を決定するのに適したパラメータを有し得る。
【0069】
例えば、位置特定アルゴリズムが、内部較正パラメータのセットの要素及び／又は外部較正パラメータのセットの要素に依存するように、位置特定アルゴリズムによって処理される入力データは、内部較正パラメータのセットの要素及び／又は外部較正パラメータのセットの要素に依存、例えば、それらを有し得る。具体的には、外部較正パラメータのセット及び／又は内部較正パラメータのセットは、それぞれ、カメラに関連付けられた１つ又は複数の外部較正パラメータ及び／又は１つ又は複数の内部較正パラメータからなる。
【0070】
外部較正パラメータのセットの外部パラメータ及び／又は内部較正パラメータのセットの内部パラメータは、位置特定アルゴリズムによって使用されて第１の画像を処理し、それによって、上記アルゴリズムによって処理されるデータの品質が向上し得る。例えば、上記パラメータは、カメラの内部特性に対して第１の画像を調整するため、及び／又は第１の画像内に表示される作業デッキ及び／又は実験器具アイテムを位置合わせさせるために使用され得る。あるいは、又は上記と併せて、前述のパラメータは、第１の画像に描かれたシーンの幾何学的特徴に関する情報を取得するために、位置特定アルゴリズムによって使用され得る。例えば、外部及び／又は内部パラメータは、第１の画像内の物体のサイズを推定するため、及び／又は作業デッキ又は実験器具アイテムに対するカメラの場所を決定するために使用され得る。このようにして、第１の画像部分の位置を示す情報の精度が向上する。
【0071】
例えば、シーンがＡＬＳの作業デッキを有する場合、シーン及びカメラの互いの位置を示す情報は、作業デッキに対するカメラの焦点面の位置及び向きを示す情報を有し得る。例えば、後者の情報は、作業デッキがｘ、ｙ平面内に位置する参照フレーム内の焦点面の少なくとも３つの点の座標を有し得る。焦点面が作業デッキに対して実質的に平行である場合、シーン及びカメラの互いの位置を示す情報は、前述の参照フレーム内の焦点面の１つの点の座標からなり得る。
【0072】
第１のシーン領域が第１の実験器具アイテム及び作業デッキの第１の部分を有する場合、第１のシーン領域の形状を示す情報は、第１の実験器具アイテムの形状を示す情報を有し得る。例えば、第１の実験器具アイテムがリザーバラックである場合、第１のシーン領域の形状を示す情報により、第１のシーン領域が概して平行六面体の形状を有することが特定される。
【0073】
第１のシーン領域が第１の実験器具アイテム及び作業デッキの第１の部分を有する場合、シーン内の第１のシーン領域の場所を示す情報により、作業デッキに対する第１の実験器具アイテムの場所が特定され得る。例えば、上記情報は、第１の実験器具アイテムが位置決めされているか又は位置決めされることが予期される、作業デッキの領域の場所に関する情報を有し得る。
【0074】
例えば、位置特定アルゴリズムによって処理された入力データは、シーン及びカメラの互いの位置を示す情報、第１のシーン領域の形状を示す情報、及び／又はシーン内の第１のシーン領域の場所データを示す情報に依存、例えば、それらを有し得る。
【0075】
シーンに関する情報及び／又は第１のシーン領域に関する情報は、第１の画像部分の場所がシーン内の第１のシーン領域の位置に依存するため、第１の画像部分の上記場所の決定の精度を高めることを可能にする。この精度は、シーン及びカメラの互いの位置を示す情報が、第１のシーン領域の形状及び／又は場所に関する情報と組み合わされると、さらに向上する。
【0076】
さらに、シーンに関する情報及び／又は第１のシーン領域に関する情報は、第１の画像領域を表示する第１の画像の部分、例えば、第１の画像部分の比較的正確な位置特定を可能にする。したがって、本実施形態では、第１の条件によってエンコードされる位置制約は、第１のシーン領域に対する第１の複数のピクセルによって表示される特徴の位置の比較的正確なピクセルベースの記述に基づいている。したがって、シーンの特徴に対する本発明の較正の適応性がさらに向上する。
【0077】
本発明の方法の一実施形態は、以下の段階を備える。
－カメラパラメータの少なくとも第１の値を使用することによって第２の画像を取得する段階。
－カメラパラメータの少なくとも第１の値を使用することによって第２の画像を取得する段階。
【0078】
本実施形態では、具体的には、カメラパラメータは露出時間であり、及び／又は第２の画像はシーンを表示する。具体的には、本実施形態では、第１のシーン領域は、識別される第１の物体、例えば、第１の実験器具アイテムを有し、第１の画像部分は、上記物体の少なくとも一部、例えば、第１の物体全体を表示する。さらに、本発明の方法は、第２の画像を使用することによって第１の物体を識別する段階をさらに備え得る。
【0079】
本実施形態では、カメラパラメータの第１の値は、識別される第１の物体を表示するピクセルを使用することによって決定される。したがって、カメラパラメータの第１の値を使用することによって撮像される第２の画像は、上記物体の忠実な表現を提供する。このようにして、物体の識別の精度が向上する。
【0080】
カメラパラメータの値を使用することによって画像を取得する段階は、カメラパラメータを上記値に設定してカメラを使用することによって上記画像を撮像する段階を有し得る、例えば、撮像する段階からなり得る。この段階は、例えば、コンピューティングデバイス及び／又はカメラの一次又は二次メモリに上記画像を記憶する段階、及び上記画像にアクセスする段階をさらに有し得る。
【0081】
第２の画像を取得する段階は、カメラパラメータの第１の値を使用することによって第１の画像を修正する段階を有し得る、例えば、修正する段階からなり得る。例えば、カメラパラメータの第１の値を決定する段階が、式（８）で定義される値ｖ１、ｖ２、及び、ｖ３を決定する段階を有する場合、第２の画像は、以下の行列を使用することによって第１の画像のピクセルの強度を修正することによって取得され得る。
具体的には、第２の画像は第１の画像のピクセルからなり、第２の画像では、ピクセルｉの強度はトリプレット（Ｒ'ｉ Ｇ'ｉ Ｂ'ｉ）によって表され、ここで、第２の画像の各ピクセルｉについて、以下の関係が成立する。
（Ｒ'ｉ Ｇ'ｉ Ｂ'ｉ）＝Ｗ１（Ｒｉ Ｇｉ Ｂｉ）Ｔ＝（ｖ１Ｒｉ ｖ２Ｇｉ ｖ３Ｂｉ）Ｔ （１２）
式（１２）では、記号「Ｔ」は転置操作を表し、トリプレット（Ｒｉ Ｇｉ Ｂｉ）は第１の画像内のピクセルの強度を表す。
【数8】
（Ｒ'ｉ Ｇ'ｉ Ｂ'ｉ）＝Ｗ１（Ｒｉ Ｇｉ Ｂｉ）Ｔ＝（ｖ１Ｒｉ ｖ２Ｇｉ ｖ３Ｂｉ）Ｔ （１２）
式（１２）では、記号「Ｔ」は転置操作を表し、トリプレット（Ｒｉ Ｇｉ Ｂｉ）は第１の画像内のピクセルの強度を表す。
【0082】
本発明の方法の一実施形態は、以下の段階を備える。
－カメラパラメータの少なくとも第２の値を使用することによって第３の画像を取得する段階；及び
－第２の画像、第３の画像、及びハイダイナミックレンジ（ＨＤＲ）アルゴリズムを使用することによって第４の画像を構築する段階。
－カメラパラメータの少なくとも第２の値を使用することによって第３の画像を取得する段階；及び
－第２の画像、第３の画像、及びハイダイナミックレンジ（ＨＤＲ）アルゴリズムを使用することによって第４の画像を構築する段階。
【0083】
本実施形態では、例えば、カメラパラメータは露出時間である。具体的には、第３の画像はシーンを表示し、及び／又は第３の画像は第１の画像である。
【0084】
画像は、ダイナミックレンジと呼ばれる所与の輝度間隔内に含まれる輝度値を有するシーンの特徴を忠実に表示できる。ダイナミックレンジ外の輝度値を有するシーンの特徴は、画像では識別できない。具体的には、輝度間隔の下端点よりも小さい輝度を有するシーンの特徴は黒く見え、ダイナミックレンジの上端点よりも大きい輝度値を有するシーンの特徴は白く見える。一般に、ダイナミックレンジに含まれる輝度値は、画像を撮像するために使用されるカメラパラメータの値、例えば、露出時間に依存する。
【0085】
具体的には、ＨＤＲアルゴリズムは、同じシーンを描写する複数の入力画像を処理して、入力画像のダイナミックレンジより大きいダイナミックレンジを有するＨＤＲ画像、例えば、第４の画像を構築する。このようにして、ＨＤＲ画像は、非常に明るい領域及び非常に暗い領域の両方を含むシーンを忠実に表示できる。例えば、ＨＤＲアルゴリズムは、露出融合法を使用することによって複数の入力画像の画像を融合させることによってＨＤＲ画像を構築し得る。
【0086】
具体的には、複数の入力画像は、第２及び第３の画像を有する。複数の入力画像の各入力画像は、異なる画像がカメラパラメータの異なる値に関連付けられるように、カメラパラメータを上記各画像に関連付けられたそれぞれの値に設定されたカメラを使用することによって撮像される。したがって、具体的には、カメラパラメータの第１の値は、カメラパラメータの第２の値とは異なる。複数の入力画像の画像は、露出ブラケット技術を使用することによって撮像し得る。
【0087】
本発明の方法の一実施形態は、第４の画像を使用することによって第１の物体を識別する段階をさらに備える。本実施形態では、カメラパラメータの第１の値は、識別される第１の物体を表示するピクセルを使用することによって決定される。したがって、カメラパラメータの第１の値を使用することによって撮像される第２の画像は、第１の物体の忠実な表現を提供する。さらに、第４の画像は、ＨＤＲアルゴリズムによって第２の画像を第３の画像と組み合わせることによって取得され、したがって、第２及び第３の画像によって提供されるものよりも忠実なシーンの表現を提供する。このようにして、第１の物体の識別の精度が向上する。
【0088】
本発明の方法は、第２及び／又は第４の画像を使用することによって第１の物体を識別する段階を備え得る。具体的には、第１の物体は、第１のシーン領域に含まれ得る。具体的には、第１の物体を識別する段階は、識別アルゴリズムを使用することによって実行され得る。例えば、上記アルゴリズムは、第２及び／又は第４の画像、例えば、第２及び／又は第４の画像のピクセルをそれぞれ処理して、識別データを生成する。識別アルゴリズムはまた、利用可能な場合、第１の物体がどのクラスに属するかを示す情報を処理し、それによって、第１の物体の識別の精度を高める。
【0089】
識別データは、第２及び／又は第４の画像内の第１の物体の位置の位置推定を示す情報を含み得る。識別データはまた、この位置推定の信頼性を示す情報を含み得る。あるいは、又は上記と併せて、識別データは、第１の物体が何であるかの推定を示す情報、及び任意選択で、上記推定の信頼性を示す情報を含み得る。
【0090】
本方法の一実施形態によれば、識別アルゴリズムは、少なくとも機械学習アルゴリズムを含む。具体的には、機械学習アルゴリズムは、出力情報を取得するために入力情報を処理するための命令を含み、これらの命令の少なくともいくつかは、トレーニングデータのセット及びトレーニングアルゴリズムを使用することによって設定される。機械学習アルゴリズムは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＡＮＮ）、決定木、ランダムフォレスト、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）、又は同様のものを含み得る。例えば、第１の機械学習アルゴリズムは、ＡｌｅｘＮｅｔなどの畳み込みニューラルネットワーク及び／又はディープニューラルネットワークであり得る。
【0091】
本発明の方法のさらなる実施形態によれば、第１のシーンは第２のシーン領域を含み、第２のシーン領域は第１の画像の第２の画像部分に表示され、第１の画像は第２のピクセルのセットを含む。さらに、上記実施形態は、以下の段階を備える。
－前記第２のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第２のデータ項目を生成する段階、ここで、前記それぞれの第２のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第２の画像部分の場所に対する前記各ピクセルの前記第１の画像内の前記位置を示す；及び
－前記第２のピクセルのセットの少なくとも第２の複数のピクセルを使用することによって前記カメラパラメータの前記第２の値を決定する段階、ここで、前記第２の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第２の条件を満たす。
－前記第２のピクセルのセットの各ピクセルについて、前記各ピクセルに関連付けられたそれぞれの第２のデータ項目を生成する段階、ここで、前記それぞれの第２のデータ項目は、前記各ピクセルに関連付けられたそれぞれの位置情報を有し、前記それぞれの位置情報は、前記第１の画像内の前記第２の画像部分の場所に対する前記各ピクセルの前記第１の画像内の前記位置を示す；及び
－前記第２のピクセルのセットの少なくとも第２の複数のピクセルを使用することによって前記カメラパラメータの前記第２の値を決定する段階、ここで、前記第２の複数のピクセルの各ピクセルについて、前記各ピクセルに関連付けられた前記それぞれの位置情報は、第２の条件を満たす。
【0092】
具体的には、第２のシーン領域は、第２の識別すべき物体を有する。例えば、第１のシーンは、ＡＬＳの作業デッキ及び、作業デッキ上に位置決めされた第２の実験器具アイテムを有し得、第２の実験器具アイテムは、識別される物体である。この場合、第２の画像領域は、第２の実験器具アイテム及び作業デッキの少なくとも第２の領域を有し得る。具体的には、第２のシーン領域は、互いに切り離された複数のシーン領域からなり得る。
【0093】
第２の画像部分は、第１の画像の第５のピクセルのセットからなり得る。具体的には、第５のピクセルのセットは、第２のシーン領域を表示すると推定されるピクセルを有する、例えば、それらからなる。具体的には、第２の画像は、第２のピクセルのセットからなり得る。具体的には、第１のシーン画像部分は、互いに切り離された複数の画像部分からなり得る。具体的には、第２のピクセルのセットは、第１のピクセルのセットと等しくなり得る。
【0094】
具体的には、第１の画像内の第２の画像部分の場所は、この場所を示す情報によって特定され得る。例えば、上記情報は、第５のピクセルのセットの各ピクセルの第１の画像内の位置を示す情報を有する。例えば、第５のピクセルのセットは、第１の画像の矩形グリッドである。第１の画像内の第２の画像部分の場所を示す情報をエンコードするために、そこに含まれる情報が取得され正しく解釈され得る限り、任意の構造フォーマットが使用され得る。
【0095】
第２のピクセルのセットの各ピクセルについて、第２の画像部分の場所に対する上記各ピクセルの位置を示す情報により、上記各ピクセルが第２の画像部分、例えば、第５のピクセルのセットに含まれるかどうかが特定され得る。あるいは、又は上記と併せて、第２の画像部分の場所に対する上記各ピクセルの位置を示す情報により、上記各ピクセル及び第２の画像部分の間の距離が特定され得る、及び／又は上記距離が特定された距離値より長いかどうかが特定され得る。例えば、ピクセル及び第２の画像部分の間の距離は、上記ピクセル及び第５のピクセルのセットの参照ピクセルの間の距離であり得る。
【0096】
例えば、第２のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた第２のデータ項目は、上記各ピクセルに関連付けられた情報を生成することによって、上記各ピクセルに関連付けられた第２のデータ項目に上記情報をエンコードすることによって、及び上記第２のデータ項目をコンピューティングデバイスの一次及び／又は二次メモリに記憶することによって生成され得る。
【0097】
第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた情報は、第２の情報生成アルゴリズムの出力であり得る。具体的には、第２の情報生成アルゴリズムは、第１の画像内のピクセルの位置を処理して、上記ピクセルが第２の画像部分、例えば、第５のピクセルのセットに含まれるかどうかを評価し得る。あるいは、又は上記と併せて、第２の情報生成アルゴリズムは、第１の画像内のピクセルの位置を処理して、上記ピクセル及び第５のピクセルのセットの参照ピクセルの間の距離を決定し、任意選択で、上記距離が特定された距離値より長い又はそれに等しい距離であるかどうかを評価し得る。
【0098】
例えば、第２のピクセルのセットの各ピクセルについて、それに関連付けられた第２のデータ項目がブールデータ型を有する場合、第２の条件は、第２のデータ項目の値が「真」であるという条件を有し得る。第２のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた第２のデータ項目の値により、上記各ピクセル及び参照ピクセルの間の距離が特定される場合、第２の条件は、第２のデータ項目が特定された距離値より大きい又はそれに等しいという条件を有し得る。具体的には、第２の複数のピクセルの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報は、少なくともさらなる条件を満たし得る。
【0099】
カメラパラメータの第１の値を決定する段階は、決定アルゴリズムを使用することによって実行され得る。具体的には、この場合、決定アルゴリズムは、第２の複数のピクセルの少なくとも各ピクセルの強度を処理して、カメラパラメータの第２の値を決定する。カメラパラメータの第２の値を決定する段階は、カメラパラメータのセットの各カメラパラメータについて、上記各カメラパラメータのそれぞれの第２の値を決定する段階を含み得る。
【0100】
本実施形態では、カメラパラメータの第２の値は、第２のシーン領域を表示するピクセルを使用することによって決定される。したがって、カメラパラメータの第２の値を使用することによって撮像された第３の画像は、第２のシーン領域の忠実な表現を提供する。さらに、ＨＤＲアルゴリズムによって第２の画像を第３の画像と組み合わせることによって取得される第４の画像は、第２及び第３の画像によって提供されるものよりも忠実である、第１及び第２のシーン領域の表現を提供する。
【0101】
具体的には、本実施形態では、第２のシーン領域は、識別される第２の物体、例えば、第２の実験器具アイテムを有し得、第２の画像部分は、上記物体の少なくとも一部、例えば、第２の物体全体を表示する。さらに、本発明の方法は、第４の画像を使用することによって、第２の物体を識別する段階をさらに備え得る。
【0102】
本実施形態では、この識別は第４の画像を使用することによって実行され、上記画像は第２及び第３の画像によって提供されるものよりも忠実なシーンの表現を提供するため、第１及び第２の物体の識別の精度が向上する。
【0103】
本発明の一実施形態では、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する段階は、第１の画像部分の形状を示す情報を使用することによって実行される。
【0104】
例えば、第４のピクセルのセットが第１の画像の円である場合、第１の画像部分の形状を示す情報は、第４のピクセルのセットの半径の値を含み得る。例えば、第４のピクセルのセットが第１の画像の矩形グリッドである場合、第１の画像部分の形状を示す情報は、矩形グリッドの底辺の値及び高さの値を含み得る。例えば、第１の画像部分の形状を示す情報は、上記部分の形状の推定値を示す情報からなり得る。
【0105】
第１の画像部分の形状を示す情報は、第１の画像内の第１の画像部分の場所を示す情報の少なくとも一部を生成するために使用され得る。より具体的には、第１の画像部分の形状を示す情報は、第４のピクセルのセットを構築するために使用され得る。例えば、後者の情報により、第１の画像部分が所与の半径Ｒを有する円であることが特定され、第１の画像部分の場所を示す情報により、第１の画像の中心ピクセルＣの位置が特定される。この場合、第４のピクセルのセットは、以下の関係ｄ（Ｃ，Ｐ）≦Ｒを満たす第１の画像の各ピクセルＰを選択することによって構築され得る。
【0106】
第１のシーン領域が第１の実験器具アイテム及び作業デッキの第１の部分を有する場合、第１の画像部分の形状を示す情報は、焦点面の視点から見た第１の実験器具アイテムの境界を示す情報を有し得る。例えば、焦点面は、作業デッキと実質的に平行であり得、第１の実験器具アイテムは、概して平行六面体の形状を有するリザーバラックであり得る。この場合、第１の画像部分の形状は、焦点面の視点から見た第１の実験器具アイテムの境界に対応し、リザーバラックに対する焦点面の位置に応じて、矩形又は六角形であり得る。したがって、この場合、第１の画像部分の形状を示す情報により、第１の画像部分が矩形又は六角形の形状であることが特定される。
【0107】
具体的には、第１の画像部分の形状は、第１のシーン領域の形状を示す情報に基づき得る、及び／又は有し得る。後者の情報は、例えば、第１の画像部分の、第１の画像領域を表示する第１の画像の部分のより正確な位置特定を可能にする。したがって、第１の条件によってエンコードされる位置制約は、第１のシーン領域に対する第１の複数のピクセルによって表示される特徴の位置の比較的正確なピクセルベースの記述に基づいている。それによって、シーンの特徴に対する本発明の較正の適応性がさらに向上する。
【0108】
具体的には、本発明の方法は、以下の段階を備える。
－少なくとも第１の画像及び、第１の画像内の第１の画像部分の形状を取得するための形状決定アルゴリズムを使用することによって、第１の画像部分の形状を示す情報を取得する段階。
－少なくとも第１の画像及び、第１の画像内の第１の画像部分の形状を取得するための形状決定アルゴリズムを使用することによって、第１の画像部分の形状を示す情報を取得する段階。
【0109】
具体的には、位置特定アルゴリズムは、形状決定アルゴリズムを有し得る。位置特定アルゴリズムは、形状決定アルゴリズムであり得、すなわち、位置特定アルゴリズムは、第１の画像部分の形状を示す情報を取得する段階及び、第１の画像内の第１の画像部分の場所を示す情報を取得する段階の両方を実行し得る。
【0110】
例えば、第１の画像部分の形状を示す情報を取得する段階は、形状決定アルゴリズムを使用することによって上記情報を生成する段階を有する。上記情報は、形状決定アルゴリズムの出力であり得、具体的には、上記アルゴリズムを実行することによって生成され得る。具体的には、形状決定アルゴリズムは、前述のピクセルの第１の配列の各ピクセルの位置及び強度値を有する入力データを処理する。あるいは、又は上記と併せて、形状決定アルゴリズムによって処理される入力データは、第１のシーン領域の形状を示す情報を有し得る。
【0111】
例えば、第１の画像部分の形状を示す情報が、上記部分の形状の推定値を示す情報からなり得る場合、上記推定値は、形状決定アルゴリズムを使用することによって取得され得る。
【0112】
形状決定アルゴリズムの使用により、上記情報を、例えば、ハードコーディングすることによって、及び／又はコンピュータの二次メモリに記憶することによって提供する必要なく、第１の画像の形状に関する情報を取得することを可能にする。このようにして、本発明の方法の実装が単純化され、人的エラーの原因を低減させる。
【0113】
本発明の方法のさらなる実施形態によれば、少なくとも第１のピクセルのセットを使用することによってカメラパラメータの第１の値を決定する段階は以下を有する。
・ 第３のピクセルのセットの少なくとも各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報が第１の条件を満たしているかどうかを少なくともチェックすることによって、第１の複数のピクセルを選択する段階。
・ 第３のピクセルのセットの少なくとも各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報が第１の条件を満たしているかどうかを少なくともチェックすることによって、第１の複数のピクセルを選択する段階。
【0114】
第１のピクセルは、第３のピクセルのセットの各ピクセルを有し得、例えば、第３のピクセルのセットは、第１のピクセルのセットと等しくなり得る。具体的には、第１の複数のピクセルは、第３のピクセルのセットのピクセルの中から選択される。
【0115】
例えば、第１のピクセルのセットの各ピクセルについて、それに関連付けられたそれぞれの第１のデータ項目がブールデータ型を有する場合、第１の複数のピクセルの選択は、第３のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられた、それぞれの第１のデータ項目の値が「真」であるかどうかを少なくともチェックすることによって実行される。第１の複数のピクセルを選択する段階は、第３のピクセルのセットを使用することによって第１の複数のピクセルを構築することによって実行され得る。
【0116】
具体的には、第１の複数のピクセルを選択する段階は、第３のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報にアクセスする段階、上記位置情報が第１の条件を満たすかどうかをチェックする段階、及び上記各ピクセルに関連付けられた情報が第１の条件を満たす場合、上記各ピクセルを使用してカメラパラメータの第１の値を決定する段階を有する。
【0117】
具体的には、第１の複数のピクセルを選択する段階は、第３のピクセルのセットを選択する段階を有し得る。例えば、第３のピクセルのセットを選択する段階は、第１のピクセルのセットを使用することによって第３のピクセルのセットを構築することによって実行され得る。例えば、第３のピクセルのセットの構築は、第１のピクセルのセットの複数のピクセルをランダムに選択することによって実行され得る。具体的には、上記ランダム選択は、ランダム選択アルゴリズムを使用することによって実行され得る。例えば、ランダム選択アルゴリズムは、以下を有する。
・ 第１のピクセルのセットの各ピクセルに、上記各ピクセルに関連付けられたそれぞれのブール変数をランダムに関連付けること、上記各ピクセルに関連付けられたそれぞれのブール変数は、「真」又は「偽」のいずれかに等しい；及び
・ 上記各ピクセルに関連付けられたそれぞれのブール変数が「真」に等しくなるように、第１のピクセルのセットの各ピクセルを選択することによって、第３のピクセルのセットを構築すること。
・ 第１のピクセルのセットの各ピクセルに、上記各ピクセルに関連付けられたそれぞれのブール変数をランダムに関連付けること、上記各ピクセルに関連付けられたそれぞれのブール変数は、「真」又は「偽」のいずれかに等しい；及び
・ 上記各ピクセルに関連付けられたそれぞれのブール変数が「真」に等しくなるように、第１のピクセルのセットの各ピクセルを選択することによって、第３のピクセルのセットを構築すること。
【0118】
ランダムな関連付けは、第１のピクセルのセットの各ピクセルについて、値「真」が第１の確率値に関連付けられ、値「偽」が第２の確率値に関連付けられるように実行され得る。例えば、第１の確率値及び第２の確率値の間の比率は、０．１よりも低く、具体的には０．０１よりも低く、より具体的には０．００１よりも低い。
【0119】
ランダム選択アルゴリズムを使用することによる第３のピクセルのセットの構築及び第１の複数のピクセルの選択は、カメラパラメータの第１の値の決定のロバスト性を調査することを可能にする。例えば、本発明の方法は、さらなる複数のピクセルを使用することによって、カメラパラメータのさらなる値を決定する段階を有し得る。上記さらなる複数のピクセルの各ピクセルは、第１の条件を満たし、さらなるピクセルのセットの中から選択される。上記さらなるピクセルのセットは、第１のピクセルのセット及びランダム選択アルゴリズムを使用することによって選択される。この場合、カメラパラメータの第１の値の決定のロバスト性は、カメラパラメータの第１の値及びカメラパラメータの前述のさらなる値を比較し、上記値が互いに有意に異なるかどうかを評価することによって推定され得る。
【0120】
本発明の方法のさらなる実施形態では、第１の画像にアクセスする段階は、カメラを使用することによって第１の画像を取得する段階を有する。例えば、第１の画像を取得する段階は、カメラパラメータの第１の値とは異なる値に設定されたカメラパラメータを使用してカメラを使用することによって上記画像を撮像する段階を有する。
【0121】
本発明の一実施形態によれば、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目は、ブールデータ型を有する。
【0122】
本発明の方法のさらなる実施形態では、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目は、第３の値又は第４の値を仮定でき、ここで、上記第１のデータ項目は、上記各ピクセルが第１の画像領域に含まれる場合には第３の値をとり、上記各ピクセルが第１の画像領域の外側に配置される場合には第４の値をとる。本実施形態によれば、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目が第３の値をとる場合、上記各ピクセルに関連付けられたそれぞれの位置情報は、第１の条件を満たす。具体的には、第３及び第４の値は、それぞれ「真」及び「偽」に等しくなり得る。あるいは、第３及び第４の値は、それぞれ「偽」及び「真」に等しくなり得る。
【0123】
具体的には、シーンは、自動実験システムの作業デッキを有し、第１のシーン領域は、作業デッキの領域及び／又は実験器具アイテムの少なくとも一部を有する。例えば、第１のシーン領域は実験器具アイテムを有し得る。
【0124】
具体的には、本発明によれば、実験器具アイテム、例えば、第１及び／又は第２の実験器具アイテムは、臨床又は実験環境で使用するための容器を含むか、又は容器からなる。この容器は、ガラス、プラスチック、金属及び同様のもので作製され得る。例えば、実験器具アイテムは、上部、蓋、及び／又は底部を含み得る培養皿を有し得るか、又はそれからなり得る。さらに、実験器具アイテムは、サンプルバイアル及び／又は試験管を有するか、又はそれらからなる。実験器具アイテムは、単回使用用、複数回使用用、及び／又は使い捨て用であり得る。本発明によれば、実験器具アイテム、例えば、第１及び／又は第２の実験器具アイテムは、プレート、チップ、チューブ、リザーバ、チップボックス、高さアダプタ、リザーバラック及び／又はチューブラックを有するか、又はそれらからなり得る。
【0125】
本発明の方法の段階が本明細書で記載される順序は、上記段階が実行される時系列の順序を必ずしも反映するものではない。
【発明の概要】
【0126】
本発明は、本発明による方法を実行するように構成された処理手段を備えるデータ処理システムに関する。本発明はまた、本発明のデータ処理システムを備える自動実験システムにも関する。具体的には、本発明による自動実験システムは、カメラ、本発明による方法を実行するように構成された処理手段、及び実験器具アイテムを位置決めするための作業デッキを備える。
【0127】
本発明はまた、プログラムがコンピュータによって実行されると、上記システムに本発明による方法を実行させる命令を有するコンピュータプログラム製品にも関する。
【0128】
本発明はまた、コンピュータによって実行されると、上記システムに本発明による方法を実行させる命令を有するコンピュータ可読記憶媒体にも関する。具体的には、コンピュータ可読記憶媒体は非一時的である。
【0129】
本発明の例示的な実施形態を、添付の図面に関して以下に説明する。図面及び対応する詳細な説明は、単に本発明をよりよく理解するためのものであり、特許請求の範囲で定義される本発明の範囲を何ら限定するものではない。
【図面の簡単な説明】
【0130】
【図1】本発明によるデータ処理システムの一実施形態の概略図である；
【図2】本発明の方法の第１の実施形態の動作の流れ図である；
【図3a】本発明の方法の第１の実施形態によってアクセスされる第１の画像の概略図である；
【図3b】本発明の方法の第１の実施形態によってアクセスされる第１の画像の概略図である；
【図4】本発明の方法の第２の実施形態の動作の流れ図である；及び
【図5a】本発明の方法の第２の実施形態によってアクセスされる第１の画像の概略図である。
【図5b】本発明の方法の第２の実施形態によってアクセスされる第１の画像の概略図である。
【発明を実施するための形態】
【0131】
図１は、本発明によるデータ処理システム（Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ：ＤＰＳ）１００の第１の実施形態の概略図である。上記データ処理システム１００は、コンピューティングデバイス又はそのクラスタを備え得る。ＤＰＳ１００は、互いにデータ通信する処理要素１１０及び記憶手段１２０を有する。処理要素１１０は、ＣＰＵ及び／又はＧＰＵからなるか又はこれらを有し得、本発明の方法の段階を実行するように構成された、いくつかのモジュール１１１～１１４を有する。
【0132】
記憶手段１２０は、揮発性一次メモリ１２１（例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＣＰＵキャッシュメモリ、又は同様のもの）及び／又は不揮発性一次メモリ１２２（例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、又は同様のもの）を有し得る。具体的には、揮発性一次メモリはＲＡＭからなり得る。例えば、揮発性一次メモリ１２１は、処理要素及び関連データによる実行のためのプログラムファイルを一時的に保持し、不揮発性一次メモリ１２２は、ＤＰＳ１００のオペレーティングシステムのためのブートストラップコードを含み得る。
【0133】
記憶手段１２０は、本発明の方法を実行するために使用されるオペレーティングシステム及び／又はアルゴリズムの命令を記憶し得る二次メモリ１２３をさらに有し得る。さらに、二次メモリ１２３は、コンピュータプログラム製品がＤＰＳ１００によって実行されると、本発明による方法をＤＰＳ１００に実行させる命令を有するコンピュータプログラム製品を記憶し得る。
【0134】
二次メモリ１２３、一次メモリ１２１、１２２、及び処理要素１１０は、同じハウジング内に物理的に収容する必要はなく、代わりに互いに空間的に分離され得る。具体的には、二次メモリ１２３、一次メモリ１２１、１２２、及び処理要素１１０は、互いに空間的に分離され得、有線及び／又は無線媒体（図示せず）を介して互いにデータを交換し得る。
【0135】
ＤＰＳ１００は、ＤＰＳ１００が入力／出力デバイス（例えば、ディスプレイ、キーボード、タッチスクリーン、プリンタ、マウス、カメラ、又は同様のもの）と通信できるようにする入力／出力（Ｉ／Ｏ）インターフェース１４０を備え得る。ＤＰＳ１００は、ＤＰＳ１００を適切なネットワーク（図示せず）に接続するように構成されたネットワークインターフェースコントローラ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ：ＮＩＣ）１３０をさらに備え得る。本発明によれば、適切なネットワークは、例えば、イントラネット、インターネット、又はセルラーネットワークであり得る。
【0136】
データ処理システム１００は、デジタルカメラ１５０を備える。具体的には、カメラ１５０はグレースケール又は多色カメラである。カメラ１５０は、第１の画像を取得するように構成され、フォトカメラ及び／又はビデオカメラであり得る。図１に示すように、カメラ１５０は、Ｉ／Ｏインターフェース１４０を介して処理要素１１０に接続され得る。例えば、カメラ１５０は、ＮＩＣ１３０を介してＩ／Ｏインターフェースに無線で接続され得る。カメラ１５０は、Ｉ／Ｏインターフェース１４０又は周辺デバイスと共に使用するための関連付けられた命令及びデータを記憶するためのそれ自体のメモリを有するインテリジェントデバイスであり得る。
【0137】
処理要素１１０は、本発明の方法を実行するように構成された、いくつかのモジュール１１１～１１４を有する。アクセスモジュール１１１は、カメラ１５０によって撮像された第１の画像にアクセスするように構成される。具体的には、アクセスモジュール１１１は、カメラ１５０を操作して第１の画像を取得するように構成される。処理要素１１０は、第１の画像内の第１の画像部分の場所を示す情報を取得するように構成された取得モジュール１１４を有する。生成モジュール１１２は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成するように構成される。処理要素１１０は、第１のピクセルのセットの少なくとも第１の複数のピクセルを使用することによって、カメラパラメータの第１の値を決定するように構成された決定モジュール１１３を有する。
【0138】
具体的には、アクセスモジュール１１１は、第２及び／又は第３の画像にアクセスするように構成される。例えば、アクセスモジュール１１１は、カメラ１５０を操作して第２及び／又は第３の画像を取得するように構成される。具体的には、取得モジュール１１４は、第１の画像内の第２の画像部分の場所を示す情報を取得するように構成され、及び／又は生成モジュール１１２はまた、第２のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第２のデータ項目を生成するように構成される。例えば、決定モジュール１１３は、第１のピクセルのセットの少なくとも第２の複数のピクセルを使用することによって、カメラパラメータの第２の値を決定するように構成される。さらに、処理要素１１０は、第２の画像、第３の画像、及びＨＤＲアルゴリズムを使用することによって、第４の画像を構築するように構成された構築モジュール（図示せず）を有し得る。処理要素１１０は、画像、例えば、第２及び／又は第４の画像を使用することによって、実験器具アイテムを識別するように構成された識別モジュール（図示せず）をさらに有し得る。
【0139】
例えば、ＤＰＳ１００は、カメラ１５０を含むコンピュータシステムであり得、より具体的には、スマートフォン、デスクトップコンピュータ、タブレット、ラップトップ又は同様のものであり得る。さらに、ＤＰＳ１００は、本発明によるＡＬＳ、具体的には、自動ピペッティングシステムであり得る。この場合、ＤＰＳ１００は、１つ又は複数の実験器具アイテムを位置決めするための作業デッキ（図示せず）及び／又は液体移送用のピペッティングヘッド（図示せず）を備える。ピペッティングヘッドは、サーボモータ及び／又はステッパモータによって作業デッキに対して移動可能であり得る。
【0140】
図２は、本発明の方法による第１の実施形態の動作の流れ図２００である。具体的には、本実施形態は、上記で説明され、図１に概略的に示すＤＰＳ１００によって実行され得る。具体的には、方法の第１の実施形態は、露出値の第１の値Ｅｖ，１の決定を実行する。カメラ１５０は、シーン（図示せず）が作業デッキ、ＡＬＳ１００が位置決めされるテーブルのテーブル部分、及び実験器具アイテムを有するように、作業デッキに対して配置される。例えば、実験器具アイテムは、９６ ＭＴＰプレートであり得る。第１のシーン領域（図示せず）は、実験器具アイテム及び作業デッキの部分を有する。
【0141】
ステップ２１０において、ＤＰＳ１００は、図３ａ及び図３ｂに概略的に示す第１の画像３００にアクセスする。具体的には、ＤＰＳ１００は、露出値をＥｖ，０に設定し、露出時間をＥｔ，１に設定し、及び／又はＦ値をＦ０に設定して、カメラ１５０を使用することによって画像３００を撮像する。具体的には、第１の画像３００は、ＤＰＳ１００の記憶手段１２０に記憶される。本実施形態では、第１の画像３００は、第１のピクセルのセットからなる。
【0142】
図３ａに最もよく示すように、第１の画像３００は、ＤＰＳ１００の作業デッキ３７０の上面図を表示する。作業デッキ３７０は、廃棄物容器５９０を有する。実験器具アイテム３１０は、作業デッキ３７０の領域上に位置決めされ、１２列及び８行に分散された９６個のウェル３１２を有する。実験器具アイテム３１０は、２つの英数字３１１、３１３のセットをさらに有する。英数字３１１の第１のセットは、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨを示す列を形成する。英数字３１３の第２のセットは、１～１２までの数字を示す行を形成する。具体的には、実験器具アイテム３１０のウェル３１２は、第１の化合物を含む。
【0143】
ステップ２２０において、ＤＰＳ１００は、第１の画像３００内の第１の画像部分の場所を示す情報を取得する。この情報は、第１の画像３００及び第１の位置特定アルゴリズムを使用することによって取得される。第１の位置特定アルゴリズムは、第１のピクセルのセットの各ピクセルの位置及び強度値を有する第１の入力データを処理する。第１の画像３００内の第１の画像部分の場所を示す情報は、第１の位置特定アルゴリズムを実行することによって生成される出力である。
【0144】
第１の位置特定アルゴリズムは、ＤＰＳ１００の処理要素１１０によって実行されると、処理要素１１０に、第１の画像３００が少なくとも実験器具アイテムを表示するかどうかを評価させ、肯定の場合、上記実験器具アイテムを表示するピクセルの第１の画像内の場所の推定値を提供する命令を有する。具体的には、第１の位置特定アルゴリズムは、第１の画像が９６ ＭＴＰプレート、フィルタ付き１０００μｌチップボックス、５５ｍｍ高さアダプタ、及び／又はリザーバラックを表示するかどうかを評価する。
【0145】
ＤＰＳ１００は、第１の位置特定アルゴリズムの命令を実行し、それによって、第１の出力データを生成する。第１の出力データは、ピクセルの第１の矩形グリッド３９１が実験器具アイテム、すなわち、実験器具アイテム３１０を表示することを指定する情報を含み、これは、９６ ＭＴＰプレート、フィルタ付き１０００μｌチップボックス、５５ｍｍ高さアダプタ又はリザーバラックであり得る。図３ｂでは、ピクセルの第１の矩形グリッド３９１は、一点鎖線の矩形３４１によってマークされ、頂点としてピクセル３６５～３６８を有する。図３ｂに最もよく示すように、第１の矩形グリッド３９１は、第１のシーン領域、すなわち、実験器具アイテム３１０及び作業デッキ３７０の第１の部分３７１を表示する。第１の出力データは、ピクセルの第１の矩形グリッド３９１の場所を示す情報を有し、具体的には、第１の出力データにより、前述のピクセル３６５～３６８の各々の２次元画像座標が特定され得る。第１の矩形グリッド３９１は、第１の画像部分、すなわち、第４のピクセルのセットを構成し、第１の画像３００内の矩形グリッド３９１の場所を示す情報は、第１の画像内の第１の画像部分の場所を示す情報を構成する。
【0146】
ステップ２３０において、ＤＰＳ１００は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する。第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目は、上記各ピクセルに関連付けられたそれぞれの位置情報を有し、上記それぞれの位置情報は、第１の画像内の第１の画像部分３９１の場所に対する上記各ピクセルの第１の画像３００内の位置を示す。
【0147】
第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目はブールデータ型を有する。具体的には、第１のピクセルのセットの各ピクセルについて、それぞれの第１のデータ項目の値は、上記各ピクセルが第１の画像部分３９１に含まれる場合は「真」であり、上記各ピクセルが第１の画像部分３９１に含まれない場合は「偽」である。第１のピクセルのセットのピクセルに関連付けられた第１のデータ項目は、複数のエントリを含む配列データ構造に記憶される。具体的には、上記データ構造は、ＤＰＳ１００の記憶手段１２０に記憶される。
【0148】
ステップ２４０において、露出値の第１の値は、第１の複数のピクセルを使用することによって決定される。具体的には、第１の複数のピクセルは、第１の条件を満たす第１のピクセルのセットのピクセルからなる。本実施形態では、第１の条件は、第１のデータ項目の値が「真」であるという要件、すなわち、第１のデータ項目に関連付けられたピクセルが第１の画像部分３９１に含まれるという要件からなる。したがって、第１の複数のピクセルは、第１の画像部分３９１からなる。具体的には、露出値の第１の値は、上記で説明した式（１）～（５）を使用することによって決定され得る。
【0149】
露出値の第１の値を決定するステップ２４０は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの位置情報が、第１の条件を満たすかどうかを少なくともチェックすることによって、第１の複数のピクセルを選択する段階を含み得る。具体的には、第１の複数のピクセルを選択する段階は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目にアクセスする段階、上記第１のデータ項目の値が「真」であるかどうかをチェックする段階、及び上記第１のデータ項目の値が「真」である場合、上記各ピクセルを使用してカメラパラメータの第１の値を決定する段階を有する。
【0150】
本発明の方法の第１の実施形態は、露出値を第１の値に設定されたカメラ１５０を使用することによって、第２の画像（図示せず）を撮像する段階をさらに備え得る。第２の画像は、比較的高い信頼性で、実験器具アイテム３１０を識別するために使用され得る。具体的には、本発明の方法の第１の実施形態は、第２の画像及び識別アルゴリズムを使用することによって、実験器具アイテムを識別する段階をさらに備え得る。具体的には、識別アルゴリズムは、ＤＰＳ１００の処理要素１００によって実行されると、上記処理要素１１０に第２の画像のピクセルを処理させて識別データを生成させる命令を有する。識別データは、実験器具アイテムが９６ ＭＴＰプレートであることを特定する情報を有する。さらに、識別データは、実験器具アイテムの位置の推定値を示す情報を有し得る。識別アルゴリズムは、少なくともＡＮＮ、決定木、ランダムフォレスト、ＳＶＭ、又は同様のものなどの機械学習アルゴリズムを有し得る。
【0151】
図４は、本発明の方法による第２の実施形態の動作の流れ図４００である。具体的には、本実施形態は、上記で説明され、図１に概略的に示すＤＰＳ１００によって実行され得る。具体的には、方法の第２の実施形態は、露出値の第１の値Ｅｖ，１及び第２の値Ｅｖ，２の決定を実行する。カメラ１５０は、シーン（図示せず）が作業デッキ及びテーブルのテーブル部分を有するように、作業デッキに対して配置される。その上にＤＰＳが位置決めされる。シーンはさらに、例えば、９６ ＭＴＰプレートである第１の実験器具アイテム及び、例えば、フィルタ付き１０００μｌチップボックスである第２の実験器具アイテムを有する。第１のシーン領域（図示せず）は、第１の実験器具アイテム及び作業デッキの第１の部分を含む。さらに、シーンは、第２の実験器具アイテム及び作業デッキの第２の部分を含む、第２のシーン領域（図示せず）を有する。
【0152】
ステップ４１０において、ＤＰＳ１００は、図５ａ及び図５ｂに概略的に示す第１の画像５００にアクセスする。具体的には、ＤＰＳ１００は、露出値をＥｖ，０に設定し、露出時間をＥｔ，０に設定し、及び／又はＦ値をＦ０に設定して、カメラ１５０を使用することによって画像５００を撮像する。具体的には、第１の画像５００は、ＤＰＳ１００の記憶手段１２０に記憶される。本実施形態では、第１の画像５００は、第１のピクセルのセットからなる。
【0153】
図５ａに最もよく示すように、第１の画像５００は、ＤＰＳ１００の作業デッキ５７０の上面図を表示する。作業デッキ５７０は、廃棄物容器５９０を有する。第１の実験器具アイテム５１０及び第２の実験器具アイテム５２０は、作業デッキ５７０及び１２列及び８行に分散された９６個のウェル５１２の領域上に位置決めされる。第１の実験器具アイテム５１０は、１２列及び８行に分散された９６個のウェル５１２及び、英数字５１１、５１３の２つのセットをさらに有する。英数字５１１の第１のセットは、文字Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ及びＨを示す列を形成する。英数字５１３の第２のセットは、１～１２までの数字を示す行を形成する。第２の実験器具アイテム５４０は、１２列及び８行に分散された９６個のチップ５４２及び、４つの穴を含むＬ字形の穴パターン５４１を有する。
【0154】
ステップ４２０において、ＤＰＳ１００は、第１の画像５００内の第１の画像部分の場所を示す情報及び、第１の画像５００内の第２の画像部分の場所を示す情報を取得する。この情報は、上記で説明し、図２に概略的に示すように、方法の第１の実施形態のステップ２２０で使用される第１の画像５００及び第１の位置特定アルゴリズムを使用することによって取得される。第１の位置特定アルゴリズムは、第１のピクセルのセットの各ピクセルの位置及び強度値を有する第１の入力データを処理する。第１の画像５００内の第１の画像部分の場所を示す情報及び第１の画像５００内の第２の画像部分の場所を示す情報は、第１の位置特定アルゴリズムを実行することによって生成される出力である。
【0155】
ＤＰＳ１００は、第１の位置特定アルゴリズムの命令を実行し、それによって、第１の出力データを生成する。第１の出力データは、ピクセルの第１の矩形グリッド５２０が、９６ ＭＴＰプレート、フィルタ付き１０００μｌチップボックス、５５ｍｍ高さアダプタ、及び／又はリザーバラックであり得る、実験器具アイテム、すなわち、実験器具アイテム５１０を表示することを指定する情報を有する。第１の出力データは、ピクセルの第２の矩形グリッド５５０も、９６ ＭＴＰプレート、フィルタ付き１０００μｌチップボックス、５５ｍｍ高さアダプタ、及び／又はリザーバラックであり得る、実験器具アイテム、すなわち、実験器具アイテム５４０を表示することを指定する情報をさらに有する。
【0156】
図５ｂに示すように、第１の矩形グリッド５２０は、一点鎖線の矩形５３０によってマークされ、頂点としてピクセル５２１～５２４を有する。図５ｂに最もよく示すように、第１の矩形グリッド５２０は、第１のシーン領域、すなわち、実験器具アイテム５１０及び作業デッキ５７０の第１の部分５７１を表示する。第１の出力データは、第１の矩形グリッド５２０の場所を示す情報を有し、具体的には、第１の出力データにより、ピクセル５２１～５２４の各々の２次元画像座標が特定され得る。第１の矩形グリッド５２０は、第１の画像部分、すなわち、第４のピクセルのセットを構成し、第１の矩形グリッド５２０の場所を示す情報は、第１の画像部分の場所を示す情報を構成する。
【0157】
図５ｂでは、第２の矩形グリッド５５０は、一点鎖線の矩形５６０によってマークされ、頂点としてピクセル５５１～５５４を有する。第２の矩形グリッド５５０は、第２のシーン領域、すなわち、実験器具アイテム５４０及び作業デッキ５７０の第２の部分５７２を表示する。第１の出力データは、第２の矩形グリッド５５０の場所を示す情報を有し、具体的には、第１の出力データにより、ピクセル５５１～５５４の各々の２次元画像座標が特定され得る。第２の矩形グリッド５５０は、第２の画像部分、すなわち、第５のピクセルのセットを構成し、第１の画像５００内の第２の矩形グリッド５５０の場所を示す情報は、第２の画像部分の場所を示す情報を構成する。
【0158】
ステップ４３０において、ＤＰＳ１００は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目を生成する。第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目は、上記各ピクセルに関連付けられたそれぞれの位置情報を有し、上記それぞれの位置情報は、第１の画像５００内の第１の画像部分５２０の場所に対する上記各ピクセルの第１の画像５００内の位置を示す。第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第１のデータ項目はブールデータ型を有する。具体的には、第１のピクセルのセットの各ピクセルについて、それぞれの第１のデータ項目の値は、上記各ピクセルが第１の画像部分５２０に含まれる場合は「真」であり、上記各ピクセルが第１の画像部分５２０に含まれない場合は「偽」である。第１のピクセルのセットのピクセルに関連付けられた第１のデータ項目は、複数のエントリを含む第１の配列データ構造に記憶される。具体的には、上記データ構造は、ＤＰＳ１００の記憶手段１２０に記憶される。
【0159】
ステップ４４０において、露出値の第１の値は、第１の複数のピクセルを使用することによって決定される。具体的には、第１の複数のピクセルは、第１の条件を満たす第１のピクセルのセットのピクセルからなる。本実施形態では、第１の条件は、第１のデータ項目の値が「真」であるという要件、すなわち、第１のデータ項目に関連付けられたピクセルが第１の画像部分５２０に含まれるという要件からなる。したがって、本実施形態では、第１の複数のピクセルは、第１の画像部分５２０からなる。具体的には、露出値の第１の値は、上記で説明した式（１）～（５）を使用することによって決定され得る。
【0160】
ステップ４５０において、ＤＰＳ１００は、第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第２のデータ項目を生成する。第１のピクセルのセットの各ピクセルについて、上記各ピクセルに関連付けられたそれぞれの第２のデータ項目はブールデータ型を有する。具体的には、第１のピクセルのセットの各ピクセルについて、それぞれの第２のデータ項目の値は、上記各ピクセルが第２の画像部分５５０に含まれない場合、「真」であり、上記各ピクセルが第２の画像部分５５０に含まれる場合、「偽」である。第１のピクセルのセットのピクセルに関連付けられた第２のデータ項目は、複数のエントリを含む第２の配列データ構造に記憶される。具体的には、上記データ構造は、ＤＰＳ１００の記憶手段１２０に記憶される。
【0161】
ステップ４６０において、露出値の第２の値は、第２の複数のピクセルを使用することによって決定される。具体的には、第２の複数のピクセルは、第２の条件を満たす第１のピクセルのセットのピクセルからなる。本実施形態では、第２の条件は、第２のデータ項目の値が「偽」であるという要件、すなわち、第２のデータ項目に関連付けられたピクセルが第２の画像部分５５０に含まれるという要件からなる。したがって、本実施形態では、第１の複数のピクセルは、第１の画像部分５２０からなる。露出値の第２の値は、式（１）から（５）を使用することによって決定され得る。ただし、これらの式では、Ｅｖ，１が、Ｅｖ，２に置き換えられる。
【0162】
ステップ４７０及び４８０において、ＤＰＳ１１０は、第２の画像（図示せず）及び第３の画像（図示せず）をそれぞれ取得する。第２の画像は、露出値を第１の値に設定してカメラ１５０を使用することによって撮像され、第３の画像は、露出値を第２の値に設定してカメラ１５０を使用することによって撮像される。具体的には、第２及び第３の画像は、露出ブラケット技術を使用することによって撮像し得る。第２及び第３の画像はどちらもシーンを表示する。第２の画像及び／又は第３の画像は、ＤＰＳ１００の記憶手段１２０に記憶され得る。具体的には、第２の画像は、第１の実験器具アイテム５１０の忠実な表現を提供し、第３の画像は、第２の実験器具アイテム５４０の忠実な表現を提供する。
【0163】
ステップ４９０において、第２の画像、第３の画像、及びＨＤＲアルゴリズムを使用することによって、第４の画像（図示せず）が構築される。ＨＤＲアルゴリズムは、第２及び第３の画像を処理して第４の画像を構築する。第４の画像は、第２の画像及び第３の画像のダイナミックレンジよりも大きいダイナミックレンジを有するＨＤＲ画像である。第４の画像は、第１の実験器具アイテム５１０及び第２の実験器具アイテム５４０の両方の忠実な表現を提供する。したがって、第４の画像は、比較的高い信頼性で、第１の実験器具アイテム５１０及び／又は第２の実験器具アイテム５４０を識別するために使用され得る。
【0164】
本実施形態の変形では、第４の画像は、第１の画像、第２の画像、第３の画像、及びＨＤＲアルゴリズムを使用することによって構築され得る。この場合、ＨＤＲアルゴリズムは第１、第２、第３の画像を処理して第４の画像を構築する。
【0165】
具体的には、本発明の方法の第２の実施形態は、第４の画像及び識別アルゴリズムを使用することによって、シーンに含まれる実験器具アイテムを識別する段階をさらに備え得る。具体的には、識別アルゴリズムは、ＤＰＳ１００の処理要素１１０によって実行されると、上記処理要素１１０に第４の画像のピクセルを処理させて識別データを生成させる命令を有する。識別データは、第１の実験器具アイテム５１０が９６ ＭＴＰプレートであり、第２の実験器具アイテム５４０がフィルタ付き１０００μｌチップボックスであることを特定する情報を有する。識別アルゴリズムは、少なくともＡＮＮ、決定木、ランダムフォレスト、ＳＶＭ、又は同様のものなどの機械学習アルゴリズムを有し得る。
【0166】
本発明による方法のさらなる実施形態は、上記で説明した第２の実施形態のステップ４１０～４９０を有し得る。前者の実施形態は、ステップ４１０～４９０が実行される順序において、互いに、及び、第２の実施形態と異なり得る。例えば、本発明の一実施形態によれば、ステップ４５０は、ステップ４３０の後及びステップ４４０の前に実行され得る。具体的には、本発明の方法の一実施形態では、ステップ４５０及び４６０は、ステップ４２０の後及びステップ４３０の前に実行される。例えば、方法の一実施形態では、ステップ４８０は、ステップ４６０の後及びステップ４７０の前に実行される。
【0167】
既に明確に説明されていない限り、図面に関連して説明された個々の実施形態、又はそれらの個々の態様及び特徴は、そのような組み合わせ又は交換が本発明の意味において有意義であるときはいつでも、説明された発明の範囲を限定又は拡大することなく、互いに組み合わせ又は交換できる。本発明の特定の実施形態に関して、又は特定の図に関して説明された利点は、適用可能な限り、本発明の他の実施形態の利点でもある。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5a】
【図5b】
【国際調査報告】