特表 2023-540994 光記録デバイスを較正する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-27

(54)【発明の名称】光記録デバイスを較正する方法

(51)【国際特許分類】

   G06T 7/80 20170101AFI20230920BHJP

   H04N 23/60 20230101ALI20230920BHJP

【ＦＩ】

G06T7/80

H04N23/60

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023515121

(86)(22)【出願日】2021-09-13

(85)【翻訳文提出日】2023-05-01

(86)【国際出願番号】 EP2021075071

(87)【国際公開番号】W WO2022053671

(87)【国際公開日】2022-03-17

(31)【優先権主張番号】20196062.2

(32)【優先日】2020-09-14

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】591121683

【氏名又は名称】エッペンドルフ エスイー

【氏名又は名称原語表記】Ｅｐｐｅｎｄｏｒｆ ＳＥ

【住所又は居所原語表記】Ｂａｒｋｈａｕｓｅｎｗｅｇ １， ２２３３９ Ｈａｍｂｕｒｇ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ヘルウェグ、ルーカス ウルフ

(72)【発明者】

【氏名】ピーターマン、アレクサンダー

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA27

5C122GE23

5C122GE27

5C122HB01

5L096EA15

5L096EA16

5L096FA66

(57)【要約】

光記録デバイス（１５０）を較正する（２１６）コンピュータ実装方法であって、前記光記録デバイス（１５０）は、少なくともモデルパネル（１４０）を使用することによって視野及び画像平面に関連付けられ、前記モデルパネル（１４０）は、較正指標のセット（４０～４９）及び第１の較正ビューを有し、前記第１の較正ビューは、前記視野の較正ロケーションの第１のセット（２０～２９）を含み、前記方法は、少なくとも、少なくとも複数のシーンを、前記較正ロケーションの第１のセット（２０～２９）の各ロケーションについて、前記指標のセットのうちの較正指標が、前記各ロケーションにおける前記複数のシーンのそれぞれのシーン内で位置確定されるように構築する段階（２０４、２０７）、ここで、前記複数のシーンの各シーンは、前記モデルパネル（１４０）を前記光記録デバイス（１５０）に対するそれぞれの位置に並進させることによって構築される；少なくとも複数の画像（９２０、９３０）を、前記複数のシーンの各シーンが、前記複数の画像（９２０、９３０）のそれぞれの画像において表示されるように捕捉する段階（２０５、２０８）；少なくとも複数の較正地点（６０～６９）を、前記較正ロケーションの第１のセット（２０～２９）の各ロケーションについて、前記複数の較正地点（６０～６９）のそれぞれの地点が、前記複数の画像（９２０、９３０）のそれぞれの画像内に含まれるように位置確定する段階（２０６、２０９）、前記それぞれの画像は、それぞれの較正指標を表示し、前記それぞれの較正指標は、前記各ロケーションにおいて位置確定され、前記それぞれの地点において表示される；及び少なくとも前記複数の較正地点（６０～６９）のうちの前記地点を、前記第１の較正ビューの前記画像平面上への投影の前記画像平面内のロケーションとして使用することによって、前記光記録デバイス（１５０）を較正する段階（２１６）を備える、方法。

【特許請求の範囲】

【請求項1】

光記録デバイスを較正するコンピュータ実装方法であって、前記光記録デバイスは、少なくともモデルパネルを使用することによって視野及び画像平面に関連付けられ、前記モデルパネルは、較正指標のセット及び第１の較正ビューを有し、前記第１の較正ビューは、前記視野の較正ロケーションの第１のセットを含み、
前記方法は、少なくとも、
－少なくとも複数のシーンを、前記較正ロケーションの第１のセットの各ロケーションについて、前記較正指標のセットのうちの較正指標が、前記各ロケーションにおける前記複数のシーンのそれぞれのシーン内で位置確定されるように構築する段階、ここで、前記複数のシーンの各シーンは、前記モデルパネルを前記光記録デバイスに対してそれぞれの位置に並進させることによって構築される；
－少なくとも複数の画像を、前記複数のシーンの各シーンが、前記複数の画像のそれぞれの画像において表示されるように捕捉する段階；
－少なくとも複数の較正地点を、前記較正ロケーションの第１のセットの各ロケーションについて、前記複数の較正地点のそれぞれの地点が、前記複数の画像のそれぞれの画像内に含まれるように位置確定する段階、前記それぞれの画像は、それぞれの較正指標を表示し、前記それぞれの較正指標は、前記各ロケーションにおいて位置確定され、前記それぞれの地点において表示される；及び
－少なくとも前記複数の較正地点のうちの前記地点を、前記第１の較正ビューの前記画像平面上への投影の前記画像平面内のロケーションとして使用することによって、前記光記録デバイスを較正する段階
を備える、方法。

【請求項2】

前記光記録デバイスは、第２の較正ビューを使用することによって較正され、前記第２の較正ビューは、前記視野の較正ロケーションの第２のセットを有し、
前記較正ロケーションの第２のセットの各ロケーションは、第１の回転並進を使用することによって、前記較正ロケーションの第１のセットのそれぞれのロケーションにマッピング可能である、請求項１に記載の方法。

【請求項3】

－前記第１の回転並進を使用することによって、前記較正ロケーションの第２のセットの各ロケーションを前記視野のそれぞれのロケーション上にマッピングし、これにより、前記較正ロケーションの第１のセットを構築する段階
をさらに備える、請求項２に記載の方法。

【請求項4】

前記ロケーションの第１のセットのうちの前記ロケーションは、前記視野の第１の平面領域上に配置され、前記較正ロケーションの第２のセットのうちの前記ロケーションは、前記視野の第２の平面領域上に配置され、前記第１の平面領域及び前記第２の平面領域は、互いに対して角度を形成し、特に、互いに対して実質的に垂直である、請求項２又は３に記載の方法。

【請求項5】

前記ロケーションの第１のセットのうちの前記ロケーション及び前記ロケーションの第２のセットのうちの前記ロケーションは、前記視野の第３の平面領域上に配置される、請求項２又は３に記載の方法。

【請求項6】

前記較正ロケーションの第１のセットのうちの前記ロケーションは、前記較正ロケーションの第１のセットの各ロケーションが、グリッドグラフのそれぞれのノードにおいて位置確定されるように互いに対して配置され、特に、前記グリッドグラフは、長方形及び／又は正方形グリッドグラフである、請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記較正ロケーションの第１のセットは、少なくとも第１のロケーション及び第２のロケーションを有し、前記第１のロケーション及び前記第２のロケーションは、互いに対して第１の距離を置いて第１の線上に位置合わせされ、前記較正指標のセットは、少なくとも第１の指標及び第２の指標を有し、前記第１の指標及び前記第２の指標は、互いに対して第２の距離を置いて第２の線上に位置合わせされ、
前記第１の距離及び前記第２の距離は、互いに実質的に等しく、前記第１の線及び前記第２の線は、互いに対して実質的に平行であり、
前記複数のシーンを構築する前記段階は、前記モデルパネルを前記光記録デバイスに対する第１の位置に並進させることによって、前記第１の位置において、前記第１の指標及び前記第２の指標がそれぞれ前記第１のロケーション及び前記第２のロケーションにおいて位置確定されるように第１のシーンを構築する段階を有する、請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記較正ロケーションの第１のセットは、少なくとも第３のロケーション及び第４のロケーションを有し、
前記第３のロケーション及び前記第４のロケーションは、第３の線上に位置合わせされ、前記第３の線は、前記第１の線に対して実質的に平行であり、前記第１のロケーション及び前記第３のロケーションは、第４の線上に位置合わせされ、前記第２のロケーション及び前記第４のロケーションは、第５の線上に位置合わせされ、前記第４の線及び前記第５の線は、互いに対して実質的に平行であり、
前記複数のシーンを構築する前記段階は、前記モデルパネルを前記光記録デバイスに対する前記第１の位置から第２の位置に並進させることによって、前記第２の位置において、前記第１の指標及び前記第２の指標がそれぞれ前記第３のロケーション及び前記第４のロケーションにおいて位置確定されるように第２のシーンを構築する段階を有する、請求項７に記載の方法。

【請求項9】

前記較正指標のセットは、第３の指標からなり、任意選択で、前記第３の指標は、ドット又は多角形、特に正方形である、請求項１から８のいずれか１項に記載の方法。

【請求項10】

前記モデルパネルは、正方形グリッド又はチェスボードパターンを形成する複数の正方形を有し、前記正方形グリッド又はチェスボードパターンは、前記複数の正方形の頂点のセットを含み、前記較正指標のセットの各較正指標は、前記頂点のセットのうちのそれぞれの頂点である又はそれにおいて位置確定される、請求項１から９のいずれか１項に記載の方法。

【請求項11】

前記複数の較正地点を位置確定する前記段階は、画像認識アルゴリズムを使用することによって、少なくとも前記複数の較正地点のうちの地点を位置確定する段階を有する、請求項１から１０のいずれか１項に記載の方法。

【請求項12】

前記光記録デバイスを較正する前記段階は、パラメータのセットを使用することによって実行され、前記パラメータのセットは、第２の回転並進及び／又はホモグラフィ変換をパラメータ化するパラメータを有する、請求項１から１１のいずれか１項に記載の方法。

【請求項13】

前記光記録デバイスを較正する前記段階は、前記パラメータのセットのうちの前記パラメータに関するパラメトリック関数を最小化する段階を有し、前記パラメトリック関数は、前記パラメータのセットのうちの前記パラメータに依存する、請求項１２に記載の方法。

【請求項14】

視野及び画像平面に関連付けられる光記録デバイス、前記視野内でモデルパネルを並進させる並進手段、及び請求項１～１３のいずれか１項に記載の方法を実行するように構成されている処理手段を備える、データ処理システム。

【請求項15】

視野及び画像平面に関連付けられる光記録デバイス、前記視野内でモデルパネルを並進させる並進手段、請求項１～１３のいずれか１項に記載の方法を実行するように構成されている処理手段、及び実験器具物品を位置決めする作業デッキを備える、自動実験室システム。

【請求項16】

システムに請求項１～１３のいずれか１項に記載の方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光記録デバイス、特に、自動実験室システム（ＡＬＳ）内、例えば、自動ピペッティングシステム内に含まれる光記録デバイスを較正する方法に関する。本発明は、本発明の方法を実行するように構成されている自動実験室システムにも関する。例えば、光記録デバイスは、ビデオカメラ及び／又は写真カメラであり得、視野及び画像平面に関連付けられる。特に、デバイスの視野は、光記録デバイスによって示すことができる３次元空間の一部である。特に、視野は、３次元空間における光記録デバイスの位置及び／又は向きに依存する。

【0002】

光記録デバイスを較正する方法は、デバイスの固有カメラパラメータの値を推定することを目指している。例えば、固有カメラパラメータは、焦点距離、画像座標系に対する画像中心の２次元座標、センサスケール、対角歪み、及びレンズ歪みを表すパラメータである。

【0003】

当該技術分野において既知の較正方法は、モデルパネル、例えば、平面較正パターンを使用することによって、固有カメラパラメータの値を推定する。通常、モデルパネルは、既知のパターン内に配置されたいくつかの較正指標を有する。例えば、較正指標は、モデルパネル上に示された２次元チェスボード又は２次元グリッドの頂点である。

【0004】

既知の較正方法によれば、固有カメラパラメータの値は、複数の較正ビューを使用することによって推定される。較正ビューは、視野の較正ロケーションのセットを含む、例えば、それからなる。特に、上記較正ロケーションは、カメラを較正するのに使用される視野のロケーションである。一般に、較正ビューのロケーションは、視野の略平面領域内に配置される。

【0005】

固有カメラパラメータは、較正ビューのロケーション及び画像平面におけるそれらの投影の座標を使用することによって推定される。通常、較正ビューのロケーションの投影は、これらのロケーションが較正ビューに関連付けられる画像に示される位置から推定される。

【0006】

既知の較正方法によれば、較正ビューに関連付けられる画像は、光記録デバイスに対する或るロケーション及び向きにおいてモデルパネルを示し、画像に関連付けられる較正ビューのロケーションがモデルパネルの較正指標によってマーキングされるようになっている。特に、画像に関連付けられる較正ビューの各ロケーションは、モデルパネルのそれぞれの較正指標によってマーキングされる。したがって、各較正ビューは、較正ビューの各ロケーションがモデルパネルの指標によってマーキングされる単一の画像に関連付けられ、したがって、異なる較正ビューが異なる画像に関連付けられる。

【0007】

当該技術分野において既知の方法は、特定の条件を満たす必要があるいくつかの較正ビューを必要とする。特に、少なくとも或る較正ビューのロケーションは、３次元回転並進によって別の較正ビューのロケーションに対してマッピング可能とする。したがって、光記録デバイスが、モデルパネルが前者の較正ビューのロケーションをマーキングする画像、及びモデルパネルが後者の較正ビューのロケーションをマーキングする画像を作製することを可能にするために、モデルパネルは、回転可能及び並進可能である必要がある。

【0008】

モデルパネルにおけるこの条件は、特に、モデルパネルの移動が自動化される場合、モデルパネルに適切な回転手段が設けられるものとするため、較正動作の複雑さを増大させる。一般に、モデルパネルの自動化された動きは、較正精度を向上させ、いくつかの用途において、これは必須である。例えば、多くのＡＬＳにおいて、光記録デバイスは、作業デッキ及び光記録デバイスの間の空間の低減した寸法に起因して、デバイス及び作業デッキの間の空間がモデルパネルの手動の移動を可能にしないように、作業デッキに対して位置確定及び方向付けされる。

【0009】

また、通常、較正方法は、比較的多数の較正ロケーションを有する較正ビューを必要とする。したがって、モデルパネルは、比較的多数の較正指標に適応するように寸法決めされ、これは、モデルパネルが有し得る最小サイズに制約を与える。多くの用途において、モデルパネルのサイズが比較的大きいことにより、特に、モデルパネルを比較的小さい空間内、例えば、ＡＬＳの光記録デバイス及び作業デッキの間の空間内で移動させる必要がある場合、較正動作の複雑さが増大し得る。

【0010】

したがって、モデルパネルの並進移動のみを必要とし、比較的小さいサイズのモデルパネルを使用することによって実行され得る検出方法が必要となる。これらの問題のうちの少なくともいくつかは、少なくとも部分的に、請求項１に記載のコンピュータ実装方法、請求項１３に記載のデータ処理システム、請求項１４に記載のコンピュータプログラム製品、及び請求項１５に記載のコンピュータ可読記憶媒体に関する本願の発明によって解決される。本発明の実施形態は、従属請求項の主題である。

【0011】

第１の態様において、本発明は、少なくともモデルパネル及び第１の較正ビューを使用することによって光記録デバイスを較正するコンピュータ実装方法に関する。光記録デバイスは、視野及び画像平面に関連付けられ、モデルパネルは、較正指標のセットを有する。第１の較正ビューは、視野の較正ロケーションの第１のセットを含む。

【0012】

本発明の第１の態様による方法は、
－少なくとも第１の複数のシーンを、前記較正ロケーションの第１のセットの各ロケーションについて、前記指標のセットのうちの較正指標が、前記各ロケーションにおける前記第１の複数のシーンのそれぞれのシーンにおいて位置確定されるように構築する段階、ここで、前記第１の複数のシーンの各シーンは、前記モデルパネルを前記光記録デバイスに対するそれぞれの位置に並進させることによって構築される；及び
－少なくとも第１の複数の画像を、前記第１の複数のシーンの各シーンが、前記第１の複数の画像のそれぞれの画像において表示されるように捕捉する段階
を備える。特に、第１の複数の画像の上記それぞれの画像は、第１の複数のシーンの上記各シーンに関連付けられる。

【0013】

本発明の第１の態様の方法は、
－少なくとも第１の複数の較正地点を、前記較正ロケーションの第１のセットの各ロケーションについて、前記第１の複数の較正地点のそれぞれの地点が、前記第１の複数の画像のそれぞれの画像内に含まれるように位置確定する段階、前記それぞれの画像は、それぞれの較正指標を表示し、前記それぞれの較正指標は、前記各ロケーションにおいて位置確定され、前記それぞれの地点において表示される
をさらに備える。特に、較正ロケーションの第１のセットの上記ロケーションは、第１の複数の較正地点の上記それぞれの地点に関連付けられる。

【0014】

また、本発明の第１の態様の方法は、
－少なくとも前記第１の複数の較正地点のうちの前記地点を、前記第１の較正ビューの前記画像平面上への投影の前記画像平面内のロケーションとして使用することによって、前記光記録デバイスを較正する段階
をさらに備える。

【0015】

特に、光記録デバイスを較正する段階は、第１の複数の較正地点の各地点を、上記各較正地点に関連付けられるロケーションの第１のセットのそれぞれのロケーションの画像平面上への投影の画像平面内のロケーションとして使用することによって、実行される。

【0016】

光記録デバイスは、写真カメラ及び／又はビデオカメラを含む又はそれからなり得る。例えば、光記録デバイスは、デジタルカメラ及び／又はアナログカメラを含む又はそれからなり得る。特に、光記録デバイスは、多色カメラ、単色カメラ、グレースケールカメラ、白黒カメラ、ＵＶカメラ、ＩＲカメラ、ビデオカメラ、及び／又は３次元ＲＧＢＤカメラを含む又はそれからなり得る。

【0017】

例えば、光記録デバイスは、スマートデバイスであり、例えば、画像を撮像する記録手段、処理要素（ＣＰＵ、ＧＰＵ等）を有し得る。光記録デバイスは、揮発性１次メモリ（例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＣＰＵキャッシュメモリ等）、不揮発性１次メモリ（例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ等）、及び／又は２次メモリを含む記憶手段を有し得る。特に、光記録デバイスは、本発明の方法を実行するコンピューティングデバイスであり得る。

【0018】

光記録デバイスは、３次元世界の固定ロケーションにおいて、及び／又は視野内に含まれる対象物に対して固定されたロケーションにおいて位置確定され得る。例えば、視野が自動実験室システムの作業デッキを含む場合、光記録デバイスは、作業デッキに対して固定されたロケーションにおいて位置確定され得る。

【0019】

例えば、ピンホールカメラモデルにおいて、画像平面は、カメラの開口を通して３次元世界が投影される平面である。例えば、光記録デバイスがアナログカメラである場合、画像平面は、開放したシャッターを通過する光が衝突するフィルムの感光面である。光記録デバイスがデジタルカメラである場合、画像平面は、センサー平面であり得る。特に、画像平面は、例えば、光記録デバイスのレンズの幾何学形状を考慮するために、曲面であり得る。

【0020】

画像平面内のロケーションは、画像平面内に規定される基準フレームＦ_Ｉにおける２つの座標に関して表現され得る。以下において、これらの座標は、画像平面座標とも呼ばれる。

【0021】

特に、デバイスの視野は、光記録デバイスによって示すことができる３次元空間の一部である。特に、視野は、３次元空間における光記録デバイスの位置及び／又は向きに依存する。

【0022】

較正ビューは、特に、視野のロケーションのセットであり、これらのロケーションのうちの少なくともいくつかは、光記録デバイスを較正するために使用される。較正ビューは、回転並進及び／又はホモグラフィ変換に関連付けられ得る。上記回転並進及び／又はホモグラフィ変換は、３次元世界の基準フレームＦ_ｆｉｘに対する視野における較正ビューのロケーションの位置を規定するのに使用することができ、上記基準フレームは、光記録デバイスに対して固定されている。特に、回転並進及び／又はホモグラフィ変換は、少なくとも第１の複数の較正地点のうちの地点を使用することによって光記録デバイスを較正する段階を実行するように使用され得るパラメータのセットによってパラメータ化され得る。

【0023】

第１の較正ビューは、ロケーションの第１のセットのうちのロケーションからなり得る。例えば、第１の較正ビューは、較正ロケーションの第１のセットのうちのロケーションによって規定される。特に、較正ロケーションの第１のセットのうちのロケーションは、視野の第１の領域上に配置される。例えば、第１の領域は、実質的に平面であり得る。特に、較正ロケーションの第１のセットは、Ｎ個のロケーションＰ_{（１），１}，Ｐ_{（１），２}，...，Ｐ_{（１），Ｎ}を含む。

【0024】

ロケーションの第１のセットのうちのロケーションは、３次元世界において、例えば、視野内に規定される第１の基準フレームＦ_１における３つの座標に関して表現され得る。較正ロケーションの第１のセットのうちのロケーションが第１の平面領域内に配置される場合、第１の基準フレームＦ_１は、その（Ｘ，Ｙ）平面が第１の平面領域にあるように、すなわち、較正ロケーションの第１のセットの各ロケーションのＺ座標が消えるように規定され得る。特に、第１の較正ビューに関連付けられる回転並進及び／又はホモグラフィ変換は、第１の基準フレームの座標を基準フレームＦ_ｆｉｘの座標にマッピングする変換である。

【0025】

特に、シーンは、光記録デバイスの視野内に位置確定される対象物を有する。シーンは、光記録デバイスの視野内に位置確定される対象物によって、及び視野内の上記対象物の位置によって規定され得る。同じ対象物を有する２つの異なるシーンは、視野内の上記対象物のロケーションとは異なり得る。例えば、第１の複数のシーンの各シーンは、光記録デバイスに対するモデルパネルの位置において、第１の複数のシーンのうちの他のシーンとは異なる。

【0026】

例えば、第１の複数のシーンの各シーンは、少なくとも指標のセットのうちの指標が較正ロケーションの第１のセットのロケーションにおいて位置確定されるように、視野内に位置決め及び方向付けされるモデルパネルを有する。特に、第１の複数のシーンの各シーンにおいて、モデルパネルは、少なくとも較正ロケーションの第１のセットのうちのロケーションが指標のセットのうちの指標によってマーキングされるように、配置される。

【0027】

例えば、少なくとも第１の複数のシーンのうちのシーンは、較正指標のセットのサブセットの各指標が較正ロケーションの第１のセットのそれぞれのロケーションにおいて位置確定されるように、視野内に位置決め及び方向付けされるモデルパネルを有する。例えば、少なくとも第１の複数のシーンのうちのシーンにおいて、モデルパネルは、少なくとも較正ロケーションの第１のセットのうちの第５のロケーション及び第６のロケーションが、第１の指標及び第２の指標によってそれぞれマーキングされるように、配置される。したがって、特に、第１の複数のシーンのうちのシーンの数は、較正ロケーションの第１のセットのうちのロケーションの数よりも小さいか又は等しくなり得る。

【0028】

本発明によれば、特に、較正ロケーションの第１のセットの各ロケーションについて、指標のセットのうちの較正指標は、第１の複数のシーンのそれぞれのシーン内で位置確定される。本明細書を通して、上記それぞれのシーンは、上記各ロケーションに関連付けられるシーンとしても参照される。第１の複数のシーンのうちのシーンは、ロケーションの第１のセットのうちの複数のロケーションに関連付けられ得る。

【0029】

本発明によれば、画像、例えば、少なくとも第１の複数の画像のうちの画像は、ベクトル画像又はピクセルの２次元グリッド、例えば、ピクセルの長方形グリッドであり得る。特に、画像内のピクセルのロケーションは、画像内の２次元画像座標に関して一義的に決定され得、上記座標は、ピクセルの２次元グリッド内の上記ピクセルのロケーションを表す。

【0030】

画像、例えば、少なくとも第１の複数の画像のうちの画像は、少なくともビットマップによってエンコードされ得る。画像又はその一部をエンコードするビットマップは、上記画像又はその一部の各ピクセルの強度、例えば色を指定するビットのアレイを有する、例えばそれからなり得る。ビットマップは、アレイのエントリがカラーテーブル上へのインデックスとなるように、パレットインデックス化され得る。アレイのエントリは、ピクセルの色をエンコードするビットを格納し得る。ビットマップは、ピクセルの２次元グリッドを表すドットマトリックスデータ構造を有する、例えばそれからなり得る。ビットマップは、ピクセルごとのビットの数、２次元グリッドの行ごとのピクセルの数、及び／又は上記グリッドの列ごとのピクセルの数に関する情報をさらに有し得る。画像ビューワは、ビットマップ内でエンコードされた情報を使用して、コンピューティングデバイスのスクリーン上の画像をレンダリングし得る。

【0031】

第１の複数の画像のうちの画像を捕捉する段階は、光記録デバイスを使用することによって上記画像を撮像することにより、実行され得る。この段階は、例えば、コンピューティングデバイス及び／又は光記録デバイスの１次又は２次メモリ内の第１の複数の画像のうちの画像を格納することをさらに含み得る。特に、光記録デバイスによって撮像された画像、すなわち、少なくとも第１の複数の画像のうちの画像は、ビデオキャップであり得る。例えば、光記録デバイスによって撮像された画像、すなわち、少なくとも第１の複数の画像のうちの画像は、ビデオフレームであり得る。

【0032】

少なくとも第１の複数の較正地点のうちの較正地点のロケーションは、画像平面座標に関して表現され得る。特に、第１の複数の較正地点の各較正地点のロケーションは、画像平面座標に関して表現される。例えば、第１の複数の較正地点は、Ｎ個の要素、Ｍ_{（１），１}，Ｍ_{（１），２}，...，Ｍ_{（１），Ｎ}を有する、例えばそれからなり得る。各ｊ∈｛１，２，...，Ｎ｝について、較正地点Ｍ_{（１），ｊ}は、画像座標

【数1】

によって表され得る。特に、各ｊ∈｛１，２，...，Ｎ｝について、ロケーションＰ_{（１），ｊ}は、較正地点Ｍ_{（１），ｊ}に関連付けられる。

【0033】

光記録デバイスを較正する段階は、少なくとも較正ロケーションの第１のセットのうちのロケーション、及び第１の複数の較正地点のうちの地点を入力として使用する較正アルゴリズムを使用することによって実行され得る。特に、上記較正アルゴリズムは、観察される地点として第１の複数の較正地点の各地点を使用し、ここでは、上記各地点に関連付けられるロケーションが画像平面内に表示される。例えば、光記録デバイスを較正する段階は、Ｚｈａｎｇの較正アルゴリズム及び／又はＴｓａｉの較正アルゴリズムを使用することによって実行される。

【0034】

本発明の１つの実施形態において、第１の複数の較正地点を位置確定する段階は、第１の複数のシーンを構築する段階の完了後及び／又は第１の複数の画像を捕捉する段階の完了後にのみ開始される。代替的に、第１の複数の較正地点のうちの地点を位置確定する段階は、複数の下位段階において実行され得、これらの下位段階のうちの少なくとも１つは、第１の複数のシーンのうちのシーンを構築する段階の完了前、及び／又は第１の複数の画像のうちの画像を捕捉する段階の完了前に実行され得る。本発明によれば、第１の複数のシーンを構築する段階、及び／又は第１の複数の画像を捕捉する段階は、複数の下位段階において実行され得る。

【0035】

本発明によれば、セットは、少なくとも１つの要素を有し、特に、単一の要素からなり得る。代替的に、セットは、複数の要素を有し得る。例えば、指標のセットは、指標からなり、又は複数の指標を含み得る。較正ロケーションの第１のセットは、少なくとも１つのロケーション及び／又は複数のロケーションを含み得る。特に、較正ロケーションの第１のセットは、少なくとも４つのロケーションを含み得る。

【0036】

本発明は、第１の較正ビューのロケーションが第１の複数の画像を使用することによって画像平面内に示される地点の座標を推定する。各画像は、少なくとも、較正ロケーションの第１のセットのうちの較正ロケーションにおいて位置確定されるモデルパネルの指標を示し、モデルパネルを並進させることによって構築される。本発明によれば、較正ロケーションの第１のセットのうちの較正ロケーションは、同じピクチャ内にマーキングされる必要はなく、したがって、モデルパネルのサイズは、較正ロケーションの第１のセットのうちのロケーションの数によって規定されない。したがって、光記録デバイスは、比較的小さいモデルパネル、特に、単一の較正指標に適応することができるほど小さいモデルパネルを使用することによって較正され得る。

【0037】

また、本発明の方法は、例示的な実施形態に関して下記に示されているように、モデルパネルを回転させる必要なく、光記録デバイスを較正することを可能にする。

【0038】

本発明の方法の一実施形態において、光記録デバイスは、第２の較正ビューも使用することによって較正され、第２の較正ビューは、視野の較正ロケーションの第２のセットを含む。特に、較正ロケーションの第２のセットの各ロケーションは、第１の回転並進を使用することによって、較正ロケーションの第１のセットのそれぞれのロケーションにマッピング可能である。

【0039】

第２の較正ビューは、ロケーションの第２のセットのうちのロケーションからなり得る。例えば、第２の較正ビューは、ロケーションの第２のセットのうちのロケーションによって規定され得る。特に、較正ロケーションの第２のセットのうちのロケーションは、視野の第２の領域上に配置される。例えば、第２の領域は、実質的に平面であり得る。較正ロケーションの第２のセットは、少なくとも１つのロケーション及び／又は複数のロケーションを含み得る。特に、較正ロケーションの第２のセットは、少なくとも４つのロケーションを含み得る。特に、較正ロケーションの第２のセットは、Ｎ個のロケーションＰ_{（２），１}，Ｐ_{（２），２}，...，Ｐ_{（２），Ｎ}を含む。

【0040】

ロケーションの第２のセットのうちのロケーションは、３次元世界において、例えば、視野内に規定される第２の基準フレームＦ_２における３つの座標に関して表現され得る。例えば、第２の基準フレームは、第１の基準フレームであり得る。較正ロケーションの第２のセットのうちのロケーションが第２の平面領域内に配置される場合、第２の基準フレームＦ_２は、その（Ｘ，Ｙ）平面が第２の平面領域にあるように、すなわち、較正ロケーションの第２のセットの各ロケーションのＺ座標が消えるように規定され得る。特に、第２の較正ビューに関連付けられる回転並進及び／又はホモグラフィ変換は、第２の基準フレームの座標を基準フレームＦ_ｆｉｘの座標にマッピングする変換である。

【0041】

回転並進は、回転及び／又は並進を含む、３次元世界の適切な剛体変換である。特に、回転並進は、回転及び任意選択で並進を含む適切な剛体変換である。例えば、第１の平面を第２の平面に変換する回転並進（後者の平面は、前者の平面に対して非平行である）は、回転を含むものとする。

【0042】

３次元世界の基準フレームＦにおいて、第１の回転並進は、３×３の直交回転行列Ｒ_Ｆ及び３次元並進ベクトル

【数2】

に関して表現され得る。例えば、各ｊ∈｛１，２，...，Ｎ｝について、ロケーションＰ_{（２），ｊ}は、較正ロケーションの第１のセットのうちのロケーションＰ_{（１），ｊ}にマッピングされる。特に、各ｊ∈｛１，２，...，Ｎ｝について、基準フレームＦにおけるロケーションＰ_{（１），ｊ}の座標

【数3】

は、

【数4】

によって与えられ、

【数5】

は、ロケーションＰ_{（２），ｊ}の基準フレームＦにおける座標である。

【0043】

上述したように、本発明の方法は、モデルパネルを回転させる必要なく、光記録デバイスを較正することを可能にする。下記に示すように、これは、例えば、モデルパネルの指標が較正ロケーションの第２のセットの全てのロケーションをマーキングするように、モデルパネルが第３の位置に位置決めされ、視野内で第３の向きに方向付けられている場合にも当てはまる。特に、モデルパネルの指標は、基準フレームＦにおいて座標

【数6】

によって表されるロケーションＰ_{（２），１}において位置確定され、したがって、それをマーキングする。

【0044】

例えば、この場合、ロケーションＰ_{（１），１}に関連付けられるシーンは、並進によって第３の位置からロケーションＰ_{（１），１}に関連付けられる位置にモデルパネルを並進させることによって構築される。基準フレームＦにおいて、上記並進は、３次元並進ベクトル

【数7】

によって表される。

【0045】

ロケーションＰ_{（１），２}に関連付けられるシーンは、並進によってロケーションＰ_{（１），１}に関連付けられる位置からロケーションＰ_{（１），２}に関連付けられる位置にモデルパネルを並進させることによって構築される。基準フレームＦにおいて、上記並進は、３次元並進ベクトル

【数8】

によって表される。

【0046】

位置Ｐ_{（１），３}，Ｐ_{（１），４}，...，Ｐ_{（１），Ｎ}に関連付けられるシーンは、適切な並進を使用することによってモデルパネルを並進させることによって同様の方法で構築される。特に、第ｊのロケーションＰ_{（１），ｊ}（ｊ≧２）に関連付けられるシーンは、並進によってロケーションＰ_{（１），ｊ－１}に関連付けられる位置からロケーションＰ_{（１），ｊ}に関連付けられる位置にモデルパネルを並進させることによって構築される。基準フレームＦにおいて、上記並進は、３次元並進ベクトル

【数9】

によって表される。

【0047】

本発明の一実施形態は、
－少なくとも第２の複数のシーンを構築する段階であって、較正ロケーションの第３のセットの各ロケーションについて、前記指標のセットのうちの較正指標が、前記各ロケーションにおける前記第２の複数のシーンのそれぞれのシーンにおいて位置確定されるようにし、前記第２の複数のシーンの各シーンは、前記モデルパネルを前記光記録デバイスに対するそれぞれの位置に並進させることによって構築される、段階；及び
－少なくとも第２の複数の画像を捕捉する段階であって、前記第２の複数のシーンの各シーンが、前記第２の複数の画像のそれぞれの画像において表示されるようにする、段階
をさらに備える。

【0048】

特に、較正ロケーションの第３のセットは、少なくとも、較正ロケーションの第１のセットに含まれない較正ロケーションの第２のセットのロケーションを含む。例えば、較正ロケーションの第３のセットは、較正ロケーションの第２のセットに等しく、例えば、較正ロケーションの第３のセットは、較正ロケーションの第２のセットに含まれるロケーションからなる。

【0049】

この実施形態は、
－少なくとも第２の複数の較正地点を位置確定する段階であって、前記較正ロケーションの第３のセットの各ロケーションについて、前記第２の複数の較正地点のそれぞれの地点が、前記第２の複数の画像のそれぞれの画像内に含まれるようにし、前記それぞれの画像は、それぞれの較正指標を表示し、前記それぞれの較正指標は、前記各ロケーションにおいて位置確定され、前記それぞれの地点において表示される、段階
をさらに備え得る。

【0050】

また、この実施形態では、光記録デバイスを較正する段階は、第３の複数の較正地点のうちの地点を、第２の較正ビューの画像平面上への投影の画像平面内のロケーションとして使用することによって、実行され得る。

【0051】

特に、第３の複数の較正地点は、条件のセットの各条件を満たす、第２の複数の較正地点のうちの較正地点及び第１の複数の較正地点のうちの較正地点を含む。第３の複数の較正地点は、例えば、第１の複数の較正地点のうちの較正地点のいずれも条件のセットの各条件を満たさない場合、第２の複数の較正地点のうちの較正地点からなり得る。

【0052】

例えば、条件のセットは、較正地点が、較正ロケーションの第１のセット及び較正ロケーションの第２のセットに含まれる視野のロケーションに関連付けられる条件を有する、例えばそれからなる。例えば、第３の複数の較正地点の各地点について、上記各地点は、第２の複数の較正地点に含まれ、及び／又は上記各地点は、較正ロケーションの第１のセット及び較正ロケーションの第２のセットの双方に含まれるロケーションに関連付けられる。

【0053】

本発明の方法の一実施形態は、
－較正ロケーションの第２のセットの各ロケーションを、第１の回転並進を使用することによって視野のそれぞれのロケーション上にマッピングし、これにより、較正ロケーションの第１のセットを構築する段階
をさらに備える。

【0054】

本発明の方法のさらなる実施形態において、ロケーションの第１のセットのうちのロケーションは、視野の第１の平面領域上に配置され、ロケーションの第２のセットのうちのロケーションは、視野の第２の平面領域上に配置される。特に、第１の平面領域及び第２の平面領域は、互いに対して角度を形成する。例えば、第１の平面領域及び第２の平面領域は、互いに対して実質的に垂直である。特に、第１及び第２の平面領域は、互いに対して平行でない。

【0055】

この場合、方法は、モデルパネルを回転させる必要なく、互いに対して平行でない２つのビューを使用することによって光記録デバイスの較正を可能にする。

【0056】

特に、ロケーションの第１のセットのうちのロケーション及びロケーションの第２のセットのうちのロケーションは、視野の第３の平面領域上に配置される。

【0057】

本発明の一実施形態によれば、較正ロケーションの第１のセットのうちのロケーションは、較正ロケーションの第１のセットの各ロケーションが第１のグリッドグラフのそれぞれのノードにおいて位置確定されるように、互いに対して配置される。特に、第１のグリッドグラフは、２次元グリッドグラフ、より詳細には、長方形及び／又は正方形グリッドである。本発明によれば、グリッドグラフは、特に、第１の格子定数及び第２の格子定数によって規定される格子グラフである。

【0058】

較正ロケーションの第１のセットのロケーションのこの配置は、第１の複数のシーンのうちのシーンの数の低減を可能にする。特に、ロケーションの第１のセットのうちのいくつかのロケーションは、同じシーン内にマーキングされ得る。例えば、これは、第１のグリッドグラフに対応する、例えば実質的に等しいグリッドグラフのノードに指標が配置される、モデルパネルを使用することによって達成され得る。例えば、後者のグリッドグラフの第１の格子定数及び第２の格子定数は、第１のグリッドグラフの第１の格子定数及び第２の格子定数にそれぞれ等しい。

【0059】

本発明の一実施形態によれば、較正ロケーションの第２のセットのうちのロケーションは、較正ロケーションの第２のセットの各ロケーションが第２のグリッドグラフのそれぞれのノードにおいて位置確定されるように、互いに対して配置される。特に、第２のグリッドグラフは、２次元グリッドグラフ、より詳細には、長方形及び／又は正方形グリッドである。例えば、第２のグリッドグラフの第１の格子定数及び第２の格子定数は、第１のグリッドグラフの第１の格子定数及び第２の格子定数にそれぞれ等しい。例えば、第２のグリッドグラフは、第１の回転並進を使用することによって第１のグリッドグラフにマッピング可能である。１つの実施形態において、第２のグリッドグラフの第１の格子定数及び／又は第２の格子定数は、第１のグリッドグラフの第１の格子定数及び／又は第２の格子定数とは異なり得る。

【0060】

本発明の一実施形態において、較正ロケーションの第１のセットは、少なくとも第１のロケーション及び第２のロケーションを有し、第１のロケーション及び第２のロケーションは、互いに対して第１の距離を置いて第１の線上に位置合わせされ、較正指標のセットは、少なくとも、第１の指標及び第２の指標を含み、第１の指標及び第２の指標は、互いに対して第２の距離を置いて第２の線上に位置合わせされる。

【0061】

特に、第１の距離及び第２の距離は、互いに実質的に等しく、第１の線及び第２の線は、互いに対して実質的に平行である。

【0062】

この実施形態において、第１の複数のシーンを構築する段階は、モデルパネルを光記録デバイスに対する第１の位置に並進させ、第１の位置において、第１の指標及び第２の指標が第１のロケーション及び第２のロケーションにおいてそれぞれ位置確定されるようにすることによって、第１のシーンを構築する段階を含む。

【0063】

特に、較正ロケーションの第１のセットは、第１の線上に位置合わせされる少なくとも第１の複数の較正ロケーションを含み、較正指標は、第２の線上に位置合わせされる少なくとも第１の複数の指標を含む。例えば、第１の位置において、第１の複数の指標の各指標は、第１の複数の較正ロケーションのそれぞれのロケーションにおいて位置確定される。

【0064】

この実施形態において、第１のロケーション及び第２のロケーションは、同じシーン内にマーキングされ、したがって、同じ画像内に示される。したがって、この場合、第１の複数のシーンのうちのシーンの数、したがって、第１の複数の画像における画像の数は低減され、較正プロセスは簡略化される。

【0065】

本発明の一実施形態において、較正ロケーションの第１のセットは、少なくとも第３のロケーション及び第４のロケーションを含む。第３のロケーション及び第４のロケーションは、第３の線上に位置合わせされ、第３の線は、第１の線に対して実質的に平行である。この実施形態によれば、第１のロケーション及び第３のロケーションは、第４の線上に位置合わせされ、第２のロケーション及び第４のロケーションは、第５の線上に位置合わせされ、第４の線及び第５の線は、互いに対して実質的に平行である。

【0066】

第１の複数のシーンを構築する段階は、モデルパネルを光記録デバイスに対する第１の位置から第２の位置に並進させ、第２の位置において、第１の指標及び第２の指標が第３のロケーション及び第４のロケーションにおいてそれぞれ位置確定されるようにすることによって、第２のシーンを構築する段階を含み得る。特に、較正ロケーションの第１のセットは、第３の線上に位置合わせされる第２の複数の較正ロケーションを含み得、較正指標は、第２の線上に位置合わせされる第２の複数の指標を含む。特に、第２の位置において、第２の複数の指標の各指標は、第２の複数の較正ロケーションのそれぞれのロケーションにおいて位置確定される。例えば、第２の複数の指標は、第１の複数の指標を含むか又はそれに含まれ得る。第２の複数の指標は、第１の複数の指標からなり得る。

【0067】

この実施形態において、第１の複数のシーンのうちのシーンの数、したがって、第１の複数の画像における画像の数は、さらに低減される。特に、この場合、第３のロケーション及び第４のロケーションは、同じシーン内にマーキングされ、したがって、同じ画像内に示される。

【0068】

本発明の一実施形態において、並進ベクトル

【数10】

は、第５及び第４の線に対して実質的に平行である。したがって、第１及び第２の位置の間のモデルパネルの移動は、最小化される。こうして、較正プロセスは合理化され、この処理を実行するためのエネルギー消費が低減される。例えば、基準フレームＦにおいて、並進ベクトル

【数11】

は、

【数12】

によって与えられる。

【0069】

本発明の一実施形態において、較正指標のセットは、第３の指標からなり、任意選択で、第３の指標は、ドット又は多角形、特に正方形である。

【0070】

この場合、モデルパネルのサイズは、このパネルが単一の指標を含むことから、低減され得る。

【0071】

本発明の一実施形態によれば、較正指標のセットのうちの較正指標は、較正指標のセットの各較正指標が第３のグリッドグラフのそれぞれのノードにおいて位置確定されるように、モデルパネル上に互いに対して配置される。特に、第３のグリッドグラフは、２次元グリッドグラフ、より詳細には、長方形及び／又は正方形グリッドである。例えば、第３のグリッドグラフの第１の格子定数及び第２の格子定数は、第１のグリッドグラフの第１の格子定数及び第２の格子定数にそれぞれ等しい。

【0072】

本発明によれば、モデルパネルは、正方形グリッド又はチェスボードパターンを形成する複数の正方形を含み得る。存在する場合、正方形グリッド又はチェスボードパターンは、複数の正方形の頂点のセットを含み得、較正指標のセットの各較正指標は、頂点のセットのそれぞれの頂点にある又は位置確定される。

【0073】

本発明の一実施形態において、前記第１の複数の較正地点を位置確定する前記段階は、画像認識アルゴリズムを使用することによって、少なくとも前記第１の複数の較正地点のうちの地点を位置確定する段階を有する。特に、第１の複数の較正地点の各地点は、画像認識アルゴリズムを使用することによって位置確定される。

【0074】

アルゴリズムは、特に、出力情報を取得するために入力情報を処理する命令の集合体、例えばシーケンスである。アルゴリズムの命令は、コンピュータ内に実装され、例えば、本発明によるデータ処理システムのプロセッサによって実行され得る。特に、アルゴリズムの入力情報は、アルゴリズムを実行するプロセッサによってアクセスされ得る入力データにおいてエンコードされる。特に、プロセッサは、出力情報を生成するアルゴリズムの命令に従って入力データを処理し、これは、通常、出力データにおいてエンコードされる。本発明によれば、特に、アルゴリズムは、プロセッサによって実行されると、上記プロセッサにこれらのデータを処理させる命令をアルゴリズムが含む場合、データを処理する。

【0075】

例えば、画像認識アルゴリズムは、入力画像又はその一部の各ピクセルの位置及び強度値を含む入力データを処理する。特に、画像認識アルゴリズムは、プロセッサによって実行されると、入力画像内で指標のセットのうちの１つ又は複数の指標を検出することを試みるように、上記プロセッサに入力データを処理させる命令を含む。

【0076】

画像認識アルゴリズムは、光記録デバイスによって取得される入力ビデオにおける指標のセットのうちの１つ又は複数の指標を検出するように試みるアルゴリズムであり得る。例えば、画像認識アルゴリズムは、プロセッサによって実行されると、入力ビデオのフレーム内で指標のセットのうちの１つ又は複数の指標を検出することを試みるように、上記プロセッサに上記フレームを処理させる命令を含む。

【0077】

出力情報は、指標のセットのうちの１つ又は複数の指標が入力画像内に表示されているか否かを示す情報を含み得る。これが当てはまる場合、出力情報は、検出された指標が上記画像内に表示されている地点を示す情報をさらに含み得る。

【0078】

方法の一実施形態によれば、画像認識アルゴリズムは、少なくとも機械学習アルゴリズムを含む。特に、機械学習アルゴリズムは、入力情報を処理して出力情報を取得する命令を含み、これらの命令のうちの少なくともいくつかは、トレーニングデータ及びトレーニングアルゴリズムのセットを使用することによって設定される。機械学習アルゴリズムは、人工ニューラルネットワーク（ＡＮＮ）、決定木、ランダムフォレスト、サポートベクターマシン（ＳＶＭ）等を含み得る。例えば、第１の機械学習アルゴリズムは、畳み込みニューラルネットワーク及び／又はディープニューラルネットワークであり得る。

【0079】

本発明の一実施形態において、前記光記録デバイスを較正する前記段階は、パラメータのセットを使用することによって実行され、前記パラメータのセットは、第２の回転並進及び／又はホモグラフィ変換をパラメータ化するパラメータを有する。特に、第２の回転並進及び／又はホモグラフィ変換は、第１の較正ビューに関連付けられる。例えば、第２の回転並進及び／又はホモグラフィ変換は、３次元世界の基準フレームに関する視野における較正ロケーションの第１のセットのうちのロケーションの位置を規定するのに使用することができる。特に、上記基準フレームは、光記録デバイスに対して固定される。

【0080】

パラメータのセットは、第２の回転並進を一意に決定するのに好適なパラメータを含む、例えばそれからなり得る。特に、パラメータのセットは、

【数13】

（１）によって与えられるＡ次元リスト

【数14】

内に集合され得るＡ個の要素からなる。例えば、第２の回転並進は、３×３の直交回転行列及び並進ベクトルに関して表現され得る。

【数15】

（２）この場合、パラメータのセットは、並進ベクトル

【数16】

の３つのエントリ、及び回転行列Ｒ_（１）のエントリをパラメータ化する３つのパラメータを含み得る。例えば、これらの３つのパラメータは、回転行列Ｒ_（１）をパラメータ化するロドリゲスベクトル又は３つのオイラー角のエントリであり得る。

【0081】

基準フレームＦにおいて、ホモグラフィ変換は、３×３のホモグラフィ行列Ｈ_{（１），３}及び／又は３×４のホモグラフィ行列Ｈ_{（１），４}に関して表現され得る。この場合、パラメータのセットは、Ｈ_{（１），３}の９個のエントリ及び／又はＨ_{（１），４}の１２個のエントリを含み得る。これらのホモグラフィ行列のエントリは、第２の回転並進を、例えば、行列Ｒ_（１）及びベクトル

【数17】

のエントリに関してパラメータ化するパラメータに関してパラメータ化され得る。例えば、

【数18】

及び／又は

【数19】

λは全体の倍率、ｆは光記録デバイスの焦点距離、（ｕ_ｃ ｖ_ｃ）^Ｔは画像中心のロケーション、ｓ_θは半径方向歪みである。ｓ_ｘ及びｓ_ｙは、それぞれｘ及びｙ方向における第２の倍率である。カメラのこれらの較正パラメータは、

【数20】

によって与えられる６次元リスト

【数21】

内に集合され得る。本発明の一実施形態において、光記録デバイスを較正する段階は、パラメータ化された地点の第１のセットを使用することによって実行され、パラメータ化された地点の第１のセットの各パラメータ化された地点は、較正ロケーションの第１のセットのそれぞれのロケーションの画像平面上への投影のロケーションのパラメータ化である。パラメータ化された地点の第１のセットの各パラメータ化された地点は、少なくともパラメータのセットのうちのパラメータに依存し得る。

【0082】

特に、パラメータ化された地点のセットは、Ｎ個の要素Ｑ_{（１），１}，Ｑ_{（１），２}，...，Ｑ_{（１），Ｎ}を含み得る。各ｊ∈｛１，２，...，Ｎ｝について、パラメータ化された地点Ｑ_{（１），ｊ}は、画像座標

【数22】

によって表され得る。

【0083】

例えば、各ｊ∈｛１，２，...，Ｎ｝について、画像座標

【数23】

は、較正パラメータ及び座標（Ｘ' Ｙ' Ｚ'）の関数であり得る。

【数24】

係数Ｄ（Ｘ'，Ｙ'，Ｚ'）は、

【数25】

によって与えられる量ｒの関数であり得る。例えば、係数Ｄ（Ｘ'，Ｙ'，Ｚ'）は、

【数26】

又は（７ａ）

【数27】

によって与えられ得る。特に、Ｋは、２、３、又は４に等しいものであり得る。係数ｋ_ｃは、光記録デバイスの歪み係数である。これらの係数は、

【数28】

によって与えられるＫ次元リスト

【数29】

内に集合され得る。例えば、Ｄ（Ｘ'，Ｙ'，Ｚ'）は、レンズ歪みがない又は無視できる場合、式（７ａ）によって与えられ得る。

【0084】

特に、座標（Ｘ' Ｙ' Ｚ'）は、ロケーションＰ_{（１），ｊ}の座標

【数30】

に関して表現され得る。

【数31】

上述したように、回転行列Ｒ_（１）及び並進ベクトル

【数32】

は、パラメータのセットのうちのパラメータによって、例えば、Ａ次元リスト

【数33】

内に含まれるパラメータによってパラメータ化され得る。特に、回転行列Ｒ_（１）及び並進ベクトル

【数34】

は、基準フレームＦをカメラ基準フレームＦ_ｃにマッピングする回転並進を表す。特に、基準フレームＦ_ｃは、３次元世界において規定され、（ｉ）その原点が光記録デバイスの光学中心において位置確定され；（ｉｉ）そのｚ軸が光記録デバイスの光軸と位置合わせされ；（ｉｉｉ）そのｚ軸が画像平面に対して垂直であるようになっている。特に、フレームＦ_ｃにおいて、画像平面は、点（０ ０ ｆ）^Ｔにおいてｚ軸に交差する。

【0085】

例えば、各ｊ∈｛１，２，...，Ｎ｝について、画像座標

【数35】

は、上述のホモグラフィ行列の関数であり得る。

【数36】

及び／又は

【数37】

特に、後者の式は、基準フレーム内で成り立ち、Ｚ_{（１），ｊ}＝０である。例えば、基準フレームＦが、各ｊ∈｛１，２，...，Ｎ｝について、Ｚ_{（１），Ｆ，ｊ}＝０になるように選択される場合、行列Ｈ_{（１），３}のエントリのそれぞれの数値は、座標

【数38】

、画像座標

【数39】

、及び直接線形変換を使用することによって推定され得る。この場合、行列Ｈ_{（１），３}のエントリは、式（３ａ）に従ってパラメータ化され得る。したがって、この場合、行列Ｈ_{（１），３}のエントリの数値は、リスト

【数40】

内に含まれる較正パラメータのそれぞれの数値、行列Ｒ_（１）の最初の２つの列のエントリのそれぞれの数値、及びベクトル

【数41】

のエントリのそれぞれの数値を推定するのに使用され得る。

【0086】

例えば、各ｊ∈｛１，２，...，Ｎ｝について、画像座標

【数42】

は、較正パラメータ及び座標（Ｘ' Ｙ' Ｚ'）の関数であり得る。

【数43】

ｆ_ｘ及びｆ_ｙは、ピクセル単位で表現される焦点距離である。座標（Ｘ'' Ｙ'' Ｚ''）は、式（９）において規定される座標（Ｘ' Ｙ' Ｚ'）及び式（６）において規定される量ｒに関して、以下のように表現され得る。

【数44】

係数

【数45】

～

【数46】

は、半径方向歪み係数であり、係数

【数47】

及び

【数48】

は、接線方向歪み係数である。

【0087】

パラメータ化された地点の使用は、較正パネルにおける指標の（既知の）座標、及び視野の第１の領域の位置及び向きに関して、較正ロケーションの第１のセットのうちのロケーションを決定することを可能にする。後者の位置及び向きは、パラメータのセットのうちのパラメータによってパラメータ化される第２の回転並進及び／又はホモグラフィ変換によって表される。これらのパラメータは、較正段階中に、例えば、Ｚｈａｎｇの較正アルゴリズム及び／又はＴｓａｉの較正アルゴリズムを使用することによって推定され得、前もって既知である又は較正段階の前に測定される必要はなく、これにより、較正手順が合理化される。

【0088】

特に、光記録デバイスを較正する段階は、パラメータのセットのうちのパラメータに関してパラメトリック関数を最小化する段階を含む。パラメトリック関数は、パラメータのセットのうちのパラメータに依存する。

【0089】

特に、パラメトリック関数は、複数の較正地点のうちの地点、及びパラメータ化された地点のセットのうちのパラメータ化された地点に依存する。より詳細には、パラメトリック関数は、パラメータ化された地点のセットのうちのパラメータ化された地点への依存を介してパラメータのセットのうちのパラメータに依存する。

【0090】

特に、パラメトリック関数は、少なくとも、カメラの較正パラメータ及び／又はパラメータのセットのうちのパラメータに関して最小化される。特に、パラメトリック関数は、少なくとも、リスト

【数49】

及びリスト

【数50】

内に含まれるパラメータ、及び存在する場合、リスト

【数51】

内に含まれるものに関して最小化される。最小化は、レーベンバーグ・マーカート法等の反復法を使用することによって実行され得る。

【0091】

例えば、パラメトリック関数は、下記に与えられる関数Ｇ_（１）を含む。

【数52】

【数53】

は、２次元ベクトル

【数54】

のノルムを示し、

【数55】

は、式（５）～（９）又は式（６）、（９）、（１１）、及び（１２）を使用することによって計算され得る。関数Ｇ_（１）は、座標

【数56】

がこれらのパラメータに依存し得るため、リスト

【数57】

内に含まれる較正パラメータ、及び存在する場合、リスト

【数58】

のうちの較正パラメータに依存し得る（式（５）～（９）を参照）。これらの座標、及びしたがって、関数Ｇ_（１）は、パラメータのセットのうちのパラメータにも依存し得る。

【0092】

基準フレームＦが、各ｊ∈｛１，２，...，Ｎ｝について、Ｚ_{（１），Ｆ，ｊ}＝０になるように選択される場合、パラメトリック関数は、下記に与えられる関数Ｌ_（１）を含み得る。

【数59】

【数60】

は、３次元ベクトル

【数61】

のノルムを示す。この場合、パラメトリック関数は、少なくとも行列Ｈ_{（１），３}のエントリに関して最小化され得る。最小化は、これらのエントリのそれぞれの数値の推定を可能にする。上記に説明したように、これらの数値は、リスト

【数62】

内に含まれる較正パラメータのそれぞれの数値、及びＲ_（１）の最初の２つの列のエントリのそれぞれの数値、及びベクトル

【数63】

のエントリのそれぞれの数値を推定することを可能にする。

【0093】

較正関数の最小化は、較正ロケーションの数の増大を可能にし、これにより、例えば、視野内のモデルパネルの位置及び／又は第１の複数の画像のうちの画像内の地点の位置の不確実性に関連する較正エラーに影響を与える統計誤差の影響が低減される。

【0094】

本発明の方法の一実施形態によれば、光記録デバイスは、第３の較正ビューも使用することによって較正され、第３の較正ビューは、視野の較正ロケーションの第４のセットを含む。特に、較正ロケーションの第４のセットの各ロケーションは、第３の回転並進を使用することによって、較正ロケーションの第２のセットのそれぞれのロケーションにマッピング可能である。

【0095】

特に、本発明の方法は、較正ロケーションの第４のセットの各ロケーションを、第３の回転並進を使用することによって視野のそれぞれのロケーション上にマッピングし、これにより、較正ロケーションの第２のセットを構築する段階をさらに備え得る。

【0096】

本発明の一実施形態において、光記録デバイスは、複数の較正ビューも使用することによって較正される。特に、複数の較正ビューの各較正ビューは、視野の較正ロケーションのそれぞれのセットを含む。特に、較正ロケーションの上記それぞれのセットの各ロケーションは、それぞれの回転並進を使用することによって、較正ロケーションの第１のセットのそれぞれのロケーションにマッピング可能である。複数の較正ビューは、少なくとも４つの較正ビュー、及び特に第２の較正ビュー及び／又は第３の較正ビューを含み得る。

【0097】

本発明は、視野及び画像平面に関連付けられる光記録デバイス、前記視野内でモデルパネルを並進させる並進手段、及び本発明による方法を実行するように構成されている処理手段を備える、データ処理システムに関する。特に、並進手段は、少なくとも視野内でモデル平面を並進させるように構成されている。データ処理システムは、モデルパネルをさらに備え得る。

【0098】

本発明は、本発明のデータ処理システムを含む自動実験室システムにも関する。特に、本発明の自動実験室システムは、視野及び画像平面に関連付けられる光記録デバイス、及び視野内でモデルパネルを並進させる並進手段を備える。本発明の自動実験室システムは、本発明による方法を実行するように構成されている処理手段、及び実験器具物品を位置決めする作業デッキをさらに備える。本発明の自動実験室システムは、モデルパネルをさらに備え得る。

【0099】

実験器具物品は、臨床又は実験室環境において使用されるコンテナを含む又はそれからなり得る。このコンテナは、ガラス、プラスチック、金属等から作製され得る。例えば、実験器具物品は、頂部、蓋、及び／又は底部を有し得る培養皿を含む、又はそれからなり得る。特に、実験器具物品は、サンプルバイアル及び／又は試験管を含む又はそれからなる。実験器具物品は、単回使用、複数回使用、及び／又は使い捨てのものであり得る。例えば、実験器具物品は、プレート、チップ、管、リザーバ、チップボックス、高さアダプタ、リザーバラック、及び／又は管ラックを含む又はそれからなり得る。

【0100】

本発明は、プログラムが本発明によるデータ処理システムによって実行されると、上記システムに本発明による方法を実行させる命令を含む、コンピュータプログラム製品にも関する。

【0101】

本発明は、本発明によるシステムによって実行されると、上記システムに本発明の方法を実行させる命令を含む、コンピュータ可読記憶媒体に関する。

【0102】

本発明によれば、コンピューティングデバイスは、処理要素（ＣＰＵ、ＧＰＵ等）及び記憶手段を有し得る。記憶手段は、少なくとも、揮発性１次メモリ（例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＣＰＵキャッシュメモリ等）、不揮発性１次メモリ（例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ等）、及び／又は２次メモリを含み得る。特に、揮発性１次メモリは、処理要素によって実行されるプログラムファイル及び関連データを一時的に保持し、不揮発性１次メモリは、コンピューティングデバイスのオペレーティングシステムのブートストラップコードを含み得る。本発明によれば、コンピューティングデバイスは、入力及び／又は出力デバイスを含むコンピュータシステムであり得、より詳細には、スマートフォン、コンピュータ、タブレット等であり得る。特に、コンピュータネットワークの第１のノード、第２のノード、第３のノード、及び／又は第４のノードは、コンピューティングデバイス又はそのクラスタであり得る。

【図面の簡単な説明】

【0103】

本発明の例示的な実施形態を、添付図面に関連して以下に説明する。図面及び対応する詳細な説明は、単に本発明のよりよい理解を提供する役目を果たし、特許請求の範囲に定義される本発明の範囲をいかようにも制限しない。詳細は以下である。

【0104】

【図1a】本発明による自動実験室システム（ＡＬＳ）の第１の実施形態のデータ処理システムの概略図である。

【図1b】本発明によるＡＬＳの第１の実施形態の概略図である。

【図1c】本発明によるＡＬＳの第１の実施形態の概略図である。

【図1d】本発明によるＡＬＳの第１の実施形態の概略図である。

【図2】本発明による方法の第１の実施形態の動作のフロー図である。

【図3a】ＡＬＳの第１の実施形態の概略図である。

【図3b】ＡＬＳの第１の実施形態の概略図である。

【図3c】ＡＬＳの第１の実施形態の概略図である。

【図4a】ＡＬＳの第１の実施形態の概略図である。

【図4b】ＡＬＳの第１の実施形態の概略図である。

【図4c】ＡＬＳの第１の実施形態の概略図である。

【図5a】ＡＬＳの第１の実施形態の概略図である。

【図5b】ＡＬＳの第１の実施形態の概略図である。

【図5c】ＡＬＳの第１の実施形態の概略図である。

【図6a】ＡＬＳの第１の実施形態の概略図である。

【図6b】ＡＬＳの第１の実施形態の概略図である。

【図7a】ＡＬＳの第１の実施形態の概略図である。

【図7b】ＡＬＳの第１の実施形態の概略図である。

【図8a】本発明の方法の第１の実施形態を実行することによって撮像される画像の概略図である。

【図8b】本発明の方法の第１の実施形態を実行することによって撮像される画像の概略図である。

【発明を実施するための形態】

【0105】

図１ｂ～図１ｄは、本発明によるＡＬＳ１００の第１の実施形態の概略図である。図１ｃ及び図１ｄは、それぞれ、図１ｂの線１－１に沿った断面図、及び線２－２に沿った断面図である。

【0106】

ＡＬＳ１００は、デジタルカメラ１５０の形態の光記録デバイスを備える。カメラ１５０は、特に、第１の複数の画像のうちの画像を撮像するように構成されており、写真カメラ及び／又はビデオカメラを含む又はそれからなり得る。ＡＬＳ１００は、１つ又は複数の実験器具物品を位置決めする作業デッキ１１０をさらに備える。図１ｃに最もよく示されているように、作業デッキ１１０は、廃棄コンテナ１１１を有する。ＡＬＳ１００は、この実施形態では実質的に平行六面体形状を有するモデルパネル１４０を備える。図１ｃに最もよく示されているように、モデルパネル１４０は、光記録デバイス１５０に面するモデルパネル１４０の面１４１上に配置された較正指標のセット４０～４９を有する（図１ｂを参照）。指標のセット４０～４９の各指標は、長方形グリッドグラフのそれぞれのノードに配置される。

【0107】

モデルパネル１４０は、少なくとも光記録デバイス１５０の視野内でモデルパネル１４０を並進させるように適合されている並進手段１２０に作動的に接続される。例えば、並進手段１２０は、第１のレール、第２のレール、及び第２のレールに作動的に接続された第１のモータ（図示せず）を有し得る。第１のレール及び第２のレールは、それぞれ第１の方向３１０及び第２の方向３２０に対して実質的に平行に延在する。特に、第２のレールは、第２のレールが第１のモータによって、第１のレールに沿って、例えば、第１の方向３１０に対して平行に並進可能であるように、第１のレールに移動可能に接続される。

【0108】

並進手段１２０は、伸長式アーム１２１、例えば、テレスコピックアームを有する。また、並進手段１２０は、アーム１２１に作動的に接続された第２のモータ及び第３のモータ（図示せず）をさらに有し得る。アーム１２１は、第３の方向３３０に対して平行に延在し、モデルパネル１４０に接続されており、上記パネル１４０とともに移動する。アーム１２１は、アーム１２１が第２のモータによって第２のレールに沿って並進可能であるように、第２のレールに移動可能に接続されている。アーム１２１は、第３のモータによって伸長方向２４０に沿って伸長可能である。図１ｂに示されているように、伸長方向は、第３の方向３３０に対して実質的に平行である。第１のモータ、第２のモータ、及び／又は第３のモータは、サーボ及び／又はステップモータであり得る。

【0109】

ＡＬＳ１００は、図１ａに概略的に示されているデータ処理システム（ＤＰＳ）１６０を備える。ＤＰＳ１６０は、コンピューティングデバイス又はそのクラスタを有し得る。例えば、ＤＰＳ１６０は、スマートフォン、デスクトップコンピュータ、タブレット、ラップトップ等であり得る。ＤＰＳ１６０は、互いにデータ通信する処理要素１７０及び記憶手段１８０を有する。処理要素１７０は、ＣＰＵ及び／又はＧＰＵからなる又はそれを含み得、本発明の方法の段階を実行するように構成されているいくつかのモジュール１７１～１７４を有する。

【0110】

記憶手段１８０は、揮発性１次メモリ１８１（例えば、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、ＣＰＵキャッシュメモリ等）及び／又は不揮発性１次メモリ１８２（例えば、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ等）を有し得る。特に、揮発性１次メモリは、ＲＡＭからなり得る。例えば、揮発性１次メモリ１８１は、処理要素によって実行されるプログラムファイル及び関連データを一時的に保持し、不揮発性１次メモリ１８２は、ＤＰＳ１６０のオペレーティングシステムのブートストラップコードを含み得る。

【0111】

記憶手段１８０は、オペレーティングシステム及び／又は本発明の方法を実行するように使用されるアルゴリズムの命令を格納し得る、２次メモリ１８３をさらに有し得る。また、２次メモリ１８３は、命令を有するコンピュータプログラム製品を格納し得、命令は、コンピュータプログラム製品がＤＰＳ１６０によって実行されると、ＤＰＳ１６０に本発明による方法を実行させる。

【0112】

２次メモリ１８３、１次メモリ１８１、１８２、及び処理要素１７０は、同じハウジング内に物理的に収容される必要はなく、その代わり、互いに空間的に分離され得る。特に、２次メモリ１８３、１次メモリ１８１、１８２、及び処理要素１７０は、互いに空間的に分離され得、有線及び／又は無線媒体（図示せず）を介して互いにデータを交換し得る。

【0113】

ＤＰＳ１６０は、入出力（Ｉ／Ｏ）インターフェース１６１を有し得、これにより、ＤＰＳ１６０が入出力デバイス（例えば、ディスプレイ、キーボード、タッチスクリーン、プリンタ、マウス、カメラ等）と通信することを可能にする。ＤＰＳ１６０は、ＤＰＳ１６０を好適なネットワーク（図示せず）と接続するように構成されているネットワークインターフェースコントローラ（ＮＩＣ）１６２をさらに有し得る。本発明によれば、好適なネットワークは、例えば、イントラネット、インターネット、又はセルラーネットワークであり得る。

【0114】

カメラ１５０は、Ｉ／Ｏインターフェース１６１を介して処理要素１７０に接続され得る。例えば、カメラ１５０は、ＮＩＣ１６２を介してＩ／Ｏインターフェースに無線接続され得る。カメラ１５０は、Ｉ／Ｏインターフェース１６１又は周辺機器とともに使用される関連付けられた命令及びデータを格納する固有のメモリを有するインテリジェントデバイスであり得る。

【0115】

処理要素１７０は、本発明の方法を実行するように構成されているいくつかのモジュール１７１～１７４を有する。構築モジュール１７１は、シーン、例えば、第１の複数のシーンのうちのシーンを構築するように構成されている。特に、構築モジュール１７１は、モデルパネル１４０の並進移動を制御し、これにより、シーン、例えば、第１の複数のシーンのうちのシーンを構築するように構成されている。より詳細には、構築モジュール１７１は、アーム１２１を並進及び／又は伸長させ、これにより、モデルパネル１４０を並進させるように、第１、第２、及び／又は第３のモータを動作させるように構成されている。捕捉モジュール１７２は、画像、例えば、第１の複数の画像のうちの画像を捕捉するように、カメラ１５０を動作させるように構成されている。

【0116】

位置確定モジュール１７３は、少なくとも第１の複数の較正地点を位置確定するように構成されている。較正モジュール１７４は、少なくとも第１の複数の較正地点のうちの地点を、第１の較正ビューの画像平面上への投影の画像平面内のロケーションとして使用することによって、光記録デバイスを較正するように構成されている。

【0117】

ＡＬＳ１００は、自動ピペッティングシステムであり得る。この場合、ＡＬＳ１００は、液体移送用のピペッティングヘッド（図示せず）を備える。ピペッティングヘッドは、サーボモータ及び／又はステッパモータによって作業デッキに対して移動可能であり得る。特に、ＤＰＳ１６０は、ピペッティングヘッドを移動させるモータを動作させるように構成されているモジュールを有し得る。

【0118】

図２は、本発明による方法の第１の実施形態の動作のフロー図２００である。特に、方法のこの実施形態は、上述され、図１ａ～１ｄに概略的に示されているＡＬＳ１００の第１の実施形態によって実行され得る。

【0119】

段階２０１において、ＡＬＳ１００は、図３ａ～３ｃに概略的に示されている第１のシーンを構築する。図３ｂ及び図３ｃは、それぞれ、図３ａの線１－１に沿った断面図、及び線２－２に沿った断面図である。特に、段階２０１において、ＤＰＳ１６０は、並進手段１２０を制御して、モデルパネル１４０をカメラ１５０に対する第１の位置に並進させ、これにより、第１のシーンを構築する。

【0120】

図３ｂに最もよく示されているように、第１のシーンにおいて、指標のセット４０～４９の各較正指標は、較正ロケーションの第４のセット１０～１９のそれぞれのロケーションに配置される。特に、図３ａ～３ｃにおいて、参照番号ｎによって識別される較正指標は、参照番号ｎ－３０によって識別されるロケーションにおいて位置確定される。図６ａ及び６ｂにおいて、較正ロケーションの第４のセット１０～１９のうちのロケーションは、影付きのドットによってマーキングされている。特に、図６ｂは、図６ａの線１－１に沿った断面図、及び線２－２に沿った断面図である。

【0121】

較正ロケーションの第４のセット１０～１９のうちのロケーションは、第３の較正ビューに含まれ、特にそれを規定する。特に、この実施形態において、第３の較正ビューは、１０個のロケーションＰ_{（３），１}，Ｐ_{（３），２}，...，Ｐ_{（３），１０}を有し、各ｊ∈｛１，２，...，１０｝について、ロケーションＰ_{（３），ｊ}は、図３ｂにおいて参照番号（ｊ＋９）によって識別される。

【0122】

段階２０２において、ＤＰＳ１６０は、図８ａに概略的に表されている第１の画像９１０を捕捉するように、カメラ１５０を動作させる。

【0123】

段階２０３において、ＡＬＳ１００は、較正ロケーションの第１のセット１０～１９の各ロケーションについて、第４の複数の較正地点５０～５９のそれぞれの地点が第１の画像９１０内に含まれるように、第４の複数の較正地点５０～５９のうちの較正地点を位置確定する。特に、各ｎ∈｛１０，１１，...，１９｝について、図３ｂにおいて参照番号ｎによって識別されるロケーションが、図８ａにおいて参照番号ｎ＋４０によって識別されるそれぞれの地点に関連付けられる。

【0124】

較正ロケーションの第１のセット１０～１９の各ロケーションについて、第１の画像９１０は、それぞれの較正指標を表示し、上記それぞれの較正指標は、上記各ロケーションにおいて位置確定され、上記各ロケーションに関連付けられるそれぞれの地点において表示される。特に、各ｎ∈｛１０，１１，...，１９｝について、図３ｂにおいて参照番号ｎによって識別されるロケーションが、図３ｂにおいて参照番号ｎ＋３０によって識別されるそれぞれの較正指標に関連付けられる。

【0125】

第４の複数の較正地点５０～５９のうちの較正地点は、画像認識アルゴリズム、例えば、機械学習画像認識アルゴリズムを使用することによって、第１の画像９１０内で位置確定され得る。

【0126】

この実施形態において、第３の複数の較正地点５０～５９は、１０個の較正地点Ｍ_{（３），１}，Ｍ_{（３），２}，...，Ｍ_{（３），１０}からなり、各ｊ∈｛１，２，...，１０｝について、較正地点Ｍ_{（３），ｊ}は、画像座標

【数64】

によって表され、図８ａにおいて参照番号（ｊ＋４９）によって識別される。

【0127】

段階２０４において、ＡＬＳ１００は、図４ａ～４ｃに概略的に示されている第１の複数のシーンのうちの第１のシーンを構築する。特に、図４ｂ及び図４ｃは、それぞれ、図４ａの線１－１に沿った断面図、及び線２－２に沿った断面図である。段階２０４において、ＤＰＳ１６０は、並進手段１２０を制御して、モデルパネル１４０をカメラ１５０に対する第１の位置からカメラ１５０に対する第２の位置に並進させ、これにより、第１の複数のシーンのうちの第１のシーンを構築する。

【0128】

図４ａ及び４ｂに最もよく示されているように、第１の複数のシーンのうちの第１のシーンにおいて、指標のセット４０～４９の第１のサブセット４０～４４の各較正指標は、較正ロケーションの第１のセット２０～２９の第１のサブセット２０～２４のそれぞれのロケーションに配置される。特に、図４ａ～４ｃにおいて、参照番号ｎによって識別される較正指標は、参照番号ｎ－２０によって識別されるロケーションにおいて位置確定される。図６ａ及び６ｂにおいて、較正ロケーションの第１のセット２０～２９の第１のサブセット２０～２４うちのロケーションは、影付きの四角形によってマーキングされている。後者の図に最もよく示されているように、第１の複数のシーンのうちの第１のシーンを構築するために、モデルパネル１４０が第１の位置から第２の位置に並進される場合、較正指標４０がロケーション１０からロケーション２０に移動するように、モデルパネル１４０は、並進ベクトル７０によって並進される。

【0129】

段階２０５において、ＤＰＳ１６０は、第１の複数の画像９２０、９３０のうちの第１の画像９２０を捕捉するように、カメラ１５０を動作させる（図８ａを参照）。

【0130】

段階２０６において、ＡＬＳ１００は、較正ロケーションの第１のセット２０～２９の第１のサブセット２０～２４の各ロケーションについて、第１の複数の較正地点６０～６９の第１のサブセット６０～６４のそれぞれの地点が画像９２０内に含まれるように、第１の複数の較正地点６０～６９の第１のサブセット６０～６４のうちの較正地点を位置確定する。特に、各ｎ∈｛２０，２１，...，２４｝について、図４ｂにおいて参照番号ｎによって識別されるロケーションが、図８ａにおいて参照番号ｎ＋４０によって識別されるそれぞれの地点に関連付けられる。

【0131】

較正ロケーションの第１のセット２０～２９の第１のサブセット２０～２４の各ロケーションについて、画像９２０は、それぞれの較正指標を表示し、上記それぞれの較正指標は、上記各ロケーションにおいて位置確定され、上記各ロケーションに関連付けられるそれぞれの地点において表示される。特に、各ｎ∈｛２０，２１，...，２４｝について、図４ｂにおいて参照番号ｎによって識別されるロケーションが、図４ｂにおいて参照番号ｎ＋２０によって識別されるそれぞれの較正指標に関連付けられる。

【0132】

第１の複数の較正地点６０～６９の第１のサブセット６０～６４のうちの較正地点は、画像認識アルゴリズムを使用することによって、第１の複数の画像９２０、９３０のうちの第１の画像９２０内で位置確定され得る。

【0133】

段階２０７において、ＡＬＳ１００は、図５ａ～５ｃに概略的に示されている第１の複数のシーンのうちの第２のシーンを構築する。特に、図５ｂ及び図５ｃは、それぞれ、図５ａの線１－１に沿った断面図、及び線２－２に沿った断面図である。特に、段階２０７において、ＤＰＳ１６０は、並進手段１２０を制御して、モデルパネル１４０をカメラ１５０に対する第２の位置からカメラ１５０に対する第３の位置に並進させ、これにより、第１の複数のシーンのうちの第２のシーンを構築する。

【0134】

図５ａ及び５ｂに最もよく示されているように、第１の複数のシーンのうちの第２のシーンにおいて、指標のセット４０～４９の第１のサブセット４０～４４の各較正指標は、較正ロケーションの第１のセット２０～２９の第２のサブセット２５～２９のそれぞれのロケーションに配置される。特に、図５ａ～５ｃにおいて、参照番号ｎによって識別される較正指標は、参照番号ｎ－１５によって識別されるロケーションにおいて位置確定される。

【0135】

図６ａ及び６ｂにおいて、較正ロケーションの第１のセット２０～２９の第２のサブセット２５～２９のうちのロケーションは、影付きの四角形によってマーキングされている。後者の図に最もよく示されているように、第１の複数のシーンのうちの第２のシーンを構築するために、モデルパネル１４０が第２の位置から第３の位置に並進される場合、較正指標４０がロケーション２０からロケーション２５に移動するように、モデルパネル１４０は、並進ベクトル７１によって並進される。ベクトル７１の長さは、指標４０及び指標４５の間の距離に等しく、それにより、ロケーション２０及びロケーション２５の間の距離は、ロケーション１０及びロケーション１５の間の距離に等しい。

【0136】

図６ａ及び６ｂに最もよく示されているように、較正ロケーションの第１のセット２０～２９のうちのロケーションは、第１の平面領域７２０上に配置され、ロケーションの第４のセット１０～１９のうちのロケーションは、第４の平面領域７１０上に配置される。第１の平面領域７２０及び第４の平面領域７１０は、互いに対して角度７６０を形成する。第４の平面領域７１０は、回転並進によって、第１の平面領域７２０上にマッピング可能である。

【0137】

較正ロケーションの第１のセット２０～２９のうちのロケーションは、第１の較正ビューに含まれ、特にそれを規定する。特に、この実施形態において、第１の較正ビューは、１０個のロケーションＰ_{（１），１}，Ｐ_{（１），２}，...，Ｐ_{（１），１０}を有し、各ｊ∈｛１，２，...，１０｝について、ロケーションＰ_{（１），ｊ}は、図６ａ及び７ａにおいて参照番号（ｊ＋１９）によって識別される。

【0138】

段階２０８において、ＤＰＳ１６０は、第１の複数の画像９２０、９３０のうちの第２の画像９３０を捕捉するように、カメラ１５０を動作させる（図８ａを参照）。

【0139】

段階２０９において、ＡＬＳ１００は、較正ロケーションの第１のセット２０～２９の第２のサブセット２５～２９の各ロケーションについて、第１の複数の較正地点６０～６９の第２のサブセット６５～６９のそれぞれの地点が画像９３０内に含まれるように、第１の複数の較正地点６０～６９の第２のサブセット６５～６９のうちの較正地点を位置確定する。特に、各ｎ∈｛２５，２６，...，２９｝について、図５ｂにおいて参照番号ｎによって識別されるロケーションが、図８ａにおいて参照番号ｎ＋４０によって識別されるそれぞれの地点に関連付けられる。

【0140】

較正ロケーションの第１のセット２０～２９の第２のサブセット２５～２９の各ロケーションについて、画像９３０は、それぞれの較正指標を表示し、上記それぞれの較正指標は、上記各ロケーションにおいて位置確定され、上記それぞれの地点において表示される。特に、各ｎ∈｛２５，２６，...，２９｝について、図５ｂにおいて参照番号ｎによって識別されるロケーションが、図５ｂにおいて参照番号ｎ＋１５によって識別されるそれぞれの較正指標に関連付けられる。

【0141】

第１の複数の較正地点６０～６９の第２のサブセット６５～６９のうちの較正地点は、画像認識アルゴリズムを使用することによって、第１の複数の画像９２０、９３０のうちの第２の画像９３０内で位置確定され得る。

【0142】

この実施形態において、第１の複数の較正地点６０～６９は、１０個の較正地点Ｍ_{（１），１}，Ｍ_{（１），２}，...，Ｍ_{（１），１０}からなる。各ｊ∈｛１，２，...，１０｝について、較正地点Ｍ_{（１），ｊ}は、画像座標

【数65】

によって表され、図８ａにおいて参照番号（ｊ＋５９）によって識別される。

【0143】

本発明の方法の第１の実施形態によれば、第２の複数の較正地点９０～９９のうちの較正地点の位置確定は、段階２１２～２１４を５回繰り返すことによって実行される。これらの反復のそれぞれにおいて、第２の複数のシーンのうちのシーンが構築され（段階２１２）、第２の複数の画像９４０～９８０のそれぞれの画像が捕捉され（段階２１３）、第２の複数の較正地点９０～９９のそれぞれのサブセットのうちの較正地点がそれぞれの画像内で位置確定される（段階２１４）。段階２１２～２１４の一般的な反復は、カウンタｓに関して説明され、これは、段階２１０において、ゼロ値に初期化され、６未満である。

【0144】

第ｓの反復の段階２１２において、ＡＬＳ１００は、第２の複数のシーンのうちの第ｓのシーンを構築する。特に、第ｓの反復の段階２１２において、ＤＰＳ１６０は、並進手段１２０を制御して、モデルパネル１４０をカメラ１５０に対する第（ｓ＋２）の位置からカメラ１５０に対する第（ｓ＋３）の位置に並進させ、これにより、第２の複数のシーンのうちの第ｓのシーンを構築する。

【0145】

第１の反復ｓ＝１において、カメラ１５０に対する第（ｓ＋２）の位置は、カメラに対する第３の位置であり、すなわち、第１の複数のシーンのうちの第２のシーンにおいてモデルパネル１４０が配置される位置である。ｓ＞１の場合、カメラ１５０に対するモデルパネル１４０の第（ｓ＋２）の位置は、特に、第２の複数のシーンのうちの第（ｓ－１）のシーンにおけるモデルパネル１４０の位置であり、このシーンは、第（ｓ－１）の反復の段階２１２において構築される。

【0146】

図７ａ及び７ｂにおいて、較正ロケーションの第２のセット３０～３９のうちのロケーションは、影付きの三角形によってマーキングされている。特に、図７ｂは、図７ａの線２－２に沿った断面図である。第２の複数のシーンのうちの第ｓのシーンにおいて、較正指標４０は、参照番号（ｓ＋２９）によって識別される、図７ａ及び７ｂにおいて識別されるロケーションに配置される。このシーンにおいて、較正指標４５は、図７ａ及び７ｂにおいて参照番号（ｓ＋３４）によって識別されるロケーションに配置される。図７ａ及び７ｂに最もよく示されているように、第２の複数のシーンのうちの第ｓのシーンを構築するために、モデルパネル１４０は、参照番号（ｓ＋７９）によって識別される並進ベクトルによって並進される。

【0147】

例えば、第１の反復（ｓ＝１）において、較正指標４０及び較正指標４５は、ロケーション３０及びロケーション３５にそれぞれ配置される。例えば、第２の複数のシーンのうちの第１のシーンを構築するために（第１の反復の段階２１２）、モデルパネル１４０が第３の位置から第４の位置に並進される場合、較正指標４０がロケーション２５からロケーション３０に移動するように、モデルパネル１４０は、並進ベクトル８０によって並進される（図７ａ、７ｂを参照）。並進ベクトル８１～８４は、同じ長さを有し、これは、特に、指標４０及び指標４１の間の距離に等しい。

【0148】

図７ａに最もよく示されているように、較正ロケーションの第２のセット３０～３９のうちのロケーションは、第２の平面領域７３０上に配置される。第１の平面領域７２０及び第２の平面領域７３０は、互いに角度を形成し、後者の平面領域７３０は、回転並進によって前者の平面領域７２０上にマッピング可能である。

【0149】

較正ロケーションの第２のセット３０～３９のうちのロケーションは、第２の較正ビューに含まれ、特にそれを規定する。特に、この実施形態において、第２の較正ビューは、１０個のロケーションＰ_{（２），１}，Ｐ_{（２），２}，...，Ｐ_{（２），１０}を含む。各ｊ∈｛１，２，...，１０｝について、ロケーションＰ_{（２），ｊ}は、図７ｂにおいて参照番号（ｊ＋２９）によって識別される。

【0150】

第ｓの反復の段階２１３において、ＤＰＳ１６０は、第２の複数の画像９４１～９４５のうちの第ｓの画像を捕捉するように、カメラ１５０を動作させる。第２の複数の画像のうちの第１の画像９４１は、図８ａに概略的に示されている。図８ｂにおいて、第２の複数の画像のうちの第ｓの画像（ｓ＞１）は、参照番号（ｓ＋９４０）によって識別される。

【0151】

第ｓの反復の段階２１４において、ＡＬＳ１００は、第２の複数の画像９４１～９４５のうちの第ｓの画像において、第２の複数の較正地点９０～９９の第ｓのサブセットのうちの較正地点を位置確定する。これらの較正地点は、画像認識アルゴリズムを使用することによって第２の複数の画像９４１～９４５の第ｓの画像内で位置確定され得る。

【0152】

第２の複数の較正地点９０～９９の第ｓのサブセットは、図８ａ又は８ｂにおいて参照番号（ｓ＋８９）によって識別される較正地点、及び図８ａ又は８ｂにおいて参照番号（ｓ＋９４）によって識別される較正地点からなる。例えば、第２の複数の較正地点９０～９９の第１のサブセットは、第２の複数の画像９４１～９４５のうちの第１の画像９４１の較正地点９０及び９５からなる（図８ａを参照）。

【0153】

特に、図７ｂにおいて参照番号（ｓ＋２９）によって識別されるロケーションは、図８ａ又は８ｂにおいて参照番号（ｓ＋８９）によって識別される較正地点に関連付けられる。図７ｂにおいて参照番号（ｓ＋３４）によって識別されるロケーションは、図８ａ又は８ｂにおいて参照番号（ｓ＋９４）によって識別される較正地点に関連付けられる。例えば、ロケーション３０及び３５は、較正地点９０及び９５にそれぞれ関連付けられる（図７ｂ及び８ａを参照）。

【0154】

この実施形態において、第２の複数の較正地点９０～９９は、１０個の較正地点Ｍ_{（２），１}，Ｍ_{（２），２}，...，Ｍ_{（２），１０}からなり、各ｊ∈｛１，２，...，１０｝について、較正地点Ｍ_{（２），ｊ}は、画像座標

【数66】

によって表され、図８ａ又は図８ｂにおいて参照番号（ｊ＋８９）によって識別される。

【0155】

第１のシーン、第１の複数のシーンのうちのシーン、及び第２の複数のシーンのうちのシーンは、モデルパネル１４０を回転させる必要なく構築される。

【0156】

各ｉ∈｛１，２，３｝について、及び各ｊ∈｛１，２，...，１０｝について、ロケーションＰ_{（ｉ），ｊ}は、基準フレームＦ^（ｉ）において３つの座標

【数67】

によって表され得る。各ｉ∈｛１，２，３｝について、基準フレームＦ^（ｉ）は、その（Ｘ，Ｙ）平面が１０個のロケーションＰ_{（ｉ），１}，Ｐ_{（ｉ），２}，...，Ｐ_{（ｉ），１０}を含むように選択される。特に、各ｉ∈｛１，２，３｝について、及び各ｊ∈｛１，２，...，１０｝について、

【数68】

である。

【0157】

特に、フレームＦ^（１）の座標は、第４及び第５の回転並進をそれぞれ使用することによって、フレームＦ^（２）の座標及びフレームＦ^（３）の座標に変換され得る。各ｉ∈｛１，２，３｝について、基準フレームＦ^（ｉ）は、基準フレームＦ^（ｉ）の各軸について同じ単位長さＬ^（ｉ）を使用することによって規定することができる。特に、Ｌ^（１）＝Ｌ^（２）＝Ｌ^（３）である。

【0158】

段階２１６において、ＤＰＳ１６０は、第１の較正ビューの画像平面上への投影の画像平面におけるロケーションとして第１の複数の較正地点６０～６９のうちの地点、第２の較正ビューの画像平面上への投影の画像平面におけるロケーションとして第２の複数の較正地点９０～９９のうちの地点、第３の較正ビューの画像平面上への投影の画像平面におけるロケーションとして第４の複数の較正地点５０～５９のうちの地点を使用することによって、カメラ１５０を較正する。特に、カメラ１５０の較正は、各ｊ∈｛１，２，...，１０｝及び各ｉ∈｛１，２，３｝について、ロケーションＰ_{（ｉ），ｊ}の画像平面上への投影の画像平面におけるロケーションとして較正地点Ｍ_{（ｉ），ｊ}を使用することによって実行される。

【0159】

カメラ１５０の較正は、以下に与えられるパラメトリック関数を最小化することによって実行される。

【数69】

式（１５）中、各ｊ∈｛１，２，...，１０｝及び各ｉ∈｛１，２，３｝について、

【数70】

が、式（５）～（９）を（１）→（ｉ）及びＦ→Ｆ^（ｉ）に代えて使用することによって計算される。回転行列Ｒ_（２）及び並進ベクトル

【数71】

が、第２のビューに関連付けられるパラメータのセットのうちのパラメータによってパラメータ化される。このパラメータのセットは、並進ベクトル

【数72】

の３つのエントリ、及び回転行列Ｒ_（２）のエントリをパラメータ化する３つのパラメータを含み得る。第２のビューに関連付けられるパラメータのセットは、６次元リスト

【数73】

内に集合され得るＡ個の要素からなる。回転行列Ｒ_（３）及び並進ベクトル

【数74】

が、第３のビューに関連付けられるパラメータのセットのうちのパラメータによってパラメータ化される。このパラメータのセットは、並進ベクトル

【数75】

の３つのエントリ、及び回転行列Ｒ_（３）のエントリをパラメータ化する３つのパラメータを含み得る。特に、第３のビューに関連付けられるパラメータのセットは、６次元リスト

【数76】

内に集合され得るＡ個の要素からなる。

【0160】

パラメトリック関数Ｇは、リスト

【数77】

、及び

【数78】

内に含まれるパラメータに関して最小化される。レンズ歪みが無視できないほどである場合、関数Ｇは、係数Ｄ（Ｘ'，Ｙ'，Ｚ'）を介してリスト

【数79】

内に含まれるパラメータに依存する（式（７ａ）を参照）。この場合、関数Ｇは、リスト

【数80】

内に含まれるパラメータに関しても最小化される。関数Ｇの最小化は、レーベンバーグ・マーカート法等の反復法を使用することによって実行され得る。

【0161】

代替的に、上記に関して、式（１５）において、各ｊ∈｛１，２，...，１０｝及び各ｉ∈｛１，２，３｝について、

【数81】

が、式（６）～（９）、（１１）及び（１２）を（１）→（ｉ）及びＦ→Ｆ^（ｉ）に代えて使用することによって計算され得る。この場合、特に、パラメトリック関数Ｇは、リスト

【数82】

、及び

【数83】

内に含まれるパラメータに関して最小化され得、リスト

【数84】

は、

【数85】

によって与えられる。

【0162】

本発明の方法の第１の実施形態において、第１の複数のシーンのうちのシーンを構築する段階は、２つの下位段階（段階２０４及び２０７）において実行される。また、第１の複数の画像のうちの画像を捕捉する段階も、２つの下位段階（段階２０５及び２０８）において実行される。第１の複数の較正地点のうちの較正地点を位置確定する段階も、２つの下位段階（段階２０６及び２０９）において実行される。

【0163】

この実施形態によれば、段階２０７及び２０８が段階２０６の後に実行されることから、第１の複数の較正地点のうちの較正地点を位置確定する段階は、第１の複数の画像のうちの画像を捕捉する段階の完了の前、及び第１の複数のシーンのうちのシーンを構築する段階の完了の前に開始される。

【0164】

本発明による方法のさらなる実施形態は、上述した第１の実施形態の段階２０１～２１６を備え得る。前者の実施形態は、互いに及び第１の実施形態とは、段階２０１～２１６が実行される順序が異なり得る。例えば、本発明の一実施形態によれば、段階２０７は、段階２０４の後及び段階２０５の前に実行され得る。上記に関して、段階２０８は、段階２０５の後及び段階２０６の前に実行され得る。例えば、方法の一実施形態において、段階２０６は、段階２０８の後及び段階２０９の前に実行される。

【0165】

まだ明確に説明されていない場合はいつでも、図面に関して説明された個々の実施形態又はその個々の態様及び特徴は、記載の発明の範囲を制限又は拡大することなく、組み合わせ又は交換が本発明に関して有意味である場合はいつでも、そのように互いに組み合わせる又は交換することができる。本発明の特定の実施形態に関して又は特定の図に関して説明された利点は、適用可能な場合はいつでも、本発明の他の実施形態の利点にもなる。

【図1a】

【図1b】

【図1c】

【図1d】

【図2】

【図3a】

【図3b】

【図3c】

【図4a】

【図4b】

【図4c】

【図5a】

【図5b】

【図5c】

【図6a】

【図6b】

【図7a】

【図7b】

【図8a】

【図8b】

【国際調査報告】