特表 2022-536789 付帯カメラ較正のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-18

(54)【発明の名称】付帯カメラ較正のための方法およびシステム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20220810BHJP

【ＦＩ】

G06T7/80

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021574763

(86)(22)【出願日】2020-03-27

(85)【翻訳文提出日】2022-02-04

(86)【国際出願番号】 IB2020052938

(87)【国際公開番号】W WO2020250047

(87)【国際公開日】2020-12-17

(31)【優先権主張番号】3,046,609

(32)【優先日】2019-06-14

(33)【優先権主張国・地域又は機関】CA

(81)【指定国・地域】

(71)【出願人】

【識別番号】521546728

【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ジャン， ウェン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096EA15

5L096EA16

5L096FA09

5L096FA66

5L096FA69

(57)【要約】

カメラの付帯パラメータを判定する方法が、開示される。本方法は、デジタル較正画像を取得することと、較正画像の複数の合成ビューを生成することとを伴う。本方法はまた、特徴のセットを各合成ビューから識別することと、デジタル較正画像の表現のデジタルカメラ画像を取得することと、デジタルカメラ画像内の特徴のセットを識別することとを含む。本方法は、デジタルカメラ画像の特徴のセット内の各特徴を合成ビュー内の特徴と比較することと、比較を使用して、合成ビューの特徴のセットの全ての特徴内のデジタルカメラ画像の特徴のセットの特徴毎の最良マッチングを識別することとを含む。本方法は、最良マッチングと関連付けられる合成ビューの仮想カメラパラメータを使用して、カメラの付帯パラメータを計算することで完了する。

【特許請求の範囲】

【請求項1】

カメラの付帯パラメータを判定する方法であって、
デジタル較正画像を取得することと、
前記較正画像の複数の合成ビューを生成することであって、各合成ビューは、仮想カメラパラメータのセットを有する、ことと、
特徴のセットを前記複数の合成ビューのそれぞれから識別することと、
前記デジタル較正画像の表現のデジタルカメラ画像を取得することと、
前記デジタルカメラ画像内の特徴のセットを識別することと、
前記デジタルカメラ画像の特徴のセット内の各特徴を前記合成ビューの特徴のセットのそれぞれ内の各特徴と比較することと、
前記比較を使用して、前記合成ビューの特徴のセットの特徴内の前記デジタルカメラ画像の特徴のセットの特徴毎の最良マッチングを識別することと、
前記最良マッチングと関連付けられる、前記特徴の仮想カメラパラメータを使用して、前記カメラの前記付帯パラメータを計算することと
を含む、方法。

【請求項2】

前記デジタル較正画像は、少なくとも１次元において非対称である、請求項１に記載の方法。

【請求項3】

前記デジタル較正画像は、ロゴである、請求項２に記載の方法。

【請求項4】

前記付帯パラメータおよび前記仮想カメラパラメータは、平行移動および回転座標を備える、請求項１に記載の方法。

【請求項5】

前記複数の合成ビューは、前記較正画像が前記合成ビューの視野内にあるときの仮想カメラパラメータの空間から選択される、請求項１に記載の方法。

【請求項6】

特徴のセットを前記複数の合成ビューのそれぞれから識別することおよび前記デジタルカメラ画像内の特徴のセットを識別することは、特徴検出モジュールを使用して実施される、請求項１に記載の方法。

【請求項7】

最良マッチングを識別することは、各特徴間の要素毎の差異を算出することと、前記合成ビューと捕捉された画像および捕捉された画像と合成ビューの両方に関する本差異を最小限にすることとを含む、請求項１に記載の方法。

【請求項8】

前記デジタルカメラ画像の着目領域を識別することをさらに含み、前記デジタルカメラ画像内の特徴のセットを識別することは、前記着目領域上においてのみ実施される、請求項１に記載の方法。

【請求項9】

物理的平面較正パターンを使用して、カメラの平行移動および回転を判定するためのカメラ較正モジュールであって、
前記物理的平面較正パターンに対応する、デジタル較正画像の複数の合成ビューを生成するための合成パターン生成器と、
前記カメラから捕捉された画像から、および前記複数の合成ビューのそれぞれから、特徴のセットを抽出するための特徴検出器と、
前記デジタルカメラ画像の特徴のセット内の各特徴を前記合成ビューの特徴のセットのそれぞれ内の各特徴と比較し、前記比較を使用して前記合成ビューの特徴のセットの特徴内の前記デジタルカメラ画像の特徴のセットの特徴毎の最良マッチングを識別するための特徴マッチングモジュールと、
前記最良マッチングと関連付けられる特徴の仮想カメラパラメータを使用して、前記カメラの平行移動および回転を計算するための較正ソルバと
を備える、システム。

【請求項10】

前記デジタル較正画像は、少なくとも１次元において非対称である、請求項９に記載のシステム。

【請求項11】

前記デジタル較正画像は、ロゴである、請求項１０に記載のシステム。

【請求項12】

前記付帯パラメータおよび前記仮想カメラパラメータは、平行移動および回転座標を備える、請求項９に記載のシステム。

【請求項13】

前記複数の合成ビューは、前記較正画像が前記合成ビューの視野内にあるときの仮想カメラパラメータの空間から選択される、請求項９に記載のシステム。

【請求項14】

前記特徴マッチングモジュールは、各特徴間の要素毎の差異を算出し、前記合成ビューと捕捉された画像および捕捉された画像と合成ビューの両方に関する本差異を最小限にすることによって、最良マッチングを識別するように構成されている、請求項９に記載のシステム。

【請求項15】

前記デジタルカメラ画像内の特徴のセットを識別することは、前記デジタルカメラ画像の着目領域上でのみ実施される、請求項９に記載のシステム。

【請求項16】

カメラ較正システムであって、
請求項９に記載のカメラ較正モジュールと、
前記カメラと、
前記物理的平面較正パターンと
を備え、
前記カメラからの出力は、前記カメラの平行移動および回転とともに埋設される、システム。

【発明の詳細な説明】

【技術分野】

【0001】

（分野）
本開示は、カメラの付帯パラメータを判定するための方法およびシステムに関する。特に、本開示は、画像特徴を使用したカメラの６自由度姿勢の判定に関する。

【背景技術】

【0002】

（背景）
カメラの場所を判定するための方法は、特殊設計を伴う、基点マーカを使用し、そこから既知の特徴が、抽出されることができる。例えば、これは、ＱＲコード（登録商標）のようなマーカまたは格子模様パターンを用いて行われることができる。カメラの場所を判定するための別の方法は、任意のマーカを要求しないが、代わりに、可動カメラを採用して、並行して、場面をマッピングし、姿勢を推定する。本後者の方法の実施例は、視覚的同時位置特定およびマッピング（ＶＳＬＡＭ）である。

【0003】

特殊マーカが望ましくない場合（例えば、審美的理由から）およびカメラを移動させることが不可能である場合、いくつかの既知の恣意的グラフィックパターンを捕捉することによって、カメラを静的視点から較正し得る、システムを有することが有用であり得る。

【発明の概要】

【課題を解決するための手段】

【0004】

（要約）
カメラの付帯パラメータを判定する方法が、開示される。本方法は、デジタル較正画像を取得することと、較正画像の複数の合成ビューを生成することであって、各合成ビューは、仮想カメラパラメータのセットを有する、こととを伴う。本方法はまた、特徴のセットを複数の合成ビューのそれぞれから識別することと、デジタル較正画像の表現のデジタルカメラ画像を取得することと、デジタルカメラ画像内の特徴のセットを識別することとを含む。本方法は、デジタルカメラ画像の特徴のセット内の各特徴を合成ビューの特徴のセットのそれぞれ内の各特徴と比較することと、マッチング特徴のセットを識別することとを含む。本方法は、仮想カメラパラメータを使用して、マッチングされる合成特徴の仮想３Ｄ位置を算出することを含む。本方法は、そのマッチングされる捕捉された特徴とともに仮想３Ｄ位置を利用して、透視ｎ－点問題を解法することを通して、付帯カメラパラメータを算出することで完了する。

【図面の簡単な説明】

【0005】

図面は、一例としてのみ、本開示の好ましい実施形態を図示する。

【0006】

【図1】図１は、カメラ較正システムの実施形態の高レベルアーキテクチャの表現である。

【0007】

【図2】図２は、仮想カメラパラメータを使用した較正画像の合成ビューの例示的表現である。

【0008】

【図3】図３は、捕捉された画像と合成ビューとの間の特徴対応の一連の例示的表現である。

【発明を実施するための形態】

【0009】

（詳細な説明）
本開示は、付帯カメラパラメータを算出するためのカメラ較正方法およびシステムを対象とする。恣意的であるが、非対称である設計の較正画像が、較正されているカメラに可視の略平面表面上に埋設または印刷されてもよい。合成パターン生成器が、較正画像と仮想カメラパラメータの合成ビューを生産してもよい。特徴検出およびマッチングモジュールが、捕捉された画像内の２Ｄ点と合成ビュー内の仮想３Ｄ点を相関させてもよい。較正ソルバが、次いで、付帯パラメータを２Ｄ－３Ｄ対応から算出してもよい。

【0010】

カメラの付帯パラメータは、典型的には、平行移動成分ｔ＝（Ｘ、Ｙ、Ｚ）と、回転成分Ｒとから成る。３－空間では、前者は、３－ベクトルとして表され得、後者は、オイラー角のベクトルとして表され得る。回転成分は、代替として、３×３回転行列、角軸ベクトル、または類似物として表され得る。付帯較正は、Ｒおよびｔを取得するプロセスである。カメラの固有のパラメータは、概して、カメラから既知であって、視野、焦点距離、および任意のレンズ歪曲を含み得る。いくつかの固有のパラメータは、ズームレンズ上の焦点距離等のカメラ上の設定に基づいて、変更可能であるが、較正の目的のために、既知であると仮定され得る。

【0011】

図１を参照すると、較正システムは、較正されるべきカメラ１０と、デジタル較正画像２０と、物理的平面較正パターン３０と、画像捕捉モジュール４０と、較正モジュール５０とを備えてもよい。較正モジュールは、合成パターン生成器５１と、特徴検出器５２と、特徴マッチングモジュール５３と、較正ソルバ５４とを含有してもよい。

【0012】

デジタル較正画像２０は、恣意的設計であり得るが、好ましくは、少なくとも１つの軸に沿って、非対称性を伴う。非対称性は、曖昧な解を回避することを補助し得る。本デジタル較正画像２０は、平面較正パターン３０を備えるために、既知の物理的サイズを伴う平面上に埋設されてもよい。例示的実施形態は、印刷設計を伴う平坦移動可能ボードまたは貼付された転写画を伴う壁もしくは床等の表面を含む。実施形態は、各パターンが明確に異なる設計を含有するという要件を伴って、これらの平面較正パターンのうちの１つ以上を使用してもよい。デジタル較正画像２０、したがって、平面較正パターン３０は、すでに正常にカメラ１０の視野内に現れている場合がある、ロゴ、背景画像、または他の設計であってもよい。

【0013】

画像捕捉モジュール４０は、ビデオ信号をビデオソースからデジタル画像処理のために好適なデータに変換してもよい。ビデオソースは、デジタルカメラまたはインターネットを経由したビデオストリーム等のある他のストリームビデオであってもよい。画像捕捉モジュールは、カメラ１０のカメラ製造業者または第三者ソフトウェアライブラリ等からのアプリケーションプログラミングインターフェースを提供してもよい。

【0014】

図２を参照すると、合成パターン生成器モジュール５１は、デジタル較正画像２０を入力として受け取り、合成ビュー６０を生産してもよい。合成パターン生成器は、ＯｐｅｎＧＬ（またはＤｉｒｅｃｔＸ、Ｕｎｉｔｙ３Ｄ、Ｕｎｒｅａｌ等）等の既存の３Ｄレンダリングフレームワークを活用して、デジタル較正画像を異なる合成ビューの中にレンダリングする、ソフトウェアモジュールであってもよい。合成ビューは、あるカメラ射影変換下での平面較正パターン２０を描写する、画像であってもよい。仮想カメラの本射影変換は、仮想カメラパラメータ７０から計算されてもよい。仮想カメラパラメータは、平面較正パターン２０に対する仮想カメラに関する平行移動および回転座標のセットである。これらの仮想カメラパラメータは、合成ビュー内の任意の２Ｄ画像座標を較正パターン上の３Ｄ位置およびその逆にマッピングするために使用されてもよい。

【0015】

複数の合成ビューが、より多くの候補特徴点が特徴検出モジュールに利用可能であるように、生成されてもよい。付加的合成ビューを有することは、特徴の付加的セットを可能にし得る。特徴抽出アルゴリズムは、視点の変化に不変ではあり得ず、したがって、異なる特徴を異なる視認角度から生産し得る。合成ビューは、固有のパラメータが既知のカメラ固有のパラメータを鏡映するように、仮想カメラパラメータを選定することによって生成されてもよい。付帯パラメータは、較正パターンが合成視野内に含有される、平行移動および回転の空間から選択されてもよい。合成ビューは、空間から均一に選択されてもよい、またはカメラの共通位置に関する情報に基づいて選択されてもよい。一例示的実施形態では、９つの合成ビューが、世界のｙ－軸とほぼ整合される仮想カメラの局所的ｙ－軸を保ちながら、較正パターンの正面の半球を均一に被覆する。これらの合成ビューは、カメラおよび較正パターンの両方が同一水平配向に対して搭載される、共通カメラ位置に対応し得る。別の実施例では、合成ビューは、先験的に既知のカメラ場所から、またはカメラが、概して、高度に斜め角度においてではなく、較正パターンの正面にある、一般に使用される位置から選択されてもよい。

【0016】

特徴検出モジュールは、２つのサブモジュール、すなわち、特徴抽出モジュールと、特徴マッチングモジュールとを備えてもよい。本コンテキストにおける特徴は、付随の記述子によって識別され得る、画像のパッチであってもよい。記述子は、パッチ間のある種類の類似性測定、例えば、２つの記述子間の差異のＬ２ノルムを可能にする、より低次元の空間（例えば、Ｎ－Ｄベクトル）内の顕著なパッチ情報のエンコーディングであってもよい。特徴抽出器モジュールは、合成ビュー内および捕捉された画像内の特徴を見出してもよい。実施形態は、高速化ロバスト特徴（ＳＵＲＦ）または最大安定極値領域（ＭＳＥＲ）等のスケーリングおよび回転に対して不変の方式において特徴を識別する、任意のアルゴリズムを使用してもよい。

【0017】

図３を参照すると、特徴マッチングモジュールは、捕捉された画像９０から抽出された特徴と各合成ビュー１００から抽出された特徴との間の対応８０のセットを見出してもよい。一実施形態では、マッチングは、総当たりを通して取得されてもよい。捕捉された画像からの特定の特徴に関して、モジュールは、合成ビューからの全ての特徴を通して反復し、対毎に、コストまたは類似性を算出してもよい。最低コストを伴う合成ビューからの特徴が、潜在的マッチングとして選択される。誤マッチングのインスタンスを低減させるために、合成ビューからの潜在的マッチング特徴は、捕捉された画像からの各特徴と比較されてもよく、捕捉された画像からの最低コスト特徴は、相互検証特徴として選択される。マッチングは、検討中の捕捉された画像からの特徴が相互検証特徴と同一特徴である場合、承認され、そうではない場合、否認され得る。本プロセスは、捕捉された特徴毎および合成ビュー毎に、繰り返されてもよい。

【0018】

図３の実施例を再び参照すると、例示的特徴が、丸によって示される。例示的マッチングは、黒丸を接続する線によって示される。特定の特徴は、特徴検出モジュールによって識別されるように、「Ｆ」の右下角であり得る。捕捉された画像９０内の本特徴は、第１の合成ビュー１００ａ内の全ての特徴と比較され、最低コストを伴うマッチングが、この場合、選択される。合成ビュー１００ａからの選択された特徴は、次いで、捕捉された画像内の各特徴と比較され、最低コストを伴うマッチングが、相互検証として選択される。本実施例では、相互検証特徴もまた、「Ｆ」の右下角であって、したがって、マッチングが、捕捉された画像９０および第１の合成ビュー１００の黒丸を接続する線によって示されるように、承認される。これは、捕捉された画像の特徴毎に、第１の合成ビュー１００ａの特徴に対して繰り返される。この場合、３つの他のマッチングが、見出された。

【0019】

本プロセスは、次いで、合成ビュー１００ａ－１００ｄの残りに関しても繰り返される。合成ビュー１００ｂからの特徴を用いることで、５つのマッチングが、見出され、合成ビュー１００ｃからの特徴を用いることで、２つのマッチングが、見出され、１つのマッチングが、合成ビュー１００ｄ内に見出された。本実施例では、付加的マッチングは、「Ｆ」の右下角の特定の特徴に関して行われない。本実施例では、合成ビュー毎に、マッチングされなかった、いくつかの特徴が存在した。

【0020】

特徴記述子によるマッチングに加え、特徴マッチングモジュールは、ホモグラフィ（透視変換を受ける平面上の点に関連する、３×３行列）を施行することによって、誤マッチングに対してロバストにされ得る。ホモグラフィは、ランダムサンプリング共有項（ＲＡＮＳＡＣ）等の誤対応排除方法を用いて、取得されてもよい。

【0021】

マッチングのロバスト性をさらに増加させるために、特徴マッチャの実施形態は、捕捉された画像内の着目領域（ＲＯＩ）内に含有される、それらのマッチングのみを検討してもよい。着目領域は、境界ボックスとして、または２Ｄ輪郭として表されてもよい。本ＲＯＩは、「先験的」知識に基づく初期推測から、またはＲＯＩを伴わずに取得される付帯パラメータの仮推定値から取得されてもよい。後者の場合、ＲＯＩは、仮付帯パラメータを使用して、較正画像の範囲の輪郭を投影することによって取得されてもよい。

【0022】

較正ソルバ５４は、入力として、全ての合成ビューと関連付けられる、特徴マッチングおよび仮想カメラパラメータのセットをとってもよい。マッチング特徴毎に、最初に、捕捉された画像内の特徴の２Ｄ画像座標を取得してもよい。同一マッチング特徴に関して、次いで、仮想３Ｄ座標を特徴が仮想カメラの射影変換を介して生じた合成ビュー内の２Ｄ画像座標から算出してもよい。本仮想３Ｄ座標は、平面較正パターン上の点を鏡映し、したがって、実世界３Ｄ座標と見なされ得る。

【0023】

２Ｄ（捕捉されたもの）と３Ｄ（世界）点対応のセットから、較正ソルバ５４は、付帯パラメータＲおよびｔの推定値を算出してもよい。これは、「透視ｎ－点」問題として知られ、大部分の場合、本問題は、優決定系であり得る。実施形態は、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｎｄｔ最適化等、再投影誤差を最小限にする、方法を使用してもよい。代替として、実施形態は、４点のサブセットをサンプリングし、各反復におけるＥＰｎＰ等の直接解を使用する、ＲＡＮＳＡＣアプローチを使用してもよい。

【0024】

１つの可能性として考えられる実施形態では、合成ビューの特徴は、較正画像が選択された時点において、事前算出されてもよい。この場合、合成パターン生成および特徴抽出ステップは、カメラ較正に先立って、「オフライン」で起こってもよい。いったん合成特徴が、算出されると、較正画像は、破棄されることができる。カメラ較正プロシージャの間、カメラの固有のパラメータ、事前算出された合成特徴、および捕捉された画像は、較正が特徴マッチングモジュール５３から進むために使用されてもよい。

【0025】

一実施形態では、特徴検出器モジュール５２、特徴マッチングモジュール５３、合成パターン生成器５１、および較正ソルバ５４はそれぞれ、それぞれ、少なくとも１つの個別のプロセッサまたは処理ユニットと、個別の通信ユニットと、個別のメモリとを具備してもよい。別の実施形態では、特徴検出器５２、特徴マッチング５４、合成パターン生成器５１、および較正ソルバ５４から成る群のうちの少なくとも２つは、同一プロセッサ、同一通信、および／または同一メモリを共有する。この場合、特徴検出器モジュール５２、特徴マッチングモジュール５４、合成パターン生成器５１、および／または較正ソルバ５４は、サーバ、パーソナルコンピュータ、ラップトップ、タブレット、スマートフォン等のコンピュータ機械のプロセッサによって実行される、異なるモジュールに対応し得る。

【0026】

較正モジュールは、モジュールまたはメモリ内に記憶されるプログラムおよび／または命令を実行し、それによって、処理動作を実施するための１つ以上のコンピュータ処理ユニット（ＣＰＵ）および／またはグラフィック処理ユニット（ＧＰＵ）と、メモリと、これらのコンポーネントを相互接続するための１つ以上の通信バスとを含んでもよい。通信バスは、随意に、システムコンポーネントを相互接続し、その間の通信を制御する、回路網（時として、チップセットと呼ばれる）を含む。メモリは、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイス等の高速ランダムアクセスメモリを含み、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイス等の不揮発性メモリを含んでもよい。メモリは、随意に、ＣＰＵから遠隔で位置する、１つ以上の記憶デバイスを含む。メモリ、または代替として、メモリ内の不揮発性メモリデバイスは、非一過性コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリまたはメモリのコンピュータ可読記憶媒体は、プログラム、モジュール、およびデータ構造、または上記に説明されるサブセットを記憶する。

【0027】

要素はそれぞれ、以前に述べられたメモリデバイスのうちの１つ以上内に記憶され、上記に説明される機能を実施するための命令のセットに対応してもよい。上記の識別されたモジュールまたはプログラム（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットが、種々の実施形態では、組み合わせられる、または別様に再配列されてもよい。いくつかの実施形態では、メモリは、上記で識別されたモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、メモリは、上記に説明されない付加的モジュールおよびデータ構造を記憶してもよい。

【0028】

ある実施形態では、較正システムは、移動可能カメラシステムと統合され、および／またはそれに取り付けられてもよい。上記に説明されるように、較正システムは、カメラの場所および方向、すなわち、平行移動および回転を判定してもよい。本判定は、カメラが動作されるにつれて、リアルタイムで、またはほぼリアルタイムで、行われてもよい。カメラは、ハンドヘルド式である、または台車もしくは三脚上に位置付けられてもよい。カメラの平行移動および回転は、捕捉された画像またはビデオ、埋設メタデータ等とともに含まれてもよい。平行移動および回転情報は、画像またはビデオ認識システム、仮想現実システム等のためのカメラからの出力をハンドリングまたは受信する、他のシステムに提供されてもよい。

【0029】

本開示の種々の実施形態が、これまで、一例として詳細に説明されたが、変形例および修正が、本開示から逸脱することなく成され得ることが当業者に明白であろう。本開示は、添付の請求項の範囲内に該当するような全てのそのような変形例および修正を含む。

【図1】

【図2】

【図3】

【国際調査報告】