特許 7489349 複数カメラ校正装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-15

(45)【発行日】2024-05-23

(54)【発明の名称】複数カメラ校正装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240516BHJP

【ＦＩ】

G06T7/80

【請求項の数】 12

(21)【出願番号】P 2021056944

(22)【出願日】2021-03-30

(65)【公開番号】P2022154076

(43)【公開日】2022-10-13

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小林 達也

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２００８－１８７５６６（ＪＰ，Ａ）

【文献】国際公開第２０２０／１０５６９７（ＷＯ，Ａ１）

【文献】出口 光一郎 Koichiro Deguchi，３次元環境理解のための多視点カメラのキャリブレーション Calibration of Multi-View Cameras for 3D Scene Understanding，情報処理学会研究報告 Ｖｏｌ．２００２ Ｎｏ．２ IPSJ SIG Notes，日本，社団法人情報処理学会 Information Processing Society of Japan，2002年，第2002巻，p.1－p.8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

複数のカメラのグローバル姿勢を各カメラ画像に映るマーカのピクセル座標に基づいて校正する複数カメラ校正装置において、
各カメラ画像から、マーカ毎に異なる座標系におけるオブジェクト座標が既知のマーカを検出する手段と、
マーカのオブジェクト座標とピクセル座標との対応関係に基づいて各カメラのマーカに対するローカル姿勢を検出する手段と、
カメラごとにカメラ画像に映った複数のマーカ間の相対姿勢を、マーカの組み合わせごとに当該各マーカに対するローカル姿勢に基づいて検出する手段と、
前記相対姿勢を用いて各カメラのローカル姿勢を初期グローバル姿勢に変換する手段とを具備し、
前記変換する手段は、
一のカメラにおいてグローバル姿勢が既知の基準マーカとの相対姿勢を検出されている他のマーカに対する、当該他のマーカが映った他のカメラのローカル姿勢を、前記相対姿勢に基づいて初期グローバル姿勢に変換し、
前記一のカメラにおいて前記基準マーカとの相対姿勢を検出されている他のマーカとの直接的または間接的な相対位置を連結して、前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出し、
前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出するために連結できる相対姿勢の組み合わせごとに、その連結コストを計算する手段を更に具備し、
前記変換する手段は、連結コストに基づいて連結する相対姿勢の組み合わせを決定することを特徴とする複数カメラ校正装置。

【請求項2】

前記変換する手段は、各マーカのIDをノード、連結コストをエッジとして表現したグラフの最短経路を、各エッジの重みとして連結コストを用いて求めることで相対姿勢の組み合わせを決定することを特徴とする請求項１に記載の複数カメラ校正装置。

【請求項3】

前記連結コストが相対姿勢の連結回数であることを特徴とする請求項１または２に記載の複数カメラ校正装置。

【請求項4】

前記連結コストが、連結する相対姿勢の検出に用いたマーカのカメラ画像中のサイズの平均の逆数であることを特徴とする請求項１または２に記載の複数カメラ校正装置。

【請求項5】

前記連結コストが、連結する相対姿勢の検出に用いたマーカのカメラ画像中のサイズの最小値の逆数であることを特徴とする請求項１または２に記載の複数カメラ校正装置。

【請求項6】

各カメラの初期グローバル姿勢と各マーカの再投影誤差とに基づいて各カメラのグローバル姿勢を最適化する手段を更に具備したことを特徴とする請求項１ないし５のいずれかに記載の複数カメラ校正装置。

【請求項7】

前記最適化する手段は、全てのカメラのグローバル姿勢および相対姿勢を同時に最適化することを特徴とする請求項６に記載の複数カメラ校正装置。

【請求項8】

前記最適化する手段は、全てのカメラに映る全てのマーカの再投影誤差を、全てのカメラのグローバル姿勢と全てのマーカのグローバル座標系における相対姿勢とをバンドル調整することにより同時に最小化することを特徴とする請求項７に記載の複数カメラ校正装置。

【請求項9】

前記最適化する手段は、特定のマーカに近いほど大きくなり、離れるほど小さくなる変数を再投影誤差関数の重みとして用いることを特徴とする請求項６ないし８のいずれかに記載の複数カメラ校正装置。

【請求項10】

前記最適化する手段は、特定のマーカと相対姿勢が直接検出されたマーカの場合に大きくなる変数を再投影誤差関数の重みとして用いることを特徴とする請求項６ないし８のいずれかに記載の複数カメラ校正装置。

【請求項11】

コンピュータが、複数のカメラのグローバル姿勢を各カメラ画像に映るマーカのピクセル座標に基づいて校正する複数カメラ校正方法において、
各カメラ画像から、マーカ毎に異なる座標系におけるオブジェクト座標が既知のマーカを検出し、
マーカのオブジェクト座標とピクセル座標との対応関係に基づいて各カメラのマーカに対するローカル姿勢を検出し、
カメラごとにカメラ画像に映った複数のマーカ間の相対姿勢を、マーカの組み合わせごとに当該各マーカに対するローカル姿勢に基づいて検出し、
前記相対姿勢を用いて各カメラのローカル姿勢を初期グローバル姿勢に変換し、
前記変換では、一のカメラにおいてグローバル姿勢が既知の基準マーカとの相対姿勢を検出されている他のマーカに対する、当該他のマーカが映った他のカメラのローカル姿勢を、前記相対姿勢に基づいて初期グローバル姿勢に変換し、
前記変換では更に、前記一のカメラにおいて前記基準マーカとの相対姿勢を検出されている他のマーカとの直接的または間接的な相対位置を連結して、前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出し、
前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出するために連結できる相対姿勢の組み合わせごとに、その連結コストを計算し、
前記変換では、連結コストに基づいて連結する相対姿勢の組み合わせを決定することを特徴とする複数カメラ校正方法。

【請求項12】

複数のカメラのグローバル姿勢を各カメラ画像に映るマーカのピクセル座標に基づいて校正する複数カメラ校正プログラムにおいて、
各カメラ画像から、マーカ毎に異なる座標系におけるオブジェクト座標が既知のマーカを検出する手順と、
マーカのオブジェクト座標とピクセル座標との対応関係に基づいて各カメラのマーカに対するローカル姿勢を検出する手順と、
カメラごとにカメラ画像に映った複数のマーカ間の相対姿勢を、マーカの組み合わせごとに当該各マーカに対するローカル姿勢に基づいて検出する手順と、
前記相対姿勢を用いて各カメラのローカル姿勢を初期グローバル姿勢に変換する手順と、をコンピュータに実行させ、
前記変換する手順では、一のカメラにおいてグローバル姿勢が既知の基準マーカとの相対姿勢を検出されている他のマーカに対する、当該他のマーカが映った他のカメラのローカル姿勢を、前記相対姿勢に基づいて初期グローバル姿勢に変換し、
前記変換する手順では更に、前記一のカメラにおいて前記基準マーカとの相対姿勢を検出されている他のマーカとの直接的または間接的な相対位置を連結して、前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出し、
前記基準マーカおよび他のマーカが映っていないカメラの前記基準マーカに対するローカル姿勢を検出するために連結できる相対姿勢の組み合わせごとに、その連結コストを計算する手順を更に含み、
前記変換する手順では、連結コストに基づいて連結する相対姿勢の組み合わせを決定することを特徴とする複数カメラ校正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影範囲が局所的にオーバーラップする複数のカメラが存在するものの全てのカメラが共通で撮像する領域は存在しない環境下において、カメラ同期を必要とせずに少ないユーザの負荷で、単一のワールド座標系に対する全てのカメラの外部パラメータ（カメラ姿勢）を高精度に推定する複数カメラ校正装置、方法およびプログラムに関する。

【背景技術】

【0002】

一般に、複数台の固定カメラを使用して同一被写体の複数視点画像から三次元形状を復元したり、カメラの撮影範囲を跨いで人物等の物体追跡を行ったりするためには、それぞれのカメラのグローバル座標系における位置姿勢（カメラの外部パラメータ）の情報が必要である。

【0003】

カメラの外部パラメータを推定する方式として代表的なものが、非特許文献1に開示されるように、カメラ画像中の二次元座標とグローバル座標系における三次元座標の点対応（最少3点）から推定が可能なPnP（Perspective-n-Point）と呼ばれる手法である。

【0004】

二次元－三次元の点対応を取得する方式としては、非特許文献2に開示されるように、模様・形状が既知の平面パターン（マーカ）を画像中から自動的に検出する手法が、検出の高速性や頑健性の観点から一般的に活用されている。

【0005】

単一のワールド座標系における複数台のカメラの外部パラメータを簡易的に推定するには、上記技術を活用して、複数のカメラ間で撮影領域がオーバーラップしている領域で基準マーカを検出し、各カメラが独立に外部パラメータを推定する方法が有効である。このような方法によれば、特許文献1に開示されるように共通の基準マーカを用いることで共通の座標系（グローバル座標系）における外部パラメータを算出することができる。

【0006】

撮影領域のオーバーラップが狭いケースにおいて、マーカ全体をオーバーラップ領域に納めることが困難な場合が起こりうるが、非特許文献3にはマーカの一部分のみから外部パラメータを推定する方式が開示されている。

【0007】

非特許文献4には、マーカを複数台のカメラの共通撮像空間内でくまなく動かして撮像することにより、比較的少ない撮像時間で全てのカメラの外部パラメータを推定する方式が開示されている。

【先行技術文献】

【特許文献】

【0008】

【文献】WO2019/064399

【文献】特願2014-143690号

【文献】特願2014-143691号

【非特許文献】

【0009】

【文献】Xiao-Shan Gao, et al. "Complete solution classification for the perspective-three-point problem", IEEE Trans. on PAMI, 2003.

【文献】Francisco J.Romero-Ramirez, et al. "Speeded up detection of squared fiducial markers", Image and Vision Computing, 2018.

【文献】Ziran Xing et al. "A new calibration technique for multi-camera systems of limited overlapping field-of-views", in Proc. IROS 2017.

【文献】Stephan Beck, et al. "Sweeping-Based Volumetric Calibration and Registration of Multiple RGBD-Sensors for 3D Capturing Systems", in Proc. VR 2017.

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、上記のいずれの方法であっても、複数（少なくとも3台を想定）カメラの環境下で全てのカメラが共通で撮像する領域が存在しない、あるいは全てのカメラが共通で撮像する領域からマーカあるいはその参照点が取得できない場合でも、カメラ同期を必要とせずに少ないユーザの負荷で、単一のワールド座標系における全てのカメラの外部パラメータ（カメラ姿勢）を高精度に推定することが困難であるという問題点があった。

【0011】

例えば、非特許文献1および非特許文献2に記載の各方式を組み合わせた場合、全てのカメラが共通に撮影する領域が存在しない場合には単一のワールド座標系における全てのカメラの外部パラメータを推定することができなかった。

【0012】

また、特許文献1や非特許文献3に記載の方式の場合、カメラ台数が増えた際に各カメラ間のオーバーラップ領域にマーカを写していく必要があるため、カメラの組み合わせが膨大になり、外部パラメータ推定の処理負荷が増大する。

【0013】

さらに、非特許文献4に記載の方式の場合、オーバーラップ領域内で単一のマーカを動かすことが必要になるが、利用者がマーカを空間中でくまなく動かす負荷や、カメラ同期が無い場合に使用できないという問題があった。

【0014】

本発明の目的は、上記の技術課題を解決し、オーバーラップ領域内の任意の場所に、IDを一意に識別可能な複数のマーカを固定的に設置し、マーカ間の相対的な位置関係を利用することで上述の課題を解決できる複数カメラ校正装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0015】

上記の目的を達成するために、本発明は、複数のカメラのグローバル姿勢を各カメラ画像に映る参照点のピクセル座標に基づいて校正する複数カメラ校正装置において、以下の構成を具備した点に特徴がある。

【0016】

(1) 各カメラ画像からオブジェクト座標が既知のマーカを検出する手段と、マーカのオブジェクト座標とピクセル座標との対応関係に基づいて各カメラのマーカに対するローカル姿勢を検出する手段と、カメラごとにカメラ画像に映った複数のマーカ間の相対姿勢をマーカの組み合わせごとに当該各マーカに対するローカル姿勢に基づいて検出する手段と、前記相対姿勢を用いて各カメラのローカル姿勢を初期グローバル姿勢に変換する手段とを具備した。

【0017】

(2) 各カメラの初期グローバル姿勢と各マーカの再投影誤差とに基づいて各カメラのグローバル姿勢を最適化する手段を更に具備した。

【0018】

(3) 前記変換する手段は、一のカメラにおいてグローバル姿勢が既知の基準マーカとの相対姿勢を検出されている他のマーカに対する、当該他のマーカが映った他のカメラのローカル姿勢を、前記相対姿勢に基づいて初期グローバル姿勢に変換するようにした。

【発明の効果】

【0019】

本発明によれば、以下のような効果が達成される。

【0020】

(1) 撮影範囲が局所的にオーバーラップする複数のカメラが存在するものの全てのカメラが共通で撮像する領域は存在しない、あるいは全てのカメラが共通で撮像する領域から参照点が取得できない環境下においても、共通のワールド座標系に対する全てのカメラの外部パラメータ（カメラ姿勢）を高精度に推定できるようになる。

【0021】

(2) 全てのカメラ画像中の全てのマーカの二次元－三次元点対応を用いて全ての再投影誤差を最小化する全てのカメラのグローバル姿勢と全てのマーカ間の相対姿勢を同時に最適化できるようになる。

【0022】

(3) 相対位置を直接的に検出できないマーカ間の相対姿勢を複数の相対姿勢の連結により間接的に検出するので、基準マーカから離れた位置のカメラのグローバル姿勢も正確に推定できるようになる。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る複数カメラ校正装置の機能ブロック図である。

【図2】本発明の概要を説明するための図である。

【図3】矩形のマーカの例を示した図である。

【図4】複数のマーカに対するマーカ検出の結果の例を示した図である。

【図5】マーカに対するカメラのローカル姿勢を検出する方法を説明するための図である。

【図6】マーカ間の相対位置の検出方法を説明するための図である。

【図7】離れた位置の基準マーカに対する相対位置の検出方法を説明するための図である。

【図8】複数の相対位置を連結して離れた位置の基準マーカに対する相対位置を検出する例を示した図である。

【図9】連結コストの計算方法の例を示した図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係る複数カメラ校正装置1の構成を示した機能ブロック図であり、参照点検出部10、ローカル姿勢検出部20、相対姿勢検出部30、姿勢変換部40および姿勢最適化部50を主要な構成としている。

【0025】

このような複数カメラ校正装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0026】

本実施形態では、図2に一例を示したように、撮影範囲が局所的にオーバーラップする複数のカメラi1，i2，i3…が存在するものの全てのカメラが共通で撮像する領域が存在しない、あるいは図示のように全てのカメラが共通で撮像する領域からマーカjを検出できない環境下において、カメラ同期を必要とせずに少ないユーザの負荷で、単一のワールド座標系に対する全てのカメラの外部パラメータ（カメラ姿勢）を高精度に推定する。

【0027】

参照点検出部10は、複数のカメラから撮影画像を取得し、一般的なマーカ検出アルゴリズムを用いて画像中のマーカを検出し、更に各マーカに含まれる複数の参照点のピクセル座標を検出する。参照点とはマーカが矩形マーカであればその四隅の頂点、円形マーカであれば中心点などであり、マーカ検出によって一意に特定できる点の総称である。

【0028】

図3は、本実施形態で採用し、非特許文献2にも開示される矩形マーカの例を示した図であり、図4は、複数のマーカを対象に前記参照点検出部10がマーカ検出を行った結果の例を示した図である。ここでは合計8個（ID0～7）のマーカが検出され、それぞれの矩形領域の4頂点、合計32点が参照点のピクセル座標として検出されている。なお、以下の説明ではマーカの各参照点のピクセル座標を単純にマーカの座標と表現する場合もある。

【0029】

参照点検出部10は、各参照点のカメラ座標と予め登録されている既知の三次元オブジェクト座標とをセットにして、最終的に32組の二次元－三次元点対応を後段のローカル姿勢検出部20および姿勢最適化部50に入力させる。本実施形態ではマーカとして様々な模様、形状のものを使うことができ、図3，4に例示した種別や形態に限定されない。

【0030】

ローカル姿勢検出部20は、参照点検出部10から取得した各カメラの二次元－三次元点対応の情報に基づいて、各カメラのローカル座標系における位置姿勢（ローカル姿勢）を検出する。

【0031】

本実施形態ではローカル姿勢を6自由度の姿勢行列（4行4列）で表現する。姿勢行列は三次元ユークリッド空間におけるカメラとマーカとの相対的な位置関係の情報を持つものであり、三次元特殊ユークリッド群SE（3）に属し、共に3自由度の三次元回転行列Rと三次元並進ベクトルtとで表される。姿勢行列を用いる場合、参照点の二次元ピクセル座標と三次元オブジェクト座標とは次式(1)で対応付けられ、各符号の定義は以下のとおりである。

【0032】

【数1】

【0033】

A：各カメラの内部パラメータであり、予めカメラキャリブレーションによって求められている。
R (r₁₁～r₃₃)：三次元空間内の回転を表すパラメータであり、各パラメータはオイラー角等の表現によって3パラメータで表現できる。
t (t₁ ～t₃)：三次元空間内の平行移動を表すパラメータである。
X、Y、Z：参照点の三次元オブジェクト座標である。
u、v：カメラ画像中の二次元ピクセル座標である。

【0034】

前記ローカル姿勢検出部20は、各カメラi（i=0, …, Ni-1）に映った各マーカ（j=0, …, Nj-1）に対するローカル姿勢W_i,j ^lを次式(2)で検出し、相対姿勢検出部30および姿勢変換部40に入力させる。

【0035】

【数2】

【0036】

相対姿勢検出部30は、ローカル姿勢検出部20から各カメラiの各マーカjに対するローカル姿勢の入力を受けて、各カメラに映る参照オブジェクト（ここでは、マーカ）間の相対的な位置姿勢（相対姿勢）を検出して姿勢変換部40に入力させる。

【0037】

カメラiにおいて2つのマーカj₁，j₂が検出されている場合、マーカj₁，j₂の相対姿勢W_j1,j2 ^rは、図5に示すようにカメラiの各マーカj₁，j₂に対するローカル姿勢W_i,j1 ^l，W_i,j2 ^lを用いて次式(3)で検出できる。

【0038】

【数3】

【0039】

前記相対姿勢検出部30は、カメラごとに検出された全てのマーカの組み合わせに対して上記の相対姿勢検出を行い、検出結果を姿勢変換部40へ入力させる。

【0040】

姿勢変換部40は、ローカル姿勢検出部20からはローカル姿勢、相対姿勢検出部30からは相対姿勢をそれぞれ入力し、各カメラiのローカル姿勢を初期グローバル姿勢に変換する。ここで、グローバル姿勢とは全てのカメラに共通の座標系におけるカメラの位置姿勢を意味する。

【0041】

共通の座標系は任意の場所に指定できるが、本実施形態では単純な例として、マーカj=0のオブジェクト座標系をグローバルな座標系とみなして、各カメラiのグローバル姿勢W_i ^gを推定する。したがって、本実施形態ではW_i ^g=W_i,0 ^lとなる。以下、オブジェクト座標系をグローバルな座標系とみなされたマーカj=0を特に「基準マーカ」と表現する。

【0042】

カメラi₁において基準マーカj=0が検出できている場合、カメラi₁の初期グローバル姿勢W_i1 ^gはW_i1 ^g=W_i1,0 ^lであるため、基準マーカj=0に対するローカル姿勢をそのまま初期グローバル姿勢として利用できる。これに対して、図6に示すようにカメラi₂において基準マーカj=0を検出できず、代わりにマーカj=j₁が検出できており、基準マーカj=0とマーカj=j₁との相対姿勢W_j1,0 ^rを検出できれば、カメラi₂の初期グローバル姿勢W_i2 ^gは、次式(4)のようにカメラi₂のマーカj₁に対するローカル姿勢W_i2,j1 ^lに相対姿勢W_{j1, 0} ^rを乗じる変換処理により算出できる。

【0043】

【数4】

【0044】

また、図7に示すように、カメラi₃において基準マーカj=0を検出できず、代わりにマーカj=j₂が検出できており、マーカj=j₂と基準j=0との相対姿勢W_j2,0 ^rは検出できていないがマーカj=j₁と基準マーカj=0との相対姿勢W_j1,0 ^rおよびマーカj=j₂とマーカj=j₁との相対姿勢W_{j2, j1} ^rが検出できていれば、マーカj=j₂と基準マーカj=0との相対姿勢W_j2,0 ^rは、次式(5)のように二つの相対姿勢W_{j2, j1} ^r W_j1,0 ^rを連結することで算出できる。

【0045】

【数5】

【0046】

その結果、カメラi₃の初期グローバル姿勢W_i3 ^gは次式(6)で検出できる。

【0047】

【数6】

【0048】

上式(5)、(6)による相対姿勢の連結は三つ以上の相対姿勢に関しても可能であるから、本実施形態によれば基準マーカj=0から大きく離れたカメラの位置姿勢も、その間に存在するマーカの相対姿勢を利用することで算出できる。

【0049】

ここで、各マーカの相対姿勢を上記のように連結して各カメラのローカル姿勢を初期グローバル姿勢に変換する際、相対姿勢の連結方法に複数の組み合わせが存在する場合がある。例えば、図8の例におけるカメラi₃の初期グローバル姿勢W_i3 ^gを検出する際に、マーカj=j₃に対するローカル姿勢の変換に必要な相対姿勢を、3つの相対姿勢W_{j3, j2} ^r，W_{j2, j1} ^r，W_{j1, 0} ^rを連結することでも、2つの相対姿勢W_{j3, j1} ^r，W_{j1, 0} ^rまたはW_{j3, j2} ^r，W_{j2, 0} ^rを連結することでも求めることができる。

【0050】

本実施形態では、姿勢変換部40がコスト算出部41および連結選択部42を備え、ローカル姿勢を初期グローバル姿勢に変換するための相対姿勢を算出する際に、各相対姿勢のその連結コストが最小になる組み合わせで連結させるようにしている。前記コスト算出部41は、相対姿勢の連結コストDを定義して全ての組み合わせで連結コストDを評価する。連結選択部42は、連結コストが最小化する組み合わせを選択する。

【0051】

例えば、図8，9に示すように、マーカj=j₃と基準マーカj=0との相対姿勢W_j3,0 ^rを検出できる3つの相対姿勢W_{j3, j2} ^r，W_{j2, j1} ^r，W_{j1, 0} ^rの連結と2つの相対姿勢W_{j3, j1} ^r，W_{j1, 0} ^rの連結とを比較する場合、前記コスト算出部41は各連結コストD_{j3, j2}+D_{j2, j1} +D_{j1, 0}およびD_{j3, j1}+D_{j1, 0}を計算し、連結選択部42は連結コストのより小さい組み合わせを選択する。連結コストDの値は、最も単純なケースでは全て1とすることができる。この場合、連結回数が最小となる組み合わせが最小コストとなるので、上記の例では2つの相対姿勢W_{j3, j1} ^r，W_{j1, 0} ^rの連結が選択される。

【0052】

他の例として、連結コストDの値は、相対姿勢の連結対象となるマーカのカメラ画像中のサイズ（面積）の平均値の逆数や最小値の逆数を用いることができる。一般にカメラ画像中に大きく映るマーカの方が参照点のピクセル座標が高精度に取得できることが期待されるため、上記のように連結コストを定義することで、連結回数が同じであってもより高精度な相対姿勢算出を期待できる組み合わせを選択することができる。

【0053】

また、前記姿勢変換部40は上記選択処理の実装方法として、マーカのIDをノード、連結コストをエッジとして表現したグラフを作成し、エッジの重みに連結コストを用いることで、相対姿勢の連結方法の選択をグラフの最短経路問題として扱うようにしても良い。本実施形態では、連結する相対姿勢をダイクストラ法によって選択する。姿勢変換部40は、上記のように精度ベースの連結方法で変換された初期グローバル姿勢を姿勢最適化部50に入力する。

【0054】

なお、本実施形態における姿勢変換部40は、各カメラのローカル姿勢を初期グローバル姿勢に変換するためにマーカの相対姿勢を算出する際、相対姿勢の連結コストが最小になる組み合わせを選択して連結することを原則とするが、本発明はこれのみに限定されるものではない。

【0055】

その他の実施形態として、相対姿勢の連結方法に関する全ての組み合わせのなかで、連結コストが小さい順に上位複数を選択し、その平均や、連結コストの逆数での重み付き平均を相対姿勢としても良い。例えば図８の例では、相対姿勢W_{j3, 0} ^rの算出方法として、W_{j3, 0} ^r1=W_{j3, j2} ^rW_{j2, j1} ^rW_{j1, 0} ^rと、W_{j3, 0} ^r2=W_{j3, j1} ^rW_{j1, 0} ^rと、W_{j3, 0} ^r2=W_{j3, j2} ^r，W_{j2, 0} ^rとの３通りの連結の組み合わせが考えられる。ここで、例えばW_{j3, 0} ^r=αW_{j3, 0} ^r1＋βW_{j3, 0} ^r2＋γW_{j3, 0} ^r3（α＋β＋γ＝１）のような形で重み付き平均を算出しても良い。これにより、相対姿勢に含まれる白色ノイズの影響を低減し、相対姿勢の推定精度を向上することが期待できる。

【0056】

姿勢最適化部50は、参照点検出部10からは参照点の二次元－三次元点対応のセット、姿勢変換部40からは初期グローバル姿勢をそれぞれ入力し、各グローバル姿勢を最適化する。最適化後の姿勢は最終的な出力結果となる。

【0057】

一般に、ローカル姿勢検出部20が検出する各カメラのローカル姿勢および相対姿勢検出部30が検出するマーカ間の相対姿勢には、主に参照点検出部10における各マーカの二次元ピクセル座標の検出誤差に起因する誤差が含まれる。したがって、姿勢変換部40において連結する相対姿勢が増えると誤差が蓄積し、グラフ上の経路が長いほどマーカの相対姿勢の精度が劣化するので、ローカル姿勢と相対姿勢との乗算によって算出されるグローバル姿勢の精度が低下する。

【0058】

そこで、本実施形態では全体の再投影誤差を最小化するように相対姿勢およびグローバル姿勢を最適化することで上記誤差の蓄積問題を解消し、特にグラフ上の経路が長いマーカに関連するグローバル姿勢の精度を図っている。

【0059】

具体的には、次式(7)で与えられる参照点の再投影誤差関数を最小化する、次式(8)で表される各カメラのグローバル姿勢および次式(9)で表される各マーカの基準マーカj=0に対する相対姿勢の各収束値W_l ^{^g}，W_ji,0 ^{^r}をバンドル調整によって推定する。

【0060】

【数7】

【0061】

【数8】

【0062】

【数9】

【0063】

上式(7)において、R^^ｒおよびt^^rは相対姿勢が連結された全てのマーカの基準マーカに対する相対姿勢の集合であり、それぞれ次式(10)，(111)で表される

【0064】

【数10】

【0065】

【数11】

【0066】

m_{i, j1, c}はカメラiの画像中のマーカj=j₁のc番目の参照点の二次元ピクセル座標を表し、proj(R,t,X)は三次元座標Xの投影位置A[R|t]Xを表す。カメラの内部パラメータAは事前のキャリブレーションで求められているものとする。Ni-1はカメラの総数、Nj-1は相対姿勢が連結されたマーカの総数、N_{j1, c}はマーカj=j1が含む参照点の総数を、それぞれ表す。X_{j1, c} ^gはマーカj=j1のc番目の参照点のグローバル座標系における三次元座標であり、次式(12)でローカル座標系における三次元座標を相対姿勢W_{j1, 0} ^rで変換することで求められる。

【0067】

【数12】

【0068】

α_j1はマーカj=j₁に対する重み（重要度）であり、最も単純な場合はα_j1=1となる。この場合、全てのマーカの再投影誤差が平等に扱われる。

【0069】

本実施形態では、姿勢最適化部50がマーカj=j₂に近いほどα_j1を大きく設定し、マーカj=j₂付近の再投影誤差が小さくなるように最適化を行う。例えば、最も単純な例としてマーカj=j₂のみの再投影誤差を重視する場合、α_j2を1より大きい値とし、α_j1=1（j1≠j₂）とすれば良い。

【0070】

また、マーカj=j₂との間のグローバル座標系におけるユークリッド距離に応じてα_j1を調整することも望ましい。マーカ間のユークリッド距離は相対姿勢を用いて次式(13)により算出できる。

【0071】

【数13】

【0072】

また、マーカj=j₂と直接相対姿勢が検出されたマーカの重みを大きく設定することも望ましい。この場合、グラフ上でノードj₂との間でエッジが存在するノードの重みを大きく設定すれば良い。

【0073】

マーカj=j₂は撮像空間の中心に位置するマーカや、最も多くのカメラ画像に共通して映るマーカを指定することができる。一般に、撮像空間の中心付近や最も多くのカメラ画像に共通して映るマーカの領域は重要度が高い場合が多く、高いカメラ校正精度を実現できることが望ましいため、姿勢最適化部50によって、重要度が高い領域の精度を効率的に高めることが可能である。再投影誤差関数の最小化は、ガウス・ニュートン法に代表される非線形最小化問題の解法を用いることで行うことができる。

【0074】

上記のバンドル調整を行うことにより、全てのカメラに映る全てのマーカの全ての参照点の再投影誤差を最小化する、各カメラのグローバル姿勢とマーカとの相対姿勢を一意に求めることができる。

【0075】

そして、上記の実施形態によれば高品質な被写体3Dモデルを通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【符号の説明】

【0076】

10…参照点検出部、20…ローカル姿勢検出部、30…相対姿勢検出部、40…姿勢変換部、41…コスト算出部、42…連結選択部、50…姿勢最適化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】