特開 2022-146988 カメラキャリブレーション装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022146988

(43)【公開日】2022-10-06

(54)【発明の名称】カメラキャリブレーション装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20220929BHJP

   H04N 5/232 20060101ALI20220929BHJP

【ＦＩ】

G06T7/80

H04N5/232

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021048047

(22)【出願日】2021-03-23

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】小磯 諒太

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122DA02

5C122DA03

5C122EA06

5C122EA61

5C122FA18

5C122FH04

5C122FH11

5C122FH14

5C122GE24

5C122GE26

5C122GE27

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5L096CA05

5L096EA14

5L096EA45

5L096FA09

5L096FA69

5L096GA51

(57)【要約】      （修正有）

【課題】複数のカメラに共通して映る点に注目して各カメラの相対位置を高精度に推定するカメラキャリブレーション装置、方法及びプログラムを提供する。
【解決手段】カメラキャリブレーション装置は、較正用座標モデルの全てのカメラ画像に共通して映る複数の注目点とそのカメラ画像上の対応点とを対応付ける対応付け部３０と、複数のカメラの１台を基準カメラに決定する基準カメラ決定部４１と、各カメラの相対位置を各カメラ画像の各対応点のカメラ間での射影関係に基づいて計算する相対位置計算部５０と、各カメラの対応点を前記射影関係に基づいて他のカメラへ投影し、投影先カメラの対応点の画像座標を投影された点の画像座標に基づいて補正する画像座標補正部６０と、基準カメラの外部パラメータと各カメラの補正後の対応点とに基づいて各カメラの外部パラメータを計算するカメラパラメータ計算部７０と、を具備する。
【選択図】図１

【特許請求の範囲】

【請求項1】

3次元座標が既知の較正用座標モデルを複数のカメラで撮影したカメラ画像に基づいて各カメラを相対的にキャリブレーションする装置において、
較正用座標モデルの全てのカメラ画像に共通して映る複数の注目点とそのカメラ画像上の対応点とを対応付ける手段と、
前記複数のカメラの1台を基準カメラに決定する手段と、
各カメラの相対位置を各カメラ画像の各対応点のカメラ間での射影関係に基づいて推定する手段と、
各カメラの対応点を前記射影関係に基づいて他のカメラへ投影し、投影先カメラの対応点の画像座標を投影された点の画像座標に基づいて補正する手段と、
基準カメラの外部パラメータと各カメラの補正後の対応点とに基づいて各カメラの外部パラメータを計算する手段とを具備したことを特徴とするカメラキャリブレーション装置。

【請求項2】

全カメラから選択した一部の複数を選択カメラに決定する手段を具備し、
前記補正する手段は、選択カメラの各対応点を前記射影関係に基づいて他の選択カメラを含む他のカメラへ投影することを特徴とする請求項１に記載のカメラキャリブレーション装置。

【請求項3】

前記選択カメラに決定する手段は、各カメラの対応点を較正用座標モデルの3D空間への前記射影関係に基づき再投影した際の誤差の収束具合に基づいて選択カメラを決定することを特徴とする請求項２に記載のカメラキャリブレーション装置。

【請求項4】

前記選択カメラに決定する手段は、カメラごとに当該カメラを除く残り全てのカメラの画像に基づいて制作した一部カメラ3Dモデルと全てのカメラの画像に基づいて制作した全カメラ3Dモデルとの品質を比較し、一部カメラ3Dモデルの品質が全カメラ3Dモデルの品質よりも優った時の当該除いたカメラ以外を選択カメラに決定することを特徴とする請求項２に記載のカメラキャリブレーション装置。

【請求項5】

前記補正する手段は、投影先が他の選択カメラであれば当該他の選択カメラの各対応点および投影された点に基づいて各対応点の画像座標を補正し、投影先が選択カメラ以外であれば投影された点に基づいて各対応点の画像座標を補正することを特徴とする請求項２ないし４のいずれかに記載のカメラキャリブレーション装置。

【請求項6】

各カメラの前記補正後の各対応点の画像座標の誤差を計算する手段と、
前記誤差が収束したか否かを判定する手段とを具備し、
前記誤差の収束を判定する手段は、前記誤差が収束するまで前記基準カメラの選択、相対位置の推定および対応点の画像座標の補正を繰り返すことを特徴とする請求項１ないし５のいずれかに記載のカメラキャリブレーション装置。

【請求項7】

前記誤差を計算する手段は、各カメラ画像の前記補正前および補正後の各対応点を基準カメラへ投影して補正前および補正後の各対応点の再投影誤差を計算し、
前記誤差の収束を判定する手段は、補正後の対応点の再投影誤差が補正前の対応点の再投影誤差よりも大きいカメラの各対応点を補正前に戻し、前記基準カメラの選択、相対位置の推定および対応点の画像座標の補正を繰り返すことを特徴とする請求項６に記載のカメラキャリブレーション装置。

【請求項8】

前記誤差の収束を判定する手段は、補正後の対応点の再投影誤差が補正前の対応点の再投影誤差よりも大きいカメラ数が所定の閾値以下となるまで、前記基準カメラの選択、相対位置の推定および対応点の画像座標の補正を繰り返すことを特徴とする請求項７に記載のカメラキャリブレーション装置。

【請求項9】

前記外部パラメータを計算する手段は、
基準カメラの較正用座標モデルに対する射影関係と内部パラメータとに基づいて第1外部パラメータを計算し、
基準カメラと他のカメラとの射影関係および各カメラの内部パラメータに基づいて基準カメラと他のカメラとの相対位置を示す第2外部パラメータを計算し、
前記第1及び第2外部パラメータに基づいて各カメラの較正用座標モデルに対する外部パラメータを計算することを特徴とする請求項１ないし８のいずれかに記載のカメラキャリブレーション装置。

【請求項10】

各カメラ画像からレンズ歪成分を除去する歪補正部を具備したことを特徴とする請求項１ないし９のいずれかに記載のカメラキャリブレーション装置。

【請求項11】

前記基準カメラに決定する手段は、対応点の前記較正用座標モデルに対する再投影誤差が最小のカメラを基準カメラに決定することを特徴とする請求項１ないし１０のいずれかに記載のカメラキャリブレーション装置。

【請求項12】

前記較正用座標モデルがARマーカであることを特徴とする請求項１ないし１１のいずれかに記載のカメラキャリブレーション装置。

【請求項13】

コンピュータが、3次元座標が既知の較正用座標モデルを複数のカメラで撮影したカメラ画像に基づいて各カメラを相対的にキャリブレーションする方法において、
較正用座標モデルの全てのカメラ画像に共通して映る複数の注目点とそのカメラ画像上の対応点とを対応付け、
前記複数のカメラの1台を基準カメラに決定し、
各カメラの相対位置を各カメラ画像の各対応点のカメラ間での射影関係に基づいて推定し、
各カメラの対応点を前記射影関係に基づいて他のカメラへ投影したのち、投影先カメラの対応点の画像座標を投影された点の画像座標に基づいて補正し、
基準カメラの外部パラメータと各カメラの補正後の対応点とに基づいて各カメラの外部パラメータを計算することを特徴とするカメラキャリブレーション方法。

【請求項14】

全カメラから選択した一部の複数を選択カメラに決定し、
前記対応点の画像座標を補正する際に、選択カメラの各対応点を前記射影関係に基づいて他の選択カメラを含む他のカメラへ投影することを特徴とする請求項１３に記載のカメラキャリブレーション方法。

【請求項15】

3次元座標が既知の較正用座標モデルを複数のカメラで撮影したカメラ画像に基づいて各カメラを相対的にキャリブレーションするプログラムにおいて、
較正用座標モデルの全てのカメラ画像に共通して映る複数の注目点とそのカメラ画像上の対応点とを対応付ける手順と、
前記複数のカメラの1台を基準カメラに決定する手順と、
各カメラの相対位置を各カメラ画像の各対応点のカメラ間での射影関係に基づいて推定する手順と、
各カメラの対応点を前記射影関係に基づいて他のカメラへ投影したのち、投影先カメラの対応点の画像座標を投影された点の画像座標に基づいて補正する手順と、
基準カメラの外部パラメータと各カメラの補正後の対応点とに基づいて各カメラの外部パラメータを計算する手順と、をコンピュータに実行させるカメラキャリブレーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラの相対位置を高精度にキャリブレーションする装置、方法及びプログラムに関する。

【背景技術】

【0002】

自由視点映像技術は、複数カメラの映像を入力としてカメラの存在しない視点からの視聴を可能にする技術である。自由視点映像の生成手法として、非特許文献１の視体積交差法が知られている。視体積交差法は、図10に示すように異なるカメラ位置から撮影した複数枚のシルエット画像A，B，C，Dを3次元空間へ投影した際の積集合となる部分を３Dモデルとして復元する技術である。

【0003】

3次元空間とシルエット画像との投影関係は、焦点距離などの内部パラメータおよびカメラの設置位置・向きを示す外部パラメータによって定まる。このとき、各カメラの内部パラメータや外部パラメータの推定に誤差が含まれると、３Dモデルを生成する際の積集合が本来の形状と異なる形で復元されてしまい、結果として生成される３Dモデルに欠損が生じることがある。

【0004】

特許文献1には、カメラパラメータに誤差が含まれることを前提として、カメラパラメータの誤差の大きさに応じてシルエットの輪郭を膨張・縮退することで３Dモデルに欠損が生じることを防止する技術が開示されている。

【0005】

非特許文献2には、カメラパラメータの推定手法として、3次元空間座標が既知の複数の注目点をカメラで撮影し、各注目点の3次元空間座標とカメラ画像に映り込んだ各注目点に対応する点（対応点）とを、例えば非特許文献3が開示する手法により対応付け、複数の対応関係に基づく再投影誤差、すなわちカメラパラメータによって各注目点を3次元空間座標から画像座標へ投影した点とカメラ画像上の対応点との画像座標誤差、が小さくなるようにカメラパラメータを最適化する技術が開示されている。

【0006】

また、カメラ間の相対位置の精度を高める手法として、非特許文献4にはLoop Closingが開示されている。Loop Closingでは多数のカメラもしくはカメラの移動によって被写体の周りを取り囲んで撮影した複数画像に対して、画像上の多数の注目点を基に計算可能な画像の類似度（BoW）を評価し、被写体の周りを囲んだカメラがループを形成するという拘束条件を基に相対位置関係の最適化を行う。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特願2020-212906号

【特許文献2】特願2020-012676号

【特許文献3】特願2020-127288号

【非特許文献】

【0008】

【非特許文献1】Laurentini, A."The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162, (1994).

【非特許文献2】Z. Zhang. A flexible new technique for camera calibration. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22(11):1330-1334, 2000.

【非特許文献3】鶴崎 裕貴、野中 敬介、渡邊 良亮、内藤 整, "Line Segment Detectorを用いたカメラキャリブレーションの高精度化に関する検討," , 2020-AVM-108, 7, pp. 1 - 6, 2020.

【非特許文献4】R Mur-Artal, JMM Montiel, JD Tardos. ORB-SLAM: a Versatile and Accurate Monocular SLAM System. IEEE Transactions on Robotics, 2015.

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１では、シルエット画像を膨張又は縮退することで３Dモデルに欠損が生じることを防止するが、シルエット画像の修正のみでは3次元空間とシルエット画像との投影関係を正しく補正できないので、3Dモデルを本来の被写体の３D形状に近付けることが難しい。

【0010】

非特許文献2，3が開示するカメラキャリブレーション手法では、カメラ間の相対位置が考慮されていないため、特許文献１が指摘するカメラパラメータの推定誤差に起因した３Dモデルの欠損を防止できない。

【0011】

非特許文献4では、画像上の多数の注目点を基に画像の類似度を評価し、相対位置の最適化は実施しているが、検出される注目点の画像座標に誤差が含まれることが考慮されていない。

【0012】

本発明の目的は、上記の技術課題を解決し、複数カメラ間に共通して映る点に注目して各カメラ間の相対位置を高精度に推定するカメラキャリブレーション装置、方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0013】

上記の目的を達成するために、本発明は、3次元座標が既知の較正用座標モデルを複数のカメラで撮影したカメラ画像に基づいて各カメラを相対的にキャリブレーションする装置において、以下の構成を具備した点に特徴がある。

【0014】

(1) 較正用座標モデルの全てのカメラ画像に共通して映る複数の注目点とそのカメラ画像上の対応点とを対応付ける手段と、前記複数のカメラの1台を基準カメラに決定する手段と、各カメラの相対位置を各カメラ画像の各対応点のカメラ間での射影関係に基づいて推定する手段と、各カメラの対応点を前記射影関係に基づいて他のカメラへ投影し、投影先カメラの対応点の画像座標を投影された点の画像座標に基づいて補正する手段と、基準カメラの外部パラメータと各カメラの補正後の対応点とに基づいて各カメラの外部パラメータを計算する手段とを具備した。

【0015】

(2) 3次元空間座標との対応付け精度の高い一部のカメラを選択カメラに決定し、前記補正する手段は、選択カメラの各対応点を前記射影関係に基づいて他の選択カメラを含む各カメラへ投影するようにした。

【0016】

(3) 各カメラの補正後の各対応点の画像座標の誤差を計算する手段と、前記誤差が収束したか否かを判定する手段とを具備し、誤差が収束するまで基準カメラの選択、相対位置の推定および対応点の画像座標の補正を繰り返すようにした。

【発明の効果】

【0017】

本発明によれば、以下のような効果が達成される。

【0018】

(1) 被写体を異なる視点で撮影する複数のカメラの位置を他のカメラとの相対的な位置関係に基づいて相互に補正し、当該補正された相対位置に基づいて外部パラメータを計算するので、外部パラメータの相対関係が高精度化される。したがって、複数のカメラ画像に基づいて制作される3Dモデルの品質を向上させることができるようになる。

【0019】

(2) 比較的制度の高い選択カメラの各対応点を他の選択カメラを含む各カメラへ投影するようにしたので、対応付け精度が悪いカメラが存在しても、選択カメラによって対応付けを高精度化（座標補正）できるようになる。

【0020】

(3) 誤差が収束するまで座標補正が繰り返されるので、全てのカメラの相対関係を高精度化できるようになる。

【図面の簡単な説明】

【0021】

【図1】本発明の第1実施形態に係るカメラキャリブレーション装置の機能ブロック図である。

【図2】複数カメラの配置例を示した図である。

【図3】較正用座標モデルとカメラの画像座標との対応付け方法を示した図である。

【図4】カメラ間の相対位置の計算方法を説明するための図である。

【図5】対応点の画像座標を補正する方法を示した図（その１）である。

【図6】対応点の画像座標を補正する方法を示した図（その2）である。

【図7】本発明の効果を説明するための図である。

【図8】本発明の第2実施形態に係るカメラキャリブレーション装置の機能ブロック図である。

【図9】対応点の画像座標の誤差を判定する方法を示した図である。

【図10】視体積交差法による3Dモデルの生成方法を示した図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係るカメラキャリブレーション装置１の主要部の構成を示した機能ブロック図であり、カメラ画像入力部10，歪補正部20，対応付け部30，カメラ決定部40，相対位置計算部50，画像座標補正部60およびカメラパラメータ計算部70を主要な構成としている。

【0023】

このようなカメラキャリブレーション装置１は、汎用の少なくとも一台のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

【0024】

本実施形態は、スポーツシーンを対象とした自由視点映像制作システムへの適用を想定し、図2に示すようにサッカーコートの周囲にコートを向いた16台のカメラを設置し、３Dモデル品質の向上を目的として各カメラのカメラパラメータを推定する場合を例にして説明する。

【0025】

画像入力部10には、視点の異なる複数（本実施形態では16台）のカメラで撮影した画像が入力される。歪補正部20は、入力したカメラ画像に対して歪補正を行う。本実施例では撮影時のカメラの設定情報から、非特許文献2などに開示される手法によってカメラごとに次式(1)，(2)に代表される歪補正モデルのパラメータ（歪パラメータ）を事前計算し、当該歪パラメータを用いて歪補正を行う。

【0026】

【数1】

【0027】

【数2】

【0028】

ここで、(x', y')，(x, y)は、それぞれ歪補正前および歪補正後の各カメラ画像上の座標（以下、画像座標と表現する場合もある）であり、k_i，P_iは、それぞれ放射歪、円周方向の歪に関する歪補正量である。

【0029】

対応付け部30は、3次元座標が既知の較正用座標モデル（本実施形態では、サッカーフィールドモデル）を与えられ、歪補正されたカメラ画像を対象に較正用座標モデルの3次元空間座標 (X, Y, Z) とカメラの画像座標 (x, y)との対応付けを行う。

【0030】

本実施形態では、図３に一例を示すようにサッカーコートの規格等から3次元空間座標が既知であるフィールドライン上の少なくとも4つの点に注目し、各注目点の3次元空間座標(Xi, Yi, Zi) とカメラに映ったその対応点の画像座標(xi, yi)との対応付けを行う。

【0031】

このような対応付けは、全16台のカメラから入力された各画像フレームをコンピュータ上に表示させ、当該コンピュータを制御するポインティング装置を用いてフィールドライン上の各注目点と画像上の各対応点とを対応付けることで実施しても良いし、あるいは非特許文献3が開示する従来手法によって自動推定しても良い。

【0032】

さらに、室内競技のように被写体との距離が近い撮影時には、ARマーカ等の既知のパターンを較正用座標モデルに用い、パターンマッチングなどにより自動で対応付けを行っても良い。なお、このような対応付けでは手動および自動のいずれにおいても、ポインティング操作のずれや推定精度の問題により各対応点の画像座標に誤差が含まれることは避けられない。

【0033】

カメラ決定部40は、基準カメラ決定部41および選択カメラ決定部42を含む。基準カメラ決定部41は、各カメラの相対位置計算の基準となるカメラ1台を基準カメラに決定する。選択カメラ決定部42は、後述する画像座標補正部60が各カメラの画像座標を相対的に補正する際に使用する複数台のカメラを選択カメラに決定する。

【0034】

前記基準カメラ決定部41は、全16台のカメラから任意の1台を基準カメラに決定できる。選択カメラ決定部42は、3次元空間の同一点に対応する各カメラ画像の点を3次元空間座標へ投影し、他のカメラとの収束具合に基づいて複数の選択カメラを決定する。

【0035】

本実施形態では、対応付け部30で対応付けたサッカーコート上の各注目点の3次元空間座標とカメラ画像上の各対応点の画像座標との組み合わせから、非特許文献２が開示する手法などによりホモグラフィ行列の推定を実施し、推定したホモグラフィ行列を用いて各カメラからサッカーコート平面へ点を投影する。

【0036】

ここで、ホモグラフィ行列とは2つの異なる平面上の点の射影変換行列であり、サッカーコート平面上の点(X_i, Y_i, 1)をカメラ画像上の点(x_i, y_i, 1)に射影する行列式は次式(3)で表される。

【0037】

【数3】

【0038】

本実施形態では、投影した点が他のカメラと大きくずれているカメラを除外して残りのカメラを選択カメラに決定すべく、全カメラから投影した点のマハラノビス距離によって閾値を設け、閾値を超えるカメラを除外するようにしている。

【0039】

なお、選択カメラの決定方法は上記の手法に限定されるものではなく、評価するカメラごとに当該カメラを除く残り全てのカメラの画像に基づいて制作した一部カメラ3Dモデルと、全てのカメラの画像に基づいて制作した全カメラ3Dモデルとの品質を比較し、一部カメラ3Dモデルの品質が全カメラ3Dモデルの品質よりも優った時の当該除いたカメラ以外を選択カメラに決定するようにしても良い。

【0040】

あるいは上記の選択で残ったカメラのみを対象に同様の選択を繰り返し、所定の条件下で最終的に残ったカメラのみを選択カメラに決定するようにしても良い。３Dモデルの品質は、制作したモデルをカメラ位置に投影したときのシルエットとそのカメラに映る実写の被写体のシルエットとの一致具合により自動で評価できる。

【0041】

なお、基準カメラについても選択カメラと同様に、3次元空間の同一点に対応する各カメラ画像の対応点を3次元空間へ投影し、再投影誤差が最小となる1台を選択すれば、カメラの相対位置のみならず絶対位置についてもより高精度化できるようになる。

【0042】

相対位置計算部50は、図４に示すように、選択カメラごとに他の各カメラ（他の選択カメラおよび基準カメラを含む）との同一の注目点に対応する対応点の射影関係を計算してホモグラフィ行列を推定する。

【0043】

本実施形態では、前記対応付け部30が対応付けに用いた較正用座標モデルの各注目点に対応する各カメラ画像の各対応点に着目し、当該各対応点の画像座標の関係に基づいてホモグラフィ行列が計算される。

【0044】

画像座標補正部60は、相対位置計算部50が計算した各選択カメラと他の各カメラとの射影関係に基づいて各カメラの各対応点の画像座標を相対的に補正する。本実施形態では、初めに図5に示すように、選択カメラごとに他の各カメラとの相対位置関係を示すホモグラフィ行列を用いて各対応点を他の各カメラに投影する。したがって、選択カメラがM台であれば投影先の各カメラには対応点ごとにM個の点が投影されることになる。

【0045】

次いで、投影先のカメラごとに、各選択カメラから同一の対応点に関して投影された複数の点の代表値として、図6に示すように各点の画像座標の平均値や中央値を計算し、当該代表値を対応点ごとに補正後のカメラ画像座標として仮決定する。このとき、投影先が他の選択カメラであれば代表値計算に自身の対応点の画像座標を含めるが、投影先が選択カメラ以外であれば投影された点の画像座標のみから代表値の計算を実施する。

【0046】

カメラパラメータ計算部70は、全てのカメラのカメラパラメータを計算してカメラ位置を決定する。カメラパラメータは3次元空間座標上の点(X_i, Y_i, Z_i)を画像座標上の点(x_i, y_i) に変換するものであり、次式(4)で表される。

【0047】

【数4】

【0048】

ここで、(c_x, c_y)はカメラ画像中の主点であり、通常は画像中心である。fは焦点距離を示し、本実施形態ではズーム値の代わりに算出したい値である。これらは内部パラメータと呼ばれ、焦点距離を固定している限りは一定の値となる。また、r₁₁～r₃₃はカメラの回転量を示す回転行列、t₁～t₃はカメラの位置を示す並進行列であり、sはスケーリングに用いる係数である。回転行列r₁₁～r₃₃および並進行列t₁～t₃で構成される行列は外部パラメータと呼ばれる。

【0049】

本実施形態では、カメラ決定部40が決定した基準カメラについて補正後の各対応点の画像座標とサッカーコートの対応する注目点との関係でホモグラフィ行列を推定し、非特許文献2などによって予め求めた内部パラメータを用いることで基準カメラの外部パラメータを計算する。

【0050】

次いで、基準カメラと他の各カメラとのホモグラフィ行列および事前に用意した各カメラの内部パラメータを用いて、基準カメラからの相対位置を示す外部パラメータを決定する。そして、3次元空間のサッカーコートを基準に計算した基準カメラの外部パラメータと各カメラの相対位置を示す外部パラメータとに基づいて全てのカメラのサッカーコート基準の外部パラメータを計算し、カメラパラメータを出力する。

【0051】

本発明によれば、被写体を異なる視点で撮影する複数のカメラの位置を他のカメラとの相対的な位置関係に基づいて相互に補正し、当該補正された相対位置に基づいて外部パラメータを計算するので、図7に示すように、各カメラパラメータは実際のカメラパラメータとは多少ずれたパラメータを取り得るが各カメラの相対位置の誤差が減少する。その結果、外部パラメータの相対関係が高精度化されるので、複数のカメラ画像に基づいて制作される3Dモデルの品質を向上させることができる。

【0052】

図8は、本発明の第2実施形態に係るカメラキャリブレーション装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は誤差判定部80を具備し、再投影誤差が収束するまで各カメラの対応点の画像座標補正を繰り返すようにした点に特徴がある。

【0053】

誤差判定部80は、誤差計算部81および収束判定部82を含み、前記画像座標補正部60における各カメラの対応点の画像座標の補正により、基準カメラを除くカメラ間の相対位置が高精度化されたか否かを判定する。

【0054】

前記誤差計算部81は、図9に示すように、前記基準カメラ決定部41が決定した基準カメラ（1台）に対して残り全てのカメラ（15台）から、対応点ごとに前記補正前および補正後の各画像座標を前記投影関係に基づいて再投影し、基準カメラが撮影した対応する各注目点の画素位置と各カメラからの再投影位置との距離をそれぞれ再投影誤差として計算する。

【0055】

収束判定部82は、基準カメラを除く残り全てカメラにおいて、補正後の画素位置の再投影誤差が補正前の画素位置の再投影誤差よりも小さければ、誤差補正が収束したと判断して当該補正後の各画素位置を各対応点の画素位置に決定する。

【0056】

これに対して、補正後の画素位置の再投影誤差の方が大きいカメラが存在すれば、当該カメラの各対応点の画像座標を補正前の画像座標に戻す一方、補正後の画像座標の再投影誤差の方が小さかったカメラについては当該補正後の画像座標を維持したまま前記カメラ決定部40へ戻る。

【0057】

そして、カメラ決定部40における基準カメラおよび選択カメラの決定、相対位置推定部50における相対位置の決定並びに画像座標補正部60による画像座標補正の各処理を繰り返す。当該繰り返しは、今回の補正後の画像座標の再投影誤差が前回の補正後または補正前の画像座標の再投影誤差よりも大きいカメラ数がゼロまたは所定の閾値を下回るまで繰り返される。あるいは全てのカメラにおいて、今回の補正後の画像座標の再投影誤差と前回の補正後または補正前の画像座標の再投影誤差との差分の絶対値が所定の閾値を下回るまで繰り返されるようにしても良い。

【0058】

本実施形態によれば、外部パラメータの基準となる基準カメラに対する他の各カメラの相対位置が補正されるので、基準カメラの外部パラメータと他の各カメラの外部パラメータとの相対関係を高精度化できるようになり、3Dモデルの品質を更に向上させることができるようになる。

【0059】

そして、上記の各実施形態によれば高品質な被写体3Dモデルを通信インフラ経由でもリアルタイムで提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なエンターテインメントを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

【0060】

なお、本実施形態では相対位置の誤差を再投影誤差として評価したが、本発明はこれのみに限定されるものではなく、補正前、補正後の各画像座標情報からそれぞれ３Dモデルを生成し、３Dモデルの品質に基づいて評価を行っても良い。

【符号の説明】

【0061】

1…カメラキャリブレーション装置，10…カメラ画像入力部，20…歪補正部，30…対応付け部，40…カメラ決定部，41…基準カメラ決定部，42…選択カメラ決定部，50…相対位置計算部，60…画像座標補正部，70…カメラパラメータ計算部，80…誤差判定部，81…誤差計算部，82…収束判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】