特許 6622503 カメラモデルパラメータ推定装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6622503

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】カメラモデルパラメータ推定装置及びそのプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20191209BHJP

【ＦＩ】

   H04N5/232

【請求項の数】5

【全頁数】26

(21)【出願番号】特願2015-152083(P2015-152083)

(22)【出願日】2015年7月31日

(65)【公開番号】特開2016-105577(P2016-105577A)

(43)【公開日】2016年6月9日

【審査請求日】2018年5月30日

(31)【優先権主張番号】特願2014-237691(P2014-237691)

(32)【優先日】2014年11月25日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(72)【発明者】

【氏名】加納 正規

(72)【発明者】

【氏名】大久保 英彦

(72)【発明者】

【氏名】池谷 健佑

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】三科 智之

(72)【発明者】

【氏名】岩舘 祐一

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特許第４９６０９４１（ＪＰ，Ｂ２）

【文献】 特開２００３−０２１５１２（ＪＰ，Ａ）

【文献】 特開２００４−２３５９３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

複数の撮影カメラで複数の校正パターンを撮影した撮影画像を用いて、前記撮影カメラのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置であって、
前記撮影画像毎に、前記撮影画像から前記校正パターンの特徴点を抽出し、抽出した前記特徴点の座標である観測画像座標を出力する特徴点抽出部と、
カメラ校正により、前記撮影カメラ毎の内部パラメータの初期値を算出する初期値生成用カメラ校正部と、
前記撮影カメラ毎に、撮影原点からパン・チルトした前記撮影カメラを搭載する雲台におけるパン・チルト座標系を、前記撮影原点からパン・チルトした前記撮影カメラの光学中心におけるカメラ座標系に変換する第１外部パラメータの初期値を設定する第１外部パラメータ設定部と、
前記撮影カメラ毎に、前記校正パターンのうち予め設定した１つの基準校正パターンにおける基準校正パターン座標系を、前記撮影原点を向いた前記撮影カメラを搭載する雲台における雲台座標系に変換する第２外部パラメータの初期値を算出する第２外部パラメータ算出部と、
前記校正パターンの間で座標系の関係を表す校正パターン関係式の初期値を予め設定する校正パターン関係式設定部と、
前記校正パターンに含まれる特徴点の座標を表す校正パターン情報が予め設定され、前記校正パターン情報の特徴点の座標から、前記校正パターンを向いた前記撮影カメラで撮影された画像に含まれる特徴点の座標を予測した予測画像座標を算出する予測画像座標算出部と、
前記観測画像座標と前記予測画像座標との距離が最小となるように、前記内部パラメータと前記第１外部パラメータと前記第２外部パラメータとからなる前記カメラモデルパラメータ及び前記校正パターン関係式が含まれる評価式を最適化することで、前記カメラモデルパラメータを推定するカメラモデルパラメータ最適化部と、
を備えることを特徴とするカメラモデルパラメータ推定装置。

【請求項2】

前記校正パターンを向いた前記撮影カメラのパン値及びチルト値から、前記雲台座標系を前記パン・チルト座標系に変換する第３外部パラメータを算出する第３外部パラメータ算出部、をさらに備え、
前記初期値生成用カメラ校正部は、前記カメラ校正により、前記校正パターンにおける校正パターン座標系を前記カメラ座標系に変換する第４外部パラメータを、さらに算出し、
前記第２外部パラメータ算出部は、
前記第４外部パラメータに対して、前記第１外部パラメータと前記第２外部パラメータと前記第３外部パラメータとを関係付けた変換式が予め設定され、
前記変換式に前記第１外部パラメータの初期値と前記第３外部パラメータと前記第４外部パラメータとを代入することで、前記第２外部パラメータの初期値を算出することを特徴とする請求項１に記載のカメラモデルパラメータ推定装置。

【請求項3】

前記特徴点抽出部は、前記撮影カメラとして、同一の被写体を異なる視点で撮影する多視点カメラから、前記撮影画像が入力されることを特徴とする請求項１又は請求項２に記載のカメラモデルパラメータ推定装置。

【請求項4】

前記第２外部パラメータ算出部は、移設した前記撮影カメラについて、前記第２外部パラメータの初期値を算出し、
前記カメラモデルパラメータ最適化部は、前記移設した撮影カメラの第２外部パラメータからなる前記カメラモデルパラメータ及び前記校正パターン関係式が含まれる評価式を最適化することで、前記移設した撮影カメラのカメラモデルパラメータを推定することを特徴とする請求項１から請求項３の何れか一項に記載のカメラモデルパラメータ推定装置。

【請求項5】

コンピュータを、請求項１から請求項４の何れか一項に記載のカメラモデルパラメータ推定装置として機能させるためのカメラモデルパラメータ推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、撮影カメラ及び雲台から構成されるカメラシステムのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置及びそのプログラムに関する。

【背景技術】

【0002】

近年、多視点カメラで撮影した映像を用いて、３次元映像処理を始めとした様々な研究開発が積極的に行われている。これらを実現する上で重要な技術の１つに、カメラ校正がある。ここで、カメラ校正とは、撮影カメラのカメラパラメータを求めることである。また、カメラパラメータには、撮影カメラの位置及び姿勢を表す外部パラメータと、焦点距離等の撮影カメラに固有の内部パラメータとが含まれる。

【0003】

カメラ校正の手法は、大きく２つに分けることができる。第１の手法は、撮影カメラの撮影画像から画像解析により特徴点を抽出し、その特徴点の位置関係からカメラ校正を行うものである。この第１の手法は、センサ等の電子機器が不要という利点がある。ここで、第１の手法は強校正と弱校正とに分類されるが、どちらの手法にも課題が存在する。強校正は、校正パターンを撮影してカメラ校正を行うが、撮影映像に校正パターンが映っている必要があるため、撮影映像に大きな制約ができる。弱校正は、特徴点の抽出、対応付け及びバンドル調整などを行う必要があり、撮影画像によってはこれらの処理が上手くいかず適切にカメラ校正ができない場合がある。また、第１の手法は、特徴点の抽出や数値計算のような複雑な処理が必要なため、十分な精度を確保しつつ高速な処理、特に実時間での処理が難しい場合がある。

【0004】

以上のような問題があるため、第２の手法を検討する。第２の手法は、センサを利用して雲台のパンやチルト等の情報を物理的に計測し、その情報を使用してカメラ校正を行う。この第２の手法は、事前に校正パターンを使用し、カメラモデルパラメータを計算する必要があるが、使用時はカメラモデルパラメータとセンサ値（パン・チルト等）とを使った簡単な計算処理だけでカメラパラメータを得られるため、実時間処理も可能である。さらに、第２の手法は、使用時において撮影画像への制約や依存がなく、確実にカメラ校正が可能である。

【0005】

ここで、第２の手法として、バーチャルスタジオにおけるＣＧ（Computer Graphics）合成を目的として、１台の撮影カメラを対象として、カメラ校正を行う技術が知られている（特許文献１，非特許文献１）。これら従来技術は、特徴点の間隔や大きさが異なる校正パターンを複数用意しておき、撮影カメラが広角から望遠まで大きくズームした場合でも、そのズーム範囲に適した校正パターンを選択する。そして、従来技術は、選択した校正パターンから特徴点を抽出し、抽出した特徴点の座標と、センサで取得したパンやチルト等の情報とを用いて、カメラモデルパラメータの推定及びカメラ校正を行う。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第４９６０９４１号公報

【非特許文献】

【0007】

【非特許文献1】大久保英彦 他４名、バーチャルスタジオにおけるカメラキャリブレーション高精度化の考察、ＦＩＴ２００７（第６回情報科学フォーラム）、２００７、ｐ．５４１−５４２

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、前記した従来技術では、校正パターン間で座標系の関係が考慮されておらず、カメラ校正の精度が十分でない場合がある。そこで、カメラ校正の精度を向上させるため、より高精度なカメラモデルパラメータを推定する手法の実現が強く望まれている。

【0009】

本願発明は、高精度なカメラモデルパラメータを推定できるカメラモデルパラメータ推定装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0010】

前記した課題に鑑みて、本願発明に係るカメラモデルパラメータ推定装置は、複数の撮影カメラで複数の校正パターンを撮影した撮影画像を用いて、撮影カメラのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置であって、特徴点抽出部と、初期値生成用カメラ校正部と、第１外部パラメータ設定部と、第２外部パラメータ算出部と、校正パターン関係式設定部と、予測画像座標算出部と、カメラモデルパラメータ最適化部と、を備える構成とした。

【0011】

かかる構成によれば、カメラモデルパラメータ推定装置は、特徴点抽出部によって、撮影画像毎に、撮影画像から校正パターンの特徴点を抽出し、抽出した特徴点の座標である観測画像座標を出力する。
カメラモデルパラメータ推定装置は、初期値生成用カメラ校正部によって、撮影カメラ毎の内部パラメータの初期値をカメラ校正で算出する。

【0012】

カメラモデルパラメータ推定装置は、第１外部パラメータ設定部によって、撮影カメラ毎に、パン・チルト座標系をカメラ座標系に変換する第１外部パラメータの初期値を設定する。
なお、パン・チルト座標系とは、撮影原点からパン・チルトした撮影カメラを搭載する雲台における３次元座標系のことである。
また、カメラ座標系とは、撮影原点からパン・チルトした撮影カメラの光学中心における３次元座標系のことである。

【0013】

カメラモデルパラメータ推定装置は、第２外部パラメータ算出部によって、撮影カメラ毎に、校正パターンのうち予め設定した１つの基準校正パターンにおける基準校正パターン座標系を雲台座標系に変換する第２外部パラメータの初期値を算出する。
なお、基準校正パターン座標系とは、基準校正パターンの任意の一点を中心とした３次元座標系のことである。
また、雲台座標系とは、撮影原点からパン・チルトしておらず、撮影原点を向いた撮影カメラを搭載する雲台における３次元座標系のことである。

【0014】

カメラモデルパラメータ推定装置は、校正パターン関係式設定部によって、校正パターンの間で座標系の関係を表す校正パターン関係式の初期値を予め設定する。
この校正パターン関係式を予め設定することで、複数の撮影カメラで校正パターンの位置関係を共有し、より強い拘束条件をカメラモデルパラメータの推定に加えることができる。

【0015】

カメラモデルパラメータ推定装置は、予測画像座標算出部によって、校正パターン情報が予め設定され、この校正パターン情報の特徴点の座標から予測画像座標を算出する。
なお、校正パターン情報とは、校正パターンに含まれる特徴点の座標を表す情報である。
また、予測画像座標は、撮影カメラで撮影された画像に含まれる特徴点の座標をカメラモデルパラメータで予測したものである。

【0016】

カメラモデルパラメータ推定装置は、カメラモデルパラメータ最適化部によって、観測画像座標と予測画像座標との距離が最小となるように、カメラモデルパラメータ及び校正パターン関係式が含まれる評価式を最適化することで、カメラモデルパラメータを推定する。
なお、カメラモデルパラメータは、撮影カメラの内部パラメータと、撮影カメラの第１外部パラメータ及び第２外部パラメータとからなり、カメラシステムの状態を表すモデルである。

【発明の効果】

【0017】

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るカメラモデルパラメータ推定装置は、複数の撮影カメラで校正パターンの位置関係を共有し、より強い拘束条件をカメラモデルパラメータの推定に加えるため、高精度なカメラモデルパラメータを推定することができる。これによって、本願発明に係るカメラモデルパラメータ推定装置は、カメラ校正の精度をより向上させることができる。

【図面の簡単な説明】

【0018】

【図1】本願発明の第１実施形態において、校正パターン座標系と、パン・チルト座標系と、カメラ座標系と、雲台座標系とを説明する説明図である。

【図2】本願発明の第１実施形態において、カメラシステムと、校正パターンとの配置を説明する説明図である。

【図3】本願発明の第１実施形態において、校正パターンを説明する説明図である。

【図4】本願発明の第１実施形態において、カメラシステムによる校正パターンの撮影を説明する説明図である。

【図5】（ａ）〜（e）はカメラシステムが撮影した撮影画像の説明図である。

【図6】本願発明の第１実施形態において、各座標系の変換を説明する説明図である。

【図7】本願発明の第１実施形態において、関係式の省略を説明する説明図である。

【図8】本願発明の第１実施形態に係るカメラ校正装置の構成を示すブロック図である。

【図9】図８のカメラモデルパラメータ推定部の構成を示すブロック図である。

【図10】図８のカメラ校正装置の動作を示すフローチャートである。

【図11】図９の初期値生成部の動作を示すフローチャートである。

【図12】本願発明の第２実施形態において、移設前後での各座標系を説明する説明図である。

【図13】本願発明の第２実施形態において、校正パターン座標系と、パン・チルト座標系と、カメラ座標系と、雲台座標系とを説明する説明図である。

【図14】本願発明の第２実施形態に係るカメラ校正装置の構成を示すブロック図である。

【図15】図１４のカメラモデルパラメータ推定部の構成を示すブロック図である。

【図16】図１４のカメラ校正装置の動作を示すフローチャートである。

【図17】図１５の初期値生成部の動作を示すフローチャートである。

【発明を実施するための形態】

【0019】

（第１実施形態）
以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一手段及び同一処理には同一の符号を付し、説明を省略した。
まず、本願発明の第１実施形態におけるカメラ校正手法を説明した後、本願発明の第１実施形態に係るカメラ校正装置（カメラモデルパラメータ推定装置）の具体的構成を説明する。

【0020】

［カメラ校正手法］
図１のように、カメラシステム（撮影カメラ）Ｃ_ｉは、カメラ本体ＣＢ_ｉと、雲台ＣＰ_ｉと、センサＣＳ_ｉ（図８）とで構成されるシステムである。本実施形態では、カメラシステムＣ_ｉは、多視点映像を撮影する多視点カメラであることとする。

【0021】

カメラ本体ＣＢ_ｉは、映像を撮影する一般的なビデオカメラである。
雲台ＣＰ_ｉは、カメラ本体ＣＢ_ｉを搭載すると共に、カメラ本体ＣＢ_ｉがパン及びチルトするように可動する台座である。
センサＣＳ_ｉは、カメラシステムＣ_ｉ（雲台ＣＰ_ｉ）がパンした角度を表すパン値と、カメラシステムＣ_ｉ（雲台ＣＰ_ｉ）がチルトした角度を表すチルト値とを計測するものである。

【0022】

ここで、カメラシステムＣ_ｉの物理的な構成を考慮したカメラモデルを定義するため、単純な座標系の変換を考える。ある座標系Σ_Ａから別の座標系Σ_Ｂに変換する場合、この座標変換は、回転角度α，β，γとし、並進ベクトルｔ_ｘ，ｔ_ｙ，ｔ_ｚとして、合計６個のパラメータで表すことができる。つまり、座標変換は、式（１）で表すことができる。このとき、式（１）のθ_ｅｘｔは、外部パラメータと呼ばれる。なお、添え字の‘Ｔ’は、転置を表す。

【0023】

【数1】

【0024】

この式（１）は、回転行列^ＢＲ_Ａ及び並進ベクトル^Ｂｔを用いて、式（２）〜式（６）で表すことができる。
なお、行列では、右下及び左上の両方に添え字を付けた場合、右下の添え字が変換前の座標系を表し、左上の添え字が変換後の座標系を表す。
また、並進ベクトルでは、左上の添え字が座標系を表す。

【0025】

【数2】

【0026】

【数3】

【0027】

【数4】

【0028】

【数5】

【0029】

【数6】

【0030】

また、式（２）〜式（６）は、剛体変換を表す行列^ＢＭ_Ａを用いると、式（７）で表すことができる。

【0031】

【数7】

【0032】

ここで、１台のカメラシステムＣ_ｉ及び１個の校正パターンＰ_ｊにおいて、図１のような座標系を定義し、カメラモデルを考える。
校正パターンＰ_ｊの座標系を、校正パターン座標系Σ_Ｐｊとする。この校正パターン座標系Σ_Ｐｊは、校正パターンＰ_ｊの任意の一点を原点とした３次元座標系のことである。

【0033】

雲台ＣＰ_ｉにおいて、直交するパン軸及びチルト軸が交わる１点を雲台中心Ｑとする。この雲台中心Ｑにおいて、カメラシステムＣ_ｉが撮影原点を向いているとき（つまり、パン値及びチルト値が０のとき）の３次元座標系を雲台座標系Σ_ＣＰｉとする。

【0034】

雲台中心Ｑにおいて、カメラシステムＣ_ｉがパン及びチルトした後の３次元座標系をパン・チルト座標系Σ_ＰＴｉとする。また、カメラ本体ＣＢ_ｉの光学中心Ｓにおいて、カメラシステムＣ_ｉがパン及びチルトした後の３次元座標系をカメラ座標系Σ_Ｃｉとする。

【0035】

ここで、校正パターン座標系Σ_Ｐｊから雲台座標系Σ_ＣＰｉへの変換は、パラメータ表記すると^ＣＰθ_{ｅｘｔ，ｉ}となり、行列表記すると^ＣＰｉＭ_Ｐｊとなる（第２外部パラメータ）。
また、パン・チルト座標系Σ_ＰＴｉからカメラ座標系Σ_Ｃｉへの変換は、パラメータ表記すると^Ｃθ_{ｅｘｔ，ｉ}となり、行列表記すると^ＣｉＭ_ＰＴｉとなる（第１外部パラメータ）。
この場合、求めるべき外部パラメータθ_{ｅｘｔ，ｉ}は、式（８）で表すことができる。

【0036】

【数8】

【0037】

雲台座標系Σ_ＣＰｉからパン・チルト座標系Σ_ＰＴｉへの変換は、行列表記すると^ＰＴｉＭ_ＣＰｉとなる（第３外部パラメータ）。この行列^ＰＴｉＭ_ＣＰｉは、式（９）で表すことができる。式（９）の回転行列^ＰＴｉＲ_ＣＰｉは、雲台座標系Σ_ＣＰｉからパン・チルト座標系Σ_ＰＴｉへの回転行列を表す。また、式（９）において、雲台座標系Σ_ＣＰｉ及びパン・チルト座標系Σ_ＰＴｉが共に雲台中心Ｑを原点とするから、並進ベクトル^ＰＴｉｔが０となる。

【0038】

【数9】

【0039】

回転行列^ＰＴｉＲ_ＣＰｉは、式（１０）で求めることができる。この式（１０）では、φがチルト角であり、ρがパン角である。従って、センサＣＳ_ｉで計測したパン値及びチルト値を式（１０）に代入することで、回転行列^ＰＴｉＲ_ＣＰｉを求めることができる。

【0040】

【数10】

【0041】

以上より、カメラシステムＣ_ｉにおける各座標系の関係は、式（１１）で表すことができる。つまり、式（１１）は、行列^ＣｉＭ_ＰＴｉ，^ＰＴｉＭ_ＣＰｉ，^ＣＰｉＭ_Ｐｊと、行列^ＣｉＭ_Ｐｊとの関係を表している。
なお、行列^ＣｉＭ_Ｐｊは、校正パターン座標系Σ_Ｐｊをカメラ座標系Σ_Ｃｉに変換するものである（第４外部パラメータ）。

【0042】

【数11】

【0043】

また、カメラシステムＣ_ｉの内部パラメータθ_{ｉｎｔ，ｉ}は、式（１２）で表すことができる。この式（１２）では、焦点距離ｆ_ｉ、アスペクト比α_ｉ、画像中心ｃ_ｕ，ｉ，ｃ_ｖ，ｉ、レンズ歪係数ｋ_１，ｉ，ｋ_２，ｉ，ｋ_３，ｉ，ｋ_４，ｉを表している。

【0044】

【数12】

【0045】

レンズ歪係数ｋ_１，ｉ〜ｋ_４，ｉは、式（１３）で表すことができる。この式（１３）では、歪曲収差のない理想的なレンズで撮影されたときの画像座標［ｕ_ｎ，ｉ，ｖ_ｎ，ｉ］^Ｔ、歪曲収差のあるレンズで撮影されたときの画像座標［ｕ_ｄ，ｉ，ｖ_ｄ，ｉ］^Ｔ、画像中心からの距離ｒ_ｉを表している。ここで、ｒ_ｉ^２＝ｕ_ｎ，ｉ^２＋ｖ_ｎ，ｉ^２となる。

【0046】

【数13】

【0047】

本願発明では、図２のように、複数のカメラシステムＣ_ｉと、複数の校正パターンＰ_ｊとを配置して、カメラモデルパラメータを推定する。ここで、カメラシステムＣ_ｉがｎ個（ｉ＝１，…，ｎ）、校正パターンがｍ個（ｊ＝１，…，ｍ）であることとする（但し、ｍ，ｎは１を超える自然数）。

【0048】

例えば、校正パターンＰ_ｊは、図３のようなチェッカーボードパターンである。また、全ての校正パターンＰ_ｊは、全てのカメラシステムＣ_ｉから見えるように配置する。そして、各カメラシステムＣ_ｉが姿勢を変えながら、ある１個の校正パターンＰ_ｊを撮影する。さらに図４のように、各カメラシステムＣ_ｉは、姿勢を変えながらの撮影を別の校正パターンＰ_ｊについても行う。

【0049】

従って、図５（ａ）〜（ｅ）のように、カメラシステムＣ_ｉが撮影した撮影画像では、各校正パターンＰ_ｊの位置や向きが異なる。つまり、カメラシステムＣ_ｉにおいて、雲台座標系Σ_ＣＰｉと校正パターン座標系Σ_Ｐｊとの関係を表す外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}（ｊ）は、校正パターンＰ_ｊの数ｍだけ存在する。このため、カメラシステムＣ_ｉのカメラモデルパラメータは、式（１４）のようになる。

【0050】

【数14】

【0051】

校正パターンＰ_ｊの間で座標系の関係を表す校正パターン関係式η_ｊは、回転角度^Ｐα_ｊ，^Ｐβ_ｊ，^Ｐγ_ｊと、並進ベクトル^Ｐｔ_ｘ，ｊ，^Ｐｔ_ｙ，ｊ，^Ｐｔ_ｚ，ｊとを用いて、式（１５）で表すことができる。

【0052】

【数15】

【0053】

全ての校正パターンＰ_ｊの中から、１つの校正パターンを基準校正パターンＰ_ｗとして予め設定する。ここでは、ｗ番目の校正パターンが基準校正パターンＰ_ｗであることとする（１≦ｗ≦ｍ）。この基準校正パターンＰ_ｗにおいて、任意の一点を原点とした３次元座標系を基準校正パターン座標系（世界座標系）Σ_Ｐｗとする。このとき、関係式η_ｊは、校正パターンＰ_ｊの数ｍだけ存在するが、そのうちの１つは基準校正パターンＰ_ｗ同士の関係を表すことになる。従って、基準校正パターンＰ_ｗ同士の関係を求める必要がない。

【0054】

あるカメラシステムＣ_ｉと各校正パターンＰ_１，…，Ｐ_ｗ，…，Ｐ_ｍとの関係は、図６のようになる。最適化の際、変数を少なくした方がカメラモデルパラメータの精度が向上する。また、外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}（ｊ）は、校正パターン関係式が定義されているため、全てを求める必要がなく、１つだけ求めればよい。

【0055】

そこで、雲台座標系Σ_ＣＰｉと基準校正パターンＰ_ｗとの関係だけに限定すると、式（１４）のカメラモデルパラメータは、式（１６）のように簡略化できる。この式（１６）に含まれる^ＣＰθ_{ｅｘｔ，ｉ}（ｗ）は、基準校正パターン座標系Σ_Ｐｗから雲台座標系Σ_ＣＰｉへの変換をパラメータ表記したものである。なお、関係式を簡略化できる理由は、後記する。

【0056】

【数16】

【0057】

従って、最適化で評価すべきパラメータμは、式（１７）で表すことができる。この式（１７）には、全てのカメラシステムＣ_１，…，Ｃ_ｎにおける内部パラメータθ_ｉｎｔ及び外部パラメータ^Ｃθ_ｅｘｔ，^ＣＰθ_ｅｘｔ（ｗ）と、式（１５）の全ての校正パターン関係式η_ｊとが含まれる。

【0058】

【数17】

【0059】

カメラシステムＣ_ｉがパン角、チルト角を変化させて、校正パターンＰ_ｊを撮影したときの姿勢をｋ_ｉｊ＝１，…，ｐ_ｉｊとする（但し、ｐ_ｉｊは１を超える自然数）。また、校正パターンＰ_ｊの特徴点の番号をｌ_ｊ＝１，…,ｑ_ｊとする（但し、ｑ_ｊは１を超える自然数）。撮影画像から抽出した特徴点ｌ_ｊの座標は、観測画像座標と呼ばれる。

【0060】

校正パターンＰ_ｊの特徴点ｌ_ｊの座標が既知なので、予め設定された校正パターン情報を用いて、カメラシステムＣ_ｉが校正パターンＰ_ｊを姿勢ｋ_ｉｊで撮影したときの特徴点ｌ_ｊの座標を予測する。この予測した特徴点ｌ_ｊの座標は予測画像座標と呼ばれ、その算出方法を後記する。
なお、校正パターン情報とは、校正パターンＰ_ｊ毎に、各校正パターンＰ_ｊに含まれる特徴点の座標及び数を表した情報である。

【0061】

そして、式（１７）のパラメータμは、全て観測画像座標と予測画像座標との距離を求め、求めた距離の２乗和を最小化することで求められる。つまり、パラメータμは、評価式としての式（１８）を最適化することで求められる。その後、パラメータμに含まれるカメラモデルパラメータθ_ｉと、センサＣＳ_ｉで計測されたパン値及びチルト値とを用いて、カメラ校正を行う。
なお、式（１８）では、‘ａｒｇ ｍｉｎ‘が最小化を表し、‘｜｜’がノルムを表し、ｕ＾_{ｉｊｋｉｊｌｊ}が予測画像座標を表し、ｕ_{ｉｊｋｉｊｌｊ}が観測画像座標を表す。

【0062】

【数18】

【0063】

＜関係式を簡略化できる理由、予測画像座標の算出方法＞
図７を参照し、式（１４）を式（１６）のように簡略化できる理由、及び、予測画像座標の算出方法について、説明する。
基準校正パターンＰ_ｗ以外の校正パターンＰ_ｊについて、全ての特徴点の３次元座標系を基準校正パターン座標系Σ_Ｐｗに変換する。この場合、校正パターンＰ_ｊの特徴点の３次元座標ｘは、式（１９）で表すことができる。

【0064】

【数19】

【0065】

ここで、‘〜’が３次元座標ｘの同次座標系を表し、３次元座標を表すベクトルの座標系をベクトルの左上の添え字で表わす。つまり、校正パターン座標系Σ_Ｐｊにおける３次元ベクトルは、^Ｐｊｘとなる。この３次元ベクトル^Ｐｊｘを校正パターン座標系Σ_Ｐｊから基準校正パターン座標系Σ_Ｐｗに変換する式は、式（２０）で表すことができる。

【0066】

【数20】

【0067】

このように、各校正パターンＰ_ｊに含まれる特徴点の座標系を基準校正パターン座標系Σ_Ｐｗに揃えることで、式（１４）を式（１６）のように簡略化できる。そして、式（２１）を用いて、基準校正パターン座標系Σ_Ｐｗにおける特徴点をカメラ座標系Σ_Ｃｉに変換する。その後、カメラ座標系Σ_Ｃｉにおける特徴点を画像に投影することで、予測画像座標を求めることができる。

【0068】

【数21】

【0069】

具体的には、予測画像座標は、以下のように求められる。ここで、校正パターンＰ_ｊの特徴点ｌ_ｊの座標（Ｘ，Ｙ，Ｚ）は、式（２２）のように、カメラシステムＣ_ｉのカメラ座標（ｘ，ｙ，ｚ）で表すことができる。また、式（２２）のｘ，ｙから、式（２３）のように、正規化画像座標ｕ_ｎ，ｉ，ｖ_ｎ，ｉが求められる。

【0070】

【数22】

【0071】

【数23】

【0072】

そして、前記した式（１３）を用いて、正規化画像座標ｕ_ｎ，ｉ，ｖ_ｎ，ｉにレンズ歪みを反映させて、歪曲収差のあるレンズで撮影されたときの画像座標ｕ_ｄ，ｉ，ｖ_ｄ，ｉを求める。その後、式（２４）のように画像座標ｕ_ｄ，ｉ，ｖ_ｄ，ｉを投影することで、予測画像座標ｕ_ｉ，ｖ_ｉを求めることができる。

【0073】

【数24】

【0074】

［カメラ校正装置の構成］
図８を参照し、カメラ校正装置１の構成について、説明する。
カメラ校正装置１は、複数のカメラシステムＣ_ｉ（Ｃ_１，…，Ｃ_ｎ）で、複数の校正パターンＰ_ｊのそれぞれを撮影した撮影画像を用いて、カメラシステムＣ_ｉのカメラモデルパラメータを推定するものである。
図８のように、カメラ校正装置１は、同期信号生成部１０と、情報記録部２０と、カメラモデルパラメータ推定部３０と、カメラ校正部４０とを備える。

【0075】

カメラシステムＣ_ｉは、同期信号生成部１０から入力された同期信号に従って、カメラ本体ＣＢ_ｉにより映像を取得し、センサＣＳ_ｉによりセンサ値（パン値及びチルト値）を取得する。そして、カメラシステムＣ_ｉは、取得した映像及びセンサ値をカメラモデルパラメータ推定部３０に出力する。さらに、カメラシステムＣ_ｉは、取得したセンサ値をカメラ校正部４０に出力する。

【0076】

同期信号生成部１０は、映像及びセンサ値を同期させるため、カメラシステムＣ_ｉ（カメラ本体ＣＢ_ｉ、雲台ＣＰ_ｉ及びセンサＣＳ_ｉ）に同期信号を出力するものである。本実施形態では、同期信号生成部１０は、カメラ本体ＣＢ_ｉが多視点映像を取得するので、全てのカメラシステムＣ_ｉに同一の同期信号を出力する。この同期信号によって、カメラ本体ＣＢ_ｉがセンサＣＳ_ｉとが、映像とセンサ値とを同じタイミングで取得できる。

【0077】

情報記録部２０は、各種情報を記録するメモリ、ハードディスク等の記録装置である。この情報記録部２０は、カメラモデルパラメータの推定に必要な校正パターン情報を予め記録する。また、情報記録部２０は、カメラモデルパラメータ推定部３０から入力されたカメラモデルパラメータ情報を記録する。

【0078】

カメラモデルパラメータ推定部３０は、情報記録部２０に記録された校正パターン情報を参照し、カメラシステムＣ_ｉのカメラモデルパラメータを推定するものである。そして、カメラモデルパラメータ推定部３０は、推定したカメラモデルパラメータをカメラモデルパラメータ情報として情報記録部２０に出力する。
なお、カメラモデルパラメータ推定部３０の詳細は、後記する。

【0079】

カメラ校正部４０は、カメラシステムＣ_ｉのカメラ校正を行って、カメラシステムＣ_ｉのカメラパラメータを出力するものである。このとき、カメラ校正部４０は、情報記録部２０に記録されたカメラモデルパラメータ情報と、カメラシステムＣ_ｉから入力されたセンサ値とを用いて、カメラ校正を行う。

【0080】

［カメラモデルパラメータ推定部の構成］
図９を参照し、カメラモデルパラメータ推定部３０の構成について、説明する（適宜図８参照）。
図９のように、カメラモデルパラメータ推定部３０は、映像入力部３０２と、センサ値入力部３０４と、フレーム同期部３０６と、撮影画像・センサ値記録部３１０と、情報選択部３２０と、特徴点抽出部３３０と、初期値生成部３４０と、最適化部３５０とを備える。

【0081】

映像入力部３０２は、カメラシステムＣ_ｉから入力された映像を、フレーム毎の静止画像（撮影画像）に変換するものである。つまり、映像入力部３０２は、映像に含まれるフレーム画像のそれぞれを、撮影画像としてフレーム同期部３０６に出力する。

【0082】

センサ値入力部３０４は、カメラシステムＣ_ｉから入力されたセンサ値（センサＣＳ_ｉの計測信号）をカメラモデルパラメータ推定部３０で扱えるようにするため、このセンサ値をテキストデータに変換するものである。そして、センサ値入力部３０４は、テキストデータに変換したセンサ値をフレーム同期部３０６に出力する。

【0083】

フレーム同期部３０６は、映像入力部３０２から入力された撮影画像と、センサ値入力部３０４から入力されたセンサ値とを同期させるものである。例えば、フレーム同期部３０６は、同一のタイムコードを有する撮影画像とセンサ値とを対応付ける。そして、フレーム同期部３０６は、同期した撮影画像及びセンサ値を撮影画像・センサ値記録部３１０に出力する。

【0084】

撮影画像・センサ値記録部３１０は、フレーム同期部３０６から入力された撮影画像及びセンサ値を記録するメモリ、ハードディスク等の記録装置である。

【0085】

情報選択部３２０は、撮影画像・センサ値記録部３１０に記憶された撮影画像及びセンサ値の組み合わせのうち、カメラモデルパラメータの推定に利用する撮影画像及びセンサ値の組み合わせを選択するものである。例えば、情報選択部３２０は、一定のフレーム毎に撮影画像及びセンサ値の組み合わせを自動で選択する。また、情報選択部３２０は、撮影画像及びセンサ値の組み合わせを手動で選択してもよい。その後、情報選択部３２０は、選択された組み合わせに含まれる撮影画像を特徴点抽出部３３０に出力し、選択された組み合わせに含まれるセンサ値を初期値生成部３４０及び最適化部３５０に出力する。

【0086】

特徴点抽出部３３０は、情報選択部３２０より入力された撮影画像から特徴点を抽出するものである。例えば、特徴点抽出部３３０は、コーナー検出法等の特徴点抽出処理を撮影画像に施し、この撮影画像に含まれる校正パターンＰ_ｊの特徴点を抽出する。そして、特徴点抽出部３３０は、特徴点情報として、抽出した特徴点の座標（観測画像座標）を初期値生成部３４０に出力する。

【0087】

初期値生成部３４０は、最適化を行うために必要な初期値を生成するものであり、初期値生成用カメラ校正部３４１と、第１外部パラメータ設定部３４３と、第２外部パラメータ算出部３４５と、第３外部パラメータ算出部３４７と、校正パターン関係式設定部３４９とを備える。

【0088】

初期値生成用カメラ校正部３４１は、カメラ校正により、式（１６）の内部パラメータθ_{ｉｎｔ，ｉ}の初期値と、第４外部パラメータ^ＣｉＭ_Ｐｊとを算出するものである。ここで、初期値生成用カメラ校正部３４１は、特徴点抽出部３３０から入力された特徴点情報と、情報記録部２０に記録された校正パターン情報とを用いて、カメラ校正を行う。

【0089】

例えば、初期値生成用カメラ校正部３４１は、カメラ校正として、下記の参考文献１に記載の手法を用いることができる。
参考文献１：Z.Zhang.A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334.

【0090】

第１外部パラメータ設定部３４３は、第１外部パラメータ^ＣｉＭ_ＰＴｉの初期値を設定するものである。例えば、第１外部パラメータ設定部３４３では、実測や経験則により、この第１外部パラメータ^ＣｉＭ_ＰＴｉの初期値が手動で設定される。

【0091】

第２外部パラメータ算出部３４５は、第２外部パラメータ^ＣＰｉＭ_Ｐｊの初期値を算出するものである。この第２外部パラメータ算出部３４５は、変換式として予め設定された式（１１）を用いて、第２外部パラメータ^ＣＰｉＭ_Ｐｊ（ベクトル表記の場合^ＣＰθ_ｅｘｔ（ｊ））の初期値を逆算する。

【0092】

具体的には、第２外部パラメータ算出部３４５は、初期値生成用カメラ校正部３４１が算出した第４外部パラメータ^ＣｉＭ_Ｐｊと、第１外部パラメータ設定部３４３が設定した第１外部パラメータ^ＣｉＭ_ＰＴｉの初期値と、後記する第３外部パラメータ算出部３４７が算出した行列^ＰＴｉＭ_ＣＰｉとを式（１１）に代入することで、第２外部パラメータ^ＣＰｉＭ_Ｐｊの初期値を逆算する。

【0093】

第３外部パラメータ算出部３４７は、情報選択部３２０より入力されたセンサ値から、第３外部パラメータ^ＰＴｉＭ_ＣＰｉを算出するものである。ここで、第３外部パラメータ算出部３４７は、式（１０）にセンサ値を代入して回転行列^ＰＴｉＲ_ＣＰｉを求め、式（９）を用いて第３外部パラメータ^ＰＴｉＭ_ＣＰｉを算出する。

【0094】

校正パターン関係式設定部３４９は、校正パターン関係式η_ｊの初期値を設定するものである。ここで、校正パターン関係式設定部３４９では、基準校正パターンＰ_ｗの位置が既知のため、あるカメラシステムＣ_ｉが各校正パターンＰ_ｊを向いたときのセンサ値を用いて、校正パターンＰ_ｊで座標系の関係を表す式（１５）の初期値を設定する。

【0095】

例えば、校正パターン関係式設定部３４９は、校正パターン関係式η_ｊの初期値として、校正パターンＰ_１，Ｐ_Ｗの関係^ＰｗＭ_Ｐ１を、^ＰｗＭ_Ｐ１＝^ＰｗＭ_Ｃｉ´・^Ｃｉ´Ｍ_Ｃｉ・^ＣｉＭ_Ｐ１として設定する。ここで、^ＰｗＭ_Ｃｉ´及び^ＣｉＭ_Ｐ１は、第４外部パラメータ^ＣｉＭ_Ｐｊから求められる。また、^Ｃｉ´Ｍ_Ｃｉは、並進ベクトルを０で近似し、センサ値が示す回転行列から求められる。

【0096】

このようにして、初期値生成部３４０は、各カメラシステムＣ_ｉの式（１６）の内部パラメータθ_{ｉｎｔ，ｉ}と、第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}（^ＣｉＭ_ＰＴｉ）と、第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}（^ＣＰｉＭ_Ｐｊ）との初期値を求める。さらに、初期値生成部３４０は、式（１５）のように、校正パターンＰ_ｊの間で座標系の関係を表す校正パターン関係式η_ｊの初期値を求める。この結果、初期値生成部３４０は、式（１７）のパラメータμの初期値を生成できる。その後、初期値生成部３４０は、生成した初期値と、特徴点情報とを最適化部３５０に出力する。

【0097】

最適化部３５０は、初期値生成部３４０から入力された特徴点情報及び初期値と、情報選択部３２０から入力されたセンサ値とを用いて、最適化を行うものである。この最適化部３５０は、予測画像座標算出部３５１と、カメラモデルパラメータ最適化部３５３とを備える。

【0098】

予測画像座標算出部３５１は、情報記録部２０に記憶された校正パターン情報を参照し、この校正パターン情報の特徴点の座標から予測画像座標を算出するものである。具体的には、予測画像座標算出部３５１は、式（１３）及び式（２２）〜式（２４）を用いて、予測画像座標を算出する。

【0099】

カメラモデルパラメータ最適化部３５３は、初期値生成部３４０から入力された特徴点情報（観測画像座標）及び初期値（式１７）と、予測画像座標算出部３５１が算出した予測画像座標とを用いて、最適化（例えば、再投影誤差最小化）を行うものである。具体的には、カメラモデルパラメータ最適化部３５３は、観測画像座標と予測画像座標との距離が最小となるように式（１８）を最適化することで、式（１６）のカメラモデルパラメータθ_ｉを推定する。そして、カメラモデルパラメータ最適化部３５３は、推定したカメラモデルパラメータθ_ｉをカメラモデルパラメータ情報として情報記録部２０に出力する。

【0100】

［カメラ校正装置の動作］
図１０を参照し、図８のカメラ校正装置１の動作について、説明する（適宜図８，図９参照）。
各カメラシステムＣ_ｉ及び各校正パターンＰ_ｊを所定位置に配置する。また、カメラ校正装置１では、情報記録部２０に校正パターン情報を予め記録する（ステップＳ０）。
なお、ステップＳ０の処理は、カメラ校正の準備作業であるため、破線で図示した。

【0101】

カメラ校正装置１は、同期信号生成部１０によって、同期信号を生成し、生成した同期信号をカメラシステムＣ_ｉへ入力する。
カメラ校正装置１は、映像入力部３０２によって、カメラシステムＣ_ｉから映像を取得し、フレーム毎の静止画像（撮影画像）に変換する。
カメラ校正装置１は、センサ値入力部３０４によって、カメラシステムＣ_ｉからセンサ値を取得し、テキストデータに変換する（ステップＳ１）。

【0102】

カメラ校正装置１は、フレーム同期部３０６によって、ステップＳ１で取得した撮影画像とセンサ値とを同期させる（ステップＳ２）。
カメラ校正装置１は、フレーム同期部３０６によって、ステップＳ２で同期させた撮影画像及びセンサ値の組み合わせを、撮影画像・センサ値記録部３１０に記録する（ステップＳ３）。

【0103】

カメラ校正装置１は、情報選択部３２０によって、ステップＳ３で記録された撮影画像及びセンサ値の組み合わせのうち、カメラモデルパラメータの推定に利用する撮影画像及びセンサ値の組み合わせを選択する（ステップＳ４）。

【0104】

カメラ校正装置１は、特徴点抽出部３３０によって、ステップＳ４で選択された撮影画像から特徴点を抽出する（ステップＳ５）。
カメラ校正装置１は、初期値生成部３４０によって、初期値を生成する（ステップＳ６）。このステップＳ６の処理は、詳細を後記する。

【0105】

カメラ校正装置１は、予測画像座標算出部３５１によって、予測画像座標を算出する。
カメラ校正装置１は、カメラモデルパラメータ最適化部３５３によって、ステップＳ６で生成した初期値と、特徴点情報と、予測画像座標と、校正パターン情報とを用いて最適化を行い、カメラモデルパラメータを推定する（ステップＳ７）。
カメラ校正装置１は、カメラ校正部４０によって、ステップＳ７で推定したカメラモデルパラメータと、センサ値とを用いて、カメラ校正を行う（ステップＳ８）。

【0106】

＜初期値の生成＞
図１１を参照し、図１０のステップＳ６の処理について、説明する（適宜図９参照）。
カメラ校正装置１は、初期値生成用カメラ校正部３４１によって、カメラ校正を行い、内部パラメータθ_{ｉｎｔ，ｉ}の初期値と、第４外部パラメータ^ＣｉＭ_Ｐｊとを算出する（ステップＳ６１）。

【0107】

カメラ校正装置１は、第１外部パラメータ設定部３４３によって、第１外部パラメータ^ＣｉＭ_ＰＴｉの初期値を設定する（ステップＳ６２）。
カメラ校正装置１は、第３外部パラメータ算出部３４７によって、ステップＳ４で選択されたセンサ値から、第３外部パラメータ^ＰＴｉＭ_ＣＰｉを算出する（ステップＳ６３）。

【0108】

カメラ校正装置１は、第２外部パラメータ算出部３４５によって、ステップＳ６１で算出した第４外部パラメータ^ＣｉＭ_Ｐｊと、ステップＳ６２で設定した第１外部パラメータ^ＣｉＭ_ＰＴｉの初期値と、ステップＳ６３で算出した第３外部パラメータ^ＰＴｉＭ_ＣＰとを式（１１）に代入することで、第２外部パラメータ^ＣＰｉＭ_Ｐｊの初期値を算出する（ステップＳ６４）。

【0109】

カメラ校正装置１は、校正パターン関係式設定部３４９によって、校正パターンＰ_ｊで座標系の関係を表す式（１５）の初期値を設定する（ステップＳ６５）。

【0110】

以上のように、本願発明の第１実施形態に係るカメラ校正装置１は、校正パターンＰ_ｊで座標系の関係を表す式（１５）を設定することで、複数のカメラシステムＣ_ｉで校正パターンＰ_ｊの位置関係を共有可能とし、より強い拘束条件をカメラモデルパラメータの推定に加えることができる。これによって、カメラ校正装置１は、高精度なカメラモデルパラメータを推定し、高速、高精度、かつ、安定性の高いカメラ校正が可能となる。その結果、カメラ校正装置１は、多視点映像に対し、実時間で様々な画像処理を施すことが可能となり、様々な用途への応用が期待される。

【0111】

（第２実施形態）
以下、本願発明の第２実施形態について、第１実施形態と異なる点を説明する。
前記した第１実施形態に係るカメラ校正装置１は、複数のカメラシステムＣ_ｉを用いて、複数の校正パターンＰ_ｊを様々な姿勢で撮影し、パラメータの個数が多い最適化問題を解く必要がある。このため、カメラ校正装置１では、カメラシステムＣ_ｉを設置した後、カメラモデルパラメータの推定が終わるまでに時間や手間がかかる。当然、撮影現場では、システムの設営に費やせる時間は限られており、時間や手間が少ない方が好ましい。
なお、ここではカメラシステムＣ_ｉを別の場所に設置することを移設と呼ぶ。例えば、カメラシステムＣ_ｉを１０ｃｍ移動させた場合も、カメラシステムＣ_ｉの移設に該当する。

【0112】

ここで、カメラモデルパラメータは、１台のカメラシステムＣ_ｉあたり、複数の外部パラメータ（第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}）と、１つの内部パラメータθ_{ｉｎｔ，ｉ}とで構成される。

【0113】

これらパラメータのうち、第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}は、世界座標系（つまり、カメラシステムＣ_ｉの配置）に依存しない。このため、第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}は、カメラシステムＣ_ｉを別の場所に移設しても、そのまま使用可能である。

【0114】

一方、第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}は、世界座標系に依存するため、カメラシステムＣ_ｉを移設した場合、再度求める必要がある（第４外部パラメータも同様）。この第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}は、１台のカメラシステムＣ_ｉあたり６個のパラメータで構成されるので、比較的簡単な最適化問題を解くことで得られる。

【0115】

［設置カメラ校正］
まず、本願発明の第２実施形態におけるカメラ校正手法を説明した後、本願発明の第２実施形態に係るカメラ校正装置１Ｂの具体的構成を説明する。
第２実施形態の前提として、図１２のように、第１実施形態の手法でカメラモデルパラメータを推定しておく必要がある。以後、第１実施形態の手法を「初期カメラ校正」と呼ぶ。
その後、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}を利用して、移設したカメラシステムＣ_ｉのカメラモデルパラメータを推定する。以後、第２実施形態で説明する手法を「設置カメラ校正」と呼ぶ。

【0116】

なお、図１２では、２台のカメラシステムＣ_１，Ｃ_２に対し、初期カメラ校正では３個の校正パターンＰ_ｗ，Ｐ_１，Ｐ_２を使用し、設置カメラ校正では２個の校正パターンＰ_ｗ，Ｐ_１を使用している。
また、図１２の設置カメラ校正では、既知の値となるパン・チルト座標系Σ_ＰＴｉからカメラ座標系Σ_Ｃｉへの変換（第１外部パラメータ）を破線矢印で図示した。また、最適化で求めるパラメータについては、実線矢印で図示した。

【0117】

以下、設置カメラ校正を詳細に説明する。
ここで、カメラシステムＣ_ｉがｎ台（ｉ＝１，…,ｎ）、校正パターンＰ_ｊがｍ個（ｊ＝１，…，ｍ）の場合を考える。一般的な外部パラメータは、回転角度が３個のパラメータ、並進ベクトルが３個のパラメータ、合計６個のパラメータで構成される。つまり、外部パラメータθ_ｅｘｔは、式（１）で表される。

【0118】

【数25】

【0119】

図１３のように、ある１台のカメラシステムＣ_ｉについて考えた場合、校正パターン座標系Σ_Ｐｊから雲台座標系Σ_ＣＰｉへ変換する第２外部パラメータを^ＣＰθ_{ｅｘｔ，ｉ}（ｊ）として表す。つまり、カメラシステムＣ_ｉにおいて推定すべきパラメータは、式（２５）で表される。ここで、設置カメラ校正では、初期カメラ校正とは異なり、内部パラメータθ_{ｉｎｔ，ｉ}、第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}が既知の固定値として扱われるため、式（２５）に含まれない。

【0120】

【数26】

【0121】

なお、図１３では、既知の値となるパン・チルト座標系Σ_ＰＴｉからカメラ座標系Σ_Ｃｉへの変換（第１外部パラメータ）と、雲台座標系Σ_ＣＰｉからパン・チルト座標系Σ_ＰＴｉへの変換（第３外部パラメータ）とを破線矢印で図示した。

【0122】

校正パターン関係式η_ｊは、外部パラメータと同様、回転角度が３個のパラメータ、並進ベクトルが３個のパラメータで構成される。カメラシステムＣ_ｉの移設後、校正パターンＰ_ｊの中から１個を新しい基準校正パターン（世界座標）Ｐ_ｗとして設定する。ここで、ｗ番目の校正パターンＰ_ｊを基準校正パターンＰ_ｗとして設定した場合を考える（１≦ｗ≦ｍ）。この場合、基準校正パターンＰ_ｗと別の校正パターンＰ_ｊの関係式η_ｊは、式（１５）で表される。

【0123】

【数27】

【0124】

カメラシステムＣ_ｉについて、推定すべき第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}（ｗ）は、新しい基準校正パターンＰ_ｗとの関係を求めればよいので、式（２６）で表される。以上より、最適化で評価すべきパラメータμは、式（２７）で表される。

【0125】

【数28】

【0126】

【数29】

【0127】

カメラシステムＣ_ｉでパン・チルトを変化させ、ある姿勢ｋ_ｉｊで校正パターンＰ_ｊを撮影したこととする。このとき、式（２７）のパラメータμは、全て観測画像座標と予測画像座標との距離を求め、求めた距離の２乗和を最小化することで求められる。つまり、パラメータμは、評価式としての式（２８）を最適化することで求められる。

【0128】

【数30】

【0129】

［カメラ校正装置の構成］
図１４を参照し、カメラ校正装置１Ｂの構成について、説明する。
カメラ校正装置１Ｂは、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}を利用して、移設したカメラシステムＣ_ｉのカメラモデルパラメータを推定するものである。
図１４のように、カメラ校正装置１Ｂは、同期信号生成部１０と、情報記録部２０Ｂと、カメラモデルパラメータ推定部３０Ｂと、カメラ校正部４０とを備える。

【0130】

情報記録部２０Ｂは、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}を記録する。この第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}は、設置カメラ校正の際、カメラモデルパラメータ推定部３０Ｂにより参照される。
他の点、情報記録部２０Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。

【0131】

カメラモデルパラメータ推定部３０Ｂは、情報記録部２０に記録された第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}を参照し、移設したカメラシステムＣ_ｉのカメラモデルパラメータを推定するものである。そして、カメラモデルパラメータ推定部３０Ｂは、推定したカメラモデルパラメータをカメラモデルパラメータ情報として情報記録部２０Ｂに出力する。

【0132】

［カメラモデルパラメータ推定部の構成］
図１５を参照し、カメラモデルパラメータ推定部３０Ｂの構成について、説明する（適宜図１４参照）。
図１５のように、カメラモデルパラメータ推定部３０Ｂは、映像入力部３０２と、センサ値入力部３０４と、フレーム同期部３０６と、撮影画像・センサ値記録部３１０と、情報選択部３２０と、特徴点抽出部３３０と、初期値生成部３４０Ｂと、最適化部３５０Ｂとを備える。

【0133】

初期値生成部３４０Ｂは、初期値生成用カメラ校正部３４１Ｂと、第１外部パラメータ設定部３４３と、第２外部パラメータ算出部３４５Ｂと、第３外部パラメータ算出部３４７と、校正パターン関係式設定部３４９とを備える。
なお、初期値生成部３４０Ｂは、設置カメラ校正の際、第１外部パラメータ設定部３４３を備えなくてもよいため、破線で図示した。

【0134】

初期値生成用カメラ校正部３４１Ｂは、カメラ校正により、第４外部パラメータ^ＣｉＭ_Ｐｊを算出するものである。つまり、初期値生成用カメラ校正部３４１Ｂは、内部パラメータθ_{ｉｎｔ，ｉ}の初期値を算出しない以外、第１実施形態と同様のため、これ以上の説明を省略する。

【0135】

第２外部パラメータ算出部３４５Ｂは、初期値生成用カメラ校正部３４１Ｂが算出した第４外部パラメータ^ＣｉＭ_Ｐｊと、情報記録部２０に記録された第１外部パラメータ^ＣｉＭ_ＰＴｉ及び第３外部パラメータ^ＰＴｉＭ_ＣＰｉとを式（１１）に代入することで、第２外部パラメータ^ＣＰｉＭ_Ｐｊの初期値を逆算するものである。
なお、第２外部パラメータ算出部３４５Ｂは、第１実施形態と同様の処理を行うため、これ以上の説明を省略する。

【0136】

このようにして、初期値生成部３４０Ｂは、移設したカメラシステムＣ_ｉについて、式（２６）の第２外部パラメータ^ＣＰθ_{ｅｘｔ，ｉ}（ｗ）の初期値を求める。さらに、初期値生成部３４０Ｂは、式（１５）のように、校正パターンＰ_ｊの間で座標系の関係を表す校正パターン関係式η_ｊの初期値を求める。この結果、初期値生成部３４０Ｂは、式（２７）のパラメータμの初期値を生成できる。その後、初期値生成部３４０Ｂは、生成した初期値と、特徴点情報とを最適化部３５０Ｂに出力する。

【0137】

最適化部３５０Ｂは、予測画像座標算出部３５１と、カメラモデルパラメータ最適化部３５３Ｂとを備える。
カメラモデルパラメータ最適化部３５３Ｂは、観測画像座標と予測画像座標との距離が最小となるように式（２８）を最適化することで、式（２６）のカメラモデルパラメータθ_ｉ（第２外部パラメータ）を推定する。そして、カメラモデルパラメータ最適化部３５３Ｂは、推定したカメラモデルパラメータθ_ｉと、初期カメラ校正で求めた第１外部パラメータ^ＣｉＭ_ＰＴｉ及び内部パラメータθ_{ｉｎｔ，ｉ}とを、カメラモデルパラメータ情報として情報記録部２０Ｂに出力する。

【0138】

［カメラ校正装置の動作］
図１６を参照し、図１４のカメラ校正装置１Ｂの動作について、説明する（適宜図１４，図１５参照）。
ここでは、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}が情報記録部２０Ｂに記録されていることとする。

【0139】

カメラ校正装置１は、初期値生成部３４０Ｂによって、初期値を生成する（ステップＳ６Ｂ）。このステップＳ６Ｂの処理は、詳細を後記する。

【0140】

カメラ校正装置１は、予測画像座標算出部３５１によって、予測画像座標を算出する。
カメラ校正装置１は、カメラモデルパラメータ最適化部３５３Ｂによって、前記した式（２８）を最適化することで、式（２６）のカメラモデルパラメータθ_ｉ（第２外部パラメータ）を推定する（ステップＳ７Ｂ）。

【0141】

＜初期値の生成＞
図１７を参照し、図１６のステップＳ６Ｂの処理について、説明する（適宜図１５参照）。
カメラ校正装置１は、初期値生成用カメラ校正部３４１Ｂによって、カメラ校正を行い、第４外部パラメータ^ＣｉＭ_Ｐｊを算出する（ステップＳ６１Ｂ）。

【0142】

カメラ校正装置１は、第２外部パラメータ算出部３４５Ｂによって、ステップＳ６１Ｂで算出した第４外部パラメータ^ＣｉＭ_Ｐｊと、情報記録部２０Ｂに記録された第１外部パラメータ^ＣｉＭ_ＰＴｉと、ステップＳ６３で算出した第３外部パラメータ^ＰＴｉＭ_ＣＰとを式（１１）に代入することで、第２外部パラメータ^ＣＰｉＭ_Ｐｊの初期値を算出する（ステップＳ６４Ｂ）。

【0143】

以上のように、本願発明の第２実施形態に係るカメラ校正装置１Ｂは、初期カメラ校正よりも推定するパラメータの個数が少なくなるため、使用する校正パターンＰ_ｊの個数やカメラシステムＣ_ｉが各校正パターンＰ_ｊを撮影する際の姿勢数を減少させることができる。さらに、カメラ校正装置１Ｂは、最適化処理の時間も削減できるので、撮影現場における時間や手間が大幅に削減でき、運用性が向上する。

【0144】

以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0145】

前記した各実施形態では、本願発明で利用可能な校正パターンＰ_ｊとして、図３のチェッカーボードパターンを例示したが、これに限定されない。例えば、本願発明で利用可能な校正パターンＰ_ｊとして、ドットパターンがあげられる。

【0146】

また、特徴点の配置及び数が既知であれば、異なる種類の各校正パターンＰ_ｊが混在してもよい。例えば、校正パターンＰ_ｊとして、チェッカーボードパターン及びドットパターンが混在してもよい。また、校正パターンＰ_ｊは、同種のチェッカーボードパターンであっても、特徴点の数や間隔が異なってもよい。

【0147】

また、各校正パターンＰ_ｊは、全てのカメラシステムＣ_ｉから見えていれば、その位置や向きが制限されない。図２のように、各校正パターンＰ_ｊは、横一直線で同じ向きに配置してもよい。また、各校正パターンＰ_ｊは、全てのカメラシステムＣ_ｉから見える範囲内で様々な位置や向きに配置すると、カメラシステムＣ_ｉの様々な姿勢に対応できるため好ましい。

【0148】

前記した各実施形態では、カメラシステムＣ_ｉを多視点カメラであることとして説明したが、これに限定されない。例えば、本願発明は、同一の撮影スタジオや撮影エリア内に配置された複数のカメラシステムＣ_ｉにも適用することができる。

【0149】

ここで、カメラシステムＣ_ｉが多視点カメラでない場合、同期信号生成部１０は、異なるカメラシステムＣ_ｉには同一の同期信号を出力せずともよい。しかし、同期信号生成部１０は、１台のカメラシステムＣ_ｉに含まれるカメラ本体ＣＢ_ｉ、雲台ＣＰ_ｉ及びセンサＣＳ_ｉには、同一の同期信号を出力する必要がある。

【0150】

前記した第２実施形態では、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}及び内部パラメータθ_{ｉｎｔ，ｉ}を利用することとして説明したが、本願発明は、これに限定されない。例えば、本願発明は、初期カメラ校正で求めた第１外部パラメータ^Ｃθ_{ｅｘｔ，ｉ}のみを利用し、設置カメラ校正の際、内部パラメータθ_{ｉｎｔ，ｉ}を求めてもよい。

【0151】

前記した各実施形態では、カメラ校正装置１，１Ｂを独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、カメラ校正装置１，１Ｂは、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるカメラ校正プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【符号の説明】

【0152】

１，１Ｂ カメラ校正装置
１０ 同期信号生成部
２０，２０Ｂ 情報記録部
３０，３０Ｂ カメラモデルパラメータ推定部
４０ カメラ校正部
３０２ 映像入力部
３０４ センサ値入力部
３０６ フレーム同期部
３１０ 画像・センサ値記録部
３２０ 情報選択部
３３０ 特徴点抽出部
３４０，３４０Ｂ 初期値生成部
３４１，３４１Ｂ 初期値生成用カメラ校正部
３４３ 第１外部パラメータ設定部
３４５，３４５Ｂ 第２外部パラメータ算出部
３４７ 第３外部パラメータ算出部
３４９ 校正パターン関係式設定部
３５０，３５０Ｂ 最適化部
３５１ 予測画像座標算出部
３５３，３５３Ｂ カメラモデルパラメータ最適化部
Ｃ_ｉ カメラシステム（撮影カメラ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】