特許 7173133 カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】カメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221109BHJP

   H04N 7/18 20060101ALI20221109BHJP

   G06T 7/80 20170101ALI20221109BHJP

   G03B 15/00 20210101ALI20221109BHJP

【ＦＩ】

H04N5/232

H04N7/18 E

G06T7/80

G03B15/00 S

【請求項の数】 20

(21)【出願番号】P 2020511634

(86)(22)【出願日】2019-02-21

(86)【国際出願番号】 JP2019006488

(87)【国際公開番号】W WO2019193859

(87)【国際公開日】2019-10-10

【審査請求日】2021-06-28

(31)【優先権主張番号】P 2018072093

(32)【優先日】2018-04-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】関井 大気

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００８－２２４６２６（ＪＰ，Ａ）

【文献】特開２００１－０７４４２８（ＪＰ，Ａ）

【文献】国際公開第２０１８／１３４８６６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／８０

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

１台以上の監視カメラの較正パラメータを、監視カメラ用較正パラメータとして導出するカメラ較正方法であって、
前記監視カメラの視野と重なるように移動カメラを移動させることにより、移動映像を取得する移動映像取得ステップと、
前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出ステップと、
前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得ステップと、
前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出ステップと、
前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出ステップとを含む、カメラ較正方法。

【請求項2】

前記移動カメラ用較正パラメータ導出ステップでは、前記移動映像に基づき、前記移動カメラ用較正パラメータの導出に加えて、前記監視カメラの撮影範囲にある物体または環境の形状を示す３次元点群を推定し、
該カメラ較正方法は、
前記３次元点群の前記監視カメラの撮影画像上での位置を、２次元点群として検出する２次元点群検出ステップをさらに含み、
前記監視カメラ用較正パラメータ導出ステップでは、前記３次元の移動軌跡および前記３次元点群と、前記２次元の移動軌跡および前記２次元点群とを用いて、前記監視カメラ用較正パラメータを導出する、請求項１に記載のカメラ較正方法。

【請求項3】

前記３次元軌跡取得ステップでは、前記移動カメラの移動に伴って移動する、前記移動カメラに取り付けたマーカーの、前記基準座標系における３次元の移動軌跡を、前記移動カメラの３次元の移動軌跡として求め、
前記２次元軌跡検出ステップでは、前記マーカーの３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する、請求項１または２に記載のカメラ較正方法。

【請求項4】

前記マーカーは、前記監視カメラで撮影して得られる画像に基づいて認識可能な特徴点を含む指標である、請求項３に記載のカメラ較正方法。

【請求項5】

前記マーカーは、光源である、請求項３に記載のカメラ較正方法。

【請求項6】

前記監視カメラ用較正パラメータ導出ステップでは、前記光源から出射される光を、前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させたときに、前記監視カメラでの撮影によって取得される前記光の外観を示す画像を用いて、前記監視カメラの撮影タイミングまたは場所に関する前記監視カメラ用較正パラメータを導出する、請求項５に記載のカメラ較正方法。

【請求項7】

前記監視カメラ用較正パラメータ導出ステップでは、前記光源から出射される光の点滅周期、色、または明るさを、前記移動カメラの撮影タイミングまたは場所に応じて変化させることにより、前記光を前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させる、請求項６に記載のカメラ較正方法。

【請求項8】

前記移動映像取得ステップでは、前記移動カメラを、前記監視カメラの視野を通過する際に、少なくとも１回停止させるか、前記移動カメラの３次元の移動軌跡中の任意の位置と、前記監視カメラの撮影画像上で対応する位置を特定可能な軌跡を描くように移動させる、請求項１から５のいずれかに記載のカメラ較正方法。

【請求項9】

前記軌跡は、突出部を有する図形形状である、請求項８に記載のカメラ較正方法。

【請求項10】

請求項１から９のいずれかに記載のカメラ較正方法をコンピュータに実行させるカメラ較正プログラム。

【請求項11】

１台以上の監視カメラの視野と重なるように移動して移動映像を取得する移動カメラの前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出部と、
前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得部と、
前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出部と、
前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラの較正パラメータである監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出部とを含む、カメラ較正装置。

【請求項12】

前記移動カメラ用較正パラメータ導出部は、前記移動映像に基づき、前記移動カメラ用較正パラメータの導出に加えて、前記監視カメラの撮影範囲にある物体または環境の形状を示す３次元点群を推定し、
該カメラ較正装置は、
前記３次元点群の前記監視カメラの撮影画像上での位置を、２次元点群として検出する２次元点群検出部をさらに含み、
前記監視カメラ用較正パラメータ導出部は、前記３次元の移動軌跡および前記３次元点群と、前記２次元の移動軌跡および前記２次元点群とを用いて、前記監視カメラ用較正パラメータを導出する、請求項１１に記載のカメラ較正装置。

【請求項13】

前記３次元軌跡取得部は、前記移動カメラの移動に伴って移動する、前記移動カメラに取り付けたマーカーの、前記基準座標系における３次元の移動軌跡を、前記移動カメラの３次元の移動軌跡として求め、
前記２次元軌跡検出部は、前記マーカーの３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する、請求項１１または１２に記載のカメラ較正装置。

【請求項14】

前記マーカーは、前記監視カメラで撮影して得られる画像に基づいて認識可能な特徴点を含む指標である、請求項１３に記載のカメラ較正装置。

【請求項15】

前記マーカーは、光源である、請求項１３に記載のカメラ較正装置。

【請求項16】

前記光源からの光の出射を制御する光源制御部をさらに含み、
前記監視カメラ用較正パラメータ導出部は、前記光源制御部によって前記光源から出射される光を、前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させたときに、前記監視カメラでの撮影によって取得される前記光の外観を示す画像を用いて、前記監視カメラの撮影タイミングまたは場所に関する前記監視カメラ用較正パラメータを導出する、請求項１５に記載のカメラ較正装置。

【請求項17】

前記光源制御部は、前記光源から出射される光の点滅周期、色、または明るさを、前記移動カメラの撮影タイミングまたは場所に応じて変化させることにより、前記光を前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させる、請求項１６に記載のカメラ較正装置。

【請求項18】

請求項１１から１７のいずれかに記載のカメラ較正装置と、
１台以上の前記監視カメラと、
前記移動カメラとを含む、カメラ較正システム。

【請求項19】

前記カメラ較正装置は、前記移動カメラを、前記監視カメラの視野を通過する際に、少なくとも１回停止させるか、前記移動カメラの３次元の移動軌跡中の任意の位置と、前記監視カメラの撮影画像上で対応する位置を特定可能な軌跡を描くように移動させる移動制御部をさらに含む、請求項１８に記載のカメラ較正システム。

【請求項20】

前記軌跡は、突出部を有する図形形状である、請求項１９に記載のカメラ較正システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１台以上の監視カメラの較正パラメータを導出するカメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラムに関する。

【背景技術】

【0002】

従来から、広域の環境に分散して配置されたカメラ間で、撮影画像から認識した情報を共有し、共有した情報を監視、防犯またはマーケティングに役立たせる分散監視システムが広く活用されている。分散監視システムにおいて、カメラごとに認識した情報を共有するためには、各カメラのパラメータを較正した上で、カメラごとに認識した情報を同一の基準座標系（またはマップ）上で表現し、ユーザに提供する必要がある。なお、カメラのパラメータとしては、例えば、カメラの絶対位置および姿勢、レンズの焦点距離、レンズの歪み係数、時刻（撮影タイミング）などがある。なお、カメラのパラメータを較正すること（較正パラメータを導出すること）を、以下では、単に、カメラの較正とも言う。

【0003】

ここで、カメラを較正する方法の一つとして、三角測量に基づいてカメラを手動で較正する方法がある。しかし、手動較正では人的なコストが大きいため、近年では自動較正が多く利用されている（例えば特許文献１～６、非特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１０６２８７号公報

【文献】特開２０１４－１４９１２号公報

【文献】特開２０１１－６９７９６号公報

【文献】特表２００９－５０９７７８号公報

【文献】特開２０１０－２１０５７０号公報

【文献】特開２００５－２４１３２３号公報

【非特許文献】

【0005】

【文献】宍戸英彦等、「疎に配置した多視点カメラのキャリブレーション手法」、第２０回画像の認識・理解シンポジウム、２０１７年８月１０日

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１～４の自動較正技術は、いずれも、少なくとも１台のカメラおよびカメラによる撮影対象のうち、一方を他方に対して相対的に移動させてカメラで撮影対象の画像を取得し、取得した画像に基づいてカメラを較正する技術である。このような較正技術を用いる場合、較正するカメラに対して相対的に移動する撮影対象が予め較正されていなければならない（撮影対象が較正されていないと、撮影対象の画像に基づいてカメラを較正することができないため）。

【0007】

例えば、特許文献１のように、２台のカメラ（ステレオカメラ）を物体に対して相対的に移動させる場合、２台のカメラに対して相対的に移動する物体の基準座標系（世界座標系）における位置が予め較正されていなければならない。また、特許文献２のように、可動するロボットをカメラで撮影してカメラのパラメータを較正する場合、カメラに対して相対的に移動するロボットの基準座標系における位置が予め較正されていなければならない。特許文献３および４においても同様に、カメラで撮影される移動体の基準座標系における位置が予め較正されていなければならない。

【0008】

このように、特許文献１～４の自動較正技術では、カメラを較正する前に、カメラに対して相対的に移動する撮影対象の較正という事前準備が必要となり、事前準備がなければ、カメラの較正を行うことができない。このため、カメラの較正を必要なときに直ちに行うことができず、不便である。この問題は、特許文献５および６でも同様に生じる。

【0009】

すなわち、特許文献５では、２台カメラの撮影対象である被写体（移動体）に、ＧＰＳ（Global Positioning System；全地球測位システム）装置を搭載し、所定の空間内で被写体を移動させるとともに所定の位置で停止させ、上記被写体の停止位置と２台のカメラによる上記被写体の撮影画像とに基づいて、較正用のデータを取得する技術が開示されている。しかし、この技術においても、基準座標系に対してＧＰＳ装置の座標系を予め較正しておく必要がある。

【0010】

特許文献６では、空間内のマーカー（３次元座標は既知である）を複数の固定カメラで撮影し、上記マーカーの撮影画像上での観測座標と、マーカーの既知の３次元座標とから、複数の固定カメラの射影変換行列を算出する技術が開示されている。しかし、この技術においても、マーカーの３次元座標を予め求めておく、つまり、基準座標系に対してマーカーの位置を予め較正しておく必要がある。

【0011】

また、非特許文献１では、移動カメラでの撮影画像と、疎に配置した複数の静止カメラでの撮影画像とを統合して、密な多視点画像群を構築し、多視点画像同士での対応点の情報から静止カメラを較正する技術（弱較正技術）が開示されている。しかし、非特許文献１の技術では、画像同士の比較によって対応点を求めて静止カメラを較正するため、較正の精度を上げるためには、上記対応点の検出に高い精度が要求され、特許文献１～６の技術に比べると較正の精度が低下しやすい。

【0012】

なお、上記した問題は、較正対象であるカメラが複数台設けられた分散監視システムのみならず、環境に設置されたカメラ（監視カメラ）が１台のみであるシステムでも同様に起こり得る。

【0013】

本発明は、上記の問題点を解決するためになされたもので、その目的は、監視カメラに対して相対的に移動する撮影対象を予め較正することなく、監視カメラの較正の精度の低下を回避しながら監視カメラを較正することができるカメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラムを提供することにある。

【課題を解決するための手段】

【0014】

本発明の一側面に係るカメラ較正方法は、１台以上の監視カメラの較正パラメータを、監視カメラ用較正パラメータとして導出するカメラ較正方法であって、前記監視カメラの視野と重なるように移動カメラを移動させることにより、移動映像を取得する移動映像取得ステップと、前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出ステップと、前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得ステップと、前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出ステップと、前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出ステップとを含む。

【0015】

本発明の他の側面に係るカメラ較正プログラムは、上記カメラ較正方法をコンピュータに実行させるプログラムである。

【0016】

本発明のさらに他の側面に係るカメラ較正装置は、１台以上の監視カメラの視野と重なるように移動して移動映像を取得する移動カメラの前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出部と、前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得部と、前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出部と、前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラの較正パラメータである監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出部とを含む。

【0017】

本発明のさらに他の側面に係るカメラ較正システムは、上記カメラ較正装置と、１台以上の前記固定カメラと、前記移動カメラとを含む。

【発明の効果】

【0018】

監視カメラに対して相対的に移動する撮影対象を事前に較正することなく、監視カメラの較正の精度の低下を回避しながら監視カメラを較正することができる（監視カメラ用較正パラメータを導出することができる）。

【図面の簡単な説明】

【0019】

【図1】本発明の実施の形態のカメラ較正システムの概略の構成を示すブロック図である。

【図2】上記カメラ較正システムに含まれる移動カメラの移動軌跡の一例を模式的に示す説明図である。

【図3】上記カメラ較正システムによるカメラ較正方法の処理の流れを示すフローチャートである。

【図4】上記移動カメラが環境中を移動する様子を模式的に示す説明図である。

【図5】図４の位置Ａにおいて上記移動カメラで撮影された画像を模式的に示す説明図である。

【図6】上記環境中に設置されたマーカーの例を示す説明図である。

【図7】上記移動カメラの座標系と、基準座標系との対応関係を模式的に示す説明図である。

【図8】上記移動カメラに取り付けられるマーカーの基準座標系における位置（絶対座標）を、上記移動カメラの各フレームごとに順に求める過程を模式的に示す説明図である。

【図9】上記移動カメラの移動に伴って移動する上記マーカーの基準座標系における３次元の移動軌跡を示す説明図である。

【図10】上記カメラ較正システムに含まれる監視カメラの視野と重なって上記移動カメラが上記マーカーとともに移動する様子を模式的に示す説明図である。

【図11】上記監視カメラの撮影画像の一例を模式的に示す説明図である。

【図12】上記カメラ較正システムの他の構成を示すブロック図である。

【図13】図１２のカメラ較正システムによるカメラ較正方法の処理の流れを示すフローチャートである。

【図14】上記移動カメラに取り付けられるマーカーの他の構成を模式的に示す説明図である。

【図15】上記移動カメラの３次元の移動軌跡であって、四角形状の上記移動軌跡を示す説明図である。

【図16】上記監視カメラの撮影画像上での上記移動カメラの２次元の移動軌跡を示す説明図である。

【発明を実施するための形態】

【0020】

本発明の実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。

【0021】

〔カメラ較正システム〕
図１は、本実施形態のカメラ較正システム１の概略の構成を示すブロック図である。カメラ較正システム１は、監視カメラ２を較正する、すなわち、監視カメラ２の較正パラメータを、監視カメラ用較正パラメータとして導出するシステムであり、監視カメラ２と、移動カメラ３と、カメラ較正装置４とを有している。監視カメラ２および移動カメラ３は、カメラ較正装置４と通信回線（有線、無線を問わない）を介して通信可能に接続されている。図１では、複数台の監視カメラ２がカメラ較正装置４と接続される例を示しているが、監視カメラ２は１台のみであってもよい。

【0022】

監視カメラ２は、監視対象となる環境（例えば店舗、工場、部屋）に設置され、環境内を撮影して画像を取得する撮像装置である。監視カメラ２は、例えば固定カメラであるが、若干の移動（例えばシフト、回動、回転）が可能なカメラであってもよい。

【0023】

移動カメラ３は、移動しながら周囲を撮影して画像（移動映像）を取得する撮像装置であり、移動手段を含む。なお、移動手段には、車輪、車輪と接続されるシャフト、シャフトを回転させるモータなどが含まれる。本実施形態では、移動カメラ３は、少なくとも監視カメラ２の視野（撮影範囲）と重なるように移動する。図２は、移動カメラ３の移動軌跡の一例を模式的に示している。移動カメラ３は、監視カメラ２の視野と重なるように移動するのであれば、１台の監視カメラ２の視野を内側から外側に向かって通過したり、複数台の監視カメラ２の視野と視野との間を移動してもよい。このような移動カメラ３の移動は、例えばカメラ較正装置４の後述する移動制御部５ｂによって制御される。

【0024】

また、本実施形態では、移動カメラ３にはマーカーＭが取り付けられている。マーカーＭは、例えば、監視カメラ２で撮影して得られる画像に基づいてカメラ較正装置４（特に較正処理部１０）が画像認識技術によって認識可能な特徴点Ｐ（例えば角部）を含む指標Ｍ₁で構成されている。なお、移動カメラ３に対するマーカーＭの相対的な位置（座標）は既知であるとする。

【0025】

なお、移動カメラ３の移動は、ユーザ（例えば監視カメラ２の較正を行う者）が移動カメラ３を保持しながら移動することによって行われてもよい。このようにユーザの動作を伴う場合でも、ユーザは移動カメラ３を移動させる動作を行うだけで済む。つまり、ユーザが計器を使って三角測量を行って監視カメラ２を手動で較正するわけではない。したがって、ユーザが移動カメラ３を移動させる場合でも、手動較正の場合ほどの人的コストの増大は生じないと言える。

【0026】

カメラ較正装置４は、監視カメラ２の撮影画像および移動カメラ３の撮影画像に基づいて、監視カメラ２の較正を行う装置であり、例えばパーソナルコンピュータによって構成可能である。カメラ較正装置４は、制御部５と、記憶部６と、入力部７と、表示部８と、通信部９と、較正処理部１０とを有している。

【0027】

制御部５は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部６に記憶された動作プログラムに従って動作する。この制御部５は、カメラ較正装置４の各部の動作を制御する主制御部５ａとしての機能と、移動カメラ３の移動を制御する移動制御部５ｂとしての機能とを有している。

【0028】

記憶部６は、カメラ較正装置４の各部を動作させるための動作プログラムや、監視カメラ２および移動カメラ３で取得された各撮影画像のデータなどを記憶するメモリである。記憶部６は、例えばハードディスクで構成されるが、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

【0029】

入力部７は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成されており、ユーザによる各種の指示入力を受け付ける。表示部８は、監視カメラ２および移動カメラ３で取得された各撮影画像をはじめとして、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部９は、監視カメラ２および移動カメラ３と通信するためのインターフェースであり、入出力端子などを含んで構成される。なお、例えば監視カメラ２および移動カメラ３の少なくとも一方と、カメラ較正装置４とが無線で通信（例えば画像データの送受信）を行う場合、通信部９は、アンテナ、送受信回路、変調回路、復調回路などを含んで構成されてもよい。

【0030】

較正処理部１０は、監視カメラ３の較正に関する処理を行うブロックであり、移動カメラ用較正パラメータ導出部１０ａと、３次元軌跡取得部１０ｂと、２次元軌跡検出部１０ｃと、監視カメラ用較正パラメータ導出部１０ｄとを含んで構成される。較正処理部１０は、例えばリアルタイムな画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）で構成されるが、制御部５と同一のまたは別個のＣＰＵで構成されてもよく、その他の演算装置で構成されてもよい。なお、較正処理部１０の各部の詳細については、以下のカメラ較正方法の説明の中で併せて説明する。

【0031】

〔カメラ較正方法〕
次に、本実施形態のカメラ較正方法について説明する。図３は、図１のカメラ較正システム１によるカメラ較正方法の処理の流れを示すフローチャートである。本実施形態のカメラ較正方法は、移動映像取得ステップ（Ｓ１）と、移動カメラ用較正パラメータ導出ステップ（Ｓ２）と、３次元軌跡取得ステップ（Ｓ３）と、２次元軌跡検出ステップ（Ｓ４）と、監視カメラ用較正パラメータ導出ステップ（Ｓ５）とを含む。以下、より詳細に説明する。

【0032】

なお、移動カメラ３には、上述したように、マーカーＭとしての指標Ｍ₁が取り付けられているとする。また、時刻（撮影タイミング）については、ここでは予め較正されているとする。つまり、監視カメラ２と移動カメラ３とで、撮影時のシャッタタイミングは揃っているとする。

【0033】

（Ｓ１；移動映像取得ステップ）
Ｓ１では、移動制御部５ｂにより、監視カメラ２の視野と重なるように移動カメラ３を移動させ、移動カメラ３にて環境を撮影して映像（移動映像）を取得する。移動カメラ３で取得される移動映像のデータは、カメラ較正装置４に出力され、通信部９を介して記憶部６に記憶される。

【0034】

（Ｓ２；移動カメラ用較正パラメータ導出ステップ）
Ｓ２では、移動カメラ用較正パラメータ導出部１０ａが、移動カメラ３で取得された（記憶部６に記憶された）移動映像に基づき、移動映像の各フレーム（異なる撮影タイミングまたは異なる位置に対応）ごとに、基準座標系における移動カメラ３の位置および姿勢を含む較正パラメータを導出する。なお、移動カメラ３の較正パラメータのことを、ここでは、移動カメラ用較正パラメータと呼ぶ。移動カメラ用較正パラメータの導出は、例えば公知のＶｉｓｕａｌ－ＳＬＡＭ（Simultaneous Localization And Mapping）を利用することによって行うことができる。Ｖｉｓｕａｌ－ＳＬＡＭは、カメラの移動映像から、環境や物体の３次元形状と、各フレームでのカメラの絶対または相対位置・姿勢とを推定する技術である。

【0035】

例えば、図４は、移動カメラ３が環境（部屋）の中を太線の経路で移動する様子を模式的に示しており、図５は、図４の位置Ａにおいて移動カメラ３で撮影された画像を模式的に示している。Ｖｉｓｕａｌ－ＳＬＡＭを利用することにより、移動カメラ３の移動映像（図５の撮影画像を含む）から、移動カメラ３が移動する環境（図４で示した部屋）の３次元形状と、移動カメラ３の基準座標系（ＸＹＺ座標系）における位置および姿勢とを求めることができる。

【0036】

ここで、図４で示した基準座標系は、Ｖｉｓｕａｌ－ＳＬＡＭによって求めた（復元された）環境の３次元形状の任意の点を原点とする座標系であってもよい。また、求めた環境の３次元形状を、予め基準座標系上に設計または設定された環境のデータ（指標、ランドマーク（目印となる地理学上の特徴物）、３次元の点群、ＣＡＤデータ、ワイヤーフレームモデルなど）と自動照合して、基準座標系上の３次元形状として変換してもよい。例えば、図６に示すように、基準座標系に対応するよう設計されたマーカーＭ’（指標）を環境に設置し、移動カメラ３でマーカーＭ’を撮影してその位置（座標系）を認識することにより、求めた環境の３次元形状を、基準座標系上の３次元形状として変換してもよい。このとき、上記のマーカーＭ’を監視カメラ２で撮影する必要はない。

【0037】

（Ｓ３；３次元軌跡取得ステップ）
Ｓ３では、３次元軌跡取得部１０ｂが、移動カメラ用較正パラメータ導出部１０ａによって求めた移動カメラ用較正パラメータを用いて、基準座標系における移動カメラの３次元の移動軌跡を求める。特に、本実施形態では、３次元軌跡取得部１０ｂは、移動カメラ３の移動に伴って移動するマーカーＭの、基準座標系における３次元の移動軌跡を、移動カメラ３の３次元の移動軌跡として求める。なお、３次元の移動軌跡とは、移動カメラ３（マーカーＭ）の各フレームでの、基準座標系における３次元の位置座標（点）の集合を指す。

【0038】

図７は、移動カメラ３の座標系（移動カメラ座標系）と、基準座標系との対応関係を模式的に示している。なお、図面上では、便宜的に、移動カメラ座標系の互いに直交する３軸をｘ軸、ｙ軸、ｚ軸で示し、基準座標系の３軸（Ｘ軸、Ｙ軸、Ｚ軸）とは区別する。上述したように、移動カメラ用較正パラメータ導出部１０ａにより、Ｖｉｓｕａｌ－ＳＬＡＭを利用して、移動カメラ３の時系列の（基準座標系における）絶対位置・姿勢が求まる（基準座標系と移動カメラ座標系との間での座標変換が既知である）。したがって、移動カメラ３に対するマーカーＭ（ここでは特徴点を考える）の相対位置が既知であれば、つまり、移動カメラ座標系上でマーカーＭの３次元位置が既知であれば、マーカーＭの位置を基準座標系上にマッピングすることができる。すなわち、マーカーＭの基準座標系上での絶対座標を座標変換によって計算することができる。

【0039】

よって、図８に示すように、３次元軌跡取得部１０ｂは、移動カメラ３とともに移動するマーカーＭについて、移動カメラ３の各フレームごとに上記の座標変換を繰り返し、マーカーＭの基準座標系上での絶対座標を計算することにより、図９に示すように、移動カメラ３の移動に伴って移動するマーカーＭの、基準座標系における３次元の移動軌跡Ｔ１を求めることができる。また、マーカーＭと移動カメラ３との相対的な位置関係は既知であるため、上記マーカーＭの移動軌跡Ｔ１を、移動カメラ３の３次元の移動軌跡と同等と考えることができる。これにより、３次元軌跡取得部１０ｂは、上記マーカーＭの移動軌跡Ｔ１を、移動カメラ３の３次元の移動軌跡として求めることができる。

【0040】

（Ｓ４；２次元軌跡検出ステップ）
Ｓ４では、２次元軌跡検出部１０ｃが、移動カメラ３の３次元の移動軌跡の少なくとも一部を、監視カメラ２の撮影画像上での２次元の移動軌跡として検出する。特に、本実施形態では、２次元軌跡検出部１０ｃは、マーカーＭ（特徴点）の３次元の移動軌跡の少なくとも一部を、監視カメラ２の撮影画像上での２次元の移動軌跡として検出する。なお、２次元の移動軌跡とは、監視カメラ２の各フレームの撮影画像上での移動カメラ３またはマーカーＭの２次元の位置座標（点）の集合を指す。また、監視カメラ２で取得される撮影画像のデータは、カメラ較正装置４に出力され、通信部９を介して記憶部６に記憶される。これにより、２次元軌跡検出部１０ｃは、記憶部６を参照して、監視カメラ２の撮影画像を把握することができる。

【0041】

なお、「移動カメラ３の３次元の移動軌跡の少なくとも一部」とは、移動カメラ３の３次元の移動軌跡のうち、監視カメラ２の視野と重なっている部分を指す。したがって、移動カメラ３が監視カメラ２の視野の内外にわたって移動する場合は、２次元軌跡検出部１０ｃは、移動カメラ３（マーカーＭ）の３次元の移動軌跡の一部を、監視カメラ２の撮影画像上での２次元の移動軌跡として検出することになる。また、移動カメラ３が監視カメラ２の視野内でのみ移動する場合は、２次元軌跡検出部１０ｃは、移動カメラ３（マーカーＭ）の３次元の移動軌跡の全部を、監視カメラ２の撮影画像上での２次元の移動軌跡として検出することになる。

【0042】

図１０は、監視カメラ２の視野と重なって移動カメラ３がマーカーＭとともに移動する様子を模式的に示している。また、図１１は、監視カメラ２の撮影画像２ａの一例を模式的に示している。監視カメラ２によって移動カメラ３（マーカーＭ）を撮影することにより、監視カメラ２の撮影画像２ａ上での移動カメラ３（マーカーＭ）の位置座標が、移動カメラ３の移動に伴って時系列で得られる。したがって、２次元軌跡検出部１０ｃは、監視カメラ２の撮影画像２ａにおける移動カメラ３（マーカーＭ）の時系列の位置座標をマッピングすることにより、撮影画像２ａ上での移動カメラ３（マーカーＭ）の２次元の移動軌跡Ｔ２を検出することができる。つまり、２次元軌跡検出部１０ｃは、移動カメラ３の３次元の移動軌跡Ｔ１を、監視カメラ２の撮影画像２ａ上で２次元の移動軌跡Ｔ２として検出することができる。

【0043】

（Ｓ５；監視カメラ用較正パラメータ導出ステップ）
Ｓ５では、監視カメラ用較正パラメータ導出部１０ｄが、移動カメラ３の３次元の移動軌跡（マーカーＭの３次元の移動軌跡Ｔ１）の少なくとも一部と、移動カメラ３の２次元の移動軌跡（マーカーＭの２次元の移動軌跡Ｔ２）とに基づいて、監視カメラ２の較正パラメータである監視カメラ用較正パラメータを導出する。なお、監視カメラ用較正パラメータは、監視カメラ２の外部パラメータ（例えば位置、姿勢）および内部パラメータ（例えばレンズの焦点距離、レンズの歪み）を含む。

【0044】

ここで、複数の基準マーカーの３次元座標および対応する画像上の２次元座標の組から、カメラのパラメータを推定する問題は、ＰｎＰ（Perspective n-Point）問題と呼ばれているが、このＰｎＰ問題の解き方は従来公知であり（例えば、「奥富正敏編、『ディジタル画像処理』、改訂新版、財団法人画像情報教育振興協会、２００６年３月、ｐ３２８－３３１」参照）、本実施形態においてもこの解き方を採用することができる。つまり、監視カメラ用較正パラメータ導出部１０ｄは、移動カメラ３の３次元の移動軌跡の少なくとも一部と、移動カメラ３の２次元の移動軌跡とを用い、ＰｎＰ問題を解くことにより、監視カメラ用較正パラメータを導出することができる。

【0045】

〔効果〕
以上のように、本実施形態のカメラ補正方法は、１台以上の監視カメラ２の較正パラメータを、監視カメラ用較正パラメータとして導出する方法であって、上述した移動映像取得ステップ（Ｓ１）と、移動カメラ用較正パラメータ導出ステップ（Ｓ２）と、３次元軌跡取得ステップ（Ｓ３）と、２次元軌跡検出ステップ（Ｓ４）と、監視カメラ用較正パラメータ導出ステップ（Ｓ５）とを含む。

【0046】

この方法では、監視カメラ２に対して相対的に移動する撮影対象（移動カメラ３）を、基準座標系に対して事前に較正しておく必要がない。つまり、本実施形態では、Ｓ１で移動カメラ３の移動を開始させて、Ｓ５で監視カメラ用較正パラメータを導出するまでの途中の工程（Ｓ２）で、移動カメラ用較正パラメータを導出する（移動カメラ３を較正する）ため、移動カメラ３の移動を開始するＳ１の前に、移動カメラ３の位置等を基準座標系を基準にして予め較正しておく必要がない。したがって、監視カメラ２を較正するにあたって、移動カメラ３を直ちに移動させて監視カメラ２を較正することができ、利便性を向上させることができる。

【0047】

また、画像同士の比較によって対応点を求めてカメラを較正する手法（弱較正）に比べて、上記対応点を求める必要がないため、較正の精度を上げることができる。つまり、監視カメラ２の較正の精度の低下を回避しながら、監視カメラ２を較正することができる（監視カメラ用較正パラメータを導出することができる）。

【0048】

また、Ｓ３では、３次元軌跡取得部１０ｂが、移動カメラ３の移動に伴って移動するマーカーＭの基準座標系における３次元の移動軌跡Ｔ１を、移動カメラ３の３次元の移動軌跡として求め、Ｓ４では、２次元軌跡検出部１０ｃが、マーカーＭの３次元の移動軌跡Ｔ１の少なくとも一部を、監視カメラ２の撮影画像２ａ上での２次元の移動軌跡Ｔ２として検出する。マーカーＭを用いることにより、２次元軌跡検出部１０ｃは、監視カメラ２の撮影画像２ａからマーカーＭを容易に認識することができるため、マーカーＭの３次元の移動軌跡Ｔ１の少なくとも一部を、撮影画像２ａ上での２次元の移動軌跡Ｔ２として検出することが容易となる。これにより、監視カメラ用較正パラメータ導出部１０ｄにて、３次元の移動軌跡Ｔ１の少なくとも一部と上記２次元の移動軌跡Ｔ２とに基づく監視カメラ用較正パラメータの導出を精度よく行うことができる。

【0049】

また、例えば、人間が移動カメラ３を保持して移動させる場合、移動カメラ３にマーカーＭを取り付けず、監視カメラ２の撮影画像２ａ上で人間の形状を画像認識によって認識して移動カメラ３の位置等を推定することも可能である。しかし、画像上では、人間に特有の形状または特徴点を認識しづらいため、人間を誤認識する可能性がある。この点、マーカーＭを移動カメラ３に取り付けて移動させることにより、マーカーＭの画像上での認識精度を向上させることができ、この点でも監視カメラ用較正パラメータの導出の精度を向上させることができる。

【0050】

また、マーカーＭは、監視カメラ２で撮影して得られる画像に基づいて（２次元軌跡検出部１０ｃが）認識可能な特徴点Ｐ（図２参照）を含む指標Ｍ₁である。マーカーＭが指標Ｍ₁であることにより、２次元軌跡検出部１０ｃは、監視カメラ２の撮影画像２ａから画像認識によって特徴点Ｐを容易に認識して、マーカーＭを容易に認識することが可能となる。これにより、上記した監視カメラ用較正パラメータの導出の精度を上げる効果を確実に得ることができる。

【0051】

〔カメラ較正システムの他の構成〕
図１２は、本実施形態のカメラ較正システム１の他の構成を示すブロック図である。図１２のカメラ較正システム１は、カメラ較正装置４の較正処理部１０が２次元点群検出部１０ｅをさらに含む点以外は、図１のカメラ較正システム１と同様の構成である。なお、２次元点群検出部１０ｅの詳細については、以下のカメラ較正方法の説明の中で併せて説明する。

【0052】

図１３は、図１２のカメラ較正システムによるカメラ較正方法の処理の流れを示すフローチャートである。上記カメラ較正方法は、Ｓ２の代わりにＳ２’を行い、Ｓ５の代わりにＳ５’を行い、Ｓ４とＳ５’との間に、２次元点群検出部１０ｅによる２次元点群検出部ステップ（Ｓ４－１）をさらに行う以外は、図３で示したカメラ較正方法の流れと同様である。以下、図３と異なる点について説明する。

【0053】

Ｓ２’では、移動カメラ用較正パラメータ導出部１０ａが、移動カメラ３で取得した移動映像に基づき、Ｖｉｓｕａｌ－ＳＬＡＭを利用して、上述した移動カメラ用較正パラメータを導出することに加えて、監視カメラ２の撮影範囲にある物体または環境の形状（自然特徴点）を示す３次元点群を推定する。例えば、移動カメラ用較正パラメータ導出部１０ａは、Ｖｉｓｕａｌ－ＳＬＡＭを利用して、上記移動映像から、監視カメラ２の撮影範囲内にあるランドマークの３次元形状を示す３次元点群を推定する。Ｓ４－１では、２次元点群検出部１０ｅが、移動カメラ用較正パラメータ導出部１０ａによって推定された３次元点群の、監視カメラ２の撮影画像２ａ上での位置を、２次元点群として検出する。

【0054】

そして、Ｓ５’では、監視カメラ用較正パラメータ導出部１０ｄが、３次元の情報と、２次元の情報とを用い、ＰｎＰ問題を解くことにより、監視カメラ用較正パラメータを導出する。ここで、上記の３次元の情報とは、Ｓ３で取得した移動カメラ３（またはマーカーＭ）の３次元の移動軌跡、およびＳ２’で推定した３次元点群の情報であり、２次元の情報とは、Ｓ４で検出した移動カメラ３の撮影画像２ａ上での２次元の移動軌跡、およびＳ４－１で検出した撮影画像２ａ上での２次元点群の情報である。

【0055】

上記のように、移動カメラ３の３次元および２次元の移動軌跡に加えて、自然特徴点の３次元および２次元の点群の情報も用いて、監視カメラ用較正パラメータを導出することにより、移動カメラ３の移動軌跡のみに基づいて、または自然特徴点の点群の情報のみに基づいて、監視カメラ用較正パラメータを導出する場合に比べて、較正パラメータの導出に用いる情報の量（ＰｎＰ問題を解くときに用いる点の数（ｎの数））が増えるため、監視カメラ２の較正の精度をさらに向上させることができる。

【0056】

〔マーカーの他の構成〕
図１４は、移動カメラ３に取り付けられるマーカーＭの他の構成を模式的に示している。マーカーＭとして、上記した指標Ｍ₁の代わりに、光を出射する光源Ｍ₂を用いてもよい。光源Ｍ₂としては、例えば異なる色（例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ））を発光する複数の発光ダイオード（ＬＥＤ）の組を用いることができる。光源Ｍ₂からの光の出射、つまり、光源Ｍ₂から出射される光の点滅周期（点灯／消灯の各時間）、色（発光させるＬＥＤの選択）、および明るさ（各ＬＥＤに流す電流）の制御は、例えば制御部５（例えば主制御部５ａ）によって行われる。この場合、制御部５（例えば主制御部５ａ）は、光源Ｍ₂からの光の出射を制御する光源制御部として機能する。なお、光源Ｍ₂からの光の出射の制御は、カメラ較正装置４の外部の別の制御装置（図示せず）によって行われてもよい。

【0057】

このように、マーカーＭとして光源Ｍ₂を用いる場合でも、上述した２次元軌跡検出部１０ｃは、監視カメラ２の撮影画像２ａから、画像認識によって光源Ｍ₂の位置を容易に認識して、マーカーＭを容易に認識することが可能となる。これにより、上記した監視カメラ用較正パラメータの導出の精度を上げる効果を確実に得ることができる。

【0058】

また、マーカーＭとして光源Ｍ₂を用いる場合、図３のＳ５または図１３のＳ５’では、監視カメラ用較正パラメータ導出部１０ｄは、制御部５が光源Ｍ₂から出射される光を、移動カメラ３の撮影タイミングまたは環境内の場所に応じて固有な外観に変化させたときに、監視カメラ２での撮影によって取得される上記光の外観を示す画像を用いて、監視カメラ２の撮影タイミングまたは場所に関する監視カメラ用較正パラメータを導出してもよい。このとき、制御部５は、例えば、光源Ｍ₂から出射される光の点滅周期を、移動カメラ３の撮影タイミングに応じて変化させる（例えば撮影タイミングと同期するように変化させる）ことにより、光源Ｍ₂から出射される光を移動カメラ３の撮影タイミングに応じて固有な外観に変化させることができる。また、制御部５は、光源Ｍ₂から出射される光の色または明るさを、環境内の場所、つまり、移動カメラ用較正パラメータ導出部１０ａにて導出される移動カメラ３の位置に応じて変化させることにより、光源Ｍ₂から出射される光を場所に応じて固有な外観に変化させることができる。

【0059】

光源Ｍ₂の点灯タイミングと、監視カメラ２の撮影タイミングとが合っていない場合、監視カメラ用較正パラメータ導出部１０ｄは、監視カメラ２の撮影画像２ａ上でマーカーＭ（光源Ｍ₂）を認識することができない（監視カメラ２のシャッタが開いたときに光源Ｍ₂が消灯しているため）。そこで、例えば、制御部５が光源Ｍ₂の点滅周期を、移動カメラ３の撮影タイミングに応じて変化させて、光源Ｍ₂から出射される光を移動カメラ３の撮影タイミングに応じて固有な外観に変化させることにより、監視カメラ用較正パラメータ導出部１０ｄは、光源Ｍ₂から出射される光の外観を示す画像（監視カメラ２の撮影画像２ａ）に基づいて、光源Ｍ₂の点滅周期と合うように、つまり、移動カメラ３の撮影タイミングと合うように、監視カメラ２の撮影タイミングを較正する（撮影タイミングに関する較正パラメータを求める）ことが可能となる。これにより、移動カメラ３を移動させる前に、移動カメラ３の撮影タイミングと監視カメラ２の撮影タイミングとが合っていなくても、これらを合わせる時刻の較正を精度よく行うことが可能となる。

【0060】

また、前述のＳ５またはＳ５’において、監視カメラ用較正パラメータ導出部１０ｄは、ＰｎＰ問題を解くことにより、監視カメラ２の位置についての較正パラメータを求めるが、その位置についての候補が複数得られる場合がある（異なる位置の候補が得られる場合がある）。このような場合において、制御部５が、光源Ｍ₂から出射される光の外観（色または明るさ）を、環境中の第１のランドマークの前に光源Ｍ₂が位置するときと、別の第２のランドマークの前に光源Ｍ₂が位置するときとで異ならせて、光源Ｍ₂から出射される光を場所に応じて固有な外観に変化させることにより、監視カメラ用較正パラメータ導出部１０ｄは、光源Ｍ₂から出射される光の外観を示す画像（監視カメラ２の撮影画像２ａ）に基づいて、監視カメラ２の環境内での場所（位置）を、上記複数の候補からある程度絞ることができる。これにより、監視カメラ２の位置についての較正パラメータの導出の精度をさらに上げることが可能となる。

【0061】

つまり、マーカーＭとして光源Ｍ₂を用い、光源Ｍ₂から出射される光を、移動カメラ３の撮影タイミングまたは場所に応じて固有の外観に変化させることにより、監視カメラ２の時刻または場所の較正を精度よく行うことが可能となる。

【0062】

〔移動カメラの移動制御について〕
上述したＳ１の移動映像取得ステップでは、カメラ較正装置４の移動制御部５ｂが、移動カメラ３を、監視カメラ２の視野を通過する際に、少なくとも１回停止させてもよい。このように移動カメラ３の移動を制御することにより、監視カメラ２の時刻が較正されていなくても、監視カメラ２の撮影タイミングと同時刻における移動カメラ３の３次元の位置がわかるため、上記３次元の位置と監視カメラ２の撮影画像２ａ上で対応する位置を特定することができる。これにより、Ｓ５またはＳ５’の監視カメラ用較正パラメータ導出ステップにおいて、上記２点の情報（３次元および２次元の各位置の座標）を用いてＰｎＰ問題を解くことにより、監視カメラ２の位置および姿勢を含む監視カメラ用較正パラメータを導出することが可能となる。つまり、監視カメラ２の時刻が較正されていなくても、監視カメラ２の位置および姿勢を較正することができる。

【0063】

また、Ｓ１の移動映像取得ステップでは、カメラ較正装置４の移動制御部５ｂが、移動カメラ３を、監視カメラ２の視野を通過する際に、移動カメラ３の３次元の移動軌跡中の任意の位置と、監視カメラ２の撮影画像２ａ上で対応する位置を特定可能な軌跡を描くように移動させてもよい。上記軌跡としては、例えば突出部を有する図形形状を考えることができる。このとき、上記突出部としては、上記多角形の角部や、楕円の長軸方向の両端部などを考えることができ、それゆえ、上記図形形状としては、三角形、四角形などの多角形状や、楕円形状などを考えることができる。

【0064】

図１５は、移動カメラ３の３次元の移動軌跡が四角形状である場合の上記移動軌跡を示し、図１６は、監視カメラ２の撮影画像２ａ上での上記移動カメラ３の２次元の移動軌跡を示している。図１５に示すように、移動カメラ３が３次元空間内で四角形状の移動軌跡を描いた場合、四角形に含まれる突出部（角部）Ｅは、移動カメラ３の移動方向が急激にまたは明確に変化する部分であるため、図１６に示すように、監視カメラ２の撮影画像２ａ上においても、移動カメラ３の３次元の移動軌跡の上記突出部Ｅと２次元の移動軌跡で対応する突出部Ｅ’が明確に現れる。これにより、３次元の移動軌跡の突出部Ｅの位置Ｅ₁と、撮影画像２ａ上で対応する突出部Ｅ’の位置Ｅ₁’を明確に特定することができる。したがって、Ｓ５またはＳ５’の監視カメラ用較正パラメータ導出ステップでは、監視カメラ２の時刻が較正されていなくても、監視カメラ２の撮影タイミングと同時刻における移動カメラ３の３次元の位置情報（位置Ｅ₁の位置座標を含む）および２次元の位置情報（位置Ｅ₁’の位置座標を含む）を用いてＰｎＰ問題を解くことにより、監視カメラ２の位置および姿勢を含む監視カメラ用較正パラメータを導出することが可能となる。

【0065】

特に、移動カメラ３の３次元の移動軌跡中の任意の位置Ｅ₁と撮影画像２ａ上で対応する位置Ｅ₁’を特定可能な軌跡が、突出部Ｅを有する図形形状であることにより、突出部Ｅの位置Ｅ₁と、撮影画像２ａ上で対応する位置Ｅ₁’を明確に特定することができるため、監視カメラ２の時刻が較正されていなくても、監視カメラ用較正パラメータを導出できる効果を確実に得ることができる。

【0066】

なお、移動カメラ３の３次元の移動軌跡中の任意の位置Ｅ₁と撮影画像２ａ上で対応する位置Ｅ₁’を特定できるのであれば、移動カメラ３の３次元の移動軌跡は、突出部Ｅを有する図形形状には限定されない。例えば２つの円を組み合わせた形状（「８の字」の軌跡）となる形状で移動カメラ３を移動させた場合でも、「８の字」を構成する２つの円の接点と撮影画像２ａ上で対応する位置を特定することができるため、監視カメラ２の時刻が較正されていなくても、３次元の位置情報と２次元の位置情報とを用いて監視カメラ用較正パラメータを導出することが可能である。

【0067】

〔プログラムおよび記録媒体〕
本実施形態で説明したカメラ較正装置４は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部５）が読み取って実行することにより、カメラ較正装置４の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部６に記憶される。また、上記プログラムは、例えばＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体に記録され、この記録媒体から上記プログラムをコンピュータが読み取ってプログラム記憶部１２ａに記憶する形態であってもよい。

【0068】

〔その他〕
以上で説明した本実施形態のカメラ較正方法、カメラ較正装置、カメラ較正システムおよびカメラ較正プログラムは、以下のように表現されてもよい。また、本実施形態で説明した内容は、以下のように表現される記録媒体も含む。

【0069】

１． １台以上の監視カメラの較正パラメータを、監視カメラ用較正パラメータとして導出するカメラ較正方法であって、
前記監視カメラの視野と重なるように移動カメラを移動させることにより、移動映像を取得する移動映像取得ステップと、
前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出ステップと、
前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得ステップと、
前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出ステップと、
前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出ステップとを含むことを特徴とするカメラ較正方法。

【0070】

２．前記移動カメラ用較正パラメータ導出ステップでは、前記移動映像に基づき、前記移動カメラ用較正パラメータの導出に加えて、前記監視カメラの撮影範囲にある物体または環境の形状を示す３次元点群を推定し、
該カメラ較正方法は、
前記３次元点群の前記監視カメラの撮影画像上での位置を、２次元点群として検出する２次元点群検出ステップをさらに含み、
前記監視カメラ用較正パラメータ導出ステップでは、前記３次元の移動軌跡および前記３次元点群と、前記２次元の移動軌跡および前記２次元点群とを用いて、前記監視カメラ用較正パラメータを導出することを特徴とする前記１に記載のカメラ較正方法。

【0071】

３．前記３次元軌跡取得ステップでは、前記移動カメラの移動に伴って移動する、前記移動カメラに取り付けたマーカーの、前記基準座標系における３次元の移動軌跡を、前記移動カメラの３次元の移動軌跡として求め、
前記２次元軌跡検出ステップでは、前記マーカーの３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出することを特徴とする前記１または２に記載のカメラ較正方法。

【0072】

４．前記マーカーは、前記監視カメラで撮影して得られる画像に基づいて認識可能な特徴点を含む指標であることを特徴とする前記３に記載のカメラ較正方法。

【0073】

５．前記マーカーは、光源であることを特徴とする前記３に記載のカメラ較正方法。

【0074】

６．前記監視カメラ用較正パラメータ導出ステップでは、前記光源から出射される光を、前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させたときに、前記監視カメラでの撮影によって取得される前記光の外観を示す画像を用いて、前記監視カメラの撮影タイミングまたは場所に関する前記監視カメラ用較正パラメータを導出することを特徴とする前記５に記載のカメラ較正方法。

【0075】

７．前記監視カメラ用較正パラメータ導出ステップでは、前記光源から出射される光の点滅周期、色、または明るさを、前記移動カメラの撮影タイミングまたは場所に応じて変化させることにより、前記光を前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させることを特徴とする前記６に記載のカメラ較正方法。

【0076】

８．前記移動映像取得ステップでは、前記移動カメラを、前記監視カメラの視野を通過する際に、少なくとも１回停止させるか、前記移動カメラの３次元の移動軌跡中の任意の位置と、前記監視カメラの撮影画像上で対応する位置を特定可能な軌跡を描くように移動させることを特徴とする前記１から５のいずれかに記載のカメラ較正方法。

【0077】

９．前記軌跡は、突出部を有する図形形状であることを特徴とする前記８に記載のカメラ較正方法。

【0078】

１０．前記１から９のいずれかに記載のカメラ較正方法をコンピュータに実行させるカメラ較正プログラム。

【0079】

１１． １台以上の監視カメラの視野と重なるように移動して移動映像を取得する移動カメラの前記移動映像に基づき、前記移動映像の各フレームごとに、基準座標系における前記移動カメラの位置および姿勢を含む移動カメラ用較正パラメータを導出する移動カメラ用較正パラメータ導出部と、
前記移動カメラ用較正パラメータを用いて、前記基準座標系における前記移動カメラの３次元の移動軌跡を求める３次元軌跡取得部と、
前記移動カメラの前記３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出する２次元軌跡検出部と、
前記３次元の移動軌跡の少なくとも一部と、前記２次元の移動軌跡とに基づいて、前記監視カメラの較正パラメータである監視カメラ用較正パラメータを導出する監視カメラ用較正パラメータ導出部とを含むことを特徴とするカメラ較正装置。

【0080】

１２．前記移動カメラ用較正パラメータ導出部は、前記移動映像に基づき、前記移動カメラ用較正パラメータの導出に加えて、前記監視カメラの撮影範囲にある物体または環境の形状を示す３次元点群を推定し、
該カメラ較正装置は、
前記３次元点群の前記監視カメラの撮影画像上での位置を、２次元点群として検出する２次元点群検出部をさらに含み、
前記監視カメラ用較正パラメータ導出部は、前記３次元の移動軌跡および前記３次元点群と、前記２次元の移動軌跡および前記２次元点群とを用いて、前記監視カメラ用較正パラメータを導出することを特徴とする前記１１に記載のカメラ較正装置。

【0081】

１３．前記３次元軌跡取得部は、前記移動カメラの移動に伴って移動する、前記移動カメラに取り付けたマーカーの、前記基準座標系における３次元の移動軌跡を、前記移動カメラの３次元の移動軌跡として求め、
前記２次元軌跡検出部は、前記マーカーの３次元の移動軌跡の少なくとも一部を、前記監視カメラの撮影画像上での２次元の移動軌跡として検出することを特徴とする前記１１または１２に記載のカメラ較正装置。

【0082】

１４．前記マーカーは、前記監視カメラで撮影して得られる画像に基づいて認識可能な特徴点を含む指標であることを特徴とする前記１３に記載のカメラ較正装置。

【0083】

１５．前記マーカーは、光源であることを特徴とする前記１３に記載のカメラ較正装置。

【0084】

１６．前記光源からの光の出射を制御する光源制御部をさらに含み、
前記監視カメラ用較正パラメータ導出部は、前記光源制御部によって前記光源から出射される光を、前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させたときに、前記監視カメラでの撮影によって取得される前記光の外観を示す画像を用いて、前記監視カメラの撮影タイミングまたは場所に関する前記監視カメラ用較正パラメータを導出することを特徴とする前記１５に記載のカメラ較正装置。

【0085】

１７．前記光源制御部は、前記光源から出射される光の点滅周期、色、または明るさを、前記移動カメラの撮影タイミングまたは場所に応じて変化させることにより、前記光を前記移動カメラの撮影タイミングまたは場所に応じて固有な外観に変化させることを特徴とする前記１６に記載のカメラ較正装置。

【0086】

１８．前記１１から１７のいずれかに記載のカメラ較正装置と、
１台以上の前記固定カメラと、
前記移動カメラとを含むことを特徴とするカメラ較正システム。

【0087】

１９．前記カメラ較正装置は、前記移動カメラを、前記監視カメラの視野を通過する際に、少なくとも１回停止させるか、前記移動カメラの３次元の移動軌跡中の任意の位置と、前記監視カメラの撮影画像上で対応する位置を特定可能な軌跡を描くように移動させる移動制御部をさらに含むことを特徴とする前記１８に記載のカメラ較正システム。

【0088】

２０．前記軌跡は、突出部を有する図形形状であることを特徴とする前記１９に記載のカメラ較正システム。

【0089】

２１．前記１０に記載のカメラ較正プログラムを記録した、コンピュータ読取可能な記録媒体。

【0090】

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

【産業上の利用可能性】

【0091】

本発明は、１台の監視カメラを含む監視システムや、２台以上の監視カメラを分散して配置した分散監視システムに利用可能である。

【符号の説明】

【0092】

１ カメラ較正システム
２ 監視カメラ
２ａ 撮影画像
３ 移動カメラ
４ カメラ較正装置
５ａ 主制御部（光源制御部）
５ｂ 移動制御部
１０ａ 移動カメラ用較正パラメータ導出部
１０ｂ ３次元軌跡取得部
１０ｃ ２次元軌跡検出部
１０ｄ 監視カメラ用較正パラメータ導出部
１０ｅ ２次元点群検出部
Ｅ 突出部
Ｅ₁ 位置
Ｅ₁’ 位置
Ｍ マーカー
Ｍ₁ 指標
Ｍ₂ 光源
Ｐ 特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】