特許 6738293 カメラキャリブレーション方法、プログラムおよび装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6738293

(24)【登録日】2020年7月21日

(45)【発行日】2020年8月12日

(54)【発明の名称】カメラキャリブレーション方法、プログラムおよび装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200730BHJP

   G06T 1/00 20060101ALI20200730BHJP

【ＦＩ】

   H04N5/232

   H04N5/232 290

   G06T1/00 315

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2017-31987(P2017-31987)

(22)【出願日】2017年2月23日

(65)【公開番号】特開2018-137667(P2018-137667A)

(43)【公開日】2018年8月30日

【審査請求日】2019年1月10日

【前置審査】

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】要 強

(72)【発明者】

【氏名】内藤 整

【審査官】 中嶋 樹理

(56)【参考文献】

【文献】 河北 薫 他３名，方向成分を考慮した交点マッチングによる平面射影行列の推定，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１２年 ４月，Ｖｏｌ．１１２ Ｎｏ．２０，ｐ．８１−８６

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う装置において、
カメラ画像からフィールドラインを抽出する手段と、
フィールドラインの交点を計算する手段と、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成する手段と、
各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成する手段と、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成する手段と、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成する手段と、
前記カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとを比較して類似度の高い上位Nベストのモデル交点特徴ベクトルVmを抽出する手段と、
前記類似度の高い上位Nベストのモデル交点特徴ベクトルVmとカメラ交点特徴ベクトルVcとの対応関係に基づいてＮ個の対応点セットを設定する手段と、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価する手段とを具備し、
前記評価する手段は、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求める手段と、
前記各対応する線分の交点をカメラポイントとして登録する手段と、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算する手段とを具備し、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーション装置。

【請求項2】

前記モデル交点特徴ベクトルVmを生成する手段は、カメラ画像の各交点を計算する各フィールドラインに対応するフィールドモデル上の各フィールドラインの組み合わせ候補ごとに計算されるモデル交点特徴ベクトル要素に基づいてモデル交点特徴ベクトルVmを生成することを特徴とする請求項１に記載のカメラキャリブレーション装置。

【請求項3】

前記各特徴ベクトル要素が、各交点から延びるフィールドラインの向きの数をビット長とするバイナリデータであり、各方向に延びるフィールドラインが抽出されたか否かに応じて各ビット値が2値のいずれかに設定されることを特徴とする請求項１または２に記載のカメラキャリブレーション装置。

【請求項4】

前記各特徴ベクトル要素が4ビットのバイナリデータであり、各ビット位置には各交点から延びる相互に直行する4方向のそれぞれが対応付けられたことを特徴とする請求項３に記載のカメラキャリブレーション装置。

【請求項5】

前記カメラ交点特徴ベクトル要素を生成する手段は、カメラ画像上で各交点から各方向に所定範囲内でフィールドライン画素の探索を繰り返して発見数を積算し、積算値が所定の閾値を超えると当該方向にフィールドラインが延びている判別することを特徴とする請求項３または４に記載のカメラキャリブレーション装置。

【請求項6】

前記カメラ交点特徴ベクトル要素を生成する手段は、フィールドライン画素の発見率の少ない向きの探索を途中で中断することを特徴とする請求項５に記載のカメラキャリブレーション装置。

【請求項7】

前記フィールドラインを抽出する手段が、抽出された各フィールドラインを垂直フィールドラインおよび水平フィールドラインのいずれかに分類する手段を具備し、
前記交点を計算する手段は、各垂直フィールドラインと各水平フィールドラインとの交点を計算することを特徴とする請求項１ないし６のいずれかに記載のカメラキャリブレーション装置。

【請求項8】

前記カメラ交点特徴ベクトルVcを生成する手段は、各交点のカメラ交点特徴ベクトル要素を当該各交点がラスタスキャンされる順序で配列してカメラ交点特徴ベクトルVcとすることを特徴とする請求項１ないし７のいずれかに記載のカメラキャリブレーション装置。

【請求項9】

前記モデル交点特徴ベクトルVmを抽出する手段は、前記カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとのハミング距離Dを求め、当該ハミング距離Dが最小となるモデル交点特徴ベクトルVmを抽出することを特徴とする請求項１ないし８のいずれかに記載のカメラキャリブレーション装置。

【請求項10】

前記モデル交点特徴ベクトルVmを抽出する手段は、カメラ画像から抽出されたフィールドラインの交点にカメラ画像上で見えない交点が含まれていると、前記カメラ交点特徴ベクトルVcの当該見えない交点の特徴ベクトル要素の部分に、比較するモデル交点特徴ベクトルVmの対応する交点の特徴ベクトル要素をコピーすることを特徴とする請求項１ないし９のいずれかに記載のカメラキャリブレーション装置。

【請求項11】

フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う方法において、
カメラ画像からフィールドラインを抽出し、
フィールドラインの交点を計算し、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成し、
前記各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成し、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成し、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成し、
前記カメラ交点特徴ベクトルVcとの類似度の高い上位Nベストのモデル交点特徴ベクトルVmと当該カメラ交点特徴ベクトルVcとの対応関係に基づいてＮ個の対応点セットを設定し、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価し、
前記評価では、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求め、
前記各対応する線分の交点をカメラポイントとして登録し、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算し、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーション方法。

【請求項12】

フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う方法において、
カメラ画像からフィールドラインを抽出する手順と、
フィールドラインの交点を計算する手順と、
前記交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成する手順と、
前記各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成する手順と、
フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成する手順と、
前記カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素の交点を定義した水平フィールドラインおよび垂直フィールドラインの各本数と同一となる各フィールドラインの組み合わせごとに前記モデル交点特徴ベクトル要素のセットを抽出し、当該セットごとに各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成する手順と、
前記カメラ交点特徴ベクトルVcとの類似度の高い上位Nベストのモデル交点特徴ベクトルVmと当該カメラ交点特徴ベクトルVcとの対応関係に基づいてＮ個の対応点セットを設定する手順と、
前記対応点セットに基づいて計算したN個のホモグラフィ行列を評価する手順とをコンピュータに実行させ、
前記評価する手順が、
フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求める手順と、
前記各対応する線分の交点をカメラポイントとして登録する手順と、
n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算する手順とを含み、
前記変位が最小値を示すホモグラフィ行列の評価を最も高くすることを特徴とするカメラキャリブレーションプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラキャリブレーション方法および装置に係り、特に、野球、サッカーまたはテニスのように、フィールドラインを含むカメラ画像を用いてカメラキャリブレーションを行う方法、プログラムおよび装置に関する。

【背景技術】

【0002】

カメラキャリブレーションは、3Dコンピュータビジョンにおいて非常に重要な技術であり、現実シーンのワールド座標系とカメラ画像のピクセル座標系との関係は、カメラに固有の内部および外部パラメータ（あるいはホモグラフィ行列）に基づいて求められる。

【0003】

特に、スポーツ系の映像における自由視点でのナビゲーションでは、実際のフィールド上での各選手の位置が重要であり、カメラ画像における各選手の座標をホモグラフィ行列で射影変換することで求められる。したがって、正確なカメラキャリブレーションを自動で行える技術が、自由視点ナビゲーションやビデオ分析のリアルタイムアプリケーションにおいて必要とされる。

【0004】

非特許文献１には、スポーツイベントにおける自由視点ナビゲーションのためのフィールドモデルに基づくカメラの自動キャリブレーション方法が開示されている。非特許文献１では、カメラ画像内の線分のヒストグラムを使用して頑健なフィールド線を抽出し、２本の水平線と２本の垂直線との4つの交点を抽出して、ホモグラフィ行列を推定している。

【0005】

特許文献１には、カメラ画像からフィールドライン画像を抽出し、フィールドライン画像からラインセグメントを抽出してフィールドラインを認識し、各フィールドラインを垂直および水平フィールドライン群に分類し、フィールドライン群ごとに各フィールドラインを評価し、評価の高いフィールドライン同士の交点に基づいて対応点を設定し、設定された対応点に基づいてホモグラフィ行列を決定する技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2016-220129号公報

【非特許文献】

【0007】

【非特許文献1】Qiang Yao, Hiroshi Sankoh, Keisuke Nonaka, Sei Naito, "Automatic Camera Self-Calibration for Immersive Navigation of Free Viewpoint Sports Video", Multimedia Signal Processing (MMSP), 2016 IEEE International Workshop on. Montreal, Canada, IEEE, 2016. 09.

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１では、カメラ画像から4つの交点しか抽出できないので完全なモデルマッチングが必要であり、マッチングに長時間を要するのみならず、４つの交点がカメラ画像の広い領域をカバーしない限りはホモグラフィ行列の精度が低下するという技術課題があった。

【0009】

特許文献１では、正しいホモグラフィ行列を計算するためには完全なモデルマッチングが必要であり、カメラ画像から認識できない交点があるとホモグラフィ行列の精度が低下するという技術課題があった。

【0010】

本発明の目的は、上記の技術課題を解決し、多数の交点を用いながら完全なモデルマッチングを必要とせずに、カメラ画像からホモグラフィ行列を精度良く算出できるカメラキャリブレーション方法、プログラムおよび装置を提供することにある。

【課題を解決するための手段】

【0011】

上記の目的を達成するために、本発明は、フィールドモデルとカメラ画像との間のホモグラフィ行列に基づいてカメラキャリブレーションを行う装置において、以下の構成を具備した点に特徴がある。

【0012】

(1) カメラ画像からフィールドラインを抽出する手段と、フィールドラインの交点を計算する手段と、交点ごとに当該交点を通るフィールドラインの数および向きに基づいてカメラ交点特徴ベクトル要素を生成する手段と、各カメラ交点特徴ベクトル要素を所定の順序で配列してカメラ交点特徴ベクトルVcを生成する手段と、フィールドモデルの各フィールドラインの交点ごとにモデル交点特徴ベクトル要素を生成する手段と、カメラ交点特徴ベクトルVcの各カメラ交点特徴ベクトル要素と交点の配列が類似するモデル交点特徴ベクトル要素の組み合わせごとに当該各モデル交点特徴ベクトル要素を前記所定の順序で配列して複数のモデル交点特徴ベクトルVmを生成する手段と、カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとを比較して類似度の高いモデル交点特徴ベクトルVmを抽出する手段と、類似度の高いモデル交点特徴ベクトルVmとカメラ交点特徴ベクトルVcとの対応関係に基づいて対応点を設定し、ホモグラフィ行列を計算する手段とを具備した。

【0013】

(2) 前記類似度の高いモデル交点特徴ベクトルVmを抽出する手段が、類似度の高い上位Nベストのモデル交点特徴ベクトルVmを抽出し、前記Nベストのモデル交点特徴ベクトルVmを評価する手段を具備し、前記評価する手段は、フレーム画像の左右の境界線を各ホモグラフィ行列でフィールドモデルに投影して各対応する線分を求める手段と、前記各対応する線分の交点をカメラポイントとして登録する手段と、n番目のフレーム画像に基づいて登録されたカメラポイントとm番目のフレーム画像に基づいて登録されたカメラポイントとの変位を計算する手段とを具備し、変位が最小値を示すホモグラフィ行列の評価を最も高くするようにした。

【0014】

(3) 前記特徴ベクトル要素が、各交点から延びるフィールドラインの向きの数をビット長とするバイナリデータであり、各方向に延びるフィールドラインが抽出されたか否かに応じて各ビット値が2値のいずれかに設定されるようにした。

【0015】

(4) 前記類似度の高いモデル交点特徴ベクトルVmを抽出する手段は、各交点の特徴ベクトル要素を当該各交点がラスタスキャンされる順序で配列してカメラ交点特徴ベクトルVcとするようにした。

【0016】

(5) 前記類似度の高いモデル交点特徴ベクトルVmを抽出する手段は、カメラ画像から抽出されたフィールドラインの交点にカメラ画像上で見えない交点が含まれていると、前記カメラ交点特徴ベクトルVcの当該見えない交点の特徴ベクトル要素の部分に、モデル交点特徴ベクトルVmのマッチング範囲内の対応する交点の特徴ベクトル要素をコピーするようにした。

【発明の効果】

【0017】

本発明によれば、以下のような効果が達成される。

【0018】

(1) ホモグラフィ行列を計算するための対応点が4点に限定されず、かつ全ての対応点での完全なマッチングが不要となるので、ホモグラフィ行列を短時間で精度良く算出できるようになる。

【0019】

(2) 各交点の特徴量として、当該交点から延びるラインの方向及び数に基づくバイナリデータ（特徴ベクトル要素）を採用するので、各交点の特徴量のデータサイズが小さくなり、マッチング処理が簡単化されて処理速度が向上する。

【0020】

(3) カメラ画像から抽出した各交点の特徴量（特徴ベクトル要素）を所定の規則、例えば、ラスタスキャンの順序で一次元に配列することでカメラ交点特徴ベクトルVcを生成する一方、当該各交点と配列が類似するフィールドモデルの各交点の組み合わせのみを抽出し、当該組み合わせごとに各交点の特徴量を同じ規則で一次元に配列することでモデル交点特徴ベクトルVmを生成するので、マッチング対象のモデル交点特徴ベクトル数が減ぜられ、高速なマッチング処理が可能になる。

【0021】

(4) カメラ画像で見えない交点が検知されると、その特徴量（特徴ベクトル要素）がフィールドモデルの対応する交点の特徴量で補間されるので、見えない交点が存在してもマッチング精度の低下が防止される。

【図面の簡単な説明】

【0022】

【図1】本発明の第１実施形態に係るカメラキャリブレーション装置の主要部の構成を示した機能ブロック図である。

【図2】カメラ画像I_RGBの一例を示した図である。

【図3】フィールドグラウンド画像Gの一例を示した図である。

【図4】フィールドライン画像Fの一例を示した図である。

【図5】ルックアップテーブル（LUT）の一例を示した図である。

【図6】各交点から延びるフィールドラインの方向を示した図である。

【図7】特徴ベクトル要素の設定方法を示した図である。

【図8】特徴ベクトル要素の設定例を示した図である。

【図9】カメラ交点特徴ベクトルの生成方法を示した図である。

【図10】特徴ベクトルVc，Vmのマッチング方法を示した図である。

【図11】見えない交点の特徴ベクトル要素を補間する方法を説明する図である。

【図12】見えない交点の例を示した図である。

【図13】本発明の第２実施形態に係るカメラキャリブレーション装置の主要部の構成を示した機能ブロック図である。

【図14】ホモグラフィ行列の評価方法を説明するための図である。

【図15】ホモグラフィ行列の評価手順を示したフローチャートである。

【図16】２つのカメラcam1，cam2のホモグラフィ行列を較正する方法を示した図である。

【発明を実施するための形態】

【0023】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るカメラキャリブレーション装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

【0024】

フィールドグラウンド画像抽出部１０は、図２に示したようなフィールドグラウンドの写ったカメラ画像I_RGBからフィールドグラウンド領域以外のバックグラウンド領域を除去してフィールドグラウンド画像Gを取得する。

【0025】

本実施形態では、初めにカメラ画像I_RGBをRBG色空間からHSV色空間の画像I_HSVに変換する。次いで、いくつかの統計的閾値σ_min^H, σ_max^H、σ_min^Vを推定し、次式(1)のラベリングプロセスを用いてフィールドグラウンドを抽出する。本実施形態では、ラベルされたマスク画像Bにより、図３に示したフィールドグラウンド画像Gが抽出される。

【0026】

【数1】

【0027】

フィールドライン画像抽出部２０は、前記フィールドグラウンド画像Gに基づいて、画素強度（グレースケール）および画素勾配を次式(2)で閾値化することにより、図４に一例を示したフィールドライン画像Fを抽出する。

【0028】

【数2】

【0029】

ここでは、初めにフィールドグラウンド画像Gがグレー画像に変換されている。符号th_wおよびth_gradは、それぞれ白色およびピクセル勾配の閾値である。符号Δは次式(3)で表される。τはフィールドグラウンド画像Gの各ピクセルG(x,y)の勾配を計算するために使用される距離である。

【0030】

【数3】

【0031】

フィールドライン解析部３０において、セグメント検知部３１は、フィールドライン画像Fに周知のハフ変換を適用して、フィールドラインの構成要素であるセグメント（線分）を検出する。各セグメントは始点座標P1(x1，y1)および終点座標P2 (x2，y2)によって定義されてセグメントリストに登録される。

【0032】

セグメントパラメータ計算部３２は、検出された各セグメントの傾きkおよびオフセット（切片）bの２つのパラメータを、それぞれ次式(4)，(5)で算出する。これら２つのパラメータは、後述するラインプルーニング部３３、ライン分類部３４およびソート部３５で使用される。

【0033】

【数4】

【0034】

【数5】

【0035】

前記ハフ変換により検出されたセグメント群には同一のフィールドラインを構成するセグメントが含まれることから、ラインプルーニング部３３は、冗長線を除去するためにラインプルーニングを実行する。このとき、前記傾きkおよびオフセットbは２つの線分を比較するために使用され、次式(6)，(7)がいずれも成立すると、２つのセグメントli，ljは同一のフィールドラインを構成すると判断されてセグメントljがセグメントリストから除去され、セグメントリストに残ったセグメントに基づいて各フィールドラインが判別される。

【0036】

ここで、ki，kjはそれぞれセグメントli，ljの傾きであり、bi，bjはそれぞれセグメントli，ljのオフセットである。閾値Δαは傾きki，kjの同一性を判断する閾値であり、閾値Δβはオフセットbi，bjの同一性を判断する閾値である。

【0037】

【数6】

【0038】

【数7】

【0039】

ライン分類部３4は、判別されたフィールドラインから交点を計算するために、各フィールドラインを、その傾きkに基づいて水平フィールドラインL_Hおよび垂直フィールドラインL_Vのいずれかに分類する。

【0040】

本実施形態では、ライン分類閾値γを予め定義しておき、|ki|＞γならば垂直フィールドラインL_Vに分類し、|ki|≦γならば水平フィールドラインL_Hに分類する。また、ライン分類閾値はカメラの位置および撮影方向によって異なることがある。したがって、ライン分類処理の後、水平フィールドラインL_Hおよび垂直フィールドラインL_Vは２つのサブセットになっている。

【0041】

ソート部３５は、水平フィールドラインL_Hを上から下にソートし、垂直フィールドラインL_Vを左から右にソートする。水平フィールドラインL_Hをソートする際はオフセットbiを使用して、対応するラインを上から下にソートする。垂直フィールドラインL_Vのソートでは、一番上の水平フィールドラインL_Hに注目して当該水平フィールドラインL_Hと各垂直フィールドラインL_Vとの交点を算出し、当該交点のx座標値に従って各垂直フィールドラインL_Vをソートする。

【0042】

なお、前記傾き閾値Δα、オフセット閾値Δβおよびライン分類閾値γは、カメラの位置および向きに依存する。そこで、本実施形態では図５に示したように、各カメラの位置に固有の閾値群を登録したルックアップテーブル（LUT）１００を予め構築していき、カメラごとに当該カメラに対応した閾値群を採用するようにしている。

【0043】

図１へ戻り、交点検出部４０は、垂直フィールドラインL_Vと水平フィールドラインL_Hとの交点を周知の手法で検出し、その座標を計算する。

【0044】

ベクトル情報生成部５０は、検知された交点の特徴量として特徴ベクトル要素を生成する。ライン方向分析部５１は、交点ごとに当該交点から延びるフィールドラインの数および向きに基づいて特徴ベクトル要素を生成するために、検知された交点ごとに当該交点から延びるフィールドラインの有無を検知する。

【0045】

本実施形態では、各交点P(x,y)で直交する4方向に関してフィールドラインの探索を実施するが、図６に示したように、垂直フィールドラインLvに沿った各方向が「UP（上）」「DOWN（下）」、水平フィールドラインL_Hに沿った各方向が「RIGHT（右）」「LEFT（左）」と定義される。

【0046】

また、本実施形態ではロバスト性を維持するために、各方向に画素値を積算するアキュムレータを定義する。d_i^Uは「UP」方向のアキュムレータであり、交点P(x,y)の「UP」方向に沿って白いピクセルが発見されるごとに、対応するアキュムレータd_i^Uに「１」が加算される。さらに、累積範囲をNと定義する（Nは妥当な探索範囲）。したがって、次式(8)で表される累積数は0とNとの間の値をとる。

【0047】

【数8】

【0048】

また、本実施形態では存否閾値μ(0＜μ＜1)が定義され、d_i^U＞μNであれば「UP」方向へのフィールドラインの存在が認定され、d_i^U≦μNであればフィールドラインの存在が否定される。さらに、本実施形態では別の閾値μ_rejを高速アルゴリズムとして定義し、連続して次式(9)が成立すると、当該方向へのフィールドラインの存在が否定される。

【0049】

【数9】

【0050】

このような分析は、交点P(x、y)を起点として、各フィールドラインの傾きに基づく方向ごとに行われ、UP方向のアキュムレータd_i^U、DOWN方向のアキュムレータd_i^D、RIGHT方向のアキュムレータd_i^R、LEFT方向のアキュムレータd_i^Lの解析は、それぞれ次式(10)〜(13)に基づいて行われる。

【0051】

【数10】

【0052】

【数11】

【0053】

【数12】

【0054】

【数13】

【0055】

各式は、それぞれの方向に白色の画素（画素地＝255）が見つかれば「1」となし、見つからなければ「0」となる。

【0056】

特徴ベクトル要素生成部５２は、検知された交点ごとに当該交点から各方向へ延びるフィールドラインの存否に基づいて特徴ベクトル要素を生成する。

【0057】

本実施形態では、図７に示したように、交点ごとに各方向へ延びるフィールドラインの存否が、4ビットのバイナリデータで構成される特徴ベクトル要素の各ビットに割り当てられ、例えば、「UP」方向への存否が最上位ビット（MSB1）に割り当てられる。

【0058】

同様に、「RIGHT」方向への存否がMSB2に割り当てられ、「DOWN」方向への存否がMSB3に割り当てられ、「LEFT」方向への存否が最下位ビット（MSB4）に割り当てられる。そして、各ビットに対して、フィールドラインが存在していれば「１」、存在していなければ「０」がセットされる。したがって、図７，８に示したように、「UP」方向へ延びる垂直フィールドラインと「LEFT」方向へ延びる垂直フィールドラインとが検知されている交点の特徴ベクトル要素は"1001"となる。

【0059】

カメラ交点特徴ベクトル生成部５３は、各交点の特徴ベクトル要素を所定の順序、例えば図９に示したようなラスタスキャンの順序で一次元に配列してカメラ交点特徴ベクトルVcを生成する。したがって、図９の例ではカメラ交点特徴ベクトルVcは次式(14)のようになる。

【0060】

【数14】

【0061】

図１へ戻り、モデル交点特徴ベクトル要素記憶部６０には、フィールドモデルの各フィールドラインの交点ごとに当該交点を通るフィールドラインの数および方向に基づいて予め上記と同様の手順で生成された特徴ベクトル要素が記憶されている。

【0062】

対応点設定部７０において、モデル交点特徴ベクトル生成部７１は、カメラ交点特徴ベクトルVcの各特徴ベクトル要素に係る交点を定義した水平フィールドラインL_Hおよび垂直フィールドラインL_Vの各本数に応じて、カメラ交点特徴ベクトルVcの各特徴ベクトル要素と交点の配列が類似するモデル交点特徴ベクトル要素の組み合わせを抽出する。そして、当該特徴ベクトル要素の組み合わせごとに各特徴ベクトル要素を配列して複数のモデル交点特徴ベクトルVmを生成する。

【0063】

マッチング部７２は、カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとの間でマッチングを実行し、類似度が最も高いモデル交点特徴ベクトルVmとカメラ交点特徴ベクトルVcとの対応関係に基づいて対応点を設定する。

【0064】

図１０は、カメラ交点特徴ベクトルVcとモデル交点特徴ベクトルVmとのマッチング方法を模式的に示した図である。

【0065】

カメラ交点特徴ベクトルVcが、例えば3本の水平フィールドラインL_Hと2本の垂直フィールドラインL_Vとの交点に関する６つの特徴ベクトル要素をラスタスキャン順に連結して構成されていると、モデル交点特徴ベクトル生成部７１は、Vm要素記憶部６０から、フィールドモデルの3本の水平フィールドラインと2本の垂直フィールドラインとの交点、すなわちカメラ画像の交点と配列（水平及び垂直位置）が類似する交点に係る６つの特徴ベクトル要素のセットを全て抽出し、それぞれをラスタスキャン順に連結してモデル交点特徴ベクトルVmを生成する。

【0066】

すなわち、図９に示したように、フィールドモデルが６本の水平フィールドラインL_Hと７本の垂直フィールドラインL_Vとから構成されていると、６本の水平フィールドラインL_Hから任意に選択した３本（₆C₃=２０通り）と、７本の垂直フィールドラインL_Vから任意に選択した２本（₇C₂=２１通り）との各交点に関する６つの特徴ベクトル要素の組み合わせを前記Vm要素記憶部６０から取得し、組み合わせごとに６つの特徴ベクトル要素を連結して４２０個のモデル交点特徴ベクトルVmを生成する。

【0067】

マッチング部７２は、カメラ交点特徴ベクトルVcと各モデル交点特徴ベクトルVmとのハミング距離Dをそれぞれ求める。そして、全ての組み合わせについてハミング距離Dが求まると、その中で最小のハミング距離Dを与えるモデル交点特徴ベクトルVmとカメラ交点特徴ベクトルVcとの対応する交点が対応点として登録される。

【0068】

なお、図１２に示したように、検出された交点Pに、カメラ画像の範囲から外れて見えない（インビジブル）交点が含まれていると、カメラ交点特徴ベクトルVcの対応する交点部分には特徴ベクトル要素が生成されない。

【0069】

本実施形態では、このような場合も想定し、カメラ交点特徴ベクトルVcがインビジブルな交点（符号？で代表）を含み、4ビットの特徴ベクトル要素vが設定されていない場合には、モデル交点特徴ベクトルVmにおいて対応する交点の4ビット値をコピーすることでカメラ交点特徴ベクトルVcを補間する。そして、補間後のカメラ交点特徴ベクトルVcとモデル交点特徴ベクトルVmとに基づいてハミング距離Dを計算する。

【0070】

図１へ戻り、ホモグラフィ行列決定部８０は、少なくとも４つの対応点に基づいてホモグラフィ行列を決定する。カメラパラメータ計算部９０は、前記決定されたホモグラフィ行列とカメラの内部パラメータとに基づいてカメラキャリブレーション行列を計算する。

【0071】

図１３は、本発明の第２実施形態の構成を示した機能ブロック図であり、上記と同一の符号は同一又は同等部分を表している。本実施形態は、複数のホモグラフィ行列を評価して、いずれか一のホモグラフィ行列を選択するホモグラフィ行列評価部１１０を設けた点に特徴がある。

【0072】

上記の第１実施形態では、カメラ交点特徴ベクトルVcと複数のモデル交点特徴ベクトルVmとのマッチング結果に基づいて最尤のモデル交点特徴ベクトルVmを一つだけ求め、その対応点に基づいてホモグラフィ行列を求めるものとして説明したが、本実施形態では、前記対応点設定部７０がハミング距離Dの小さい上位Nベストのモデル交点特徴ベクトルVmを抽出する。

【0073】

前記ホモグラフィ行列決定部８０は、上位Nベストのモデル交点特徴ベクトルVmに関する対応点セットごとにホモグラフィ行列を計算することでN個のホモグラフィ行列を生成し、モグラフィ行列評価部１１０は、N個のホモグラフィ行列の中から最尤のモグラフィ行列を選択する。

【0074】

ホモグラフィ行列の評価、検証に関しては逆投影が効果的な方法として知られている。しかしながら、特に固定されていないカメラ（パンチルトズーム）の場合には評価に相応の時間が必要となる。そこで、本実施形態では、逆投影手法よりもはるかに簡単で高速な新しい検証方法を新規に採用している
図１４は、前記ホモグラフィ行列評価部１１０によるホモグラフィ行列の評価方法を示した図である。

【0075】

本実施形態では、初めにn番目のフレーム画像にホモグラフィ行列を適用してカメラポイント(M,N)が推定される。次いで、m番目のフレーム画像にホモグラフィ行列を適用してカメラポイント(M',N')が推定される。そして、カメラポイント(M,N)，(M',N')を比較することで当該ホモグラフィ行列が評価される。

【0076】

図１５は、ホモグラフィ行列の評価手順を示したフローチャートであり、ステップＳ１では、n番目のフレーム画像上で2つの境界線が選択される。ここでは、左側境界線W_1Lおよび右側境界線W_1Rが選択されたものとして説明する。

【0077】

ステップＳ２では、前記抽出されているホモグラフィ行列を用いて各境界線W_1L，W_1Rがフィールドモデルに投影される。ステップＳ３では、投影された2つの線分W_1l，W_1rの交点座標を求め、これが基準カメラポイント(M,N)として登録される。

【0078】

ステップＳ４では、m番目のフレーム画像上で選択された2つの境界線W_2Lおよび右側境界線W_2Rを対象に上記と同様の処理が実行されてカメラポイント(M',N')が登録される。ステップＳ５では、次式に基づいて各カメラポイント(M,N)，(M',N')の変位θが計算される。

【0079】

【数15】

【0080】

ステップＳ６では、前記Nベストの各ホモグラフィ行列を用いて計算された各変位θが比較され、最小の変位θを与えるホモグラフィ行列が最尤のホモグラフィ行列として選択される。

【0081】

本実施形態によれば、全体として、固定されていないカメラは、上記の方法を使用することによって、自動的、堅牢かつ迅速に評価することができる。
また、上記のようにして計算された最尤のホモグラフィ行列は、図１６に示したように、互いに遠く離れた２つのカメラcam1，cam2を較正するためにも使用することができる。通常、2つのカメラ間の較正は、特徴点の検出およびマッチングを使用することで実現される。しかしながら、２つのカメラcam1，cam2間のベースラインが大きいと較正精度が低くなり、あるいは較正できない場合もある。

【0082】

そこで、本発明ではフィールドモデルベースの較正方法として、cam1とcam2をリンクするブリッジを提供する。具体的には、各カメラcam1，cam2についてフィールドモデルに関するホモグラフィ行列H⁽¹⁾，H⁽²⁾を計算し、次式(16)でカメラCam1，Cam2間のホモグラフィ行列を計算する。

【0083】

【数16】

【0084】

なお、上記の各実施形態では、予めフィールド画像からフィールドラインを抽出して水平フィールドラインL_Hおよび垂直フィールドラインL_Vを抽出し、各水平フィールドラインL_Hと各垂直フィールドラインL_Vとの交点を検出したが、本発明はこれのみに限定されるものではなく、フィールド線画像とフィールドモデルの特徴点をそれぞれSIFTなどの周知の特徴検出法を用いて検出し、検出した特徴点をフィールド線の交点とみなすようにしても良い。

【符号の説明】

【0085】

１０…フィールドグラウンド画像抽出部，２０…フィールドライン画像抽出部，３０…フィールドライン解析部，３１…セグメント検知部，３２…セグメントパラメータ計算部，３３…ラインプルーニング部，３４…ライン分類部，３５…ソート部，４０…交点検出部，５０…ベクトル情報生成部，５１…ライン方向分析部，５２…特徴ベクトル要素生成部，５３…カメラ交点特徴ベクトル（Vc）生成部，６０…Vm要素記憶部，７０…対応点設定部，７１…モデル交点特徴ベクトル生成部，７２…マッチング部，８０…ホモグラフィ行列決定部，９０…カメラパラメータ計算部，１００…ルックアップテーブル（LUT），１１０…ホモグラフィ行列評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】