特許 6583923 カメラのキャリブレーション装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6583923

(24)【登録日】2019年9月13日

(45)【発行日】2019年10月2日

(54)【発明の名称】カメラのキャリブレーション装置、方法及びプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20190919BHJP

   H04N 5/232 20060101ALI20190919BHJP

   G03B 15/00 20060101ALI20190919BHJP

【ＦＩ】

   G06T7/70

   H04N5/232

   G03B15/00 U

【請求項の数】12

【全頁数】12

(21)【出願番号】特願2016-161404(P2016-161404)

(22)【出願日】2016年8月19日

(65)【公開番号】特開2018-28864(P2018-28864A)

(43)【公開日】2018年2月22日

【審査請求日】2018年10月9日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】要 強

(72)【発明者】

【氏名】内藤 整

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−５４９１４（ＪＰ，Ａ）

【文献】 特開２０１１−１３４３２２（ＪＰ，Ａ）

【文献】 特開２００９−２４５０６０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１８００８４（ＵＳ，Ａ１）

【文献】 河北薫, 外３名，“方向成分を考慮した交点マッチングによる平面射影行列の推定”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１２年 ４月２０日，第１１２巻, 第２０号，p.81-86

【文献】 島脇巧, 外２名，“シーン検索システムのための長時間サッカー中継映像の解析”，情報処理学会研究報告，日本，社団法人情報処理学会，２００４年 ５月 ７日，第２００４巻, 第４０号，p.125-132

【文献】 呉海元, 外２名，“ロボットのボディを利用したカメラキャリブレーション”，情報処理学会研究報告，日本，社団法人情報処理学会，２００３年 １月１７日，第２００３巻, 第２号，p.67-74

【文献】 Xianghua Ying, 外１名，“Camera Calibration from a Circle and a Coplanar Point at Infinity with Applications to Sports Scenes Analyses”，Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems，米国，２００７年，p.220-225

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／７０

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置であって、
前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持する保持手段と、
前記フレームからライン部分を判定してラインを示すライン画像を生成する生成手段と、
前記ライン画像から前記２つの第１交点のカメラ座標と、前記２つの第２交点のカメラ座標を判定する判定手段と、
前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標及びカメラ座標と、に基づき前記フレームのホモグラフィ行列を算出する算出手段と、
を備えていることを特徴とするキャリブレーション装置。

【請求項2】

前記判定手段は、前記ライン画像に含まれる前記円状ラインの少なくとも一部から前記フレームのカメラ座標系において前記円状ラインを示す第１方程式を求め、前記ライン画像に含まれる前記直線状ラインの少なくとも一部から前記フレームのカメラ座標系において前記直線状ラインを示す第２方程式を求め、前記第１方程式と前記第２方程式とに基づき、前記ライン画像に含まれない第１交点のカメラ座標を判定することを特徴とする請求項１に記載のキャリブレーション装置。

【請求項3】

前記判定手段は、前記第２方程式から前記フレームのカメラ座標系において前記第１仮想直線を示す第３方程式を求め、前記第１方程式と前記第３方程式とに基づき、前記２つの第２交点のカメラ座標を判定することを特徴とする請求項２に記載のキャリブレーション装置。

【請求項4】

前記判定手段は、前記直線状ラインと直交する他の直線状ラインが前記ライン画像内にあると、前記フレームのカメラ座標系における前記他の直線状ラインの方向に基づき前記第３方程式を求めることを特徴とする請求項３に記載のキャリブレーション装置。

【請求項5】

スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置であって、
前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持する保持手段と、
前記フレームからライン部分を判定してラインを示すライン画像を生成する生成手段と、
前記ライン画像から前記２つの第１交点のカメラ座標を判定する判定手段と、
前記ライン画像から前記２つの第２交点のカメラ座標の候補の組を複数推定する推定手段と、
前記推定手段が推定した候補の組それぞれについて、前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標と、前記候補の組の２つのカメラ座標と、に基づきホモグラフィ行列を算出する算出手段と、
前記推定手段が推定した候補の組それぞれについて前記算出手段が算出したホモグラフィ行列から、前記フレームに対するホモグラフィ行列を選択する選択手段と、
を備えていることを特徴とするキャリブレーション装置。

【請求項6】

前記保持手段は、前記スポーツ・フィールドの複数の基準点それぞれの実座標を保持しており、
前記選択手段は、前記算出手段が算出したホモグラフィ行列それぞれにより基準点の座標をカメラ座標に変換し、変換後のカメラ座標と前記ライン画像が示すラインとの距離に基づき、前記算出手段が算出したホモグラフィ行列から前記フレームに対するホモグラフィ行列を選択することを特徴とする請求項５に記載のキャリブレーション装置。

【請求項7】

前記基準点は、前記スポーツ・フィールドの２つの直交するラインの交点を含むことを特徴とする請求項６に記載のキャリブレーション装置。

【請求項8】

前記判定手段は、前記ライン画像に含まれる前記円状ラインの少なくとも一部から前記フレームのカメラ座標系において前記円状ラインを示す第１方程式を求め、前記ライン画像に含まれる前記直線状ラインの少なくとも一部から前記フレームのカメラ座標系において前記直線状ラインを示す第２方程式を求め、前記第１方程式と前記第２方程式とに基づき、前記ライン画像に含まれない第１交点のカメラ座標を判定し、
前記推定手段は、前記第１方程式に基づき前記フレームのカメラ座標系において前記第１仮想直線を示す第３方程式を複数推定し、前記第３方程式と前記第１方程式の２つの交点のカメラ座標を、前記２つの第２交点のカメラ座標の候補の組とすることを特徴とする請求項５又は６に記載のキャリブレーション装置。

【請求項9】

前記フレームのカメラ座標系における前記第３方程式それぞれの傾きは、前記フレームのカメラ座標系における前記第２方程式の傾きに対して所定範囲内にあることを特徴とする請求項８に記載のキャリブレーション装置。

【請求項10】

スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置におけるキャリブレーション方法であって、前記キャリブレーション装置は、前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持しており、
前記キャリブレーション方法は、
前記フレームからライン部分を判定してラインを示すライン画像を生成する生成ステップと、
前記ライン画像から前記２つの第１交点のカメラ座標と、前記２つの第２交点のカメラ座標を判定する判定ステップと、
前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標及びカメラ座標と、に基づき前記フレームのホモグラフィ行列を算出する算出ステップと、
を含むことを特徴とするキャリブレーション方法。

【請求項11】

スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置におけるキャリブレーション方法であって、前記キャリブレーション装置は、前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持しており、
前記キャリブレーション方法は、
前記フレームからライン部分を判定してラインを示すライン画像を生成する生成ステップと、
前記ライン画像から前記２つの第１交点のカメラ座標を判定する判定ステップと、
前記ライン画像から前記２つの第２交点のカメラ座標の候補の組を複数推定する推定ステップと、
推定した候補の組それぞれについて、前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標と、前記候補の組の２つのカメラ座標と、に基づきホモグラフィ行列を算出する算出ステップと、
前記候補の組それぞれについて算出したホモグラフィ行列から、前記フレームに対するホモグラフィ行列を選択する選択ステップと、
を含むことを特徴とするキャリブレーション方法。

【請求項12】

請求項１から９のいずれか１項に記載のキャリブレーション装置としてコンピュータを機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラのキャリブレーション技術に関し、特に、野球、サッカーまたはテニスのようなスポーツ映像に対するキャリブレーション技術に関する。

【背景技術】

【0002】

カメラキャリブレーション（以下、単にキャリブレーションと呼ぶ）は、３Ｄコンピュータビジョンにおいて非常に重要な技術であり、現実シーンのワールド座標系（以下、実座標系と呼ぶ）とカメラ画像のピクセル座標系（以下、カメラ座標系と呼ぶ。）との関係は、カメラに固有の内部パラメータ及び外部パラメータ（あるいはホモグラフィ行列）に基づいて求められる。特に、スポーツ映像における自由視点でのナビゲーションでは、実際のフィールド上での各選手の位置が重要であり、カメラ画像における各選手の座標をホモグラフィ行列で射影変換することで求められる。したがって、正確なキャリブレーションを自動で行える技術が、自由視点ナビゲーションやビデオ分析のリアルタイムアプリケーションにおいて必要とされる。

【0003】

なお、あるフレームのホモグラフィ行列は、既知である少なくとも４点の実座標と、当該少なくとも４点の実座標に対応する、当該フレームでのカメラ座標が分かれば求めることができる。ここで、非特許文献１は、サッカーフィールドのペネルティエリアやゴールエリア等を示す２つの直交するラインの交点に基づきホモグラフィ行列を求める構成を開示している。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ｆａｒｉｎ ｅｔ ａｌ，"Ｒｏｂｕｓｔ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ｓｐｏｒｔ ｖｉｄｅｏｓ ｕｓｉｎｇ ｃｏｕｒｔ ｍｏｄｅｌｓ"，Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ２００４，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ，２００３

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１の構成では、映像を構成するフレームの内、直交する２つのラインの交点が少なくとも４つ存在するフレームに対してはホモグラフィ行列を求めることができるが、その他のフレームについてはホモグラフィ行列を求めることができない。

【0006】

本発明は、ホモグラフィ行列を算出できるフレームの数を、従来技術より多くできるキャリブレーション装置、方法及びプログラムを提供するものである。

【課題を解決するための手段】

【0007】

本発明の一側面によると、スポーツ・フィールドの円状ラインの少なくとも一部と、前記円状ラインと交差し、かつ、前記円状ラインの中心を通る直線状ラインの少なくとも一部を含むフレームから、当該フレームに対するホモグラフィ行列を求めるキャリブレーション装置は、前記直線状ラインと前記円状ラインとの２つの第１交点の実座標と、前記直線状ラインと直交し、かつ、前記円状ラインの中心を通る第１仮想直線と、前記円状ラインとの２つの第２交点の実座標と、を保持する保持手段と、前記フレームからライン部分を判定してラインを示すライン画像を生成する生成手段と、前記ライン画像から前記２つの第１交点のカメラ座標と、前記２つの第２交点のカメラ座標を判定する判定手段と、前記２つの第１交点の実座標及びカメラ座標と、前記２つの第２交点の実座標及びカメラ座標と、に基づき前記フレームのホモグラフィ行列を算出する算出手段と、を備えていることを特徴とする。

【発明の効果】

【0008】

本発明によると、従来技術より多くのフレームについてホモグラフィ行列を算出することができる。

【図面の簡単な説明】

【0009】

【図1】一実施形態においてキャリブレーション装置が保持する実座標の位置を示す図。

【図2】一実施形態によるキャリブレーション方法のフローチャート。

【図3】一実施形態によるライン画像を示す図。

【図4】一実施形態によるセンターサークルに基づくキャリブレーション方法のフローチャート。

【図5】一実施形態によるセンターサークルに基づくキャリブレーション方法の説明図。

【図6】一実施形態によるセンターサークルに基づくキャリブレーション方法の説明図。

【図7】一実施形態によるキャリブレーション装置の構成図。

【図8】一実施形態による第２ホモグラフィ行列判定部の構成図。

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態についてサッカーの映像を例にして説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

【0011】

＜第一実施形態＞
図１は、サッカーフィールドを示している。本実施形態によるキャリブレーション装置は、図１の黒丸、白丸、網掛をした丸の実座標を示す情報を保持している。また、フィールドにひかれたラインを実座標系で特定できる情報も保持している。なお、黒丸は、フィールド上に引かれた２つのラインの交点である。また、白丸は、フィールド上に引かれた２つのラインの交点ではないが、あるラインを伸ばした場合における他のラインとの交点を示している。なお、図１においては、あるラインを伸ばした部分を点線で示している。つまり、点線は、フィールド上に実際にひかれたラインではない。また、網掛をした丸は、センターラインと直交し、かつ、センターサークルの中心を通る直線とセンターサークルの交点を示している。

【0012】

図２は、本実施形態によるキャリブレーション装置が実行するキャリブレーション方法のフローチャートである。なお、図２は１つのフレームに対する処理を示し、実際には、映像内の全フレームに渡り図２の処理は繰り返される。まず、Ｓ１０において、フィールドの色とフィールド上のラインの色との違いに基づきフィールド上のライン部分を抽出する。一例として、フレームの、例えば、中央付近の所定領域内の各画素の色値の平均値を求める。そして、フレーム内の各画素について、平均値との色値の差が閾値以上ある画素を前景画素とし、それ以外の画素を背景画素（フィールドを示す画素）とする。そして、前景画素を例えば、画素値２５５（白色）で示し、背景画素を画素値０で示すマスク画像を生成する。通常、ライン及びフィールド上の選手に対応する画素が前景画素として得られる。続いて、ライン部分を強調するため、例えば、メディアンフィルタをマスク画像に適用し、フィルタ適用前後のマスク画像の差分を取ることでライン部分を示すライン画像を抽出することができる。なお、ライン画像にはフィールド上の選手によるノイズが現れるが、この部分は、ライン上に連続する画素とはならないため影響はない。なお、ライン画像の生成方法は、上述した例に限定されず、その他の公知の方法を使用できる。例えば、ラインの色は、通常、フィールドの色とは異なるため、ラインの色に基づきライン画像を抽出することもできる。また、上記例では、フレームの所定領域内の各画素の色値の平均値をフィールドの色値とし、平均値との差が少ない色値の画素をフィールドの画素としていたが、平均値の代わりに予め求めた固定的な値を使用することができる。なお、ライン画像とは、ラインに対応する画素と、それ以外の画素を２値で示す２値画像である。

【0013】

図３は、ライン画像の一例であり、黒色部分がラインとして抽出された画素（以下、ライン画素と呼ぶ）を示している。なお、ノイズは選手に起因するものである。また、図３に示す様に、フィールド上の各ラインには、所々にライン画素として検出されない箇所が存在する。キャリブレーション装置は、直線又は曲線状に連続するライン画素を１つのグループとする。図３の例では、グループ４０〜４９が、それぞれ、１つのグループとして検出される。なお、選手に起因するノイズは直線や曲線状とはならないため除外される。そして、キャリブレーション装置は、グループ内のライン画素の連続する方向から、直線を構成するグループと、曲線を構成するグループに分類する。そして、直線を構成するグループについては、ライン画素の連続する方向と、その位置から、さらに、同じラインを示すグループを判定する。つまり、図３の例では、ライン画素のグループ４０〜４２が１つの連続する直線の部分であり、ライン画素のグループ４３〜４５が１つの連続する直線の部分であり、ライン画素のグループ４６〜４９が１つの連続する円の部分であると判定することができる。これにより、キャリブレーション装置は、実際にはラインであるが、ライン画素として抽出されなかった部分を補間して、処理対象のフレーム内に写っているフィールドのラインを復元することができる。つまり、例えば、図３のセンターサークルは、４箇所で途切れているが、途切れている部分をライン画素に置き換えて、フレーム上では楕円状に見えるセンターサークルを示す様にライン画像を変更することができる。なお、選手に起因するノイズをラインに属するグループと誤判定することを避けるため、所定数以上の画素が直線又は曲線状に繋がっているグループのみを検出して、同じラインのグループか否かを判定する構成であっても良い。

【0014】

図２に戻り、キャリブレーション装置は、Ｓ１１で、ライン画像がゴール付近の画像であり、直交する２つのラインの交点が少なくとも４つ存在するかを判定する。なお、図１に示す様に、直交する２つのラインの総ての交点の実座標は既知である。直交する２つのラインの交点が少なくとも４つ存在すると、キャリブレーション装置は、Ｓ１２で、非特許文献１に記載の構成により処理対象フレームのホモグラフィ行列を算出する。例えば、ゴールエリアを示すラインの４つの頂点がライン画像に存在すると、この４つの頂点の実座標とライン画像におけるカメラ座標に基づきホモグラフィ行列を算出することができる。なお、フレーム内の交点が、実座標系のどの交点に対応するかはライン画像が示すラインと、図１にて説明したフィールドにひかれたラインを実座標系で特定できる情報との比較により特定することができる。

【0015】

一方、Ｓ１１で、少なくとも４つの交点がライン画像に存在しないと、キャリブレーション装置は、Ｓ１２で、センターサークル及びセンターラインがライン画像内にあるかを判定する。なお、センターサークル及びセンターラインの総てがライン画像内にある必要はなく、それぞれの部分が存在すれば良い。なお、サッカーフィールドにおいて曲線は、センターサークルと、ペナルティアークのみであり、ペナルティアーク付近のフレームと、センターサークル付近のフレームでは、フレーム内のラインの数等が異なるため、ライン画像の曲線がセンターサークルであるかペナルティアークであるかを判別することができる。センターサークル及びセンターラインがライン画像内にあると、キャリブレーション装置は、Ｓ１４でセンターサークルに基づくホモグラフィ行列の算出を行う。一方、Ｓ１３で、センターサークル及びセンターラインがライン画像内ないと、キャリブレーション装置は、Ｓ１５で、当該処理対象フレームについてはホモグラフィ行列を算出できないことを記録して、処理を終了する。なお、ホモグラフィ行列を算出できないフレームについては、公知の別の方法により、個別にホモグラフィ行列を算出する必要がある。したがって、キャリブレーション装置は、記録したホモグラフィ行列を算出できなかったフレームを示す情報、例えば、フレーム番号等をユーザに表示・通知する。

【0016】

図４は、Ｓ１４における処理を示すフローチャートである。本実施形態では、ライン画像にセンターサークル及びセンターラインが写っている場合、図５（Ａ）及び（Ｂ）に示す様に、センターサークルとセンターラインの交点５１及び５２と、センターラインと直交し、かつ、センターサークルの中心を通る仮想直線６２とセンターサークルとの交点５３及び５４の計４つの交点を使用してホモグラフィ行列を算出する。なお、交点５１〜５４の実座標は上述した様に既知である。したがって、交点５１〜５４のカメラ座標が分かればホモグラフィ行列を算出することができる。

【0017】

このため、キャリブレーション装置は、まず、Ｓ２０で、交点５１及び５２のカメラ座標を判定する。交点５１及び５２がライン画像内に存在するのであれば、交点５１及び５２のカメラ座標はライン画像から直ちに求めることができる。一方、交点５１及び５２の両方、或いは、いずれか一方がライン画像内に存在しないと、キャリブレーション装置は、以下に説明する様に計算により交点５１及び５２のカメラ座標を求める。

【0018】

センターサークルは円であるが、通常、フレーム内においては図５（Ｂ）に示す様に楕円状になる。したがって、センターサークルは、カメラ座標系において、
ａｘ^２＋ｂｘｙ＋ｃｙ^２＋ｄｘ＋ｅｙ＋ｆ＝０
で表される。また、フレーム内においてセンターラインは斜線となり、
（ｘ−ｇ）／ｈ＝（ｙ−ｉ）／ｋ
で表される。キャリブレーション装置は、ライン画像内のセンターサークル及びセンターラインに基づき未知数ａ〜ｋを求め、これにより交点５１及び５２のカメラ座標を求める。

【0019】

一方、交点５３及び交点５４は、仮想直線６２とセンターサークルの交点である。本実施形態において、キャリブレーション装置は、まず、図６に示す様に、仮想直線６３を設定し、仮想直線６３とセンターサークルの２つの交点７１及び７２のカメラ座標を判定する。図６に示す様に、仮想直線６３は、仮想直線６２の方向とは異なり、よって、交点７１及び７２は、交点５３及び５４に一致していない。しかしながら、キャリブレーション装置は、交点７１及び７２の実座標が、保持している交点５３及び５４の実座標であるものとしてホモグラフィ行列を算出する。キャリブレーション装置は、仮想直線６３の方向を所定範囲内にて移動させながら上記処理を繰り返し、仮想直線６３の方向毎のホモグラフィ行列をＳ２１で算出する。なお、所定範囲は、センターラインの方向に基づき決定することができる。より詳しくは、フレームにおけるセンターラインを示す方程式の傾きを基準に、所定の範囲内の傾きの仮想直線６３をそれぞれ求めて交点７１及び７２のカメラ座標を求める構成とすることができる。

【0020】

キャリブレーション装置は、Ｓ２２において、Ｓ２１で求めた仮想直線６３の方向毎のホモグラフィ行列から最良のものを選択する。なお、この最良のものは、仮想直線６３の方向が仮想直線６２の方向に一番近いものとなる。つまり、交点７１と交点５３や、交点７２と交点５４の差が最も小さいときのホモグラフィ行列である。このため、キャリブレーション装置は、図１に示す交点の実座標を使用する。具体的には、図１に示す交点の実座標を、Ｓ２１で求めた１つのホモグラフィ行列で変換してカメラ座標を求める。そして、変換後のカメラ座標がライン画像内にあるものについて、変換後のカメラ座標を中心とした所定半径の円内にあるライン画素の数をそれぞれ求める。所定半径の円内にあるライン画素の数が閾値以上であるものについては評価値を１として、そうでなければ評価値を−１として、変換後のカメラ座標がライン画像内にある交点総ての評価値の合計値又は平均値を求める。そして、Ｓ２１で求めたホモグラフィ行列それぞれについて求めた評価値の合計値又は平均値を比較し、評価値の合計値又は平均値が最大となるものを最良のホモグラフィ行列として選択する。

【0021】

以上の構成によりたとえ直交する２つのラインの交点を４つ得ることができないセンターサークル付近のみが写っているフレームに対してもホモグラフィ行列を求めることができる。したがって、非特許文献１の発明と比較して、より多くのフレームについてのホモグラフィ行列を算出することができる。

【0022】

図７は、本実施形態によるキャリブレーション装置の構成図である。交点実座標保持部１５は、図１に示す既知の交点の座標や、ラインを示す情報を保持している。ライン判定部１１は、映像のフレームからライン部分を判定してライン画像を生成する。判定部１２は、ライン画像において、直交する２つのラインの交点が４つ以上あるか否かを判定する。４つ以上あると、判定部１２は、ライン画像を第１ホモグラフィ行列判定部１３に出力する。第１ホモグラフィ行列判定部１３は、交点実座標保持部１５が保持する実座標と、ライン画像上の４つ以上の交点に基づき処理対象フレームのホモグラフィ行列を算出する。また、判定部１２は、ライン画像において、直交する２つのラインの交点が４つ以上ないと、センターサークル及びセンターラインがライン画像内にあるかを判定する。センターサークル及びセンターラインの両方、又は、いずれか一方がないと、判定部１２は、処理対象フレームのフレーム番号を記録部１６に記録する。なお、フレーム番号は、各機能ブロックにおいて既知であるものとする。また、センターサークル及びセンターラインがライン画像内にあると、ライン画像を第２ホモグラフィ行列判定部１４に出力する。

【0023】

図８は、第２ホモグラフィ行列判定部１４の構成図である。第１交点検出部１４１は、図５の交点５１及び５２のカメラ座標を検出する。なお、交点５１及び５２の内、ライン画像内にあるものについては、そのカメラ座標は、ライン画像の当該交点の座標である。一方、交点５１及び５２の内、ライン画像内にないものについては、楕円を示す方程式と直線を示す方程式をライン画像内の、センターサークルに対応する曲線部分と、センターラインに対応する直線部分から求めて交点のカメラ座標を求める。第１交点検出部１４１は、求めた交点５１及び５２のカメラ座標を行列算出部１４３に出力する。

【0024】

第２交点検出部１４２は、図５の交点５３及び５４のカメラ座標を推定する。なお、図６を用いて説明した様に、第２交点検出部１４２は、交点５３及び５４の推定位置として、交点７１及び交点７２のカメラ座標の組を複数個求める。そして、求めた複数の組のカメラ座標を行列算出部１４３に出力する。行列算出部１４３は、交点５１及び５２のカメラ座標と、交点５３及び５４の推定位置（交点７１及び７２）のカメラ座標と、これらの実座標に基づきホモグラフィ行列を算出して検証部１４４に出力する。なお、ホモグラフィ行列は、交点５３及び５４の推定位置の組それぞれについて求め、よって、複数のホモグラフィ行列が検証部１４４に出力される。

【0025】

検証部１４４は、交点実座標保持部１５が保持する実座標を各ホモグラフィ行列で変換し、ライン画像のラインの位置と比較する。例えば、交点実座標保持部１５が保持する交点を基準点とし、各基準点の実座標を各ホモグラフィ行列で変換して基準点のカメラ座標を求める。そして、ライン画像内に位置する各基準点について、所定範囲内にライン画素が存在するか否かを判定する。これは、例えば、基準点を中心とする所定半径内のライン画素の数が閾値以上であるか否かにより判定できる。そして、所定範囲内にラインが存在する基準点については第１評価値を付与し、それ以外の基準点には、第１評価値より低い第２評価値を付与する。そして、ホモグラフィ行列それぞれについて、基準点の評価値の合計値又は平均値を求め、評価値の合計値又は平均値の最も高いホモグラフィ行列を選択して、処理対象フレームのホモグラフィ行列として出力する。

【0026】

＜その他の実施形態＞
以下、第一実施形態の変形例について説明する。第一実施形態では、仮想直線６３の方向を所定範囲内で変更しながら交点７１及び７２の組を複数求め、それぞれについてのホモグラフィ行列を計算した上で、最良のものを選択していた。しかしながら、センターライン６１を示すカメラ座標での方程式に基づき仮想直線６２の方程式を算出し、仮想直線６２の方程式とセンターサークルを示す方程式に基づき交点５３及び５４のカメラ座標を算出する構成とすることもできる。この場合、図８の検証部１４４で行う検証処理は必要ない。また、ライン画像にサイドラインが含まれる場合、仮想直線６２は、サイドラインと並行であるため、このサイドラインを並行移動させることで、仮想直線６２の方程式を求めることもできる。なお、サッカーのフィールドを用いて上記実施形態を説明したが、センターサークルと、センターサークルと交差するラインとを含むフィールドであれば良く、本発明は、サッカーの映像に限定されない。

【0027】

なお、本発明によるキャリブレーション装置は、コンピュータを上記キャリブレーション装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

【符号の説明】

【0028】

１１：ライン判定部、１２：判定部、１４：第２ホモグラフィ行列判定部、１５：交点実座標保持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】