(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022110816
(43)【公開日】2022-07-29
(54)【発明の名称】フレーミング評価装置およびプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220722BHJP
【ＦＩ】
H04N5/232 220
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2021006454
(22)【出願日】2021-01-19
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】荒井 敦志
(72)【発明者】
【氏名】洗井 淳
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122DA02
5C122EA42
5C122FA01
5C122FA18
5C122FE02
5C122FE05
5C122GD04
5C122GD06
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】基準カメラのフレーミング領域に対して、評価対象カメラのフレーミング領域がどのくらい合致できているのかを評価する。
【解決手段】フレーミング評価装置１は、ＲＯＩ情報と第１カメラ情報とを用いて第１カメラのフレーミング領域の各頂点の座標値を算出するフレーミング領域決定部１０と、第２カメラ情報を用いて第１カメラのフレーミング領域の各頂点を第２カメラの画像座標系における各頂点へ変換するフレーミング領域頂点演算部１１と、第２カメラの画像座標系に射影された各頂点のうち最外角を構成する頂点を選択して連結することで射影領域を形成するフレーミング領域頂点選択部１２と、射影領域の面積を算出する射影面積演算部１４と、第２カメラの画像フレームと射影領域との重複面積を求めて射影面積および第２カメラのフレーム面積に対する重複面積の割合を表すフレーミング効率を算出するフレーミング効率演算部１５と、を備える。
【選択図】図１
【解決手段】フレーミング評価装置１は、ＲＯＩ情報と第１カメラ情報とを用いて第１カメラのフレーミング領域の各頂点の座標値を算出するフレーミング領域決定部１０と、第２カメラ情報を用いて第１カメラのフレーミング領域の各頂点を第２カメラの画像座標系における各頂点へ変換するフレーミング領域頂点演算部１１と、第２カメラの画像座標系に射影された各頂点のうち最外角を構成する頂点を選択して連結することで射影領域を形成するフレーミング領域頂点選択部１２と、射影領域の面積を算出する射影面積演算部１４と、第２カメラの画像フレームと射影領域との重複面積を求めて射影面積および第２カメラのフレーム面積に対する重複面積の割合を表すフレーミング効率を算出するフレーミング効率演算部１５と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
世界座標系で表された所定の関心領域の位置情報を示すＲＯＩ情報と、前記関心領域を撮影する基準となる第１カメラのカメラパラメータと、を用いて、前記第１カメラのフレーミング領域の境界を決定するための各頂点の世界座標値を算出するフレーミング領域決定部と、
評価対象となる第２カメラのカメラパラメータを用いて世界座標系の所定位置を前記第２カメラの画像座標系に射影することによって、前記第１カメラのフレーミング領域の境界を決定するための各頂点の世界座標値を、前記第２カメラの画像座標系における各頂点の画像座標値へ変換するフレーミング領域頂点演算部と、
前記第２カメラの画像座標系に射影された各頂点のうち、最外角を構成する頂点を選択して前記最外角を構成する頂点を連結することで射影領域を形成するフレーミング領域頂点選択部と、
前記射影領域の面積である射影面積を算出する射影面積演算部と、
前記第２カメラの画像フレームと前記射影領域とが重複する重複領域の面積を求めて、前記射影面積および前記第２カメラの画像フレームの面積に対する前記重複領域の面積の割合を表すフレーミング効率を算出するフレーミング効率演算部と、を備えることを特徴とするフレーミング評価装置。
評価対象となる第２カメラのカメラパラメータを用いて世界座標系の所定位置を前記第２カメラの画像座標系に射影することによって、前記第１カメラのフレーミング領域の境界を決定するための各頂点の世界座標値を、前記第２カメラの画像座標系における各頂点の画像座標値へ変換するフレーミング領域頂点演算部と、
前記第２カメラの画像座標系に射影された各頂点のうち、最外角を構成する頂点を選択して前記最外角を構成する頂点を連結することで射影領域を形成するフレーミング領域頂点選択部と、
前記射影領域の面積である射影面積を算出する射影面積演算部と、
前記第２カメラの画像フレームと前記射影領域とが重複する重複領域の面積を求めて、前記射影面積および前記第２カメラの画像フレームの面積に対する前記重複領域の面積の割合を表すフレーミング効率を算出するフレーミング効率演算部と、を備えることを特徴とするフレーミング評価装置。
【請求項2】
前記射影領域の輪郭線と、前記第２カメラの画像フレームの輪郭線との交点が２つ以上存在するかどうかを判定する交点判定部を備え、
前記フレーミング効率演算部は、２つ以上の前記交点が存在する場合、前記フレーミング効率を算出することを特徴とする請求項１に記載のフレーミング評価装置。
前記フレーミング効率演算部は、２つ以上の前記交点が存在する場合、前記フレーミング効率を算出することを特徴とする請求項１に記載のフレーミング評価装置。
【請求項3】
前記フレーミング効率演算部は、
前記射影面積に対する前記重複領域の面積の割合を示す面積包含率を算出し、前記第２カメラの画像フレームの面積に対する前記重複領域の面積の割合を示す面積占有率を算出し、前記面積包含率と前記面積占有率との積を前記フレーミング効率として算出すること特徴とする請求項１または請求項２に記載のフレーミング評価装置。
前記射影面積に対する前記重複領域の面積の割合を示す面積包含率を算出し、前記第２カメラの画像フレームの面積に対する前記重複領域の面積の割合を示す面積占有率を算出し、前記面積包含率と前記面積占有率との積を前記フレーミング効率として算出すること特徴とする請求項１または請求項２に記載のフレーミング評価装置。
【請求項4】
前記関心領域は、世界座標系におけるＺ＝０の平面とＺ＝ｈの平面とに挟まれた範囲に定義され、
前記フレーミング領域決定部は、前記第１カメラの撮像素子の４隅をそれぞれ通る４つの視線ベクトルと、前記Ｚ＝０の平面および前記Ｚ＝ｈの平面との合計８つの交点を、前記フレーミング領域の各頂点として、各頂点の座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のフレーミング評価装置。
前記フレーミング領域決定部は、前記第１カメラの撮像素子の４隅をそれぞれ通る４つの視線ベクトルと、前記Ｚ＝０の平面および前記Ｚ＝ｈの平面との合計８つの交点を、前記フレーミング領域の各頂点として、各頂点の座標を算出することを特徴とする請求項１から請求項３のいずれか一項に記載のフレーミング評価装置。
【請求項5】
前記フレーミング領域頂点選択部は、
Ｚ＝０およびＺ＝ｈのいずれか一方の平面における前記交点が前記第２カメラの画像座標系に射影された頂点を判定対象の頂点であるものとしたとき、
当該判定対象の頂点の座標が、他方の平面における４つの前記交点が前記第２カメラの画像座標系に射影された４つの頂点で囲まれた領域外であった場合、
当該判定対象の頂点が前記最外角の頂点であると判定する判定処理を、
Ｚ＝０およびＺ＝ｈの両方の平面の各交点に対して行うことで前記最外角を構成する頂点を決定することを特徴とする請求項４に記載のフレーミング評価装置。
Ｚ＝０およびＺ＝ｈのいずれか一方の平面における前記交点が前記第２カメラの画像座標系に射影された頂点を判定対象の頂点であるものとしたとき、
当該判定対象の頂点の座標が、他方の平面における４つの前記交点が前記第２カメラの画像座標系に射影された４つの頂点で囲まれた領域外であった場合、
当該判定対象の頂点が前記最外角の頂点であると判定する判定処理を、
Ｚ＝０およびＺ＝ｈの両方の平面の各交点に対して行うことで前記最外角を構成する頂点を決定することを特徴とする請求項４に記載のフレーミング評価装置。
【請求項6】
前記フレーミング効率演算部で算出された値が所定の閾値よりも大きいか否かを判別した判別結果を含む評価値を算出するフレーミング効率評価部と、
算出された前記評価値を表示装置に表示させるフレーミング効率表示部と、を備えることを特徴とする請求項１から請求項５のいずれか一項に記載のフレーミング評価装置。
算出された前記評価値を表示装置に表示させるフレーミング効率表示部と、を備えることを特徴とする請求項１から請求項５のいずれか一項に記載のフレーミング評価装置。
【請求項7】
コンピュータを、請求項１から請求項６のいずれか一項に記載のフレーミング評価装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フレーミング評価装置に係り、特に、放送用のカメラのフレーミングを評価するフレーミング評価装置およびプログラムに関する。
【背景技術】
【0002】
従来、例えばサッカー等のスポーツ中継のテレビ放送においては、複数のカメラによって撮影対象シーンが撮影されている。例えば特許文献１には、サッカー等のスポーツ競技場における自由視点映像を生成し、生成した自由視点映像を配信するシステムが記載されている。このシステムでは、複数の撮像装置により、同一シーンを異なる視点から撮影した多視点映像を生成し、画像認識により、例えば現在のシーンがシュートシーンであるか等の情報を生成し、ゴールが映像中に入るようにカメラ注視点を設定してカメラワーク映像を生成する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１８／０３０２０６号
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、撮影対象シーンを複数のカメラによって撮影するときに、メインカメラのフレーミング領域と、サブカメラのフレーミング領域とがどの程度合致しているのか評価することができなかった。
【0005】
本発明は、上記実情に鑑みてなされたものであり、基準となるカメラのフレーミング領域に対して、評価対象となるカメラのフレーミング領域がどのくらい合致できているのかを評価することができるフレーミング評価装置およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記課題を解決するために、本発明に係るフレーミング評価装置は、世界座標系で表された所定の関心領域の位置情報を示すＲＯＩ情報と、前記関心領域を撮影する基準となる第１カメラのカメラパラメータと、を用いて、前記第１カメラのフレーミング領域の境界を決定するための各頂点の世界座標値を算出するフレーミング領域決定部と、評価対象となる第２カメラのカメラパラメータを用いて世界座標系の所定位置を前記第２カメラの画像座標系に射影することによって、前記第１カメラのフレーミング領域の境界を決定するための各頂点の世界座標値を、前記第２カメラの画像座標系における各頂点の画像座標値へ変換するフレーミング領域頂点演算部と、前記第２カメラの画像座標系に射影された各頂点のうち、最外角を構成する頂点を選択して前記最外角を構成する頂点を連結することで射影領域を形成するフレーミング領域頂点選択部と、前記射影領域の面積である射影面積を算出する射影面積演算部と、前記第２カメラの画像フレームと前記射影領域とが重複する重複領域の面積を求めて、前記射影面積および前記第２カメラの画像フレームの面積に対する前記重複領域の面積の割合を表すフレーミング効率を算出するフレーミング効率演算部と、を備える構成とした。
なお、本発明は、コンピュータを、前記したフレーミング評価装置として機能させるためのプログラムで実現することもできる。
なお、本発明は、コンピュータを、前記したフレーミング評価装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
【0007】
本発明は、基準となる第１カメラのフレーミング領域に対して、評価対象となる第２カメラのフレーミング領域がどのくらい合致できているのかを評価することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の実施形態に係るフレーミング評価装置の構成を模式的に示すブロック図である。
【図2】カメラの構成を模式的に示すブロック図であり、（ａ）は基準となる第１カメラ、（ｂ）は評価対象となる第２カメラをそれぞれ示している。
【図3】カメラ座標系の模式図であり、（ａ）は第１カメラのカメラ座標系、（ｂ）は第２カメラのカメラ座標系をそれぞれ示している。
【図4】ＲＯＩが設定されるサッカーフィールドの模式図であり、（ａ）は平面図、（ｂ）は側面図をそれぞれ示している。
【図7】射影の一例の説明図であって、（ａ）は第２カメラの画像フレーム上の画像座標系、（ｂ）は視線ベクトルと高さ０の交点の射影、（ｃ）は視線ベクトルと高さ０および高さｈの交点の射影をそれぞれ示している。
【図10】射影の他の例の説明図である。
【図12】最外角の頂点を繋げて得られる多角形と画像フレームとの重複領域の他の例を示す図である。
【図13】本発明の実施形態に係るフレーミング評価装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について図面を参照して説明する。
まず、本実施形態に係るフレーミング評価装置１（図１）に関連したカメラの一例を説明した後、フレーミング評価装置１の構成を説明する。
まず、本実施形態に係るフレーミング評価装置１（図１）に関連したカメラの一例を説明した後、フレーミング評価装置１の構成を説明する。
【0010】
［カメラ］
図２を参照し、基準（リファレンス）となるカメラと、評価対象となるカメラについて説明する。第１カメラ２は、フレーミング評価装置１で評価を実施する際の基準となるカメラである。第１カメラ２は、例えば遠隔操作可能に構成されるカメラである。
第１カメラ２は、図２（ａ）に示すように、駆動機構２１と、パン・チルトデータ検出センサ２２と、レンズデータ検出センサ２３と、を備えている。駆動機構２１は、第１カメラ２のカメラレンズ等の本体を搭載する雲台などから構成されている。この駆動機構２１によって、パン、チルト、ズーム及びフォーカスが制御されている。なお、ズーム及びフォーカスの制御は、第１カメラ２の内部機構によって行われ、この駆動機構２１で包括しているものとして説明する。
図２を参照し、基準（リファレンス）となるカメラと、評価対象となるカメラについて説明する。第１カメラ２は、フレーミング評価装置１で評価を実施する際の基準となるカメラである。第１カメラ２は、例えば遠隔操作可能に構成されるカメラである。
第１カメラ２は、図２（ａ）に示すように、駆動機構２１と、パン・チルトデータ検出センサ２２と、レンズデータ検出センサ２３と、を備えている。駆動機構２１は、第１カメラ２のカメラレンズ等の本体を搭載する雲台などから構成されている。この駆動機構２１によって、パン、チルト、ズーム及びフォーカスが制御されている。なお、ズーム及びフォーカスの制御は、第１カメラ２の内部機構によって行われ、この駆動機構２１で包括しているものとして説明する。
【0011】
パン・チルトデータ検出センサ２２は、第１カメラ２の姿勢を測定するためのセンサであり、第１カメラ２が固定されている雲台のパン角を検出するパン角センサと、第１カメラ２のチルト角を検出するチルト角センサと、を備えている。ここで、パン角センサ及びチルト角センサは、例えば、雲台に取り付けられたロータリエンコーダ、ポテンショメータ又はジャイロセンサによって構成できる。
【0012】
レンズデータ検出センサ２３は、第１カメラ２の図示を省略したレンズの画角、焦点位置を測定するためのセンサであり、第１カメラ２のズーム量（画角）を検出するズームセンサと、第１カメラ２に内蔵されているレンズの焦点位置（フォーカス）を検出するフォーカスセンサとが含まれている。ここで、ズームセンサ及びフォーカスセンサは、ズームリング及びフォーカスリングの回転角をロータリエンコーダ、ポテンショメータで読みとる方式によって構成できる。この他、ズームセンサ及びフォーカスセンサは、第１カメラ２のレンズ摺動部に設置されるリニアセンサを用いることができる。
【0013】
第２カメラ３は、フレーミング評価装置１で評価を実施する際の評価対象となるカメラである。第２カメラ３は、例えば遠隔操作可能に構成されるカメラである。この第２カメラ３は、図２（ｂ）に示すように、駆動機構３１と、パン・チルトデータ検出センサ３２と、レンズデータ検出センサ３３と、を備えている。これらの構成は、第１カメラ２の駆動機構２１、パン・チルトデータ検出センサ２２およびレンズデータ検出センサ２３と同様なので、説明を省略する。
【0014】
第１カメラ２のカメラパラメータ（以下、第１カメラ情報）は、外部パラメータと、内部パラメータに相当し、カメラの構図を決定するために必要となる情報である。外部パラメータは、例えば、カメラ位置（カメラの視点の位置）やカメラ姿勢（パン角やチルト角）などのパラメータであり、世界座標からカメラ座標への変換に利用される。内部パラメータは、カメラが移動しても変化しないパラメータであり、例えば、焦点距離、レンズ歪などのパラメータであり、カメラ座標から画像座標への変換に利用される。
同様に、第２カメラ３のカメラパラメータ（以下、第２カメラ情報）も、外部パラメータと、内部パラメータに相当し、カメラの構図を決定するために必要となる情報である。
同様に、第２カメラ３のカメラパラメータ（以下、第２カメラ情報）も、外部パラメータと、内部パラメータに相当し、カメラの構図を決定するために必要となる情報である。
【0015】
ここで、第１カメラ２は、図３（ａ）に示すように、平面状のイメージセンサ２５を有しそれに射影されたものを画像として出力するものとする。同様に、第２カメラ３は、図３（ｂ）に示すように、平面状のイメージセンサ３５を有しそれに射影されたものを画像として出力するものとする。イメージセンサ２５，３５は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor)撮像素子や、ＣＣＤ（Charge Coupled Device)撮像素子である。
【0016】
第１カメラ２の視体積（全フレーミング領域）は、図３（ａ）に示す視点２４からイメージセンサ２５の四隅をそれぞれ通過する視線ベクトル２６，２７，２８，２９に囲まれた空間としてみることができる。同様に、第２カメラ３の視体積（全フレーミング領域）は、図３（ｂ）に示す視点３４からイメージセンサ３５の四隅をそれぞれ通過する視線ベクトル３６，３７，３８，３９に囲まれた空間としてみることができる。なお、図２では視線ベクトルの先端を省略している。カメラ毎のカメラ座標系は、図２において白抜きの矢印で示す光軸方向を＋ｚc軸とし、ｘc，ｙc，ｚcの順に右手系を成す。第１カメラ２の視点２４の位置は、第１カメラ２のカメラ座標系の原点の位置であり、第２カメラ３の視点３４の位置は、第２カメラ３のカメラ座標系の原点の位置である。
【0017】
［フレーミング評価装置の構成］
図１を参照し、フレーミング評価装置１の構成について説明する。
フレーミング評価装置１は、基準となるカメラのフレーミング領域に対して、評価対象となるカメラのフレーミング領域がどのくらい合致できているのかを評価する装置である。フレーミング評価装置１は、フレーミング領域決定部１０と、フレーミング領域頂点演算部１１と、フレーミング領域頂点選択部１２と、射影面積演算部１４と、フレーミング効率演算部１５と、を備えている。ここでは、フレーミング評価装置１は、さらに、記憶手段９と、交点判定部１３と、フレーミング効率評価部１６と、フレーミング効率表示部１７と、を備えている。以下、各部の構成を順に説明する。
図１を参照し、フレーミング評価装置１の構成について説明する。
フレーミング評価装置１は、基準となるカメラのフレーミング領域に対して、評価対象となるカメラのフレーミング領域がどのくらい合致できているのかを評価する装置である。フレーミング評価装置１は、フレーミング領域決定部１０と、フレーミング領域頂点演算部１１と、フレーミング領域頂点選択部１２と、射影面積演算部１４と、フレーミング効率演算部１５と、を備えている。ここでは、フレーミング評価装置１は、さらに、記憶手段９と、交点判定部１３と、フレーミング効率評価部１６と、フレーミング効率表示部１７と、を備えている。以下、各部の構成を順に説明する。
【0018】
（記憶手段）
記憶手段９は、このフレーミング評価装置１の各部で用いる情報、演算結果、動作プロフラム等を記憶するものであり、例えばＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、メモリ等の記憶装置である。前記情報として、例えば後記するＲＯＩ情報、第１カメラ情報、第２カメラ情報等を含めることができる。これらの情報は、例えばキーボード、マウス、タッチパネルといった入力装置４や、無線または有線の所定の通信手段６によって入力される。また、これらの情報や演算結果は、必要に応じて例えば液晶ディスプレイ等の表示装置５に出力されたり、通信手段６を介して外部装置に出力されたりする。なお、表示装置５は外部装置であってもよい。
記憶手段９は、このフレーミング評価装置１の各部で用いる情報、演算結果、動作プロフラム等を記憶するものであり、例えばＨＤＤ（hard disk drive）、ＳＳＤ（solid state drive）、メモリ等の記憶装置である。前記情報として、例えば後記するＲＯＩ情報、第１カメラ情報、第２カメラ情報等を含めることができる。これらの情報は、例えばキーボード、マウス、タッチパネルといった入力装置４や、無線または有線の所定の通信手段６によって入力される。また、これらの情報や演算結果は、必要に応じて例えば液晶ディスプレイ等の表示装置５に出力されたり、通信手段６を介して外部装置に出力されたりする。なお、表示装置５は外部装置であってもよい。
【0019】
（フレーミング領域決定部）
フレーミング領域決定部１０は、世界座標系で表された所定の関心領域の位置情報を示すＲＯＩ情報と、関心領域を撮影する基準となる第１カメラ２のカメラパラメータと、を用いて、第１カメラ２のフレーミング領域の境界を決定するための各頂点の世界座標値を算出するものである。このフレーミング領域決定部１０による処理は、基準となる第１カメラ２に係る演算処理である。以下では、フレーミング領域決定部１０による処理について、後記する式（１）～式（６）の数式や図３～図６の図面等によって、詳細に説明する。
フレーミング領域決定部１０は、世界座標系で表された所定の関心領域の位置情報を示すＲＯＩ情報と、関心領域を撮影する基準となる第１カメラ２のカメラパラメータと、を用いて、第１カメラ２のフレーミング領域の境界を決定するための各頂点の世界座標値を算出するものである。このフレーミング領域決定部１０による処理は、基準となる第１カメラ２に係る演算処理である。以下では、フレーミング領域決定部１０による処理について、後記する式（１）～式（６）の数式や図３～図６の図面等によって、詳細に説明する。
【0020】
ここでは、一例として、サッカー中継のテレビ放送のためにサッカーフィールド（図４参照）で用いられる複数のカメラのうちの１つのカメラを基準となる第１カメラ２（図２（ａ）参照）とし、同じくサッカーサッカーフィールドで用いられる他のカメラを評価対象となる第２カメラ３（図２（ｂ）参照）とする。この場合の世界座標系とカメラ座標系の定義について説明した後、フレーミング領域決定部１０の処理について説明する。なお、フレーミング評価装置１は、例えば中継車に設置されるものとする。また、中継車には、光ケーブルでカメラに接続されるＣＣＵ（カメラコントロールユニット）等が搭載される。カメラの遠隔操作装置は、ＣＣＵにケーブル接続される。
【0021】
図４～図６はサッカーフィールド１０１を例として、被写体が存在する世界座標系と、カメラの位置および姿勢が反映されたカメラ座標系との関係を説明するための図面である。図４（ａ）に示すように、世界座標系は、サッカーフィールドの中央１０２を原点とし、原点を通りサイドライン１０４，１０５と平行な軸をＸw軸とし、センターライン１０３と平行な軸をＹw軸とし、フィールド平面に垂直かつ上向きの軸を＋Ｚw軸とする。また、世界座標系は、Ｘw軸、Ｙw軸、Ｚw軸の順に右手系を成す。なお、フィールド平面は、グラウンド地面と同じ高さの平面であり、以下では、Ｚw＝０の平面１０８と呼ぶ。
【0022】
ここでは、世界座標系におけるＺw＝０の無限に広い平面と、それに平行なＺw＝ｈの無限に広い平面とに挟まれた範囲をＲＯＩ（Region of Interest：関心領域）と定義している。つまり、ＲＯＩは、図４（ｂ）に示すように、Ｚw＝０の平面１０８と、このＺw＝０の平面１０８から高さｈの平面（Ｚw＝ｈの平面１０９）とに挟まれた範囲である。
【0023】
ＲＯＩは、ユーザが任意に定義できるものであり、平面で定義しても立体で定義しても構わない。また、範囲は有限であっても構わない。ＲＯＩが有限である場合、一例として、ＲＯＩの頂点がフレーミング領域に含まれないように定義すれば、視線ベクトルがＲＯＩの境界面と平行にならない限りＲＯＩに交わることになる。この交点の世界座標値を有し全交点に囲まれた領域（交点を含まない領域）を、カメラのフレーミング領域とすることができる。他の例として、ＲＯＩの頂点がフレーミング領域に含まれるのであれば、含まれる頂点を、視線ベクトルとＲＯＩとの交点としてみることができる。このようにしてカメラのフレーミング領域は、平面または立体を形成する。なお、カメラのフレーミング領域は、カメラの視体積とＲＯＩとが重なる領域である。
【0024】
ここでは、第１カメラ２を操作する実際のカメラマン（撮影者）が、どういうプレーなのか認識しながらフレームを切り取って第１カメラ２のフレーミング領域を決める。第２カメラ３を操作する撮影者は、第２カメラ３のフレーミング領域を、基準となる第１カメラ２のフレーミング領域に近づけるように第２カメラ３を操作する。第１カメラ２は、サイドライン１０５の側から被写体を撮影する。第２カメラ３は、異なる場所として、ゴールライン１０７の側から被写体を撮影する。このときのＲＯＩ、世界座標系および各カメラのカメラ座標系の関係を図５に示し、第１カメラ２のカメラ座標系と世界座標系との関係を図６に示す。図６は、図５のＲＯＩのフィールド地面への投影図である。
【0025】
例えば第１カメラ２のカメラ座標系は、図３（ａ）および図４（ａ）を参照すると、もしもカメラ座標系の原点（視点２４）が世界座標系の原点（サッカーフィールドの中央１０２）と一致する場合、且つ、各軸の回転がない場合には、カメラ座標系＋ｘc軸と世界座標系＋Ｘw軸が一致し、カメラ座標系＋ｙc軸と世界座標系－Ｚw軸が一致し、カメラ座標系＋ｚc軸と世界座標系＋Ｙw軸が一致する関係にある。
【0026】
次に、例えば第１カメラ２に関して、各軸の回転を考慮する。具体的には、第１カメラ２のカメラ座標系におけるｙc軸の回転角をα［rad］（パン角）、ｘc軸の回転をδ［rad］（チルト角）、ｚc軸の回転をφ［rad］（ロール角）としたカメラ姿勢は、次の式（１）で示す回転行列Ｒによって、世界座標系におけるカメラ姿勢に変換できる関係にある。なお、一般的に使用される雲台にはロール角φを操作する回転機構がないため、その場合にはロール角φ＝０とすればよい。
【0027】
【数1】
【0028】
例えば第１カメラ２のカメラ座標系の原点の位置、すなわち、第１カメラ２の視点２４の位置が、世界座標系で記述されたときの位置ベクトルｔwが次の式（２）で表されるとする。また、世界座標系の原点の位置、すなわち、サッカーフィールドの中央１０２が、カメラ座標系で記述されたときの位置ベクトルｔCが次の式（３）で表されるとする。この場合、カメラ座標系で記述された、世界座標系の原点の位置ベクトルｔCと、世界座標系で記述された、カメラの視点位置ベクトルｔwとの関係は、前記した式（１）の回転行列Ｒを用いると、次の式（４）で表される。
【0029】
【数2】
【0030】
上記の世界座標系とカメラ座標系の定義を前提とした場合、フレーミング領域決定部１０は、次のように演算処理を行う。ここでは、図５に示すように、ＲＯＩ（関心領域）が、世界座標系におけるＺw＝０の平面１０８とＺw＝ｈの平面１０９とに挟まれた範囲に定義されている。そのため、フレーミング領域決定部１０は、第１カメラ２のイメージセンサ（撮像素子）２５の４隅をそれぞれ通る４つの視線ベクトル２６，２７，２８，２９と、Ｚw＝０の平面１０８とＺw＝ｈの平面１０９との合計８つの交点を、フレーミング領域の各頂点として、各頂点の座標を算出する。
【0031】
具体的には、フレーミング領域決定部１０は、視線ベクトルとＲＯＩの境界面との交点の世界座標値を次のようにして求める。ＲＯＩの境界面のうち例えばＺw＝０の平面１０８上の求めるべき交点の世界座標値を［Ｘw，Ｙw］とする。画像座標系から、Ｚw＝０の平面１０８上の世界座標値［Ｘw，Ｙw］への変換の関係式は、次の式（５）で表される。
【0032】
【数3】
【0033】
ここで、画像座標系は、図７（ａ）に示すように、画像左上を原点ＯIとして水平右方向を＋ｘI軸、垂直下方向を＋ｙI軸としている。式（５）において、ｒxx,ｒyx,ｒzx,ｒxy,ｒyy,ｒzyは、前記した式（１）の回転行列の成分である。ｔcx,ｔcy,ｔczは、前記した式（３）の位置ベクトルｔCの成分である。ｘIとｙIは、画像格子点の座標値であって、多数の画像格子点の座標値を代表している。ｕ0は、横方向ピクセル数の半値を示し、ｖ0は、縦方向ピクセル数の半値を示す。ｆは、ピクセル単位の焦点距離を示す。なお、ピクセル単位の焦点距離は、ｍｍ単位の焦点距離を、そのカメラセンサの画素数で正規化したパラメータである。例えば、水平画素数1920、水平画角60°である場合、ピクセル単位の焦点距離は、1662.8［pixel］となる。
【0034】
要するに、フレーミング領域決定部１０は、式（５）の関係式に必要なパラメータを入力することで、視線ベクトルとＲＯＩにおけるＺw＝０の平面１０８との交点の世界座標値［Ｘw，Ｙw，０］を得る。図５において、交点４１は、視線ベクトル２９と平面１０８との交点である。交点４２は、視線ベクトル２６と平面１０８との交点である。交点４３は、視線ベクトル２７と平面１０８との交点である。交点４４は、視線ベクトル２８と平面１０８との交点である。
【0035】
また、フレーミング領域決定部１０が、視線ベクトルとＲＯＩにおけるＺw＝ｈの平面１０９との交点の世界座標値［Ｘw，Ｙw，ｈ］を得る方法は、Ｚw＝０の平面１０８の交点の世界座標値［Ｘw，Ｙw，０］を得る方法と概ね同様にして計算することができるで、詳細な説明を省略する。図５において、交点５１は、視線ベクトル２９と平面１０９との交点である。交点５２は、視線ベクトル２６と平面１０９との交点である。交点５３は、視線ベクトル２７と平面１０９との交点である。交点５４は、視線ベクトル２８と平面１０９との交点である。なお、この場合には、第１カメラ２の視点２４の位置が世界座標系で記述されたときの位置ベクトルｔwとしては、前記した式（２）の代わりに次の式（６）を用いる。
【0036】
【数4】
【0037】
図１に戻って、フレーミング評価装置１の構成の説明を続ける。
（フレーミング領域頂点演算部）
フレーミング領域頂点演算部１１は、評価対象となる第２カメラ３のカメラパラメータを用いて世界座標系の所定位置を第２カメラ３の画像座標系に射影することによって、第１カメラ２のフレーミング領域の境界を決定する各頂点の世界座標値を、第２カメラ３の画像座標系における各頂点の画像座標値へ変換するものである。ここで、フレーミング領域頂点とは、評価対象となる第２カメラ３に係る画像座標系に射影されたフレーミング領域を形成する頂点のことである。フレーミング領域頂点演算部１１は、画像座標系におけるフレーミング領域頂点の座標値を以下の演算により算出する。
（フレーミング領域頂点演算部）
フレーミング領域頂点演算部１１は、評価対象となる第２カメラ３のカメラパラメータを用いて世界座標系の所定位置を第２カメラ３の画像座標系に射影することによって、第１カメラ２のフレーミング領域の境界を決定する各頂点の世界座標値を、第２カメラ３の画像座標系における各頂点の画像座標値へ変換するものである。ここで、フレーミング領域頂点とは、評価対象となる第２カメラ３に係る画像座標系に射影されたフレーミング領域を形成する頂点のことである。フレーミング領域頂点演算部１１は、画像座標系におけるフレーミング領域頂点の座標値を以下の演算により算出する。
【0038】
フレーミング領域頂点演算部１１には、フレーミング領域決定部１０で求められた、視線ベクトルと、ＲＯＩにおける平面１０８，１０９との交点の世界座標値が、基準となる第１カメラ２のフレーミング領域の頂点として入力される。また、フレーミング領域頂点演算部１１には、第２カメラ情報として、評価対象の第２カメラ３の内部パラメータおよび外部パラメータが入力される。
【0039】
フレーミング領域頂点演算部１１の演算において、世界座標系の座標値（Ｘw，Ｙw，Ｚw）から、第２カメラ３の視点３４の位置に係る画像座標系の座標値（ｘI，ｙI）への変換式は、例えば、次の式（７）を用いることができる。
【0040】
【数5】
【0041】
式（７）において、ｒxx,ｒyx,ｒzx,ｒxy,ｒyy,ｒzy,ｒxz,ｒyz,ｒzzは、前記した式（１）の回転行列Ｒの成分である。ｔwx,ｔwy,ｔwzは、前記した式（２）の位置ベクトルｔwの成分である。ここで、回転行列および視点位置をそれぞれ表す式（１）および式（２）は、第２カメラ３に関して求められたものを用いる。同様に、ｘIとｙIは、第２カメラ３のイメージセンサ３５の画像格子点の座標値である。ｕ0及びｖ0は、イメージセンサ３５に関する横・縦方向ピクセル数の半値を示す。ｆは、イメージセンサ３５に関するピクセル単位の焦点距離を示す。
【0042】
本実施形態では、式（７）の右辺の世界座標系の座標値（Ｘw，Ｙw，Ｚw）は、図５に示す交点４１～４４および交点５１～４４の合計８個の交点に関するそれぞれの座標値の組み合わせを代表して示している。フレーミング領域頂点演算部１１は、演算結果として、第２カメラ３の画像座標系における頂点の位置を示す画像座標値をそれぞれフレーミング領域頂点選択部１２に出力する。
【0043】
（フレーミング領域頂点選択部）
フレーミング領域頂点選択部１２は、第２カメラ３の画像座標系に射影された各頂点のうち、最外角を構成する頂点を選択して前記最外角を構成する頂点を連結することで射影領域を形成するものである。フレーミング領域頂点選択部１２には、フレーミング領域頂点演算部１１から、第２カメラ３の画像座標系における頂点の位置を示す画像座標値が入力される。フレーミング領域頂点選択部１２が、最外角を構成する頂点を選択して射影領域を形成するのは、後段の射影面積演算部１４において、射影領域の面積を求めるためである。
フレーミング領域頂点選択部１２は、第２カメラ３の画像座標系に射影された各頂点のうち、最外角を構成する頂点を選択して前記最外角を構成する頂点を連結することで射影領域を形成するものである。フレーミング領域頂点選択部１２には、フレーミング領域頂点演算部１１から、第２カメラ３の画像座標系における頂点の位置を示す画像座標値が入力される。フレーミング領域頂点選択部１２が、最外角を構成する頂点を選択して射影領域を形成するのは、後段の射影面積演算部１４において、射影領域の面積を求めるためである。
【0044】
例えば図４～図６に示すようなＺw＝０の平面１０８とＺw＝ｈの平面１０９との間に挟まれた領域にＲＯＩを設定している場合、フレーミング領域頂点選択部１２は、第１カメラ２のフレーミング領域の交点（頂点）が第２カメラ３のイメージセンサ３５に射影された点（頂点）の画像座標において、次のような判定を行うことで、最外角を構成する頂点を決定する。
【0045】
フレーミング領域頂点選択部１２は、Ｚw＝０およびＺw＝ｈのいずれか一方の平面における交点が第２カメラ３の画像座標系に射影された頂点を判定対象の頂点であるものとしたとき、当該判定対象の頂点の座標が、他方の平面における４つの交点が第２カメラ３の画像座標系に射影された４つの頂点で囲まれた領域外であった場合、当該判定対象の頂点が最外角の頂点であると判定する判定処理を行う。フレーミング領域頂点選択部１２は、この判定処理を、Ｚw＝０およびＺw＝ｈの両方の平面の各交点に対して行うことで最外角を構成する頂点を決定する。
【0046】
このフレーミング領域頂点選択部１２の処理について、図７を参照して説明する。図７（ａ）は、第２カメラ３の画像フレーム３０をドットのハッチングで示す図である。画像フレーム３０の上には画像座標系が設定されている。この第２カメラ３の画像座標系では、画像左上を原点ＯIとして水平右方向を＋ｘI軸、垂直下方向を＋ｙI軸としている。
【0047】
図７（ｂ）は、図５に示すイメージセンサ３５の４隅をそれぞれ通る４つの視線ベクトルとＺw＝０の平面１０８との交点４１～４４が、第２カメラ３の画像座標系にそれぞれ射影された点（頂点６１～６４）を繋いだ矩形状の輪郭線を示した模式図である。図７（ｃ）は、図７（ｂ）の輪郭線に対して、別の矩形状の輪郭線を重ねて示した模式図である。この図７（ｃ）における別の矩形状の輪郭線は、図５に示すイメージセンサ３５の４隅をそれぞれ通る４つの視線ベクトルとＺw＝ｈの平面１０９との交点５１～５４が、第２カメラ３の画像座標系にそれぞれ射影された点（頂点７１～７４）を繋いで形成されている。
【0048】
フレーミング領域頂点選択部１２は、例えばＺw＝０の平面１０８における交点４１が第２カメラ３の画像座標系に射影された頂点６１（図７（ｃ））を判定対象の頂点であるものとしたとき、この頂点６１の座標が、Ｚw＝ｈの平面１０９における４つの交点５１～５４が第２カメラ３の画像座標系に射影された４つの頂点７１～７４で囲まれた領域の外にあるか否かを判別する。図７（ｃ）に示す例では、頂点６１の座標は頂点７１～７４で囲まれた領域の外にあることが明らかである。この場合、フレーミング領域頂点選択部１２は、頂点６１が最外角の頂点であると判定する。一方、図７（ｃ）に示す例では、頂点６３の座標は頂点７１～７４で囲まれた領域内にあることが明らかである。この場合、フレーミング領域頂点選択部１２は、頂点６３が最外角の頂点ではないと判定する。
【0049】
同様に、フレーミング領域頂点選択部１２は、例えばＺw＝ｈの平面１０９における交点５１が第２カメラ３の画像座標系に射影された頂点７１（図７（ｃ））を判定対象の頂点であるものとしたとき、この頂点７１の座標が、Ｚw＝０の平面１０８における４つの交点４１～４４が第２カメラ３の画像座標系に射影された４つの頂点６１～６４で囲まれた領域の外にあるか否かを判別する。図７（ｃ）に示す例では、頂点７１の座標は頂点６１～６４で囲まれた領域内にあることが明らかである。この場合、フレーミング領域頂点選択部１２は、頂点７１が最外角の頂点ではないと判定する。
【0050】
図７（ｃ）に示す例では、フレーミング領域頂点選択部１２は、８個の判定対象の頂点についての判定処理の結果、最外角の頂点として決定した頂点６１、頂点６２、頂点７２、頂点７３、頂点７４、頂点６４をこの順番に連結することで、図８に示す射影領域８０を形成する。この射影領域８０の輪郭を形成する各頂点の座標の情報は、交点判定部１３、射影面積演算部１４およびフレーミング効率演算部１５にそれぞれ出力される。なお、この例では、射影領域８０の輪郭を形成する頂点の総数は、４～８個のいずれかになる。
【0051】
（交点判定部）
交点判定部１３は、射影領域８０の輪郭線と、第２カメラ３の画像フレーム３０の輪郭線との交点が２つ以上存在するかどうかを判定するものである。交点判定部１３は、交点が２つ以上存在する場合、演算指示をフレーミング効率演算部１５に出力する。この場合、フレーミング効率演算部１５は、後記するフレーミング効率を算出する。
交点判定部１３は、射影領域８０の輪郭線と、第２カメラ３の画像フレーム３０の輪郭線との交点が２つ以上存在するかどうかを判定するものである。交点判定部１３は、交点が２つ以上存在する場合、演算指示をフレーミング効率演算部１５に出力する。この場合、フレーミング効率演算部１５は、後記するフレーミング効率を算出する。
【0052】
交点判定部１３には、フレーミング領域頂点選択部１２から、射影領域８０の輪郭を形成する各頂点の座標の情報が入力される。交点判定部１３は、これら入力される各頂点の座標の情報によって、所定のアルゴリズムで、射影領域８０の輪郭線と画像フレーム３０の輪郭線との交点を求める。例えば、全頂点に関して、隣り合う２つの頂点を結ぶ線分の１次関数をそれぞれ求めて、画像フレーム３０の輪郭線を形成する４辺との交点をそれぞれ求める。この交点の座標の情報は、フレーミング効率演算部１５に出力される。
【0053】
なお、画像フレーム３０の輪郭線の座標の情報については、例えば画像フレーム３０の輪郭線のうち、図７（ａ）において上の辺はｘI軸なので上辺に相当する輪郭線のｙI座標は０である。図７（ａ）において左の辺はｙI軸なので左辺に相当する輪郭線のｘI座標は０である。また、図７（ａ）において下辺に相当する輪郭線のｙI座標と、右辺に相当する輪郭線のｘI座標は、第２カメラ３のイメージセンサ３５に関する縦方向ピクセル数と横方向ピクセル数から定義できる。
【0054】
ここで、図９を参照する。図９では、射影領域８０と、第２カメラ３の画像フレーム３０との重複領域９０に左下がりのハッチングを施している。図９に示す例では、射影領域８０の輪郭線と、第２カメラ３の画像フレーム３０の輪郭線との交点は、交点９２、交点９３、交点９４、交点９５の合計４個存在する。したがって、この場合、交点判定部１３は、交点が２つ以上存在すると判定し、演算指示をフレーミング効率演算部１５に出力する。
【0055】
もしも、射影領域８０と、第２カメラ３の画像フレーム３０とが重複する領域が全く存在しない場合、交点判定部１３は、交点が２個以上ではないと判定する。
また、射影領域８０の１つの頂点（例えば右下隅）と、第２カメラ３の画像フレーム３０の１つの頂点（例えば左上隅）とが一致する場合、交点判定部１３は、交点が２個以上ではないと判定する。
仮に、前段のフレーミング領域頂点演算部１１の演算の結果、図１０に示すように、第２カメラ３の画像座標系に射影された各頂点がいずれも第２カメラ３の画像フレーム３０の輪郭線の内部に含まれた場合、図１１に示すように射影領域８０の全体が、第２カメラ３の画像フレーム３０の輪郭線の内部に含まれることになる。この場合、交点判定部１３は、交点の個数が２個以上であると判定する。
また、図１２に示す例では、射影領域８０の輪郭線と、第２カメラ３の画像フレーム３０の輪郭線との交点としては、交点９１および交点９２の合計２個の交点が存在する。この場合も当然ながら、交点判定部１３は、交点の個数が２個以上であると判定する。
また、射影領域８０の１つの頂点（例えば右下隅）と、第２カメラ３の画像フレーム３０の１つの頂点（例えば左上隅）とが一致する場合、交点判定部１３は、交点が２個以上ではないと判定する。
仮に、前段のフレーミング領域頂点演算部１１の演算の結果、図１０に示すように、第２カメラ３の画像座標系に射影された各頂点がいずれも第２カメラ３の画像フレーム３０の輪郭線の内部に含まれた場合、図１１に示すように射影領域８０の全体が、第２カメラ３の画像フレーム３０の輪郭線の内部に含まれることになる。この場合、交点判定部１３は、交点の個数が２個以上であると判定する。
また、図１２に示す例では、射影領域８０の輪郭線と、第２カメラ３の画像フレーム３０の輪郭線との交点としては、交点９１および交点９２の合計２個の交点が存在する。この場合も当然ながら、交点判定部１３は、交点の個数が２個以上であると判定する。
【0056】
（射影面積演算部）
射影面積演算部１４は、射影領域８０の面積である射影面積を算出するものである。射影面積演算部１４には、フレーミング領域頂点選択部１２から、射影領域８０の輪郭を形成する各頂点の座標の情報が入力される。射影面積演算部１４は、これら入力される各頂点の座標の情報によって、多角形の面積に関する公知の公式で射影面積を求める。以下、射影面積演算部１４で算出された射影面積を、射影面積ＳAと表記する。座射影面積ＳAは、各頂点の座標値をｘk，ｙk、頂点の数をｎとすると、例えば次の式（８）によって求めることができる。
射影面積演算部１４は、射影領域８０の面積である射影面積を算出するものである。射影面積演算部１４には、フレーミング領域頂点選択部１２から、射影領域８０の輪郭を形成する各頂点の座標の情報が入力される。射影面積演算部１４は、これら入力される各頂点の座標の情報によって、多角形の面積に関する公知の公式で射影面積を求める。以下、射影面積演算部１４で算出された射影面積を、射影面積ＳAと表記する。座射影面積ＳAは、各頂点の座標値をｘk，ｙk、頂点の数をｎとすると、例えば次の式（８）によって求めることができる。
【0057】
【数6】
【0058】
ただし、ｘn+1＝ｘ1、ｙn+1＝ｙ1となり、図８のような画像座標系の取り方をした場合、頂点は時計回りとなる。図８に示す例では頂点数ｎは６であり、最初の頂点を頂点６１とすると、頂点６１、頂点６２、頂点７２、頂点７３、頂点７４、頂点６４、再び頂点６１という順番となる。
【0059】
（フレーミング効率演算部）
フレーミング効率演算部１５は、第２カメラ３の画像フレーム３０と射影領域８０とが重複する重複領域９０の面積を求めて、射影面積ＳAおよび第２カメラ３の画像フレーム３０の面積に対する重複領域９０の面積の割合を表すフレーミング効率を算出するものである。
フレーミング効率演算部１５は、第２カメラ３の画像フレーム３０と射影領域８０とが重複する重複領域９０の面積を求めて、射影面積ＳAおよび第２カメラ３の画像フレーム３０の面積に対する重複領域９０の面積の割合を表すフレーミング効率を算出するものである。
【0060】
本実施形態では、フレーミング効率演算部１５は、重複面積算出部１５ａと、フレーム面積算出部１５ｂと、フレーミング効率算出部１５ｃと、を備えている。
＜重複面積算出部＞
重複面積算出部１５ａは、図９に示すように、射影領域８０のうち、第２カメラ３の画像フレーム３０内に存在する重複領域９０の面積である重複面積を算出するものである。重複面積算出部１５ａには、フレーミング領域頂点選択部１２から、射影領域８０の輪郭を形成する各頂点の座標の情報が入力され、交点判定部１３から交点の座標の情報が入力される。重複面積算出部１５ａは、これら入力される頂点や交点の座標の情報によって、所定のアルゴリズムで重複面積を求める。例えば、射影面積演算部１４と同様の計算方法で重複面積を求めることもできる。以下、重複面積算出部１５ａで算出された重複面積を、重複面積ＳCと表記する。なお、図１１に示すように射影領域８０の全体が画像フレーム３０の輪郭線の内部に含まれる場合、重複面積ＳCは、射影面積ＳAと等しくなる。
＜重複面積算出部＞
重複面積算出部１５ａは、図９に示すように、射影領域８０のうち、第２カメラ３の画像フレーム３０内に存在する重複領域９０の面積である重複面積を算出するものである。重複面積算出部１５ａには、フレーミング領域頂点選択部１２から、射影領域８０の輪郭を形成する各頂点の座標の情報が入力され、交点判定部１３から交点の座標の情報が入力される。重複面積算出部１５ａは、これら入力される頂点や交点の座標の情報によって、所定のアルゴリズムで重複面積を求める。例えば、射影面積演算部１４と同様の計算方法で重複面積を求めることもできる。以下、重複面積算出部１５ａで算出された重複面積を、重複面積ＳCと表記する。なお、図１１に示すように射影領域８０の全体が画像フレーム３０の輪郭線の内部に含まれる場合、重複面積ＳCは、射影面積ＳAと等しくなる。
【0061】
＜フレーム面積算出部＞
フレーム面積算出部１５ｂは、第２カメラ３の画像フレーム３０の面積であるフレーム面積を算出するものである。フレーム面積算出部１５ｂは、第２カメラ３のイメージセンサ３５に関する縦方向ピクセル数と横方向ピクセル数との積によりフレーム面積を算出する。以下、フレーム面積算出部１５ｂで算出されたフレーム面積を、フレーム面積ＳBと表記する。
フレーム面積算出部１５ｂは、第２カメラ３の画像フレーム３０の面積であるフレーム面積を算出するものである。フレーム面積算出部１５ｂは、第２カメラ３のイメージセンサ３５に関する縦方向ピクセル数と横方向ピクセル数との積によりフレーム面積を算出する。以下、フレーム面積算出部１５ｂで算出されたフレーム面積を、フレーム面積ＳBと表記する。
【0062】
＜フレーミング効率算出部＞
フレーミング効率算出部１５ｃは、次の式（９）で示される面積包含率ＲAと、次の式（１０）で示される面積占有率ＲBとを算出する。また、フレーミング効率算出部１５ｃは、次の式（１１）で定義されたフレーミング効率ＲABを算出する。
フレーミング効率算出部１５ｃは、次の式（９）で示される面積包含率ＲAと、次の式（１０）で示される面積占有率ＲBとを算出する。また、フレーミング効率算出部１５ｃは、次の式（１１）で定義されたフレーミング効率ＲABを算出する。
【0063】
【数7】
【0064】
面積包含率ＲAは、射影面積ＳAに対する重複面積ＳCの割合を示す。面積占有率ＲBは、フレーム面積ＳBに対する重複面積ＳCの割合を示す。フレーミング効率ＲABは、面積包含率ＲAと面積占有率ＲBとの積を示す。このフレーミング効率ＲABが０である場合、基準となる第１カメラ２のフレーミング領域を、評価対象となる第２カメラ３が全くフォローできていないことを意味する。フレーミング効率ＲABが１に近いほど、第１カメラ２のフレーミング領域を第２カメラ３で効率的にフォローできていることを意味する。
フレーミング効率演算部１５は、最終演算結果として、フレーミング効率ＲABをフレーミング効率評価部１６に出力する。
フレーミング効率演算部１５は、最終演算結果として、フレーミング効率ＲABをフレーミング効率評価部１６に出力する。
【0065】
（フレーミング効率評価部）
フレーミング効率評価部１６は、フレーミング効率演算部１５が算出した値が所定の閾値よりも大きいか否かを判別した判別結果を含む評価値を算出するものである。閾値は任意に設定することができる。フレーミング効率評価部１６には、フレーミング領域頂点選択部１２から、フレーミング効率ＲABが入力される。また、予め記憶手段９に記憶された閾値、または、オペレータが所定のタイミングで入力装置４から入力する閾値が、フレーミング効率評価部１６に入力される。
フレーミング効率評価部１６は、フレーミング効率演算部１５が算出した値が所定の閾値よりも大きいか否かを判別した判別結果を含む評価値を算出するものである。閾値は任意に設定することができる。フレーミング効率評価部１６には、フレーミング領域頂点選択部１２から、フレーミング効率ＲABが入力される。また、予め記憶手段９に記憶された閾値、または、オペレータが所定のタイミングで入力装置４から入力する閾値が、フレーミング効率評価部１６に入力される。
【0066】
フレーミング効率評価部１６は、入力されたフレーミング効率ＲABが、入力された閾値以上であるか否かを判別し、閾値以上であることを示す信号、または、閾値未満であることを示す信号を出力する。フレーミング効率評価部１６は、フレーミング効率ＲABと閾値との差を算出して、差分を評価値に含めて出力するように構成してもよい。例えば閾値が０．９７であり、かつ、フレーミング効率ＲABが０．７８であった場合、フレーミング効率評価部１６は、閾値未満を示す信号を出力すると共に、その差分値－０．１９を戻り値としてフレーミング効率表示部１７に出力する。差分値にプラス符号またはマイナス符号を付していれば、閾値以上または閾値未満であることが分かるので、評価値は、フレーミング効率ＲABおよび符号付きの差分値であってもよい。なお、フレーミング効率ＲABや差分値を小数ではなく百分率で出力してもよい。
【0067】
（フレーミング効率表示部）
フレーミング効率表示部１７は、フレーミング効率評価部１６が算出した評価値を表示装置５に表示させるものである。フレーミング効率表示部１７には、フレーミング効率評価部１６から評価値が入力される。
フレーミング効率表示部１７は、フレーミング効率評価部１６が算出した評価値を表示装置５に表示させるものである。フレーミング効率表示部１７には、フレーミング効率評価部１６から評価値が入力される。
【0068】
例えば第１カメラ２や第２カメラ３が撮影者よって操作されるビューファインダー付きの放送用カメラである場合、このビューファインダーが表示装置５であってもよい。この場合、フレーミング効率表示部１７は、評価値としてのフレーミング効率ＲABおよび差分値（戻り値）を表示装置５に出力する。すなわち、カメラのビューファインダー（表示装置５）が現在表示しているカメラの映像フレーム上にリアルタイムで、例えばフレーミング効率ＲABおよび差分値を重畳表示する。例えば第２カメラ３のビューファインダーに、フレーミング効率ＲABと差分値とを重畳表示すれば、第２カメラ３の撮影者に対して、現在のフレーミング領域が、基準となる第１カメラ２のフレーミング領域にどれだけ近いものであるのかを教示することができる。
【0069】
［フレーミング評価装置の動作］
次に、図１３を参照（適宜その他図面参照）して、本発明の実施形態に係るフレーミング評価装置の動作について説明する。まず、フレーミング評価装置１は、フレーミング領域決定部１０によって、第１カメラ情報とＲＯＩ情報とを用いて、基準となる第１カメラ２のフレーミング領域を決定する（ステップＳ１）。そして、フレーミング評価装置１は、フレーミング領域頂点演算部１１によって、第２カメラ情報を用いて、第１カメラ２のフレーミング領域を射影して、第２カメラ３の画像座標系におけるフレーミング領域頂点の座標値を演算により算出する（ステップＳ２）。
次に、図１３を参照（適宜その他図面参照）して、本発明の実施形態に係るフレーミング評価装置の動作について説明する。まず、フレーミング評価装置１は、フレーミング領域決定部１０によって、第１カメラ情報とＲＯＩ情報とを用いて、基準となる第１カメラ２のフレーミング領域を決定する（ステップＳ１）。そして、フレーミング評価装置１は、フレーミング領域頂点演算部１１によって、第２カメラ情報を用いて、第１カメラ２のフレーミング領域を射影して、第２カメラ３の画像座標系におけるフレーミング領域頂点の座標値を演算により算出する（ステップＳ２）。
【0070】
そして、フレーミング評価装置１は、フレーミング領域頂点選択部１２によって、フレーミング領域頂点を選択して射影領域８０を形成する（ステップＳ３）。そして、フレーミング評価装置１は、交点判定部１３によって、射影領域８０の輪郭線と画像フレーム３０の輪郭線との交点が２つ以上存在するか否かを判別する（ステップＳ４）。交点が２個以上ではない場合（ステップＳ４：Ｎｏ）、フレーミング評価装置１は、処理を終了する。一方、交点が２個以上である場合（ステップＳ４：Ｙｅｓ）、フレーミング評価装置１は、射影面積演算部１４によって、射影面積ＳAを算出する（ステップＳ５）。
【0071】
そして、フレーミング評価装置１は、フレーミング効率演算部１５の重複面積算出部１５ａによって、射影領域８０のうち画像フレーム３０内に存在する重複領域９０の重複面積ＳCを算出する（ステップＳ６）。また、フレーミング効率演算部１５のフレーム面積算出部１５ｂは、フレーム面積ＳBを算出する（ステップＳ７）。このステップＳ７の処理は、ステップＳ６の処理よりも前に行ってもよい。そして、フレーミング評価装置１は、フレーミング効率演算部１５のフレーミング効率算出部１５ｃによって、射影面積ＳA、フレーム面積ＳB、重複面積ＳCを用いて前記した式（９）～式（１１）により、フレーミング効率ＲABを算出する（ステップＳ８）。
【0072】
そして、フレーミング評価装置１は、フレーミング効率評価部１６によって、フレーミング効率ＲABが閾値以上であるか否かを判別することでフレーミング効率ＲABを評価する（ステップＳ９）。そして、フレーミング評価装置１は、フレーミング効率表示部１７によって、評価値としてのフレーミング効率ＲABおよび差分値（戻り値）を表示装置５に表示させる（ステップＳ１０）。
【0073】
以上説明したように、本実施形態に係るフレーミング評価装置１は、基準となる第１カメラ２のフレーミング領域に対して、評価対象となる第２カメラ３のフレーミング領域がどのくらい合致できているのかを定量的に評価することができる。また、フレーミング評価装置１は、第１カメラ２のフレーミング領域の射影面積に基づいてフレーミング効率を計算するので、世界座標上のボクセルで評価するよりも少ない計算量で評価することができる。さらに、フレーミング評価装置１によれば、評価対象の第２カメラ３の撮影者に対してフレーミング効率をリアルタイムに知らせれば、現在のフレーミング領域が、基準となる第１カメラ２にどれだけ近いのかを第２カメラ３の撮影者に教示することが可能となる。
【0074】
（変形例）
以上、本発明の実施形態に係るフレーミング評価装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。
以上、本発明の実施形態に係るフレーミング評価装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。
【0075】
例えば、本実施形態では、フレーミング評価装置１は、交点判定部１３を備えることとしたが、必須の構成ではない。交点判定部１３を備えない場合、フレーミング領域頂点選択部１２は、射影領域８０の輪郭を形成する各頂点の座標の情報を、射影面積演算部１４およびフレーミング効率演算部１５にそれぞれ出力する。また、フレーミング効率演算部１５は、重複面積ＳCを算出するために、これら入力される各頂点の座標の情報によって、所定のアルゴリズムで、射影領域８０の輪郭線と第２カメラ３の画像フレーム３０の輪郭線との交点を求める。なお、例えば射影領域８０と、第２カメラ３の画像フレーム３０とが重複する領域が全く存在しないときにフレーミング効率を演算することは無意味であり、交点判定部１３を備えている場合、そのような無意味の演算を防止することで、フレーミング効率の演算に係る処理負荷を低減できる。
【0076】
また、本実施形態では、フレーミング評価装置１は、フレーミング効率評価部１６とフレーミング効率表示部１７とを備えることとしたが、これらの構成は必須ではなく外部装置としてもよい。この場合、フレーミング効率演算部１５の演算結果を評価値として扱ってもよいし、フレーミング効率演算部１５の演算結果を外部装置としてのフレーミング効率評価部等へ出力して得られる評価値を用いるようにしてもよい。
【0077】
また、フレーミング効率演算部１５は、フレーミング効率ＲABに代え、面積包含率ＲAを広義のフレーミング効率としてフレーミング効率評価部１６に出力してもよい。この場合、フレーミング効率評価部１６には、面積包含率ＲAの閾値を入力する。さらに、表示装置５に表示される映像フレームに対して、面積包含率ＲAおよび差分値を重畳表示してもよい。同様に、フレーミング効率演算部１５は、面積占有率ＲBを広義のフレーミング効率としてフレーミング効率評価部１６に出力し、フレーミング効率評価部１６には、面積占有率ＲBの閾値を入力し、表示装置５に表示される映像フレームに対して面積占有率ＲBおよび差分値を重畳表示してもよい。さらに、フレーミング効率演算部１５は、フレーミング効率ＲABと、上記広義のフレーミング効率の双方とをすべて、フレーミング効率評価部１６に出力する構成としてもよい。
【0078】
また、第１カメラ２は、サイドライン１０５の側から被写体を撮影するものとしたが、サイドライン１０４の側から被写体を撮影してもよい。また、第２カメラ３は、ゴールライン１０７の側から被写体を撮影するものとしたが、ゴールライン１０６の側から被写体を撮影してもよい。さらに、評価対象となる第２カメラ３を複数備えて、ゴールライン１０６近傍、ゴールライン１０７近傍、サイドライン１０４近傍のように異なる場所にそれぞれ第２カメラ３を設置しても、それぞれ同様の効果を奏することができる。
【0079】
また、第１カメラ２にも第２カメラ３にも実際のカメラマンが割り当てられるものとしたが、実際に撮影するときに必要な人数を減らす目的であれば、いずれか一方または両方のカメラをロボットカメラで置き換えてもよい。例えば、第１カメラ２を実際のカメラマンが操作し、かつ、第２カメラ３がロボットカメラである場合、第２カメラ３は無人であってカメラマンは操作しない。この場合、ロボットカメラ（第２カメラ３）は、実際のカメラマンが決定した第１カメラ２のフレーミング領域を参考にして第２カメラ３のフレーミング領域を決めることができる。また、実際に撮影するときに必要な人数は足りているが、経験豊富ではないカメラマンが含まれているときには、ロボットカメラを使用せずに、第１カメラ２を熟練カメラマンに任せて、経験豊富ではないカメラマンが第２カメラ３を操作する、という使い方も可能である。
【0080】
また、第１カメラ２や第２カメラ３は、固定設置型でもよいし、移動可能に構成されていてもよい。移動可能なカメラとしては、例えば車輪付き雲台に搭載されたカメラ、ワイヤに沿って決まった軌道を行ったり来たりする空中特殊撮影機材、ドローンに搭載されたカメラなどが挙げられる。第１カメラ２としてドローンカメラを採用した場合、フレーミング評価装置１は、第１カメラ２のフレーミング領域（ドローン撮影領域）を決定し、他のカメラ（第２カメラ３）に対して、ドローン撮影領域に追随させるフレーミングをさせる使い方も可能である。
【0081】
また、フレーミング評価装置１は、例えば中継車に設置されるものとしたが、これに限るものではなく、例えば競技場の中に設置してもよい。
また、フレーミング評価装置１は、評価対象となる第２カメラ３と同じ筐体に一体的に構成されていてもよい。
また、フレーミング評価装置１は、競技場から離れた場所（放送局）に設置されていてもよい。この場合、例えば中継車から通信手段を介してカメラの情報をサッカー場とは違う場所（放送局）に送り、放送局に設置されたフレーミング評価装置１がカメラの情報を使ってフレーミング効率の演算を行う。そして、フレーミング評価装置１は、通信手段６を介して、評価対象となる第２カメラ３に評価値をフィードバックして、第２カメラ３のビューファインダーに、評価値（フレーミング効率ＲABと差分値）を表示させることができる。
また、フレーミング評価装置１は、評価対象となる第２カメラ３と同じ筐体に一体的に構成されていてもよい。
また、フレーミング評価装置１は、競技場から離れた場所（放送局）に設置されていてもよい。この場合、例えば中継車から通信手段を介してカメラの情報をサッカー場とは違う場所（放送局）に送り、放送局に設置されたフレーミング評価装置１がカメラの情報を使ってフレーミング効率の演算を行う。そして、フレーミング評価装置１は、通信手段６を介して、評価対象となる第２カメラ３に評価値をフィードバックして、第２カメラ３のビューファインダーに、評価値（フレーミング効率ＲABと差分値）を表示させることができる。
【0082】
また、評価対象となる第２カメラ３のビューファインダーの画面表示をマルチ画面表示して、基準となる第１カメラ２のフレーミング領域を一緒に映すようにしてもよい。このマルチ画面には、カメラ映像と共に、状況に応じて例えば図８から図１２のいずれか１つを表示することもできる。このようにすることで、第２カメラ３が撮影者によって操作される場合、第２カメラ３の撮影者は、リファレンスである第１カメラ２のフレーミング領域が自分のカメラのフレームに対してどこにあるのかを直感的に認識できる。そのため、自分のカメラのフレーミングを修正し易くする効果がある。
【0083】
また、前記した実施形態では、サッカー中継のフレーミングを一例として説明したが、これに限定されない。例えば、本発明は、サッカー以外のラグビー、野球、バスケットボールなどのスポーツ中継や、コンサートや舞台などの撮影映像に好適である。
【0084】
また、前記した実施形態では、フレーミング評価装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各装置として動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0085】
１ フレーミング評価装置
２ 第１カメラ
３ 第２カメラ
４ 入力装置
５ 表示装置
６ 通信手段
９ 記憶手段
１０ フレーミング領域決定部
１１ フレーミング領域頂点演算部
１２ フレーミング領域頂点選択部
１３ 交点判定部
１４ 射影面積演算部
１５ フレーミング効率演算部
１５ａ 重複面積算出部
１５ｂ フレーム面積算出部
１５ｃ フレーミング効率算出部
１６ フレーミング効率評価部
１７ フレーミング効率表示部
２１，３１ 駆動機構
２２，３２ パン・チルトデータ検出センサ
２３，３３ レンズデータ検出センサ
２４，３４ 視点
２５，３５ イメージセンサ
３０ 画像フレーム
８０ 射影領域
９０ 重複領域
２ 第１カメラ
３ 第２カメラ
４ 入力装置
５ 表示装置
６ 通信手段
９ 記憶手段
１０ フレーミング領域決定部
１１ フレーミング領域頂点演算部
１２ フレーミング領域頂点選択部
１３ 交点判定部
１４ 射影面積演算部
１５ フレーミング効率演算部
１５ａ 重複面積算出部
１５ｂ フレーム面積算出部
１５ｃ フレーミング効率算出部
１６ フレーミング効率評価部
１７ フレーミング効率表示部
２１，３１ 駆動機構
２２，３２ パン・チルトデータ検出センサ
２３，３３ レンズデータ検出センサ
２４，３４ 視点
２５，３５ イメージセンサ
３０ 画像フレーム
８０ 射影領域
９０ 重複領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】