特許 7518695 撮影メタデータ記録装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-09

(45)【発行日】2024-07-18

(54)【発明の名称】撮影メタデータ記録装置及びプログラム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20240710BHJP

   G03B 7/091 20210101ALI20240710BHJP

   G03B 15/00 20210101ALI20240710BHJP

   H04N 5/77 20060101ALI20240710BHJP

   H04N 23/60 20230101ALI20240710BHJP

【ＦＩ】

H04N5/92 010

G03B7/091

G03B15/00 Q

H04N5/77

H04N23/60 300

【請求項の数】 6

(21)【出願番号】P 2020131860

(22)【出願日】2020-08-03

(65)【公開番号】P2022028454

(43)【公開日】2022-02-16

【審査請求日】2023-07-03

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００４－３１２２８１（ＪＰ，Ａ）

【文献】特開２００９－０１７４８０（ＪＰ，Ａ）

【文献】特開２０１５－１２６４０１（ＪＰ，Ａ）

【文献】特許第６３６０２８１（ＪＰ，Ｂ２）

【文献】米国特許出願公開第２０１９／０１０８４０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１ － ５／９５６

Ｈ０４Ｎ ５／７６ －５／７７５

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｇ０３Ｂ １５／００ －１５／０３５

Ｇ０３Ｂ ７／００ － ７／３０

(57)【特許請求の範囲】

【請求項1】

カメラを操作する撮影者が意図した撮影領域であって、被写体の空間的な存在領域を被写体領域として推定し、前記被写体領域を特定するための被写体領域情報をメタデータとして記録する撮影メタデータ記録装置において、
前記カメラに装着されたレンズのフォーカス値ｄを入力すると共に、前記カメラの姿勢を示す姿勢計測値を入力し、前記フォーカス値ｄをレンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する被写体領域推定部と、
前記被写体領域推定部により推定された前記被写体領域情報と前記カメラから入力した映像とを時間的に対応付けるための同期情報を入力し、前記同期情報と共に、前記被写体領域情報を記録する被写体領域記録部と、
を備えたことを特徴とする撮影メタデータ記録装置。

【請求項2】

請求項１に記載の撮影メタデータ記録装置において、
前記被写体領域推定部は、
さらに、前記カメラに装着された前記レンズのアイリス値Ｆを入力し、前記アイリス値Ｆ及び前記フォーカス値ｄを前記レンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する、ことを特徴とする撮影メタデータ記録装置。

【請求項3】

請求項１または２に記載の撮影メタデータ記録装置において、
前記被写体領域推定部は、
さらに、前記カメラの位置を示す位置計測値を入力し、前記位置計測値、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する、ことを特徴とする撮影メタデータ記録装置。

【請求項4】

請求項１から３までのいずれか一項に記載の撮影メタデータ記録装置において、
さらに、前記カメラから前記映像を入力し、前記映像に基づいて前記同期情報を生成する同期情報生成部を備え、
前記被写体領域記録部は、
前記同期情報生成部により生成された前記同期情報と共に、前記被写体領域情報を記録する、ことを特徴とする撮影メタデータ記録装置。

【請求項5】

カメラを操作する撮影者が意図した撮影領域であって、被写体の空間的な存在領域を被写体領域として推定し、前記被写体領域を特定するための被写体領域情報をメタデータとして記録する撮影メタデータ記録装置において、
前記カメラに装着されたレンズのフォーカス値ｄを入力すると共に、前記カメラの姿勢を示す姿勢計測値を入力し、前記フォーカス値ｄをレンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する被写体領域推定部と、
前記カメラから映像を入力し、前記映像と前記被写体領域推定部により推定された前記被写体領域情報とを多重化することで、多重化信号を生成する多重化部と、
前記多重化部により生成された前記多重化信号を記録する記録部と、
を備えたことを特徴とする撮影メタデータ記録装置。

【請求項6】

コンピュータを、請求項１から５までのいずれか一項に記載の撮影メタデータ記録装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像撮影時のメタデータを記録する装置及びプログラムに関し、特に、撮影者が意図した撮影領域を記録する技術に関する。

【背景技術】

【0002】

従来、デジタルスチルカメラにおいて、撮影条件に関するメタデータを記録する形式として、ＪＰＥＧ（Joint Photographic Experts Group）方式等の映像記録フォーマットによるデータ中に保持するＥｘｉｆ（Exchangeable image file format）が知られている。

【0003】

雲台またはレンズに装着または内蔵されたロータリーエンコーダ等の情報を用いて、パン、チルト、フォーカス、ズーム、アイリス等の操作量計測データを取得することが、バーチャルスタジオシステムにおいて行われている。また、これらの操作量計測データを同期情報と共にファイル等に記録することは、一般的に行われている。

【0004】

同期情報としては、タイムコード等の時刻情報が用いられるほか、ブラックバースト信号または３値同期信号に同期したタイミングに律することも行われている。

【0005】

また、被写体に装着されたマーカ（再帰性反射材によるもの等）を撮影することで、被写体の位置、姿勢及びポーズを記録するモーションキャプチャが知られている。また、人物を被写体とする場合に、骨格モデルを映像に合わせ込むことで、人物の位置、姿勢及びポーズを記録する技術も知られている。

【0006】

また、ＧＰＳ（Global Positioning System：全地球測位システム）等のＧＮＳＳ（Global Navigation Satellite System：全世界測位システム）受信機が搭載または装着されたデジタルビデオカメラが知られている。このデジタルビデオカメラは、ＧＮＳＳ受信機で受信した測位情報及び時刻情報をメタデータとして、映像と共に記録する。

【0007】

また、カメラ座標と世界座標を対応付けて記録する路側撮影装置が知られている（例えば、特許文献１を参照）。この路側撮影装置は、ＧＰＳ等により正確な位置が取得された車両の撮影画像にタイムスタンプを記録し、撮影終了後、撮影画像に記録されたタイムスタンプに基づいて、各映像フレームの正確な時刻を算出する。そして、路側撮影装置は、各映像フレームにおけるカメラ座標系の車両位置と、その時刻に対応する世界座標系の車両位置との対応テーブルを作成し、カメラの視野と世界座標系を精度良く関連付ける。

【先行技術文献】

【特許文献】

【0008】

【文献】特許第５３３２８１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

前述のＥｘｉｆの方式では、メタデータとしてカメラ機種、撮影日時、焦点距離、アイリス値、シャッター速度値、センサ感度値、カメラ姿勢（縦横）等のカメラ自体の状態を記録することができる。しかし、撮影者が意図した撮影対象（被写体）の位置及び広がりに関する情報を直接的に記録することはできない。

【0010】

また、前述の雲台またはレンズに装着または内蔵されたロータリーエンコーダ等の情報を記録する方式においては、記録可能な情報は撮影アングルに関するものである。このため、被写体の位置及び広がりに関する情報を直接的に記録することはできない。

【0011】

また、前述のマーカを用いるモーションキャプチャでは、被写体の位置情報を記録することができる。しかし、専用のカメラの使用、被写体へのマーカの貼付が必要となり、撮影者及び被写体への負担が大きいほか、マーカが映像に写り込んでしまうという問題がある。

【0012】

また、前述の骨格モデルを映像に合わせ込むことで、人物の位置等を記録する技術では、被写体が人物に限られる。

【0013】

また、前述のＧＮＳＳ受信機からの測位情報を映像と共に記録する技術では、カメラの位置を取得することはできるが、被写体の位置については直接取得することができない。被写体の位置を取得するためには、例えばフォーカス情報、測位情報及び姿勢情報を併用して演算する等の処理が必要となる。

【0014】

また、前述の特許文献１の技術は、被写体を路側に限定することで、カメラ座標と世界座標の対応付けを実現している。このため、撮影者が意図をもってカメラまたはレンズを操作した場合に、その情報を用いて、世界座標における被写体の存在領域を特定する用途には適用できない。

【0015】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録可能な映像メタデータ記録装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0016】

前記課題を解決するために、請求項１の撮影メタデータ記録装置は、カメラを操作する撮影者が意図した撮影領域であって、被写体の空間的な存在領域を被写体領域として推定し、前記被写体領域を特定するための被写体領域情報をメタデータとして記録する撮影メタデータ記録装置において、前記カメラに装着されたレンズのフォーカス値ｄを入力すると共に、前記カメラの姿勢を示す姿勢計測値を入力し、前記フォーカス値ｄをレンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する被写体領域推定部と、前記被写体領域推定部により推定された前記被写体領域情報と前記カメラから入力した映像とを時間的に対応付けるための同期情報を入力し、前記同期情報と共に、前記被写体領域情報を記録する被写体領域記録部と、を備えたことを特徴とする。

【0017】

請求項１の発明によれば、撮影者が意図した撮影領域である被写体領域を、フォーカス値ｄ及び姿勢計測値によって推定することができ、これを映像に対応付けて記録することができる。

【0018】

また、請求項２の撮影メタデータ記録装置は、請求項１に記載の撮影メタデータ記録装置において、前記被写体領域推定部が、さらに、前記カメラに装着された前記レンズのアイリス値Ｆを入力し、前記アイリス値Ｆ及び前記フォーカス値ｄを前記レンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する、ことを特徴とする。

【0019】

請求項２の発明によれば、映像の合焦範囲（被写界深度）に応じて被写体領域を絞り込むことができる。

【0020】

また、請求項３の撮影メタデータ記録装置は、請求項１または２に記載の撮影メタデータ記録装置において、前記被写体領域推定部が、さらに、前記カメラの位置を示す位置計測値を入力し、前記位置計測値、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する、ことを特徴とする。

【0021】

請求項３の発明によれば、カメラの移動をも考慮して被写体領域を推定することができる。

【0022】

また、請求項４の撮影メタデータ記録装置は、請求項１から３までのいずれか一項に記載の撮影メタデータ記録装置において、さらに、前記カメラから前記映像を入力し、前記映像に基づいて前記同期情報を生成する同期情報生成部を備え、前記被写体領域記録部が、前記同期情報生成部により生成された前記同期情報と共に、前記被写体領域情報を記録する、ことを特徴とする。

【0023】

請求項４の発明によれば、映像から同期情報が生成されるため、同期情報を撮影メタデータ記録装置の外部から入力する必要がない。また、映像と同期情報とを対応付ける必要がないため、撮影メタデータ記録装置の構成を簡素化することができる。

【0024】

また、請求項５の撮影メタデータ記録装置は、カメラを操作する撮影者が意図した撮影領域であって、被写体の空間的な存在領域を被写体領域として推定し、前記被写体領域を特定するための被写体領域情報をメタデータとして記録する撮影メタデータ記録装置において、前記カメラに装着されたレンズのフォーカス値ｄを入力すると共に、前記カメラの姿勢を示す姿勢計測値を入力し、前記フォーカス値ｄをレンズ計測値として、前記レンズ計測値及び前記姿勢計測値に基づいて、前記被写体領域情報を推定する被写体領域推定部と、前記カメラから映像を入力し、前記映像と前記被写体領域推定部により推定された前記被写体領域情報とを多重化することで、多重化信号を生成する多重化部と、前記多重化部により生成された前記多重化信号を記録する記録部と、を備えたことを特徴とする。

【0025】

請求項５の発明によれば、同期情報を生成する必要がなく、外部から入力する必要もないため、撮影メタデータ記録装置の構成を簡素化することができる。

【0026】

さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の撮影メタデータ記録装置として機能させることを特徴とする。

【発明の効果】

【0027】

以上のように、本発明によれば、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録することができる。

【図面の簡単な説明】

【0028】

【図1】実施例１の撮影メタデータ記録装置の構成例を示すブロック図である。

【図2】カメラの基準姿勢の一例を示す図である。

【図3】被写体領域推定部の処理例（第一例）を示すフローチャートである。

【図4】第一例の被写体領域を説明する図である。

【図5】被写体領域推定部の処理例（第二例）を示すフローチャートである。

【図6】第二例の被写体領域を説明する図である。

【図7】被写体領域推定部の処理例（第三例）を示すフローチャートである。

【図8】第三例の被写体領域を説明する図である。

【図9】他の例（１）の被写体領域を説明する図である。

【図10】他の例（２）の被写体領域を説明する図である。

【図11】単焦点レンズを使用した場合の被写体領域の例を説明する図である。

【図12】実施例２の撮影メタデータ記録装置の構成例を示すブロック図である。

【図13】実施例３の撮影メタデータ記録装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0029】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、カメラの姿勢を示す姿勢計測値、カメラに装着されたレンズの計測情報を示すレンズ計測値に基づいて、撮影者が意図した撮影領域である被写体の空間的な存在領域（被写体領域）を推定し、被写体領域を特定するための情報及び映像を時間的に対応付けるための同期情報と共に、被写体領域を特定するための情報を記録することを特徴とする。

【0030】

これにより、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録することができる。

【0031】

〔実施例１〕
まず、実施例１について説明する。図１は、実施例１の撮影メタデータ記録装置の構成例を示すブロック図である。この撮影メタデータ記録装置１は、被写体領域推定部２０、映像記録部２１及び被写体領域記録部２２を備えている。

【0032】

被写体領域推定部２０は、カメラ１１により被写体が撮影されたときのカメラ１１の姿勢の計測情報を示す姿勢計測値、カメラ１１に装着されたレンズ１０のパラメータの計測情報を示すレンズ計測値、及びカメラ１１の位置の計測情報を示す位置計測値を入力する。そして、被写体領域推定部２０は、姿勢計測値、レンズ計測値及び位置計測値に基づいて被写体領域を推定し、被写体領域を特定するための情報（以下、「被写体領域情報」という。）を被写体領域記録部２２に出力する。

【0033】

映像記録部２１は、カメラ１１から映像を入力すると共に、当該撮影メタデータ記録装置１の外部に設けられた同期情報生成部１４から同期情報を入力する。そして、映像記録部２１は、同期情報と共に映像を記録する。

【0034】

被写体領域記録部２２は、被写体領域推定部２０から被写体領域情報を入力すると共に、当該撮影メタデータ記録装置１の外部に設けられた同期情報生成部１４から同期情報を入力する。そして、被写体領域記録部２２は、同期情報と共に被写体領域情報を記録する。

【0035】

（姿勢計測値）
被写体領域推定部２０が入力する姿勢計測値は、例えばカメラ１１を搭載した雲台１２に内蔵されたセンサによって計測される。姿勢計測値は、例えば雲台１２の操作量（例えば、パン、チルト及びロールの操作量（パン角α、チルト角δ及びロール角φ））であり、雲台１２に内蔵されたロータリーエンコーダにより計測される。

【0036】

また、姿勢計測値は、カメラ１１に装着または内蔵された姿勢センサによる計測値としてもよい。例えば、姿勢センサとして、地磁気センサ、重力センサ（加速度センサ）、ジャイロスコープ（慣性モーメントを有する回転物体のジャイロ剛性によるもののほか、振動ジャイロスコープ、光ファイバジャイロスコープ、リングレーザージャイロスコープ等であっても構わない。）を用いるようにしてもよい。姿勢計測値は、複数台のＧＮＳＳ受信機による姿勢測定、雲台１２を搭載したペデスタル（ドリーを含む、以下同じ）１３の車輪の回転情報（車輪の方位またはオドリメトリ）、カメラ１１自体またはカメラ１１に装着された別のカメラによる映像の解析（例えば、撮影空間に装備されたマーカの見え方の解析）によるもの、またはこれらを組み合わせたものであってもよい。

【0037】

また、姿勢計測値は、所定の１軸まわり（例えば、パン軸まわり）の回転量を計測したものであってもよいし、所定の複数の軸まわり（例えば、パン軸及びチルト軸の２軸、パン軸、チルト軸及びロール軸の３軸）を計測したものであってもよい。

【0038】

また、姿勢計測値は、他の種類のオイラー角、オイラーパラメータ等のクォータニオン（四元数）、回転行列（方向余弦行列）等の任意の表現方法において計測したものであってもよい。

【0039】

図２は、カメラ１１の基準姿勢の一例を示す図である。カメラ１１に固定した右手系の座標系（カメラ座標系）をｘｙｚとする。カメラ１１に装着されたレンズ１０の光軸をｚ軸とし（被写体側を正）、カメラ１１により撮像される画像面１０１内（ここでは平面とし、かつ光軸と直交するものとする。）の一軸をｘ軸とする。また、画像面１０１内においてｘ軸と直交する軸方向をｙ軸とし、カメラ座標系の原点をレンズ１０の第一光学主点と定義する。この画像面１０１は、当該画像面１０１を裏から見ている場合を示している。

【0040】

また、右手系の直交座標系（世界座標系）をＸＹＺとする。図２に示すカメラ１１の基準姿勢（回転角が全て０の状態）を、以下の（１）（２）及び（３）を満たす場合として定義する。
（１）ｚ軸がＸ軸方向を指向する。
（２）ｘ軸が－Ｙ軸方向を指向する。
（３）ｙ軸が－Ｚ軸方向を指向する。

【0041】

また、基準姿勢に対するカメラ１１の姿勢を、ｙ軸まわりのパン角α、ｘ軸まわりのチルト角δ、及びｚ軸まわりのロール角φで表し、φ，α，δがｚｙｘ－オイラー角を成すものとする。

【0042】

このとき、カメラ座標系における任意の方向ベクトルを世界座標系に変換する回転行列Ｒは、以下の式で表される。

【数1】

【0043】

（レンズ計測値）
被写体領域推定部２０が入力するレンズ計測値には、例えば、レンズ１０のズーム情報（焦点距離値ｆまたは画角値Ａ等）、フォーカス値ｄ及びアイリス値Ｆのうちの１つ以上が含まれる。

【0044】

焦点距離値ｆは、無限遠の被写体（平行光）が合焦して結像するときのレンズ（第二光学主点）から結像面までの間の距離を示す。焦点距離値ｆが大きいほど画角値Ａが小さく（画角が狭く）なり、すなわち望遠となる。

【0045】

フォーカス値ｄは、第一光学主点から被写界における合焦位置までの間の距離（奥行き値）、すなわち合焦位置のカメラ座標のｚ成分を示す。

【0046】

（位置計測値）
被写体領域推定部２０が入力する位置計測値は、例えばカメラ１１の第一光学主点の世界座標（Ｔ_X，Ｔ_Y，Ｔ_Z）である。位置計測値は、例えばＧＮＳＳ受信機による測位情報、ペデスタル１３の車輪の回転情報（車輪の方位またはオドリメトリ）、カメラ１１をクレーン等に搭載した場合にはクレーンの各回転軸の操作量から演算した位置情報、カメラ１１自体またはカメラ１１に装着された別のカメラによる映像の解析による測位情報、またはこれらを組み合わせたものであってもよい。

【0047】

尚、被写体領域推定部２０は、必ずしも姿勢計測値、レンズ計測値及び位置計測値の全てを入力しなくてもよいが、少なくとも姿勢計測値及びレンズ計測値を入力することが好ましい。姿勢計測値は１軸以上の回転角であり、レンズ計測値は少なくともフォーカス値ｄを含むことが好ましい。

【0048】

（被写体領域）
被写体領域推定部２０により推定される被写体領域は、カメラ１１を操作する撮影者が意図した撮影領域である被写体の空間的な存在領域であり、被写体の位置及び広がりを示す領域である。被写体領域は、被写体そのものではない。被写体領域情報としては、例えば四角錐台の頂点座標、球体の中心座標及び半径である。

【0049】

（同期情報）
同期情報生成部１４が生成する同期情報は、カメラ１１からの映像と、被写体領域推定部２０からの被写体領域情報とを時間的に対応付けるための情報であり、映像と被写体領域情報とを同期させるために用いられる。映像記録部２１及び被写体領域記録部２２により、同期した映像及び被写体領域情報がそれぞれ記録される。映像及び被写体領域情報を同期して記録するために、外部の同期情報生成部１４から入力される同期情報が用いられる。つまり、映像記録部２１は、同期情報と共に映像を記録し、被写体領域記録部２２は、同期情報と共に被写体領域情報を記録する。

【0050】

同期情報としては、例えばタイムコードが用いられる。また、同期情報として、ブラックバースト信号、３値同期信号等の映像同期信号を併用するようにしてもよい。この場合、映像記録部２１及び被写体領域記録部２２は、映像同期信号のタイミングをトリガとして記録処理を行うことにより、記録のタイミングを合わせることができる。

【0051】

映像記録部２１は、外部の同期情報生成部１４から入力した同期情報を、例えば映像信号に含まれるＶＩＴＣ（Vertical Interval Time Code）の領域に記録するようにしてもよい。また、映像記録部２１は、同期情報を、例えば音声信号に含まれるＬＴＣ（Longitudinal Time Code）の領域に記録するようにしてもよい。このほか映像記録部２１は、ＶＩＴＣ、ＬＴＣまたはこれら両者のユーザビット領域に前記同期情報を記録するようにしてもよい。また、映像記録部２１は、これらを併用するようにしてもよい。

【0052】

また、映像記録部２１は、ＴＳ（Transport Stream：トランスポートストリーム）を記録する場合、同期情報を、ＴＳに含まれるＰＴＳ（Presentation Time Stamp：再生時刻）の領域に記録するようにしてもよい。また、映像記録部２１は、非圧縮または可逆圧縮の記録方式を用いるようにしてもよいし、非可逆の圧縮記録方式を用いるようにしてもよい。

【0053】

被写体領域記録部２２の記録方式はどのような方式であってもよい。例えば、被写体領域記録部２２は、同期情報と共に被写体領域情報を、それぞれ所定のフォーマットにおいてバイナリデータまたはテキストデータとして記録する。テキストデータは、例えばＸＭＬ形式、ＭＰＥＧ－７形式、ＪＳＯＮ形式等によってフォーマット化しても構わない。

【0054】

（第一例／被写体領域推定部２０）
次に、図１に示した撮影メタデータ記録装置１の被写体領域推定部２０について、第一例を説明する。第一例は、姿勢計測値（パン角α、チルト角δ）及びレンズ計測値（焦点距離値ｆ、フォーカス値ｄ）に基づいて被写体領域を推定する例である。

【0055】

図３は、被写体領域推定部２０の処理例（第一例）を示すフローチャートであり、図４は、第一例の被写体領域を説明する図である。

【0056】

図４を参照して、ＸＹＺの世界座標系において、カメラ１１のレンズ１０の第一光学主点を頂点とする。被写体領域１１０は、当該頂点からカメラ１１により撮影された画像の縁を通る錐体（典型的には四角錐状の領域）のうち、奥行き値が（ｄ－ｐ）から（ｄ＋ｑ）までの間の範囲を切り出した錐台及びその内部（典型的には四角錐台及びその内部。以下、単に「四角錐台」という。）である。ｐ，ｑは、予め設定されたパラメータであり、正の定数とする。ｄはフォーカス値であり、Ａは画角値である。

【0057】

図３及び図４を参照して、被写体領域推定部２０は、姿勢計測値（パン角α、チルト角δ）及びレンズ計測値（焦点距離値ｆ、フォーカス値ｄ）を入力する（ステップＳ３０１，Ｓ３０２）。そして、被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）を用いて、前記式（１）により回転行列Ｒを算出する（ステップＳ３０３）。

【0058】

被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）から、カメラ座標における画像の四隅の画像座標（ｘ_i，ｙ_i）を算出する（ステップＳ３０４）。ｉ∈｛１，２，３，４｝とする。

【0059】

被写体領域推定部２０は、焦点距離値ｆ、フォーカス値ｄ、回転行列Ｒ、画像座標（ｘ_i，ｙ_i）及び予め設定されたパラメータｐ，ｑを用いて、以下の式により、被写体領域１１０の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を算出する（ステップＳ３０５）。

【数2】

【0060】

被写体領域推定部２０は、被写体領域１１０の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を被写体領域記録部２２に出力する（ステップＳ３０６）。

【0061】

このように、姿勢計測値（パン角α、チルト角δ）及びレンズ計測値（焦点距離値ｆ、フォーカス値ｄ）に基づいて、被写体領域１１０の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）が得られる。

【0062】

（第二例／被写体領域推定部２０）
次に、図１に示した撮影メタデータ記録装置１の被写体領域推定部２０について、第二例を説明する。第二例は、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））に基づいて被写体領域を推定する例である。

【0063】

図５は、被写体領域推定部２０の処理例（第二例）を示すフローチャートであり、図６は、第二例の被写体領域を説明する図である。

【0064】

図６を参照して、被写体領域１１１は、図４と同様に、カメラ１１のレンズ１０の第一光学主点である頂点からカメラ１１により撮影された画像の縁を通る錐体のうち、奥行き値が（ｄ－ｐ）から（ｄ＋ｑ）までの間の範囲を切り出した四角錐台である。

【0065】

図５及び図６を参照して、被写体領域推定部２０は、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））を入力する（ステップＳ５０１，Ｓ５０２，Ｓ５０３）。世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z）は、カメラ１１の第一光学主点の座標である。そして、被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）を用いて、前記式（１）により回転行列Ｒを算出する（ステップＳ５０４）。

【0066】

被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）から、カメラ座標における画像の四隅の画像座標（ｘ_i，ｙ_i）を算出する（ステップＳ５０５）。ｉ∈｛１，２，３，４｝とする。

【0067】

被写体領域推定部２０は、焦点距離値ｆ、フォーカス値ｄ、回転行列Ｒ、画像座標（ｘ_i，ｙ_i）、世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z）及び予め設定されたパラメータｐ，ｑを用いて、以下の式により、被写体領域１１１の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を算出する（ステップＳ５０６）。

【数3】

【0068】

被写体領域推定部２０は、被写体領域１１１の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を被写体領域記録部２２に出力する（ステップＳ５０７）。

【0069】

このように、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））に基づいて、被写体領域１１１の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）が得られる。

【0070】

（第三例／被写体領域推定部２０）
次に、図１に示した撮影メタデータ記録装置１の被写体領域推定部２０について、第三例を説明する。第三例は、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ、アイリス値Ｆ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））に基づいて被写体領域を推定する例である。

【0071】

図７は、被写体領域推定部２０の処理例（第三例）を示すフローチャートであり、図８は、第三例の被写体領域を説明する図である。

【0072】

図８を参照して、被写体領域１１２は、カメラ１１のレンズ１０の第一光学主点である頂点からカメラ１１により撮影された画像の縁を通る錐体のうち、奥行き値がｄ₀からｄ₁までの間の合焦範囲を切り出した四角錐台である。ｄ₀，ｄ₁は、合焦範囲を決定するための合焦範囲値である。

【0073】

この被写体領域１１２は、被写界深度を考慮して決定することができる。被写界深度は、焦点距離値ｆ、フォーカス値ｄ及びアイリス値Ｆに依存することから、合焦範囲は、合焦範囲値ｄ₀を定める関数ｄ₀（Ｆ，ｆ，ｄ）から合焦範囲値ｄ₁を定める関数ｄ₁（Ｆ，ｆ，ｄ）までの間の範囲で表すことができる。

【0074】

これらの関数ｄ₀（Ｆ，ｆ，ｄ），ｄ₁（Ｆ，ｆ，ｄ）は、画像上の錯乱円の実測及びレンズ１０の光学設計上の理論値等から予め設定される。

【0075】

図７及び図８を参照して、被写体領域推定部２０は、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ、アイリス値Ｆ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））を入力する（ステップＳ７０１，Ｓ７０２，Ｓ７０３）。そして、被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）を用いて、前記式（１）により回転行列Ｒを算出する（ステップＳ７０４）。

【0076】

被写体領域推定部２０は、パン角α及びチルト角δ（ロール角φ＝０）から、カメラ座標における画像の四隅の画像座標（ｘ_i，ｙ_i）を算出する（ステップＳ７０５）。ｉ∈｛１，２，３，４｝とする。

【0077】

被写体領域推定部２０は、アイリス値Ｆ、焦点距離値ｆ及びフォーカス値ｄから、被写界深度の範囲を表す関数ｄ₀（Ｆ，ｆ，ｄ），ｄ₁（Ｆ，ｆ，ｄ）の値を求める（ステップＳ７０６）。

【0078】

被写体領域推定部２０は、回転行列Ｒ、画像座標（ｘ_i，ｙ_i）、世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z）及び関数ｄ₀（Ｆ，ｆ，ｄ），ｄ₁（Ｆ，ｆ，ｄ）を用いて、以下の式により、被写体領域１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を算出する（ステップＳ７０７）。

【数4】

【0079】

被写体領域推定部２０は、被写体領域１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を被写体領域記録部２２に出力する（ステップＳ７０８）。

【0080】

このように、姿勢計測値（パン角α、チルト角δ）、レンズ計測値（焦点距離値ｆ、フォーカス値ｄ、アイリス値Ｆ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））に基づいて、被写体領域１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）が得られる。

【0081】

尚、被写体領域推定部２０は、ステップＳ７０６において、アイリス値Ｆ、焦点距離値ｆ及びフォーカス値ｄから、関数ｄ₀（Ｆ，ｆ，ｄ），ｄ₁（Ｆ，ｆ，ｄ）の値を求めるようにした。これに対し、関数ｄ₀（Ｆ，ｆ，ｄ），ｄ₁（Ｆ，ｆ，ｄ）を、ルックアップテーブル化しておくようにしてもよい。この場合、被写体領域推定部２０は、ステップＳ７０６において、予め設定されたルックアップテーブルを用いて、アイリス値Ｆ、焦点距離値ｆ及びフォーカス値ｄに対応する合焦範囲値ｄ₀（関数ｄ₀（Ｆ，ｆ，ｄ）に相当），ｄ₁（関数ｄ₁（Ｆ，ｆ，ｄ）に相当）を求める。

【0082】

前記式（４）を一般化すると、以下の式で表される。

【数5】

【0083】

この場合、被写体領域推定部２０は、図７に示した処理例のうちのステップＳ７０１において、姿勢計測値（パン角α、チルト角δ、ロール角φ）を入力する。また、被写体領域推定部２０は、ステップＳ７０４において、パン角α、チルト角δ及びロール角φを用いて、前記式（１）により回転行列Ｒを算出する。また、被写体領域推定部２０は、ステップＳ７０５において、パン角α、チルト角δ及びロール角φから、カメラ座標における画像の四隅の画像座標（ｘ_i，ｙ_i）を算出する。

【0084】

（他の例（１）／被写体領域推定部２０）
次に、図１に示した撮影メタデータ記録装置１の被写体領域推定部２０について、他の例（１）を説明する。図９は、他の例（１）の被写体領域を説明する図である。

【0085】

被写体領域１１０，１１１，１１２は、それぞれ図４の第一例、図６の第二例及び図８の第三例における推定対象の領域である。被写体領域１１３は、他の例（１）における推定対象の領域であり、被写体領域１１０，１１１，１１２の四角錐台を他の立体（例えば、楕円体、球体）によって近似した領域である。

【0086】

被写体領域推定部２０は、前述の第一例、第二例及び第三例のいずれかの処理にて、被写体領域１１０，１１１，１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を算出する。そして、被写体領域推定部２０は、被写体領域１１０，１１１，１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）により表される四角錐台を、他の立体に近似し、当該他の立体のパラメータ（例えば、球体の半径及び中心の世界座標）を、被写体領域１１３を特定するための情報、すなわち被写体領域情報として算出する。

【0087】

このように、前述の第一例、第二例及び第三例では、被写体領域１１０，１１１，１１２を、四角錐台の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）にて表現したが、他の例（１）では、この四角錐台を他の立体に近似し、当該他の立体のパラメータにて被写体領域１１３を表現する。

【0088】

（他の例（２）／被写体領域推定部２０）
次に、図１に示した撮影メタデータ記録装置１の被写体領域推定部２０について、他の例（２）を説明する。図１０は、他の例（２）の被写体領域を説明する図である。

【0089】

被写体領域１１０，１１１，１１２（斜線で表した四角錐台）は、それぞれ図４の第一例、図６の第二例及び図８の第三例における推定対象の領域である。被写体領域１１４（太線で表した立体）は、他の例（２）における推定対象の領域であり、被写体領域１１０，１１１，１１２の四角錐台と、地面からの高さが所定範囲となる領域１２０との間の積の演算により得られる領域（重なっている領域）である。

【0090】

被写体領域推定部２０は、前述の第一例、第二例及び第三例のいずれかの処理にて、被写体領域１１０，１１１，１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）を算出する。そして、被写体領域推定部２０は、被写体領域１１０，１１１，１１２の頂点座標（Ｘ_i，Ｙ_i，Ｚ_i），（Ｘ_i+4，Ｙ_i+4，Ｚ_i+4）により表される四角錐台と、地面からの高さが所定範囲となる領域１２０との間で積の演算を行うことで、四角錐台と領域１２０とが重なる領域（積領域）を求め、当該積領域のパラメータを、被写体領域１１４を特定するための情報、すなわち被写体領域情報として算出する。

【0091】

このように、前述の第一例、第二例及び第三例では、レンズ１０のフォーカス値ｄを主体として、四角錐台の被写体領域１１０，１１１，１１２を表現した。これに対し、他の例（２）では、この四角錐台と所定範囲の領域１２０との積演算を行い、積領域を特定するためのパラメータにて被写体領域１１４を表現する。

【0092】

これにより、例えば身長１．７ｍ程度の人物が被写体である場合に、領域１２０を地上高０ｍから１．７ｍまでの範囲の領域とすることで、被写体領域１１４を一層精度高く限定することができる。

【0093】

（焦点距離値ｆを定数とする例／被写体領域推定部２０）
前述の第一例、第二例及び第三例では、被写体領域推定部２０は、焦点距離値ｆを含むレンズ計測値を入力し、前記式（２）（３）（４）または（５）により、被写体領域１１０，１１１，１１２を推定するようにした。これは、前記式（２）（３）（４）及び（５）に適用するレンズ１０がズームレンズであり、焦点距離値ｆが可変となるからである。

【0094】

これに対し、レンズ１０が例えば単焦点レンズの場合には、焦点距離値ｆを定数として扱うことができる。この場合、被写体領域推定部２０は、予め設定された焦点距離値ｆを用いて、前記式（２）（３）（４）または（５）により、被写体領域１１０，１１１，１１２を推定する。

【0095】

図１１は、レンズ１０として単焦点レンズを使用した場合の被写体領域の例を説明する図であり、焦点距離値ｆを用いることなく被写体領域を推定する例を示している。

【0096】

被写体領域１１５は、レンズ１０として単焦点レンズを使用した場合に、カメラ１１により被写体が撮影されたときの姿勢計測値（パン角α、チルト角δ、ロール角φ）及びレンズ計測値（フォーカス値ｄ、アイリス値Ｆ）に基づいて算出される領域である。Ｏは世界座標系の原点を示す。

【0097】

この被写体領域１１５は、被写界深度を考慮して決定することができる。被写界深度は、フォーカス値ｄ及びアイリス値Ｆに依存することから、合焦範囲は、合焦範囲値ｄ₀を定める関数ｄ₀（Ｆ，ｄ）から合焦範囲値ｄ₁を定める関数ｄ₁（Ｆ，ｄ）までの間の範囲で表すことができる。

【0098】

これらの関数ｄ₀（Ｆ，ｄ），ｄ₁（Ｆ，ｄ）は、画像上の錯乱円の実測及びレンズ１０の光学設計上の理論値等から予め設定される。尚、第三例の場合と同様に、関数ｄ₀（Ｆ，ｄ），ｄ₁（Ｆ，ｄ）を、ルックアップテーブル化しておくようにしてもよい。

【0099】

被写体領域推定部２０は、姿勢計測値（パン角α、チルト角δ、ロール角φ）、レンズ計測値（フォーカス値ｄ、アイリス値Ｆ）及び位置計測値（世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z））を入力する。そして、被写体領域推定部２０は、アイリス値Ｆ及びフォーカス値ｄから、被写界深度の範囲を表す関数ｄ₀（Ｆ，ｄ），ｄ₁（Ｆ，ｄ）の値を求める。

【0100】

尚、関数ｄ₀（Ｆ，ｄ），ｄ₁（Ｆ，ｄ）がルックアップテーブル化されている場合には、被写体領域推定部２０は、予め設定されたルックアップテーブルを用いて、アイリス値Ｆ及びフォーカス値ｄに対応する合焦範囲値ｄ₀（関数ｄ₀（Ｆ，ｄ）に相当），ｄ₁（関数ｄ₁（Ｆ，ｄ）に相当）を求める。

【0101】

被写体領域推定部２０は、パン角α、チルト角δ、ロール角φ、世界座標（Ｔ_x，Ｔ_Y，Ｔ_Z）及び関数ｄ₀（Ｆ，ｄ），ｄ₁（Ｆ，ｄ）を用いて、以下の式により、被写体領域１１５を推定する。

【数6】

【0102】

画角値Ａは、図示しないカメラ１１のレンズ１０の焦点距離Ｆ及び撮像素子の大きさ（例えば、撮像素子の対角線長、または撮像素子のいずれか一辺の長さ）Ｂで決定される撮影可能な範囲を示す角度であり、ピンホールモデルに従うレンズにおいてはＡ＝２ａｔａｎ（Ｂ／２Ｆ）である。尚、ａｔａｎは逆正接関数である。また、画角値Ａは、魚眼レンズ等の非ピンホールモデルのレンズを用いるカメラ１１においては、この限りではなく、レンズ単体、またはレンズ１０と撮像素子の対によって決定される撮影可能な範囲を示す角度とすることもできる。また、画角値Ａは、必ずしも、カメラ１１において撮影可能な範囲と厳密に一致する必要はなく、撮影者の意図に応じて、例えば、実際の撮影可能な領域に依らずカメラ１１の向いている前側のみを被写体領域とみなす（Ａ＝π／２）等の運用を行ってもよい。

【0103】

画角値Ａ＝π／２の場合（ｃｏｓＡ＝０の場合）、図１１に示すように、カメラ１１の光軸方向の半球面のうち、被写界深度内に収まる部分領域が被写体領域１１５となる。本例は、レンズ１０として単焦点の魚眼レンズを使用する場合に好適である。

【0104】

以上のように、図１に示した実施例１の撮影メタデータ記録装置１によれば、被写体領域推定部２０は、姿勢計測値及びレンズ計測値（または姿勢計測値、レンズ計測値及び位置計測値）に基づいて、前記式（２）（３）（４）または（５）により被写体領域を推定する。

【0105】

映像記録部２１は、カメラ１１から入力した映像を、外部から入力した同期情報と共に記録する。被写体領域記録部２２は、被写体領域情報を、外部から入力した同期情報と共に記録する。

【0106】

これにより、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録することができる。

【0107】

〔実施例２〕
次に、実施例２について説明する。図１２は、実施例２の撮影メタデータ記録装置の構成例を示すブロック図である。この撮影メタデータ記録装置２は、被写体領域推定部２０、映像記録部２１、被写体領域記録部２２及び同期情報生成部２３を備えている。

【0108】

図１に示した実施例１では、同期情報生成部１４は撮影メタデータ記録装置１の外部に存在し、撮影メタデータ記録装置１は同期情報を外部の同期情報生成部１４から入力する。これに対し、実施例２では、同期情報生成部２３は撮影メタデータ記録装置２に内包されており、同期情報生成部２３は、入力した映像に基づいて同期情報を生成する。

【0109】

被写体領域推定部２０及び被写体領域記録部２２は、図１に示した被写体領域推定部２０及び被写体領域記録部２２と同様であるため、ここでは説明を省略する。映像記録部２１は、カメラ１１から映像を入力し、これを記録する。

【0110】

同期情報生成部２３は、カメラ１１から映像を入力し、映像の信号に基づいて同期情報を生成し、同期情報を被写体領域記録部２２に出力する。

【0111】

映像記録部２１が非圧縮または可逆圧縮の記録方式を用いる場合には、同期情報生成部２３は、例えば入力した映像の画素値列に対するハッシュ値を同期情報として生成することができる。

【0112】

具体的には、同期情報生成部２３は、入力した映像のフレームに対して、所定のハッシュ関数を用いてフレーム毎のハッシュ値を算出することで、当該ハッシュ値を同期情報として生成する。この処理は既知であり、詳細については、特許第６３６０２８１号公報のハッシュ値演算手段２２２を参照されたい。

【0113】

また、映像記録部２１が非可逆圧縮の記録方式を用いる場合には、同期情報生成部２３は、入力した映像に対し、映像記録部２１における記録方式及び圧縮パラメータと同一条件において符号化及び復号を行い、符号化及び復号後の映像（局部復号映像でもよい。）の画素値列に対するハッシュ値を同期情報として生成することができる。

【0114】

具体的には、同期情報生成部２３は、入力した映像の信号を圧縮符号化することで、ビットストリームを生成し、圧縮符号化により生成されたビットストリームを復号することで、復号信号を生成する。

【0115】

同期情報生成部２３は、復号信号（局部復号信号でもよい。）に対して、所定のハッシュ関数を用いてフレーム毎のハッシュ値を算出することで、当該ハッシュ値を同期情報として生成する。この処理も既知であり、詳細については、特許第６３６０２８１号公報に記載された符号化手段２１、復号手段２２１及びハッシュ値演算手段２２２を参照されたい。

【0116】

これにより、被写体領域記録部２２には、被写体領域情報が記録されると共に、映像（または当該映像を符号化及び復号した映像）に対するハッシュ値が同期情報として記録される。

【0117】

尚、被写体領域記録部２２に記録された同期情報であるハッシュ値を再生するには、以下の処理を行う。図示しない同期情報再生部は、映像記録部２１から映像（または復号された映像）を読み出し、読み出した映像のフレームに対して、同期情報生成部２３が用いたハッシュ関数と同じハッシュ関数を用いてフレーム毎のハッシュ値を算出ハッシュ値として求める。

【0118】

同期情報再生部は、被写体領域記録部２２から同期情報であるハッシュ値を、同期ハッシュ値として順次読み出す。そして、同期情報再生部は、同期ハッシュ値の系列と算出ハッシュ値とを順次照合し、同期ハッシュ値の系列の中から算出ハッシュ値と同じ値をとる同期ハッシュ値を探索する。この処理も既知であり、詳細については、特許第６３６０２８１号公報に記載されたハッシュ値演算手段３２１及びハッシュ値照合手段３２３を参照されたい。

【0119】

これにより、同期ハッシュ値と算出ハッシュ値とを対応付けることができる。算出ハッシュ値は映像と同期しており、同期ハッシュ値は被写体領域情報と同期しているため、映像と被写体領域情報との間の同期を確立することができる。

【0120】

また、同期情報生成部２３は、例えば映像信号に含まれるＶＩＴＣを抽出し、これを同期情報として使用してもよいし、音声信号に含まれるＬＴＣを抽出し、これを同期情報として使用してもよい。また、同期情報生成部２３は、ＶＩＴＣ及びＬＴＣを併せたものを同期情報として使用してもよい。また、映像記録部２１がＴＳを記録する場合、同期情報生成部２３は、ＴＳに含まれるＰＴＳを抽出し、これを同期情報として使用してもよい。

【0121】

以上のように、図１２に示した実施例２の撮影メタデータ記録装置２によれば、被写体領域推定部２０は、姿勢計測値及びレンズ計測値（または姿勢計測値、レンズ計測値及び位置計測値）に基づいて、前記式（２）（３）（４）または（５）により被写体領域を推定する。

【0122】

映像記録部２１は、カメラ１１から入力した映像を記録する。同期情報生成部２３は、カメラ１１から入力した映像の信号に基づいて、同期情報を生成する。被写体領域記録部２２は、被写体領域情報を同期情報と共に記録する。

【0123】

これにより、実施例１と同様に、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録することができる。また、映像記録部２１は同期情報を記録する必要がないため、映像記録部２１の構成を簡素にすることができる。

【0124】

〔実施例３〕
次に、実施例３について説明する。図１３は、実施例３の撮影メタデータ記録装置の構成例を示すブロック図である。この撮影メタデータ記録装置３は、被写体領域推定部２０、多重化部２４及び記録部２５を備えている。

【0125】

図１に示した実施例１及び図１２に示した実施例２では、同期情報生成部１４，２３が同期情報を生成するようにしたが、実施例３では、同期情報を生成する構成部が存在しない。

【0126】

被写体領域推定部２０は、図１及び図１２に示した被写体領域推定部２０と同様であるため、ここでは説明を省略する。被写体領域推定部２０は、被写体領域情報を多重化部２４に出力する。

【0127】

多重化部２４は、カメラ１１から映像を入力すると共に、被写体領域推定部２０から被写体領域情報を入力し、映像と被写体領域情報とを多重化することで、多重化信号を生成する。そして、多重化部２４は、多重化信号を記録部２５に出力する。

【0128】

記録部２５は、多重化部２４から多重化信号を入力して記録する。ここで、多重化部２４により多重化された多重化信号の同期が確立できている場合には、記録部２５は同期情報を記録する必要はない。尚、記録部２５は、実施例１，２により生成された同期情報を記録しても構わない。

【0129】

以上のように、図１３に示した実施例３の撮影メタデータ記録装置３によれば、被写体領域推定部２０は、姿勢計測値及びレンズ計測値（または姿勢計測値、レンズ計測値及び位置計測値）に基づいて、前記式（２）（３）（４）または（５）により被写体領域を推定する。

【0130】

多重化部２４は、カメラ１１から入力した映像と被写体領域情報とを多重化する。記録部２５は多重化信号を記録する。

【0131】

これにより、実施例１，２と同様に、撮影者が意図した撮影領域である被写体の存在領域を特定するための情報を、メタデータとして映像に対応付けて記録することができる。また、映像記録部２１及び同期情報生成部２３が不要となり、同期情報を記録する必要がないため、撮影メタデータ記録装置３の構成を撮影メタデータ記録装置１，２よりも簡素にすることができる。

【0132】

以上より、実施例１，２，３にて被写体領域記録部２２または記録部２５に記録された被写体領域情報は、例えば、映像から三次元モデルを推定する場合の三次元モデルの存在範囲を限定する用途等に利用することができる。

【0133】

また、撮影メタデータ記録装置１，２，３を複数台用意し、これらを複数のカメラ１１に接続したシステムを構成するようにしてもよい。このシステムは、複数台の撮影メタデータ記録装置１，２，３にて推定した複数の被写体領域情報の集合積を演算し、演算結果を被写体領域情報として記録する。

【0134】

これにより、このシステムを、三次元モデルの存在範囲を限定する用途に用いる場合には、三次元モデルの存在範囲を一層限定することができ、三次元モデルを推定する際の演算コストを削減することができる。単純な集合積の演算で済むのは、複数台の撮影メタデータ記録装置１，２，３にて推定した全ての被写体領域情報が世界座標系で記述されているからである。

【0135】

以上、実施例１，２，３を挙げて本発明を説明したが、本発明は前記実施例１，２，３に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0136】

尚、実施例１，２，３の撮影メタデータ記録装置１，２，３のハードウェア構成としては、通常のコンピュータを使用することができる。撮影メタデータ記録装置１，２，３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0137】

撮影メタデータ記録装置１に備えた被写体領域推定部２０、映像記録部２１及び被写体領域記録部２２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0138】

また、撮影メタデータ記録装置２に備えた被写体領域推定部２０、映像記録部２１、被写体領域記録部２２及び同期情報生成部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0139】

また、撮影メタデータ記録装置３に備えた被写体領域推定部２０、多重化部２４及び記録部２５の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0140】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0141】

１，２，３ 撮影メタデータ記録装置
１０ レンズ
１１ カメラ
１２ 雲台
１３ ペデスタル
１４ 同期情報生成部
２０ 被写体領域推定部
２１ 映像記録部
２２ 被写体領域記録部
２３ 同期情報生成部
２４ 多重化部
２５ 記録部
１０１ 画像面
１１０，１１１，１１２，１１３，１１４，１１５ 被写体領域
１２０ 領域
Ａ 画角値
ｆ 焦点距離値
ｄ フォーカス値
Ｆ アイリス値
α パン角
δ チルト角
φ ロール角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】