特許 7128695 撮影操作データ収集装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-23

(45)【発行日】2022-08-31

(54)【発明の名称】撮影操作データ収集装置、及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220824BHJP

   G03B 17/00 20210101ALI20220824BHJP

   G03B 15/00 20210101ALI20220824BHJP

   G03B 17/56 20210101ALI20220824BHJP

【ＦＩ】

H04N5/232 300

H04N5/232 290

G03B17/00 Q

G03B15/00 P

G03B17/56 B

【請求項の数】 5

(21)【出願番号】P 2018169866

(22)【出願日】2018-09-11

(65)【公開番号】P2020043487

(43)【公開日】2020-03-19

【審査請求日】2021-08-12

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】荒井 敦志

(72)【発明者】

【氏名】三ツ峰 秀樹

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００１－１２８０３２（ＪＰ，Ａ）

【文献】特開２０１０－２３２８１３（ＪＰ，Ａ）

【文献】特開２０１３－１２８２５２（ＪＰ，Ａ）

【文献】特開２００９－２３２３２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １７／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／５６

(57)【特許請求の範囲】

【請求項1】

カメラの撮影操作に伴う撮影操作データを収集する撮影操作データ収集装置であって、
前記撮影操作に応じて、姿勢角及びズーム操作の操作量の少なくとも１つが変化する可動部と、
前記可動部に対する第１の撮影操作の操作量を計測する計測部と、
映像を入力し、前記第１の撮影操作の操作量に応じて、前記映像の一部を切出し、当該切出された部分映像を幾何変換することにより第１の映像を生成する画像処理部と、
前記第１の映像、又は入力された前記映像の入力開始時からの経過時間に基づいて前記第１の映像と同期した映像であって、当該撮影操作データ収集装置とは異なる他の撮影操作データ収集装置において、前記第１の撮影操作とは異なる第２の撮影操作の操作量に応じて、入力された前記映像の一部を切出し、当該切出された部分映像を幾何変換する画像処理を施すことにより生成された第２の映像を表示する表示部と、
前記表示部に表示する映像を、前記第１の映像又は前記第２の映像の何れか一方に切り替える切替部と、
前記計測部が計測した前記第１の撮影操作の操作量と、入力された前記映像及び前記第１の映像の少なくとも１つとを前記経過時間により対応付けて記録する記録部と、を有する
撮影操作データ収集装置。

【請求項2】

前記第１の撮影操作は、第１の時刻に前記撮影操作データ収集装置で行われた撮影操作であり、前記第２の撮影操作は、前記第１の時刻とは異なる第２の時刻に前記撮影操作データ収集装置で行われた撮影操作である
請求項１に記載の撮影操作データ収集装置。

【請求項3】

前記撮影操作データ収集装置は、前記第２の映像を記憶する映像記憶部を有し、
前記切替部は、前記表示部が表示する映像を、前記第１の映像、又は前記映像記憶部が記憶する前記第２の映像の何れか一方に切り替える
請求項２に記載の撮影操作データ収集装置。

【請求項4】

前記撮影操作データ収集装置は、前記第２の撮影操作の操作量を記憶する操作量記憶部を有し、
前記切替部は、前記第１の撮影操作の操作量、又は前記第２の撮影操作の操作量の何れか一方に切り替え、
前記画像処理部は、前記第１の撮影操作の操作量、又は前記第２の撮影操作の操作量の何れか一方に応じ、入力された前記映像に対して前記画像処理を実行し、前記表示部が表示する映像を生成する
請求項２に記載の撮影操作データ収集装置。

【請求項5】

コンピュータを、請求項１に記載の撮影操作データ収集装置の各機能部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影操作データ収集装置、及びプログラムに関する。

【背景技術】

【0002】

人工知能（Artificial Intelligence；ＡＩ）技術の進展に伴い、人間が自然に行っている学習能力と同様の機能をコンピュータで実現しようとする機械学習の応用が広がっている。このような応用の一つとして、カメラマンによるカメラの撮影操作（カメラワーク）のデータを収集し、コンピュータに機械学習させることが検討されている。

【0003】

撮影操作データを収集する技術には、載置したカメラの姿勢角を変化させる雲台に、ロータリーエンコーダ等の計測部を設け、雲台の姿勢角を計測して撮影操作データを収集する技術が開示されている（特許文献１参照）。

【0004】

また、広視野映像から切り出した部分映像（切出映像）を視認しながら撮影操作を仮想的に行い、検出されたカメラの撮影方向及び撮影画角に応じて、映像切り出しの位置及び大きさを変化させた映像を生成する技術が開示されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第５７７１１１７号公報

【文献】特開２００５－２２３４８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら特許文献１の技術は、現実の撮影操作を実時間で計測するため、同一の被写体を同一の装置で撮影した１回の撮影操作データを収集する。そのため、同一の被写体を同一のカメラマンが異なる撮影操作で撮影したり、同一の被写体を別のカメラマンが撮影したりする等の多様な撮影操作データを収集することが困難な場合がある。

【0007】

また、特許文献２の技術は、固定された画面上で切り出された映像を視認しながら撮影操作を行うため、切り出しの大きさ及び位置の操作感覚が実空間での被写体の運動と連関せず、撮影操作に違和感が生じる場合がある。このような違和感は、収集した撮影操作データの品質を低下させ得る。

【0008】

本発明は、上記の点に鑑みてなされたものであって、多様、かつ高品質な撮影操作データを収集することを目的とする。

【課題を解決するための手段】

【0009】

開示の技術の一態様に係る撮影操作データ収集装置は、カメラの撮影操作に伴う撮影操作データを収集する撮影操作データ収集装置であって、前記撮影操作に応じて、姿勢角及びズーム操作の操作量の少なくとも１つが変化する可動部と、前記可動部に対する第１の撮影操作の操作量を計測する計測部と、映像を入力し、前記第１の撮影操作の操作量に応じて、前記映像の一部を切出し、当該切出された部分映像を幾何変換することにより第１の映像を生成する画像処理部と、前記第１の映像、又は入力された前記映像の入力開始時からの経過時間に基づいて前記第１の映像と同期した映像であって、当該撮影操作データ収集装置とは異なる他の撮影操作データ収集装置において、前記第１の撮影操作とは異なる第２の撮影操作の操作量に応じて、入力された前記映像の一部を切出し、当該切出された部分映像を幾何変換する画像処理を施すことにより生成された第２の映像を表示する表示部と、前記表示部に表示する映像を、前記第１の映像又は前記第２の映像の何れか一方に切り替える切替部と、前記計測部が計測した前記第１の撮影操作の操作量と、入力された前記映像及び前記第１の映像の少なくとも１つとを前記経過時間により対応付けて記録する記録部と、を有する。

【発明の効果】

【0010】

本発明の実施形態によれば、多様、かつ高品質な撮影操作データを収集することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る撮影操作データ収集システムの構成の一例を説明する図である。

【図2】第１の実施形態に係る計測部の構成の一例を示すブロック図である。

【図3】第１の実施形態に係る処理部の構成の一例を機能ブロックで示す図である。

【図4】実施形態に係る入力映像と切出映像の空間的な関係を説明する図である。

【図5】実施形態に係る入力映像と切出映像の時間的な関係を説明する図である。

【図6】第１の実施形態に係る処理の一例を示すフローチャートである。

【図7】第２の実施形態に係る撮影操作データ収集装置の構成の一例を説明する図である。

【図8】第２の実施形態に係る映像記憶部の構成の一例を機能ブロックで示す図である。

【図9】第２の実施形態に係る処理部の構成の一例を機能ブロックで示す図である。

【図10】第２の実施形態に係る処理の一例を示すフローチャートである。

【図11】第３の実施形態に係る撮影操作データ収集装置の構成の一例を説明する図である。

【図12】第３の実施形態に係る操作量記憶部の構成の一例を機能ブロックで示す図である。

【図13】第３の実施形態に係る操作量記憶部に記憶される撮影操作データの一例を説明する図である。

【図14】第３の実施形態に係る処理部の構成の一例を機能ブロックで示す図である。

【図15】第３の実施形態に係る処理の一例を示すフローチャートである。

【図16】第４の実施形態に係る撮影操作データ収集装置の構成の一例を説明する図である。

【図17】第４の実施形態に係る計測部の構成の一例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本発明の実施形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0013】

実施形態に係る撮影操作データ収集装置は、カメラの撮影操作（カメラワーク）に応じた撮影姿勢角、ズーム等の操作量データ（撮影操作データ）を収集する装置である。また現実のカメラを使用せず、カメラ撮影を模擬した仮想的な撮影操作により、撮影操作データを収集する装置である。

【0014】

［第１の実施形態］
第１の実施形態では、実施形態に係る撮影操作データ収集装置を２台備える撮影操作データ収集システムを例に説明する。

【0015】

＜システム構成＞
先ず、本実施形態に係る撮影操作データ収集システムの全体の構成を、図１を参照して説明する。図１は、本実施形態に係る撮影操作データ収集システム１の構成の一例を説明する図である。撮影操作データ収集システム１は、撮影操作データ収集装置１０ａと、撮影操作データ収集装置１０ｂとを有する。

【0016】

撮影操作データ収集装置１０ａは、計測部１１ａと、処理部１２ａと、表示部１３ａと、記録部１４ａと、切替部１５ａとを有する。尚、これらの各部は、「各機能部」の一例である。三脚１６ａに固定された雲台１７ａには、表示部１３ａが載置されている。また雲台１７ａには、計測部１１ａ、処理部１２ａ、及び記録部１４ａ等が設けられている。

【0017】

雲台１７ａは、撮影操作に応じて姿勢角が変化する機構部材である。従来、雲台は、載置したカメラの姿勢角を変化させるために用いられるが、本実施形態に係る雲台１７ａは、カメラを載置せず、カメラの撮影操作を模擬して、雲台１７ａに載置した表示部１３ａ等の姿勢角を変化させるために用いられる。また雲台１７ａは、フォーカスデマンド１８ａと、ズームデマンド１９ａとを備えている。

【0018】

フォーカスデマンド１８ａは、ズームレンズ（撮影レンズ）のフォーカスリングを回転させるサーボモータに対して回転の角速度の指令を与えるための入力デバイスである。ズームデマンド１９ａは、ズームレンズのズームリングを回転させるサーボモータに対して回転の角速度の指令を与えるための入力デバイスである。本実施形態では、現実のカメラ及びズームレンズを使用しないため、フォーカスデマンド１８ａ及びズームデマンド１９ａは、模擬的なフォーカス操作及びズーム操作による角速度の指令信号を抽出するために用いられる。

【0019】

また、フォーカスデマンド１８ａ及びズームデマンド１９ａは、雲台１７ａの姿勢を変化させ、表示部１３ａの姿勢角を変化させるための操作バーとしての機能を有する。

【0020】

操作者２ａは、フォーカスデマンド１８ａ及びズームデマンド１９ａを介して撮影操作を行うことができる。撮影操作は、フォーカスデマンド１８ａ及びズームデマンド１９ａを操作バーとして雲台１７ａの姿勢を変化させる操作、フォーカスデマンド１８ａを用いたフォーカス操作、及びズームデマンド１９ａを用いたズーム操作等である。尚、以下では、雲台１７ａの姿勢角を、便宜的に撮影姿勢角と称する。また雲台１７ａは「可動部」の一例であり、ズームデマンド１９ａにより抽出される角速度の指令信号は、「ズーム操作の操作量」の一例である。

【0021】

計測部１１ａは、操作者２ａによる撮影操作データＤａを計測する。撮影操作データＤａは、撮影姿勢角、ズーム、及びフォーカス等を示すデータである。撮影姿勢角は、図１に矢印１３１ａで示されているパン方向のパン軸回転角、矢印１３２ａで示されているチルト方向のチルト軸回転角、及び矢印１３３ａで示されているロール方向のロール軸回転角等である。計測部１１ａは、撮影姿勢角等に関し、計測した撮影操作データＤａを処理部１２ａ及び記録部１４ａに出力する。

【0022】

尚、操作者２ａによる撮影操作は、「第１の撮影操作」の一例であり、操作者２ａによる撮影操作データＤａは、「第１の撮影操作の操作量」の一例である。

【0023】

処理部１２ａは、計測部１１ａから撮影操作データＤａを入力し、入力映像Ｂに対し、撮影操作データＤａに応じた画像処理を実行する。そして画像処理後の映像である切出映像Ｃａを表示部１３ａに出力する。切出映像Ｃａは、入力映像に対し、操作者２ａが行った撮影操作に応じて撮影姿勢角やズーム等が変化した映像である。

【0024】

表示部１３ａは、入力された切出映像Ｃａ、又は後述する切出映像Ｃｂの何れか一方を表示する。表示部１３ａとして、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）、有機エレクトロルミネッセンスディスプレイ（Organic Light Emitting Diode；ＯＬＥＤ）、プラズマディスプレイ（Plasma Display Panel；ＰＤＰ）、又はブラウン管（Cathode Ray Tube；ＣＲＴ）等の表示デバイスを用いることができる。

【0025】

表示部１３ａに表示される切出映像Ｃａ及び切出映像Ｃｂは、カメラで撮影した映像を模擬したものである。操作者２ａは、あたかも現実のカメラにより撮影した映像を視認しているかのように、表示部１３ａに表示される映像を視認して仮想的な撮影操作を行うことができる。

【0026】

尚、本実施形態では、表示部１３ａを雲台１７ａに載置し、雲台１７ａの姿勢角を変化させて表示部１３ａの姿勢角を変化させる例を説明したが、これに限定はされない。表示部１３ａを雲台１７ａに載置せず、雲台１７ａの姿勢角が変化しても表示部１３ａ自体の姿勢角は変わらないようにしてもよい。

【0027】

記録部１４ａは、計測部１１ａが計測した撮影操作データＤａを時々刻々と記録する。記録部１４ａとして、ＨＤＤ（Hard Disk Drive）等を用いることができる。

【0028】

記録部１４ａは、撮影操作データＤａとともに時刻データを記録してもよい。時刻データは、撮影操作データＤａが取得された時の、入力映像の入力開始時からの経過時間等である。記録部１４ａはこのような時刻データを、協定世界時や日本標準時等の暦上の時刻に基づいて記録してもよいし、タイムコードのように入力映像Ｂの映像フレームまたは映像フィールドに同期して計数されるタイムスタンプに基づいて記録してもよい。

【0029】

また記録部１４ａは、撮影操作データＤａとともに、入力映像Ｂ、又は切出映像Ｃａの少なくとも１つを記録してもよい。図１において、破線１４１ａは記録部１４ａが入力映像を入力して記録する信号ラインを示し、破線１４２ａは記録部１４ａが切出映像Ｃａを入力して記録する信号ラインを示している。

【0030】

記録部１４ａが入力映像Ｂ、又は切出映像Ｃａの少なくとも１つを記録する場合には、これらの映像と撮影操作データＤａの時間対応がつく形式で記録することが好ましい。時間対応がつく形式とは、撮影操作データＤａと映像とをタイムコードによって同期させる形式等である。

【0031】

切替部１５ａは、表示部１３ａに表示される映像を、撮影操作データ収集装置１０ａで生成された切出映像Ｃａ、又は撮影操作データ収集装置１０ｂで生成された切出映像Ｃｂの何れか一方に切り替える機能を有する。

【0032】

切替部１５ａは、切替スイッチ１５１ａと、切替電気回路１５２ａとを有する。切替スイッチ１５１ａとして、撮影操作データ収集装置１０ａのズームデマンド１９ａに設けられたプッシュボタンを用いることができる。切替電気回路１５２ａは、雲台１７ａに設けられ、切替スイッチ１５１ａに電気的に接続している。

【0033】

切替スイッチ１５１ａのプッシュボタンが押されると、切替電気回路１５２ａが作動して映像信号ラインが切り替えられる。そして表示部１３ａに表示される映像が、撮影操作データ収集装置１０ａで生成された切出映像Ｃａから、撮影操作データ収集装置１０ｂで生成された切出映像Ｃｂに切り替えられる。

【0034】

図１では切替電気回路１５２ａの端子１５３ａが処理部１２ａに接続する例が示されているが、切替スイッチ１５１ａのプッシュボタンが押されると、端子１５３ａが処理部１２ｂに接続するように切り替えられる。

【0035】

操作者２ａとは異なる操作者２ｂが撮影操作データ収集装置１０ｂで撮影操作をする場合、操作者２ａは切替スイッチ１５１ａを操作して、表示部１３ａに表示される映像を、操作者２ｂの撮影操作による映像に切り替えることができる。操作者２ｂがベテランのカメラマンであれば、操作者２ａはベテランのカメラマンの撮影操作を参考にしながら撮影操作を行うことができる。或いは、切出映像Ｃａと切出映像Ｃｂを比較しながら、操作者２ｂとは異なる撮影操作を意図的に行うことができる。

【0036】

切替スイッチ１５１ａとして、テレビジョン放送の撮影等で用いられるリターンスイッチを使用してもよい。リターンスイッチは、放送用カメラのズームデマンド等に設けられ、カメラモニターに表示される映像を、撮影した映像モニター、又はテレビ受像機に配信された後の映像の何れか一方に切り替えるスイッチである。切替スイッチ１５１ａとしてこのようなリターンスイッチを用いることで、撮影操作データ収集装置１０ａは、カメラ撮影用の雲台等の機材に改造を加えることなく、上記の切替スイッチ１５１ａの機能を実現することができる。

【0037】

撮影操作データ収集装置１０ｂは、計測部１１ｂと、処理部１２ｂと、表示部１３ｂと、記録部１４ｂと、切替部１５ｂとを有する。三脚１６ｂに固定された雲台１７ｂには、表示部１３ｂが載置されている。また雲台１７ｂには、計測部１１ｂ、処理部１２ｂ、及び記録部１４ｂ等が設けられている。

【0038】

処理部１２ｂは、操作者２ｂによる撮影操作データＤｂを計測部１１ｂから入力し、入力映像に対し、撮影操作データＤｂに基づいて、後述するような映像の切出し、及び座標変換を用いた画像処理を実行する。そして画像処理後の映像である切出映像Ｃｂを表示部１３ｂに出力する。尚、処理部１２ｂに入力される入力映像は、撮影操作データ収集装置１０ａの処理部１２ａに入力される入力映像と同じ映像である。

【0039】

ここで、切出映像Ｃｂは、入力映像に対し、操作者２ｂが行った撮影操作に応じて撮影姿勢角や撮影画角が変化した映像であるため、撮影操作データ収集装置１０ａと撮影操作データ収集装置１０ｂで同じ入力映像を用いた場合には、切出映像Ｃｂは切出映像Ｃａに対し、入力映像の入力開始時からの経過時間に基づいて同期することになる。そのため操作者２ａと操作者２ｂは、同じ入力映像に対して同じタイミングで撮影操作を行うことができる。

【0040】

撮影操作データ収集装置１０ｂにおける上述した以外の各部の機能は、撮影操作データ収集装置１０ａと同様であるため、説明を省略する。

【0041】

尚、操作者２ｂによる撮影操作は、「第２の撮影操作」の一例であり、撮影操作データＤｂは、「第２の撮影操作の操作量」の一例である。撮影操作データ収集装置１０ｂは、「他の撮影操作データ収集装置」の一例である。

【0042】

このように、撮影操作データ収集システム１は、同一の被写体を別々のカメラマンが異なる撮影操作で撮影した場合の撮影操作データを収集し、多様な撮影操作データを収集することができる。ここで、切出映像Ｃａは「第１の映像」の一例であり、切出映像Ｃｂは「第２の映像」の一例に対応する。

【0043】

上述した実施例では、記録部１４ａと、記録部１４ｂとを別々に設ける構成を示したが、撮影操作データ収集装置１０ａと撮影操作データ収集装置１０ｂとで、記録部を共通にし、２つの撮影操作データ収集装置による撮影操作データを１つの記録部とすることで、収集した撮影操作データの管理を容易にすることができる。

【0044】

また、上述した実施例では処理部１２ａと記録部１４ａを雲台１７ａに設ける例を示したが、雲台１７ａとは別にこれらの構成を設け、処理部１２ａと計測部１１ａ、及び処理部１２ａと表示部１３ａを、それぞれ有線、又は無線で電気的に接続してもよい。

【0045】

さらに、上述した実施例では切替スイッチ１５１ａをズームデマンド１９ａに設ける例を示したが、切替スイッチ１５１ａを設置する箇所は、切替スイッチ１５１ａをフォーカスデマンド１８ａや雲台１７ａに設けたり、切替スイッチ１５１ａをズームデマンド１９ａ、又はフォーカスデマンド１８ａに設けたりすると、撮影操作を行いながら切替スイッチ１５１ａを操作でき、映像の切替操作をしやすくすることができる。

【0046】

そして、切替電気回路１５２ａを設置する箇所も、雲台１７ａに限られず、ズームデマンド１９ａや表示部１３ａ等であってもよい。

【0047】

＜計測部の構成＞
図２は、本実施形態に係る計測部１１ａの構成の一例を示すブロック図である。尚、図２では、計測部１１ａを例に説明するが、計測部１１ｂにおいても同様である。

【0048】

計測部１１ａは、回転角検出部１１１ａと、ズーム操作量検出部１１２ａとを有する。回転角検出部１１１ａは、パン方向ロータリーエンコーダ１１３ａと、チルト方向ロータリーエンコーダ１１４ａと、ロール方向ロータリーエンコーダ１１５ａとを有する。

【0049】

パン方向ロータリーエンコーダ１１３ａは、雲台１７ａのパン軸回り（図１のパン方向１３１ａ参照）の回転機構部に設けられ、雲台１７ａのパン軸回りの回転角を検出する。検出された雲台１７ａのパン軸回りの回転角を示すデータは、回転角Ｐとして処理部１２ａ及び記録部１４ａに出力される。

【0050】

チルト方向ロータリーエンコーダ１１４ａは、雲台１７ａのチルト軸回り（図１のチルト方向１３２ａ参照）の回転機構部に設けられ、雲台１７ａのチルト軸回りの回転角を検出する。検出された雲台１７ａのチルト軸回りの回転角を示すデータは、回転角Ｔとして処理部１２ａ及び記録部１４ａに出力される。

【0051】

ロール方向ロータリーエンコーダ１１５ａは、雲台１７ａのロール軸回り（図１のロール方向１３３ａ参照）の回転機構部に設けられ、雲台１７ａのロール軸回りの回転角を検出する。検出された雲台１７ａのロール軸回りの回転角を示すデータは、回転角Ｒとして処理部１２ａ及び記録部１４ａに出力される。

【0052】

尚、パン方向の回転軸、チルト方向の回転軸、及びロール方向の回転軸は、相互に直交する。またパン方向の回転角は、換言すると方位角、又はヨー角であり、チルト方向の回転角は、換言すると仰角、又はピッチ角である。

【0053】

ロータリーエンコーダとして、インクリメンタル型、又はアブソリュート型を用いてもよい。インクリメンタル型は２相パルス信号を出力し、アブソリュート型はコード信号を出力する。それぞれ回転角を示すデータとして用いられる。

【0054】

ズーム操作量検出部１１２ａは、ズームデマンド１９ａによるズーム操作量を計測し、ズーム操作量を示すズーム量Ｚを処理部１２ａ及び記録部１４ａに出力する。ズーム操作量検出部１１２ａは、ズームデマンド１９ａからの角速度指令値を、ズーム量Ｚとして出力する。処理部１２ａは、ズーム量Ｚに基づき、ズームに対応する焦点距離、又は撮影画角を算出する。

【0055】

ズーム操作量検出部１１２ａは、ＣＰＵ等による演算機能を備え、ズーム操作量検出部１１２ａが角速度指令値に基づき、焦点距離、又は撮影画角を示すデータを算出し、算出したデータからズーム量Ｚに変換して出力してもよい。

【0056】

また、ズーム操作量検出部１１２ａは、ＣＰＵ等による演算機能を備え、ズーム操作量検出部１１２ａがフォーカスデマンド１８ａから入力した角速度指令値に基づき、合焦位置までの奥行き距離等を算出し、算出したデータからズーム量Ｚに変換して出力してもよい。

【0057】

さらに計測部１１ａは、撮影操作データ収集装置１０ａの設置場所の周囲に配置したマーカーや発信機、或いは周囲に存在する自然物を、雲台１７ａに設置したカメラや受信機によって検知することで、撮影姿勢角や撮影画角を計測するようにしてもよい。

【0058】

＜処理部の構成＞
図３は、本実施形態に係る処理部１２ａ（コンピュータ）の構成の一例を概念的な機能ブロックで示す図である。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成することも可能である。

【0059】

処理部１２ａの各機能ブロックは、ＣＰＵ（Central Processing Unit）が、ＲＡＭ(Random Access Memory)をワークエリア（作業領域）として、ＲＯＭ(Read Only Memory)に格納されたプログラムを実行することで実現される。尚、ＣＰＵで行う処理の一部、又は全部を、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等のワイヤードロジックによるハードウェアで実現してもよい。

【0060】

処理部１２ａは、撮影姿勢角取得部１２１ａと、ズームデータ取得部１２２ａと、画像処理部１２３ａとを有する。

【0061】

撮影姿勢角取得部１２１ａは、計測部１１ａと電気的に接続し、回転角検出部１１１ａにより検出された回転角Ｐ、回転角Ｔ及び回転角Ｒを入力する。撮影姿勢角取得部１２１ａは回転角Ｐに基づきパン方向姿勢角を算出し、回転角Ｔに基づきチルト方向姿勢角を算出し、また回転角Ｒに基づきロール方向姿勢角を算出する。そして、これらを画像処理部１２３ａに出力する。

【0062】

撮影姿勢角取得部１２１ａは、回転角Ｐの２相パルス信号に係数（度／パルス）を乗じて角度情報に換算することでパン方向姿勢角を算出する。同様に回転角Ｔの２相パルス信号に係数（度／パルス）を乗じて角度情報に換算することでチルト方向姿勢角を算出し、回転角Ｒの２相パルス信号に係数（度／パルス）を乗じて角度情報に換算することでロール方向姿勢角を算出する。

【0063】

ズームデータ取得部１２２ａは、計測部１１ａと電気的に接続し、ズーム操作量検出部１１２ａにより検出されたズーム量Ｚを入力する。ズームデータ取得部１２２ａはズーム量Ｚに基づき、焦点距離を算出し、画像処理部１２３ａに出力する。

【0064】

ズームデータ取得部１２２ａは、ズーム量Ｚとして角速度指令値を入力し、時間積分演算を実行する。またズームデータ取得部１２２ａは、ズームリング回転角対焦点距離、又は回転角対画角のモデルを参照して、積分演算の結果を焦点距離に変換する。ズームリング回転角対焦点距離のモデルは、ズームリング回転角対焦点距離の関係を示す関数、又はルックアップテーブル等である。

【0065】

尚、ズームデータ取得部１２２ａは焦点距離に代えて撮影画角を算出し、画像処理部１２３ａに出力してもよい。この場合、ズームデータ取得部１２２ａは、ズームリング回転角対撮影画角のモデルを参照して、積分演算の結果を撮影画角に変換する。ズームリング回転角対撮影画角のモデルは、ズームリング回転角対撮影画角の関係を示す関数またはルックアップテーブル等である。

【0066】

画像処理部１２３ａは、撮影姿勢角取得部１２１ａから撮影姿勢角を入力し、ズームデータ取得部１２２ａから焦点距離を入力する。画像処理部１２３ａは撮影姿勢角及び焦点距離に基づき、入力映像Ｂに対して幾何変換及び切り出し画像処理を実行し、処理後の映像である切出映像Ｃａを切替部１５ａに出力する。

【0067】

上述したように、切出映像Ｃａは、撮影操作を行っている時にカメラで撮影された映像を模擬して表示する映像であり、また入力映像Ｂから切り出されて生成される映像である。従って、撮影操作をできるだけ広い操作範囲で実施できるように、入力映像Ｂは切出映像Ｃａよりも広視野かつ高精細であることが好ましい。入力映像Ｂは、仮想的な撮影操作により切出映像Ｃａが切り出され得る全範囲を包含することが好ましい。また、切出映像Ｃａを構成する画素に対応する入力映像Ｂ上の対応点同士の最小間隔よりも、入力映像Ｂの隣接画素間の最大間隔が大きくないことが好ましい。

【0068】

画像処理部１２３ａは、切替部１５ａを介して表示部１３ａに切出映像Ｃａを出力し、また切替部１５ｂを介して表示部１３ｂに切出映像Ｃａを出力する。画像処理部１２３ａから出力された切出映像Ｃａは、切替部１５ａの切替スイッチ１５１ａによる切替信号に応じて表示部１３ａに入力される。また切替部１５ｂの切替スイッチ１５１ｂによる切替信号に応じて表示部１３ｂに入力される。表示部１３ａ、及び表示部１３ｂは入力した切出映像Ｃａを表示する。

【0069】

尚、処理部１２ａは、切替電気回路１５２ａの機能をソフトウェア的に実現する切替処理部を備えてもよい。この場合、切替処理部は、切替スイッチ１５１ａによる切替信号を入力し、切替信号に応じて切出映像Ｃａの出力先を、表示部１３ａ、又は表示部１３ｂに切り替える処理をソウトウェアで実行する。

【0070】

撮影操作データ収集装置１０ａの備える処理部１２ａの機能は、撮影操作データ収集装置１０ｂの備える処理部１２ｂにおいても同様であるため、処理部１２ｂの説明を省略する。

【0071】

ここで、図４は、入力映像と切出映像の空間的な関係を説明する図である。

【0072】

図４において、入力映像Ｂの画像フレームにおける画像平面Ｑ上の座標を（Ｘ、Ｙ）とし、座標（Ｘ、Ｙ）における画素値をＩｂ（Ｘ、Ｙ）とする。Ｘ軸とＹ軸は画像平面Ｑの平面内で直交している。また入力映像Ｂを撮影した光学系の光軸Ｓｂは、光学主点Ｏから被写体のある方向を正方向として延び、画像平面Ｑ上の座標（０、０）において、画像平面Ｑと直交している。Ｘ軸、Ｙ軸及び光軸Ｓｂはこの順に右手系をなすこととし、座標系を実カメラ座標系Σ（Ｇ）と称する。

【0073】

一方、撮影操作データＤａに応じ、入力映像Ｂに対して画像処理を実行して得られた切出映像Ｃａの画像フレームにおける画像平面Ｗ上の座標を（ｘ、ｙ）とし、座標（ｘ、ｙ）における画素値をＩｃａ（ｘ、ｙ）とする。ｘ軸とｙ軸は画像平面Ｗの平面内で直交している。また切出映像Ｃａを仮想的に撮影した光学系の光軸Ｓｃａは、光学主点Ｏから被写体のある方向を正方向として延び、画像平面Ｗ上の座標（０、０）において、画像平面Ｗと直交している。ｘ軸、ｙ軸及び光軸Ｓｃａはこの順に右手系をなすこととし、座標系を仮想カメラ座標系Σ（Ｖ）と称する。

【0074】

実カメラ座標系Σ（Ｇ）の原点と、仮想カメラ座標系Σ（Ｖ）の原点は、光学主点Ｏとして同一である。入力映像を撮影した光学系の焦点距離を焦点距離Ｆとする。撮影操作データＤａには、パン方向姿勢角α、チルト方向姿勢角δ、ロール方向姿勢角φ、及び切出映像Ｃａを撮影した光学系の焦点距離ｆが含まれ、撮影操作データＤａ（α、δ、φ、ｆ）として表される。

【0075】

実カメラ座標系Σ（Ｇ）における位置ベクトルｒ（Ｇ）を、撮影操作データＤａ（α、δ、φ、ｆ）の状態にある仮想カメラ座標系Σ（Ｖ）から観察した時の位置ベクトルをｒ（Ｖ）とする。ｒ（Ｇ）とｒ（Ｖ）の関係は、次の（１）式及び（２）式で表される。

【0076】

【数1】

【0077】

【数2】

また画像平面Ｗ上の座標（ｘ、ｙ）に対応する画像平面Ｑ上の座標（Ｘ（ｘ、ｙ、α、δ、φ）、Ｙ（ｘ、ｙ、α、δ、φ））は、次の（３）式で表すことができる。

【0078】

【数3】

（３）式のＸ（ｘ、ｙ、α、δ、φ）は（４）式で表すことができ、（３）式のＹ（ｘ、ｙ、α、δ、φ）は（５）式で表すことができる。

【0079】

【数4】

【0080】

【数5】

以上から、画像処理部１２３ａは、入力映像の入力開始時からの経過時間ｔにおいて出力すべき切出映像Ｃａの画像フレームにおける画素値Ｉｃａ（ｘ、ｙ）は、次の（６）式で決定することができる。

【0081】

【数6】

画像処理部１２３ａは切出映像Ｃａを構成する全画素の画素値Ｉｃａ（ｘ、ｙ）を、（６）式により算出することで、切出映像Ｃａを生成し、出力することができる。

【0082】

尚、（３）～（５）式により実現される画像処理部１２３ａの機能は、ホモグラフィ変換及び画像切出と等価である。

【0083】

また画像の画素構造や標本化に起因して、画像平面Ｑ上において、座標（Ｘ（ｘ、ｙ、α、δ、φ）、Ｙ（ｘ、ｙ、α、δ、φ））に有効な画素が存在しない場合には、座標（Ｘ（ｘ、ｙ、α、δ、φ）、Ｙ（ｘ、ｙ、α、δ、φ））に最も近接する存在画素の画素値で補間してもよい。このような補間は、いわゆる最近傍補間である。また座標（Ｘ（ｘ、ｙ、α、δ、φ）、Ｙ（ｘ、ｙ、α、δ、φ））の周囲の複数の画素の位置関係及び画素値に基づき、双一次補間、双三次補間、Ｌａｎｃｚｏｓ補間、又はスプライン補間等の補間処理を実行することで得られた値を用いてもよい。

【0084】

尚、画像平面Ｑ上の座標（Ｘ、Ｙ）、画像平面Ｗの座標（ｘ、ｙ）、焦点距離Ｆ及び焦点距離ｆは、何れも共通の尺度（長さの単位）で表現されているものとする。このような尺度としては、全て画素間隔（画素配置の格子のある一辺の長さや対角長等）を単位としてもよいし、全て何らかの絶対的な尺度（メートルやミリメートル等）を単位としてもよい。

【0085】

図５は、入力映像と切出映像の時間的な関係を説明する図である。図５において横軸は時間を表している。時間ｔ０は入力映像Ｂの入力開始時（時刻）を示し、時間ｔ１、ｔ２、及びｔ３はそれぞれ、入力映像Ｂの入力開始時からの経過時間を示している。

【0086】

時間ｔ０における入力映像Ｂは入力映像Ｂ（ｔ０）、時間ｔ１における入力映像Ｂは入力映像Ｂ（ｔ１）、時間ｔ２における入力映像Ｂは入力映像Ｂ（ｔ２）、並びに時間ｔ３における入力映像Ｂは入力映像Ｂ（ｔ３）としてそれぞれ表示されている。

【0087】

切出映像Ｃａは、入力映像Ｂに基づき、操作者２ａによる撮影操作データＤａに応じて生成された切出映像を示している。入力映像Ｂ（ｔ０）に基づく切出映像は切出映像Ｃａ（ｔ０）、入力映像Ｂ（ｔ１）に基づく切出映像は切出映像Ｃａ（ｔ１）として、それぞれ示されている。また入力映像Ｂ（ｔ２）に基づく切出映像は切出映像Ｃａ（ｔ２）、入力映像Ｂ（ｔ３）に基づく切出映像は切出映像Ｃａ（ｔ３）として、それぞれ示されている。

【0088】

切出映像Ｃｂは、入力映像Ｂに基づき、操作者２ｂによる撮影操作データＤｂに応じて生成された切出映像を示している。入力映像Ｂ（ｔ０）に基づく切出映像は切出映像Ｃｂ（ｔ０）、入力映像Ｂ（ｔ１）に基づく切出映像は切出映像Ｃｂ（ｔ１）として、それぞれ示されている。また入力映像Ｂ（ｔ２）に基づく切出映像は切出映像Ｃｂ（ｔ２）、入力映像Ｂ（ｔ３）に基づく切出映像は切出映像Ｃｂ（ｔ３）として、それぞれ示されている。

【0089】

切出映像Ｃａは、操作者２ａが行った撮影操作に応じて入力映像Ｂの一部を切出して生成された映像であるため、入力映像Ｂに対して小さく表示されている。同様に切出映像Ｃｂは、操作者２ｂが行った撮影操作に応じて入力映像Ｂの一部を切出して生成された映像であるため、入力映像Ｂに対して小さく表示されている。

【0090】

図５に示されているように、切出映像Ｃａと切出映像Ｃｂは、映像の開始時が入力映像Ｂの入力開始時と一致し、また入力映像Ｂの入力開始時からの経過時間毎で映像が生成されるタイミングが一致している。換言すると、切出映像Ｃａと切出映像Ｃｂは、入力映像Ｂの入力開始時からの経過時間に基づき同期している。

【0091】

また切出映像Ｃａと切出映像Ｃｂは共通の入力映像Ｂに基づき生成されている。切出映像Ｃａ（ｔ０）と切出映像Ｃｂ（ｔ０）は何れも入力映像Ｂ（ｔ０）に基づき生成され、切出映像Ｃａ（ｔ１）と切出映像Ｃｂ（ｔ１）は何れも入力映像Ｂ（ｔ１）に基づき生成されている。また切出映像Ｃａ（ｔ２）と切出映像Ｃｂ（ｔ２）は何れも入力映像Ｂ（ｔ２）に基づき生成され、切出映像Ｃａ（ｔ３）と切出映像Ｃｂ（ｔ３）は何れも入力映像Ｂ（ｔ３）に基づき生成されている。

【0092】

入力映像Ｂのフレーム周期が３０（frame per second；ｆｐｓ）の場合、ｔ０＝０（second；ｓ）、ｔ１＝１／３０（ｓ）、ｔ２＝２／３０（ｓ）、ｔ３＝３／３０（ｓ）である。切出映像Ｃａ及びＣｂもフレーム周期３０（ｆｐｓ）で生成され、表示される。映像を表示するタイミングを合わせるために、入力映像Ｂと切出映像Ｃａ及びＣｂの少なくとも一方で、表示を電気的に遅延させてもよい。画像処理部１２３ａの実行する画像処理には高速性が要求されるため、画像処理部１２３ａはワイヤードロジックによるハードウェア等で構成されることが好ましい。

【0093】

このように生成された切出映像Ｃａと切出映像Ｃｂは、撮影操作データ収集装置１０ａにおいて、切替部１５ａにより切り替えられて表示部１３ａに表示される。また撮影操作データ収集装置１０ｂにおいて、切替部１５ｂにより切り替えられて表示部１３ｂに表示される。

【0094】

＜撮影操作データ収集装置の動作＞
図６は、本実施形態に係る処理の一例を示すフローチャートである。図６では、撮影操作データ収集装置１０ａの処理を例に説明するが、撮影操作データ収集装置１０ｂの処理においても同様である。

【0095】

先ず、ステップＳ６１において、撮影姿勢角取得部１２１ａは、計測部１１ａが出力した回転角Ｐ、回転角Ｔ及び回転角Ｒを入力し、これらに基づき、パン方向姿勢角、チルト方向姿勢角及びロール方向姿勢角を取得し、画像処理部１２３ａに出力する。

【0096】

続いて、ステップＳ６２において、ズームデータ取得部１２２ａは、計測部１１ａが出力したズーム量Ｚを入力し、ズーム量Ｚに基づき、焦点距離等のズームデータを取得し、画像処理部１２３ａに出力する。

【0097】

続いて、ステップＳ６３において、画像処理部１２３ａは、入力した撮影姿勢角及びズームデータに基づき、入力映像Ｂに対し、幾何変換及び切り出し画像処理を実行し、切出映像Ｃａを生成する。生成された切出映像Ｃａは切替部１５ａに出力される。

【0098】

続いて、ステップＳ６４において、切替部１５ａは、切替スイッチ１５１ａからの切替信号に応じて、表示部１３ａに表示する映像を切り替える。

【0099】

続いて、ステップＳ６５において、切替信号が映像の切り替えを有効（ＯＮ）にする信号でない場合（ステップＳ６４、Ｎｏ）、切替部１５ａの備える切替電気回路１５２ａは作動せず、表示部１３ａは切出映像Ｃａを表示する。

【0100】

一方、切替信号が映像の切り替えを有効（ＯＮ）にする信号である場合（ステップＳ６４、Ｙｅｓ）、切替部１５ａの備える切替電気回路１５２ａが作動する。そして画像処理部１２３ｂの出力する切出映像Ｃｂが表示部１３ａに表示されるように、接続が切り替えられる。ステップＳ６６において、表示部１３ａは切出映像Ｃｂを表示する。

【0101】

このようにして撮影操作データ収集装置１０ａは、切替部１５ａにより表示部１３ａに表示する映像を、画像処理部１２３ａの生成する切出映像Ｃａ、又は画像処理部１２３ｂの出力する切出映像Ｃｂの何れか一方に切り替えることができる。

【0102】

尚、処理部１２ａは、撮影操作データの収集の開始、又は終了を判定する判定部を備えてもよい。判定部による開始判定により、画像処理部１２３ａは入力映像Ｂに基づく切出映像Ｃａの生成を開始する。また表示部１３ａは切出映像Ｃａの表示を開始し、記録部１４ａは撮影操作データの記録を開始する。

【0103】

判定部は、雲台１７ａ等に設けた開始スイッチの操作信号に基づき、撮影操作データの収集の開始を判定する。或いは撮影操作に応じて計測部１１ａが出力する信号、又は入力映像Ｂが、処理部１２ａに入力したことを検知して、撮影操作データの収集の開始を判定してもよい。

【0104】

一方、判定部による終了判定により、画像処理部１２３ａは入力映像Ｂに基づく切出映像Ｃａの生成を終了する。また表示部１３ａは切出映像Ｃａの表示を終了し、記録部１４ａは撮影操作データの記録を終了する。

【0105】

判定部は、雲台１７ａ等に設けた終了スイッチの操作信号に基づき、撮影操作データの収集の終了を判定する。或いは撮影操作に応じて計測部１１ａの出力する信号、又は入力映像Ｂが、処理部１２ａに所定時間以上入力しないこと等を検知して、撮影操作データの収集の終了を判定してもよい。このような判定部を設けることで、記録部１４ａに必要以上に多くの撮影操作データを記録することを防ぐことができる。

【0106】

以上説明してきたように、本実施形態では、操作者の撮影操作に連動して、入力映像を幾何変換及び切り出し画像処理を実行し、生成した切出映像を表示部に表示する。これにより、切り出しの大きさ及び位置の操作感覚が実空間での被写体の運動と連関しないことによる撮影操作の違和感を防ぐことができる。そして、あたかも現実のカメラで撮影操作を行ったかのような操作感で仮想的な撮影操作を実施し、実際の撮影環境を精度よく模擬した高品質の撮影操作データを収集することができる。

【0107】

本実施形態では、複数の撮影操作データ収集装置を備え、同一の入力映像Ｂを用いて複数人がそれぞれ撮影操作を行って、その撮影操作データをそれぞれ収集することができる。

【0108】

また同じ入力映像Ｂに対し、繰り返し実施した撮影操作について、撮影操作データを記録することができる。被写体が自然物体（人間や動物を含む）である場合にも、人間の演技等の同一の被写体の状況を繰り返し再現し、再現毎で異なる撮影操作による撮影操作データを収集することができる。

【0109】

さらに切替部１５ａにより、別の操作者２ｂの撮影操作による切出映像Ｃｂを表示部１３ａに表示させることで、操作者２ａは別の操作者２ｂの撮影操作を参照したり、比較したりしながら撮影操作を行い、撮影操作データを収集することができる。

【0110】

これらにより、多様な撮影操作データを収集し、撮影操作データを充実化させることができる。

【0111】

本実施形態では、撮影操作に応じて姿勢角が変化する雲台１７ａに計測部１１ａを設け、雲台１７ａの姿勢角を計測する。雲台１７ａの姿勢角を計測することで、撮影操作に応じた撮影姿勢角を模擬的に計測し、撮影操作データを収集することができる。

【0112】

本実施形態では、表示部１３ａを雲台１７ａに載置し、雲台１７ａの姿勢角に合わせて表示部１３ａの姿勢角を変化させ、表示部１３ａをあたかもカメラのビューファインダのように振舞わせる。これにより操作者の感じる操作上の違和感を軽減でき、撮影操作データの品質を向上させることができる。

【0113】

本実施形態では、ホモグラフィ変換により、中心投影による撮影映像である入力映像Ｂ、又はコンピュータグラフィクスの入力映像Ｂから、中心投影による切出映像Ｃａを生成する。これにより、平面の撮像素子と、ピンホールモデルに従う撮影レンズとを有する理想的なカメラにより撮影操作を行った場合の投影ひずみを再現し、自然な切出映像を生成することができる。そして操作者の感じる視覚上の違和感を軽減し、撮影操作データの品質を向上させることができる。

【0114】

以上のように、本実施形態によれば、多様、かつ高品質な撮影操作データを収集することが可能となる。

【0115】

［第２の実施形態］
次に、第２の実施形態に係る撮影操作データ収集装置の一例を説明する。尚、既に説明した実施形態と同一構成部についての説明は省略する。

【0116】

本実施形態に係る撮影操作データ収集装置１０ｃは、切出映像Ｃｂを記憶する映像記憶部２０を備え、表示部１３ｃが表示する映像を、撮影操作に応じて生成される切出映像Ｃａ、又は映像記憶部２０が記憶する切出映像Ｃｂの何れか一方に切り替えることができる装置である。

【0117】

＜撮影操作データ収集装置の構成＞
本実施形態に係る撮影操作データ収集装置の全体の構成を、図７を参照して説明する。図７は、本実施形態に係る撮影操作データ収集装置１０ｃの構成の一例を説明する図である。

【0118】

撮影操作データ収集装置１０ｃは、映像記憶部２０と、切替部１５ｃとを有する。映像記憶部２０は雲台１７ｃに設けられている。但し、映像記憶部２０を雲台１７ｃとは別に設け、映像記憶部２０と表示部１３ｃを有線、或いは無線で電気的に接続してもよい。

【0119】

映像記憶部２０は、切出映像Ｃｂを記憶する。切出映像Ｃｂは、撮影操作データ収集装置１０ｃで行われた撮影操作に応じて、入力映像Ｂに対して幾何変換及び切り出し画像処理が実行され、生成された映像である。また切出映像Ｃｂは、撮影操作データを収集しようとする現在の時刻に対し、過去の時刻において、撮影操作データ収集装置１０ｃで撮影操作が行われ、生成された映像である。映像記憶部２０は記憶した切出映像Ｃｂを、切替部１５ｃを介して表示部１３ｃに出力し、表示部１３ｃに表示させることができる。

【0120】

映像記憶部２０は、入力映像Ｂの処理部１２ｃへの入力が開始されると、これに同期して、切替部１５ｃの備える切替電気回路１５２ｃに対し、記憶した切出映像Ｃｂの出力を開始する。そして、これを入力映像Ｂの処理部１２ｃへの入力が終了するまで継続する。

【0121】

切替部１５ｃは、表示部１３ｃに表示される映像を、撮影操作データ収集装置１０ｃで生成された切出映像Ｃａ、又は映像記憶部２０が記憶する切出映像Ｃｂの何れか一方に切り替える機能を有する。

【0122】

切替部１５ｃは、切替スイッチ１５１ｃと、切替電気回路１５２ｃとを有する。切替スイッチ１５１ｃとして、撮影操作データ収集装置１０ｃのズームデマンド１９ｃに設けられたプッシュボタンを用いることができる。切替電気回路１５２ｃは、雲台１７ｃに設けられ、切替スイッチ１５１ｃに電気的に接続している。

【0123】

切替スイッチ１５１ｃのプッシュボタンが押されると、切替電気回路１５２ｃが作動して映像信号ラインが切り替えられる。そして表示部１３ｃに表示される映像が、撮影操作データ収集装置１０ｃで生成された切出映像Ｃａから、映像記憶部２０が記憶する切出映像Ｃｂに切り替えられる。

【0124】

尚、上記の「現在の時刻」は「第１の時刻」の一例であり、上記の「過去の時刻」は「第２の時刻」の一例である。切出映像Ｃａは「第１の映像」の一例であり、映像記憶部２０に記憶されている切出映像Ｃｂは「第２の映像」の一例である。撮影操作データ収集装置１０ｃによる現在の時刻における撮影操作は「第１の撮影操作」の一例であり、撮影操作データ収集装置１０ｃによる過去の時刻における撮影操作は「第２の撮影操作」の一例である。

【0125】

但し、映像記憶部２０が記憶する切出映像Ｃｂは、撮影操作データ収集装置１０ｃで行われた撮影操作に応じた映像に限定されない。撮影操作データ収集装置１０ｃとは異なる他の撮影操作データ収集装置で行われた撮影操作に応じた切出映像を記憶してもよい。また「過去の時刻」における操作者は、「現在の時刻」における操作者と同じでもよいし、異なっていてもよい。

【0126】

また、「現在の時刻」に撮影操作を行う場合に用いられる入力映像Ｂと、「過去の時刻」で撮影操作を行った場合に用いられた入力映像Ｂは共通である。

【0127】

＜映像記憶部の構成＞
図８は、本実施形態に係る映像記憶部２０の構成の一例を機能ブロックで示す図である。映像記憶部２０は入出力部２０１と、出力映像記憶部２０２と、保持映像記憶部２０３と、Ｉ／Ｆ（Inter／Face）部２０４とを有する。

【0128】

映像記憶部２０の各機能ブロックにて行われる各処理機能は、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭに格納されたプログラムを実行すること等で実現される。また出力映像記憶部２０２及び保持映像記憶部２０３は、ＨＤＤ等により実現される。

【0129】

入出力部２０１は、映像記憶部２０に対して切出映像Ｃｂの出力の開始、又は出力の終了を指示する指令信号を入力する。また入出力部２０１は、指令信号に応じて、出力映像記憶部２０２に記憶された切出映像Ｃｂを切替部１５ｃに対して出力する。

【0130】

出力映像記憶部２０２は、映像記憶部２０が記憶する切出映像Ｃｂのうち、切替部１５ｃに対して出力する映像を記憶する。一方、保持映像記憶部２０３は、映像記憶部２０が記憶する切出映像Ｃｂのうち、切替部１５ｃに対して出力せず保持しておく映像を記憶する。

【0131】

切出映像Ｃｂが動画ファイル形式で記憶され、異なる切出映像Ｃｂが複数の動画ファイルで記憶されている場合、出力映像記憶部２０２は、このような複数の動画ファイルのうち、切替部１５ｃを介して表示部１３ｃに表示させる動画ファイルを記憶し、保持映像記憶部２０３は、複数の動画ファイルのうち、切替部１５ｃに出力せず映像記憶部２０に保持しておく動画ファイルを記憶する。

【0132】

これにより、映像記憶部２０は、異なる複数の切出映像Ｃｂを記憶しながら、特定の切出映像Ｃｂのみを切替部１５ｃに出力し、切替部１５ｃを介して表示部１３ｃに表示させることができる。

【0133】

Ｉ／Ｆ部２０４は、ＰＣ（Personal Computer）２０５等の外部装置と接続するためのインターフェースであり、映像記憶部２０に記憶された切出映像Ｃｂは、このＰＣ２０５を介して書換、追加、又は削除でき、動画ファイル形式の切出映像Ｃｂは、映像記憶部２０において書換、追加、又は削除できる。また、ＰＣ２０５を介して、保持映像記憶部２０３に記憶された切出映像Ｃｂを出力映像記憶部２０２に移動させたり、映像記憶部２０の出力する切出映像Ｃｂを変更したりすることができる。

【0134】

尚、記録部１４ｃに映像記憶部２０の機能を持たせ、記録部１４ｃと映像記憶部２０との間のデータの移動を容易に行えるようにしてもよい。

【0135】

＜処理部の構成＞
図９は、本実施形態に係る処理部１２ｃの構成の一例を機能ブロックで示す図である。処理部１２ｃは、判定部１２４ｃを有する。

【0136】

判定部１２４ｃは、撮影操作データ収集装置１０ｃによる撮影操作データの収集の開始、又は終了を判定する。判定部１２４ｃによる開始判定により、画像処理部１２３ｃは入力映像Ｂに基づく切出映像Ｃａの生成を開始する。また映像記憶部２０は、切替部１５ｃの備える切替電気回路１５２ｃに対して切出映像Ｃｂの出力を開始する。さらに表示部１３ｃは切出映像Ｃａ、又は切出映像Ｃｂの表示を開始し、記録部１４ｃは撮影操作データＤａの記録を開始する。

【0137】

判定部１２４ｃは、入力映像Ｂの処理部１２ｃへの入力が開始されたことを検知し、撮影操作データの収集の開始を判定する。或いは雲台１７ｃ等に設けられた開始スイッチの操作信号、又は撮影操作に応じて計測部１１ｃが出力する信号に基づいて、撮影操作データの収集の開始を判定してもよい。

【0138】

判定部１２４ｃは、撮影操作データの収集の開始を判定すると、その旨を示す開始判定信号を画像処理部１２３ｃ及び映像記憶部２０に出力する。併せて表示部１３ｃ及び記録部１４ｃに開始判定信号を出力してもよい。開始判定信号に従い、画像処理部１２３ｃは切出映像Ｃａの生成を開始し、映像記憶部２０は切出映像Ｃｂの切替電気回路１５２ｃへの出力を開始する。映像記憶部２０に出力する開始判定信号は、映像記憶部２０に対して切出映像Ｃｂの出力の開始を指示する指令信号に該当する。

【0139】

一方、判定部１２４ｃによる終了判定により、画像処理部１２３ｃは切出映像Ｃａの生成を終了し、映像記憶部２０は切出映像Ｃｂの出力を終了する。また表示部１３ｃは切出映像Ｃａの表示を終了し、記録部１４ｃは撮影操作データの記録を終了する。

【0140】

判定部１２４ｃは、入力映像Ｂが処理部１２ｃに所定時間以上入力しないことを検知し、撮影操作データ収集の終了を判定する。或いは雲台１７ｃ等に設けられた終了スイッチの操作信号、又は撮影操作に応じて計測部１１ｃが出力する信号に基づき、撮影操作データ収集の終了を判定してもよい。判定部１２４ｃは、撮影操作データの収集の終了を判定すると、その旨を示す終了判定信号を画像処理部１２３ｃ及び映像記憶部２０に出力する。併せて表示部１３ｃ及び記録部１４ｃに終了判定信号を出力してもよい。映像記憶部２０に出力する終了判定信号は、映像記憶部２０に対して切出映像Ｃｂの出力の終了を指示する指令信号に該当する。

【0141】

尚、図７では簡略化のため、判定部１２４ｃから映像記憶部２０への信号ラインと、判定部１２４ｃから記録部１４ｃへの信号ラインの図示を省略している。

【0142】

＜第２の実施形態に係る装置の動作＞
図１０は、本実施形態に係る処理の一例を示すフローチャートである。

【0143】

先ず、ステップＳ１０１において、判定部１２４ｃは、入力映像Ｂの処理部１２ｃへの入力が開始されたことを検知し、撮影操作データの収集の開始を判定する。

【0144】

撮影操作データの収集が開始された場合（ステップＳ１０１、Ｙｅｓ）、判定部１２４ｃはその旨を示す開始判定信号を画像処理部１２３ｃ及び映像記憶部２０に出力する。開始判定信号に従い、画像処理部１２３ｃは切出映像Ｃａの生成を開始し、映像記憶部２０は切出映像Ｃｂの出力を開始する。一方、撮影操作データ収集が開始されない場合（ステップＳ１０１、Ｎｏ）、ステップＳ１０１に戻り、処理が継続される。

【0145】

続いて、ステップＳ１０２において、撮影姿勢角取得部１２１ｃは、計測部１１ｃが出力した回転角Ｐ、回転角Ｔ及び回転角Ｒに基づき、パン方向姿勢角、チルト方向姿勢角及びロール方向姿勢角を取得し、これらを示す信号を画像処理部１２３ｃに出力する。

【0146】

続いて、ステップＳ１０３において、またズームデータ取得部１２２ｃは、計測部１１ｃが出力したズーム量Ｚに基づき、焦点距離等のズームデータを取得し、ズームデータを示す信号を画像処理部１２３ｃに出力する。

【0147】

続いて、ステップＳ１０４において、続いて画像処理部１２３ｃは、入力した撮影姿勢角及びズームデータに基づき、入力映像Ｂに対して幾何変換及び切り出し画像処理を実行し、切出映像Ｃａを生成する。生成された切出映像Ｃａは、切替部１５ｃの備える切替電気回路１５２ａに出力される。

【0148】

続いて、ステップＳ１０５において、切替部１５ｃは、切替スイッチ１５１ｃからの切替信号に応じて、表示部１３ｃに表示する映像を切り替える。

【0149】

続いて、ステップＳ１０６において、切替信号が切り替えを有効（ＯＮ）にする信号でない場合（ステップＳ１０５、Ｎｏ）、切替部１５ｃの備える切替電気回路１５２ｃは作動せず、表示部１３ｃは切出映像Ｃａを表示する。

【0150】

一方、切替信号が切り替えを有効（ＯＮ）にする信号である場合（ステップＳ１０５、Ｙｅｓ）、切替部１５ｃの備える切替電気回路１５２ｃが作動する。そして、映像記憶部２０の出力する切出映像Ｃｂが表示部１３ｃに表示されるように、映像信号ラインの接続が切り替えられる。ステップＳ１０７において、表示部１３ｃは切出映像Ｃｂを表示する。

【0151】

続いて、ステップＳ１０８において、判定部１２４ｃは、入力映像Ｂが処理部１２ｃに所定時間以上入力しないことを検知し、撮影操作データの収集の終了を判定する。撮影操作データ収集を終了する場合（ステップＳ１０８、Ｙｅｓ）、判定部１２４ｃはその旨を示す終了判定信号を画像処理部１２３ｃ及び映像記憶部２０に出力する。終了判定信号に従い、画像処理部１２３ｃは切出映像Ｃａの生成を終了し、映像記憶部２０は切出映像Ｃｂの出力を終了する。一方、撮影操作データ収集が終了しない場合（ステップＳ１０８、Ｎｏ）、ステップＳ１０２に戻り、処理が継続される。

【0152】

このようにして撮影操作データ収集装置１０ｃは、切替部１５ｃにより、表示部１３ｃに表示する映像を、画像処理部１２３ｃの生成する切出映像Ｃａ、又は映像記憶部２０の出力する切出映像Ｃｂの何れか一方に切り替えることができる。

【0153】

以上説明してきたように、本実施形態では、表示部に表示される切出映像を、現在の撮影操作に応じた切出映像Ｃａ、又は過去の撮影操作に応じた切出映像Ｃｂの何れか一方に切り替える。これにより、同一の入力映像Ｂに対して過去に行った撮影操作による映像を視認しながら、撮影操作を行い、撮影操作データを収集することができる。そして多様な撮影操作データを収集し、撮影操作データを充実化させることができる。

【0154】

また本実施形態では、映像記憶部２０は切出映像Ｃｂを記憶するため、切出映像Ｃｂを生成する処理が不要となる。これにより処理負荷を低減し、また処理を高速化することができる。

【0155】

尚、上記以外の効果は、既に述べた実施形態で説明したものと同様である。

【0156】

［第３の実施形態］
次に、第３の実施形態に係る撮影操作データ収集装置の一例を説明する。尚、既に説明した実施形態と同一構成部についての説明は省略する。

【0157】

本実施形態に係る撮影操作データ収集装置１０ｄは、撮影操作データＤｂを記憶する操作量記憶部２１を備え、表示部１３ｄが表示する映像を、撮影操作データＤａに応じた切出映像Ｃａ、又は操作量記憶部２１が記憶する撮影操作データＤｂに応じた切出映像Ｃｂの何れか一方に切り替えることができる装置である。

【0158】

＜第３の実施形態に係る装置の構成＞
本実施形態に係る撮影操作データ収集装置の全体の構成を、図１１を参照して説明する。図１１は、本実施形態に係る撮影操作データ収集装置１０ｄの構成の一例を説明する図である。

【0159】

撮影操作データ収集装置１０ｄは、操作量記憶部２１と、切替部１５ｄとを有する。操作量記憶部２１は雲台１７ｄに設けられている。但し、操作量記憶部２１を雲台１７ｄとは別に設け、操作量記憶部２１と表示部１３ｄを有線、或いは無線で電気的に接続してもよい。

【0160】

操作量記憶部２１は、撮影操作データ収集装置１０ｄによる撮影操作データＤｂを記憶する。撮影操作データＤｂは、撮影操作データＤａと同様に、撮影姿勢角、ズーム、及びフォーカス等を示すデータである。また撮影操作データＤｂは、撮影操作データを収集しようとする現在の時刻に対し、過去の時刻において、撮影操作データ収集装置１０ｄで撮影操作が行われ、記録された撮影操作データである。操作量記憶部２１は記憶した撮影操作データＤｂを、切替部１５ｄを介して処理部１２ｄに出力することができる。

【0161】

操作量記憶部２１は、入力映像Ｂの処理部１２ｄへの入力が開始されると、これに同期して、切替部１５ｄの備える切替電気回路１５２ｄに対し、記憶した撮影操作データＤｂの出力を開始する。そして、これを入力映像Ｂの処理部１２ｄへの入力が終了するまで継続する。

【0162】

切替部１５ｄは、表示部１３ｄに表示される映像を、現在の撮影操作データに応じて生成された切出映像Ｃａ、又は操作量記憶部２１が記憶する過去の撮影操作データに応じて生成された切出映像Ｃｂの何れか一方に切り替える機能を有する。

【0163】

切替部１５ｄは、切替スイッチ１５１ｄと、切替電気回路１５２ｄとを有する。切替スイッチ１５１ｄとして、撮影操作データ収集装置１０ｄのズームデマンド１９ｄに設けられたプッシュボタンを用いることができる。切替電気回路１５２ｄは、雲台１７ｄに設けられ、切替スイッチ１５１ｄに電気的に接続している。

【0164】

切替スイッチ１５１ｄのプッシュボタンが押されると、切替電気回路１５２ｄが作動して信号ラインが切り替えられる。そして表示部１３ｄに表示される映像が、現在の撮影操作データＤａに応じて生成された切出映像Ｃａから、操作量記憶部２１が記憶する、撮影操作データＤｂに応じて生成された切出映像Ｃｂに切り替えられる。

【0165】

尚、上記の「現在の時刻」は「第１の時刻」の一例であり、上記の「過去の時刻」は「第２の時刻」の一例である。撮影操作データＤａは「第１の撮影操作の操作量」の一例であり、撮影操作データＤｂは「第２の撮影操作の操作量」の一例である。

【0166】

ところで、撮影操作データＤｂは、撮影操作データ収集装置１０ｄによる撮影操作データに限定されない。撮影操作データ収集装置１０ｄとは異なる他の撮影操作データ収集装置による撮影操作データであってもよい。また「過去の時刻」における操作者は、「現在の時刻」における操作者と同じでもよいし、異なっていてもよい。

【0167】

但し、「現在の時刻」に撮影操作を行う場合に用いられる入力映像Ｂと、「過去の時刻」で撮影操作を行った場合に用いられた入力映像Ｂは共通である。

【0168】

＜操作量記憶部の構成＞
図１２は、本実施形態に係る操作量記憶部２１の構成の一例を機能ブロックで示す図である。操作量記憶部２１は入出力部２１１と、出力操作量記憶部２１２と、保持操作量記憶部２１３と、Ｉ／Ｆ（Inter／Face）部２１４とを有する。

【0169】

操作量記憶部２１の各機能ブロックにて行われる各処理機能は、ＣＰＵがＲＡＭをワークエリアとしてＲＯＭに格納されたプログラムを実行すること等で実現される。また出力操作量記憶部２１２及び保持操作量記憶部２１３は、ＨＤＤ等により実現される。

【0170】

入出力部２１１は、操作量記憶部２１に対して撮影操作データＤｂの出力の開始、又は出力の終了を指示する指令信号を入力する。また入出力部２１１は、指令信号に応じて、出力操作量記憶部２１２に記憶された撮影操作データＤｂを切替部１５ｄに対して出力する。

【0171】

出力操作量記憶部２１２は、操作量記憶部２１が記憶する撮影操作データＤｂのうち切替部１５ｄに対して出力する撮影操作データを記憶する。一方、保持操作量記憶部２１３は、操作量記憶部２１が記憶する撮影操作データＤｂのうち、切替部１５ｄに対して出力せず保持しておく撮影操作データを記憶する。

【0172】

撮影操作データＤｂがデータファイル形式で記憶され、異なる撮影操作データＤｂが複数のデータファイルで記憶されている場合を想定する。出力操作量記憶部２１２は、このような複数のデータファイルのうち、切替部１５ｄを介して処理部１２ｄに出力するデータファイルを記憶する。一方、保持操作量記憶部２１３は、複数のデータファイルのうち、切替部１５ｄに出力せず操作量記憶部２１に保持しておくデータファイルを記憶する。

【0173】

このように構成することで、操作量記憶部２１は、異なる複数の撮影操作データＤｂを記憶しながら、特定の撮影操作データＤｂのみを切替部１５ｄに出力し、切替部１５ｄを介して処理部１２ｄに出力することができる。

【0174】

Ｉ／Ｆ部２１４は、ＰＣ２０５等の外部装置と接続するためのインターフェースである。操作量記憶部２１に記憶された撮影操作データＤｂは、ＰＣ２０５を介して書換、追加、又は削除されることができる。データファイル形式の撮影操作データＤｂが操作量記憶部２１において書換、追加、又は削除される。またＰＣ２０５を介して、保持操作量記憶部２１３に記憶された撮影操作データＤｂを出力操作量記憶部２１２に移動させることで、操作量記憶部２１の出力する撮影操作データＤｂを変更することができる。

【0175】

尚、記録部１４ｄに操作量記憶部２１の機能を持たせ、記録部１４ｄと操作量記憶部２１との間のデータの移動を容易に行えるようにしてもよい。

【0176】

図１３は、操作量記憶部２１に記憶される撮影操作データＤｂの一例を説明する図である。図示されているように、操作量記憶部２１には経過時間に対応付けられて撮影操作データが記憶される。操作量記憶部２１は、入力映像の入力開始時からの経過時間に基づき、入力映像Ｂの処理部１２ｄへの入力に同期して撮影操作データＤｂを切替電気回路１５２ｄに出力する。

【0177】

＜処理部の構成＞
図１４は、本実施形態に係る処理部１２ｄの構成の一例を機能ブロックで示す図である。処理部１２ｄは、判定部１２４ｄを有する。

【0178】

判定部１２４ｄは、撮影操作データ収集装置１０ｄによる撮影操作データの収集の開始、又は終了を判定する。判定部１２４ｄによる開始判定により、画像処理部１２３ｄは入力映像Ｂに基づく切出映像Ｃａの生成を開始し、操作量記憶部２１は、切替部１５ｄの備える切替電気回路１５２ｄに対し、撮影操作データＤｂの出力を開始する。また表示部１３ｄは切出映像Ｃａ、又は切出映像Ｃｂの表示を開始し、記録部１４ｄは撮影操作データＤａの記録を開始する。

【0179】

判定部１２４ｄは、入力映像Ｂの処理部１２ｄへの入力が開始されたことを検知し、撮影操作データの収集の開始を判定する。或いは雲台１７ｄ等に設けられた開始スイッチの操作信号、又は撮影操作に応じて計測部１１ｄが出力する信号に基づき、撮影操作データの収集の開始を判定してもよい。

【0180】

判定部１２４ｄは、撮影操作データ収集の開始を判定すると、その旨を示す開始判定信号を画像処理部１２３ｄ及び操作量記憶部２１に出力する。併せて表示部１３ｄ及び記録部１４ｄに開始判定信号を出力してもよい。開始判定信号に従い、画像処理部１２３ｄは切出映像Ｃａの生成を開始し、操作量記憶部２１は撮影操作データＤｂの切替電気回路１５２ｄへの出力を開始する。操作量記憶部２１に出力する開始判定信号は、操作量記憶部２１に対して撮影操作データＤｂの出力の開始を指示する指令信号に該当する。

【0181】

一方、判定部１２４ｄによる終了判定により、画像処理部１２３ｄは切出映像Ｃａの生成を終了し、操作量記憶部２１は撮影操作データＤｂの出力を終了する。また表示部１３ｄは切出映像Ｃａの表示を終了し、記録部１４ｄは撮影操作データの記録を終了する。

【0182】

判定部１２４ｄは、入力映像Ｂが処理部１２ｄに所定時間以上入力しないことを検知し、撮影操作データの収集の終了を判定する。或いは雲台１７ｄ等に設けられた終了スイッチの操作信号、又は撮影操作に応じて計測部１１ｄが出力する信号に基づき、撮影操作データの収集の終了を判定してもよい。判定部１２４ｄは、撮影操作データの収集の終了を判定すると、その旨を示す終了判定信号を画像処理部１２３ｄ及び操作量記憶部２１に出力する。併せて表示部１３ｄ及び記録部１４ｄに終了判定信号を出力してもよい。操作量記憶部２１に出力する終了判定信号は、操作量記憶部２１に対して撮影操作データＤｂの出力の終了を指示する指令信号に該当する。

【0183】

尚、図１４では、簡略化のため、判定部１２４ｄから操作量記憶部２１への信号ラインと、判定部１２４ｄから記録部１４ｄへの信号ラインの図示を省略している。

【0184】

図１４では、便宜的に計測部１１ｄが切替電気回路１５２ｄに出力する信号を１本の信号ラインで示したが、計測部１１ｄから切替電気回路１５２ｄに入力する信号には、回転角Ｐ、回転角Ｔ、回転角Ｒ及びズーム量Ｚが含まれる。同様に操作量記憶部２１が切替電気回路１５２ｄに出力する信号には、回転角Ｐ、回転角Ｔ、回転角Ｒ及びズーム量Ｚが含まれる。切替電気回路１５２ｄから出力される信号には、回転角Ｐ、回転角Ｔ、回転角Ｒ及びズーム量Ｚが含まれる。回転角Ｐ、回転角Ｔ及び回転角Ｒは、撮影姿勢角取得部１２１ｄに入力され、ズーム量Ｚはズームデータ取得部１２２ｄに入力される。

【0185】

画像処理部１２３ｄは、撮影操作データＤａを入力した場合は、切出映像Ｃａを表示部１３ｄに出力し、撮影操作データＤｂを入力した場合は、切出映像Ｃｂを表示部１３ｄに出力する。

【0186】

＜第３の実施形態に係る装置の動作＞
図１５は、本実施形態に係る処理の一例を示すフローチャートである。

【0187】

先ず、ステップＳ１５１において、判定部１２４ｄは、入力映像Ｂの処理部１２ｃへの入力が開始されたことを検知し、撮影操作データの収集の開始を判定する。

【0188】

撮影操作データの収集が開始された場合（ステップＳ１５１、Ｙｅｓ）、判定部１２４ｄはその旨を示す開始判定信号を画像処理部１２３ｄ及び操作量記憶部２１に出力する。開始判定信号に従い、画像処理部１２３ｄは切出映像Ｃａの生成を開始し、操作量記憶部２１は、撮影操作データＤｂの出力を開始する。一方、撮影操作データの収集が開始されない場合（ステップＳ１５１、Ｎｏ）、ステップＳ１５１に戻り、処理が継続される。

【0189】

続いて、ステップＳ１５２において、切替部１５ｄは、切替スイッチ１５１ｄからの切替信号に応じて、処理部１２ｄに出力する撮影操作データを切り替える。

【0190】

続いて、ステップＳ１５３において、切替信号が切り替えを有効（ＯＮ）にする信号でない場合（ステップＳ１５２、Ｎｏ）、切替部１５ｄの備える切替電気回路１５２ｄは作動せず、処理部１２ｄは撮影操作データＤａを入力する。

【0191】

一方、切替信号が切り替えを有効（ＯＮ）にする信号である場合（ステップＳ１５２、Ｙｅｓ）、切替部１５ｄの備える切替電気回路１５２ｄが作動する。そして操作量記憶部２１の出力する撮影操作データＤｂが処理部１２ｄに入力するように、信号ラインの接続が切り替えられる。続いて、ステップＳ１５４において、処理部１２ｄは撮影操作データＤｂを入力する。

【0192】

続いて、ステップＳ１５５において、撮影姿勢角取得部１２１ｄは、入力した撮影操作データＤａのうちの回転角Ｐ、回転角Ｔ及び回転角Ｒに基づき、パン方向姿勢角、チルト方向姿勢角及びロール方向姿勢角を取得する。そして、これらを示す信号を画像処理部１２３ｄに出力する。

【0193】

続いて、ステップＳ１５６において、ズームデータ取得部１２２ｄは、入力した撮影操作データＤａのうちのズーム量Ｚに基づき、焦点距離等のズームデータを取得して、ズームデータを示す信号を画像処理部１２３ｄに出力する。

【0194】

続いて、ステップＳ１５７において、画像処理部１２３ｄは、入力した撮影姿勢角及びズームデータに基づき、入力映像Ｂに対して幾何変換及び切り出し画像処理を実行し、切出映像Ｃａ、又は切出映像Ｃｂを生成する。画像処理部１２３ｄは、撮影操作データＤａを入力した場合は切出映像Ｃａを生成し、表示部１３ｄに出力する。また画像処理部１２３ｄは、撮影操作データＤｂを入力した場合は切出映像Ｃｂを生成し、表示部１３ｄに出力する。

【0195】

続いて、ステップＳ１５８において、表示部１３ｄは、切出映像Ｃａを入力した場合は切出映像Ｃａを表示し、切出映像Ｃｂを入力した場合は切出映像Ｃｂを表示する。

【0196】

続いて、ステップＳ１５９において、判定部１２４ｄは、入力映像Ｂが処理部１２ｄに所定時間以上入力しないことを検知し、撮影操作データの収集の終了を判定する。撮影操作データの収集を終了する場合（ステップＳ１５９、Ｙｅｓ）、判定部１２４ｄはその旨を示す終了判定信号を画像処理部１２３ｄ及び操作量記憶部２１に出力する。終了判定信号に従い、画像処理部１２３ｄは切出映像Ｃａの生成を終了し、操作量記憶部２１は撮影操作データＤｂの出力を終了する。一方、撮影操作データの収集が終了しない場合（ステップＳ１５９、Ｎｏ）、ステップＳ１５２に戻り、処理が継続される。

【0197】

このようにして撮影操作データ収集装置１０ｄは、切替部１５ｄにより、処理部１２ｄに出力する撮影操作データを、計測部１１ｄが出力する撮影操作データＤａ、又は操作量記憶部２１が出力する撮影操作データＤｂの何れか一方に切り替えることができる。そして処理部１２ｄに入力する撮影操作データに応じて、表示部１３ｄに表示される映像を切出映像Ｃａ、又は切出映像Ｃｂの何れか一方に切り替えることができる。

【0198】

以上説明してきたように、本実施形態では、処理部１２ｄに出力する撮影操作データを、計測部１１ｄが出力する撮影操作データＤａ、又は操作量記憶部２１が出力する撮影操作データＤｂの何れかに切り替える。そして表示部１３ｄに表示する映像を、現在の撮影操作データに応じた切出映像Ｃａ、又は過去の撮影操作データに応じた切出映像Ｃｂの何れか一方に切り替える。これにより、同一の入力映像Ｂに対して過去に行った撮影操作による映像を視認しながら、撮影操作を行い、撮影操作データを収集することができる。そして多様な撮影操作データを収集し、撮影操作データを充実化させることができる。

【0199】

また本実施形態では、操作量記憶部２１は、映像に対して記憶容量の小さい撮影操作データを記憶するため、映像を記憶する場合と比較して、記憶容量を削減することができる。

【0200】

尚、上記以外の効果は、既に述べた実施形態で説明したものと同様である。

【0201】

［第４の実施形態］
次に、第４の実施形態に係る撮影操作データ収集装置の一例を説明する。尚、既に説明した実施形態と同一構成部についての説明は省略する。

【0202】

＜第４の実施形態に係る装置の構成＞
本実施形態に係る撮影操作データ収集装置の全体の構成を、図１６を参照して説明する。図１６は、本実施形態に係る撮影操作データ収集装置１０ｅの構成の一例を説明する図である。

【0203】

本実施形態に係る撮影操作データ収集装置１０ｅは、計測部１１ｅを有する。計測部１１ｅは、操作者２による撮影操作データＤａを計測する。撮影操作データＤａは、撮影姿勢角、ズーム、及びフォーカス等を示すデータである。撮影姿勢角は、図１６に矢印１３１ｅで示されている方向のパン軸回転角、矢印１３２ｅで示されている方向のチルト軸回転角、及び矢印１３３ｅで示されている方向のロール軸回転角等である。計測部１１ｅは、撮影操作データＤａを処理部１２ｅ及び記録部１４ｅに出力する。

【0204】

＜第４の実施形態に係る計測部の構成＞
図１７は、計測部１１ｅの構成の一例を説明するブロック図である。図１７に示されているように、計測部１１ｅは回転角検出部１１１ｅと、ズーム操作量検出部１１２ｅと、撮影姿勢角算出部１１６ｅとを有する。回転角検出部１１１ｅは、パン方向ジャイロスコープ１１３ｅと、チルト方向ジャイロスコープ１１４ｅと、ロール方向ジャイロスコープ１１５ｅとを有する。

【0205】

パン方向ジャイロスコープ１１３ｅ、チルト方向ジャイロスコープ１１４ｅ、及びロール方向ジャイロスコープ１１５ｅは、それぞれ雲台１７ｅの内部に組み込まれている。パン方向ジャイロスコープ１１３ｅは雲台１７ｅのパン方向（図１６のパン方向１３１ｅ参照）の角速度を計測し、速度データとして撮影姿勢角算出部１１６ｅに出力する。チルト方向ジャイロスコープ１１４ｅは雲台１７ｅのチルト方向（図１６のチルト方向１３２ｅ参照）の角速度を計測し、速度データとして撮影姿勢角算出部１１６ｅに出力する。また、ロール方向ジャイロスコープ１１５ｅは、雲台１７ｅのロール方向（図１６のロール方向１３３ｅ参照）の角速度を計測し、速度データとして撮影姿勢角算出部１１６ｅに出力する。

【0206】

撮影姿勢角算出部１１６ｅは、ＣＰＵ等で実現される。撮影姿勢角算出部１１６ｅは、パン方向の速度データを積分してパン方向の撮影姿勢角を算出し、回転角Ｐとして出力する。またチルト方向の速度データを積分してチルト方向の撮影姿勢角を算出し、回転角Ｐとして出力する。さらにロール方向の速度データを積分してロール方向の撮影姿勢角を算出し、回転角Ｒとして出力する。

【0207】

尚、撮影姿勢角算出部１１６ｅを備える場合は、処理部１２ｅの撮影姿勢角取得部１２１ｅは、撮影姿勢角を算出する演算は行う必要はなく、入力した回転角Ｐ、回転角Ｔ、及び回転角Ｒをそのまま画像処理部１２３ｅに出力すればよい。また撮影姿勢角算出部１１６ｅの演算機能を、処理部１２ｅの撮影姿勢角取得部１２１ｅが実現するように構成してもよい。

【0208】

ジャイロスコープとして、ＭＥＭＳ（Micro Electro Mechanical System）ジャイロスコープを用いることができる。ＭＥＭＳジャイロスコープでは、速度を持った物体に角速度が加わった場合に、速度方向と回転軸の両方に直交する方向に発生するコリオリ力が利用される。ＭＥＭＳジャイロスコープは、物体の回転運動に伴うコリオリ力により振動モードが変化することで発生した電圧を検出して角速度を求めることができる。尚、ジャイロスコープとして、ＭＥＭＳジャイロスコープの他、光ファイバジャイロスコープやリングレーザージャイロスコープを用いてもよい。

【0209】

またジャイロスコープ以外にも、回転角検出部１１１ｅは加速度センサ、地磁気センサ、或いは複数の全球測位衛星システム（Global Navigation Satellite System；ＧＮＳＳ）受信機等を備え、これらを用いて回転角を検出してもよい。

【0210】

加速度センサを用いる場合は、重力による加速度の方向ベクトルを複数の加速度センサの出力から求めることができる。或いは重力による加速度の所定の軸方向の成分値を１個以上の加速度センサにより計測することで、仰角を取得することができる。

【0211】

地磁気センサを用いる場合は、地磁気センサにより磁北または磁南に対する雲台１７ｅの姿勢角（方位角）を取得することができる。

【0212】

ＧＮＮＳ受信機を用いる場合は、ＧＮＮＳ受信機を互いに離して複数設置し、各ＧＮＮＳ受信機により計測された３次元位置情報の差分ベクトルの方向に基づき、雲台１７ｅの対地球の姿勢（方位角および仰角）を取得することができる。

【0213】

尚、ズーム操作量検出部１１２ｅの機能は、ズーム操作量検出部１１２ａと同様であるため、説明を省略する。

【0214】

本実施形態では、回転角検出部１１１ｅとしてジャイロスコ－プ等を用いることで、雲台１７ｅの回転角を高精度に計測することができる。またＭＥＭＳジャイロスコ－プを用いた場合、ＭＥＭＳジャイロスコープは小型であるため、雲台１７ｅの内部等にコンパクトに収納でき、装置を小型化することができる。

【0215】

尚、回転角検出部１１１ｅのジャイロスコープや加速度センサ等は、雲台１７ｅに限らず、撮影操作に応じて姿勢角が変化する表示部１３ｅ等に取り付けられてもよい。

【0216】

上記以外の効果は、既に説明した実施形態で述べたものと同様である。

【0217】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

【0218】

また実施形態は、プログラムも含む。プログラムは、コンピュータを、請求項１に記載の撮影操作データ収集装置の各機能部として機能させるためのプログラムである。

【0219】

このようなプログラムにより、上記の撮影操作データ収集装置と同様の効果を得ることができる。

【符号の説明】

【0220】

１ 撮影操作データ収集システム
２、２ａ、２ｂ 操作者
１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ 撮影操作データ収集装置
１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ 計測部
１１１ａ、１１１ｅ 回転角検出部
１１２ａ、１１２ｅ ズーム操作量検出部
１１３ａ パン方向ロータリーエンコーダ
１１３ｅ パン方向ジャイロスコープ
１１４ａ チルト方向ロータリーエンコーダ
１１４ｅ チルト方向ジャイロスコープ
１１５ａ ロール方向ロータリーエンコーダ
１１５ｅ ロール方向ジャイロスコープ
１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅ 処理部
１２１ａ、１２１ｂ、１２１ｃ、１２１ｄ、１２１ｅ 撮影姿勢角取得部
１２２ａ、１２２ｂ、１２２ｃ、１２２ｄ、１２２ｅ ズームデータ取得部
１２３ａ、１２３ｂ、１２３ｃ、１２３ｄ、１２３ｅ 画像処理部
１２４ｃ、１２４ｄ 判定部
１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ 表示部
１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅ パン方向
１３２ａ、１３２ｂ、１３２ｃ、１３２ｄ、１３２ｅ チルト方向
１３３ａ、１３３ｂ、１３３ｃ、１３３ｄ、１３３ｅ ロール方向
１４ａ、１４ｂ、１４ｃ、１４ｄ、１４ｅ 記録部
１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ 切替部
１５１ａ、１５１ｂ、１５１ｃ、１５１ｄ、１５１ｅ 切替スイッチ
１５２ａ、１５２ｂ、１５２ｃ、１５２ｄ、１５２ｅ 切替電気回路
１５３ａ、１５３ｂ、１５３ｃ、１５３ｄ、１５３ｅ 端子
１６ａ、１６ｂ、１６ｃ、１６ｄ、１６ｅ 三脚
１７ａ、１７ｂ、１７ｃ、１７ｄ、１７ｅ 雲台（可動部の一例）
１８ａ、１８ｂ、１８ｃ、１８ｄ、１８ｅ フォーカスデマンド
１９ａ、１９ｂ、１９ｃ、１９ｄ、１９ｅ ズームデマンド
２０ 映像記憶部
２０１ 入出力部
２０２ 出力映像記憶部
２０３ 保持映像記憶部
２０４ Ｉ／Ｆ部
２０５ ＰＣ
２１ 操作量記憶部
２１１ 入出力部
２１２ 出力操作量記憶部
２１３ 保持操作量記憶部
２１４ Ｉ／Ｆ部
Ｂ 入力映像
Ｃａ、Ｃｂ 切出映像
Ｄａ、Ｄｂ 撮影操作データ
Ｐ パン軸回りの回転角
Ｔ チルト軸回りの回転角
Ｒ ロール軸回りの回転角
Ｚ ズーム量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】