特許 7316105 映像修正装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-19

(45)【発行日】2023-07-27

(54)【発明の名称】映像修正装置、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230720BHJP

   H04N 5/262 20060101ALI20230720BHJP

【ＦＩ】

H04N23/60 100

H04N23/60 500

H04N5/262

【請求項の数】 6

(21)【出願番号】P 2019111199

(22)【出願日】2019-06-14

(65)【公開番号】P2020205492

(43)【公開日】2020-12-24

【審査請求日】2022-05-13

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

【審査官】藏田 敦之

(56)【参考文献】

【文献】国際公開第２０１７／１６４２８８（ＷＯ，Ａ１）

【文献】特開２００６－２６０３３８（ＪＰ，Ａ）

【文献】特開２０１０－０９３７１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ５／２６２－ ５／２８

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

カメラで撮影された映像を記録する映像記録部と、
前記映像が撮影された際の前記カメラの姿勢を示す構図データを検出する検出部と、
前記映像が撮影された各時点に対応付けて前記検出部により検出された構図データを記録する構図記録部と、
前記検出部により検出された現在の構図データと、前記構図記録部により記録されている当該各時点に対応付けられた過去の構図データとに基づいて、前記映像記録部に記録されている当該各時点の過去の映像を幾何変換する画像幾何変換部と、
前記画像幾何変換部により幾何変換された映像を表示させる映像表示部と、
前記幾何変換された映像の少なくとも一部を切り出す映像切出部と、を備え、
前記映像表示部は、
前記映像切出部が予め定めたサイズに切り出した第１映像を表示させ、
前記映像切出部は、
前記第１映像に含まれ、且つ前記サイズより小さい第２映像を外部装置に出力する
映像修正装置。

【請求項2】

前記画像幾何変換部は、
前記現在の構図データと、
前記構図記録部に記録され、現在の時刻から所定の時間だけ遡った前記過去の構図データとに基づいて、
前記過去の映像を幾何変換する
請求項１に記載の映像修正装置。

【請求項3】

前記映像記録部は、
制御信号に応じて、前記所定の時間だけ遡った前記過去の映像を出力し、
前記構図記録部は、
制御信号に応じて、前記所定の時間だけ遡った前記過去の構図データを出力する
請求項２に記載の映像修正装置。

【請求項4】

切替信号に応じて、前記映像、又は前記幾何変換された映像のうちの何れか一方を、前記映像表示部に出力する切替部を有する
請求項２、又は３に記載の映像修正装置。

【請求項5】

前記幾何変換された映像、前記第１映像、又は前記第２映像の少なくとも何れか１つを記録する修正映像記録部と、
前記検出部による現在の姿勢を記録する修正姿勢記録部と、を備える
請求項１乃至４の何れか１項に記載の映像修正装置。

【請求項6】

映像が撮影された際のカメラの姿勢を示す構図データを検出する検出部により検出された現在の構図データと、
前記映像が撮影された各時点に対応付けて前記検出部により検出された構図データを記録する構図記録部に記録されている、当該各時点に対応付けられた過去の構図データと、に基づいて、
前記カメラで撮影された映像を記録する映像記録部に記録されている当該各時点の映像を幾何変換し、
映像表示部により、幾何変換された映像を表示させ、
映像切出部により、前記幾何変換された映像の少なくとも一部を切り出し、
前記映像表示部は、
前記映像切出部が予め定めたサイズに切り出した第１映像を表示させ、
前記映像切出部は、
前記第１映像に含まれ、且つ前記サイズより小さい第２映像を外部装置に出力する、
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像修正装置、及びプログラムに関する。

【背景技術】

【0002】

従来、ビデオカメラ（カメラ）により撮影された映像の構図を、撮影後に修正する技術が知られている。例えば、特許文献１には、撮影された映像に含まれる被写体、当該映像のフレーム間での動き、及び当該映像が撮影された際のカメラの姿勢等に基づいて切り出し枠を決定し、切り出し枠を用いて、撮影された映像から一部を切り出して新たな映像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６３１４３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、映像の構図が適切でない場合がある。本発明は、映像の構図を適切に修正できるようにすることを目的とする。

【課題を解決するための手段】

【0005】

本発明の一態様に係る映像修正装置は、カメラで撮影された映像を記録する映像記録部と、前記映像が撮影された際の前記カメラの姿勢を示す構図データを検出する検出部と、前記映像が撮影された各時点に対応付けて前記検出部により検出された構図データを記録する構図記録部と、前記検出部により検出された現在の構図データと、前記構図記録部により記録されている当該各時点に対応付けられた過去の構図データとに基づいて、前記映像記録部に記録されている当該各時点の過去の映像を幾何変換する画像幾何変換部と、前記画像幾何変換部により幾何変換された映像を表示させる映像表示部と、前記幾何変換された映像の少なくとも一部を切り出す映像切出部と、を備え、前記映像表示部は、前記映像切出部が予め定めたサイズに切り出した第１映像を表示させ、前記映像切出部は、前記第１映像に含まれ、且つ前記サイズより小さい第２映像を外部装置に出力する。

【発明の効果】

【0006】

本発明によれば、映像の構図を適切に修正できる。

【図面の簡単な説明】

【0007】

【図1】実施形態に係る映像修正装置の構成例を説明する図である。

【図2】実施形態に係る映像修正装置の構成例を示すブロック図である。

【図3】実施形態に係る映像修正装置のカメラワーク変更部の構成例のブロック図である。

【図4】撮影映像と表示映像と出力映像の関係を説明する図である。

【図5】構図変更過去映像と表示映像と出力映像の関係を説明する図である。

【図6】ビューファインダの表示画面に表示された表示映像の一例を説明する図である。

【図7】実施形態に係る映像修正装置のカメラワーク変更部による処理例を示す図である。

【図8】変形例に係る映像修正装置のカメラワーク変更部の構成例のブロック図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら本発明の実施形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0009】

実施形態では、カメラにより撮影され、記録部に記録された映像の構図を撮影後に修正する映像修正装置１について説明する。なお、実施形態の説明では、時刻ｔにおける映像（映像フレーム）を、この映像を表す記号の後に（ｔ）を付して示す。一例として、時刻ｔにおけるカメラ映像Ｑを、カメラ映像Ｑ（ｔ）として示す。

【0010】

実施形態では、現在のカメラの構図データと、すでに撮影されたカメラ映像に対応付けて記録されている過去の構図データとに基づいて、過去映像を幾何変換し、過去映像の構図を修正する。なお、当該構図データには、例えば、ユーザによるカメラの撮影操作に応じて変化するカメラのヨー角、ピッチ角、及びロール角の少なくとも１つを含む姿勢の情報が含まれる。

【0011】

＜装置の全体構成＞
まず、実施形態に係る映像修正装置１の全体構成を説明する。図１は、実施形態に係る映像修正装置１の構成の一例を説明する図である。図２は、映像修正装置１の構成例を示すブロック図であり、映像修正装置１は、カメラ２と、雲台３と、検出部４と、カメラワーク変更部５と、ビューファインダ６と、切替スイッチ７と、タリーライト８とを備えて構成され、雲台３は、さらにズームデマンド３１及びフォーカスデマンド３２を備える。

【0012】

雲台３に固定されたカメラ２は、被写体を撮影したカメラ映像を雲台３に設けたカメラワーク変更部５に出力する。また、カメラ２は、ビューファインダ６を備えている。

【0013】

雲台３は、三脚３３に姿勢を変化可能に取り付けられ、撮影操作に応じて姿勢が変化する機構部材である。雲台３の姿勢が変化することで、雲台３に固定されたカメラ２の姿勢が変化する。雲台３の姿勢は、雲台３に設けられた検出部４により検出される。

【0014】

撮影操作者は、ズームデマンド３１及びフォーカスデマンド３２を用いて、雲台３の姿勢を変化させ、カメラ２の姿勢を変化させることができる。

【0015】

検出部４は、撮影操作者がズームデマンド３１及びフォーカスデマンド３２を用いて行った撮影操作に応じたカメラ２の姿勢、又はズーム量の少なくとも何れか一方を検出する。カメラ２の姿勢とは、三脚３３に固定された座標系とカメラ２に固定された座標系との間の回転を規定するパラメータであって、例えば、回転行列、方向余弦、オイラー角、オイラーパラメータ（クォータニオン）などである。例えば、前記オイラー角による姿勢表現の一つとして、図１に矢印で示したＺ軸（パン軸）回りの回転角を示すヨー角と、Ｘ軸（チルト軸）回りの回転角を示すピッチ角と、Ｙ軸（ロール軸）回りの回転角を示すロール角とを含むものがある。検出部４は、撮影操作にかかるカメラ２の姿勢を決定するパラメータの少なくとも１つ（例えば、「ヨー角、ピッチ角、及びロール角の少なくとも１つ」）を検出し、映像の構図データとしてカメラワーク変更部５に出力する。ここで、映像の構図とは、映像の中の被写体の大きさや、位置及び角度の構成をいう。
カメラワーク変更部５は、検出部４が検出した現在の構図データと、過去映像に対応付けて記録されている過去の構図データとに基づき、過去映像に幾何変換画像処理を施すものである。そして、カメラワーク変更部５は、幾何変換処理が施された後の構図変更過去映像をビューファインダ６及び外部装置に出力する。

【0016】

映像表示部の一例としてのビューファインダ６は、カメラワーク変更部５から入力した構図変更過去映像を表示させる。

【0017】

撮影操作者は、ビューファインダ６に表示される構図変更過去映像を視認しながら、あたかも現実のカメラで撮影した映像を視認しているかのように、撮影操作で過去映像の構図を修正することができる。

【0018】

切替スイッチ７は、ズームデマンド３１に設けられたプッシュボタン等である。切替スイッチ７は、カメラワーク変更部５に含まれる切替器に接続される。撮影操作者により切替スイッチ７のプッシュボタンが押下されると切替器が作動し、ビューファインダ６に表示される映像が、カメラ２による撮影映像、又はカメラワーク変更部５による構図変更過去映像の何れか一方に切替る。

【0019】

切替スイッチ７として、テレビジョン放送の撮影等で用いられるリターンスイッチを使用してもよい。リターンスイッチは、放送用カメラのズームデマンド等に設けられ、カメラモニターに表示される映像を、カメラによる撮影映像、又はテレビ受像機に配信された後の映像の何れか一方に切り替えるものである。

【0020】

但し、切替スイッチ７はカメラ２の撮影操作者が押下するものに限定されるものではない。映像修正装置１から離れた位置に、撮影操作者以外の者が押下可能な切替スイッチ７を設けてもよい。この場合は、撮影操作者以外の者の判断により映像の切替が行われ、撮影操作者には映像が切り替わることが事前に通知される。

【0021】

また、切替信号は切替スイッチ７によるものに限定されず、映像修正装置１の撮影操作や、映像スイッチャ等の外部装置の切替操作に連動して切替信号が出力されるようにしてもよい。さらに、映像修正装置１に接続された外部装置で実行される人工知能等のプログラムが切替信号を制御するようにしてもよい。

【0022】

タリーライト８は、カメラ２に取り付けられ、カメラワーク変更部５に含まれる切替電気回路に電気的に接続された表示灯である。切替スイッチ７等による切替信号に応じて、タリーライト８は点灯する色を異ならせる。一例として、ビューファインダ６に表示される映像がカメラ２によるカメラ映像である場合、タリーライト８は赤色に点灯する。一方、ビューファインダ６に表示される映像が構図変更過去映像である場合、タリーライト８は黄色に点灯する。

【0023】

カメラ２の撮影操作者以外の者は、タリーライト８の点灯の色を視認し、ビューファインダ６に表示される映像がカメラ２によるカメラ映像か構図変更過去映像かを認識する。

【0024】

図２に戻って、実施形態に係る映像修正装置１の構成の説明を続ける。図２において、検出部４は、パンロータリエンコーダ４１と、チルトロータリエンコーダ４２と、ロールロータリエンコーダ４３と、ズーム量センサ４４とを備えるものである。

【0025】

パンロータリエンコーダ４１は、雲台３のパン軸回り（図１のＺ軸回り）の回転角（ヨー角）を検出する。また、チルトロータリエンコーダ４２は、雲台３のチルト軸回り（図１のＸ軸回り）の回転角（ピッチ角）を検出し、ロールロータリエンコーダ４３は、雲台３のロール軸回り（図１のＹ軸回り）の回転角（ロール角）を検出する。これらの検出値はカメラワーク変更部５に出力される。

【0026】

＜カメラワーク変更部５の機能構成＞
次に、図３は、実施形態に係るカメラワーク変更部５のブロック図である。図３に示すように、カメラワーク変更部５は、映像記録部１０１と、構図記録部１０２と、画像幾何変換部１０３と、切替部１０４と、映像切出部１０５とを備える。

【0027】

カメラワーク変更部５はコンピュータにより構築され、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、切替電気回路、各種の入出力Ｉ／Ｆ（Interface）等を備える。ＣＰＵが、ＲＡＭをワークエリア（作業領域）として、ＲＯＭに格納された所定のプログラムを実行すること等により、後述するカメラワーク変更部５の各機能ブロックが実現される。なお、ＣＰＵで行う処理の一部、又は全部を、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等のワイヤードロジックによるハードウェアで実現してもよい。

【0028】

カメラワーク変更部５は、映像記録部１０１と、構図記録部１０２と、画像幾何変換部１０３と、切替部１０４と、映像切出部１０５とを備える。

【0029】

カメラワーク変更部５は検出部４に備えた検出用Ｉ／Ｆを介して検出部４に電気的に接続され、検出部４により検出されたカメラ２の構図データを入力する。また、カメラワーク変更部５は、雲台３に備えたカメラ用Ｉ／Ｆを介してカメラ２に電気的に接続され、カメラ２によるカメラ映像を入力する。

【0030】

カメラワーク変更部５に含まれる切替部１０４は、検出部４に備えた信号入力用Ｉ／Ｆを介して切替スイッチ７に電気的に接続され、切替スイッチ７による切替信号を入力する。切替部１０４は、切替信号に応じて切替器を作動させ、ビューファインダ６に表示される映像を切替える。

【0031】

また、カメラワーク変更部５は、信号入力用Ｉ／Ｆを介してＰＣ（Personal Computer）等の外部装置に電気的に接続され、現在時刻から遡った遡及時間を示す制御信号を外部装置から入力する。さらに、カメラ２によるカメラ映像、又は構図変更過去映像の何れか一方を外部装置に出力することができる。なお、画像幾何変換部１０３、及び映像切出部１０５は、ＣＰＵが所定のプログラムを実行すること等により実現される。

【0032】

映像記録部１０１は、カメラ２によるカメラ映像Ｑ（ｔ）を入力し、カメラ映像Ｑ（ｔ）を時々刻々と記録する。なお、映像記録部１０１は、カメラ２による撮影の間にカメラ映像を常時記録するようにすると、映像記録部１０１からのカメラ映像の読み出しが容易になるため、好適である。

【0033】

映像記録部１０１は、遡及時間ｕを示す制御信号に応じて、現在の時刻ｔから遡及時間ｕだけ遡った過去の時刻ｔ－ｕにおける過去映像Ｑ（ｔ－ｕ）を画像幾何変換部１０３に出力する。ここで、遡及時間ｕは「所定の時間」の一例である。

【0034】

構図記録部１０２は、カメラ映像Ｑ（ｔ）の撮影時に検出部４が検出した構図データＡ（ｔ）をカメラ映像Ｑ（ｔ）に同期して時々刻々と記録する。

【0035】

構図記録部１０２は、遡及時間ｕを示す制御信号に応じて、現在の時刻ｔから遡及時間ｕだけ遡った過去の時刻ｔ－ｕにおける過去構図データＡ（ｔ―ｕ）を画像幾何変換部１０３に出力する。

【0036】

なお、映像記録部１０１がカメラ映像Ｑ（ｔ）と共にタイムコードを記録し、また、構図記録部１０２が構図データＡ（ｔ）と共にタイムコードを記録する場合、制御信号としてタイムコードを示す信号を用いてもよい。遡及時間ｕには、数秒や数分、数時間、数日等のさまざまな長さの単位の時間を設定できる。

【0037】

カメラ２の撮影操作者以外の者が、映像修正装置１から離れた位置に設けられた切替スイッチ７を押下する場合、撮影操作者以外の者が外部装置を操作して遡及時間ｕを制御できる。この場合、遡及時間ｕと切替スイッチ７による切替のタイミングは、撮影操作者以外の者により判断される。

【0038】

画像幾何変換部１０３は、構図データＡ（ｔ）と、過去構図データＡ（ｔ－ｕ）とに基づき、過去映像Ｑ（ｔ－ｕ）に対して幾何変換画像処理を実行するものである。以下、画像幾何変換部１０３による幾何変換画像処理の詳細を説明する。

【0039】

構図データＡ（ｔ）及び過去構図データＡ（ｔ－ｕ）は、上述したように、雲台３の姿勢とカメラ２の撮影画角の情報を含む。例えば、姿勢は、オイラー角、オイラーパラメータ、回転行列である姿勢変換行列等を用いて表現される。また、オイラー角を用いる場合には、パン角（アジマス角、ヨー角、又は方位角）、チルト角（エレベーション角、ピッチ角、又は仰角）、及びロール角といったパラメータが用いられる。一方、撮影画角に関する情報は、角度や焦点距離等により表現される。

【0040】

さらに、雲台３の姿勢とカメラ２の撮影画角の情報を併せ、予め定められた所定の基準姿勢と基準撮影画角におけるカメラ映像を射影変換するホモグラフィ行列により構図データを表現してもよい。

【0041】

本実施形態では、構図データを３行３列のホモグラフィ行列により表現するものとする。つまり、基準姿勢と基準撮影画角におけるカメラ映像をＱ_０（ｔ）とし、カメラ映像Ｑ_０（ｔ）の画素位置［ｘ_０、ｙ_０］^Ｔを、構図データＡ（ｔ）及び過去構図データＡ（ｔ－ｕ）におけるカメラ映像Ｑ（ｔ）の画素位置［ｘ、ｙ］^Ｔに射影変換するホモグラフィ行列により、構図データＡ（ｔ）及び過去構図データＡ（ｔ－ｕ）を表現する。なお、上記の上付き文字^Ｔは転置行列を意味している。

【0042】

以下の（１）式は、カメラ映像Ｑ_０（ｔ）の画素位置［ｘ_０、ｙ_０］^Ｔをカメラ映像Ｑ（ｔ）の画素位置［ｘ、ｙ］^Ｔに射影変換するための変換式を示している。

【0043】

【数1】

【0044】

但し、（１）式において、σはスケールを表す定数である。

【0045】

画像幾何変換部１０３は、現在の時刻ｔから遡及時間ｕだけ遡った過去の時刻ｔ－ｕにおける過去映像Ｑ（ｔ－ｕ）を映像記録部１０１から入力する。また、過去の時刻ｔ－ｕにおける過去構図データＡ（ｔ－ｕ）を構図記録部１０２から入力し、現在の時刻ｔに検出部４が検出した構図データＡ（ｔ）を検出部４から入力する。画像幾何変換部１０３は、これらを用い、以下の（２）式により、構図変更過去映像Ｊ（ｔ－ｕ）を算出する。

【0046】

【数2】

【0047】

但し、（２）式において、ｓはスケールを表す定数である。ここで、（２）式の射影変換は、「幾何変換」の一例である。

【0048】

画像幾何変換部１０３は、構図変更過去映像Ｊ（ｔ－ｕ）を切替部１０４に出力する。

【0049】

切替部１０４は、切替器により実現され、切替スイッチ７から入力した切替信号に応じて、カメラ２によるカメラ映像、又は構図変更過去映像のうちの何れか一方を、映像切出部１０５に出力する。

【0050】

より詳しくは、切替部１０４は、カメラ２によるカメラ映像Ｑ（ｔ）を入力し、また、画像幾何変換部１０３から構図変更過去映像Ｊ（ｔ－ｕ）を入力する。そして、切替スイッチ７から入力した切替信号ｋに応じて、出力モードを撮影モード（ｋ＝０）、又は修正モード（ｋ＝１）の何れか一方に切り替える。

【0051】

出力モードが撮影モードである場合、切替部１０４は、選択映像Ｋ（ｔ）としてカメラ映像Ｑ（ｔ）を、映像切出部１０５に出力する。一方、出力モードが修正モードである場合、切替部１０４は、選択映像Ｋ（ｔ）として、構図変更過去映像Ｊ（ｔ－ｕ）を、映像切出部１０５に出力する。以下の（３）式は、切替信号ｋに応じて切替部１０４が出力する選択映像Ｋ（ｔ）を示している。

【0052】

【数3】

【0053】

映像切出部１０５は、出力モードが撮影モードである場合、カメラ映像Ｑ（ｔ）の少なくとも一部を切り出す画像処理を実行する。そして、切り出した映像をビューファインダ６に表示させる表示映像Ｖ（ｔ）として、ビューファインダ６に出力する。また、切り出した映像を外部装置に出力する出力映像Ｕ（ｔ）として、映像送信装置等の外部装置に出力する。

【0054】

また、映像切出部１０５は、出力モードが修正モードである場合、構図変更過去映像Ｊ（ｔ－ｕ）の少なくとも一部を切り出す画像処理を実行する。そして、切り出した映像をビューファインダ６に表示させる表示映像Ｖ（ｔ－ｕ）として、ビューファインダ６に出力する。また、切り出した映像を外部装置に出力する出力映像Ｕ（ｔ－ｕ）として、外部装置に出力する。

【0055】

ここで、表示映像Ｖ（ｔ－ｕ）と出力映像Ｕ（ｔ－ｕ）のサイズ（切出範囲）は、同じであってもよいし、異なっていてもよい。但し、出力映像Ｕ（ｔ－ｕ）が表示映像Ｖ（ｔ－ｕ）に含まれ、また、表示映像Ｖ（ｔ－ｕ）より小さいサイズの映像になるように、選択映像Ｋ（ｔ）から出力映像Ｕ（ｔ－ｕ）を切り出すと、より好適である。この場合、出力映像Ｕ（ｔ－ｕ）は表示映像Ｖ（ｔ－ｕ）よりサイズが小さいため、表示映像Ｖ（ｔ－ｕ）内の一部の範囲が切出されることになる。そのため、カメラ２の撮影操作者は、表示映像Ｖ（ｔ－ｕ）を視認しながら、表示映像Ｖ（ｔ－ｕ）内の所望の範囲を撮影操作で切出すことができる。

【0056】

つまり、表示映像Ｖ（ｔ－ｕ）内で出力映像Ｕ（ｔ－ｕ）の範囲を選択する余裕（のり代）ができる。この余裕がないと、撮影操作に応じて表示映像Ｖ（ｔ－ｕ）に無効領域が含まれた場合に、無効領域がそのまま含まれた出力映像Ｕ（ｔ－ｕ）が出力される。これに対し、余裕を持たせることで無効領域が含まれないように出力映像Ｕ（ｔ－ｕ）の範囲を選択することが可能になる。ここで、表示映像Ｖ（ｔ－ｕ）は「第１映像」の一例であり、出力映像Ｕ（ｔ－ｕ）は「第２映像」の一例である。

【0057】

なお、上述した例では、修正モードにおける表示映像Ｖ（ｔ－ｕ）と出力映像Ｕ（ｔ－ｕ）のサイズについて述べたが、撮影モードにおける表示映像Ｖ（ｔ）と出力映像Ｕ（ｔ）のサイズにおいても同様である。

【0058】

ビューファインダ６は、映像切出部１０５から入力した表示映像Ｖ（ｔ）又はＶ（ｔ－ｕ）を表示させる。

【0059】

＜カメラワーク変更部５の映像処理の具体例＞
次に、カメラワーク変更部５の映像処理の具体例について説明する。まず、図４～図６を参照して、カメラ映像Ｑ（ｔ）、表示映像Ｖ（ｔ）、出力映像Ｕ（ｔ）、過去映像Ｑ（ｔ－ｕ）、構図変更過去映像Ｊ（ｔ－ｕ）、表示映像Ｖ（ｔ－ｕ）、及び出力映像Ｕ（ｔ－ｕ）の関係を説明する。ここで、図４～６は、競技場でサッカーの試合を撮影した場合を示す。

【0060】

図４は、カメラ映像Ｑ（ｔ）と、表示映像Ｖ（ｔ）と、出力映像Ｕ（ｔ）の関係の一例を説明する図である。図４において、カメラ映像Ｑ（ｔ）は、カメラ２により撮影された映像である。カメラ映像Ｑ（ｔ）は、映像記録部１０１に記録される。一例として、カメラ映像Ｑ（ｔ）は、横×縦が７６８０×４３２０画素の８Ｋ映像である。なお、図４のカメラ映像Ｑ（ｔ）を示したが、過去映像Ｑ（ｔ－ｕ）も、読み出される時刻を除いて、カメラ映像Ｑ（ｔ）と同様である。

【0061】

表示映像Ｖ（ｔ）は、ビューファインダ６に表示される映像である。図４に示すように、表示映像Ｖ（ｔ）は、カメラ映像Ｑ（ｔ）の一部の範囲に該当する。但し、カメラ映像Ｑ（ｔ）の全部の範囲であってもよい。出力モードが撮影モード（ｋ＝０）の時に、選択映像Ｋ（ｔ）として、カメラ映像Ｑ（ｔ）が映像切出部１０５に出力される。映像切出部１０５は、選択映像Ｋ（ｔ）から表示映像Ｖ（ｔ）を切り出す。一例として、表示映像Ｖ（ｔ）は、横×縦が３８４０×２１６０画素の４Ｋ映像である。

【0062】

出力映像Ｕ（ｔ）は、外部装置に出力される映像である。図４に示すように、出力映像Ｕ（ｔ）は、表示映像Ｖ（ｔ）の一部の範囲に該当する。但し、表示映像Ｖ（ｔ）の全部の範囲であってもよい。出力モードが撮影モードの時に、選択映像Ｋ（ｔ）としてカメラ映像Ｑ（ｔ）が映像切出部１０５に出力される。映像切出部１０５は、選択映像Ｋ（ｔ）から出力映像Ｕ（ｔ）を切り出す。一例として、出力映像Ｕ（ｔ）は、横×縦が１９２０×１０８０画素の２Ｋ映像（ハイビジョン映像）である。

【0063】

なお、図４では、表示映像Ｖ（ｔ）を示す範囲を一点鎖線の四角形で示し、出力映像Ｕ（ｔ）を示す範囲を破線の四角形で示したが、これらの図形は、図４において映像の範囲を説明するためのものであり、映像に表示される図形ではない。

【0064】

図５は、構図変更過去映像Ｊ（ｔ－ｕ）と、表示映像Ｖ（ｔ－ｕ）と、出力映像Ｕ（ｔ－ｕ）の関係の一例を説明する図である。図５において、構図変更過去映像Ｊ（ｔ－ｕ）は、映像記録部１０１が出力した過去映像Ｑ（ｔ－ｕ）に対し、画像幾何変換部１０３が射影変換した後の映像である。構図変更過去映像Ｊ（ｔ－ｕ）は、横×縦が７６８０×４３２０画素の８Ｋ映像である。

【0065】

図５に示すように、射影変換により、構図変更過去映像Ｊ（ｔ－ｕ）内で、過去映像Ｑ（ｔ－ｕ）の位置及び傾きが変化している。構図変更過去映像Ｊ（ｔ－ｕ）内の有効領域５１は、射影変換された過去映像Ｑ（ｔ－ｕ）の一部の範囲に該当する。一方、格子ハッチングで示した無効領域５２は、射影変換により過去映像Ｑ（ｔ－ｕ）から外れた範囲（映像フレーム外の範囲）に該当する。なお、無効領域５２とは、画素輝度値が規定されない領域である。

【0066】

表示映像Ｖ（ｔ－ｕ）は、構図変更過去映像Ｊ（ｔ－ｕ）の一部、又は全部の範囲に該当する。出力モードが修正モード（ｋ＝１）の時に、選択映像Ｋ（ｔ）として、構図変更過去映像Ｊ（ｔ－ｕ）が映像切出部１０５に出力される。映像切出部１０５は、選択映像Ｋ（ｔ）から表示映像Ｖ（ｔ－ｕ）を切り出す。表示映像Ｖ（ｔ－ｕ）は横×縦が３８４０×２１６０画素の４Ｋ映像である。

【0067】

射影変換による過去映像Ｑ（ｔ－ｕ）の位置や傾きの変化に応じて、表示映像Ｖ（ｔ－ｕ）も位置や傾きが変化する。この射影変換は、上述したように、撮影操作に応じた姿勢等を検出部４が検出した構図データＡ（ｔ）と、構図記録部１０２が出力した過去構図データＡ（ｔ－ｕ）とに基づくものである。撮影操作者は、撮影操作に応じて変化する表示映像Ｖ（ｔ－ｕ）を、ビューファインダ６により視認しながら、映像の構図の修正を行うことができる。

【0068】

図５では、表示映像Ｖ（ｔ－ｕ）の一部に無効領域５２が含まれているが、撮影操作によって、表示映像Ｖ（ｔ－ｕ）に無効領域５２が含まれないようにすることができる。或いは、映像切出部１０５が無効領域５２を検知して、無効領域５２が含まれないように、構図変更過去映像Ｊ（ｔ－ｕ）における切出範囲を変えるようにしてもよい。

【0069】

出力映像Ｕ（ｔ－ｕ）は、表示映像Ｖ（ｔ－ｕ）の一部、又は全部の範囲に該当する。切替部１０４に入力される切替信号ｋ＝１の時に、選択映像Ｋ（ｔ）として、構図変更過去映像Ｊ（ｔ－ｕ）が映像切出部１０５に出力される。映像切出部１０５は、選択映像Ｋ（ｔ）から出力映像Ｕ（ｔ－ｕ）を切り出す。出力映像Ｕ（ｔ－ｕ）は、横×縦が１９２０×１０８０画素の２Ｋ映像である。

【0070】

この場合、撮影モード（ｋ＝０）の時の出力映像Ｕ（ｔ）の範囲が、修正モード（ｋ＝１）の時の出力映像Ｕ（ｔ－ｕ）の範囲を包含すると好適である。このようにすることで、撮影モードの時、すなわち無効領域が生じない時に、映像範囲全体を有効活用して解像感のある出力映像Ｕ（ｔ）を出力することができる。また一方で、修正モードの時、すなわち無効領域が存在し得る時に、無効領域が出力映像Ｕ（ｔ－ｕ）に生じにくくすることができる。

【0071】

なお、図４と同様に、図５では表示映像Ｖ（ｔ－ｕ）を示す範囲を一点鎖線の四角形で示し、出力映像Ｕ（ｔ－ｕ）を示す範囲を破線の四角形で示したが、これらの図形は、図５において映像の範囲を説明するためのものであり、映像に表示される図形ではない。

【0072】

次に、図６は、ビューファインダ６の表示画面６ａに表示された表示映像Ｖ（ｔ－ｕ）の一例を説明する図である。図６に示すように、表示画面６ａ内に、表示映像Ｖ（ｔ－ｕ）が表示されている。図６における表示映像Ｖ（ｔ－ｕ）は、図５における表示映像Ｖ（ｔ－ｕ）を切出して示したものである。撮影操作者はビューファインダ６により、図６に示すような表示映像Ｖ（ｔ－ｕ）を視認することができる。

【0073】

図６に示すように、出力映像Ｕ（ｔ－ｕ）は表示映像Ｖ（ｔ－ｕ）内に含まれている。ビューファインダ６の表示画面６ａに、出力映像Ｕ（ｔ－ｕ）の範囲を示すマーカーを表示させてもよい。図６に破線で示した四角形は、このようなマーカーを示している。マーカーを表示させることで、撮影操作者は表示映像Ｖ（ｔ－ｕ）内での出力映像Ｕ（ｔ－ｕ）の範囲を認識しながら撮影操作を行うことができ、映像の構図をより修正し易くなる。

【0074】

マーカーを表示した映像を表示映像Ｖ（ｔ－ｕ）に重畳させて撮影操作者に視認させてもよいし、ビューファインダ６の表示画面６ａに印刷やエッチングで形成して視認させてもよい。また、表示画面６ａに被せる透明又は半透明の板に、印刷またはエッチングでマーカーを形成してもよいし、表示画面６ａにマーカーを光学的に投影してもよい。また、表示画面６ａに透過型ディスプレイを被せ、透過型ディスプレイにマーカーを表示させてもよい。

【0075】

一方、図６に示すように、撮影操作によっては、表示映像Ｖ（ｔ－ｕ）に無効領域６１が含まれる場合がある。この場合は、無効領域６１に、無効領域警告を表示させることが好適である。ここで、無効領域警告とは、無効領域が表示映像Ｖ（ｔ－ｕ）に含まれることを撮影操作者に認識させるために、表示映像Ｖ（ｔ－ｕ）に表示させた警告表示をいう。一例として、無効領域警告は、表示映像Ｖ（ｔ－ｕ）に含まれる無効領域６１を所定の色又は輝度のべた塗りで塗り潰した表示である。或いは、ハッチングや市松格子模様等の幾何学的なパターン、又は点滅や所定パターンの移動等による時間的に変化するパターンを表示するものであってもよい。無効領域警告を表示させることで、撮影操作者は、表示映像Ｖ（ｔ－ｕ）に無効領域６１が含まれていることを、より認識し易くなる。

【0076】

＜カメラワーク変更部５の動作＞
次に、カメラワーク変更部５の動作について説明する。図７は、カメラワーク変更部５による処理の一例を示すフローチャートである。

【0077】

まず、ステップＳ７１において、映像記録部１０１及び構図記録部１０２のそれぞれは、遡及時間ｕを示す制御信号を入力する。

【0078】

続いて、ステップＳ７２において、映像記録部１０１は、カメラ２によるカメラ映像Ｑ（ｔ）を入力する。

【0079】

続いて、ステップＳ７３において、映像記録部１０１は、入力したカメラ映像Ｑ（ｔ）を時々刻々と記録する。

【0080】

続いて、ステップＳ７４において、構図記録部１０２は、検出部４による構図データＡ（ｔ）を入力する。

【0081】

続いて、ステップＳ７５において、構図記録部１０２は、入力した構図データＡ（ｔ）を、カメラ映像Ｑ（ｔ）の記録に同期して時々刻々と記録する。

【0082】

続いて、ステップＳ７６において、映像記録部１０１は、現在の時刻ｔから遡及時間ｕだけ遡った過去の時刻ｔ－ｕにおける過去映像Ｑ（ｔ－ｕ）を画像幾何変換部１０３に出力する。

【0083】

続いて、ステップＳ７７において、構図記録部１０２は、現在の時刻ｔから遡及時間ｕだけ遡った過去の時刻ｔ－ｕにおける過去構図データＡ（ｔ―ｕ）を画像幾何変換部１０３に出力する。

【0084】

ここで、ステップＳ７２～Ｓ７３の処理と、ステップＳ７４～Ｓ７５の処理は、適宜順番を入れ替えても良い。また、ステップＳ７２～Ｓ７３の処理と、ステップＳ７４～Ｓ７５の処理とが並行して行われてもよい。同様に、ステップＳ７６の処理と、ステップＳ７７の処理は、適宜順番を入れ替えても良く、ステップＳ７６の処理と、ステップＳ７７の処理とが並行して行われてもよい。

【0085】

続いて、ステップＳ７８において、画像幾何変換部１０３は、検出部４から入力した構図データＡ（ｔ）と、構図記録部１０２から入力した過去構図データＡ（ｔ－ｕ）とに基づき、映像記録部１０１から入力した過去映像Ｑ（ｔ－ｕ）を射影変換する。そして、画像幾何変換部１０３は、処理後の構図変更過去映像Ｊ（ｔ－ｕ）を切替部１０４に出力する。

【0086】

続いて、ステップＳ７９において、切替部１０４は、切替スイッチ７から入力した切替信号ｋに応じて、出力モードを撮影モード（ｋ＝０）、又は修正モード（ｋ＝１）の何れか一方に切り替える。

【0087】

ステップＳ７９で、出力モードが修正モードである場合（ステップＳ７９、Ｙｅｓ）、切替部１０４は、選択映像Ｋ（ｔ）として構図変更過去映像Ｊ（ｔ－ｕ）を映像切出部１０５に出力し、ステップＳ８０に移行する。

【0088】

ステップＳ８０において、映像切出部１０５は、切替部１０４から入力した構図変更過去映像Ｊ（ｔ－ｕ）の少なくとも一部を切り出す画像処理を実行する。そして、構図変更過去映像Ｊ（ｔ－ｕ）から切りした表示映像Ｖ（ｔ－ｕ）をビューファインダ６に出力し、構図変更過去映像Ｊ（ｔ－ｕ）から切出した出力映像Ｕ（ｔ－ｕ）を外部装置に出力する。

【0089】

続いて、ステップＳ８１において、ビューファインダ６は、表示映像Ｖ（ｔ－ｕ）を表示させる。

【0090】

続いて、ステップＳ８２において、映像切出部１０５は、出力映像Ｕ（ｔ－ｕ）を外部装置に出力する。

【0091】

一方、ステップＳ７９で、出力モードが修正モードでない場合（ステップＳ７９、Ｎｏ）、切替部１０４は、選択映像Ｋ（ｔ）としてカメラ映像Ｑ（ｔ）を映像切出部１０５に出力し、ステップＳ８３に移行する。

【0092】

ステップＳ８３において、映像切出部１０５は、切替部１０４から入力したカメラ映像Ｑ（ｔ）の少なくとも一部を切り出す画像処理を実行する。そして、カメラ映像Ｑ（ｔ）から切り出した表示映像Ｖ（ｔ）をビューファインダ６に出力し、カメラ映像Ｑ（ｔ）から切出した出力映像Ｕ（ｔ）を外部装置に出力する。

【0093】

続いて、ステップＳ８４において、ビューファインダ６は、表示映像Ｖ（ｔ）を表示させる。

【0094】

続いて、ステップＳ８５において、映像切出部１０５は、出力映像Ｕ（ｔ）を外部装置に出力する。

【0095】

このようにして、映像修正装置１は、カメラにより撮影され、記録部に記録された映像の構図を、撮影後に修正することができる。

【0096】

＜カメラワーク変更部５の作用効果＞
以上説明してきたように、本実施形態では、映像記録部１０１が出力した過去映像Ｑ（ｔ－ｕ）が撮影された際の過去構図データＡ（ｔ－ｕ）と、検出部４により検出された現在の構図データＡ（ｔ）とに基づき、過去映像Ｑ（ｔ－ｕ）を射影変換する。そして、構図変更過去映像Ｊ（ｔ）をビューファインダ６に表示させる。カメラ２の撮影操作者は、構図変更過去映像Ｊ（ｔ）の一部を切り出した表示映像Ｖ（ｔ－ｕ）をビューファインダ６で視認しながら撮影操作を行えるため、あたかも現実のカメラにより撮影操作を行っているような操作感覚で、過去映像Ｑ（ｔ－ｕ）の構図を修正することができる。また、過去構図データＡ（ｔ－ｕ）に対する現在の構図データＡ（ｔ）の変化から、過去映像Ｑ（ｔ－ｕ）の構図を修正するため、過去の時刻ｔ－ｕにおける過去映像Ｑ（ｔ－ｕ）（プレイバック映像）の構図を、より正確に修正することができる。これらにより、カメラ２の撮影操作者の意図を、映像の構図の修正に適切に反映させることができる。

【0097】

また、本実施形態では、カメラ２によるカメラ映像Ｑ（ｔ）を映像記録部１０１に記録し、カメラ映像Ｑ（ｔ）が撮影された際の構図データＡ（ｔ）を構図記録部１０２に記録する。そして、過去の時刻ｔ－ｕにおける過去映像Ｑ（ｔ－ｕ）及び過去構図データＡ（ｔ－ｕ）を読み出し、過去構図データＡ（ｔ－ｕ）と、構図データＡ（ｔ）とに基づいて、過去映像Ｑ（ｔ－ｕ）を射影変換する。これにより、カメラ２によるカメラ映像Ｑ（ｔ）を記録しながら、カメラ２の撮影操作者は、過去映像Ｑ（ｔ－ｕ）の構図を修正することができる。

【0098】

一例として、カメラ２の撮影操作者がスポーツ競技等の撮影を行う場合において、遡及時間ｕを５秒とすると、カメラ２の撮影操作者は、現実のシーンを目にしながら５秒前の過去映像Ｑ（ｔ－５）の構図を修正することができる。そのため、競技者や競技で使用されるボールが動く方向を現実のシーンを視認して事前準備したうえで、競技者やボールが映像内に含まれるように、過去映像Ｑ（ｔ－５）の構図を修正することができる。これにより、競技者やボールを映像から外すことなく、競技の中で重要となる決定的なシーンを画角に収めることが可能となる。

【0099】

また、本実施形態では、画像幾何変換部１０３による構図変更過去映像Ｊ（ｔ－ｕ）の少なくとも一部を切り出す画像処理を実行し、ビューファインダ６は、所定サイズの表示映像Ｖ（ｔ－ｕ）を表示させ、映像切出部１０５は、表示映像Ｖ（ｔ－ｕ）に含まれ、且つ所定サイズより小さい出力映像Ｕ（ｔ－ｕ）を出力する。

【0100】

出力映像Ｕ（ｔ－ｕ）は表示映像Ｖ（ｔ－ｕ）よりサイズが小さいため、表示映像Ｖ（ｔ－ｕ）内の一部の範囲が切出されることになる。そのため、撮影操作者は、表示映像Ｖ（ｔ－ｕ）を視認しながら、表示映像Ｖ（ｔ－ｕ）内の所望の範囲を選択して切出すことができる。つまり、表示映像Ｖ（ｔ－ｕ）内で出力映像Ｕ（ｔ－ｕ）の範囲を選択する余裕ができ、撮影操作に応じて表示映像Ｖ（ｔ－ｕ）に無効領域が含まれた場合でも、この無効領域が含まれないように出力映像Ｕ（ｔ－ｕ）の範囲を選択することが可能になる。

【0101】

さらに、本実施形態では、カメラによるカメラ映像Ｑ（ｔ）、又は構図変更過去映像Ｊ（ｔ－ｕ）のうちの何れか一方を出力する切替部１０４を備え、また、遡及時間ｕを示す制御信号を入力する。これにより、現在のカメラ映像Ｑ（ｔ）と、映像の構図が修正された構図変更過去映像Ｊ（ｔ－ｕ）の表示及び出力を適宜変更でき、また、遡及時間ｕを適宜変更することができる。

【0102】

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。以下において、変形例を説明する。

【0103】

（変形例）
変形例に係る映像修正装置１ａについて説明する。なお、既に説明した実施形態と同一構成部分についての説明は省略する。

【0104】

図８は、変形例に係る映像修正装置１ａの備えるカメラワーク変更部５ａ（コンピュータ）の構成の一例を概念的な機能ブロックで示す図である。図８に示すように、カメラワーク変更部５ａは、映像記録部１０１ａと、構図記録部１０２ａと、画像幾何変換部１０３ａとを備える。

【0105】

画像幾何変換部１０３ａは、入力した構図データＡ（ｔ）及び過去構図データＡ（ｔ－ｕ）に基づき、過去映像Ｑ（ｔ－ｕ）を射影変換する。そして構図変更過去映像Ｊ（ｔ－ｕ）を、切替部１０４及び映像記録部１０１ａに出力し、また、過去構図データＡ（ｔ－ｕ）を構図記録部１０２ａに出力する。

【0106】

「修正映像記録部」の一例としての映像記録部１０１ａは、構図変更過去映像Ｊ（ｔ－ｕ）を記録する。また、「修正姿勢記録部」の一例としての構図記録部１０２ａは、画像幾何変換部１０３ａから入力した過去構図データＡ（ｔ－ｕ）を記録する。

【0107】

このように、本変形例では、映像記録部１０１ａと、構図記録部１０２ａと、画像幾何変換部１０３ａとを備えることで、映像の構図が修正された構図変更過去映像Ｊ（ｔ－ｕ）及び過去構図データＡ（ｔ－ｕ）を記録し、保存することができる。この場合、カメラ映像Ｑ（ｔ）に上書きするように構図変更過去映像Ｊ（ｔ－ｕ）を記録し、構図データＡ（ｔ）に上書きするように過去構図データＡ（ｔ－ｕ）を記録すると、記憶装置の記憶容量を削減できるため、好適である。

【0108】

また、上述した例では、構図変更過去映像Ｊ（ｔ－ｕ）を映像記録部１０１ａが記録するものを説明したが、映像記録部１０１ａは、映像切出部１０５が出力した表示映像Ｖ（ｔ－ｕ）、又は出力映像Ｕ（ｔ－ｕ）を記録してもよい。換言すると、映像記録部１０１ａは、構図変更過去映像Ｊ（ｔ－ｕ）、表示映像Ｖ（ｔ－ｕ）、又は出力映像Ｕ（ｔ－ｕ）の少なくとも何れか１つを記録することができる。

【0109】

以上、変形例について説明したが、上述したもの以外にも、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した実施形態、変形例の一部又は全部を組み合わせることも可能である。

【0110】

なお、実施形態では、映像記録部１０１及び構図記録部１０２を映像修正装置１が備える例を示したが、これらの記録部は映像修正装置１の外部に設けられていてもよい。映像修正装置１の外部の装置として、クラウドストレージサーバ等が挙げられる。

【0111】

また実施形態は、プログラムも含む。プログラムは、映像が撮影された際のカメラの姿勢を示す構図データを検出する検出部により検出された現在の構図データと、前記映像が撮影された各時点に対応付けて前記検出部により検出された構図データを記録する構図記録部に記録されている、当該各時点に対応付けられた過去の構図データと、に基づいて、前記カメラで撮影された映像を記録する映像記録部に記録されている当該各時点の映像を、幾何変換し、幾何変換された映像を表示させる、処理をコンピュータに実行させる。このようなプログラムにより、上述した映像修正装置と同様の効果を得ることができる。

【符号の説明】

【0112】

１ 映像修正装置
２ カメラ
３ 雲台
３１ ズームデマンド
３２ フォーカスデマンド
３３ 三脚
４ 検出部
４１ パンロータリエンコーダ
４２ チルトロータリエンコーダ
４３ ロールロータリエンコーダ
４４ ズーム量センサ
５ カメラワーク変更部
６ ビューファインダ（映像表示部の一例）
７ 切替スイッチ
８ タリーライト
１０１ 映像記録部
１０１ａ 映像記録部（修正映像記録部の一例）
１０２ 構図記録部
１０２ａ 構図記録部（修正姿勢記録部の一例）
１０３ 画像幾何変換部
１０４ 切替部
１０５ 映像切出部
Ｑ（ｔ） カメラ映像
Ｑ（ｔ－ｕ） 過去映像
Ｊ（ｔ－ｕ）構図変更過去映像
Ｖ（ｔ）、Ｖ（ｔ－ｕ） 表示映像（第１映像の一例）
Ｕ（ｔ）、Ｕ（ｔ－ｕ） 出力映像（第２映像の一例）
Ａ（ｔ） 構図データ
Ａ（ｔ－ｕ） 過去構図データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】