特許 6073187 背景画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073187

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】背景画像生成装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170123BHJP

   G03B 15/00 20060101ALI20170123BHJP

   G06T 5/50 20060101ALI20170123BHJP

   H04N 5/222 20060101ALI20170123BHJP

   H04N 5/232 20060101ALI20170123BHJP

【ＦＩ】

   H04N5/225 Z

   G03B15/00 H

   G06T5/50

   H04N5/222 Z

   H04N5/232 A

   H04N5/232 Z

【請求項の数】4

【全頁数】16

(21)【出願番号】特願2013-109484(P2013-109484)

(22)【出願日】2013年5月24日

(65)【公開番号】特開2014-230180(P2014-230180A)

(43)【公開日】2014年12月8日

【審査請求日】2016年3月30日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(73)【特許権者】

【識別番号】591053926

【氏名又は名称】一般財団法人ＮＨＫエンジニアリングシステム

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】加藤 大一郎

(72)【発明者】

【氏名】武藤 一利

(72)【発明者】

【氏名】藤井 真人

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２００８−２８１３８５（ＪＰ，Ａ）

【文献】 特開２０１０−１６６２１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

被写体を撮影する基準カメラと、
前記基準カメラを中心とした同一円の円周上に配置され、前記基準カメラと異なる位置から、前記基準カメラから見て前記被写体に隠された背景部分を撮影する４台以上の補助カメラと、
前記基準カメラが撮影した基準画像と、前記補助カメラが撮影した補助画像とを用いて、前記被写体が削除された背景画像を生成する演算手段と、を備える背景画像生成装置であって、
前記演算手段は、
前記補助画像を、前記基準画像と同一の仮想平面上に射影変換する補助画像変換手段と、
前記基準画像で前記被写体に隠された背景部分を、前記補助画像変換手段で射影変換された補助画像の背景部分で補完することで、前記背景画像を生成する背景画像生成手段と、
を備えることを特徴とする背景画像生成装置。

【請求項2】

前記基準カメラの上下左右に前記補助カメラが１台ずつ配置され、
前記補助カメラは、前記同一円の径方向に移動可能であると共に、前記同一円の径に沿って光軸方向を変更可能であり、
前記被写体から前記基準カメラまでの距離と、前記被写体のサイズとに基づいて、前記基準カメラから前記補助カメラまでの距離が４台の前記補助カメラで等しくなるように、前記補助カメラの位置を制御する位置制御手段と、
前記被写体から前記基準カメラまでの距離と、前記被写体のサイズとに基づいて、４台の前記補助カメラの光軸方向制御量が等しくなるように、前記補助カメラの光軸方向を制御する光軸方向制御手段と、
をさらに備えることを特徴とする請求項１に記載の背景画像生成装置。

【請求項3】

前記基準カメラのフォーカス位置に合焦するように、前記補助カメラのフォーカスを制御するフォーカス制御手段と、
前記基準カメラと同一画角になるように、前記補助カメラのズームを制御するズーム制御手段と、
をさらに備えることを特徴とする請求項１又は請求項２に記載の背景画像生成装置。

【請求項4】

前記基準カメラが前記基準画像を撮影するタイミングと、前記補助カメラが前記補助画像を撮影するタイミングとを同期させるカメラ同期手段、
をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の背景画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、被写体に隠された背景部分を補完して、背景画像を生成する背景画像生成装置に関する。

【背景技術】

【0002】

テレビジョン番組制作や映画制作では、デジタル技術を駆使した映像加工や映像合成が頻繁に行われている。特にＶＦＸ（Visual special effect）制作では、高度なＣＧ合成や多重合成を行うため、前景と背景とを別々で扱うことが多い。例えば、ポストプロダクション担当者は、クロマキー処理により前景と背景とを分離することで、様々な演出効果が付加された映像を生成する。

【0003】

近年、デジタル放送の開始に伴い大画面化が進む中、視聴者から、高い完成度の映像が要求されている。一方、前記したクロマキー処理では、手作業により、被写体のエッジ情報を高い精度で生成する必要があり、視聴者の要求を満たすため、その作業負担が増大してきている。

【0004】

そこで、従来から、ステレオカメラを利用した映像合成手法が提案されている（非特許文献１）。この非特許文献１に記載の技術は、イメージモザイキングとＳｐａｃｅＳｗｅｅｐ法とを併用し、ステレオ画像から距離情報を推定するものである。そして、非特許文献１に記載の技術では、推定した距離情報に基づいて、前景を正しい距離で合成する。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】遠山他、「マルチカメラによる講義画像の自動合成に関する研究」、http://www.vision.cs.chubu.ac.jp/FLABResearchArchive/Master/M05/Abstract/sei.pdf

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、非特許文献１に記載の技術は、前景の合成を目的としており、前景に隠された背景部分を欠損なく取得することが困難である。ここで、背景部分を欠損なく取得できれば、映像素材として背景部分の二次活用が可能となり、効率的な映像制作に寄与する。

【0007】

そこで、本願発明は、背景部分の欠損がない背景画像を生成できる背景画像生成装置を提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本願第１発明に係る背景画像生成装置は、被写体を撮影する基準カメラと、基準カメラを中心とした同一円の円周上に配置され、基準カメラと異なる位置から、基準カメラから見て被写体に隠された背景部分を撮影する４台以上の補助カメラと、基準カメラが撮影した基準画像と、補助カメラが撮影した補助画像とを用いて、被写体が削除された背景画像を生成する演算手段と、を備える背景画像生成装置であって、演算手段が、補助画像変換手段と、背景画像生成手段と、を備えることを特徴とする。

【0009】

ここで、基準カメラ及び補助カメラの位置が異なるため、基準画像及び補助画像の画像座標系も異なってしまう。このため、背景画像生成装置は、補助画像変換手段によって、補助画像を基準画像と同一の仮想平面上に射影変換し、補助画像の画像座標系を基準画像の画像座標系に合わせる。

【0010】

そして、背景画像生成装置は、背景画像生成手段によって、基準画像で被写体に隠された背景部分を、補助画像変換手段で射影変換された補助画像の背景部分で補完することで、背景画像を生成する。

【0011】

また、本願第２発明に係る背景画像生成装置は、基準カメラの上下左右に補助カメラが１台ずつ配置され、補助カメラは、同一円の径方向に移動可能であると共に、同一円の径に沿って光軸方向を変更可能であり、被写体から基準カメラまでの距離と、被写体のサイズとに基づいて、基準カメラから補助カメラまでの距離が４台の補助カメラで等しくなるように、補助カメラの位置を制御する位置制御手段と、被写体から基準カメラまでの距離と、被写体のサイズとに基づいて、４台の補助カメラの光軸方向制御量が等しくなるように、補助カメラの光軸方向を制御する光軸方向制御手段と、をさらに備えることを特徴とする。

【0012】

かかる構成によれば、背景画像生成装置は、補助画像の画像座標系の軸方向に沿って補助カメラが配置され、全ての補助カメラの位置及び光軸方向の制御量が等しくなる。このため、背景画像生成装置は、補助カメラの位置及び光軸方向の制御処理と、背景画像の生成処理とを簡略化することができる。

【0013】

また、本願第３発明に係る背景画像生成装置は、基準カメラのフォーカス位置に合焦するように、補助カメラのフォーカスを制御するフォーカス制御手段と、基準カメラと同一画角になるように、補助カメラのズームを制御するズーム制御手段と、をさらに備えることを特徴とする。
かかる構成によれば、背景画像生成装置は、マスター・スレーブ処理により、補助カメラのフォーカス及びズームを簡易に制御することができる。

【0014】

また、本願第４発明に係る背景画像生成装置は、基準カメラが基準画像を撮影するタイミングと、補助カメラが補助画像を撮影するタイミングとを同期させるカメラ同期手段、をさらに備えることを特徴とする。
かかる構成によれば、背景画像生成装置は、基準画像と補助画像との撮影タイミングが一致するので、背景部分の補完誤りを低減することができる。

【発明の効果】

【0015】

本願発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、補助カメラにより、基準カメラから見て被写体に隠された背景部分を撮影した補助画像が得られ、補助画像の画像座標系を基準画像の画像座標系に合わせてから、この補助画像を用いて補完を行うため、背景部分の欠損がない背景画像を生成することができる。

【0016】

本願第２発明によれば、補助画像の画像座標系の軸方向に沿って補助カメラが配置され、全ての補助カメラの位置及び光軸方向の制御量が等しくなるため、補助カメラの位置及び光軸方向の制御処理と、背景画像の生成処理とを簡略化することができる。

【0017】

本願第３発明によれば、マスター・スレーブ処理により、補助カメラのフォーカス及びズームを簡易に制御することができる。
本願第４発明によれば、基準画像と補助画像との撮影タイミングが一致するので、背景部分の補完誤りを低減することができる。

【図面の簡単な説明】

【0018】

【図1】本願発明の実施形態において撮影装置の構造を説明する図であり、（ａ）は正面図であり、（ｂ）はＡ−Ａ断面図である。

【図2】図１の撮影装置にステレオカメラが装着された状態の図であり、（ａ）は正面図であり、（ｂ）は側面図である。

【図3】本願発明の実施形態に係る背景画像生成装置の構成を示すブロック図である。

【図4】本願発明の実施形態において、基準カメラ及び補助カメラの関係を説明する説明図である。

【図5】図３の補助画像変換手段を説明する説明図である。

【図6】図３の背景画像生成手段による背景画像の生成を説明する説明図である。

【図7】図３の背景画像生成手段による背景画像の生成を説明する説明図である。

【図8】図３の背景画像生成手段による背景画像の生成を説明する説明図である。

【図9】図３の背景画像生成装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0019】

[撮影装置の構造]
図１，図２を参照し、撮影装置２の構造を説明した後、背景画像生成装置１（図３）の構成を説明する。
背景画像生成装置１は、背景部分の欠損がない背景画像を生成するものであって、撮影装置２（基準カメラ３及び補助カメラ４）と、距離計測手段５と、演算装置６（図３）とを備える。
図１に示すように、撮影装置２は、１台の基準カメラ３と、４台の補助カメラ４（４Ｕ，４Ｄ，４Ｌ，４Ｒ）とをリム構造体２０に取り付けたものである。

【0020】

図１（ａ）に示すように、４台の補助カメラ４は、基準カメラ３を中心に、上下左右で対象となるように配置されている。また、図１（ｂ）に示すように、基準カメラ３及び４台の補助カメラ４は、側面視すると、同一の垂直面上に位置している。

【0021】

リム構造体２０は、例えば、アルミニウムなどの金属を素材とすし、環状のリム部２０ａと、２本の支柱２０ｂと、基部２０ｃとで構成される。２本の支柱２０ｂは、リム部２０ａの中心で斜め十字に交差する。基部２０ｃは、支柱２０ｂが交差する場所で板状に形成される。この基部２０ｃは、基準カメラ３と、補助カメラ４の位置駆動手段４１とが固定される。

【0022】

リム構造体２０の下部には、台座２１が形成される。台座２１は、リム構造体２０の半径程度の幅を有し、撮影装置２を直立させる。また、リム構造体２０には、２本のリニアガイド２２がリム部２０ａの中心で十字に交差している。図１（ｂ）では、垂直方向のリニアガイド２２のみを図示し、水平方向のリニアガイド２２を図示していない。

【0023】

支持部材２３は、ボールねじ２４が貫通し、後端部２３ａがリニアガイド２２を挟んでいる。この支持部材２３は、補助カメラ４の光軸方向駆動手段４３が固定され、支点２５を介して、補助カメラ４を支持する。ボールねじ２４は、一方の端が位置駆動手段４１の回転軸に固定され、他方の端がリム部２０ａの内周側に固定される。

【0024】

また、撮影装置２は、図２に示すように、被写体から基準カメラ３までの距離を計測するために、ステレオカメラ５Ｌ，５Ｒを備えてもよい。このステレオカメラ５Ｌ，５Ｒは、リム部２０ａの左右外周部に固定される。

【0025】

なお、図１（ｂ）の符号αが補助カメラ４の光軸方向を示しており、図２の符号βが基準カメラ３から補助カメラ４までの距離を示している。補助カメラ４の光軸方向α及び距離βの詳細は、背景画像生成装置１の構成と共に説明する。
また、図２では、図面を見易くするため、一部符号を省略すると共に、ステレオカメラ５Ｌ，５Ｒ以外を破線で図示した。

【0026】

[背景画像生成装置の構成]
図３を参照し、背景画像生成装置１の構成について、説明する（適宜図１，図２参照）。
図３に示すように、基準カメラ３は、被写体を撮影する一般的なカメラであり、ズーム駆動手段３１と、フォーカス駆動手段３３とを備える。

【0027】

ズーム駆動手段３１は、演算装置６から入力されたズーム制御信号に従って、基準カメラ３のズームリング（不図示）を駆動する駆動モータ（不図示）を備えるものである。また、ズーム駆動手段３１は、ズームリングの駆動量を計測するエンコーダ（不図示）を備え、ズーム値変換テーブルにより、エンコーダで計測された駆動量を基準カメラ３のズーム値に変換する。
このズーム値変換テーブルは、ズームリングの駆動量と、ズーム値とを予め対応付けたものである。

【0028】

フォーカス駆動手段３３は、演算装置６から入力されたフォーカス制御信号に従って、基準カメラ３のフォーカスリング（不図示）を駆動する駆動モータ（不図示）を備えるものである。また、フォーカス駆動手段３３は、フォーカスリングの駆動量を計測するエンコーダ（不図示）を備え、フォーカス値変換テーブルにより、エンコーダで計測された駆動量を基準カメラ３のフォーカス値に変換する。
このフォーカス値変換テーブルは、フォーカスリングの駆動量と、フォーカス値とを予め対応付けたものである。

【0029】

基準カメラ３は、被写体を撮影した基準画像と、基準カメラ３のズーム値と、基準カメラ３のフォーカス値とを、演算装置６に出力する。

【0030】

補助カメラ４は、基準カメラ３から見て、被写体に隠された背景部分を撮影する一般的なカメラである。この補助カメラ４は、位置駆動手段４１と、光軸方向駆動手段４３と、ズーム駆動手段４５と、フォーカス駆動手段４７とを備える。

【0031】

位置駆動手段４１は、演算装置６から入力された位置制御信号に従って、ボールねじ２４（図１）を回転させることで、補助カメラ４を半径方向に移動させる駆動モータ（不図示）を備えるものである。また、位置駆動手段４１は、ボールねじ２４の回転量を計測するエンコーダ（不図示）を備え、位置変換テーブルにより、エンコーダで計測された回転量を補助カメラ４の位置に変換する。

【0032】

なお、図１において、半径方向とは、補助カメラ４から見た基準カメラ３の方向であり、ボールねじ２４に沿う方向のことである。
この位置変換テーブルは、ボールねじ２４の回転量と、補助カメラ４の位置とを予め対応付けたものである。

【0033】

すなわち、図１に示すように、垂直軸上の補助カメラ４Ｕ，４Ｄは、位置駆動手段４１により、上下に移動可能である。また、水平軸上の補助カメラ４Ｌ，４Ｒは、位置駆動手段４１により、左右に移動可能である。

【0034】

光軸方向駆動手段４３は、演算装置６から入力された光軸方向制御信号に従って、支点２５（図１）に掛けられたベルト４３ａを回すことで、支点２５に支持された補助カメラ４の光軸方向αを変える駆動モータ（不図示）を備えるものである。また、光軸方向駆動手段４３は、ベルト４３ａの回転量を計測するエンコーダ（不図示）を備え、光軸方向変換テーブルにより、エンコーダで計測された回転量を補助カメラ４の光軸方向αに変換する。
この光軸方向変換テーブルは、ベルト４３ａの回転量と、補助カメラ４の光軸方向αとを予め対応付けたものである。

【0035】

すなわち、図１に示すように、垂直軸上の補助カメラ４Ｕ，４Ｄは、光軸方向駆動手段４３により、上下に光軸方向αを変更可能である。また、水平軸上の補助カメラ４Ｌ，４Ｒは、光軸方向駆動手段４３により、左右に光軸方向αを変更可能である。

【0036】

ズーム駆動手段４５は、演算装置６からのズーム制御信号に従って、補助カメラ４のズームリング（不図示）を駆動する駆動モータ（不図示）を備えるものである。また、ズーム駆動手段４５は、ズームリングの駆動量を計測するエンコーダ（不図示）を備え、ズーム値変換テーブルにより、エンコーダで計測された駆動量を補助カメラ４のズーム値に変換する。
このズーム値変換テーブルは、ズーム駆動手段３１と同様のものである。

【0037】

フォーカス駆動手段４７は、演算装置６からのフォーカス制御信号に従って、補助カメラ４のフォーカスリング（不図示）を駆動する駆動モータを備えるものである。また、フォーカス駆動手段４７は、フォーカスリングの駆動量を計測するエンコーダ（不図示）を備え、フォーカス値変換テーブルにより、エンコーダで計測された駆動量を補助カメラ４のフォーカス値に変換する。
このフォーカス値変換テーブルは、フォーカス駆動手段３３と同様のものである。

【0038】

補助カメラ４は、背景部分が撮影された補助画像と、補助カメラ４の位置と、光軸方向αと、ズーム値と、フォーカス値とを、演算装置６に出力する。

【0039】

＜基準カメラ及び補助カメラの関係＞
図４を参照して、基準カメラ３及び補助カメラ４の関係について、説明する（適宜図３参照）。
図４では、説明を簡易にするため、基準カメラ３、及び、基準カメラ３の左右に配置された補助カメラ４Ｌ，４Ｒのみを図示した。
また、図４では、基準カメラ３及び補助カメラ４Ｌ，４Ｒは、背景までの距離Ｌが等しいこととする。
また、図４では、基準カメラ３及び補助カメラ４Ｌ，４Ｒの画角θが同一であり、基準カメラ３の撮影範囲Ｗを太線で図示し、補助カメラ４Ｌ，４Ｒの撮影範囲を細線で図示した。
また、図４では、基準カメラ３の光軸方向、及び、補助カメラ４Ｌ，４Ｒの光軸方向αを一点鎖線で図示した。

【0040】

図４に示すように、基準カメラ３は、被写体９０の背景部分Ｓが隠れてしまい、この背景部分Ｓを撮影できない。このため、基準画像から被写体９０を切り出して背景映像を生成しても、背景部分Ｓが欠落し、完全に補完することが難しい。そこで、背景画像生成装置１は、補助カメラ４が別の位置から背景部分Ｓを撮影した補助画像を用いて、基準画像で欠落した背景部分Ｓを補完する。

【0041】

図３に戻り、背景画像生成装置１の構成について、説明を続ける。
距離計測手段５は、ステレオカメラ５Ｌ，５Ｒから入力されたステレオ画像を用いて、被写体９０から基準カメラ３までの距離Ｐ（図５）を計測するものである。例えば、距離計測手段５は、三角測量の原理により、ステレオ画像から視差情報を求め、この視差情報から、距離Ｐを示す距離情報（奥行情報）を生成する。そして、距離計測手段５は、生成した距離情報を演算装置６に出力する。

【0042】

演算装置（演算手段）６は、基準カメラ用ＤＳＰ（Digital Signal Processor）６１と、補助カメラ用ＤＳＰ６２と、ＭＰＵ（Micro Processing Unit）６３と、ＴＣ(Time Code)ジェネレータ６４と、ストレージ６５と、同期信号発生手段（カメラ同期手段）６６とを備える。

【0043】

基準カメラ用ＤＳＰ６１は、被写体９０のサイズを算出すると共に、基準カメラ３のズーム及びフォーカスを制御するものであり、被写体サイズ算出手段６１１と、ズーム制御手段６１３と、フォーカス制御手段６１５とを備える。

【0044】

被写体サイズ算出手段６１１は、距離計測手段５から入力された距離情報を用いて、被写体９０のサイズを算出するものである。この距離情報では被写体９０と背景との奥行（距離）が異なる。このため、被写体サイズ算出手段６１１は、距離情報を参照して、基準画像で奥行が異なる領域を被写体領域として抽出する。そして、被写体サイズ算出手段６１１は、抽出した被写体領域のサイズを求めて、被写体９０のサイズを示すサイズ情報を生成する。

【0045】

ズーム制御手段６１３は、基準カメラ３のズームを制御するものである。例えば、ズーム制御手段６１３は、外部から、基準カメラ３のズームが操作されると、このズーム操作量に応じて、基準カメラ３のズームを制御するためのズーム制御信号を生成する。

【0046】

フォーカス制御手段６１５は、基準カメラ３のフォーカスを制御するものである。例えば、フォーカス制御手段６１５は、外部から、基準カメラ３のフォーカス操作が入力されると、このフォーカス操作量に応じて、基準カメラ３のフォーカスを制御するためのフォーカス制御信号を生成する。

【0047】

基準カメラ用ＤＳＰ６１は、基準画像をＭＰＵ６３に出力する。また、基準カメラ用ＤＳＰ６１は、ズーム制御信号及びフォーカス制御信号を基準カメラ３に出力すると共に、ＭＰＵ６３を介して、補助カメラ用ＤＳＰ６２に出力する。さらに、基準カメラ用ＤＳＰ６１は、ＭＰＵ６３を介して、距離情報及びサイズ情報を補助カメラ用ＤＳＰ６２に出力する。

【0048】

補助カメラ用ＤＳＰ６２は、補助画像を変換すると共に、補助カメラ４の位置と、光軸方向αと、ズームと、フォーカスとを制御するものである。補助カメラ用ＤＳＰ６２は、補助画像変換手段６２１と、位置制御手段６２３と、光軸方向制御手段６２５と、ズーム制御手段６２７と、フォーカス制御手段６２９とを備える。

【0049】

本実施形態では、補助カメラ用ＤＳＰ６２は、補助カメラ４と一対一で対応するように、補助カメラ４と同数備えられる。つまり、４台の補助カメラ用ＤＳＰ６２は、同一構成である。

【0050】

補助画像変換手段６２１は、補助カメラ４から入力された補助画像を、基準画像と同一の仮想平面上に射影変換するものである。

【0051】

＜補助画像の射影変換＞
図５を参照して、補助画像変換手段６２１について、説明する（適宜図３参照）。
図５では、説明を簡易にするため、基準カメラ３、及び、基準カメラ３の右側に配置された補助カメラ４Ｒのみを図示した。

【0052】

図５に示すように、基準カメラ３及び補助カメラ４Ｒの位置が異なるため、基準画像及び補助画像の画像座標系も異なることになる。すなわち、基準カメラ３の光軸が被写体９０及び背景部分Ｓと垂直になるのに対し、補助カメラ４Ｒの光軸が被写体９０及び背景部分Ｓと斜めになる。従って、基準画像の背景部分Ｓと、補助画像の背景部分Ｓ´とのなす角がθ／２になり、同一平面上に位置しないことになる。この状態では、背景画像生成装置１は、補助画像の背景部分Ｓ´を用いても、基準画像の背景部分Ｓを欠損なく補完することが困難である。

【0053】

そこで、補助画像変換手段６２１は、補助画像が遠方同一平面にあると近似し、補助画像の背景部分Ｓ´が基準画像の背景部分Ｓと重なるように、基準画像と同一平面を表す
仮想平面９１の上に補助画像を射影変換する。具体的には、補助画像変換手段６２１は、補助画像をθ／２だけ回転させるアフィン変換を行う。
以後、射影変換された補助画像の背景部分Ｓ´を「背景部分Ｓ」と記す。

【0054】

図３に戻り、背景画像生成装置１の構成について、説明を続ける。
位置制御手段６２３は、基準カメラ用ＤＳＰ６１から入力された距離情報及びサイズ情報に基づいて、基準カメラ３から補助カメラ４までの距離β（図２）が等しくなるように、補助カメラ４の位置を制御するものである。

【0055】

具体的には、位置制御手段６２３は、被写体９０から基準カメラ３までの距離Ｐ（図５）が近くなる程、距離βを遠くし、距離Ｐが遠くなる程、距離βを近くする。さらに、位置制御手段６２３は、被写体９０のサイズが小さくなる程、距離βを遠くし、被写体９０のサイズが大きくなる程、距離βを近くする。例えば、位置制御手段６２３は、距離βと、距離Ｐ及び被写体９０のサイズとを対応付けた位置制御テーブルを予め設定しておく。そして、位置制御手段６２３は、この位置制御テーブルを参照して、補助カメラ４の位置を制御するための位置制御信号を生成する。
従って、補助カメラ４Ｕ，４Ｄ，４Ｌ，４Ｒは、それぞれに対応する位置制御手段６２３により、距離βが等しくなるように制御され、同一円の円周上に位置することになる。

【0056】

光軸方向制御手段６２５は、基準カメラ用ＤＳＰ６１から入力された距離情報及びサイズ情報に基づいて、補助カメラ４の光軸方向αの制御量が等しくなるように、補助カメラ４の光軸方向αを制御するものである。

【0057】

具体的には、光軸方向制御手段６２５は、距離Ｐが近くなる程、補助カメラ４の光軸方向αの制御量を多くし、距離Ｐが遠くなる程、補助カメラ４の光軸方向αの制御量を小さくする。さらに、光軸方向制御手段６２５は、被写体９０のサイズが小さくなる程、補助カメラ４の光軸方向αの制御量を多くし、被写体９０のサイズが大きくなる程、補助カメラ４の光軸方向αの制御量を小さくする。例えば、光軸方向制御手段６２５は、補助カメラ４の光軸方向αの制御量と、距離Ｐ及び被写体９０のサイズとを対応付けた光軸方向制御テーブルを予め設定しておく。そして、光軸方向制御手段６２５は、この光軸方向制御テーブルを参照して、補助カメラ４の光軸方向αを制御するための光軸方向制御信号を生成する。

【0058】

図４において、正面を向いていた補助カメラ４Ｌ，４Ｒを被写体９０に向ける場合を考える。この場合、光軸方向制御手段６２５は、それぞれに対応する補助カメラ４Ｌ，４Ｒを、被写体９０の側に光軸方向αをθ／２だけ回転させる。言い換えるなら、補助カメラ４Ｌ，４Ｒは、空間上の同一点（例えば、被写体９０）に向けられる。
なお、図４では補助カメラ４Ｕ，４Ｄを省略したが、光軸方向制御手段６２５は、補助カメラ４Ｕ，４Ｄの光軸方向αをθ／２だけ回転させる。

【0059】

図３に戻り、背景画像生成装置１の構成について、説明を続ける。
ズーム制御手段６２７は、基準カメラ用ＤＳＰ６１から入力されたズーム制御信号に基づいて、基準カメラ３と同一画角になるように、補助カメラ４のズームを制御するものである。つまり、ズーム制御手段６２７は、基準カメラ３をマスターとし、補助カメラ４をスレーブとしたマスター・スレーブ制御により、補助カメラ４のズームを制御するためのズーム制御信号を生成する。

【0060】

フォーカス制御手段６２９は、基準カメラ用ＤＳＰ６１から入力されたフォーカス制御信号に基づいて、基準カメラ３のフォーカス位置に合焦するように、補助カメラ４のフォーカスを制御するものである。つまり、フォーカス制御手段６２９は、基準カメラ３をマスターとし、補助カメラ４をスレーブとしたマスター・スレーブ制御により、補助カメラ４のフォーカスを制御するためのフォーカス制御信号を生成する。

【0061】

補助カメラ用ＤＳＰ６２は、射影変換された補助画像をＭＰＵ６３に出力する。また、補助カメラ用ＤＳＰ６２は、位置制御信号と、光軸方向制御信号と、ズーム制御信号と、フォーカス制御信号とを、補助カメラ４に出力する。

【0062】

ＭＰＵ６３は、背景画像の生成に必要な演算処理を行うものであり、背景画像生成手段６３１を備える。
背景画像生成手段６３１は、基準画像で被写体９０に隠された背景部分Ｓを、補助画像の背景部分Ｓで補完することで、背景画像を生成するものである。

【0063】

＜背景画像の生成＞
図６〜図８を参照し、背景画像生成手段６３１による背景画像の生成について、説明する（適宜図１〜図３参照）。
図６には、基準カメラ３で撮影した基準画像９２の一例を図示した。また、図６では、被写体９０に隠された星型の背景部分Ｓを破線で図示した。

【0064】

図７には、補助カメラ４Ｕ，４Ｄ，４Ｌ，４Ｒで撮影され、補助画像変換手段６２１で射影変換された補助画像９３Ｕ，９３Ｄ，９３Ｌ，９３Ｒの一例を図示した。
補助画像９３Ｕは、基準カメラ３より上に配置された補助カメラ４Ｕが被写体９０を向いた状態で撮影されている。このため、補助画像９３Ｕでは、背景部分Ｓの上側が、被写体９０からはみ出している。
補助画像９３Ｄ，９３Ｌ，９３Ｒは、補助画像９３Ｕと同様、基準カメラ３と異なる位置の補助カメラ４Ｄ，４Ｌ，４Ｒが被写体９０を向いた状態で撮影されている。このため、補助画像９３Ｄ，９３Ｌ，９３Ｒでも、背景部分Ｓの一部が、被写体９０からはみ出している。

【0065】

また、基準画像９２及び補助画像９３Ｕ，９３Ｄ，９３Ｌ，９３Ｒは、同一の画像座標系で扱うことができる。このため、背景画像生成手段６３１は、基準画像９２の背景部分Ｓを、補助画像９３の背景部分Ｓで補完できる。

【0066】

具体的には、背景画像生成手段６３１は、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等の特徴点検出処理と、対応点探索処理とを施し、基準画像９２及び補助画像９３Ｕ，９３Ｄ，９３Ｌ，９３Ｒの間で画素位置の対応関係を求める。そして、背景画像生成手段６３１は、基準画像９２から被写体９０を削除する。さらに、背景画像生成手段６３１は、画素位置の対応関係に基づいて、被写体９０が削除された領域に、補助画像９３Ｕ，９３Ｄ，９３Ｌ，９３Ｒで対応する領域を重ね合わせる。ここで、背景画像生成手段６３１は、被写体９０が削除された領域に、補助画像９３Ｕ，９３Ｄ，９３Ｌ，９３Ｒで対応する領域が複数ある場合、何れか１つを重ね合わせればよい。以上の手順により、背景画像生成手段６３１は、背景部分Ｓの欠損がない背景画像９４を生成する。

【0067】

ＭＰＵ６３は、背景画像生成手段６３１が生成した背景画像９４に、ＴＣジェネレータ６４から入力されたタイムコードを付加して、ストレージ６５に記憶する。

【0068】

ＴＣジェネレータ６４は、タイムコードを発生させて、ＭＰＵ６３に出力するものである。
ストレージ６５は、背景画像９４を記憶するものであり、例えば、メモリやハードディスクである。また、ストレージ６５は、基準カメラ３から入力された基準画像を記憶してもよい。
なお、ＴＣジェネレータ６４及びストレージ６５は、一般的なものであるため、詳細な説明を省略する。

【0069】

同期信号発生手段６６は、基準カメラ３が基準画像９２を撮影するタイミングと、補助カメラ４が補助画像９３を撮影するタイミングとを同期させるものである。つまり、同期信号発生手段６６は、撮影タイミングを示す同期信号を、基準カメラ３及び補助カメラ４に同時に出力する。

【0070】

[背景画像生成装置の動作]
図９を参照し、背景画像生成装置１の動作について、説明する（適宜図３参照）。
背景画像生成装置１は、距離計測手段５によって、被写体９０から基準カメラ３までの距離Ｐを計測する（ステップＳ１）。
背景画像生成装置１は、被写体サイズ算出手段６１１によって、被写体９０のサイズを算出する（ステップＳ２）。

【0071】

背景画像生成装置１は、位置制御手段６２３によって、基準カメラ３から補助カメラ４までの距離βが等しくなるように、補助カメラ４の位置を制御する。
背景画像生成装置１は、光軸方向制御手段６２５によって、４台の補助カメラ４の光軸方向αの制御量が等しくなるように、補助カメラ４の光軸方向αを制御する（ステップＳ３）。

【0072】

背景画像生成装置１は、ズーム制御手段６２７によって、基準カメラ３と同一画角になるように、補助カメラ４のズームを制御する。
背景画像生成装置１は、フォーカス制御手段６２９によって、基準カメラ３のフォーカス位置に合焦するように、補助カメラ４のフォーカスを制御する（ステップＳ４）。

【0073】

背景画像生成装置１は、基準カメラ３によって基準画像９２を撮影し、補助カメラ４によって背景画像９３を撮影する（ステップＳ５）。
背景画像生成装置１は、補助画像変換手段６２１によって、補助画像９３を、基準画像９２と同一の仮想平面上に射影変換する（ステップＳ６）。
背景画像生成装置１は、背景画像生成手段６３１によって、被写体９０に隠された基準画像９２の背景部分Ｓを、補助画像９３の背景部分Ｓで補完することで、背景画像を生成する（ステップＳ７）。

【0074】

[作用・効果]
背景画像生成装置１は、補助カメラ４により、基準カメラ３から見て被写体９０に隠された背景部分Ｓを撮影した補助画像９３が得られ、補助画像９３の画像座標系を基準画像９２の画像座標系に合わせてから、この補助画像９３を用いて補完を行うため、背景部分Ｓの欠損がない背景画像９４を生成することができる。さらに、背景画像生成装置１は、補助画像９３の画像座標系の軸方向（水平軸及び垂直軸）に沿って補助カメラ４が配置され、全ての補助カメラ４の位置及び光軸方向の制御量が等しくなるため、補助カメラ４の位置及び光軸方向の制御処理と、背景画像９４の生成処理とを簡略化することができる。

【0075】

さらに、背景画像生成装置１は、ズーム制御手段６２７及びフォーカス制御手段６２９がマスター・スレーブ処理を行うため、補助カメラ４のフォーカス及びズームを簡易に制御することができる。さらに、背景画像生成装置１は、同期信号発生手段６６が基準画像９２と補助画像９３との撮影タイミングを一致させるので、背景部分Ｓの補完誤りを低減することができる。

【0076】

例えば、背景画像生成装置１は、通常の撮影映像（基準画像９２）と同時に、同一条件で撮影された背景画像９４を得ることができ、ＶＦＸ映像制作といった緻密な映像合成に有効に活用することができる。さらに、背景画像生成装置１は、得られた背景画像９４を映像ストレージサーバ（不図示）に記憶させれば、様々な用途で背景画像９４の二次利用が可能となり、映像のマルチユース化、素材映像の充実を促進することができる。これにより、背景画像生成装置１は、ポストプロダクション工程において、作業を大幅に簡略化できる。さらに、背景画像生成装置１は、素材映像のバリエーションを拡充が可能なことから、ドラマ番組、情報番組、報道番組等の様々な番組において臨場感が高い映像を制作でき、視聴者本位の魅力ある番組作りに大きく貢献する。

【0077】

本願発明に係る背景画像生成装置１は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で変形を加えることができる。
例えば、本実施形態では、補助カメラ４が４台であることとして説明したが、背景画像生成装置１は、補助カメラ４が５台以上であってもよい。
また、本実施形態では、撮影装置２がボールねじ２４を用いることとして説明したが、背景画像生成装置１は、リニアモータ等の駆動モータや、空気シリンダ等の駆動機構を用いてもよい。
また、本実施形態では、距離計測手段５によって被写体９０（前景）を認識することとして説明したが、操作者が操作端末を用いて前景を手動で指定してもよい。
この他、背景画像生成装置１は、距離計測手段５として、レーザ又は赤外線を利用した距離計も利用してもよい。

【産業上の利用可能性】

【0078】

本願発明は、映像制作、環境情報収集、地図情報生成等の広範囲な分野で利用可能である。

【符号の説明】

【0079】

１ 背景画像生成装置
２ 撮影装置
３ 基準カメラ
３１ ズーム駆動手段
３３ フォーカス駆動手段
４，４Ｕ，４Ｄ，４Ｌ，４Ｒ 補助カメラ
４１ 位置駆動手段
４３ 光軸方向駆動手段
４５ ズーム駆動手段
４７ フォーカス駆動手段
５ 距離計測手段
６ 演算装置（演算手段）
６１ 基準カメラ用ＤＳＰ
６１１ 被写体サイズ算出手段
６１３ ズーム制御手段
６１５フォーカス制御手段
６２ 補助カメラ用ＤＳＰ
６２１ 補助画像変換手段
６２３ 位置制御手段
６２５ 光軸方向制御手段
６２７ ズーム制御手段
６２９ フォーカス制御手段
６３ ＭＰＵ
６４ ＴＣジェネレータ
６５ ストレージ
６６ 同期信号発生手段（カメラ同期手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】