特許 7629705 広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-05

(45)【発行日】2025-02-14

(54)【発明の名称】広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システム

(51)【国際特許分類】

   H04N 23/63 20230101AFI20250206BHJP

   G03B 15/00 20210101ALI20250206BHJP

   G03B 37/00 20210101ALI20250206BHJP

   H04N 23/698 20230101ALI20250206BHJP

   H04N 23/60 20230101ALI20250206BHJP

   G02B 27/02 20060101ALN20250206BHJP

【ＦＩ】

H04N23/63 330

G03B15/00 W

G03B37/00 A

G03B15/00 H

H04N23/698

H04N23/60 500

G02B27/02 Z

【請求項の数】 6

(21)【出願番号】P 2020175212

(22)【出願日】2020-10-19

(65)【公開番号】P2022066711

(43)【公開日】2022-05-02

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】原 一宏

(72)【発明者】

【氏名】小出 大一

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】小峯 一晃

(72)【発明者】

【氏名】三科 智之

【審査官】小西 隆

(56)【参考文献】

【文献】特開２００６－２２９８０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／００７４３１２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６３

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ２３／６９８

Ｈ０４Ｎ ２３／６０

Ｇ０２Ｂ ２７／０２

(57)【特許請求の範囲】

【請求項1】

広視野映像を撮影するための複数のカメラで視野の一部を重複して撮影した前記カメラごとの映像と、前記複数のカメラの視野全体を撮影した広角カメラの映像とから、前記広視野映像における前記複数のカメラが撮影する重複領域を可視化する広視野映像撮影支援装置であって、
前記広角カメラの映像を構成するフレームごとの広角画像を平面展開した正像画像に補正することで視野全体の全体画像を生成する広角画像補正手段と、
前記全体画像から特徴点を抽出する全体画像特徴点抽出手段と、
前記複数のカメラごとに、前記カメラの映像を構成するフレームごとの画像である部分画像から特徴点を抽出する部分画像特徴点抽出手段と、
前記全体画像の特徴点と前記部分画像ごとの特徴点とをマッチングして、前記全体画像において、前記部分画像の重複領域と、前記部分画像の重複領域で一方の部分画像のみに存在する被写体領域とを視覚化領域として探索する視覚化領域探索手段と、
前記全体画像上に前記視覚化領域を示す図形を合成して表示する領域合成手段と、
を備えることを特徴とする広視野映像撮影支援装置。

【請求項2】

前記視覚化領域探索手段は、前記部分画像間で特徴点のマッチングを行うことで、部分画像同士が重複する領域を特定し、特定した領域の特徴点と前記全体画像の特徴点とのマッチングを行うことで、前記全体画像における前記重複領域を探索することを特徴とする請求項１に記載の広視野映像撮影支援装置。

【請求項3】

前記視覚化領域探索手段は、前記重複領域が同じ部分画像間でブロックごとの類似度を算出することで一方の部分画像のみに存在する被写体の領域を特定し、特定した領域の特徴点と前記全体画像の特徴点とのマッチングを行うことで、前記全体画像における前記被写体領域を探索することを特徴とする請求項１または請求項２に記載の広視野映像撮影支援装置。

【請求項4】

前記部分画像の特徴点がマッチングする領域をスティッチングして前記部分画像を連結することで、前記広視野映像を生成するスティッチング手段をさらに備えることを特徴とする請求項１から請求項３のいずれか一項に記載の広視野映像撮影支援装置。

【請求項5】

コンピュータを、請求項１から請求項４のいずれか一項に記載の広視野映像撮影支援装置として機能させるための広視野映像撮影支援プログラム。

【請求項6】

広視野映像を撮影する広視野映像撮影システムであって、
視野の一部を重複するように配置した複数のカメラと、
前記複数のカメラの視野全体を撮影する広角カメラと、
前記複数のカメラで撮影した前記カメラごとの映像と、前記広角カメラで撮影した映像とから、前記部分画像の重複領域と、前記重複領域で一方の部分画像のみに存在する被写体領域とを視覚化領域として表示するとともに、前記広視野映像を生成する請求項４に記載の広視野映像撮影支援装置と、
カメラマンの操作により、前記複数のカメラおよび前記広角カメラの向きおよびズームを制御するカメラ操作装置と、
を備えることを特徴とする広視野映像撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のカメラを用いた広視野の映像撮影を支援する広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システムに関する。

【背景技術】

【0002】

近年、ヘッドマウントディスプレイ（以下、ＨＭＤ）を利用して、遠隔地の様子をユーザがその場にいるように体験できるＶＲ（Virtual Reality）サービスが普及してきている。ＶＲは、ＨＭＤを装着したユーザに、事前に撮影した３６０°映像の中から、ユーザの頭の動きに応じた映像を提示することで、ユーザに対して、仮想的にその場にいるような没入感を与える技術である。
従来、ＶＲ用の３６０°映像を撮影する技術として、２台の超広角レンズ（魚眼レンズ）カメラで撮影された２つの１８０°映像を画像処理でつなげる技術が開示されている（特許文献１参照）。

【0003】

この超広角レンズカメラで撮影された視野１８０°範囲の物体からの反射光は、１つの撮像素子で電荷となり記録される。例えば、ＳＶＨ（Super Hi-Vision）用の約３３００万画素の撮像素子を用いても、水平画素数は７６８０画素である。
一方、視力１．０の人の視認上限周波数が３０ｃｐｄ（cycles per degree）（６０画素／°）であるとすると、視野１８０°範囲では、６０画素×１８０°＝１０８００画素以上が半円周上に並んでいなければ、人は画素構造を検知してしまうことになり、１つの撮像素子では、画素数が十分ではない。
そこで、複数のカメラで部分的に重複して撮影した映像を合成（スティッチング）することで、高解像度の１８０°映像を撮影する技術が開示されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１１７３３０号公報

【文献】特表２０１８－５１８０７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の発明のように、超広角レンズカメラを用いても広視野映像を撮影するには、解像度が足りないという問題がある。
また、特許文献２に記載の発明のように、複数のカメラで撮影した映像をスティッチングすることで、解像度を高めた広視野映像を撮影することは可能である。

【0006】

しかし、複数のカメラで撮影した映像をスティッチングする手法は、被写体が１台のカメラにしか映っていない状態でスティッチングを行う領域（重複領域）に存在していた場合、被写体の映っている映像と映っていない映像とでスティッチングを行うため、正しくスティッチングが行われず、被写体の一部が消えてしまうという問題がある。
また、スティッチングを行う手法は、スティッチングを行う領域が大きければ、それだけ映像が劣化する原因となる。

【0007】

本発明は、このような従来技術の問題点に鑑みてなされたもので、複数のカメラで広視野映像を撮影する際に、スティッチングを行う重複領域とその重複領域の一方の映像にしか被写体が存在していないことを、カメラマンに視覚的に提示することが可能な広視野映像撮影支援装置およびそのプログラム、ならびに、広視野映像撮影システムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記課題を解決するため、本発明に係る広視野映像撮影支援装置は、広視野映像を撮影するための複数のカメラで視野の一部を重複して撮影したカメラごとの映像と、複数のカメラの視野全体を撮影した広角カメラの映像とから、広視野映像における複数のカメラが撮影する重複領域を可視化する広視野映像撮影支援装置であって、広角画像補正手段と、全体画像特徴点抽出手段と、部分画像特徴点抽出手段と、視覚化領域探索手段と、領域合成手段と、を備える構成とした。

【0009】

かかる構成において、広視野映像撮影支援装置は、広角画像補正手段によって、広角カメラの映像を構成するフレームごとの広角画像を平面展開した正像画像に補正することで視野全体の全体画像を生成する。これによって、全体画像は、複数のカメラが撮影する画像との比較が容易になる。
そして、広視野映像撮影支援装置は、全体画像特徴点抽出手段によって、全体画像からＳＩＦＴ、ＳＵＲＦ等の特徴点を抽出する。
また、広視野映像撮影支援装置は、部分画像特徴点抽出手段によって、複数のカメラごとに、カメラの映像を構成するフレームごとの画像である部分画像から特徴点を抽出する。カメラが撮影した画像は、広角カメラが撮影した全体画像の部分画像に対応するため、部分画像の特徴点と、全体画像の特徴点とは、特徴量が類似することになる。

【0010】

そして、広視野映像撮影支援装置は、視覚化領域探索手段によって、全体画像の特徴点と部分画像ごとの特徴点とをマッチングして、全体画像において、部分画像の重複領域と、部分画像の重複領域で一方の部分画像のみに存在する被写体領域とを視覚化領域として探索する。
そして、広視野映像撮影支援装置は、領域合成手段によって、全体画像上に視覚化領域を示す図形を合成して表示する。

【0011】

これによって、広視野映像撮影支援装置は、全体画像上のどこにスティッチングを行う重複領域が存在し、その重複領域で一方の部分画像のみに被写体が存在するか否かを視覚的にカメラマンに提示することができる。

【0012】

なお、広視野映像撮影支援装置は、部分画像の特徴点がマッチングする領域をスティッチングして部分画像を連結することで、広視野映像を生成するスティッチング手段をさらに備える構成としてもよい。
また、広視野映像撮影支援装置は、コンピュータを、前記した各手段として機能させるための広視野映像撮影支援プログラムで動作させることができる。

【0013】

また、前記課題を解決するため、本発明に係る広視野映像撮影システムは、広視野映像を撮影する広視野映像撮影システムであって、複数のカメラと、広角カメラと、広視野映像撮影支援装置と、カメラ操作装置と、を備える構成とした。

【0014】

かかる構成において、広視野映像撮影システムは、視野の一部を重複するように配置した複数のカメラによって、所望の視野をカメラごとに部分的に撮影する。
また、広視野映像撮影システムは、広角カメラによって、複数のカメラの視野全体を撮影する。

【0015】

そして、広視野映像撮影システムは、広視野映像撮影支援装置によって、複数のカメラで撮影したカメラごとの映像と、広角カメラで撮影した映像とから、部分画像の重複領域と、重複領域で一方の重複領域のみに存在する被写体領域とを視覚化領域として表示するとともに、広視野映像を生成する。
これによって、広視野映像撮影システムは、全体画像上のどこにスティッチングを行う重複領域が存在し、その重複領域で一方の部分画像のみに被写体が存在するか否かを視覚的にカメラマンに提示することができる。

【0016】

そして、広視野映像撮影システムは、カメラ操作装置によって、カメラマンの操作により、複数のカメラおよび広角カメラの向きおよびズームを制御する。
これによって、カメラマンは、重複領域を狭くしたり、重複領域の２つの部分画像の両方に被写体を映すようにしたり、被写体を重複領域から外したり等のカメラ制御を行うことができる。

【発明の効果】

【0017】

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、複数のカメラで広角映像を生成する際に、カメラ映像間のスティッチングを行う重複領域や、重複領域の一方のカメラ映像のみに被写体が映っている被写体領域をカメラマンに視覚的に提示することができる。
これによって、本発明は、複数のカメラで広角映像を作成する際にスティッチングでの画質劣化を軽減するために重複領域の大きさを調整し、重複領域の一方のカメラ映像のみに映る被写体の存在を回避するように、カメラマンに対してカメラを操作する際のカメラワークの支援を行うことができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る広視野映像撮影支援装置を含む広視野映像撮影システムの構成を示すブロック図である。

【図2】複数のカメラが撮影する映像と、重複領域との関係を説明するための説明図である。

【図3】全体画像上に重複領域と被写体領域とを合成した画像を説明するための説明図である。

【図4】カメラワークを説明するための説明図であって、（ａ）は２台のカメラが撮影する重複領域で一方のカメラでしか被写体を撮影していない状態を示し、（ｂ）はズームアウトによって、２台のカメラが撮影する重複領域でともに被写体を撮影している状態を示す図である。

【図5】本発明の実施形態に係る広視野映像撮影支援装置の動作を示すフローチャートである。

【図6】カメラ配置の変形例を示す図であって、複数のカメラを円周上に配置した例を示す図である。

【図7】円周上のカメラを配置した状態でのカメラワーク（ズームアウト）を説明するための説明図である。

【発明を実施するための形態】

【0019】

＜広視野映像撮影システムの構成＞
最初に、図１を参照して、本発明の実施形態に係る広視野映像撮影システム１００の全体構成について説明する。

【0020】

広視野映像撮影システム１００は、複数のカメラを用いて広視野映像を撮影するシステムである。
広視野映像撮影システム１００は、広視野映像撮影支援装置１と、複数のカメラ（ビデオカメラ）２と、広角カメラ３と、カメラ操作装置４と、表示装置５と、記録装置６と、を備える。

【0021】

広視野映像撮影支援装置１は、広視野映像を撮影するための複数のカメラ２で視野の一部を重複して撮影したカメラ２ごとの映像と、複数のカメラ２の視野全体を撮影した広角カメラ３の映像とから、広視野映像における複数のカメラ２が撮影する重複領域を可視化するものである。
広視野映像撮影支援装置１は、重複領域を可視化した映像を表示装置５に表示することで、カメラマンＭのカメラワークを支援する。
また、広視野映像撮影支援装置１は、複数のカメラ２で撮影されたカメラ映像をつなぎ合わせて広角映像を生成し、記録装置６に出力するものでもある。
この広視野映像撮影支援装置１の構成および動作については後記する。

【0022】

カメラ２は、映像を撮影するビデオカメラである。例えば、カメラ２は、ＳＶＨ（Super Hi-Vision）用のビデオカメラである。
ここでは、カメラ２を、視野の一部を重複するように、水平方向に複数（２ａ，２ｂ，２ｃ）配置する。

【0023】

例えば、３台のカメラ２ａ，２ｂ，２ｃは、図２に示すように、カメラ２ａの撮影映像Ｉａとカメラ２ｂの撮影映像Ｉｂとが領域Ｄ１で重複し、カメラ２ｂの撮影映像Ｉｂとカメラ２ｃの撮影映像Ｉｃとが領域Ｄ２で重複するように配置する。なお、領域Ｄ１，Ｄ２は、同じ幅（カメラ等間隔）であっても、異なる幅（カメラ非等間隔）であっても構わない。
また、図１では、カメラ２を３台図示しているが、これに限定されず、所望の広視野を撮影するために必要な台数であれば２台でも、４台以上でも構わない。
また、カメラ２は、カメラ操作装置４からの指示により、パン、チルト、ズームを行う。なお、カメラ２は、移動機構を備え、カメラ操作装置４からの指示により、位置を移動させる機能を有するものであってもよい。
カメラ２（２ａ，２ｂ，２ｃ）は、撮影した映像を広視野映像撮影支援装置１に出力する。

【0024】

広角カメラ３は、複数のカメラ２の視野全体を撮影する広視野のカメラである。例えば、広角カメラ３は、１８０°以上の視野を持つ広角レンズ（魚眼レンズ）を備えたカメラである。
また、広角カメラ３は、カメラ操作装置４からの指示により、ズームを行う。なお、広角カメラ３は、移動機構を備え、カメラ操作装置４からの指示により、位置を移動させる機能を有するものであってもよい。
この広角カメラ３の解像度は、カメラ２の解像度と同じ、あるいは、それ以下であっても構わない。
広角カメラ３は、撮影した広角映像を広視野映像撮影支援装置１に出力する。

【0025】

カメラ操作装置４は、カメラマンＭの操作によって、カメラ２を制御するものである。カメラ操作装置４は、図示を省略したオペレーションパネルを介して、個々のカメラ２（２ａ，２ｂ，２ｃ）のパン、チルト、ズームを制御する。なお、カメラ操作装置４は、カメラ２の配置を一定間隔に配置するように移動を制御するものであってもよい。
カメラ操作装置４は、カメラ２のズームを制御する場合、それに連動して、広角カメラ３のズームも行う。

【0026】

表示装置５は、広視野映像撮影支援装置１で重複領域を可視化した映像を表示するものである。表示装置５は、一般的なディスプレイであって、例えば、液晶ディスプレイ等である。
記録装置６は、広視野映像撮影支援装置１で生成される広角映像を記録するものである。この記録装置６は、ハードディスク等の一般的な記録媒体に、広角映像を記録する。

【0027】

＜広視野映像撮影支援装置の構成＞
次に、図１を参照して、本発明の実施形態に係る広視野映像撮影支援装置１の構成について説明する。

【0028】

広視野映像撮影支援装置１は、広角画像補正手段１０と、全体画像特徴点抽出手段１１と、部分画像特徴点抽出手段１２と、スティッチング手段１３と、視覚化領域探索手段１４と、領域合成手段１５と、を備える。
なお、広角画像補正手段１０の前段、部分画像特徴点抽出手段１２の前段には、カメラ２および広角カメラ３のそれぞれのレンズ歪を補正する歪補正手段（不図示）を備えることが好ましい。その場合、歪補正手段は、予めキャリブレーションを行った補正係数を保持し、撮影されたフレームごとにレンズ歪の補正を行えばよい。

【0029】

広角画像補正手段１０は、広角カメラ３の映像を構成するフレームごとの広角画像を平面展開した正像画像に補正することで視野全体の全体画像を生成するものである。なお、広角画像を正像画像に変換する手法は、正距円筒図法等の一般的な手法を用いることができる。
広角画像補正手段１０は、補正後の全体画像を全体画像特徴点抽出手段１１と領域合成手段１５とに出力する。

【0030】

全体画像特徴点抽出手段１１は、広角画像補正手段１０で補正された全体画像から、特徴点を抽出するものである。
この特徴点の抽出には、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）等の一般的な手法を用いればよい。
全体画像特徴点抽出手段１１は、抽出した特徴点の位置および特徴量（ＳＩＦＴ特徴等）を、視覚化領域探索手段１４に出力する。

【0031】

部分画像特徴点抽出手段１２は、複数のカメラ２ごとに、カメラ２の映像を構成するフレームごとの画像である部分画像から特徴点を抽出するものである。
カメラ２が撮影するフレームは、撮影対象の視野を部分的に撮影したものである。
ここでは、広視野映像撮影支援装置１は、複数のカメラ２（２ａ，２ｂ，２ｃ）に対応して、複数の部分画像特徴点抽出手段１２（１２ａ，１２ｂ，１２ｃ）を備える。なお、部分画像特徴点抽出手段１２は、必ずしも物理的に複数備える必要はなく、１つの部分画像特徴点抽出手段１２で、複数のカメラ２を順次切り替えて特徴点を抽出することとしてもよい。
この部分画像特徴点抽出手段１２の特徴点を抽出する手法は、全体画像特徴点抽出手段１１と同じ手法を用いる。

【0032】

部分画像特徴点抽出手段１２は、抽出した特徴点の位置および特徴量（ＳＩＦＴ特徴等）を、視覚化領域探索手段１４およびスティッチング手段１３に出力する。
また、部分画像特徴点抽出手段１２は、特徴点を抽出した部分画像をスティッチング手段１３に出力する。

【0033】

スティッチング手段１３は、部分画像特徴点抽出手段１２から入力されるカメラ２ごとの部分画像およびその特徴点から、重複する領域を合成するものである。
このスティッチング手段１３における重複領域の合成は、一般的なスティッチング手法を用いればよい。例えば、スティッチング手段１３は、２つの部分画像間で、特徴量が類似する特徴点の範囲をアルファブレンディングすることで、重複領域を重ねる。アルファブレンディングとは、一方の画像と他方の画像とをそれぞれ予め定めた透明度（α値）を乗算して加算平均する手法である。
このように、スティッチング手段１３は、部分画像を重ねて繋げることで、視野を拡大したパノラマ画像を生成する。
スティッチング手段１３は、順次生成するパノラマ画像で構成される広角映像を記録装置６に出力する。

【0034】

視覚化領域探索手段１４は、全体画像特徴点抽出手段１１で抽出された全体画像の特徴点と、部分画像特徴点抽出手段１２で抽出された部分画像ごとの特徴点とをマッチングして、全体画像において、部分画像の重複領域と、重複領域で一方の部分画像のみに存在する被写体領域とを視覚化領域として探索するものである。
ここでは、視覚化領域探索手段１４は、重複領域探索手段１４０と、被写体領域探索手段１４１と、を備える。

【0035】

重複領域探索手段１４０は、全体画像特徴点抽出手段１１で抽出された全体画像の特徴点と、部分画像特徴点抽出手段１２で抽出された部分画像ごとの特徴点とから、全体画像において、部分画像が重複する領域を探索するものである。
重複領域探索手段１４０は、部分画像間の特徴点のマッチングを行うことで、部分画像同士の重複領域を探索する
そして、重複領域探索手段１４０は、部分画像の重複領域の特徴点と全体画像の特徴点とのマッチングを行うことで、全体画像における重複領域の範囲を特定する。

【0036】

具体的には、重複領域探索手段１４０は、部分画像間で、特徴点における特徴量の類似度（距離）を計算し、最も近似する特徴点を対応付ける。そして、重複領域探索手段１４０は、部分画像内でマッチングした特徴点を含む水平領域を部分画像間の重複領域とする。
さらに、重複領域探索手段１４０は、部分画像間の重複領域と全体画像との間で、特徴点における特徴量の類似度（距離）を計算し、最も近似する特徴点を対応付ける。そして、重複領域探索手段１４０は、全体画像内でマッチングした特徴点を含む水平領域を全体画像に対応した重複領域と特定する。
重複領域探索手段１４０は、探索した部分画像間の重複領域を被写体領域探索手段１４１に出力するとともに、全体画像内の重複領域を領域合成手段１５に出力する。

【0037】

被写体領域探索手段１４１は、重複領域探索手段１４０で探索された重複領域内において、一方の部分画像に存在し、他方の部分画像に存在しない被写体領域を探索するものである。
被写体領域探索手段１４１は、重複領域探索手段１４０で探索された部分画像間の同じ重複領域で、画像特徴が類似しない領域を部分画像内おける被写体領域として探索する。
そして、被写体領域探索手段１４１は、部分画像内おける被写体領域の特徴点と全体画像の特徴点とのマッチングを行うことで、全体画像における被写体領域の範囲を特定する。

【0038】

具体的には、被写体領域探索手段１４１は、異なる部分画像の同じ重複領域同士で、予め定めた大きさのブロックごとの類似度を算出し、類似度が予め定めた閾値よりも小さいブロックで構成される領域を部分画像内における被写体領域とする。このブロックごとの類似度には、画像間の誤差の２乗和であるＳＳＤ（Sum of Squared Difference）等、一般的な画像類似判定手法を用いればよい。
さらに、被写体領域探索手段１４１は、部分画像内おける被写体領域と全体画像との間で、特徴点における特徴量の類似度を計算し、最も近似する特徴点を対応付ける。そして、被写体領域探索手段１４１は、全体画像内でマッチングした特徴点を含む領域を全体画像に対応した被写体領域と特定する。

【0039】

なお、被写体領域は、２つの部分画像の一方には該当する被写体が存在せず、どちらの部分画像に被写体が映っているのかは不明である。
しかし、被写体領域探索手段１４１は、２つの部分画像の被写体領域と、全体画像との間で特徴点のマッチングを行うことで、被写体の領域を特定することができる。
被写体領域探索手段１４１は、探索した全体画像内の被写体領域を領域合成手段１５に出力する。

【0040】

領域合成手段１５は、広角画像補正手段１０で補正された全体画像に、視覚化領域探索手段１４で探索された視覚化領域である重複領域および被写体領域を合成するものである。
領域合成手段１５は、重複領域および被写体領域として、それぞれ、全体画像上に、枠、ハッチング等の領域を示す図形、画像等を合成する。
例えば、図３に示すように、領域合成手段１５は、全体画像ＡＬＬ上に、重複領域Ｄａｂ，Ｄｂｃとして一点鎖線を描画し、被写体領域Ｆとして点線を描画する。
領域合成手段１５は、視覚化領域を合成した全体画像を、表示装置５に出力する。

【0041】

以上説明した構成により、広視野映像撮影支援装置１は、複数のカメラ２で広角映像を生成する際に、カメラ２間で重複する映像の領域と、当該領域に一方の映像にしか存在しない被写体の領域とを、視覚的にカメラマンＭに提示することができる。

【0042】

これによって、カメラマンＭは、重複領域を小さく（狭く）したり、撮影対象となる被写体を重複領域から避けるように、カメラ２を操作することができる。また、重複領域で被写体を撮影する場合でも、カメラマンＭは、２台のカメラ２の撮影範囲に収まるように、カメラ２を操作することができる。
なお、広視野映像撮影支援装置１は、図示を省略したコンピュータを、前記した各手段として機能させるためのプログラム（広視野映像撮影支援プログラム）で動作させることができる。

【0043】

（カメラワークについて）
ここで、図４を参照して、複数のカメラを用いて広角映像を撮影する場合のカメラワークについて説明する。ここでは、２台のカメラ２ａ，２ｂで被写体Ｏを撮影することとして説明する。

【0044】

図４は、カメラマンＭが、カメラ２ａ，２ｂの撮影範囲が交差する奥行より遠方を撮影領域Ｖとし、カメラ２ａ，２ｂの画角が重複する画角Ｗで被写体Ｏを撮影する状態を示している。
このとき、広視野映像撮影支援装置１は、カメラ２ａ，２ｂで撮影する重複領域Ｄをスティッチングすることで広角映像を生成する。

【0045】

図４（ａ）に示すように、被写体Ｏが、カメラ２ａには撮影され、カメラ２ｂには撮影されない重複領域Ｄに存在する場合、スティッチング処理を行っても、被写体Ｏが欠落してしまう場合がある。
この場合、広視野映像撮影支援装置１は、図３に示したように、全体画像ＡＬＬに重複領域Ｄ（Ｄａｂ）と被写体領域Ｆとを合成して表示することで、カメラマンＭに、広角映像で被写体Ｏが欠落してしまう可能性があることを提示する。

【0046】

そして、カメラマンＭは、図４（ｂ）に示すように、カメラ２ａ，２ｂをズームアウトすることで、カメラ２ａ，２ｂに撮影される重複領域Ｄに被写体Ｏを存在させることができ、広角映像における被写体Ｏの欠落を防止することができる。
なお、被写体Ｏの欠落を防止するには、カメラマンＭは、カメラ２ａ，２ｂの撮影方向（パン方向）を変えて、被写体Ｏを重複領域Ｄに存在しない位置で撮影することとしてもよい
また、カメラマンＭは、重複領域Ｄを極力小さくするように、カメラワークを行ってもよい。
このように、広視野映像撮影支援装置１は、映像劣化の原因となる重複領域や被写体領域を提示することで、カメラマンＭに対して、映像劣化の原因を防止した広角映像の撮影を支援することができる。

【0047】

＜広視野映像撮影支援装置の動作＞
次に、図５を参照（構成については適宜図１参照）して、本発明の実施形態に係る広視野映像撮影支援装置１の動作について説明する。なお、以降の動作は、撮影映像のフレーム単位の動作である。

【0048】

ステップＳ１において、広角画像補正手段１０は、広角カメラ３で撮影された広角画像を、平面展開した正像画像に補正し、全体画像を生成する。
ステップＳ２において、全体画像特徴点抽出手段１１は、ステップＳ１で補正により生成された全体画像から、ＳＩＦＴ、ＳＵＲＦ等により、特徴点を抽出する。

【0049】

ステップＳ３において、部分画像特徴点抽出手段１２は、カメラ２で撮影された映像を構成するフレーム（部分画像）から、ステップＳ２と同じ手法で、特徴点を抽出する。なお、ステップＳ３は、ステップＳ１，Ｓ２と並列に動作すればよい。
ステップＳ４において、視覚化領域探索手段１４の重複領域探索手段１４０は、ステップＳ２で抽出された全体画像の特徴点と、ステップＳ３で抽出された複数の部分画像の特徴点から、特徴点のマッチングを行い、全体画像において、部分画像の重複領域を探索する。ここでは、重複領域探索手段１４０は、部分画像同士で重複領域を探索した後、その重複領域に対応する全体画像の領域を、視覚化領域となる重複領域として特定する。

【0050】

ステップＳ５において、視覚化領域探索手段１４の被写体領域探索手段１４１は、ステップＳ４で探索された重複領域内において、一方の部分画像のみに存在し、他方の部分画像には存在しない被写体の領域を被写体領域として探索する。ここでは、被写体領域探索手段１４１は、部分画像同士の重複領域で類似しない領域を探索した後、その領域に対応する全体画像の領域を、視覚化領域となる被写体領域として特定する。

【0051】

ステップＳ６において、領域合成手段１５は、ステップＳ１で生成された全体画像に、ステップＳ４で探索された重複領域と、ステップＳ５で探索された被写体領域とを視覚化領域として合成する。この合成画像は、表示装置５に出力され表示される。

【0052】

ステップＳ７において、スティッチング手段１３は、カメラ２ごとの部分画像と、ステップＳ３で部分画像ごとに抽出された特徴点とから、スティッチング手法により、重複する領域を合成することで、部分画像を連結し、広視野の画像（パノラマ画像）を生成する。このパノラマ画像は、順次、記録装置６に記録される。
なお、ステップＳ７は、ステップＳ４～Ｓ６と並列に動作すればよい。

【0053】

ステップＳ８において、広視野映像撮影支援装置１は、カメラ２、広角カメラ３から映像が入力されるか否かにより撮影の終了を判定し、映像が入力される場合（ステップＳ８でＮｏ）、ステップＳ１に戻って動作を継続する。
一方、映像入力が終了した場合（ステップＳ８でＹｅｓ）、広視野映像撮影支援装置１は、動作を終了する。
なお、この終了判定は、図示を省略したスイッチ等で、終了が指示されたか否かで判定を行ってもよい。

【0054】

以上の動作によって、広視野映像撮影支援装置１は、複数のカメラ２で広角映像を生成する際に、カメラ２間で重複する映像の重複領域を視覚的にカメラマンＭに提示することができる。
また、広視野映像撮影支援装置１は、重複領域内に被写体が存在している場合、被写体が一方のカメラ２の映像のみに存在しているか否かをカメラマンＭに提示することができる。

【0055】

以上、本発明の実施形態に係る広視野映像撮影システム１００の構成と、広視野映像撮影支援装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。

【0056】

＜変形例＞
ここでは、図１，図４に示すように、広視野映像撮影システム１００の複数のカメラ２を直線上に並べて配置したが、カメラ２の配置はこれに限定さない。
例えば、図６に示すように、複数のカメラ２（２ａ，２ｂ，２ｃ，２ｄ，２ｅ）を円周上に配置してもよい。この場合も、広角カメラ３は、複数のカメラ２（２ａ，２ｂ，２ｃ，２ｄ，２ｅ）の視野全体を撮影する位置に配置すればよい。

【0057】

カメラ２を円周上に配置した場合でも、撮影範囲の重複領域で被写体Ｏが一方の映像には映って、他方の映像に映っていない場合がある。図６の例では、カメラ２ｂ，２ｃの重複領域において、被写体Ｏは、カメラ２ｂに映っており、カメラ２ｃには映っていない状態を示している。
この場合、カメラマンＭは、図４と同様に、カメラ２（２ａ，２ｂ，２ｃ，２ｄ，２ｅ）をズームアウトさせることで、図７に示すように、被写体Ｏを、カメラ２ｂ，２ｃの重複領域のどちらにも映った状態にすることができる。

【0058】

また、ここでは、広視野映像撮影支援装置１は、表示装置５に、広角カメラ３で撮影された広角画像から生成された全体画像上に、視覚化領域を合成した映像を表示することとした。
しかし、表示装置５には、視覚化領域を合成した映像とともに、スティッチング手段１３が出力する実際に生成された広角映像を表示することとしてもよい。
これによって、広視野映像撮影支援装置１は、カメラマンＭに、重複領域等の撮影に必要となる情報を提示しつつ、撮影結果を正確に提示することができる。

【0059】

また、ここでは、広視野映像撮影支援装置１は、スティッチング手段１３を備える構成としたが、スティッチング手段１３を外部の専用装置として分離してもよい。
これによって、広視野映像撮影支援装置１は、負荷を軽減させることができる。

【符号の説明】

【0060】

１００ 広視野映像撮影システム
１ 広視野映像撮影支援装置
１０ 広角画像補正手段
１１ 全体画像特徴点抽出手段
１２ 部分画像特徴点抽出手段
１３ スティッチング手段
１４ 視覚化領域探索手段
１４０ 重複領域探索手段
１４１ 被写体領域探索手段
１５ 領域合成手段
２ カメラ
３ 広角カメラ
４ カメラ操作装置
５ 表示装置
６ 記録装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】