特許 6622650 情報処理装置及びその制御方法、撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6622650

(24)【登録日】2019年11月29日

(45)【発行日】2019年12月18日

(54)【発明の名称】情報処理装置及びその制御方法、撮影システム

(51)【国際特許分類】

   H04N 21/27 20110101AFI20191209BHJP

   H04N 5/225 20060101ALI20191209BHJP

   H04N 5/222 20060101ALI20191209BHJP

   H04N 5/232 20060101ALI20191209BHJP

【ＦＩ】

   H04N21/27

   H04N5/225 000

   H04N5/222

   H04N5/232 290

   H04N5/232 930

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2016-99822(P2016-99822)

(22)【出願日】2016年5月18日

(65)【公開番号】特開2017-208702(P2017-208702A)

(43)【公開日】2017年11月24日

【審査請求日】2019年5月7日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】佐藤 肇

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２０１１−１８２１６０（ＪＰ，Ａ）

【文献】 特開２０１５−１８５９６４（ＪＰ，Ａ）

【文献】 特開２０１５−１８６１４８（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０３８５４１（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／７６ − ５／９５６

(57)【特許請求の範囲】

【請求項1】

互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の撮像映像を取得する取得手段と、
前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記撮像映像における前記被写体の面積割合を導出する導出手段を更に有する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記導出手段は、前記複数の撮像装置により同時に撮像された複数の撮像映像それぞれに対して前記被写体の面積割合を導出する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記導出手段は、前記複数の撮像映像に含まれる前記被写体の大きさに基づいて前記面積割合の導出の対象となる前記複数の撮像映像それぞれの領域を規格化し、該規格化された前記複数の撮像映像それぞれの領域に対して前記面積割合を導出する
ことを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記決定手段は、前記複数の撮像装置の並びで前記複数の撮像映像それぞれにおける面積割合を表示した際に得られる曲線の極大値又は極小値に対応する視点位置に基づいて前記始点及び終点を決定する
ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。

【請求項6】

前記決定手段は、前記曲線における前記極大値より所定値だけ小さい値又は前記極小値より該所定値だけ大きい値に対応する視点位置を前記始点及び終点として決定する
ことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記決定手段により決定された前記始点及び終点に基づく１以上の視点移動の候補を表示する表示手段と、
前記１以上の視点移動の候補から１つの視点移動の候補の選択を操作者から受け付ける受付手段と、
前記選択された１つの視点移動の候補に基づいて視点移動映像を生成する生成手段と、
を更に有することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。

【請求項8】

前記表示手段は、前記１以上の視点移動の候補を、それぞれの視点移動に対応する視点位置に存在する複数の撮像装置により撮像された複数の撮像映像をレイアウト表示することにより表示する
ことを特徴とする請求項７に記載の情報処理装置。

【請求項9】

前記生成手段は、前記視点移動映像が予め指定されたフレームレートとなるように、前記複数の撮像映像に基づく補間フレームを生成し、該補間フレームを前記視点移動映像に含める
ことを特徴とする請求項７に記載の情報処理装置。

【請求項10】

前記導出手段は、背景差分法、距離情報、色情報の少なくとも１つを用いて前記撮像映像から前記被写体の領域を抽出し、該抽出した被写体の領域の画素数を前記撮像映像の画素数で除することにより前記面積割合を導出する
ことを特徴とする請求項２又は請求項２に従属する場合の請求項３乃至９の何れか１項に記載の情報処理装置。

【請求項11】

互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の撮像映像を取得する取得工程と、
前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定工程と、
を含むことを特徴とする情報処理装置の制御方法。

【請求項12】

互いに異なる方向から被写体を撮像する複数の撮像手段と、
前記複数の撮像手段により撮像された複数の撮像映像それぞれにおける前記被写体に関する情報を導出する導出手段と、
前記導出手段により導出された前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定手段と、
前記決定手段により決定された前記始点及び終点のうち少なくとも一方に基づく１以上の視点移動の候補を表示する表示手段と、
前記１以上の視点移動の候補から１つの視点移動の候補の選択を操作者から受け付ける受付手段と、
前記選択された１つの視点移動の候補に基づいて視点移動映像を生成する生成手段と、
を有することを特徴とする撮影システム。

【請求項13】

請求項１乃至１０の何れか１項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の撮像装置により撮影された映像に基づき生成される視点移動映像の生成条件を決定する技術に関するものである。

【背景技術】

【0002】

放送局などにおいて、複数のカメラにより得られる複数の映像を表示装置にマルチ表示させ、放送設備に送出される映像を決定する操作者（スイッチャー）に提示するシステムが用いられている。当該システムにおいては、操作者は、一覧表示（マルチ表示）された複数の映像を見て放送設備に送出すべき１つの映像を判断することになる。

【0003】

また、近年、所定の被写体（領域）を複数のカメラにより撮影し、ユーザが自由に視点を変更して視聴できる映像システムが提案されている。特許文献１には、オリジナル動画に対して仮想カメラの視点位置を指定し、当該視点位置における動画を得ることができるシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−０１５５８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、大規模なスタジアムや体育館などのように広い領域を撮影する場合には、使用するカメラ台数が増えることになる。カメラの台数が増えると、所望の映像を選択するにあたって操作者は非常に多くの映像を把握し判断する必要が生じ、映像の選択に多くの時間を要することになる。また、複数の映像を一覧表示した場合、操作者は、視点移動に基づく映像をイメージしにくいという課題もある。

【0006】

本発明は上述の問題点に鑑みなされたものであり、複数の撮像装置により得られた映像に基づく視点移動映像の生成を支援する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、情報処理装置は、互いに異なる方向から被写体を撮像する複数の撮像装置により撮像された複数の撮像映像を取得する取得手段と、前記複数の撮像映像それぞれにおける被写体に関する情報に基づいて、該複数の撮像映像に基づき生成される視点移動映像の視点移動の始点及び終点のうち少なくとも一方を決定する決定手段と、を有する。

【発明の効果】

【0008】

本発明によれば、複数の撮像装置により得られた映像に基づく視点移動映像の生成を支援する技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る撮影システムの構成を示すブロック図である。

【図2】複数の撮像装置の配置の一例を示す図である。

【図3】撮影方向の違いによる前景割合の変化を例示的に示す図である。

【図4】比較処理部で実行される動作を示すフローチャートである。

【図5】複数の撮像装置におけるメタデータをグラフ化した図である。

【図6】表示制御部で実行される動作を示すフローチャートである。

【図7】表示部に表示するＧＵＩの例を示す図である。

【図8】他のシステム構成を示すブロック図である。

【図9】更に他のシステム構成を示すブロック図である。

【図10】複数の撮像装置の他の配置例を示す図である。

【図11】情報処理装置を構成するＰＣのハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

【0011】

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、被写体を異なる方向から撮像する複数の撮像装置により撮像された複数の撮像映像に基づき、カメラワークの候補である推奨カメラワークを操作者に提示する情報処理装置について説明する。

【0012】

＜複数の撮像装置を用いたカメラワーク映像＞
一般には、「カメラワーク」は、１台のカメラ（撮像装置）を動かして撮影する一連の動作を意味する。ただし、以下の説明においては、被写体を異なる方向から撮像する複数の撮像装置により撮像された複数の撮像映像を連続的に切り替えることに得られる仮想的な視点移動の制御を意味する。また、当該仮想的な視点移動の制御により得られる映像を以下では「カメラワーク映像」又は「視点移動映像」と呼ぶ。

【0013】

放送設備に送出すべき映像を制御する操作を行う操作者（スイッチャー）は、所望の映像になるようにカメラワークを考えて映像を切り替える必要がある。しかも、絶好のシーンタイミングを逃さないように、それらの行為は短時間で行わなければならない。しかしながら、従来の映像システムのように複数のカメラによる複数の映像を一覧表示（マルチ表示）した場合、操作者は、視点移動に基づく映像がイメージしにくい。特に、大規模なスタジアムや体育館などのように広い領域を撮影する場合には、カメラ台数が増え、一覧表示からは視点移動に基づく映像がよりイメージしにくくなる。

【0014】

そこで、第１実施形態では、複数の撮像装置により撮像された複数の撮像映像に基づいて１以上の推奨カメラワークを決定し、当該推奨カメラワークを操作者に提示する情報処理装置について説明する。

【0015】

＜システム構成＞
図１は、第１実施形態に係る情報処理装置を含む撮影システムの概略構成を示すブロック図である。撮影システムは、複数の撮像装置１１０ａ，１１０ｂ・・・（以下、単に撮像装置１１０と表記する）、映像伝送切替装置１３０、情報処理装置１４０、表示装置１５０を含み、ネットワーク１６０に接続されている。

【0016】

撮像装置１１０は、ビデオカメラ等の撮像部１１１、撮像部１１１により得られた映像を圧縮し外部装置へ伝送する機能を有する映像処理部１１２を含む。撮像部１１１で捉えた映像は、映像処理部１１２によって、伝送効率を上げるために例えばＨ．２６４などの映像圧縮フォーマットに圧縮処理されて後段に伝送される。なお、撮像装置１１０の個数は、被写体までの距離あるいは撮影対象の規模によって変化する。例えば、大規模な競技場などでは個数は増大し１００台を超えることもある。

【0017】

映像伝送切替部１３０は、例えばネットワークスイッチであり、複数の映像処理部１１２からの圧縮映像を、後述する映像要求信号によって切り替える機能部である。

【0018】

情報処理装置１４０は、サーバー等のコンピュータにより構成される。情報処理装置１４０は、入力された映像を記憶する映像記憶部１４１、ネットワーク１６０に送出する映像を生成する映像生成部１４２、後述する比較処理を行う比較処理部１４３を有する。また、情報処理装置１４０は、表示装置１５０に表示する内容を制御するための表示制御部１４４を更に含む。表示装置１５０は、ユーザに視覚情報を提供するための液晶ディスプレイ等の表示装置である。ネットワーク１６０は、ＬＡＮあるいはインターネット等の有線又は無線による通信ネットワークである。

【0019】

情報処理装置１４０は、撮像装置１１０により撮像された映像を要求するための映像要求信号を、映像伝送切替装置１３０を介して映像処理部１１２に送信する。映像要求信号を受信した映像処理部１１２は、当該映像要求信号にしたがって撮像部１１０によって撮像された映像を情報処理装置１４０に送信する。情報処理装置１４０は、複数の撮像装置に対して映像要求信号を送信することにより、当該複数の撮像装置により撮像された映像を映像記憶部１４１に保存することが出来る。

【0020】

映像生成部１４２は、映像記憶部１４１に保存された複数の撮像装置による映像を用いて、ネットワーク１６０に送出する映像を生成する処理を実行する。例えば、図７を参照して後述するＧＵＩを介して操作者により選択された推奨カメラワークに基づいて、カメラワーク映像を生成しネットワーク１６０に送出する処理を実行する。

【0021】

比較処理部１４３は、所定の基準データと複数の撮像装置それぞれが捉えた映像とを比較し、撮像装置ごとにメタデータを生成する。表示制御部１４４は、比較処理部１４３により生成されたメタデータと所定の閾値データとを解析し、複数の撮像装置に対する解析結果に基づいて表示装置１５０に表示する内容を決定する。

【0022】

表示装置１５０は、表示制御部１４４により決定された表示内容を操作者（例えばスイッチャー）に提示する機能部である。特に、以下で詳述するように、複数の推奨カメラワークを操作者に提示する。また、ここでは、表示装置１５０は、操作者からの操作を受け付け、情報処理装置１４０がネットワーク１６０に送出する映像を切り替えることができる。例えば、表示装置１５０は、１つの推奨カメラワークの選択を操作者から受け付け情報処理装置１４０に通知することにより、情報処理装置１４０は選択された推奨カメラワークに従ったカメラワーク映像を生成する。

【0023】

ネットワーク１６０には、不図示の様々な視聴用端末が接続されている。視聴者は、例えば視聴用端末で動作するアプリケーションを介して、情報処理装置１４０から送出された映像を視聴することが可能となる。

【0024】

図１１は、情報処理装置１４０を構成するＰＣのハードウェア構成図である。ここでは、情報処理装置１４０が一般的なパーソナルコンピュータ（ＰＣ）１１００で構成される例を示している。以下の説明においては、図１に示す情報処理装置１４０の各機能部をＣＰＵがソフトウェアプログラムを実行することによって実現する形態について説明する。ただし、情報処理装置１４０の各機能部の一部又は全部を、特定用途向け集積回路（ＡＳＩＣ）やＦＰＧＡなどのハードウェアにより処理するよう構成してもよい。ここで、ＦＰＧＡは、field programmable gate arrayの略である。

【0025】

ＣＰＵ１１２０は、ＰＣ１１００を統括的に制御する。ＣＰＵ１１２０は、例えばＲＯＭ１１２２やハードディスクドライブ（ＨＤＤ）１１２６に格納された制御プログラムを実行することにより図１に示される各機能部を実現する。ＨＤＤ１１２６、例えば、ＰＣ１１００で利用されるアプリケーションプログラムあるいは各種の制御プログラムを記憶する。また、アプリケーションプログラムあるいは各種の制御プログラムに関連する各種情報を保存する。また、一時的に各種情報を記憶するためにＲＡＭ１１２１も利用される。

【0026】

入力部１１２５は、ユーザからのデータ入力を受け付ける機能部である。例えば、キーボードやマウス、あるいはタッチパネルなどにより構成される。また、ディスプレイインタフェース（Ｉ／Ｆ）１１２３は、ユーザに各種情報を提供するために表示装置１５０に映像を提供する機能部である。通信インタフェース（Ｉ／Ｆ）１１２４は、図１に示す映像伝送切替装置１３０やネットワーク１６０に接続するためのインタフェースであり、例えば、有線通信又は無線通信のインタフェースである。

【0027】

＜複数の撮像装置の配置＞
図２は、競技場に配置された複数の撮像装置の配置を模式的に示した図である。図２は、競技場のフィールド２２０を上方から見た場合の状況を示しており、複数の撮像装置１１０である複数のカメラ２１０は、フィールド２２０を囲むように配置してある。カメラ２１０は、それぞれ所定の方向を撮影するように設定された固定カメラとして構成されている。ここでは、それぞれのカメラは、同一の注視点としてフィールドの中央部２３０を撮影するように構成されている。ここでは、説明を単純化するために固定カメラを用いる形態について説明するが、後述の前景割合を導出可能な構成であれば、パン・チルト・ズームが可能な撮像装置（ＰＴＺカメラ）を用いてもよい。

【0028】

複数の撮像装置をフィールドの周囲に被写体を囲むように配置し、それぞれの撮像装置で得られた映像を連続的に切り替えることにより、上述のカメラワーク映像を生成することが可能となる。なお、撮影装置が設置されていない位置からの映像も、撮像装置により得られた映像を画像処理することにより生成することが出来る。例えば、隣接する２つの撮像装置の間の位置からの映像を、当該２つの撮像装置により得られた映像に対して射影変換等の画像処理をすることによって生成することができる。

【0029】

＜複数の撮像装置に対するメタデータ（前景割合）の導出動作＞
図３は、複数の撮像装置に得られる映像における撮影方向の違いによる前景割合の変化を例示的に示す図である。ここで、前景割合とは、撮像された映像における前景画像（オブジェクト３２０の画像領域）の背景画像に対する面積割合を意味する。

【0030】

撮像装置１１０であるカメラ３１０ａ〜３１０ｄは、フィールドの周囲に配置された複数のカメラのうち以下の説明で参照する４つのカメラである。オブジェクト３２０は、フィールド上に存在する３人の人物であり、ここでは図３において上下方向に並んで立っている状況を模式的に示したものである。

【0031】

ここで、カメラ３１０ｂにより撮像された映像を画像３４０ｂに、また、同時刻にカメラ３１０ｃにより撮像された映像を画像３４０ｃに例示的に示している。画像３４０ｂ及び画像３４０ｃは、各カメラにより撮像された映像の一部領域をデジタルズーム（すなわち、一部領域をクロップし拡大）したものである。例えば、操作者が、カメラ３１０ｂにより撮像された映像の一部領域をクロップし拡大する操作を行うと、情報処理装置１４０は、カメラ３１０ｃにより撮像された映像の一部領域をクロップし拡大する。具体的には、情報処理装置１４０は、各撮像装置で撮影されたオブジェクトの大きさ（ここでは人物の高さ）が同じとなるようにデジタルズームを行う。この動作により、各撮像装置で撮像された映像における前景割合は規格化され、比較することが可能となる。

【0032】

例えば、画像３４０ｂでは、フィールド内にいる３人の人物が重なった状態として撮影されている。一方、同時刻に撮影された画像３４０ｃでは、３人の人物が横方向に並んだような状態として撮影されている。そのため、画像３４０ｂにおける前景割合は、画像３４０ｃにおける前景割合に比較し、より小さな値として導出される。すなわち、画像３４０ｂの前景割合をＲ_３４０ｂ、映像３４０ｃの前景割合をＲ_３４０ｃとすると、Ｒ_３４０ｂ＜Ｒ_３４０ｃとなる。

【0033】

図４は、比較処理部１４３で実行される動作を示すフローチャートである。なお、以下の処理は、各撮像装置（カメラＩＤ）で撮像された同時刻のフレーム画像それぞれについて行われる。

【0034】

ステップＳ１０１では、比較処理部１４３は、比較処理をスタートする。例えば、操作者による何らかの操作に応じて実行開始するよう構成してもよいし、所定の時間間隔ごとに実行開始するよう構成してもよい。

【0035】

ステップＳ１０２では、比較処理部１４３は、指定されたカメラＩＤの背景画像を映像記憶部から読みだす。例えば、指定されたカメラＩＤのカメラが、競技場のフィールドに人間（オブジェクト）が存在しない状態においてあらかじめ撮像し映像記憶部１４１に格納しておいた背景画像を読み出す。ステップＳ１０３では、比較処理部１４３は、指定されたカメラＩＤの映像（フレーム画像）を映像記憶部１４１から読み出す。

【0036】

ステップＳ１０４では、比較処理部１４３は、Ｓ１０２で読み出した背景映像とＳ１０３で読み出した映像とに基づいて、Ｓ１０３で読み出した映像を前景画像と背景画像に分離する。例えば、前景画像が人間のように時間と共に移動する移動オブジェクトである場合、公知の背景差分法を利用して分離することが出来る。

【0037】

背景差分法は、画像から前景画像を抽出する方法として、背景画像をあらかじめ撮影しておき、背景は変化しない（画像輝度は変化しない）と仮定して、撮影された画像で背景に一致しない部分領域を前景として抽出する手法である。

【0038】

ステップＳ１０５では、比較処理部１４３は、前景の影を除去する。すなわち、背景差分法において前景画像と判定された領域には、前景であるオブジェクト（人間）の影も含まれ得るため、当該影の部分を除去する。影の除去についても、公知の背景差分法と共に提案されている任意の手法が利用可能であるため説明は省略する。ステップＳ１０６では、比較処理部１４３は、Ｓ１０４およびＳ１０５の結果に基づいて、Ｓ１０３で読み出した映像から影を含まない前景画像を抽出する。

【0039】

ステップＳ１０７では、比較処理部１４３は、Ｓ１０２で読み出した背景画像とＳ１０６で抽出した前景画像との比として前景割合を算出する。例えば、
前景割合＝前景画像の画素数／背景画像の画素数
として前景割合を導出する。なお、背景画像の画素数には、Ｓ１０５で除去対象となった影部分の画素数を加えてもよい。また、
前景割合＝前景画像の画素数／（前景画像の画素数＋背景画像の画素数）
として導出してもよい。なお、上述のように、他のカメラにおける前景割合と比較可能とするため、オブジェクトの大きさを基準にデジタルズームを行い規格化された画像に対して前景割合を算出する。

【0040】

ステップＳ１０８では、比較処理部１４３は、Ｓ１０７で算出した前景割合を対応するカメラＩＤに関連付けてメタデータとして保存する。

【0041】

＜推奨カメラワークの決定動作＞
以下では、各撮像装置に対して導出された前景割合（メタデータ）に基づいて推奨カメラワークを決定する手法について説明する。特に、前景割合の値に基づいて推奨カメラワークにおける始点及び終点を決定する手法について説明する。

【0042】

図５は、各撮像装置に対応するメタデータ（前景割合）をグラフ化した図である。横軸はＣＩＤ（カメラＩＤ）、縦軸はｄｔｒ（前景割合）である。なお、ＣＩＤの並びは、図３における矢印３３０で示すカメラの並びと合わせてある。すなわち、図５に示す曲線５００は、矢印３３０の範囲の複数のカメラにおける前景割合の変化を示している。図示されるように、曲線５００においては、下に凸のピーク５１０と上に凸のピーク５２０が観測される。

【0043】

上述したように、前景割合が低いことを示す下に凸のピークは、例えば、複数の人物が重なった状態（画像３４０ｂ）で撮影されていると推測される。一方、前景割合が高いことを示す上に凸のピークは、複数の人物が横に並んだ状態（画像３４０ｃ）で撮影されていると推測される。点線５１５は、ピーク５１０に対応するカメラＩＤを示す点線であり、点線５２５は、ピーク５２０に対応するカメラＩＤを示す点線である。ここで、点線５１５はカメラ３１０ｂのカメラＩＤに対応し、点線５２５はカメラ３１０ｃのカメラＩＤに対応する。なお、図５は一例であって、映像のシーンによっては、前景割合のカーブが比較的なだらかな場合もある。この場合であっても、一連の前景割合のデータ群を微分するなどして、ピークなどの特徴点を抽出すればよい。

【0044】

上述の２つのピーク５１０及び５２０に対応する２つのカメラＩＤの撮像装置をそのまま推奨カメラワークの始点および終点の撮像装置として選択することも可能である。ただし、ここでは、よりダイナミックなカメラワーク映像を生成するために、以下の処理により、各ピークに対応する視点位置に対して所定角度だけずらした視点位置のカメラを、始点および終点の撮像装置として決定する。

【0045】

図５において、ＴＨ_Ｌｏｗは、下に凸のピーク５１０と連動して可変する閾値であり、ＴＨ_Ｈｉｇｈは、上に凸のピーク５２０と連動して可変する閾値である。点線５３０は、曲線５００とＴＨ_Ｌｏｗとの交点に対応し、点線５４０は、曲線５００とＴＨ_Ｈｉｇｈとの交点に対応する。すなわち、ここでは、視線移動の範囲をより広げるために、２つのピーク５１０及び５２０の範囲より外側にある交点に対応するカメラＩＤを選択している。ここで、点線５３０はカメラ３１０ａのカメラＩＤに対応し、点線５４０はカメラ３１０ｄのカメラＩＤに対応する。

【0046】

すなわち、始点及び終点として、カメラ３１０ａ及びカメラ３１０ｄが選択される。その結果、例えば、カメラ３１０ａの視点からカメラ３１０ｄの視点までのカメラワーク（矢印３３０）が、推奨カメラワークの１つとして決定される。操作者が、当該推奨カメラワークによるカメラワーク映像の生成を映像生成部１４２に指示することにより、映像生成部１４２は、見応えのあるカメラワーク映像を生成することが可能となる。なお、撮像装置の範囲を、例えば、上述の２つのピークに対応するカメラから所定台数だけ外側のカメラを選択することにより決定してもよい。

【0047】

図６は、表示制御部１４４で実行される動作を示すフローチャートである。上述のように、推奨カメラワークの始点及び終点となる撮像装置を、各撮像装置における前景割合（メタデータ）に基づいて決定する処理である。

【0048】

ステップＳ２０１では、表示制御部１４４は、決定処理をスタートする。例えば、操作者による何らかの操作に応じて実行開始するよう構成してもよいし、所定の時間間隔ごとに実行開始するよう構成してもよい。ステップＳ２０２では、表示制御部１４４は、各カメラＩＤのメタデータ（前景割合）を全て読み出す。例えば、図５に示すような前景割合を映像記憶部１４１から読み出す。

【0049】

ステップＳ２０３では、表示制御部１４４は、読み出したメタデータから前景割合の最小値（極小値）を探索し、当該データのカメラＩＤを決定し保存する。同様に、ステップＳ２０４では、表示制御部１４４は、読み出したメタデータから前景割合の最大値（極大値）を探索し、当該データのカメラＩＤを決定し保存する。

【0050】

ステップＳ２０５では、表示制御部１４４は、低い側の閾値ＴＨ_Ｌｏｗとメタデータとの比較を行い、比較結果を保存する。なお、ＴＨ_Ｌｏｗは、Ｓ２０３で探索された前景割合の最小値に基づいて決定される。例えば、ＴＨ_Ｌｏｗは、探索された最小値に所定値を加算することにより決定される。ここで、所定値は、予め設定された固定の値でもよいし、探索された最小値と最大値の差に基づいた値でもよい。例えば、探索された最小値と最大値の差の１０％の値を所定値としてもよい。

【0051】

ステップＳ２０６では、表示制御部１４４は、全てのカメラＩＤのメタデータについてＳ２０５の比較が行われたかを判断する。全てのカメラＩＤについて比較が終了した場合は、Ｓ２０７に進む。一方、比較が終了していないカメラＩＤが残っている場合には、Ｓ２０５の処理を繰り返す。

【0052】

ステップＳ２０７では、表示制御部１４４は、高い側の閾値ＴＨ_Ｈｉｇｈと前景割合との比較を行い、比較結果を保存する。なお、ＴＨ_Ｈｉｇｈは、Ｓ２０４で探索された前景割合の最大値に基づいて決定される。例えば、ＴＨ_Ｈｉｇｈは、探索された最大値に所定値を減算することにより決定される。ここで、所定値は、予め設定された固定の値でもよいし、探索された最小値と最大値の差に基づいた値でもよい。例えば、探索された最小値と最大値の差の１０％の値を所定値としてもよい。

【0053】

ステップＳ２０８では、表示制御部１４４は、全てのカメラＩＤのメタデータについてＳ２０７の比較が行われたかを判断する。全てのカメラＩＤについて比較が終了した場合は、Ｓ２０９に進む。一方、比較が終了していないカメラＩＤが残っている場合には、Ｓ２０７の処理を繰り返す。

【0054】

ステップＳ２０９では、表示制御部１４４は、Ｓ２０５およびＳ２０７における比較結果に基づいて、カメラワークの始点となるカメラのカメラＩＤを決定する。同様に、ステップＳ２１０では、表示制御部１４４は、視点移動の終点となるカメラのカメラＩＤを決定する。例えば、図５に示すメタデータを処理している場合には、点線５３０に対応するカメラ３１０ａのカメラＩＤ、点線５４０に対応するカメラ３１０ｄのカメラＩＤが、カメラワークの始点又は終点として決定される。

【0055】

ステップＳ２１１では、表示制御部１４４は、表示装置１５０におけるレイアウト表示に利用する映像に対応する撮像装置のカメラＩＤを決定する。

【0056】

＜表示部におけるグラフィカルユーザインタフェース（ＧＵＩ）の例＞
図７は、表示装置に表示するＧＵＩの例を示す図である。当該ＧＵＩは、表示制御部１４４により決定された１以上の推奨カメラワークをユーザに提示し選択させるためのユーザインタフェースである。領域７１０〜７３０は、推奨カメラワークを例示的に表示する領域であり、ここでは３つの推奨カメラワークを例示的に表示している。

【0057】

また、ＧＵＩ画面の上部には、３つの映像領域７４０，７５０，７６０を配置している。領域７４０は、ネットワーク１６０を介して現在配信されている映像（リアルタイム映像）を表示する領域である。領域７５０は、現在選択されている推奨カメラワークによる映像（連続映像）を表示する領域である。なお、処理負荷を減らすため、領域７５０における連続映像においては、仮想視点（隣接する撮像装置間の視点）からの補間フレーム（補間映像）は挿入せず、複数の撮像装置の映像を切替たものでもよい。領域７６０は、フィールドを俯瞰して撮影している映像（俯瞰映像）を表示する領域である。操作者は、領域７６０に表示される俯瞰映像を適宜観察することによって、推奨カメラワークによる映像にはない他の映像を撮像している撮像装置に素早く切り替えることが可能となる。

【0058】

ここでは、領域７１０〜７３０において、それぞれの推奨カメラワークにより得られるカメラワーク映像を、７つの視点画像のレイアウト表示として表示する例を示している。当該レイアウト表示により、操作者は、それぞれの推奨カメラワークにより得られるカメラワーク映像を容易に把握できるようになる。ただし、上述のレイアウト表示に限定されるごとはなく、推奨カメラワークを操作者が容易に想像できる表示であればよい。

【0059】

領域７１０の枠内の右側に配置される領域７１７には、図３に相当するフィールド俯瞰図が表示される。すなわち、操作者は、当該フィールド俯瞰図を参照することにより、選択された撮像装置の位置および視点移動の状態を容易に把握することが出来る。矢印７１８は、７つの視点画像における視点移動の方向を示す表示である。ここでは、矢印７１８は、図３の矢印３３０の範囲に対応している。

【0060】

ラジオボタン７９０は、操作者が、推奨カメラワークを選択する際に使用するラジオボタンである。図７に示す３つの推奨カメラワークの何れかのラジオボタン７９０を操作者が選択することによって、表示制御部１４４は、実際のカメラワーク映像の生成に使用する推奨カメラワークの選択を受付けることが可能となっている。

【0061】

例えば、操作者により、ラジオボタン７９０が選択された（領域７１０に示す推奨カメラワークが選択された）場合、情報処理装置１４０は、映像を取得する撮像装置を矢印３３０に沿ってカメラ３１０ａから３１０ｄまで順次切り替える。この際、映像生成部１４２は、ネットワーク１６０に送出される映像が所望のフレームレートの映像となるように、カメラワーク映像を生成する。このとき、より滑らかなカメラワーク映像とするために仮想視点からの補間フレームを生成しカメラワーク映像に含めるようにすると好適である。なお、補間フレームの生成自体は、公知の任意の手法が利用可能である。

【0062】

以上説明したとおり第１実施形態によれば、複数のカメラにより得られる映像に基づき生成する視点移動映像（カメラワーク映像）の始点と終点の視点を好適に決定することが可能となる。特に、複数のカメラにより得られるそれぞれの映像における前景割合を利用することにより、推奨カメラワークの決定を効率よく行うことが可能となる。

【0063】

なお、上述の説明においては、前景割合において、隣接する極大値（上に凸のピーク）及び極小値（下に凸のピーク）となる２台のカメラ間を視点移動する推奨カメラワークを決定する例について説明を行った。すなわち、オブジェクトを中心に視点を約９０度回転する推奨カメラワークを決定した。ただし、他の基準を用いた推奨カメラワークを決定するよう構成してもよい。また、曲線における特徴点として、上述の極大値・極小値の他、最大勾配点などを検出し、推奨カメラワークの始点又は終点に用いるよう構成してもよい。更に、始点及び終点の両方を決定するのではなく一方のみを決定するよう構成してもよい。

【0064】

（変形例）
＜前景画像の他の抽出方法＞
第１実施形態においては、背景差分法を用いて前景画像の領域を抽出する形態について説明した。しかしながら、前景画像の抽出方法は当該方法に限定されるものではない。

【0065】

例えば、映像内の被写体と背景画像の距離情報を用いうよう構成してもよい。距離情報を用いて前景画像を抽出するには、背景であるフィールド内の被写体と撮像装置間の距離情報をあらかじめ基準データとして所持しておく必要がある。なお、画像内の距離情報を計測する手法としては、例えば、複数の撮像装置により得られた画像を利用するステレオ方式がある。距離情報を所定の閾値と比較することにより、所定範囲内の領域を前景画像として抽出すればよい。

【0066】

また、前景画像の抽出方法として、色情報を用いてもよい。色情報を用いる場合には、基準データとして、背景画像の色情報（例えばフィールドの緑色）を登録しておいて、当該データとの比較によって、差がある領域を前景画像として抽出すればよい。更に上述の方法を組み合わせて使用し前景画像を抽出するよう構成してもよい。

【0067】

＜比較処理部の他の構成＞
第１実施形態においては、比較処理部１４３は、情報処理装置１４０内に配置される機能部であるとして説明を行った。ただし、図８に示すように、比較処理部を撮像装置に配置してもよい。

【0068】

図８は、比較処理部を各々の撮像装置内に配置したシステム構成を示すブロック図である。図８の構成においては、撮像部８１１で撮影した映像は、映像処理部８１２で一旦処理されて、比較処理部８１３に転送される。比較処理部８１３では、第１実施形態と同様に、前景の抽出および前景割合の算出を実行する。そして、比較処理部８１３は、算出した前景割合をメタデータとして、映像伝送切替装置８３０を介して映像記憶部８４１に伝送する。表示制御部８４４は、映像記憶部８４１に格納された各撮像装置のメタデータを第１実施形態と同様に処理することで、推奨カメラワークの始点又は終点を決定する。

【0069】

図８に示す構成とすることにより、伝送先の情報処理装置８４０における負荷を軽減することが可能となる。また、各撮像装置内の比較処理部８１３は自装置の撮像部９１１で撮像された映像のみを処理するため、比較処理の負荷が各撮像装置に分散されるというメリットもある。

【0070】

＜表示制御部の他の構成例＞
第１実施形態においては、ネットワーク１６０に送出する前段階で、情報処理装置１４０内の表示制御部１４４において映像の解析を行って、表示装置１５０に表示する内容を決定した。ただし、図９に示すように、表示制御部を表示装置内に配置してもよい。

【0071】

図９は、操作者による操作を受け付ける情報処理装置９５０と映像を生成／配信する情報処理装置９４０とを別体としたシステム構成を示すブロック図である。情報処理装置９５０は、処理負荷が大きい映像生成部を有さないため、例えば、モバイル端末等のディスプレイ一体型の小型装置として構成することも可能である。すなわち、図９に示す構成とすることにより、操作者は、モバイル端末など様々な形態の端末装置を介して、利用するカメラワークを指示することが可能となる。

【0072】

＜撮像装置の他の配置例＞
複数の撮像装置の配置は、フィールドの大きさや被写体の動き方などによって、様々な構成が考えられる。

【0073】

図１０は、複数の撮像装置を２つのグループに区分して配置した例を示す図である。具体的には、地点１３０１を中心に撮像する黒塗りで示すカメラ１３０３のグループと、地点１３０２を中心に撮像する白抜きで示すカメラ１３０４のグループとの２グループ構成となっている。そして、各グループについて、上述のメタデータの生成（図４）、及び、推奨カメラワークの決定（図６）を行う。この構成により、表示装置１５０においては、撮像装置グループごとに推奨カメラワークを表示することが可能となる。

【0074】

なお、上述の実施形態では、図４の処理が情報処理装置１４０における比較処理部１４３により行われる例を中心に説明したが、これに限らない。例えば、図４の処理が撮像装置１１０によって行われる場合、情報処理装置１４０は、撮像装置１１０から前景割合に関する情報とカメラＩＤに関する情報を取得する。このようにしても、情報処理装置１４０は、各撮像装置１１０の前景割合に関する情報を取得できる。また、映像伝送切替装置１３０や、それ以外の装置において前景割合が導出され、情報処理装置１４０に提供されるようにしても良い。

【0075】

また、上述の実施形態では、前景割合の情報に基づいてカメラワーク映像の始点と終点を決定する例を中心に説明したが、これに限るものではない。前景割合に代えて、例えば前景画像のサイズに関する情報や、前景画像の数（図３におけるオブジェクト３２０の数）に関する情報や、それらの組合せを用いることも可能である。すなわち、本実施形態の情報処理装置１４０は、撮像映像における前景画像（被写体）に関する情報に基づいて、視点移動映像の始点移動の始点及び終点を決定することができる。

【0076】

また、上述の実施形態では、視点移動映像の視点移動の始点および終点を決定する場合の例を中心に説明したが、必ずしも始点と終点の両方を決めなければならないわけではない。例えば、情報処理装置１４０は、始点のみを操作者に提示し、終点については操作者に選ばせるようにしても良い。このような構成によっても、複数の撮像装置により得られた映像に基づく視点移動映像の生成を支援するという効果が得られる。

【0077】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0078】

１１０ 撮像装置； １１１ 撮像部； １１２ 映像処理部； １３０ 映像伝送切替装置； １４０ 情報処理装置； 映像記憶部１４１； 映像生成部１４２； 比較処理部１４３； 表示制御部１４４； １５０ 表示装置； １６０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】