特許 7589214 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241118BHJP

   G06T 15/20 20110101ALI20241118BHJP

   H04N 7/18 20060101ALI20241118BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

H04N7/18 V

【請求項の数】 13

(21)【出願番号】P 2022178606

(22)【出願日】2022-11-08

(62)【分割の表示】P 2018007159の分割

【原出願日】2018-01-19

(65)【公開番号】P2023010759

(43)【公開日】2023-01-20

【審査請求日】2022-11-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】小沼 和文

【審査官】▲高▼橋 真之

(56)【参考文献】

【文献】特開２０１７－２１２５９３（ＪＰ，Ａ）

【文献】特開２０１３－１５７６７１（ＪＰ，Ａ）

【文献】特開２０１５－２３１１１４（ＪＰ，Ａ）

【文献】菅野勝ほか，ＤＶＲへの搭載を目的としたスポーツハイライト動画像生成方式，電子情報通信学会論文誌 Ｄ，2013年02月01日，Vol.J96-D，No.2，pp.316-327

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置によって撮像されたシーンを示す複数のシーン情報を取得するシーン取得手段と、
ユーザからの前記シーン情報の選択操作を受け付ける選択手段と、
前記選択手段によって選択されたシーン情報に基づいて、前記複数の撮像装置による撮像期間の一部に対応する仮想視点画像の生成を指示する指示手段と、
前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を取得する画像取得手段と、
前記画像取得手段により取得した前記仮想視点画像を表示するよう制御する表示制御手段と、を有し、
前記表示制御手段は、
前記選択手段による選択操作を受け付けている状態において、前記複数のシーン情報に含まれるサムネイル画像をそれぞれ表示し、
前記選択手段によって前記複数のシーン情報のうち１つのシーン情報が選択された場合、前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得手段によって取得するまで、前記サムネイル画像を拡大表示し、
前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得手段によって取得したことに応じて、当該取得した仮想視点画像を表示するよう制御し、
ここで、前記サムネイル画像と前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像とは、同じ仮想視点の位置情報および当該仮想視点の姿勢情報に基づいて生成される仮想視点画像であり、
前記仮想視点画像は、前記複数の撮像装置によって取得された複数の撮像画像から生成された素材データを用いて生成される
ことを特徴とする情報処理装置。

【請求項2】

前記シーン情報は、前記素材データに含まれる音声データに基づいて生成されることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記素材データは、前記撮像画像に含まれるオブジェクトの三次元モデルデータ、および、前記三次元モデルデータのテクスチャデータを含むことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記画像取得手段により取得した前記仮想視点画像における仮想視点の位置情報と、当該仮想視点の姿勢情報と、を取得する情報取得手段と、
前記情報取得手段により取得した仮想視点の位置情報と当該仮想視点の姿勢情報に基づいて、前記画像取得手段により取得した前記仮想視点画像の仮想視点の位置および姿勢を決定するためのユーザ操作を受け付ける操作手段と、をさらに有し、
前記指示手段は、前記操作手段により受け付けたユーザ操作に基づいて決定された仮想視点画像の仮想視点の位置および姿勢に基づいて、仮想視点画像の生成を指示する
ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記情報取得手段は、前記仮想視点の推奨移動速度に対応する情報をさらに取得することを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記情報取得手段は、前記仮想視点の移動範囲に対応する情報をさらに取得することを特徴とする請求項４又は５に記載の情報処理装置。

【請求項7】

前記複数のシーン情報は、それぞれ、サムネイル画像をさらに含み、
前記表示制御手段は、前記選択手段によって受け付けたユーザ操作に基づいて選択されたシーン情報に対応するサムネイル画像を表示するよう制御する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

前記複数のシーン情報は、それぞれのシーンに関する時間情報と識別子とを含み、
前記時間情報は、当該シーンが撮像された時刻を示し、
前記識別子は、前記時間情報により示される時刻に発生した当該シーンを特定するための情報であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記時間情報に基づいて、前記複数のシーン情報のそれぞれに対応するシーンについて、当該シーンが記録されている区間を示すように表示制御を行う
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記表示制御手段は、前記複数のシーン情報のそれぞれのシーンについて、それぞれのシーンが記録されている区間を示すよう制御を行う
ことを特徴とする請求項９に記載の情報処理装置。

【請求項11】

前記表示制御手段は、前記複数のシーン情報に基づく操作画面をディスプレイに表示させることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

複数の撮像装置によって撮像されたシーンを示す複数のシーン情報を取得するシーン取得工程と、
ユーザからの前記シーン情報の選択操作を受け付ける選択工程と、
前記選択工程によって選択されたシーン情報に基づいて、前記複数の撮像装置による撮像期間の一部に対応する仮想視点画像の生成を指示する指示工程と、
前記選択工程によって選択されたシーン情報に基づいて生成された前記仮想視点画像を取得する画像取得工程と、
前記画像取得工程により取得した前記仮想視点画像を表示するよう制御する表示制御工程と、を有し、
前記表示制御工程は、
前記選択工程による選択操作を受け付けている状態において、前記複数のシーン情報に含まれるサムネイル画像をそれぞれ表示し、
前記選択工程によって前記複数のシーン情報のうち１つのシーン情報が選択された場合、前記選択工程によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得工程によって取得するまで、前記サムネイル画像を拡大表示し、
前記選択工程によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得工程によって取得したことに応じて、当該取得した仮想視点画像を表示するよう制御し、
ここで、前記サムネイル画像と前記選択工程によって選択されたシーン情報に基づいて生成された前記仮想視点画像とは、同じ仮想視点の位置情報および当該仮想視点の姿勢情報に基づいて生成される仮想視点画像であり、
前記仮想視点画像は、前記複数の撮像装置によって取得された複数の撮像画像から生成された素材データを用いて生成される
ことを特徴とする情報処理方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、仮想視点の映像を生成するために用いて好適なものである。

【背景技術】

【0002】

それぞれ異なる位置に配置された複数のカメラによってオブジェクトを複数の視点で同期撮影し、その撮影で得られた複数視点の画像を用いて仮想視点コンテンツ（任意の仮想的な視点から見た場合の画像）を生成する技術がある。特許文献１には、複数の視点の画像に基づいて仮想視点コンテンツを生成して保存し、視点情報や視野情報に基づく映像情報データを読み出すことによって、任意の仮想視点コンテンツを取得する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２０４５１２号公報

【非特許文献】

【0004】

【文献】「Ｖｉｒｔｕａｌ Ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｆｏｒ ３Ｄ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ」（ＩＥＥＥ ＭＵＬＴＩＭＥＤＩＡ Ｖｏｌ．４ Ｎｏ．１ ｐｐ．１８－２６、１９９７年）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、仮想視点コンテンツは、当該仮想視点コンテンツが得られた時間と、仮想視点位置姿勢（仮想視点の位置・姿勢）という二つの自由度を持つ。従って、或るシーンの仮想視点コンテンツを生成する場合に、時間と仮想視点位置姿勢との双方を適切に決定することが容易ではない。このため、例えば、シーンを検索した結果、何もオブジェクトが表示されないといったことが生じ得る。このように従来の技術では、仮想視点の位置・姿勢の決定やシーンの特定等が容易ではない。よって、仮想視点コンテンツを生成する際のユーザの利便性を向上させることが容易ではない。
本発明は、このような問題点に鑑みてなされたものであり、仮想視点の映像を生成する際のユーザの利便性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の情報処理装置は、複数の撮像装置によって撮像されたシーンを示す複数のシーン情報を取得するシーン取得手段と、ユーザからの前記シーン情報の選択操作を受け付ける選択手段と、前記選択手段によって選択されたシーン情報に基づいて、前記複数の撮像装置による撮像期間の一部に対応する仮想視点画像の生成を指示する指示手段と、前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を取得する画像取得手段と、前記画像取得手段により取得した前記仮想視点画像を表示するよう制御する表示制御手段と、を有し、前記表示制御手段は、前記選択手段による選択操作を受け付けている状態において、前記複数のシーン情報に含まれるサムネイル画像をそれぞれ表示し、前記選択手段によって前記複数のシーン情報のうち１つのシーン情報が選択された場合、前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得手段によって取得するまで、前記サムネイル画像を拡大表示し、前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像を前記画像取得手段によって取得したことに応じて、当該取得した仮想視点画像を表示するよう制御し、ここで、前記サムネイル画像と前記選択手段によって選択されたシーン情報に基づいて生成された前記仮想視点画像とは、同じ仮想視点の位置情報および当該仮想視点の姿勢情報に基づいて生成される仮想視点画像であり、前記仮想視点画像は、前記複数の撮像装置によって取得された複数の撮像画像から生成された素材データを用いて生成されることを特徴とする。

【発明の効果】

【0007】

本発明によれば、仮想視点の映像を生成する際のユーザの利便性を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】情報処理システムの構成を示す図である。

【図2】素材データを生成する際の処理を示すフローチャートである。

【図3】仮想視点補助情報を生成する際の処理を示すフローチャートである。

【図4】仮想視点の映像を生成する際の処理を示すフローチャートである。

【図5】複数の撮像部の配置を示す図である。

【図6】シーン特定情報を示す図である。

【図7】仮想視点映像操作画面を示す図である。

【図8】時間指示部の変形例を示す図である。

【図9】表示部の変形例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、実施形態を説明する。本実施形態では、複数の撮像装置（カメラ）によって撮像された複数の画像から１つ以上のオブジェクトについての三次元モデルを生成し、その三次元モデルに基づいて仮想視点コンテンツ（自由視点コンテンツ）を生成するシステムを例に挙げて説明する。オブジェクトとは、例えば、サッカーであれば、例えば、選手、審判、ボール、ゴールなどである。

【0010】

仮想視点コンテンツの生成は、１つ以上のオブジェクトの三次元モデルを組み合わせることにより行うことができる。複数のカメラで撮像されたオブジェクトの三次元モデルを生成する方法は、例えば、非特許文献１に示される視体積交差法で実現することができる。視体積交差法は、複数のカメラで撮像される測定対象の空間が、小さな立方体または直方体（以下では「ボクセル」と呼ぶ。）によって分割される。そして、各ボクセルが幾何学的に変換されてカメラで撮像された画像に投影され、当該画像において、モデル化対象の物体のシルエット内に、そのボクセルが投影されたか否かが判定される。そして、全てのカメラで撮像された画像でシルエット内に投影されたと判定されたボクセルは、モデル化対象の物体を構成するボクセルとして登録される。このようにして登録されたボクセルの集合体が三次元モデルとして出力される。

【0011】

このように複数のカメラによって撮像された画像から三次元モデルを生成するためには、一般に、多くの計算量および多くの計算時間を要する。特に、高解像度の三次元モデルを生成する場合、ボクセルのサイズを小さくする必要がある。ボクセルのサイズを小さくすることに伴ってボクセルの数が増加する。そうすると、幾何学的に変換されたボクセルがシルエット内に投影されるか否かの判定回数も増大する。このため、三次元モデルやその三次元モデルの各ボクセルの色情報を保持したテクスチャデータ等を、素材データとして予め生成して保存する素材データ生成装置（画像処理サーバなど）を用いてシステムを構成する。このようなシステムによれば、仮想視点コンテンツを生成する度に三次元モデルを生成する処理が行われるのを防ぎ、処理を効率化することができる。

【0012】

また、このようなシステムでは、例えば、素材データを用いて仮想視点コンテンツを生成する映像生成装置が、仮想視点コンテンツを生成する際に、予め生成されて保存されている素材データを素材データ生成装置から取得して映像を生成することができる。仮想視点コンテンツの中から映像の生成を行いたい時間を指定し、その後に映像出力を行うための仮想視点の位置、姿勢および画角などを設定し、当該設定に基づいて映像を生成することが考えられる。

【0013】

しかしながら、これら仮想視点コンテンツのデータにアクセスして所望のシーンの仮想視点の映像を生成する場合、記録された長い時間の中から時間を走査して所望のシーンを特定する必要がある。従って、ユーザにとって利便性が不十分な場合がある。例えば、サッカー等のスタジアム競技の場合、特定の場所を狙った仮想視点では試合全体の把握が困難な場合がある。このような場合、時間と、仮想視点の位置および姿勢との双方の走査が必要になりユーザの利便性がよくないことがある。

【0014】

また、実際にシーンを特定した後に、仮想視点の位置や姿勢などを移動させる場合がある。このような仮想視点の位置や姿勢などの移動速度や移動範囲等は、仮想視点コンテンツ毎に異ならせることが望ましいケースがある。例えば、室内を撮像した画像から得られる仮想視点コンテンツに比べ、グラウンド競技を撮像した画像から得られる仮想視点コンテンツの方が、望ましい移動速度が速い。即ち、室内を撮像した画像から得られる仮想視点コンテンツに対する移動速度は、歩行速度程度とするのが望ましく、グラウンド競技を撮像した画像から得られる仮想視点コンテンツに対する移動速度は、選手が走る速度やボールの球速に合わせることが望ましい。このような仮想視点コンテンツに合わせてある程度決められる仮想視点の指定および／または操作にまつわる設定をユーザがそのつど行うことは利便性の低下につながりかねない。

【0015】

このため、本実施形態では、仮想視点コンテンツに応じて仮想視点の生成および操作を補助するための情報を生成して予め保存しておく。ユーザは、仮想視点コンテンツを利用して仮想視点の映像を生成する際に、当該情報を取得することで、異なるシーンの情報、仮想視点の位置、および仮想視点の移動速度等を仮想視点コンテンツ毎に利用することができる。これによりユーザがその都度、シーンの検索や仮想視点の調整を行わなくとも、仮想視点の映像を生成できるようになる。

【0016】

本実施形態では、このような処理を実行するシステムおよび処理の詳細の一例について、競技場（スタジアム）における競技の様子を撮像して仮想視点の映像を生成する場合を例に挙げて説明する。ただし、仮想視点の映像の対象は、これに限られない。例えば、コンサート会場、相撲などの格闘技会場、または撮影スタジオにおいて撮像された画像に基づく仮想視点の映像の生成が行われてもよい。

【0017】

（システム構成）
図１は、本実施形態に係る情報処理システムの構成の一例を示す図である。図２～図４は、情報処理システムにおける処理の一例を示すフローチャートである。図２は、素材データを生成して保存する際の情報処理システムにおける処理の一例を示すフローチャートである。図３は、仮想視点補助情報を生成して保存する際の情報処理システムにおける処理の一例を示すフローチャートである。図４は、仮想視点の映像を生成して出力する際の情報処理システムにおける処理の一例を示すフローチャートである。

【0018】

情報処理システムは、例えば、撮像部１、同期部２、素材データ生成部３、第一の保存部４ａ、第二の保存部４ｂ、仮想視点補助情報生成部５、映像生成部６、映像出力部７、および、操作部８を含んで構成される。尚、情報処理システムは、１つの電子機器によって構成されてもよいし、複数の電子機器によって構成されてもよい。

【0019】

複数の撮像部１は、撮影対象を複数の方向から撮影する。複数の撮像部１は、同期部２による同期信号に基づいて互いに高精度に同期して撮像を行う（図２のＳ２０１）。図５は、複数の撮像部１の配置の一例を示す図である。図５に示すように、複数の撮像部１は、グラウンドやオブジェクトを囲むように設置され得る（この場合、複数の撮像部１は通信ネットワークを介して撮影データを素材データ生成部３に送る。または、撮影部１に供えられた記憶装置に撮影データを記録し、撮影後に素材データ生成部３に入力してもよい。撮像部１のそれぞれは、撮像した画像（撮像画像）を、素材データ生成部３へ送信する。素材データ生成部３は、複数の撮像部１で複数の視点から撮像された画像を用いて、仮想視点の映像を生成する際に用いられる素材データを生成して、第一の保存部４ａに保存する（図２のＳ２０２、Ｓ２０３）。

【0020】

素材データは、撮像部１により撮像された画像に基づいて生成される仮想視点映像を生成するための素材となるデータである。素材データは、例えば、オブジェクトの三次元モデルを示すボクセルのデータであるオブジェクト三次元モデルと、オブジェクトの三次元モデルの各ボクセルに着色するためのオブジェクトテクスチャとの何れかまたは両方を含む。また、素材データは、オブジェクト以外の背景を投影するためのポリゴンデータである背景三次元モデルと、背景三次元モデルのポリゴンに張り付ける背景テクスチャ画像との何れかまたは両方を含み得る。更に、素材データは、データ転送量を少なくするため、オブジェクトのポリゴンのモデルと、オブジェクトのポリゴンに張り付けるオブジェクトのポリゴン用のテクスチャとの何れかまたは両方を含み得る。尚、素材データの三次元モデルは、例えば、前述した視体積交差法を用いて生成され得る。しかしながら、素材データの三次元モデルの生成には、これ以外の方法が用いられてもよく、他の任意の方法によって三次元モデルが生成されてもよい。また、他の素材データについても、任意の方法によって生成され得る。

【0021】

仮想視点補助情報生成部５は、仮想視点補助情報を生成して第二の保存部４ｂに保存する（図３のＳ３０１、Ｓ３０２）。
仮想視点補助情報とは、仮想視点の映像を生成する際に行われるユーザの操作を補助するための情報である。仮想視点補助情報には、例えば、仮想視点の位置および姿勢を示す仮想視点位置姿勢情報が含まれる。また、仮想視点補助情報には、例えば、仮想視点を操作（変更）する際の仮想視点の移動速度の推奨値および移動可能範囲が含まれる。また、仮想視点補助情報には、例えば、仮想視点コンテンツ内のシーンを特定するための識別子と、当該シーンの時刻を示す時刻情報とを合わせたシーン特定情報が含まれる。また、仮想視点補助情報には、例えば、オブジェクト特定情報が含まれる。

【0022】

仮想視点位置姿勢情報は、例えば、競技がサッカーであれば、仮想視点は、ゴールキーパーの背面を見ることができる仮想的な視点や、コーナーキックを行う位置を見ることができる仮想的な視点等を示す情報である。競技やコンテンツによって予め想定される仮想視点の位置および姿勢を示す情報がプリセットとして第二の保存部４ｂに保存される。

【0023】

図６は、シーン特定情報の一例を表形式で示す図である。図６に示すように、シーン特定情報は、シーンを特定するための識別子（シーン名）とそのシーンの撮像時刻（シーン開始およびシーン終了の時刻）とを含む。例えば、ゴールシーンなどのハイライトシーンに対して、「前半２点目ゴール」といったシーン名がシーンの識別子としてシーン特定情報に含められる。また、識別子に、「ゴール」、「２点目」といったキーワードを付与することでシーンの検索を容易にすることができる。「選手名」、「チーム名」等といったキーワードをシーン名に更に付与することで、シーンの検索をより一層容易にするも可能である。
オブジェクト特定情報は、仮想視点の操作（変更）時に画角内にあるオブジェクトが誰かを特定し易くするための情報である。オブジェクト特定情報の詳細については後述する。
仮想視点補助情報の生成方法の詳細については後述する。

【0024】

操作部８は、ユーザからの入力を受け付け、ユーザへの情報の提示を行うためのユーザインタフェースを提供する。操作部８は、例えば、タッチパネルと、ボタン・キーボードと、ディスプレイとの組み合わせ等で構成される。操作部８は、仮想視点の映像を生成する前に、第二の保存部４ｂから仮想視点補助情報を取得する（図４のＳ４０１）。操作部８は、取得した仮想視点補助情報を操作部８の各部に反映させる。

【0025】

操作部８は、その機能として、例えば、表示部９、仮想視点選択部１０、および時間指示部１１を含んで構成される。図７は、仮想視点映像操作画面の一例を示す図である。操作部８は、例えば、図７に示すような仮想視点映像操作画面を表示して、ユーザからの操作を受け付ける（図４のＳ４０２）。
図７に示す仮想視点映像操作画面において、表示部９は、ユーザが現在操作している仮想視点において生成された仮想視点の映像を表示する。或る仮想視点コンテンツを生成することを開始する場合、操作部８は、図示しない入力手段を用いてユーザが指定したコンテンツの所定の仮想視点の映像を表示部９に表示することができる。このようにする場合、ユーザは、まず、表示部９に表示された仮想視点の映像を操作する。

【0026】

仮想視点選択部１０は、仮想視点補助情報に含まれる仮想視点位置姿勢情報に基づいた仮想視点の映像をサムネイル画像として表示する。このサムネイル画像は、生成する仮想視点の映像の候補となる。図示しない入力手段を用いてユーザが当該サムネイル画像を選択した場合、表示部９は、ユーザが現在操作している仮想視点の映像を、当該選択されたサムネイル画像に対応する仮想視点の映像に変更する。これによりユーザは当該選択したサムネイル画像と同じ仮想視点から視点の操作を行うことができる。時間指示部１１は、生成する仮想視点の映像の時間を指定する。

【0027】

また、図示しない入力手段のユーザによる操作に基づいて、操作部８は、仮想視点の映像に対する仮想視点の位置・姿勢・画角を操作し、決定する（図４のＳ４０３）。操作部８は、以上のようにして決定した仮想視点情報（仮想視点の位置・姿勢・画角）と、時間指示部１１により指定された時間情報（仮想視点の映像の時間）を映像生成部６に出力する。尚、仮想視点を操作する入力手段としては、３Ｄマウスなどを用いてもよいし、そのほかに例えば、ＧＵＩを通じた操作や、専用の操作部による操作を受け付けることによって、仮想視点情報が決定されてもよい。また、このときの入力手段による仮想視点の移動速度等は、仮想視点補助情報に含まれる推奨移動速度に基づいた速度に変更される。このようにして、ユーザが入力手段を用いて仮想視点を変更する際に仮想視点の移動速度等が制御される。

【0028】

映像生成部６は、操作部８から出力された仮想視点情報と時間情報とに基づいて、第一の保存部４ａから素材データを取得して、仮想視点の映像を生成する（図４のＳ４０４）。映像生成部６により生成された仮想視点の映像は、例えば、操作部８の表示部９および映像出力部７に出力され、表示される（図４のＳ４０５）。
このような構成により、第二の保存部４ｂ内の仮想視点補助情報を用いて操作部８により、第一の保存部４ａ内のコンテンツ（素材データ）に適した仮想視点の操作設定や、プリセットの仮想視点の位置・姿勢や、シーンの特定等を容易に行うことができる。また、仮想視点の映像の生成・表示の際のユーザの利便性を向上させることができる。

【0029】

（仮想視点補助情報の生成方法の例）
仮想視点補助情報は、例えば、ユーザ入力に基づく設定、仮想視点の映像を生成するための素材データ、および、仮想視点の映像に関するコンテンツ種別の少なくとも何れか１つに基づいて、生成することができる。仮想視点補助情報の生成方法は、手動入力により生成する方法と、仮想視点の映像の生成対象となる仮想視点コンテンツを解析して自動的に生成する方法とのどちらをとっても良い。仮想視点位置姿勢情報、仮想視点の推奨移動速度、および仮想視点の移動可能範囲を例に挙げて、仮想視点補助情報を手動入力により生成する方法と、仮想視点補助情報を自動的に生成する方法をそれぞれ説明する。

【0030】

仮想視点位置姿勢情報を手動入力により生成する場合、例えば、競技などに適した視点を予め入力することにより仮想視点位置姿勢情報を生成しておくことができる。サッカー等の競技の場合は先に挙げたように、ゴールキーパーの背面や、コーナーキックを行う位置を見ることができるような仮想視点位置姿勢情報を生成することができる。
また、競技ごとに適した視点を手動で入力することに代えて、仮想視点補助情報生成部５が、競技ごとに適した視点を競技ごとのプリセットとして予め持っておき、競技ごとの視点から仮想視点位置姿勢情報を生成してもよい。このとき競技によっては実際の競技スペースが競技場ごとに異なる場合がある。このような場合、仮想視点補助情報生成部５は、素材データの背景の三次元モデルを参照し、背景の三次元モデルに基づいて仮想視点位置姿勢情報を補正して生成することができる。その他にも、仮想視点補助情報生成部５は、撮像部１の撮影範囲および仮想視点の移動可能範囲の少なくとも何れか一方に基づき、その範囲の隅となる位置や、その範囲を俯瞰できるように仮想視点位置姿勢情報を生成することができる。尚、仮想視点位置姿勢情報を手動入力により生成する場合、図１において、第一の保存部４ａと仮想視点補助情報生成部５とを相互に繋ぐ線は不要である。

【0031】

また、仮想視点位置姿勢情報を自動的に生成する場合、例えば、仮想視点補助情報生成部５が第一の保存部４ａに保存された素材データを参照し、素材データに基づいて仮想視点位置姿勢情報を生成することができる。この場合、例えば、仮想視点補助情報生成部５は、オブジェクトの三次元モデルを参照し、この三次元モデルの座標データからオブジェクトの位置および姿勢を求めることができる。仮想視点補助情報生成部５は、このオブジェクトの位置および姿勢をもとに、仮想視点の映像の対象となるオブジェクトを常にとらえるように仮想視点位置姿勢情報を生成することができる。

【0032】

次に、仮想視点の推奨移動速度および移動可能範囲について説明する。これらについても、手動入力により生成しても、素材データを参照して自動的に生成してもよい。例えば、仮想視点補助情報生成部５は、オブジェクトの三次元モデルをもとに、オブジェクトの最大移動速度や平均移動速度を求め、それをもとに、仮想視点の推奨移動速度を設定することができる。その他に、仮想視点補助情報生成部５は、背景の三次元モデルをもとに撮影領域の形状およびサイズを求め、その撮影領域の形状およびサイズに適した速度を仮想視点の推奨移動速度としてもよい。仮想視点は、推奨移動速度で移動する。
仮想視点の移動可能範囲に関しても、仮想視点の推奨移動速度と同様に、背景の三次元モデルをもとに撮影領域の形状およびサイズを求め、その撮影領域をもとに求めることができる。仮想視点は、この移動可能範囲内で変更される。

【0033】

（シーン特定情報の例）
撮像部１によりスタジアム競技等の映像を撮像する場合であって、その競技中にハイライトシーン等があった場合にはそのハイライトシーン等の撮像時刻をそのつど記録しておく。このとき、撮像時刻と共に、シーンを特定するための識別子を記録する。仮想視点補助情報生成部５は、これらの情報に基づいて、例えば、図６に示すようなシーン特定情報を生成する。シーン特定情報を自動的に生成する場合、仮想視点補助情報生成部５は、例えば、素材データより競技場の音声データを取得し音声の大きな時刻に基づいてシーン特定情報を生成することができる。また、仮想視点補助情報生成部５は、ＳＮＳ等と連携してユーザの興味が高いシーンについてのシーン特定情報を生成することができる。

【0034】

また、仮想視点補助情報生成部５は、シーン特定情報と共に、実際にそのシーン特定情報により特定されるシーンを見ることができる仮想視点位置姿勢情報を合わせて記録することが望ましい。これにより、シーン特定情報をもとに時間情報を指定した際に、当該時間情報に対応する仮想視点位置姿勢情報に基づいて当該シーンの映像を表示することができる。これにより、ユーザがオブジェクトを探す手間がかからなくなり、利便性が向上する。

【0035】

また、シーン特定情報に、当該シーン特定情報で特定されるシーンのサムネイル画像等を付与すると、よりシーンの特定が行いやすくなる。このサムネイル画像を生成する際の仮想視点を、前述のシーン特定情報と共に記録した仮想視点位置姿勢情報で特定される仮想視点とすることが望ましい。このようにすれば、ユーザが、サムネイル画像の中から仮想視点の映像を生成したいシーンのサムネイル画像を選択した場合、操作部８は、以下の処理を行うことができる。即ち、操作部８は、ユーザにより選択されたサムネイル画像を拡大して表示することができる。また、操作部８は、この表示と共に、ユーザにより選択
されたサムネイル画像に対応するシーン特定情報に基づいて、時間と仮想視点位置姿勢情報とを指定し、仮想視点の映像の生成を、映像生成部６に対して指示する。そして、操作部８は、映像生成部６により仮想視点の映像が生成され次第、サムネイル画像と仮想視点の映像とを入れ替え表示する。即ち、表示部９に表示されていた仮想視点の映像がサムネイル画像として仮想視点選択部１０に表示され、ユーザにより選択されたサムネイル画像に対応するシーン特定情報に基づいて映像生成部６により生成された仮想視点の映像が表示部９に表示される。こうすることにより、ユーザがサムネイル画像で選択した画像から連続的に仮想視点を操作できる仮想視点の映像を生成することができる。

【0036】

このような構成とすると、ユーザがシーンを選択するまで、負荷および容量の大きい仮想視点の映像を生成する必要はない。このため、例えば、モバイルデータ通信等を利用している場合でも通信量を低減することができるなどの効果が期待できる。
その他にも、図８に示すように、操作部８は、時間指示部１１に対し、シーン特定情報に記録されている時間が分かるような色分け等を行ってもよい。また、そのシーンのシーン名やサムネイル画像を合わせて時間指示部１１に表示することで時間およびシーンの特定を容易にすることが可能である。

【0037】

（オブジェクト特定情報）
オブジェクト特定情報は、仮想視点の操作時に画角内にいるオブジェクトが誰であるか特定するための情報を含む。オブジェクト特定情報は、例えば、特定の選手が画角内に入るような仮想視点の映像を生成したい場合にユーザが容易にオブジェクトを特定できるようにするためのものである。具体的には、仮想視点補助情報生成部５は、素材データのオブジェクトの三次元モデルとオブジェクト（選手）を特定する情報とを相互に結び付けたデータをオブジェクト特定情報として生成する。操作部８は、このオブジェクト特定情報を用いて、例えば図９に示すように、仮想視点の映像中のオブジェクトにオブジェクトの名前等の情報を重畳して表示することができる。従って、ユーザの利便性を向上させることができる。また、図９では、常にオブジェクトの名前を表示する例を示している。しかしながら、必ずしもこのようにする必要はない。例えば、マウスポインタを選手の上に重ねた場合にのみオブジェクトの名前を表示する等のユーザインタフェースとしてもよい。

【0038】

以上のように本実施形態では、仮想視点補助情報生成部５は、仮想視点の映像を生成する際に行われるユーザの操作を補助するための仮想視点補助情報を生成して第二の保存部４ｂに保存する。操作部８は、ユーザが指定したシーンに対する仮想視点の映像を表示部９に表示すると共に当該映像の撮像時刻を指示する時間指示部１１を表示する。また、操作部８は、仮想視点補助情報に基づいて当該シーンに対応する他の仮想視点の映像をサムネイル画像として仮想視点選択部１０に表示する。ユーザが仮想視点選択部１０に表示されているサムネイル画像を選択すると、映像生成部６は、ユーザにより選択されたサムネイル画像に対する仮想視点の映像を生成する。そして、操作部８は、映像生成部６により生成された仮想視点の映像を表示部９に表示されている仮想視点の映像と入れ替える。また、操作部８は、表示部９に表示されているオブジェクトを特定する情報を表示する。また、操作部８は、時間指示部１１において、特定のシーンの時間帯を区別して表示したり、特定のシーンがどのようなシーンであるのかを示す情報を当該シーンの撮像時刻に対応する位置に表示したりする。従って、ユーザは、仮想視点の位置や姿勢の決定やシーンの特定等を容易に行うことができる。よって、仮想視点コンテンツを生成する際のユーザの利便性を向上させることができる。

【0039】

（その他の構成）
その他に、本実施形態では素材データを記録する第一の保存部４ａと仮想視点補助情報を記録する第二の保存部４ｂを異なる保存部として記載しているが必ずしも異なる保存部である必要はなく、同一の保存部に保存してもよい。
また、図１の構成は例示に過ぎず、種々の変形例が適用可能であることに留意されたい。例えば、操作部８がインターネット等の通信ネットワークを介して図１のシステムに接続しても良い。この場合、操作部８は、インターネットを介して第二の保存部４ｂから補助情報の提供を受け、補助情報に基づく映像を表示部９に表示させることができる。そして、表示部９に表示された映像に対するユーザ操作を受けて、仮想視点の位置および姿勢を決定し、その情報をインターネットを介して映像生成部６へ送信する。このようにしても、本実施形態に基づく技術的効果を得ることができる。また、操作部８は複数存在しても良い。また、別の例として、撮像システムと、映像生成システムと、操作部８と、がそれぞれインターネット等の通信ネットワークを介して接続されるような形態であっても良い。この形態では、撮像システムは、撮像部１と同期部２と素材データ生成部３と第一の保存部４ａを有する。映像生成システムは、仮想視点補助情報生成部５と第二の保存部４ｂと映像生成部６を有する。

【0040】

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0041】

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0042】

１：撮像部、３：素材データ生成部、４ａ：第一の保存部、４ｂ：第二の保存部、５：仮想視点補助情報生成部、６：映像生成部、８：操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】