特許 7418101 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240112BHJP

   G06T 15/20 20110101ALI20240112BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

【請求項の数】 13

(21)【出願番号】P 2019138006

(22)【出願日】2019-07-26

(65)【公開番号】P2021022135

(43)【公開日】2021-02-18

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】伊藤 達哉

(72)【発明者】

【氏名】石川 零

【審査官】中田 剛史

(56)【参考文献】

【文献】国際公開第２０１７／０３８５４１（ＷＯ，Ａ１）

【文献】特開２０１９－１０２８４５（ＪＰ，Ａ）

【文献】特開２０１９－１１４８６９（ＪＰ，Ａ）

【文献】国際公開第２０１９／０１２８１７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０００２６３６（ＵＳ，Ａ１）

【文献】特開２００７－１９５０９１（ＪＰ，Ａ）

【文献】特開２０１９－００４２２９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｔ １５／２０

(57)【特許請求の範囲】

【請求項1】

オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を示す視点情報を生成する情報処理装置であって、
仮想視点映像を構成するフレームとして前記仮想視点画像を更新することで再生される前記仮想視点映像を生成するための前記複数視点画像の更新間隔であって、前記複数視点画像を取得するための前記複数の撮像装置による撮像に係るそれぞれ異なる撮像時刻に基づいて特定される前記複数視点画像の更新間隔を示す情報と、前記仮想視点映像のフレームの更新間隔を示す情報と、を取得する取得手段と、
前記複数視点画像の更新間隔と前記仮想視点映像のフレームの更新間隔とに基づいて生成される前記視点情報であって、前記複数視点画像の更新間隔が前記フレームの更新間隔よりも長い場合に、前記フレームの更新間隔より長い間隔で前記視点情報を生成する生成手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記生成手段は、前記複数視点画像の更新間隔と同じ間隔で前記視点情報を生成することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記生成手段は、
所定の条件が満たされる場合、前記仮想視点映像のフレームの更新間隔よりも長い間隔で前記視点情報を生成し、
前記所定の条件が満たされない場合、前記仮想視点映像のフレームの更新間隔と同じ間隔で前記視点情報を生成することを特徴とする請求項１又は２の何れかに記載の情報処理装置。

【請求項4】

前記所定の条件は、前記仮想視点映像のフレーム数と前記仮想視点映像を生成するために用いられる前記複数視点画像のフレーム数との比率に関する条件を含むことを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記所定の条件は、３次元空間における前記オブジェクトの移動速度と仮想視点の変化速度との少なくとも何れかに関する条件を含むことを特徴とする請求項３又は４の何れかに記載の情報処理装置。

【請求項6】

前記所定の条件は、３次元空間におけるオブジェクトの移動方向と、仮想視点の移動方向と、仮想視点の向きとの関係に関する条件を含むことを特徴とする請求項３乃至５の何れか１項に記載の情報処理装置。

【請求項7】

前記仮想視点映像における前記オブジェクトのぶれを判定する判定手段を有し、
前記所定の条件は、前記判定手段による判定の結果に関する条件を含むことを特徴とする請求項３乃至６の何れか１項に記載の情報処理装置。

【請求項8】

前記生成手段により生成される前記視点情報は、前記仮想視点映像のフレームの更新間隔に応じた複数の時刻それぞれにおける仮想視点の位置及び前記仮想視点からの視線方向を示すことを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。

【請求項9】

前記複数視点画像は、前記複数の撮像装置により取得された複数の撮像画像から前記オブジェクトに対応する領域を抽出することで得られる複数の画像であることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。

【請求項10】

前記複数視点画像と前記生成手段により生成された前記視点情報とに基づいて前記仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。

【請求項11】

前記複数視点画像を用いて前記仮想視点画像を生成する画像生成装置へ前記視点情報を出力する出力手段を有することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。

【請求項12】

オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を示す視点情報を生成する情報処理装置であって、
仮想視点映像を構成するフレームとして前記仮想視点画像を更新することで再生される前記仮想視点映像を生成するための前記複数視点画像の更新間隔であって、前記複数視点画像を取得するための前記複数の撮像装置による撮像に係るそれぞれ異なる撮像時刻に基づいて特定される前記複数視点画像の更新間隔を示す情報と、前記仮想視点映像のフレームの更新間隔を示す情報と、を取得する取得工程と、
前記複数視点画像の更新間隔と前記仮想視点映像のフレームの更新間隔とに基づいて生成される前記視点情報であって、前記複数視点画像の更新間隔が前記フレームの更新間隔よりも長い場合に、前記フレームの更新間隔より長い間隔で前記視点情報を生成する生成工程と、を有することを特徴とする情報処理装置。

【請求項13】

コンピュータを、請求項１乃至１１の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想視点画像を生成するための技術に関する。

【背景技術】

【0002】

複数の撮像装置を異なる位置に配置して同期撮像し、当該撮像により得られた複数の撮像画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。具体的には、複数の撮像画像に基づいて、撮像画像に含まれるオブジェクトの３次元形状データを生成し、仮想視点の位置及び向きに基づくレンダリング処理を行うことにより、仮想視点画像が生成される。

【0003】

特許文献１には、スローモーションの仮想視点画像や、撮像時刻の進行が停止した状態で視点が変化する仮想視点画像など、変速の仮想視点画像を生成することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６４８２４９８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような変速の仮想視点画像を生成するために、仮想視点画像の動画を構成する複数のフレームの画像を、同一時点の撮像画像に基づいて生成することが考えられる。例えば、６０ｆｐｓ（フレーム／秒）で再生される仮想視点画像の動画を生成する場合に、６０ｆｐｓで撮像された撮像画像の各フレームから仮想視点画像を２フレームずつ生成することにより、１／２倍速のスローモーションの仮想視点画像が生成される。

【0006】

しかしながら、このような仮想視点画像を生成する場合に、仮想視点画像内でのオブジェクトの動きが不自然になる虞がある。例えば、スローモーションの仮想視点画像において、撮像領域内でのオブジェクトの位置が２フレームごとに変化するのに対し、仮想視点の位置が１フレームごとに変化した場合、仮想視点画像内でのオブジェクトの動きに不自然なぶれやカクつきが生じうる。このような課題は、スローモーションの仮想視点画像を生成する場合に限らず、仮想視点画像のフレームレートより撮像画像のフレームレートが小さい場合などにも生じうる。

【0007】

本発明は上記の課題に鑑み、仮想視点画像においてオブジェクトの不自然な動きが生じることを抑制することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を示す視点情報を生成する情報処理装置であって、仮想視点映像を構成するフレームとして前記仮想視点画像を更新することで再生される前記仮想視点映像を生成するための前記複数視点画像の更新間隔であって、前記複数視点画像を取得するための前記複数の撮像装置による撮像に係るそれぞれ異なる撮像時刻に基づいて特定される前記複数視点画像の更新間隔を示す情報と、前記仮想視点映像のフレームの更新間隔を示す情報と、を取得する取得手段と、前記複数視点画像の更新間隔と前記仮想視点映像のフレームの更新間隔とに基づいて生成される前記視点情報であって、前記複数視点画像の更新間隔が前記フレームの更新間隔よりも長い場合に、前記フレームの更新間隔より長い間隔で前記視点情報を生成する生成手段と、を有する。

【発明の効果】

【0009】

本発明によれば、仮想視点画像においてオブジェクトの不自然な動きが生じることを抑制できる。

【図面の簡単な説明】

【0010】

【図1】画像処理システムのハードウェア構成例を示す図である。

【図2】画像処理システムの機能構成例を示す図である。

【図3】情報処理装置の動作の例を示すフローチャートである。

【図4】仮想視点の更新間隔の決定方法の一例を示すフローチャートである。

【図5】仮想視点の更新間隔の決定方法の一例を示すフローチャートである。

【図6】仮想視点の更新間隔の制御により得られる効果を示す図である。

【図7】仮想視点の更新間隔の制御の一例を示す図である。

【図8】仮想視点の更新間隔の制御の一例を示す図である。

【図9】仮想視点の更新間隔の制御の一例を示す図である。

【発明を実施するための形態】

【0011】

［システム構成］
以下、図面を参照しながら本発明の実施形態について説明する。図１（ａ）は、画像処理システム１０の構成例を示す。画像処理システム１０は、複数の撮像装置による撮像に基づく複数の画像（複数視点画像）と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。画像処理システム１０は、動画を構成するフレームの画像として静止画の前記仮想視点画像を所定のフレーム更新間隔で更新することで再生される、仮想視点の動画を生成する。以降の説明に於いては、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

【0012】

画像処理システム１０は、撮像システム１０１、画像生成装置１０２、及び情報処理装置１０３を有する。撮像システム１０１は、撮像領域内の被写体（オブジェクト）を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。撮像装置の数は限定されないが、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置される。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。撮像システム１０１は、複数の撮像装置による撮像に基づく複数視点画像を、画像生成装置１０２へ出力する。

【0013】

画像生成装置１０２は、撮像システム１０１から取得した複数視点画像と、情報処理装置１０３から取得した視点情報とに基づいて、仮想視点画像を生成する。仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで得られた複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

【0014】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットを有する。また、視点情報は複数の時点にそれぞれ対応する複数のパラメータセットを有する。例えば、視点情報は、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータや、時刻を表すパラメータが含まれてもよい。

【0015】

なお、本実施形態の説明においては、仮想カメラという用語を用いる。仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

【0016】

画像生成装置１０２は、撮像システム１０１から取得した複数視点画像に基づいて順次仮想視点画像を生成することで、ライブ仮想視点画像を生成することができる。なお、画像処理システム１０が生成するライブ仮想視点画像は、撮像システム１０１および画像生成装置１０２での処理遅延の影響により、現在時刻よりも所定時間前の撮像領域の状況を表す画像となる。また、画像生成装置１０２は、撮像システム１０１から取得した複数視点画像を記憶部に記憶しておくことで、過去の任意時点の撮像領域の状況を表す仮想視点画像（リプレイ仮想視点画像）を生成することもできる。

【0017】

画像生成装置１０２により生成された仮想視点画像は、情報処理装置１０３へ出力され、情報処理装置１０３が有する表示部１１８に表示される。ただし、仮想視点画像の出力先はこれに限定されない。例えば、生成された仮想視点画像は、情報処理装置１０３とは別の表示装置（不図示）に出力されてもよいし、画像生成装置１０２が有する記憶部又は外部の記憶装置（不図示）へ出力されてもよい。また、画像生成装置１０２は、ライブ仮想視点画像とリプレイ仮想視点画像をそれぞれ異なる出力先へ出力してもよい。また、画像処理システム１０が複数の情報処理装置１０３を有し、それぞれの情報処理装置１０３が画像生成装置１０２と接続して通信を行ってもよい。

【0018】

［ハードウェア構成］
図１（ｂ）は、情報処理装置１０３のハードウェア構成例を示す。なお、画像生成装置１０２のハードウェア構成も、以下で説明する情報処理装置１０３の構成と同様である。情報処理装置１０３は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、通信部１１４、及び入出力部１１５を有する。

【0019】

ＣＰＵ１１１は、ＲＡＭ１１２やＲＯＭ１１３に格納されているコンピュータプログラムやデータを用いて情報処理装置１０３の全体を制御する。なお、情報処理装置１０３がＣＰＵ１１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＧＰＵ（グラフィックスプロセッシングユニット）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＡＭ１１２は、ＲＯＭ１１３から読みだされたコンピュータプログラムや計算の途中結果、及び通信部１１４を介して外部から供給されるデータなどを一時的に記憶する。ＲＯＭ１１３は、変更を必要としないコンピュータプログラムやデータを保持する。

【0020】

通信部１１４は、ＥｔｈｅｒｎｅｔやＵＳＢなどを用いた通信を行うための通信インターフェースを有し、画像生成装置１０２などの外部の装置との通信を行う。入出力部１１５は、音声の入力を受け付けるマイクや音声を出力するスピーカなどの音声入出力部１１６と、ジョイスティックやマウス、キーボード、及びタッチパネルなどの操作部１１７と、液晶ディスプレイなどの表示部１１８を有する。ＣＰＵ１１１は、表示部１１８を制御する表示制御部、及び操作部１１７を制御する操作制御部として動作する。なお、本実施形態では表示部１１８と操作部１１７が情報処理装置１０３の内部に存在するものとするが、表示部１１８と操作部１１７の少なくとも一方が情報処理装置１０３の外部に別の装置として存在していてもよい。

【0021】

［機能構成］
図２は、画像処理システム１０の機能構成の例を示す。視点入力部２０１は、音声入出力部１１６や操作部１１７を介して、仮想視点を指定するための入力を受け付ける。仮想視点を指定するための入力は、例えば仮想視点を特定の方向に動かすための、ジョイスティックに対するユーザ操作に応じた入力である。なお、視点入力部２０１は、外部の装置から送信された視点情報や、情報処理装置１０３内で生成された視点情報の入力を受け付けてもよい。そして視点入力部２０１は、受け付けた入力に応じた仮想視点の移動方向、移動速度、回転方向、及び回転速度等に関する情報を、ぶれ判定部２０５、制御部２０７、及び視点設定部２０８に送信する。

【0022】

情報入力部２０２は、音声入出力部１１６や操作部１１７を介したユーザ操作に応じた入力を受け付け、入力に応じた制御情報を、ぶれ判定部２０５と制御部２０７に送信する。情報入力部２０２が送信する制御情報は、例えば後述する仮想視点の更新間隔を指定する情報や、オブジェクトのぶれを示す情報である。

【0023】

記憶部２０３は、画像生成装置１０２から取得した複数視点画像とその他の素材データを記憶するデータベースである。本実施形態では、仮想視点画像を生成するためのデータであって、撮像装置によって撮像された撮像画像、および該撮像画像に基づいて生成されるデータのことを、素材データと表記する。撮像画像に基づいて生成される素材データは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、三次元空間におけるオブジェクトの形状を表す三次元モデルデータ、および三次元モデルに色付けするためのテクスチャデータ等である。複数視点画像も素材データの一種である。なお、記憶部２０３に記憶される素材データの内容は上記に限定されない。

【0024】

本実施形態では、撮像システム１０１から送信される複数視点画像が複数の撮像装置により取得された複数の撮像画像であるものとし、記憶部２０３は複数視点画像に基づいて生成した各種の素材データを記憶するものとする。ただし、撮像システム１０１から送信される複数視点画像は、複数の撮像装置により取得された複数の撮像画像から所定のオブジェクトに対応する領域を抽出することで得られる複数の前景画像であってもよい。すなわち、撮像画像から前景画像を抽出する処理は、撮像システム１０１により行われてもよいし、画像生成装置１０２により行われてもよい。

【0025】

オブジェクト情報取得部２０４は、記憶部２０３に記憶された素材データから所定のオブジェクトに関する情報を取得し、取得した情報をぶれ判定部２０５に送信する。ぶれ判定部２０５は、視点入力部２０１から出力される仮想視点の情報、情報入力部２０２から出力される制御情報、記憶部２０３に記憶された素材データ、及びオブジェクト情報取得部２０４から出力される情報の少なくともいずれかを取得する。そしてぶれ判定部２０５は、取得した情報を用いて、仮想視点画像においてオブジェクトにぶれが発生するかを判定し、その判定結果を制御部２０７に送信する。

【0026】

例えばぶれ判定部２０５は、ぶれを抑制するための操作が行われたことを示す制御情報を取得したことに応じて、ぶれが発生すると判定してもよい。また例えば、ぶれ判定部２０５は、オブジェクト情報が示す３次元空間におけるオブジェクトの位置に基づいて仮想視点画像におけるオブジェクトの位置を算出し、その位置の変化に基づいてぶれの発生を判定してもよい。また例えば、ぶれ判定部２０５は、素材データに基づいて簡易的な仮想視点画像を生成し、仮想視点画像の各フレームにおけるオブジェクトの動きベクトルを算出することで、ぶれの発生を判定してもよい。具体的には、ぶれ判定部２０５は、前後のフレームと異なる方向の動きベクトルや一定以上大きさの動きベクトルが算出された場合に、オブジェクトにぶれが発生していると判定してもよい。また、ぶれ判定部２０５は、オブジェクト及び仮想視点の動きと、オブジェクトのぶれが発生するか否かとの対応関係を示すデータを予め記憶しておき、そのデータに基づいてぶれの発生を判定してもよい。なお、ぶれ判定部２０５によるぶれの発生有無の判定方法は上記の例に限定されない。

【0027】

フレーム情報取得部２０６は、記憶部２０３に記憶された素材データに係るフレームレート等に関する情報を取得し、その情報を制御部２０７に送信する。制御部２０７は、上述した情報処理装置１０３の各機能部の少なくとも何れかから取得した情報に基づいて、仮想視点画像の生成に係る仮想視点の更新間隔を決定し、その更新間隔を示す情報を視点設定部２０８に送信する。視点設定部２０８は、視点入力部２０１から取得した仮想視点の情報と、制御部２０７から取得した仮想視点の更新間隔の情報に基づいて、仮想視点の位置及び向きを示す視点情報を生成し、生成した視点情報を画像生成部２０９に出力する。画像生成部２０９は、記憶部２０３から取得した素材データと視点設定部２０８から取得した視点情報とに基づいて、仮想視点画像を生成する。

【0028】

なお、画像処理システム１０の構成は図２に示すものに限定されない。例えば、図２に示す情報処理装置１０３の構成要素の一部が、情報処理装置１０３と通信可能な別の装置に実装されていてもよい。また例えば、画像生成装置１０２と情報処理装置１０３とが一体となって構成されていてもよい。

【0029】

［仮想視点の更新間隔の制御による効果］
ここで、図６を用いて、本実施形態における仮想視点の更新間隔の制御により得られる効果について説明する。スローモーションの仮想視点画像などを生成する場合に、仮想視点画像のフレーム更新間隔と、仮想視点画像の生成に用いられる素材データの更新間隔が異なる場合がある。例えば、仮想視点画像のフレームレートが６０ｆｐｓであり、複数視点画像等の素材データのフレームレートも６０ｆｐｓであるものとする。この素材データを用いて１／２倍速のスローモーションの仮想視点画像を生成する場合、１フレームの素材データから２フレームの仮想視点画像が生成されるため、１秒分の仮想視点画像の生成に用いられる素材データは３０フレーム分となる。すなわち、仮想視点画像のフレームが切り替わるフレーム更新間隔は１／６０秒である一方、使用される素材データが切り替わる素材データの更新間隔は１／３０秒となる。このような場合に、仮想視点画像の生成に係る仮想視点の位置及び向きが更新される仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に合わせると、仮想視点の更新間隔と素材データの更新間隔とが異なることになる。その結果、オブジェクトや仮想視点の動き方によっては、仮想視点画像におけるオブジェクトの位置にぶれやカクつきが生じることがある。

【0030】

図６（ａ）は、単一のフレームの素材データから２フレームの仮想視点画像を生成することで、６０ｆｐｓのスローモーションの仮想視点画像を生成する場合の例を示している。この例では、使用される素材データは１／３０秒ごとに更新され、仮想視点（仮想カメラ）は１／６０秒ごとに更新される。撮像システム１０１による撮像領域のフィールドにはボールを持って図の右向きに移動する選手Ａと静止している選手Ｂがおり、仮想カメラＣは選手Ａを中心に映すように右向きに移動している。縦軸は時間であり、１行が仮想視点画像の１フレームに該当する。例えばブロック６０１は１フレーム目の時刻における素材データが表すオブジェクトの様子を示し、ブロック６１３は３フレーム目の時刻における仮想カメラの位置及び向きを示し、ブロック６２３は３フレーム目の仮想視点画像を示している。

【0031】

１フレーム目のタイミングの選手Ａ（６０１Ａ）と選手Ｂ（６０１Ｂ）と仮想カメラＣ（６１１Ｃ）に応じて、ブロック６２１に示すように選手Ａ（６２１Ａ）が画面の中央に映る仮想視点画像が生成される。一方、２フレーム目のタイミングでは、仮想カメラの位置が更新される一方、素材データは更新されない。本来は２フレーム目のタイミングでは仮想カメラＣ（６１２Ｃ）の視界の中央に選手Ａが存在するはずである。しかし素材データは１フレーム目のタイミングのもの、つまり１フレーム前の選手Ａ（６０１Ａ）を表す素材データが用いられる。そのため、ブロック６２２に示すように選手Ａ（６２２Ａ）が画面の中央から左方向にずれた位置に映る仮想視点画像が生成される。

【0032】

仮想カメラの位置と素材データが両方更新されるフレームと、仮想カメラの位置が更新されるが素材データは更新されないフレームは交互に訪れる。そのため、図６（ａ）における仮想視点画像の列（６２１、６２２、６２３、６２４、６２５、６２６、６２７）で表されるように、選手Ａが画面の中央とそこから左方向にずれた位置を１フレーム単位でぶれて（振動して）いるような映像が生成される。一方、選手Ｂについては、画面の右から左へと一方向に位置が遷移しているため、選手Ｂにぶれは生じない。

【0033】

このようにオブジェクトが振動して見える現象は、図６（ａ）の例のようにオブジェクトと仮想カメラが並走するような状況において特にユーザに認識されやすく、生成される仮想視点画像が違和感のある映像となる。このような課題は、スローモーションの仮想視点画像を生成する場合に限らず、仮想視点画像のフレームレートより撮像システム１０１による撮像のフレームレートが小さい場合などにも生じうる。

【0034】

一方、図６（ｂ）は、図６（ａ）と同様に単一のフレームの素材データから２フレームの仮想視点画像を生成することで６０ｆｐｓのスローモーションの仮想視点画像を生成するにあたって、仮想視点の更新間隔を１／３０秒とした場合の例を示す。図６（ａ）と同様に、フィールドにはボールを持って移動する選手Ａとその場で静止している選手Ｂがおり、仮想カメラＣが選手Ａを画面の中心にとらえるように選手Ａと並走する。

【0035】

１フレーム目のタイミングの選手Ａ（６３１Ａ）と選手Ｂ（６３１Ｂ）と仮想カメラＣ（６４１Ｃ）に応じて、ブロック６５１に示すように選手Ａ（６３１Ａ）が画面の中央に映る仮想視点画像が生成される。一方、２フレーム目のタイミングでは、仮想カメラの位置も素材データも更新されない。そのため、１フレーム前の仮想カメラＣ（６４１Ｃ）を表す視点情報と１フレーム前の選手Ａ（６３１Ａ）を表す素材データとを用いて仮想視点画像を生成され、ブロック６５２に示すように選手Ａ（６５２Ａ）が画面の中央に映る仮想視点画像ができる。

【0036】

仮想カメラの位置と素材データが両方更新されるフレームと、仮想カメラの位置と素材データが両方更新されないフレームは交互に訪れる。そのため、生成される仮想視点画像は図６（ｂ）に示す仮想視点画像の列（６５１、６５２、６５３、６５４、６５５、６５６、６５７）で表されるように、選手Ａが常に画面の中央に位置し続けるような映像となり、選手Ａのぶれが発生しない。選手Ｂについても、画面の右から左へと一方向に位置が遷移しており、選手Ｂにぶれは発生しない。このように、本実施形態で説明する方法により仮想視点の更新間隔を適切に制御することで、仮想視点画像におけるオブジェクトのぶれを軽減することができる。

【0037】

［動作フロー］
図３は、情報処理装置１０３の動作の例を示すフローチャートである。図３に示す処理は、情報処理装置１０３のＣＰＵ１１１がＲＯＭ１１３に格納されたプログラムをＲＡＭ１１２に展開して実行することで実現される。なお、図３に示す処理の少なくとも一部を、ＣＰＵ１１１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図３に示す処理は、画像生成装置１０２と情報処理装置１０３とが接続され、仮想視点画像の生成に係る視点の指定を行うための指示が情報処理装置１０３に入力されたタイミングで開始される。ただし、図３に示す処理の開始タイミングはこれに限定されない。なお、図３を用いた以下の説明においては、予め記憶部２０３に記憶された素材データに基づいてリプレイ仮想視点画像が生成されるものとし、図３の処理は一連の仮想カメラパスに対応する一連の仮想視点画像ごとに実行される。

【0038】

Ｓ３０１において、視点入力部２０１は、音声入出力部１１６や操作部１１７を介した入力に基づいて、仮想視点の移動方向、移動速度、回転方向、及び回転速度等に関する情報を取得する。Ｓ３０２において、情報入力部２０２は、ユーザ操作等に応じた制御情報を取得する。ここで取得される制御情報は、例えば、後述する仮想視点の更新間隔を指定する情報や、オブジェクトのぶれを示す情報である。Ｓ３０３において、オブジェクト情報取得部２０４は、記憶部２０３に記憶された素材データに基づいて、オブジェクトの位置や動き等に関するオブジェクト情報を取得する。Ｓ３０４において、フレーム情報取得部２０６は、記憶部２０３に記憶された素材データに基づいて、素材データに係るフレームレート等に関するフレーム情報を取得する。

【0039】

フレーム情報取得部２０６が取得するフレーム情報には、複数視点画像のフレームレートを示す情報が含まれる。本実施形態では、撮像システム１０１の撮像フレームレートと、記憶部２０３に記憶された複数視点画像のフレームレートと、記憶部２０３に記憶されたモデルデータ等の素材データのフレームレートとが一致するものとする。ただしこれに限らず、例えば、記憶部２０３に記憶された複数種類の素材データのフレームレートがそれぞれ異なっていてもよい。この場合にフレーム情報取得部２０６は、それぞれの素材データのフレームレートを示すフレーム情報を取得してもよい。なお、フレーム情報は、複数視点画像を取得するための撮像システム１０１による撮像に係るそれぞれ異なる撮像時刻に対応する複数のフレームに関する情報を含んでいればよく、フレーム情報の内容は上記に限定されない。例えばフレーム情報は、複数視点画像のフレーム更新間隔を示す情報であってもよいし、複数視点画像のフレーム数を示す情報であってもよいし、複数視点画像の各フレームに対応する時刻を示す情報であってもよい。

【0040】

Ｓ３０５において、制御部２０７は、Ｓ３０１からＳ３０４の処理により取得された各種の情報に基づいて、仮想視点画像の生成に係る仮想視点の更新間隔を決定する。Ｓ３０５の処理の詳細については図４を用いて後述する。

【0041】

なお、Ｓ３０１からＳ３０４の処理が実行される順番は、図３に示すものに限定されない。また、Ｓ３０１からＳ３０４の処理の少なくとも一部が並行して行われてもよい。また、情報処理装置１０３は、Ｓ３０１からＳ３０４の処理のうち少なくとも何れかを実行しなくてもよい。例えば、Ｓ３０５における仮想視点の更新間隔の設定に、Ｓ３０４で取得したフレーム情報のみを用いる場合には、Ｓ３０１からＳ３０３の処理が省略されてもよい。

【0042】

Ｓ３０６において、視点設定部２０８は、Ｓ３０５で決定された更新間隔に応じた視点情報を生成する。決定された更新間隔に応じた視点情報は、決定された更新間隔に応じた複数の時点それぞれにおける仮想視点の位置及び向きを示す。具体的には、仮想視点の更新間隔が１／３０秒に決定された場合に生成される視点情報には、仮想視点の位置及び向きを示すパラメータセットが、１秒当たり３０セット含まれる。ただし、視点情報の形式はこれに限定されない。例えば、決定された更新間隔に応じた視点情報が、仮想視点画像のフレーム更新間隔に応じた複数の時点それぞれにおける仮想視点の位置及び向きを示してもよい。具体的には、仮想視点画像のフレーム更新間隔が１／６０秒である場合に生成される視点情報には、仮想視点の位置及び向きを示すパラメータセットが、１秒当たり６０セット含まれていてもよい。この形式において、仮想視点の更新間隔が１／３０秒である場合には、視点情報には同一のパラメータセットが２セットずつ連続して含まれることになる。また、本実施形態では仮想視点の更新間隔が仮想視点画像のフレーム更新間隔と同じかそれより長い場合を中心に説明するが、これに限らず、仮想視点の更新間隔が仮想視点画像のフレーム更新間隔より短くてもよい。

【0043】

Ｓ３０７において、視点設定部２０８は、Ｓ３０６において生成された視点情報を画像生成装置１０２の画像生成部２０９へ出力する。画像生成部２０９は、記憶部２０３から取得した素材データに基づいて、視点設定部２０８から取得した視点情報に応じた仮想視点画像を生成する。

【0044】

Ｓ３０５の処理の詳細について、図４を用いて説明する。図４は、図３のＳ３０５の処理の一例を示すフローチャートである。なお、図４の処理は、図３の処理の対象となる一連の仮想カメラパスのうち所定の区間（例えば１秒分の仮想カメラパス）ごとに実行される。すなわち、情報処理装置１０３は、Ｓ３０６において生成する視点情報が表す仮想カメラパスにおける仮想視点の更新間隔を、所定の区間ごとに制御する。ただし、情報処理装置１０３は、図３の処理の対象となる一連の仮想カメラパス全体について、仮想視点の更新間隔を一様に決定してもよい。

【0045】

Ｓ４０１において、制御部２０７は、所定の再生期間の動画を構成する仮想視点画像のフレーム数と、当該所定の再生期間に対応する仮想視点画像を生成するために用いられる素材データのフレーム数を比較する。本実施形態では、素材データのフレーム数として、複数視点画像のフレーム数が用いられるものとする。ただしこれに限らず、例えば三次元モデルデータのフレーム数が素材データのフレーム数として用いられてもよい。素材データのフレーム数が仮想視点画像のフレーム数より小さいという条件が満たされる場合にはＳ４０２へ進み、そうでなければＳ４０６へ進む。

【0046】

例えば、仮想視点画像のフレームレート（１秒の再生期間におけるフレーム数）が６０ｆｐｓであり、複数視点画像等の素材データのフレームレートも６０ｆｐｓであるものとする。この素材データを用いて通常速度の仮想視点画像を生成する場合には、６０フレームからなる１秒の仮想視点画像を生成するために６０フレームの素材データが用いられるため、Ｓ４０１の判定はＮＯとなり、Ｓ４０６へ進む。一方、１／２倍速のスローモーションの仮想視点画像を生成する場合、１フレームの素材データから２フレームの仮想視点画像が生成される。すなわち、６０フレームからなる１秒の仮想視点画像を生成するために３０フレームの素材データが用いられる。そのため、Ｓ４０１の判定はＹＥＳとなりＳ４０２へ進む。

【0047】

Ｓ４０２において、制御部２０７は、視点入力部２０１により得られた仮想視点の情報に基づいて、仮想視点が所定の速度以上で変化するかを判定する。仮想視点の変化速度は、例えば、仮想視点の移動速度、仮想視点の回転速度、及び移動速度と回転速度を合成した速度の何れかである。仮想視点の変化速度が閾値以上であるという条件が満たされる場合はＳ４０５へ進み、そうでなければＳ４０３へ進む。

【0048】

Ｓ４０３において、制御部２０７は、オブジェクト情報取得部２０４から得られたオブジェクト情報に基づいて、所定の条件が満たされているかを判定する。具体的には、３次元空間における仮想視点の移動方向とオブジェクトの移動方向の角度差が閾値未満であり、且つ仮想視点の移動方向と仮想視点の向き（視線方向）の角度差が閾値以上であるかを判定する。判定結果が真である場合にはＳ４０５へ進み、そうでなければＳ４０４へ進む。

【0049】

Ｓ４０４において、制御部２０７は、ぶれ判定部２０５により得られた情報に基づいて、仮想視点の更新間隔を所定の長さ（例えば仮想視点画像のフレーム更新間隔）に合わせた場合に仮想視点画像においてオブジェクトのぶれが発生するかを判定する。判定結果が真であるという条件が満たされる場合にはＳ４０５へ進み、そうでなければＳ４０６へ進む。

【0050】

Ｓ４０５に進んだ場合、すなわち仮想視点画像においてオブジェクトのぶれが生じやすい場合やぶれが検出されている場合、制御部２０７は、仮想視点の更新間隔を、仮想視点画像の生成に用いられる素材データの更新間隔に一致するように決定する。一方、Ｓ４０６に進んだ場合、制御部２０７は、仮想視点の更新間隔を、仮想視点画像のフレーム更新間隔に一致するように決定する。

【0051】

なお、図４に示す仮想視点の更新間隔の決定方法は一例であり、制御部２０７による仮想視点の更新間隔の決定方法はこれに限定されない。例えば、Ｓ４０１からＳ４０４の条件判定の順序を入れ替えてもよいし、Ｓ４０１からＳ４０４の条件判定の少なくとも何れかを省略してもよい。具体的には、Ｓ４０１の判定結果が真の場合にはＳ４０５へ進み、そうでなければＳ４０６へ進んでもよい。また例えば、制御部２０７は、３次元空間における仮想視点の位置、高さ、及び移動経路や、オブジェクトの移動速度に関する条件が満たされるかに基づいて、Ｓ４０５の処理を行うかＳ４０６の処理を行うかを決定してもよい。

【0052】

また、図４の例では、所定の再生期間の仮想視点画像の生成に用いられる素材データのフレーム数が、仮想視点画像の当該再生期間におけるフレーム数以上である場合に、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に一致させる。これに加えて、所定の再生期間の仮想視点画像の生成に用いられる素材データのフレーム数が所定の閾値よりも少ない場合にも、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に合わせてもよい。すなわち、所定の再生期間の仮想視点画像の生成に用いられる素材データのフレーム数と、仮想視点画像の所定の再生期間におけるフレーム数の比率が所定範囲内であるという条件を満たす場合に、仮想視点の更新間隔を素材データの更新間隔に一致させてもよい。そしてその条件を満たさない場合には、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に一致させてもよい。これにより、スローモーションの速度が非常に遅い仮想視点画像を生成する場合や、撮像時刻の進行が停止した状態で視点が変化する仮想視点画像を生成する場合に、仮想視点の更新間隔が大きくなりすぎたり更新されなかったりすることを避けられる。

【0053】

また、仮想視点の更新間隔が、ユーザ操作に基づいて決定されてもよい。図５は、Ｓ３０５の処理の図４とは異なる一例を示したフローチャートである。Ｓ５０１において、情報入力部２０２は、仮想視点画像におけるオブジェクトのぶれを抑制するべきであることを示すぶれ抑制操作が入力されたかを判定する。例えば、ぶれが発生していることをユーザが認識した場合に押されるボタンや、ユーザがぶれの発生を防止したい場合に押されるボタンが押された場合に、情報入力部２０２はぶれ抑制操作の入力があったと判定する。ぶれ抑制操作の入力があった場合にはＳ５０２へ進み、制御部２０７は、仮想視点の更新間隔を素材データの更新間隔に一致させる。一方、ぶれ抑制操作の入力がなかった場合にはＳ３０４へ進み、制御部２０７は、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に一致させる。なお、制御部２０７は、ぶれ抑制操作の入力が一度行われた場合にはその後継続してＳ５０２の処理を行ってもよいし、ぶれ抑制操作の入力が行われている間だけＳ５０２の処理を行い、入力がなくなった後はＳ５０３の処理を行ってもよい。

【0054】

また、仮想視点の更新間隔が、仮想視点画像のフレーム更新間隔とも素材データの更新間隔とも異なっていてもよい。例えば制御部２０７は、素材データの更新間隔が仮想視点画像のフレーム更新間隔より長い場合に、仮想視点の更新間隔を、仮想視点画像のフレーム更新間隔と素材データの更新間隔の間の長さに設定してもよい。

【0055】

以上で情報処理装置１０３の動作フローの説明を終わる。以上説明したように、本実施形態に係る情報処理装置１０３は、オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像の生成に係る仮想視点の位置及び向きを示す視点情報を生成する。ここで、情報処理装置１０３は、所定の条件が満たされるか否かに応じて、仮想視点画像の生成に係る仮想視点の位置及び向きの更新間隔を、仮想視点画像のフレーム更新間隔よりも長い間隔に決定し、決定された更新間隔に応じた視点情報を生成する。上記のような構成によれば、スローモーションなど変速の仮想視点画像を生成する場合においても、仮想視点画像内でのオブジェクトの動きに不自然なぶれやカクつきが生じることを抑制することができる。

【0056】

［仮想視点の更新間隔の制御例］
情報処理装置１０３による仮想視点の更新間隔の制御に関する３つの具体例を、図７から図９を用いて説明する。図７に示す１つ目の例は、素材データの更新間隔に基づいて仮想視点の更新間隔を制御する例である。図８に示す２つ目の例は、仮想視点とオブジェクトの動き方に基づいて仮想視点の更新間隔を制御する例である。図９に示す３つ目の例は、オブジェクトのぶれが発生するかの判定結果に基づいて仮想視点の更新間隔を制御する例である。

【0057】

まず図７を用いて、制御部２０７が、フレーム情報取得部２０６から取得した素材データのフレーム情報と画像生成部２０９により生成すべき仮想視点画像のフレームレートの情報とに基づいて仮想視点の更新間隔を制御する場合の例を説明する。具体的には、仮想視点画像のフレーム更新間隔が素材データの更新間隔よりも小さい場合に、仮想視点の更新間隔が素材データの更新間隔と一致するように制御が行われる。

【0058】

図７において、時間軸上の各位置（７０１、７０２、７０３、７０４、７０５）は特定の瞬間ではなく、数フレーム以上の幅を持った時間帯を表しており、７０１から７０５までは連続した期間となっている。図７中の「オブジェクトと仮想視点の関係」は各時間帯においてオブジェクト（７０１Ａ、７０２Ａ、７０３Ａ、７０４Ａ、７０５Ａ）と仮想視点（７０１Ｂ、７０２Ｂ、７０３Ｂ、７０４Ｂ、７０５Ｂ）がどのように変化するかを示している。オブジェクトから伸びる黒い矢印（７０１Ｃ、７０２Ｃ、７０３Ｃ、７０４Ｃ、７０５Ｃ）はオブジェクトの移動方向を表し、仮想視点から伸びる黒い矢印（７０１Ｄ、７０２Ｄ、７０３Ｄ、７０４Ｄ、７０５Ｄ）は仮想視点の移動方向を表している。また、仮想視点から伸びる２本の線分に挟まれた領域（７０１Ｅ、７０２Ｅ、７０３Ｅ、７０４Ｅ、７０５Ｅ）は、仮想視点の向きと画角を表している。

【0059】

以下では各時間帯において仮想視点画像の生成に係る仮想視点の更新間隔がどのように制御されるかを説明する。時間帯７０１において、オブジェクト７０１Ａと仮想視点７０１Ｂは平行に同速度で移動している。素材データの更新間隔は１／６０秒、仮想視点画像のフレーム更新間隔は１／６０秒であり、仮想視点の更新間隔は仮想視点画像のフレーム更新間隔である１／６０秒に一致している。

【0060】

時間帯７０２から時間帯７０４において、オブジェクト（７０２Ａ／７０３Ａ／７０４Ａ）と仮想視点（７０２Ｂ／７０３Ｂ／７０４Ｂ）は平行に同速度で移動している。この区間において仮想視点画像はスローモーションになっており、素材データの更新間隔は１／３０秒に伸びている。一方、仮想視点画像のフレーム更新間隔は１／６０秒であるため、仮想視点のフレーム更新間隔が素材データの更新間隔よりも短い。よって制御部２０７は、仮想視点の更新間隔を素材データの更新間隔である１／３０秒に一致させる。

【0061】

時間帯７０５において、オブジェクト７０５Ａと仮想視点７０５Ｂは平行に同速度で移動している。仮想視点画像がスローモーションから通常速度に戻ったため、素材データの更新間隔は１／６０秒、仮想視点画像のフレーム更新間隔は１／６０秒である。よって制御部２０７は、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔である１／６０秒に一致させる。

【0062】

次に図８を用いて、制御部２０７が、視点入力部２０１から取得した仮想視点に関する情報とオブジェクト情報取得部２０４から取得したオブジェクト情報とに基づいて仮想視点の更新間隔を制御する場合の例を説明する。具体的には、仮想視点の移動方向とオブジェクトの移動方向の角度差が閾値未満であり、かつ仮想視点の移動方向と仮想視点の向きの角度差が閾値以上である場合に、仮想視点の更新間隔が素材データの更新間隔と一致するように制御が行われる。ここでは、仮想視点の移動方向とオブジェクトの移動方向の角度差の閾値を１５度とし、仮想視点の移動方向と仮想視点の向きの角度差の閾値を３０度とする。

【0063】

時間帯８０１から時間帯８０５まで継続して、仮想視点画像はスローモーションの映像であり、素材データの更新間隔は１／３０秒となっている。時間帯８０１において、仮想視点８０１Ｂがオブジェクト８０１Ａを後ろから追うように同速度で移動している。仮想視点の移動方向８０１Ｄとオブジェクトの移動方向８０１Ｃの角度差は閾値未満であり、仮想視点の移動方向８０１Ｄと仮想視点の向き８０１Ｅの角度差は閾値未満である。この場合、仮想視点の移動方向８０１Ｄと仮想視点の向き８０１Ｅの角度差が閾値以上であるという条件を満たしていないため、仮想視点の更新間隔は仮想視点画像のフレーム更新間隔である１／６０秒に一致している。

【0064】

時間帯８０２から時間帯８０３において、仮想視点（８０２Ｂ／８０３Ｂ）がオブジェクト（８０２Ａ／８０３Ａ）の後ろから横に回るように移動している。仮想視点の移動方向（８０２Ｄ／８０３Ｄ）とオブジェクトの移動方向（８０２Ｃ／８０３Ｃ）の角度差は閾値以上であり、仮想視点の移動方向（８０２Ｄ／８０３Ｄ）と仮想視点の向き（８０２Ｅ／８０３Ｅ）の角度差は閾値以上である。この場合、仮想視点の移動方向（８０２Ｄ／８０３Ｄ）とオブジェクトの移動方向（８０２Ｃ／８０３Ｃ）の角度差が閾値未満であるという条件を満たしていないため、仮想視点の更新間隔は仮想視点画像のフレーム更新間隔である１／６０秒に一致している。

【0065】

時間帯８０４において、仮想視点８０４Ｂがオブジェクト８０４Ａと平行に同速度で移動している。仮想視点の移動方向８０４Ｄとオブジェクトの移動方向８０４Ｃの角度差は閾値未満であり、仮想視点の移動方向８０４Ｄと仮想視点の向き８０４Ｅの角度差は閾値以上であり、条件を満たしている。よって制御部２０７は、仮想視点の更新間隔を素材データの更新間隔である１／３０秒に一致させる。

【0066】

時間帯８０５において、オブジェクト８０５Ａが仮想視点８０５Ｂから遠ざかるように移動している。仮想視点の移動方向８０５Ｄとオブジェクトの移動方向８０５Ｃの角度差は閾値以上であり、仮想視点の移動方向（８０５Ｄ）と視点方向（８０５Ｅ）の角度差は閾値以上である。この場合、仮想視点の移動方向８０５Ｄとオブジェクトの移動方向８０５Ｃの角度差が閾値未満であるという条件を満たさなくなっているため、制御部２０７は、仮想視点の更新間隔を仮想視点画像のフレーム更新間隔である１／６０秒に一致させる。

【0067】

次に、図９を用いて、制御部２０７が、ぶれ判定部２０５から取得した判定結果に基づいて仮想視点の更新間隔を制御する場合の例を説明する。具体的には、生成される仮想視点画像においてオブジェクトのぶれ生じると判定された場合に、ぶれが抑制されるように仮想視点の更新間隔を伸ばす制御が行われる。

【0068】

時間帯９０１から時間帯９０５まで継続して、仮想視点画像はスローモーションの映像であり、素材データの更新間隔は１／２０秒となっている。時間帯９０１から時間帯９０２において、仮想視点画像はスローモーションの映像であり、素材データの更新間隔は１／２０秒となっている。ぶれ判定部２０５はオブジェクトのぶれが発生していないと判定しているため、仮想視点の更新間隔は仮想視点画像のフレーム更新間隔である１／６０秒に一致している。

【0069】

時間帯９０３において、ぶれ判定部２０５は、素材データが更新されるフレームから数えて３フレーム目でぶれが発生したと判定している。そこで制御部２０７は、仮想視点の更新間隔と素材データの更新間隔の差を２フレーム未満に抑えつつ、仮想視点の更新間隔が長くなりすぎないように、仮想視点の更新間隔を１／３０秒に設定する。

【0070】

時間帯９０４において、ぶれ判定部２０５は、素材データが更新されるフレームから数えて２フレーム目でぶれが発生したと判定している。そこで制御部２０７は、仮想視点の更新間隔と素材データの更新間隔の差が１フレーム未満となるように、仮想視点の更新間隔を１／２０秒に設定する。

【0071】

時間帯９０５において、ぶれ判定部２０５は、素材データが更新されるフレームから数えて３フレーム目でぶれが発生したと判定している。そこで制御部２０７は、仮想視点の更新間隔と素材データの更新間隔の差を２フレーム未満に抑えつつ、仮想視点の更新間隔が長くなりすぎないように、仮想視点の更新間隔を１／３０秒に設定する。

【0072】

［その他の実施形態］
以上では、画像処理システム１０及びその処理の例を説明したが、本発明は上述の実施形態に限られるものではなく、種々の変形が行われてもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。

【0073】

例えば、上述の実施形態においては素材データのフレームレートと仮想視点画像のフレームレートが同一である場合を中心に説明したが、これに限定されない。素材データと仮想視点画像のフレームレートが倍数関係となっている場合には、上述した実施形態の処理を適用できる。また、フレームレートが倍数関係にない場合においても、既存のフレームレート変換技術（ＮＰＡＬ変換や２－３プルダウンなど）を用いることで、本実施形態の処理を適用できる。具体例を挙げると、複数視点画像等の素材データのフレームレートが５０ｆｐｓであり、最終的に生成すべき仮想視点画像のフレームレートが６０ｆｐｓである場合が考えられる。このような場合には、上述した仮想視点の更新間隔の制御を適用して５０ｆｐｓの仮想視点画像を生成し、生成された５０ｆｐｓの仮想視点画像を６０ｆｐｓに変換することで、オブジェクトのぶれが抑制された６０ｆｐｓの仮想視点画像を生成することができる。

【0074】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

【符号の説明】

【0075】

１０ 画像処理システム
１０１ 撮像システム
１０２ 画像生成装置
１０３ 情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】