特許 7604548 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-13

(45)【発行日】2024-12-23

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241216BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 12

(21)【出願番号】P 2023056850

(22)【出願日】2023-03-31

(65)【公開番号】P2024143907

(43)【公開日】2024-10-11

【審査請求日】2023-09-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】岩本 奨平

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０２１－０１５４４０（ＪＰ，Ａ）

【文献】特開２０２０－０１４１７７（ＪＰ，Ａ）

【文献】特開２０２０－０３６１１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの注視点を設定するための情報処理装置であって、
前記仮想カメラの注視点の第１軸の位置を示す第１位置パラメータ及び第２軸の位置を示す第２位置パラメータを変更するための、操作部材に対する操作に対応する入力情報を取得する第１取得手段と、
前記操作の操作量が最大であるときの前記第１位置パラメータの変更量を調整するための第１調整パラメータを取得する第２取得手段と、
前記操作の操作量が最大であるときの、前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第２調整パラメータを取得する第３取得手段と、
前記操作の操作量に対する前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第３調整パラメータを取得する第４取得手段と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータと前記第３調整パラメータとに基づいて、前記第１位置パラメータ及び前記第２位置パラメータの変更量を決定する決定手段と
を有する事を特徴とする情報処理装置。

【請求項2】

前記第１調整パラメータは、前記第１位置パラメータの変更量を大きくするためのパラメータまたは前記第１位置パラメータの変更量を小さくするためのパラメータであることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２調整パラメータは、前記第１位置パラメータ及び前記第２位置パラメータの変更量を大きくするためのパラメータまたは前記第１位置パラメータ及び前記第２位置パラメータの変更量を小さくするためのパラメータであることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記第３調整パラメータは、前記操作に対する反応曲線を決定するためのパラメータであることを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記操作部材は、ジョイスティックであることを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記第１調整パラメータと、前記第２調整パラメータと、前記第３調整パラメータとは、それぞれ異なるつまみに対する操作に基づいて取得されることを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記第１調整パラメータと、前記第２調整パラメータと、前記第３調整パラメータとを示す補助画像を表示する制御を行う表示制御手段を有することを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記操作の操作量と前記操作の経過時間とに基づいて、前記第１位置パラメータ及び前記第２位置パラメータの変更量を決定するパラメータである第４調整パラメータを取得する第５取得手段を有し、
前記決定手段は、前記入力情報と、前記第１調整パラメータと、前記第２調整パラメータと、前記第３調整パラメータと、前記第４調整パラメータとに基づいて、前記第１位置パラメータ及び前記第２位置パラメータの変更量を決定することを特徴とする請求項１に記載の情報処理装置。

【請求項9】

前記第１軸は、仮想空間におけるＸ軸であることを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記第２軸は、仮想空間におけるＹ軸であることを特徴とする請求項１に記載の情報処理装置。

【請求項11】

複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの注視点を設定するための情報処理方法であって、
前記仮想カメラの注視点の第１軸の位置を示す第１位置パラメータ及び第２軸の位置を示す第２位置パラメータを変更するための、操作部材に対する操作に対応する入力情報を取得する第１取得工程と、
前記操作の操作量が最大であるときの前記第１位置パラメータの変更量を調整するための第１調整パラメータを取得する第２取得工程と、
前記操作の操作量が最大であるときの、前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第２調整パラメータを取得する第３取得工程と、
前記操作の操作量に対する前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第３調整パラメータを取得する第４取得工程と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータと前記第３調整パラメータとに基づいて、前記第１位置パラメータ及び前記第２位置パラメータの変更量を決定する決定工程と
を有する事を特徴とする情報処理方法。

【請求項12】

コンピュータを、請求項１乃至１０のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想視点映像を生成する技術に関する。

【背景技術】

【0002】

複数の撮像装置を異なる位置に設置し多視点で同期撮像し、当該撮像により得られた複数の撮像画像を用いて、仮想空間上の任意の視点（仮想カメラ）からの見えを表す仮想視点画像を生成する技術が注目されている。仮想カメラを操作するユーザは、生成される仮想視点画像を参考に仮想カメラを操作する。そのため、ライブ配信用の仮想視点画像を生成したい場合、ユーザは被写体をどのように撮像するか仮想視点画像における構図を考え、予め被写体の動きを予想し、仮想カメラの位置と向き、画角を操作する。この時、仮想カメラの操作を容易にするために、仮想カメラの位置および方向を操作する際の１フレームあたりの変化速度を、ユーザの好みに合わせて変更する技術が存在する。さらに、特許文献１には、生成される仮想視点画像がオンエア中か否かにより、予め仮想カメラの変化速度が変化するように設定することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２１－１９０９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、被写体を撮像した複数の撮像画像を用いて仮想視点画像を生成する場合、被写体の動きが予想できないことがあり、予め設定した仮想カメラの変化速度では対応できない虞がある。例えば、被写体に徐々に近づく映像を生成している際に、被写体が急に大きく移動した場合、予め設定した仮想カメラの変化速度では対応できず、被写体を適切な位置に映す映像を生成できない。また、野球やサッカーなど、選手とボールといった被写体ごとに移動速度が大きく異なる競技において、仮想カメラの変化速度を予め設定する場合、両方の被写体に適した仮想カメラの変化速度を設定できない虞があった。

【0005】

そこで、本開示は、被写体の動きに対応した仮想カメラの操作を容易にすることを目的とする。

【課題を解決するための手段】

【0006】

上記の目的を達成するための本開示の情報処理装置は以下の構成を有する。すなわち、
複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの注視点を設定するための情報処理装置であって、
前記仮想カメラの注視点の第１軸の位置を示す第１位置パラメータ及び第２軸の位置を示す第２位置パラメータを変更するための、操作部材に対する操作に対応する入力情報を取得する第１取得手段と、
前記操作の操作量が最大であるときの前記第１位置パラメータの変更量を調整するための第１調整パラメータを取得する第２取得手段と、
前記操作の操作量が最大であるときの、前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第２調整パラメータを取得する第３取得手段と、
前記操作の操作量に対する前記第１位置パラメータ及び前記第２位置パラメータの変更量を調整するための第３調整パラメータを取得する第４取得手段と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータと前記第３調整パラメータとに基づいて、前記第１位置パラメータ及び前記第２位置パラメータの変更量を決定する決定手段と
を有する。

【発明の効果】

【0007】

本開示によれば、被写体の動きに対応した仮想カメラの操作を容易にすることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る画像処理システム１００のシステム構成図である。

【図2】実施形態１に係る仮想カメラ制御装置１１０のハードウェア構成図である。

【図3】実施形態１に係る注視点座標と仮想カメラ位置の関係を説明する図である。

【図4】実施形態１に係る仮想カメラ制御装置１１０の仮想カメラパラメータを算出する処理のフローチャートである。

【図5】実施形態１に係るコントローラの値を表示するＧＵＩの一例を示す図である。

【図6】実施形態１に係るジョイスティックの一例を示す図である。

【図7】実施形態１に係るフットペダルの一例を示す図である。

【図8】実施形態１に係るつまみを有するコントローラの一例を示す図である。

【図9】実施形態２に係る画像処理システム１００のシステム構成図である。

【図10】実施形態２に係る仮想カメラ制御装置１１０の仮想カメラパラメータを算出する処理のフローチャートである。

【図11】実施形態２に係るアクセル・ブレーキを反映させる仮想カメラパラメータを指定する為のＧＵＩの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本開示の解決手段に必須のものとは限らない。

【0010】

＜実施形態１＞
本実施形態では、複数の撮像装置による撮像に基づく複数の画像に基づいて生成される仮想視点画像に対応する仮想カメラのカメラパラメータの変化速度を調整するパラメータを説明する。変化速度を調整するパラメータとして、予め設定される第１調整パラメータと、ユーザによる仮想カメラの操作中に随時変更される第２調整パラメータが存在する。上記、２つの調整パラメータを組み合わせることにより、被写体の動きに対応した仮想カメラの操作を容易にすることができる。

【0011】

図１は、本開示の実施形態１に係る画像処理システム１００のシステム構成図である。画像処理システム１００は、カメラ群１０１、３Ｄモデル生成装置１０２、３Ｄモデル格納装置１０３、仮想視点画像生成装置１０４、外部装置１０５、仮想カメラ制御装置１１０、操作装置１２０、表示装置１０６を含む。

【0012】

画像処理システム１００は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

【0013】

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

【0014】

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

【0015】

カメラ群１０１は、被写体の３Ｄモデルの生成を目的として全台同期撮影を行う。本実施形態において、カメラ群１０１は、撮像領域を複数の方向から撮像する複数の撮像装置である。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

【0016】

なお、本実施形態における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。

【0017】

３Ｄモデル生成装置１０２は、カメラ群１０１にて撮影した撮影画像を取得し、３Ｄモデルを生成する。３Ｄモデルを生成する手法としては、例えば、前景オブジェクトのシルエット情報を用いる視体積交差法や、三角測量を用いるＭｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏにより生成される。視体積交差法やＭｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏによる３Ｄモデルの生成方法は周知であるため説明を省略する。

【0018】

３Ｄモデル格納装置１０３は、３Ｄモデル生成装置１０２が生成した３Ｄモデルを格納する。３Ｄモデル格納装置１０３は、本実施形態では専用のＰＣが構築するサーバーであるが、これに限定されず、クラウド上に構築される仮想サーバーであってもよい。

【0019】

仮想視点画像生成装置１０４は、タイムコード提供部１２１から取得したタイムコードを基に、３Ｄモデル格納装置１０３から３Ｄモデルを取得する。更に、仮想カメラパラメータ提供部１１８から取得した仮想カメラパラメータを基に、仮想カメラが前記取得した３Ｄモデルを撮像した画像となるように、仮想視点画像を生成する。更に、生成した仮想視点画像を外部装置１０５および表示装置１０６に出力する。

【0020】

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

【0021】

前景画像とは、撮像装置により撮像されて取得された撮像画像から、オブジェクトの領域（前景領域）を抽出した画像である。前景領域として抽出されるオブジェクトとは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的オブジェクト（動体）を指す。オブジェクトは、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、例えば球技であればボールなど、またコンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などである。

【0022】

背景画像とは、少なくとも前景となるオブジェクトとは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となるオブジェクトを取り除いた状態の画像である。また、背景は、時系列で同じ方向から撮像を行った場合において静止している、又は静止に近い状態が継続している撮像対象物を指す。このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。ただし、背景は少なくとも前景となるオブジェクトとは異なる領域であり、撮像対象としては、オブジェクトと背景の他に、別の物体等が含まれていてもよい。

【0023】

外部装置１０５は、仮想視点画像生成装置１０４が生成した仮想視点画像を受信する。外部装置１０５は、例えば、ディスプレイや外部サーバーである。

【0024】

表示装置１０６は、仮想視点画像生成装置１０４で生成された仮想視点画像を表示する。仮想カメラを操作するユーザは、表示装置１０６に表示される仮想視点画像を参考に仮想カメラを操作する。なお、補助画像生成部１２２で生成された仮想カメラのカメラパラメータを示す補助画像を表示する。仮想視点画像と補助画像は並べて表示されることを想定しているが、これに限定されない。例えば、仮想空間上の仮想カメラの向きを示すアイコンを仮想視点画像に重畳するように表示してもよい。本実施形態では、図５のように、つまみコントローラ１３３に対応する各カメラパラメータの値や、フットペダル１３２のアクセル、ブレーキの値を示す補助画像を表示する。

【0025】

仮想カメラ制御装置１１０は、操作情報取得部１１１、変化速度決定部１１２、反応曲線決定部１１３、慣性パラメータ決定部１１４、仮想カメラパラメータ変更量決定部１１５、仮想カメラパラメータ算出部１１６を含む情報処理装置である。さらに、仮想カメラパラメータ保持部１１７仮想カメラ制御装置１１０は、仮想カメラパラメータ提供部１１８、タイムコード保持部１１９、タイムコード算出部１２０、タイムコード提供部１２１、補助画像生成部１２２を含む。仮想カメラ制御装置１１０は、操作装置１３０からの操作情報に基づいて仮想カメラを制御し、仮想視点画像生成装置１０４に仮想カメラパラメータを送信する。また、制御する仮想カメラのカメラパラメータを示す補助画像を表示装置１０６に送信する。

【0026】

操作情報取得部１１１は、操作装置１３０から操作情報を取得する。操作情報は、ユーザが操作装置１３０に対して行う入力であり、例えば、ジョイスティックを倒した角度（傾倒量）である。なお、ジョイスティックを例に説明したが、ユーザの操作に対する操作量が取得できる入力であればよい。例えば、シーソースイッチの押し込み量を操作量としてもよい。

【0027】

変化速度決定部１１２は、操作情報取得部１１１から取得した値を基に、後述する仮想カメラパラメータ毎の変化速度を決定する。具体的には、注視点座標（Ｘ，Ｙ，Ｚ）［ｍ］、仮想カメラの向き（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）［度］、仮想カメラと注視点との距離Ｒ［ｍ］、仮想カメラの画角Ｚｏｏｍ［ｍｍ］の８つの仮想カメラパラメータの変化速度を決定する。なお、注視点とは、仮想カメラの光軸上に位置する仮想空間上の点である。注視点が仮想カメラの光軸上に存在することから、仮想カメラを操作するユーザは注視点の位置を、注目する被写体の位置に合わせることにより、注目する被写体を仮想視点画像の中心に維持するような仮想カメラのカメラパスを生成することが容易になる。なお、本実施形態では注視点座標を仮想カメラパラメータとして扱うがこれに限定されず、仮想カメラの位置（Ｘ，Ｙ，Ｚ）［ｍ］を仮想カメラパラメータとして扱ってもよい。仮想カメラパラメータの具体的な速度決定フローは後述する図４のＳ４３０～Ｓ４４１で説明する。

【0028】

反応曲線決定部１１３は、ジョイスティック１３１操作時の、ジョイスティックの傾倒量と仮想カメラパラメータの変更量の関係を決定する。なお、この関係は反応曲線を用いた感度であり、反応曲線が変化しても、ジョイスティックの最大傾倒量に対する仮想カメラパラメータの最大変更量は変化しない。本実施形態ではつまみコントローラ１３３のＥｘｐｏ値を基に反応曲線を決定する。Ｅｘｐｏ値が大きいほどジョイスティックの傾倒量が小さくても仮想カメラパラメータの変更量が大きくなり、Ｅｘｐｏ値が小さいほどジョイスティックの傾倒量が小さいと仮想カメラパラメータの変更量が小さくなる。つまり、Ｅｘｐｏ値が大きいほどユーザの操作を高感度に変更量に反映させ、Ｅｘｐｏ値が小さいほどユーザの操作を低感度に変更量に反映させることになる。反応曲線は、例えば、シグモイド関数で求められる曲線や、二次関数で求められる曲線であるが、これらに限定されない。

【0029】

慣性パラメータ決定部１１４は、仮想カメラ移動時の慣性の効き具合を決定する。本実施形態ではつまみコントローラ１３３のＥａｓｉｎｇ値を基に慣性パラメータを決定する。慣性パラメータが０の時には慣性無しの為、例えば仮想カメラ移動終了時には即時停止する。慣性パラメータが上昇するにつれ、仮想カメラ移動終了時にゆっくりと停止する動きになる。なお本慣性パラメータは仮想カメラ移動時のみではなく、画角変化時にも慣性を与えるものであってもよい。また、本実施形態における慣性とは、仮想カメラを移動させる際に操作量と操作の経過時間に伴う滑り具合や加減速を示す。

【0030】

仮想カメラパラメータ変更量決定部１１５は、操作情報取得部１１１、変化速度決定部１１２、反応曲線決定部１１３、慣性パラメータ決定部１１４からの情報を基に、仮想カメラパラメータの変更量を決定する。具体的には、注視点座標（Ｘ，Ｙ，Ｚ）［ｍ］、仮想カメラの向き（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）［度］、仮想カメラと注視点との距離Ｒ［ｍ］、仮想カメラの画角Ｚｏｏｍ［ｍｍ］の８つのパラメータ毎に変更量を決定するものとする。

【0031】

仮想カメラパラメータ算出部１１６は、仮想カメラパラメータ変更量決定部１１５と、仮想カメラパラメータ保持部１１７の情報を基に、現在フレームにおける仮想カメラパラメータを算出する。なお、仮想カメラパラメータ保持部１１７に保持される前フレームにおける仮想カメラパラメータに、仮想カメラパラメータ変更量決定部１１５で決定した変更量を加算し、更に変換処理を行う事で、現在フレームにおける仮想カメラパラメータを算出する。また算出した仮想カメラパラメータを、仮想カメラパラメータ保持部に送信して仮想カメラパラメータ保持部１１７で保持する仮想カメラパラメータを更新する。なお、変換処理とは、前述した８つの仮想カメラパラメータのうち、注視点座標（Ｘ，Ｙ，Ｚ）［ｍ］、仮想カメラの向き（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）［度］、仮想カメラと注視点との距離Ｒ［ｍ］から、仮想カメラ位置を算出する処理を含む。この変換処理は、図３にて説明する。

【0032】

仮想カメラパラメータ保持部１１７では、仮想カメラパラメータ算出部１１６に対して前フレームの仮想カメラパラメータを送信する。またその後仮想カメラパラメータ算出部１１６から送信された仮想カメラパラメータを、保持する値として更新する。

【0033】

仮想カメラパラメータ提供部１１８では、仮想カメラパラメータ算出部１１６から取得した仮想カメラパラメータを仮想視点画像生成装置１０４と補助画像生成部１２２に送信する。

【0034】

タイムコード保持部１１９では、前フレームにおけるタイムコードを保持する。なおタイムコードはｈｈ：ｍｍ：ｓｓ：ｆｆの形式で保持するものとする。

【0035】

タイムコード算出部１２０では、タイムコード保持部１１９に保持されている前フレームにおけるタイムコードを取得し、１フレーム加算する事で現在のフレームにおけるタイムコードを算出する。更にタイムコード保持部１１９に算出後のタイムコードを送信し、タイムコード保持部１１９で保持するタイムコードを更新する。なお、本実施形態では再生速度１００％で再生されている前提での算出を行っているが、本開示はこの限りではない。一例として、再生速度２００％の時にはタイムコード保持部１１９で保持しているタイムコードに対して２フレーム加算する事でタイムコードを算出してもよい。またあるシーンに紐づけてタイムコードを保存しておき、前記タイムコードを呼び出す事でタイムコードを算出してもよい。その場合は前記シーンに紐づいたタイムコードを、現在のフレームのタイムコードとして算出する。なお、タイムコード算出部１２０で算出したタイムコードを、タイムコード提供部１２１に送信する。

【0036】

タイムコード提供部１２１は、タイムコード算出部１２０から取得したタイムコードを、仮想視点画像生成装置１０４と補助画像生成部１２２に送信する。なお、タイムコードの送信手段については本開示では問わない。一例として、仮想カメラパラメータ提供部１１８から送信する仮想カメラパラメータに、タイムコード提供部１２１から送信するタイムコードを付加し、一緒に送っても構わない。

【0037】

操作装置１３０は、ジョイスティック１３１、フットペダル１３２、つまみコントローラ１３３を含む。なお、上記に限定されず、他の操作部材であってもよい。

【0038】

ジョイスティック１３１は、ユーザが手で握ってスティックを傾ける、またはスティックをひねる事で仮想カメラを操作するためのハードウェアデバイスである。図６は、ジョイスティック１３１の一例を示す図であり、デバイス６０１、デバイス６０２の様な装置である。本実施形態では２本のジョイスティック６０３、６０４を使用し、ジョイスティック６０３では仮想カメラの注視点位置を操作し、ジョイスティック６０４では仮想カメラの向きを操作する。またシーソースイッチ６０５では仮想カメラの画角を操作し、シーソースイッチ６０６では仮想カメラと注視点との距離Ｒを操作する。またジョイスティックを操作しながら押下する事が出来るブーストボタン６０７を備えていてもよい。本実施形態では、後述するブースト値を決定するつまみ５１２の値に基づいて、ブーストボタン６０７を押している間、仮想カメラパラメータの変化速度を変更する事が可能である。また本実施形態ではジョイスティック１３１はゲームパッドの様な形状でも構わない。ゲームパッドの場合には、デバイス１つの中にジョイスティックが２つ備わっており、左手、右手の親指でそれぞれ操作する事が一般的である。その他シーソースイッチ６０５、６０６、ブーストボタン６０７に対応する機能をゲームパッド内のいずれかのボタンに割り当てても構わない。

【0039】

フットペダル１３２は、足で操作するハードウェアデバイスである。図７は、フットペダル１３２の一例を示す図であり、アクセルペダル７０１、ブレーキペダル７０２の様な装置である。なおフットペダル１３２は足を使って操作するデバイスであることから、ジョイスティック１３１を両手で操作しながら操作する事が可能である。本実施形態では、アクセルペダル７０１に仮想カメラの変化速度を上昇させるパラメータ、ブレーキペダル７０２に仮想カメラの変化速度を減少させるパラメータが割り当てられる。またアクセルペダル７０１、ブレーキペダル７０２共に、足を離した状態においては初期値に戻るペダルであることを想定している。つまり、ユーザによってフットペダル１３２が操作されている間のみ、変化速度を増減させることを示している。

【0040】

つまみコントローラ１３３は、仮想カメラパラメータの操作に係る様々なパラメータの変化速度を決定するためのつまみを備えたハードウェアデバイスである。図８は、つまみコントローラ１３３の一例を示す図であり、複数のつまみを備えたデバイスである。なお本実施形態ではつまみ８０１～つまみ８１２の１２個のつまみが、図５の補助画像５００上におけるアイコン５０１～アイコン５１２の１２個のグラフィックに対応しているものとする。例えば、つまみ８０１を回すことで、ＧＵＩであるアイコン５０１のグラフィックも同じように回転し、それに対応する値が図５のアイコン５０１のグラフィックの下部に数値で表示される。また図５の例では、アイコン５０１～アイコン５０８は各仮想カメラパラメータ個別の変化速度を表している。さらに、アイコン５０９は各仮想カメラパラメータ全ての変化速度を表している。つまり、アイコン５０１～アイコン５０８に対応するつまみ８０１～つまみ８０８を操作すると、各仮想カメラパラメータをそれぞれ調整でき、アイコン５０９に対応するつまみ８０９を操作すると、各仮想カメラパラメータをまとめて調整できる。なお、アイコン５０１～アイコン５０８で調整する変化速度とアイコン５０９で調整する変化速度は互いに独立したパラメータを調整する。具体的には、アイコン５０９が操作されたために、アイコン５０１～アイコン５０８で調整する変化速度がすべて同じ値に設定されるものではない。また、アイコン５１０はコントローラの操作量と仮想カメラパラメータの変更量の関係曲線を決定するＥｘｐｏ値を表す。アイコン５１１は仮想カメラの滑り具合（慣性）を決定するＥａｓｉｎｇ値を表す。アイコン５１２は、ブーストボタン６０７押下時における仮想カメラパラメータの変更量を決定するブースト値を表している。なおアイコン５１３、アイコン５１４は、アクセルペダル７０１、ブレーキペダル７０２の入力に基づいた値を表す。

【0041】

なお、つまみコントローラ１３３は、ジョイスティック１３１やフットペダル１３２の操作を行っていないタイミングで操作される事を想定している。なおかつ、ジョイスティック１３１やフットペダル１３２の操作を行う前に操作して各つまみに対応する値を決定する事で、その後の操作における仮想カメラパラメータの変化速度における最大値を決定する事を想定している。また、つまみコントローラ１３３への操作がない場合は、つまみコントローラ１３３に対して直前に入力されたパラメータを保持する。

【0042】

図２は、仮想カメラ制御装置１１０のハードウェア構成を示す図である。なお、操作装置１３０や仮想視点画像生成装置１０４のハードウェア構成も、以下で説明する仮想カメラ制御装置１１０の構成と同様である。仮想カメラ制御装置１１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７及びシステムバス２０８を有し得る。

【0043】

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて仮想カメラ制御装置１１０の全体を制御することで、図１に示す仮想カメラ制御装置１１０の各機能を実現する。なお、仮想カメラ制御装置１１０がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。そのような専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

【0044】

ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。

【0045】

ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。

【0046】

補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音響データなどの種々のデータを記憶する。

【0047】

表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが仮想カメラ制御装置１１０に対して指示を与えるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。

【0048】

操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作する。

【0049】

通信Ｉ／Ｆ２０７は、仮想視点画像生成装置１０４や表示装置１０６、操作装置１３０等、仮想カメラ制御装置１１０の外部の装置との通信に用いられる。仮想カメラ制御装置１１０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。

【0050】

システムバス２０８は、仮想カメラ制御装置１１０の各部をつないで情報を伝達する。

【0051】

なお、本実施形態では表示部２０５と操作部２０６が仮想カメラ制御装置１１０の内部に存在するものとするが、表示部２０５と操作部２０６との少なくとも一方が仮想カメラ制御装置１１０の外部に別の装置として存在していてもよい。

【0052】

図３は、注視点座標と仮想カメラの位置の関係を示す図である。注視点位置３０１、仮想カメラ位置３０２、Ｐａｎ３０３、Ｔｉｌｔ３０４、Ｒ３０５を示す。なお、説明の簡略化の為に注視点３０１は原点（０，０，０）に存在するものとして説明するが、注視点３０１は必ずしも原点に存在する必要はなく、３次元空間上を自由に指定する事が可能である。

【0053】

本実施形態において仮想カメラは、注視点３０１を中心とした半径Ｒの球面上を動く。前記球面上のどこに位置するかは、Ｐａｎ３０３、Ｔｉｌｔ３０４の値によって一意に決定する。すなわち注視点位置（Ｘ，Ｙ，Ｚ）［ｍ］、仮想カメラ向き（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）［度］、注視点から仮想カメラまでの距離Ｒ［ｍ］とした時、仮想カメラ座標（Ｘｃａｍ，Ｙｃａｍ，Ｚｃａｍ）は下記計算式によって算出される。

【0054】

【数1】

【0055】

【数2】

【0056】

【数3】

【0057】

ここで算出したＸｃａｍ，Ｙｃａｍ，Ｚｃａｍと、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ，Ｚｏｏｍの値を仮想カメラパラメータ提供部１１８に送信する。

【0058】

図４は、仮想カメラ制御装置１１０において、操作装置１３０の各種ハードウェアの操作情報を基に仮想カメラパラメータを算出し、仮想視点画像生成装置１０４と補助画像生成部１２２に送信するフローチャートである。

【0059】

ステップＳ４０１とＳ４１３は繰り返し処理を表しており、Ｓ４０２～Ｓ４１２までの処理を、フレーム毎に実行する。なお、本実施形態ではフレームレートを５９．９４ＤＦと設定しており、すなわちＳ４０２～Ｓ４１２までの処理が（１／５９．９４）秒毎に処理されるものとする。本処理間隔は、フレームレートに依存するものとする。

【0060】

ステップＳ４０２では、操作装置１３０からジョイスティック１３１、フットペダル１３２、つまみコントローラ１３３に対する操作情報を取得する。

【0061】

ステップＳ４０３では、Ｓ４０２で取得した操作情報を基に、仮想カメラパラメータの変化速度を決定する。なお、本ステップの詳細なフローはＳ４３０～Ｓ４４１で後述する。

【0062】

ステップＳ４０４では、仮想カメラの反応曲線を決定する。すなわち、ジョイスティック１３１操作時の、ジョイスティックの傾倒量と仮想カメラパラメータの変更量の関係を決定する。本実施形態ではつまみコントローラ１３３のＥｘｐｏ値を基に反応曲線を決定する。

【0063】

ステップＳ４０５では、仮想カメラの慣性パラメータを決定する。すなわち、仮想カメラ移動時の慣性の効き具合を決定する。本実施形態ではつまみコントローラ１３３のＥａｓｉｎｇ値を基に慣性パラメータを決定する。慣性パラメータが０の時には慣性無しの為、仮想カメラに対する操作がなくなった移動終了時には即時停止する。慣性パラメータが上昇するにつれ、仮想カメラの移動終了時にゆっくりと停止する動きになる。なお慣性パラメータは仮想カメラ移動時のみではなく、画角変化時にも慣性を与えるものであってもよい。

【0064】

ステップＳ４０６では、Ｓ４０２で取得した操作情報、Ｓ４０３で決定した仮想カメラパラメータの変化速度、Ｓ４０４で決定した反応曲線、Ｓ４０５で決定した慣性パラメータを基に、仮想カメラパラメータの変更量を決定する。

【0065】

ステップＳ４０７では、現在のフレームにおける仮想カメラパラメータを算出する。すなわち、まず前フレームの仮想カメラパラメータに対し、ステップＳ４０６で決定した仮想カメラパラメータの変更量を加算する。更に仮想カメラ座標Ｘｃａｍ，Ｙｃａｍ，Ｚｃａｍを図３で説明した計算式で算出する。算出したＸｃａｍ，Ｙｃａｍ，Ｚｃａｍと、仮想カメラパラメータの内、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ，Ｚｏｏｍの値を、仮想視点画像生成装置１０４に送信するパラメータとする。

【0066】

ステップＳ４０８では、前フレームの仮想カメラパラメータに対し、Ｓ４０７で算出した仮想カメラパラメータで更新し、更新した仮想カメラパラメータを保持する。

【0067】

ステップＳ４０９では、Ｓ４０７で算出したＸｃａｍ，Ｙｃａｍ，Ｚｃａｍ，Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ，Ｚｏｏｍの値を仮想視点画像生成装置１０４に送信する。

【0068】

ステップＳ４１０では、タイムコード保持部１１９に保持されている前フレームにおけるタイムコードを取得し、１フレーム加算する事で現在のフレームにおけるタイムコードを算出する。なお、本実施形態では再生速度１００％で再生されている前提での算出を行っているが、本開示はこの限りではない。一例として、再生速度２００％の時にはタイムコード保持部１１９で保持しているタイムコードに対して２フレーム加算する事でタイムコードを算出してもよい。またあるシーンに紐づけてタイムコードを保存しておき、前記タイムコードを呼び出す事でタイムコードを算出してもよい。その場合は前記シーンに紐づいたタイムコードを、現在のフレームのタイムコードとして算出する。

【0069】

ステップＳ４１１では、Ｓ４１０で算出したタイムコードをタイムコード保持部１１９に保持する。

【0070】

ステップＳ４１２では、Ｓ４１０で算出したタイムコードを仮想視点画像生成装置１０４に送信する。なお、タイムコードの送信手段については本開示では問わない。一例として、Ｓ４０９にて仮想カメラパラメータ提供部１１８から送信する仮想カメラパラメータに、Ｓ４１０で算出したタイムコードを付加し、一緒に送っても構わない。

【0071】

ステップＳ４３０～Ｓ４４１は、Ｓ４０３のフローを詳細化したものである。

【0072】

ステップＳ４３１とＳ４４０は繰り返し処理を表しており、Ｓ４３２～Ｓ４３９までの処理を、仮想カメラパラメータ毎に実行する。すなわち、注視点座標（Ｘ，Ｙ，Ｚ）、仮想カメラの向き（Ｐａｎ、Ｔｉｌｔ、Ｒｏｌｌ）、仮想カメラと注視点との距離Ｒ、画角Ｚｏｏｍの８つのパラメータにおいてそれぞれＳ４３２～Ｓ４３９までの処理を実行する。説明簡易化の観点でＳ４３２～Ｓ４３９の処理については、注視点Ｘ座標のみにおける説明を記載する。

【0073】

ステップＳ４３２では、注視点Ｘ座標における個別の変化速度パラメータＶ１を算出する。すなわち図５のアイコン５０１の値を基に仮想カメラパラメータごとに設定される個別の変化速度パラメータＶ１を算出する。アイコン５０１の値は、つまみ８０１に対する操作で変更される。本実施形態ではアイコン５０１の値域は０から１００を取るものとし、そのままＶ１の値として用いるものとする。

【0074】

ステップＳ４３３では、仮想カメラパラメータの全体の変化速度パラメータＶ２を算出する。すなわち、図５のアイコン５０９の値であり、すべての仮想カメラパラメータの変更量の算出に共通して用いられる変化速度パラメータＶ２を算出する。本実施形態ではアイコン５０９の値域は０から１００を取るものとし、そのまま全体の変化速度パラメータＶ２の値として用いるものとする。

【0075】

ステップＳ４３４では、アクセル値Ｖ３を取得する。すなわち図７のデバイスにおけるアクセルペダル７０１をどれだけ踏み込んだかによって決定するアクセル値Ｖ３を取得する。なお、アクセルペダル７０１を踏み込むことで図５のアイコン５１３が連動して回転し、アイコン５１３の下部の値にも反映される。その為、ユーザはアイコン５１３とアイコン５１３の下部の値を見ながらアクセルペダル７０１の踏み込み具合を調整する事が可能である。本実施形態においてアクセル値Ｖ３は１．０～４．０の値を取るものとし、アクセルペダル７０１から完全に足を離している時には初期値として１．０の値を取るものとする。

【0076】

ステップＳ４３５では、ブレーキ値Ｖ４を取得する。すなわち図７のデバイスにおけるブレーキペダル７０２をどれだけ踏み込んだかによって決定するブレーキ値Ｖ４を取得する。なお、ブレーキペダル７０２を踏み込むことで図５アイコン５１４が連動して回転し、アイコン５１４の下部の値にも反映される。その為、ユーザはアイコン５１４とアイコン５１４の下部の値を見ながらブレーキペダル７０２の踏み込み具合を調整する事が可能である。本実施形態においてブレーキ値Ｖ４は１．０～９．０の値を取るものとし、ブレーキペダル７０２から完全に足を離している時には初期値として１．０の値を取るものとする。

【0077】

ステップＳ４３６では、ブースト機能が有効になっている場合はＳ４３７に進み、無効の場合はＳ４３８に進む。なお本実施形態では、ブーストボタン６０７が押下されている場合にはブースト機能が有効、押下されていない場合は無効であると判定するものとする。

【0078】

ステップＳ４３７では、ブースト値Ｖ５を取得する。すなわち図５のアイコン５１２が示すブースト値を基に、下記計算式により算出するものとする。この時、ブースト値Ｖ５は、アイコン５１２の値であるＢｏｏｓｔにより算出され、Ｂｏｏｓｔの値域は－４．０～４．０を取るものとする。アイコン５１２が真ん中を指している時、Ｂｏｏｓｔは０．０、左に最大限回している時が－４．０、右に最大限回している時が４．０を取るものとする。
Ｖ５＝２^{Ｂｏｏｓｔ}

【0079】

すなわちＶ５の値域は１／１６～１６を取るものとする。

【0080】

ステップＳ４３８では、ブースト値Ｖ５の値を１．０とする。

【0081】

ステップＳ４３９では、注視点Ｘ座標における速度を算出する。すなわちＳ４３２～Ｓ４３８までで決定したＶ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５の値に基づき、下記計算式によって変化速度を算出する。なお注視点Ｘ座標の変化速度をＶｘとする。

【0082】

【数4】

【0083】

なお、本実施形態では、仮想カメラパラメータの変化速度を、各仮想カメラパラメータの個別の変化速度、全体の変化速度、アクセル値、ブレーキ値、ブースト値の掛け算で算出している。掛け算で算出する理由は、それぞれのパラメータが持つ、算出される仮想カメラパラメータの変化速度に与える影響を大きくするためである。なお、上記に限定されず、それぞれのパラメータの足し算により算出してもよい。

【0084】

したがって、ステップＳ４３０～Ｓ４４１では、ジョイスティック１３１およびフットペダル１３２、つまみコントローラ１３３に対する操作に基づいて、仮想カメラパラメータの変化速度を決定する。複数の操作部材を用いて変化速度を決定できるようにすることにより、複数の撮像シーンにおいて求められる変化速度が大きく変化する競技においても、それぞれのシーンに合わせて変化速度を調整することができる。さらに、フットペダル１３２に対する操作に基づいて変化速度を決定するため、被写体の急な動きに合わせて仮想カメラを操作することが容易になる。

【0085】

なお、ステップＳ４０４において、つまみ８１０への操作に応じて設定されるＥｘｐｏ値に基づいて、仮想カメラパラメータの変更量を決定するため、ユーザの好みに合わせた変更量を設定できる。つまみ８１０は、仮想カメラパラメータの個別の変化速度を設定するつまみ８０１～つまみ８０８と異なる部材であるため、変化速度を変更せずに感度を調整することができる。さらに、感度を変更せずに変化速度を変更できるため、ユーザの好みに合わせた感度を変更せずに、仮想カメラパラメータの変化速度を変更できることになり、被写体の急な動きに合わせて変化速度を変更した場合にも、ユーザの操作を容易にできる。

【0086】

なお、ステップＳ４０５において、つまみ８１１への操作に応じて設定されるＥａｓｉｎｇ値に基づいて、仮想カメラパラメータの変更量を決定するため、シーンや被写体の動きに合わせて仮想視点映像の映像表現を変化させることができる。例えば、野球の撮影において、ピッチャーが投げたボールをバッターが打つシーンにおいて、ボールに追従するように仮想カメラを操作したい場合、バッターが打つ前後でボールの移動方向が大きく変化する。このような場合に、Ｅａｓｉｎｇ値を小さく設定しておくことで、ボールに適切に追従することが可能となり、さらには急な状況変化を演出することができる。他の例として、ランナーが複数のベースを経由して走るシーンを撮影する場合、ランナーが走る方向は大きく変化しない。そのため、Ｅａｓｉｎｇ値を大きく設定しておくことで、急な画面変化に伴う画面酔いを防ぐことができる。Ｅａｓｉｎｇ値を、仮想カメラパラメータの変化速度を設定するつまみ８０１～８０８と異なる部材としておくことにより、撮りたい仮想視点映像の映像表現を維持しつつ、カメラパラメータの変化速度を設定できるようになる。なお、本実施形態では、つまみ８１１にてＥａｓｉｎｇ値を設定したが、これに限定されない。例えば、ジョイスティックが組み込まれたゲームコントローラを用いて仮想カメラを操作する場合、ゲームコントローラのボタンにＥａｓｉｎｇ値を変更する機能を割り当ててもよい。そのようにすることで、ジョイスティックに対する操作中でもＥａｓｉｎｇ値を変更することが可能になり、シーンの切り替わりが激しい競技を撮影する際にも、映像表現をシーンや被写体に合わせて変化させることができる。

【0087】

以上のように本実施形態では、予めつまみコントローラ１３３で設定した仮想カメラパラメータの変化速度で操作を行いつつ、フットペダル１３２に対する操作によりアクセル・ブレーキを設定することで、被写体の急激な速度変化にも対応した操作が可能となる。

【0088】

＜実施形態２＞
実施形態１では、アクセルペダル７０１、ブレーキペダル７０２を用いることにより、予めつまみコントローラ１３３で設定した変化速度で操作を行いつつも、被写体の急激な速度変化にも対応できる技術について記述した。アクセルペダル７０１やブレーキペダル７０２を踏み込むことですべての仮想カメラパラメータの変化速度が変化することを記述したが、仮想視点画像の撮影環境によっては、すべての仮想カメラパラメータの変化速度を変化させたくない場合がある。例えば、画面酔いを防ぐために仮想カメラの向きは変化速度を変化させたくないことが考えられる。そこで実施形態２では、仮想カメラパラメータ毎に、アクセルペダル７０１に対応するアクセル値Ｖ３、ブレーキペダル７０２に対応するブレーキ値Ｖ４を変化速度の計算に反映させるか否かを選択可能な構成について記述する。

【0089】

図９は本開示の実施形態２に係る画像処理システム１００のシステム構成図である。なお、図１と同じ符号の構成は、図１の説明と同様であるため説明は省略する。

【0090】

補助画像生成部９０１は、図５の補助画像５００に加え、図１１の様な補助画像１１００を生成する。

【0091】

図１１は、アクセル・ブレーキを反映させる仮想カメラパラメータを指定するためのＧＵＩ（補助画像１１００）の一例を示す図である。図１１のチェックボックス１１０１～チェックボックス１１０８は、アクセルペダル７０１を踏み込んだ時に変化速度が大きくなる仮想カメラパラメータを選択するチェックボックスである。例えば、チェックボックス１１０２、チェックボックス１１０３、チェックボックス１１０５にチェックが入っている場合、アクセルペダル７０１を踏み込むと、注視点Ｘ座標、注視点Ｙ座標、注視点から仮想カメラまでの距離Ｒの変化速度のみが大きくなる。ただし、チェックが入っていない仮想カメラパラメータは変化速度が大きくならない。なお変化速度が大きくなる程度は、実施形態１と同じく、アクセルペダル７０１をどれだけ踏み込んだかに基づいて変化し、アクセルペダル７０１から完全に足を離している場合、変化速度は大きくしない。またチェックボックス１１０９～チェックボックス１１１６はブレーキペダル７０２を踏み込んだ時に変化速度が小さくなる仮想カメラパラメータを選択するチェックボックスである。例えば、チェックボックス１１０９～チェックボックス１１１７の全てにチェックが入っている時にブレーキペダル７０２を踏み込むと、全ての仮想カメラパラメータについて変化速度が小さくなる。

【0092】

アクセル反映パラメータ保持部９０２は、仮想カメラパラメータ毎にアクセル値を変化速度の計算に反映するか否かを示す情報を保持している。この情報は、図１１の補助画面１１００におけるチェックボックス１１０１～チェックボックス１１０８にチェックがついているか否かに基づいて決定される。

【0093】

ブレーキ反映パラメータ保持部９０３は、仮想カメラパラメータ毎にブレーキ値を変化速度の計算に反映するか否かを示す情報を保持している。この情報は、図１１の補助画面１１００におけるチェックボックス１１１０～チェックボックス１１１７にチェックがついているか否かに基づいて決定される。

【0094】

変化速度決定部９０４は、操作情報取得部１１１から取得した値と、アクセル反映パラメータ保持部９２２と、ブレーキ反映パラメータ保持部９２３の情報を基に、仮想カメラパラメータ毎の変化速度を決定する。具体的には、注視点座標（Ｘ，Ｙ，Ｚ）［ｍ］、仮想カメラの向き（Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌ）［度］、仮想カメラと注視点との距離Ｒ［ｍ］、仮想カメラの画角Ｚｏｏｍ［ｍｍ］の８つのパラメータ毎に変化速度を決定する。具体的な速度決定フローは後述する図１０で説明する。

【0095】

図１０は、実施形態２における、仮想カメラ制御装置１１０の仮想カメラパラメータを算出する処理のフローチャートである。なお、図４におけるＳ４０１～Ｓ４１３およびＳ４３０～Ｓ４４０においては実施形態２でも共通な処理のため、説明を省略する。

【0096】

ステップＳ１００１では、アクセル反映パラメータ保持部９０２において、注視点Ｘ座標の計算にアクセル値が反映される場合はＳ４３４に進み、反映されない場合はＳ１００２に進む。なお、注視点Ｘ座標の変化速度の計算にアクセル値が反映されるか否かについては、図１１のチェックボックス１１０１にチェックが入っているか否かに基づく。本実施形態ではチェックボックス１１０１にチェックが入っている場合、注視点Ｘ座標の変化速度の計算にアクセル値が反映されるとみなしてＳ４３４に進み、チェックが入っていなかった場合、Ｓ１００２に進む。

【0097】

ステップＳ１００２では、アクセル値Ｖ３を１．０と設定する。その後、ステップＳ１００３に進む。

【0098】

ステップＳ１００３では、ブレーキ反映パラメータ保持部９０３において、注視点Ｘ座標の計算にブレーキ値が反映される場合はＳ４３５に進み、反映されない場合はＳ１００４に進む。なお、注視点Ｘ座標の変化速度の計算にブレーキ値が反映されるか否かについては、図１１のチェックボックス１１０９にチェックが入っているか否かに基づく。本実施形態ではチェックボックス１１０９にチェックが入っている場合、注視点Ｘ座標の変化速度の計算にブレーキ値が反映されるとみなしてＳ４３５に進み、チェックが入っていなかった場合、Ｓ１００４に進む。

【0099】

ステップＳ１００４では、ブレーキ値Ｖ４を１．０と設定する。その後、ステップＳ４３９に進む。

【0100】

以上のように本実施形態では、仮想カメラパラメータ毎に、アクセルペダル７０１に対応するアクセル値Ｖ３、ブレーキペダル７０２に対応するブレーキ値Ｖ４を変化速度の計算に反映させるか否かを選択可能な構成について記述した。これにより、仮想カメラパラメータの内の一部のみの変化速度をアクセルやブレーキによって変更したい場合にも対応が可能である。すなわち一例として、Ｐａｎ，Ｔｉｌｔ，Ｒｏｌｌの変化速度は一定のままで、注視点座標（Ｘ，Ｙ，Ｚ）の変化速度だけを向上させるといったユースケースに対応する事が可能となる。

【0101】

以上、本開示を複数の実施形態に基づいて記述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の趣旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものではない。

【0102】

なお、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読みだして実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

【0103】

なお、本実施形態の開示は、以下の構成、方法、およびプログラムを含む。

【0104】

（構成１）第１部材に対する操作に対応する入力であって、複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または前記仮想カメラに対応する注視点の位置に対応するパラメータと、前記仮想カメラの向きに対応するパラメータと、前記仮想カメラの画角に対応するパラメータとを含む仮想カメラパラメータを変更する入力に対応する入力情報を取得する第１取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第２部材に対する操作に基づいて特定される第１調整パラメータであって、前記第２部材に対する操作がない場合、直前の入力にて取得した前記第１調整パラメータを保持する前記第１調整パラメータを取得する第２取得手段と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整し、第３部材に対する操作に基づいて特定される第２調整パラメータであって、前記第３部材に対する操作がない場合、初期値に変更される前記第２調整パラメータを取得する第３取得手段と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータとに基づいて、前記仮想カメラパラメータの変更量を決定する決定手段と
を有する事を特徴とする情報処理装置。

【0105】

（構成２）前記第１調整パラメータは、前記仮想カメラの位置を示すＸ、Ｙ、Ｚ、前記仮想カメラの位置と前記注視点の位置との距離、前記仮想カメラの向きを示すパン、チルト、ロール、前記仮想カメラの画角、それぞれに対応するパラメータに対し、前記操作の操作量に対する変更量を調整することを特徴とする構成１に記載の情報処理装置。

【0106】

（構成３）前記第２調整パラメータは、前記仮想カメラパラメータの変化速度を大きくするためのパラメータまたは前記仮想カメラパラメータの変化速度を小さくするためのパラメータであることを特徴とする構成１または２に記載の情報処理装置。

【0107】

（構成４）前記第２調整パラメータは、前記第３部材に対する操作がない場合、初期値に変更されることを特徴とする構成１乃至３の何れか一項に記載の情報処理装置。

【0108】

（構成５）前記第１部材は、ジョイスティックであることを特徴とする構成１乃至４の何れか一項に記載の情報処理装置。

【0109】

（構成６）前記第２部材は、つまみであることを特徴とする構成１乃至５の何れか一項に記載の情報処理装置。

【0110】

（構成７）前記第３部材は、フットペダルであることを特徴とする構成１乃至６の何れか一項に記載の情報処理装置。

【0111】

（構成８）更に、前記操作の操作量に対する前記仮想カメラの位置および前記仮想カメラの向きを変更する変更量を調整するパラメータである第３調整パラメータであって、第４部材に対する操作量に応じて変更される前記第３調整パラメータを取得する第４取得手段と、
前記決定手段は、前記入力と、前記第１調整パラメータと、前記第２調整パラメータと、前記第３調整パラメータとに基づいて、前記変更量を決定することを特徴とする構成１乃至７の何れか一項に記載の情報処理装置。

【0112】

（構成９）更に、前記操作の操作量に対する前記仮想カメラの位置および前記仮想カメラの向きの感度を変更するパラメータである第４調整パラメータを取得する第５取得手段と、
前記決定手段は、前記入力と、前記第１調整パラメータと、前記第２調整パラメータと、前記第４調整パラメータとに基づいて、前記変更量を決定することを特徴とする構成１乃至８の何れか一項に記載の情報処理装置。

【0113】

（構成１０）前記感度は、反応曲線に基づいて決定されることを特徴とする構成９に記載の情報処理装置。

【0114】

（構成１１）前記決定手段は、前記仮想カメラの位置を示すＸ、Ｙ、Ｚ、前記仮想カメラの位置と前記注視点の位置との距離、前記仮想カメラの向きを示すパン、チルト、ロール、前記仮想カメラの画角、それぞれに対応するパラメータの変更量を決定することを特徴とする構成１乃至１０の何れか一項に記載の情報処理装置。

【0115】

（構成１２）更に、前記決定手段において、前記仮想カメラの位置を示すＸ、Ｙ、Ｚ、前記仮想カメラの位置と前記注視点の位置との距離、前記仮想カメラの向きを示すパン、チルト、ロール、前記仮想カメラの画角、それぞれに対応するパラメータの変更量を決定する際に、前記第２調整パラメータに基づいて前記変更量を決定するか否かを設定する設定手段を有することを特徴とする構成１乃至１１の何れか一項に記載の情報処理装置。

【0116】

（構成１３）更に、前記決定手段により決定された前記変更量が加算された前記仮想カメラパラメータを出力する出力手段を有することを特徴とする構成１乃至１２の何れか一項に記載の情報処理装置。

【0117】

（構成１４）更に、前記第２取得手段により取得された前記第１調整パラメータと、前記第３取得手段により取得された前記第２調整パラメータとを示す補助画像を生成する生成手段を有することを特徴とする構成１乃至１３の何れか一項に記載の情報処理装置。

【0118】

（構成１５）前記補助画像は、前記仮想カメラの位置を示すＸ、Ｙ、Ｚ、前記仮想カメラの位置と前記注視点の位置との距離、前記仮想カメラの向きを示すパン、チルト、ロール、前記仮想カメラの画角、それぞれに対応する前記第１調整パラメータを示すことを特徴とする構成１４に記載の情報処理装置。

【0119】

（構成１６）前記注視点は、前記仮想カメラの光軸上に位置することを決定することを特徴とする構成１乃至１５の何れか一項に記載の情報処理装置。

【0120】

（構成１７）更に、前記操作量と前記操作の経過時間とに基づいて、前記変更量を決定するパラメータである第５調整パラメータを取得する第６取得手段と、
前記決定手段は、前記入力と、前記第１調整パラメータと、前記第２調整パラメータと、前記第５調整パラメータとに基づいて、前記変更量を決定することを特徴とする構成１乃至１６の何れか一項に記載の情報処理装置。

【0121】

（方法）第１部材に対する操作に対応する入力であって、複数の撮像装置により被写体を撮像することによって得られる複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想カメラの位置または前記仮想カメラに対応する注視点の位置に対応するパラメータと、前記仮想カメラの向きに対応するパラメータと、前記仮想カメラの画角に対応するパラメータとを含む仮想カメラパラメータを変更する入力に対応する入力情報を取得する第１取得工程と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整するパラメータである第１調整パラメータであって、第２部材に対する操作に基づいて特定される前記第１調整パラメータを取得する第２取得工程と、
前記操作の操作量に対する前記仮想カメラパラメータの変更量を調整するパラメータである第２調整パラメータであって、第３部材に対する操作量に応じて変更される前記第２調整パラメータを取得する第３取得工程と、
前記入力情報と前記第１調整パラメータと前記第２調整パラメータとに基づいて、前記仮想カメラパラメータの変更量を決定する決定工程と
を有する事を特徴とする情報処理方法。

【0122】

（プログラム）コンピュータを、構成１乃至１７のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

【符号の説明】

【0123】

１１０ 仮想カメラ制御装置
１１１ 操作情報取得部
１１２ 変化速度決定部
１１３ 反応曲線決定部
１１４ 慣性パラメータ決定部
１１６ 仮想カメラパラメータ変更量決定部
１３１ ジョイスティック
１３２ フットペダル
１３３ つまみコントローラ
１２２ 補助画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】